JP2014103584A - 画像処理装置及び画像処理プログラム - Google Patents
画像処理装置及び画像処理プログラム Download PDFInfo
- Publication number
- JP2014103584A JP2014103584A JP2012255222A JP2012255222A JP2014103584A JP 2014103584 A JP2014103584 A JP 2014103584A JP 2012255222 A JP2012255222 A JP 2012255222A JP 2012255222 A JP2012255222 A JP 2012255222A JP 2014103584 A JP2014103584 A JP 2014103584A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- function
- image
- module
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
【解決手段】画像処理装置の受付手段は、画像を受け付け、推定手段は、画像に基づいて、本来の画素の輝度値と該画像の画素の輝度値との差であるかぶり量を推定し、測定手段は、画像内の画素の彩度値を測定し、決定手段は、画像内の下地における輝度値の補正目標値を決定し、補正手段は、かぶり量と補正目標値と彩度値の無彩色からの距離に基づいて、該彩度値を補正し、前記推定手段は、走査線毎に隣の画素との差分を算出し、差分に適用する複数の関数であって、走査線毎にかぶり量を推定する複数の関数の情報量を算出し、情報量に基づいて関数を選択し、その関数の情報量と複数の関数間の差分ノルムに基づいて関数の組み合わせを選択し、その関数を走査線毎に適用することによって、かぶり量を推定する。
【選択図】図35
Description
請求項1の発明は、画像を受け付ける受付手段と、前記受付手段によって受け付けられた画像に基づいて、本来の画素の輝度値と該画像の画素の輝度値との差であるかぶり量を推定する推定手段と、前記受付手段によって受け付けられた画像内の画素の彩度値を測定する測定手段と、前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値と前記測定手段によって測定された彩度値の無彩色からの距離に基づいて、該彩度値を補正する補正手段を具備し、前記推定手段は、前記受付手段によって受け付けられた画像内の走査線毎に隣の画素との差分を算出する算出手段と、前記算出手段によって算出された画素の差分に適用する複数の関数であって、前記受付手段によって受け付けられた画像内の走査線毎にかぶり量を推定する該複数の関数の情報量を算出し、該情報量に基づいて該走査線毎に適用すべき関数を選択する関数選択手段と、前記関数選択手段によって選択された前記走査線毎の関数の情報量と複数の関数間の差分ノルムに基づいて、関数の組み合わせを選択する関数組選択手段と、前記関数組選択手段によって選択された関数の組み合わせを前記走査線毎に適用することによって、かぶり量を推定するかぶり量推定手段を有することを特徴とする画像処理装置である。
図43(a)の例に示す撮影対象文書4300は名刺であり、白黒のみではなく、有彩色の領域もある。具体的には、撮影対象文書4300内の右上にある図形は赤色のマーク(ロゴ)である。この撮影対象文書4300を、例えばデジタルカメラで撮影し、図43(c)の例に示す撮影画像4330を得る。この場合、撮影した画像には図43(b)の例に示すかぶり画像4320が重複されて撮影されている。このかぶり画像4320は、照明のかたより、逆光、撮影対象文書4300の設置等(つまり、撮影対象文書4300と照明と撮影装置の位置関係)又はデジタルカメラ内のレンズの構成(例えば、画像の中央部分は明るく、周辺部分は暗くなる)等によって、発生するものである。図43(b)の例に示すようにかぶり画像4320では、右側が濃い黒であり、左側が白となるようなグラデーション画像(濃淡が段階的に変化している画像)となっている。したがって、図43(c)の例に示すように撮影画像4330でも、右側は黒くなるが、左側は元の撮影対象文書4300の画像に近いものとなる。なお、このかぶりとは、影、黒かぶり等ともいわれている。
<第1の実施の形態>
図1は、第1の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
また、彩度補正モジュール150は、画素値測定モジュール130によって測定された彩度値が無彩色に近くなるほど、彩度値の補正量を少なくするように補正するようにしてもよい。例えば、色空間上で無彩色となる軸から対象としている彩度までの距離に対して、軸上で抑制率(彩度の補正を少なくする方向へ向かわせるパラメタ)が最小値をとるような関係から抑制率を算出するようにしてもよい。
また、彩度補正モジュール150は、補正目標値とかぶり量との差分に基づいて、彩度値を補正するようにしてもよい。具体的には、補正目標値とかぶり量との差分の大きさに連動して、彩度の補正量を多くしてもよい。より具体的には、差分に対して、1次以上の単調増加な多項式関数によって増加させるようにしてもよい。
彩度補正モジュール150の処理については、(1)式、(2)式、(3)式を用いて後述する。
ステップS202では、画像受付モジュール110が、対象画像を受け付ける。
図3は、画像受付モジュール110による処理例を示す説明図である。撮影対象文書320は、図43の例で示した撮影対象文書4300と同等のものである。これを撮影装置310で撮影した場合、撮影画像330のようにかぶりが発生した画像を得る。例えば、名刺交換した後に、机の上に撮影対象文書320を置き、撮影装置310で撮影するような状況である。撮影装置310は、デジタルカメラであってもよいし、携帯情報端末装置(例えば、スマートフォンを含む携帯電話等)に内蔵されているデジタルカメラであってもよいし、スキャナ等であってもよい。
ステップS206では、画素値測定モジュール130が、画像内の画素値を測定する。
ステップS208では、補正目標値決定モジュール140が、補正目標値を決定する。
図4は、かぶり量を除去する様子を3次元的に表現したものであり、かぶり量推定モジュール120、画素値測定モジュール130、補正目標値決定モジュール140による処理例を示す説明図である。x軸、y軸は画像内における位置を示し、z軸は輝度値を示す空間である。z軸において下にある灰色の面がかぶりの画像であり、画像全体を覆っているように位置している。そして、x軸方向にいくにしたがって、z軸において下に下がっているのは、かぶり画像が右側にいくほど濃くなっていることを示している。そして、z軸において上にある薄い格子模様の面が補正した後の画像の輝度を示している。p*は、図4の例に示すように、ステップS208で決定された補正目標値であり、例えば、前述のように画像における明るい方から上位10%にある画素の輝度値である。次のステップS210で輝度を補正する場合は、この補正目標値に合わせるように、各点における輝度を上げる(明るくする、z軸上で上にあげる)ようにしてかぶりを除去している。図4では、交点412、414、416、418に囲まれている交点418を補正後中間点422まで輝度を引き上げていることを示している。なお、交点412、414は、ライン432上にあり、交点416、418は、ライン434上にあり、交点412、416は、ライン436上にあり、交点414、418は、ライン438上にある。そして、下地以外の部分である文字部(図4内では「あ」の文字)は、画素値測定モジュール130によって下地部分よりも暗い輝度値が測定されることになる。
彩度補正モジュール150は、補正目標値とかぶり量の差分が大きくなると、彩度値の補正量を多くするように補正している。これは後述の(8)式のC((8)式の2段目の式参照)が大きくなることである。より具体的には、差分に対して、(8)式の3段目の式のような1次以上の単調増加な多項式関数によって増加させるようにしてもよい。
なお、ステップS210において、彩度補正モジュール150は輝度値を補正するようにしてもよい。なお、輝度値の補正については、第3の実施の形態で用いられている輝度値の補正方法を用いるようにしてもよい。
図6は、第2の実施の形態の構成例についての概念的なモジュール構成図である。
第2の実施の形態である画像処理装置は、画像からかぶりを除去するものであって、図6の例に示すように、画像受付モジュール110、かぶり量推定モジュール120、画素値測定モジュール130、補正目標値決定モジュール140、彩度補正可否判断モジュール145、彩度補正モジュール150、出力モジュール160を有している。なお、前述の実施の形態と同種の部位には同一符号を付し重複した説明を省略する。ただし、同一符号を付した部位であっても、前述の実施の形態と異なるところは説明を付加する。説明を付加した場合であっても、重複している部分の説明は省略する(以下、実施の形態の説明においても同様)。
彩度補正可否判断モジュール145は、かぶり量推定モジュール120によって推定されたかぶり量と補正目標値決定モジュール140によって決定された補正目標値との差分に基づいて、彩度補正モジュール150による補正を行うか否かを判断する。この判断処理については、(4)式を用いて後述する。
また、彩度補正可否判断モジュール145は、画像受付モジュール110によって受け付けられた画像内の各画素におけるかぶり量推定モジュール120によって推定されたかぶり量同士の差分に基づいて、彩度補正モジュール150による補正を行うか否かを判断するようにしてもよい。この判断処理については、(5)式、(6)式を用いて後述する。
ステップS702では、画像受付モジュール110が、対象画像を受け付ける。
ステップS704では、かぶり量推定モジュール120が、かぶり量を推定する。
ステップS706では、画素値測定モジュール130が、画像内の画素値を測定する。
ステップS708では、補正目標値決定モジュール140が、補正目標値を決定する。
例えば、以下の(4)式、(5)式、(6)式のいずれかにおける計算値Eが予め定めた値を超えている場合は補正を実施しないようにする。
この(4)式は、推定輝度値と補正目標値の差分を利用するものである。図8は、彩度補正可否モジュール145による処理例を示す説明図である。図8の例で示すと、目標輝度(点線)と推定輝度(一点鎖線)との間隔の最大値である。
ステップS714では、出力モジュール160が、彩度を補正した画像を出力する。
仮にかぶり量を正しく算出できたとしても、右上にある赤色の図形は彩度が落ちてしまう。
このことについて、図43(c)から(g)の例を用いて説明する。図43(c)の例に示すように撮影画像4330内をライン4332で走査した場合の輝度値をグラフ(縦軸は輝度値を示し、横軸は走査におけるx座標)に示すと、図43(d)の例に示すようにようなる。つまり、かぶり画像4320は右方向に向かうほど濃くなるため、輝度値は右下がりとなるが、元の画像におけるもともとの輝度値があるので、図43(d)のグラフの例のように、輝度分布4342〜4358で段階的な輝度の分布を示すことになる。また、ライン4332で走査した場合の彩度値をグラフに示すと、図43(e)の例に示すようにようなる。つまり、彩度の減衰率は右下がりとなる。
ここで、かぶり量に基づいて輝度だけを補正すると、その結果の画像は、図43(f)の例に示すような補正画像4360となる。つまり、補正画像4360の右側部分は、黒い文字部分であっても薄い灰色となってしまう。そのうえ、右上にある赤色の図形は彩度が落ちてしまう。
元原稿である撮影対象文書4300のように復元するためには、図43(g)の例に示すように、輝度値の補正量に対して比例して彩度を増やす必要がある。第1の実施の形態、第2の実施の形態では、彩度値を補正することによって、有彩色の部分に対しても再現性を低下させることを防止している。
次に、第3の実施の形態を説明する。
まず、第3の実施の形態、第4の実施の形態を説明する前に、その前提となる技術について説明する。なお、この説明は、第3の実施の形態、第4の実施の形態の理解を容易にすることを目的とするものである。
図44(a)の例に示す撮影対象文書4400は名刺であり、白黒のみで印刷されている。
この撮影対象文書4400を、例えばデジタルカメラで撮影し、図44(c)の例に示す撮影画像4430を得る。この場合、撮影した画像には図44(b)の例に示すかぶり画像4420が重複されて撮影されている。図44(b)の例に示すようにかぶり画像4420では、右側が濃い黒であり、左側が薄い黒となるようなグラデーション画像となっている。したがって、図44(c)の例に示すように撮影画像4430でも、右側は黒くなるが、左側は元の撮影対象文書4410の画像に近いものとなる。
また、デジタルカメラで撮影する場合のみでなく、スキャナ等においても、このかぶり画像は発生することがあることは、前述した通りである。
また、輝度補正モジュール950は、かぶり量推定モジュール120によって推定されたかぶり量と補正目標値決定モジュール140によって決定された補正目標値との差分を基本補正量とし、その基本補正量を画素値測定モジュール130によって測定された輝度値とそのかぶり量との差分に基づいた係数によって変更し、その変更した基本補正量に基づいて、その輝度値を補正するようにしてもよい。この処理については、(7)式、(8)式を用いて後述する。
さらに、輝度補正モジュール950は、画素値測定モジュール130によって測定された輝度値とかぶり量との差分が予め定めた閾値以上又は大きい場合は、その輝度値の補正を行わないようにしてもよい。この処理については、(8)式を用いて後述する。
また、輝度補正モジュール950は、基本補正量を画素値測定モジュール130によって測定された輝度値とかぶり量との差分と基本補正量に基づいた係数によって変更するようにしてもよい。この処理については、(9)式を用いて後述する。
彩度補正モジュール150と輝度補正モジュール950の処理は、いずれが先にやってもよいし(彩度補正モジュール150が先に処理する場合は、その処理結果の画像を輝度補正モジュール950が処理し、輝度補正モジュール950が先に処理する場合は、その処理結果の画像を彩度補正モジュール150が処理する)、並列して処理を行うようにしてもよい。
ステップS1002では、画像受付モジュール110が、対象画像を受け付ける。
図11は、画像受付モジュール110による処理例を示す説明図である。撮影対象文書1120は、図44の例で示した撮影対象文書4400と同等のものである。これを撮影装置310で撮影した場合、撮影画像1130のようにかぶりが発生した画像を得る。例えば、名刺交換した後に、机の上に撮影対象文書1120を置き、撮影装置310で撮影するような状況である。撮影装置310は、デジタルカメラであってもよいし、携帯情報端末装置(例えば、スマートフォンを含む携帯電話等)に内蔵されているデジタルカメラであってもよいし、スキャナ等であってもよい。
ステップS1006では、画素値測定モジュール130が、画像内の画素値を測定する。
ステップS1008では、補正目標値決定モジュール140が、補正目標値を決定する。
図12は、かぶり量を除去する様子を3次元的に表現したものであり、かぶり量推定モジュール120、画素値測定モジュール130、補正目標値決定モジュール140による処理例を示す説明図である。x軸、y軸は画像内における位置を示し、z軸は輝度値を示す空間である。z軸において下にある灰色の面がかぶりの画像であり、画像全体を覆っているように位置している。そして、x軸方向にいくにしたがって、z軸において下に下がっているのは、かぶり画像が右側にいくほど濃くなっていることを示している。そして、z軸において上にある薄い格子模様の面が補正した後の画像の輝度を示している。p*は、図12の例に示すように、ステップS1008で決定された補正目標値であり、例えば、前述のように画像における明るい方から上位10%にある画素の輝度値である。次のステップS1012ではこれに合わせるように、各点における輝度を上げる(明るくする、z軸上で上にあげる)ようにしてかぶりを除去している。図12では、交点1212、1214、1216、1218に囲まれている交点1218を補正後中間点1222まで輝度を引き上げていることを示している。なお、交点1212、1214は、ライン1232上にあり、交点1216、1218は、ライン1234上にあり、交点1212、1216は、ライン1236上にあり、交点1214、1218は、ライン1238上にある。そして、下地以外の部分である文字部(図12内では「あ」の文字)は、画素値測定モジュール130によって下地部分よりも暗い輝度値が測定されることになる。
ステップS1012では、輝度補正モジュール950が、画像の輝度を補正する。輝度補正モジュール950は、推定輝度値と測定輝度値の差分をチェックする。そして、差分が暗い側にあれば(推定輝度から測定輝度値を減算した結果が正の値となれば)、補正量を下地部分と比べてより抑制する。つまり、文字等の部分については、必要以上に輝度値を上げないことになる。
図13は、輝度補正モジュール950による処理例を示す説明図である。図13(a)は、輝度補正モジュール950による補正前の画像の様子を示すグラフの例であり、図13(b)は、輝度補正モジュール950による補正後の画像の様子を示すグラフの例である。図13(a)(b)の例に示すグラフでは、補正目標値決定モジュール140が決定した補正目標値を水平線の点線で表している。図13(a)の例に示すグラフでは、画素値測定モジュール130が測定した輝度を実線で示しており、かぶり量推定モジュール120が推定したかぶり量(推定輝度値)は一点鎖線で示している。図13(b)の例に示すグラフでは、画素値測定モジュール130が測定した輝度を灰色の実線で示しており、輝度補正モジュール950が補正した輝度値は黒色の実線で示している。つまり、下地部分は補正目標値にまで輝度を上げており(輝度を高める、薄くする)、下地以外の部分は輝度を上げているが、下地部分において高めている量よりも少ない量である。したがって、下地以外の部分は、必要以上に薄くなっていないことを示している。
(推定輝度値−測定輝度値)<閾値th ならば、下地部分であると判断し、
(推定輝度値−測定輝度値)≧閾値th ならば、下地以外の部分であると判断する。なお、ここでの閾値thは、人間の目で見て下地以外の部分(例えば、文字)であると判明できる程度の値となり、予め定めた値である。
そして、下地部分であると判断された部分については、
補正量=(補正目標値−推定輝度値)
を計算し(この補正量は基本補正量となる)、下地以外の部分であると判断された部分については、
補正量=(補正目標値−推定輝度値)×補正レートR
を計算する。そして、補正量を測定輝度値に加算する。補正レートRは、1以下の値であり、次の(7)式のように計算される。測定輝度値(v)と推定輝度値(e)の差分が大きいほど係数である補正レート(R)が0に近い値となる。さらに、(7)式の外側のmax()式によって0が下限となり、差分が予め定めた値を超えると補正しないことになる。つまり、補正レート(R)は0となり、補正しないこと(測定輝度値そのままにしておくこと)となる。なお、補正強度パラメタρは予め定めた値とする。
図14は、第4の実施の形態の構成例についての概念的なモジュール構成図である。
第4の実施の形態である画像処理装置は、画像からかぶりを除去するものであって、図14の例に示すように、画像受付モジュール110、かぶり量推定モジュール120、画素値測定モジュール130、補正目標値決定モジュール140、補正可否判断モジュール1445、補正モジュール910、出力モジュール160を有している。補正モジュール910は、彩度補正モジュール150、輝度補正モジュール950を有している。
補正目標値決定モジュール140は、画素値測定モジュール130、補正可否判断モジュール1445と接続されている。第1の実施の形態の補正目標値決定モジュール140と同等であるが、決定した補正目標値を補正可否判断モジュール1445に渡す。
補正可否判断モジュール1445は、かぶり量推定モジュール120によって推定されたかぶり量と補正目標値決定モジュール140によって決定された補正目標値との差分に基づいて、彩度補正モジュール150と輝度補正モジュール950による補正を行うか否かを判断する。この判断処理については、前述の彩度補正可否判断モジュール145による(4)式を用いた判断処理と同等である。
また、補正可否判断モジュール1445は、画像受付モジュール110によって受け付けられた画像内の各画素におけるかぶり量推定モジュール120によって推定されたかぶり量同士の差分に基づいて、彩度補正モジュール150と輝度補正モジュール950による補正を行うか否かを判断するようにしてもよい。この判断処理については、前述の彩度補正可否判断モジュール145による(5)式、(6)式を用いた判断処理と同等である。
補正モジュール910内の輝度補正モジュール950は、第3の実施の形態の輝度補正モジュール950と同等であるが、補正可否判断モジュール1445によって補正を行うと判断された場合に、補正を行う。
ステップS1502では、画像受付モジュール110が、対象画像を受け付ける。
ステップS1504では、かぶり量推定モジュール120が、かぶり量を推定する。
ステップS1506では、画素値測定モジュール130が、画像内の画素値を測定する。
ステップS1508では、補正目標値決定モジュール140が、補正目標値を決定する。
例えば、前述の(4)式、(5)式、(6)式のいずれかにおける計算値Eが予め定めた値を超えている場合は補正を実施しないようにすることは、図7の例に示すフローチャート内のステップS710と同等である。
ステップS1514では、輝度補正モジュール950が、画像の輝度を補正する。
ステップS1516では、出力モジュール160が、補正した画像を出力する。
仮にかぶり量を正しく算出できたとしても、文字部は輝度0付近になっている(黒となっている)ため、下地部分と文字部分との差分が小さくなってしまう。ここで、下地部分と同じ量だけ輝度値を上げてしまうと、文字部分も必要以上に明るい方向へ補正されてしまう。
このことについて、図44(c)から(f)の例を用いて説明する。図44(c)の例に示すように撮影画像4430内をライン4432で走査した場合の輝度値をグラフに示すと、図44(d)の例に示すようにようなる。つまり、かぶり画像4420は右方向に向かうほど濃くなるため、輝度値は右下がりとなるが、元の画像におけるもともとの輝度値があるので、図44(d)のグラフの例のように、輝度分布4442〜4458で段階的な輝度の分布を示すことになる。ここで、図44(f)の例のように、下地部分(輝度分布4444、4448、4452、4456)の輝度値を目標輝度になるように各輝度を補正すると、下地以外の部分(輝度分布4446、4450、4454)も補正輝度分布4474〜4480の実線のように補正されることになる。その結果は図44(e)の例に示すような補正画像4460となる。つまり、補正画像4460の右側部分は、黒い文字部分であっても薄い灰色となってしまう。これは、下地以外の部分に対しても、下地の部分と同等のかぶり除去の補正を行ってしまうことから生じてしまうことである。
一方、第3の実施の形態、第4の実施の形態では、図44(f)の例の本来の補正輝度分布4482〜4488の点線のように、下地以外の部分に対しては補正量を少なくし、再現性を低下させることを防止している。
次に、第5の実施の形態を説明する。
まず、第5の実施の形態、第6の実施の形態を説明する前に、その前提となる技術について説明する。なお、この説明は、第5の実施の形態、第6の実施の形態の理解を容易にすることを目的とするものである。
図45(a)の例に示す撮影対象文書4510は名刺であり、白黒のみではなく、有彩色の領域もある。具体的には、撮影対象文書4510内の領域4512は赤色を背景としており、領域4514は白色を背景としており、図形4516は赤色のマーク(図形)である。この撮影対象文書4510を、例えばデジタルカメラで撮影し、図45(c)の例に示す撮影画像4530を得る。この場合、撮影した画像には図45(b)の例に示すかぶり画像4520が重複されて撮影されている。このかぶり画像4520の発生原因は前述した通りである。図45(b)の例に示すようにかぶり画像4520では、右上が濃い黒であり、左下が白となるようなグラデーション画像となっている。したがって、図45(c)の例に示すように撮影画像4530でも、右上は黒くなるが、左下は元の撮影対象文書4510の画像に近いものとなる。
また、デジタルカメラで撮影する場合のみでなく、スキャナ等においても、このかぶり画像は発生することがあることは、前述した通りである。
第5の実施の形態である画像処理装置は、画像からかぶりを除去するものであって、図16の例に示すように、画像受付モジュール110、非エッジ領域抽出モジュール1620、検査領域選択モジュール1630、画素値測定モジュール1640、画素値分布推定モジュール1650、補正目標値決定モジュール140、補正モジュール910、出力モジュール160を有している。補正モジュール910は、彩度補正モジュール150、輝度補正モジュール950を有している。
また、非エッジ領域抽出モジュール1620は、予め定めた大きさ以上又はより大きい領域を抽出し、その領域を抽出できなかった場合は、検査領域選択モジュール1630、画素値測定モジュール1640、画素値分布推定モジュール1650、補正目標値決定モジュール140、補正モジュール910、出力モジュール160の処理を行わないようにしてもよい。また、この場合、領域を抽出できなかった旨(つまり、かぶりの除去ができなかったこと)を出力するようにしてもよい。
ここで、抽出対象の領域とは、色値がなだらかで連続した領域である。言い換えると、エッジのない領域、又はエッジに囲まれた領域である。
非エッジ領域抽出モジュール1620の処理例については、図19、図20を用いて後述する。
また、検査領域選択モジュール1630における予め定めた規則は、非エッジ領域抽出モジュール1620によって抽出された領域の大きさによって定められているようにしてもよい。検査領域選択モジュール1630は、予め定めた規則として、さらに非エッジ領域抽出モジュール1620によって抽出された領域の輝度又は彩度によって定められているようにしてもよい。検査領域選択モジュール1630は、予め定めた規則として、さらに非エッジ領域抽出モジュール1620によって抽出された領域の彩度の分散値、画像における位置、外周の大きさのいずれか一つ以上によって定められているようにしてもよい。
検査領域選択モジュール1630の処理例については、図21を用いて後述する。
また、画素値測定モジュール1640が行う処理では、画素値を測定する走査方向として水平方向、垂直方向、斜め方向、楕円状のいずれか一つ以上であるようにしてもよい。水平方向と垂直方向の組み合わせ、右上斜め方向と右下斜め方向の組み合わせのように2種類の走査方向であってもよいし、楕円状に走査するように1種類の走査方向であってもよいし、3種類以上の走査方向の組み合わせであってもよい。
画素値測定モジュール1640の処理例については、図22、図23を用いて後述する。
また、画素値分布推定モジュール1650は、検査領域選択モジュール1630によって選択された領域内の画素の画素値(輝度値)を通る関数を推定するようにしてもよい。
画素値分布推定モジュール1650の処理例については、図24、図25を用いて後述する。
また、輝度補正モジュール950は、画素値測定モジュール1640による走査方向が複数方向あり、その走査方向が交差する位置におけるかぶりの値は、その走査に対して画素値分布推定モジュール1650によって推定された複数の関数によって求められた値に基づいて算出するようにしてもよい。走査線上にない画素にあっては、走査線上の画素におけるかぶりの値を用いて、その画素からの距離に応じてかぶりの値を算出すればよい。なお、かぶりの値とは、受け付けた画像の画素値と本来の地肌値(かぶりがない状態で撮影した画像の画素値)との差である。
輝度補正モジュール950の処理例については、図26、図27、図28を用いて後述する。
ステップS1702では、画像受付モジュール110が、対象画像を受け付ける。
図18は、画像受付モジュール110による処理例を示す説明図である。撮影対象文書1820は、図45の例で示した撮影対象文書4510と同等のものである。撮影対象文書1820には、左側の赤色を背景とした領域、右側の白色を背景とした領域、右上にある赤色のマークの領域がある。これを撮影装置310で撮影した場合、撮影画像1830のようにかぶりが発生した画像を得る。例えば、名刺交換した後に、机の上に撮影対象文書1820を置き、撮影装置310で撮影するような状況である。撮影装置310は、デジタルカメラであってもよいし、携帯情報端末装置(例えば、スマートフォンを含む携帯電話等)に内蔵されているデジタルカメラであってもよいし、スキャナ等であってもよい。
図19、図20は、非エッジ領域抽出モジュール1620による処理例を示す説明図である。例えば、非エッジ領域抽出モジュール1620は、ソーベルフィルターモジュール1910、2値化モジュール1920、白黒反転モジュール1930、ラベリングモジュール1940、小サイズ除去モジュール1950を有している。
ソーベルフィルターモジュール1910は、2値化モジュール1920と接続されており、ステップS1702で受け付けられた撮影画像1830に対して、ソーベルフィルター(Sobel Filter)処理を行って、その結果の画像を2値化モジュール1920に渡す。ソーベルフィルター処理とは、例えば、縦線や横線のエッジを検出する処理であり、フィルタを用いて行うものである。もちろんのことながら、フィルタの設計によっては、縦線、横線以外の線を検出することもできる。
白黒反転モジュール1930は、2値化モジュール1920、ラベリングモジュール1940と接続されており、2値化モジュール1920によって2値化された画像を受け取り、それに対して白黒反転処理を行って、その白黒反転処理の結果画像をラベリングモジュール1940に渡す。この処理によってエッジ部分は白となり、他の部分は黒となる。
小サイズ除去モジュール1950は、ラベリングモジュール1940と接続されており、ラベリングモジュール1940によってラベリングされた画像を受け取り、それに対して予め定めた大きさ以下又はより小さい領域であるノイズを除去する。この処理は、結果的に、予め定めた大きさ以上又はより大きい領域を抽出することになる。同じラベルが付されている領域の面積は、そのラベルが付された画素数を計数すること、又はその領域の外接矩形の面積を算出することによって求めてもよい。
図19の例に示した撮影画像1830に対して、以上の処理を施した結果の画像の例を図20に示す。領域画像2010は撮影画像1830の左側の赤色を背景とした領域であり、領域画像2020は撮影画像1830の右側の白色を背景とした領域であり、領域画像2030は撮影画像1830の右上にある赤色のマークの領域である。ただし、これらの画像は2値画像である。また、これらの画像は、撮影画像1830とのAND処理(論理積処理)を施すことによって、撮影画像1830からその領域を抽出することができるというマスク画像としての役割を有する。
なお、非エッジ領域抽出モジュール1620は、図19の例に示したモジュール構成による処理ではなく、他の処理によって領域を抽出するようにしてもよい。例えば、同じ色の領域を統合する処理を行うようにしてもよい。なお、同じ色とは完全同一の色のみならず、予め定めた関係にある色を含めてもよい。具体的には、画像内から画素を選択し、その選択した画素に接触している画素であって、選択した画素の色と予め定めた関係(例えば、色空間において、その2つの色の間の距離が予め定めた値以下又は未満である関係)にある色の画素を統合し、次にその統合した画素に対して同様の統合処理を繰り返して行うことによって領域を抽出するようにしてもよい。
検査領域選択モジュール1630は、ステップS1704で抽出した領域の特徴量を抽出する。そして、(10)式の識別関数にしたがって、各領域の(10)式の値を算出し、その値によって領域(ここでは前述のマスク画像)を選択する。例えば、ステップS1704で抽出した領域内で最大値を有する領域を選択する。
(10)式の右辺のxijは特徴量である。検査領域選択モジュール1630が、これらの特徴量を各領域(i)から抽出する。
xi0は、領域の幅若しくは高さのいずれか、又は幅×高さ(いわゆる外接矩形の面積)であってもよい。
xi1は、領域の面積である。
xi2は、領域の画素密度である。
xi3は、領域内の画素の輝度(例えば、L*ab色空間の場合はL*の値)の平均値である。
xi4は、領域内の画素の彩度(例えば、L*ab色空間の場合はa,bの値)の平均値である。
xi5は、領域内の画素の彩度の分散値である。
xi6は、領域(マスク画像)の重心とステップS1702で受け付けた画像の中心との距離である。
xi7は、領域の外周輪郭の長さ/外接矩形の周囲長である。
また、ここに例示した特徴量は全て使用する必要はなく、このうちのいずれかを選択して用いるようにしてもよい。例えば、xi0、xi1、xi2のいずれかだけを用いた識別関数としてもよい。これはかぶりの度合いを示す関数を推定するのに、大きな領域が適しているからである。
さらに、原稿の背景領域を選択するために、xi3、xi4を加えるようにしてもよい。かぶりの度合いを示す関数を推定するのに、背景領域が適しているからである。背景領域は、一般的には白いので、高輝度、低彩度の領域となるためである。なお、彩度(xi4)の重み(w4)は負の数である。
そこで、xi5以下の特徴量を追加するようにしてもよい。
風景画は背景部よりも概ね彩度のばらつきが高い。したがって、風景画を選択しないように彩度の分散値が小さい領域を選択できるように、xi5を採用してもよい。なお、彩度の分散値(xi5)の重み(w5)は負の数である。
撮影時に目的とする領域は意図的に画像中央になるようにしているのが一般的である。したがって、領域の重心(領域の中心であってもよい)は画像の中央寄りである領域を選択できるように、xi6を採用してもよい。なお、この距離(xi6)の重み(w6)は負の数である。
風景画の領域の外周は外接矩形の外周と比較して凹凸が多い。また、名刺の背景部等は矩形であり、その外周は直線状であることが多い。したがって、風景画を選択しないように外周輪郭が短い領域を選択できるように、xi7を採用してもよい。なお、この外周輪郭(xi7)の重み(w7)は負の数である。
図22、図23は、画素値測定モジュール1640による処理例を示す説明図である。
図22(a)の例に示す領域抽出画像2200は、ステップS1702で受け付けられた撮影画像1830とステップS1706で選択された領域画像2020とのAND処理による画像である。つまり、撮影画像1830から右側にある背景が白い領域を抽出したものである。この領域抽出画像2200に対して横と縦に予め定めた間隔(例えば、均等間隔)で走査する。例えば、横方向にライン2202〜2218、縦方向にライン2222〜2242で走査する。そして、その走査の結果、各画素の輝度値をグラフにして表すと、ライン2202の走査においては図22(b)の例のようなグラフになる。つまり、選択された領域内を走査していないでの、無効なデータのみからなるグラフとなる。そして、ライン2212の走査においては図22(c)の例のようなグラフになる。つまり、選択された領域内を一部走査しているので、有効なデータを含むグラフとなり、その輝度の値は右下がりのグラフとなる。ここでのかぶりが全体的に右上方向ほど濃くなるからである。
なお、有効なデータであるか、無効なデータであるかの判別は、検査領域選択モジュール1630が選択した領域の画像(マスク画像、図21の例に示した領域画像2020)を走査することによって行うことができる。領域画像2020内の黒部分の位置が領域抽出画像2200内において有効なデータがある位置であり、領域画像2020内の白部分の位置は領域抽出画像2200内において無効なデータがある位置として取り扱う。また、ここでは無効なデータは輝度値を0として扱っている。
図24、図25は、画素値分布推定モジュール1650による処理例を示す説明図である。
図24(a)の例に示すように、縦方向の走査におけるかぶりの度合いを示す関数を(16)式で、横方向の走査におけるかぶりの度合いを示す関数を(17)式とする。
図25(a)の例は、有効なデータがあるラインにおけるグラフを示している。ライン2204〜2216のそれぞれにおいて、同様のグラフで示すことができる。これらに対して最小二乗法等を用いて、輝度値を通る関数を推定する。例えば、横方向のラインでの関数は(18)式のように表すことができる。なお、各ラインにおいて、有効なデータ数が予め定めた数よりも少ない場合は、そのデータは用いないで関数を推定する。図25(b)の例において、(18)式は一点鎖線で表している。
縦方向のラインを用いた関数の推定も、前述した横方向のラインを用いた関数の推定と同等に行う。
図26、図27、図28は、輝度補正モジュール950による処理例を示す説明図である。
図26の例において、領域2610内の4つの交点(つまり交点2612はライン2206とライン2226の交点であり、交点2614はライン2206とライン2228の交点であり、交点2616はライン2208とライン2226の交点であり、交点2618はライン2208とライン2228の交点である)のかぶり量の計算について、図27を用いて説明する。なお、これらの交点は、無効データとして扱われていた領域にある交点である。
交点2612における輝度値は、(19)式を用いて算出する。
図28は、かぶり量を除去した様子を3次元的に表現したものである。x軸、y軸は画像の位置を示し、z軸は輝度値を示す空間である。灰色の面がかぶりの画像であり、画像全体を覆っているように位置している。そして、薄い格子模様の面が補正した後の画像の輝度を示している。p*は、図28の例に示すように、前述(1)に示した画像における明るい輝度値である。これに合わせるように、各点における輝度を上げるようにしてかぶりを除去している。図28では、中間点2722の輝度を引き上げていることを示している。
図29は、第6の実施の形態の構成例についての概念的なモジュール構成図である。
第6の実施の形態である画像処理装置は、画像からかぶりを除去するものであって、図29の例に示すように、画像受付モジュール110、非エッジ領域抽出モジュール1620、検査領域選択モジュール1630、画素値測定モジュール1640、画素値分布推定モジュール1650、補正目標値決定モジュール140、補正可否判断モジュール1445、補正モジュール910、出力モジュール160を有している。補正モジュール910は、彩度補正モジュール150、輝度補正モジュール950を有している。
また、補正可否判断モジュール1445は、画素値分布推定モジュール1650によって推定された関数に基づいてかぶり量を算出し、画像受付モジュール110によって受け付けられた画像内の各画素におけるかぶり量同士の差分に基づいて、彩度補正モジュール150と輝度補正モジュール950による補正を行うか否かを判断するようにしてもよい。
補正モジュール910内の彩度補正モジュール150は、第5の実施の形態の彩度補正モジュール150と同等であるが、補正可否判断モジュール1445によって補正を行うと判断された場合に、補正を行う。
補正モジュール910内の輝度補正モジュール950は、第5の実施の形態の輝度補正モジュール950と同等であるが、補正可否判断モジュール1445によって補正を行うと判断された場合に、補正を行う。
ステップS3002では、画像受付モジュール110が、対象画像を受け付ける。
ステップS3004では、非エッジ領域抽出モジュール1620が、色値の変化がなだらかで連続した領域を抽出する。
ステップS3006では、検査領域選択モジュール1630が、かぶりの傾斜を推定するのに適している領域を抽出する。
ステップS3008では、画素値測定モジュール1640が、予め定められた規則にしたがってラインを走査して、画素値を測定する。
ステップS3010では、画素値分布推定モジュール1650が、測定した画素値の集合から、かぶりの傾斜度合いを推定する。
ステップS3012では、補正目標値決定モジュール140が、補正目標値を決定する。
ステップS3014では、補正可否判断モジュール1445が、補正処理を行うか否かを判断し、行う場合はステップS3016へ進み、それ以外の場合はステップS3020へ進む。
ステップS3016では、彩度補正モジュール150が、画像の彩度を補正する。
ステップS3018では、輝度補正モジュール950が、画像の輝度を補正する。
ステップS3020では、出力モジュール160が、補正した画像を出力する。
一方、第5の実施の形態、第6の実施の形態では、領域4514を選択し、その領域4514に基づいてかぶり除去量を算出し、画像を補正している。背景が白ではない領域4512のような部分は、図45(e)の例に示すような補正画像4540と比べて、輝度が明るくなりすぎてしまうことを抑制している。
図31は、第7の実施の形態の構成例についての概念的なモジュール構成図である。
第7の実施の形態である画像処理装置は、画像からかぶりを除去するものであって、図31の例に示すように、準平坦領域抽出モジュール3110、サンプリング領域選択モジュール3120、かぶり量推定モジュール3130、輝度かぶり補正モジュール3140を有している。
多モデル関数推定モジュール3134は、対象としている画像内の走査線毎にかぶり量を推定する複数の関数の情報量を算出し、その情報量に基づいてその走査線毎に適用すべき関数を選択する。そして、選択された走査線毎の関数の情報量と複数の関数間の差分ノルムに基づいて、関数の組み合わせを選択する。また、関数を選択するにあたって、走査線毎の画素の輝度値の分布に基づいて、選択すべきでない関数を除外し、残った関数内から関数を選択するようにしてもよい。「かぶり量を推定する複数の関数」、「関数の情報量」、「関数の選択」、「関数の組み合わせを選択」等については後述する。平面輝度推定モジュール3136は、多モデル関数推定モジュール3134によって選択された関数の組み合わせを走査線毎に適用することによって、かぶり量を推定する。
なお、前述の実施の形態における「かぶり量の推定処理」を、第7の実施の形態におけるかぶり量推定モジュール3130による処理に置換してもよい。
ステップS3202では、準平坦領域抽出モジュール3110が前述のエッジ強調モジュール3112、2値化モジュール3114、反転モジュール3116、ラベリングモジュール3118を制御して、対象とする画像から準平坦領域を抽出する。
ステップS3204では、色解析モジュール3122が、準平坦領域の色を解析する。
ステップS3206では、識別関数モジュール3124が、準平坦領域に対して識別関数を適用する。
ステップS3208では、領域選択モジュール3126が、対象とする領域を選択する。
ステップS3210では、ラインサンプリングモジュール3132が、画像に対して走査ラインによるサンプリングを行う。
ステップS3212では、多モデル関数推定モジュール3134が、多モデル関数による推定を行う。
ステップS3214では、平面輝度推定モジュール3136が、モデル関数による輝度の推定を行う。
ステップS3216では、輝度かぶり補正モジュール3140が前述の座標毎補正量計算モジュール3142、輝度補正モジュール3144、彩度補正モジュール3146を制御して、推定したかぶり量を用いて画像に対して補正を行う。
ラインサンプリングモジュール3132は、対象としている画像3300を走査する。つまり、予め定められた走査線を設定し、その走査線上の画素値を取得する。そして、かぶり量を推定するが、前述の実施の形態(第1の実施の形態から第6の実施の形態)では、(16)式、(17)式に示したように、1次式による推定を行っている。そして、明度の補正目標値hは、(22)式のように算出している。
パラメタα,βに関して、(24)式、(25)式のような線形なモデルを設定する。これは、解析的に解が求められるようにするためである。
ここでは、AIC(赤池情報量規準:Akaike Information Criteria)を用いて選択する例を説明する。AICとは、カルバックライブラ情報量のモデル依存部分の期待値を統計的な漸近理論(関数のテーラー展開類似の処理)で、1/nオーダー(n:標本数)の項まで残した状態に変形したものを標本平均で近似したものである。特徴として、1/nオーダー項の近似部が「パラメタ数が多いほどペナルティが付与される」意味をなすので、複雑なモデルにしすぎない効用がある。
このAICを用いて、(24)式、(26)式、(28)式から(35)式、(36)式を算出する。
ただし、ここでは、各走査線の推定を独立に行いすぎている。つまり、単純に、走査ライン毎のAIC最小値を示す関数モデルを選択しただけでは、かぶり量の推定には適していない。実際のところ、想定している影かぶりはくっきりとしておらず、ぼんやりとしたものである。
図34は、ライン・関数対応テーブル3350内における差分ノルムの例を示す説明図である。
「想定している影かぶりはくっきりとしておらず、ぼんやりとしたものである」ことから、「近い走査線の関数は比較的形状が似ている」ことになる。そこで、形状の類似性を、「関数の差分ノルム」で定義する。ここで、ri+1とriにおける「関数の差分ノルム」は(37)式である。
そして、2つの走査線分の評価値(J)を、「隣接走査線のAIC値2つと関数の差分ノルム値の和」で定義し、(38)式のように表現する。(38)式は、各走査線のAIC値と関数の差分ノルムによって定義されている。
走査線毎の画素の輝度値の分布に基づいて、選択すべきでない関数モデルを除外し、残った関数内から関数モデルを選択すればよい。具体的には、領域選択モジュール3126によって選択された領域を通過していない走査線の関数モデルを除外するようにしてもよい。また、その領域が含まれている率を走査線毎に算出し、予め定められた閾値よりも小又は以下である場合は、その走査線の関数モデルを除外するようにしてもよい。また、関数モデル毎にその関数モデルが発散する値群を予め算出し、その発散する値群が走査線に含まれている場合は、その走査線において発散する関数モデルを除外するようにしてもよい。
図35は、第8の実施の形態の構成例についての概念的なモジュール構成図である。
第8の実施の形態である画像処理装置は、画像からかぶりを除去するものであって、図35の例に示すように、準平坦領域抽出モジュール3110、サンプリング領域選択モジュール3120、かぶり量推定モジュール3530、輝度かぶり補正モジュール3140を有している。つまり、前述の第7の実施の形態のかぶり量推定モジュール3130をかぶり量推定モジュール3530に変更したものである。特に、複数の背景色で構成された画像を対象とする場合に適している。第8の実施の形態は、対象としている画像から背景らしい領域を複数抽出して、その複数領域を通過する予め定められた方向のサンプリングライン(走査線)を複数用意する。複数領域の背景色が異なる場合でもその隣接画素との差分値を入力としたデータの微分関数近似を実施してから、個々の領域の背景色を積分形から算出するものである。
サンプリング領域選択モジュール3120は、色解析モジュール3122、識別関数モジュール3124、領域選択モジュール3126を有しており、準平坦領域抽出モジュール3110、かぶり量推定モジュール3530と接続されている。
多モデル大域微分関数推定モジュール3534は、ライフサンプリングモジュール3532によって算出された画素の差分に適用する複数の関数であって、対象としている画像内の走査線毎にかぶり量を推定するその複数の関数の情報量を算出し、その情報量に基づいてその走査線毎に適用すべき関数を選択する。そして、選択された走査線毎の関数の情報量と複数の関数間の差分ノルムに基づいて、関数の組み合わせを選択する。つまり、差分を入力とする複数の関数モデル内から適した関数(回帰関数)を推定することになる。これらの処理は、領域選択モジュール3126によって選択された領域毎に行う。
局所域定数推定モジュール3536は、多モデル大域微分関数推定モジュール3534によって選択された関数の積分関数を算出し、その積分関数の定数項を推定する。この定数項は、領域選択モジュール3126によって選択された領域全体のかぶり量の定数とその領域の背景色の固有量の和である。つまり、選択領域毎に推定した関数の線分関数を算出し、その定数項を推定する。
平面輝度推定モジュール3538は、多モデル大域微分関数推定モジュール3534によって選択された関数の組み合わせと局所域定数推定モジュール3536によって推定された定数項を領域内の走査線毎に適用することによって、かぶり量を推定する。これによって、複数領域の差分に関して回帰を実行するので、対象としている画像全体に広がるかぶりを定数項で推定可能となる。
図36(a)の例に示す画像3610は、対象としている画像であって、5つの互いに異なる色の背景を持つ領域(オレンジ色の背景の領域S0c0、薄緑色の背景の領域S1c1、薄青色の背景の領域S2c2、ピンク色の背景の領域S3c3、白色の背景の領域SNScNS)がある。ここで、座標x、yにおける本来の画素値は、(42)式のようになる。
第8の実施の形態では、(47)式の増減に関わる成分が影側(かぶり画像)にのみ存在することを利用する。
そのために、まず図38(a)の例に示す非エッジ領域マスク3810を利用する。非エッジ領域マスク3810は、反転モジュール3116によって生成された画像である。ここでの画素値は、(48)式のようになる。
各領域毎に複数ラインの推定結果(関数モデルの組み合わせの選択)から(59)式を用いて定数項を推定する。
そこで、影かぶりの均等化のための補正量を決める必要がある。図41は、第8の実施の形態による処理例を示す説明図である。
まず、対象としている画像内で一番明度の高い領域(一般的には白色の背景部)の定数項(c^l)を全面で採用するという仮定をする。その上で、影かぶりの分布の予め定められたレベル(中央値、平均値、最頻値、高明度側から予め定められた率に位置する点など)を基準にして差分量を決める。(60)式の左辺は、領域固有色を白部分に合わせた状態に相当する。
(10)式に示すように複数の特徴量の重み付き線形和の識別関数を利用して、最も傾斜かぶりを推定するに十分な領域で条件を満たすもの全てを選択する。
領域画像4210に対して識別関数の計算結果は、(61)式のように1.5である。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray Disc(登録商標))、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
[A1]
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像から領域を抽出する抽出手段と、
前記抽出手段によって抽出された領域を予め定めた規則に基づいて選択する選択手段と、
前記選択手段によって選択された領域内の画素の輝度値を測定する測定手段と、
前記測定手段によって測定された画素値から、前記受付手段によって受け付けられた画像におけるかぶりの度合いを示す関数を推定する推定手段と、
前記推定手段によって推定された関数に基づいて、前記受付手段によって受け付けられた画像からかぶりを除去する除去手段
を具備することを特徴とする画像処理装置。
[A2]
前記抽出手段は、予め定めた大きさ以上又はより大きい領域を抽出し、該領域を抽出できなかった場合は、前記選択手段以降の処理を行わない
ことを特徴とする[A1]に記載の画像処理装置。
[A3]
前記選択手段における予め定めた規則は、前記抽出手段によって抽出された領域の大きさによって定められている
ことを特徴とする[A1]又は[A2]に記載の画像処理装置。
[A4]
前記選択手段は、予め定めた規則として、さらに前記抽出手段によって抽出された領域の輝度又は彩度によって定められている
ことを特徴とする[A3]に記載の画像処理装置。
[A5]
前記選択手段は、予め定めた規則として、さらに前記抽出手段によって抽出された領域の彩度の分散値、前記画像における位置、外周の大きさのいずれか一つ以上によって定められている
ことを特徴とする[A3]又は[A4]に記載の画像処理装置。
[A6]
前記測定手段は、画素値を測定する走査方向として水平方向、垂直方向、斜め方向、楕円状のいずれか一つ以上である
ことを特徴とする[A1]から[A5]のいずれか一項に記載の画像処理装置。
[A7]
前記推定手段は、前記選択手段によって選択された領域内の画素の輝度値を通る関数を推定する
ことを特徴とする[A1]から[A6]のいずれか一項に記載の画像処理装置。
[A8]
前記除去手段は、前記測定手段による走査方向が複数方向あり、該走査方向が交差する位置におけるかぶりの値は、該走査に対して前記推定手段によって推定された複数の関数によって求められた値に基づいて算出する
ことを特徴とする[A7]に記載の画像処理装置。
[A9]
コンピュータを、
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像から領域を抽出する抽出手段と、
前記抽出手段によって抽出された領域を予め定めた規則に基づいて選択する選択手段と、
前記選択手段によって選択された領域内の画素の輝度値を測定する測定手段と、
前記測定手段によって測定された画素値から、前記受付手段によって受け付けられた画像におけるかぶりの度合いを示す関数を推定する推定手段と、
前記推定手段によって推定された関数に基づいて、前記受付手段によって受け付けられた画像からかぶりを除去する除去手段
として機能させるための画像処理プログラム。
[B1]
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像に基づいて、本来の画素の輝度値と該画像の画素の輝度値との差であるかぶり量を推定する推定手段と、
前記受付手段によって受け付けられた画像内の画素の輝度値を測定する測定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値に基づいて、前記測定手段によって測定された輝度値を補正する補正手段
を具備することを特徴とする画像処理装置。
[B2]
前記補正手段は、前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値との差分を基本補正量とし、該基本補正量を前記測定手段によって測定された輝度値と該かぶり量との差分に基づいた係数によって変更し、該変更した基本補正量に基づいて、該輝度値を補正する
ことを特徴とする[B1]に記載の画像処理装置。
[B3]
前記補正手段は、前記測定手段によって測定された輝度値と前記かぶり量との差分が大きくなると、前記基本補正量を小さくするような係数とする
ことを特徴とする[B2]に記載の画像処理装置。
[B4]
前記補正手段は、前記測定手段によって測定された輝度値と前記かぶり量との差分が予め定めた閾値以上又は大きい場合は、該輝度値の補正を行わない
ことを特徴とする[B2]又は[B3]に記載の画像処理装置。
[B5]
前記補正手段は、前記基本補正量を前記測定手段によって測定された輝度値と前記かぶり量との差分と前記基本補正量に基づいた係数によって変更する
ことを特徴とする[B2]から[B4]のいずれか一項に記載の画像処理装置。
[B6]
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値との差分に基づいて、前記補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする[B1]から[B5]のいずれか一項に記載の画像処理装置。
[B7]
前記受付手段によって受け付けられた画像内の各画素における前記推定手段によって推定されたかぶり量同士の差分に基づいて、前記補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする[B1]から[B5]のいずれか一項に記載の画像処理装置。
[B8]
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像から領域を抽出する抽出手段と、
前記抽出手段によって抽出された領域を予め定めた規則に基づいて選択する選択手段と、
前記選択手段によって選択された領域内の画素の輝度値を測定する測定手段と、
前記測定手段によって測定された画素値から、前記受付手段によって受け付けられた画像におけるかぶりの度合いを示す関数を推定する推定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定された関数に基づいてかぶり量を算出し、該かぶり量と前記決定手段によって決定された補正目標値に基づいて、前記測定手段によって測定された輝度値を補正する補正手段
を具備することを特徴とする画像処理装置。
[B9]
前記推定手段によって推定された関数に基づいてかぶり量を算出し、該かぶり量と前記決定手段によって決定された補正目標値との差分に基づいて、前記補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする[B8]に記載の画像処理装置。
[B10]
前記推定手段によって推定された関数に基づいてかぶり量を算出し、前記受付手段によって受け付けられた画像内の各画素における該かぶり量同士の差分に基づいて、前記補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする[B8]に記載の画像処理装置。
[B11]
コンピュータを、
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像に基づいて、本来の画素の輝度値と該画像の画素の輝度値との差であるかぶり量を推定する推定手段と、
前記受付手段によって受け付けられた画像内の画素の輝度値を測定する測定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値に基づいて、前記測定手段によって測定された輝度値を補正する補正手段
として機能させるための画像処理プログラム。
[B12]
コンピュータを、
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像から領域を抽出する抽出手段と、
前記抽出手段によって抽出された領域を予め定めた規則に基づいて選択する選択手段と、
前記選択手段によって選択された領域内の画素の輝度値を測定する測定手段と、
前記測定手段によって測定された画素値から、前記受付手段によって受け付けられた画像におけるかぶりの度合いを示す関数を推定する推定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定された関数に基づいてかぶり量を算出し、該かぶり量と前記決定手段によって決定された補正目標値に基づいて、前記測定手段によって測定された輝度値を補正する補正手段
として機能させるための画像処理プログラム。
[C1]
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像に基づいて、本来の画素の輝度値と該画像の画素の輝度値との差であるかぶり量を推定する推定手段と、
前記受付手段によって受け付けられた画像内の画素の彩度値を測定する測定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値と前記測定手段によって測定された彩度値の無彩色からの距離に基づいて、該彩度値を補正する補正手段
を具備することを特徴とする画像処理装置。
[C2]
前記補正手段は、前記測定手段によって測定された彩度値が無彩色に近くなるほど、彩度値の補正量を少なくするように補正する
ことを特徴とする[C1]に記載の画像処理装置。
[C3]
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値との差分に基づいて、前記補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする[C1]又は[C2]に記載の画像処理装置。
[C4]
前記受付手段によって受け付けられた画像内の各画素における前記推定手段によって推定されたかぶり量同士の差分に基づいて、前記補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする[C1]又は[C2]に記載の画像処理装置。
[C5]
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像に基づいて、本来の画素の輝度値と該画像の画素の輝度値との差であるかぶり量を推定する推定手段と、
前記受付手段によって受け付けられた画像内の画素の輝度値と彩度値を測定する測定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値と前記測定手段によって測定された彩度値の無彩色からの距離に基づいて、該彩度値を補正する第1の補正手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値に基づいて、前記測定手段によって測定された輝度値を補正する第2の補正手段
を具備することを特徴とする画像処理装置。
[C6]
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値との差分に基づいて、前記第1の補正手段と前記第2の補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記第1の補正手段と前記第2の補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする[C5]に記載の画像処理装置。
[C7]
前記受付手段によって受け付けられた画像内の各画素における前記推定手段によって推定されたかぶり量同士の差分に基づいて、前記第1の補正手段と前記第2の補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記第1の補正手段と前記第2の補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする[C5]に記載の画像処理装置。
[C8]
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像から領域を抽出する抽出手段と、
前記抽出手段によって抽出された領域を予め定めた規則に基づいて選択する選択手段と、
前記選択手段によって選択された領域内の画素の輝度値と彩度値を測定する測定手段と、
前記測定手段によって測定された輝度値から、前記受付手段によって受け付けられた画像におけるかぶりの度合いを示す関数を推定する推定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定された関数に基づいてかぶり量を算出し、該かぶり量と前記決定手段によって決定された補正目標値と前記測定手段によって測定された彩度値の無彩色からの距離に基づいて、該彩度値を補正する第1の補正手段と、
前記推定手段によって推定された関数に基づいてかぶり量を算出し、該かぶり量と前記決定手段によって決定された補正目標値に基づいて、前記測定手段によって測定された輝度値を補正する第2の補正手段
を具備することを特徴とする画像処理装置。
[C9]
前記推定手段によって推定された関数に基づいてかぶり量を算出し、該かぶり量と前記決定手段によって決定された補正目標値との差分に基づいて、前記第1の補正手段と前記第2の補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記第1の補正手段と前記第2の補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする[C8]に記載の画像処理装置。
[C10]
前記推定手段によって推定された関数に基づいてかぶり量を算出し、前記受付手段によって受け付けられた画像内の各画素における該かぶり量同士の差分に基づいて、前記第1の補正手段と前記第2の補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記第1の補正手段と前記第2の補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする[C8]に記載の画像処理装置。
[C11]
コンピュータを、
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像に基づいて、本来の画素の輝度値と該画像の画素の輝度値との差であるかぶり量を推定する推定手段と、
前記受付手段によって受け付けられた画像内の画素の彩度値を測定する測定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値と前記測定手段によって測定された彩度値の無彩色からの距離に基づいて、該彩度値を補正する補正手段
として機能させるための画像処理プログラム。
[C12]
コンピュータを、
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像に基づいて、本来の画素の輝度値と該画像の画素の輝度値との差であるかぶり量を推定する推定手段と、
前記受付手段によって受け付けられた画像内の画素の輝度値と彩度値を測定する測定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値と前記測定手段によって測定された彩度値の無彩色からの距離に基づいて、該彩度値を補正する第1の補正手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値に基づいて、前記測定手段によって測定された輝度値を補正する第2の補正手段
として機能させるための画像処理プログラム。
[C13]
コンピュータを、
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像から領域を抽出する抽出手段と、
前記抽出手段によって抽出された領域を予め定めた規則に基づいて選択する選択手段と、
前記選択手段によって選択された領域内の画素の輝度値と彩度値を測定する測定手段と、
前記測定手段によって測定された輝度値から、前記受付手段によって受け付けられた画像におけるかぶりの度合いを示す関数を推定する推定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定された関数に基づいてかぶり量を算出し、該かぶり量と前記決定手段によって決定された補正目標値と前記測定手段によって測定された彩度値の無彩色からの距離に基づいて、該彩度値を補正する第1の補正手段と、
前記推定手段によって推定された関数に基づいてかぶり量を算出し、該かぶり量と前記決定手段によって決定された補正目標値に基づいて、前記測定手段によって測定された輝度値を補正する第2の補正手段
として機能させるための画像処理プログラム。
[D1]
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像に基づいて、本来の画素の輝度値と該画像の画素の輝度値との差であるかぶり量を推定する推定手段と、
前記受付手段によって受け付けられた画像内の画素の彩度値を測定する測定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値と前記測定手段によって測定された彩度値の無彩色からの距離に基づいて、該彩度値を補正する補正手段
を具備し、
前記推定手段は、
前記受付手段によって受け付けられた画像内の走査線毎にかぶり量を推定する複数の関数の情報量を算出し、該情報量に基づいて該走査線毎に適用すべき関数を選択する関数選択手段と、
前記関数選択手段によって選択された前記走査線毎の関数の情報量と複数の関数間の差分ノルムに基づいて、関数の組み合わせを選択する関数組選択手段と、
前記関数組選択手段によって選択された関数の組み合わせを前記走査線毎に適用することによって、かぶり量を推定するかぶり量推定手段
を有することを特徴とする画像処理装置。
[D2]
前記関数選択手段は、前記走査線毎の画素の輝度値の分布に基づいて、選択すべきでない関数を除外し、残った関数内から関数を選択する
ことを特徴とする[D1]に記載の画像処理装置。
[D3]
前記補正手段は、前記測定手段によって測定された彩度値が無彩色に近くなるほど、彩度値の補正量を少なくするように補正する
ことを特徴とする[D1]又は[D2]に記載の画像処理装置。
[D4]
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値との差分に基づいて、前記補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする[D1]から[D3]のいずれか一項に記載の画像処理装置。
[D5]
前記受付手段によって受け付けられた画像内の各画素における前記推定手段によって推定されたかぶり量同士の差分に基づいて、前記補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする[D1]から[D3]のいずれか一項に記載の画像処理装置。
[D6]
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像に基づいて、本来の画素の輝度値と該画像の画素の輝度値との差であるかぶり量を推定する推定手段と、
前記受付手段によって受け付けられた画像内の画素の輝度値と彩度値を測定する測定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値と前記測定手段によって測定された彩度値の無彩色からの距離に基づいて、該彩度値を補正する第1の補正手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値に基づいて、前記測定手段によって測定された輝度値を補正する第2の補正手段
を具備し、
前記推定手段は、
前記受付手段によって受け付けられた画像内の走査線毎にかぶり量を推定する複数の関数の情報量を算出し、該情報量に基づいて該走査線毎に適用すべき関数を選択する関数選択手段と、
前記関数選択手段によって選択された前記走査線毎の関数の情報量と複数の関数間の差分ノルムに基づいて、関数の組み合わせを選択する関数組選択手段と、
前記関数組選択手段によって選択された関数の組み合わせを前記走査線毎に適用することによって、かぶり量を推定するかぶり量推定手段
を有することを特徴とする画像処理装置。
[D7]
前記関数選択手段は、前記走査線毎の画素の輝度値の分布に基づいて、選択すべきでない関数を除外し、残った関数内から関数を選択する
ことを特徴とする[D6]に記載の画像処理装置。
[D8]
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値との差分に基づいて、前記第1の補正手段と前記第2の補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記第1の補正手段と前記第2の補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする[D6]又は[D7]に記載の画像処理装置。
[D9]
前記受付手段によって受け付けられた画像内の各画素における前記推定手段によって推定されたかぶり量同士の差分に基づいて、前記第1の補正手段と前記第2の補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記第1の補正手段と前記第2の補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする[D6]又は[D7]に記載の画像処理装置。
[D10]
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像から領域を抽出する抽出手段と、
前記抽出手段によって抽出された領域を予め定めた規則に基づいて選択する選択手段と、
前記選択手段によって選択された領域内の画素の輝度値と彩度値を測定する測定手段と、
前記測定手段によって測定された輝度値から、前記受付手段によって受け付けられた画像におけるかぶりの度合いを示す関数を推定する推定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定された関数に基づいてかぶり量を算出し、該かぶり量と前記決定手段によって決定された補正目標値と前記測定手段によって測定された彩度値の無彩色からの距離に基づいて、該彩度値を補正する第1の補正手段と、
前記推定手段によって推定された関数に基づいてかぶり量を算出し、該かぶり量と前記決定手段によって決定された補正目標値に基づいて、前記測定手段によって測定された輝度値を補正する第2の補正手段
を具備し、
前記推定手段は、
前記受付手段によって受け付けられた画像内の走査線毎にかぶり量を推定する複数の関数の情報量を算出し、該情報量に基づいて該走査線毎に適用すべき関数を選択する関数選択手段と、
前記関数選択手段によって選択された前記走査線毎の関数の情報量と複数の関数間の差分ノルムに基づいて、関数の組み合わせを選択する関数組選択手段と、
前記関数組選択手段によって選択された関数の組み合わせを前記走査線毎に適用することによって、かぶり量を推定するかぶり量推定手段
を有することを特徴とする画像処理装置。
[D11]
前記関数選択手段は、前記走査線毎の画素の輝度値の分布に基づいて、選択すべきでない関数を除外し、残った関数内から関数を選択する
ことを特徴とする[D10]に記載の画像処理装置。
[D12]
前記推定手段によって推定された関数に基づいてかぶり量を算出し、該かぶり量と前記決定手段によって決定された補正目標値との差分に基づいて、前記第1の補正手段と前記第2の補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記第1の補正手段と前記第2の補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする[D10]又は[D11]に記載の画像処理装置。
[D13]
前記推定手段によって推定された関数に基づいてかぶり量を算出し、前記受付手段によって受け付けられた画像内の各画素における該かぶり量同士の差分に基づいて、前記第1の補正手段と前記第2の補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記第1の補正手段と前記第2の補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする[D10]又は[D11]に記載の画像処理装置。
[D14]
コンピュータを、
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像に基づいて、本来の画素の輝度値と該画像の画素の輝度値との差であるかぶり量を推定する推定手段と、
前記受付手段によって受け付けられた画像内の画素の彩度値を測定する測定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値と前記測定手段によって測定された彩度値の無彩色からの距離に基づいて、該彩度値を補正する補正手段
として機能させ、
前記推定手段は、
前記受付手段によって受け付けられた画像内の走査線毎にかぶり量を推定する複数の関数の情報量を算出し、該情報量に基づいて該走査線毎に適用すべき関数を選択する関数選択手段と、
前記関数選択手段によって選択された前記走査線毎の関数の情報量と複数の関数間の差分ノルムに基づいて、関数の組み合わせを選択する関数組選択手段と、
前記関数組選択手段によって選択された関数の組み合わせを前記走査線毎に適用することによって、かぶり量を推定するかぶり量推定手段
を有することを特徴とする画像処理プログラム。
[D15]
コンピュータを、
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像に基づいて、本来の画素の輝度値と該画像の画素の輝度値との差であるかぶり量を推定する推定手段と、
前記受付手段によって受け付けられた画像内の画素の輝度値と彩度値を測定する測定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値と前記測定手段によって測定された彩度値の無彩色からの距離に基づいて、該彩度値を補正する第1の補正手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値に基づいて、前記測定手段によって測定された輝度値を補正する第2の補正手段
として機能させ、
前記推定手段は、
前記受付手段によって受け付けられた画像内の走査線毎にかぶり量を推定する複数の関数の情報量を算出し、該情報量に基づいて該走査線毎に適用すべき関数を選択する関数選択手段と、
前記関数選択手段によって選択された前記走査線毎の関数の情報量と複数の関数間の差分ノルムに基づいて、関数の組み合わせを選択する関数組選択手段と、
前記関数組選択手段によって選択された関数の組み合わせを前記走査線毎に適用することによって、かぶり量を推定するかぶり量推定手段
を有することを特徴とする画像処理プログラム。
[D16]
コンピュータを、
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像から領域を抽出する抽出手段と、
前記抽出手段によって抽出された領域を予め定めた規則に基づいて選択する選択手段と、
前記選択手段によって選択された領域内の画素の輝度値と彩度値を測定する測定手段と、
前記測定手段によって測定された輝度値から、前記受付手段によって受け付けられた画像におけるかぶりの度合いを示す関数を推定する推定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定された関数に基づいてかぶり量を算出し、該かぶり量と前記決定手段によって決定された補正目標値と前記測定手段によって測定された彩度値の無彩色からの距離に基づいて、該彩度値を補正する第1の補正手段と、
前記推定手段によって推定された関数に基づいてかぶり量を算出し、該かぶり量と前記決定手段によって決定された補正目標値に基づいて、前記測定手段によって測定された輝度値を補正する第2の補正手段
として機能させ、
前記推定手段は、
前記受付手段によって受け付けられた画像内の走査線毎にかぶり量を推定する複数の関数の情報量を算出し、該情報量に基づいて該走査線毎に適用すべき関数を選択する関数選択手段と、
前記関数選択手段によって選択された前記走査線毎の関数の情報量と複数の関数間の差分ノルムに基づいて、関数の組み合わせを選択する関数組選択手段と、
前記関数組選択手段によって選択された関数の組み合わせを前記走査線毎に適用することによって、かぶり量を推定するかぶり量推定手段
を有することを特徴とする画像処理プログラム。
120…かぶり量推定モジュール
130…画素値測定モジュール
140…補正目標値決定モジュール
145…彩度補正可否判断モジュール
150…彩度補正モジュール
160…出力モジュール
910…補正モジュール
950…輝度補正モジュール
1445…補正可否判断モジュール
1620…非エッジ領域抽出モジュール
1630…検査領域選択モジュール
1640…画素値測定モジュール
1650…画素値分布推定モジュール
1910…ソーベルフィルターモジュール
1920…2値化モジュール
1930…白黒反転モジュール
1940…ラベリングモジュール
1950…小サイズ除去モジュール
3110…準平坦領域抽出モジュール
3112…エッジ強調モジュール
3114…2値化モジュール
3116…反転モジュール
3118…ラベリングモジュール
3120…サンプリング領域選択モジュール
3122…色解析モジュール
3124…識別関数モジュール
3126…領域選択モジュール
3130…かぶり量推定モジュール
3132…ラインサンプリングモジュール
3134…多モデル関数推定モジュール
3136…平面輝度推定モジュール
3140…輝度かぶり補正モジュール
3142…座標毎補正量計算モジュール
3144…輝度補正モジュール
3146…彩度補正モジュール
3530…かぶり量推定モジュール
3532…ライフサンプリングモジュール
3534…多モデル大域微分関数推定モジュール
3536…局所域定数推定モジュール
3538…平面輝度推定モジュール
Claims (17)
- 画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像に基づいて、本来の画素の輝度値と該画像の画素の輝度値との差であるかぶり量を推定する推定手段と、
前記受付手段によって受け付けられた画像内の画素の彩度値を測定する測定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値と前記測定手段によって測定された彩度値の無彩色からの距離に基づいて、該彩度値を補正する補正手段
を具備し、
前記推定手段は、
前記受付手段によって受け付けられた画像内の走査線毎に隣の画素との差分を算出する算出手段と、
前記算出手段によって算出された画素の差分に適用する複数の関数であって、前記受付手段によって受け付けられた画像内の走査線毎にかぶり量を推定する該複数の関数の情報量を算出し、該情報量に基づいて該走査線毎に適用すべき関数を選択する関数選択手段と、
前記関数選択手段によって選択された前記走査線毎の関数の情報量と複数の関数間の差分ノルムに基づいて、関数の組み合わせを選択する関数組選択手段と、
前記関数組選択手段によって選択された関数の組み合わせを前記走査線毎に適用することによって、かぶり量を推定するかぶり量推定手段
を有することを特徴とする画像処理装置。 - 前記関数選択手段は、前記走査線毎の画素の輝度値の分布に基づいて、選択すべきでない関数を除外し、残った関数内から関数を選択する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記補正手段は、前記測定手段によって測定された彩度値が無彩色に近くなるほど、彩度値の補正量を少なくするように補正する
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値との差分に基づいて、前記補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする請求項1から3のいずれか一項に記載の画像処理装置。 - 前記受付手段によって受け付けられた画像内の各画素における前記推定手段によって推定されたかぶり量同士の差分に基づいて、前記補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする請求項1から3のいずれか一項に記載の画像処理装置。 - 画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像に基づいて、本来の画素の輝度値と該画像の画素の輝度値との差であるかぶり量を推定する推定手段と、
前記受付手段によって受け付けられた画像内の画素の輝度値と彩度値を測定する測定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値と前記測定手段によって測定された彩度値の無彩色からの距離に基づいて、該彩度値を補正する第1の補正手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値に基づいて、前記測定手段によって測定された輝度値を補正する第2の補正手段
を具備し、
前記推定手段は、
前記受付手段によって受け付けられた画像内の走査線毎に隣の画素との差分を算出する算出手段と、
前記算出手段によって算出された画素の差分に適用する複数の関数であって、前記受付手段によって受け付けられた画像内の走査線毎にかぶり量を推定する該複数の関数の情報量を算出し、該情報量に基づいて該走査線毎に適用すべき関数を選択する関数選択手段と、
前記関数選択手段によって選択された前記走査線毎の関数の情報量と複数の関数間の差分ノルムに基づいて、関数の組み合わせを選択する関数組選択手段と、
前記関数組選択手段によって選択された関数の組み合わせを前記走査線毎に適用することによって、かぶり量を推定するかぶり量推定手段
を有することを特徴とする画像処理装置。 - 前記関数選択手段は、前記走査線毎の画素の輝度値の分布に基づいて、選択すべきでない関数を除外し、残った関数内から関数を選択する
ことを特徴とする請求項6に記載の画像処理装置。 - 前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値との差分に基づいて、前記第1の補正手段と前記第2の補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記第1の補正手段と前記第2の補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする請求項6又は7に記載の画像処理装置。 - 前記受付手段によって受け付けられた画像内の各画素における前記推定手段によって推定されたかぶり量同士の差分に基づいて、前記第1の補正手段と前記第2の補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記第1の補正手段と前記第2の補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする請求項6又は7に記載の画像処理装置。 - 画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像から領域を抽出する抽出手段と、
前記抽出手段によって抽出された領域を予め定めた規則に基づいて選択する選択手段と、
前記選択手段によって選択された領域内の画素の輝度値と彩度値を測定する測定手段と、
前記測定手段によって測定された輝度値から、前記受付手段によって受け付けられた画像におけるかぶりの度合いを示す関数を推定する推定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定された関数に基づいてかぶり量を算出し、該かぶり量と前記決定手段によって決定された補正目標値と前記測定手段によって測定された彩度値の無彩色からの距離に基づいて、該彩度値を補正する第1の補正手段と、
前記推定手段によって推定された関数に基づいてかぶり量を算出し、該かぶり量と前記決定手段によって決定された補正目標値に基づいて、前記測定手段によって測定された輝度値を補正する第2の補正手段
を具備し、
前記推定手段は、
前記受付手段によって受け付けられた画像内の走査線毎に隣の画素との差分を算出する算出手段と、
前記算出手段によって算出された画素の差分に適用する複数の関数であって、前記受付手段によって受け付けられた画像内の走査線毎にかぶり量を推定する該複数の関数の情報量を算出し、該情報量に基づいて該走査線毎に適用すべき関数を選択する関数選択手段と、
前記関数選択手段によって選択された前記走査線毎の関数の情報量と複数の関数間の差分ノルムに基づいて、関数の組み合わせを選択する関数組選択手段と、
前記関数組選択手段によって選択された関数の組み合わせを前記走査線毎に適用することによって、かぶり量を推定するかぶり量推定手段
を有することを特徴とする画像処理装置。 - 前記算出手段、前記関数選択手段、前記関数組選択手段、前記かぶり量推定手段は、前記抽出手段によって抽出された領域毎に処理を行い、
前記推定手段は、
前記関数組選択手段によって選択された関数の積分関数を算出し、該積分関数の定数項を推定する領域定数推定手段
をさらに有し、
前記かぶり量推定手段は、前記領域定数推定手段によって推定された前記領域毎の定数項は、該領域全体のかぶり量の定数と該領域の背景色の固有量の和である定数項として推定する
ことを特徴とする請求項10に記載の画像処理装置。 - 前記関数選択手段は、前記走査線毎の画素の輝度値の分布に基づいて、選択すべきでない関数を除外し、残った関数内から関数を選択する
ことを特徴とする請求項10又は11に記載の画像処理装置。 - 前記推定手段によって推定された関数に基づいてかぶり量を算出し、該かぶり量と前記決定手段によって決定された補正目標値との差分に基づいて、前記第1の補正手段と前記第2の補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記第1の補正手段と前記第2の補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする請求項10から12のいずれか一項に記載の画像処理装置。 - 前記推定手段によって推定された関数に基づいてかぶり量を算出し、前記受付手段によって受け付けられた画像内の各画素における該かぶり量同士の差分に基づいて、前記第1の補正手段と前記第2の補正手段による補正を行うか否かを判断する判断手段
をさらに具備し、
前記第1の補正手段と前記第2の補正手段は、前記判断手段によって補正を行うと判断された場合に、補正を行う
ことを特徴とする請求項10から12のいずれか一項に記載の画像処理装置。 - コンピュータを、
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像に基づいて、本来の画素の輝度値と該画像の画素の輝度値との差であるかぶり量を推定する推定手段と、
前記受付手段によって受け付けられた画像内の画素の彩度値を測定する測定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値と前記測定手段によって測定された彩度値の無彩色からの距離に基づいて、該彩度値を補正する補正手段
として機能させ、
前記推定手段は、
前記受付手段によって受け付けられた画像内の走査線毎に隣の画素との差分を算出する算出手段と、
前記算出手段によって算出された画素の差分に適用する複数の関数であって、前記受付手段によって受け付けられた画像内の走査線毎にかぶり量を推定する該複数の関数の情報量を算出し、該情報量に基づいて該走査線毎に適用すべき関数を選択する関数選択手段と、
前記関数選択手段によって選択された前記走査線毎の関数の情報量と複数の関数間の差分ノルムに基づいて、関数の組み合わせを選択する関数組選択手段と、
前記関数組選択手段によって選択された関数の組み合わせを前記走査線毎に適用することによって、かぶり量を推定するかぶり量推定手段
を有することを特徴とする画像処理プログラム。 - コンピュータを、
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像に基づいて、本来の画素の輝度値と該画像の画素の輝度値との差であるかぶり量を推定する推定手段と、
前記受付手段によって受け付けられた画像内の画素の輝度値と彩度値を測定する測定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値と前記測定手段によって測定された彩度値の無彩色からの距離に基づいて、該彩度値を補正する第1の補正手段と、
前記推定手段によって推定されたかぶり量と前記決定手段によって決定された補正目標値に基づいて、前記測定手段によって測定された輝度値を補正する第2の補正手段
として機能させ、
前記推定手段は、
前記受付手段によって受け付けられた画像内の走査線毎に隣の画素との差分を算出する算出手段と、
前記算出手段によって算出された画素の差分に適用する複数の関数であって、前記受付手段によって受け付けられた画像内の走査線毎にかぶり量を推定する該複数の関数の情報量を算出し、該情報量に基づいて該走査線毎に適用すべき関数を選択する関数選択手段と、
前記関数選択手段によって選択された前記走査線毎の関数の情報量と複数の関数間の差分ノルムに基づいて、関数の組み合わせを選択する関数組選択手段と、
前記関数組選択手段によって選択された関数の組み合わせを前記走査線毎に適用することによって、かぶり量を推定するかぶり量推定手段
を有することを特徴とする画像処理プログラム。 - コンピュータを、
画像を受け付ける受付手段と、
前記受付手段によって受け付けられた画像から領域を抽出する抽出手段と、
前記抽出手段によって抽出された領域を予め定めた規則に基づいて選択する選択手段と、
前記選択手段によって選択された領域内の画素の輝度値と彩度値を測定する測定手段と、
前記測定手段によって測定された輝度値から、前記受付手段によって受け付けられた画像におけるかぶりの度合いを示す関数を推定する推定手段と、
前記受付手段によって受け付けられた画像内の下地における輝度値の補正目標値を決定する決定手段と、
前記推定手段によって推定された関数に基づいてかぶり量を算出し、該かぶり量と前記決定手段によって決定された補正目標値と前記測定手段によって測定された彩度値の無彩色からの距離に基づいて、該彩度値を補正する第1の補正手段と、
前記推定手段によって推定された関数に基づいてかぶり量を算出し、該かぶり量と前記決定手段によって決定された補正目標値に基づいて、前記測定手段によって測定された輝度値を補正する第2の補正手段
として機能させ、
前記推定手段は、
前記受付手段によって受け付けられた画像内の走査線毎に隣の画素との差分を算出する算出手段と、
前記算出手段によって算出された画素の差分に適用する複数の関数であって、前記受付手段によって受け付けられた画像内の走査線毎にかぶり量を推定する該複数の関数の情報量を算出し、該情報量に基づいて該走査線毎に適用すべき関数を選択する関数選択手段と、
前記関数選択手段によって選択された前記走査線毎の関数の情報量と複数の関数間の差分ノルムに基づいて、関数の組み合わせを選択する関数組選択手段と、
前記関数組選択手段によって選択された関数の組み合わせを前記走査線毎に適用することによって、かぶり量を推定するかぶり量推定手段
を有することを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012255222A JP5978948B2 (ja) | 2012-11-21 | 2012-11-21 | 画像処理装置及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012255222A JP5978948B2 (ja) | 2012-11-21 | 2012-11-21 | 画像処理装置及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014103584A true JP2014103584A (ja) | 2014-06-05 |
JP5978948B2 JP5978948B2 (ja) | 2016-08-24 |
Family
ID=51025706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012255222A Expired - Fee Related JP5978948B2 (ja) | 2012-11-21 | 2012-11-21 | 画像処理装置及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5978948B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112991163A (zh) * | 2019-12-12 | 2021-06-18 | 杭州海康威视数字技术股份有限公司 | 一种全景图像的获取方法、装置及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000276581A (ja) * | 1999-03-23 | 2000-10-06 | Minolta Co Ltd | 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体 |
JP2005348103A (ja) * | 2004-06-03 | 2005-12-15 | Ricoh Co Ltd | 画像補正装置、画像読取装置、プログラム及び記憶媒体 |
JP2008158586A (ja) * | 2006-12-20 | 2008-07-10 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理プログラム |
-
2012
- 2012-11-21 JP JP2012255222A patent/JP5978948B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000276581A (ja) * | 1999-03-23 | 2000-10-06 | Minolta Co Ltd | 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体 |
JP2005348103A (ja) * | 2004-06-03 | 2005-12-15 | Ricoh Co Ltd | 画像補正装置、画像読取装置、プログラム及び記憶媒体 |
JP2008158586A (ja) * | 2006-12-20 | 2008-07-10 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理プログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112991163A (zh) * | 2019-12-12 | 2021-06-18 | 杭州海康威视数字技术股份有限公司 | 一种全景图像的获取方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
JP5978948B2 (ja) | 2016-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5810628B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP5488530B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP5782838B2 (ja) | 画像処理装置及び画像処理プログラム | |
US8023766B1 (en) | Method and system of processing an image containing undesirable pixels | |
CN110222694B (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
JP2010286959A (ja) | 顔画像高解像度化方法、顔画像高解像度化装置、及びそのプログラム | |
JP6003574B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP4441300B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体 | |
JP5887242B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5929282B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP5978948B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP2014103565A (ja) | 画像処理装置及び画像処理プログラム | |
US20080181534A1 (en) | Image processing method, image processing apparatus, image reading apparatus, image forming apparatus and recording medium | |
JP5742283B2 (ja) | 画像処理装置及び画像処理プログラム | |
CN113065407B (zh) | 基于注意力机制和生成对抗网络的财务票据印章擦除方法 | |
US9648208B2 (en) | Method and apparatus and using an enlargement operation to reduce visually detected defects in an image | |
JP5098488B2 (ja) | 画像処理装置 | |
JP4935561B2 (ja) | 画像処理装置 | |
Suleiman | Image Enhancement for Scanned Historical Documents in the Presence of Multiple Degradations | |
JP5109518B2 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150819 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160609 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160711 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5978948 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |