JP2016021148A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2016021148A JP2016021148A JP2014144569A JP2014144569A JP2016021148A JP 2016021148 A JP2016021148 A JP 2016021148A JP 2014144569 A JP2014144569 A JP 2014144569A JP 2014144569 A JP2014144569 A JP 2014144569A JP 2016021148 A JP2016021148 A JP 2016021148A
- Authority
- JP
- Japan
- Prior art keywords
- chart
- patch
- image
- photographed image
- extraction range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims 5
- 238000000605 extraction Methods 0.000 claims abstract description 108
- 239000011159 matrix material Substances 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 26
- 239000000284 extract Substances 0.000 claims description 11
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
【課題】チャート画像が歪んで撮影されたチャート撮影画像からでも、パッチ情報を適切に抽出可能とする。
【解決手段】チャート撮影画像に対し、変換行列算出部104がチャート画像を射影変換するための変換行列を算出する。そしてパッチ位置情報算出部105が、該変換行列を用いた射影変換により、チャート画像におけるパッチの位置に対応する、チャート撮影画像におけるパッチの位置を取得する。そしてパッチ抽出範囲設定部106が、チャート撮影画像におけるパッチの位置に基づき、チャート撮影画像における各パッチからパッチ情報を抽出する抽出範囲を設定する。そしてさらに、チャート撮影画像における抽出範囲がパッチの内部に収まる場合に、抽出範囲からパッチ情報を抽出する。
【選択図】 図1
【解決手段】チャート撮影画像に対し、変換行列算出部104がチャート画像を射影変換するための変換行列を算出する。そしてパッチ位置情報算出部105が、該変換行列を用いた射影変換により、チャート画像におけるパッチの位置に対応する、チャート撮影画像におけるパッチの位置を取得する。そしてパッチ抽出範囲設定部106が、チャート撮影画像におけるパッチの位置に基づき、チャート撮影画像における各パッチからパッチ情報を抽出する抽出範囲を設定する。そしてさらに、チャート撮影画像における抽出範囲がパッチの内部に収まる場合に、抽出範囲からパッチ情報を抽出する。
【選択図】 図1
Description
本発明は、チャート撮影画像に含まれるパッチ情報を抽出する技術に関する。
デバイスの色再現特性を測定する際、デバイスにてパッチを1色ずつ表示または出力して、これを測定する手法がある。例えば、0≦R,G,B≦255の範囲で9スライスしたRGBデータ(729色)をパッチとして順次測定する手法である。しかしながらこの手法では、1色ずつの測定を行うため測定工数を要し、結果的に、1つのデバイスについての色再現特性を測定するために長時間を要していた。
また、デバイスの全ての色再現範囲を含むチャートを表示または出力して、2次元測定器を用いて該チャートを一度に測定する方法があり、チャート測定の自動化に関する方法が提案されている。特許文献1は、既知の背景色を含むチャートを2次元測定器にて取得したチャート撮影画像において、互いに直交する複数の方向に沿って色情報を解析して、チャート領域を抽出する手法を提案している。
上記特許文献1では、2次元測定器にて取得したチャート撮影画像に含まれるパッチが、直交する方向に配置されていることが前提とされている。そのため、チャート領域を正確に検出できるのは、チャート撮影画像が、チャートに対してほぼ正対する位置で2次元測定器により取得できた場合に限られる。
2次元測定器がチャートに対して完全に正対していない場合には、測定された画像中のチャートに歪みが発生する。歪みのあるチャートにおいて、パッチの抽出範囲を一意に設定すると、抽出範囲がパッチ内部に収まらない場合がある。そのような場合、パッチの特性を精度よく抽出できず、結果的に、デバイスの色特性を高精度に取得できないという問題が発生する。
本発明は上記の問題を鑑み、チャート画像が歪んで撮影されたチャート撮影画像からでも、パッチ情報を適切に抽出できるようにすることを目的とする。
上記目的を達成するための一手段として、本発明に係る画像処理装置は以下の構成を備える。
すなわち、チャートを撮影したチャート撮影画像を入力する入力手段と、前記チャートを出力するためのチャート画像を保持する保持手段と、前記チャート画像を前記チャート撮影画像に射影変換して、前記チャート画像におけるパッチの位置に対応する、前記チャート撮影画像におけるパッチの位置を取得する取得手段と、前記チャート撮影画像におけるパッチの位置に基づき、前記チャート撮影画像における各パッチからパッチ情報を抽出する抽出範囲を設定する設定手段と、を有する。
本発明によれば、チャート画像が歪んで撮影されたチャート撮影画像からでも、パッチ情報を適切に抽出することができる。
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
<第1実施形態>
●装置構成
図1は、本実施形態における画像処理装置の構成を示すブロック図である。同図において、撮影画像データ保持部101は、チャート撮影画像を保持するデータベースである。チャート位置抽出部102は、チャート撮影画像中でのチャートの位置する部位を抽出する。チャート画像データ保持部103は、チャート画像を保持するデータベースである。変換行列算出部104は、チャート画像からチャート撮影画像への座標変換を行うための変換行列を算出する。パッチ位置情報算出部105は、チャート撮影画像中の各パッチの位置情報を算出する。パッチ抽出範囲設定部106は、チャート撮影画像中の各パッチに対してパッチ抽出範囲を設定する。パッチ抽出判定部107は、チャート撮影画像中の各パッチに設定したパッチ抽出範囲の領域が適切であるか否かを判定する。エラー出力部108は、エラーメッセージを表示する。パッチ情報抽出部109は、チャート撮影画像からパッチ情報(RGB値)を抽出する。デバイス特性保持部110は、チャート撮影画像から抽出したパッチ情報を、チャートを出力したデバイスの出力特性として格納するデータベースである。
●装置構成
図1は、本実施形態における画像処理装置の構成を示すブロック図である。同図において、撮影画像データ保持部101は、チャート撮影画像を保持するデータベースである。チャート位置抽出部102は、チャート撮影画像中でのチャートの位置する部位を抽出する。チャート画像データ保持部103は、チャート画像を保持するデータベースである。変換行列算出部104は、チャート画像からチャート撮影画像への座標変換を行うための変換行列を算出する。パッチ位置情報算出部105は、チャート撮影画像中の各パッチの位置情報を算出する。パッチ抽出範囲設定部106は、チャート撮影画像中の各パッチに対してパッチ抽出範囲を設定する。パッチ抽出判定部107は、チャート撮影画像中の各パッチに設定したパッチ抽出範囲の領域が適切であるか否かを判定する。エラー出力部108は、エラーメッセージを表示する。パッチ情報抽出部109は、チャート撮影画像からパッチ情報(RGB値)を抽出する。デバイス特性保持部110は、チャート撮影画像から抽出したパッチ情報を、チャートを出力したデバイスの出力特性として格納するデータベースである。
ここで、本実施形態におけるチャート画像とは、図2(a)に示すように、長方形のパッチ201を格子状に整列して配置した、チャート202のオリジナル画像データ(電子データ)を意味する。また、チャート撮影画像とは、評価対象となるデバイスにて出力または表示したチャート画像を、スキャナやデジタルカメラ等の2次元測定器を用いた撮影により取得した画像である。デジタルカメラを用いた撮影により取得したチャート撮影画像の例を、図2(b)に示す。図2(b)に示すように、撮影対象となる出力チャート画像とデジタルカメラとが完全に正対していない場合には、チャート撮影画像中のチャートの形状及びパッチの形状は長方形とはならず、歪みが発生して台形に近い形状となる。
本実施形態では、デジタルカメラを用いた撮影により取得したチャート撮影画像を予め用意し、チャートに含まれる各パッチの情報(以下、パッチ情報)を抽出する。また、パッチ情報として、パッチのRGB値を抽出する。
本実施形態では、まず、チャート撮影画像中からチャート位置を抽出し、さらに、チャートに含まれる各パッチの位置情報を算出する。次に、パッチに対してパッチ抽出範囲を設定する。パッチ抽出範囲が各パッチの内部にある場合には、パッチ抽出範囲に含まれる領域の画素のRGB値を、パッチ情報として抽出する。最後に、全パッチについて抽出したパッチ情報を、チャートを出力もしくは表示したデバイスのデバイス出力特性として保存する。なお、パッチ抽出範囲がパッチの内部にない場合には、エラーメッセージを出力する。
●パッチ情報取得処理
以下、図1に示した本実施形態の画像処理装置において実行されるパッチ情報の取得処理について、図3のフローチャートを用いて説明する。
以下、図1に示した本実施形態の画像処理装置において実行されるパッチ情報の取得処理について、図3のフローチャートを用いて説明する。
まずS301でチャート位置抽出部102が、撮影画像データ保持部101からチャート撮影画像を読み込み、チャート撮影画像におけるチャートの位置(チャート対応領域)を抽出する。
本実施形態では、チャート対応領域として、チャート撮影画像中におけるチャートの4頂点の位置を抽出する。例えば、チャート撮影画像が図4(a)に示す画像である場合、図4(b)に示すようにチャート撮影画像の左上を原点としてx方向とy方向を定めたときの、チャートの4頂点のx座標とy座標を、チャートの4頂点の位置として抽出する。
ここでは、チャートの4頂点を左上、右上、右下、左下の順にA、B、C、Dとしたとき、図4(b)に示すように、4頂点の各々の座標が以下であるとする。
A(X1,Y1)
B(X2,Y2)
C(X3,Y3)
D(X4,Y4)
なお、チャートの4頂点の抽出方法としては、例えば、モニタなどの表示機器にチャート撮影画像を表示し、ユーザインタフェース(UI)によるユーザ指示を介して4頂点を特定すればよい。あるいは周知のエッヂ検出技術によりエッヂを検出し、エッジが交差する点のうちチャートの背景との境界にある点を頂点として特定してもよい。
B(X2,Y2)
C(X3,Y3)
D(X4,Y4)
なお、チャートの4頂点の抽出方法としては、例えば、モニタなどの表示機器にチャート撮影画像を表示し、ユーザインタフェース(UI)によるユーザ指示を介して4頂点を特定すればよい。あるいは周知のエッヂ検出技術によりエッヂを検出し、エッジが交差する点のうちチャートの背景との境界にある点を頂点として特定してもよい。
S302では変換行列算出部104が、チャート画像中のある座標位置をチャート撮影画像中にて対応する座標位置に射影変換するための変換行列Hを算出する。変換行列Hは、チャート画像における4頂点の位置とチャート撮影画像における4頂点の位置とに基づき、以下のように算出する。
まず、チャート画像の頂点の位置を、チャート基準位置として抽出する。具体的には、S301にてチャート撮影画像に対して設定した4頂点の座標と同様に、図5(a)に示すようにチャート画像についても画像左上を原点とする座標を設定し、チャートの4頂点の位置を抽出する。ここでは、チャート画像における4頂点(左上、右上、右下、左下の順にAo、Bo、Co、Doとする)の座標が以下であるとする。
Ao(Xo1,Yo1)
Bo(Xo2,Yo2)
Co(Xo3,Yo3)
Do(Xo4,Yo4)
変換行列Hは、チャート画像中の4点(Ao〜Do)、およびS301にて設定した、図5(b)に示すチャート撮影画像中の4点(A〜D)の座標位置より算出する。具体的には、以下の方程式を解くことにより、変換行列Hを算出することができる。
Bo(Xo2,Yo2)
Co(Xo3,Yo3)
Do(Xo4,Yo4)
変換行列Hは、チャート画像中の4点(Ao〜Do)、およびS301にて設定した、図5(b)に示すチャート撮影画像中の4点(A〜D)の座標位置より算出する。具体的には、以下の方程式を解くことにより、変換行列Hを算出することができる。
┌ ┐ ┌ ┐
│X1 X2 X3 X4│ │Xo1 Xo2 Xo3 Xo4│
│Y1 Y2 Y3 Y4│=H│Yo1 Yo2 Yo3 Yo4│
│1 1 1 1 │ │ 1 1 1 1 │
└ ┘ └ ┘
上記手法によって算出した変換行列Hにより、チャート画像中のAo〜Doの4点を、チャート撮影画像中のA〜Dの4点に座標変換することができる。さらに、この変換行列Hを用いることで、チャート撮影画像中のある任意の座標位置を、チャート画像中にて対応する座標位置から座標変換にて算出することができる。
│X1 X2 X3 X4│ │Xo1 Xo2 Xo3 Xo4│
│Y1 Y2 Y3 Y4│=H│Yo1 Yo2 Yo3 Yo4│
│1 1 1 1 │ │ 1 1 1 1 │
└ ┘ └ ┘
上記手法によって算出した変換行列Hにより、チャート画像中のAo〜Doの4点を、チャート撮影画像中のA〜Dの4点に座標変換することができる。さらに、この変換行列Hを用いることで、チャート撮影画像中のある任意の座標位置を、チャート画像中にて対応する座標位置から座標変換にて算出することができる。
S303ではパッチ位置情報算出部105が、チャート撮影画像中の各々のパッチ位置を算出する。ここで、チャート画像におけるパッチi(i=1,2,・・・,N)の中心位置をPoi(xoi,yoi)、また、チャート撮影画像中におけるパッチiの中心位置をPi(xi,yi)とする。このとき、チャート撮影画像中におけるパッチiの中心位置Pi(xi,yi)は、S302にて算出した変換行列Hを用いて下式(1)により算出することができる。
Pi=H・Poi (i=1,2,…,N) …(1)
S304ではパッチ抽出範囲設定部106が、各パッチに対してパッチ抽出範囲を設定する。具体的には、S301にて設定した4頂点の座標で囲まれた範囲内において、図6に示すように、パッチi601の中心位置Pi(xi,yi)を中心とする、一辺の長さがdの正方形をパッチ抽出範囲602として設定する。なお、パッチ抽出範囲を示す正方形の一辺の長さdの値としては、例えばチャート画像に対して予め定められた値であってもよいし、2次元測定器に応じて予め定められた値であってもよい。
S304ではパッチ抽出範囲設定部106が、各パッチに対してパッチ抽出範囲を設定する。具体的には、S301にて設定した4頂点の座標で囲まれた範囲内において、図6に示すように、パッチi601の中心位置Pi(xi,yi)を中心とする、一辺の長さがdの正方形をパッチ抽出範囲602として設定する。なお、パッチ抽出範囲を示す正方形の一辺の長さdの値としては、例えばチャート画像に対して予め定められた値であってもよいし、2次元測定器に応じて予め定められた値であってもよい。
S305では、パッチ抽出判定部107が、S304で設定したパッチ抽出範囲が、パッチの内部にあるか否かを判定する。ここで図7(a)に示すように、パッチ抽出範囲602がパッチi601の内部に収まる場合には、抽出対象であるパッチi601のパッチ情報のみを抽出することができる。しかしながら図7(b)に示すように、パッチi601のパッチ抽出範囲602が隣接パッチ701に及ぶ場合、抽出対象であるパッチi601と隣接パッチ701のパッチ情報が同時に抽出されてしまう。したがってこの場合、パッチi601のパッチ情報を正確に抽出することができない。そこでパッチ抽出判定部107において、パッチ抽出範囲がパッチの内部にあるか否かを判定する。
この判定方法について、図7(c)を用いて具体的に説明する。まず、パッチi601の中心位置をPi(xi,yi)とするとき、パッチi601のx方向およびy方向に隣接するパッチとの距離R1とR2を、下式(2)で算出する。
R1=xi+1-xi
R2=yi+1-yi …(2)
そして、R1とR2に関して下式(3)に示す判定を行う。式(3)において、dはS304にて設定したパッチ抽出範囲の一辺の長さであり、s1,s2はS302にて設定したチャート基準位置を示す座標から算出される、チャート画像におけるパッチ間の距離である。
R2=yi+1-yi …(2)
そして、R1とR2に関して下式(3)に示す判定を行う。式(3)において、dはS304にて設定したパッチ抽出範囲の一辺の長さであり、s1,s2はS302にて設定したチャート基準位置を示す座標から算出される、チャート画像におけるパッチ間の距離である。
R1>d+s1
R2>d+s2 …(3)
式(3)の両方が真である場合には、パッチ抽出範囲がパッチi601の内部に収まると判定し、S306に移行する。一方、式(3)の少なくともいずれかが偽である場合には、パッチi601のパッチ抽出範囲602が隣接パッチに及ぶと考えられる。例えば図8に示すように、チャート撮影画像中のチャート形状の歪みが大きい場合には、あるパッチのパッチ抽出範囲801が隣接パッチにも及び、チャート撮影画像中の各パッチの内部にパッチ抽出範囲を設定できず、パッチ情報を正しく抽出できない。このように、式(3)の少なくともいずれかが偽であると判定されると、S308に移行してエラーメッセージを表示する。S308ではエラー出力部108が、本システムのユーザに対してチャート撮影画像の再撮影を促すために、図9に示すようなメッセージを出力する。本メッセージは、例えば、本実施形態におけるシステムを操作するPCに接続されている表示デバイスに表示すればよい。
R2>d+s2 …(3)
式(3)の両方が真である場合には、パッチ抽出範囲がパッチi601の内部に収まると判定し、S306に移行する。一方、式(3)の少なくともいずれかが偽である場合には、パッチi601のパッチ抽出範囲602が隣接パッチに及ぶと考えられる。例えば図8に示すように、チャート撮影画像中のチャート形状の歪みが大きい場合には、あるパッチのパッチ抽出範囲801が隣接パッチにも及び、チャート撮影画像中の各パッチの内部にパッチ抽出範囲を設定できず、パッチ情報を正しく抽出できない。このように、式(3)の少なくともいずれかが偽であると判定されると、S308に移行してエラーメッセージを表示する。S308ではエラー出力部108が、本システムのユーザに対してチャート撮影画像の再撮影を促すために、図9に示すようなメッセージを出力する。本メッセージは、例えば、本実施形態におけるシステムを操作するPCに接続されている表示デバイスに表示すればよい。
S306ではパッチ情報抽出部109が、S303で算出したパッチ位置とS306で設定したパッチ抽出範囲とに基づき、チャート撮影画像から各パッチのRGB値を抽出する。ここで各パッチのRGB値とは、各パッチのパッチ抽出範囲に含まれる画素のR値、G値、B値を各々平均した値であるとする。
S307ではパッチ情報抽出部109が、全パッチについて抽出されたパッチ情報を、チャート撮影画像として撮影されたチャートを出力もしくは表示したデバイスの出力特性として、デバイス特性保持部110に保存し、処理を終了する。ここで全パッチについてのパッチ情報とは、例えば図10に示すような、パッチ番号とRGB値を対応させたデータである。
以上説明したように本実施形態によれば、チャート撮影画像において、チャートの4頂点の座標に基づく変換行列を用いて、パッチの位置を算出してパッチ抽出範囲を設定し、該パッチ抽出範囲がパッチ内部にあれば、パッチ情報を抽出する。これにより、チャート撮影画像中のチャートの形状に歪みがある場合でも、パッチ情報を自動で正確に抽出することができる。一方、パッチ抽出範囲が隣接パッチに及ぶ場合には、パッチ情報を正しく取得できないと判定し、チャートの再撮影をユーザに促すことができる。
なお、本実施形態ではパッチ抽出範囲を正方形としたが、パッチ抽出範囲の形状は正方形に限らない。チャート画像中のパッチ形状や、チャート撮影画像中のパッチ形状に合わせて、パッチ抽出範囲を長方形や平行四辺形などに設定してもよい。また、丸などでもよい。パッチ抽出範囲の形状が変化しても、パッチ抽出判定部が、パッチ抽出領域がパッチ内部に収まるか否かを判定する。
<第2実施形態>
以下、本発明にかかる第2実施形態について説明する。第1実施形態では、チャート撮影画像中のパッチに対してパッチ抽出範囲を設定し、パッチ抽出範囲が隣接パッチに及ぶ場合にはパッチ情報を正しく取得できないと判定し、チャートの再撮影をユーザに促すエラーメッセージを出力する例を示した。このようにエラーメッセージが出力された場合、パッチ抽出範囲がパッチ内部に収まるような歪みのないチャート撮影画像を取得するために、チャートの再撮影を行う必要がある。
以下、本発明にかかる第2実施形態について説明する。第1実施形態では、チャート撮影画像中のパッチに対してパッチ抽出範囲を設定し、パッチ抽出範囲が隣接パッチに及ぶ場合にはパッチ情報を正しく取得できないと判定し、チャートの再撮影をユーザに促すエラーメッセージを出力する例を示した。このようにエラーメッセージが出力された場合、パッチ抽出範囲がパッチ内部に収まるような歪みのないチャート撮影画像を取得するために、チャートの再撮影を行う必要がある。
そこで第2実施形態では、パッチ抽出範囲が隣接パッチに及ぶためパッチ情報を正しく取得できないと判定された場合に、チャートの再撮影を促すのでなく、チャート撮影画像におけるパッチ抽出範囲を再設定するようなメッセージを出力する。
以下、第2実施形態におけるパッチ情報取得処理について、図13のフローチャートを用いて説明する。なお、上述した第1実施形態と同様の処理については同一符号を付して説明を省略する。
まずS1301で、例えば図11(a)に示すような、パッチ抽出範囲の縮小の可否を判定するメッセージを表示する。ユーザが縮小許可を示す「はい」を選択した場合はS304に戻り、パッチ抽出範囲設定部106がパッチ抽出範囲がより小さくなるよう再設定する。具体的には、図11(b)に示す左上パッチのように、チャート撮影画像中で最も領域の小さなパッチに合わせて、各パッチに単一サイズのパッチ抽出範囲を設定すればよい。また、第1実施形態で設定したパッチ抽出範囲の正方形の一辺dを1/2にする等、抽出範囲を小さくする所定の縮小率を適用してもよい。一方、S1301でユーザが縮小不許可を示す「いいえ」を選択した場合には、図9に示すようなメッセージを再度表示してユーザにチャートの再撮影を促し、処理を終了する。
以上説明したように第2実施形態では、パッチ抽出範囲がパッチ内部に収まらない場合には、パッチ抽出範囲を再設定することを可能とする。このように、パッチの再撮影をせずにパッチ抽出範囲を再設定することで、本システムに入力されたチャート撮影画像をそのまま使用して、パッチ特性を抽出することができる。
なお、第2実施形態で表示するエラーメッセージは図11(a)の例に限らず、例えば図12(a)に示すように、パッチ毎に抽出範囲を設定することの可否を判定するメッセージを表示してもよい。この場合、ユーザが「はい」を選択するとS304に戻り、パッチ抽出範囲設定部106が各パッチに対してパッチ抽出範囲を設定する。具体的には図12(b)に示すように、チャート撮影画像中の各パッチに、それぞれのサイズに応じたパッチ抽出範囲を設定する。例えば、図12(b)のパッチ1201に対しては、第1実施形態で設定したパッチ抽出範囲の正方形の一辺dを1/2に、パッチ1202に対してはdを2/3にして設定する等、パッチ位置に応じた所定の縮小率を適用してもよい。
<第3実施形態>
以下、本発明にかかる第3実施形態について説明する。第2実施形態では、歪みがあるチャート撮影画像中のパッチに対してパッチ抽出範囲を再設定することにより、パッチ情報を取得する例を示した。第3実施形態では、パッチの抽出範囲は変化させずに、歪みのあるチャート撮影画像を変換することによって、適切なパッチ情報を取得する例を示す。
以下、本発明にかかる第3実施形態について説明する。第2実施形態では、歪みがあるチャート撮影画像中のパッチに対してパッチ抽出範囲を再設定することにより、パッチ情報を取得する例を示した。第3実施形態では、パッチの抽出範囲は変化させずに、歪みのあるチャート撮影画像を変換することによって、適切なパッチ情報を取得する例を示す。
第3実施形態におけるシステム構成について、図14を用いて説明する。図14は、第3実施形態における画像処理装置の構成を示すブロック図である。図14において、第1実施形態で図1に示した構成と同様の構成については同一符号を付し、説明を省略する。
図14において、変換行列算出部1404は、チャート撮影画像をチャート画像へと変換するための変換行列を算出する。ノイズ量算出部1405は、チャート撮影画像におけるチャートを構成する各パッチ内のノイズ量を算出する。ノイズ除去処理部1406は、ノイズ量算出部1405で算出されたノイズ量が所定量以上であるパッチに対して、ノイズを除去する処理を施す。画像変換部1407は、変換行列算出部1404で算出した変換行列を用いて、ノイズ除去されたチャート撮影画像を変換することで、ノイズ除去されたチャート画像を得る。パッチ情報抽出部1408は、画像変換部1407で得られたノイズ除去されたチャート画像から、パッチ情報(RGB値)を抽出する。この抽出は、チャート画像に歪みが無く、チャートを構成する各パッチが所定位置にあるものとして実行することができる。
以下、第3実施形態におけるパッチ情報取得処理について、図15のフローチャートを用いて説明する。図15において、第1実施形態で示した図3と同様の処理については同一符号を付し、説明を省略する。
フローチャートの説明に先立ち、第3実施形態におけるパッチ情報取得処理の概要を説明する。本処理では、チャート撮影画像に含まれる歪みを除去するために、チャート撮影画像の全体を射影変換することで、歪みのない画像(チャート画像)へと変換する。しかしながら、チャート撮影画像の歪みが大きいほど、面積が小さくなるパッチが存在する。一般に、面積が小さいパッチほどノイズの影響が大きいため、面積の小さいパッチを射影変換した後にパッチ情報を取得したとしても、ノイズの影響により正確なパッチ情報が期待できない。そこで、第3実施形態では、事前にパッチに含まれるノイズ量を算出し、ノイズ量が大きいパッチについては予めノイズ除去を施した後に、射影変換を行う。
まずS1500で変換行列算出部1404が、図16(a)に示したチャート撮影画像中のチャートにおける4頂点(A〜D)を、図16(b)に示すチャート画像中の4頂点(Ao〜Do)に座標変換する変換行列H'を算出する。具体的には、以下の方程式(4)を解くことにより変換行列H'を算出する。
┌ ┐ ┌ ┐
│Xo1 Xo2 Xo3 Xo4│ │X1 X2 X3 X4│
│Yo1 Yo2 Yo3 Yo4│=H'│Y1 Y2 Y3 Y4│ …(4)
│ 1 1 1 1 │ │ 1 1 1 1│
└ ┘ └ ┘
次にS1501でノイズ量算出部1405が、各パッチのノイズ量を算出する。詳細にはまず、チャート撮影画像を構成する各パッチ領域を抽出する。例えば、チャート撮影画像に対しラプラシアンフィルタを用いてエッジの抽出を行い、エッジが水平方向と垂直方向で交わる画素の座標を検出することで、各パッチ領域を抽出する。そして、i番目のパッチ領域内の画素値の分散v、または標準偏差σiを算出する。ここでは下式(5)により標準偏差σiを算出するとする。
│Xo1 Xo2 Xo3 Xo4│ │X1 X2 X3 X4│
│Yo1 Yo2 Yo3 Yo4│=H'│Y1 Y2 Y3 Y4│ …(4)
│ 1 1 1 1 │ │ 1 1 1 1│
└ ┘ └ ┘
次にS1501でノイズ量算出部1405が、各パッチのノイズ量を算出する。詳細にはまず、チャート撮影画像を構成する各パッチ領域を抽出する。例えば、チャート撮影画像に対しラプラシアンフィルタを用いてエッジの抽出を行い、エッジが水平方向と垂直方向で交わる画素の座標を検出することで、各パッチ領域を抽出する。そして、i番目のパッチ領域内の画素値の分散v、または標準偏差σiを算出する。ここでは下式(5)により標準偏差σiを算出するとする。
式(5)において、Iiはi番目のパッチ領域に含まれる画素位置を示し、上にバーを付したIiはi番目のパッチに含まれる画素値の平均値を示す。また、I(x,y)は座標(x,y)における画素値、Nはi番目のパッチ領域に含まれる全画素数、を示す。
S1502でノイズ除去処理部1406は、パッチ毎に、S1501で算出された標準偏差σが、予め設定された閾値ε以上であるか否かを判定する。標準偏差σが閾値ε以上であるパッチ領域についてはS1503の処理へ進むが、そうでないパッチ領域についてはS1504の処理へ進む。
S1503ではノイズ除去処理部1406が、パッチ領域内において平均画素値との差分が所定値以上である画素を、ノイズ画素と判断する。ここでは、下式(6)または(7)を満たす画素値をノイズ画素と判断するとする。そしてノイズ画素をパッチ領域内の平均画素値に置き換えることで、チャート撮影画像からノイズを除去したノイズ除去画像I'を生成する。
ここで図17(a)に、ノイズ除去処理を実施する前のあるパッチ領域内の輝度ヒストグラム例を示し、図17(b)に、ノイズ除去処理を実施した後の同パッチ領域内の輝度ヒストグラム例を示す。同図によれば、ノイズ除去処理の前後で、標準偏差σ以上の値を有する画素が平均画素値に置き換えられることで、輝度ヒストグラムの分散が小さくなっており、ノイズが除去されていることが確認できる。
そしてS1504で画像変換部1407が、S1500で算出された変換行列H'を用いてノイズ除去画像I'を射影変換する。この射影変換により、ノイズ除去が施された状態のチャート画像、すなわち、第3実施形態におけるパッチ情報の抽出対象となる、歪みのないチャート画像が得られる。
そしてS1505でパッチ情報抽出部1408が、射影変換されたノイズ除去画像I'から、各パッチのRGB値を抽出する。この抽出は、ノイズ除去画像I'における各パッチの位置がチャート画像と同様であるとして実行する。すなわち、ノイズ除去画像I'における各パッチの抽出範囲は、チャート画像におけるパッチの位置に基づいて設定することができる。ここで各パッチのRGB値とは、各パッチのパッチ抽出範囲に含まれる画素のR値、G値、B値を各々平均した値であるとする。
以上説明したように第3実施形態では、チャート撮影画像に射影変換を行うことで歪みを除去する際に、ノイズが含まれるパッチ領域については事前にノイズ除去を施しておく。これにより、パッチの抽出範囲は変化させずに、適切なパッチ情報を取得することが可能になる。
なお第3実施形態では、チャート撮影画像に対して予めノイズ除去を行い、ノイズ除去された画像に対して射影変換を行ったが、ノイズ除去を行うタイミングはこの例に限らない。例えば、チャート撮影画像を射影変換した画像に対し、ノイズ除去を行ってもよい。
また、第3実施形態では、ノイズの除去方法として、平均値から2σ以上離れた画素値をパッチの平均画素値に置き換えたが、ノイズ除去方法はこの例に限らない。例えば、予め複数のチャート撮影画像を用意しておき、同一位置にあるパッチの画素値を平均化することでノイズ除去を行ってもよい。また、ノイズ除去の対象となる画素値も、平均値から2σ以上離れた値に限定されるものではない。
<他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。また、そのプログラムをコンピュータ可読な記録媒体に記録して提供してもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。また、そのプログラムをコンピュータ可読な記録媒体に記録して提供してもよい。
102:チャート位置抽出部、103:チャート画像データ保持部、104:変換行列算出部、105:パッチ位置情報算出部、106:パッチ抽出範囲設定部、107:パッチ抽出判定部、108:エラー出力部、109:パッチ情報抽出部
Claims (20)
- チャートを撮影したチャート撮影画像を入力する入力手段と、
前記チャートを出力するためのチャート画像を保持する保持手段と、
前記チャート画像を前記チャート撮影画像に射影変換して、前記チャート画像におけるパッチの位置に対応する、前記チャート撮影画像におけるパッチの位置を取得する取得手段と、
前記チャート撮影画像におけるパッチの位置に基づき、前記チャート撮影画像における各パッチからパッチ情報を抽出する抽出範囲を設定する設定手段と、
を有することを特徴とする画像処理装置。 - さらに、前記チャート撮影画像における抽出範囲がパッチの内部に収まる場合に、前記抽出範囲からパッチ情報を抽出する抽出手段、を有することを特徴とする請求項1に記載の画像処理装置。
- 前記設定手段は、前記チャート撮影画像における全てのパッチに対して単一サイズの抽出範囲を設定し、
前記抽出手段は、前記抽出範囲が前記チャート撮影画像における全てのパッチの内部に収まる場合に、各パッチの前記抽出範囲からパッチ情報を抽出する、
ことを特徴とする請求項2に記載の画像処理装置。 - さらに、前記抽出範囲が少なくとも1つのパッチの内部に収まらない場合に、前記チャート撮影画像の再撮影をユーザに促すメッセージを出力する出力手段を有することを特徴とする請求項2または3に記載の画像処理装置。
- 前記設定手段は、前記抽出範囲が少なくとも1つのパッチの内部に収まらない場合に、前記抽出範囲を縮小することを特徴とする請求項2に記載の画像処理装置。
- さらに、前記抽出範囲が少なくとも1つのパッチの内部に収まらない場合に、前記抽出範囲を縮小する許可をユーザに求めるメッセージを出力する出力手段を有することを特徴とする請求項5に記載の画像処理装置。
- 前記設定手段は、前記抽出範囲が少なくとも1つのパッチの内部に収まらない場合に、前記チャート撮影画像のパッチ毎に前記抽出範囲を再設定することを特徴とする請求項2に記載の画像処理装置。
- さらに、前記抽出範囲が少なくとも1つのパッチの内部に収まらない場合に、前記チャート撮影画像のパッチ毎に前記抽出範囲を再設定する許可をユーザに求めるメッセージを出力する出力手段を有することを特徴とする請求項7に記載の画像処理装置。
- チャートを撮影したチャート撮影画像を入力する入力手段と、
前記チャートを出力するためのチャート画像を保持する保持手段と、
前記チャート撮影画像を前記チャート画像に射影変換して、前記チャート撮影画像における各パッチからパッチ情報を抽出する抽出範囲を、前記チャート画像におけるパッチの位置に基づいて設定する設定手段と、
を有することを特徴とする画像処理装置。 - さらに、前記設定手段で設定された、前記チャート撮影画像における前記抽出範囲からパッチ情報を抽出する抽出手段、を有することを特徴とする請求項9に記載の画像処理装置。
- さらに、前記チャート撮影画像における各パッチ領域に含まれるノイズ量を算出する算出手段と、
所定量以上のノイズを含むパッチ領域に対してノイズ除去処理を行うノイズ除去手段と、を有し、
前記設定手段は、前記ノイズ除去処理が施された前記チャート撮影画像に対し、前記射影変換を行うことを特徴とする請求項10に記載の画像処理装置。 - 前記算出手段は、パッチ領域内の画素値の分散を前記ノイズ量として算出することを特徴とする請求項11に記載の画像処理装置。
- 前記ノイズ除去手段は、パッチ領域内の画素値の平均値との差分が所定値以上である前記パッチ領域内の画素の値を、該平均値に置き換えることを特徴とする請求項12に記載の画像処理装置。
- さらに、前記チャート撮影画像における前記チャート画像の対応領域を、ユーザインタフェースを介したユーザ指示に基づいて特定する特定手段を有し、
前記取得手段は、前記対応領域に基づいて、前記射影変換に用いる変換行列を算出することを特徴とする請求項1乃至11のいずれか1項に記載の画像処理装置。 - 前記特定手段は、前記チャート撮影画像における前記対応領域の頂点の位置情報を、前記ユーザ指示に基づいて特定することを特徴とする請求項14に記載の画像処理装置。
- さらに、前記抽出手段が抽出した、前記チャート撮影画像における全てのパッチ領域のパッチ情報を、前記チャートを出力したデバイスの出力特性として保持するデバイス特性保持手段、を有することを特徴とする請求項2または10に記載の画像処理装置。
- チャートを出力するためのチャート画像を保持手段に保持し、前記チャートを撮影したチャート撮影画像からパッチ情報を抽出する画像処理装置における画像処理方法であって、
前記チャート撮影画像を入力する入力ステップと、
前記チャート画像を前記チャート撮影画像に射影変換して、前記チャート画像におけるパッチの位置に対応する、前記チャート撮影画像におけるパッチの位置を取得する取得ステップと、
前記チャート撮影画像におけるパッチの位置に基づき、前記チャート撮影画像における各パッチからパッチ情報を抽出する抽出範囲を設定する設定ステップと、
を有することを特徴とする画像処理方法。 - チャートを出力するためのチャート画像を保持手段に保持し、前記チャートを撮影したチャート撮影画像からパッチ情報を抽出する画像処理装置における画像処理方法であって、
前記チャート撮影画像を入力する入力ステップと、
前記チャート撮影画像を前記チャート画像に射影変換して、前記チャート撮影画像における各パッチ領域からパッチ情報を抽出する抽出範囲を、前記チャート画像におけるパッチの位置に基づいて設定する設定ステップと、
を有することを特徴とする画像処理方法。 - コンピュータ装置で実行されることにより、該コンピュータ装置を請求項1乃至16のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
- 請求項19に記載のプログラムを記憶したことを特徴とするコンピュータ可読な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014144569A JP2016021148A (ja) | 2014-07-14 | 2014-07-14 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014144569A JP2016021148A (ja) | 2014-07-14 | 2014-07-14 | 画像処理装置および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016021148A true JP2016021148A (ja) | 2016-02-04 |
Family
ID=55265949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014144569A Pending JP2016021148A (ja) | 2014-07-14 | 2014-07-14 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016021148A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109461195A (zh) * | 2018-09-28 | 2019-03-12 | 武汉优品楚鼎科技有限公司 | 一种基于svg的图表提取方法、装置及设备 |
-
2014
- 2014-07-14 JP JP2014144569A patent/JP2016021148A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109461195A (zh) * | 2018-09-28 | 2019-03-12 | 武汉优品楚鼎科技有限公司 | 一种基于svg的图表提取方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109584307B (zh) | 改进摄像机固有参数校准的系统和方法 | |
US8988317B1 (en) | Depth determination for light field images | |
JP6115214B2 (ja) | パターン処理装置、パターン処理方法、パターン処理プログラム | |
JP6302219B2 (ja) | Mtf測定装置およびmtf測定プログラム | |
JP5773436B2 (ja) | 情報端末装置 | |
WO2014045508A1 (ja) | 検査装置、検査方法、および検査プログラム | |
JP6594170B2 (ja) | 画像処理装置、画像処理方法、画像投影システムおよびプログラム | |
JP5433886B2 (ja) | 画像比較装置および画像比較プログラム | |
JP2015109559A (ja) | 画像処理装置、画像処理方法 | |
WO2018090450A1 (zh) | 显示屏均匀性测试方法及显示屏均匀性测试系统 | |
JP2012057974A (ja) | 撮影対象サイズ推定装置及び撮影対象サイズ推定方法並びにそのプログラム | |
JP6672673B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
JP2019220887A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2011155412A (ja) | 投影システムおよび投影システムにおける歪み修正方法 | |
KR20110132835A (ko) | 원근왜곡 보정을 통한 영상대조 방법 및 장치 | |
JP2016021148A (ja) | 画像処理装置および画像処理方法 | |
US9449251B2 (en) | Image processing apparatus, image processing method, and medium | |
JP5955003B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
JP2016099633A (ja) | 携帯端末を利用した保全点検システム | |
JP7340434B2 (ja) | 配筋検査システム、配筋検査方法、及び配筋検査プログラム | |
TWI628505B (zh) | Information processing device, information processing method and recording medium | |
JP6851551B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP6694907B2 (ja) | 判定装置、判定方法及び判定プログラム | |
CN116829918A (zh) | 分辨率测定方法、分辨率测定系统以及程序 | |
CN112004072A (zh) | 投影图像检测方法及装置 |