JP2012194126A - 画像色彩補正装置及び画像色彩補正方法 - Google Patents
画像色彩補正装置及び画像色彩補正方法 Download PDFInfo
- Publication number
- JP2012194126A JP2012194126A JP2011059786A JP2011059786A JP2012194126A JP 2012194126 A JP2012194126 A JP 2012194126A JP 2011059786 A JP2011059786 A JP 2011059786A JP 2011059786 A JP2011059786 A JP 2011059786A JP 2012194126 A JP2012194126 A JP 2012194126A
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- pattern
- unit
- color correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】本発明における画像色彩補正装置1は、測定対象物2と複数のカラーコード付き標識CTを同時に又は別時に異なる複数方向から撮影する撮影部3と、撮影部3により撮影されたカラーコード付き標識CTの撮影画像から、位置検出用パターンP1の位置を求める位置検出部51と、撮影画像から基準色パターンP2を抽出する基準色パターン抽出部52と、撮影画像からカラーコードパターンP3を抽出するカラーコードパターン抽出部53と、基準色パターン抽出部で抽出された基準色パターンのうち、少なくとも光源色補正に用いる色彩を用いて、撮影画像の光源色補正を行う色補正部71とを備える。
【選択図】図4
Description
また、「所定の位置関係に配置され」とは、位置検出用パターンP1に対してカラーコードパターンP3は予め定められた位置に配置されることを意味する。これにより、位置検出用パターンP1との位置関係からカラーコードパターンP3を抽出し、コード番号が判別可能になる。なお、1組のカラーコード付き標識においては、基準色パターンP2の配色及び輝度スケールパターンP5の配色は全て同一であり、カラーコードパターンP3の配色は全て異なるものとなる。なお、カラーコード付き標識(カラーコードターゲット)について包括的に示すときはCT、個別に示す時はCTi(iは正整数)と表示することとする。
本態様のように構成すると、光源色補正を行なう色補正部71を備えるので、画像の色彩を光源によらない一定の色に統一する補正を行なうことができる画像色彩補正装置を提供できる。
本態様のように構成すると、求めた撮影パラメータを用いて撮影部3のカメラをキャリブレーションすることにより、測定対象物2の位置を精度良く求められる。
このように構成すると、撮影部3のカメラの撮影パラメータを用いて撮影画像の各部の位置座標を適正に補正できる。
このように構成すると、輝度スケールパターンP5を用いて、広い輝度範囲にわたって精度の良い光源色補正ができる。
ここにおいて、無彩色の輝度スケールパターンP5をグレースケールパターン又はグレートーンパッチという。領域的にグレースケール領域又はグレートーンパッチ部ともいう。グレースケールパターンP5は、白又は/及び黒を含んでも良く、含まなくても良い。含まない場合には、いずれかのパターン(例えば位置検出用パターンP1や次に述べる白色領域P4)に白又は/及び黒が含まれることが、輝度の最大値と最小値が明確になるので好ましい。
本態様のように構成すると、グレートーンパッチを用いるので、色相によらない普遍的な光源色補正に適している。なお、カラートーンパッチを用いると、用いた色相における光源色補正に適している。
ここにおいて、白色領域P4は輝度スケールパターンP5と並存しても良く、白色領域P4のみ又は白色を含む輝度スケールパターンP5のみを設けても良い。
本態様のように構成すると、白色領域P4を用いて、小面積で効率の良い光源色補正ができる。
このように構成すると、輝度スケールパターンを用いて光源色度補正を行うので、測定対象物2の本来の色彩を極めて高い精度で表現できる。
ここにおいて、つなぎ合わせは色補正の前に行なっても良く、後に行なっても良い。 本態様のように構成すると、広い面積の測定対象物又は光景の撮影画像について、撮影画像のつなぎ合わせを行うことができる。
このように構成すると、テクスチャを貼付することにより、測定対象物2の3次元モデルをリアルに表現可能である。
本態様のように構成すると、光源色補正を行なう色補正工程(S125)を備えるので、画像の色彩を光源によらない一定の色に統一する補正を行なうことができる画像色彩補正方法を提供できる。
このように構成すると、撮影パラメータ演算工程(S140)と三次元座標演算工程(S160)とを備えるので、撮影パラメータ演算工程(S140)で演算されキャリブレーションデータを用いて、測定対象物2に係る精度の良い三次元座標を演算できる。なお、キャリブレーション後に再度撮影(第2の撮影工程:S150)して三次元座標測定を行っても良く、キャリブレーションと三次元座標測定を同じ撮影画像を用いて行っても良い。前者の場合には、キャリブレーションされたカメラによる撮影画像を用いるので、精度の高い三次元座標を演算できる。後者の場合には、第2の撮影工程(S150)を省略するので、速く三次元座標を演算できる。
このように構成すると、1組の輝度スケール領域P5を有するカラーコード付き標識CTを配置して撮影し、撮影画像の色彩を補正するので、カラーコード付き標識CTを配置した場所で精度のよい色補正ができる。キャリブレーションボックスCBを用いた場合は、キャリブレーションボックスCBと測定対象物2を別時に測定するが、測定対象物2全体の撮影画像を補正できる。測定対象物2と測定対象物2を同時に撮影する場合には、カラーコード付き標識CTで隠された場所は推定値を用いるが、1つの撮影画像でキャリブレーションと三次元座標演算ができる。
このように構成すると、輝度スケールパターンP5を用いて、広い輝度範囲にわたって精度の良い光源色補正ができる。
このように構成すると、輝度スケールパターンP5に代えて白色領域P4を用いて、小面積で効率の良い光源色補正ができる。
ここにおいて、色彩の基準として用いる色彩としてカラーバランスをとるための光三原色(RGB)を用いることができる。ただし、各RGBパターンはそれぞれ既知のチャネル値(画素値I)を持つ必要がある。必ずしも同一輝度のRGBパターンを用いる必要はないが、同一輝度のRGBパターンを用いるとカラーバランスの精度が向上するので好ましい。また、ほぼ等しいの輝度の範囲は例えば±10%以内とする。
本態様のように構成すると、従来のカラーコードターゲットの色彩を調整するだけで、光源色の補正が可能になる。光三原色(RGB)を画面上で輝度がほぼ等しくなるようにすると、RGBそれぞれの輝度をその近傍で調整することにより、容易にカラーバランスを取ることができる。また、光三原色が施された基準色パターンP2の単位領域を用いて、小面積で効率の良い光源色補正ができる。
このように構成すると、テクスチャを貼付することにより、測定対象物2の3次元モデルをリアルに表現可能である。
図1に本実施例によるコード付き標識としてのカラーコードターゲットCT1の例を示す。カラーコードの単位領域が6個で、輝度スケール領域P5が白色領域(右下隅)P4に隣接して配置されている例である。図1のカラーコードターゲットCT1は、位置検出用パターンとしてのレトロターゲット部P1、基準色パターンとしての基準色部P2、カラーコードパターンとしてのカラーコード部P3で構成されている。白色領域P4及び輝度ケール領域P5は基準色部P2の一部である。また、輝度スケール領域P5は無彩色のグレースケール領域P5となっている。本実施例では輝度スケール領域P5が白色領域P4に隣接して配置されている。これら、レトロターゲット部P1、基準色部P2(白色領域P4とグレースケール領域P5を含む)、カラーコード部P3はカラーコードターゲットCT1内の所定の位置に配置される。すなわち、基準色パターンP2(白色領域P4とグレースケール領域P5を含む)、カラーコードパターンP3は位置検出用パターンP1に対して予め定められた位置に配置される。図1の配色は、赤(R)、緑(G)、青(B)、黄(Y)、シアン(C)、マゼンタ(M)を表す。レトロターゲット部P1は黒地の中央に再帰反射材料からなる円形パターンを有している。レトロターゲット部P1に光を照射すると再帰反射材料から再帰反射するので、レトロターゲット部P1を検出し易くなる。このような再帰反射材料を有するターゲットをレトロターゲットという。この円形パターン内部を再帰反射材料に代えて白色にしても良い。白色の場合にはカラーコードターゲットCT1を製作し易く、光源色補正用の白色としても使用できる。
さらに、基準色部P2は光源色補正のために白色領域P4と輝度スケール領域(本実施例ではグレースケール領域)P5を有する。これらについては後述する。
図3にキャリブレーションボックスの例を示す。画像色彩補正装置1では、測定対象物2の周囲に円周上に配置された、場合によっては半球(上側)の球面上に配置された、ステレオカメラを用いてステレオマッチング法により測定対象物2の3次元モデリングを行なう。単カメラで場所を移動しながら撮影した画像をステレオペアとして用いても良い。しかし、複数台のデジタルカメラで撮影した画像を測定対象物モデルに重ね合わせた場合、光学的に不整合(色ずれ)の発生したテクスチャとなる。この原因は各カメラにより露出やホワイトバランスなどのパラメータが異なることにより発生するものである。カメラパラメータを統一した場合においてもデジタルカメラの個体差があり、色誤差が発生してしまう。画像色彩補正装置1が人体計測システムに使用される場合には人体の表面の色彩が光により微妙に変わることから、特に光源色補正が重要である。撮影画像における測定対象物2の表面の色彩を補正するためには、測定対象物2の表面の各部に近い位置に配置したカラーコードターゲットCT(輝度スケール領域P5を有する)を用いて行なうのが好適である。例えば、人体に近い大きさのキャリブレーションボックスCBを用意し、その表面に複数のカラーコードターゲットCTを配置し、複数のカメラの撮影画像から光源色を算出し、画像間の輝度の誤差を補正する。
図4に本実施例における画像色彩補正装置1の構成例を示す。画像色彩補正装置1は、例えば、測定対象物2(キャリブレーションボックスCB等を含む)を撮影する撮影部3、撮影画像や画像処理した画像を表示したり、入出力操作を行う入出力部4、撮影画像から測定対象物2に貼り付けられたカラーコードターゲットCT1を抽出するターゲット抽出部5、撮影パラメータの演算、対象物の三次元座標の演算等の演算処理を行う演算部6、色補正(光源色補正を含む)等、撮影画像に種々の画像処理を行う画像処理部7、撮影画像、モデル画像等の画像、画像処理や演算処理に有用なデータを記憶し、必要に応じて処理中のデータを記憶する記憶部8、画像色彩補正装置1及びその各部を制御して、画像色彩補正装置1として機能させる制御部9により構成される。このうち、ターゲット抽出部5、演算部6、画像処理部7、制御部9はパーソナルコンピュータ(PC)10の機能を用いて実現でき、PC10内に構成される。
次に、カラーコードターゲットCTの検出について説明する。まず、ターゲット抽出部5の位置検出部51にて撮影画像からカラーコードターゲットCTを抽出する。抽出方法として、(1)カラーコードターゲットCT中の位置検出用パターン(レトロターゲット部)P1を探索する方法、(2)カラーコード部P3の色分散を検出する方法、あるいは(3)彩色された位置検出用パターンを用いる方法など種々の方法がある。
xg={Σx*f(x、y)}/Σf(x、y) −−−−(式1)
yg={Σy*f(x、y)}/Σf(x、y) −−−−(式2)
(xg、yg):重心位置の座標、f(x、y):(x、y)座標上の明度値
なお、図5(B1)に表記されたレトロターゲット200の場合は、明度がしきい値To以下のx、y方向の点について、(式1)、(式2)を演算する。これにより、レトロターゲット200の重心位置が求まる。
(3)カラーコードターゲットCTに使用している3隅のレトロターゲットに異なる色をもたせ、それぞれのレトロターゲットが反射する色を異なるものにする。3隅のレトロターゲットに異なる色をもたせているため、1つのカラーコードターゲットに属する各レトロターゲットを判別しやすい。
図6に光源色補正(広義の光源色補正)のアルゴリズムのフロー例を示す。まず、カラーコードターゲットCT1を検出する(S010)。前述の(1)〜(3)のいずれかで検出できる。例えば、(1)のレトロターゲット部の検出又は(2)の色分散によるカラーコードターゲット検出を行なう。
次に、光源色補正(狭義の光源色補正)の前処理を行う。この前処理も狭義の光源色補正に含まれる。この前処理は色補正部71にて行われる。
まず、逆レスポンス関数を推定し、輝度スケール領域P5において検出された画素値(M)に逆レスポンス関数を掛ける処理を行う(S040)。一般的なデジタルカメラではシーン(撮影されるべき撮影対象及びその背景)の放射輝度(I)をデジタルカメラの画素値(M)に対応させるためのレスポンス関数が掛かっている。これは、画像をガンマ補正がされたディスプレイ上で確認した時に自然に見えるようにするためでる。ガンマ補正とは、白色領域がディスプレイ上で、有彩色やグレーが入らず白色になるように基準となる光(RGB)にモニタ特性の逆関数を掛ける補正することをいう。ところが、レスポンス関数の補正に関して、画像の輝度値が線形でないので、輝度補正する場合に単純ではない。例えば、2枚の画像の画素値の比を考えた場合、画素値(M)によって画素値の比が異なってしまう。例えば、白色パッチ(輝度スケール領域の白色部分又は白色領域P4)から輝度補正用のパラメータを推定した場合、そのパラメータを白色パッチ以外の領域(輝度スケール領域の白色以外の部分)に補正パラメータとして使うと補正を正しく行なうことができない。そのため、画素値から放射輝度を算出するには画素値にレスポンス関数の逆関数を掛けて、画素値を線形に変換する必要がある。
図9に逆レスポンス関数の例を示す。逆レスポンス関数はレスポンス関数の逆関数である。
S:表面色(表面反射率を分光分布で示したもの、白の場合は1)
Ep:推定された光源色(分光分布)
次に、色補正部71にて光源色補正(狭義の光源色補正)を行なう(S060)。
図10は光源色補正(狭義の光源色補正)のアルゴリズムを説明するための図である。光源を不知の光源に代えて標準の光源を用いるのと等価な補正を行う。撮影した画像に含まれる物が拡散反射物体であり、相互反射や鏡面反射を含まない場合、画像の画素値(I)と表面色(S)と光源色(Ep)の関係は(式4)で表される。ここで、表面色(S)とは物体固有の色であり、光源色(Ep)の変動に対して不変な色である。つまり、光源色補正を行い、光源色(Ep)によらない物体固有の色(S)に基づく画素値を求める。
I :補正前の画素値
Ep:(式4)で推定された光源色
Ep:各カメラにおける光源色
I:各カメラにおける画素値
これにより、画像間の輝度を合わせることができる。なお、ここでは、光源色補正(広義の光源色補正)アルゴリズムについてグレートーンパッチに適用する例を説明したが、カラートーンパッチについても同様に適用できる。
次にパラメータの調整について説明する(特開2007−147457号公報参照)。
本実施の形態において、焦点距離の推定は相互標定時に行われる。ステレオペア選択された撮影画像について、特徴点や基準点と対応点の座標を用いて、標定部63により標定計算処理を行う。標定計算処理により、撮影したカメラの位置、傾き等の外部標定要素、対応点の位置、計測精度(例えば、基準点がある場合には、バンドル調整で算出された三次元座標と基準点との残差の標準偏差、無い場合には、相互標定時の縦視差が用いられる)を求めることができる。標定計算処理は、一対の撮影画像又は一対のモデル画像の対応付けに関しては相互標定で行ない、複数または全画像間の標定に関してはバンドル調整にて行う。相互標定は標定部63で行なわれる。
(i)パラメータ(κ1、φ1、κ2、2、ω2)の初期近似値は通常0とする。
(ii)共面条件式(式8)を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を式(式9)、(式10)により求め、観測方程式をたてる。
(iii)最小自乗法を適用して、近似値に対する補正量を求める。
(iv)近似値を補正する。
(v)補正された近似値を用いて(ii)〜(iv)までの操作を収束するまで繰り返す。
モデル形成部73は、標定部63によって標定計算処理された外部パラメータ(撮影したカメラの位置、傾き)を用いて、モデル及びモデル画像を形成する。ここで、モデル画像とは、偏位修正画像ともいい、撮影画像の一対である左右画像の対応点を同一エピポーラライン上に再配置したものをいう。
図13に焦点距離推定の処理フロー例を示す。ここでは、ズーム式カメラにおいて予め、複数焦点の焦点位置にてキャリブレーションを行い、これらのデータより焦点距離fに対するカメラ内部パラメータ(主点位置及びレンズディストーション)の近似曲線を求め、撮影パラメータ記憶部85に記憶しておく(ステップS110:内部パラメータ記憶工程)。画像計測用に任意のズーム位置(焦点位置)にてステレオ撮影した(ステップS120、図13では第1の撮影工程と表示)場合、相互標定にて最確(縦視差が最も小さい)な焦点距離fを推定する(ステップS135:標定・焦点距離推定工程)。焦点距離fの推定は標定部63の焦点距離推定部631にて行なう。推定された焦点距離fに基づいてカメラ内部パラメータ(ディストーション及び主点位置)を近似曲線より取り出し、外部パラメータ(カメラの位置、傾き)も相互標定にて演算される(ステップS140:撮影パラメータ演算工程)。このようにして求めたカメラ内部パラメータ及び外部パラメータを用いて、撮影対象物2のモデルを形成し(ステップS155:モデル形成工程)、モデル三次元座標演算を行う(ステップS160:三次元座標演算工程)。かかる手法を焦点距離推定法と称する。
標定計算処理は、複数または全画像間の標定に関してはバンドル調整にて行う。バンドル調整は標定部63にて行なう。カメラ内部パラメータを演算処理するに際し、例えば写真測量分野で使用されている「セルフキャリブレーション付きバンドル調整法」を用いることができる。ここで、「バンドル調整」とは、被写体、レンズ、カメラの撮像面を結ぶ光束(バンドル)は同一直線上になければならないという共線条件に基づき、各画像の光束1本毎に観測方程式をたて、最小自乗法により外部標定要素(撮影したカメラの位置と傾き)とリファレンスポイントRFの座標位置を同時調整する方法である。「セルフキャリブレーション付き」とはさらに、キャリブレーション要素、即ちカメラ内部標定要素(主点位置及びレンズディストーション)を求めることができる方法である。セルフキャリブレーション付きバンドル調整法(以下単に「バンドル調整法」という)の共線条件基本式は、次の(式11)と(式12)である。
この(式11)と(式12)は、共線条件式(式7)を基本式とするものである。即ちバンドル調整法は、(式11)と(式12))を用いて、複数画像から最小自乗近似して、最適解を算出する手法であり、各撮影位置のカメラの外部標定要素を同時に求めることが可能となる。即ち、カメラのキャリブレーション要素を求めることが可能となる。
ここで、カメラ内部標定要素(カメラ内部パラメータ)について説明する。
図14は、焦点距離と内部パラメータ関数に用いられる係数の関係を説明する図で、図14(A)は(式13)の係数k1、図14(B)は(式13)の係数k2、図14(C)は画像座標系xでのカメラ主点と画像中心のx軸位置ずれ係数x0、図14(D)は画像座標系yでのカメラ主点と画像中心のy軸位置ずれ係数y0を表している。ここでは、前述の説例のように、ズーム式カメラの焦点距離が7.2mmから50.8mmで調整可能な場合を取り上げる。焦点距離データの測定個数を6個とすると、7.2mmが最広角となり、52.2mmが最望遠となり、中間の測定点として光学的意味での等間隔で測定をする為に、8.7mm、11.6mm、24.8mm、39.0mmが選択される。
また、内部パラメータの主点位置とレンズディストーションは、パスポイント(対応点)の正確な三次元座標を算出するために使用される。
画像データ補正部76は、これらの内部パラメータ係数k1、k2、x0、y0を用いて撮影画像又はモデル画像を補正する。モデル形成部73は、標定部63によって標定計算処理された外部パラメータ(撮影したカメラの位置、傾き)から、測定対象物2のモデル及びモデル画像を形成する(ステップS155)。この際に、画像データ補正部76で補正された撮影画像データやモデル画像データがあれば、これを用いて新たなモデル画像を形成する。これにより、レンズ歪みの影響が除去されたモデル画像を形成できる。表示部41は補正されたモデル画像を表示する。
補正された画像データを用いて精密標定、三次元座標演算を行なうことができる。
(2)デジタルカメラデータ解析ツール利用法:デジタルカメラの画像ファイルの規格として使用されるExif(イグジフ、Exchangeable Image File Formatの略語)形式の画像ファイルからデジタルカメラのデータ解析ツールにて得られた焦点距離を使用し、ディストーションと主点位置のパラメータは(3)に記すオンサイト法によりデータ取得し、キャリブレーションデータを作成する。
(3)オンサイト法:予め目盛に合わせて例えば6箇所の焦点距離にてキャリブレーションを実施し、これらのデータより焦点距離に対しディストーション及び主点位置に関する関数を作成しておく。任意のズーム位置でステレオ撮影すると仮定し、焦点距離はセルフキャリブレーション付きバンドル調整により取得する。例えば、パスポイント(対応点)10点とし、取得された焦点距離に対応するキャリブレーションデータを近似曲線より算出する。
(4)固定焦点法:焦点距離を固定してキャリブレーションを実施し、その固定した焦点位置のみにて撮影・解析を行う。
(5)焦点距離推定法:本実施例に該当する方法である。相互標定にて縦視差が最も小さくなるような焦点距離を最確値として算出し、ディストーションと主点位置のパラメータは(4)に記すオンサイト法の近似曲線より算出する。
図15に実施例1における三次元座標演算の処理フロー例を示す。
まず、1組のカラーコードターゲットCT1を配置する(標識配置工程:S100)。標識配置工程(S100)では、カラーコードターゲットCT1をキャリブレーションボックスCBの表面上に配置しても良く、測定対象物2が置かれる場所の周囲に配置しても良く、測定対象物2の表面上に配置しても良い。本実施例ではキャリブレーションボックスCBの表面上に配置することとする。また、カラーコードターゲットCT1は撮影パラメータを求めるのに適した位置関係に配置することが好適である。例えば測定対象物2とほぼ同じ大きさのキャリブレーションボックスCB表面に、測定対象物2の色の変化に対応するように配置することが好ましい。すなわち、色の変化が緩やかな位置ではカラーコードターゲットCTの間隔を疎にし、色の変化が急激な位置ではカラーコードターゲットCTの間隔を密にすることが好ましい。また、カメラのレンズ歪が小さい位置ではカラーコードターゲットCTの間隔を疎にし、カメラのレンズ歪が大きい位置ではカラーコードターゲットCTの間隔を密にすることが好ましい。次に焦点距離推定のため、カメラ内部パラメータ(主点位置及びレンズディストーション)の近似曲線を求め、撮影パラメータ記憶部85に記憶する(ステップS110)。
グレートーンパッチ部P5の検出は、輝度スケール領域抽出部522にて、カラーコードターゲットCT3の上2点のレトロターゲットの中間点で、2点のレトロターゲットの重心を結ぶ線分に対して垂直に配置されたグレートーンパッチ部P5を検出する。
グレートーンパッチ部P5の検出は、輝度スケール領域抽出部522にて、カラーコードターゲットCT4の上2点のレトロターゲットの重心を結ぶ線分と平行に配置され、線分の外側にあるグレートーンパッチ部P5を検出する。また、カラーコードターゲットCT4の左2点のレトロターゲットの重心を結ぶ線分と平行に配置され、線分の外側にあるグレートーンパッチ部P5を検出する。
グレートーンパッチ部P5の検出は、位置検出部51にて位置検出用パターンP1の円形のレトロターゲットを検出し、輝度スケール領域抽出部522にてその円形領域及び背景の矩形領域の諧調をグレートーンパターンとして検出する。
グレートーンパッチ部P5の検出は、位置検出部51にて位置検出用パターンP1の円形のレトロターゲットを検出し、輝度スケール領域抽出部522にて位置検出用パターンP1と同じ寸法の右下隅の領域を走査しその諧調を検出する。
グレースケール領域P5の検出は、輝度スケール領域抽出部522にてカラーコードターゲットCTの間に貼付されたグレースケール領域P5を検出する。
本実施例についても、グレースケール領域P5を有するので、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコードターゲットを提供すること、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正方法を提供することができる。
2 測定対象物
3 撮影部
4 入出力部
5 ターゲット抽出部
6 演算部
7 画像処理部
8 記憶部
9 制御部
10 パーソナルコンピュータ(PC)
31 撮影画像取得部
41 表示部
42 出力部
43 入力部
51 位置検出部
52 基準色パターン抽出部
521 白色領域抽出部
522 輝度スケール領域抽出部
53 カラーコードパターン抽出部
61 撮影パラメータ演算部
62 三次元座標演算部
63 標定部
631 焦点距離推定部
71 色補正部
72 画像合成部
73 モデル形成部
74 テクスチャ形成部
75 カラーコード判別部
76 画像データ補正部
81 撮影画像記憶部
82 基準色記憶部
83 カラーコード記憶部
84 モデル記憶部
85 撮影パラメータ記憶部
200 レトロターゲット
204 内円部
206 外円部
CB キャリブレーションボックス
CT,CTi(iは正整数) カラーコード付き標識(カラーコードターゲット)
EP エピポーラライン
Ep 光源色
f 焦点距離
I 画素値
P1 位置検出用パターン(レトロターゲット部)
P2 基準色パターン(基準色部)
P3 カラーコードパターン(カラーコード部)
P4 白色領域
P5 輝度スケールパターン(グレースケール領域、グレートーンパッチ部)
RF リファレンスポイント
S 表面色
To 明度のしきい値
TG ターゲット
(x0,y0) 光軸中心(主点位置)
Claims (16)
- 測定対象物と複数のカラーコード付き標識を同時に又は別時に異なる複数方向から撮影する撮影部を備え;
前記カラーコード付き標識は、
面内に、計測位置を示すための位置検出用パターンと、
色彩の基準として用いる色彩及び光源色補正に用いる色彩が施された基準色パターンと、
前記位置検出用パターンに対して所定の位置関係に配置され、標識を識別するための複数の色彩が施されたカラーコードパターンとを有し、
さらに、前記撮影部により撮影された前記カラーコード付き標識の撮影画像から、前記位置検出用パターンの位置を求める位置検出部と;
前記撮影画像から前記基準色パターンを抽出する基準色パターン抽出部と;
前記撮影画像から前記カラーコードパターンを抽出するカラーコードパターン抽出部と;
前記基準色パターン抽出部で抽出された基準色パターンのうち、少なくとも前記光源色補正に用いる色彩を用いて、前記撮影画像の光源色補正を行う色補正部とを備える;
画像色彩補正装置。 - 前記複数のカラーコード付き標識は、前記撮影部で前記複数方向から撮影して取得された撮影画像から前記撮影部の撮影パラメータを求めるのに適した位置関係に配置され;
前記位置検出部で抽出された前記位置検出用パターンの位置に基づいて撮影パラメータを求める撮影パラメータ演算部と;
前記撮影パラメータ演算部で求められた撮影パラメータを用いて、前記測定対象物の撮影画像から、前記測定対象物の位置を演算して求める三次元座標演算部とを備える;
請求項1に記載の画像色彩補正装置。 - 前記撮影パラメータは、撮影光学系の歪みと焦点距離と光軸中心を含む内部パラメータと、前記撮影部の位置と傾きを含む外部パラメータを含む;
請求項2に記載の画像色彩補正装置。 - 前記光源色補正に用いる色彩が施された基準色パターンとして、色相が同一で諧調の異なる複数の色を配置した輝度スケールパターンP5を有し;
前記基準色パターン抽出部は、前記輝度スケールパターンP5を抽出する;
請求項1ないし請求項3のいずれか1項に記載の画像色彩補正装置。 - 前記輝度スケールパターンの色相が無彩色である;
請求項4に記載の画像色彩補正装置。 - 前記基準色パターンは、前記光源色補正に用いる色彩として白色が施された白色領域を有し;
前記基準色パターン抽出部は、前記白色領域を抽出する;
請求項1ないし請求項4のいずれか1項に記載の画像色彩補正装置。 - 前記基準色パターン抽出部で抽出された基準色パターンのうち、前記色補正部は、前記輝度スケールパターンを用いて、前記光源色補正を行う;
請求項1ないし請求項6のいずれか1項に記載の画像色彩補正装置。 - 前記位置検出部で求められた位置検出用パターンの位置を用いて、前記異なる複数方向から撮影された撮影画像のつなぎ合わせを行う画像合成部を備える;
請求項1ないし請求項7のいずれか1項に記載の画像色彩補正装置。 - 前記位置検出部で求められた位置検出用パターンの位置を用いて、前記異なる複数方向から撮影された撮影画像から、前記対象物モデルを形成するモデル形成部と;
前記モデル形成部で形成された対象物モデルに、前記色補正部で補正された測定対象物のテクスチャを貼付するテクスチャ形成部とを備える;
請求項1ないし請求項8のいずれか1項に記載の画像色彩補正装置。 - 面内に、計測位置を示すための位置検出用パターンと、色彩の基準として用いる色彩及び光源色補正に用いる色彩が施された基準色パターンと、前記位置検出用パターンに対して所定の位置関係に配置され、標識を識別するための複数の色彩が施されたカラーコードパターンとを有するカラーコード付き標識を複数備える1組のカラーコード付き標識であって、前記1組のカラーコード付き標識の前記基準色パターンの配色は全て同一であり、前記1組のカラーコード付き標識の各前記カラーコードパターンの配色は全て異なる1組のカラーコード付き標識を配置する標識配置工程と;
測定対象物と前記複数のカラーコード付き標識を同時に又は別時に異なる複数方向から撮影する撮影工程と;
前記撮影工程で撮影された撮影画像から、前記位置検出用パターンの位置を求める位置検出工程と;
前記撮影画像から前記基準色パターンを抽出する基準色パターン抽出工程と;
前記撮影画像から前記カラーコードパターンを抽出するカラーコードパターン抽出工程と;
前記基準色パターン抽出工程で抽出された基準色パターンのうち、少なくとも前記光源色補正に用いる色彩を用いて、前記撮影画像の光源色補正を行う色補正工程とを備える;
画像色彩補正方法。 - 前記標識配置工程において、前記1組のカラーコード付き標識は、前記撮影工程で前記複数方向から撮影して取得された撮影画像から前記撮影部の撮影パラメータを求めるのに適した位置関係に配置され;
位置検出工程で抽出された前記位置検出用パターンの位置に基づいて撮影パラメータを求める撮影パラメータ演算工程と;
前記撮影パラメータ演算工程で求められた撮影パラメータを用いて、前記撮影画像から、前記測定対象物の三次元座標を演算して求める三次元座標演算工程とを備える;
請求項10に記載の画像色彩補正方法。 - 前記標識配置工程において、前記1組のカラーコード付き標識はボックスの表面上、測定対象物の表面上又は測定対象物が置かれる場所の周囲に配置される;
請求項10又は請求項11に記載の画像色彩補正方法。 - 前記色補正工程において、前記光源色補正に用いる色彩が施された基準色パターンとして、色相が同一で諧調の異なる複数の色を配置した輝度スケールパターンを用いて、前記撮影画像の光源色補正を行う;
請求項10又は請求項11に記載の画像色彩補正方法。 - 前記色補正工程において、前記光源色補正に用いる色彩として白色が施された白色領域を用いて、前記撮影画像の光源色補正を行う;
請求項10又は請求項11に記載の画像色彩補正方法。 - 前記色補正工程において、光三原色のいずれか1つの色が施された基準色パターンP2の単位領域を用いて光源色補正を行う;
請求項10又は請求項11に記載の画像色彩補正方法。 - 前記位置検出工程で求められた位置検出用パターンの位置を用いて、前記異なる複数方向から撮影された撮影画像から、前記対象物モデルを形成するモデル形成工程と;
前記モデル形成工程で形成された対象物モデルに、前記色補正工程で補正された測定対象物のテクスチャを貼付するテクスチャ形成工程とを備える;
請求項10ないし請求項15のいずれか1項に記載の画像色彩補正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011059786A JP5771423B2 (ja) | 2011-03-17 | 2011-03-17 | 画像色彩補正装置及び画像色彩補正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011059786A JP5771423B2 (ja) | 2011-03-17 | 2011-03-17 | 画像色彩補正装置及び画像色彩補正方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012194126A true JP2012194126A (ja) | 2012-10-11 |
JP2012194126A5 JP2012194126A5 (ja) | 2014-04-17 |
JP5771423B2 JP5771423B2 (ja) | 2015-08-26 |
Family
ID=47086151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011059786A Active JP5771423B2 (ja) | 2011-03-17 | 2011-03-17 | 画像色彩補正装置及び画像色彩補正方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5771423B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014085351A (ja) * | 2012-10-23 | 2014-05-12 | Electronics And Telecommunications Research Institute | デプスセンサと撮影カメラとの間の関係に基づいたデプス映像補正装置及び方法 |
JP2015210271A (ja) * | 2014-04-29 | 2015-11-24 | ▲ゆ▼創科技股▲ふん▼有限公司 | ポータブル3次元スキャナ及び物体に対応する3次元スキャン結果を生成する方法 |
JP2015225438A (ja) * | 2014-05-27 | 2015-12-14 | 貴生 朝山 | 印刷物 |
CN106570826A (zh) * | 2016-11-08 | 2017-04-19 | 山东省交通规划设计院 | 一种平面照片拼接校正尺 |
KR101992847B1 (ko) * | 2018-11-30 | 2019-06-25 | 대한민국 | 이미지 기반으로 식별 가능한 gcp와 uav를 이용한 지리 데이터 취득 시스템 및 그 방법 |
JP2019134331A (ja) * | 2018-01-31 | 2019-08-08 | セコム株式会社 | 画像処理装置 |
WO2020022056A1 (ja) * | 2018-07-24 | 2020-01-30 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001008221A (ja) * | 1999-06-18 | 2001-01-12 | Nippon Telegr & Teleph Corp <Ntt> | 色校正方法、および色校正装置、並びに記憶媒体 |
JP2002152768A (ja) * | 2000-11-10 | 2002-05-24 | Mitsubishi Electric Corp | 画像補正装置および画像補正方法 |
JP2007147457A (ja) * | 2005-11-28 | 2007-06-14 | Topcon Corp | 三次元形状演算装置及び三次元形状演算方法 |
JP2008281481A (ja) * | 2007-05-11 | 2008-11-20 | Fujifilm Corp | 解像測定装置及び方法 |
JP2009139197A (ja) * | 2007-12-05 | 2009-06-25 | Topcon Corp | カラーコード付き標識、カラーコード抽出手段及び三次元計測システム |
JP2010145186A (ja) * | 2008-12-17 | 2010-07-01 | Topcon Corp | 形状測定装置およびプログラム |
JP2012181129A (ja) * | 2011-03-02 | 2012-09-20 | Topcon Corp | カラーコード付き標識及びキャリブレーションボックス |
-
2011
- 2011-03-17 JP JP2011059786A patent/JP5771423B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001008221A (ja) * | 1999-06-18 | 2001-01-12 | Nippon Telegr & Teleph Corp <Ntt> | 色校正方法、および色校正装置、並びに記憶媒体 |
JP2002152768A (ja) * | 2000-11-10 | 2002-05-24 | Mitsubishi Electric Corp | 画像補正装置および画像補正方法 |
JP2007147457A (ja) * | 2005-11-28 | 2007-06-14 | Topcon Corp | 三次元形状演算装置及び三次元形状演算方法 |
JP2008281481A (ja) * | 2007-05-11 | 2008-11-20 | Fujifilm Corp | 解像測定装置及び方法 |
JP2009139197A (ja) * | 2007-12-05 | 2009-06-25 | Topcon Corp | カラーコード付き標識、カラーコード抽出手段及び三次元計測システム |
JP2010145186A (ja) * | 2008-12-17 | 2010-07-01 | Topcon Corp | 形状測定装置およびプログラム |
JP2012181129A (ja) * | 2011-03-02 | 2012-09-20 | Topcon Corp | カラーコード付き標識及びキャリブレーションボックス |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014085351A (ja) * | 2012-10-23 | 2014-05-12 | Electronics And Telecommunications Research Institute | デプスセンサと撮影カメラとの間の関係に基づいたデプス映像補正装置及び方法 |
JP2015210271A (ja) * | 2014-04-29 | 2015-11-24 | ▲ゆ▼創科技股▲ふん▼有限公司 | ポータブル3次元スキャナ及び物体に対応する3次元スキャン結果を生成する方法 |
US9955141B2 (en) | 2014-04-29 | 2018-04-24 | Eys3D Microelectronics, Co. | Portable three-dimensional scanner and method of generating a three-dimensional scan result corresponding to an object |
JP2015225438A (ja) * | 2014-05-27 | 2015-12-14 | 貴生 朝山 | 印刷物 |
CN106570826A (zh) * | 2016-11-08 | 2017-04-19 | 山东省交通规划设计院 | 一种平面照片拼接校正尺 |
JP2019134331A (ja) * | 2018-01-31 | 2019-08-08 | セコム株式会社 | 画像処理装置 |
WO2020022056A1 (ja) * | 2018-07-24 | 2020-01-30 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
KR101992847B1 (ko) * | 2018-11-30 | 2019-06-25 | 대한민국 | 이미지 기반으로 식별 가능한 gcp와 uav를 이용한 지리 데이터 취득 시스템 및 그 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP5771423B2 (ja) | 2015-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5771423B2 (ja) | 画像色彩補正装置及び画像色彩補正方法 | |
JP5207719B2 (ja) | カラーコード付き標識、カラーコード抽出手段及び三次元計測システム | |
US10083522B2 (en) | Image based measurement system | |
US9182220B2 (en) | Image photographing device and method for three-dimensional measurement | |
US8326022B2 (en) | Stereoscopic measurement system and method | |
Gaiani et al. | Securing color fidelity in 3D architectural heritage scenarios | |
US20130113893A1 (en) | Stereoscopic measurement system and method | |
JP5707185B2 (ja) | マルチカメラのキャリブレーション用全周フィールド | |
JP2007101276A (ja) | 三次元計測用投影装置及びシステム | |
CN108257187B (zh) | 一种相机-投影仪系统标定方法 | |
US9286506B2 (en) | Stereoscopic measurement system and method | |
JP5695821B2 (ja) | カラーコードターゲット、カラーコード判別装置及びカラーコード判別方法 | |
CN106952262B (zh) | 一种基于立体视觉的船板加工精度分析方法 | |
US11259000B2 (en) | Spatiotemporal calibration of RGB-D and displacement sensors | |
Yılmaztürk | Full-automatic self-calibration of color digital cameras using color targets | |
CN114299156A (zh) | 无重叠区域下多相机的标定与坐标统一方法 | |
JP5753406B2 (ja) | カラーコード付き標識及びキャリブレーションボックス | |
KR20180038942A (ko) | 2d 사진술에 대한 길이 측정 방법 | |
CN115187612A (zh) | 一种基于机器视觉的平面面积测量方法、装置及系统 | |
JP2005140547A (ja) | 3次元計測方法、3次元計測装置、及びコンピュータプログラム | |
AU2009248999A1 (en) | Stereoscopic measurement system and method | |
JP5350943B2 (ja) | カラーコードターゲット、カラーコード判別装置及びカラーコード判別方法 | |
CN115311369A (zh) | 一种低成本适用少量重合区域的高精度多rgb-d相机的外参标定方法 | |
EP2283314B1 (en) | Stereoscopic measurement system and method | |
AU2009249001B2 (en) | Stereoscopic measurement system and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140227 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150629 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5771423 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |