JP2005011070A

JP2005011070A - Image synthesis device

Info

Publication number: JP2005011070A
Application number: JP2003174674A
Authority: JP
Inventors: Taro Watanabe; 太郎渡邉
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2003-06-19
Filing date: 2003-06-19
Publication date: 2005-01-13

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image synthesis device for composing much more accurate converted images by correcting image distortion due to small projections/recessions on the surface of an object. <P>SOLUTION: Lattice-shaped spot light beams are emitted from a view-point F2 onto a space 0, and an image I<SB>0</SB>acquired by an image pickup part 101 set at a view-point F<SB>1</SB>is divided into triangle areas whose vertexes are lattice points hit by the spot light beams. Furthermore, an affine conversion formula to convert the triangle area on a converted image I<SB>1</SB>acquired when the image of an object is picked up from the view-point F1 into the triangle area on the image I<SB>0</SB>is searched, and the affine conversion formula is used to convert the image in the triangle area on the image I<SB>0</SB>into the image in the triangle area on the image I<SB>1</SB>. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、画像入力装置により、被写体面を斜めから撮影して得られる画像を、被写体面を正面から撮影して得られる画像に変換する画像合成装置に関する。
【０００２】
【従来の技術】
被写体を斜め方向から撮影すると画像歪が生じるため、特許文献１や特許文献２には、被写体表面を平面と仮定してその画像歪みを補正する手法が示されている。
【０００３】
【特許文献１】
特開平５−１０１２２１号公報
【特許文献２】
特開平９−２８９６００号公報
【０００４】
【発明が解決しようとする課題】
しかし、被写体表面は、実際には完全な平面ではなく小さな凹凸を持つ曲面である場合がほとんどであるため、上記従来の手法では、この凹凸による画像歪みを補正することが出来なかった。その結果、補正後の画像の画質が悪いという課題があった。
【０００５】
本発明はこの点に着目してなされたものであり、被写体表面に小さな凹凸がある場合でも、その凹凸による画像歪みを補正し、より正確な変換画像を合成することができる画像合成装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため請求項１に記載の発明は、第１の視点から被写体を撮影して画像を取り込む撮像手段と、第２の視点から前記被写体に格子状のスポット光を照射するスポット光照射手段と、第３の視点から前記被写体を撮影したとき得られる変換画像上の、前記スポット光が照射されている格子点の座標を計算により求める座標算出手段と、前記撮像手段により取り込まれた画像を、隣接する格子点を頂点とする三角形の領域に分割する分割手段と、前記三角形の頂点の座標と、前記座標算出手段の計算により求められた頂点の座標から、前記三角形のアフィン変換式を求める変換式算出手段と、前記撮像手段により取り込まれた画像における前記三角形領域の画像を、前記アフィン変換式を用いて、前記変換画像内の対応する三角形領域の画像に変換する画像変換手段とからなることを特徴とする画像合成装置を提供する。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像合成装置において、前記撮像手段は、赤外光による撮像と、可視光による撮像とを切り替えて行うことができ、前記スポット光照射手段は赤外光を照射することを特徴とする。
【０００８】
請求項３に記載の発明は、請求項１に記載の画像合成装置において、第４の視点から被写体を、赤外線により撮影して画像を取り込む赤外線撮像手段をさらに備え、前記スポット光照射手段は赤外光を照射することを特徴とする。
【０００９】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。
（第１の実施形態）
図１は本発明の第１の実施形態にかかる画像合成装置の構成を示す図である。この装置は、紙面０を斜め上方から撮影する撮像部（デジタルカメラ）１０１と、撮像部１０１に取り込まれる画像データの処理を行う画像処理部１０２と、紙面０にスポット光を格子状に照射するスポット光照射部１０３を備えている。画像処理部は１０２は、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、及びハードディスク装置を備えており、以下に説明する画像合成にかかる演算処理を実行する。
【００１０】
図２は、図１に示す画像合成装置の撮像面及び座標系を説明するための斜視図であり、図１と合わせて参照する。撮像部１０１は、視点Ｆ_０を焦点とし、その光軸が図のＺ軸に一致するように設置されている。またスポット光照射部１０３は、視点Ｆ_２の位置に、その光軸が図のＺ”軸に一致するように設置されている。
【００１１】
図１に示す画像合成装置は、視点Ｆ_０を焦点とし光軸をＦ_０Ｏとする撮像部１０１から紙面０を撮像して得られた画像Ｉ_０から、視点Ｆ_１を焦点とし光軸をＦ_１Ｏ’とする仮想カメラから紙面０を撮像して得られる画像Ｉ_１を合成する。画像Ｉ_０は紙面０を撮像面０に視点Ｆ_０を基準として透視変換して得られる画像である。同様に、画像Ｉ_１は撮像面１に視点Ｆ_１を基準として透視変換して得られる画像である。
【００１２】
スポット光照射部１０３は、視点Ｆ_２から格子状のスポット光を紙面０に照射する。まず、画像Ｉ_０上の格子点座標の検出方法について述べる。スポット光を点滅させて、スポット光の写っていないときの画像と写っているときの画像とを撮像して、２種類の画像の明るさ成分の差分を表す画像を求める。差分画像において輝度差分の絶対値が大きくなっているところがスポット光のあたっているところであるので、適当な閾値を設定して輝度差分の絶対値が、閾値以上の領域を「１」とし、閾値より小さい領域を「０」とする２値画像を求める。「１」となる領域の重心の座標を求めて、その値を格子点の座標とする。
【００１３】
スポット光は可視光、赤外光どちらでも用いることができる。赤外光を用いた場合は、画像Ｉ_０を撮像する撮像部１０１は、スポット光の座標を求めるときは赤外線カメラとして働き、合成画像Ｉ_１を求めるときは可視光カメラとして働く、赤外光／可視光切り替え可能のカメラを用いることが望ましい。
【００１４】
スポット光のあたる点のひとつをＰ_Ｏとする。格子点Ｐ_Ｏが撮像面０及び撮像面１に射影される点を、それぞれｐ_０及びｐ_１とする。先ず、ｐ_０の座標からｐ_１の座標を求める方法について述べる。
【００１５】
視点Ｆ_０，Ｆ_１，及びＦ_２を原点として３次元直交座標系ＸＹＺ，Ｘ’Ｙ’Ｚ’，及びＸ”Ｙ”Ｚ”をそれぞれ設定する。Ｚ，Ｚ’，及びＺ”軸は、光軸と一致するように設定する。また、画像Ｉ_０及びＩ_１に２次元直交座標系ｘｙ，及びｘ’ｙ’を設定する。ｘ，ｘ’軸はＸ，Ｘ’軸と、ｙ，ｙ’軸はＹ，Ｙ’軸と、それぞれ平行になるように設定する。ｐ_０の座標を（ｘ，ｙ）（ｘｙ座標系）とし、スポット光の方向をベクトル（ｘ”，ｙ”，１）（Ｘ”Ｙ”Ｚ”座標系）とし、Ｐ_０の座標を（Ｘ，Ｙ，Ｚ）（ＸＹＺ座標系）および（Ｘ”，Ｙ”，Ｚ”）（Ｘ”Ｙ”Ｚ”座標系）とする。まず、（Ｘ，Ｙ，Ｚ）を（ｘ，ｙ）と（ｘ”，ｙ”，１）から求める。（ｘ，ｙ）と（Ｘ，Ｙ，Ｚ）の関係は透視変換の関係から（１）式で表される。ｆ_０は視点Ｆ_０から撮像面０までの距離である。
【数１】

【００１６】
また、（ｘ”，ｙ”，１）と（Ｘ”，Ｙ”，Ｚ”）の関係は（２）式で表される。
【数２】

【００１７】
また、（Ｘ，Ｙ，Ｚ）と（Ｘ”，Ｙ”，Ｚ”）の関係は（３）式で表される。行列（ａ_ｉｊ）はＸＹＺ座標系からＸ”Ｙ”Ｚ”座標系への変換行列である。
【数３】

【００１８】
（２）及び（３）式より、Ｘ”，Ｙ”，Ｚ”を消去すると（４）式が得られる。ｃ_００，ｃ_０１，ｃ_１０，及びｃ_１１は、ａ_ｉｊとｘ”，ｙ”で表される定数である。
【数４】

【００１９】
（１）及び（４）式からＸ，Ｙ，Ｚは（５）式で表される。
【数５】

【００２０】
次に、ｐ_１の座標（ｘ’，ｙ’）（ｘ’ｙ’座標系）を求める。Ｐ_０の座標（Ｘ’，Ｙ’，Ｚ’）（Ｘ’Ｙ’Ｚ’座標系）とする。（Ｘ，Ｙ，Ｚ）（Ｘ’，Ｙ’，Ｚ’）の関係は（６）式で表される。行列（ｄ_ｉｊ）は、ＸＹＺ座標系をＸ’Ｙ’Ｚ’座標系に変換する変換行列である。
【数６】

【００２１】
また、（ｘ’，ｙ’）と（Ｘ’，Ｙ’，Ｚ’）の関係は（７）式で表される。ｆ_１は視点Ｆ_１から撮像面１までの距離である。
【数７】

【００２２】
（５）、（６）及び（７）式より、ｘ’，ｙ’を（８）式のように、ａ_ｉｊ，ｄ_ｉｊ（ｉ＝０，１，２，ｊ＝０，１，２，３）、ｆ_０，ｆ_１，ｘ，ｙ，ｘ”，ｙ”の関数で表すことができる。ここで、ｈ_０及びｈ_１は、関数を表す。
【数８】

【００２３】
次に、画像のアフィン変換について、図３を参照して説明する。紙面０を撮像した画像Ｉ_０上に写っているスポット光点ｐ_０ｉｊの隣接する３点から構成される３角形領域に画像Ｉ_０を分割する。ｐ_０ｉｊの座標から、（８）式を用いて画像Ｉ_１上の各スポット点ｐ_１ｉｊの座標を求める。画像Ｉ_１上の三角形ｐ_１ｉｊｐ_{１ｉ（ｊ＋１）}ｐ_{１（ｉ＋１）ｊ}から画像Ｉ_０上の三角形ｐ_０ｉｊｐ_{０ｉ（ｊ＋１）}ｐ_{０（ｉ＋１）ｊ}へのアフィン変換式を求める。ｐ_１ｉｊ、ｐ_{１ｉ（ｊ＋１）}、及びｐ_{１（ｉ＋１）ｊ}の座標を（ｘ_１ｉｊ，ｙ_１ｉｊ）、（ｘ_{１ｉ（ｊ＋１）}，ｙ_{１ｉ（ｊ＋１）}）、及び（ｘ_{１（ｉ＋１）ｊ}，ｙ_{１（ｉ＋１）ｊ}）とし、ｐ_０ｉｊ、ｐ_{０ｉ（ｊ＋１）}、及びｐ_{０（ｉ＋１）ｊ}の座標を（ｘ_０ｉｊ，ｙ_０ｉｊ）、（ｘ_{０ｉ（ｊ＋１）}，ｙ_{０ｉ（ｊ＋１）}）、及び（ｘ_{０（ｉ＋１）ｊ}，ｙ_{０（ｉ＋１）ｊ}）とする。変換式は（９）式で表される。
【数９】

【００２４】
次に、三角形ｐ_１ｉｊｐ_{１ｉ（ｊ＋１）}ｐ_{１（ｉ＋１）ｊ}内の座標（ｘ_１，ｙ_１）の画素ｉ_１の画素値ｒ_１（ｘ_１，ｙ_１）、ｇ_１（ｘ_１，ｙ_１）、及びｂ_１（ｘ_１，ｙ_１）を求める。（９）式を用いて画素ｉ_１に対応する三角形ｐ_０ｉｊｐ_{０ｉ（ｊ＋１）}ｐ_{０（ｉ＋１）ｊ}内の画素ｉ_０の座標（ｘ_０，ｙ_０）を求める（図４参照）。画素ｉ_０（ｘ_０，ｙ_０）の画素値ｒ_０（ｘ_０，ｙ_０）、ｇ_０（ｘ_０，ｙ_０）、及びｂ_０（ｘ_０，ｙ_０）とすると、画素値ｒ_１（ｘ_１，ｙ_１）、ｇ_１（ｘ_１，ｙ_１）、及びｂ_１（ｘ_１，ｙ_１）は、ｒ_０（ｘ_０，ｙ_０）、ｇ_０（ｘ_０，ｙ_０）、及びｂ_０（ｘ_０，ｙ_０）と等しい。ｘ_０及びｙ_０を、それぞれ整数部ｘ_ｉ０及びｙ_ｉ０と、小数部ｘ_ｄ０及びｙ_ｄ０に分けると、画素値ｒ_１（ｘ_１，ｙ_１）、ｇ_１（ｘ_１，ｙ_１）、及びｂ_１（ｘ_１，ｙ_１）は、図４に示す近傍の４画素ｉ_０（ｘ_ｉ０、ｙ_ｉ０）、ｉ_０（ｘ_ｉ０＋１、ｙ_ｉ０）、ｉ_０（ｘ_ｉ０、ｙ_ｉ０＋１）、ｉ_０（ｘ_ｉ０＋１、ｙ_ｉ０＋１）の画素値
ｒ_０（ｘ_ｉ０，ｙ_ｉ０）、ｇ_０（ｘ_ｉ０，ｙ_ｉ０）、ｂ_０（ｘ_ｉ０，ｙ_ｉ０）、
ｒ_０（ｘ_ｉ０＋１、ｙ_ｉ０）、ｇ_０（ｘ_ｉ０＋１、ｙ_ｉ０）、ｂ_０（ｘ_ｉ０＋１、ｙ_ｉ０）、
ｒ_０（ｘ_ｉ０、ｙ_ｉ０＋１）、ｇ_０（ｘ_ｉ０、ｙ_ｉ０＋１）、ｂ_０（ｘ_ｉ０、ｙ_ｉ０＋１）、
ｒ_０（ｘ_ｉ０＋１、ｙ_ｉ０＋１）、ｇ_０（ｘ_ｉ０＋１、ｙ_ｉ０＋１）、ｂ_０（ｘ_ｉ０＋１、ｙ_ｉ０＋１）、
を用いて、（１０）式から求められる。
【数１０】

【００２５】
図５は、上述した画像合成の手順を示すフローチャートである。ステップＳ１では、画像Ｉ_０上の格子点座標（ｘ，ｙ）を求め、ステップＳ２では、ステップＳ１で求めた格子点座標から、画像Ｉ_１上の格子点座標（ｘ’，ｙ’）を計算する。具体的には、（８）式が用いられる。
【００２６】
ステップＳ３では、画像Ｉ_０を、隣接する格子点座標を頂点とする三角形の領域に分割し、ステップＳ４では、画像Ｉ_１上の三角形領域を、画像Ｉ_０上の三角形領域に変換するアフィン変換式（９）を計算する。そして、ステップＳ５で、ステップＳ４で求めたアフィン変換式（９）を用いて画像Ｉ_１の三角形領域の画像を、画像Ｉ_０の三角形領域の画像から合成する。具体的には、（９）式及び（１０）式が用いられる。
【００２７】
以上のように本実施形態では、紙面０上に格子状のスポット光を照射し、スポット光が照射されている格子点の、画像Ｉ_０上の座標（ｘ，ｙ）及び画像Ｉ_１上の座標（ｘ’，ｙ’）が求められる。そして、スポット光が当たっている格子点を頂点とする三角形領域に、画像Ｉ_０及びＩ_１が分割され、画像Ｉ_１上の三角形領域を、画像Ｉ_０上の三角形領域に変換するアフィン変換式が求められ、そのアフィン変換式を用いて、画像Ｉ_０上の三角形領域内の画像が、画像Ｉ_１上の三角形領域の画像に変換される。その結果、紙面０に小さな凹凸がある場合でも、その凹凸による画像歪みを補正し、より正確な変換画像を合成することができる。
【００２８】
（第２の実施形態）
図６は、本発明の第２の実施形態にかかる画像合成装置の構成を示す図である。また図７は、図６に対応する撮像面及び座標系を説明するための斜視図である。本実施形態では、赤外線により撮像する赤外線撮像部（赤外線カメラ）１０４が新たに設けられており、スポット光照射部１０３ａは、赤外線のスポット光を照射する。また撮像部１０１ａは、可視光により撮像するデジタルカメラである。
【００２９】
赤外線撮像部１０４は、図７に示す視点Ｆ_３を焦点として、その光軸が、視点Ｆ_３と紙面０上の点０’’’とを結ぶ直線と一致するように設置されている。赤外線撮像部１０４の撮像面を撮像面３とし、赤外線撮像部１０４から得られる画像をＩ_３とし、格子点Ｐ_０が撮像面３へ射影される点をｐ_３（ｘ’’’，ｙ’’’）とする。視点Ｆ_３を原点に３次元直交座標系Ｘ’’’Ｙ’’’Ｚ’’’を設定する。また、画像Ｉ_３に２次元座標系ｘ’’’ｙ’’’を設定する。ｐ_３の座標を（ｘ’’’，ｙ’’’）、Ｐ_０の座標を（Ｘ’’’，Ｙ’’’，Ｚ’’’）（Ｘ’’’Ｙ’’’Ｚ’’’座標系）とする。
【００３０】
本実施形態では、まず、（ｘ’’’，ｙ’’’）と（ｘ”，ｙ”，１）から（Ｘ’’’，Ｙ’’’，Ｚ’’’）を求め、次に、（Ｘ’’’，Ｙ’’’，Ｚ’’’）から（Ｘ，Ｙ，Ｚ）と（Ｘ’，Ｙ’，Ｚ’）を求め、最後にｐ_０（ｘ，ｙ）、ｐ_２（ｘ’，ｙ’）を求める。視点Ｆ_３と撮像面３との距離をｆ_３とすると、（ｘ’’’，ｙ’’’）と（Ｘ’’’，Ｙ’’’，Ｚ’’’）の関係は（１１）式で表される。
【数１１】

【００３１】
また、（Ｘ’’’，Ｙ’’’，Ｚ’’’）と（Ｘ”、Ｙ”、Ｚ”）の関係は（１２）式で表される。行列（ｇ_ｉｊ）は、Ｘ’’’Ｙ’’’Ｚ’’’座標系からＸ”Ｙ”Ｚ”座標系の変換行列である。
【数１２】

【００３２】
（２）、（１１）、及び（１２）式からＸ’’’，Ｙ’’’，Ｚ’’’を求める。Ｘ’’’，Ｙ’’’，Ｚ’’’は（１３）式のようにｇ_ｉｊ（ｉ＝０，１，２，ｊ＝０，１，２，３）、ｘ’’’，ｙ’’’，ｘ”，ｙ”，ｆ_３の関数となる。ここで、ｈ_２〜ｈ_４は、関数を表す。
【数１３】

【００３３】
Ｘ’’’Ｙ’’’Ｚ’’’座標系からＸＹＺ座標系への変換行列を（ｋ_ｉｊ（ｉ＝０，１，２，ｊ＝０，１，２，３））とし、Ｘ’’’Ｙ’’’Ｚ’’’座標系からＸ’Ｙ’Ｚ’座標系への変換行列を（ｌ_ｉｊ（ｉ＝０，１，２，ｊ＝０，１，２，３）とすると、ｘ，ｙ，ｘ’，ｙ’は（１４）式で表される。ここで、ｈ_５〜ｈ_８は、関数を表す。
【数１４】

【００３４】
以上により、画像Ｉ_１上の格子点の座標（ｘ’，ｙ’）が求められる。以後の画像変換の処理は、上述した第１の実施形態と同一である。
【００３５】
【発明の効果】
以上詳述したように請求項１に記載の発明は、被写体表面に格子状のスポット光を照射し、撮像手段と異なる視点から被写体を撮影したとき得られる変換画像上の、前記スポット光が照射されている格子点の座標を求め、撮像手段により取り込まれた画像を、スポット光が当たっている格子点を頂点とする三角形領域に分割し、この三角形の頂点の座標と、前記変換画像上の格子点の座標から、前記三角形のアフィン変換式を求め、撮像手段により取り込まれた画像上の三角形領域の画像を、前記アフィン変換式を用いて、前記変換画像内の対応する三角形領域の画像に変換するようにしたので、被写体表面に小さな凹凸がある場合でも、その凹凸による画像歪みを補正し、より正確な変換画像を合成することができる。
【００３６】
請求項２または３に記載の発明によれば、赤外光のスポット光を照射しながら、可視光の画像の変換処理を行うことができるので、処理を高速化することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態にかかる画像合成装置の構成を示す図である。
【図２】図１の装置における撮像面及び座標系を説明するための斜視図である。
【図３】画像を三角形領域に分割する処理を説明するための図である。
【図４】画素に対応する画素値を算出する手法を説明するための図である。
【図５】画像合成処理の手順を示すフローチャートである。
【図６】本発明の第２の実施形態にかかる画像合成装置の構成を示す図である。
【図７】図６の装置における撮像面及び座標系を説明するための斜視図である。
【符号の説明】
１０１，１０１ａ撮像部（撮像手段）
１０２画像処理部（座標算出手段、分割手段、変換式算出手段、画像変換手段）
１０３，１０３ａスポット光照射部（スポット光照射手段）
１０４赤外線撮像部（赤外光撮像手段）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image composition device for converting an image obtained by photographing an object surface from an oblique direction into an image obtained by photographing the object surface from the front by an image input device.
[0002]
[Prior art]
Since image distortion occurs when a subject is photographed from an oblique direction,

Patent Documents

1 and 2 disclose a technique for correcting the image distortion on the assumption that the surface of the object is a plane.
[0003]
[Patent Document 1]
JP-A-5-101221 [Patent Document 2]
Japanese Patent Laid-Open No. 9-289600
[Problems to be solved by the invention]
However, in most cases, the subject surface is not a perfect plane but a curved surface having small irregularities, and thus the conventional method cannot correct the image distortion due to the irregularities. As a result, there is a problem that the image quality of the corrected image is poor.
[0005]
The present invention has been made paying attention to this point, and provides an image synthesizer capable of correcting image distortion caused by unevenness on the surface of a subject and synthesizing a more accurate converted image. The purpose is to do.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, the invention described in claim 1 is directed to an imaging unit that captures an image by capturing a subject from a first viewpoint, and spot light that irradiates the subject with a lattice spot light from a second viewpoint. Irradiation means, coordinate calculation means for calculating coordinates of lattice points irradiated with the spot light on the converted image obtained when the subject is photographed from a third viewpoint, and captured by the imaging means A dividing unit that divides an image into triangular regions having adjacent lattice points as vertices, coordinates of the vertices of the triangles, and vertex coordinates obtained by calculation of the coordinate calculating unit, the affine transformation formula of the triangles A conversion formula calculation means for obtaining the image of the triangular region in the image captured by the imaging means, using the affine transformation formula, the corresponding triangle in the conversion image To provide an image synthesizing apparatus characterized by comprising the image converting means for converting the image of the area.
[0007]
According to a second aspect of the present invention, in the image synthesizing apparatus according to the first aspect, the imaging unit can switch between imaging with infrared light and imaging with visible light, and the spot light irradiation unit. Is characterized by irradiating infrared light.
[0008]
According to a third aspect of the present invention, in the image composition device according to the first aspect of the present invention, the image synthesizing apparatus further includes an infrared imaging unit that captures an image of the subject from the fourth viewpoint and captures the image. Irradiating with external light.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram showing the configuration of an image composition apparatus according to the first embodiment of the present invention. The apparatus irradiates spot light on the paper surface 0 in a grid pattern, an imaging unit (digital camera) 101 that captures the paper surface 0 from an oblique upper side, an image processing unit 102 that processes image data captured by the imaging unit 101, and the like. A spot light irradiation unit 103 is provided. The image processing unit 102 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and a hard disk device, and executes arithmetic processing related to image composition described below. .
[0010]
FIG. 2 is a perspective view for explaining an imaging surface and a coordinate system of the image composition apparatus shown in FIG. 1, and is referred to together with FIG. The imaging unit 101 is installed so that the viewpoint F ₀ is a focal point and the optical axis thereof coincides with the Z axis in the drawing. The spot light irradiation unit 103 is installed at the position of the viewpoint F _{2 so} that the optical axis thereof coincides with the Z ″ axis in the drawing.
[0011]
The image synthesizing apparatus shown in FIG. 1 has a viewpoint F ₁ as a focal point and an optical axis as a focal point from an image I ₀ obtained by imaging the paper plane 0 from the imaging unit 101 whose focal point is the viewpoint F _{0 and} whose optical axis is F ₀ O. An image I ₁ obtained by imaging the paper surface 0 from the virtual camera F ₁ O ′ is synthesized. The image I ₀ is an image obtained by perspective-transforming the paper surface 0 with the imaging surface 0 and using the viewpoint F ₀ as a reference. Similarly, the image I ₁ is an image obtained by performing perspective transformation on the imaging surface 1 with the viewpoint F ₁ as a reference.
[0012]
Spot light irradiating section 103 irradiates the viewpoint F ₂ a grid spot light to the plane 0. First, a method for detecting lattice point coordinates on the image I ₀ will be described. By blinking the spot light, an image when the spot light is not captured and an image when the spot light is captured are captured, and an image representing the difference between the brightness components of the two types of images is obtained. In the difference image, the point where the absolute value of the luminance difference is large is the spot light. Therefore, an appropriate threshold value is set, and the region where the absolute value of the luminance difference is equal to or greater than the threshold value is set to “1”. A binary image having a small area “0” is obtained. The coordinates of the center of gravity of the area “1” are obtained, and the value is used as the coordinates of the grid point.
[0013]
As the spot light, either visible light or infrared light can be used. When infrared light is used, the imaging unit 101 that captures the image I ₀ functions as an infrared camera when determining the coordinates of the spot light, and functions as a visible light camera when determining the composite image I _1. / It is desirable to use a camera that can switch visible light.
[0014]
One of the spots where the spot light hits is assumed to be _PO . The points where the grid point _PO is projected onto the imaging surface 0 and the imaging surface 1 are defined as p ₀ and p ₁ , respectively. First, a method for obtaining the coordinates of p ₁ from the coordinates of p ₀ will be described.
[0015]
Three-dimensional orthogonal coordinate systems XYZ, X′Y′Z ′, and X ″ Y ″ Z ″ are set with the viewpoints F ₀ , F ₁ , and F ₂ as the origins. The Z, Z ′, and Z ″ axes are Set to match the optical axis. In addition, two-dimensional orthogonal coordinate systems xy and x′y ′ are set in the images I ₀ and I ₁ . The x and x ′ axes are set to be parallel to the X and X ′ axes, and the y and y ′ axes are set to be parallel to the Y and Y ′ axes. The coordinate of p ₀ is (x, y) (xy coordinate system), the direction of the spot light is a vector (x ″, y ″, 1) (X ″ Y ″ Z ″ coordinate system), and the coordinate of P ₀ is ( X, Y, Z) (XYZ coordinate system) and (X ″, Y ″, Z ″) (X ″ Y ″ Z ″ coordinate system) First, (X, Y, Z) is set to (x, y). and (x ", y", 1 ) determined from. (x, y) and (X, Y, Z) .f 0 relationship represented by equation (1) from the relationship between the perspective transformation from the perspective _{F 0} This is the distance to the imaging plane 0.
[Expression 1]

[0016]
Further, the relationship between (x ″, y ″, 1) and (X ″, Y ″, Z ″) is expressed by equation (2).
[Expression 2]

[0017]
Further, the relationship between (X, Y, Z) and (X ″, Y ″, Z ″) is expressed by equation (3). The matrix (a _ij ) is changed from the XYZ coordinate system to the X ″ Y ″ Z ″ coordinate system. Is a transformation matrix.
[Equation 3]

[0018]
Erasing X ″, Y ″, Z ″ from Equations (2) and (3) gives Equation (4). C ₀₀ , c ₀₁ , c ₁₀ , and c ₁₁ are a _ij and x ″, y "Is a constant represented by
[Expression 4]

[0019]
From the expressions (1) and (4), X, Y and Z are expressed by the expression (5).
[Equation 5]

[0020]
Next, the coordinates (x ′, y ′) (x′y ′ coordinate system) of p ₁ are obtained. It is assumed that the coordinates of P ₀ are (X ′, Y ′, Z ′) (X′Y′Z ′ coordinate system). The relationship of (X, Y, Z) (X ′, Y ′, Z ′) is expressed by equation (6). The matrix (d _ij ) is a conversion matrix that converts the XYZ coordinate system to the X′Y′Z ′ coordinate system.
[Formula 6]

[0021]
Further, the relationship between (x ′, y ′) and (X ′, Y ′, Z ′) is expressed by equation (7). f ₁ is the distance from the viewpoint F ₁ to the imaging surface 1.
[Expression 7]

[0022]
From the expressions (5), (6) and (7), x ′ and y ′ are expressed as a _ij , d _ij (i = 0, 1, 2, j = 0, 1, 2, 3) It can be expressed by a function of f ₀ , f ₁ , x, y, x ″, y ″. Here, h ₀ and h ₁ represent functions.
[Equation 8]

[0023]
Next, affine transformation of an image will be described with reference to FIG. The paper 0 divides the image I ₀ in triangular area comprised of three neighboring points of the spot light spot p _0Ij that is reflected on the image I ₀ captured. _From the coordinates of p _0ij, the coordinates of each spot point p _1ij on the image I ₁ are obtained using equation (8). Image _{I 1} on the triangle _{_{_{p 1ij p 1i (j + 1}}} ) p 1 (i + 1) triangle _p on the image from _{_{_{j I 0 0ij p 0i (j}}} + 1) p 0 (i + 1) determine the affine transformation equation to _j. The _{coordinates of} p _1ij , p _{1i (j + 1)} , and p _{1 (i + 1) j} are (x _1ij , y _1ij ), (x _{1i (j + 1)} , y _{1i (j + 1)} ), and (x _{1 (i + 1) j} , y _{1 (i + 1) j} ), and the coordinates of p _0ij , p _{0i (j + 1)} , and p _{0 (i + 1) j} are (x _0ij , y _0ij ), (x _{0i (j + 1)} , y _{0i (j + 1)} ), And (x _{0 (i + 1) j} , y _{0 (i + 1) j} ). The conversion equation is expressed by equation (9).
[Equation 9]

[0024]
Next, the pixel values r ₁ (x ₁ , y ₁ ), g ₁ (x ₁ , x ₁ , y ₁ ) of the pixel i ₁ at the coordinates (x ₁ , y ₁ ) in the triangle p _1ij p _{1i (j + 1)} p _{1 (i + 1) j} y ₁ ) and b ₁ (x ₁ , y ₁ ) are obtained. The coordinates (x ₀ , y ₀ ) of the pixel i _{0 in} the triangle p _0ij p _{0i (j + 1)} p _{0 (i + 1) j} corresponding to the pixel i ₁ are obtained using the equation (9) (see FIG. 4). Pixel _i 0 _(x 0, _{y 0)} of the pixel value _r 0 _(x _0, _y 0), _{g 0} (x _{0, y} 0), and _b 0 If _(x 0, _{y 0)} to the pixel value _{r 1} (X ₁ , y ₁ ), g ₁ (x ₁ , y ₁ ), and b ₁ (x ₁ , y ₁ ) are r ₀ (x ₀ , y ₀ ), g ₀ (x ₀ , y ₀ ), And b ₀ (x ₀ , y ₀ ). If x ₀ and y ₀ are divided into integer parts x _i0 and y _i0 and fractional parts x _d0 and y _d0 , respectively, pixel values r ₁ (x ₁ , y ₁ ), g ₁ (x ₁ , y ₁ ), And b ₁ (x ₁ , y ₁ ) are the four neighboring pixels i ₀ (x _i0 , y _i0 ), i ₀ (x _i0 +1, y _i0 ), i ₀ (x _i0 , y _i0 +1) shown in FIG. ), I ₀ (x _i0 +1, y _i0 +1) pixel values r ₀ (x _i0 , y _i0 ), g ₀ (x _i0 , y _i0 ), b ₀ (x _i0 , y _i0 ),
r ₀ (x _i0 +1, y _i0 ), g ₀ (x _i0 +1, y _i0 ), b ₀ (x _i0 +1, y _i0 ),
r ₀ (x _i0 , y _i0 +1), g ₀ (x _i0 , y _i0 +1), b ₀ (x _i0 , y _i0 +1),
_{_{_{_{r 0 (x i0 + 1,}}}} y i0 +1), g 0 (x i0 + 1, y i0 +1), b 0 (x i0 + 1, y i0 +1),
And is obtained from the equation (10).
[Expression 10]

[0025]
FIG. 5 is a flowchart showing the above-described image composition procedure. In step S1, the lattice point coordinates (x, y) on the image I ₀ are obtained. In step S2, the lattice point coordinates (x ′, y ′) on the image I ₁ are obtained from the lattice point coordinates obtained in step S1. calculate. Specifically, equation (8) is used.
[0026]
In step S3, the image I _0, is divided into a triangular area whose vertices neighboring grid point coordinates, in step S4, affine transformation to transform a triangle area on the image I _1, the triangular area in the image I ₀ Equation (9) is calculated. Then, in step S5, the affine transformation equation calculated in step S4 the image of the triangular area of the image I ₁ with (9), is synthesized from the image of the triangular area of the image I _0. Specifically, the formulas (9) and (10) are used.
[0027]
As described above, in the present embodiment, lattice spot light is irradiated on the paper surface 0, and the coordinates (x, y) on the image I ₀ and the image I _{1 of the} lattice point irradiated with the spot light are on the image I ₁ . The coordinates (x ′, y ′) are determined. Then, the triangular area having vertices grid points is hitting the spot light, the image I ₀ and I ₁ is divided, affine transformation equation for converting the triangular region on the image I _1, the triangular area in the image I ₀ And the image in the triangular area on the image I ₀ is converted into the image of the triangular area on the image I ₁ using the affine transformation formula. As a result, even when the paper surface 0 has small unevenness, it is possible to correct image distortion due to the unevenness and synthesize a more accurate converted image.
[0028]
(Second Embodiment)
FIG. 6 is a diagram showing a configuration of an image composition device according to the second embodiment of the present invention. FIG. 7 is a perspective view for explaining an imaging surface and a coordinate system corresponding to FIG. In the present embodiment, an infrared imaging unit (infrared camera) 104 that performs imaging with infrared rays is newly provided, and the spot light irradiation unit 103a emits infrared spot light. The imaging unit 101a is a digital camera that captures images with visible light.
[0029]
The infrared imaging unit 104 is installed so that the viewpoint F ₃ shown in FIG. 7 is a focal point, and the optical axis thereof coincides with a straight line connecting the viewpoint F ₃ and the point 0 ′ ″ on the paper surface 0. The imaging surface of the infrared imaging unit 104 is the imaging surface 3, the image obtained from the infrared imaging unit 104 is I ₃ , and the point where the grid point P ₀ is projected onto the imaging surface 3 is p ₃ (x ′ ″, y ′). ''). A three-dimensional orthogonal coordinate system X ′ ″ Y ′ ″ Z ′ ″ is set with the viewpoint F ₃ as the origin. In addition, a two-dimensional coordinate system x ′ ″ y ′ ″ is set for the image I ₃ . the coordinates of _{p 3 (x ''',}y'''), the coordinates of _{P 0 (X ''',}Y''', Z ''')(X''' Y '''Z'''Coordinate system).
[0030]
In the present embodiment, first, (X ′ ″, Y ′ ″, Z ′ ″) is obtained from (x ′ ″, y ′ ″) and (x ″, y ″, 1), and then , (X ′ ″, Y ′ ″, Z ′ ″) to obtain (X, Y, Z) and (X ′, Y ′, Z ′), and finally p ₀ (x, y), p ₂ Find (x ′, y ′). When the distance between the viewpoint F ₃ and the imaging surface 3 is f ₃ , the relationship between (x ′ ″, y ′ ″) and (X ′ ″, Y ′ ″, Z ′ ″) is (11) It is expressed by a formula.
[Expression 11]

[0031]
Further, the relationship between (X ′ ″, Y ″ ′, Z ′ ″) and (X ″, Y ″, Z ″) is expressed by the following equation (12). The matrix (g _ij ) is expressed as X ′ This is a transformation matrix from the “Y” “Z” ”coordinate system to the X” Y ”Z” coordinate system.
[Expression 12]

[0032]
X ′ ″, Y ′ ″, and Z ′ ″ are obtained from the expressions (2), (11), and (12). X ″ ′, Y ′ ″, Z ′ ″ are g _ij (i = 0, 1, 2, j = 0, 1, 2, 3), x ′ ″, y as shown in equation (13). ''', x ", y ", is a function of _{f 3.} Here, h _{2 to} h ₄ represent functions.
[Formula 13]

[0033]
A conversion matrix from the X ′ ″ Y ′ ″ Z ′ ″ coordinate system to the XYZ coordinate system is (k _ij (i = 0, 1, 2, j = 0, 1, 2, 3)), and X ′ If the transformation matrix from the “Y ′”, “Z ′” coordinate system to the X′Y′Z ′ coordinate system is (l _ij (i = 0, 1, 2, j = 0, 1, 2, 3)) , X, y, x ′, y ′ are expressed by the equation (14), where h _{5 to} h ₈ represent functions.
[Expression 14]

[0034]
As described above, the coordinates (x ′, y ′) of the lattice points on the image I ₁ are obtained. The subsequent image conversion processing is the same as in the first embodiment described above.
[0035]
【The invention's effect】
As described above in detail, the invention according to claim 1 irradiates the spot light on the converted image obtained by irradiating the subject surface with the lattice spot light and photographing the subject from a different viewpoint from the imaging means. The coordinates of the lattice points that have been obtained are obtained, and the image captured by the imaging means is divided into triangular regions whose vertexes are the lattice points that are struck by the spot light. The triangular affine transformation formula is obtained from the coordinates of the grid points, and the triangular area image on the image captured by the imaging means is converted into the corresponding triangular area image in the transformed image using the affine transformation formula. Since the conversion is performed, even if there are small irregularities on the surface of the subject, the image distortion due to the irregularities can be corrected and a more accurate converted image can be synthesized.
[0036]
According to the second or third aspect of the invention, the visible light image conversion process can be performed while irradiating the infrared spot light, so that the process can be speeded up.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of an image composition device according to a first embodiment of the present invention.
2 is a perspective view for explaining an imaging surface and a coordinate system in the apparatus of FIG. 1; FIG.
FIG. 3 is a diagram for explaining processing for dividing an image into triangular regions;
FIG. 4 is a diagram for explaining a method of calculating a pixel value corresponding to a pixel.
FIG. 5 is a flowchart illustrating a procedure of image composition processing.
FIG. 6 is a diagram showing a configuration of an image composition device according to a second embodiment of the present invention.
7 is a perspective view for explaining an imaging surface and a coordinate system in the apparatus of FIG. 6. FIG.
[Explanation of symbols]
101, 101a Imaging unit (imaging means)
102 Image processing unit (coordinate calculating means, dividing means, conversion formula calculating means, image converting means)
103, 103a Spot light irradiation unit (spot light irradiation means)
104 Infrared imaging unit (infrared light imaging means)

Claims

Imaging means for capturing an image by photographing a subject from a first viewpoint;
Spot light irradiating means for irradiating the subject with lattice spot light from a second viewpoint;
Coordinate calculation means for calculating coordinates of lattice points irradiated with the spot light on a converted image obtained by photographing the subject from a third viewpoint;
A dividing unit that divides the image captured by the imaging unit into triangular regions having vertices at adjacent lattice points;
Conversion equation calculation means for obtaining an affine transformation expression of the triangle from the coordinates of the vertexes of the triangle and the coordinates of the lattice points obtained by calculation of the coordinate calculation means;
An image converting means for converting the image of the triangular area in the image captured by the imaging means into an image of a corresponding triangular area in the converted image using the affine transformation formula; Synthesizer.

2. The image composition according to claim 1, wherein the imaging unit can switch between imaging with infrared light and imaging with visible light, and the spot light irradiation unit irradiates infrared light. apparatus.

The image synthesizing apparatus according to claim 1, further comprising an infrared imaging unit that captures an image of the subject from the fourth viewpoint using infrared rays, and the spot light irradiation unit emits infrared light.