JP2016095229A - 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム - Google Patents
視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム Download PDFInfo
- Publication number
- JP2016095229A JP2016095229A JP2014231494A JP2014231494A JP2016095229A JP 2016095229 A JP2016095229 A JP 2016095229A JP 2014231494 A JP2014231494 A JP 2014231494A JP 2014231494 A JP2014231494 A JP 2014231494A JP 2016095229 A JP2016095229 A JP 2016095229A
- Authority
- JP
- Japan
- Prior art keywords
- value
- cost value
- cost
- image
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Abstract
【課題】正確なコスト値を導き出すことができる視差値導出装置を提供する。【解決手段】所定の物体を第1の位置で撮像して得た基準画像及び前記物体を第2の位置で撮像して得た比較画像から、対応領域の候補毎に第1のコスト値と第2のコスト値を算出し、選択部331は、第1のコスト値と第2のコスト値のうち、基準画像及び比較画像に基づいて特定のコスト値Cを選択する。一の基準領域に対する前記特定のコスト値と、他の基準領域に対する前記特定のコスト値における各コスト値とを合成することにより、合成コスト値を算出する合成手段340と、合成コスト値に基づいて、視差値を導出する導出手段350を有する。【選択図】図13
Description
本発明は、物体を撮像して得られた複数の画像から、物体に対する視差を示す視差値を導出する発明に関する。
従来から、ステレオ画像法によって、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、三角測量の原理に基づき、ステレオカメラから物体までの距離を測定する測距方法が知られている。この測距方法により、例えば、自動車間の距離や、自動車と障害物間の距離が測定され、自動車の衝突防止に役立てられている。
また、視差値の求め方としては、ステレオマッチング処理が用いられている。このステレオマッチング処理は、ステレオカメラの2つのカメラのうち、一方のカメラによって得られた基準画像内の注目する基準画素に対して、他方のカメラによって得られた比較画像内の複数の対応画素の候補を順次シフトしながら、画像信号が最も類似する画素である対応画素の位置を求めることで、基準画像と比較画像の間の視差値を検出する。一般的には、2つのカメラによって得られた画像信号の輝度値を比較することで、シフト量毎に比較する輝度値のコスト値(Cost:ここでは「非類似度」)が最も低い画素の位置が求められる(特許文献1参照)。
上述のようなコスト値を求める方式として、比較する画像から対応画素を含む所定領域を切り出し、この領域に対する輝度差の総和(SAD:Sum of Absolute Difference)からコスト値を求めるSAD方式や、上記領域の画素を2値化した結果からコスト値を求めるCensus方式等がある。
しかしながら、例えば、SAD方式では、画像におけるテクスチャが強い部分では良好なコスト値が得られるが、画像におけるテクスチャが弱い部分では良好なコスト値が得られない。これに対して、Census方式では、画像におけるテクスチャが弱い部分であっても比較的良好なコスト値が得られるが、画像におけるテクスチャが強い部分では、SAD方式に比べて良好なコスト値が得られない。これにより、より正確なコスト値を導き出すことができないという課題が生じる。
上述の課題を解決するため、請求項1に係る発明は、所定の物体を第1の位置で撮像して得た基準画像及び前記物体を第2の位置で撮像して得た比較画像に基づいて、前記物体に対する視差を示す視差値を導出する視差値導出装置であって、前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第1のコスト値を算出する第1の算出手段と、前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に前記第1のコスト値とは異なる第2のコスト値を算出する第2の算出手段と、前記対応領域の候補毎の第1のコスト値と、前記対応領域の候補毎の第2のコスト値のうち、前記基準画像及び前記比較画像に基づいて特定のコスト値を選択する選択手段と、一の基準領域に対する前記特定のコスト値と、他の基準領域に対する前記特定のコスト値における各コスト値とを合成することにより、合成コスト値を算出する合成手段と、前記合成手段による合成によって得られた合成コスト値に基づいて、前記物体に対する視差値を導出する導出手段と、を有することを特徴とする視差値導出装置である。
以上説明したように本発明によれば、第1のコスト値と第2のコスト値のうち、基準画像及び前記比較画像に基づいて特定のコスト値を選択する。これにより、より正確なコスト値を導き出すことができるという効果を奏する。
以下、図面を用いて、本発明の一実施形態について説明する。
〔SGM法を用いた測距方法の概略〕
まず、図1乃至図6を用いて、SGM(Semi-Global Matching)法を用いた測距方法の概略について説明する。なお、SGM法に関しては、非特許文献(Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information)に開示されているため、以下では概略を説明する。
まず、図1乃至図6を用いて、SGM(Semi-Global Matching)法を用いた測距方法の概略について説明する。なお、SGM法に関しては、非特許文献(Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information)に開示されているため、以下では概略を説明する。
<測距の原理>
図1を用いて、ステレオ画像法により、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。なお、図1は、撮像装置から物体までの距離を導き出す原理の説明図である。また、以下では、説明を簡略化するため、複数の画素からなる所定領域ではなく、一画素単位で説明する。
図1を用いて、ステレオ画像法により、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。なお、図1は、撮像装置から物体までの距離を導き出す原理の説明図である。また、以下では、説明を簡略化するため、複数の画素からなる所定領域ではなく、一画素単位で説明する。
なお、一画素単位ではなく、複数の画素からなる所定領域単位で処理される場合、基準画素を含む所定領域は基準領域として示され、対応画素を含む所定領域は対応領域として示される。また、この基準領域には基準画素のみの場合も含まれ、対応領域には対応画素のみの場合も含まれる。
(視差値算出)
まず、図1で示される撮像装置10aおよび撮像装置10bによって撮像された各画像を、それぞれ基準画像Iaおよび比較画像Ibとする。なお、図1では、撮像装置10aおよび撮像装置10bが平行等位に設置されているものとする。図1において、3次元空間内の物体E上のS点は、撮像装置10aおよび撮像装置10bの同一水平線上の位置に写像される。すなわち、各画像中のS点は、基準画像Ia中の点Sa(x,y)および比較画像Ib中の点Sb(X,y)において撮像される。このとき、視差値Δは、撮像装置10a上の座標におけるSa(x,y)と撮像装置10b上の座標におけるSb(X,y)とを用いて、(式1)のように表される。
まず、図1で示される撮像装置10aおよび撮像装置10bによって撮像された各画像を、それぞれ基準画像Iaおよび比較画像Ibとする。なお、図1では、撮像装置10aおよび撮像装置10bが平行等位に設置されているものとする。図1において、3次元空間内の物体E上のS点は、撮像装置10aおよび撮像装置10bの同一水平線上の位置に写像される。すなわち、各画像中のS点は、基準画像Ia中の点Sa(x,y)および比較画像Ib中の点Sb(X,y)において撮像される。このとき、視差値Δは、撮像装置10a上の座標におけるSa(x,y)と撮像装置10b上の座標におけるSb(X,y)とを用いて、(式1)のように表される。
Δ=X−x (式1)
ここで、図1のような場合には、基準画像Ia中の点Sa(x,y)と撮像レンズ11aから撮像面上におろした垂線の交点との距離をΔaにし、比較画像Ib中の点Sb(X,y)と撮像レンズ11bから撮像面上におろした垂線の交点との距離をΔbにすると、視差値Δ=Δa+Δbとなる。
ここで、図1のような場合には、基準画像Ia中の点Sa(x,y)と撮像レンズ11aから撮像面上におろした垂線の交点との距離をΔaにし、比較画像Ib中の点Sb(X,y)と撮像レンズ11bから撮像面上におろした垂線の交点との距離をΔbにすると、視差値Δ=Δa+Δbとなる。
(距離算出)
また、視差値Δを用いることで、撮像装置10a,10bと物体Eとの間の距離Zを導き出すことができる。具体的には、距離Zは、撮像レンズ11aの焦点位置と撮像レンズ11bの焦点位置とを含む面から物体E上の特定点Sまでの距離である。図1に示されるように、撮像レンズ11a及び撮像レンズ11bの焦点距離f、撮像レンズ11aと撮像レンズ11bとの間の長さである基線長B、及び視差値Δを用いて、(式2)により、距離Zを算出することができる。
また、視差値Δを用いることで、撮像装置10a,10bと物体Eとの間の距離Zを導き出すことができる。具体的には、距離Zは、撮像レンズ11aの焦点位置と撮像レンズ11bの焦点位置とを含む面から物体E上の特定点Sまでの距離である。図1に示されるように、撮像レンズ11a及び撮像レンズ11bの焦点距離f、撮像レンズ11aと撮像レンズ11bとの間の長さである基線長B、及び視差値Δを用いて、(式2)により、距離Zを算出することができる。
Z=(B×f)/Δ (式2)
この(式2)により、視差値Δが大きいほど距離Zは小さく、視差値Δが小さいほど距離Zは大きくなる。
この(式2)により、視差値Δが大きいほど距離Zは小さく、視差値Δが小さいほど距離Zは大きくなる。
<SGM法>
続いて、図2乃至図6を用いて、SGM法を用いた測距方法について説明する。なお、図2(a)は基準画像、図2(b)は(a)に対する高密度視差画像、図2(c)は(a)に対するエッジ視差画像を示す概念図である。ここで、基準画像は、物体が輝度によって示された画像である。高密度視差画像は、SGM法によって、基準画像から導き出された画像であり、基準画像の各座標における視差値を示した画像である。エッジ視差画像は、従来から用いられているブロックマッチング法によって導き出された画像であり、基準画像のエッジ部のような比較的テクスチャの強い部分のみの視差値を示した画像である。
続いて、図2乃至図6を用いて、SGM法を用いた測距方法について説明する。なお、図2(a)は基準画像、図2(b)は(a)に対する高密度視差画像、図2(c)は(a)に対するエッジ視差画像を示す概念図である。ここで、基準画像は、物体が輝度によって示された画像である。高密度視差画像は、SGM法によって、基準画像から導き出された画像であり、基準画像の各座標における視差値を示した画像である。エッジ視差画像は、従来から用いられているブロックマッチング法によって導き出された画像であり、基準画像のエッジ部のような比較的テクスチャの強い部分のみの視差値を示した画像である。
SGM法は、テクスチャが弱い物体に対しても適切に上記視差値を導き出す方法であり、図2(a)に示されている基準画像に基づいて、図2(b)に示されている高密度視差画像を導き出す方法である。なお、ブロックマッチング法を用いた場合には、図2(a)に示されている基準画像に基づいて、図2(c)に示されているエッジ視差画像が導き出される。図2(b)及び図2(c)における破線の楕円内を比べると分かるように、高密度視差画像は、エッジ視差画像に比べてテクスチャが弱い道路等の詳細な情報を表すことができるため、より詳細な測距を行うことができる。
このSGM法は、非類似度であるコスト値を算出して直ちに視差値を導出せず、コスト値を算出後、更に、合成非類似度である合成コスト値 (Synthesis Cost)を算出することで視差値を導出し、最終的にほぼ全ての画素における視差値を示す視差画像(ここでは、高密度視差画像)を導き出す方法である。
なお、ブロックマッチング法の場合は、コスト値を算出する点はSGM法と同じであるが、SGM法のように、合成コスト値を算出せずに、エッジ部のような比較的テクスチャの強い部分の視差値のみを導出する。
(コスト値の算出)
まず、図3及び図4を用いて、コスト値C(p,d)の算出方法について説明する。図3(a)は基準画像における基準画素を示す概念図、図3(b)は(a)の基準画素に対して比較画像における対応画素の候補を順次シフトしながら(ずらしながら)シフト量(ずれ量)を算出する際の概念図である。図4は、シフト量毎のコスト値を示すグラフである。ここで、対応画素は、基準画像内の基準画素に最も類似する比較画像内の画素である。なお、以降、C(p,d)は、C(x,y,d)を表すものとして説明する。
まず、図3及び図4を用いて、コスト値C(p,d)の算出方法について説明する。図3(a)は基準画像における基準画素を示す概念図、図3(b)は(a)の基準画素に対して比較画像における対応画素の候補を順次シフトしながら(ずらしながら)シフト量(ずれ量)を算出する際の概念図である。図4は、シフト量毎のコスト値を示すグラフである。ここで、対応画素は、基準画像内の基準画素に最も類似する比較画像内の画素である。なお、以降、C(p,d)は、C(x,y,d)を表すものとして説明する。
図3(a)に示されているように、基準画像内の所定の基準画素p(x,y)と、この基準画素p(x,y)に対する比較画像内におけるエピポーラ線(Epipolar Line)上の複数の対応画素の候補q(x+d,y)との各輝度値に基づいて、基準画素p(x,y)に対する各対応画素の候補q(x+d,y)のコスト値C(p,d)が算出される。dは、基準画素pと対応画素の候補qのシフト量(ずれ量)であり、本実施形態では、画素単位のシフト量が表されている。即ち、図3では、対応画素の候補q(x+d,y)を予め指定された範囲(例えば、0<d<25)において順次一画素分シフトしながら、対応画素の候補q(x+d,y)と基準画素p(x,y)との輝度値の非類似度であるコスト値C(p,d)が算出される。コスト値Cの算出方法としては、コスト値Cが非類似度を示す場合、SAD(Sum of Absolute Difference)等の公知の方法が適用される。
このようにして算出されたコスト値C(p,d)は、図4に示されているように、シフト量d毎のコスト値Cの集まりであるコスト曲線のグラフによって表すことができる。図4では、コスト値Cは、シフト量d=5,12,19の場合が0(ゼロ)となるため、最小値を求めることができない。このように、テクスチャが弱い物体の場合には、コスト値Cの最小値を求めることは困難になる。
(合成コスト値の算出)
次に、図5及び図6を用いて、合成コスト値Ls(p,d)の算出方法について説明する。図5は、合成コスト値を導き出すための概念図である。図6は、視差値毎の合成コスト値を示す合成コスト曲線のグラフである。本実施形態における合成コスト値の算出方法は、コスト値C(p,d)の算出だけでなく、所定の基準画素p(x,y)の周辺の画素を基準画素とした場合のコスト値を、基準画素p(x,y)におけるコスト値C(p,d)に集約させて、合成コスト値Ls(p,d)を算出する。
次に、図5及び図6を用いて、合成コスト値Ls(p,d)の算出方法について説明する。図5は、合成コスト値を導き出すための概念図である。図6は、視差値毎の合成コスト値を示す合成コスト曲線のグラフである。本実施形態における合成コスト値の算出方法は、コスト値C(p,d)の算出だけでなく、所定の基準画素p(x,y)の周辺の画素を基準画素とした場合のコスト値を、基準画素p(x,y)におけるコスト値C(p,d)に集約させて、合成コスト値Ls(p,d)を算出する。
次に、合成コスト値の算出方法について、より詳細に説明する。合成コスト値Ls(p,d)を算出するためには、まず、経路コスト値Lr(p,d)を算出する必要がある。(式3)は、経路コスト値Lr(p,d)を算出するための式であり、(式4)は、合成コスト値Lsを算出するための式である。
Lr(p,d)=C(p,d)+min{(Lr(p−r,d),Lr(p−r,d−1)+P1,Lr(p−r,d+1)+P1,Lrmin(p−r)+p2} (式3)
ここで、(式3)において、rは、集約方向の方向ベクトルを示し、x方向およびy方向の2成分を有する。min{}は、最小値を求める関数である。Lrmin(p−r)は、pをr方向に1画素シフトした座標において、シフト量dを変化させた際のLr(p−r,d)の最小値を示す。なお、Lrは、(式3)に示されているように再帰的に適用される。また、P1及びP2は、予め実験により定められた固定パラメータであり、経路上で隣接する基準画素の視差値Δが連続になりやすいようなパラメータになっている。例えば、P1=48、P2=96である。
ここで、(式3)において、rは、集約方向の方向ベクトルを示し、x方向およびy方向の2成分を有する。min{}は、最小値を求める関数である。Lrmin(p−r)は、pをr方向に1画素シフトした座標において、シフト量dを変化させた際のLr(p−r,d)の最小値を示す。なお、Lrは、(式3)に示されているように再帰的に適用される。また、P1及びP2は、予め実験により定められた固定パラメータであり、経路上で隣接する基準画素の視差値Δが連続になりやすいようなパラメータになっている。例えば、P1=48、P2=96である。
また、(式3)に示されているように、Lr(p,d)は、基準画素p(x,y)におけるコスト値Cに、図5に示されているr方向の各画素における各画素の経路コスト値Lrの最小値を加算することで求められる。このように、r方向の各画素におけるLrを求めるため、最初は、基準画像p(x,y)のr方向の一番端の画素からLrが求められ、r方向に沿ってLrが求められる。
そして、図5に示されているように、8方向のLr0,Lr45,Lr90,Lr135,Lr180,Lr225,Lr270,Lr315求められ、最終的に(式4)に基づいて、合成コスト値Lsが求められる。
このようにして算出された合成コスト値Ls(p,d)は、図6に示されているように、シフト量d毎に合成コスト値Ls(p,d)が示される合成コスト曲線のグラフによって表すことができる。図6では、合成コスト値Lsは、シフト量d=3の場合が最小値となるため、視差値Δ=3として算出される。
なお、上記説明ではrの数を8として説明しているが、これに限られることはない。例えば、8方向を更に2つに分割して16方向、3つに分割して24方向等にしてもよい。
また、コスト値Cは「非類似度」として示されているが、非類似度の逆数としての「類似度」として表されてもよい。この場合、コスト値Cの算出方法としては、NCC(Normalized Cross Correlation)等の公知の方法が適用される。また、この場合、合成コスト値Lsが最小ではなく「最大」となる視差値Δが導出される。なお、非類似度と類似度の両者を含めて、「一致度」として表してもよい。
〔本実施形態の具体的な説明〕
以下、図面を用いて、本実施形態の具体的な説明を行う。ここでは、自動車に搭載される物体認識システム1について説明する。
以下、図面を用いて、本実施形態の具体的な説明を行う。ここでは、自動車に搭載される物体認識システム1について説明する。
なお、物体認識システム1は、車両の一例としての自動車だけでなく、車両の他の例として、バイク、自転車、車椅子、農業用の耕運機等に搭載されることができてもよい。また、移動体の一例としての車両だけでなく、移動体の他の例として、ロボット等に搭載されることができてもよい。更に、ロボットは、移動体だけでなく、FA(Factory Automation)において固定設置される工業用ロボット等の装置であってもよい。また、固定設置される装置としては、ロボットだけでなく、防犯用の監視カメラであってもよい。
<実施形態の構成>
まず、図7乃至図9用いて、本実施形態の全体構成について説明する。
まず、図7乃至図9用いて、本実施形態の全体構成について説明する。
(外観構成)
図7及び図8を用いて、本実施形態の物体認識システム1の外観構成を説明する。なお、図7(a)は本発明の一実施形態に係る物体認識システムを搭載した自動車の側面を表す概略図、図7(b)は自動車の正面を示す概略図である。図8は、物体認識システムの概観図である。
図7及び図8を用いて、本実施形態の物体認識システム1の外観構成を説明する。なお、図7(a)は本発明の一実施形態に係る物体認識システムを搭載した自動車の側面を表す概略図、図7(b)は自動車の正面を示す概略図である。図8は、物体認識システムの概観図である。
図7(a),(b)に示されているように、本実施形態の物体認識システム1は、撮像装置10a及び撮像装置10bを備えており、撮像装置10a及び撮像装置10bは自動車の進行方向前方の光景を撮像することができるように設置される。
また、図8に示されているように、物体認識システム1は、本体部2と、本体部2に対して設けられた一対の円筒状の撮像装置10a及び撮像装置10bとによって構成されている。
(全体のハードウェア構成)
次に、図9を用いて、物体認識システム1の全体のハードウェア構成について説明する。なお、図9は、物体認識システムの全体のハードウェア構成図である。
次に、図9を用いて、物体認識システム1の全体のハードウェア構成について説明する。なお、図9は、物体認識システムの全体のハードウェア構成図である。
図9に示されているように、物体認識システム1は、本体部2において、視差値導出装置3及び物体認識装置5を備えている。このうち、視差値導出装置3は、物体Eを撮像して得られた複数の画像から、物体Eに対する視差を示す視差値Δを導出し、各画素における視差値Δを示す高密度視差画像を出力する。物体認識装置5は、視差値導出装置3から出力された高密度視差画像に基づいて、撮像装置10a,10bから物体Eまでの距離を測定する等の処理を行なう。
ここで、まずは、視差値導出装置3のハードウェア構成について説明する。図9に示されているように、視差値導出装置3は、撮像装置10a、撮像装置10b、信号変換装置20a、信号変換装置20b、及び画像処理装置30を備えている。
撮像装置10aは、前方の光景を撮像して画像を表すアナログ信号を生成するものであり、撮像レンズ11a、絞り12a、画像センサ13aを備えている。撮像レンズ11aは、撮像レンズ11aを通過する光を屈折させて物体の像を結像させるための光学素子である。絞り12aは、撮像レンズ11aを通過した光の一部を遮ることによって、後述する画像センサ13aに入力される光の量を調整する。画像センサ13aは、撮像レンズ11a及び絞り12aから入力された光を電気的なアナログの画像信号に変換する半導体の素子であり、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)等によって実現される。なお、撮像装置10bは撮像装置10aと同じ構成を備えているため、撮像装置10bについての説明は省略する。また、撮像レンズ11aと撮像レンズ11bは、それぞれのレンズ面が互いに同一平面内になるように設置されている。
また、信号変換装置20aは、撮像された画像を表すアナログ信号をデジタル形式の画像データに変換するものであり、CDS(Correlated Double Sampling)21a、AGC(Auto Gain Control)22a、ADC(Analog Digital Converter)23a、及びフレームメモリ24aを備えている。CDS21aは、画像センサ13aによって変換されたアナログの画像信号から相関二重サンプリングによってノイズを除去する。AGC22aは、CDS21aによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ADC23aは、AGC22aによって利得制御されたアナログの画像信号をデジタル形式の画像データに変換する。フレームメモリ24aは、ADC23aによって変換された画像データを記憶する。
同様に、信号変換装置20bは、撮像装置10bによって変換されたアナログの画像信号から画像データを取得するものであり、CDS21b、AGC22b、ADC23b、及びフレームメモリ24bを有している。なお、CDS21b、AGC22b、ADC23b、及びフレームメモリ24bはそれぞれCDS21a、AGC22a、ADC23a、及びフレームメモリ24aと同じ構成であるため、それらについての説明は省略する。
更に、画像処理装置30は、信号変換装置20a及び信号変換装置20bによって変換された画像データを処理するための装置である。この画像処理装置30は、FPGA(Field Programmable Gate Array)31、CPU(Central Processing Unit)32、ROM(Read Only Memory)33、RAM(Random Access Memory)34、I/F(Interface)35及び上記各構成要素31〜35を図9に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン39を備えている。
このうち、FPGA31は、集積回路であり、ここでは、CPU32の命令に従って、画像データが表す画像における視差値Δを算出する処理を行う。CPU32は、視差値導出装置3の各機能を制御する。ROM33は、CPU32が視差値導出装置3の各機能を制御するために実行される画像処理用プログラムを記憶している。RAM34はCPU32のワークエリアとして使用される。
I/F35は、物体認識装置5における後述I/F55とアドレスバスやデータバス等のバスライン4を介して通信するためのインターフェイスである。
続いて、物体認識装置5のハードウェア構成について説明する。図9に示されているように、物体認識装置5は、FPGA51、CPU52、ROM53、RAM54、I/F55、CAD I/F58及び上記各構成要素51〜55,58を図9に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン59を備えている。
このうち、FPGA51、CPU52、ROM53、RAM54、I/F55、及びバスライン59は、それぞれ画像処理装置30におけるFPGA31、CPU32、ROM33、RAM34、I/F35、及びバスライン39と同様の構成であるため、説明を省略する。なお、I/F55は、画像処理装置30におけるI/F35とバスライン4を介して通信するためのインターフェイスである。また、ROM53は、CPU52が物体認識装置5の各機能を制御するために実行される物体認識用プログラムを記憶している。
CAN I/F58は、外部コントローラ等と通信するためのインターフェイスであり、例えば、自動車のCAN(Controller Area Network)等に接続されることができる。
このような構成により、画像処理装置30のI/F35からバスライン4を介して物体認識装置5に高密度視差画像が送信されると、物体認識装置5におけるCPU52の命令によって、FPGA51が、撮像装置10a,10bと物体Eとの間の距離Zを算出する。なお、物体認識装置5におけるCPU52の命令によってFPGA51が距離Zを算出せずに、画像処理装置30のCPU32の命令によってFPGA31が距離Zを算出してもよい。
また、上記各プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。この記録媒体は、CD−ROM(Compact Disc Read Only Memory)やSDメモリカード(Secure Digital memory card)等である。
<コスト算出方式の説明>
ここで、図10及び図11を用いて、コスト算出方式の一例として、SAD方式とCensus方式について簡単に説明する。図10は、Census方式の説明図である。図11(a)は逆光時のSAD方式による高密度視差画像を示す概念図、図11(b)は逆光時のCensus方式による高密度視差画像を示す概念図である。
ここで、図10及び図11を用いて、コスト算出方式の一例として、SAD方式とCensus方式について簡単に説明する。図10は、Census方式の説明図である。図11(a)は逆光時のSAD方式による高密度視差画像を示す概念図、図11(b)は逆光時のCensus方式による高密度視差画像を示す概念図である。
また、(式5)は、SAD方式によるコスト値(第1のコスト値の一例)を算出するための式であり、(式6)は、Census方式によるコスト値(第2のコスト値の一例)を算出するための式である。SAD方式は一般に多く使われている方式であり、比較画像から対応画素を含む所定領域を切り出し、この所定領域に対する輝度差の総和(SAD)からコスト値が算出される。一方、Census方式は、上記所定領域の対応画素(中心画素)を除いた周辺画素を2値化等した結果から対応画素におけるコスト値が算出される。例えば、図10(a)に示されているように、2値モードの場合、所定領域の8つの周辺画素のうち、所定の閾値(ここでは、輝度値80)未満の画素は「1」、所定の閾値以上の画素は「0」とすることで、「1」と「0」のうち、多い方を対応画素(中心画素)のコスト値としている。なお、図10(b)に示されているように、3値モードの場合、所定領域の8つの周辺画素のうち、第1の閾値(ここでは、輝度値83)を超える画素は「10」、第2の閾値(ここでは、輝度値80)未満の画素は「01」、これら以外の画素は「00」とすることで、「10」、「01」及び「00」のうち、最も多い値を対応画素のコスト値としている。
ここで、i,jは所定領域内の画素位置、Iは基準画像の画素の輝度値、Tは比較画像の対応画素の輝度値を示す。
上記のように、SAD方式とCensus方式は、それぞれ得意とするシーンが異なる。例えば、シーンが逆光の場合、SAD方式を利用すると、図11(a)に示されているように、多くのノイズが発生するが、Census方式を利用すると、図11(b)に示されているように、ノイズの発生を抑制することができる。一方、シーンが通常の場合、SAD方式の方がCensus方式よりもノイズを抑えることができる。
また、図13(a)は通常時にSAD方式を利用した場合のコスト曲線及びCensus方式を利用した場合のコスト曲線を示したグラフ、図13(b)は逆光時にSAD方式を利用した場合のコスト曲線及びCensus方式を利用した場合のコスト曲線を示したグラフである。図13(a)に示されているように、例えば、通常時では、Census方式を利用した場合、d=8,15,21のように、非類似度が低い(類似度が高い)シフト量が複数個所存在するため、対応画素が不明確になる。これに対して、SAD方式を利用した場合、d=8のように、非類似度が低いシフト量が1つだけ存在するため、対応画素が比較的明確になる。一方、図13(b)に示されているように、例えば、逆光時では、SAD方式を利用した場合、d=8,20のように、非類似度が低い(類似度が高い)シフト量が複数個所存在するため、対応画素が不明確になる。これに対して、Census方式を利用した場合、d=8のように、非類似度が低いシフト量が1つだけ存在するため、対応画素が比較的明確になる。
〔各本実施形態の具体的な説明〕
以下、図面を用いて、各実施形態の具体的な説明を行う。
以下、図面を用いて、各実施形態の具体的な説明を行う。
<<第1の実施形態>>
まずは、本発明の第1の実施形態について説明する。
まずは、本発明の第1の実施形態について説明する。
<主要部のハードウェア構成>
図13及び図14を用いて、第1の実施形態に係る画像処理装置30aの主要部のハードウェア構成について説明する。なお、図13は、第1の実施形態に係る画像処理装置の主要部のハードウェア構成図である。
図13及び図14を用いて、第1の実施形態に係る画像処理装置30aの主要部のハードウェア構成について説明する。なお、図13は、第1の実施形態に係る画像処理装置の主要部のハードウェア構成図である。
画像処理装置30aのFPGA31aは、図13に示されているように、コスト算出部310a、コスト算出部310b、選択部331、コスト合成部340、及び視差値導出部350を備えている。これらは、FPGA31aの回路の一部であるが、上記画像処理用プログラムが実行されることにより、同じ処理を行うことができるようにしてもよい。なお、コスト算出部310aは、第1の算出手段の一例であり、コスト算出部310bは、第2の算出手段の一例である。
これらのうち、コスト算出部310aは、図3に示されているように、基準画像(図3(a)参照)内の基準画素p(x,y)の輝度値と、比較画像(図3(b)参照)内において基準画素p(x,y)に基づくエピポーラ線EL上でシフトさせることでシフト量d毎に特定される対応画素の候補q(x+d,y)の各輝度値とに基づくと共にSAD方式を利用することで、基準画素p(x,y)に対する対応画素の候補q(x+d,y)の各コスト値C1を算出する。これに対して、コスト算出部310bは、図3に示されているように、基準画像(図3(a)参照)内の基準画素p(x,y)の輝度値と、比較画像(図3(b)参照)内において基準画素p(x,y)に基づくエピポーラ線EL上でシフトさせることでシフト量d毎に特定される対応画素の候補q(x+d,y)の各輝度値とに基づくと共にCensus方式を利用することで、基準画素p(x,y)に対する対応画素の候補q(x+d,y)の各コスト値C2を算出する。
選択部331は、基準画像及び比較画像に基づいて、基準画像及び比較画像の特徴量Ciを算出する。この特徴量Ciは、選択部331が目的に応じた画像特徴量算出手段を適用することによって算出される。また、選択部331は、選択部331は、下記(式7)に特徴量Ciを適用することで、コスト算出部310aによって出力されたコスト値C1の集まりであるコスト曲線CL1(第1の曲線の一例)と、コスト算出部310bによって出力されたコスト値C2の集まりであるコスト曲線CL2(第2の曲線の一例)のうち、特定のコスト曲線CL(特定の曲線の一例)を選択する。
fx(Σ(輝度値(x(i))−輝度値(x(i+1))),Σ(Number(輝度値(x)>輝度閾値))) (式7)
(式7)においては、特徴量を示す指標として、隣接輝度の差分の総和と、輝度閾値を超える輝度値の総和に基づく関数を採用している。なお、これに限らず、他の式を用いても良い。例えば、外部の照度センサの情報等を利用することもできる。輝度閾値は、適宜に実験的に決定される。
(式7)においては、特徴量を示す指標として、隣接輝度の差分の総和と、輝度閾値を超える輝度値の総和に基づく関数を採用している。なお、これに限らず、他の式を用いても良い。例えば、外部の照度センサの情報等を利用することもできる。輝度閾値は、適宜に実験的に決定される。
続いて、コスト合成部340は、選択部331によって選択された特定のコスト曲線CLにおける各コスト値Cを利用して、一の基準画素p(x,y)に対する対応画素の候補q(x+d,y)の各コスト値Cと、他の基準画素p’(x’,y’)に対する対応画素の候補q’(x’+d,y’)の各コスト値Cとをシフト量d毎に合成し、合成コスト値Lsを出力する。なお、この合成の処理は、(式3)に基づいてコスト値Cから経路コスト値Lrを算出した後、更に、(式4)に基づいて各方向における経路コスト値Lrを加算して、最終的に合成コスト値Lsを算出する処理である。
更に、視差値導出部350は、一の基準画素p(x,y)の基準画像おける位置(x,y)と、コスト合成部340による合成後の合成コスト値Lsが最小となる対応画素q(x+Δ,y)の比較画像における位置(x+Δ,y)とに基づいて視差値Δを導出し、各画素における視差値を示す視差画像を出力する。
<実施形態の処理または動作>
次に、図14を用いて、本実施形態の処理または動作を説明する。図14は、第1の実施形態の視差値導出方法の処理を示したフローチャートである。なお、視差値導出方法は、視差値生産方法であるということも出来る。
次に、図14を用いて、本実施形態の処理または動作を説明する。図14は、第1の実施形態の視差値導出方法の処理を示したフローチャートである。なお、視差値導出方法は、視差値生産方法であるということも出来る。
まず、図9に示されている撮像装置10aは、物体Eを撮像してアナログの画像データを生成する(ステップS11−1)。同じく、撮像装置10aは、物体を撮像してアナログの画像データを生成する(ステップS11−2)。
次に、信号変換装置20aは、アナログの画像データを、デジタルの画像データに変換する(ステップS12−1)。同じく、信号変換装置20bは、アナログの画像データを、デジタルの画像データに変換する(ステップS12−2)。
次に、信号変換装置20aは、画像処理装置30のFPGA31に、変換後のデジタルの画像データを基準画像のデータとして出力する(ステップS13−1)。この基準画像の概念図は、図2(a)に示されている。同じく、信号変換装置20bは、画像処理装置30のFPGA31に、変換後のデジタルの画像データを比較画像のデータとして出力する(ステップS13−2)。この比較画像は、撮像装置10bによって撮像された画像であるが、図2(a)に示されている基準画像と極端な違いはないため、比較画像の概念図は図示しないで省略する。
次に、図13に示されているコスト算出部310aは、SAD方式を利用して、基準画像のデータ及び比較画像のデータに基づき、シフト量d毎のコスト値C1を算出する(ステップS14−1)。同じく、コスト算出部310bは、Census方式を利用して、基準画像のデータ及び比較画像のデータに基づき、シフト量d毎のコスト値C2を算出する(ステップS14−2)。一方、選択部331は、基準画像及び比較画像に基づいて、基準画像及び比較画像の特徴量Ciを算出する(ステップS14−3)。
次に、選択部331は、(式7)に特徴量Ciを適用することで、コスト算出部310aによって出力されたコスト値C1の集まりであるコスト曲線CL1(第1の曲線の一例)と、コスト算出部310bによって出力されたコスト値C2の集まりであるコスト曲線CL2(第2の曲線の一例)のうち、特定のコスト曲線CL(特定の曲線の一例)を選択する(ステップS15)。
次に、コスト合成部340は、選択部331によって選択された特定のコスト曲線CLにおける各コスト値Cに基づいて、例えば、図6のグラフで示されているように、シフト量d毎に合成コスト値Lsを出力する(ステップS16)。図6の場合、合成コスト値Lsが最小となるシフト量はd=3であるため、視差値導出部350は、視差値Δ=3を導出する(ステップS17)。
その後、CPU32は、視差値Δによって示される高密度視差画像を、図9に示されているI/F35からバスライン4を介して物体認識装置5のI/F55に送信する。これにより、物体認識装置5におけるCPU52の命令によって、FPGA51が、撮像装置10a,10bと物体Eとの間の距離Zを算出する。
<実施形態の主な効果>
以上説明したように本実施形態によれば、基準画像及び比較画像に基づいて、得意なシーンが異なるコスト算出部310a及びコスト算出部310bの出力のいずれか一方を選択するため、より正確なコスト値を導き出すことができるという効果を奏する。
以上説明したように本実施形態によれば、基準画像及び比較画像に基づいて、得意なシーンが異なるコスト算出部310a及びコスト算出部310bの出力のいずれか一方を選択するため、より正確なコスト値を導き出すことができるという効果を奏する。
<<第2の実施形態>>
続いて、本発明の第2の実施形態について説明する。
続いて、本発明の第2の実施形態について説明する。
<主要部のハードウェア構成>
図15及び図16を用いて、第2の実施形態に係る画像処理装置30bの主要部のハードウェア構成について説明する。なお、図15は、第2の実施形態に係る画像処理装置の主要部のハードウェア構成図である。
図15及び図16を用いて、第2の実施形態に係る画像処理装置30bの主要部のハードウェア構成について説明する。なお、図15は、第2の実施形態に係る画像処理装置の主要部のハードウェア構成図である。
画像処理装置30bのFPGA31bは、図15に示されているように、コスト算出部310a、コスト算出部310b、選択部332、コスト合成部340、及び視差値導出部350を備えている。これらは、FPGA31bの回路の一部であるが、上記画像処理用プログラムが実行されることにより、同じ処理を行うことができるようにしてもよい。なお、本実施形態は、上記第1の実施形態に対して、選択部332が異なるが、その他の構成は同じであるため説明を省略し、以下では選択部332について説明する。
選択部332は、基準画像の1画像毎に、(式8)を適用することで、コスト算出部310aから出力されたコスト値C1の信頼度CC1、及びコスト算出部310bから出力されたコスト値C2の信頼度CC2を算出する。
ここで、min1は、図18に示されているように、任意のコスト曲線CL0について説明すると、最小の極値min1のコスト値を示す。sA、sBは、最小の極値(最小値)min1を基点としたコスト曲線CL0の1次近似曲線fd1,fd2の傾き値を示す。shpmim1aは、規定間(例えば、5つ分のスライド量間)において、最小の極値(最小値)min1を頂点としたコスト曲線CL0の2次近似曲線sdの広がり度を示す。dm1m2は、最小の極値のコスト値と2番目に小さい極値のコスト値との差分を示す。なお、1次近似曲線fd1,fd2の代わりに、2次近似曲線を用いてもよいし、2次近似曲線sdの代わりに、1次近似曲線を用いてもよい。即ち、(w2(sA+sB))、(w1shpmin1a)は、コスト値Cの最小値を頂点とした近似曲線の広がりを示しており、この近似曲線には、1次曲線及び2次曲線の両方が含まれる。
また、w1〜w4は、それぞれ調整重み値である。w1〜w4のうち、少なくとも1つを0にすることができる。
例えば、w2=w3=w4=0の場合、w1min1だけが残り、CCは、両コスト曲線CL1,CL2のうち、最小の極値(最小値)が小さい方が選択される基準となる。
w1〜w4のうち、w1=w3=w4=0の場合、w2/(|sA|+|sB|))だけが残り、CCは、両コスト曲線CL1,CL2のうち、コスト値Cの最小値を頂点とした近似曲線の広がりが狭い方が選択される基準となる。
w1〜w4のうち、w1=w2=w4=0の場合、w3/(shpmin1a)だけが残り、CCは、両コスト曲線CL1,CL2のうち、コスト値Cの最小値を頂点とした近似曲線の広がりが狭い方が選択される基準となる。
w1〜w4のうち、w1=w2=w3=0の場合、w4/(dm1m2))だけ残り、CCは、両コスト曲線CL1,CL2のうち、最小の極値(最小値)と2番目に小さい極値との差分が大きい方が選択される基準となる。
また、選択部332は、(式9)を適用することで、コスト算出部310aによって出力されたコスト値C1の集まりであるコスト曲線CL1(第1の曲線の一例)と、コスト算出部310bによって出力されたコスト値C2の集まりであるコスト曲線CL2(第2の曲線の一例)のうち、特定のコスト曲線CL(特定の曲線の一例)を選択する。即ち、選択部332は、信頼度の合計値が大きい方を選択する。
MAX(Σ信頼度CC1,Σ信頼度CC2) (式9)
<実施形態の処理または動作>
次に、図16を用いて、本実施形態の処理または動作を説明する。図16は、第2の実施形態の視差値導出方法の処理を示したフローチャートである。なお、図16において、ステップS21−1〜S28のうち、ステップS21−1〜S24−2は、図14におけるステップS11−1〜S14−2とそれぞれ同じである。また、図16において、ステップS27,S28は、図14におけるステップS16,S17とそれぞれ同じである。よって、本実施形態では、ステップS25−1,S25−2,S26について説明する。
<実施形態の処理または動作>
次に、図16を用いて、本実施形態の処理または動作を説明する。図16は、第2の実施形態の視差値導出方法の処理を示したフローチャートである。なお、図16において、ステップS21−1〜S28のうち、ステップS21−1〜S24−2は、図14におけるステップS11−1〜S14−2とそれぞれ同じである。また、図16において、ステップS27,S28は、図14におけるステップS16,S17とそれぞれ同じである。よって、本実施形態では、ステップS25−1,S25−2,S26について説明する。
ステップ23−1,2の処理後、選択部332は、(式8)を利用することで、コスト算出部310aから出力されたコスト値C1の信頼度CC1を算出すると共に、コスト算出部310bから出力されたコスト値C2の信頼度CC2を算出する(ステップS25−1,2)。
そして、選択部332は、(式9)を適用することで、コスト算出部310aによって出力されたコスト値C1の集まりであるコスト曲線CL1(第1の曲線の一例)と、コスト算出部310bによって出力されたコスト値C2の集まりであるコスト曲線CL2(第2の曲線の一例)のうち、特定のコスト曲線CL(特定の曲線の一例)を選択する(ステップS26)。その後、ステップS27,S28の処理が行なわれる。
<実施形態の主な効果>
以上説明したように本実施形態によれば、コスト値を求める方式が異なるコスト算出部310a,310bの出力に基づいて、得意なシーンが異なるコスト算出部310a及びコスト算出部310bの出力のいずれか一方を選択するため、より正確なコスト値を導き出すことができるという効果を奏する。
以上説明したように本実施形態によれば、コスト値を求める方式が異なるコスト算出部310a,310bの出力に基づいて、得意なシーンが異なるコスト算出部310a及びコスト算出部310bの出力のいずれか一方を選択するため、より正確なコスト値を導き出すことができるという効果を奏する。
<<第3の実施形態>>
続いて、本発明の第3の実施形態について説明する。
続いて、本発明の第3の実施形態について説明する。
<主要部のハードウェア構成>
図17及び図19を用いて、第3の実施形態に係る画像処理装置30cの主要部のハードウェア構成について説明する。なお、図17は、第3の実施形態に係る画像処理装置の主要部のハードウェア構成図である。
図17及び図19を用いて、第3の実施形態に係る画像処理装置30cの主要部のハードウェア構成について説明する。なお、図17は、第3の実施形態に係る画像処理装置の主要部のハードウェア構成図である。
画像処理装置30cのFPGA31cは、図17に示されているように、コスト算出部310a、コスト算出部310b、選択部333、コスト合成部340、及び視差値導出部350を備えている。これらは、FPGA31cの回路の一部であるが、上記画像処理用プログラムが実行されることにより、同じ処理を行うことができるようにしてもよい。なお、本実施形態は、第1の実施形態の処理と第2の実施形態の処理を融合した処理を示している。また、本実施形態は、上記第1の実施形態に対して、選択部333が異なるが、その他の構成は同じであるため説明を省略し、以下では選択部333について説明する。
選択部333は、第1の実施形態のように、基準画像及び比較画像に基づいて、基準画像及び比較画像の特徴量Ciを算出する。また、選択部333は、第2の実施形態のように、基準画像の1画像毎に、(式8)を適用することで、コスト算出部310aから出力されたコスト値C1の信頼度CC1、及びコスト算出部310bから出力されたコスト値C2の信頼度CC2を算出する。そして、選択部333は、下記(式10)に基づいて、コスト算出部310aによって出力されたコスト値C1の集まりであるコスト曲線CL1(第1の曲線の一例)と、コスト算出部310bによって出力されたコスト値C2の集まりであるコスト曲線CL2(第2の曲線の一例)のうち、特定のコスト曲線CL(特定の曲線の一例)を選択する。
MAX((ω1特徴量Ci+ω2信頼度CC1),(ω1特徴量Ci+ω3信頼度CC2)) (式10)
ここで、ω1,ω2,ω3は、それぞれ調整重み値である。選択部333は、(式10)に基づいて、(ω1特徴量Ci+ω2信頼度CC1)の値と、(ω1特徴量Ci+ω3信頼度CC2)の値のうち、大きい方を選択する。選択部333は、(ω1特徴量Ci+ω2信頼度CC1)を選択した場合には、コスト曲線CL1を選択する。また、選択部333は、(ω1特徴量Ci+ω3信頼度CC2)を選択した場合には、コスト曲線CL2を選択する。
ここで、ω1,ω2,ω3は、それぞれ調整重み値である。選択部333は、(式10)に基づいて、(ω1特徴量Ci+ω2信頼度CC1)の値と、(ω1特徴量Ci+ω3信頼度CC2)の値のうち、大きい方を選択する。選択部333は、(ω1特徴量Ci+ω2信頼度CC1)を選択した場合には、コスト曲線CL1を選択する。また、選択部333は、(ω1特徴量Ci+ω3信頼度CC2)を選択した場合には、コスト曲線CL2を選択する。
<実施形態の処理または動作>
次に、図19を用いて、本実施形態の処理または動作を説明する。図19は、第3の実施形態の視差値導出方法の処理を示したフローチャートである。なお、図19において、ステップS31−1〜S38のうち、ステップS31−1〜S34−3は、図14におけるステップS11−1〜S14−3とそれぞれ同じである。また、図19において、ステップS35−1,2は、図16におけるステップS25−1,2とそれぞれ同じである。更に、図19において、ステップS37,S38は、図14におけるステップS16,S17とそれぞれ同じである。よって、本実施形態では、ステップS36について説明する。
次に、図19を用いて、本実施形態の処理または動作を説明する。図19は、第3の実施形態の視差値導出方法の処理を示したフローチャートである。なお、図19において、ステップS31−1〜S38のうち、ステップS31−1〜S34−3は、図14におけるステップS11−1〜S14−3とそれぞれ同じである。また、図19において、ステップS35−1,2は、図16におけるステップS25−1,2とそれぞれ同じである。更に、図19において、ステップS37,S38は、図14におけるステップS16,S17とそれぞれ同じである。よって、本実施形態では、ステップS36について説明する。
ステップ35−1,2の処理後、選択部333は、(式10)を利用することで、コスト算出部310aによって出力されたコスト値C1の集まりであるコスト曲線CL1(第1の曲線の一例)と、コスト算出部310bによって出力されたコスト値C2の集まりであるコスト曲線CL2(第2の曲線の一例)のうち、特定のコスト曲線CL(特定の曲線の一例)を選択する(ステップS36)。その後、ステップS37,S38の処理が行なわれる。
<実施形態の主な効果>
以上説明したように本実施形態によれば、基準画像及び比較画像、並びに、コスト値を求める方式が異なるコスト算出部310a,310bの出力に基づいて、得意なシーンが異なるコスト算出部310a及びコスト算出部310bの出力のいずれか一方を選択するため、より正確なコスト値を導き出すことができるという効果を奏する。
以上説明したように本実施形態によれば、基準画像及び比較画像、並びに、コスト値を求める方式が異なるコスト算出部310a,310bの出力に基づいて、得意なシーンが異なるコスト算出部310a及びコスト算出部310bの出力のいずれか一方を選択するため、より正確なコスト値を導き出すことができるという効果を奏する。
<<実施形態の補足>>
上記実施形態では、コスト算出部は、SAD方式又はCensus方式を利用してコスト値を算出したが、この方式に限るものではない。例えば、SSD(Sum of Squared Difference)方式、又は、NCC(Normalized Cross-Correlation)方式等の他の方式を用いてもよい。この場合、任意の2方式のうち、選択部331には得意なシーンを考慮してコスト曲線を選択するように設定される。
上記実施形態では、コスト算出部は、SAD方式又はCensus方式を利用してコスト値を算出したが、この方式に限るものではない。例えば、SSD(Sum of Squared Difference)方式、又は、NCC(Normalized Cross-Correlation)方式等の他の方式を用いてもよい。この場合、任意の2方式のうち、選択部331には得意なシーンを考慮してコスト曲線を選択するように設定される。
1 視差値導出装置
2 本体部
10a 撮像装置
10b 撮像装置
20a 信号変換装置
20b 信号変換装置
30 画像処理装置
310a コスト算出部(第1の算出手段の一例)
310b コスト算出部(第2の算出手段の一例)
331 選択部(選択手段の一例)
332 選択部(選択手段の一例)
333 選択部(選択手段の一例)
340 コスト合成部(合成手段の一例)
350 視差値導出部(導出手段の一例)
2 本体部
10a 撮像装置
10b 撮像装置
20a 信号変換装置
20b 信号変換装置
30 画像処理装置
310a コスト算出部(第1の算出手段の一例)
310b コスト算出部(第2の算出手段の一例)
331 選択部(選択手段の一例)
332 選択部(選択手段の一例)
333 選択部(選択手段の一例)
340 コスト合成部(合成手段の一例)
350 視差値導出部(導出手段の一例)
Claims (10)
- 所定の物体を第1の位置で撮像して得た基準画像及び前記物体を第2の位置で撮像して得た比較画像に基づいて、前記物体に対する視差を示す視差値を導出する視差値導出装置であって、
前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第1のコスト値を算出する第1の算出手段と、
前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に前記第1のコスト値とは異なる第2のコスト値を算出する第2の算出手段と、
前記対応領域の候補毎の第1のコスト値と、前記対応領域の候補毎の第2のコスト値のうち、前記基準画像及び前記比較画像に基づいて特定のコスト値を選択する選択手段と、
一の基準領域に対する前記特定のコスト値と、他の基準領域に対する前記特定のコスト値における各コスト値とを合成することにより、合成コスト値を算出する合成手段と、
前記合成手段による合成によって得られた合成コスト値に基づいて、前記物体に対する視差値を導出する導出手段と、
を有することを特徴とする視差値導出装置。 - 前記選択手段は、前記基準画像及び前記比較画像の特徴量に基づいて、前記特定のコスト値を選択することを特徴とする請求項1に記載の視差値導出装置。
- 前記選択手段は、前記第1のコスト値に基づいて前記第1のコスト値の信頼度を示す第1の信頼度を算出すると共に、前記第2のコスト値に基づいて前記第2のコスト値の信頼度を示す第1の信頼度を算出し、当該第1及び第2の信頼度に基づいて、前記特定のコスト値を選択することを特徴とする請求項1に記載の視差値導出装置。
- 前記選択手段は、前記基準画像及び前記比較画像の特徴量、並びに、前記第1及び第2の信頼度に基づいて、前記特定のコスト値を選択することを特徴とする請求項3に記載の視差値導出装置。
- 請求項1乃至4のいずれか一項に記載の視差値導出装置を備えたことを特徴とする移動体。
- 前記移動体は、車両又はロボットであることを特徴とする請求項5に記載の移動体。
- 請求項1乃至4のいずれか一項に記載の視差値導出装置を備えたことを特徴とするロボット。
- 前記ロボットは、固定設置される工業用ロボットであることを特徴とする請求項7に記載のロボット。
- 所定の物体を第1の位置で撮像して得た基準画像及び前記物体を第2の位置で撮像して得た比較画像に基づいて、前記物体に対する視差を示す視差値を導出する視差値生産方法であって、
前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に第1のコスト値を算出する第1の算出ステップと、
前記基準画像内の基準領域の輝度値と、前記比較画像内の対応領域の候補の各輝度値とに基づいて、前記基準領域に対する前記対応領域の候補毎に前記第1のコスト値とは異なる第2のコスト値を算出する第2の算出ステップと、
前記対応領域の候補毎の第1のコスト値と、前記対応領域の候補毎の第2のコスト値のうち、前記基準画像及び前記比較画像に基づいて特定のコスト値を選択する選択ステップと、
一の基準領域に対する前記特定のコスト値と、他の基準領域に対する前記特定のコスト値における各コスト値とを合成することにより、合成コスト値を算出する合成手段と、
前記合成ステップによる合成によって得られた合成コスト値に基づいて、前記物体に対する視差値を導出する導出ステップと、
を含むことを特徴とする視差値導出方法。 - コンピュータに、請求項9に記載の方法を実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014231494A JP2016095229A (ja) | 2014-11-14 | 2014-11-14 | 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014231494A JP2016095229A (ja) | 2014-11-14 | 2014-11-14 | 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016095229A true JP2016095229A (ja) | 2016-05-26 |
Family
ID=56071034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014231494A Pending JP2016095229A (ja) | 2014-11-14 | 2014-11-14 | 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016095229A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10872432B2 (en) | 2018-01-05 | 2020-12-22 | Panasonic Intellectual Property Management Co., Ltd. | Disparity estimation device, disparity estimation method, and program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001109879A (ja) * | 1999-08-05 | 2001-04-20 | Sony Corp | 画像処理装置および方法、並びに媒体 |
JP2004118638A (ja) * | 2002-09-27 | 2004-04-15 | Fuji Heavy Ind Ltd | ステレオ画像処理装置およびステレオ画像処理方法 |
JP2008151659A (ja) * | 2006-12-18 | 2008-07-03 | Fuji Heavy Ind Ltd | 物体検出装置 |
JP2012181142A (ja) * | 2011-03-02 | 2012-09-20 | National Institute Of Advanced Industrial & Technology | ステレオ画像処理装置及びステレオ画像処理方法 |
JP2013257162A (ja) * | 2012-06-11 | 2013-12-26 | Ricoh Co Ltd | 測距装置 |
-
2014
- 2014-11-14 JP JP2014231494A patent/JP2016095229A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001109879A (ja) * | 1999-08-05 | 2001-04-20 | Sony Corp | 画像処理装置および方法、並びに媒体 |
JP2004118638A (ja) * | 2002-09-27 | 2004-04-15 | Fuji Heavy Ind Ltd | ステレオ画像処理装置およびステレオ画像処理方法 |
JP2008151659A (ja) * | 2006-12-18 | 2008-07-03 | Fuji Heavy Ind Ltd | 物体検出装置 |
JP2012181142A (ja) * | 2011-03-02 | 2012-09-20 | National Institute Of Advanced Industrial & Technology | ステレオ画像処理装置及びステレオ画像処理方法 |
JP2013257162A (ja) * | 2012-06-11 | 2013-12-26 | Ricoh Co Ltd | 測距装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10872432B2 (en) | 2018-01-05 | 2020-12-22 | Panasonic Intellectual Property Management Co., Ltd. | Disparity estimation device, disparity estimation method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6417886B2 (ja) | 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム | |
JP6561512B2 (ja) | 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム | |
EP2988488B1 (en) | Image processing apparatus, image processing apparatus control method, image pickup apparatus, and image pickup apparatus control method | |
JP6565188B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP6786225B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2011166264A (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
JP6589313B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JPWO2016063545A1 (ja) | ステレオカメラ装置及びステレオカメラ装置を備える車両 | |
JP6561511B2 (ja) | 視差値導出装置、移動体、ロボット、視差値生産導出方法、視差値の生産方法及びプログラム | |
JP6519138B2 (ja) | 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム | |
JP6543935B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP6455164B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP2015142364A (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
JP2016095229A (ja) | 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム | |
US20130076868A1 (en) | Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same | |
JP6515547B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値生産方法、及びプログラム | |
US20160065941A1 (en) | Three-dimensional image capturing apparatus and storage medium storing three-dimensional image capturing program | |
JP2016099322A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
KR101599434B1 (ko) | 자동 초점 조절을 이용한 영상촬상장치의 공간감지장치 및 공간감지방법 | |
JP2016054506A (ja) | 撮像装置、ヒストグラムの表示方法、プログラム、画像処理装置 | |
JP6442911B2 (ja) | 視差値導出装置、移動体、ロボット、視差値導出方法、及びプログラム | |
JP7437915B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2015195019A (ja) | 視差値導出装置、移動体、ロボット、視差値導出方法、視差値の生産方法及びプログラム | |
JP2009237652A (ja) | 画像処理装置および方法並びにプログラム | |
JP6066765B2 (ja) | 撮像装置、その制御方法、および制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180904 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190305 |