JP2023166832A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2023166832A JP2023166832A JP2022077643A JP2022077643A JP2023166832A JP 2023166832 A JP2023166832 A JP 2023166832A JP 2022077643 A JP2022077643 A JP 2022077643A JP 2022077643 A JP2022077643 A JP 2022077643A JP 2023166832 A JP2023166832 A JP 2023166832A
- Authority
- JP
- Japan
- Prior art keywords
- search
- image
- parallax
- search range
- disparity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 64
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000004364 calculation method Methods 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims description 63
- 230000008569 process Effects 0.000 claims description 47
- 230000007423 decrease Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 20
- 230000008859 change Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】階層探索において上位の視差が無効と判定された場合であっても、視差算出の可能性を高める。【解決手段】2つのカメラで撮像した画像を比較して視差を求める画像処理装置であって、画像処理装置は、2つの画像のうち一方の画像に含まれる第一画像ブロックと類似度の高い画像ブロックを、他方の画像のうち所定の第一の探索幅に基づいて決められる第一の探索範囲から特定し、第一の大きさの画像領域単位で第一の視差を求める第一階層のマッチング処理と、他方の画像のうち第一の視差及び所定の第二の探索幅に基づいて決められる第二の探索範囲から特定することで、第二の大きさの画像領域単位で第二の視差を求める第二階層のマッチング処理と、を行い、第一階層のマッチング処理において、第一の探索範囲内の端で、第一画像ブロックと類似度の高い画像ブロックが存在する場合に、第一の探索幅又は第二の探索範囲を広げて探索を行う。【選択図】図3
Description
本発明は、撮影装置で撮影された画像を用いて、車両の周辺に存在する対象物を監視する画像処理装置及び画像処理方法に関する。
一対のカメラを有するステレオカメラで撮影されたステレオ画像に基づき、カメラ視野内に存在する物体までの距離を三角測量の原理で計測する位置測定装置が知られている。三角測量の原理とはすなわち、左右のカメラによって撮影された同一の物体の像の位置のずれ(視差)を用いて、カメラからその物体までの距離を算出するものである。視差の導出は、物体の一方の画像上における像が、他方の画像上のどこに存在するかを特定することによって実現する。
視差の導出方法としては様々な手法が提案されている。例えば、古典的手法では、一方の画像中の複数画素からなる画像領域に対して、他方の画像中で最も非類似度の低い画像領域を探索するブロックマッチングが知られている。
近年、こうした測距結果が車両の自動運転(AD)や高度運転支援(ADAS)などに用いられる。自動運転では、より遠方の路上落下物の検知や、穴、隆起等の路面状態の把握が必須となる。しかし、遠方の物体は近方の物体と比べて、画像上より少数の画素から構成されるため、より高精細な距離情報が必要となる。そのために、視差の導出にかかる演算量や演算時間が増大するという課題がある。
演算量や演算時間の増大に対する対策としては、まず低解像度の視差画像を作成しておき、より高精細な視差の探索には対応する低解像度の視差、すなわち上位視差の周辺のみを探索する階層探索が知られている(特許文献1を参照)。
特許文献1では、より高解像度(下位)の視差を算出するために、予め算出した低解像度(上位)の視差周辺のみを探索することで、計算量や計算時間の縮減を図っている。一方、視差の探索にあたっては、例えば、視差探索範囲内の端で左右画像の画像内領域の非類似度が最小となって、探索範囲外に真の視差が存在することが予想されるなどを理由にして、算出された視差の信頼度を低いとみなして当該視差を無効とすることがある。階層探索において、より低解像度の視差が無効とみなされた場合、この低解像度の視差に対応する高解像度の視差は探索できず、すべて無効となる。そのため、最終的な高解像度の視差画像において大量の無効視差が発生する場合があるという課題がある。
上記の状況から、階層探索において上位の視差が無効と判定された場合に、対応する下位の視差すべてを無効とすることを避け、視差算出の可能性を高める手法が要望されていた。
上記課題を解決するために、本発明の一態様の画像処理装置は、2つのカメラで撮像された2つの画像を比較して視差を求める視差算出部を備えた画像処理装置である。
上記視差算出部は、第一の大きさの画像領域であり2つの画像のうち一方の画像に含まれる第一画像ブロックと最も類似度の高い画像ブロックを、2つの画像の他方の画像のうち予め定められた第一の探索幅に基づいて決められる第一の探索範囲から特定することで、第一の大きさの画像領域単位で第一の視差を求める第一階層のステレオマッチング処理と、第一の大きさより小さい第二の大きさの画像領域であり2つの画像のうち一方の画像に含まれる第二画像ブロックと最も類似度の高い画像ブロックを、2つの画像の他方の画像のうち第一の視差及び予め定められた第二の探索幅に基づいて決められる第二の探索範囲から特定することで、第二の大きさの画像領域単位で第二の視差を求める第二階層のステレオマッチング処理と、を行う。そして、視差算出部は、第一階層のステレオマッチング処理において、第一の探索範囲内の端で、第一画像ブロックと最も類似度の高い画像ブロックが存在する場合に、第一の探索幅又は第二の探索範囲を広げて、探索を行う。
ここで、探索範囲は、探索幅を決める探索の始点と終点の情報である。
上記視差算出部は、第一の大きさの画像領域であり2つの画像のうち一方の画像に含まれる第一画像ブロックと最も類似度の高い画像ブロックを、2つの画像の他方の画像のうち予め定められた第一の探索幅に基づいて決められる第一の探索範囲から特定することで、第一の大きさの画像領域単位で第一の視差を求める第一階層のステレオマッチング処理と、第一の大きさより小さい第二の大きさの画像領域であり2つの画像のうち一方の画像に含まれる第二画像ブロックと最も類似度の高い画像ブロックを、2つの画像の他方の画像のうち第一の視差及び予め定められた第二の探索幅に基づいて決められる第二の探索範囲から特定することで、第二の大きさの画像領域単位で第二の視差を求める第二階層のステレオマッチング処理と、を行う。そして、視差算出部は、第一階層のステレオマッチング処理において、第一の探索範囲内の端で、第一画像ブロックと最も類似度の高い画像ブロックが存在する場合に、第一の探索幅又は第二の探索範囲を広げて、探索を行う。
ここで、探索範囲は、探索幅を決める探索の始点と終点の情報である。
本発明の少なくとも一態様によれば、階層探索において上位の視差が無効と判定された場合に、対応する下位の視差すべてを無効とすることを避け、視差算出の可能性を高めることができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
以下、本発明を実施するための形態(以下、「実施形態」と称する)の例について、添付図面を参照して説明する。本明細書及び添付図面において、同一の構成要素又は実質的に同一の機能を有する構成要素には同一の符号を付して重複する説明を省略する。また、同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
<第1の実施形態>
まず、本発明の第1の実施形態に係る演算装置(画像処理装置の一例)について図1~図6を参照して説明する。
まず、本発明の第1の実施形態に係る演算装置(画像処理装置の一例)について図1~図6を参照して説明する。
図1は、車両内の制御系のハードウェア構成例を示す図である。図1に示す車両10は、演算装置1と、左カメラ2と、右カメラ3と、車両制御装置4とを備える。演算装置1及び車両制御装置4は、電子制御装置(Electronic Control Unit:ECU)である。左カメラ2及び右カメラ3は、車両10の周囲を撮影して得られた撮影画像を演算装置1に出力する。左カメラ2及び右カメラ3は、水平方向に並んで配置される。以下では、左カメラ2の撮影画像を第1カメラ画像21、右カメラ3の撮影画像を第2カメラ画像31と呼ぶ。また、左カメラ2を「第1のカメラ」と呼び、右カメラ3を「第2のカメラ」と呼ぶこともある。
左カメラ2及び右カメラ3は水平方向を向くように配置されるので、第1カメラ画像21(左画像)及び第2カメラ画像31(右画像)のいずれも、鉛直方向及び水平方向に広がりのある3次元空間を撮影して得られた画像である。ただし、ここでいう水平や垂直は厳密な意味ではなく、第1カメラ画像21及び第2カメラ画像31の左右方向が天地ではなく水平方向に対応するという程度の意味である。例えば、左カメラ2および右カメラ3が光軸を回転中心として最大で30度程度傾いてもよい。
演算装置1は、中央演算装置であるCPU11、読み出し専用の記憶装置であるROM12、読み書き可能な記憶装置であるRAM13、及び第1カメラ画像21や第2カメラ画像31を受信するインタフェース14を備える。CPU11がROM12に格納されるコンピュータープログラムをRAM13に展開して実行することで、演算装置1の後述する複数の機能が実現される。ROM12の代わりに、図示しない不揮発性ストレージにコンピュータープログラムを格納してもよい。ROM12及び不揮発性ストレージは、当該プログラムを格納したコンピューター読取可能な非一過性の記録媒体の一例として用いられる。
ただし、演算装置1は、CPU11、ROM12、及びRAM13の組合せの代わりに、書換え可能な論理回路であるFPGA(Field Programmable Gate Array)や特定用途向け集積回路であるASIC(Application Specific Integrated Circuit)により、それらの一部又はすべての機能が実現されてもよい。また、演算装置1は、CPU11、ROM12、及びRAM13の組合せの代わりに、異なる構成の組合せ、例えば、CPU11、ROM12、RAM13とFPGAの組合せにより実現されてもよい。
インタフェース14は、第1カメラ画像21(左画像)及び第2カメラ画像31(右画像)を受信し、CPU11に提供する。ただし、CPU11に備えられるレジスタにはわずかな情報しか格納できないので、CPU11が自由にそれらの情報を参照できるように、インタフェース14は受信した第1カメラ画像21及び第2カメラ画像31をRAM13に格納する。
演算装置1は、入力される第1カメラ画像21(左画像)及び第2カメラ画像31(右画像)を用いて、視差に基づいた車両10周辺の物体までの距離情報を含む距離画像41(図2参照)を作成し、車両制御装置4に出力する。演算装置1が距離画像41を作成する過程は、図2以降を参照して後に詳述する。距離画像41とは、二次元平面における距離の遠近を色の濃淡や色の彩度で表したものである。ただし、本実施形態では、距離画像41の各画素には濃淡を表す「0」~「255」の整数値が格納される。このうち「0」は、距離の算出が不可能であったことを示す特別な数値である。
距離画像41に示される範囲は、第1カメラ画像21(左画像)及び第2カメラ画像31(右画像)と略同一である。ただし、距離画像41に示される範囲は、第1カメラ画像21及び第2カメラ画像31に示される範囲よりも狭くてもよい。距離画像41の画素数は、第1カメラ画像21及び第2カメラ画像31と略同一でもよいし、第1カメラ画像21及び第2カメラ画像31の画素数よりも少なくてもよい。
すなわち、第1カメラ画像21(左画像)、及び第2カメラ画像31(右画像)に記録されている三次元空間は、少なくとも一部が重複していればよい。左カメラ2、及び右カメラ3の車両10における取り付け位置や取り付け姿勢は既知であり、第1カメラ画像21、及び第2カメラ画像31の相互の位置関係も既知である。そのため、第1カメラ画像21における所定の画素の三次元空間における位置が、第2カメラ画像31のどの位置に相当するかも既知である。第1カメラ画像21及び第2カメラ画像31の相互の位置関係は、演算で求めてもよいし、予めルックアップテーブルなどを用意して参照して求めてもよい。
すなわち、左カメラ2と右カメラ3の相対位置は既知であり、2つのカメラの内部パラメータも既知なので、被写体のカメラまでの距離と視差の関係も既知である。本実施形態では、距離と視差の関係は、不図示の視差テーブルとして演算装置1のROM12に格納される。本実施形態では、距離と視差の関係は既知なので、視差は「距離に対応する情報」と呼ぶこともできる。また、本実施形態では、距離と視差は相互に容易に変換可能なので、両者は実質的に同一の情報とみなせる。
車両制御装置4は、演算装置1から入力される距離画像41を用いて車両10を制御する。車両制御装置4は、例えば、距離画像41から車両10の周辺に存在する障害物を検出し、車両10と検出した障害物との衝突を避けるように車両10を制御する。車両制御装置4による車両10の制御は、例えば、車両制御装置4が、不図示の操舵装置及び不図示の制動装置に動作指令を出力することにより実現される。
[車両周辺の様子、粗距離画像、及び詳細距離画像]
図2は、被写体周辺の様子、粗距離画像、及び詳細距離画像の比較を示す図である。
図2は、第1カメラ画像21、第2カメラ画像31、粗距離画像45、及び詳細距離画像46に格納される情報の解像度の比較を説明する図である。ただし、ここでいう解像度とは、奥行き方向の距離ではなく、画像上の上下方向や左右方向の分解能の高さを意味する。なお、粗距離画像45と詳細距離画像46は、図1に示した距離画像41の一例である。
図2は、被写体周辺の様子、粗距離画像、及び詳細距離画像の比較を示す図である。
図2は、第1カメラ画像21、第2カメラ画像31、粗距離画像45、及び詳細距離画像46に格納される情報の解像度の比較を説明する図である。ただし、ここでいう解像度とは、奥行き方向の距離ではなく、画像上の上下方向や左右方向の分解能の高さを意味する。なお、粗距離画像45と詳細距離画像46は、図1に示した距離画像41の一例である。
図2上段は車両10の周辺の様子を示す図であり、他の車両20が存在している。図2中段は車両20を撮影した粗距離画像45の解像度を示す概念図、図2下段は粗距離画像45よりも解像度が高い詳細距離画像46の解像度を示す概念図である。
図2中段に示す粗距離画像45には、図2上段に示す領域を縦と横のそれぞれを5分割した合計25個の画像領域ごとの距離情報が格納される。
図2下段に示す詳細距離画像46には、図2上段に示す領域を縦と横のそれぞれを10分割した合計100個の画像領域ごとの距離情報が格納される。粗距離画像45及び詳細距離画像46は、図示画像の上下が天地方向に、図示画像の左右が水平方向に対応する。
本実施形態では、図2中段に示すように粗距離画像45に含まれる1つの距離情報が示す画像領域を「第一画像ブロック」と呼び、図2下段に示すように詳細距離画像46に含まれる1つの距離情報が示す画像領域を「第二画像ブロック」と呼ぶ。第一画像ブロックの大きさ(第一の大きさ)は第二画像ブロックの大きさ(第二の大きさ)よりも大きい。図2に示す例及び本実施形態では、第一画像ブロックは第二画像ブロックに比べて幅と高さがそれぞれ2倍であり、面積は4倍である。ただし、第一画像ブロックが第二画像ブロックよりも大きければよく、倍数は特に制限されない。
なお、1点の距離情報は、必ずしも第一画像ブロック全体を測定して得られた距離情報ではないが、本実施形態では、その距離情報が便宜的に第一画像ブロック全体を代表する距離情報とみなしている。また、詳細距離画像46における第二画像ブロックのそれぞれが、粗距離画像45におけるいずれの第一画像ブロックの領域内に含まれるかも既知である。
第1カメラ画像21及び第2カメラ画像31のそれぞれは、第二画像ブロックと同等以上の解像度で輝度や彩度の情報を有する。図2の例に即すると、第1カメラ画像21及び第2カメラ画像31のそれぞれは、図2上段に示す範囲について縦と横ともに少なくとも10画素、すなわち全部で100画素以上の情報を有する。第1カメラ画像21と第2カメラ画像31は、詳細距離画像46と略同一の画素数でもよいし、縦方向や横方向が2倍や10倍の画素を有していてもよい。本実施形態では、一例として第1カメラ画像21と第2カメラ画像31は、詳細距離画像46と略同一の画素数とする。
[視差算出部の機能構成]
次に、本発明の第1の実施形態に係る演算装置1の機能構成例について図3を参照して説明する。
図3は、演算装置1の機能構成例を示すブロック図である。図3に示すように、演算装置1は、視差探索部101、上位参照視差決定部102、及び視差無効性判定部103から構成される視差算出部100を備える。視差算出部100の視差探索部101、上位参照視差決定部102、及び視差無効性判定部103の各機能は、前述のCPU11によるソフトウェア処理により実現される。なお、以下に説明する処理により生成される情報、例えば、探索範囲情報、視差情報、非類似度情報、上位視差情報、視差無効性情報、探索範囲変更指示は、RAM13に一時的に保存される。
次に、本発明の第1の実施形態に係る演算装置1の機能構成例について図3を参照して説明する。
図3は、演算装置1の機能構成例を示すブロック図である。図3に示すように、演算装置1は、視差探索部101、上位参照視差決定部102、及び視差無効性判定部103から構成される視差算出部100を備える。視差算出部100の視差探索部101、上位参照視差決定部102、及び視差無効性判定部103の各機能は、前述のCPU11によるソフトウェア処理により実現される。なお、以下に説明する処理により生成される情報、例えば、探索範囲情報、視差情報、非類似度情報、上位視差情報、視差無効性情報、探索範囲変更指示は、RAM13に一時的に保存される。
また、既述したように、三角測量の原理を用いて、同一の被写体を含む左右2つのカメラ画像の視差に基づいて、左右のカメラから当該被写体までの距離を求めることができる。したがって、視差算出部100において2つの画像の視差情報に基づいて距離画像(例えば、粗距離画像45、詳細距離画像46など)を生成して車両制御装置4へ出力してもよい。ただし、本実施形態では、視差算出部100で視差情報を算出して車両制御装置4へ出力する例を説明する。
視差算出部100には、左カメラ21と右カメラ31により異なる視点で撮像された第1カメラ画像21(左画像)と第2カメラ画像31(右画像)が入力される。
視差探索部101は、第1カメラ画像21と第2カメラ画像31の2つの画像を比較することで視差探索(視差決定)を実施し、探索結果として「視差情報」と、視差決定に用いた「非類似度情報」を出力する。この探索処理には、一例としてステレオマッチング処理を用いることができる。ステレオマッチング処理では、2つの画像のそれぞれの比較対象の画像ブロックを一画素ずつずらして照合する。ここでのステレオマッチング処理は、第一階層のステレオマッチング処理の例である。視差探索部101は、このとき生成する視差が階層探索(例えば、特許文献1参照)における最上位視差ではない場合には、上位参照視差決定部102から「探索範囲情報」を得て、その範囲内のみを探索する局所探索を行う。この局所探索処理は、第二階層のステレオマッチング処理の例である。なお、以降の説明では、視差探索を単に「探索」ともいう。
上記の探索範囲情報は、ステレオマッチング処理を用いた視差探索において、基準のカメラ画像(例えば、第1カメラ画像21)に対する他のカメラ画像(例えば、第2カメラ画像31)のうち探索範囲(画素ずらし量)を決める始点と終点の画素の情報である。始点と終点から探索幅が求められる。一般に、高解像度の画像ほど探索幅が広くなる。
また、最上位視差は、カメラ画像(原画像)から階層的な複数の解像度の画像を生成した場合に、その中の最も低解像度画像から探索された視差である。探索の結果、視差探索部101は、非類似度が最小となるように視差を決定する。決定した視差の情報(画像上での当該視差の位置を表わす情報)は、非類似度情報とともに視差無効性判定部103に送られる。
視差無効性判定部103は、視差探索部101から出力された「非類似度情報」を参照して、視差探索部101が決定した視差が局所探索範囲内の端に位置するか否かを判定する。ここで、当該決定した視差の位置が端であった場合、視差無効性判定部103は、局所探索範囲外にさらに非類似度の低い点、すなわち真の視差が存在する可能性が高いとみなして、視差探索部101に対して決定された視差の位置する局所探索範囲端の外側に局所探索範囲を変更(例えば延長)して再探索するよう指示(図中「探索範囲変更指示」)を出す。
局所探索範囲の延長の程度に関しては、予め画像の階層(解像度)等の条件ごとに延長後の探索範囲や延長幅を決定して、視差算出部100内(例えば、ROM12)に登録しておく。この局所探索範囲の延長の程度は、例えば、許容探索時間、コストによって、画像の階層ごとに異なる。例えば、演算装置1の処理能力、カメラ画像のデータサイズなどにより探索時間が異なる。局所探索範囲の最大延長幅は演算装置1の回路規模(処理能力)で決まる。
視差探索部101は、視差無効性判定部103の探索範囲変更指示を受けて再探索を実施し、延長された探索範囲を含めて非類似度が最小となる点を視差として再度出力する。
このとき、演算装置1の演算量や演算時間を考慮して、延長する探索範囲には上限を定めてもよい。すなわち、演算装置1では、第一の探索幅(上位階層の探索幅)又は第二の探索範囲(下位階層の探索範囲)を広げて探索を行う際に、第一の探索幅又は第二の探索範囲に予め上限を設ける。このように構成された本実施形態によれば、第一の探索幅又は第二の探索範囲に上限が設けられることで、演算装置1の演算量の軽減及び演算時間の短縮が可能となる。
また、視差探索部101は、再探索の過程で1つ目の非類似度の極小値を見つけたら、そこで探索を打ち切って、1つ目の極小値の点を視差として出力してもよい。すなわち、視差探索部101は、第一の探索幅(上位階層の探索幅)又は第二の探索範囲(下位階層の探索範囲)を広げて探索を行う際に、探索方向に沿って類似度が減少した点に基づき探索を打ち切るように構成することができる。このように構成された本実施形態によれば、探索方向に沿って類似度が減少した点に基づいて視差を確定することで、演算装置1の演算量の軽減及び演算時間の短縮が可能となる。
なお、本明細書において、最小、極小という用語を用いているが、本明細書では、厳密に数学的な意味での最小、極小以外にも実質的な最小、極小を含む。例えば、極小点については、微分値が0又は所定値以下(例えば、0に近い小さい値)となる箇所が該当する。
さらに、後述する図5を用いて説明する局所探索範囲の延長方向が、探索の向きと同一であるか逆向きであるかによって、延長探索実施の有無や延長範囲を変えてもよい。すなわち、視差探索部101は、第一階層のステレオマッチング処理(より上位階層の局所探索)において、第一の探索範囲内の端で、第一画像ブロックと最も類似度の高い画像ブロックが存在する場合に、第一の探索範囲のいずれの端で最も類似度の高い画像ブロックが見つかったかに基づいて、第一の探索幅又は第二の探索範囲を決定するように構成することができる。このように構成された本実施形態によれば、第一の探索範囲のいずれの端で類似度が高い(非類似度が最小の)画像ブロックが見つかったかに基づいて、第一の探索幅又は第二の探索範囲を決定することで、より類似度が高い視差を探索することができる。
再探索結果の「視差情報」と「非類似度情報」は、再び視差探索部101から視差無効性判定部103に送られる。ここでは、視差無効性判定部103は、視差探索部101において一度再探索した結果をそのまま「視差情報」及び「視差無効性(有効/無効)情報」として車両制御装置4に送ってもよいし、視差無効性判定部103において再探索のための判定を再度行ってもよい。有効/無効の基本的な考え方として、上記決定した視差の位置が局所探索範囲内の端ではない場合には当該視差を有効とし、当該決定した視差の位置が局所探索範囲内の端である場合には当該視差を無効と判定する。
[視差探索部による視差決定]
次に、本発明の第1の実施形態における視差算出部100が備える視差探索部101(図3)による視差決定の概念について図4を参照して説明する。
図4は、視差算出部100の視差探索部101による視差決定の概念を示す図である。図4上段に、第1カメラ画像21と第2カメラ画像31が示されている。この例では、基準画像である第1カメラ画像21の画像領域201に対応する参照画像、すなわち第2カメラ画像31の画像領域を探索している。なお、第1カメラ画像21を基準画像としたが、第2カメラ画像31を基準画像としてもよい。
次に、本発明の第1の実施形態における視差算出部100が備える視差探索部101(図3)による視差決定の概念について図4を参照して説明する。
図4は、視差算出部100の視差探索部101による視差決定の概念を示す図である。図4上段に、第1カメラ画像21と第2カメラ画像31が示されている。この例では、基準画像である第1カメラ画像21の画像領域201に対応する参照画像、すなわち第2カメラ画像31の画像領域を探索している。なお、第1カメラ画像21を基準画像としたが、第2カメラ画像31を基準画像としてもよい。
本実施形態では、左カメラ2と右カメラ3が水平方向に並んで設置されているので、エピポーラ幾何によるエピポーラ線202は水平方向に延びる破線で示される。第1カメラ画像21及び第2カメラ画像31の図示横方向の幅が1000画素であり、画像領域201の中心が第1カメラ画像21の左端から400画素目の場合に、参照画像である第2カメラ画像31の横方向には図示するように-400~+600の数値が振られる。例えば、視差探索部101により参照画像の左端から500画素を中心とする画像領域203が基準画像の画像領域201に対応すると判断された場合には、視差は「100」と算出される。
図4中段は、参照画像(第2カメラ画像31)のエピポーラ線202上の位置ごとの画像領域201との非類似度の一例を示す図である。図4中段に示す例では、非類似度が最小となるピーク(極小点)が存在し、他に近い値のピークが存在しないため、視差探索部101により画像領域201の視差が「100」と算出される。
図4下段は、参照画像(第2カメラ画像31)のエピポーラ線202上の位置ごとの画像領域201との非類似度の別の一例を示す図である。図4下段に示す例では、非類似度が最小となるピークが2つ存在しそれらの非類似度の値が略同一のため、画像領域201の視差が「-180」と「+115」のいずれであるのかが決定できない。このような場合には、視差探索部101は、画像領域201は無効領域として距離画像41の画像領域201に対応する位置には視差「0」を設定する。なお、この非類似度が最小となるピークが複数ある場合の関連発明を、後述する第3の実施形態に示している。
[局所再探索の判定例及び再探索時の探索範囲延長方向]
図5は、本発明の第1の実施形態による局所再探索の判定例及び再探索時の探索範囲延長方向の例を示す図である。図中のグラフの横軸は第1カメラ画像21と第2カメラ画像31の両画像を比較する際の位置(画素ずらし量に相当)であり、縦軸は比較の結果の非類似度である。2本の一点鎖線で挟まれた領域は局所探索範囲を示している。
図5は、本発明の第1の実施形態による局所再探索の判定例及び再探索時の探索範囲延長方向の例を示す図である。図中のグラフの横軸は第1カメラ画像21と第2カメラ画像31の両画像を比較する際の位置(画素ずらし量に相当)であり、縦軸は比較の結果の非類似度である。2本の一点鎖線で挟まれた領域は局所探索範囲を示している。
図5上段のグラフでは、局所探索範囲内における視差の非類似度は単調減少し、局所探索範囲の右端で非類似度が最小となる。そのため、視差探索部101は、局所探索範囲の右端にある視差501を出力するが、同時にここで算出した5つの非類似度(視差501に対応する非類似度を含む)も出力する。視差無効性判定部103は、視差探索部101から視差501とともに5つの非類似度を取得することで、視差501が局所探索範囲内の右端に位置すること、すなわち視差501が無効であることを判定できる。よって、視差501は、視差無効性判定部103による探索範囲変更指示の対象となる。
または、視差探索部101は、非類似度の代わりに、出力視差が局所探索範囲内の端であること、又は右端であることを出力してもよい。視差無効性判定部103は、これら情報から視差探索部101が出力した視差が局所探索範囲内の端(ここでは右端)であることを判定できる。図5上段に示す例の場合、再探索時の探索範囲の延長方向は右方向(画素ずらし量が増える方向)となる。
図5中段のグラフでは、局所探索範囲内における視差の非類似度は単調減少ではなく極大値を有するが、やはり視差探索部101は、局所探索範囲の右端に位置する視差502を非類似度の最小点として出力する。そのため、視差502は、視差無効性判定部103による探索範囲変更指示の対象となる。再探索時の探索範囲の延長方向は右方向(画素ずらし量が増える方向)となる。
図5下段のグラフは、局所探索範囲内における視差の非類似度は単調増加ではなく極大値及び極小値を有するが、局所探索範囲内の左端に位置する視差503の非類似度が最小値である。そのため、視差503は、視差無効性判定部103による探索範囲変更指示の対象となる。再探索時の探索範囲の延長方向は左方向(画素ずらし量が減る方向)となる。
[局所探索処理の手順例]
次に、本発明の第1の実施形態における階層探索第N階層の局所探索処理の手順例について図6を参照して説明する。
図6は、第1の実施形態の視差算出部100による階層探索第N階層の局所探索処理の手順例を示すフローチャートである。
次に、本発明の第1の実施形態における階層探索第N階層の局所探索処理の手順例について図6を参照して説明する。
図6は、第1の実施形態の視差算出部100による階層探索第N階層の局所探索処理の手順例を示すフローチャートである。
まず、視差算出部100において、上位参照視差決定部102は、視差無効性判定部103から得られる第N階層よりも上位の第N-1階層(より低解像度)の視差を参照して(ステップS1)、第N階層における初期の探索範囲を決定する(ステップS2)。なお、第N階層が最上位階層(最低解像度)であれば、探索範囲は予め設定しておいてROM12に記憶しておく。
次いで、視差探索部101は、上位参照視差決定部102により決定された初期の探索範囲を局所探索の探索範囲に設定し、その探索範囲について局所探索を行う(ステップS3)。
次いで、視差無効性判定部103は、視差探索部101による探索結果を基に、非類似度が最小となった点が探索範囲内の端に位置するかどうかを判定する(ステップS4)。
ステップS4において非類似度が最小となった点が探索範囲内の端ではない場合(ステップS4のNO)、視差無効性判定部103は、視差及び視差有効/無効(この場合は有効)を確定して出力する(ステップS7)。視差及び視差有効/無効の情報は、車両制御装置4及び上位参照視差決定部102に出力される。
一方、非類似度が最小となった点が探索範囲内の端である場合(ステップS4のYES)、視差無効性判定部103は、再探索回数が予め設定した再探索回数の上限以内であるかどうかを判定する(ステップS5)。再探索回数が予め設定した再探索回数の上限以内である場合は(ステップS5のYES)、視差無効性判定部103は、視差探索部101に探索範囲変更指示を出す。なお、ステップS5の判定処理は許容処理時間を考慮して設けたが、削除してもよい。
次いで、視差探索部101は探索範囲変更指示を受け付けると、ステップS3における局所探索時の探索範囲を修正して(ステップS6)、視差を再探索する(ステップS3)。
次いで、ステップS4でYES判定後、視差無効性判定部103は、再探索回数が予め設定した再探索回数の上限に達したと判定した場合は(ステップS5のNO)、視差及び視差有効/無効を確定して出力する(ステップS7)。ステップS7の処理後、階層探索第N階層の局所探索処理を終了する。
以上のとおり、第1の実施形態に係る画像処理装置(演算装置1)は、2つのカメラ(左カメラ2、右カメラ3)で撮像された2つの画像(第1カメラ画像21、第2カメラ画像31)を比較して視差を求める視差算出部(視差算出部100)を備えた画像処理装置である。
上記視差算出部は、第一の大きさの画像領域であり2つの画像のうち一方の画像に含まれる第一画像ブロック(例えば、画像領域201)と最も類似度の高い画像ブロック(例えば、画像領域203)を、2つの画像の他方の画像のうち予め定められた第一の探索幅に基づいて決められる第一の探索範囲(局所探索範囲)から特定することで、第一の大きさの画像領域単位で第一の視差を求める第一階層のステレオマッチング処理(上位階層の局所探索)と、第一の大きさより小さい第二の大きさの画像領域であり2つの画像のうち一方の画像に含まれる第二画像ブロックと最も類似度の高い画像ブロックを、2つの画像の他方の画像のうち第一の視差及び予め定められた第二の探索幅に基づいて決められる第二の探索範囲から特定することで、第二の大きさの画像領域単位で第二の視差を求める第二階層のステレオマッチング処理(下位階層の局所探索(再探索))と、を行う。そして、視差算出部は、第一階層のステレオマッチング処理において、第一の探索範囲内の端で、第一画像ブロックと最も類似度の高い画像ブロックが存在する場合に、第一の探索幅又は第二の探索範囲を広げて、(例えば、変更(延長)した局所探索範囲に基づいて)探索を行う。
上記視差算出部は、第一の大きさの画像領域であり2つの画像のうち一方の画像に含まれる第一画像ブロック(例えば、画像領域201)と最も類似度の高い画像ブロック(例えば、画像領域203)を、2つの画像の他方の画像のうち予め定められた第一の探索幅に基づいて決められる第一の探索範囲(局所探索範囲)から特定することで、第一の大きさの画像領域単位で第一の視差を求める第一階層のステレオマッチング処理(上位階層の局所探索)と、第一の大きさより小さい第二の大きさの画像領域であり2つの画像のうち一方の画像に含まれる第二画像ブロックと最も類似度の高い画像ブロックを、2つの画像の他方の画像のうち第一の視差及び予め定められた第二の探索幅に基づいて決められる第二の探索範囲から特定することで、第二の大きさの画像領域単位で第二の視差を求める第二階層のステレオマッチング処理(下位階層の局所探索(再探索))と、を行う。そして、視差算出部は、第一階層のステレオマッチング処理において、第一の探索範囲内の端で、第一画像ブロックと最も類似度の高い画像ブロックが存在する場合に、第一の探索幅又は第二の探索範囲を広げて、(例えば、変更(延長)した局所探索範囲に基づいて)探索を行う。
上記構成の本実施形態によれば、階層探索において上位の視差が無効と判定された場合に、対応する下位の視差すべてを無効とすることを避け、視差算出の可能性を高めることができる。そして、視差の導出にかかる演算量や演算時間を増大することなく、高精細な距離情報を計算することができるので、遠方の物体でも高精度の把握することができる。よって、本実施形態によれば、より遠方の路上落下物の検知や、穴、隆起等の路面状態を把握することが可能であり、本実施形態は車両の自動運転(AD)や高度運転支援(ADAS)に適用して好適である。
また、本実施形態は、視差の無効判定があっても、局所探索範囲(又は探索幅)を変えて再探索する構成としている。そのため、本実施形態は、2つの画像から非類似度(又は類似度)の真の最小値(又は極小値)を求めるというだけでなく、階層探索における同階層又は下位階層にフィードバックして、いったん無効判定しても演算負荷を上げずに効率的に有効視差を探索することができる。
<第2の実施形態>
第2の実施形態は、視差の非類似度が局所探索範囲内の端で最小値となったときに、当該階層では無効判定を出力するように構成された例である。以下、第2の実施形態について、主に第1の実施形態と異なる点に着目して説明する。
第2の実施形態は、視差の非類似度が局所探索範囲内の端で最小値となったときに、当該階層では無効判定を出力するように構成された例である。以下、第2の実施形態について、主に第1の実施形態と異なる点に着目して説明する。
[視差算出部の機能構成]
図7は、本発明の第2の実施形態に係る演算装置(画像処理装置の一例)における視差算出部の機能構成例を示すブロック図である。図7に示すように、演算装置1は、視差探索部101、上位参照視差決定部102、及び視差無効性判定部103から構成される視差算出部100Aを備える。ただし、本実施形態に係る演算装置1の視差算出部100Aは、第1の実施形態に係る視差算出部100(図3)と比較して、上位参照視差決定部102から視差探索部101に探索範囲変更指示を出す信号ラインがない点が異なる。
図7は、本発明の第2の実施形態に係る演算装置(画像処理装置の一例)における視差算出部の機能構成例を示すブロック図である。図7に示すように、演算装置1は、視差探索部101、上位参照視差決定部102、及び視差無効性判定部103から構成される視差算出部100Aを備える。ただし、本実施形態に係る演算装置1の視差算出部100Aは、第1の実施形態に係る視差算出部100(図3)と比較して、上位参照視差決定部102から視差探索部101に探索範囲変更指示を出す信号ラインがない点が異なる。
視差探索部101には、第1の実施形態と同様に、左カメラ21と右カメラ31により異なる視点で撮像された第1カメラ画像21(左画像)と第2カメラ画像31(右画像)が入力される。
視差探索部101は、第1の実施形態と同様に、第1カメラ画像21と第2カメラ画像31の2つの画像を比較することで視差探索(視差決定)を実施し、探索結果として「視差情報」と、視差決定に用いた「非類似度情報」を出力する。ここでの探索処理は、第一階層のステレオマッチング処理の例である。視差探索部101は、このとき生成する視差が階層探索(例えば、特許文献1参照)における最上位視差ではない場合には、上位参照視差決定部102から「探索範囲情報」を得て、その範囲内のみを探索する局所探索を行う。この局所探索処理は、第二階層のステレオマッチング処理の例である。
探索の結果、視差探索部101は、非類似度が最小となるように視差を決定する。決定した視差の情報(画像上での当該視差の位置を表わす情報)は、非類似度情報とともに視差無効性判定部103に送られる。
視差無効性判定部103は、視差探索部101から出力された「非類似度情報」を参照して、視差探索部101が決定した視差が局所探索範囲内の端に位置するか否かを判定する。ここで、当該決定した視差の位置が端であった場合、視差無効性判定部103は、局所探索範囲外にさらに非類似度の低い点、すなわち真の視差が存在する可能性が高いとみなして、当該視差を無効と判定する。視差無効性判定部103は、視差探索部101から出力された「視差情報」と、「視差無効性(有効/無効)情報」とを、車両制御装置4及び上位参照視差決定部102に出力する。ここで無効判定された視差は、下位階層の局所探索時に上位視差として参照されるが、無効視差のままでは下位視差すべてが無効判定される。その際に、例えば、特開2020-140344号公報に記された方法を用いて、隣接する上位視差の探索範囲の周辺を局所探索することで、無効判定を回避して下位視差を出力することができる場合がある。
[局所探索処理の手順例]
次に、本発明の第2の実施形態における階層探索第N階層の局所探索処理の手順例について図8を参照して説明する。
図8は、第2の実施形態の視差算出部100Aによる階層探索第N階層の局所探索処理の手順例を示したフローチャートである。
次に、本発明の第2の実施形態における階層探索第N階層の局所探索処理の手順例について図8を参照して説明する。
図8は、第2の実施形態の視差算出部100Aによる階層探索第N階層の局所探索処理の手順例を示したフローチャートである。
まず、視差算出部100において、上位参照視差決定部102は、視差無効性判定部103から得られる第N階層よりも上位の第N-1階層(より低解像度)の視差を参照する(ステップS11)。そして、上位参照視差決定部102は、第N階層における初期の探索範囲を決定する。
次いで、上位参照視差決定部102は、その上位視差が無効であるか否かを判定し(ステップS12)、上位視差が無効ではない場合は(ステップS12のNO)、ステップS14に進む。
ステップS12において上位視差が無効であると判定された場合は(ステップS12のYES)、上位参照視差決定部102は、上位視差に隣接する上位階層の視差に参照先を切り替える(ステップS13)。
ステップS12においてNO判定の場合、又は、ステップS13の処理後、視差探索部101は、局所探索の探索範囲を設定する。ステップS12においてNO判定の場合、視差探索部101は、上位参照視差決定部102により決定された初期の探索範囲を局所探索の探索範囲に設定する(ステップS14)。また、ステップS13の処理後では、視差探索部101は、上位参照視差決定部102において参照した上位階層の隣接する視差の周辺に局所探索の探索範囲を設定する(ステップS14)。
次いで、視差探索部101は、設定した局所探索の探索範囲について、局所探索を行う(ステップS15)。
次いで、視差無効性判定部103は、視差探索部101による探索結果を基に、非類似度が最小となった点が探索範囲内の端に位置するかどうかを判定する(ステップS16)。
ステップS16において非類似度が最小となった点が探索範囲内の端ではない場合(ステップS16のNO)、視差無効性判定部103は、視差及び視差有効を確定して出力する(ステップS18)。
一方、非類似度が最小となった点が探索範囲内の端である場合(ステップS16のYES)、視差無効性判定部103は、視差を無効と判定して判定結果を出力する(ステップS17)。視差及び視差有効/無効の情報は、車両制御装置4及び上位参照視差決定部102に出力される。ステップS17又はS18の処理後、階層探索第N階層の局所探索処理を終了する。
なお、本実施形態においては、第1の実施形態で説明した図3のステップS5における再探索回数が上限以内かどうかの判定処理を、ステップS16の処理後に設けてもよい。
また、本実施形態で述べた無効判定は、すべての局所探索で一律である必要はない。例えば、本実施形態では、低解像度のため一度の視差探索で任意の閾値よりも広範囲を探索する比較的上位の階層(例えば、3階層のうち最上位の低解像度階層など)では、本発明における視差無効判定のときに局所探索範囲を変更する機能(以下「本機能」)をオフとし、逆に、高解像度のため一度の探索で狭い範囲を探索する比較的下位の階層では、本機能をオンとするなどの運用も可能である。
このように演算装置1(画像処理装置)において、視差探索部101は、第一画像ブロック(上位階層のカメラ画像の画像ブロック)の大きさに基づき、第一の探索幅(上位階層の探索幅)又は第二の探索範囲(下位階層の探索範囲)を広げて探索を行うか否かを決定するように構成することができる。このような構成の本実施形態によれば、2つの画像のうち一方の画像に含まれる第一画像ブロックの大きさに応じて、効率よく視差探索を行うことができる。
また、局所探索内の非類似度の差が任意の閾値よりも大きいときは局所探索範囲外に最小値が存在する確率が高いとみなして本機能をオンにし、逆に、非類似度の差が小さいときは局所探索範囲外に最小値が存在する確率が低いとしてオフにするような運用も可能である。
このように演算装置1(画像処理装置)において、視差探索部101は、第一階層のステレオマッチング処理における探索(上位階層の局所探索)において、第一の探索範囲内の類似度の差が、予め定めた閾値より大きいか否かに基づき、第一の探索幅又は第二の探索範囲を広げて探索を行うか否かを決定するように構成することができる。このような構成の本実施形態によれば、第一の探索範囲内の類似度の差に応じて、効率よく視差探索を行うことができる。
また、局所探索範囲内で最小値をとった端の近くにある視差の非類似度が、他の視差の非類似度と比べて所定量以上の差がある場合に、本機能をオンにするような運用も可能である。
このように演算装置1(画像処理装置)において、視差無効性判定部103は、第一階層のステレオマッチング処理における探索(上位階層の局所探索)において、最も類似度の高い画像ブロックの類似度が、探索範囲内の他の画像ブロックの類似度と比べて、予め定めた閾値より大きい差があるか否かに基づき、第一の探索幅又は第二の探索範囲を広げて探索を行うか否かを決定するように構成することができる。このような構成の本実施形態によれば、第一の探索範囲内の類似度の差に応じて、効率よく視差探索を行うことができる。
[局所探索処理の手順例]
以下、上述した本機能のオン/オフの切り替えについて図9を参照して説明する。
図9は、本発明の第2の実施形態における局所探索範囲内の非類似度の大小の例を示す図である。
例えば、図9のように局所探索範囲の左右端の非類似度のうち小さい方を“LRmin”、左右端を除いた非類似度の最大を“SADmax”、最小を“SADmin”とする。ここで、閾値Th0を定めておき、視差無効性判定部103は、次の式(1)が成立するかどうかを判定して式(1)が成立するときに本機能をオンにする運用をしてもよい。
以下、上述した本機能のオン/オフの切り替えについて図9を参照して説明する。
図9は、本発明の第2の実施形態における局所探索範囲内の非類似度の大小の例を示す図である。
例えば、図9のように局所探索範囲の左右端の非類似度のうち小さい方を“LRmin”、左右端を除いた非類似度の最大を“SADmax”、最小を“SADmin”とする。ここで、閾値Th0を定めておき、視差無効性判定部103は、次の式(1)が成立するかどうかを判定して式(1)が成立するときに本機能をオンにする運用をしてもよい。
[数1]
SADmin-LRmin ≧ Th0 ・・・・(1)
SADmin-LRmin ≧ Th0 ・・・・(1)
このような運用とするのは、局所探索範囲の左右端で大きく非類似度が落ち込んでいることから、局所探索範囲外に、より小さな非類似度の点が存在する可能性が高いためである。
また、閾値Th1を定めおき、視差無効性判定部103は、次の式(2)が成立するかどうかを判定して式(2)が成立するときに本機能をオンにする運用をしてもよい。
[数2]
SADmax-LRmin ≧ Th1 ・・・・(2)
SADmax-LRmin ≧ Th1 ・・・・(2)
このような運用とするのは、局所探索範囲内での非類似度の大きな変動から、局所探索範囲周辺に、より小さな非類似度の点が存在すると推測できるためである。
同様に、閾値Th2を定めておき、視差無効性判定部103は、次の式(3)が成立するかどうかを判定して式(3)が成立するときに本機能をオンにする運用としてもよい。
[数3]
SADmax-SADmin ≧ Th2 ・・・・(3)
SADmax-SADmin ≧ Th2 ・・・・(3)
このように演算装置1において、視差無効性判定部103は、画像ブロック内の輝度勾配(非類似度の勾配;例えば、SADmin-LRmin、SADmax-LRmin、又はSADmax-SADmin)が、予め定めた閾値(例えば、Th0、Th1、又はTh2)より大きいか否かに基づいて、第一の探索幅(上位階層の探索幅)又は第二の探索範囲(下位階層の探索範囲)を広げて探索を行うか否かを決定するように構成することができる。このような構成の本実施形態によれば、画像ブロック内の輝度勾配に応じて、効率よく視差探索を行うことができる。
なお、演算装置1において、視差無効性判定部103は、第一階層のステレオマッチング処理(上位階層の局所探索)において求めた第一の視差が、予め定めた閾値より大きいか否かに基づいて、第一の探索幅又は第二の探索範囲を広げて探索を行うか否かを決定するように構成してもよい。このような構成の本実施形態によれば、2つのカメラから物体までの距離の遠近(第一の視差と閾値との関係)に応じて、効率よく視差探索を行うことができる。
<第3の実施形態>
次に、第3の実施形態に係る演算装置(画像処理装置の一例)について図10を参照して説明する。
図10は、第3の実施形態の視差算出部100Aによる階層探索第N階層の局所探索処理の手順例を示すフローチャートである。本実施形態に係る視差算出部100Aは、第2の実施形態に係る視差算出部100Aと同じ構成を用いることができる。図10のステップS21~S25の処理は、第2の実施形態における図8のステップS11~S15の処理と同じであるため、説明を省略する。
次に、第3の実施形態に係る演算装置(画像処理装置の一例)について図10を参照して説明する。
図10は、第3の実施形態の視差算出部100Aによる階層探索第N階層の局所探索処理の手順例を示すフローチャートである。本実施形態に係る視差算出部100Aは、第2の実施形態に係る視差算出部100Aと同じ構成を用いることができる。図10のステップS21~S25の処理は、第2の実施形態における図8のステップS11~S15の処理と同じであるため、説明を省略する。
まず、視差算出部100Aにおいて、上位参照視差決定部102及び視差探索部101は、ステップS21~S25の処理を実施する。
ステップS25の処理後、視差無効性判定部103は、視差探索部101による探索結果を基に、局所探索範囲内に非類似度の複数の極小値があるか否かを判定する(ステップS26)。
ステップS26において局所探索範囲内に非類似度の極小値が一つである場合(ステップS26のNO)、視差無効性判定部103は、局所探索範囲内での極小値の位置(端との距離が閾値よりも近いかどうか)に応じて有効/無効を判定し、視差及び視差有効/無効を確定して出力する(ステップS28)。
一方、局所探索範囲内に非類似度の複数の極小値が存在する場合(ステップS26のYES)、視差無効性判定部103は、視差を無効と判定して判定結果を出力する(ステップS27)。視差及び視差有効/無効の情報は、車両制御装置4及び上位参照視差決定部102に出力される。ステップS27又はS28の処理後、階層探索第N階層の局所探索処理を終了する。
以上のとおり、第3の実施形態に係る画像処理装置(演算装置1)は、第一階層のステレオマッチング処理(上位階層の局所探索)において、第一画像ブロックと類似するとされる画像ブロックが複数存在する場合に、第一階層のステレオマッチング処理の結果、第一の視差を出力せず、第二階層のステレオマッチング処理(下位階層の局所探索)を行うように構成することができる。
上記構成の本実施形態によれば、第一階層のステレオマッチング処理において、第一画像ブロックと類似するとされる画像ブロックが複数存在する場合に、求めた視差を無効判定するとともに、第二階層のステレオマッチング処理(下位階層の局所探索)を行うため、対応する下位の視差すべてを無効とすることを避け、視差算出の可能性を高めることができる。
また、演算装置1において、視差無効性判定部103は、第2の実施形態の構成を流用して、画像ブロック内の輝度勾配が、予め定めた閾値よりも大きいか否かに基づいて、第一の視差を出力するか否かを決定するように構成することができる。このような構成の本実施形態によれば、画像ブロック内の輝度勾配に応じて、効率よく視差探索を行うことができる。
<変形例>
さらに、本発明は上述した実施形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。例えば、上述した実施形態は本発明を分かりやすく説明するためにその構成を詳細かつ具体的に説明したものであり、必ずしも説明したすべての構成要素を備えるものに限定されない。また、ある実施形態の構成の一部を他の実施形態の構成要素に置き換えることが可能である。また、ある実施形態の構成に他の実施形態の構成要素を加えることも可能である。また、各実施形態の構成の一部について、他の構成要素の追加又は置換、削除をすることも可能である。
さらに、本発明は上述した実施形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。例えば、上述した実施形態は本発明を分かりやすく説明するためにその構成を詳細かつ具体的に説明したものであり、必ずしも説明したすべての構成要素を備えるものに限定されない。また、ある実施形態の構成の一部を他の実施形態の構成要素に置き換えることが可能である。また、ある実施形態の構成に他の実施形態の構成要素を加えることも可能である。また、各実施形態の構成の一部について、他の構成要素の追加又は置換、削除をすることも可能である。
また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的、あるいは個別に実行される処理(例えば、オブジェクトによる処理)をも含むものである。
また、上述した実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成要素が相互に接続されていると考えてもよい。
1…演算装置、 2…左カメラ、 3…右カメラ、 4…車両制御装置、 10…車両、 20…被写体、 41…距離画像、 45…粗距離画像、 46…詳細距離画像、 21…第1カメラ画像(左カメラ画像)、 31…第2カメラ画像(右カメラ画像)、 100,100A…視差算出部、 101…視差探索部、 102…上位参照視差決定部、 103…視差無効性判定部、 201,203…画像領域、 202…エピポーラ線、 501~503,901…視差
Claims (12)
- 2つのカメラで撮像された2つの画像を比較して視差を求める視差算出部を備えた画像処理装置であって、
前記視差算出部は、
第一の大きさの画像領域であり前記2つの画像のうち一方の画像に含まれる第一画像ブロックと最も類似度の高い画像ブロックを、前記2つの画像の他方の画像のうち予め定められた第一の探索幅に基づいて決められる第一の探索範囲から特定することで、前記第一の大きさの画像領域単位で第一の視差を求める第一階層のステレオマッチング処理と、
第一の大きさより小さい第二の大きさの画像領域であり前記2つの画像のうち一方の画像に含まれる第二画像ブロックと最も類似度の高い画像ブロックを、前記2つの画像の他方の画像のうち前記第一の視差及び予め定められた第二の探索幅に基づいて決められる第二の探索範囲から特定することで、前記第二の大きさの画像領域単位で第二の視差を求める第二階層のステレオマッチング処理と、を行い、
前記第一階層のステレオマッチング処理において、前記第一の探索範囲内の端で、前記第一画像ブロックと最も類似度の高い画像ブロックが存在する場合に、前記第一の探索幅又は前記第二の探索範囲を広げて、探索を行う、
画像処理装置。 - 前記第一の探索幅又は前記第二の探索範囲を広げて探索を行う際に、前記第一の探索幅又は前記第二の探索範囲に予め上限を設ける、
請求項1に記載の画像処理装置。 - 前記視差算出部は、前記第一の探索幅又は前記第二の探索範囲を広げて探索を行う際に、探索方向に沿って類似度が減少した点に基づき探索を打ち切る、
請求項1に記載の画像処理装置。 - 前記視差算出部は、前記第一階層のステレオマッチング処理において、前記第一の探索範囲内の端で、前記第一画像ブロックと最も類似度の高い画像ブロックが存在する場合に、前記第一の探索範囲のいずれの端で前記最も類似度の高い画像ブロックが見つかったかに基づいて、前記第一の探索幅又は前記第二の探索範囲を決定する、
請求項1に記載の画像処理装置。 - 前記視差算出部は、前記第一画像ブロックの大きさに基づき、前記第一の探索幅又は前記第二の探索範囲を広げて探索を行うか否かを決定する、
請求項1に記載の画像処理装置。 - 前記視差算出部は、前記第一階層のステレオマッチング処理における探索において、前記第一の探索範囲内の前記類似度の差が、予め定めた閾値より大きいか否かに基づき、前記第一の探索幅又は前記第二の探索範囲を広げて探索を行うか否かを決定する、
請求項1に記載の画像処理装置。 - 前記視差算出部は、前記第一階層のステレオマッチング処理における探索において、前記最も類似度の高い画像ブロックの類似度が、前記探索範囲内の他の画像ブロックの類似度と比べて、予め定めた閾値より大きい差があるか否かに基づき、前記第一の探索幅又は前記第二の探索範囲を広げて探索を行うか否かを決定する、
請求項1に記載の画像処理装置。 - 前記視差算出部は、前記第一階層のステレオマッチング処理において求めた前記第一の視差が、予め定めた閾値より大きいか否かに基づいて、前記第一の探索幅又は前記第二の探索範囲を広げて探索を行うか否かを決定する、
請求項1に記載の画像処理装置。 - 前記視差算出部は、前記画像ブロック内の輝度勾配が、予め定めた閾値より大きいか否かに基づいて、前記第一の探索幅又は前記第二の探索範囲を広げて探索を行うか否かを決定する、
請求項1に記載の画像処理装置。 - 前記視差算出部は、前記第一階層のステレオマッチング処理において、前記第一画像ブロックと類似するとされる画像ブロックが複数存在する場合に、前記第一階層のステレオマッチング処理の結果、前記第一の視差を出力せず、前記第二階層のステレオマッチング処理を行う、
請求項1に記載の画像処理装置。 - 前記視差算出部は、前記画像ブロック内の輝度勾配が、予め定めた閾値よりも大きいか否かに基づいて、前記第一の視差を出力するか否かを決定する、
請求項10に記載の画像処理装置。 - 2つのカメラで撮像された2つの画像を比較して視差を求める視差算出部を備えた画像処理装置による画像処理方法であって、
前記視差算出部は、
第一の大きさの画像領域であり前記2つの画像のうち一方の画像に含まれる第一画像ブロックと最も類似度の高い画像ブロックを、前記2つの画像の他方の画像のうち予め定められた第一の探索幅に基づいて決められる第一の探索範囲から特定することで、前記第一の大きさの画像領域単位で第一の視差を求める第一階層のステレオマッチング処理と、
第一の大きさより小さい第二の大きさの画像領域であり前記2つの画像のうち一方の画像に含まれる第二画像ブロックと最も類似度の高い画像ブロックを、前記2つの画像の他方の画像のうち前記第一の視差及び予め定められた第二の探索幅に基づいて決められる第二の探索範囲から特定することで、前記第二の大きさの画像領域単位で第二の視差を求める第二階層のステレオマッチング処理と、を行い、
前記第一階層のステレオマッチング処理において、前記第一の探索範囲内の端で、前記第一画像ブロックと最も類似度の高い画像ブロックが存在する場合に、前記第一の探索幅又は前記第二の探索範囲を広げて、探索を行う、
画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022077643A JP2023166832A (ja) | 2022-05-10 | 2022-05-10 | 画像処理装置及び画像処理方法 |
PCT/JP2023/014886 WO2023218844A1 (ja) | 2022-05-10 | 2023-04-12 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022077643A JP2023166832A (ja) | 2022-05-10 | 2022-05-10 | 画像処理装置及び画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023166832A true JP2023166832A (ja) | 2023-11-22 |
Family
ID=88730117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022077643A Pending JP2023166832A (ja) | 2022-05-10 | 2022-05-10 | 画像処理装置及び画像処理方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023166832A (ja) |
WO (1) | WO2023218844A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6548518B2 (ja) * | 2015-08-26 | 2019-07-24 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および情報処理方法 |
JP7118020B2 (ja) * | 2019-02-27 | 2022-08-15 | 日立Astemo株式会社 | 演算装置、視差算出方法 |
JP7136721B2 (ja) * | 2019-02-28 | 2022-09-13 | 日立Astemo株式会社 | 演算装置、視差算出方法 |
-
2022
- 2022-05-10 JP JP2022077643A patent/JP2023166832A/ja active Pending
-
2023
- 2023-04-12 WO PCT/JP2023/014886 patent/WO2023218844A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023218844A1 (ja) | 2023-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9771080B2 (en) | Road surface gradient detection device | |
US20150367781A1 (en) | Lane boundary estimation device and lane boundary estimation method | |
US10041791B2 (en) | Object detection apparatus method | |
JP5371725B2 (ja) | 物体検出装置 | |
JP6035774B2 (ja) | 画像処理装置、画像処理方法、及び車両 | |
US10984258B2 (en) | Vehicle traveling environment detecting apparatus and vehicle traveling controlling system | |
JP2010224924A (ja) | 画像処理装置 | |
JP2009139323A (ja) | 車両用走行路面検出装置 | |
JP6810009B2 (ja) | 視差算出装置 | |
CN113240631B (zh) | 基于rgb-d融合信息的路面检测方法、系统和智能终端 | |
WO2023218844A1 (ja) | 画像処理装置及び画像処理方法 | |
JP2010224936A (ja) | 物体検出装置 | |
WO2020175063A1 (ja) | 演算装置、視差算出方法 | |
US10810757B2 (en) | Vehicle exterior environment recognition apparatus | |
JP5392473B2 (ja) | 車両用運転支援装置 | |
JP7118020B2 (ja) | 演算装置、視差算出方法 | |
JP6936557B2 (ja) | 探索処理装置、及びステレオカメラ装置 | |
JP6152646B2 (ja) | 複眼カメラ装置、及びそれを備えた車両 | |
WO2018174123A1 (ja) | 物体検出装置、交通監視システム、物体検出装置の制御方法及びプログラム | |
US11460582B2 (en) | Vehicle exterior environment monoscopic and stereoscopic based detection apparatus | |
JP7115832B2 (ja) | 測距装置 | |
JP7066580B2 (ja) | 画像処理装置 | |
JP2021168032A (ja) | 物体検出装置 | |
JP5996411B2 (ja) | 画像処理装置 | |
KR102424664B1 (ko) | 3차원 영상정보 기반 객체 추적 장치 및 방법 |