JP2016109587A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2016109587A
JP2016109587A JP2014248228A JP2014248228A JP2016109587A JP 2016109587 A JP2016109587 A JP 2016109587A JP 2014248228 A JP2014248228 A JP 2014248228A JP 2014248228 A JP2014248228 A JP 2014248228A JP 2016109587 A JP2016109587 A JP 2016109587A
Authority
JP
Japan
Prior art keywords
image
partial image
partial
unit
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014248228A
Other languages
English (en)
Other versions
JP6158779B2 (ja
Inventor
泰樹 河野
Yasuki Kono
泰樹 河野
正樹 増田
Masaki Masuda
正樹 増田
直輝 川嵜
Naoteru Kawasaki
直輝 川嵜
和寿 石丸
Kazuhisa Ishimaru
和寿 石丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Original Assignee
Denso Corp
Nippon Soken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Nippon Soken Inc filed Critical Denso Corp
Priority to JP2014248228A priority Critical patent/JP6158779B2/ja
Priority to US14/961,465 priority patent/US10033981B2/en
Publication of JP2016109587A publication Critical patent/JP2016109587A/ja
Application granted granted Critical
Publication of JP6158779B2 publication Critical patent/JP6158779B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/133Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】マッチング精度を高めることができる画像処理装置を提供すること。【解決手段】第1、第2の画像を取得する画像取得ユニット(3)と、第1部分画像を抽出する第1部分画像抽出ユニット(5)と、第2部分画像を順次抽出する第2部分画像抽出ユニット(7)と、第1部分画像と第2部分画像との類似度を判断するマッチングユニット(13)と、類似度が最も高い第2部分画像を類似部分画像とする類似部分画像設定ユニット(17)と、第1部分画像及び第2部分画像の輝度を対比する輝度対比ユニット(15)とを備え、輝度対比ユニットによる対比結果が範囲外である場合、マッチングユニットは、輝度を対比した第1部分画像及び第2部分画像を判断対象から除外することを特徴とする画像処理装置(1)。【選択図】図1

Description

本発明は画像処理装置に関する。
従来、ステレオカメラを用いて2枚の画像を取得し、その2枚の画像に対しマッチングを行い、距離測定を行う技術が知られている。マッチングは一般的に、画像の輝度値を用いて行う。2枚の画像において、同じ物標を撮影した部分同士を対比したとき、それらの輝度値が異なることがある。これは、カメラのレンズの状態、イメージャ誤差、経年劣化等の原因による。この対策として、(1)2枚の画像を比較し、輝度の差分から片方の画像を補正する技術(特許文献1)、(2)画像を局所的に補正してからマッチングを行う技術(特許文献2)が提案されている。
特開2009−069114号公報 特開2011−243194号公報
しかしながら、特許文献1、2記載の技術では、マッチングの精度を十分に向上させることは困難であった。本発明は、こうした問題にかんがみてなされたものであり、マッチング精度を高めることができる画像処理装置を提供することを目的としている。
本発明の第1局面に係る画像処理装置は、ステレオ画像を構成する第1の画像及び第2の画像を取得する画像取得ユニットと、第1の画像から第1部分画像を抽出する第1部分画像抽出ユニットと、第2の画像から第2部分画像を順次抽出する第2部分画像抽出ユニットと、第1部分画像と第2部分画像との類似度を判断するマッチングユニットと、第2部分画像のうち、類似度が最も高い第2部分画像を、第1部分画像に対応する類似部分画像とする類似部分画像設定ユニットと、第1部分画像及び第2部分画像の輝度を対比する輝度対比ユニットとを備え、輝度対比ユニットによる対比結果が予め設定された範囲の外である場合、マッチングユニットは、輝度を対比した第1部分画像及び第2部分画像を、判断対象から除外する。
この画像処理装置は、輝度対比ユニットによる対比結果が予め設定された範囲の外である場合、第1部分画像及び第2部分画像を、マッチングの対象から除外する。そのため、輝度が正常でない第1部分画像及び第2部分画像の組み合わせについてはマッチングを行わないようにできるので、マッチングを精度よく行うことができる。
本発明の第2局面に係る画像処理装置は、ステレオ画像を構成する第1の画像及び第2の画像を取得する画像取得ユニットと、第1の画像から第1部分画像を抽出する第1部分画像抽出ユニットと、第2の画像から第2部分画像を順次抽出する第2部分画像抽出ユニットと、第1部分画像と第2部分画像との類似度を判断するマッチングユニットと、第2部分画像のうち、類似度が最も高い第2部分画像を、第1部分画像に対応する類似部分画像とする類似部分画像設定ユニットと、第1部分画像及び第2部分画像の輝度を対比する輝度対比ユニットと、第1部分画像及び類似部分画像における輝度の対比結果が予め設定された範囲の外である場合、第1部分画像及び類似部分画像について、前記場合に特有の情報を出力する情報出力ユニットと、を備える。
この画像処理装置は、第1部分画像及び類似部分画像における輝度の対比結果が予め設定された範囲の外である場合、その場合に特有の情報を出力する。例えば、画像処理装置の出力結果を使用する他の装置等は、その情報に応じ、マッチングの結果を適切に使用することができる。
本発明の第3局面に係る画像処理装置は、ステレオ画像を構成する第1の画像及び第2の画像を取得する画像取得ユニットと、第1の画像から第1部分画像を抽出する第1部分画像抽出ユニットと、第2の画像から第2部分画像を順次抽出する第2部分画像抽出ユニットと、第1部分画像と第2部分画像との類似度を判断するマッチングユニットと、第1部分画像及び第2部分画像の輝度を対比する輝度対比ユニットと、マッチングユニットにおける判断結果と、輝度対比ユニットにおける対比結果とに基づき、第2部分画像のうち、第1部分画像に対応するものを判断する類似部分画像設定ユニットと、を備える。
画像処理装置1の構成を表すブロック図である。 画像処理装置1が実行する処理を表すフローチャートである。 第1部分画像29及び第2部分画像31を表す説明図である。 画像処理装置101の構成を表すブロック図である。 画像処理装置101が実行する処理を表すフローチャートである。 画像処理装置201の構成を表すブロック図である。 画像処理装置201が実行する処理を表すフローチャートである。 図8Aはマッチングにおける類似度とポイントPとの関係を表すグラフであり、図8Bは、部分画像輝度比とポイントPとの関係を表すグラフである。
本発明の実施形態を説明する。
<第1の実施形態>
1.画像処理装置1の構成
画像処理装置1の構成を図1に基づき説明する。画像処理装置1は車両に搭載される車載装置である。以下では、画像処理装置1を搭載する車両を自車両とする。画像処理装置1は、CPU、RAM、ROM等から成る周知のコンピュータであって、ROMに記憶されたプログラムにより、後述する処理を実行する。
画像処理装置1は、機能的に、画像取得ユニット3、第1部分画像抽出ユニット5、第2部分画像抽出ユニット7、範囲設定ユニット9、補正ユニット11、マッチングユニット13、輝度対比ユニット15、及び類似部分画像設定ユニット17を有する。各ユニットが実行する処理は後述する。
自車両は、画像処理装置1に加えて、左カメラ19、右カメラ21、走行可能区間認識装置23、立体物認識装置25、及び車両制御部27を備える。左カメラ19は自車両における左寄りの位置に設けられ、自車両の前方を撮影する。右カメラ21は自車両における右寄りの位置に設けられ、自車両の前方を撮影する。左カメラ19と右カメラ21とはステレオカメラを構成する。左カメラ19の路面からの高さと、右カメラ21の路面からの高さとは同じである。
左カメラ19により撮影した画像(以下、第1の画像とする)と、右カメラ21により撮影した画像(以下、第2の画像とする)は、画像取得ユニット3に入力される。第1の画像及び第2の画像はステレオ画像を構成する。自車両の前方に存在する1つの物標(例えば、人、車両、自転車、バイク、信号機、路側物、標識等)は、第1の画像及び第2の画像にそれぞれ存在する。左カメラ19と右カメラ21とでは左右方向における位置が異なるため、第1の画像における物標の位置と、第2の画像における同一の物標の位置とは異なる(すなわち、視差が生じる)。視差の大きさは、自車両からその物標までの距離に依存する。つまり、自車両から物標までの距離が小さいほど、視差は大きくなる。
2.画像処理装置1が実行する処理
画像処理装置1が実行する処理を図2、図3に基づき説明する。この処理は、所定時間ごとに繰り返し実行される。
図2のステップ1では、画像取得ユニット3が、左カメラ19から第1の画像を取得するとともに、右カメラ21から第2の画像を取得する。
ステップ2では、範囲設定ユニット9が、前記ステップ1で取得した第1の画像及び第2の画像の輝度を対比し、以下の式(1)で表される全体輝度比Rを算出する。
式(1)R=K/K
ここで、Kは第1の画像全体における平均輝度である。また、Kは、第2の画像全体における平均輝度である。
ステップ3では、範囲設定ユニット9が、前記ステップ2で算出した全体輝度比Rに基づき、正常輝度範囲を設定する。正常輝度範囲とは、R−dから、R+dまでの輝度の範囲である。ここで、d、dはそれぞれ正の数である。d、dは固定値であってもよいし、Rに応じて変化する値であってもよい。
ステップ4では、第1部分画像抽出ユニット5が、前記ステップ1で取得した第1の画像から、図3に示すように、第1部分画像29を抽出する。第1部分画像29は、第1の画像の一部であって、縦2画素、横2画素の矩形の領域である。
なお、第1部分画像29の抽出は、後述するステップ12で肯定判断するまで繰り返し行われる。抽出される第1部分画像29の位置は、本ステップ4の処理を実行するごとに、第1の画像の中で所定量だけずれてゆく。
ステップ5では、第2部分画像抽出ユニット7が、前記ステップ1で取得した第2の画像から、図3に示すように、第2部分画像31を抽出する。第2部分画像31は、第2の画像の一部であって、第1部分画像29と同様に、縦2画素、横2画素の矩形の領域である。また、第2部分画像31は、直前の前記ステップ4で抽出された第1部分画像29と、上下方向における位置が等しい。
なお、第2部分画像31の抽出は、後述するステップ10で肯定判断するまで繰り返し行われる。抽出される第2部分画像31の位置は、本ステップ5の処理を実行するごとに、第1部分画像29と上下方向における位置が等しいという条件の下で、第2の画像の中で所定量だけずれてゆく。すなわち、第2部分画像31は、第2の画像の中で少しずつ位置をずらしながら、順次抽出される。
ステップ6では、輝度対比ユニット15が、直前の前記ステップ4で抽出した第1部分画像の輝度と、直前の前記ステップ5で抽出した第2部分画像の輝度とを対比し、以下の式(2)で表される部分画像輝度比rを算出する。
式(2) r=bk/bk
ここで、bkは第1部分画像における平均輝度である。また、bkは、第2部分画像における平均輝度である。
ステップ7では、前記ステップ6で算出した部分画像輝度比rが、前記ステップ3で設定した正常輝度範囲内であるか(すなわち、部分画像輝度比rが正常であるか)否かを、輝度対比ユニット15が判断する。部分画像輝度比rが正常である場合はステップ8に進み、正常でない場合はステップ10に進む。
ステップ8では、補正ユニット11が、直前の前記ステップ4で抽出した第1部分画像における各画素の輝度と、直前の前記ステップ5で抽出した第2部分画像における各画素の輝度とをそれぞれ補正する。この補正は、レンズの周辺減光に起因する輝度のばらつきを抑制するものである。補正前の第1部分画像、第2部分画像では、周辺減光の影響により、周辺部の輝度は、中心部に比べて低い。本ステップ8の補正により、周辺部の輝度と、中心部の輝度との差を小さくする。補正量は、左カメラ19、右カメラ21の特性に応じて、画像における画素の位置ごとに、予め設定されている。
ステップ9では、マッチングユニット13が、前記ステップ8で補正した後の第1部分画像及び第2部分画像についてマッチングを行い、両者の類似度を判断する。マッチングの方法としては周知の方法の中から適宜選択することができ、例えば以下のようなマッチング方法が挙げられる。
・絶対値差分和(SAD(Sum of Absolute Difference)):比較領域において、各画素の差分の絶対値の合計で比較する。
・差分二乗和(SSD(Sum of Squared Difference)):比較領域において、各画素の差分の二乗の合計で比較する。
・ゼロ平均絶対値差分和(ZSAD(Zero-mean Sum of Absolute Differences)):比較領域をその領域内の平均輝度値で引いたもので、各画素の差分の絶対値の合計で比較する。
・ゼロ平均差分二乗和(ZSSD(Zerso-mean Sum of Squared Differences)):比較領域をその領域内の平均輝度値で引いたもので、各画素の差分の二乗の合計で比較する。
・局所スケール絶対値差分和(LSAD(Locally scaled Sum of Absolute Differences )):比較領域をその領域内の平均輝度値の比で補正したもので、各画素の差分の絶対値の合計で比較する。
・局所スケール差分二乗和(LSSD(Locally scaled Sum of Squared Differences )):比較領域をその領域内の平均輝度値の比で補正したもので、各画素の差分の二乗の合計で比較する。
・正規化相互相関(NCC(Normalized Cross Correlation)):正規化相関を用いて比較する。
・ゼロ平均正規化相互相関(ZNCC(Zero-mean Normalized Cross Correlation)):比較領域をその領域内の平均輝度値で引いたもので、正規化相関を用いて比較する。
ステップ10では、直前の前記ステップ4で抽出された第1部分画像29と上下方向における位置が等しいという条件の下で、全ての第2部分画像を抽出し終わったか否かを判断する。抽出し終わった場合はステップ11に進み、未だ抽出し終わっていない場合はステップ5に進む。
ステップ11では、類似部分画像設定ユニット17が、直前の前記ステップ4で抽出した第1部分画像について抽出された第2部分画像のうち、前記ステップ9でのマッチングにおける類似度が最も高い第2部分画像を、直前の前記ステップ4で抽出した第1部分画像に対応する類似部分画像として設定する。
ステップ12では、第1の画像において、全ての第1部分画像を抽出し終わったか否かを判断する。抽出し終わった場合は本処理を終了し、未だ抽出し終わっていない場合はステップ4に進む。
以上の処理により、第1の画像中の第1部分画像と、それに対応する第2の画像中の類似部分画像とが特定される。この第1部分画像と、それに対応する類似部分画像とは、同一の物標を撮影した領域である。
走行可能区間認識装置23及び立体物認識装置25は、第1の画像における第1部分画像の位置と、第2の画像における類似部分画像の位置との差(視差)に応じて、自車両から、前方に存在する物標(第1部分画像及びそれに対応する類似分画像として現れている物標)までの距離を算出する。車両制御部27は、自車両から、前方の物標までの距離に応じて、各種処理(例えば、自動ブレーキ、自動操舵、警報出力等)を行う。
3.画像処理装置1が奏する効果
(1A)画像処理装置1は、第1部分画像及び第2部分画像における部分画像輝度比rが正常輝度範囲外である場合、その第1部分画像及び第2部分画像を、マッチングの対象から除外する。そのため、輝度が正常でない第1部分画像及び第2部分画像の組み合わせについてはマッチングを行わないようにできるので、マッチングを精度よく行うことができる。
(1B)画像処理装置1は、第1の画像と第2の画像との輝度の対比結果に基づき、正常輝度範囲を設定する。そのため、第1の画像及び第2の画像に応じて適切に正常輝度範囲を設定することができる。
(1C)画像処理装置1は、マッチングの前に、第1部分画像及び第2部分画像の輝度を補正する。その補正は、レンズの周辺減光に起因する輝度のばらつきを抑制するものである。よって、画像処理装置1は、マッチングを一層精度よく行うことができる。
<第2の実施形態>
1.画像処理装置101の構成
画像処理装置101の構成を図4に基づき説明する。画像処理装置101の構成は基本的には前記第1の実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。画像処理装置101は、さらに情報出力ユニット33を備える。情報出力ユニット33の機能は後述する。
2.画像処理装置101が実行する処理
画像処理装置101が実行する処理を図5に基づき説明する。この処理は、基本的には前記第1の実施形態と同様であるため、共通する処理については説明を省略し、相違点を中心に説明する。
図5のステップ21〜25の処理は、前記第1の実施形態におけるステップ1〜5の処理と同様である。
ステップ26では、補正ユニット11が、直前の前記ステップ24で抽出した第1部分画像の輝度と、直前の前記ステップ25で抽出した第2部分画像の輝度とをそれぞれ補正する。補正の方法は、前記第1の実施形態における前記ステップ8と同様である。
ステップ27では、マッチングユニット13が、前記ステップ26で補正した後の第1部分画像及び第2部分画像についてマッチングを行い、両者の類似度を判断する。マッチングの方法は、前記第1の実施形態における前記ステップ9と同様である。
ステップ28では、輝度対比ユニット15が、直前の前記ステップ27でマッチングを行った第1部分画像及び第2部分画像の輝度を対比し、部分画像輝度比rを算出する。部分画像輝度比rの算出方法は、前記第1の実施形態における前記ステップ6と同様である。
ステップ29では、直前の前記ステップ24で抽出された第1部分画像と上下方向における位置が等しいという条件の下で、全ての第2部分画像を抽出し終わったか否かを判断する。抽出し終わった場合はステップ30に進み、未だ抽出し終わっていない場合はステップ25に進む。
ステップ30では、類似部分画像設定ユニット17が、直前の前記ステップ24で抽出した第1部分画像について抽出された第2部分画像のうち、前記ステップ27でのマッチングにおける類似度が最も高い第2部分画像を、直前の前記ステップ24で抽出した第1部分画像に対応する類似部分画像として設定する。
ステップ31では、直前の前記ステップ24で抽出した第1部分画像と、それに対応する類似部分画像とにおける部分画像輝度比rが、前記ステップ23で設定した正常輝度範囲内であるか(すなわち、部分画像輝度比rが正常であるか)否かを、輝度対比ユニット15が判断する。部分画像輝度比rが正常である場合はステップ33に進み、正常でない場合はステップ32に進む。
ステップ32では、情報出力ユニット33が、異常情報を出力する。異常情報には、部分画像輝度比rが異常である、第1部分画像と、それに対応する類似部分画像とを特定する内容が含まれる。また、異常情報には、部分画像輝度比rが異常であることを特定可能な内容が含まれる。異常情報は、画像処理装置101内に記憶されるとともに、走行可能区間認識装置23及び立体物認識装置25に出力される。
ステップ33では、第1の画像において、全ての第1部分画像を抽出し終わったか否かを判断する。抽出し終わった場合は本処理を終了し、未だ抽出し終わっていない場合はステップ24に進む。
3.画像処理装置101が奏する効果
(2A)画像処理装置101は、第1部分画像と、それに対応する類似部分画像とにおける部分画像輝度比rが正常輝度範囲外である場合、異常情報を出力する。
走行可能区間認識装置23及び立体物認識装置25は、第1の画像における第1部分画像の位置と、第2の画像における類似部分画像の位置との差(視差)を算出し、その視差に応じて処理を行う場合、異常情報の有無に応じて処理の内容を変える。例えば、異常情報がある第1部分画像及び類似部分画像における視差は、異常情報がないものにおける視差よりも、重み付けを軽くする。そのことにより、マッチングに対する信頼性に応じて適切に処理を行うことができる。
<第3の実施形態>
1.画像処理装置201の構成
画像処理装置201の構成を図6に基づき説明する。画像処理装置201の構成は基本的には前記第1の実施形態と同様である。
2.画像処理装置201が実行する処理
画像処理装置201が実行する処理を図7、図8に基づき説明する。この処理は、基本的には前記第1の実施形態と同様であるため、共通する処理については説明を省略し、相違点を中心に説明する。
図7のステップ41〜45の処理は、前記第1の実施形態におけるステップ1〜5の処理と同様である。
ステップ46では、補正ユニット11が、直前の前記ステップ44で抽出した第1部分画像における各画素の輝度と、直前の前記ステップ45で抽出した第2部分画像における各画素の輝度とをそれぞれ補正する。補正の方法は、前記第1の実施形態における前記ステップ8と同様である。
ステップ47では、マッチングユニット13が、前記ステップ46で補正した後の第1部分画像及び第2部分画像についてマッチングを行い、両者の類似度を判断する。マッチングの方法は、前記第1の実施形態における前記ステップ9と同様である。
ステップ48では、輝度対比ユニット15が、直前の前記ステップ47でマッチングを行った第1部分画像及び第2部分画像の輝度を対比し、部分画像輝度比rを算出する。部分画像輝度比rの算出方法は、前記第1の実施形態における前記ステップ6と同様である。
ステップ49では、類似部分画像設定ユニット17が、まず、前記ステップ47において判断した第1部分画像と第2部分画像との類似度から、ポイントPを算出する。類似部分画像設定ユニット17は、類似度を入力すると、それに応じたポイントPを出力するマップを備えている。類似部分画像設定ユニット17は、このマップを用いてポイントPを算出する。上記のマップにおける類似度とポイントPとの関係は、図8Aに示すように、類似度が高いほど、ポイントPが大きいという関係である。
次に、類似部分画像設定ユニット17は、前記ステップ48において算出した部分画像輝度比rから、ポイントPを算出する。類似部分画像設定ユニット17は、部分画像輝度比rを入力すると、それに応じたポイントPを出力するマップを備えている。類似部分画像設定ユニット17は、このマップを用いてポイントPを算出する。上記のマップにおける部分画像輝度比rとポイントPとの関係は、図8Bに示すように、部分画像輝度比rが前記ステップ43で設定した正常輝度範囲内であれば最もポイントPが大きく、正常輝度範囲から離れるほど、ポイントPが小さくなるという関係である。
最後に、類似部分画像設定ユニット17は、ポイントPとポイントPとを加算して、総合ポイントPを算出する。
ステップ50では、直前の前記ステップ44で抽出された第1部分画像と上下方向における位置が等しいという条件の下で、全ての第2部分画像を抽出し終わったか否かを判断する。抽出し終わった場合はステップ51に進み、未だ抽出し終わっていない場合はステップ45に進む。
ステップ51では、類似部分画像設定ユニット17が、直前の前記ステップ44で抽出した第1部分画像について抽出された第2部分画像のうち、前記ステップ49で算出した総合ポイントPが最大である第2部分画像を、直前の前記ステップ44で抽出した第1部分画像に対応する類似部分画像として設定する。
ステップ52では、第1の画像において、全ての第1部分画像を抽出し終わったか否かを判断する。抽出し終わった場合は本処理を終了し、未だ抽出し終わっていない場合はステップ44に進む。
以上の処理により、第1の画像中の第1部分画像と、それに対応する第2の画像中の類似部分画像とが特定される。
3.画像処理装置201が奏する効果
<その他の実施形態>
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
(1)前記第1〜第3の実施形態において、第1部分画像及び第2部分画像の大きさは、縦2画素、横2画素には限定されず、適宜設定できる。
(2)前記第1〜第3の実施形態において、第1部分画像の抽出は、第1の画像の全体をカバーするように順次行ってもよいし、第1の画像の一部から限定的に抽出してもよい。また、第2部分画像の抽出は、第2の画像の左右方向における全体をカバーするように順次行ってもよいし、第2の画像の左右方向における一部から限定的に抽出してもよい。
(3)前記第1〜第3の実施形態において、第1部分画像及び第2部分画像の輝度を対比するとき、第1部分画像における一部の画素の輝度と、第2部分画像における一部の画素の輝度とを対比してもよい。
(4)前記第1〜第3の実施形態において、正常輝度範囲は、前記第1の実施形態における前記ステップ2、3の処理以外の方法で設定してもよい。例えば、正常輝度範囲は固定された範囲であってもよい。
(5)前記第1〜第3の実施形態において、全体輝度比Rを算出するとき、Kは、第1の画像における一部の領域の平均輝度であってもよいし、Kは、第2の画像における一部の領域の平均輝度であってもよい。
(6)前記第3の実施形態において、類似度とポイントPとの関係は、図8Aに示すものには限定されず、適宜設定できる。また、部分画像輝度比rとポイントPとの関係は、図8Bに示すものには限定されず、適宜設定できる。また、ポイントPとポイントPとから総合ポイントPを算出する方法は他の方法であってもよい。例えば、ポイントPとポイントPとを乗算して総合ポイントPを算出してもよい。
(7)画像処理装置1、101、201は、車載装置でなくてもよい。また、画像処理装置1、101、201は、物標までの距離を測定する用途以外の用途に用いてもよい。
(8)前記第1〜第3の実施形態において、正常輝度範囲は、以下のように設定してもよい。第1の画像の平均輝度から、第2の画像の平均輝度を差し引いた輝度差Dを算出する。そして、輝度差Dを含む所定の範囲を、正常輝度範囲とする。
この場合、前記ステップ6、28、48において第1部分画像の平均輝度から第2部分画像の平均輝度を差し引いた部分画像輝度差bdを算出し、その部分画像輝度差bdが正常輝度範囲内であれば、前記ステップ7、31で肯定判断する。また、前記ステップ49において、部分画像輝度差bdに基づいてポイントPを算出する。
(9)前記第1〜第3の実施形態において、第1部分画像、第2部分画像の輝度が正常であるか否かは、以下のように判断してもよい。
まず、第1の画像の平均輝度と、第2の画像の平均輝度との大小関係(以下、基準大小関係とする)を取得する。そして、第1部分画像の輝度と第2部分画像の輝度との大小関係が、基準大小関係と一致していれば、第1部分画像、第2部分画像の輝度は正常であると判断する(前記ステップ7、31で肯定判断し、ステップ49でポイントPを高くする)。
一方、第1部分画像の輝度と第2部分画像の輝度との大小関係が、基準大小関係と一致していなければ、第1部分画像、第2部分画像の輝度は異常であると判断する(前記ステップ7、31で否定判断し、ステップ49でポイントPを低くする)。
(10)前記第1〜第3の実施形態において、右カメラ21で撮影した画像を第1の画像とし、左カメラ19で撮影した画像を第2の画像としてもよい。
(11)上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
(12)上述した画像処理装置の他、当該画像処理装置を構成要素とするシステム、当該画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、画像処理方法、測距方法等、種々の形態で本発明を実現することもできる。
1、101、201…画像処理装置、3…画像取得ユニット、5…第1部分画像抽出ユニット、7…第2部分画像抽出ユニット、9…範囲設定ユニット、11…補正ユニット、13…マッチングユニット、15…輝度対比ユニット、17…類似部分画像設定ユニット、19…左カメラ、21…右カメラ、23…走行可能区間認識装置、25…立体物認識装置、27…車両制御部、29…第1部分画像、31…第2部分画像、33…情報出力ユニット

Claims (6)

  1. ステレオ画像を構成する第1の画像及び第2の画像を取得する画像取得ユニット(3)と、
    前記第1の画像から第1部分画像を抽出する第1部分画像抽出ユニット(5)と、
    前記第2の画像から第2部分画像を順次抽出する第2部分画像抽出ユニット(7)と、
    前記第1部分画像と前記第2部分画像との類似度を判断するマッチングユニット(13)と、
    前記第2部分画像のうち、前記類似度が最も高い前記第2部分画像を、前記第1部分画像に対応する類似部分画像とする類似部分画像設定ユニット(17)と、
    前記第1部分画像及び前記第2部分画像の輝度を対比する輝度対比ユニット(15)と、
    を備え、
    前記輝度対比ユニットによる対比結果が予め設定された範囲の外である場合、前記マッチングユニットは、輝度を対比した前記第1部分画像及び前記第2部分画像を、判断対象から除外することを特徴とする画像処理装置(1)。
  2. ステレオ画像を構成する第1の画像及び第2の画像を取得する画像取得ユニット(3)と、
    前記第1の画像から第1部分画像を抽出する第1部分画像抽出ユニット(5)と、
    前記第2の画像から第2部分画像を順次抽出する第2部分画像抽出ユニット(7)と、
    前記第1部分画像と前記第2部分画像との類似度を判断するマッチングユニット(13)と、
    前記第2部分画像のうち、前記類似度が最も高い前記第2部分画像を、前記第1部分画像に対応する類似部分画像とする類似部分画像設定ユニット(17)と、
    前記第1部分画像及び前記第2部分画像の輝度を対比する輝度対比ユニット(15)と、
    前記第1部分画像及び前記類似部分画像における輝度の対比結果が予め設定された範囲の外である場合、前記第1部分画像及び前記類似部分画像について、前記場合に特有の情報を出力する情報出力ユニット(33)と、
    を備えることを特徴とする画像処理装置(101)。
  3. 請求項1又は2に記載の画像処理装置であって、
    前記第1の画像と前記第2の画像との輝度の対比結果に基づき、前記範囲を設定する範囲設定ユニット(9)を備えることを特徴とする画像処理装置。
  4. ステレオ画像を構成する第1の画像及び第2の画像を取得する画像取得ユニット(3)と、
    前記第1の画像から第1部分画像を抽出する第1部分画像抽出ユニット(5)と、
    前記第2の画像から第2部分画像を順次抽出する第2部分画像抽出ユニット(7)と、
    前記第1部分画像と前記第2部分画像との類似度を判断するマッチングユニット(13)と、
    前記第1部分画像及び前記第2部分画像の輝度を対比する輝度対比ユニット(15)と、
    前記マッチングユニットにおける判断結果と、前記輝度対比ユニットにおける対比結果とに基づき、前記第2部分画像のうち、前記第1部分画像に対応するものを判断する類似部分画像設定ユニット(17)と、
    を備えることを特徴とする画像処理装置(201)。
  5. 請求項1〜4のいずれか1項に記載の画像処理装置であって、
    前記マッチングの前に、前記第1部分画像及び/又は前記第2部分画像の輝度を補正する補正ユニット(11)を備えることを特徴とする画像処理装置。
  6. 請求項5に記載の画像処理装置であって、
    前記補正ユニットは、レンズの周辺減光に起因する輝度のばらつきを抑制するように補正することを特徴とする画像処理装置。
JP2014248228A 2014-12-08 2014-12-08 画像処理装置 Active JP6158779B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014248228A JP6158779B2 (ja) 2014-12-08 2014-12-08 画像処理装置
US14/961,465 US10033981B2 (en) 2014-12-08 2015-12-07 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014248228A JP6158779B2 (ja) 2014-12-08 2014-12-08 画像処理装置

Publications (2)

Publication Number Publication Date
JP2016109587A true JP2016109587A (ja) 2016-06-20
JP6158779B2 JP6158779B2 (ja) 2017-07-05

Family

ID=56123691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014248228A Active JP6158779B2 (ja) 2014-12-08 2014-12-08 画像処理装置

Country Status (2)

Country Link
US (1) US10033981B2 (ja)
JP (1) JP6158779B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104864849B (zh) * 2014-02-24 2017-12-26 电信科学技术研究院 视觉导航方法和装置以及机器人
JP6158779B2 (ja) * 2014-12-08 2017-07-05 株式会社Soken 画像処理装置
CN104539935B (zh) * 2015-01-19 2017-05-31 北京京东方多媒体科技有限公司 图像亮度的调节方法及调节装置、显示装置
US10297180B2 (en) 2015-08-03 2019-05-21 Facebook Technologies, Llc Compensation of chromatic dispersion in a tunable beam steering device for improved display
US10552676B2 (en) 2015-08-03 2020-02-04 Facebook Technologies, Llc Methods and devices for eye tracking based on depth sensing
US10338451B2 (en) 2015-08-03 2019-07-02 Facebook Technologies, Llc Devices and methods for removing zeroth order leakage in beam steering devices
US10459305B2 (en) 2015-08-03 2019-10-29 Facebook Technologies, Llc Time-domain adjustment of phase retardation in a liquid crystal grating for a color display
US9989765B2 (en) * 2015-08-03 2018-06-05 Oculus Vr, Llc Tile array for near-ocular display
US10247858B2 (en) 2015-10-25 2019-04-02 Facebook Technologies, Llc Liquid crystal half-wave plate lens
US10416454B2 (en) 2015-10-25 2019-09-17 Facebook Technologies, Llc Combination prism array for focusing light
US10203566B2 (en) 2015-12-21 2019-02-12 Facebook Technologies, Llc Enhanced spatial resolution using a segmented electrode array
JP2018116369A (ja) * 2017-01-16 2018-07-26 株式会社Soken 車線認識装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018619A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 立体映像評価装置およびそれを用いた表示装置
JP2003288584A (ja) * 2002-03-28 2003-10-10 Fuji Heavy Ind Ltd ステレオ画像処理装置
US7660458B1 (en) * 2004-12-14 2010-02-09 Google Inc. Three-dimensional model construction using unstructured pattern
JP2011243194A (ja) * 2010-05-14 2011-12-01 Honda Research Institute Europe Gmbh 対応点探索のための画像処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101778222B (zh) * 2002-12-27 2012-06-13 株式会社尼康 图像处理装置
JP2008243111A (ja) * 2007-03-29 2008-10-09 Hitachi Ltd 画像処理装置および画像処理方法
JP2009069114A (ja) 2007-09-18 2009-04-02 Chuo Electronics Co Ltd ステレオ画像調整方法、ステレオ画像調整システム、及びステレオ画像調整プログラム
KR101661969B1 (ko) * 2009-11-02 2016-10-04 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR20120055102A (ko) * 2010-11-23 2012-05-31 삼성전자주식회사 영상처리장치 및 영상처리방법
US20140192163A1 (en) * 2011-10-11 2014-07-10 Kenji Shimizu Image pickup apparatus and integrated circuit therefor, image pickup method, image pickup program, and image pickup system
CN103875244A (zh) * 2011-10-14 2014-06-18 松下电器产业株式会社 影像信号处理装置
JP5768684B2 (ja) * 2011-11-29 2015-08-26 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
KR101706216B1 (ko) * 2012-04-03 2017-02-13 한화테크윈 주식회사 고밀도 삼차원 영상 재구성 장치 및 방법
US20150077515A1 (en) * 2012-04-17 2015-03-19 Electronics And Telecommunications Research Institute Method and device for compensating for synchronization between left and right image frames in three-dimensional imaging system, and reproduction device and method
JP6158779B2 (ja) * 2014-12-08 2017-07-05 株式会社Soken 画像処理装置
US10855971B2 (en) * 2015-09-16 2020-12-01 HashD, Inc. Systems and methods of creating a three-dimensional virtual image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018619A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 立体映像評価装置およびそれを用いた表示装置
JP2003288584A (ja) * 2002-03-28 2003-10-10 Fuji Heavy Ind Ltd ステレオ画像処理装置
US7660458B1 (en) * 2004-12-14 2010-02-09 Google Inc. Three-dimensional model construction using unstructured pattern
JP2011243194A (ja) * 2010-05-14 2011-12-01 Honda Research Institute Europe Gmbh 対応点探索のための画像処理方法

Also Published As

Publication number Publication date
US10033981B2 (en) 2018-07-24
JP6158779B2 (ja) 2017-07-05
US20160191890A1 (en) 2016-06-30

Similar Documents

Publication Publication Date Title
JP6158779B2 (ja) 画像処理装置
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
US9424462B2 (en) Object detection device and object detection method
US9697421B2 (en) Stereoscopic camera apparatus
US9898669B2 (en) Traveling road surface detection device and traveling road surface detection method
KR101279712B1 (ko) 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체
JP5977275B2 (ja) 分岐路認識装置
US9508000B2 (en) Object recognition apparatus
JP2015166903A (ja) 分岐路認識装置
JP2009009331A (ja) 白線検出装置および白線検出方法
JP2014009975A (ja) ステレオカメラ
JP2016062356A (ja) 立体物検出装置
JP2017090159A (ja) 車両ピッチ角推定装置
JP5786793B2 (ja) 車両検出装置
JP2016110567A (ja) 車線境界線認識装置
JP2010286995A (ja) 車両用画像処理システム
JP6258842B2 (ja) 画像処理装置、及び車線境界線認識システム
JP6204844B2 (ja) 車両のステレオカメラシステム
EP3647716A1 (en) Imaging device
JP2014067320A (ja) ステレオカメラ装置
JP2018112527A (ja) 距離測定装置、距離測定方法および距離測定プログラム
EP3879810A1 (en) Imaging device
JP2015215235A (ja) 物体検出装置及び物体検出方法
JP2014123301A (ja) 白線検出装置
KR101354719B1 (ko) 영상 안개 인식 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170608

R150 Certificate of patent or registration of utility model

Ref document number: 6158779

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250