JP6202367B2 - Image processing device, distance measurement device, mobile device control system, mobile device, and image processing program - Google Patents
Image processing device, distance measurement device, mobile device control system, mobile device, and image processing program Download PDFInfo
- Publication number
- JP6202367B2 JP6202367B2 JP2013101882A JP2013101882A JP6202367B2 JP 6202367 B2 JP6202367 B2 JP 6202367B2 JP 2013101882 A JP2013101882 A JP 2013101882A JP 2013101882 A JP2013101882 A JP 2013101882A JP 6202367 B2 JP6202367 B2 JP 6202367B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax calculation
- candidate
- parallax
- window
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Description
本発明は、複数の撮像手段により撮像して得られる複数の撮像画像の１つである基準画像上の視差算出対象箇所と他の撮像画像である比較画像上の対応箇所との視差を算出する画像処理装置、距離測定装置、移動体機器制御システム、移動体及び画像処理用プログラムに関するものである。 The present invention calculates a parallax between a parallax calculation target location on a reference image that is one of a plurality of captured images obtained by imaging with a plurality of imaging means and a corresponding location on a comparison image that is another captured image. The present invention relates to an image processing device, a distance measuring device, a mobile device control system, a mobile device, and an image processing program.
この種の画像処理装置は、車両、船舶、航空機あるいは産業用ロボットなどの移動体の移動制御を行う移動体制御装置、移動体の運転者に有益な情報を提供する情報提供装置などの測距処理に広く利用されている。具体例を挙げると、例えば、車両の運転者（ドライバー）の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムに利用されるものが知られている。このような運転者支援システムにおいては、自車両が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車両との車間距離を維持するための自車速度調整機能、自車が走行している走行レーンからの逸脱防止を支援する機能などの様々な機能を実現する。そのためには、自車両の周囲を撮像した撮像画像を解析して、自車両周囲に存在する各種測距対象物（例えば、他車両、歩行者、車線やマンホール蓋などの路面構成物、電柱やガードレールなどの路端構造物など）の種類や距離などを、精度よく検出することが重要である。 This type of image processing apparatus is a distance measuring device such as a moving body control apparatus that performs movement control of a moving body such as a vehicle, a ship, an aircraft, or an industrial robot, and an information providing apparatus that provides useful information to a driver of the moving body. Widely used for processing. If a specific example is given, what is used for driver support systems, such as ACC (Adaptive Cruise Control) for reducing the driving load of the driver (driver) of vehicles, for example is known. In such a driver assistance system, an automatic brake function and an alarm function for avoiding the collision of the own vehicle with an obstacle or reducing an impact at the time of the collision, and maintaining a distance from the preceding vehicle are maintained. Various functions are realized, such as a function for adjusting the speed of the own vehicle to support the vehicle and a function for supporting prevention of deviation from the traveling lane in which the host vehicle is traveling. For this purpose, an image captured around the host vehicle is analyzed and various ranging objects existing around the host vehicle (for example, other vehicles, pedestrians, road surface components such as lanes and manhole covers, telephone poles, It is important to accurately detect the type and distance of roadside structures such as guardrails.
特許文献１には、基準画像を撮像する基準カメラと参照画像（比較画像）を撮像する参照カメラのそれぞれで撮像して得られる基準画像と参照画像とを用いて測距対象物の視差を算出する三次元形状計測装置が開示されている。この三次元形状計測装置では、基準画像中に設定されるウィンドウ（検索対象領域）内の画像部分における変化率、行列固有値、分散値等の特徴量を算出し、同様の特徴量をもつウィンドウが参照画像におけるエピポーラライン上のどの箇所に存在するかを検索するマッチング処理を行う。そして、このマッチング処理により特定された参照画像中のウィンドウの中心点（対応箇所）に映し出されている物体上の地点は、基準画像中のウィンドウの中心点（視差算出対象箇所）に映し出されている物体上の地点と同地点であるとして、これらの中心点間の画像上のずれ量から視差値を算出する。このようにして視差値が算出できれば、三角測量の原理を利用して、当該物体上の地点までの距離を算定することができる。
In
撮像シーン等によっては、基準画像中に設定されるウィンドウ内の画像部分が、参照画像のエピポーラライン上の各ウィンドウ内の画像部分との比較において十分な特徴を有しない場合がある。この場合、基準画像中のウィンドウ内に映し出されている物体部分と同じものを映し出している参照画像中のウィンドウを、参照画像中における他のウィンドウと区別して特定することが困難となる。そのため、基準画像中に設定されるウィンドウについての特徴量と同様の特徴量を有する参照画像中のウィンドウが、参照画像中におけるエピポーラライン上に分布する複数の箇所で検出されてしまう。その結果、基準画像中のウィンドウに映し出されている物体とは全く別の物体あるいは同じ物体上の全く別の箇所を映し出している参照画像内のウィンドウを誤ってマッチングしてしまうミスマッチが発生しやすい。したがって、適切なマッチング処理を実現できず、基準画像中のウィンドウの中心点（視差算出対象箇所）に映し出されている物体上の地点についての適切な視差値を算出することが困難となる。 Depending on the imaging scene or the like, the image portion in the window set in the standard image may not have sufficient characteristics in comparison with the image portion in each window on the epipolar line of the reference image. In this case, it is difficult to identify a window in the reference image that shows the same object part as that shown in the window in the standard image, distinguishing it from other windows in the reference image. Therefore, windows in the reference image having the same feature amount as the feature amount for the window set in the standard image are detected at a plurality of locations distributed on the epipolar line in the reference image. As a result, it is easy to generate a mismatch that mistakenly matches a window in a reference image that is a completely different object from the object displayed in the window in the reference image or a completely different part on the same object. . Therefore, an appropriate matching process cannot be realized, and it is difficult to calculate an appropriate parallax value for a point on the object displayed at the center point (parallax calculation target location) of the window in the reference image.
前記特許文献１に記載の三次元形状計測装置においては、マッチング処理の際、基準画像中に設定されたウィンドウ内の画像部分を評価し、その評価結果に応じてマッチング処理に用いるウィンドウのサイズを変更する処理を行う。具体的には、ウィンドウ内の画像部分についての変化率、行列固有値、分散値等の特徴量を算出し、その特徴量が閾値よりも大きくなるまで当該ウィンドウのサイズを拡大させるという処理を行う。この三次元形状計測装置によれば、十分に大きな特徴量を用いてマッチング処理を実行できるので、基準画像中のウィンドウに映し出されている物体部分と同じものを映し出している参照画像中のウィンドウを、参照画像中におけるエピポーラライン上の他のウィンドウと区別して特定することが容易になる。その結果、上述したミスマッチの発生を抑制して、適切なマッチング処理を実現することが容易となる。
In the three-dimensional shape measuring apparatus described in
本発明者らが検討したところ、基準画像中に設定されるウィンドウ（検索対象領域）の最適なサイズというは、そのウィンドウの中心点（視差算出対象箇所）に映し出されている物体についての画像領域（物体画像領域）の大きさとの対応関係によって決まる。具体的には、図１０の左図に示すように、ウィンドウ内に映し出されている物体（先行車両）についての物体画像領域に対してウィンドウサイズが適切な範囲内となっていれば、十分に大きな特徴量が得られ、当該物体についての適切な視差値を算出することが可能である。しかしながら、図１０の右図に示すように、ウィンドウ内に映し出されている物体（先行車両）についての物体画像領域に対してウィンドウサイズが小さすぎると、そのウィンドウ内に当該物体を構成する同一部材（後部ガラス）だけが映し出される結果、そのウィンドウについて十分な特徴量が得られず、ミスマッチが発生して適切な視差値を算出することが困難となる。 When the present inventors examined, the optimal size of the window (search target area) set in the reference image is the image area for the object displayed at the center point (parallax calculation target position) of the window. It depends on the correspondence with the size of (object image area). Specifically, as shown in the left diagram of FIG. 10, it is sufficient if the window size is within an appropriate range with respect to the object image area for the object (preceding vehicle) displayed in the window. A large feature amount can be obtained, and an appropriate parallax value for the object can be calculated. However, as shown in the right diagram of FIG. 10, if the window size is too small with respect to the object image area for the object (preceding vehicle) displayed in the window, the same member constituting the object in the window As a result of projecting only (rear glass), a sufficient feature amount cannot be obtained for the window, and a mismatch occurs, making it difficult to calculate an appropriate parallax value.
前記特許文献１に記載の三次元形状計測装置においては、特徴量が閾値よりも大きくなるまでウィンドウサイズを拡大させるという処理を行うので、結果的には、ウィンドウの中心点（視差算出対象箇所）に映し出されている物体についての物体画像領域の大きさに対して適切な範囲のウィンドウサイズが設定されるとも考えられる。しかしながら、前記特許文献１に記載の三次元形状計測装置においては、設定するウィンドウごとに、その特徴量を算出し、その特徴量が閾値よりも大きくなるまで当該ウィンドウのサイズを拡大させるという処理を行う。そのため、ウィンドウサイズを決定するための処理負荷が大きく、処理時間も長いという問題がある。
In the three-dimensional shape measurement apparatus described in
本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、より簡易な処理で視差値の算出誤差の少ないウィンドウサイズを設定することができる画像処理装置、距離測定装置、移動体機器制御システム、移動体及び画像処理用プログラムを提供することである。 The present invention has been made in view of the above background, and an object of the present invention is to provide an image processing apparatus, a distance measuring apparatus, and a distance measuring apparatus capable of setting a window size with less parallax value calculation error with simpler processing. A mobile device control system, a mobile device, and an image processing program are provided.
前記目的を達成するために、本発明は、所定の基線上に配置された２つの撮像手段により撮像して得られる２つの撮像画像のうちの一方である基準画像上の視差算出対象箇所に関連付けられた検索対象領域についての特徴量と、該２つの撮像画像のうちの他方である比較画像上で該視差算出対象箇所と同じエピポーラライン上に存在し、該視差算出対象箇所から基線方向に各々所定のずれ量離れた複数の対応候補箇所にそれぞれ関連付けられた各対応候補領域についての特徴量とを比較し、該検索対象領域についての特徴量と一致し又は所定の近似範囲内の特徴量を有する対応候補領域を対応領域として特定するマッチング処理を実行し、該マッチング処理で特定した対応領域に関連付けられている対応箇所と前記視差算出対象箇所との間の基線方向のずれ量に基づいて該視差算出対象箇所の視差値を算出する視差算出手段を備えた画像処理装置において、前記視差算出手段は、前記マッチング処理の際、前記視差算出対象箇所からの基線方向のずれ量が大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の外縁が拡がるように、該検索対象領域を設定することを特徴とする。 In order to achieve the above object, the present invention relates to a parallax calculation target location on a reference image that is one of two captured images obtained by imaging with two imaging means arranged on a predetermined baseline. The feature amount of the search target area and the comparison image that is the other of the two captured images are present on the same epipolar line as the parallax calculation target location, and are each in the baseline direction from the parallax calculation target location. A feature amount for each corresponding candidate region associated with each of a plurality of corresponding candidate locations separated by a predetermined amount of deviation is compared, and a feature amount that matches the feature amount for the search target region or is within a predetermined approximate range A matching process for specifying a corresponding candidate area as a corresponding area is performed, and between the corresponding part associated with the corresponding area specified in the matching process and the parallax calculation target part An image processing apparatus having a parallax calculating means for calculating a disparity value of parallax calculation target position based on the shift amount of the line direction, the parallax calculating section, when the matching process, the base line from the parallax calculating target portions The search target region is set such that the outer edge of the search target region compared with the feature amount of the corresponding candidate region associated with the corresponding candidate candidate portion becomes wider as the corresponding candidate portion has a larger direction shift amount. .
本発明によれば、より簡易な処理で視差値の算出誤差の少ないウィンドウサイズを設定することができるという効果が得られる。 According to the present invention, it is possible to set the window size with less parallax value calculation error by simpler processing.
以下、本発明に係る画像処理装置を、車両システムとしての車載機器制御システムに用いられる距離測定装置としての物体検出装置に適用した一実施形態について説明する。
なお、本発明に係る画像処理装置は、車載機器制御システムに限らず、例えば、撮像画像に基づいて被写体までの距離を測定する距離測定装置を搭載したその他のシステムにも適用できる。具体例としては、自動車の緊急時制動制御システム、自動巡航機器システム、産業用ロボットの操作制御システムなどに用いることが考えられる。
Hereinafter, an embodiment in which an image processing device according to the present invention is applied to an object detection device as a distance measurement device used in an in-vehicle device control system as a vehicle system will be described.
Note that the image processing apparatus according to the present invention is not limited to the in-vehicle device control system, and can be applied to, for example, other systems equipped with a distance measuring apparatus that measures a distance to a subject based on a captured image. As specific examples, it can be considered to be used in an emergency braking control system for automobiles, an automatic cruise equipment system, an operation control system for industrial robots, and the like.
図１は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本実施形態の車載機器制御システムは、移動体としての自車両１００の進行方向前方領域を撮像領域として撮像する撮像手段としての撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、例えば、自車両１００の前方に存在する他車両の位置、方角、距離を算出する。他車両の検出では、視差情報に基づいて路面上の識別対象物を車両として検出する。
FIG. 1 is a schematic diagram illustrating a schematic configuration of an in-vehicle device control system according to the present embodiment.
The in-vehicle device control system of the present embodiment is provided with an
また、画像解析ユニット１０２の算出結果は、移動体機器制御手段としての車両走行制御ユニット１０６にも送られる。車両走行制御ユニット１０６は、例えば、先行車両の検出結果に基づいて、その先行車両との車間距離が狭くなった場合や広くなった場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
The calculation result of the
また、画像解析ユニット１０２の算出結果は、移動体機器制御手段としてのヘッドランプ制御ユニット１０３にも送られる。ヘッドランプ制御ユニット１０３は、例えば、対向車両の検出結果に基づいて、ヘッドランプ１０４のビーム方向をハイビーム又はロービームに切り替えるなどの制御を行う。
The calculation result of the
図２は、撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示す模式図である。
撮像ユニット１０１は、２つの撮像部１１０Ａ，１１０Ｂを備えたステレオカメラであり、２つの撮像部１１０Ａ，１１０Ｂの構成は同一のものである。各撮像部１１０Ａ，１１０Ｂは、それぞれ、撮像レンズ１１１Ａ，１１１Ｂと、撮像素子が２次元配置された画像センサ１１３Ａ，１１３Ｂを含んだセンサ基板１１４Ａ，１１４Ｂと、センサ基板１１４Ａ，１１４Ｂから出力されるデジタル電気信号（画像センサ１１３Ａ，１１３Ｂ上の各受光素子が受光した受光量を示すアナログ電気信号をデジタル信号に変換したもの）に所定の処理を施して撮像画像データを生成して出力する信号処理部１１５Ａ，１１５Ｂとから構成されている。本実施形態の撮像ユニット１０１からは、輝度画像データ、視差画像データが出力される。
FIG. 2 is a schematic diagram illustrating a schematic configuration of the
The
また、撮像ユニット１０１は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等によって実現される画像処理手段としての処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、マイコンとプログラムとを組み合わせて実現してもよい。処理ハードウェア部１２０は、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データから視差画像を得るために、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像間の対応画像箇所に映し出されている物体上の地点についての視差値を演算する視差算出手段としての視差演算部１２１を備えている。
The
ここでいう視差値とは、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像箇所（視差算出対象箇所）に対する比較画像上の画像箇所（対応箇所）の画像上の位置ずれ量（基線方向の位置ずれ量）を、下記の式（１）に示すように、当該画像箇所の視差値ｄとして算出したものである。なお、下記の式（１）において、「ｘ１」は、基準画像上の画像箇所（視差算出対象箇所）についての基線（エピポーラライン）上の位置座標である。また、「ｘ２」は、基準画像上の当該画像箇所に映し出されている物体上の地点と同じ地点を映し出している比較画像上の画像箇所（対応箇所）についての基線（エピポーラライン）上の位置座標である。だたし、本明細書では、基線方向とエピポーラライン方向は一致しているものとして説明する。
ｄ ＝ ｘ１ − ｘ２ ・・・（１）
The parallax value referred to here is an image location on the reference image corresponding to the same point in the imaging region (disparity calculation), with one of the captured images captured by the
d = x1−x2 (1)
三角測量の原理を利用することで、この視差値ｄから、下記の算出式（２）より、当該画像箇所（視差算出対象箇所）に対応した撮像領域内の当該同一地点までの距離Ｚを算出することができる。なお、下記の式（２）において、「Ｂ」は、２つの撮像部１１０Ａ，１１０Ｂ間における基線長であり、「ｆ」は撮像部の焦点距離である。
Ｚ ＝ Ｂ×ｆ／ｄ ・・・（２）
By using the principle of triangulation, the distance Z to the same point in the imaging region corresponding to the image location (parallax calculation target location) is calculated from the parallax value d from the parallax value d below. can do. In the following equation (2), “B” is the baseline length between the two
Z = B × f / d (2)
一方、画像解析ユニット１０２は、撮像ユニット１０１から出力される輝度画像データ及び視差画像データを記憶するメモリ１３０と、識別対象物の認識処理や視差計算制御などを行うソフトウェアを内蔵したＭＰＵ（Micro Processing Unit）１４０とを備えている。ＭＰＵ１４０は、メモリ１３０に格納された輝度画像データ及び視差画像データを用いて各種の認識処理を実行する。
On the other hand, the
画像センサ１１３Ａ，１１３Ｂは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その撮像素子（受光素子）にはフォトダイオードを用いている。フォトダイオードは、撮像画素ごとに２次元的にアレイ配置されており、フォトダイオードの集光効率を上げるために、各フォトダイオードの入射側にはマイクロレンズが設けられている。この画像センサ１１３Ａ，１１３Ｂがワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板１１４Ａ，１１４Ｂが形成されている。
The
次に、本発明の特徴部分である視差算出処理について説明する。
図３は、本実施形態の視差演算部１２１のブロック図である。
本実施形態の視差演算部１２１は、２つの撮像部１１０Ａ，１１０Ｂのうちの一方の撮像部１１０Ａの撮像画像データを基準画像データとし、他方の撮像部１１０Ｂの撮像画像データを比較画像データとして用い、両者の視差を演算して視差画像データを生成し、出力する。この視差画像データは、基準画像データ上の各画像箇所について算出される視差値をそれぞれの画像箇所の画素値として表した視差画像を示すものである。
Next, the parallax calculation process which is a characteristic part of the present invention will be described.
FIG. 3 is a block diagram of the
The
視差演算部１２１は、２つの撮像部１１０Ａ，１１０Ｂから出力される画像データを、それぞれ、画像データバスを介して受け取り、これらの画像データを画像バッファ１２２Ａ，１２２Ｂに保持する。画像バッファ１２２Ａに保持された基準画像データは、順次、検索対象領域としての基準ウィンドウを切り出す基準ウィンドウ切り出し部１２３Ａに送られる。この基準ウィンドウ切り出し部１２３Ａでは、基準画像上の各画像箇所（１つの画素又は２以上の画素で構成される画像領域。本実施形態では１つの画素。）を、視差算出対象箇所としての対象画素として順次決定する。そして、決定した対象画素に関連付けられる検索対象領域としての基準ウィンドウを切り出す処理を行う。
The
また、画像バッファ１２２Ｂに保持された比較画像データは、順次、対応候補領域としての比較ウィンドウを切り出す比較ウィンドウ切り出し部１２３Ｂに送られる。この比較ウィンドウ切り出し部１２３Ｂでは、基準画像上の対象画素（視差算出対象箇所）と同じエピポーラライン上に存在する各対応候補箇所である対応候補画素にそれぞれ関連付けられた各対応候補領域としての比較ウィンドウを順次切り出す処理を行う。そして、基準画像中から切り出された基準ウィンドウに映し出されている物体部分と同じ物体部分を映し出している比較画像中の比較ウィンドウを探索するマッチング処理を行う。そして、このマッチング処理で特定した対応領域としての比較ウィンドウに関連付けられている対応箇所としての対応画素を用い、対象画素と対応画素との間のエピポーラライン上のずれ量（基線方向のずれ量）から、対象画素の視差値が算出される。
The comparison image data held in the
このマッチング処理は、主に、類似度算出部１２４と視差値算出部１２５で実行される。具体的には、基準ウィンドウ切り出し部１２３Ａ及び比較ウィンドウ切り出し部１２３Ｂにおいて切り出された基準ウィンドウ及び比較ウィンドウ内の画素値（輝度値）のデータは、類似度算出部１２４へ送られる。類似度算出部１２４では、例えば、ＳＡＤ（Sum of Squared Difference）、ＳＳＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross-Correlation）、ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）などの方法を単一または組み合わせて用い、類似度を算出する。この類似度は、基準ウィンドウ切り出し部１２３Ａによって切り出される基準ウィンドウと、比較ウィンドウ切り出し部１２３Ｂによって切り出される同じエピポーラライン上の各比較ウィンドウとの間でそれぞれ算出されるものであり、両ウィンドウ間における画像の類似性を示す指標値である。類似度は、ＳＳＤやＳＡＤ等で算出した場合には、類似しているほど値が小さくなり、ＮＣＣやＺＮＣＣ等で算出した場合には、類似度が高いほど値も大きくなる。
This matching process is mainly executed by the
図４は、基準ウィンドウと比較ウィンドウとの間のずれ量ｄに応じた類似度の分布の一例を示すグラフである。なお、図４の例は、類似しているほど類似度の値が大きくなる例である。
類似度とずれ量との関係は、一般に、図４に示すように、類似度がピークを示すずれ量が存在する分布を示す。類似度算出部１２４では、基準ウィンドウ切り出し部１２３Ａから受け取った基準ウィンドウと、比較ウィンドウ切り出し部１２３Ｂから順次受け取る各比較ウィンドウとの間の類似度を算出し、算出した類似度を、順次、視差値算出部１２５へ送る。
FIG. 4 is a graph showing an example of a distribution of similarity according to the shift amount d between the reference window and the comparison window. The example of FIG. 4 is an example in which the similarity value increases as the similarity increases.
The relationship between the degree of similarity and the amount of deviation generally indicates a distribution in which there is a quantity of deviation in which the degree of similarity shows a peak, as shown in FIG. The
視差値算出部１２５では、同じ基準ウィンドウについて類似度算出部１２４から送られてくる類似度の中から、ピークを示す類似度を特定する。そして、特定した類似度に対応する比較ウィンドウと基準ウィンドウとのずれ量ｄを視差値として算出する。ピークを示す類似度の特定方法は、単純に類似度の最大値を抽出する方法のほか、多項式でのフィッティングや等角直線法などの方法を用い、サブピクセル単位での視差を求める方法を採用してもよい。
The disparity
以上の処理を、基準画像上の各画素について行うことにより、基準画像上の各画素に映し出されている物体上の地点についての視差値が求まり、視差画像データが生成される。 By performing the above process for each pixel on the reference image, the parallax value for the point on the object displayed on each pixel on the reference image is obtained, and parallax image data is generated.
ここで、本実施形態においては、類似度を算出するにあたり、ずれ量ｄに応じてウィンドウサイズを変更する処理を行う。この処理を実現するにあたり、本実施形態では、視差演算部１２１内のウィンドウ設定テーブル記憶部１２６に、予め、ずれ量ｄと、ウィンドウの設定データとの対応関係を示すウィンドウ設定テーブルを保持している。このウィンドウ設定テーブルは、基準ウィンドウからの基線方向のずれ量（エピポーラライン上のずれ量）が大きい比較ウィンドウほど、ウィンドウの外縁が拡がるような内容となっている。なお、本実施形態では、基準ウィンドウと比較ウィンドウには、同じ設定データを用いる。また、ここでいう設定データは、例えば、図５に示すように、ずれ量ｄとウィンドウ幅ｗ及びウィンドウ高さｈとの対応関係を特定するためのテーブルデータを用いることができるが、これに限られるものではない。
Here, in the present embodiment, when calculating the similarity, a process of changing the window size according to the shift amount d is performed. In realizing this processing, in this embodiment, the window setting
図６は、本実施形態における類似度算出処理の流れを示すフローチャートである。
視差演算部１２１では、まず、ずれ量ｄをゼロにセットし（Ｓ１）、セットしたずれ量ｄに対応するウィンドウ設定データをウィンドウ設定テーブルから取得する（Ｓ２）。そして、ウィンドウ設定データに従って、対象画素に関連付けられた基準ウィンドウを設定し、基準画像データから基準ウィンドウ内の画素データを切り出す処理を行う（Ｓ３）。また、ウィンドウ設定データに従って、対応画素に関連付けられる比較ウィンドウを設定し、比較画像データから比較ウィンドウ内の画素データを切り出す処理を行う（Ｓ４）。
FIG. 6 is a flowchart showing the flow of similarity calculation processing in the present embodiment.
First, the
図７は、本実施形態におけるウィンドウ設定の内容の一例を示す説明図である。
図７に示す例においては、基準ウィンドウからの基線方向のずれ量ｄ（エピポーラライン上のずれ量）が大きい比較ウィンドウについての類似度を算出するときほど、ウィンドウ幅ｗ及びウィンドウ高さｈのいずれもが拡大される設定例である。ウィンドウの幅と高さが拡大してウィンドウの外縁が拡がるにしたがって画素数が増える。この例では、ウィンドウの基線方向長さ（エピポーラライン方向長さ）であるウィンドウ幅ｗとずれ量ｄとの関係は、ｗ＝ｐ×ｄ（ｐは定数）の関係となっている。ただし、ハードウェアの制約等で自由なウィンドウ幅ｗを設定できないときは、ウィンドウ幅ｗはハードウェアで設定できるｐ×ｄに最も近い値とみなして使用してもよい。なお、この例では、ウィンドウの幅と高さの両方をずれ量ｄに応じて拡大するものとなっているが、ウィンドウの幅と高さのいずれか一方を拡大するようにしてもよい。
FIG. 7 is an explanatory diagram showing an example of the contents of the window setting in the present embodiment.
In the example shown in FIG. 7, as the degree of similarity is calculated for a comparison window having a large shift amount d (shift amount on the epipolar line) in the baseline direction from the reference window, either the window width w or the window height h is calculated. This is an example of setting that is enlarged. The number of pixels increases as the width and height of the window increase and the outer edge of the window increases. In this example, the relationship between the window width w, which is the length in the base line direction of the window (length in the epipolar line direction), and the shift amount d is w = p × d (p is a constant). However, when a free window width w cannot be set due to hardware restrictions or the like, the window width w may be regarded as a value closest to p × d that can be set by hardware. In this example, both the width and the height of the window are enlarged according to the shift amount d, but either the width or the height of the window may be enlarged.
このような設定される基準ウィンドウ及び比較ウィンドウから画素データを切り出したら、これらの画素データ間の類似度を算出し、出力する（Ｓ５）。例えば、類似度に正規化相互相関（ＺＮＣＣ）を用いる場合、ＺＮＣＣ値ＲＺＮＣＣは、ずれ量ｄ、ウィンドウ幅ｗ、ウィンドウ高さｈ、基準ウィンドウ内の画素（輝度）値ＢＲ（ｘ，ｙ）、比較ウィンドウ内の画素（輝度）値ＢＬ（ｘ，ｙ）、基準ウィンドウ内の平均画素値（輝度平均値）ＢＲave及び比較ウィンドウ内の平均画素値（輝度平均値）ＢＬaveを用いて、下記の式（３）より算出することができる。
このようにしてずれ量ｄの比較ウィンドウについての類似度を算出したら、ずれ量ｄに１を加算した値ｄ＋１をセットし（Ｓ６）、ずれ量ｄがｄｍａｘを超えるまで（Ｓ７）、ウインドウの外縁を拡大しながら、類似度を算出していく（Ｓ２〜Ｓ６）。そして、すべてのずれ量ｄについて類似度を算出、出力したら、類似度算出処理を終了する。なお、ここでｄｍａｘは、ウィンドウ設定テーブル記憶部１２６に記憶されたずれ量ｄの最大値である。
After calculating the similarity for the comparison window of the shift amount d in this way, a value d + 1 obtained by adding 1 to the shift amount d is set (S6), and until the shift amount d exceeds dmax (S7), the outer edge of the window The similarity is calculated while enlarging (S2 to S6). When the similarity is calculated and output for all the deviation amounts d, the similarity calculation process is terminated. Here, dmax is the maximum value of the shift amount d stored in the window setting
図８は、本実施形態におけるウィンドウ設定の内容の他の例を示す説明図である。
図８に示す例においては、ウィンドウ内の画素数を変えずに、基準ウィンドウからの基線方向（エピポーラライン上のずれ量）のずれ量ｄが大きい比較ウィンドウについての類似度を算出するときほど、ウィンドウの外縁が拡大される設定例である。この例においては、どの比較ウィンドウについての類似度を算出する際にも、そのウィンドウに含まれる画素数が一定であるため、ウィンドウの外縁が拡大しても処理時間の増加は少ないというメリットがある。ただし、間隔をあけて画素値を取得するため、折り返し歪み等の影響を受けやすくなる。これに対し、図７に示した設定例においては、図９に示すように、ウィンドウの外縁拡大に応じてウィンドウに含まれる画素数が増大するため、処理時間が増加するが、折り返し歪み等の影響は受けにくい。これらの設定例は、回路規模やレンズのボケ特性に応じて使い分けることができる。
FIG. 8 is an explanatory diagram illustrating another example of the contents of the window setting in the present embodiment.
In the example shown in FIG. 8, the degree of similarity for the comparison window having a large shift amount d in the baseline direction (shift amount on the epipolar line) from the reference window is calculated without changing the number of pixels in the window. This is a setting example in which the outer edge of the window is enlarged. In this example, when calculating the similarity for any comparison window, since the number of pixels included in the window is constant, there is an advantage that the increase in processing time is small even if the outer edge of the window is enlarged. . However, since pixel values are acquired at intervals, it is easily affected by aliasing distortion and the like. On the other hand, in the setting example shown in FIG. 7, the number of pixels included in the window increases as the outer edge of the window increases as shown in FIG. Not easily affected. These setting examples can be used properly according to the circuit scale and lens blur characteristics.
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
所定の基線上に配置された撮像部１１０Ａ，１１０Ｂ等の２つの撮像手段により撮像して得られる２つの撮像画像のうちの一方である基準画像上の対象画素等の視差算出対象箇所に関連付けられた基準ウィンドウ等の検索対象領域についての画素（輝度）値等の特徴量と、該２つの撮像画像のうちの他方である比較画像上で該視差算出対象箇所と同じエピポーラライン上に存在する複数の対応候補画素等の対応候補箇所にそれぞれ関連付けられた各比較ウィンドウ等の対応候補領域についての画素（輝度）値等の特徴量とを比較し、該検索対象領域についての特徴量と一致し又は所定の近似範囲内の特徴量を有する対応候補領域を対応領域として特定するマッチング処理を実行し、該マッチング処理で特定した対応領域に関連付けられている対応箇所と前記視差算出対象箇所との間の基線方向のずれ量ｄを該視差算出対象箇所の視差値として算出する視差演算部１２１等の視差算出手段を備えた画像処理装置において、前記視差算出手段は、前記マッチング処理の際、前記視差算出対象箇所からの基線方向のずれ量ｄが大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の外縁が拡がるように、該検索対象領域を設定することを特徴とする。
これによれば、視差算出対象箇所からの基線方向のずれ量ｄ（エピポーラライン上のずれ量）が相対的に大きい対応候補箇所については、その対応候補領域（比較ウィンドウ）の特徴量と比較される検索対象領域（基準ウィンドウ）の外縁が拡がる。本態様によれば、視差算出対象箇所（対象画素）からの基線方向のずれ量ｄ（エピポーラライン上のずれ量）が当該対象画素に映し出されている物体上の地点までの距離に対応するずれ量よりも小さい対応候補箇所については、その比較ウィンドウの特徴量と比較される基準ウィンドウの外縁（サイズ）が、当該物体の画像領域についての最適サイズよりも狭めに設定される。この場合、ウィンドウ内に当該物体を構成する同一部材だけが映し出され、そのウィンドウについて十分な特徴量が得られない。したがって、マッチング処理の際に、このような比較ウィンドウが対応領域として特定されるというミスマッチが軽減される結果、ミスマッチによって適切な視差値を算出できないケースを効果的に減らすことができる。そして、視差算出対象箇所（対象画素）からの基線方向のずれ量ｄ（エピポーラライン上のずれ量）が当該対象画素に映し出されている物体上の地点までの距離に対応するずれ量と同等か、それよりも大きい対応候補箇所については、その比較ウィンドウの特徴量と比較される基準ウィンドウの外縁（サイズ）が、当該物体の画像領域に対して好適な範囲内又は広めに設定される。この場合、比較的大きな特徴量が得られるので、適切なマッチング処理が可能である。
ただし、基準ウィンドウの外縁（サイズ）が当該物体の画像領域に対して広すぎる場合、当該物体に関する特徴が他の物体に関する特徴によって希釈化されてウィンドウの特徴量に十分に反映されなくなるおそれがある。この場合、マッチング処理において同様の特徴量を有する比較ウィンドウがいくつも検出されてしまい、ミスマッチが発生しやすい。しかしながら、このようなミスマッチが発生したとしても、以下に説明するように、これによる視差値の算出誤差は軽微なものである。
この点について説明すると、基準画像中のウィンドウの中心点についてのエピポーラライン上の位置をｘ１とし、基準画像中のウィンドウの中心点に映し出されている物体上の地点と同じ地点を映し出している参照画像中の点についてのエピポーラライン上の位置をｘ２とする。このとき、ミスマッチにより特定された参照画像中のウィンドウの中心点ｘ２’と、基準画像中のウィンドウの中心点に映し出されている物体上の地点と実際に同じ地点を映し出している参照画像中の点ｘ２との間の画像上の位置誤差を、マッチング誤差εｘとする。本来の視差値ｄがｄ＝ｘ１−ｘ２から求められるとすると、ミスマッチによるマッチング誤差εｘが存在している場合に算出される視差値ｄ’は、ｄ’＝ｘ１−ｘ２’＝ｘ１−ｘ２−ε＝ｄ−εｘとなる。算出される視差値ｄ’の誤差に対してマッチング誤差εｘが与える影響を、視差値誤差率εｄ＝（ｄ−ｄ’）／ｄ＝εｘ／ｄを用いて考えると、その影響は、本来の視差値ｄが大きいほど小さいものとなる。言い換えると、基準画像中のウィンドウの中心点に映し出されている物体上の地点までの距離が近いほど、算出される視差値ｄ’の誤差に対してマッチング誤差εｘが与える影響は小さいものとなる。したがって、視差算出対象箇所からの基線方向のずれ量ｄ（エピポーラライン上のずれ量）が相対的に大きい対応候補箇所については、検索対象領域（基準ウィンドウ）の外縁を拡げてミスマッチが発生したとしても、算出される視差値（ずれ量）の誤差に与える影響は小さい。
以上のように、本態様によれば、基準ウィンドウ内の視差算出対象箇所（対象画素）に映し出されている物体上の地点までの距離に対応する視差値よりも小さい視差値に対応する対応候補領域については、当該物体の物体画像領域に対して相対的に狭い基準ウィンドウが設定される結果、得られる特徴量が小さく、そのような対応候補領域が対応領域として特定されるというミスマッチが軽減される。よって、ミスマッチによって適切な視差値を算出できないケースを効果的に減らすことができる。しかも、本態様によれば、視差算出対象箇所と対応候補箇所との基線方向のずれ量ｄ（エピポーラライン上のずれ量）に応じて、基準ウィンドウの外縁（サイズ）を決定するので、基準ウィンドウ内の特徴量を算出してこれが閾値よりも大きくなるまでウィンドウのサイズを拡大させるという処理を繰り返し行うことによりウィンドウサイズを決定する前記特許文献１に記載の三次元形状計測装置と比較して、処理負荷が小さく、処理時間が短くて済む。
What has been described above is merely an example, and the present invention has a specific effect for each of the following modes.
(Aspect A)
It is associated with a parallax calculation target location such as a target pixel on a reference image which is one of two captured images obtained by imaging with two imaging means such as the
According to this, for a corresponding candidate portion having a relatively large shift amount d (shift amount on the epipolar line) in the baseline direction from the parallax calculation target portion, it is compared with the feature amount of the corresponding candidate region (comparison window). The outer edge of the search target area (reference window) is expanded. According to this aspect, the shift amount d (shift amount on the epipolar line) in the baseline direction from the parallax calculation target location (target pixel) corresponds to the distance to the point on the object displayed on the target pixel. For the corresponding candidate portion smaller than the amount, the outer edge (size) of the reference window compared with the feature amount of the comparison window is set narrower than the optimum size for the image area of the object. In this case, only the same member constituting the object is displayed in the window, and a sufficient feature amount cannot be obtained for the window. Therefore, in the matching process, the mismatch that such a comparison window is specified as the corresponding region is reduced, and as a result, the case where an appropriate disparity value cannot be calculated due to the mismatch can be effectively reduced. Whether the shift amount d (shift amount on the epipolar line) in the baseline direction from the parallax calculation target location (target pixel) is equal to the shift amount corresponding to the distance to the point on the object displayed on the target pixel. For the corresponding candidate portion larger than that, the outer edge (size) of the reference window compared with the feature amount of the comparison window is set within a range suitable for the image area of the object or wider. In this case, since a relatively large feature amount is obtained, appropriate matching processing is possible.
However, if the outer edge (size) of the reference window is too wide with respect to the image area of the object, the feature relating to the object may be diluted by the feature relating to the other object and not sufficiently reflected in the feature amount of the window. . In this case, a number of comparison windows having similar feature amounts are detected in the matching process, and mismatches are likely to occur. However, even if such a mismatch occurs, the calculation error of the parallax value due to this is slight as described below.
Explaining this point, the position on the epipolar line with respect to the center point of the window in the reference image is x1, and the same point as the point on the object shown in the center point of the window in the reference image is displayed. Let x2 be the position on the epipolar line for a point in the image. At this time, the center point x2 ′ of the window in the reference image specified by the mismatch and the point in the reference image that actually shows the same point as the point on the object projected at the center point of the window in the reference image the position error in the image between the point x2, and matching error epsilon x. Assuming that the original parallax value d is obtained from d = x1-x2, the parallax value d ′ calculated when there is a matching error ε x due to mismatch is d ′ = x1-x2 ′ = x1-x2. −ε = d−ε x . When the influence of the matching error ε x on the calculated parallax value d ′ is considered using the parallax value error rate ε d = (dd−d ′) / d = ε x / d, the influence is The larger the original parallax value d, the smaller the value. In other words, the closer the distance to the point on the object displayed at the center point of the window in the reference image is, the smaller the influence of the matching error ε x on the error of the calculated parallax value d ′ is. Become. Therefore, regarding a corresponding candidate location having a relatively large shift amount d (shift amount on the epipolar line) in the baseline direction from the parallax calculation target location, the outer edge of the search target region (reference window) is expanded and a mismatch occurs. However, the influence of the calculated parallax value (deviation amount) on the error is small.
As described above, according to this aspect, the correspondence candidate corresponding to the parallax value smaller than the parallax value corresponding to the distance to the point on the object displayed in the parallax calculation target location (target pixel) in the reference window. As for the area, a relatively small reference window is set with respect to the object image area of the object. As a result, the obtained feature amount is small, and the mismatch that such a corresponding candidate area is specified as the corresponding area is reduced. The Therefore, the case where an appropriate parallax value cannot be calculated due to mismatch can be effectively reduced. In addition, according to this aspect, the outer edge (size) of the reference window is determined according to the shift amount d (shift amount on the epipolar line) in the baseline direction between the parallax calculation target location and the corresponding candidate location. In comparison with the three-dimensional shape measurement apparatus described in
（態様Ｂ）
前記態様Ａにおいて、前記視差算出手段は、前記マッチング処理の際、前記視差算出対象箇所からの基線方向のずれ量ｄが大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の画素数を変えずに該検索対象領域の外縁が拡がるように、該検索対象領域を設定することを特徴とする。
これによれば、検索対象領域の外縁を拡げたことによる処理時間の増大を抑制できる。
(Aspect B)
In the aspect A, the parallax calculation means, in the matching process, the feature amount of the corresponding candidate region associated with the corresponding candidate candidate portion as the corresponding candidate portion having a larger deviation d in the baseline direction from the parallax calculation target portion. The search target area is set so that the outer edge of the search target area is expanded without changing the number of pixels of the search target area to be compared.
According to this, an increase in processing time due to the expansion of the outer edge of the search target area can be suppressed.
（態様Ｃ）
前記態様Ａにおいて、前記視差算出手段は、前記マッチング処理の際、前記視差算出対象箇所からの基線方向のずれ量が大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の画素数が増えるように、該検索対象領域を設定することを特徴とする。
これによれば、検索対象領域の外縁を拡げたことによる高いミスマッチ軽減効果を得ることができる。
(Aspect C)
In the aspect A, in the matching process, the parallax calculation unit calculates the feature amount of the corresponding candidate region associated with the corresponding candidate location as the corresponding candidate location has a larger deviation amount in the baseline direction from the parallax calculation target location. The search target area is set so that the number of pixels of the search target area to be compared increases.
According to this, it is possible to obtain a high mismatch reduction effect by expanding the outer edge of the search target area.
（態様Ｄ）
前記態様Ａ〜Ｃのいずれかの態様において、前記視差算出手段は、前記マッチング処理の際、前記視差算出対象箇所からの基線方向のずれ量が大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の基線方向の長さが長くなるように、該検索対象領域を設定することを特徴とする。
これによれば、検索対象領域の外縁を拡げたことによる高いミスマッチ軽減効果を得ることができる。
(Aspect D)
In any one of the aspects A to C, the parallax calculation unit associates a corresponding candidate position with a larger deviation amount in the baseline direction from the parallax calculation target position in the matching process with the corresponding candidate position. The search target area is set so that the length in the baseline direction of the search target area compared with the feature amount of the corresponding candidate area becomes long.
According to this, it is possible to obtain a high mismatch reduction effect by expanding the outer edge of the search target area.
（態様Ｅ）
所定の基線上に配置された２つの撮像手段と、前記２つの撮像手段により撮像して得られる２つの撮像画像のうちの一方である基準画像上の視差算出対象箇所に関連付けられた検索対象領域についての特徴量と、該２つの撮像画像のうちの他方である比較画像上で該視差算出対象箇所と同じエピポーラライン上に存在する複数の対応候補箇所にそれぞれ関連付けられた各対応候補領域についての特徴量とを比較し、該検索対象領域についての特徴量と一致し又は所定の近似範囲内の特徴量を有する対応候補領域を対応領域として特定するマッチング処理を実行し、該マッチング処理で特定した対応領域に関連付けられている対応箇所と前記視差算出対象箇所との間の基線方向のずれ量に基づいて視差値を算出する視差算出手段を備えた画像処理手段とを有し、前記画像処理手段により算出された視差値に基づいて、基準画像上の視差算出対象箇所に映し出されている被写体までの距離を測定する距離測定装置において、前記画像処理手段として、前記態様Ａ〜Ｄのいずれかの態様に係る画像処理装置を用いたことを特徴とする。
これによれば、遠距離の物体でも近距離の物体でも適切な距離測定が可能となる。
(Aspect E)
Search target area associated with a parallax calculation target location on a reference image that is one of two image pickup means arranged on a predetermined baseline and two picked-up images obtained by the two image pickup means And a corresponding candidate region associated with each of a plurality of corresponding candidate locations existing on the same epipolar line as the parallax calculation target location on the comparison image that is the other of the two captured images. A matching process is performed in which a matching candidate area that matches a feature quantity for the search target area or has a feature quantity within a predetermined approximate range is identified as a corresponding area. Image processing comprising disparity calculating means for calculating a disparity value based on a deviation amount in a base line direction between a corresponding portion associated with a corresponding region and the disparity calculation target portion. And a distance measuring device that measures the distance to the subject displayed on the parallax calculation target location on the reference image based on the parallax value calculated by the image processing means. The image processing apparatus according to any one of the aspects A to D is used.
According to this, appropriate distance measurement can be performed for both a long-distance object and a short-distance object.
（態様Ｆ）
所定の基線上に配置され、移動体周囲を撮像領域として撮像する２つの撮像手段により得られる２つの撮像画像から、撮像領域内に存在する被写体までの距離を測定する距離測定手段と、前記距離測定手段の測定結果に基づいて、前記移動体に搭載された警告機器や制動機器やヘッドランプ１０４等の所定の機器を制御するヘッドランプ制御ユニット１０３や車両走行制御ユニット１０６等の移動体機器制御手段とを備えた移動体機器制御システムにおいて、前記距離測定手段として、前記態様Ｅに係る距離測定装置を用いたことを特徴とする。
これによれば、遠距離の物体でも近距離の物体でも適切に距離が測定された結果に基づいて、移動体に搭載された機器を適切に制御することが可能となる。
(Aspect F)
A distance measuring unit that measures a distance from two captured images obtained by two imaging units that are arranged on a predetermined baseline and that captures the periphery of the moving object as an imaging region to a subject existing in the imaging region; Control of moving body devices such as a
According to this, it is possible to appropriately control the device mounted on the moving body based on the result of appropriately measuring the distance of both a long-distance object and a short-distance object.
（態様Ｇ）
所定の機器を搭載して移動する移動体において、前記所定の機器を制御する手段として、前記態様Ｆに係る移動体機器制御システムを用いたことを特徴とする。
これによれば、遠距離の物体でも近距離の物体でも適切に距離が測定された結果に基づいて適切に搭載機器を制御できる移動体を提供することが可能となる。
(Aspect G)
In a mobile object that carries predetermined equipment and moves, the mobile equipment control system according to the aspect F is used as means for controlling the predetermined equipment.
According to this, it is possible to provide a moving body that can appropriately control the on-board equipment based on the result of appropriately measuring the distance of both a long-distance object and a short-distance object.
（態様Ｈ）
所定の基線上に配置された２つの撮像手段により撮像して得られる２つの撮像画像のうちの一方である基準画像上の視差算出対象箇所に関連付けられた検索対象領域についての特徴量と、該２つの撮像画像のうちの他方である比較画像上で該視差算出対象箇所と同じエピポーラライン上に存在する複数の対応候補箇所にそれぞれ関連付けられた各対応候補領域についての特徴量とを比較し、該検索対象領域についての特徴量と一致し又は所定の近似範囲内の特徴量を有する対応候補領域を対応領域として特定するマッチング処理を実行するマッチング処理工程と、前記マッチング処理工程で特定した対応領域に関連付けられている対応箇所と前記視差算出対象箇所との間の基線方向のずれ量に基づいて視差値を算出する視差算出工程とを、画像処理装置のコンピュータに実行させるための画像処理用プログラムにおいて、前記マッチング処理工程では、前記視差算出対象箇所からの基線方向のずれ量が大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の外縁が拡がるように、該検索対象領域を設定することを特徴とする。
これによれば、より簡易な処理で視差値の算出誤差の少ないウィンドウサイズを設定することができる。
尚、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。
(Aspect H)
A feature amount for a search target region associated with a parallax calculation target location on a reference image that is one of two captured images obtained by imaging with two imaging means arranged on a predetermined baseline; and Compare the feature amount for each corresponding candidate area respectively associated with a plurality of corresponding candidate locations existing on the same epipolar line as the parallax calculation target location on the comparison image that is the other of the two captured images, A matching process step for executing a matching process for specifying a corresponding candidate area that matches a feature quantity for the search target area or has a feature quantity within a predetermined approximate range as a corresponding area, and the corresponding area specified in the matching process step A parallax calculation step of calculating a parallax value based on a shift amount in a baseline direction between a corresponding location associated with the parallax calculation target location, In the image processing program to be executed by the computer of the processing device, in the matching process step, the corresponding candidate area having a larger deviation amount in the baseline direction from the parallax calculation target position is associated with the corresponding candidate area. The search target area is set so that the outer edge of the search target area to be compared with the feature amount is expanded.
According to this, it is possible to set a window size with less parallax value calculation error by simpler processing.
This program can be distributed or obtained in a state of being recorded on a recording medium such as a CD-ROM. It is also possible to distribute and obtain signals by placing this program and distributing or receiving signals transmitted by a predetermined transmission device via transmission media such as public telephone lines, dedicated lines, and other communication networks. Is possible. At the time of distribution, it is sufficient that at least a part of the computer program is transmitted in the transmission medium. That is, it is not necessary for all data constituting the computer program to exist on the transmission medium at one time. The signal carrying the program is a computer data signal embodied on a predetermined carrier wave including the computer program. Further, the transmission method for transmitting a computer program from a predetermined transmission device includes a case where data constituting the program is transmitted continuously and a case where it is transmitted intermittently.
１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０３ ヘッドランプ制御ユニット
１０８ 車両走行制御ユニット
１１０Ａ，１１０Ｂ 撮像部
１２０ 処理ハードウェア部
１２１ 視差演算部
１２２Ａ，１２２Ｂ 画像バッファ
１２３Ａ 基準ウィンドウ切り出し部
１２３Ｂ 比較ウィンドウ切り出し部
１２４ 類似度算出部
１２５ 視差値算出部
１２６ ウィンドウ設定テーブル記憶部
DESCRIPTION OF
Claims (8)
前記視差算出手段は、前記マッチング処理の際、前記視差算出対象箇所からの基線方向のずれ量が大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の外縁が拡がるように、該検索対象領域を設定することを特徴とする画像処理装置。 A feature amount for a search target region associated with a parallax calculation target location on a reference image that is one of two captured images obtained by imaging with two imaging means arranged on a predetermined baseline; and A plurality of corresponding candidate locations that exist on the same epipolar line as the parallax calculation target location on the comparison image that is the other of the two captured images, and that are each separated by a predetermined amount of deviation from the parallax calculation target location in the baseline direction. A matching process that compares the feature amounts of each corresponding candidate region associated with each other and identifies a corresponding candidate region that matches the feature amount of the search target region or has a feature amount within a predetermined approximate range as a corresponding region. The parallax calculation is performed based on the amount of deviation in the baseline direction between the corresponding location associated with the corresponding region identified in the matching process and the parallax calculation target location. An image processing apparatus having a parallax calculating means for calculating a disparity value of elephants locations,
In the matching process, the parallax calculation unit compares a candidate candidate portion having a larger deviation amount in the baseline direction from the parallax calculation target portion with a feature amount of a corresponding candidate region associated with the corresponding candidate candidate location. An image processing apparatus, wherein the search target area is set so that an outer edge of the area is expanded.
前記視差算出手段は、前記マッチング処理の際、前記視差算出対象箇所からの基線方向のずれ量が大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の画素数を変えずに該検索対象領域の外縁が拡がるように、該検索対象領域を設定することを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
In the matching process, the parallax calculation unit compares a candidate candidate portion having a larger deviation amount in the baseline direction from the parallax calculation target portion with a feature amount of a corresponding candidate region associated with the corresponding candidate candidate location. An image processing apparatus, wherein the search target area is set so that an outer edge of the search target area is expanded without changing the number of pixels in the area.
前記視差算出手段は、前記マッチング処理の際、前記視差算出対象箇所からの基線方向のずれ量が大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の画素数が増えるように、該検索対象領域を設定することを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
In the matching process, the parallax calculation unit compares a candidate candidate portion having a larger deviation amount in the baseline direction from the parallax calculation target portion with a feature amount of a corresponding candidate region associated with the corresponding candidate candidate location. An image processing apparatus, wherein the search target area is set so that the number of pixels in the area increases.
前記視差算出手段は、前記マッチング処理の際、前記視差算出対象箇所からの基線方向のずれ量が大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の基線方向の長さが長くなるように、該検索対象領域を設定することを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 3,
In the matching process, the parallax calculation unit compares a candidate candidate portion having a larger deviation amount in the baseline direction from the parallax calculation target portion with a feature amount of a corresponding candidate region associated with the corresponding candidate candidate location. An image processing apparatus, wherein the search target area is set so that the length of the area in the base line direction becomes long.
前記２つの撮像手段により撮像して得られる２つの撮像画像のうちの一方である基準画像上の視差算出対象箇所に関連付けられた検索対象領域についての特徴量と、該２つの撮像画像のうちの他方である比較画像上で該視差算出対象箇所と同じエピポーラライン上に存在する複数の対応候補箇所にそれぞれ関連付けられた各対応候補領域についての特徴量とを比較し、該検索対象領域についての特徴量と一致し又は所定の近似範囲内の特徴量を有する対応候補領域を対応領域として特定するマッチング処理を実行し、該マッチング処理で特定した対応領域に関連付けられている対応箇所と前記視差算出対象箇所との間の基線方向のずれ量に基づいて視差値を算出する視差算出手段を備えた画像処理手段とを有し、
前記画像処理手段により算出された視差値に基づいて、基準画像上の視差算出対象箇所に映し出されている被写体までの距離を測定する距離測定装置において、
前記画像処理手段として、請求項１乃至４のいずれか１項に記載の画像処理装置を用いたことを特徴とする距離測定装置。 Two imaging means arranged on a predetermined baseline;
A feature amount for a search target region associated with a parallax calculation target location on a reference image, which is one of two captured images obtained by imaging with the two imaging means, and of the two captured images On the other comparison image, the feature amount of each corresponding candidate region associated with each of a plurality of corresponding candidate locations existing on the same epipolar line as the parallax calculation target location is compared, and the feature about the search target region A matching process for identifying a corresponding candidate area that matches a quantity or has a feature quantity within a predetermined approximate range as a corresponding area, and a corresponding location associated with the corresponding area identified by the matching process and the parallax calculation target An image processing unit including a parallax calculation unit that calculates a parallax value based on a deviation amount in a base line direction from a location;
In the distance measuring device that measures the distance to the subject shown in the parallax calculation target location on the reference image based on the parallax value calculated by the image processing means,
A distance measuring apparatus using the image processing apparatus according to claim 1 as the image processing means.
前記距離測定手段の測定結果に基づいて、前記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、
前記距離測定手段として、請求項５の距離測定装置を用いたことを特徴とする移動体機器制御システム。 A distance measuring unit that measures a distance from two captured images obtained by two imaging units that are arranged on a predetermined baseline and that captures the periphery of the moving body as an imaging region to a subject that exists in the imaging region;
In a mobile device control system comprising mobile device control means for controlling a predetermined device mounted on the mobile based on the measurement result of the distance measuring means,
A mobile device control system using the distance measuring device according to claim 5 as the distance measuring means.
前記所定の機器を制御する手段を有し、
前記手段として、請求項６の移動体機器制御システムを用いたことを特徴とする移動体。 In a moving body that carries predetermined equipment and moves,
Means for controlling the predetermined device ;
A moving body using the moving body apparatus control system according to claim 6 as the means .
前記マッチング処理工程で特定した対応領域に関連付けられている対応箇所と前記視差算出対象箇所との間の基線方向のずれ量に基づいて視差値を算出する視差算出工程とを、画像処理装置のコンピュータに実行させるための画像処理用プログラムにおいて、
前記マッチング処理工程では、前記視差算出対象箇所からの基線方向のずれ量が大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の外縁が拡がるように、該検索対象領域を設定することを特徴とする画像処理用プログラム。 A feature amount for a search target region associated with a parallax calculation target location on a reference image that is one of two captured images obtained by imaging with two imaging means arranged on a predetermined baseline; and A plurality of corresponding candidate locations that exist on the same epipolar line as the parallax calculation target location on the comparison image that is the other of the two captured images, and that are each separated by a predetermined amount of deviation from the parallax calculation target location in the baseline direction. A matching process that compares the feature amounts of each corresponding candidate region associated with each other and identifies a corresponding candidate region that matches the feature amount of the search target region or has a feature amount within a predetermined approximate range as a corresponding region. Matching processing step to execute,
A parallax calculation step of calculating a parallax value based on a shift amount in a baseline direction between a corresponding portion associated with the corresponding region identified in the matching processing step and the parallax calculation target portion; In the image processing program to be executed by
In the matching processing step, the outer edge of the search target region to be compared with the feature amount of the corresponding candidate region associated with the corresponding candidate portion is expanded as the corresponding candidate portion has a larger deviation amount in the baseline direction from the parallax calculation target portion. An image processing program characterized in that the search target area is set.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013101882A JP6202367B2 (en) | 2013-05-14 | 2013-05-14 | Image processing device, distance measurement device, mobile device control system, mobile device, and image processing program |
| EP14166000.1A EP2803944B1 (en) | 2013-05-14 | 2014-04-25 | Image Processing Apparatus, Distance Measurement Apparatus, Vehicle-Device Control System, Vehicle, and Image Processing Program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013101882A JP6202367B2 (en) | 2013-05-14 | 2013-05-14 | Image processing device, distance measurement device, mobile device control system, mobile device, and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014222429A JP2014222429A (en) | 2014-11-27 |
| JP6202367B2 true JP6202367B2 (en) | 2017-09-27 |
Family
ID=50628628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013101882A Expired - Fee Related JP6202367B2 (en) | 2013-05-14 | 2013-05-14 | Image processing device, distance measurement device, mobile device control system, mobile device, and image processing program |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP2803944B1 (en) |
| JP (1) | JP6202367B2 (en) |
Families Citing this family (66)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2447672B (en) | 2007-03-21 | 2011-12-14 | Ford Global Tech Llc | Vehicle manoeuvring aids |
| US9346396B2 (en) | 2011-04-19 | 2016-05-24 | Ford Global Technologies, Llc | Supplemental vehicle lighting system for vision based target detection |
| US9969428B2 (en) | 2011-04-19 | 2018-05-15 | Ford Global Technologies, Llc | Trailer backup assist system with waypoint selection |
| US9723274B2 (en) | 2011-04-19 | 2017-08-01 | Ford Global Technologies, Llc | System and method for adjusting an image capture setting |
| US9374562B2 (en) | 2011-04-19 | 2016-06-21 | Ford Global Technologies, Llc | System and method for calculating a horizontal camera to target distance |
| US9434414B2 (en) | 2011-04-19 | 2016-09-06 | Ford Global Technologies, Llc | System and method for determining a hitch angle offset |
| US9290204B2 (en) | 2011-04-19 | 2016-03-22 | Ford Global Technologies, Llc | Hitch angle monitoring system and method |
| US9937953B2 (en) | 2011-04-19 | 2018-04-10 | Ford Global Technologies, Llc | Trailer backup offset determination |
| US9290202B2 (en) | 2011-04-19 | 2016-03-22 | Ford Global Technologies, Llc | System and method of calibrating a trailer backup assist system |
| US9500497B2 (en) | 2011-04-19 | 2016-11-22 | Ford Global Technologies, Llc | System and method of inputting an intended backing path |
| US9335163B2 (en) | 2011-04-19 | 2016-05-10 | Ford Global Technologies, Llc | Trailer length estimation in hitch angle applications |
| US9513103B2 (en) | 2011-04-19 | 2016-12-06 | Ford Global Technologies, Llc | Hitch angle sensor assembly |
| US9506774B2 (en) | 2011-04-19 | 2016-11-29 | Ford Global Technologies, Llc | Method of inputting a path for a vehicle and trailer |
| US9248858B2 (en) | 2011-04-19 | 2016-02-02 | Ford Global Technologies | Trailer backup assist system |
| US9683848B2 (en) | 2011-04-19 | 2017-06-20 | Ford Global Technologies, Llc | System for determining hitch angle |
| US10196088B2 (en) | 2011-04-19 | 2019-02-05 | Ford Global Technologies, Llc | Target monitoring system and method |
| US9290203B2 (en) | 2011-04-19 | 2016-03-22 | Ford Global Technologies, Llc | Trailer length estimation in hitch angle applications |
| US9926008B2 (en) | 2011-04-19 | 2018-03-27 | Ford Global Technologies, Llc | Trailer backup assist system with waypoint selection |
| US9555832B2 (en) | 2011-04-19 | 2017-01-31 | Ford Global Technologies, Llc | Display system utilizing vehicle and trailer dynamics |
| US9854209B2 (en) | 2011-04-19 | 2017-12-26 | Ford Global Technologies, Llc | Display system utilizing vehicle and trailer dynamics |
| US9373044B2 (en) | 2011-07-25 | 2016-06-21 | Ford Global Technologies, Llc | Trailer lane departure warning system |
| US9592851B2 (en) | 2013-02-04 | 2017-03-14 | Ford Global Technologies, Llc | Control modes for a trailer backup assist system |
| US9511799B2 (en) | 2013-02-04 | 2016-12-06 | Ford Global Technologies, Llc | Object avoidance for a trailer backup assist system |
| US9352777B2 (en) | 2013-10-31 | 2016-05-31 | Ford Global Technologies, Llc | Methods and systems for configuring of a trailer maneuvering system |
| JP6417886B2 (en) | 2013-12-12 | 2018-11-07 | 株式会社リコー | Parallax value deriving device, moving body, robot, parallax value production method, and program |
| US9233710B2 (en) | 2014-03-06 | 2016-01-12 | Ford Global Technologies, Llc | Trailer backup assist system using gesture commands and method |
| US9963004B2 (en) | 2014-07-28 | 2018-05-08 | Ford Global Technologies, Llc | Trailer sway warning system and method |
| US9517668B2 (en) | 2014-07-28 | 2016-12-13 | Ford Global Technologies, Llc | Hitch angle warning system and method |
| US9315212B1 (en) | 2014-10-13 | 2016-04-19 | Ford Global Technologies, Llc | Trailer sensor module and associated method of wireless trailer identification and motion estimation |
| US9340228B2 (en) | 2014-10-13 | 2016-05-17 | Ford Global Technologies, Llc | Trailer motion and parameter estimation system |
| US9533683B2 (en) | 2014-12-05 | 2017-01-03 | Ford Global Technologies, Llc | Sensor failure mitigation system and mode management |
| US9522677B2 (en) | 2014-12-05 | 2016-12-20 | Ford Global Technologies, Llc | Mitigation of input device failure and mode management |
| EP3366522B1 (en) * | 2014-12-15 | 2021-02-03 | Ricoh Company, Ltd. | Monitoring system, and vehicle mountable with monitoring system |
| JP6459482B2 (en) * | 2014-12-18 | 2019-01-30 | 株式会社リコー | Parallax value deriving apparatus, device control system, moving body, robot, parallax value deriving method, and program |
| US9607242B2 (en) | 2015-01-16 | 2017-03-28 | Ford Global Technologies, Llc | Target monitoring system with lens cleaning device |
| US9522699B2 (en) | 2015-02-05 | 2016-12-20 | Ford Global Technologies, Llc | Trailer backup assist system with adaptive steering angle limits |
| US9616923B2 (en) | 2015-03-03 | 2017-04-11 | Ford Global Technologies, Llc | Topographical integration for trailer backup assist system |
| US9804022B2 (en) | 2015-03-24 | 2017-10-31 | Ford Global Technologies, Llc | System and method for hitch angle detection |
| EP3315905B1 (en) * | 2015-06-24 | 2020-04-22 | Kyocera Corporation | Image processing device, stereo camera device, vehicle, and image processing method |
| US9896130B2 (en) | 2015-09-11 | 2018-02-20 | Ford Global Technologies, Llc | Guidance system for a vehicle reversing a trailer along an intended backing path |
| US10611407B2 (en) | 2015-10-19 | 2020-04-07 | Ford Global Technologies, Llc | Speed control for motor vehicles |
| US10384607B2 (en) | 2015-10-19 | 2019-08-20 | Ford Global Technologies, Llc | Trailer backup assist system with hitch angle offset estimation |
| US9836060B2 (en) | 2015-10-28 | 2017-12-05 | Ford Global Technologies, Llc | Trailer backup assist system with target management |
| US10017115B2 (en) | 2015-11-11 | 2018-07-10 | Ford Global Technologies, Llc | Trailer monitoring system and method |
| US9796228B2 (en) | 2015-12-17 | 2017-10-24 | Ford Global Technologies, Llc | Hitch angle detection for trailer backup assist system |
| US9610975B1 (en) | 2015-12-17 | 2017-04-04 | Ford Global Technologies, Llc | Hitch angle detection for trailer backup assist system |
| US10155478B2 (en) | 2015-12-17 | 2018-12-18 | Ford Global Technologies, Llc | Centerline method for trailer hitch angle detection |
| US9827818B2 (en) | 2015-12-17 | 2017-11-28 | Ford Global Technologies, Llc | Multi-stage solution for trailer hitch angle initialization |
| US10011228B2 (en) | 2015-12-17 | 2018-07-03 | Ford Global Technologies, Llc | Hitch angle detection for trailer backup assist system using multiple imaging devices |
| US9934572B2 (en) | 2015-12-17 | 2018-04-03 | Ford Global Technologies, Llc | Drawbar scan solution for locating trailer hitch point |
| US9798953B2 (en) | 2015-12-17 | 2017-10-24 | Ford Global Technologies, Llc | Template matching solution for locating trailer hitch point |
| CN105716568A (en) * | 2016-01-28 | 2016-06-29 | 武汉光庭信息技术股份有限公司 | Binocular camera ranging method in automatic pilot system |
| US10005492B2 (en) | 2016-02-18 | 2018-06-26 | Ford Global Technologies, Llc | Trailer length and hitch angle bias estimation |
| US10112646B2 (en) | 2016-05-05 | 2018-10-30 | Ford Global Technologies, Llc | Turn recovery human machine interface for trailer backup assist |
| US10106193B2 (en) | 2016-07-01 | 2018-10-23 | Ford Global Technologies, Llc | Enhanced yaw rate trailer angle detection initialization |
| US10046800B2 (en) | 2016-08-10 | 2018-08-14 | Ford Global Technologies, Llc | Trailer wheel targetless trailer angle detection |
| JP6840957B2 (en) | 2016-09-01 | 2021-03-10 | 株式会社リコー | Image similarity calculation device, image processing device, image processing method, and recording medium |
| US10222804B2 (en) | 2016-10-21 | 2019-03-05 | Ford Global Technologies, Llc | Inertial reference for TBA speed limiting |
| US20180273051A1 (en) * | 2017-03-24 | 2018-09-27 | Bendix Commercial Vehicle Sytems LLC | Controller and Method of Setting an Intervention Zone in a Lane Departure Warning System |
| US10710585B2 (en) | 2017-09-01 | 2020-07-14 | Ford Global Technologies, Llc | Trailer backup assist system with predictive hitch angle functionality |
| US11077795B2 (en) | 2018-11-26 | 2021-08-03 | Ford Global Technologies, Llc | Trailer angle detection using end-to-end learning |
| US10829046B2 (en) | 2019-03-06 | 2020-11-10 | Ford Global Technologies, Llc | Trailer angle detection using end-to-end learning |
| CN112319464B (en) * | 2020-11-09 | 2021-10-15 | 恒大新能源汽车投资控股集团有限公司 | Automatic parking method, device, equipment and storage medium |
| CN113159161A (en) * | 2021-04-16 | 2021-07-23 | 深圳市商汤科技有限公司 | Target matching method and device, equipment and storage medium |
| CN115685405A (en) * | 2021-07-30 | 2023-02-03 | 株式会社理光 | Optical member, light receiving device, distance measuring device, and moving object |
| CN113879312B (en) * | 2021-11-01 | 2023-02-28 | 无锡威孚高科技集团股份有限公司 | Forward target selection method and device based on multi-sensor fusion and storage medium |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3633368B2 (en) * | 1999-05-19 | 2005-03-30 | 日産自動車株式会社 | Obstacle detection device |
| JP2006221603A (en) * | 2004-08-09 | 2006-08-24 | Toshiba Corp | Three-dimensional-information reconstructing apparatus, method and program |
| JP5365387B2 (en) * | 2009-07-17 | 2013-12-11 | 株式会社ニコン | Position detection device |
| JP2012002683A (en) * | 2010-06-17 | 2012-01-05 | Fuji Electric Co Ltd | Stereo image processing method and stereo image processing device |
| JP5891415B2 (en) * | 2010-12-20 | 2016-03-23 | パナソニックＩｐマネジメント株式会社 | Stereo image processing device |
| CN102982304B (en) * | 2011-09-07 | 2016-05-25 | 株式会社理光 | Utilize polarized light image to detect the method and system of vehicle location |
| JP2013030183A (en) * | 2012-09-28 | 2013-02-07 | Toyota Central R&D Labs Inc | Environment recognition device, and program |
-
2013
- 2013-05-14 JP JP2013101882A patent/JP6202367B2/en not_active Expired - Fee Related
-
2014
- 2014-04-25 EP EP14166000.1A patent/EP2803944B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP2803944B1 (en) | 2016-08-17 |
| JP2014222429A (en) | 2014-11-27 |
| EP2803944A3 (en) | 2015-04-29 |
| EP2803944A2 (en) | 2014-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6202367B2 (en) | Image processing device, distance measurement device, mobile device control system, mobile device, and image processing program | |
| US10984509B2 (en) | Image processing apparatus, imaging device, moving body device control system, image information processing method, and program product | |
| US9230165B2 (en) | Object detection apparatus, vehicle-mounted device control system and storage medium of program of object detection | |
| JP6795027B2 (en) | Information processing equipment, object recognition equipment, device control systems, moving objects, image processing methods and programs | |
| JP6733225B2 (en) | Image processing device, imaging device, mobile device control system, image processing method, and program | |
| JP7206583B2 (en) | Information processing device, imaging device, device control system, moving object, information processing method and program | |
| US9747524B2 (en) | Disparity value deriving device, equipment control system, movable apparatus, and robot | |
| US11691585B2 (en) | Image processing apparatus, imaging device, moving body device control system, image processing method, and program product | |
| JP2014225220A (en) | Moving surface information detection device, mobile apparatus control system using the same, and moving surface information detection program | |
| JP4901275B2 (en) | Travel guidance obstacle detection device and vehicle control device | |
| JP2014006885A (en) | Level difference recognition apparatus, level difference recognition method, and program for level difference recognition | |
| JP2013250907A (en) | Parallax calculation device, parallax calculation method and parallax calculation program | |
| JP6665925B2 (en) | Image processing apparatus, mobile equipment control system, image processing program, and image processing method | |
| JP2017219427A (en) | Object distance detection device | |
| JP2016206801A (en) | Object detection device, mobile equipment control system and object detection program | |
| JP2017207874A (en) | Image processing apparatus, imaging apparatus, moving body device control system, image processing method, and program | |
| JP2018092605A (en) | Information processing device, imaging device, apparatus control system, movable body, information processing method, and program | |
| JP2016191988A (en) | Outside-vehicle environment recognition device | |
| JP2014016981A (en) | Movement surface recognition device, movement surface recognition method, and movement surface recognition program | |
| JP5950193B2 (en) | Disparity value calculation device, disparity value calculation system including the same, moving surface area recognition system, disparity value calculation method, and disparity value calculation program | |
| WO2020036039A1 (en) | Stereo camera device | |
| JP2017207881A (en) | Image processing apparatus, imaging apparatus, moving body device control system, image processing method, and program | |
| JP2016173248A (en) | Parallax value computation device, object recognition device, mobile instrument control system and parallax computation program | |
| JP6561688B2 (en) | DETECTING DEVICE, DETECTING METHOD, IMAGING DEVICE, DEVICE CONTROL SYSTEM, AND PROGRAM | |
| WO2018097269A1 (en) | Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170417 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170526 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170724 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170804 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170817 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6202367 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |