JP2013239078A - Image analysis device, image analysis method and image analysis program - Google Patents

Image analysis device, image analysis method and image analysis program Download PDF

Info

Publication number
JP2013239078A
JP2013239078A JP2012112553A JP2012112553A JP2013239078A JP 2013239078 A JP2013239078 A JP 2013239078A JP 2012112553 A JP2012112553 A JP 2012112553A JP 2012112553 A JP2012112553 A JP 2012112553A JP 2013239078 A JP2013239078 A JP 2013239078A
Authority
JP
Japan
Prior art keywords
target pixel
parallax
pixel
index value
image analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012112553A
Other languages
Japanese (ja)
Inventor
Kashu Takemae
嘉修 竹前
Fumiya Ichino
史也 一野
Akihiro Watanabe
章弘 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Toyota Central R&D Labs Inc
Original Assignee
Toyota Motor Corp
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Toyota Central R&D Labs Inc filed Critical Toyota Motor Corp
Priority to JP2012112553A priority Critical patent/JP2013239078A/en
Publication of JP2013239078A publication Critical patent/JP2013239078A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To more highly accurately perform processing.SOLUTION: An image analysis device comprises: parallax calculation means that calculates an index value indicating a degree of a difference among pixel values including peripheral pixels among a target pixel selected from a first image captured by first imaging means and a plurality of comparison object pixels in a second image captured by second imaging means, extracts the comparison object pixel causing the index value to be minimum, calculates a coordinate difference between the comparison object pixel extracted and the target pixel as a parallax and associates the coordinate difference with the target pixel with respect to each of a plurality of target pixels; and selection means for selecting a combination in which an inclination of the index value in the vicinity of the comparison object pixel causing the index value to be minimum is not less than a reference value from the combination of the target pixel and the parallax associated by the parallax calculation means.

Description

本発明は、ステレオカメラ技術を利用して処理を行う画像解析装置、画像解析方法、及び画像解析プログラムに関する。   The present invention relates to an image analysis apparatus, an image analysis method, and an image analysis program that perform processing using stereo camera technology.

従来、同一物体を角度を変えて撮像し、複数の画像における対応点同士の位置関係から、物体との距離等を算出する技術が知られている。係る技術は、ステレオカメラ技術等と称されている。ステレオカメラ技術は、車両に搭載され、例えば車両前方の障害物との距離を算出するのに用いられている。   2. Description of the Related Art Conventionally, a technique is known in which the same object is imaged at different angles and the distance to the object is calculated from the positional relationship between corresponding points in a plurality of images. Such a technique is called a stereo camera technique or the like. The stereo camera technology is mounted on a vehicle and is used, for example, to calculate a distance from an obstacle ahead of the vehicle.

ところで、複数の画像における対応点、すなわち同一の撮像対象を撮像したと推定される点（画素）を発見するのには、例えばＳＡＤ（Sum of Absolute Difference）のような指標値が用いられる。ＳＡＤは、一方の画像における基準領域内の各画素の画素値（例えば輝度値）と、他方の画像における基準領域内の各画素の画素値（同）との差分の絶対値の総和として求められる。特許文献１には、ＳＡＤが最小値となる点を、メイン画像における注目点と相関度が最も高いサブ画像上の対応位置とするステレオ画像処理装置について記載されている。   By the way, an index value such as SAD (Sum of Absolute Difference) is used to find corresponding points in a plurality of images, that is, points (pixels) estimated to have captured the same imaging target. The SAD is obtained as a sum of absolute values of differences between pixel values (for example, luminance values) of pixels in the reference area in one image and pixel values (same values) of pixels in the reference area in the other image. . Patent Document 1 describes a stereo image processing apparatus in which a point at which the SAD is a minimum value is a corresponding position on a sub-image having the highest degree of correlation with a point of interest in a main image.

特開２００５−２５０９９４号公報JP 2005-250994 A

しかしながら、上記特許文献１に記載の装置を含め、ステレオカメラ技術においては、画素値等の数値を用いて対応点を探索する結果、実際には同一の撮像対象を撮像していない点を対応付けてしまう場合がある。   However, in the stereo camera technology including the device described in Patent Document 1, as a result of searching for corresponding points using numerical values such as pixel values, points that do not actually capture the same imaging target are associated. May end up.

このような不都合は、例えば車両から路面上の対応点を発見しようとする場合に大きいものとなり得る。路面では、描画された白線等を除き、コントラストの小さいアスファルトやコンクリートが連続することが多く、画素値に大きな特徴が生じにくいからである。この結果、撮像対象との距離等を算出する際の精度が低下するおそれがある。   Such inconvenience can be significant when trying to find a corresponding point on the road surface from a vehicle, for example. This is because, on the road surface, asphalt and concrete having a low contrast often continue except for drawn white lines and the like, and it is difficult for large characteristics to occur in pixel values. As a result, there is a possibility that the accuracy when calculating the distance to the imaging target or the like is lowered.

本発明は、一側面によれば、より高精度に処理を行うことが可能な画像解析装置、画像解析方法、及び画像解析プログラムを提供することを目的とする。   An object of the present invention is to provide an image analysis device, an image analysis method, and an image analysis program that can perform processing with higher accuracy.

上記目的を達成するための本発明の一態様は、
異なる撮像角度から、少なくとも一部が共通する撮像範囲を撮像する第１及び第２の撮像手段により撮像された画像を解析する画像解析装置であって、
前記第１の撮像手段により撮像された第１の画像から選択された注目画素と、前記第２の撮像手段により撮像された第２の画像における複数の比較対象画素との間で、周辺画素を含めた画素値の相違程度を示す指標値を算出して該指標値が最小となる比較対象画素を抽出し、該抽出した比較対象画素と前記注目画素との座標差を視差として算出して前記注目画素に対応付けることを、複数の注目画素に対して行う視差算出手段と、
前記視差算出手段により対応付けられた注目画素と視差の組み合わせから、前記指標値が最小となった比較対象画素の近傍における前記指標値の傾きが基準値以上である組み合わせを選択する選択手段と、
を備える画像解析装置である。 In order to achieve the above object, one embodiment of the present invention provides:
An image analysis apparatus that analyzes images captured by first and second imaging means that capture at least a part of a common imaging range from different imaging angles,
A peripheral pixel is selected between a target pixel selected from the first image captured by the first imaging unit and a plurality of comparison target pixels in the second image captured by the second imaging unit. Calculating an index value indicating the degree of difference between the included pixel values, extracting a comparison target pixel having the minimum index value, calculating a coordinate difference between the extracted comparison target pixel and the target pixel as a parallax; Parallax calculating means for performing the association with the target pixel for a plurality of target pixels;
A selection unit that selects a combination in which an inclination of the index value in the vicinity of the comparison target pixel having the minimum index value is a reference value or more from a combination of the target pixel and the parallax associated by the parallax calculation unit;
Is an image analysis apparatus.

この本発明の一態様によれば、周辺画素を含めた画素値の相違程度を示す指標値が最小となった比較対象画素の近傍における指標値の傾きが基準値以上である組み合わせを選択することにより、有意な視差、すなわち同一の撮像対象物が写っている可能性が高い注目画素と比較対象画素の組み合わせから算出された視差を選択することができるため、これを用いた処理を高精度に行うことができる。   According to this aspect of the present invention, selecting a combination in which the slope of the index value in the vicinity of the comparison target pixel in which the index value indicating the degree of difference between the pixel values including the surrounding pixels is minimized is equal to or greater than the reference value. Can select a significant parallax, that is, a parallax calculated from a combination of a pixel of interest and a pixel to be compared that is likely to contain the same imaging target, and processing using this can be performed with high accuracy. It can be carried out.

本発明の一態様において、
前記選択手段により選択された複数の注目画素と視差の組み合わせを用いて路面構造を推定する路面構造推定手段を備えるものとしてもよい。 In one embodiment of the present invention,
A road surface structure estimation unit that estimates a road surface structure using a combination of a plurality of target pixels and parallax selected by the selection unit may be provided.

この場合、
前記選択手段により選択された複数の注目画素と視差の組み合わせから、画像における奥行き方向の視差の変動程度に基づいて、路面を写したと推定される注目画素と視差を抽出する路面判定手段を備え、
前記路面構造推定手段は、前記路面判定手段により抽出された路面を写したと推定される注目画素と視差の組み合わせを用いて路面構造を推定する手段であるものとしてもよい。 in this case,
Road surface determining means for extracting a target pixel and parallax estimated to have captured a road surface based on a variation degree of parallax in the depth direction in an image from a combination of a plurality of target pixels and parallax selected by the selection means; ,
The road surface structure estimation unit may be a unit that estimates a road surface structure using a combination of a pixel of interest and a parallax estimated to be a copy of the road surface extracted by the road surface determination unit.

本発明の他の態様は、
異なる撮像角度から、少なくとも一部が共通する撮像範囲を撮像する第１及び第２の撮像手段により撮像された画像を解析する画像解析装置であって、
前記第１の撮像手段により撮像された第１の画像から選択された注目画素と、前記第２の撮像手段により撮像された第２の画像における複数の比較対象画素との間で、周辺画素を含めた画素値の一致程度を示す指標値を算出して該指標値が最大となる比較対象画素を抽出し、該抽出した比較対象画素と前記注目画素との座標差を視差として算出して前記注目画素に対応付けることを、複数の注目画素に対して行う視差算出手段と、
前記視差算出手段により対応付けられた注目画素と視差の組み合わせから、前記指標値が最小となった比較対象画素の近傍における前記指標値の傾きが基準値以上である組み合わせを選択する選択手段と、
を備える画像解析装置である。 Another aspect of the present invention is:
An image analysis apparatus that analyzes images captured by first and second imaging means that capture at least a part of a common imaging range from different imaging angles,
A peripheral pixel is selected between a target pixel selected from the first image captured by the first imaging unit and a plurality of comparison target pixels in the second image captured by the second imaging unit. Calculating an index value indicating the degree of coincidence of the included pixel values, extracting a comparison target pixel having the maximum index value, calculating a coordinate difference between the extracted comparison target pixel and the target pixel as a parallax; Parallax calculating means for performing the association with the target pixel for a plurality of target pixels;
A selection unit that selects a combination in which an inclination of the index value in the vicinity of the comparison target pixel having the minimum index value is a reference value or more from a combination of the target pixel and the parallax associated by the parallax calculation unit;
Is an image analysis apparatus.

この本発明の一態様によれば、周辺画素を含めた画素値の一致程度を示す指標値が最大となった比較対象画素の近傍における指標値の傾きが基準値以上である組み合わせを選択することにより、有意な視差、すなわち同一の撮像対象物が写っている可能性が高い注目画素と比較対象画素の組み合わせから算出された視差を選択することができるため、これを用いた処理を高精度に行うことができる。   According to this aspect of the present invention, selecting a combination in which the slope of the index value in the vicinity of the comparison target pixel having the maximum index value indicating the degree of coincidence of the pixel values including the peripheral pixels is equal to or greater than the reference value. Can select a significant parallax, that is, a parallax calculated from a combination of a pixel of interest and a pixel to be compared that is likely to contain the same imaging target, and processing using this can be performed with high accuracy. It can be carried out.

本発明の他の態様は、
異なる撮像角度から、少なくとも一部が共通する撮像範囲を撮像する第１及び第２の撮像手段により撮像された画像を解析する画像解析装置が、
前記第１の撮像手段により撮像された第１の画像から選択された注目画素と、前記第２の撮像手段により撮像された第２の画像における複数の比較対象画素との間で、周辺画素を含めた画素値の相違程度を示す指標値を算出して該指標値が最小となる比較対象画素を抽出し、
該抽出した比較対象画素と前記注目画素との座標差を視差として算出して前記注目画素に対応付けることを、複数の注目画素に対して行い、
前記対応付けられた注目画素と視差の組み合わせから、前記指標値が最小となった比較対象画素の近傍における前記指標値の傾きが基準値以上である組み合わせを選択する、
を備える画像解析方法である。 Another aspect of the present invention is:
An image analysis apparatus that analyzes images captured by the first and second imaging units that capture at least a part of a common imaging range from different imaging angles,
A peripheral pixel is selected between a target pixel selected from the first image captured by the first imaging unit and a plurality of comparison target pixels in the second image captured by the second imaging unit. Calculating an index value indicating the degree of difference between the included pixel values and extracting a comparison target pixel having the minimum index value;
A coordinate difference between the extracted comparison target pixel and the target pixel is calculated as a parallax and associated with the target pixel for a plurality of target pixels,
From the associated target pixel and parallax combination, select a combination in which the slope of the index value in the vicinity of the comparison target pixel having the smallest index value is greater than or equal to a reference value.
An image analysis method comprising:

また、本発明の他の態様は、
異なる撮像角度から、少なくとも一部が共通する撮像範囲を撮像する第１及び第２の撮像手段により撮像された画像を解析する画像解析装置に、
前記第１の撮像手段により撮像された第１の画像から選択された注目画素と、前記第２の撮像手段により撮像された第２の画像における複数の比較対象画素との間で、周辺画素を含めた画素値の相違程度を示す指標値を算出して該指標値が最小となる比較対象画素を抽出させ、
該抽出した比較対象画素と前記注目画素との座標差を視差として算出して前記注目画素に対応付けることを、複数の注目画素に対して行わせ、
前記対応付けられた注目画素と視差の組み合わせから、前記指標値が最小となった比較対象画素の近傍における前記指標値の傾きが基準値以上である組み合わせを選択させる、
を備える画像解析プログラムである。 Another aspect of the present invention is as follows:
An image analysis apparatus that analyzes images captured by the first and second imaging units that capture at least a part of a common imaging range from different imaging angles,
A peripheral pixel is selected between a target pixel selected from the first image captured by the first imaging unit and a plurality of comparison target pixels in the second image captured by the second imaging unit. Calculating an index value indicating the degree of difference between the included pixel values and extracting a comparison target pixel having the minimum index value;
Calculating a coordinate difference between the extracted comparison target pixel and the target pixel as a parallax and associating it with the target pixel;
Selecting a combination in which the slope of the index value in the vicinity of the comparison target pixel having the smallest index value is greater than or equal to a reference value from the associated target pixel and parallax combinations;
Is an image analysis program.

本発明は、一側面によれば、より高精度に処理を行うことが可能な画像解析装置、画像解析方法、及び画像解析プログラムを提供することができる。   According to one aspect of the present invention, it is possible to provide an image analysis apparatus, an image analysis method, and an image analysis program that can perform processing with higher accuracy.

本発明の一実施例に係る画像解析装置１のシステム構成例である。1 is a system configuration example of an image analysis apparatus 1 according to an embodiment of the present invention. カメラ１００、２００の撮像範囲を例示した図である。It is the figure which illustrated the imaging range of the cameras 100 and 200. FIG. カメラ１００によって撮像された画像と、カメラ２００によって撮像された画像を示す図である。2 is a diagram illustrating an image captured by a camera 100 and an image captured by a camera 200. FIG. ある撮像対象物Ｐ（Ｘ，Ｙ，Ｚ）の、左画像及び右画像における位置Ｐｌ及びＰｒを示す図である。It is a figure which shows the positions Pl and Pr in a left image and a right image of a certain imaging target P (X, Y, Z). 右画像、及び左画像から右エッジ画像、左エッジ画像を生成する様子を示す図である。It is a figure which shows a mode that a right edge image and a left edge image are produced | generated from a right image and a left image. 視差算出部１４により実行される処理の流れを示すフローチャートの一例である。4 is an example of a flowchart showing a flow of processing executed by a parallax calculation unit 14; 視差算出部１４が、右エッジ画像と左エッジ画像を走査して注目画素や比較対象画素を選択し、ＳＡＤウィンドウ*、ＳＡＤウィンドウ**を設定する様子を模式的に示す図である。It is a figure which shows typically a mode that the parallax calculation part 14 scans a right edge image and a left edge image, selects an attention pixel and a comparison object pixel, and sets SAD window * and SAD window **. 最小、且つ極小値となったＳＡＤ値の波形（以下、ＳＡＤ波形と称する）を例示した図である。It is the figure which illustrated the waveform (henceforth a SAD waveform) of the SAD value used as the minimum and the minimum value. 最小、且つ極小値となったＳＡＤ値の波形（以下、ＳＡＤ波形と称する）を例示した図である。It is the figure which illustrated the waveform (henceforth a SAD waveform) of the SAD value used as the minimum and the minimum value. サブピクセルの視差を求める原理を模式的に示す図である。It is a figure which shows typically the principle which calculates | requires the parallax of a subpixel. 路面判定部２０が右エッジ画像を走査する様子を模式的に示す図である。It is a figure which shows typically a mode that the road surface determination part 20 scans a right edge image. 式（１０）に係る座標軸を説明するための説明図である。It is explanatory drawing for demonstrating the coordinate axis which concerns on Formula (10).

以下、本発明を実施するための形態について、添付図面を参照しながら実施例を挙げて説明する。   DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described with reference to the accompanying drawings.

以下、図面を参照し、本発明の一実施例に係る画像解析装置、画像解析方法、及び画像解析プログラムについて説明する。   Hereinafter, an image analysis apparatus, an image analysis method, and an image analysis program according to an embodiment of the present invention will be described with reference to the drawings.

［構成］
図１は、本発明の一実施例に係る画像解析装置１のシステム構成例である。画像解析装置１は、カメラ１００、２００に接続されて用いられる。 [Constitution]
FIG. 1 is a system configuration example of an image analysis apparatus 1 according to an embodiment of the present invention. The image analysis apparatus 1 is used by being connected to cameras 100 and 200.

カメラ１００、２００は、例えば、ＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラである。   The cameras 100 and 200 are, for example, a CCD (Charge Coupled Device) camera or a CMOS (Complementary Metal Oxide Semiconductor) camera.

カメラ１００、２００は、例えば、車両のルームミラー背面部の左右端に取り付けられ、車両前方且つ斜め下方を撮像する。カメラ１００、２００は、鉛直方向の光軸角度（俯角）が一致するように取り付けられている。カメラ１００、２００は、所定周期で撮像した画像を画像解析装置１に送信する。図２は、カメラ１００、２００の撮像範囲を例示した図である。図示するように、カメラ１００、２００は、異なる撮像角度から、少なくとも一部が共通する撮像範囲を撮像する。図３は、カメラ１００によって撮像された画像（以下、左画像と称する）と、カメラ２００によって撮像された画像（以下、右画像と称する）を示す図である。   The cameras 100 and 200 are attached to, for example, the left and right ends of the rear mirror portion of the vehicle, and take an image of the vehicle front and obliquely below. The cameras 100 and 200 are attached so that the optical axis angles (the depression angles) in the vertical direction coincide. The cameras 100 and 200 transmit images captured at a predetermined cycle to the image analysis apparatus 1. FIG. 2 is a diagram illustrating an imaging range of the cameras 100 and 200. As shown in the figure, the cameras 100 and 200 capture an imaging range at least partially in common from different imaging angles. FIG. 3 is a diagram illustrating an image captured by the camera 100 (hereinafter referred to as a left image) and an image captured by the camera 200 (hereinafter referred to as a right image).

画像解析装置１は、例えば、ＣＰＵ（Central Processing Unit）を中心としてＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等がバスを介して相互に接続されたマイクロコンピュータであり、その他、必要に応じて、ＨＤＤ（Hard Disc Drive）やＤＶＤ−Ｒ（Digital Versatile Disk-Recordable）ドライブ、ＣＤ−Ｒ（Compact Disc-Recordable）ドライブ、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）等の記憶装置やＩ／Ｏポート、タイマー、カウンター等を備える。   The image analysis apparatus 1 is, for example, a microcomputer in which a ROM (Read Only Memory), a RAM (Random Access Memory), and the like are connected to each other via a bus with a central processing unit (CPU) as a center. Accordingly, storage devices such as HDD (Hard Disc Drive), DVD-R (Digital Versatile Disk-Recordable) drive, CD-R (Compact Disc-Recordable) drive, EEPROM (Electronically Erasable and Programmable Read Only Memory), etc. O port, timer, counter, etc. are provided.

画像解析装置１は、記憶装置に格納されたプログラムをＣＰＵが実行することにより機能する機能ブロックとして、画像入力部１０と、歪補正・平行化処理部１２と、視差算出部１４と、選択部１６と、サブピクセル視差算出部１８と、路面判定部２０と、白線検出による視差算出部２２と、路面構造推定部２４と、を備える。   The image analysis apparatus 1 includes an image input unit 10, a distortion correction / parallelization processing unit 12, a parallax calculation unit 14, and a selection unit as functional blocks that function when the CPU executes a program stored in a storage device. 16, a sub-pixel parallax calculation unit 18, a road surface determination unit 20, a parallax calculation unit 22 based on white line detection, and a road surface structure estimation unit 24.

ＣＰＵが実行するプログラムは、例えば、プログラムを記録した記憶媒体がドライブ装置に装着されることによって、記憶装置にインストールされる。また、この他、車載インターネット装置等のインターフェース装置がネットワークを介して他のコンピュータよりダウンロードし、記憶装置にインストールされてもよいし、画像解析装置１の出荷時に、予め記憶装置やＲＯＭ等に格納されていてもよい。   The program executed by the CPU is installed in the storage device by, for example, mounting a storage medium storing the program on the drive device. In addition, an interface device such as an in-vehicle Internet device may be downloaded from another computer via a network and installed in a storage device, or stored in a storage device, a ROM, or the like in advance when the image analysis device 1 is shipped. May be.

画像入力部１０は、カメラ１００、２００から入力される画像データを、それぞれＲＡＭ等に格納する。   The image input unit 10 stores image data input from the cameras 100 and 200 in a RAM or the like.

歪補正・平行化処理部１２は、同じタイミングでカメラ１００、２００により撮像された画像データの組について、カメラ１００、２００の内部パラメータや外部パラメータを用いて、歪補正処理を行うと共に、縦方向すなわち距離の方向に関して、同一の撮像対象物が同じ位置に写るように平行化する処理を行う。カメラ１００、２００は、同じ高さで同じ俯角をもって取り付けられるため、原理的には、縦方向に関して同一の撮像対象物が同じ位置に写る筈であるが、カメラ１００、２００の取り付け誤差や車両のロール運動、ルームミラーの振動等によって、上記のような平行化処理が必要となる場合がある。   The distortion correction / parallelization processing unit 12 performs distortion correction processing on image data sets captured by the cameras 100 and 200 at the same timing using internal parameters and external parameters of the cameras 100 and 200, and also in the vertical direction. That is, with respect to the direction of distance, the parallel imaging process is performed so that the same object to be imaged appears at the same position. Since the cameras 100 and 200 are mounted at the same height and with the same depression angle, in principle, the same imaging target should be captured at the same position in the vertical direction. Depending on the roll motion, the vibration of the room mirror, etc., the above parallel processing may be required.

歪補正処理は、例えば、カメラ１００、２００のレンズの設計値を用いた補正変換テーブルを用いて行ってもよいし、半径方向の歪曲収差のモデルを用いたパラメータ推定により行ってもよい。また、カメラ１００、２００の取り付け誤差に関する平行化処理は、例えば、カメラ１００、２００の共通撮像範囲に格子パターンを設置し、対応付けられた格子点からカメラ１００、２００の相対関係を算出する実験を予め行っておくことにより、行うことができる。   The distortion correction processing may be performed using, for example, a correction conversion table using the design values of the lenses of the cameras 100 and 200, or may be performed by parameter estimation using a radial distortion aberration model. Further, the parallelization processing related to the mounting error of the cameras 100 and 200 is, for example, an experiment in which a lattice pattern is set in the common imaging range of the cameras 100 and 200 and the relative relationship between the cameras 100 and 200 is calculated from the associated lattice points. Can be performed by performing in advance.

［視差算出］
図４は、ある撮像対象物Ｐ（Ｘ，Ｙ，Ｚ）の、左画像及び右画像における位置Ｐｌ及びＰｒを示す図である。位置Ｐｌ及びＰｒは、歪補正・平行化処理部１２によって、画像の縦方向（以下、ｙ方向と称する）に関する座標（ｙ座標）は同じになるように修正されるが、画像の横方向（以下、ｘ方向と称する）に関する座標（ｘ座標）は、カメラ１００、２００の間隔に応じて異なるものとなる。このＰｌとＰｒのｘ座標のズレ量を視差として算出し、Ｐｌ、Ｐｒのｙ座標、視差、及びカメラ１００、２００の設置パラメータを反映させた演算を行うことにより、撮像対象物Ｐまでの距離等を求めることができる。 [Parallax calculation]
FIG. 4 is a diagram illustrating positions Pl and Pr of a certain imaging target P (X, Y, Z) in the left image and the right image. The positions Pl and Pr are corrected by the distortion correction / parallelization processing unit 12 so that coordinates (y coordinates) in the vertical direction of the image (hereinafter referred to as y direction) are the same, but the horizontal direction ( Hereinafter, coordinates (x coordinates) relating to the x direction are different depending on the distance between the cameras 100 and 200. The distance to the imaging object P is calculated by calculating the amount of deviation of the x-coordinates of Pl and Pr as parallax, and performing calculations that reflect the y-coordinates of Pl and Pr, the parallax, and the installation parameters of the cameras 100 and 200. Etc. can be obtained.

ところで、視差を算出する際には、左画像と右画像の間で、同じ撮像対象物を撮像したと推定される画素同士の対応付けを行う必要がある。視差算出部１４は、まず、歪補正・平行化処理部１２によって修正された左画像及び右画像に対して、Ｓｏｂｅｌフィルター等を適用し、エッジを強調したエッジ画像を生成する。図５は、右画像、及び左画像から右エッジ画像、左エッジ画像を生成する様子を示す図である。なお、視差算出部１４は、ＳｏｂｅＬフィルターに代えて、Ｐｒｅｗｉｔｔフィルター等、他の手法を用いてエッジ画像を生成してもよい。   By the way, when calculating the parallax, it is necessary to associate pixels estimated to have captured the same imaging object between the left image and the right image. First, the parallax calculation unit 14 applies a Sobel filter or the like to the left image and the right image corrected by the distortion correction / parallelization processing unit 12 to generate an edge image with emphasized edges. FIG. 5 is a diagram illustrating a state in which a right edge image and a left edge image are generated from the right image and the left image. Note that the parallax calculation unit 14 may generate an edge image using another method such as a Prewitt filter instead of the SobeL filter.

そして、視差算出部１４は、例えば右エッジ画像を基準画像、左エッジ画像を参照画像とし、以下の処理を行って右エッジ画像の各画素における視差を算出する。図６は、視差算出部１４により実行される処理の流れを示すフローチャートの一例である。本フローチャートは、例えば所定周期で繰り返し実行される。   Then, the parallax calculation unit 14 calculates the parallax at each pixel of the right edge image by performing the following processing, for example, using the right edge image as a standard image and the left edge image as a reference image. FIG. 6 is an example of a flowchart showing a flow of processing executed by the parallax calculation unit 14. This flowchart is repeatedly executed, for example, at a predetermined cycle.

まず、視差算出部１４は、右エッジ画像において、画素を一つ選択する（Ｓ３００）。以下、Ｓ３００で選択した画素を注目画素と称する。視差算出部１４は、例えば、右エッジ画像の左上隅の画素から右に１ピクセルずつずらして画素を選択し、右端まで到達すると一つ下の行の左端の画素から右に１ピクセルずつずらして画素を選択するという順序で、注目画素を順次選択する。   First, the parallax calculation unit 14 selects one pixel in the right edge image (S300). Hereinafter, the pixel selected in S300 is referred to as a target pixel. For example, the parallax calculation unit 14 selects a pixel by shifting one pixel to the right from the pixel at the upper left corner of the right edge image, and shifts the pixel by one pixel to the right from the leftmost pixel in the next lower row when reaching the right end. The target pixel is sequentially selected in the order of selecting the pixel.

次に、視差算出部１４は、注目画素を中心としたＳＡＤウィンドウ*を設定する（Ｓ３０２）。ＳＡＤウィンドウ*は、例えば注目画素の上側及び下側に数ピクセル、右側及び左側に数ピクセルといった矩形範囲で設定される（縦幅と横幅は異なってもよい）。   Next, the parallax calculation unit 14 sets an SAD window * centered on the pixel of interest (S302). The SAD window * is set in a rectangular range, for example, several pixels above and below the target pixel, and several pixels on the right and left sides (the vertical width and the horizontal width may be different).

次に、視差算出部１４は、左エッジ画像において、ｙ座標が注目画素と同じ画素を一つ選択する（Ｓ３０４）。以下、Ｓ３０４で選択した画素を比較対象画素と称する。視差算出部１４は、例えば、左エッジ画像におけるｙ座標が注目画素と画素を、左端の画素から右に１ピクセルずつずらして右端まで選択するという順序で、比較対象画素を順次選択する。   Next, the parallax calculation unit 14 selects one pixel having the same y coordinate as the target pixel in the left edge image (S304). Hereinafter, the pixel selected in S304 is referred to as a comparison target pixel. For example, the parallax calculation unit 14 sequentially selects the comparison target pixels in the order in which the y coordinate in the left edge image is selected from the left end pixel to the right by shifting the pixel one pixel to the right.

次に、視差算出部１４は、比較対象画素を中心としたＳＡＤウィンドウ**を設定する（Ｓ３０６）。ＳＡＤウィンドウ**は、ＳＡＤウィンドウ*と同じサイズ、形状で設定される。   Next, the parallax calculation unit 14 sets an SAD window ** centered on the comparison target pixel (S306). The SAD window ** is set with the same size and shape as the SAD window *.

そして、視差算出部１４は、Ｓ３０４で設定したＳＡＤウィンドウ*とＳ３０６で設定したＳＡＤウィンドウ**の間でＳＡＤ値を算出する（Ｓ３０８）。ＳＡＤ値は、同じ位置の画素の画素値（例えば輝度値であるが、色彩を加味してもよい）の差の絶対値の合計であり、式（１）で定義される。式中、ＮはＳＡＤウィンドウの縦方向のサイズ、ＭはＳＡＤウィンドウの横方向のサイズ、ＩはＳＡＤウィンドウ*の中で（ｉ，ｊ）で表される座標の画素値、ＴはＳＡＤウィンドウ**の中で（ｉ，ｊ）で表される座標の画素値である。ＳＡＤ値は、「注目画素の周辺画素を含めた画素値の、比較対象画素の周辺画素を含めた画素値との相違程度を示す指標値」の一例である。   Then, the parallax calculation unit 14 calculates an SAD value between the SAD window * set in S304 and the SAD window ** set in S306 (S308). The SAD value is a sum of absolute values of differences between pixel values of pixels at the same position (for example, a luminance value, but may take color into consideration), and is defined by Expression (1). In the formula, N is the vertical size of the SAD window, M is the horizontal size of the SAD window, I is the pixel value of the coordinates represented by (i, j) in the SAD window *, and T is the SAD window *. The pixel value of the coordinates represented by (i, j) in *. The SAD value is an example of “an index value indicating a degree of difference between a pixel value including a peripheral pixel of a target pixel and a pixel value including a peripheral pixel of a comparison target pixel”.

なお、ＳＡＤ値に代えて、例えばＳＳＤ（Sum of Swuared Difference）値のような、同様の性質を有する他の指標値を用いてもよい。ＳＳＤ値は、同じ位置の画素の輝度差の差の２乗の合計であり、式（２）で定義される。 Instead of the SAD value, other index values having similar properties such as an SSD (Sum of Swuared Difference) value may be used. The SSD value is the sum of the squares of differences in luminance difference between pixels at the same position, and is defined by Expression (2).

次に、視差算出部１４は、Ｓ３０４において、左エッジ画像から、ｙ座標が注目画素と同じ全ての画素を選択したか否かを判定する（Ｓ３１０）。左エッジ画像から、ｙ座標が注目画素と同じ全ての画素を選択していない場合、視差算出部１４は、Ｓ３０４に戻り、一つ右側の画素を比較対象画素として選択する。 Next, the parallax calculation unit 14 determines whether or not all pixels having the same y coordinate as the target pixel are selected from the left edge image in S304 (S310). If all the pixels having the same y coordinate as the target pixel are not selected from the left edge image, the parallax calculation unit 14 returns to S304 and selects the right-side pixel as the comparison target pixel.

一方、左エッジ画像から、ｙ座標が注目画素と同じ全ての画素を選択した場合、視差算出部１４は、Ｓ３０４〜Ｓ３１０のループ処理において算出されたＳＡＤ値のうち、最小、且つ極小値となったＳＡＤ値を抽出し、当該ＳＡＤ値が算出された際の比較対象画素と注目画素の座標差（ｘ方向の距離）を、当該注目画素についての視差として算出する（Ｓ３１２）。   On the other hand, when all the pixels having the same y coordinate as the target pixel are selected from the left edge image, the parallax calculation unit 14 becomes the minimum and minimum value among the SAD values calculated in the loop processing of S304 to S310. The SAD value is extracted, and the coordinate difference (distance in the x direction) between the comparison target pixel and the target pixel when the SAD value is calculated is calculated as the parallax for the target pixel (S312).

注目画素に対応する一連のＳＡＤ値等の指標値、及びこれが最小、且つ極小値となった際の比較対象画素に関するデータは、後に選択部１６が処理に用いるため、ＲＡＭ等の記憶装置に格納される。   A series of index values such as SAD values corresponding to the target pixel and data regarding the comparison target pixel when the SAD value is the minimum and minimum value are stored in a storage device such as a RAM for the selection unit 16 to use later for processing. Is done.

なお、視差算出部１４は、最小、且つ極小値となったＳＡＤ値が存在しない場合は、当該注目画素について視差を算出しない。これは、左画像の端部でＳＡＤ値が最小となったり、全ての比較対象画素についてＳＡＤ値が一定となったりした場合に生じる現象であり、このような場合には有意な視差が得られないからである。   Note that the parallax calculation unit 14 does not calculate the parallax for the pixel of interest when there is no minimum and minimum SAD value. This is a phenomenon that occurs when the SAD value is minimized at the edge of the left image or when the SAD value is constant for all comparison target pixels. In such a case, significant parallax is obtained. Because there is no.

次に、視差算出部１４は、Ｓ３００において、右エッジ画像から全ての画素を選択したか否かを判定する（Ｓ３１４）。右エッジ画像から全ての画素を選択していない場合、視差算出部１４は、Ｓ３００に戻り、一つ右側の画素（右端まで到達した場合は一つ下の行における左端の画素）を注目画素として選択する。一方、右エッジ画像から全ての画素を選択した場合、視差算出部１４は、本フローチャートの１ルーチンを終了する。   Next, the parallax calculation unit 14 determines whether or not all pixels are selected from the right edge image in S300 (S314). When all the pixels are not selected from the right edge image, the parallax calculation unit 14 returns to S300, and sets the right pixel (the leftmost pixel in the next lower row when reaching the right edge) as the target pixel. select. On the other hand, when all the pixels are selected from the right edge image, the parallax calculation unit 14 ends one routine of this flowchart.

図７は、視差算出部１４が、右エッジ画像と左エッジ画像を走査して注目画素や比較対象画素を選択し、ＳＡＤウィンドウ*、ＳＡＤウィンドウ**を設定する様子を模式的に示す図である。   FIG. 7 is a diagram schematically illustrating a state in which the parallax calculation unit 14 scans the right edge image and the left edge image, selects a target pixel and a comparison target pixel, and sets the SAD window * and the SAD window **. is there.

［有意な視差（画素）の選択］
ところで、視差算出部１４により算出された、注目画素に対応付けられた視差は、そのまま距離の算出等に用いてもよいが、路面の構造を推定する場合等、より高い正確性が求められる場合には、有意な視差、すなわち同一の撮像対象物が写っている可能性が高い注目画素と比較対象画素の組み合わせから算出された視差に絞り込む処理を行うと、好適である。 [Selecting significant parallax (pixel)]
By the way, the parallax associated with the target pixel calculated by the parallax calculation unit 14 may be used as it is for the distance calculation or the like, but when higher accuracy is required, such as when estimating the structure of the road surface. For example, it is preferable to perform a process of narrowing down to a significant parallax, that is, a parallax calculated from a combination of a target pixel and a comparison target pixel that are likely to include the same imaging target.

図８及び図９は、ＳＡＤ値が最小、且つ極小値となった比較対象画素Ｑ、その左側の比較対象画素Ｑ-１、その右側の比較対象画素Ｑ+１におけるＳＡＤ値の波形（以下、ＳＡＤ波形と称する）を例示した図である。ＳＡＤ波形には、図８に示すようになだらかな波形を示すものと、図９に示すように急峻な波形を示すものが存在する。これらのうち、有意な視差が算出できるのは、図９に示すように急峻な波形を示すＳＡＤ波形が得られた注目画素及び比較対象画素の組み合わせからである。 8 and FIG. 9 show the waveforms of the SAD values in the comparison target pixel Q having the minimum and minimum SAD value, the comparison target pixel Q −1 on the left side thereof, and the comparison target pixel Q +1 on the right side thereof (hereinafter, referred to as “SAD value waveform”). It is a figure which illustrated (referred to as a SAD waveform). There are SAD waveforms that show a gentle waveform as shown in FIG. 8 and those that show a steep waveform as shown in FIG. Among these, significant parallax can be calculated from the combination of the target pixel and the comparison target pixel from which the SAD waveform indicating the steep waveform is obtained as shown in FIG.

このため、選択部１６は、視差が算出された各注目画素について、例えば式（３）により、ＳＡＤ値が最小、且つ極小値となった比較対象画素Ｑの近傍におけるＳＡＤ値の傾きを示す指標値αを算出し、指標値αが基準値以上である注目画素と、対応する視差に絞り込む処理を行う。基準値は、固定値であってもよいし、統計的な値（例えばαの平均値等）であってもよい。   Therefore, the selection unit 16 uses, for example, Expression (3) for each pixel of interest for which the parallax has been calculated, an index indicating the slope of the SAD value in the vicinity of the comparison target pixel Q where the SAD value is the minimum and the minimum value. A value α is calculated, and the target pixel whose index value α is greater than or equal to the reference value and a process of narrowing down to the corresponding parallax are performed. The reference value may be a fixed value or a statistical value (for example, an average value of α).

α＝｜（比較対象画素Ｑ-１におけるＳＡＤ値）−（比較対象画素ＱにおけるＳＡＤ値）｜＋｜（比較対象画素Ｑ+１におけるＳＡＤ値）−（比較対象画素ＱにおけるＳＡＤ値）｜ …（３） α = | (SAD value in comparison target pixel Q- 1 ) − (SAD value in comparison target pixel Q) | + | (SAD value in comparison target pixel Q + 1 ) − (SAD value in comparison target pixel Q) | (3)

なお、式（３）は、ＳＡＤ値が最小、且つ極小値となった比較対象画素の近傍におけるＳＡＤ値の傾きを反映した値αを導出するための一例であり、例えば、「１ピクセル」を「数ピクセル」に置換する等、種々の変更が許容される。   Equation (3) is an example for deriving a value α reflecting the slope of the SAD value in the vicinity of the comparison target pixel having the minimum SAD value and the minimum value. Various changes are allowed, such as replacement with “several pixels”.

このような処理を行うことにより、有意な視差と注目対象画素との組み合わせを選択することができる。これによって、本実施例の画像解析装置１は、後述する路面構造推定処理等において、より高精度に処理を行うことができる。   By performing such processing, a combination of significant parallax and the target pixel can be selected. As a result, the image analysis apparatus 1 according to the present embodiment can perform processing with higher accuracy in road surface structure estimation processing and the like described later.

［サブピクセル視差の算出］
サブピクセル視差算出部１８は、選択部１６により選択された視差を、サブピクセルの視差に変換して分解能を向上させる。以下の説明において、視差は注目画素に対応付けられていることを前提とし、「注目画素と視差の組み合わせを選択する」ことを、単に「視差を選択する」と称する。
図１０は、サブピクセルの視差を求める原理を模式的に示す図である。図示するように、ＳＡＤ値が最小、且つ極小値となった比較対象画素ＱにおけるＳＡＤ値をｃ、その左側の比較対象画素Ｑ-１におけるＳＡＤ値をａ、その右側の比較対象画素Ｑ+１におけるＳＡＤ値をｂとすると、ＳＡＤ値を真に最小、且つ極小値とする仮想的な比較対象画素Ｑ*のｘ座標と、比較対象画素Ｑのｘ座標との差分ＳＰは、式（４）によって表される。 [Calculation of sub-pixel parallax]
The sub-pixel parallax calculation unit 18 converts the parallax selected by the selection unit 16 into sub-pixel parallax to improve the resolution. In the following description, assuming that the parallax is associated with the target pixel, “selecting a combination of the target pixel and the parallax” is simply referred to as “selecting parallax”.
FIG. 10 is a diagram schematically illustrating the principle of obtaining the sub-pixel parallax. As shown in the figure, the SAD value in the comparison target pixel Q having the minimum and minimum SAD value is c, the SAD value in the comparison target pixel Q −1 on the left side thereof is a, and the comparison target pixel Q +1 on the right side thereof. If the SAD value at is, b is the difference SP between the x coordinate of the virtual comparison target pixel Q * and the x coordinate of the comparison target pixel Q, where the SAD value is truly minimal and minimal. Represented by

ＳＰ＝（ａ−ｂ）／２（ａ−ｃ） （ａ＞ｂ）
ＳＰ＝（ａ−ｂ）／２（ｂ−ｃ） （ａ≦ｂ） …（４） SP = (ab) / 2 (ac) (a> b)
SP = (ab) / 2 (bc) (a≤b) (4)

サブピクセル視差算出部１８は、算出した差分ＳＰを視差に加算することによって、より高精度なサブピクセルの視差を算出する。   The sub-pixel parallax calculation unit 18 calculates the parallax of the sub-pixel with higher accuracy by adding the calculated difference SP to the parallax.

なお、選択部１６の処理は、サブピクセルの視差が算出された後に行われてもよい。この場合、選択部１６は、仮想的な比較対象画素Ｑ*がＱ-１とＱの間にあれば式（５）により指標値α*を算出し、Ｑ*がＱとＱ+１の間にあれば式（６）により指標値α*を算出すればよい。 Note that the processing of the selection unit 16 may be performed after the parallax of the subpixel is calculated. In this case, if the virtual comparison target pixel Q * is between Q −1 and Q, the selection unit 16 calculates the index value α * by Expression (5), and Q * is between Q and Q + 1 . If so, the index value α * may be calculated by equation (6).

α*＝｜（Ｑ-１におけるＳＡＤ値）−（Ｑ*におけるＳＡＤ値）｜＋｜（ＱにおけるＳＡＤ値）−（Ｑ*におけるＳＡＤ値）｜ …（５）
α*＝｜（ＱにおけるＳＡＤ値）−（Ｑ*におけるＳＡＤ値）｜＋｜（Ｑ+１におけるＳＡＤ値）−（Ｑ*におけるＳＡＤ値）｜ …（６） α * = | (SAD value at Q −1 ) − (SAD value at Q *) | + | (SAD value at Q) − (SAD value at Q *) | (5)
α * = | (SAD value at Q) − (SAD value at Q *) | + | (SAD value at Q + 1 ) − (SAD value at Q *) | (6)

［路面判定］
路面判定部２０は、例えば右エッジ画像を画像の奥行き方向に走査し、所定数以上の縦に連続する注目画素に対応付けられた視差が閾値以内（例えば１ピクセル以内）に収まる場合、当該連続する注目画素を、立体物を写した画素であると判定する。そして、路面判定部２０は、立体物を写したと判定した画素以外の注目画素を、路面を写した画素であると判定する。図１１は、路面判定部２０が右エッジ画像を走査する様子を模式的に示す図である。画像の奥行き方向に並ぶ注目画素に対応付けられた視差が閾値以内に収まるということは、カメラ１００、２００との距離が略一定であることを表している。このため、この一連の注目画素は、立体物（例えば先行車両の後端面や路側の壁等）を写していると考えられ、そうでない注目画素は路面を写したものと考えられる。なお、奥行き方向とは、画像の中央部では縦方向と略一致するが、画像の左右端部では、手前側から奥側にかけて中央部に収束する方向となる。 [Road surface judgment]
The road surface determination unit 20 scans the right edge image in the depth direction of the image, for example, and when the parallax associated with a predetermined number of vertically consecutive pixels of interest falls within a threshold (for example, within 1 pixel), the continuous The target pixel to be determined is a pixel in which a three-dimensional object is copied. Then, the road surface determination unit 20 determines that the pixel of interest other than the pixel determined to have copied the three-dimensional object is a pixel that has copied the road surface. FIG. 11 is a diagram schematically illustrating how the road surface determination unit 20 scans the right edge image. The fact that the parallax associated with the target pixels arranged in the depth direction of the image falls within the threshold indicates that the distance from the cameras 100 and 200 is substantially constant. For this reason, this series of target pixels is considered to be a three-dimensional object (for example, a rear end surface of a preceding vehicle or a road-side wall), and other target pixels are considered to be a road surface. Note that the depth direction substantially coincides with the vertical direction at the center of the image, but at the left and right ends of the image, the direction converges to the center from the near side to the far side.

［白線検出による視差算出］
一方、白線検出による視差算出部２２は、歪補正・平行化処理部１２によって修正された左画像及び右画像に対して、例えば隣接画素との輝度差が閾値以上である画素を抽出し、抽出した画素のうち、直線状又は曲線状（カーブの場合）に並ぶ点に絞り込むことにより、白線の輪郭に相当する画素を抽出する。以下、抽出した画素を白線エッジと称する。直線状又は曲線状に並ぶ点は、例えばハフ変換や最小二乗法等によって抽出することができる。 [Parallax calculation based on white line detection]
On the other hand, the parallax calculation unit 22 based on white line detection extracts, for example, a pixel whose luminance difference with an adjacent pixel is equal to or greater than a threshold from the left image and the right image corrected by the distortion correction / parallelization processing unit 12. The pixels corresponding to the outline of the white line are extracted by narrowing down the pixels arranged in a straight line or a curved line (in the case of a curve). Hereinafter, the extracted pixels are referred to as white line edges. Points arranged in a straight line or a curved line can be extracted by, for example, the Hough transform or the least square method.

そして、白線検出による視差算出部２２は、視差算出部１４と同様、左画像における白線エッジ（注目画素）と、右画像における白線エッジ（比較対象画素）との視差を求めることにより、左画像における白線エッジ（注目画素）に対応付けられた視差を算出する。   Then, the parallax calculation unit 22 based on white line detection, similarly to the parallax calculation unit 14, obtains the parallax between the white line edge (target pixel) in the left image and the white line edge (comparison target pixel) in the right image, thereby The parallax associated with the white line edge (target pixel) is calculated.

［路面構造推定］
路面構造推定部２４は、視差算出部１４、選択部１６、サブピクセル視差算出部１８により算出されたサブピクセルの視差に路面判定部２０の判定を加味したデータと、白線検出による視差算出部２２により算出された視差とを反映させて、路面の構造を推定する。 [Road surface structure estimation]
The road surface structure estimation unit 24 includes data obtained by adding the determination of the road surface determination unit 20 to the parallax of the subpixels calculated by the parallax calculation unit 14, the selection unit 16, and the subpixel parallax calculation unit 18, and the parallax calculation unit 22 based on white line detection. Reflecting the parallax calculated by the above, the road surface structure is estimated.

路面構造推定部２４は、以下のような条件を満たす視差を選択し、選択した視差を用いて路面構造を推定する。なお、同じ注目画素に対して異なる視差が算出されたような場合、下記の条件１を満たす視差が条件２、３を満たす視差に優先し、条件２を満たす視差が条件３を満たす視差に優先するものとしてよい。   The road surface structure estimation unit 24 selects parallax that satisfies the following conditions, and estimates the road surface structure using the selected parallax. When different parallaxes are calculated for the same target pixel, parallax satisfying the following condition 1 takes precedence over parallax satisfying conditions 2 and 3, and parallax satisfying condition 2 takes precedence over parallax satisfying condition 3 You can do it.

条件１：白線検出による視差算出部２２により視差が算出され、且つ選択部１６により選択された視差
条件２：白線検出による視差算出部２２により算出された視差
条件３：選択部１６により選択された視差であり、且つ路面判定部２０により路面を写した画素であると判定された注目画素に対応付けられた視差。 Condition 1: Parallax calculated by the parallax calculation unit 22 based on white line detection and selected by the selection unit 16 Condition 2: Parallax calculated by the parallax calculation unit 22 based on white line detection Condition 3: Selected by the selection unit 16 Parallax that is parallax and is associated with a pixel of interest that is determined to be a pixel obtained by copying the road surface by the road surface determination unit 20.

路面構造推定部２４は、上記のように視差を選別すると、まず式（７）〜（９）により、視差を三次元情報（距離Ｄ、横位置Ｘ、高さＹ）に変換する。式中、ｆはカメラ１００、２００の焦点距離、Δｄは視差、ｘ，ｙは注目画素のｘ座標及びｙ座標である。   When selecting the parallax as described above, the road surface structure estimation unit 24 first converts the parallax into three-dimensional information (distance D, lateral position X, height Y) according to equations (7) to (9). In the equation, f is the focal length of the cameras 100 and 200, Δd is parallax, and x and y are the x coordinate and y coordinate of the pixel of interest.

Ｄ＝ｆＢ／Δｄ …（７）
Ｘ＝ｘＤ／ｆ …（８）
Ｙ＝ｙＤ／ｆ （９） D = fB / Δd (7)
X = xD / f (8)
Y = yD / f (9)

路面構造推定部２４は、更に、路面の構造が式（１０）で表されるため、式（７）〜（９）で求められる路面の三次元情報を複数用いて、最小二乗法等を適用し、式（１０）のパラメータを算出する。式中、ａは縦断曲率であり、ｂはカメラ１００、２００のピッチ角であり、ｃはカメラ１００、２００の高さである。図１２は、式（１０）に係る座標軸を説明するための説明図である。   Further, the road surface structure estimation unit 24 applies the least square method or the like by using a plurality of road surface three-dimensional information obtained by the equations (7) to (9) because the road surface structure is represented by the equation (10). Then, the parameter of Expression (10) is calculated. In the formula, a is a longitudinal curvature, b is a pitch angle of the cameras 100 and 200, and c is a height of the cameras 100 and 200. FIG. 12 is an explanatory diagram for explaining coordinate axes according to Expression (10).

Ｙ＝ａ×Ｚ2＋ｂ×Ｚ＋ｃ …（１０） Y = a × Z 2 + b × Z + c (10)

［まとめ］
以上説明した本実施例の画像解析装置１によれば、ＳＡＤ値が最小、且つ極小値となった比較対象画素の近傍におけるＳＡＤ値の傾きを示す指標値αを算出し、指標値αが基準値以上である注目画素と、対応する視差に絞り込む処理を行うため、有意な視差と注目対象画素との組み合わせを選択することができる。これによって、路面構造推定処理等において、より高精度に処理を行うことができる。 [Summary]
According to the image analysis apparatus 1 of the present embodiment described above, the index value α indicating the slope of the SAD value in the vicinity of the comparison target pixel having the minimum and minimum SAD value is calculated, and the index value α is the reference value. Since the process of narrowing down the target pixel that is equal to or greater than the value and the corresponding parallax is performed, a combination of a significant parallax and the target pixel can be selected. Thereby, it is possible to perform processing with higher accuracy in road surface structure estimation processing or the like.

以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。   The best mode for carrying out the present invention has been described above with reference to the embodiments. However, the present invention is not limited to these embodiments, and various modifications can be made without departing from the scope of the present invention. And substitutions can be added.

例えば、視差算出部１４が、ＳＡＤ値が最小、且つ極小値となった比較対象画素を選択するものとしたが、単に、ＳＡＤ値が最小となった比較対象画素を選択するものとしても構わない。   For example, the parallax calculation unit 14 selects the comparison target pixel having the minimum SAD value and the minimum value, but may simply select the comparison target pixel having the minimum SAD value. .

また、注目画素の周辺画素を含めた画素値の、比較対象画素の周辺画素を含めた画素値との相違程度を示す指標値であるＳＡＤ値が最小、且つ極小値となった比較対象画素を選択するものとしたが、この逆に、注目画素の周辺画素を含めた画素値の、比較対象画素の周辺画素を含めた画素値との「一致程度」を示す指標値が最大、且つ極小値（或いは単に最大）となった比較対象画素を選択するものとしても構わない。   Further, the comparison target pixel in which the SAD value, which is an index value indicating the degree of difference between the pixel value including the peripheral pixel of the target pixel and the pixel value including the peripheral pixel of the comparison target pixel, is the minimum and minimum value. On the contrary, the index value indicating the “degree of coincidence” between the pixel value including the peripheral pixels of the target pixel and the pixel value including the peripheral pixels of the comparison target pixel is the maximum and minimum value. The comparison target pixel that is (or simply maximum) may be selected.

１ 画像解析装置
１０ 画像入力部
１２ 歪補正・平行化処理部
１４ 視差算出部
１６ 選択部
１８ サブピクセル視差算出部
２０ 路面判定部
２２ 白線検出による視差算出部
２４ 路面構造推定部
１００、２００ カメラ DESCRIPTION OF SYMBOLS 1 Image analysis apparatus 10 Image input part 12 Distortion correction | amendment / parallelization process part 14 Parallax calculation part 16 Selection part 18 Subpixel parallax calculation part 20 Road surface determination part 22 Parallax calculation part by white line detection 24 Road surface structure estimation part 100, 200 Camera

Claims (6)

異なる撮像角度から、少なくとも一部が共通する撮像範囲を撮像する第１及び第２の撮像手段により撮像された画像を解析する画像解析装置であって、
前記第１の撮像手段により撮像された第１の画像から選択された注目画素と、前記第２の撮像手段により撮像された第２の画像における複数の比較対象画素との間で、周辺画素を含めた画素値の相違程度を示す指標値を算出して該指標値が最小となる比較対象画素を抽出し、該抽出した比較対象画素と前記注目画素との座標差を視差として算出して前記注目画素に対応付けることを、複数の注目画素に対して行う視差算出手段と、
前記視差算出手段により対応付けられた注目画素と視差の組み合わせから、前記指標値が最小となった比較対象画素の近傍における前記指標値の傾きが基準値以上である組み合わせを選択する選択手段と、
を備える画像解析装置。 An image analysis apparatus that analyzes images captured by first and second imaging means that capture at least a part of a common imaging range from different imaging angles,
A peripheral pixel is selected between a target pixel selected from the first image captured by the first imaging unit and a plurality of comparison target pixels in the second image captured by the second imaging unit. Calculating an index value indicating the degree of difference between the included pixel values, extracting a comparison target pixel having the minimum index value, calculating a coordinate difference between the extracted comparison target pixel and the target pixel as a parallax; Parallax calculating means for performing the association with the target pixel for a plurality of target pixels;
A selection unit that selects a combination in which an inclination of the index value in the vicinity of the comparison target pixel having the minimum index value is a reference value or more from a combination of the target pixel and the parallax associated by the parallax calculation unit;
An image analysis apparatus comprising: 請求項１記載の画像解析装置であって、
前記選択手段により選択された複数の注目画素と視差の組み合わせを用いて路面構造を推定する路面構造推定手段を備える画像解析装置。 The image analysis apparatus according to claim 1,
An image analysis apparatus comprising road surface structure estimation means for estimating a road surface structure using a combination of a plurality of target pixels and parallax selected by the selection means. 請求項２記載の画像解析装置であって、
前記選択手段により選択された複数の注目画素と視差の組み合わせから、画像における奥行き方向の視差の変動程度に基づいて、路面を写したと推定される注目画素と視差を抽出する路面判定手段を備え、
前記路面構造推定手段は、前記路面判定手段により抽出された路面を写したと推定される注目画素と視差の組み合わせを用いて路面構造を推定する手段である、
画像解析装置。 The image analysis apparatus according to claim 2,
Road surface determining means for extracting a target pixel and parallax estimated to have captured a road surface based on a variation degree of parallax in the depth direction in an image from a combination of a plurality of target pixels and parallax selected by the selection means; ,
The road surface structure estimation means is a means for estimating a road surface structure using a combination of a target pixel and a parallax estimated to be a copy of the road surface extracted by the road surface determination means.
Image analysis device. 異なる撮像角度から、少なくとも一部が共通する撮像範囲を撮像する第１及び第２の撮像手段により撮像された画像を解析する画像解析装置であって、
前記第１の撮像手段により撮像された第１の画像から選択された注目画素と、前記第２の撮像手段により撮像された第２の画像における複数の比較対象画素との間で、周辺画素を含めた画素値の一致程度を示す指標値を算出して該指標値が最大となる比較対象画素を抽出し、該抽出した比較対象画素と前記注目画素との座標差を視差として算出して前記注目画素に対応付けることを、複数の注目画素に対して行う視差算出手段と、
前記視差算出手段により対応付けられた注目画素と視差の組み合わせから、前記指標値が最小となった比較対象画素の近傍における前記指標値の傾きが基準値以上である組み合わせを選択する選択手段と、
を備える画像解析装置。 An image analysis apparatus that analyzes images captured by first and second imaging means that capture at least a part of a common imaging range from different imaging angles,
A peripheral pixel is selected between a target pixel selected from the first image captured by the first imaging unit and a plurality of comparison target pixels in the second image captured by the second imaging unit. Calculating an index value indicating the degree of coincidence of the included pixel values, extracting a comparison target pixel having the maximum index value, calculating a coordinate difference between the extracted comparison target pixel and the target pixel as a parallax; Parallax calculating means for performing the association with the target pixel for a plurality of target pixels;
A selection unit that selects a combination in which an inclination of the index value in the vicinity of the comparison target pixel having the minimum index value is a reference value or more from a combination of the target pixel and the parallax associated by the parallax calculation unit;
An image analysis apparatus comprising: 異なる撮像角度から、少なくとも一部が共通する撮像範囲を撮像する第１及び第２の撮像手段により撮像された画像を解析する画像解析装置が、
前記第１の撮像手段により撮像された第１の画像から選択された注目画素と、前記第２の撮像手段により撮像された第２の画像における複数の比較対象画素との間で、周辺画素を含めた画素値の相違程度を示す指標値を算出して該指標値が最小となる比較対象画素を抽出し、
該抽出した比較対象画素と前記注目画素との座標差を視差として算出して前記注目画素に対応付けることを、複数の注目画素に対して行い、
前記対応付けられた注目画素と視差の組み合わせから、前記指標値が最小となった比較対象画素の近傍における前記指標値の傾きが基準値以上である組み合わせを選択する、
を備える画像解析方法。 An image analysis apparatus that analyzes images captured by the first and second imaging units that capture at least a part of a common imaging range from different imaging angles,
A peripheral pixel is selected between a target pixel selected from the first image captured by the first imaging unit and a plurality of comparison target pixels in the second image captured by the second imaging unit. Calculating an index value indicating the degree of difference between the included pixel values and extracting a comparison target pixel having the minimum index value;
A coordinate difference between the extracted comparison target pixel and the target pixel is calculated as a parallax and associated with the target pixel for a plurality of target pixels,
From the associated target pixel and parallax combination, select a combination in which the slope of the index value in the vicinity of the comparison target pixel having the smallest index value is greater than or equal to a reference value.
An image analysis method comprising: 異なる撮像角度から、少なくとも一部が共通する撮像範囲を撮像する第１及び第２の撮像手段により撮像された画像を解析する画像解析装置に、
前記第１の撮像手段により撮像された第１の画像から選択された注目画素と、前記第２の撮像手段により撮像された第２の画像における複数の比較対象画素との間で、周辺画素を含めた画素値の相違程度を示す指標値を算出して該指標値が最小となる比較対象画素を抽出させ、
該抽出した比較対象画素と前記注目画素との座標差を視差として算出して前記注目画素に対応付けることを、複数の注目画素に対して行わせ、
前記対応付けられた注目画素と視差の組み合わせから、前記指標値が最小となった比較対象画素の近傍における前記指標値の傾きが基準値以上である組み合わせを選択させる、
を備える画像解析プログラム。 An image analysis apparatus that analyzes images captured by the first and second imaging units that capture at least a part of a common imaging range from different imaging angles,
A peripheral pixel is selected between a target pixel selected from the first image captured by the first imaging unit and a plurality of comparison target pixels in the second image captured by the second imaging unit. Calculating an index value indicating the degree of difference between the included pixel values and extracting a comparison target pixel having the minimum index value;
Calculating a coordinate difference between the extracted comparison target pixel and the target pixel as a parallax and associating it with the target pixel;
Selecting a combination in which the slope of the index value in the vicinity of the comparison target pixel having the smallest index value is greater than or equal to a reference value from the associated target pixel and parallax combinations;
An image analysis program comprising:
JP2012112553A 2012-05-16 2012-05-16 Image analysis device, image analysis method and image analysis program Pending JP2013239078A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012112553A JP2013239078A (en) 2012-05-16 2012-05-16 Image analysis device, image analysis method and image analysis program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012112553A JP2013239078A (en) 2012-05-16 2012-05-16 Image analysis device, image analysis method and image analysis program

Publications (1)

Publication Number Publication Date
JP2013239078A true JP2013239078A (en) 2013-11-28

Family

ID=49764039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012112553A Pending JP2013239078A (en) 2012-05-16 2012-05-16 Image analysis device, image analysis method and image analysis program

Country Status (1)

Country Link
JP (1) JP2013239078A (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006047252A (en) * 2004-08-09 2006-02-16 Fuji Heavy Ind Ltd Image processing unit
JP2008033750A (en) * 2006-07-31 2008-02-14 Fuji Heavy Ind Ltd Object inclination detector
JP2009041972A (en) * 2007-08-07 2009-02-26 Toshiba Corp Image processing device and method therefor
WO2012017650A1 (en) * 2010-08-03 2012-02-09 パナソニック株式会社 Object detection device, object detection method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006047252A (en) * 2004-08-09 2006-02-16 Fuji Heavy Ind Ltd Image processing unit
JP2008033750A (en) * 2006-07-31 2008-02-14 Fuji Heavy Ind Ltd Object inclination detector
JP2009041972A (en) * 2007-08-07 2009-02-26 Toshiba Corp Image processing device and method therefor
WO2012017650A1 (en) * 2010-08-03 2012-02-09 パナソニック株式会社 Object detection device, object detection method, and program

Similar Documents

Publication Publication Date Title
JP5870273B2 (en) Object detection apparatus, object detection method, and program
JP5752618B2 (en) Stereo parallax calculation device
JP3868876B2 (en) Obstacle detection apparatus and method
JP4341564B2 (en) Object judgment device
JP6707022B2 (en) Stereo camera
JP5949314B2 (en) Parallax map generator and program for parallax map generator
CN105069804B (en) Threedimensional model scan rebuilding method based on smart mobile phone
CN105551020B (en) A kind of method and device detecting object size
JP2016029564A (en) Target detection method and target detector
CN102592124A (en) Geometrical correction method, device and binocular stereoscopic vision system of text image
JP6651702B2 (en) Object detection device, object detection method, and information processing program
CN111105452B (en) Binocular vision-based high-low resolution fusion stereo matching method
JP2008262333A (en) Road surface discrimination device and road surface discrimination method
JP2015184929A (en) Three-dimensional object detection apparatus, three-dimensional object detection method and three-dimensional object detection program
CN111243003A (en) Vehicle-mounted binocular camera and method and device for detecting road height limiting rod
CN108182666B (en) Parallax correction method, device and terminal
CN104537627B (en) A kind of post-processing approach of depth image
TWI571099B (en) Device and method for depth estimation
JP2010055340A (en) Travel path estimation device and program
JP7258632B2 (en) object detector
WO2020175063A1 (en) Computation device and parallax calculation method
JP2010224926A (en) Stop line detection device
CN109600598B (en) Image processing method, image processing device and computer readable recording medium
JP2004245701A (en) Distance distribution detecting apparatus
JP2013239078A (en) Image analysis device, image analysis method and image analysis program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151006