JP6657034B2 - Abnormal image detection device, image processing system provided with abnormal image detection device, and vehicle equipped with image processing system - Google Patents
Abnormal image detection device, image processing system provided with abnormal image detection device, and vehicle equipped with image processing system Download PDFInfo
- Publication number
- JP6657034B2 JP6657034B2 JP2016127534A JP2016127534A JP6657034B2 JP 6657034 B2 JP6657034 B2 JP 6657034B2 JP 2016127534 A JP2016127534 A JP 2016127534A JP 2016127534 A JP2016127534 A JP 2016127534A JP 6657034 B2 JP6657034 B2 JP 6657034B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- pixel
- abnormal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims description 89
- 238000001514 detection method Methods 0.000 title claims description 44
- 238000012545 processing Methods 0.000 title claims description 42
- 230000005856 abnormality Effects 0.000 claims description 42
- 238000003384 imaging method Methods 0.000 claims description 40
- 239000000428 dust Substances 0.000 description 13
- 238000000034 method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 238000003702 image correction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
本発明は、視差画像および視差画像作成に係る原画像の異常を検出する異常画像検出装置、異常画像検出装置を備えた画像処理システムおよび画像処理システムを搭載した車両に関する。 The present invention relates to a parallax image and an abnormal image detection device that detects an abnormality in an original image related to parallax image creation, an image processing system including the abnormal image detection device, and a vehicle including the image processing system.
複数の撮像部を用いて写した画像から作成した視差画像に基づいて被写体までの距離を求めることができるステレオカメラを搭載した車両が提案されている。 2. Description of the Related Art A vehicle equipped with a stereo camera capable of determining a distance to a subject based on a parallax image created from images captured using a plurality of imaging units has been proposed.
車両に搭載されるステレオカメラの異常原因として、例えば、ステレオカメラ自体の故障（例えば、光学的、機械的、電気的故障）の他に、逆光や暗闇などの明暗の激しい条件で写した画像に基づいて作成した視差画像を用いたことで奥行距離を正確に算出できない等が挙げられる。 The causes of the abnormality of the stereo camera mounted on the vehicle include, for example, failure of the stereo camera itself (for example, optical, mechanical, and electrical failures) as well as images taken under intense light and dark conditions such as backlight and darkness. The depth distance cannot be calculated accurately due to the use of the parallax image created based on the above.
逆光や暗闇などの明暗の激しい条件に影響されることなく、ステレオカメラの異常状態を判別可能な異常診断装置が提案されている（例えば、特許文献１参照）。 There has been proposed an abnormality diagnosis device capable of determining an abnormal state of a stereo camera without being affected by intense light and dark conditions such as backlight and darkness (for example, see Patent Document 1).
しかしながら、車両に搭載されるステレオカメラでは、左右のカメラで実質的に異なるシーンの画像が撮像される場合がある。例えば、いずれか一方のカメラにのみゴミ等が付着された状態で撮像した場合には、テクスチャが小さくなるためステレオマッチングをしても正しい視差値（視差画像）が得られない。また、ごみ等が付着する以外に、左右のカメラで異なるシーンを撮像する場合があり得る。 However, with a stereo camera mounted on a vehicle, images of substantially different scenes may be captured by the left and right cameras. For example, when an image is captured in a state in which dust or the like is attached to only one of the cameras, a correct parallax value (parallax image) cannot be obtained even if stereo matching is performed because the texture becomes small. Further, in addition to the attachment of dust and the like, different scenes may be captured by the left and right cameras.
上記特許文献１の異常診断装置において、視差画像データの異常判断は、視差値分布や視差値分布の変化量（Ｎフレーム画像の視差値画像とＮ＋１フレーム画像の視差値画像との変化量）から判別している。具体的な判断方法は以下の（１）〜（４）であって、（１）視差が検出されないかを判断し、（２）最大視差値以上の視差があるかを判断し、（３）視差値のピーク数が閾値以上あるかを判断し、（４）前のフレームと視差値分布の類似度が低いかを判断する。しかしながら、これら（１）〜（４）の判断方法は、上述の「一方のカメラにのみごみ等が付着した条件」で撮像した画像に係る視差画像データが異常であるか否かを判断することは難しく、すべての判断結果が「ＮＯ」となり、視差画像データが正常であると判断される場合がある。 In the abnormality diagnosis apparatus of Patent Document 1, the abnormality of the parallax image data is determined from the parallax value distribution and the amount of change in the parallax value distribution (the amount of change between the parallax value image of the N frame image and the parallax value image of the N + 1 frame image). Has been determined. Specific determination methods are the following (1) to (4), (1) determine whether a parallax is not detected, (2) determine whether there is a parallax equal to or greater than the maximum parallax value, and (3) It is determined whether or not the number of peaks of the parallax value is equal to or larger than the threshold value, and (4) it is determined whether or not the similarity between the previous frame and the parallax value distribution is low. However, these determination methods (1) to (4) involve determining whether or not parallax image data relating to an image captured under the above-described “conditions in which dust or the like adheres to only one camera” is abnormal. Is difficult, and all the determination results are “NO”, and the parallax image data may be determined to be normal.
本発明は、複数の撮像部の内のいずれか１の撮像部で他の撮像部と実質的に異なるシーンの画像が撮像された場合に、信頼度の低い画素の総数に基づいて異常画像を検出することができる異常画像検出装置を提供することを目的とする。また、上記異常画像検出装置を備えた画像処理システムを提供することを目的とする。また、上記画像処理システムを搭載した車両を提供することを目的とする。 According to the present invention, when an image of a scene substantially different from another image capturing unit is captured by any one of the plurality of image capturing units, an abnormal image is generated based on the total number of pixels with low reliability. An object of the present invention is to provide an abnormal image detection device that can detect the abnormal image. It is another object of the present invention to provide an image processing system including the abnormal image detection device. It is another object of the present invention to provide a vehicle equipped with the image processing system.
本発明は、複数の撮像部から得られ、かつ視差画像の作成に用いられる複数の原画像の内少なくとも１の原画像が異常であることを検出する異常画像検出装置であって、
前記視差画像の画素が低信頼度であるか否かを判定する信頼度判定部と、
前記信頼度判定部によって判定された低信頼度の画素の総数を算出する算出部と、
前記算出部で算出された低信頼度の画素の総数が、所定値を超えた場合に、前記視差画像が異常であると判断する異常判断部と、を有し、
前記信頼度判定部は、
前記原画像の各画素のエッジ強度が少なくとも閾値よりも小さいまたは同じである場合に、当該画素に基づいて作成される視差画像中の画素を低信頼度の画素であると判定するエッジ強度判定部を有する。
The present invention is an abnormal image detection device that detects that at least one original image among a plurality of original images obtained from a plurality of imaging units and used for creating a parallax image is abnormal,
A reliability determination unit that determines whether the pixel of the parallax image has low reliability,
A calculating unit that calculates the total number of low-reliability pixels determined by the reliability determination unit,
When the total number of low-reliability pixels calculated by the calculation unit exceeds a predetermined value, has an abnormality determination unit that determines that the parallax image is abnormal,
The reliability determination unit,
When the edge strength of each pixel of the original image is at least smaller than or equal to a threshold value, an edge strength determination unit that determines that a pixel in a parallax image created based on the pixel is a low-reliability pixel Having.
上記構成において、信頼度判定部は、視差画像作成に係る原画像の画素を用いて視差画像の画素の信頼度を判定する。エッジが弱い画素を信頼度の低い画素（低信頼度の画素）とし、その画素の総数が所定値を超えた場合に視差画像が異常であると判断する。これによって、複数の撮像部の内のいずれか１の撮像部で他の撮像部と実質的に異なるシーンの画像（原画像）が撮像された場合でも、異常な視差画像を精度よく検出することができる。低信頼度の画素をそのまま用いた視差画像から奥行距離を算出すると精度が悪くなるため、障害物の検出精度が低下する。
前記エッジ強度判定部は、原画像の各画素のそれぞれについてエッジ強度を判定してもよい。エッジ強度が閾値よりも小さいまたは同じであると判定された画素（原画素の画素）に対応した視差画像中の画素が低信頼度の画素であると判定される。
In the above configuration, the reliability determination unit determines the reliability of the pixels of the parallax image using the pixels of the original image related to the generation of the parallax image. Pixels with weak edges are regarded as low-reliability pixels (low-reliability pixels), and when the total number of pixels exceeds a predetermined value, it is determined that the parallax image is abnormal. Accordingly, even when an image (original image) of a scene substantially different from the other imaging units is captured by any one of the plurality of imaging units, an abnormal parallax image can be accurately detected. Can be. If the depth distance is calculated from the parallax image using the low-reliability pixels as they are, the accuracy is deteriorated, and the accuracy of obstacle detection is reduced.
The edge strength determination unit may determine the edge strength for each pixel of the original image. The pixel in the parallax image corresponding to the pixel whose edge intensity is determined to be smaller than or equal to the threshold value (the pixel of the original pixel) is determined to be a low reliability pixel.
原画像の各画素のエッジ強度を判定する場合に、各画素は、原画像の全領域の画素、一部の領域の画素、全領域から端領域を除いた中心側領域の画素などが挙げられる。端領域は、複数の撮像部で互いに撮像エリアが異なるため予め除外することが好ましい。 When determining the edge strength of each pixel of the original image, each pixel includes a pixel of the entire region of the original image, a pixel of a partial region, a pixel of a central region excluding an end region from the entire region, and the like. . The end regions are preferably excluded in advance because the imaging areas of the plurality of imaging units are different from each other.
ここで「エッジ強度が少なくとも閾値より小さいまたは同じ」における「閾値」は、予め設定された値であり、例えば、経験的、実験的に求めた値を採用できる。例えば、テスト走行中に撮像した画像または視差画像のエッジ強度を求め、その平均値、最大値、最小値、標準偏差の指標から閾値を設定することができる。 Here, the “threshold” in “the edge strength is at least smaller than or equal to the threshold” is a preset value, and for example, a value obtained empirically or experimentally can be adopted. For example, the edge strength of an image or a parallax image captured during a test run is obtained, and a threshold value can be set based on the average value, the maximum value, the minimum value, and the standard deviation index.
上記発明の一実施形態として、前記信頼度判定部は、前記視差画像各画素の視差値が所定範囲内でない場合に、当該画素が低信頼度であると判定する視差値判定部を有する。 As an embodiment of the present invention, the reliability determination unit includes a disparity value determination unit that determines that the pixel has low reliability when the disparity value of each pixel of the disparity image is not within a predetermined range.
この構成によれば、エッジ強度判定に加え、視差値が所定範囲内でない画素を低信頼度の画素とし、その画素の総数が所定値を超えた場合に視差画像が異常であると判断できる。エッジ強度判定で異常検出できなかった場合でも、この視差値判定で異常な視差画像を判定することが可能になる。エッジ強度判定と視差値判定を含むことで、視差画像の異常判定をより確実に行える。 According to this configuration, in addition to the edge strength determination, a pixel whose disparity value is not within the predetermined range is set as a low-reliability pixel, and when the total number of pixels exceeds the predetermined value, it can be determined that the disparity image is abnormal. Even when an abnormality cannot be detected in the edge strength determination, an abnormal parallax image can be determined in this parallax value determination. By including the edge strength determination and the parallax value determination, the abnormality determination of the parallax image can be performed more reliably.
視差画像の各画素の視差値を判定する場合に、各画素は、視差画像の全領域の画素、一部の領域の画素、全領域から端領域を除いた中心側領域の画素などが挙げられる。端領域は、複数の撮像部で互いに撮像エリアが異なるため予め除外することが好ましい。 When determining the parallax value of each pixel of the parallax image, each pixel includes a pixel of the entire region of the parallax image, a pixel of a partial region, a pixel of a central region excluding an end region from the entire region, and the like. . The end regions are preferably excluded in advance because the imaging areas of the plurality of imaging units are different from each other.
ここで「視差値が所定範囲内」における「所定範囲」は、予め設定された値であり、例えば、経験的、実験的に求めた値を採用する。所定範囲は、上限と下限の閾値とで構成されるが、いずれか一方だけでもよい。 Here, the “predetermined range” in “the parallax value is within the predetermined range” is a preset value, and for example, a value obtained empirically or experimentally is adopted. The predetermined range includes an upper limit and a lower threshold, but may be only one of them.
上記発明の一実施形態として、前記視差画像は、前記複数の原画像の内、第１原画像（Ａ）を基準に作成される第１視差画像（Ａｂ）と、第２原画像（Ｂ）を基準に作成される第２視差画像（Ｂａ）を少なくとも含み、
前記信頼度判定部は、前記第１視差画像（Ａｂ）の第１画素（ｐＡ）の第１視差値（ｄ１）と、当該第１画素（ｐＡ）に対応する前記第２視差画像（Ｂａ）の第２画素（ｐＢ）の第２視差値（ｄ２）との差（ｄ１−ｄ２）が所定範囲内にない場合に、当該第１画素（ｐＡ）が低信頼度であると判定する視差値差判定部を有する。
In one embodiment of the present invention, the parallax images include a first parallax image (Ab) created based on a first original image (A) and a second original image (B) among the plurality of original images. Including at least a second parallax image (Ba) created based on
The reliability determination unit determines a first parallax value (d1) of a first pixel (pA) of the first parallax image (Ab) and the second parallax image (Ba) corresponding to the first pixel (pA). When the difference (d1-d2) between the second pixel (pB) and the second parallax value (d2) is not within the predetermined range, the parallax value for determining that the first pixel (pA) has low reliability It has a difference determination unit.
この構成によれば、エッジ強度判定または、エッジ強度判定および視差値判定に加え、第１、第２視差値との差（ｄ１−ｄ２）が所定範囲内にない画素を低信頼度の画素とし、その画素の総数が所定値を超えた場合に視差画像が異常であると判断できる。エッジ強度判定または視差値判定で異常検出できなかった場合でも、この視差値差判定で異常な視差画像を判定することが可能になる。エッジ強度判定、視差値判定および視差値差判定を含むことで、視差画像の異常判定をさらに確実に行える。例えば、第１原画像（Ａ）が左原画像で、第２原画像（Ｂ）が右原画像でもよい。 According to this configuration, in addition to the edge strength determination or the edge strength determination and the parallax value determination, a pixel whose difference (d1-d2) from the first and second parallax values is not within a predetermined range is defined as a low-reliability pixel. If the total number of pixels exceeds a predetermined value, it can be determined that the parallax image is abnormal. Even when an abnormality cannot be detected in the edge strength determination or the parallax value determination, an abnormal parallax image can be determined in the parallax value difference determination. By including the edge strength determination, the parallax value determination, and the parallax value difference determination, the abnormality determination of the parallax image can be performed more reliably. For example, the first original image (A) may be a left original image and the second original image (B) may be a right original image.
第１画素（ｐＡ）は、第１視差画像（Ａｂ）の全領域の各画素、一部の領域の各画素、全領域から端領域を除いた中心側領域の各画素などが挙げられる。端領域は、複数の撮像部で互いに撮像エリアが異なるため予め除外することが好ましい。 Examples of the first pixel (pA) include each pixel of the entire region of the first parallax image (Ab), each pixel of a partial region, and each pixel of a central region excluding the end region from the entire region. The end regions are preferably excluded in advance because the imaging areas of the plurality of imaging units are different from each other.
ここで「差（ｄ１−ｄ２）が所定範囲内」における「所定範囲」は、予め設定された値であり、例えば、経験的、実験的に求めた値を採用する。所定範囲は、上限と下限の閾値とで構成されるが、いずれか一方だけでもよく、例えば上限の閾値のみでもよい。 Here, the “predetermined range” in “difference (d1-d2) is within a predetermined range” is a preset value, for example, a value obtained empirically or experimentally. The predetermined range includes an upper limit and a lower limit threshold, but may include only one of them, for example, may include only the upper limit threshold.
上記発明の一実施形態として、前記複数の撮像部は、例えば、左右配置の撮像部からなるステレオカメラ、上下配置の撮像部からなるステレオカメラ、正三角形の頂点に配置された３つの撮像部からなるステレオカメラ、３つ以上の撮像部を有するステレオカメラが挙げられる。 In one embodiment of the present invention, the plurality of imaging units include, for example, a stereo camera including left and right arrangement imaging units, a stereo camera including top and bottom arrangement imaging units, and three imaging units arranged at vertices of an equilateral triangle. And a stereo camera having three or more imaging units.
上記発明の一実施形態として、異常画像検出装置は、前記原画像、前記原画像にエッジ強調処理を施したエッジ強調画像および前記視差画像から選択される１以上のデータを保存する記憶部をさらに有する。記憶部は、テンポラリー記憶部であってもよい。 As one embodiment of the above invention, the abnormal image detection device further includes a storage unit that stores one or more data selected from the original image, an edge-enhanced image obtained by performing edge enhancement on the original image, and the parallax image. Have. The storage unit may be a temporary storage unit.
上記発明の一実施形態として、異常画像検出装置は、前記原画像、前記原画像にエッジ強調処理を施したエッジ強調画像および前記視差画像から選択される１以上のデータを外部装置から取得する取得部をさらに有する。取得部は、例えば、通信手段（無線、有線）、記憶媒体の読取手段が挙げられる。 As one embodiment of the invention described above, the abnormal image detection device acquires from an external device one or more data selected from the original image, an edge-enhanced image obtained by performing edge enhancement on the original image, and the parallax image. Further comprising a part. The acquisition unit includes, for example, a communication unit (wireless or wired) and a storage medium reading unit.
また、他の本発明は、複数の撮像部と、当該撮像部から得られた複数の原画像に基づいて視差画像を作成する視差画像作成部と、当該視差画像作成部で作成された視差画像に基づいて奥行距離を算出する距離算出部を有する画像処理システムであって、上記に記載の異常画像検出装置と、前記異常画像検出装置が視差画像の異常を検出した場合に、異常情報を出力する出力部とを備える。また、一実施形態として、画像処理システムは、前記複数の原画像を補正処理する画像補正部をさらに有する。補正処理としては、例えばエッジを強調するエッジ強調処理が挙げられる。
また、一実施形態として、前記距離算出部は、前記視差画像作成部で作成された視差画像において、低信頼度の画素を除いた視差画像に基づいて奥行距離を算出してもよい。低信頼度の画素は、前記信頼度判定部で低信頼度であると判定された画素である。
また、一実施形態として、前記距離算出部は、異常が検出された視差画像以外の視差画像に基づいて奥行距離を算出してもよい。
また、一実施形態として、前記距離算出部は、異常が検出された視差画像を用いて奥行距離を算出する場合、低信頼度の画素を除いた視差画像を使用してもよい。
According to another aspect of the present invention, a plurality of imaging units, a parallax image creating unit that creates a parallax image based on a plurality of original images obtained from the imaging unit, and a parallax image created by the parallax image creating unit An image processing system having a distance calculation unit that calculates a depth distance based on an abnormal image detection device described above, and outputs abnormal information when the abnormal image detection device detects an abnormality in a parallax image. And an output unit. Further, as one embodiment, the image processing system further includes an image correction unit that corrects the plurality of original images. As the correction process, for example, an edge emphasis process for emphasizing an edge can be mentioned.
In one embodiment, the distance calculating unit may calculate a depth distance based on a parallax image excluding low-reliability pixels in the parallax image created by the parallax image creating unit. The low-reliability pixel is a pixel determined to have low reliability by the reliability determination unit.
In one embodiment, the distance calculation unit may calculate the depth distance based on a parallax image other than the parallax image in which the abnormality has been detected.
Further, as one embodiment, when calculating the depth distance using the parallax image in which the abnormality has been detected, the distance calculation unit may use a parallax image excluding pixels with low reliability.
また、他の本発明は、上記画像処理システムを搭載する車両である。一実施形態として、前記車両は、撮像部の撮像方向前方にフロントウインドを備え、前記フロントウインドにワイパーを具備していない構成がある。 Another embodiment of the present invention is a vehicle including the image processing system. As one embodiment, there is a configuration in which the vehicle includes a front window in front of an imaging unit in an imaging direction, and does not include a wiper in the front window.
本発明によれば、複数の撮像部の内のいずれか１の撮像部で他の撮像部と実質的に異なるシーンの画像が撮像された場合に、信頼度の低い画素の総数に基づいて異常画像を検出することができる異常画像検出装置を提供することができる。また、この異常画像検出装置を備えた画像処理システムを提供することができる。また、この画像処理システムを搭載した車両を提供することができる。 According to the present invention, when an image of a scene substantially different from that of another imaging unit is captured by any one of the plurality of imaging units, an abnormality is generated based on the total number of pixels with low reliability. An abnormal image detecting device capable of detecting an image can be provided. Further, it is possible to provide an image processing system including the abnormal image detection device. Further, a vehicle equipped with the image processing system can be provided.
（実施形態１）
実施形態１に係る異常画像検出装置を備える車両について、図面を参照しながら説明する。以下の説明において、車両として自律走行するゴルフカートを例に説明するが、ゴルフカートに制限されない。「前後」および「左右」は、車両の前進する方向を基準とする。本実施形態では、実質的に異なるシーンの画像として、ごみが付着した状態の画像を用いるが、これに制限されず、他の実質的に異なるシーンの画像でもよい。
(Embodiment 1)
A vehicle including the abnormal image detection device according to the first embodiment will be described with reference to the drawings. In the following description, a golf cart running autonomously as a vehicle will be described as an example, but is not limited to a golf cart. “Front / back” and “left / right” are based on the forward direction of the vehicle. In the present embodiment, an image in a state where dust is attached is used as an image of a substantially different scene, but is not limited thereto, and may be an image of another substantially different scene.
（車両の概略構成）
図１Ａに示す車両１は、ゴルフ場内を自動または手動走行するゴルフカートである。車両１は、走路に埋め込まれた誘導線から発せられる電磁波に誘導されて自律走行することができる。車両１には、撮像部５１と、撮像部５１から得られた複数の原画像に基づいて視差画像を作成する視差画像作成部５２と、視差画像作成部５２で作成された視差画像に基づいて奥行距離を算出する距離算出部５３と、撮像部５１から得られた複数の原画像に基づいて作成された視差画像および当該原画像の内少なくとも１の原画像が異常であるかを検出する異常画像検出装置２と、異常画像検出装置２が視差画像の異常を検出した場合に、異常情報を出力する出力部５４を有する画像処理システム５を搭載している。また、画像処理システム５は、車両１が走行する走路上の障害物を検出する障害物検出装置５５を有していてもよい。本実施形態１において、車両１は誘導線で誘導される自立走行可能な車両であるが、本発明はこれに制限されず、運転者による手動走行も可能であり、車両は誘導線のない走路も自由に走行可能である。
(Schematic configuration of vehicle)
The vehicle 1 shown in FIG. 1A is a golf cart that runs automatically or manually in a golf course. The vehicle 1 can autonomously run by being guided by electromagnetic waves emitted from a guide line embedded in the runway. The vehicle 1 includes an imaging unit 51, a parallax image creating unit 52 that creates a parallax image based on a plurality of original images obtained from the imaging unit 51, and a parallax image created by the parallax image creating unit 52. A distance calculation unit 53 that calculates a depth distance, and a parallax image created based on the plurality of original images obtained from the imaging unit 51 and an abnormality that detects whether at least one of the original images is abnormal. An image processing system 5 having an image detection device 2 and an output unit 54 that outputs abnormality information when the abnormal image detection device 2 detects an abnormality in a parallax image is mounted. Further, the image processing system 5 may include an obstacle detection device 55 that detects an obstacle on a track on which the vehicle 1 runs. In the first embodiment, the vehicle 1 is a vehicle that can travel independently by being guided by a guide line. However, the present invention is not limited to this, and can be manually driven by a driver. Can also travel freely.
また、図１Ｂに示す車両１には、車両１が誘導線に沿って自律走行するのを制御する自律走行制御部６と、障害物検出装置５５が障害物を検出すると運転者および周囲に警告を発生する警告出力部７と、障害物の検出により減速または停止の制御をする走行速度制御部９と、車輪１２を駆動し、走行速度制御部９により回転数が制御される駆動モータ１１とが設けられている。本実施形態１において、車両１はモータで駆動されるがこれに限らず、エンジンにより駆動されてもよい。 Further, the vehicle 1 shown in FIG. 1B includes an autonomous traveling control unit 6 that controls the vehicle 1 to autonomously travel along a guide line, and a warning to the driver and the surroundings when the obstacle detection device 55 detects an obstacle. A traveling speed control unit 9 that controls deceleration or stop by detecting an obstacle, a drive motor 11 that drives wheels 12 and whose rotation speed is controlled by the traveling speed control unit 9, Is provided. In the first embodiment, the vehicle 1 is driven by a motor, but is not limited thereto, and may be driven by an engine.
（画像処理システムの構成）
図２を参照しながら画像処理システム５を説明する。撮像部５１は、車両１のフロントガラスの上中央部に設けられている。撮像部５１は、左画像センサ５１１、右画像センサ５１２を有するステレオカメラである。別実施形態として、ステレオカメラは、２個以上の画像センサで構成されてもよい。左画像センサ５１１、右画像センサ５１２としては、例えば、可視光カメラが挙げられる。左画像センサ５１１および右画像センサ５１２は、それぞれ平行ステレオの位置関係で配置されている。本実施形態において特に明示しない限り、左画像センサ５１１を基準カメラとし、左画像センサ５１１で撮影された画像を基準画像とする。画像処理システム５は、マイクロプロセッサとメモリを有し、各構成部の機能を実現する構成である。
(Configuration of image processing system)
The image processing system 5 will be described with reference to FIG. The imaging unit 51 is provided at the upper center of the windshield of the vehicle 1. The imaging unit 51 is a stereo camera having a left image sensor 511 and a right image sensor 512. As another embodiment, the stereo camera may be composed of two or more image sensors. The left image sensor 511 and the right image sensor 512 include, for example, a visible light camera. The left image sensor 511 and the right image sensor 512 are arranged in a parallel stereo positional relationship. In the present embodiment, unless otherwise specified, the left image sensor 511 is used as a reference camera, and an image captured by the left image sensor 511 is used as a reference image. The image processing system 5 has a microprocessor and a memory, and is configured to realize the function of each component.
視差画像作成部５２は、左画像センサ５１１で撮影された画像を左原画像として、右画像センサ５１２で撮影された画像を右原画像として視差画像を作成する。図４（ａ）は左原画像、図４（ｂ）は右原画像の一例を示す。左原画像の中央部の黒塗りエリアｗｄは、左画像センサ５１１のレンズ前面にごみが付着している状態で撮像したことを意味している。 The parallax image creation unit 52 creates a parallax image using an image captured by the left image sensor 511 as a left original image and an image captured by the right image sensor 512 as a right original image. FIG. 4A shows an example of the left original image, and FIG. 4B shows an example of the right original image. The black-painted area wd at the center of the left original image means that the image was taken in a state where dust adhered to the front surface of the lens of the left image sensor 511.
視差画像作成部５２は、左原画像を基準画像とした視差画像を作成する。視差画像は、全てのフレームについて作成されてもよく、任意のフレームを抽出して作成してもよいが、本実施形態では、所定間隔ごとのフレームを抽出して作成する。図５は図４の左原画像、右原画像を用いて作成された視差画像である。また、視差画像作成部５２は、視差値差判定部の信頼度判定で用いるために、右原画像を基準画像とした視差画像も作成する。視差画像は、例えばステレオマッチング等で作成することができる。ステレオマッチングとして面積相関法を用いる。面積相関法は、注目画素を中心に一定の大きさのウィンドウ単位で各画像の一致度を計算し、最も一致度が高くなるようにステレオマッチングする。さらに、一致度が最も高い状態における注目画素の視差を算出する。ここでの視差は複数画像間の画素のズレ量を示す。実施形態１において、視差は、基準画像である左原画像（または右原画像）に対する右原画像（左原画像）の画素のズレ量である。 The parallax image creating unit 52 creates a parallax image using the left original image as a reference image. The parallax image may be created for all frames, or may be created by extracting an arbitrary frame. In the present embodiment, the parallax image is created by extracting frames at predetermined intervals. FIG. 5 is a parallax image created using the left original image and the right original image of FIG. In addition, the parallax image creating unit 52 also creates a parallax image using the right original image as a reference image for use in the reliability determination of the parallax value difference determining unit. The parallax image can be created by, for example, stereo matching. The area correlation method is used as stereo matching. In the area correlation method, the degree of coincidence of each image is calculated for each window of a certain size around the pixel of interest, and stereo matching is performed so that the degree of coincidence is highest. Further, the parallax of the target pixel in the state where the degree of coincidence is the highest is calculated. The parallax here indicates a pixel shift amount between a plurality of images. In the first embodiment, the parallax is a shift amount of pixels of a right original image (left original image) with respect to a left original image (or right original image) as a reference image.
距離算出部５３は、視差画像作成部５２で作成された視差画像に基づいて奥行距離を算出する。距離算出部５３は、正常の視差画像と異常の視差画像のいずれにおいても、低信頼度の画素を除いた視差画像を用いて奥行距離を算出する。すなわち、距離算出部５３は、正常であると判断された視差画像に低信頼度の画素が含まれている場合には、その低信頼度の画素を除いた視差画像を用い、異常であると判断された視差画像においては低信頼度の画素を除いた視差画像を用いて奥行距離を算出する。低信頼度の画素を用いないことで、高精度の奥行距離を得られる。奥行距離は、障害物検出装置５５、走行速度制御部９などに提供される。 The distance calculation unit 53 calculates a depth distance based on the parallax image created by the parallax image creation unit 52. The distance calculation unit 53 calculates a depth distance using a parallax image excluding pixels with low reliability in both a normal parallax image and an abnormal parallax image. That is, when the parallax image determined to be normal includes a low-reliability pixel, the distance calculation unit 53 uses the parallax image excluding the low-reliability pixel and determines that the pixel is abnormal. In the determined parallax image, the depth distance is calculated using the parallax image excluding the pixels with low reliability. By not using low reliability pixels, a highly accurate depth distance can be obtained. The depth distance is provided to the obstacle detection device 55, the traveling speed control unit 9, and the like.
出力部５４は、異常画像検出装置２が視差画像の異常を検出した場合に、異常情報を出力する。出力としては、例えば、異常である旨の情報を表示手段に表示、スピーカーに音または音声で出力、点灯手段で出力、異常である旨の情報を外部装置に送信するなどが挙げられる。 The output unit 54 outputs abnormality information when the abnormal image detection device 2 detects an abnormality in the parallax image. The output includes, for example, displaying information indicating an abnormality on a display unit, outputting sound or sound to a speaker, outputting the information using a lighting unit, and transmitting information indicating an abnormality to an external device.
（異常画像検出装置）
図３に示す異常画像検出装置２は、視差画像の画素が低信頼度であるか否かを判定する信頼度判定部２４と、信頼度判定部２４によって判定された低信頼度の画素の総数を算出する算出部２５と、算出部２５で得られた低信頼度の画素の総数が、所定値を超えた場合に、視差画像が異常であると判断する異常判断部２６を有する。
(Abnormal image detection device)
The abnormal image detection device 2 illustrated in FIG. 3 includes a reliability determination unit 24 that determines whether a pixel of a parallax image has low reliability, and a total number of low reliability pixels determined by the reliability determination unit 24. , And an abnormality determination unit 26 that determines that the parallax image is abnormal when the total number of low-reliability pixels obtained by the calculation unit 25 exceeds a predetermined value.
信頼度判定部２４は、エッジ強度判定部２４１と視差値判定部２４２と視差値差判定部２４３を有する。各判定部の判定について以下に詳述する。 The reliability determination unit 24 includes an edge strength determination unit 241, a parallax value determination unit 242, and a parallax value difference determination unit 243. The determination of each determination unit will be described in detail below.
エッジ強度判定部の判定方法について図６を参照しながら説明する。エッジ強度判定部２４１は、視差画像の第１領域ｗ内の画素における左原画像および右原画像のそれぞれの画素のエッジ強度が閾値以下であるか否かを判定する。以下において、左原画像の画素に対する判定と、右原画像の画素に対する判定を並行して行う方法について説明する。図５に示す視差画像は、図４（ａ）に示す左原画像および図４（ｂ）に示す右原画像をステレオマッチングして作成されている。エッジ強度判定部２４１は、視差画像の第１領域ｗ内の画素ｐ（ｕ，ｖ）における左原画像の画素のエッジ強度ｅＬ（ｕ，ｖ）を求める。同様にエッジ強度判定部２４１は、画素ｐ（ｕ，ｖ）における右原画像の画素のエッジ強度ｅＲ（ｕ，ｖ）を求める（Ｓ１）。エッジ強度は一般的なエッジ検出で求めることができる。 The determination method of the edge strength determination unit will be described with reference to FIG. The edge strength determination unit 241 determines whether the edge strength of each pixel of the left original image and the right original image in the pixels in the first area w of the parallax image is equal to or smaller than a threshold. Hereinafter, a method of performing the determination on the pixels of the left original image and the determination on the pixels of the right original image in parallel will be described. The parallax image shown in FIG. 5 is created by stereo matching the left original image shown in FIG. 4A and the right original image shown in FIG. 4B. The edge strength determination unit 241 obtains the edge strength eL (u, v) of the pixel of the left original image in the pixel p (u, v) in the first area w of the parallax image. Similarly, the edge strength determination unit 241 obtains the edge strength eR (u, v) of the pixel of the right original image at the pixel p (u, v) (S1). The edge strength can be obtained by general edge detection.
本実施形態では、第１領域ｗ内の画素ｐ（ｕ，ｖ）における左原画像の画素のエッジ強度ｅＬ（ｕ，ｖ）および右原画像の画素のエッジ強度ｅＲ（ｕ，ｖ）を求めているが、これに制限されず、別実施形態として、視差画像の領域ｗＬ内の画素ｐＬにおける左原画像の画素のエッジ強度ｅＬを求め、視差画像の領域ｗＲ（領域ｗＬと異なる領域）内の画素ｐＲにおける右原画像の画素のエッジ強度ｅＲを求めてもよい。 In the present embodiment, the edge intensity eL (u, v) of the pixel of the left original image and the edge intensity eR (u, v) of the pixel of the right original image at the pixel p (u, v) in the first area w are obtained. However, the present invention is not limited to this. As another embodiment, the edge strength eL of the pixel of the left original image at the pixel pL in the region wL of the parallax image is obtained, and the region wR (region different from the region wL) of the parallax image is obtained. The edge intensity eR of the pixel of the right original image at the pixel pR may be obtained.
次いで、エッジ強度判定部２４１は、エッジ強度ｅＬが閾値ＥＬ１以下であるか否かを求める。同様にエッジ強度判定部２４１は、エッジ強度ｅＲが閾値ＥＲ１以下であるか否かを求める（Ｓ２）。ここで、閾値ＥＬ１と閾値ＥＲ１とは、同じ値でもよく、異なる値でもよい。 Next, the edge strength determination unit 241 determines whether the edge strength eL is equal to or less than the threshold value EL1. Similarly, the edge strength determination unit 241 determines whether the edge strength eR is equal to or less than the threshold value ER1 (S2). Here, the threshold value EL1 and the threshold value ER1 may be the same value or different values.
エッジ強度ｅＬが閾値ＥＬ１以下であった場合に、エッジ強度判定部２４１は、左原画像の画素が低信頼度の画素であると判定する。同様にエッジ強度ｅＲが閾値ＥＲ１以下であった場合に、エッジ強度判定部２４１は、右原画像の画素が低信頼度の画素であると判定する（Ｓ３−１）。算出部２５は、左原画像において低信頼度であると判定された画素の総数ＴＬ１をカウントする。同様に算出部２５は、右原画像において低信頼度であると判定された画素の総数ＴＲ１をカウントする（Ｓ４）。 When the edge strength eL is equal to or smaller than the threshold value EL1, the edge strength determination unit 241 determines that the pixel of the left original image is a pixel with low reliability. Similarly, when the edge strength eR is equal to or smaller than the threshold value ER1, the edge strength determination unit 241 determines that the pixel of the right original image is a pixel with low reliability (S3-1). The calculation unit 25 counts the total number TL1 of pixels determined to have low reliability in the left original image. Similarly, the calculation unit 25 counts the total number TR1 of pixels determined to have low reliability in the right original image (S4).
一方、エッジ強度ｅＬが閾値ＥＬ１以下でなかった場合に、エッジ強度判定部２４１は、左原画像の画素を低信頼度の画素ではなく高信頼度の画素であると判定する。同様に、エッジ強度ｅＲが閾値ＥＲ１以下でなかった場合に、エッジ強度判定部２４１は、右原画像の画素を低信頼度の画素ではなく高信頼度の画素であると判定する（Ｓ３−２）。低信頼度の画素に判定されなかった画素を高信頼度の画素と称する。第１領域ｗ内の画素における左原画像および右原画像の全ての画素に対しＳ２〜Ｓ４を繰り返す（Ｓ５）。 On the other hand, when the edge strength eL is not equal to or smaller than the threshold value EL1, the edge strength determination unit 241 determines that the pixels of the left original image are not the pixels of low reliability but the pixels of high reliability. Similarly, when the edge strength eR is not equal to or smaller than the threshold value ER1, the edge strength determination unit 241 determines that the pixel of the right original image is not a pixel of low reliability but a pixel of high reliability (S3-2). ). Pixels that are not determined as low reliability pixels are referred to as high reliability pixels. S2 to S4 are repeated for all the pixels of the left original image and the right original image in the pixels in the first area w (S5).
次いで、異常判断部２６は、低信頼度の画素の総数ＴＬ１が所定値ＱＬ１を超えるか否かを判定する。同様に異常判断部２６は、総数ＴＲ１が所定値ＱＲ１を超えるか否かを判定する（Ｓ６）。所定値ＱＬ１、ＱＲ１は予め設定されている。所定値ＱＬ１と所定値ＱＲ１とは、同じ値でもよく、異なる値でもよい。異常判断部２６は、低信頼度の画素の総数ＴＬ１が所定値ＱＬ１を超えた場合に左原画像が異常である（正常ではない）と判断する。同様に異常判断部２６は、総数ＴＲ１が所定値ＱＲ１を超えた場合に右原画像が異常である（正常ではない）と判断する（Ｓ７）。異常判断部２６は、少なくともいずれか一方の原画像が異常であると判断した場合、視差画像も異常であると判断する。前述の出力部５４はその旨の情報、例えば異常な視差画像が検出された旨を出力することができる。また、距離算出部５３は、正常の視差画像と異常の視差画像のいずれにおいても、低信頼度の画素を除いた視差画像を用いて奥行距離を算出する。低信頼度の画素の総数ＴＬ１が所定値ＱＬ１を超えず、かつ総数ＴＲ１が所定値ＱＲ１を超えなかった場合、視差値判定部２４２の判定が実行される。 Next, the abnormality determination unit 26 determines whether the total number TL1 of low-reliability pixels exceeds a predetermined value QL1. Similarly, the abnormality determination unit 26 determines whether the total number TR1 exceeds a predetermined value QR1 (S6). The predetermined values QL1 and QR1 are set in advance. The predetermined value QL1 and the predetermined value QR1 may be the same value or different values. The abnormality determination unit 26 determines that the left original image is abnormal (not normal) when the total number TL1 of low reliability pixels exceeds a predetermined value QL1. Similarly, when the total number TR1 exceeds the predetermined value QR1, the abnormality determination unit 26 determines that the right original image is abnormal (not normal) (S7). When determining that at least one of the original images is abnormal, the abnormality determining unit 26 determines that the parallax image is also abnormal. The output unit 54 can output information to that effect, for example, that an abnormal parallax image has been detected. Further, the distance calculation unit 53 calculates the depth distance using the parallax image excluding the pixels with low reliability in both the normal parallax image and the abnormal parallax image. When the total number TL1 of low reliability pixels does not exceed the predetermined value QL1 and the total number TR1 does not exceed the predetermined value QR1, the determination of the parallax value determination unit 242 is performed.
視差値判定部の判定方法について図７を参照しながら説明する。本実施形態において、判定に係る視差画像の第１領域、第２領域、第３領域は同じ領域ｗとして説明するが、これに制限されず、別実施形態として、第１領域、第２領域、第３領域はそれぞれ異なる領域でもよい。 The determination method of the parallax value determination unit will be described with reference to FIG. In the present embodiment, the first region, the second region, and the third region of the parallax image related to the determination will be described as the same region w, but the present invention is not limited to this, and as another embodiment, the first region, the second region, The third areas may be different areas.
視差値判定部２４２は、視差画像の第２領域ｗの画素ｐ（ｕ，ｖ）の視差値ｄ（ｕ，ｖ）が所定範囲内でない場合に、当該画素ｐ（ｕ，ｖ）が低信頼度であると判定する。まず、視差値判定部２４２は、画素ｐ（ｕ，ｖ）の視差値ｄ（ｕ，ｖ）を求める（Ｓ１１）。視差値は従来の方法で求められる。 If the parallax value d (u, v) of the pixel p (u, v) in the second area w of the parallax image is not within the predetermined range, the parallax value determination unit 242 determines that the pixel p (u, v) has low reliability. It is determined to be a degree. First, the parallax value determination unit 242 obtains a parallax value d (u, v) of the pixel p (u, v) (S11). The parallax value is obtained by a conventional method.
視差値判定部２４２は、視差値ｄ（ｕ，ｖ）が下限値Ｄ１以上で上限値Ｄ２以下であるか否かを求める（Ｓ１２）。下限値Ｄ１，上限値Ｄ２は予め設定されている。視差値ｄ（ｕ，ｖ）が下限値Ｄ１以上で上限値Ｄ２以下であった場合に、視差値判定部２４２は、低信頼度の画素であると判定する（Ｓ１３−１）。低信頼度の画素であると判定された場合、算出部２５は、その低信頼度の画素の総数Ｔ２をカウントする（Ｓ１４）。一方、視差値ｄ（ｕ，ｖ）が下限値Ｄ１以上で上限値Ｄ２以下でなかった場合に、視差値判定部２４２は、低信頼度の画素ではなく高信頼度の画素であると判定する（Ｓ１３−２）。第２領域ｗの画素の全てに対しＳ１２〜Ｓ１４を繰り返す（Ｓ１５）。 The parallax value determination unit 242 determines whether the parallax value d (u, v) is equal to or greater than the lower limit D1 and equal to or less than the upper limit D2 (S12). Lower limit value D1 and upper limit value D2 are set in advance. When the parallax value d (u, v) is equal to or more than the lower limit value D1 and equal to or less than the upper limit value D2, the parallax value determining unit 242 determines that the pixel is a low-reliability pixel (S13-1). If it is determined that the pixel is a low-reliability pixel, the calculation unit 25 counts the total number T2 of the low-reliability pixels (S14). On the other hand, when the disparity value d (u, v) is not less than the lower limit value D1 and not less than the upper limit value D2, the disparity value determination unit 242 determines that the pixel is not a low-reliability pixel but a high-reliability pixel. (S13-2). S12 to S14 are repeated for all the pixels in the second area w (S15).
次いで、異常判断部２６は、低信頼度の画素の総数Ｔ２が所定値Ｑ２を超えるか否かを判定する（Ｓ１６）。所定値Ｑ２は予め設定されている。異常判断部２６は、低信頼度の画素の総数Ｔ２が所定値Ｑ２を超えた場合に視差画像および少なくともいずれか一方の原画像が異常である（正常ではない）と判断する（Ｓ１７）。異常であると判断された場合、前述の出力部５４はその旨の情報、例えば異常な視差画像が検出された旨を出力することができる。また、距離算出部５３は、正常の視差画像と異常の視差画像のいずれにおいても、低信頼度の画素を除いた視差画像を用いて奥行距離を算出する。低信頼度の画素の総数Ｔ２が所定値Ｑ２を超えなかった場合、視差値差判定部２４３の判定が実行される。 Next, the abnormality determination unit 26 determines whether the total number T2 of low reliability pixels exceeds a predetermined value Q2 (S16). The predetermined value Q2 is set in advance. When the total number T2 of low reliability pixels exceeds the predetermined value Q2, the abnormality determination unit 26 determines that the parallax image and at least one of the original images are abnormal (not normal) (S17). If it is determined that the parallax image is abnormal, the output unit 54 can output information to that effect, for example, that an abnormal parallax image has been detected. Further, the distance calculation unit 53 calculates the depth distance using the parallax image excluding the pixels with low reliability in both the normal parallax image and the abnormal parallax image. When the total number T2 of low reliability pixels does not exceed the predetermined value Q2, the determination of the parallax value difference determination unit 243 is performed.
視差値差判定部の判定方法について図８を参照しながら説明する。視差値差判定部２４３は、例えば、左原画像基準の視差画像に第３領域ｗを設定し、この領域ｗ内の画素ｐＬ（ｕ，ｖ）の視差値ｄＬ（ｕ，ｖ）＝ｄとすると、当該画素ｐＬ（ｕ，ｖ）に対応する右原画像基準の視差画像の画素ｐＲ（ｕ−ｄ，ｖ）の視差値ｄＲ（ｕ−ｄ，ｖ）との差（ｄＬ−ｄＲ）が所定範囲内にない場合に、画素ｐＬ（ｕ，ｖ）を低信頼度であると判定する。なお、別実施形態として、右原画像基準の視差画像に第４領域ｗを設定し、画素ｐＲ（ｕ，ｖ）に対して信頼度を判定してもよい。かかる場合に、右原画像基準の視差画像の視差値ｄＲ（ｕ，ｖ）＝ｄに対応する左原画像基準の視差画像の視差値はｄＬ（ｕ＋ｄ，ｖ）であり，差（ｄＬ−ｄＲ）が所定範囲内にない場合に、画素ｐＲ（ｕ，ｖ）を低信頼度であると判定する。ここで、第３領域と第４領域とは、同じ領域でもよく、それぞれ異なる領域でもよい。左原画像基準の視差画像と右原画像基準の視差画像は、視差画像作成部５２で作成される。まず、視差値差判定部２４３は、視差値差（ｄＬ−ｄＲ）を求める（Ｓ２１）。 The determination method of the parallax value difference determination unit will be described with reference to FIG. The parallax value difference determination unit 243 sets, for example, a third area w in the parallax image based on the left original image, and sets a parallax value dL (u, v) = d of a pixel pL (u, v) in this area w. Then, the difference (dL-dR) between the pixel pR (ud, v) and the disparity value dR (ud, v) of the pixel pR (ud, v) of the disparity image based on the right original image corresponding to the pixel pL (u, v) is obtained. If it is not within the predetermined range, the pixel pL (u, v) is determined to have low reliability. As another embodiment, the fourth area w may be set in the parallax image based on the right original image, and the reliability may be determined for the pixel pR (u, v). In such a case, the disparity value of the left original image-based disparity image corresponding to the disparity value dR (u, v) = d of the right original image-based disparity image is dL (u + d, v), and the difference (dL−dR) ) Is not within the predetermined range, the pixel pR (u, v) is determined to have low reliability. Here, the third region and the fourth region may be the same region or different regions. The parallax image based on the left original image and the parallax image based on the right original image are created by the parallax image creating unit 52. First, the parallax value difference determination unit 243 obtains a parallax value difference (dL-dR) (S21).
視差値差判定部２４３は、視差値差（ｄＬ−ｄＲ）が下限値Ｄ３以上で上限値Ｄ４以下であるか否かを求める（Ｓ２２）。下限値Ｄ３，上限値Ｄ４は予め設定されている。視差値差（ｄＬ−ｄＲ）が下限値Ｄ３以上で上限値Ｄ４以下であった場合に、視差値差判定部２４３は、画素ｐＬ（ｕ，ｖ）を低信頼度の画素であると判定する（Ｓ２３−１）。 The parallax value difference determination unit 243 determines whether the parallax value difference (dL-dR) is equal to or greater than the lower limit value D3 and equal to or less than the upper limit value D4 (S22). The lower limit D3 and the upper limit D4 are set in advance. When the parallax value difference (dL-dR) is equal to or more than the lower limit value D3 and equal to or less than the upper limit value D4, the parallax value difference determination unit 243 determines that the pixel pL (u, v) is a pixel with low reliability. (S23-1).
図９を参照しながら、視差値差を求める一例を説明する。図９（ａ）は左原画像基準の視差画像の視差値、図９（ｂ）は右原画像基準の視差画像の視差値であり、それぞれ同じ座標を抜き出している。左原画像基準の視差画像と右原画像基準の視差画像とを比較する。左原画像基準の視差画像の枠内は、ｕ座標が１８で視差値が４である。ｕ座標の差（ズレ量）が４であるとして、右原画像基準の視差画像の同じｖ座標のｕ座標は１４（＝１８−４）であり、このｕ座標１４の視差値は９である。視差値差は「５（＝９−４）」である。Ｄ３＝０、Ｄ４＝１とした場合に、視差値差「５」はＤ４を超えるため、この座標の画素は低信頼度であると判定される。 An example of obtaining a parallax value difference will be described with reference to FIG. FIG. 9A shows the parallax value of the parallax image based on the left original image, and FIG. 9B shows the parallax value of the parallax image based on the right original image. The parallax image based on the left original image and the parallax image based on the right original image are compared. In the frame of the parallax image based on the left original image, the u coordinate is 18 and the parallax value is 4. Assuming that the difference (deviation amount) between u coordinates is 4, the u coordinate of the same v coordinate of the parallax image based on the right original image is 14 (= 18−4), and the parallax value of the u coordinate 14 is 9. . The parallax value difference is “5 (= 9−4)”. If D3 = 0 and D4 = 1, the parallax value difference “5” exceeds D4, so that the pixel at this coordinate is determined to have low reliability.
低信頼度の画素であると判定された場合、算出部２５は、その低信頼度の画素の総数Ｔ３をカウントする（Ｓ２４）。一方、視差値差（ｄＬ−ｄＲ）が下限値Ｄ３以上で上限値Ｄ４以下でなかった場合に、視差値差判定部２４３は、画素ｐＬ（ｕ，ｖ）を低信頼度の画素ではなく高信頼度の画素であると判定する（Ｓ２３−２）。第３領域ｗの画素の全てに対しＳ２２〜Ｓ２４を繰り返す（Ｓ２５）。 If it is determined that the pixel is a low-reliability pixel, the calculation unit 25 counts the total number T3 of the low-reliability pixels (S24). On the other hand, when the disparity value difference (dL-dR) is not less than the lower limit value D3 and not less than the upper limit value D4, the disparity value difference determination unit 243 determines that the pixel pL (u, v) is not a low-reliability pixel but a high pixel. It is determined that the pixel has the reliability (S23-2). S22 to S24 are repeated for all the pixels in the third area w (S25).
次いで、異常判断部２６は、低信頼度の画素の総数Ｔ３が所定値Ｑ３を超えるか否かを判定する（Ｓ２６）。所定値Ｑ３は予め設定されている。低信頼度の画素の総数Ｔ３が所定値Ｑ３を超えた場合に異常判断部２６は、視差画像および少なくともいずれか一方の原画像が異常である（正常ではない）と判断する（Ｓ２７）。異常であると判断された場合、前述の出力部５４はその旨の情報、例えば異常な視差画像が検出された旨を出力することができる。また、距離算出部５３は、正常の視差画像と異常の視差画像のいずれにおいても、低信頼度の画素を除いた視差画像を用いて奥行距離を算出する。低信頼度の画素の総数Ｔ３が所定値Ｑ３を超えていなかった場合、異常判断部２６は、視差画像および原画像が異常ではないと判断する。 Next, the abnormality determination unit 26 determines whether the total number T3 of low reliability pixels exceeds a predetermined value Q3 (S26). The predetermined value Q3 is set in advance. When the total number T3 of pixels with low reliability exceeds the predetermined value Q3, the abnormality determination unit 26 determines that the parallax image and at least one of the original images are abnormal (not normal) (S27). If it is determined that the parallax image is abnormal, the output unit 54 can output information to that effect, for example, that an abnormal parallax image has been detected. Further, the distance calculation unit 53 calculates the depth distance using the parallax image excluding the pixels with low reliability in both the normal parallax image and the abnormal parallax image. When the total number T3 of low reliability pixels does not exceed the predetermined value Q3, the abnormality determination unit 26 determines that the parallax image and the original image are not abnormal.
（実施形態１の別構成例）
上記実施形態１において、エッジ強度判定部２４１は、エッジ強度が閾値以下であるか否かを判定したが、これに制限されず、エッジ強度が所定範囲にあるか否かを判定してもよい。
(Another configuration example of the first embodiment)
In the first embodiment, the edge strength determination unit 241 determines whether or not the edge strength is equal to or less than the threshold, but is not limited thereto, and may determine whether or not the edge strength is within a predetermined range. .
上記実施形態１において、エッジ強度は、例えば、ＳＯＢＥＬフィルター等のエッジ強調手段を施したあとの値（輝度値）としてもよい。図１０に図４の左原画像をエッジ強調した図の一例を示す。 In the first embodiment, for example, the edge strength may be a value (luminance value) after performing edge enhancement means such as a SOBEL filter. FIG. 10 shows an example of a diagram in which the left original image of FIG. 4 is edge-emphasized.
上記実施形態１において、視差値判定部２４２は、視差値ｄ（ｕ，ｖ）が閾値以下の場合に、当該画素ｐ（ｕ，ｖ）が低信頼度であると判定してもよい。 In the first embodiment, the parallax value determination unit 242 may determine that the pixel p (u, v) has low reliability when the parallax value d (u, v) is equal to or smaller than the threshold.
上記実施形態１において、視差値差判定部２４２は視差値差（ｄＬ−ｄＲ）が閾値以下の場合に、低信頼度の画素であると判定してもよい。 In the first embodiment, when the parallax value difference (dL−dR) is equal to or smaller than the threshold, the parallax value difference determination unit 242 may determine that the pixel is a low-reliability pixel.
上記実施形態１において、エッジ強度判定部２４１が左原画像と右原画像とに対する処理（Ｓ１〜Ｓ７）を並行して行っていたが、これに制限されず、いずれか一方の原画像に対する処理を行った後に、その他方の原画像に対する処理を実行してもよい。 In the first embodiment, the edge strength determination unit 241 performs the processing (S1 to S7) on the left original image and the right original image in parallel. However, the present invention is not limited to this, and the processing on any one of the original images is performed. , The other original image may be processed.
上記実施形態１において、エッジ強度判定部２４１、視差値判定部２４２、視差値差判定部２４３の処理順序で実行していたが、これに制限されず、エッジ強度判定部２４１、視差値差判定部２４３、視差値判定部２４２の処理順序でもよい。 In the first embodiment, the processing is performed in the processing order of the edge strength determination unit 241, the parallax value determination unit 242, and the parallax value difference determination unit 243. However, the present invention is not limited thereto, and the edge strength determination unit 241 and the parallax value difference determination are performed. The processing order of the unit 243 and the parallax value determination unit 242 may be used.
上記実施形態１において、異常画像検出装置２が、車両１に搭載されていない構成でもよく、この場合、画像処理システム５と異常画像検出装置２はネットワークを介して接続される。また、画像処理システム５が、車両１に搭載されていない構成でもよい。この場合、車両１に搭載された撮像部５１の撮影画像がネットワークを介して画像処理システム５へ送信される。 In the first embodiment, the configuration may be such that the abnormal image detection device 2 is not mounted on the vehicle 1. In this case, the image processing system 5 and the abnormal image detection device 2 are connected via a network. Further, a configuration in which the image processing system 5 is not mounted on the vehicle 1 may be employed. In this case, a captured image of the imaging unit 51 mounted on the vehicle 1 is transmitted to the image processing system 5 via the network.
上記実施形態１において、視差画像作成部５２は、左画像センサ５１１、右画像センサ５１２で撮影された画像に種々の補正を施した画像から視差画像を作成してもよい。この場合、画像処理システム５は、各画像を各種補正処理する画像補正部（不図示）を有する。画像補正部で補正された各画像は、視差画像作成部５２へ出力される。画像の補正処理として、例えば、レンズの口径色等を原因とする複数の画像センサ間の輝度バラツキを補正する輝度補正処理や、各画像センサのレンズの歪みを補正する歪曲収差補正処理や、撮影した画像のエッジを強調するエッジ強調処理が挙げられる。画像補正として、これらの画像処理の少なくとも１つが実施される。画像補正として、左、右画像センサ５１１、５１２間の輝度を補正する処理、または、レンズ歪みを補正する処理、または、エッジを強調する処理のうち少なくとも１つの処理を実施することで、左、右画像センサ５１１、５、１２の固有特性に起因する画像の特性を平均化できる。左、右画像センサ５１１、５１２の個体差を低減することにより、撮影された各画像を基に作成する視差画像の精度を向上することができ、視差不連続部分を精度良く検出することができる。 In the first embodiment, the parallax image generation unit 52 may generate a parallax image from images obtained by performing various corrections on images captured by the left image sensor 511 and the right image sensor 512. In this case, the image processing system 5 has an image correction unit (not shown) that performs various correction processes on each image. Each image corrected by the image correction unit is output to the parallax image creation unit 52. As the image correction processing, for example, a luminance correction processing for correcting a luminance variation between a plurality of image sensors due to a caliber of a lens or the like, a distortion correction processing for correcting a distortion of a lens of each image sensor, and a photographing operation Edge emphasis processing for emphasizing the edges of the processed image. As image correction, at least one of these image processes is performed. By performing at least one of the processing of correcting the luminance between the left and right image sensors 511 and 512, the processing of correcting the lens distortion, or the processing of emphasizing the edge as the image correction, The characteristics of the image resulting from the unique characteristics of the right image sensors 511, 5 and 12 can be averaged. By reducing the individual difference between the left and right image sensors 511 and 512, the accuracy of the parallax image created based on the captured images can be improved, and the parallax discontinuity portion can be accurately detected. .
上記実施形態１は、視差画像の所定領域（画素）の視差値の標準偏差（分散）の指標を算出する指標算出部をさらに有し、異常判断部が、指標算出部で算出された指標が所定範囲内にない場合（または上限閾値を超える場合）に、前記視差画像が異常であると判断する。この構成によれば、視差値のバラツキが大きいことを判定することで、原画像が異常であることを判断できる。ここで「視差画像の所定領域」は、例えば、全画素領域、全画素領域で端領域を除く中心領域などが挙げられる。端領域は、複数の撮像部で互いに撮像エリアが異なるため予め除外することが好ましい。また「視差画像の所定領域」は、上記の「視差画像の第１領域」、「視差画像の第２領域」、「視差画像の第３領域」の内いずれかと同じ領域でもよく、異なる領域でもよい。
また、上記の「視差画像の第１領域」、「視差画像の第２領域」、「視差画像の第３領域」は、全領域から端領域を除いた中心側領域であったが、これに制限されず、全領域であってもよい。
The first embodiment further includes an index calculation unit that calculates an index of a standard deviation (variance) of a parallax value of a predetermined area (pixel) of the parallax image, and the abnormality determination unit determines that the index calculated by the index calculation unit is If the parallax image is not within the predetermined range (or exceeds the upper threshold), it is determined that the parallax image is abnormal. According to this configuration, it is possible to determine that the original image is abnormal by determining that the dispersion of the parallax values is large. Here, the “predetermined region of the parallax image” includes, for example, all pixel regions, a central region of all pixel regions excluding end regions, and the like. The end regions are preferably excluded in advance because the imaging areas of the plurality of imaging units are different from each other. Further, the “predetermined area of the parallax image” may be the same as one of the “first area of the parallax image”, the “second area of the parallax image”, and the “third area of the parallax image”, or may be a different area. Good.
In addition, the above-described “first region of the parallax image”, “second region of the parallax image”, and “third region of the parallax image” are the central regions excluding the end region from the entire region. It is not limited and may be the whole area.
上記実施形態１は、原画像のうち少なくとも２つの原画像の所定領域において、原画像で同じ座標の画素の画素値（輝度値）の差を計算する画素値差計算部と、画素値差計算部で求められた前記画素値の差の、合計、平均、最大値、最小値および標準偏差の内から選択される１つまたは１つ以上の指標を計算する指標計算部をさらに有し、異常判断部が、前記指標が所定範囲内にない場合（または上限閾値を超える場合）に、前記２つの原画像の内少なくとも一方の原画像が異常であると判断する。この構成によれば、輝度値の差が大きいことを判定することで、原画像が異常であることを判断できる。ここで「原画像の所定領域」は、例えば、全画素領域、全画素領域で端領域を除く中心領域などが挙げられる。 In the first embodiment, a pixel value difference calculation unit that calculates a difference between pixel values (luminance values) of pixels having the same coordinates in an original image in a predetermined area of at least two of the original images, Further comprising: an index calculator for calculating one or more indices selected from the sum, average, maximum value, minimum value and standard deviation of the difference between the pixel values obtained by the section, When the index is not within the predetermined range (or when the index exceeds the upper threshold), the determining unit determines that at least one of the two original images is abnormal. According to this configuration, it is possible to determine that the original image is abnormal by determining that the difference between the luminance values is large. Here, the “predetermined region of the original image” includes, for example, an entire pixel region, a central region excluding an end region in all the pixel regions, and the like.
上記実施形態１の車両１は、撮像部の撮像方向前方にフロントウインドを設けた構成であったが、これに制限されず、例えば、撮像部が車両のフロント部に設けられていてもよい。 The vehicle 1 according to the first embodiment has a configuration in which the front window is provided in front of the imaging unit in the imaging direction. However, the configuration is not limited thereto. For example, the imaging unit may be provided at the front of the vehicle.
上記実施形態１において、距離算出部５３は、正常の視差画像と異常の視差画像のいずれにおいても、低信頼度の画素を除いた視差画像を用いて奥行距離を算出するものであったが、これに制限されず、以下の構成であってもよい。距離算出部は、異常が検出された視差画像以外の視差画像に基づいて奥行距離を算出してもよい。また、距離算出部は、異常が検出された視差画像を用いて奥行距離を算出する場合、低信頼度の画素を除いた視差画像を使用してもよい。 In the first embodiment, the distance calculation unit 53 calculates the depth distance using the parallax image excluding the pixels with low reliability in both the normal parallax image and the abnormal parallax image. The present invention is not limited to this, and may have the following configuration. The distance calculation unit may calculate the depth distance based on a parallax image other than the parallax image in which the abnormality has been detected. When calculating the depth distance using the parallax image in which the abnormality is detected, the distance calculation unit may use a parallax image excluding pixels with low reliability.
（実施形態２）
実施形態２に係る異常画像検出装置２は、画像処理システム５と別の装置として構成されている。図１５に示す異常画像検出装置２は、左原画像、右原画像および視差画像を外部装置から受信する通信部２１（取得部に相当する）と、通信部２１で受信した右原画像、左原画像および視差画像を保存する記憶部２２とをさらに有する構成である。通信部２１は、異常であると判断された原画像および視差画像に関する情報を上記外部装置または別の装置へ送信する機能を有する。通信部２１は、例えば原画像および視差画像の識別情報を上記外部装置または別の装置へ送信する。外部装置は、画像処理システム５であってもよく、異常画像検出装置２とネットワークを介して接続されるサーバまたは情報処理装置であってもよい。
(Embodiment 2)
The abnormal image detection device 2 according to the second embodiment is configured as a device different from the image processing system 5. The abnormal image detection device 2 illustrated in FIG. 15 includes a communication unit 21 (corresponding to an acquisition unit) that receives a left original image, a right original image, and a parallax image from an external device, a right original image received by the communication unit 21, The configuration further includes a storage unit 22 that stores the original image and the parallax image. The communication unit 21 has a function of transmitting information on the original image and the parallax image determined to be abnormal to the external device or another device. The communication unit 21 transmits, for example, identification information of the original image and the parallax image to the external device or another device. The external device may be the image processing system 5 or a server or an information processing device connected to the abnormal image detection device 2 via a network.
ゴミが付着した状態とそうでない状態における視差画像を用い、上記実施形態１における信頼度判定と、上記特許文献１における視差分布を用いた信頼度判定を行った。図１１（ａ）にゴミが付着していない左原画像、図１１（ｂ）に右原画像を示し、その視差画像を図１２に示す。ごみが付着した視差画像は図５である。図１３に、図１２の視差画像の視差分布を示し、図１４に、図５の視差画像の視差分布を示す。視差分布は、横軸が視差値で縦軸がその頻度を示す。 The reliability determination in the first embodiment and the reliability determination using the parallax distribution in Patent Literature 1 are performed using the parallax images in a state where dust is attached and a state where the dust is not. FIG. 11A shows a left original image to which no dust is attached, FIG. 11B shows a right original image, and a parallax image thereof is shown in FIG. FIG. 5 shows a parallax image to which dust is attached. FIG. 13 shows a parallax distribution of the parallax image of FIG. 12, and FIG. 14 shows a parallax distribution of the parallax image of FIG. In the parallax distribution, the horizontal axis indicates the parallax value, and the vertical axis indicates the frequency.
上記実施形態１では、ごみが付着した左原画像を異常であると判断できた。一方、上記特許文献１に係る視差分布を用いた判定では、ごみが付着した場合の視差分布が、ごみが付着していないときの視差分布に対して、ある視差の頻度が小さくなる程度であった。このため、特許文献１の判断方法では、異常画像であることを正確に判断することは困難であった。 In the first embodiment, the left original image to which dust is attached can be determined to be abnormal. On the other hand, in the determination using the parallax distribution according to Patent Literature 1, the parallax distribution when dust is attached is such that the frequency of a certain parallax is smaller than the parallax distribution when dust is not attached. Was. For this reason, it is difficult for the determination method of Patent Document 1 to accurately determine an abnormal image.
（別実施形態）
別実施形態の異常画像検出装置は、
複数の撮像部から得られた複数の原画像に基づいて作成された視差画像および当該原画像の内少なくとも１の原画像が異常であるかを検出する異常画像検出装置であって、前記視差画像の所定領域（画素）の視差値の標準偏差（分散）の指標を算出する指標算出部と、前記指標算出部で算出された指標が所定範囲内にない場合（または上限閾値を超える場合）に、前記視差画像が異常であると判断する異常判断部とを有する。この構成によれば、視差値のバラツキが大きいことを判定することで、原画像が異常であることを判断できる。また、異常画像検出装置は、上記実施形態１または２に係る異常画像検出装置２の構成要素およびその機能をさらに有していてもよい。
(Another embodiment)
An abnormal image detection device according to another embodiment includes:
An abnormal image detection device that detects whether a parallax image created based on a plurality of original images obtained from a plurality of imaging units and at least one of the original images is abnormal, the parallax image An index calculator for calculating an index of the standard deviation (dispersion) of the parallax values of the predetermined area (pixel), and when the index calculated by the index calculator is not within a predetermined range (or when the upper limit threshold is exceeded). And an abnormality determining unit that determines that the parallax image is abnormal. According to this configuration, it is possible to determine that the original image is abnormal by determining that the dispersion of the parallax values is large. Further, the abnormal image detection device may further have the components and functions of the abnormal image detection device 2 according to the first or second embodiment.
他の別実施形態の異常画像検出装置は、
複数の撮像部から得られた複数の原画像に基づいて作成された視差画像および当該原画像の内少なくとも１の原画像が異常であるかを検出する異常画像検出装置であって、
前記原画像のうち少なくとも２つの原画像の所定領域において、原画像で同じ座標の画素の画素値（輝度値）の差を計算する画素値差計算部と、前記画素値差計算部で求められた前記画素値の差の、合計、平均、最大値、最小値および標準偏差の内から選択される１つまたは１つ以上の指標を計算する指標計算部と、前記指標が所定範囲内にない場合（または上限閾値を超える場合）に、前記２つの原画像の内少なくとも一方の原画像が異常であると判断する異常判断部とを有する。この構成によれば、輝度値の差が大きいことを判定することで、原画像が異常であることを判断できる。また、異常画像検出装置は、上記実施形態１または２に係る異常画像検出装置２の構成要素およびその機能をさらに有していてもよい。
An abnormal image detection device according to another embodiment includes:
An abnormal image detection device that detects whether a parallax image created based on a plurality of original images obtained from a plurality of imaging units and at least one of the original images is abnormal,
A pixel value difference calculator for calculating a difference between pixel values (luminance values) of pixels having the same coordinates in the original image in a predetermined area of at least two of the original images; An index calculation unit that calculates one or more indices selected from the sum, average, maximum value, minimum value, and standard deviation of the pixel value differences, and the indices are not within a predetermined range. In the case (or when the value exceeds the upper threshold), the image processing apparatus further includes an abnormality determination unit that determines that at least one of the two original images is abnormal. According to this configuration, it is possible to determine that the original image is abnormal by determining that the difference between the luminance values is large. Further, the abnormal image detection device may further have the components and functions of the abnormal image detection device 2 according to the first or second embodiment.
なお、本願発明の「閾値」は、あらかじめ決められた固定値または固定値を環境状態または走行状態などに基づいて補正した補正値であってもよい。 Note that the “threshold” of the present invention may be a predetermined fixed value or a correction value obtained by correcting a fixed value based on an environmental state or a running state.
なお、本願発明の「所定範囲内」は、所定の値をＡとし、所定の値をＢとし、ＡがＢより小さい場合、以下の条件すべてを含む。Ａより大きいかつＢより小さい場合、Ａより大きいかつＢより小さいまたは同じ場合、Ａより大きいまたは同じかつＢより小さいまたは同じ場合、または、Ａより大きいまたは同じかつＢより小さい場合。 In the present invention, “within a predetermined range” includes a predetermined value A, a predetermined value B, and when A is smaller than B, all of the following conditions are included. If greater than A and less than B, greater than A and less than or equal to B, greater than or equal to A and less than or equal to B, or greater than A or greater than or equal to and less than B.
なお、本願発明に係る車両は、ゴルフカーに限定されない。車両は、車輪の数に限定されない。車両は、鞍乗型車両であってもよい。鞍乗型車両は、スクータ以外の形式の自動二輪車を含む。また、鞍乗型車両は、ＡＴＶ（Ａｌｌ Ｔｅｒｒａｉｎ Ｖｅｈｉｃｌｅ）等の自動二輪車以外の車両であってもよい。なお、鞍乗型車両とは、乗員が跨って乗車する車両を意味する。 The vehicle according to the present invention is not limited to a golf car. The vehicle is not limited to the number of wheels. The vehicle may be a straddle-type vehicle. Saddle-type vehicles include motorcycles other than scooters. Further, the straddle-type vehicle may be a vehicle other than a motorcycle such as an ATV (All Terrain Vehicle). Note that a saddle-ride type vehicle means a vehicle on which a passenger rides.
１ 車両
２ 異常画像検出装置
２１ 通信部
２２ 記憶部
２４ 信頼度判定部
２４１ エッジ強度判定部
２４２ 視差値判定部
２４３ 視差値差判定部
２５ 算出部
２６ 異常判断部
５ 画像処理システム
５１ 撮像部
５２ 視差画像作成部
５３ 距離算出部
５４ 出力部
Reference Signs List 1 vehicle 2 abnormal image detection device 21 communication unit 22 storage unit 24 reliability determination unit 241 edge strength determination unit 242 parallax value determination unit 243 parallax value difference determination unit 25 calculation unit 26 abnormality determination unit 5 image processing system 51 imaging unit 52 parallax Image creation unit 53 Distance calculation unit 54 Output unit
Claims (8)
前記視差画像の画素が低信頼度であるか否かを判定する信頼度判定部と、
前記信頼度判定部によって判定された低信頼度の画素の総数を算出する算出部と、
前記算出部で算出された低信頼度の画素の総数が、所定値を超えた場合に、前記視差画像が異常であると判断し、および前記複数の原画像の内少なくともいずれか１の原画像が異常であると判断する異常判断部と、を有し、
前記信頼度判定部は、
前記原画像の各画素のエッジ強度が少なくとも閾値よりも小さいまたは同じである場合に、当該画素に基づいて作成される視差画像中の画素を低信頼度の画素であると判定するエッジ強度判定部を有する、異常画像検出装置。 An abnormal image detection device that is obtained from a plurality of imaging units and detects that at least one of the plurality of original images used for creating a parallax image is abnormal,
A reliability determination unit that determines whether the pixel of the parallax image has low reliability,
A calculating unit that calculates the total number of low-reliability pixels determined by the reliability determination unit,
When the total number of low-reliability pixels calculated by the calculation unit exceeds a predetermined value, it is determined that the parallax image is abnormal , and at least one of the plurality of original images is an original image. And an abnormality determining unit that determines that is abnormal.
The reliability determination unit,
When the edge strength of each pixel of the original image is at least smaller than or equal to a threshold value, an edge strength determination unit that determines that a pixel in a parallax image created based on the pixel is a low-reliability pixel An abnormal image detection device comprising:
前記視差画像の各画素の視差値が所定範囲内でない場合に、当該画素が低信頼度であると判定する視差値判定部を有する、請求項１に記載の異常画像検出装置。 The reliability determination unit,
The abnormal image detection device according to claim 1, further comprising a parallax value determination unit that determines that the pixel has low reliability when a parallax value of each pixel of the parallax image is not within a predetermined range.
前記信頼度判定部は、前記第１視差画像（Ａｂ）の第１画素（ｐＡ）の第１視差値（ｄ１）と、当該第１画素（ｐＡ）に対応する前記第２視差画像（Ｂａ）の第２画素（ｐＢ）の第２視差値（ｄ２）との差（ｄ１−ｄ２）が所定範囲内にない場合に、当該第１画素（ｐＡ）が低信頼度であると判定する視差値差判定部を有する、請求項１または２に記載の異常画像検出装置。 The parallax image is a first parallax image (Ab) created based on a first original image (A) and a second parallax image created based on a second original image (B) among the plurality of original images. Including at least a parallax image (Ba),
The reliability determination unit determines a first parallax value (d1) of a first pixel (pA) of the first parallax image (Ab) and the second parallax image (Ba) corresponding to the first pixel (pA). When the difference (d1-d2) between the second pixel (pB) and the second parallax value (d2) is not within the predetermined range, the parallax value for determining that the first pixel (pA) has low reliability The abnormal image detection device according to claim 1, further comprising a difference determination unit.
請求項１〜３のいずれか１項に記載の異常画像検出装置と、
前記異常画像検出装置が原画像の異常を検出した場合に、異常情報を出力する出力部と、備える画像処理システム。 A plurality of imaging units, a parallax image creating unit that creates a parallax image based on the plurality of original images obtained from the imaging unit, and a depth distance calculated based on the parallax images created by the parallax image creating unit An image processing system having a distance calculation unit,
An abnormal image detection device according to any one of claims 1 to 3,
An image processing system comprising: an output unit that outputs abnormality information when the abnormal image detection device detects an abnormality in an original image.
撮像部の撮像方向前方にフロントウインドを備え、
前記フロントウインドにワイパーを具備していない、請求項７に記載の車両。 The vehicle is
A front window is provided in front of the imaging unit in the imaging direction,
The vehicle according to claim 7, wherein the front window does not include a wiper.
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160089281A KR101832189B1 (en) | 2015-07-29 | 2016-07-14 | Abnormal image detecting apparatus, image processing system with abnormal image detecting apparatus and vehicle mounted with image processing system |
| EP16181285.4A EP3125197A1 (en) | 2015-07-29 | 2016-07-26 | Abnormal image detection device, image processing system having an abnormal image detection device, and vehicle including an image processing system |
| TW105123796A TWI613905B (en) | 2015-07-29 | 2016-07-27 | Anomaly image detecting device, image processing system including abnormal image detecting device, and vehicle equipped with image processing system |
| US15/221,591 US10043262B2 (en) | 2015-07-29 | 2016-07-27 | Abnormal image detection device, image processing system having abnormal image detection device, and vehicle incorporating image processing system |
| CN201610615709.1A CN106412551B (en) | 2015-07-29 | 2016-07-28 | Abnormal image detection device, image processing system and vehicle |
| CN201910905232.4A CN110458155B (en) | 2015-07-29 | 2016-07-28 | Abnormal image detection device, image processing system, and vehicle |
| KR1020170172378A KR101839813B1 (en) | 2015-07-29 | 2017-12-14 | Abnormal image detecting apparatus, image processing system with abnormal image detecting apparatus and vehicle mounted with image processing system |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015149524 | 2015-07-29 | ||
| JP2015149524 | 2015-07-29 | ||
| JP2016043199 | 2016-03-07 | ||
| JP2016043199 | 2016-03-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017161491A JP2017161491A (en) | 2017-09-14 |
| JP6657034B2 true JP6657034B2 (en) | 2020-03-04 |
Family
ID=59856904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016127534A Active JP6657034B2 (en) | 2015-07-29 | 2016-06-28 | Abnormal image detection device, image processing system provided with abnormal image detection device, and vehicle equipped with image processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6657034B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7341652B2 (en) * | 2018-01-12 | 2023-09-11 | キヤノン株式会社 | Information processing device, information processing method, program, and system |
| CN111868784B (en) * | 2018-03-22 | 2023-09-01 | 日立安斯泰莫株式会社 | Vehicle-mounted stereo camera |
| JP2020106275A (en) * | 2018-12-26 | 2020-07-09 | Ｗｈｉｌｌ株式会社 | Stereo camera and electric mobility |
| US20200210788A1 (en) * | 2018-12-31 | 2020-07-02 | Robert Bosch Gmbh | Determining whether image data is within a predetermined range that image analysis software is configured to analyze |
| EP3923241B1 (en) * | 2020-06-09 | 2022-04-06 | Axis AB | Aligning digital images |
| JP7107401B1 (en) | 2021-02-22 | 2022-07-27 | 日本電気株式会社 | Object measuring device, object measuring method and computer program |
| CN115853762B (en) * | 2023-02-28 | 2023-05-02 | 海澜智云科技有限公司 | Air compressor machine running state image identification system |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07156755A (en) * | 1993-12-02 | 1995-06-20 | Koken Kk | Wiperless method and device for removing rain drop from automobile |
| JP3235831B2 (en) * | 1999-07-30 | 2001-12-04 | 富士重工業株式会社 | Stereo exterior monitoring device |
| JP4937933B2 (en) * | 2008-01-18 | 2012-05-23 | 富士重工業株式会社 | Outside monitoring device |
| WO2011013079A1 (en) * | 2009-07-30 | 2011-02-03 | Primesense Ltd. | Depth mapping based on pattern matching and stereoscopic information |
| JP2014006243A (en) * | 2012-05-28 | 2014-01-16 | Ricoh Co Ltd | Abnormality diagnostic device, abnormality diagnostic method, imaging apparatus, moving body control system and moving body |
| JP6121776B2 (en) * | 2013-03-29 | 2017-04-26 | ソニー株式会社 | Image processing apparatus and image processing method |
| CN104574342B (en) * | 2013-10-14 | 2017-06-23 | 株式会社理光 | The noise recognizing method and Noise Identification device of parallax depth image |
-
2016
- 2016-06-28 JP JP2016127534A patent/JP6657034B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017161491A (en) | 2017-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101832189B1 (en) | Abnormal image detecting apparatus, image processing system with abnormal image detecting apparatus and vehicle mounted with image processing system | |
| JP6657034B2 (en) | Abnormal image detection device, image processing system provided with abnormal image detection device, and vehicle equipped with image processing system | |
| KR101839813B1 (en) | Abnormal image detecting apparatus, image processing system with abnormal image detecting apparatus and vehicle mounted with image processing system | |
| US8244027B2 (en) | Vehicle environment recognition system | |
| KR101579098B1 (en) | Stereo camera, driver assistance apparatus and Vehicle including the same | |
| EP2919197B1 (en) | Object detection device and object detection method | |
| JP5421072B2 (en) | Approaching object detection system | |
| CN103530868B (en) | Use the wide baseline binocular object matches method of least cost flow network | |
| KR101611261B1 (en) | Stereo camera, driver assistance apparatus and Vehicle including the same | |
| TWI530409B (en) | Automatic tracking collision avoidance system and method thereof | |
| CN104854637A (en) | Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method | |
| CN107644538B (en) | Traffic signal lamp identification method and device | |
| JP4980939B2 (en) | Image pickup means adjustment device and object detection device | |
| KR20170111504A (en) | Method and Apparatus for Assessing an Image Match of an Around View Image for an Around View Monitor System | |
| JP2020060550A (en) | Abnormality detector, method for detecting abnormality, posture estimating device, and mobile control system | |
| US9955136B2 (en) | Distance measuring device and vehicle provided therewith | |
| KR101519261B1 (en) | Monitoring method and automatic braking apparatus | |
| JP2011215769A (en) | Lane position detection apparatus and lane position detection method | |
| KR20130070210A (en) | Method for removing noise of image | |
| JP6204844B2 (en) | Vehicle stereo camera system | |
| JP2008042759A (en) | Image processing apparatus | |
| JP2009278428A (en) | Vehicle periphery monitoring device | |
| CN113170057B (en) | Imaging unit control device | |
| JP2021077061A (en) | Obstacle detection device and obstacle detection method | |
| KR20180110534A (en) | Apparatus and method for around view monitoring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200205 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6657034 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |