JPH09113221A - On-vehicle device and method for processing picture - Google Patents

On-vehicle device and method for processing picture

Info

Publication number
JPH09113221A
JPH09113221A JP26850895A JP26850895A JPH09113221A JP H09113221 A JPH09113221 A JP H09113221A JP 26850895 A JP26850895 A JP 26850895A JP 26850895 A JP26850895 A JP 26850895A JP H09113221 A JPH09113221 A JP H09113221A
Authority
JP
Japan
Prior art keywords
image
abnormality
edge
vehicle
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP26850895A
Other languages
Japanese (ja)
Inventor
Sanae Yabe
早苗 矢部
Tatsuharu Irie
太津治 入江
Kazumichi Tsutsumi
和道 堤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP26850895A priority Critical patent/JPH09113221A/en
Publication of JPH09113221A publication Critical patent/JPH09113221A/en
Pending legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

PROBLEM TO BE SOLVED: To prevent the erroneous recognition of the traveling environment of a vehicle and, at the same time, to quickly detect the abnormality of an image and discriminate the kinds of the abnormality by computing the traveling environment by detecting the edges of a picked-up image and, when the abnormality of the image is detected by comparing the amount of the edges with a reference value, inhibiting the computation of the traveling environment. SOLUTION: Image information picked up with a CCD camera 1 is stored in an image memory 3 after A/D conversion 2 and the stored information is processed by means of a CPU 4. The CPU 4 is incorporated with a means 7 for detecting abnormality of image pickup circuit, a means 8 for inhibiting computation of traveling environment, and a means 9 for inhibiting detection of abnormality in addition to a means 5 for detecting position of preceding vehicle and a mean 6 for detecting position of white line which work as traveling environment computing means. The means 5 and 6 compute the traveling environment of their own vehicle by detecting the edges of the image picked up with the camera 1. The means 7 detects the abnormality of an image by comparing the amount of the detected edges with a reference value and, when the means 7 detects the abnormality of the image, the inhibiting means 8 inhibits the computing processes of the means 5 and 6.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】この発明は、車両周辺を撮像
して得た画像に基づいて走行環境を演算する車載用画像
処理装置と、その画像処理方法に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle-mounted image processing apparatus for calculating a traveling environment based on an image obtained by picking up an image around a vehicle, and an image processing method thereof.

【0002】[0002]

【従来の技術】従来、CCDカメラ等によって得た車両
周囲の画像に画像処理を施し、走行環境を演算するもの
がある。走行環境とは、道路上の白線の位置、自車両の
前方を走行する車両の有無、あるいはその位置などであ
る。このような装置の例に、特開平3−273498号
公報に示されるものがある。該公報に示された装置は、
画像入力部から入力された車両周辺画像に基づき白線位
置を認識する。白線位置の認識は、車両周辺画像からエ
ッジ画像を検出し、二値化することにより行われてい
る。
2. Description of the Related Art Conventionally, there is a method in which an image of a vehicle surroundings obtained by a CCD camera or the like is subjected to image processing to calculate a traveling environment. The traveling environment is the position of the white line on the road, the presence or absence of a vehicle traveling in front of the host vehicle, or the position thereof. An example of such an apparatus is disclosed in Japanese Patent Laid-Open No. 3-273498. The device shown in the publication is
The white line position is recognized based on the vehicle peripheral image input from the image input unit. The white line position is recognized by detecting an edge image from the vehicle peripheral image and binarizing it.

【0003】[0003]

【発明が解決しようとする課題】従来装置はCCDカメ
ラで得た画像を処理して走行環境を演算するだけであっ
たので、仮にCCDカメラ等の撮像部に異常があっても
検出することができなかった。よって、不適当な画像を
用いて画像処理を行い、走行環境を誤認識する恐れがあ
った。
Since the conventional apparatus only processes the image obtained by the CCD camera to calculate the traveling environment, it is possible to detect even if there is an abnormality in the image pickup unit such as the CCD camera. could not. Therefore, image processing may be performed using an inappropriate image, and the running environment may be erroneously recognized.

【0004】この発明は上述の課題を解決するために為
されたものであって、画像の異常を検出し、画像が異常
であるときは走行環境の演算を禁止して走行環境の誤認
識を防止できる従来は無かった車載用画像処理装置を提
供することを目的としている。
The present invention has been made in order to solve the above-mentioned problems, and detects an abnormality in an image, and when the image is abnormal, prohibits the calculation of the traveling environment to prevent erroneous recognition of the traveling environment. It is an object of the present invention to provide an in-vehicle image processing device which has been impossible in the past.

【0005】また、この発明は、画像の異常を検出する
処理が行われる頻度を大きくして画像の異常を速やかに
検出する車載用画像処理装置を提供することを目的とし
ている。
Another object of the present invention is to provide a vehicle-mounted image processing apparatus which detects an image abnormality by increasing the frequency with which an image abnormality detection process is performed.

【0006】また、この発明は、画像の異常の種類を判
別できる車載用画像処理装置を提供することを目的とし
ている。
Another object of the present invention is to provide an in-vehicle image processing apparatus capable of discriminating the type of image abnormality.

【0007】また、この発明は、画像の異常を検出でき
る車載用画像処理装置において、処理の高速化を図るこ
とを目的としている。
Another object of the present invention is to speed up the processing in a vehicle-mounted image processing apparatus capable of detecting an abnormal image.

【0008】また、この発明は、画像の異常を誤検出す
る恐れがある際には異常を検出する処理を禁止する信頼
性の高い車載用画像処理装置を提供することを目的とし
ている。
Another object of the present invention is to provide a highly reliable on-vehicle image processing apparatus which prohibits the processing for detecting an abnormality when there is a risk of erroneously detecting an abnormality in an image.

【0009】また、この発明は、画像の異常を検出し、
画像が異常であるときは走行環境の演算を禁止して走行
環境の誤認識を防止できる従来は無かった画像処理方法
を提供することを目的としている。
Further, the present invention detects an abnormality in an image,
It is an object of the present invention to provide an image processing method that has never existed in the past, in which calculation of a traveling environment is prohibited when an image is abnormal and erroneous recognition of the traveling environment can be prevented.

【0010】[0010]

【課題を解決するための手段】この発明に係る車載用画
像処理装置は、車両周辺を撮像する撮像手段と、この撮
像手段で撮像された画像のエッジを検出するエッジ検出
手段と、画像のエッジに基づき走行環境を演算する走行
環境演算手段と、エッジ検出手段で検出されたエッジの
量を演算するエッジ量演算手段と、エッジの量と基準値
とを比較することにより画像の異常を検出する画像異常
検出手段と、この画像異常検出手段が画像の異常を検出
したとき走行環境演算手段の演算を禁止する禁止手段と
を備えたものである。
An on-vehicle image processing apparatus according to the present invention includes an image pickup means for picking up an image of the periphery of a vehicle, an edge detecting means for detecting an edge of an image picked up by the image pickup means, and an edge of the image. An image abnormality is detected by comparing the amount of edges and a reference value with the amount of edges detected by the edge detection means, and the amount of edges detected by the edge detection means. The image abnormality detecting means and the prohibiting means for prohibiting the calculation of the traveling environment calculating means when the image abnormality detecting means detects the abnormality of the image are provided.

【0011】また、この発明に係る車載用画像処理装置
は、走行環境の演算と画像の異常検出演算とを所定期間
毎に交互に行うものである。
In addition, the vehicle-mounted image processing apparatus according to the present invention alternately performs the driving environment calculation and the image abnormality detection calculation every predetermined period.

【0012】また、この発明に係る車載用画像処理装置
は、基準値は、画像のコントラストが所定以下であるか
否かを判定するための第1の閾値と、画像に所定以上の
エッジが発生したか否かを判定するための第2の閾値
と、前回に演算した画像のエッジの量とを有し、画像異
常検出手段は、今回演算した画像のエッジの量と3種類
の基準値とを比較して画像の異常を検出すると共にこの
画像の異常の種類に応じて3種類の異なる異常検出信号
を出力するものである。
Further, in the vehicle-mounted image processing apparatus according to the present invention, the reference value is the first threshold value for determining whether the contrast of the image is less than or equal to a predetermined value, and an edge of a predetermined value or more is generated in the image. The image abnormality detecting unit has a second threshold value for determining whether or not the image has been calculated, and an edge amount of the image calculated last time, and the image abnormality detecting unit uses the edge amount of the image calculated this time and three types of reference values. Are detected to detect an abnormality in the image, and three different abnormality detection signals are output according to the type of the abnormality in the image.

【0013】また、この発明に係る車載用画像処理装置
は、エッジ量演算手段は、画像にウインドウを設定し該
ウインドウ内のエッジの量を演算するものである。
In the vehicle-mounted image processing apparatus according to the present invention, the edge amount calculation means sets a window in the image and calculates the amount of edges in the window.

【0014】また、この発明に係る車載用画像処理装置
は、画像が不安定な状態にあると推定する推定手段と、
画像が不安定な状態にあると推定手段が推定したとき画
像の異常検出を禁止する異常検出禁止手段とを備えたも
のである。
Further, the vehicle-mounted image processing apparatus according to the present invention comprises an estimating means for estimating that the image is in an unstable state,
An abnormality detection prohibition unit that prohibits the abnormality detection of the image when the estimation unit estimates that the image is in an unstable state is provided.

【0015】また、この発明に係る画像処理方法は、車
両周辺を撮像するステップと、このステップで撮像され
た画像のエッジを検出するステップと、画像のエッジに
基づき走行環境を演算するステップと、画像のエッジの
量を演算するステップと、エッジの量と基準値とを比較
することにより画像の異常を検出するステップと、この
ステップで画像の異常が検出されたとき走行環境を演算
するステップを禁止するステップとからなるものであ
る。
Further, the image processing method according to the present invention comprises the steps of capturing an image of the periphery of the vehicle, detecting the edges of the image captured in this step, and calculating the traveling environment based on the edges of the image. A step of calculating the amount of edges of the image, a step of detecting an abnormality of the image by comparing the amount of edges with a reference value, and a step of calculating the traveling environment when the abnormality of the image is detected in this step. It consists of prohibiting steps.

【0016】[0016]

【発明の実施の形態】BEST MODE FOR CARRYING OUT THE INVENTION

実施の形態1.図1は、発明の実施の形態1としての車
載用画像処理装置の構成を簡略化して示したブロック図
である。図において、1は車両周辺を撮像する撮像手段
としてのCCDカメラで、自車両の前方の様子を撮像し
ている。2はCCDカメラ1で撮像した画像の画像情報
である画像信号をディジタル信号に変換するA/D(ア
ナログ/ディジタル)変換器、3はA/D変換器2から
のディジタル信号を格納する画像メモリ、4は画像メモ
リ3に格納された画像情報を用いて種々の処理を行うC
PUである。5は自車両の前方を走行する先行車両の位
置を検出する先行車位置検出手段、6は道路上に描かれ
た白線の位置を検出する白線位置検出手段で、先行車位
置検出手段5及び白線位置検出手段6は走行環境を演算
する走行環境演算手段の例である。7はCCDカメラ1
で撮像された画像の異常を検出する画像異常検出手段と
しての撮像回路異常検出手段で、画像が異常であること
を検出することによりCCDカメラ1、A/D変換器2
あるいは画像メモリ3などの異常を検出する。8は撮像
回路異常検出手段7が画像の異常を検出したとき、先行
車位置検出手段5及び白線位置検出手段6などの走行環
境の演算処理を禁止する禁止手段としての走行環境演算
禁止手段、9は画像が不安定な状態にあると推定される
とき撮像回路異常検出手段7の異常検出処理を禁止する
異常検出禁止手段である。なお、先行車位置検出手段5
乃至異常検出禁止手段9は、CPU4に包含されてい
る。
Embodiment 1 FIG. 1 is a block diagram showing a simplified configuration of an in-vehicle image processing device according to a first embodiment of the invention. In the figure, reference numeral 1 denotes a CCD camera as an image pickup means for picking up an image of the surroundings of a vehicle, which picks up an image of the front of the vehicle. Reference numeral 2 is an A / D (analog / digital) converter for converting an image signal, which is image information of an image captured by the CCD camera 1, into a digital signal, and 3 is an image memory for storing the digital signal from the A / D converter 2. Reference numeral 4 denotes C which performs various processing using the image information stored in the image memory 3.
PU. Reference numeral 5 is a preceding vehicle position detecting means for detecting the position of a preceding vehicle traveling in front of the own vehicle, and 6 is white line position detecting means for detecting the position of a white line drawn on the road. The preceding vehicle position detecting means 5 and the white line are shown. The position detecting means 6 is an example of a traveling environment calculating means for calculating a traveling environment. 7 is a CCD camera 1
The CCD camera 1 and the A / D converter 2 are detected by detecting that the image is abnormal by the imaging circuit abnormality detecting means as the image abnormality detecting means for detecting the abnormality of the image captured in
Alternatively, the abnormality of the image memory 3 or the like is detected. Reference numeral 8 denotes a traveling environment calculation prohibiting means as a prohibiting means for prohibiting the arithmetic processing of the traveling environment such as the preceding vehicle position detecting means 5 and the white line position detecting means 6 when the imaging circuit abnormality detecting means 7 detects an abnormality in the image. Is an abnormality detection prohibition means for prohibiting the abnormality detection processing of the imaging circuit abnormality detection means 7 when the image is estimated to be in an unstable state. The preceding vehicle position detecting means 5
The abnormality detection prohibiting means 9 is included in the CPU 4.

【0017】図2は、発明の実施の形態1の処理手順を
示すフローチャートであって、この演算はCPU4で行
われる。図2のフローチャートは、メインルーチンであ
る。CPU4で行われる演算には大きく分けて2つのモ
ードがある。一方のモードは、CCDカメラ1で撮像し
た画像の情報に基づいて白線位置検出処理や先行車検出
処理などの走行環境を演算する通常処理モードである。
他方のモードは、CCDカメラ1で撮像した画像に異常
がないか否かを検出処理する画像の異常検出処理として
の故障診断モードである。通常処理モードは、後述のス
テップ102乃至104で構成されており、故障診断モ
ードは後述のステップ105乃至108で構成されてい
る。
FIG. 2 is a flowchart showing a processing procedure according to the first embodiment of the invention, and this calculation is performed by the CPU 4. The flowchart of FIG. 2 is the main routine. The calculation performed by the CPU 4 is roughly divided into two modes. One mode is a normal processing mode in which the running environment such as white line position detection processing and preceding vehicle detection processing is calculated based on the information of the image captured by the CCD camera 1.
The other mode is a failure diagnosis mode as image abnormality detection processing for detecting whether or not there is abnormality in the image captured by the CCD camera 1. The normal processing mode is composed of steps 102 to 104 described later, and the failure diagnosis mode is composed of steps 105 to 108 described later.

【0018】図2の処理手順について説明する。ステッ
プ101は、通常処理モードと故障診断モードのうち何
れのモードを選択するか決定する。2つのモードは、所
定期間毎に交互に選択される。所定期間の設定は、CP
U4内のカウンタを用いて所定時間毎にしても良いし、
走行距離計を用いて所定距離毎にする、あるいは内燃機
関の点火回数を計数し所定点火回数毎にしてもよくその
設定は自由である。通常処理モードが選択されるとステ
ップ102の処理に進む。ステップ102では、後述す
る白線位置検出処理が行われ、道路上に描かれた白線の
位置が検出される。ステップ103では、後述する先行
車検出処理が行われ、自車両の前方を走行する先行車両
の有無及びその位置が検出される。ステップ104はエ
ラー判定処理である。このステップでは、白線位置検出
処理及び先行車検出処理において白線位置と先行車両が
共に所定時間以上検出されない場合は画像の異常が考え
られるので、その場合にはステップ105に進み故障診
断モードを実行する。白線位置あるいは先行車両を検出
した場合は問題ないと判定してステップ101に戻る。
The processing procedure of FIG. 2 will be described. Step 101 determines which of the normal processing mode and the failure diagnosis mode is selected. The two modes are alternately selected every predetermined period. Set the predetermined period by CP
A counter in U4 may be used for every predetermined time,
The odometer may be used for each predetermined distance, or the number of ignitions of the internal combustion engine may be counted and set for each predetermined number of ignitions. When the normal processing mode is selected, the process proceeds to step 102. In step 102, a white line position detection process described below is performed to detect the position of the white line drawn on the road. In step 103, a preceding vehicle detection process, which will be described later, is performed to detect the presence / absence of a preceding vehicle traveling ahead of the host vehicle and its position. Step 104 is an error determination process. In this step, if neither the white line position nor the preceding vehicle is detected for a predetermined time or longer in the white line position detection processing and the preceding vehicle detection processing, it is considered that the image is abnormal. In that case, the process proceeds to step 105 and the failure diagnosis mode is executed. . If the white line position or the preceding vehicle is detected, it is determined that there is no problem and the process returns to step 101.

【0019】ステップ105以下の処理は故障診断モー
ドの処理である。この故障診断モードの処理は、ステッ
プ101において故障診断モードが選択された場合、あ
るいはステップ104において画像異常の可能性がある
と判定された場合に行われる。ステップ105では、C
CDカメラ1が正常に作動できる環境であるか否かを判
定する。まず、装置起動直後は電源系が不安定であるな
どの理由からCCDカメラ1が正常に作動しないことが
あると考えられるので、装置を起動してから所定時間経
過していることを確認する。また、一般にデフォガ・ス
イッチがONのときは窓の曇りや霜を取っている状態で
あると考えられる。このような状態では、CCDカメラ
1は車両前方の様子を正確に捉えることができない。よ
って、デフォガ・スイッチがOFFであることを確認す
る。また、この装置は、道路走行時に動作することを前
提としている。道路走行以外の状況、例えば車庫への出
入りなどの状況では正常に動作しない。そこで、車速セ
ンサなどにより車両が40Km/h以上の車速で走行し
ていることを確認する。一般に40Km/h以上の車速
で走行していれば、道路走行中であると推測される。以
上の条件を全て満たしていれば、CCDカメラ1が車両
前方の様子を正確に捉えることができる状態であると推
定し、後段のステップ106に進む。また、上記条件を
一つでも満足しない場合は、CCDカメラ1が車両前方
の様子を正確に捉えることができない状態、即ち画像が
不安定な状態にあると推定し、故障診断を行わずステッ
プ101に戻る。ここで、ステップ105は、画像が不
安定な状態にあると推定する推定手段と、画像が不安定
な状態にあると推定されたとき画像の異常検出を禁止す
る異常検出禁止手段とを構成している。
The processing from step 105 onward is the processing in the failure diagnosis mode. This failure diagnosis mode processing is performed when the failure diagnosis mode is selected in step 101 or when it is determined in step 104 that there is a possibility of image abnormality. In step 105, C
It is determined whether or not the environment is one in which the CD camera 1 can operate normally. First, it is conceivable that the CCD camera 1 may not operate normally immediately after the device is started because the power supply system is unstable. Therefore, it is confirmed that a predetermined time has passed since the device was started. Further, it is generally considered that the window is fogged or frosted when the defogger switch is ON. In such a state, the CCD camera 1 cannot accurately capture the situation in front of the vehicle. Therefore, make sure that the defogger switch is off. In addition, this device is premised to operate when traveling on a road. It does not operate normally in situations other than driving on the road, such as when entering or leaving a garage. Therefore, it is confirmed by a vehicle speed sensor that the vehicle is traveling at a vehicle speed of 40 km / h or more. Generally, if the vehicle is traveling at a vehicle speed of 40 km / h or more, it is presumed that the vehicle is traveling on the road. If all of the above conditions are satisfied, it is estimated that the CCD camera 1 is in a state in which it is possible to accurately capture the situation in front of the vehicle, and the process proceeds to step 106 in the subsequent stage. If any of the above conditions is not satisfied, it is estimated that the CCD camera 1 cannot accurately capture the situation in front of the vehicle, that is, the image is in an unstable state, and the failure diagnosis is not performed in step 101. Return to. Here, step 105 comprises estimating means for estimating that the image is in an unstable state and abnormality detection inhibiting means for inhibiting the abnormality detection of the image when the image is estimated to be in the unstable state. ing.

【0020】ステップ106は画像異常検出手段であっ
て、CCDカメラ1で撮像した画像に異常があるか否か
を診断する撮像回路異常検出処理が行われる。この処理
の詳細は、追って説明する。ステップ106の撮像回路
異常検出処理が終われば、ステップ107に進む。ステ
ップ107では撮像回路異常検出処理において画像の異
常が検出されなかった場合は処理をステップ101に戻
す。また、撮像回路異常検出処理において画像の異常が
検出された場合には処理をステップ108のフェールセ
ーフ処理に進める。ステップ107は画像の異常を検出
したとき走行環境の演算を禁止する禁止手段を構成して
いる。ステップ108はフェールセーフ処理を行うステ
ップで、画像に異常が生じたことを運転者に報知する、
後の修理を速やかに行うためにどのような異常が画像に
生じたのかを記憶しておくなどの処理が行われる。な
お、運転者への報知は、計器パネル上にランプを点灯さ
せる視覚的なもの、あるいは音声で報知する聴覚的なも
のなどにより行われる。
In step 106, the image abnormality detecting means carries out an image pickup circuit abnormality detecting process for diagnosing whether or not there is an abnormality in the image picked up by the CCD camera 1. Details of this processing will be described later. When the image pickup circuit abnormality detection processing in step 106 is completed, the process proceeds to step 107. When no image abnormality is detected in the image pickup circuit abnormality detection processing in step 107, the processing is returned to step 101. If an image abnormality is detected in the imaging circuit abnormality detection process, the process proceeds to the fail-safe process of step 108. Step 107 constitutes a prohibition means for prohibiting the calculation of the traveling environment when the abnormality of the image is detected. Step 108 is a step for performing fail-safe processing, and notifies the driver that an abnormality has occurred in the image,
In order to promptly perform the subsequent repair, processing such as storing what kind of abnormality has occurred in the image is performed. It should be noted that the driver is notified by visual means such as turning on a lamp on the instrument panel, or audibly indicating by voice.

【0021】次に、各々のサブルーチンについて説明す
る。最初に、ステップ102の白線位置検出処理につい
て説明する。図3は、白線位置検出処理の手順を示すフ
ローチャートである。図4は白線位置検出処理の様子を
説明する説明図で、(a)はCCDカメラ1で撮像され
た画像50の例、(b)乃至(e)は横軸に画像50の
横位置を表し縦軸に輝度値を表したグラフで、図3の処
理を説明する説明図である。図において、52は道路上
に描かれた文字、53は白線、54、55は閾値、56
は白線を示す信号である。ステップ111では走査線5
1上に存在するエッジを検出するエッジ検出処理を行
う。エッジの検出は、走査線51上で隣接する画素の輝
度値の差の絶対値で求められる。ここで、図4(b)
は、図示の走査線51上の画素の輝度値を示したもので
ある。この図4(b)に上述のエッジ検出処理を施す
と、図4(c)が得られる。即ち、エッジは、図4
(c)に示す如く、走査線51上において、輝度値が大
きく変化する位置で検出される。ステップ111はエッ
ジ検出手段を構成している。ステップ112は二値化処
理で、あるレベル以上のエッジのみを検出するためのも
のである。具体的には、図4(c)に示す如く、エッジ
検出処理した信号と所定の閾値54とを比較して閾値5
4以上のレベルのエッジのみを抽出する。これにより、
図4(d)に示す二値化情報が得られる。
Next, each subroutine will be described. First, the white line position detection processing in step 102 will be described. FIG. 3 is a flowchart showing the procedure of white line position detection processing. 4A and 4B are explanatory diagrams for explaining the state of the white line position detection processing. FIG. 4A shows an example of the image 50 captured by the CCD camera 1, and FIGS. 4B to 4E show the horizontal position of the image 50 on the horizontal axis. FIG. 4 is a graph showing the brightness value on the vertical axis, and is an explanatory diagram for explaining the process of FIG. 3. In the figure, 52 is a character drawn on the road, 53 is a white line, 54 and 55 are thresholds, 56
Is a signal indicating a white line. Scan line 5 in step 111
The edge detection process for detecting the edges existing on the upper part 1 is performed. The edge is detected by the absolute value of the difference between the brightness values of the adjacent pixels on the scanning line 51. Here, FIG. 4 (b)
Shows the luminance value of the pixel on the illustrated scanning line 51. When the above-mentioned edge detection processing is applied to this FIG. 4B, FIG. 4C is obtained. That is, the edge is shown in FIG.
As shown in (c), it is detected on the scanning line 51 at a position where the luminance value greatly changes. Step 111 constitutes edge detection means. Step 112 is a binarization process for detecting only edges of a certain level or higher. Specifically, as shown in FIG. 4C, the signal subjected to the edge detection processing is compared with a predetermined threshold value 54, and the threshold value 5 is set.
Only edges of level 4 and above are extracted. This allows
The binarized information shown in FIG. 4D is obtained.

【0022】ステップ113では時間積分処理が行われ
る。この時間積分処理は、道路上に描かれた文字52な
どを除去するために行われるものである。図4(d)の
二値化情報を時間積分すると、白線53のように時間的
に安定して同じ位置に現れる白線では大きな値が得られ
るが、文字52のように時間的に不安定に現れるもの、
即ち、たまに現れるものは平滑化され小さな値となる。
時間積分処理は、ある時点における任意の画素の輝度値
をP(n)、同時刻における同じ画素の時間積分値をI
(n)、その前フレームの同じ画素の時間積分値をI
(n−1)、時定数をτとすると、次式で求められる。
At step 113, time integration processing is performed. This time integration process is performed to remove the characters 52 and the like drawn on the road. When the binarized information of FIG. 4D is time-integrated, a large value can be obtained with a white line that appears at the same position as a white line 53 that is stable in time, but is unstable in time like a character 52. What appears,
That is, what appears occasionally is smoothed to a small value.
In the time integration process, the brightness value of an arbitrary pixel at a certain time point is P (n), and the time integration value of the same pixel at the same time point is I (n).
(N), I is the time integration value of the same pixel in the previous frame
If (n-1) and the time constant are [tau], it is calculated by the following equation.

【0023】[0023]

【数1】 (Equation 1)

【0024】ここで、時定数τを大きく取ると長い時間
の積分となり、小さく取ると短い時間の積分となる。図
4(e)は、図4(d)に時間積分処理を施した結果で
ある。ここでは、白線53に対応する部分以外の値は小
さくなっている。ステップ114では、白線位置検出処
理が行われる。図4(e)において、55は白線である
か否かを判定するために設けられた閾値で、閾値55を
超える56が白線として検出される。ステップ115は
走査位置更新処理で、走査線51の走査位置を現在の位
置から画像の上方に更新する。ここで、画像の走査は、
画像下方から上方に向かって順次行われるものである。
ステップ116は、画像の全面を走査したか否かを判定
するものである。このステップでは、画像50の最も上
方の走査ラインまで処理を終えたか否かを判定し、未だ
終えていなければステップ111に戻って上述の処理を
繰り返すと共に、既に終えていれば処理を終了し、次段
の先行車検出処理であるステップ103に進み、白線位
置検出処理を終え、図2のメインルーチンに戻る。
Here, if the time constant τ is large, the integration is long, and if it is small, the integration is short. FIG. 4 (e) is the result of performing the time integration process on FIG. 4 (d). Here, the values other than the portion corresponding to the white line 53 are small. In step 114, white line position detection processing is performed. In FIG. 4 (e), 55 is a threshold value provided to determine whether or not the line is a white line, and 56 exceeding the threshold value 55 is detected as a white line. Step 115 is a scan position update process, which updates the scan position of the scan line 51 from the current position to above the image. Here, the scanning of the image is
This is sequentially performed from the bottom of the image to the top.
Step 116 is for determining whether or not the entire surface of the image has been scanned. In this step, it is determined whether or not the processing has been completed up to the uppermost scanning line of the image 50, and if not completed, the process returns to step 111 to repeat the above-described processing, and if already completed, the processing is terminated, The process proceeds to step 103, which is the preceding vehicle detection process of the next stage, ends the white line position detection process, and returns to the main routine of FIG.

【0025】次に、先行車検出処理について説明する。
図5は、先行車検出処理の手順を示すフローチャートで
ある。図6は先行車検出処理の様子を示す説明図で、
(a)はCCDカメラ1で撮像した画像50の例、
(b)乃至(e)は横軸に画像50の横位置を表し縦軸
に輝度値を表したグラフで、図5の処理を説明する説明
図である。図において、57は自車両の前方を走行する
先行車両、58、59は閾値、60は白線を示す信号、
61は先行車両を示す信号である。ステップ121のエ
ッジ検出処理、ステップ122の二値化処理、ステップ
123の時間積分処理は、前出の白線位置検出処理で説
明したものと同様である。
Next, the preceding vehicle detection processing will be described.
FIG. 5 is a flowchart showing the procedure of the preceding vehicle detection process. FIG. 6 is an explanatory diagram showing the state of the preceding vehicle detection process,
(A) is an example of an image 50 taken by the CCD camera 1,
(B) to (e) are graphs in which the horizontal axis represents the horizontal position of the image 50 and the vertical axis represents the brightness value, and are explanatory diagrams for explaining the processing of FIG. 5. In the figure, 57 is a preceding vehicle traveling in front of the host vehicle, 58 and 59 are threshold values, 60 is a signal indicating a white line,
Reference numeral 61 is a signal indicating the preceding vehicle. The edge detection process of step 121, the binarization process of step 122, and the time integration process of step 123 are the same as those described in the white line position detection process.

【0026】今、走査線51は図示する如く先行車両5
7上にある。図4(b)は、この走査線51上の画素の
輝度値を示したものである。ステップ121では走査線
51上で隣接する画素の輝度値の差の絶対値に基づきエ
ッジ検出処理を行い、図4(c)に示す信号を得る。ス
テップ122において、エッジ検出処理された信号は閾
値58と比較されることにより図4(d)に示す如く二
値化される。二値化された信号は、ステップ123で時
間積分処理が施され、図5(e)の信号となる。ステッ
プ124は先行車候補探索処理で、時間積分処理された
信号と閾値59とを比較して、閾値以上の部分を先行車
両の位置候補とする。この場合の候補は、60及び61
である。ステップ125は、先行車位置検出処理で、上
記候補の中から先行車両の位置を検出する。これは、自
動車は所定以上の幅を持っていることに着目して行うも
ので、予め所定の幅を設定しておき、候補のうち所定の
幅以上の幅を有しているものを先行車両として検出す
る。従って、61が先行車両の位置として検出される。
Now, the scanning line 51 is shown in FIG.
It is on 7. FIG. 4B shows the luminance value of the pixel on the scanning line 51. In step 121, edge detection processing is performed based on the absolute value of the difference between the brightness values of adjacent pixels on the scanning line 51, and the signal shown in FIG. 4C is obtained. In step 122, the signal subjected to the edge detection processing is compared with the threshold value 58 to be binarized as shown in FIG. The binarized signal is subjected to time integration processing in step 123 and becomes the signal of FIG. 5 (e). Step 124 is a preceding vehicle candidate search process, in which the signal subjected to the time integration process is compared with the threshold value 59, and a portion equal to or greater than the threshold value is set as a candidate position of the preceding vehicle. The candidates in this case are 60 and 61.
It is. Step 125 is the preceding vehicle position detection processing, which detects the position of the preceding vehicle from the above candidates. This is done by paying attention to the fact that an automobile has a predetermined width or more. A predetermined width is set in advance, and a candidate vehicle having a width equal to or larger than the predetermined width is a preceding vehicle. To detect as. Therefore, 61 is detected as the position of the preceding vehicle.

【0027】ステップ126は、走査位置更新処理であ
る。ステップ125で先行車両57を検出できた場合は
ステップ126では何も行わずステップ127に進み、
検出した先行車両57の位置情報を出力して処理を終
え、図2のメインルーチンに戻る。また、ステップ12
5で先行車両57が見つからなかった場合は、ステップ
126では走査線51の走査位置を現在よりも上方に変
更し、ステップ121乃至125の処理を繰り返す。そ
して、画像50の最も上方の走査ラインまで走査しても
先行車両57を検出できなかった場合には、先行車両5
7がいない状態であると判定し、ステップ127にて先
行車両無しという情報を出力して処理を終え、図2のメ
インルーチンに戻る。
Step 126 is a scanning position updating process. If the preceding vehicle 57 can be detected in step 125, nothing is done in step 126 and the process proceeds to step 127.
The detected position information of the preceding vehicle 57 is output, the processing is terminated, and the process returns to the main routine of FIG. Step 12
If the preceding vehicle 57 is not found in step 5, the scanning position of the scanning line 51 is changed to a position higher than the present position in step 126, and the processes of steps 121 to 125 are repeated. Then, when the preceding vehicle 57 cannot be detected even when the uppermost scanning line of the image 50 is scanned, the preceding vehicle 5 is detected.
It is determined that the vehicle 7 is not present, the information that there is no preceding vehicle is output in step 127, the processing is terminated, and the process returns to the main routine of FIG.

【0028】最後に撮像回路異常検出処理について説明
する。図7は撮像回路異常検出処理の処理手順を示すフ
ローチャート、図8はCCDカメラ1で撮像した画像5
0の例である。ステップ131では画像50の中にウイ
ンドウとしての検出ウインドウ62を設定する。検出ウ
インドウ62はCCDカメラ1で得た画像が正常な場合
には必ずエッジが存在すると考えられる領域に設定され
るもので、図8に示すように画像の中央付近に横長形状
に設定される。ステップ132は検出ウインドウ62内
のエッジを検出するエッジ検出手段としてのエッジ検出
処理である。上述したエッジ検出処理と同様に、走査線
上の隣接する画素の輝度値の差の絶対値に基づいてエッ
ジを検出する。ステップ133は上述の二値化処理と同
様のもので、エッジ検出処理を行った信号と所定の閾値
とを比較することにより二値化処理を行う。
Finally, the image pickup circuit abnormality detection processing will be described. FIG. 7 is a flowchart showing the processing procedure of the imaging circuit abnormality detection processing, and FIG. 8 is an image 5 taken by the CCD camera 1.
This is an example of 0. In step 131, the detection window 62 as a window is set in the image 50. The detection window 62 is set in an area where an edge is considered to exist when the image obtained by the CCD camera 1 is normal, and is set in a horizontally long shape near the center of the image as shown in FIG. Step 132 is an edge detecting process as an edge detecting means for detecting an edge in the detection window 62. Similar to the edge detection process described above, the edge is detected based on the absolute value of the difference between the brightness values of the adjacent pixels on the scanning line. Step 133 is the same as the above-described binarization process, and the binarization process is performed by comparing the signal subjected to the edge detection process with a predetermined threshold value.

【0029】ステップ134は、検出ウインドウ62内
のエッジの量を演算するエッジ量演算手段であって、こ
こでは横方向ヒストグラム検出処理を行っている。横方
向ヒストグラムは、検出ウインドウ62内を全て走査し
て二値化処理を行い、得られた二値化情報の横方向の画
素値の総和で求められる。図9は横方向ヒストグラムの
演算を説明する説明図で、(a)は二値化処理を行って
得られるエッジ画像の例を示したもの、(b)はこのエ
ッジ画像の横方向ヒストグラムを演算したものである。
この例では、検出ウインドウ62は、縦28×横38画
素に設定されている。図9(a)に示す各画素の値をA
ijとすると、横方向ヒストグラム値Hsumは次に示
す式(2)で求められ、図9(b)に示すヒストグラム
を得る。
Step 134 is an edge amount calculating means for calculating the amount of edges in the detection window 62, and here, horizontal histogram detection processing is performed. The horizontal histogram is obtained by totalizing pixel values in the horizontal direction of the obtained binarized information by scanning the entire detection window 62 and performing binarization processing. 9A and 9B are explanatory views for explaining the calculation of the horizontal direction histogram. FIG. 9A shows an example of an edge image obtained by performing binarization processing, and FIG. 9B shows a calculation of the horizontal direction histogram of this edge image. It was done.
In this example, the detection window 62 is set to have 28 pixels vertically and 38 pixels horizontally. The value of each pixel shown in FIG.
If ij, the horizontal histogram value Hsum is obtained by the following equation (2), and the histogram shown in FIG. 9B is obtained.

【0030】[0030]

【数2】 (Equation 2)

【0031】このようにして得られた横方向ヒストグラ
ムは、ステップ135において所定の閾値と比較処理さ
れる。図10は、CCDカメラ1で得られた画像が異常
である場合の例で、(a)は画像が略真っ白あるいは略
真っ黒でコントラストがあまりない、即ちエッジがあま
り存在しない状態、(b)は画像にノイズが発生してエ
ッジが極端に多く存在する状態を示しており、この図1
0(a)及び(b)は図9(b)と同様に横方向ヒスト
グラムを示すものである。ステップ135は、閾値63
及び64を有している。これらの閾値は、検出されたエ
ッジの量と比較される基準値を構成しており、閾値63
は第1の閾値、閾値64は第2の閾値を構成している。
The horizontal histogram thus obtained is compared with a predetermined threshold value in step 135. FIG. 10 shows an example in which the image obtained by the CCD camera 1 is abnormal. In FIG. 10A, the image is substantially white or almost black and there is not much contrast, that is, there are few edges, and FIG. 10B shows This shows a state in which noise is generated in the image and there are extremely many edges.
0 (a) and 0 (b) show horizontal histograms as in FIG. 9 (b). In step 135, the threshold 63
And 64. These thresholds constitute a reference value with which the amount of detected edges is compared, and the threshold 63
Is a first threshold value, and the threshold value 64 is a second threshold value.

【0032】閾値63は、画像のコントラストが所定以
下か否かを判定するための基準である。即ち、図10
(a)において、ヒストグラム値が閾値63に達してい
ない領域はコントラストが所定以下の低コントラストの
状態、即ち、コントラストがあまり無い状態である。C
CDカメラ1で得られる画像は正常な状態であっても、
低コントラストの領域が存在する。この低コントラスト
の領域が、通常、全体面積の10%以下と考えられるな
らば、許容範囲を10%とする。例えば、検出ウインド
ウ62が縦100×横150画素であるならば、100
ラインの10%である10ラインを許容範囲とする。従
って、ステップ135において、閾値63に達しないラ
インが10ライン以上あれば、画像が低コントラストの
状態にあると判定しエラー・フラグ1をセットする。
The threshold value 63 is a reference for determining whether or not the image contrast is lower than a predetermined value. That is, FIG.
In (a), the region where the histogram value does not reach the threshold value 63 is in a low contrast state where the contrast is equal to or lower than a predetermined value, that is, there is not much contrast. C
Even if the image obtained by the CD camera 1 is in a normal state,
There are areas of low contrast. If this low contrast region is usually considered to be 10% or less of the entire area, the allowable range is set to 10%. For example, if the detection window 62 is 100 vertical by 150 horizontal pixels, 100
The allowable range is 10 lines, which is 10% of the lines. Therefore, in step 135, if there are 10 or more lines that do not reach the threshold value 63, it is determined that the image is in the low contrast state, and the error flag 1 is set.

【0033】次に、閾値64は、画像の中のエッジが所
定以上の密な状態であるか否かを判定するための基準で
ある。即ち、図10(b)において、ヒストグラム値が
閾値64を超えている領域は検出エッジが極端に密な領
域、即ち画像に極端にひどいノイズが発生したと考えら
れる領域である。CCDカメラ1で得られる画像は正常
な場合であっても、エッジが密な領域がある程度存在す
る。そこで、上述の低コントラストの場合と同様にノイ
ズが現れる領域の許容範囲を設定しておく。そして、閾
値64を超えるラインが設定した許容範囲以上ある場合
は、画像にひどいノイズが発生した状態であると判定し
てエラー・フラグ2をセットする。
Next, the threshold value 64 is a reference for determining whether or not the edges in the image are in a dense state above a predetermined level. That is, in FIG. 10B, the region where the histogram value exceeds the threshold value 64 is a region where the detected edges are extremely dense, that is, a region where extremely terrible noise is considered to have occurred in the image. Even if the image obtained by the CCD camera 1 is normal, there are some areas with dense edges. Therefore, as in the case of the low contrast described above, the allowable range of the area where noise appears is set. Then, if the line exceeding the threshold value 64 is equal to or larger than the set allowable range, it is determined that the image is in a state where severe noise is generated, and the error flag 2 is set.

【0034】ステップ135の閾値比較処理が終わると
ステップ136に進み、今回演算したヒストグラム値と
前回演算したヒストグラム値とを比較する。CCDカメ
ラ1は、走行中の車両の前方の様子を撮像しているの
で、車両の走行に伴って風景も変わる。よって、検出さ
れるヒストグラムも刻々と変化するはずである。従っ
て、ステップ136では、今回演算したヒストグラム値
と前回演算したヒストグラム値とが略一致している場合
は、画像が更新されていない状態であると判定して、エ
ラー・フラグ3をセットする。
When the threshold value comparison processing in step 135 is completed, the routine proceeds to step 136, where the histogram value calculated this time and the histogram value calculated last time are compared. Since the CCD camera 1 captures an image of the front of the running vehicle, the scenery changes as the vehicle runs. Therefore, the detected histogram should change from moment to moment. Therefore, in step 136, if the histogram value calculated this time and the histogram value calculated last time are substantially the same, it is determined that the image has not been updated, and the error flag 3 is set.

【0035】ステップ137では、エラー・フラグ1、
2及び3の状態を確認する。エラー・フラグ1、2及び
3の状態を確認し、何れのエラー・フラグもセットされ
ていなければ異常なしと判定して処理を終える。もし、
何れかのエラー・フラグがセットされている場合には、
ステップ131に戻り上述の処理を繰り返す。そして、
セット状態にあるエラー・フラグが所定時間以上継続し
てセットされ続けた場合は異常が発生したと判定する。
例えば、エラー・フラグ1がセットされ続けた場合はコ
ントラスト異常エラーであると判定し、エラー・フラグ
2がセットされ続けた場合はノイズ発生エラーであると
判定し、エラー・フラグ3がセットされ続けた場合は画
像更新不能エラーであると判定し異常検出信号を出力す
る。この異常検出信号は、例えば上述のエラー・フラグ
1乃至3である。ステップ137の処理が終わると異常
検出処理を終え、図2のメインルーチンに戻る。これら
のエラー・フラグは、上述のステップ108のフェール
セーフ処理で説明したように、記憶される。
In step 137, error flag 1,
Check conditions 2 and 3. The states of the error flags 1, 2 and 3 are confirmed, and if none of the error flags is set, it is determined that there is no abnormality, and the processing ends. if,
If any of the error flags are set,
Returning to step 131, the above-mentioned processing is repeated. And
If the error flag in the set state continues to be set for a predetermined time or longer, it is determined that an abnormality has occurred.
For example, if the error flag 1 continues to be set, it is determined to be a contrast abnormality error, and if the error flag 2 continues to be set, it is determined to be a noise generation error, and the error flag 3 continues to be set. If the error occurs, it is determined that the error cannot be updated, and the abnormality detection signal is output. This abnormality detection signal is, for example, the above-mentioned error flags 1 to 3. When the process of step 137 ends, the abnormality detection process ends, and the process returns to the main routine of FIG. These error flags are stored as described in the failsafe processing of step 108 above.

【0036】なお、上述の実施の形態では設定する検出
ウインドウ62を横長形状としている。これは画像の水
平方向のエッジの方が垂直方向のエッジに比しより定常
的に存在するので、検出ウインドウ62は横長形状のも
のが効果的と考えられるためである。従って、検出ウイ
ンドウ62の形状は、適用する画像処理装置の仕様に合
わせて最も効果的と思われる形状を採用すればよい。な
お、検出ウインドウは必ずしも必要ではない。検出ウイ
ンドウに対して演算処理する代わりに、画像全面に対し
て演算処理しても良い。
In the above embodiment, the detection window 62 to be set has a horizontally long shape. This is because the horizontal edges of the image exist more steadily than the vertical edges, so that the detection window 62 having a horizontally long shape is considered to be effective. Therefore, as the shape of the detection window 62, a shape considered to be most effective may be adopted in accordance with the specifications of the image processing apparatus to which it is applied. The detection window is not always necessary. Instead of performing the arithmetic processing on the detection window, the arithmetic processing may be performed on the entire surface of the image.

【0037】また、エッジの量の演算として横方向ヒス
トグラムを提示した。これも同様の理由で、画像の水平
方向のエッジの方が垂直方向のエッジに比しより定常的
に存在するので、ヒストグラムは縦方向ヒストグラムよ
りも横方向ヒストグラムを採用した方が効果的と考えら
れるためである。
Further, a horizontal histogram is presented as the calculation of the amount of edges. For the same reason, the horizontal edges of the image exist more steadily than the vertical edges, so it is more effective to use the horizontal histogram than the vertical histogram for the histogram. This is because

【0038】また、エッジの量を検出する手法としてヒ
ストグラムを示したが、これに限られることなく、一般
に知られる量の測定方法を用いても良い。なお、本発明
で言うエッジの量とは、エッジの数も含んだ意味であ
る。即ち、エッジの量として、横方向のエッジ数を計数
するものも考慮の内にある。
Although the histogram is shown as a method for detecting the amount of edges, the present invention is not limited to this, and a generally known amount measuring method may be used. The amount of edges referred to in the present invention includes the number of edges. That is, the number of edges in the horizontal direction is also taken into consideration as the amount of edges.

【0039】更に、上述の各種のフローチャートは、単
に車載用画像処理装置の構成を示すだけでなく、その画
像処理法方も同時に示している。
Furthermore, the above-mentioned various flow charts not only show the structure of the vehicle-mounted image processing apparatus, but also show the image processing method thereof.

【0040】以上のように実施の形態1によれば、エッ
ジの量を演算して基準値と比較することにより画像が正
常であるか否かを検出し、画像に異常があれば走行環境
の演算を禁止して走行環境の誤認識を防止することが可
能な従来には無かった車載用画像処理装置を得ることが
できる。
As described above, according to the first embodiment, whether or not the image is normal is detected by calculating the edge amount and comparing it with the reference value. It is possible to obtain a vehicle-mounted image processing apparatus that has not been available in the related art and that can prevent calculation and prevent erroneous recognition of the traveling environment.

【0041】また、通常処理モードと故障診断モードと
を所定期間毎に交互に行っているので、各々の処理に長
い時間を要しない。また、故障診断モードが所定期間毎
に行われることになるので故障診断の頻度が大きくなり
画像の異常を検出しやすくなる。
Further, since the normal processing mode and the failure diagnosis mode are alternately performed every predetermined period, each processing does not take a long time. Further, since the failure diagnosis mode is performed every predetermined period, the frequency of failure diagnosis increases and it becomes easy to detect an abnormality in an image.

【0042】また、画像に発生した異常がどのような異
常であるかを判別することができる。更に、その異常の
種類を記憶しておくことにより、修理を速やかに行うこ
とができる。
Further, it is possible to discriminate what kind of abnormality the image has. Further, by storing the type of the abnormality, the repair can be promptly performed.

【0043】また、検出ウインドウを設定したので、画
像全面に対して演算処理する場合に比し、処理速度を上
げることができる。
Since the detection window is set, the processing speed can be increased as compared with the case where arithmetic processing is performed on the entire surface of the image.

【0044】また、画像が不安定である可能性がある状
態では画像の異常検出を禁止するようにしたので、異常
を誤検出することがない。
Further, since the abnormality detection of the image is prohibited in the state where the image may be unstable, the abnormality is not erroneously detected.

【0045】また、実施の形態1によれば、エッジの量
を演算して基準値と比較することにより画像が正常であ
るか否かを検出し、画像に異常があれば走行環境の演算
を禁止して走行環境の誤認識を防止することが可能な従
来には無かった画像処理方法を得ることができる。
Further, according to the first embodiment, whether or not the image is normal is detected by calculating the edge amount and comparing it with the reference value, and if the image is abnormal, the running environment is calculated. It is possible to obtain an image processing method that has not been available in the past and that can be prohibited to prevent erroneous recognition of the traveling environment.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 実施の形態1の車載用画像処理装置の構成を
示すブロック図である。
FIG. 1 is a block diagram showing a configuration of a vehicle-mounted image processing apparatus according to a first embodiment.

【図2】 実施の形態1の処理手順を示すフローチャー
トである。
FIG. 2 is a flowchart showing a processing procedure according to the first embodiment.

【図3】 白線位置検出処理の手順を示すフローチャー
トである。
FIG. 3 is a flowchart showing a procedure of white line position detection processing.

【図4】 白線位置検出処理の様子を説明する説明図で
ある。
FIG. 4 is an explanatory diagram illustrating a state of white line position detection processing.

【図5】 先行車検出処理の手順を示すフローチャート
である。
FIG. 5 is a flowchart showing a procedure of a preceding vehicle detection process.

【図6】 先行車検出処理の様子を説明する説明図であ
る。
FIG. 6 is an explanatory diagram illustrating a state of a preceding vehicle detection process.

【図7】 撮像回路異常検出処理の手順を示すフローチ
ャートである。
FIG. 7 is a flowchart illustrating a procedure of image pickup circuit abnormality detection processing.

【図8】 CCDカメラで撮像した画像の例である。FIG. 8 is an example of an image captured by a CCD camera.

【図9】 横方向ヒストグラムの演算を説明する説明図
である。
FIG. 9 is an explanatory diagram illustrating a calculation of a horizontal direction histogram.

【図10】 画像が異常である場合の横方向ヒストグラ
ムの例である。
FIG. 10 is an example of a horizontal histogram when an image is abnormal.

【符号の説明】[Explanation of symbols]

1:CCDカメラ、2:A/D変換器、3:画像メモ
リ、4:CPU、5:先行車位置検出手段、6:白線位
置検出手段、7:撮像回路異常検出手段、8:走行環境
演算禁止手段、9:異常検出禁止手段、50:画像、5
1:走査線、52:文字、53:白線、54、55:閾
値、56:白線を示す信号、57:先行車両、58、5
9:閾値、60:白線を示す信号、61:先行車両を示
す信号、62:検出ウインドウ、63、64:閾値
1: CCD camera, 2: A / D converter, 3: image memory, 4: CPU, 5: preceding vehicle position detecting means, 6: white line position detecting means, 7: imaging circuit abnormality detecting means, 8: running environment calculation Prohibition means, 9: abnormality detection prohibition means, 50: image, 5
1: scanning line, 52: character, 53: white line, 54, 55: threshold value, 56: signal indicating white line, 57: preceding vehicle, 58, 5
9: threshold value, 60: signal indicating white line, 61: signal indicating preceding vehicle, 62: detection window, 63, 64: threshold value

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 車両周辺を撮像する撮像手段と、この撮
像手段で撮像された画像のエッジを検出するエッジ検出
手段と、前記画像のエッジに基づき走行環境を演算する
走行環境演算手段と、前記エッジ検出手段で検出された
エッジの量を演算するエッジ量演算手段と、前記エッジ
の量と基準値とを比較することにより前記画像の異常を
検出する画像異常検出手段と、この画像異常検出手段が
前記画像の異常を検出したとき前記走行環境演算手段の
演算を禁止する禁止手段とを備えたことを特徴とする車
載用画像処理装置。
1. An image pickup means for picking up an image around a vehicle, an edge detecting means for detecting an edge of an image picked up by the image pickup means, a running environment calculating means for calculating a running environment based on the edge of the image, Edge amount calculation means for calculating the amount of edges detected by the edge detection means, image abnormality detection means for detecting abnormality of the image by comparing the amount of edges with a reference value, and this image abnormality detection means And a prohibition unit that prohibits the calculation of the traveling environment calculation unit when the abnormality of the image is detected.
【請求項2】 前記走行環境の演算と前記画像の異常検
出演算とを所定期間毎に交互に行うことを特徴とする請
求項1に記載の車載用画像処理装置。
2. The vehicle-mounted image processing apparatus according to claim 1, wherein the calculation of the traveling environment and the abnormality detection calculation of the image are alternately performed every predetermined period.
【請求項3】 前記基準値は、前記画像のコントラスト
が所定以下であるか否かを判定するための第1の閾値
と、前記画像に所定以上のエッジが発生したか否かを判
定するための第2の閾値と、前回に演算した前記画像の
前記エッジの量とを有し、前記画像異常検出手段は、今
回演算した前記画像の前記エッジの量と前記3種類の基
準値とを比較して前記画像の異常を検出すると共にこの
画像の異常の種類に応じて3種類の異なる異常検出信号
を出力することを特徴とする請求項2に記載の車載用画
像処理装置。
3. The reference value is a first threshold value for determining whether or not the contrast of the image is less than or equal to a predetermined value, and for determining whether or not an edge of a predetermined value or more has occurred in the image. Of the edge of the image calculated previously, and the image abnormality detecting means compares the edge amount of the image calculated this time with the three types of reference values. The vehicle-mounted image processing apparatus according to claim 2, wherein the abnormality of the image is detected, and three different abnormality detection signals are output according to the type of abnormality of the image.
【請求項4】 前記エッジ量演算手段は、前記画像にウ
インドウを設定し該ウインドウ内のエッジの量を演算す
ることを特徴とする請求項1に記載の車載用画像処理装
置。
4. The vehicle-mounted image processing apparatus according to claim 1, wherein the edge amount calculation means sets a window on the image and calculates the amount of edges in the window.
【請求項5】 前記画像が不安定な状態にあると推定す
る推定手段と、前記画像が不安定な状態にあると前記推
定手段が推定したとき前記画像の異常検出を禁止する異
常検出禁止手段とを備えたことを特徴とする請求項1に
記載の車載用画像処理装置。
5. An estimating means for estimating that the image is in an unstable state, and an abnormality detection inhibiting means for inhibiting abnormality detection of the image when the estimating means estimates that the image is in an unstable state. The vehicle-mounted image processing apparatus according to claim 1, further comprising:
【請求項6】 車両周辺を撮像するステップと、このス
テップで撮像された画像のエッジを検出するステップ
と、前記画像のエッジに基づき走行環境を演算するステ
ップと、前記画像のエッジの量を演算するステップと、
前記エッジの量と基準値とを比較することにより前記画
像の異常を検出するステップと、このステップで前記画
像の異常が検出されたとき前記走行環境を演算するステ
ップを禁止するステップとからなることを特徴とする画
像処理方法。
6. A step of capturing an image of the periphery of a vehicle, a step of detecting an edge of an image captured in this step, a step of calculating a traveling environment based on the edge of the image, and an step of calculating an edge amount of the image. Steps to
The step of detecting an abnormality in the image by comparing the amount of the edge with a reference value; and the step of inhibiting the step of calculating the running environment when the abnormality in the image is detected in this step. An image processing method characterized by:
JP26850895A 1995-10-17 1995-10-17 On-vehicle device and method for processing picture Pending JPH09113221A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26850895A JPH09113221A (en) 1995-10-17 1995-10-17 On-vehicle device and method for processing picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26850895A JPH09113221A (en) 1995-10-17 1995-10-17 On-vehicle device and method for processing picture

Publications (1)

Publication Number Publication Date
JPH09113221A true JPH09113221A (en) 1997-05-02

Family

ID=17459486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26850895A Pending JPH09113221A (en) 1995-10-17 1995-10-17 On-vehicle device and method for processing picture

Country Status (1)

Country Link
JP (1) JPH09113221A (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11211492A (en) * 1998-01-29 1999-08-06 Fuji Heavy Ind Ltd Road information recognizing device
JP2000251198A (en) * 1999-03-01 2000-09-14 Yazaki Corp Periphery monitor device for vehicle
JP2002022439A (en) * 2000-07-12 2002-01-23 Fuji Heavy Ind Ltd Outside monitor of car having failsafe function
JP2002027447A (en) * 2000-07-12 2002-01-25 Fuji Heavy Ind Ltd Vehicle surrounding monitoring device having fail safe function
JP2002374524A (en) * 2002-02-27 2002-12-26 Fuji Heavy Ind Ltd Outside-the-vehicle stereoscopic scene monitor device with fail safe function
JP2005294878A (en) * 2003-03-24 2005-10-20 Daimler Chrysler Ag Video display device for vehicle environment monitoring unit
JP2007208865A (en) * 2006-02-06 2007-08-16 Clarion Co Ltd System for detecting camera state
US7295683B2 (en) 2003-12-17 2007-11-13 Mitsubishi Denki Kabushiki Kaisha Lane recognizing image processing system
JP2007296919A (en) * 2006-04-28 2007-11-15 Nissan Motor Co Ltd Lane departure prevention system
JP2007318558A (en) * 2006-05-26 2007-12-06 Fujitsu Ten Ltd Image processor
JP2008282067A (en) * 2007-05-08 2008-11-20 Hitachi Ltd Approach object detection device and approaching object detection program
WO2015104915A1 (en) * 2014-01-10 2015-07-16 日立オートモティブシステムズ株式会社 In-vehicle-camera image processing device
JP2015198344A (en) * 2014-04-01 2015-11-09 株式会社デンソー Control apparatus and control system
JP2017017635A (en) * 2015-07-06 2017-01-19 株式会社トランストロン Failure diagnosis apparatus
WO2018051506A1 (en) * 2016-09-16 2018-03-22 三菱電機株式会社 Control test device and control test method

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11211492A (en) * 1998-01-29 1999-08-06 Fuji Heavy Ind Ltd Road information recognizing device
JP2000251198A (en) * 1999-03-01 2000-09-14 Yazaki Corp Periphery monitor device for vehicle
JP2002022439A (en) * 2000-07-12 2002-01-23 Fuji Heavy Ind Ltd Outside monitor of car having failsafe function
JP2002027447A (en) * 2000-07-12 2002-01-25 Fuji Heavy Ind Ltd Vehicle surrounding monitoring device having fail safe function
JP2002374524A (en) * 2002-02-27 2002-12-26 Fuji Heavy Ind Ltd Outside-the-vehicle stereoscopic scene monitor device with fail safe function
JP2005294878A (en) * 2003-03-24 2005-10-20 Daimler Chrysler Ag Video display device for vehicle environment monitoring unit
US7295683B2 (en) 2003-12-17 2007-11-13 Mitsubishi Denki Kabushiki Kaisha Lane recognizing image processing system
JP2007208865A (en) * 2006-02-06 2007-08-16 Clarion Co Ltd System for detecting camera state
JP2007296919A (en) * 2006-04-28 2007-11-15 Nissan Motor Co Ltd Lane departure prevention system
JP2007318558A (en) * 2006-05-26 2007-12-06 Fujitsu Ten Ltd Image processor
JP2008282067A (en) * 2007-05-08 2008-11-20 Hitachi Ltd Approach object detection device and approaching object detection program
WO2015104915A1 (en) * 2014-01-10 2015-07-16 日立オートモティブシステムズ株式会社 In-vehicle-camera image processing device
JP6060282B2 (en) * 2014-01-10 2017-01-11 日立オートモティブシステムズ株式会社 In-vehicle camera image processing device
US10154255B2 (en) 2014-01-10 2018-12-11 Hitachi Automotive Systems, Ltd. In-vehicle-camera image processing device
JP2015198344A (en) * 2014-04-01 2015-11-09 株式会社デンソー Control apparatus and control system
US10489889B2 (en) 2014-04-01 2019-11-26 Denso Corporation Control apparatus and control system for performing process based on captured image
JP2017017635A (en) * 2015-07-06 2017-01-19 株式会社トランストロン Failure diagnosis apparatus
WO2018051506A1 (en) * 2016-09-16 2018-03-22 三菱電機株式会社 Control test device and control test method
CN109691097A (en) * 2016-09-16 2019-04-26 三菱电机株式会社 Control experiment device and Control experiment method
CN109691097B (en) * 2016-09-16 2020-06-19 三菱电机株式会社 Control test device and control test method

Similar Documents

Publication Publication Date Title
JP6257792B2 (en) Camera covering state recognition method, camera system, and automobile
US7209832B2 (en) Lane recognition image processing apparatus
US6658150B2 (en) Image recognition system
JPH09113221A (en) On-vehicle device and method for processing picture
JP6571424B2 (en) Fault diagnosis device
JP3312729B2 (en) Outside monitoring device with fail-safe function
US11657624B2 (en) Image processor and image processing method for parking frame estimation on a road surface
JPH09282452A (en) Monitor
JP2010061375A (en) Apparatus and program for recognizing object
US20210089818A1 (en) Deposit detection device and deposit detection method
US11170235B2 (en) Image processing device and image processing method
JP3344627B2 (en) Stereo exterior monitoring device
JPH07244717A (en) Travel environment recognition device for vehicle
JP3272694B2 (en) Outside monitoring device with fail-safe function
CN116252712A (en) Driver assistance apparatus, vehicle, and method of controlling vehicle
US20090322879A1 (en) Method and device for the detection of defective pixels of an image recording sensor, preferably in a driver assistance system
US11568547B2 (en) Deposit detection device and deposit detection method
JP3400643B2 (en) In-vehicle image processing device
JP3532896B2 (en) Smear detection method and image processing apparatus using the smear detection method
JPH1166490A (en) Vehicle detecting method
JP3196559B2 (en) Line recognition method
JP4995555B2 (en) Image processing device
JPH09128548A (en) Vehicle detecting method
US11308709B2 (en) Deposit detection device and deposit detection method
JPH0935065A (en) On-vehicle image processor