JP2002354463A - Image processor - Google Patents
Image processorInfo
- Publication number
- JP2002354463A JP2002354463A JP2001154528A JP2001154528A JP2002354463A JP 2002354463 A JP2002354463 A JP 2002354463A JP 2001154528 A JP2001154528 A JP 2001154528A JP 2001154528 A JP2001154528 A JP 2001154528A JP 2002354463 A JP2002354463 A JP 2002354463A
- Authority
- JP
- Japan
- Prior art keywords
- temperature
- image processing
- recognition
- image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】この発明は、リアルタイムの
対象物認識を行うために、制御あるいは警報のための情
報を提供する画像処理装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus for providing control or warning information for real-time object recognition.
【0002】[0002]
【従来の技術】車載用カメラによる撮像手段を用いて、
車両外部の物体を認識する光学式の物体認識装置とし
て、特開2001−33238号公報に記載されている
ように、受光部の一部を遮光した領域の輝度値より撮像
された画像の有効性を判断するものがある。また、温度
検出装置付きカメラとして、特開2000−34728
4号公報に記載されているように、機構部品に係る撮影
動作が保証されない低温時または高温時には撮影を禁止
するものがある。2. Description of the Related Art Using an image pickup means of a vehicle-mounted camera,
As described in Japanese Patent Application Laid-Open No. 2001-33238, as an optical object recognizing device for recognizing an object outside a vehicle, the validity of an image captured based on a luminance value of a region where a part of a light receiving unit is shielded from light is described. There is something to judge. Further, as a camera with a temperature detecting device, Japanese Patent Application Laid-Open No. 2000-34728
As described in Japanese Patent Application Publication No. 4 (1999) -2004, there is a device that prohibits photographing at a low temperature or a high temperature at which a photographing operation relating to a mechanical component is not guaranteed.
【0003】[0003]
【発明が解決しようとする課題】特開2001−332
38号公報の物体認識装置においては、画像の有効性を
判定するにあたり、遮光領域全体を画像処理のために走
査する必要があり、リアルタイムの認識に用いると処理
時間の点で不利である。一方、撮像素子が高温・低温に
なると、特定の画素の輝度値が白飛び・黒飛びとなる固
定パターンノイズが発生し、固定パターンノイズを含む
輝度分布を基に画像処理した認識結果の信頼性は大幅に
低下する。よって、この認識結果を基に実施する警報・
制御においては誤りが発生する。例えば、レーンマーキ
ングのように白い物体を検出対象としている画像処理装
置においては、高温時に発生する固定パターンノイズの
白飛び画素を誤検出して車線認識を誤ることがあり、こ
の誤認識結果を基に車線逸脱警報あるいは車両制御を行
うことにより、危険な状況に陥る可能性がある。このよ
うな固定パターンノイズの問題があるため、特開200
0−347284号公報の温度検出装置付きカメラのよ
うに、機構部品に係る不具合のみ問題とするのではな
く、撮像素子も考慮する必要がある。Problems to be Solved by the Invention JP-A-2001-332
In the object recognition device disclosed in Japanese Patent No. 38, it is necessary to scan the entire light-shielded area for image processing when determining the validity of an image, and if it is used for real-time recognition, it is disadvantageous in processing time. On the other hand, when the temperature of the image sensor becomes high or low, fixed pattern noise occurs in which the luminance value of a specific pixel becomes overexposed or overexposed, and the reliability of the recognition result obtained by performing image processing based on the luminance distribution including the fixed pattern noise is improved. Is greatly reduced. Therefore, an alarm /
An error occurs in the control. For example, in an image processing apparatus that detects a white object such as lane marking, false white pixels of fixed pattern noise generated at high temperatures may be erroneously detected and erroneous lane recognition may be performed. If a lane departure warning or vehicle control is performed during this time, a dangerous situation may occur. Because of the problem of such fixed pattern noise, Japanese Patent Application Laid-Open
As in the case of the camera with a temperature detecting device disclosed in Japanese Patent Application Laid-Open No. 0-347284, it is necessary to consider not only a problem relating to mechanical parts but also an image sensor.
【0004】この発明は、上述のような課題を解決する
ためになされたものであり、リアルタイムに対象物認識
を信頼性よく行うことができる画像処理装置を得ること
を目的としている。SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and has as its object to provide an image processing apparatus which can reliably recognize an object in real time.
【0005】[0005]
【課題を解決するための手段】この発明に係わる画像処
理装置においては、画像を撮像する撮像手段と、この撮
像手段により撮像された画像から対象物を抽出する認識
画像処理手段と、撮像手段の温度を測定する温度測定手
段と、認識画像処理手段の出力を送信する通信手段を備
え、通信手段は、温度測定手段によって測定された温度
が所定の範囲内にないとき、予め定められた信号を送信
するものである。また、車両に搭載され、車両走行につ
いて警報を行う制御ユニットと共に警報システムを構成
する画像処理装置において、画像を撮像する撮像手段
と、この撮像手段により撮像された画像から対象物を抽
出する認識画像処理手段と、撮像手段の温度を測定する
温度測定手段と、認識画像処理手段の出力を制御ユニッ
トに送信する通信手段を備え、通信手段は、温度測定手
段によって測定された温度が所定の範囲内にないとき、
予め定められた信号を制御ユニットに送信するものであ
る。In an image processing apparatus according to the present invention, an image pickup means for picking up an image, a recognition image processing means for extracting a target from an image picked up by the image pickup means, Temperature measuring means for measuring the temperature, and a communication means for transmitting the output of the recognition image processing means, the communication means, when the temperature measured by the temperature measuring means is not within a predetermined range, a predetermined signal What to send. Further, in an image processing apparatus mounted on a vehicle and constituting a warning system together with a control unit for giving a warning about vehicle running, an image pickup means for picking up an image, and a recognition image for extracting an object from the image picked up by the image pickup means Processing means, temperature measuring means for measuring the temperature of the imaging means, and communication means for transmitting the output of the recognition image processing means to the control unit, wherein the communication means has a temperature measured by the temperature measuring means within a predetermined range. When not in
A predetermined signal is transmitted to the control unit.
【0006】また、予め定められた信号は、撮像手段の
温度調整を要求する信号であるものである。さらに、予
め定められた信号は、認識画像処理手段の出力の使用を
禁止する認識結果使用禁止信号であるものである。[0006] The predetermined signal is a signal for requesting temperature adjustment of the imaging means. Further, the predetermined signal is a recognition result use prohibition signal for prohibiting use of the output of the recognition image processing means.
【0007】また、温度測定手段によって測定された撮
像手段の温度が所定の範囲内にないときでも、認識画像
処理手段は、対象物の抽出を継続して行うものである。
また、撮像手段の温度について、認識画像処理手段によ
る認識の信頼性を保証する温度を設定する認識信頼性保
証温度設定手段を備えたものである。Further, even when the temperature of the imaging means measured by the temperature measurement means is not within a predetermined range, the recognition image processing means continuously extracts the object.
The image processing apparatus further includes a recognition reliability assurance temperature setting unit that sets a temperature that guarantees the reliability of recognition by the recognition image processing unit.
【0008】[0008]
【発明の実施の形態】以下、この発明の実施の形態を図
を用いて説明する。 実施の形態1.図1は、この発明の実施の形態1による
画像処理装置を簡略化して示す構成図である。図1にお
いて、1は撮影手段、2は撮影手段1によって得られた
画像全体あるいは一部を一時記憶する画像記憶手段、3
は画像記憶手段2より画像データを読み出し、対象物を
リアルタイムで抽出する認識画像処理手段、4は撮影手
段1について温度測定を行う温度測定手段、5は認識画
像処理手段3による認識画像処理の結果及び温度測定手
段4による温度測定の結果を受けて、外部へ送信出力す
る通信手段である。図2は、この発明の実施の形態1に
よる画像処理装置の処理フローを示すフローチャートで
ある。Embodiments of the present invention will be described below with reference to the drawings. Embodiment 1 FIG. FIG. 1 is a simplified configuration diagram showing an image processing apparatus according to Embodiment 1 of the present invention. In FIG. 1, reference numeral 1 denotes a photographing means, 2 denotes an image storage means for temporarily storing the whole or a part of an image obtained by the photographing means 1, 3
Is a recognition image processing means for reading out image data from the image storage means 2 and extracting an object in real time; 4, a temperature measuring means for measuring the temperature of the photographing means 1; and 5, a recognition image processing result by the recognition image processing means 3. And communication means for receiving and transmitting the result of the temperature measurement by the temperature measurement means 4 to the outside. FIG. 2 is a flowchart showing a processing flow of the image processing apparatus according to the first embodiment of the present invention.
【0009】次に、図2のフローチャートを用いて動作
について説明する。ステップS1で、撮影手段1により
対象物を撮影し、ステップS2で、撮影画像を画像記憶
手段2の画像メモリに輝度値データとして取り込み、一
時記憶する。なお、記憶する輝度値データは、対象物認
識に係る領域だけでもよい。次いで、ステップS3にお
いて、認識画像処理手段3により、画像メモリより輝度
値データを読み出し、輝度分布の時系列的、空間的特徴
を基に対象物を抽出する。Next, the operation will be described with reference to the flowchart of FIG. In step S1, the object is photographed by the photographing means 1, and in step S2, the photographed image is fetched into the image memory of the image storage means 2 as luminance value data and temporarily stored. Note that the luminance value data to be stored may be only an area related to object recognition. Next, in step S3, the recognition image processing means 3 reads the luminance value data from the image memory, and extracts the object based on the time-series and spatial characteristics of the luminance distribution.
【0010】ステップS4において、温度測定手段4の
温度センサにより撮像手段1の温度を取得し、固定パタ
ーンノイズを発生する温度かどうか、すなわち認識信頼
性保証温度範囲内かどうかを判定する。温度測定は、撮
像素子に対して行うのが望ましいが、カメラ取り付け条
件などにより困難な場合は、カメラ周辺温度で代用して
もよい。ステップS4で、温度測定手段4が認識信頼性
保証温度範囲内と判定すると、ステップS5において、
画像認識結果を制御ユニットへ通信手段5により出力す
る。ステップS4で、温度測定手段4が認識信頼性保証
温度範囲外と判定すると、ステップS6において、認識
結果使用禁止信号及び温度調整要求(予め定められた信
号)を、制御ユニットへ通信手段5により出力する。こ
れは、通常の出力データにフラグを用意しておくか、フ
ラグの代わりに認識結果データを0リセットしてもよ
い。これを受けた制御ユニットは、使用者に温度調整を
促すメッセージを表示するか、自動的に温度調整を実施
する。In step S4, the temperature of the imaging means 1 is acquired by the temperature sensor of the temperature measuring means 4, and it is determined whether or not the temperature is a temperature at which fixed pattern noise is generated, that is, whether or not the temperature is within the temperature range for guaranteeing the recognition reliability. The temperature measurement is desirably performed on the image sensor, but if it is difficult due to the camera mounting conditions, the temperature around the camera may be used instead. In step S4, when the temperature measuring means 4 determines that the temperature is within the recognition reliability guarantee temperature range, in step S5,
The image recognition result is output to the control unit by the communication unit 5. In step S4, if the temperature measuring means 4 determines that the temperature is out of the recognition reliability assurance temperature range, the communication means 5 outputs a recognition result use prohibition signal and a temperature adjustment request (predetermined signal) to the control unit in step S6. I do. In this case, a flag may be prepared for normal output data, or the recognition result data may be reset to 0 instead of the flag. The control unit that receives the message displays a message urging the user to adjust the temperature or automatically performs the temperature adjustment.
【0011】実施の形態1によれば、撮影手段における
固定パターンノイズ発生を、撮影手段に対する温度測定
手段により判定し、画質異常の画像に対する認識結果を
使用禁止とすることにより、認識結果を基に行う警報・
制御の誤警報・誤制御をシステムとして回避することが
できる。また、撮像手段に対する温度測定手段を備える
ことで、認識に係る処理時間を増加させることなく、温
度測定できる。According to the first embodiment, the occurrence of fixed pattern noise in the photographing means is determined by the temperature measuring means for the photographing means, and the recognition result for an image having an abnormal image quality is prohibited. Alarm
It is possible to avoid erroneous control alarm and control as a system. Further, the provision of the temperature measurement means for the imaging means enables the temperature measurement without increasing the processing time for recognition.
【0012】実施の形態2.実施の形態1記載の画像処
理装置について、レーンキープ、レーン逸脱警報システ
ム(警報システム)に用いる車線認識画像処理装置を例
に説明する。図3は、この発明の実施の形態2による画
像処理装置を車載用カメラに応用した全体構成図であ
る。図3において、6は画像処理ユニットで、撮影手段
である撮像素子7と撮像素子7に対する既存の温度測定
手段である温度センサ8を有している。9は画像処理ユ
ニット6に接続された制御ユニット、10は制御ユニッ
ト9によって制御されるアクチュエータ、11は制御ユ
ニット9によって制御される警報ブザー、12は制御ユ
ニット9によって制御されるデフロスタであり、6〜1
2でシステムを構成する。Embodiment 2 FIG. The image processing apparatus according to the first embodiment will be described using a lane recognition image processing apparatus used for a lane keeping and a lane departure warning system (warning system) as an example. FIG. 3 is an overall configuration diagram in which the image processing apparatus according to Embodiment 2 of the present invention is applied to a vehicle-mounted camera. In FIG. 3, reference numeral 6 denotes an image processing unit, which has an image sensor 7 serving as a photographing unit and a temperature sensor 8 serving as existing temperature measuring means for the image sensor 7. 9 is a control unit connected to the image processing unit 6, 10 is an actuator controlled by the control unit 9, 11 is an alarm buzzer controlled by the control unit 9, 12 is a defroster controlled by the control unit 9, 6 ~ 1
2 configures the system.
【0013】図4は、この発明の実施の形態2による画
像処理装置を用いた正常な車載カメラ出力画像を示す図
である。図4において、13は車両前方を撮影した車載
カメラの出力画像、14は自車線のレーンマーキングで
あり、いずれも画角内に収まっているものとする。図5
は、この発明の実施の形態2による画像処理装置を用い
た高温時の固定パターンノイズを含む車載カメラ出力画
像を示す図である。図5において、13、14は図4に
おけるものと同一のものである。15は車両前方を撮影
した車載カメラの出力画像13において高温時に発生し
た固定パターンノイズである。FIG. 4 is a view showing a normal vehicle-mounted camera output image using the image processing apparatus according to the second embodiment of the present invention. In FIG. 4, reference numeral 13 denotes an output image of the vehicle-mounted camera taken in front of the vehicle, and reference numeral 14 denotes lane markings of the own lane, all of which are within the angle of view. FIG.
FIG. 9 is a diagram showing an output image of a vehicle-mounted camera including fixed pattern noise at high temperature using the image processing apparatus according to the second embodiment of the present invention. In FIG. 5, reference numerals 13 and 14 are the same as those in FIG. Reference numeral 15 denotes a fixed pattern noise generated at a high temperature in the output image 13 of the vehicle-mounted camera which photographs the front of the vehicle.
【0014】図6は、図4の画像処理のレーンマーキン
グ認識結果であり、正常認識を表す説明図であり、図4
に示すカメラの出力画像13に対する車線認識結果を示
している。図6において、13、14は図4におけるも
のと同一のものである。16は左右のレーンマーキング
14の認識結果であり、太線で表されている。この例で
はレーンマーキング内側を検出位置とし、レーンマーキ
ングを2次式で近似して表している。図7は、図5の画
像処理のレーンマーキング認識結果であり、誤認識を表
す説明図であり、図5に示すカメラの出力画像13に対
する車線認識結果を示している。図7において、13〜
15は図5におけるものと同一のものである。16はレ
ーンマーキング14の認識結果である。レーンマーキン
グ14近傍に同じ輝度レベルの固定パターンノイズ15
が発生しているため、固定パターンノイズ15の一部を
レーンマーキング14位置として誤検出し、認識結果1
6が実際のレーンマーキング位置14と大きく異なる。FIG. 6 is a diagram showing the result of lane marking recognition in the image processing of FIG. 4 and showing normal recognition.
5 shows a lane recognition result for the output image 13 of the camera shown in FIG. 6, 13 and 14 are the same as those in FIG. Reference numeral 16 denotes a recognition result of the left and right lane markings 14, which are represented by thick lines. In this example, the inside of the lane marking is set as the detection position, and the lane marking is approximated by a quadratic expression. FIG. 7 is a diagram illustrating the lane marking recognition result of the image processing in FIG. 5, which is an explanatory diagram illustrating erroneous recognition, and illustrates the lane recognition result with respect to the output image 13 of the camera illustrated in FIG. 5. In FIG.
15 is the same as that in FIG. 16 is a recognition result of the lane marking 14. Fixed pattern noise 15 of the same brightness level near lane marking 14
Has occurred, a part of the fixed pattern noise 15 is erroneously detected as the position of the lane marking 14, and the recognition result 1
6 is significantly different from the actual lane marking position 14.
【0015】図7に示す認識結果を基に、制御ユニット
9がレーンキープのためにアクチュエータ10へ指令
し、あるいは警報ブザー11にレーン逸脱警報を指令す
ると、実際の走行車線の形状と異なる制御となり、危険
な状況に陥る可能性がある。図7のように誤認識のおそ
れのある出力画像となったことを、温度センサ8により
得られた撮像素子7の温度より判定し、画像処理ユニッ
ト6としては、制御ユニット9に対して、認識結果使用
禁止信号及び温度調整要求を出力する。認識結果使用禁
止信号を受けた制御ユニット9は、レーンキープやレー
ン逸脱警報を行うための指令を、アクチュエータ10及
び警報ブザー11に発しないものとする。また、制御ユ
ニット9は、画像処理ユニット6が車室内、例えばルー
ムミラー背面に取り付けられている場合、画像処理ユニ
ット6の周辺温度を下げるべく、カーエアコンのデフロ
スタ12を自動的に作動させる、あるいは運転者に操作
を促す。画像処理ユニット6に対する冷却手段あるいは
外気温低下などの外的環境により、撮像素子7の温度が
許容範囲内に収まったとき、画像処理ユニット6は、温
度センサ8によりこれを判定し、自動的に認識結果使用
禁止信号を解除する。When the control unit 9 instructs the actuator 10 to keep the lane or issues a lane departure warning to the warning buzzer 11 based on the recognition result shown in FIG. 7, the control becomes different from the actual lane shape. , Could lead to dangerous situations. It is determined from the temperature of the image sensor 7 obtained by the temperature sensor 8 that the output image has a possibility of erroneous recognition as shown in FIG. A result use prohibition signal and a temperature adjustment request are output. The control unit 9 that has received the recognition result use prohibition signal does not issue a command for performing lane keeping or a lane departure warning to the actuator 10 and the warning buzzer 11. When the image processing unit 6 is mounted in the vehicle interior, for example, in the rear of the rearview mirror, the control unit 9 automatically operates the defroster 12 of the car air conditioner in order to lower the temperature around the image processing unit 6, or Prompt the driver for operation. When the temperature of the image sensor 7 falls within the allowable range due to an external environment such as cooling means for the image processing unit 6 or a decrease in outside air temperature, the image processing unit 6 determines this by the temperature sensor 8 and automatically determines the temperature. Release the recognition result use prohibition signal.
【0016】実施の形態2によれば、車線認識画像処理
装置において、撮像手段における固定パターンノイズ発
生時に、既存の温度調整手段を適用することにより、画
像処理装置に温度調整手段を付加することなく認識結果
を基に行う警報・制御の誤警報・誤制御をシステムとし
て回避することができる。According to the second embodiment, in the lane recognition image processing apparatus, when a fixed pattern noise is generated in the imaging means, the existing temperature adjustment means is applied, so that the temperature adjustment means is not added to the image processing apparatus. It is possible to avoid false alarm / error control of alarm / control based on the recognition result as a system.
【0017】実施の形態3.実施の形態3は、実施の形
態2記載の画像処理装置について、認識信頼性温度範囲
外から撮像手段の温度が復帰する場合についてのもので
ある。撮像手段の温度が認識信頼性温度範囲外にある場
合、画像処理を停止せず認識結果使用禁止信号を出力す
ることで、認識画像処理手段の出力をマスクし、温度が
認識信頼性温度範囲内に復帰したときの出力中断時間を
最小限に抑える。実施の形態3の処理フローは、図2に
示すものと同様のもので、画像処理のステップS1〜S
3を実施してから、ステップS4で温度をチェックし、
出力についてはステップS5かステップS6によるかを
決定する。Embodiment 3 The third embodiment relates to a case where the temperature of the imaging unit returns from outside the recognition reliability temperature range in the image processing apparatus according to the second embodiment. If the temperature of the imaging unit is outside the recognition reliability temperature range, the output of the recognition image processing unit is masked by outputting the recognition result use prohibition signal without stopping the image processing, and the temperature is within the recognition reliability temperature range. Minimize output interruption time when returning to. The processing flow of the third embodiment is the same as that shown in FIG.
After performing step 3, check the temperature in step S4,
It is determined whether the output is based on step S5 or step S6.
【0018】図8は、この発明の実施の形態3による画
像処理装置を用いたレーンマーキング画像処理開始直後
あるいはレーンマーキング未抽出状態の左右レーンマー
キング探索領域を表す説明図である。図8において、1
3、14、16は図6におけるものと同一のものであ
る。17、18はレーンマーキング画像処理開始直後ま
たはレーンマーキング未抽出状態の左右レーンマーキン
グ探索領域で、17は左レーンマーキング探索領域であ
り、18は右レーンマーキング探索領域である。図9
は、この発明の実施の形態3による画像処理装置を用い
たレーンマーキング抽出時の左右レーンマーキング追跡
領域を表す説明図である。図9において、13、14、
16は図6におけるものと同一のものである。19、2
0はレーンマーキング抽出時の左右レーンマーキング追
跡領域で、19は左レーンマーキング追跡領域であり、
20は右レーンマーキング追跡領域である。FIG. 8 is an explanatory diagram showing the left and right lane marking search areas immediately after the start of lane marking image processing using the image processing apparatus according to the third embodiment of the present invention or in a state where lane markings have not been extracted. In FIG. 8, 1
3, 14, and 16 are the same as those in FIG. Reference numerals 17 and 18 denote left and right lane marking search areas immediately after the start of lane marking image processing or in a state in which lane marking has not been extracted. Reference numeral 17 denotes a left lane marking search area, and reference numeral 18 denotes a right lane marking search area. FIG.
FIG. 9 is an explanatory diagram showing left and right lane marking tracking areas when lane markings are extracted using the image processing device according to the third embodiment of the present invention. In FIG. 9, 13, 14,
16 is the same as that in FIG. 19, 2
0 is a left and right lane marking tracking area at the time of lane marking extraction, 19 is a left lane marking tracking area,
Reference numeral 20 denotes a right lane marking tracking area.
【0019】以下、画像処理停止状態からの再開が、認
識復帰までに時間がかかる点について説明する。図8
に、レーンマーキング画像処理開始直後あるいはレーン
マーキング未抽出状態の左右レーンマーキング探索領域
17、18を表すように、レーンマーキングが画面のど
こに位置するかの事前情報がないため、広い領域から探
索する必要があり、抽出するまでに処理時間がかかる。
一方、図9に、レーンマーキング抽出時の左右レーンマ
ーキング追跡領域19、20で表されるように、前回の
抽出位置を基準に追跡領域を設定できるため、左右レー
ンマーキング探索領域17、18に比べて狭い領域に限
定して追跡することができる。一旦、画像処理を停止す
ると、図8の状態から画像処理を再開しなければなら
ず、認識復帰までに時間がかかるが、画像処理を停止せ
ずに認識結果出力マスクにしておくと、図9の状態から
画像処理が再開でき、直ちに認識復帰が行われる。Hereinafter, it will be described that restarting from the image processing stopped state takes time until the recognition is restored. FIG.
Since there is no prior information on where the lane marking is located on the screen so as to indicate the left and right lane marking search areas 17 and 18 immediately after the lane marking image processing is started or the lane marking is not extracted, it is necessary to search from a wide area. And it takes a long processing time to extract.
On the other hand, since the tracking area can be set based on the previous extraction position as shown by the left and right lane marking tracking areas 19 and 20 at the time of lane marking extraction in FIG. Tracking can be limited to a small area. Once the image processing is stopped, the image processing must be restarted from the state shown in FIG. 8 and it takes a long time to recover the recognition. However, if the image processing is not stopped and the recognition result output mask is used, the processing shown in FIG. The image processing can be restarted from the state described above, and the recognition and recovery are performed immediately.
【0020】実施の形態3によれば、撮像手段の温度
が、許容温度範囲外から許容範囲内に復帰した場合、画
像処理を停止させていないため、直ちに認識結果出力が
可能となり、認識結果出力の利用中断時間を最小限に抑
えることができる。According to the third embodiment, when the temperature of the imaging means returns from outside the allowable temperature range to within the allowable range, the image processing is not stopped, so that the recognition result can be output immediately. It is possible to minimize the interruption time of use.
【0021】実施の形態4.実施の形態4は、実施の形
態2記載の画像処理装置について、画像処理装置ごとに
認識信頼性保証温度を設定する認識信頼性保証温度設定
手段を設けたものである。図10は、この発明の実施の
形態4による画像処理装置を用いた左右レーンマーキン
グ探索領域外に固定パターンノイズが発生している画像
を示す図である。図10において、13、14、15は
図5におけるものと17、18は図8におけるものとそ
れぞれ同一のものである。図11は、この発明の実施の
形態4による画像処理装置を用いた左右レーンマーキン
グ探索領域内に固定パターンノイズが発生し、誤認識の
おそれがある画像を示す図である。図11において、1
3、14、15、17、18は図10におけるものと同
一ものである。Embodiment 4 FIG. In the fourth embodiment, the image processing apparatus according to the second embodiment is provided with a recognition reliability assurance temperature setting means for setting a recognition reliability assurance temperature for each image processing apparatus. FIG. 10 is a diagram showing an image in which fixed pattern noise is generated outside the left and right lane marking search areas using the image processing apparatus according to Embodiment 4 of the present invention. 10, 13, 14 and 15 are the same as those in FIG. 5, and 17 and 18 are the same as those in FIG. FIG. 11 is a diagram showing an image in which fixed pattern noise is generated in the left and right lane marking search areas using the image processing device according to the fourth embodiment of the present invention, which may cause erroneous recognition. In FIG. 11, 1
3, 14, 15, 17, 18 are the same as those in FIG.
【0022】固定パターンノイズ発生は、撮像素子ごと
に固有であり、温度領域に応じて決まった位置の画素が
白飛び、黒飛びを起こすという特徴がある。例えば、あ
る温度では、図10のように、固定パターンノイズ15
が発生しているものとする。このとき、台形で示す画像
処理に参照する領域すなわち左右レーンマーキング探索
領域17、18内には、固定パターンノイズが含まれな
いため、認識信頼性には影響しない。図9の左右レーン
マーキング追跡領域19、20は、左右レーンマーキン
グ探索領域17、18に包含されるため、ここでは左右
レーンマーキング探索領域17、18のみ取り上げる。
図10の状態よりさらに温度が上昇すると、図11のよ
うに、左右レーンマーキング探索領域17、18内に固
定パターンノイズ15が発生し、誤認識をするおそれが
ある。すなわち、左右レーンマーキング探索領域17、
18内に固定パターンノイズ15が発生する温度が、そ
の画像処理装置の認識信頼性保証の限界温度となる。実
施の形態4では、このように認識信頼性保証の限界温度
が、画像処理装置ごとに固有であるため、画像処理装置
ごとに認識信頼性保証温度を設定する。The occurrence of fixed pattern noise is unique to each image sensor, and has the characteristic that pixels at positions determined according to the temperature region are overexposed and underexposed. For example, at a certain temperature, as shown in FIG.
Is assumed to have occurred. At this time, since the fixed pattern noise is not included in the areas to be referred to in the trapezoidal image processing, that is, the left and right lane marking search areas 17 and 18, the recognition reliability is not affected. Since the left and right lane marking tracking areas 19 and 20 in FIG. 9 are included in the left and right lane marking search areas 17 and 18, only the left and right lane marking search areas 17 and 18 will be described here.
When the temperature further rises from the state shown in FIG. 10, fixed pattern noise 15 is generated in the left and right lane marking search areas 17 and 18 as shown in FIG. That is, the left and right lane marking search area 17,
The temperature at which the fixed pattern noise 15 is generated within 18 is the limit temperature for guaranteeing the recognition reliability of the image processing apparatus. In the fourth embodiment, since the limit temperature of the recognition reliability guarantee is unique to each image processing apparatus, the recognition reliability guarantee temperature is set for each image processing apparatus.
【0023】実施の形態4によれば、認識信頼性保証温
度のさらなる信頼性確保と同時に、撮像素子の固定パタ
ーンノイズ発生温度を越えて認識信頼性保証温度を設定
することができる。According to the fourth embodiment, it is possible to set the recognition reliability assurance temperature beyond the fixed pattern noise occurrence temperature of the image pickup device while securing the further reliability of the recognition reliability assurance temperature.
【0024】[0024]
【発明の効果】この発明は、以上説明したように構成さ
れているので、以下に示すような効果を奏する。画像を
撮像する撮像手段と、この撮像手段により撮像された画
像から対象物を抽出する認識画像処理手段と、撮像手段
の温度を測定する温度測定手段と、認識画像処理手段の
出力を送信する通信手段を備え、通信手段は、温度測定
手段によって測定された温度が所定の範囲内にないと
き、予め定められた信号を送信するので、撮影手段にお
ける固定パターンノイズ発生による認識画像処理装置の
誤認識の結果を用いて、誤った警報・制御を行うのを回
避することができる。Since the present invention is configured as described above, it has the following effects. Image capturing means for capturing an image, recognition image processing means for extracting an object from the image captured by the image capturing means, temperature measuring means for measuring the temperature of the image capturing means, and communication for transmitting the output of the recognition image processing means The communication means transmits a predetermined signal when the temperature measured by the temperature measurement means is not within a predetermined range. By using the result of the above, it is possible to avoid performing an erroneous alarm / control.
【0025】また、車両に搭載され、車両走行について
警報を行う制御ユニットと共に警報システムを構成する
画像処理装置において、画像を撮像する撮像手段と、こ
の撮像手段により撮像された画像から対象物を抽出する
認識画像処理手段と、撮像手段の温度を測定する温度測
定手段と、認識画像処理手段の出力を制御ユニットに送
信する通信手段を備え、通信手段は、温度測定手段によ
って測定された温度が所定の範囲内にないとき、予め定
められた信号を制御ユニットに送信するので、撮影手段
における固定パターンノイズ発生による認識画像処理装
置の誤認識の結果を用いて、制御ユニットが誤った警報
・制御を行うのを回避することができる。Further, in an image processing apparatus mounted on a vehicle and constituting an alarm system together with a control unit for giving an alarm about the running of the vehicle, an image pickup means for picking up an image, and an object is extracted from the image picked up by the image pickup means. And a communication unit for transmitting the output of the recognition image processing unit to the control unit, wherein the communication unit measures the temperature measured by the temperature measurement unit. When it is not within the range, the predetermined signal is transmitted to the control unit, so that the control unit uses the result of erroneous recognition of the recognition image processing apparatus due to the occurrence of fixed pattern noise in the photographing means to perform erroneous alarm / control. Can be avoided.
【0026】また、予め定められた信号は、撮像手段の
温度調整を要求する信号であるので、撮像手段の温度調
整を行うことができる。さらに、予め定められた信号
は、認識画像処理手段の出力の使用を禁止する認識結果
使用禁止信号であるので、認識画像処理手段の出力の使
用を禁止することができる。Further, since the predetermined signal is a signal requesting the temperature adjustment of the image pickup means, the temperature of the image pickup means can be adjusted. Further, since the predetermined signal is a recognition result use prohibition signal for prohibiting use of the output of the recognition image processing means, use of the output of the recognition image processing means can be prohibited.
【0027】また、温度測定手段によって測定された撮
像手段の温度が所定の範囲内にないときでも、認識画像
処理手段は、対象物の抽出を継続して行うので、認識画
像処理手段の出力の利用を早く再開することができる。
また、撮像手段の温度について、認識画像処理手段によ
る認識の信頼性を保証する温度を設定する認識信頼性保
証温度設定手段を備えたので、画像処理装置毎に認識信
頼性保証温度設定を行なうことができる。Further, even when the temperature of the image pickup means measured by the temperature measuring means is not within the predetermined range, the recognition image processing means continuously extracts the object, so that the output of the recognition image processing means is output. Use can be resumed quickly.
In addition, since the recognition reliability assurance temperature setting means for setting the temperature that guarantees the reliability of the recognition by the recognition image processing means is provided for the temperature of the imaging means, the recognition reliability assurance temperature setting is performed for each image processing apparatus. Can be.
【図1】 この発明の実施の形態1による画像処理装置
を簡略化して示す構成図である。FIG. 1 is a simplified configuration diagram showing an image processing apparatus according to a first embodiment of the present invention.
【図2】 この発明の実施の形態1による画像処理装置
の処理フローを示すフローチャートである。FIG. 2 is a flowchart showing a processing flow of the image processing apparatus according to the first embodiment of the present invention.
【図3】 この発明の実施の形態2による画像処理装置
を車載用カメラに応用した全体構成図である。FIG. 3 is an overall configuration diagram in which an image processing apparatus according to a second embodiment of the present invention is applied to an in-vehicle camera.
【図4】 この発明の実施の形態2による画像処理装置
を用いた正常な車載カメラ出力画像を示す図である。FIG. 4 is a diagram showing a normal vehicle-mounted camera output image using the image processing device according to the second embodiment of the present invention;
【図5】 この発明の実施の形態2による画像処理装置
を用いた高温時の固定パターンノイズを含む車載カメラ
出力画像を示す図である。FIG. 5 is a diagram showing an output image of a vehicle-mounted camera including fixed pattern noise at a high temperature using the image processing apparatus according to the second embodiment of the present invention;
【図6】 図4の画像処理のレーンマーキング認識結果
であり、正常認識を表す説明図である。6 is an explanatory diagram showing lane marking recognition results of the image processing of FIG. 4 and showing normal recognition.
【図7】 図5の画像処理のレーンマーキング認識結果
であり、誤認識を表す説明図である。FIG. 7 is an explanatory diagram showing lane marking recognition results of the image processing in FIG. 5 and showing erroneous recognition.
【図8】 この発明の実施の形態3による画像処理装置
を用いたレーンマーキング画像処理開始直後あるいはレ
ーンマーキング未抽出状態の左右レーンマーキング探索
領域を表す説明図である。FIG. 8 is an explanatory diagram illustrating a left and right lane marking search area immediately after the start of lane marking image processing using the image processing apparatus according to the third embodiment of the present invention or in a state in which lane marking has not been extracted.
【図9】 この発明の実施の形態3による画像処理装置
を用いたレーンマーキング抽出時の左右レーンマーキン
グ追跡領域を表す説明図である。FIG. 9 is an explanatory diagram illustrating left and right lane marking tracking areas at the time of lane marking extraction using the image processing device according to the third embodiment of the present invention.
【図10】 この発明の実施の形態4による画像処理装
置を用いた左右レーンマーキング探索領域外に固定パタ
ーンノイズが発生している画像を示す図である。FIG. 10 is a diagram showing an image in which fixed pattern noise is generated outside a left and right lane marking search area using an image processing apparatus according to a fourth embodiment of the present invention.
【図11】この発明の実施の形態4による画像処理装置
を用いた左右レーンマーキング探索領域内に固定パター
ンノイズが発生し、誤認識のおそれがある画像を示す図
である。FIG. 11 is a diagram showing an image in which fixed pattern noise is generated in a left and right lane marking search area using the image processing apparatus according to Embodiment 4 of the present invention, which may cause erroneous recognition.
1 撮影手段、2 画像記憶手段、3 認識画像処理手
段、4 温度測定手段、5 通信手段、6 画像処理ユ
ニット、7 撮像素子、8 温度センサ、9 制御ユニ
ット、10 アクチュエータ、11 警報ブザー、12
デフロスタ、13 カメラ出力画像、14 レーンマ
ーキング、15 固定パターンノイズ、16 レーンマ
ーキング認識結果、17 左レーンマーキング探索領
域、18 右レーンマーキング探索領域、19 左レー
ンマーキング追跡領域、20 右レーンマーキング追跡
領域。REFERENCE SIGNS LIST 1 shooting means, 2 image storage means, 3 recognized image processing means, 4 temperature measurement means, 5 communication means, 6 image processing unit, 7 image sensor, 8 temperature sensor, 9 control unit, 10 actuator, 11 alarm buzzer, 12
Defroster, 13 camera output image, 14 lane marking, 15 fixed pattern noise, 16 lane marking recognition result, 17 left lane marking search area, 18 right lane marking search area, 19 left lane marking tracking area, 20 right lane marking tracking area.
Claims (6)
により撮像された画像から対象物を抽出する認識画像処
理手段、上記撮像手段の温度を測定する温度測定手段、
上記認識画像処理手段の出力を送信する通信手段を備
え、上記通信手段は、上記温度測定手段によって測定さ
れた温度が所定の範囲内にないとき、予め定められた信
号を送信することを特徴とする画像処理装置。An imaging unit that captures an image; a recognition image processing unit that extracts an object from an image captured by the imaging unit; a temperature measurement unit that measures a temperature of the imaging unit;
Communication means for transmitting an output of the recognition image processing means, wherein the communication means transmits a predetermined signal when the temperature measured by the temperature measurement means is not within a predetermined range. Image processing device.
を行う制御ユニットと共に警報システムを構成する画像
処理装置において、画像を撮像する撮像手段、この撮像
手段により撮像された画像から対象物を抽出する認識画
像処理手段、上記撮像手段の温度を測定する温度測定手
段、上記認識画像処理手段の出力を上記制御ユニットに
送信する通信手段を備え、上記通信手段は、上記温度測
定手段によって測定された温度が所定の範囲内にないと
き、予め定められた信号を上記制御ユニットに送信する
ことを特徴とする画像処理装置。2. An image processing apparatus which is mounted on a vehicle and constitutes an alarm system together with a control unit which issues an alarm about running of the vehicle. An image pickup means for picking up an image, and an object is extracted from the image picked up by the image pickup means. Recognition image processing means, temperature measurement means for measuring the temperature of the imaging means, communication means for transmitting the output of the recognition image processing means to the control unit, the communication means, the temperature measured by the temperature measurement means Transmitting a predetermined signal to the control unit when is not within a predetermined range.
段の温度調整を要求する信号であることを特徴とする請
求項1または請求項2記載の画像処理装置。3. The image processing apparatus according to claim 1, wherein the predetermined signal is a signal requesting a temperature adjustment of the imaging unit.
像処理手段の出力の使用を禁止する認識結果使用禁止信
号であることを特徴とする請求項1〜請求項3のいずれ
か一項記載の画像処理装置。4. The signal according to claim 1, wherein the predetermined signal is a recognition result use prohibition signal for prohibiting use of an output of the recognition image processing means. Image processing device.
記撮像手段の温度が所定の範囲内にないときでも、上記
認識画像処理手段は、対象物の抽出を継続して行うこと
を特徴とする請求項1〜請求項4のいずれか一項記載の
画像処理装置。5. The apparatus according to claim 1, wherein the recognition image processing means continuously extracts the object even when the temperature of the imaging means measured by the temperature measurement means is not within a predetermined range. The image processing apparatus according to claim 1.
画像処理手段による認識の信頼性を保証する温度を設定
する認識信頼性保証温度設定手段を備えたことを特徴と
する請求項1〜請求項5のいずれか一項記載の画像処理
装置。6. The apparatus according to claim 1, further comprising a recognition reliability assurance temperature setting means for setting a temperature at which the reliability of recognition by said recognition image processing means is guaranteed for the temperature of said imaging means. 6. The image processing device according to claim 5.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001154528A JP3732115B2 (en) | 2001-05-23 | 2001-05-23 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001154528A JP3732115B2 (en) | 2001-05-23 | 2001-05-23 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002354463A true JP2002354463A (en) | 2002-12-06 |
JP3732115B2 JP3732115B2 (en) | 2006-01-05 |
Family
ID=18998855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001154528A Expired - Fee Related JP3732115B2 (en) | 2001-05-23 | 2001-05-23 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3732115B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009181411A (en) * | 2008-01-31 | 2009-08-13 | Toyota Motor Corp | Operation control map, display unit, and white line recognition apparatus |
US8115809B2 (en) | 2004-11-30 | 2012-02-14 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
JP2012103748A (en) * | 2010-11-05 | 2012-05-31 | Denso Corp | Road section line recognition device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0837612A (en) * | 1994-07-22 | 1996-02-06 | Canon Inc | Image pickup device |
JP2001088609A (en) * | 1999-09-22 | 2001-04-03 | Fuji Heavy Ind Ltd | Power supply controlling method of on-vehicle camera device therefor |
JP2001213240A (en) * | 2000-02-04 | 2001-08-07 | Hitachi Ltd | On-vehicle camera device |
-
2001
- 2001-05-23 JP JP2001154528A patent/JP3732115B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0837612A (en) * | 1994-07-22 | 1996-02-06 | Canon Inc | Image pickup device |
JP2001088609A (en) * | 1999-09-22 | 2001-04-03 | Fuji Heavy Ind Ltd | Power supply controlling method of on-vehicle camera device therefor |
JP2001213240A (en) * | 2000-02-04 | 2001-08-07 | Hitachi Ltd | On-vehicle camera device |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8115809B2 (en) | 2004-11-30 | 2012-02-14 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
JP2009181411A (en) * | 2008-01-31 | 2009-08-13 | Toyota Motor Corp | Operation control map, display unit, and white line recognition apparatus |
JP4708443B2 (en) * | 2008-01-31 | 2011-06-22 | トヨタ自動車株式会社 | Operation control map and white line recognition device |
US8433096B2 (en) | 2008-01-31 | 2013-04-30 | Toyota Jidosha Kabushiki Kaisha | Operation control map, display unit, and white line detection apparatus |
JP2012103748A (en) * | 2010-11-05 | 2012-05-31 | Denso Corp | Road section line recognition device |
Also Published As
Publication number | Publication date |
---|---|
JP3732115B2 (en) | 2006-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8115809B2 (en) | Vehicle surroundings monitoring apparatus | |
JP4738778B2 (en) | Image processing device, driving support device, and driving support system | |
US20170309042A1 (en) | In-vehicle camera calibrator, image generator, in-vehicle camera calibration method, and image generation method | |
US10728537B2 (en) | Photographing device and photographing method | |
JP2006224873A (en) | Vehicle periphery monitoring device | |
US10769816B2 (en) | Thermal image processing device, infrared imaging apparatus, thermal image processing method, and thermal image processing program | |
US8009202B2 (en) | Device and method for capturing an image of a human face | |
JP2010069921A (en) | Lane recognition device | |
JP6544393B2 (en) | Image recording apparatus, image recording method and image recording program | |
EP2248070B1 (en) | Operation control map, display unit, and white line detection apparatus | |
EP3205084A1 (en) | Image processing method | |
JP2010062942A (en) | Abnormality detecting apparatus | |
JP6970568B2 (en) | Vehicle peripheral monitoring device and peripheral monitoring method | |
US11917308B2 (en) | Imaging device, image recording device, and imaging method for capturing a predetermined event | |
JP2008098858A (en) | Vehicle periphery monitoring device | |
US6246837B1 (en) | Image sensing apparatus | |
JP5246254B2 (en) | Determining the exposure control value for in-vehicle cameras | |
JP4539427B2 (en) | Image processing device | |
JP2002354463A (en) | Image processor | |
JP4661934B2 (en) | Image processing device | |
JP2001357396A (en) | Image processor and image recognizing device | |
JP2013055566A (en) | Imaging apparatus | |
JP2019169190A (en) | Image recording device, image recording method, and image recording program | |
KR102010407B1 (en) | Smart Rear-view System | |
KR20210055354A (en) | Monitoring apparatus on ship |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051011 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131021 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |