JP2007336288A - Obstacle detection system and obstacle detection method - Google Patents

Obstacle detection system and obstacle detection method Download PDF

Info

Publication number
JP2007336288A
JP2007336288A JP2006166298A JP2006166298A JP2007336288A JP 2007336288 A JP2007336288 A JP 2007336288A JP 2006166298 A JP2006166298 A JP 2006166298A JP 2006166298 A JP2006166298 A JP 2006166298A JP 2007336288 A JP2007336288 A JP 2007336288A
Authority
JP
Japan
Prior art keywords
far
infrared imaging
correction value
imaging device
offset correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006166298A
Other languages
Japanese (ja)
Other versions
JP4807152B2 (en
Inventor
Yoshikazu Kunii
美和 國井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2006166298A priority Critical patent/JP4807152B2/en
Publication of JP2007336288A publication Critical patent/JP2007336288A/en
Application granted granted Critical
Publication of JP4807152B2 publication Critical patent/JP4807152B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To prevent the omission of the detection of obstacles beforehand by adjusting timing for performing NUC (Non-Uniformity Correction). <P>SOLUTION: Parallax images imaged by a plurality of far-infrared imaging apparatuses for imaging surroundings of a vehicle time sequentially are acquired to detect the existence of obstacles in an image. A far-infrared imaging apparatus stores an offset correction value for correcting an output value of a plurality of imaging elements each arranged in a matrix form with respect to a prescribed temperature, and a gain correction value for correcting a difference in an output value with respect to a predetermined variation rate of a temperature in each imaging element. The stored offset correction value in each imaging element is updated on the basis of image data obtained by imaging the surface of a shutter for opening and closing an opening through which light is made incident on an imaging element. One far-infrared imaging apparatus starts to update the offset correction value when a time corresponding to one frame of image data elapses after the other far-infrared imaging apparatus updates the offset correction value. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、外部を撮像する遠赤外線撮像装置の出力輝度値を補正することにより、視差画像間の輝度値を調整して障害物の検出精度を高く維持する障害物検出システム及び障害物検出方法に関する。   The present invention relates to an obstacle detection system and an obstacle detection method in which the brightness value between parallax images is adjusted to maintain high obstacle detection accuracy by correcting the output brightness value of a far-infrared imaging device that images the outside. About.

自動車等の車両の走行の安全を確保すべく、ナイトビジョン等の遠赤外線撮像装置により歩行者、自転車等の障害物の存在を検出する障害物検出システムが多々開発されている。通常、車両前方の所定の位置に、左右2基の遠赤外線撮像装置を設置し、ステレオ視により検出した障害物までの距離を算出している。   In order to ensure the safety of traveling of vehicles such as automobiles, many obstacle detection systems that detect the presence of obstacles such as pedestrians and bicycles using far-infrared imaging devices such as night vision have been developed. Usually, two far-infrared imaging devices are installed at a predetermined position in front of the vehicle, and the distance to the obstacle detected by stereo vision is calculated.

例えば左右の遠赤外線撮像装置で撮像した画像から、所定の基準パターンとパターンマッチングすることにより障害物、例えば人間が存在すると考えられる領域を検出し、ステレオ視により該領域までの距離を算出し、所定の距離内である場合に運転者へ通知することにより、車両走行の安全を確保している。   For example, from an image captured by the left and right far-infrared imaging devices, an area where an obstacle, for example, a human being is present is detected by pattern matching with a predetermined reference pattern, and a distance to the area is calculated by stereo vision. Vehicle safety is ensured by notifying the driver when the distance is within a predetermined distance.

遠赤外線撮像装置は、複数の撮像素子で構成されており、撮像素子で出力された輝度値をA/D変換して、デジタル信号として出力する。左右別個に配置された遠赤外線撮像装置で撮像する場合、対象物が同一であっても検出する熱量が相違し、出力値が相違する。したがって、ステレオ視により検出した障害物までの距離を正確に算出するためには、同一の対象物であることを確実に検出することができるよう、同一の対象物の撮像データの輝度値が同一となるよう遠赤外線撮像装置の出力値を補正する必要がある。   The far-infrared imaging device is composed of a plurality of imaging elements, A / D-converts luminance values output from the imaging elements, and outputs them as digital signals. When images are taken by far-infrared imaging devices arranged separately on the left and right, even if the target is the same, the amount of heat to be detected is different and the output value is different. Therefore, in order to accurately calculate the distance to the obstacle detected by stereo vision, the luminance values of the imaging data of the same object are the same so that the same object can be reliably detected. It is necessary to correct the output value of the far-infrared imaging device so that

例えば非特許文献1では、撮像素子ごとに相違している感度の非均一性を補正する方法の代表例であるNUC(Non-Uniformity Correction)について開示されており、撮像素子の応答特性が線形であることを前提として、撮像素子ごとの所定の温度に対する出力値を補正するオフセット補正値、及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、遠赤外線撮像装置からの出力値を補正している。
「IR−CCD撮像データのリアルタイム2点補正(Real-time implementation of two-point non-uniformity correction for IR-CCD imagery)」、SPIE Proc. 、 Vol.2598、p.44−50、1995年
For example, Non-Patent Document 1 discloses NUC (Non-Uniformity Correction), which is a representative example of a method for correcting the non-uniformity of sensitivity that differs for each image sensor, and the response characteristics of the image sensor are linear. Assuming that there is an offset, an offset correction value for correcting an output value for a predetermined temperature for each image sensor and a gain correction value for correcting a difference in output value for a predetermined temperature change rate for each image sensor are calculated. The output value from the infrared imaging device is corrected.
“Real-time implementation of two-point non-uniformity correction for IR-CCD imagery”, SPIE Proc., Vol. 2598, p. 44-50, 1995

しかし、従来の撮像装置の出力値の補正方法では、絶対温度を正確に把握してオフセット補正値を算出していないことから、同一の物体を撮像した場合であっても、周囲の環境に応じて出力値が異なり、障害物を示す領域である場合もあれば、障害物を示す領域ではない場合もある。したがって、車両の左右に配置されている撮像装置で同一の障害物を撮像した場合であっても、同一の物体であると判断されないおそれがあり、障害物の検出漏れ、又は誤検出のおそれがあるという問題点があった。   However, in the conventional correction method of the output value of the imaging device, the absolute temperature is accurately grasped and the offset correction value is not calculated. Therefore, even when the same object is imaged, it depends on the surrounding environment. The output values may be different and may be an area indicating an obstacle or may not be an area indicating an obstacle. Therefore, even when the same obstacle is imaged by the imaging devices arranged on the left and right sides of the vehicle, it may not be determined that the object is the same, and there is a risk of detection omission of an obstacle or erroneous detection. There was a problem that there was.

また、車両の左右に遠赤外線撮像装置が設置されている場合、一方の遠赤外線撮像装置でNUCを行っている間は、該遠赤外線撮像装置で撮像することはできない。したがって、左右の遠赤外線撮像装置で同時にNUCを行った場合には、撮像されるべき画像が存在せず、障害物の検出漏れが生じるおそれがあった。   Further, when far-infrared imaging devices are installed on the left and right sides of the vehicle, it is impossible to capture an image with the far-infrared imaging device while NUC is performed with one far-infrared imaging device. Therefore, when NUC is performed simultaneously with the left and right far-infrared imaging devices, there is a possibility that an image to be captured does not exist and an obstacle detection failure occurs.

本発明は、斯かる事情に鑑みてなされたものであり、NUCを行うタイミングを調整することにより、障害物の検出漏れを未然に防止することができる障害物検出システム及び障害物検出方法を提供することを目的とする。   The present invention has been made in view of such circumstances, and provides an obstacle detection system and an obstacle detection method capable of preventing an obstacle from being detected in advance by adjusting the timing of performing NUC. The purpose is to do.

上記目的を達成するために第1発明に係る障害物検出システムは、車両の周辺を時系列的に撮像する複数の遠赤外線撮像装置で撮像した視差画像を取得して、画像中の障害物の存在を検出する障害物検出システムにおいて、前記遠赤外線撮像装置は、マトリックス状に配列された複数の撮像素子と、該撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を記憶する手段と、撮像素子へ入光させる開口を開閉するシャッターの表面を撮像した画像データに基づいて、記憶してある撮像素子ごとのオフセット補正値を更新する手段とを備え、一の遠赤外線撮像装置は、他の遠赤外線撮像装置がオフセット補正値を更新した後、画像データ1フレームに相当する時間以上経過した場合に、オフセット補正値の更新を開始するようにしてあることを特徴とする。   In order to achieve the above object, an obstacle detection system according to a first aspect of the present invention acquires parallax images captured by a plurality of far-infrared imaging devices that image the periphery of a vehicle in time series, and detects obstacles in the image. In the obstacle detection system for detecting presence, the far-infrared imaging device includes a plurality of imaging elements arranged in a matrix, an offset correction value for correcting an output value for a predetermined temperature for each imaging element, and each imaging element. A means for storing a gain correction value for correcting a difference in output value with respect to a predetermined rate of temperature change, and an image data stored based on image data obtained by imaging the surface of a shutter that opens and closes an opening for entering the image sensor. Means for updating the offset correction value for each element, and one far infrared imaging device updates the offset correction value after the other far infrared imaging device has updated the offset correction value. If older than a time corresponding to the over arm, characterized in that you have to start updating of the offset correction value.

また、第2発明に係る障害物検出システムは、第1発明において、一の遠赤外線撮像装置が、オフセット補正値を更新している場合、他の遠赤外線撮像装置は、撮像された画像データから、前記一の遠赤外線撮像装置がオフセット補正値の更新を開始する前に検出された障害物を抽出し、抽出された障害物の位置の変化を時系列的に記憶するようにしてあることを特徴とする。   In the obstacle detection system according to the second invention, in the first invention, when one far infrared imaging device updates the offset correction value, the other far infrared imaging device uses the captured image data. The one far-infrared imaging device extracts an obstacle detected before starting to update the offset correction value, and stores a change in the position of the extracted obstacle in time series. Features.

また、第3発明に係る障害物検出方法は、車両の周辺を時系列的に撮像する複数の遠赤外線撮像装置で撮像した視差画像を取得して、画像中の障害物の存在を検出する障害物検出方法において、前記遠赤外線撮像装置にて、マトリックス状に配列された複数の撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を記憶し、撮像素子へ入光させる開口を開閉するシャッターの表面を撮像した画像データに基づいて、記憶してある撮像素子ごとのオフセット補正値を更新し、一の遠赤外線撮像装置は、他の遠赤外線撮像装置がオフセット補正値を更新した後、画像データ1フレームに相当する時間以上経過した場合に、オフセット補正値の更新を開始することを特徴とする。   The obstacle detection method according to the third aspect of the present invention is an obstacle detection method that acquires parallax images captured by a plurality of far-infrared imaging devices that image the periphery of a vehicle in time series and detects the presence of an obstacle in the image. In the object detection method, in the far-infrared imaging device, an offset correction value for correcting an output value for a predetermined temperature for each of a plurality of imaging elements arranged in a matrix and an output value for a predetermined temperature change rate for each imaging element The gain correction value for correcting the difference between the image pickup devices is stored, and the stored offset correction value for each image pickup device is updated based on the image data obtained by picking up the surface of the shutter that opens and closes the opening that enters the image pickup device. This far-infrared imaging device updates the offset correction value when a time corresponding to one frame of image data has elapsed after another far-infrared imaging device has updated the offset correction value. Characterized in that it starts to.

第1発明、及び第3発明では、車両の周辺を時系列的に撮像する複数の遠赤外線撮像装置で撮像した視差画像を取得して、画像中の障害物の存在を検出する。遠赤外線撮像装置は、マトリックス状に配列された複数の撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を記憶しておき、撮像素子へ入光させる開口を開閉するシャッターの表面を撮像した画像データに基づいて、記憶してある撮像素子ごとのオフセット補正値を更新する。一の遠赤外線撮像装置は、他の遠赤外線撮像装置がオフセット補正値を更新した後、画像データ1フレームに相当する時間以上経過した場合に、オフセット補正値の更新を開始する。このようにすることで、一方の遠赤外線撮像装置にてオフセット補正値を更新してから、少なくとも1フレーム分の画像データを複数の遠赤外線撮像装置から取得することができ、ステレオ視による障害物までの測距が可能となる。また、一方の遠赤外線撮像装置にてオフセット補正値を更新中であっても、他方の遠赤外線撮像装置で撮像された画像を取得することができ、撮像された画像が途切れる状態が発生することを未然に回避することができ、安全な障害物検出システムを実現することが可能となる。   In the first invention and the third invention, parallax images captured by a plurality of far-infrared imaging devices that image the periphery of the vehicle in time series are acquired, and the presence of an obstacle in the image is detected. The far-infrared imaging device includes an offset correction value for correcting an output value for a predetermined temperature for each of a plurality of image sensors arranged in a matrix and a gain correction for correcting a difference between output values for a predetermined temperature change rate for each image sensor. The value is stored, and the stored offset correction value for each image sensor is updated based on the image data obtained by imaging the surface of the shutter that opens and closes the opening that enters the image sensor. One far-infrared imaging device starts updating the offset correction value when a time corresponding to one frame of image data has elapsed after the other far-infrared imaging device has updated the offset correction value. In this way, after updating the offset correction value in one far-infrared imaging device, it is possible to acquire image data for at least one frame from a plurality of far-infrared imaging devices. Ranging up to is possible. In addition, even when the offset correction value is being updated by one far-infrared imaging device, the image captured by the other far-infrared imaging device can be acquired, and the captured image is interrupted. Can be avoided and a safe obstacle detection system can be realized.

第2発明では、一の遠赤外線撮像装置が、オフセット補正値を更新している場合、他の遠赤外線撮像装置は、撮像された画像データから、一の遠赤外線撮像装置がオフセット補正値の更新を開始する前に検出された障害物を抽出し、抽出された障害物の位置の変化を時系列的に記憶する。NUCを実行している場合であっても少なくとも一方の遠赤外線撮像装置の画像を取得することができ、前の画像データに基づいて既に検出されている障害物の移動位置を追尾(トラッキング)することにより、一方の遠赤外線撮像装置にてオフセット補正値を更新中であっても検出された障害物を監視することができ、より安全な障害物検出システムを実現することが可能となる。   In the second invention, when one far-infrared imaging device updates the offset correction value, the other far-infrared imaging device updates the offset correction value from the captured image data. The obstacle detected before starting is extracted, and the change of the position of the extracted obstacle is stored in time series. Even when NUC is executed, an image of at least one far-infrared imaging device can be acquired, and the movement position of an obstacle that has already been detected is tracked (tracked) based on the previous image data. Thus, the detected obstacle can be monitored even when the offset correction value is being updated by one of the far-infrared imaging devices, and a safer obstacle detection system can be realized.

本発明によれば、一方の遠赤外線撮像装置にてオフセット補正値を更新してから、少なくとも1フレーム分の画像データを複数の遠赤外線撮像装置から取得することができ、ステレオ視による障害物までの測距が可能となる。また、一方の遠赤外線撮像装置にてオフセット補正値を更新中であっても、他方の遠赤外線撮像装置で撮像された画像を取得することができ、撮像された画像が途切れる状態が発生することを未然に回避することができ、安全な障害物検出システムを実現することが可能となる。   According to the present invention, after updating the offset correction value in one far-infrared imaging device, it is possible to acquire image data for at least one frame from a plurality of far-infrared imaging devices, up to an obstacle by stereo vision. Ranging is possible. In addition, even when the offset correction value is being updated by one far-infrared imaging device, the image captured by the other far-infrared imaging device can be acquired, and the captured image is interrupted. Can be avoided and a safe obstacle detection system can be realized.

図1は、本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本実施の形態では、走行中に遠赤外線撮像装置で撮像された画像に基づいて車両の前方の障害物、例えば歩行者、自転車等の存在を検出する場合を例として説明する。なお、遠赤外線撮像装置は、波長が7〜14マイクロメートルの赤外光を用いた撮像装置である。   FIG. 1 is a schematic diagram showing a configuration of an obstacle detection system according to an embodiment of the present invention. In the present embodiment, a case will be described as an example in which the presence of an obstacle in front of the vehicle, such as a pedestrian or a bicycle, is detected based on an image captured by a far-infrared imaging device during traveling. The far infrared imaging device is an imaging device using infrared light having a wavelength of 7 to 14 micrometers.

図1において、1、2は、夜間の歩行者、自転車に乗った人間等を撮像する遠赤外線撮像装置である。遠赤外線撮像装置1、2は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。遠赤外線撮像装置1、2で撮像された画像データは、NTSC等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル7を介して接続してある検出装置3へ送信される。   In FIG. 1, reference numerals 1 and 2 denote far-infrared imaging devices that image pedestrians at night, people on bicycles, and the like. The far-infrared imaging devices 1 and 2 are juxtaposed in a substantially horizontal direction at an appropriate length in the front grill of the vehicle. Image data captured by the far-infrared imaging devices 1 and 2 is transmitted to the detection device 3 connected via the video cable 7 corresponding to an analog video system such as NTSC or a digital video system.

検出装置3は、遠赤外線撮像装置1、2の他、操作部を備えた表示装置4とは、NTSC、VGA、DVI等の映像方式に対応したケーブル8を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置5等の出力装置とは、CANに準拠した車載LANケーブル6を介して接続されている。   In addition to the far-infrared imaging devices 1 and 2, the detection device 3 is connected to a display device 4 having an operation unit via a cable 8 corresponding to a video system such as NTSC, VGA, DVI, etc. An output device such as an alarm device 5 that emits an audible warning by a sound effect or the like is connected via an in-vehicle LAN cable 6 compliant with CAN.

図2は、本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置1(2)の構成を示すブロック図である。画像撮像部11は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。赤外光用の撮像素子としては、マイクロマシニング(micromachining)技術を用いた酸化バナジウムのボロメータ型、BST(Barium−Strontium−Titanium)の焦電型等の赤外線センサを用いている。画像撮像部11は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を信号処理部12へ送信する。   FIG. 2 is a block diagram showing a configuration of the far-infrared imaging device 1 (2) of the obstacle detection system according to the embodiment of the present invention. The image pickup unit 11 includes image pickup elements that convert optical signals into electric signals in a matrix. As an imaging device for infrared light, an infrared sensor such as a vanadium oxide bolometer type using a micromachining technique or a BST (Barium-Strontium-Titanium) pyroelectric type sensor is used. The image capturing unit 11 reads an infrared light image around the vehicle as a luminance signal, and transmits the read luminance signal to the signal processing unit 12.

信号処理部12は、LSIであり、画像撮像部11から受信した輝度信号をRGB信号等のデジタル信号に変換し、撮像素子のばらつきを補正する処理、欠陥素子の補正処理、ゲイン制御処理等を行い、画像データとして画像メモリ13へ記憶する。   The signal processing unit 12 is an LSI, converts the luminance signal received from the image imaging unit 11 into a digital signal such as an RGB signal, and performs processing for correcting variations in the imaging device, correction processing for a defective device, gain control processing, and the like. And stored in the image memory 13 as image data.

画像撮像部11は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を、LSI基板である信号処理部12へ送信する。図3は、本発明の実施の形態に係る遠赤外線撮像装置1(2)の信号処理部12の構成を示すブロック図である。信号処理部12は、LSI16が動作を制御するA/D変換部121、NUC(Non-Uniformity Correction)処理部122、BPR(Bad-Pixel Replacement)処理部123、及びフラッシュメモリ等の不揮発性メモリであるRAM125で構成されている。   The image capturing unit 11 reads an infrared light image around the vehicle as a luminance signal, and transmits the read luminance signal to the signal processing unit 12 that is an LSI substrate. FIG. 3 is a block diagram showing the configuration of the signal processing unit 12 of the far-infrared imaging device 1 (2) according to the embodiment of the present invention. The signal processing unit 12 is an A / D conversion unit 121, an NUC (Non-Uniformity Correction) processing unit 122, a BPR (Bad-Pixel Replacement) processing unit 123, and a nonvolatile memory such as a flash memory. It is composed of a certain RAM 125.

信号処理部12は、画像撮像部11から受信した輝度信号をA/D変換部121でデジタル信号に変換し、NUC(Non-Uniformity Correction)処理部122で撮像素子ごとに出力された輝度信号を補正する。   The signal processing unit 12 converts the luminance signal received from the image capturing unit 11 into a digital signal by the A / D conversion unit 121, and outputs the luminance signal output for each image sensor by the NUC (Non-Uniformity Correction) processing unit 122. to correct.

NUC処理部122では、キャリブレーションによる補正係数として、撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値、及び必要に応じて撮像素子ごとに所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、輝度信号を補正する。例えばi行j列のマトリックス状に配列された撮像素子ごとの出力輝度値をVijとした場合、NUC処理部では(数1)に示す演算を行うことにより撮像素子ごとの輝度値をV’ijへ補正する。なお、本実施の形態で「キャリブレーション」とは、黒体炉等の温度分布が略均一で有る対象物を撮像することにより、撮像素子からの出力輝度値のばらつきを補正する処理を意味する。 In the NUC processing unit 122, as a correction coefficient by calibration, an offset correction value for correcting an output value for a predetermined temperature for each image sensor, and an output value difference for a predetermined temperature change rate for each image sensor as necessary. A gain correction value to be corrected is calculated to correct the luminance signal. For example, when the output luminance value for each image sensor arranged in a matrix of i rows and j columns is V ij , the NUC processing unit calculates the luminance value for each image sensor by performing the calculation shown in (Equation 1). Correct to ij . In the present embodiment, “calibration” means processing for correcting variations in output luminance values from the image sensor by imaging an object having a substantially uniform temperature distribution such as a black body furnace. .

Figure 2007336288
Figure 2007336288

(数1)において、Gijはゲイン補正値を、Oijはオフセット補正値を示しており、例えば黒体炉、シャッター等の温度分布が均一である物体を撮像した場合の撮像素子ごとの出力輝度値に基づいて算出した値である。 In (Equation 1), G ij indicates a gain correction value, and O ij indicates an offset correction value. For example, an output for each image sensor when an object having a uniform temperature distribution such as a black body furnace or a shutter is imaged. This is a value calculated based on the luminance value.

本実施の形態では、表面の温度分布が略均一である板状のシャッター72を対物レンズ71と画像撮像部11との間に開閉することが可能に設けてあり、シャッター72が閉じられた状態で撮像した場合の撮像素子ごとの出力輝度値に基づいて、オフセット補正値を随時補正する。なお、図2では、機械式のプレーンシャッターを例に挙げているが、表面の温度分布が均一であれば、どのような構成のシャッターであっても良い。   In the present embodiment, a plate-like shutter 72 having a substantially uniform temperature distribution on the surface is provided so as to be able to open and close between the objective lens 71 and the image pickup unit 11, and the shutter 72 is closed. The offset correction value is corrected as needed based on the output luminance value for each image sensor when the image is picked up. In FIG. 2, a mechanical plain shutter is taken as an example. However, the shutter may have any configuration as long as the temperature distribution on the surface is uniform.

2つの遠赤外線撮像装置1、2の信号処理部12のLSI16は、検出装置3を介して、又は直接通信線を別途接続することにより、互いにデータ通信を行い、2つの遠赤外線撮像装置1、2でシャッター72、72を撮像した場合に出力される輝度値の平均値を両者で一致させる。例えば、遠赤外線撮像装置1を、オフセット補正値を更新する基準となるマスター装置とし、遠赤外線撮像装置2をマスター装置に依存してオフセット補正値を更新するスレーブ装置とした場合、遠赤外線撮像装置2のLSI16は、キャリブレーション実行時にシャッター72を閉じ、遠赤外線撮像装置2で撮像された輝度値の平均値を、遠赤外線撮像装置1で撮像された輝度値の平均値と一致させるようオフセット補正値を更新し、遠赤外線撮像装置2のRAM125に記憶させる。   The LSIs 16 of the signal processing units 12 of the two far-infrared imaging devices 1 and 2 perform data communication with each other via the detection device 3 or by directly connecting a communication line, and the two far-infrared imaging devices 1, 2, the average value of the luminance values output when the shutters 72 and 72 are imaged is matched between the two. For example, when the far-infrared imaging device 1 is a master device that serves as a reference for updating the offset correction value, and the far-infrared imaging device 2 is a slave device that updates the offset correction value depending on the master device, the far-infrared imaging device The LSI 16 of 2 closes the shutter 72 at the time of executing calibration, and offset correction is performed so that the average value of the luminance values captured by the far-infrared imaging device 2 matches the average value of the luminance values captured by the far-infrared imaging device 1. The value is updated and stored in the RAM 125 of the far infrared imaging device 2.

なお、シャッター72、72の表面温度を検出するべく、シャッター72、72の画像撮像部11側の表面に、表面温度を検出する手段、例えば熱電対、サーモパイル、ダイオード型温度センサ等のセンサを取り付け、表面温度の絶対値を揃えるようオフセット補正値及びゲイン補正値を算出しても良い。   In order to detect the surface temperature of the shutters 72, 72, means for detecting the surface temperature, for example, a sensor such as a thermocouple, a thermopile, or a diode type temperature sensor, is attached to the surface of the shutters 72, 72 on the image pickup unit 11 side. Alternatively, the offset correction value and the gain correction value may be calculated so that the absolute values of the surface temperature are made uniform.

信号処理部12のNUC処理部122は、記憶してあるオフセット補正値及びゲイン補正値に基づいて撮像素子ごとに出力された輝度信号を補正する。なお、撮像素子には所定の割合で欠陥が生じている撮像素子が含まれる。したがって、LSI16は、BPR(Bad-Pixel Replacement)処理部123にて、欠陥が生じている撮像素子の出力値を、周囲の撮像素子の出力値を代表する値、例えば欠陥が生じている撮像素子の出力値を除外した周囲の撮像素子の出力値の平均値へ補正する。   The NUC processing unit 122 of the signal processing unit 12 corrects the luminance signal output for each image sensor based on the stored offset correction value and gain correction value. The image sensor includes an image sensor in which defects are generated at a predetermined rate. Therefore, the LSI 16 uses a BPR (Bad-Pixel Replacement) processing unit 123 to set the output value of the image sensor having a defect to a value representative of the output value of the surrounding image sensor, for example, the image sensor having the defect. Is corrected to the average value of the output values of the surrounding image sensors excluding the output value of.

通信インタフェース部14は、LSIであり、NTSC等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル7を介して検出装置3に映像データを出力する。なお、画像データを画像メモリ13へ一時記憶することは必須ではなく、通信インタフェース部14を介して直接検出装置3へ送信しても良いことは言うまでもない。   The communication interface unit 14 is an LSI, and outputs video data to the detection device 3 via a video cable 7 compatible with an analog video system such as NTSC or a digital video system. Needless to say, it is not essential to temporarily store the image data in the image memory 13, and the image data may be directly transmitted to the detection device 3 via the communication interface unit 14.

図4は、本発明の実施の形態に係る障害物検出システムの検出装置3の構成を示すブロック図である。撮像装置インタフェース部31aは、遠赤外線撮像装置1、2から映像信号の入力を行うとともに、キャリブレーション実行時にはシャッター72を撮像した画像の出力輝度値の平均値を遠赤外線撮像装置1、2間で転送する。なお、画像データがデジタル化された状態である場合にはデジタル対応の映像ケーブル7を介して転送され、アナログデータである場合には、別途通信線を接続して転送する。撮像装置インタフェース部31aは、遠赤外線撮像装置1、2から入力された画像データを、1フレーム単位に同期させて画像メモリ32に記憶する。また、映像出力部31bは、映像ケーブル8を介して液晶ディスプレイ等の表示装置4に対して画像データを出力し、通信インタフェース部31cは車載LANケーブル6を介してブザー、スピーカ等の警報装置5に対して合成音等の出力信号を送信する。   FIG. 4 is a block diagram showing the configuration of the detection device 3 of the obstacle detection system according to the embodiment of the present invention. The imaging device interface unit 31 a inputs video signals from the far-infrared imaging devices 1 and 2, and outputs an average value of output luminance values of images captured by the shutter 72 between the far-infrared imaging devices 1 and 2 during calibration. Forward. When the image data is digitized, the image data is transferred via a digital video cable 7. When the image data is analog data, the image data is transferred by connecting a separate communication line. The imaging device interface unit 31a stores the image data input from the far infrared imaging devices 1 and 2 in the image memory 32 in synchronization with one frame unit. The video output unit 31 b outputs image data to the display device 4 such as a liquid crystal display via the video cable 8, and the communication interface unit 31 c outputs an alarm device 5 such as a buzzer and a speaker via the in-vehicle LAN cable 6. An output signal such as a synthesized sound is transmitted.

画像メモリ32は、SRAM、フラッシュメモリ、SDRAM等であり、撮像装置インタフェース部31aを介して遠赤外線撮像装置1から入力された画像データを記憶する。   The image memory 32 is an SRAM, flash memory, SDRAM or the like, and stores image data input from the far-infrared imaging device 1 via the imaging device interface unit 31a.

画像処理を行うLSI33は、画像メモリ32に記憶された画像データをフレーム単位で読出し、遠赤外線撮像装置1から取得した画像データに基づいて、障害物候補領域を特定する。LSI33は、障害物候補領域から特徴量を抽出し、抽出された特徴量に基づいて障害物が存在するか否かを判定する。なお、RAM331は、演算処理の途上で生成したデータ及び算出した障害物の時系列的位置データを記憶する。   The LSI 33 that performs image processing reads the image data stored in the image memory 32 in units of frames, and specifies an obstacle candidate region based on the image data acquired from the far-infrared imaging device 1. The LSI 33 extracts a feature amount from the obstacle candidate region, and determines whether an obstacle exists based on the extracted feature amount. The RAM 331 stores data generated during the arithmetic processing and the calculated time-series position data of the obstacle.

以下、遠赤外線撮像装置1、2でのキャリブレーション処理のタイミング制御について説明する。図5は、本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置1(マスター装置)の信号処理部12のLSI16の処理の手順を示すフローチャートである。   Hereinafter, timing control of calibration processing in the far-infrared imaging devices 1 and 2 will be described. FIG. 5 is a flowchart showing a processing procedure of the LSI 16 of the signal processing unit 12 of the far-infrared imaging device 1 (master device) of the obstacle detection system according to the embodiment of the present invention.

遠赤外線撮像装置1(マスター装置)の信号処理部12のLSI16は、キャリブレーションの実行指示を発行、又は検出装置3から取得し(ステップS501)、前回のキャリブレーションの開始時から所定時間T1が経過したか否かを判断する(ステップS502)。所定時間T1は、遠赤外線撮像装置1でキャリブレーションを開始してから、キャリブレーションに要する時間ΔTに、少なくとも画像データ1フレーム分に相当する時間αを加えた時間T2の倍以上の時間として設定する。   The LSI 16 of the signal processing unit 12 of the far-infrared imaging device 1 (master device) issues a calibration execution instruction or obtains it from the detection device 3 (step S501), and the predetermined time T1 has elapsed from the start of the previous calibration. It is determined whether or not the time has elapsed (step S502). The predetermined time T1 is set as a time more than twice the time T2 obtained by adding at least the time α corresponding to one frame of image data to the time ΔT required for calibration after the far-infrared imaging device 1 starts calibration. To do.

図6は、遠赤外線撮像装置1(マスター装置)での待ち時間(所定時間)T1及び後述する遠赤外線撮像装置2(スレーブ装置)での待ち時間T2を模式的に示す図である。図6の(1)、(2)は、それぞれ遠赤外線撮像装置1、2の処理の時間軸を示しており、ハッチング部分がキャリブレーションの実行時間帯を示している。マスター装置である遠赤外線撮像装置1でキャリブレーションの実行が開始されてから、キャリブレーションに要する時間ΔT及び1フレーム分に相当する時間αが経過するまでは、スレーブ装置である遠赤外線撮像装置2でのキャリブレーションを実行しないよう、遠赤外線撮像装置2のLSI16が制御する。   FIG. 6 is a diagram schematically showing a waiting time (predetermined time) T1 in the far-infrared imaging device 1 (master device) and a waiting time T2 in the far-infrared imaging device 2 (slave device) described later. (1) and (2) in FIG. 6 show the time axes of the processing of the far-infrared imaging devices 1 and 2, respectively, and the hatched portion shows the calibration execution time zone. The far-infrared imaging device 2 that is a slave device until the time ΔT required for calibration and the time α corresponding to one frame elapse after the calibration is started in the far-infrared imaging device 1 that is a master device. The LSI 16 of the far-infrared imaging device 2 controls so as not to execute the calibration.

すなわち、左右の遠赤外線撮像装置1、2で同時にキャリブレーションを実行する場合、シャッター72、72が閉じられることから、周辺の画像が途切れる。したがって、検出装置3による障害物の検出処理も中断することから、キャリブレーション実行時の安全を担保することができない。   In other words, when the calibration is executed simultaneously by the left and right far-infrared imaging devices 1 and 2, the shutters 72 and 72 are closed, and the surrounding images are interrupted. Therefore, since the obstacle detection process by the detection device 3 is also interrupted, safety during calibration execution cannot be ensured.

そこで、本実施の形態では、交互にキャリブレーションを実行すると共に、遠赤外線撮像装置1でのキャリブレーション終了時から遠赤外線撮像装置2でのキャリブレーション開始時までに少なくとも画像データ1フレーム分の時間間隔を空ける。このようにすることで、検出装置3は、常時いずれか一方の画像データを取得することができる。   Therefore, in the present embodiment, calibration is executed alternately, and at least the time corresponding to one frame of image data from the end of calibration in the far infrared imaging device 1 to the start of calibration in the far infrared imaging device 2. Leave an interval. By doing in this way, the detection apparatus 3 can always acquire any one image data.

また、検出装置3は、一方の画像データのみを取得している期間には、既に検出された障害物の動向を追尾する、いわゆるトラッキング処理のみを実行することができる。したがって、検出装置3は、トラッキング処理に入る直前に必ず障害物の検出処理を実行しておく必要がある。そこで、本実施の形態では、遠赤外線撮像装置1でのキャリブレーション終了時から遠赤外線撮像装置2でのキャリブレーション開始時までに少なくとも画像データ1フレーム分の時間間隔を空けるよう制御することにより、検出装置3は、キャリブレーションを実行していない期間に必ず1フレーム分以上の画像データを取得することができ、障害物の検出処理を実行することが可能となる。   In addition, the detection device 3 can execute only a so-called tracking process that tracks the trend of an obstacle that has already been detected during a period in which only one image data is acquired. Therefore, it is necessary for the detection device 3 to execute an obstacle detection process immediately before entering the tracking process. Therefore, in the present embodiment, by controlling to leave at least a time interval of one frame of image data from the end of calibration in the far-infrared imaging device 1 to the start of calibration in the far-infrared imaging device 2, The detection device 3 can always acquire image data for one frame or more during a period in which calibration is not executed, and can execute an obstacle detection process.

同様に、遠赤外線撮像装置2でのキャリブレーション終了時から遠赤外線撮像装置1でのキャリブレーション開始時までにも、少なくとも画像データ1フレーム分の時間間隔を空けることにより、検出装置3は、キャリブレーションを実行していない期間に必ず1フレーム分以上の画像データを取得することができ、障害物の検出処理を実行することができる。したがって、遠赤外線撮像装置1では、一度キャリブレーションを実行してから再度キャリブレーションを実行するまでには、キャリブレーションに要する時間ΔTに、少なくとも画像データ1フレーム分に相当する時間αを加えた時間T2の倍以上の時間間隔を設けることにより、キャリブレーションを交互に実行した場合であっても、検出装置3は、障害物の検出を続行することが可能となる。   Similarly, the detection apparatus 3 is calibrated by providing a time interval of at least one frame of image data from the end of calibration in the far-infrared imaging apparatus 2 to the start of calibration in the far-infrared imaging apparatus 1. The image data for one frame or more can be acquired without fail during the period during which no obstacle is executed, and the obstacle detection process can be executed. Therefore, in the far-infrared imaging device 1, a time obtained by adding a time α corresponding to at least one frame of image data to a time ΔT required for calibration from the time when calibration is performed to the time when calibration is performed again. By providing a time interval that is at least twice as long as T2, the detection device 3 can continue to detect obstacles even when calibration is performed alternately.

LSI16は、前回のキャリブレーションの開始時から所定時間T1が経過するまで待ち状態となり(ステップS502:NO)、LSI16が、所定時間T1が経過したと判断した場合(ステップS502:YES)、LSI16は、内蔵するタイマ等の計時手段をリセットして計時を開始する(ステップS503)。LSI16は、遠赤外線撮像装置2(スレーブ装置)へ、キャリブレーションを開始した旨を示す情報を送信する(ステップS504)。   The LSI 16 waits until the predetermined time T1 has elapsed since the start of the previous calibration (step S502: NO), and if the LSI 16 determines that the predetermined time T1 has elapsed (step S502: YES), the LSI 16 Then, the timing means such as the built-in timer is reset to start timing (step S503). The LSI 16 transmits information indicating that the calibration is started to the far-infrared imaging device 2 (slave device) (step S504).

LSI16は、シャッター72の動作を制御するアクチュエータ(図示せず)に対して、シャッター72の閉止指示を送出する(ステップS505)。閉止指示を受け付けたアクチュエータは、シャッター72を閉止する。   The LSI 16 sends an instruction to close the shutter 72 to an actuator (not shown) that controls the operation of the shutter 72 (step S505). The actuator that has received the closing instruction closes the shutter 72.

LSI16は、シャッター72を閉止した状態で、シャッター72の表面を撮像した画像データを取得し(ステップS506)、平均輝度値を算出する(ステップS507)。LSI16は、算出された平均輝度値に基づいて、撮像素子ごとのバラツキを均一化するオフセット補正値を算出して、RAM125に記憶する(ステップS508)。   The LSI 16 acquires image data obtained by imaging the surface of the shutter 72 with the shutter 72 closed (step S506), and calculates an average luminance value (step S507). Based on the calculated average luminance value, the LSI 16 calculates an offset correction value that makes the variation of each image sensor uniform, and stores it in the RAM 125 (step S508).

LSI16は、RAM125に記憶したオフセット補正値を遠赤外線撮像装置2(スレーブ装置)へ送信して(ステップS509)、シャッター72の動作を制御するアクチュエータ(図示せず)に対して、シャッター72の開放指示を送出する(ステップS510)。開放指示を受け付けたアクチュエータは、シャッター72を開放する。   The LSI 16 transmits the offset correction value stored in the RAM 125 to the far-infrared imaging device 2 (slave device) (step S509), and opens the shutter 72 to an actuator (not shown) that controls the operation of the shutter 72. An instruction is transmitted (step S510). The actuator that has received the opening instruction opens the shutter 72.

図7は、本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置2(スレーブ装置)の信号処理部12のLSI16の処理の手順を示すフローチャートである。遠赤外線撮像装置2(スレーブ装置)の信号処理部12のLSI16は、キャリブレーションの実行指示を発行、又は検出装置3から取得し(ステップS701)、遠赤外線撮像装置1(マスター装置)からのキャリブレーションを開始した旨を示す情報を受信したか否かを判断する(ステップS702)。LSI16は、キャリブレーションを開始した旨を示す情報を受信するまで待ち状態となり(ステップS702:NO)、LSI16が、キャリブレーションを開始した旨を示す情報を受信したと判断した場合(ステップS702:YES)、LSI16は、内蔵するタイマ等の計時手段をリセットして計時を開始する(ステップS703)。   FIG. 7 is a flowchart showing a processing procedure of the LSI 16 of the signal processing unit 12 of the far-infrared imaging device 2 (slave device) of the obstacle detection system according to the embodiment of the present invention. The LSI 16 of the signal processing unit 12 of the far-infrared imaging device 2 (slave device) issues a calibration execution instruction or obtains it from the detection device 3 (step S701), and calibration from the far-infrared imaging device 1 (master device). In step S702, it is determined whether or not information indicating that the communication has started is received. The LSI 16 waits until it receives information indicating that calibration has started (step S702: NO), and if it determines that the LSI 16 has received information indicating that calibration has started (step S702: YES) The LSI 16 resets the time measuring means such as a built-in timer and starts time counting (step S703).

LSI16は、所定時間T2が経過したか否かを判断し(ステップS704)、LSI16は、所定時間T2が経過するまで待ち状態となる(ステップS704:NO)。LSI16が、所定時間T2が経過したと判断した場合(ステップS704:YES)、LSI16は、シャッター72の動作を制御するアクチュエータ(図示せず)に対して、シャッター72の閉止指示を送出する(ステップS705)。閉止指示を受け付けたアクチュエータは、シャッター72を閉止する。   The LSI 16 determines whether or not the predetermined time T2 has elapsed (step S704), and the LSI 16 waits until the predetermined time T2 has elapsed (step S704: NO). If the LSI 16 determines that the predetermined time T2 has elapsed (step S704: YES), the LSI 16 sends an instruction to close the shutter 72 to an actuator (not shown) that controls the operation of the shutter 72 (step S704). S705). The actuator that has received the closing instruction closes the shutter 72.

LSI16は、シャッター72を閉止した状態で、シャッター72の表面を撮像した画像データを取得し(ステップS706)、平均輝度値を算出する(ステップS707)。LSI16は、算出された平均輝度値に基づいて、撮像素子ごとのバラツキを均一化するオフセット補正値を算出する(ステップS708)。   The LSI 16 acquires image data obtained by imaging the surface of the shutter 72 with the shutter 72 closed (step S706), and calculates an average luminance value (step S707). Based on the calculated average luminance value, the LSI 16 calculates an offset correction value that makes the variation of each image sensor uniform (step S708).

LSI16は、遠赤外線撮像装置1(マスター装置)で算出されたオフセット補正値を受信し(ステップS709)、受信したオフセット補正値と、算出されたオフセット補正値とが略一致するか否かを判断する(ステップS710)。LSI16が、両者が一致しないと判断した場合(ステップS710:NO)、LSI16は、遠赤外線撮像装置1(マスター装置)から受信したオフセット補正値をRAM125に記憶する(ステップS711)。これにより、遠赤外線撮像装置1と遠赤外線撮像装置2とで出力される輝度値を略一致させることが可能となる。   The LSI 16 receives the offset correction value calculated by the far-infrared imaging device 1 (master device) (step S709), and determines whether or not the received offset correction value substantially matches the calculated offset correction value. (Step S710). If the LSI 16 determines that the two do not match (step S710: NO), the LSI 16 stores the offset correction value received from the far-infrared imaging device 1 (master device) in the RAM 125 (step S711). As a result, the luminance values output by the far-infrared imaging device 1 and the far-infrared imaging device 2 can be made to substantially match.

LSI16が、両者が略一致すると判断した場合(ステップS710:YES)、LSI16は、算出したオフセット補正値をRAM125に記憶する(ステップS712)。LSI16は、シャッター72の動作を制御するアクチュエータ(図示せず)に対して、シャッター72の開放指示を送出する(ステップS713)。開放指示を受け付けたアクチュエータは、シャッター72を開放する。   When the LSI 16 determines that the two are substantially the same (step S710: YES), the LSI 16 stores the calculated offset correction value in the RAM 125 (step S712). The LSI 16 sends an instruction to open the shutter 72 to an actuator (not shown) that controls the operation of the shutter 72 (step S713). The actuator that has received the opening instruction opens the shutter 72.

なお、遠赤外線撮像装置1、2のオフセット補正値を更新するタイミングは、一定時間間隔であっても良いし、周辺環境の温度変化が所定範囲を超えたことを検出装置3が温度センサ(図示せず)等を介して認識した場合に指示を送信するものであっても良い。   The timing for updating the offset correction values of the far-infrared imaging devices 1 and 2 may be a fixed time interval, or the detection device 3 detects that the temperature change in the surrounding environment has exceeded a predetermined range. An instruction may be transmitted when the information is recognized via a device (not shown).

以上のように本実施の形態によれば、遠赤外線撮像装置1(マスター装置)にてオフセット補正値を更新してから、少なくとも1フレーム分の画像データを左右の遠赤外線撮像装置1、2から取得することができ、ステレオ視による障害物までの測距を含めて障害物の検出を行うことが可能となる。また、遠赤外線撮像装置1(マスター装置)又は遠赤外線撮像装置2(スレーブ装置)にてオフセット補正値を更新中であっても、他方の遠赤外線撮像装置で撮像された画像は確実に取得することができ、撮像された画像が途切れる状態が発生することを未然に回避することができ、安全な障害物検出システムを実現することが可能となる。   As described above, according to the present embodiment, after updating the offset correction value in the far-infrared imaging device 1 (master device), image data for at least one frame is transferred from the left and right far-infrared imaging devices 1 and 2. Obstacles can be detected including distance measurement up to the obstacle by stereo vision. Further, even when the offset correction value is being updated by the far-infrared imaging device 1 (master device) or the far-infrared imaging device 2 (slave device), the image captured by the other far-infrared imaging device is reliably acquired. Therefore, it is possible to avoid a situation in which the captured image is interrupted, and a safe obstacle detection system can be realized.

なお、上述した実施の形態では、遠赤外線撮像装置1、2の信号処理部12のLSI16がオフセット補正値の算出処理を行っているが、特にこれに限定されるものではなく、例えば検出装置3のLSI33が算出処理を行っても良いことは言うまでも無い。   In the above-described embodiment, the LSI 16 of the signal processing unit 12 of the far-infrared imaging devices 1 and 2 performs the offset correction value calculation processing. However, the present invention is not limited to this, and for example, the detection device 3 It goes without saying that the LSI 33 may perform the calculation process.

本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。It is a mimetic diagram showing composition of an obstacle detection system concerning an embodiment of the invention. 本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the far-infrared imaging device of the obstruction detection system which concerns on embodiment of this invention. 本発明の実施の形態に係る遠赤外線撮像装置の信号処理部の構成を示すブロック図である。It is a block diagram which shows the structure of the signal processing part of the far-infrared imaging device which concerns on embodiment of this invention. 本発明の実施の形態に係る障害物検出システムの検出装置の構成を示すブロック図である。It is a block diagram which shows the structure of the detection apparatus of the obstacle detection system which concerns on embodiment of this invention. 本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置(マスター装置)の信号処理部のLSIの処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the process of LSI of the signal processing part of the far-infrared imaging device (master apparatus) of the obstacle detection system which concerns on embodiment of this invention. 遠赤外線撮像装置(マスター装置)での待ち時間T1及び遠赤外線撮像装置(スレーブ装置)での待ち時間T2を模式的に示す図である。It is a figure which shows typically waiting time T1 in a far-infrared imaging device (master device) and waiting time T2 in a far-infrared imaging device (slave device). 本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置(スレーブ装置)の信号処理部のLSIの処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the process of LSI of the signal processing part of the far-infrared imaging device (slave device) of the obstacle detection system which concerns on embodiment of this invention.

符号の説明Explanation of symbols

1 遠赤外線撮像装置(マスター装置)
2 遠赤外線撮像装置(スレーブ装置)
3 検出装置
4 表示装置
5 警報装置
11 画像撮像部
12 信号処理部
13 画像メモリ
14 通信インタフェース部
15 内部バス
16 LSI
121 A/D変換部
122 NUC処理部
123 BPR処理部
125 RAM
1 Far-infrared imaging device (master device)
2 Far-infrared imaging device (slave device)
DESCRIPTION OF SYMBOLS 3 Detection apparatus 4 Display apparatus 5 Alarm apparatus 11 Image pick-up part 12 Signal processing part 13 Image memory 14 Communication interface part 15 Internal bus 16 LSI
121 A / D converter 122 NUC processor 123 BPR processor 125 RAM

Claims (3)

車両の周辺を時系列的に撮像する複数の遠赤外線撮像装置で撮像した視差画像を取得して、画像中の障害物の存在を検出する障害物検出システムにおいて、
前記遠赤外線撮像装置は、
マトリックス状に配列された複数の撮像素子と、
該撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を記憶する手段と、
撮像素子へ入光させる開口を開閉するシャッターの表面を撮像した画像データに基づいて、記憶してある撮像素子ごとのオフセット補正値を更新する手段と
を備え、
一の遠赤外線撮像装置は、他の遠赤外線撮像装置がオフセット補正値を更新した後、画像データ1フレームに相当する時間以上経過した場合に、オフセット補正値の更新を開始するようにしてあることを特徴とする障害物検出システム。
In an obstacle detection system that acquires parallax images captured by a plurality of far-infrared imaging devices that image the periphery of a vehicle in time series, and detects the presence of an obstacle in the image,
The far-infrared imaging device is:
A plurality of imaging devices arranged in a matrix;
Means for storing an offset correction value for correcting an output value for a predetermined temperature for each image sensor and a gain correction value for correcting a difference in output value for a predetermined temperature change rate for each image sensor;
Means for updating an offset correction value for each stored image sensor based on image data obtained by imaging the surface of a shutter that opens and closes an opening for entering the image sensor; and
One far-infrared imaging device starts updating the offset correction value when a time corresponding to one frame of image data has elapsed after the other far-infrared imaging device has updated the offset correction value. Obstacle detection system characterized by
一の遠赤外線撮像装置が、オフセット補正値を更新している場合、他の遠赤外線撮像装置は、撮像された画像データから、前記一の遠赤外線撮像装置がオフセット補正値の更新を開始する前に検出された障害物を抽出し、抽出された障害物の位置の変化を時系列的に記憶するようにしてあることを特徴とする請求項1記載の障害物検出システム。   When one far-infrared imaging device updates the offset correction value, the other far-infrared imaging device uses the captured image data before the one far-infrared imaging device starts updating the offset correction value. 2. The obstacle detection system according to claim 1, wherein the detected obstacle is extracted and changes in the position of the extracted obstacle are stored in time series. 車両の周辺を時系列的に撮像する複数の遠赤外線撮像装置で撮像した視差画像を取得して、画像中の障害物の存在を検出する障害物検出方法において、
前記遠赤外線撮像装置にて、
マトリックス状に配列された複数の撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を記憶し、
撮像素子へ入光させる開口を開閉するシャッターの表面を撮像した画像データに基づいて、記憶してある撮像素子ごとのオフセット補正値を更新し、
一の遠赤外線撮像装置は、他の遠赤外線撮像装置がオフセット補正値を更新した後、画像データ1フレームに相当する時間以上経過した場合に、オフセット補正値の更新を開始することを特徴とする障害物検出方法。
In the obstacle detection method for acquiring parallax images captured by a plurality of far-infrared imaging devices that image the periphery of a vehicle in time series, and detecting the presence of an obstacle in the image,
In the far infrared imaging device,
Storing an offset correction value for correcting an output value for a predetermined temperature for each of a plurality of image sensors arranged in a matrix and a gain correction value for correcting a difference in output value for a predetermined temperature change rate for each image sensor;
Based on the image data obtained by imaging the surface of the shutter that opens and closes the opening for entering the image sensor, the stored offset correction value for each image sensor is updated.
One far-infrared imaging device starts updating an offset correction value when another far-infrared imaging device has updated an offset correction value and a time corresponding to one frame of image data has elapsed. Obstacle detection method.
JP2006166298A 2006-06-15 2006-06-15 Obstacle detection system and obstacle detection method Expired - Fee Related JP4807152B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006166298A JP4807152B2 (en) 2006-06-15 2006-06-15 Obstacle detection system and obstacle detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006166298A JP4807152B2 (en) 2006-06-15 2006-06-15 Obstacle detection system and obstacle detection method

Publications (2)

Publication Number Publication Date
JP2007336288A true JP2007336288A (en) 2007-12-27
JP4807152B2 JP4807152B2 (en) 2011-11-02

Family

ID=38935329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006166298A Expired - Fee Related JP4807152B2 (en) 2006-06-15 2006-06-15 Obstacle detection system and obstacle detection method

Country Status (1)

Country Link
JP (1) JP4807152B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010108182A (en) * 2008-10-29 2010-05-13 Honda Motor Co Ltd Vehicle driving support apparatus
WO2011114624A1 (en) * 2010-03-17 2011-09-22 本田技研工業株式会社 Vehicle surroundings monitoring device
WO2017073348A1 (en) * 2015-10-27 2017-05-04 富士フイルム株式会社 Infrared imaging device, control method for same, and vehicle
US9819925B2 (en) 2014-04-18 2017-11-14 Cnh Industrial America Llc Stereo vision for sensing vehicles operating environment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04225191A (en) * 1990-12-27 1992-08-14 Omron Corp Human organism detector
JPH11211469A (en) * 1998-01-29 1999-08-06 Fuji Heavy Ind Ltd Stereo image processing system
WO2000042399A1 (en) * 1999-01-14 2000-07-20 Matsushita Electric Industrial Co., Ltd. Infrared imaging device, vehicle with the same, and infrared image adjusting device
JP2000341719A (en) * 1999-05-25 2000-12-08 Mitsubishi Electric Corp Stereoscopic camera
JP2005096752A (en) * 1999-01-14 2005-04-14 Matsushita Electric Ind Co Ltd Infrared ray image pickup device, and vehicle with the device mounted thereon
WO2006028180A1 (en) * 2004-09-10 2006-03-16 Matsushita Electric Industrial Co., Ltd. Camera and camera device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04225191A (en) * 1990-12-27 1992-08-14 Omron Corp Human organism detector
JPH11211469A (en) * 1998-01-29 1999-08-06 Fuji Heavy Ind Ltd Stereo image processing system
WO2000042399A1 (en) * 1999-01-14 2000-07-20 Matsushita Electric Industrial Co., Ltd. Infrared imaging device, vehicle with the same, and infrared image adjusting device
JP2005096752A (en) * 1999-01-14 2005-04-14 Matsushita Electric Ind Co Ltd Infrared ray image pickup device, and vehicle with the device mounted thereon
JP2000341719A (en) * 1999-05-25 2000-12-08 Mitsubishi Electric Corp Stereoscopic camera
WO2006028180A1 (en) * 2004-09-10 2006-03-16 Matsushita Electric Industrial Co., Ltd. Camera and camera device

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010108182A (en) * 2008-10-29 2010-05-13 Honda Motor Co Ltd Vehicle driving support apparatus
WO2011114624A1 (en) * 2010-03-17 2011-09-22 本田技研工業株式会社 Vehicle surroundings monitoring device
CN103098110A (en) * 2010-03-17 2013-05-08 本田技研工业株式会社 Vehicle surroundings monitoring device
JPWO2011114624A1 (en) * 2010-03-17 2013-06-27 本田技研工業株式会社 Vehicle periphery monitoring device
US9123247B2 (en) 2010-03-17 2015-09-01 Honda Motor Co., Ltd. Surrounding area monitoring apparatus for vehicle
US9819925B2 (en) 2014-04-18 2017-11-14 Cnh Industrial America Llc Stereo vision for sensing vehicles operating environment
WO2017073348A1 (en) * 2015-10-27 2017-05-04 富士フイルム株式会社 Infrared imaging device, control method for same, and vehicle
JPWO2017073348A1 (en) * 2015-10-27 2018-10-04 富士フイルム株式会社 Infrared imaging device, control method therefor, and vehicle
US10511789B2 (en) 2015-10-27 2019-12-17 Fujifilm Corporation Infrared imaging device, control method thereof, and vehicle

Also Published As

Publication number Publication date
JP4807152B2 (en) 2011-11-02

Similar Documents

Publication Publication Date Title
KR102021999B1 (en) Apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner
US9123247B2 (en) Surrounding area monitoring apparatus for vehicle
JP4910529B2 (en) Obstacle detection system and obstacle detection method
JP4242334B2 (en) Vehicle periphery monitoring device
KR20200018553A (en) Smart phone, vehicle, camera with thermal imaging sensor and display and monitoring method using the same
US20190221004A1 (en) Thermal image processing device, infrared imaging apparatus, thermal image processing method, and thermal image processing program
JP4807152B2 (en) Obstacle detection system and obstacle detection method
US10699386B2 (en) Techniques for scene-based nonuniformity correction in shutterless FIR cameras
JP4742883B2 (en) Far-infrared imaging device and output value correction method
JP6970568B2 (en) Vehicle peripheral monitoring device and peripheral monitoring method
JP5155110B2 (en) Monitoring device
JP2014187496A (en) Fault detection device
JP2008174028A (en) Target detection system and method
JP2007174113A (en) Obstacle detection system and obstacle detection method
KR102347226B1 (en) Fusion sensor data visualization device and method
JP2007087203A (en) Collision determination system, collision determination method, and computer program
JP2007045336A (en) System and method for detecting obstacle
JP2008026999A (en) Obstacle detection system and obstacle detection method
JP2007174112A (en) Far-infrared imaging apparatus and output value correction method
JP4816308B2 (en) Far infrared imaging system and far infrared imaging method
JP4470070B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program
JP2007325120A (en) Far infrared imaging system and far infrared imaging method
JP2008042759A (en) Image processing apparatus
JP2009080003A (en) Imaging apparatus and lens failure diagnosis system
JP2006197015A (en) Night vision imaging apparatus for vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110719

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110801

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140826

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees