JP2003002138A - Method and device for on-vehicle rear monitoring - Google Patents
Method and device for on-vehicle rear monitoringInfo
- Publication number
- JP2003002138A JP2003002138A JP2001185441A JP2001185441A JP2003002138A JP 2003002138 A JP2003002138 A JP 2003002138A JP 2001185441 A JP2001185441 A JP 2001185441A JP 2001185441 A JP2001185441 A JP 2001185441A JP 2003002138 A JP2003002138 A JP 2003002138A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- pattern
- distance
- image processing
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、車両から後方対象
物までの距離をモニタし、警報を発したり、ブレーキア
シスト操作を行なう車載後方監視方法およびその装置に
係り、特に、車両の後方対象物までの距離をステレオ画
像処理で算出し、車両バック時の安全性、信頼性を向上
させた車載後方監視方法および装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an on-vehicle rear monitoring method and device for monitoring a distance from a vehicle to a rear object, issuing an alarm, and performing a brake assist operation, and more particularly to a rear object of the vehicle. The present invention relates to an in-vehicle rear monitoring method and device in which the distance to the vehicle is calculated by stereo image processing to improve safety and reliability when the vehicle is backed up.
【０００２】[0002]
【従来の技術】２台の撮像カメラを用いて計測対象物の
三次元位置を、ステレオ画像処理により求めることがで
きるステレオ計測技術が特開平１１−９４５２７号公報
に示されている。2. Description of the Related Art Japanese Unexamined Patent Publication (Kokai) No. 11-94527 discloses a stereo measurement technique capable of obtaining a three-dimensional position of a measuring object by stereo image processing using two image pickup cameras.
【０００３】このステレオ計測技術を車両に搭載して、
車両バック時に車両の後方を確認し、モニタリングしよ
うとしても、車両から後方対象物までの三次元距離を正
確に測定することができない場合がある。例えば、車庫
が単一色であったり、モノトーンで模様の無い壁であっ
たり、車庫の床面と壁面の境界に角のない丸み処理が施
されたり、また、角の無い物体が設置されている場合に
は、バックカメラとしての撮像カメラで撮像された画像
の特徴点（エッジ）抽出が難しく、テクスチャがないた
め、車両と車庫壁面等の後方対象物までの距離を検出す
ることが困難である。By mounting this stereo measurement technology on a vehicle,
Even if the user tries to check and monitor the rear of the vehicle when the vehicle is backed up, it may not be possible to accurately measure the three-dimensional distance from the vehicle to the rear object. For example, the garage has a single color, is a monotone wall without a pattern, has a corner-free rounding treatment at the boundary between the floor surface and the wall surface of the garage, or has an object without corners installed. In this case, it is difficult to extract the feature points (edges) of the image captured by the image capturing camera as the back camera, and there is no texture, so it is difficult to detect the distance between the vehicle and the rear object such as the garage wall surface. .
【０００４】このため、車両バック時に、運転操作を誤
って車両を後方対象物に接触させたり、衝突させ、車両
を損傷させたり、安全性を損なう虞がある。Therefore, when the vehicle is backed up, there is a risk that the vehicle may be accidentally brought into contact with or collide with a rear object to damage the vehicle or impair safety.
【０００５】車両バック時に、車両を格納する車庫壁面
がモノトーンや無模様であっても、車両を安全に後退さ
せ得るように、リアーランプをパターン照射できるよう
にしたものである。この場合には、車両後部にリアーラ
ンプを取り付け、このリアーランプで、単に可視光のパ
ターン照射を行なったり、また、車両後部の左右に取り
付けられるリアーランプから左右異なる可視光線のパタ
ーン照射を行なうことにより対応している。When the vehicle is backed up, the rear lamp can be patterned so that the vehicle can be safely retracted even if the garage wall surface for storing the vehicle is monotone or non-patterned. In this case, attach a rear lamp to the rear of the vehicle and simply irradiate visible light patterns with this rear lamp, or irradiate different visible light patterns from the left and right rear lamps mounted on the rear of the vehicle. Is supported by.
【０００６】[0006]
【発明が解決しようとする課題】車両後部に取り付けら
れるリアーランプから可視光線のパターン照射を行なう
と、リアーランプの照射により車庫の壁面に形成される
可視光線の照射パターンを運転手が設置物体と見誤って
急ブレーキをかけてしまい、運転操作をスムーズに行な
うことができなかったり、運転手を可視光線の照射パタ
ーンが幻惑させる虞があった。When the visible light pattern irradiation is performed from the rear lamp mounted on the rear part of the vehicle, the driver sets the visible light irradiation pattern formed on the wall surface of the garage by the irradiation of the rear lamp as an object to be installed by the driver. Accidentally applying a sudden brake, the driver may not be able to smoothly perform a driving operation, or the driver may be dazzled by the visible light irradiation pattern.
【０００７】また、従来の車載後方監視装置は、車両後
部に設けられた撮像カメラで車両後方のカメラ画像を撮
像し、撮像されたカメラ画像を運転席のテレビモニタ等
に表示するようになっているが、車両後方のカメラ画像
をテレビモニタ表示するだけである。車両が後方対象物
の壁面等に画像を接近した場合には、別のセンサにて後
方対象物への接近を検知し、アラーム発生装置にて警報
を発するようにしたものがあるが、車載後方監視装置か
ら独立したセンサ手段等を別途設ける必要があり、煩雑
であった。Further, the conventional vehicle-mounted rear monitoring device is adapted to capture a camera image behind the vehicle with an image capturing camera provided at the rear of the vehicle and display the captured camera image on a television monitor or the like in the driver's seat. However, it only displays the camera image behind the vehicle on the TV monitor. When a vehicle approaches an image on the wall surface of a rear target object, another sensor detects the approach to the rear target object and issues an alarm with an alarm generator. This is complicated because it is necessary to separately provide a sensor unit or the like independent of the monitoring device.
【０００８】本発明は、上述した事情を考慮してなされ
たもので、不可視光線を用いて車両から後方対象物まで
の距離を迅速に算出し、警報を発生したり、ブレーキア
シスト操作を行なって車両バック時の運転支援を行なう
車載後方監視方法およびその装置を提供することを目的
とする。The present invention has been made in consideration of the above-mentioned circumstances, and uses the invisible light rays to quickly calculate the distance from the vehicle to the rear target object to issue an alarm or perform a brake assist operation. An object of the present invention is to provide a vehicle-mounted rearward monitoring method and a device therefor that provide driving assistance when the vehicle is backed up.
【０００９】本発明の他の目的は、不可視光線のアクテ
ィブパターン画像から特徴点を抽出してステレオ画像処
理し、車両から後方対象物までの距離を正確かつ迅速に
算出し、警報を発したり、ブレーキアシスト操作を行な
って車両バック時の安全性、信頼性を向上させた車載後
方監視方法およびその装置を提供するにある。Another object of the present invention is to extract feature points from an invisible light active pattern image and perform stereo image processing to accurately and speedily calculate the distance from the vehicle to the rear object, issue an alarm, It is an object of the present invention to provide a vehicle-mounted rearward monitoring method and its apparatus, which are improved in safety and reliability when the vehicle is backed by performing a brake assist operation.
【００１０】[0010]
【課題を解決するための手段】本発明に係る車載後方監
視方法は、上述した課題を解決するために、請求項１に
記載したように、車両バック時にバック照射光源から少
なくとも不可視光線のアクティブパターンを車両後方に
向けて照射し、上記アクティブパターンが照射された車
両後方のパターンカメラ画像を第１および第２の撮像手
段で撮像し、上記第１および第２の撮像手段で撮像され
た両パターンカメラ画像を用いてステレオ画像処理を行
ない、このステレオ画像処理により車両から後方対象物
までの距離を算出し、算出された後方対象物までの距離
が所定値に達したとき、出力装置から出力信号を出力し
て警報を発したりあるいはブレーキアシスト操作を行な
う方法である。In order to solve the above-mentioned problems, an in-vehicle rear monitoring method according to the present invention, as set forth in claim 1, has an active pattern of at least an invisible ray from a back irradiation light source when the vehicle is backed up. Are radiated toward the rear of the vehicle, the pattern camera image of the rear of the vehicle to which the active pattern is radiated is captured by the first and second image capturing means, and both patterns are captured by the first and second image capturing means. Perform stereo image processing using the camera image, calculate the distance from the vehicle to the rear target object by this stereo image processing, and output signal from the output device when the calculated distance to the rear target object reaches a predetermined value. Is output to issue an alarm or perform a brake assist operation.
【００１１】また、本発明に係る車載後方監視装置は、
上述した課題を解決するために、請求項３に記載したよ
うに、車両後部に設けられ、車両後方に向けて少なくと
も不可視光線のアクティブパターンを照射するバック照
射光源と、このバック照射光源から車両高さ方向および
車両幅方向の少なくとも一方に変位した位置に設けられ
た第１および第２の撮像手段と、上記第１および第２の
撮像手段で撮像された両パターンカメラ画像を用いてス
テレオ画像処理により車両の後方対象物までの距離を算
出するステレオ画像処理手段と、このステレオ画像処理
手段で算出された車両と後方対象物との距離が所定値に
達したとき、アラーム発生装置あるいはブレーキアシス
ト装置を作動させる出力信号を出力する出力装置とを備
えたものである。The on-vehicle rear monitoring device according to the present invention is
In order to solve the above-mentioned problem, as described in claim 3, a back irradiation light source which is provided at a rear portion of the vehicle and irradiates an active pattern of at least an invisible light toward the rear of the vehicle, and a vehicle height from the back irradiation light source. Stereo image processing using first and second imaging means provided at positions displaced in at least one of the vertical direction and the vehicle width direction, and both pattern camera images captured by the first and second imaging means Stereo image processing means for calculating the distance to the rear object of the vehicle by means of an alarm generation device or brake assist device when the distance between the vehicle and the rear object calculated by the stereo image processing means reaches a predetermined value. And an output device for outputting an output signal for operating the.
【００１２】さらに、上述した課題を解決するために、
本発明に係る車載後方監視装置は、請求項４に記載した
ように、前記バック照射光源ならびに第１および第２の
撮像手段はクラッチ機構のリアー操作に連動してＯＮ操
作される一方、前記バック照射手段は可視光線より光波
長の長い近赤外線あるいは赤外線の不可視光線を照射さ
せるようにしたものであったり、また、請求項５に記載
したように、前記バック照射光源は車両後部の車両幅方
向中央部に、前記第１および第２の撮像手段は車両後部
の車両幅方向両側部にそれぞれ設けられ、上記バック照
射光源と第１および第２の撮像手段とは車両高さ方向を
異にしたものである。Further, in order to solve the above-mentioned problems,
In the vehicle-mounted rear monitoring device according to the present invention, as described in claim 4, the back irradiation light source and the first and second imaging means are turned on in conjunction with the rear operation of the clutch mechanism, and The irradiating means may irradiate near-infrared rays or infrared invisible rays having a light wavelength longer than that of visible rays. Further, as described in claim 5, the back irradiation light source is the vehicle width direction at the rear of the vehicle. In the central portion, the first and second imaging means are provided on both sides of the vehicle rear portion in the vehicle width direction, and the back irradiation light source and the first and second imaging means have different vehicle height directions. It is a thing.
【００１３】一方、本発明に係る車載後方監視方法は、
上述した課題を解決するために、請求項６に記載したよ
うに、車両バック時にバック照射光源から車両後方に向
けて少なくとも不可視光線のアクティブパターンを照射
し、上記アクティブパターンが照射された車両後方のパ
ターンカメラ画像を撮像手段で所要時間差をおいて順次
撮像し、上記所要時間差で撮像された両パターンカメラ
画像を用いて所定時間差分の車両の後方移動量を算出し
てモーションステレオ画像処理により車両の後方対象物
までの距離を算出し、算出された後方対象物までの距離
が所定値に達したとき、出力装置から出力信号を出力し
て警報を発したりあるいはブレーキアシスト操作を行な
う方法である。On the other hand, the on-vehicle rear monitoring method according to the present invention is
In order to solve the above-mentioned problem, as described in claim 6, at the time of vehicle back, the back irradiation light source irradiates at least an invisible light active pattern toward the rear of the vehicle, and the active pattern of the rear of the vehicle is irradiated. The pattern camera images are sequentially captured by the image capturing means with a required time difference, the backward movement amount of the vehicle of a predetermined time difference is calculated using both pattern camera images captured with the required time difference, and the vehicle is subjected to motion stereo image processing. This is a method of calculating a distance to a rear target object and outputting an output signal from an output device to issue an alarm or perform a brake assist operation when the calculated distance to the rear target object reaches a predetermined value.
【００１４】さらに、本発明に係る車載後方監視装置
は、上述した課題を解決するために、請求項７に記載し
たように、車両の後部に設けられ、車両後方に向けて少
なくとも不可視光線のアクティブパターンを照射するバ
ック照射光源と、このバック照射光源から車両高さ方向
および車両幅方向の少なくとも一方に変位した位置に設
けられた撮像手段と、この撮像手段で車両バック時に所
要の時間差をおいて撮像された両パターンカメラ画像を
用いて上記時間差分の車両の後方移動量を算出してモー
ションステレオ画像処理により車両の後方対象物までの
距離を算出するステレオ画像処理手段と、このステレオ
画像処理手段で算出された車両と後方対象物との距離が
所定値に達したとき、アラーム発生装置あるいはブレー
キアシスト操作を作動させる出力信号を出力する出力装
置とを備えたものである。Further, in order to solve the above-mentioned problems, the vehicle-mounted rear monitoring device according to the present invention is provided in the rear portion of the vehicle, and at least an invisible ray active toward the rear of the vehicle. A back irradiation light source for irradiating a pattern, an imaging means provided at a position displaced from the back irradiation light source in at least one of a vehicle height direction and a vehicle width direction, and a time difference required when the vehicle is backed by this imaging means. Stereo image processing means for calculating the distance to the rear object of the vehicle by motion stereo image processing by calculating the backward movement amount of the vehicle of the time difference using the captured both pattern camera images, and the stereo image processing means. When the distance between the vehicle and the rear object calculated in step 2 reaches a predetermined value, the alarm generator or brake assist operation is activated. It is obtained by an output device and for outputting an output signal to be.
【００１５】他方、本発明に係る車載後方監視方法は、
上述した課題を解決するために、請求項８に記載したよ
うに、車両バック時に車両幅方向両側設置の第１および
第２バック照射光源から車両後方に向けて少なくとも不
可視光線のアクティブパターンを交互に照射し、上記ア
クティブパターンが交互に照射された車両後方のパター
ンカメラ画像を撮像手段で順次撮像し、撮像手段で撮像
された第１および第２バック照射光源からの照射による
両パターンカメラ画像の特徴点を抽出して対応付けし、
照度差ステレオ画像処理により車両から後方対象物まで
の距離を算出し、算出された後方対象物までの距離が所
定値に達したとき、出力装置から出力信号を出力して警
報を発したりあるいはブレーキアシスト操作を行なう方
法である。On the other hand, the on-vehicle rear monitoring method according to the present invention is
In order to solve the above-mentioned problem, as described in claim 8, at the time of vehicle backing, at least active patterns of invisible rays are alternately arranged from the first and second back irradiation light sources installed on both sides in the vehicle width direction toward the rear of the vehicle. Characteristics of both pattern camera images obtained by irradiating and illuminating the pattern camera images in the rear of the vehicle on which the active patterns are alternately illuminated by the image capturing means, and by irradiating the first and second back illuminating light sources captured by the image capturing means. Extract and associate points,
The distance from the vehicle to the rear object is calculated by photometric stereo image processing, and when the calculated distance to the rear object reaches a predetermined value, an output signal is output from the output device to issue an alarm or brake. This is a method of performing an assist operation.
【００１６】また、本発明に係る車載後方監視装置は、
上述した課題を解決するために、請求項９に記載したよ
うに、車両後部の車両幅方向両側にそれぞれ設けられ、
車両後方に向けて少なくとも不可視光線のアクティブパ
ターンを交互に照射する第１および第２バック照射光源
と、上記両バック照射光源から車両高さ方向および車両
幅方向の少なくとも一方に変位して設けられた撮像手段
と、この撮像手段で撮像された両バック照射光源からの
照射によるパターンカメラ画像を用いて照度差ステレオ
画像処理により車両の後方対象物までの距離を算出する
ステレオ画像処理手段と、このステレオ画像処理手段で
算出された車両と後方対象物との距離が所定値に達した
とき、アラーム発生装置あるいはブレーキアシスト装置
を作動させる出力信号を出力する出力装置とを備えたも
のである。The on-vehicle rear monitoring device according to the present invention is
In order to solve the above-mentioned problem, as described in claim 9, the vehicle rear portion is provided on both sides in the vehicle width direction,
First and second back irradiation light sources that alternately irradiate at least an invisible light active pattern toward the rear of the vehicle, and are provided so as to be displaced from at least one of the vehicle height direction and the vehicle width direction from the both back irradiation light sources. An image pickup means, a stereo image processing means for calculating a distance to an object behind the vehicle by photometric stereo image processing using pattern camera images obtained by irradiation from both back irradiation light sources imaged by the image pickup means, and the stereo image processing means. It is provided with an output device for outputting an output signal for operating the alarm generator or the brake assist device when the distance between the vehicle and the rear object calculated by the image processing means reaches a predetermined value.
【００１７】また、本発明に係る車載後方監視装置は、
上述した課題を解決するために、請求項１０に記載した
ように、第１および第２バック照射光源は、車両後部に
設けられたリアーランプであり、上記両バック照射光源
から近赤外線あるいは赤外線の不可視光線を照射させる
一方、前記監視手段は第１および第２バック照射手段と
車両高さ方向が異なる車両幅方向中央部に設けられたも
のである。Further, the vehicle-mounted rear monitoring device according to the present invention is
In order to solve the above-mentioned problems, as described in claim 10, the first and second back irradiation light sources are rear lamps provided at a rear part of the vehicle, and the rear irradiation light sources emit near infrared rays or infrared rays. While the invisible light is emitted, the monitoring means is provided at the vehicle width direction central portion in which the vehicle height direction is different from the first and second back irradiation means.
【００１８】[0018]
【発明の実施の形態】本発明に係る車載後方監視方法お
よびその装置の実施の形態について添付図面を参照して
説明する。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of a vehicle-mounted rearward monitoring method and apparatus according to the present invention will be described with reference to the accompanying drawings.
【００１９】図１は、本発明に係る車載後方監視装置の
第１実施形態を示す概略図である。この車載後方監視装
置１０は、車両１１の後部に取り付けられるバック照射
光源としてのバックランプ１２と、このバックランプ１
２から車両の高さ方向および幅方向に変位して取り付け
られた左右一対の撮像手段としての撮像カメラ１３，１
４とを有する。FIG. 1 is a schematic view showing a first embodiment of a vehicle-mounted rear monitoring device according to the present invention. The on-vehicle rear monitoring device 10 includes a back lamp 12 as a back irradiation light source that is attached to a rear portion of a vehicle 11, and the back lamp 1.
Imaging cameras 13 and 1 as a pair of left and right imaging means that are attached by being displaced from 2 in the vehicle height and width directions.
4 and.
【００２０】バックランプ１２は例えば車両後部の車幅
方向中央部に設置され、車両後方に向けて不可視光線の
アクティブパターンを照射するようになっている。バッ
クランプ１２から照射されるアクティブパターンは人工
的に作られる不可視光線、例えば近赤外線や赤外線によ
るパターンであり、アクティブパターンには例えば円形
パターン、矩形パターン、井桁パターン、バーコードパ
ターン、二次元バーコードパターン、市松模様等があ
り、適宜パターン選択される。アクティブパターンはス
トロボ発光により照射し、このストロボ発光と同期させ
て撮像カメラ１３，１４によりシャッタ撮影する。この
撮影により、外光とのＳＮ比の改善が図れる。The back lamp 12 is installed, for example, in the center of the rear of the vehicle in the vehicle width direction, and irradiates an active pattern of invisible rays toward the rear of the vehicle. The active pattern emitted from the back lamp 12 is an artificially created invisible light ray, for example, a pattern of near infrared rays or infrared rays, and the active pattern includes, for example, a circular pattern, a rectangular pattern, a double girder pattern, a barcode pattern, a two-dimensional barcode. There are a pattern, a checkered pattern, etc., and the pattern is appropriately selected. The active pattern is emitted by stroboscopic light emission, and the shutter photographing is performed by the imaging cameras 13 and 14 in synchronization with the stroboscopic light emission. This photographing can improve the SN ratio with respect to outside light.
【００２１】また、不可視光線には、約３８０ｎｍ〜約
７８０ｎｍの波長域の可視光線より長波長域の近赤外
線、赤外線あるいは遠赤外線が用いられる。As the invisible light, near infrared rays, infrared rays or far infrared rays having a wavelength range longer than that of visible light in the wavelength range of about 380 nm to about 780 nm is used.
【００２２】第１および第２の撮像手段としての撮像カ
メラ１３，１４は、バック照射光源１２からの照射光を
視差をもって確認できるようにするために、バック照射
光源１２から車両１１の高さ方向および車幅方向の少な
くとも一方に変位した位置に設置される。具体的には、
車幅方向中央下部に設置されるバック照射光源１２と車
両高さ方向および車両幅方向に最も離れた位置に撮像カ
メラ１３，１４を設置することが、視差を大きくとれる
意味で好ましい。バック照射光源１２は車両の車両幅方
向両側のリアーランプで形成してもよい。The image pickup cameras 13 and 14 as the first and second image pickup means are arranged in the height direction of the vehicle 11 from the back irradiation light source 12 so that the irradiation light from the back irradiation light source 12 can be confirmed with parallax. And is installed at a position displaced in at least one of the vehicle width direction. In particular,
It is preferable to install the imaging cameras 13 and 14 at a position most distant from the back irradiation light source 12 installed in the lower center of the vehicle width direction in the vehicle height direction and the vehicle width direction in order to obtain a large parallax. The back irradiation light source 12 may be formed by rear lamps on both sides of the vehicle in the vehicle width direction.
【００２３】図１に示された車載後方監視装置１０は、
２台の撮像カメラを用いた２眼ステレオ画像処理方式に
よって、車両１１から後方対象物までの距離が計測され
る。The vehicle-mounted rear monitoring device 10 shown in FIG.
The distance from the vehicle 11 to the rear object is measured by a twin-lens stereo image processing method using two imaging cameras.
【００２４】車載後方監視装置１０は、図２に示すよう
なステレオ画像処理のための機能ブロック図を備える。The vehicle-mounted rear monitoring device 10 has a functional block diagram for stereo image processing as shown in FIG.
【００２５】この車載後方監視装置１０は、車両１１の
クラッチ手段１６におけるクラッチレバー１７のリアー
操作に連動して作動制御せしめられ、クラッチレバー１
７をリアー操作すると、リアー操作信号がＣＰＵ等の発
光制御部１８に入力され、発光制御部１８はバック照射
光源１２に発光照射信号を送り、このバック照射光源１
２から不可視光線、例えば近赤外線のアクティブパター
ンが後方に向けて照射される。また、クラッチ手段１６
のリアー操作に連動してバック照射光源１２や第１およ
び第２撮像手段１３，１４がＯＮ操作されるようになっ
ている。This on-vehicle rear monitoring device 10 is operated and controlled in conjunction with the rear operation of the clutch lever 17 in the clutch means 16 of the vehicle 11, and the clutch lever 1
When the rear operation of 7 is performed, a rear operation signal is input to the light emission control unit 18 such as a CPU, and the light emission control unit 18 sends a light emission irradiation signal to the back irradiation light source 12, and the back irradiation light source 1
An active pattern of invisible rays, for example, near infrared rays, is emitted from 2 toward the rear. Also, the clutch means 16
The back irradiation light source 12 and the first and second image pickup means 13 and 14 are turned on in conjunction with the rear operation.
【００２６】図３（Ａ）および（Ｂ）は、バック照射光
源１２から井桁マークのアクティブパターン２０を照射
した例を示す。バック照射光源１２から照射された井桁
マークのアクティブパターン２０は人の目では確認でき
ないが、左右一対の第１および第２の撮像カメラ１３，
１４（図１参照）で確認することができる。図３（Ａ）
は第１の撮像カメラ１３で撮像されたパターンカメラ画
像を、図３（Ｂ）は第２の撮像カメラ１４で撮像された
パターンカメラ画像を示す。3 (A) and 3 (B) show an example in which the back irradiation light source 12 irradiates the active pattern 20 of the cross mark. Although the active pattern 20 of the double girder mark emitted from the back irradiation light source 12 cannot be visually confirmed, a pair of left and right first and second imaging cameras 13,
14 (see FIG. 1). Figure 3 (A)
Shows a pattern camera image taken by the first imaging camera 13, and FIG. 3B shows a pattern camera image taken by the second imaging camera 14.
【００２７】第１および第２の撮像カメラ１３，１４で
逐次あるいは連続的に撮像されたパターンカメラ画像の
アナログ信号は、Ａ／Ｄバッファ２２，２３によりデジ
タル信号に変換されてバッファ処理され、ステレオ画像
処理手段２４に逐次あるいは連続的に入力される。各Ａ
／Ｄバッファ２２，２３からステレオ画像処理手段２４
に送られるデジタル画像信号は、発光制御部１８からの
シンクロナイズド信号を受けて同期化され、対応探索部
２５に入力される。Analog signals of pattern camera images sequentially or continuously picked up by the first and second image pickup cameras 13 and 14 are converted into digital signals by the A / D buffers 22 and 23, buffered, and stereo processed. It is input to the image processing means 24 sequentially or continuously. Each A
/ D buffers 22 and 23 to stereo image processing means 24
The digital image signal sent to is synchronized with the synchronized signal received from the light emission control unit 18, and input to the correspondence search unit 25.
【００２８】ステレオ画像処理手段２４は、ステレオカ
メラとしての２台の撮像カメラ１３，１４、バック照射
光源１２の位置関係が予め知られている。２台の撮像カ
メラ１３，１４の位置関係が既知であれば、三角測量の
原理により、撮像カメラから後方対象物までの三次元距
離が計算可能である。また、２台の撮像カメラ１３，１
４の位置関係が未知の場合であっても、画像中の特徴点
の時間的な移動量を解析することで、２台の撮像カメラ
が後方対象物に衝突するまでの時間（Ｔｉｍｅｔｏ Ｃ
ｏｎｔａｃｔ）を計算することが可能である。このこと
は一般的なステレオ画像処理技術として知られている。In the stereo image processing means 24, the positional relationship between the two image pickup cameras 13 and 14 as a stereo camera and the back irradiation light source 12 is known in advance. If the positional relationship between the two image pickup cameras 13 and 14 is known, the three-dimensional distance from the image pickup camera to the rear object can be calculated by the principle of triangulation. In addition, the two imaging cameras 13 and 1
Even if the positional relationship of 4 is unknown, the time until the two imaging cameras collide with the rear target object (Time to C
ontact) can be calculated. This is known as a general stereo image processing technique.
【００２９】すなわち、２台の撮像カメラ１３，１４の
相対位置関係が既知であれば三角測量の原理によって後
方対象物までの三次元距離が測定できるし、２台の撮像
カメラ１３，１４の相対位置関係が未知であっても、画
像から抽出したパターンの時間的な動きを解析すること
で、後方対象物までの衝突時間（Ｔｉｍｅ ｔｏ Ｃｏ
ｎｔａｃｔ）が計算できる。したがって、例えば２台の
撮像カメラ１３，１４の相対位置が既知の条件であれ
ば、後方対象物までの距離が例えば１ｍ以内になったと
きにアラームを発信するシステムを構成すればよいし、
２台の撮像カメラ１３，１４の相対位置が未知の条件で
あれば、後方対象物に衝突するまでの時間が例えば１秒
以内になったときにアラームを発信するシステムを構成
すればよい。いずれの条件でも所期の目的を達成できる
車載後方監視システムが構成できる。That is, if the relative positional relationship between the two image pickup cameras 13 and 14 is known, the three-dimensional distance to the rear object can be measured by the principle of triangulation, and the relative distance between the two image pickup cameras 13 and 14. Even if the positional relationship is unknown, by analyzing the temporal movement of the pattern extracted from the image, the collision time (Time to Co
ntact) can be calculated. Therefore, for example, if the relative positions of the two imaging cameras 13 and 14 are known, a system may be configured to issue an alarm when the distance to the rear object is within 1 m, for example.
If the relative positions of the two image pickup cameras 13 and 14 are unknown, a system may be configured to issue an alarm when the time until a collision with a rear target object is within 1 second, for example. An in-vehicle rear monitoring system that can achieve the intended purpose under any condition can be configured.
【００３０】ステレオ画像処理手段２４は、ステレオ撮
像カメラを用いた三次元計測であり、図３（Ａ）および
（Ｂ）に示すように、２つの撮像カメラ１３，１４のパ
ターンカメラ画像の座標値Ａｒ（ｘａｒ，ｙａｒ），Ａ
ｌ（ｘａｌ，ｙａｌ）から測定対象物カメラ（後方対象
物）である壁の三次元位置Ａ（ｘａ，ｘｂ，ｘｃ）を求
めることができる。ここで、座標値ＡｒとＡｌは、測定
対象物を第１の撮像カメラ１３および第２の撮像カメラ
１４でそれぞれ撮像したパターンカメラ画像上の二次元
座標表示であり、左右のパターンカメラ画像上で同じ測
定対象物（の同じ位置）を示している。すなわち、座標
値ＡｒとＡｌとは、同じ位置の測定対象物の位置表示を
した対応点の関係となっている。座標値ＢｒとＢｌ，Ｃ
ｒとＣｌも同様に対応点の関係になっている。The stereo image processing means 24 is a three-dimensional measurement using a stereo image pickup camera, and as shown in FIGS. 3A and 3B, coordinate values of pattern camera images of the two image pickup cameras 13 and 14. Ar (xar, yar), A
The three-dimensional position A (xa, xb, xc) of the wall which is the measurement object camera (rear object) can be obtained from l (xal, yal). Here, the coordinate values Ar and Al are two-dimensional coordinate displays on the pattern camera images obtained by capturing the object to be measured by the first image capturing camera 13 and the second image capturing camera 14, respectively. The same measurement object (at the same position) is shown. That is, the coordinate values Ar and Al are in a relationship of corresponding points displaying the position of the measurement object at the same position. Coordinates Br and Bl, C
Similarly, r and Cl also have a corresponding point relationship.
【００３１】ステレオ画像処理手段２４は、対応探索部
２６を有し、この対応探索部２６で各撮像カメラ１３，
１４で撮像したパターンカメラ画像から特徴点Ａｒ，Ｂ
ｒ，Ｃｒ；Ａｌ，Ｂｌ，Ｃｌを抽出し、各特徴点Ａｒ，
Ａｌ；Ａｒ，Ａｌ；Ａｒ，Ａｌを対応付けしている。The stereo image processing means 24 has a correspondence search unit 26, and the correspondence search unit 26 uses each of the image pickup cameras 13,
From the pattern camera image captured in 14, the characteristic points Ar, B
r, Cr; Al, Bl, Cl are extracted, and each feature point Ar,
Al; Ar, Al; Ar, Al are associated with each other.
【００３２】パターンカメラ画像の特徴点は、アクティ
ブパターンの床面２７と壁面２８の交差部分（エッジ部
分）に、特徴点Ｃは床面２７と停止ブロック２９とのエ
ッジ部分にそれぞれ表われる。したがって、床面２７と
壁面２８がモノトーンかつ無模様で形成されていても、
不可視光線のアクティブパターン２０の照射により、ア
クティブパターン２０の折曲点（あるいは折曲線）を容
易にかつ確実に検出でき、この折曲点を特徴点Ａｒ，Ｂ
ｒ，Ｃｒ；Ａｌ，Ｂｌ，Ｃｌとして容易に抽出できる。The characteristic points of the pattern camera image appear at the intersection (edge portion) of the floor surface 27 and the wall surface 28 of the active pattern, and the characteristic point C appears at the edge portion of the floor surface 27 and the stop block 29. Therefore, even if the floor surface 27 and the wall surface 28 are formed in a monotone and no pattern,
By irradiating the active pattern 20 with an invisible light ray, a bending point (or a bending curve) of the active pattern 20 can be easily and surely detected, and this bending point can be detected as the characteristic points Ar and B.
It can be easily extracted as r, Cr; Al, Bl, Cl.
【００３３】両撮像カメラ１３，１４で撮像されるパタ
ーンカメラ画像から各特徴点を抽出する一方、各特徴点
の対応付けを対応探索部２６で行なっている。Each feature point is extracted from the pattern camera images picked up by the two image pickup cameras 13 and 14, and the correspondence search unit 26 associates each feature point.
【００３４】対応探索部２６における特徴点の対応付け
は、例えばパターンマッチング法により、両撮像カメラ
１３，１４のパターンカメラ画像を比較し、パターンを
マッチングさせることにより行なわれる。The correspondence between the feature points in the correspondence search unit 26 is performed by comparing the pattern camera images of the two imaging cameras 13 and 14 and matching the patterns by, for example, a pattern matching method.
【００３５】対応探索部２６でパターンカメラ画像の各
特徴点の対応付けが行なわれた信号は、続いて距離算出
部３０に入力され、この距離算出部３０でカメラパラメ
ータ３１からのパラメータカメラ情報と比較演算され、
撮像カメラ１３，１４と測定対象物の三次元の立体距離
が算出される。算出された立体距離は、距離算出部３０
に内蔵された距離較正部により補正され、車両後端部か
ら後方対象物、例えば車庫の後壁面までの距離が算出さ
れる。The signal obtained by associating the feature points of the pattern camera image with the correspondence search unit 26 is subsequently input to the distance calculation unit 30 and the distance calculation unit 30 receives the parameter camera information from the camera parameter 31. Is calculated and
The three-dimensional solid distance between the imaging cameras 13 and 14 and the measuring object is calculated. The calculated solid distance is the distance calculation unit 30.
The distance from the rear end of the vehicle to the rear target object, for example, the rear wall surface of the garage is calculated by being corrected by the distance calibration unit incorporated in the vehicle.
【００３６】距離算出部３０で算出された車両後端部か
ら後方対象物（測定対象物）までの距離が所定値、例え
ば１ｍあるいはそれ以下になると出力装置３３から出力
信号が出力される。この出力信号によりアラーム発生装
置３４を作動させ、警報を発し、運転者に車両後方に対
象物が接近していることを知らせ、注意を喚起させた
り、また、テレビモニタ等の表示装置３５に後方対象物
が存在することを文字あるいは画像表示したり、さら
に、ブレーキアシスト装置３６でブレーキ装置の作動を
アシストし、運転者のブレーキ操作の有無に拘らず、ブ
レーキ操作をアシストし、車両１１を制動させるように
なっている。When the distance from the rear end of the vehicle to the rear object (measurement object) calculated by the distance calculation unit 30 reaches a predetermined value, for example, 1 m or less, an output signal is output from the output device 33. This output signal activates the alarm generator 34 to issue an alarm to inform the driver that an object is approaching the rear of the vehicle to call attention to the driver, or to cause the display device 35 such as a television monitor to rearward. The existence of the object is displayed in characters or images, and further, the brake assist device 36 assists the operation of the brake device to assist the brake operation regardless of the driver's brake operation, and brake the vehicle 11. It is designed to let you.
【００３７】また、ステレオ画像処理手段２４のカメラ
パターン３１には、撮像カメラ１３，１４の取付角度
（パン角度，チルト角度），画角，焦点距離，両撮像カ
メラ１３，１４間の距離，両撮像カメラ１３，１４とバ
ックランプ１２との距離等の種々の既知のパラメータが
予め格納されている。このため、車両１１の後部に設置
された第１および第２撮像手段１３，１４は、車両１１
の後端部から所定距離、例えば１ｍ離れた時点以降で、
車両１１の後方投影面全体を撮像できるように設定さ
れ、セットされている。In the camera pattern 31 of the stereo image processing means 24, the mounting angles (pan angle, tilt angle) of the image pickup cameras 13 and 14, the angle of view, the focal length, the distance between the image pickup cameras 13 and 14, and the both sides. Various known parameters such as the distance between the imaging cameras 13 and 14 and the back lamp 12 are stored in advance. Therefore, the first and second imaging means 13 and 14 installed at the rear of the vehicle 11 are
After a predetermined distance, for example 1 m, from the rear end of
It is set and set so that the entire rear projection surface of the vehicle 11 can be imaged.
【００３８】次に、車載後方監視装置の作用を説明す
る。Next, the operation of the vehicle-mounted rear monitoring device will be described.
【００３９】車載後方監視装置１０は、車両１１に搭載
される。バック照射光源としてのバックランプ１２は車
両後部の例えば車幅方向中央部に取り付けられ、第１お
よび第２撮像手段としての撮像カメラ１３，１４は、バ
ックランプ１２から上下左右にずれた位置に固定設置さ
れる。第１および第２の撮像カメラ１３，１４はバック
ランプ１２の上方で車幅方向両側に設置される。第１お
よび第２の撮像カメラ１３，１４は、取付角度（パン角
θ，チルト角ψ）、水平および垂直画角ＨＨ，ＨＶ、焦
点距離ｆ、水平および垂直解像度ｈＨ，ｈＶ、カメラ焦
点の位置Ｃ、光軸ベクトルＡ等のカメラパラメータは予
めカメラキャリブレーションを行ない、既知であるとす
る。The vehicle-mounted rear monitoring device 10 is mounted on the vehicle 11. The back lamp 12 as a back irradiation light source is attached to the rear part of the vehicle, for example, in the center in the vehicle width direction, and the imaging cameras 13 and 14 as the first and second imaging means are fixed at positions vertically and horizontally displaced from the back lamp 12. Is installed. The first and second imaging cameras 13 and 14 are installed above the back lamp 12 on both sides in the vehicle width direction. The first and second imaging cameras 13 and 14 are mounted at an attachment angle (pan angle θ, tilt angle ψ), horizontal and vertical field angles H H and H V , focal length f, horizontal and vertical resolutions h H and h V , It is assumed that the camera parameters such as the position C of the camera focus and the optical axis vector A are known by performing camera calibration in advance.
【００４０】車載後方監視装置１０は、車両１１のクラ
ッチ機構１６のリアー操作に連動して作動せしめられ
る。クラッチ機構１６をリアー操作させると、発光制御
部１８からの制御により、バックライト１２が照射せし
められ、不可視光線として例えば近赤外線のアクティブ
パターン２０が車両後方に向けて照射される。光軸ベク
トルＡなどのカメラパラメータは、予めカメラキャリブ
レーションを行ない、既知であるとする。The on-vehicle rear monitoring device 10 is operated in conjunction with the rear operation of the clutch mechanism 16 of the vehicle 11. When the clutch mechanism 16 is operated rearward, the backlight 12 is illuminated by the control of the light emission control unit 18, and the active pattern 20 of near-infrared rays, for example, as invisible rays is illuminated toward the rear of the vehicle. It is assumed that the camera parameters such as the optical axis vector A are known by performing camera calibration in advance.
【００４１】バックライト１２から照射されたアクティ
ブパターン２０は、第１および第２の撮像カメラ１３，
１４で検出される。第１および第２の撮像カメラ１３，
１４は、可視光線領域から近赤外線領域まで波長感度領
域を有する。バックライト１２に赤外線ランプを用いる
場合には、撮像カメラ１３，１４は可視光線領域から赤
外線領域の波長感度領域を図４に示すように有する。The active pattern 20 emitted from the backlight 12 is composed of the first and second imaging cameras 13,
Detected at 14. First and second imaging cameras 13,
14 has a wavelength sensitivity region from the visible light region to the near infrared region. When an infrared lamp is used for the backlight 12, the imaging cameras 13 and 14 have a wavelength sensitivity range from the visible light range to the infrared range as shown in FIG.
【００４２】第１および第２の撮像カメラ１３，１４で
撮像されたカメラパターン画像は、各Ａ／Ｄバッファ２
２，２３にてデジタル信号に変換されてステレオ画像処
理手段２４に送られ、この処理手段２４の対応探索部２
６で各カメラパターン画像の特徴点が抽出され、各特徴
点の対応付けが行なわれる。すなわち、第１の撮像カメ
ラ１３で撮像されたカメラパターン画像と第２の撮像カ
メラ１４で撮像されたカメラパターン画像との各特徴点
同士の対応付けが行なわれる。The camera pattern images picked up by the first and second image pickup cameras 13 and 14 are stored in the respective A / D buffers 2.
At 2, 23, the signal is converted into a digital signal and sent to the stereo image processing means 24, and the correspondence searching section 2 of this processing means 24.
At 6, the characteristic points of each camera pattern image are extracted, and the characteristic points are associated with each other. That is, the characteristic points of the camera pattern image captured by the first imaging camera 13 and the camera pattern image captured by the second imaging camera 14 are associated with each other.
【００４３】対応付けが行なわれた各カメラパターン画
像の信号は、続いて距離算出部３０に送られ、この距離
算出部３０でカメラパターン部３１から入力される既知
のパラメータカメラデータを用いて、各撮像カメラ１
３，１４と後方対象物、例えば壁面との立体距離が算出
される。算出された立体距離から距離較正部により補正
処理され、車両後端部と後方対象物との距離が算出され
る。The signal of each camera pattern image associated with each other is subsequently sent to the distance calculating section 30 and the known parameter camera data input from the camera pattern section 31 in this distance calculating section 30 is used. Each imaging camera 1
The three-dimensional distance between the object 3 and 14 and the rear object, for example, the wall surface is calculated. A correction process is performed from the calculated solid distance by the distance calibration unit, and the distance between the rear end of the vehicle and the rear target is calculated.
【００４４】各撮像カメラ１３，１４と測定対象物Ａ
（例えば図３（Ａ），（Ｂ）に示される特徴点Ａｒ，Ａ
ｌ）までの立体距離は、図５に示すように、三角測量の
原理を適用したステレオ画像処理により、求めることが
できる。The image pickup cameras 13 and 14 and the measurement object A
(For example, the characteristic points Ar and A shown in FIGS.
The solid distance up to l) can be determined by stereo image processing to which the principle of triangulation is applied, as shown in FIG.
【００４５】具体的には、図５の（Ａ）で表わされる特
徴点Ａ（ｘ，ｙ，ｚ）を求めることになるが、この特徴
点Ａ（ｘ，ｙ，ｚ）の三次元座標は撮像カメラ１３，１
４を通してカメラパターン画像の二次元座標Ａｒ（ｘａ
ｒ，ｙａｒ），Ａｌ（ｘａｌ，ｙａｌ）として得ること
ができる。Specifically, the characteristic point A (x, y, z) represented by (A) in FIG. 5 is obtained, and the three-dimensional coordinates of this characteristic point A (x, y, z) are Imaging camera 13,1
Two-dimensional coordinates Ar (xa
r, yar), Al (xal, yal).
【００４６】そして、撮像カメラ１３，１４間の取付距
離ｄや、カメラパラメータ情報は予め既知であるから、
撮像カメラ１３，１４で撮像されたカメラパターン画像
の画像データの二次元座標位置Ａｒ，Ａｌを測定し、ス
テレオ画像処理することにより、測定対象物Ａの三次元
位置を求めることができ、測定対象物Ａの三次元位置か
ら撮像カメラ１３，１４と測定対象物Ａの三次元立体距
離を求めることができる。Since the mounting distance d between the image pickup cameras 13 and 14 and the camera parameter information are known in advance,
By measuring the two-dimensional coordinate positions Ar and Al of the image data of the camera pattern images picked up by the image pickup cameras 13 and 14 and performing stereo image processing, the three-dimensional position of the measuring object A can be obtained. From the three-dimensional position of the object A, the three-dimensional solid distance between the imaging cameras 13 and 14 and the measuring object A can be obtained.
【００４７】測定対象物Ａの三次元位置の求め方は、特
公平６−１７７７６号公報や特開平９−９４５２７号公
報等に記載の如く周知であるので、説明を省略する。The method for obtaining the three-dimensional position of the measuring object A is well known as described in Japanese Patent Publication No. 6-17776 and Japanese Patent Application Laid-Open No. 9-94527, and therefore the description thereof is omitted.
【００４８】距離算出部３０で各撮像カメラ１３，１４
と測定対象物（後方対象物）との立体距離から、距離算
出部３０に内蔵された距離較正部の換算処理により、車
両後端部から測定対象物（後方対象物）までの距離を算
出することが容易にできる。In the distance calculation unit 30, each of the image pickup cameras 13 and 14
The distance from the vehicle rear end to the measurement object (rear object) is calculated from the three-dimensional distance between the object and the measurement object (rear object) by the conversion process of the distance calibration unit built in the distance calculation unit 30. Can be done easily.
【００４９】算出された距離が、所定以下、例えば１ｍ
以下である場合に、出力装置３３から出力信号が出力さ
れ、アラーム発生装置３４を作動させて警報を発し、運
転者に車両後方に後方対象物が接近していることを知ら
せる。The calculated distance is less than a predetermined value, for example, 1 m.
In the following cases, an output signal is output from the output device 33, and the alarm generation device 34 is activated to issue an alarm to notify the driver that the rear object is approaching behind the vehicle.
【００５０】また、出力装置３３からテレビモニタ等の
表示装置３５に接近位置に後方対象物が存在することを
文字あるいはテレビ画像にて表示したり、また、ブレー
キアシスト装置３６を作動させてブレーキアシスト操作
を行なうようにしてもよい。Further, from the output device 33 to the display device 35 such as a television monitor, the presence of the rear target object at the approaching position is displayed in characters or a television image, and the brake assist device 36 is operated to assist the brake. You may make it operate.
【００５１】図１および図２に示された車載後方監視装
置１０は、車両１１の後部に取り付けたバック照射光源
１２から不可視光線、例えば近赤外線のアクティブパタ
ーンを車両後方に向けて照射し、照射されたアクティブ
パターンをステレオカメラとしての２台の撮像カメラ１
３，１４で撮像し、撮像された各パターンカメラ画像の
特徴点を抽出し、各特徴点を対応付けてステレオ画像処
理することで、各撮像カメラ１３，１４と後方対象物と
の立体距離を算出し、算出された立体距離を較正処理す
ることで車両後端部から後方対象物、例えば室までの距
離を検出し、距離表示あるいは警報を発することができ
るようにしたものである。The vehicle-mounted rear monitoring device 10 shown in FIGS. 1 and 2 irradiates an invisible light ray, for example, an active pattern of near-infrared rays, from the back irradiation light source 12 attached to the rear portion of the vehicle 11 toward the rear of the vehicle to irradiate the same. Two imaging cameras 1 that use the generated active pattern as a stereo camera
The stereoscopic distance between each of the imaging cameras 13 and 14 and the rear target object is obtained by extracting the feature points of the imaged pattern camera images with the image pickup devices 3 and 14 and performing the stereo image processing by associating the feature points with each other. By calculating and calibrating the calculated three-dimensional distance, the distance from the rear end of the vehicle to a rear object, for example, a room can be detected, and the distance can be displayed or an alarm can be issued.
【００５２】この車載後方監視装置１０は、不可視光線
のアクティブパターンを活用し、車両１１に２眼ステレ
オカメラとしての撮像カメラ１３，１４を搭載し、カメ
ラパラメータが既知の２台の撮像カメラ１３，１４で撮
像されたパターンカメラ画像をステレオ画像処理するこ
とにより、三次元立体距離測定を行ない、車両１１から
後方対象物までの距離を正確に短時間でモニタリングす
ることができるようにしたものである。This on-vehicle rear monitoring system 10 utilizes the active pattern of invisible light rays and mounts the image pickup cameras 13 and 14 as a twin-lens stereo camera on the vehicle 11, and the two image pickup cameras 13 and 13 whose camera parameters are known. By performing stereo image processing on the pattern camera image captured by 14, the three-dimensional stereoscopic distance measurement can be performed, and the distance from the vehicle 11 to the rear object can be accurately monitored in a short time. .
【００５３】図６ないし図８は、本発明に係る車載後方
監視装置の第２実施形態を示すものである。FIGS. 6 to 8 show a second embodiment of the vehicle-mounted rear monitoring device according to the present invention.
【００５４】この実施形態に表わされた車載後方監視装
置１０Ａは、車両１１の後部に１台の撮像手段としての
撮像カメラ４０を固定設置し、この撮像カメラ４０と車
両高さ方向および車両幅方向の少なくとも異なった位置
に第１および第２のバック照射光源４１，４２を設け
る。In the vehicle-mounted rear monitoring device 10A shown in this embodiment, an image pickup camera 40 as one image pickup means is fixedly installed at the rear portion of the vehicle 11, and the image pickup camera 40 and the vehicle height direction and the vehicle width are provided. The first and second back irradiation light sources 41 and 42 are provided at at least different positions in the direction.
【００５５】図６では、車両１１の車幅方向中央部に撮
像カメラ４０を所定の取付角度で取り付け、この撮像カ
メラ４０より下方で車両幅方向両側に第１および第２の
バック照射光源としての一対のバックランプ４１，４２
を設置したものである。バックランプ４１，４２は車両
１１のリアーランプと兼用させてもよい。バックランプ
４１，４２から車両後方に向けて不可視光線のアクティ
ブパターンを照射するようになっている。左右のバック
ランプ４１，４２から後方に照射されるアクティブパタ
ーンは、それぞれ同じパターンであっても、異なるパタ
ーンであってもよい。In FIG. 6, the image pickup camera 40 is attached to the vehicle width direction central portion of the vehicle 11 at a predetermined attachment angle, and the first and second back irradiation light sources are provided below the image pickup camera 40 on both sides in the vehicle width direction. A pair of back lamps 41, 42
Is installed. The back lamps 41 and 42 may also be used as the rear lamps of the vehicle 11. An active pattern of invisible light rays is emitted from the back lamps 41 and 42 toward the rear of the vehicle. The active patterns emitted rearward from the left and right back lamps 41 and 42 may be the same pattern or different patterns.
【００５６】図６に示された車載後方監視装置１０Ａ
は、１台の撮像カメラ４０を１眼モーションカメラとし
て用い、車両１１の移動量と車両移動前後のパターンカ
メラ画像をモーションステレオ画像処理あるいは照度差
ステレオ画像処理して車両１１から車両後方対象物まで
の距離を算出し、距離表示あるいは警報を発するように
したものである。In-vehicle rear monitoring device 10A shown in FIG.
Uses one imaging camera 40 as a single-lens motion camera, and performs motion stereo image processing or photometric stereo image processing on the movement amount of the vehicle 11 and the pattern camera images before and after the vehicle movement, from the vehicle 11 to the object behind the vehicle. The distance is calculated and the distance is displayed or an alarm is issued.
【００５７】車載後方監視装置１０Ａは、図７に示す機
能ブロックを備える。車載後方監視装置１０Ａは、図７
に示すように、照度差ステレオ画像処理する場合には、
クラッチ手段１６のクラッチレバー１７のリアー操作に
連動して作動制御される。クラッチレバー１７をリアー
操作すると、リアー操作信号がＣＰＵ等の発光制御部１
８に入力され、発光制御部１８はバック照射光源に発光
照射信号を出力させ、バック照射光源としての左右のバ
ックランプ４１，４２を交互に点燈照射させる。バック
ランプ４１，４２は、発光制御部１８のは発光照射信号
を受けて交互に照射され、バックランプ４１，４２から
不可視光線として例えば近赤外線のアクティブパターン
を照射させる。The vehicle-mounted rear monitoring device 10A has the functional blocks shown in FIG. The in-vehicle rear monitoring device 10A is shown in FIG.
As shown in, when performing photometric stereo image processing,
The operation is controlled in conjunction with the rear operation of the clutch lever 17 of the clutch means 16. When the clutch lever 17 is rear-operated, a rear-operation signal is sent to the light emission control unit 1 such as a CPU.
8, the light emission control unit 18 causes the back irradiation light source to output a light emission irradiation signal, and causes the left and right back lamps 41 and 42 as the back irradiation light source to be alternately illuminated. The back lamps 41 and 42 receive the light emission irradiation signal of the light emission control unit 18 and are alternately irradiated, and cause the back lamps 41 and 42 to emit, for example, a near infrared active pattern as an invisible light ray.
【００５８】交互に照射されたアクティブパターンのパ
ターンカメラ画像は撮像カメラ４０で撮像される。撮像
カメラ４０は各バックライト４１，４２から交互に照射
されるアクティブパターンを交互に撮像し、撮像された
パターンカメラ画像信号をアナログ信号からデジタル信
号にＡ／Ｄバッファ４４，４５で変換した後、ステレオ
画像処理回路４６に入力され、照度差ステレオ画像処理
される。The pattern camera image of the active pattern alternately emitted is picked up by the image pickup camera 40. The imaging camera 40 alternately images the active patterns emitted from the backlights 41 and 42 alternately, converts the imaged pattern camera image signal from an analog signal to a digital signal by the A / D buffers 44 and 45, and then, It is input to the stereo image processing circuit 46 and subjected to illuminance difference stereo image processing.
【００５９】ステレオ画像処理回路４６は、対応探索部
４７を備え、この対応探索部４７で両バックランプ４
１，４２の交互のパターン照射による照度差ステレオと
し、交互の各パターンカメラ画像から生じた視差を利用
して各特徴点の対応付けを行なったり、また、車両移動
前後のパターンカメラ画像の特徴点の抽出が行なわれ、
パターンカメラ画像から車両移動前後の特徴点の対応付
けが行なわれる。各パターンカメラ画像の特徴点が抽出
され、対応付けされた信号は、距離算出部４８に送ら
れ、ここでカメラパラメータ部５１からのパラメータカ
メラ情報と比較され、後方対象物までの三次元立体距離
が算出される。The stereo image processing circuit 46 is provided with a correspondence search section 47, and the correspondence search section 47 uses both back lamps 4.
The illuminance difference stereo is obtained by the alternating pattern irradiation of 1, 42, and the characteristic points are associated using the parallax generated from the alternating pattern camera images, or the characteristic points of the pattern camera images before and after the vehicle movement. Is extracted,
The feature points before and after the movement of the vehicle are associated from the pattern camera image. The feature point of each pattern camera image is extracted and the associated signal is sent to the distance calculation unit 48, where it is compared with the parameter camera information from the camera parameter unit 51, and the three-dimensional solid distance to the rear target object. Is calculated.
【００６０】また、ステレオ画像処理手段４６は一方の
バックランプ４２（あるいは４１）からの不可視光線の
アクティブパターンによるパターンカメラ画像を用いて
モーションステレオ画像処理してもよい。この場合、ス
テレオ画像処理手段４６の対応探索部４７では、図８
（Ａ）および（Ｂ）に示すように、例えば井桁マークの
アクティブパターン２０によるパターンカメラ画像によ
り、床面２７と壁面２８との境界部におけるアクティブ
パターン２０の折曲点を所要時間差における特徴点Ａ
１，Ｂ１；Ａ２，Ｂ２として抽出し、抽出された各特徴
点の対応付けを行なう。Further, the stereo image processing means 46 may perform the motion stereo image processing using the pattern camera image by the active pattern of the invisible light rays from the one back lamp 42 (or 41). In this case, the correspondence search unit 47 of the stereo image processing means 46 is shown in FIG.
As shown in (A) and (B), for example, with a pattern camera image of the active pattern 20 of the double-digit mark, the bending point of the active pattern 20 at the boundary between the floor surface 27 and the wall surface 28 is determined as the characteristic point A at the required time difference.
1, B1; A2, B2, and the extracted feature points are associated with each other.
【００６１】パターンカメラ画像は車両１１が接近する
と、特徴点Ａ１，Ｂ１から特徴点Ａ２，Ｂ２に下方一側
に変位し、視差ができる。対応付けされた特徴点Ａ１，
Ｂ１；Ａ２，Ｂ２の処理信号は続いて距離算出部４８に
送られる。この距離算出部４８には、車両の移動量算出
部５０で算出された車両移動量のパラメータカメラ情報
がカメラパラメータ部５１から入力される。移動量算出
部５０は車両１１の車軸にエンコーダ（図示せず）を取
り付け、このエンコーダの回転量を検出することで、車
両１１の後退移動量を簡単かつ容易に測定できるように
なっている。When the vehicle 11 approaches, the pattern camera image is displaced downward to one side from the characteristic points A1 and B1 to the characteristic points A2 and B2 to form parallax. The associated feature points A1,
The processed signals of B1; A2 and B2 are subsequently sent to the distance calculation unit 48. Parameter camera information of the vehicle movement amount calculated by the vehicle movement amount calculation unit 50 is input from the camera parameter unit 51 to the distance calculation unit 48. The movement amount calculation unit 50 is equipped with an encoder (not shown) on the axle of the vehicle 11 and detects the amount of rotation of this encoder, so that the backward movement amount of the vehicle 11 can be easily and easily measured.
【００６２】ステレオ画像処理回路４６の対応探索部４
７で車両移動前後のパターンカメラ画像の各特徴点を対
応付けた信号は、距離算出部４８で移動量算出部５０か
らの車両移動量とカメラパラメータ部５１からのパラメ
ータカメラ情報と比較演算され、三角測量の原理から後
方対象物である壁面２８までの立体距離がモーションス
テレオ画像処理により算出される。Correspondence search section 4 of stereo image processing circuit 46
The signal in which the feature points of the pattern camera images before and after the vehicle movement are associated with each other in 7 is compared and calculated in the distance calculation unit 48 with the vehicle movement amount from the movement amount calculation unit 50 and the parameter camera information from the camera parameter unit 51. From the principle of triangulation, the solid distance to the wall surface 28 that is the rear object is calculated by motion stereo image processing.
【００６３】算出された立体距離は撮像カメラ４０と後
方対象物との間の距離であるので、この立体距離を距離
算出部４８に内蔵された距離較正部で補正することによ
り、車両後端部と後方対象物までの距離が算出される。Since the calculated three-dimensional distance is the distance between the image pickup camera 40 and the rear object, the three-dimensional distance is corrected by the distance calibration unit built in the distance calculation unit 48, and the rear end portion of the vehicle is corrected. And the distance to the rear object is calculated.
【００６４】車両後端部から後方対象物までの距離が所
定値あるいはそれ以内、例えば１ｍ以内になると、出力
装置３３が作動し、アラーム発生装置３４を作動させ、
警報を発する一方、表示装置３５を作動させ、テレビモ
ニタ等に後方対象物が、例えば壁面所定距離あるいはそ
れ以下に接近していることを表示し、さらにブレーキア
シスト装置３６を作動させてブレーキ作動をアシストさ
せる。When the distance from the rear end of the vehicle to the rear object reaches a predetermined value or less, for example, within 1 m, the output device 33 operates and the alarm generating device 34 operates.
While issuing an alarm, the display device 35 is activated to display on the television monitor or the like that the rear object is approaching, for example, a predetermined distance on the wall surface or less, and further activate the brake assist device 36 to activate the brake. To assist.
【００６５】各出力装置３３やアラーム発生装置３４、
表示装置３５およびブレーキアシスト装置３６は第１実
施形態に示された出力装置、アラーム発生装置、表示装
置およびブレーキアシスト装置と異ならないので、同じ
符号を付して説明を省略する。Each output device 33 and alarm generator 34,
The display device 35 and the brake assist device 36 are not different from the output device, the alarm generation device, the display device and the brake assist device shown in the first embodiment, and therefore, the same reference numerals are given and the description thereof will be omitted.
【００６６】図８（Ａ）および（Ｂ）は、バック照射光
源としてのバックランプ４２から例えば井桁マークのア
クティブパターンを照射し、照射されたアクティブパタ
ーンを撮像カメラ４０で撮像した例を示す。FIGS. 8A and 8B show an example in which the back lamp 42 as a back irradiation light source irradiates an active pattern of, for example, a cross mark, and the irradiated active pattern is imaged by the imaging camera 40.
【００６７】撮像カメラ４０で撮影されるパターンカメ
ラ画像は、図８（Ａ）の右側に示すように、車両１１が
壁面２８から離れていると、壁面２８と床面２７の境界
部は、パターンカメラ画像上、上方に位置する。車両１
１が図８（Ａ）から図８（Ｂ）に示される位置に後退す
ると、パターンカメラ画像上に表示される境界部の位置
が下方に下がり、一側に変位する。その間の車両１１の
後方移動量はエンコーダ等の移動量算出部５０により算
出され、既知であるので、境界部から得られるパターン
カメラ画像を分析し、境界部で得られるアクティブパタ
ーン２０の特徴点の下方かつ一側方へのシフト量を測定
することにより、車両後端部と壁面との間の距離を測定
することができる。As shown in the right side of FIG. 8A, the pattern camera image photographed by the image pickup camera 40 shows the pattern of the boundary between the wall surface 28 and the floor surface 27 when the vehicle 11 is away from the wall surface 28. It is located above the camera image. Vehicle 1
When 1 moves backward from the position shown in FIG. 8 (A) to the position shown in FIG. 8 (B), the position of the boundary displayed on the pattern camera image is lowered and displaced to one side. The backward movement amount of the vehicle 11 during that time is calculated by the movement amount calculation unit 50 such as an encoder and is known. Therefore, the pattern camera image obtained from the boundary portion is analyzed, and the characteristic points of the active pattern 20 obtained at the boundary portion are calculated. By measuring the amount of shift to the lower side and one side, the distance between the vehicle rear end and the wall surface can be measured.
【００６８】本発明に係る車載後方監視装置の第１実施
形態では、バック照射光源を車両後下部の車両幅方向中
央部に、２台の撮像カメラを車両後上部の車両幅方向両
側部に設けた例を示したが、バック照射光源を車両後上
部の車両幅方向中央部に、２台の撮像カメラを車両後下
部の車幅方向両側に設けてもよい。ただ、撮像カメラで
検出される視差を大きくとるためには、バック照射光源
から車両高さ方向および車両幅方向に撮像カメラをでき
るだけ離して設置することが好ましい。In the first embodiment of the vehicle-mounted rear monitoring device according to the present invention, the back irradiation light source is provided at the vehicle width direction central portion of the vehicle rear lower portion, and the two image pickup cameras are provided at the vehicle rear upper portion on both sides of the vehicle width direction. However, the back irradiation light source may be provided in the vehicle width direction central portion of the vehicle upper rear portion, and the two imaging cameras may be provided on both sides of the vehicle rear lower portion in the vehicle width direction. However, in order to increase the parallax detected by the image pickup camera, it is preferable to install the image pickup camera as far as possible from the back irradiation light source in the vehicle height direction and the vehicle width direction.
【００６９】また、撮像カメラを２台設置する代りに、
撮像カメラを１台設け、２個のバック照射光源を車両幅
方向（ベースライン）両側に設置し、各バック照射光源
を交互に照射させる照度差ステレオで車両と後方物体の
距離を測定してもよく、また、１台の撮像カメラをモー
ションカメラとして利用し、車両を移動させるモーショ
ンステレオ画像処理により車両と後方物体との距離を測
定してもよい。撮像カメラを１台のモーションカメラと
した場合には、バック照射光源を２個設置する必要は必
ずしもなく、１個のバック照射光源でもモーションステ
レオ画像処理することにより、車両と後方物体との距離
を測定することができる。Further, instead of installing two image pickup cameras,
Even if one imaging camera is provided and two back irradiation light sources are installed on both sides of the vehicle width direction (baseline), the distance between the vehicle and the rear object is measured by a photometric stereo that alternately illuminates each back irradiation light source. Alternatively, one imaging camera may be used as a motion camera, and the distance between the vehicle and the rear object may be measured by motion stereo image processing of moving the vehicle. When the imaging camera is one motion camera, it is not always necessary to install two back irradiation light sources, and even one back irradiation light source can perform motion stereo image processing to determine the distance between the vehicle and the rear object. Can be measured.
【００７０】さらに、バック照射光源から照射される照
射光を不可視光線例えば波長７８０ｎｍより長波長の近
赤外線あるいは赤外線を用いることにより、バック照射
光源から照射されるアクティブパターンが運転者の眼で
確認されることはない。したがって、不可視光線の場
合、可視光線のアクティブパターンのように、運転者が
アクティブパターンを視認することがないため、確認さ
れるアクティブパターンにより運転者が幻惑されたり、
誤操作が惹起される虞がない。不可視光線のアクティブ
パターンとすることにより、運転支援を有効的に行なう
ことができる。Further, by using an invisible light as the irradiation light emitted from the back irradiation light source, for example, near infrared rays or infrared rays having a wavelength longer than 780 nm, the active pattern emitted from the back irradiation light source can be confirmed by the driver's eyes. There is no such thing. Therefore, in the case of invisible light, the driver does not visually recognize the active pattern like the active pattern of visible light, so the driver is dazzled by the confirmed active pattern,
There is no risk of erroneous operation. By using an invisible light active pattern, driving assistance can be effectively performed.
【００７１】本発明に係る車載後方監視装置の各実施形
態においては、バック照射光源から照射される不可視光
線のアクティブパターンとして井桁マークの例を開示し
たが、このアクティブパターンには、図９（Ａ）〜
（Ｈ）に示すパターン用いてもよい。In each of the embodiments of the vehicle-mounted rear monitoring device according to the present invention, the example of the cross mark is disclosed as the active pattern of the invisible light emitted from the back irradiation light source. ) ~
The pattern shown in (H) may be used.
【００７２】図９（Ａ）は、井桁パターンを応用した格
子状パターンであり、図９（Ｂ）は同心円パターンであ
る。この同心円パターンは、後方の対象物の稜線（物体
の辺部分）がどのような角度であっても、パターンが折
れ曲がるので画像処理する際に特徴点を抽出し易い。FIG. 9 (A) is a grid pattern to which a double pattern is applied, and FIG. 9 (B) is a concentric circle pattern. In this concentric pattern, the pattern bends regardless of the angle of the ridgeline (side portion of the object) of the object behind, and therefore the feature points can be easily extracted during image processing.
【００７３】図９（Ｃ）はバーコードパターンの応用例
であり、アクティブパターンは縦線を、例えば左側から
右側にかけて順次１本、３本、２本、４本とし、縦線の
本数を左右で順番に変えている。抽出したパターンが何
番目の線なのか、画像処理によって検出がし易い。図９
（Ｃ）では縦線を変えた例だけを例示したが、縦方向に
も同様に、順番によって本数の違う横線で構成すること
ができる。FIG. 9C is an application example of the bar code pattern. The active pattern has vertical lines, for example, 1, 3, 2, and 4 sequentially from the left side to the right side, and the number of vertical lines is left and right. Change in order. It is easy to detect the order of the extracted pattern by image processing. Figure 9
In (C), only the example in which the vertical lines are changed is illustrated, but similarly, the vertical lines may be configured by horizontal lines having different numbers of lines.
【００７４】図９（Ｄ）は、アクティブパターンとして
市松模様のパターンを適用した例を示す。この市松模様
のパターンは、２次元バーコードを応用したパターンで
あり、白黒のパターンがそれぞれ異なるので、画像処理
によりどのパターンが撮影されたのかを判別し易い。FIG. 9D shows an example in which a checkerboard pattern is applied as the active pattern. This checkered pattern is a pattern to which a two-dimensional bar code is applied, and since black and white patterns are different from each other, it is easy to determine which pattern was captured by image processing.
【００７５】図９（Ｅ）は、井桁パターンの応用例であ
り、このパターンは、縦横で本数の異なる井桁パターン
の例である。このパターンでは横線は２本、縦線は１本
とすることで、折れ曲がって斜めになっても、縦の軸か
横の軸かを区別し易い。FIG. 9 (E) is an application example of a double girder pattern, and this pattern is an example of a double girder pattern having different numbers in the vertical and horizontal directions. In this pattern, the number of horizontal lines is two and the number of vertical lines is one, so that it is easy to distinguish between the vertical axis and the horizontal axis even when bent and inclined.
【００７６】図９（Ｆ）は、菱形パターンの応用例であ
る。このパターンでは大小の菱形マークを同心状に配設
したものである。菱形パターンとすることで、屈曲点が
発生し易くなり、画像処理で特徴点を抽出し易くなる。FIG. 9F shows an application example of the diamond pattern. In this pattern, large and small diamond-shaped marks are arranged concentrically. The rhombus pattern facilitates the generation of bending points, and facilitates extraction of feature points by image processing.
【００７７】図９（Ｇ）は井桁パターンの応用例であ
る。この応用例のパターンでは、井桁パターンを斜めに
セットし、井桁を構成するパターン線の各本数を変える
ことで、画像処理によってどの線が撮影されたのかを判
別し易い。FIG. 9G shows an application example of the double digit pattern. In the pattern of this application example, it is easy to discriminate which line was photographed by image processing by setting the diagonal pattern diagonally and changing the number of each of the pattern lines forming the lattice.
【００７８】図９（Ｈ）は、円マークを連続的に配置し
た円の連続配置パターンの例を示す。このパターンは、
電球を二次元配列させることで容易に作られるので、発
光装置としてのバック照射光源から円形が連続して配置
されたパターン照射が容易となり、この円マーク列をア
クティブパターンとして用いることが容易にできる。FIG. 9H shows an example of a continuous arrangement pattern of circles in which circle marks are continuously arranged. This pattern is
Since it is easily made by arranging the light bulbs two-dimensionally, it becomes easy to perform pattern irradiation in which circles are continuously arranged from the back irradiation light source as a light emitting device, and this circle mark row can be easily used as an active pattern. .
【００７９】また、本発明の各実施形態では、撮像カメ
ラで各アクティブパターンの折曲部（例えば壁面と床面
の境界部（エッジ部））にて形成される特徴点を抽出し
た例を示したが、境界部にエッジ部が存在せず、滑らか
な曲面にて形成されている場合には、撮像カメラで撮像
されるパターンカメラ画像のバターンのうち、曲率半径
が大きく変化する箇所を特徴点と設定すればよい。曲率
半径の変化は、パターンカメラ画像の信号処理により、
簡単に得ることができるので、特徴点の抽出に困難性を
伴わない。Further, in each of the embodiments of the present invention, an example is shown in which the feature points formed at the bent portion (eg, the boundary portion (edge portion) between the wall surface and the floor surface) of each active pattern are extracted by the imaging camera. However, if there is no edge part at the boundary and it is formed with a smooth curved surface, the feature point is the part of the pattern camera image pattern taken by the imaging camera where the radius of curvature changes significantly. And set it. The change in the radius of curvature can be calculated by the signal processing of the pattern camera image.
Since it can be easily obtained, there is no difficulty in extracting feature points.
【００８０】本発明の実施形態では、車載後方監視装置
をバン型４輪車両に適用した例を示したが、バン型車両
に限定されず、ボックス型やワゴン型乗用車やバス型車
両、冷蔵・冷凍車両、トラック型車両等、種々のタイプ
の車両に適用することができる。In the embodiment of the present invention, an example in which the on-vehicle rear monitoring device is applied to a van type four-wheel vehicle has been shown, but the invention is not limited to a van type vehicle, and a box type or wagon type passenger vehicle, a bus type vehicle, a refrigeration It can be applied to various types of vehicles such as a refrigeration vehicle and a truck type vehicle.
【００８１】[0081]
【発明の効果】以上に述べたように、本発明に係る車載
後方監視方法およびその装置においては、車両をバック
させる際、バック照射光源から車両後方に向けて少なく
とも不可視光線のアクティブパターンを照射し、このア
クティブパターンのパターンカメラ画像を１台あるいは
２台の撮像手段で撮像してステレオ画像処理を行ない、
車両から後方対象物までの距離を算出し、距離が所定値
に達したとき、警報を発したり、また、ブレーキアシス
ト操作を行なうようにしたので、車両バック時の運転支
援を確実かつ安全に行なうことができる。As described above, in the vehicle-mounted rearward monitoring method and apparatus according to the present invention, when the vehicle is backed, at least an invisible light active pattern is irradiated from the back irradiation light source toward the rear of the vehicle. , A pattern camera image of this active pattern is picked up by one or two image pickup means to perform stereo image processing,
The distance from the vehicle to the rear object is calculated, and when the distance reaches a predetermined value, an alarm is issued and a brake assist operation is performed, so driving assistance can be reliably and safely performed when the vehicle is backed up. be able to.
【００８２】また、本発明に係る車載後方監視方法およ
びその装置においては、車両をバックさせる際、第１お
よび第２バック照射光源から車両後方に向けて少なくと
も不可視光線のアクティブパターンを交互に照射し、こ
のアクティブパターンの各パターンカメラ画像を照度差
ステレオ画像処理して車両から後方対象物までの距離を
算出し、その距離が所定値に達したとき、警報を発した
り、ブレーキアシスト操作を行なって車両バック時の安
全性、信頼性を向上させることができる。Further, in the vehicle-mounted rearward monitoring method and apparatus according to the present invention, when the vehicle is backed, at least the invisible light active pattern is alternately emitted from the first and second back irradiation light sources toward the rear of the vehicle. By calculating the difference stereo image of each pattern camera image of this active pattern, the distance from the vehicle to the rear object is calculated, and when the distance reaches a predetermined value, an alarm is issued or a brake assist operation is performed. It is possible to improve safety and reliability when the vehicle is backed up.
【図１】本発明に係る車載後方監視装置を車両に搭載し
た第１実施形態を示す図。FIG. 1 is a diagram showing a first embodiment in which a vehicle-mounted rear monitoring device according to the present invention is mounted on a vehicle.
【図２】本発明に係る車載後方監視装置の第１実施形態
を示す機能ブロック図。FIG. 2 is a functional block diagram showing a first embodiment of an in-vehicle rear monitoring device according to the present invention.
【図３】（Ａ）および（Ｂ）は本発明に係る車載後方監
視装置に備えられる第１および第２撮像手段で撮像され
るパターンカメラ画像を示す図。3A and 3B are views showing pattern camera images captured by first and second image capturing means provided in the vehicle-mounted rear monitoring device according to the present invention.
【図４】本発明に係る車載後方監視装置に備えられる撮
像手段における光波長とカメラ感度との関係を示す図。FIG. 4 is a diagram showing a relationship between a light wavelength and camera sensitivity in an image pickup unit provided in the vehicle-mounted rear monitoring device according to the present invention.
【図５】２台の撮像手段としてのステレオ撮像カメラを
用いて三次元立体距離測定を行なう原理図。FIG. 5 is a principle diagram for performing a three-dimensional solid distance measurement using two stereo image pickup cameras as image pickup means.
【図６】本発明に係る車載後方監視装置を車両に搭載し
た第２実施形態を示す図。FIG. 6 is a diagram showing a second embodiment in which a vehicle-mounted rearward monitoring device according to the present invention is mounted on a vehicle.
【図７】本発明に係る車載後方監視装置の第２実施形態
を示す機能ブロック図。FIG. 7 is a functional block diagram showing a second embodiment of an in-vehicle rear monitoring device according to the present invention.
【図８】（Ａ）および（Ｂ）は図７に示された車載後方
監視装置でモーションステレオ画像処理する場合の車両
の位置とパターンカメラ画像をそれぞれ示す図。8A and 8B are diagrams showing a vehicle position and a pattern camera image when motion stereo image processing is performed by the vehicle-mounted rear monitoring device shown in FIG. 7, respectively.
【図９】（Ａ）〜（Ｈ）は車載後方監視装置のバック照
射光源から照射されるアクティブパターンの各パターン
例を例示する図。9A to 9H are views exemplifying respective pattern examples of active patterns emitted from the back irradiation light source of the vehicle-mounted rear monitoring device.
１０ 車載後方監視装置 １１ 車両 １２ バックランプ（バック照射光源） １３ 第１撮像カメラ（第１撮像手段） １４ 第２撮像カメラ（第１撮像手段） １６ クラッチ手段 １７ クラッチレバー １８ 発光制御部 ２０ アクティブパターン ２２，２３ Ａ／Ｄバッファ ２４ ステレオ画像処理手段 ２６ 対応探索部 ３０ 距離算出部 ３１ カメラパターン部 ３３ 出力装置 ３４ アラーム発生装置 ３５ 表示装置 ３６ ブレーキアシスト装置 ４０ 撮像カメラ ４１ 第１バックランプ（第１バック照射手段） ４２ 第２バックランプ（第２バック照射手段） 10 In-vehicle rear monitoring device 11 vehicles 12 Back lamp (back irradiation light source) 13 First Imaging Camera (First Imaging Means) 14 Second imaging camera (first imaging means) 16 Clutch means 17 Clutch lever 18 Light emission control unit 20 active patterns 22,23 A / D buffer 24 Stereo image processing means 26 Correspondence search section 30 distance calculator 31 camera pattern section 33 Output device 34 Alarm generator 35 display device 36 Brake assist device 40 imaging camera 41 first back lamp (first back irradiation means) 42 second back lamp (second back irradiation means)
【手続補正書】[Procedure amendment]
【提出日】平成１３年１０月５日（２００１．１０．
５）[Submission date] October 5, 2001 (2001.10.
5)
【手続補正１】[Procedure Amendment 1]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】特許請求の範囲[Name of item to be amended] Claims
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【特許請求の範囲】[Claims]
【手続補正２】[Procedure Amendment 2]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００１３[Correction target item name] 0013
【補正方法】削除[Correction method] Delete
【手続補正３】[Procedure 3]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００１４[Correction target item name] 0014
【補正方法】削除[Correction method] Delete
【手続補正４】[Procedure amendment 4]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００１５[Name of item to be corrected] 0015
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【００１５】一方、本発明に係る車載後方監視方法は、
上述した課題を解決するために、請求項６に記載したよ
うに、車両バック時に車両幅方向両側設置の第１および
第２バック照射光源から車両後方に向けて少なくとも不
可視光線のアクティブパターンを交互に照射し、上記ア
クティブパターンが交互に照射された車両後方のパター
ンカメラ画像を撮像手段で順次撮像し、撮像手段で撮像
された第１および第２バック照射光源からの照射による
両パターンカメラ画像の特徴点を抽出して対応付けし、
照度差ステレオ画像処理により車両から後方対象物まで
の距離を算出し、算出された後方対象物までの距離が所
定値に達したとき、出力装置から出力信号を出力して警
報を発したりあるいはブレーキアシスト操作を行なう方
法である。On the other hand, the on-vehicle rear monitoring method according to the present invention is
In order to solve the above-mentioned problem, as described in claim 6, at the time of vehicle backing, at least active patterns of invisible rays are alternately arranged from the first and second back irradiation light sources installed on both sides in the vehicle width direction toward the rear of the vehicle. Characteristics of both pattern camera images obtained by irradiating and illuminating the pattern camera images in the rear of the vehicle on which the active patterns are alternately illuminated by the image capturing means, and by irradiating the first and second back illuminating light sources captured by the image capturing means Extract and associate points,
The distance from the vehicle to the rear object is calculated by photometric stereo image processing, and when the calculated distance to the rear object reaches a predetermined value, an output signal is output from the output device to issue an alarm or brake. This is a method of performing an assist operation.
【手続補正５】[Procedure Amendment 5]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００１６[Correction target item name] 0016
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【００１６】また、本発明に係る車載後方監視装置は、
上述した課題を解決するために、請求項７に記載したよ
うに、車両後部の車両幅方向両側にそれぞれ設けられ、
車両後方に向けて少なくとも不可視光線のアクティブパ
ターンを交互に照射する第１および第２バック照射光源
と、上記両バック照射光源から車両高さ方向および車両
幅方向の少なくとも一方に変位して設けられた撮像手段
と、この撮像手段で撮像された両バック照射光源からの
照射によるパターンカメラ画像を用いて照度差ステレオ
画像処理により車両の後方対象物までの距離を算出する
ステレオ画像処理手段と、このステレオ画像処理手段で
算出された車両と後方対象物との距離が所定値に達した
とき、アラーム発生装置あるいはブレーキアシスト装置
を作動させる出力信号を出力する出力装置とを備えたも
のである。The on-vehicle rear monitoring device according to the present invention is
In order to solve the above-mentioned problems, as described in claim 7, they are provided on both sides of a vehicle rear portion in the vehicle width direction,
First and second back irradiation light sources that alternately irradiate at least an invisible light active pattern toward the rear of the vehicle, and are provided so as to be displaced from at least one of the vehicle height direction and the vehicle width direction from the both back irradiation light sources. An image pickup means, a stereo image processing means for calculating a distance to an object behind the vehicle by photometric stereo image processing using pattern camera images obtained by irradiation from both back irradiation light sources imaged by the image pickup means, and the stereo image processing means. It is provided with an output device for outputting an output signal for operating the alarm generator or the brake assist device when the distance between the vehicle and the rear object calculated by the image processing means reaches a predetermined value.
【手続補正６】[Procedure correction 6]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００１７[Correction target item name] 0017
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【００１７】また、本発明に係る車載後方監視装置は、
上述した課題を解決するために、請求項８に記載したよ
うに、第１および第２バック照射光源は、車両後部に設
けられたリアーランプであり、上記両バック照射光源か
ら近赤外線あるいは赤外線の不可視光線を照射させる一
方、前記監視手段は第１および第２バック照射手段と車
両高さ方向が異なる車両幅方向中央部に設けられたもの
である。Further, the vehicle-mounted rear monitoring device according to the present invention is
In order to solve the above-mentioned problems, as described in claim 8, the first and second back irradiation light sources are rear lamps provided at a rear portion of the vehicle, and the near-infrared rays or infrared rays are emitted from the both back irradiation light sources. While the invisible light is emitted, the monitoring means is provided at the vehicle width direction central portion in which the vehicle height direction is different from the first and second back irradiation means.
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 1/00 Ｂ６０Ｒ 1/00 Ａ Ｇ０６Ｔ 1/00 ３１５ Ｇ０６Ｔ 1/00 ３１５ ３３０ ３３０Ｂ Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ // Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ Ｆターム(参考） 5B057 AA06 AA16 AA19 BA02 BA08 BA13 BA15 CA13 CA16 CB13 CB16 DB03 DC02 5C054 AA01 AA05 CA05 CC01 CH03 EA01 EA05 FC15 FF06 HA30 5H180 AA01 CC04 CC07 LL02 LL04 LL06 ─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 7 Identification code FI theme code (reference) B60R 1/00 B60R 1/00 A G06T 1/00 315 G06T 1/00 315 330 330B H04N 7/18 H04N 7 / 18 J // G08G 1/16 G08G 1/16 CF Term (reference) 5B057 AA06 AA16 AA19 BA02 BA08 BA13 BA15 CA13 CA16 CB13 CB16 DB03 DC02 5C054 AA01 AA05 CA05 CC01 CH03 EA01 EA05 FC15 FF06 HA30 CC04HA01 A02 LL06
Claims (10)
くとも不可視光線のアクティブパターンを車両後方に向
けて照射し、 上記アクティブパターンが照射された車両後方のパター
ンカメラ画像を第１および第２の撮像手段で撮像し、 上記第１および第２の撮像手段で撮像された両パターン
カメラ画像を用いてステレオ画像処理を行ない、 このステレオ画像処理により車両から後方対象物までの
距離を算出し、 算出された後方対象物までの距離が所定値に達したと
き、出力装置から出力信号を出力して警報を発したりあ
るいはブレーキアシスト操作を行なうことを特徴とする
車載後方監視方法。1. When the vehicle is back, a back irradiation light source irradiates at least an invisible light active pattern toward the rear of the vehicle, and a pattern camera image of the rear of the vehicle on which the active pattern is irradiated is first and second imaging means. Stereo image processing is performed by using both pattern camera images captured by the first and second imaging means, the distance from the vehicle to the rear target object is calculated by this stereo image processing, and the calculated rear When the distance to the object reaches a predetermined value, an output signal is output from an output device to issue an alarm or perform a brake assist operation, which is a vehicle-mounted rearward monitoring method.
線は、可視光線より光波長の長い近赤外線あるいは赤外
線である請求項１に記載の車載後方監視方法。2. The in-vehicle rear monitoring method according to claim 1, wherein the invisible light emitted from the back irradiation light source is near infrared light or infrared light having a light wavelength longer than that of visible light.
少なくとも不可視光線のアクティブパターンを照射する
バック照射光源と、 このバック照射光源から車両高さ方向および車両幅方向
の少なくとも一方に変位した位置に設けられた第１およ
び第２の撮像手段と、 上記第１および第２の撮像手段で撮像された両パターン
カメラ画像を用いてステレオ画像処理により車両の後方
対象物までの距離を算出するステレオ画像処理手段と、 このステレオ画像処理手段で算出された車両と後方対象
物との距離が所定値に達したとき、アラーム発生装置あ
るいはブレーキアシスト装置を作動させる出力信号を出
力する出力装置とを備えたことを特徴とする車載後方監
視装置。3. A back irradiation light source which is provided on a rear portion of the vehicle and irradiates an active pattern of at least invisible light toward the rear of the vehicle, and a position displaced from the back irradiation light source in at least one of a vehicle height direction and a vehicle width direction. A stereo for calculating the distance to the object behind the vehicle by stereo image processing using the first and second image pickup means provided in the image pickup device and both pattern camera images picked up by the first and second image pickup means. The image processing means, and an output device for outputting an output signal for activating the alarm generating device or the brake assist device when the distance between the vehicle and the rear object calculated by the stereo image processing means reaches a predetermined value. An in-vehicle rear monitoring device characterized in that
第２の撮像手段はクラッチ機構のリアー操作に連動して
ＯＮ操作される一方、前記バック照射手段は可視光線よ
り光波長の長い近赤外線あるいは赤外線の不可視光線を
照射させるようにした請求項３に記載の車載後方監視装
置。4. The back irradiation light source and the first and second image pickup means are turned on in conjunction with the rear operation of the clutch mechanism, while the back irradiation means is a near infrared ray or infrared ray having a light wavelength longer than that of visible light. The in-vehicle rear monitoring device according to claim 3, wherein the invisible light is emitted.
方向中央部に、前記第１および第２の撮像手段は車両後
部の車両幅方向両側部にそれぞれ設けられ、上記バック
照射光源と第１および第２の撮像手段とは車両高さ方向
を異にした請求項３に記載の車載後方監視装置。5. The back irradiation light source is provided in a vehicle width direction central portion of a vehicle rear portion, and the first and second imaging means are provided on both sides of the vehicle rear portion in the vehicle width direction, respectively. The vehicle-mounted rear monitoring device according to claim 3, wherein the vehicle height direction is different from that of the second imaging means.
後方に向けて少なくとも不可視光線のアクティブパター
ンを照射し、 上記アクティブパターンが照射された車両後方のパター
ンカメラ画像を撮像手段で所要時間差をおいて順次撮像
し、 上記所要時間差で撮像された両パターンカメラ画像を用
いて所定時間差分の車両の後方移動量を算出してモーシ
ョンステレオ画像処理により車両の後方対象物までの距
離を算出し、 算出された後方対象物までの距離が所定値に達したと
き、出力装置から出力信号を出力して警報を発したりあ
るいはブレーキアシスト操作を行なうことを特徴とする
車載後方監視方法。6. When the vehicle is back, a back irradiation light source irradiates at least an active pattern of invisible light toward the rear of the vehicle, and pattern camera images of the rear of the vehicle on which the active pattern is irradiated are sequentially taken by a photographing means with a required time difference. The distance to the rear object of the vehicle was calculated by motion stereo image processing by calculating the rearward movement amount of the vehicle with a predetermined time difference using both pattern camera images captured with the above required time difference and calculated. An in-vehicle rear monitoring method, comprising: outputting an output signal from an output device to issue an alarm or performing a brake assist operation when a distance to a rear target reaches a predetermined value.
て少なくとも不可視光線のアクティブパターンを照射す
るバック照射光源と、 このバック照射光源から車両高さ方向および車両幅方向
の少なくとも一方に変位した位置に設けられた撮像手段
と、 この撮像手段で車両バック時に所要の時間差をおいて撮
像された両パターンカメラ画像を用いて上記時間差分の
車両の後方移動量を算出してモーションステレオ画像処
理により車両の後方対象物までの距離を算出するステレ
オ画像処理手段と、 このステレオ画像処理手段で算出された車両と後方対象
物との距離が所定値に達したとき、アラーム発生装置あ
るいはブレーキアシスト操作を作動させる出力信号を出
力する出力装置とを備えたことを特徴とする車載後方監
視装置。7. A back irradiation light source which is provided at a rear portion of the vehicle and irradiates an active pattern of at least invisible light toward the rear of the vehicle, and the back irradiation light source is displaced in at least one of a vehicle height direction and a vehicle width direction. By using the image pickup means provided at the position and both pattern camera images imaged with a required time difference when the vehicle is backed by this image pickup means, the backward movement amount of the vehicle of the time difference is calculated and the motion stereo image processing is performed. Stereo image processing means for calculating the distance to the rear object of the vehicle, and when the distance between the vehicle and the rear object calculated by the stereo image processing means reaches a predetermined value, an alarm generator or a brake assist operation is performed. An in-vehicle rear monitoring device, comprising: an output device that outputs an output signal to be operated.
１および第２バック照射光源から車両後方に向けて少な
くとも不可視光線のアクティブパターンを交互に照射
し、 上記アクティブパターンが交互に照射された車両後方の
パターンカメラ画像を撮像手段で順次撮像し、 撮像手段で撮像された第１および第２バック照射光源か
らの照射による両パターンカメラ画像の特徴点を抽出し
て対応付けし、照度差ステレオ画像処理により車両から
後方対象物までの距離を算出し、 算出された後方対象物までの距離が所定値に達したと
き、出力装置から出力信号を出力して警報を発したりあ
るいはブレーキアシスト操作を行なうことを特徴とする
車載後方監視方法。8. A vehicle in which at least active patterns of invisible light rays are alternately emitted toward the rear of the vehicle from first and second back illumination light sources installed on both sides in the vehicle width direction when the vehicle is backed, and the active patterns are alternately emitted. The pattern camera images at the rear are sequentially picked up by the image pickup means, the characteristic points of both pattern camera images by the irradiation from the first and second back irradiation light sources picked up by the image pickup means are extracted and associated, and the photometric stereo image is obtained. The distance from the vehicle to the rear object is calculated by processing, and when the calculated distance to the rear object reaches a predetermined value, an output signal is output from the output device to issue an alarm or perform a brake assist operation. An in-vehicle rearward monitoring method characterized by the above.
けられ、車両後方に向けて少なくとも不可視光線のアク
ティブパターンを交互に照射する第１および第２バック
照射光源と、 上記両バック照射光源から車両高さ方向および車両幅方
向の少なくとも一方に変位して設けられた撮像手段と、 この撮像手段で撮像された両バック照射光源からの照射
によるパターンカメラ画像を用いて照度差ステレオ画像
処理により車両の後方対象物までの距離を算出するステ
レオ画像処理手段と、 このステレオ画像処理手段で算出された車両と後方対象
物との距離が所定値に達したとき、アラーム発生装置あ
るいはブレーキアシスト装置を作動させる出力信号を出
力する出力装置とを備えたことを特徴とする車載後方監
視装置。9. A first back illumination light source and a second back illumination light source, which are respectively provided on both sides of a vehicle rear portion in the vehicle width direction in the vehicle width direction and alternately illuminate at least an invisible light active pattern toward the rear of the vehicle, and both the back illumination light sources. The image pickup means provided to be displaced in at least one of the height direction and the vehicle width direction, and the pattern camera image by the irradiation from both the back irradiation light sources imaged by the image pickup means are used to perform the photometric stereo image processing of the vehicle. Stereo image processing means for calculating the distance to the rear object, and when the distance between the vehicle and the rear object calculated by this stereo image processing means reaches a predetermined value, an alarm generator or a brake assist device is activated. An in-vehicle rear monitoring device, comprising: an output device that outputs an output signal.
両後部に設けられたリアーランプであり、上記両バック
照射光源から近赤外線あるいは赤外線の不可視光線を照
射させる一方、前記監視手段は第１および第２バック照
射手段と車両高さ方向が異なる車両幅方向中央部に設け
られた請求項９に記載の車載後方監視装置。10. The first and second back irradiation light sources are rear lamps provided at a rear portion of the vehicle, and the near-infrared rays or invisible infrared rays are emitted from the both back irradiation light sources, while the monitoring means is the first. 10. The vehicle-mounted rear monitoring device according to claim 9, which is provided in a vehicle width direction central portion in which the vehicle height direction is different from the second back irradiation means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001185441A JP2003002138A (en) | 2001-06-19 | 2001-06-19 | Method and device for on-vehicle rear monitoring |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001185441A JP2003002138A (en) | 2001-06-19 | 2001-06-19 | Method and device for on-vehicle rear monitoring |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003002138A true JP2003002138A (en) | 2003-01-08 |
Family
ID=19025024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001185441A Pending JP2003002138A (en) | 2001-06-19 | 2001-06-19 | Method and device for on-vehicle rear monitoring |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003002138A (en) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004276850A (en) * | 2003-03-18 | 2004-10-07 | Denso Corp | Parking support system |
| JP2004276807A (en) * | 2003-03-17 | 2004-10-07 | Denso Corp | Retreat parking support device for vehicle |
| JP2004351992A (en) * | 2003-05-27 | 2004-12-16 | Denso Corp | Obstacle detection device of vehicle and vehicle control device |
| JP2006001533A (en) * | 2004-06-17 | 2006-01-05 | Daimler Chrysler Ag | Method for connecting trailer to automobile |
| JP2006273122A (en) * | 2005-03-29 | 2006-10-12 | Aisin Seiki Co Ltd | Parking brake assistance device |
| JP2006311214A (en) * | 2005-04-28 | 2006-11-09 | Aisin Seiki Co Ltd | Monitoring system for periphery of vehicle |
| JP2006311215A (en) * | 2005-04-28 | 2006-11-09 | Aisin Seiki Co Ltd | Monitoring system for periphery of vehicle |
| JP2007523007A (en) * | 2004-02-24 | 2007-08-16 | バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト | Method for connecting trailers using a vehicle level adjuster |
| JP2008217267A (en) * | 2007-03-01 | 2008-09-18 | Denso Corp | Road shape recognition apparatus |
| JP2009184426A (en) * | 2008-02-04 | 2009-08-20 | Aisin Seiki Co Ltd | Parking support system |
| JP2009184468A (en) * | 2008-02-05 | 2009-08-20 | Nissan Motor Co Ltd | Parking assist device and parking assist method |
| JP2009205360A (en) * | 2008-02-27 | 2009-09-10 | Nissan Motor Co Ltd | Vehicle obstacle detection device and vehicle obstacle detection method |
| JP2011159278A (en) * | 2009-11-19 | 2011-08-18 | Robert Bosch Gmbh | Rear-view multi-functional camera system |
| WO2012121107A1 (en) | 2011-03-04 | 2012-09-13 | 日立オートモティブシステムズ株式会社 | Vehicle-mounted camera and vehicle-mounted camera system |
| JP2019007830A (en) * | 2017-06-23 | 2019-01-17 | 富士フイルム株式会社 | Distance data generation system, method for generating distance data, method for calculating correction data, and program |
| CN113016179A (en) * | 2018-11-15 | 2021-06-22 | 松下知识产权经营株式会社 | Camera system and vehicle |
| CN113386742A (en) * | 2021-05-28 | 2021-09-14 | 晋城鸿智纳米光机电研究院有限公司 | Brake auxiliary system, method and automobile |
| JP2022050221A (en) * | 2020-09-17 | 2022-03-30 | 新明和工業株式会社 | Load-receiving platform raising/lowering device and vehicle with load-receiving platform raising/lowering device |
| CN115339384A (en) * | 2022-08-18 | 2022-11-15 | 惠州市德赛西威智能交通技术研究院有限公司 | Vehicle driving assistance system, method, storage medium, and vehicle |
-
2001
- 2001-06-19 JP JP2001185441A patent/JP2003002138A/en active Pending
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004276807A (en) * | 2003-03-17 | 2004-10-07 | Denso Corp | Retreat parking support device for vehicle |
| JP2004276850A (en) * | 2003-03-18 | 2004-10-07 | Denso Corp | Parking support system |
| JP2004351992A (en) * | 2003-05-27 | 2004-12-16 | Denso Corp | Obstacle detection device of vehicle and vehicle control device |
| JP2007523007A (en) * | 2004-02-24 | 2007-08-16 | バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト | Method for connecting trailers using a vehicle level adjuster |
| JP2006001533A (en) * | 2004-06-17 | 2006-01-05 | Daimler Chrysler Ag | Method for connecting trailer to automobile |
| JP2006273122A (en) * | 2005-03-29 | 2006-10-12 | Aisin Seiki Co Ltd | Parking brake assistance device |
| JP2006311214A (en) * | 2005-04-28 | 2006-11-09 | Aisin Seiki Co Ltd | Monitoring system for periphery of vehicle |
| JP2006311215A (en) * | 2005-04-28 | 2006-11-09 | Aisin Seiki Co Ltd | Monitoring system for periphery of vehicle |
| JP2008217267A (en) * | 2007-03-01 | 2008-09-18 | Denso Corp | Road shape recognition apparatus |
| JP2009184426A (en) * | 2008-02-04 | 2009-08-20 | Aisin Seiki Co Ltd | Parking support system |
| JP2009184468A (en) * | 2008-02-05 | 2009-08-20 | Nissan Motor Co Ltd | Parking assist device and parking assist method |
| JP2009205360A (en) * | 2008-02-27 | 2009-09-10 | Nissan Motor Co Ltd | Vehicle obstacle detection device and vehicle obstacle detection method |
| JP2011159278A (en) * | 2009-11-19 | 2011-08-18 | Robert Bosch Gmbh | Rear-view multi-functional camera system |
| US8953014B2 (en) | 2009-11-19 | 2015-02-10 | Robert Bosch Gmbh | Rear-view multi-functional camera system with three-dimensional data analysis features |
| US8988493B2 (en) | 2009-11-19 | 2015-03-24 | Robert Bosch Gmbh | Rear-view multi-functional camera system with driving corridor monitoring features |
| US9061635B2 (en) | 2009-11-19 | 2015-06-23 | Robert Bosch Gmbh | Rear-view multi-functional camera system with panoramic image display features |
| WO2012121107A1 (en) | 2011-03-04 | 2012-09-13 | 日立オートモティブシステムズ株式会社 | Vehicle-mounted camera and vehicle-mounted camera system |
| EP2682929A1 (en) * | 2011-03-04 | 2014-01-08 | Hitachi Automotive Systems, Ltd. | Vehicle-mounted camera and vehicle-mounted camera system |
| US8878935B2 (en) | 2011-03-04 | 2014-11-04 | Hitachi Automotive Systems, Ltd. | In-vehicle camera and in-vehicle camera system |
| EP2682929A4 (en) * | 2011-03-04 | 2015-01-07 | Hitachi Automotive Systems Ltd | Vehicle-mounted camera and vehicle-mounted camera system |
| JP2019007830A (en) * | 2017-06-23 | 2019-01-17 | 富士フイルム株式会社 | Distance data generation system, method for generating distance data, method for calculating correction data, and program |
| CN113016179A (en) * | 2018-11-15 | 2021-06-22 | 松下知识产权经营株式会社 | Camera system and vehicle |
| JP2022050221A (en) * | 2020-09-17 | 2022-03-30 | 新明和工業株式会社 | Load-receiving platform raising/lowering device and vehicle with load-receiving platform raising/lowering device |
| CN113386742A (en) * | 2021-05-28 | 2021-09-14 | 晋城鸿智纳米光机电研究院有限公司 | Brake auxiliary system, method and automobile |
| CN115339384A (en) * | 2022-08-18 | 2022-11-15 | 惠州市德赛西威智能交通技术研究院有限公司 | Vehicle driving assistance system, method, storage medium, and vehicle |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003002138A (en) | Method and device for on-vehicle rear monitoring | |
| JP6185970B2 (en) | Method for detecting an object adjacent to the rear side of a vehicle | |
| JP2901112B2 (en) | Vehicle periphery monitoring device | |
| EP2288287B1 (en) | Driver imaging apparatus and driver imaging method | |
| EP2623376B1 (en) | Parking assistance device | |
| JP5592441B2 (en) | Light distribution control device | |
| JP5753509B2 (en) | Device information acquisition device | |
| WO2006118076A1 (en) | System for monitoring periphery of vehicle | |
| JP5761002B2 (en) | Lighting control device | |
| US9340156B2 (en) | Method for detecting an object in an environmental region of a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle | |
| JP2004514384A (en) | Method and apparatus for monitoring the surroundings of a vehicle | |
| JP4927647B2 (en) | Vehicle periphery monitoring device | |
| JP2007304033A (en) | Monitoring device for vehicle periphery, vehicle, vehicle peripheral monitoring method, and program for vehicle peripheral monitoring | |
| CN106853794A (en) | Inner wheel difference warning method and system for sensing object distance by using structure light | |
| JP2005236540A (en) | On-vehicle camera device | |
| CN111347977B (en) | Vehicle blind spot image display method, device and system | |
| KR101692809B1 (en) | Camera apparatus for vehicle and method for measuring obstacle distance using the same | |
| JP4730589B2 (en) | Vehicle perimeter monitoring system | |
| JP2004328240A (en) | Peripheral image display equipment | |
| KR20060088988A (en) | Distance recognition method using rear camera and beam means | |
| JP2008183933A (en) | Noctovision equipment | |
| EP1800964B1 (en) | Method of depth estimation from a single camera | |
| JP2004276807A (en) | Retreat parking support device for vehicle | |
| JP2006160193A (en) | Vehicular drive supporting device | |
| JP2006213146A (en) | Face direction determination device of driver |