JP2007015460A - Obstacle position indicating system and method of indicating obstacle position - Google Patents
Obstacle position indicating system and method of indicating obstacle position Download PDFInfo
- Publication number
- JP2007015460A JP2007015460A JP2005196758A JP2005196758A JP2007015460A JP 2007015460 A JP2007015460 A JP 2007015460A JP 2005196758 A JP2005196758 A JP 2005196758A JP 2005196758 A JP2005196758 A JP 2005196758A JP 2007015460 A JP2007015460 A JP 2007015460A
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- image data
- calculated
- indicating
- steering wheel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Steering Controls (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、外部を撮像する撮像装置が撮像した画像データに基づいて、歩行者等の障害物の存在を検出した場合、検出した障害物の存在する位置を操舵輪上の発光体の点灯で表示することができる障害物位置指示システム、及び障害物位置指示方法に関する。 In the present invention, when the presence of an obstacle such as a pedestrian is detected based on image data captured by an imaging device that captures the outside, the position of the detected obstacle is determined by lighting the light emitter on the steering wheel. The present invention relates to an obstacle position indicating system and an obstacle position indicating method that can be displayed.
自動車などの車両に、ボロメータ又は焦電型撮像素子を備えた遠赤外用の撮像装置を搭載し、例えば夜間走行時に、車両前方の歩行者、自転車等の存在を認識して運転者に注意を促す周囲監視システムが多々開発されている。 A vehicle such as an automobile is equipped with a far-infrared imaging device equipped with a bolometer or a pyroelectric image sensor. For example, when driving at night, the driver recognizes the presence of pedestrians and bicycles in front of the vehicle. A number of ambient monitoring systems have been developed.
例えば、遠赤外用の撮像装置で人間を撮像した場合、熱源である人間は他の背景物に対して高い輝度を有する。従来の周囲監視システムは、予め人間の体温分布に応じた輝度分布を示す基準パターンを記憶しておき、遠赤外用の撮像装置で撮像した画像データと記憶してある基準パターンとをパターンマッチングすることにより、人間の存在を検出することが可能となっている。 For example, when a human is imaged with a far-infrared imaging device, the human being, which is a heat source, has high brightness relative to other background objects. A conventional ambient monitoring system stores a reference pattern indicating a luminance distribution corresponding to a human body temperature distribution in advance, and pattern-matches image data captured by a far-infrared imaging device and the stored reference pattern. This makes it possible to detect the presence of a human being.
そして、例えば特許文献1では、人間の存在を障害物の存在として検出した場合、障害物までの距離及び方向を算出して、衝突の可能性を算出することにより、ヘッドアップディスプレイに警告表示を出力する、警笛を鳴動する等の運転者に対する注意喚起手段を備える周辺監視装置が開示されている。
上述した従来の周囲監視システムの多くは、歩行者、自転車等の障害物の存在を検出した場合、検出した障害物の画像をヘッドアップディスプレイに表示することにより運転者に対して警告表示を行っている。しかし、ヘッドアップディスプレイとフロントウインドウとの間で視線を頻繁に移動する必要が生じ、運転者が前方を注視する時間が減少することにより安全が脅かされるおそれがあるという問題点があった。 Many of the conventional surrounding monitoring systems described above display a warning to the driver by displaying an image of the detected obstacle on the head-up display when the presence of an obstacle such as a pedestrian or bicycle is detected. ing. However, there is a problem in that it is necessary to frequently move the line of sight between the head-up display and the front window, and there is a risk that safety may be threatened due to a reduction in time for the driver to gaze ahead.
また、特許文献1のようなヘッドアップディスプレイに障害物の画像を表示する場合、表示されている障害物の位置と、フロントウインドウを通じて運転者が見る障害物の位置との間には乖離が存在し、運転者が実際に障害物の存在する位置を即座に判断することが困難であることから、検出した障害物の回避動作に入るまでに相当の時間を要するという問題点もあった。
Further, when an obstacle image is displayed on the head-up display as in
本発明は、斯かる事情に鑑みてなされたものであり、撮像した画像データにて検出された障害物の存在する位置を、操舵輪上に設けてある発光体を点灯させることにより確認することができる障害物位置指示システム、及び障害物位置指示方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and confirms the position of an obstacle detected from captured image data by lighting a light emitter provided on a steered wheel. An object of the present invention is to provide an obstacle position indicating system and an obstacle position indicating method.
上記目的を達成するために第1発明に係る障害物位置指示システムは、車両の外部を撮像する撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき障害物を検出し、検出した障害物の位置を指示する障害物位置指示システムにおいて、操舵輪に複数の発光体が設けてあり、前記撮像装置から取得した画像データ中の障害物の有無を判断する障害物判断手段と、該障害物判断手段で障害物が有ると判断した場合、障害物までの距離及び方向を算出する障害物位置算出手段と、算出した距離及び方向に基づいて、衝突する危険度を算出する危険度算出手段と、算出した危険度が所定値より大きいか否かを判断する判断手段と、該判断手段で危険度が所定値より大きいと判断した場合、運転者から見て障害物が実在する位置を示す方向に位置する発光体を点灯させる操舵輪点灯手段とを備えることを特徴とする。 In order to achieve the above object, an obstacle position indicating system according to a first aspect of the present invention obtains image data captured by an imaging device that images the outside of a vehicle, performs image recognition processing, and selects an obstacle based on the processing result. In the obstacle position indicating system for detecting and indicating the position of the detected obstacle, the steering wheel is provided with a plurality of light emitters, and the obstacle for determining the presence or absence of the obstacle in the image data acquired from the imaging device When it is determined that there is an obstacle by the judging means and the obstacle judging means, the obstacle position calculating means for calculating the distance and direction to the obstacle, and the risk of collision based on the calculated distance and direction. A risk calculating means for calculating; a determining means for determining whether or not the calculated risk is greater than a predetermined value; and when the determining means determines that the risk is greater than a predetermined value, an obstacle viewed from the driver Is real Characterized in that it comprises a steering wheel turned means for lighting the light emitting body located in the direction indicated position.
また、第2発明に係る障害物位置指示システムは、第1発明において、前記操舵輪点灯手段は、操舵輪の操舵角度を時計回り(反時計回り)を正として検出する手段と、運転者の頭部の位置を取得する手段と、取得した頭部の位置と検出した障害物の位置とを結ぶ線分が操舵輪の回転面を含む平面と交差する位置の操舵輪の回転中心周りの中心角を、前記回転中心を通る操舵輪の上頂点方向を基準方向として時計回り(反時計回り)を正として算出する手段と、算出した中心角から検出した操舵角度を減算した角度が示す位置の近傍に配置してある発光体を点灯する手段とを備えることを特徴とする。 The obstacle position indicating system according to a second aspect of the present invention is the obstacle position indicating system according to the first aspect, wherein the steering wheel lighting means includes a means for detecting the steering angle of the steering wheel as positive (counterclockwise) positive, Center around the center of rotation of the steering wheel at a position where a line segment connecting the means for acquiring the position of the head and the position of the acquired head and the detected position of the obstacle intersects the plane including the rotation surface of the steering wheel Means for calculating the angle with the upper apex direction of the steering wheel passing through the center of rotation as a reference direction and positive (counterclockwise) clockwise, and the position indicated by the angle obtained by subtracting the detected steering angle from the calculated center angle And a means for lighting a light emitter arranged in the vicinity.
また、第3発明に係る障害物位置指示システムは、第1又は第2発明において、前記操舵輪点灯手段は、前記操舵輪の上半分に位置する発光体を点灯させるようにしてあることを特徴とする。 According to a third aspect of the present invention, there is provided the obstacle position indicating system according to the first or second aspect, wherein the steering wheel lighting means lights a light emitter located in an upper half of the steering wheel. And
また、第4発明に係る障害物位置指示方法は、車両の外部を撮像する撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき障害物を検出し、検出した障害物の位置を指示する障害物位置指示方法において、操舵輪に複数の発光体を設け、前記撮像装置から取得した画像データ中の障害物の有無を判断し、障害物が有ると判断した場合、障害物までの距離及び方向を算出し、算出した距離及び方向に基づいて、衝突する危険度を算出し、算出した危険度が所定値より大きいか否かを判断し、危険度が所定値より大きいと判断した場合、運転者から見て障害物が実在する位置を示す方向に位置する発光体を点灯させることを特徴とする。 The obstacle position instruction method according to the fourth aspect of the invention acquires image data captured by an imaging device that images the outside of the vehicle, performs image recognition processing, detects an obstacle based on the processing result, and detects the obstacle. In the obstacle position instruction method for indicating the position of an obstacle, when a plurality of light emitters are provided on a steering wheel, the presence or absence of an obstacle is determined in image data acquired from the imaging device, and it is determined that there is an obstacle , Calculate the distance and direction to the obstacle, calculate the risk of collision based on the calculated distance and direction, determine whether the calculated risk is greater than a predetermined value, and the risk is a predetermined value When it is determined that the size is larger, the light emitter located in the direction indicating the position where the obstacle is actually seen from the driver is turned on.
第1発明及び第4発明では、操舵輪に複数の発光体を設けておき、撮像装置から取得した画像データ中の障害物の有無を判断し、障害物が有ると判断した場合、障害物までの距離及び方向を算出し、算出した距離及び方向に基づいて、衝突する危険度を算出し、算出した危険度が所定値より大きい場合、運転者から見て障害物が実在する位置を示す方向に位置する発光体を点灯させる。これにより、運転者は、通常の走行状態と同様の視線移動により障害物の存在を確認することができ、障害物の存在する位置を確認するために視線を大きく移動させる必要がないことから、運転の安全を確保しつつ障害物の存在する位置を確認することが可能となる。 In the first invention and the fourth invention, a plurality of light emitters are provided on the steered wheels, the presence / absence of an obstacle in the image data acquired from the imaging device is determined, and if it is determined that there is an obstacle, The distance and direction of the vehicle are calculated, the risk of collision is calculated based on the calculated distance and direction, and when the calculated risk is greater than a predetermined value, the direction indicating the position where the obstacle is actually seen from the driver Turn on the light emitter located at. As a result, the driver can confirm the presence of an obstacle by moving the line of sight similar to the normal driving state, and it is not necessary to move the line of sight largely in order to check the position where the obstacle exists. It becomes possible to confirm the position where the obstacle exists while ensuring the safety of driving.
第2発明では、操舵輪の操舵角度を時計回り(反時計回り)を正として検出し、運転者の頭部の位置を取得し、取得した頭部の位置と検出した障害物の位置とを結ぶ線分が操舵輪の回転面を含む平面と交差する位置の操舵輪の回転中心周りの中心角を、回転中心を通る操舵輪の上頂点方向を基準方向として時計回り(反時計回り)を正として算出し、算出した中心角から検出した操舵角度を減算した角度が示す位置の近傍に配置してある発光体を点灯する。これにより、操舵輪がどの角度に操舵されている場合であっても、運転者が障害物を検出する方向の近傍に位置する発光体を点灯させることができ、運転者は通常の運転動作の延長として障害物の存在及び方向を確認することが可能となる。 In the second invention, the steering angle of the steered wheel is detected as clockwise (counterclockwise) as positive, the position of the driver's head is acquired, and the acquired position of the head and the position of the detected obstacle are determined. The central angle around the rotation center of the steering wheel at the position where the connecting line intersects the plane including the rotation surface of the steering wheel is clockwise (counterclockwise) with the upper vertex direction of the steering wheel passing through the rotation center as the reference direction. The light emitters that are calculated as positive and are arranged in the vicinity of the position indicated by the angle obtained by subtracting the detected steering angle from the calculated center angle are turned on. Thus, regardless of the angle at which the steered wheel is steered, the light emitter located in the vicinity of the direction in which the driver detects the obstacle can be turned on, and the driver can perform normal driving operation. As an extension, the presence and direction of the obstacle can be confirmed.
第3発明では、操舵輪の上半分に位置する発光体を点灯させる。これにより、操舵輪がどの角度に操舵されている場合であっても、運転者が障害物を検出する方向の近傍に位置する発光体として、操舵輪の上半分に配置してある発光体を点灯させることができ、運転者は障害物の存在及び方向を確実に確認することが可能となる。 In 3rd invention, the light-emitting body located in the upper half of a steering wheel is lighted. As a result, regardless of the angle at which the steered wheel is steered, the illuminator disposed in the upper half of the steered wheel is used as the illuminant located in the vicinity of the direction in which the driver detects the obstacle. It can be turned on, and the driver can surely check the presence and direction of the obstacle.
第1発明及び第4発明によれば、運転者は、通常の走行状態と同様の視線移動により障害物の存在を確認することができ、障害物の存在する位置を確認するために視線を大きく移動させる必要がないことから、運転の安全を確保しつつ障害物の存在する位置を確認することが可能となる。 According to the first and fourth inventions, the driver can confirm the presence of an obstacle by moving the line of sight in the same manner as in a normal driving state, and increase the line of sight to confirm the position where the obstacle exists. Since it is not necessary to move, it is possible to confirm the position where the obstacle exists while ensuring the safety of driving.
第2発明によれば、操舵輪がどの角度に操舵されている場合であっても、運転者が障害物を検出する方向の近傍に位置する発光体を点灯させることができ、運転者は通常の運転動作の延長として障害物の存在及び方向を確認することが可能となる。 According to the second invention, regardless of the angle at which the steered wheel is steered, the light emitter located in the vicinity of the direction in which the driver detects the obstacle can be turned on. As an extension of the driving operation, the presence and direction of the obstacle can be confirmed.
第3発明によれば、操舵輪がどの角度に操舵されている場合であっても、運転者が障害物を検出する方向の近傍に位置する発光体として、操舵輪の上半分に配置してある発光体を点灯させることができ、運転者は障害物の存在及び方向を確実に確認することが可能となる。 According to the third invention, regardless of the angle at which the steered wheel is steered, it is arranged in the upper half of the steered wheel as a light emitter located in the vicinity of the direction in which the driver detects an obstacle. A certain light emitter can be turned on, and the driver can surely check the presence and direction of an obstacle.
図1は、本発明の実施の形態に係る障害物位置指示システムの構成を模式的に示す図である。本実施の形態では、車両に搭載した画像認識システムにより障害物を検出し、障害物の存在する位置を算出して、衝突するおそれがある場合に障害物の存在を表示する。1、2は、夜間の歩行者、自転車に乗った人間等を撮像する遠赤外用のビデオカメラ(撮像装置)である。ビデオカメラ1、2は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。撮像した画像データは、IEEE1394に準拠した車載LANケーブル7を介して接続してある画像処理装置3に送信される。
FIG. 1 is a diagram schematically showing a configuration of an obstacle position indicating system according to an embodiment of the present invention. In this embodiment, an obstacle is detected by an image recognition system mounted on the vehicle, the position where the obstacle exists is calculated, and the presence of the obstacle is displayed when there is a possibility of collision.
画像処理装置3は、ビデオカメラ1、2、操作部を備えた表示装置4、及び音声、効果音等により聴覚的な警告を発する警報装置5と、車載LANケーブル7を介して接続されている。また、画像処理装置3は、操舵輪6に複数配設してある発光体61、61、・・・の点灯を制御するECU62と車載LANケーブル7を介して接続されている。
The
図2は、本発明の実施の形態に係る障害物位置指示システムの遠赤外用ビデオカメラ1の構成を示すブロック図である。画像撮像部11は、光学信号を電気信号に変換する撮像素子を備えている。画像撮像部11は、車両の周囲の赤外光像をRGB(R:赤、G:緑、B:青)のアナログ信号として読み取り、読み取ったRGB信号を、内部バス15を介して信号処理部12へ送信する。
FIG. 2 is a block diagram showing the configuration of the far-
信号処理部12は、LSI基板であり、画像撮像部11から受信したアナログ信号をRGBのデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、RGB信号をYUV(Y:輝度、U、V:色差)信号に変換し、変換したYUV信号を画像データとして画像メモリ13へ記憶する。
The
通信インタフェース部14は、LSI基板であり、車載LANケーブル7を介して画像処理装置3とデータの送受信を行う。通信インタフェース部14は、画像処理装置3から送出される指令に従って、画像メモリ13に記憶された画像データの画像処理装置3への送出、ビデオカメラ1、2で撮像した画像の解像度による転送レートの変換、画像データを送出するためのパケットデータの生成等を行う。
The
図3は、本発明の実施の形態に係る画像処理装置3の構成を示すブロック図である。通信インタフェース部31は、ビデオカメラ1、2に対する指令の送信、ビデオカメラ1、2からの画像データの受信を行う。通信インタフェース部31は、ビデオカメラ1、2から受信した画像データを、1フレーム単位に同期させて画像メモリ32に記憶する。
FIG. 3 is a block diagram showing a configuration of the
また、通信インタフェース部31は、液晶ディスプレイ等の表示装置4に対して画像データを送信し、ブザー、スピーカ等の警報装置5に対して合成音等の出力信号を送信する。さらに、操舵輪6に配設してある複数の発光体61、61、・・・の点灯を制御するECU62へ、点灯/消灯を指示する指示信号を送信する。
The
画像メモリ32は、SRAM、フラッシュメモリ等であり、通信インタフェース部31を介してビデオカメラ1、2から受信した画像データを記憶する。
The
LSI33は、画像処理を行う基板であり、画像メモリ32に記憶された画像データをフレーム単位で読出し、読み出した画像データ中に直線部分又は角部分と認識する部分が存在するか否かを判断する。LSI33が、直線部分又は角部分と認識する部分が存在すると判断した場合、LSI33は、直線部分又は角部分を含む認識領域を画像データから削除し、通信インタフェース部31を介して表示装置4へ削除処理を施した後の画像データを送出する。また、LSI33は、演算処理の途上で生成したデータを記憶するRAMを内蔵している。
The
図4は、操舵輪6の構成を模式的に示すブロック図である。操舵輪6は、その周囲に沿って、発光体61、61、・・・としてLEDを配設してある。各発光体61は、操舵輪6の中央に配置してある点灯/消灯を制御するECU62と接続してあり、受信する指示信号に応じて、所定の発光体61を点灯させる。
FIG. 4 is a block diagram schematically showing the configuration of the steered
発光体61、61、・・・はLEDに限定されるものではなく、例えばハロゲンランプ等の発光体であれば何でも良い。また、発光体61、61、・・・を配設する位置は、操舵輪6の周上であれば特に限定されるものではないが、障害物の存在する位置を感覚的に把握することを容易ならしめるために、一定間隔で配置することが好ましい。
The
LSI33での詳細な処理について以下に説明する。図5は、本発明の実施の形態に係る画像処理装置3のLSI33の歩行者等の障害物検出処理の手順を示すフローチャートである。
Detailed processing in the
LSI33は、画像メモリ32に記憶してある画像データを読出し(ステップS501)、画素値に基づいてエッジ部分を抽出する(ステップS502)。エッジ部分の抽出方法は特に限定されるものではない。例えば、以下に示すように、ラプラシアンフィルタを用いてエッジ部分を抽出する。
The
ラプラシアンフィルタは、所定の画素の画素値と該画素の周囲に存在する画素の画素値とを対比し、画素値の差分値が所定の閾値より大きい場合に‘1’を出力し、所定の閾値より小さい場合に‘0’を出力する。すなわち、周囲の画素と画素値の差分が所定の閾値より大きい場合、エッジ部分であるとして‘1’を出力する。(数1)は、所定の画素の上下左右に存在する画素の画素値を用いる場合のラプラシアンフィルタにおける演算処理を示す数式である。 The Laplacian filter compares the pixel value of a predetermined pixel with the pixel values of the pixels existing around the pixel, and outputs “1” when the difference value of the pixel value is larger than the predetermined threshold value. If it is smaller, '0' is output. That is, when the difference between the surrounding pixels and the pixel value is larger than a predetermined threshold, “1” is output as an edge portion. (Equation 1) is a mathematical expression showing a calculation process in a Laplacian filter when pixel values of pixels existing above, below, left and right of a predetermined pixel are used.
(数1)において、f(x、y)は、受け付けた画像データにおける所定の位置での画素の画素値を、g(x、y)は、エッジ画素の画素値を、THは所定の閾値を、それぞれ示している。ラプラシアンフィルタにより画素値が‘1’となった画素をエッジ部分として抽出する。 In (Expression 1), f (x, y) is a pixel value of a pixel at a predetermined position in received image data, g (x, y) is a pixel value of an edge pixel, and TH is a predetermined threshold value. Respectively. A pixel having a pixel value “1” is extracted as an edge portion by a Laplacian filter.
LSI33は、歩行者が存在するか否かを判断するのに使用する特徴量、例えば人間の標準的な温度分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値を算出し(ステップS503)、相関値が所定の閾値より大きい領域が存在するか否かを判断する(ステップS504)。
The
なお、LSI33が、歩行者が存在するか否かを判断するのに使用する特徴量として、人間の標準的な温度分布を示すテンプレートと、抽出したエッジ部分で構成される画像データ(ラプラシアンフィルタ適用後の画像データ)とをマッチングすることにより算出した相関値Rを用いる場合、相関値Rは(数2)に基づいて算出される。
Note that the
(数2)において、Nはマッチング処理を行う領域の総画素数を、kは0≦k≦(N−1)の整数を、Fkは人間の標準的な温度分布を示すテンプレート内におけるk番目の画素の画素値を、Gkはマッチング処理する画像におけるk番目の画素の画素値を、それぞれ示している。 In (Expression 2), N is the total number of pixels in the region to be matched, k is an integer of 0 ≦ k ≦ (N−1), and Fk is the kth in the template indicating a standard human temperature distribution. Gk indicates the pixel value of the kth pixel in the image to be matched.
なお、抽出したエッジ部分が歩行者と認識すべき画像であるか否かを判断するのに使用する特徴量としては、上述した人間の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値に限定されるものではなく、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。 Note that, as a feature amount used to determine whether or not the extracted edge portion is an image to be recognized as a pedestrian, the above-described template showing a standard human temperature distribution and image data are matched. It is not limited to the correlation value, but it is possible to specify the area recognized as a pedestrian, such as the size of the area recognized as a pedestrian, the aspect ratio, the average value of pixel values, the variance, etc. Any amount may be used, or a combination of these may be determined.
LSI33が、相関値が所定の閾値より大きい領域が存在すると判断した場合(ステップS504:YES)、LSI33は、歩行者等の障害物を検出したものと判断し、車両前部中心点と検出した障害物との距離、及び障害物の方向を示す車両前部中心点からの角度を算出する(ステップS505)。方向を示す角度は、車両の進行方向に対して左側を正の角度、右側を負の角度として算出する。
When the
なお、歩行者と認識された障害物と自車両との距離、及び障害物への方向を示す角度は、ビデオカメラ1、2をステレオ配置しておき、左右のビデオカメラ1、2の画像データをステレオ画像処理することにより算出する。検出した障害物の位置及び方向の算出方法は、特にこれに限定されるものではなく、別途レーダ装置を車両前方下部に装着しておき、直接的に歩行者と認識された障害物と自車両との距離、及び障害物への方向を示す角度を測定するものであっても良い。
The distance between the obstacle recognized as a pedestrian and the own vehicle, and the angle indicating the direction to the obstacle are the video data of the left and
LSI33は、算出した障害物の位置及び方向に基づいて、障害物と衝突するおそれがあるか否かを判断する。具体的には、LSI33は、検出した障害物と衝突するおそれの度合を示す危険度Pを算出し(ステップS506)、算出した危険度Pが所定値、例えば1より大きいか否かを判断する(ステップS507)。検出した障害物と衝突するおそれの度合を示す危険度Pは、障害物までの距離をL、車両の速度V、回避可能時間をtとした場合、(数3)で表すことができる。
The
(数3)
P=t/(L/V)
(Equation 3)
P = t / (L / V)
すなわち、危険度Pが1より大きいほど衝突するおそれが高くなる。なお、危険度Pは、特に(数3)に限定されるものではなく、衝突するおそれの度合を表すことができる指標であれば何でも良い。なお、本実施の形態では危険度Pの値が大きいほど衝突するおそれが高い例について説明しているが、危険度Pの値が小さいほど衝突するおそれが高い指標であっても良いことは言うまでもない。 That is, the risk of collision increases as the risk level P is greater than 1. The risk level P is not particularly limited to (Equation 3), and any index can be used as long as it can indicate the degree of risk of collision. In this embodiment, an example is described in which the risk of collision increases as the risk P value increases, but it goes without saying that the risk of collision may increase as the risk P value decreases. Yes.
LSI33が、算出した危険度Pが1より大きいと判断した場合(ステップS507:YES)、LSI33は、衝突のおそれがあるものと判断して、表示装置4及び警報装置5に対して、通信インタフェース部31を介して、障害物を検出した旨を示す警報情報を送出する(ステップS508)。
When the
図6は、本発明の実施の形態に係る画像処理装置3のLSI33の障害物の位置を指示する指示信号を送信する処理手順を示すフローチャートである。LSI33が、算出した危険度Pが1より大きいと判断した場合(ステップS507:YES)、LSI33は、運転者の頭部の位置を取得する(ステップS601)。運転者の頭部の位置は、初期値としてRAMに記憶しておいても良いし、例えば室内用撮像装置を備えておき、ステレオ視により三次元座標として取得しても良い。
FIG. 6 is a flowchart showing a processing procedure for transmitting an instruction signal instructing the position of an obstacle in the
LSI33は、取得した頭部の位置と検出した障害物の位置とを結ぶ線分が操舵輪6の回転面を含む平面と交差する位置の操舵輪6の回転中心周りの中心角を、回転中心を通る操舵輪6の上頂点方向を基準方向として時計回り(反時計回り)を正として算出する(ステップS602)。頭部の位置の特定方法は特に限定されるものではなく、例えば頭部の体積中心の座標値を用いても良いし、眼球の平均的な位置に相当する座標値を用いても良い。
The
操舵輪6は、操舵に応じて回転する。したがって、運転者が視認しやすいよう操舵輪6の上半分に配置してある発光体を点灯させるためには、操舵角度に応じた中心角の補正が必要となる。
The steered
LSI33は、外部に配設してある操舵輪6の操舵角度センサ(図示せず)から、時計回り又は反時計回りを正として検出した操舵角度を取得する(ステップS603)。LSI33は、算出した中心角から取得した操舵角度を減算し(ステップS604)、点灯すべき発光体61の位置を補正する。LSI33は、算出した中心角から操舵角度を減算した角度を中心角とする位置又はその近傍に配置してある発光体61を点灯すべき発光体61として特定し(ステップS605)、特定した発光体61を点灯させる指示信号をECU62に対して送信する(ステップS606)。指示信号を受信したECUは、指示信号で指定されている発光体61を点灯する。
The
発光体61、61、・・・は、図4に示すように一定間隔、例えば中心角5度間隔で操舵輪6の周上に配設してある。したがって、補正した中心角を挟む2つの発光体61、61のうち、補正した中心角に近い中心角で示す位置に配設してある発光体61を点灯すべき発光体61として特定する。補正した中心角が、2つの発光体61、61の中央である場合、両者を点灯しても良いし、いずれかを点灯すれば良い。
As shown in FIG. 4, the
このようにすることで、操舵角度によらず、操舵輪6の上半分に位置する発光体61を点灯させることができ、運転者が運転中に目視により確認することが容易となる。
By doing in this way, the light-emitting
以上のように、本実施の形態によれば、運転者は、通常の走行状態と同様の視線移動により障害物の存在を確認することができ、障害物の存在する位置を確認するために視線を大きく移動させる必要がないことから、運転の安全を確保しつつ障害物の存在する位置を確認することが可能となる。また、操舵輪がどの角度に操舵されている場合であっても、運転者が障害物を検出する方向の近傍に位置する発光体を点灯させることができ、運転者は通常の運転動作の延長として障害物の存在及び方向を確認することが可能となる。 As described above, according to the present embodiment, the driver can confirm the presence of an obstacle by the same line of sight movement as in a normal traveling state, and looks at the line of sight to confirm the position where the obstacle exists. Therefore, it is possible to confirm the position where the obstacle exists while ensuring the safety of driving. In addition, regardless of the angle at which the steered wheel is steered, the light emitter located in the vicinity of the direction in which the driver detects the obstacle can be turned on, and the driver can extend normal driving operation. As a result, it is possible to confirm the presence and direction of the obstacle.
1、2 ビデオカメラ
3 画像処理装置
4 表示装置
5 警報装置
6 操舵輪
31 通信インタフェース部
32 画像メモリ
33 LSI
61 発光体
62 ECU
DESCRIPTION OF
61
Claims (4)
操舵輪に複数の発光体が設けてあり、
前記撮像装置から取得した画像データ中の障害物の有無を判断する障害物判断手段と、
該障害物判断手段で障害物が有ると判断した場合、障害物までの距離及び方向を算出する障害物位置算出手段と、
算出した距離及び方向に基づいて、衝突する危険度を算出する危険度算出手段と、
算出した危険度が所定値より大きいか否かを判断する判断手段と、
該判断手段で危険度が所定値より大きいと判断した場合、運転者から見て障害物が実在する位置を示す方向に位置する発光体を点灯させる操舵輪点灯手段と
を備えることを特徴とする障害物位置指示システム。 In the obstacle position indicating system that acquires image data captured by an imaging device that captures the outside of the vehicle, performs image recognition processing, detects an obstacle based on the processing result, and indicates the position of the detected obstacle.
A plurality of light emitters are provided on the steering wheel,
Obstacle determination means for determining the presence or absence of an obstacle in the image data acquired from the imaging device;
An obstacle position calculating means for calculating a distance and a direction to the obstacle when the obstacle determining means determines that there is an obstacle;
A risk level calculating means for calculating a risk level of collision based on the calculated distance and direction;
A determination means for determining whether or not the calculated risk is greater than a predetermined value;
Steering wheel lighting means for lighting a light emitter located in a direction indicating a position where an obstacle actually exists when viewed from the driver when the determination means determines that the degree of danger is greater than a predetermined value. Obstacle location indication system.
操舵輪の操舵角度を時計回り(反時計回り)を正として検出する手段と、
運転者の頭部の位置を取得する手段と、
取得した頭部の位置と検出した障害物の位置とを結ぶ線分が操舵輪の回転面を含む平面と交差する位置の操舵輪の回転中心周りの中心角を、前記回転中心を通る操舵輪の上頂点方向を基準方向として時計回り(反時計回り)を正として算出する手段と、
算出した中心角から検出した操舵角度を減算した角度が示す位置の近傍に配置してある発光体を点灯する手段と
を備えることを特徴とする請求項1記載の障害物位置指示システム。 The steering wheel lighting means is
Means for detecting the steering angle of the steered wheel as clockwise (counterclockwise) as positive;
Means for obtaining the position of the driver's head;
A steered wheel that passes through the center of rotation about the center angle around the center of rotation of the steered wheel at a position where a line connecting the acquired position of the head and the position of the detected obstacle intersects a plane including the plane of rotation of the steered wheel. Means for calculating positive (counterclockwise) clockwise with the upper vertex direction as a reference direction;
The obstacle position indicating system according to claim 1, further comprising means for lighting a light emitter arranged in the vicinity of a position indicated by an angle obtained by subtracting the detected steering angle from the calculated center angle.
前記操舵輪の上半分に位置する発光体を点灯させるようにしてあることを特徴とする請求項1又は2記載の障害物位置指示システム。 The steering wheel lighting means is
3. The obstacle position indicating system according to claim 1, wherein a light emitter located in an upper half of the steering wheel is turned on.
操舵輪に複数の発光体を設け、
前記撮像装置から取得した画像データ中の障害物の有無を判断し、
障害物が有ると判断した場合、障害物までの距離及び方向を算出し、
算出した距離及び方向に基づいて、衝突する危険度を算出し、
算出した危険度が所定値より大きいか否かを判断し、
危険度が所定値より大きいと判断した場合、運転者から見て障害物が実在する位置を示す方向に位置する発光体を点灯させることを特徴とする障害物位置指示方法。 In the obstacle position indicating method of acquiring image data captured by an imaging device that images the outside of the vehicle, performing image recognition processing, detecting an obstacle based on the processing result, and indicating the position of the detected obstacle,
A plurality of light emitters are provided on the steering wheel,
Determining the presence or absence of obstacles in the image data acquired from the imaging device;
If it is determined that there is an obstacle, calculate the distance and direction to the obstacle,
Calculate the risk of collision based on the calculated distance and direction,
Determine whether the calculated risk is greater than a predetermined value,
An obstacle position indicating method characterized in that, when it is determined that the degree of danger is greater than a predetermined value, a light emitter located in a direction indicating a position where an obstacle actually exists is viewed from the driver.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005196758A JP2007015460A (en) | 2005-07-05 | 2005-07-05 | Obstacle position indicating system and method of indicating obstacle position |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005196758A JP2007015460A (en) | 2005-07-05 | 2005-07-05 | Obstacle position indicating system and method of indicating obstacle position |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007015460A true JP2007015460A (en) | 2007-01-25 |
Family
ID=37752995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005196758A Pending JP2007015460A (en) | 2005-07-05 | 2005-07-05 | Obstacle position indicating system and method of indicating obstacle position |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007015460A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009001094A (en) * | 2007-06-20 | 2009-01-08 | Tokai Rika Co Ltd | Steering device |
JP2010537888A (en) * | 2007-09-06 | 2010-12-09 | タカタ・ペトリ アーゲー | Vehicle steering wheel assembly |
-
2005
- 2005-07-05 JP JP2005196758A patent/JP2007015460A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009001094A (en) * | 2007-06-20 | 2009-01-08 | Tokai Rika Co Ltd | Steering device |
JP2010537888A (en) * | 2007-09-06 | 2010-12-09 | タカタ・ペトリ アーゲー | Vehicle steering wheel assembly |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5171723B2 (en) | Obstacle detection device and vehicle equipped with the device | |
JP5629521B2 (en) | Obstacle detection system and method, obstacle detection device | |
JP2002319091A (en) | Device for recognizing following vehicle | |
TWI506601B (en) | Vehicle monitoring system and method thereof | |
JP2012063918A (en) | Vehicle periphery image display device and method | |
KR101888960B1 (en) | Apparatus and method for measuring the flatness of the road | |
JP2006338594A (en) | Pedestrian recognition system | |
JP2009265842A (en) | Warning device for vehicle and warning method | |
JP2006341713A (en) | System and method for changing irradiation direction of head lamp | |
JP2010044561A (en) | Monitoring device to be mounted on vehicle | |
JP2012099085A (en) | Real-time warning system on windshield glass for vehicle, and operating method thereof | |
WO2010007718A1 (en) | Vehicle vicinity monitoring device | |
JP2007128460A (en) | Collision determination system, collision determination method, computer program, and determination device | |
JP2007139564A (en) | Obstacle detection system, obstacle detection method and computer program | |
JP2005285011A (en) | Human recognition system and image processing apparatus | |
JP2018013386A (en) | Display control unit for vehicle, display system for vehicle, display control method for vehicle, and program | |
JP2007045336A (en) | System and method for detecting obstacle | |
JP2008183933A (en) | Noctovision equipment | |
JP2006160193A (en) | Vehicular drive supporting device | |
JP2007015460A (en) | Obstacle position indicating system and method of indicating obstacle position | |
JP2011191859A (en) | Apparatus for monitoring surroundings of vehicle | |
JP2011211432A (en) | In-vehicle imaging apparatus | |
KR101664297B1 (en) | Around view monitoring system and method for vehicle | |
JP2007030753A (en) | Obstacle display system and method | |
JP2006197034A (en) | Image recognition system, imaging apparatus, and image recognition method |