JP2000184368A - On-vehicle camera system displaying sensor signal superimposed on video signal - Google Patents
On-vehicle camera system displaying sensor signal superimposed on video signalInfo
- Publication number
- JP2000184368A JP2000184368A JP10354565A JP35456598A JP2000184368A JP 2000184368 A JP2000184368 A JP 2000184368A JP 10354565 A JP10354565 A JP 10354565A JP 35456598 A JP35456598 A JP 35456598A JP 2000184368 A JP2000184368 A JP 2000184368A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- sensor
- camera
- signal
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、センサー信号重畳
車載カメラシステムに関し、特に、センサー情報をグラ
フィック画像化して、カメラ画像に重畳して表示するセ
ンサー信号重畳車載カメラシステムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a sensor signal superimposed on-vehicle camera system, and more particularly to a sensor signal superimposed on-vehicle camera system for converting sensor information into a graphic image and superimposing the sensor information on a camera image.
【０００２】[0002]
【従来の技術】車両にビデオカメラを搭載し、前方や後
方を監視するシステムが利用されている。車載カメラで
撮影した画像をモニターに表示するか、後方監視のため
に、車載リアビューカメラの映像に、後方の障害物まで
の距離を、線等で表わしてグラフィック重畳している。
車載カメラの映像信号を解析し、演算により障害物まで
の距離を求めて、線等をグラフィック重畳して表示して
いる。また、超音波センサーなどで障害物を検知して、
ブザーで警報を発したり、距離を数字で表示する装置も
利用されている。2. Description of the Related Art A system in which a video camera is mounted on a vehicle to monitor the front and rear is used. An image captured by the on-vehicle camera is displayed on a monitor, or the distance to a rear obstacle is graphically superimposed on the image of the on-vehicle rear-view camera by a line or the like for backward monitoring.
The video signal of the on-board camera is analyzed, the distance to the obstacle is calculated by calculation, and lines and the like are graphically superimposed and displayed. In addition, obstacles are detected by ultrasonic sensors, etc.
Devices that use a buzzer to issue an alarm or display the distance in numbers are also used.
【０００３】[0003]
【発明が解決しようとする課題】しかし、従来の車載カ
メラシステムでは、車載カメラ以外のセンサーからの情
報を取り込んで画像表示するのではなく、車載カメラの
映像信号を解析し、演算により障害物までの距離を推定
して、線等をグラフィック重畳して表示しているので、
実際の障害物等を正確に表示できないという問題があっ
た。また、センサーが検知した障害物情報を音や数字で
知らせても、運転者には障害物の位置が直感的にわから
ないという問題があった。However, in a conventional vehicle-mounted camera system, information from a sensor other than the vehicle-mounted camera is not taken in and displayed as an image. Since the distance of is estimated and the line etc. are displayed with graphic superimposition,
There is a problem that an actual obstacle or the like cannot be accurately displayed. Further, there is a problem that even if the obstacle information detected by the sensor is notified by a sound or a number, the driver cannot intuitively know the position of the obstacle.
【０００４】本発明は、上記従来の問題点を解決し、セ
ンサーの情報を車載カメラの映像に重畳してグラフィッ
ク表示することで、障害物の位置などを運転者が直感的
にわかる形式で報知することを目的とする。The present invention solves the above-mentioned conventional problems, and superimposes information of a sensor on an image of a vehicle-mounted camera and graphically displays the information, thereby informing a driver of the position of an obstacle in an intuitive manner. The purpose is to do.
【０００５】[0005]
【課題を解決するための手段】上記の課題を解決するた
めに、本発明では、センサー信号重畳車載カメラシステ
ムを、車両に搭載した車載カメラと、超音波センサー等
のセンサーと、車載カメラの方向と画角から画面上の位
置と車両との相対関係を求める手段と、センサーからの
情報を障害物の距離と方向と大きさ等を示すセンサー映
像信号に変換するセンサー信号処理手段と、センサー映
像信号を車載カメラの映像信号に重畳して表示する手段
とを備えた構成とした。In order to solve the above-mentioned problems, the present invention provides an on-vehicle camera mounted on a vehicle, a sensor such as an ultrasonic sensor, and a direction of the on-vehicle camera. Means for determining the relative relationship between the position on the screen and the vehicle from the angle of view and the angle of view; sensor signal processing means for converting information from the sensor into a sensor image signal indicating the distance, direction, size, etc. of the obstacle; Means for superimposing the signal on the video signal of the on-board camera and displaying the signal.
【０００６】このように構成することにより、センサー
から得られる障害物や磁気ネイル等の位置情報をグラフ
ィック画像としてカメラの映像に重畳して、障害物の位
置などを運転者に直感的に知らせることができる。[0006] With this configuration, the position information of the obstacle or the magnetic nail obtained from the sensor is superimposed on the image of the camera as a graphic image to inform the driver of the position of the obstacle intuitively. Can be.
【０００７】また、車載カメラを車両側方または後側方
に設け、センサーを車両側方または後側方に設け、右左
折時と車線変更時に車両側方の様子を画面に表示する制
御手段を設けたことにより、車両側方の障害物を運転者
に直感的に知らせることができる。[0007] Further, a control means for providing an in-vehicle camera on the side or rear side of the vehicle, providing sensors on the side or rear side of the vehicle, and displaying on the screen the state of the side of the vehicle when turning right and left and when changing lanes. With the provision, the driver can be intuitively notified of the obstacle on the side of the vehicle.
【０００８】また、車載カメラとして赤外線カメラを設
け、霧発生や暗闇等の視界不良状態を検出して車両の周
囲の様子を画面表示する制御手段を設けたことにより、
視界不良の時に障害物の位置などを運転者に直感的に知
らせることができる。Also, an infrared camera is provided as an on-vehicle camera, and control means for detecting a state of poor visibility such as fog or darkness and displaying a screen around the vehicle on a screen is provided.
When the visibility is poor, the driver can intuitively be notified of the position of an obstacle or the like.
【０００９】また、センサー信号重畳車載カメラシステ
ムを、車両に搭載した車載カメラと、超音波センサー等
のセンサーと、センサーからの信号と車両の速度情報と
を解析して車両進行方向にある物体が動いているか静止
しているかを判別する手段と、判別した結果を車載カメ
ラの映像信号に重畳してグラフィック表示する手段とを
備えた構成とした。An on-vehicle camera mounted on a vehicle, a sensor such as an ultrasonic sensor, and a signal from the sensor and speed information of the vehicle are analyzed by an on-vehicle camera system with a sensor signal superimposed thereon to detect an object in the vehicle traveling direction. The system is provided with a means for determining whether it is moving or stationary, and a means for superimposing the result of determination on the video signal of the on-vehicle camera and displaying it graphically.
【００１０】このように構成することにより、動いてい
る障害物を運転者に直感的に知らせることができる。[0010] With this configuration, the moving obstacle can be intuitively notified to the driver.
【００１１】また、物体が動いていると判別した場合
に、メッセージを表示してアラームを発する手段を設け
たことにより、動いている障害物があることを運転者に
警告することができる。Further, by providing a means for displaying a message and issuing an alarm when it is determined that the object is moving, it is possible to warn the driver that there is a moving obstacle.
【００１２】[0012]
【発明の実施の形態】本発明の請求項１に記載した発明
は、車両に搭載した車載カメラと、超音波センサー等の
センサーと、前記車載カメラの方向と画角から画面上の
位置と前記車両との相対関係を求める手段と、前記セン
サーからの情報を障害物の距離と方向と大きさ等を示す
センサー映像信号に変換するセンサー信号処理手段と、
前記センサー映像信号を前記車載カメラの映像信号に重
畳して表示する手段とを備えたセンサー信号重畳車載カ
メラシステムであり、センサー情報を画像として表示す
るという作用を有する。DESCRIPTION OF THE PREFERRED EMBODIMENTS The invention described in claim 1 of the present invention is directed to a vehicle-mounted camera mounted on a vehicle, a sensor such as an ultrasonic sensor, and a position on a screen from a direction and an angle of view of the vehicle-mounted camera. Means for determining the relative relationship with the vehicle, sensor signal processing means for converting information from the sensor into a sensor video signal indicating the distance, direction, size, etc. of the obstacle,
Means for superimposing and displaying the sensor video signal on the video signal of the on-vehicle camera, and has an operation of displaying sensor information as an image.
【００１３】本発明の請求項２に記載した発明は、請求
項１記載のセンサー信号重畳車載カメラシステムにおい
て、前記車載カメラを車両側方または後側方に設け、前
記センサーを車両側方または後側方に設け、右左折時と
車線変更時に車両側方の様子を画面に表示する制御手段
を設けたものであり、車両側方の障害物をカメラ画像に
表示するという作用を有する。According to a second aspect of the present invention, in the sensor signal superimposed on-vehicle camera system according to the first aspect, the on-vehicle camera is provided on a side or a rear side of the vehicle, and the sensor is provided on a side or rear side of the vehicle. The control means is provided on the side and displays a state of the side of the vehicle on the screen when turning right and left and when changing lanes, and has an effect of displaying an obstacle on the side of the vehicle in a camera image.
【００１４】本発明の請求項３に記載した発明は、請求
項１記載のセンサー信号重畳車載カメラシステムにおい
て、前記車載カメラとして赤外線カメラを設け、霧発生
や暗闇等の視界不良状態を検出して車両の周囲の様子を
画面表示する制御手段を設けたものであり、視界不良の
ときの障害物をカメラ画像に表示するという作用を有す
る。According to a third aspect of the present invention, in the on-vehicle sensor signal superimposed camera system according to the first aspect, an infrared camera is provided as the on-vehicle camera to detect a poor visibility state such as fog or darkness. It is provided with a control means for displaying a state around the vehicle on a screen, and has an effect of displaying an obstacle at the time of poor visibility in a camera image.
【００１５】本発明の請求項４に記載した発明は、車両
に搭載した車載カメラと、超音波センサー等のセンサー
と、前記センサーからの信号と車両の速度情報とを解析
して車両進行方向にある物体が動いているか静止してい
るかを判別する手段と、判別した結果を前記車載カメラ
の映像信号に重畳してグラフィック表示する手段とを備
えたセンサー信号重畳車載カメラシステムであり、動い
ている障害物を識別してカメラ画像に表示するという作
用を有する。According to a fourth aspect of the present invention, there is provided a vehicle-mounted camera mounted on a vehicle, a sensor such as an ultrasonic sensor, a signal from the sensor and speed information of the vehicle, and analyzed in a vehicle traveling direction. A sensor signal superimposed in-vehicle camera system comprising: means for determining whether an object is moving or stationary; and means for superimposing a result of the determination on a video signal of the on-vehicle camera and graphically displaying the result. This has the effect of identifying obstacles and displaying them on the camera image.
【００１６】本発明の請求項５に記載した発明は、請求
項４記載のセンサー信号重畳車載カメラシステムにおい
て、前記物体が動いていると判別した場合に、メッセー
ジを表示してアラームを発する手段を設けたものであ
り、動いている障害物を識別して運転者に警告するとい
う作用を有する。According to a fifth aspect of the present invention, in the sensor signal superimposed on-vehicle camera system according to the fourth aspect, when it is determined that the object is moving, a means for displaying a message and issuing an alarm is provided. It has the effect of identifying a moving obstacle and alerting the driver.
【００１７】以下、本発明の実施の形態について、図１
〜図４を参照しながら詳細に説明する。Hereinafter, an embodiment of the present invention will be described with reference to FIG.
This will be described in detail with reference to FIGS.
【００１８】（第１の実施の形態）本発明の第１の実施
の形態は、超音波センサーなどからの信号を、障害物ま
での距離と方向と大きさ等を示すグラフィック映像信号
に変換し、グラフィック化したセンサー信号を車載カメ
ラの映像信号に重畳して表示するセンサー信号重畳車載
カメラシステムである。(First Embodiment) In a first embodiment of the present invention, a signal from an ultrasonic sensor or the like is converted into a graphic image signal indicating a distance to an obstacle, a direction, a size, and the like. This is a sensor signal superimposed in-vehicle camera system that superimposes a graphicized sensor signal on a video signal of an in-vehicle camera and displays it.
【００１９】図１は、本発明の第１の実施の形態のセン
サー信号重畳車載カメラシステムの概念図である。図１
において、車両１は、乗用車などの自動車である。車載
カメラ２は、車両１の後方または後側方に搭載したカメ
ラである。車載カメラ２としては、モノクロ（またはカ
ラー）の可視光の単眼（またはステレオ）カメラ、近赤
外カメラ（波長700ｎｍ〜1000ｎｍ）、近赤外ステレオ
カメラ、赤外カメラ（波長10μｍ〜12μｍ前後）、赤外
ステレオカメラ、モノクロ（またはカラー）の超広ダイ
ナミックレンジカメラなどがある。センサー３は、車両
１の後方または後側方に搭載した、超音波センサー、レ
ーザーレーダー、ミリ波レーダー、準ミリ波レーダー、
磁気ネイル検出装置などのセンサーである。FIG. 1 is a conceptual diagram of a sensor signal superimposed on-vehicle camera system according to a first embodiment of the present invention. FIG.
, The vehicle 1 is an automobile such as a passenger car. The on-vehicle camera 2 is a camera mounted on the rear or side of the vehicle 1. Examples of the on-vehicle camera 2 include a monochrome (or color) visible light monocular (or stereo) camera, a near-infrared camera (wavelength 700 nm to 1000 nm), a near-infrared stereo camera, an infrared camera (wavelength 10 μm to 12 μm), There are an infrared stereo camera and a monochrome (or color) ultra wide dynamic range camera. The sensor 3 includes an ultrasonic sensor, a laser radar, a millimeter-wave radar, a quasi-millimeter radar,
It is a sensor such as a magnetic nail detector.
【００２０】図２は、本発明の第１の実施の形態のセン
サー信号重畳車載カメラシステムの機能ブロック図であ
る。図２において、画像処理装置４は、車載カメラ２の
信号とセンサー３の信号を処理して、表示装置10に表示
する手段である。Ａ／Ｄ変換器５は、車載カメラ２の映
像信号をディジタル信号に変換する回路である。ＣＰＵ
６は、センサー３の信号を処理して、対象物の距離と方
向を求める手段である。グラフィック化部７は、対象物
の距離と方向から、対象物の映像を作成する手段であ
る。映像信号グラフィック信号重畳部８は、カメラ２の
映像信号とセンサー３のグラフィック信号を画像メモリ
上で重ね合わせる手段である。Ｄ／Ａ変換器９は、ディ
ジタルの画像信号をアナログ信号に変換する回路であ
る。表示装置10は、液晶表示パネルなどの画像表示手段
である。FIG. 2 is a functional block diagram of the on-vehicle sensor signal superimposed camera system according to the first embodiment of the present invention. In FIG. 2, an image processing device 4 is a means for processing a signal of the on-vehicle camera 2 and a signal of the sensor 3 and displaying them on the display device 10. The A / D converter 5 is a circuit that converts a video signal of the on-vehicle camera 2 into a digital signal. CPU
Reference numeral 6 denotes a unit that processes a signal from the sensor 3 to determine a distance and a direction of an object. The graphicizing unit 7 is a means for creating an image of the object from the distance and direction of the object. The video signal graphic signal superimposing unit 8 is means for superimposing the video signal of the camera 2 and the graphic signal of the sensor 3 on an image memory. The D / A converter 9 is a circuit that converts a digital image signal into an analog signal. The display device 10 is an image display unit such as a liquid crystal display panel.
【００２１】上記のように構成された本発明の第１の実
施の形態の車載カメラシステムについて、図１と図２を
参照しながら、動作を説明する。車載カメラ２で車両１
の後方を撮影した映像信号を、Ａ／Ｄ変換器５でディジ
タル信号に変換する。センサー３の信号をＣＰＵ６で解
析して、障害物などの３次元位置や大きさの情報を求め
る。また、車載カメラ２の方向と画角から、画面上の位
置と車両１との相対関係を求める。センサー３の信号か
ら求めた障害物などの３次元位置や大きさの情報に基づ
いて、グラフィック化部７で障害物の輪郭画像やシンボ
ル画像を生成する。画面上の位置と車両１との相対位置
に基づいて、映像信号グラフィック信号重畳部８で、映
像信号の対応する位置にグラフィック重畳する。The operation of the vehicle-mounted camera system according to the first embodiment of the present invention configured as described above will be described with reference to FIGS. Vehicle 1 with in-vehicle camera 2
A / D converter 5 converts a video signal obtained by photographing the rear of the camera into a digital signal. The signal from the sensor 3 is analyzed by the CPU 6 to obtain information on the three-dimensional position and size of an obstacle or the like. Further, a relative relationship between the position on the screen and the vehicle 1 is obtained from the direction and the angle of view of the on-vehicle camera 2. Based on the information on the three-dimensional position and the size of the obstacle or the like obtained from the signal of the sensor 3, the graphic unit 7 generates an outline image or a symbol image of the obstacle. On the basis of the relative position between the position on the screen and the vehicle 1, the video signal graphic signal superimposing unit 8 superimposes graphics on the corresponding position of the video signal.
【００２２】障害物などが画面範囲外にあるとＣＰＵ６
で判断した場合、センサー３の信号から求めた障害物な
どの３次元位置や大きさの情報に基づいて、グラフィッ
ク化部７で、画面の外に障害物があることを示す矢印な
どの画像を生成する。映像信号グラフィック信号重畳部
８で、矢印を車載カメラ２の映像信号にグラフィック重
畳する。If an obstacle or the like is out of the screen range, the CPU 6
When it is determined in step (3), based on the information on the three-dimensional position and size of the obstacle or the like obtained from the signal of the sensor 3, the graphic unit 7 displays an image such as an arrow indicating that there is an obstacle outside the screen. Generate. The video signal graphic signal superimposing section 8 graphic superimposes the arrow on the video signal of the vehicle-mounted camera 2.
【００２３】障害物等の３次元位置や大きさの情報を、
必要に応じて２次元情報（映像の２次元表示）に変換し
てグラフィック重畳してもよい。例えば、上から見た平
面図を表示して、障害物の位置を示すようにすれば、障
害物の位置関係が分かりやすくなる。また、グラフィッ
ク重畳信号を、障害物などの距離等の情報に従って点滅
させ、運転者に注意を促すようにしてもよい。例えば、
障害物が近い場合は点滅を速くして表示することによ
り、障害物の危険度を直感的にわかるようにできる。Information on the three-dimensional position and size of an obstacle is
If necessary, the information may be converted to two-dimensional information (two-dimensional display of video) and superimposed on the graphic. For example, if a plan view viewed from above is displayed to indicate the position of the obstacle, the positional relationship between the obstacles can be easily understood. Further, the graphic superimposition signal may blink in accordance with information such as the distance to an obstacle or the like to call attention to the driver. For example,
When the obstacle is near, the blinking is displayed at a high speed, so that the degree of danger of the obstacle can be intuitively recognized.
【００２４】上記の例では後方監視の場合を説明した
が、右左折時や車線変更時に、車両側方の様子を画面に
表示したり、霧発生や暗闇等の視界不良状態を検出し
て、車両の周囲の様子を画面表示するなどのように、前
側方や前方の監視の場合も同様にして実現できる。例え
ば、センサー３から得られる磁気ネイル等の位置情報を
グラフィック画像として車載カメラ２の映像に重畳して
表示することにより、道路のセンターラインや路側帯の
位置などを運転者に直感的に知らせることができる。ま
た、車載カメラ２を赤外線カメラとし、霧発生や暗闇等
の視界不良状態を検出して車両の周囲の様子を画面表示
する手段を設けて、視界不良の時に障害物の位置などを
運転者に直感的に知らせることもできる。In the above example, the case of rearward monitoring has been described. However, when turning left or right or when changing lanes, the state of the side of the vehicle is displayed on the screen, or a state of poor visibility such as fog or darkness is detected. In the case of monitoring the front side or the front side, for example, such as displaying the surroundings of the vehicle on a screen, the same can be realized. For example, by superimposing and displaying the position information of the magnetic nail and the like obtained from the sensor 3 as a graphic image on the image of the vehicle-mounted camera 2, the driver can intuitively know the position of the center line of the road, the position of the roadside zone, and the like. Can be. Also, the vehicle-mounted camera 2 is an infrared camera, and means for detecting a state of poor visibility such as fog or darkness and displaying a screen around the vehicle is provided, so that the position of an obstacle or the like can be provided to the driver when visibility is poor. You can also inform intuitively.
【００２５】上記のように、本発明の第１の実施の形態
では、センサー信号重畳車載カメラシステムを、超音波
センサーなどからの信号を、障害物までの距離と方向と
大きさ等を示すグラフィック映像信号に変換し、グラフ
ィック化したセンサー信号を車載カメラの映像信号に重
畳して表示する構成としたので、センサーからの障害物
位置情報などを運転者に直感的に報知することができ
る。As described above, in the first embodiment of the present invention, the on-vehicle sensor signal superimposed camera system converts the signal from the ultrasonic sensor or the like into a graphic indicating the distance to the obstacle, the direction, the size, and the like. Since the sensor signal is converted into a video signal and the graphic sensor signal is superimposed on the video signal of the vehicle-mounted camera and displayed, it is possible to intuitively notify the driver of obstacle position information and the like from the sensor.
【００２６】（第２の実施の形態）本発明の第２の実施
の形態は、センサー信号と車両の速度とを解析して車両
進行方向にある物体が動いているか静止しているかを判
別し、判別した結果を車載カメラの映像信号に重畳して
グラフィック表示し、物体が動いている場合には、メッ
セージを表示してアラームを発するセンサー信号重畳車
載カメラシステムである。(Second Embodiment) In a second embodiment of the present invention, it is determined whether an object in the vehicle traveling direction is moving or stationary by analyzing a sensor signal and a vehicle speed. This is a sensor signal superimposed in-vehicle camera system that superimposes the discrimination result on the video signal of the in-vehicle camera and displays the graphic, and when the object is moving, displays a message and issues an alarm.
【００２７】図３は、本発明の第２の実施の形態のセン
サー信号重畳車載カメラシステムを搭載した車両の図で
ある。図３において、車両１は、乗用車などの自動車で
ある。車載カメラ２は、車両１の前方に搭載したカメラ
である。センサー３は、超音波センサーやレーザーレー
ダーやミリ波レーダー等のセンサーである。FIG. 3 is a diagram of a vehicle equipped with a sensor signal superimposed on-vehicle camera system according to a second embodiment of the present invention. In FIG. 3, a vehicle 1 is an automobile such as a passenger car. The vehicle-mounted camera 2 is a camera mounted in front of the vehicle 1. The sensor 3 is a sensor such as an ultrasonic sensor, a laser radar, and a millimeter-wave radar.
【００２８】図４は、本発明の第２の実施の形態のセン
サー信号重畳車載カメラシステムの機能ブロック図であ
る。図４において、Ａ／Ｄ変換器５は、車載カメラ２の
映像信号をディジタル信号に変換する回路である。ＣＰ
Ｕ６は、センサー３の信号と車両情報を処理して、対象
物の距離と方向と相対速度を求める手段である。グラフ
ィック化部７は、対象物の距離と方向から、対象物の映
像を作成する手段である。映像信号グラフィック信号重
畳部８は、車載カメラ２の映像信号と対象物のグラフィ
ック信号を画像メモリ上で重ね合わせる手段である。Ｄ
／Ａ変換器９は、ディジタルの画像信号をアナログ信号
に変換する回路である。表示装置10は、液晶表示パネル
などの画像表示手段である。FIG. 4 is a functional block diagram of a sensor signal superimposed on-vehicle camera system according to a second embodiment of the present invention. In FIG. 4, an A / D converter 5 is a circuit that converts a video signal of the on-vehicle camera 2 into a digital signal. CP
U6 is a means for processing the signal of the sensor 3 and the vehicle information to determine the distance, direction and relative speed of the target object. The graphicizing unit 7 is a means for creating an image of the object from the distance and direction of the object. The video signal graphic signal superimposing unit 8 is means for superimposing the video signal of the vehicle-mounted camera 2 and the graphic signal of the object on the image memory. D
The / A converter 9 is a circuit that converts a digital image signal into an analog signal. The display device 10 is an image display unit such as a liquid crystal display panel.
【００２９】上記のように構成された本発明の第２の実
施の形態の車載カメラシステムについて、図３と図４を
参照しながら、動作を説明する。車載カメラ２で車両１
の前方を撮影した映像信号を、Ａ／Ｄ変換器５でディジ
タル信号に変換する。The operation of the vehicle-mounted camera system according to the second embodiment of the present invention configured as described above will be described with reference to FIGS. Vehicle 1 with in-vehicle camera 2
A / D converter 5 converts a video signal obtained by photographing the front of the camera into a digital signal.
【００３０】ＣＰＵ６で、センサー３の信号と車両情報
を解析して、障害物などの３次元位置と大きさと車両１
との相対速度の情報を求める。さらに、車両１の走行速
度を参照して、障害物などの対地速度を求める。また、
車載カメラ２の方向と画角から、画面上の位置と車体１
との相対関係を求める。このようにして、センサー３か
らの信号と車両１の速度から、車両進行方向にある物体
の対地移動速度を求めて、動いている物か静止している
物かを判別する。The CPU 6 analyzes the signal of the sensor 3 and the vehicle information to determine the three-dimensional position and size of an obstacle and the like and the vehicle 1.
Find information on relative speed with Further, the ground speed of an obstacle or the like is determined with reference to the traveling speed of the vehicle 1. Also,
From the direction and angle of view of the onboard camera 2, the position on the screen and the body 1
Find the relative relationship with In this way, from the signal from the sensor 3 and the speed of the vehicle 1, the ground moving speed of the object in the vehicle traveling direction is obtained, and it is determined whether the object is moving or stationary.
【００３１】グラフィック化部７で、障害物などの３次
元位置と大きさと相対速度の情報に基づいて、障害物の
輪郭画像やシンボル画像を生成する。動いている物と止
まっている物は区別できる画像にする。例えば、動いて
いる物は、色を変えて表示したり、点滅表示する。The graphics section 7 generates a contour image and a symbol image of the obstacle based on information on the three-dimensional position and size of the obstacle and the relative speed. The moving and stationary objects should be distinguishable images. For example, a moving object is displayed in a different color or blinks.
【００３２】映像信号グラフィック信号重畳部８で、表
示装置10の画面上の位置と車両１との相対位置に基づい
て、障害物の輪郭画像やシンボル画像を映像信号の対応
する位置にグラフィック重畳する。物体が動いている物
であると判別した場合には、その旨メッセージを表示し
てアラームを発する。特に、障害物の対地速度が大きく
て、距離が近い場合には、赤色の点滅で表示して運転者
に注意を促す。このようにして、動いている障害物を運
転者に直感的に知らせて、警告することができる。The video signal graphic signal superimposing section 8 graphic superimposes an outline image or a symbol image of an obstacle on a corresponding position of the video signal based on the position on the screen of the display device 10 and the relative position of the vehicle 1. . If it is determined that the object is a moving object, a message to that effect is displayed and an alarm is issued. In particular, when the ground speed of the obstacle is high and the distance is short, it is displayed in red flashing to alert the driver. In this way, a moving obstacle can be intuitively notified to the driver and a warning can be issued.
【００３３】上記のように、本発明の第２の実施の形態
では、センサー信号重畳車載カメラシステムを、センサ
ー信号と車両の速度とを解析して車両進行方向にある物
体が動いているか静止しているかを判別し、判別した結
果を車載カメラの映像信号に重畳してグラフィック表示
し、物体が動いている場合には、メッセージを表示して
アラームを発する構成としたので、歩行者や他の車両な
どの動いているものを運転者に直感的に知らせることが
できる。As described above, in the second embodiment of the present invention, the on-vehicle sensor signal superimposed camera system analyzes the sensor signal and the speed of the vehicle to determine whether an object in the vehicle traveling direction is moving or stationary. Is determined, and the result of the determination is superimposed on the video signal of the on-board camera and displayed graphically.If the object is moving, a message is displayed and an alarm is issued, so that pedestrians and other It is possible to intuitively notify the driver of a moving object such as a vehicle.
【００３４】[0034]
【発明の効果】以上のように、本発明では、センサー信
号重畳車載カメラシステムを、車両に搭載した車載カメ
ラと、超音波センサー等のセンサーと、車載カメラの方
向と画角から画面上の位置と車両との相対関係を求める
手段と、センサーからの情報を障害物の距離と方向と大
きさ等を示すセンサー映像信号に変換するセンサー信号
処理手段と、センサー映像信号を車載カメラの映像信号
に重畳して表示する手段とを備えた構成としたので、セ
ンサーから得られる障害物や磁気ネイル等の位置情報を
グラフィック画像としてカメラの映像に重畳して、障害
物の位置などを運転者に直感的に知らせることができる
という効果が得られる。As described above, according to the present invention, the sensor signal superimposed on-vehicle camera system is mounted on the vehicle, a sensor such as an ultrasonic sensor, and the position on the screen from the direction and the angle of view of the on-vehicle camera. Means for determining the relative relationship between the vehicle and the vehicle, sensor signal processing means for converting information from the sensor into a sensor video signal indicating the distance, direction, size, etc. of the obstacle, and converting the sensor video signal into a video signal of the onboard camera. The system is equipped with a means for superimposing and displaying, so that the position information of obstacles and magnetic nails obtained from the sensor is superimposed on the image of the camera as a graphic image so that the driver can intuitively recognize the position of the obstacle and the like. The effect of being able to be notified is obtained.
【００３５】また、車両に搭載した車載カメラと、超音
波センサー等のセンサーと、センサーからの信号と車両
の速度情報とを解析して車両進行方向にある物体が動い
ているか静止しているかを判別する手段と、判別した結
果を車載カメラの映像信号に重畳してグラフィック表示
する手段とを備えたので、歩行者や他の車両などの動い
ているものを運転者に直感的に知らせることができると
いう効果が得られる。Further, a vehicle-mounted camera mounted on the vehicle, a sensor such as an ultrasonic sensor, and a signal from the sensor and speed information of the vehicle are analyzed to determine whether an object in the traveling direction of the vehicle is moving or stationary. It has a means for discriminating and a means for superimposing the discrimination result on the video signal of the in-vehicle camera and displaying it graphically, so that it is possible to intuitively inform the driver of moving objects such as pedestrians and other vehicles. The effect that it can be obtained is obtained.
【００３６】また、物体が動いている物であると判別し
た場合に、メッセージを表示してアラームを発する手段
を設けたので、歩行者や他の車両などの動いているもの
に対して運転者に注意を促すことができるという効果が
得られる。Further, a means for displaying a message and issuing an alarm when it is determined that the object is a moving object is provided, so that the driver can be controlled by a moving object such as a pedestrian or another vehicle. The effect of being able to call attention is obtained.
【図１】本発明の第１の実施の形態のセンサー信号重畳
車載カメラシステムを搭載した車両の図、FIG. 1 is a diagram of a vehicle equipped with a sensor signal superimposed in-vehicle camera system according to a first embodiment of the present invention;
【図２】本発明の第１の実施の形態のセンサー信号重畳
車載カメラシステムの機能ブロック図、FIG. 2 is a functional block diagram of a sensor signal superimposed in-vehicle camera system according to the first embodiment of the present invention;
【図３】本発明の第２の実施の形態のセンサー信号重畳
車載カメラシステムを搭載した車両の図、FIG. 3 is a diagram of a vehicle equipped with a sensor signal superimposed in-vehicle camera system according to a second embodiment of the present invention;
【図４】本発明の第２の実施の形態のセンサー信号重畳
車載カメラシステムの機能ブロック図である。FIG. 4 is a functional block diagram of a sensor signal superimposed in-vehicle camera system according to a second embodiment of the present invention.
１ 車両 ２ 車載カメラ ３ センサー ４ 画像処理装置 ５ Ａ／Ｄ変換器 ６ ＣＰＵ ７ グラフィック化部 ８ 映像信号グラフィック信号重畳部 ９ Ｄ／Ａ変換器 10 表示装置 DESCRIPTION OF SYMBOLS 1 Vehicle 2 In-vehicle camera 3 Sensor 4 Image processing device 5 A / D converter 6 CPU 7 Graphic part 8 Video signal graphic signal superposition part 9 D / A converter 10 Display device
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 ６２４Ｃ ６２４Ｅ ６２４Ｄ (72)発明者 杉本 光禎 神奈川県横浜市港北区綱島東四丁目３番１ 号 松下通信工業株式会社内 (72)発明者 須田 敏彦 神奈川県横浜市港北区綱島東四丁目３番１ 号 松下通信工業株式会社内 Ｆターム(参考） 5C054 CA05 CC03 FE13 FE16 FE28 HA30 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) B60R 21/00 624C 624E 624D (72) Inventor Mitsumasa Sugimoto 4-3-1 Tsunashima Higashi, Kohoku-ku, Yokohama-shi, Kanagawa No. 1 Matsushita Communication Industrial Co., Ltd. (72) Inventor Toshihiko Suda 4-3-1 Tsunashimahigashi, Kohoku-ku, Yokohama-shi, Kanagawa Prefecture F-term (reference) 5C054 CA05 CC03 FE13 FE16 FE28 HA30
Claims (5)
ンサー等のセンサーと、前記車載カメラの方向と画角か
ら画面上の位置と前記車両との相対関係を求める手段
と、前記センサーからの情報を障害物の距離と方向と大
きさ等を示すセンサー映像信号に変換するセンサー信号
処理手段と、前記センサー映像信号を前記車載カメラの
映像信号に重畳して表示する手段とを備えたことを特徴
とするセンサー信号重畳車載カメラシステム。1. A vehicle-mounted camera mounted on a vehicle, a sensor such as an ultrasonic sensor, a means for determining a relative relationship between a position on a screen and the vehicle from a direction and an angle of view of the vehicle-mounted camera, A sensor signal processing unit that converts information into a sensor video signal indicating a distance, a direction, a size, and the like of the obstacle, and a unit that superimposes and displays the sensor video signal on the video signal of the onboard camera. Characteristic sensor signal superimposed on-vehicle camera system.
に設け、前記センサーを車両側方または後側方に設け、
右左折時と車線変更時に車両側方の様子を画面に表示す
る制御手段を設けたことを特徴とする請求項１記載のセ
ンサー信号重畳車載カメラシステム。2. The vehicle-mounted camera is provided on a vehicle side or a rear side, and the sensor is provided on a vehicle side or a rear side.
The sensor signal superimposed on-vehicle camera system according to claim 1, further comprising control means for displaying a state of a side of the vehicle on a screen when turning right and left and when changing lanes.
け、霧発生や暗闇等の視界不良状態を検出して車両の周
囲の様子を画面表示する制御手段を設けたことを特徴と
する請求項１記載のセンサー信号重畳車載カメラシステ
ム。3. An apparatus according to claim 1, wherein an infrared camera is provided as the on-vehicle camera, and control means is provided for detecting a state of poor visibility such as fog or darkness and displaying a situation around the vehicle on a screen. On-board camera system with sensor signals.
ンサー等のセンサーと、前記センサーからの信号と車両
の速度情報とを解析して車両進行方向にある物体が動い
ているか静止しているかを判別する手段と、判別した結
果を前記車載カメラの映像信号に重畳してグラフィック
表示する手段とを備えたことを特徴とするセンサー信号
重畳車載カメラシステム。4. An in-vehicle camera mounted on a vehicle, a sensor such as an ultrasonic sensor, and a signal from the sensor and speed information of the vehicle are analyzed to determine whether an object in the vehicle traveling direction is moving or stationary. And a means for superimposing the discrimination result on the video signal of the on-vehicle camera and graphically displaying the video signal.
に、メッセージを表示してアラームを発する手段を設け
たことを特徴とする請求項４記載のセンサー信号重畳車
載カメラシステム。5. The on-vehicle sensor signal superimposed camera system according to claim 4, further comprising means for displaying a message and issuing an alarm when it is determined that the object is moving.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10354565A JP2000184368A (en) | 1998-12-14 | 1998-12-14 | On-vehicle camera system displaying sensor signal superimposed on video signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10354565A JP2000184368A (en) | 1998-12-14 | 1998-12-14 | On-vehicle camera system displaying sensor signal superimposed on video signal |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000184368A true JP2000184368A (en) | 2000-06-30 |
Family
ID=18438420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10354565A Pending JP2000184368A (en) | 1998-12-14 | 1998-12-14 | On-vehicle camera system displaying sensor signal superimposed on video signal |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000184368A (en) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001021438A1 (en) * | 1999-09-23 | 2001-03-29 | Bayerische Motoren Werke Aktiengesellschaft | Sensor device for a motor vehicle used for detecting environmental parameters |
| JP2003302470A (en) * | 2002-04-05 | 2003-10-24 | Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai | Pedestrian detection device and pedestrian detection method |
| KR20040024093A (en) * | 2002-09-13 | 2004-03-20 | 현대자동차주식회사 | Back warning controlling device of vehicle |
| GB2414128A (en) * | 2004-05-13 | 2005-11-16 | Shih-Hsiung Li | Vehicular monitoring system with a multi-window display |
| JP2006273308A (en) * | 2005-03-03 | 2006-10-12 | National Univ Corp Shizuoka Univ | Visual information provision system |
| US7126460B2 (en) | 2001-05-15 | 2006-10-24 | Kabushiki Kaisha Toyota Chuo Kenkyusho | Surrounding conditions display apparatus |
| JP2007028363A (en) * | 2005-07-20 | 2007-02-01 | Alpine Electronics Inc | Top view image generating apparatus and top view image display method |
| JP2008186132A (en) * | 2007-01-29 | 2008-08-14 | Matsushita Electric Ind Co Ltd | Driving support device, driving support method, and program |
| US8648702B2 (en) | 2010-08-20 | 2014-02-11 | Denso International America, Inc. | Combined time-of-flight and image sensor systems |
| KR20140078436A (en) * | 2012-12-17 | 2014-06-25 | 현대자동차주식회사 | Sensor fusion system and method thereof |
| CN104859562A (en) * | 2015-05-27 | 2015-08-26 | 北京信息科技大学 | Method and device for detecting barriers behind vehicle |
| CN105774651A (en) * | 2014-12-26 | 2016-07-20 | 德尔福电子(苏州)有限公司 | Vehicle lane change auxiliary system |
| JP2018124808A (en) * | 2017-02-01 | 2018-08-09 | 株式会社日立国際八木ソリューションズ | Image processor device and image processing program |
| CN110456363A (en) * | 2019-06-17 | 2019-11-15 | 北京理工大学 | The target detection and localization method of three-dimensional laser radar point cloud and infrared image fusion |
| CN112550286A (en) * | 2020-12-10 | 2021-03-26 | 宜宾凯翼汽车有限公司 | Vehicle parking prompting method and system |
| CN112967403A (en) * | 2021-02-07 | 2021-06-15 | 安徽嘻哈网络技术有限公司 | Virtual reality system of driving and cultivating robot management center |
| CN117325846A (en) * | 2023-09-01 | 2024-01-02 | 广州优保爱驾科技有限公司 | Parking intelligent auxiliary system based on millimeter wave radar and image acquisition |
-
1998
- 1998-12-14 JP JP10354565A patent/JP2000184368A/en active Pending
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001021438A1 (en) * | 1999-09-23 | 2001-03-29 | Bayerische Motoren Werke Aktiengesellschaft | Sensor device for a motor vehicle used for detecting environmental parameters |
| US6840342B1 (en) | 1999-09-23 | 2005-01-11 | Bayerische Motoren Werke Aktiengesellschaft | Sensor device for a motor vehicle used for detecting environmental parameters |
| US7126460B2 (en) | 2001-05-15 | 2006-10-24 | Kabushiki Kaisha Toyota Chuo Kenkyusho | Surrounding conditions display apparatus |
| JP2003302470A (en) * | 2002-04-05 | 2003-10-24 | Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai | Pedestrian detection device and pedestrian detection method |
| KR20040024093A (en) * | 2002-09-13 | 2004-03-20 | 현대자동차주식회사 | Back warning controlling device of vehicle |
| GB2414128A (en) * | 2004-05-13 | 2005-11-16 | Shih-Hsiung Li | Vehicular monitoring system with a multi-window display |
| GB2414128B (en) * | 2004-05-13 | 2006-04-26 | Shih-Hsiung Li | Vehicular monitoring system with a multi-window display |
| JP2006273308A (en) * | 2005-03-03 | 2006-10-12 | National Univ Corp Shizuoka Univ | Visual information provision system |
| JP4601505B2 (en) * | 2005-07-20 | 2010-12-22 | アルパイン株式会社 | Top-view image generation apparatus and top-view image display method |
| JP2007028363A (en) * | 2005-07-20 | 2007-02-01 | Alpine Electronics Inc | Top view image generating apparatus and top view image display method |
| JP2008186132A (en) * | 2007-01-29 | 2008-08-14 | Matsushita Electric Ind Co Ltd | Driving support device, driving support method, and program |
| US8648702B2 (en) | 2010-08-20 | 2014-02-11 | Denso International America, Inc. | Combined time-of-flight and image sensor systems |
| KR101927162B1 (en) | 2012-12-17 | 2018-12-10 | 현대자동차 주식회사 | Sensor fusion system and method thereof |
| KR20140078436A (en) * | 2012-12-17 | 2014-06-25 | 현대자동차주식회사 | Sensor fusion system and method thereof |
| CN105774651A (en) * | 2014-12-26 | 2016-07-20 | 德尔福电子(苏州)有限公司 | Vehicle lane change auxiliary system |
| CN104859562A (en) * | 2015-05-27 | 2015-08-26 | 北京信息科技大学 | Method and device for detecting barriers behind vehicle |
| JP2018124808A (en) * | 2017-02-01 | 2018-08-09 | 株式会社日立国際八木ソリューションズ | Image processor device and image processing program |
| CN110456363A (en) * | 2019-06-17 | 2019-11-15 | 北京理工大学 | The target detection and localization method of three-dimensional laser radar point cloud and infrared image fusion |
| CN110456363B (en) * | 2019-06-17 | 2021-05-18 | 北京理工大学 | Target detection and positioning method for three-dimensional laser radar point cloud and infrared image fusion |
| CN112550286A (en) * | 2020-12-10 | 2021-03-26 | 宜宾凯翼汽车有限公司 | Vehicle parking prompting method and system |
| CN112967403A (en) * | 2021-02-07 | 2021-06-15 | 安徽嘻哈网络技术有限公司 | Virtual reality system of driving and cultivating robot management center |
| CN117325846A (en) * | 2023-09-01 | 2024-01-02 | 广州优保爱驾科技有限公司 | Parking intelligent auxiliary system based on millimeter wave radar and image acquisition |
| CN117325846B (en) * | 2023-09-01 | 2024-05-14 | 广州优保爱驾科技有限公司 | Parking intelligent auxiliary system based on millimeter wave radar and image acquisition |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10406980B2 (en) | Vehicular lane change system | |
| JP4517393B2 (en) | Driving assistance device | |
| JP2000184368A (en) | On-vehicle camera system displaying sensor signal superimposed on video signal | |
| US9576208B2 (en) | Emergency vehicle detection with digital image sensor | |
| EP2523173B1 (en) | Driver assisting system and method for a motor vehicle | |
| US20070126565A1 (en) | Process for monitoring blind angle in motor vehicles | |
| JP4415856B2 (en) | Method for detecting the forward perimeter of a road vehicle by a perimeter sensing system | |
| US20190244515A1 (en) | Augmented reality dsrc data visualization | |
| CN111369828B (en) | Safety early warning system and method for vehicle turning blind area | |
| KR20180065527A (en) | Vehicle side-rear warning device and method using the same | |
| CN110901536A (en) | Blind area detection alarm system and working method thereof | |
| JP2023536812A (en) | Systems and methods for informing vehicle occupants of the severity and location of potential vehicle threats | |
| JP5003473B2 (en) | Warning device | |
| JPH1148828A (en) | Vehicle circumference monitoring device | |
| JPS62273477A (en) | Monitor for surrounding area of vehicle | |
| JP2008282235A (en) | Driving support device, automobile equipped with driving support device and driving support method | |
| US20220169176A1 (en) | Attention Assist for Dynamic Blind Zone with Driver State in the Loop | |
| CN114523905A (en) | System and method for displaying detection and track prediction of targets around vehicle | |
| CN113525401A (en) | Early warning method for assisting automobile driving and millimeter wave radar system | |
| JP2004256033A (en) | Alarm device for vehicle | |
| JP2022090218A (en) | Vehicle notification device | |
| CN220009618U (en) | Vehicle detection system and vehicle | |
| CN116552386A (en) | Vehicle notification device, vehicle notification method, and computer-readable recording medium | |
| CN113147589A (en) | Sanitation vehicle doubling auxiliary device and sanitation vehicle | |
| CA2120638A1 (en) | Blind spot warning device |