JP2006273308A

JP2006273308A - Visual information provision system

Info

Publication number: JP2006273308A
Application number: JP2005235828A
Authority: JP
Inventors: Akichika Shiomi; 彰睦塩見; Naoto Yamaguchi; 直人山口; Nobuyuki Tamori; 信行田森
Original assignee: Shizuoka University NUC
Current assignee: Shizuoka University NUC
Priority date: 2005-03-03
Filing date: 2005-08-16
Publication date: 2006-10-12

Abstract

<P>PROBLEM TO BE SOLVED: To provide a visual information provision system compensating sight of a rear view mirror and a side mirror when an engine is started and a driver wants to see it, producing an image at real time and scroll-displaying an approximately whole periphery or a part at an appropriate time. <P>SOLUTION: One or more animation camera 11-14 always obtains information of the approximately whole periphery of the outside of a vehicle. One or more an in-cabin display 31-33 is provided and a display instruction switch 22 for instructing displaying on the in-cabin display is provided. A control means 24 processes the information of the approximately whole periphery of the outside of the vehicle always obtained according to operation of the display instruction switch, connects it to the in-cabin display and scroll-displays the approximately whole periphery or a part of the outside of the vehicle. A wide dynamic range camera can be used instead of the whole or a part of one or more usual animation camera. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、車両周囲を撮像するカメラ動画像に基づき、車内に配置したディスプレイに運転者が必要とする車外の情報を表示することにより、運転者を補助する視覚情報提供システムに関する。 The present invention relates to a visual information providing system that assists a driver by displaying information outside the vehicle that the driver needs on a display arranged in the vehicle based on a camera moving image that captures the surroundings of the vehicle.

運転者が必要とする車両周囲の情報を通常運転者が認識できる情報を含めて車内のディスプレイに表示することができると、運転者は特に姿勢をかえることなく必要な情報が得られて便利である。運転者に必要な情報を提供することにより、運転を支援しようとする提案が数多くなされている。 If the information around the vehicle needed by the driver can be displayed on the display inside the vehicle, including information that can be recognized by the normal driver, the driver can obtain the necessary information without changing their posture. is there. Many proposals have been made to assist driving by providing drivers with necessary information.

特許文献１記載の発明（自動車の小型後方安全確認装置）は、エンジン始動時、車両後方画像をモニタに表示し、後方の安全を確認する自動車の後方安全確認装置を開示している。
特許文献２記載の発明（前方障害物確認システム）は、エンジン始動時、運転席から死角となる車両前方を撮像し、撮像された画像情報を表示画面に表示する前方障害物確認システムを開示している。
特許文献３記載の発明（運転支援装置）は、イグニッションオン時に全周囲死角のない合成画像を表示する運転支援装置である。
特許文献４記載の発明（車両用周辺監視装置）は、発進準備完了時、進行方向撮像画像及び側方撮像画像を所定順序で切り換えて表示する車両用周辺監視装置である。
特開平１１−２５５０２０特開２００２−１０４１１４特開２００２−１０９６９７特開２００３−１４６１３３ The invention described in Patent Document 1 (a small rear safety confirmation device for automobiles) discloses a rear safety confirmation device for automobiles that displays a vehicle rear image on a monitor and confirms safety behind the engine when the engine is started.
The invention described in Patent Document 2 (a front obstacle confirmation system) discloses a front obstacle confirmation system that captures an image of the front of a vehicle that becomes a blind spot from the driver's seat when the engine is started and displays the captured image information on a display screen. ing.
The invention (driving support device) described in Patent Document 3 is a driving support device that displays a composite image without an all-around blind spot when the ignition is on.
The invention (vehicle periphery monitoring device) described in Patent Literature 4 is a vehicle periphery monitoring device that switches and displays a traveling direction captured image and a side captured image in a predetermined order when a start preparation is completed.
JP-A-11-255020 JP 2002-104114 A JP2002-109697 JP 2003-146133 A

自動車を発進する場合、自動車の周囲を見回し安全を確認する必要がある。通常車体の一部に視界を遮られて見えない死角が存在し、特に大型トラックなどの大型車両では運転者から見えない死角が多く存在し、充分に安全確認をできる状況にあるとは言えない。
多岐に渡る視覚情報を提供するにあたり、対象ごとの輝度の範囲に高低広狭があるから、それぞれについて利用可能な映像を提供するためには情報を取得するための動画カメラの選択および選択情報の処理が必要となる。
本発明の目的は、エンジン始動時や運転者が見たい時にバックミラー、サイドミラーの視覚を補い、画像をリアルタイムに生成し、略全周囲表示または一部を適時スクロール表示する視覚情報提供システムを提供することにある。
本発明のさらに他の目的は、前記主たる目的を達成するために使用される通常の動画カメラの全部または一部をさらにダイナミックレンジの広いカメラ（広ＤＲカメラ）に変えた場合における露出制御の問題等を解決することができる視覚情報提供システムを提供することにある。 When starting a car, it is necessary to look around the car and confirm safety. Usually there is a blind spot that is not visible because part of the car body is obstructed from view, especially in large vehicles such as large trucks, there are many blind spots that are not visible to the driver, and it can not be said that safety can be fully confirmed. .
In providing a wide range of visual information, the range of brightness for each target has high, low, and wide, so in order to provide a usable video for each, the selection of the video camera to obtain information and the processing of the selection information Is required.
An object of the present invention is to provide a visual information providing system that supplements the vision of a rearview mirror and a side mirror when an engine is started or a driver wants to see, generates an image in real time, and displays a substantially full-circle display or a part of a scroll in a timely manner. It is to provide.
Still another object of the present invention is to solve the problem of exposure control in the case where all or a part of a normal moving image camera used to achieve the main object is changed to a camera having a wider dynamic range (wide DR camera). It is to provide a visual information providing system that can solve the above.

前記目的を達成するために、本発明による請求項１記載の視覚情報提供システムは、
車両外の略全周囲の情報を常時獲得している一以上の動画カメラと、
車両内に配置された一以上の車内ディスプレイと、
前記車内ディスプレイに表示を指示するための表示指示操作子と、
常時取得されている車外の略全周囲の情報を前記表示指示操作子の操作に応じて加工して、前記車内ディスプレイに接続して、車両外の略全周囲または一部をスクロール表示させる制御手段と、から構成されている。
本発明による請求項２記載の視覚情報提供システムは、
車両外の略全周囲の情報を常時獲得している一以上の動画カメラと、
車両内に配置された一以上の車内ディスプレイと、
前記車内ディスプレイに表示を指示するための表示指示操作子と、
常時取得されている車外の略全周囲の情報を前記表示指示操作子の操作に応じて加工して、前記車内ディスプレイに接続して、車両外の略全周囲または一部をスクロール表示させる制御手段と、から構成した視覚情報提供システムであって、
前記動画カメラの一部または全てを広ダイナミックレンジカメラに置き換えて、その出力を加工して使用し、通常のカメラのダイナミックレンジ外の領域の再生を可能にする制御に切り換えて運転者に見えるようにカメラの画像を表示するように構成されている。 In order to achieve the object, the visual information providing system according to claim 1 according to the present invention is provided.
One or more video cameras that constantly acquire information about the entire circumference outside the vehicle,
One or more in-vehicle displays arranged in the vehicle;
A display instruction operator for instructing display on the in-vehicle display;
Control means for processing information on substantially the entire periphery outside the vehicle, which is always acquired, in accordance with the operation of the display instruction operator and connecting to the in-vehicle display to scroll and display approximately the entire periphery or a part outside the vehicle And is composed of.
The visual information providing system according to claim 2 according to the present invention comprises:
One or more video cameras that constantly acquire information about the entire circumference outside the vehicle,
One or more in-vehicle displays arranged in the vehicle;
A display instruction operator for instructing display on the in-vehicle display;
Control means for processing information on substantially the entire periphery outside the vehicle, which is always acquired, in accordance with the operation of the display instruction operator and connecting to the in-vehicle display to scroll and display approximately the entire periphery or a part outside the vehicle A visual information providing system composed of
Replacing part or all of the video camera with a wide dynamic range camera, processing and using the output, and switching to a control that allows playback of areas outside the dynamic range of the normal camera so that it can be seen by the driver The camera image is displayed on the screen.

本発明による請求項３記載の視覚情報提供システムは、請求項２記載の視覚情報提供システムにおいて、
前記通常のカメラのダイナミックレンジ外の領域は、白とびで消えるか、または黒く消えてしまうような画像領域とするものである。
本発明による請求項４記載の視覚情報提供システムは、請求項２記載の視覚情報提供システムにおいて、
前記広ダイナミックレンジカメラの画像データを加工使用して表示装置に表示する場合、
広ダイナミックレンジカメラ用に予め決められた変換表または関数あるいは変換表と関数との組合せから選択できるかまたは／かつユーザが設定できるように構成されている。 The visual information providing system according to claim 3 according to the present invention is the visual information providing system according to claim 2,
The area outside the dynamic range of the normal camera is an image area that disappears in black or black.
The visual information providing system according to claim 4 according to the present invention is the visual information providing system according to claim 2,
When processing and displaying image data of the wide dynamic range camera on a display device,
The conversion table or function predetermined for the wide dynamic range camera or a combination of the conversion table and the function can be selected and / or configured by the user.

本発明による請求項５記載の視覚情報提供システムは、請求項１から４記載の視覚情報提供システムにおいて、
前記制御手段は、車両外の略全周囲または一部をディスプレイに一画面表示するように構成されている。
本発明による請求項６記載の視覚情報提供システムは、請求項１から４記載の視覚情報提供システムにおいて、
前記制御手段は、自動車の電源オン時または車両発進時に、車両外の略全周囲または一部をディスプレイにスクロ−ル表示するように構成されている。
本発明による請求項７記載の視覚情報提供システムは、請求項５記載の視覚情報提供システムにおいて、
前記制御手段は、自動車の電源オン時または車両発進時に、車両外の略全周囲または一部をディスプレイに一画面表示するように構成されている。
本発明による請求項８記載の視覚情報提供システムは、請求項１から４記載の視覚情報提供システムにおいて、
前記制御手段は、車両外の略全周囲または一部をスクロール表示している時に、表示を一時停止、再開表示するように構成されている。 The visual information providing system according to claim 5 according to the present invention is the visual information providing system according to claims 1 to 4,
The control means is configured to display substantially the entire periphery or part of the vehicle outside on a single screen on the display.
The visual information providing system according to claim 6 according to the present invention is the visual information providing system according to claims 1 to 4,
The control means is configured to scroll and display substantially the entire periphery or part of the outside of the vehicle when the vehicle is powered on or started.
The visual information providing system according to claim 7 according to the present invention is the visual information providing system according to claim 5,
The control means is configured to display substantially the entire periphery or a part of the outside of the vehicle on a single screen when the vehicle is powered on or started.
The visual information providing system according to claim 8 according to the present invention is the visual information providing system according to claims 1 to 4,
The control means is configured to pause and resume display when scrolling and displaying substantially the entire periphery or a part outside the vehicle.

本発明による請求項９記載の視覚情報提供システムは、請求項１から４記載の視覚情報提供システムにおいて、
前記制御手段は、車両外の略全周囲または一部をスクロール表示している時に、前記表示指示操作子中の予め定められている操作子を操作するとスクロール表示する方向を表示していた方向と逆方向にスクロールするように構成されている。
本発明による請求項１０記載の視覚情報提供システムは、請求項１から４記載の視覚情報提供システムにおいて、
前記制御手段は、車両外の略全周囲または一部をスクロール表示している時に、前記表示指示操作子中の予め定められている操作子を操作するとスクロール表示のスピードを予め決められた値から選択できるようにしたまたは／かつユーザが設定できるように構成されている。
本発明による請求項１１記載の視覚情報提供システムは、請求項１から４記載の視覚情報提供システムにおいて、
前記制御手段はスクロール表示している時に、危険物や障害物等を認識したらスクロール表示を一時停止するように構成されている。
本発明による請求項１２記載の視覚情報提供システムは、請求項１から４記載の視覚情報提供システムにおいて、
前記制御手段は、スクロール表示する方向、スクロール表示を開始する位置を前記表示指示操作子中の予め定められている操作子を操作するとスクロール表示する方向、スクロール表示を開始する位置を予め決められた値から選択できるようにしたまたは／かつユーザが設定できるように構成されている。
本発明による請求項１３記載の視覚情報提供システムは、請求項１から４記載の視覚情報提供システムにおいて、
前記制御手段は、運転者が一回転した時のように車両周囲の画像をスクロール表示するかあるいは車両後方の表示は車両後方を鏡で見た時のように左右反転された画像（鏡像）でスクロール表示するか選択できるように構成されている。
本発明による請求項１４記載の視覚情報提供システムは、請求項１３記載の視覚情報提供システムにおいて、
前記制御手段は、前記鏡像表示する時に、鏡像表示を開始する位置（方向）を予め決められた値から選択できるかまたは／かつユーザが設定できるように構成されている。
本発明による請求項１５記載の視覚情報提供システムは、請求項１から１４記載の視覚情報提供システムにおいて、
前記制御手段は、請求項１から１４のスクロール表示または一画面表示する時に、どのカメラでどの方向を表示しているかを模式図で重ね表示できるように構成されている。
本発明による請求項１６記載の視覚情報提供システムは、請求項１から４，６及び８から１５の視覚情報提供システムにおいて、
２以上の複数の動画カメラを使用し、同じ領域を複数のカメラで撮像するカメラ配置で、撮像した画像の重なり領域に対し前記車内ディスプレイに表示する画像をどのカメラで撮像した画像を加工使用するかを予め決めておくか、
または表示方向に近いカメラの画像を加工し、使用するように構成されている。 The visual information providing system according to claim 9 according to the present invention is the visual information providing system according to claims 1 to 4,
The control means is configured to display a direction for scroll display when a predetermined operation element in the display instruction operation element is operated while scrolling and displaying substantially the entire periphery or a part outside the vehicle. It is configured to scroll in the reverse direction.
The visual information providing system according to claim 10 according to the present invention is the visual information providing system according to claims 1 to 4,
When the control means is scrolling and displaying substantially the entire periphery or a part outside the vehicle, the speed of the scroll display is determined from a predetermined value by operating a predetermined operator in the display instruction operator. It can be selected and / or can be set by the user.
The visual information providing system according to claim 11 according to the present invention is the visual information providing system according to claims 1 to 4,
The control means is configured to temporarily stop the scroll display when a dangerous object or an obstacle is recognized during the scroll display.
The visual information providing system according to claim 12 of the present invention is the visual information providing system according to claims 1 to 4,
The control means has a predetermined direction for scroll display, a position for starting scroll display, a direction for scroll display when a predetermined operator in the display instruction operator is operated, and a position for starting scroll display. It is configured to be selectable from a value and / or set by a user.
The visual information providing system according to claim 13 according to the present invention is the visual information providing system according to claims 1 to 4,
The control means scrolls and displays the image around the vehicle as when the driver makes a full rotation, or displays the vehicle rear as an image (mirror image) reversed left and right as when looking at the rear of the vehicle with a mirror. It is configured to be able to select whether to scroll display.
The visual information providing system according to claim 14 according to the present invention is the visual information providing system according to claim 13,
The control means is configured such that when the mirror image is displayed, the position (direction) at which the mirror image display is started can be selected from a predetermined value or / and can be set by the user.
The visual information providing system according to claim 15 of the present invention is the visual information providing system according to claims 1 to 14,
The control means is configured such that when a scroll display or a one-screen display according to claims 1 to 14 is used, which direction is displayed by which camera can be displayed in a schematic diagram.
The visual information providing system according to claim 16 of the present invention is the visual information providing system according to claims 1 to 4, 6 and 8 to 15,
Two or more video cameras are used, and a camera arrangement that captures the same area with a plurality of cameras is used to process and use an image captured by which camera to display an image to be displayed on the in-vehicle display with respect to an overlapping area of the captured images. Or decide in advance
Alternatively, a camera image close to the display direction is processed and used.

前記構成によれば、死角を含めた車両周囲を運転者のわかり易い画像で表示することにより、運転者の姿勢をかえることなく、注視したいところで一時停止／再開表示でき、何回でもスクロール表示でき、発進時の車両周囲の安全確認を充分に行うことができる。 According to the above configuration, by displaying the surroundings of the vehicle including the blind spot in an easy-to-understand image of the driver, it is possible to pause / resume display where the user wants to watch without changing the posture of the driver, and to scroll and display any number of times. It is possible to sufficiently check the safety around the vehicle when starting.

以下図面等を参照して本発明によるシステムの実施の形態を説明する。
図１は、本発明の視覚情報提供システムにおける動画センサ（カメラ）の配置を示す略図、図２は、本発明の視覚情報提供システムの回路の実施例を示すブロック図、図３は、本発明の視覚情報提供システムを搭載した車両の斜視図である。 Embodiments of a system according to the present invention will be described below with reference to the drawings.
FIG. 1 is a schematic diagram showing the arrangement of a moving image sensor (camera) in the visual information providing system of the present invention, FIG. 2 is a block diagram showing an embodiment of the circuit of the visual information providing system of the present invention, and FIG. It is a perspective view of the vehicle carrying this visual information provision system.

本発明によるシステムでは、１つまたは図１（Ａ）〜（Ｄ）に示されているように、複数のカメラで車両周囲の全方位画像を撮影する。
車両の電源オン信号またはハンドルその他に関連して設けられている特定の操作子の操作（例えば特定のスイッチの押圧）にて、車両内のディスプレイ（図２）への表示開始を決定する。
処理部において、開始表示方角、予め決められた仰角と視野角、使用カメラ画像から透視投影画像を生成し、それぞれのディスプレイに表示する。
予め決められた表示方向に予め決められた表示速度（スクロール速度）にて透視投影画像をディスプレイにスクロール表示する。
特定の操作子の操作（例えば特定のスイッチの押圧）にて、スクロール表示を一時停止し、特定の操作子の操作（例えば特定のスイッチの押圧）にてスクロール表示を再開する。
特定の操作子の操作（例えば特定のスイッチの押圧）にて、スクロール表示をやり直すことができる。
必要に応じて、危険物や障害物などを認識し、スクロール表示を一時停止する。特定の操作子の操作（例えば特定のスイッチの押圧）にてスクロール表示を再開する。 In the system according to the present invention, as shown in one or FIGS. 1A to 1D, an omnidirectional image around the vehicle is taken by a plurality of cameras.
The start of display on the display (FIG. 2) in the vehicle is determined by the operation of a specific operation element (for example, pressing of a specific switch) provided in connection with a vehicle power-on signal or a steering wheel or the like.
In the processing unit, a perspective projection image is generated from the start display direction, the predetermined elevation angle and viewing angle, and the camera image used, and displayed on each display.
The perspective projection image is scroll-displayed on the display at a predetermined display speed (scroll speed) in a predetermined display direction.
The scroll display is temporarily stopped by an operation of a specific operation element (for example, pressing of a specific switch), and the scroll display is resumed by an operation of the specific operation element (for example, pressing of a specific switch).
The scroll display can be redone by operating a specific operation element (for example, pressing a specific switch).
If necessary, recognizes dangerous objects and obstacles and pauses the scrolling display. The scroll display is resumed by operation of a specific operation element (for example, pressing of a specific switch).

図１（Ａ）は、カメラ１１_flと１１_brを車両の前左、および後右に配置した例を示している。同図（Ｂ），（Ｃ），（Ｄ）もそれぞれ２以上のカメラを使用して周辺視覚情報を常時獲得できるようにしたものである。 FIG. 1A shows an example in which the cameras 11 _fl and 11 _br are arranged on the front left and rear right of the vehicle. (B), (C), and (D) in FIG. 6 also allow peripheral visual information to be always acquired using two or more cameras.

図２において、表示制御のための入力は、表示指示スイッチ２２，電源オンセンサ２３の出力である。
表示指示スイッチ２２は操舵ホイール等に関連して設けられた多数のスイッチ群からなる多機能スイッチであり、運転者等により操作される。電源オンセンサ２３は、キースタートにより起動されるスイッチである。
これらのスイッチやセンサから情報がスキャンされ、コントロールユニット２４に入力される。複数のカメラで撮影された画像は、コントロールユニット２４内の画像データスイッチ２８に送られる。
演算処理部２５において、それぞれのディスプレイ３１〜３３への表示位置を決定する。表示位置情報は車両周囲のどの方向か表し、方向，仰角，視野角で表現する。
また、表示指示スイッチ２２のスイッチ情報を判断し、表示ディスプレイ３１〜３３や表示位置を決定する。 In FIG. 2, the input for display control is the output of the display instruction switch 22 and the power-on sensor 23.
The display instruction switch 22 is a multi-function switch including a large number of switch groups provided in association with a steering wheel or the like, and is operated by a driver or the like. The power-on sensor 23 is a switch activated by a key start.
Information is scanned from these switches and sensors and input to the control unit 24. Images taken by a plurality of cameras are sent to an image data switch 28 in the control unit 24.
In the arithmetic processing part 25, the display position on each display 31-33 is determined. The display position information represents a direction around the vehicle, and is represented by a direction, an elevation angle, and a viewing angle.
Further, the switch information of the display instruction switch 22 is determined, and the display displays 31 to 33 and the display position are determined.

演算処理部２５で決定された表示位置情報（方向，仰角，視野角等）を、画像データスイッチ２８と画像処理・表示制御部２６〜２７に送られる。
画像データスイッチ２８は、得られた表示位置情報に従い、撮影された画像から表示に必要なカメラの画像情報を適切な画像処理・表示制御部２６〜２７に転送する。画像データスイッチ２８はアナログスイッチを用いて構成してある。なお画像スイッチャで構成することもできる。 Display position information (direction, elevation angle, viewing angle, etc.) determined by the arithmetic processing unit 25 is sent to the image data switch 28 and the image processing / display control units 26 to 27.
The image data switch 28 transfers camera image information necessary for display from the captured image to the appropriate image processing / display control units 26 to 27 in accordance with the obtained display position information. The image data switch 28 is configured using an analog switch. An image switcher can also be used.

画像処理・表示制御部２６〜２７では、画像データスイッチ２８から得られた画像に対し、方向，仰角，視野角を元に表示するディスプレイ３１〜３３に合わせて、透視投影変換などの画像処理を行ない、それぞれのディスプレイに画像を出力する。
予め決められた方向に予め決められた表示速度となるよう表示位置を決め前記画像処理を行い、ディスプレイに表示することでスクロール表示を行う。
画像処理・表示制御部２６〜２７では、近接物体を認識する。認識物体があると判断されるときに、認識物体が表示画面内の（左右方向で）予め決められた範囲内に表示されるようになると、スクロール表示を一時停止し、運転者に対し、音または光・映像で警告を発する。表示再開の操作子の操作（例えば特定のスイッチの押圧）がなされると、一時停止をやめスクロール表示を再開・継続する。一方、表示開始の操作子の操作（例えば特定のスイッチの押圧）がなされると、表示開始位置からスクロール表示を開始する。 In the image processing / display control units 26 to 27, image processing such as perspective projection conversion is performed on the image obtained from the image data switch 28 in accordance with the displays 31 to 33 that display based on the direction, the elevation angle, and the viewing angle. And output an image to each display.
The display position is determined so as to achieve a predetermined display speed in a predetermined direction, the image processing is performed, and scroll display is performed by displaying on the display.
The image processing / display control units 26 to 27 recognize a close object. When it is determined that there is a recognized object, when the recognized object is displayed within a predetermined range in the display screen (in the left-right direction), the scroll display is paused and a sound is sent to the driver. Or issue a warning with light or video. When an operation of the display restarting operator (for example, pressing a specific switch) is performed, the temporary stop is stopped and the scroll display is restarted / continued. On the other hand, when the operation of the display start operator (for example, pressing a specific switch) is performed, scroll display is started from the display start position.

（ディスプレイへの表示例１）図１（Ａ）に示すようなカメラ配置の場合の表示例について説明する。
左前部のカメラ１１_flにより撮像され透視投影変換などの画像処理を行なった画像は、図３に示すように左ディスプレイ３１に表示する。
図１（Ａ）の右後部のカメラ１２_brにより撮像され透視投影変換などの画像処理を行なった画像は、図３に示す右ディスプレイ３３に表示される。
図３に示す中央ディスプレイ３２には、左前部と右後部のカメラにより撮像され透視投影変換などの画像処理を行なった画像を予め決められたスクロール表示方向に表示する。
例えば、スクロール表示方向が車両上部から見て右回転方向の場合、図１の左前部カメラ１１_fl画像の透視投影変換などの画像処理を行なった画像を車両上部から見て左後方から右回りに前部右方向までスクロール表示する。
次に、図１（Ａ）の右後部カメラ１２_brの画像の透視投影変換などの画像処理を行なった画像を車両上部から見て右前方から右回りに後部左方向までスクロール表示する。
予め決められた表示開始の方角と表示方向及びスクロール表示速度に従ってスクロール表示を行う。
予め決められた画像の表示速度にあわせて描画され、画像の表示速度が１／３０秒であるならば、１／３０秒の頻度で図５の処理手順を実行し，ディスプレイの表示を行う。 (Display Example 1 on Display) A display example in the case of the camera arrangement as shown in FIG.
The image captured by the left front camera 11 _{fl and} subjected to image processing such as perspective projection conversion is displayed on the left display 31 as shown in FIG.
The image captured by the right rear camera _12br in FIG. 1A and subjected to image processing such as perspective projection conversion is displayed on the right display 33 shown in FIG.
The central display 32 shown in FIG. 3 displays images captured by the left front and right rear cameras and subjected to image processing such as perspective projection conversion in a predetermined scroll display direction.
For example, when the scroll display direction is the right rotation direction when viewed from the top of the vehicle, an image subjected to image processing such as perspective projection conversion of the left front camera 11 _fl image of FIG. Scroll to the front right.
Next, an image that has undergone image processing such as perspective projection conversion of the image of the right rear camera 12 _br in FIG. 1A is scroll-displayed from the right front to the rear leftward as viewed from the top of the vehicle.
Scroll display is performed according to a predetermined display start direction, display direction, and scroll display speed.
If the drawing is performed in accordance with a predetermined image display speed and the image display speed is 1/30 seconds, the processing procedure of FIG. 5 is executed at a frequency of 1/30 seconds to display on the display.

図５は、本発明の視覚情報提供システムの透視投影情報の決定の基本的な動作を説明するための流れ図である。
前記処理手順は次のとおりである。
（ステップ５０）処理手続開始する。
（ステップ５１）ディスプレイｄを表示方向αから決定する。
例えば図１（Ａ）のようなカメラ配置の場合、図４の右フロントコーナーから右回りに左リアコーナーまでの表示方向αに対しては図３の右ディスプレイ３３に表示し、左リアコーナーから右回りに右フロントコーナーまでの表示方向αに対しては図３の左ディスプレイ３１に表示し、表示方向αに対応したカメラの透視投影変換画像を図３の中央ディスプレイ３２に表示するように、表示方向αで表示するディスプレイを予め決めておくことができる。
（ステップ５２）方向αに該当する全周囲カメラ画像を選択する
（ステップ５３）選択したカメラ画像に対して表示位置（方向α，仰角β，視野角γ）の透視投影画像を求める。
（ステップ５４）透視投影画像をディスプレイに表示する
ディスプレイへの表示は、予め決められた表示開始方向、スクロール表示方向とスクロール表示速度とから算出された方向を含む表示位置（方向α_d ，仰角β_d ，視野角γ_d ）（仰角β_d ，視野角γ_d は、予め設定しておく）で全周囲カメラ画像を透視投影変換した画像をそれぞれのディスプレイ３１〜３３（図３参照）に表示する。
図４は、本発明の視覚情報提供システムの表示の方角（α）仰角（β）視野角（γ）を示す説明図である。この図は前述の図３の車両１０内の任意のディスプレイ３１，３２および３３に表示される映像を定義している。αは表示の方向、βはカメラの仰角（俯角は負の仰角と考える）、γは視野角である。
仰角β，視野角γは、予め設定しておくが、予め決められた値から選択できるようになっているかまたは／かつユーザが設定できるようになっている。 FIG. 5 is a flowchart for explaining the basic operation of determining perspective projection information in the visual information providing system of the present invention.
The processing procedure is as follows.
(Step 50) The processing procedure is started.
(Step 51) The display d is determined from the display direction α.
For example, in the case of the camera arrangement as shown in FIG. 1A, the display direction α from the right front corner in FIG. 4 to the left rear corner is displayed on the right display 33 in FIG. The display direction α to the right front corner in the clockwise direction is displayed on the left display 31 in FIG. 3, and the perspective projection conversion image of the camera corresponding to the display direction α is displayed on the central display 32 in FIG. A display to be displayed in the display direction α can be determined in advance.
(Step 52) An all-around camera image corresponding to the direction α is selected. (Step 53) A perspective projection image at the display position (direction α, elevation angle β, viewing angle γ) is obtained for the selected camera image.
(Step 54) Display the perspective projection image on the display. The display on the display is a display position (direction α _d , elevation angle β) including a predetermined display start direction, a direction calculated from the scroll display direction and the scroll display speed. _d , viewing angle γ _d ) (elevation angle β _d and viewing angle γ _d are set in advance), and images obtained by perspective projection conversion of the all-around camera image are displayed on the respective displays 31 to 33 (see FIG. 3). .
FIG. 4 is an explanatory view showing the display direction (α) elevation angle (β) viewing angle (γ) of the visual information providing system of the present invention. This figure defines the images displayed on the arbitrary displays 31, 32 and 33 in the vehicle 10 of FIG. α is the display direction, β is the elevation angle of the camera (the depression angle is considered as a negative elevation angle), and γ is the viewing angle.
The elevation angle β and the viewing angle γ are set in advance, but can be selected from predetermined values and / or can be set by the user.

図６は、本発明の視覚情報提供システムの動作のシーケンスの決定の基本的な動作を説明するための流れ図である。
（ステップ６１）処理手続開始する。
（ステップ６２）電源オン時であるかまたは車両発進時であるかを判定する。
（ステップ６３）表示開始の操作指示があるかを判定する。
（ステップ６４）スクロール表示、反転表示のための初期値を設定する。
（ステップ６５）方向αの透視投影画像をディスプレイｄに表示する。（この部分は、図５の流れ図を実行する。）
（ステップ６６）スクロール表示の終了点か判定する。終了点なら表示シーケンスを終了する。
（ステップ６７）一時停止の指示があるかを判定する。
（ステップ６８）一時停止後の再開表示指示があるかを判定する。
（ステップ６９）スクロール表示方向の反転指示があるかを判定する。
（ステップ７０）スクロール表示方向に対して反転とするフラグをオンに設定する。
（ステップ７１）スクロール表示途中でも最初から表示する指示があるか判定する。
（ステップ７２）次にスクロール表示するための表示方向を算出決定する。 FIG. 6 is a flowchart for explaining the basic operation of determining the sequence of operations of the visual information providing system of the present invention.
(Step 61) The processing procedure is started.
(Step 62) It is determined whether the power is on or the vehicle is starting.
(Step 63) It is determined whether there is a display start operation instruction.
(Step 64) Initial values for scroll display and reverse display are set.
(Step 65) A perspective projection image in the direction α is displayed on the display d. (This part executes the flow diagram of FIG. 5.)
(Step 66) It is determined whether the end point of the scroll display. If it is the end point, the display sequence is ended.
(Step 67) It is determined whether or not there is a pause instruction.
(Step 68) It is determined whether there is a restart display instruction after the temporary stop.
(Step 69) It is determined whether there is an instruction to reverse the scroll display direction.
(Step 70) The flag to be reversed with respect to the scroll display direction is set to ON.
(Step 71) It is determined whether there is an instruction to display from the beginning even during scroll display.
(Step 72) Next, a display direction for scroll display is calculated and determined.

次に前述の図６で示した流れ図と本発明による視覚情報提供システムの請求項との関係を簡単に説明しておく。
請求項１〜４記載の視覚情報提供システムは、前述の図６の流れ図からステップ６２，６７，６８，６９，７０を削除した状態で実現できる。
請求項５の記載の視覚情報提供システムは、前述の図６の流れ図からステップ６２，６７，６８，６９，７０，７２を削除し、一般的な表示ではなく、特定の表示位置設定（真下向きとズーム度合い）で透視投影表示することにより実現できる。
請求項６記載の視覚情報提供システムは、前述の図６の流れ図からステップ６７，６８，６９，７０を省略した流れで実現できる。
請求項７記載の視覚情報提供システムは、前述の図６の流れ図からステップ６７，６８，６９，７０，７２を省略した流れで特定の表示位置設定（真下向きとズーム度合い）で透視投影表示することにより実現できる。
請求項８記載の視覚情報提供システムは、前述の図６の流れ図からステップ６２，６７，７０を省略した流れで実現できる。
請求項９記載の視覚情報提供システムは、前述の図６の流れ図からステップ６２，６７，６８を省略した流れで実現できる。表示指示操作子の中の予め定められている操作子の操作（例えば特定のスイッチの押圧）でステップ６９のスクロール表示方向の反転をするか否かの判定を行うことで可能になる。
請求項１０記載の視覚情報提供システムは、前述の図６の流れ図からステップ６２，６７，６８，６９，７０を省略した流れで実現できる。表示指示操作子の中の予め定められている操作子の操作（例えば特定のスイッチの押圧）にてステップ７２のスクロール表示速度を変更することで可能である。スクロール表示速度は、予め決められた値から選択できるようになっているかまたは／かつユーザが設定できるようになっている。
請求項１１記載の視覚情報提供システムは、前述の図６の流れ図からステップ６２，６７，６９，７０を省略し、ステップ６７の代わりに危険物や障害物の認識判定で一時停止するステップを挿入することで実現できる。危険物や障害物は、〔００１５〕で説明した図２の画像処理・表示制御部で認識させることができる。この実施例の応用例としてステップ６７を挿入することで運転者の操作（意思）で一時停止することが可能となる。
請求項１２記載の視覚情報提供システムは、前述の図６の流れ図からステップ６２，６７，６８，６９，７０を省略し、表示指示操作子の中の予め定められている操作子の操作（例えば特定のスイッチの押圧）でステップ６４において表示開始方向にスクロール表示を開始する位置を設定し、更に反転表示フラグをスクロール表示する方向にあわせて設定することで実現できる。スクロール表示する方向、スクロール表示を開始する位置は、表示指示操作子の中の予め定められている操作子の操作（例えば特定のスイッチの押圧）で予め決められた値から選択できるようになっているかまたは／かつユーザが設定できるようになっている。
請求項１３記載の視覚情報提供システムは、前述の図６の流れ図からステップ６２，６７，６８，６９，７０を省略し、前述の図５の流れ図でステップ５３と５４の間に方向αが鏡像表示する範囲であるなら鏡像変換を実施するステップを挿入することで実現できる。請求項１４記載の視覚情報提供システムは、前述の請求項１３の実施例において方向αが鏡像表示する範囲であるかを判定するための基準としての鏡像表示を開始する位置の値を、予め決められた値から選択できるようになっているかまたは／かつユーザが設定できるようになっているように構成したものである。
請求項１５記載の視覚情報提供システムは、請求項１から１４のスクロール表示または一画面表示に関連するものであり、どのカメラでどの方向を表示しているかを模式図で重ね表示できるようにしたものである。
請求項１６記載の視覚情報提供システムは、請求項１から４，６及び８から１５のスクロール画面表示に関連するものであり、２以上の複数カメラで撮像された画像に重なりがある時、この重なり領域のカメラ画像を加工し車内ディスプレイに表示する場合、どのカメラの画像を加工使用するかを予め決めておくかまたは表示方向に近いカメラ画像を加工使用するように構成したものである。 Next, the relationship between the flowchart shown in FIG. 6 and the claims of the visual information providing system according to the present invention will be briefly described.
The visual information providing system according to claims 1 to 4 can be realized in a state in which steps 62, 67, 68, 69, and 70 are deleted from the flowchart of FIG.
The visual information providing system according to claim 5 deletes steps 62, 67, 68, 69, 70, 72 from the flowchart of FIG. 6 described above, and sets a specific display position (directly downward) instead of a general display. And the zoom level).
The visual information providing system according to claim 6 can be realized by a flow in which steps 67, 68, 69, and 70 are omitted from the flow chart of FIG.
The visual information providing system according to claim 7 performs a perspective projection display at a specific display position setting (directly downward and zoom degree) in a flow in which steps 67, 68, 69, 70, and 72 are omitted from the flow chart of FIG. Can be realized.
The visual information providing system according to claim 8 can be realized by a flow in which steps 62, 67, and 70 are omitted from the flow chart of FIG.
The visual information providing system according to claim 9 can be realized by a flow in which steps 62, 67 and 68 are omitted from the flow chart of FIG. This is possible by determining whether or not to reverse the scroll display direction in step 69 by operating a predetermined operator (for example, pressing a specific switch) among the display instruction operators.
The visual information providing system according to claim 10 can be realized by a flow in which steps 62, 67, 68, 69, and 70 are omitted from the flow chart of FIG. This can be achieved by changing the scroll display speed in step 72 by operating a predetermined operator (for example, pressing a specific switch) in the display instruction operator. The scroll display speed can be selected from a predetermined value or / and can be set by the user.
In the visual information providing system according to claim 11, steps 62, 67, 69, and 70 are omitted from the flowchart of FIG. 6 described above, and a step of temporarily suspending the recognition of dangerous objects and obstacles is inserted instead of step 67. This can be achieved. Dangerous objects and obstacles can be recognized by the image processing / display control unit of FIG. 2 described in [0015]. By inserting step 67 as an application example of this embodiment, it is possible to temporarily stop by the operation (intention) of the driver.
The visual information providing system according to the twelfth aspect omits steps 62, 67, 68, 69, and 70 from the flowchart of FIG. 6 described above, and operates a predetermined operator in the display instruction operator (for example, This can be realized by setting a position for starting scroll display in the display start direction in step 64 by pressing a specific switch) and further setting a reverse display flag in accordance with the scroll display direction. The scroll display direction and the scroll display start position can be selected from a predetermined value by an operation of a predetermined operator (for example, pressing a specific switch) in the display instruction operator. Or / and user configurable.
The visual information providing system according to claim 13 omits steps 62, 67, 68, 69, and 70 from the flowchart of FIG. 6, and the direction α is a mirror image between steps 53 and 54 in the flowchart of FIG. If it is within the display range, it can be realized by inserting a step of performing mirror image conversion. The visual information providing system according to claim 14 determines in advance the value of the position at which mirror image display is started as a reference for determining whether or not the direction α is in the range for mirror image display in the embodiment of claim 13 described above. The user can select from the set values and / or can be set by the user.
The visual information providing system according to claim 15 is related to the scroll display or the single screen display according to claims 1 to 14, and is capable of displaying in a schematic diagram which direction is displayed by which camera. Is.
A visual information providing system according to a sixteenth aspect relates to the scroll screen display according to the first to fourth, sixth and eighth to fifteenth aspects. When there is an overlap between images captured by two or more cameras, When processing the camera image of the overlapping area and displaying it on the in-vehicle display, it is determined in advance which camera image is to be processed and used, or the camera image close to the display direction is processed and used.

（ディスプレイへの表示例２）図１（Ｂ）にさらに他のカメラの配置を示す。
前方中央と後方中央にカメラ１１_fc，１２_bcが配置されている。
ディスプレイへの表示は、予め決められた表示開始方向、スクロール表示方向とスクロール速度とから算出された方向を含む表示位置（方向α_d ，仰角β_d ，視野角γ_d ）（仰角β_d ，視野角γ_d は、予め設定しておく）で全周囲カメラを選択し、該当する部分の画像を透視投影変換し図２のそれぞれのディスプレイ３１〜３３に表示する。例えば表示方向に応じて、フロント側やリア側の画像は図３の中央ディスプレイ３２に表示し、右側の画像は図３の右ディスプレイ３３に表示し、左側の画像は図３の左ディスプレイ３１に表示する。 (Display Example 2 on Display) FIG. 1B shows still another camera arrangement.
Cameras 11 _fc and 12 _bc are arranged at the front center and the rear center.
The display on the display includes a display position (direction α _d , elevation angle β _d , viewing angle γ _d ) (elevation angle β _d , field of view) including a predetermined display start direction, a direction calculated from the scroll display direction and the scroll speed. The angle γ _d is set in advance) to select the omnidirectional camera, and the image of the corresponding part is perspective-projected and displayed on the respective displays 31 to 33 in FIG. For example, depending on the display direction, the front and rear images are displayed on the central display 32 in FIG. 3, the right image is displayed on the right display 33 in FIG. 3, and the left image is displayed on the left display 31 in FIG. indicate.

（ディスプレイへの表示例３）図１（Ｃ）はカメラの配置の他の例を示す図である。
カメラは、左前方の角１１_fl右前方の角１２_fr左後方の角１２_bl右後方の角１２_brに全周囲をカバーするように配置されている。
ディスプレイへの表示は、予め決められた表示開始方向、スクロール表示方向とスクロール速度とから算出された方向を含む表示位置（方向α_d ，仰角β_d ，視野角γ_d ）（仰角β_d ，視野角γ_d は、予め設定しておく）で全周囲カメラを選択し，該当する部分の画像を透視投影変換し図２のそれぞれのディスプレイ３１〜３３に表示する。例えば表示方向に応じて、フロント側やリア側の画像は図３の中央ディスプレイ３２に表示し、右側の画像は図３の右ディスプレイ３３に表示し、左側の画像は図３の左ディスプレイ３１に表示する。
請求項１６の実施例として、例えばフロント側の表示の場合、カメラ１１_flから透視投影変換した画像とカメラ１２_frから透視投影変換した画像とでは見た目の画像が異なるのでどちらの画像を使用するかを予め決めておくかまたは、表示方向に近いカメラから透視投影変換した画像を使用するように設定しておく。リア側、右側、左側もフロント側と同様の手法で設定しておく。 (Display Example 3 on Display) FIG. 1C is a diagram showing another example of the arrangement of cameras.
The camera is arranged so as to cover the entire circumference at a left front corner 11 _fl right front corner 12 _fr left rear corner 12 _bl right rear corner 12 _br .
The display on the display includes a display position (direction α _d , elevation angle β _d , viewing angle γ _d ) (elevation angle β _d , field of view) including a predetermined display start direction, a direction calculated from the scroll display direction and the scroll speed. The angle γ _d is set in advance) to select the omnidirectional camera, and the image of the corresponding part is perspective-projected and displayed on the respective displays 31 to 33 in FIG. For example, depending on the display direction, the front and rear images are displayed on the central display 32 in FIG. 3, the right image is displayed on the right display 33 in FIG. 3, and the left image is displayed on the left display 31 in FIG. indicate.
As an embodiment of the sixteenth aspect, for example, in the case of display on the front side, an image that is perspective-projected and converted from the camera 11 _fl and an image that is perspective-projected and converted from the camera 12 _fr are different from each other. Are determined in advance, or set to use an image obtained by perspective projection conversion from a camera close to the display direction. The rear side, right side, and left side are set in the same manner as the front side.

（ディスプレイへの表示例４）図１（Ｄ）にさらに他のカメラの配置例を示す。
前方中央にカメラ１１_fc，右側面中央にカメラ１２_sr、後方中央にカメラ１３_bc左側面中央にカメラ１４_slが配置されている。
ディスプレイへの表示は、予め決められた表示開始方向、スクロール表示方向とスクロール速度とから算出された方向を含む表示位置（方向α_d ，仰角β_d ，視野角γ_d ）（仰角β_d ，視野角γ_d は、予め設定しておく）で全周囲カメラを選択し、該当する部分の画像を透視投影変換し図２のそれぞれのディスプレイ３１〜３３に表示する。例えば表示方向に応じて、フロント側やリア側の画像は図３の中央ディスプレイ３２に表示し、右側の画像は図３の右ディスプレイ３３に表示し、左側の画像は図３の左ディスプレイ３１に表示する。
請求項１６の実施例として、例えば右フロントコーナー方向の表示の場合、カメラ１１_fcから透視投影変換した画像とカメラ１２_srから透視投影変換した画像とでは見た目の画像が異なるのでどちらの画像を使用するかを予め決めておくかまたは、表示方向に近いカメラから透視投影変換した画像を使用するように設定しておく。左フロントコーナー方向、右リアコーナー方向、左リアコーナー方向のそれぞれの表示の場合も右フロントコーナー方向の表示の場合と同様の手法で設定しておく。 (Display Example 4 on Display) FIG. 1D shows still another example of camera arrangement.
A camera 11 _fc is disposed at the front center, a camera 12 _sr is disposed at the center of the right side, and a camera 14 _sl is disposed at the center of the left side of the camera 13 _bc .
The display on the display includes a display position (direction α _d , elevation angle β _d , viewing angle γ _d ) (elevation angle β _d , field of view) including a predetermined display start direction, a direction calculated from the scroll display direction and the scroll speed. The angle γ _d is set in advance) to select the omnidirectional camera, and the image of the corresponding part is perspective-projected and displayed on the respective displays 31 to 33 in FIG. For example, depending on the display direction, the front and rear images are displayed on the central display 32 in FIG. 3, the right image is displayed on the right display 33 in FIG. 3, and the left image is displayed on the left display 31 in FIG. indicate.
As an embodiment of the sixteenth aspect, for example, in the case of display in the right front corner direction, an image obtained by perspective projection conversion from the camera 11 _fc and an image obtained by perspective projection conversion from the camera 12 _sr are different from each other. Whether to do so is determined in advance, or is set to use an image obtained by perspective projection conversion from a camera close to the display direction. The display in the left front corner direction, the right rear corner direction, and the left rear corner direction is set in the same manner as in the display in the right front corner direction.

（ディスプレイへの表示例５）請求項５の実施例として、カメラは図１（Ａ）に示すように全周囲の情報を取得可能に配置されている。
それぞれのカメラの真下向きの透視投影変換した画像をカメラ１１_flのものは、図７に示すように、左ディスプレイに、カメラ１２_brのものは右ディスプレイにそれぞれ表示する。
図７に示すように車両に取付けられたカメラ付近の状況が一画面表示で確認できる。 (Display Example 5 on Display) As an embodiment of claim 5, as shown in FIG. 1A, the camera is arranged so as to be able to acquire information on the entire periphery.
As shown in FIG. 7, an image obtained by _performing perspective projection conversion right below each camera is displayed on the left display as shown in FIG. 7, and the image displayed on the camera _12br is displayed on the right display.
As shown in FIG. 7, the situation near the camera attached to the vehicle can be confirmed on a single screen display.

（ディスプレイへの表示例６）カメラは図１（Ａ）に示すように全周囲の情報を取得可能に配置されている。請求項１５の実施例として、車両、カメラ、視野角及び表示方向をそれぞれ区別できる模式図で（例えば図８（ａ）に示すように車両を長方形で、カメラを黒丸で、視野角を三角形で、表示方向中央を三角形底辺の中央で）それぞれ表示し、透視投影変換している画像に模式図で重ね表示することでどのカメラでどの方向を見ているかがわかる。
図７に示すように真下向きの場合、前記模式図と区別できる模式図（例えば図８（ｂ）に示すように三角形表示はせずカメラを丸印の中にバツ印）で表示する。 (Display Example 6 on Display) As shown in FIG. 1A, the camera is arranged so as to be able to acquire information on the entire periphery. As an embodiment of claim 15, the vehicle, camera, viewing angle and display direction can be distinguished from each other (for example, as shown in FIG. 8A, the vehicle is a rectangle, the camera is a black circle, and the viewing angle is a triangle. By displaying the center of the display direction at the center of the triangle base) and overlaying it in a schematic diagram on the image that has undergone perspective projection conversion, it is possible to know which camera is viewing which direction.
As shown in FIG. 7, in the case of direct downward, a schematic diagram that can be distinguished from the schematic diagram (for example, as shown in FIG. 8B, the triangle is not displayed but the camera is displayed as a cross in a circle).

（ディスプレイへの表示例７）図９に透視投影変換画像と模式図との合成画像の表示例を示す。同図（ａ）では、左前のカメラから左斜め後ろ方向を透視投影変換表示していることが模式図よりわかる。同図（ｂ）では、左前のカメラからほぼ前方方向を透視投影変換表示していることが模式図よりわかる。同図（ｃ）では、左前のカメラの下向きの透視投影変換画像で一画面表示していることがわかる。同図の三角形の点線表示とその向きは、画像の上側が車両前方であることがわかるように表示している。
また、仰角β_d の大きさの違いにより模式図の三角形の中の色の透明度割合を変化させることで、仰角β_d の大きさの違いを模式図により表示できる。仰角β_d がほぼ水平方向で模式図の三角形の中を不透明（真っ白）で表示し、仰角β_d が下向きに大きくなるにしたがい模式図の三角形の中の透明度割合を上げることで透視投影変換された画像の透けて見える割合が上がる（三角形の中の白の抜け落ち具合が上がる）ようになるため、仰角β_d の大きさの違いを模式図表示にて認識できる。この例を図９の（ａ）と（ｂ）に示す。同図（ａ）では、仰角β_d がほぼ水平方向の場合の合成画像表示例であり、同図（ｂ）では、仰角β_d が水平からある程度下向きになっている場合の合成画像表示例である。 (Display Example 7 on Display) FIG. 9 shows a display example of a composite image of a perspective projection conversion image and a schematic diagram. In the same figure (a), it can be seen from the schematic diagram that the oblique left rear direction from the left front camera is displayed in perspective projection conversion. In the same figure (b), it can be seen from the schematic diagram that the perspective projection transformation display is performed almost in the forward direction from the left front camera. In FIG. 5C, it can be seen that a one-screen display is performed with a downward perspective projection conversion image of the left front camera. The triangular dotted line display and its direction are shown so that the upper side of the image is the front of the vehicle.
In addition, by changing the transparency ratio of the color in the triangle in the schematic diagram according to the difference in the elevation angle β _d , the difference in the elevation angle β _d can be displayed in the schematic diagram. Displayed in opaque in a triangle of a schematic view in elevation beta _d substantially horizontal direction (white), the elevation angle beta _d is perspective projection transformation by increasing the transparency of the ratio in the triangle schematic diagram in accordance larger downward Therefore, the ratio of the elevation angle β _d can be recognized in the schematic diagram display. This example is shown in FIGS. 9A and 9B. FIG. 5A shows a composite image display example when the elevation angle β _{d is} substantially horizontal, and FIG. 4B shows a composite image display example when the elevation angle β _d is downward from the horizontal to some extent. is there.

（広ダイナミックレンジカメラの使用例）通常のカメラのダイナミックレンジは６０〜８０ｄＢ程度であり、シャッタ速度や絞りで入射光量を調節し、撮影可能な入射光量領域を相対的に広く取れるようになっている。しかし、一旦あるレンジに設定するとそのレンジで扱えるより明るい部分（入射光量の大きい領域）は白くつぶれ（白に飽和し）、暗い部分（入射光量の低い領域）は黒くつぶれ（黒に飽和し）てしまう。
一方、広ダイナミックレンジカメラ（広ＤＲカメラ）のダイナミックレンジは、１００〜１７０ｄＢと広く、通常のカメラのダイナミックレンジを含むように設定すると、通常のカメラの白飽和を上回った入射光量領域や黒飽和を下回った入射光量領域に対して撮影物の区別が可能な有効な画像出力データを持っている。 (Example of use of wide dynamic range camera) The dynamic range of a normal camera is about 60 to 80 dB, and the incident light quantity region can be taken relatively wide by adjusting the incident light quantity with the shutter speed and the aperture. Yes. However, once a certain range is set, the brighter part (area with a large incident light amount) that can be handled in that range is crushed white (saturated to white), and the dark part (area with a low incident light quantity) is crushed black (saturated to black). End up.
On the other hand, the dynamic range of a wide dynamic range camera (wide DR camera) is as wide as 100 to 170 dB. If the dynamic range is set so as to include the dynamic range of a normal camera, the incident light amount region and black saturation exceeding the white saturation of a normal camera. It has effective image output data capable of distinguishing the object to be photographed with respect to the incident light quantity region below the threshold.

図１０に通常のカメラと広ＤＲカメラのダイナミックレンジの比較を示す。同図の（ａ）と（ｂ）の矢印範囲の記載位置の違いは、シャッタ速度や絞りにて入射光量が調節され撮影する入射光量の違いを示している。同図（ａ）で通常のカメラと広ＤＲカメラとの撮影可能入射光量の差異を左右の差分で示している。右側の差分ΔＷは、通常のカメラでは白とびを起こしてしまう入射光量でも広ＤＲカメラでは有効な撮影データが得られることを示しており、左側の差分ΔＢは、通常のカメラでは黒つぶれを起こしてしまう入射光量でも広ＤＲカメラでは有効な撮影データが得られることを示している。勿論、広ＤＲカメラにおいても広ＤＲカメラの入射光量範囲を越えれば白とびを起こし、下回れば黒つぶれを起こす。 FIG. 10 shows a comparison of the dynamic range of a normal camera and a wide DR camera. The difference in the positions indicated by the arrow ranges in FIGS. 9A and 9B shows the difference in the amount of incident light in which the amount of incident light is adjusted by the shutter speed and the aperture. The difference of the incident light quantity which can be image | photographed with a normal camera and a wide DR camera is shown with the difference of right and left in the figure (a). The difference ΔW on the right side shows that effective shooting data can be obtained with a wide DR camera even with the amount of incident light that causes overexposure with a normal camera, and the difference ΔB on the left side causes blackout with a normal camera. This shows that effective shooting data can be obtained with a wide DR camera even with an incident light amount. Of course, even in a wide DR camera, overexposure occurs when the incident light amount range of the wide DR camera is exceeded, and underexposure occurs.

図１１に通常カメラと広ＤＲカメラの画像例を示す。同図（ａ）は、通常のカメラの画像例を示し、同図（ｂ）は、ほぼ同位置で撮影した広ＤＲカメラの画像データをデータ変換して表示した画像例を示す。図１１（ｂ）の画像例は、同図（ａ）に対して画素値の最大最小値は同じとなるようにし画像全体の見え方がほぼ同じように見えるよう画素値データを変換している。この例では、通常のカメラ画像は、広ＤＲカメラ画像の黒い方にシフトしていて、図１０（ａ）のΔＢの差異がほとんど無い状態の画像例となっている。したがって、図１１（ａ）の通常のカメラ画像では白とびを起こしている部分に対して、同図（ｂ）の広ＤＲカメラ画像では、白い車の後部、日向の路面、物置、背景が空となっている電線や木の葉等がはっきりと撮影されている。同様に、黒い方のΔＢに差異があるような場合には、通常のカメラで黒つぶれを起こす入射光量領域部分でも、広ＤＲカメラでは黒つぶれを起こさずに有効なデータを得ることができ、黒部分の画像領域においても見た目で区別のできる表示とすることができる。 FIG. 11 shows an example of images of a normal camera and a wide DR camera. FIG. 5A shows an example of an image of a normal camera, and FIG. 6B shows an example of an image displayed by converting image data of a wide DR camera taken at substantially the same position. In the image example of FIG. 11B, the maximum and minimum pixel values are the same as in FIG. 11A, and the pixel value data is converted so that the entire image looks almost the same. . In this example, the normal camera image is an image example in which the wide DR camera image is shifted to the black side and there is almost no difference in ΔB in FIG. Therefore, in the normal DR camera image of FIG. 11A, the wide DR camera image of FIG. 11B is empty in the rear part of the white car, the road surface in the sun, the storage, and the background. The electric wires and the leaves of the trees are clearly photographed. Similarly, when there is a difference in ΔB on the black side, even in an incident light amount region portion that causes black crushing with a normal camera, effective data can be obtained without black crushing with a wide DR camera. Even in the black image area, the display can be distinguished in appearance.

ところで、通常の表示装置のほとんどが２５６階調程度とダイナミックレンジが狭いが、通常のカメラで撮影された画像は適度に表示されるように作られている。
しかし、広ＤＲカメラの画像データをそのまま通常の表示装置で表示しようとしても、カメラが撮影できているデータ領域のほんの一部しか表示できない。 By the way, although most of the normal display devices have a narrow dynamic range of about 256 gradations, images taken with a normal camera are made to be displayed appropriately.
However, even if the image data of the wide DR camera is displayed as it is on a normal display device, only a part of the data area that can be captured by the camera can be displayed.

そこで本発明の請求項２，３では、カメラに広ＤＲカメラを使用し、通常のカメラでは白飽和や黒飽和してしまうデータ領域に対しても、広ＤＲカメラの画像データに対して、撮影された物が通常の表示装置上で区別できるような表示にするように図２の画像処理・表示制御部２６，２７が構成されている。
本発明の請求項４では、カメラに広ＤＲカメラを使用し、通常のカメラでは白飽和や黒飽和してしまうデータ領域に対しても、広ＤＲカメラの画像データに対して変換表または関数あるいは変換表と関数との組合せによるデータ変換を行い、撮影された物が通常の表示装置上で区別できるような表示にするように図２の画像処理・表示制御部２６，２７が構成されている。 Accordingly, in claims 2 and 3 of the present invention, a wide DR camera is used as a camera, and even in a data area that is saturated with white or black with a normal camera, the image data of the wide DR camera is captured. The image processing / display control units 26 and 27 in FIG. 2 are configured so that the displayed objects can be distinguished on a normal display device.
According to claim 4 of the present invention, a wide DR camera is used as a camera, and even for a data area that is white saturated or black saturated with a normal camera, a conversion table or function or The image processing / display control units 26 and 27 shown in FIG. 2 are configured to perform data conversion based on a combination of a conversion table and a function so that a photographed object can be distinguished on a normal display device. .

請求項４の本発明において、撮影した画像に応じてデータ変換を行う例を図１２に示す。図５の流れ図の５３の代わりに図１２の流れ図を使用して、図２の画像処理・表示制御部２６，２７が構成されている。この実施例では、まず、選択したカメラ画像の表示位置（方角α，仰角β，視野角γ）からこれに対応した入力画像の局所領域を求める。次に、求めた局所領域内の画素値のヒストグラム（画素値の分布具合）を求め、上下の飽和点を決める。次に、上下の飽和点の間の入力画素値が表示装置で表示可能な上下飽和となる画素値の間に入るように比例配分、変換関数、予め決められた変換表の選択等により変換表を作成する。次に、作成した変換表を用いて画素値の変換を行う。最後に、変換後の画素値を用いて表示位置（方角α，仰角β，視野角γ）の透視投影画像を求める。
前記実施例においては、使用するカメラが広ＤＲカメラだけの場合の他に広ＤＲカメラと通常のカメラとの混在の場合にも適用が可能である。広ＤＲカメラと通常のカメラとの混在の場合、広ＤＲカメラによる画像処理は前記のとおりであるが、通常カメラの画像処理についても選択したカメラが何であるのかわかるので広ＤＲカメラと同じ処理手順で（処理結果としての効果は期待できないが）実施が可能である。あるいは、図１２の流れ図でヒストグラムの作成部分、変換表作成部分及び画素値変換部分をスキップするようにしてもよいし、変換前後の画素値を同じとする処理にしてもよい。全体で一つの変換表を共有するのではなく、使用するカメラ毎に変換表を持つように構成すれば特性の違うカメラへの対応が可能であり、カメラ毎の個別特性に合わせた対応が可能である。変換表の代わりに関数または変換表と関数との組合せを用いても画素値の変換が可能である。関数を使用する場合、関数を予め複数種類用意し、画素値のヒストグラム具合や、上下飽和値や平均値等に応じて関数を選択したり変換係数やオフセット等を選択／決定することもできる。また、どのような変換方法を使用するかを予めユーザが設定できるようにすることができる。更に、変換表や変換関数の作成、変換表と関数との組合せ方法等も予めユーザが設定できるようにすることができる。図２のコントロールユニット内に記憶メモリを用意し、専用または兼用の指示スイッチにより操作情報をコントロールユニットに伝達し、記憶メモリにユーザの指示した変換表、変換関数、変換表と関数との組合せ方法、変換方法、選択情報等を記憶させ、データ変換時に記憶メモリ情報にしたがってデータ変換を行わせることができる。 FIG. 12 shows an example in which data conversion is performed according to the photographed image in the present invention. The image processing / display control units 26 and 27 in FIG. 2 are configured using the flowchart in FIG. 12 instead of 53 in the flowchart in FIG. In this embodiment, first, the local region of the input image corresponding to the selected display position (direction α, elevation angle β, viewing angle γ) of the camera image is obtained. Next, a histogram (pixel value distribution) of pixel values in the obtained local area is obtained, and upper and lower saturation points are determined. Next, the conversion table is selected by proportional distribution, conversion function, selection of a predetermined conversion table, etc. so that the input pixel value between the upper and lower saturation points falls between the pixel values that become the upper and lower saturation that can be displayed on the display device. Create Next, pixel values are converted using the created conversion table. Finally, a perspective projection image of the display position (direction α, elevation angle β, viewing angle γ) is obtained using the converted pixel value.
In the above embodiment, the present invention can be applied to a case where a wide DR camera and a normal camera are mixed, in addition to the case where the camera used is only a wide DR camera. When a wide DR camera and a normal camera are mixed, the image processing by the wide DR camera is as described above. However, the same processing procedure as that of the wide DR camera can also be understood for the image processing of the normal camera. (Although no effect can be expected as a result of processing), it can be implemented. Alternatively, the histogram creation part, conversion table creation part, and pixel value conversion part may be skipped in the flowchart of FIG. 12, or the pixel values before and after conversion may be made the same. Instead of sharing one conversion table as a whole, it is possible to support cameras with different characteristics by configuring each camera to have a conversion table, and it is possible to respond to individual characteristics of each camera It is. The pixel value can be converted by using a function or a combination of a conversion table and a function instead of the conversion table. In the case of using a function, a plurality of types of functions can be prepared in advance, and a function can be selected, a conversion coefficient, an offset, or the like can be selected / determined according to a histogram of pixel values, a vertical saturation value, an average value, or the like. In addition, the user can set in advance what conversion method to use. Furthermore, the creation of a conversion table and a conversion function, a method for combining the conversion table and the function, and the like can be set in advance by the user. A storage memory is prepared in the control unit of FIG. 2, operation information is transmitted to the control unit by a dedicated or dual-purpose instruction switch, and a conversion table, a conversion function, a combination method of the conversion table and the function specified by the user is stored in the storage memory The conversion method, selection information, and the like can be stored, and data conversion can be performed according to the storage memory information at the time of data conversion.

以上詳しく説明したように、本発明による視覚情報提供システムによれば、運転支援のために必要な方向の映像を車内のディスプレイに表示することができる。
自動車関連産業や、交通運輸の産業に広く利用できる。 As described above in detail, according to the visual information providing system of the present invention, it is possible to display an image of a direction necessary for driving support on a display in the vehicle.
It can be widely used in automobile-related industries and transportation industries.

本発明の視覚情報提供システムにおける動画センサ（カメラ）の配置を示す略図である。It is the schematic which shows arrangement | positioning of the moving image sensor (camera) in the visual information provision system of this invention. 本発明の視覚情報提供システムの回路の実施例を示すブロック図である。It is a block diagram which shows the Example of the circuit of the visual information provision system of this invention. 本発明の視覚情報提供システムを搭載した車両の斜視図である。It is a perspective view of the vehicle carrying the visual information provision system of this invention. 本発明の視覚情報提供システムの表示の方角（α）仰角（β）視野角（γ）を示す説明図である。It is explanatory drawing which shows the direction ((alpha)) elevation angle ((beta)) viewing angle ((gamma)) of the display of the visual information provision system of this invention. 本発明の視覚情報提供システムの透視投影情報の決定の基本的な動作を説明するためのフローチャートである。It is a flowchart for demonstrating the basic operation | movement of the determination of the perspective projection information of the visual information provision system of this invention. 本発明の視覚情報提供システムの動作のシーケンスの決定の基本的な動作を説明するためのフローチャートである。It is a flowchart for demonstrating the basic operation | movement of the determination of the operation | movement sequence of the visual information provision system of this invention. 本発明の視覚情報提供システムの表示状態の例を示す説明図である。It is explanatory drawing which shows the example of the display state of the visual information provision system of this invention. 本発明の視覚情報提供システムのさらに他の表示状態の例を示す説明図である。It is explanatory drawing which shows the example of the further another display state of the visual information provision system of this invention. 本発明の視覚情報提供システムのさらに他の表示状態の例を示す図である。It is a figure which shows the example of the further another display state of the visual information provision system of this invention. 通常のカメラと広ＤＲカメラのダイナミックレンジの比較を示す説明図である。It is explanatory drawing which shows the comparison of the dynamic range of a normal camera and a wide DR camera. 通常カメラと広ＤＲカメラの画像表示の例を示す図である。It is a figure which shows the example of an image display of a normal camera and a wide DR camera. 本発明の視覚情報提供システムのカメラ画像データのデータ変換の例を説明するためのフローチャートである。It is a flowchart for demonstrating the example of the data conversion of the camera image data of the visual information provision system of this invention.

Explanation of symbols

１１〜１４動画センサ（カメラ）
２２表示指示スイッチ
２３電源オンセンサ
２４制御手段（コントロールユニット）
２５演算処理部
２６，２７画像処理・表示制御部
３１〜３３ディスプレイ 11-14 Video sensor (camera)
22 Display instruction switch 23 Power-on sensor 24 Control means (control unit)
25 Arithmetic Processing Units 26, 27 Image Processing / Display Control Units 31-33 Display

Claims

One or more video cameras that constantly acquire information about the entire circumference outside the vehicle,
One or more in-vehicle displays arranged in the vehicle;
A display instruction operator for instructing display on the in-vehicle display;
Control means for processing information on substantially the entire periphery outside the vehicle, which is always acquired, in accordance with the operation of the display instruction operator and connecting to the in-vehicle display to scroll and display approximately the entire periphery or a part outside the vehicle When,
Visual information provision system composed of

One or more video cameras that constantly acquire information about the entire circumference outside the vehicle,
One or more in-vehicle displays arranged in the vehicle;
A display instruction operator for instructing display on the in-vehicle display;
Control means for processing information on substantially the entire periphery outside the vehicle, which is always acquired, in accordance with the operation of the display instruction operator and connecting to the in-vehicle display to scroll and display approximately the entire periphery or a part outside the vehicle A visual information providing system composed of
Replacing part or all of the video camera with a wide dynamic range camera, processing and using the output, and switching to a control that allows playback of areas outside the dynamic range of the normal camera so that it can be seen by the driver A visual information providing system configured to display an image of a camera.

3. The visual information providing system according to claim 2, wherein the area outside the dynamic range of the normal camera is an image area that disappears in black or disappears black.

When processing and displaying image data of the wide dynamic range camera on a display device,
3. The visual information providing system according to claim 2, wherein the visual information providing system is configured to be selectable from a predetermined conversion table or function for a wide dynamic range camera, or a combination of a conversion table and a function, and / or set by a user.

5. The visual information providing system according to claim 1, wherein the control means displays a substantially entire periphery or part of the vehicle outside on a single screen on a display.

5. The visual information providing system according to claim 1, wherein when the vehicle is powered on or the vehicle starts, the control means scrolls substantially the entire periphery or a part outside the vehicle on a display.

6. The visual information providing system according to claim 5, wherein said control means displays substantially the entire periphery or part of the outside of the vehicle on a single screen when the vehicle is powered on or started.

5. The visual information providing system according to claim 1, wherein the control means is configured to pause and resume display when scrolling and displaying substantially the entire periphery or a part outside the vehicle.

The control means is configured to display a direction for scroll display when a predetermined operation element in the display instruction operation element is operated while scrolling and displaying substantially the entire periphery or a part outside the vehicle. 5. The visual information providing system according to claim 1, wherein the visual information is scrolled in the reverse direction.

When the control means is scrolling and displaying substantially the entire periphery or a part outside the vehicle, the speed of the scroll display is determined from a predetermined value by operating a predetermined operator in the display instruction operator. 5. The visual information providing system according to claim 1, wherein the visual information providing system can be selected and / or set by a user.

5. The visual information providing system according to claim 1, wherein when the control means recognizes a dangerous object, an obstacle, or the like while scrolling, the scroll display is temporarily stopped.

The control means has a predetermined direction for scroll display, a position for starting scroll display, a direction for scroll display when a predetermined operator in the display instruction operator is operated, and a position for starting scroll display. 5. The visual information providing system according to claim 1, wherein the visual information providing system can be selected from values and / or can be set by a user.

The control means scrolls and displays the image around the vehicle as when the driver makes a full rotation, or displays the vehicle rear as an image (mirror image) reversed left and right as when looking at the rear of the vehicle with a mirror. 5. The visual information providing system according to claim 1, wherein a scroll display can be selected.

14. The visual information providing system according to claim 13, wherein when the mirror image is displayed, the control means can select a position (direction) at which the mirror image display is started from a predetermined value and / or can be set by the user.

15. The visual information provision according to claim 1, wherein when the scroll display or one-screen display of claim 1 to 14 is performed, the control means can display which direction is displayed by which camera by a schematic diagram. system.

The visual information providing system according to any one of claims 1 to 4, 6 and 8 to 15,
Two or more video cameras are used, and a camera arrangement that captures the same area with a plurality of cameras is used to process and use an image captured by which camera to display an image to be displayed on the in-vehicle display with respect to an overlapping area of the captured images. Or decide in advance
Alternatively, a visual information providing system configured to process and use a camera image close to the display direction.