JP2010136295A - Imaging display control device and method, and car navigation system and camera system using imaging display control device - Google Patents

Imaging display control device and method, and car navigation system and camera system using imaging display control device Download PDF

Info

Publication number
JP2010136295A
JP2010136295A JP2008312604A JP2008312604A JP2010136295A JP 2010136295 A JP2010136295 A JP 2010136295A JP 2008312604 A JP2008312604 A JP 2008312604A JP 2008312604 A JP2008312604 A JP 2008312604A JP 2010136295 A JP2010136295 A JP 2010136295A
Authority
JP
Japan
Prior art keywords
camera
imaging
display control
unit
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008312604A
Other languages
Japanese (ja)
Inventor
Takeyuki Tominaga
武之 冨永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Xanavi Informatics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xanavi Informatics Corp filed Critical Xanavi Informatics Corp
Priority to JP2008312604A priority Critical patent/JP2010136295A/en
Publication of JP2010136295A publication Critical patent/JP2010136295A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging display control device and an imaging display control method, by which operator support is complemented and safety is enhanced by previously setting up a camera to be utilized at the time of an occurrence of a deficiency of the camera and by selecting the camera alternatively, and also to provide a car navigation system and a camera system using the imaging display control device. <P>SOLUTION: The imaging display control device is provided with: a camera 101; a display device 108 which displays a pickup image, a camera operation part 109 which gives an order to select a camera making output to the display device 108; and a camera selecting part 107 which switches the pickup image output to the display device 108 according to an order of the camera operation part 109. The device is also provided with: a camera state detection part 104 detecting whether an imagination by the camera 101 can pick up an image; a camera selecting list 105 which shows a precedence of the camera making output to the display device 108; and a camera selecting processing part 110 which selects the camera according to the precedence of the camera selecting list 105 when the camera state detection part 104 determines that imagination is impossible. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、特に車両における運転者支援のためのカメラ表示制御に関する。   The present invention particularly relates to camera display control for driver assistance in a vehicle.

近年の車両において運転者の死角となっている側後方や後方をカメラで撮影しモニタに表示するシステムが普及し始めている。この車両周辺を撮像する技術を利用し車内装置によって生じる死角を解消することも提案されている(例えば特許文献1参照)。
さらに、カメラレンズの汚れなどにより運転者が死角部分を十分認識できない場合が考えられるが、それに対してはレンズ汚れをカメラ画像を構成するピクセルの輝度情報の変化から検出し、運転者に対してメッセージを出力することでレンズ汚れを通知する方法が提案されている(例えば特許文献2参照)。
特開平11−291817公報 特開2007−189369公報
In recent vehicles, a system for photographing a rear side and a rear side that are a blind spot of a driver with a camera and displaying the same on a monitor has started to spread. It has also been proposed to eliminate blind spots caused by in-vehicle devices using this technology for imaging the periphery of a vehicle (see, for example, Patent Document 1).
Furthermore, the driver may not be able to fully recognize the blind spot part due to dirt on the camera lens, etc., but the lens dirt is detected from changes in the luminance information of the pixels that make up the camera image. A method for notifying lens contamination by outputting a message has been proposed (see, for example, Patent Document 2).
JP 11-291817 A JP 2007-189369 A

しかしながら、従来の技術では、前述のようなカメラの故障や、レンズの汚れ等の不具合が発生した場合、運転者もしくは第3者から清掃や修理などの処理が行われるまで運転者に対する視覚補助や接近車認識等のカメラの画像認識を用いた高度な運転支援が滞る恐れがある。   However, in the conventional technology, when a camera failure or a lens contamination such as that described above occurs, the driver or a third party can provide visual assistance to the driver until the driver or a third party performs a cleaning or repair process. There is a risk that advanced driving assistance using image recognition of a camera such as approaching vehicle recognition may be delayed.

本発明の目的は、上記課題を解決することであり、カメラの不具合発生時に利用するカメラを予め設定し、代替利用するカメラを選択することで、運転者支援を補足し、安全性を向上させる撮像表示制御装置と方法及びこれを用いたカーナビゲーションシステムとカメラシステムを提供することである。   An object of the present invention is to solve the above-mentioned problem, and by preliminarily setting a camera to be used when a camera malfunction occurs and selecting an alternative camera to be used, driver assistance is supplemented and safety is improved. An imaging display control apparatus and method, and a car navigation system and a camera system using the same are provided.

上記課題を解決するために、本発明では、前記カメラが撮像可能か否かを検出するカメラ状態検出部と、前記表示装置への表示で選択される初期選択カメラと、該初期選択カメラの代替カメラの選択順序を示したカメラ選択リストと、前記初期選択カメラの撮像可不可を前記カメラ状態検出部より判断し、撮像不可の場合に前記カメラ選択リストの順序に従って代替カメラを選択するカメラ選択処理部を設けたことを特徴とする。   In order to solve the above-described problems, in the present invention, a camera state detection unit that detects whether or not the camera can capture an image, an initial selection camera that is selected by display on the display device, and an alternative to the initial selection camera A camera selection list indicating a camera selection order, and a camera selection process for determining whether or not imaging of the initial selection camera is possible is performed by the camera state detection unit, and selecting an alternative camera according to the order of the camera selection list when imaging is impossible A feature is provided.

すなわち、本発明は、少なくとも2つのカメラと、前記カメラにて撮像した映像を表示する表示装置と、前記表示装置へ出力するカメラを選択する指示を受け付けるカメラ操作部と、前記カメラ操作部の指示に応じて前記表示装置へ出力する撮像映像を切り替えるカメラ選択部と、を設けた撮像表示制御装置において、前記カメラが撮像可能か不可かを検出するカメラ状態検出部と、前記表示装置へ出力するカメラの優先順位を示したカメラ選択リストと、前記カメラ状態検出部が撮像不可と判断した場合に前記カメラ選択リストの優先順位に従ってカメラを選択するカメラ選択処理部と、前記カメラ選択処理部で選択されたカメラを前記表示装置へ出力するよう前記カメラ操作部へ指示する表示制御部と、を設けたことを特徴とする撮像表示制御装置である。   That is, the present invention includes at least two cameras, a display device that displays an image captured by the camera, a camera operation unit that receives an instruction to select a camera to be output to the display device, and an instruction from the camera operation unit And a camera selection unit that switches a captured image to be output to the display device in response to a camera state detection unit that detects whether the camera is capable of capturing an image, and outputs to the display device A camera selection list indicating camera priority, a camera selection processing unit that selects a camera according to the priority of the camera selection list when the camera state detection unit determines that imaging is not possible, and a selection by the camera selection processing unit And a display control unit for instructing the camera operation unit to output the camera to the display device. A control device.

また、本発明は、前記撮像表示制御装置におけるカメラ選択処理部に、カメラ撮像不可時に車両ディーラ探索指示を出力するディーラ探索指示部を設け、車両ディーラ位置を含む地図データと、少なくとも経路情報を前記表示装置に出力する経路情報出力部とを有するカーナビゲーションシステムに、前記ディーラ探索指示部からの通知を受け、現在地から所定の車両ディーラまでの経路を前記経路情報出力部により、前記表示部に出力されることを特徴とするカーナビゲーションシステムである。   In the present invention, the camera selection processing unit in the imaging display control device includes a dealer search instruction unit that outputs a vehicle dealer search instruction when camera imaging is not possible, and includes map data including a vehicle dealer position, and at least route information. A car navigation system having a route information output unit that outputs to a display device receives a notification from the dealer search instruction unit, and outputs a route from the current location to a predetermined vehicle dealer to the display unit by the route information output unit It is the car navigation system characterized by being made.

そして、本発明は、少なくとも2つのカメラと、前記カメラにて撮像した映像を表示する表示装置と、前記撮像表示制御装置からなることを特徴とするカメラシステムである。   The present invention is a camera system including at least two cameras, a display device that displays an image captured by the camera, and the imaging display control device.

更に、本発明は、少なくとも2つのカメラ及び前記カメラにて撮像した映像を表示する表示装置を接続し、前記表示装置へ出力する映像を撮像するカメラを選択するよう指示するカメラ操作ステップと、前記カメラ操作部の指示に応じて前記表示装置へ出力する撮像映像を切り替えるカメラ選択ステップと、を含む撮像表示制御方法において、前記カメラが撮像可能か不可かを検出するカメラ状態検出ステップと、前記表示装置への表示で選択される初期選択カメラ及び該初期選択カメラの代替カメラの選択順序を示したカメラ選択リストを使用し、前記カメラ状態検出ステップで初期選択カメラの撮像不可と判断した場合に前記カメラ選択リストの選択順序に従って代替カメラを選択するカメラ選択処理ステップと、前記カメラ選択処理ステップで選択されたカメラを前記表示装置へ出力するよう前記カメラ操作ステップで行うよう指示する表示制御ステップとを含むことを特徴とする撮像表示制御方法である。   Furthermore, the present invention connects at least two cameras and a display device that displays an image captured by the camera, and a camera operation step that instructs to select a camera that captures an image to be output to the display device; A camera selection step that switches a captured image to be output to the display device in accordance with an instruction from a camera operation unit, a camera state detection step that detects whether the camera is capable of imaging, and the display When using the camera selection list indicating the selection order of the initial selection camera selected in the display on the apparatus and the alternative camera of the initial selection camera, and determining that the initial selection camera cannot be imaged in the camera state detection step, A camera selection processing step of selecting an alternative camera according to the selection order of the camera selection list; and the camera selection processing step An image pickup display control method characterized by the camera selected in-up and a display control step of instructing to perform in the camera operation step so as to be output to the display device.

本発明によれば、運転支援カメラが故障やレンズの汚れなどの不具合により十分に視認できない場合において、代替カメラを選択し、代替カメラが撮像した映像を同じ表示装置に表示することで、運転者の視認を補助し、安全性を高めることが可能となる。   According to the present invention, when the driving support camera is not sufficiently visible due to a malfunction such as a failure or a lens dirt, the alternative camera is selected, and the video captured by the alternative camera is displayed on the same display device. It becomes possible to assist visual recognition and to improve safety.

以下、本発明の実施の形態について、図面を用いて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1〜図4は本発明の実施例1の説明図である。
本実施例は、後方カメラの撮像画像に不備があり利用できなかったために他のカメラの映像を表示する場合の例である。
図1は本実施例のカメラシステムの構成の説明図である。
101は後方カメラ、102は左方カメラ、103は右方カメラであり、後方カメラ101及び左方カメラ102及び右方カメラ103としては、CMOS(Complementary Metal-Oxide Semiconductor)やCCD(Charge Coupled Device)等の撮像素子を持つカメラである。赤外線暗視機能を持つカメラであってもよい。
104はカメラ状態検出部であり、例えば特許文献2に記載の「カメラのレンズ汚れ検出装置」に示される公知技術を用いて、後方カメラ101、左方カメラ102、右方カメラ103いずれのカメラに不具合が発生しているかを検出する。
105はカメラの不具合発生時に次候補を選択するためのカメラ選択リストであり、本実施例の特徴となる構成要素の一つである。詳細は後述する。
106はシステム制御部であり、CPU等の演算装置やメモリなどの記憶装置からなる構成要素である。システム制御部106は、図示のようにカメラ状態検出部104、カメラ選択部107、カメラ操作部109、カメラ選択リスト105、メッセージ保持部111と接続し、カメラシステム全体の制御を行う。システム制御部106に示したカメラ選択処理部110は本実施例の特徴となるカメラ選択制御処理を行うプログラムであり特徴は後述する。
107はシステム制御部106からの指示に従って表示装置108へ映像出力するカメラを選択するカメラ選択部である。
108はカメラ映像の表示装置であり、例えば液晶やプラズマディスプレイ、有機EL(Electro Luminescence)などのパネル、電源停止後も映像が残る電子ペーパー、投射方式、オーバーヘッドディスプレイ、ヘッドマウントディスプレイである。
カメラ操作部109としては運転者や搭乗者からの入力を受け付けるボタンやタッチパネルや音声認識による入力、シフトレバーを後進(R)に切り替え等の車両の操作や、車両状態に伴って生じる入力、等を受付可能な操作装置であり、これら操作に応じて各カメラの映像を出力する。
111はメッセージ保持部であり、カメラの状態または異常発生をユーザに通知するメッセージを保持する。メッセージ保持部111としてはHDDやメモリ、メモリカードなどで構成され、カーメーカやディーラにより設定されたメッセージを保持する。
1-4 is explanatory drawing of Example 1 of this invention.
The present embodiment is an example in the case of displaying an image of another camera because a captured image of the rear camera is incomplete and cannot be used.
FIG. 1 is an explanatory diagram of the configuration of the camera system of this embodiment.
101 is a rear camera, 102 is a left camera, and 103 is a right camera. As the rear camera 101, the left camera 102, and the right camera 103, a CMOS (Complementary Metal-Oxide Semiconductor) or a CCD (Charge Coupled Device) is used. It is a camera having an image sensor such as. It may be a camera having an infrared night vision function.
Reference numeral 104 denotes a camera state detection unit. For example, any of the rear camera 101, the left camera 102, and the right camera 103 can be used by using a known technique disclosed in “Camera Lens Dirt Detection Device” described in Patent Document 2. Detect if a problem has occurred.
Reference numeral 105 denotes a camera selection list for selecting a next candidate when a camera malfunction occurs, and is one of the constituent elements that characterize the present embodiment. Details will be described later.
Reference numeral 106 denotes a system control unit, which is a constituent element including an arithmetic device such as a CPU and a storage device such as a memory. The system control unit 106 is connected to the camera state detection unit 104, the camera selection unit 107, the camera operation unit 109, the camera selection list 105, and the message holding unit 111 as shown in the figure, and controls the entire camera system. The camera selection processing unit 110 shown in the system control unit 106 is a program for performing camera selection control processing, which is a feature of this embodiment, and the features will be described later.
Reference numeral 107 denotes a camera selection unit that selects a camera that outputs an image to the display device 108 in accordance with an instruction from the system control unit 106.
Reference numeral 108 denotes a camera image display device, such as a panel such as a liquid crystal display, a plasma display, or an organic EL (Electro Luminescence), an electronic paper in which an image remains even after the power supply is stopped, a projection method, an overhead display, and a head mounted display.
As the camera operation unit 109, a button for receiving an input from a driver or a passenger, an input by a touch panel or voice recognition, an operation of a vehicle such as switching a shift lever to reverse (R), an input generated in accordance with a vehicle state, etc. And outputs video images of the cameras in response to these operations.
A message holding unit 111 holds a message for notifying the user of the camera state or abnormality. The message holding unit 111 includes an HDD, a memory, a memory card, and the like, and holds a message set by a car manufacturer or a dealer.

図2は車両と車両に搭載されたカメラの位置関係を示す図である。
図2において、201は車両である。なお、図1と同一の装置については同符号を記す。
車両201では後進時に運転者への視覚支援として後方カメラ101や、左方カメラ102や、右方カメラ103を図示のように備えている。
各カメラで撮像できる範囲(境界)をカメラ採光部より直線で図示しており、それぞれ一部が重複している。特に左右の側方カメラ102、103では撮像範囲を広げることにより撮像範囲に車両後方を含めることが可能であるため、本実施例では例えば後方カメラ101で視認が困難となった場合、左右の側方カメラ102、103を代替手段として用いることで運転者への視覚支援を可能とする。
FIG. 2 is a diagram showing the positional relationship between the vehicle and the camera mounted on the vehicle.
In FIG. 2, 201 is a vehicle. The same reference numerals are used for the same devices as those in FIG.
The vehicle 201 includes a rear camera 101, a left camera 102, and a right camera 103 as shown in the figure as visual assistance to the driver when going backward.
A range (boundary) that can be captured by each camera is illustrated by a straight line from the camera lighting unit, and a part thereof overlaps. In particular, since the left and right side cameras 102 and 103 can include the rear of the vehicle in the imaging range by widening the imaging range, in this embodiment, for example, when it is difficult to view with the rear camera 101, By using the two-way cameras 102 and 103 as alternative means, it is possible to provide visual assistance to the driver.

図3は上記図1におけるカメラ選択リスト105の一例を示しており、行方向に初期選択カメラ、列方向に代替カメラを示している。表中の数値1〜2は選択候補の順位を示しており、選択されたカメラの状態に応じ優先度フラグが設定され、優先度フラグに対応したカメラが選択されるようになっている。例えば初期選択カメラとして後方カメラ101を選択した時に、不具合が生じていた場合は初期選択カメラが不具合であると判断されたときに優先度フラグが1に設定され、選択候補で1に設定された左方カメラ102が選択される。さらに左方カメラ102に不具合が生じていた場合は代替カメラが不具合であると判断されたときに優先度フラグがカウントアップされて2となり、選択候補で2に設定した右方カメラ103が選択される。なおリストのデータはテキストやバイナリー、XML(Extensible Markup Language)などの形式で記述しても良い。   FIG. 3 shows an example of the camera selection list 105 in FIG. 1, showing an initial selection camera in the row direction and an alternative camera in the column direction. Numerical values 1 to 2 in the table indicate the order of selection candidates. A priority flag is set according to the state of the selected camera, and a camera corresponding to the priority flag is selected. For example, when the rear camera 101 is selected as the initial selection camera, if there is a malfunction, the priority flag is set to 1 when the initial selection camera is determined to be malfunctioning, and the selection candidate is set to 1. The left camera 102 is selected. Further, if the left camera 102 is defective, the priority flag is incremented to 2 when it is determined that the alternative camera is defective, and the right camera 103 set to 2 as a selection candidate is selected. The The list data may be described in a format such as text, binary, XML (Extensible Markup Language).

図4は本実施例のカメラ選択処理110の処理手順を示すフローチャートであり、ここでは、後方カメラが不具合の時に他のカメラを選択する場合の処理の一例を説明する。
S400はカメラ操作部109のカメラ選択操作有無をチェックする処理であり、本処理ではカメラ操作部109の状態を一定時間毎にチェックする。
S401は、S400の結果に基づき、操作有りのとき、選択されたカメラの状態をカメラ状態検出部104より取得する処理である。また優先度フラグを0に設定する。
S402は、S401で取得したカメラ状態検出部104の検出結果を受け、初期選択カメラの不具合有無によりカメラが正常であるかをチェックする処理を実施する。カメラが異常である場合優先フラグを1に設定する。
S403は、カメラ選択部切り替え制御処理であり、S402でカメラ正常の場合、該当するカメラを選択するようカメラ選択部107の切り替え制御を行う。
S404は、前記選択されたカメラの映像を、表示装置108に出力して表示する処理である。
S405は、S402で初期選択カメラが不具合であると判断された場合、優先度フラグを1に設定する。
S406は、代替カメラ選択処理であり、カメラ選択リスト105にてカメラの選択候補を参照し、優先度フラグと対応したカメラを選択する。例えば優先度フラグが1なら、選択候補が1となっているカメラを選択する。
S407は、S406の結果に基づき、選択された代替カメラの状態をカメラ状態検出部104から取得する。
S408は、S407で取得したカメラ状態検出部104の検出結果を受け、不具合有無をチェックする処理を実施する。前記検出された結果が正常である場合、S403及びS404の処理を行う。
S409は、優先度フラグをカウントアップさせる。
S410は、S408で不具合が有る場合に次の代替カメラの有無をチェックする処理である。S410ではカメラ選択リスト105にて次代替カメラの選択候補を参照し、優先度フラグと合致するカメラがあるかどうかチェックする。優先度フラグと合致するカメラが有る場合は、再度S406からの処理を繰り返す。優先度フラグと合致するカメラが無い場合は次のS411の処理に進む。
S411は、S410にて優先度フラグと合致するカメラが無い場合、運転者にメッセージを出力する処理であり、システム制御部106は、メッセージ保持部111より読み出したカメラの不具合発生メッセージを表示部108へ表示し、運転者にカメラに不具合が発生していることを通知する。
上記のようにS400からS411に記載のステップの処理がカメラ選択処理部110にて行われる。
例えば後方カメラ101が不具合の時に他のカメラを選択する場合の処理は、以下のようになる。
カメラ操作部109より後方カメラ101の表示が選択され(S400)、システム制御部106はカメラ状態検出部104にて後方カメラ101の状態を検出した結果を取得し(S401)、取得した結果より後方カメラ101に不具合が有ることが判明し(S402)、優先度フラグが1となり(S405)、カメラ選択リスト105より後方カメラ101の代替カメラとして優先度フラグが1を示す左方カメラ102を選択する(S406)。
さらにカメラ状態検出部104にて左方カメラ102の状態を検出した結果を取得し(S407)、取得した結果、左方カメラ102が正常であることが判明し(S408)、カメラ選択部107にて左方カメラ102を選択し(S403)、選択された左方カメラ102の撮像映像を表示装置108に出力する(S404)。
実施例1では、後方カメラ101、左方カメラ102、及び右方カメラ103はカメラ状態検出部104及びカメラ選択部107との接続にアナログ線だけでなくデジタル信号線や車内LANにより接続しても良い。この場合、接続形態(トポロジー)は図1のようなスター型だけでなく、リング型やバス型やデイジーチェーン型で接続しても良い。デイジーチェーン型の接続の場合、映像は1本のケーブル内に複数の映像を多重化して伝送され、カメラ選択部107において映像の選択は映像チャンネルを選択することで実施される。
また実施例1では、選択されたカメラに不具合があり、さらに代替カメラにも不具合があり表示可能な撮像映像が無い場合に運転者へのメッセージを出力したが、選択されたカメラに不具合が有ることを検出した時点で、運転者にメッセージを用いて通知しても良い。
そして、実施例1では、運転者へのメッセージ出力として表示装置を用いたが、音声を用いて通知しても良い。
更に、実施例1では、カメラ毎に「後方」「左方」「右方」などの設置方向等に関する情報であるカメラ種別情報を保持したカメラを用い、さらにカメラ状態検出部104にて接続されたカメラ有無と、カメラ種別情報を検出することにより、カメラ選択処理部110はカメラ選択リスト105に記載された代替カメラリストに該当するカメラが存在しない場合は、次代替カメラを選択する制御を行なうこともできる。
以上説明したように実施例1によれば、運転支援カメラの不具合によりカメラ映像が十分に視認できない場合に、ユーザ操作無しに自動的に代替映像を表示することで運転者の視認性を確保し、安全性を高めることが可能となる。また運転者にカメラの不具合を通知することで注意喚起を図り、早期にカメラ交換などの対応が可能となり利便性が向上する。
FIG. 4 is a flowchart showing the processing procedure of the camera selection processing 110 of the present embodiment. Here, an example of processing when another camera is selected when the rear camera is defective will be described.
S400 is a process for checking the presence or absence of a camera selection operation of the camera operation unit 109. In this process, the state of the camera operation unit 109 is checked at regular intervals.
S401 is processing for acquiring the state of the selected camera from the camera state detection unit 104 when there is an operation based on the result of S400. The priority flag is set to 0.
In step S402, the detection result of the camera state detection unit 104 acquired in step S401 is received, and processing for checking whether the camera is normal based on the presence or absence of a defect in the initially selected camera is performed. The priority flag is set to 1 when the camera is abnormal.
S403 is camera selection unit switching control processing. When the camera is normal in S402, switching control of the camera selection unit 107 is performed so as to select a corresponding camera.
S404 is a process of outputting and displaying the video of the selected camera on the display device.
In S405, when it is determined in S402 that the initial selection camera is defective, the priority flag is set to 1.
S406 is an alternative camera selection process, which refers to a camera selection candidate in the camera selection list 105 and selects a camera corresponding to the priority flag. For example, if the priority flag is 1, a camera whose selection candidate is 1 is selected.
In step S407, the state of the selected alternative camera is acquired from the camera state detection unit 104 based on the result of step S406.
In step S408, the detection result of the camera state detection unit 104 acquired in step S407 is received, and processing for checking the presence / absence of a defect is performed. If the detected result is normal, the processes of S403 and S404 are performed.
In step S409, the priority flag is counted up.
S410 is a process for checking the presence or absence of the next alternative camera when there is a problem in S408. In S410, the next alternative camera selection candidate is referred to in the camera selection list 105 to check whether there is a camera that matches the priority flag. If there is a camera that matches the priority flag, the processing from S406 is repeated again. If no camera matches the priority flag, the process proceeds to the next step S411.
S411 is a process of outputting a message to the driver when there is no camera that matches the priority flag in S410, and the system control unit 106 displays the camera failure occurrence message read from the message holding unit 111 on the display unit 108. To notify the driver that the camera is malfunctioning.
As described above, the camera selection processing unit 110 performs the processes in steps S400 to S411.
For example, the processing when another camera is selected when the rear camera 101 is defective is as follows.
The display of the rear camera 101 is selected from the camera operation unit 109 (S400), the system control unit 106 acquires the result of detecting the state of the rear camera 101 by the camera state detection unit 104 (S401), and the rear of the acquired result. The camera 101 is found to be defective (S402), the priority flag is set to 1 (S405), and the left camera 102 having the priority flag of 1 is selected as an alternative camera of the rear camera 101 from the camera selection list 105. (S406).
Further, the camera state detection unit 104 acquires the result of detecting the state of the left camera 102 (S407). As a result of the acquisition, it is found that the left camera 102 is normal (S408), and the camera selection unit 107 The left camera 102 is selected (S403), and the captured image of the selected left camera 102 is output to the display device 108 (S404).
In the first embodiment, the rear camera 101, the left camera 102, and the right camera 103 may be connected to the camera state detection unit 104 and the camera selection unit 107 not only by an analog line but also by a digital signal line or an in-vehicle LAN. good. In this case, the connection form (topology) is not limited to the star type as shown in FIG. 1, but may be a ring type, a bus type, or a daisy chain type. In the case of a daisy chain connection, a video is transmitted by multiplexing a plurality of videos in one cable, and video selection is performed by selecting a video channel in the camera selection unit 107.
In the first embodiment, a message is output to the driver when there is a defect in the selected camera, and there is a defect in the alternative camera and there is no displayable video. However, the selected camera has a defect. When this is detected, the driver may be notified using a message.
In the first embodiment, the display device is used as the message output to the driver. However, the notification may be made using voice.
Further, in the first embodiment, a camera that holds camera type information that is information regarding the installation direction such as “rear”, “left”, and “right” is used for each camera and is further connected by the camera state detection unit 104. By detecting the presence / absence of the camera and the camera type information, the camera selection processing unit 110 performs control to select the next alternative camera when there is no corresponding camera in the alternative camera list described in the camera selection list 105. You can also.
As described above, according to the first embodiment, when the camera image cannot be sufficiently viewed due to a malfunction of the driving support camera, the driver's visibility is ensured by automatically displaying the substitute image without any user operation. It becomes possible to increase safety. In addition, the driver can be alerted by notifying the driver of camera malfunctions, and the camera can be replaced at an early stage, improving convenience.

図5及び図6は本発明の実施例2の説明図である。
実施例2は選択されたカメラの不具合を検知し、カメラに不具合が有る場合は代替カメラを選択表示し、さらに車両の最寄のディーラまでの経路を運転者に通知する場合の例である。
5 and 6 are explanatory diagrams of Embodiment 2 of the present invention.
The second embodiment is an example in which a failure of the selected camera is detected, and when the camera is defective, an alternative camera is selected and displayed, and the route to the nearest dealer of the vehicle is notified to the driver.

図5は本実施例であるカメラシステム及びナビゲーション部の構成の説明図である。
501は経路検索を行うナビゲーション部であり、502は自車位置を特定するGPSであり、GPS502としてはGPS(Global Positioning System)アンテナ及び、受信データから自車位置を算出する装置を有する。
503は道路情報を有する地図データであり、504は地図データに含まれるディーラ情報であり、位置情報及びカメラ不具合の修理可不可の情報を有する。
505は地図及び探索した経路を表示する表示部であり、表示部505としては表示装置108と同様である。
506はナビゲーション部全体の制御を行うナビゲーション制御部であり、CPU等の演算装置やメモリなどの記憶装置からなる構成要素である。ナビゲーション制御部506は、図示されるようにGPS502、地図データ503、表示部505と接続し、ナビゲーション全体の制御を行う。
507はカメラシステムからのディーラ探索指示を受けてディーラまでの経路を運転者に通知するディーラ通知処理部である。
508は出発地から目的地までの経路を探索する経路探索制御部である。
なお、図1と同一の構成要素については同符号を記す。
FIG. 5 is an explanatory diagram of the configuration of the camera system and the navigation unit according to the present embodiment.
Reference numeral 501 denotes a navigation unit that performs route search. Reference numeral 502 denotes a GPS that identifies the vehicle position. The GPS 502 includes a GPS (Global Positioning System) antenna and a device that calculates the vehicle position from received data.
Reference numeral 503 denotes map data having road information, and reference numeral 504 denotes dealer information included in the map data, which includes position information and information indicating that camera malfunctions cannot be repaired.
A display unit 505 displays a map and a searched route. The display unit 505 is similar to the display device 108.
Reference numeral 506 denotes a navigation control unit that controls the entire navigation unit, and is a component that includes an arithmetic device such as a CPU and a storage device such as a memory. The navigation control unit 506 is connected to the GPS 502, the map data 503, and the display unit 505 as shown in the figure, and controls the entire navigation.
A dealer notification processing unit 507 receives a dealer search instruction from the camera system and notifies the driver of the route to the dealer.
A route search control unit 508 searches for a route from the departure point to the destination.
In addition, the same code | symbol is described about the component same as FIG.

図6は図5の前記カメラシステムにおいてカメラの利用可不可を判断し、選択した代替カメラを使用する場合に、運転者にカメラ不具合を修理するディーラへの経路を通知するカメラ選択処理部110とディーラ通知処理部507の動作シーケンス図である。なお、図4と同一の動作ステップについては同符号を記す。
S400からS410までは実施例1の図4の説明で記載のステップの処理と同一である。
S600はS410にて優先度フラグと合致するカメラが無い場合、カメラに不具合が有ることをナビゲーション部501に通知して、ディーラ探索を指示する。
S601は、カメラ選択処理部110からのディーラ探索指示の有無をチェックする処理であり、本処理ではディーラ通知処理部の状態を一定時間毎にチェックし対応する処理を行う。
S602は、S410にて優先度フラグと合致するカメラがカメラ選択リスト109にて存在しない場合、ナビゲーション部501にて自車位置に最寄のディーラを検索し、該ディーラを目的地とした経路探索を行う。ここで最寄のディーラの検索及び、該ディーラまでの経路探索を上記構成要素を用いて以下に説明する。なお、最寄のディーラの情報として、カーナビゲーションシステムが車に取り付ける際に、自車を取り扱うディーラのみが設定されている。
ナビゲーション部501が前記カメラシステムを制御するシステム制御部106から、カメラ不具合の通知を受け、ディーラ経路探索の指示をディーラ通知処理部507にて取得し、ナビゲーション制御部506はGPS502より自車位置情報を取得し、ディーラ情報504から最寄のディーラを検索する。検索した結果、最寄ディーラの位置情報を取得し、地図データ503を用いて、経路探索制御部508にて出発地点として自車位置を、目的地として最寄ディーラ位置を設定した経路探索を行う。
S603はS602の最寄ディーラまでの経路探索結果を表示部505に出力して表示する。
上記した実施例では、カメラ映像と経路探索結果を運転者へ表示したが、実施例1に記載のようなメッセージ出力を併用しても良い。また、運転者へのメッセージ出力方法としては表示装置だけでなく音声を用いた通知でも良い。
上記した実施例では、選択されたカメラに不具合があり、さらに代替カメラにも不具合があり表示可能な撮像映像が無い場合に最寄ディーラまでの経路探索を行ったが、選択されたカメラに不具合が有ることを検出した時点で、最寄ディーラまでの経路探索を行い運転者に通知しても良い。
上記した実施例では、表示装置108と表示部505は別の構成要素として扱ったが、単一の表示画面を2分割してカメラ映像と探索経路映像を同時に表示する方法や、一方の映像を他方の画面中に小画面として表示する方法を用いることで、表示装置108もしくは表示部505のどちらか一方に両情報を表示しても良い。
以上説明したように上記実施例によれば、予め代替カメラ候補を指定することで運転支援カメラに不具合が生じた場合に、ユーザ操作無しに自動的に代替映像を表示し、運転支援を継続し、安全性を高めることに加え、不具合が生じたカメラの修理依頼の受け付けが可能な自車を取り扱うディーラまでの経路を通知することでユーザの利便性を向上することが可能となる。
FIG. 6 illustrates a camera selection processing unit 110 that determines whether or not a camera can be used in the camera system of FIG. 5 and notifies the driver of a route to a dealer who repairs the camera malfunction when the selected alternative camera is used. It is an operation | movement sequence diagram of the dealer notification process part 507. The same operation steps as those in FIG. 4 are denoted by the same reference numerals.
Steps S400 to S410 are the same as the steps in the description of FIG.
If there is no camera that matches the priority flag in S410, S600 notifies the navigation unit 501 that there is a problem with the camera, and instructs dealer search.
S601 is a process for checking the presence or absence of a dealer search instruction from the camera selection processing unit 110. In this process, the state of the dealer notification processing unit is checked at regular intervals and a corresponding process is performed.
In S602, if there is no camera in the camera selection list 109 that matches the priority flag in S410, the navigation unit 501 searches for the nearest dealer to the vehicle position, and searches for a route using the dealer as the destination. I do. Here, the search for the nearest dealer and the route search to the dealer will be described below using the above components. As information on the nearest dealer, only the dealer that handles the vehicle when the car navigation system is attached to the car is set.
The navigation unit 501 receives a camera malfunction notification from the system control unit 106 that controls the camera system, acquires a dealer route search instruction in the dealer notification processing unit 507, and the navigation control unit 506 receives the vehicle position information from the GPS 502. And the nearest dealer is searched from the dealer information 504. As a result of the search, the location information of the nearest dealer is acquired, and the route search control unit 508 uses the map data 503 to perform a route search in which the vehicle position is set as the departure point and the nearest dealer location is set as the destination. .
In step S603, the route search result up to the nearest dealer in step S602 is output to the display unit 505 and displayed.
In the above-described embodiment, the camera image and the route search result are displayed to the driver. However, a message output as described in the first embodiment may be used in combination. Further, as a method for outputting a message to the driver, not only a display device but also notification using voice may be used.
In the above-described embodiment, the route search to the nearest dealer is performed when there is a defect in the selected camera and there is also a defect in the alternative camera and there is no displayable video. However, the selected camera is defective. When it is detected that there is, there may be a route search to the nearest dealer to notify the driver.
In the above-described embodiment, the display device 108 and the display unit 505 are treated as separate components. However, a method of displaying a camera image and a search route image simultaneously by dividing a single display screen into two parts, Both information may be displayed on either the display device 108 or the display unit 505 by using a method of displaying as a small screen in the other screen.
As described above, according to the above-described embodiment, when a malfunction occurs in the driving support camera by specifying the alternative camera candidate in advance, the alternative video is automatically displayed without any user operation, and the driving support is continued. In addition to improving safety, it is possible to improve the convenience for the user by notifying the route to the dealer who handles the vehicle that can accept the repair request of the camera in which the problem has occurred.

図7及び図8は本発明の実施例3の説明図である。
実施例3は選択されたカメラの不具合を検知し、カメラに不具合が有る場合は代替カメラを選択表示し、さらに通信によりカメラ不具合を車両管理者に通知する場合の例である。
図7は本実施例であるカメラシステムの構成の説明図である。
701は、通信にて車両情報を通知する無線通信装置であり、PHS(Personal Handy-phone System)、PDC(Personal Digital Cellular)、GSM(Global System for Mobile Communications)、CDMA(Code Division Multiple Access)、W-CDMA(Wideband Code Division Multiple Access)、CDMA-2000、DSRC(Dedicated Short Range Communication)、WiMax(Worldwide Interoperability for Microwave Access)等の通信方式を少なくとも一つを有する。
702は前記通信装置701と通信によって接続される基地局であり、703は通信ネットワークであり、704は車両の管理者が車両データを蓄積する車両管理サーバであり、車両管理サーバ704は車両を販売したディーラや車両所有者が管理するサーバで、各車両からの不具合発生情報、例えば不具合箇所、発生日時、発生時の天気の情報など、を蓄積し、CRM(Customer Relationship Management)や、車両メンテナンス管理等に使用する。
なお、図1と同一の構成要素については同符号を記す。
7 and 8 are explanatory views of Embodiment 3 of the present invention.
The third embodiment is an example in which a failure of the selected camera is detected, and if there is a failure in the camera, an alternative camera is selected and displayed, and further, a camera failure is notified to the vehicle manager by communication.
FIG. 7 is an explanatory diagram of the configuration of the camera system according to the present embodiment.
701 is a wireless communication apparatus that notifies vehicle information by communication, such as PHS (Personal Handy-phone System), PDC (Personal Digital Cellular), GSM (Global System for Mobile Communications), CDMA (Code Division Multiple Access), It has at least one communication system such as W-CDMA (Wideband Code Division Multiple Access), CDMA-2000, DSRC (Dedicated Short Range Communication), WiMax (Worldwide Interoperability for Microwave Access).
702 is a base station connected to the communication device 701 by communication, 703 is a communication network, 704 is a vehicle management server in which a vehicle manager stores vehicle data, and the vehicle management server 704 sells vehicles. A server managed by the dealer or vehicle owner that accumulates information on the occurrence of defects from each vehicle, such as information on the location of the defect, date and time of occurrence, weather information at the time of occurrence, etc., and CRM (Customer Relationship Management) and vehicle maintenance management Used for etc.
In addition, the same code | symbol is described about the component same as FIG.

図8は図7の前記カメラシステムにおいてカメラの利用可不可を判断し、選択した代替カメラを使用する場合に、ディーラにカメラ不具合を通知する場合の動作シーケンス図である。なお、図4と同一の動作ステップについては同番号を記す。
S400からS410までは実施例1の図4の説明で記載されるステップの処理と同一である。
S800はS410にて代替カメラの候補がカメラ選択リスト109にて存在しない場合、通信装置701にて車両管理サーバ704にカメラに不具合が生じた事を通知する。ここで車両管理サーバまでの通知方法を上記構成要素を用いて以下に説明する。
通信装置701は、システム制御部106よりカメラ不具合の通知を受け、基地局702に対して発信を開始し、通信接続後は通信ネットワーク703を経由して車両管理サーバ704に対してカメラ不具合の情報を登録する。
登録された情報より車両管理サーバ704を運用するディーラでは運転手に対してメンテナンスの案内通知などを行う。
上記した実施例では、カメラ映像と通信によるカメラの不具合通知に関する説明を行ったが、実施例1に記載のようなメッセージ出力を併用し、ディーラへ通信によりカメラ不具合を通知したこと運転手に知らせても良い。また、運転者へのメッセージを出力としては表示装置だけでなく音声を用いた通知でも良い。
上記した実施例では、選択されたカメラに不具合があり、さらに代替カメラにも不具合があり表示可能な撮像映像が無い場合に不具合情報を通信装置から車両管理サーバに通知したが、選択されたカメラに不具合が有ることを検出した時点で、不具合情報を車両管理サーバに通知しても良い。
上記した実施例の通信装置701は、予め車両に搭載された通信装置、または運転者や搭乗者が車内に持ち込んだ携帯型の通信装置でも良い。携帯型の通信装置を用いる場合、システム制御部106と通信装置との通信にはシリアル線やUSB等の有線通信や、赤外線、Bluetooth(登録商標)、Wi−Fi、UWB(Ultra Wide Band)等の無線通信を用いても良い。
以上説明したように上記実施例によれば、予め代替カメラ候補を指定することで運転支援カメラに不具合が生じた場合に、ユーザ操作無しに自動的に代替映像を表示し、運転支援を継続し、安全性を高めることに加え、車両のカメラに不具合が生じた事をディーラなどの車両管理サーバまで通知することで、ユーザの利便性を向上することが可能となる。
FIG. 8 is an operation sequence diagram in the case where the camera system in FIG. 7 determines whether or not a camera is available and uses a selected alternative camera to notify a dealer of a camera malfunction. In addition, the same number is described about the operation step same as FIG.
Steps S400 to S410 are the same as the steps described in the description of FIG.
In S <b> 800, if there is no alternative camera candidate in the camera selection list 109 in S <b> 410, the communication device 701 notifies the vehicle management server 704 that a problem has occurred in the camera. Here, the notification method to the vehicle management server will be described below using the above-described components.
The communication device 701 receives a camera failure notification from the system control unit 106, starts transmission to the base station 702, and communicates camera failure information to the vehicle management server 704 via the communication network 703 after communication connection. Register.
From the registered information, the dealer operating the vehicle management server 704 notifies the driver of maintenance guidance.
In the above-described embodiment, the camera malfunction notification by the camera image and communication has been described. However, the message output as described in the first embodiment is used together, and the driver is notified of the camera malfunction by the communication. May be. Further, the message to the driver may be output using not only a display device but also voice.
In the above-described embodiment, when the selected camera is defective and the alternative camera is also defective and there is no captured video that can be displayed, the failure information is notified from the communication device to the vehicle management server. The failure information may be notified to the vehicle management server when it is detected that there is a failure.
The communication device 701 according to the above-described embodiment may be a communication device previously installed in a vehicle or a portable communication device brought into the vehicle by a driver or a passenger. In the case of using a portable communication device, communication between the system control unit 106 and the communication device includes serial communication, wired communication such as USB, infrared, Bluetooth (registered trademark), Wi-Fi, UWB (Ultra Wide Band), etc. Wireless communication may be used.
As described above, according to the above-described embodiment, when a malfunction occurs in the driving support camera by specifying the alternative camera candidate in advance, the alternative video is automatically displayed without any user operation, and the driving support is continued. In addition to enhancing safety, it is possible to improve convenience for the user by notifying a vehicle management server such as a dealer that a problem has occurred in the camera of the vehicle.

図9及び図10は本発明の実施例4の説明図である。
実施例4はカメラシステム初期起動時に接続されたカメラを検知し、検知されたカメラの撮像範囲情報から代替カメラリストを生成する場合の例である。
図9は本実施例であるカメラシステムの構成の説明図である。
901は、該カメラシステムに接続されたカメラが撮像可能な範囲を予め保持する撮像範囲情報であり、一例を図10に示す。該撮像範囲情報としては車両中央部から水平面上での撮像角度である。なお、図1と同一の構成要素については同符号を記す。
図2の車両と車載カメラの関係図の場合、車両前方を0度とすると、右方向は90度、後方は180度、左方は270度となる。おおよそ後方カメラ101の撮像範囲は100度から260度、左方カメラ102の撮像範囲は170度から290度、右方カメラ103の撮像範囲は80度から200度となる。ここで左方カメラ102に不具合が生じた場合の代替カメラとしては、撮像範囲が170度から260度までの90度が重複する後方カメラ101が初めに選択され、次に170度から200度までの30度が重複する右方カメラ103が選択される。
このように撮像範囲情報から各カメラの撮像範囲を読み出し、重複範囲を比較することで代替カメラのリストを作成する。
なお、前記撮像範囲情報で保持する撮像範囲は、車両に予め定められたカメラ設置位置と方向に加え、使用するカメラに用いられるレンズの画角によって決まる。実際の車両では設置されるカメラ位置及び位置に応じたカメラは定まっており、本実施例のように設置位置に応じたカメラの撮像範囲の情報を予め算出し、ディーラなどで予め設定することが可能である。
9 and 10 are explanatory diagrams of Embodiment 4 of the present invention.
The fourth embodiment is an example in which a camera connected at the initial startup of the camera system is detected, and an alternative camera list is generated from imaging range information of the detected camera.
FIG. 9 is an explanatory diagram of the configuration of the camera system according to the present embodiment.
Reference numeral 901 denotes imaging range information that holds in advance a range that can be captured by a camera connected to the camera system, and an example is shown in FIG. The imaging range information is an imaging angle on a horizontal plane from the center of the vehicle. In addition, the same code | symbol is described about the component same as FIG.
In the relationship diagram between the vehicle and the in-vehicle camera in FIG. 2, if the vehicle front is 0 degree, the right direction is 90 degrees, the rear is 180 degrees, and the left is 270 degrees. The imaging range of the rear camera 101 is approximately 100 to 260 degrees, the imaging range of the left camera 102 is 170 to 290 degrees, and the imaging range of the right camera 103 is 80 to 200 degrees. Here, as a substitute camera in the case where a trouble occurs in the left camera 102, the rear camera 101 having an imaging range of 90 degrees overlapping from 170 degrees to 260 degrees is selected first, and then from 170 degrees to 200 degrees. The right camera 103 that overlaps 30 degrees is selected.
In this way, the imaging range of each camera is read from the imaging range information, and a list of alternative cameras is created by comparing the overlapping ranges.
The imaging range held by the imaging range information is determined by the angle of view of the lens used for the camera to be used, in addition to the camera installation position and direction predetermined for the vehicle. In an actual vehicle, the camera position and the camera corresponding to the position are determined, and information on the imaging range of the camera corresponding to the installation position is calculated in advance as in this embodiment, and can be set in advance by a dealer or the like. Is possible.

図11は図9の前記カメラシステムにおいてカメラの有無およびカメラが保持するカメラ種別情報を元にカメラ選択リスト105を書き換える場合の動作フローチャートである。
S1000はカメラ操作部109のカメラ選択リストの初期化操作有無を一定時間毎にチェックする処理である。
S1001はS1000の結果に基づき、カメラ状態検出部104より接続されたカメラが設置されているかを確認する処理である。なお、本実施例におけるカメラ状態検出部104は、カメラの設置位置を確認する機能を有しており、設置位置の確認は、カメラにあらかじめ保持されている情報、例えば車種、設置位置、方向、画角などの情報、を使用して行う。カメラが設置されていなければ終了となる。
S1002はS1001でカメラ設置の確認結果を受け、カメラのチェックIDを1とする。
S1003はチェックIDと同じIDのカメラ情報を撮像範囲情報から取得する。
S1004はカメラのチェックIDを+1とする。
S1005はチェックIDと同じIDのカメラ情報があるか判断し、あればS1003に戻り、なければS1006に進む。
S1006はカメラ毎のS1003〜S1005の処理を行い、カメラ毎の撮像範囲情報の取得結果に基づき、カメラ毎の代替カメラを計算し、カメラ選択リスト105として保持し、終了となる。なお、計算する際は、撮像範囲の重なりの大きいものの優先順位を高くする、すなわち、死角となる範囲の少ないものの順位を高くすることにより行うことができる。
上記した実施例では撮像範囲の例として水平方向の画角を用いたが、鉛直方向の画角であっても良い。
上記した実施例では撮像範囲の例として水平方向の画角の重複が大きい順で優先順位を決定したが、重複する画角が等しい場合には、選定基準として運転席からの距離を追加しても良い。このような運転支援カメラの場合、運転者から離れるほど死角が大きくなる傾向があり、カメラ映像による支援が必要と考えられる。
上記した実施例では代替カメラの選択のみ行なっているが、代替カメラの撮像範囲情報を用いて撮像映像を部分的に拡大し、元のカメラの撮像範囲に近い映像を表示しても良い。例えば、代替カメラが全方位カメラの場合であれば、元カメラの撮像範囲に該当する部分を切り出し、歪みを修正して表示することで違和感無くユーザの安全性を高めることが可能となる。
以上説明したように上記実施例によれば、予めカメラ設置位置に応じた撮像範囲情報を保持することで、カメラ毎の代替カメラを算出しカメラ選択リストを生成することが可能となり、車両に搭載されたカメラ数が増減する場合においても、カメラ選択リストをユーザが書き換える必要が無くなり、利便性が向上する。
FIG. 11 is an operation flowchart when the camera selection list 105 is rewritten based on the presence / absence of a camera and the camera type information held by the camera in the camera system of FIG.
S1000 is a process of checking whether or not the camera selection list of the camera operation unit 109 is initialized at regular intervals.
S1001 is processing for confirming whether a camera connected by the camera state detection unit 104 is installed based on the result of S1000. Note that the camera state detection unit 104 in this embodiment has a function of confirming the installation position of the camera, and the confirmation of the installation position is information stored in advance in the camera, for example, vehicle type, installation position, direction, Use information such as angle of view. If no camera is installed, the process ends.
In step S1002, a camera installation confirmation result is received in step S1001, and the check ID of the camera is set to 1.
In step S1003, camera information having the same ID as the check ID is acquired from the imaging range information.
In step S1004, the camera check ID is set to +1.
In S1005, it is determined whether there is camera information having the same ID as the check ID. If there is camera information, the process returns to S1003, and if not, the process proceeds to S1006.
In step S1006, the processing of steps S1003 to S1005 is performed for each camera, and an alternative camera for each camera is calculated based on the acquisition result of the imaging range information for each camera, and is stored as the camera selection list 105. It should be noted that the calculation can be performed by increasing the priority of the ones with a large overlap of the imaging ranges, that is, by increasing the priority of ones with a small blind area.
In the above-described embodiments, the horizontal angle of view is used as an example of the imaging range, but a vertical angle of view may be used.
In the above-described embodiment, the priority order is determined in the descending order of the horizontal angle of view as an example of the imaging range, but when the overlapping angle of view is the same, the distance from the driver's seat is added as a selection criterion. Also good. In the case of such a driving assistance camera, the blind spot tends to increase as the distance from the driver increases, and it is considered that assistance using a camera image is necessary.
In the above-described embodiment, only the alternative camera is selected, but the captured image may be partially enlarged using the imaging range information of the alternative camera, and an image close to the imaging range of the original camera may be displayed. For example, if the alternative camera is an omnidirectional camera, it is possible to enhance the user's safety without feeling uncomfortable by cutting out the portion corresponding to the imaging range of the original camera and correcting and displaying the distortion.
As described above, according to the above-described embodiment, it is possible to generate an alternative camera for each camera and generate a camera selection list by preliminarily holding imaging range information corresponding to the camera installation position, which is mounted on the vehicle. Even when the number of cameras is increased or decreased, it is not necessary for the user to rewrite the camera selection list, and convenience is improved.

実施例1のカメラシステムの構成の説明図。1 is an explanatory diagram of a configuration of a camera system according to Embodiment 1. FIG. 実施例1におけるカメラ配置の概念の説明図。FIG. 3 is an explanatory diagram of a concept of camera arrangement in the first embodiment. 実施例1におけるカメラ選択リストのテーブルの説明図。Explanatory drawing of the table of the camera selection list in Example 1. FIG. 実施例1における構成機器の動作説明図。FIG. 6 is an operation explanatory diagram of component devices in the first embodiment. 実施例2のナビゲーションシステムの構成の説明図。Explanatory drawing of a structure of the navigation system of Example 2. FIG. 実施例2における構成機器の動作説明図。FIG. 10 is an operation explanatory diagram of component devices in the second embodiment. 実施例3のカメラシステムの構成の説明図。FIG. 6 is an explanatory diagram of a configuration of a camera system according to a third embodiment. 実施例3における構成機器の動作説明図。FIG. 10 is an operation explanatory diagram of component devices in the third embodiment. 実施例4のカメラシステムの構成の説明図。FIG. 6 is an explanatory diagram of a configuration of a camera system according to a fourth embodiment. 実施例4における撮像範囲情報テーブルの説明図。Explanatory drawing of the imaging range information table in Example 4. FIG. 実施例4における構成機器の動作説明図。FIG. 9 is an operation explanatory diagram of component devices in Embodiment 4.

符号の説明Explanation of symbols

101 後方カメラ
102 左方カメラ
103 右方カメラ
104 カメラ状態検出部
105 カメラ選択リスト
106 システム制御部
107 カメラ選択部
108 表示装置
109 操作部
110 カメラ選択処理部
111 メッセージ保持部
201 車両
501 ナビゲーション部
502 GPS
503 地図データ
504 ディーラ情報
505 表示部
506 ナビゲーション制御部
507 ディーラ通知処理部
508 経路探索制御部
701 通信装置
702 基地局
703 通信ネットワーク
704 車両管理サーバ
DESCRIPTION OF SYMBOLS 101 Rear camera 102 Left camera 103 Right camera 104 Camera state detection part 105 Camera selection list 106 System control part 107 Camera selection part 108 Display apparatus 109 Operation part 110 Camera selection process part 111 Message holding part 201 Vehicle 501 Navigation part 502 GPS
503 Map data 504 Dealer information 505 Display unit 506 Navigation control unit 507 Dealer notification processing unit 508 Route search control unit 701 Communication device 702 Base station 703 Communication network 704 Vehicle management server

Claims (7)

少なくとも2つのカメラと、前記カメラにて撮像した映像を表示する表示装置と、前記表示装置へ出力するカメラを選択する指示を受け付けるカメラ操作部と、
前記カメラ操作部の指示に応じて前記表示装置へ出力する撮像映像を切り替えるカメラ選択部と、
を設けた撮像表示制御装置において、
前記カメラが撮像可能か不可かを検出するカメラ状態検出部と、
前記表示装置へ出力するカメラの優先順位を示したカメラ選択リストと、
前記カメラ状態検出部が撮像不可と判断した場合に前記カメラ選択リストの優先順位に従ってカメラを選択するカメラ選択処理部と、前記カメラ選択処理部で選択されたカメラを前記表示装置へ出力するよう前記カメラ操作部へ指示する表示制御部と、を設けたことを特徴とする撮像表示制御装置。
At least two cameras, a display device that displays video captured by the camera, and a camera operation unit that receives an instruction to select a camera to be output to the display device;
A camera selection unit that switches a captured image to be output to the display device in accordance with an instruction from the camera operation unit;
In the imaging display control apparatus provided with
A camera state detection unit for detecting whether the camera is capable of imaging or not;
A camera selection list indicating the priority order of the cameras to be output to the display device;
When the camera state detection unit determines that imaging is not possible, the camera selection processing unit selects a camera according to the priority order of the camera selection list, and outputs the camera selected by the camera selection processing unit to the display device. An imaging display control device comprising: a display control unit that instructs a camera operation unit.
請求項1に記載の撮像表示制御装置において、
前記カメラ選択処理部は、運転者に通知するメッセージを保持するメッセージ保持部を有し、
該カメラ選択処理部は、撮像不可の場合には、前記メッセージ保持部より、カメラの状態または異常発生に応じたメッセージを選択し、前記表示装置に出力することを特徴とする撮像表示制御装置。
The imaging display control device according to claim 1,
The camera selection processing unit has a message holding unit that holds a message to notify the driver,
When the imaging is impossible, the camera selection processing unit selects a message corresponding to a camera state or an abnormality from the message holding unit and outputs the message to the display device.
請求項1または請求項2に記載の撮像表示制御装置におけるカメラ選択処理部に、カメラ撮像不可時に車両ディーラ探索指示を出力するディーラ探索指示部を設け、
車両ディーラ位置を含む地図データと、少なくとも経路情報を前記表示装置に出力する経路情報出力部とを有するカーナビゲーションシステムに、
前記ディーラ探索指示部からの通知を受け、現在地から所定の車両ディーラまでの経路を前記経路情報出力部により、前記表示装置に出力されることを特徴とするカーナビゲーションシステム。
The camera selection processing unit in the imaging display control device according to claim 1 or 2 is provided with a dealer search instruction unit that outputs a vehicle dealer search instruction when camera imaging is not possible.
A car navigation system having map data including a vehicle dealer position and a route information output unit that outputs at least route information to the display device.
A car navigation system characterized by receiving a notification from the dealer search instruction unit and outputting a route from a current location to a predetermined vehicle dealer to the display device by the route information output unit.
請求項1または請求項2に記載の撮像表示制御装置において、
外部と通信を行う通信部を有し、
前記カメラ選択処理部が、撮像不可と判断した場合に前記通信部を用いて車両管理を行うサーバに前記カメラの状態を通知することを特徴とする撮像表示制御装置。
In the imaging display control device according to claim 1 or 2,
It has a communication unit that communicates with the outside,
An imaging display control apparatus, wherein when the camera selection processing unit determines that imaging is impossible, the communication unit is used to notify the server that performs vehicle management of the state of the camera.
請求項1に記載の撮像表示制御装置において、
前記カメラの設置位置に応じた撮像範囲を予め保持する撮像範囲情報を有し、
前記カメラ選択処理部は、該カメラシステムに接続されたカメラ設置位置より、前記撮像範囲情報からカメラ毎の撮像範囲を取得し、カメラに不具合が発生した場合には該カメラの撮像範囲と重複する割合が大きい順に、代替カメラのリストを作成し、前記カメラシステムが有するカメラ選択リストとして保持することを特徴とする撮像表示制御装置。
The imaging display control device according to claim 1,
It has imaging range information that holds in advance an imaging range according to the installation position of the camera,
The camera selection processing unit acquires an imaging range for each camera from the imaging range information from a camera installation position connected to the camera system, and overlaps with the imaging range of the camera when a malfunction occurs in the camera. An imaging display control apparatus, wherein a list of alternative cameras is created in descending order of the ratio and is held as a camera selection list included in the camera system.
少なくとも2つのカメラと、前記カメラにて撮像した映像を表示する表示装置と、請求項1記載の撮像表示制御装置からなることを特徴とするカメラシステム。   A camera system comprising: at least two cameras; a display device that displays an image captured by the camera; and an imaging display control device according to claim 1. 少なくとも2つのカメラ及び前記カメラにて撮像した映像を表示する表示装置を接続し、
前記表示装置へ出力する映像を撮像するカメラを選択するよう指示するカメラ操作ステップと、
前記カメラ操作部の指示に応じて前記表示装置へ出力する撮像映像を切り替えるカメラ選択ステップと、
を含む撮像表示制御方法において、
前記カメラが撮像可能か不可かを検出するカメラ状態検出ステップと、
前記表示装置への表示で選択される初期選択カメラ及び該初期選択カメラの代替カメラの選択順序を示したカメラ選択リストを使用し、前記カメラ状態検出ステップで初期選択カメラの撮像不可と判断した場合に前記カメラ選択リストの選択順序に従って代替カメラを選択するカメラ選択処理ステップと、前記カメラ選択処理ステップで選択されたカメラを前記表示装置へ出力するよう前記カメラ操作ステップで行うよう指示する表示制御ステップとを含むことを特徴とする撮像表示制御方法。
Connecting at least two cameras and a display device for displaying images captured by the cameras;
A camera operation step for instructing to select a camera for capturing an image to be output to the display device;
A camera selection step for switching a captured image to be output to the display device in accordance with an instruction from the camera operation unit;
In an imaging display control method including:
A camera state detection step for detecting whether or not the camera can be imaged;
When it is determined that the initial selection camera cannot be imaged in the camera state detection step using the camera selection list indicating the selection order of the initial selection camera selected by the display on the display device and the alternative camera of the initial selection camera A camera selection processing step for selecting an alternative camera according to the selection order of the camera selection list, and a display control step for instructing the camera operation step to output the camera selected in the camera selection processing step to the display device. An imaging display control method comprising:
JP2008312604A 2008-12-08 2008-12-08 Imaging display control device and method, and car navigation system and camera system using imaging display control device Pending JP2010136295A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008312604A JP2010136295A (en) 2008-12-08 2008-12-08 Imaging display control device and method, and car navigation system and camera system using imaging display control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008312604A JP2010136295A (en) 2008-12-08 2008-12-08 Imaging display control device and method, and car navigation system and camera system using imaging display control device

Publications (1)

Publication Number Publication Date
JP2010136295A true JP2010136295A (en) 2010-06-17

Family

ID=42347086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008312604A Pending JP2010136295A (en) 2008-12-08 2008-12-08 Imaging display control device and method, and car navigation system and camera system using imaging display control device

Country Status (1)

Country Link
JP (1) JP2010136295A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102645216A (en) * 2011-02-15 2012-08-22 泰为信息科技公司 Navigation system with accessory control mechanism and method of operation thereof
JP2015231207A (en) * 2014-06-06 2015-12-21 カシオ計算機株式会社 Imaging device, photographing control system, photographing control method, and program
WO2016006368A1 (en) * 2014-07-07 2016-01-14 日立オートモティブシステムズ株式会社 Information processing system
JP2018129702A (en) * 2017-02-09 2018-08-16 富士通株式会社 Server and communication method
JP2018139120A (en) * 2018-04-11 2018-09-06 日立オートモティブシステムズ株式会社 Information processing system
JP2019217970A (en) * 2018-06-21 2019-12-26 日本電産コパル株式会社 Electronic mirror device and image display method
JP2020042846A (en) * 2019-11-26 2020-03-19 日立オートモティブシステムズ株式会社 Information processing system
JP2020117843A (en) * 2019-01-28 2020-08-06 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh Control device and control method
JP2021022833A (en) * 2019-07-26 2021-02-18 トヨタ自動車株式会社 Vehicle electronic mirror system
WO2023277422A1 (en) * 2021-06-30 2023-01-05 김배훈 Camera backup system and method for autonomous vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1054727A (en) * 1996-08-09 1998-02-24 Nissan Motor Co Ltd Device for supporting service for vehicle
JP2002334166A (en) * 2001-05-08 2002-11-22 Hitachi Ltd Repair/maintenance support system and vehicle adaptive to the system
JP2004104258A (en) * 2002-09-05 2004-04-02 Sumitomo Electric Ind Ltd Image display system
JP2004328246A (en) * 2003-04-23 2004-11-18 Mitsubishi Electric Corp Onboard video display device
JP2007089082A (en) * 2005-09-26 2007-04-05 Alpine Electronics Inc Vehicular image display device
JP2007312113A (en) * 2006-05-18 2007-11-29 Matsushita Electric Ind Co Ltd Video switching apparatus and video switching method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1054727A (en) * 1996-08-09 1998-02-24 Nissan Motor Co Ltd Device for supporting service for vehicle
JP2002334166A (en) * 2001-05-08 2002-11-22 Hitachi Ltd Repair/maintenance support system and vehicle adaptive to the system
JP2004104258A (en) * 2002-09-05 2004-04-02 Sumitomo Electric Ind Ltd Image display system
JP2004328246A (en) * 2003-04-23 2004-11-18 Mitsubishi Electric Corp Onboard video display device
JP2007089082A (en) * 2005-09-26 2007-04-05 Alpine Electronics Inc Vehicular image display device
JP2007312113A (en) * 2006-05-18 2007-11-29 Matsushita Electric Ind Co Ltd Video switching apparatus and video switching method

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102645216A (en) * 2011-02-15 2012-08-22 泰为信息科技公司 Navigation system with accessory control mechanism and method of operation thereof
JP2015231207A (en) * 2014-06-06 2015-12-21 カシオ計算機株式会社 Imaging device, photographing control system, photographing control method, and program
US10306207B2 (en) 2014-07-07 2019-05-28 Hitachi Automotive Systems, Ltd. Information processing system
JP2016018295A (en) * 2014-07-07 2016-02-01 日立オートモティブシステムズ株式会社 Information processing system
WO2016006368A1 (en) * 2014-07-07 2016-01-14 日立オートモティブシステムズ株式会社 Information processing system
JP2018129702A (en) * 2017-02-09 2018-08-16 富士通株式会社 Server and communication method
JP2018139120A (en) * 2018-04-11 2018-09-06 日立オートモティブシステムズ株式会社 Information processing system
JP2019217970A (en) * 2018-06-21 2019-12-26 日本電産コパル株式会社 Electronic mirror device and image display method
JP2020117843A (en) * 2019-01-28 2020-08-06 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh Control device and control method
JP2021022833A (en) * 2019-07-26 2021-02-18 トヨタ自動車株式会社 Vehicle electronic mirror system
JP7279566B2 (en) 2019-07-26 2023-05-23 トヨタ自動車株式会社 Vehicle electronic mirror system
JP2020042846A (en) * 2019-11-26 2020-03-19 日立オートモティブシステムズ株式会社 Information processing system
WO2023277422A1 (en) * 2021-06-30 2023-01-05 김배훈 Camera backup system and method for autonomous vehicle

Similar Documents

Publication Publication Date Title
JP2010136295A (en) Imaging display control device and method, and car navigation system and camera system using imaging display control device
JP6980888B2 (en) Image transmitter
CN109558957B (en) Selecting a vehicle loading position
JP6281483B2 (en) Failure detection system, information processing apparatus, and vehicle mounting apparatus
JP4978558B2 (en) Vehicle display device
US10118566B2 (en) Image processing device, image processing method, and image display system
JP5302766B2 (en) Surveillance image display device
JP2012098105A (en) Video collection system around accident occurrence place
CN102785645A (en) Method and terminal for judging traffic light
JP2009061871A (en) Image display system and image display device
JP2008141622A (en) Vehicle surrounding information display apparatus
JP2009263080A (en) Dump truck vehicle management system
US11070714B2 (en) Information processing apparatus and information processing method
JP2012073395A (en) Video display device
JP2005029025A (en) On-vehicle display device, image display method, and image display program
JP2009070228A (en) Map retrieval device
JP2021178560A (en) Automatic driving control device
JP5796638B2 (en) Monitoring system
JP2006117107A (en) Periphery monitoring device for vehicle
JP2020019351A (en) Electronic mirror control device
JP6720902B2 (en) In-vehicle equipment control device and application software for in-vehicle equipment control
EP3089447A1 (en) Image processing device, warning apparatus, and image processing method
JP2019154017A (en) Captured image prior confirmation system and captured image prior confirmation method
JP2013092727A (en) Image display unit and image display method
US11959766B2 (en) In-vehicle apparatus, distribution system, and video receiving method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110323

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20110711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120731

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121127