JP2006180446A - 映像撮像装置及び映像撮像方法 - Google Patents

映像撮像装置及び映像撮像方法 Download PDF

Info

Publication number
JP2006180446A
JP2006180446A JP2005108726A JP2005108726A JP2006180446A JP 2006180446 A JP2006180446 A JP 2006180446A JP 2005108726 A JP2005108726 A JP 2005108726A JP 2005108726 A JP2005108726 A JP 2005108726A JP 2006180446 A JP2006180446 A JP 2006180446A
Authority
JP
Japan
Prior art keywords
vehicle
video
camera
road
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005108726A
Other languages
English (en)
Inventor
Tatsumi Yanai
達美 柳井
Ken Oizumi
大泉　　謙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2005108726A priority Critical patent/JP2006180446A/ja
Priority to US10/574,131 priority patent/US20080143833A1/en
Priority to PCT/IB2005/003522 priority patent/WO2006056862A2/en
Priority to EP05818742A priority patent/EP1824702A2/en
Publication of JP2006180446A publication Critical patent/JP2006180446A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/404—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components triggering from stand-by mode to operation mode
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】車両の進入状態や、複数のカメラの取り付け状態によらず、最適に監視範囲を表示する映像撮像装置及び映像撮像方法を提供する。
【解決手段】車両の周囲の映像を取得する複数の周囲映像撮像手段１０、１１を備え、車両の進行方向に対して交差する道路への進入状態に応じて、車両の運転者へ提示する映像を取得した周囲映像撮像手段１０、１１及びこの周囲映像撮像手段１０、１１が取得した映像のうち車両の運転者へ提示する映像範囲を選択する。
【選択図】図１

Description

本発明は映像撮像装置及び映像撮像方法に関し、特に、車両の周囲の映像を取得して車両の運転者へ提示する映像撮像装置及び映像撮像方法に関する。
従来から、車両の前部又は後部に取り付けられたカメラにて車両側方の視界を撮像し、車両周囲の死角映像をディスプレイに表示する車両用周辺視認装置が知られている（例えば、特許文献１参照）。特許文献１には、スイッチ操作を受けて上記の機能を作動させることのみならず、履歴情報やナビゲーション情報によって示される車両の走行環境に応じて側方視野画像を表示する技術が開示されている。
特許第３４６８６６１号公報
しかし、特許文献１では、カメラが撮像できる範囲が限られているため、車両の道路への進入状態によっては最適な死角映像を表示することができない。例えば、道路に対して斜めに進入する場合、最適な監視範囲を表示できない。また、複数のカメラの取り付け状態によっても、最適な監視範囲を表示することができない場合がある。
本発明の特徴は、車両の周囲の映像を取得する複数の周囲映像撮像手段を備え、車両の進行方向に対して交差する道路への進入状態に応じて、車両の運転者へ提示する映像を取得した周囲映像撮像手段及びこの周囲映像撮像手段が取得した映像のうち車両の運転者へ提示する映像範囲を選択する映像撮像装置であることを要旨とする。
本発明によれば、車両の進入状態や、複数のカメラの取り付け状態によらず、最適に監視範囲を表示する映像撮像装置及び映像撮像方法を提供することが出来る。
以下図面を参照して、本発明の実施の形態を説明する。図面の記載において同一あるいは類似の部分には同一あるいは類似な符号を付している。
（比較例）
図１２（ｂ）に示すように、車両２４の前方の両側面にそれぞれカメラ６０、６１を配置して、見通しの悪い交差点等でカメラ６０、６１により死角範囲７２ａ、７２ｂの監視を行う装置が既に商品化されている。ここでは、見通しの悪い交差点等の一例として、両側を背の高い塀３１ａ、３１ｂで囲まれた狭い道路から広い道路へ進入する場面を示している。図１２（ｂ）に示すように、広い道路に対して車が垂直に進入する場合、カメラ６０、６１を用いて適正な死角範囲７２ａ、７２ｂを監視することができる。つまり、図１２（ａ）に示すように、車両の運転者に提示される映像５２ｂには、適正な死角範囲７２ｂに居る人間５１が映し出され、運転者はこれを知ることができる。
しかし、カメラ６０、６１が映像を撮像できる範囲７２ａ、７２ｂは限られているため、撮像範囲７２ａ、７２ｂが適正な死角範囲に一致していない場合、運転者はカメラ６０、６１の映像を通じて死角を監視できない。例えば、図１３（ｂ）に示すように、広い道路に対して車が垂直ではなく、斜めに進入する場合、カメラ６０、６１を用いて適正な死角範囲７２ａ、７２ｂを監視することができない。図１３（ａ）に示すように、左カメラ６０が撮像する映像５２ａには塀３１ａしか映し出されず、右カメラ６１が撮像する映像５２ｂには適正な死角範囲が映し出されず、死角範囲にいるはずの人間５１を運転者は知ることができない。一般的に、車両の進入状態には種々の形態があるため、必要な監視ができる進入状態はごく限られた状態であるのが現実である。
（第１の実施の形態）
図１に示すように、本発明の第１の実施の形態に係わる映像撮像装置は、車両の周囲の映像を取得する複数の周囲映像撮像手段（複数のカメラ）からなる周囲映像撮像部１を備え、車両の進行方向に対して交差する道路への進入状態に応じて、車両の運転者へ提示する映像を取得したカメラ及び当該カメラが取得した映像のうち車両の運転者へ提示する映像範囲を選択する。
具体的には図１の映像撮像装置は、車両の周囲の映像を撮像する複数のカメラ１０、１１と、これらの複数のカメラ１０、１１により撮像された映像を車両の運転者へ提示し始める提示開始時点を検出する起動検出手段の一例としての起動スイッチ１２と、起動スイッチ１２により検出された提示開始時点における車両の道路への進入状態を検出する進入状態検出手段の一例としての進入状態検出部３と、進入状態検出部３により検出された進入状態に応じて提示する映像範囲を調整する映像範囲調整手段の一例としての映像範囲調整部１５と、映像範囲調整部１５により調整された映像範囲を提示する提示手段の一例としての提示モニタ１６とを備える。
ここで「進入状態」とは車両の進行方向に対して交差する道路の延伸（延長・長手）方向に対する車両の進入角度及び位置を示す。提示モニタ１６は、車両の進入状態に応じて監視範囲を適応的に提示する。周囲映像撮像部１としての複数のカメラには、車両の両側面に配置された側方カメラ（左方広角カメラ１０及び右方広角カメラ１１）が含まれる。左方広角カメラ１０及び右方広角カメラ１１は、各々約１８０度の広い範囲の映像を取得することができる。また、進入状態検出部３には、車両の位置及び周囲の道路情報を取得するナビゲーション１３と、車両の絶対的な方向情報を取得するジャイロ１４とが含まれる。
図８に示すように、左方広角カメラ１０及び右方広角カメラ１１は、車両２４の前端部にそれぞれ配され、約１８０度の広い範囲２２ａ、２２ｂの映像を取得している。図７（ａ）は、図１に示す映像撮像装置を備えた車両が、駐車側から道路側へ前進して道路に対して斜めに進入する場面を示す。即ち、進行方向２１は道路に対して垂直ではなく斜めである進入状態を示す。駐車場から道路に斜めに進入する場合、映像範囲調整部１５は、左方広角カメラ１０及び右方広角カメラ１１が撮像した撮像範囲２２ａ、２２ｂのうち、適切な死角範囲に相当する部分を提示範囲２３ａ、２３ｂとして調整し、調整された提示範囲２３ａ、２３ｂが提示モニタ１６上に表示される。即ち、サイドビューの画角範囲を進入状態に応じて左右独立に調整する。
このように、例えば、図７（ａ）に示すように駐車場から道路に進入する場合や、狭路から幹線道路に侵入する場合において、車両前端部のみを道路に出した時点で道路の左右の映像が車内の提示モニタ１６上に映し出され、道路の状況を確認することができる。
また、車両が駐車場や挟路などから道路側へ進入した後、さらに進んで左折するような場合や、図７（ａ）に示すように道路に対する進入角度が最初から角度を有する場合には、車両の進入状況（道路の延伸方向に対する車両の進入方向、進入角度および位置）に応じて広角カメラから取得された映像範囲から左右の道路状況の確認に必要な画角範囲を映像変換によって抽出することにより適切な映像範囲の提供が可能となる。
これにより、車両が道路に進入して曲がっている最中や、道路に対する進入角度が直角でない場合にも左右の道路状況を提示モニタ１６上に示すことができる。特に車両が曲がっている最中においてこのような表示を行うことは、運転者が直前の安全確認の段階で他車両を万が一見落とした場合や、他車両が法定速度以上の速度で接近してきた場合などにおいても、他車両を確認することができ、より安全な道路への進入を行うことができる。
ここで、車両の道路に対する進入状況（角度および位置）はナビゲーション１３で取得した道路情報とジャイロ１４で取得した情報とから算出することができる。
また、車両の道路に対する進入状態に対して、左右の道路状況を確認するために最適な画角範囲をあらかじめ設定しておくことが望ましい。これにより順次適切な映像範囲の提供が可能になる。更に、画角範囲を進入する道路の広さなどに応じてナビゲーション１３に記憶させておけば、いろいろな道路に対して最適に設定することができる。
次に、図１の映像撮像装置の処理手順を図２のフローチャートを参照して説明する。
（イ）先ずＳ１０１段階において、イグニションを運転者の意思でオン状態にする。Ｓ１０２段階において、イグニションが運転者の意思でオフ状態となっているか否かを判断する。イグニションがオン状態である場合（Ｓ１０２段階においてＯＮ）Ｓ１０３段階に進み、イグニションがオフ状態である場合（Ｓ１０２段階においてＯＦＦ）処理フローは終了する。
（ロ）Ｓ１０３段階において、図１の映像撮像装置の起動を判定する。映像撮像装置が起動している場合（Ｓ１０３段階においてＯＮ）Ｓ１０４段階に進み、映像撮像装置が起動していない場合（Ｓ１０３段階においてＯＦＦ）Ｓ１０２段階に戻る。
（ハ）Ｓ１０４段階において、映像範囲調整部１５は広角カメラ１０、１１から転送される映像信号を取得し、Ｓ１０５段階において、映像範囲調整部１５はナビゲーション１３から車両の現在位置と周辺地図情報を取得する。Ｓ１０６段階において、映像範囲調整部１５はジャイロ１４から車両の絶対的な方向情報を取得する。
（ニ）Ｓ１０７段階において、ナビゲーション１３からの現在位置と周辺地図、ジャイロ１４からの車両の絶対的な方向情報を用いて、道路への進入方向（前進か後退か）／進入角（道路に対する角度）／進入位置（道路への進出距離）を算出する。なお、進入位置は、例えば道路の基準線（例えば、道路の幅となる線のうち車両が進入する側の線）から車両の基準位置（例えば後輪車軸の中心）までの距離で定義される位置である。Ｓ１０８段階において、車両に配されたカメラ位置（絶対的な位置）／方向（絶対的な方向）を特定する。
（ホ）Ｓ１０９段階において、進入状態に応じた監視必要範囲を特定し、Ｓ１１０段階において、映像範囲調整部１５は映像変換を用いて映像範囲を調整する。最後に、Ｓ１１１段階において、提示モニタ１６は、調整された映像を運転者へ提示する。その後、Ｓ１０２段階に戻り、Ｓ１０２〜Ｓ１１１段階を繰り返し実施する。
なお、車両が道路に進入している最中のみならず車両が道路に進入した後においても、Ｓ１０２〜Ｓ１１１段階を実施することが望ましい。即ち、車両が道路に進入した後においても、車両の進入状態に応じて、車両の運転者へ提示する映像を取得したカメラ１０、１１及びカメラ１０、１１が取得した映像のうち車両の運転者へ提示する映像範囲を選択することが望ましい。
以上説明したように、第１の実施の形態に係わる映像撮像装置は、運転者への提示開始時点における車両の道路への進入状態を検出する進入状態検出部３と、道路への進入状態に応じて提示する映像範囲を調整する映像範囲調整部１５とを備えるため、道路への進入状態に応じて最適な監視範囲を適応的に提示することができる。
（第２の実施の形態）
図３に示すように、本発明の第２の実施の形態に係わる映像撮像装置は、車両の周囲の映像を取得する複数のカメラからなる周囲映像撮像部１を備え、車両の道路への進入状態に応じて、車両の運転者へ提示する映像を取得したカメラ及び当該カメラが取得した映像のうち車両の運転者へ提示する映像範囲を選択する。
具体的には図３の映像撮像装置は、車両の周囲の映像を撮像する複数のカメラ１０、１１、１７と、これらの複数のカメラ１０、１１、１７により撮像された映像を車両の運転者へ提示し始める提示開始時点を検出する起動スイッチ１２と、起動スイッチ１２により検出された提示開始時点における車両の道路への進入状態を検出する進入状態検出部３と、進入状態検出部３により検出された進入状態に応じて、車両の運転者へ提示する映像を取得したカメラ１０、１１、１７を適応的に選択するカメラ選択部１８と、進入状態検出部３により検出された進入状態に応じて、提示する映像範囲を調整する映像範囲調整部１５と、カメラ選択部１８に選択されたカメラ１０、１１、１７が撮像する映像のうち映像範囲調整部１５により調整された映像範囲を提示する提示モニタ１６とを備える。周囲映像撮像部１としての複数のカメラには、車両の両側面に配置された左方広角カメラ１０及び右方広角カメラ１１と、車両の前面に配置された前方広角カメラ１７とが含まれる。左方広角カメラ１０、右方広角カメラ１１及び前方広角カメラ１７は、各々約１８０度の広い範囲の映像を取得することができる。
このように、図３の映像撮像装置は、図１の映像撮像装置に比べて、更に前方広角カメラ１７及びカメラ選択部１８を備える点が異なり、その他の構成は図１と同じであり、説明を省略する。
近年、例えば図９に示すように車両２４の前部と側部に広角カメラ１０、１１、１７、２０を取り付け車両周囲の画像をできるだけ少ないカメラ数で取得することが考えられている。この場合、車両側方部の映像を映し出す広角カメラ１０、１１は車両２４の周囲を効率よく撮影するために図８のように車両前部ではなくサイドミラーの車両最外部に取り付けられている。左方広角カメラ１０及び右方広角カメラ１１は、約１８０度の広い範囲２２ａ、２２ｂの映像を取得している。同様に、前方広角カメラ１７及び後方広角カメラ２０は、車両２４の前面中央部及び後面中央部にそれぞれ配され、それぞれ約１８０度の広い範囲２２ｃ、２２ｄの映像を取得している。
図７（ｂ）は、図３に示す映像撮像装置を備えた車両であって図９に示すカメラ配置を有するものが、駐車側から道路側へ前進して道路に対して斜めに進入する場面を示す。即ち、進行方向２１は道路に対して垂直ではなく斜めである進入状態を示す。
先ず、図１０に示すように車両が駐車場や狭路から道路に進入し始めた時、つまり車両の先端部分のみが道路側へ進入している時、車両２４の前端部に取り付けられた前方広角カメラ１７により道路左右の映像を切り取って提示モニタ１６に提示する。
そして、図１１に示すように車両２４がさらに道路に進入して左折しようとする時、前方広角カメラ１７が撮像する映像のうち左側がよく確認できるような適切な死角範囲に相当する範囲２３ａのみを切り取ると共に、右側の映像範囲を右側方に取り付けられた右方広角カメラ１１からの映像に切換えて、さらに右方広角カメラ１１の最適な映像範囲２３ｂを切り取って提示モニタ１６に表示する。
このように、車両が前進で道路に進入する際、先ず前方広角カメラ１７が撮像する映像を提示し、前方広角カメラ１７で道路の一方の側を撮像できなくなった場合、側方カメラ１０、１１が撮像する映像を提示する。車両の道路への進入が進むにしたがって、前方広角カメラ１７では取得できなくなった右側の映像範囲を右側方に取り付けられたカメラ１１により表示することができ、サイドビューの画角範囲を進入状態に応じて最適なカメラに切換えて提示することができる。但し、車両２４の進入状態によっては必要な画角範囲をカバーしているカメラを選択する必要がある。
なお、道路に対する進入角度が最初から角度を有する場合には、進入時の角度に応じて撮影する範囲及びカメラを適宜選択することで、道路左右方向の映像を表示することができる。映像範囲の切換え及び映像を取得するカメラの切換えは、第１の実施の形態と同様にナビゲーション１３とジャイロ１４により算出された道路状況に対する、取得する映像の範囲と切換えるカメラの関係を予め制御装置に記憶させておくことで、適宜最適な表示を行うことができる。
次に、図３の映像撮像装置の処理手順を図４のフローチャートを参照して説明する。
（イ）先ずＳ２０１段階において、イグニションを運転者の意思でオン状態にする。Ｓ２０２段階において、イグニションが運転者の意思でオフ状態となっているか否かを判断する。イグニションがオン状態である場合（Ｓ２０２段階においてＯＮ）Ｓ２０３段階に進み、イグニションがオフ状態である場合（Ｓ２０２段階においてＯＦＦ）処理フローは終了する。
（ロ）Ｓ２０３段階において、図３の映像撮像装置の起動を判定する。映像撮像装置が起動している場合（Ｓ２０３段階においてＯＮ）Ｓ２０４段階に進み、映像撮像装置が起動していない場合（Ｓ２０３段階においてＯＦＦ）Ｓ２０２段階に戻る。
（ハ）Ｓ２０４段階において、カメラ選択部１８は広角カメラ１０、１１、１７から転送される映像信号を取得し、Ｓ２０５段階において、カメラ選択部１８はナビゲーション１３から車両の現在位置と周辺地図情報を取得する。Ｓ２０６段階において、カメラ選択部１８はジャイロ１４から車両の絶対的な方向情報を取得する。
（ニ）Ｓ２０７段階において、ナビゲーション１３からの現在位置と周辺地図、ジャイロ１４からの車両の絶対的な方向情報を用いて、道路への進入方向（前進か後退か）／進入角（道路に対する角度）／進入位置（道路への進出距離）を算出する。Ｓ２０８段階において、車両に配されたカメラ位置（絶対的な位置）／方向（絶対的な方向）を特定する。
（ホ）Ｓ２０９段階において、進入状態に応じた監視必要範囲を特定し、Ｓ２１０段階において、カメラ選択部１８は、進入状態に応じて監視必要範囲を撮像するカメラ１０、１１、１７を選択する。Ｓ２１１段階において、映像範囲調整部１５は、選択されたカメラ１０、１１、１７が撮像する映像のうち監視が必要な映像範囲を調整する。最後に、Ｓ２１２段階において、提示モニタ１６は、調整された映像を運転者へ提示する。その後、Ｓ２０２段階に戻り、Ｓ２０２〜Ｓ２１２段階を繰り返し実施する。
なお、車両が道路に進入している最中のみならず車両が道路に進入した後においても、Ｓ２０２〜Ｓ２１２段階を実施することが望ましい。即ち、車両が道路に進入した後においても、車両の進入状態に応じて、車両の運転者へ提示する映像を取得したカメラ１０、１１、１７及びカメラ１０、１１、１７が取得した映像のうち車両の運転者へ提示する映像範囲を選択することが望ましい。
以上説明したように、第２の実施の形態に係わる映像撮像装置は、運転者への提示開始時点における車両の道路への進入状態を検出する進入状態検出部３と、道路への進入状態に応じて提示する映像範囲を調整する映像範囲調整部１５とを備えるため、道路への進入状態に応じて最適な監視範囲を適応的に提示することができる。
また、第２の実施の形態に係わる映像撮像装置は、道路への進入状態に応じてカメラ１０、１１、１７を適応的に選択するカメラ選択部１８を備えるため、如何なる道路への進入状態においても最適な監視範囲を適応的に提示することができる。
（第３の実施の形態）
図５に示すように、本発明の第３の実施の形態に係わる映像撮像装置は、車両の周囲の映像を取得する複数のカメラからなる周囲映像撮像部１を備え、車両の道路への進入状態に応じて、車両の運転者へ提示する映像を取得したカメラ及び当該カメラが取得した映像のうち車両の運転者へ提示する映像範囲を選択する。
具体的には図５の映像撮像装置は、車両の周囲の映像を撮像する複数のカメラ１０、１１、２０と、これらの複数のカメラ１０、１１、２０により撮像された映像を車両の運転者へ提示し始める提示開始時点を検出する起動スイッチ１２と、起動スイッチ１２により検出された提示開始時点における車両の道路への進入状態を検出する進入状態検出部３と、進入状態検出部３により検出された進入状態に応じて、車両の運転者へ提示する映像を取得したカメラ１０、１１、２０を適応的に選択するカメラ選択部１８と、進入状態検出部３により検出された進入状態に応じて、提示する映像範囲を調整する映像範囲調整部１５と、複数のカメラが撮像した映像を合成する映像合成部１９と、カメラ選択部１８に選択されたカメラ１０、１１、２０が撮像する映像のうち映像範囲調整部１５により調整された映像範囲を合成して提示する提示モニタ１６とを備える。周囲映像撮像部１としての複数のカメラには、車両２４の両側面に配置された左方広角カメラ１０及び右方広角カメラ１１と、車両２４の後面に配置された後方広角カメラ２０とが含まれる。左方広角カメラ１０、右方広角カメラ１１及び後方広角カメラ２０は、各々約１８０度の広い範囲の映像を取得することができる。映像合成部１９は、映像範囲調整部１５により調整された映像範囲に、複数のカメラ１０、１１、２０が撮像する複数の映像が重なり合う部分が含まれる場合、当該複数の映像を合成する。つまり、映像範囲調整部１５により調整された映像範囲が複数のカメラ１０、１１、２０に跨っている場合にこれらを合成する。
このように、図５の映像撮像装置は、図１の映像撮像装置に比べて、更に後方広角カメラ２０、カメラ選択部１８及び映像合成部１９を備える点が異なり、その他の構成は図１と同じであり、説明を省略する。
図７（ｃ）は、図５に示す映像撮像装置を備えた車両であって図９に示すカメラ配置を有するものが、駐車側から道路側へ後退して道路に対して斜めに進入する場面を示す。即ち、進行方向２１は道路に対して垂直ではなく斜めである進入状態を示す。
先ず、車両が駐車場や狭路から道路に進入し始めた時、つまり車両の先端部分のみが道路側へ進入している時、車両２４の後端部に取り付けられた後方広角カメラ２０により道路左右の映像を切り取って提示モニタ１６に提示する。
そして、図７（ｃ）に示すように車両２４がさらに道路に進入した時、後方広角カメラ２０が撮像する映像範囲２２ｄと左方広角カメラ１０が撮像する左側の映像範囲２２ａとが重なり合う。車両の進入状態によって必要な画角範囲をカバーしているカメラが、後方広角カメラ２０及び左方広角カメラ１０である場合、後方広角カメラ２０及び左方広角カメラ１０が撮像した映像範囲２２ｄ、２２ａを合成して提示モニタ１６に表示する。つまり、車両２４が後退で道路に進入する際、左方広角カメラ１０が撮像する映像と後方広角カメラ２０が撮像する映像とを合成して提示する。
このように、例えば、図７（ｃ）のように後退でゆっくり道路に進入する場合や道路から後退で駐車場に入る場合など、車両の進入状況に応じて車両側方のカメラと後方のカメラの映像範囲を適宜変更して車両の後方１８０度の映像を合成して表示する。道路側１８０度の映像を合成して表示することにより、車両後方周囲における道路上の障害物を運転者が容易に確認することができる。また、歩道を介して道路に進入するような場合に、歩道にある障害物などを確認し易くできる。
なお、道路に対する進入角度が最初から角度を有する場合には、進入時の角度に応じて撮影する範囲及びカメラを適宜選択することで、車両後方周囲の映像を表示することができる。映像範囲の切換え及び映像を取得するカメラの切換えは、第１の実施の形態と同様にナビゲーション１３とジャイロ１４により算出された道路状況に対する、取得する映像の範囲と切換えるカメラの関係を予め制御装置に記憶させておくことで、適宜最適な表示を行うことができる。
次に、図５の映像撮像装置の処理手順を図６のフローチャートを参照して説明する。
（イ）先ずＳ３０１段階において、イグニションを運転者の意思でオン状態にする。Ｓ３０２段階において、イグニションが運転者の意思でオフ状態となっているか否かを判断する。イグニションがオン状態である場合（Ｓ３０２段階においてＯＮ）Ｓ３０３段階に進み、イグニションがオフ状態である場合（Ｓ３０２段階においてＯＦＦ）処理フローは終了する。
（ロ）Ｓ３０３段階において、図５の映像撮像装置の起動を判定する。映像撮像装置が起動している場合（Ｓ３０３段階においてＯＮ）Ｓ３０４段階に進み、映像撮像装置が起動していない場合（Ｓ３０３段階においてＯＦＦ）Ｓ３０２段階に戻る。
（ハ）Ｓ３０４段階において、カメラ選択部１８は広角カメラ１０、１１、２０から転送される映像信号を取得し、Ｓ３０５段階において、カメラ選択部１８はナビゲーション１３から車両の現在位置と周辺地図情報を取得する。Ｓ３０６段階において、カメラ選択部１８はジャイロ１４から車両の絶対的な方向情報を取得する。
（ニ）Ｓ３０７段階において、ナビゲーション１３からの現在位置と周辺地図、ジャイロ１４からの車両の絶対的な方向情報を用いて、道路への進入方向（前進か後退か）／進入角（道路に対する角度）／進入位置（道路への進出距離）を算出する。Ｓ３０８段階において、車両に配されたカメラ位置（絶対的な位置）／方向（絶対的な方向）を特定する。
（ホ）Ｓ３０９段階において、進入状態に応じた監視必要範囲を特定し、Ｓ３１０段階において、カメラ選択部１８は、進入状態に応じて監視必要範囲を撮像するカメラ１０、１１、２０を選択する。Ｓ３１１段階において、映像範囲調整部１５は、選択されたカメラ１０、１１、２０が撮像する映像のうち監視が必要な映像範囲を調整する。Ｓ３１２段階において、映像合成部１９は、複数のカメラ１０、１１、２０が撮像した映像を合成する。最後に、Ｓ３１３段階において、提示モニタ１６は、合成された映像を運転者へ提示する。その後、Ｓ３０２段階に戻り、Ｓ３０２〜Ｓ３１３段階を繰り返し実施する。
なお、車両が道路に進入している最中のみならず車両が道路に進入した後においても、Ｓ３０２〜Ｓ３１３段階を実施することが望ましい。即ち、車両が道路に進入した後においても、車両の進入状態に応じて、車両の運転者へ提示する映像を取得したカメラ１０、１１、２０及びカメラ１０、１１、２０が取得した映像のうち車両の運転者へ提示する映像範囲を選択し、複数の映像を合成することが望ましい。
以上説明したように、第３の実施の形態に係わる映像撮像装置は、運転者への提示開始時点における車両の道路への進入状態を検出する進入状態検出部３と、道路への進入状態に応じて提示する映像範囲を調整する映像範囲調整部１５とを備えるため、道路への進入状態に応じて最適な監視範囲を適応的に提示することができる。
また、第３の実施の形態に係わる映像撮像装置は、道路への進入状態に応じてカメラ１０、１１、２０を適応的に選択するカメラ選択部１８を備えるため、如何なる道路への進入状態においても最適な監視範囲を適応的に提示することができる。
（第４の実施の形態）
第４の実施の形態に係わる映像撮像装置は、図１４に示すように、車両の周囲の映像を取得する複数の周囲映像撮像部２００（周囲映像撮像手段）を備え、車両の進行方向に対して交差する道路への進入状態に応じて、車両の運転者へ提示する映像を取得した周囲映像撮像部２００及び周囲映像撮像部２００が取得した映像のうち車両の運転者へ提示する映像範囲を選択及び合成する。
具体的には、車両の周囲の映像を撮像する複数の周囲映像撮像部２００としての複数のカメラ１０１〜１０６と、車両のグローバルな位置を取得する車両位置取得部２０１（車両位置取得手段）と、車両のグローバルな向きを取得する車両向き取得部２０２（車両向き取得手段）と、車両周辺の道路情報を取得する道路情報取得部２０３（道路情報取得手段）と、車両上の各カメラ位置と車両位置と車両向きと道路情報から使用するカメラ１０１〜１０６の映像を選択する映像選択部２０４（映像選択手段）と、選択された単一もしくは複数の映像を車両の運転者に映像を提示する表示モニタ２０６（提示手段）とを備える。
車両位置取得部２０１は車両のグローバル位置を取得する。車両向き取得部２０２は車両のグローバル向きを取得する。道路情報取得部２０３は車両周辺の道路情報を取得する。これらの装置２０１〜２０３は、ナビゲーションシステムの機能として備えられているものであるので、ナビゲーションシステムから取得することが可能である。
これらの装置２０１〜２０３により取得された車両のグローバル位置の情報、車両のグローバル向きの情報、道路情報は映像選択部２０４に送られる。映像選択部２０４は、内部に、車両上に搭載されたカメラ１０１〜１０６の位置、向き、撮影範囲の情報を所有している。車両の速度情報は、車両のグローバル位置情報とグローバル向き情報から算出できるが、もちろん、これらの情報を車両から直接に取得しても良い。
映像合成部２０５は、映像選択部２０４で選択されたカメラ１０１〜１０６のリストを元に、使用するカメラの映像を選択し、表示画面上に並べた画面を合成する。画面合成の具体的な動作については、映像処理の分野で公知の技術を用いることが出来る。
図１４のカメラ１０１〜１０６は、例えば図１５（ａ）に示すよう車体２４上の位置に取り付けられている。カメラ１０２〜１０６はそれぞれ撮像範囲１０７〜１１１を撮像することが出来る。ここで、車両の向き（進行方向２１）に対して図１５（ｂ）に示すような向きを設定する。車両向き２１を０度、後ろを１８０度、右を９０度、左を−９０度と設定する。この向き情報を用いて撮像範囲１０７〜１１１を表現する。具体的には、０度、１８０度、９０度、−９０度の４つの角度を基準角度として、各撮像範囲１０７〜１１１を、開始角度：通過角度：終了角度で定義する。通過角度は基準角度の何れかとする。したがって、撮像範囲１０７は−３０：−９０：−１２０、撮像範囲１０８は３０：９０：１２０、撮像範囲１０９は−１２０：１８０：１８０、撮像範囲１１０は１２０：１８０：１８０、撮像範囲１１１は−９０：１８０：９０と表現される。
なお、開始角度は例えば車両の進行方向２１側（前方側）に設定する。この設定で開始角度が車両前方側に対して同じ位置にある場合（例えば、撮像範囲１１１）は、車両の進行方向２１に対して左側にある側を開始位置とする。
図１６〜図１８は、図１４の映像撮像装置が動作する様々な状況を説明するための図であり、それぞれの（ａ）は道路２１０及び車両２４の位置を示す道路図であり、（ｂ）は映像撮像装置が設定する基準線Ａと目標範囲Ｂを示す模式図である。車両２４を示す二等辺三角形の鋭角部分が指す向きは、車両２４の進行方向である。
図１４の映像選択部２０４は、道路情報と車両２４のグローバル位置とグローバル向きと車両速度とを元にして、車両２４の進行方向に対して交差する道路２１０と車両２４との関係を、例えば図１６（ｂ）のように車両２４と基準線Ａと目標領域Ｂに直す。
図１６及び図１７は、車両２４が前進して他の道路２１０ａ及び２１０ｂと合流する例、図１８は、車両２４が後退して他の道路２１０ｃと合流する例である。図１６〜図１８のどの場合も、車両がこの先合流する道路２１０に接するように基準線Ａを引く。
次に、運転者が見たい範囲を目標範囲Ｂとして設定する。この目標範囲Ｂは、例えば図１６（ｂ）及び図１８（ｂ）に示すように単純に基準線Ａに対して、車両２４のいない側を１８０度に設定してもよい。また或いは、合流先の道路の状況を考慮して設定を変えても構わない。例えば、図１７（ａ）の状況において、合流先の道路２１０ｂが右折禁止であるため、車両２４は左方にのみ進むことができることが道路情報取得部２０３からの道路情報により分かっている場合には、図１７（ｂ）に示すように、目標範囲Ｂは合流先の道路２１０ｂの右側に限定される。
なお、目標範囲Ｂは、図１５（ａ）の各カメラの撮像範囲１０７〜１１１と同様に、車両向き（進行方向）２１を基準として、３つの角度（開始角度：通過角度：終了角度）を用いて定義される。例えば、図１６の状況における目標範囲Ｂは、−９０：０：９０で定義され、図１７の状況においては、４５：９０：１２０、図１８の状況においては、−６０：１８０：１２０となる。
このようにして、図１４の映像選択部２０４は、車両２４と道路２１０の関係から定まる目標範囲Ｂと車両２４上の各カメラ１０１〜１０６の撮像範囲１０７〜１１１とを元にして、カメラ１０１〜１０６の映像の選択を行う。
次に、図１９を参照して、図１４の映像選択部２０４がカメラ１０１〜１０６の映像を選択する上で行う、カメラ１０１〜１０６の優先順位をつける方法を説明する。図１９は、図１８の状況に対応している。
（ａ）図１６〜図１８の各状況において、映像選択部２０４は、車両２４上の各カメラ１０２〜１０６と道路（基準線Ａ）との直線距離Ｃ2〜Ｃ6を求め、各カメラ１０２〜１０６に優先順位をつける。直線距離Ｃ2〜Ｃ6が短いカメラの優先度が高くなるように順位を設定する。例えば、基準線Ａとの直線距離Ｃ2〜Ｃ6を図１９のように考えると、カメラ１０２〜１０６の優先度は高い順に、１０６、１０４、１０５、１０２、１０３となる。なお、各カメラ１０２〜１０６の位置が基準線Ａを超えて目標範囲Ｂを設定した側に移動した場合、つまりカメラが道路２１０に進入した場合には、そのカメラの優先度は基準線Ａを超えていないカメラよりも高く設定することが望ましい。
（ｂ）そして、映像選択部２０４は、各カメラ１０２〜１０６の撮像範囲１０７〜１１１と各カメラ１０２〜１０６の優先順位とを用いて、使用するカメラを決定する。具体的には、前述したように、図１８（ｂ）の目標範囲Ｂは−６０：１８０：１２０である。優先度の高い順に、使用するカメラを検討する。例えば、優先度の最も高いカメラは、カメラ１０６である。このカメラ１０６の撮影範囲１１１は−９０：１８０：９０である。図１８（ｂ）の目標範囲Ｂとカメラ１０６の撮影範囲１１１とを比較すると、重なっている範囲（−９０：１８０：１２０）があるので、カメラ１０６は使用カメラとして選択される。
（ｃ）そして、目標範囲Ｂ（−６０：１８０：１２０）から、重なっている範囲（−９０：１８０：１２０）を除外する。結果、目標範囲Ｂの残り範囲は−６０：−９０：−９０となる。もし、目標範囲Ｂと最も優先度の高いカメラの撮像範囲とに重なっている範囲がない場合には、この最も優先度の高いカメラは選択されないため、除外する範囲も存在しないことになる。図１９の例では目標範囲Ｂに残りの範囲が存在するため、優先度が２番目に高いカメラ１０４について、同様の処理を行う。カメラ１０４の撮影範囲１０９は、−１２０：１８０：１８０である。目標範囲Ｂの残りの範囲（−６０：−９０：−９０）と比較すると、重なっている範囲はないので、カメラ１０４は使用カメラとして選択されない。
（ｄ）まだ目標範囲Ｂに残りの範囲が存在するため、優先度が３番目に高いカメラ１０５について同様の処理を行う。しかし、カメラ１０５の撮影範囲１１０も同様に目標範囲Ｂの残りの範囲（−６０：−９０：−９０）と重なっている範囲はないので、使用カメラとして選択されない。優先度が４番目に高いカメラ１０２について、同様の処理を行うと、目標範囲Ｂの残りの範囲と重なっている部分があるので、映像選択部２０４は、カメラ１０２を使用カメラとして選択する。目標範囲Ｂの残りの範囲から、カメラ１０２の撮像範囲１０７との重なっている範囲を除外すると、残りの部分はなくなる。目標範囲Ｂの残りがなくなった時点で、それより優先度の低いカメラは使用しないこととなる。この例の場合、カメラ１０３については、範囲の比較なしに、使用しないことが決定される。以上の処理により、使用するカメラとして、カメラ１０６とカメラ１０２とが選択される。映像選択部２０４は、以上の処理により決定された使用カメラのリストを、映像合成部２０５に送る。
このようにして、映像選択部２０４は、直線距離Ｃ2〜Ｃ6と、目標範囲Ｂと、車両２４上の各カメラの撮像範囲１０７〜１１１とを元にして、カメラ１０１〜１０６の映像の選択を行う。これにより、使用するカメラ１０１〜１０６を単純な比較で決定することができ、より高速で安価な映像撮像装置を提供することが可能となる。
なお、同様に図１６の状況においては、使用するカメラとしてカメラ１０２とカメラ１０３が選択される。このとき、図１６の目標範囲Ｂには、すべてのカメラに対して上記の処理を行っても、残りの範囲が存在するが、その範囲は撮影不可能範囲しても構わない。
また、同様に図１７の状況においては、使用するカメラとしてカメラ１０３が選択される。カメラの配置と撮影範囲によっては、３つ以上のカメラが同時に選択されることがあるが、一度に表示する映像の数が多いと、運転者にとって好ましくない表示となるため、最初に選ばれた２つのカメラを使用カメラに限定するなどの制約を設けても構わない。
図２０に示すように、図１４の表示モニタ２０６は、独立した２つの表示エリア（左）２２１及び表示エリア（右）２２２から成る表示画面２２０を備え、映像選択部２０４により選択された２つのカメラの映像を同時に表示することが出来る。表示モニタ２０６は、映像選択部２０４によって選択された映像を提示する際に、元のカメラの位置関係を考慮して表示の位置関係を決定する。
映像合成部２０５は、映像選択部２０４から送られた使用カメラのリストを元に、使用カメラの映像を選択し、表示モニタ２０６の表示画面２２０上に並べた画面を合成する。画面合成の具体的な動作については、映像処理の分野で既に知られている技術を用いることが出来る。このとき、映像同士の位置関係は、元のカメラの物理的な位置関係を反映したものとする。具体的には、まず図２１のＸ方向の位置関係で位置決めをする。このとき、左右の関係は変えない。そして、Ｘ方向の位置が同じ場合、Ｙ方向がマイナス方向にあるカメラの映像を表示モニタ２０６より外側に置く。
図１８の状況を例に取ると、図２０上の、表示エリア（左）２２１には、カメラ１０２の映像が表示される。図１７の状況を例に取ると、表示エリア（左）２２１にカメラ１０３の映像が表示され、表示エリア（右）２２２にカメラ１０５の映像が表示される。図１６の状況を例に取ると、表示エリア（左）２２１にカメラ１０２の映像が表示され、表示エリア（右）２２２にカメラ１０３の映像が表示される。
以上の手順で生成された合成映像は、表示モニタ２０６に送られ、運転者に対して表示される。
図２２を参照して、図１４の映像撮像装置を用いた映像撮像方法を説明する。
（イ）先ず、Ｓ４０１段階において、車両２４の周囲の映像を複数のカメラ１０１〜１０６を用いて撮像する。
（ロ）Ｓ４０２段階に進み、車両位置取得部２０１を用いて車両２４のグローバル位置を取得する。Ｓ４０３段階に進み、車両向き取得部２０２を用いて車両のグローバル向きを取得する。
（ハ）次に、道路情報取得部２０３を用いて車両２４周辺の道路情報を取得する。Ｓ４０４段階に進み、映像選択部２０４は、車両２４上の各カメラ１０１〜１０６の位置とグローバル位置とグローバル向きと道路情報から使用するカメラ１０６の映像を選択する。
（ニ）Ｓ４０５段階に進み、表示モニタ２０６を用いて選択された単一もしくは複数の映像を車両２４の運転者に映像を提示する。以上の手順により、図１４の映像撮像装置は、車両２４周囲の状態に応じて、表示するカメラ映像を選択し、運転者に提示することができる。
以上説明した本発明の第４の実施の形態によれば、以下の効果を奏する。
道路情報取得部２０３が取得した道路情報と車両位置取得部２０１及び車両向き取得部２０２が取得した車両情報（グローバル位置及びグローバル向き）とを元に、映像選択部２０４は使用するカメラ１０１〜１０６の映像を選択するため、車両の運転に必要な範囲だけを表示モニタ２０６表示することが可能となり、運転者のわかりやすさが向上する＜請求項８及び１３の効果＞。
映像選択部２０４が、車両２４上の各カメラ１０１〜１０６と道路２１０との直線距離Ｃ2〜Ｃ6と、車両２４と道路２１０の関係から定まる目標範囲Ｂと車両２４上の各カメラ１０１〜１０６の撮像範囲１０７〜１１１を元に、使用するカメラ１０１〜１０６の映像を選択するため、使用するカメラ１０１〜１０６を単純な比較で決定することができ、より高速で安価な映像撮像装置を提供することが可能となる＜請求項９の効果＞。
車両２４上の各カメラ１０２〜１０６と道路２１０との直線距離Ｃ2〜Ｃ6が短い順に各カメラ１０２〜１０６の優先度を高く設定するので、より単純なアルゴリズムで機能を実現することができ、より高速で安価の映像撮像装置を提供することが可能となる＜請求項１０の効果＞。
目標範囲Ｂと撮像範囲１０７〜１１１が角度のみで表現されるので、より単純なアルゴリズムで比較することができ、より高速で安価な映像撮像装置を提供することが可能となる＜請求項１１の効果＞。
表示モニタ２０６は、映像選択部２０４によって選択された映像を提示する際に、元のカメラの位置関係を考慮して表示の位置関係を決定することにより、元のカメラ１０１〜１０６の位置関係を考慮して表示の位置関係を決定するので、わかりやすい表示となり、運転者のわかりやすさが向上する＜請求項１２の効果＞。
車両２４に多くのカメラ１０１〜１０６が取り付けられており、その映像を運転者に提示する装置において、従来はカメラ映像の切り替えを運転者自身のスイッチ操作で行ったり、複数の映像を一度に提示していた。しかし、このような装置では、切り替え操作がわずらわしかったり、必要のない映像を提示しているなどの問題点があった。第４の実施の形態によれば、車両２４と道路２１０の関係から、自動的に映像を選択し、運転者に提示する装置を提供することができる。
上記のように、本発明は、第１乃至第４の実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。即ち、本発明はここでは記載していない様々な実施の形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲に係る発明特定事項によってのみ限定されるものである。
本発明の第１の実施の形態に係わる映像撮像装置を示すブロック図である。 図１の映像撮像装置の処理手順を示すフローチャートである。 本発明の第２の実施の形態に係わる映像撮像装置を示すブロック図である。 図３の映像撮像装置の処理手順を示すフローチャートである。 本発明の第３の実施の形態に係わる映像撮像装置を示すブロック図である。 図５の映像撮像装置の処理手順を示すフローチャートである。 図７（ａ）は図１に示す映像撮像装置を備えた車両が前進して道路に対して斜めに進入する場面を示す平面図であり、図７（ｂ）は図３に示す映像撮像装置を備えた車両が前進して道路に対して斜めに進入する場面を示す平面図であり、図７（ｂ）は図５に示す映像撮像装置を備えた車両が後退して道路に対して斜めに進入する場面を示す平面図である。 図７（ａ）の場面における広角カメラの配置及び撮像範囲を示す平面図である。 図７（ｂ）及び図７（ｃ）の場面における広角カメラの配置及び撮像範囲を示す平面図である。 図９の広角カメラの配置を有する車両が駐車場や狭路から道路に前進で進入し始めた状態を示す平面図である。 図１０から更に車両が道路に進入して左折しようとする状態を示す平面図である。 図１２（ａ）は比較例に係わる映像撮像装置が有する提示モニタに提示される映像を示す図であり（その１）、図１２（ｂ）は図１２（ａ）の映像を撮像した時の車両の進入状態を示す平面図である（その１）。 図１３（ａ）は比較例に係わる映像撮像装置が有する提示モニタに提示される映像を示す図であり（その２）、図１３（ｂ）は図１３（ａ）の映像を撮像した時の車両の進入状態を示す平面図である（その２）。 本発明の第４の実施の形態に係わる映像撮像装置の全体構成を示すブロック図である。 図１５（ａ）は車両に取り付けられた図１４のカメラの位置及び各カメラの撮像範囲の一例を示す図であり、図１５（ｂ）は撮像範囲を定義する基準を説明するグラフである。 図１４の映像撮像装置が動作する状況の一例（その１）を示し、（ａ）は道路及び車両の位置を示す道路図であり、（ｂ）は映像撮像装置が設定する基準線と目標範囲を示す模式図である。 図１４の映像撮像装置が動作する状況の他の例（その２）を示し、（ａ）は道路及び車両の位置を示す道路図であり、（ｂ）は映像撮像装置が設定する基準線と目標範囲を示す模式図である。 図１４の映像撮像装置が動作する状況の他の例（その３）を示し、（ａ）は道路及び車両の位置を示す道路図であり、（ｂ）は映像撮像装置が設定する基準線と目標範囲を示す模式図である。 図１４の映像選択部がカメラの映像を選択する上で行う、カメラの優先順位をつける方法を説明するための図であり、図１８の状況に対応している。 図１４の表示モニタが備える表示画面を示す模式図である。 表示ポリシーを説明する図である。 図１４の映像撮像装置を用いた映像撮像方法を示すフローチャートである。
符号の説明
１…周囲映像撮像部
３…進入状態検出部
１０…左方広角カメラ
１１…右方広角カメラ
１２…起動スイッチ
１３…ナビゲーション
１４…ジャイロ
１５…映像範囲調整部
１６…提示モニタ
１７…前方広角カメラ
１８…カメラ選択部
１９…映像合成部
２０…後方広角カメラ
２１…進行方向
２２ａ〜２２ｄ…映像範囲（提示範囲）
２４…車両
３１ａ、３１ｂ…塀
５１…人間
５２ａ、５２ｂ…映像
６０…左カメラ
６１…右カメラ
７２ａ、７２ｂ…撮像範囲
１０１〜１０６…カメラ
１０７〜１１１…撮像範囲
２０１…車両位置取得部（車両位置取得手段）
２０２…車両向き取得部（車両向き取得手段）
２０３…道路情報取得部（道路情報取得手段）
２０４…映像選択部（映像選択手段）
２０５…映像合成部
２０６…表示モニタ（表示手段）
２２０…表示画面
２２１…表示エリア（左）
２２２…表示エリア（右）
Ａ…基準線
Ｂ…目標範囲
Ｃ2〜Ｃ6…直線距離

Claims (13)

  1. 車両の周囲の映像を取得する複数の周囲映像撮像手段を備え、前記車両の進行方向に対して交差する道路への進入状態に応じて、前記車両の運転者へ提示する前記映像を取得した前記周囲映像撮像手段及び前記周囲映像撮像手段が取得した前記映像のうち前記車両の運転者へ提示する映像範囲を選択することを特徴とする映像撮像装置。
  2. 前記車両の周囲の映像を撮像する前記複数の周囲映像撮像手段としての複数のカメラと、
    前記複数のカメラにより撮像された前記映像を前記車両の運転者へ提示し始める提示開始時点を検出する起動検出手段と、
    前記起動検出手段により検出された前記提示開始時点における前記車両の前記道路への進入状態を検出する進入状態検出手段と、
    前記進入状態検出手段により検出された前記進入状態に応じて提示する前記映像範囲を調整する映像範囲調整手段と、
    前記映像範囲調整手段により調整された前記映像範囲を提示する提示手段
    とを備えることを特徴とする請求項１記載の映像撮像装置。
  3. 前記進入状態は前記道路の延伸方向に対する前記車両の進入方向、進入角度及び位置であることを特徴とする請求項２記載の映像撮像装置。
  4. 前記複数のカメラには、前記車両の両側面に配置された側方カメラと、前記車両の前面に配置された前方カメラとが含まれ、
    前記車両が前進で道路に進入する際、先ず前記前方カメラが撮像する前記映像を提示し、前記前方カメラで前記道路の一方の側を撮像できなくなった場合、前記側方カメラが撮像する前記映像を提示することを特徴とする請求項２又は３記載の映像撮像装置。
  5. 前記映像範囲調整手段により調整された前記映像範囲に、前記複数のカメラが撮像する複数の前記映像が重なり合う部分が含まれる場合、前記提示手段は前記複数の映像を合成して提示することを特徴とする請求項２乃至４何れか１項記載の映像撮像装置。
  6. 前記複数のカメラには、前記車両の両側面に配置された側方カメラと、前記車両の後面に配置された後方カメラとが含まれ、
    前記車両が後退で道路に進入する際、前記提示手段は前記側方カメラが撮像する映像と前記後方カメラが撮像する映像とを合成して提示することを特徴とする請求項５記載の映像撮像装置。
  7. 前記車両が前記道路に進入している最中のみならず前記車両が前記道路に進入した後においても、前記進入状態に応じて、前記車両の運転者へ提示する前記映像を取得した前記周囲映像撮像手段及び前記周囲映像撮像手段が取得した前記映像のうち前記車両の運転者へ提示する映像範囲を選択することを特徴とする請求項２記載の映像撮像装置。
  8. 前記車両の周囲の映像を撮像する前記複数の周囲映像撮像手段としての複数のカメラと、
    前記車両のグローバル位置を取得する車両位置取得手段と、
    前記車両のグローバル向きを取得する車両向き取得手段と、
    前記車両周辺の道路情報を取得する道路情報取得手段と、
    前記車両上の各カメラ位置と前記グローバル位置と前記グローバル向きと前記道路情報から使用する前記カメラの映像を選択する映像選択手段と、
    選択された単一もしくは複数の映像を前記車両の運転者に映像を提示する提示手段
    とを備えることを特徴とする請求項１記載の映像撮像装置。
  9. 前記映像選択手段は、前記車両上の各カメラと道路との直線距離と、前記車両と道路の関係から定まる目標範囲と前記車両上の各カメラの撮像範囲とを元にして、前記カメラの映像の選択を行うことを特徴とする請求項８記載の映像撮像装置。
  10. 前記映像選択手段は、前記直線距離が短い順に、各カメラの優先度を高く設定することを特徴とする請求項９記載の映像撮像装置。
  11. 前記目標範囲と前記撮像範囲のそれぞれが、角度のみで表現されることを特徴とする請求項９又は１０記載の映像撮像装置。
  12. 前記提示手段は、前記映像選択手段によって選択された前記映像を提示する際に、元のカメラの位置関係を考慮して表示の位置関係を決定することを特徴とする請求項８乃至１１何れか１項記載の映像撮像装置。
  13. 前記車両の周囲の映像を複数のカメラを用いて撮像し、
    前記車両のグローバル位置を取得し、
    前記車両のグローバル向きを取得し、
    前記車両周辺の道路情報を取得し、
    前記車両上の各カメラ位置と前記グローバル位置と前記グローバル向きと前記道路情報から使用する前記カメラの映像を選択し、
    選択された単一もしくは複数の映像を前記車両の運転者に映像を提示する
    ことを特徴とする映像撮像方法。
JP2005108726A 2004-11-26 2005-04-05 映像撮像装置及び映像撮像方法 Pending JP2006180446A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005108726A JP2006180446A (ja) 2004-11-26 2005-04-05 映像撮像装置及び映像撮像方法
US10/574,131 US20080143833A1 (en) 2004-11-26 2005-11-23 Image Pickup Device and Image Pickup Method
PCT/IB2005/003522 WO2006056862A2 (en) 2004-11-26 2005-11-23 Image pickup device and image pickup method
EP05818742A EP1824702A2 (en) 2004-11-26 2005-11-23 Image pickup device and image pickup method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004342457 2004-11-26
JP2005108726A JP2006180446A (ja) 2004-11-26 2005-04-05 映像撮像装置及び映像撮像方法

Publications (1)

Publication Number Publication Date
JP2006180446A true JP2006180446A (ja) 2006-07-06

Family

ID=36485661

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005108726A Pending JP2006180446A (ja) 2004-11-26 2005-04-05 映像撮像装置及び映像撮像方法

Country Status (4)

Country Link
US (1) US20080143833A1 (ja)
EP (1) EP1824702A2 (ja)
JP (1) JP2006180446A (ja)
WO (1) WO2006056862A2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009139281A1 (ja) * 2008-05-14 2009-11-19 アイシン精機株式会社 周辺監視装置
JP2010136081A (ja) * 2008-12-04 2010-06-17 Alpine Electronics Inc 車両運転支援装置および車両運転支援方法
JP2016181748A (ja) * 2015-03-23 2016-10-13 株式会社Ｊｖｃケンウッド 車両周辺表示システム
KR20160136636A (ko) * 2015-05-20 2016-11-30 주식회사 와이즈오토모티브 파노라마 뷰 가변 시스템 및 이의 제어방법
CN106403893A (zh) * 2016-10-11 2017-02-15 山西省交通科学研究院 一种隧道检测车多传感器控制系统
JP2017182771A (ja) * 2016-03-24 2017-10-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 物体検出装置、物体検出方法及び物体検出プログラム
WO2018051816A1 (ja) * 2016-09-15 2018-03-22 ソニー株式会社 撮像装置、信号処理装置、及び、車両制御システム
JP2019186853A (ja) * 2018-04-16 2019-10-24 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5041757B2 (ja) * 2006-08-02 2012-10-03 パナソニック株式会社 カメラ制御装置およびカメラ制御システム
US8830317B2 (en) * 2011-11-23 2014-09-09 Robert Bosch Gmbh Position dependent rear facing camera for pickup truck lift gates
TWI460668B (zh) * 2012-07-30 2014-11-11 Faraday Tech Corp 影像擷取系統與方法
KR101518909B1 (ko) * 2013-08-09 2015-05-15 현대자동차 주식회사 전방영상 및 네비게이션 기반 운행 장치 및 방법
EP3166311B1 (en) * 2014-08-12 2020-02-12 Sony Corporation Signal processing device, signal processing method and monitoring system
JP6361382B2 (ja) * 2014-08-29 2018-07-25 アイシン精機株式会社 車両の制御装置
JP6222137B2 (ja) * 2015-03-02 2017-11-01 トヨタ自動車株式会社 車両制御装置
BR112018009138B1 (pt) * 2015-11-04 2022-07-12 Nissan Motor Co., Ltd. Aparelho de operação de veículo autônomo e método de operação de veículo autônomo
WO2017154317A1 (ja) * 2016-03-09 2017-09-14 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CN105799596A (zh) * 2016-05-20 2016-07-27 广州市晶华精密光学股份有限公司 一种汽车智能后视系统及图像显示方法
WO2018125898A1 (en) * 2016-12-30 2018-07-05 Gentex Corporation Full display mirror with on-demand spotter view
JP6730612B2 (ja) * 2017-02-27 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム
JP7139717B2 (ja) * 2018-06-26 2022-09-21 株式会社デンソー 車両用通信装置、車両用通信方法、及び制御プログラム
JP7184591B2 (ja) 2018-10-15 2022-12-06 三菱重工業株式会社 車両用画像処理装置、車両用画像処理方法、プログラムおよび記憶媒体
US20210263513A1 (en) * 2020-02-26 2021-08-26 Polaris Industries Inc. Environment monitoring system and method for a towed recreational vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004304242A (ja) * 2003-03-28 2004-10-28 Nissan Motor Co Ltd 車外映像撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4214266A (en) * 1978-06-19 1980-07-22 Myers Charles H Rear viewing system for vehicles
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US5574443A (en) * 1994-06-22 1996-11-12 Hsieh; Chi-Sheng Vehicle monitoring apparatus with broadly and reliably rearward viewing
JPH1059068A (ja) * 1996-08-23 1998-03-03 Yoshihisa Furuta 車両の死角確認装置
JP3284917B2 (ja) * 1997-03-17 2002-05-27 三菱自動車工業株式会社 車両用周辺視認装置
JP3468661B2 (ja) * 1997-03-27 2003-11-17 三菱自動車工業株式会社 車両用周辺視認装置
JP3511892B2 (ja) * 1998-05-25 2004-03-29 日産自動車株式会社 車両用周囲モニタ装置
JP2000238594A (ja) * 1998-12-25 2000-09-05 Aisin Aw Co Ltd 運転支援装置
JP2003276506A (ja) * 2002-03-22 2003-10-02 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
JP2004334808A (ja) * 2003-05-12 2004-11-25 Nissan Motor Co Ltd 起動判断装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004304242A (ja) * 2003-03-28 2004-10-28 Nissan Motor Co Ltd 車外映像撮像装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009139281A1 (ja) * 2008-05-14 2009-11-19 アイシン精機株式会社 周辺監視装置
JP2009278349A (ja) * 2008-05-14 2009-11-26 Aisin Seiki Co Ltd 周辺監視装置
JP4716139B2 (ja) * 2008-05-14 2011-07-06 アイシン精機株式会社 周辺監視装置
JP2010136081A (ja) * 2008-12-04 2010-06-17 Alpine Electronics Inc 車両運転支援装置および車両運転支援方法
JP2016181748A (ja) * 2015-03-23 2016-10-13 株式会社Ｊｖｃケンウッド 車両周辺表示システム
KR101704201B1 (ko) * 2015-05-20 2017-02-15 주식회사 와이즈오토모티브 파노라마 뷰 가변 시스템 및 이의 제어방법
KR20160136636A (ko) * 2015-05-20 2016-11-30 주식회사 와이즈오토모티브 파노라마 뷰 가변 시스템 및 이의 제어방법
JP2017182771A (ja) * 2016-03-24 2017-10-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 物体検出装置、物体検出方法及び物体検出プログラム
WO2018051816A1 (ja) * 2016-09-15 2018-03-22 ソニー株式会社 撮像装置、信号処理装置、及び、車両制御システム
US11142192B2 (en) 2016-09-15 2021-10-12 Sony Corporation Imaging device, signal processing device, and vehicle control system
CN106403893A (zh) * 2016-10-11 2017-02-15 山西省交通科学研究院 一种隧道检测车多传感器控制系统
JP2019186853A (ja) * 2018-04-16 2019-10-24 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
CN110386066A (zh) * 2018-04-16 2019-10-29 Jvc 建伍株式会社 车辆用显示控制装置和方法、车辆用显示系统及存储介质
JP7067225B2 (ja) 2018-04-16 2022-05-16 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
CN110386066B (zh) * 2018-04-16 2023-10-27 Jvc 建伍株式会社 车辆用显示控制装置和方法、车辆用显示系统及存储介质

Also Published As

Publication number Publication date
EP1824702A2 (en) 2007-08-29
WO2006056862A2 (en) 2006-06-01
US20080143833A1 (en) 2008-06-19
WO2006056862A3 (en) 2008-04-10

Similar Documents

Publication Publication Date Title
JP2006180446A (ja) 映像撮像装置及び映像撮像方法
JP4752486B2 (ja) 撮像装置、映像信号の選択装置、運転支援装置、自動車
JP4855158B2 (ja) 運転支援装置
JP4432801B2 (ja) 運転支援装置
JP6081570B2 (ja) 運転支援装置、および画像処理プログラム
JP4400659B2 (ja) 車載表示装置
JP3695319B2 (ja) 車両周辺モニタ装置
US20150316765A1 (en) Head-up display device and vehicle having the same
US8477191B2 (en) On-vehicle image pickup apparatus
US20050083427A1 (en) Camera unit and apparatus for monitoring vehicle periphery
JP5745827B2 (ja) 車両表示装置
JP2005110202A (ja) カメラ装置及び車両周辺監視装置
JP4784572B2 (ja) 運転支援方法及び運転支援装置
JP2008018760A (ja) 運転支援装置
JP5213578B2 (ja) 運転支援装置
JP2009117971A (ja) 車両周辺監視装置
JP2011049735A (ja) 車両周辺画像提供装置
JP7202903B2 (ja) 表示システム、走行制御装置、表示制御方法およびプログラム
JP5226621B2 (ja) 車両用画像表示装置
JP2008003659A (ja) 車両用周囲表示装置
JP2009067292A (ja) 車載カメラシステム
JP7202195B2 (ja) 表示システム、走行制御装置、表示制御方法およびプログラム
CN101287626A (zh) 摄像装置和摄像方法
JP2007299047A (ja) 運転支援装置
JP2007230314A (ja) 映像提示装置及び映像提示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100316