JP2005051403A - 車輌周囲表示装置 - Google Patents

車輌周囲表示装置 Download PDF

Info

Publication number
JP2005051403A
JP2005051403A JP2003204609A JP2003204609A JP2005051403A JP 2005051403 A JP2005051403 A JP 2005051403A JP 2003204609 A JP2003204609 A JP 2003204609A JP 2003204609 A JP2003204609 A JP 2003204609A JP 2005051403 A JP2005051403 A JP 2005051403A
Authority
JP
Japan
Prior art keywords
driver
vehicle
head
image information
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003204609A
Other languages
English (en)
Other versions
JP3832455B2 (ja
Inventor
Masaki Hirota
正樹 廣田
Yuichi Igari
裕一 猪狩
Younosuke Miki
陽之介 美記
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2003204609A priority Critical patent/JP3832455B2/ja
Priority to US10/889,002 priority patent/US20050024494A1/en
Priority to EP04016752A priority patent/EP1502816A1/en
Publication of JP2005051403A publication Critical patent/JP2005051403A/ja
Application granted granted Critical
Publication of JP3832455B2 publication Critical patent/JP3832455B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/404Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components triggering from stand-by mode to operation mode
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】モニタに車輌周囲の画像を自動的に表示することが可能な車輌周囲表示装置を提供する。
【解決手段】車輌1の左側方周囲の撮像範囲αを撮像するように助手席側のサイドミラー5に埋め込まれたCCDカメラ11と、撮像範囲βにおける赤外線を撮像可能なように、例えば車輌1のダッシュボード6上に設けられた第1のIRカメラ12aと、撮像範囲βにおける赤外線を撮像可能なように、助手席側のフロントドア7に設けられた第2のIRカメラ12bと、ナビゲーション装置からのナビゲーション画像情報やCCDカメラ11により撮像された画像情報を表示するモニタ13と、各IRカメラ12a、12bにより撮像された赤外線画像情報から運転者2の頭部3の動きを抽出し、当該運転者2の頭部3の動きに基づいて、ナビゲーション画像を表示しているモニタ13の表示をCCDカメラ11により撮像された車輌1の左側方周囲の画像情報に切り替えるように制御する制御装置15と、を備えた車輌周囲表示装置。
【選択図】図1

Description

【0001】
【技術分野】
本発明は、カメラを用いて車輌の周囲を撮像し、車室内に設けられたモニタに車輌の周囲の画像を表示する車輌周囲表示装置に関する。
【0002】
【背景技術】
車輌の周囲を確認するために、車室内に設けられたルームミラーやフロントドアに設けられたドアミラーに加えて、車輌の周囲にカラービデオカメラを設け、当該カメラにより撮像された車輌の周囲の画像情報を、例えばダッシュボード上に配置されたモニタに表示することにより、ルームミラーやドアミラーの死角となる車輌の周囲を確認するための車輌周囲表示装置が知られている(例えば、特許文献1参照)。
【0003】
この車輌周囲表示装置のモニタには、カメラにより撮像された車輌の周囲の画像情報の他に、例えば、車載されたナビゲーション装置による自車輌位置を地図データ上にマッピングしたナビゲーション画像情報等の多数の画像が表示されるため、必要に応じて画像を適宜切り替える必要がある。
【0004】
しかしながら、上記の車輌周囲表示装置における車輌周囲の画像への切替は、運転者が専用スイッチを操作することにより手動で行われたり、或いは、ウィンカ操作との連動により行われるため、運転者にとってはスイッチ操作が煩雑であったり、駐車時等の車輌の低速時にはウィンカ操作と画像切替とが連動しないという問題があった。
【0005】
【特許文献1】
特開2002−204446号公報
【発明の開示】
本発明は、カメラを用いて車輌の周囲を撮像し、車室内に設けられたモニタに車輌周囲の画像を表示する車輌周囲表示装置に関し、特に、モニタに車輌周囲の画像を自動的に表示することが可能な車輌周囲表示装置を提供することを目的とする。
【0006】
上記目的を達成するために、本発明によれば、車輌の周囲を撮像する周囲撮像手段と、被写体から発生する赤外線または被写体から反射する赤外線を撮像する赤外線撮像手段と、前記周囲撮像手段により撮像された画像情報を表示する表示手段と、前記赤外線撮像手段により撮像された画像情報から運転者の頭部の動きを抽出し、前記運転者の頭部の動きに基づいて、前記周囲撮像手段により撮像された画像情報を前記表示手段に表示させるように制御する制御手段と、を備えた車輌周囲表示装置が提供される。
【0007】
本発明の車輌周囲表示装置では、運転者の頭部から発生する赤外線又は当該頭部から反射する赤外線を赤外線撮像手段により撮像し、制御手段が、この撮像された画像情報から運転者の頭部の動きを抽出し、表示切替の明確な意志表示と推定されるような運転者の特徴的な動作を検出した場合に、表示手段に車輌周囲の画像情報を表示させる。
【0008】
これにより、運転者の動作に基づいて、車輌周囲の画像を表示手段に自動的に表示することが可能となるために、運転者が専用スイッチを操作する必要がなくなり、また、車輌の駐車時等の低速時にも自動的に画像を切り替えることが可能となるため、運転者の画像切替の煩わしさが解消する。
【0009】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【0010】
図1は本発明の実施形態に係る車輌に設置された車輌周囲表示装置を示す概略平面図、図2は本発明に係る車輌周囲表示装置の全体構成を示すブロック図、図3は図1の運転者の頭部の動きからX軸成分を抜き出した概略平面図、図4は図1の運転者の頭部の動きからZ軸成分を抜き出した概略正面図、図5は図1の運転者の頭部の動きからY軸成分を抜き出した概略平面図、図6は本発明の実施形態に係る車輌周囲表示装置におけるモニタ表示自動切替のフローチャートである。なお、図3〜図5は、運転者の頭部の動きを構成する各成分について説明するために運転者の動きMを成分毎に分割して表現した図であり、実際の運転者の動きを示すものではない。
【0011】
本発明の実施形態に係る車輌周囲表示装置10は、図1及び図2に示すように、車輌1の左側方周囲を撮像するCCDカメラ11と、運転者2の頭部3を撮像する2台の赤外線カメラ(IRカメラ)12a、12bと、CCDカメラ11により撮像された車輌1の左側方周囲の画像情報や後述するナビゲーション装置20からのナビゲーション画像情報を切り替えて表示するモニタ13と、運転者2の頭部3の動きに基づいて、モニタ13の表示切替を自動的に行う制御装置15と、を備えており、赤外線カメラ12a、12bにより撮像された赤外線画像情報から制御装置15が運転者2の頭部3の動きを抽出し、当該抽出された頭部3の動きに基づいて、ナビゲーション画像情報を表示しているモニタ13に、CCDカメラ11により撮像された車輌1の左側方の画像情報を自動的に切り替えて表示させ、車輌1の左側方の周囲の確認を図るものである。
【0012】
本実施形態に係る車輌周囲表示装置10のCCDカメラ11は、図1に示すように、運転者2にとって死角となる車輌1の左側方周囲の撮像範囲αを撮像可能なように、例えば助手席側のサイドミラー5に埋め込まれており、図2に示すように、車輌1の左側方周囲を撮像した画像情報を制御装置15に入力可能なように接続されている。
【0013】
本実施形態に係る車輌周囲表示装置10の2台のIRカメラ12a、12bは、被写体から発生する赤外線を可視化して撮像する撮像手段であり、図1に示すように、第1のIRカメラ12aは、運転者2の正面に向かって、即ち、車輌1の前方から後方に向かって撮像範囲βを撮像可能なように、例えば車輌1のダッシュボード6上に設けられているのに対し、第2のIRカメラ12bは、運転者の左側方に向かって、即ち、車輌1の左側方から右側方に向かって撮像範囲βを撮像可能なように、助手席側のフロントドア7に設けられており、何れのIRカメラ12a、12bの撮像範囲β、βにも、運転者2の頭部3が包含されるようになっている。第1及び第2のIRカメラ12a、12bは、図2に示すように、運転者2の頭部3を撮像した第1及び第2の赤外線画像情報を制御装置15に入力可能なように接続されている。各IRカメラ12a、12bの設置位置は、運転者2の頭部3の動作を撮像可能な位置であれば本発明では上記の設置位置に特に限定されず、例えば天井やフロントピラーなどに設置しても良い。
【0014】
本実施形態に係る車輌周囲表示装置10のモニタ13は、例えば液晶ディスプレイであり、運転者2が視認し易いようにダッシュボード6上に設けられている。このモニタ13では、上述のCCDカメラ11により撮像された車輌1の左側方周囲の画像情報が表示される他に、例えば、ナビゲーション装置20からのナビゲーション画像情報が切り替えて表示される。このモニタ13は、図2に示すように、車輌1の左側方周囲の画像情報及びナビゲーション画像情報を入力可能なように制御装置15に接続されている。
【0015】
本実施形態における車輌1に搭載されたナビゲーション装置20は、特に図示しないが、例えば、DVD−ROM等から地図データ等を読み出すと共に、衛星から送信される電波をGPSアンテナで受信して自車輌の現在位置を算出し、当該自車輌位置を前記地図データ上にマッピングしたナビゲーション画像情報をモニタ13に表示するものである。このナビゲーション装置20は、図2に示すように、上記のようにマッピング処理等したナビゲーション画像情報を入力可能なように制御装置15に接続されている。
【0016】
本実施形態に係る車輌周囲表示装置10の制御装置15は、特に図示しない画像処理用プロセッサ、CPU及び記憶部等を有しており、第1及び第2のIRカメラ12a、12bにより撮像された第1及び第2の赤外線画像情報から運転者2の頭部3の動きを抽出し、表示切替の明確な意志表示と推定されるような運転者2の動作が検出された場合に、モニタ13の表示をナビゲーション画像情報から車輌1の左側方周囲の画像情報に切り替える制御を行う。
【0017】
本実施形態においては、図1に示すような、車輌1の左側方周囲を確認するために運転者2が車輌1の左側方を覗き込むような動きMをした場合には、運転者2はモニタ13の表示を切り替える意思があると考えられることから、制御装置15は、第1及び第2のIRカメラ12a、12bにより撮像された第1及び第2の赤外線画像情報に対してそれぞれ画像処理を行って、運転者2の頭部3の動きMを、車輌1に対して相対的に左右方向に沿ったX軸成分Mx(図1及び図3にてX軸方向の移動)、車輌1に対して相対的に前後方向に沿ったY軸成分My(図1及び図5にてY軸方向の移動)、及び、車輌1に対して相対的に上下方向に沿ったZ軸成分Mz(図1及び図4にてZ軸方向の移動)に分割して、各成分毎に運転者2の頭部3の動きを抽出し所定の条件と対比することにより、運転者2の頭部3の動きMにモニタ13の表示切替の意思があるか否かの判断を行う。
【0018】
以下に、運転者2の頭部3の動きMを構成する各成分Mx、My、Mzにおける動きの抽出及び所定条件との対比についてそれぞれ説明する。
【0019】
先ず、X軸成分Mxについて説明すると、図3に示すように、車輌1のダッシュボード6上に設置された第1のIRカメラ12aが撮像した第1の赤外線画像情報を制御装置15が取得し、当該第1の赤外線画像情報に対して例えば二値化処理等の画像処理を行い、この第1の赤外線画像情報における運転者2の頭部3を示す第1の赤外線放出部分を抽出する。なお、抽出対象となる運転者2の頭部3を示す赤外線放出部分としては、抽出精度の観点から、例えば当該運転者2の肌が多く露出している顔面が好ましく、抽出する赤外線放出部分の温度としては、30〜35℃、好ましくは32〜33℃の温度範囲である。
【0020】
そして、制御装置15は、この抽出された第1の赤外線放出部分が、運転者2の頭部3の動作MのX軸成分Mxにより、予め設定された所定領域AR内に進入したか否かを判断する。本実施形態においては、この判断に用いられる所定領域ARは、図4に示すように、第1の中心線CLと第3の中心線CLとの間に位置する領域であり、この所定領域ARを境界付ける第1の中心線CLは、車輌1の前後方向に沿った中心線であり、また、第3の中心線CLは、第1の中心線CLと、運転席シート4の前後方向に沿った第2の中心線CLとの間の略中央に位置する中心線である(1/2L≒L)。なお、所定範囲ARは、例えば運転者2の体格等により任意に設定されても良く、通常走行では運転者2の頭部3があまり進入することのないように設定されることが好ましい。
【0021】
次に、Z軸成分Mzについて説明すると、図4に示すように、車輌1のダッシュボード6上に設置された第1のIRカメラ12aが撮像した第1の赤外線画像情報を制御装置15が取得し、当該第1の赤外線画像情報に対して画像処理を行い、この第1の赤外線画像情報における運転者2の頭部3を示す第1の赤外線放出部分を抽出し、さらに当該第1の赤外線放出部分の第1の重心位置Gを算出する。そして、制御装置15は、この抽出された第1の重心位置Gが、運転者2の頭部3の動作MのZ軸成分Mzにより、第1の平均重心位置G1avと天井8との間の距離Lに対して、例えば1/3に相当する距離L(L≒1/3L)を越えたか否かを判断する。この判断に用いられる第1の平均重心位置G1avは、車輌1の通常走行時における運転者2の頭部3を第1のIRカメラ12aにより随時撮像し、上記と同様の画像処理によりサンプリングされた重心位置を平均化したものであり、また、天井8に対する相対距離Lは、例えば運転者2の体格等により任意に設定される。なお、このZ軸成分Mzの抽出では、第1のIRカメラ12aにより撮像された第1の赤外線画像情報の代わりに、助手席側のフロントドア7に設置された第2のIRカメラ12bにより撮像された第2の赤外線画像情報を用いても良い。
【0022】
次に、Y軸成分Myについて説明すると、図5に示すように、車輌1の助手席側のフロントドア7に設置された第2のIRカメラ12bが撮像した第2の赤外線画像情報を制御装置15が取得し、当該第2の赤外線画像情報に対して画像処理を行い、この第2の赤外線画像情報における運転者2の頭部3を示す第2の赤外線放出部分を抽出し、さらに当該部分の第2の重心位置Gを算出する。そして、制御装置15は、第2の平均重心位置G2avから所定距離Lの地点を閾値として、この抽出された第2の重心位置Gが、運転者2の頭部3の動作MのY軸成分Myにより、第2の平均重心位置G2avから所定距離Lより前方に移動したか否かを判断する。この判断に用いられる第2の平均重心位置G2avは、車輌1の通常走行時における運転者2の頭部3を第2のIRカメラ12bにより随時撮像し、上記と同様の画像処理によりサンプリングされた運転者2の頭部3の重心位置を平均化したものである。なお、所定距離Lは、例えば運転者2の体格等により任意に設定することが出来る。
【0023】
制御装置15が、運転者2の動作Mを構成する各成分について上記の判断を行い、何れの成分Mx、My、Mzも上記の条件を満たした場合に、運転者2の頭部3の動きMが車輌1の左側方を覗き込む動作であり、モニタ13の表示切替を意図するものと判断し、この動作をトリガとして、それまでナビゲーション画像を表示していたモニタ13の表示を、CCDカメラ11により撮像された車輌1の左側方周囲の画像情報に切り替えるように制御する。このモニタ13に表示された車輌1の左側方周囲の画像は、例えば、運転者2の当該姿勢を維持している間、上記トリガから所定時間が経過する迄、車速度が所定値に到達する迄、又は、ハンドル操作等をする迄の間継続され、その後、制御装置15がモニタ13に元のナビゲーション画面を表示するように制御する。
【0024】
なお、車輌1を運転する運転者2の動作では、前後或いは上下方向の動きより左右方向の動きが発生する頻度が多いので、本実施形態では、X軸成分Mxについて、Y軸成分My及びZ軸成分Mzより厳しい条件である所定領域ARと対比して判断することにより、モニタ13の表示切替の誤動作を防止している。
【0025】
また、上記の各成分Mx、My、Mzの所定条件との対比において、モニタ13の表示切替の誤動作を防止する観点から、制御装置15にタイマ機能を具備させて、各動作成分Mx、My、Mzが所定条件を満たしてからタイマ機能に計時させ、当該動作が所定時間継続されていた場合に、運転者2の動作が真に表示切替を意図するものと判断するようにしても良い。
【0026】
さらに、本発明の実施形態に係る車輌周囲表示装置10は、上述のモニタ13に車輌1の左側方周囲の画像を表示した後に、運転者2がさらに動作をした場合に、当該運転者2の動作に応じて、モニタ13に運転者2が所望する画像を表示することが可能となっている。
【0027】
具体的には、モニタ14に既に車輌1の左側方周囲の画像が表示されている状態で、運転者2の頭部3が前方或いは左側方にさらに移動した場合には、例えば、制御装置15が画像処理により上述の第1又は第2の重心位置G、Gの移動量を算出し、当該移動量に基づいて、CCDカメラ11をズームアップさせるようにCCDカメラ11を制御することにより、モニタ13に表示される画像を拡大させる。
【0028】
これに対し、モニタ14に既に車輌1の左側方周囲の画像が表示されている状態で、運転者2の頭部3が後方或いは右側方に移動した場合には、例えば、制御装置15が画像処理により上述の第1又は第2の重心位置G、Gの移動量を算出し、当該移動量に基づいて、CCDカメラ11をズームダウンさせるようにCCDカメラ11を制御することにより、モニタ13に表示されている画像を縮小させる。
【0029】
なお、モニタ13に表示されている画像の拡大/縮小は、CCDカメラ11による光学的なズームアップ/ズームダウン機能を利用することに限定されず、例えば、CCDカメラ11から入力された画像に対して制御装置15が画像処理を行うことにより達成されても良い。
【0030】
また、CCDカメラ11の姿勢を変化させる、例えば、ステッピングモータ等を有するカメラ駆動機構を当該CCDカメラ11の近傍に設け、制御装置15からの制御指令に基づいて、当該カメラ駆動機構を駆動させて、運転者2の動作に応じて、CCDカメラ11の光軸を変化させ、運転者2が所望する向きにCCDカメラ11を向けても良い。
【0031】
以下に、図6に従って、本実施形態に係る車輌周囲表示装置10におけるモニタ14の表示画像自動切替の処理について説明する。
【0032】
図6に示すように、ナビゲーション装置20からのナビゲーション画像をモニタ14に表示して通常の走行運転をしている状態から(ステップS10)、例えば、駐車に際して車輌1の左側方の周囲を確認するために、運転者2が左前方に覗き込むように頭部3を動かすと、先ず、制御装置15は、第1のIRカメラ12aにより撮像された第1の赤外線画像情報を取得し(ステップS20)、当該取得された第1の赤外線画像情報に対して画像処理を行って、運転者2の頭部3を示す第1の赤外線放出部分を抽出し(ステップS30)、この抽出された第1の赤外線放出部分が、運転者2の頭部3の動作MのX軸成分Mxにより、所定領域AR内に進入したか否かを判断する(ステップS40)。
【0033】
このステップS40にて第1の赤外線放出部分が所定領域ARに進入していないと判断された場合には(ステップS40においてNO)、運転者2の頭部3の動きMはモニタ13の表示切替を意図する動きではないと推定できるため、ナビゲーション画像をモニタ13に表示したまま、ステップS20からステップS40までの処理を再度繰り返す。
【0034】
ステップS40にて、第1の赤外線放出部分が所定領域ARに進入していると判断した場合には(ステップS40にてYES)、さらに上記の画像処理により抽出された、運転者2の頭部3を示す第1の赤外線放出部分の第1の重心位置Gを算出し(ステップS50)、この抽出された第1の重心位置Gが、運転者2の頭部3の動作MのZ軸成分Mzにより、天井8に対する相対距離Lを越えたか否かを判断する。(ステップS60)。
【0035】
このステップS60にて第1の重心位置Gが天井8に対する相対距離Lより上方に位置していないと判断された場合には(ステップS60にてNO)、運転者2の頭部3の動きMはモニタ13の表示切替を意図する動きではないと推定できるため、ナビゲーション画面をモニタ13に表示したまま、ステップS20からステップS60までの処理を再度繰り返す。なお、ステップS60の相対距離Lを設定するのに用いられる第1の平均重心位置G1avは、例えば、ステップS10の車輌1の通常の走行運転時に、第1のIRカメラ12aが撮像した第1の赤外線画像情報から制御装置15が随時サンプリングした重心位置を平均化して求められる。
【0036】
ステップS60にて、第1の重心位置Gが天井8に対する相対距離Lより上方に移動していると判断された場合には(ステップS60にてYES)、制御装置15は、さらに、第2のIRカメラ12bにより撮像された第2の赤外線画像情報を取得し(ステップS70)、当該取得された第2の赤外線画像情報に対して画像処理を行って、先ず、運転者2の頭部3の示す第2の赤外線放出部分を抽出し(ステップS80)、次に、この抽出された第2の赤外線放出部分の第2の重心位置Gを算出し(ステップS90)、この第2の重心位置Gが、運転者2の頭部3の動作MのY軸成分Myにより、第2の平均重心位置G2avから所定距離Lより前方に位置しているか否かを判断する(ステップS100)。
【0037】
このステップS100にて第2の重心位置Gが第2の平均重心位置G2avから所定距離Lより前方に位置していないと判断された場合には(ステップS100にてNO)、運転者2の頭部3の動きMはモニタ14の表示切替を意図する動きではないと推定できるため、ナビゲーション画面をモニタ13に表示したまま、ステップS20からステップS60までの処理を再度繰り返す。なお、ステップS100の判断に用いられる第2の平均重心位置G2avは、例えば、ステップS10の車輌1の通常の走行運転時に、第2のIRカメラ12bが撮像した第2の赤外線画像情報から制御装置15が随時サンプリングした重心位置を平均化して求められる。
【0038】
ステップS100にて、第2の重心位置Gが第2の平均重心位置G2avから所定距離Lより前方に位置していると判断された場合には(ステップS100にてYES)、全成分Mx、My、Mzが上記の各条件を満たすこととなり、運転者2の頭部3の動きMはモニタ14の表示切替を意図する動きと推定できるため、制御装置15がCCDカメラ11により撮像された車輌1の左側方周囲の画像をモニタ14に表示させるように制御する(ステップS110)。
【0039】
以上のように、本発明の本実施形態に係る車輌周囲表示装置では、運転者の頭部から発する赤外線をIRカメラにより撮像し、制御装置が、この撮像された画像情報から運転者の頭部の動きを抽出し、表示切替の明確な意志表示と推定されるような運転者の特徴的な動作を検出した場合に、モニタに車輌周囲の画像情報を表示させることにより、運転者が専用スイッチを操作する必要がなくなり、また、車輌の駐車時等の低速時にも自動的に画像を切り替えることが可能となるため、運転者の画像切替の煩わしさが解消する。
【0040】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【0041】
例えば、上述の実施形態においては、助手席側のサイドミラーにCCDカメラを設置し、車輌の左側方周囲を確認可能なように説明したが、本発明では特にこれ限定されず、例えば、運転席側のサイドミラー、フロントバンパー又はルーフ後方中央部等にCCDカメラを設置し、車輌の右側方周囲、見通しの悪い交差点内或いは車輌の後方周囲を確認する運転者の特徴的な動作を各成分毎に条件付けて、運転者の頭部の動きに基づいて、運転者が所望する方向の車輌周囲の画像をモニタに自動的に表示するようにしても良い。
【0042】
また、上述の実施形態においては、第1及び第2のIRカメラを設置して、運転者の頭部の動きからX軸、Y軸及びZ軸方向の3成分を抽出するように説明したが、本発明では特にこれに限定されず、例えば、装置のコストパフォーマンスを追求するような場合には、第1のIRカメラのみを設置して運転者の頭部の動きからX軸成分のみを抽出するようにしても良く、何れか一つの成分又は何れか二つの成分を組み合わせて抽出するように任意に構成することが可能である。
【0043】
さらに、上述の実施形態においては、車室内に2台のIRカメラを設置して、前方及び側方から運転者の頭部を撮像するように説明したが、本発明では特にこれに限定されず、例えば助手席側のフロントピラーに1台のIRカメラを設け、当該IRカメラにより撮像された赤外線画像情報に対してベクトル分割を行い、運転者の頭部の動きを構成する各成分を抽出しても良い。
【0044】
加えて上述の実施形態においては、被写体が発生する赤外線を可視化する赤外線撮像手段を用いるように説明したが、被写体が反射する赤外線を可視化する赤外線撮像手段を用いても良い。夜間に赤外線光量が不足する場合は、別途赤外線ライトを設けて運転者を照らしても良い。
【図面の簡単な説明】
【図1】図1は、本発明の実施形態に係る車輌周囲表示装置を車輌に設置した状態を示す平面図である。
【図2】図2は、本発明の実施形態に係る車輌周囲表示装置の全体の構成を示すブロック図である。
【図3】図3は、図1の運転者の頭部の動きからX軸成分を抜き出した概略平面図である。
【図4】図4は、図1の運転者の頭部の動きからZ軸成分を抜き出した概略正面図である。
【図5】図5は、図1の運転者の頭部の動きからY軸成分を抜き出した概略平面図である。
【図6】図6は、本発明の実施形態に係る車輌周囲表示装置におけるモニタ表示自動切替のフローチャートである。
【符号の説明】
1…車輌
2…運転者
3…頭部
4…運転席シート
5…サイドミラー
6…ダッシュボード
7…フロントドア
8…天井
10…車輌周囲表示装置
11…CCDカメラ
12a、12b…IRカメラ
13…モニタ
15…制御装置
20…ナビゲーション装置

Claims (7)

  1. 車輌の周囲を撮像する周囲撮像手段と、
    被写体から発生する赤外線または被写体から反射する赤外線を撮像する赤外線撮像手段と、
    前記周囲撮像手段により撮像された画像情報を表示する表示手段と、
    前記赤外線撮像手段により撮像された画像情報から運転者の頭部の動きを抽出し、前記運転者の頭部の動きに基づいて、前記周囲撮像手段により撮像された画像情報を前記表示手段に表示させるように制御する制御手段と、を備えた車輌周囲表示装置。
  2. 前記制御手段は、前記赤外線撮像手段により撮像された画像情報から、前記運転者の頭部の少なくとも一つの方向に沿った動きを抽出し、前記運転者の頭部の少なくとも一つの方向に沿った動きに基づいて、前記周囲撮像手段により撮像された画像情報を前記表示手段に表示させるように制御する請求項1記載の車輌周囲表示装置。
  3. 前記運転者の頭部の少なくとも一つの方向に沿った動きにより、前記運転者の頭部が所定の領域内に進入した場合に、
    前記制御手段は、前記周囲撮像手段により撮像された画像情報を前記表示手段に表示させるように制御する請求項2記載の車輌周囲表示装置。
  4. 前記運転者の頭部の少なくとも一つの方向に沿った動きにより、前記運転者の頭部が前記車輌の一部に対して相対的に所定の距離移動した場合に、
    前記制御手段は、前記周囲撮像手段により撮像された画像情報を前記表示手段に表示させるように制御する請求項2又は3記載の車輌周囲表示装置。
  5. 前記運転者の頭部の少なくとも一つの方向に沿った動きにより、前記運転者の頭部の位置が所定の閾値を越えた場合に、
    前記制御手段は、前記周囲撮像手段により撮像された画像情報を前記表示手段に表示させるように制御する請求項2〜4の何れかに記載の車輌周囲表示装置。
  6. 前記制御手段は、前記運転者の頭部の動きに基づいて、前記周囲撮像手段により撮像され、前記表示手段に表示されている画像を変化させる請求項1〜5の何れかに記載の車輌周囲表示装置。
  7. 前記制御手段は、前記運転者の頭部の動きに基づいて、前記周囲撮像手段により撮像され、前記表示手段に表示されている画像を拡大又は縮小させる請求項6記載の車輌周囲表示装置。
JP2003204609A 2003-07-31 2003-07-31 車輌周囲表示装置 Expired - Fee Related JP3832455B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003204609A JP3832455B2 (ja) 2003-07-31 2003-07-31 車輌周囲表示装置
US10/889,002 US20050024494A1 (en) 2003-07-31 2004-07-13 Vehicle perimeter display device
EP04016752A EP1502816A1 (en) 2003-07-31 2004-07-15 Vehicle perimeter display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003204609A JP3832455B2 (ja) 2003-07-31 2003-07-31 車輌周囲表示装置

Publications (2)

Publication Number Publication Date
JP2005051403A true JP2005051403A (ja) 2005-02-24
JP3832455B2 JP3832455B2 (ja) 2006-10-11

Family

ID=33535621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003204609A Expired - Fee Related JP3832455B2 (ja) 2003-07-31 2003-07-31 車輌周囲表示装置

Country Status (3)

Country Link
US (1) US20050024494A1 (ja)
EP (1) EP1502816A1 (ja)
JP (1) JP3832455B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007058095A1 (ja) 2005-11-17 2007-05-24 Aisin Seiki Kabushiki Kaisha 車両周辺表示装置
JP2011184044A (ja) * 2011-06-15 2011-09-22 Aisin Seiki Co Ltd 車両周辺表示装置
WO2013046358A1 (ja) 2011-09-28 2013-04-04 トヨタ自動車株式会社 車輌側域照明/視認手段を備えた車輌
JP2013535753A (ja) * 2010-08-12 2013-09-12 ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー 表示装置に画像を表示する方法、および運転者支援システム
CN106080391A (zh) * 2016-06-23 2016-11-09 李传军 可测量物体实际距离的全方位视镜系统
JP2020091375A (ja) * 2018-12-04 2020-06-11 パナソニックIpマネジメント株式会社 情報提示システム、情報提示方法、プログラム、及び、移動体
EP3683668A1 (en) 2019-01-18 2020-07-22 Yazaki Corporation Vehicle display device
US11182601B2 (en) * 2019-03-29 2021-11-23 Deere & Company System for recognizing an operating intention at an operating unit that can be actuated manually
WO2024034740A1 (ko) * 2022-08-08 2024-02-15 김동일 인접 차선의 전방 확인이 가능한 차량용 사이드 미러 시스템

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4206978B2 (ja) * 2004-07-07 2009-01-14 日産自動車株式会社 赤外線撮像装置、並びに車両
US20060038895A1 (en) * 2004-08-19 2006-02-23 Nissan Motor, Co., Ltd. Image processing device
JP4321643B2 (ja) * 2007-08-10 2009-08-26 トヨタ自動車株式会社 周辺監視装置
FR2956364B1 (fr) * 2010-02-18 2016-01-29 Peugeot Citroen Automobiles Sa Dispositif d'aide aux manoeuvres d'un vehicule par affichage de points de vue fonction de la position de la tete du conducteur
DE102010053458B4 (de) * 2010-12-03 2023-06-22 Testo SE & Co. KGaA Verfahren zur Aufbereitung von IR-Bildern und korrespondierende Wärmebildkamera
CN102381249B (zh) * 2011-10-31 2013-10-02 武汉华中天经光电系统有限公司 全景车载红外告警设备
US9449390B1 (en) * 2015-05-19 2016-09-20 Ford Global Technologies, Llc Detecting an extended side view mirror
US10290158B2 (en) * 2017-02-03 2019-05-14 Ford Global Technologies, Llc System and method for assessing the interior of an autonomous vehicle
US10509974B2 (en) 2017-04-21 2019-12-17 Ford Global Technologies, Llc Stain and trash detection systems and methods
US10304165B2 (en) 2017-05-12 2019-05-28 Ford Global Technologies, Llc Vehicle stain and trash detection systems and methods
US11314346B2 (en) * 2018-11-30 2022-04-26 Lg Electronics Inc. Vehicle control device and vehicle control method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06321011A (ja) * 1993-05-17 1994-11-22 Mitsubishi Electric Corp 周辺視野表示装置
JP2000113398A (ja) * 1998-10-09 2000-04-21 Honda Motor Co Ltd 車両用表示装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4348186A (en) * 1979-12-17 1982-09-07 The United States Of America As Represented By The Secretary Of The Navy Pilot helmet mounted CIG display with eye coupled area of interest
US7415126B2 (en) * 1992-05-05 2008-08-19 Automotive Technologies International Inc. Occupant sensing system
US6856873B2 (en) * 1995-06-07 2005-02-15 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US5845000A (en) * 1992-05-05 1998-12-01 Automotive Technologies International, Inc. Optical identification and monitoring system using pattern recognition for use with vehicles
JP3031013B2 (ja) * 1991-11-15 2000-04-10 日産自動車株式会社 視覚情報提供装置
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
EP0812049A4 (en) * 1995-02-21 2000-06-07 Hitachi Ltd DEVICE AND METHOD FOR POWERING A VEHICLE, SEMICONDUCTOR CIRCUIT ELEMENT FOR USE IN THE SAME AND COMMON WIRING SYSTEM FOR A VEHICLE OR AUTOMOTIVE
US6275231B1 (en) * 1997-08-01 2001-08-14 American Calcar Inc. Centralized control and management system for automobiles
JP3511892B2 (ja) * 1998-05-25 2004-03-29 日産自動車株式会社 車両用周囲モニタ装置
JP2002204446A (ja) 2000-12-28 2002-07-19 Matsushita Electric Ind Co Ltd 車載後方確認装置と車載ナビゲーション装置
JP2002229542A (ja) * 2001-01-30 2002-08-16 Sony Corp 車載用映像切換装置
JP4815677B2 (ja) * 2001-02-20 2011-11-16 ソニー株式会社 自動車用ビデオカメラシステム及び自動車用アウトサイドミラー
DE10131720B4 (de) * 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
US7002551B2 (en) * 2002-09-25 2006-02-21 Hrl Laboratories, Llc Optical see-through augmented reality modified-scale display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06321011A (ja) * 1993-05-17 1994-11-22 Mitsubishi Electric Corp 周辺視野表示装置
JP2000113398A (ja) * 1998-10-09 2000-04-21 Honda Motor Co Ltd 車両用表示装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8115811B2 (en) 2005-11-17 2012-02-14 Aisin Seiki Kabushiki Kaisha Vehicle surrounding area display device
WO2007058095A1 (ja) 2005-11-17 2007-05-24 Aisin Seiki Kabushiki Kaisha 車両周辺表示装置
JP2013535753A (ja) * 2010-08-12 2013-09-12 ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー 表示装置に画像を表示する方法、および運転者支援システム
JP2011184044A (ja) * 2011-06-15 2011-09-22 Aisin Seiki Co Ltd 車両周辺表示装置
US9834132B2 (en) 2011-09-28 2017-12-05 Toyota Jidosha Kabushiki Kaisha Vehicle equipped with means for illuminating/watching a side area thereof
WO2013046358A1 (ja) 2011-09-28 2013-04-04 トヨタ自動車株式会社 車輌側域照明/視認手段を備えた車輌
CN106080391A (zh) * 2016-06-23 2016-11-09 李传军 可测量物体实际距离的全方位视镜系统
CN106080391B (zh) * 2016-06-23 2018-03-13 李传军 可测量物体实际距离的全方位视镜系统
JP2020091375A (ja) * 2018-12-04 2020-06-11 パナソニックIpマネジメント株式会社 情報提示システム、情報提示方法、プログラム、及び、移動体
JP7262040B2 (ja) 2018-12-04 2023-04-21 パナソニックIpマネジメント株式会社 情報提示システム、情報提示方法、プログラム、及び、移動体
EP3683668A1 (en) 2019-01-18 2020-07-22 Yazaki Corporation Vehicle display device
JP2020116965A (ja) * 2019-01-18 2020-08-06 矢崎総業株式会社 車両用表示装置
US10984658B2 (en) 2019-01-18 2021-04-20 Yazaki Corporation Vehicle display device for displaying an obstacle warning
US11182601B2 (en) * 2019-03-29 2021-11-23 Deere & Company System for recognizing an operating intention at an operating unit that can be actuated manually
WO2024034740A1 (ko) * 2022-08-08 2024-02-15 김동일 인접 차선의 전방 확인이 가능한 차량용 사이드 미러 시스템

Also Published As

Publication number Publication date
US20050024494A1 (en) 2005-02-03
JP3832455B2 (ja) 2006-10-11
EP1502816A1 (en) 2005-02-02

Similar Documents

Publication Publication Date Title
JP3832455B2 (ja) 車輌周囲表示装置
US10029621B2 (en) Rear view camera system using rear view mirror location
US7379089B2 (en) Apparatus and method for monitoring the immediate surroundings of a vehicle
US7136091B2 (en) Vehicle imaging apparatus, vehicle monitoring apparatus, and rearview mirror
JP4766841B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
US11433813B2 (en) Vehicular electronic mirror system
JP5310602B2 (ja) 車両用周辺監視システム
CN107298050B (zh) 图像显示装置
JP5093611B2 (ja) 車両周辺確認装置
JP2003081014A (ja) 車両周辺監視装置
JP5036891B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
EP1912157A1 (en) Digital image processing system for automatically representing surrounding scenes to the driver of a vehicle for driving assistance, and corresponding operating method
US10647260B2 (en) Vehicle surroundings display device
EP3166307B1 (en) Capturing device for a motor vehicle, driver assistance system as well as motor vehicle
JP7073991B2 (ja) 車両用周辺表示装置
JP2009073250A (ja) 車両後方表示装置
JP5445881B2 (ja) 車両周辺撮影装置
JP2019116220A (ja) 車両用視認装置
US20210362651A1 (en) Vehicle electronic mirror system
JP2006276964A (ja) 車両用表示装置
JP2021077976A (ja) 車載用表示システム
JP2007015663A (ja) 車両用監視モニタシステム
CN111201159B (zh) 用于机动车辆的改进的视频后视系统
JP4569215B2 (ja) 車両周辺視認装置
JP6637772B2 (ja) 車両周辺視認装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060710

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees