JP2023071487A - 表示制御装置及び表示制御方法 - Google Patents

表示制御装置及び表示制御方法 Download PDF

Info

Publication number
JP2023071487A
JP2023071487A JP2021184308A JP2021184308A JP2023071487A JP 2023071487 A JP2023071487 A JP 2023071487A JP 2021184308 A JP2021184308 A JP 2021184308A JP 2021184308 A JP2021184308 A JP 2021184308A JP 2023071487 A JP2023071487 A JP 2023071487A
Authority
JP
Japan
Prior art keywords
display
image
function
vehicle
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021184308A
Other languages
English (en)
Inventor
拓真 塩口
Takuma Shioguchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Faurecia Clarion Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faurecia Clarion Electronics Co Ltd filed Critical Faurecia Clarion Electronics Co Ltd
Priority to JP2021184308A priority Critical patent/JP2023071487A/ja
Priority to US17/982,905 priority patent/US20230143429A1/en
Priority to FR2211679A priority patent/FR3128916A1/fr
Publication of JP2023071487A publication Critical patent/JP2023071487A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/815Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Abstract

Figure 2023071487000001
【課題】車載表示装置の表示出力に対する高い操作性を実現すること。
【解決手段】車両の周囲を撮像した撮像画像を取得する画像取得手段と、前記車両の室内に設置される表示手段と前記車両の室内における乗員の乗車位置との間に所定領域を設定する領域設定手段と、前記所定領域に対応する表示機能を設定する機能設定手段と、前記乗員の視点に関わる位置を検出する視点位置検出手段と、前記表示手段に前記撮像画像を表示するように制御する画像制御手段と、を備え、前記画像制御手段は、前記視点に関わる位置が前記所定領域にあることを検出した場合、前記表示手段に表示される撮像画像に対して前記表示機能を実行する。
【選択図】図2

Description

本発明は、車載用の表示制御装置及び表示制御方法に関する。
従来、車両には各種の表示装置が搭載されている。
例えば、特許文献1には「運転者の頭部(上半身)を撮像するコックピットカメラ8を備え、画像処理手段による画像認識によって、運転者の視点30の位置を検知し、ディスプレイ装置3の表示画面35に、実際の視点30の位置に対応した視野映像(3a)が表示されるようにしている。」「運転者が車両1前方のより手前側の地表面9を確認したい場合は、頭部を前方に移動させてディスプレイ装置3の表示画面35を覗き込むようにすることで、スイッチなどによる操作を必要とせず、自然に視点移動が行える。」「車両1の前方の地表面9の陰面となっている領域9aを、表示画面35を透過して見渡すような効果が得られる。換言すれば、表示画面35の位置に車体構造物を貫通する覗き窓が設けられたような効果が得られる。」との記載がある。
また、特許文献2には、「運転席の前方に移動可能に配置された表示モニタ2と、表示モニタ2を移動する移動手段3,4と、車両の死角領域を含む車両前方領域を撮像する撮像手段5~7と、走行中に運転者が注視する注視点Paを判定する注視点判定手段12と、撮像手段5~7により撮像された画像のうち、視線判定手段12により判定された注視点Paの周囲の画像を表示モニタ2に表示させる表示制御手段13と、注視点判定手段12により判定された注視点Paに向かう運転者の視線Leに、表示モニタ2に表示される注視点Paの周囲の画像が近づくように移動手段3,4を制御する移動制御手段13とを備える。」との記載がある。
また、特許文献3には、「乗員室内に取り付けられた複数のディスプレイスクリーンを含む車両用のディスプレイシステムである。カメラは、ディスプレイスクリーンの位置に対応して、車外に取り付けられている。(複数の)センサが、ドライバーの眼の位置をセンシングするために、車両のドライバーに向けて配向されている。ディスプレイシステム用のECUは、ドライバーの眼の位置を分析し、目線を求める。カメラからの画像が、ドライバーの目線に対応するディスプレイスクリーン上に表示される。この結果、車両はドライバーの視界を妨害するのではなく、ディスプレイシステムは、車体がそこになかったら見られるであろう画像をドライバーに提供する。従って、ディスプレイシステムは、車体の仮想の透明部分を提供し、これによって、ドライバーに提供される視野が広がる。」との記載がある。
特開2019-043317号公報 特開2009-149230号公報 特表2014-534697号公報
従来の技術は、車体などによって生ずる死角を補い、仮想的な視界を提供する表示出力が可能である。しかしながら、従来の技術では、表示出力に対して乗員が能動的な操作等を行うことを十分に想定しているとは言えない。例えば、直接目視しているものをよく見たい場合には顔を近づけることが自然な動作であるが、表示装置に表示された物体をよく見たい場合に表示装置に顔を近づけたとしても、表示装置の解像度等が変わるわけではないため、直接目視している物に顔を近づけたようには視認性は向上しない。表示された物体をよく見たい場合には、拡大表示などを行う必要があるが、車載の表示装置、特に視界の補助を主目的とする表示装置は、このような操作に対応していない。また、拡大表示に限らず、表示出力に対して他の情報を追加する等の操作が求められる場合もある。
さらに、車載の表示装置では、着座位置による制限や安全運転の確保などの観点から、各種操作を行う場合の操作性が非常に重要である。
そこで、本発明では、車載表示装置の表示出力に対する高い操作性を実現することを目的とする。
上記目的を達成するために、代表的な本発明の表示制御装置の一つは、車両の周囲を撮像した撮像画像を取得する画像取得手段と、前記車両の室内に設置される表示手段と前記車両の室内における乗員の乗車位置との間に所定領域を設定する領域設定手段と、前記所定領域に対応する表示機能を設定する機能設定手段と、前記乗員の視点に関わる位置を検出する視点位置検出手段と、前記表示手段に前記撮像画像を表示するように制御する画像制御手段と、を備え、前記画像制御手段は、前記視点に関わる位置が前記所定領域にあることを検出した場合、前記表示手段に表示される撮像画像に対して前記表示機能を実行する。
本発明によれば、車載表示装置の表示出力に対する高い操作性を実現することができる。上記した以外の課題、構成及び効果は以下の実施の形態の説明により明らかにされる。
実施例1の表示制御装置の概要を説明する説明図 実施例1の表示制御装置の構成図 領域の設定時の処理手順を示すフローチャート 運用時の処理手順を示すフローチャート 設定時の画面出力の具体例 領域に機能を対応付ける処理の具体例 領域サイズ変更の処理の具体例 領域数の増減の具体例 表示機能の具体例の説明図 複数の領域を利用した拡大機能の説明図
以下、実施例を図面を用いて説明する。
図1は、実施例1の表示制御装置の概要を説明する説明図である。車両10のダッシュボードには表示手段であるディスプレイ30が取り付けられている。ディスプレイ30は、一例としてダッシュボードの運転席側から助手席側までを表示領域とする。車両10に搭載された表示制御装置は、運転者である乗員U1の状態を車内カメラにより取得し、乗員U1(U1a、U1b)の視点に関わる位置(例えば頭部)を検出して、ディスプレイ30への表示制御を行う。
具体的には、表示制御装置は、乗員U1の頭部の位置に基づいて、車外カメラにより撮像した画像を加工し、乗員U1の視点から見えると推定される車外の画像を仮想視界画像としてディスプレイ30に表示させることで、ディスプレイ30を仮想的に透過した視界V2を提供する。この結果、乗員U1が直接目視可能な視界V1と仮想的な視界V2とが連続し、乗員U1の視界を拡張することができる。
図1では、車両10の前方に障害物D1が存在する場合を示している。障害物D1は、車両10のボンネットに遮蔽され、直接目視可能な視界V1には含まれていない。しかし、ディスプレイ30が仮想視界画像を表示することで提供した仮想的な視界V2により、乗員U1は障害物D1を視認することができる。
さらに、表示制御装置は、乗員U1の頭部とディスプレイ30との位置関係に応じて、ディスプレイ30の表示に関する機能を実行する。
具体例として、図1の乗員U1aは、通常のドライビングポジションで運転操作を行っている状態を示す。一方、乗員U1bは、ディスプレイ30に顔を近づけて前のめりの姿勢になっている状態を示す。
表示制御装置は、乗員U1の頭部がディスプレイ30の近傍に設定した所定の領域に入った場合に、障害物D1を拡大表示する機能を実行する。
このため、ディスプレイ30は、乗員U1がU1aとして示す状態にある場合は、その視点から見えると推定される障害物D1の像を障害物像D1aとして表示しているが、乗員U1がU1bとして示す状態にある場合は、障害物D1の像を拡大した障害物像D1bを表示する。
換言するならば、障害物像D1bは、乗員U1aの位置から見えると推定される像よりも大きく、乗員U1bは、障害物D1について詳細な確認が可能となる。
対象物をよく見たい場合に対象に顔を近づけるのは自然な動作であり、この動作を拡大表示を要求する操作として受け付けることで、高い操作性で拡大表示機能を実行することができる。また、ディスプレイ30に対して接触する必要が無い点も、操作性の向上に貢献する。
図2は、実施例1の表示制御装置の構成図である。図2に示すように、表示制御装置は、車外カメラ11、車内カメラ12、処理部20及びディスプレイ30を有する。また、図示を省略したが、表示制御装置は任意の入力インタフェースを備える。入力インタフェースは、ディスプレイ30と一体化したタッチパネルであってもよいし、物理的なボタンであってもよい。本実施例では、ディスプレイ30に一体化したタッチパネルを備えるものとして説明を行う。
車外カメラ11は、車両の周囲を撮像した撮像画像を取得する画像取得手段である。
車内カメラ12は、前記車室内を撮像する撮像手段であり、車室内の乗員の状態を取得するセンサとして機能する。
ディスプレイ30は、前記車両の室内に設置される表示手段である。
処理部20は、視点位置検出部21、領域設定部22、機能設定部23及び画像制御部24を有する。処理部20をコンピュータで実現する場合には、CPU(Central Processing Unit)がプログラムを実行することで、視点位置検出部21、領域設定部22、機能設定部23及び画像制御部24に対応する機能を実現すればよい。
視点位置検出部21は、乗員の視点に関わる位置を検出する視点位置検出手段である。具体的には、視点位置検出部21は、車内カメラ12が撮像した画像に対する画像認識処理を行い、乗員の頭部位置を乗員の視点に関わる位置として検出する。
領域設定部22は、車両の室内における乗員の乗車位置とディスプレイ30との間に所定領域を設定する領域設定手段である。
機能設定部23は、所定領域に対応する表示機能を設定する機能設定手段である。表示機能としては、撮像画像の拡大、撮像画像への経路情報の追加表示、コンテンツ再生に関する情報表示など、任意の機能を設定することができる。
画像制御部24は、ディスプレイ30に撮像画像を表示するよう制御する画像制御手段である。ディスプレイ30に表示する撮像画像は、車外カメラ11が撮像したままの撮像画像を用いてもよいが、車外カメラ11が撮像した撮像画像から仮想視界画像を生成し、仮想視界画像をディスプレイ30に表示する撮像画像とすることが好適である。
仮想視界画像は、視点位置検出部21により検出された視点位置に基づき、乗員の視点から見えると推定される車外の画像を生成したものである。
さらに、画像制御部24は、乗員の頭部(視点に関わる位置)が領域設定部22により設定された領域にあることを検出した場合に、ディスプレイ30に表示される撮像画像に対して、機能設定部23により設定された表示機能を実行する。このとき、ディスプレイ30に表示される撮像画像が仮想視界画像であれば、画像制御部24は、仮想視界画像に対して表示機能を実行することになる。
例えば、領域設定部22がディスプレイ30の近傍に領域を設定し、その領域に機能設定部23が拡大表示機能を対応付けていれば、画像制御部24は、頭部がディスプレイ30に接近して領域に入った場合に、可視視界画像を拡大してディスプレイ30に表示させる。このとき、拡大の対象は、可視視界画像の一部であってもよい。例えば、乗員の視線の検知などにより乗員が注目している可視視界画像上のオブジェクトを特定し、特定したオブジェクトを選択的に拡大してもよい。
また、機能設定部23が対応付けた機能が「経路情報の追加表示」であれば、画像制御部24は、頭部がその領域に入った場合に、仮想視界画像に対して経路情報を重畳する。
同様に、機能設定部23が対応付けた機能が「音楽情報の表示」であれば、画像制御部24は、頭部がその領域に入った場合に、音楽に関する情報を表示する。例えば、乗員がその時に流れている楽曲に興味を持ってディスプレイ30に顔を近づけると、その楽曲の曲名やアーティスト名を表示する、といった情報提供が可能である。
領域設定部22は、所定領域にディスプレイ30までの距離が異なる複数の分割領域を設定することができる。このとき、機能設定部23は、複数の分割領域にそれぞれ機能を設定することができる。例えば、複数の分割領域に対し、拡大率の異なる拡大表示機能を設定すれば、ディスプレイ30に顔を近づけるほど対象を大きく表示する、といった処理が可能である。
図3は、領域の設定時の処理手順を示すフローチャートである。表示制御装置の処理部20は、領域設定の機能を呼び出された場合に、図3に示した処理手順を順次実行する。
処理が開始すると、まず、車内カメラ12による画像の取得を開始する(ステップS101)。視点位置検出部21は、車内カメラ12により取得された画像から視点位置(例えば頭部)を検出する処理を開始する(ステップS102)。また、画像制御部24は、視点位置とディスプレイ30との位置関係の表示を開始する(ステップS103)。
領域設定部22は、乗員からの入力操作を受け付けて、領域の増減(ステップS104)と、領域サイズ変更(ステップS105)を行う。機能設定部23は、各領域に対応付ける機能の選択を受け付ける(ステップS106)。
その後、確定の操作を受け付けるまでステップS104~S106は繰り返される。確定の操作を受け付けたならば(ステップS107;Yes)、画像制御部24は、領域と機能の設定内容を記憶して(ステップS108)、領域設定の処理を終了する。
図4は、運用時の処理手順を示すフローチャートである。表示制御装置の処理部20は、車載機器に電源が供給されている場合に、図4に示した処理手順を繰り返し実行する。まず、車外カメラ11及び車内カメラ12が、それぞれ画像を取得する(ステップS201)。
視点位置検出部21は、車内カメラ12により取得された画像から視点位置(例えば頭部)を検出する(ステップS202)。画像制御部24は、視点位置と車外カメラ11の画像から仮想視界画像を生成し(ステップS203)、仮想視界画像をディスプレイ30に表示させる仮想視界画像表示処理を行う(ステップS204)。
さらに画像制御部24は、視点位置の所在する領域を判定する(ステップS205)。視点位置の所在する領域に対応する機能が設定されているならば(ステップS206;Yes)、画像制御部24はその機能を呼び出して実行し(ステップS207)、処理を終了する。処理の終了後は、ステップS201を再び開始することになる。視点位置の所在する領域に対応する機能が設定されていなければ(ステップS206;No)、そのまま処理を終了し、再びステップS201を開始する。
図5は、設定時の画面出力の具体例である。設定時には、ディスプレイ30は、座席イメージG1、頭部イメージG2(G2a、G2b)、ディスプレイイメージG3、領域追加ボタンG4、領域削除ボタンG5を表示する。
座席イメージG1は、乗員の乗車位置を模式的に示すための画像である。頭部イメージG2は、乗員の頭部の位置を模式的に示すための画像である。ディスプレイイメージG3は、ディスプレイ30の位置を模式的に示すための画像である。頭部イメージG2は、視点位置検出部21による検出結果に基づいて配置され、頭部が座席及びディスプレイ30に対してどの位置にあるかを示すことができる。
境界インジケータG10は、乗車位置とディスプレイ30の間に設定された領域の境界を示す。図5では、座席イメージG1から境界インジケータG10までが領域A1、境界インジケータG10からディスプレイイメージG3までが領域A2として設定されている。
また、各領域には表示機能を示す機能アイコンが表示されている。領域A1に表示された機能アイコンG11は、「表示機能未設定」を示す。領域A2に表示された機能アイコンG12は、「拡大表示機能」を示す。
ここで、頭部イメージG2の位置は、視点位置検出部21による検出結果を用いてリアルタイムで変更される。図5の頭部イメージG2aは、通常のドライビングポジションで運転操作を行っている状態での頭部の位置を示している。頭部イメージG2bは、ディスプレイ30に顔を近づけて前のめりの姿勢になっている状態での頭部の位置を示している。このように、リアルタイムで頭部の位置を表示することで、乗員は、自らの頭部の位置と領域との関係を容易に認識可能である。
図6は、領域に機能を対応付ける処理の具体例である。図6に示すように、領域A2の機能アイコンG12に対する長押し操作を受け付けると、画像制御部24は、選択可能な表示機能を表示する。図6では、「拡大表示機能」の機能アイコンG12、「経路情報の追加表示」の機能アイコンG13、「音楽情報の表示」の機能アイコンG14が表示されている。機能アイコンG13が選択されると、以降、領域A2には機能アイコンG13が表示される。このとき、機能設定部23は、領域A2に「経路情報の追加表示」を対応付ける。
図7は、領域サイズ変更の処理の具体例である。図7に示すように境界インジケータG10をスライドさせる操作を受け付けると、画像制御部24は、スライドの量に応じて境界インジケータG10の位置を変更する。このとき、領域設定部22は、変更後の位置に合わせて領域A1及び領域A2のサイズを変更する。
図8は、領域数の増減の具体例である。図8に示すように、領域A1と領域A2が設定された状態で領域追加ボタンG4の操作を受け付けると、新たに領域A3が追加される。一例として、追加の領域は最もディスプレイ30に近い既存の領域を2分割して生成すればよい。また、追加の領域の表示機能は、分割元の領域と同一としてもよいし、既存領域に設定されていない表示機能を初期値として与えてもよい。
領域A1と領域A2が設定された状態で領域削除ボタンG5の操作を受け付けると、領域A2が削除される。この結果、表示機能が設定されていない領域A1のみが残る。言い換えれば、表示機能が設定された領域が全て削除された状態である。
複数の領域が存在する状態で削除操作を受け付けた場合に、どの領域を削除するかは任意に設定可能であるが、一例として、表示機能が設定されている領域と表示機能が設定されていない領域が存在する場合には、表示機能が設定されている領域を優先的に削除すればよい。この優先順序は、表示機能を「乗員の明示的な操作に応じて実行する追加の機能」として位置付けるものである。かかる位置づけを採用するならば、通常のドライビングポジションに対応する領域は、常に「表示機能未設定」となるようにすることが好適である。
表示機能未設定の領域A1のみの状態で、領域追加ボタンG4が操作された場合には、ディスプレイ30側に新規の領域A2を追加し、初期状態の表示機能として「拡大表示機能」を設定することとしてもよい。
図9は、表示機能の具体例の説明図である。
乗員の頭部が移動し、「拡大表示機能」が設定された領域に入ったならば、画像制御部24は、障害物像D1aを拡大して障害物像D1bを表示する。
同様に、乗員の頭部が移動し、「経路情報の追加表示」が設定された領域に入ったならば、画像制御部24は、経路情報N1を表示する。
図10は、複数の領域を利用した拡大機能の説明図である。図10では、乗員の乗車位置からディスプレイ30までの間に領域A1~A3が順次設定されている。領域A1は、表示機能未設定である。領域A2と領域A3は拡大表示機能が設定されている。言い換えれば、領域A2と領域A3は、表示機能が設定された所定領域に設けられた分割領域であり、領域A2と領域A3には異なる拡大率が設定されている。拡大率の異なる拡大表示は、個別の表示機能としてもよいし、単一の機能を重複させて拡大率を異ならせてもよい。例えば、拡大表示機能の拡大率を一律「1.2」とし、領域A1から領域A2に入ったときの拡大率を「1.2」、領域A2から領域A3に入ったときの拡大率を「1.2×1.2=1.44」とすることで、拡大の重複が可能である。
図10では、乗員の頭部が領域A1に所在する場合には、拡大率が「1」に相当する障害物像D1aが表示され、領域A2に入ったときに拡大率が「1.2」の障害物像D1bが表示され、領域A3に入ったときに拡大率が「1.44」の障害物像D1cが表示される。このように、分割領域に異なる拡大率を対応させることで、頭部の位置に応じて段階的に拡大を行うことができる。
上述してきたように、開示の装置は、車両の周囲を撮像した撮像画像を取得する画像取得手段と、前記車両の室内に設置される表示手段と、前記車両の室内における乗員の乗車位置と前記表示手段との間に所定領域を設定する領域設定手段と、前記所定領域に対応する表示機能を設定する機能設定手段と、前記乗員の視点に関わる位置を検出する視点位置検出手段と、前記表示手段に前記撮像画像を表示するように制御する画像制御手段と、を備え、前記画像制御手段は、前記視点に関わる位置が前記所定領域にあることを検出した場合、前記表示手段に表示される撮像画像に対して前記表示機能を実行することを特徴とする。
かかる構成及び動作によれば、乗員が視点(眼、頭部、顔)を特定のエリア(好ましくはディスプレイに近い領域)に移動させるだけで、特別な操作を行うことなく、自車両周辺の遠方の状況を確認したり(カメラ画像の拡大表示)、運転に必要なカメラ画像以外の情報(ナビゲーション情報等)の確認をしたりすることが可能になる。
このため、車載表示装置の表示出力に対する高い操作性が実現できる。
また、開示の装置によれば、前記画像制御手段は、前記乗員の視点に関わる位置に基づいて前記撮像画像を加工して、前記乗員の視点から見えると推定される車外の画像である仮想視界画像を生成し、前記視点に関わる位置が前記所定領域にあることを検出した場合には、前記仮想視界画像に対して前記表示機能を実行する。
このため、乗員の視点に応じた仮想の視界を提供しつつ、乗員が表示手段に顔を近づけたときには、追加の機能を呼び出すことができる。
また、開示の装置によれば、前記領域設定手段は、前記所定領域に前記表示手段までの距離が異なる複数の分割領域を設定し、前記機能設定手段は、前記複数の分割領域に異なる拡大率を設定する。
かかる構成及び動作によれば、乗員の頭部の位置に応じて段階的に拡大を行うことができる。
なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、かかる構成の削除に限らず、構成の置き換えや追加も可能である。
例えば、運転者以外に他の乗員がいる場合に、他の乗員を対象に本発明を適用してもよい。また、複数の乗員のうち、特定の乗員を指定して本発明の適用対象としてもよい。
また、車内カメラ以外の任意のセンサ、例えば、LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)や、据え置きされたスマートフォンなどから乗員の状態を取得してもよい。さらに、複数のセンサ、複数種類のセンサの出力を組み合わせて用いることもできる。
また、複数の領域に機能を設定する場合に、関連する機能を設定することとしてもよい。例えば、乗員が表示手段に顔を近づけると、まず空調のメインメニューが起動し、さらに顔を近づけると温度設定を上昇させる、といった処理を行わせることができる。
また、開示の実施例では、領域を表示画面上で設定する例を示したが、ディスプレイと視点位置との位置関係は、任意の方法で指定することができる。例えば、ディスプレイからの距離や、予め所定の基準で区分した車内の空間を指定するものであってもよい。本発明において領域とは、視点位置に基づいて表示機能を起動するか否かを判別できるものであればよい。
また、上記の実施例では、ボンネットを透過して仮想の視界を提供するディスプレイに本発明を適用する場合を例示したが、ピラーを透過する視界を提供するピラーモニター、サイドミラーの機能を提供する電子ミラー、バックモニタなどに本発明を適用してもよい。
さらに、例えばピラーモニターと電子ミラーを搭載する場合のように、複数の表示装置が搭載され、それぞれが本発明の機能を有する場合には、それぞれの表示装置ごとに領域と機能を設定することができる。この場合には、乗員の視界を判定し、本発明の機能を実行させる表示装置を選択することが好適である。
11:車外カメラ、12:車内カメラ、20:処理部、21:視点位置検出部、22:領域設定部、23:機能設定部、24:画像制御部、30:ディスプレイ

Claims (7)

  1. 車両の周囲を撮像した撮像画像を取得する画像取得手段と、
    前記車両の室内に設置される表示手段と前記車両の室内における乗員の乗車位置との間に所定領域を設定する領域設定手段と、
    前記所定領域に対応する表示機能を設定する機能設定手段と、
    前記乗員の視点に関わる位置を検出する視点位置検出手段と、
    前記表示手段に前記撮像画像を表示するように制御する画像制御手段と、を備え、
    前記画像制御手段は、前記視点に関わる位置が前記所定領域にあることを検出した場合、前記表示手段に表示される撮像画像に対して前記表示機能を実行することを特徴とする表示制御装置。
  2. 前記画像制御手段は、前記乗員の視点に関わる位置に基づいて前記撮像画像を加工して、前記乗員の視点から見えると推定される車外の画像である仮想視界画像を生成し、前記視点に関わる位置が前記所定領域にあることを検出した場合には、前記仮想視界画像に対して前記表示機能を実行することを特徴とする請求項1に記載の表示制御装置。
  3. 前記表示機能は、前記撮像画像の拡大であることを特徴とする請求項1に記載の表示制御装置。
  4. 前記機能設定手段は、前記表示手段の近傍に設定された前記所定領域に前記撮像画像を拡大する表示機能を設定し、
    前記画像制御手段は、前記視点に関わる位置が前記表示手段に接近して前記所定領域に入った場合に、前記撮像画像を拡大して前記表示手段に表示させる
    ことを特徴とする請求項3に記載の表示制御装置。
  5. 前記領域設定手段は、前記所定領域に前記表示手段までの距離が異なる複数の分割領域を設定し、
    前記機能設定手段は、前記複数の分割領域に異なる拡大率を設定する
    ことを特徴とする請求項3に記載の表示制御装置。
  6. 前記表示機能は、前記表示手段に表示される撮像画像への経路情報の追加表示であることを特徴とする請求項1に記載の表示制御装置。
  7. 車両の室内に設置された表示手段の表示を制御する表示制御装置が、
    前記車両の周囲を撮像した撮像画像を取得する画像取得ステップと、
    前記車両の室内における乗員の乗車位置と前記表示手段との間に所定領域を設定する領域設定ステップと、
    前記所定領域に対応する表示機能を設定する機能設定ステップと
    前記乗員の視点に関わる位置を検出する視点位置検出ステップと、
    前記表示手段に前記撮像画像を表示するように制御する画像制御ステップと、を含み
    前記画像制御ステップは、前記視点に関わる位置が前記所定領域にあることを検出した場合、前記表示手段に表示される撮像画像に対して前記表示機能を実行することを特徴とする表示制御方法。
JP2021184308A 2021-11-11 2021-11-11 表示制御装置及び表示制御方法 Pending JP2023071487A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021184308A JP2023071487A (ja) 2021-11-11 2021-11-11 表示制御装置及び表示制御方法
US17/982,905 US20230143429A1 (en) 2021-11-11 2022-11-08 Display controlling device and display controlling method
FR2211679A FR3128916A1 (fr) 2021-11-11 2022-11-09 Dispositif de commande d’affichage et procédé de commande d’affichage

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021184308A JP2023071487A (ja) 2021-11-11 2021-11-11 表示制御装置及び表示制御方法

Publications (1)

Publication Number Publication Date
JP2023071487A true JP2023071487A (ja) 2023-05-23

Family

ID=86229799

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021184308A Pending JP2023071487A (ja) 2021-11-11 2021-11-11 表示制御装置及び表示制御方法

Country Status (3)

Country Link
US (1) US20230143429A1 (ja)
JP (1) JP2023071487A (ja)
FR (1) FR3128916A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011830A (zh) * 2023-08-16 2023-11-07 微牌科技(浙江)有限公司 图像识别方法、装置、计算机设备、存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6384188B2 (ja) * 2014-08-12 2018-09-05 ソニー株式会社 車両用表示装置と表示制御方法および後方モニタリングシステム
JP7345114B2 (ja) * 2020-03-25 2023-09-15 パナソニックIpマネジメント株式会社 車両用表示制御装置、表示制御方法、およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011830A (zh) * 2023-08-16 2023-11-07 微牌科技(浙江)有限公司 图像识别方法、装置、计算机设备、存储介质
CN117011830B (zh) * 2023-08-16 2024-04-26 微牌科技(浙江)有限公司 图像识别方法、装置、计算机设备、存储介质

Also Published As

Publication number Publication date
FR3128916A1 (fr) 2023-05-12
US20230143429A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
JP6665819B2 (ja) 車載表示装置
US8700309B2 (en) Multiple visual display device and vehicle-mounted navigation system
JP4758087B2 (ja) 表示装置
CN109383241B (zh) 用于防晒的系统和方法
KR102204250B1 (ko) Ar 디스플레이 유닛 상에 내비게이션 경로를 표시하기 위한 증강 현실 오버레이를 계산하기 위한 방법, 이 방법을 수행하기 위한 장치 및 자동차 그리고 컴퓨터 프로그램
JP5064601B2 (ja) 車載用映像表示装置
CN107298050B (zh) 图像显示装置
US10691122B2 (en) In-vehicle system
JP6515028B2 (ja) 車両用操作装置
JP6464869B2 (ja) 操作システム
JP4849333B2 (ja) 車両用視覚補助装置
JP7125851B2 (ja) 車両用表示装置
US20100156782A1 (en) Hand Control Image For Replication
JP2006264615A (ja) 車両用表示装置
KR101946746B1 (ko) 차량에서 비-차량 오브젝트의 위치 결정
JP2023071487A (ja) 表示制御装置及び表示制御方法
JP2008195141A (ja) 車載機器の操作支援装置、操作支援方法
JP2007302154A (ja) 車載用入力装置
JP6375715B2 (ja) 視線入力装置
JP6669017B2 (ja) 車両用操作システム及びコンピュータプログラム
JP2007212342A (ja) 車両用表示装置
JP2008014871A (ja) 車載電子装置
TW201926050A (zh) 車輛多螢幕控制系統及車輛多螢幕控制方法
JP7480756B2 (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法及び車両用表示制御プログラム
JP2023049787A (ja) ミラー位置登録制御装置