JP2017196911A - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP2017196911A
JP2017196911A JP2016086674A JP2016086674A JP2017196911A JP 2017196911 A JP2017196911 A JP 2017196911A JP 2016086674 A JP2016086674 A JP 2016086674A JP 2016086674 A JP2016086674 A JP 2016086674A JP 2017196911 A JP2017196911 A JP 2017196911A
Authority
JP
Japan
Prior art keywords
image
extraction range
reference position
display unit
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016086674A
Other languages
English (en)
Other versions
JP6770330B2 (ja
Inventor
潤一郎 尾中
Junichiro Onaka
潤一郎 尾中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2016086674A priority Critical patent/JP6770330B2/ja
Publication of JP2017196911A publication Critical patent/JP2017196911A/ja
Application granted granted Critical
Publication of JP6770330B2 publication Critical patent/JP6770330B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】車両の周囲画像等の抽出画像の利用に関するユーザの利便性を向上可能な画像表示装置を提供する。【解決手段】画像表示装置12の画像制御部84は、ユーザ100が表示部50を注視していると注視判定部82が判定した場合、表示部50に対するユーザ100の目104の相対位置を示す基準位置Prefに応じて撮像画像Icpの抽出範囲Rsbを変化させる。また、画像制御部84は、ユーザ100が表示部50を注視していないと注視判定部82が判定した場合、抽出範囲Rsbを固定する。【選択図】図2

Description

本発明は、カメラの撮像画像の一部を抽出した抽出画像を表示する画像表示装置に関する。
特許文献1では、表示手段(後側方モニタ)を通じての視認可能領域を運転者の好みに応じて変更可能な運転支援装置を提供することを課題としている([0004]、要約)。当該課題を解決するため、特許文献1(要約)において、運転支援装置10は、車両に設けられ車外の所定領域を撮影可能な外界カメラ13と、外界カメラ13が撮影した映像を車両の運転者に視認可能に表示するモニタ15とを備える。さらに、運転支援装置10は、外界カメラ13により撮影された映像の中で前記所定領域より狭い領域を設定する領域設定手段を備える。モニタ15は、前記領域設定手段により設定された設定領域S’のみを視認可能とする。
特許文献1では、運転者の眼球の位置(アイポイント)に基づいて設定領域S’の位置を自動的に変更する([0038]〜[0041])。
特許文献2では、バックミラーの使用感に近い車両周囲確認用モニタ装置を提供することを目的としている([0007]、要約)。当該目的を達成するため、特許文献2(要約)では、車両後方を撮像するバックカメラ11で撮像された入力画像Voを処理する画像処理手段14と、処理された出力画像Va,Vbを表示する画像表示手段12と、運転者D(Da,Db)の頭部の相対的位置を検出する姿勢検出手段13とを設ける。画像処理手段14は、姿勢検出手段13が検出した運転者頭部の相対的位置に基づいて、入力画像Voの全撮像範囲から一部を切り出して出力画像Va,Vbとする処理を実行可能である。加えて、画像処理手段14は、姿勢検出手段13に検出される運転者頭部の相対的位置の変位量に応じて、その変位方向と逆方向に入力画像Voの切出し範囲(Va,Vb)を移動させる処理を実行可能である。
特開2008−018760号公報 特開2013−216286号公報
上記のように、特許文献1では、運転者のアイポイントに基づいて設定領域S’(モニタ15の表示領域)を自動的に設定する([0038]〜[0041])。特許文献1では、運転者がモニタ15を見ているか否かにかかわらず設定領域S’が自動的に設定されてしまう。このため、運転者がモニタ15を見ていない場合にも、設定領域S’が頻繁に変化することになり煩わしい。
同様に、特許文献2では、運転者頭部の相対位置に基づいて画像表示手段12における出力画像Va,Vbの範囲を設定する(要約)。特許文献2では、運転者が画像表示手段12を見ているか否かにかかわらず出力画像Va,Vbの範囲が自動的に設定されてしまう。このため、運転者が画像表示手段12を見ていない場合にも、出力画像Va,Vbの範囲が頻繁に変化することになり煩わしい。
本発明は上記のような課題を考慮してなされたものであり、車両の周囲画像等の抽出画像の利用に関するユーザの利便性を向上可能な画像表示装置を提供することを目的とする。
本発明に係る画像表示装置は、
カメラの撮像画像の一部を抽出した抽出画像を表示部に表示させる画像制御部と、
前記表示部に対するユーザの目の相対位置を示す基準位置を検出する基準位置検出部と
を備えるものであって、
前記画像表示装置は、前記ユーザが前記表示部を注視しているか否かを判定する注視判定部をさらに備え、
前記画像制御部は、
前記ユーザが前記表示部を注視していると前記注視判定部が判定した場合、前記撮像画像の抽出範囲を前記基準位置に応じて変化させ、
前記ユーザが前記表示部を注視していないと前記注視判定部が判定した場合、前記撮像画像の抽出範囲を固定する
ことを特徴とする。
本発明によれば、ユーザが表示部を注視している場合、表示部に対するユーザの目の相対位置を示す基準位置(例えば目、頭、鼻又は肩の位置)に応じて撮像画像の抽出範囲を変化させる。一方、ユーザが表示部を注視していない場合、基準位置にかかわらず撮像画像の抽出範囲を固定する。このため、ユーザが表示部を注視していないにもかかわらず撮像画像の抽出範囲が変化することにより生じる煩わしさを解消することが可能となる。従って、抽出画像(例えば車両の周囲画像)の利用に関するユーザの利便性を向上できる。
前記基準位置が前記ユーザの頭の位置又は目の位置である場合、ユーザが表示部を注視していない状態で頭の位置又は眼球の位置が変化しても、撮像画像の抽出範囲は固定されたままとなる。このため、ユーザが周辺監視等の目的(周辺視)のために頭又は目の位置を変化させた場合でも、撮像画像の抽出範囲は固定されたままとなる。従って、周辺監視等の際のユーザの利便性を向上することが可能となる。
前記画像制御部は、前記ユーザが前記表示部を注視している状態で前記基準位置が所定条件の変化をしたとき、前記抽出画像に別のカメラが撮像した別の撮像画像の一部又は全部を合わせて前記表示部に表示させてもよい。これにより、ユーザの基準位置が所定条件の変化をしたときには、1つの表示部に複数の画像を表示することでユーザの利便性を向上することが可能となる。
前記画像制御部は、位置センサが検出した前記表示部の位置に基づいて前記抽出範囲を変化させてもよい。これにより、ユーザが表示部の位置を調整可能な構成において、表示部の位置の変化に応じた抽出画像を表示することが可能となる。
前記画像制御部は、前記表示部の位置が、仮想的な前記基準位置である仮想基準位置又は前記基準位置自体に対して左右方向に移動した場合、上下方向における前記抽出範囲の縮尺を維持したまま前記抽出範囲を左右方向に移動させてもよい。また、前記画像制御部は、前記表示部の位置が前記仮想基準位置又は前記基準位置に対して上下方向に移動した場合、左右方向における前記抽出範囲の縮尺を維持したまま前記抽出範囲を上下方向に移動させてもよい。
これにより、ユーザが表示部を仮想基準位置又は基準位置に対して左右方向又は上下方向に移動させることが可能な構成において、表示部の位置の変化に応じた抽出画像を表示することが可能となる。
前記画像制御部は、前記表示部の位置が、前記仮想基準位置又は前記基準位置自体に対して前後方向に移動した場合、前記抽出範囲を拡大又は縮小してもよい。これにより、ユーザが表示部を仮想基準位置又は基準位置に対して前後方向に移動させることが可能な構成において、表示部の位置の変化に応じた抽出画像を表示することが可能となる。
本発明によれば、車両の周囲画像等の抽出画像の利用に関するユーザの利便性を向上可能となる。
本発明の一実施形態に係る画像表示装置を搭載した車両の概略構成図である。 前記実施形態におけるミラー表示制御のフローチャートである。 前記実施形態における抽出範囲設定制御のフローチャート(図2のS16の詳細)である。 前記実施形態において抽出範囲を変化させる方法を説明するための第1図である。 前記実施形態において前記抽出範囲を変化させる方法を説明するための第2図である。 前記実施形態において前記抽出範囲を変化させる方法を説明するための第3図である。 前記実施形態における基準抽出範囲設定制御のフローチャートである。
A.一実施形態
<A−1.構成>
[A−1−1.全体構成]
図1は、本発明の一実施形態に係る画像表示装置12を搭載した車両10の概略構成図である。図1に示すように、画像表示装置12は、後方カメラ20と、側方カメラ22a、22bと、運転者カメラ24と、後席カメラ26と、電子ルームミラー28と、ミラー位置調整機構30と、ミラー位置センサ32と、電子制御装置34(以下「ECU34」という。)とを有する。本実施形態の車両10は、右ハンドル車である。代わりに、左ハンドル車であっても同様の構成を採用することができる。以下では、後方カメラ20、側方カメラ22a、22b、運転者カメラ24及び後席カメラ26をカメラ20、カメラ22a、22b、24、26ともいう。
[A−1−2.後方カメラ20]
後方カメラ20は、車両10後方の画像(以下「後方画像Irr」という。)を撮像するカラーカメラである。後方画像Irrは、車両10が後退する際に電子ルームミラー28に表示されて運転者100(図4〜図6)の操作を補助すると共に、車両10の通常走行時に車両10の後方を運転者100が確認するためのものである。
後方カメラ20は、車両10の後部において車両10の後方を向いて配置される。より具体的には、後方カメラ20は、例えばリアバンパに配置される。或いは、後方カメラ20は、車室内においてリアウィンドウの近傍(例えばルーフ)に配置されてもよい。後方カメラ20が撮像した後方画像Irrのデータは、ECU34に出力される。
[A−1−3.側方カメラ22a、22b]
側方カメラ22a、22bは、車両10側方の画像(以下「側方画像Isd」という。)を撮像するカラーカメラである。側方カメラ22a(以下「左側方カメラ22a」ともいう。)は、車両10の左側方の画像(以下「左側方画像Ilt」という。)を撮像する。側方カメラ22b(以下「右側方カメラ22b」ともいう。)は、車両10の右側方の画像(以下「右側方画像Irt」という。)を撮像する。側方画像Isdは、車両10の通常走行時又は後退時に車両10の側方(後側方を含む。)を運転者100が確認するためのものである。
側方カメラ22a、22bは、車両10の側部(例えばサイドミラー)において車両10の後側方を向いて配置される。側方カメラ22a、22bが撮像した側方画像Isdのデータは、ECU34に出力される。
[A−1−4.運転者カメラ24]
運転者カメラ24は、運転者100(図4〜図6)の略正面の画像(以下「運転者画像Idr」という。)を撮像するカラーカメラである。運転者画像Idrは、運転者100の基準位置Pref及び視線方向Dlsを確認するためのものである(詳細は後述する。)。運転者カメラ24は、運転席108(図6)の前方(例えば電子ルームミラー28の近傍)において運転席108側を向いて配置される。運転者カメラ24が撮像した運転者画像Idrのデータは、ECU34に出力される。
[A−1−5.後席カメラ26]
後席カメラ26は、後席114(図6)の略正面の画像(以下「後席画像Irs」という。)を撮像するカラーカメラである。後席画像Irsは、後席114に座っている同乗者110を映し出すものである(詳細は後述する。)。後席カメラ26は、後席114の前方且つ上方において後席114側を向いて配置される。後席カメラ26が撮像した後席画像Irsのデータは、ECU34に出力される。
[A−1−6.電子ルームミラー28]
電子ルームミラー28(以下「電子ミラー28」又は「ミラー28」ともいう。)は、車室内において、運転者100(乗員)から見てフロントウィンドウ(図示せず)の上部の手前(車両10の進行方向後ろ側)に配置される。ミラー28は、車両10の周囲画像Isrを表示する表示部50(図1)を備える。ここでの周囲画像Isrは、例えば後方画像Irrのみ又は後方画像Irr及び側方画像Isdの組合せから生成される。このため、運転者100は、ミラー28の表示部50を介して車両10の後方及び/又は側方の様子を確認することができる。
本実施形態において、表示部50は、例えば液晶パネル、有機エレクトロルミネッセンス(EL)等の表示パネルから構成される。或いは、表示部50は、図示しないプロジェクタの投影画像が投影される投影部であってもよい。
なお、上記のように、後方カメラ20及び側方カメラ22a、22bは車両10の外側を向いている。このため、後方画像Irr及び側方画像Isdは、車両10の内部の画像が含まれない。従って、通常の使用状態において、ミラー28の表示部50には、車両10の内部が表示されない。よって、表示部50に映し出される画像(周囲画像Isr)は、通常のルームミラー(表面が鏡面加工されているもの)に映し出される像と異なる。
[A−1−7.ミラー位置調整機構30]
ミラー位置調整機構30(以下「調整機構30」ともいう。)は、ミラー28(又は表示部50)の位置P(以下「ミラー位置Pmr」又は「表示部位置Pdp」という。)を運転者100の操作により調整可能である。或いは、図示しないミラー位置操作ボタンとモータとを組み合わせた駆動機構によりミラー位置Pmr(又は表示部位置Pdp)を調整してもよい。
具体的には、調整機構30は、左右方向スライド機構60と、上下方向スライド機構62と、前後方向スライド機構64とを含む。左右方向スライド機構60は、ミラー28を車両10の左右方向に変位させる。上下方向スライド機構62は、ミラー28を車両10の前後方向に変位させる。前後方向スライド機構64は、ミラー28を車両10の前後方向に変位させる。
左右方向スライド機構60、上下方向スライド機構62及び前後方向スライド機構64に加え又はこれらスライド機構60、62、64の1つ又は複数に代えて、傾斜角調整機構及び回転角機構を設けてもよい。傾斜角調整機構は、車両10の左右方向(幅方向)、上下方向及び前後方向におけるミラー28の傾斜角を調整する機構である。回転角調整機構は、ミラー28の回転角を調整する機構である。傾斜角調整機構及び回転角調整機構は、例えばボールジョイントにより構成される。
[A−1−8.ミラー位置センサ32]
ミラー位置センサ32(以下「位置センサ32」ともいう。)は、ミラー位置Pmr(又は表示部位置Pdp)を検出してECU34に出力する。左右方向スライド機構60、上下方向スライド機構62又は前後方向スライド機構64によるミラー28の変位に際しては、各スライド機構60、62、64のスライダの位置座標によりミラー位置Pmrを特定する。位置センサ32は、例えば、光電式又は電磁式の位置検出素子を含む。また、調整機構30が傾斜角調整機構又は回転角調整機構を含む場合、位置センサ32は、光電式又は電磁式の角度検出素子(ホール素子等)を含む。
[A−1−9.ECU34]
(A−1−9−1.ECU34の概要)
ECU34は、ミラー28の表示部50に映し出す画像を制御するものであり、入出力部70、演算部72及び記憶部74を備える。入出力部70は信号の入出力を行う。入出力部70には、アナログ/デジタル変換器及びデジタル/アナログ変換器を含むことができる。演算部72は、記憶部74に記憶されたプログラム及びデータを用いて各種の制御を実行する。演算部72は、中央演算装置(CPU)を含む。演算部72の詳細は後述する。
記憶部74は、演算部72が用いるプログラム及びデータを記憶するものであり、ランダム・アクセス・メモリ(以下「RAM」という。)を備える。RAMとしては、レジスタ等の揮発性メモリと、フラッシュメモリ等の不揮発性メモリとを用いることができる。また、記憶部74は、RAMに加え、リード・オンリー・メモリ(以下「ROM」という。)を有してもよい。
(A−1−9−2.演算部72)
図1に示すように、演算部72は、基準位置検出部80と、注視判定部82と、画像制御部84とを有する。
基準位置検出部80は、基準位置Prefを運転者画像Idrに基づいて検出する。基準位置Prefは、表示部50に対する運転者100の目104の相対位置を示すものである。本実施形態では、基準位置Prefは、運転者100の視線Ls上の一点(例えば開始点)であり、視線Lsの検出及び後述する抽出範囲Rsbの設定に用いられる。
本実施形態において、基準位置Prefは、運転者100の目104(眼球)(図4〜図6)の位置に基づいて設定される。例えば、両方の目104の座標の中点を基準位置Prefとすることができる。或いは、一方の目104の座標を基準位置Prefとしてもよい。或いは、運転者100の頭102、鼻、肩の特定位置等を基準位置Prefとしてもよい。なお、ここにいう目104とは、眼球自体に関する位置(アイポイント)であり、瞳孔106の位置とは別である。このため、基準位置Prefは、瞳孔106の位置とは異なることに留意されたい。
注視判定部82は、運転者100が表示部50を注視しているか否かを判定する。ここにいう「注視」とは、運転者100が意図的に見ることを意味する。このため、運転者100が意図せずに視野範囲の中に表示部50が入る場合を含まない。本実施形態では、運転者100が表示部50を注視しているか否かを、運転者100の視線Ls上に表示部50があるか否かにより判定する。詳細は、図2を参照して後述する。
画像制御部84は、カメラ20、22a、22b、24、26が撮像した画像(以下「撮像画像Icp」ともいう。)を用いて表示部50に表示する周囲画像Isr(抽出画像)を制御する。以下では、後方カメラ20、側方カメラ22a、22b、運転者カメラ24及び後席カメラ26の撮像画像Icpをそれぞれ撮像画像Irr、Ilt、Irt、Idr、Irsともいう。
図1に示すように、画像制御部84は、抽出範囲設定部90及び表示制御部92を有する。抽出範囲設定部90は、カメラ20、22a、22b、24、26の撮像画像Icpの抽出範囲Rsbを設定する抽出範囲設定制御を実行する。抽出範囲設定制御の詳細は、図3を参照して後述する。表示制御部92は、抽出範囲設定制御で設定された抽出範囲Rsbを用いて撮像画像Icpの一部を抽出して周囲画像Isrとして表示部50に表示させる。
<A−2.制御>
[A−2−1.ミラー表示制御]
図2は、本実施形態におけるミラー表示制御のフローチャートである。ミラー表示制御は、ルームミラー28の表示に関する制御であり、ECU34が実行する。図2のステップS11において、ECU34は、運転者カメラ24の撮像画像Icp(運転者画像Idr)を取得する。
ステップS12において、ECU34の基準位置検出部80は、運転者画像Idrに基づいて視線基準位置Pref_lsを検出する。本実施形態における視線基準位置Pref_lsは、運転者100の一方の目104(例えば左目)の瞳孔106の位置とする。
ステップS13において、ECU34の注視判定部82は、運転者画像Idrに基づいて運転者100の視線方向Dlsを検出する。具体的には、ECU34は、パターンマッチングを用いて運転者画像Idrから運転者100の頭102、目104及び瞳孔106を抽出する。次いで、ECU34は、頭102及び目104の位置に基づいて頭102の回転角度を算出する。また、ECU34は、目104における瞳孔106の位置に基づいて瞳孔106の角度(左右方向及び上下方向)を算出する。そして、ECU34は、頭102の回転角度及び瞳孔106の角度に基づいて注視方向Dlsを算出する。
ステップS14において、ECU34の注視判定部82は、視線基準位置Pref_ls及び視線方向Dlsに基づいて運転者100の視線Lsを検出する。視線Lsは、視線基準位置Pref_lsを通り且つ視線方向Dlsに向かう直線として定義される。
ステップS15において、ECU34の注視判定部82は、運転者100が電子ルームミラー28(又は表示部50)を注視しているか否かを判定する。換言すると、ECU34は、運転者100の視線Lsがルームミラー28の表面と交差しているか否かを判定する。なお、ここでのルームミラー28の表面の座標は、運転者カメラ24とミラー28との位置関係より予め記憶部74に記憶されている。
運転者100がルームミラー28を注視している場合(S15:YES)、ステップS16において、ECU34の抽出範囲設定部90等は、抽出範囲設定制御を実行する。抽出範囲設定制御は、撮像画像Icpのうち周囲画像Isrとして抽出する範囲(以下「抽出範囲Rsb」という。)を設定する制御である。抽出範囲設定制御の詳細については、図3〜図6を参照して後述する。
運転者100がルームミラー28を注視していない場合(S15:NO)、ステップS17において、ECU34の抽出範囲設定部90は、抽出範囲Rsbとして基準抽出範囲Rrefを選択する。基準抽出範囲Rrefは、基準の抽出範囲Rsb(固定値)であり、本実施形態では、ミラー表示制御の開始前に実行し得る基準抽出範囲設定制御により変更可能である。或いは、基準抽出範囲Rrefは変更できない固定値としてもよい。基準抽出範囲設定制御の詳細については、図7を参照して後述する。
ステップS16又はS17の後、ステップS18において、ECU34の表示制御部92は、撮像画像Icpから周囲画像Isrを生成する。その際、ECU34は、ステップS16又はS17で設定した抽出範囲Rsbを用いて撮像画像Icpの一部を抜き出す。例えば、周囲画像Isrが後方画像Irrのみから抽出される場合、後方カメラ20の撮像画像Icpから周囲画像Isrを抽出する。また、周囲画像Isrが後方画像Irr及び側方画像Isd(左周囲画像Isr又は右周囲画像Isr)の両方から抽出される場合、ECU34は、後方カメラ20の撮像画像Irrと、側方カメラ22aの撮像画像Ilt又は側方カメラ22bの撮像画像Irtとから周囲画像Isrを抽出する。
ステップS19において、ECU34の表示制御部92は、抽出した周囲画像Isrを電子ルームミラー28の表示部50に表示させる。
[A−2−2.抽出範囲設定制御]
(A−2−2−1.抽出範囲設定制御の全体的な流れ)
図3は、本実施形態における抽出範囲設定制御のフローチャート(図2のS16の詳細)である。上記のように、抽出範囲設定制御は、撮像画像Icpのうち周囲画像Isrを抽出する抽出範囲Rsbを設定する制御であり、ECU34の抽出範囲設定部90等が実行する。
図3のステップS21において、ECU34の基準位置検出部80は、運転者画像Idrに基づいて運転者100の基準位置Prefを検出する。上記のように、基準位置Prefは、表示部50に対する運転者100の目104の相対位置を示す。本実施形態における基準位置Prefは、運転者100の目104(眼球)(図4〜図6)の位置に基づいて設定される。例えば、図2のステップS12で検出した視線基準位置Pref_lsを運転者100の基準位置Prefとしてもよい。
ステップS22において、ECU34は、基準位置Prefに応じて抽出範囲Rsbを変化させる。抽出範囲Rsbを変化させる方法については、図4〜図6を参照して後述する。ステップS23において、ECU34は、画像合成処理を実行する条件(以下「画像合成条件」という。)が成立したか否かを判定する。画像合成処理は、周囲画像Isrに別画像を合成する処理である。ここでの別画像は、例えば、後席カメラ26が撮像した後席画像Irsとすることができる。
画像合成条件が成立した場合(S23:YES)、ステップS24において、ECU34は、画像合成処理を実行する。画像合成処理の詳細は、図6を参照して後述する。画像合成条件が成立しない場合(S23:NO)、ECU34は今回の抽出範囲設定制御を終了する。
(A−2−2−2.抽出範囲Rsbを変化させる方法)
図4〜図6は、本実施形態において抽出範囲Rsbを変化させる方法を説明するための第1図〜第3図である。図4〜図6では、運転者100の頭102、目104及び瞳孔106が示されている。図6には、運転者100の運転席108も示されている。また、図6では、後席114に座った同乗者110の頭112も示されている。運転者100及び同乗者110の頭102、112以外の部位は図示を省略している。上記のように、ECU34は、基準位置Prefに応じて抽出範囲Rsbを変化させる(図3のS22)。
図4では、運転者100の基準位置Prefが左右方向(車幅方向)に移動した場合の抽出範囲Rsbの変化が示されている。図4は、車両10の上方から下方に向かって見た平面図である。図4において、破線で示す部分が移動前の運転者100の頭102、視線Ls及び抽出範囲Rsbであり、実線で示す部分が移動後の運転者100の頭102、視線Ls及び抽出範囲Rsbである。
以下では、図4における移動前の視線Ls及び抽出範囲Rsbを視線Ls1及び抽出範囲Rsb1ともいい、図4における移動後の視線Ls及び抽出範囲Rsbを視線Ls2及び抽出範囲Rsb2ともいう。
上記のように、後方画像Irr及び側方画像Isdは、車両10の内部の画像を含んでいないため、表示部50に映し出される画像(周囲画像Isr)は、通常のルームミラー(表面が鏡面加工されているもの)に映し出される像と異なる。換言すると、図4では、抽出範囲Rsb1、Rsb2それぞれが車両10内にも及んでいるが、実際の周囲画像Isrは、車両10の内部の画像が含まれない(図5及び図6も同様である。)。
図4の場合、運転者100の頭102が右側に移動することで基準位置Prefも右側に移動する。この際、ECU34は、従来のルームミラーと同様となるように、基準位置Prefの移動に応じて周囲画像Isrを変化させる。具体的には、頭102が右側に移動すると、ECU34は、抽出範囲Rsbを後方画像Irrの範囲を少なくすると共に左側方画像Isdの範囲を増やす。このため、ECU34は、図4において、抽出範囲Rsbを時計回りに移動させる。換言すると、移動後の抽出範囲Rsb2は、移動前の抽出範囲Rsb1に対して時計回りに移動した位置にある。
なお、運転者100の頭102が右側に移動すると、基準位置Prefはミラー28から離間する(又は遠ざかる)ことにもなる。このため、ECU34は、周囲画像Isrの倍率を小さくするように演算する。これに伴い、抽出範囲Rsbは拡大されることとなる。但し、図4では、抽出範囲Rsbの移動(回転)を分かり易くするため、抽出範囲Rsbの大きさを変化させていない。
図5では、運転者100の基準位置Prefが前後方向に移動した場合の抽出範囲Rsbの変化が示されている。図5は、車両10の上方から下方に向かって見た平面図である。図5において、破線で示す部分が移動前の運転者100の頭102、視線Ls及び抽出範囲Rsbであり、実線で示す部分が移動後の運転者100の頭102、視線Ls及び抽出範囲Rsbである。
以下では、図5における移動前の視線Ls及び抽出範囲Rsbを視線Ls3及び抽出範囲Rsb3ともいい、図5における移動後の視線Ls及び抽出範囲Rsbを視線Ls4及び抽出範囲Rsb4ともいう。
図5の場合、運転者100の頭102が前方に移動することで基準位置Prefも前方に移動する。この際、ECU34は、従来のルームミラーと同様となるように、基準位置Prefの移動に応じて周囲画像Isrを変化させる。具体的には、頭102がミラー28に接近すると(又は近づくと)、ECU34は、周囲画像Isrの倍率を大きくするように演算する。このため、ECU34は、抽出範囲Rsbを縮小する。換言すると、移動後の抽出範囲Rsb4は、移動前の抽出範囲Rsb3に対して大きくなる。
なお、運転者100の頭102が前方に移動すると、基準位置Prefはミラー28に対して右側に移動することにもなる。このため、ECU34は、抽出範囲Rsbを時計回りに移動させるように演算する(図4参照)。但し、図5では、抽出範囲Rsbの拡大を分かり易くするため、抽出範囲Rsbの時計回りの移動を反映していない。
図6では、運転者100の基準位置Prefが上下方向に移動した場合の抽出範囲Rsbの変化が示されている。図6は、車両10の右側方から左側方に向かって見た側面図である。図6において、破線で示す部分が移動前の運転者100の頭102、視線Ls及び抽出範囲Rsbであり、実線で示す部分が移動後の運転者100の頭102、視線Ls及び抽出範囲Rsbである。
以下では、図6における移動前の視線Ls及び抽出範囲Rsbを視線Ls5及び抽出範囲Rsb5ともいい、図6における移動後の視線Ls及び抽出範囲Rsbを視線Ls6及び抽出範囲Rsb6ともいう。
図6の場合、運転者100の頭102が上方に移動することで基準位置Prefも上方に移動する。この際、ECU34は、従来のルームミラーと同様となるように、基準位置Prefの移動に応じて周囲画像Isrを変化させる。具体的には、図6の場合、ミラー28の上部が運転者100に近くなるように傾斜している。このため、頭102が上方に移動すると、ECU34は、抽出範囲Rsbを下方に移動させる。換言すると、移動後の抽出範囲Rsb6は、移動前の抽出範囲Rsb5に対して下方に位置する。
なお、ミラー28が図6のように傾斜している場合、運転者100の頭102が上方に移動すると、基準位置Prefはミラー28に接近する(又は近づく)ことにもなる。このため、ECU34は、周囲画像Isrの倍率を大きくするように演算する。これに伴い、抽出範囲Rsbは縮小されることとなる。但し、図6では、抽出範囲Rsbの移動(回転)を分かり易くするため、抽出範囲Rsbの大きさを変化させていない。
(A−2−2−3.画像合成処理)
上記のように、図6では、運転者100の基準位置Prefが上下方向に移動した場合の抽出範囲Rsbの変化が示されており、運転者100の頭102が上方に移動することに伴って、抽出範囲Rsbが下方に変化する。
これに加え、本実施形態では、頭102が上方に所定距離移動することは、画像合成条件(図3のS23)にも該当する。このため、頭102が上方に所定距離移動することで画像合成条件が成立すると(S23:YES)、ECU34は、後方画像Irrの一部又は全部に後席画像Irsを重畳させて表示部50に表示させる。ここにいう重畳とは、ある画像の内部に別の画像を表示することを意味する。本実施形態の場合、例えばパターンマッチングを用いて後席画像Irsから同乗者110の画像を抽出する。そして、抽出した同乗者110の画像のみを後方画像Irrに重ね合わせて表示する。
なお、後方画像Irrに後席画像Irsを重畳させる代わりに、後方画像Irrから後席画像Irsに切り替えてもよい。或いは、後方画像Irrの表示領域を狭くして、後方画像Irrと後席画像Irsの両方を表示することもできる。
また、後方画像Irrへの後席画像Irsの重畳は、所定の重畳終了条件が成立すると終了する。当該重畳終了条件としては、例えば、運転者100の視線が表示部50から外れたこととすることができる。これに加えて又はこれに代えて、所定時間(例えば3〜10秒間のいずれか)が経過したことを重畳終了条件としてもよい。
[A−2−3.基準抽出範囲設定制御]
図7は、本実施形態における基準抽出範囲設定制御のフローチャートである。上記のように、基準抽出範囲設定制御は、基準抽出範囲Rrefを設定する制御であり、ミラー位置調整機構30によるミラー位置Pmr(表示部位置Pdr)の調整等に応じて行われる。基準抽出範囲設定制御は、図2のミラー表示制御の前に実行可能である。ECU34の抽出範囲設定部90が実行する。
上記のように、車両10を基準とした左右方向、前後方向及び上下方向に関して頭102の移動を考える場合、表示部50と頭102との関係は複数の方向への移動を伴うため、説明が複雑になる。そこで、理解を容易化するため、図7のフローチャートでは、表示部50に対する頭102の移動方向の観点から、表示部50の位置P(表示部位置Pdp)と基準抽出範囲Rrefの関係を説明する。
なお、実際に基準抽出範囲Rrefを設定する場合、表示部50の位置P(表示部位置Pdp)と、基準抽出範囲Rrefの位置及び大きさとの関係をマップに規定しておけばよい。
図7のステップS31において、ECU34は、位置センサ32から表示部位置Pdp(空間座標)を取得する。ステップS32において、ECU34は、運転者100の仮想的な基準位置Pref(以下「仮想基準位置Prefv」という。)に対して表示部50が左右方向に移動しているか否かを判定する。当該判定は、位置Pdpの前回値と比較して今回値が左右方向に変化しているか否かに基づいて判定する。仮想基準位置Prefvに対して表示部50が左右方向に移動している場合(S32:YES)、ステップS33に進む。仮想基準位置Prefvに対して表示部50が左右方向に移動していない場合(S32:NO)、ステップS34に進む。
ステップS33において、ECU34は、左右移動量ΔPlrに応じて基準抽出範囲Rrefを変化させる。例えば、運転者100の仮想基準位置Prefvに対して表示部50が左に移動した場合、表示部50に対して運転者100の仮想基準位置Prefvが右に移動することと同義である。このため、ECU34は、基準抽出範囲Rrefを左に移動させる(図4参照)。この際、上下方向における基準抽出範囲Rrefの縮尺は維持する。
ステップS34において、ECU34は、仮想基準位置Prefvに対して表示部50が前後方向に移動しているか否かを判定する。当該判定は、位置Pdpの前回値と比較して今回値が前後方向に変化しているか否かに基づいて判定する。仮想基準位置Prefvに対して表示部50が前後方向に移動している場合(S34:YES)、ステップS35に進む。仮想基準位置Prefvに対して表示部50が前後方向に移動していない場合(S34:NO)、ステップS36に進む。
ステップS35において、ECU34は、前後移動量ΔPfrに応じて基準抽出範囲Rrefを変化させる。例えば、仮想基準位置Prefvに対して表示部50が接近した場合、上下方向及び左右方向に基準抽出範囲Rrefを拡大させて表示倍率を減少させる(図5参照)。
ステップS36において、ECU34は、運転者100の仮想基準位置Prefvに対して表示部50が上下方向に移動しているか否かを判定する。当該判定は、位置Pdpの前回値と比較して今回値が上下方向に変化しているか否かに基づいて判定する。表示部50が上下方向に移動している場合(S36:YES)、ステップS37において、ECU34は、上下移動量ΔPvに応じて基準抽出範囲Rrefを変化させる。
例えば、運転者100の仮想基準位置Prefvに対して表示部50が下方に移動した場合、表示部50に対して運転者100の仮想基準位置Prefvが上方に移動することと同義である。このため、基準抽出範囲Rrefを下方に移動させる(図6参照)。この際、左右方向における基準抽出範囲Rrefの縮尺は維持する。
なお、ステップS32、S34、S36のいずれの場合も、仮想基準位置Prefvの代わりに実際の基準位置Pref(検出値)を用いてもよい。
また、ボールジョイント等により電子ミラー28の傾斜調整(上下方向、左右方向及び前後方向)並びに回転調整が可能である場合、ミラー28の傾斜角及び回転角に基づいて上記と同様の考え方で基準抽出範囲Rrefを変更する。
<A−3.本実施形態の効果>
以上説明したように、本実施形態によれば、運転者100(ユーザ)が表示部50を注視している場合(図2のS15:YES)、表示部50に対する運転者100の目104の相対位置を示す基準位置Prefに応じて撮像画像Icpの抽出範囲Rsbを変化させる(図2のS16、図3)。一方、運転者100が表示部50を注視していない場合(図2のS15:NO)、基準位置Prefにかかわらず撮像画像Icpの抽出範囲Rsbを固定する(S17)。このため、運転者100が表示部50を注視していないにもかかわらず撮像画像Icpの抽出範囲Rsbが変化することにより生じる煩わしさを解消することが可能となる。従って、車両10の周囲画像Isr(抽出画像)の利用に関する運転者100の利便性を向上できる。
本実施形態において、基準位置Prefは、運転者100(ユーザ)の頭102又は目104の位置とすることができる(図3のS21、図4〜図6)。これにより、運転者100が表示部50を見ていない状態で頭102又は目104の位置が変化しても、撮像画像Icpの抽出範囲Rsbは固定されたままとなる。このため、運転者100が周辺監視等の目的(周辺視)のために頭102又は目104の位置を変化させた場合でも、撮像画像Icpの抽出範囲Rsbは固定されたままとなる。従って、周辺監視等の際の運転者100の利便性を向上することが可能となる。
本実施形態において、画像制御部84は、運転者100(ユーザ)が表示部50を注視している状態(図2のS15:YES)で画像合成条件が成立したとき(図3のS23:YES)(例えば、基準位置Prefが所定条件の変化をしたとき(図6))、周囲画像Isr(抽出画像)に後席カメラ26(別のカメラ)が撮像した撮像画像Icp(別の撮像画像)の一部又は全部を合わせて表示部50に表示させる(図3のS24)。これにより、基準位置Prefが所定条件の変化をしたときには、1つの表示部50に複数の画像を表示することで運転者100の利便性を向上することが可能となる。
本実施形態において、画像制御部84は、位置センサ32が検出した表示部50の位置Pdpに基づいて基準抽出範囲Rref(又は抽出範囲Rsb)を変化させる(図7)。これにより、運転者100(ユーザ)が表示部50の位置Pdpを調整可能な構成において、表示部50の位置Pdpの変化に応じた周囲画像Isrを表示することが可能となる。
本実施形態において、画像制御部84は、表示部50の位置Pdpが仮想基準位置Prefv(又は基準位置Pref)に対して左右方向に移動した場合(図7のS32:YES等)、上下方向における基準抽出範囲Rref(又は抽出範囲Rsb)の縮尺を維持したまま抽出範囲Rsbを左右方向に移動させる(S33等)。表示部50の位置Pdpが仮想基準位置Pref(又は基準位置Pref)に対して上下方向に移動した場合(図7のS36:YES等)、左右方向における基準抽出範囲Rref(又は抽出範囲Rsb)の縮尺を維持したまま基準抽出範囲Rref(又は抽出範囲Rsb)を上下方向に移動させる(S37等)。
これにより、運転者100が表示部50を仮想基準位置Pref(又は基準位置Pref)に対して左右方向又は上下方向に移動させることが可能な構成において、表示部50の位置Pdpの変化に応じた周囲画像Isrを表示することが可能となる。
本実施形態において、画像制御部84は、表示部50の位置Pdpが仮想基準位置Pref(又は基準位置Pref)に対して前後方向に移動した場合(図7のS34:YES等)、基準抽出範囲Rref(又は抽出範囲Rsb)を拡大又は縮小する(S35等)。これにより、運転者100が表示部50を仮想基準位置Pref(又は基準位置Pref)に対して前後方向に移動させることが可能な構成において、表示部50の位置Pの変化に応じた周囲画像Isrを表示することが可能となる。
B.変形例
なお、本発明は、上記実施形態に限らず、本明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。例えば、以下の構成を採用することができる。
<B−1.搭載対象>
上記実施形態では、画像表示装置12を車両10に搭載した(図1)。しかしながら、例えば、運転者100(ユーザ)の基準位置Prefに応じて抽出範囲Rsbを変化させる観点からすれば、これに限らない。例えば、船舶、航空機等の移動物体に画像表示装置12を適用してもよい。或いは、画像表示装置12をクレーン等の可動装置に用いることもできる。
<B−2.表示部50>
上記実施形態では、表示部50を電子ルームミラー28に配置したが(図1)、車両10又はその他の対象の周囲画像Isr(抽出画像)を表示する表示部50であれば、これに限らない。例えば、車両10のサイドミラー(ドアミラー)又は図示しないナビゲーション装置に表示部50を配置することが可能である。或いは、ヘッド・アップ・ディスプレイ(HUD)として表示部50をフロントウィンドウ等に配置してもよい。
<B−3.後方カメラ20及び側方カメラ22a、22b>
上記実施形態では、後方カメラ20及び側方カメラ22a、22bをカラーカメラとしたが、車両10の周囲画像Isrに用いられる撮像画像Icpを取得するものであれば、これに限らない。例えば、夜間等に使うことを想定してモノクロカメラ又は近赤外線カメラを後方カメラ20及び側方カメラ22a、22bの一部又は全部として用いてもよい。
上記実施形態では、後方カメラ20及び側方カメラ22a、22bの撮像画像Icpを周囲画像Isrとして用いた(図4〜図6)。しかしながら、例えば、運転者100が表示部50を注視しているか否かにより撮像画像Icpの抽出範囲Rsbを設定する観点からすれば、これに限らない。例えば、後方カメラ20又は側方カメラ22a、22bの一方のみ撮像画像Icpを用いてもよい。或いは、これらに加えて又はこれらに代えて、後席カメラ26の撮像画像Icpを用いることも可能である。
<B−4.運転者100による表示部50の注視>
上記実施形態では、運転者100が表示部50を注視しているか否かを、運転者100の視線Lsが表示部50と交差しているか否かにより判定した(図2のS15)。しかしながら、例えば、運転者100が表示部50を注視しているか否かを判定する観点からすれば、これに限らない。例えば、運転者100の視野範囲(又は当該視野範囲の一部)の中に表示部50があるか否かにより判定してもよい。
<B−5.抽出範囲設定制御>
上記実施形態の抽出範囲設定制御(図3)では、基準位置Pref自体(座標)に応じて抽出範囲Rsbを変化させた(S22)。しかしながら、例えば、運転者100が表示部50を注視している場合に抽出範囲Rsbの変化を許容する観点からすれば、これに限らない。例えば、単位時間当たりの基準位置Prefの変化量ΔPref[mm/s]に基づいて抽出範囲Rsbを変化させてもよい。
<B−6.画面合成処理>
上記実施形態では、周囲画像Isrに別画像(例えば後席画像Irs)をそのまま合成した。しかしながら、例えば、周囲画像Isrに別画像を合成する観点からすれば、これに限らない。例えば、画像合成処理では、周囲画像Isrに半透明の別画像を合成することも可能である。或いは、もともと周囲画像Isrに半透明の別画像を合成しておき、画像合成条件と同等の条件が成立した場合、半透明の画像の透過率を下げてはっきり見えるようにしてもよい。
上記実施形態では、画像合成条件の成否を判定し(図3のS23)、画像合成条件が成立した場合(S23:YES)、後方画像Irrに後席画像Irsを合成する画像合成処理を行った(S24)。しかしながら、画像合成条件の成否の判定(S23)及び画像合成処理(S24)を省略することも可能である。
<B−7.基準抽出範囲Rrefの設定>
上記実施形態では、ミラー位置調整機構30における変位に応じて基準抽出範囲Rrefを変更可能とした(図7)。しかしながら、例えば、運転者100が表示部50を注視している場合に抽出範囲Rsbの変化を許容する観点からすれば、これに限らない。例えば、基準抽出範囲Rrefは、ミラー位置調整機構30における変位にかかわらず固定とすることも可能である。
10…車両 12…画像表示装置
20…後方カメラ(カメラ) 22a…左側方カメラ(カメラ)
22b…右側方カメラ(カメラ) 26…後席カメラ(別のカメラ)
28…電子ルームミラー 32…ミラー位置センサ(位置センサ)
50…表示部 80…基準位置検出部
82…注視判定部 84…画像制御部
100…運転者(ユーザ) 102…頭
104…目 Icp…撮像画像
Irs…後席画像(別の撮像画像) Isr…周囲画像(抽出画像)
Pdp…表示部の位置 Pref…基準位置
Prefv…仮想基準位置 Rsb…抽出範囲

Claims (6)

  1. カメラの撮像画像の一部を抽出した抽出画像を表示部に表示させる画像制御部と、
    前記表示部に対するユーザの目の相対位置を示す基準位置を検出する基準位置検出部と
    を備える画像表示装置であって、
    前記画像表示装置は、前記ユーザが前記表示部を注視しているか否かを判定する注視判定部をさらに備え、
    前記画像制御部は、
    前記ユーザが前記表示部を注視していると前記注視判定部が判定した場合、前記撮像画像の抽出範囲を前記基準位置に応じて変化させ、
    前記ユーザが前記表示部を注視していないと前記注視判定部が判定した場合、前記撮像画像の前記抽出範囲を固定する
    ことを特徴とする画像表示装置。
  2. 請求項1に記載の画像表示装置において、
    前記基準位置は、前記ユーザの頭の位置又は目の位置である
    ことを特徴とする画像表示装置。
  3. 請求項1又は2に記載の画像表示装置において、
    前記画像制御部は、前記ユーザが前記表示部を注視している状態で前記基準位置が所定条件の変化をしたとき、前記抽出画像に別のカメラが撮像した別の撮像画像の一部又は全部を合わせて前記表示部に表示させる
    ことを特徴とする画像表示装置。
  4. 請求項1〜3のいずれか1項に記載の画像表示装置において、
    前記画像制御部は、位置センサが検出した前記表示部の位置に基づいて前記抽出範囲を変化させる
    ことを特徴とする画像表示装置。
  5. 請求項4記載の画像表示装置において、
    前記画像制御部は、
    前記表示部の位置が、仮想的な前記基準位置である仮想基準位置又は前記基準位置自体に対して左右方向に移動した場合、上下方向における前記抽出範囲の縮尺を維持したまま前記抽出範囲を左右方向に移動させ、又は
    前記表示部の位置が前記仮想基準位置又は前記基準位置に対して上下方向に移動した場合、左右方向における前記抽出範囲の縮尺を維持したまま前記抽出範囲を上下方向に移動させる
    ことを特徴とする画像表示装置。
  6. 請求項4記載の画像表示装置において、
    前記画像制御部は、前記表示部の位置が、仮想的な前記基準位置である仮想基準位置又は前記基準位置自体に対して前後方向に移動した場合、前記抽出範囲を拡大又は縮小する
    ことを特徴とする画像表示装置。
JP2016086674A 2016-04-25 2016-04-25 画像表示装置 Active JP6770330B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016086674A JP6770330B2 (ja) 2016-04-25 2016-04-25 画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016086674A JP6770330B2 (ja) 2016-04-25 2016-04-25 画像表示装置

Publications (2)

Publication Number Publication Date
JP2017196911A true JP2017196911A (ja) 2017-11-02
JP6770330B2 JP6770330B2 (ja) 2020-10-14

Family

ID=60237144

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016086674A Active JP6770330B2 (ja) 2016-04-25 2016-04-25 画像表示装置

Country Status (1)

Country Link
JP (1) JP6770330B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019217970A (ja) * 2018-06-21 2019-12-26 日本電産コパル株式会社 電子ミラー装置及び画像表示方法
WO2020122085A1 (ja) * 2018-12-11 2020-06-18 ソニー株式会社 画像処理装置、画像処理方法および画像処理システム
WO2020122083A1 (ja) * 2018-12-11 2020-06-18 ソニー株式会社 画像処理装置、画像処理方法および画像処理システム
WO2020122079A1 (ja) * 2018-12-11 2020-06-18 ソニー株式会社 画像処理装置、画像処理方法および画像処理システム
WO2021079975A1 (ja) * 2019-10-23 2021-04-29 ソニー株式会社 表示システム、表示装置、表示方法、及び、移動装置
CN113682232A (zh) * 2020-05-19 2021-11-23 丰田自动车株式会社 图像显示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005335410A (ja) * 2004-05-24 2005-12-08 Olympus Corp 画像表示装置
JP2008182591A (ja) * 2007-01-25 2008-08-07 Sanyo Electric Co Ltd 画像提供装置、車両、および画像提供方法
JP2014045265A (ja) * 2012-08-24 2014-03-13 Kyocera Corp 車載撮像システム
JP2014093768A (ja) * 2012-10-31 2014-05-19 Hyundai Motor Company Co Ltd ルームミラー画像制御装置及び方法
JP2014198531A (ja) * 2013-03-29 2014-10-23 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005335410A (ja) * 2004-05-24 2005-12-08 Olympus Corp 画像表示装置
JP2008182591A (ja) * 2007-01-25 2008-08-07 Sanyo Electric Co Ltd 画像提供装置、車両、および画像提供方法
JP2014045265A (ja) * 2012-08-24 2014-03-13 Kyocera Corp 車載撮像システム
JP2014093768A (ja) * 2012-10-31 2014-05-19 Hyundai Motor Company Co Ltd ルームミラー画像制御装置及び方法
JP2014198531A (ja) * 2013-03-29 2014-10-23 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019217970A (ja) * 2018-06-21 2019-12-26 日本電産コパル株式会社 電子ミラー装置及び画像表示方法
US11794667B2 (en) 2018-12-11 2023-10-24 Sony Group Corporation Image processing apparatus, image processing method, and image processing system
JP7444073B2 (ja) 2018-12-11 2024-03-06 ソニーグループ株式会社 画像処理装置、画像処理方法および画像処理システム
WO2020122079A1 (ja) * 2018-12-11 2020-06-18 ソニー株式会社 画像処理装置、画像処理方法および画像処理システム
US11987182B2 (en) 2018-12-11 2024-05-21 Sony Group Corporation Image processing apparatus, image processing method, and image processing system
CN113170082A (zh) * 2018-12-11 2021-07-23 索尼集团公司 图像处理装置、图像处理方法和图像处理系统
CN113170084A (zh) * 2018-12-11 2021-07-23 索尼集团公司 图像处理装置、图像处理方法和图像处理系统
JPWO2020122079A1 (ja) * 2018-12-11 2021-10-21 ソニーグループ株式会社 画像処理装置、画像処理方法および画像処理システム
EP3896962A4 (en) * 2018-12-11 2022-01-26 Sony Group Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND IMAGE PROCESSING SYSTEM
JP7494735B2 (ja) 2018-12-11 2024-06-04 ソニーグループ株式会社 画像処理装置、画像処理方法および画像処理システム
WO2020122083A1 (ja) * 2018-12-11 2020-06-18 ソニー株式会社 画像処理装置、画像処理方法および画像処理システム
JPWO2020122085A1 (ja) * 2018-12-11 2021-10-21 ソニーグループ株式会社 画像処理装置、画像処理方法および画像処理システム
EP3896960A4 (en) * 2018-12-11 2022-01-26 Sony Group Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND IMAGE PROCESSING SYSTEM
US11383656B2 (en) 2018-12-11 2022-07-12 Sony Group Corporation Image processing apparatus, image processing method, and image processing system
US11603043B2 (en) 2018-12-11 2023-03-14 Sony Group Corporation Image processing apparatus, image processing method, and image processing system
WO2020122085A1 (ja) * 2018-12-11 2020-06-18 ソニー株式会社 画像処理装置、画像処理方法および画像処理システム
US11813988B2 (en) 2018-12-11 2023-11-14 Sony Group Corporation Image processing apparatus, image processing method, and image processing system
JP7428139B2 (ja) 2018-12-11 2024-02-06 ソニーグループ株式会社 画像処理装置、画像処理方法および画像処理システム
WO2021079975A1 (ja) * 2019-10-23 2021-04-29 ソニー株式会社 表示システム、表示装置、表示方法、及び、移動装置
JP2021182704A (ja) * 2020-05-19 2021-11-25 トヨタ自動車株式会社 画像表示装置
CN113682232A (zh) * 2020-05-19 2021-11-23 丰田自动车株式会社 图像显示装置

Also Published As

Publication number Publication date
JP6770330B2 (ja) 2020-10-14

Similar Documents

Publication Publication Date Title
JP2017196911A (ja) 画像表示装置
JP5093611B2 (ja) 車両周辺確認装置
JP4699054B2 (ja) 車両周囲監視装置
JP4323377B2 (ja) 画像表示装置
US20160297362A1 (en) Vehicle exterior side-camera systems and methods
JP6401733B2 (ja) 画像表示装置
JP5874920B2 (ja) 車両周囲確認用モニター装置
JP5092776B2 (ja) 視線方向検出装置及び視線方向検出方法
JP6360850B2 (ja) 画像表示装置
JP5051263B2 (ja) 車両用後方視認システム
JP4849333B2 (ja) 車両用視覚補助装置
JP2018118622A (ja) ヘッドアップディスプレイ装置および表示制御方法
JP2008018760A (ja) 運転支援装置
US10222613B2 (en) Display apparatus for a vehicle
JP2018022958A (ja) 車両用表示制御装置及び車両用モニタシステム
KR101091288B1 (ko) 자동차용 디스플레이 장치 및 방법
JP2008037118A (ja) 車両用表示装置
JP2005269010A (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
US10676028B2 (en) Electronic mirror system
KR102339522B1 (ko) 차량/운행정보 통합 디스플레이 방법 및 장치
GB2536882A (en) Head up display adjustment
JP6813437B2 (ja) 表示システム
JP2019081480A (ja) ヘッドアップディスプレイ装置
JP6415763B2 (ja) 表示システム、表示装置及び制御装置
JP3199380U (ja) 自動車ピラー可視化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200925

R150 Certificate of patent or registration of utility model

Ref document number: 6770330

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150