JP2019108076A

JP2019108076A - 画像表示装置

Info

Publication number: JP2019108076A
Application number: JP2017243710A
Authority: JP
Inventors: 貴大石井; Takahiro Ishii; 聡藤▲崎▼; Satoshi Fujisaki
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2017-12-20
Filing date: 2017-12-20
Publication date: 2019-07-04

Abstract

【課題】車両の姿勢に応じて適切な画像を表示することが可能な画像表示装置を提供する。【解決手段】画像表示装置は、車両（１）の周囲を撮像可能な撮像手段（１１）によって撮像された画像（１１１）を表示する表示手段（１４）と、所定の基準姿勢に対する車両の現在の姿勢の変化量が所定量よりも大きい場合に、現在の姿勢に応じて、表示手段が表示する画像を変更する処理手段（１３３）とを備える。【選択図】図３

Description

本発明は、車両に搭載された撮像手段が撮像した画像を表示可能な画像表示装置の技術分野に関する。

このような画像表示装置の一例が特許文献１に記載されている。具体的には、特許文献１には、撮像手段が撮像した画像を表示可能な画像表示装置であって、運転者の視線の位置に応じて画像の表示内容を変更する画像表示装置が記載されている。

特開２０１６−０４９９５３号公報

特許文献１に記載された画像表示装置は、車両の姿勢を考慮することなく、画像を表示している。従って、特許文献１に記載された画像表示装置は、車両の姿勢が変わった場合に適切な画像を表示することができない可能性があるという技術的問題を有している。具体的には、車両の姿勢が変わると、車両が備える撮像手段の姿勢もまた変わる。撮像手段の姿勢が変わると、撮像手段が撮像した画像の内容もまた変わる。このため、特許文献１に記載された画像表示装置は、車両の姿勢が第１の姿勢である場合に適切な画像を表示することができる一方で、車両の姿勢が第１の姿勢とは異なる第２の姿勢である場合に適切な画像を表示することができない可能性があるという技術的問題を有している。

本発明は、車両に搭載された撮像手段が撮像した撮像画像を表示する画像表示装置であって、車両の姿勢に応じて適切な画像を表示することが可能な画像表示装置を提供することを課題とする。

本発明の画像表示装置の第１の態様は、車両の周囲を撮像するために前記車両が備える撮像手段によって撮像された画像を表示する表示手段と、所定の基準姿勢に対する前記車両の現在の姿勢の変化量が所定量よりも大きい場合に、前記現在の姿勢に応じて、前記表示手段が表示する前記画像を変更する処理手段とを備える。

図１は、本実施形態の車両の構成を示すブロック図である。図２は、本実施形態の切出範囲変更動作の流れを示すフローチャートである。図３（ａ）は、車両１の姿勢が基準姿勢になっている場合における切出範囲を、車両の後方を撮像することで得られる撮像画像上で示す平面図であり、図３（ｂ）は、車両がロール方向に沿って第１所定量以上傾いた場合において、変更前の切出範囲を撮像画像上で示す平面図であり、図３（ｃ）は、車両がロール方向に沿って第１所定量以上傾いた場合において、変更後の切出範囲を撮像画像で示す平面図であり、図３（ｄ）は、図３（ｂ）に示す変更前の切出範囲に基づいて切り出される表示画像を示す平面図であり、図３（ｅ）は、図３（ｃ）に示す変更後の切出範囲に基づいて切り出される表示画像を示す平面図である。図４（ａ）は、車両がピッチ方向に沿って第２所定量以上傾いた場合において、変更前の切出範囲を撮像画像で示す平面図であり、図４（ｂ）は、車両がピッチ方向に沿って第２所定量以上傾いた場合において、変更後の切出範囲を撮像画像で示す平面図であり、図４（ｃ）は、図４（ａ）に示す変更前の切出範囲に基づいて切り出される表示画像を示す平面図であり、図４（ｄ）は、図４（ｂ）に示す変更後の切出範囲に基づいて切り出される表示画像を示す平面図である。

以下、図面を参照しながら、画像表示装置の実施形態について説明する。以下では、画像表示装置の実施形態が搭載された車両１を用いて説明を進める。

（１）車両１の構成
初めに、図１を参照しながら、本実施形態の車両１の構成について説明する。図１は、本実施形態の車両１の構成を示すブロック図である。

図１に示すように、車両１は、カメラ１１と、ＥＣＵ（ＥｌｅｃｔｒｉｃａｌＣｏｎｔｒｏｌＵｎｉｔ）１３と、ディスプレイ１４とを備える。

カメラ１１は、車両１の周囲を撮像する撮像機器である。カメラ１１は、車両１の後方（特に、真後）に位置する後方領域を撮像する撮像機器であってもよい。カメラ１１は、車両１の後側方に位置する後側方領域を撮像する撮像機器であってもよい。後方領域は、車両１の車室内にバックミラーが設置されていると仮定した場合において、当該バックミラーに写りこむ領域の少なくとも一部を含む領域である。後側方領域は、車両１のフロントドアにドアミラーが設置されていると仮定した場合において、フロントドアが閉状態にある状況下で当該フロントドアに設置されたドアミラーに写りこむ領域の少なくとも一部に含む領域である。このため、カメラ１１は、車両１の車室内に設置されるバックミラー及び車両１のフロントドアに設置されるドアミラーの少なくとも一方に代わる、いわゆる電子ミラーの一部を構成する。

ＥＣＵ１３は、カメラ１１が撮像した撮像画像１１１をディスプレイ１４に表示するための画像表示動作を行う。画像表示動作を行うために、ＥＣＵ１３は、ＥＣＵ１３の内部に論理的に実現される処理ブロックとして、画像取得部１３１と、画像切出部１３２とを備える。画像取得部１３１は、カメラ１１から撮像画像１１１を取得する。画像切出部１３２は、撮像画像１１１をトリミングすることで、撮像画像１１１から、撮像画像１１１の少なくとも一部の画像部分に相当する表示画像１１２Ｂを切り出す（つまり、抽出する）。画像切出部１３２は、生成した表示画像１１２を表示するように、ディスプレイ１４を制御する。ディスプレイ１４は、車両１の車室内に設置されており、車室内にいる車両１の乗員に対して表示画像１１２を表示する。

本実施形態では更に、ＥＣＵ１３は、画像表示動作と並行して、車両１の姿勢に基づいて、撮像画像１１１内における表示画像１１２の切出範囲（つまり、抽出範囲）１１３を変更するための切出範囲変更動作を行う。切出範囲変更動作を行うために、ＥＣＵ１３は、ＥＣＵ１３の内部に論理的に実現される処理ブロックとして、切出範囲変更部１３３を備える。以下、切出範囲変更動作について更に詳細に説明を進める。

（２）切出範囲変更動作の流れ
図２を参照しながら、本実施形態の切出範囲変更動作の流れについてより詳細に説明する。図２は、本実施形態の切出範囲変更動作の流れを示すフローチャートである。

図２に示すように、切出範囲変更部１３３は、車両１の姿勢に関する姿勢情報を取得する（ステップＳ１１）。姿勢情報は、例えば、路面に対する車両１の傾きに関する傾き情報を含む。具体的には、例えば、姿勢情報は、路面に対する車両１のロール方向の傾き（つまり、路面に対する車両１の左右軸の傾き）に関する第１傾き情報を含んでいてもよい。この場合、切出範囲変更部１３３は、例えば、車両１のロール角に関する情報（例えば、ジャイロセンサを含むロール角センサの検出結果）、車両１の高さに関する情報（例えば、車高センサの検出結果）、及び、車両１の高さを調整するために車両１が備える部品（例えば、エアサスペンション）の作動状態に関する情報の少なくとも一つを、第１傾き情報として取得してもよい。或いは、例えば、姿勢情報は、第１傾き情報に加えて、路面に対する車両１のピッチ方向の傾き（つまり、路面に対する車両１の前後軸の傾き）に関する第２傾き情報を含んでいてもよい。この場合、切出範囲変更部１３３は、例えば、車両１のピッチ角に関する情報（例えば、ジャイロセンサを含むピッチ角センサの検出結果）、車両１の高さに関する情報（例えば、車高センサの検出結果）、及び、車両１の高さを調整するために車両１が備える部品（例えば、エアサスペンション）の作動状態に関する情報の少なくとも一つを、第２傾き情報として取得してもよい。

その後、切出範囲変更部１３３は、ステップＳ１１で取得した姿勢情報に基づいて、車両１の現在の姿勢が、所定の基準姿勢に対して所定量以上変化しているか否かを判定する（ステップＳ１２）。例えば、姿勢情報が第１傾き情報を含んでいる場合には、切出範囲変更部１３３は、車両１のロール方向の姿勢が、左右軸が路面に対して平行になっている車両１の姿勢に相当する基準姿勢に対して、第１の所定量以上変化しているか否かを判定してもよい。より具体的には、例えば、切出範囲変更部１３３は、車両１のロール角（ここでは特に、路面に対する車両１の左右軸の傾斜角）が、第１の所定量に対応する第１の所定角度以上であるか否かを判定してもよい。ロール角が第１の所定角度以上である場合には、車両１の現在の姿勢が基準姿勢に対して所定量以上変化していると判定される。或いは、例えば、姿勢情報が第２傾き情報を含んでいる場合には、切出範囲変更部１３３は、車両１のピッチ方向の傾きが、前後軸が路面に対して平行になっている車両１の姿勢に相当する基準姿勢に対して、第２の所定量以上変化しているか否かを判定してもよい。より具体的には、例えば、切出範囲変更部１３３は、車両１のピッチ角（ここでは特に、路面に対する車両１の前後軸の傾斜角）が、第２の所定量に対応する第２の所定角度以上であるか否かを判定してもよい。ピッチ角が第２の所定角度以上である場合には、車両１の現在の姿勢が基準姿勢に対して所定量以上変化していると判定される。尚、第１及び第２の所定量は、表示画像１１２の切出範囲１１３を変えることが好ましいほどに車両１の姿勢が大きく変化している状態と、表示画像１１２の切出範囲１１３を変えなくても問題が生じないほどにしか車両１の姿勢が変化していない（或いは、車両１の姿勢が殆ど又は全く変化していない）状態とを、車両１の傾きに関する情報から区別可能な適切な値が設定される。

ステップＳ１２の判定の結果、車両１の姿勢が所定量以上変化していないと判定された場合には（ステップＳ１２：Ｎｏ）、切出範囲変更部１３３は、表示画像１１２の切出範囲１１３を変更しなくてもよい。

他方で、ステップＳ１２の判定の結果、車両１の姿勢が所定量以上変化していると判定された場合には（ステップＳ１２：Ｙｅｓ）、切出範囲変更部１３３は、表示画像１１２の切出範囲１１３を変更する（ステップＳ１３）。具体的には、切出範囲変更部１３３は、切出範囲変更部１３３は、変更後の切出範囲１１３に基づいて切り出される表示画像１１２の内容と、車両１の姿勢が基準姿勢になっている場合に切り出される表示画像１１２の内容とが同じになるように、表示画像１１２の切出範囲１１３を変更する。このため、切出範囲変更部１３３は、車両１の現在の姿勢に基づいて（特に、車両１の現在の姿勢と基準姿勢との差異）に基づいて、表示画像１１２の切出範囲１１３を変更することが好ましい。但し、切出範囲変更部１３３は、切出範囲１１３を変更する前と比較して、変更後の切出範囲１１３に基づいて切り出される表示画像１１２の内容と、車両１の姿勢が基準姿勢になっている場合に切り出される表示画像１１２の内容との差異が小さくなるように、表示画像１１２の切出範囲１１３を変更してもよい。

例えば、図３（ａ）は、車両１の姿勢が基準姿勢になっている場合における切出範囲１１３（つまり、デフォルトの切出範囲１１３）を、車両１の後方に位置する後方領域を撮像することで得られる撮像画像１１１上で示す平面図である。一方で、図３（ｂ）は、車両１がロール方向に沿って第１の所定量以上傾いた（例えば、車両１のロール角が、第１所定量に対応する第１の所定角度以上になっている）場合において、変更前の切出範囲１１３を撮像画像１１１上で示す平面図である。車両１がロール方向に沿って傾くと、車両１が備えるカメラ１１もまたロール方向に沿って傾く。このため、図３（ａ）及び図３（ｂ）に示すように、車両１がロール方向に沿って傾くと、撮像画像１１１に写りこんでいる光景もまた、ロール方向に沿って傾く。このため、切出範囲１１３が変更されなければ、撮像画像１１１から切り出される表示画像１１２の内容は、車両１の姿勢が基準姿勢になっている場合に切り出される表示画像１１２の内容とは異なるものとなる。具体的には、図３（ｄ）に示すように、撮像画像１１１から切り出される表示画像１１２には、ロール方向に沿って傾いた光景が写りこむ。このため、切出範囲変更部１３３は、図３（ｃ）に示すように、撮像画像１１１上において、車両１のロール方向への傾きに合わせて、切出範囲１１３もまた車両１のロール方向に沿って傾くように、切出範囲１１３を変更する。つまり、切出範囲変更部１３３は、撮像画像１１１上において、デフォルトの切出範囲１１３（つまり、変更前の切出範囲１１３）に対して変更後の切出範囲１１３が車両１のロール方向に沿って傾くように、切出範囲１１３を変更する。このため、図３（ｅ）に示すように、変更後の切出範囲１１３に基づいて切り出される表示画像１１２には、ロール方向に沿って傾いていない光景が写りこむ。つまり、変更後の切出範囲１１３に基づいて切り出される表示画像１１２に写りこんでいる光景は、車両１の姿勢が基準姿勢になっている場合に切り出される表示画像１１２に写りこんでいる光景と同じになる。

或いは、例えば、図４（ａ）は、車両１がピッチ方向に沿って第２所定量以上傾いた（例えば、車両１のピッチ角が、第２の所定量に対応する第２の所定角度以上になっている）場合において、変更前の切出範囲１１３を撮像画像１１１上で示す平面図である。車両１がピッチ方向に沿って傾くと、車両１が備えるカメラ１１もまたピッチ方向に沿って傾く。つまり、カメラ１１の光軸の位置が上下方向に沿って変化する。その結果、カメラ１１の撮像範囲が上下方向に沿って変化する。このため、図３（ａ）及び図４（ａ）に示すように、車両１がピッチ方向に沿って傾くと、カメラ１１の撮像範囲の上下方向に沿った変化に合わせて、撮像画像１１１には、本来撮像すべき光景よりも上方又は下方の光景が写りこむ。その結果、車両１がピッチ方向に沿って第２の所定量以上傾いている場合に撮像される撮像画像１１１には、車両１の姿勢が基準姿勢となっている場合に撮像される撮像画像１１１のうち上方及び下方のいずれか一方の画像部分が含まれなくなる。このため、切出範囲１１３が変更されなければ、撮像画像１１１から切り出される表示画像１１２の内容は、車両１の姿勢が基準姿勢になっている場合に切り出される表示画像１１２の内容とは異なるものとなる。具体的には、図４（ｃ）に示すように、撮像画像１１１から切り出される表示画像１１２には、車両１の姿勢が基準姿勢となっている場合に切り出される表示画像１１２のうち相対的に上方及び下方のいずれか一方（図４（ｃ）に示す例では、上方）の画像部分が含まれなくなってしまう。このため、切出範囲変更部１３３は、図４（ｂ）に示すように、撮像画像１１１上において、車両１のピッチ方向への傾きに合わせて、切出範囲１１３もまた上下方向に沿って移動するように、切出範囲１１３を変更する。つまり、切出範囲変更部１３３は、図４（ｂ）に示すように、撮像画像１１１上において、デフォルトの切出範囲１１３（つまり、変更前の切出範囲１１３）に対して変更後の切出範囲１１３が上下方向に沿ってずれるように、切出範囲１１３を変更する。このため、図４（ｄ）に示すように、変更後の切出範囲１１３に基づいて切り出される表示画像１１２に写りこんでいる光景は、車両１の姿勢が基準姿勢になっている場合に切り出される表示画像１１２に写りこんでいる光景と同じになる。

以上説明したように、本実施形態の切出範囲変更動作によれば、車両１の姿勢に応じて切出範囲１１３が変更される。つまり、車両１の姿勢に応じて、ディスプレイ１４が表示する表示画像１１２が、車両１の姿勢に応じた適切な表示画像１１２に変更（つまり、修正）される。このため、ディスプレイ１４には、車両の姿勢に応じた適切な表示画像１１２が表示可能となる。特に、本実施形態では、切出範囲１１３を変更するという画像処理によって表示画像１１２が変更可能である。このため、比較的容易に表示画像１１２を変更することができる。

本発明は、請求の範囲及び明細書全体から読み取るこのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像表示装置もまた本発明の技術思想に含まれる。

１車両
１１カメラ
１３ＥＣＵ
１３１画像取得部
１３２画像切出部
１３３切出範囲変更部
１４ディスプレイ
１１１撮像画像
１１２表示画像

Claims

車両の周囲を撮像するために前記車両が備える撮像手段によって撮像された画像を表示する表示手段と、
所定の基準姿勢に対する前記車両の現在の姿勢の変化量が所定量よりも大きい場合に、前記現在の姿勢に応じて、前記表示手段が表示する前記画像を変更する処理手段と
を備えることを特徴とする画像表示装置。