JP2017065406A

JP2017065406A - 表示制御装置

Info

Publication number: JP2017065406A
Application number: JP2015192157A
Authority: JP
Inventors: 渡邊　一矢; Kazuya Watanabe; 一矢渡邊
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2015-09-29
Filing date: 2015-09-29
Publication date: 2017-04-06
Anticipated expiration: 2035-09-29
Also published as: JP6601100B2

Abstract

【課題】後から追加した部品に対して適切に合成画像を対応させることができない。【解決手段】表示制御装置は、車両の画像である車両画像と前記車両の周辺の画像である周辺画像と前記周辺画像を表示させない死角領域とを含む合成画像において前記死角領域に部品画像を追加する追加指示を取得する取得部と、前記追加指示に基づいて、前記部品画像の少なくとも一部を前記死角領域に重ねて追加した合成画像を生成する画像生成部と、を備える。【選択図】図３

Description

本発明は、表示制御装置に関する。

従来、自動車等の車両に搭載された表示制御装置において、カメラ等の撮像装置に撮像された画像等に基づいて、車両及び車両の周辺の画像を含む合成画像を表示装置に表示させる表示制御装置が知られている。

特開２００５−１１２００４号公報

しかしながら、上述の技術では、車両に後からウィンチ等の部品を追加した場合、当該部品が撮像装置から近すぎて正しい位置に表示できない。このため、上述の技術では、後から追加した部品に対して適切に合成画像を対応させることができないといった課題がある。

上述した課題を解決し、目的を達成するために、本発明の表示制御装置は、車両の画像である車両画像と前記車両の周辺の画像である周辺画像と前記周辺画像を表示させない死角領域とを含む合成画像において前記死角領域に部品画像を追加する追加指示を取得する取得部と、前記追加指示に基づいて、前記部品画像の少なくとも一部を前記死角領域に重ねて追加した合成画像を生成する画像生成部と、を備える。

本発明は、部品画像を合成画像に追加できるので、例えば、車両に後から追加したウィンチ等の部品に対して合成画像を適切な位置、大きさに対応させることができる。

図１は、実施形態の車両を示す平面図である。図２は、実施形態の車両の制御系の例示的なブロック図である。図３は、実施形態にかかるＥＣＵの構成を示す機能ブロック図である。図４は、画像生成部が生成する合成画像の一例を示す図である。図５は、画像生成部が生成する追加画面の一例を示す図である。図６は、ＥＣＵによって実行される部品画像追加処理のフローチャートである。

以下の例示的な実施形態や変形例には、同様の構成要素が含まれている。よって、以下では、同様の構成要素には共通の符号が付されるとともに、重複する説明が部分的に省略される。実施形態や変形例に含まれる部分は、他の実施形態や変形例の対応する部分と置き換えて構成されることができる。また、実施形態や変形例に含まれる部分の構成や位置等は、特に言及しない限りは、他の実施形態や変形例と同様である。

＜実施形態＞
図１は、実施形態の車両１０を示す平面図である。図１に示すように、車両１０の一例は、ピックアップトラック型である。尚、車両１０は、ピックアップトラック型以外であってもよい。車両１０は、車体１２と、ウィンチ１８と、トレーラーヒッチ２０と、複数の撮像部２４とを備える。

車体１２は、一対のミラー１４、１６と、キャビン部２６と、荷台２８とを有する。キャビン部２６は、例えば、複数人を収容可能な乗車スペースを有する。キャビン部２６の前端部には、バンパー２６ａが設けられている。荷台２８は、キャビン部２６の後方に設けられている。荷台２８の後端部には、バンパー２８ａが設けられている。荷台２８は、容易に荷物等を積載可能に外部に開放されている。一対のミラー１４、１６は、例えば、車体１２の前後方向の中央部に設けられている。一方のミラー１４は、車体１２の右側に設けられている。他方のミラー１６は、車体１２に左側に設けられている。

ウィンチ１８は、他の車両等と連結されたロープを巻き取る。ウィンチ１８は、例えば、車体１２の前端部かつ左右方向の中央部に設けられている。

トレーラーヒッチ２０は、別体のトレーラー等を連結して牽引する。トレーラーヒッチ２０は、例えば、車体１２の後端部かつ左右方向の中央部に設けられている。

撮像部２４の個数は、例えば、４個である。４個の撮像部を区別する必要がある場合、それぞれの符号を２４ａ、２４ｂ、２４ｃ、２４ｄとする。撮像部２４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部２４は、車両１０の周囲の状況を広角で撮像する。例えば、撮像部２４は、１８０°以上の広角で周囲を撮像する。撮像部２４は、車両１０の周囲の状況を撮像して、電気的な画像データに変換して、出力する。

撮像部２４ａは、車体１２の前端部かつ左右方向の中央部に設けられている。撮像部２４ａは、前方かつ斜め下方に向けられている。撮像部２４ａは、車両１０の前方の路面を含む周囲の状況を撮像する。撮像部２４ａは、ウィンチ１８よりも上方に配置されている。従って、撮像部２４ａが撮像した画像には、ウィンチ１８が含まれる。

撮像部２４ｂは、車体１２の後端部かつ左右方向の中央部に設けられている。撮像部２４ｂは、後方かつ斜め下方に向けられている。撮像部２４ｂは、車両１０の後方の路面を含む周囲の状況を撮像する。撮像部２４ｂは、トレーラーヒッチ２０よりも上方に配置されている。従って、撮像部２４ｂが撮像した画像には、トレーラーヒッチ２０が含まれる。

撮像部２４ｃは、車体１２の前後方向の中央部かつ右側に設けられている。撮像部２４ｃは、例えば、ミラー１４に設けられている。撮像部２４ｃは、右方向かつ斜め下方に向けられている。撮像部２４ｃは、車両１０の右側の路面を含む周囲の状況を撮像する。

撮像部２４ｄは、車体１２の前後方向の中央部かつ左側に設けられている。撮像部２４ｄは、例えば、ミラー１６に設けられている。撮像部２４ｄは、左方向かつ斜め下方に向けられている。撮像部２４ｄは、車両１０の左側の路面を含む周囲の状況を撮像する。

図２は、実施形態の車両１０の制御系の例示的なブロック図である。図２に示すように、車両１０は、モニタ装置３２と、表示制御装置の一例であるＥＣＵ３４とを備える。

モニタ装置３２及びＥＣＵ３４は、電気通信回線としての車内ネットワーク３３を介して電気的に接続されている。車内ネットワーク３３は、例えば、ＣＡＮ（Controller Area Network）として構成されている。

モニタ装置３２は、車体１２の内部のダッシュボード等に設けられている。モニタ装置３２は、表示装置３６及び操作入力部３８を有する。

表示装置３６は、静止画及び動画等の画像を表示する。表示装置３６の一例は、液晶ディスプレイである。表示装置３６は、ＥＣＵ３４が出力した画像データに基づいて、画像を表示する。

操作入力部３８は、ユーザの入力を取得してＥＣＵ３４へ出力する。操作入力部３８の一例は、タッチパネルである。操作入力部３８は、表示装置３６の画像が表示される画面上に配置されている。

ＥＣＵ３４は、車内ネットワーク３３を通じて制御信号を送ることで、表示制御部３４ｄ及び表示装置３６等を制御することができる。また、ＥＣＵ３４は、車内ネットワーク３３を介して、操作入力部３８等の操作信号等を、受け取ることができる。

ＥＣＵ３４は、例えば、ＣＰＵ３４ａ（Central Processing Unit）や、ＲＯＭ３４ｂ（Read Only Memory）、ＲＡＭ３４ｃ（Random Access Memory）、表示制御部３４ｄ、音声制御部３４ｅ、ＳＳＤ３４ｆ（Solid State Drive、フラッシュメモリ）等を有している。ＣＰＵ３４ａは、例えば、表示装置３６で表示される画像に関連した画像処理等の、各種の演算処理および制御を実行することができる。ＣＰＵ３４ａは、ＲＯＭ３４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ３４ｃは、ＣＰＵ３４ａでの演算で用いられる各種のデータを一時的に記憶する。

表示制御部３４ｄは、ＥＣＵ３４での演算処理のうち、主として、撮像部２４で得られた画像データを用いた画像処理や、表示装置３６で表示される画像データの合成等を実行する。音声制御部３４ｅは、ＥＣＵ３４での演算処理のうち、主として、音声出力装置４０で出力される音声データの処理を実行する。ＳＳＤ３４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ３４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ３４ａや、ＲＯＭ３４ｂ、ＲＡＭ３４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ３４は、ＣＰＵ３４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ３４ｆに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ３４ｆやＨＤＤは、ＥＣＵ３４とは別に設けられてもよい。

実施形態では、ＥＣＵ３４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、表示制御装置としての機能の少なくとも一部を実現している。

図３は、実施形態にかかるＥＣＵ３４の構成を示す機能ブロック図である。ＥＣＵ３４は、表示制御装置の一例である。図３に示すように、ＥＣＵ３４は、ＥＣＵ３４として構成されたＣＰＵ３４ａが、ＲＯＭ３４ｂまたはＳＳＤ３４ｆ内に格納されたソフトウェアを実行する。これにより、ＥＣＵ３４は、入力インターフェース部８０１と、映像取得部８０５と、視点変換部８０９と、周辺画像生成部８１１と、指示取得部８０６と、画像生成部８１３と、記憶部８２２とを実現する。

入力インターフェース部８０１は、撮像部２４からの撮像画像データと、操作入力部３８からの指示データとを入力処理する。

映像取得部８０５は、撮像部２４により撮像された撮像画像データを取得して、視点変換部８０９に出力する。視点変換部８０９は、撮像部２４によって生成された撮像画像データの視点を変換し、俯瞰画像を作成する。

周辺画像生成部８１１は、車両１０の周辺の画像である周辺画像を生成する。周辺画像の一例は、周辺を上方から俯瞰した俯瞰画像である。例えば、周辺画像は、撮像部２４によってリアルタイムに撮像された撮像画像データから、視点変換部８０９によって視点変換された俯瞰画像に基づいて生成される。周辺画像生成部８１１は、時間の経過とともに、周辺画像を繰り返し生成して更新する。周辺画像生成部８１１は、生成した周辺画像を画像生成部８１３へ出力する。

指示取得部８０６は、ユーザが操作入力部３８によって入力した指示に対応した操作指示を、入力インターフェース部８０１を介して取得する。操作指示は、例えば、後述する合成画像において部品画像を追加する追加指示である。部品画像とは、ウィンチ１８及びトレーラーヒッチ２０等の後で追加した部品等に対応した画像のことである。部品画像は、ＣＧ（ComputerGraphics）等の技術によって予め生成されてＲＯＭ３４ｂ等に格納されている。指示取得部８０６は、後述する死角領域が複数の場合、複数の死角領域のうち、部品画像を重ねる死角領域を選択した選択指示を取得する。指示取得部８０６は、追加した部品画像の位置を変更する変更指示を取得する。

画像生成部８１３は、周辺画像生成部８１１から周辺画像を取得して、記憶部８２２から死角領域に関する情報及び車両１０の画像である車両画像を取得する。車両画像は、車両１０の画像であり、少なくとも車両１０の一部の画像である。車両画像は、例えば、予め撮像または生成されてＲＯＭ３４ｂ等に格納されている。死角領域とは、周辺画像を表示させない領域のことである。死角領域に関する情報とは、例えば、車両画像に対する死角領域の相対的な座標を示す情報である。具体的には、死角領域に関する情報とは、死角領域が四角形の場合、死角領域の４つの角の座標である。画像生成部８１３は、周辺画像と、車両画像と、死角領域とを含む合成画像を生成する。画像生成部８１３は、例えば、死角領域を黒等によって塗りつぶすことによって、死角領域に含まれる周辺画像を消去して、合成画像を生成する。

また、画像生成部８１３は、追加指示に基づいて、部品画像の少なくとも一部を死角領域に重ねて、部品画像を追加した合成画像を生成する。例えば、画像生成部８１３は、選択指示によって選択された死角領域に部品画像を重ねて追加する。更に、画像生成部８１３は、部品画像の位置を変更する変更指示に応じて、合成画像内での部品画像の位置を変更する。画像生成部８１３は、表示制御部３４ｄを介して、生成した合成画像を表示装置３６へ出力して、合成画像を表示させる。また、画像生成部８１３は、部品画像の追加指示を取得するための追加画面を生成して、表示装置３６に表示させる。

記憶部８２２は、例えば、ＲＡＭ３４ｃ上に形成される。記憶部８２２は、例えば、死角領域、部品画像、及び、合成画像に関する情報を記憶する。

図４は、画像生成部８１３が生成する合成画像ＳＩの一例を示す図である。図４に示すように、画像生成部８１３は、周辺画像生成部８１１から取得した周辺画像４８及び自己の車両１０の車両画像５０を含み、記憶部８２２から取得した死角領域５２を黒く塗りつぶして周辺画像４８を消去して合成した合成画像ＳＩを生成する。周辺画像４８は、駐車枠等の路面の画像及び周囲に駐車された他の車両の画像である車両画像５４等を含む。画像生成部８１３は、更に、追加指示によって、ウィンチ１８に対応する部品画像５６ａ、トレーラーヒッチ２０に対応する部品画像５６ｂを合成画像に追加する。尚、部品画像５６ａ、５６ｂを区別する必要がない場合、部品画像の符号を“５６”と表記する。

図５は、画像生成部８１３が生成する追加画面４２の一例を示す図である。図５に示すように、画像生成部８１３は、複数の入力ボタン４４と、選択部品画像４６と、死角領域５２と、車両画像５０とを含む追加画面４２を生成して、表示装置３６に表示させる。

入力ボタン４４は、複数の死角領域５２のうち部品画像５６を追加するエリアを選択するフロントエリアボタン４４ａ及びリアエリアボタン４４ｂを含む。フロントエリアボタン４４ａは、ユーザが複数の死角領域のうち前方の死角領域５２に部品画像５６を追加する場合の選択指示を入力する場合に操作される。リアエリアボタン４４ｂは、ユーザが複数の死角領域のうち後方の死角領域５２に部品画像５６を追加する場合の選択指示を入力する場合に操作される。入力ボタン４４は、部品画像５６の位置を移動させるための複数（例えば、４個）の位置変更ボタン４４ｃを含む。位置変更ボタン４４ｃは、ユーザが部品画像５６を上下左右のいずれかに移動させる場合に操作される。

入力ボタン４４は、複数（例えば、３個）の部品選択ボタン４４ｄを含む。部品選択ボタン４４ｄは、ユーザが複数の部品に対応する複数の部品画像５６のいずれかを選択する場合に操作される。当該部品選択ボタン４４ｄが操作されることにより、指示取得部８０６は追加指示を取得する。例えば、ユーザがウィンチ１８に対応する部品画像５６ａ、トレーラーヒッチ２０に対応する部品画像５６ｂ、及び、ユーザが定義した部品画像等のいずれかを選択する場合に、部品選択ボタン４４ｄのいずれかが選択される。画像生成部８１３は、部品選択ボタン４４ｄによって追加指示が入力されると、当該追加指示に応じて、選択された部品画像５６を追加画面４２の死角領域５２に追加する。

入力ボタン４４は、決定ボタン４４ｅを含む。選択部品画像４６は、部品選択ボタン４４ｄの右側に表示される。選択部品画像４６は、部品選択ボタン４４ｄによって選択された部品画像５６ａ、５６ｂを表示する。決定ボタン４４ｅは、ユーザが部品画像５６ａ、５６ｂの追加を終了した場合に選択される。

図６は、ＥＣＵ３４によって実行される部品画像追加処理のフローチャートである。ＥＣＵ３４は、部品画像追加処理用のプログラムを読み込むことによって、図６に示すフローチャートを実行する。

図６に示すように、部品画像追加処理では、ＥＣＵ３４の画像生成部８１３は、図５に示す追加画面４２を表示装置３６に表示させる（Ｓ１００）。尚、画像生成部８１３は、最初の追加画面４２では、部品画像５６を表示させない。

次に、指示取得部８０６は、エリアが選択されたか否かを判定する（Ｓ１０２）。指示取得部８０６は、ユーザがフロントエリアボタン４４ａ及びリアエリアボタン４４ｂのいずれかを選択すると（Ｓ１０２：Ｙｅｓ）、当該選択されたエリアに関する情報を画像生成部８１３へ出力する（Ｓ１０４）。

指示取得部８０６は、部品画像５６のいずれかが選択されたか否かを判定する（Ｓ１０６）。指示取得部８０６は、ユーザが部品選択ボタン４４ｄのいずれかを選択すると（Ｓ１０６：Ｙｅｓ）、当該選択された部品画像５６に関する情報を画像生成部８１３へ出力する。

画像生成部８１３は、ステップＳ１０２において選択されたエリアに、ユーザによって選択された部品画像５６を追加して表示する（Ｓ１０８）。例えば、図５に示す例では、画像生成部８１３は、前方の死角領域５２に部品画像５６を追加している。画像生成部８１３は、部品画像５６を追加する場合、記憶部８２２に記憶された初期値に基づいて、ユーザが選択した死角領域５２内における部品画像５６の位置を決定する。

指示取得部８０６は、位置変更ボタン４４ｃのいずれかが選択されて部品画像５６の位置変更をするか否かを判定する（Ｓ１１０）。指示取得部８０６は、ユーザが位置変更ボタン４４ｃのいずれかを選択すると、当該選択を変更指示として取得して、位置を変更すると判定する（Ｓ１１０：Ｙｅｓ）。指示取得部８０６は、当該選択された位置変更ボタン４４ｃに関する情報を変更指示として画像生成部８１３へ出力する。

画像生成部８１３は、ユーザによって選択された位置変更ボタン４４ｃに基づいて、部品画像５６の位置を変更する（Ｓ１１２）。例えば、ユーザが“ＵＰ”の位置変更ボタン４４ｃを選択した場合、画像生成部８１３は、追加画面４２内で部品画像５６を上方へ移動させる。この後、ステップＳ１１０を繰り返す。

指示取得部８０６は、ステップＳ１０２、Ｓ１０６、Ｓ１１０において、ユーザがいずれも選択しない場合（Ｓ１０２：Ｎｏ、Ｓ１０６：Ｎｏ、Ｓ１１０：Ｎｏ）、決定ボタン４４ｅが選択されか否かを判定する（Ｓ１１４）。指示取得部８０６は、ユーザが決定ボタン４４ｅを選択していない場合（Ｓ１１４：Ｎｏ）、ステップＳ１０２以降を繰り返す。一方、指示取得部８０６は、ユーザが決定ボタン４４ｅを選択した場合（Ｓ１１４：Ｙｅｓ）、追加処理を終了する。

この後、画像生成部８１３は、合成画像ＳＩを表示する場合、追加画面４２において設定及び変更された位置に選択された部品画像５６を表示する。

上述したように、実施形態によるＥＣＵ３４は、ユーザによって選択された部品画像５６を合成画像ＳＩに追加できるので、車両１０に後から追加したウィンチ１８等の部品に対して合成画像ＳＩを容易に対応させることができる。

ＥＣＵ３４は、複数の死角領域５２のうち、ユーザが選択した死角領域５２に部品画像５６を追加できるので、部品を追加した車両１０の個所に対応する位置に部品画像５６を表示させることができる。

ＥＣＵ３４は、追加画面４２において、追加した部品画像５６を表示するので、ユーザはより適切に部品画像５６を追加できる。

ＥＣＵ３４は、追加画面４２において、ユーザが入力した位置を変更する変更指示に応じて、部品画像５６の位置を変更するので、より適切な位置に部品画像５６を表示できる。

本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上述した実施形態の構成は適宜変更してよい。また、上述した実施形態の構成の接続関係等は適宜変更してよい。上述した実施形態のフローチャートのステップの順序は適宜変更してもよい。

例えば、上述の実施形態では、死角領域５２を黒塗りとしたが、灰色または線で囲まれた枠として表示してもよい。

上述の実施形態では、死角領域５２の形状は固定されていたが、死角領域５２の形状は変更してもよい。例えば、ユーザの入力によって死角領域５２の形状を変更してもよく、ユーザによって選択された部品画像５６に応じて死角領域５２の形状を変更してもよい。

１０…車両、１８…ウィンチ、２０…トレーラーヒッチ、２４…撮像部、３４…ＥＣＵ、３６…表示装置、４２…追加画面、４８…周辺画像、５０…車両画像、５２…死角領域、５６…部品画像、８０６…指示取得部、８１１…周辺画像生成部、８１３…画像生成部、ＳＩ…合成画像

Claims

車両の画像である車両画像と前記車両の周辺の画像である周辺画像と前記周辺画像を表示させない死角領域とを含む合成画像において前記死角領域に部品画像を追加する追加指示を取得する取得部と、
前記追加指示に基づいて、前記部品画像の少なくとも一部を前記死角領域に重ねて追加した合成画像を生成する画像生成部と、
を備える表示制御装置。
前記取得部は、複数の死角領域のうち、前記部品画像を重ねる死角領域を選択した選択指示を取得して、
前記画像生成部は、前記選択指示によって選択された前記死角領域に前記部品画像を重ねる
請求項１に記載の表示制御装置。
前記画像生成部は、前記部品画像の前記追加指示を取得するための追加画面に、前記死角領域及び前記車両画像を表示させる
請求項１または２に記載の表示制御装置。
前記画像生成部は、取得した前記追加指示に応じて、前記追加画面の前記死角領域に前記部品画像を追加する
請求項３に記載の表示制御装置。
前記取得部は、前記部品画像の位置を変更する変更指示を取得して、
前記画像生成部は、前記変更指示に応じて、前記合成画像内での前記部品画像の位置を変更する
請求項１から４のいずれか１項に記載の表示制御装置。