JP2017065407A

JP2017065407A - 表示制御装置

Info

Publication number: JP2017065407A
Application number: JP2015192173A
Authority: JP
Inventors: 渡邊　一矢; Kazuya Watanabe; 一矢渡邊
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2015-09-29
Filing date: 2015-09-29
Publication date: 2017-04-06
Anticipated expiration: 2035-09-29
Also published as: JP6601101B2

Abstract

【課題】ウィンチ等の部品を後から車両に追加した場合、ウィンチ等による死角領域の増加等に対し、増加指示または減少指示に基づいて死角領域を増減させて調整できる表示制御装置を提供する。【解決手段】表示制御装置３４は、車両の画像である車両画像と、車両の周辺の画像である周辺画像とを含む合成画像において、周辺画像を表示させない死角領域の増加指示、または減少指示を取得する取得部８０６と、増加指示または減少指示に基づいて、死角領域を増減させる死角領域生成部８０７と、死角領域と、車両画像と、周辺画像とを含む合成画像を生成する画像生成部８１３と、を備える。【選択図】図３

Description

本発明は、表示制御装置に関する。

従来、自動車等の車両に搭載された表示制御装置において、カメラ等の撮像装置に撮像された画像等に基づいて、車両及び車両の周辺の画像を含む画像を表示装置に表示させる表示制御装置が知られている。

特開２００５−１１２００４号公報

ここで、例えば、ウィンチ等の部品を後から車両に追加した場合、当該ウィンチ等が撮像装置の撮像領域に入り、周辺の画像を撮像できない撮像装置の死角領域が増加する。また、ユーザの好みで死角領域を変更したい場合や、カメラの取り付け状態によっては、設計上の死角領域ではなく、実際に視認可能な限界領域まで死角領域を減少したいケースが考えられる。しかしながら、上述の技術では、当該死角領域の増加等に表示させる画像を対応できないといった課題がある。

上述した課題を解決し、目的を達成するために、本発明の表示制御装置は、車両の画像である車両画像と前記車両の周辺の画像である周辺画像とを含む合成画像において前記周辺画像を表示させない死角領域の増加指示または減少指示を取得する取得部と、前記増加指示または前記減少指示に基づいて、前記死角領域を増減させる死角領域生成部と、前記死角領域と、前記車両画像と、前記周辺画像とを含む合成画像を生成する画像生成部と、を備える。

本発明にかかる表示制御装置は、増加指示または減少指示に基づいて死角領域を増減させて調整できるので、後から追加したウィンチ等による死角領域の増加等に対応できる。

図１は、第１実施形態の車両を示す平面図である。図２は、第１実施形態の車両の制御系の例示的なブロック図である。図３は、第１実施形態にかかるＥＣＵの構成を示す機能ブロック図である。図４は、画像生成部が生成する合成画像の一例を示す図である。図５は、画像生成部が生成する死角領域調整画面の一例を示す図である。図６は、ＥＣＵによって実行される死角領域調整処理のフローチャートである。図７は、第２実施形態における死角領域調整画面を示す図である。

以下の例示的な実施形態や変形例には、同様の構成要素が含まれている。よって、以下では、同様の構成要素には共通の符号が付されるとともに、重複する説明が部分的に省略される。実施形態や変形例に含まれる部分は、他の実施形態や変形例の対応する部分と置き換えて構成されることができる。また、実施形態や変形例に含まれる部分の構成や位置等は、特に言及しない限りは、他の実施形態や変形例と同様である。

＜第１実施形態＞
図１は、第１実施形態の車両１０を示す平面図である。図１に示すように、車両１０の一例は、ピックアップトラック型である。尚、車両１０は、ピックアップトラック型以外であってもよい。車両１０は、車体１２と、ウィンチ１８と、トレーラーヒッチ２０と、複数の撮像部２４とを備える。

車体１２は、一対のミラー１４、１６と、キャビン部２６と、荷台２８とを有する。キャビン部２６は、例えば、複数人を収容可能な乗車スペースを有する。キャビン部２６の前端部には、バンパー２６ａが設けられている。荷台２８は、キャビン部２６の後方に設けられている。荷台２８の後端部には、バンパー２８ａが設けられている。荷台２８は、容易に荷物等を積載可能に外部に開放されている。一対のミラー１４、１６は、例えば、車体１２の前後方向の中央部に設けられている。一方のミラー１４は、車体１２の右側に設けられている。他方のミラー１６は、車体１２の左側に設けられている。

ウィンチ１８は、他の車両等と連結されたロープを巻き取る。ウィンチ１８は、例えば、車体１２の前端部かつ左右方向の中央部に設けられている。

トレーラーヒッチ２０は、別体のトレーラー等を連結して牽引する。トレーラーヒッチ２０は、例えば、車体１２の後端部かつ左右方向の中央部に設けられている。

撮像部２４の個数は、例えば、４個である。４個の撮像部を区別する必要がある場合、それぞれの符号を２４ａ、２４ｂ、２４ｃ、２４ｄとする。撮像部２４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部２４は、車両１０の周囲の状況を広角で撮像する。例えば、撮像部２４は、１８０°以上の広角で周囲を撮像する。撮像部２４は、車両１０の周囲の状況を撮像して、電気的な画像データに変換して、出力する。

撮像部２４ａは、車体１２の前端部かつ左右方向の中央部に設けられている。撮像部２４ａは、前方かつ斜め下方に向けられている。撮像部２４ａは、車両１０の前方の路面を含む周囲の状況を撮像する。撮像部２４ａは、ウィンチ１８よりも上方に配置されている。従って、撮像部２４ａが撮像した画像には、ウィンチ１８が含まれる。

撮像部２４ｂは、車体１２の後端部かつ左右方向の中央部に設けられている。撮像部２４ｂは、後方かつ斜め下方に向けられている。撮像部２４ｂは、車両１０の後方の路面を含む周囲の状況を撮像する。撮像部２４ｂは、トレーラーヒッチ２０よりも上方に配置されている。従って、撮像部２４ｂが撮像した画像には、トレーラーヒッチ２０が含まれる。

撮像部２４ｃは、車体１２の前後方向の中央部かつ右側に設けられている。撮像部２４ｃは、例えば、ミラー１４に設けられている。撮像部２４ｃは、右方向かつ斜め下方に向けられている。撮像部２４ｃは、車両１０の右側の路面を含む周囲の状況を撮像する。

撮像部２４ｄは、車体１２の前後方向の中央部かつ左側に設けられている。撮像部２４ｄは、例えば、ミラー１６に設けられている。撮像部２４ｄは、左方向かつ斜め下方に向けられている。撮像部２４ｄは、車両１０の左側の路面を含む周囲の状況を撮像する。

図２は、第１実施形態の車両１０の制御系の例示的なブロック図である。図２に示すように、車両１０は、モニタ装置３２と、表示制御装置の一例であるＥＣＵ３４とを備える。

モニタ装置３２及びＥＣＵ３４は、電気通信回線としての車内ネットワーク３３を介して電気的に接続されている。車内ネットワーク３３は、例えば、ＣＡＮ（Controller Area Network）として構成されている。

モニタ装置３２は、車体１２の内部のダッシュボード等に設けられている。モニタ装置３２は、表示装置３６及び操作入力部３８を有する。

表示装置３６は、静止画及び動画等の画像を表示する。表示装置３６の一例は、液晶ディスプレイである。表示装置３６は、ＥＣＵ３４が出力した画像データに基づいて、画像を表示する。

操作入力部３８は、ユーザの入力を取得してＥＣＵ３４へ出力する。操作入力部３８の一例は、タッチパネルである。操作入力部３８は、表示装置３６の画像が表示される画面上に配置されている。

ＥＣＵ３４は、車内ネットワーク３３を通じて制御信号を送ることで、表示制御部３４ｄ及び表示装置３６等を制御することができる。また、ＥＣＵ３４は、車内ネットワーク３３を介して、操作入力部３８等の操作信号等を、受け取ることができる。

ＥＣＵ３４は、例えば、ＣＰＵ３４ａ（Central Processing Unit）や、ＲＯＭ３４ｂ（Read Only Memory）、ＲＡＭ３４ｃ（Random Access Memory）、表示制御部３４ｄ、音声制御部３４ｅ、ＳＳＤ３４ｆ（Solid State Drive、フラッシュメモリ）等を有している。ＣＰＵ３４ａは、例えば、表示装置３６で表示される画像に関連した画像処理等の、各種の演算処理および制御を実行することができる。ＣＰＵ３４ａは、ＲＯＭ３４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ３４ｃは、ＣＰＵ３４ａでの演算で用いられる各種のデータを一時的に記憶する。

表示制御部３４ｄは、ＥＣＵ３４での演算処理のうち、主として、撮像部２４で得られた画像データを用いた画像処理や、表示装置３６で表示される画像データの合成等を実行する。音声制御部３４ｅは、ＥＣＵ３４での演算処理のうち、主として、音声出力装置４０で出力される音声データの処理を実行する。ＳＳＤ３４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ３４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ３４ａや、ＲＯＭ３４ｂ、ＲＡＭ３４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ３４は、ＣＰＵ３４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ３４ｆに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ３４ｆやＨＤＤは、ＥＣＵ３４とは別に設けられてもよい。

第１実施形態では、ＥＣＵ３４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、表示制御装置としての機能の少なくとも一部を実現している。

図３は、第１実施形態にかかるＥＣＵ３４の構成を示す機能ブロック図である。ＥＣＵ３４は、表示制御装置の一例である。図３に示すように、ＥＣＵ３４は、ＥＣＵ３４として構成されたＣＰＵ３４ａが、ＲＯＭ３４ｂまたはＳＳＤ３４ｆ内に格納されたソフトウェアを実行する。これにより、ＥＣＵ３４は、入力インターフェース部８０１と、映像取得部８０５と、視点変換部８０９と、周辺画像生成部８１１と、指示取得部８０６と、死角領域生成部８０７と、画像生成部８１３と、記憶部８２２とを実現する。

入力インターフェース部８０１は、撮像部２４からの撮像画像データと、操作入力部３８からの指示データとを入力処理する。

映像取得部８０５は、撮像部２４により撮像された撮像画像データを取得して、視点変換部８０９に出力する。視点変換部８０９は、撮像部２４によって生成された撮像画像データの視点を変換し、俯瞰画像を作成する。

周辺画像生成部８１１は、車両１０の周辺の画像である周辺画像を生成する。周辺画像の一例は、周辺を上方から俯瞰した俯瞰画像である。例えば、周辺画像は、撮像部２４によってリアルタイムに撮像された撮像画像データから、視点変換部８０９によって視点変換された俯瞰画像に基づいて生成される。周辺画像生成部８１１は、時間の経過とともに、周辺画像を繰り返し生成して更新する。周辺画像生成部８１１は、生成した周辺画像を画像生成部８１３へ出力する。

指示取得部８０６は、ユーザが操作入力部３８によって入力した指示に対応した操作指示を、入力インターフェース部８０１を介して取得する。操作指示は、例えば、後述する合成画像において周辺画像を表示させない死角領域の増加指示または減少指示である。また、指示取得部８０６は、死角領域が複数の場合、複数の死角領域のうち、増減させる死角領域を選択した選択指示を取得する。

死角領域生成部８０７は、死角領域を生成する。死角領域生成部８０７は、例えば、車両画像に対する死角領域の相対的な位置を示す座標を設定することによって、死角領域を生成する。死角領域生成部８０７は、一例として、死角領域が四角形状である場合、４つの角の座標を設定する。死角領域は、例えば、ウィンチ１８及びトレーラーヒッチ２０等によって撮像部２４の死角となる車両１０の前方及び後方の領域に対応している。死角領域生成部８０７は、指示取得部８０６から取得した増加指示または減少指示に基づいて、死角領域を増減する。操作指示データは、例えば、死角領域の増加指示または減少指示である。死角領域生成部８０７は、死角領域が複数の場合、選択指示によって選択された死角領域を、増加指示または減少指示に基づいて、増減させる。

画像生成部８１３は、周辺画像生成部８１１から周辺画像を取得して、死角領域生成部８０７から死角領域に関する情報を取得して、車両１０の画像である車両画像を取得する。車両画像は、車両１０の画像であり、少なくとも車両１０の一部の画像である。車両画像は、例えば、予め撮像または生成されてＲＯＭ３４ｂ等に格納されている。画像生成部８１３は、周辺画像と、車両画像と、死角領域とを含む合成画像を生成する。画像生成部８１３は、例えば、死角領域を黒等によって塗りつぶすことによって、死角領域に含まれる周辺画像を消去して、合成画像を生成する。画像生成部８１３は、表示制御部３４ｄを介して、生成した合成画像を表示装置３６へ出力して、合成画像を表示させる。また、画像生成部８１３は、死角領域を調整するための増加指示または減少指示を取得するための死角領域調整画面を生成して、表示装置３６に表示させる。

記憶部８２２は、例えば、ＲＡＭ３４ｃ上に形成される。記憶部８２２は、例えば、死角領域生成部８０７が生成した死角領域、及び、合成画像に関する情報を記憶する。

図４は、画像生成部８１３が生成する合成画像ＳＩの一例を示す図である。図４に示すように、画像生成部８１３は、周辺画像生成部８１１から取得した周辺画像４８及び自己の車両１０の車両画像５０を含み、死角領域生成部８０７から取得した死角領域５２を黒く塗りつぶして周辺画像４８を消去して合成した合成画像ＳＩを生成する。周辺画像４８は、駐車枠等の路面の画像及び周囲に駐車された他の車両の画像である車両画像５４等を含む。

図５は、画像生成部８１３が生成する死角領域調整画面４２の一例を示す図である。図５に示すように、画像生成部８１３は、複数の入力ボタン４４と、死角領域５２と、車両画像５０とを含む死角領域調整画面４２を生成して、表示装置３６に表示させる。

入力ボタン４４は、複数の死角領域５２のうち増減させる死角領域５２のエリアを選択するフロントエリアの調整ボタン４４ａ及びリアエリアの調整ボタン４４ｂを含む。フロントエリアの調整ボタン４４ａは、ユーザが複数の死角領域のうち前方の死角領域５２を増減させる場合の選択指示を入力する場合に操作される。リアエリアの調整ボタン４４ｂは、ユーザが複数の死角領域のうち後方の死角領域５２を増減させる場合の選択指示を入力する場合に操作される。入力ボタン４４は、アップボタン４４ｃ及びダウンボタン４４ｄを含む。アップボタン４４ｃは、ユーザが死角領域５２を前後方向に増加させる増加指示を入力する場合に選択される。ダウンボタン４４ｄは、ユーザが死角領域５２を前後方向に減少させる減少指示を入力する場合に選択される。入力ボタン４４は、決定ボタン４４ｅを含む。決定ボタン４４ｅは、ユーザが死角領域５２の調整を終了した場合に選択される。

画像生成部８１３は、取得した死角領域５２の増加指示または減少指示に応じて、死角領域調整画面４２に表示されている死角領域５２を増減させて更新する。

図６は、ＥＣＵ３４によって実行される死角領域調整処理のフローチャートである。ＥＣＵ３４は、死角領域調整処理用のプログラムを読み込むことによって、図６に示すフローチャートを実行する。

図６に示すように、死角領域調整処理では、ＥＣＵ３４の画像生成部８１３は、図５に示す死角領域調整画面４２を表示装置３６に表示させる（Ｓ１００）。

次に、指示取得部８０６は、エリアが選択されたか否かを判定する（Ｓ１０２）。指示取得部８０６は、ユーザがフロントエリアの調整ボタン４４ａ及びリアエリアの調整ボタン４４ｂのいずれかを選択すると（Ｓ１０２：Ｙｅｓ）、当該選択されたエリアに関する情報を死角領域生成部８０７へ出力する（Ｓ１０４）。

次に、指示取得部８０６は、ユーザがアップボタン４４ｃを選択したか否かを判定する（Ｓ１０６）。指示取得部８０６は、ユーザがアップボタン４４ｃを選択したと判定すると（Ｓ１０６：Ｙｅｓ）、増加指示を死角領域生成部８０７へ出力する。

死角領域生成部８０７は、増加指示を取得すると、ステップＳ１０２においてユーザが選択したエリアの死角領域５２を増加させる（Ｓ１０８）。具体的には、死角領域生成部８０７は、記憶部８２２から現在の死角領域５２または初期値の死角領域５２に関する情報を取得して、ユーザが選択した死角領域５２を前後方向に増加させる。例えば、死角領域生成部８０７は、死角領域５２を画面上で前後方向に１ドット増加させる。死角領域生成部８０７は、増加させた死角領域５２を記憶部８２２に格納するとともに、画像生成部８１３へ出力する。

画像生成部８１３は、死角領域生成部８０７から更新した死角領域５２の情報を取得すると、当該死角領域５２に対応させて死角領域調整画面４２の死角領域５２を更新する（Ｓ１２０）。

一方、指示取得部８０６は、ユーザがアップボタン４４ｃを選択していないと判定すると（Ｓ１０６：Ｎｏ）、ユーザがダウンボタン４４ｄを選択したか否かを判定する（Ｓ１１０）。指示取得部８０６は、ユーザがダウンボタン４４ｄを選択したと判定すると（Ｓ１１０：Ｙｅｓ）、減少指示を死角領域生成部８０７へ出力する。

死角領域生成部８０７は、減少指示を取得すると、ステップＳ１０２においてユーザが選択したエリアの死角領域５２を減少させる（Ｓ１１２）。具体的には、死角領域生成部８０７は、記憶部８２２から現在の死角領域５２または初期値の死角領域５２に関する情報を取得して、ユーザが選択した死角領域５２を前後方向に減少させる。例えば、死角領域生成部８０７は、死角領域５２を画面上で前後方向に１ドット減少させる。死角領域生成部８０７は、減少させた死角領域５２を記憶部８２２に格納するとともに、画像生成部８１３へ出力する。

指示取得部８０６は、ユーザがフロントエリアの調整ボタン４４ａまたはリアエリアの調整ボタン４４ｂが選択していないと判定（Ｓ１０２：Ｎｏ）、または、ユーザがダウンボタン４４ｄを選択していないと判定すると（Ｓ１１０：Ｎｏ）、ユーザが決定ボタン４４ｅを選択したか否かを判定する（Ｓ１１４）。指示取得部８０６は、ユーザが決定ボタン４４ｅを選択していないと判定すると（Ｓ１１４：Ｎｏ）、ステップＳ１０２以降を繰り返す。一方、指示取得部８０６は、ユーザが決定ボタン４４ｅを選択したと判定すると（Ｓ１１４：Ｙｅｓ）、死角領域調整処理を終了する。

この後、画像生成部８１３は、図４に示す死角領域５２を付加した車両画像５０を含む合成画像ＳＩを生成する場合、更新された死角領域５２に基づいて、合成画像ＳＩを生成する。

上述したように、ＥＣＵ３４では、指示取得部８０６によってユーザによる死角領域５２の増加指示または減少指示を取得する。死角領域生成部８０７は、死角領域５２を増加指示または減少指示に基づいて、増加または減少させる。これにより、画像生成部８１３は、周辺画像を含む合成画像ＳＩ内で死角領域５２を増加または減少させることができる。この結果、ＥＣＵ３４は、車両１０にウィンチ１８及びトレーラーヒッチ２０等の部品が後から追加され、撮像部２４の死角が増加した場合でも、当該死角の増加等に応じた合成画像ＳＩを容易に生成して対応できる。

ＥＣＵ３４は、ユーザによって選択されたエリアの死角領域５２を調整可能に構成されている。これにより、ＥＣＵ３４は、ユーザの希望する死角領域５２を調整できるので、より適切にユーザに対応できる。

＜第２実施形態＞
図７は、第２実施形態における死角領域調整画面４２を示す図である。図７に示すように、第２実施形態における画像生成部８１３は、車両画像５０の前後端部のそれぞれにバンパー２６ａ、２８ａの画像であるバンパー画像５６、５８を表示させている。ここで、画像生成部８１３は、撮像部２４によって実際に撮像されたバンパー２６ａ、２８ａの画像データに基づいて、バンパー画像５６、５８を生成している。撮像部２４は、広角で被写体を撮像するので、バンパー画像５６、５８は実際のバンパー２６ａ、２８ａの形状とは異なる。当該バンパー画像５６、５８は、撮像部２４の死角の大部分を占める。第２実施形態では、画像生成部８１３が撮像されたバンパーの画像データに基づいて生成したバンパー画像５６、５８を死角領域調整画面４２に表示させている。これにより、ユーザは撮像部２４の死角の要因となるバンパー画像５６、５８を見ながら死角領域５２を調整できるので、より適切に死角領域５２を調整できる。

本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上述した実施形態の構成は適宜変更してよい。また、上述した実施形態の構成の接続関係等は適宜変更してよい。上述した実施形態のフローチャートのステップの順序は適宜変更してもよい。

例えば、上述の実施形態では、死角領域５２を黒塗りとしたが、灰色または線で囲まれた枠として表示してもよい。

１０…車両
２４…撮像部
３２…モニタ装置
３４…ＥＣＵ
４２…死角領域調整画面
５２…死角領域
５４…車両画像
８０６…指示取得部
８０７…死角領域生成部
８０９…視点変換部
８１１…周辺画像生成部
８１３…画像生成部

Claims

車両の画像である車両画像と前記車両の周辺の画像である周辺画像とを含む合成画像において前記周辺画像を表示させない死角領域の増加指示または減少指示を取得する取得部と、
前記増加指示または前記減少指示に基づいて、前記死角領域を増減させる死角領域生成部と、
前記死角領域と、前記車両画像と、前記周辺画像とを含む合成画像を生成する画像生成部と、
を備える表示制御装置。
前記取得部は、複数の死角領域のうち、増減させる死角領域を選択した選択指示を取得して、
前記死角領域生成部は、前記選択指示によって選択された前記死角領域を増減させる
請求項１に記載の表示制御装置。
前記画像生成部は、前記死角領域を前記増加指示または前記減少指示を取得するための死角領域調整画面に、前記死角領域及び前記車両画像を表示させる
請求項１または２に記載の表示制御装置。
前記画像生成部は、取得した前記増加指示及び前記減少指示に応じて、前記死角領域調整画面に表示されている前記死角領域を増減させる
請求項３に記載の表示制御装置。