JP2021196743A

JP2021196743A - 画像処理装置、プログラム、及び画像処理システム

Info

Publication number: JP2021196743A
Application number: JP2020101592A
Authority: JP
Inventors: 敬久藤野; Takahisa Fujino
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2020-06-11
Filing date: 2020-06-11
Publication date: 2021-12-27
Anticipated expiration: 2040-06-11
Also published as: JP7276255B2; WO2021251339A1

Abstract

【課題】車両の乗員の視線を、表示する画像の中の特定の物標に誘導できる画像処理装置、プログラム、及び画像処理システムを提供すること。【解決手段】画像処理装置３は表示装置１５、１７、１９に画像を表示する。画像処理装置は、情報取得ユニットと、画像作成ユニットとを備える。情報取得ユニットは、車両の周辺に存在する物標の位置を表す第１情報と、物標が強調対象物標であるか否かを表す第２情報とを取得する。画像作成ユニットは、第１情報により表された位置に物標を表す画像を作成する。物標の少なくとも一部が強調対象物標である場合、画像作成ユニットは、強調対象物標が被写界深度にあるように表された画像を作成する。【選択図】図１

Description

本開示は、画像処理装置、プログラム、及び画像処理システムに関する。

特許文献１に、車両用運転操作補助装置用の表示装置が開示されている。表示装置は、自車線前方の先行車を表すシンボルと、自車線外の車両を表すシンボルとを異なる色で表示することで、先行車を強調表示する。

特許第４７７９３５５号公報

特許文献１に記載の表示装置では、車両の乗員の視線を、表示する画像の中の特定の物標に誘導できない場合がある。本開示の１つの局面では、車両の乗員の視線を、表示する画像の中の特定の物標に誘導できる画像処理装置、プログラム、及び画像処理システムを提供することが好ましい。

（１）本開示の１つの局面は、車両（２）が備える表示装置（１５、１７、１９）に画像（５７、６５、６７）を表示する画像処理装置（３）である。画像処理装置は、前記車両の周辺に存在する物標（５９）の位置を表す第１情報と、前記物標が強調対象物標（５９Ａ）であるか否かを表す第２情報とを取得するように構成された情報取得ユニット（３５）と、前記第１情報により表された前記位置に前記物標を表す画像を作成するように構成された画像作成ユニット（３７）とを備える。

前記画像に表される前記物標の少なくとも一部が前記強調対象物標であることを前記第２情報が表している場合、前記画像作成ユニットは、前記強調対象物標が被写界深度にあるように表された前記画像（５７、６５）を作成する。

本開示の１つの局面である画像処理装置は、作成する画像のうち、強調対象物標へ、車両の乗員の視線を誘導することができる。
（２）本開示の別の局面は、コンピュータを画像処理装置（３）として機能させるプログラムである。前記画像処理装置は、車両（２）の周辺に存在する物標（５９）の位置を表す第１情報と、前記物標が強調対象物標（５９Ａ）であるか否かを表す第２情報とを取得するように構成された情報取得ユニット（３５）と、前記第１情報により表された前記位置に前記物標を表す画像（５７、６５、６７）を作成するように構成された画像作成ユニット（３７）とを備える。

本開示の別の局面であるプログラムは、コンピュータを画像処理装置として機能させる。画像処理装置は、作成する画像のうち、強調対象物標へ、車両の乗員の視線を誘導することができる。

（３）本開示の別の局面は、情報提供装置（４１）と、画像処理装置（３）と、を備える画像処理システム（４１、３）である。前記情報提供装置は、車両（２）の周辺に存在する物標（５９）の位置を表す第１情報と、前記物標が強調対象物標（５９Ａ）であるか否かを表す第２情報とを提供するように構成される。

前記画像処理装置は、前記情報提供装置から前記第１情報及び前記第２情報を取得するように構成された情報取得ユニット（３５）と、前記第１情報により表された前記位置に前記物標を表す画像（５７、６５、６７）を作成するように構成された画像作成ユニット（３７）と、を備える。

本開示の別の局面である画像処理システムは、作成する画像のうち、強調対象物標へ、車両の乗員の視線を誘導することができる。

車載システムの構成を表すブロック図である。車載システムの機能的構成を表すブロック図である。画像処理装置が実行する処理を表すフローチャートである。第１画像の例を表す説明図である。第１画像の例を表す説明図である。第２画像の例を表す説明図である。第２画像の例を表す説明図である。第３画像の例を表す説明図である。第３画像の例を表す説明図である。第３画像の例を表す説明図である。強調対象物標の優先度が変化した場合の第２画像の変化を表す説明図である。第１画像の表示範囲を変更する処理を表す説明図である。

本開示の例示的な実施形態について図面を参照しながら説明する。
＜第１実施形態＞
１．車載システム１の構成
車載システム１の構成を、図１及び図２に基づき説明する。車載システム１は、車両２に搭載されている。

図１に示すように、車載システム１は、画像処理装置３と、自動運転システム５と、ロケータＥＣＵ７と、走行制御ＥＣＵ９と、周辺監視センサ１１と、メータディスプレイ１５と、ＣＩＤ（Center Information Display）１７と、ＨＵＤ１９と、操作デバイス２１と、ボディＥＣＵ２３と、方向指示ＳＷ（スイッチ）２５と、ドライバモニタ２７と、を備える。車載システム１の各構成は、通信バス２９により、互いに通信可能に接続されている。

画像処理装置３は、は、ＣＰＵ３１と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ３３とする）と、を有するマイクロコンピュータを備える。
画像処理装置３の各機能は、ＣＰＵ３１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ３３が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、画像処理装置３は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。

画像処理装置３は、図２に示すように、情報取得ユニット３５と、画像作成ユニット３７と、画像出力ユニット３９と、を備える。画像処理装置３が備える各構成の機能は後述する。
自動運転システム５は、自動運転ＥＣＵ４１と、運転支援ＥＣＵ４３と、を備える。自動運転ＥＣＵ４１は、車両２の乗員に代わり運転操作を自動で行う自動運転機能を実現させる車載ＥＣＵである。自動運転ＥＣＵ４１は、例えば、米国自動車技術会が規定する自動運転レベル３以上の自律走行を可能にする。

自動運転ＥＣＵ４１は、図２に示すように、環境認識ユニット４５と、行動判断ユニット４７と、操作実行ユニット４９と、を備える。
環境認識ユニット４５は、ロケータＥＣＵ７からロケータ情報及び地図情報を取得する。ロケータ情報及び地図情報については後述する。環境認識ユニット４５は、周辺監視センサ１１から検出情報を取得する。検出情報については後述する。

環境認識ユニット４５は、ロケータ情報、地図情報、及び検出情報に基づき、車両２の走行環境を認識する。走行環境として、例えば、車両２の周辺に存在する物標５９の位置及び速度等が挙げられる。物標５９として、例えば、他の車両、歩行者、自転車、動物、固定物、車線境界線等が挙げられる。また、走行環境として、例えば、車両２が走行しているレーンの位置及び形状等が挙げられる。

環境認識ユニット４５は、第１情報及び第２情報を作成する。第１情報は、車両２の周辺に存在する物標５９の位置を表す情報である。第２情報は、第１情報により位置を表された物標５９が強調対象物標５９Ａであるか否かを表す情報である。強調対象物標５９Ａとは、車両２の乗員が注意を向けるべき物標である。

強調対象物標５９Ａとして、例えば、車両２が追従している先行車、蛇行運転をしている他の車両、車両２がレーンチェンジを予定している場合に、変更後のレーンを走行している他の車両、車両２と通信を行っている周辺車、自動運転システム５が認識した、並走を回避すべき周辺車、自動運転システム５が認識した、割り込み進入してきた周辺車等が挙げられる。

環境認識ユニット４５は、強調対象物標５９Ａが２以上存在する場合、強調対象物標５９Ａに優先度を設定する。車両２にとって注意すべき必要性が高いほど優先度は高くなる。第２情報は、優先度をさらに含む。

環境認識ユニット４５は、例えば、車両２の挙動に基づき優先度を設定することができる。環境認識ユニット４５は、例えば、ボディＥＣＵ２３から、後述する方向指示情報を取得する。環境認識ユニット４５は、方向指示情報に基づき、車両２が進路を変更した場合に、変更後の進路上にある物標を探索する。変更後の進路上に物標が存在する場合、環境認識ユニット４５は、その物標の優先度を、他の物標の優先度より高く設定する。

行動判断ユニット４７は、環境認識ユニット４５が認識した走行環境に基づき、車両２の予定走行ラインを生成する。操作実行ユニット４９は、走行制御ＥＣＵ９と連携しながら、行動判断ユニット４７が生成した予定走行ラインに沿って車両２が走行するように、車両２の加減速制御及び操舵制御等を実行する。操作実行ユニット４９は、第３情報を作成する。第３情報は、現時点において車両２の状態が自動運転状態であるか否かを表す情報である。自動運転状態とは、自動運転を実行している状態である。

なお、自動運転ＥＣＵ４１は、第１情報と第２情報とを画像処理装置３に提供する情報提供装置に対応する。自動運転ＥＣＵ４１と画像処理装置３とを備えるシステムは、画像処理システムに対応する。
運転支援ＥＣＵ４３は、車両２の乗員の運転操作を支援する運転支援操作を実現させる車載ＥＣＵである。運転支援ＥＣＵ４３は、例えば、米国自動車技術会が規定する自動運転レベル２程度の高度運転支援又は部分的な自動走行制御を可能にする。

ロケータＥＣＵ７は、ＧＮＳＳ（Global Navigation Satellite System）受信器及び慣性センサ等を含む。ロケータＥＣＵ７は、ＧＮＳＳ受信器で受信する測位信号、慣性センサの計測結果、及び通信バス２９に出力された車速情報等を組み合わせ、車両２の位置及び進行方向等を逐次測定する。ロケータＥＣＵ７は、ロケータ情報を通信バス２９に逐次出力する。ロケータ情報は、車両２の位置及び進行方向等を表す情報である。

ロケータＥＣＵ７は、地図データベース５１をさら備える。地図データベース５１は、大容量の記憶媒体を主体とする構成である。記憶媒体には、多数の地図データが格納されている。地図データとして、３次元地図データ及び２次元地図データがある。３次元地図データは、いわゆる高精度地図データである。３次元地図データは、高度運転支援及び自動運転に必要な情報を含んでいる。３次元地図データは、道路の３次元形状情報、各レーンの詳細情報等を含んでいる。

ロケータＥＣＵ７は、車両２の現在位置周辺の地図データを地図データベース５１から読み出す。ロケータ７ＥＣＵは、運転支援ＥＣＵ４３及び自動運転ＥＣＵ４１等に、ロケータ情報とともに地図情報を提供する。地図情報は、地図データベース５１から読み出した地図データを含む情報である。

なお、車載システム１は、ロケータＥＣＵ７に替えて、スマートフォン等のユーザ端末又はナビゲーション装置等からロケータ情報及び地図情報を取得し、取得したロケータ情報及び地図情報を運転支援ＥＣＵ４３及び自動運転ＥＣＵ４１等に提供してもよい。

走行制御ＥＣＵ９は、マイクロコントローラを主体として含む電子制御装置である。走行制御ＥＣＵ９は、車両２の各輪のハブ部分に設けられた車輪速センサの検出信号に基づき、車両２の現在の走行速度を示す車速情報を生成する。走行制御ＥＣＵ９は、車速情報を通信バス２９に逐次出力する。

走行制御ＥＣＵ９は、ブレーキ制御ＥＣＵ及び駆動制御ＥＣＵの機能を少なくとも有する。走行制御ＥＣＵ９は、車両２の乗員の運転操作に基づく操作指令、運転支援ＥＣＵ４３からの制御指令、及び自動運転ＥＣＵ４１からの制御指令のいずれか一つに基づき、車両２の各輪に発生させるブレーキ力の制御と、車両２の動力源の出力制御とを継続的に実施する。

周辺監視センサ１１は、車両２の周辺環境を監視する自律センサである。周辺監視センサ１１は、車両２の周辺に存在する物標を検出可能である。周辺監視センサ１１は、検出情報を、通信バス２９を介して、運転支援ＥＣＵ４３及び自動運転ＥＣＵ４１等に提供する。検出情報は、検出した物標の位置及び速度等を表す情報である。

周辺監視センサ１１は、例えば、カメラユニット５３及びミリ波レーダ５５等を含む。カメラユニット５３は、単眼カメラを含む構成であってもよいし、複眼カメラを含む構成であってもよい。カメラユニット５３は、例えば、車両２の前方範囲、側方範囲、及び後方範囲等を撮影可能である。検出情報は、例えば、カメラユニット５３が車両２の周囲を撮影して生じた撮像データ、及び撮像データの解析結果の少なくとも一方を含む。

ミリ波レーダ５５は、ミリ波又は準ミリ波を車両２の周囲へ向けて照射する。ミリ波レーダ５５は、物標で反射した反射波を受信する。検出情報は、例えば、ミリ波レーダ５５の検出結果を含む。周辺監視センサ１１は、ライダ及びソナー等をさらに備えていてもよい。

メータディスプレイ１５及びＣＩＤ１７は、それぞれ、例えば、液晶ディスプレイ又はＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等を主体とする構成である。メータディスプレイ１５及びＣＩＤ１７は、画像処理装置３から取得する制御信号及び映像データに基づき、種々の画像を表示画面に表示させる。メータディスプレイ１５は、例えば、車両２の運転席の正面に設置されている。ＣＩＤ１７は、例えば、車両２のセンタクラスタの上方に設置されている。ＣＩＤ１７は、タッチパネルの機能を有している。ＣＩＤ１７は、例えば、車両２の乗員等による表示画面へのタッチ操作及びスワイプ操作等を検出する。

ＨＵＤ１９は、画像処理装置３から取得する制御信号及び映像データに基づき、車両２の乗員の前方に結像される画像の光を、ウィンドシールドに投影する。ウィンドシールドにて車両２の車室内側に反射された画像の光は、車両２の乗員によって知覚される。こうしてＨＵＤ１９は、ウィンドシールドよりも前方の空間中に虚像を表示する。車両２の乗員は、ＨＵＤ１９によって表示される虚像を、車両２の前景と重ねて視認する。

なお、メータディスプレイ１５、ＣＩＤ１７、及びＨＵＤ１９は、車両２が備える表示装置に対応する。
操作デバイス２１は、車両２の乗員等によるユーザ操作を受け付ける入力部である。操作デバイス２１には、例えば、自動運転機能の作動及び停止に関連するユーザ操作等が入力される。操作デバイス２１として、例えば、ステアリングホイールのスポーク部に設けられたステアスイッチ、ステアリングコラム部に設けられた操作レバー、及び車両２の乗員の発話内容を認識する音声入力装置等が挙げられる。

ボディＥＣＵ２３は、マイクロコントローラを主体として含む電子制御装置である。ボディＥＣＵ２３は、車両２に搭載された灯火装置の作動を制御する機能を少なくとも有する。ボディＥＣＵ２３は、方向指示スイッチ２５と電気的に接続されている。方向指示スイッチ２５は、ステアリングコラム部に設けられたレバー状の操作部である。

方向指示スイッチ２５は、左方向の操作と、右方向の操作とを受け付けることができる。方向指示スイッチ２５が左方向の操作を受け付けたとき、ボディＥＣＵ２３は、左の方向指示器の点滅を開始させる。方向指示スイッチ２５が右方向の操作を受け付けたとき、ボディＥＣＵ２３は、右の方向指示器の点滅を開始させる。

ボディＥＣＵ２３は、方向指示情報を、通信バス２９を介して、自動運転ＥＣＵ４１等に提供する。方向指示情報は、方向指示スイッチ２５に対し行われた操作の内容を表す情報である。
ドライバモニタ２７は、近赤外光源及び近赤外カメラと、これらを制御する制御ユニットとを含む構成である。ドライバモニタ２７は、例えば、ステアリングコラム部の上面又はインスツルメントパネルの上面等に設置されている。ドライバモニタ２７は、近赤外カメラが運転席のヘッドレスト部分に向くように取付けられている。

ドライバモニタ２７は、近赤外光源によって近赤外光を照射された、車両２の乗員の頭部を、近赤外カメラによって撮影する。近赤外カメラによる撮像画像は、制御ユニットによって画像解析される。制御ユニットは、車両２の乗員のアイポイントの位置及び視線方向等を表す情報（以下では乗員情報とする）を撮像画像から抽出する。制御ユニットは、抽出した乗員情報を、通信バス２９を介して、画像処理装置３等に提供する。

２．画像処理装置３が実行する処理
画像処理装置３が所定時間ごとに繰り返し実行する処理を、図３〜図１２に基づき説明する。図３のステップ１では、情報取得ユニット３５が、環境認識ユニット４５から第１情報及び第２情報を取得する。第１情報は、車両２の周辺に存在する物標の位置を表す情報である。第２情報は、第１情報により位置を表された物標が強調対象物標５９Ａであるか否かを表す情報である。また、情報取得ユニット３５は、行動判断ユニット４７から第３情報を取得する。第３情報は、現時点において車両２の状態が自動運転状態であるか否かを表す情報である。

ステップ２では、画像作成ユニット３７が、前記ステップ１で取得した第３情報に基づき、現時点において車両２の状態が自動運転状態であるか否かを判断する。自動運転状態であると判断した場合、本処理はステップ３に進む。自動運転状態ではないと判断した場合、本処理は終了する。

ステップ３では、画像作成ユニット３７が、第１情報により位置を表された物標のうち、強調対象物標５９Ａに該当するものを認識する。画像作成ユニット３７は、前記ステップ１で取得した第２情報において強調対象物標５９Ａであるとされている物標を、強調対象物標５９Ａとして認識する。画像作成ユニット３７は、認識した強調対象物標５９Ａの数を算出する。強調対象物標５９Ａの数が１である場合、本処理はステップ４に進む。強調対象物標５９Ａの数が２以上である場合、本処理はステップ５に進む。強調対象物標５９Ａの数が０である場合、本処理はステップ６に進む。

ステップ４では、画像作成ユニット３７が、第１画像５７を作成する。第１画像５７の例を図４に示す。第１画像５７は、物標５９を表す画像である。図４に示す例では、物標５９は他の車両である。第１画像５７は、例えば、一定の撮影位置からカメラにより撮影された撮影画像を模した合成画像である。撮影位置は、例えば、車両２の上方且つ後方の位置である。第１画像５７における物標５９の位置は、第１情報により表された物標の位置である。

第１画像５７の一部は、被写界深度領域６１である。被写界深度領域６１の中にある物標５９は、被写界深度にあるように表される。すなわち、被写界深度領域６１の中にある物標５９は、被写界深度領域６１の外にある物標５９に比べて、一層ピントが合っているように表される。

第１画像５７において、強調対象物標５９Ａは、被写界深度領域６１の中にある。よって、第１画像５７において、強調対象物標５９Ａは、被写界深度にあるように表される。第１画像５７において、例えば、強調対象物標５９Ａには、強調表現がなされている。

強調表現として、例えば、ハイライトを加えること、アニメーションの加工を加えること、別の部品を加えること等が挙げられる。アニメーションの加工として、例えば、点滅のアニメーション、拡大のアニメーション等が挙げられる。別の部品として、例えば、スポットライト、波紋マーク、矢印等が挙げられる。また、強調表現として、例えば、強調対象物標５９Ａではない物標５９（以下では通常物標５９Ｂとする）とは異なる色で表すこと等が挙げられる。
例えば、被写界深度領域６１の中に１つの物標５９のみしか存在しない場合等では、強調対象物標５９Ａには、強調表現がなされていなくてもよい。

第１画像５７において、被写界深度領域６１の中に、通常物標５９Ｂが存在してもよいし、存在しなくてもよい。図４に示す例では、被写界深度領域６１の中に通常物標５９Ｂが存在する。被写界深度領域６１の中にある通常物標５９Ｂには、例えば、上述した強調表現がなされていない。被写界深度領域６１の中にある通常物標５９Ｂには、例えば、目立ちにくくなる表現がなされている。目立ちにくくなる表現として、例えば、モザイク表現、トーンダウン、低画素化、アニメーションの加工を加えること、別の部品を加えること等が挙げられる。アニメーションの加工として、例えば、通常物標５９Ｂを縮小すること等が挙げられる。別の部品として、例えば、通常物標５９Ｂを隠すマスク等が挙げられる。

第１画像５７において、例えば、被写界深度領域６１の外に、通常物標５９Ｂが存在する。被写界深度領域６１の外にある通常物標５９Ｂは、被写界深度の外にあるように表される。すなわち、被写界深度領域６１の外にある通常物標５９Ｂは、強調対象物標５９Ａに比べて、ピントが合っていないように表される。被写界深度領域６１の外にある通常物標５９Ｂには、例えば、上述した強調表現がなされていない。

第１画像５７は、例えば、図４に示すように、車両２を含む。車両２は、例えば、被写界深度領域６１の中に存在する。この場合、第１画像５７において、車両２は、被写界深度領域６１の外にある通常物標５９Ｂに比べて、ピントが合っているように表される。車両２は、例えば、被写界深度領域６１の外に存在していてもよい。また、第１画像５７は、被写界深度領域６１とは別の被写界深度領域６１を備えていてもよい。車両２は、例えば、被写界深度領域６１とは別の被写界深度領域の中に存在していてもよい。

第１画像５７は、例えば、車両２の挙動を表す表示を含む。車両２の挙動を表す表示として、例えば、第１画像５７に表された車両２のストップランプやターンランプが点灯したり点滅したりする表示が挙げられる。第１画像５７に表された車両２のストップランプが点灯する表示は、車両２がブレーキをかけたことを表す。第１画像５７に表された車両２のターンランプが点滅する表示は、車両２が右又は左に進路を変えることを表す。車両２がブレーキをかけること、及び、車両２が右又は左に進路を変えることは、車両２の挙動に対応する。
例えば、車両２のストップランプやターンランプが点灯したり点滅したりする表示をする場合、車両２を強調対象物標５９Ａとしてもよい。

第１画像５７は、図５に示すものであってもよい。図５に示す第１画像５７は、図４に示す第１画像５７と基本的には同じである。ただし、図５に示す第１画像５７は、警告６３をさらに含む。警告６３は、車両２の乗員に伝えるべき内容を含む。警告６３の内容は、例えば、強調対象物標５９Ａに関する内容である。第１画像５７において、警告６３は、被写界深度領域６１の外にある。警告６３は、ピントが合っているように表される。

ステップ５では、画像作成ユニット３７が、第２画像６５を作成する。第２画像６５の例を図６に示す。第２画像６５は、基本的には、第１画像５７と同じである。ただし、第２画像６５において、２以上の強調対象物標５９Ａが、被写界深度領域６１の中にある。例えば、第２画像６５において、第２情報によって強調対象物標５９Ａであるとされた全ての強調対象物標５９Ａが、被写界深度領域６１の中にある。よって、第２画像６５において、２以上の強調対象物標５９Ａは、それぞれ、被写界深度にあるように表される。

第２画像６５において、例えば、２以上の強調対象物標５９Ａには、それぞれ、強調表現がなされている。例えば、第２画像６５は、第１画像５７に比べて、被写界深度が深いように表される。２以上の強調対象物標５９Ａの間に優先度の差がある場合、第２画像６５において、例えば、強調対象物標５９Ａは、その優先度が高いほど、ピントが一層合っているように表される。また、第２画像６５において、例えば、強調対象物標５９Ａには、その優先度が高いほど、著しい強調表現がなされている。

第２画像６５は、図７に示すものであってもよい。図７に示す第２画像６５は、分割画像６５Ａと分割画像６５Ｂとに分割されている。分割画像６５Ａは、被写界深度領域６１Ａを含む。分割画像６５Ｂは、被写界深度領域６１Ｂを含む。被写界深度領域６１Ａの上下方向における位置と、被写界深度領域６１Ｂの上下方向における位置とは、例えば、異なる。

分割画像６５Ａにおいて、強調対象物標５９Ａは、被写界深度領域６１Ａの中にある。分割画像６５Ｂにおいて、強調対象物標５９Ａは、被写界深度領域６１Ｂの中にある。分割画像６５Ａ及び分割画像６５Ｂのそれぞれにおいて、例えば、強調対象物標５９Ａには、強調表現がなされている。

分割画像６５Ａ及び分割画像６５Ｂに存在する全ての強調対象物標５９Ａを含む１つの被写界深度領域を設ける場合に比べて、分割画像６５Ａ及び分割画像６５Ｂは、被写界深度が狭いように表される。そのため、強調対象物標５９Ａに車両２の乗員の視線を誘導する効果が一層高い。

ステップ６では、画像作成ユニット３７が、第３画像６７を作成する。第３画像６７の例を図８に示す。図８に示す第３画像６７は、基本的には、第１画像５７と同じである。ただし、図８に示す第３画像６７では、全ての通常物標５９Ｂが、ピントが合っているように表される。また、第３画像６７は、強調対象物標５９Ａを含まない。

第３画像６７は、図９に示すものであってもよい。図９に示す第３画像６７は、基本的には、第１画像５７と同じである。ただし、図９に示す第３画像６７では、被写界深度領域６１の中に、車両２に対して前車に該当する通常物標５９Ｂが存在する。

第３画像６７は、図１０に示すものであってもよい。図１０に示す第３画像６７は、基本的には、第１画像５７と同じである。ただし、図１０に示す第３画像６７では、被写界深度領域６１の中に、車両２が存在する。被写界深度領域６１の中に、通常物標５９Ｂがさらに存在してもよい。

ステップ７では、画像出力ユニット３９が、前記ステップ４〜６のいずれかで作成された画像に対応する制御信号及び映像データを、表示装置に出力する。表示装置は、メータディスプレイ１５、ＣＩＤ１７、及びＨＵＤ１９のうちの１以上である。表示装置は、前記ステップ４〜６のいずれかで作成された画像を表示する。車両２の乗員は、表示された画像を見ることができる。

画像処理装置３は上述したステップ１〜７の処理を繰り返す。時間の経過にともない、第２画像６５に表されている強調対象物標５９Ａの優先度が変化することがある。図１１に示す事例では、第２画像６５は、２つの強調対象物標５９Ａを表す。時刻Ｔ１において、２つの強調対象物標５９Ａのうち、右車線にある強調対象物標５９Ａが、優先物標５９Ｍであった。優先物標５９Ｍとは、優先度が最も高い強調対象物標５９Ａである。

時刻Ｔ１での第２画像６５は、例えば、優先物標５９Ｍを、左側にある強調対象物標５９Ａに比べて、一層ピントが合っているように表す。また、時刻Ｔ１での第２画像６５において、例えば、優先物標５９Ｍには、左側にある強調対象物標５９Ａに比べて、一層著しい強調表現がなされている。

時刻Ｔ２において、車両２の左の方向指示器の点滅が始まった。方向指示情報の内容は、方向指示スイッチ２５に対して左方向の操作がなされたことを表す内容となった。環境認識ユニット４５は、方向指示情報に基づき、２つの強調対象物標５９Ａのうち、左側にある強調対象物標５９Ａを、優先物標５９Ｍとした。右車線にある強調対象物標５９Ａは、優先物標５９Ｍではなくなった。

時刻Ｔ２での第２画像６５は、例えば、新たな優先物標５９Ｍを、右車線にある強調対象物標５９Ａに比べて、一層ピントが合っているように表す。また、時刻Ｔ２での第２画像６５において、例えば、新たな優先物標５９Ｍには、右車線にある強調対象物標５９Ａに比べて、一層著しい強調表現がなされている。

画像処理装置３は上述したＳ１〜７の処理を繰り返す。時間の経過にともない、第１画像５７又は第２画像６５に表されている強調対象物標５９Ａが変化することがある。例えば、通常物標５９Ｂが、強調対象物標５９Ａに変化することがある。また、強調対象物標５９Ａが、通常物標５９Ｂに変化することがある。また、それまで画角の外にあった強調対象物標５９Ａが、第１画像５７又は第２画像６５に新たに表されることがある。また、第１画像５７又は第２画像６５にそれまで表されていた強調対象物標５９Ａが、消失することがある。

画像作成ユニット３７は、強調対象物標５９Ａの変化に応じて、第１画像５７及び第２画像６５を変化させる。例えば、画像作成ユニット３７は、変化後の強調対象物標５９Ａが被写界深度領域６１に含まれるように、被写界深度領域６１の位置、大きさ、形状、ピント位置等を変化させる。ピント位置とは、被写界深度領域６１の中で最もはっきり見える部分である。画像作成ユニット３７は、被写界深度領域６１の位置、大きさ、形状、ピント位置等を、シームレスに変化させることが好ましい。

画像作成ユニット３７は、強調対象物標５９Ａの位置や数等に応じて、第１画像５７又は第２画像６５の表示範囲を変更することができる。例えば、画像作成ユニット３７は、図１２の左側に示す広い表示範囲の第１画像５７と、右側に示す狭い表示範囲の第１画像５７とのいずれか一方を、強調対象物標５９Ａの位置や数等に応じて選択することができる。画像作成ユニット３７は、第１画像５７又は第２画像６５の表示範囲を、シームレスに変化させることが好ましい。

３．画像処理装置３が奏する効果
（１Ａ）画像処理装置３は、第１情報と、第２情報とを取得する。画像処理装置３は、第１情報により表された位置に物標５９を表す画像を作成する。画像に表される物標５９の少なくとも一部が強調対象物標５９Ａであることを第２情報が表している場合、画像処理装置３は、強調対象物標５９Ａが被写界深度にあるように表された第１画像５７又は第２画像６５を作成する。

第１画像５７又は第２画像６５において、強調対象物標５９Ａは、被写界深度にあるように表されるので、車両２の乗員の注意を引きやすい。そのため、画像処理装置３は、第１画像５７又は第２画像６５のうち、強調対象物標５９Ａへ、車両２の乗員の視線を誘導することができる。

（１Ｂ）画像処理装置３は、被写界深度にあるように表された車両２と、車両２の挙動を表す表示とを含む画像を作成することができる。車両２の乗員は、画像を見ることで、車両２の挙動を容易に理解することができる。また、車両２の乗員は、画像を見ることで、車両２の挙動と強調対象物標５９Ａとの関連性を理解することができる。

（１Ｃ）画像処理装置３は、画像のうち、被写界深度の外であるように表された部分に警告６３を表示することができる。警告６３の周囲は、ピントが合っていないように表されているので、警告６３が目立ちやすい。

（１Ｄ）第１画像５７又は第２画像６５において、強調対象物標５９Ａが変化した場合、画像処理装置３は、変化後の強調対象物標５９Ａが被写界深度にあるように表されるように、第１画像５７又は第２画像６５を変化させる。そのため、強調対象物標５９Ａが変化した場合でも、画像処理装置３は、前記（１Ａ）の効果を維持できる。

（１Ｅ）第２情報は、強調対象物標５９Ａの優先度を表す。画像処理装置３は、第１画像５７又は第２画像６５において、強調対象物標５９Ａを、優先度が高いほどピントが一層合っているように表す。画像処理装置３は、第１画像５７又は第２画像６５の中で、優先度が高い強調対象物標５９Ａへ、車両２の乗員の視線を一層誘導することができる。

（１Ｆ）第１画像５７又は第２画像６５に表されている強調対象物標５９Ａの優先度が変化した場合、画像処理装置３は、強調対象物標５９Ａの表現を、変化後の優先度に応じた表現に変化させる。そのため、強調対象物標５９Ａの優先度が変化した場合でも、画像処理装置３は、前記（１Ｅ）の効果を維持することができる。
＜他の実施形態＞
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（１）画像処理装置３は、画像のうち、被写界深度領域６１以外の部分のテクスチャ解像度や表示ポリゴン数を、被写界深度領域６１に比べて削減することができる。この場合、画像処理装置３の計算負荷を軽減できる。

（２）強調対象物標５９Ａの優先度を、方向指示情報以外の情報に基づき設定してもよい。例えば、画像処理装置３は、ドライバモニタ２７から取得した乗員情報に基づき、強調対象物標５９Ａの優先度を設定する。

乗員情報は、例えば、車両２の乗員の視線方向を表す情報である。画像処理装置３は、車両２の乗員が見ていない方向にある強調対象物標５９Ａの優先度を、車両２の乗員の視線方向にある強調対象物標５９Ａの優先度より高くする。この場合、画像処理装置３は、車両２の乗員が気づいていないおそれがある強調対象物標５９Ａに、車両２の乗員の視線を誘導できる。

（３）本開示に記載の画像処理装置３及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の画像処理装置３及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の画像処理装置３及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。画像処理装置３に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。

（４）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

（５）上述した画像処理装置３の他、当該画像処理装置３を構成要素とするシステム、当該画像処理装置３としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像処理方法、画像作成方法、画像表示方法等、種々の形態で本開示を実現することもできる。

２…車両、３…画像処理装置、１５…メータディスプレイ、１７…ＣＩＤ、１９…ＨＵＤ、３５…情報取得ユニット、３７…画像作成ユニット、３９…画像出力ユニット、４１…自動運転ＥＣＵ、４５…環境認識ユニット、４７…行動判断ユニット、４９…操作実行ユニット、５７…第１画像、５９…物標、５９Ａ…強調対象物標、５９Ｂ…通常物標、５９Ｍ…優先物標、６１、６１Ａ、６１Ｂ…被写界深度領域、６３…警告、６５…第２画像、６７…第３画像

Claims

車両（２）が備える表示装置（１５、１７、１９）に画像（５７、６５、６７）を表示する画像処理装置（３）であって、
前記車両の周辺に存在する物標（５９）の位置を表す第１情報と、前記物標が強調対象物標（５９Ａ）であるか否かを表す第２情報とを取得するように構成された情報取得ユニット（３５）と、
前記第１情報により表された前記位置に前記物標を表す画像を作成するように構成された画像作成ユニット（３７）と、
を備え、
前記画像に表される前記物標の少なくとも一部が前記強調対象物標であることを前記第２情報が表している場合、前記画像作成ユニットは、前記強調対象物標が被写界深度にあるように表された前記画像（５７、６５）を作成する画像処理装置。
請求項１に記載の画像処理装置であって、
前記画像作成ユニットは、被写界深度にあるように表された前記車両と、前記車両の挙動を表す表示とを含む前記画像を作成するように構成された画像処理装置。
請求項１又は２に記載の画像処理装置であって、
前記画像作成ユニットは、前記画像のうち、被写界深度の外であるように表された部分に警告（６３）を表示するように構成された画像処理装置。
請求項１〜３のいずれか１項に記載の画像処理装置であって、
前記画像において、前記強調対象物標が変化した場合、前記画像作成ユニットは、変化後の前記強調対象物標が被写界深度にあるように表されるように、前記画像を変化させる画像処理装置。
請求項１〜４のいずれか１項に記載の画像処理装置であって、
前記第２情報は、前記強調対象物標の優先度をさらに表し、
前記画像作成ユニットは、前記画像において、前記強調対象物標を、前記優先度が高いほどピントが一層合っているように表す画像処理装置。
請求項５に記載の画像処理装置であって、
前記画像に表されている前記強調対象物標の前記優先度が変化した場合、前記画像作成ユニットは、前記強調対象物標の表現を、変化後の前記優先度に応じた表現に変化させる画像処理装置。
コンピュータを画像処理装置（３）として機能させるプログラムであって、
前記画像処理装置は、
車両（２）の周辺に存在する物標（５９）の位置を表す第１情報と、前記物標が強調対象物標（５９Ａ）であるか否かを表す第２情報とを取得するように構成された情報取得ユニット（３５）と、
前記第１情報により表された前記位置に前記物標を表す画像（５７、６５、６７）を作成するように構成された画像作成ユニット（３７）と、
を備え、
前記画像に表される前記物標の少なくとも一部が前記強調対象物標であることを前記第２情報が表している場合、前記画像作成ユニットは、前記強調対象物標が被写界深度にあるように表された前記画像（５７、６５）を作成する、
プログラム。
情報提供装置（４１）と、画像処理装置（３）と、を備える画像処理システム（４１、３）であって、
前記情報提供装置は、車両（２）の周辺に存在する物標（５９）の位置を表す第１情報と、前記物標が強調対象物標（５９Ａ）であるか否かを表す第２情報とを提供するように構成され、
前記画像処理装置は、
前記情報提供装置から前記第１情報及び前記第２情報を取得するように構成された情報取得ユニット（３５）と、
前記第１情報により表された前記位置に前記物標を表す画像（５７、６５、６７）を作成するように構成された画像作成ユニット（３７）と、
を備え、
前記画像に表される前記物標の少なくとも一部が前記強調対象物標であることを前記第２情報が表している場合、前記画像作成ユニットは、前記強調対象物標が被写界深度にあるように表された前記画像（５７、６５）を作成する、
画像処理システム。