JP2020013393A - 電子制御装置及び電子制御方法 - Google Patents

Abstract

【課題】報知対象を認識しやすい、電子制御装置及び電子制御方法を提供する。【解決手段】大きさ算出部５８は、報知対象検出部５７により検出された報知対象が、車両１００の室内に設けられるディスプレイ４に表示される大きさを算出する。そして、表示制御部５９は、大きさ算出部５８により算出された大きさが所定の閾値以下の場合、大きさが所定の閾値以下の報知対象である特定報知対象２３を拡大させた拡大画像４３を、ディスプレイ４に表示させる。【選択図】図２

Description

この明細書における開示は、電子制御装置及び電子制御方法に関する。

特許文献１には、車両に設けられたカメラによって車両の後方領域が撮影され、カメラによって撮影された撮影画像を車両の室内に設けられたディスプレイに表示させる物体検知装置が開示されている。

この物体検知装置では、複数の撮影画像を用いて、車両の後方領域に存在する物体が検出され、検出された物体の中から車両の乗員に報知すべき報知対象である移動物体及び車両と接触する可能性のある静止物体が選択される。そして物体検知装置では、撮影画像と、撮影画像内の報知対象を強調させる枠とを重畳させた上でディスプレイに表示させる。

従来技術として列挙された先行技術文献の記載内容は、この明細書における技術的要素の説明として、参照により援用される。

特開２０１７−４１８１号公報

しかしながら、特許文献１のように、報知対象を強調させた上でディスプレイに表示させたとしても、報知対象が何であるのか乗員が認識できない場合がある。

近年、車両に設けられるカメラの画素数が多くなり、高解像度の画像を撮影することが可能となってきている。これにより、車両から遠くに存在する物体や大きさの小さい物体を報知対象として検出できるようになってきている。

一方で、撮影した画像を車室内のディスプレイに表示させようとした場合、ディスプレイの表示面積が小さいほど、撮影した画像内に存在する報知対象が、ディスプレイに小さく表示されることになる。

このように、たとえ、車両から遠くに存在する物体や小さい物体を報知対象として検出し、検出した報知対象を強調させてディスプレイに表示させたとしても、ディスプレイの表示面積が小さいことで、強調された報知対象が何であるのか乗員が認識できないおそれがあった。

このようなことから電子制御装置及び電子制御方法には、上述の観点又は上述されていない他の観点において、さらなる改良が求められている。したがって、開示される１つの目的は、報知対象を認識しやすい電子制御装置及び電子制御方法を、提供することにある。

上述の課題を解決するために開示された電子制御装置は、
移動体（１００）に設けられる撮影部（３）により撮影された撮影画像（４０）に基づいて、撮影画像内に存在する、移動体の乗員に報知すべき報知対象を検出する報知対象検出部（５７、９５７）と、
移動体の室内に設けられる撮影画像を表示する表示部（４）に、報知対象検出部により検出された報知対象が表示される大きさを算出する大きさ算出部（５８、９５８）と、
大きさ算出部により算出された大きさが所定の閾値以下の場合、大きさが所定の閾値以下の報知対象である特定報知対象（２３）を拡大させた拡大画像（４３）を、表示部に表示させる表示制御部（５９、８５９、９５９）と、を備える。

また、上述の課題を解決するために開示された電子制御方法は、
移動体（１００）に設けられる撮影部（３）により撮影された撮影画像（４０）に基づいて、撮影画像内に存在する、移動体の乗員に報知すべき報知対象を検出する報知対象検出工程（Ｓ４、Ｓ１９）と、
移動体の室内に設けられる撮影画像を表示する表示部（４）に、報知対象検出工程により検出された報知対象が表示される大きさを算出する大きさ算出工程（Ｓ５、Ｓ２０）と、
大きさ算出工程により算出された大きさが所定の閾値以下の場合、大きさが所定の閾値以下の報知対象である特定報知対象（２３）を拡大させた拡大画像（４３）を、表示部に表示させる表示制御工程（Ｓ１０、Ｓ２２、Ｓ２９）と、を備える。

これら開示された電子制御装置及び電子制御方法によると、撮影画像内に存在する、乗員に報知すべき報知対象が、表示部に表示される大きさを算出する。そして、表示部に表示される大きさが所定の閾値以下の場合、大きさが所定の閾値以下の報知対象である特定報知対象を拡大させた拡大画像を、表示部に表示させる。

これにより、表示部に所定の閾値以下の大きさで表示される特定報知対象が、拡大された状態で表示部に表示されるため、乗員が報知対象を認識しやすくなる。

第１実施形態による電子制御システムの概略構成図である。 第１実施形態による電子制御装置の構成を示すブロック図である。 撮影画像と支援画像と通常強調画像とを表示させた際の一例である。 撮影画像と支援画像と撮影強調画像とを表示させた際の一例である。 拡大画像を表示させた際の一例である。 拡大強調画像を表示させた際の一例である。 第１実施形態による表示制御処理を示すフローチャートである。 第２実施形態による電子制御装置の構成を示すブロック図である。 第２実施形態による撮影画像と支援画像と拡大画像と拡大強調画像とを表示させた際の一例である。 第２実施形態による表示制御処理を示すフローチャートである。 第２実施形態による表示制御処理を示すフローチャートである。 変形例１による撮影画像と支援画像と拡大画像と拡大強調画像とを表示させた際の一例である。 変形例３による電子制御装置の構成を示すブロック図である。

以下に、本発明に係る電子制御システム１、電子制御装置２及び電子制御方法の実施形態を図面に基づいて詳細に説明する。また、以下の実施形態では、移動体が車両１００である場合について説明するが、移動体は、電車、船舶、飛行機といったものであってもよい。

（第１実施形態）
以下、第１実施形態について、図１を参照しつつ説明する。図１は、第１実施形態による電子制御システム１の概略構成図である。図１に示すように、電子制御システム１は、電子制御装置２と、車両１００の周囲を撮影する車外カメラ３と、ディスプレイ４とから構成されている。そして、車両１００には、電子制御装置２と、車外カメラ３と、ディスプレイ４とが搭載されている。

車外カメラ３は、車両１００の周囲を撮影するために、車両１００の前方及び後方に取り付けられ、車両１００の前方領域及び後方領域を撮影する。車外カメラ３により撮影された撮影画像４０は、電子制御装置２に入力される。この撮影画像４０は、複数のピクセルの集合で構成されている。

尚、車外カメラ３の設置位置は、車両１００前方又は後方の何れか一方でもよく、撮影領域も前方領域及び後方領域の何れか一方でもよい。この車外カメラ３は、撮影部に相当する。

そして、電子制御装置２は、車両１００が前進している場合、又はシフトレバーがドライブとなっている場合に、前方領域が撮影された撮影画像４０をディスプレイ４に出力し、車両１００が後進している場合、又はシフトレバーがリバースとなっている場合に、後方領域が撮影された撮影画像４０をディスプレイ４に出力する。つまり、ディスプレイ４には、撮影画像４０が表示される。

次に、電子制御装置２の構成について図２を用いて説明する。図２は、第１実施形態に係る電子制御装置２の構成を示すブロック図である。なお、図２では、第１実施形態の特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載を省略している。

図２に示すように、電子制御装置２には、車外カメラ３と、ディスプレイ４と、室内入力部７と、操舵角センサ８とが接続されている。

ディスプレイ４は、タッチ操作による入力が可能なディスプレイであり、タッチパネル７０を有している。タッチパネル７０は、画像を表示するディスプレイ４の表示面に設けられている。このディスプレイ４は、表示部に相当する。尚、ディスプレイ４に図示しないボタンを設けることで入力できるようにしてもよい。

室内入力部７は、車両１００の室内に設けられ、車両１００の乗員が操作可能なハプティックデバイス、レバー、又はボタンである。室内入力部７を乗員が操作することにより、ディスプレイ４に表示されるオーディオやナビ等のコンテンツの選択、及び後述する特定報知対象２３の選択が可能となる。

操舵角センサ８は、車両１００の図示しないステアリングシャフトに取り付けられ、ステアリングホイールの回転角度を測定する。

次に、電子制御装置２の内部構成について説明する。電子制御装置２は、制御部５と、記憶部６とを備えている。

記憶部６は、たとえばＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、又はハードディスク、光ディスク等の記憶装置であり、撮影画像４０を記憶する。さらに、記憶部６は、車外カメラ３で撮影される撮影画像４０の解像度、ディスプレイ４の解像度、後述する撮影画像４０とディスプレイ４との解像度比、及びディスプレイ４の画素ピッチが予め記憶されている。

画素ピッチとは、ディスプレイ４においてピクセルと隣り合うピクセルとの距離であり、１ピクセルあたりの大きさを示すものである。記憶部６には、ディスプレイ４の幅方向の画素ピッチと、ディスプレイの高さ方向の画素ピッチとが記憶される。

制御部５は、たとえばＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphics Processing Unit）であり、電子制御装置２の全体制御を行う。制御部５は、入力検出部５１と、画像取得部５４と、進路推定部５５と、物体検出部５６と、報知対象検出部５７と、大きさ算出部５８と、表示制御部５９とを備えている。

入力検出部５１は、室内入力部７及びタッチパネル７０への入力を検出する。入力検出部５１は、例えば、タッチパネル７０への入力として、乗員によりタッチ操作されたタッチパネル７０上の座標を検出する。そして、入力検出部５１は、検出した入力に関する情報を入力情報として後述する表示制御部５９が有する選択判定部６０に出力する。

画像取得部５４は、たとえば入力ポートであり、車外カメラ３によって撮影された撮影画像４０を取得する。尚、車外カメラ３は、設定されたフレームレートに応じて撮影画像４０を画像取得部５４へと出力する。そして、画像取得部５４は、取得した撮影画像４０を表示制御部５９、及び記憶部６に出力する。

進路推定部５５は、操舵角センサ８で検出されたステアリングホイールの操舵角を取得する。進路推定部５５は、ステアリングホイールの操舵角に基づいて、車両１００の進路、すなわち、予測軌跡を推定する。そして、進路推定部５５は、推定した予測軌跡を含んだ予測軌跡情報を、報知対象検出部５７に出力する。

物体検出部５６は、記憶部６に記憶された撮影画像４０に基づいて、静止物体及び移動物体といった物体を検出する。具体的には、物体検出部５６は、記憶部６から取得した時系列に並んだ複数フレームの撮影画像４０から、同一特徴点を結んだ移動ベクトルであるオプティカルフローを抽出し、抽出したオプティカルフローに基づいて物体を検出する。

例えば、時系列に並んだオプティカルフロー同士を比較した際、オプティカルフローの長さや向きが異なるものであれば移動物体と判定され、オプティカルフローの長さや向きが同じであれば静止物体と判定される。このように、物体検出部５６は、静止物体と移動物体とを物体として検出する。

さらに、物体検出部５６は、後述する大きさ算出部５８が算出するのに必要な情報として、検出した物体の上下左右それぞれの端部を検出する。そして、物体検出部５６は、検出した上下左右それぞれの端部を含む矩形を形成し、形成した矩形の幅方向及び高さ方向のピクセル数を検出する。

尚、物体検出部５６は、後述する大きさ算出部５８が算出するのに必要な情報として、検出した物体の輪郭を検出し、輪郭で囲まれた領域内のピクセル数を検出してもよい。

そして、物体検出部５６は、検出した物体が静止物体及び移動物体の何れであるのかを示す情報と、形成した矩形の幅方向及び高さ方向のピクセル数を示す情報とを関連付けた物体情報を、報知対象検出部５７に出力する。

報知対象検出部５７は、進路推定部５５から出力された予測軌跡情報と、物体検出部５６から出力された物体情報とに基づいて、物体検出部５６で検出された物体の中から乗員に報知すべき報知対象を検出する。

報知対象は、第１実施形態と後述する第２実施形態とで異なり、第１実施形態における報知対象とは、移動物体及び車両１００に接触する可能性のある静止物体のうち、車両１００との距離が最も近い物体である。ちなみに、後述する第２実施形態における報知対象とは、移動物体及び車両に接触する可能性のある静止物体のすべてである。

尚、移動物体のうち、車両１００との距離が最も近い物体を報知対象としてもよいし、車両１００に接触する可能性のある静止物体のうち、車両１００との距離が最も近い物体を報知対象としてもよい。

報知対象検出部５７は、具体的には、物体検出部５６で検出された静止物体の中で、予測軌跡内に存在する静止物体を車両１００に接触する可能性のある静止物体として検出する。そして、報知対象検出部５７は、検出した車両１００に接触する可能性のある静止物体と、物体検出部５６で検出された移動物体とのうち、車両１００との距離が最も近い物体を報知対象として検出する。

ここで、物体と車両１００との距離の測定方法について説明する。物体と車両１００との距離の測定方法には、ステレオカメラを用いて左右のカメラによる視差から物体までの距離を測定する第１の方法と、車外カメラ３の角度と設置位置とから撮影画像４０の座標ごとに、車両１００までの距離を設定しておく第２の方法とがある。

第１の方法を用いる場合、車外カメラ３をステレオカメラとし、報知対象検出部５７は、検出した移動物体、及び車両１００に接触する可能性のある静止物体について、左右のカメラにてそれぞれ撮影された撮影画像４０の視差から、車両１００までの距離を測定する。尚、車外カメラ３をステレオカメラとした場合、２つのカメラで車両１００の前方及び後方を撮影することになるが、上述したオプティカルフローの抽出には、左右のカメラの何れか一方で撮影された複数の撮影画像４０を用いればよい。

第２の方法を用いる場合、記憶部６は、撮影画像４０の座標ごとに車両１００までの距離が予め設定された距離情報を記憶している。報知対象検出部５７は、記憶部６に記憶された距離情報と、撮影画像４０内の移動物体及び静的物体が存在する座標とを比較することで、車両１００までの距離を測定する。

この第１の方法又は第２の方法を用いることで、報知対象検出部５７は、移動物体と、車両に接触する可能性のある静止物体との中で、車両１００と最初に接触する可能性の高い物体を検出する。これにより、運転者が、危険な物体を瞬時に判断することができる。尚、以降では、第１の方法を用いた電子制御システム１について記載する。

報知対象検出部５７は、検出した報知対象に関する物体情報を有している報知対象情報と、進路推定部５５から受け取った予測軌跡情報とを大きさ算出部５８に出力する。

報知対象情報とは、報知対象と車両１００との距離を含む位置情報と、報知対象が静止物体と移動物体との何れであるのかを示す情報と、報知対象の上下左右それぞれの端部を含む矩形について、幅方向及び高さ方向のピクセル数を示す情報とを関連付けた情報である。

大きさ算出部５８は、報知対象検出部５７で検出された報知対象がディスプレイ４に表示される大きさを算出する。この大きさとは、ディスプレイ４に表示される報知対象の上下左右それぞれの端部を含む矩形の幅方向及び高さ方向の長さである。尚、報知対象がディスプレイ４に表示される大きさを、ディスプレイ４に表示される報知対象の上下左右それぞれの端部を含む矩形の面積としてもよい。

大きさの算出にあたり、大きさ算出部５８は、記憶部６に記憶された車外カメラ３で撮影される撮影画像４０の解像度、ディスプレイ４の解像度、後述する撮影画像４０とディスプレイ４との解像度比、及びディスプレイ４の画素ピッチを取得する。

そして、大きさ算出部５８は、報知対象検出部５７から取得した報知対象の上下左右それぞれの端部を含む矩形の幅方向及び高さ方向のピクセル数と、記憶部６から取得した撮影画像４０とディスプレイ４との解像度比と、ディスプレイ４の画素ピッチとから、報知対象がディスプレイ４に表示される大きさを算出する。

ここでの解像度比とは、ディスプレイ４の長辺と撮影画像４０の長辺とのピクセル数の比率、又は、ディスプレイ４の短辺と撮影画像４０の短辺とのピクセル数の比率である。

報知対象がディスプレイ４に表示される大きさの算出式を以下に説明する。
（数１）
幅方向の大きさ［ｍｍ］＝（矩形の幅方向のピクセル数［ｐｘ］／解像度比）×ディスプレイ４の幅方向の画素ピッチ［ｍｍ／ｐｘ］

（数２）
高さ方向の大きさ［ｍｍ］＝（矩形の高さ方向のピクセル数［ｐｘ］／解像度比）×ディスプレイ４の高さ方向の画素ピッチ［ｍｍ／ｐｘ］

数１及び数２の算出式により求められる幅方向の大きさ及び高さ方向の大きさは、それぞれディスプレイ４に表示される報知対象の幅方向と高さ方向の長さを示す値となる。

解像度比を用いる理由は、撮影画像４０を可能な限りディスプレイ４に表示させるためである。

例えば、撮影画像４０の解像度が１２８０×１０２４であり、ディスプレイ４の解像度が８００×４８０であった場合、撮影画像４０とディスプレイ４との解像度が異なるため、撮影画像４０を縮小させることなくディスプレイ４に表示させた場合、撮影画像４０の幅方向も高さ方向も一部が見切れた状態で、ディスプレイ４に表示される。

しかし、撮影画像４０の幅方向も高さ方向も一部が見切れた状態では、撮影画像４０内の報知対象も見切れてしまう可能性がある。

そこで、撮影画像４０の長辺とディスプレイ４の長辺とのピクセル数の比率に合わせて撮影画像４０を縮小させることで、撮影画像４０の高さ方向の一部が見切れることになるが、幅方向に見切れることなく撮影画像４０をディスプレイ４に表示させる。

こうした場合、数１及び数２に示す解像度比は、撮影画像４０の長辺とディスプレイ４の長辺とのピクセル数の比率（１．６）となる。

尚、撮影画像４０が高さ方向にも幅方向にも見切れることなくディスプレイ４に表示させるために、撮影画像４０とディスプレイ４の長辺のピクセル数の比率で、撮影画像４０の幅方向を縮小させ、撮影画像４０とディスプレイ４の短辺のピクセル数の比率で、撮影画像４０の高さ方向を縮小させても良い。

この場合、数１に示す解像度比は、撮影画像４０の長辺とディスプレイ４の長辺とのピクセル数の比率（１．６）となり、数２に示す解像度比は、撮影画像４０の短辺とディスプレイ４の短辺とのピクセル数の比率（２．１３）となる。

そして、大きさ算出部５８は、算出した報知対象の大きさに関する情報である大きさ情報と、報知対象検出部５７から受け取った報知対象情報及び予測軌跡情報とを表示制御部５９に出力する。

次に、表示制御部５９の動作について説明するが、第１実施形態と第２実施形態とでは報知対象検出部５７で検出される報知対象が異なるため、表示制御部５９の動作も第１実施形態と第２実施形態とで異なったものとなる。

第１実施形態では、報知対象が１つである場合の表示制御部５９の動作について説明する。

表示制御部５９には２つの機能があり、１つ目の機能は、後述する特定報知対象２３及び後述する通常報知対象２２が存在するか否かを判定する機能である。２つ目の機能は、画像をディスプレイ４に表示させる機能である。

まず、１つ目の機能について以下に説明する。

表示制御部５９は、報知対象検出部５７の検出結果である報知対象情報と、大きさ算出部５８の算出結果である大きさ情報とに基づいて、大きさ算出部５８により算出された報知対象の大きさが、所定の閾値以下となる報知対象である特定報知対象２３が存在するか否かを判定する。

そして、表示制御部５９は、特定報知対象２３が存在しない場合、報知対象の大きさが所定の閾値より大きい報知対象である通常報知対象２２が存在すると判定する。

ここでの所定の閾値とは、幅方向の大きさと、高さ方向の大きさとの合計値であり、例えば６０ｍｍであり、ディスプレイ４に表示された撮影画像４０内の報知対象の幅方向及び高さ方向の大きさがそれぞれ３０ｍｍ以下である場合には、特定報知対象と判定されてる。

尚、所定の閾値は、上記記載に限らない。例えば、通常報知対象２２と判定される所定の閾値とは、ディスプレイ４に撮影画像４０が表示された状況において、撮影画像４０内の報知対象を、車両１００の乗員が容易に認識できる大きさを示す値であればよい。

一方、特定報知対象と判定される所定の閾値とは、ディスプレイ４に撮影画像４０が表示された状況において、ディスプレイ４を注視しなければ報知対象を認識できない大きさを示す値であればよい。

尚、報知対象がディスプレイ４に表示される大きさを、ディスプレイ４に表示される報知対象の上下左右それぞれの端部を含む矩形の面積とした場合、所定の閾値は、幅方向の大きさと、高さ方向の大きさとを乗算した値となる。

次に、２つ目の機能について以下に説明する。

表示制御部５９は、画像取得部５４を介して車外カメラ３で撮影された撮影画像４０を取得する。

表示制御部５９は、撮影画像４０と、後述する支援画像と、後述する通常強調画像４１と、後述する撮影強調画像４２と、後述する拡大画像４３と、後述する拡大強調画像４４とを、それぞれ異なる条件下でディスプレイ４に表示させる。表示制御部５９の表示のパターンを図３から図６を用いて以下に説明する。尚、図３から図６は、車両１００が後進している場合に、ディスプレイ４に表示される画像を示している。

第１のパターンとして、表示制御部５９が、撮影画像４０と、支援画像と、通常強調画像４１とをディスプレイ４に表示させるパターンについて、図３を用いて説明する。図３は、撮影画像４０と、支援画像と、通常強調画像４１とをディスプレイ４に表示させた際の一例である。

まず、支援画像とは、ディスプレイ４に表示され、乗員の車両１００の操作を支援する画像であり、例えば予測線２０及び車幅線２１を含む画像である。

通常強調画像４１とは、撮影画像４０内の通常報知対象２２を強調する画像である。

表示制御部５９は、予想軌跡情報に含まれる予想軌跡に基づいて予測線２０を支援画像として生成し、記憶部６に予め記憶された車両１００の幅に基づいて車幅線２１を支援画像として生成する。予測線２０とは、帯状となる車両１００の予測軌跡の境界線であり、例えば、一対の線である。車幅線２１とは、車両１００のハンドルが定位置となっており、車両１００が真っ直ぐ前進又は後進する際の車幅を示す線である。尚、一対の予測線２０の幅は、車両１００の幅に対応するが、車両１００の幅よりも広くするなど、調整が可能である。

表示制御部５９は、報知対象情報に基づいて、撮影画像４０内の通常報知対象２２を強調する通常強調画像４１を生成する。通常強調画像４１は、報知対象の上下左右それぞれの端部を含む矩形でできた枠である。尚、通常強調画像４１は、報知対象の輪郭を囲む線であってもよい。また、矩形でできた枠や報知対象の輪郭を囲む線は、破線でもよい。

そして、表示制御部５９は、１つ目の機能として通常報知対象２２が存在すると判定した場合、撮影画像４０と、支援画像と、通常強調画像４１とをディスプレイ４に重畳表示させる。

尚、通常強調画像４１を表示させないようにしてもよい。その理由は、通常報知対象２２は、ディスプレイ４に所定の閾値より大きく表示されるため、強調させなくても乗員が容易に通常報知対象２２を認識できる可能性が高いためである。

第２のパターンとして、表示制御部５９が、撮影画像４０と、支援画像と、撮影強調画像４２とをディスプレイ４に表示させるパターンについて、図４を用いて説明する。図４は、撮影画像４０と、支援画像と、撮影強調画像４２とをディスプレイ４に表示させた際の一例である。

表示制御部５９は、報知対象情報に基づいて、撮影画像４０内の特定報知対象２３を、通常強調画像４１とは異なるように強調する撮影強調画像４２を生成する。

撮影強調画像４２は、通常強調画像４１と同様に、報知対象の上下左右それぞれの端部を含む矩形でできた枠である。撮影強調画像４２は、通常強調画像４１とは異なる色、実線又は破線が用いられる。尚、撮影強調画像４２は、報知対象の輪郭を囲む線であってもよい。

そして、表示制御部５９は、１つ目の機能として特定報知対象２３が存在すると判定した場合、撮影画像４０と、支援画像と、撮影強調画像４２とをディスプレイ４に重畳表示させる。

第３のパターンとして、表示制御部５９が、拡大画像４３をディスプレイ４に表示させるパターンについて、図５を用いて説明する。詳しくは、拡大画像４３を表示させるタイミングと、拡大画像４３をディスプレイ４に表示させる際の表示位置と、拡大画像４３の生成方法とについて説明する。図５は、撮影画像４０と、支援画像と、撮影強調画像４２と、拡大画像４３とをディスプレイ４に表示させた際の一例である。

まず、拡大画像４３を表示させるタイミング、及び拡大画像４３をディスプレイ４に表示させる際の表示位置について説明する。

拡大画像４３を表示させるタイミングについて説明するにあたり、特定報知対象２３を乗員が選択したか否かを判定する構成について図２に戻り説明しておく。表示制御部５９は、入力検出部５１により検出された入力情報に基づいて、ディスプレイ４に表示された特定報知対象２３を、乗員が選択したか否かを判定する選択判定部６０を有している。

例えば、選択判定部６０は、入力検出部５１により検出された、乗員によりタッチ操作されたタッチパネル７０上の座標が、特定報知対象２３が表示される領域内を示す場合、ディスプレイ４に表示された特定報知対象２３を選択したと判定する。

再度図５に戻り、表示制御部５９は、上記パターン１、又は上記パターン２により、ディスプレイ４に撮影画像４０が表示されている状態において、選択判定部６０により乗員がディスプレイ４に表示された特定報知対象２３を選択したと判定された場合、選択された特定報知対象２３を含む所定の領域４５を拡大させた拡大画像４３を、ディスプレイ４の画面上に撮影画像４０と共に表示させる。

具体的には、表示制御部５９は、図５に示すように、拡大画像４３を、ディスプレイ４に表示された撮影画像４０の上に重畳表示させる。このとき、表示制御部５９は、重畳表示させる場合、ディスプレイ４の画面上に表示される撮影画像４０の中に存在する特定報知対象２３を覆わないように、拡大画像４３をディスプレイ４に表示させるのが好ましい。

その他にも、拡大画像４３と、撮影画像４０とを重ねることなくディスプレイ４に表示させてもよいし、ディスプレイ４の全面に拡大画像４３を表示させてもよい。

また、表示制御部５９は、進路推定部５５により推定された予測軌跡情報に基づいて、拡大画像４３の表示位置を変化させる。具体的には、表示制御部５９は、撮影画像４０上に拡大画像４３を重畳表示させる場合、進路推定部５５により推定された予測線２０の向かう方向とは画像左右方向において反対方向に拡大画像４３を表示させる。一対の予測線２０により定まる予測軌跡と拡大画像４３との重なりが少なくなるようにするためである。

そして、表示制御部５９は、車両１００の予測軌跡が車両１００の車幅線２１と同じく、撮影画像４０の左右方向の中央において上下方向に延びる場合、拡大画像４３を撮影画像４０の左右両端の何れかに表示させる。

尚、乗員の選択の有無に関係なく、表示制御部５９は、大きさ算出部５８により算出された大きさが所定の閾値以下の場合、拡大画像４３をディスプレイ４に表示させてもよい。

次に、拡大画像４３の生成方法について説明する。

所定の領域４５とは、乗員により選択された特定報知対象２３の上下左右それぞれの端部を含む矩形に対して、上下左右に所定のピクセル数だけ広げた領域である。そして、所定の領域４５は、上下方向よりも左右方向に広げた領域とするのが好ましい。例えば、報知対象の上下左右それぞれの端部を含む矩形に対して、上下方向に１０ピクセルずつ、左右方向に３０ピクセルずつ広げる。尚、所定の領域４５は、特定報知対象２３の輪郭を囲む領域としてもよい。

また、所定の領域４５を拡大させる際の倍率については、適宜設定すればよい。例えば、ディスプレイ４の総面積の１／４となるように所定の領域４５を拡大させる。

第４のパターンとして、表示制御部５９が、拡大画像４３と、拡大強調画像４４とをディスプレイ４に重畳表示させるパターンについて、図６を用いて説明する。

拡大強調画像４４は、拡大画像４３内の特定報知対象２３を強調させる画像である。この拡大強調画像４４は、特定報知対象２３を含む所定の領域４５を拡大させた拡大率と同じ比率で撮影強調画像４２を拡大させた画像である。そのため、拡大強調画像４４は、拡大画像４３内の特定報知対象２３の上下左右それぞれの端部を含む矩形でできた枠である。尚、拡大強調画像４４は、拡大画像４３内の特定報知対象２３の輪郭を囲む線であってもよい。また、矩形でできた枠や拡大画像４３内の特定報知対象２３の輪郭を囲む線は、破線でもよい。

（表示制御処理）
次に、制御部５によって実行される表示制御処理について図７を用いて説明する。

図７は、第１実施形態の制御部５が実行する表示制御処理の手順を示すフローチャートである。尚、表示制御処理のフロー中の「Ｓ」とは、各ステップを意味する。

この表示制御処理は、シフトレバーをリバースに入れた場合、又はシフトレバーをドライブに入れた場合に開始される。その他にも、車両１００が前進している場合、又は車両１００が後進している場合、車両１００のイグニッションがオンとなった場合に開始されてもよい。

ここでは、シフトレバーをリバースに入れた場合の表示制御処理について説明する。

Ｓ１において画像取得部５４は、車外カメラ３によって撮影された撮影画像４０を取得し、Ｓ２へと移行する。このとき画像取得部５４は、取得した撮影画像４０を表示制御部５９と、記憶部６とに出力する。

Ｓ２において、物体検出部５６は、記憶部６に記憶された撮影画像４０に基づいて、静止物体及び移動物体といった物体を検出する。そして物体検出部５６は、物体を検出しなかった場合、処理を終了する。一方、物体検出部５６は、物体を検出した場合、物体情報を報知対象検出部５７に出力し、Ｓ３へと移行する。

Ｓ３において、進路推定部５５は、ステアリングホイールの操舵角に基づいて予測軌跡を算出し、Ｓ４へと移行する。

Ｓ４において、報知対象検出部５７は、進路推定部５５から出力された予測軌跡情報と、物体検出部５６から出力された物体情報とに基づいて、物体検出部５６で検出された物体の中から乗員に報知すべき報知対象を検出する。そして報知対象検出部５７は、報知対象を検出しなかった場合、処理を終了する。一方、報知対象検出部５７は、報知対象を検出した場合、報知対象情報と、予測軌跡情報とを大きさ算出部５８に出力し、Ｓ５へと移行する。このＳ４は、報知対象検出工程に相当する。

Ｓ５において、大きさ算出部５８は、報知対象がディスプレイ４に表示される大きさを算出し、Ｓ６へと移行する。このとき、大きさ算出部５８は、算出した報知対象の大きさに関する情報である大きさ情報と、報知対象情報と、予測軌跡情報とを表示制御部５９に出力する。このＳ５は、大きさ算出工程に相当。

Ｓ６において、表示制御部５９は、大きさ算出部５８から出力された大きさ情報と、報知対象情報とに基づいて、特定報知対象２３が存在するか否かを判定する。表示制御部５９は、特定報知対象２３が存在しない場合、通常報知対象２２が存在すると判定し、Ｓ７へと移行する。一方、表示制御部５９は、特定報知対象２３が存在すると判定した場合、Ｓ８へと移行する。

Ｓ７において、表示制御部５９は、撮影画像４０と、通常強調画像４１と、支援画像とをディスプレイ４に重畳表示させ、処理を終了する。

Ｓ８において、表示制御部５９は、撮影画像４０と、撮影強調画像４２と、支援画像とをディスプレイ４に重畳表示させ、Ｓ９へと移行する。

Ｓ９において、選択判定部６０は、入力検出部５１により検出された入力情報に基づいて、乗員がディスプレイ４に表示された特定報知対象２３を選択したか否かを判定する。選択判定部６０は、乗員が特定報知対象２３を選択したと判定した場合、Ｓ１０へと移行する。選択判定部６０は、特定報知対象２３を選択していないと判定した場合、処理を終了する。

Ｓ１０において、表示制御部５９は、選択された特定報知対象２３を含む所定の領域を拡大させた拡大画像４３をディスプレイ４に表示させ、Ｓ１１へと移行する。このＳ１０は、表示制御工程に相当する。

Ｓ１１において、表示制御部５９は、拡大画像４３と、拡大強調画像４４とをディスプレイ４に重畳表示させる。

そして、表示制御部５９は、シフトレバーがリバースか否かを判定し、リバースであれば、表示制御処理を継続し、シフトレバーがリバースでなくなった場合、処理を終了する。尚、Ｓ１０及びＳ１１の処理のタイミングを揃えてもよい。また、Ｓ１１の処理をなくしてもよい。

尚、表示制御部５９は、拡大画像４３と拡大強調画像４４とを一定の時間、ディスプレイ４に表示させる。ここでの一定の時間は、乗員が拡大画像４３内の特定報知対象２３を認識できる時間であればよく、例えば５秒である。

（作用効果）
以上説明した第１実施形態の作用効果を、以下に説明する。

第１実施形態に係る電子制御装置２によると、撮影画像４０内に存在する報知対象が、ディスプレイ４に表示される大きさを算出する。そして、ディスプレイ４に表示される大きさが所定の閾値以下の場合、大きさが所定の閾値以下の報知対象である特定報知対象２３を拡大させた拡大画像４３を、ディスプレイ４に表示させる。これにより、ディスプレイ４に所定の閾値以下の大きさで表示される特定報知対象２３が、拡大された状態でディスプレイ４に表示されるため、乗員が報知対象を認識しやすくなる。

また、報知対象を認識しやすくすることで、強調された報知対象を認識できないことにより、システムが誤作動していると乗員が誤解してしまうことを低減できる。

さらに第１実施形態によると、拡大画像４３は、特定報知対象２３を含む所定の領域４５を拡大させた画像である。これにより、特定報知対象２３の周囲の状況も認識しやすくなる。

さらに第１実施形態によると、表示制御部５９は、選択判定部６０により選択されたと判定された撮影画像４０内の特定報知対象２３を拡大画像４３として、ディスプレイ４の画面上に撮影画像４０と共に表示させる。これにより、乗員が選択した特定報知対象２３を拡大画像４３としてディスプレイ４に表示させることで、不要に拡大画像４３がディスプレイ４に表示されることを防ぐことができる。また、拡大画像４３と撮影画像４０とがディスプレイ４の画面上に共に表示されることで、拡大画像４３が撮影画像４０のどの領域を拡大させたものであるのかを認識しやすくなる。

さらに第１実施形態によると、表示制御部５９は、ディスプレイ４の画面上に表示される撮影画像４０の中に存在する特定報知対象２３を覆わないように拡大画像４３をディスプレイ４に表示させる。これにより、ディスプレイ４の画面上に表示される撮影画像４０の中に存在する特定報知対象２３と、拡大画像４３内の特定報知対象２３とが共にディスプレイ４に表示されることとなるため、ディスプレイ４の画面上に表示される撮影画像４０の中に存在する特定報知対象２３と、拡大画像４３内の特定報知対象２３との位置関係を乗員が把握しやすくなる。

さらに第１実施形態によると、表示制御部５９は、報知対象検出部５７の検出結果、及び大きさ算出部５８の算出結果から、特定報知対象２３が存在すると判定した場合、ディスプレイ４に表示される撮影画像４０内の特定報知対象２３を強調させる撮影強調画像４２を、ディスプレイ４に表示させる。これにより、撮影強調画像４２をディスプレイ４に表示させることで、ディスプレイ４に表示される撮影画像４０内に存在する特定報知対象２３の位置を容易に把握することができる。

さらに第１実施形態によると、表示制御部５９は、報知対象検出部５７の検出結果、及び大きさ算出部５８の算出結果から、通常報知対象２２が存在すると判定した場合、ディスプレイ４に表示される撮影画像４０内の通常報知対象２２を、撮影強調画像４２とは異なるように強調させる通常強調画像４１を、ディスプレイ４に表示させる。これにより、ディスプレイ４に表示される特定報知対象２３と、通常報知対象２２とを容易に区別できる。

さらに第１実施形態によると、表示制御部５９は、進路推定部５５の推定結果に基づいて、拡大画像４３の表示位置を変化させる。これにより、車両１００の進路を乗員が認識できなくなることを防ぐことができる。

さらに第１実施形態によると、表示制御部５９は、拡大画像４３内の特定報知対象２３を強調させる拡大強調画像４４をディスプレイ４に表示させる。これにより、拡大画像４３内に存在する特定報知対象２３をより認識しやすくなる。

さらに第１実施形態によると、報知対象は、移動物体及び車両１００に接触する可能性のある静止物体のうち、車両１００との距離が最も近い物体であるとした。これにより、ディスプレイ４に表示される報知対象が制限されることとなり、必要以上の情報が乗員に提供されることで、乗員の判断が妨げられることを防ぐことができる。

（第２実施形態）
第２実施形態は、先行する第１実施形態を基礎的形態とする変形例である。図８は、第２実施形態における電子制御装置９２の構成を示すブロック図である。制御部９５が備える報知対象検出部９５７と、大きさ算出部９５８と、表示制御部９５９とが第１実施形態と異なっている。この報知対象検出部９５７と、大きさ算出部９５８と、表示制御部９５９とについて以下に説明する。

報知対象検出部９５７は、進路推定部５５から出力された予測軌跡情報と、物体検出部５６から出力された物体情報とに基づいて、物体検出部５６で検出された物体の中から乗員に報知すべき報知対象を検出する。この報知対象検出部９５７が検出する報知対象とは、移動物体、及び車両に接触する可能性のある静止物体のすべてである。

そして、報知対象検出部９５７は、検出した報知対象に関する物体情報を有している報知対象情報と、進路推定部５５から受け取った予測軌跡情報とを大きさ算出部９５８に出力する。

ここでの報知対象情報とは、報知対象と車両１００との距離を含む位置情報と、報知対象が静止物体と移動物体との何れであるのかを示す情報と、報知対象の上下左右それぞれの端部を含む矩形について、幅方向及び高さ方向のピクセル数を示す情報とに加えて、検出した報知対象の数を関連付けた情報である。

大きさ算出部９５８は、報知対象検出部９５７で検出された報知対象がディスプレイ４に表示される大きさを算出する。このとき、大きさ算出部９５８は、検出された報知対象が複数である場合、各報知対象について大きさを算出する。そして、大きさ算出部９５８は、算出した報知対象の大きさに関する情報である大きさ情報と、報知対象検出部９５７から受け取った報知対象情報と、予測軌跡情報とを表示制御部９５９に出力する。

表示制御部９５９は、上記第１の機能及び第２の機能に加えて、第３の機能として報知対象情報に基づいて、報知対象検出部９５７により検出された報知対象が複数であるか否かを判定する。さらに、表示制御部９５９は、報知対象が複数である場合と１つのみである場合とで異なる動作を行う。

表示制御部９５９は、報知対象が１つのみであると判定した場合、第１実施形態における表示制御部５９と同様の動作を行う。つまりは、表示制御部９５９は、報知対象が１つのみであると判定した場合、大きさ情報に基づいて特定報知対象２３が存在するか否かを判定する。

一方、表示制御部９５９は、報知対象が複数であると判定した場合、大きさ情報に基づいて、撮影画像４０内に特定報知対象２３と、通常報知対象２２とがそれぞれ存在するのかを判定する。つまりは、表示制御部９５９は、報知対象が複数であると判定した場合、特定報知対象２３が存在するか否かを判定し、さらに通常報知対象２２が存在するか否かを判定する。

表示制御部９５９は、報知対象が１つのみである場合、上記第１〜４のパターンを行う。しかし第３のパターンについて、第１実施形態の表示制御部５９の動作に加え、拡大画像４３よりも撮影画像４０を暗く表示させる動作が追加される。

つまり、図９に示すように、表示制御部９５９は、報知対象検出部９５７により検出された報知対象が１つ、かつ、その報知対象が特定報知対象であると判定した場合、拡大画像４３よりも撮影画像４０を暗く表示させる。図９に示される、撮影強調画像４２により強調された特定報知対象２３も、撮影画像４０の一部であるため、暗く表示される。

これにより、拡大画像４３内の特定報知対象２３をより認識しやすくなる。このようにする理由は、報知対象が１つしか存在しないため、撮影画像４０を拡大画像４３よりも暗く表示させても、他の報知対象を認識しにくくなるといったことがないためである。

尚、表示制御部９５９は、第１実施形態のように、拡大画像４３のみをディスプレイ４に表示させる場合、撮影画像４０を暗くさせることはない。

一方、表示制御部９５９は、報知対象が複数である場合、撮影画像４０内に存在する特定報知対象２３又は通常報知対象２２、若しくは、特定報知対象２３及び通常報知対象２２を強調させる。

つまり、表示制御部９５９は、通常報知対象２２のみが複数存在する場合、各通常報知対象２２に対する通常強調画像４１と、撮影画像４０とを重畳表示させる。また、表示制御部９５９は、特定報知対象２３のみが複数存在する場合、各特定報知対象２３に対する撮影強調画像４２と、撮影画像４０とを重畳表示させる。また、表示制御部９５９は、通常報知対象２２と特定報知対象２３とが共に存在する場合、通常強調画像４１と、撮影強調画像４２と、撮影画像４０とを重畳表示させる。

（表示制御処理）
次に、制御部９５によって実行される表示制御処理について図１０及び図１１を用いて説明する。

図１０及び図１１は、第２実施形態の制御部９５が実行する表示制御処理の手順を示すフローチャートである。尚、表示制御処理のフロー中の「Ｓ」とは、各ステップを意味する。

尚、第１実施形態の制御部５と異なる処理を実行するところについて説明する。

Ｓ３において、進路推定部５５は、ステアリングホイールの操舵角に基づいて予測軌跡を算出し、Ｓ１９へと移行する。

Ｓ１９において、報知対象検出部９５７は、予測軌跡情報と、物体情報とに基づいて、移動物体及び車両に接触する可能性のある静止物体のすべてを報知対象として検出する。

そして報知対象検出部９５７は、報知対象を検出しなかった場合、処理を終了する。一方、報知対象検出部９５７は、報知対象を検出した場合、報知対象情報と、予測軌跡情報とを大きさ算出部９５８に出力し、Ｓ２０へと移行する。このＳ１９は、報知対象検出工程に相当する。

Ｓ２０において、大きさ算出部９５８は、報知対象検出部９５７により検出された報知対象がディスプレイ４に表示される大きさを算出し、Ｓ２１へと移行する。このＳ２０は、大きさ算出工程に相当する。

Ｓ２１において、表示制御部９５９は、報知対象検出部９５７により検出された報知対象が複数であるか否かを判定する。表示制御部９５９は、報知対象が複数であると判定した場合、Ｓ２３へと移行する。一方、対象判定部９６１は、報知対象が複数でないと判定した場合、Ｓ６へと移行する。

Ｓ９において、選択判定部６０は、乗員が特定報知対象２３を選択したと判定した場合、Ｓ２２へと移行する。

Ｓ２２において、表示制御部９５９は、選択された特定報知対象２３を含む所定の領域を拡大させた拡大画像４３をディスプレイ４に表示させ、Ｓ１１へと移行する。このとき表示制御部９５９は、拡大画像４３と撮影画像４０とを重畳表示させる場合、拡大画像４３よりも撮影画像４０を暗く表示させる。このＳ２２は、表示制御工程に相当する。

Ｓ２３において、表示制御部９５９は、特定報知対象２３が存在するか否かを判定する。表示制御部９５９は、特定報知対象２３が存在しないと判定した場合、Ｓ２４へと移行し、特定報知対象２３が存在すると判定した場合、Ｓ２５へと移行する。

Ｓ２４において、表示制御部９５９は、各通常報知対象２２に対する通常強調画像４１と、撮影画像４０とを重畳表示させる。そして、表示制御部５９は、シフトレバーがリバースか否かを判定し、リバースであれば、表示制御処理を継続し、シフトレバーがリバースでなくなった場合、処理を終了する。

Ｓ２５において、表示制御部９５９は、通常報知対象２２が存在するか否かを判定する。表示制御部９５９は、通常報知対象２２が存在しないと判定した場合、Ｓ２６へと移行し、通常報知対象２２が存在すると判定した場合、Ｓ２７へと移行する。

Ｓ２６において、表示制御部９５９は、各特定報知対象２３に対する撮影強調画像４２と、撮影画像４０とを重畳表示させ、Ｓ２８へと移行する。

Ｓ２７において、表示制御部９５９は、撮影画像４０内に通常報知対象２２と特定報知対象２３とが共に存在するため、通常強調画像４１と、撮影強調画像４２と、撮影画像４０とを重畳表示させる。

Ｓ２８において、選択判定部６０は、Ｓ９と同様に、入力検出部５１により検出された入力情報に基づいて、乗員がディスプレイ４に表示された特定報知対象２３を選択したか否かを判定する。選択判定部６０は、乗員が特定報知対象２３を選択したと判定した場合、Ｓ２９へと移行する。一方、選択判定部６０は、乗員が特定報知対象２３を選択しなかったと判定した場合、処理を終了する。

Ｓ２９において、表示制御部５９は、選択された特定報知対象２３を含む所定の領域を拡大させた拡大画像４３をディスプレイ４に表示させ、Ｓ３０へと移行する。このＳ２９の動作は、表示制御工程に相当する。

Ｓ３０において、表示制御部５９は、拡大画像４３と、拡大強調画像４４とをディスプレイ４に重畳表示させる。そして、表示制御部５９は、シフトレバーがリバースか否かを判定し、リバースであれば、表示制御処理を継続し、シフトレバーがリバースでなくなった場合、処理を終了する。尚、Ｓ２９及びＳ３０の処理のタイミングを揃えてもよい。また、Ｓ３０の処理をなくしてもよい。

（作用効果）
以上説明した第２実施形態の作用効果を、以下に説明する。

第２実施形態に係る電子制御装置９２によると、表示制御部９５９は、撮影画像４０内に通常報知対象２２と特定報知対象２３とが共に存在すると判定した場合、撮影画像４０と、通常強調画像４１と、撮影強調画像４２とを重畳表示させる。これにより、撮影画像４０内の特定報知対象２３と、通常報知対象２２とを容易に区別することができる。

さらに第２実施形態によると、表示制御部９５９は、報知対象検出部９５７により検出された報知対象が１つ、かつ、その報知対象が特定報知対象であると判定した場合、拡大画像４３よりも撮影画像４０を暗く表示させる。これにより、拡大画像４３内の特定報知対象２３をより認識しやすくなる。

（他の実施形態）
以上、本発明の複数の実施形態について説明したが、本発明は、それらの実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

（変形例１）
上記実施形態では、Ｓ８及びＳ９により、撮影強調画像４２と、撮影画像４０とをディスプレイ４に重畳表示させたあと、拡大画像４３を表示させるか否かを判断した。これに代えて、Ｓ８及びＳ９の処理をなくし、表示制御部５９は、特定報知対象２３が存在すると判定した場合、拡大画像４３をディスプレイ４に表示させるようにしてもよい。これにより、乗員が特定報知対象２３を選択する操作を行う必要がなくなり、利便性が向上する。

さらに、この変形例１において、表示制御部５９は、図１２のように、拡大画像４３と、撮影画像４０内の特定報知対象２３とが重なるように重畳表示させるようにしてもよい。尚、ここでの重なるとは、拡大画像４３が、撮影画像４０内の特定報知対象２３を覆う場合と、拡大画像４３が、撮影画像４０内の特定報知対象２３の一部と重なる場合とを含んでいる。

変形例１では、Ｓ８及びＳ９の処理をなくすことにより撮影画像４０内の特定報知対象２３を強調させないため、乗員が撮影画像４０内に存在する特定報知対象２３を認識できていないおそれがある。そのため、拡大画像４３を撮影画像４０内の特定報知対象２３が表示されている位置に表示させることで、撮影画像４０内の特定報知対象２３の位置を認識しやすくする。

（変形例２）
上記実施形態では、Ｓ２６、Ｓ２７及びＳ２８により、撮影強調画像４２及び撮影画像４０、若しくは撮影強調画像４２、通常強調画像４１及び撮影画像４０をディスプレイ４に重畳表示させたあと、拡大画像４３を表示させるか否かを判断する処理とした。これに代えて、Ｓ２６、Ｓ２７及びＳ２８の処理をなくし、表示制御部９５９は、特定報知対象２３が存在すると判定した場合、拡大画像４３をディスプレイ４に表示させるようにしてもよい。これにより、乗員は特定報知対象２３を選択する操作を行う必要がなくなり、利便性が向上する。

変形例２において、特定報知対象２３が複数存在した場合、各特定報知対象２３を拡大画像４３としてあらかじめ定められた順番に表示させてもよい。このあらかじめ定められた順番とは、例えば各特定報知対象２３のうち、車両１００との距離が近い順番である。また、特定報知対象２３が複数存在した場合、車両１００との距離が最も近い特定報知対象２３のみを表示させてもよい。

また、複数の拡大画像４３を同時に表示させてもよい。複数の拡大画像４３を同時に表示させる場合には、あらかじめ定められた拡大画像４３の数を表示させる。これは、一度に報知する情報を制限することで、必要以上の報知情報で運転者の判断が妨げられることを防ぐためである。

（変形例３）
上記実施形態では、選択判定部６０は、室内入力部７又はタッチパネル７０への入力に基づいて、乗員が特定報知対象２３を選択したか否かを判定する。

これに加えて、図１３に示すような構成としてもよい。図１３は、変形例３による電子制御装置８２の内部構成について示すブロック図である。

図１３に示すように、電子制御装置８２は、制御部８５と、記憶部６とを備えている。また、電子制御装置８２には、車外カメラ３と、ディスプレイ４と、室内入力部７とに加えて、車速センサ９と、車内カメラ１０とが接続されている。車内カメラ１０は、車両１００の室内に設けられ、乗員の顔を撮影する。

そして、制御部８５は、新たに停止判定部５２と、視線検出部５３とを備える。

停止判定部５２は、車速センサ９から車両１００が停止しているか否かを判定し、判定結果に関する情報を停止情報として、表示制御部８５９が新たに有する注視判定部８０に出力する。尚、停止判定部５２は、図示しない加速度センサから車両１００が停止しているか否かを判定してもよい。

視線検出部５３は、車内カメラ１０により撮影された乗員の顔画像から乗員の視線の向きを検出する。視線検出部５３は、検出した乗員の視線の向きに関する情報を視線情報として注視判定部８０に出力する。

この注視判定部８０は、停止情報と、視線情報とに基づいて、乗員が特定報知対象２３を注視しているか否かを判定する。具体的には、注視判定部８０は、車両１００が停止しており、かつ、乗員の視線の向きがディスプレイ４を見る向きであった場合、ディスプレイ４に表示された特定報知対象２３を注視したと判定する。

そして選択判定部８１は、注視判定部８０により、乗員が特定報知対象２３を注視したと判定された場合、乗員がディスプレイ４に表示させる特定報知対象２３を選択したと判定する。

これにより、乗員が室内入力部７又はタッチパネル７０へ入力することなく、特定報知対象２３を選択することができるため、利便性が向上する。

１ 電子制御システム、 ２、８２、９２ 電子制御装置、 ３ 車外カメラ、 ４ ディスプレイ、 ５、８５、９５ 制御部、 ６ 記憶部、 ７ 室内入力部、 ８ 操舵角センサ、 ９ 車速センサ、 １０ 車内カメラ、 ２０ 予測線、 ２１ 車幅線、 ２２ 通常報知対象、 ２３ 特定報知対象、 ４０ 撮影画像、 ４１ 通常強調画像、 ４２ 撮影強調画像、 ４３ 拡大画像、 ４４ 拡大強調画像、 ４５ 所定の領域、 ５１ 入力検出部、 ５２ 停止判定部、 ５３ 視線検出部、 ５４ 画像取得部、 ５５ 進路推定部、 ５６ 物体検出部、 ５７、９５７ 報知対象検出部、 ５８、９５８ 大きさ算出部、 ５９、８５９、９５９ 表示制御部、 ６０、８１ 選択判定部、 ７０ タッチパネル、 ８０ 注視判定部、 １００ 車両、 Ｓ１０、Ｓ２２、Ｓ２９ 表示制御工程、 Ｓ４、Ｓ１９ 報知対象検出工程、 Ｓ５、Ｓ２０ 大きさ算出工程。

Claims (10)

1. 移動体（１００）に設けられる撮影部（３）により撮影された撮影画像（４０）に基づいて、前記撮影画像内に存在する、前記移動体の乗員に報知すべき報知対象を検出する報知対象検出部（５７、９５７）と、
   前記移動体の室内に設けられる前記撮影画像を表示する表示部（４）に、前記報知対象検出部により検出された前記報知対象が表示される大きさを算出する大きさ算出部（５８、９５８）と、
   前記大きさ算出部により算出された前記大きさが所定の閾値以下の場合、前記大きさが前記所定の閾値以下の前記報知対象である特定報知対象（２３）を拡大させた拡大画像（４３）を、前記表示部に表示させる表示制御部（５９、８５９、９５９）と、を備える電子制御装置。
2. 前記拡大画像は、前記特定報知対象を含む所定の領域（４５）を拡大させた画像である、請求項１に記載の電子制御装置。
3. 前記表示制御部は、
   前記表示部に表示された前記撮影画像内の前記特定報知対象を前記乗員が選択したか否かを判定する選択判定部（６０、８１）を有し、
   前記選択判定部により選択したと判定された前記撮影画像内の前記特定報知対象を前記拡大画像として、前記表示部の画面上に前記撮影画像と共に表示させる、請求項１又は２に記載の電子制御装置。
4. 前記表示制御部は、前記表示部の前記画面上に表示される前記撮影画像の中に存在する前記特定報知対象を覆わないように前記拡大画像を表示させる、請求項３に記載の電子制御装置。
5. 前記表示制御部は、前記報知対象検出部の検出結果、及び前記大きさ算出部の算出結果から、前記特定報知対象が存在すると判定した場合、前記表示部に表示される前記撮影画像内の前記特定報知対象を強調させる撮影強調画像（４２）を、前記表示部に表示させる、請求項１乃至４の何れか一項に記載の電子制御装置。
6. 前記表示制御部は、前記報知対象検出部の検出結果、及び前記大きさ算出部の算出結果から、前記大きさが前記所定の閾値より大きい前記報知対象である通常報知対象（２２）が存在すると判定した場合、前記表示部に表示される前記撮影画像内の前記通常報知対象を、前記撮影強調画像とは異なるように強調させる通常強調画像（４１）を、前記表示部に表示させる、請求項５に記載の電子制御装置。
7. 前記表示制御部は、前記報知対象検出部により検出された前記報知対象が１つ、かつ、前記特定報知対象である場合、前記拡大画像よりも前記撮影画像を暗く表示させる、請求項１乃至６の何れか一項に記載の電子制御装置。
8. 前記移動体の進路を推定する進路推定部（５５）をさらに備え、
   前記表示制御部は、前記進路推定部の推定結果に基づいて、前記拡大画像の表示位置を変化させる、請求項１乃至７の何れか一項に記載の電子制御装置。
9. 前記表示制御部は、前記拡大画像内の前記特定報知対象を強調させる拡大強調画像（４４）を前記表示部に表示させる、請求項１乃至８の何れか一項に記載の電子制御装置。
10. 移動体（１００）に設けられる撮影部（３）により撮影された撮影画像（４０）に基づいて、前記撮影画像内に存在する、前記移動体の乗員に報知すべき報知対象を検出する報知対象検出工程（Ｓ４、Ｓ１９）と、
    前記移動体の室内に設けられる前記撮影画像を表示する表示部（４）に、前記報知対象検出工程により検出された前記報知対象が表示される大きさを算出する大きさ算出工程（Ｓ５、Ｓ２０）と、
    前記大きさ算出工程により算出された前記大きさが所定の閾値以下の場合、前記大きさが前記所定の閾値以下の前記報知対象である特定報知対象（２３）を拡大させた拡大画像（４３）を、前記表示部に表示させる表示制御工程（Ｓ１０、Ｓ２２、Ｓ２９）と、を備える電子制御方法。

Images