JP2018182540A - 表示制御装置、表示制御方法及びカメラモニタリングシステム - Google Patents

Abstract

【課題】 電子ミラーを介して視認する信号機が運転者に及ぼす影響を低減させる。【解決手段】 撮像装置に接続される表示制御装置であって、前記撮像装置が車両の後方を撮影することで得た画像データを前記撮像装置より取得する取得部と、前記画像データより信号機の発光領域を検出する検出部と、検出した前記信号機の発光領域の色を変更し、表示画像データを生成する表示画像生成部と、生成した前記表示画像データが電子ミラーを介して視認されるよう制御する制御部とを有する。【選択図】図４

Description

本発明は、表示制御装置、表示制御方法及びカメラモニタリングシステムに関する。

従来より、車両にカメラモニタリングシステムを搭載し、車両後方の撮影画像を表示装置等に表示することで、当該表示装置等を電子ミラーとして機能させる表示制御技術が知られている。電子ミラーの場合、従来の後写鏡（車体外後写鏡、室内後写鏡）と比較して、車両後方の広い範囲を鮮明に映し出すことができるといった利点がある。

特開２０１４−１５１９８号公報

一方で、車両後方の広い範囲が鮮明に映し出された場合、運転者は運転操作に不要な情報にまで注意を向けることとなり、運転操作に何らかの影響が出ることが考えられる。例えば、画像内に信号機（自車両の進行方向とは反対方向に進む車両用の信号機等）が含まれている場合にあっては、自車両の前方の信号機と誤認識したり、前方への注意力が低下するといった影響が出ることになる。

本発明は上記課題に鑑みてなされたものであり、電子ミラーを介して視認する信号機が、運転者に及ぼす影響を低減させることを目的とする。

一態様によれば、撮像装置に接続される表示制御装置であって、
前記撮像装置が車両の後方を撮影することで得た画像データを前記撮像装置より取得する取得部と、
前記画像データより信号機の発光領域を検出する検出部と、
検出した前記信号機の発光領域の色を変更し、表示画像データを生成する表示画像生成部と、
生成した前記表示画像データが前記電子ミラーを介して視認されるよう制御する制御部とを有する。

電子ミラーを介して視認する信号機が、運転者に及ぼす影響を低減させることができる。

第１の実施形態におけるカメラモニタリングシステムのシステム構成の一例を示す図である。 表示装置の配置例を示す図である。 表示制御装置のハードウェア構成の一例を示す図である。 第１の実施形態における表示制御装置の機能構成の一例を示す図である。 画像ＤＢに格納される、信号機パターン画像及び変更パターン画像の一例を示す図である。 表示装置の表示例を示す図である。 第１の実施形態における表示制御装置による表示制御処理及び信号機検出処理の流れを示すフローチャートである。 表示装置の表示例を示す図である。 第２の実施形態における表示制御装置の機能構成の一例を示す図である。 第３の実施形態における表示制御装置の機能構成の一例を示す図である。 第４の実施形態におけるカメラモニタリングシステムのシステム構成の一例を示す図である。

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［第１の実施形態］
＜カメラモニタリングシステムのシステム構成＞
はじめに、車両に搭載されるカメラモニタリングシステムのシステム構成について説明する。図１は、第１の実施形態におけるカメラモニタリングシステムのシステム構成の一例を示す図である。図１に示すように、カメラモニタリングシステム１００は、撮像装置１１０と、表示制御装置１２０と、表示装置１３０とを有する。なお、本実施形態において、カメラモニタリングシステム１００は、車両のイグニッションスイッチがＯＮ状態になることで起動し、ＯＦＦ状態になることで停止するものとする。ただし、カメラモニタリングシステム１００の起動、停止のタイミングはこれに限定されず、例えば、車両のイグニッションスイッチがＯＮ状態になった後で、車両の運転者の指示に基づいて起動、停止するように構成してもよい。

撮像装置１１０は車両後方を撮影し、撮影することで得た撮影画像を左右反転した画像データを表示制御装置１２０に送信する。表示制御装置１２０は、撮像装置１１０より送信された画像データを処理することで、画像データに含まれる信号機の発光領域の色を変更し、表示画像データとして表示装置１３０に送信する。表示装置１３０は出力装置の一例であり、本実施形態においては液晶表示装置により構成される。表示装置１３０は、表示制御装置１２０より送信された表示画像データを表示する。

＜表示装置の配置例＞
次に、表示装置１３０の配置例について説明する。図２は、表示装置の配置例を示す図である。図２に示すように、表示装置１３０は、車両の室内後写鏡の位置（フロントウィンドウの手前側の中央位置）に配置され、室内後写鏡を代替する電子ミラーとして機能する。

＜表示制御装置のハードウェア構成＞
次に、表示制御装置１２０のハードウェア構成について説明する。図３は、表示制御装置のハードウェア構成の一例を示す図である。図３に示すように、表示制御装置１２０は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３を有する。また、表示制御装置１２０は、ＧＰＵ（Graphic Processing Unit）３０４、Ｉ／Ｆ（Interface）装置３０５を有する。なお、表示制御装置１２０の各部は、バス３０６を介して相互に接続されている。

ＣＰＵ３０１は、ＲＯＭ３０２にインストールされている各種プログラム（例えば、表示制御プログラム等）を実行するデバイスである。ＲＯＭ３０２は、不揮発性メモリであり、ＣＰＵ３０１によって実行される各種プログラムを格納する、主記憶デバイスとして機能する。ＲＡＭ３０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ３０３は、ＲＯＭ３０２にインストールされている各種プログラムがＣＰＵ３０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

ＧＰＵ３０４は、画像処理を行う専用の集積回路であり、本実施形態では、表示制御プログラムを実行するＣＰＵ３０１からの指示に基づき、表示装置１３０に表示される表示画像データの生成等を行う。Ｉ／Ｆ装置３０５は、撮像装置１１０及び表示装置１３０と、表示制御装置１２０とを接続するための接続デバイスである。

＜表示制御装置の機能構成＞
次に、表示制御装置１２０の機能構成について説明する。図４は、第１の実施形態における表示制御装置の機能構成の一例を示す図である。上述したとおり、表示制御装置１２０には、表示制御プログラムがインストールされており、カメラモニタリングシステム１００が起動することで、表示制御装置１２０は、表示制御プログラムを実行する。これにより、表示制御装置１２０は、画像データ取得部４１０、信号機検出部４２０、表示画像生成部４３０、制御部４４０として機能する。

画像データ取得部４１０は、撮像装置１１０より送信された画像データを取得する。画像データ取得部４１０は、取得した画像データをフレーム単位で信号機検出部４２０に送信する。

信号機検出部４２０は、画像データ取得部４１０より送信された画像データの上方領域を抽出対象として、信号機の発光色である、赤色、青色、黄色を有する領域を抽出する。例えば、画像データの各画素の色成分がＲ値、Ｇ値、Ｂ値で構成されている場合、信号機検出部４２０は、Ｒ値、Ｇ値、Ｂ値が所定の値を有する画素を抽出することで、信号機の発光色である、赤色、青色、黄色を有する領域を抽出する。あるいは、信号機がＬＥＤ（Light Emitting Diode）方式の場合にあっては、信号機検出部４２０は、ちらつき（フレーム間の周期的な輝度変動）を有する領域を抽出することで、信号機の発光色を有する領域を抽出してもよい。なお、画像データの上方領域を抽出対象としているのは、後方車両のウィンカやヘッドライトを誤って抽出することがないようにするためである。

また、信号機検出部４２０は、信号機の発光色を抽出した領域（発光領域）を含む所定範囲を判定対象として、画像ＤＢ４５０より読み出した信号機のパターン画像とのマッチング処理を行う。更に、信号機検出部４２０は、マッチング度が所定の閾値以上であった場合、抽出した発光領域を含む所定範囲に含まれるオブジェクトが信号機であると判定する。この場合、信号機検出部４２０は、信号機の発光領域を検出したことになるため、信号機の発光領域を示す情報を、画像データとともに、表示画像生成部４３０に通知する。なお、信号機検出部４２０は、抽出対象より発光領域を抽出しなかった場合、あるいは、発光領域を含む所定範囲に含まれるオブジェクトが信号機であると判定しなかった場合には、画像データのみを表示画像生成部４３０に通知する。

表示画像生成部４３０は、信号機検出部４２０より信号機の発光領域を示す情報が通知された場合にあっては、画像データについて画像ＤＢ４５０に格納された変更方法の中から選択した変更方法を用いて信号機の発光領域の色を変更し、表示画像データを生成する。また、表示画像生成部４３０は、生成した表示画像データを制御部４４０に通知する。一方、信号機の発光領域を示す情報が通知されなかった場合にあっては、表示画像生成部４３０は、通知された画像データを表示画像データとして制御部４４０に通知する。

なお、画像ＤＢ４５０には、変更方法情報として、以下の変更方法が格納されており、表示画像生成部４３０は、これらの変更方法のうちのいずれか１つの変更方法または複数の変更方法を選択して表示画像データを生成する。
・発光領域の色を予め定められた色（例えば、黒色、灰色等）に変更する。
・発光領域の色の彩度を変更し周辺領域との彩度の差を少なくする。
・発光領域の色の明度を変更し周辺領域との明度の差を少なくする。
・発光領域を含む所定領域に所定の画像を重畳する。

制御部４４０は、表示画像生成部４３０より通知された表示画像データを、表示装置１３０に表示するよう制御する。これにより、車両の運転者は、表示装置１３０を介して、信号機の発光領域の色が変更された表示画像データを視認することができる。

＜画像ＤＢの具体例＞
次に、画像ＤＢ４５０に格納される信号機パターン画像情報及び変更方法情報について説明する。図５は、画像ＤＢに格納される、信号機パターン画像情報及び変更方法情報の一例を示す図である。

このうち、図５（ａ）は、信号機を判定する際に用いる信号機パターン画像情報の一例を示す図である。図５（ａ）に示すように、信号機パターン画像情報５１０には、車両用の信号機パターン画像と歩行者用の信号機パターン画像とが含まれる。なお、画像ＤＢ４５０の信号機パターン画像情報５１０に格納される信号機パターン画像はこれに限定されず、形状の異なる他の車両用の信号機パターン画像や、形状の異なる他の歩行者用の信号機パターン画像が含まれていてもよい。また、踏切り用の信号機パターン画像等のように、他の移動体用の信号機パターン画像が含まれていてもよい。

図５（ｂ）は、信号機の発光領域の色を変更し表示画像データを生成する際に用いる変更方法情報の一例を示す図である。図５（ｂ）に示すように、変更方法情報５２０には、情報の項目として、"変更方法"と"変更例"とが含まれる。本実施形態において"変更方法"には、"所定の色に変更"、"彩度を変更"、"明度を変更"、"所定の画像を重畳"が含まれる。"変更例"には、対応する"変更方法"に基づいて、信号機の発光領域または信号機の発光領域を含む所定領域を変更した場合の具体例が含まれる。

図５（ｂ）に示すように、本実施形態において、"所定の色に変更"、"彩度を変更"、"明度を変更"のいずれかを選択した場合に表示画像生成部４３０が色を変更する変更対象は、信号機検出部４２０により検出された信号機の発光領域である。表示画像生成部４３０は、信号機検出部４２０より通知される信号機の発光領域を示す情報により、信号機の発光領域を特定する。このため、昼間の時間帯等のように、信号機の発光色である、赤色、青色、黄色の３色の発光領域が信号機の発光領域として検出される場合には、３色の発光領域の色が変更される。一方、夜間の時間帯等のように、発光中のいずれかの発光領域が信号機の発光領域として検出される場合には、当該色の発光領域の色が変更される。

また、図５（ｂ）に示すように、本実施形態において、"所定の画像を重畳"を選択した場合に表示画像生成部４３０が色を変更する変更対象は、信号機検出部４２０により検出された信号機の発光領域を含む所定領域（信号機全体）である。

＜表示装置の表示例＞
次に、表示装置１３０の表示例について説明する。ここでは、信号機検出部４２０が信号機検出処理を行わない場合の表示例を示し、運転者が、表示装置１３０を介して視認する信号機を前方の信号機と誤認識する原因について説明する。

図６は、表示装置の表示例を示す図である。なお、図６の表示例では、車両の運転者が表示装置１３０を介して視認する表示画像データと、表示装置１３０の後のフロントウィンドウを介して視認する前方の実景の両方を示している。

本実施形態において、撮像装置１１０が撮影する撮影範囲は、従来の室内後写鏡に映し出される範囲よりも上方向に広い。このため、表示装置１３０には、車両後方の信号機（自車両の進行方向とは反対方向に進む車両用の信号機）であって、自車両に比較的近い位置にある信号機（つまり、従来の室内後写鏡には映らない上方位置の信号機）が表示されることになる。また、本実施形態において、撮像装置１１０が撮影する撮影範囲は奥行き方向に広く、表示装置１３０には、比較的遠くにある信号機（つまり、従来の室内後写鏡では見えにくい信号機）についても鮮明に表示されることになる。

このため、図６に示すように、表示装置１３０に表示された信号機６０１と、フロントウィンドウを介して視認される実景の信号機６０２とは、運転者にとって区別がつきにくい。この結果、運転者は、表示装置１３０に表示された信号機６０１を、フロントウィンドウを介して視認される実景の信号機であると誤認識する。あるいは、誤認識しないまでも、表示装置１３０に表示された信号機６０１に注意が向き、前方への注意力が低下するといったように、運転者による運転操作に影響が出ることになる。

＜表示制御処理及び信号機検出処理の流れ＞
次に、表示制御装置１２０による表示制御処理及び信号機検出処理の流れについて図７を用いて説明する。図７は、第１の実施形態における表示制御装置による表示制御処理及び信号機検出処理の流れを示すフローチャートである。

（１）表示制御装置による表示制御処理
はじめに、図７（ａ）を用いて表示制御装置１２０による表示制御処理全体の流れについて説明する。図７（ａ）は、表示制御装置１２０による表示制御処理全体の流れを示すフローチャートである。カメラモニタリングシステム１００が起動することにより、表示制御装置１２０では、図７（ａ）に示す表示制御処理を実行する。

ステップＳ７０１において、画像データ取得部４１０は、撮像装置１１０より画像データを取得し、フレーム単位で信号機検出部４２０に送信する。ステップＳ７０２において、信号機検出部４２０は、信号機検出処理を実行し、画像データと信号機の発光領域を示す情報とを表示画像生成部４３０に通知する。

ステップＳ７０３において、表示画像生成部４３０は、画像データのうち、信号機の発光領域を示す情報に応じた領域について色を変更し、表示画像データを生成する。ステップＳ７０４において、制御部４４０は、表示画像データをフレーム単位で表示装置１３０に表示するよう制御する。

ステップＳ７０５において、画像データ取得部４１０は、表示制御処理を終了するか否かを判定する。カメラモニタリングシステム１００の動作が継続する場合、ステップＳ７０５では表示制御処理を終了しないと判定し（ステップＳ７０５においてＮｏの場合）、ステップＳ７０１に戻る。一方、カメラモニタリングシステム１００の動作が停止する場合（ステップＳ７０５においてＹｅｓの場合）には、表示制御処理を終了する。

（２）信号機検出部による信号機検出処理
続いて、図７（ｂ）を用いて信号機検出部４２０による信号機検出処理（ステップＳ７０２）の流れについて詳細を説明する。図７（ｂ）は、信号機検出部４２０による信号機検出処理の流れを示すフローチャートである。

ステップＳ７１１において、信号機検出部４２０は、画像データ取得部４１０により取得された画像データ７２０の上方領域７２１を抽出する。

ステップＳ７１２において、信号機検出部４２０は、抽出した上方領域７２１より、信号機の発光色である、赤色、青色、黄色を有する領域を抽出したか否かを判定する。ステップＳ７１２において、信号機の発光色である、赤色、青色、黄色を有する領域を抽出していないと判定した場合には（ステップＳ７１２においてＮｏの場合には）、信号機検出処理を終了し、ステップＳ７０３に戻る。この場合、信号機検出部４２０は、画像データ取得部４１０により取得された画像データのみを、表示画像生成部４３０に通知する。

一方、ステップＳ７１２において、信号機の発光色である、赤色、青色、黄色を有する領域（発光領域７２２）を抽出したと判定した場合には（ステップＳ７１２においてＹｅｓの場合には）、ステップＳ７１３に進む。

ステップＳ７１３において、信号機検出部４２０は、発光領域７２２を含む所定範囲７２３を判定対象として、画像ＤＢ４５０の信号機パターン画像情報５１０に含まれる信号機パターン画像とのマッチング処理を行う。なお、信号機検出部４２０は、信号機パターン画像情報５１０に含まれる信号機パターン画像を左右反転する処理を行ったうえで、マッチング処理を行う。

ステップＳ７１４において、信号機検出部４２０は、発光領域７２２を含む所定範囲７２３と、信号機パターン画像情報５１０に含まれるいずれかの信号機パターン画像とのマッチング度が所定の閾値以上であるか否かを判定する。ステップＳ７１４において、いずれの信号機パターン画像とのマッチング度も所定の閾値未満であると判定した場合には（ステップＳ７１４においてＮｏの場合には）、信号機検出処理を終了し、ステップＳ７０３に戻る。この場合、信号機検出部４２０は、画像データ取得部４１０により取得された画像データのみを、表示画像生成部４３０に通知する。一方、所定の閾値以上であると判定した場合には（ステップＳ７１４においてＹｅｓの場合には）、ステップＳ７１５に進む。

ステップＳ７１５において、信号機検出部４２０は、所定範囲７２３に含まれるオブジェクトが信号機であると判定する。この場合、信号機検出部４２０は、信号機の発光領域を検出したことになるため、発光領域７２２の位置を、信号機の発光領域を示す情報として、画像データ７２０とともに表示画像生成部４３０に通知する。その後、信号機検出部４２０は、信号機検出処理を終了し、ステップＳ７０３に進む。

＜表示装置の表示例＞
次に、表示装置１３０の表示例について説明する。ここでは、信号機検出部４２０が信号機検出処理を行った場合の表示例を示し、表示装置１３０を介して視認する信号機を前方の信号機と誤認識する可能性が低減できる理由について説明する。

図８は、表示装置の表示例を示す図である。図６の表示例と同様、図８の表示例においても、車両の運転者が表示装置１３０を介して視認する表示画像データと、表示装置１３０の後のフロントウィンドウを介して視認する前方の実景の両方を示している。

信号機検出部４２０が信号機検出処理を行うことで、画像データに含まれる信号機の発光領域が検出され、表示画像生成部４３０が当該信号機の発光領域の色を変更する。このため、図８に示すように、表示装置１３０に表示された信号機８０１と、フロントウィンドウを介して視認される実景の信号機８０２とは明らかに異なる色を有することになる。この結果、運転者が表示装置１３０に表示された信号機を、フロントウィンドウを介して視認される実景の信号機であると誤認識する可能性を低減させることができる。また、表示画像生成部４３０により変更された後の色は、表示画像データ内において目立ちにくい色である。このため、表示装置１３０に表示された信号機に注意が向き、前方への注意力が低下するといった事態を回避することができる。つまり、運転者による運転操作に及ぼす影響を低減させることができる。

＜まとめ＞
以上の説明から明らかなように、本実施形態における表示制御装置１２０は、
・車両後方を撮影する撮像装置１１０により撮影され、左右反転された画像データより、信号機の発光領域を検出する。
・検出した信号機の発光領域の色を変更して表示画像データを生成し、表示装置１３０に表示する。

これにより、本実施形態における表示制御装置１２０によれば、表示装置に表示される表示画像データに信号機が含まれていた場合でも、運転者に及ぼす影響を低減させることができる。

［第２の実施形態］
上記第１の実施形態において、信号機検出部４２０は、発光領域を含む所定範囲を判定対象として、信号機パターン画像とのマッチング処理を行うことで、信号機の発光領域を検出する構成とした。しかしながら、信号機の発光領域の検出方法はこれに限定されず、例えば、自車両の現在位置を示すナビゲーション情報を取得し、自車両周辺の地図情報（信号機の設置位置が示された地図情報）と対比することで、信号機の発光領域を検出する構成としてもよい。

図９は、第２の実施形態における表示制御装置の機能構成の一例を示す図である。図４に示す機能構成との相違点は、信号機検出部９１０と、地図情報ＤＢ９２０とを有する点である。信号機検出部９１０は、例えば、ナビゲーション装置と接続し、自車両の現在位置を示すナビゲーション情報を取得する。また、信号機検出部９１０は、自車両の現在位置と、地図情報ＤＢ９２０より読み出した自車両周辺の地図情報とを対比することで、抽出した発光領域が信号機の発光領域か否かを判定する。また、信号機検出部９１０は、信号機の発光領域であると判定した場合、信号機の発光領域を示す情報を、画像データとともに、表示画像生成部４３０に通知する。なお、信号機検出部９１０は、発光領域を抽出しなかった場合、あるいは信号機の発光領域と判定しなかった場合（つまり、信号機の発光領域を検出しなかった場合）には、画像データのみを表示画像生成部４３０に通知する。

このように、自車両の現在位置に基づいて信号機の発光領域を検出することで、信号機検出部９１０によれば、信号機の発光領域の誤検出を低減させることができる。

［第３の実施形態］
上記第１の実施形態では、表示制御装置１２０による表示制御プログラムの実行中、信号機検出部４２０を常時機能させるものとして説明した。しかしながら、信号機検出部４２０は、例えば、車両情報に応じて機能させるか否かを決定するように構成してもよい。

図１０は、第３の実施形態における表示制御装置の機能構成の一例を示す図である。図４に示す機能構成との相違点は、決定部１０１０を有する点である。決定部１０１０は、車載ネットワーク等から車両情報を取得し、取得した車両情報に応じて、信号機検出部４２０を機能させるか否かを決定する。また、決定部１０１０は、信号機検出部４２０を機能させないと決定した場合には、画像データを制御部４４０に通知し、信号機検出部４２０を機能させると決定した場合には、画像データを信号機検出部４２０に通知する。

なお、信号機検出部４２０を機能させるか否かの決定に用いる車両情報としては、例えば、車両の周囲の明るさに関する情報が挙げられる。これにより、決定部１０１０は、例えば、昼の時間帯や晴れの日等には、信号機検出部４２０を機能させず、夜の時間帯や曇り、雨の日等に、信号機検出部４２０を機能させるように構成することができる。車両の明るさに関する情報は、例えば、照度センサの受信信号に基づいて生成された情報であっても、車両のヘッドライトのＯＮまたはＯＦＦ信号に基づいて生成された情報であってもよい。

このように、車両情報に応じて信号機検出部４２０を機能させるか否かを決定する構成とすることで、本実施形態における表示制御装置１２０によれば、画像データの変更頻度を抑えることができる。

［第４の実施形態］
上記第１乃至第３の実施形態では、室内後写鏡の位置に表示装置１３０を配置し、表示装置１３０を電子ミラーとして機能させるカメラモニタリングシステム１００について説明した。しかしながら、カメラモニタリングシステムの構成はこれに限定されない。例えば、室内後写鏡の位置に投影用のミラーを配置し、プロジェクタを介して当該投影用のミラーに対して表示画像データを投影することで、当該投影用のミラーを電子ミラーとして機能させる構成としてもよい。

図１１は、第４の実施形態におけるカメラモニタリングシステムのシステム構成の一例を示す図である。図１１（ａ）に示すカメラモニタリングシステム１１００の図７との相違点は、出力装置として表示装置１３０に代えて、プロジェクタ（画像投影装置）１１１０が配されている点である。なお、カメラモニタリングシステム１１００の場合、表示画像データは投影用のミラーに投影され、投影用のミラーにおいて光学的に左右反転されるため、撮像装置１１０において撮影画像を左右反転させる必要はない。したがって、表示制御装置１２０からプロジェクタ１１１０に送信される表示画像データは、撮影画像を左右反転していない画像データに含まれる信号機の発光領域の色が変更されたデータとなる。

図１１（ｂ）は、プロジェクタ１１１０と投影用のミラー１１２０との関係を示した図である。本実施形態において、プロジェクタ１１１０は車内の天井部分に配置されるものとする。図１１（ｂ）に示すように、天井部分に配置されたプロジェクタ１１１０より出射された表示画像データは、室内後写鏡の位置に配置された投影用のミラー１１２０に投影される。これにより、運転者は、投影用のミラー１１２０を介して表示画像データを視認することができる。

［その他の実施形態］
上記第１乃至第４の実施形態では、撮像装置１１０において撮影された撮影画像全体を用いて画像データを生成する場合について説明したが、撮影画像の一部を用いて画像データを生成するように構成してもよい。この場合、画像データに用いる領域は、例えば、運転者が指定できるように構成してもよい。

また、上記第１乃至第４の実施形態では、信号機検出部４２０、９１０が、抽出対象として抽出する上方領域を固定としたが、抽出対象として抽出する上方領域は可変としてもよい。例えば、車両が上り坂を走行しているときと、下り坂を走行しているときと、平坦な道路を走行しているときとで、上方領域を変えてもよい。なお、車両が上り坂を走行しているのか、下り坂を走行しているのか、平坦な道路を走行しているのかは、例えば、車載ネットワークより、車両情報を介して車両の傾きに関する情報を取得することで判定することができる。

また、上記第１、第３及び第４の実施形態では、信号機検出部４２０、９１０が、発光領域を含む所定範囲を判定対象として、信号機パターン画像とのマッチング処理を行い、信号機の発光領域を検出する構成とした。しかしながら、判定対象を発光領域とし、発光領域画像とのマッチング処理を行うことで信号機の発光領域を検出するように構成してもよい。

また、上記第１乃至第３の実施形態では、撮像装置１１０において撮影画像を左右反転した画像データを表示制御装置１２０に送信するものとして説明したが、撮影画像を左右反転する処理は、表示制御装置１２０において実行するように構成してもよい。

また、上記第１乃至第３の実施形態では、室内後写鏡の位置に、表示装置１３０を配置するものとして説明した。しかしながら、カメラモニタリングシステムの構成はこれに限定されず、例えば、室内後写鏡の位置に、可動式のハーフミラーが前面に取り付けられた表示装置を配置してもよい。この場合、表示装置による表示画像データの表示を行うモードをＯＮにすると表示装置による表示画像データの表示が開始され、ＯＦＦにすると表示装置による表示画像データの表示が終了する。この間、運転者は、表示装置を介して表示される表示画像データを視認することで車両後方を確認する。

一方、表示画像データの表示を行うモードをＯＦＦにすると、ハーフミラーが室内後写鏡として機能するモードがＯＮになり、ハーフミラーが所定の位置に移動する。この場合、運転者は、ハーフミラーを介して車両後方を確認する。

また、上記第３の実施形態では、取得した車両情報に応じて、信号機検出部４２０を機能させるか否かを決定する場合について説明したが、取得した車両情報に応じて、信号機検出部４２０による信号機検出処理の処理内容を変えてもよい。あるいは、表示画像生成部が信号機の発光領域の色を変更する際の変更方法を変えてもよい。

また、上記第１乃至第４の実施形態では、カメラモニタリングシステム１００、１１００を、室内後写鏡を代替するものとして説明したが、車体外後写鏡を代替してもよい。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：カメラモニタリングシステム
１１０ ：撮像装置
１２０ ：表示制御装置
１３０ ：表示装置
４１０ ：画像データ取得部
４２０ ：信号機検出部
４３０ ：表示画像生成部
４４０ ：制御部
５１０ ：信号機パターン画像情報
５２０ ：変更方法情報
７２０ ：画像データ
７２１ ：上方領域
７２２ ：発光領域
７２３ ：所定範囲
９１０ ：信号機検出部
１０１０ ：決定部
１１００ ：カメラモニタリングシステム
１１１０ ：プロジェクタ
１１２０ ：投影用のミラー

Claims (7)

1. 撮像装置に接続される表示制御装置であって、
   前記撮像装置が車両の後方を撮影することで得た画像データを前記撮像装置より取得する取得部と、
   前記画像データより信号機の発光領域を検出する検出部と、
   検出した前記信号機の発光領域の色を変更し、表示画像データを生成する表示画像生成部と、
   生成した前記表示画像データが電子ミラーを介して視認されるよう制御する制御部と
   を有することを特徴とする表示制御装置。
2. 前記検出部は、前記画像データの所定領域より、信号機の発光色を有する発光領域を抽出し、該抽出した発光領域を含む所定範囲についてマッチング処理を行うことで、該所定範囲に含まれるオブジェクトが信号機であるか否かを判定し、信号機であると判定した場合に、前記信号機の発光色を有する発光領域を、前記信号機の発光領域として検出することを特徴とする請求項１に記載の表示制御装置。
3. 前記検出部は、前記画像データの所定領域より、信号機の発光色を有する発光領域を抽出し、抽出した際の前記車両の位置を示す情報と信号機の位置を示す地図情報とに基づいて、該抽出した発光領域が信号機の発光領域であるか否かを判定し、信号機の発光領域であると判定した場合に、前記信号機の発光色を有する発光領域を、前記信号機の発光領域として検出することを特徴とすることを特徴とする請求項１に記載の表示制御装置。
4. 前記表示画像生成部は、前記信号機の発光領域の色を所定の色に変更する処理、前記信号機の発光領域の色の彩度を変更する処理、前記信号機の発光領域の色の明度を変更する処理、または、前記信号機の発光領域を含む領域に所定の画像を重畳する処理のいずれかの処理を実行することで、前記信号機の発光領域の色を変更することを特徴とする請求項１乃至３のいずれか１項に記載の表示制御装置。
5. 取得した車両情報に基づいて、前記検出部に前記信号機の発光領域を検出する処理を実行させるか否かを決定する決定部を更に有し、
   前記決定部により前記信号機の発光領域を検出する処理を実行させることを決定した場合に、前記検出部は、前記画像データより前記信号機の発光領域を検出することを特徴とする請求項１乃至４のいずれか１項に記載の表示制御装置。
6. 表示制御装置の表示制御方法であって、
   車両の後方を撮影することで得た画像データを取得する取得工程と、
   前記画像データより信号機の発光領域を検出する検出工程と、
   検出した前記信号機の発光領域の色を変更し、表示画像データを生成する表示画像生成工程と、
   生成した前記表示画像データが電子ミラーを介して視認されるよう制御する制御工程と
   を有することを特徴とする表示制御方法。
7. 車両の後方を撮影する撮像装置と、
   前記撮像装置で撮影された画像データを処理する表示制御装置と、を有するカメラモニタリングシステムであって、
   前記表示制御装置は、
   前記撮像装置で撮影された画像データを前記撮像装置より取得する取得部と、
   前記画像データより信号機の発光領域を検出する検出部と、
   検出した前記信号機の発光領域の色を変更し、表示画像データを生成する表示画像生成部と、
   生成した前記表示画像データが電子ミラーを介して視認されるよう制御する制御部と
   を有することを特徴とするカメラモニタリングシステム。