JP2019191299A - 表示制御装置、表示制御方法及びカメラモニタリングシステム - Google Patents

Abstract

【課題】 カメラモニタリングシステムにおいて、視認性を向上させる。【解決手段】 複数の撮像装置に接続される表示制御装置であって、前記複数の撮像装置それぞれにおいて撮影された撮影画像の各画素の色成分に基づいて、撮影画像の輝度を示す情報を算出する算出部と、前記複数の撮像装置間で撮影タイミングが重複する撮影画像のうち、前記輝度を示す情報が所定の閾値以上となる撮影画像を特定する特定部と、前記特定した撮影画像の各画素の色成分を調整するための変換情報を、色成分ごとに算出し、算出した変換情報を用いて、前記特定した撮影画像の各画素の色成分を調整する調整部とを有することを特徴とする。【選択図】図５

Description

本発明は、表示制御装置、表示制御方法及びカメラモニタリングシステムに関する。

従来より、車両にカメラモニタリングシステムを搭載し、車両後方を撮影した画像を表示装置等に表示することで、当該表示装置等を電子ミラーとして機能させる表示制御技術が知られている。

かかるカメラモニタリングシステムでは、車両の中央後方を撮影した画像を表示する表示装置と、車両の左側後方を撮影した画像を表示する表示装置と、車両の右側後方を撮影した画像を表示する表示装置とを、隣接して配置することが想定される。このため、隣り合う画像間で視認性を一致させることが求められる。

特開平７−３３３７６０号公報

一方で、車両の後方の明るさは撮影方向によって異なることもあり、隣り合う画像間で輝度差が生じるケースが考えられる。例えば、自車両の中央後方を走行する車両がヘッドライトをハイビームにした場合、自車両の中央後方を撮影した画像の輝度のみが上がることになる。この場合、隣接して配置された他の表示装置に表示される画像との間で輝度差が生じ、当該他の表示装置に表示された画像の視認性が低下するといった問題が生じる。

本発明は上記課題に鑑みてなされたものであり、カメラモニタリングシステムにおいて、視認性を向上させることを目的とする。

一態様によれば、表示制御装置は以下のような構成を備える。即ち、
複数の撮像装置に接続される表示制御装置であって、
前記複数の撮像装置それぞれにおいて撮影された撮影画像の各画素の色成分に基づいて、撮影画像の輝度を示す情報を算出する算出部と、
前記複数の撮像装置間で撮影タイミングが重複する撮影画像のうち、前記輝度を示す情報が所定の閾値以上となる撮影画像を特定する特定部と、
前記特定した撮影画像の各画素の色成分を調整するための変換情報を、色成分ごとに算出し、算出した変換情報を用いて、前記特定した撮影画像の各画素の色成分を調整する調整部とを有することを特徴とする。

カメラモニタリングシステムにおいて、視認性を向上させることができる。

第１の実施形態に係るカメラモニタリングシステムのシステム構成の一例を示す図である。 車両における撮像装置の配置例を示す図である。 車両における表示装置の配置例を示す図である。 表示制御装置のハードウェア構成の一例を示す図である。 第１の実施形態に係る視認性調整部の機能構成の一例を示す図である。 輝度算出部による処理の具体例を示す図である。 閾値算出部及び画像特定部による処理の具体例を示す図である。 特定用閾値の遷移を示す図である。 色調整部による処理の具体例を示す図である。 第１乃至第３表示画像データの一例を示す図である。 視認性調整部による視認性調整処理の流れを示すフローチャートである。 第２の実施形態に係る視認性調整部の機能構成の一例を示す図である。 第３の実施形態に係るカメラモニタリングシステムのシステム構成の一例を示す図である。 第４の実施形態に係るカメラモニタリングシステムのシステム構成の一例を示す図である。 バックライト制御部によりバックライトが制御されたナビゲーション装置を示す図である。

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［第１の実施形態］
＜カメラモニタリングシステムのシステム構成＞
はじめに、車両に搭載されるカメラモニタリングシステムのシステム構成について説明する。図１は、第１の実施形態に係るカメラモニタリングシステムのシステム構成の一例を示す図である。図１に示すように、カメラモニタリングシステム１００は、撮像装置１１１、１１２、１１３と、表示制御装置１２０と、表示装置１３１、１３２、１３３とを有する。なお、本実施形態において、カメラモニタリングシステム１００は、車両のイグニッションスイッチがＯＮ状態になることで起動し、ＯＦＦ状態になることで停止するものとする。ただし、カメラモニタリングシステム１００の起動、停止のタイミングはこれに限定されず、例えば、車両のイグニッションスイッチがＯＮ状態になった後で、車両の運転者の指示に基づいて起動、停止するように構成してもよい。

撮像装置１１１は車両の中央後方を撮影し、撮影画像を左右反転した画像データ（第１画像データ）を表示制御装置１２０に送信する。また、撮像装置１１２は車両の左側後方を撮影し、撮影画像を左右反転した画像データ（第２画像データ）を表示制御装置１２０に送信する。更に、撮像装置１１３は車両の右側後方を撮影し、撮影画像を左右反転した画像データ（第３画像データ）を表示制御装置１２０に送信する。

表示制御装置１２０には視認性調整プログラムがインストールされており、当該プログラムが実行されることで、表示制御装置１２０は、視認性調整部１２１として機能する。視認性調整部１２１は、撮像装置１１１〜１１３より送信された第１乃至第３画像データを処理し、第１乃至第３表示画像データを生成する。

なお、視認性調整部１２１は、第１乃至第３表示画像データを生成するにあたり、輝度情報格納部１２２より輝度情報を読み出し、第１乃至第３画像データの各画素の色成分を輝度に変換し、第１乃至第３画像データそれぞれについて輝度を示す情報を算出する。また、視認性調整部１２１は、第１乃至第３画像データそれぞれについて算出した輝度を示す情報に基づいて、色成分の調整が必要な画像データを特定し、特定した画像データの各画素の色成分を調整する。

このように、第１乃至第３表示画像データを出力するにあたり、特定した画像データについて各画素の色成分を調整することで、視認性調整部１２１によれば、第１乃至第３表示画像データ間の輝度差を抑えることが可能になる。

表示装置１３１〜１３３は、それぞれ、表示制御装置１２０より出力された第１乃至第３表示画像データを表示する。上述したとおり、表示制御装置１２０より出力される第１乃至第３表示画像データは、輝度差が抑えられているため、いずれかの表示画像データの輝度が高いことで残りの表示画像データの視認性が低下する、といった事態を回避することが可能となる。つまり、カメラモニタリングシステム１００によれば、視認性を向上させることができる。

＜カメラモニタリングシステムの各装置の配置例＞
次に、カメラモニタリングシステム１００の各装置（撮像装置１１１〜１１３、表示装置１３１〜１３３）の配置例について説明する。図２は、撮像装置の配置例を示す図である。図２に示すように、車両２００において、撮像装置１１１は後端中央位置に配置され、車両２００の中央後方を撮影する。

また、図２に示すように、車両２００において、撮像装置１１２は左側面（一般的な車両の左側ドアミラーの位置）に配置され、車両２００の左側後方を撮影する。更に、車両２００において、撮像装置１１３は右側面（一般的な車両の右側ドアミラーの位置）に配置され、車両２００の右側後方を撮影する。

図３は、表示装置の配置例を示す図である。図３に示すように、車両２００において、表示装置１３１〜１３３はフロントガラスとステアリングとの間のダッシュボード上に隣接して配置される。表示装置１３１〜１３３が隣接して配置されることで、車両２００の運転者は、車両２００の中央後方、左側後方、右側後方を確認する際に、首を振る必要がなくなり、確認しやすくなる。

なお、本実施形態では、表示装置１３１〜１３３それぞれを隣接して配置し、それぞれの表示画面に、第１乃至第３表示画像データを表示するものとして説明する。しかしながら、第１乃至第３表示画像データの表示方法はこれに限定されず、表示装置を１台とし、代わりに表示画面を３つの領域に分け、それぞれの領域に、第１乃至第３表示画像データを表示するようにしてもよい。

＜表示制御装置のハードウェア構成＞
次に、表示制御装置１２０のハードウェア構成について説明する。図４は、表示制御装置のハードウェア構成の一例を示す図である。図４に示すように、表示制御装置１２０は、ＣＰＵ（Central Processing Unit）４０１、ＲＯＭ（Read Only Memory）４０２、ＲＡＭ（Random Access Memory）４０３を有する。また、表示制御装置１２０は、ＧＰＵ（Graphic Processing Unit）４０４、Ｉ／Ｆ（Interface）装置４０５を有する。なお、表示制御装置１２０の各部は、バス４０６を介して相互に接続されている。

ＣＰＵ４０１は、ＲＯＭ４０２にインストールされている各種プログラム（例えば、視認性調整プログラム等）を実行するデバイスである。ＲＯＭ４０２は、不揮発性メモリであり、ＣＰＵ４０１によって実行される各種プログラムを格納する、主記憶デバイスとして機能する。ＲＡＭ４０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ４０３は、ＲＯＭ４０２にインストールされている各種プログラムがＣＰＵ４０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

ＧＰＵ４０４は、画像処理を行う専用の集積回路であり、第１の実施形態では、視認性調整プログラムを実行するＣＰＵ４０１からの指示に基づき、表示装置１３１〜１３３それぞれに表示される第１乃至第３表示画像データの生成等を行う。Ｉ／Ｆ装置４０５は、撮像装置１１１〜１１３及び表示装置１３１〜１３３と、表示制御装置１２０とを接続するための接続デバイスである。

＜表示制御装置の視認性調整部の機能構成＞
次に、表示制御装置１２０の視認性調整部１２１の機能構成について説明する。図５は、第１の実施形態に係る視認性調整部の機能構成の一例を示す図である。図５に示すように、視認性調整部１２１は、画像取得部５０１、５１１、５２１、輝度算出部５０２、５１２、５２２、閾値算出部５３０を有する。また、視認性調整部１２１は、画像特定部５０３、５１３、５２３、色調整部５０４、５１４、５２４、表示画像生成部５０５、５１５、５２５を有する。

画像取得部５０１、５１１、５２１は、それぞれ、撮像装置１１１、１１２、１１３より、第１画像データ、第２画像データ、第３画像データを取得する。なお、画像取得部５０１、５１１、５２１が取得する第１画像データ、第２画像データ、第３画像データの各画素は、ＨＳＶ色空間における色成分（Ｈ値、Ｓ値、Ｖ値）を有しているものとする。

画像取得部５０１は、取得した第１画像データを、輝度算出部５０２に通知するとともに、色調整部５０４に通知する。同様に、画像取得部５１１は、取得した第２画像データを、輝度算出部５１２に通知するとともに、色調整部５１４に通知する。同様に、画像取得部５２１は、取得した第３画像データを、輝度算出部５２２に通知するとともに、色調整部５２４に通知する。

輝度算出部５０２、５１２、５２２は算出部の一例である。輝度算出部５０２は、輝度情報格納部１２２より輝度情報を読み出し、第１画像データの各画素の色成分を輝度に変換することで、第１画像データについて輝度ヒストグラムを生成し、閾値算出部５３０に通知する。なお、輝度情報格納部１２２には、任意の色成分（Ｈ値、Ｓ値、Ｖ値）で表される色を、輝度に変換するための輝度情報が格納されている。

また、輝度算出部５０２は、第１画像データについて、輝度を示す情報（輝度の平均値）を算出して、画像特定部５０３に通知する。なお、輝度算出部５０２は、第１画像データ全体の輝度の平均値を算出してもよいし、第１画像データの一部の領域の輝度の平均値を算出してもよい。

同様に、輝度算出部５１２は、輝度情報格納部１２２より輝度情報を読み出し、第２画像データの各画素の色成分を輝度に変換することで、第２画像データについて、輝度ヒストグラムを生成し、閾値算出部５３０に通知する。また、輝度算出部５１２は、第２画像データについて、輝度を示す情報（輝度の平均値）を算出して、画像特定部５１３に通知する。なお、輝度算出部５０２は、第２画像データ全体の輝度の平均値を算出してもよいし、第２画像データの一部の領域の輝度の平均値を算出してもよい。

同様に、輝度算出部５２２は、輝度情報格納部１２２より輝度情報を読み出し、第３画像データの各画素の色成分を輝度に変換することで、第３画像データについて、輝度ヒストグラムを生成し、閾値算出部５３０に通知する。また、輝度算出部５２２は、第３画像データについて、輝度を示す情報（輝度の平均値）を算出して、閾値算出部５３０に通知する。なお、輝度算出部５２２は、第３画像データ全体の輝度の平均値を算出してもよいし、第３画像データの一部の領域の輝度の平均値を算出してもよい。

閾値算出部５３０は決定部の一例である。閾値算出部５３０は、輝度算出部５０２、５１２、５２２よりそれぞれ通知された輝度ヒストグラムを集計し、第１乃至第３画像データ全体の平均輝度値（全体平均値）を算出する。また、閾値算出部５３０は、算出した全体平均値の所定時間ごとの遷移に基づいて、色成分の調整を行う画像データを特定するための特定用閾値を決定し、所定時間ごとに、画像特定部５０３、５１３、５２３に通知する。

画像特定部５０３、５１３、５２３は特定部の一例である。画像特定部５０３、５１３、５２３は、それぞれ、閾値算出部５３０より通知された特定用閾値と、輝度算出部５０２、５１２、５２２より通知された輝度を示す情報（輝度の平均値）とをそれぞれ比較する。これにより、画像特定部５０３、５１３、５２３では、色成分の調整を行う画像データを特定する。

具体的には、画像特定部５０３は、第１画像データの輝度の平均値が、特定用閾値以上であった場合、第１画像データを、色成分の調整を行う画像データとして特定する。一方、画像特定部５０３は、第１画像データの輝度の平均値が、特定用閾値未満であった場合、第１画像データを、色成分の調整を行う画像データとして特定しない（特定対象から外す）。

同様に、画像特定部５１３は、第２画像データの輝度の平均値が、特定用閾値以上であった場合、第２画像データを、色成分の調整を行う画像データとして特定する。一方、画像特定部５１３は、第２画像データの輝度の平均値が、特定用閾値未満であった場合、第２画像データを、色成分の調整を行う画像データとして特定しない。

同様に、画像特定部５２３は、第３画像データの輝度の平均値が、特定用閾値以上であった場合、第３画像データを、色成分の調整を行う画像データとして特定する。一方、画像特定部５２３は、第３画像データの輝度の平均値が、特定用閾値未満であった場合、第３画像データを、色成分の調整を行う画像データとして特定しない。

なお、画像特定部５０３、５１３、５２３において、第１乃至第３画像データの輝度の平均値が、いずれも特定用閾値以上であった場合、画像特定部５０３、５１３、５２３は、第１乃至第３画像データを、色成分の調整を行う画像データとして特定しない。第１乃至第３画像データの輝度の平均値が、いずれも特定用閾値以上となるのは、車両２００が走行している環境が変化した場合（例えば、夜間に郊外から市街地に入った場合等）である（つまり、車両後方の明るさが撮影方向に関わらず同じ場合である）。このような場合、第１乃至第３画像データの色成分の調整を行わなくても、第１乃至第３表示画像データ間で輝度差が発生する可能性は低いからである。

色調整部５０４、５１４、５２４は調整部の一例である。このうち、色調整部５０４は、画像特定部５０３において第１画像データが色成分の調整を行う画像データとして特定された場合、第１画像データについて色成分の調整を行い、表示画像生成部５０５に通知する。一方、色調整部５０４は、画像特定部５０３において第１画像データが色成分の調整を行う画像データとして特定されなかった場合、第１画像データを、直接、表示画像生成部５０５に通知する。なお、色調整部５０４では、輝度情報格納部１２２より輝度情報を読み出して色変換し、色変換することで得られた変換情報を用いて第１画像データの色成分の調整を行う。

同様に、色調整部５１４は、画像特定部５１３において第２画像データが色成分の調整を行う画像データとして特定された場合、第２画像データについて色成分の調整を行い、表示画像生成部５１５に通知する。一方、色調整部５１４は、画像特定部５１３において第２画像データが色成分の調整を行う画像データとして特定されなかった場合、第２画像データを、直接、表示画像生成部５１５に通知する。なお、色調整部５１４では、輝度情報格納部１２２より輝度情報を読み出して色変換し、色変換することで得られた変換情報を用いて第２画像データの色成分の調整を行う。

同様に、色調整部５２４は、画像特定部５２３において第３画像データが色成分の調整を行う画像データとして特定された場合、第３画像データについて色成分の調整を行い、表示画像生成部５２５に通知する。一方、色調整部５２４は、画像特定部５２３において第３画像データが色成分の調整を行う画像データとして特定されなかった場合、第３画像データを、直接、表示画像生成部５２５に通知する。なお、色調整部５２４では、輝度情報格納部１２２より輝度情報を読み出して色変換し、色変換することで得られた変換情報を用いて第３画像データの色成分の調整を行う。

表示画像生成部５０５、５１５、５２５は、それぞれ、色調整部５０４、５１４、５２４より通知された第１乃至第３画像データを、ＨＳＶ形式からＲＧＢ形式に変換することで、表示画像データを生成し、出力する。

＜視認性調整部に含まれる各部の処理の具体例＞
次に、視認性調整部１２１に含まれる各部のうち、輝度算出部５０２、５１２、５２２、閾値算出部５３０及び画像特定部５０３、５１３、５２３、色調整部５０４、５１４、５２４による処理の具体例について説明する。

（１）輝度算出部による処理の具体例
はじめに、輝度算出部による処理の具体例について説明する（ここでは輝度算出部５０２による処理の具体例について説明する）。図６は、輝度算出部による処理の具体例を示す図である。図６において画像データ６００は、輝度算出部５０２に通知される第１画像データの一例である。図６に示すように、画像データ６００にはｎ個の画素が含まれ、各画素は、それぞれ、Ｐ_１（Ｈ，Ｓ，Ｖ）〜Ｐ_ｎ（Ｈ，Ｓ，Ｖ）の色成分を有する。

また、図６において輝度情報６１０は、輝度算出部５０２が輝度情報格納部１２２より読み出した輝度情報の一例である。図６に示すように、輝度情報６１０には、各色成分（Ｈ値、Ｓ値、Ｖ値）に対応する輝度が定義されている。例えば、Ｈ値＝Ｈ_１００、Ｓ値＝Ｓ_１００、Ｖ値＝Ｖ_１００で表される色（＝"白色"）は、輝度が"１００"であることを示している。また、Ｈ値＝Ｈ_９０、Ｓ値＝Ｓ_９０、Ｖ値＝Ｖ_９０で表される色（＝"黄色"）は、輝度が"９０"であることを示している。

輝度算出部５０２は、画像データ６００に含まれる各画素の色成分を、輝度情報６１０に基づいて輝度に変換し、輝度ヒストグラムを生成するとともに、画像データ６００における輝度の平均値を算出する。図６において輝度ヒストグラム６２０は、画像データ６００について、各画素の色成分を輝度に変換し、各輝度の画素数を算出することで生成される。また、輝度ヒストグラム６２０に記載された"平均値"は、画像データ６００の輝度の平均値を示している。輝度算出部５０２は、例えば、画像データ６００が通知された場合、輝度ヒストグラム６２０を閾値算出部５３０に通知し、"平均値"を画像特定部５０３に通知する。

（２）閾値算出部及び画像特定部による処理の具体例
次に、閾値算出部５３０及び画像特定部５０３、５１３、５２３による処理の具体例について説明する。図７は、閾値算出部及び画像特定部による処理の具体例を示す図である。図７において、輝度ヒストグラム６２０、７１０、７２０は、撮像装置１１１〜１１３間で撮影タイミングが重複する第１乃至第３画像データの各画素の色成分が、輝度算出部５０２、５１２、５２２にて輝度に変換されることで得られた輝度ヒストグラムである。

なお、図７の例によれば、輝度算出部５０２に通知された第１画像データは、輝度算出部５１２、５２２にそれぞれ通知された第２及び第３画像データと比較して、高い輝度を有している。一方、輝度算出部５１２に通知された第２画像データと、輝度算出部５２２に通知された第３画像データとは、互いに同程度の低い輝度を有している。

閾値算出部５３０は、輝度ヒストグラム６２０、７１０、７２０を集計することで、輝度ヒストグラム７３０を生成する。そして、閾値算出部５３０は、第１乃至第３画像データ全体の輝度の平均値（全体平均値）を算出する。

閾値算出部５３０は、算出した全体平均値の所定時間の遷移を監視し、所定時間が経過するごとに、特定用閾値を決定する。決定した特定用閾値は、画像特定部５０３、５１３、５２３に通知され、次の所定時間において、画像特定部５０３、５１３、５２３により画像データの特定に用いられる。なお、閾値算出部５３０は、例えば、全体平均値の所定時間における時間平均に基づいて特定用閾値を決定する（例えば、全体平均値の所定時間における時間平均値に所定係数をかけ合わせた値を特定用閾値として決定する）。図７において、特定用閾値７００は、前回の所定時間において決定され、今回の所定時間において画像特定部５０３、５１３、５２３が用いる特定用閾値７００を表している。

具体的には、画像特定部５０３は、輝度算出部５０２より通知された第１画像データの輝度の平均値が、特定用閾値７００以上であるか否かを判定する。図７の例では、輝度算出部５０２より通知された第１画像データの輝度の平均値が、特定用閾値７００以上であるため（輝度ヒストグラム６２０参照）、画像特定部５０３では、当該第１画像データを、色成分の調整を行う画像データとして特定する。

同様に、画像特定部５１３は、輝度算出部５１２より通知された第２画像データの輝度の平均値が、特定用閾値７００以上であるか否かを判定する。図７の例では、輝度算出部５１２より通知された第２画像データの輝度の平均値が、特定用閾値７００未満であるため（輝度ヒストグラム７１０参照）、画像特定部５１３では、当該第２画像データを、色成分の調整を行う画像データとして特定しない。

同様に、画像特定部５２３は、輝度算出部５２２より通知された第３画像データの輝度の平均値が、特定用閾値７００以上であるか否かを判定する。図７の例では、輝度算出部５２２より通知された第３画像データの輝度の平均値が、特定用閾値７００未満であるため（輝度ヒストグラム７２０参照）、画像特定部５２３では、当該第３画像データを、色成分の調整を行う画像データとして特定しない。

図８は、特定用閾値の遷移を示す図であり、横軸は時間を、縦軸は輝度を表している。上述したとおり、閾値算出部５３０では、所定時間における全体平均値の遷移に基づいて（例えば、時間平均値に基づいて）、特定用閾値を決定する。このため、図８に示すように、特定用閾値は、所定時間ごとに変化する。１回目の所定時間において、特定用閾値にはデフォルトの値が用いられる。また、２回目の所定時間において、特定用閾値には、１回目の所定時間における全体平均値の遷移に基づいて決定された値が用いられる。

また、図８において、折れ線８０１〜８０３は、第１乃至第３画像データの輝度の平均値の時間変化を表している。図８によれば、時間帯８１０において、第１画像データの輝度の平均値が、特定用閾値以上となっている。このため、画像特定部５０３では、時間帯８１０において、第１画像データを、色成分の調整を行う画像データとして特定する。同様に、時間帯８２０において、第１画像データの輝度の平均値が、再び、特定用閾値以上となっている。このため、画像特定部５０３では、時間帯８２０において、第１画像データを、色成分の調整を行う画像データとして特定する。

なお、図８の例では、時間帯８３０においても、第１画像データの輝度の平均値が、特定用閾値以上となっている。しかしながら、時間帯８３０では、第２画像データの輝度の平均値及び第３画像データの輝度の平均値も、特定用閾値以上となっている。このため、時間帯８３０においては第１乃至第３画像データは、色成分の調整を行う画像データとして特定されない。

（３）色調整部による処理の具体例
次に、色調整部による処理の具体例について説明する（ここでは、色調整部５０４による処理の具体例について説明する）。図９は、色調整部による処理の具体例を示す図である。図９において輝度情報６１０は、色調整部５０４が輝度情報格納部１２２より読み出した輝度情報の一例である。なお、図９の輝度情報６１０に記載の色調整用閾値は、色調整部５０４が色成分の調整を行う際に用いる閾値であり、色調整部５０４に予め設定されているものとする。

色調整部５０４では、読み出した輝度情報６１０のうち、輝度が、所定輝度以上（色調整用閾値以上）となる色について、輝度が所定輝度未満（色調整用閾値未満）となるように、色変換を行い、変換情報９００を生成する。図９の例では、輝度が"６０"以上となる色（例えば、輝度が"１００"の"白色"、輝度が"９０"の"黄色"、輝度が"７０"の"シアン色"等）について色変換を行う。

これにより、例えば、輝度が"１００"の"白色"（Ｈ値＝Ｈ_１００、Ｓ値＝Ｓ_１００、Ｖ値＝Ｖ_１００で表される色）は、輝度が"６０"の色（Ｈ値＝Ｈ_１００α、Ｓ値＝Ｓ_１００α、Ｖ値＝Ｖ_１００αで表される色）に変換される。また、例えば、輝度が"９０"の"黄色"（Ｈ値＝Ｈ_９０、Ｓ値＝Ｓ_９０、Ｖ値＝Ｖ_９０で表される色）は、輝度が"５５"の色（Ｈ値＝Ｈ_９０α、Ｓ値＝Ｓ_９０α、Ｖ値＝Ｖ_９０αで表される色）に変換される。

なお、色調整部５０４では、元々の輝度が低い色（例えば、輝度が"４０"の"マゼンタ色"、輝度が"３０"の"赤色"等）については色変換を行わない。このように、色調整部５０４では、輝度の高い色について色変換を行い、輝度の低い色については色変換を行わない。

色調整部５０４では、輝度の高い色について色変換を行うことで生成した変換情報９００を用いて、画像データ６００（第１画像データ）の各画素の色成分を調整することで、第１画像データ９１０を生成する。このようにして色成分の調整がなされた第１画像データ９１０に基づいて表示される第１表示画像データは、色調整用閾値以上の色が含まれないため、第２表示画像データ及び第３表示画像データとの輝度差が抑えられることになる。この結果、第１表示画像データの輝度が高いことで、第２及び第３表示画像データの視認性が低下する、といった事態を回避することが可能となる。

また、このようにして色成分の調整がなされた第１画像データ９１０に基づいて表示される第１表示画像データの場合、元々の輝度が低い色成分については調整されていない。このため、輝度が低い物体（路面、看板、黒色の車両等）が認識しづらくなるといった事態を回避することができる。つまり、従来の一般的な方法で（例えば、表示装置１３１のバックライトを一律に減光する方法で）第１表示画像データを表示する場合と比較して、輝度が低い物体の視認性が向上する。

＜表示画像データ＞
次に、色調整部５０４、５１４、５２４により画像データの各画素の色成分が調整された場合に生成される第１乃至第３表示画像データについて説明する。図１０は、第１乃至第３表示画像データの一例を示す図である。図１０において、第１画像データ１００１は、車両２００の中央後方の車両がヘッドライトをハイビームにしたことで、輝度が上がった状態を示している。一方、第２画像データ１００２、第３画像データ１００３は、車両２００の中央後方の車両がヘッドライトをハイビームにしたことの影響を受けなかったため、輝度に変化がなかったことを示している。

右側の矢印で示す第１表示画像データ１０２１乃至第３表示画像データ１０２３は、このような状態で表示される表示画像データを示している。なお、図１０の例では、比較対象として、一般的な方法（表示装置１３１のバックライトを一律に減光する方法で）表示した場合の第１表示画像データ１０１１乃至第３表示画像データ１０１３を、左側の矢印で示している。

具体的には、第１表示画像データ１０１１は、第２表示画像データ１０１２及び第３表示画像データ１０１３との輝度差を抑えるために、表示装置１３１のバックライトを一律に減光して表示した様子を示している。図１０に示すように、一般的な方法によれば、第１表示画像データ１０１１に含まれるヘッドライトの部分の輝度は、第２表示画像データ１０１２及び第３表示画像データ１０１３の全体の輝度と概ね等しくなっている。

しかしながら、図１０に示すように、一般的な方法の場合、ヘッドライト以外の部分の輝度が著しく低くなるため、第１表示画像データ１０１１において、ヘッドライト以外の部分が認識しづらくなっている。

一方、第１表示画像データ１０２１は、色調整部５０４により第１画像データについて色成分の調整がなされた場合に表示される表示画像データを示している。色調整部５０４が色成分の調整をすることで、第１表示画像データ１０２１のヘッドライトの部分の輝度は、第２表示画像データ１０２２の輝度及び第３表示画像データ１０２３の輝度と概ね等しくなっている。つまり、第１表示画像データ１０２１と、第２表示画像データ１０２２及び第３表示画像データ１０２３との輝度差が抑えられている。このため、第１画像データ１００１、第２画像データ１００２、第３画像データ１００３をそのまま表示した場合と比較して、視認性が向上する。

加えて、第１表示画像データ１０２１の場合、ヘッドライト以外の部分の輝度は変化していないため、第１表示画像データ１０１１を表示した場合と比較して、ヘッドライト以外の部分が認識しやすくなっている。

＜視認性調整部による視認性調整処理の流れ＞
次に、視認性調整部１２１による視認性調整処理の流れについて説明する。図１１は、視認性調整部による視認性調整処理の流れを示すフローチャートである。カメラモニタリングシステム１００が起動することで、図１１に示す視認性調整処理が開始される。

ステップＳ１１０１において、閾値算出部５３０は、特定用閾値としてデフォルトの値を、画像特定部５０３、５１３、５２３にそれぞれ設定する。ステップＳ１１０２において、画像取得部５０１、５１１、５２１は、それぞれ、第１乃至第３画像データを取得する。

ステップＳ１１０３において、輝度算出部５０２、５１２、５２２は、それぞれ輝度情報格納部１２２より輝度情報６１０を読み出し、第１乃至第３画像データの各画素の色成分を輝度に変換することで、輝度ヒストグラム６２０、７１０、７２０を生成する。また、輝度算出部５０２、５１２、５２２は、それぞれ、第１乃至第３画像データの輝度の平均値を算出する。

ステップＳ１１０４において、画像特定部５０３、５１３、５２３は、それぞれ、第１乃至第３画像データの輝度の平均値と、特定用閾値とを対比することで、色成分の調整を行う画像データを特定する。ステップＳ１１０４において、第１乃至第３画像データのいずれも、色成分の調整を行う画像データとして特定されなかった場合には（ステップＳ１１０４においてＮｏの場合には）、ステップＳ１１０６に進む。一方、ステップＳ１１０４において、第１乃至第３画像データのいずれかが、色成分の調整を行う画像データとして特定された場合には（ステップＳ１１０４においてＹｅｓの場合には）、ステップＳ１１０５に進む。

ステップＳ１１０５では、色調整部５０４、５１４、５２４のいずれかが、特定された画像データについて色成分の調整を行う。例えば、第１画像データが特定された場合には、色調整部５０４が、第１画像データの各画素の色成分を調整する。また、第２画像データが特定された場合には、色調整部５１４が、第２画像データの各画素の色成分を調整する。更に、第３画像データが特定された場合には、色調整部５２４が、第３画像データの各画素の色成分を調整する。

ステップＳ１１０６において、表示画像生成部５０５、５１５、５２５は、第１乃至第３画像データまたは色成分の調整がなされた第１乃至第３画像データに基づいて、第１乃至第３表示画像データを生成し、出力する。

ステップＳ１１０７において、閾値算出部５３０は、前回、特定用閾値を変更してから所定時間が経過したか否かを判定する。ステップＳ１１０７において、所定時間が経過していないと判定した場合には（ステップＳ１１０７においてＮｏの場合には）、ステップＳ１１０９に進む。

一方、ステップＳ１１０７において、所定時間が経過したと判定した場合には（ステップＳ１１０７においてＹｅｓの場合には）、ステップＳ１１０８に進む。ステップＳ１１０８において、閾値算出部５３０は、所定時間が経過するまでの間の全体平均値の遷移に基づいて特定用閾値を決定し、決定した特定用閾値を画像特定部５０３、５１３、５２３にそれぞれ設定する。

ステップＳ１１０９において、画像取得部５０１、５１１、５２１は、視認性調整処理を終了するか否かを判定する。ステップＳ１１０９において、視認性調整処理を終了しないと判定した場合には（ステップＳ１１０９においてＮｏの場合には）、ステップＳ１１０２に戻る。一方、ステップＳ１１０９において、視認性調整処理を終了すると判定した場合には（ステップＳ１１０９においてＹｅｓの場合には）、視認性調整処理を終了する。

＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る表示制御装置１２０では、
・複数の撮像装置それぞれにおいて撮影された画像データの各画素の色成分を輝度に変換し、画像データごとに輝度の平均値を算出する。
・複数の撮像装置間で、撮影タイミングが重複する画像データのうち、算出した輝度の平均値が特定用閾値以上となる画像データを特定する。
・特定した画像データの各画素の色成分を調整するための変換情報を色成分ごとに算出し、算出した変換情報を用いて、特定した画像データの各画素の色成分を調整する。
・各画素の色成分が調整された画像データに基づき表示画像データを生成し、表示装置に出力する。

これにより、第１の実施形態に係る表示制御装置によれば、カメラモニタリングシステムにおいて、撮影された複数の画像を表示する際に、隣り合う画像間で輝度差を抑えることができる。また、輝度が低い物体が認識しづらくなるといった事態を回避することができる。この結果、第１の実施形態に係る表示制御装置によれば、視認性を向上させることができる。

［第２の実施形態］
上記第１の実施形態では、色調整用閾値が、色調整部に予め設定されているものとして説明した。これに対して、第２の実施形態では、ユーザが手動で色調整用閾値を設定する場合について説明する。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。

＜表示制御装置の視認性調整部の機能構成＞
はじめに、表示制御装置１２０の視認性調整部の機能構成について説明する。図１２は、第２の実施形態に係る視認性調整部の機能構成の一例を示す図である。図５との相違点は、ユーザ設定部１２１０が配されている点である。

ユーザ設定部１２１０は受付部の一例である。ユーザ設定部１２１０は、ユーザから色調整用閾値の入力を受け付けると、色調整部５０４、５１４、５２４に、色調整用閾値を設定する。これにより、色調整部５０４、５１４、５２４は、それぞれ、ユーザが入力した色調整用閾値に基づいて、色成分の調整を行うことができる。なお、ユーザ設定部１２１０では、ユーザからの色調整用閾値の入力を、任意のタイミングで受け付けるものとする。

＜まとめ＞
以上の説明から明らかなように、第２の実施形態に係る表示制御装置によれば、ユーザは、任意のタイミングで色調整用閾値を入力することができ、特定された画像データについて色成分の調整をする際の変換情報を任意のタイミングで変更することができる。

［第３の実施形態］
上記第１及び第２の実施形態では、色調整部が色成分の調整を行うことで、複数の画像を表示する際の視認性を向上させる場合について説明した。これに対して、第３の実施形態では、更に、表示装置のバックライトを制御することで視認性を向上させる。

＜カメラモニタリングシステムのシステム構成＞
図１３は、第３の実施形態に係るカメラモニタリングシステムのシステム構成の一例を示す図である。図１において説明したカメラモニタリングシステム１００との相違点は、表示制御装置１３１０が視認性調整部１２１に加えて、バックライト制御部１３１１を有している点である。

バックライト制御部１３１１は、表示装置１３１、１３２、１３３のバックライトを制御する。例えば、視認性調整部１２１の画像特定部５０３により、第１画像データが、色成分の調整を行う画像データとして特定された場合、バックライト制御部１３１１では、表示装置１３１に対して、第１バックライト制御信号を出力する。これにより、バックライト制御部１３１１では、表示装置１３１のバックライトを制御することができる。なお、バックライト制御部１３１１による制御は、表示装置１３１全体に対して行ってもよいし、表示装置１３１の一部の領域に対して行ってもよい。

同様に、視認性調整部１２１の画像特定部５１３により、第２画像データが、色成分の調整を行う画像データとして特定された場合、バックライト制御部１３１１では、表示装置１３２に対して、第２バックライト制御信号を出力する。これにより、バックライト制御部１３１１では、表示装置１３２のバックライトを制御することができる。なお、バックライト制御部１３１１による制御は、表示装置１３２全体に対して行ってもよいし、表示装置１３２の一部の領域に対して行ってもよい。

同様に、視認性調整部１２１の画像特定部５２３により、第３画像データが、色成分の調整を行う画像データとして特定された場合、バックライト制御部１３１１では、表示装置１３３に対して、第３バックライト制御信号を出力する。これにより、バックライト制御部１３１１では、表示装置１３３のバックライトを制御することができる。なお、バックライト制御部１３１１による制御は、表示装置１３３全体に対して行ってもよいし、表示装置１３３の一部の領域に対して行ってもよい。

＜まとめ＞
以上の説明から明らかなように、第３の実施形態に係る表示制御装置では、視認性調整部１２１による色成分の調整に加えて、バックライト制御部１３１１が、表示装置１３１、１３２、１３３のバックライトを制御する。

これにより、第３の実施形態によれば、複数の表示装置により表示される表示画像データの輝度を、より均質化することができる。

［第４の実施形態］
上記第１乃至第３の実施形態では、複数の表示装置の輝度を均質化することで、視認性を向上させる場合について説明した。これに対して、第４の実施形態では、更に、複数の表示装置と、他の装置との間で輝度差を設けることで、複数の表示装置の視認性を向上させる場合について説明する。

図１４は、第４の実施形態に係るカメラモニタリングシステムのシステム構成の一例を示す図である。図１３に示したカメラモニタリングシステム１３００との相違点は、表示制御装置１４１０が、車両２００の車載ネットワークであるＣＡＮ（Controller Area Network）に接続され、ギア情報を取得する点である。また、図１３に示したカメラモニタリングシステム１３００との相違点は、表示制御装置１４１０が、ナビゲーション装置１４２０と接続されている点である。

表示制御装置１４１０のバックライト制御部１４１１は、上記第３の実施形態において説明した機能に加えて、ＣＡＮよりギア情報（Ｒ）を取得した場合に、ナビゲーション装置１４２０に対して、第４バックライト制御信号を送信する機能を有する。

これにより、バックライト制御部１４１１では、車両２００がバックする際、表示装置１３１、１３２、１３３の輝度と比較して、ナビゲーション装置１４２０の輝度を低くすることができる。

図１５は、バックライト制御部によりバックライトが制御されたナビゲーション装置を示す図である。図１５に示すように、車両２００がバックする際、ナビゲーション装置１４２０の輝度を低くすることで、相対的に、表示装置１３１、１３２、１３３の視認性を向上させることができる。このように、第４の実施形態に係るカメラモニタリングシステム１４００によれば、運転状況を加味し、運転者によって注視されると予測されるタイミングで、表示装置１３１、１３２、１３３の視認性を向上させることができる。

［その他の実施形態］
上記第１乃至第４の実施形態において、色調整部５０４は、色調整用閾値以上となる色について、色変換を行い、変換情報９００を生成するものとして説明した。しかしながら、色変換を行う対象はこれに限定されず、例えば、色調整用閾値以上となる色であっても、例えば、信号機の色に合致する色については、色変換を行う対象から除外するようにしてもよい。

また、上記第１乃至第４の実施形態では、色調整用閾値が固定の場合と、可変（手動）の場合とについて説明したが、色調整用閾値は、可変（自動）であってもよい。

また、上記第１乃至第４の実施形態において、色調整部５０４により色変換された後の色は、色変換される前の各色の輝度の順位が維持された色であるとする。色変換によって輝度の大小関係が変化しないようにするためである。

また、上記第１乃至第４の実施形態では、輝度を下げるように色変換を行う場合について説明したが、輝度を上げるように色変換を行うようにしてもよい。つまり、色成分の調整には、輝度を下げるための調整と、輝度を上げるための調整とが含まれるものとする。

また、上記第１乃至第４の実施形態では、表示制御装置１２０に３台の表示装置１３１、１３２、１３３を接続するものとして説明したが、表示制御装置１２０に接続する表示装置の数は３台に限定されず、２台以上の複数台であれば何台であってもよい。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：カメラモニタリングシステム
１１１、１１２、１１３ ：撮像装置
１２０ ：表示制御装置
１２１ ：視認性調整部
１３１、１３２、１３３ ：表示装置
５０１、５１１、５２１ ：画像取得部
５０２、５１２、５２２ ：輝度算出部
５０３、５１３、５２３ ：画像特定部
５０４、５１４、５２４ ：色調整部
５０５、５１５、５２５ ：表示画像生成部
５３０ ：閾値算出部
６１０ ：輝度情報
７００ ：特定用閾値
９００ ：変換情報
１２００ ：視認性調整部
１２１０ ：ユーザ設定部
１３００ ：カメラモニタリングシステム
１３１０ ：表示制御装置
１３１１ ：バックライト制御部
１４００ ：カメラモニタリングシステム
１４１１ ：バックライト制御部
１４２０ ：ナビゲーション装置

Claims (9)

1. 複数の撮像装置に接続される表示制御装置であって、
   前記複数の撮像装置それぞれにおいて撮影された撮影画像の各画素の色成分に基づいて、撮影画像の輝度を示す情報を算出する算出部と、
   前記複数の撮像装置間で撮影タイミングが重複する撮影画像のうち、前記輝度を示す情報が所定の閾値以上となる撮影画像を特定する特定部と、
   前記特定した撮影画像の各画素の色成分を調整するための変換情報を、色成分ごとに算出し、算出した変換情報を用いて、前記特定した撮影画像の各画素の色成分を調整する調整部と
   を有することを特徴とする表示制御装置。
2. 前記算出部は、前記撮影画像の各画素の色成分を、色成分ごとに予め定義された輝度に変換し、前記撮影画像の各画素の輝度の平均値を算出することで、前記撮影画像の輝度を示す情報を算出することを特徴とする請求項１に記載の表示制御装置。
3. 前記複数の撮像装置間で撮影タイミングが重複する撮影画像の輝度の全体平均値を算出し、算出した全体平均値の所定時間における遷移に基づいて、所定時間ごとに前記所定の閾値を決定する決定部を更に有し、
   前記特定部は、所定時間ごとに決定される前記所定の閾値に基づいて、前記撮影画像を特定することを特徴とする請求項２に記載の表示制御装置。
4. 前記特定部は、
   前記複数の撮像装置間で撮影タイミングが重複する撮影画像の前記輝度を示す情報が、いずれも、前記所定の閾値以上となった場合には、当該撮影画像を、特定する対象から外すことを特徴とする請求項１乃至３のいずれか１項に記載の表示制御装置。
5. 前記調整部は、前記特定した撮影画像の各画素の色成分のうち、一部の色成分が調整されるように前記変換情報を算出することを特徴とする請求項１乃至４のいずれか１項に記載の表示制御装置。
6. 前記調整部は、前記特定した撮影画像の各画素の色成分のうち、設定された所定輝度以上の輝度を有する色成分が調整されるように前記変換情報を算出することを特徴とする請求項１乃至４のいずれか１項に記載の表示制御装置。
7. 所定輝度の入力を受け付ける受付部を更に有し、
   前記調整部は、前記特定した撮影画像の各画素の色成分のうち、前記受付部が入力を受け付けた前記所定輝度以上の輝度を有する色成分が調整されるように前記変換情報を算出することを特徴とする請求項６に記載の表示制御装置。
8. 複数の撮像装置に接続される表示制御装置の表示制御方法であって、
   前記複数の撮像装置それぞれにおいて撮影された撮影画像の各画素の色成分に基づいて、撮影画像の輝度を示す情報を算出する算出工程と、
   前記複数の撮像装置間で撮影タイミングが重複する撮影画像のうち、前記輝度を示す情報が所定の閾値以上となる撮影画像を特定する特定工程と、
   前記特定した撮影画像の各画素の色成分を調整するための変換情報を、色成分ごとに算出し、算出した変換情報を用いて、前記特定した撮影画像の各画素の色成分を調整する調整工程と
   を有することを特徴とする表示制御方法。
9. 車両の後方を撮影する複数の撮像装置と、
   前記撮像装置で撮影された画像データを処理する表示制御装置と、
   前記表示制御装置に接続された表示装置と、を有するカメラモニタリングシステムであって、
   前記表示制御装置は、
   前記複数の撮像装置それぞれにおいて撮影された撮影画像の各画素の色成分に基づいて、撮影画像の輝度を示す情報を算出する算出部と、
   前記複数の撮像装置間で撮影タイミングが重複する撮影画像のうち、前記輝度を示す情報が所定の閾値以上となる撮影画像を特定する特定部と、
   前記特定した撮影画像の各画素の色成分を調整するための変換情報を、色成分ごとに算出し、算出した変換情報を用いて、前記特定した撮影画像の各画素の色成分を調整する調整部と
   を有することを特徴とするカメラモニタリングシステム。