JP2022034720A - 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム - Google Patents

Abstract

【課題】車載カメラの露光を制御し、撮像により得た画像を現像処理、画像調整及びＨＤＲ合成する。【解決手段】情報処理装置は、イメージセンサが出力した撮像データを処理部が現像することにより生成された第１の画像データから第１の物体を認識する認識部と、前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき前記第１の画像データの色調を補正したデータである第２の画像データを生成する前記処理部とを具備する。【選択図】図４

Description

本開示は、車載カメラの露光を制御し、撮像により得た画像を現像処理、画像調整及びＨＤＲ合成するための処理を実施する情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラムに関する。

自動運転やＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の実現のために、他の車両や人、レーンなど、さまざまな物体を検出する必要があり、また、晴天時の昼間に限らず、雨天時や夜間などさまざまな環境で物体を検出する必要がある。このため、カメラ、ミリ波レーダー、レーザーレーダーなど、さまざまな外界認識センサが車両に搭載され始めている。

例えば、車載カメラによる撮像画像において認識領域よりも遠方の明るさを測定し、時間差をもって測定された明るさを比較することで明るさの変化を検出し、明るさの変化が認識領域で生じるタイミングを車両の走行速度に基づき予測し、予測したタイミングで車載カメラの露出制御を行う露出制御装置について提案がなされている（特許文献１を参照のこと）。

また、ターゲットを撮像範囲に配置した状態での車載カメラによる撮像画像からターゲットを検出し、検出した撮像画像におけるターゲットの輝度を測定し、測定した輝度をターゲットの認識に適した目標値とするための露出制御値を算出する車載カメラの露出制御値の決定方法について提案がなされている（特許文献２を参照のこと）。

また、所定の基準露出値でオートブラケティング撮影を行なった後、得られた複数個の画像データから適正露出又は適正露出に最も近い画像データを選択して新たな基準露出値とする、オートブラケティング撮影の機能を有する車載監視カメラの露出制御方法について提案がなされている（特許文献３を参照のこと）。

特開２０１２－１３４８４５号公報 特開２０１２－１３８６８８号公報 特開２０１２－１３８６８８号公報

本明細書で開示する技術の目的は、車載カメラの露光を制御し、撮像により得た画像を現像処理、画像調整及びＨＤＲ合成するための処理を実施する情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラムを提供することにある。

本開示の一実施形態に係る情報処理装置は、
イメージセンサが出力した撮像データを処理部が現像することにより生成された第１の画像データから第１の物体を認識する認識部と、
前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき前記第１の画像データの色調を補正したデータである第２の画像データを生成する前記処理部と
を具備する。

これにより、第１の画像データの第１の物体の色調に拘わらず、第１の物体の色調に特化した第１の補正量に基づき生成された第２の画像データを用いて、第１の物体の色調を高精度に認識できる。

前記認識部は、前記第１の画像データから前記第１の物体と異なる第２の物体を認識し、
前記処理部は、前記第２の物体の諧調を検波し、前記諧調を補正するための第２の補正量を算出し、前記第２の補正量に基づき前記第１の画像データの諧調を補正したデータであるさらに別の第２の画像データを生成する。

これにより、第１の画像データの第２の物体の諧調に拘わらず、第２の物体の諧調に特化した第２の補正量に基づき生成されたさらに別の第２の画像データを用いて、第２の物体の諧調を高精度に認識できる。

前記処理部は、前記複数の異なる第２の画像データを合成する場合の画像合成比を算出し、前記画像合成比に基づき前記複数の異なる第２の画像データを合成した合成画像を生成する。

これにより、第１の物体の色調及び第２の物体の諧調を高精度に認識できる。

情報処理装置は、前記第１の補正量及び前記第２の補正量に基づき前記イメージセンサの撮像制御を行う制御部をさらに具備する。

これにより、制御部は、処理部が得た補正値をフィードバックして、イメージセンサの撮像制御（例えば、露光制御）を行う。従ってこれ以降、イメージセンサはより適切な撮像データを撮像できる。

情報処理装置は、
前記第１の物体の前記色調を検波し、検波値が所定範囲外であると判定すると、前記第１の物体の明滅を判定する判定部をさらに具備し、
前記処理部は、前記判定結果に基づき算出された前記第１の補正量を得る。

これにより、検波値が所定範囲外である場合には、判定部の第１の物体の明滅を判定結果に基づき、補正値が算出される。これにより、第１の物体の色調に拘わらず、第１の物体の色調に特化した第１の補正量に基づき生成された第２の画像データを用いて、第１の物体の色調を高精度に認識できる。

情報処理装置は、前記判定結果に基づき算出された前記第１の補正量に基づき前記イメージセンサの撮像制御を行う制御部をさらに具備する。
制御部は、処理部が得た補正値をフィードバックして、イメージセンサの撮像制御（例えば、露光制御）を行う。従ってこれ以降、イメージセンサはより適切な撮像データを撮像できる。

前記イメージセンサは移動体に搭載して用いられ、
前記第１の物体は信号機である。

これにより、第１の画像データの信号機の色調に拘わらず、信号機の色調に特化した第１の補正量に基づき生成された第２の画像データを用いて、信号機の色調（赤、黄、青）を高精度に認識できる。移動体が自動運転車両である場合、自動運転車両の進行や停止の判断を適切に行うことを図れる。

前記認識部は、前記イメージセンサが出力した、異なる撮像制御で同時に撮像された複数の異なる撮像データを前記処理部が現像することにより生成された複数の異なる前記第１の画像データから、前記第１の物体と、前記第１の物体と異なる第２の物体とを、それぞれ認識し、
前記処理部は、
前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき、前記第１の物体を認識するのに用いた１個の第１の画像データの色調を補正したデータである、１個の第２の画像データを生成し、
前記第２の物体の諧調を検波し、前記諧調を補正するための第２の補正量を算出し、前記第２の補正量に基づき、前記第２の物体を認識するのに用いた別個の第１の画像データの諧調を補正したデータである、別個の第２の画像データを生成する

これにより、異なる撮像制御で同時に撮像された複数の異なる撮像データを前記処理部が現像することにより生成された複数の異なる前記第１の画像データの、第1の物体の色調及び第２の物体の諧調に拘わらず、第１の物体の色調に特化した第１の補正量に基づき生成された１個の第１の画像データを用いて、第１の物体の色調を高精度に認識できる。さらに、第２の物体の諧調に特化した第２の補正量に基づき生成された別個の第２の画像データを用いて、第２の物体の諧調を高精度に認識できる。

本開示の一実施形態に係る情報処理方法は、
イメージセンサが出力した撮像データを現像することにより生成された第１の画像データから第１の物体を認識し、
前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき前記第１の画像データの色調を補正したデータである第２の画像データを生成する。

本開示の一実施形態に係る撮像装置は、
イメージセンサと、
前記イメージセンサが出力した撮像データを処理部が現像することにより生成された第１の画像データから第１の物体を認識する認識部と、
前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき前記第１の画像データの色調を補正したデータである第２の画像データを生成する前記処理部と
を具備する。

本開示の一実施形態に係る移動体装置は、
移動体と、
前記移動体に搭載されたイメージセンサと、
前記イメージセンサが出力した撮像データを処理部が現像することにより生成された第１の画像データから第１の物体を認識する認識部と、
前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき前記第１の画像データの色調を補正したデータである第２の画像データを生成する前記処理部と
前記第２の画像データを認識した結果に基づいて前記移動体における動作を制御する動作制御部と
を具備する。

本開示の一実施形態に係るコンピュータプログラムは、
イメージセンサが出力した撮像データを処理部が現像することにより生成された第１の画像データから第１の物体を認識する認識部と、
前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき前記第１の画像データの色調を補正したデータである第２の画像データを生成する前記処理部
としてコンピュータを機能させるようにコンピュータ可読形式で記述された。

本明細書で開示する技術によれば、車載カメラの露光を制御し、撮像により得た画像を現像処理、画像調整及びＨＤＲ合成するための処理を実施する情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラムを提供することができる。

なお、本明細書に記載された効果は、あくまでも例示であり、本開示の効果はこれに限定されるものではない。また、本開示が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

車両制御システム１００の概略的な機能の構成例を示すブロック図である。 第１の実施形態に係る撮像装置２００の機能的構成例を模式的に示した図である。 撮像装置における一般的な露光制御ループを模式的に示した図である。 本明細書で開示する技術を適用した露光制御ループを模式的に示した図である。 撮像装置２００の基本的な動作手順を示したフローチャートである。 第２の実施形態に係る撮像装置６００の機能的構成例を模式的に示した図である。 撮像装置６００の基本的な動作手順を示したフローチャートである。 図４に示した撮像装置２００においてＨＤＲ合成処理するための基本的な動作手順を示したフローチャートである。 撮像装置２００の動作フローの第１の実施例を概略的に示す。 撮像装置２００の動作フローの第２の実施例を概略的に示す。 ＨＤＲ合成画像の一例を示す。 ＨＤＲ合成画像の一例を示す。 ＨＤＲ合成画像の一例を示す。 ＨＤＲ合成画像の一例を示す。 ＨＤＲ合成画像の一例を示す。 ＨＤＲ合成画像の一例を示す。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。

なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。

車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。

なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。

入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。

データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。

例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、偏光カメラ及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダー、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー等からなる。

さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である

例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又は、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、又は、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）等により、車内機器１０４と有線通信を行う。

さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ Ｔｏ Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Ｍａｃｈｉｎｅ Ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ ｔｏ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ ｔｏ Ｈｏｍｅ）の通信、及び、歩車間（Ｖｅｈｉｃｌｅ ｔｏ Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。

車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。

駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ Ｂｒａｋｅ Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｓｔａｂｉｌｉｔｙ Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を備える。

ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。

ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。

記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。

自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。

検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。

車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。

車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。

状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。

マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。

状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ Ｇｒｉｄ Ｍａｐ）とされる。

認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。

状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。

予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する

動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。

動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。

緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。

加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

自動運転やＡＤＡＳの実現に向けて、より高精度な外界認識を行うために、カメラ、ミリ波レーダー、レーザーレーダーなどさまざまな外界認識センサが車両に搭載され始めている。各センサは、検出原理にも依拠して、得手不得手がある。例えば、可視光を撮影するカメラは暗所を苦手とし、電波の反射を検出するレーダーは人や動物などの電波を反射し難い物体を苦手とする。また、２以上のセンサを組み合わせるフュージョン技術を利用することによって、各センサの特徴を生かして、より高精度な外界認識を実現することができる。

一般的なデジタルカメラが撮影した画像のビューイング若しくは観賞を目的とするのに対し、車載カメラは衝突回避やレーン制御といった自車両の自動運転やＡＤＡＳの実現を目的とするものである。したがって、車載カメラで撮影した画像は、撮影した風景を忠実に再現して人が見て違和感がないものとするよりも、むしろ車両や歩行者を始めとする障害物や路面など特定の物体を高い精度で画像認識できる画像であることが好ましい。さらに、自動運転車両の進行や停止の判断に係わるため、信号機の赤、黄、青の信号灯の色相を高い精度で画像認識できる画像であることが好ましい。

画像認識の精度を向上するには、認識対象となる物体を認識し易くなる露光条件で撮影を行う必要がある。例えば、特許文献２には、ターゲットを撮像範囲に配置した状態での車載カメラによる撮像画像からターゲットを検出し、検出した撮像画像におけるターゲットの輝度を測定し、測定した輝度をターゲットの認識に適した目標値とするための露出制御値を算出する車載カメラの露出制御値の決定方法が開示されている。しかしながら、撮影画像中のターゲットが存在し得る範囲からターゲットが有するターゲットパターンを走査して、ターゲットパターンを有しない物体に合わせて露出制御を行うことができない。また、所定の範囲から外れた物体に合わせて露光制御を行うこともできない。

そこで、本明細書では、カメラで撮影した画像の認識結果に基づいて、認識対象とする物体毎に適した自動露光制御、現像処理、画像調整及びＨＤＲ合成を実施することによって、物体毎に認識精度が高い画像を得る技術について、以下で提案する。

第１の実施形態

図２には、本明細書で開示する技術の第１の実施形態に係る撮像装置２００の機能的構成例を模式的に示している。撮像装置２００は主に車両に搭載して用いられることを想定している。撮像装置２００は、車両制御システム１００内のデータ取得部１０２が備える撮像装置の１つに相当する。図示の撮像装置２００は、レンズ２０１と、イメージセンサ２０２と、信号処理部２０３と、認識部２０４と、制御部２０５を備えている。

イメージセンサ２０２は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｙｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｏｐｌｅｄ Ｄｅｖｉｃｅ）などの素子を用いて構成され、レンズ２０１によって撮像面に結像された画像を撮像する。

信号処理部２０３は、イメージセンサ２０２から出力されるＲＡＷデータに対する「現像」及び「ＨＤＲ合成」とも呼ばれる処理を実施する。例えば、デモザイク、ノイズリダクション、ホワイトバランス調整、ガンマ補正、センサ分光補正、エッジ補正、ＹＣ変換などが現像処理に該当する。

認識部２０４は、信号処理部２０３による処理後の撮像画像に含まれる物体を認識する。認識部２０４は、周辺車両や路面及び信号機といった、自動運転やＡＤＡＳを実現するためには認識若しくは検出することが必須となる物体を認識対象とする。もちろん、認識部２０４は、バイクや自転車、歩行者、道路標識、レーン、中央分離帯、ガードレール、街路樹や街灯など他の物体をさらに認識対象に取り入れることもできる。ドライバなど自車両の搭乗者のマニュアル操作に応じて、認識対象となる物体を追加、削除、変更できるようにしてもよい。また、撮像装置２００が車載カメラ以外に用いられる場合には、用途に応じて認識対象となる物体を追加、削除、変更できるようにしてもよい。認識部２０４は、機械学習や深層学習のモデルや、人工知能（ＡＩ）を利用して、物体を認識してもよい。

制御部２０５は、イメージセンサ２０２の撮像画像のうち、認識部２０４が認識した物体毎の領域の状態に基づいて、イメージセンサ２０２における撮像動作や、信号処理部２０３における信号処理を制御する。

制御部２０５では、車両や路面及び信号機といった、自動運転やＡＤＡＳの実現のために認識若しくは検出が必須となる物体を高精度で認識できるようにするために、イメージセンサ２０２や信号処理部２０３に対する制御を行う。したがって、制御部２０５による制御下においてイメージセンサ２０２で撮影され且つ信号処理部２０３で現像処理された画像は、後段の車両制御システム１００内で行われる認識処理において、車両や路面及び信号機などの特定の物体を認識し易くなるように画質調整された画像となる。このため、撮像装置２００から車両制御システム１００に出力される画像は、元の風景を忠実に再現したものとは限らず、人がビューイング若しくは観賞した際には違和感を覚えさせることもある。

後段の車両制御システム１００では、制御部２０５による制御下においてイメージセンサ２０２で撮影され且つ信号処理部２０３で現像処理された画像を認識処理することにより、高精度若しくは高い認識率で周辺車両や路面及び信号機を認識することができる。そして、車両制御システム１００は、このような画像認識結果に基づいて、例えば、自動車間制御（ＡＣＣ）、車線逸脱警報（ＬＤＷ）、レーンキープアシスト（ＬＫＡ）、自動緊急ブレーキ（ＡＥＢ）、死角検知（ＢＳＤ）といった、自動運転又はＡＤＡＳのための車両制御を実施し、さらにはアクティブコーナリングライト（ＡＣＬ）、ブレーキアクチュエータ（ＢＲＫ）、操舵装置（ＳＴＲ）など各駆動部の駆動を制御する。これによって、自車両の安全運転に寄与することができる。

図９は、撮像装置２００の動作フローの第１の実施例を概略的に示す。

イメージセンサ２０２は、撮像した撮像データを信号処理部２０３に入力する（ステップＳ１１）。信号処理部２０３は、撮像データを現像して第１の画像データ（物体認識用画像データ）を生成して認識部２０４に入力する（ステップＳ１２）。認識部２０４は、第１の画像データ（物体認識用画像データ）から対象となる被写体（車両、路面、信号機等）を検出して信号処理部２０３に通知する（ステップＳ１３）。信号処理部２０３は、認識部２０４からの情報に基づき対象となる被写体（車両、路面、信号機等）に特化した補正値を得、画質調整（露光調整、ノイズ除去、エッジ補正、諧調補正、色調補正、ＨＤＲ合成）する。これにより、信号処理部２０３は、現像した第１の画像データ（物体認識用画像データ）を補正したデータである、第２の画像データ（車両制御システム１００に出力されるセンシング向け画像データ）を生成する（ステップＳ１４）。制御部２０５は、信号処理部２０３が得た補正値をフィードバックして、イメージセンサ２０２の撮像制御（例えば、露光制御）を行う（ステップＳ１５）。従ってこれ以降、イメージセンサ２０２はより適切な撮像データを撮像できる。

図１０は、撮像装置２００の動作フローの第２の実施例を概略的に示す。

イメージセンサ２０２は、撮像した複数の異なる撮像データを信号処理部２０３に入力する（ステップＳ２１）。複数の異なる撮像データは、被写体（車両、路面、信号機等）に特化してそれぞれ異なる露光値等で同時に撮像された、被写体（車両、路面、信号機等）に特化した複数の異なる撮像データである。信号処理部２０３は、複数の異なる撮像データを現像して複数の異なる第１の画像データ（物体認識用画像データ）を生成して認識部２０４に入力する（ステップＳ２２）。複数の異なる画像データは、例えば、遠くの被写体を認識しやすい画像データ、ノイズを除去して夜間の被写体を認識しやすい画像データ、露光時間を長くして信号の灯色を認識しやすい画像データ、トンネル入り口等の明暗のコントラストが高い場合の被写体を認識しやすい画像データ、等である。認識部２０４は、被写体（車両、路面、信号機等）に特化した複数の異なる第１の画像データ（物体認識用画像データ）から、それぞれ対象となる被写体（車両、路面、信号機等）を検出して信号処理部２０３に通知する（ステップＳ２３）。信号処理部２０３は、認識部２０４からの情報に基づき対象となる被写体（車両、路面、信号機等）に特化した補正値を得、画質調整（露光調整、ノイズ除去、エッジ補正、諧調補正、色調補正、ＨＤＲ合成）する。これにより、信号処理部２０３は、現像した複数の異なる第１の画像データ（物体認識用画像データ）を補正したデータである、複数の異なる第２の画像データ（車両制御システム１００に出力されるセンシング向け画像データ）を生成する（ステップＳ２４）。信号処理部２０３は、複数の異なる第２の画像データをＨＤＲ合成してＨＤＲ合成画像を生成し、車両制御システム１００に出力してもよい。制御部２０５は、信号処理部２０３が得た補正値をフィードバックして、イメージセンサ２０２の撮像制御（例えば、露光制御）を行う（ステップＳ２５）。従ってこれ以降、イメージセンサ２０２はより適切な撮像データを撮像できる。

本実施形態は第１の実施例（図９）及び第２の実施例（図１０）にも適用可能であるが、第２の実施例（図１０）を中心に説明する。すなわち、信号処理部２０３が、被写体（車両、路面、信号機等）に特化した複数の撮像データを画像処理するケースを説明する。

図３には、撮像装置２００における一般的な露光制御ループを模式的に示している。

イメージセンサ２０２は、シャッター３０１と、素子部３０２と、アナログゲイン処理部３０３を含んでいる。レンズ２０１によって集光された光は、シャッター３０１を通過して素子部３０２の撮像面に到達する。素子部３０２は、２次元画素アレイからなり、各画素から受光量に応じた画素信号が出力される。各画素信号は、アナログゲイン処理部３０３によりアナログ領域で増幅処理が行われた後、デジタル変換して、信号処理部２０３に出力される。

信号処理部２０３は、現像処理部３０４と、検波部３０５と、比較部３０６を含んでいる。現像処理部３０４は、イメージセンサ２０２から出力されるデジタル画素信号に対し、デジタルゲイン処理やガンマ処理及びＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）処理を含む現像処理を施す。また、検波部３０５は、イメージセンサ２０２で撮像した画面全体をＯＰＤ（Ｏｐｔｉｃａｌ Ｄｅｔｅｃｔｉｏｎ）検波して、画面の明るさ（輝度）及び画面の色調（比率）を検出する。そして、比較部３０６は、検波部３０５で検出した画面全体の明るさを所定の基準値（Ｒｅｆ）と比較する。

制御部２０５は、比較部３０６から出力される画面の明るさと基準値の差分に基づいて、シャッター３０１の開閉タイミング（すなわち露光時間）を制御したり、アナログゲイン処理部３０３のアナログゲインを調整したり、現像処理部３０４におけるデジタルゲイン、ガンマ、ＨＤＲ及びその他の現像パラメータを調整したりして、イメージセンサ２０２の撮像画像が適当な明るさ及び適当な色調となるように制御する。

図３に示すような一般的な露光制御ループによれば、画面全体として明るさを調整することができるが、周辺車両や路面及び信号機といった必要な被写体が必ずしも適切な明るさ（若しくは、画像認識に適した明るさ）で撮影されているとは限らない。例えば、日差しの強い炎天下のドライブで、街路樹の下を走行していると、陽が当たる部分と日陰の部分でコントラストが強過ぎて、日陰の部分の車両や路面を高い精度では画像認識できないような撮像画像になってしまうことが懸念される。また、信号機の滅灯状態（フリッカにより全ての灯色が滅灯した状態）である撮像画像や、日差しの影響により、信号機の灯色の赤色と黄色が区別できないような撮像画像になってしまうことが懸念される。

図４には、撮像装置２００において、本明細書で開示する技術を適用した露光制御ループを模式的に示している。図４に示す制御ループは、認識部２０４が撮像画像から認識した物体毎に最適な画作りを実施するように構成されている。ここでは、認識部２０４は、自動運転やＡＤＡＳの実現のために認識若しくは検出が必須となる物体として、車両（直近の先行車両）と路面及び信号機をそれぞれ検出することを想定している。

イメージセンサ２０２は、シャッター４０１と、素子部４０２と、アナログゲイン処理部４０３を含んでいる。レンズ２０１によって集光された光は、シャッター４０１を通過して素子部４０２の撮像面に到達する。素子部４０２は、２次元画素アレイからなり、各画素から受光量に応じた画素信号が出力される。各画素信号は、アナログゲイン処理部４０３によりアナログ領域で増幅処理が行われた後、デジタル変換して、信号処理部２０３に出力される。

なお、以下ではイメージセンサ２０２は単一露光（すなわち、１フレーム期間内に単一の露光タイミングを持つ）を行うものとして説明する。

信号処理部２０３は、現像処理部４０４と、検波部４０５と、比較部４０６を含んでいる。但し、検波部４０５は、認識部２０４が撮像画像から認識した物体毎にＯＰＤ検波を行うことができるように、撮像画像中の車両部分の明るさを検波する車両用検波部４０５－１と、撮像画像中の路面部分の明るさを検波する路面用検波部４０５－２と、撮像画像中の信号機部分の明るさ及び色調を検波する信号機用検波部４０５－３とを備えている。また、検波部４０５は、イメージセンサ２０２で撮像した画面全体をＯＰＤ検波する画面全体検波部４０５－４も備えている。また、認識部２０４が車両、路面及び信号機以外の物体を追加して検出する場合には、追加した物体の明るさを検波する検波部をさらに備えていてもよい。

また、現像処理部４０４は、認識部２０４が撮像画像から認識した物体毎に適した現像処理を個々に行うことができるように、車両用現像処理部４０４－１と、路面用現像処理部４０４－２と、信号機用現像処理部４０４－３とを備えている。また、現像処理部は、画面全体に適した現像処理を行う画面全体現像処理部４０４－４も備えている。また、認識部２０４が車両、路面及び信号機以外の物体を追加して検出する場合には、追加した物体用の現像処理部をさらに備えていてもよい。現像処理部４０４は、ＨＤＲ処理部４０７をさらに有する。

図４中、参照番号４１０で示す範囲内では、通常の自動露光制御が実施される。すなわち、画面全体検波部４０５－４は、イメージセンサ２０２で撮像した画面全体をＯＰＤ検波して、画面の明るさを検出する。そして、比較部４０６は、検波部４０５で検出した画面全体の明るさを所定の基準値（Ｒｅｆ）と比較する。制御部２０５は、比較部４０６から出力される画面の明るさと基準値の差分に基づいて、シャッター４０１の開閉タイミング（すなわち露光時間）を制御したり、アナログゲイン処理部４０３のアナログゲインを調整したり、画面全体現像処理部４０４－４におけるデジタルゲインやその他の現像パラメータを調整したりして、イメージセンサ２０２の撮像画像が最適な明るさとなるように制御する。

一方、認識部２０４は、信号処理部２０３による処理後の撮像画像４２０に含まれる物体を認識する。ここでは、撮像装置２００が車載カメラ（若しくは、車両制御システム１００内のデータ取得部１０２）として用いられることを想定して、認識部２０４は、自動運転やＡＤＡＳの実現のために認識若しくは検出が必須となる物体として、車両４２１（第２の物体）、路面４２２（第２の物体）及び信号機４２３（第１の物体）を認識する。もちろん、バイクや自転車、歩行者、道路標識、ガードレール、街路樹や街灯など他の物体をさらに認識対象に取り入れることもできる。

車両用検波部４０５－１は、認識部２０４による車両４２１の認識結果に基づいて、撮像画像４２０中に車両４２１の検波枠を設定し、その検波枠内の明るさを検波して、画面全体検波部４０５－４で検波した画面全体の明るさと、車両４２１の検波枠内の明るさの差分を算出する。そして、車両用現像処理部４０４－１は、その差分に基づいてデジタルゲインやガンマ値を調整して、車両４２１の枠内の明るさを調整するとともに、被写体の距離に応じた解像度として、解像特性からエッジ補正して現像する。すなわち、車両用現像処理部４０４－１は、撮像画像から車両４２１を物体認識するのに最適となる現像処理を行う（画面全体に対して車両４２１の検波枠が暗過ぎれば、車両４２１がもっと明るくなるように現像処理し、画面全体に対して車両４２１の検波枠が明る過ぎれば、車両４２１が暗くなるように現像処理する）。車両用現像処理部４０４－１によって現像処理された撮像画像は、元の風景を必ずしも忠実に再現したものではなく、人がビューイング若しくは観賞した際には違和感を覚えさせることもあるが、車両４２１を高精度に認識できる画像である。

また、路面用検波部４０５－２は、認識部２０４による路面４２２の認識結果に基づいて、撮像画像４２０中の路面４２２の検波枠を設定し、その検波枠内の明るさを検波して、画面全体検波部４０５－４で検波した画面全体の明るさと、路面４２２の検波枠内の明るさの差分を算出する。そして、路面用現像処理部４０４－２は、その差分に基づいてデジタルゲインやガンマ値を調整して、路面４２２の枠内の明るさを調整するとともに、被写体の距離に応じた解像度として、解像特性からエッジ補正して現像する。すなわち、路面用現像処理部４０４－２は、撮像画像から路面４２２を物体認識するのに最適となる現像処理を行う（画面全体に対して路面４２２の検波枠が暗過ぎれば、路面４２２がもっと明るくなるように現像処理し、画面全体に対して路面４２２の検波枠が明る過ぎれば、路面４２２が暗くなるように現像処理する）。路面用現像処理部４０４－２によって現像処理された撮像画像は、元の風景を必ずしも忠実に再現したものではなく、人がビューイング若しくは観賞した際には違和感を覚えさせることもあるが、路面４２２を高精度に認識できる画像である。

信号機用検波部４０５－３は、認識部２０４による信号機４２３の認識結果に基づいて、撮像画像４２０中の信号機４２３の検波枠を設定し、その検波枠内の明るさを検波して、画面全体検波部４０５－４で検波した画面全体の明るさと、信号機４２３の検波枠内の明るさの差分を算出する。そして、信号機用現像処理部４０４－３は、その差分に基づいてデジタルゲインやガンマ値を調整して、信号機４２３の枠内の明るさを調整するとともに、被写体の距離に応じた解像度として、解像特性からエッジ補正して現像する。すなわち、信号機用現像処理部４０４－３は、撮像画像から信号機４２３を物体認識するのに最適となる現像処理を行う（画面全体に対して信号機４２３の検波枠が暗過ぎれば、信号機４２３がもっと明るくなるように現像処理し、画面全体に対して信号機４２３の検波枠が明る過ぎれば、信号機４２３が暗くなるように現像処理する）。信号機用検波部４０５－３は、認識部２０４による信号機４２３の認識結果に基づいて、撮像画像４２０中の信号機４２３の検波枠を設定し、その検波枠内の色調を検波して、所定の基準値との差分を算出する。そして、信号機用現像処理部４０４－３は、その差分に基づいて色調補正値を調整して、信号機４２３の枠内の色調を調整する（信号機４２３の赤、黄、青の信号灯の色相が基準値の範囲外であれば、色相が範囲内になるように彩度、明度の調整と合わせて現像処理する）。信号機用現像処理４０４－３によって現像処理された撮像画像は、元の風景を必ずしも忠実に再現したものではなく、人がビューイング若しくは観賞した際に違和感を覚えさせることもあるが、信号機４２３を高精度に認識できる画像である。

ＨＤＲ処理部４０７は、車両用現像処理部４０４－１が車両用の諧調と画質に現像処理した画像と、路面用現像処理部４０４－２が路面用の諧調と画質に現像処理した画像と、信号機用現像処理部４０４－３が信号機用の諧調及び色調と画質に現像処理した画像とを、ＨＤＲ合成する。これにより、ＨＤＲ処理部４０７は、画面全体用の諧調及び色調と画質に現像処理したＨＤＲ合成画像を作成する。

なお、信号機用検波部４０５－３と同様に、車両用検波部４０５－１は、車両４２１の検波枠の色調を検波して、所定の基準値との差分を算出し、その差分に基づいて色調補正値を調整して、車両４２１の枠内の色調を調整してもよい。路面用検波部４０５－２は、路面４２２の検波枠の色調を検波して、所定の基準値との差分を算出し、その差分に基づいて色調補正値を調整して、路面４２２の枠内の色調を調整してもよい。この場合、ＨＤＲ処理部４０７は、車両用現像処理部４０４－１が車両用の諧調及び色調と画質に現像処理した画像と、路面用現像処理部４０４－２が路面用の諧調及び色調と画質に現像処理した画像と、信号機用現像処理部４０４－３が信号機用の諧調及び色調と画質に現像処理した画像とを、ＨＤＲ合成すればよい。

図４に示した撮像装置２００は、認識部２０４を備えるとともに、この認識部２０４が認識する物体毎に複数の現像処理部４０４及び複数の検波部４０５を搭載することにより、通常の自動露光制御及び自動色調補正を安定して実施すると同時に、各物体の画像認識に最適な現像を行うことが可能である。

自動運転やＡＤＡＳの実現のためには、車両、路面及び信号機の画像認識が最重要である。この観点から、図４に示した撮像装置２００では、認識部２０４は車両、路面及び信号機の３種類の物体を認識し、車両用、路面用及び信号機用の複数の検波部４０５及び複数の現像処理部４０４を搭載するという構成である。もちろん、認識部２０４は、バイクや自転車、歩行者、道路標識、レーン、中央分離帯、ガードレール、街路樹や街灯など他の物体をさらに認識対象に取り入れることもでき、これに対応して、追加した認識物体毎の複数の検波部及び現像処理部を増設することによって、多種類の物体の画像認識に最適な現像を行うことが可能となる。

また、上記では、イメージセンサ２０２が単一露光を行うものとして説明してきたが、もちろん、複数同時露光（すなわち、１フレーム期間内に複数の露光タイミングを持ち、１フレーム期間内に複数の画像を撮像する）を実施可能であってもよい。撮像装置２００は、複数同時露光を利用して、低輝度側自動露光並びに高輝度側自動露光といった輝度グループ毎の自動露光制御と、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）フリッカ対策用など、用途に分けて画像を出力するようにしてもよい。

図５には、図４に示した撮像装置２００において自動露光制御及び自動色調補正するための基本的な動作手順をフローチャートの形式で示している。但し、ここではイメージセンサ２０２が複数同時露光可能であり、車両用、路面用、信号機用及び画面全体用の４回露光を行うものとする。

画面全体検波部４０５－４は、イメージセンサ２０２による撮影画像の画面全体の明るさを検波する（ステップＳ５０１）。

次いで、比較部４０６は、画面全体検波部４０５－４で検出した画面全体の明るさ（輝度）及び画面全体の色調（比率）を所定の基準値（Ｒｅｆ）と比較して、エラー量を算出する（ステップＳ５０２）。

そして、制御部２０５は、ステップＳ５０２で算出したエラー量に基づいて、シャッター４０１の開閉タイミング（すなわち露光時間）や、アナログゲイン処理部４０３のアナログゲイン調整といったデバイス制御を実施する（ステップＳ５０３）。

ここでは、イメージセンサ２０２が複数同時露光を行うことを想定している。したがって、ステップＳ５０３では、低輝度用、高輝度用、信号機用及び画面全体用に、各々のデバイス制御（ステップＳ５０３－１、Ｓ５０３－２、Ｓ５０３－３、Ｓ５０３－４）を実施するようにしてもよい。また、各デバイス制御は同様の内容であってもよい。

なお、ステップＳ５０１～Ｓ５０３で実施される処理は、通常の自動露光制御に相当する処理である。

認識部２０４は、ステップＳ５０３－１乃至Ｓ５０３－３のデバイス制御に基づいて処理された各撮像画像に対して画像認識処理を実施する（ステップＳ５０４）。

認識部２０４が撮像画像から対象とする物体（車両、路面、信号機）を認識できなかった場合には（ステップＳ５０４のＮｏ）、本処理を終了する。

一方、認識部２０４が撮像画像から対象とする物体（車両、路面、信号機）を認識できた場合には（ステップＳ５０４のＹｅｓ）、信号処理部２０３は、認識部２０４から、対象とする物体（車両、路面、信号機）に関する画像認識情報を取得する（ステップＳ５０５）。

車両用検波部４０５－１は、認識部２０４から取得した画像認識情報に基づいて車両の検波枠を設定して、車両の検波枠内の物体の明るさを検波する（ステップＳ５０６）。ここで、認識部２０４が撮像画像からＮ台（但し、Ｎは２以上の整数）の車両を認識できた場合には、車両用検波部４０５－１は、Ｎ台分の検波枠を設定してすべての車両の明るさを個別に検波してもよいし、すべての検波枠内の物体の明るさの平均を検波してもよいし、優先順位が上位の所定台数までの明るさを検波するようにしてもよい。車両の優先順位は、自車両からの距離など自車両と衝突する可能性に基づいて割り振ってもよい。

次いで、車両用検波部４０５－１は、車両の検波枠内の物体の明るさを、画面全体検波部４０５－４で検出した画面全体の明るさと比較して、エラー量を算出する（ステップＳ５０７）。そして、車両用現像処理部４０４－１は、複数同時露光によって車両用に撮像した画像に対して、ステップＳ５０７で算出したエラー量と、認識部２０４から取得した画像情報と車両用検波部４０５－１の検波情報に基づいて、ノイズを調整して車両用の諧調と画質に現像処理するための、車両用補正量を算出する（ステップＳ５１３）。車両用現像処理部４０４－１は、車両用補正量に基づいて、車両用に撮像した画像を、車両用の諧調と画質に現像処理する（ステップＳ５０８）。

また、路面用検波部４０５－２は、認識部２０４から取得した画像認識情報に基づいて路面の検波枠を設定して、路面の検波枠内の物体の明るさを検波する（ステップＳ５０９）。次いで、路面用検波部４０５－２は、路面の検波枠内の物体の明るさを、画面全体検波部４０５－４で検出した画面全体の明るさと比較して、エラー量を算出する（ステップＳ５１０）。そして、路面用現像処理部４０４－２は、複数同時露光によって路面用に撮像した画像に対して、ステップＳ５１０で算出したエラー量に基づいて、ノイズを調整して路面用の諧調と画質に現像処理するための、路面用補正量を算出する（ステップＳ５１４）。路面用現像処理部４０４－２は、路面用補正量に基づいて、路面用に撮像した画像を、路面用の諧調と画質に現像処理する（ステップＳ５１１）。

信号機用検波部４０５－３は、認識部２０４から取得した画像認識情報に基づいて信号機の検波枠を設定して、信号機の検波枠内の物体の明るさ及び色調を検波する（ステップＳ５１５）。次いで、信号機用検波部４０５－３は、信号機の検波枠内の物体の明るさ及び色調を、画面全体検波部４０５－４で検出した画面全体の明るさ及び色調と比較して、エラー量を算出する（ステップＳ５１６）。そして、信号機用現像処理部４０４－３は、複数同時露光によって信号機用に撮像した画像に対して、ステップＳ５０７で算出したエラー量と、認識部２０４から取得した画像情報と信号機用検波部４０５－３の検波情報に基づいて、ノイズを調整して信号機用の諧調及び色調と画質に現像処理するための、信号機用補正量を算出する（ステップＳ５１７）。信号機用現像処理部４０４－３は、信号機用補正量に基づいて、信号機用に撮像した画像を、信号機用の諧調及び色調と画質に現像処理する（ステップＳ５１８）。

他方、現像処理部４０４は、ＬＥＤフリッカ対策用の現像処理を実施する（ステップＳ５１２）。

最後に、第１の実施形態についてまとめておく。撮像装置２００は、図４にも示したように、複数同時露光機能、複数検波機能、及び複数現像機能を装備している。かかる構成により、撮像装置２００は、ＬＥＤフリッカを抑制しつつ、急激な被写体変化にも安定した露出を維持することができる。これによって、撮像装置２００は、複数の被写体に対して、お互いの露光に依存せずに最適な現像処理が可能であるとともに、現像時のエラー量を即時に反映することができるという特徴がある。また、撮像装置２００は、被写体検知機能を維持できるという特徴がある。

第２の実施形態

画像認識の精度を向上するには、認識対象となる物体を認識したり、信号機の灯色を認識したりし易くなる露光条件で撮影を行う必要がある。しかしながら、逆光や暗闇では、認識不能なシーンを撮影することになる。例えば、日差しの強い炎天下のドライブで、街路樹の下を走行していると、陽が当たる部分と日陰の部分でコントラストが強過ぎて、自動露光制御が明暗の変化に追い付かない。通常のカメラの制御では、適正な露光条件になるまでに時間がかかり過ぎて、追従できない。その結果として、露光オーバー又は露光アンダーが長く続き、この間、画像認識ができない状態が続くため、車両制御システム１００による自動運転やＡＤＡＳが十分に機能しない。画像認識ができない状態の他の例として、トンネルの出入り口や、対向車のヘッドライトを浴びている状態を挙げることができる。また、信号機の灯色認識ができない状態として、信号機の滅灯状態（フリッカにより全ての灯色が滅灯した状態）や、日差しの影響により、信号機の灯色の赤色と黄色が区別できない状態を挙げることができる。

そこで、第２の実施形態では、信号機の灯色認識ができない状態となる問題シーンを画像認識結果に基づいて判定し、かかる問題シーンにおいて自動露光を適応的に制御する撮像装置について説明する。

ここで、信号機の灯色認識ができない状態となる問題シーンとして、上述したように、信号機の滅灯状態（フリッカにより全ての灯色が滅灯した状態）や、日差しの影響により、信号機の灯色の赤色と黄色が区別できない状態を挙げることができる。このような問題シーンにおける自動露光の適応制御として、自動露光の収束速度の可変制御や自動露光検波領域の可変制御を挙げることができる。問題シーンの判定方法並びに自動露光の適応制御の詳細については後述に譲る。

図６には、第２の実施形態に係る撮像装置６００の機能的構成例を模式的に示している。撮像装置６００は主に車両に搭載して用いられることを想定している。図示の撮像装置６００は、レンズ６０１と、イメージセンサ６０２と、信号処理部６０３と、認識部６０４と、判定部６０５と、制御部６０６を備えている。

イメージセンサ６０２は、例えばＣＭＯＳやＣＣＤなどの素子を用いて構成され、レンズ６０１によって撮像面に結像された画像を撮像及びＨＤＲ合成する。信号処理部６０３は、イメージセンサ６０２から出力されるＲＡＷデータに対する現像処理を実施する。例えば、デモザイク、ノイズリダクション、ホワイトバランス調整、ガンマ補正、センサ分光補正、エッジ補正、ＹＣ変換などが現像処理に該当する。

認識部６０４は、信号処理部６０３による処理後の撮像画像に含まれる物体を認識する。本実施例では、認識部６０４は、基本的には、後段の判定部６０５で問題シーンの判定に用いる物体として、周辺車両と車線（レーン）を画像認識する。もちろん、認識部６０４は、バイクや自転車、歩行者、道路標識、信号機、ガードレール、街路樹や街灯など、他の物体をさらに認識対象に取り入れることもできる。

判定部６０５は、信号機の灯色認識ができない状態となる問題シーンを、認識部６０４における画像認識結果に基づいて判定する。具体的には、判定部６０５は、信号機の滅灯状態（フリッカにより全ての灯色が滅灯した状態）や、日差しの影響により、信号機の灯色の赤色と黄色が区別できない状態を判定する。

また、判定部６０５は、ＯＰＤ検波に基づいて、画像のコントラスト度合いを算出する。本実施例では、判定部６０５は、撮像画像中の路面領域の検波値とそれ以外の領域の検波値を比較する方法と、ヒストグラム（画像の輝度分布）の形状に基づいて判定する方法の２通りによってコントラスト度合いを算出するものとする。

制御部６０６は、判定部６０５が信号機の灯色認識ができない状態であると判定する問題シーンにおいて、イメージセンサ６０２における撮像動作や、信号処理部６０３における現像処理を制御して、自動露光を適応的に制御する。具体的には、制御部６０６は、問題シーンにおける自動露光の適応制御として、自動露光の収束速度の可変制御や自動露光検波領域の可変制御を実施する。

後段の車両制御システム１００では、制御部６０６による制御下においてイメージセンサ６０２で撮影され且つ信号処理部６０３で現像処理された画像を認識処理することにより、高精度若しくは高い認識率で周辺車両を認識することができる。そして、車両制御システム１００は、このような画像認識結果に基づいて、例えば、自動車間制御（ＡＣＣ）、車線逸脱警報（ＬＤＷ）、レーンキープアシスト（ＬＫＡ）、自動緊急ブレーキ（ＡＥＢ）、死角検知（ＢＳＤ）といった、自動運転又はＡＤＡＳのための車両制御を実施し、さらにはアクティブコーナリングライト（ＡＣＬ）、ブレーキアクチュエータ（ＢＲＫ）、操舵装置（ＳＴＲ）など各駆動部の駆動を制御する。これによって、自車両の安全運転に寄与することができる。

第２の実施形態に係る撮像装置６００は、第１の実施形態（すなわち、図４に示した撮像装置２００）と同様であり、イメージセンサ６０２は複数露光であり、且つ、信号処理部６０３及び検波部６０４は物体毎の複数系統を有する。このため、以下、第１の実施形態（すなわち、図４に示した撮像装置２００）と同様の構成（即ち、判定部６０５を除き全て）は、図４の名称及び参照符号を用いて説明する場合がある。

図７には、図６に示した撮像装置６００において自動露光制御するための基本的な動作手順をフローチャートの形式で示している。

判定部６０５は、認識部６０４による画像認識情報を取得する（ステップＳ７０１）。認識部６０４は、イメージセンサ６０２による撮像画像から、路面、路面上の車線や車両及び信号機など物体を認識することができる。そして、認識部６０４による画像認識結果に基づいて、撮像画像に対して、地面（路面）、空、車両及び信号機などに検波枠を配置することができる。

判定部６０５は、認識部６０４による画像認識情報に基づいて、信号機を算出し、算出した信号機領域から信号灯及び矢印灯等を抽出する（ステップＳ７０２）。判定部６０５は、さらに信号機領域の検波値を取得する（ステップＳ７０３）。

また、判定部６０５は、ＯＰＤ検波に基づいて、画像のコントラスト度合い、画面の明るさ（輝度）及び画面の色調（比率）を算出する。具体的には、判定部６０５は、撮像画像中の信号機の検波値とそれ以外の領域の検波値を比較することによってコントラスト度合いを算出するとともに、ヒストグラム（画像の輝度分布）の形状に基づいてコントラスト度合いを算出する。

次いで、判定部６０５は、ステップＳ７０３で取得した信号機領域の検波値が下限閾値以上で且つ上限閾値未満（所定範囲内）であるかどうかをチェックする（ステップＳ７０４）。要するに、判定部６０５は、信号機領域が白飛びや反射等していないかどうかをチェックする。

信号機領域の検波値が下限閾値以上で且つ上限閾値未満でない（所定範囲外）場合には（ステップＳ７０４のＮｏ）、信号機領域の検波値は不適切である。この場合、判定部６０５は、認識部６０４が信号機の明滅を認識できているかどうかを判定する（ステップＳ７０５）。ここで、「信号機の明滅を認識できている」とは、信号機が点灯しており且つ認識の尤度（信頼度）が高いことなどを意味する。一方、「信号機の明滅を認識できていない」とは、例えば、信号機領域が白飛びや反射している場合や、信号機が点灯しているが灯色が赤色か黄色か区別がつかない場合や、信号機の滅灯状態（フリッカにより全ての灯色が滅灯した状態）である場合を意味する。

一方、信号機領域の検波値が下限閾値以上で且つ上限閾値未満（所定範囲内）である場合には（ステップＳ７０４のＹｅｓ）、信号機領域の検波値は適切である。この場合、制御部６０６は、撮像画像のうち信号機領域の検波値を取得して、信号機明滅補正処理を行うために用いる信号機用補正値を算出する（ステップＳ７０６）。制御部６０６は、信号機用補正値をイメージセンサ６０２に入力し、信号機領域の検波値のみを使ってイメージセンサ６０２の自動露光制御並びに信号処理部６０３における現像処理の制御を行う（ステップＳ７０７）。さらに、制御部６０６は、信号機用補正値を信号処理部６０３（図４の信号処理部２０３の現像処理部４０４）に入力（次フレームの現像処理のためにフィードバック）する。これにより、信号機用現像処理部４０４－３は、信号機用補正量に基づいて、信号機用に撮像した画像を、信号機用の諧調及び色調と画質に現像処理する。

一方、信号機領域の検波値が下限閾値以上で且つ上限閾値未満でない場合には（ステップＳ７０４のＮｏ）、判定部６０５の判定結果に基づき（ステップＳ７０５）、制御部６０６は、撮像画像のうち信号機領域の検波値を取得して、信号機明滅補正処理を行うために用いる信号機用補正値を算出する（ステップＳ７０６）。制御部６０６は、信号機用補正値をイメージセンサ６０２に入力し、信号機領域の検波値のみを使ってイメージセンサ６０２の自動露光制御並びに信号処理部６０３における現像処理の制御を行う（ステップＳ７０７）。さらに、制御部６０６は、信号機用補正値を信号処理部６０３（図４の信号処理部２０３の現像処理部４０４）に入力（次フレームの現像処理のためにフィードバック）する。これにより、信号機用現像処理部４０４－３は、信号機用補正量に基づいて、信号機用に撮像した画像を、信号機用の諧調及び色調と画質に現像処理する。

図８は、図４に示した撮像装置２００においてＨＤＲ合成処理するための基本的な動作手順をフローチャートの形式で示している。

信号処理部２０３は、認識部２０４から、撮像画像から認識した対象とする物体（車両、路面、信号機）に関する画像認識情報を取得する（ステップＳ８０１）。

車両用検波部４０５－１は、認識部２０４から取得した画像認識情報に基づいて車両の検波枠を設定して、車両の検波枠内の物体の明るさを検波する。路面用検波部４０５－２は、認識部２０４から取得した画像認識情報に基づいて路面の検波枠を設定して、路面の検波枠内の物体の明るさを検波する。信号機用検波部４０５－３は、認識部２０４から取得した画像認識情報に基づいて信号機の検波枠を設定して、信号機の検波枠内の物体の明るさ及び色調を検波する（ステップＳ８０２）。

車両用現像処理部４０４－１は、車両用補正量に基づいて、車両用に撮像した画像を、車両用の諧調と画質に現像処理する。路面用現像処理部４０４－２は、路面用補正量に基づいて、路面用に撮像した画像を、路面用の諧調と画質に現像処理する。信号機用現像処理部４０４－３は、信号機用補正量に基づいて、信号機用に撮像した画像を、信号機用の諧調及び色調と画質に現像処理する。ＨＤＲ処理部４０７は、車両用現像処理部４０４－１が生成した車両用の現像処理画像と、路面用現像処理部４０４－２が生成した路面用の現像処理画像と、信号機用現像処理部４０４－３が生成した信号機用の現像処理画像とを取得する（ステップＳ８０３）。

ＨＤＲ処理部４０７は、車両用の現像処理画像と、路面用の現像処理画像と、信号機用の現像処理画像とを合成する場合の画像合成比を算出する（ステップＳ８０４）。例えば、ＨＤＲ処理部４０７は、ダイナミックレンジ拡張のため、現像処理画像の諧調比を優先して合成比を算出する。あるいは、ＨＤＲ処理部４０７は、信号灯のフリッカ軽減のため、現像処理画像の露光比を優先して合成比を算出する。あるいは、ＨＤＲ処理部４０７は、ランダムノイズ軽減のため、現像処理画像の制御量を優先して合成比を算出する。

ＨＤＲ処理部４０７は、車両用の現像処理画像の諧調と色調を補正するための車両用補正量と、路面用の現像処理画像の諧調と色調を補正するための路面用補正量と、信号機用の現像処理画像の諧調と色調を補正するための信号機用補正量とを算出する（ステップＳ８０５）。例えば、ＨＤＲ処理部４０７は、信号灯のにじみ軽減のため、認識検波の明るさと色調に連動して、諧調と色調を補正するための補正量を算出する。また、ＨＤＲ処理部４０７は、トンネル出入り口、昼間又は夜間等のシーンの影響を抑えるため、認識検波の明るさと色調に連動して、諧調と色調を補正するための補正量を算出する。

ＨＤＲ処理部４０７は、車両用の現像処理画像と、路面用の現像処理画像と、信号機用の現像処理画像とを、算出した補正量（ステップＳ８０５）に基づき補正する。ＨＤＲ処理部４０７は、補正後の車両用の現像処理画像と、補正後の路面用の現像処理画像と、補正後の信号機用の現像処理画像とを、算出した画像合成比（ステップＳ８０４）に基づき合成する。これにより、ＨＤＲ処理部４０７は、車両用の現像処理画像と、路面用の現像処理画像と、信号機用の現像処理画像とから、ＨＤＲ合成画像を生成する（ステップＳ８０６）。

実施例

図１１に示すように、トンネル入り口内が暗く場合、ＨＤＲ処理部４０７は、ダイナミックレンジ拡張のため、複数の現像処理画像（車両用、路面用、信号機用）の諧調比を優先して合成比を算出し、算出した合成比に基づき複数の現像処理画像をＨＤＲ合成する。これにより、車両を含むトンネル入り口内の諧調が補正されたＨＤＲ合成画像が生成される。

図１２に示すように、霧のためコントラストが低い場合、ＨＤＲ処理部４０７は、コントラストを上げるため、複数の現像処理画像（車両用、路面用、信号機用）の露出を調整しノイズを除去するための合成比を算出し、算出した合成比に基づき複数の現像処理画像をＨＤＲ合成する。これにより、霧によるかすみが改善したＨＤＲ合成画像が生成される。

図１３に示すように、逆光が強い場合、ＨＤＲ処理部４０７は、複数の現像処理画像（車両用、路面用、信号機用）の露出を調整し色調を補正するための合成比を算出し、算出した合成比に基づき複数の現像処理画像をＨＤＲ合成する。これにより、逆光による諧調が改善されたＨＤＲ合成画像が生成される。

図１４に示すように、遠方の被写体の解像度が低い場合、ＨＤＲ処理部４０７は、複数の現像処理画像（車両用、路面用、信号機用）のエッジを補正し諧調を補正するため、解像度と色調を優先して合成比を算出し、算出した合成比に基づき複数の現像処理画像をＨＤＲ合成する。これにより、遠方の被写体の解像度が改善されたＨＤＲ合成画像が生成される。

図１５に示すように、夜間で画面全体が暗い（ノイズが高い）場合、ＨＤＲ処理部４０７は、複数の現像処理画像（車両用、路面用、信号機用）の露出を調整しノイズを除去するため、信号機用の現像処理画像の合成比を高くし、Ｓ／Ｎ比を優先して合成比を算出し、算出した合成比に基づき複数の現像処理画像をＨＤＲ合成する。これにより、暗部のノイズが軽減したＨＤＲ合成画像が生成される。

図１６に示すように、車両用の現像処理画像や路面用の現像処理画像（撮像データ１）に含まれる信号機の滅灯状態（フリッカにより全ての灯色が滅灯した状態）である場合、信号機用の現像処理画像（撮像データ２）の合成比を高くし、露出を調整し色調を補正するための合成比を算出し、算出した合成比に基づき複数の現像処理画像をＨＤＲ合成する。これにより、ＬＥＤ信号機のフリッカが軽減したＨＤＲ合成画像が生成される。

結語

典型的に、ビューイング向けの画質調整システムは、主観評価（人間による評価）に基づいて調整されることが一般的であり、主観評価法は、心理学的測定法とデータ分析のための統計処理からなっている。

コンピュータビジョンでは対象となる項目に特化した画質が求められるため、ビューイング向けの画質基準に基づいて調整された画質がセンシングでは最適とならないケースがある。例えば、画面全体が適切な画質となるように調整されているため、遠方にある被写体の解像度を重視するような画質に動的に切り換えない。距離や位置が頻繁に移動する被写体が認識できない場合が生じる。夜間では露光時間が長くなるので、ＬＥＤ光源など点滅する被写体に有利となるが、特定の被写体を重視するような画質に動的に切り換えない。Ｓ／Ｎ、ノイズ、エッジ強調、コントラストをバランスよく調整することが困難であった。被写体の変化に対し主観評価が考慮されるため、急激な画質の変化に対応できない場合がある。

また、ＨＤＲ合成は、諧調が線形となるように調整されているため、複数枚の露光画像を合成した画像は画面全体の諧調が表現される。ビューイング向けの画質基準に基づいて調整されたＨＤＲ合成がセンシングで最適とならないケースがある。諧調が線形となるように調整されており、ＨＤＲ合成のアルゴリズムが動的に変化しないため、ＬＥＤ光源など点滅する領域が合成に反映されない場合が生じる。諧調を伸張するアルゴリズムはあるが、ＬＥＤ光源など点滅する輝度の変化と動被写体の対応を両立することが困難であった。時系列の変化に対し主観評価が考慮されるため、急激な輝度の変化に対応できない場合がある。

以上のような事情に鑑み、全てのシーンで白飛びや黒潰れのない、破綻しない画質が求められている。想定外のシーンでは、調整データで統計処理に優先と重みを設けて画質を調整する必要があり、対象となる被写体に対して画質の追従が遅くなる。また画像データは領域や時間で分析するので、複数の被写体が存在する場合は、被写体の特徴（形状・遠近・大小・明暗・色調）から対象となる被写体を判断することが困難である。

そこで、本実施形態によれば、信号処理部２０３に認識部２０４からフィードバックが掛けられるように構成する。認識部２０４は認識に必要な情報を信号処理部２０３に指示する。これにより、信号処理部２０３は特定領域の特定画質に特化した画像を取得することが可能となる。信号処理部２０３は、フィードバックされた情報から特定領域に特化した画質となるように調整及びＨＤＲ合成することで、センシングに最適な画質の画像を実現することが可能となる。

本実施形態によれば、信号処理部２０３が画質調整を行う際、調整データで統計処理に優先と重みを設けない。複数の被写体が存在するシーンで、対象となる被写体に画質が追従できるように、信号処理部２０３と認識部２０４を通信（一体化）させる。認識部２０４に画像データが入力できるように設定する。認識部２０４は画像データから対象となる被写体を検出する。認識部２０４は対象となる被写体を信号処理部２０３に通知する。信号処理部２０３は対象となる被写体に特化して画質調整する。高画素のイメージセンサ２０２は対象となる被写体を広範囲で即時に追従できる。高速フレームのイメージセンサ２０２は対象となる被写体に即時に追従できる。高感度のイメージセンサ２０２は対象となる被写体を広い照度で即時に追従できる。複数枚撮像できるイメージセンサ２０２は複数の対象となる被写体に即時に追従できる。

これにより、信号処理部２０３は、主観評価に基づいた調整データなしで最適な画質に調整できる。信号処理部２０３は、統計処理に優先と重みを設けずに被写体に特化した画質に調整できる。信号処理部２０３は、調整データと合わせて統計処理しないので、信号処理が高速化できる。信号処理部２０３は、対象となる被写体に特化した画質を生成するので、認識の精度が向上できる。高画素のイメージセンサ２０２は、広い視野で構図に影響されずに画質調整できる。高速フレームのイメージセンサ２０２は、即時に動被写体に追従した画質が得られる。高感度のイメージセンサ２０２は、広い照度で輝度に影響されずに画質調整できる。複数枚撮像できるイメージセンサ２０２は、複数の被写体に追従した画質が得られる。信号処理部２０３と認識部２０４を通信させることは、従来の信号処理部２０３に応用でき、より対象となる被写体に特化した画質が得られる。信号処理部２０３と測距システムを通信させることで、被写体の距離に応じて優先度が設定でき、対象となる被写体に特化した画質が得られる。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、車載カメラに関する実施形態を中心に説明してきたが、本明細書で開示する技術の適用範囲は車両に限定されない。例えば、ドローンなどの無人航空機、所定の作業空間（家庭、オフィス、工場など）を自律的に移動するロボット、船舶、航空機など、さまざまなタイプの移動体装置に対して、同様に本明細書で開示する技術を適用することができる。もちろん、移動体装置に設置される情報端末や、移動型でないさまざまな装置に対しても、同様に本明細書で開示する技術を適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）イメージセンサが出力した撮像データを処理部が現像することにより生成された第１の画像データから第１の物体を認識する認識部と、
前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき前記第１の画像データの色調を補正したデータである第２の画像データを生成する前記処理部と
を具備する情報処理装置。
（２）上記（１）に記載の情報処理装置であって、
前記認識部は、前記第１の画像データから前記第１の物体と異なる第２の物体を認識し、
前記処理部は、前記第２の物体の諧調を検波し、前記諧調を補正するための第２の補正量を算出し、前記第２の補正量に基づき前記第１の画像データの諧調を補正したデータであるさらに別の第２の画像データを生成する
情報処理装置。
（３）上記（２）に記載の情報処理装置であって、
前記処理部は、前記複数の異なる第２の画像データを合成する場合の画像合成比を算出し、前記画像合成比に基づき前記複数の異なる第２の画像データを合成した合成画像を生成する
情報処理装置。
（４）上記（１）又は（２）に記載の情報処理装置であって、
前記第１の補正量及び前記第２の補正量に基づき前記イメージセンサの撮像制御を行う制御部
をさらに具備する情報処理装置。
（５）上記（１）乃至（４）の何れかに記載の情報処理装置であって、
前記第１の物体の前記色調を検波し、検波値が所定範囲外であると判定すると、前記第１の物体の明滅を判定する判定部をさらに具備し、
前記処理部は、前記判定結果に基づき算出された前記第１の補正量を得る
情報処理装置。
（６）上記（５）に記載の情報処理装置であって、
前記判定結果に基づき算出された前記第１の補正量に基づき前記イメージセンサの撮像制御を行う制御部
をさらに具備する情報処理装置。
（７）上記（１）に記載の情報処理装置であって、
前記認識部は、前記イメージセンサが出力した、異なる撮像制御で同時に撮像された複数の異なる撮像データを前記処理部が現像することにより生成された複数の異なる前記第１の画像データから、前記第１の物体と、前記第１の物体と異なる第２の物体とを、それぞれ認識し、
前記処理部は、
前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき、前記第１の物体を認識するのに用いた１個の第１の画像データの色調を補正したデータである、１個の第２の画像データを生成し、
前記第２の物体の諧調を検波し、前記諧調を補正するための第２の補正量を算出し、前記第２の補正量に基づき、前記第２の物体を認識するのに用いた別個の第１の画像データの諧調を補正したデータである、別個の第２の画像データを生成する
情報処理装置。
（８）上記（７）に記載の情報処理装置であって、
前記処理部は、前記複数の異なる第２の画像データを合成する場合の画像合成比を算出し、前記画像合成比に基づき前記複数の異なる第２の画像データを合成した合成画像を生成する
情報処理装置。
（９）上記（７）又は（８）に記載の情報処理装置であって、
前記第１の補正量及び前記第２の補正量に基づき前記イメージセンサの撮像制御を行う制御部
をさらに具備する情報処理装置。
（１０）上記（７）乃至（９）の何れかに記載の情報処理装置であって、
前記第１の物体の前記色調を検波し、検波値が所定範囲外であると判定すると、前記第１の物体の明滅を判定する判定部をさらに具備し、
前記処理部は、前記判定結果に基づき算出された前記第１の補正量を得る
情報処理装置。
（１１）上記（１０）に記載の情報処理装置であって、
前記判定結果に基づき算出された前記第１の補正量に基づき前記イメージセンサの撮像制御を行う制御部
をさらに具備する情報処理装置。
（１２）上記（１）乃至（１１）に記載の情報処理装置であって、
前記イメージセンサは移動体に搭載して用いられ、
前記第１の物体は信号機である
情報処理装置。
（１３）イメージセンサが出力した撮像データを現像することにより生成された第１の画像データから第１の物体を認識し、
前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき前記第１の画像データの色調を補正したデータである第２の画像データを生成する
情報処理方法。
（１４）イメージセンサと、
前記イメージセンサが出力した撮像データを処理部が現像することにより生成された第１の画像データから第１の物体を認識する認識部と、
前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき前記第１の画像データの色調を補正したデータである第２の画像データを生成する前記処理部と
を具備する
撮像装置。
（１５）移動体と、
前記移動体に搭載されたイメージセンサと、
前記イメージセンサが出力した撮像データを処理部が現像することにより生成された第１の画像データから第１の物体を認識する認識部と、
前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき前記第１の画像データの色調を補正したデータである第２の画像データを生成する前記処理部と
前記第２の画像データを認識した結果に基づいて前記移動体における動作を制御する動作制御部と
を具備する移動体装置。
（１６）
イメージセンサが出力した撮像データを処理部が現像することにより生成された第１の画像データから第１の物体を認識する認識部と、
前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき前記第１の画像データの色調を補正したデータである第２の画像データを生成する前記処理部
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
（１７）
イメージセンサが出力した撮像データを処理部が現像することにより生成された第１の画像データから第１の物体を認識する認識部と、
前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき前記第１の画像データの色調を補正したデータである第２の画像データを生成する前記処理部
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム
を記録した非一過性のコンピュータ読み取り可能な記憶媒体。

本技術の各実施形態及び各変形例について上に説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

１００…車両制御システム
１０１…入力部、１０２…データ取得部、１０３…通信部
１０４…車内機器、１０５…出力制御部、１０６…出力部
１０７…駆動系制御部、１０８…駆動系システム
１０９…ボディ系制御部、１１０…ボディ系システム、１１１記憶部
１１２…自動運転制御部、１２１…通信ネットワーク
１３１…検出部、１３２…自己位置推定部、１３３…状況分析部
１３４…計画部、１３５…動作制御部
１４１…車外情報検出部、１４２…車内情報検出部
１４３…車両状態検出部
１５１…マップ解析部、１５２…交通ルール認識部
１５３…状況認識部、１５４…状況予測部
１６１…ルート計画部、１６２…行動計画部、１６３…動作計画部
１７１…緊急事態回避部、１７２…加減速制御部、１７３…方向制御部
２００…撮像装置、２０１…レンズ、２０２…イメージセンサ
２０３…信号処理部、２０４…認識部、２０５…制御部
３０１…シャッター、３０２…素子部、３０３…アナログゲイン処理部
３０４…現像処理部、３０５…検波部、３０６…比較部
４０１…シャッター、４０２…素子部、４０３…アナログゲイン処理部
４０４－１…車両用現像処理部、４０４－２…路面用現像処理部
４０４－４…画面全体現像処理部、４０５－１…車両用検波部
４０５－２…路面用検波部、４０５－４…画面全体検波部
４０６…比較部、４０７…ＨＤＲ処理部
６００…撮像装置、６０１…レンズ、６０２…イメージセンサ
６０３…信号処理部、６０４…認識部、６０５…判定部
６０６…制御部

Claims (16)

1. イメージセンサが出力した撮像データを処理部が現像することにより生成された第１の画像データから第１の物体を認識する認識部と、
   前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき前記第１の画像データの色調を補正したデータである第２の画像データを生成する前記処理部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記認識部は、前記第１の画像データから前記第１の物体と異なる第２の物体を認識し、
   前記処理部は、前記第２の物体の諧調を検波し、前記諧調を補正するための第２の補正量を算出し、前記第２の補正量に基づき前記第１の画像データの諧調を補正したデータであるさらに別の第２の画像データを生成する
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記処理部は、前記複数の異なる第２の画像データを合成する場合の画像合成比を算出し、前記画像合成比に基づき前記複数の異なる第２の画像データを合成した合成画像を生成する
   情報処理装置。
4. 請求項２に記載の情報処理装置であって、
   前記第１の補正量及び前記第２の補正量に基づき前記イメージセンサの撮像制御を行う制御部
   をさらに具備する情報処理装置。
5. 請求項２に記載の情報処理装置であって、
   前記第１の物体の前記色調を検波し、検波値が所定範囲外であると判定すると、前記第１の物体の明滅を判定する判定部をさらに具備し、
   前記処理部は、前記判定結果に基づき算出された前記第１の補正量を得る
   情報処理装置。
6. 請求項５に記載の情報処理装置であって、
   前記判定結果に基づき算出された前記第１の補正量に基づき前記イメージセンサの撮像制御を行う制御部
   をさらに具備する情報処理装置。
7. 請求項１に記載の情報処理装置であって、
   前記認識部は、前記イメージセンサが出力した、異なる撮像制御で同時に撮像された複数の異なる撮像データを前記処理部が現像することにより生成された複数の異なる前記第１の画像データから、前記第１の物体と、前記第１の物体と異なる第２の物体とを、それぞれ認識し、
   前記処理部は、
   前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき、前記第１の物体を認識するのに用いた１個の第１の画像データの色調を補正したデータである、１個の第２の画像データを生成し、
   前記第２の物体の諧調を検波し、前記諧調を補正するための第２の補正量を算出し、前記第２の補正量に基づき、前記第２の物体を認識するのに用いた別個の第１の画像データの諧調を補正したデータである、別個の第２の画像データを生成する
   情報処理装置。
8. 請求項７に記載の情報処理装置であって、
   前記処理部は、前記複数の異なる第２の画像データを合成する場合の画像合成比を算出し、前記画像合成比に基づき前記複数の異なる第２の画像データを合成した合成画像を生成する
   情報処理装置。
9. 請求項７に記載の情報処理装置であって、
   前記第１の補正量及び前記第２の補正量に基づき前記イメージセンサの撮像制御を行う制御部
   をさらに具備する情報処理装置。
10. 請求項７に記載の情報処理装置であって、
    前記第１の物体の前記色調を検波し、検波値が所定範囲外であると判定すると、前記第１の物体の明滅を判定する判定部をさらに具備し、
    前記処理部は、前記判定結果に基づき算出された前記第１の補正量を得る
    情報処理装置。
11. 請求項１０に記載の情報処理装置であって、
    前記判定結果に基づき算出された前記第１の補正量に基づき前記イメージセンサの撮像制御を行う制御部
    をさらに具備する情報処理装置。
12. 請求項１に記載の情報処理装置であって、
    前記イメージセンサは移動体に搭載して用いられ、
    前記第１の物体は信号機である
    情報処理装置。
13. イメージセンサが出力した撮像データを現像することにより生成された第１の画像データから第１の物体を認識し、
    前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき前記第１の画像データの色調を補正したデータである第２の画像データを生成する
    情報処理方法。
14. イメージセンサと、
    前記イメージセンサが出力した撮像データを処理部が現像することにより生成された第１の画像データから第１の物体を認識する認識部と、
    前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき前記第１の画像データの色調を補正したデータである第２の画像データを生成する前記処理部と
    を具備する
    撮像装置。
15. 移動体と、
    前記移動体に搭載されたイメージセンサと、
    前記イメージセンサが出力した撮像データを処理部が現像することにより生成された第１の画像データから第１の物体を認識する認識部と、
    前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき前記第１の画像データの色調を補正したデータである第２の画像データを生成する前記処理部と
    前記第２の画像データを認識した結果に基づいて前記移動体における動作を制御する動作制御部と
    を具備する移動体装置。
16. イメージセンサが出力した撮像データを処理部が現像することにより生成された第１の画像データから第１の物体を認識する認識部と、
    前記第１の物体の色調を検波し、前記色調を補正するための第１の補正量を算出し、前記第１の補正量に基づき前記第１の画像データの色調を補正したデータである第２の画像データを生成する前記処理部
    としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。

Images