JP2019012413A - 画像処理装置 - Google Patents

Abstract

【課題】明るさに差がある複数の被写体の情報を効率よく得られる。
【解決手段】画像処理装置は、車両に搭載される画像処理装置であって、撮影感度の異なる複数の撮影画像が入力される撮影画像入力部と、複数の撮影画像を用いて生成される高階調化された合成画像が入力される合成画像入力部と、入力される画像を用いて所定の特徴情報を生成する特徴情報生成部と、車両の状態、および車両の周囲の状態の少なくとも一方に基づき、特徴情報生成部に入力する画像を、合成画像および撮影画像のいずれかに決定する判定部と、を備える。
【選択図】図１

Description

本発明は、画像処理装置に関する。

ステレオカメラを使用してカメラと観測対象物との距離を算出し、観測対象物の認識処理を行う技術が知られている。例えば特許文献１には、自動車等の移動体としての自車両４００に搭載される画像処理装置１を、自車両進行方向前方領域（撮像領域）の撮像画像を撮像する撮像ユニット１００で撮像した撮像画像を解析して、撮像領域内に存在する歩行者等の認識対象物を検知するステレオ画像処理部２００を備えて構成する。ステレオ画像処理部２００は、水平視差図に基づいて、認識対象物を検出し、当該認識対象物に対応する認識対象物領域輝度画像と、動的辞書２５８のパターン画像とを照合し、認識対象物であるか否か判定する構成が開示されている。

特開２００７−１７２０３５号公報

特許文献１に記載されている発明では、明るさが異なる複数の被写体の情報を得るためにはそれぞれの被写体にあわせた撮影条件で撮影し、得られたそれぞれの画像に対して処理を行う必要があるので、明るさに差がある複数の被写体の情報を得る計算コストが高い。

本発明の第１の態様による画像処理装置は、車両に搭載される画像処理装置であって、撮影感度の異なる複数の撮影画像が入力される撮影画像入力部と、前記複数の撮影画像を用いて生成される高階調化された合成画像が入力される合成画像入力部と、入力される画像を用いて所定の特徴情報を生成する特徴情報生成部と、前記車両の状態、および前記車両の周囲の状態の少なくとも一方に基づき、前記特徴情報生成部に入力する画像を、前記合成画像および前記撮影画像のいずれかに決定する判定部と、を備える。

本発明によれば、明るさに差がある複数の被写体の情報を効率よく得られる。

第１の実施の形態における画像処理システムＳの構成図 第１基準を採用する場合の判定部６０の動作を説明する図 第１基準を採用する場合の第１画像合成部２０の動作例を示す図 第１基準、比較例１および比較例２を採用する場合の明部および暗部の距離情報の算出の可否を示す図 第２基準を採用する場合の判定部６０の動作を説明する図 第３基準を採用する場合の判定部６０の動作を説明する図 第４基準を採用する場合の判定部６０の動作を説明する図 第５基準を採用する場合の判定部６０の動作を説明する図 搭載車両の前方を撮影して得られる画像の模式図 混雑度の生成例を示す図 第６基準を採用する場合の判定部６０の動作を説明する図 第７基準を採用する場合の判定部６０の動作を説明する図 第２の実施の形態における画像処理システムＳの構成図 第３の実施の形態における画像処理システムＳの構成図 第４の実施の形態における画像処理システムＳの構成図 第５の実施の形態における撮影画像１２１５を処理領域に分割する一例を示す図 第８基準を採用する場合の判定部６０の動作を説明する図 第６の実施の形態における距離情報生成部５０の構成図 距離情報基準を採用する場合の判定部６０の動作を説明する図 距離情報生成部５０の処理を示す図

―第１の実施の形態―
以下、図１〜図１２を参照して、画像処理装置の第１の実施の形態を説明する。

（構成）
図１は、画像処理装置３を含む画像処理システムＳの構成図である。画像処理システムＳは、第１撮像部１と、第２撮像部２と、画像処理装置３と、車両制御部４と、認識処理部５とを備える。画像処理システムＳは車両に搭載される。以下では、画像処理システムＳを搭載する車両を、「搭載車両」とも呼ぶ。

第１撮像部１は、たとえばカメラである。第１撮像部１は、画像処理装置３からの撮影指示１００に基づき被写体を撮影し、得られた画像１０１を画像処理装置３に出力する。第１撮像部１は、一回の撮影指示１００を受信すると、異なる２種類の露光時間で撮影する、いわゆるオートブラケット撮影を行い、２枚の画像を画像処理装置３に出力する。以下では、２種類の露光時間を「短露光時間」と「長露光時間」と呼び、それぞれの露光で得られた画像を「画像Ａ」と「画像Ｂ」と呼ぶ。すなわち画像１０１は、画像Ａと画像Ｂからなる複数の露光時間の異なる画像である。なお以下では、露光時間が異なることを「撮影感度が異なる」とも言う。なお画像Ａと画像Ｂは厳密には異なる時刻に撮影して得られた画像なので、たとえば搭載車両が移動している場合には、画像Ａにおける被写体と画像Ｂにおける被写体は撮影画像において異なる位置に撮影される。

第２撮像部２は、たとえばカメラである。第２撮像部２は画像処理装置３からの撮影指示２００に基づき被写体を撮影し、得られた画像２０１を画像処理装置３に出力する。第２撮像部２の機能および動作は第１撮像部１と同様である。第２撮像部２が撮影した短露光時間で得られた画像も「画像Ａ」と呼び、第２撮像部２が撮影した長露光時間で得られた画像も「画像Ｂ」と呼ぶ。すなわち画像２０１は、画像Ａと画像Ｂからなる複数の露光時間の異なる画像である。

画像処理装置３は、不図示のＣＰＵ，ＲＯＭ，ＲＡＭ、およびインタフェースを備える計算機である。ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭに展開して実行することにより、後述する機能を実現する。ただし画像処理装置３は、ＣＰＵ，ＲＯＭ，およびＲＡＭの代わりにＡＳＩＣやＦＰＧＡにより構成されてもよい。画像処理装置３は、第１撮像部１および第２撮像部２から入力された画像を処理して距離情報を生成し、認識処理部５に出力する。

画像処理装置３は、第１撮像部１から供給される撮影感度の異なる画像１０１が入力される第１入力部１０と、撮影感度の異なる画像１０１を一枚の画像に合成する機能を備える第１画像合成部２０と、第２撮像部２から供給される撮影感度の異なる画像２０１が入力される第２入力部３０と、撮影感度の異なる画像２０１を一枚の画像に合成する機能を備える第２画像合成部４０とを備える。ただし第１画像合成部２０および第２画像合成部４０は、入力された撮影感度の異なる画像のうちいずれか一方をそのまま出力することもある。すなわち第１画像合成部２０および第２画像合成部４０は、画像Ａ、画像Ｂ、および合成した画像（以下、「合成画像」）のいずれかを出力する。いずれの画像を出力するかは、後述する判定部６０から入力されるモード指令信号６００により決定される。第１画像合成部２０および第２画像合成部４０は、常に合成画像を作成してもよいし、合成画像を出力する場合のみ合成画像を作成してもよい。また第１入力部１０および第２入力部３０は、判定部６０から処理タイミングを示す情報が入力され、そのタイミングに処理を行う。

第１画像合成部２０および第２画像合成部４０における画像の合成は、いわゆるＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像の作成である。第１画像合成部２０が出力する画像を画像１０２と呼び、第２画像合成部４０が出力する画像を画像２０２と呼ぶ。なお第１画像合成部２０および第２画像合成部４０は、エンハンサ処理やスケーラ処理などの合成処理以外の画像処理を施してもよい。エンハンサ処理とはエッジを抽出して鮮鋭化する処理であり、スケーラ処理とは画像を拡大または縮小する処理である。画像処理装置３はさらに、第１画像合成部２０から供給される画像１０２および第２画像合成部４０から供給される画像２０２を用いて距離情報を生成する距離情報生成部５０と、距離情報生成部５０に供給する画像を決定し、モード指令信号６００を出力する判定部６０とを備える。

距離情報生成部５０は、既知の距離情報生成アルゴリズムにより、画像１０２および画像２０２を用いて距離情報を生成する。第１撮像部１と第２撮像部２は、予め定められたベースライン距離を有しており、第１撮像部１と第２撮像部２の位置関係は既知である。距離情報生成部５０は、第１撮像部１と第２撮像部２の各画素の対応関係を算出し、被写体との距離が近いほど視差が大きい、すなわち第１撮像部１の撮影画像と第２撮像部２の撮影画像における対応する画素の距離が遠いことを利用して被写体までの距離を計算する。計算した距離情報は、符号５００で示すように認識処理部５に出力する。なお距離情報の算出には、前述のとおり第１撮像部１と第２撮像部２の各画素の対応関係を算出する必要があるため処理負荷が高い。また距離情報生成部５０は、認識処理部５が実行する認識処理の内容に応じて、第１画像合成部２０および第２画像合成部４０から入力される画像も認識処理部５に出力する。

距離情報生成部５０は仮想的な入力ポートである第１ポート５０ａおよび第２ポート５０ｂを備える。第１画像合成部２０が出力する画像は第１ポート５０ａから入力され、第２画像合成部４０が出力する画像は第２ポート５０ｂから入力される。距離情報生成部５０は、判定部６０から処理タイミングを示す情報が入力され、そのタイミングに処理を行う。

距離情報生成部５０には、非合成画像、すなわち画像Ａや画像Ｂが入力される場合と、合成画像が入力される場合がある。ただし第１画像合成部２０から入力される画像の種類と、第２画像合成部４０から入力される画像の種類は常に同一である。そのため距離情報生成部５０は、いずれの場合であっても同様に画像１０２および画像２０２を用いて距離情報を生成する。また本実施の形態では、距離情報生成部５０に入力される画像の時間間隔、すなわちフレームレートは一定である。

車両制御部４は、認識処理部５から出力される距離情報たは不図示のＣＡＮネットワークから取得する搭載車両の情報に基づき、画像処理装置３に搭載車両の走行情報または搭載車両の周辺情報（以下、「車両周辺情報」）を出力する。車両制御部４はさらに、画像処理装置３で処理した情報を元に被写体検知処理を行ってもよい。また車両制御部４は、車両制御部４に接続される不図示の表示機器に対して、第１撮像部１から得られた画像をそのまま表示してもよいし、被写体検出処理により検出された被写体を強調して表示してもよい。車両制御部４はさらに、地図情報や、渋滞情報などの交通情報を処理する不図示の情報機器に対して、車両制御部４が検知した観測対象物の情報を供給してもよい。認識処理部５は、画像処理装置３が生成した情報を元に後述するように様々な認識処理を行う。

（車両制御部４の機能の具体例）
車両制御部４が出力する走行情報とはたとえば、自車速度、自車加速度、自車進行方向、操舵角、ブレーキ情報、走行モードの種別、車両制御情報などである。車両制御部４が出力する車両周辺情報とはたとえば、自車周辺の混雑度または混雑度の予測値、被写体までの距離、被写体の速度、被写体との相対速度、自車位置情報、地図情報、交通渋滞情報、過去の事故情報、路面状態などである。

走行状態の一例として挙げた走行モードとは、走行路に基づく走行モード、走行状況に基づく走行モード、周囲自然環境に基づく走行モード、省電力または少燃費で走行する省エネルギーモードなどである。走行路に基づく走行モードとは、市街地走行モード、高速道路走行モード、法定速度情報などである。走行状況に基づく走行モードとは、渋滞時走行モード、駐車場モード、周囲車両の位置や動きに応じた走行モードなどである。周囲自然環境に基づく走行モードとは、夜間時走行モード、逆光時走行モードなどである。

地図情報とは、地図上における搭載車両の位置情報、道路形状情報、道路面地物情報、路幅情報、車線情報、道路勾配情報などである。道路形状情報とは、Ｔ字路、交差点などである。道路面地物情報とは、信号、車道部、歩道部、踏切道、自転車駐輪場、自動車駐車場、横断歩道などである。交通情報とは、渋滞情報、速度制限や通行禁止などの交通規制情報、別の走行ルートに誘導する走行ルート誘導情報などである。車両制御情報とは、ブレーキ制御、ハンドル制御、アクセル制御、車載ランプ制御、警告音発生、車載カメラ制御、ネットワークを介して接続された周辺車両や遠隔地センタ機器への撮像装置周辺の観測対象物に関する情報出力などである。

（認識処理部５の機能の具体例）
認識処理部５における認識対象はたとえば、被写体の位置情報、種類情報、動作情報、危険情報である。位置情報とは、搭載車両からの方向と距離などである。種類情報とは、歩行者、大人、子供、高齢者、動物、落石、自転車、周辺車両、周辺構造物、縁石の種類を示す情報である。動作情報とは、歩行者や自転車のふらつき、飛び出し、横切り、移動方向、移動速度、移動軌跡などである。危険情報とは、歩行者飛び出し、落石、急停止や急減速や急ハンドルなど周辺車両の異常動作などである。

（画像Ａ，画像Ｂ，合成画像の特徴）
短露光時間で得られた画像Ａには、輝度の高い被写体が識別可能に記録されやすく、輝度の低い被写体が識別可能に記録されにくい傾向にある。そのため画像Ａは光の量が多い昼間における周囲の状況把握に有効である。また市街地では、搭載車両の周辺を歩行者が移動する可能性があるため迅速な検出が求められ、画像Ａの有用性が高い。長露光時間で得られた画像Ｂには、輝度の高い被写体が識別可能に記録されにくく、輝度の低い被写体が識別可能に記録されやすい傾向にある。そのため画像Ｂは光の量が少ない夜間における周囲の状況把握に有効である。

画像Ａと画像Ｂを比較すると、画像Ａにおいて光量が少なく黒くつぶれて表示される（以下、「黒つぶれ」）領域であっても、画像Ｂでは被写体が識別可能に記録されている可能性がある。また画像Ｂにおいて光量が多いために白く表示される（以下、「白とび」）領域であっても、画像Ａでは被写体が識別可能に記録されている可能性がある。そこで、画像Ａと画像Ｂを以下のように合成することで、黒つぶれや白飛びが軽減された合成画像が得られる。以下では、画像Ａにおいて黒つぶれ領域であるが画像Ｂでは被写体が識別可能に記録されている領域を「暗部」、画像Ｂにおいて白とび領域であるが画像Ａでは被写体が識別可能に記録されている領域を「明部」と呼ぶ。

合成画像を作成する合成処理は、以下のような既知の手法により実現される。合成処理は、たとえばダイナミックレンジ拡大処理と階調圧縮処理とから構成される。ダイナミックレンジ拡大処理は、画像Ａの輝度情報と画像Ｂの輝度情報を重畳して各画素の輝度の階調を増加させる処理である。このとき画像Ａの輝度情報と画像Ｂの輝度情報に、露光時間に応じた係数を乗じてもよい。なおここでは合成処理の処理対象として輝度情報のみを説明したが、ＲＧＢのそれぞれについて同様の処理を施してもよい。続く階調圧縮処理は、ダイナミックレンジ拡大処理により増加した各画素の輝度の階調を、後続する処理が対応可能な階調まで減少させる処理である。ただし距離情報生成部５０が高階調の画像を処理可能な場合は、階調圧縮処理を省略してもよい。このようにして作成された合成画像では、元の画像Ａおよび画像Ｂより高階調化されており、白飛びや黒つぶれが軽減される。ただし搭載車両が移動している場合には、画像Ａと画像Ｂでは被写体が異なる位置に撮影されるので、合成画像において被写体は不鮮明となる。この傾向は搭載車両の移動速度が速いほど顕著である。なお合成処理は距離情報生成部５０が実行する距離情報を算出する処理に比べると十分に処理負荷が低い。

（判定部）
判定部６０には、あらかじめ設定された７つの基準、すなわち第１基準〜第７基準が記憶されている。判定部６０がいずれの基準を採用するかは、外部からの入力、たとえば画像処理システムＳを使用するユーザによる設定、または不図示の通信インタフェースから受信する外部のサーバからの動作指令により決定される。判定部６０は、採用する基準、および搭載車両の状態などに基づき、距離情報生成部５０に入力する画像を決定する。以下では第１基準〜第７基準のそれぞれにおける判定部６０の動作を説明する。

（第１基準）
図２は、第１基準を採用する場合の判定部６０の動作を説明する図である。判定部６０は、第１基準を採用する場合は、搭載車両の車速を評価し、所定の速度Ｓ０より速いか否かを判断する。判定部６０は、搭載車両の車速がＳ０より速いと判断する場合は、画像Ａと画像Ｂを交互に出力することを指示するモード指令信号６００を第１画像合成部２０および第２画像合成部４０に出力する。判定部６０は、搭載車両の車速がＳ０以下であると判断する場合は、合成画像の出力を指示するモード指令信号６００を第１画像合成部２０および第２画像合成部４０に出力する。

図３は、第１基準を採用する場合の第１画像合成部２０の動作例を示す図である。ただし図３では、説明のために第１画像合成部２０は判定部６０から入力されるモード指令信号６００に関わらず合成画像を作成している。また図３では、作成された画像に時系列で連番を付与している。すなわち画像Ａ０の次に画像Ａ１が作成されたことを示している。またここでは合成画像に符号Ｃを付与して表し、合成画像Ｃは同一の番号の画像Ａおよび画像Ｂから作成されたことを示している。すなわち画像Ａ０と画像Ｂ０から画像Ｃ０が作成された。図３では図示左から右に時間が経過しており、図示する中央の時刻までは車速はＳ０より速かったが、それ以後は車速はＳ０以下となった。

このような場合において、車速がＳ０よりも速い場合は、第１画像合成部２０は非合成画像を交互に出力すべきことが指示される。そのため図３の最下段に、Ａ０、Ｂ１、Ａ２、Ｂ３と図示されているように画像Ａと画像Ｂが交互に距離情報生成部５０に入力される。そして車速がＳ０以下になると、第１画像合成部２０は合成画像を出力すべきことが指示されるので、合成画像が距離情報生成部５０に入力される。そのため認識処理部５は、車速がＳ０以下の場合は距離情報生成部５０が距離情報を算出するたびに暗部と明部に撮影された被写体の距離情報を得ることができる。なお、車速がＳ０以下の場合に、画像Ａと画像Ｂのそれぞれについて距離情報を算出することも可能であるが以下の問題がある。

図４は、上述した第１基準を採用する場合と、比較例１および比較例２を採用する場合の明部および暗部の距離情報の算出の可否を示す図である。図４の上段は、図３における右半分、すなわち車速がＳ０以下の場合に相当する。図４の上段に示す基準１の場合は、Ｃ４〜Ｃ７のそれぞれを使用して、正確には第２画像合成部４０が出力する同様の合成画像もあわせて使用して距離情報生成部５０は距離情報を生成する。そして合成画像では明部および暗部の情報が得られるので、いずれの画像を用いる場合にも明部および暗部の距離情報が得られる。基準１を採用する場合に、図４で示す範囲における距離情報の算出回数は４回である。

図４の中段に示す比較例１の場合は、合成画像を作成せずに画像Ａと画像Ｂのそれぞれを使用して距離情報を算出する。距離情報の算出に画像Ａを用いる場合は、明部の距離情報は得られるが暗部の距離情報は得られない。距離情報の算出に画像Ｂを用いる場合は、暗部の距離情報は得られるが明部の距離情報は得られない。すなわち、画像Ａを用いて算出した距離情報と、画像Ｂを用いて算出した距離情報とをあわせれば、第１基準を採用する場合と同様に、明部および暗部の距離情報が得られる。しかし比較例１において、図４で示す範囲における距離情報の算出回数は８回、すなわち基準１を採用する場合の２倍である。換言すると、第１基準を採用する場合は比較例１に比べて距離情報の計算コストを半分に抑えることができる。

図４の下段に示す比較例２の場合は、第１基準において車速がＳ０より速い場合と同様に、画像Ａおよび画像Ｂを交互に使用して距離情報を生成する。比較例２の場合は図４で示す範囲における距離情報の算出回数は４回であり、距離情報の計算コストは第１基準と同一である。しかし暗部および明部のそれぞれは、１回おきにしか距離情報が得られない。換言すると、第１基準を採用する場合は比較例２に比べて明度および暗部の距離情報の取得頻度が２倍である。

このように第１基準を採用すると、搭載車両の車速が所定値Ｓ０を上回る場合に、被写体のブレが少ない非合成画像を対象として距離情報を生成するので、距離情報生成部５０は遠方の被写体も精度よく距離情報を算出することができ、認識処理部５が遠方の被写体も認識できる。一方、搭載車両の車速が所定値Ｓ０以下の場合は、合成画像を対象として距離情報を生成するので、比較例１および比較例２との比較で示したように計算コストおよび距離情報の取得頻度の点で優れる。さらに第１基準を採用する場合には、車速が変化しても距離情報生成部５０に入力される画像の頻度、すなわちフレームレートが一定なので処理負荷の変動を防止することができる。なお以下に説明する第２基準〜第７基準では言及しないが、第２基準〜第７基準においても同様に、合成画像を使用する場合は比較例１および比較例２に対する利点を有する。

（第２基準）
図５は、第２基準を採用する場合の判定部６０の動作を説明する図である。判定部６０は、第２基準を採用する場合は、搭載車両の位置を評価し、搭載車両が市街地内と市街地外のいずれに居るかを判断する。この判断は、車両制御部４から提供される搭載車両の位置情報と市街地の位置情報に基づき判定部６０が自ら判断してもよいし、車両制御部４から入力される市街地内と市街地外のいずれかを示す信号により判断してもよい。判定部６０は、搭載車両が市街地外に存在すると判断する場合は、画像Ａと画像Ｂを交互に出力することを指示するモード指令信号６００を第１画像合成部２０および第２画像合成部４０に出力する。判定部６０は、搭載車両が市街地内に存在すると判断する場合は、合成画像の出力を指示するモード指令信号６００を第１画像合成部２０および第２画像合成部４０に出力する。第２基準を採用すると、画像処理装置３は搭載車両の所在地に基づき適切に距離情報を生成することができる。

（第３基準）
図６は、第３基準を採用する場合の判定部６０の動作を説明する図である。判定部６０は、第３基準を採用する場合は、搭載車両の車速および位置を評価する。判定部６０は、搭載車両が市街地内に存在し、かつ車速がＳ０以下であると判断する場合は、合成画像の出力を指示するモード指令信号６００を第１画像合成部２０および第２画像合成部４０に出力する。判定部６０は、それ以外の場合は、画像Ａと画像Ｂを交互に出力することを指示するモード指令信号６００を第１画像合成部２０および第２画像合成部４０に出力する。第３基準を採用すると、画像処理装置３は搭載車両の車速および所在地に基づき適切に距離情報を生成することができる。

（第４基準）
図７は、第４基準を採用する場合の判定部６０の動作を説明する図である。第４基準は第１基準と類似しており、車速が速度Ｓ０よりも速い場合に画像Ａと画像Ｂの比率が１：３である点が第１基準と異なる。第４基準において車速が速度Ｓ０よりも速い場合は、第１画像合成部２０は画像Ａを１枚出力した後に画像Ｂを３枚出力し、その後再び画像Ａを１枚出力する。第４基準は露光時間が長い画像Ｂの入力頻度が高いため、たとえば夜間や雨天時などの仕様が適している。なお夜間であってもヘッドライトに照らされる個所は光量が多いため、画像Ａを用いた認識が有効である。また本基準を採用する場合でも、車両状態によらず距離情報生成部５０に入力される画像のフレームレートは一定である。

（第５基準）
図８は、第５基準を採用する場合の判定部６０の動作を説明する図である。判定部６０は、第５基準を採用する場合は、搭載車両の車速および被写体までの距離を評価する。判定部６０は、被写体までの距離が所定の距離Ｌ０以下であり、かつ車速がＳ０以下であると判断する場合は、合成画像の出力を指示するモード指令信号６００を第１画像合成部２０および第２画像合成部４０に出力する。判定部６０は、それ以外の場合は、画像Ａと画像Ｂを交互に出力することを指示するモード指令信号６００を第１画像合成部２０および第２画像合成部４０に出力する。なお被写体が複数存在する場合は、最も近い被写体の距離を評価する。第５基準を採用すると、画像処理装置３は搭載車両の車速および被写体までの距離に基づき適切に距離情報を生成することができる。

（第６基準）
図９は搭載車両の前方を撮影して得られる画像の模式図であり、図９（ａ）は混雑時の状況を示す図、図９（ｂ）は非混雑時の状況を示す図である。第６基準では混雑の度合いを示す混雑度を利用する。混雑度は、渋滞情報などの交通情報を元に生成してもよいし、距離情報や車両周辺情報を元に生成してもよい。

図１０は、混雑度の生成例を示す図である。図１０には、白丸で示す時刻Ｔ０における被写体１２１０、１２１２、１２１４と、黒丸で示す時刻Ｔ０＋Δｔにおける被写体１２１１、１２１３、１２１５と、自車位置１２０１と、混雑度判定領域１２００とを示している。符号１２１０と符号１２１１で示す被写体は同一であり、符号１２１２と符号１２１３で示す被写体は同一であり、符号１２１４と符号１２１５で示す被写体は同一である。ここでは混雑度は、混雑度判定領域１２００に存在する被写体の数である。時刻Ｔ０では、混雑度判定領域１２００内の被写体数が０であるため、混雑度は０である。時刻Ｔ０＋Δｔでは、混雑度判定領域１２００内に被写体１２１１および被写体１２１３が存在するため、混雑度は２である。ただしここでは混雑度判定領域１２００を一つの領域としたが、混雑度判定領域１２００を複数の領域に分割し、領域により混雑度を算出する重みづけを変化させてもよい。

図１１は、第６基準を採用する場合の判定部６０の動作を説明する図である。判定部６０は、第６基準を採用する場合は、上述した混雑度を評価する。判定部６０は、混雑度が所定の混雑度Ｃ０以下であると判断する場合は画像Ａと画像Ｂを交互に出力することを指示するモード指令信号６００を第１画像合成部２０および第２画像合成部４０に出力する。判定部６０は混雑度が所定の混雑度Ｃ０より大きいと判断する場合は、合成画像の出力を指示するモード指令信号６００を第１画像合成部２０および第２画像合成部４０に出力する。

（第７基準）
図１２は、第７基準を採用する場合の判定部６０の動作を説明する図である。判定部６０は、第７基準を採用する場合は、搭載車両の車速および混雑度を評価する。判定部６０は、搭載車両の車速がＳ０より速いと判断する場合は、合成画像と非合成画像の割合を０：４とする。すなわち判定部６０は、非合成画像である画像Ａと画像Ｂを交互に出力することを指示するモード指令信号６００を第１画像合成部２０および第２画像合成部４０に出力する。判定部６０は、搭載車両の車速がＳ０以下であり、混雑度が所定の混雑度Ｃ０以下であると判断する場合は、次のモード指令信号６００を出力する。すなわち判定部６０は、合成画像と非合成画像の割合を１：３として出力することを指示するモード指令信号６００を第１画像合成部２０および第２画像合成部４０に出力する。判定部６０は、搭載車両の車速がＳ０以下であり、混雑度が所定の混雑度Ｃ０より大きいと判断する場合は、次のモード指令信号６００を出力する。すなわち判定部６０は、合成画像と非合成画像の割合を３：１として出力することを指示するモード指令信号６００を第１画像合成部２０および第２画像合成部４０に出力する。なお車速がＳ０以下の場合に、閾値Ｃ０を用いて２種類の比率を選択しているが、混雑度に応じて段階的に比率を変更してもよい。

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）画像処理装置３は、搭載車両に搭載される。画像処理装置３は、撮影感度の異なる複数の画像が入力される第１入力部１０および第２入力部３０と、複数の画像を用いて生成される高階調化された合成画像が入力される第１ポート５０ａおよび第２ポート５０ｂと、入力される画像を用いて所定の特徴情報を生成する距離情報生成部５０と、搭載車両の状態、および搭載車両の周囲の状態の少なくとも一方に基づき、距離情報生成部５０に入力する画像を、合成画像、画像Ａ、および画像Ｂのいずれかに決定する判定部６０と、を備える。そのため状況に応じて適切な画像を距離情報生成部５０に入力することで、明部の被写体および暗部の被写体、すなわち明るさに差がある複数の被写体の情報を効率よく得られる。

（２）距離情報生成部５０が生成する特徴情報は距離情報である。そのため距離情報を用いて搭載車両の周囲を認識することができる。

（３）判定部６０はさらに、車両の状態、および車両の周囲の状態の少なくとも一方に基づき距離情報生成部５０に入力する画像のフレームレートを決定する。そのため距離情報生成部５０の処理負荷を柔軟に調整できる。

（４）判定部６０は、車両の状態、および車両の周囲の状態に関わらず、距離情報生成部５０に入力する画像のフレームレートを所定の範囲内に維持する。そのため距離情報生成部５０の処理負荷の変動を抑制することができる。

（５）車両の状態とは、車両の速度、ハンドル操作情報、および車両の位置情報の少なくとも一つを含む。車両の周囲の状態とは、車両の周囲における混雑の程度、または車両から被写体までの距離を含む。

（６）第１入力部１０および第２入力部３０には第１撮像部１および第２撮像部２が撮影した視差を有する複数の画像が入力される。車両から被写体までの距離は、視差を有する複数の画像を用いて算出された距離である。そのため追加のセンサを用いることなく距離を算出することができる。

（７）搭載車両の周囲における混雑の程度は、搭載車両から被写体までの距離と、搭載車両に対する被写体の相対速度に基づき算出される。そのため搭載車両の付近に移動する被写体を相対速度から予測して混雑度を算出することができる。

（８）画像処理装置３は、第１入力部１０および第２入力部３０に入力された複数の画像を用いて合成画像を生成し第１ポート５０ａおよび第２ポート５０ｂに入力する第１画像合成部２０および第２画像合成部４０を備える。そのため画像処理装置３とともに用いられる他の装置が合成機能を有していない場合でも上述した効果を発揮することができる。

（変形例１）
第１撮像部１および第２撮像部２によるオートブラケット撮影は、２回ではなく３回以上行ってもよい。また第１撮像部１および第２撮像部２は、露光時間を一定としてレンズの絞り量やＩＳＯ感度を変えてもよいし、これらを併用してもよい。

（変形例２）
距離情報生成部５０が非合成画像を使用する場合において、上述した実施の形態では、Ａ０，Ｂ１，などのように異なるブラケット撮影で得られた画像を使用した。しかし同一のブラケット撮影で得られた画像を使用し、たとえば図３の左半分、すなわち非合成画像を用いる場合に、Ａ０，Ｂ０，Ａ２，Ｂ２，などの画像を使用してもよい。

（変形例３）
画像処理装置３は、第１撮像部１および第２撮像部２を含んで構成されてもよい。さらに画像処理装置３は、認識処理部５や車両制御部４を含んで構成されてもよい。本変形例によれば次の作用効果が得られる。
（９）画像処理装置３は、搭載車両の周囲を異なる感度で撮影し、撮影して得られた複数の画像を第１入力部１０および第２入力部３０に入力する第１撮像部１および第２撮像部２を備える。そのため画像処理装置３を第１撮像部１および第２撮像部２と接続する必要がなく、簡便に使用することができる。

（変形例４）
判定部６０には、第１基準〜第７基準の少なくとも１つの基準が記憶されていればよい。またいずれかの基準、たとえば第７基準がデフォルトで設定され、外部からの入力により変更可能な構成であってもよい。さらに判定部６０は、所定の基準、たとえば周囲の明るさや時間帯により第１基準〜第７基準のいずれかを自動で選択してもよい。

―第２の実施の形態―
図１３を参照して、画像処理装置の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、撮像部が画像を構成する機能を備える点で第１の実施の形態と異なる。

図１３は、第２の実施の形態における画像処理システムＳの構成図である。第１の実施の形態における図１との相違点は、第１撮像部１が第１画像合成部２０の機能を備え、第２撮像部２が第２画像合成部４０の機能を備える点である。そのため本実施の形態では、判定部６０からのモード指令信号６００は、第１入力部１０および第２入力部３０を経由して第１撮像部１および第２撮像部２に入力される。そして第１撮像部１および第２撮像部２は、モード指令信号６００に従い、非合成画像または合成画像を第１入力部１０および第２入力部３０に出力する。そして第１入力部１０および第２入力部３０は、入力された画像を距離情報生成部５０に出力する。

―第３の実施の形態―
図１４を参照して、画像処理装置の第３の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、画像処理システムＳが撮像部を１つのみ備える点で、第１の実施の形態と異なる。

図１４は、第３の実施の形態における画像処理システムＳの構成図である。第１の実施の形態における図１との相違点は、本実施の形態では第２撮像部２、第２入力部３０、および第２画像合成部４０を備えない点である。また本実施の形態では、距離情報生成部５０に代えて特徴情報生成部８０を備える。特徴情報生成部８０は、たとえば入力画像１０２に対するエッジ情報抽出処理、輪郭抽出処理、距離情報生成、パタンマッチング処理、分散値の算出、平均値の算出などを行う。

―第４の実施の形態―
図１５を参照して、画像処理装置の第４の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第３の実施の形態と同じである。本実施の形態では、主に、周囲の情報を取得するレーダ部をさらに備える点で、第３の実施の形態と異なる。

図１５は、第４の実施の形態における画像処理システムＳの構成図である。第３の実施の形態における図１４との相違点は、画像処理システムＳがレーダ部６をさらに備え、画像処理装置３が第２入力部７０をさらに備える点である。レーダ部６は、たとえば２次元または３次元のレーザ距離計である。第２入力部７０は、レーダ部６に出力指示５００を出力し、レーダ部６から距離情報５０１を取得する。第２入力部７０は、取得した距離情報５０１を距離情報７００として認識処理部５に出力する。ただし第２入力部７０は距離情報７００を特徴情報生成部８０にも出力してもよい。

―第５の実施の形態―
図１６〜図１７を参照して、画像処理装置の第５の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、撮影画像の領域に応じて処理を異ならせる点で、第１の実施の形態と異なる。

本実施の形態では、第１画像合成部２０および第２画像合成部４０は、撮影画像を複数の処理領域に分割し、モード指令信号６００に応じて処理領域毎に出力画像１０２、２０２の種類とフレームレートを変更する。また本実施の形態では、第１撮像部１および第２撮像部２は、８０ｆｐｓで撮影を行っている。また本実施の形態では、距離情報生成部５０は入力された撮影画像の領域ごとに距離情報を生成する。さらに第１画像合成部２０および第２画像合成部４０は、判定部６０から指定された頻度で撮影画像の領域ごとに画像を出力する。たとえばある領域について８０ｆｐｓでの出力を指定された場合は、その領域について入力された画像を毎回出力するが、４０ｆｐｓでの出力をされた場合は、１回おきに画像を出力する。

図１６は、撮影画像１２１５を処理領域に分割する一例を示す図である。図１６に示す例では、撮影画像を横方向に５分割、縦方向に３分割、合計で１５の領域に分割し、それぞれの領域をＴｙｐｅ−Ａ〜Ｄの４種類のいずれかに分類している。撮影画像１２１５の上部、すなわち最上段は空や遠方の風景が撮影される領域であり、中央の１領域を除いた４領域がＴｙｐｅ−Ｄに分類される。横方向の中央は、最下段を除いてＴｙｐｅ−Ｃに分類される。左右端の中段および下段は、Ｔｙｐｅ−Ａに分類される。そして残りの領域がＴｙｐｅ−Ｂである。Ｔｙｐｅ−Ｂの領域は、搭載車両のボンネットや走行する道路が撮影される領域である。Ｔｙｐｅ−Ａの領域は、搭載車両の左右前方に相当しており歩行者の飛び出しや移動体の接近など迅速な障害物の検知が求められる。

図１７は、第５の実施の形態に特有の基準である第８基準を採用する場合の判定部６０の動作を説明する図である。判定部６０は、第８基準を採用する場合は、搭載車両の車速が所定の速度Ｓ０より速いか否かを判断する。判定部６０は、車速が所定の速度Ｓ０よりも速いと判断する場合は、全ての領域について非合成画像を２０ｆｐｓで出力するように指示する。判定部６０は、車速が所定の速度Ｓ０以下であると判断する場合は、Ｔｙｐｅ−Ａの領域は合成画像を８０ｆｐｓで出力し、Ｔｙｐｅ−Ｂの領域は合成画像を４０ｆｐｓで出力し、Ｔｙｐｅ−Ｃの領域は非合成画像を２０ｆｐｓで出力し、Ｔｙｐｅ−Ｄの領域は非合成画像を１０ｆｐｓで出力するように指示する。

上述した第５の実施の形態によれば、次の作用効果が得られる。
（１０）判定部６０は、複数の画像のそれぞれを複数の判定領域に分割し、判定領域ごとに、車両の状態および車両の周囲の状態の少なくとも一方に基づき、距離情報生成部５０に入力する画像を、合成画像、画像Ａ，および画像Ｂのいずれかに決定する。

（１１）判定部６０は、搭載車両の状態および搭載車両の周囲の状態の少なくとも一方に基づき、判定領域ごとに距離情報生成部５０に入力する画像のフレームレートを決定する。そのため状況に応じて特に注意を要する領域のフレームレートを増加させることができる。さらに、空が撮影されている領域など距離情報を算出する必要性が乏しい領域のフレームレートを減少させ、距離情報生成部５０の負荷を減少させることができる。

―第６の実施の形態―
図１８〜図２０を参照して、画像処理装置の第６の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、距離情報生成部５０が動きベクトル情報を算出する点で、第１の実施の形態と異なる。

図１８は、距離情報生成部５０の構成図である。距離情報生成部５０は、処理画像選択部２０００と、パタンマッチング部２００１とを備える。処理画像選択部２０００は、モード指令信号６００に応じて、同じ時刻に入力される入力画像１０２と２０２を出力するか、時刻の異なる２種類の入力画像１０２（時刻Ｔ、時刻Ｔ―ｔ）を出力するかを切替える。パタンマッチング部２００１は、モード指令信号６００に応じて、同じ時刻に入力される入力画像１０２と２０２を元に距離情報を生成するか、時刻の異なる２種類の入力画像１０２（時刻Ｔ、時刻Ｔ―ｔ）を元に動きベクトル情報を生成するかを切替える。パタンマッチング部２００１で生成した距離情報または動きベクトル情報は、特徴情報５０１として出力する。なお入力画像１０２に代えて入力画像２０２を用いてもよい。

図１９は、距離情報生成部５０への動作指令を示す距離情報基準を採用する場合の判定部６０の動作を説明する図である。なお、距離情報生成部５０への動作指令に距離情報基準を採用する場合は、第１画像合成部２０および第２画像合成部４０への動作指令は同様の判断基準を用いる第６基準を採用してもよいし、他の基準を採用してもよい。判定部６０が距離情報基準を採用する場合は、搭載車両の車速および混雑度を評価する。車速が所定の速度Ｓ０よりも速い場合は、混雑度に関らず距離情報のみを生成することを指示するモード指令信号６００を出力する。車速が所定の速度Ｓ０以下でありかつ混雑度がＣ０以下の場合は、車両近傍の被写体の動きを検知するために、４フレーム中の１フレームは動きベクトル情報を生成し、残り３フレームは距離情報を生成することを指示するモード指令信号６００を出力する。また車速が所定の速度Ｓ０以下でありかつ混雑度がＣ０よりも大きい場合は、４フレーム中の２フレームは動きベクトル情報を生成し、残り２フレームは距離情報を生成することで、車両近傍の被写体の動き検知性能を向上させる。

図２０は、図１９で示した最後のケース、すなわち車速がＳ０以下でかつ混雑度がＣ０よりも大きい場合における、距離情報生成部５０の処理例を示す図である。図２０において、図示左から右に時間が経過している。図２０では、符号２２０１で示す白抜きの四角は動きベクトル情報生成処理を示し、符号２２００で示す黒塗りの四角は距離情報生成処理を示している。距離情報生成部５０は、図１９に示すように２フレームごとに処理を切替えている。

上述した第６の実施の形態によれば、次の作用効果が得られる。
（１２）距離情報生成部５０は、判定部６０の指令に基づき距離情報および動きベクトル情報を生成する比率を決定する。判定部６０は、搭載車両の状態、および搭載車両の周囲の状態の少なくとも一方に基づき、距離情報基準により、距離情報生成部５０が出力する距離情報および動きベクトル情報の比率を決定する。そのため画像処理装置３は、状況に応じて距離情報と動きベクトル情報を適切な比率で出力することができる。

上述した各実施の形態および変形例では、プログラムは不図示のＲＯＭに格納されるとしたが、プログラムは不図示の不揮発性メモリに格納されていてもよい。また、画像処理装置３が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースと画像処理装置３が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、たとえば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やＦＰＧＡにより実現されてもよい。

上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１…第１撮像部
２…第２撮像部
３…画像処理装置
４…車両制御部
５…認識処理部
１０…第１入力部
２０…第１画像合成部
３０…第２入力部
４０…第２画像合成部
５０…距離情報生成部
６０…判定部
７０…第２入力部
８０…特徴情報生成部
１２００…混雑度判定領域
２０００…処理画像選択部
２００１…パタンマッチング部

Claims (12)

1. 車両に搭載される画像処理装置であって、
   撮影感度の異なる複数の撮影画像が入力される撮影画像入力部と、
   前記複数の撮影画像を用いて生成される高階調化された合成画像が入力される合成画像入力部と、
   入力される画像を用いて所定の特徴情報を生成する特徴情報生成部と、
   前記車両の状態、および前記車両の周囲の状態の少なくとも一方に基づき、前記特徴情報生成部に入力する画像を、前記合成画像および前記撮影画像のいずれかに決定する判定部と、を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記特徴情報生成部が生成する特徴情報は距離情報、および動きベクトル情報の少なくとも一方である画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記判定部はさらに、前記車両の状態、および前記車両の周囲の状態の少なくとも一方に基づき前記特徴情報生成部に入力する画像のフレームレートを決定する画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記判定部は、前記車両の状態、および前記車両の周囲の状態に関わらず、前記特徴情報生成部に入力する画像のフレームレートを所定の範囲内に維持する画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記車両の状態とは、前記車両の速度、および前記車両の位置情報の少なくとも一つを含み、
   前記車両の周囲の状態とは、前記車両の周囲における混雑の程度、または前記車両から被写体までの距離を含む画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記撮影画像入力部には視差を有する前記撮影画像の組み合わせが複数の前記撮影感度についてそれぞれ入力され、
   前記合成画像入力部には前記視差を有する複数の前記合成画像が入力され、
   前記車両から前記被写体までの距離は、前記視差を有する複数の前記撮影画像または前記合成画像を用いて算出された距離である画像処理装置。
7. 請求項５に記載の画像処理装置において、
   前記車両の周囲における混雑の程度は、前記車両から前記被写体までの距離と、前記車両に対する前記被写体の相対速度に基づき算出される画像処理装置。
8. 請求項１に記載の画像処理装置において、
   前記判定部はさらに、前記撮影画像および前記合成画像のそれぞれを複数の判定領域に分割し、前記判定領域ごとに、前記車両の状態および前記車両の周囲の状態の少なくとも一方に基づき、前記特徴情報生成部に入力する画像を、前記合成画像および前記撮影画像のいずれかに決定する画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記判定部はさらに、前記車両の状態および前記車両の周囲の状態の少なくとも一方に基づき、前記判定領域ごとに前記特徴情報生成部に入力する画像のフレームレートを決定する画像処理装置。
10. 請求項２に記載の画像処理装置において、
    前記判定部はさらに、前記車両の状態、および前記車両の周囲の状態の少なくとも一方に基づき、前記特徴情報生成部が生成する前記距離情報および前記動きベクトル情報の比率を決定する画像処理装置。
11. 請求項１に記載の画像処理装置において、
    前記車両の周囲を異なる撮影感度で複数回撮影し、撮影して得られた前記複数の撮影画像を前記撮影画像入力部に入力する撮像部をさらに備える画像処理装置。
12. 請求項１に記載の画像処理装置において、
    前記撮影画像入力部に入力された前記複数の撮影画像を用いて前記合成画像を生成し前記合成画像入力部に入力する画像合成部をさらに備える画像処理装置。
    

Images