JP2009044451A

JP2009044451A - 画像処理装置、車載用画像処理装置および車載用画像処理方法

Info

Publication number: JP2009044451A
Application number: JP2007207062A
Authority: JP
Inventors: Yoshiaki Kohama; 義明小濱
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2007-08-08
Filing date: 2007-08-08
Publication date: 2009-02-26

Abstract

【課題】車載用画像処理装置において、カメラ出力の広いダイナミックレンジに対応して、画像における“黒つぶれ”および“白とび”を回避する。
【解決手段】本発明の車載用画像処理装置１０は、画素選択画像認識処理部１１ｃが、画像明暗判定部１１ｂによって“白とび”が認識された場合に、光透過率の低い第１のフィルタ部分に対応する画素を使用して画像認識処理をおこない、画像明暗判定部１１ｂによって“黒つぶれ”が認識された場合に、光透過率の高い第２のフィルタ部分に対応する画素を使用して画像認識処理をおこなうことによって、入射する光量の過剰・不足を緩和し、“白とび”および“黒つぶれ”を改善する。
【選択図】図２

Description

本発明は、撮像素子を構成する各画素に対応するように第１の光透過率のフィルタ部分および該第１の光透過率より高い第２の光透過率のフィルタ部分を交互に並べて形成されているフィルタを介して撮像された画像に基づいて画像認識する画像処理装置、車載用画像処理装置および車載用画像処理方法に関し、特に、簡易な構成で、カメラ出力の広いダイナミックレンジに対応して、画像における“黒つぶれ”および“白とび”を回避することが可能な画像処理装置、車載用画像処理装置および車載用画像処理方法に関する。

従来から、車両のルームミラー付近に設置されるカメラで車両の前方を撮影し、そのカメラ画像を画像処理することによって路面上の白線や前方車両を認識する車載用画像処理装置が知られている。かかる画像認識処理装置では、例えば、トンネルの出入り口、橋梁やビルの陰、逆光を受ける状況などにおいてカメラのダイナミックレンジが不足することにより、カメラ画像において、“白とび”と呼ばれる光量が飽和する部分や、“黒つぶれ”と呼ばれる光量が不足する部分が発生し、白線や前方車両の認識に影響するという問題が発生することがあった。

例えば、図１１−１に例を示すように、トンネルの入り口付近で、画像手前のトンネル外の明るい部分に合わせて露出が調整されているため、この明るい部分は鮮明に画像認識されるが、画像奥のトンネル内部の暗い部分では露出不足となって、画像認識対象が黒い画像ノイズに埋没してしまう“黒つぶれ”が発生し、前方車両を画像認識することができない。

また、例えば、図１１−２に例を示すように、トンネルの出口付近で、画像手前のトンネル内の暗い部分に合わせて露出が調整されているため、この暗い部分は鮮明に画像認識されるが、画像奥のトンネル外部の明るい部分では露出過剰となって、画像認識対象が白い画像ノイズに埋没してしまう“白とび”が発生し、前方車両を画像認識することができない。

いうまでもなく、画像認識処理装置は、昼、夜、トンネル、逆光などの光量のレンジが広くなる環境においても白線や前方車両を正確に認識する必要がある。しかし、昼や逆光などの光量が多い明るい状況に対応するためにＦ値の大きいレンズを使用すると、夜やトンネルなどの光量が少ない暗い状況では、カメラのシャッター時間を最大にしても感度が不足し、“黒つぶれ”が発生して白線や前方車両を正確に認識することが不可能になる。

一方、夜やトンネルなどの光量が少ない暗い状況に対応するためにＦ値の小さいレンズを使用すると、昼や逆光などの光量が多い明るい状況では、カメラのシャッター時間を最少にしても感度が過剰になり、“白とび”が発生して、やはり白線や前方車両を正確に認識することが不可能になる。

このような問題を解決するために、現在では、撮影対象の輝度値に対する出力が対数特性を有して変化する高ダイナミックレンジのカメラが考案されている（図１２−１参照）。このカメラによれば、カメラへの入射光量に対してカメラのセンサ出力が比例するのではなく、入射光量が多くなればなるほど感度を抑制してセンサ出力を比較的抑制するので、“黒つぶれ”や“白とび”の発生を抑制することが可能になる。しかし、画像全体のコントラストを低下させてしまうことになっていた。一般に、画像認識処理は、コントラスト差に基づいて特徴を抽出することによっておこなわれるため、コントラストの低下は、画像認識処理の精度の低下につながる要因となっていた。

また、撮影対象の範囲を複数の区画に分割し、この区画ごとに適合する異なるシャッター時間で撮影をおこなった画像を合成することによって、暗い部分での“黒つぶれ”や明るい部分の“白とび”を抑制するカメラが考案されている（図１２−２参照）。しかし、このカメラは、異なるシャッター時間で撮影された画像を合成する境界で画像の不整合が発生する可能性がある。肉眼では識別できないほどの不整合であっても、画像認識処理では認識精度に大きな影響を与える可能性がある。この不整合を除去するために画像補正処理をおこなう必要が生じ、処理負担の増大を招くという問題があった。

そこで、特許文献１〜４に示すように、イメージセンサを構成する各画素に対応する光透過率が高いものと低いものとを交互に並べて形成されているフィルタを有するカメラを備える画像処理装置が考案されている。例えば、特許文献１に開示される画像処理装置は、低い透過率のフィルタに対応する画素の感度を補正して、全体的に感度が均一となる画像を得ることができる画像処理装置が開示されている。

また、特許文献２および３には、高い光透過率のフィルタに対応する画素のカメラ出力が飽和した場合には、低い光透過率のフィルタに対応する画素のカメラ出力に基づいて画像を取得し、“白とび”の発生を回避することが可能な撮像装置が開示されている。

また、特許文献４には、各画素に対応する液晶フィルタの光透過率を、撮像素子に照射される光量に応じて変化させることによって、“黒つぶれ”や“白とび”を回避することが可能な電子スチルカメラ装置が開示されている。

特開２００３−３０９８５７号公報特開２０００−４１１８９号公報特開平７−１１５６４３号公報特開平６−７０２２５号公報

しかしながら、上記特許文献１に代表される従来技術では、低い透過率のフィルタに対応する画素、すなわち照射光量が多い画素の感度を制限することはできるものの、逆に、高い透過率のフィルタに対応する画素、すなわち照射光量が少ない画素の感度を高めることが出来ず、カメラ出力のダイナミックレンジが広い場合に完全に対応し切れなかった。

また、上記特許文献２および３に代表される従来技術では、“白とび”の発生を回避することはできるものの、低い光透過率のフィルタに対応する画素のカメラ出力が不足した場合に、カメラ出力を適切に高めることができなかった。

また、上記特許文献４に代表される従来技術では、各画素に対応する液晶フィルタの光透過率を撮像素子に照射される光量に応じて柔軟に変化させることができるものの、各画素に対応する液晶フィルタの光透過率を個別に制御しなければならず、制御にかかる処理負担が大きく、回路構成も複雑になってしまうというデメリットがあった。

本発明は、上記問題点（課題）を解消するためになされたものであって、本来、画像認識処理のために使用する画像認識処理装置は、撮像対象が“何”であるかを認識することが可能であれば十分であるので、この最低要件を満たす簡易な構成で、カメラ出力の広いダイナミックレンジに対応して、画像における“黒つぶれ”および“白とび”を回避することが可能な車載用画像処理装置および車載用画像処理方法を提供することを目的とする。

上述した問題を解決し、目的を達成するため、本発明は、撮像素子を構成する各画素に対応するように第１の光透過率のフィルタ部分および該第１の光透過率より高い第２の光透過率のフィルタ部分を交互に並べて形成されているフィルタを介して撮像された画像に基づいて対象物を画像認識する画像処理装置および車載用画像処理装置であって、前記フィルタを介して撮像された画像を取得する画像取得手段と、前記画像取得手段によって取得された画像の白とび部分を識別する白とび部分識別手段と、前記白とび部分識別手段によって前記画像の白とび部分が識別された場合に、該画像を前記第１の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識する第１の画像認識手段と、前記画像取得手段によって取得された画像の黒つぶれ部分を識別する黒つぶれ部分識別手段と、前記黒つぶれ部分識別手段によって前記画像の黒つぶれ部分が識別された場合に、該画像を前記第２の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識する第２の画像認識手段と、前記第１の画像認識手段および前記第２の画像認識手段による画像認識結果に基づいて前記対象物の画像認識結果を統合した統合画像認識結果を取得する画像認識結果統合手段とを有することを特徴とする。

また、本発明は、上記発明において、レーダ装置によって検知された前記対象物を含んで撮像された画像における該対象物の存在領域を特定するレーダ検知対象物存在領域特定手段をさらに有し、前記白とび部分識別手段は、前記レーダ検知対象物存在領域特定手段によって特定された前記対象物の存在領域の画像の白とび部分を識別し、前記第１の画像認識手段は、前記白とび部分識別手段によって前記対象物の存在領域の画像の白とび部分が識別された場合に、該画像を前記第１の光透過率のフィルタ部分を介して撮像された画像に基づいて該対象物を画像認識し、前記黒つぶれ部分識別手段は、前記レーダ検知対象物存在領域特定手段によって特定された前記対象物の存在領域の画像の黒つぶれ部分を識別し、前記黒つぶれ部分識別手段によって前記対象物の存在領域の画像の黒つぶれ部分が識別された場合に、該画像を前記第２の光透過率のフィルタ部分を介して撮像された画像に基づいて該対象物を画像認識することを特徴とする。

また、本発明は、上記発明において、カーナビゲーション装置から取得された情報に基づいて、前記画像に白とび部分が存在しうる、または前記画像に黒つぶれ部分が存在しうる状況であるか否かを判定する第１の判定手段をさらに有し、前記第１の画像認識手段は、前記第１の判定手段によって前記画像に白とび部分が存在しうる状況であると判定された場合に、前記第１の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識し、前記第２の画像認識手段は、前記第１の判定手段によって前記画像に黒とび部分が存在しうる状況であると判定された場合に、前記第２の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識することを特徴とする。

また、本発明は、上記発明において、日付情報および時刻情報に基づいて、前記画像に白とび部分が存在しうる、または前記画像に黒つぶれ部分が存在しうる状況であるか否かを判定する第２の判定手段をさらに有し、前記第１の画像認識手段は、前記第２の判定手段による判定結果にかかわらず、前記画像を前記第１の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識し、前記第２の画像認識手段は、前記第２の判定手段による判定結果にかかわらず、前記画像を前記第２の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識し、前記画像認識結果統合手段は、前記第２の判定手段によって前記画像に白とび部分が存在しうると判定された場合に前記第１の画像認識手段による画像認識結果を前記統合画像認識結果とし、前記第２の判定手段によって前記画像に黒つぶれ部分が存在しうると判定された場合に前記第２の画像認識手段による画像認識結果を前記統合画像認識結果とし、前記第２の判定手段によって前記画像に白とび部分または黒つぶれ部分が存在すると判定されなかった場合に、前記第１の画像認識手段および前記第２の画像認識手段による前記対象物の画像認識結果を統合した統合画像認識結果を取得することを特徴とする。

また、本発明は、上記発明において、車両周辺の照度情報に基づいて、または、車両の前照灯もしくは車幅灯の点灯に基づいて、前記画像に白とび部分が存在しうる、または前記画像に黒つぶれ部分が存在しうる状況であるか否かを判定する第３の判定手段をさらに有し、前記第１の画像認識手段は、前記第３の判定手段による判定結果にかかわらず、前記画像を前記第１の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識し、前記第２の画像認識手段は、前記第３の判定手段による判定結果にかかわらず、前記画像を前記第２の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識し、前記画像認識結果統合手段は、前記第３の判定手段によって前記画像に白とび部分が存在しうると判定された場合に前記第１の画像認識手段による画像認識結果を前記統合画像認識結果とし、前記第３の判定手段によって前記画像に黒つぶれ部分が存在しうると判定された場合に前記第２の画像認識手段による画像認識結果を前記統合画像認識結果とし、前記第３の判定手段によって前記画像に白とび部分または黒つぶれ部分が存在すると判定されなかった場合に、前記第１の画像認識手段および前記第２の画像認識手段による前記対象物の画像認識結果を統合した統合画像認識結果を取得することを特徴とする。

また、本発明は、上記発明において、前記画像認識結果統合手段は、前記対象物ごとに、前記第１の画像認識手段または前記第２の画像認識手段による画像認識結果に基づいて該対象物の画像認識結果を統合した統合画像認識結果を取得することを特徴とする。

また、本発明は、撮像素子を構成する各画素に対応するように第１の光透過率のフィルタ部分および該第１の光透過率より高い第２の光透過率のフィルタ部分を交互に並べて形成されているフィルタを介して撮像された画像に基づいて対象物を画像認識する車載用画像処理方法であって、レーダ装置によって検知された対象物を含んで撮像された画像における該対象物の存在領域を特定するレーダ検知対象物存在領域特定ステップと、前記フィルタを介して撮像された画像を取得する画像取得ステップと、前記レーダ検知対象物存在領域特定ステップによって特定された前記対象物の存在領域の前記画像の白とび部分を識別する白とび部分識別ステップと、前記白とび部分識別ステップによって前記対象物の存在領域の画像の白とび部分が識別された場合に、該画像を前記第１の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識する第１の画像認識ステップと、前記レーダ検知対象物存在領域特定ステップによって特定された前記対象物の存在領域の前記画像の黒つぶれ部分を識別する黒つぶれ部分識別ステップと、前記黒つぶれ部分識別ステップによって前記対象物の存在領域の画像の黒つぶれ部分が識別された場合に、該画像を前記第２の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識する第２の画像認識ステップと、前記第１の画像認識ステップまたは前記第２の画像認識ステップによる画像認識結果に基づいて前記対象物の画像認識結果を統合した統合画像認識結果を取得する画像認識結果統合ステップとを含むことを特徴とする。

本発明によれば、取得画像の白とびまたは黒つぶれに応じて、第１の光透過率のフィルタ部分または第２の光透過率のフィルタ部分を介して撮像された画像に基づく対象物の画像認識結果に基づいて該対象物の画像認識結果を統合した統合画像認識結果を取得するので、対象物の明るさに応じて異なる光透過率で撮像した画像に基づいて、該対象物の画像認識精度を向上させることが可能になるという効果を奏する。

また、本発明によれば、レーダ装置によって予め存在が検知されている対象物が取得画像において存在する領域に限定して白とびまたは黒つぶれを識別し、この識別結果に応じて第１の光透過率のフィルタ部分または第２の光透過率のフィルタ部分を介して撮像された画像に基づく対象物の画像認識結果に基づいて該対象物の画像認識結果を統合した統合画像認識結果を取得するので、効率的により高い精度で該対象物の画像認識をおこなうことが可能になるという効果を奏する。

また、本発明によれば、カーナビゲーション装置から取得された情報に基づいて白とびまたは黒つぶれの発生を予測し、この予測結果に応じて第１の光透過率のフィルタ部分または第２の光透過率のフィルタ部分を介して撮像された画像に基づく対象物の画像認識結果に基づいて該対象物の画像認識結果を統合した統合画像認識結果を取得するので、効率的により高い精度で該対象物の画像認識をおこなうことが可能になるという効果を奏する。

また、本発明によれば、日付情報および時刻情報に基づいて白とびまたは黒つぶれの発生を予測し、この予測結果に応じて第１の光透過率のフィルタ部分または第２の光透過率のフィルタ部分を介して撮像された画像に基づく対象物の画像認識結果に基づいて該対象物の画像認識結果を統合した統合画像認識結果を取得するので、効率的により高い精度で該対象物の画像認識をおこなうことが可能になるという効果を奏する。

また、本発明によれば、車両周辺の照度情報に基づいて、または、車両の前照灯もしくは車幅灯の点灯に基づいて白とびまたは黒つぶれの発生を予測し、この予測結果に応じて第１の光透過率のフィルタ部分または第２の光透過率のフィルタ部分を介して撮像された画像に基づく対象物の画像認識結果に基づいて該対象物の画像認識結果を統合した統合画像認識結果を取得するので、効率的により高い精度で該対象物の画像認識をおこなうことが可能になるという効果を奏する。

また、本発明によれば、対象物それぞれの特性に応じた光透過率で撮像され画像認識されるので、効率的により高い精度で該対象物の画像認識をおこなうことが可能になるという効果を奏する。

以下に添付図面を参照し、本発明の車載用画像処理装置および車載用画像処理方法にかかる実施例を詳細に説明する。なお、以下の実施例は、車載用の画像処理装置および画像処理方法について説明することとするが、これに限定されるものではなく、本発明は、一般的な画像処理装置および画像処理方法に広く適用可能である。

先ず、実施例１にかかる車載用画像処理装置が備える光学フィルタについて説明する。図１は、実施例１にかかる光学フィルタの概要を示す図である。同図に示すように、光学フィルタ１４ｂは、車載用画像処理装置に接続される撮像装置（後述のイメージセンサ部１４に相当）内において、光学レンズ１４ｃと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ１４ａとの間に位置する。光学レンズ１４ｃに入射した光は、すべて光学フィルタ１４ｂを介してＣＯＭＳセンサ１４ａへと到達する。

光学フィルタ１４ｂは、図示するように、光透過率が第１の値である部分（以下、第１のフィルタ部分と呼ぶ）と、光透過率が第１の値より大きい第２の値である部分（以下、第２のフィルタ部分と呼ぶ）とが、ＣＭＯＳセンサ１４ａの各画素に対応するように、マトリックス状に交互に配置されている。

次に、実施例１にかかる車載用画像処理装置の構成について説明する。図２は、実施例１にかかる車載用画像処理装置の構成を示す機能ブロック図である。同図に示すように、実施例１にかかる車載用画像処理装置１０は、車両１において、ＣＡＮ（Controller Area Network）などの車載有線ネットワーク１００を介して、車載用画像処理装置１０へカーナビゲーション情報、日付情報、時刻情報などを受け渡すカーナビゲーション装置２０と、車両１の前方の物体の存在を電波（ミリ波など）や音波などの反射波で検知した結果を車載用画像処理装置１０へ受け渡すレーダ装置３０と、車両１の周囲の照度を検知した結果を車載用画像処理装置１０へ受け渡す照度検知装置４０と、車両１が備える車幅灯やヘッドライトの点灯状況を車載用画像処理装置１０へ通知する車幅灯・ヘッドライト装置５０とが接続されている。

また、車載用画像処理装置１０は、ディスプレイ装置などの表示手段である表示部１３が接続されている。さらに、車載用画像処理装置１０は、撮像装置であるイメージセンサ部１４が接続されている。このイメージセンサ部１４は、ＣＭＯＳセンサ１４ａと、光学フィルタ１４ｂと、光学レンズ１４ｃとを含んで構成される。イメージセンサ部１４のＣＭＯＳセンサ１４ａは、光学レンズ１４ｃおよび光学フィルタ１４ｂを介して、撮像対象物の映像を取得し、画像に変換して、車載用画像処理装置１０へと受け渡す。また、車載用画像処理装置１０は、記憶部１２を含み、記憶部１２は、画像バッファ１２ａを含む。

車載用画像処理装置１０は、制御部１１と、記憶部１２とを有する。制御部１１は、車載用画像処理装置１０の全体制御をつかさどるマイクロ・コンピュータなどの制御手段であり、特に、実施例１に密接に関係する構成要素としては、画像取得処理部１１ａと、画像明暗判定部１１ｂと、画素選択画像認識処理部１１ｃと、画素選択画像認識処理結果統合部１１ｄとを有する。

画像取得処理部１１ａは、予め定められる車載用画像処理装置１０のフレームレートに基づく画像更新周期の画像取り込み期間においてイメージセンサ部１４から入力されるカメラ出力に基づき画像を取得し、記憶部１２の画像バッファ１２ａに展開する。

画像明暗判定部１１ｂは、画像取得処理部１１ａによって取得され、画像バッファ１２ａに展開されている画像の全体もしくは部分的に発生している“白とび”または“黒つぶれ”を認識する。画素選択画像認識処理部１１ｃは、画像明暗判定部１１ｂによって“白とび”が認識された（すなわち、イメージセンサ部１４に入射する光量が過剰である）場合に、第１のフィルタ部分に対応する画素のみを使用して画像認識処理をおこない、この処理結果を画像バッファ１２ａに記憶する。第１のフィルタ部分は、第２のフィルタ部分と比較して光透過率が低く、過剰な光量の入射を制限するので、“白とび”が改善される。

また、画素選択画像認識処理部１１ｃは、画像明暗判定部１１ｂによって“黒つぶれ”が認識された（すなわち、イメージセンサ部１４に入射する光量が不足している）場合に、第２のフィルタ部分に対応する画素のみを使用して画像認識処理をおこない、この処理結果を画像バッファ１２ａに記憶する。第２のフィルタ部分は、第１のフィルタ部分と比較して光透過率が高いので、入射する光量の不足を緩和するので、“黒つぶれ”が改善される。

画素選択画像認識処理結果統合部１１ｄは、画素選択画像認識処理部１１ｃによって“白とび”が改善された認識画像および“黒つぶれ”が改善された画像認識結果を統合して、全体として“白とび”も“黒つぶれ”も存在しない統合画像認識結果を取得し、この統合画像認識結果を画像バッファ１２ａに記憶する。この統合画像認識結果が、画素選択画像認識処理結果統合部１１ｄによって画像バッファ１２ａから読み出され、表示部１３に表示されることとなる。

次に、実施例１の画像処理について説明する。図３は、実施例１の画像処理手順を示すフローチャートである。同図に示すように、車載用画像処理装置１０の制御部１１の画像取得処理部１１ａは、イメージセンサ部１４を介して撮像された画像を取得し、画像バッファ１２ａに展開する（ステップＳ１０１）。続いて、制御部１１は、ステップＳ１０１で取得された画像の明暗に基づいて画像認識処理（「明暗に基づく画像認識処理」）をおこなう（ステップＳ１０２）。「明暗に基づく画像認識処理」の詳細は、図４を参照して後述する。この処理が終了すると、画像処理は終了する。

次に、図３のステップＳ１０２の「明暗に基づく画像認識処理」について説明する。図４は、明暗に基づく画像認識処理手順を示すフローチャートである。同図に示すように、先ず、制御部１１の画像明暗判定部１１ｂは、処理対象の画像に白とびしている部分があるか否かを判定する（ステップＳ１１１）。処理対象の画像に白とびしている部分があると判定された場合（ステップＳ１１１肯定）に、ステップＳ１１２へ移り、処理対象の画像に白とびしている部分があると判定されなかった場合（ステップＳ１１１否定）に、ステップＳ１１６へ移る。

ステップＳ１１２では、画素選択画像認識処理部１１ｃは、第２のフィルタ部分に対応する画素を選択して画像認識処理をおこなう。続いて、画像明暗判定部１１ｂは、処理対象の画像に黒つぶれしている部分があるか否かを判定する（ステップＳ１１３）。処理対象の画像に黒つぶれしている部分があると判定された場合（ステップＳ１１３肯定）に、ステップＳ１１４へ移り、処理対象の画像に黒つぶれしている部分があると判定されなかった場合（ステップＳ１１３否定）に、図３の画像処理に復帰する。

ステップＳ１１４では、画素選択画像認識処理部１１ｃは、第１のフィルタ部分に対応する画素を選択して画像認識処理をおこなう。続いて、画素選択画像認識処理結果統合部１１ｄは、ステップＳ１１２およびステップＳ１１４による画像認識結果を統合する（ステップＳ１１５）。この統合によって、処理対象の画像の白とび部分および黒つぶれ部分を改善して、画像の全領域について、正確に画像認識をおこなうことが可能になる。

他方、ステップＳ１１６では、画像明暗判定部１１ｂは、処理対象の画像に黒つぶれしている部分があるか否かを判定する。処理対象の画像に黒つぶれしている部分があると判定された場合（ステップＳ１１６肯定）に、ステップＳ１１７へ移り、処理対象の画像に黒つぶれしている部分があると判定されなかった場合（ステップＳ１１６否定）に、ステップＳ１１８へ移る。ステップＳ１１７では、画素選択画像認識処理部１１ｃは、第１のフィルタ部分に対応する画素を選択して画像認識処理をおこない、図３の画像処理に復帰する。一方、ステップＳ１１８では、画素選択画像認識処理部１１ｃは、事前の設定に従い第１のフィルタ部分に対応する画素（もしくは第２のフィルタ部分に対応する画素）を選択して画像認識処理をおこない、図３の画像処理に復帰する。

なお、図３に示した画像処理手順に代えて、他の実施例の画像処理手順を実行することとしてもよい。図５は、実施例１の画像処理手順（他の実施例その１）を示すフローチャートである。同図に示すように、車載用画像処理装置１０の制御部１１の画像取得処理部１１ａは、イメージセンサ部１４を介して撮像された画像を取得し、画像バッファ１２ａに展開する（ステップＳ１２１）。

続いて、画像明暗判定部１１ｂは、レーダ装置３０から車両１の前方の物体の存在をしめす物体検知信号を取得する（ステップＳ１２２）。続いて、画像明暗判定部１１ｂは、ステップＳ１２２で取得された物体検知信号に基づいて、前方画像内において画像認識対象が存在する領域を特定する（ステップＳ１２３）。続いて、制御部１１は、ステップＳ１２１で取得された画像の領域のうち、ステップＳ１２３で特定された画像認識対象存在領域の明暗に基づいて画像認識処理（「明暗に基づく画像認識処理」）をおこなう（ステップＳ１２４）。「明暗に基づく画像認識処理」の詳細は、図４に示したとおりである。この処理が終了すると、他の実施例その１の画像処理は終了する。

また、図４に示した明暗に基づく画像認識処理手順に代えて、さらに他の実施例の明暗に基づく画像認識処理手順を実行することとしてもよい。図６は、実施例１の明暗に基づく画像認識処理手順（他の実施例その２）を示すフローチャートである。同図に示すように、車載用画像処理装置１０の制御部１１の画像取得処理部１１ａは、イメージセンサ部１４を介して撮像された画像を取得し、画像バッファ１２ａに展開する（ステップＳ１３１）。

続いて、画像明暗判定部１１ｂは、カーナビゲーション装置２０からナビゲーション情報（位置情報、日付情報、時刻情報、トンネル情報など）を取得する（ステップＳ１３２）。続いて、画像明暗判定部１１ｂは、ステップＳ１３１で取得された画像の画像認識において、広いダイナミックレンジが必要であるか否かを判定する（ステップＳ１３３）。広いダイナミックレンジが必要であると判定された場合（ステップＳ１３３肯定）に、ステップＳ１３４へ移り、広いダイナミックレンジが必要であると判定されなかった場合（ステップＳ１３３否定）に、ステップＳ１３５へ移る。

ステップＳ１３４では、制御部１１は、ステップＳ１３１で取得された画像の明暗に基づいて画像認識処理（「明暗に基づく画像認識処理」）をおこなう。「明暗に基づく画像認識処理」の詳細は、図４に示したとおりである。この処理が終了すると、他の実施例その２の画像処理は終了する。一方、ステップＳ１３５では、画素選択画像認識処理部１１ｃは、事前の設定に従い第１のフィルタ部分に対応する画素（もしくは第２のフィルタ部分に対応する画素）を選択して画像認識処理をおこない、他の実施例その２の画像処理は終了する。

また、図３および図５に示した画像処理手順に代えて、さらに他の実施例の画像処理手順を実行することとしてもよい。図７は、実施例１の画像処理手順（他の実施例その３）を示すフローチャートである。同図に示すように、車載用画像処理装置１０の制御部１１の画像取得処理部１１ａは、イメージセンサ部１４を介して撮像された画像を取得し、画像バッファ１２ａに展開する（ステップＳ１４１）。

続いて、画像明暗判定部１１ｂは、車載用画像処理装置１０のシステム時刻もしくはカーナビゲーション装置２０から時刻情報を取得する（ステップＳ１４２）。これらシステム時刻および時刻情報は、月日情報および事項情報を含む。続いて、画像明暗判定部１１ｂは、ステップＳ１４１で取得された画像の画像認識において、広いダイナミックレンジが必要であるか否かを判定する（ステップＳ１４３）。広いダイナミックレンジが必要であると判定された場合（ステップＳ１４３肯定）に、ステップＳ１４４へ移り、広いダイナミックレンジが必要であると判定されなかった場合（ステップＳ１４３否定）に、ステップＳ１４５へ移る。

ステップＳ１４４では、制御部１１は、ステップＳ１４２で取得されたシステム時刻もしくはカーナビゲーション装置２０からの時刻情報に基づいて画像認識処理（「時刻に基づく画像認識処理」）をおこなう。「時刻に基づく画像認識処理」の詳細は、図８を参照して後述する。この処理が終了すると、他の実施例その３の画像処理は終了する。一方、ステップＳ１４５では、画素選択画像認識処理部１１ｃは、事前の設定に従い第１のフィルタ部分に対応する画素（もしくは第２のフィルタ部分に対応する画素）を選択して画像認識処理をおこない、他の実施例その３の画像処理は終了する。

次に、図７のステップＳ１４４でおこなわれる「時刻に基づく画像認識処理」について説明する。図８は、時刻に基づく画像認識処理手順を示すフローチャートである。同図に示すように、先ず、画像明暗判定部１１ｂは、図７のステップＳ１４２で取得されたシステム時刻もしくは時刻情報に基づいて、現在時刻が夏季の昼間など光量が多い時間帯であるか否かを判定する（ステップＳ１５１）。現在時刻が夏季の昼間など光量が多い時間帯であると判定された場合（ステップＳ１５１肯定）に、ステップＳ１５２へ移り、現在時刻が夏季の昼間など光量が多い時間帯であると判定されなかった場合（ステップＳ１５１否定）に、ステップＳ１５３へ移る。ステップＳ１５２では、画素選択画像認識処理部１１ｃは、第２のフィルタ部分に対応する画素を選択して画像認識処理をおこない、図７の画像処理手順（他の実施例その３）へ復帰する。

他方、ステップＳ１５３では、画像明暗判定部１１ｂは、図７のステップＳ１４２で取得されたシステム時刻もしくは時刻情報に基づいて、現在時刻が夜間か否かを判定する。現在時刻が夜間であると判定された場合（ステップＳ１５３肯定）に、ステップＳ１５４へ移り、現在時刻が夜間であると判定されなかった場合（ステップＳ１５３否定）に、ステップＳ１５５へ移る。

ステップＳ１５４では、画素選択画像認識処理部１１ｃは、第１のフィルタ部分に対応する画素を選択して画像認識処理をおこない、図７の画像処理手順（他の実施例その３）へ復帰する。

一方、ステップＳ１５５では、画素選択画像認識処理部１１ｃは、第１のフィルタ部分に対応する画素および第２のフィルタ部分に対応する画素をそれぞれ選択して画像認識処理をおこなう。続いて、画素選択画像認識処理結果統合部１１ｄは、ステップＳ１５５で、第１のフィルタ部分に対応する画素を選択しておこなわれた画像認識結果と、第２のフィルタ部分に対応する画素を選択しておこなわれた画像認識結果とを統合する（ステップＳ１５６）。この統合によって、処理対象の画像の白とび部分および黒つぶれ部分を改善して、画像の全領域について、正確に画像認識をおこなうことが可能になる。この処理が終了すると、図７の画像処理手順（他の実施例その３）へ復帰する。

なお、図８に示した時刻に基づく画像認識処理手順に代えて、照度に基づく画像認識処理手順を実行することとしてもよい。図９は、実施例１の照度に基づく画像認識処理手順を示すフローチャートである。なお、この照度に基づく画像認識処理の前提として、図７のステップＳ１４２では、システム情報もしくは時刻情報に代えて、照度検知装置４０から照度情報を取得することとする。

先ず、画像明暗判定部１１ｂは、ステップＳ１４２で取得された照度情報に基づいて、照度が所定値Ａ以上であるか否かを判定する（ステップＳ１６１）。照度が所定値Ａ以上であると判定された場合（ステップＳ１６１肯定）に、ステップＳ１６２へ移り、照度が所定値Ａ以上であると判定されなかった場合（ステップＳ１６１否定）に、ステップＳ１６３へ移る。ステップＳ１６２では、画素選択画像認識処理部１１ｃは、第２のフィルタ部分に対応する画素を選択して画像認識処理をおこない、図７の画像処理手順（他の実施例その３）へ復帰する。

他方、ステップＳ１６３では、画像明暗判定部１１ｂは、ステップＳ１４２で取得された照度情報に基づいて、照度が所定値Ｂ以下（ただし、Ａ＞Ｂ）であるか否かを判定する。照度がＢ以下であると判定された場合（ステップＳ１６３肯定）に、ステップＳ１６４へ移り、照度がＢ以下であると判定されなかった場合（ステップＳ１６３否定）に、ステップＳ１６５へ移る。

ステップＳ１６４では、画素選択画像認識処理部１１ｃは、第１のフィルタ部分に対応する画素を選択して画像認識処理をおこない、図７の画像処理手順（他の実施例その３）へ復帰する。

一方、ステップＳ１６５では、画素選択画像認識処理部１１ｃは、第１のフィルタ部分に対応する画素および第２のフィルタ部分に対応する画素をそれぞれ選択して画像認識処理をおこなう。続いて、画素選択画像認識処理結果統合部１１ｄは、ステップＳ１６５で、第１のフィルタ部分に対応する画素を選択しておこなわれた画像認識結果と、第２のフィルタ部分に対応する画素を選択しておこなわれた画像認識結果とを統合する（ステップＳ１６６）。この統合によって、処理対象の画像の白とび部分および黒つぶれ部分を改善して、画像の全領域について、正確に画像認識をおこなうことが可能になる。この処理が終了すると、図７の画像処理手順（他の実施例その３）へ復帰する。

なお、照度検知装置４０が検知した車両１の外部周辺の照度に応じて第１のフィルタ領域に対応する画素または第２のフィルタ領域に対応する画素を選択して画像認識することに代えて、車幅灯・ヘッドライト装置５０のオン・オフに応じて第１のフィルタ領域に対応する画素または第２のフィルタ領域に対応する画素を選択して画像認識することとしてもよい。この場合、具体的には、「車幅灯・ヘッドライト装置５０がオフ」か否かを判定し、車幅灯・ヘッドライト装置５０がオフと判定された場合に、第２のフィルタ部分に対応する画素を選択して画像認識処理をおこない、車幅灯・ヘッドライト装置５０がオフと判定されなかった場合に、第１のフィルタ部分に対応する画素を選択して画像認識処理をおこなうこととすればよい。

以上、本発明の実施例１を説明したが、本発明は、これに限られるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施例で実施されてもよいものである。

例えば、実施例１では、処理対象の画像の白とびや黒つぶれに基づいて、第１のフィルタ領域または第２のフィルタ領域に対応する画素に基づいて画像認識することとした。しかし、これに限らず、第１のフィルタ領域または第２のフィルタ領域に対応する画素を使用して、車両認識に最適な光透過率に基づく画像、白線認識に最適な光透過率に基づく画像をそれぞれ別画像で画像認識し、これらの画像認識結果を合成することとしてもよい。これは、車両１の前方画像において、前方車両は該前方画像の上半分に存在し、白線は、該前方画像の下半分に存在するという特性に基づく。

具体的には、図１０に実施例２の画像処理手順を示すように、先ず、車載用画像処理装置１０の制御部１１は、車両認識に最適な画像を取得する（ステップＳ１７１）。この処理は、実施例１で示した各種処理を経て最終的に取得された画像認識結果である。続いて、制御部１１は、ステップＳ１７１の画像認識結果に基づいて、車両を認識する（ステップＳ１７２）。続いて、制御部１１は、白線認識に最適な画像を取得する（ステップＳ１７３）。この処理も、実施例１で示した各種処理を経て最終的に取得された画像認識結果である。続いて、制御部１１は、ステップＳ１７３の画像認識結果に基づいて、白線を認識する（ステップＳ１７４）。

以上、実施例に記載した効果は、これに限定されるものではない。また、上記実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記実施例で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵ（Central Processing Unit）（またはＭＰＵ（Micro Processing Unit）、ＭＣＵ（Micro Controller Unit）などのマイクロ・コンピュータ）および当該ＣＰＵ（またはＭＰＵ、ＭＣＵなどのマイクロ・コンピュータ）にて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されてもよい。

本発明は、簡易な構成の車載用画像処理装置で、カメラ出力の広いダイナミックレンジに対応して、画像における“黒つぶれ”および“白とび”を回避して、正確な画像認識を可能にしたい場合に有用である。

実施例１にかかる光学フィルタの概要を示す図である。実施例１にかかる車載用画像処理装置の構成を示す機能ブロック図である。実施例１の画像処理手順を示すフローチャートである。明暗に基づく画像認識処理手順を示すフローチャートである。実施例１の画像処理手順（他の実施例その１）を示すフローチャートである。実施例１の明暗に基づく画像認識処理手順（他の実施例その２）を示すフローチャートである。実施例１の画像処理手順（他の実施例３）を示すフローチャートである。時刻に基づく画像認識処理手順を示すフローチャートである。照度に基づく画像認識処理手順を示すフローチャートである。実施例２の画像処理手順を示すフローチャートである。トンネル入り口付近で発生する“黒つぶれ”を示す図である。トンネル出口付近で発生する“白とび”を示す図である。カメラの出力が撮影対象の輝度値に対して対数特性を有して変化する従来技術を説明するための図である。シャッター時間が異なる複数の画像を合成して“黒つぶれ”や“白とび”を抑制する従来技術を説明するための図である。

符号の説明

１車両
１０車載用画像処理装置
１１制御部
１１ａ画像取得処理部
１１ｂ画像明暗判定部
１１ｃ画素選択画像認識処理部
１１ｄ画素選択画像認識処理結果統合部
１２記憶部
１２ａ画像バッファ
１３表示部
１４イメージセンサ部
１４ａＣＭＯＳセンサ
１４ｂ光学フィルタ
１４ｃ光学レンズ
２０カーナビゲーション装置
３０レーダ装置
４０照度検知装置
５０車幅灯・ヘッドライト装置
１００車載有線ネットワーク

Claims

撮像素子を構成する各画素に対応するように第１の光透過率のフィルタ部分および該第１の光透過率より高い第２の光透過率のフィルタ部分を交互に並べて形成されているフィルタを介して撮像された画像に基づいて対象物を画像認識する画像処理装置であって、
前記フィルタを介して撮像された画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像の白とび部分を識別する白とび部分識別手段と、
前記白とび部分識別手段によって前記画像の白とび部分が識別された場合に、該画像を前記第１の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識する第１の画像認識手段と、
前記画像取得手段によって取得された画像の黒つぶれ部分を識別する黒つぶれ部分識別手段と、
前記黒つぶれ部分識別手段によって前記画像の黒つぶれ部分が識別された場合に、該画像を前記第２の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識する第２の画像認識手段と、
前記第１の画像認識手段および前記第２の画像認識手段による画像認識結果に基づいて前記対象物の画像認識結果を統合した統合画像認識結果を取得する画像認識結果統合手段と
を有することを特徴とする画像処理装置。
撮像素子を構成する各画素に対応するように第１の光透過率のフィルタ部分および該第１の光透過率より高い第２の光透過率のフィルタ部分を交互に並べて形成されているフィルタを介して撮像された画像に基づいて対象物を画像認識する車載用画像処理装置であって、
前記フィルタを介して撮像された画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像の白とび部分を識別する白とび部分識別手段と、
前記白とび部分識別手段によって前記画像の白とび部分が識別された場合に、該画像を前記第１の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識する第１の画像認識手段と、
前記画像取得手段によって取得された画像の黒つぶれ部分を識別する黒つぶれ部分識別手段と、
前記黒つぶれ部分識別手段によって前記画像の黒つぶれ部分が識別された場合に、該画像を前記第２の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識する第２の画像認識手段と、
前記第１の画像認識手段および前記第２の画像認識手段による画像認識結果に基づいて前記対象物の画像認識結果を統合した統合画像認識結果を取得する画像認識結果統合手段と
を有することを特徴とする車載用画像処理装置。
レーダ装置によって検知された前記対象物を含んで撮像された画像における該対象物の存在領域を特定するレーダ検知対象物存在領域特定手段をさらに有し、
前記白とび部分識別手段は、前記レーダ検知対象物存在領域特定手段によって特定された前記対象物の存在領域の画像の白とび部分を識別し、
前記第１の画像認識手段は、前記白とび部分識別手段によって前記対象物の存在領域の画像の白とび部分が識別された場合に、該画像を前記第１の光透過率のフィルタ部分を介して撮像された画像に基づいて該対象物を画像認識し、
前記黒つぶれ部分識別手段は、前記レーダ検知対象物存在領域特定手段によって特定された前記対象物の存在領域の画像の黒つぶれ部分を識別し、
前記黒つぶれ部分識別手段によって前記対象物の存在領域の画像の黒つぶれ部分が識別された場合に、該画像を前記第２の光透過率のフィルタ部分を介して撮像された画像に基づいて該対象物を画像認識する
ことを特徴とする請求項２に記載の車載用画像処理装置。
カーナビゲーション装置から取得された情報に基づいて、前記画像に白とび部分が存在しうる、または前記画像に黒つぶれ部分が存在しうる状況であるか否かを判定する第１の判定手段をさらに有し、
前記第１の画像認識手段は、前記第１の判定手段によって前記画像に白とび部分が存在しうる状況であると判定された場合に、前記第１の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識し、
前記第２の画像認識手段は、前記第１の判定手段によって前記画像に黒とび部分が存在しうる状況であると判定された場合に、前記第２の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識する
ことを特徴とする請求項２または３に記載の車載用画像処理装置。
日付情報および時刻情報に基づいて、前記画像に白とび部分が存在しうる、または前記画像に黒つぶれ部分が存在しうる状況であるか否かを判定する第２の判定手段をさらに有し、
前記第１の画像認識手段は、前記第２の判定手段による判定結果にかかわらず、前記画像を前記第１の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識し、
前記第２の画像認識手段は、前記第２の判定手段による判定結果にかかわらず、前記画像を前記第２の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識し、
前記画像認識結果統合手段は、前記第２の判定手段によって前記画像に白とび部分が存在しうると判定された場合に前記第１の画像認識手段による画像認識結果を前記統合画像認識結果とし、前記第２の判定手段によって前記画像に黒つぶれ部分が存在しうると判定された場合に前記第２の画像認識手段による画像認識結果を前記統合画像認識結果とし、前記第２の判定手段によって前記画像に白とび部分または黒つぶれ部分が存在すると判定されなかった場合に、前記第１の画像認識手段および前記第２の画像認識手段による前記対象物の画像認識結果を統合した統合画像認識結果を取得する
ことを特徴とする請求項２または３に記載の車載用画像処理装置。
車両周辺の照度情報に基づいて、または、車両の前照灯もしくは車幅灯の点灯に基づいて、前記画像に白とび部分が存在しうる、または前記画像に黒つぶれ部分が存在しうる状況であるか否かを判定する第３の判定手段をさらに有し、
前記第１の画像認識手段は、前記第３の判定手段による判定結果にかかわらず、前記画像を前記第１の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識し、
前記第２の画像認識手段は、前記第３の判定手段による判定結果にかかわらず、前記画像を前記第２の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識し、
前記画像認識結果統合手段は、前記第３の判定手段によって前記画像に白とび部分が存在しうると判定された場合に前記第１の画像認識手段による画像認識結果を前記統合画像認識結果とし、前記第３の判定手段によって前記画像に黒つぶれ部分が存在しうると判定された場合に前記第２の画像認識手段による画像認識結果を前記統合画像認識結果とし、前記第３の判定手段によって前記画像に白とび部分または黒つぶれ部分が存在すると判定されなかった場合に、前記第１の画像認識手段および前記第２の画像認識手段による前記対象物の画像認識結果を統合した統合画像認識結果を取得する
ことを特徴とする請求項２または３に記載の車載用画像処理装置。
前記画像認識結果統合手段は、前記対象物ごとに、前記第１の画像認識手段または前記第２の画像認識手段による画像認識結果に基づいて該対象物の画像認識結果を統合した統合画像認識結果を取得することを特徴とする請求項２〜６のいずれか一つに記載の車載用画像処理装置。
撮像素子を構成する各画素に対応するように第１の光透過率のフィルタ部分および該第１の光透過率より高い第２の光透過率のフィルタ部分を交互に並べて形成されているフィルタを介して撮像された画像に基づいて対象物を画像認識する車載用画像処理方法であって、
レーダ装置によって検知された対象物を含んで撮像された画像における該対象物の存在領域を特定するレーダ検知対象物存在領域特定ステップと、
前記フィルタを介して撮像された画像を取得する画像取得ステップと、
前記レーダ検知対象物存在領域特定ステップによって特定された前記対象物の存在領域の前記画像の白とび部分を識別する白とび部分識別ステップと、
前記白とび部分識別ステップによって前記対象物の存在領域の画像の白とび部分が識別された場合に、該画像を前記第１の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識する第１の画像認識ステップと、
前記レーダ検知対象物存在領域特定ステップによって特定された前記対象物の存在領域の前記画像の黒つぶれ部分を識別する黒つぶれ部分識別ステップと、
前記黒つぶれ部分識別ステップによって前記対象物の存在領域の画像の黒つぶれ部分が識別された場合に、該画像を前記第２の光透過率のフィルタ部分を介して撮像された画像に基づいて前記対象物を画像認識する第２の画像認識ステップと、
前記第１の画像認識ステップまたは前記第２の画像認識ステップによる画像認識結果に基づいて前記対象物の画像認識結果を統合した統合画像認識結果を取得する画像認識結果統合ステップと
を含むことを特徴とする車載用画像処理方法。