JP2013247514A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】現在の撮像画像データにおいて物体の重なりが生じても、歩行者等を強調表示できるようにする。
【解決手段】蓄積装置１０３は、画像データと前記画像データの撮像位置情報とを対応付けて管理する。比較画像生成部１０４は、現在の撮像装置１０１の位置情報と、蓄積装置１０３において管理される撮像位置情報とに基づいて、蓄積装置１０３から画像データを取得し、取得した画像データに基づいて比較画像データを生成する。差分抽出部１０５は、撮像装置１０１により現在生成された撮像画像データと、比較画像生成部１０４により生成された比較画像データとの差分情報を抽出する。画像強調部１０６は、差分抽出部１０５により抽出された差分情報に基づいて、撮像画像データに対して強調表示を行う。
【選択図】図１

Description

本発明は、撮像画像データにおける歩行者等の動体領域を強調表示する技術に関するものである。

従来、車両前方に取り付けられたカメラで撮像された画像データから歩行者を検出し、表示装置等に歩行者の存在を強調表示するナイトビューシステムが知られている（例えば、特許文献１参照）。従来のナイトビューシステムを使用した場合、運転者が歩行者を発見しやすくなり、夜間等の照度が不足しているときの運転を補助するものとして大変有用である。ところで、従来のナイトビューシステムでは、赤外線カメラで撮像された赤外線画像データを用いることが多い。この赤外線画像データから特徴量を抽出することにより歩行者検出が行われる。

特開２０１０−８８０４５号公報

しかしながら、赤外線画像データはグレースケール画像データであるため、物体が重なり合っている場合、特徴量の抽出は、可視光画像データよりも技術的に難易度が高い。このことは、例えば、歩行者が横断歩道上を歩行している場合、赤外線画像データから歩行者を検出することが困難であることを意味する。

そこで、本発明の目的は、現在の撮像画像データにおいて物体の重なりが生じても、歩行者等を強調表示できるようにすることにある。

本発明の画像処理装置は、現在の撮像手段の位置情報と、画像データと前記画像データの撮像位置情報とを対応付けて管理する管理手段において管理される前記撮像位置情報とに基づいて、前記管理手段から前記画像データを取得し、取得した前記画像データに基づいて比較画像データを生成する生成手段と、前記撮像手段により現在生成された撮像画像データと、前記生成手段により生成された前記比較画像データとの差分情報を抽出する抽出手段と、前記抽出手段により抽出された前記差分情報に基づいて、前記撮像画像データに対して強調表示を行う強調手段とを有することを特徴とする。

本発明によれば、現在の撮像画像データにおいて物体の重なりが生じても、歩行者等を強調表示することができる。

本発明の第１の実施形態に係る画像処理システムの構成を示す図である。 本発明の第１の実施形態に係る画像処理システムにおける処理を概略的に示す図である。 除去領域を外周画素の平均値で置き換える処理を説明するための図である。 蓄積装置に格納されるデータベースの例を示す図である。 本発明の第１の実施形態における画像処理装置の処理を示すフローチャートである。 本発明の第２の実施形態に係る画像処理システムの構成を示す図である。 本発明の第２の実施形態における画像処理装置の処理を示すフローチャートである。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の第１の実施形態に係る画像処理システムの構成を示す図である。図１に示すように、本発明の第１の実施形態に係る画像処理システムは、撮像装置１０１、画像処理装置１１０及び蓄積装置１０３から構成される。また、画像処理装置１１０は、画像蓄積部１０２、比較画像生成部１０４、差分抽出部１０５及び画像強調部１０６を備える。

撮像装置１０１は、車両のノーズ等に設置され、車両前方を撮像する。撮像装置１０１によって撮像された画像データを以下では撮像画像データｘと称す。画像蓄積部１０２は、撮像画像データｘを蓄積装置１０３に蓄積する。比較画像生成部１０４は、蓄積装置１０３から撮像画像データｘを取得し、比較画像データｙを生成する。差分抽出部１０５は、撮像画像データｘと比較画像データｙとの差分情報を抽出する。画像強調部１０６は、差分抽出部１０５によって抽出された差分情報に基づいて、撮像画像データｘの特定領域を強調した画像データを生成する。

図２は、本実施形態に係る画像処理システムにおける処理を概略的に示す図である。図２の２００は、比較画像データｙを示している。図２の２０１は、撮像画像データｘを示している。図２の２０２は、撮像画像データｘ２０１と比較画像データｙ２００との差分情報を示している。図２の２０３は、差分情報に基づいて算出された撮像画像データｘの特定領域を示している。図２の２０４は、撮像画像データｘ２０１の特定領域２０３を枠で囲むことにより強調した画像データを示している。

以下、図１に示した画像処理装置１１０の各構成について詳細に説明する。画像蓄積部１０２は、撮像画像データｘを蓄積装置１０３に蓄積する。ところで、撮像画像データｘに存在する歩行者や車両等の動体領域は、差分抽出部１０５によって差分情報が抽出される際に不要な情報となる。従って、画像蓄積部１０２は、これらの不要な情報を撮像画像データｘから除去して蓄積装置１０３に蓄積する。不要な情報の除去手段は種々考えられるが、例えば、撮像画像データｘの１フレーム毎に特徴量を抽出し、特徴量に基づいて歩行者又は車両と推定される領域を撮像画像データｘから除去する方法が挙げられる。そして、除去された領域は、例えば、当該除去領域に接する外周画素の平均値等で置き換えればよい。

図３は、上記除去領域を外周画素の平均値で置き換える処理を説明するための図である。図３（ａ）は、上記除去領域が除去される前の撮像画像データｘを示しており、図３（ｂ）は、上記除去領域が除去された後の撮像画像データｘを示している。画像蓄積部１０２は、図３（ａ）に示すように、撮像画像データｘから車両と推定される領域３０１を検出し、図３（ｂ）に示すように、領域３０１を周辺画素の平均値で置き換える。なお、歩行者や車両と推定される領域を検出するための特徴量の抽出方法は、一般的な技術であるため、ここでは詳述しない。また、歩行者や車両以外の動体領域を検出してもよい。なお、動体領域の除去処理は、蓄積装置１０３に蓄積される際でなく、比較画像生成部１０４によって蓄積装置１０３から撮像画像データｘが取得される際に行ってもよい。

また、画像蓄積部１０２は、撮像画像データｘを蓄積装置１０３に蓄積する際、ＧＰＳ受信機及び制御装置からなるＧＰＳシステムから現在の自車両の位置情報、即ち、撮像装置１０１によって撮像画像データｘを生成している位置情報を取得する。そして、画像蓄積部１０２は、現在の自車両の位置情報を撮像画像データｘの撮像位置情報として蓄積装置１０３に蓄積する。なお、ここでいう自車両とは、当該画像処理システムが搭載された車両を意味する。蓄積装置１０３は、蓄積する撮像画像データｘを管理するためのデータベースを備える。

図４は、蓄積装置１０３に格納されるデータベースの例を示す図である。図４に示すデータベースの例では、撮像画像データｘのＩＤ毎に、撮像画像データｘの撮像時刻情報、撮像画像データｘの撮像位置情報（緯度、経度）、及び、蓄積装置１０３内における撮像画像データｘの蓄積位置情報が対応付けられている。なお、データベースに対する上記情報の登録は、例えば６０フレームに１回等の一定の間隔をおいて行われる。

画像蓄積部１０２は、撮像画像データｘを蓄積装置１０３に蓄積する際、撮像画像データｘをＭＰＥＧ２等でエンコードするとともに、撮像位置情報も同様にエンコードし、撮像位置情報を撮像画像データｘの各フレームのヘッダ情報に付与して蓄積する。ここでは、撮像画像データを、ＭＰＥＧ２−ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ（ＴＳ）等のフォーマットで蓄積することを想定している。

比較画像生成部１０４は、ＧＰＳシステムから現在の自車両の位置情報を取得する。そして、比較画像生成部１０４は、蓄積装置１０３に蓄積されている撮像画像データｘのうち、現在の自車両の位置情報と等しい撮像位置情報が付与され、且つ、最新の撮像画像データｘを取得し、比較画像データｙとする。

ここで、比較画像生成部１０４による比較画像データｙの生成処理について具体的に説明する。ここでは、上記データベースを用いた粗検索と、撮像画像データｘの各フレームのヘッダ情報として付与された撮像位置情報を用いた詳細検索とを組み合わせた手法について説明する。

比較画像生成部１０４は、データベースに登録されるＩＤのうち、撮像位置情報が現在の自車両の位置情報に最も近く、且つ、撮像時刻情報が最も新しいＩＤを検索する。次に、比較画像生成部１０４は、検索したＩＤに対応する撮像画像データの蓄積位置を起点として、蓄積装置１０３に対する検索を開始し、撮像位置情報が等しい撮像画像データｘのフレームを取得し、比較画像データｙとする。なお、撮像位置情報が等しい撮像画像データｘのフレームが存在しない場合、比較画像生成部１０４は、現在の自車両の位置情報に最も近い撮像位置情報が付与され、且つ、撮像時刻情報が最も新しい撮像画像データのフレームと、その前後のフレームとを取得する。そして、比較画像生成部１０４は、取得したこれらの撮像画像データのフレームを用いてフレーム補間処理を実行することにより中間画像データを生成し、生成した中間画像データを比較画像データｙとする。

差分抽出部１０５は、撮像画像データｘと比較画像データｙとの差分情報を抽出する。なお、撮像画像データｘと比較画像データｙとは、撮像された時間によって、照度が異なる。そのままでは、単純に差分情報を抽出することは困難である。そこで、本実施形態では、予め輝度調整を行う。例えば、それぞれの画像データ全体の平均輝度で各画素を正規化し、輝度調整後の画像データ間の差分情報を抽出すればよい。これにより、照度が異なっていても、差分情報を抽出することが可能となる。また、輝度調整を行う以外にも、エッジを抽出する方法が考えられる。この場合、予めそれぞれの画像データでエッジを抽出し、エッジ抽出後の画像データ間の差分情報を抽出する。これにより、照度が異なっていても、差分情報を抽出することが可能となる。

また、夜間に撮像された撮像画像データｘが対象となるため、画像蓄積部１０２による動体領域の除去処理時において、そのままでは撮像画像データｘから特徴量を抽出しにくいことがある。その一因として、照度が撮像画像データｘの中で不均一であることが挙げられる。即ち、自車両のヘッドライトでは、自車両周辺しか照度を確保することができず、遠方は照度不足となる。これは、撮像画像データｘの下端（ヘッドライトに最も近い部分）から離れるに従って、照度が落ちるということを意味する。この照度が不均一という課題に対しては、特徴量の抽出の前処理として、撮像画像データｘの下端からの距離に応じた輝度調整を行えばよい。これにより、照度が均一化された、特徴量を抽出しやすい撮像画像データｘを得ることができる。

画像強調部１０６は、差分抽出部１０５によって抽出された差分情報から撮像画像データｘの特定領域を決定し、当該特定領域を強調する処理を行う。特定領域の決定には、例えば特徴量の抽出処理を用いればよい。これは、画像蓄積部１０２による特徴量の抽出処理と同様の処理でよい。強調処理は種々考えられるが、特定領域に枠を重畳させてもよいし、特定領域を所定の色で着色してもよい。さらに、特定領域をより目立たせるために、撮像画像データｘの輝度を下げる、又は、コントラストを下げる等の前処理を実施してもよい。また、夜間に撮像された等の理由で撮像画像データｘにノイズが多く含まれている場合、特定領域が目立ちにくくなることも考えられるため、撮像画像データｘに対して前処理としてノイズ除去を行ってもよい。

図５は、画像処理装置１１０の処理を示すフローチャートである。ステップＳ５０１において、画像蓄積部１０２は、蓄積モードがオンであるか否かを判定する。蓄積モードがオンである場合、処理はステップＳ５０２に移行する。一方、蓄積モードがオフである場合、処理は、ステップＳ５０２及びＳ５０３をスキップして、Ｓ５０４に移行する。例えば、昼間のみ蓄積モードをオンとするのであれば、日の出時間に蓄積モードをオンとし、日の入り時間に蓄積モードをオフとする。

ステップＳ５０２において、画像蓄積部１０２は、撮像画像データｘを蓄積装置１０３に蓄積する。ステップＳ５０３において、画像蓄積部１０２は、撮像画像データｘの、撮像時刻情報、撮像位置情報及び蓄積位置情報を蓄積装置１０３内のデータベースに登録する。ステップＳ５０４において、比較画像生成部１０４は、比較画像データｙを生成する。ステップＳ５０５において、差分抽出部１０５は、撮像画像データｘと比較画像データｙとの差分情報を抽出する。ステップＳ５０６において、画像強調部１０６は、差分抽出部１０５によって抽出された差分情報に基づいて、撮像画像データｘの特定領域を決定し、特定領域に対して強調処理を行う。

以上により、本実施形態においては、現在の撮像画像データにおいて物体の重なりが生じても、歩行者等を強調表示することができる。なお、本実施形態では、車両前方を対象としたが、車両前方以外に撮像装置１０１を取り付けた場合でも効果は同等である。例えば、車両を後退させる際に、車両後方を確認するために、撮像装置１０１によって撮像された車両後方の撮像画像データを確認する際にも適用することができる。

次に、本発明の第２の実施形態について説明する。第２の実施形態では、車両走行中における車両前方の撮像画像データが予め蓄積されている場合について説明する。また、以下では、第１の実施形態との相違する点に主眼をおいて説明を行うものとする。

図６は、本発明の第２の実施形態に係る画像処理システムの構成を示す図である。図６に示すように、本発明の第２の実施形態に係る画像処理システムは、撮像装置１０１、画像処理装置６００及び蓄積装置１０３から構成される。また、画像処理装置６００は、比較画像生成部１０４、差分抽出部１０５及び画像強調部１０６を備える。なお、第２の実施形態の蓄積装置１０３においては、車両前方の撮像画像データｘが予め蓄積されているとともに、図４に示すような構成のデータベースも管理されているものとする。

図７は、第２の実施形態における画像処理装置６００の処理を示すフローチャートである。ステップＳ７０１において、比較画像生成部１０４は、蓄積装置１０３から比較画像データｙを生成する。ステップＳ７０２において、差分抽出部１０５は、撮像画像データｘと比較画像データｙとの差分情報を抽出する。ステップＳ７０３において、画像強調部１０６は、差分抽出部１０５によって抽出された差分情報に基づいて、撮像画像データｘの特定領域を決定し、特定領域に対して強調処理を行う。

第２の実施形態においては、現在の撮像画像データにおいて物体の重なりが生じても、歩行者等を強調表示することができる。なお、第２の実施形態では、車両走行中における車両前方の撮像画像データが予め蓄積されている場合について述べたが、それ以外にも、車両走行中における車両前方の撮像画像データを通信装置等で外部から取得する場合にも同様に有効である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：撮像装置、１０２：画像蓄積部、１０３：蓄積装置、１０４：比較画像生成部、１０５：差分抽出部、１０６：画像強調部、１１０、６００：画像処理装置

Claims (19)

1. 現在の撮像手段の位置情報と、画像データと前記画像データの撮像位置情報とを対応付けて管理する管理手段において管理される前記撮像位置情報とに基づいて、前記管理手段から前記画像データを取得し、取得した前記画像データに基づいて比較画像データを生成する生成手段と、
   前記撮像手段により現在生成された撮像画像データと、前記生成手段により生成された前記比較画像データとの差分情報を抽出する抽出手段と、
   前記抽出手段により抽出された前記差分情報に基づいて、前記撮像画像データに対して強調表示を行う強調手段とを有することを特徴とする画像処理装置。
2. 前記生成手段は、現在の前記撮像手段の位置情報から最も近い撮像位置情報と対応付けられる前記画像データを、前記管理手段から取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記管理手段は、前記画像データの撮像時刻情報を更に前記画像データと対応付けて管理することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記生成手段は、現在の前記撮像手段の位置情報から最も近い前記撮像位置情報と対応付けられ、且つ、最も新しい前記撮像時刻情報と対応付けられる前記画像データを、前記管理手段から取得することを特徴とする請求項３に記載の画像処理装置。
5. 前記生成手段は、現在の前記撮像手段の位置情報に基づいて、前記管理手段から複数の前記画像データを取得し、取得した複数の前記画像データから前記比較画像データを生成することを特徴とする請求項１に記載の画像処理装置。
6. 前記管理手段において前記画像データを管理する際に、前記画像データに含まれる動体領域を除去する除去手段を更に有することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記生成手段により前記管理手段から前記画像データが取得される際に、前記画像データに含まれる動体領域を除去する除去手段を更に有することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
8. 前記比較画像データと前記撮像画像データとの輝度を調整する輝度調整手段を更に有し、
   前記抽出手段は、前記輝度調整手段により輝度が調整された後における前記比較画像データと前記撮像画像データとの前記差分情報を抽出することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記比較画像データと前記撮像画像データとのエッジを抽出するエッジ抽出手段を更に有し、
   前記抽出手段は、前記エッジ抽出手段によりエッジが抽出された後の前記比較画像データと前記撮像画像データとの前記差分情報を抽出することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
10. 前記強調手段は、前記差分情報に基づいて、前記撮像画像データの特定領域を決定し、前記特定領域を強調表示することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記強調手段は、前記特定領域を枠で囲むことを特徴とする請求項１０に記載の画像処理装置。
12. 前記強調手段は、前記特定領域を所定の色で着色することを特徴とする請求項１０に記載の画像処理装置。
13. 前記強調手段は、前記特定領域を強調表示する前処理として、前記撮像画像データの輝度又はコントラストを下げることを特徴とする請求項１０乃至１２の何れか１項に記載の画像処理装置。
14. 前記強調手段は、前記特定領域を強調表示する前処理として、前記撮像画像データからノイズを除去することを特徴とする請求項１０乃至１２の何れか１項に記載の画像処理装置。
15. 前記管理手段は、前記撮像手段により撮像された前記画像データを管理することを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
16. 前記管理手段は、予め蓄積された前記画像データを管理することを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
17. 前記管理手段は、通信により外部から取得された前記画像データを管理することを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
18. 画像処理装置によって実行される画像処理方法であって、
    現在の撮像手段の位置情報と、画像データと前記画像データの撮像位置情報とを対応付けて管理する管理手段において管理される前記撮像位置情報とに基づいて、前記管理手段から前記画像データを取得し、取得した前記画像データに基づいて比較画像データを生成する生成ステップと、
    前記撮像手段により現在生成された撮像画像データと、前記生成ステップにより取得された前記比較画像データとの差分情報を抽出する抽出ステップと、
    前記抽出ステップにより抽出された前記差分情報に基づいて、前記撮像画像データに対して強調表示を行う強調ステップとを有することを特徴とする画像処理方法。
19. 現在の撮像手段の位置情報と、画像データと前記画像データの撮像位置情報とを対応付けて管理する管理手段において管理される前記撮像位置情報とに基づいて、前記管理手段から前記画像データを取得し、取得した前記画像データに基づいて比較画像データを生成する生成ステップと、
    前記撮像手段により現在生成された撮像画像データと、前記生成ステップにより取得された前記比較画像データとの差分情報を抽出する抽出ステップと、
    前記抽出ステップにより抽出された前記差分情報に基づいて、前記撮像画像データに対して強調表示を行う強調ステップとをコンピュータに実行させるためのプログラム。

Images