JP2010092353A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】撮像画像にて検出対象が写っている領域の一部が背景と同化している場合であっても、撮像画像に基づき対象を精度よく検出することを可能とする画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理装置の制御部は、撮像装置から得られる画像データから抽出される検出対象領域の候補夫々について、候補の上端の画像データ中における位置（ｙ）に基づき、当該位置を上端として検出対象領域がある場合に占めるべき大きさに基づく探索範囲縦Ｖ_y 、横Ｈ_y を設定し、他の検出対象領域候補が探索範囲に内包される場合には、夫々を対応付けて新たな一の検出対象領域候補として抽出する。そして、抽出された検出対象領域候補の内から検出対象領域を特定し、対象を検出する。
【選択図】図５

Description

本発明は、撮像装置により撮像された撮像画像に写る被写体を認識するための画像処理装置に関する。特に、撮像画像にて背景と対象の一部が同化して写っている場合であっても、撮像画像から対象を精度よく検出することを可能とする画像処理装置及び画像処理方法に関する。

従来より、見通しの悪いＴ字路、十字路等の交差点での交通事故を防止するための交通制御システムが種々提案されている。特に、交差点近傍の路側に道路状況を上方から可視光にて撮像する撮像装置を設置し、撮像した画像を自動車へ送信することにより運転者に警告、注意を通知できるシステムが提案されている（例えば、特許文献１参照）。

また、撮像画像から自動車を認識するための前処理が行なわれる場合がある（例えば、特許文献２参照）。この場合、前処理として「背景差分」、「エッジ抽出」、「時間差分（フレーム差分）」、「オプティカルフロー」等の技術を利用し、撮像した画像内の自動車に相当する領域を判別している。
特開２００３−１０９１９９号公報 特開２００８−４６７６１号公報

自動車同士の衝突のみならず、自動車と自転車との衝突、自動車と人との衝突等の種々の交通事故を削減するため、更に高度な安全運転支援システムの実現が期待されている。具体的には、交差点における他の自動車、自転車、人、又は落下物の有無及び位置の情報を交差点に進入しようとする自動車へ送信する。そして、自動車側で受信する情報に基づき事故を回避するための制御を実行する。これにより事故を未然に防ぐことができ、更に被害を最小限に抑えることが期待される。この場合、撮像画像から対象物の有無のみならず、他の自動車、自転車、人、又は落下物等の検出対象の種類を夫々識別して認識することが必要となる。

撮像画像から検出対象の種類をも識別した上で認識するためには、撮像画像内の検出対象領域から、検出対象の種類毎に異なる特徴を検知できるか否かの判断が有効である。例えば撮像画像内における検出対象領域の形状及び大きさを種類毎に特徴として設定しておき、検出対象領域の形状及び大きさが設定されている形状及び大きさと一致するか否かによって検出対象の種類を識別することが可能である。

しかしながら、撮像画像中の検出対象が写っている領域の一部が、背景と同化する場合がある。例えば、可視光波長帯又は近赤外線波長帯にて撮像するカメラにて、背景と似た色の服を着た人物が撮像された場合、背景と服の部分とが同化する。また、遠赤外線波長帯にて撮像するカメラにて、コートなどの厚地の服を着た人物が撮像された場合、周辺とコートの表面との間に温度差が生じないときがある。このような場合、撮像画像中で胴体部分（コートの表面の部分）が背景との間でコントラストを生じさせないため、背景差分の算出又はエッジ処理をしたとしても、胴体部分は人物領域の候補として抽出されない可能性がある。このとき、人物の顔部分と、脚部分とが各別に、人物領域の候補として抽出される。この場合、検出対象領域は本来の領域が分裂したものであるため、サイズが小さめに認識されるので、検出対象の誤認識を招く。

本発明は斯かる事情に鑑みてなされたものであり、撮像画像にて検出対象が写っている領域の一部が背景と同化している場合であっても、撮像画像に基づき対象を精度よく検出することを可能とする画像処理装置及び画像処理方法を提供することを目的とする。

第１発明に係る画像処理装置は、撮像手段から得られる撮像画像に基づいて撮像範囲内にある対象を検出するための画像処理を行なう画像処理装置において、前記撮像画像から検出対象が写っている検出対象領域の候補を抽出する抽出手段と、該抽出手段が抽出した候補が複数ある場合、各候補の撮像画像中における位置に基づき、検出対象領域が撮像画像中で占めるべき大きさを特定する特定手段と、前記抽出手段が抽出した候補の撮像画像中における位置を基準として前記特定手段が特定した大きさの範囲に、他の候補が含まれているか否かを判定する判定手段と、該判定手段が含まれていると判定した場合、前記候補と他の候補とを結合した領域を新たな一の検出対象領域の候補として抽出する手段と、前記抽出手段により抽出された候補、及び対応付けられた候補に基づき、検出対象を検出する手段とを備えることを特徴とする。

第２発明に係る画像処理装置は、前記判定手段は、前記抽出手段が抽出した候補の上端の撮像画像中における位置から、前記特定手段が特定した縦方向の大きさ分だけ下方の位置までの範囲に、他の候補が含まれているか否かを判定するようにしてあることを特徴とする。

第３発明に係る画像処理装置は、前記検出対象は人物であり、降雨の有無を検知する検知手段を更に備え、前記検知手段が降雨有と検知した場合、前記特定手段は、検出対象領域が撮像画像中で占めるべき縦方向の大きさを所定値分だけ大きく特定するようにしてあることを特徴とする。

第４発明に係る画像処理方法は、撮像画像に基づき、撮像範囲内にある対象を検出するための画像処理を行なう方法において、前記撮像画像から検出対象が写っている検出対象領域の候補を抽出するステップと、抽出された候補が複数ある場合、各候補の撮像画像中における位置に基づき、検出対象領域が撮像画像中で占めるべき大きさを特定するステップと、抽出された候補の撮像画像中における位置を基準として特定された大きさの範囲に、他の候補が含まれているか否かを判定するステップと、各候補について他の候補が含まれていると判定された場合、前記候補と他の候補とを結合した領域を新たな一の検出対象領域の候補として抽出するステップと、抽出された候補に基づき、検出対象を検出するステップとを含むことを特徴とする。

第１発明及び第４発明にあっては、撮像画像から検出対象に相当する領域の候補が抽出される。検出対象が写っている領域の一部は、背景と同化しているために検出対象領域として抽出されない場合がある。そのため、同一の検出対象が写っているにも拘わらず、複数の候補として夫々抽出されるときがある。複数の候補が抽出された場合、以下の処理により、同一の検出対象が写っている複数の領域が対応付けられる。
検出対象の大きさにはその種類に応じた所定の範囲がある。したがって、検出対象領域の候補として抽出された領域の撮像画像中における位置に、実際に検出対象が写る場合には、検出対象領域が画像中で占めるべき大きさが必然的に決まる。本発明ではこれを利用し、抽出された候補の撮像画像における位置に基づき、検出対象領域が占めるべき大きさが特定され、検出対象領域の候補の撮像画像中における位置を基準として、特定された大きさの範囲内に、他の候補が含まれるか否かが判定される。一の候補の位置を基準に特定された大きさの範囲内に、他の候補が含まれる場合は、いずれも同一の検出対象を写している領域の一部であるはずである。したがって、一の検出対象領域の候補として抽出され、これらの候補に基づいて検出対象が検出される。

第２発明にあっては、抽出された候補の上端の位置を基準として、検出対象領域が占めるべき大きさが特定され、前記基準の位置から、特定された大きさの分だけ下方の位置までの範囲に他の候補が含まれているかが判定される。
検出対象領域の候補の下端は、検出対象と背景面との接地点に相当する。したがって、下端の特定は反射成分又は影部分の影響を受け、検出対象の下端が実際に写っている位置よりも下方にずれて下端が特定される可能性がある。一方、上端では反射成分又は影部分の影響を受ける可能性が低い。
上端を基準とすることにより、反射成分又は影部分の影響を受けることなく、撮像装置から検出対象までの距離を誤ることなしに、検出対象領域が占めるべき大きさを精度よく特定することができ、検出対象を精度よく検出することが可能となる。

第３発明にあっては、検出対象が人物である場合に、降雨のときには傘の分だけ検出対象領域が占めるべき大きさが縦方向に大きくなることが推定される。したがって、本発明では、降雨の有無を検知する検知手段によって降雨有と検知される場合には、検出対象領域が占めるべき大きさを所定値分だけ大きく特定する。これにより、検出対象領域が占めるべき大きさを精度よく特定することができ、検出対象である人物を精度よく検出することが可能となる。

本発明による場合、本来一つの検出対象が写っている領域の一部が、撮像画像中で周辺の領域と同化し、複数の検出対象領域として抽出される場合であっても、検出対象領域を簡易な構成で正確に検出可能である。これにより、検出対象を高精度に正しく識別することが可能となる。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。

なお、以下に示す実施の形態では、本発明に係る画像処理装置によって交差点にいる人人物を正確に検出することを可能とし、交差点に進入する自動車で事故防止のための走行制御を実行させる安全運転支援システムに適用した場合を例に説明する。

（実施の形態１）
図１は、実施の形態１における安全運転支援システムが設置されている交差点の例を示す上方からの斜視図である。図１中の１は、交差点を撮像する撮像装置と一体に構成される画像処理装置である。画像処理装置１は、路側に設置されて所定の高さで道路側に伸びている支柱に取り付けられている。画像処理装置１と一体に構成されている撮像装置のレンズが交差点及びその近傍の範囲を俯瞰するように設置されており、画像処理装置１及び撮像装置は撮像装置のレンズ側を撮影波長帯を透過する素材とした筐体に収められている。図１中の２は路側機であり、画像処理装置１と同様に路側の支柱に取り付けられている。画像処理装置１と路側機２とは通信線により接続されている。

画像処理装置１は、路側機２を介して無線通信によりデータを送受信することが可能である。例えば、図１中には２台の自動車が示されている。各自動車の車載器は、例えばＤＳＲＣ（Dedicated Short Range Communication）技術により路側機２との無線通信が可能に構成されている。

実施の形態１における安全運転支援システムでは、画像処理装置１が以下に説明する動作を行なうことにより各自動車での走行制御を実現する。画像処理装置１が、交差点を俯瞰するように撮像する撮像装置により得られる画像データから、交差点における自動車、自転車、歩行者、又は落下物等を検出する。そして、画像処理装置１は検出対象の情報を路側機２を介して各自動車に送信する。これにより各自動車では、路側機２を介して受信した情報に基づき、進行方向に歩行者の存在を検知した場合にはブレーキを自動的に作動させるなどの走行制御が実現可能となる。また、緩衝装置を作動させるなど、衝突事故が起こった場合でも衝突による衝撃を軽減させるための安全制御も実現可能となる。

このような安全運転支援システムを実現するために、画像処理装置１が画像データに基づき行なう画像処理、及び画像処理によって得られる各種情報について以下に説明する。

図２は、実施の形態１における安全運転支援システムを構成する画像処理装置１、路側機２、及び撮像装置３の内部構成を示すブロック図である。画像処理装置１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等を利用して各構成部を制御する制御部１０と、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ等の不揮発性のメモリを利用した記憶部１１と、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）等のメモリを利用した画像メモリ１２と、撮像装置３からの画像信号を受け付ける画像取得部１３と、路側機２との通信を実現する通信部１４とを備える。

制御部１０は、内蔵するＲＯＭ（Read Only Memory）又は記憶部１１に記憶されている制御プログラムを読み出して実行することにより各構成部を制御し、後述にて説明する画像処理を行なうようにしてある。記憶部１１は制御部１０に内蔵される構成としてもよい。制御部１０の処理によって発生する各種データは、更に別途備えられる不揮発性のメモリ又は制御部１０内蔵のメモリに一時的に記憶される。

画像メモリ１２は、画像取得部１３により取得された画像データを記憶する。制御部１０は、画像取得部１３にて画像データを取得した場合に画像メモリ１２への書き込みを指示する。

画像メモリ１２は、制御部１０が内蔵するＲＡＭ（Random Access Memory）の一部の記憶領域であってもよい。また、記憶部１１又は画像メモリ１２は画像処理装置１の外部に設置され、画像処理装置１の制御部１０が読み書きが可能なように、画像処理装置１と接続されている構成としてもよい。また、後述にて説明する各処理は、画像メモリ１２に記憶されている画像データ、又はその複製に対して行なう。

画像取得部１３は撮像装置３から出力される画像信号を受け付ける。画像取得部１３は、受け付けた画像信号から画像データを取り出し画像メモリ１２に記憶する。詳細には、画像取得部１３は制御部１０からの指示に従い、受け付けている画像信号から画像を構成する画素毎の輝度値又は色差等を特定して画像データとし、画像メモリ１２へ書き込む。

通信部１４は、路側機２との間を接続する通信線を介した情報の送受信を実現する。制御部１０は、画像処理によって得られた情報を通信部１４にて路側機２へ送信し、通信部１４にて路側機２からの情報を受信する。

路側機２は、ＣＰＵ又はＭＰＵを利用して各構成部を制御する制御部２０と、画像処理装置１との通信を実現する通信部２１と、各自動車に搭載されている車載器への通信を無線により実現する無線通信部２２とを備える。

通信部２１は画像処理装置１の通信部１４と対応して情報の送受信が可能である。制御部２０は、通信部２１が画像処理装置１から送信された情報を受信した場合、通信部２１からの通知を受けてこれを受信する。

無線通信部２２は、ＤＳＲＣ技術の方式により無線通信が可能である。制御部２０は、通信部２２により画像処理装置１から受信した情報を無線通信部２２により各自動車の車載器へ送信する。なお、無線通信部２２は車載器へのＤＳＲＣ方式による通信のみならず、遠隔地にある交通管制センター内の通信装置宛に情報を送信できるように構成してあってもよい。

撮像装置３は、赤外線レンズ及び遠赤外線撮像素子を備え、遠赤外線波長帯にて撮像を行なう遠赤外線カメラである。赤外線レンズは硫化亜鉛、カルコゲンガラス、ゲルマニウム、ジンクセレン等を原料として作製されている。遠赤外線撮像素子は、酸化バナジウム（ＶＯｘ）、アモルファスシリコン、ＳＯＩ（Silicon on Insulator）ダイオード、サーモパイル等を用いた非冷却型のものを用いる。遠赤外線撮像素子が検出可能な波長帯は例えば、８μｍ〜１２μｍである。フィルターを備えて他の波長の光を遮断するようにしてもよい。

撮像装置３の遠赤外線撮像素子は、温度差を輝度差に変換して出力する。撮像装置３の遠赤外線撮像素子の画素数は例えば３２０×２４０であり、１秒間に約３０フレームのレートで生成される画像の画像信号を出力する。

なお撮像装置３は、可視光レンズ及び可視光撮像素子を備え、可視光波長帯にて撮像を行なうカメラであってもよい。

次に、上述のように構成される画像処理装置１の制御部１０が、撮像装置３から出力される画像信号から取得した画像データに対して行なう画像処理について詳細を説明する。

制御部１０は、画像取得部１３にて取得した画像データから、検出対象を人物、即ち歩行者及び自転車に限定して検出する。具体的には制御部１０は画像データから人物の領域を抽出する。画像データに基づく人物の検出方法としては従来より種々の技術がある。実施の形態１では背景差分の方法を用いる構成とするが、一又は複数フレーム分前の画像データとの差分をとるフレーム差分の方法を用いてもよいし、オプティカルフローと呼ばれる方法を用いてもよい。

図３は、実施の形態１における画像処理装置１の記憶部１１に予め記憶されている背景の画像データの内容例を示す説明図である。なお、図３に示すような遠赤外線用の背景の画像データが記憶部１１に記憶してある。

図３に示すように、背景の画像データには固定物である路面が写っている。撮像装置３から取得される画像データと背景の画像データとの差分を算出することにより、固定物でないものが写っている領域が、人物領域候補として抽出される。

なお、画像処理装置１の設置位置、設置高さ、及び撮像装置３の俯角、画角に応じて撮像範囲は決定される。実施の形態１の場合、撮像装置３は交差点を俯瞰するように設置される。したがって画像データ内における位置、特に垂直方向の位置と実空間の交差点における位置とに対応関係がある。図３中の破線で表わされる水平線は夫々、画像データ内における垂直方向の位置に対応する実空間における画像処理装置１からの距離を示している。例えば、図３中の一番下方にある破線上に写る路面の一部は、画像処理装置１が設置される位置から２０ｍの距離に位置する。また、中央にある破線上に写る路面の一部は、画像処理装置１が設置される位置から５０ｍの距離に位置する。一番上方にある破線上に写る路面の一部は、画像処理装置１が設置される位置から１００ｍの距離に位置する。

そして、人物の大きさはある程度決まっており、概ね縦×横×高さが８０ｃｍ×８０ｃｍ×２ｍ（身長）の体積以内に収まるはずである。撮像装置３によって人物が撮像された場合、画像データ内の人物領域の大きさは、画像処理装置１から遠いほど小さく、近いほど大きくなる。そして、人物領域の画像データ中における大きさは、撮像装置３から人物までの実空間における距離、及び撮像装置３の画角に応じて決まる。

したがって、画像処理装置１から所定の距離に位置する人物領域の画像データ内に占めるべき縦横の大きさを記憶部１１に記憶しておく。人物は上述のように８０ｃｍ×８０ｃｍ×２ｍ（身長）の体積以内に収まる。画像処理装置１から５０ｍの位置にいる人物が撮像装置３によって撮像された場合、人物の領域が占めるべき大きさは、誤差を考慮して水平方向の大きさ（画素数）が１５ピクセル、垂直方向の大きさが３０ピクセル以内とする。

なお、人物領域として抽出した領域の画像データ内における位置が、記憶部１１に記憶されているサイズ情報に対応する所定の位置（例えば、５０ｍの距離の位置）とは異なる位置である場合、制御部１０は、差異に応じて人物領域が占めるべき水平方向及び垂直方向の大きさを算出する。例えば画像処理装置１から１００ｍの距離に対応する位置に、人物領域が位置する場合、所定の５０ｍの距離から２倍の距離であるので、占めるべき大きさは略半分となる。このように、画像データ中の人物領域が占めるべき縦横の大きさを記憶部１１に予め記憶しておく。

遠赤外線波長帯で撮像される画像データでは温度差が輝度値の差を生じさせるから、コートなどの厚地の服を着た人物が撮像された場合、周辺とコートの表面との間に温度差が生じないときがある。この場合、人物の顔部分及び脚部分が各別に人物領域候補として抽出される。制御部１０が、上述のように遠赤外線波長帯の画像データから背景差分により抽出された人物領域候補の内、人物の領域が占めるべき大きさの条件に合っている領域を人物領域と特定するとした場合、顔部分の領域のみでは大きさの条件に合わないので、人物領域の一部であるにも拘わらず、人物領域から誤って除外される。

可視光波長帯で撮像される画像データでも同様である。背景と似た色の服を着た人物が撮像された場合、周辺と服の部分とが同化する。この場合も、胴体部分が背景との間でコントラストを生じさせないので背景差分の算出又はエッジ処理をしたとしても、人物の顔部分及び脚部分が各別に人物領域候補として抽出される。

そこで画像処理装置１の制御部１０は、上述のように記憶部１１に記憶されている情報を用いて以下に示す処理を行なう。図４は、実施の形態１における画像処理装置１の制御部１０が行なう画像処理の手順の一例を示すフローチャートである。

制御部１０は、画像取得部１３へ指示信号を出力することにより、撮像装置３から出力される画像信号に基づく画像データを取得する（ステップＳ１）。なお、ステップＳ１における画像データの取得タイミングは任意である。例えば１００ミリ秒等の一定時間毎に行なう構成としてもよいし、路側機２で車載器からの情報を受信した場合など、自動車が交差点への進入を検知した場合に行なう構成としてもよい。

制御部１０は、撮像装置３から出力される画像信号からステップＳ１で画像取得部１３が取得した画像データと、記憶部１１に記憶してある遠赤外線用の背景の画像データとの差分データを算出する（ステップＳ２）。算出された差分データは、画像メモリ１２又は制御部１０内蔵メモリに一時的に記憶される。これにより、遠赤外線波長帯にて撮像する撮像装置３から得られる画像データから、背景の画像データには写っていない検出対象が存在する領域が、検出対象である人物領域候補として抽出される。

制御部１０は差分データを例えば以下のようにして算出する。制御部１０は画素毎に、背景の画像データと取得した画像データとの輝度値の差分を算出し、差分が所定値以上である画素と、差分が所定値未満である画素とに区別する。制御部１０は、画像データを構成する画素毎の、差分が所定値以上であるか否かの真偽を示す１ビット情報の二次元配列を、差分データとして算出する。なお、複数の連続する画素で真である場合以外、即ち、真である画素が連続しない場合は当該画素の１ビット情報を偽としてもよい。ノイズにより差分が所定値以上となった画素を除去するためである。

更に具体的には、制御部１０は取得した画像データの画素毎に、以下に示す式１に基づく演算を行なう。

ただし、式１におけるｆ（ｘ，ｙ）は、取得した画像データを構成する水平方向の位置ｘ及び垂直方向の位置ｙで特定される各画素の１ビット情報である。なお、水平方向の位置ｘは画像データの左端からの画素数であり、垂直方向のｙは画像データの上端からの画素数とする。Ｉ_x,yは取得した画像データにおけるｘ、ｙで特定される画素毎の輝度値である。Ｉ´_x,yは、背景の画像データにおけるｘ、ｙで特定される画素毎の輝度値である。ｔｈｒｅｓｈｏｌｄは任意の閾値である。

なお、式１に示すように差分データを算出する際、取得した画像データ及び背景の画像データ夫々にエッジ抽出処理を施すなどした後の輝度値に基づいて算出してもよい。

そして制御部１０は、ステップＳ２にて差分データを算出することにより抽出される検出対象領域候補が複数であるか否かを判断する（ステップＳ３）。制御部１０は、検出対象領域候補が単一であると判断した場合（Ｓ３：ＮＯ）、処理を後述のステップＳ１０へ進める。

制御部１０は、検出対象領域候補が複数であると判断した場合（Ｓ３：ＹＥＳ）、ステップＳ２で算出された遠赤外線画像データの差分、即ち検出対象領域候補の画像データ中における位置に基づき、撮像装置３から検出対象である人物までの距離を算出する（ステップＳ４）。詳細には、制御部１０は、ステップＳ２で算出された差分データの連続領域に外接する矩形を特定し、特定した矩形を抽出された検出対象領域候補とする。そして、制御部１０は検出対象領域候補の上端の画像データ中における垂直方向の座標を特定する。特定される上端の座標と実空間における距離との対応は、図３に示したように予め記憶してあるものに基づいて求める。これにより、演算処理が容易となる。なお、差分データにおける差分値が所定値以上である画素の連続領域が複数ある場合には夫々の連続領域を検出対象領域候補とし、検出対象領域候補毎に距離を算出する。

ステップＳ３の上述の説明では、制御部１０は検出対象領域候補の上端の画像データ中における垂直方向の座標を特定した。しかしながら、検出対象領域候補の下端の画像データ中における垂直方向の座標を特定してもよい。検出対象である人物が写っている人物領域は、人物の路面との接地点に対応する可能性が高いので、接地点に対応する座標を特定することにより、画像処理装置１から人物までの実空間における距離を算出することができるからである。ただし、接地点付近には、降雨がある状況では水溜りでの反射成分が、日照がある状況では影部分が生じている可能性がある。したがって、下端として特定される座標は、本来の人物の足元に相当する位置でなく、反射成分又は影部分の下端に相当している可能性がある。この場合、当該位置を基準に、撮像装置３から人物までの距離を算出すると、誤って距離を短く算出して精度を低下させる可能性がある。

次に制御部１０は、ステップＳ４で検出対象領域候補夫々の上端に基づき算出した実空間における画像処理装置１から人物までの距離に応じて、各検出対象領域候補について、検出対象である人物の領域が占めるべき大きさを特定する（ステップＳ５）。具体的には、制御部１０は、各検出対象領域候補の水平方向及び垂直方向の画素数（ピクセル）を特定する。例えば、一の検出対象領域候補について、ステップＳ３で算出した距離が５０ｍであった場合、記憶部１１に記憶されている情報を参照し、検出対象である人物が占めるべき大きさは水平方向１５ピクセル、垂直方向３０ピクセルであると特定する。

そして制御部１０は、複数の検出対象領域候補から、一の検出対象領域候補を選択し（ステップＳ６）、選択した検出対象領域候補の上端の画像データ中における位置から、特定された大きさの分だけ下方の位置までの範囲に、他の検出対象領域候補を内包するか否かを判定する（ステップＳ７）。

詳細には、制御部１０は以下に示すように、各検出対象領域候補の矩形に対して探索範囲を設定し、探索範囲内に他の検出対象領域候補が内包されるか否かを判定する。制御部１０が一の検出対象領域候補を選択した場合、制御部１０は、検出対象領域候補は矩形として特定されているから（Ｓ４参照）、当該矩形の垂直二等分線を特定する。制御部１０は、探索範囲の大きさを、各検出対象領域候補に対応して特定された占めるべき大きさとする。そして制御部１０は、検出対象領域候補と探索範囲とで垂直二等分線が一致するように、探索範囲の水平方向を設定し、検出対象領域候補と探索範囲とで上端が等しくなるように、探索範囲の垂直方向を設定する。

制御部１０は、ステップＳ７にて、他の検出対象領域候補を内包しないと判断した場合（Ｓ７：ＮＯ）、処理をステップＳ９へ進める。制御部１０は、ステップ７にて、他の検出対象領域候補を内包すると判断した場合（Ｓ７：ＹＥＳ）、ステップＳ６にて選択した検出対象領域候補と、内包すると判断された他の検出対象領域候補とを対応付け、新たな一の検出対象領域候補として抽出する（ステップＳ８）。

制御部１０は、新たに抽出された候補も含む検出対象領域候補全てについて他の検出対象領域候補を内包しているか否かなどの処理を行なったか否かを判断し（ステップＳ９）、全候補について処理していないと判断した場合（Ｓ９：ＮＯ）、処理をステップＳ６へ戻し、他の検出対象領域候補を選択して処理を継続する。制御部１０は、全候補について処理したと判断した場合（Ｓ９：ＹＥＳ）、各検出対象領域候補の内の一部又は全部を検出対象領域と特定する（ステップＳ１０）。具体的には制御部１０は、各検出対象領域候補の画像データにおける位置から、第１撮像装置３からの実空間における距離を求め、当該候補が求めた距離にある場合に検出対象領域が占めるべき縦横の大きさの条件に合っている場合、検出対象領域として特定する。条件に合っていない検出対象領域候補は、検出対象領域として特定されずに除外される。

制御部１０は、ステップＳ１０で特定した検出対象領域に基づき検出対象を検出し、検出対象の交差点における位置、即ち撮像装置３からの距離など、検出した対象の情報を通信部１４により送信し（ステップＳ１１）、処理を終了する。

ここで、図４のフローチャートに示した処理手順について具体例を挙げて説明する。

まず、ステップＳ７における処理の詳細、及びステップＳ８にて新たな候補として抽出される処理について図５を参照して説明する。図５は、実施の形態１における画像処理装置１の制御部１０による処理の結果を具体的に示す説明図である。

図５（ａ）は、参考のために撮像装置３の撮像範囲の内の一部を拡大して示している。図５（ａ）に示すように撮像装置３の撮像範囲には、撮像装置３側を向いている人物が写っている。図５（ｂ）は、撮像装置３にて撮像された遠赤外線画像データから、背景画像との差分を算出することによって抽出された検出対象領域候補の内容例を示している。なおハッチングにて差分データとして算出される領域を示し、太破線により外接矩形にて抽出される検出対象領域候補を示している。図５（ｂ）に示す例では、図５（ａ）に示す顔部分及び脚部分の露出部に相当する領域が、輝度値が背景データにおける輝度値よりも高い領域として各別に抽出される。撮像装置３は遠赤外線波長帯にて撮像するので、衣服の部分が背景と温度差を生じていない場合、遠赤外線画像データにてコントラストを生じさせず、図５（ｂ）に示すように検出対象領域候補として抽出されない。

図５（ｃ）は、制御部１０の処理により、選択された検出対象領域候補夫々に対して設定される探索範囲を細破線にて示している。また、図５（ｃ）は、ステップＳ７にて内包すると判断された他の検出対象領域候補とを対応付け、新たな一の検出対象領域候補として抽出される領域を実線にて示している。

探索範囲の設定は具体的に以下のように行なわれる。制御部１０がステップＳ６にて顔部分に相当する検出対象領域候補を選択した場合、矩形として特定される検出対象領域候補の垂直二等分線を、図５（ｃ）中の一点鎖線に示すように特定する。そして制御部１０は、選択した検出対象領域候補の上端の垂直方向の座標ｙを特定する。制御部１０は、図３に示す背景データに対応付けられている垂直方向の座標と実空間における距離との対応関係に基づき、特定した座標ｙに対応する実空間における距離を特定する。制御部１０は、特定した距離に検出対象（人物）がある場合に、検出対象領域が占めるべき大きさ（縦Ｖ_y 及び横Ｈ_y ）を特定する。これらの情報に基づき制御部１０は、座標ｙを上端とし、且つ検出対象領域候補の垂直二等分線を中心軸とする縦Ｖ_y 及び横Ｈ_y の矩形（細破線）を探索範囲として設定する。制御部１０が脚部分に相当する検出対象領域候補を選択した場合も同様に、制御部１０は、検出対象領域候補の上端の垂直方向の座標ｙ´を特定し、検出対象領域が占めるべき大きさ（縦Ｖ_y´及び横Ｈ_y´）を特定する。そして制御部１０は、検出対象領域候補に対し、座標ｙ´を上端とし、且つ検出対象領域候補の垂直二等分線を中心軸とする縦Ｖ_y´及び横Ｈ_y´の矩形（細破線）を探索範囲として設定する。

そして制御部１０は、選択された検出対象領域候補に対して設定した探索範囲内に、他の候補が内包されるか否かを判定する。図５（ｃ）に示す例では、細破線にて示される顔部分に対応する検出対象領域候補の探索範囲内に、脚部分の検出対象領域候補が含まれている。したがって、図５（ｃ）中の実線にて示すように、顔部分の検出対象領域候補と脚部分の検出対象領域候補とが対応付けられ、新たな一の検出対象領域候補として抽出される。

次に、画像処理装置１の制御部１０により検出対象領域候補が抽出され、検出対象領域として特定される処理を、具体例を示して説明する。図６は、実施の形態１における画像処理装置１の制御部１０が行なう画像処理結果の具体例を示す説明図である。

図６（ａ）は、撮像装置３から画像取得部１３にて取得される画像データ、即ち遠赤外線画像データの内容例を模式的に示す。図６（ａ）の遠赤外線画像データでは一点鎖線に輪郭を模式的に示すように、路面が写っている。画像データにおける中央、左下、及び右付近には他の路面よりも輝度値が高い白抜きで示された領域がある。左下と右部分が人物領域であるとする。

図６（ｂ）は、図６（ａ）に示す遠赤外線画像データから制御部１０によって算出される差分データを示す。図６（ｂ）中の破線にて示される矩形は、差分データから抽出される検出対象領域候補を示す。図６（ｂ）に示すように、左下と右部分にある人物領域は夫々、２つの検出対象領域（人物領域）候補として各別に抽出されている。夫々の検出対象領域候補について、その縦横の大きさから検出対象である人物が占める領域であるか否かが判断される場合、その大きさが小さく認識されるために、人物領域ではないと誤って除外される可能性がある。

しかしながら、実施の形態１の画像処理装置１における処理により、図６（ｃ）中の実線に示すように、人物領域夫々に対応する２つに分離した検出対象領域候補は、一方の候補の探索範囲に他方が内包されると判定されるため、一の検出対象領域候補としても抽出されて取り扱われる。したがって、２つに分離していても正しく検出対象である人物対象領域として特定され、精度よく人物が検出される。

なお、上述の探索範囲の設定は、検出対象領域候補と垂直二等分線を同じくし、且つ上端の座標を同じくした検出対象領域が占めるべき大きさの矩形とした。これは、検出対象を人物としていることによる。即ち、検出対象が人物である場合は特に、露出部分である顔部分と、衣服を着ている場合でも比較的輝度値が高くなる脚部分とに上下２つに分離することが多いことを利用している。撮像装置３が可視光波長帯にて撮像する場合でも、同化する部分は衣服の部分が多く、顔部又は頭部と、脚部又は足部との上下２つに分離する可能性が高い。

したがって、逆に検出対象が人物でない場合は、探索範囲の設定は、垂直二等分線を同じくし、且つ上端の座標を同じくした検出対象領域が占めるべき大きさの矩形とは限らない。検出対象が撮像されて、差分データを算出した場合に分離する可能性があるときは、分離の仕方に応じて探索範囲を設定することにより同様に正しい検出が可能である。

（実施の形態２）
検出対象を人物とする場合、降雨が有るときには人物は傘を差して歩行するか又は自転車にて走行することがある。この場合、画像データに写る人物領域は縦方向に伸びるはずである。そのまま、実施の形態１に示したように、選択した人物領域候補から下方の人物領域が占めるべき大きさの範囲内に、他の人物領域候補が内包されるか否かを判定する構成とした場合、判定を誤る可能性がある。探索範囲の縦方向が短く、夫々同一の人物の人物領域の一部であるにも拘らず、内包されないと判定されて一の人物領域候補として抽出されない場合があるからである。内包するか否かの判定の際に、許容範囲を持たすことによって上述のように判定を誤ることを回避できるが、より高精度に判定するため、実施の形態２では、降雨センサを用いる。

図７は、実施の形態２における安全運転支援システムが設置されている交差点の例を示す上方からの斜視図である。図７中の４は、交差点を撮像する撮像装置３と一体に構成される画像処理装置であり、２は路側機であり、５は降雨センサである。路側機２、並びに撮像装置３については実施の形態１と同様であるため同一の符号を付して詳細な説明を省略する。

画像処理装置４は、実施の形態１における画像処理装置１同様に路側に設置されて所定の高さで道路側に伸びている支柱に取り付けられている。画像処理装置４、及び撮像装置３は、撮像装置３のレンズ側を撮影波長帯を透過する素材とした筐体に収められている。降雨センサ５は、交差点付近における降雨の有無を検知するために、画像処理装置４及び路側機２と並べて支柱に取り付けられている。画像処理装置４と降雨センサ５とは、降雨センサ５からの信号を画像処理装置４が受信可能なように信号線にて接続されている。

図８は、実施の形態２における安全支援システムを構成する画像処理装置４、路側機２、撮像装置３、及び降雨センサ５の構成を示すブロック図である。画像処理装置４は、ＣＰＵ、ＭＰＵ等を利用して各構成部を制御する制御部４０と、ＥＥＰＲＯＭ、フラッシュメモリ等の不揮発性のメモリを利用した記憶部４１と、ＳＲＡＭ、ＤＲＡＭ等のメモリを利用した画像メモリ４２と、撮像装置３からの画像信号を受け付ける画像取得部４３と、路側機２との通信を実現する通信部４４と、降雨センサ５からの信号が入力される入力部４５とを備える。制御部４０、記憶部４１、画像メモリ４２、通信部４４の詳細は、実施の形態１における画像処理装置１の制御部１０、記憶部１１、画像メモリ１２、通信部１４と同様であるので詳細な説明を省略する

入力部４５は、降雨センサ５から入力される信号を制御部４０へ通知する。Ａ／Ｄ変換機能を有していてもよい。

降雨センサ５は、水没した場合に抵抗値が変化する素子等を用いてもよいし、水没した場合に通電するように電極を複数備えたセンサ等を用いてもよい。降雨センサ５は、一部が水没して降雨があると判定できる場合に、降雨有を示す信号を出力する。なお、抵抗値をそのまま画像処理装置４へ入力し、制御部４０が入力部４５を介して降雨の有無を判定してもよい。

上述のように構成される実施の形態２における画像処理装置４の制御部４０は、基本的に、実施の形態１に示した画像処理装置１の制御部１０と同様に以下のような処理を行なう。ただし制御部４０は、降雨センサ５から入力される降雨の有無を示す信号に基づき、探索範囲の縦方向を所定値大きく設定することにより、傘を差している分だけ縦方向に伸びていると考えられる人物領域をより精度よく特定し、人物を検出する。

以下に、実施の形態２における画像処理装置４の制御部４０が、撮像装置３から出力される画像信号から取得した画像データに対して行なう画像処理について詳細を説明する。

図９は、実施の形態２における画像処理装置４の制御部４０が行なう画像処理の手順の一例を示すフローチャートである。なお、以下に示す処理手順の内、実施の形態１の図４のフローチャートに示した処理手順と共通する処理手順については同一のステップ番号を付して詳細な説明を省略する。

制御部４０は、撮像装置３から取得した画像データから差分データを算出することによって抽出した複数の検出対象領域候補夫々について、検出対象が算出される距離にいる場合に検出対象領域が占めるべき大きさを特定する（Ｓ１〜Ｓ５）。

制御部４０は、降雨センサ５から入力される信号に基づき降雨の有無を判定する（ステップＳ１２）。制御部４０は、降雨有りと判定した場合（Ｓ１２：ＹＥＳ）、ステップＳ５で各検出対象領域候補に特定した大きさに対して、夫々縦方向を所定値分だけ大きく特定し（ステップＳ１３）、処理をステップＳ６へ進める。制御部４０が降雨無と判定した場合（Ｓ１２：ＮＯ）、ステップＳ５にて特定した大きさはそのままで処理をステップＳ６へ進める。

制御部４０は、全ての検出対象領域候補を一つずつ選択し、ステップＳ５及びステップＳ１３にて降雨の有無に応じて特定された検出対象領域が占めるべき大きさに基づいて設定される探索範囲に、他の候補を内包するか否かの判定を行ない、内包する場合には検出対象領域候補を対応付けて新たな候補として抽出する（Ｓ６〜Ｓ９）。そして制御部４０は、抽出された検出対象領域候補の一部又は全部を検出対象領域として特定し（Ｓ１０）、特定された検出対象領域に基づき検出対象の情報を送信して（Ｓ１１）処理を終了する。

これにより、降雨の有無に応じて人物領域が占めるべき大きさを精度よく特定することができ、検出対象である人物を精度よく検出することが可能となる。

上述の実施の形態１及び２では、画像取得部１３又は画像取得部４３による画像の取得、並びに画像処理を制御部１０，４０が行なう構成とした。しかしながら本発明はこれに限らず、画像の取得処理及び画像処理を画像処理部分を分離した集積回路によって実現するように構成してもよい。特に、上述の実施の形態１及び２では図４、及び図９のフローチャートに示した処理手順を制御部１０又は制御部４０が各構成部を制御して行なう構成とした。しかしながら、本発明に係る画像処理装置１，４は、フローチャートに示した各処理手順を行なうように設計された集積回路を更に集積した特定用途向けの回路（ＡＳＩＣ：Application Specific Integrated Circuit）を有する構成としてもよい。例えば、図４のフローチャートに示したステップＳ２に対応する差分データを算出する回路、ステップＳ６〜Ｓ９における処理を実現する回路等を組み合わせたＡＳＩＣを設計して用いることにより、各処理を高速に実行することができる。

更に、実施の形態１及び２は、安全運転支援システムに適用した場合を示した。しかしながら、本発明に係る画像処理装置による移動体の検出は安全運転支援システムに限らず、他の分野にも適用可能である。例えば、防犯システム又は監視システム等、撮像画像に基づき対象を精度よく検出することが可能である。

なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

実施の形態１における安全運転支援システムが設置されている交差点の例を示す上方からの斜視図である。 実施の形態１における安全運転支援システムを構成する画像処理装置、路側機、及び撮像装置の内部構成を示すブロック図である。 実施の形態１における画像処理装置の記憶部に予め記憶されている背景の画像データの内容例を示す説明図である。 実施の形態１における画像処理装置の制御部が行なう画像処理の手順の一例を示すフローチャートである。 実施の形態１における画像処理装置の制御部による処理の結果を具体的に示す説明図である。 実施の形態１における画像処理装置の制御部が行なう画像処理結果の具体例を示す説明図である。 実施の形態２における安全運転支援システムが設置されている交差点の例を示す上方からの斜視図である。 実施の形態２における安全支援システムを構成する画像処理装置、路側機、撮像装置、及び降雨センサの構成を示すブロック図である。 実施の形態２における画像処理装置の制御部が行なう画像処理の手順の一例を示すフローチャートである。

符号の説明

１，４ 画像処理装置
１０，４０ 制御部
１１，４１ 記憶部
３ 撮像装置
５ 降雨センサ

Claims (4)

1. 撮像手段から得られる撮像画像に基づいて撮像範囲内にある対象を検出するための画像処理を行なう画像処理装置において、
   前記撮像画像から検出対象が写っている検出対象領域の候補を抽出する抽出手段と、
   該抽出手段が抽出した候補が複数ある場合、各候補の撮像画像中における位置に基づき、検出対象領域が撮像画像中で占めるべき大きさを特定する特定手段と、
   前記抽出手段が抽出した候補の撮像画像中における位置を基準として前記特定手段が特定した大きさの範囲に、他の候補が含まれているか否かを判定する判定手段と、
   該判定手段が含まれていると判定した場合、前記候補と他の候補とを結合した領域を新たな一の検出対象領域の候補として抽出する手段と、
   前記抽出手段により抽出された候補、及び対応付けられた候補に基づき、検出対象を検出する手段と
   を備えることを特徴とする画像処理装置。
2. 前記判定手段は、前記抽出手段が抽出した候補の上端の撮像画像中における位置から、前記特定手段が特定した縦方向の大きさ分だけ下方の位置までの範囲に、他の候補が含まれているか否かを判定するようにしてあること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記検出対象は人物であり、
   降雨の有無を検知する検知手段を更に備え、
   前記検知手段が降雨有と検知した場合、前記特定手段は、検出対象領域が撮像画像中で占めるべき縦方向の大きさを所定値分だけ大きく特定するようにしてあること
   を特徴とする請求項１又は２に記載の画像処理装置。
4. 撮像画像に基づき、撮像範囲内にある対象を検出するための画像処理を行なう方法において、
   前記撮像画像から検出対象が写っている検出対象領域の候補を抽出するステップと、
   抽出された候補が複数ある場合、各候補の撮像画像中における位置に基づき、検出対象領域が撮像画像中で占めるべき大きさを特定するステップと、
   抽出された候補の撮像画像中における位置を基準として特定された大きさの範囲に、他の候補が含まれているか否かを判定するステップと、
   各候補について他の候補が含まれていると判定された場合、前記候補と他の候補とを結合した領域を新たな一の検出対象領域の候補として抽出するステップと、
   抽出された候補に基づき、検出対象を検出するステップと
   を含むことを特徴とする画像処理方法。

Images