JP2010020557A

JP2010020557A - 画像処理装置及び画像処理方法

Info

Publication number: JP2010020557A
Application number: JP2008180632A
Authority: JP
Inventors: Hiroaki Saito; 裕昭齋藤
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2008-07-10
Filing date: 2008-07-10
Publication date: 2010-01-28

Abstract

【課題】発光部を有さない検出対象を精度良く撮像画像から検出することを可能とする画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理装置の制御部は、遠赤外線波長帯にて撮像する撮像装置から得られる画像データから抽出される検出対象領域の候補と、可視光波長帯にて撮像する撮像装置から得られる画像データから抽出される高輝度領域とを比較する。高輝度領域と重複する検出対象領域の候補全体が候補から除外される。高輝度領域部分のみ除外されるのではなく、夜間に視認が困難な、発光部を有していない検出対象、つまり人物又は無灯火の自転車などが遠赤外線画像データに基づいて精度よく検出される。
【選択図】図５

Description

本発明は、遠赤外線波長帯を利用する撮像装置により撮像された撮像画像に写る対象を検出するための画像処理装置に関する。特に、発光部を有さない検出対象を精度良く撮像画像から検出することを可能とする画像処理装置及び画像処理方法に関する。

従来より、見通しの悪いＴ字路、十字路等の交差点での交通事故を防止するための交通制御システムが種々提案されている。特に、交差点近傍の路側に道路状況を上方から可視光波長帯にて撮像する撮像装置を設置し、撮像した画像を自動車へ送信することにより運転者に警告、注意を通知できるシステムが提案されている（例えば、特許文献１参照）。

自動車同士の衝突のみならず、自動車と自転車との衝突、自動車と人との衝突等の種々の交通事故を削減するため、更に高度な安全運転支援システムの実現が期待されている。具体的には、交差点における他の自動車、自転車、人、又は落下物の有無及び位置の情報を交差点に進入しようとする自動車へ送信する。そして、自動車側で受信する情報に基づき事故を回避するための制御を自動的に実行する。これにより事故を未然に防ぐことができ、更に被害を最小限に抑えることが期待される。この場合、撮像画像から対象物の有無のみならず、他の自動車、自転車、人、又は落下物等の検出対象の種類を夫々識別して検出することが必要となる。

これに対して特許文献２には、車両に搭載される赤外線カメラにて撮像した赤外線画像から人物を検出する技術が開示されている。赤外線画像では温度差が輝度差になることを利用し、夜間に可視光波長帯では捉えることが困難な人物を検出できる。特に、特許文献２では、人物から放出される赤外線量と同程度の赤外線量に相当する領域を抽出し、更に人物で有り得ない部分を除外することにより、誤検出を回避している。
特開２００３−１０９１９９号公報特開２００１−１０８７５８号公報

撮像画像から検出対象の種類をも識別した上で検出するためには、撮像画像内の検出対象領域から、検出対象の種類毎に異なる特徴量を検知できるか否かの判断が有効である。例えば撮像画像内における検出対象領域の形状及び大きさを種類毎に特徴量として設定しておき、検出対象領域の形状及び大きさが設定されている形状及び大きさと一致するか否かによって検出対象の種類を識別することが可能である。

特許文献２に開示されているように赤外線カメラを利用することにより、交差点における人物を夜間でも撮像することができる。そして特許文献２に開示されている技術により、赤外線画像から人物から放射される赤外線量に相当する領域を候補として抽出し、抽出した領域から人物で有り得ないと判断できる部分を除外した後の領域の形状又は大きさに基づき人物を検出できる。

特許文献２に開示されている技術では、人物では有り得ない発光部分もしくは高温部分の領域又は該領域を含む矩形領域を、人物で有り得ない部分として除外する。したがって、例えば発光部分が前方を走行する車両のヘッドライトであるときはヘッドライト部分のみ、又はヘッドライトを含む車両の下部領域が人物で有り得ない部分として除外され、車両の他の一部の領域は残る。車両の他の一部の領域が残っていても、特許文献２では、除外された高温部分又は発光部分の近接部分以外には人物の温度と同程度となり得る部分の存在は考慮していないので、人物の温度と同程度の温度に相当する領域は、形状又は大きさが不適でないかぎり人物として検出して問題ないとされる。しかしながら、発光部分及び高温部分の近接部分以外の車体表面の領域等、人物の温度と同程度の温度に相当する領域があり得る。この場合、上述のように一部が除外されることによって大きさが小さくなり、車体表面の領域が誤って人物領域として検出される可能性が高くなる。

更に、特許文献２では人物の皮膚表面温度の領域を抽出して人物領域の候補としているが、人物は衣服を着ているので、衣服によっては人物の皮膚表面温度の領域が顔部分及び足部分等の一部のみとなる場合がある。この場合、同一の検出対象が写る領域であるにも拘わらず、別々の人物領域の候補として抽出されるので、その形状又は大きさで判断したときに夫々面積が小さく、人物で有り得ない領域として誤って除外される可能性が高い。これに対し、衣服の温度を考慮して人物領域に相当する温度の範囲として例えば、２０℃〜５０℃の範囲などと広くした場合には、人物以外が写る領域が誤って人物領域として抽出される領域が多くなる。

特許文献２では、人物領域として検出される領域の色を変えて画面に表示する構成としているので、例えば誤って人物領域として検出された領域があった場合でも、観察者であるユーザが画面を見て自然に人物以外の領域を除外して観察するので問題がない。しかしながら、特徴量から検出対象を識別して検出し、情報を車両へ送信する安全運転支援システムに特許文献２の技術を適用した場合には、上述のような精度の問題で検出対象領域を精度良く特定することは困難である。

本発明は斯かる事情に鑑みてなされたものであり、発光部を有さない検出対象を精度良く撮像画像から検出することを可能とする画像処理装置及び画像処理方法を提供することを目的とする。

第１発明に係る画像処理装置は、撮像画像に基づいて撮像範囲内にある対象を検出するための画像処理を行なう画像処理装置において、遠赤外線波長帯にて撮像する第１撮像手段と、第１撮像手段の撮像範囲を可視光波長帯又は近赤外線波長帯にて撮像する第２撮像手段と、第１撮像手段が撮像した第１撮像画像から、検出対象が写っている検出対象領域の候補を抽出する抽出手段と、第１撮像画像と同時的に第２撮像手段により撮像された第２撮像画像から、輝度値が所定値以上である高輝度領域を抽出する手段と、前記抽出手段が抽出した候補と前記高輝度領域とが重複するか否かを判断する判断手段と、該判断手段が重複しないと判断した候補の領域に基づき、検出対象を検出する手段とを備えることを特徴とする。

第２発明に係る画像処理装置は、第１撮像手段は、複数の画素毎の輝度値からなるデジタル画像を出力するようにしてあり、前記抽出手段は、第１撮像画像と所定の基準画像との間での各画素での輝度値の差分を求める手段を備え、該手段が求めた差分が所定値以上である画素が画像中で連続する領域を検出対象領域の候補として抽出するようにしてあることを特徴とする。

第３発明に係る画像処理装置は、第１撮像手段の撮像範囲を第１撮像手段とは異なる角度から遠赤外線波長帯にて撮像する第３撮像手段を更に備え、第１及び第３撮像手段は、複数の画素毎の輝度値からなるデジタル画像を出力するようにしてあり、前記抽出手段は、第１撮像手段が撮像した第１撮像画像と同時的に第３撮像手段により撮像された第３撮像画像を取得する手段と、前記第１及び第３撮像画像から夫々、輝度値が所定値以上である画素が画像中で連続する領域を抽出する手段と、該手段が前記第１撮像画像から抽出した第１候補領域に対応する対応領域を、前記第３撮像画像から抽出された領域から特定する特定手段と、第１撮像画像から抽出した第１候補領域が複数ある場合、第１候補領域の第１撮像画像における位置と、第１候補領域夫々に対し前記特定手段が特定した対応領域の第３撮像画像中における位置との間の差異を求める手段と、該手段が求めた差異が略等しい第１候補領域を抽出する手段と、該手段が抽出した第１候補領域間に位置する画素と、夫々の第１候補領域の対応領域間に位置する画素との間の相関を求める手段と、前記相関が所定値よりも高い第１候補領域同士を対応付ける手段とを備え、対応付けられた第１候補領域を一の検出対象領域の候補として抽出するようにしてあることを特徴とする。

第４発明に係る画像処理方法は、遠赤外線波長帯にて撮像する第１撮像手段、及び第１撮像手段の撮像範囲を可視光波長帯又は近赤外線波長帯にて撮像する第２撮像手段により撮像される撮像画像に基づき、撮像範囲内にある対象を検出するための画像処理方法であって、第１撮像手段が撮像した第１撮像画像から、検出対象が写っている検出対象領域の候補を抽出する抽出ステップ、前記第１撮像画像と同時的に第２撮像手段により撮像された第２撮像画像から、輝度値が所定値以上である高輝度領域を抽出するステップ、前記抽出ステップにて抽出した候補と前記高輝度領域とが重複するか否かを判断する判断ステップ、及び、該判断ステップが重複しないと判断した候補の領域に基づき、検出対象を検出するステップを含むことを特徴とする。

第１発明及び第４発明にあっては、遠赤外線波長帯にて撮像された第１撮像画像から検出対象が写る領域の候補が抽出される。そして前記第１撮像画像と同時的に可視光波長帯又は近赤外線波長帯にて撮像された第２撮像画像からは、輝度値が所定値以上である高輝度領域が抽出される。同時的に撮像された第１撮像画像から抽出される候補の領域と、第２撮像画像から抽出される高輝度領域とが重複する場合、前記候補の領域に写るもの全体としては発光部を有していると判断できる。したがって、人物又は無灯火の自転車等、発光部を有さず夜間では視認が困難な検出対象を検出する際に、発光部を有する物体の領域全体を不要な領域として除外することが可能であり、検出対象が精度よく検出される。

第２発明にあっては、第１撮像手段によって出力される第１撮像画像は、複数の画素毎の輝度値からなるデジタル画像である。抽出手段は第１撮像画像と所定の基準画像との間で各画素での輝度値の差分を求め、求めた差分が所定値以上である領域、即ち基準画像と大きく異なる部分が検出対象領域の候補として抽出される。したがって、第１撮像画像にて温度が検出対象の温度として適切か否かによらずに、基準画像には写っていないものが検出対象領域の候補として検出される。これにより、検出対象を含む各対象を写している領域が精度よく抽出される。

第３発明にあっては、第１撮像手段の撮像範囲を第１撮像手段と同様に遠赤外線波長帯にて撮像し、且つ第１撮像手段とは撮影角度が異なる第３撮像手段が更に備えられる。第１撮像手段と第３撮像手段とで同時的に撮像する第１撮像画像及び第３撮像画像に同一の対象が写る場合、当該対象が写る領域は１及び第３撮像手段からの距離が同一である。第１撮像手段と第３撮像手段とは異なる角度で同一の撮像範囲を撮像するので、第１及び第３撮像画像から夫々対応して抽出される領域の第１及び第３撮像画像における位置の差異即ち視差により、抽出される候補の内の同一の距離にある領域は、同一の対象物の一部であるとすることが可能である。
ただし、同一の距離にある領域は全て同一の対象物の一部であるとした場合は、同一距離に存在する異なる対象を同一の対象として誤って検出する可能性がある。したがって、同一の距離にあるか否かのみならず、第１撮像画像から抽出された領域と、第３撮像画像から前記領域に対応して抽出された領域との夫々周辺部に位置する画素間の相関を求める。第１撮像画像から抽出された領域と、対応して抽出された領域とが同一の対象を写す領域である場合、抽出された領域以外の部分でも色などの類似性が高く相関が所定値よりも高くなることを利用する。これにより、同一対象を写すにも拘わらず複数の領域に抽出された領域を精度よく一の対象を写している領域として精度よく抽出される。

本発明による場合、発光部を有さない検出対象を検出する際に、発光部を有する物体の領域全体を不要な領域として除外することができるので、検出対象領域を正しく抽出し、正確に対象を検出することが可能である。これにより、発光部を有さない検出対象、特に人物を高精度に正しく識別することが可能となる。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。

なお、以下に示す実施の形態では、本発明に係る画像処理装置によって交差点にいる人物を正確に検出することを可能とし、交差点に進入する自動車で事故防止のための走行制御を実行させる安全運転支援システムに適用した場合を例に説明する。

（実施の形態１）
図１は、実施の形態１における安全運転支援システムが設置されている交差点の例を示す上方からの斜視図である。図１中の１は、交差点を撮像する２台の撮像装置と一体に構成される画像処理装置である。画像処理装置１は、路側に設置されて所定の高さで道路側に伸びている支柱に取り付けられている。画像処理装置１と一体に構成されている２台の撮像装置が交差点及びその近傍の範囲を俯瞰するように設置されている。画像処理装置１及び２台の撮像装置は、撮像装置のレンズ側を遠赤外線、及び可視光線又は近赤外線を透過する素材とした筐体に収められている。図１中の２は路側機であり、画像処理装置１と同様に路側の支柱に取り付けられている。画像処理装置１と路側機２とは通信線により接続されている。

画像処理装置１は、路側機２を介して無線通信によりデータを送受信することが可能である。例えば、図１中には２台の自動車が示されている。各自動車の車載器は、例えばＤＳＲＣ（Dedicated Short Range Communication）技術により路側機２との無線通信が可能に構成されている。

実施の形態１における安全運転支援システムでは、画像処理装置１が以下に説明する動作を行なうことにより各自動車での走行制御を実現する。画像処理装置１が、交差点を俯瞰するように撮像する撮像装置により得られる画像データから、交差点における自動車、自転車、歩行者、又は落下物等を検出する。夜間は特に視認することが困難な歩行者又は無灯火の自転車等を検出する。そして、画像処理装置１は検出対象の情報を路側機２を介して各自動車に送信する。これにより各自動車では、路側機２を介して受信した情報に基づき、進行方向に歩行者の存在を検知した場合にはブレーキを自動的に作動させるなどの走行制御が実現可能となる。また、緩衝装置を作動させるなど、衝突事故が起こった場合でも衝突による衝撃を軽減させるための安全制御も実現可能となる。

このような安全運転支援システムを実現するために、画像処理装置１が画像データに基づき行なう画像処理、及び画像処理によって得られる各種情報について以下に説明する。

図２は、実施の形態１における安全運転支援システムを構成する画像処理装置１、路側機２、並びに第１及び第２撮像装置３，４の内部構成を示すブロック図である。画像処理装置１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等を利用して各構成部を制御する制御部１０と、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ等の不揮発性のメモリを利用した記憶部１１と、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）等のメモリを利用した画像メモリ１２と、第１及び第２撮像装置３，４からの画像信号を受け付ける第１画像取得部１３及び第２画像取得部１４と、路側機２との通信を実現する通信部１５とを備える。

制御部１０は、内蔵するＲＯＭ（Read Only Memory）又は記憶部１１に記憶されている制御プログラムを読み出して実行することにより各構成部を制御し、後述にて説明する画像処理を行なうようにしてある。記憶部１１は制御部１０に内蔵される構成としてもよい。制御部１０の処理によって発生する各種データは、更に別途備えられる不揮発性のメモリ又は制御部１０内蔵のメモリに一時的に記憶される。

画像メモリ１２は、第１及び第２画像取得部１３，１４により取得された画像データを記憶する。制御部１０は、第１及び第２画像取得部１３，１４にて画像データを取得した場合に、第１及び第２画像取得部１３，１４夫々に対応する画像メモリ１２内の記憶領域への書き込みを指示する。また、後述にて説明する各処理は、画像メモリ１２に記憶されている画像データ、又はその複製に対して行なう。

画像メモリ１２は、制御部１０が内蔵するＲＡＭ（Random Access Memory）の一部の記憶領域であってもよい。また、記憶部１１又は画像メモリ１２は画像処理装置１の外部に設置され、画像処理装置１の制御部１０が読み書きが可能なように、画像処理装置１と接続されている構成としてもよい。

第１画像取得部１３は第１撮像装置３から出力される画像信号を受け付け、第２画像取得部１４は、第２撮像装置４から出力される画像信号を受け付ける。そして第１画像取得部１３及び第２画像取得部１４は夫々、受け付けた画像信号から画像データを取り出し、画像メモリ１２に記憶する。詳細には、第１及び第２画像取得部１３，１４は制御部１０からの指示に従い、夫々受け付けている画像信号から画像を構成する画素毎の輝度値又は色差等を取り出して画像データとし、画像メモリ１２へ書き込む。

通信部１５は、路側機２との間を接続する通信線を介した情報の送受信を実現する。制御部１０は、画像処理によって得られた情報を通信部１５にて路側機２へ送信し、通信部１５にて路側機２からの情報を受信する。

路側機２は、ＣＰＵ又はＭＰＵを利用して各構成部を制御する制御部２０と、画像処理装置１との通信を実現する通信部２１と、各自動車に搭載されている車載器への通信を無線により実現する無線通信部２２とを備える。

通信部２１は画像処理装置１の通信部１５と対応して情報の送受信が可能である。制御部２０は、通信部２１が画像処理装置１から送信された情報を受信した場合、通信部２１からの通知を受けてこれを受信する。

無線通信部２２は、ＤＳＲＣ技術の方式により無線通信が可能である。制御部２０は、通信部２１により画像処理装置１から受信した情報を、無線通信部２２により各自動車の車載器へ送信する。なお、無線通信部２２は車載器へのＤＳＲＣ方式による通信のみならず、遠隔地にある交通管制センター内の通信装置宛に情報を送信できるように構成してあってもよい。

第１撮像装置３は、赤外線レンズ及び遠赤外線撮像素子を備え、遠赤外線波長帯にて撮像を行なう遠赤外線カメラである。赤外線レンズは硫化亜鉛、カルコゲンガラス、ゲルマニウム、ジンクセレン等を原料として作製されている。遠赤外線撮像素子は、酸化バナジウム（ＶＯｘ）、アモルファスシリコン、ＳＯＩ（Silicon on Insulator）ダイオード、サーモパイル等を用いた非冷却型のものを用いる。遠赤外線撮像素子が検出可能な波長帯は例えば、８μｍ〜１２μｍである。フィルタを備えて他の波長の光を遮断するようにしてもよい。

第１撮像装置３の遠赤外線撮像素子は、温度差を輝度差に変換して出力する。これにより、夜間は可視光波長帯では視認が困難な歩行者、自転車に乗る人物を検出することが可能である。車両が撮像範囲にある場合は、車両の表面部分の内の例えばマフラ近傍、エンジンルーム近辺等の温度が高い部分を検出することが可能である。

第２撮像装置４は、可視光レンズ及び可視光撮像素子を備え、可視光波長帯にて撮像を行なうカメラである。可視光撮像素子は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device Image Sensor）を用いる。可視光撮像素子の感度特性は例えば、４５０ｎｍ〜７００ｎｍである。フィルタを更に備えて他の波長の光を遮断するようにしてもよい。なお、第２撮像装置４は、近赤外波長帯（例えば、９００ｎｍ〜１．２μｍ）に感度特性を有するように、赤外線レンズ及び近赤外線撮像素子を備える構成としてもよい。

第２撮像装置４の可視光撮像素子は、光の強度を輝度値に変換して出力する。これにより、夜間車両が撮像範囲にある場合、車両のボディ自体は周辺に同化してするが、ヘッドライト又はテールランプを点灯して走行するので、ライト及びランプ部分並びに周辺部分は高輝度値で撮像される。歩行者又は無灯火の自転車が撮像範囲にある場合は、発光部がないので撮像されても輝度値が周辺部分と略同程度となり識別が困難である。

第１撮像装置３の遠赤外線撮像素子及び第２撮像装置４の可視光撮像素子の画素数はいずれも例えば３２０×２４０であり、１秒間に約３０フレームのレートで生成される画像の画像信号を出力する。第１及び第２撮像装置３，４における撮像タイミングは厳密に同期されていることが望ましいが、必ずしも厳密な同期性は求められない。例えば、第１及び第２撮像装置３，４における撮像タイミングの時間差は後述する画像処理に影響を及ぼすが、時間差が特定又は推定できる場合にはその時間差による誤差を吸収することも可能である。

第１撮像装置３と、第２撮像装置４とでは、画角及び撮像範囲が略一致するように構成されている。つまり、第１及び第２撮像装置３，４では焦点距離が同一となるように内蔵するレンズ群の光学的配置が構成されている。同一画角、同一撮像範囲での撮像を簡易に実現するため、第１及び第２撮像装置３，４は同一の画素数の撮像素子を用い、同一の方向、即ち交差点へ向けて並設されている。

なお、上述のように第１及び第２撮像装置３，４の画角及び撮像範囲は、後述する処理のためには一致することが望ましいが、完全に一致することは困難である。ただし、少なくとも重複するように構成されることが必要となる。略一致するように並設できない場合は、第１及び第２画像取得部１３，１４にて取得される画像データの重複範囲を記憶部１１に記憶しておけばよい。そして、重複範囲内における相互に対応する画素を特定することが可能なように対応関係を記憶しておく。これにより制御部１０は、画像メモリ１２に記憶されている第１及び第２画像取得部１３，１４にて取得された２つの画像データの重複範囲内で同一の被写体が写っている領域を抽出することができる。

次に、上述のように構成される画像処理装置１の制御部１０が、第１及び第２撮像装置３，４から出力される画像信号から取得した画像データに対して行なう画像処理について詳細を説明する。

制御部１０は、第１及び第２画像取得部１３，１４にて取得した画像データを用いて人物を検出する。具体的には、制御部１０は夜間でも人物を検出できるように、基本的に第１画像取得部１３から取得した遠赤外線波長帯の画像データから、人物の領域を抽出する。画像データに基づく人物の検出方法としては従来より種々の技術がある。実施の形態１では、人物が写っていない基準となる背景画像との差分をとる方法を用いる。一又は複数フレーム分前の画像データを基準とし、その差分をとるフレーム差分の方法を用いてもよいし、オプティカルフローと呼ばれる方法を用いてもよい。

図３は、実施の形態１における画像処理装置１の記憶部１１に予め記憶されている背景の画像データの内容例を示す説明図である。なお、図３に示すような遠赤外線用の背景の画像データが記憶部１１に記憶してある。背景の画像データとして、時間帯及び天候によって異なる複数の画像データが記憶されており、制御部１０が周辺状況に応じて何れかを選択するようにしてある構成としてもよい。

図３に示すように、背景の画像データには固定物である路面が写っている。撮像装置３から取得される画像データと背景の画像データとの差分を算出することにより、人物領域候補が抽出される。

なお、画像処理装置１の設置位置、設置高さ、並びに第１撮像装置３の俯角、画角に応じて撮像範囲は決定される。実施の形態１の場合、第１及び第２撮像装置３，４は交差点を俯瞰するように設置される。したがって画像データ内における位置、特に垂直方向の位置と実空間の交差点における位置とに対応関係がある。図３中の破線で表わされる水平線は夫々、画像データ内における垂直方向の位置に対応する実空間における第１撮像装置３からの距離を示している。例えば、図３中の一番下方にある破線上に写る路面の一部は、第１撮像装置３が設置される位置から２０ｍの距離に位置する。また、中央にある破線上に写る路面の一部は、第１撮像装置３が設置される位置から５０ｍの距離に位置する。一番上方にある破線上に写る路面の一部は、第１撮像装置３が設置される位置から１００ｍの距離に位置する。

これを利用して制御部１０は、遠赤外線波長帯の画像データから抽出した人物領域候補の、画像中での上端又は下端の位置に基づいて、人物の実空間の交差点での位置を特定することができる。

そして、人物の大きさはある程度決まっており、概ね縦×横×高さが８０ｃｍ×８０ｃｍ×２ｍ（身長）の体積以内に収まるはずである。第１撮像装置３によって人物が撮像された場合、画像データ内の人物領域の大きさは、第１撮像装置３から遠いほど小さく、近いほど大きくなる。そして、人物領域の画像データ中における大きさは、第１及び第２撮像装置３，４から人物までの実空間における距離、及び第１及び第２撮像装置３，４の画角に応じて決まる。

したがって、第１撮像装置３から所定の距離に位置する人物領域の画像データ内に占めるべき縦横の大きさを記憶部１１に記憶しておく。人物は上述のように８０ｃｍ×８０ｃｍ×２ｍ（身長）の体積以内に収まる。第１撮像装置３から５０ｍの位置にいる人物が撮像装置３によって撮像された場合、人物の領域が占めるべき領域の大きさは、誤差を考慮して水平方向の大きさ（画素数）が１５ピクセル、垂直方向の大きさが３０ピクセル以内とする。

なお、人物領域として抽出した領域の画像データ内における位置が、記憶部１１に記憶されているサイズ情報に対応する所定の位置（例えば、５０ｍの距離の位置）とは異なる位置である場合、制御部１０は、差異に応じて人物領域が占めるべき水平方向及び垂直方向の大きさを算出する。例えば画像処理装置１から１００ｍの距離に対応する位置に、人物領域が位置する場合、所定の５０ｍの距離から２倍の距離であるので、占めるべき大きさは略半分となる。

このように、遠赤外線波長帯の画像データ中の人物領域が占めるべき縦横の大きさを記憶部１１に予め記憶しておく。そして、制御部１０は人物領域候補として抽出した領域の縦横の大きさが、人物の領域が占めるべき領域の大きさの条件に合っているか否かを判断し、条件に合っていると判断した場合は、抽出した人物領域候補を人物領域と特定する。

制御部１０は上述のように遠赤外線波長帯の画像データから背景差分により抽出された人物領域候補の内、人物の領域が占めるべき領域の大きさの条件に合っている領域を人物領域と特定するとした。しかしながら、遠赤外線波長帯で撮像されるものは人物のみならず、車両も含まれる。車両の表面温度は人物と比して低いが、車両のマフラー部分、エンジンルーム部分の近傍は比較的高温であり、一部が人物の温度と同程度となることがある。一部の形状が人物の領域が占めるべき領域の大きさの条件に合っている場合、誤って人物領域と特定されてしまう。

そこで、画像処理装置１の制御部１０は、上述のように記憶部１１に記憶されている情報を用いて以下に示す処理を行なう。図４は、実施の形態１における画像処理装置１の制御部１０が行なう画像処理の手順の一例を示すフローチャートである。

制御部１０は、第１画像取得部１３及び第２画像取得部１４へ同時的に指示信号を出力することにより、第１撮像装置３及び第２撮像装置４から出力される画像信号に基づく画像データを同時的に取得する（ステップＳ１）。なお、ステップＳ１における画像データの取得タイミングは任意である。例えば１秒等の一定時間毎に行なう構成としてもよいし、路側機２で車載器からの情報を受信した場合など、自動車が交差点への進入を検知した場合に行なう構成としてもよい。

制御部１０は、第１撮像装置３から出力される画像信号からステップＳ１で第１画像取得部１３が取得した画像データと、記憶部１１に記憶してある遠赤外線用の背景の画像データとの差分データを算出する（ステップＳ２）。算出された差分データは、画像メモリ１２又は制御部１０内蔵メモリに一時的に記憶される。

制御部１０は差分データを例えば以下のようにして算出する。制御部１０は画素毎に、背景の画像データと取得した画像データとの輝度値の差分を算出し、差分が所定値以上である画素と、差分が所定値未満である画素とに区別する。制御部１０は、画像データを構成する画素毎の、差分が所定値以上であるか否かの真偽を示す１ビット情報の二次元配列を、差分データとして算出する。これにより、遠赤外線波長帯にて撮像する第１撮像装置３から得られる画像データから、背景の画像データには写っていないものが存在する領域が抽出される。

更に具体的には、制御部１０は取得した画像データの画素毎に、以下に示す式１に基づく演算を行なう。

ただし、式１におけるｆ（ｘ，ｙ）は、取得した画像データを構成する水平方向の位置ｘ及び垂直方向の位置ｙで特定される各画素の１ビット情報である。なお、水平方向の位置ｘは画像データの左端からの画素数であり、垂直方向のｙは画像データの上端からの画素数とする。Ｉ_x,yは取得した画像データにおけるｘ、ｙで特定される画素毎の輝度値である。Ｉ´_x,yは、背景の画像データにおけるｘ、ｙで特定される画素毎の輝度値である。ｔｈｒｅｓｈｏｌｄは任意の閾値である。

なお、式１に示すように差分データを算出する際、取得した画像データ及び背景の画像データ夫々にエッジ抽出処理を施すなどした後の輝度値に基づいて算出してもよい。

制御部１０は、算出した差分データに基づき、検出対象である人物（歩行者）が写っている人物領域候補を抽出する（ステップＳ３）。具体的には、制御部１０はステップＳ２で算出した差分データの内、所定面積以上連続する画素で真である場合、当該画素群を人物領域候補として抽出する。制御部１０は、ステップＳ２で算出した差分データに対し、真である画素が連続しない場合は当該画素の１ビット情報を偽としてもよい。ノイズにより差分が所定値以上となった画素を除去するためである。なお、制御部１０は人物領域として差分データ中の連続して真である画素群の領域の外接矩形を特定し、画像における四隅座標を記憶部１１又は画像メモリ１２に一時的に記憶しておく。四隅座標のみならず、矩形の左上隅座標及び右下隅座標のみでもよいし、左隅座標及び縦横の画素数を記憶していてもよい。

そして制御部１０は、第２撮像装置４から出力される画像信号からステップＳ１で第２画像取得部１４が取得した画像データから、高輝度領域を抽出する（ステップＳ４）。具体的には、制御部１０は画像データの画素毎に、輝度値が所定値よりも高いか否かを判断し、輝度値が所定値よりも高い画素と、輝度値が所定値よりも低い画素とに区別、即ち二値化する。制御部１０は、画像データを構成する画素毎の、輝度値が所定値よりも高いか否かの真偽を示す１ビット情報の二次元配列を算出する。このとき所定値は、発光部分に相当する輝度値とする。これにより、可視光波長帯にて撮像する第２撮像装置４から得られる画像データから、発光体が存在する領域が抽出される。なお、制御部１０は抽出した高輝度領域の外接矩形を特定し、画像における四隅座標を記憶部１１、画像メモリ１２又は制御部１０内蔵メモリ等の一時記憶領域に一時的に記憶しておく。四隅座標のみならず、矩形の左上隅座標及び右下隅座標のみでもよいし、左隅座標及び縦横の画素数を記憶していてもよい。

次に制御部１０は、ステップＳ３で抽出された人物領域候補が複数ある場合、その内の一の人物領域候補を選択する（ステップＳ５）。制御部１０は、ステップＳ５で選択した人物領域候補と、ステップＳ４で抽出した高輝度領域の何れかが重複するか否かを判断する（ステップＳ６）。具体的には制御部１０は、ステップＳ５で選択した人物領域候補の四隅座標と、ステップＳ４で抽出された高輝度領域の四隅座標とを比較し、人物領域候補の四隅座標で形成される矩形に高輝度領域の四隅座標のいずれかが含まれるか否かを判断する。

なお、制御部１０はステップＳ６で重複するか否かではなく、より限定して人物領域候補が高輝度領域を内包するか否かを判断するようにしてもよい。この場合、具体的には、制御部１０は、ステップＳ５で選択した人物領域候補の四隅座標内と、ステップＳ４で抽出された高輝度領域の四隅座標とを比較し、人物領域候補の四隅座標で形成される矩形に高輝度領域の四隅座標が全て含まれるか否かを判断する。発光部が遠赤外線波長帯の画像データに写る物体の領域の内部に含まれるはずである場合は、重複するか否かよりも内包するか否かを判断する方が精度が高くなることが期待される。なおこの場合、高輝度領域として抽出する際に所定値を発光部のみ抽出されるように設定し、反射成分又は滲み成分などは抽出されないようにする。

制御部１０は、ステップＳ６で重複すると判断した場合（Ｓ６：ＹＥＳ）、ステップＳ５で選択した人物領域候補は、人物領域ではないとして候補から除外する（ステップＳ７）。即ち、制御部１０は、ステップＳ３で抽出されて記憶されている人物領域候補の四隅座標の内の、ステップＳ５で選択した人物領域候補に対応する四隅座標を削除する。高輝度領域と重複している場合、その領域は人物以外の発光部を有する物体が写っている領域である可能性が高いからである。

次に制御部１０は、全ての人物領域候補を選択して、人物以外の物体が写っている領域を人物領域候補から除外したか否かを判断する（ステップＳ８）。制御部１０は、全ての人物領域候補を選択していないと判断した場合（Ｓ８：ＮＯ）、処理をステップＳ５へ戻し、他の人物領域候補を選択し（Ｓ５）、ステップＳ６の判断処理を実行する。制御部１０は、全ての人物領域候補を選択したと判断した場合（Ｓ８：ＹＥＳ）、処理を次のステップＳ９へ進める。

なお、ステップＳ６で重複しないと判断した場合（Ｓ６：ＮＯ）、ステップＳ５で選択した人物領域候補は真に、人物を写している領域である可能性が高いので除外せずそのまま残して処理をステップＳ８へ進める。

制御部１０は次に、除外されずに残っている人物領域候補の内の一部又は全部を人物領域と特定する（ステップＳ９）。具体的には制御部１０は、各人物領域候補の遠赤外線画像データにおける位置から、第１撮像装置３又は第２撮像装置４からの実空間における距離を求め、当該人物領域候補が、求めた距離にある場合に人物の領域が占めるべき領域の縦横の大きさの条件に合っている場合、人物領域として特定する。人物までの距離は、各人物領域候補の下端又は上端を特定し、特定した下端又は上端の位置、特に画像データにおける垂直方向の位置に基づいて求める。特定される下端又は上端の座標と実空間における距離との対応は、図３に示したように予め記憶してあるものに基づいて求める。これにより、演算処理が容易となる。

制御部１０は、ステップＳ９で特定した人物領域に基づいて人物を検出し、人物の交差点における位置、即ち第１撮像装置３からの距離など、検出した人物の情報を通信部１４により送信し（ステップＳ１０）、処理を終了する。

次に、上述の図４のフローチャートに示した画像処理装置１の制御部１０による処理を、具体例を示して説明する。図５は、実施の形態１における画像処理装置１の制御部１０が行なう画像処理結果の具体例を示す説明図である。

図５（ａ）は、第１撮像装置３から第１画像取得部１３にて取得される画像データ、即ち遠赤外線画像データの内容例を模式的に示す。図５（ａ）の遠赤外線画像データは夜間に撮像された画像データである。画像データにおける中央付近には、車両とみられる物体が写っており、車両の下部はマフラ等、車体からの放熱により周辺よりも輝度値が高く撮像されている。また、中央右付近には他の路面よりも輝度値が高い白抜きで示された領域がある。この輝度値が高い領域は人物領域であるとする。

図５（ｂ）は、図５（ａ）に示した画像データと同時的に第２撮像装置３にて撮像され、第２画像取得部１４にて取得される画像データ、即ち可視光画像データの内容例を模式的に示している。図５（ｂ）の可視光画像データも夜間に撮像された画像データであり、画像データの中央付近には、ヘッドライト及びテールランプを点灯させて走行する車両が写っている。可視光画像データでは、ヘッドライト及びテールランプの部分が他の部分よりも高い輝度値で撮像されている。中央右付近には人物が撮像されているが、発光部を有さないため可視光画像データでは周辺に紛れて視認が困難である。

図５（ｃ）は、図５（ａ）に示した遠赤外線画像データに対し、制御部１０が差分データを算出し、更に差分データから抽出した人物領域候補を模式的に示している。なお、ハッチングで示した領域が算出された差分データの内、所定面積以上連続して、差分が所定値以上であることが真である画素群の領域を示しており、破線はその画素群の外接矩形として特定された人物領域候補を示している。なお、図５（ｃ）では図５（ａ）との各領域の画像における位置の対応を明確とするため、道路の境界を一点鎖線で示している。

図５（ａ）〜（ｃ）を比較することにより、制御部１０が差分データに基づいて人物領域候補を抽出するのみでは、図５（ｃ）に示されるように、人物が写っている領域のみならず、車両が写っている領域さえも人物領域候補として抽出されていることが判る。

図５（ｄ）は、図５（ｂ）に示した可視光画像データから、制御部１０が抽出した高輝度領域を模式的に示している。ハッチングで示した領域が輝度値が所定値よりも高い画素群を示しており、破線はその画素群の外接矩形として特定された高輝度領域を示している。なお、図５（ｄ）でも図５（ａ）〜（ｃ）との各領域の位置の対応を明確とするため、道路の境界を一点鎖線で示している。

画像処理装置１の制御部１０は、図５（ｃ）及び図５（ｄ）に示した人物領域候補と高輝度領域とに基づいて図４のフローチャートに示した処理手順の内のステップＳ５〜ステップＳ９を実行する。これにより、図５（ｃ）に示した３つの人物領域候補の内、図５（ｄ）に示した２つの高輝度領域と画像中における位置（座標）が重複する２つの領域が除外される。そして、図５（ｃ）に示す３つの人物領域候補の内の最も右側の領域のみが人物領域として正確に特定される。

画像データの全面から高輝度領域として抽出される画素群に相当するマスクを作成し、作成したマスクを遠赤外線画像データにかけ、マスクがかけられた領域以外で輝度値が所定の範囲（温度が肌温度の範囲）にある領域を人物領域と特定する方法もある。しかしながら、この場合、輝度値が所定の範囲にある領域がマスクがかけられて除かれることで大きさが小さくなる。即ち、図５に示した例であれば、図５（ｄ）中のハッチングで示される領域のマスクを作成し、図５（ａ）にマスクをかけ、当該マスク領域以外で輝度値が所定の範囲内にある領域を抽出する構成とした場合、図５（ａ）では人物領域としては大きすぎる範囲であった領域でも、マスクによって除かれて人物領域として妥当な大きさに小さくなるときがある。これにより、当該領域から人物が誤って検出される可能性がある。また、大きさが変化するので当該領域の対象の種別を識別して検出することは困難である。

しかしながら、上述に示したように画像処理装置１の制御部１０の処理では、高輝度領域と重複する領域又は高輝度領域を含む領域は、発光部を有した物体を写した領域であると判断でき、当該領域は人物領域ではないので全体が不要な領域として候補から除外される。したがって、夜間に発光部を有さないために運転者からの視認が困難な人物、即ち歩行者又は無灯火の自転車等を、より精度よく検出することが可能となる。

また、実施の形態１では人物領域候補を抽出する際に、差分データを算出することによって抽出した。遠赤外線画像データから、人物から放出される熱量に対応する輝度値の領域を人物領域として抽出する構成とした場合、衣服などの肌が露出していない温度が低い領域を取りこぼす可能性、及び人物以外の物体を誤って検出する可能性がある。しかしながら、差分データを算出することにより、輝度値が検出対象の温度と対応して適切か否かによらず、路面等の基準画像に写っているもの以外の人物又は車両等を写している領域が候補として検出される。これにより、精度がより高くなる。

また、上述の図４のフローチャートのステップＳ９に示したように、検出対象である人物が写っている人物領域候補として抽出された領域の位置から実空間における距離が求められ、更に車両へ送信される情報に含められる。したがって、車両側の走行制御装置でいずれの位置に人物が存在することを検知して走行制御を実行することができるなど、優れた効果を奏する。

（実施の形態２）
実施の形態１では、人物領域候補を遠赤外線画像データと基準画像データとの差分に基づいて抽出する構成とした。これに対し、実施の形態２では、人物領域候補を抽出する手段として、異なる角度から撮像された画像データにおける視差及び対応する画素間の相関に基づき、複数に分離した領域を一の対象を写している領域として抽出する方法を用いる。

図６は、実施の形態２における安全運転支援システムが設置されている交差点の例を示す情報からの斜視図である。図６中の５は、交差点を撮像する２台の第１及び第２撮像装置３，４と一体に構成される画像処理装置であり、２は路側機であり、６は第３撮像装置である。路側機２、並びに第１及び第２撮像装置３，４については実施の形態１と同様であるため同一の符号を付して詳細な説明を省略する。

画像処理装置５は、実施の形態１における画像処理装置１同様に路側に設置されて所定の高さで道路側に伸びている支柱に取り付けられている。画像処理装置５、並びに２台の第１及び第２撮像装置３，４は、撮像装置のレンズ側を撮影波長帯を透過する素材とした筐体に収められている。第３撮像装置６は、第１及び第２撮像装置３，４の撮像範囲を異なる角度から撮像するように、第１及び第２撮像装置３，４と並べて支柱に取り付けられている。なお、第３撮像装置６は、レンズ側を撮影波長帯を透過する素材とした筐体に収められている。画像処理装置５と第３撮像装置６とは画像信号の送受信が可能なように信号線（又は通信線）にて接続されている。

図７は、実施の形態２における安全支援システムを構成する画像処理装置５、路側機２、並びに第１乃至第３撮像装置３，４，６の内部構成を示すブロック図である。画像処理装置５は、ＣＰＵ、ＭＰＵ等を利用して各構成部を制御する制御部５０と、ＥＥＰＲＯＭ、フラッシュメモリ等の不揮発性のメモリを利用した記憶部５１と、ＳＲＡＭ、ＤＲＡＭ等のメモリを利用した画像メモリ５２と、第１及び第２撮像装置３，４からの画像信号を受け付ける第１画像取得部５３及び第２画像取得部５４と、路側機２との通信を実現する通信部５５と、第３撮像装置６からの画像信号を受け付ける第３画像取得部５６とを備える。制御部５０、記憶部５１、画像メモリ５２、通信部５５の詳細は、実施の形態１における画像処理装置１の制御部１０、記憶部１１、画像メモリ１２、通信部１５と同様であるので詳細な説明を省略する。

第１画像取得部５３及び第２画像取得部５４は夫々、実施の形態１における画像処理装置１の第１画像取得部１３及び第２画像取得部と同様に、受け付けた画像信号から画像データを取り出して画像メモリ５２に記憶する。詳細には、夫々制御部５０からの指示に従い、受け付けている画像信号から画像を構成する画素毎の輝度値又は色差等を特定して画像データとし、画像メモリ５２へ書き込む。

第３画像取得部５６は、受け付けた画像信号から画像データを取り出し、画像メモリ５２に記憶する。詳細には、第３画像取得部５６は第１及び第２画像取得部５３，５４同様に、制御部５０からの指示に従い、受け付けている画像信号から画像を構成する画素毎の輝度値又は色差等を特定して画像データとし、画像メモリ５２へ書き込む。

第３撮像装置６は、第１撮像装置３同様に遠赤外線波長帯にて撮像を行なう。第３撮像装置６も第１撮像装置３の撮像素子と同じ画素数の遠赤外線撮像素子を備え、同一画角の撮像が可能である。第３撮像装置６は、第１及び第２撮像装置３，４の撮像範囲と同一範囲を異なる角度から撮像することが可能なように設置方向を調整してある。

上述のように構成される実施の形態２における画像処理装置５の制御部５０は、同一の撮像範囲を異なる角度で撮影する第１撮像装置３及び第３撮像装置６から取得する画像データを用い、同一の対象を撮像した場合に画像における位置に差異が生じる視差を利用し、検出対象である人物の領域の候補を抽出する。そして制御部５０は、実施の形態１における制御部１０の処理同様に、抽出した人物領域候補の内、第２撮像装置４から取得する画像データから得られる高輝度領域と重複する領域を候補から除外する。

以下に、画像処理装置５の制御部５０が、第１撮像装置３、第２撮像装置４、及び第３撮像装置６から取得した画像データに対して行なう画像処理について詳細を説明する。

図８は、実施の形態２における画像処理装置５の制御部５０が行なう画像処理の手順の一例を示すフローチャートである。なお、以下に示す処理手順の内、実施の形態１の図４のフローチャートに示した処理手順と共通する処理手順については同一のステップ番号を付して詳細な説明を省略する。

制御部５０は、第１画像取得部５３、第２画像取得部５４及び第３画像取得部５６へ同時的に指示信号を出力することにより、第１撮像装置３、第２撮像装置４及び第３撮像装置６から出力される画像信号に基づく画像データを同時的に取得する（ステップＳ１１）。ステップＳ１１における画像データの取得タイミングは任意である。例えば１秒等の一定時間毎に行なう構成としてもよいし、路側機２で車載器からの情報を受信した場合など、自動車が交差点への進入を検知した場合に行なう構成としてもよい。

制御部５０は、第１撮像装置３から出力される画像信号からステップＳ１１で第１画像取得部５３が取得した画像データ（以下、第１画像データという）から、第１候補領域を抽出する（ステップＳ１２）。具体的には、第１候補領域は以下に示す処理によって抽出される。制御部５０は、第１画像データをメッシュ状にブロック分割する。制御部５０は、第１画像データの各画素について輝度値が所定値以上であるか否かを区別し、即ち二値化しておく。つまり、制御部５０は画像データを構成する画素毎の、輝度値が所定値よりも高いか否かの真偽を示す１ビット情報の二次元配列を求めておく。

そして制御部５０は、輝度値が所定値よりも高い画素に注目し、注目画素とその隣接画素（複数）との類似度を夫々求める。制御部５０は、隣接画素の内の類似度が所定値よりも高い隣接画素は注目画素と同一の物体を写している領域の一部であるとして、注目画素と隣接画素とを対応付ける。類似度が所定値よりも低い隣接画素は注目画素と同一の物体を写している領域の一部ではないと判断できる。したがって、制御部５０はその後の処理でも、類似度が所定値よりも低い隣接画素の更に隣接画素については類似度を求める処理は行なわない。制御部５０は、類似度が所定値よりも高い隣接画素に更に隣接する画素についても類似度を求め、類似度が高い画素群を一の第１候補領域として抽出する。なお、分割されたブロック毎に、ブロック内のみで上述の類似度による対応付けの処理を行ない、ブロックが異なる領域はバラバラに第１候補領域として抽出されるようにしてもよい。これにより一の注目画素に対して延々と隣接画素との類似度を求める処理負荷が軽減される。

なお、第１候補領域は、輝度値に基づく二値化を行なうことなしに、ブロック毎に任意の画素を注目画素とし、注目画素に類似する画素が対応付けられる領域が抽出される構成としてもよい。第１候補領域は単純に、輝度値が所定値以上である画素が連続する領域を特定することにより抽出される構成としてもよい。又は、Prewittフィルタを用いるなどして第１画像データに対してエッジ処理を行ない、エッジ処理後に輝度値が所定値よりも高い領域を第１候補領域として抽出する構成とするなど、他の方法を用いて抽出されるようにしてもよい。

次に、制御部５０は、第３撮像装置６から取得した画像データ（以下、第３画像データという）に基づき、ステップＳ１２で抽出した第１候補領域から人物領域候補を抽出する（ステップＳ１３）。ステップＳ１３の処理の詳細は後述にて説明する。

制御部５０は、第２撮像装置４から出力される画像信号からステップＳ１１で第２画像取得部５４が取得した画像データ（以下、第２画像データという）から、高輝度領域を抽出する（Ｓ４）。そして制御部５０は、ステップＳ１３で抽出した人物領域候補が複数である場合、各人物領域候補を選択し（Ｓ５）、高輝度領域と重複する領域については候補から除外する（Ｓ６：ＹＥＳ、Ｓ７）。除外されずに候補として残った人物領域候補から、制御部５０は人物領域を特定し（Ｓ９）、特定した人物領域に基づいて得られる人物の情報を送信し（Ｓ１０）、処理を終了する。

次に、上述の図８のフローチャートに示した処理手順の内のステップＳ１３における人物領域候補の抽出について詳細を説明する。図９は、実施の形態２における画像処理装置５の制御部５０が、第１画像データ及び第３画像データに基づいて人物領域候補を抽出する処理手順の一例を示すフローチャートである。

制御部５０は、図８のフローチャートに示した処理手順の内のステップＳ１２で抽出した第１画像データにおける第１候補領域に対応する対応領域を、第３画像データから探索して特定する（ステップＳ３１）。第１画像データから第１候補領域を抽出した場合の処理と同様に、第３画像データについてもメッシュ状にブロック分割しておくとよい。ステップＳ３１において制御部５０は、第３画像データにおける第１候補領域に対応する対応領域を以下のように探索する。制御部５０は、前記第１候補領域の第１画像データにおける垂直方向の位置に対し、第３画像データにおいて同一の垂直方向の位置にある画素群、又はブロックを例えば左端から任意に選択する。第１画像データと第３画像データとで撮像範囲がずれている場合には、同一物を写したときの垂直方向が対応する座標を予め記憶しておき調整する。制御部５０は、第１候補領域と、選択した画素群からなる領域との画素値に基づく相関を求め、相関が所定値よりも高い画素群を対応領域と特定する。制御部５０は、相関が所定値よりも高い画素群が存在しない場合、対応領域が存在しないと特定する。

ステップＳ１２で第１候補領域が複数抽出されている場合、ステップＳ３１にて制御部５０は、第１候補領域夫々について対応する対応領域を特定する。一の第１候補領域に対応する領域が存在しない場合、当該第１候補領域については以後の処理の対象から除外する。

次に制御部５０は、第１画像データにおける第１候補領域の位置と、第３画像データにおける対応領域の位置とを特定する（ステップＳ３２）。このとき、制御部５０は、第１候補領域の位置として、第１画像データの中心軸から第１候補領域の中心軸までの水平方向の画素位置Ｄ₁を特定する。また、制御部５０は、第３画像データにおいて対応する領域の位置として、第３画像データの中心軸から対応する領域の中心軸までの水平方向の画素位置Ｄ₂を特定する。なおここで画素位置Ｄ₁，Ｄ₂は、画像データの中心軸での位置をゼロとし、画像データの水平方向に右側へ向けて画素数単位で増加し、左側へ向けて減少する値とする。即ち例えば、第１画像データの左側に中心軸が位置する第１候補領域の位置は、負の値を持つ画素位置Ｄ₁により特定される。第３画像データの右側に中心軸が位置する対応領域の位置は、正の値を持つ画素位置Ｄ₂により特定される。

制御部５０は、ステップＳ３２で特定した第１候補領域及び対応領域夫々の画像データにおける位置に基づいて、第１候補領域に写っている対象の視差Ｄ（disparity）を求める（ステップＳ３３）。具体的には、制御部５０はステップＳ３２にて特定した画素位置Ｄ₁と画素位置Ｄ₂との差分の絶対値を視差Ｄとして求める（Ｄ＝｜Ｄ₁−Ｄ₂｜）。

制御部５０は、図８のフローチャートに示した処理手順のステップＳ１２で抽出された第１候補領域の内、一の第１候補領域を選択し（ステップＳ３４）、当該第１候補領域と視差Ｄが略等しい他の第１候補領域を抽出する（ステップＳ３５）。具体的には、制御部５０は視差Ｄが例えば２画素分の誤差以内で等しい場合に等しいと判断する。ステップＳ３５により、視差Ｄが等しい、即ち第１撮像装置３又は第３撮像装置６からの距離が等しい対象（人物）を写している領域が抽出される。

制御部５０は、ステップＳ３５にて視差Ｄが略等しい他の第１候補領域が有り、抽出されたか否かを判断する（ステップＳ３６）。制御部５０は、視差Ｄが略等しい他の第１候補領域が無く、抽出されないと判断した場合（Ｓ３６：ＮＯ）、ステップＳ３４にて選択した第１候補領域を人物領域候補として抽出し（ステップＳ３７）、ステップＳ４１へ処理を移行する。

制御部５０はステップＳ３６にて、視差Ｄがほぼ等しい他の第１候補領域が有り、抽出されたと判断した場合（Ｓ３６：ＹＥＳ）、第１候補領域と抽出された他の第１候補領域との間に位置する画素と、該画素の第３画像データにおける対応画素との相関を求める（ステップＳ３８）。詳細には、制御部５０は、第１候補領域と抽出された他の第１候補領域との間に位置する画素と、前記第１候補領域及び他の第１候補領域夫々の第３画像データにおける対応領域間に位置する画素との相関を求める。制御部５０は、ステップＳ３８にて求めた相関が所定値よりも高いか否かを判断する（ステップＳ３９）。別々の領域として抽出された第１候補領域がいずれも、同一の対象（人物）が写っている領域の一部である場合、間に位置する画素も同一の対象が写っている部分である可能性が高い。同一の対象が写っている部分の画素であれば、撮影角度が異なる２つの画像データ間での相関は所定値よりも高いはずである。このときの所定値は、同一の対象が写っている部分であると予め判っている画素間での相関を求めておき、相関が所定値よりも高い場合に同一の対象が写っていると判断できる値を予め決めておくことが望ましい。

制御部５０は、相関が所定値以下であると判断した場合（Ｓ３９：ＮＯ）、処理をステップＳ３７へ進め、選択した第１候補領域及びステップＳ３５で抽出された他の第１候補領域を夫々、人物領域候補として抽出し（Ｓ３７）、図８のフローチャートに示した処理手順のステップＳ４へ処理を戻す。制御部５０は、ステップＳ３９にて相関が所定値よりも高いと判断した場合（Ｓ３９：ＹＥＳ）、ステップＳ３４にて選択した第１候補領域と、視差Ｄが略等しいとして抽出された他の第１候補領域とを対応付けて一の人物領域候補として抽出する（ステップＳ４０）。

制御部５０は次に、ステップＳ１２にて抽出された全第１候補領域についてステップＳ３４からステップＳ４０までの処理を行なったか否かを判断する（ステップＳ４１）。制御部５０は、全第１候補領域について処理を行なっていないと判断した場合（Ｓ４１：ＮＯ）、処理をステップＳ３４へ戻して他の第１候補領域について処理を行なう。一方、制御部５０は、全第１候補領域について処理を行なったと判断した場合（Ｓ４１：ＹＥＳ）、図８のフローチャートに示した処理手順のステップＳ４へ処理を戻す。

次に、上述の図８及び図９のフローチャートに示した画像処理装置５の制御部５０による処理を、具体例を示して説明する。図１０乃至図１２は、実施の形態２における画像処理装置５の制御部５０が行なう画像処理結果の具体例を示す説明図である。

図１０は、画像処理装置５の制御部５０が、第１画像データ及び第３画像データに基づいて第１候補領域についての視差Ｄを求める処理を説明するための図である。図１０（ａ）は、第１撮像装置３の撮像範囲を模式的に示している。図１０（ｂ）は、第３撮像装置６の撮像範囲を模式的に示している。図１０（ａ）及び図１０（ｂ）に示す撮像範囲にはいずれも、左側に画面の奥へ向かって走行中の車両、右側又は中央に画面の手前側を向いている人物が含まれている。図１０（ａ）及び図１０（ｂ）に示すような状況で第１撮像装置３及び第３撮像装置６にて同時的に撮像した場合、第１画像データ及び第３画像データには、いずれも車両及び人物が写り、表面温度が高い部分が高い輝度値を示す。

図１０（ａ）及び図１０（ｂ）に示す撮像範囲を比較した場合、第１撮像装置３と第３撮像装置６とでは撮影角度が異なるために同一の車両、同一の人物が写る位置が異なることが解る。このように、複数の撮像装置で略同じ範囲を撮像して同一の対象を異なる角度から撮像することにより、所謂ステレオ視の技術を用いて撮像装置からの距離が等しい対象が写っている部分を特定することができる。また、撮影角度及び写る位置の差異（視差Ｄ）に基づいて、対象までの距離を算出することができる。

図１０（ｃ）は、図１０（ａ）に示した撮像範囲を撮像する第１撮像装置３から取得される第１画像データから、抽出された第１候補領域の内容例を示している。即ち、図８のフローチャートに示した処理手順の内のステップＳ１２の処理によって抽出される領域の内容例を示している。第１画像データは遠赤外線画像データであるから、図１０（ｃ）には、第１候補領域の例として、図１０（ａ）の撮像範囲に含まれる車両及び人物の内、温度が比較的高く輝度値が所定値よりも高い領域のみが二値化により抽出されている。ハッチングで示す部分が夫々、輝度値が所定値よりも高い領域として抽出された第１候補領域である。図１０（ｃ）で示す第１候補領域の例では、車両のリアウィンドウ付近及びマフラ部分などの車両の下部の温度が比較的高く、各別に第１候補領域として抽出されている。また、人物の顔部分及び脚の部分が各別に、第１候補領域として抽出されている。以下の説明では、第１候補領域夫々を区別するために、夫々が何を写している範囲であるのかを図１０（ａ）及び図１０（ｂ）を参照して示す。

ここで、第１画像データは車両及び人物の２つの対象を撮像範囲に含んでいるにも拘わらず、第１画像データから抽出される第１候補領域は５つの領域に分かれている。夫々を個別に人物領域候補とした場合、各領域の画像データ中における大きさは夫々、車両としての大きさ、人物としての大きさよりも小さく、対象を識別して検出する場合に誤りを招く。しかしながら、実施の形態２では、画像処理装置５の制御部５０が図９のフローチャートに示した処理手順を実行することにより、同一の検出対象の一部を夫々写している第１候補領域を一の人物領域領域として抽出することができる。

制御部５０は、図１０（ｃ）に示した５つの第１候補領域夫々に対応する対応領域を、第３画像データから特定する（図９、Ｓ３１）。図１０（ｄ）は、図１０（ｃ）に示した第１候補領域夫々に対応する対応領域として特定された領域の内容例を示している。なお、図１０（ｄ）に示す対応領域は、図１０（ｂ）に示すように、第３撮像装置６の撮像範囲に含まれる車両のリアウィンドウ付近及びマフラ部分などの車両の下部、そして人物の顔部分及び脚部分である。当然に制御部５０は、図１０（ｃ）に示した車両のリアウィンドウ付近の第１候補領域に対応する対応領域として、車両のリアウィンドウ付近の領域を特定する。制御部５０は、車両の下部の第１候補領域の対応領域として、第３画像データから車両の下部の領域を特定する。同様に、人物の顔部分の第１候補領域に対応する対応領域として第３画像データから顔部分の領域を、右脚部分の第１候補領域に対応する対応領域として右脚部分の領域を、左脚部分の第１候補領域に対応する対応領域として左脚部分の領域を特定する。同一の対象を写している領域は相関が所定値よりも当然に高く、探索により対応領域として特定される。

そして、制御部５０は、図１０（ｃ）に示した５つの第１候補領域夫々の第１画像データにおける位置、及び対応領域夫々の第３画像データにおける位置を特定する（図９、Ｓ３２）。図１０（ｃ）に示す例では、人物の顔部分の第１候補領域の位置（破線で示されている）は、一点鎖線で示す第１画像データの中心軸から右側にＤ₁の絶対値の画素数分の距離にあり（画素位置Ｄ₁）、対応する対応領域の位置が第３画像データの中心軸から左側にＤ₂の絶対値の画素数分の距離にある（画素位置Ｄ₂）。

制御部５０は、特定された位置に基づいて第１候補領域夫々の視差Ｄを求める（図９、Ｓ３３）。図１０（ｃ）に示す例では、人物の顔部分の第１候補領域について求められる視差Ｄは、Ｄ＝｜Ｄ₁−Ｄ₂｜である。

図１０（ｃ）に示す例では、人物及び車両の後端が、第１撮像装置３又は第３撮像装置６から略等しい距離に存在する場合、５つの第１候補領域夫々について求めた視差Ｄはいずれも略等しい。制御部５０は、顔部分の第１候補領域について視差Ｄが略等しい他の第１候補領域として、顔部分以外の４つの領域全てが抽出される（図９、Ｓ３５）。これら全てが同一の対象が写っている領域の各別の一部分であると扱うとすると、誤って人物領域候補が抽出され、後の処理（図８、Ｓ６〜Ｓ９）にて人物領域として特定されない。これに対し、制御部５０は、視差Ｄが略等しい第１候補領域夫々との間に位置する画素について、第１画像データと第３画像データとの間での相関を求め（図９、Ｓ３８）、相関が所定値よりも高い場合のみ一の人物領域候補として抽出する（図９、Ｓ４０）。

図１１は、制御部５０が、視差Ｄが等しい第１候補領域の間に位置する画素について、第１画像データと第３画像データとの間での相関を求めて第１候補領域同士を一の人物領域候補として抽出する処理を説明するための図である。図１１（ａ）は、第１画像データにおいて抽出された第１候補領域をハッチングで示し、図１１（ｂ）は、第３画像データにて特定された対応領域をハッチングにて示している。なお、図１１（ａ）中における各第１候補領域の位置は、図１０（ａ）の撮像範囲に対応し、図１１（ｂ）中における各対応領域の位置は、図１０（ｂ）の撮像範囲に対応する。また、図１１（ａ）及び図１１（ｂ）中の各符号Ａ〜Ｈは、第１画像データ及び第３画像データ中の画素を示しており、同一の符号が付されている画素は対応している。

制御部５０は、一の第１候補領域として顔部分の第１候補領域を選択した場合（図９、Ｓ３４）、視差が略等しい他の第１候補領域の内、例えば車両のリアウィンドウ付近の第１候補領域との間に位置する画素Ａに注目する。制御部５０は、第１画像データにおける画素Ａと、第３画像データにおける対応領域間に位置する画素Ａとで画素値の相関を求める。画素値として輝度値のみならず色成分毎又は色差成分の値を用いて相関を求める。

図１０（ａ）及び（ｂ）を参照してわかるように、画素Ａの位置には背景が写っている。第１画像データと第３画像データとは、異なる撮影角度で撮像された画像データであるから、画素Ａの位置に写る対象は、第１画像データと第３画像データとでは異なる。図１０（ａ）及び図１０（ｂ）の例では、第１画像データの画素Ａの位置には路面が写っているが、第３画像データの画素Ａの位置には、車両の側面の一部が写っている。この場合、顔部分の第１候補領域（対応領域）と車両のリアウィンドウ付近の第１候補領域（対応領域）との間に位置する画素Ａについて、第１画像データと第３画像データとの間で相関を求めたとき、相関値は同一の対象でないと判断できる程度に低い値となる。

制御部５０は、相関が所定値以下であると判断した場合（図９、Ｓ３９：ＮＯ）、夫々を人物領域候補として抽出するので（図９、Ｓ３７）、車両の領域と人物の領域とが一の人物領域として特定されることはない。

他の例として、制御部５０は、顔部分の第１候補領域と視差が略等しい、左脚部分の第１候補領域との間に位置する画素Ｂに注目する。この場合、顔部分と左脚部分との間には、撮影角度が異なる第１撮像装置３からも第３撮像装置からも同一の胴体部分が写っているはずである。顔部分の第１候補領域（対応領域）と左脚部分の第１候補領域（対応領域）との間に位置する画素Ｂについて相関を求めたとき、相関値は同一の対象が写っていると判断できる程度に高い値となる。

制御部５０は、相関が所定値よりも高いと判断した場合（図９、Ｓ３９：ＹＥＳ）、一の人物領域候補として抽出するので（図９、Ｓ４０）、同一人物の顔部分の領域と左脚部分の領域とが別々の人物領域として特定されることはない。なお、右脚部分の第１候補領域についても画素Ａの相関に基づいて、顔部分の第１候補領域と対応付けられて一の人物領域候補として抽出される。

上述のように制御部５０は、注目する第１候補領域と視差Ｄが略等しい他の第１候補領域との間の中間に位置する画素について、第１画像データと第３画像データと間での相関を求めた。しかしながら、視差Ｄが略等しい第１候補領域間に位置する画素の相関を求めるには、中間に位置する画素のみならず、境界を求めるべく第１候補領域夫々の周辺における画素について相関を求めてもよい。この場合、相関値が所定値よりも低い画素が存在する場合は、当該ブロック付近が境界であると判断し、境界よりも外側に位置する第１候補領域については一の人物領域候補としないようにする。

例えば、図１１（ａ）及び図１１（ｂ）に示す例では、第１画像データにおける顔部分の第１候補領域の左側周辺に位置する画素Ｃと、第３画像データにおける対応領域の左側周辺に位置する画素Ｃとの間での相関を求める。画素Ｃは人物の背景が写る部分に相当するはずであるから、求めた相関値は所定値以下となる。したがって、顔部分の第１候補領域に対し、画素Ｃよりも外側、即ち水平方向の位置が画素Ｃよりも左側に位置する第１候補領域は顔部分の第１候補領域と対応付けられることはない。したがって、車両のリアウィンドウ付近の第１候補領域及び車両の下部の第１候補領域が、顔部分の第１候補領域と共に一の人物領域候補として抽出されることはない。

また、制御部５０が左脚部分の第１候補領域を選択し、画素Ｄについての相関及び画素Ｅについての相関を求めた場合、画素Ｄについては相関が所定値よりも高いと判断する。したがって制御部５０はここでも、左脚部分の第１候補領域と顔部分の第１候補領域とを一の人物領域候補として抽出する。画素Ｅについては、制御部５０が相関は所定値以下であると判断するので、左脚部分の第１候補領域と、車両のリアウィンドウ付近の第１候補領域及び車両の下部の第１候補領域とが共に一の人物領域候補として抽出されることはない。

同様にして、制御部５０は車両のリアウィンドウ付近の第１候補領域を選択して画素Ｆについて相関を求め、車両の下部の第１候補領域を選択して画素Ｇ，Ｈについて相関を求める。制御部５０は、画素Ｆでの相関が所定値以下であると判断し、画素Ｇでの相関が所定値よりも高いと判断し、画素Ｈについては相関が所定値以下であると判断する。

このようにして、制御部５０が全ての第１候補領域について処理を行なった場合（図９、Ｓ４１：ＹＥＳ）、５つの第１候補領域の内、顔部分、左脚部分及び右脚部分の第１候補領域とが対応付けられて一の人物領域候補として抽出される。同様に、車両のリアウィンドウ付近及び下部の第１候補領域が一の人物領域候補として抽出される。

図１２は、制御部５０の処理により、第１候補領域同士が対応付けられて一の人物領域候補として抽出される例を示す。図１２（ａ）及び図１２（ｂ）中のハッチング部分はいずれも第１候補領域を示している。

図１２（ａ）中の破線が、制御部５０により抽出される人物領域候補である。図１２（ｂ）中の破線は比較のため、視差Ｄが略等しい５つの第１候補領域全てを一の人物領域候補とした場合の例を示している。撮影角度が異なる複数の撮像装置（第１撮像装置３及び第３撮像装置６）から取得する画像データを用いて制御部５０が人物領域候補を抽出する際に、図９のフローチャートに示した処理手順を行なうことにより、人物領域候補の抽出の精度が上がる。これにより、図８のフローチャートに示すように高輝度領域と重複する領域を除外する処理手順（Ｓ７）で、人物領域が誤って除外されることが回避されるなど、精度が高まる点で、更に効果を奏する。

このように、実施の形態２において、人物領域候補を単純に遠赤外線画像データにおいて輝度値が所定値よりも高い領域として抽出するのみならず、視差を用いてより精度よく人物領域候補を抽出することができる。輝度値が所定値よりも高いか否かにおいて所定値をより厳しく設定することによって、本来人物である領域が複数の領域に分かれて第１候補領域として抽出される場合であっても、同一の領域として扱われるので精度が高まる。人物以外の領域についても同様に同一車両のリアウィンドウの領域、下部の領域夫々が各別に抽出されることも少なくなる。したがって、高輝度領域と重複するか否かの判断の精度がより向上し、発光部を有した物体全体を写した領域を精度よく抽出できる。車両全体として発光部を有した物体と判断することができ、人物領域を誤って特定する可能性を更に低減させることができる。したがって、夜間でも発光部を有さないために運転者からの視認が困難な人物、即ち歩行者又は無灯火の自転車等を、より精度よく検出することが可能となる。

実施の形態２では、第３撮像装置６を画像処理装置５、第１撮像装置３及び第２撮像装置４が収められる筐体とは別の筐体に収められる構成とした。第１撮像装置３と第３撮像装置６とで交差点を撮像する角度に十分な差異を持たせるためである。しかしながら、これに限らず、画像処理装置５、第１撮像装置３、第２撮像装置４、及び第３撮像装置６がいずれも同一の筐体に収められる構成としてもよい。

実施の形態１及び２では、遠赤外線波長帯にて撮像された画像データから抽出された人物領域候補が、可視光波長帯にて撮像された画像データから抽出された高輝度領域と重複する場合に、前記人物領域候補全体を候補から除外する構成とした。ここで、遠赤外線波長帯にて撮像された画像データにおいて、例えば５０℃等の所定温度以上に相当する高温領域を抽出し、人物領域候補が前記高温領域と重複する場合に、前記人物領域候補を全体として候補から除外する構成も本発明から想到される。

上述の実施の形態１及び２では、第１及び第２画像取得部１３，１４、又は第１乃至３画像取得部５３，５４，５６による画像の取得、並びに画像処理を制御部１０，５０が行なう構成とした。しかしながら本発明はこれに限らず、画像の取得処理及び画像処理を画像処理部分を分離した集積回路によって実現するように構成してもよい。特に、上述の実施の形態１及び２では図４、並びに図８及び図９のフローチャートに示した処理手順を制御部１０，５０が各構成部を制御して行なう構成とした。しかしながら、本発明に係る画像処理装置１は、フローチャートに示した各処理手順を行なうように設計された集積回路を更に集積した特定用途向けの回路（ＡＳＩＣ：Application Specific Integrated Circuit）を有する構成としてもよい。例えば、図４のフローチャートに示したステップＳ２に対応する差分データを算出する回路、Ｓ４に対応する高輝度領域抽出の処理を実現する回路、図９のステップＳ３４からステップＳ３９までの処理に対応する周辺画素についての相関算出回路等を組み合わせたＡＳＩＣを設計して用いることにより、各処理を高速に実行することができる。

更に、実施の形態１及び２は、安全運転支援システムに適用した場合を示した。しかしながら、本発明に係る画像処理装置による人物の検出は安全運転支援システムに限らず、他の分野にも適用可能である。例えば、防犯・監視システム等、撮像画像に基づき人物を精度よく検出することが可能である。

なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

実施の形態１における安全運転支援システムが設置されている交差点の例を示す上方からの斜視図である。実施の形態１における安全運転支援システムを構成する画像処理装置、路側機、並びに第１及び第２撮像装置の内部構成を示すブロック図である。実施の形態１における画像処理装置の記憶部に予め記憶されている背景の画像データの内容例を示す説明図である。実施の形態１における画像処理装置の制御部が行なう画像処理の手順の一例を示すフローチャートである。実施の形態１における画像処理装置の制御部が行なう画像処理結果の具体例を示す説明図である。実施の形態２における安全運転支援システムが設置されている交差点の例を示す情報からの斜視図である。実施の形態２における安全支援システムを構成する画像処理装置、路側機、並びに第１乃至第３撮像装置の内部構成を示すブロック図である。実施の形態２における画像処理装置の制御部が行なう画像処理の手順の一例を示すフローチャートである。実施の形態２における画像処理装置の制御部が、第１画像データ及び第３画像データに基づいて人物領域候補を抽出する処理手順の一例を示すフローチャートである。実施の形態２における画像処理装置の制御部が行なう画像処理結果の具体例を示す説明図である。実施の形態２における画像処理装置の制御部が行なう画像処理結果の具体例を示す説明図である。実施の形態２における画像処理装置の制御部が行なう画像処理結果の具体例を示す説明図である。

符号の説明

１，５画像処理装置
１０，５０制御部
１１，５１記憶部
３第１撮像装置
４第２撮像装置
６第３撮像装置

Claims

撮像画像に基づいて撮像範囲内にある対象を検出するための画像処理を行なう画像処理装置において、
遠赤外線波長帯にて撮像する第１撮像手段と、
第１撮像手段の撮像範囲を可視光波長帯又は近赤外線波長帯にて撮像する第２撮像手段と、
第１撮像手段が撮像した第１撮像画像から、検出対象が写っている検出対象領域の候補を抽出する抽出手段と、
第１撮像画像と同時的に第２撮像手段により撮像された第２撮像画像から、輝度値が所定値以上である高輝度領域を抽出する手段と、
前記抽出手段が抽出した候補と前記高輝度領域とが重複するか否かを判断する判断手段と、
該判断手段が重複しないと判断した候補の領域に基づき、検出対象を検出する手段と
を備えることを特徴とする画像処理装置。
第１撮像手段は、複数の画素毎の輝度値からなるデジタル画像を出力するようにしてあり、
前記抽出手段は、
第１撮像画像と所定の基準画像との間での各画素での輝度値の差分を求める手段を備え、
該手段が求めた差分が所定値以上である画素が画像中で連続する領域を検出対象領域の候補として抽出するようにしてあること
を特徴とする請求項１に記載の画像処理装置。
第１撮像手段の撮像範囲を第１撮像手段とは異なる角度から遠赤外線波長帯にて撮像する第３撮像手段を更に備え、
第１及び第３撮像手段は、複数の画素毎の輝度値からなるデジタル画像を出力するようにしてあり、
前記抽出手段は、
第１撮像手段が撮像した第１撮像画像と同時的に第３撮像手段により撮像された第３撮像画像を取得する手段と、
前記第１及び第３撮像画像から夫々、輝度値が所定値以上である画素が画像中で連続する領域を抽出する手段と、
該手段が前記第１撮像画像から抽出した第１候補領域に対応する対応領域を、前記第３撮像画像から抽出された領域から特定する特定手段と、
第１撮像画像から抽出した第１候補領域が複数ある場合、第１候補領域の第１撮像画像における位置と、第１候補領域夫々に対し前記特定手段が特定した対応領域の第３撮像画像中における位置との間の差異を求める手段と、
該手段が求めた差異が略等しい第１候補領域を抽出する手段と、
該手段が抽出した第１候補領域間に位置する画素と、夫々の第１候補領域の対応領域間に位置する画素との間の相関を求める手段と、
前記相関が所定値よりも高い第１候補領域同士を対応付ける手段と
を備え、
対応付けられた第１候補領域を一の検出対象領域の候補として抽出するようにしてあること
を特徴とする請求項２に記載の画像処理装置。
遠赤外線波長帯にて撮像する第１撮像手段、及び第１撮像手段の撮像範囲を可視光波長帯又は近赤外線波長帯にて撮像する第２撮像手段により撮像される撮像画像に基づき、撮像範囲内にある対象を検出するための画像処理方法であって、
第１撮像手段が撮像した第１撮像画像から、検出対象が写っている検出対象領域の候補を抽出する抽出ステップ、
前記第１撮像画像と同時的に第２撮像手段により撮像された第２撮像画像から、輝度値が所定値以上である高輝度領域を抽出するステップ、
前記抽出ステップにて抽出した候補と前記高輝度領域とが重複するか否かを判断する判断ステップ、及び、
該判断ステップが重複しないと判断した候補の領域に基づき、検出対象を検出するステップ
を含むことを特徴とする画像処理方法。