JP2010020557A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2010020557A JP2010020557A JP2008180632A JP2008180632A JP2010020557A JP 2010020557 A JP2010020557 A JP 2010020557A JP 2008180632 A JP2008180632 A JP 2008180632A JP 2008180632 A JP2008180632 A JP 2008180632A JP 2010020557 A JP2010020557 A JP 2010020557A
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- area
- image
- imaging
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】発光部を有さない検出対象を精度良く撮像画像から検出することを可能とする画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理装置の制御部は、遠赤外線波長帯にて撮像する撮像装置から得られる画像データから抽出される検出対象領域の候補と、可視光波長帯にて撮像する撮像装置から得られる画像データから抽出される高輝度領域とを比較する。高輝度領域と重複する検出対象領域の候補全体が候補から除外される。高輝度領域部分のみ除外されるのではなく、夜間に視認が困難な、発光部を有していない検出対象、つまり人物又は無灯火の自転車などが遠赤外線画像データに基づいて精度よく検出される。
【選択図】図5
【解決手段】画像処理装置の制御部は、遠赤外線波長帯にて撮像する撮像装置から得られる画像データから抽出される検出対象領域の候補と、可視光波長帯にて撮像する撮像装置から得られる画像データから抽出される高輝度領域とを比較する。高輝度領域と重複する検出対象領域の候補全体が候補から除外される。高輝度領域部分のみ除外されるのではなく、夜間に視認が困難な、発光部を有していない検出対象、つまり人物又は無灯火の自転車などが遠赤外線画像データに基づいて精度よく検出される。
【選択図】図5
Description
本発明は、遠赤外線波長帯を利用する撮像装置により撮像された撮像画像に写る対象を検出するための画像処理装置に関する。特に、発光部を有さない検出対象を精度良く撮像画像から検出することを可能とする画像処理装置及び画像処理方法に関する。
従来より、見通しの悪いT字路、十字路等の交差点での交通事故を防止するための交通制御システムが種々提案されている。特に、交差点近傍の路側に道路状況を上方から可視光波長帯にて撮像する撮像装置を設置し、撮像した画像を自動車へ送信することにより運転者に警告、注意を通知できるシステムが提案されている(例えば、特許文献1参照)。
自動車同士の衝突のみならず、自動車と自転車との衝突、自動車と人との衝突等の種々の交通事故を削減するため、更に高度な安全運転支援システムの実現が期待されている。具体的には、交差点における他の自動車、自転車、人、又は落下物の有無及び位置の情報を交差点に進入しようとする自動車へ送信する。そして、自動車側で受信する情報に基づき事故を回避するための制御を自動的に実行する。これにより事故を未然に防ぐことができ、更に被害を最小限に抑えることが期待される。この場合、撮像画像から対象物の有無のみならず、他の自動車、自転車、人、又は落下物等の検出対象の種類を夫々識別して検出することが必要となる。
これに対して特許文献2には、車両に搭載される赤外線カメラにて撮像した赤外線画像から人物を検出する技術が開示されている。赤外線画像では温度差が輝度差になることを利用し、夜間に可視光波長帯では捉えることが困難な人物を検出できる。特に、特許文献2では、人物から放出される赤外線量と同程度の赤外線量に相当する領域を抽出し、更に人物で有り得ない部分を除外することにより、誤検出を回避している。
特開2003−109199号公報
特開2001−108758号公報
撮像画像から検出対象の種類をも識別した上で検出するためには、撮像画像内の検出対象領域から、検出対象の種類毎に異なる特徴量を検知できるか否かの判断が有効である。例えば撮像画像内における検出対象領域の形状及び大きさを種類毎に特徴量として設定しておき、検出対象領域の形状及び大きさが設定されている形状及び大きさと一致するか否かによって検出対象の種類を識別することが可能である。
特許文献2に開示されているように赤外線カメラを利用することにより、交差点における人物を夜間でも撮像することができる。そして特許文献2に開示されている技術により、赤外線画像から人物から放射される赤外線量に相当する領域を候補として抽出し、抽出した領域から人物で有り得ないと判断できる部分を除外した後の領域の形状又は大きさに基づき人物を検出できる。
特許文献2に開示されている技術では、人物では有り得ない発光部分もしくは高温部分の領域又は該領域を含む矩形領域を、人物で有り得ない部分として除外する。したがって、例えば発光部分が前方を走行する車両のヘッドライトであるときはヘッドライト部分のみ、又はヘッドライトを含む車両の下部領域が人物で有り得ない部分として除外され、車両の他の一部の領域は残る。車両の他の一部の領域が残っていても、特許文献2では、除外された高温部分又は発光部分の近接部分以外には人物の温度と同程度となり得る部分の存在は考慮していないので、人物の温度と同程度の温度に相当する領域は、形状又は大きさが不適でないかぎり人物として検出して問題ないとされる。しかしながら、発光部分及び高温部分の近接部分以外の車体表面の領域等、人物の温度と同程度の温度に相当する領域があり得る。この場合、上述のように一部が除外されることによって大きさが小さくなり、車体表面の領域が誤って人物領域として検出される可能性が高くなる。
更に、特許文献2では人物の皮膚表面温度の領域を抽出して人物領域の候補としているが、人物は衣服を着ているので、衣服によっては人物の皮膚表面温度の領域が顔部分及び足部分等の一部のみとなる場合がある。この場合、同一の検出対象が写る領域であるにも拘わらず、別々の人物領域の候補として抽出されるので、その形状又は大きさで判断したときに夫々面積が小さく、人物で有り得ない領域として誤って除外される可能性が高い。これに対し、衣服の温度を考慮して人物領域に相当する温度の範囲として例えば、20℃〜50℃の範囲などと広くした場合には、人物以外が写る領域が誤って人物領域として抽出される領域が多くなる。
特許文献2では、人物領域として検出される領域の色を変えて画面に表示する構成としているので、例えば誤って人物領域として検出された領域があった場合でも、観察者であるユーザが画面を見て自然に人物以外の領域を除外して観察するので問題がない。しかしながら、特徴量から検出対象を識別して検出し、情報を車両へ送信する安全運転支援システムに特許文献2の技術を適用した場合には、上述のような精度の問題で検出対象領域を精度良く特定することは困難である。
本発明は斯かる事情に鑑みてなされたものであり、発光部を有さない検出対象を精度良く撮像画像から検出することを可能とする画像処理装置及び画像処理方法を提供することを目的とする。
第1発明に係る画像処理装置は、撮像画像に基づいて撮像範囲内にある対象を検出するための画像処理を行なう画像処理装置において、遠赤外線波長帯にて撮像する第1撮像手段と、第1撮像手段の撮像範囲を可視光波長帯又は近赤外線波長帯にて撮像する第2撮像手段と、第1撮像手段が撮像した第1撮像画像から、検出対象が写っている検出対象領域の候補を抽出する抽出手段と、第1撮像画像と同時的に第2撮像手段により撮像された第2撮像画像から、輝度値が所定値以上である高輝度領域を抽出する手段と、前記抽出手段が抽出した候補と前記高輝度領域とが重複するか否かを判断する判断手段と、該判断手段が重複しないと判断した候補の領域に基づき、検出対象を検出する手段とを備えることを特徴とする。
第2発明に係る画像処理装置は、第1撮像手段は、複数の画素毎の輝度値からなるデジタル画像を出力するようにしてあり、前記抽出手段は、第1撮像画像と所定の基準画像との間での各画素での輝度値の差分を求める手段を備え、該手段が求めた差分が所定値以上である画素が画像中で連続する領域を検出対象領域の候補として抽出するようにしてあることを特徴とする。
第3発明に係る画像処理装置は、第1撮像手段の撮像範囲を第1撮像手段とは異なる角度から遠赤外線波長帯にて撮像する第3撮像手段を更に備え、第1及び第3撮像手段は、複数の画素毎の輝度値からなるデジタル画像を出力するようにしてあり、前記抽出手段は、第1撮像手段が撮像した第1撮像画像と同時的に第3撮像手段により撮像された第3撮像画像を取得する手段と、前記第1及び第3撮像画像から夫々、輝度値が所定値以上である画素が画像中で連続する領域を抽出する手段と、該手段が前記第1撮像画像から抽出した第1候補領域に対応する対応領域を、前記第3撮像画像から抽出された領域から特定する特定手段と、第1撮像画像から抽出した第1候補領域が複数ある場合、第1候補領域の第1撮像画像における位置と、第1候補領域夫々に対し前記特定手段が特定した対応領域の第3撮像画像中における位置との間の差異を求める手段と、該手段が求めた差異が略等しい第1候補領域を抽出する手段と、該手段が抽出した第1候補領域間に位置する画素と、夫々の第1候補領域の対応領域間に位置する画素との間の相関を求める手段と、前記相関が所定値よりも高い第1候補領域同士を対応付ける手段とを備え、対応付けられた第1候補領域を一の検出対象領域の候補として抽出するようにしてあることを特徴とする。
第4発明に係る画像処理方法は、遠赤外線波長帯にて撮像する第1撮像手段、及び第1撮像手段の撮像範囲を可視光波長帯又は近赤外線波長帯にて撮像する第2撮像手段により撮像される撮像画像に基づき、撮像範囲内にある対象を検出するための画像処理方法であって、第1撮像手段が撮像した第1撮像画像から、検出対象が写っている検出対象領域の候補を抽出する抽出ステップ、前記第1撮像画像と同時的に第2撮像手段により撮像された第2撮像画像から、輝度値が所定値以上である高輝度領域を抽出するステップ、前記抽出ステップにて抽出した候補と前記高輝度領域とが重複するか否かを判断する判断ステップ、及び、該判断ステップが重複しないと判断した候補の領域に基づき、検出対象を検出するステップを含むことを特徴とする。
第1発明及び第4発明にあっては、遠赤外線波長帯にて撮像された第1撮像画像から検出対象が写る領域の候補が抽出される。そして前記第1撮像画像と同時的に可視光波長帯又は近赤外線波長帯にて撮像された第2撮像画像からは、輝度値が所定値以上である高輝度領域が抽出される。同時的に撮像された第1撮像画像から抽出される候補の領域と、第2撮像画像から抽出される高輝度領域とが重複する場合、前記候補の領域に写るもの全体としては発光部を有していると判断できる。したがって、人物又は無灯火の自転車等、発光部を有さず夜間では視認が困難な検出対象を検出する際に、発光部を有する物体の領域全体を不要な領域として除外することが可能であり、検出対象が精度よく検出される。
第2発明にあっては、第1撮像手段によって出力される第1撮像画像は、複数の画素毎の輝度値からなるデジタル画像である。抽出手段は第1撮像画像と所定の基準画像との間で各画素での輝度値の差分を求め、求めた差分が所定値以上である領域、即ち基準画像と大きく異なる部分が検出対象領域の候補として抽出される。したがって、第1撮像画像にて温度が検出対象の温度として適切か否かによらずに、基準画像には写っていないものが検出対象領域の候補として検出される。これにより、検出対象を含む各対象を写している領域が精度よく抽出される。
第3発明にあっては、第1撮像手段の撮像範囲を第1撮像手段と同様に遠赤外線波長帯にて撮像し、且つ第1撮像手段とは撮影角度が異なる第3撮像手段が更に備えられる。第1撮像手段と第3撮像手段とで同時的に撮像する第1撮像画像及び第3撮像画像に同一の対象が写る場合、当該対象が写る領域は1及び第3撮像手段からの距離が同一である。第1撮像手段と第3撮像手段とは異なる角度で同一の撮像範囲を撮像するので、第1及び第3撮像画像から夫々対応して抽出される領域の第1及び第3撮像画像における位置の差異即ち視差により、抽出される候補の内の同一の距離にある領域は、同一の対象物の一部であるとすることが可能である。
ただし、同一の距離にある領域は全て同一の対象物の一部であるとした場合は、同一距離に存在する異なる対象を同一の対象として誤って検出する可能性がある。したがって、同一の距離にあるか否かのみならず、第1撮像画像から抽出された領域と、第3撮像画像から前記領域に対応して抽出された領域との夫々周辺部に位置する画素間の相関を求める。第1撮像画像から抽出された領域と、対応して抽出された領域とが同一の対象を写す領域である場合、抽出された領域以外の部分でも色などの類似性が高く相関が所定値よりも高くなることを利用する。これにより、同一対象を写すにも拘わらず複数の領域に抽出された領域を精度よく一の対象を写している領域として精度よく抽出される。
ただし、同一の距離にある領域は全て同一の対象物の一部であるとした場合は、同一距離に存在する異なる対象を同一の対象として誤って検出する可能性がある。したがって、同一の距離にあるか否かのみならず、第1撮像画像から抽出された領域と、第3撮像画像から前記領域に対応して抽出された領域との夫々周辺部に位置する画素間の相関を求める。第1撮像画像から抽出された領域と、対応して抽出された領域とが同一の対象を写す領域である場合、抽出された領域以外の部分でも色などの類似性が高く相関が所定値よりも高くなることを利用する。これにより、同一対象を写すにも拘わらず複数の領域に抽出された領域を精度よく一の対象を写している領域として精度よく抽出される。
本発明による場合、発光部を有さない検出対象を検出する際に、発光部を有する物体の領域全体を不要な領域として除外することができるので、検出対象領域を正しく抽出し、正確に対象を検出することが可能である。これにより、発光部を有さない検出対象、特に人物を高精度に正しく識別することが可能となる。
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
なお、以下に示す実施の形態では、本発明に係る画像処理装置によって交差点にいる人物を正確に検出することを可能とし、交差点に進入する自動車で事故防止のための走行制御を実行させる安全運転支援システムに適用した場合を例に説明する。
(実施の形態1)
図1は、実施の形態1における安全運転支援システムが設置されている交差点の例を示す上方からの斜視図である。図1中の1は、交差点を撮像する2台の撮像装置と一体に構成される画像処理装置である。画像処理装置1は、路側に設置されて所定の高さで道路側に伸びている支柱に取り付けられている。画像処理装置1と一体に構成されている2台の撮像装置が交差点及びその近傍の範囲を俯瞰するように設置されている。画像処理装置1及び2台の撮像装置は、撮像装置のレンズ側を遠赤外線、及び可視光線又は近赤外線を透過する素材とした筐体に収められている。図1中の2は路側機であり、画像処理装置1と同様に路側の支柱に取り付けられている。画像処理装置1と路側機2とは通信線により接続されている。
図1は、実施の形態1における安全運転支援システムが設置されている交差点の例を示す上方からの斜視図である。図1中の1は、交差点を撮像する2台の撮像装置と一体に構成される画像処理装置である。画像処理装置1は、路側に設置されて所定の高さで道路側に伸びている支柱に取り付けられている。画像処理装置1と一体に構成されている2台の撮像装置が交差点及びその近傍の範囲を俯瞰するように設置されている。画像処理装置1及び2台の撮像装置は、撮像装置のレンズ側を遠赤外線、及び可視光線又は近赤外線を透過する素材とした筐体に収められている。図1中の2は路側機であり、画像処理装置1と同様に路側の支柱に取り付けられている。画像処理装置1と路側機2とは通信線により接続されている。
画像処理装置1は、路側機2を介して無線通信によりデータを送受信することが可能である。例えば、図1中には2台の自動車が示されている。各自動車の車載器は、例えばDSRC(Dedicated Short Range Communication)技術により路側機2との無線通信が可能に構成されている。
実施の形態1における安全運転支援システムでは、画像処理装置1が以下に説明する動作を行なうことにより各自動車での走行制御を実現する。画像処理装置1が、交差点を俯瞰するように撮像する撮像装置により得られる画像データから、交差点における自動車、自転車、歩行者、又は落下物等を検出する。夜間は特に視認することが困難な歩行者又は無灯火の自転車等を検出する。そして、画像処理装置1は検出対象の情報を路側機2を介して各自動車に送信する。これにより各自動車では、路側機2を介して受信した情報に基づき、進行方向に歩行者の存在を検知した場合にはブレーキを自動的に作動させるなどの走行制御が実現可能となる。また、緩衝装置を作動させるなど、衝突事故が起こった場合でも衝突による衝撃を軽減させるための安全制御も実現可能となる。
このような安全運転支援システムを実現するために、画像処理装置1が画像データに基づき行なう画像処理、及び画像処理によって得られる各種情報について以下に説明する。
図2は、実施の形態1における安全運転支援システムを構成する画像処理装置1、路側機2、並びに第1及び第2撮像装置3,4の内部構成を示すブロック図である。画像処理装置1は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等を利用して各構成部を制御する制御部10と、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ等の不揮発性のメモリを利用した記憶部11と、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)等のメモリを利用した画像メモリ12と、第1及び第2撮像装置3,4からの画像信号を受け付ける第1画像取得部13及び第2画像取得部14と、路側機2との通信を実現する通信部15とを備える。
制御部10は、内蔵するROM(Read Only Memory)又は記憶部11に記憶されている制御プログラムを読み出して実行することにより各構成部を制御し、後述にて説明する画像処理を行なうようにしてある。記憶部11は制御部10に内蔵される構成としてもよい。制御部10の処理によって発生する各種データは、更に別途備えられる不揮発性のメモリ又は制御部10内蔵のメモリに一時的に記憶される。
画像メモリ12は、第1及び第2画像取得部13,14により取得された画像データを記憶する。制御部10は、第1及び第2画像取得部13,14にて画像データを取得した場合に、第1及び第2画像取得部13,14夫々に対応する画像メモリ12内の記憶領域への書き込みを指示する。また、後述にて説明する各処理は、画像メモリ12に記憶されている画像データ、又はその複製に対して行なう。
画像メモリ12は、制御部10が内蔵するRAM(Random Access Memory)の一部の記憶領域であってもよい。また、記憶部11又は画像メモリ12は画像処理装置1の外部に設置され、画像処理装置1の制御部10が読み書きが可能なように、画像処理装置1と接続されている構成としてもよい。
第1画像取得部13は第1撮像装置3から出力される画像信号を受け付け、第2画像取得部14は、第2撮像装置4から出力される画像信号を受け付ける。そして第1画像取得部13及び第2画像取得部14は夫々、受け付けた画像信号から画像データを取り出し、画像メモリ12に記憶する。詳細には、第1及び第2画像取得部13,14は制御部10からの指示に従い、夫々受け付けている画像信号から画像を構成する画素毎の輝度値又は色差等を取り出して画像データとし、画像メモリ12へ書き込む。
通信部15は、路側機2との間を接続する通信線を介した情報の送受信を実現する。制御部10は、画像処理によって得られた情報を通信部15にて路側機2へ送信し、通信部15にて路側機2からの情報を受信する。
路側機2は、CPU又はMPUを利用して各構成部を制御する制御部20と、画像処理装置1との通信を実現する通信部21と、各自動車に搭載されている車載器への通信を無線により実現する無線通信部22とを備える。
通信部21は画像処理装置1の通信部15と対応して情報の送受信が可能である。制御部20は、通信部21が画像処理装置1から送信された情報を受信した場合、通信部21からの通知を受けてこれを受信する。
無線通信部22は、DSRC技術の方式により無線通信が可能である。制御部20は、通信部21により画像処理装置1から受信した情報を、無線通信部22により各自動車の車載器へ送信する。なお、無線通信部22は車載器へのDSRC方式による通信のみならず、遠隔地にある交通管制センター内の通信装置宛に情報を送信できるように構成してあってもよい。
第1撮像装置3は、赤外線レンズ及び遠赤外線撮像素子を備え、遠赤外線波長帯にて撮像を行なう遠赤外線カメラである。赤外線レンズは硫化亜鉛、カルコゲンガラス、ゲルマニウム、ジンクセレン等を原料として作製されている。遠赤外線撮像素子は、酸化バナジウム(VOx)、アモルファスシリコン、SOI(Silicon on Insulator)ダイオード、サーモパイル等を用いた非冷却型のものを用いる。遠赤外線撮像素子が検出可能な波長帯は例えば、8μm〜12μmである。フィルタを備えて他の波長の光を遮断するようにしてもよい。
第1撮像装置3の遠赤外線撮像素子は、温度差を輝度差に変換して出力する。これにより、夜間は可視光波長帯では視認が困難な歩行者、自転車に乗る人物を検出することが可能である。車両が撮像範囲にある場合は、車両の表面部分の内の例えばマフラ近傍、エンジンルーム近辺等の温度が高い部分を検出することが可能である。
第2撮像装置4は、可視光レンズ及び可視光撮像素子を備え、可視光波長帯にて撮像を行なうカメラである。可視光撮像素子は、CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge Coupled Device Image Sensor)を用いる。可視光撮像素子の感度特性は例えば、450nm〜700nmである。フィルタを更に備えて他の波長の光を遮断するようにしてもよい。なお、第2撮像装置4は、近赤外波長帯(例えば、900nm〜1.2μm)に感度特性を有するように、赤外線レンズ及び近赤外線撮像素子を備える構成としてもよい。
第2撮像装置4の可視光撮像素子は、光の強度を輝度値に変換して出力する。これにより、夜間車両が撮像範囲にある場合、車両のボディ自体は周辺に同化してするが、ヘッドライト又はテールランプを点灯して走行するので、ライト及びランプ部分並びに周辺部分は高輝度値で撮像される。歩行者又は無灯火の自転車が撮像範囲にある場合は、発光部がないので撮像されても輝度値が周辺部分と略同程度となり識別が困難である。
第1撮像装置3の遠赤外線撮像素子及び第2撮像装置4の可視光撮像素子の画素数はいずれも例えば320×240であり、1秒間に約30フレームのレートで生成される画像の画像信号を出力する。第1及び第2撮像装置3,4における撮像タイミングは厳密に同期されていることが望ましいが、必ずしも厳密な同期性は求められない。例えば、第1及び第2撮像装置3,4における撮像タイミングの時間差は後述する画像処理に影響を及ぼすが、時間差が特定又は推定できる場合にはその時間差による誤差を吸収することも可能である。
第1撮像装置3と、第2撮像装置4とでは、画角及び撮像範囲が略一致するように構成されている。つまり、第1及び第2撮像装置3,4では焦点距離が同一となるように内蔵するレンズ群の光学的配置が構成されている。同一画角、同一撮像範囲での撮像を簡易に実現するため、第1及び第2撮像装置3,4は同一の画素数の撮像素子を用い、同一の方向、即ち交差点へ向けて並設されている。
なお、上述のように第1及び第2撮像装置3,4の画角及び撮像範囲は、後述する処理のためには一致することが望ましいが、完全に一致することは困難である。ただし、少なくとも重複するように構成されることが必要となる。略一致するように並設できない場合は、第1及び第2画像取得部13,14にて取得される画像データの重複範囲を記憶部11に記憶しておけばよい。そして、重複範囲内における相互に対応する画素を特定することが可能なように対応関係を記憶しておく。これにより制御部10は、画像メモリ12に記憶されている第1及び第2画像取得部13,14にて取得された2つの画像データの重複範囲内で同一の被写体が写っている領域を抽出することができる。
次に、上述のように構成される画像処理装置1の制御部10が、第1及び第2撮像装置3,4から出力される画像信号から取得した画像データに対して行なう画像処理について詳細を説明する。
制御部10は、第1及び第2画像取得部13,14にて取得した画像データを用いて人物を検出する。具体的には、制御部10は夜間でも人物を検出できるように、基本的に第1画像取得部13から取得した遠赤外線波長帯の画像データから、人物の領域を抽出する。画像データに基づく人物の検出方法としては従来より種々の技術がある。実施の形態1では、人物が写っていない基準となる背景画像との差分をとる方法を用いる。一又は複数フレーム分前の画像データを基準とし、その差分をとるフレーム差分の方法を用いてもよいし、オプティカルフローと呼ばれる方法を用いてもよい。
図3は、実施の形態1における画像処理装置1の記憶部11に予め記憶されている背景の画像データの内容例を示す説明図である。なお、図3に示すような遠赤外線用の背景の画像データが記憶部11に記憶してある。背景の画像データとして、時間帯及び天候によって異なる複数の画像データが記憶されており、制御部10が周辺状況に応じて何れかを選択するようにしてある構成としてもよい。
図3に示すように、背景の画像データには固定物である路面が写っている。撮像装置3から取得される画像データと背景の画像データとの差分を算出することにより、人物領域候補が抽出される。
なお、画像処理装置1の設置位置、設置高さ、並びに第1撮像装置3の俯角、画角に応じて撮像範囲は決定される。実施の形態1の場合、第1及び第2撮像装置3,4は交差点を俯瞰するように設置される。したがって画像データ内における位置、特に垂直方向の位置と実空間の交差点における位置とに対応関係がある。図3中の破線で表わされる水平線は夫々、画像データ内における垂直方向の位置に対応する実空間における第1撮像装置3からの距離を示している。例えば、図3中の一番下方にある破線上に写る路面の一部は、第1撮像装置3が設置される位置から20mの距離に位置する。また、中央にある破線上に写る路面の一部は、第1撮像装置3が設置される位置から50mの距離に位置する。一番上方にある破線上に写る路面の一部は、第1撮像装置3が設置される位置から100mの距離に位置する。
これを利用して制御部10は、遠赤外線波長帯の画像データから抽出した人物領域候補の、画像中での上端又は下端の位置に基づいて、人物の実空間の交差点での位置を特定することができる。
そして、人物の大きさはある程度決まっており、概ね縦×横×高さが80cm×80cm×2m(身長)の体積以内に収まるはずである。第1撮像装置3によって人物が撮像された場合、画像データ内の人物領域の大きさは、第1撮像装置3から遠いほど小さく、近いほど大きくなる。そして、人物領域の画像データ中における大きさは、第1及び第2撮像装置3,4から人物までの実空間における距離、及び第1及び第2撮像装置3,4の画角に応じて決まる。
したがって、第1撮像装置3から所定の距離に位置する人物領域の画像データ内に占めるべき縦横の大きさを記憶部11に記憶しておく。人物は上述のように80cm×80cm×2m(身長)の体積以内に収まる。第1撮像装置3から50mの位置にいる人物が撮像装置3によって撮像された場合、人物の領域が占めるべき領域の大きさは、誤差を考慮して水平方向の大きさ(画素数)が15ピクセル、垂直方向の大きさが30ピクセル以内とする。
なお、人物領域として抽出した領域の画像データ内における位置が、記憶部11に記憶されているサイズ情報に対応する所定の位置(例えば、50mの距離の位置)とは異なる位置である場合、制御部10は、差異に応じて人物領域が占めるべき水平方向及び垂直方向の大きさを算出する。例えば画像処理装置1から100mの距離に対応する位置に、人物領域が位置する場合、所定の50mの距離から2倍の距離であるので、占めるべき大きさは略半分となる。
このように、遠赤外線波長帯の画像データ中の人物領域が占めるべき縦横の大きさを記憶部11に予め記憶しておく。そして、制御部10は人物領域候補として抽出した領域の縦横の大きさが、人物の領域が占めるべき領域の大きさの条件に合っているか否かを判断し、条件に合っていると判断した場合は、抽出した人物領域候補を人物領域と特定する。
制御部10は上述のように遠赤外線波長帯の画像データから背景差分により抽出された人物領域候補の内、人物の領域が占めるべき領域の大きさの条件に合っている領域を人物領域と特定するとした。しかしながら、遠赤外線波長帯で撮像されるものは人物のみならず、車両も含まれる。車両の表面温度は人物と比して低いが、車両のマフラー部分、エンジンルーム部分の近傍は比較的高温であり、一部が人物の温度と同程度となることがある。一部の形状が人物の領域が占めるべき領域の大きさの条件に合っている場合、誤って人物領域と特定されてしまう。
そこで、画像処理装置1の制御部10は、上述のように記憶部11に記憶されている情報を用いて以下に示す処理を行なう。図4は、実施の形態1における画像処理装置1の制御部10が行なう画像処理の手順の一例を示すフローチャートである。
制御部10は、第1画像取得部13及び第2画像取得部14へ同時的に指示信号を出力することにより、第1撮像装置3及び第2撮像装置4から出力される画像信号に基づく画像データを同時的に取得する(ステップS1)。なお、ステップS1における画像データの取得タイミングは任意である。例えば1秒等の一定時間毎に行なう構成としてもよいし、路側機2で車載器からの情報を受信した場合など、自動車が交差点への進入を検知した場合に行なう構成としてもよい。
制御部10は、第1撮像装置3から出力される画像信号からステップS1で第1画像取得部13が取得した画像データと、記憶部11に記憶してある遠赤外線用の背景の画像データとの差分データを算出する(ステップS2)。算出された差分データは、画像メモリ12又は制御部10内蔵メモリに一時的に記憶される。
制御部10は差分データを例えば以下のようにして算出する。制御部10は画素毎に、背景の画像データと取得した画像データとの輝度値の差分を算出し、差分が所定値以上である画素と、差分が所定値未満である画素とに区別する。制御部10は、画像データを構成する画素毎の、差分が所定値以上であるか否かの真偽を示す1ビット情報の二次元配列を、差分データとして算出する。これにより、遠赤外線波長帯にて撮像する第1撮像装置3から得られる画像データから、背景の画像データには写っていないものが存在する領域が抽出される。
更に具体的には、制御部10は取得した画像データの画素毎に、以下に示す式1に基づく演算を行なう。
ただし、式1におけるf(x,y)は、取得した画像データを構成する水平方向の位置x及び垂直方向の位置yで特定される各画素の1ビット情報である。なお、水平方向の位置xは画像データの左端からの画素数であり、垂直方向のyは画像データの上端からの画素数とする。Ix,yは取得した画像データにおけるx、yで特定される画素毎の輝度値である。I´x,yは、背景の画像データにおけるx、yで特定される画素毎の輝度値である。thresholdは任意の閾値である。
なお、式1に示すように差分データを算出する際、取得した画像データ及び背景の画像データ夫々にエッジ抽出処理を施すなどした後の輝度値に基づいて算出してもよい。
制御部10は、算出した差分データに基づき、検出対象である人物(歩行者)が写っている人物領域候補を抽出する(ステップS3)。具体的には、制御部10はステップS2で算出した差分データの内、所定面積以上連続する画素で真である場合、当該画素群を人物領域候補として抽出する。制御部10は、ステップS2で算出した差分データに対し、真である画素が連続しない場合は当該画素の1ビット情報を偽としてもよい。ノイズにより差分が所定値以上となった画素を除去するためである。なお、制御部10は人物領域として差分データ中の連続して真である画素群の領域の外接矩形を特定し、画像における四隅座標を記憶部11又は画像メモリ12に一時的に記憶しておく。四隅座標のみならず、矩形の左上隅座標及び右下隅座標のみでもよいし、左隅座標及び縦横の画素数を記憶していてもよい。
そして制御部10は、第2撮像装置4から出力される画像信号からステップS1で第2画像取得部14が取得した画像データから、高輝度領域を抽出する(ステップS4)。具体的には、制御部10は画像データの画素毎に、輝度値が所定値よりも高いか否かを判断し、輝度値が所定値よりも高い画素と、輝度値が所定値よりも低い画素とに区別、即ち二値化する。制御部10は、画像データを構成する画素毎の、輝度値が所定値よりも高いか否かの真偽を示す1ビット情報の二次元配列を算出する。このとき所定値は、発光部分に相当する輝度値とする。これにより、可視光波長帯にて撮像する第2撮像装置4から得られる画像データから、発光体が存在する領域が抽出される。なお、制御部10は抽出した高輝度領域の外接矩形を特定し、画像における四隅座標を記憶部11、画像メモリ12又は制御部10内蔵メモリ等の一時記憶領域に一時的に記憶しておく。四隅座標のみならず、矩形の左上隅座標及び右下隅座標のみでもよいし、左隅座標及び縦横の画素数を記憶していてもよい。
次に制御部10は、ステップS3で抽出された人物領域候補が複数ある場合、その内の一の人物領域候補を選択する(ステップS5)。制御部10は、ステップS5で選択した人物領域候補と、ステップS4で抽出した高輝度領域の何れかが重複するか否かを判断する(ステップS6)。具体的には制御部10は、ステップS5で選択した人物領域候補の四隅座標と、ステップS4で抽出された高輝度領域の四隅座標とを比較し、人物領域候補の四隅座標で形成される矩形に高輝度領域の四隅座標のいずれかが含まれるか否かを判断する。
なお、制御部10はステップS6で重複するか否かではなく、より限定して人物領域候補が高輝度領域を内包するか否かを判断するようにしてもよい。この場合、具体的には、制御部10は、ステップS5で選択した人物領域候補の四隅座標内と、ステップS4で抽出された高輝度領域の四隅座標とを比較し、人物領域候補の四隅座標で形成される矩形に高輝度領域の四隅座標が全て含まれるか否かを判断する。発光部が遠赤外線波長帯の画像データに写る物体の領域の内部に含まれるはずである場合は、重複するか否かよりも内包するか否かを判断する方が精度が高くなることが期待される。なおこの場合、高輝度領域として抽出する際に所定値を発光部のみ抽出されるように設定し、反射成分又は滲み成分などは抽出されないようにする。
制御部10は、ステップS6で重複すると判断した場合(S6:YES)、ステップS5で選択した人物領域候補は、人物領域ではないとして候補から除外する(ステップS7)。即ち、制御部10は、ステップS3で抽出されて記憶されている人物領域候補の四隅座標の内の、ステップS5で選択した人物領域候補に対応する四隅座標を削除する。高輝度領域と重複している場合、その領域は人物以外の発光部を有する物体が写っている領域である可能性が高いからである。
次に制御部10は、全ての人物領域候補を選択して、人物以外の物体が写っている領域を人物領域候補から除外したか否かを判断する(ステップS8)。制御部10は、全ての人物領域候補を選択していないと判断した場合(S8:NO)、処理をステップS5へ戻し、他の人物領域候補を選択し(S5)、ステップS6の判断処理を実行する。制御部10は、全ての人物領域候補を選択したと判断した場合(S8:YES)、処理を次のステップS9へ進める。
なお、ステップS6で重複しないと判断した場合(S6:NO)、ステップS5で選択した人物領域候補は真に、人物を写している領域である可能性が高いので除外せずそのまま残して処理をステップS8へ進める。
制御部10は次に、除外されずに残っている人物領域候補の内の一部又は全部を人物領域と特定する(ステップS9)。具体的には制御部10は、各人物領域候補の遠赤外線画像データにおける位置から、第1撮像装置3又は第2撮像装置4からの実空間における距離を求め、当該人物領域候補が、求めた距離にある場合に人物の領域が占めるべき領域の縦横の大きさの条件に合っている場合、人物領域として特定する。人物までの距離は、各人物領域候補の下端又は上端を特定し、特定した下端又は上端の位置、特に画像データにおける垂直方向の位置に基づいて求める。特定される下端又は上端の座標と実空間における距離との対応は、図3に示したように予め記憶してあるものに基づいて求める。これにより、演算処理が容易となる。
制御部10は、ステップS9で特定した人物領域に基づいて人物を検出し、人物の交差点における位置、即ち第1撮像装置3からの距離など、検出した人物の情報を通信部14により送信し(ステップS10)、処理を終了する。
次に、上述の図4のフローチャートに示した画像処理装置1の制御部10による処理を、具体例を示して説明する。図5は、実施の形態1における画像処理装置1の制御部10が行なう画像処理結果の具体例を示す説明図である。
図5(a)は、第1撮像装置3から第1画像取得部13にて取得される画像データ、即ち遠赤外線画像データの内容例を模式的に示す。図5(a)の遠赤外線画像データは夜間に撮像された画像データである。画像データにおける中央付近には、車両とみられる物体が写っており、車両の下部はマフラ等、車体からの放熱により周辺よりも輝度値が高く撮像されている。また、中央右付近には他の路面よりも輝度値が高い白抜きで示された領域がある。この輝度値が高い領域は人物領域であるとする。
図5(b)は、図5(a)に示した画像データと同時的に第2撮像装置3にて撮像され、第2画像取得部14にて取得される画像データ、即ち可視光画像データの内容例を模式的に示している。図5(b)の可視光画像データも夜間に撮像された画像データであり、画像データの中央付近には、ヘッドライト及びテールランプを点灯させて走行する車両が写っている。可視光画像データでは、ヘッドライト及びテールランプの部分が他の部分よりも高い輝度値で撮像されている。中央右付近には人物が撮像されているが、発光部を有さないため可視光画像データでは周辺に紛れて視認が困難である。
図5(c)は、図5(a)に示した遠赤外線画像データに対し、制御部10が差分データを算出し、更に差分データから抽出した人物領域候補を模式的に示している。なお、ハッチングで示した領域が算出された差分データの内、所定面積以上連続して、差分が所定値以上であることが真である画素群の領域を示しており、破線はその画素群の外接矩形として特定された人物領域候補を示している。なお、図5(c)では図5(a)との各領域の画像における位置の対応を明確とするため、道路の境界を一点鎖線で示している。
図5(a)〜(c)を比較することにより、制御部10が差分データに基づいて人物領域候補を抽出するのみでは、図5(c)に示されるように、人物が写っている領域のみならず、車両が写っている領域さえも人物領域候補として抽出されていることが判る。
図5(d)は、図5(b)に示した可視光画像データから、制御部10が抽出した高輝度領域を模式的に示している。ハッチングで示した領域が輝度値が所定値よりも高い画素群を示しており、破線はその画素群の外接矩形として特定された高輝度領域を示している。なお、図5(d)でも図5(a)〜(c)との各領域の位置の対応を明確とするため、道路の境界を一点鎖線で示している。
画像処理装置1の制御部10は、図5(c)及び図5(d)に示した人物領域候補と高輝度領域とに基づいて図4のフローチャートに示した処理手順の内のステップS5〜ステップS9を実行する。これにより、図5(c)に示した3つの人物領域候補の内、図5(d)に示した2つの高輝度領域と画像中における位置(座標)が重複する2つの領域が除外される。そして、図5(c)に示す3つの人物領域候補の内の最も右側の領域のみが人物領域として正確に特定される。
画像データの全面から高輝度領域として抽出される画素群に相当するマスクを作成し、作成したマスクを遠赤外線画像データにかけ、マスクがかけられた領域以外で輝度値が所定の範囲(温度が肌温度の範囲)にある領域を人物領域と特定する方法もある。しかしながら、この場合、輝度値が所定の範囲にある領域がマスクがかけられて除かれることで大きさが小さくなる。即ち、図5に示した例であれば、図5(d)中のハッチングで示される領域のマスクを作成し、図5(a)にマスクをかけ、当該マスク領域以外で輝度値が所定の範囲内にある領域を抽出する構成とした場合、図5(a)では人物領域としては大きすぎる範囲であった領域でも、マスクによって除かれて人物領域として妥当な大きさに小さくなるときがある。これにより、当該領域から人物が誤って検出される可能性がある。また、大きさが変化するので当該領域の対象の種別を識別して検出することは困難である。
しかしながら、上述に示したように画像処理装置1の制御部10の処理では、高輝度領域と重複する領域又は高輝度領域を含む領域は、発光部を有した物体を写した領域であると判断でき、当該領域は人物領域ではないので全体が不要な領域として候補から除外される。したがって、夜間に発光部を有さないために運転者からの視認が困難な人物、即ち歩行者又は無灯火の自転車等を、より精度よく検出することが可能となる。
また、実施の形態1では人物領域候補を抽出する際に、差分データを算出することによって抽出した。遠赤外線画像データから、人物から放出される熱量に対応する輝度値の領域を人物領域として抽出する構成とした場合、衣服などの肌が露出していない温度が低い領域を取りこぼす可能性、及び人物以外の物体を誤って検出する可能性がある。しかしながら、差分データを算出することにより、輝度値が検出対象の温度と対応して適切か否かによらず、路面等の基準画像に写っているもの以外の人物又は車両等を写している領域が候補として検出される。これにより、精度がより高くなる。
また、上述の図4のフローチャートのステップS9に示したように、検出対象である人物が写っている人物領域候補として抽出された領域の位置から実空間における距離が求められ、更に車両へ送信される情報に含められる。したがって、車両側の走行制御装置でいずれの位置に人物が存在することを検知して走行制御を実行することができるなど、優れた効果を奏する。
(実施の形態2)
実施の形態1では、人物領域候補を遠赤外線画像データと基準画像データとの差分に基づいて抽出する構成とした。これに対し、実施の形態2では、人物領域候補を抽出する手段として、異なる角度から撮像された画像データにおける視差及び対応する画素間の相関に基づき、複数に分離した領域を一の対象を写している領域として抽出する方法を用いる。
実施の形態1では、人物領域候補を遠赤外線画像データと基準画像データとの差分に基づいて抽出する構成とした。これに対し、実施の形態2では、人物領域候補を抽出する手段として、異なる角度から撮像された画像データにおける視差及び対応する画素間の相関に基づき、複数に分離した領域を一の対象を写している領域として抽出する方法を用いる。
図6は、実施の形態2における安全運転支援システムが設置されている交差点の例を示す情報からの斜視図である。図6中の5は、交差点を撮像する2台の第1及び第2撮像装置3,4と一体に構成される画像処理装置であり、2は路側機であり、6は第3撮像装置である。路側機2、並びに第1及び第2撮像装置3,4については実施の形態1と同様であるため同一の符号を付して詳細な説明を省略する。
画像処理装置5は、実施の形態1における画像処理装置1同様に路側に設置されて所定の高さで道路側に伸びている支柱に取り付けられている。画像処理装置5、並びに2台の第1及び第2撮像装置3,4は、撮像装置のレンズ側を撮影波長帯を透過する素材とした筐体に収められている。第3撮像装置6は、第1及び第2撮像装置3,4の撮像範囲を異なる角度から撮像するように、第1及び第2撮像装置3,4と並べて支柱に取り付けられている。なお、第3撮像装置6は、レンズ側を撮影波長帯を透過する素材とした筐体に収められている。画像処理装置5と第3撮像装置6とは画像信号の送受信が可能なように信号線(又は通信線)にて接続されている。
図7は、実施の形態2における安全支援システムを構成する画像処理装置5、路側機2、並びに第1乃至第3撮像装置3,4,6の内部構成を示すブロック図である。画像処理装置5は、CPU、MPU等を利用して各構成部を制御する制御部50と、EEPROM、フラッシュメモリ等の不揮発性のメモリを利用した記憶部51と、SRAM、DRAM等のメモリを利用した画像メモリ52と、第1及び第2撮像装置3,4からの画像信号を受け付ける第1画像取得部53及び第2画像取得部54と、路側機2との通信を実現する通信部55と、第3撮像装置6からの画像信号を受け付ける第3画像取得部56とを備える。制御部50、記憶部51、画像メモリ52、通信部55の詳細は、実施の形態1における画像処理装置1の制御部10、記憶部11、画像メモリ12、通信部15と同様であるので詳細な説明を省略する。
第1画像取得部53及び第2画像取得部54は夫々、実施の形態1における画像処理装置1の第1画像取得部13及び第2画像取得部と同様に、受け付けた画像信号から画像データを取り出して画像メモリ52に記憶する。詳細には、夫々制御部50からの指示に従い、受け付けている画像信号から画像を構成する画素毎の輝度値又は色差等を特定して画像データとし、画像メモリ52へ書き込む。
第3画像取得部56は、受け付けた画像信号から画像データを取り出し、画像メモリ52に記憶する。詳細には、第3画像取得部56は第1及び第2画像取得部53,54同様に、制御部50からの指示に従い、受け付けている画像信号から画像を構成する画素毎の輝度値又は色差等を特定して画像データとし、画像メモリ52へ書き込む。
第3撮像装置6は、第1撮像装置3同様に遠赤外線波長帯にて撮像を行なう。第3撮像装置6も第1撮像装置3の撮像素子と同じ画素数の遠赤外線撮像素子を備え、同一画角の撮像が可能である。第3撮像装置6は、第1及び第2撮像装置3,4の撮像範囲と同一範囲を異なる角度から撮像することが可能なように設置方向を調整してある。
上述のように構成される実施の形態2における画像処理装置5の制御部50は、同一の撮像範囲を異なる角度で撮影する第1撮像装置3及び第3撮像装置6から取得する画像データを用い、同一の対象を撮像した場合に画像における位置に差異が生じる視差を利用し、検出対象である人物の領域の候補を抽出する。そして制御部50は、実施の形態1における制御部10の処理同様に、抽出した人物領域候補の内、第2撮像装置4から取得する画像データから得られる高輝度領域と重複する領域を候補から除外する。
以下に、画像処理装置5の制御部50が、第1撮像装置3、第2撮像装置4、及び第3撮像装置6から取得した画像データに対して行なう画像処理について詳細を説明する。
図8は、実施の形態2における画像処理装置5の制御部50が行なう画像処理の手順の一例を示すフローチャートである。なお、以下に示す処理手順の内、実施の形態1の図4のフローチャートに示した処理手順と共通する処理手順については同一のステップ番号を付して詳細な説明を省略する。
制御部50は、第1画像取得部53、第2画像取得部54及び第3画像取得部56へ同時的に指示信号を出力することにより、第1撮像装置3、第2撮像装置4及び第3撮像装置6から出力される画像信号に基づく画像データを同時的に取得する(ステップS11)。ステップS11における画像データの取得タイミングは任意である。例えば1秒等の一定時間毎に行なう構成としてもよいし、路側機2で車載器からの情報を受信した場合など、自動車が交差点への進入を検知した場合に行なう構成としてもよい。
制御部50は、第1撮像装置3から出力される画像信号からステップS11で第1画像取得部53が取得した画像データ(以下、第1画像データという)から、第1候補領域を抽出する(ステップS12)。具体的には、第1候補領域は以下に示す処理によって抽出される。制御部50は、第1画像データをメッシュ状にブロック分割する。制御部50は、第1画像データの各画素について輝度値が所定値以上であるか否かを区別し、即ち二値化しておく。つまり、制御部50は画像データを構成する画素毎の、輝度値が所定値よりも高いか否かの真偽を示す1ビット情報の二次元配列を求めておく。
そして制御部50は、輝度値が所定値よりも高い画素に注目し、注目画素とその隣接画素(複数)との類似度を夫々求める。制御部50は、隣接画素の内の類似度が所定値よりも高い隣接画素は注目画素と同一の物体を写している領域の一部であるとして、注目画素と隣接画素とを対応付ける。類似度が所定値よりも低い隣接画素は注目画素と同一の物体を写している領域の一部ではないと判断できる。したがって、制御部50はその後の処理でも、類似度が所定値よりも低い隣接画素の更に隣接画素については類似度を求める処理は行なわない。制御部50は、類似度が所定値よりも高い隣接画素に更に隣接する画素についても類似度を求め、類似度が高い画素群を一の第1候補領域として抽出する。なお、分割されたブロック毎に、ブロック内のみで上述の類似度による対応付けの処理を行ない、ブロックが異なる領域はバラバラに第1候補領域として抽出されるようにしてもよい。これにより一の注目画素に対して延々と隣接画素との類似度を求める処理負荷が軽減される。
なお、第1候補領域は、輝度値に基づく二値化を行なうことなしに、ブロック毎に任意の画素を注目画素とし、注目画素に類似する画素が対応付けられる領域が抽出される構成としてもよい。第1候補領域は単純に、輝度値が所定値以上である画素が連続する領域を特定することにより抽出される構成としてもよい。又は、Prewittフィルタを用いるなどして第1画像データに対してエッジ処理を行ない、エッジ処理後に輝度値が所定値よりも高い領域を第1候補領域として抽出する構成とするなど、他の方法を用いて抽出されるようにしてもよい。
次に、制御部50は、第3撮像装置6から取得した画像データ(以下、第3画像データという)に基づき、ステップS12で抽出した第1候補領域から人物領域候補を抽出する(ステップS13)。ステップS13の処理の詳細は後述にて説明する。
制御部50は、第2撮像装置4から出力される画像信号からステップS11で第2画像取得部54が取得した画像データ(以下、第2画像データという)から、高輝度領域を抽出する(S4)。そして制御部50は、ステップS13で抽出した人物領域候補が複数である場合、各人物領域候補を選択し(S5)、高輝度領域と重複する領域については候補から除外する(S6:YES、S7)。除外されずに候補として残った人物領域候補から、制御部50は人物領域を特定し(S9)、特定した人物領域に基づいて得られる人物の情報を送信し(S10)、処理を終了する。
次に、上述の図8のフローチャートに示した処理手順の内のステップS13における人物領域候補の抽出について詳細を説明する。図9は、実施の形態2における画像処理装置5の制御部50が、第1画像データ及び第3画像データに基づいて人物領域候補を抽出する処理手順の一例を示すフローチャートである。
制御部50は、図8のフローチャートに示した処理手順の内のステップS12で抽出した第1画像データにおける第1候補領域に対応する対応領域を、第3画像データから探索して特定する(ステップS31)。第1画像データから第1候補領域を抽出した場合の処理と同様に、第3画像データについてもメッシュ状にブロック分割しておくとよい。ステップS31において制御部50は、第3画像データにおける第1候補領域に対応する対応領域を以下のように探索する。制御部50は、前記第1候補領域の第1画像データにおける垂直方向の位置に対し、第3画像データにおいて同一の垂直方向の位置にある画素群、又はブロックを例えば左端から任意に選択する。第1画像データと第3画像データとで撮像範囲がずれている場合には、同一物を写したときの垂直方向が対応する座標を予め記憶しておき調整する。制御部50は、第1候補領域と、選択した画素群からなる領域との画素値に基づく相関を求め、相関が所定値よりも高い画素群を対応領域と特定する。制御部50は、相関が所定値よりも高い画素群が存在しない場合、対応領域が存在しないと特定する。
ステップS12で第1候補領域が複数抽出されている場合、ステップS31にて制御部50は、第1候補領域夫々について対応する対応領域を特定する。一の第1候補領域に対応する領域が存在しない場合、当該第1候補領域については以後の処理の対象から除外する。
次に制御部50は、第1画像データにおける第1候補領域の位置と、第3画像データにおける対応領域の位置とを特定する(ステップS32)。このとき、制御部50は、第1候補領域の位置として、第1画像データの中心軸から第1候補領域の中心軸までの水平方向の画素位置D1 を特定する。また、制御部50は、第3画像データにおいて対応する領域の位置として、第3画像データの中心軸から対応する領域の中心軸までの水平方向の画素位置D2 を特定する。なおここで画素位置D1 ,D2 は、画像データの中心軸での位置をゼロとし、画像データの水平方向に右側へ向けて画素数単位で増加し、左側へ向けて減少する値とする。即ち例えば、第1画像データの左側に中心軸が位置する第1候補領域の位置は、負の値を持つ画素位置D1 により特定される。第3画像データの右側に中心軸が位置する対応領域の位置は、正の値を持つ画素位置D2 により特定される。
制御部50は、ステップS32で特定した第1候補領域及び対応領域夫々の画像データにおける位置に基づいて、第1候補領域に写っている対象の視差D(disparity)を求める(ステップS33)。具体的には、制御部50はステップS32にて特定した画素位置D1 と画素位置D2 との差分の絶対値を視差Dとして求める(D=|D1 −D2 |)。
制御部50は、図8のフローチャートに示した処理手順のステップS12で抽出された第1候補領域の内、一の第1候補領域を選択し(ステップS34)、当該第1候補領域と視差Dが略等しい他の第1候補領域を抽出する(ステップS35)。具体的には、制御部50は視差Dが例えば2画素分の誤差以内で等しい場合に等しいと判断する。ステップS35により、視差Dが等しい、即ち第1撮像装置3又は第3撮像装置6からの距離が等しい対象(人物)を写している領域が抽出される。
制御部50は、ステップS35にて視差Dが略等しい他の第1候補領域が有り、抽出されたか否かを判断する(ステップS36)。制御部50は、視差Dが略等しい他の第1候補領域が無く、抽出されないと判断した場合(S36:NO)、ステップS34にて選択した第1候補領域を人物領域候補として抽出し(ステップS37)、ステップS41へ処理を移行する。
制御部50はステップS36にて、視差Dがほぼ等しい他の第1候補領域が有り、抽出されたと判断した場合(S36:YES)、第1候補領域と抽出された他の第1候補領域との間に位置する画素と、該画素の第3画像データにおける対応画素との相関を求める(ステップS38)。詳細には、制御部50は、第1候補領域と抽出された他の第1候補領域との間に位置する画素と、前記第1候補領域及び他の第1候補領域夫々の第3画像データにおける対応領域間に位置する画素との相関を求める。制御部50は、ステップS38にて求めた相関が所定値よりも高いか否かを判断する(ステップS39)。別々の領域として抽出された第1候補領域がいずれも、同一の対象(人物)が写っている領域の一部である場合、間に位置する画素も同一の対象が写っている部分である可能性が高い。同一の対象が写っている部分の画素であれば、撮影角度が異なる2つの画像データ間での相関は所定値よりも高いはずである。このときの所定値は、同一の対象が写っている部分であると予め判っている画素間での相関を求めておき、相関が所定値よりも高い場合に同一の対象が写っていると判断できる値を予め決めておくことが望ましい。
制御部50は、相関が所定値以下であると判断した場合(S39:NO)、処理をステップS37へ進め、選択した第1候補領域及びステップS35で抽出された他の第1候補領域を夫々、人物領域候補として抽出し(S37)、図8のフローチャートに示した処理手順のステップS4へ処理を戻す。制御部50は、ステップS39にて相関が所定値よりも高いと判断した場合(S39:YES)、ステップS34にて選択した第1候補領域と、視差Dが略等しいとして抽出された他の第1候補領域とを対応付けて一の人物領域候補として抽出する(ステップS40)。
制御部50は次に、ステップS12にて抽出された全第1候補領域についてステップS34からステップS40までの処理を行なったか否かを判断する(ステップS41)。制御部50は、全第1候補領域について処理を行なっていないと判断した場合(S41:NO)、処理をステップS34へ戻して他の第1候補領域について処理を行なう。一方、制御部50は、全第1候補領域について処理を行なったと判断した場合(S41:YES)、図8のフローチャートに示した処理手順のステップS4へ処理を戻す。
次に、上述の図8及び図9のフローチャートに示した画像処理装置5の制御部50による処理を、具体例を示して説明する。図10乃至図12は、実施の形態2における画像処理装置5の制御部50が行なう画像処理結果の具体例を示す説明図である。
図10は、画像処理装置5の制御部50が、第1画像データ及び第3画像データに基づいて第1候補領域についての視差Dを求める処理を説明するための図である。図10(a)は、第1撮像装置3の撮像範囲を模式的に示している。図10(b)は、第3撮像装置6の撮像範囲を模式的に示している。図10(a)及び図10(b)に示す撮像範囲にはいずれも、左側に画面の奥へ向かって走行中の車両、右側又は中央に画面の手前側を向いている人物が含まれている。図10(a)及び図10(b)に示すような状況で第1撮像装置3及び第3撮像装置6にて同時的に撮像した場合、第1画像データ及び第3画像データには、いずれも車両及び人物が写り、表面温度が高い部分が高い輝度値を示す。
図10(a)及び図10(b)に示す撮像範囲を比較した場合、第1撮像装置3と第3撮像装置6とでは撮影角度が異なるために同一の車両、同一の人物が写る位置が異なることが解る。このように、複数の撮像装置で略同じ範囲を撮像して同一の対象を異なる角度から撮像することにより、所謂ステレオ視の技術を用いて撮像装置からの距離が等しい対象が写っている部分を特定することができる。また、撮影角度及び写る位置の差異(視差D)に基づいて、対象までの距離を算出することができる。
図10(c)は、図10(a)に示した撮像範囲を撮像する第1撮像装置3から取得される第1画像データから、抽出された第1候補領域の内容例を示している。即ち、図8のフローチャートに示した処理手順の内のステップS12の処理によって抽出される領域の内容例を示している。第1画像データは遠赤外線画像データであるから、図10(c)には、第1候補領域の例として、図10(a)の撮像範囲に含まれる車両及び人物の内、温度が比較的高く輝度値が所定値よりも高い領域のみが二値化により抽出されている。ハッチングで示す部分が夫々、輝度値が所定値よりも高い領域として抽出された第1候補領域である。図10(c)で示す第1候補領域の例では、車両のリアウィンドウ付近及びマフラ部分などの車両の下部の温度が比較的高く、各別に第1候補領域として抽出されている。また、人物の顔部分及び脚の部分が各別に、第1候補領域として抽出されている。以下の説明では、第1候補領域夫々を区別するために、夫々が何を写している範囲であるのかを図10(a)及び図10(b)を参照して示す。
ここで、第1画像データは車両及び人物の2つの対象を撮像範囲に含んでいるにも拘わらず、第1画像データから抽出される第1候補領域は5つの領域に分かれている。夫々を個別に人物領域候補とした場合、各領域の画像データ中における大きさは夫々、車両としての大きさ、人物としての大きさよりも小さく、対象を識別して検出する場合に誤りを招く。しかしながら、実施の形態2では、画像処理装置5の制御部50が図9のフローチャートに示した処理手順を実行することにより、同一の検出対象の一部を夫々写している第1候補領域を一の人物領域領域として抽出することができる。
制御部50は、図10(c)に示した5つの第1候補領域夫々に対応する対応領域を、第3画像データから特定する(図9、S31)。図10(d)は、図10(c)に示した第1候補領域夫々に対応する対応領域として特定された領域の内容例を示している。なお、図10(d)に示す対応領域は、図10(b)に示すように、第3撮像装置6の撮像範囲に含まれる車両のリアウィンドウ付近及びマフラ部分などの車両の下部、そして人物の顔部分及び脚部分である。当然に制御部50は、図10(c)に示した車両のリアウィンドウ付近の第1候補領域に対応する対応領域として、車両のリアウィンドウ付近の領域を特定する。制御部50は、車両の下部の第1候補領域の対応領域として、第3画像データから車両の下部の領域を特定する。同様に、人物の顔部分の第1候補領域に対応する対応領域として第3画像データから顔部分の領域を、右脚部分の第1候補領域に対応する対応領域として右脚部分の領域を、左脚部分の第1候補領域に対応する対応領域として左脚部分の領域を特定する。同一の対象を写している領域は相関が所定値よりも当然に高く、探索により対応領域として特定される。
そして、制御部50は、図10(c)に示した5つの第1候補領域夫々の第1画像データにおける位置、及び対応領域夫々の第3画像データにおける位置を特定する(図9、S32)。図10(c)に示す例では、人物の顔部分の第1候補領域の位置(破線で示されている)は、一点鎖線で示す第1画像データの中心軸から右側にD1 の絶対値の画素数分の距離にあり(画素位置D1 )、対応する対応領域の位置が第3画像データの中心軸から左側にD2 の絶対値の画素数分の距離にある(画素位置D2 )。
制御部50は、特定された位置に基づいて第1候補領域夫々の視差Dを求める(図9、S33)。図10(c)に示す例では、人物の顔部分の第1候補領域について求められる視差Dは、D=|D1 −D2 |である。
図10(c)に示す例では、人物及び車両の後端が、第1撮像装置3又は第3撮像装置6から略等しい距離に存在する場合、5つの第1候補領域夫々について求めた視差Dはいずれも略等しい。制御部50は、顔部分の第1候補領域について視差Dが略等しい他の第1候補領域として、顔部分以外の4つの領域全てが抽出される(図9、S35)。これら全てが同一の対象が写っている領域の各別の一部分であると扱うとすると、誤って人物領域候補が抽出され、後の処理(図8、S6〜S9)にて人物領域として特定されない。これに対し、制御部50は、視差Dが略等しい第1候補領域夫々との間に位置する画素について、第1画像データと第3画像データとの間での相関を求め(図9、S38)、相関が所定値よりも高い場合のみ一の人物領域候補として抽出する(図9、S40)。
図11は、制御部50が、視差Dが等しい第1候補領域の間に位置する画素について、第1画像データと第3画像データとの間での相関を求めて第1候補領域同士を一の人物領域候補として抽出する処理を説明するための図である。図11(a)は、第1画像データにおいて抽出された第1候補領域をハッチングで示し、図11(b)は、第3画像データにて特定された対応領域をハッチングにて示している。なお、図11(a)中における各第1候補領域の位置は、図10(a)の撮像範囲に対応し、図11(b)中における各対応領域の位置は、図10(b)の撮像範囲に対応する。また、図11(a)及び図11(b)中の各符号A〜Hは、第1画像データ及び第3画像データ中の画素を示しており、同一の符号が付されている画素は対応している。
制御部50は、一の第1候補領域として顔部分の第1候補領域を選択した場合(図9、S34)、視差が略等しい他の第1候補領域の内、例えば車両のリアウィンドウ付近の第1候補領域との間に位置する画素Aに注目する。制御部50は、第1画像データにおける画素Aと、第3画像データにおける対応領域間に位置する画素Aとで画素値の相関を求める。画素値として輝度値のみならず色成分毎又は色差成分の値を用いて相関を求める。
図10(a)及び(b)を参照してわかるように、画素Aの位置には背景が写っている。第1画像データと第3画像データとは、異なる撮影角度で撮像された画像データであるから、画素Aの位置に写る対象は、第1画像データと第3画像データとでは異なる。図10(a)及び図10(b)の例では、第1画像データの画素Aの位置には路面が写っているが、第3画像データの画素Aの位置には、車両の側面の一部が写っている。この場合、顔部分の第1候補領域(対応領域)と車両のリアウィンドウ付近の第1候補領域(対応領域)との間に位置する画素Aについて、第1画像データと第3画像データとの間で相関を求めたとき、相関値は同一の対象でないと判断できる程度に低い値となる。
制御部50は、相関が所定値以下であると判断した場合(図9、S39:NO)、夫々を人物領域候補として抽出するので(図9、S37)、車両の領域と人物の領域とが一の人物領域として特定されることはない。
他の例として、制御部50は、顔部分の第1候補領域と視差が略等しい、左脚部分の第1候補領域との間に位置する画素Bに注目する。この場合、顔部分と左脚部分との間には、撮影角度が異なる第1撮像装置3からも第3撮像装置からも同一の胴体部分が写っているはずである。顔部分の第1候補領域(対応領域)と左脚部分の第1候補領域(対応領域)との間に位置する画素Bについて相関を求めたとき、相関値は同一の対象が写っていると判断できる程度に高い値となる。
制御部50は、相関が所定値よりも高いと判断した場合(図9、S39:YES)、一の人物領域候補として抽出するので(図9、S40)、同一人物の顔部分の領域と左脚部分の領域とが別々の人物領域として特定されることはない。なお、右脚部分の第1候補領域についても画素Aの相関に基づいて、顔部分の第1候補領域と対応付けられて一の人物領域候補として抽出される。
上述のように制御部50は、注目する第1候補領域と視差Dが略等しい他の第1候補領域との間の中間に位置する画素について、第1画像データと第3画像データと間での相関を求めた。しかしながら、視差Dが略等しい第1候補領域間に位置する画素の相関を求めるには、中間に位置する画素のみならず、境界を求めるべく第1候補領域夫々の周辺における画素について相関を求めてもよい。この場合、相関値が所定値よりも低い画素が存在する場合は、当該ブロック付近が境界であると判断し、境界よりも外側に位置する第1候補領域については一の人物領域候補としないようにする。
例えば、図11(a)及び図11(b)に示す例では、第1画像データにおける顔部分の第1候補領域の左側周辺に位置する画素Cと、第3画像データにおける対応領域の左側周辺に位置する画素Cとの間での相関を求める。画素Cは人物の背景が写る部分に相当するはずであるから、求めた相関値は所定値以下となる。したがって、顔部分の第1候補領域に対し、画素Cよりも外側、即ち水平方向の位置が画素Cよりも左側に位置する第1候補領域は顔部分の第1候補領域と対応付けられることはない。したがって、車両のリアウィンドウ付近の第1候補領域及び車両の下部の第1候補領域が、顔部分の第1候補領域と共に一の人物領域候補として抽出されることはない。
また、制御部50が左脚部分の第1候補領域を選択し、画素Dについての相関及び画素Eについての相関を求めた場合、画素Dについては相関が所定値よりも高いと判断する。したがって制御部50はここでも、左脚部分の第1候補領域と顔部分の第1候補領域とを一の人物領域候補として抽出する。画素Eについては、制御部50が相関は所定値以下であると判断するので、左脚部分の第1候補領域と、車両のリアウィンドウ付近の第1候補領域及び車両の下部の第1候補領域とが共に一の人物領域候補として抽出されることはない。
同様にして、制御部50は車両のリアウィンドウ付近の第1候補領域を選択して画素Fについて相関を求め、車両の下部の第1候補領域を選択して画素G,Hについて相関を求める。制御部50は、画素Fでの相関が所定値以下であると判断し、画素Gでの相関が所定値よりも高いと判断し、画素Hについては相関が所定値以下であると判断する。
このようにして、制御部50が全ての第1候補領域について処理を行なった場合(図9、S41:YES)、5つの第1候補領域の内、顔部分、左脚部分及び右脚部分の第1候補領域とが対応付けられて一の人物領域候補として抽出される。同様に、車両のリアウィンドウ付近及び下部の第1候補領域が一の人物領域候補として抽出される。
図12は、制御部50の処理により、第1候補領域同士が対応付けられて一の人物領域候補として抽出される例を示す。図12(a)及び図12(b)中のハッチング部分はいずれも第1候補領域を示している。
図12(a)中の破線が、制御部50により抽出される人物領域候補である。図12(b)中の破線は比較のため、視差Dが略等しい5つの第1候補領域全てを一の人物領域候補とした場合の例を示している。撮影角度が異なる複数の撮像装置(第1撮像装置3及び第3撮像装置6)から取得する画像データを用いて制御部50が人物領域候補を抽出する際に、図9のフローチャートに示した処理手順を行なうことにより、人物領域候補の抽出の精度が上がる。これにより、図8のフローチャートに示すように高輝度領域と重複する領域を除外する処理手順(S7)で、人物領域が誤って除外されることが回避されるなど、精度が高まる点で、更に効果を奏する。
このように、実施の形態2において、人物領域候補を単純に遠赤外線画像データにおいて輝度値が所定値よりも高い領域として抽出するのみならず、視差を用いてより精度よく人物領域候補を抽出することができる。輝度値が所定値よりも高いか否かにおいて所定値をより厳しく設定することによって、本来人物である領域が複数の領域に分かれて第1候補領域として抽出される場合であっても、同一の領域として扱われるので精度が高まる。人物以外の領域についても同様に同一車両のリアウィンドウの領域、下部の領域夫々が各別に抽出されることも少なくなる。したがって、高輝度領域と重複するか否かの判断の精度がより向上し、発光部を有した物体全体を写した領域を精度よく抽出できる。車両全体として発光部を有した物体と判断することができ、人物領域を誤って特定する可能性を更に低減させることができる。したがって、夜間でも発光部を有さないために運転者からの視認が困難な人物、即ち歩行者又は無灯火の自転車等を、より精度よく検出することが可能となる。
実施の形態2では、第3撮像装置6を画像処理装置5、第1撮像装置3及び第2撮像装置4が収められる筐体とは別の筐体に収められる構成とした。第1撮像装置3と第3撮像装置6とで交差点を撮像する角度に十分な差異を持たせるためである。しかしながら、これに限らず、画像処理装置5、第1撮像装置3、第2撮像装置4、及び第3撮像装置6がいずれも同一の筐体に収められる構成としてもよい。
実施の形態1及び2では、遠赤外線波長帯にて撮像された画像データから抽出された人物領域候補が、可視光波長帯にて撮像された画像データから抽出された高輝度領域と重複する場合に、前記人物領域候補全体を候補から除外する構成とした。ここで、遠赤外線波長帯にて撮像された画像データにおいて、例えば50℃等の所定温度以上に相当する高温領域を抽出し、人物領域候補が前記高温領域と重複する場合に、前記人物領域候補を全体として候補から除外する構成も本発明から想到される。
上述の実施の形態1及び2では、第1及び第2画像取得部13,14、又は第1乃至3画像取得部53,54,56による画像の取得、並びに画像処理を制御部10,50が行なう構成とした。しかしながら本発明はこれに限らず、画像の取得処理及び画像処理を画像処理部分を分離した集積回路によって実現するように構成してもよい。特に、上述の実施の形態1及び2では図4、並びに図8及び図9のフローチャートに示した処理手順を制御部10,50が各構成部を制御して行なう構成とした。しかしながら、本発明に係る画像処理装置1は、フローチャートに示した各処理手順を行なうように設計された集積回路を更に集積した特定用途向けの回路(ASIC:Application Specific Integrated Circuit)を有する構成としてもよい。例えば、図4のフローチャートに示したステップS2に対応する差分データを算出する回路、S4に対応する高輝度領域抽出の処理を実現する回路、図9のステップS34からステップS39までの処理に対応する周辺画素についての相関算出回路等を組み合わせたASICを設計して用いることにより、各処理を高速に実行することができる。
更に、実施の形態1及び2は、安全運転支援システムに適用した場合を示した。しかしながら、本発明に係る画像処理装置による人物の検出は安全運転支援システムに限らず、他の分野にも適用可能である。例えば、防犯・監視システム等、撮像画像に基づき人物を精度よく検出することが可能である。
なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1,5 画像処理装置
10,50 制御部
11,51 記憶部
3 第1撮像装置
4 第2撮像装置
6 第3撮像装置
10,50 制御部
11,51 記憶部
3 第1撮像装置
4 第2撮像装置
6 第3撮像装置
Claims (4)
- 撮像画像に基づいて撮像範囲内にある対象を検出するための画像処理を行なう画像処理装置において、
遠赤外線波長帯にて撮像する第1撮像手段と、
第1撮像手段の撮像範囲を可視光波長帯又は近赤外線波長帯にて撮像する第2撮像手段と、
第1撮像手段が撮像した第1撮像画像から、検出対象が写っている検出対象領域の候補を抽出する抽出手段と、
第1撮像画像と同時的に第2撮像手段により撮像された第2撮像画像から、輝度値が所定値以上である高輝度領域を抽出する手段と、
前記抽出手段が抽出した候補と前記高輝度領域とが重複するか否かを判断する判断手段と、
該判断手段が重複しないと判断した候補の領域に基づき、検出対象を検出する手段と
を備えることを特徴とする画像処理装置。 - 第1撮像手段は、複数の画素毎の輝度値からなるデジタル画像を出力するようにしてあり、
前記抽出手段は、
第1撮像画像と所定の基準画像との間での各画素での輝度値の差分を求める手段を備え、
該手段が求めた差分が所定値以上である画素が画像中で連続する領域を検出対象領域の候補として抽出するようにしてあること
を特徴とする請求項1に記載の画像処理装置。 - 第1撮像手段の撮像範囲を第1撮像手段とは異なる角度から遠赤外線波長帯にて撮像する第3撮像手段を更に備え、
第1及び第3撮像手段は、複数の画素毎の輝度値からなるデジタル画像を出力するようにしてあり、
前記抽出手段は、
第1撮像手段が撮像した第1撮像画像と同時的に第3撮像手段により撮像された第3撮像画像を取得する手段と、
前記第1及び第3撮像画像から夫々、輝度値が所定値以上である画素が画像中で連続する領域を抽出する手段と、
該手段が前記第1撮像画像から抽出した第1候補領域に対応する対応領域を、前記第3撮像画像から抽出された領域から特定する特定手段と、
第1撮像画像から抽出した第1候補領域が複数ある場合、第1候補領域の第1撮像画像における位置と、第1候補領域夫々に対し前記特定手段が特定した対応領域の第3撮像画像中における位置との間の差異を求める手段と、
該手段が求めた差異が略等しい第1候補領域を抽出する手段と、
該手段が抽出した第1候補領域間に位置する画素と、夫々の第1候補領域の対応領域間に位置する画素との間の相関を求める手段と、
前記相関が所定値よりも高い第1候補領域同士を対応付ける手段と
を備え、
対応付けられた第1候補領域を一の検出対象領域の候補として抽出するようにしてあること
を特徴とする請求項2に記載の画像処理装置。 - 遠赤外線波長帯にて撮像する第1撮像手段、及び第1撮像手段の撮像範囲を可視光波長帯又は近赤外線波長帯にて撮像する第2撮像手段により撮像される撮像画像に基づき、撮像範囲内にある対象を検出するための画像処理方法であって、
第1撮像手段が撮像した第1撮像画像から、検出対象が写っている検出対象領域の候補を抽出する抽出ステップ、
前記第1撮像画像と同時的に第2撮像手段により撮像された第2撮像画像から、輝度値が所定値以上である高輝度領域を抽出するステップ、
前記抽出ステップにて抽出した候補と前記高輝度領域とが重複するか否かを判断する判断ステップ、及び、
該判断ステップが重複しないと判断した候補の領域に基づき、検出対象を検出するステップ
を含むことを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008180632A JP2010020557A (ja) | 2008-07-10 | 2008-07-10 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008180632A JP2010020557A (ja) | 2008-07-10 | 2008-07-10 | 画像処理装置及び画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010020557A true JP2010020557A (ja) | 2010-01-28 |
Family
ID=41705382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008180632A Pending JP2010020557A (ja) | 2008-07-10 | 2008-07-10 | 画像処理装置及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010020557A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BE1019940A4 (nl) * | 2012-05-21 | 2013-02-05 | Traficon Internat Nv | Verkeersdetectie-inrichting. |
KR101601475B1 (ko) | 2014-08-25 | 2016-03-21 | 현대자동차주식회사 | 야간 주행 시 차량의 보행자 검출장치 및 방법 |
JP2016060032A (ja) * | 2014-09-22 | 2016-04-25 | 中村留精密工業株式会社 | 工具の形状取得方法及び装置 |
WO2021002083A1 (en) * | 2019-07-03 | 2021-01-07 | Hitachi Automotive Systems, Ltd. | Object recognition by far infrared camera |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001108758A (ja) * | 1999-10-06 | 2001-04-20 | Matsushita Electric Ind Co Ltd | 人物検出装置 |
JP2004106682A (ja) * | 2002-09-18 | 2004-04-08 | Honda Motor Co Ltd | 障害物検出装置 |
JP2008080939A (ja) * | 2006-09-27 | 2008-04-10 | Clarion Co Ltd | 接近物体警報装置 |
-
2008
- 2008-07-10 JP JP2008180632A patent/JP2010020557A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001108758A (ja) * | 1999-10-06 | 2001-04-20 | Matsushita Electric Ind Co Ltd | 人物検出装置 |
JP2004106682A (ja) * | 2002-09-18 | 2004-04-08 | Honda Motor Co Ltd | 障害物検出装置 |
JP2008080939A (ja) * | 2006-09-27 | 2008-04-10 | Clarion Co Ltd | 接近物体警報装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BE1019940A4 (nl) * | 2012-05-21 | 2013-02-05 | Traficon Internat Nv | Verkeersdetectie-inrichting. |
KR101601475B1 (ko) | 2014-08-25 | 2016-03-21 | 현대자동차주식회사 | 야간 주행 시 차량의 보행자 검출장치 및 방법 |
US10150415B2 (en) | 2014-08-25 | 2018-12-11 | Hyundai Motor Company | Method and apparatus for detecting a pedestrian by a vehicle during night driving |
US10391937B2 (en) | 2014-08-25 | 2019-08-27 | Hyundai Motor Company | Method and apparatus for detecting a pedestrian by a vehicle during night driving |
JP2016060032A (ja) * | 2014-09-22 | 2016-04-25 | 中村留精密工業株式会社 | 工具の形状取得方法及び装置 |
WO2021002083A1 (en) * | 2019-07-03 | 2021-01-07 | Hitachi Automotive Systems, Ltd. | Object recognition by far infrared camera |
US12002278B2 (en) | 2019-07-03 | 2024-06-04 | Hitachi Astemo, Ltd | Object recognition by far infrared camera |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4496964B2 (ja) | 車両用トンネル検出装置および車両用ライト制御装置 | |
JP4743037B2 (ja) | 車両検出装置 | |
JP6358552B2 (ja) | 画像認識装置および画像認識方法 | |
JP2009301494A (ja) | 画像処理装置及び画像処理方法 | |
EP2698982B1 (en) | Image processing device | |
JP4853437B2 (ja) | 車両周辺監視システム | |
US9286512B2 (en) | Method for detecting pedestrians based on far infrared ray camera at night | |
CN106461387B (zh) | 立体相机设备和设置有立体相机的车辆 | |
KR101742490B1 (ko) | 끼어들기 위반차량 단속 시스템 및 그 방법 | |
JP5365792B2 (ja) | 車両用位置測定装置 | |
JPWO2011018999A1 (ja) | 障害物検知装置及び方法並びに障害物検知システム | |
JP2004104646A (ja) | 車載用画像処理装置 | |
US20220232182A1 (en) | Image recognition device, solid-state imaging device, and image recognition method | |
JP5077088B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6468568B2 (ja) | 物体認識装置、モデル情報生成装置、物体認識方法、および物体認識プログラム | |
JP5083164B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2010020557A (ja) | 画像処理装置及び画像処理方法 | |
CN114072699A (zh) | 信息处理系统、传感器系统、信息处理方法以及程序 | |
JP3988657B2 (ja) | 対象物検出装置 | |
JP2003009140A (ja) | 歩行者検出装置 | |
JP2008028478A (ja) | 障害物検出システム、及び障害物検出方法 | |
JP2012142832A (ja) | 撮像装置 | |
JP2006317193A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
KR20170093490A (ko) | 차량용 모니터링 시스템 | |
CN109076168B (zh) | 控制装置、控制方法和计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110526 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120207 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120821 |