JP2009042941A - 対象物種別判定装置、車両、対象物種別判定方法、並びに対象物種別判定用プログラム - Google Patents

対象物種別判定装置、車両、対象物種別判定方法、並びに対象物種別判定用プログラム Download PDF

Info

Publication number
JP2009042941A
JP2009042941A JP2007205938A JP2007205938A JP2009042941A JP 2009042941 A JP2009042941 A JP 2009042941A JP 2007205938 A JP2007205938 A JP 2007205938A JP 2007205938 A JP2007205938 A JP 2007205938A JP 2009042941 A JP2009042941 A JP 2009042941A
Authority
JP
Japan
Prior art keywords
image
periodicity
area
extracted
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007205938A
Other languages
English (en)
Other versions
JP4470067B2 (ja
Inventor
Shinji Nagaoka
伸治 長岡
Makoto Aimura
誠 相村
Takayuki Tsuji
孝之 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2007205938A priority Critical patent/JP4470067B2/ja
Priority to US12/218,517 priority patent/US8306263B2/en
Priority to EP08013559A priority patent/EP2023267B1/en
Priority to DE602008000888T priority patent/DE602008000888D1/de
Publication of JP2009042941A publication Critical patent/JP2009042941A/ja
Application granted granted Critical
Publication of JP4470067B2 publication Critical patent/JP4470067B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】画像から対象物の動きの周期性を適切に判断し、対象物の種別を精度良く判定することができる対象物種別判定装置、対象物種別判定方法、車両、及び対象物種別判定用プログラムを提供する。
【解決手段】対象物種別判定装置は、撮像手段２Ｒ，２Ｌにより撮像された画像から対象物の領域を抽出する対象物領域抽出手段１１と、抽出された対象物の領域から該対象物の端点を抽出する対象物端点抽出手段１２と、撮像手段２Ｒ，２Ｌにより撮像された時系列画像の各画像について、対象物領域抽出手段１１により抽出された対象物の領域から、対象物端点抽出手段１２により抽出された該対象物の端点を用いて、該対象物のサイズを表す特徴量の時系列データを算出し、該特徴量が所定の周期性を有する変化をしているか否かを判断する対象物周期性判断手段１３と、特徴量が周期性を有する変化をしていると判断された対象物を生体と判定する生体判定手段１４とを備える。
【選択図】図１

Description

本発明は、カメラ等の撮像手段を介して取得した画像から、歩行者等の対象物を検出する装置、方法、該装置を搭載した車両、及び該装置の処理をコンピュータに実行させるためのプログラムに関する。
近年、車両にＣＣＤカメラ等の撮像手段を搭載して周辺を撮像し、撮像された画像から車両の周辺に存在する歩行者等の対象物を検出し、車両との接触を回避すべき対象を判定して、運転者への情報の提示等を行う技術が知られている（例えば、特許文献１を参照）。
特許文献１の車両の周辺監視装置においては、２つの赤外線カメラにより得られた車両周辺の画像を２値化処理して対象物を抽出し、該対象物と車両との相対位置や相対速度を検出して、該対象物と車両との接触の可能性及び対象物の種別を判定する。このとき、特許文献１の車両の周辺監視装置では、車両前方の接近判定領域（対象物の車両に対する相対速度や車幅等に応じて定まる領域）に対象物が存在する場合に、該対象物の種別（歩行者、他車両、人工構造物等）を判定する。対象物の種別を判定する際には、所定の時刻に撮像された画像における、対象物の形状パターンの特徴が用いられる。そして、対象物が歩行者であると判定された場合に、該対象物は車両との接触を回避すべき対象であると判定される。
このとき、歩行者や動物等の動きのある対象物の形状パターンは、時刻毎に多様に変動するため、全ての形状パターンを予め想定しておくことは困難である。よって、形状パターンを用いて対象物の種別を判定する場合に、想定外の形状パターンの歩行者は検出が難しい。一方、歩行者や動物等の動きには、一般に、それぞれ所定のリズムがある。そこで、対象物の動きのパターンを時系列画像を処理して検出し、対象物の種別を判定する装置が提案されている（例えば、特許文献２を参照）。
特許文献２の人間動物監視システムでは、赤外線カメラにより撮像された赤外線画像を２値化して対象物に相当する画像領域（対象物画像）を抽出する。そして、対象物画像中の左右の脚部に該当する箇所それぞれの、面積の変化の周期性を見て、対象物が人間か動物か判定する。
特開２００１−６０９６号公報 特開平７−５０８２５号公報
しかしながら、例えば赤外線画像から２値化して対象物画像を抽出する際、周囲の環境の影響で、面積が安定して取得できない場合が多い。すなわち、所定の閾値で２値化する際に、外気温によっては脚部の一部分が輝度の高い領域として抽出されたりされなかったりする場合がある。このような場合に、特許文献２のように、単に脚部の面積の変化量を用いて対象物の種別を判定すると、誤判定される可能性がある。
本発明は、かかる背景に鑑みてなされたものであり、画像から対象物の動きの周期性を適切に判断し、対象物の種別を精度良く判定することができる対象物種別判定装置、車両、対象物種別判定方法、並びに該対象物種別判定装置の処理をコンピュータに実行させる対象物種別判定用プログラムを提供することを目的とする。
かかる目的を達成するために、本発明の対象物種別判定装置は、撮像手段により撮像された画像中の対象物の種別を判定する対象物種別判定装置において、前記撮像手段により撮像された画像から対象物の領域を抽出する対象物領域抽出手段と、前記対象物領域抽出手段により抽出された対象物の領域から、該対象物の端点を抽出する対象物端点抽出手段と、前記撮像手段により撮像された時系列画像の各画像について、前記対象物領域抽出手段により抽出された対象物の領域から、前記対象物端点抽出手段により抽出された該対象物の端点を用いて、該対象物のサイズを表す特徴量の時系列データを算出し、該特徴量が所定の周期性を有する変化をしているか否かを判断する対象物周期性判断手段と、前記対象物周期性判断手段により前記特徴量が周期性を有する変化をしていると判断された対象物を生体と判定する生体判定手段とを備えることを特徴とする（第１発明）。
この第１発明の対象物種別判定装置では、撮像手段により撮像された画像から、対象物領域抽出手段により該画像内の対象物の領域が逐次抽出される。ここで、対象物は、歩行者、自転車運転者、動物等の生体である可能性を有するものである。
そして、対象物領域抽出手段により抽出された対象物の領域から、対象物端点抽出手段により該対象物の端点が逐次抽出される。対象物の端点は、対象物の画像中での位置や大きさを顕著に示すものであり、例えば、エッジ抽出処理等により抽出される。このように、対象物の領域をさらに処理して、対象物の端点を抽出することにより、対象物のサイズを表す特徴量を安定に抽出することが可能となる。
さらに、対象物周期性判断手段は、撮像手段により撮像された時系列画像の各画像について、対象物領域抽出手段により抽出された対象物の領域から、対象物端点抽出手段により抽出された該対象物の端点を用いて、該対象物のサイズを表す特徴量の時系列データを算出する。なお、対象物のサイズを表す特徴量（対象物の空間量を表す特徴量）は、例えば、対象物が歩行者や動物等である場合に、該歩行者や動物の全体の幅や高さ、脚部の幅、腕や足の高さ等の位置、腕や足の高さ等の位置の左右の差等の特徴量に相当する。
このとき、対象物の画像中での位置や大きさを示す端点が抽出されているので、この端点を用いて算出される特徴量の時系列データから、対象物の動きのパターンが把握される。そして、対象物が歩行者等の生体である場合に、対象物の動きのパターンは、一般に、所定の周期性を有する。そこで、対象物周期性判断手段により、特徴量が所定の周期性を有する変化をしているか否かを判断することで、対象物の動きのパターンの周期性が把握される。よって、対象物周期性判断手段により特徴量が周期性を有する変化をしていると判断された対象物を、生体判定手段により生体（例えば、歩行者、自転車運転者、動物等の動きのある生体）と判定することで、対象物が生体であるか否かが精度良く判定される。
従って、本発明によれば、画像から対象物の動きの周期性を適切に判断し、対象物の種別を精度良く判定することができる。
また、第１発明の対象物種別判定装置において、前記対象物周期性判断手段は、前記対象物のサイズを表す特徴量として、前記対象物の領域のうちの下部分領域における該対象物の幅を用いることが好ましい（第２発明）。
すなわち、例えば対象物が歩行者等である場合、その歩行動作において、一般に、脚部が周期的に動く。そして、例えば歩行者等を横方向から撮像した場合、その脚部の幅が周期的に変化するものとなる。よって、特徴量として対象物の領域のうちの下部分領域（対象物が歩行者等であるとした場合に、その脚部が撮像され得る領域）における該対象物の幅を用いて、この特徴量が所定の周期性を有するか否かを判断し、周期性を有する変化をしていると判断された対象物を生体と判定することで、対象物が生体であることを精度良く判定することができる。
また、第１〜第２発明の対象物種別判定装置において、前記対象物周期性判断手段は、前記対象物のサイズを表す特徴量として、前記対象物の高さを用いることが好ましい（第３発明）。
すなわち、例えば対象物が歩行者等である場合、その歩行動作において、一般に、頭部の位置が上下に周期的に変化するものとなる。よって、特徴量として対象物の高さを用いて、この特徴量が所定の周期性を有するか否かを判断し、周期性を有する変化をしていると判断された対象物を生体と判定することで、対象物が生体であることを精度良く判定することができる。
また、第１〜第３発明の対象物種別判定装置において、前記対象物領域抽出手段により抽出された対象物の領域から、該対象物の特定部位を抽出する第１の特定部位抽出手段を備え、対象物端点抽出手段は、前記第１の特定部位抽出手段により抽出された対象物の特定部位の端点を抽出し、前記対象物周期性判断手段は、前記対象物のサイズを表す特徴量として、該対象物の特定部位の高さを用いることが好ましい（第４発明）。
すなわち、例えば対象物が歩行者等である場合、その歩行動作において、一般に、腕や足の位置が上下に周期的に変化するものとなる。よって、第１の特定部位抽出手段により、対象物領域抽出手段により抽出された対象物の領域から、例えば対象物が歩行者と仮定した場合における腕や足に相当する部位を、該対象物の特定部位として抽出する。そして、対象物周期性判断手段は、この特定部位の端点から算出される対象物の高さを特徴量として用いて、この特徴量が所定の周期性を有するか否かを判断し、周期性を有する変化をしていると判断された対象物を生体と判定することで、対象物が生体であることを精度良く判定することができる。
また、第１〜第４発明の対象物種別判定装置において、前記対象物領域抽出手段により抽出された対象物の領域から、該対象物の一組の特定部位を抽出する第２の特定部位抽出手段を備え、対象物端点抽出手段は、前記第２の特定部位抽出手段により抽出された対象物の特定部位の端点を抽出し、前記対象物周期性判断手段は、前記対象物のサイズを表す特徴量として、該対象物の一組の特定部位の高さの差を用いることが好ましい（第５発明）。
すなわち、例えば対象物が歩行者等である場合、その歩行動作において、一般に、両腕や両足の高さ方向の位置が、交互に周期的に変化するものとなる。よって、第２の特定部位抽出手段により、対象物領域抽出手段により抽出された対象物の領域から、例えば対象物が歩行者と仮定した場合における両腕や両足に相当する部位を、該対象物の一組の特定部位として抽出する。そして、対象物周期性判断手段は、この一組の特定部位の端点から算出される対象物の一組の特定部位の高さの差を特徴量として用いて、この特徴量が所定の周期性を有するか否かを判断し、周期性を有する変化をしていると判断された対象物を生体と判定することで、対象物が生体であることを精度良く判定することができる。
また、第１発明の対象物種別判定装置において、前記対象物周期性判断手段は、前記対象物のサイズを表す特徴量の時系列データに基づいて、該特徴量が所定の周期性を有する変化をしているか否かを判断するための、少なくとも１つ以上の判定条件を有し、該少なくとも１つ以上の判定条件のうち所定数以上の判定条件による判定結果が、該特徴量が所定の周期性を有する変化をしているとの判定結果である場合に、該特徴量が所定の周期性を有すると判断することが好ましい（第６発明）。
すなわち、例えば、対象物が歩行者であるか自転車運転者であるか、或いは、対象物が道路を横断する歩行者であるか路側を歩行する歩行者であるか等の、対象物の状況に応じて、動きのパターンが有する周期性や、周期性が生じる特徴量が相違する。また、対象物の状況によっては、複数の特徴量にそれぞれ異なる周期性が生じることのある。このとき、対象物周期性判断手段が、少なくとも１つ以上の判定条件を有し、各判定条件を用いてそれぞれ判定を実行することで、対象物の多様な状況に対応して判定が実行される。そして、対象物周期性判断手段が、少なくとも１つ以上の判定条件のうち所定数（例えば１つ）以上の判定条件による判定結果が、周期性を有する変化をしていることを示す場合に、周期性を有すると判断することで、対象物の状況によらずに周期性を有するか否かを判断することができ、対象物が生体であることをより確実に判定することができる。
また、第６発明の対象物種別判定装置において、前記対象物周期性判断手段は、前記判定条件として、前記対象物領域のうちの下部分領域における前記対象物の幅を前記特徴量とした判定条件、該対象物の高さを前記特徴量とした判定条件、該対象物の特定部位の高さを前記特徴量とした判定条件、及び該対象物の一組の特定部位の高さの差を前記特徴量とした判定条件のうち少なくとも１つの判定条件を用いることが好ましい（第７発明）。
すなわち、例えば対象物が歩行者等である場合に、歩行者等を横方向から撮像すると、その脚部の幅が周期的に変化するものとなる。よって、対象物の領域のうちの下部分領域における該対象物の幅を特徴量とした判定条件を用いることで、このような状況における対象物の動きのパターンの周期性が把握される。また、例えば対象物が歩行者等である場合、頭部の位置が上下に周期的に変化するものとなる。よって、対象物の高さを特徴量とした判定条件を用いることで、このような状況における対象物の動きのパターンの周期性が把握される。また、例えば対象物が歩行者等である場合、腕や足の位置が上下に周期的に変化するものとなる。よって、対象物の特定部位（腕や足）の高さを特徴量とした判定条件を用いることで、このような状況における対象物の動きのパターンの周期性が把握される。また、例えば対象物が歩行者等である場合、両腕や両足の高さ方向の位置が、交互に周期的に変化するものとなる。よって、対象物の一組の特定部位（両腕や両足）の高さの差を特徴量とした判定条件を用いることで、このような状況における対象物の動きのパターンの周期性が把握される。したがって、これらの判定条件を用いることで、対象物の多様な状況に対応して判定を行うことができる。
また、第１〜第７発明の対象物種別判定装置において、前記対象物端点抽出手段は、前記対象物領域抽出手段により抽出された対象物の領域に対してエッジ抽出処理を行うことにより、該対象物の端点を抽出することが好ましい（第８発明）。
この場合、エッジ抽出処理により、対象物の端点が安定かつ容易に得られるので、この端点から、対象物のサイズを表す特徴量が精度良く得られる。よって、対象物周期性判断手段により周期性が適切に判断されるので、対象物が生体であるか否かを精度良く判定することができる。
または、第１〜第７発明の対象物種別判定装置において、前記対象物領域抽出手段は、互いに異なる時刻に撮像された２つの画像内にそれぞれ複数のマスク領域を設定し、該２つの画像間で対応する位置に設定された各マスク領域について相関演算を行うことにより対象物の領域を抽出し、前記対象物端点抽出手段は、前記対象物領域抽出手段により抽出された対象物の領域に含まれる前記複数のマスク領域の位置情報を用いて、該対象物の端点を抽出することが好ましい（第９発明）。
この場合、対象物領域抽出手段により、異なる時刻に撮像された２つの画像について、領域内での対応する位置に設定された各マスク領域における局所的な相関度が反映されて、対象物の領域が精度良く抽出される。そして、対象物端点抽出手段により、この対象物の領域に含まれる各マスク領域の位置情報を用いて、対象物の端点を抽出するので、抽出された端点から、対象物のサイズを表す特徴量が精度良く得られる。
また、第１〜第９発明の対象物種別判定装置において、前記対象物周期性判断手段は、互いに異なる時刻に撮像された２つの画像について、一方の画像から抽出された第１の対象物の領域のうちの上部分領域をテンプレートとして、他方の画像中の該第１の対象物に対応する第２の対象物をテンプレートマッチングにより抽出することにより、複数時刻間の対象物を対応付けて、該対象物のサイズを表す特徴量の時系列データを算出することが好ましい（第１０発明）。
すなわち、例えば対象物が歩行者等である場合、その歩行動作において、一般に、上半身にかかる形状パターンは時間によらず比較的安定なものとなる。よって、対象物周期性判断手段により、互いに異なる時刻に撮像された２つの画像について、一方の画像から抽出された第１の対象物の領域のうちの上部分領域をテンプレートとして、他方の画像中の該第１の対象物に対応する第２の対象物をテンプレートマッチングにより抽出する。これにより、複数時刻間における同一の対象物が適切に対応付けられる。よって、複数時刻間の同一の対象物の領域を抽出して周期性の判断を行うことにより、該対象物の動きが適切に把握される。
また、第１〜第１０発明の対象物種別判定装置において、前記対象物周期性判断手段は、前記特徴量の実空間における最大変化量が、所定範囲内であるか否かを判断し、前記生体判定手段は、前記対象物周期性判断手段により、前記特徴量が周期性を有する変化をしていると判断され、且つ前記特徴量の実空間における最大変化量が所定範囲内であると判断された対象物を生体と判定することが好ましい（第１１発明）。
この場合、所定範囲は、例えば対象物が歩行者、自転車運転者、動物等の生体である場合に、そのサイズを表す特徴量が取り得る範囲として予め定められる値である。また、対象物周期性判断手段は、画像から抽出される対象物のサイズを表す特徴量（画像空間における特徴量）に基づいて、例えば、該対象物の撮像手段に対する距離、撮像手段の焦点距離、撮像手段の画素ピッチを用いて実空間に変換することにより、実空間における特徴量を得ることができる。そして、対象物周期性判断手段により、特徴量の実空間における最大変化量が所定範囲内であるか否かを判断して生体を判定することで、より適切に生体を判定することができる。
また、第１〜第１１発明の対象物種別判定装置において、前記撮像手段は、赤外線カメラであることが好ましい（第１２発明）。
この場合、赤外線カメラにより撮像される赤外線画像上では、温度の高い対象物に対応する領域が輝度の高い領域となるので、画像から対象物の領域として、熱源である歩行者等の生体に対応する領域を容易に抽出することができる。
次に、本発明の車両は、第１〜第１２発明のうちいずれかの対象物種別判定装置が搭載されたことを特徴とする（第１３発明）。
この第１３発明の車両によれば、本発明の対象物種別判定装置と同等の効果を奏する車両を実現できる。
次に、本発明の対象物種別判定方法は、撮像手段により撮像された画像中の対象物の種別を判定する対象物種別判定方法であって、前記撮像手段により撮像された画像から対象物の領域を抽出する対象物領域抽出ステップと、前記対象物抽出ステップにより抽出された対象物の領域から、該対象物の端点を抽出する対象物端点抽出手段と、前記撮像手段により撮像された時系列画像の各画像について、前記対象物抽出ステップにより抽出された対象物の領域から、前記対象物端点抽出ステップにより抽出された該対象物の端点を用いて、該特徴量の時系列データを算出し、該特徴量が所定の周期性を有する変化をしているか否かを判断する対象物周期性判断ステップと、前記対象物周期性判断ステップにより前記特徴量が周期性を有する変化をしていると判断された対象物を生体と判定する生体判定ステップとを備えるを備えたことを特徴とする（第１４発明）。
この第１４発明の対象物種別判定方法によれば、第１発明の対象物種別判定装置に関して説明したように、対象物領域抽出ステップにより抽出された対象物の領域をさらに処理して、対象物端点抽出ステップにより対象物の端点を抽出することで、対象物の端点を安定して抽出することが可能となる。そして、対象物周期性判断ステップにより、撮像手段により撮像された時系列画像の各画像について、抽出された対象物の端点を用いて、該対象物のサイズを表す特徴量の時系列データを算出することで、特徴量の時系列データから、対象物の動きのパターンが把握される。よって、対象物周期性判断ステップにより特徴量が所定の周期性を有する変化をしていると判断された対象物を、生体判定ステップにより生体と判定することで、対象物が生体であるか否かが精度良く判定される。従って、本発明によれば、画像から対象物の動きの周期性を適切に判断し、対象物の種別を精度良く判定することができる。
次に、本発明の対象物種別判定用プログラムは、撮像手段により撮像された画像中の対象物の種別を判定する処理をコンピュータに実行させる対象物種別判定用プログラムであって、前記撮像手段により撮像された画像から対象物の領域を抽出する対象物領域抽出処理と、前記対象物抽出処理により抽出された対象物の領域から、該対象物の端点を抽出する対象物端点抽出処理と、前記撮像手段により撮像された時系列画像の各画像について、前記対象物抽出処理により抽出された対象物の領域から、前記対象物端点抽出処理により抽出された該対象物の端点を用いて、該対象物の大きさを表す得量の時系列データを算出し、該特徴量が所定の周期性を有する変化をしているか否かを判断する対象物周期性判断処理と、前記対象物周期性判断処理により前記特徴量が周期性を有する変化をしていると判断された対象物を生体と判定する生体判定処理とを前記コンピュータに実行させる機能を有することを特徴とする（第１５発明）。
この第１５発明の対象物検出用プログラムによれば、第１発明の対象物種別装置に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。
［第１実施形態］
本発明の一実施形態を添付の図面を参照して説明する。まず、第１実施形態について、図１〜図１１を参照して説明する。図１は、本実施形態による対象物種別判定装置の機能ブロック図であり、図２は、図１に示した対象物種別判定装置の車両への取り付け態様の説明図である。また、図３は、図１の対象物種別判定装置における対象物検出・注意喚起動作を示すフローチャートであり、図４は、図３の対象物検出・注意喚起動作における注意喚起判定処理のフローチャートであり、図５は、図４の注意喚起判定処理における車両前方の領域区分を示す説明図である。また、図６は、図４の注意喚起判定処理における生体判定処理のフローチャートであり、図７〜図１１は、図６の生体判定処理の説明図である。
図１，図２を参照して、本実施形態の対象物種別判定装置は、ＣＰＵ（中央演算装置）を備えた電子ユニットである画像処理ユニット１を有する。画像処理ユニット１には、２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを逐次検出するヨーレートセンサ３と、自車両１０の走行速度（車速）を逐次検出する車速センサ４と、自車両１０のブレーキの操作を逐次検出するためのブレーキセンサ５とが接続されている。
また、画像処理ユニット１には、自車両１０に搭載された、音声等による聴覚的な注意喚起情報を出力するためのスピーカ６と、赤外線カメラ２Ｒ，２Ｌにより撮像された画像や視覚的な注意喚起情報を表示するための表示装置７とが接続されている。表示装置７は、例えば、自車両１０のフロントウィンドウに画像等の情報を表示するＨＵＤ（ヘッドアップディスプレイ）７ａ等を備えている。ＨＵＤ７ａは、自車両１０のフロントウィンドウの運転者の前方視界を妨げない位置に画面が表示されるように設けられている。
赤外線カメラ２Ｒ，２Ｌは、遠赤外線を検出可能なカメラであり、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。なお、赤外線カメラ２Ｒ，２Ｌは、本発明の撮像手段に相当する。
図２に示すように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部に所定の間隔で取り付けられている。そして、赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行であって、且つ、それぞれの光軸の路面からの高さが等しくなるように自車両１０の前部に固定されている。
画像処理ユニット１は、詳細の図示は省略するが、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路と、デジタル化した画像信号を記憶する画像メモリと、画像メモリに記憶されたデータにアクセス（読み出し及び書き込み）するためのインタフェース回路を有して、該画像メモリに記憶された画像に対して各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等とを備えている。赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号（アナログ信号）は、デジタル信号に変換されて当該コンピュータに入力されるように構成されている。
そして、画像処理ユニット１は、所定の演算処理周期毎に、入力されたデータを基に、歩行者等の対象物を検出する処理や、その検出した対象物に関する所定要件が満たされるか否かを判定し、該要件が満たされる場合にスピーカ６や表示装置７を介して運転者に注意喚起（対象物に対する運転者の注意の喚起）を行う処理等を実行する。
これらの処理は、画像処理ユニット１のメモリに予め実装されたプログラムを画像処理ユニット１により実行することにより実現される。このプログラムは、本発明の対象物種別判定用プログラムを含んでいる。なお、当該プログラムはＣＤ−ＲＯＭ等の記録媒体を介してメモリに格納されてもよい。また、当該プログラムは外部のサーバからネットワークや人工衛星を介して配信または放送され、車両１０に搭載された通信機器により受信された上でメモリに格納されてもよい。
より詳しくは、画像処理ユニット１は、上記プログラムにより実現される機能として、画像から対象物の領域を抽出する対象物領域抽出手段１１と、対象物の領域から該対象物の端点を抽出する対象物端点抽出手段１２と、対象物のサイズを表す特徴量が所定の周期性を有する変化をしているか否かを判断する対象物周期性判断手段１３と、特徴量が周期性を有する変化をしていると判断された対象物を生体と判定する生体判定手段１４とを備える。
対象物領域抽出手段１１は、赤外線カメラ２Ｒ，２Ｌにより撮像された画像から、自車両１０の周辺に存在する対象物の領域を抽出する。具体的には、対象物領域抽出手段１１は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像のうちの所定の基準画像（本実施形態では、赤外線カメラ２Ｒを介して取得された画像とする）に２値化処理等を施して、さらにラベリング処理等を施し、対象物の画像部分（２値化対象物）を抽出する。そして、対象物領域抽出手段１１は、抽出された２値化対象物に基づいて、グレースケール画像における対象物の画像部分を対象物の領域として抽出する。このとき、対象物領域抽出手段１１は、２値化対象物の周辺の画像領域について、該画像領域および２値化対象物の自車両１０に対する距離の差が所定範囲内の画像領域を取得し、この取得された画像領域と２値化対象物を含む領域を、対象物の領域として抽出する。
対象物端点抽出手段１２は、対象物領域抽出手段１１により抽出された対象物の領域から、対象物の端点を抽出する。具体的には、対象物端点抽出手段１２は、グレースケール画像における対象物の領域について、エッジ抽出処理を施して得られたエッジ点から、所定条件を満たすエッジ点を端点として抽出する。
対象物周期性判断手段１３は、赤外線カメラ２Ｒ，２Ｌにより撮像された時系列画像の各画像について、対象物領域抽出手段１１により抽出された対象物の領域から、対象物端点抽出手段１２により抽出された該対象物の端点を用いて、該対象物のサイズを表す特徴量の時系列データを算出する。具体的には、対象物のサイズを表す特徴量として、対象物の領域のうち下部分領域（対象物が歩行者等である場合に脚部が撮像され得る領域）における対象物の幅を用いる。そして、対象物周期性判断手段１３は、特徴量の時系列データを算出し、この特徴量が、予め定められた所定の周期性を有する変化をしているか否か、および、この特徴量の実空間における最大変化量が所定範囲内であるか否かを判断する。
生体判定手段１４は、対象物周期性判断手段１３による判断の結果、特徴量が周期性を有する変化をしていると判断され、且つ特徴量の実空間における最大変化量が所定範囲内であると判断された対象物を生体と判定する。
なお、図２において点線で示した第１の特定部位抽出手段１５、第２の特定部位抽出手段１６は、それぞれ、第４実施形態、第３実施形態に備える構成であるので、説明は後述する。
次に、本実施形態の対象物種別判定装置の全体的な作動（対象物検出・注意喚起動作）を、図３に示したフローチャートに従って説明する。図３を参照して、画像処理ユニット１は、所定の演算処理周期毎に、ＳＴＥＰ１〜ＳＴＥＰ２０の処理を繰り返して、対象物検出・注意喚起動作を実行する。まず、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌの出力信号である赤外線画像を取得して（ＳＴＥＰ１）、Ａ／Ｄ変換し（ＳＴＥＰ２）、グレースケール画像を画像メモリに格納する（ＳＴＥＰ３）。なお、赤外線カメラ２Ｒにより右画像ＩGRが得られ、赤外線カメラ２Ｌにより左画像ＩGLが得られる。右画像ＩGRと左画像ＩGLとでは、同一の対象物の画像上での横方向（ｘ方向）の位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
次に、画像処理ユニット１は、グレースケール画像のうちの基準画像に対して、その画像信号を２値化する（ＳＴＥＰ４）。すなわち、基準画像の画像信号の輝度値が閾値Ｉthより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理が行われる。閾値Ｉthは、実験的に予め決定される値である。２値化処理で「白」となった領域は、赤外線カメラ２Ｒから得られる画像において、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域である。なお、基準画像の画像信号の輝度値が閾値Ｉthより明るい領域を「０」（黒）とし、暗い領域を「１」（白）としてもよい。
次に、画像処理ユニット１は、２値化処理で「白」となった領域（以下、２値化領域という）からランレングスデータを作成する（ＳＴＥＰ５）。作成されるランレングスデータは、２値化領域を画像の横方向の１次元の連結画素であるラインの集合で表し、該２値化領域を構成する各ラインをその始点の座標と、始点から終点までの長さ（画素数）とで示したものである。
次に、画像処理ユニット１は、作成されたランレングスデータに基づいて、対象物のラベリングをする（ＳＴＥＰ６）ことにより、対象物を抽出する（ＳＴＥＰ７）。すなわち、ランレングスデータで表されたラインのうち、画像の縦方向（ｙ方向）に重なる部分のあるラインを１つの対象物とみなしてラベル（識別子）を付すことにより、画像内の連結した領域を対象物として抽出する。
上述のＳＴＥＰ５〜７の処理により、２値化領域が対象物（２値化対象物）Ｔkとして抽出される。このとき、例えばラベルＴkの対象物は、ｎ個のランレングスデータＬ１〜Ｌｎで示される。なお、抽出される対象物（２値化対象物）には、道路周辺の歩行者、自転車運転者、動物等以外に、例えば、他車両、電柱や自動販売機等の人工構造物が含まれる。
次に、画像処理ユニット１は、抽出された対象物の面積Ｓ、重心位置Ｇｃ、対象物の外接四角形の高さＨｂ、幅Ｗｂ、重心位置Ｇｂ、縦横比ＡＳＰを算出する（ＳＴＥＰ８）。具体的には、対象物Ｔkの面積Ｓkは、各ランレングスデータＬｉ（ｉ＝１，．．．，ｎ）で示されるラインの長さを、対象物Ｔkのｎ個のランレングスデータについて積算することにより算出する。また、対象物Ｔkの重心Ｇｃkの座標は、各ランレングスデータＬｉで示されるラインの長さと、各ランレングスデータＬｉのラインの中点の座標（ｘ［ｉ］，ｙ［ｉ］）とをそれぞれ掛け合わせ、更にこれを対象物Ｔkのｎ個のランレングスデータについて積算したものを、面積Ｓkで割ることにより算出する。また、対象物Ｔkの外接四角形の縦横比ＡＳＰkは、対象物Ｔkの外接四角形の高さ（縦方向の長さ）Ｈｂkと幅（横方向の長さ）Ｗｂkとの比Ｈｂk／Ｗｂkとして算出する。なお、対象物Ｔkの画像部分Ｒkは、対象物Ｔkを囲む外接四角形の領域全体とする。
次に、画像処理ユニット１は、対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎に同一対象物を認識する処理を行う（ＳＴＥＰ９）。同一対象物認識処理は、時刻ｋにおけるＳＴＥＰ７の処理により対象物Ｔkが抽出され、次の演算処理周期の時刻ｋ＋１におけるＳＴＥＰ７の処理により対象物Ｔk+1が抽出されたとしたとき、対象物Ｔk+1と対象物Ｔkとの同一性（対象物Ｔk+1が対象物Ｔkと同一の対象物であるか否か）を判定する処理である。具体的には、例えば、対象物Ｔk+1と対象物Ｔkとの面積Ｓ、重心位置Ｇｃ、縦横比ＡＳＰの変化量が、それぞれ予め定められた面積の変化量の許容値、重心位置の変化量の許容値、縦横比の変化量の許容値以下の場合に、同一の対象物であると判定される。そして、対象物Ｔkと対象物Ｔk+1とが同一の対象物であると判定された場合には、対象物Ｔk+1のラベルが対象物Ｔkのラベルと同じラベルに変更される。これにより、対象物Ｔkと対象物Ｔk+1とが同一の対象物であると認識されて、時刻間で追跡される。この同一対象物認識処理は、基準画像において実行される。
次に、画像処理ユニット１は、ヨーレートセンサ３により検出されるヨーレートＹＲと、車速センサ４により検出される車速ＶＣＡＲ（水平方向の速度）とを読み込む（ＳＴＥＰ１０）。なお、このＳＴＥＰ１０では、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒの算出も行われる。
一方、画像処理ユニット１は、ＳＴＥＰ９，１０の処理に並行して、ＳＴＥＰ１１〜１４の処理を実行する。ＳＴＥＰ１１〜１４の処理は、対象物と自車両１０との距離ｚ（自車両１０の前後方向の距離）を算出する処理である。対象物と自車両１０との距離ｚは、基準画像上で抽出された対象物に対応する対象物を赤外線カメラ２Ｌを介して取得された画像上で探索し、２つの赤外線カメラ２Ｒ，２Ｌから得られる画像上での対象物のずれ（視差）に基づいて算出される。なお、画像に基づいて対象物の距離を算出する具体的な手法としては、例えば、本願出願人による特開２００１−６０９６号公報（上述の特許文献１）に記載したような手法を用いることができる。
まず、画像処理ユニット１は、基準画像の２値化画像によって追跡される対象物の中の１つを選択して、基準画像から探索画像Ｒ１（選択した対象物を囲む外接四角形の領域全体を探索画像とする）を抽出する（ＳＴＥＰ１１）。
次に、画像処理ユニット１は、参照画像（赤外線カメラ２Ｒ，２Ｌから得られた右画像及び左画像のうちの基準画像でない画像）中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ＳＴＥＰ１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、参照画像中に探索領域Ｒ１ａを設定し、探索領域Ｒ１ａ内に、座標（ｘ0，ｙ0）を基点（領域の左上の頂点）とした探索画像Ｒ１と同一形状の局所領域Ｒ１ｂ設定する。そして、基点の座標（ｘ0，ｙ0）を変化させて、探索領域Ｒ１ａ内で局所領域Ｒ１ｂを移動させながら、局所領域Ｒ１ｂと探索画像Ｒ１との相関の度合を示す輝度値の絶対差分和（SAD，Sum of Absolute Difference）Ｃ（ｘ0，ｙ0）を次式（１）により算出する。
Figure 2009042941
ここで、絶対差分和Ｃ（ｘ0，ｙ0）は、探索画像Ｒ１内の座標（ｍ，ｎ）の画素の輝度値ＩＲと、探索領域Ｒ１ａ内の座標（ｘ0，ｙ0）を基点とした局所領域Ｒ１ｂ内の座標（ｘ0＋ｍ，ｙ0＋ｎ）の画素の輝度値ＩＬとの差の絶対値を取り、この差の絶対値の探索画像Ｒ１及び局所領域Ｒ１ｂ内の全画素（ｍ＝０，．．．，M-1，ｎ＝０，．．．，N-1）についての総和値を求めたものである。なお、絶対差分和Ｃ（ｘ0，ｙ0）の値が小さいほど、探索画像Ｒ１と局所領域Ｒ１ｂとの相関の度合が高いことを示す。これにより、絶対差分和Ｃ（ｘ0，ｙ0）が最小となる基点の座標（ｘ0，ｙ0）を求め、この位置の局所領域Ｒ１ｂを対応画像Ｒ１ｃとして抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。ＳＴＥＰ１１〜１２の処理により、基準画像中の探索画像Ｒ１と、参照画像中の対応画像Ｒ１ｃとが抽出される。
次に、画像処理ユニット１は、探索画像Ｒ１の重心位置と、対応画像Ｒ１ｃの重心位置とに基づいて、視差Δｄ（画素数）を算出する（ＳＴＥＰ１３）。そして、画像処理ユニット１は、算出された視差Δｄを用いて、次式（２）により、自車両１０と対象物との距離ｚを算出する（ＳＴＥＰ１４）。
Figure 2009042941
なお、Ｂは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐは画素間隔である。
ＳＴＥＰ１０及びＳＴＥＰ１４の処理の終了後、画像処理ユニット１は、次に、画像内の座標（ｘ，ｙ）及び距離ｚを、実空間座標に変換して、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ１５）。ここで、実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点（自車両１０に固定された位置）を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。実空間座標系のＸ方向及びＹ方向は、それぞれ自車両１０の左右方向（車幅方向）、上下方向であり、これらのＸ方向及びＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、自車両１０の前後方向である。そして、実空間位置（Ｘ，Ｙ，Ｚ）は、次式（３）により算出される。
Figure 2009042941
次に、画像処理ユニット１は、自車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、ＳＴＥＰ１０で算出した回頭角θｒを用いて、対象物の実空間位置を補正する（ＳＴＥＰ１６）。回頭角補正は、時刻ｋから時刻ｋ＋１までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、赤外線カメラ２Ｒ，２Ｌによって得られる画像上では、画像の範囲がｘ方向にずれるので、これを補正する処理である。なお、以下の説明では、「対象物の実空間位置」は、この回頭角補正を施した対象物の実空間位置を意味する。
次に、画像処理ユニット１は、対象物の自車両１０に対する移動ベクトルを求める（ＳＴＥＰ１７）。具体的には、同一対象物についての実空間位置の、所定期間ｄＴ（現在時刻から所定時間前までの期間）における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置（座標ＰvdT＝（ＸvdT，ＹvdT，ＺvdT））から、現在時刻における該直線上の対象物の位置（座標Ｐv0＝（Ｘv0，Ｙv0，Ｚv0））に向かうベクトルを対象物の移動ベクトルとして求める。なお、近似直線の具体的な算出処理には、例えば、本願出願人による特開２００３−２８４０５７号公報に記載された手法を用いることができる。
次に、画像処理ユニット１は、検出した対象物と自車両１０とが接触する可能性を判定して、該対象物が注意喚起対象（注意喚起すべき対象）であるか否かを判定する注意喚起判定処理を行う（ＳＴＥＰ１８）。なお、注意喚起判定処理については、詳細を後述する。ＳＴＥＰ１８において、検出した対象物が注意喚起対象でないと判定された場合（ＳＴＥＰ１８の判定結果がＮＯ）には、ＳＴＥＰ１に戻り、上述の処理を繰り返す。また、ＳＴＥＰ１８において、検出した対象物が注意喚起対象であると判定された場合（ＳＴＥＰ１８の判定結果がＹＥＳ）、ＳＴＥＰ１９へ進む。
ＳＴＥＰ１９では、画像処理ユニット１は、対象物に対する車両１０の運転者の注意を喚起すべきか否かを判定する注意喚起出力判定処理を行う。この注意喚起出力判定処理では、ブレーキセンサ５の出力ＢＲから、運転者による自車両１０のブレーキ操作がなされていることが確認され、且つ、自車両１０の減速加速度（車速の減少方向の加速度を正とする）が所定の閾値（＞０）よりも大きいときには、注意喚起を行わないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、自車両１０の減速加速度が所定の閾値以下である場合には、注意喚起を行うべきと判定される。
そして、画像処理ユニット１は、注意喚起を行うべきと判定した場合（ＳＴＥＰ１９の判定結果がＹＥＳ）には、スピーカ６と表示装置７とによる注意喚起を自車両１０の運転者に対して行う注意喚起処理を実行し（ＳＴＥＰ２０）、ＳＴＥＰ１に戻り、上述の処理を繰り返す。この注意喚起処理では、例えば表示装置７に基準画像を表示すると共に、その基準画像中の注意喚起対象である対象物の画像を強調的に表示する。さらに、注意喚起対象である対象物が存在することをスピーカ６から運転者に音声案内する。なお、運転者に対する注意喚起は、スピーカ６および表示装置７のいずれか一方だけで行なうようにしてもよい。
また、ＳＴＥＰ１９で注意喚起を行わないと判定した場合（全ての対象物について注意喚起を行わないと判定した場合）には、ＳＴＥＰ１９の判定結果がＮＯとなり、この場合には、そのままＳＴＥＰ１に戻り、上述の処理を繰り返す。
以上が、本実施形態の対象物種別判定装置の画像処理ユニット１における対象物検出・注意喚起動作である。これにより、自車両１０の周辺の赤外線画像と、自車両１０の走行状態を示す信号とから、自車両１０の前方の歩行者等の対象物が検出され、注意喚起対象である対象物について運転者に注意喚起が行われる。
次に、図４に示すフローチャートを参照して、図３に示したフローチャートのＳＴＥＰ１８における注意喚起判定処理について詳細に説明する。注意喚起判定処理は、以下に示す第１接触判定処理、第２接触判定処理、進入接触判定処理、生体判定処理、歩行者判定処理、及び人工構造物判定処理により、検出した対象物と自車両１０との接触の可能性及び対象物の種別を判定して、該対象物が注意喚起対象であるか否かを判定する処理である。
図４を参照して、まず、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、第１接触判定処理を行う（ＳＴＥＰ１０１）。第１接触判定処理は、対象物と自車両１０との接触を自車両１０の操舵やブレーキ操作によって余裕を持って回避できるか否かを判定するための処理である。具体的には、第１接触判定処理では、赤外線カメラ２Ｒ，２Ｌにより撮像される自車両１０の前方の領域（赤外線カメラ２Ｒ，２Ｌの視野角内の領域）ＡＲ０のうち、自車両１０からのＺ方向の距離（自車両１０の前後方向の距離）が、所定値以下となる領域ＡＲ１（以下、第１接触判定領域という）に対象物の現在の実空間位置が存在するか否かが判定される。
この場合、自車両１０からの距離に関する所定値は、対象物毎に設定される。具体的には、対象物と自車両１０とのＺ方向の相対速度Ｖｓ（＝（Ｚv0−ＺvdT）/ｄＴ）を求め、この相対速度Ｖｓに所定の時間Ｔ１（例えば２〜５秒程度）を乗じた値Ｖｓ×Ｔ１が、第１接触判定領域ＡＲ１の、Ｚ方向の境界を規定する上記所定値として設定される。なお、相対速度Ｖｓが自車両１０から遠ざかる向きの相対速度である場合には、対象物は第１接触判定領域ＡＲ１に存在しないと判定される。
ここで、図５を参照して説明すると、図５は、自車両１０の走行する道路を上方から見た図であり、自車両１０の前方の領域区分が示されている。図５に示したように、領域ＡＲ０を太い実線で示す外側の三角形の領域とすると、第１接触判定領域ＡＲ１は、領域ＡＲ０内のＺ１（＝Ｖｓ×Ｔ１）より自車両１０に近い領域となる。なお、第１衝突判定領域ＡＲ１は、上下方向では、所定の高さＨ（例えば自車両１０の車高の２倍程度の高さ）を有する領域である。従って、対象物の現在のＺ方向の座標値（距離）Ｚv0がＶｓ×Ｔ１以下で、且つ、対象物の現在のＹ方向の座標値（高さ）Ｙv0がＨ以下である場合に、対象物が第１接触判定領域ＡＲ１に存在すると判定される。
ＳＴＥＰ１０１の判定結果がＮＯの場合（対象物が第１接触判定領域内ＡＲ１に存在しない）には、車両１０の操舵やブレーキ操作によって対象物と車両１０との接触を余裕を持って回避しうる状況である。この場合には、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が注意喚起対象でないと判定して、注意喚起判定処理を終了する。
ＳＴＥＰ１０１の判定結果がＹＥＳの場合（対象物が第１接触判定領域ＡＲ１内に存在している）には、ＳＴＥＰ１０２に進み、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、第２接触判定処理を行う。第２接触判定処理は、対象物の実空間位置が現在位置に維持されたとした場合に、対象物と車両１０との接触の可能性が高いか否かを判定するための処理である。具体的には、第２接触判定処理では、対象物が、図５に示したように、第１接触判定領域ＡＲ１のうちの、自車両１０の車幅αの両側に余裕βを加えた幅（α＋２β）を有する領域ＡＲ２（以下、第２接触判定領域という）内に存在するか否かを判定する。なお、第２接触判定領域ＡＲ２も所定高さＨを有する。
ＳＴＥＰ１０２の判定結果がＹＥＳの場合（対象物が第２接触判定領域ＡＲ２内に存在している）には、対象物が現在の実空間位置に留まったとした場合に、該対象物が自車両１０と接触する可能性が高い。この場合には、ＳＴＥＰ１０３に進み、画像処理ユニット１は、対象物に周期的な動きがあるか、すなわち、対象物が生体（歩行者、自転車運転者、動物等の生体）であるか否かを判定する生体判定処理を行う。なお、生体判定処理については、詳細を後述する。
ＳＴＥＰ１０３の判定結果がＹＥＳの場合（対象物が周期的な動きを有する生体である）には、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が注意喚起対象であると判定して、注意喚起判定処理を終了する。従って、対象物が第１接触判定領域内の第２接触判定領域に存在し、且つ、対象物に動きがあると判定された場合には、対象物が注意喚起対象であると判定される。
ＳＴＥＰ１０３の判定結果がＮＯの場合（対象物が周期的な動きを有する生体でない）には、ＳＴＥＰ１０４に進み、画像処理ユニット１は、対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う。歩行者判定処理は、対象物の画像に、例えば予め登録された歩行者の形状と一致する等の、歩行者であると考えられる特徴が検出された場合に、該対象物を歩行者と判定する処理である。なお、歩行者判定処理には、具体的には、例えば前記した特開２００３−２８４０５７号公報に記載された手法が用いられる。
ＳＴＥＰ１０４の判定結果がＹＥＳの場合（対象物は歩行者の可能性がある）には、ＳＴＥＰ１０５に進み、更に対象物が歩行者である可能性の判定の信頼性を上げるために、画像処理ユニット１は、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う。人工構造物判定処理は、対象物の画像に、例えば予め登録された人工構造物の形状と一致する等の、歩行者ではないと考えられる特徴が検出された場合に、該対象物を人工構造物と判定し、注意喚起対象から除外する処理である。この人工構造物判定処理により、例えば前走車等の、自車両１０との接触の可能性が低い対象物が、注意喚起対象から除外される。
ＳＴＥＰ１０５の判定結果がＮＯの場合（対象物が人工構造物でない、すなわち、対象物は歩行者の可能性がある）には、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が注意喚起対象であると判定して、注意喚起判定処理を終了する。従って、対象物が第１接触判定領域内の第２接触判定領域に存在し、且つ、対象物が周期的な動きを有する生体でなく、且つ、対象物が歩行者である可能性が高く、且つ、人工構造物でないと判定された場合には、対象物が注意喚起対象であると判定される。
また、ＳＴＥＰ１０４の判定結果がＮＯの場合（対象物は歩行者の可能性がない）、あるいは、ＳＴＥＰ１０５の判定結果がＹＥＳの場合（対象物が人工構造物である）には、ＳＴＥＰ１０８に進み、画像処理ユニット１は、対象物が注意喚起対象でないと判定して、注意喚起判定処理を終了する。
一方、ＳＴＥＰ１０２の判定結果がＮＯの場合（対象物が第２接触判定領域ＡＲ２内に存在しない）には、ＳＴＥＰ１０６に進み、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、進入接触判定処理を行う。進入接触判定処理は、対象物が第２接触判定領域ＡＲ２内へ進入し、且つ自車両１０との接触する可能性が高いか否かを判定する処理である。進入接触判定処理では、図５に示したように、第１接触判定領域ＡＲ１内で第２接触判定領域ＡＲ２よりＸ座標の絶対値が大きい（第２接触判定領域ＡＲ２の横方向外側の）領域ＡＲ３，ＡＲ４（以下、進入判定領域という）内にある対象物が、第２接触判定領域ＡＲ２に進入して自車両１０と接触するか否かを、対象物の移動ベクトルに基づいて判定する。なお、進入判定領域ＡＲ３，ＡＲ４も所定高さＨを有する。
具体的には、自車両１０の前面のＸＹ平面（自車両１０の前後方向に垂直な面）と、対象物の移動ベクトルを含む直線との交点のＸ座標（車幅方向の位置）が、自車両１０の車幅αよりも若干広い所定範囲内に存在する場合（対象物が相対的に自車両１０に向かってくる場合）に、第２接触判定領域ＡＲ２に進入して接触する可能性が高いと判定される。
ＳＴＥＰ１０６の判定結果がＹＥＳの場合には、対象物が将来、自車両１０と衝突する可能性が高い。そこで、この場合には、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が注意喚起対象であると判定して、注意喚起判定処理を終了する。また、ＳＴＥＰ１０６の判定結果がＮＯの場合には、対象物が自車両１０と接触する可能性が低いので、ＳＴＥＰ１０８に進み、画像処理ユニット１は、対象物が注意喚起対象でないと判定して、注意喚起判定処理を終了する。
以上が、注意喚起判定処理の詳細である。これにより、自車両１０の周辺の赤外線画像と、自車両１０の走行状態を示す信号とから検出された対象物が、歩行者等の注意喚起すべき対象であるか否かが適切に判定される。
次に、図６に示すフローチャートおよび図７〜図１１に示す説明図を参照して、図４に示したフローチャートのＳＴＥＰ１０３における生体判定処理について詳細に説明する。
生体判定処理において、画像処理ユニット１は、所定期間Ｓ内に取得された複数の時系列の画像から、対象物のサイズを表す特徴量の時系列データを算出し、この算出した特徴量が所定の周期性を有する変化をしているか否かを判断し、この判断結果に基づいて対象物が生体であるか否かを判定する。本実施形態では、演算処理周期の各時刻において、ＳＴＥＰ１で撮像された画像が取得されており、所定期間Ｓは、Ｎ回分の演算処理周期とする。例えば時刻ｋの演算処理周期では、時刻ｋ−Ｎ＋１〜時刻ｋの各演算処理周期に撮像されたＮ枚の時系列の画像から特徴量の時系列データを算出する。以下では、時刻ｋの演算処理周期で特徴量の時系列データを算出する場合を例に説明する。なお、例えば、所定期間Ｓとしては１［sec］が用いられる。
具体的には、以下の説明では、自車両１０の前方の道路を歩行者が横断している場合を例にして説明する。図７（ａ）に、所定期間Ｓに含まれる時刻ｋ１〜ｋ４における、時系列画像Ｉk1〜Ｉk4に撮像される歩行者を例示する。図７（ｂ）は、図７（ａ）に例示する歩行者の脚部の幅Ｗの時間変化を示すグラフである。図７（ｂ）において、横軸は経過時間を示し、縦軸は幅Ｗを示し、各時刻ｋ１〜ｋ４における幅Ｗの値を黒丸で示す。図７に示す例では、幅Ｗは、周期Ｔａ、最大変化量Ｗａで変化している。なお、歩行者の歩行動作における幅Ｗの変化の周期Ｔａは、例えば１［sec］程度であり、歩行者の歩行動作を横から見た場合の幅Ｗの最大変化量Ｗａは、例えば６０［cm］程度である。
まず、ＳＴＥＰ２０１で、画像処理ユニット１は、各演算処理周期の画像（本実施形態では、基準画像を用いる）から、対象物の領域を抽出する。この処理は、対象物領域抽出手段１１による処理に相当する。
具体的には、まず、画像処理ユニット１は、各演算処理周期の画像に、上述のＳＴＥＰ４〜７と同様に、２値化処理およびラベリング処理を行って、２値化対象物を抽出する。なお、本実施形態では、上述のＳＴＥＰ７で抽出された２値化対象物がそのまま用いられる。
次に、画像処理ユニット１は、抽出された２値化対象物の車両１０に対する距離を算出する。なお、本実施形態では、上述のＳＴＥＰ１４で算出された車両１０に対する距離がそのまま用いられる。次に、画像処理ユニット１は、抽出された２値化対象物の上下方向に、複数のマスク領域を設定する。そして、画像処理ユニット１は、各マスク領域について、それぞれ、上述のＳＴＥＰ１１〜１４と同様に、車両１０に対する距離を算出する。
次に、画像処理ユニット１は、２値化対象物の車両１０に対する距離と、各マスク領域の車両１０に対する距離との差を算出する。次に、画像処理ユニット１は、複数のマスク領域のうち、算出された差が所定範囲内のマスク領域を取得する。そして、画像処理ユニット１は、２値化対象物および取得されたマスク領域を含む領域を、対象物領域として抽出する。
上述の対象物領域を抽出する処理について、例えば、図７（ａ）に示した時刻ｋ２の演算処理周期の撮像画像Ｉk2を例にして説明する。このとき、撮像画像Ｉk2から、図８で示すように２値化対象物Ｔk2（図中、点描を付して示す）が抽出される。そして、抽出された２値化対象物Ｔk2の上下に、図８に示すようにマスク領域Ｍ１(1)〜Ｍ１(8)が設定される。次に、マスク領域Ｍ１(1）〜Ｍ１(8）のうち、自車両１０に対する距離の差が所定範囲内のマスク領域Ｍ１(3)〜Ｍ１(6)が取得される。そして、２値化対象物Ｔk2および取得されたマスク領域Ｍ１(3)〜Ｍ１(6)を含む領域が、対象物領域Ｒk2として抽出される。
次に、ＳＴＥＰ２０２で、画像処理ユニット１は、対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎に同一対象物を認識する処理を行う。以下では、図７（ａ）に例示する、時刻ｋ１に撮像された画像Ｉk1と、時刻ｋ２に撮像された画像Ｉk2間で、対象物の時刻間追跡を行う場合を例に説明する。画像Ｉk1から抽出された２値化対象物Ｔk1の車両１０に対する距離をＺk1、画像Ｉk2から抽出された２値化対象物Ｔk2の車両１０に対する距離をＺk2とする。
図９に示すように、具体的には、まず、画像処理ユニット１は、時刻ｋ２の画像Ｉk2の対象物領域Ｒk2に、幅ＸＵk2、高さＹＵk2の上部分領域ＲＵk2を設定する。なお、高さＹＵk2は、実空間における所定高さ（例えば、対象物を歩行者と仮定した場合に、その上半身が撮像され得る高さ）を、対象物領域Ｒk2の２値化対象物Ｔk2の車両１０に対する距離Ｚk2と、焦点距離ｆと、画素間隔ｐとを用いて画像空間に変換した値に設定される。すなわち、上部分領域ＲＵk2は、歩行者の上半身に相当する領域となる。次に、対象物領域Ｒk2をＺk2／Ｚk1倍した探索画像（テンプレート）を算出する。次に、画像処理ユニット１は、時刻ｋ１の画像Ｉk2中から、上述のＳＴＥＰ１１と同様に、相関演算を実行して探索画像に対応する画像領域を、時刻ｋ１の画像Ｉk1における上部分領域ＲＵk1として抽出する（テンプレートマッチング）。次に、画像処理ユニット１は、上部分領域ＲＵk1に基づいて、距離に応じて対象物領域Ｒk2のサイズを変更し、画像Ｉk1の対象物領域Ｒk1を設定する。このように、歩行者では上半身の動きが比較的少ないため、対象物領域のうちの上部分領域を探索画像（テンプレート）としてテンプレートマッチングを行うことにより、対象物の時刻間追跡を精度良く行うことができる。
次に、ＳＴＥＰ２０３で、画像処理ユニット１は、対象物の領域から対象物の端点を抽出する。この処理は、対象物端点抽出手段１２による処理に相当する。具体的には、図１０（ａ）に示すように、まず、画像処理ユニット１は、画像Ｉk2の対象物領域Ｒk2にエッジ抽出処理を施し、エッジ点を抽出する。図１０（ａ）のグレースケール画像Ｉk2では、輝度レベルを点描で模式的に示す（点描の密度が低いほど輝度レベルが高い）。また、エッジ画像ＩＥk2に抽出されたエッジ点（エッジ画像ＩＥk2の図中、白い部分）を示す。次に、画像処理ユニット１は、対象物領域Ｒk2内に幅ＸＤk2、高さＹＤk2の脚検出領域ＲＤk2を設定する。なお、高さＹＤk2は、実空間における所定高さ（例えば、対象物を歩行者と仮定した場合に、その下半身が撮像され得る高さ）を、対象物領域Ｒk2の２値化対象物Ｔk2の車両１０に対する距離Ｚk2と、焦点距離ｆと、画素間隔ｐとを用いて画像空間に変換した値に設定される。所定高さとしては、例えば１［m］程度が用いられる。
次に、画像処理ユニット１は、脚検出領域ＲＤk2内のエッジ点を縦方向にカウントする。図１０（ｂ）のグラフに、カウントした結果を示す。図１０（ｂ）のグラフにおいて、横軸は画像上での横方向の位置［pixel］を示し、縦軸はエッジ点の数を示す。そして、画像処理ユニット１は、横方向に連続して存在するエッジ点の集合で、その集合に含まれるエッジ点の数が所定閾値ＴＨ以上のものを抽出する。なお、所定閾値ＴＨは、実空間における所定長さを、対象物領域Ｒk2の２値化対象物Ｔk2の車両１０に対する距離Ｚk2と、焦点距離ｆと、画素間隔ｐとを用いて画像空間に変換した値に設定される。所定長さとしては、例えば５０［cm］程度が用いられる。これにより、図１０（ｂ）に示す例で、集合Ｂ１，Ｂ２が抽出される。この抽出された集合Ｂ１，Ｂ２に含まれるエッジ点が、対象物の端点である。エッジ画像としては、図１０（ｃ）のように模式的に示される。
次に、ＳＴＥＰ２０４で、画像処理ユニット１は、ＳＴＥＰ２０３で抽出した対象物の端点に基づいて、対象物のサイズを表す特徴量を算出する。図１０（ｃ）に示すように、具体的には、まず、画像処理ユニット１は、脚検出領域ＲＤk2に、高さＹＤＤk2の下部分領域ＲＤＤk2を設定する。なお、高さＹＤＤk2は、実空間における所定高さ（例えば、対象物を歩行者と仮定した場合に、その脚部が撮像され得る高さ）を、対象物領域Ｒk2の２値化対象物Ｔk2の車両１０に対する距離Ｚk2と、焦点距離ｆと、画素間隔ｐとを用いて画像空間に変換した値に設定される。所定高さとして、例えば５０［cm］程度が用いられる。そして、下部分領域ＲＤＤk2内で、抽出されたエッジ点の集合Ｂ１，Ｂ２を構成する同じ高さのエッジ点の横方向の間隔を算出する。そして、算出された間隔の平均値ａ［pixel］を算出する。これにより、図１１（ａ）に例示するように、下部分領域ＲＤＤk2から平均値（幅）ａが算出される。そして、この幅ａを、対象物領域Ｒk2の２値化対象物Ｔk2の車両１０に対する距離Ｚk2と、焦点距離ｆと、画素間隔ｐとを用いて実空間に変換し、実空間における間隔Ａを求める。この間隔Ａが、対象物のサイズを表す特徴量となる。
以上の処理を、時刻ｋ−Ｎ＋１〜時刻ｋの各演算処理周期に撮像された各画像について実行することにより、特徴量の時系列データが算出される。
次に、ＳＴＥＰ２０５で、画像処理ユニット１は、算出された幅Ａの時系列データから、周期性を有する動きをしているか否かを判断する処理を行う。図１１（ｂ）は、幅Ａの時間変化を例示するグラフである。図１１（ｂ）において、横軸は画像の撮像時刻を示し、縦軸は算出された幅Ａを示す。具体的には、以下の条件（１-a）（１-b）を満たすか否かが判断される。
（１-a） 画像処理ユニット１は、所定期間Ｓ内での実空間における対象物の幅Ａの最大変化量ＤＡが所定範囲ＤＡth1〜ＤＡth2内である（ＤＡth1≦ＤＡ≦ＤＡth2）か否かを判断する。所定範囲ＤＡth1〜ＤＡth2は、一般的な歩行者の歩幅が取り得る範囲として予め定められる値である。例えば、ＤＡth1として２０［cm］、ＤＡth2として６０［cm］を用いることができる。
（１-b） 画像処理ユニット１は、所定期間Ｓ内での対象物の幅Ａが周期性を有する変化をしているか否かを判断する。具体的には、画像処理ユニット１は、所定期間内の幅Ａの全データから平均値Aveを求め、幅Ａから平均値Aveを減算した値Ａ２を算出する（Ａ２＝Ａ−Ave）。値Ａ２が（正、０、負）のいずれであるかを示すデータを、図１１（ｃ）のグラフに示す。図１１（ｃ）において、横軸は時間（ｓ）を示し、縦軸は、データ（正、０、負）を示す。図１１（ｃ）に示すように、値Ａ２が所定期間Ｓth1〜Ｓth2連続して正である領域を「正の領域」、値Ａ２が所定期間Ｓth1〜Ｓth2連続して負である領域を「負の領域」とする。所定期間Ｓth1〜Ｓth2は、一般的な歩行者の歩行動作の周期が取り得る範囲として予め定められる値である。例えば、Ｓth1として０．４［sec］、Ｓth2として０．６［sec］を用いることができる。
そして、画像処理ユニット１は、所定期間Ｓ内の特徴量の時系列データにおいて、「正の領域」と「負の領域」とのうち少なくともいずれかが存在する場合に、周期性を有する変化をしていると判断する。
ＳＴＥＰ２０５の判断結果がＹＥＳの場合（特徴量の最大変化量が所定範囲内、かつ特徴量が周期性を有する）には、ＳＴＥＰ２０６に進み、画像処理ユニット１は、対象物が生体であると判定し、生体判定処理が終了される。ＳＴＥＰ２０５の判断結果がＮＯの場合には、ＳＴＥＰ２０７に進み、画像処理ユニット１は、対象物が生体でないと判定し、生体判定処理が終了される。ＳＴＥＰ２０６，２０７の処理は、生体判定手段１４の処理に相当する。
以上が、生体判定処理の詳細である。
以上の処理により、本実施形態によれば、車両周辺を撮像した画像により抽出された対象物の動きの周期性を適切に判断し、対象物（歩行者等の生体）の種別を精度良く判定することができる。これにより、自車両１０の運転者に情報の提示等を適切に行うことができる。
なお、上述の例では、道路を横断する歩行者の画像例を用いて説明したが、例えば、路側を道路に沿って歩行している歩行者や、動物等の場合でも用いることができる。
例えば、図１２（ａ）に、路側を道路に沿って歩行している歩行者の場合の、時系列画像に撮像される歩行者を例示する。図１２（ｂ）は、図１２（ａ）に例示する歩行者の脚部の幅Ｗの時間変化を示すグラフである。図１２（ｂ）において、横軸は経過時間を示し、縦軸は幅Ｗを示し、各時刻ｋ１〜ｋ４における幅Ｗの値を黒丸で示す。図１２に示す例では、幅Ｗは、周期Ｔｂ、最大変化量Ｗｂで変化している。なお、周期Ｔｂは、例えば０．５［sec］程度であり、最大変化量Ｗｂは、例えば２０〜６０［cm］程度である。
また、図１２（ｃ）に、馬が道路を横断している場合の、時系列画像に撮像される馬を例示する。図１２（ｄ）は、図１２（ｃ）に例示する馬の脚部の幅Ｗの時間変化を示すグラフである。図１２（ｄ）において、横軸は経過時間を示し、縦軸は幅Ｗを示す。図１２に示す例では、幅Ｗは、周期Ｔｃ、最大変化量Ｗｃで変化している。
このように、対象物が路側を道路に沿って歩行している歩行者や、動物等の場合でも、幅Ｗが周期的に変化する。よって、道路を横断する歩行者の場合と同様の処理で、幅Ｗを特徴量として、周期性を有する変化をしているか否かを判断することにより、対象物が路側を道路に沿って歩行している歩行者や、動物等の場合でも、対象物の種別を適切に判定できる。
また、本実施形態では、ＳＴＥＰ２０２で、グレースケール画像の対象物領域のうちの上部分領域についてテンプレートマッチングにより時刻間追跡を行ったが、他の実施形態として、例えば、上述のＳＴＥＰ９で説明したように、２値化対象物の面積Ｓ、重心位置Ｇｃ、縦横比ＡＳＰ等を用いて、時刻間追跡を行ってもよい。
［第２実施形態］
次に、本発明の第２実施形態について、図１３を参照して説明する。図１３は、本実施形態の対象物種別判定装置における生体判定処理の説明図である。なお、本実施形態は、第１実施形態と、対象物周期性判断手段１３が用いる特徴量のみが相違する。以下の説明では、第１実施形態と同一の構成については、第１実施形態と同一の参照符号を用いて説明を省略する。
本実施形態の対象物種別判定装置において、対象物周期性判断手段１３は、対象物のサイズを表す特徴量として、対象物の高さを用いる。すなわち、図１３（ａ）に示すように、歩行者は腰を支点として脚を回転させて歩行する。そして、図１３（ｂ）に示すように、脚が路面に接地するので、脚の回転位置に応じて、歩行者の路面に対する頭部の位置が上下に周期的に動く。このため、歩行動作において、歩行者の高さ（身長）が周期的に変化する。よって、歩行者の高さを特徴量として、周期性を有する変化をしているか否かを判断することにより、対象物が生体（歩行者）であるか否かを判定することができる。他の構成は第１実施形態と同じである。
次に、本実施形態の対象物種別判定装置の作動を説明する。なお、本実施形態における対象物種別判定装置の作動は、第１実施形態と、図６の生体判定処理におけるＳＴＥＰ２０３〜２０５の処理のみが相違するものである。以下では、同一の処理については説明を省略する。
また、以下の説明では、第１実施形態と同様に、自車両１０の前方の道路を歩行者が横断している場合を例にして説明する。なお、時刻ｋ１〜ｋ４における、時系列画像Ｉk1〜Ｉk4に撮像される歩行者は、第１実施形態の図７（ａ）と同様に、図１３（ｃ）に例示したようになる。図１３（ｄ）は、図１３（ｃ）に例示する歩行者の高さＨの時間変化を示すグラフである。図１３（ｄ）において、横軸は経過時間を示し、縦軸は高さＨを示し、各時刻ｋ１〜ｋ４における高さＨの値を黒丸で示す。図１３（ｄ）に示す例では、高さＨは、周期Ｔｄ、最大変化量Ｈｄで変化している。なお、歩行者の歩行動作における高さＨの変化の周期Ｔｄは、例えば１［sec］程度であり、歩行者の歩行動作を横から見た場合の高さＨの最大変化量Ｈｄは、例えば４［cm］程度である。
本実施形態の生体判定処理において、ＳＴＥＰ２０３で、画像処理ユニット１は、対象物領域にエッジ抽出処理を施して得られたエッジ点のうち、対象物領域内の最上端のエッジ点と、最下端のエッジ点を、端点として抽出する。例えば、図１３（ｅ）に示すように、画像Ｉk2（輝度レベルを点描で模式的に示す）について対象物領域Ｒk2が抽出されている場合に、画像Ｉk2にエッジ抽出処理を施して得られたエッジ画像ＩＥk2の対象物領域Ｒk2に含まれるエッジ点（エッジ画像ＩＥk2の図中、白い部分）から、最上端のエッジ点ＰＵk2と、最下端のエッジ点ＰＤk2が抽出される。
次に、ＳＴＥＰ２０４で、画像処理ユニット１は、最上端のエッジ点と、最下端のエッジ点の差から、対象物のサイズを表す特徴量を算出する。例えば、図１３（ｅ）の例では、最上端のエッジ点ＰＵk2と、最下端のエッジ点ＰＬk2の差（高さｈ［pixel］）が算出される。そして、この高さｈを、対象物領域Ｒk2の２値化対象物Ｔk2の車両１０に対する距離Ｚk2と、焦点距離ｆと、画素間隔ｐとを用いて実空間に変換し、実空間における高さＨが算出される。この高さＨが、対象物のサイズを表す特徴量となる。
次に、ＳＴＥＰ２０５で、画像処理ユニット１は、算出された高さＨの時系列データから、周期性を有する動きをしているか否かを判断する処理を行う。具体的には、第1実施形態と同様に、以下の条件（2-a）（2-b）が満たされるか否かが判断される。
（2-a） 画像処理ユニット１は、所定期間Ｓ内での実空間における対象物の高さＨの最大変化量ＤＡが、所定範囲ＤＡth1〜ＤＡth2内である（ＤＡth1≦ＤＡ≦ＤＡth2）か否かを判断する。所定範囲ＤＡth1〜ＤＡth2は、一般的な歩行者の高さ（身長）が取り得る範囲として予め定められる値である。
（2-b） 画像処理ユニット１は、第１実施形態と同様に、所定期間Ｓ内での対象物の高さＨが周期性を有する変化をしているか否かを判断する。
他の作動は第１実施形態と同様である。
以上の処理により、本実施形態によれば、第１実施形態と同様に、車両周辺を撮像した画像により抽出された対象物の動きの周期性を適切に判断し、対象物（歩行者等の生体）の種別を精度良く判定することができる。これにより、自車両１０の運転者に情報の提示等を適切に行うことができる。
［第３実施形態］
次に、本発明の第３実施形態について、図１４〜図１６を参照して説明する。図１４〜図１６は、本実施形態の対象物種別判定装置における生体判定処理の説明図である。なお、本実施形態は、第１実施形態において、第２の特定部位抽出手段１６を備えたものであり、対象物周期性判断手段１３が用いる特徴量が異なる。以下の説明では、第１実施形態と同一の構成については、第１実施形態と同一の参照符号を用いて説明を省略する。
本実施形態の対象物種別判定装置は、対象物領域抽出手段１１により抽出された対象物の領域から、該対象物の一組の特定部位を抽出する第２の特定部位抽出手段１６を備えている。一組の特定部位とは、具体的には、例えば対象物が人間であるとした場合の、身体の両腕、両脚、両足等の組をなす特定部位を指す。本実施形態では、一組の特定部位として、両足を抽出するものとする。
そして、対象物端点抽出手段１２は、第２の特定部位抽出手段１６により抽出された対象物の特定部位の端点を抽出する。具体的には、対象物端点抽出手段１２は、グレースケール画像における対象物の特定部位の画像部分について、エッジ抽出処理を施し、抽出されたエッジ点のうちから、特徴量を算出するための端点を抽出する。
さらに、対象物周期性判断手段１３は、対象物のサイズを表す特徴量として、該対象物の一対の特定部位の高さの差を用いる。具体的には、左右の足部の高さの差を用いる。すなわち、例えば、対象物が自転車運転者である場合に、自転車が走行するためには、左右交互に自転車のペダルを踏むことと、自転車のペダルがクランクにより円運動をすることが必要である。このため、自転車が走行している際に、自転車運転者の左右の足が周期的に上下する。よって、例えば、図１５（ａ）に示すように、左右の足部の高さの差（左右の足部の下端の高さの差）を特徴量として、周期性を有する変化をしているか否かを判断することにより、対象物が生体（自転車運転者）であるか否かを判定することができる。他の構成は、第１実施形態と同じである。
次に、本実施形態の対象物種別判定装置の作動を説明する。なお、本実施形態における対象物種別判定装置の作動は、第１実施形態と、図６の生体判定処理におけるＳＴＥＰ２０３〜２０５の処理のみが相違するものである。以下では、同一の処理については説明を省略する。
また、以下の説明では、自車両１０の前方の道路の路側を、自車両１０に対向して自転車が走行している場合を例にして説明する。なお、時刻ｋ１〜ｋ５における、時系列画像Ｉk1〜Ｉk5に撮像される自転車運転者は、図１４（ｂ）に例示したようになる。図１４（ｃ）は、図１４（ｂ）に例示する自転車運転者の左右の足部の下端の高さの差ｄＨの時間変化を示すグラフである。図１４（ｃ）において、横軸は経過時間を示し、縦軸は高さの差ｄＨを示し、各時刻ｋ１〜ｋ５における高さの差ｄＨの値を黒丸で示す。図１４（ｃ）に示す例では、高さの差ｄＨは、周期Ｔｅ、最大変化量ｄＨｅで変化している。なお、周期Ｔｅは、例えば１［sec］程度であり、最大変化量ｄＨｅは、例えば４０［cm］程度である。
本実施形態の生体判定処理において、ＳＴＥＰ２０２で、画像処理ユニット１は、第１実施形態と同様に、対象物の時刻間追跡を行う。図１５に、図１４（ｂ）の時刻ｋ１に撮像された画像Ｉk1と、時刻ｋ２に撮像された画像Ｉk2間で、対象物の時刻間追跡を行う場合を例として示す。この場合、上部分領域ＲＵk2は、自転車運転者の上半身に相当する領域となる。このように、自転車運転者も、歩行者と同様に、上半身の動きが比較的少ないため、対象物領域のうちの上部分領域を探索画像（テンプレート）としてテンプレートマッチングを行うことにより、対象物の時刻間追跡を精度良く行うことができる。
次に、本実施形態のＳＴＥＰ２０３では、画像処理ユニット１は、まず、対象物領域から左右の足検出領域を抽出する（この処理は第２の特定部位抽出手段１６の処理に相当する）。例えば、図１６（ａ）に示すように、画像Ｉk2（輝度レベルを点描で模式的に示す）について対象物領域Ｒk2が抽出されている場合に、対象物領域Ｒk2内に、幅ＸＦk2、高さＹＦk2の右足検出領域ＲＲk2と左足検出領域ＲＬk2を設定する。なお、幅ＸＦk2、高さＹＦk2は、実空間における自転車運転者の左右の足を検出し得る範囲として予め定められた所定の値を、対象物領域Ｒk2の２値化対象物Ｔk2の車両１０に対する距離Ｚk2と焦点距離ｆと画素ピッチｐを用いて画像空間に変換することにより設定される。
次に、画像処理ユニット１は、左右の足検出領域内ＲＲk2，ＲＬk2で、それぞれ、エッジ抽出処理を施し、エッジ点を抽出する。そして、画像処理ユニット１は、左右の足検出領域内ＲＲk2，ＲＬk2で抽出されたエッジ点のうち、それぞれ最下端のエッジ点を、対象物の端点として抽出する（この処理は対象物端点抽出手段１２の処理に相当する）。例えば、図１６（ａ）に示すように、画像Ｉk2にエッジ抽出処理を施して得られたエッジ点（エッジ画像ＩＥk2の図中、白い部分）を示すエッジ画像ＩＥk2について、左右の足検出領域内ＲＲk2，ＲＬk2に含まれるエッジ点から、最下端のエッジ点が、対象物の端点として抽出される。
次に、ＳＴＥＰ２０４で、画像処理ユニット１は、抽出された最下端のエッジ点の高さの差ｄｈ［pixel］を算出する。これにより、図１６（ａ）に示すように、高さの差ｄｈが得られる。そして、画像処理ユニット１は、算出した高さの差ｄｈを、対象物領域Ｒk2の２値化対象物Ｔk2の車両１０に対する距離Ｚk2と、焦点距離ｆと、画素間隔ｐを用いて、実空間内での高さの差ｄＨ［ｍ］に変換する。この高さの差ＤＨが、対象物のサイズを表す特徴量となる。
次に、ＳＴＥＰ２０５で、画像処理ユニット１は、算出された高さの差ｄＨの時系列データから、対象物の動きが周期性を有するか否かを判断する処理を行う。具体的には、以下の条件（3-a）（3-b）を満たすか否かが判断される。
（3-a） 画像処理ユニット１は、所定期間Ｓ内での実空間における高さの差ｄＨの最大変化量ＤＡが所定範囲ＤＡth1〜ＤＡth2内である（ＤＡth1≦ＤＡ≦ＤＡth2）か否かを判断する。所定範囲は、一般的な自転車運転者の左右の足の高さの差が取り得る範囲として予め定められる値である。例えば、ＤＡth1として３０［cm］、ＤＡth2として８０［cm］を用いることができる。
（3-b） 画像処理ユニット１は、所定期間Ｓ内での対象物の高さの差ｄＨが周期性を有する変化をしているか否かを判断する。具体的には、画像処理ユニット１は、所定期間Ｓ内の高さの差ｄＨの全データから平均値Aveを求め、高さの差ｄＨから平均値ＡＶＥを減算した値ｄＨ２を算出する（ｄＨ２＝ｄＨ−Ave）。これにより、図１６（ｂ）のグラフに示すような値ｄＨ２が取得される。図１６（ｂ）において、横軸は時間［sec］を示し、縦軸は、値ｄＨ２を示す。図１６（ｂ）に示すように、値ｄＨ２が所定期間Ｓth1〜Ｓth2連続して正である領域を「正の領域」、値ｄＨ２が所定期間Ｓth1〜Ｓth2連続して負である領域を「負の領域」とする。所定期間Ｓth1〜Ｓth2は、一般的な自転車の運転者の走行動作の周期が取り得る範囲として予め定められる値である。例えば、Ｓth1として０．４［sec］、Ｓth2として０．６［sec］を用いることができる。
そして、画像処理ユニット１は、所定期間Ｓ内の特徴量の時系列データにおいて、「正の領域」と「負の領域」とのうち少なくともいずれかが存在する場合に、周期性を有する変化をしていると判断する。
他の作動は第１実施形態と同じである。
以上の処理により、本実施形態によれば、第１実施形態と同様に、車両周辺を撮像した画像により抽出された対象物の動きの周期性を適切に判断し、対象物（自転車運転者等の生体）の種別を精度良く判定することができる。これにより、自車両１０の運転者に情報の提示等を適切に行うことができる。
［第４実施形態］
次に、本発明の第４実施形態について説明する。なお、本実施形態は、第３実施形態において、第２の特定部位抽出手段１６の代わりに、第１の特定部位抽出手段１５を備えたものであり、対象物周期性判断手段１３が用いる特徴量が異なる。以下の説明では、第３実施形態と同一の構成については、第３実施形態と同一の参照符号を用いて説明を省略する。
本実施形態の対象物種別判定装置は、対象物領域抽出手段１１により抽出された対象物の領域から、該対象物の特定部位を抽出する第１の特定部位抽出手段１５を備えている。特定部位とは、具体的には、例えば対象物が人間であるとした場合の、身体の腕、脚、足等の特定部位を指す。本実施形態では、特定部位として、左右のうち一方の足を抽出するものとする。
そして、対象物端点抽出手段１２は、第１の特定部位抽出手段１５により抽出された対象物の特定部位の端点を抽出する。具体的には、対象物端点抽出手段１２は、グレースケール画像における対象物の特定部位の画像部分について、エッジ抽出処理を施し、抽出されたエッジ点のうちから端点を抽出する。
さらに、対象物周期性判断手段１３は、対象物のサイズを表す特徴量として、該対象物の特定部位の高さを用いる。具体的には、左右のうち一方の足の高さを用いる。すなわち、例えば、対象物が自転車運転者である場合に、第３実施形態で説明したように、自転車が走行している際に、自転車運転者の左右の足が周期的に上下する。よって、例えば、左右のうち一方の足（足部の下端）の高さの差を特徴量として、周期性を有する変化をしているか否かを判断することにより、対象物が生体（自転車運転者）であるか否かを判定することができる。他の構成は、第３実施形態と同じである。
次に、本実施形態の対象物種別判定装置の作動を説明する。なお、本実施形態における対象物種別判定装置の作動は、第５実施形態と、図６の生体判定処理におけるＳＴＥＰ２０３〜２０５の処理のみが相違するものである。以下では、同一の処理については説明を省略する。
本実施形態の生体判定処理のＳＴＥＰ２０３では、画像処理ユニット１は、まず、対象物領域から左右のうちの一方の足検出領域を抽出する（この処理は第１の特定部位抽出手段１５の処理に相当する）。例えば、図１６（ａ）に示す例において、本実施形態では、対象物領域Ｒk2内に、幅ＸＦk2、高さＹＦk2の右足検出領域ＲＲk2のみを設定する。
次に、画像処理ユニット１は、右足検出領域ＲＲｋ２内で、エッジ抽出処理を施し、エッジ点を抽出する。そして、画像処理ユニット１は、右足検出領域内ＲＲｋ２で抽出されたエッジ点のうち、最下端のエッジ点を、対象物の端点として抽出する（この処理は対象物端点抽出手段１２の処理に相当する）。
次に、ＳＴＥＰ２０４で、画像処理ユニット１は、抽出された最下端のエッジ点の高さｈｒ［pixel］を算出する。そして、画像処理ユニット１は、算出した高さｈｒを、対象物領域Ｒk2の２値化対象物Ｔk2の車両１０に対する距離Ｚk2と焦点距離ｆと画素ピッチｐを用いて、実空間における高さＨｒ［m］に変換する。
次に、ＳＴＥＰ２０５で、画像処理ユニット１は、算出された高さＨの時系列データから、対象物の動きが周期性を有するか否かを判断する処理を行う。具体的には、以下の条件（4-a）（4-b）を満たすか否かを判断する。
（4-a） 画像処理ユニット１は、所定期間内での実空間における高さＨｒの最大変化量ＤＡが所定範囲ＤＡth1〜ＤＡth2内である（ＤＡth1≦ＤＡ≦ＤＡth2）か否かを判断する。所定範囲は、一般的な自転車運転者の左右のうちの一方の足の高さが取り得る範囲として予め定められる値である。例えば、ＤＡth1として３０［cm］、ＤＡth2として８０［cm］を用いることができる。
（4-b） 画像処理ユニット１は、第３実施形態と同様に、所定期間Ｓ内での対象物の足の高さＨｒが周期性を有する変化をしているか否かを判断する。
他の作動は第３実施形態と同じである。
以上の処理により、本実施形態によれば、第３実施形態と同様に、車両周辺を撮像した画像により抽出された対象物の動きの周期性を適切に判断し、対象物（自転車運転者等の生体）の種別を精度良く判定することができる。これにより、自車両１０の運転者に情報の提示等を適切に行うことができる。
［第５実施形態］
次に、本発明の第５実施形態について説明する。本実施形態は、第１実施形態において、第１の特定部位抽出手段１５及び第２の特定部位抽出手段１６の両方を備えたものであり、対象物周期性判断手段１３が用いる特徴量及び判定条件が異なる。すなわち、本実施形態は、生体判定処理において、対象物周期性判断手段１３が、第１〜第４実施形態の特徴量及び判定条件を組み合わせて用いるものである。以下の説明では、第１実施形態と同一の構成については、第１実施形態と同一の参照符号を用いて説明を省略する。
本実施形態の対象物種別判定装置は、第３実施形態と同様の、第２の特定部位抽出手段１６と、第４実施形態と同様の、第１の特定部位抽出手段１５とを備えている。そして、対象物端点抽出手段１２は、対象物領域抽出手段１１により抽出された対象物の領域から該対象物の端点を抽出すると共に、第１の特定部位抽出手段１５により抽出された対象物の特定部位の端点と、第２の特定部位抽出手段１６により抽出された対象物の一組の特定部位の端点とを抽出する。
そして、対象物周期性判断手段１３は、対象物のサイズを表す特徴量として、少なくとも１つ以上（本実施形態では４つ）の特徴量を用いる。具体的には、第１の特徴量として、第１実施形態と同様の、対象物の領域のうちの下部分領域における該対象物の幅が用いられる。また、第２の特徴量として、第２実施形態と同様の、対象物の高さが用いられる。また、第３の特徴量として、第３実施形態と同様の、対象物の一組の特定部位の高さの差が用いられる。また、第４の特徴量として、第４実施形態と同様の、対象物の特定部位の高さが用いられる。
さらに、対象物周期性判断手段１３は、少なくとも１つ以上（本実施形態では４つ）の判定条件を有し、これらの判定条件のうち所定数（本実施形態では１つ）以上の判定条件による判定結果が、特徴量が周期性を有する変化をしていることを示す場合に、特徴量が周期性を有すると判断する。具体的には、第１〜第４の特徴量をそれぞれ用いた、第１〜第４の判定条件が用いられる。他の構成は、第１実施形態と同じである。
次に、本実施形態の対象物種別判定装置の作動を説明する。なお、本実施形態における対象物種別判定装置の作動は、第１実施形態と、図６の生体判定処理におけるＳＴＥＰ２０３〜２０５の処理のみが相違するものである。以下では、同一の処理については説明を省略する。
本実施形態の生体判定処理のＳＴＥＰ２０３では、画像処理ユニット１は、第１実施形態と同様に、対象物領域にエッジ抽出処理を施して得られたエッジ点から、所定条件を満たすエッジ点を端点として抽出する。また、画像処理ユニット１は、第２実施形態と同様に、画像処理ユニット１は、対象物領域にエッジ抽出処理を施して得られたエッジ点のうち、対象物領域内の最上端のエッジ点と、最下端のエッジ点を、端点として抽出する。また、画像処理ユニット１は、第３実施形態と同様に、左右の足検出領域を抽出し、左右の足検出領域にエッジ抽出処理を施して得られたエッジ点のうち、それぞれ最下端のエッジ点を、対象物の端点として抽出する。また、画像処理ユニット１は、第４実施形態と同様に、左右のうちの一方（本実施形態では右とする）の足検出領域を抽出し、右足検出領域ＲＲにエッジ抽出処理を施して得られたエッジ点のうち、それぞれ最下端のエッジ点を、対象物の端点として抽出する。
次に、ＳＴＥＰ２０４で、画像処理ユニット１は、第１の特徴量として、第１実施形態と同様に、対象物領域のうちの下部分領域における対象物の幅Ｗを算出する。また、画像処理ユニット１は、第２の特徴量として、第２実施形態と同様に、対象物の高さＨを算出する。また、画像処理ユニット１は、第３の特徴量として、第３実施形態と同様に、対象物の左右の足の高さの差ｄＨを算出する。また、画像処理ユニット１は、第４の特徴量として、第４実施形態と同様に、対象物の右足の高さＨｒを算出する。そして、第１〜第４特徴量の時系列データを算出する。
次に、ＳＴＥＰ２０５で、画像処理ユニット１は、算出された第１〜第４の特徴量に基づいて、その時系列データから、対象物の動きが周期性を有するか否かを判断する処理を行う。具体的には、画像処理ユニット１は、以下の第１〜第４の判定条件(5-a)〜(5-d)のうち少なくとも１つの判定条件による判定結果が、特徴量が周期性を有する変化をしていることを示す（条件が満たされる）場合に、特徴量が周期性を有すると判断する。
(5-a) 第１の判定条件：第１実施形態と同様に、第１の特徴量が条件（1-a）（1-b）を満たすか否かを判定する。
(5-b) 第２の判定条件：第２実施形態と同様に、第２の特徴量が条件（2-a）（2-b）を満たすか否かを判定する。
(5-c) 第３の判定条件：第３実施形態と同様に、第３の特徴量が条件（3-a）（3-b）を満たすか否かを判定する。
(5-d) 第４の判定条件：第４実施形態と同様に、第４の特徴量が条件（4-a）（4-b）を満たすか否かを判定する。
他の作動は第１実施形態と同じである。
以上の処理により、本実施形態によれば、第１〜第４実施形態と同様に、車両周辺を撮像した画像により抽出された対象物の動きの周期性を適切に判断し、対象物（自転車運転者等の生体）の種別を精度良く判定することができる。これにより、自車両１０の運転者に情報の提示等を適切に行うことができる。特に、本実施形態では、複数の判定条件を有することで、対象物の多様な状況に対応した判定を実行することができ、対象物の状況によらずに、対象物の動きの周期性を適切に判断し、対象物の種別を精度良く判定することができる。
なお、本実施形態では、対象物周期性判断手段１３は、４つの判定条件を用いたが、判定条件の数は任意に変更可能である。
また、本実施形態では、対象物周期性判断手段１３は、４つの判定条件のうち少なくとも１つ（所定数）の判定条件が満たされた場合に、周期性を有すると判断するものとしたが、所定数は任意に変更可能である。例えば、２つ以上、あるいは３つ以上判定条件が満たされた場合に、周期性を有すると判断するものとしてもよい。
［第６実施形態］
次に、本発明の第６実施形態について、図１７〜図２０を参照して説明する。図１７は、本実施形態における対象物種別判定装置の機能ブロック図であり、図１８〜図２０は、本実施形態における対象物種別判定装置の生体判定処理における対象部領域抽出処理の説明図である。なお、本実施形態は、第１実施形態において、画像処理ユニット１に、２つの赤外線カメラ２Ｒ，２Ｌの代わりに、１つの赤外線カメラ２のみを備えるものである。以下の説明では、第１実施形態と同一の構成については、第１実施形態と同一の参照符号を用いて説明を省略する。
本実施形態において、赤外線カメラ２は、自車両１０の前方を撮像するために、自車両１０の前部に取り付けられている。なお、赤外線カメラ２は、本発明の撮像手段に相当する。
そして、画像処理ユニット１は、赤外線カメラ２により撮像されたから、対象物の車両１０に対する距離を算出する。具体的には、画像処理ユニット１は、赤外線カメラ２で異なる時刻に撮像された複数の画像における、所定の対象物の画像部分の大きさの変化率Rateと、時刻と車速から算出される自車両１０の走行距離とに基づいて、該対象物の距離を算出する。
さらに、画像処理ユニット１において、対象物領域抽出手段１１は、赤外線カメラ２により撮像された画像から、自車両１０の周辺に存在する対象物の領域を抽出する。具体的には、対象物領域抽出手段１１は、赤外線カメラ２により撮像された画像に２値化処理等を施して、さらにラベリング処理等を施し、対象物の画像部分（２値化対象物）を抽出する。そして、対象物領域抽出手段１１は、抽出された２値化対象物に基づいて、グレースケール画像における対象物の画像部分を対象物の領域として抽出する。
このとき、本実施形態では、対象物領域抽出手段１１は、２値化対象物の上下方向の画像領域について、互いに異なる時刻に撮像された２つの画像内にそれぞれ複数のマスク領域を設定し、該２つの画像間で対応する位置に設定された各マスク領域について相関演算を行うことにより、対象物の領域を抽出する。他の構成は第１実施形態と同じである。
次に、本実施形態の対象物種別判定装置の作動を説明する。なお、本実施形態における対象物種別判定装置の対象物検出・注意喚起動作は、第１実施形態と、図３のＳＴＥＰ１１〜１４における対象物の距離を算出する処理、及び図６の生体判定処理におけるＳＴＥＰ２０１の対象物領域を抽出する処理のみが相違するものである。
本実施形態では、画像処理ユニット１は、上述のようなＳＴＥＰ１１〜１４を実行する代わりに、赤外線カメラ２による画像のみを用いて自車両１０と対象物との距離ｚを算出する。
具体的には、まず、画像処理ユニット１は、赤外線カメラ２で異なる時刻に撮像された複数の画像における、所定の対象物の画像部分の大きさの変化率Rateを算出する。
ここで、図１８を用いて、対象物の画像部分の大きさの変化率Rateの算出方法について説明する。図１８中、５０は時刻ｔ50でのグレースケール画像Ｉg(1)における２値化対象物を示し、５１は時刻ｔ51（時刻ｔ50の処理演算周期の次の処理演算周期における撮像時点）でのグレースケール画像Ｉg(2)における２値化対象物を示している。以下では、グレースケール画像Ｉg(1)における２値化対象物とグレースケール画像Ｉg(2)における２値化対象物の大きさの変化率Ｒateを算出する場合を例に説明する。
画像処理ユニット１は、時刻ｔ51でのグレースケール画像Ｉg(2)における２値化対象物５１の大きさをアフィン変換により縮小（対象物が自車両１０に近づいている場合）又は拡大（対象物が自車両１０から遠ざかっている場合）して、時刻ｔ50でのグレースケール画像Ｉg(1)における２値化対象物５０との相関度を算出する。具体的には、図１８に例示したように、２値化対象物５１を１．５倍した画像６０、１．２５倍した画像６１、１．０倍した画像６２、０．７５倍した画像６３、及び０．５倍した画像６４と、グレースケール画像Ｉg(1)の２値化対象物５０との相関度を算出する。そして、画像処理ユニット１は、相関度が最も高くなったときの２値化対象物５１の倍率を変化率Ｒateとして決定する。
次に、画像処理ユニット１は、変化率Ｒateを用いて、対象物の車両１０に対する距離ｚを算出する。
ここで、図１９を参照して、変化率Ｒateを用いて対象物の車両１０に対する距離ｚを算出する手法について説明する。
図１９中、Ｉm1は撮像時点ｔ10における赤外線カメラ２の撮像画像であり、Ｉm2は該時点ｔ10からdＴ経過した時点ｔ11における赤外線カメラ２の撮像画像である。
Ｉm1においては対象物として歩行者の画像部分３０が撮像されており、Ｉm2においては同一の歩行者の画像部分３１が撮像されている。図１９は歩行者が車両１０に向かって歩いてきている状況を示しており、Ｉm1の撮像時点ｔ10よりもＩm2の撮像時点ｔ11の方が、歩行者が車両１０に接近しているため、Ｉm1における歩行者の画像部分３０の幅ｗ10よりもＩm2における歩行者の画像部分３１の幅ｗ11の方が、大きくなっている。
このとき、変化率Ｒateと今回の撮像時（撮像時点ｔ11）における車両１０から対象物までの距離Ｚ1は以下の式（４）の関係にある。
Figure 2009042941
但し、ｗ11：対象物の今回の撮像時（撮像時点ｔ11）の画像部分の幅、ｗ10：対象物の前回の撮像時（撮像時点ｔ10）の画像部分の幅、ｆ：赤外線カメラ２の焦点距離、Ｗ：実空間における対象物の幅、Ｚ1：今回の撮像時（撮像時点ｔ11）における車両１０から対象物までの距離、Ｚ0：前回の撮像時（撮像時点ｔ10）における車両１０から対象物までの距離、Ｖs：車両１０と対象物間の相対速度、dＴ：撮像間隔。
このとき、画像処理ユニット１は、上記式（４）において、自車両１０と対象物間の相対速度Ｖs（＝車両の走行速度Ｖj＋対象物の移動速度Ｖd）を、自車両１０の速度Ｖjが対象物の移動速度Ｖdよりも十分に高いとみなして、自車両１０の走行速度Ｖjに置き換えて変形した以下の式（５）により、今回の対象物までの距離Ｚ1を算出する。
Figure 2009042941
但し、Ｚ1：今回の対象物までの距離、Ｒate：変化率、Ｖj：車両の走行速度、dＴ：撮像間隔。
また、実空間位置算出手段２３は、前回の撮像時における対象物までの距離Ｚ0を、以下の式（６）により算出する。
Figure 2009042941
但し、Ｚ0：前回の撮像時における対象物までの距離、Ｚ1：今回の撮像時における対象物までの距離、Ｖj：車両の走行速度、dＴ：撮像間隔。
このように、上記式（５）と式（６）により、画像処理ユニット１は、今回の撮像時における車両１０から対象物までの距離Ｚ1と、前回の撮像時における車両１０から対象物までの距離Ｚ0とを算出する。
そして、この算出された距離ｚ（＝Ｚ1）を用いて、画像処理ユニット１は、第１実施形態と同様に、画像内の座標（ｘ，ｙ）及び距離Ｚ1を、実空間座標に変換して、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する。また、この距離Ｚ1，Ｚ0が、図６の生体判定処理において、対象物の距離として用いられる。
次に、本実施形態のＳＴＥＰ２０１の、対象物の領域を抽出する処理について説明する。以下では、図２０（ａ）（ｂ）に例示するように、時刻ｋ１に撮像された画像Ｉk1と、時刻ｋ２に撮像された画像Ｉk2を用いて、時刻ｋ１における対象物領域Ｒk1を抽出する場合を例に説明する。
まず、画像処理ユニット１は、赤外線カメラ２により撮像された画像Ｉk1，Ｉk2に２値化処理等を施して、さらにラベリング処理等を施し、２値化対象物Ｔk1，Ｔk2を抽出する。そして、２値化対象物Ｔk1，Ｔk2の重心位置を通る縦方向のラインを基準ラインＬk1，Ｌk2とする。
次に、画像処理ユニット１は、画像Ｉk2の２値化対象物Ｔk2の上下方向に、基準ラインＬk2を横方向の中心位置とした複数のマスク領域M２(1)〜Ｍ２(12)を設定する。図２０（ａ）に、設定されたマスク領域M２(1)〜Ｍ２(12)を示す。次に、画像処理ユニット１は、マスク領域M２(1)〜Ｍ２(12)を探索画像として、画像Ｉk2内で上述のＳＴＥＰ１１と同様に、相関演算を実行して探索画像に対応するマスク領域M1(1)〜Ｍ1(12)を抽出する。図２０（ｂ）は、パターンマッチングの結果を示す。このとき、マスク領域M1(6)〜Ｍ1(9)は、対象物に相当する領域であり、マスク領域M1(1)〜Ｍ1(5)は、背景に対応する領域であり、マスク領域M1(10)〜Ｍ1(12)は、路面に対応する領域である。
次に、画像処理ユニット１は、画像Ｉk1で抽出された各マスク領域M1(1)〜Ｍ1(12)について、その重心位置の基準ラインＬk1に対するずれ量Ｄを算出する。次に、画像処理ユニット１は、算出されたずれ量Ｄが閾値ＴＨよりも小さい領域を抽出する。すなわち、対象物が撮像されている領域では、マスク領域の２値化対象物に対する相対的な位置関係が変わらないため、パターンマッチングの結果は、基準ラインＬk1にほぼ１列に並ぶ。一方、背景や路面が撮像されている領域では、パターンマッチングの結果がばらつく。よって、ずれ量Ｄが小さい領域を抽出することで、対象物が撮像されている領域が適切に抽出される。そして、画像処理ユニット１は、２値化対象物Ｔk1と、抽出されたマスク領域とを含む領域を、対象物領域Ｒk1として抽出する。これにより、対象物領域Ｒk1が適切に抽出される。他の作動は第１実施形態と同じである。
以上の処理により、本実施形態によれば、第１実施形態と同様に、車両周辺を撮像した画像により抽出された対象物の動きの周期性を適切に判断し、対象物（歩行者等の生体）の種別を精度良く判定することができる。これにより、自車両１０の運転者に情報の提示等を適切に行うことができる。このとき、本実施形態によれば、１つの赤外線カメラ２のみを用いて処理が可能であり、簡易な構成とすることができる。
なお、本実施形態は、第１実施形態において、１つの赤外線カメラ２のみを備えるものとしたが、第２〜第５実施形態において、１つの赤外線カメラ２のみを備えるものとしてもよい。
［第７実施形態］
次に、本発明の第７実施形態について説明する。なお、本実施形態は、第６実施形態と、対象物領域抽出手段１１および対象物端点抽出手段１２の処理のみが相違する。以下の説明では、第６実施形態と同一の構成については、第６実施形態と同一の参照符号を用いて説明を省略する。
本実施形態の対象物種別判定装置において、対象物領域抽出手段１１は、２値化対象物の周辺の画像領域について、互いに異なる時刻に撮像された２つの画像内にそれぞれ複数のマスク領域を設定し、該２つの画像間で対応する位置に設定された各マスク領域について相関演算を行うことにより対象物の領域を抽出する。
そして、対象物端点抽出手段１２は、対象物領域抽出手段１１により抽出された対象物の領域に含まれる複数のマスク領域の位置情報を用いて、該対象物の端点を抽出する。他の構成は、第６実施形態と同じである。
次に、本実施形態の対象物種別判定装置の作動を説明する。なお、本実施形態における対象物種別判定装置の作動は、第６実施形態と、図６の生体判定処理におけるＳＴＥＰ２０１，２０２の処理のみが相違するものである。以下では、図２１に例示するように、時刻ｋ１に撮像された画像Ｉg(1)と、時刻ｋ２に撮像された画像Ｉg(2)を用いて、画像Ｉg(2)の対象物領域を抽出する場合を例に説明する。
本実施形態のＳＴＥＰ２０１において、画像処理ユニット１は、異なる時点におけるグレースケール画像Ｉg(1)，Ｉg(2)間において、２値化画像との相対的な位置関係の変化率が所定レベル以下であって、特徴量の相関度が所定レベル以上である周辺画像領域を抽出し、２値化画像と抽出された周辺画像領域を含む領域を対象物領域として抽出する。
画像処理ユニット１は、まず、グレースケール画像Ｉg(2)の２値化画像の周囲にマスク領域を設定する。具体的には、図２１（ａ）に示したように、２値化画像Ａ1の周囲にマトリックス状に５０個のマスク領域Ｍ1（Ｍ1(0,0)、Ｍ1(1,0)、…、Ｍ1(5,8)）を設定する。なお、各マスク領域における黒点は各マスク領域の重心位置を示している。
次に、画像処理ユニット１は、グレースケール画像Ｉg(1)から周辺画像領域を抽出する。具体的には、図２１（ａ）に示した各マスク領域Ｍ1(0,0)〜Ｍ1(5,8)を、変化率Ｒateでアフィン変換した比較パターンについて、グレースケール画像Ｉg(2)に対してパターンマッチング処理（相関演算）を実行する。
図２１（ｂ）は、パターンマッチングの結果を示したものであり、図２１（ａ）の歩行者の胴部及び脚部の画像Ｂ1に対応するＢ2を含む９個の周辺画像領域Ｍ2(2,3)、Ｍ2(3,3)、Ｍ2(2,4)、Ｍ2(3,4)、Ｍ2(2,5)、Ｍ2(3,5)、Ｍ2(1,6)、Ｍ2(2,6)、Ｍ2(3,6)が抽出されている。例えば、図２１（ｂ）のＭ2(2,3)は、図２１（ａ）のＭ1(2,3)をアフィン変換した比較パターンにより抽出された領域を示しており、図２１（ｂ）のＭ2(3,3)は、図２１（ａ）のＭ1(3,3)をアフィン変換した比較パターンにより抽出された領域を示している。
図２１（ｂ）中の黒点は、図２１（ａ）におけるマスク領域Ｍ1(2,3)、Ｍ1(3,3)、Ｍ1(2,4)、Ｍ1(3,4)、Ｍ1(2,5)、Ｍ1(3,5)、Ｍ1(1,6)、Ｍ1(2,6)、Ｍ1(3,6)の各重心位置に対応した位置（２値化対象物Ａ2に対して、マスク領域Ｍ1を変化率Ｒateで縮小した領域の重心位置）を示している。また、図２１（ｂ）中の×点は、パターンマッチングにより抽出された各領域Ｍ2の重心位置を示している。
画像処理ユニット１は、以下の式（７）により、パターンマッチングにより抽出された各領域の重心位置（xm(i,j)，ym(i,j))と、マスク領域に対応した重心位置（xb(i,j)，yb(i,j)）とのずれ量Ｄが、閾値ＴＨよりも小さいか否かを判断する。なお、i,jはマスク領域のインデックスを示している。
Figure 2009042941
但し、Ｄ：マスク領域に対応した重心位置とパターンマッチングにより抽出された領域の重心位置とのずれ量、ＴＨ：閾値。
そして、対象物抽出手段２０は、ずれ量Ｄが閾値ＴＨよりも小さい領域を周辺画像領域として抽出する。これにより、図２１（ｂ）の例では、歩行者の胴部及び脚部の画像Ｂ２を含む９個の領域が周辺画像領域として抽出される。
次に、画像処理ユニット１は、２値化対象物Ａ２と周辺画像領域を含む領域を対象物領域（同一の対象物の画像領域）として抽出する。図２１（ｂ）の例では、２値化対象物Ａ2と、周辺画像領域Ｍ2(2,3)、Ｍ2(3,3)、Ｍ2(2,4)、Ｍ2(3,4)、Ｍ2(2,5)、Ｍ2(3,5)、Ｍ2(1,6)、Ｍ2(2,6)、Ｍ2(3,6)を含む領域が、対象物領域として抽出される。このように、各マスク領域についてパターンマッチングを行うことにより、対象物領域の局所的な相関度のレベルが反映されて、対象物領域が精度良く抽出される。
なお、図２１（ａ）では、２値化対象物Ａ1の上下左右に格子状にマスク領域Ｍ1(0,0)〜Ｍ1(5,8)を設定したが、対象物が限定される場合には、対象物の形状に合わせてマスク領域を設定することで、効率良く周辺画像領域を抽出することができる。
次に、ＳＴＥＰ２０２で、画像処理ユニット１は、抽出した対象物領域において、第１実施形態と同様に、脚検出領域を設定する。そして、画像処理ユニット１は、脚検出領域のうちの最も左にあるマスク領域の重心位置の点と、最も右にあるマスク領域の重心位置の点を、それぞれ端点として抽出する。図２１（ｂ）では、Ｍ2(1,6)とＭ2(3,6)の重心位置の点が対象物の端点として抽出される。
これにより、ＳＴＥＰ２０４で、画像処理ユニット１は、抽出された２つの端点の横方向の差から、幅ｗを算出する。他の作動は第６実施形態と同様である。
以上の処理により、本実施形態によれば、第６実施形態と同様に、車両周辺を撮像した画像により抽出された対象物の動きの周期性を適切に判断し、対象物（歩行者等の生体）の種別を精度良く判定することができる。これにより、自車両１０の運転者に情報の提示等を適切に行うことができる。
なお、第１〜第５実施形態において、本実施形態における相関演算を用いて対象物の領域及び端点を抽出する処理を適用することも可能である。すなわち、例えば、第１〜第５実施形態において、図３のＳＴＥＰ１１〜１４における対象物の距離を算出する処理はそのまま（２つの赤外線カメラ２Ｒ，２Ｌの撮像画像の視差を用いる）とし、図６のＳＴＥＰ２０１における対象物領域を抽出する処理、及びＳＴＥＰ２０３における端点を抽出する処理のみに、本実施形態のＳＴＥＰ２０１，２０３と同様の、相関演算を用いて対象物の領域及び端点を抽出する処理を適用する。
［第８実施形態］
次に、本発明の第８実施形態について、図２２を参照して説明する。図２２は、本実施形態における対象物種別判定装置の機能ブロック図である。なお、本実施形態は、第１実施形態において、画像処理ユニット１に、２つの赤外線カメラ２Ｒ，２Ｌの代わりに、１つの赤外線カメラ２を備えると共に、車両１０の前方の対象物の車両１０に対する距離を検知するレーダ２０を備えるものである。以下の説明では、第１実施形態と同一の構成については、第１実施形態と同一の参照符号を用いて説明を省略する。
本実施形態において、赤外線カメラ２は、自車両１０の前方を撮像するために、自車両１０の前部に取り付けられている。また、レーダ２０は、例えばミリ波レーダ等であり、自車両１０の前部に取り付けられている。なお、赤外線カメラ２は、本発明の撮像手段に相当する。
そして、画像処理ユニット１は、レーダ２０による検知結果を用いて、対象物及び画像領域の車両１０に対する距離を算出する。具体的には、画像処理ユニット１は、赤外線カメラ２で撮像された画像から抽出された対象物と、レーダ２０で検知された対象物とを、赤外線カメラ２及びレーダ２０の取り付け位置、赤外線カメラ２の撮像領域、及びレーダ２０の検知領域の位置関係に基づいて対応付ける。これにより、画像処理ユニット１は、レーダ２０により検知される対象物の距離から、対象物及び画像領域の車両１０に対する距離を算出する。他の構成は第１実施形態と同じである。
次に、本実施形態の対象物種別判定装置の作動を説明する。なお、本実施形態における対象物種別判定装置の対象物検出・注意喚起動作は、第１実施形態と、図３のＳＴＥＰ１１〜１４における対象物の距離を算出する処理、及び図６のＳＴＥＰ２０１における画像領域の距離を算出する処理のみが相違するものである。
本実施形態では、画像処理ユニット１は、上述のようなＳＴＥＰ１１〜１４を実行する代わりに、レーダ２０による検知結果を用いて自車両１０と対象物との距離ｚを算出する。具体的には、まず、画像処理ユニット１は、レーダ２０から検知結果を取得する。次に、画像処理ユニット１は、レーダ２０による検知結果と、ＳＴＥＰ７で抽出された対象物とを対応付け、自車両１０と対象物との距離ｚを算出する。そして、この算出された距離ｚを用いて、画像処理ユニット１は、第１実施形態と同様に、画像内の座標（ｘ，ｙ）及び距離ｚを、実空間座標に変換して、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ１５）。また、この距離ｚが、図６の生体判定処理において、対象物の距離として用いられる。さらに、生体判定処理において、レーダ２０による検知結果を用いて、対象物の距離と同様に、画像領域の距離が算出される。以上説明した以外の作動は第１実施形態と同じである。
以上の処理により、本実施形態によれば、第１実施形態と同様に、車両周辺を撮像した画像により抽出された対象物の動きの周期性を適切に判断し、対象物（歩行者等の生体）の種別を精度良く判定することができる。これにより、自車両１０の運転者に情報の提示等を適切に行うことができる。
なお、本実施形態の生体判定処理において、ＳＴＥＰ２０１の対象物領域を抽出する処理の代わりに、第６実施形態に示した、１つの赤外線カメラ２の撮像画像から相関演算を用いて対象物の領域を抽出する処理を用いるものとしてもよい。
また、本実施形態の生体判定処理において、ＳＴＥＰ２０１の対象物領域を抽出する処理及びＳＴＥＰ２０３の対象物の端点を抽出する処理の代わりに、第７実施形態に示した、１つの赤外線カメラ２の撮像画像から相関演算を用いて対象物の領域及び端点を抽出する処理を用いるものとしてもよい。
また、本実施形態は、第１実施形態において、１つの赤外線カメラ２およびレーダ２０を備えるものとしたが、第２〜第５実施形態において、１つの赤外線カメラ２およびレーダ２０を備えるものとしてもよい。
また、第１〜第８実施形態において、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なＣＣＤカメラ等を使用してもよい。ただし、赤外線カメラを用いることにより、歩行者や走行中の車両等の抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現可能とすることができる。
また、第１〜第８実施形態において、対象物種別判定装置は、車両１０に搭載されるものとしたが、例えば車両以外の移動体等に搭載されるものとしてもよい。
本発明の第１実施形態による対象物種別判定装置の機能ブロック図。 図１に示した対象物種別判定装置の車両への取り付け態様の説明図。 図１の対象物種別判定装置の画像処理ユニットにおける対象物検出・注意喚起動作を示すフローチャート。 図３の対象物検出・注意喚起動作における注意喚起判定処理のフローチャート。 図４の注意喚起判定処理における車両前方の領域区分を示す説明図。 図４の注意喚起判定処理における生体判定処理のフローチャート。 図６の生体判定処理における時系列画像の例示図。 図６の生体判定処理における対象物の領域を抽出する処理の説明図。 図６の生体判定処理における対象物を時刻間追跡する処理の説明図。 図６の生体判定処理における対象物の端点を抽出する処理の説明図。 図６の生体判定処理における周期性を判断する処理の説明図。 図６の生体判定処理における時系列画像の他の例示図。 本発明の第２実施形態の対象物種別判定装置の生体判定処理の説明図。 本発明の第３実施形態の対象物種別判定装置の生体判定処理の説明図。 図１４の生体判定処理における対象物の時刻間追跡の処理の説明図。 図１４の生体判定処理における周期性を判断する処理の説明図。 本発明の第６実施形態による対象物種別判定装置の機能ブロック図。 図１７の対象物種別判定装置における対象物の大きさの変化率を時系列画像間の相関演算により算出する処理の説明図。 図１７の対象物種別判定装置における対象物の車両に対する距離を算出する処理の説明図。 図１７の対象物種別判定装置における対象物領域抽出処理の説明図。 本発明の第７実施形態の対象物種別判定装置における生体判定処理の説明図。 本発明の第８実施形態による対象物種別判定装置の機能ブロック図。
符号の説明
１…画像処理ユニット、２，２Ｒ，２Ｌ…赤外線カメラ（撮像手段）、１０…車両、１１…対象物領域抽出手段、１２…対象物端点抽出手段、１３…対象物周期性判断手段、１４…生体判定手段、１５…第１の特定部位抽出手段、１６…第２の特定部位抽出手段、２０…レーダ。

Claims (15)

  1. 撮像手段により撮像された画像中の対象物の種別を判定する対象物種別判定装置において、
    前記撮像手段により撮像された画像から対象物の領域を抽出する対象物領域抽出手段と、
    前記対象物領域抽出手段により抽出された対象物の領域から、該対象物の端点を抽出する対象物端点抽出手段と、
    前記撮像手段により撮像された時系列画像の各画像について、前記対象物領域抽出手段により抽出された対象物の領域から、前記対象物端点抽出手段により抽出された該対象物の端点を用いて、該対象物のサイズを表す特徴量の時系列データを算出し、該特徴量が所定の周期性を有する変化をしているか否かを判断する対象物周期性判断手段と、
    前記対象物周期性判断手段により前記特徴量が周期性を有する変化をしていると判断された対象物を生体と判定する生体判定手段と
    を備えることを特徴とする対象物種別判定装置。
  2. 請求項１記載の対象物種別判定装置において、
    前記対象物周期性判断手段は、前記対象物のサイズを表す特徴量として、前記対象物の領域のうちの下部分領域における該対象物の幅を用いることを特徴とする対象物種別判定装置。
  3. 請求項１又は２記載の対象物種別判定装置において、
    前記対象物周期性判断手段は、前記対象物のサイズを表す特徴量として、前記対象物の高さを用いることを特徴とする対象物種別判定装置。
  4. 請求項１〜３のうちいずれか記載の対象物種別判定装置において、
    前記対象物領域抽出手段により抽出された対象物の領域から、該対象物の特定部位を抽出する第１の特定部位抽出手段を備え、
    対象物端点抽出手段は、前記第１の特定部位抽出手段により抽出された対象物の特定部位の端点を抽出し、
    前記対象物周期性判断手段は、前記対象物のサイズを表す特徴量として、該対象物の特定部位の高さを用いることを特徴とする対象物種別判定装置。
  5. 請求項１〜４のうちいずれか記載の対象物種別判定装置において、
    前記対象物領域抽出手段により抽出された対象物の領域から、該対象物の一組の特定部位を抽出する第２の特定部位抽出手段を備え、
    対象物端点抽出手段は、前記第２の特定部位抽出手段により抽出された対象物の一組の特定部位の端点を抽出し、
    前記対象物周期性判断手段は、前記対象物のサイズを表す特徴量として、該対象物の一組の特定部位の高さの差を用いることを特徴とする対象物種別判定装置。
  6. 請求項１記載の対象物種別判定装置において、
    前記対象物周期性判断手段は、前記対象物のサイズを表す特徴量の時系列データに基づいて、該特徴量が所定の周期性を有する変化をしているか否かを判断するための、少なくとも１つ以上の判定条件を有し、該少なくとも１つ以上の判定条件のうち所定数以上の判定条件による判定結果が、該特徴量が所定の周期性を有する変化をしていることを示す場合に、該特徴量が所定の周期性を有すると判断することを特徴とする対象物種別判定装置。
  7. 請求項６記載の対象物種別判定装置において、
    前記対象物周期性判断手段は、前記判定条件として、前記対象物領域のうちの下部分領域における前記対象物の幅を前記特徴量とした判定条件、該対象物の高さを前記特徴量とした判定条件、該対象物の特定部位の高さを前記特徴量とした判定条件、及び該対象物の一組の特定部位の高さの差を前記特徴量とした判定条件のうち少なくとも１つの判定条件を用いることを特徴とする対象物種別判定装置。
  8. 請求項１〜７のうちいずれか記載の対象物種別判定装置において、
    前記対象物端点抽出手段は、前記対象物領域抽出手段により抽出された対象物の領域に対してエッジ抽出処理を行うことにより、該対象物の端点を抽出することを特徴とする対象物種別判定装置。
  9. 請求項１〜７のうちいずれか記載の対象物種別判定装置において、
    前記対象物領域抽出手段は、互いに異なる時刻に撮像された２つの画像内にそれぞれ複数のマスク領域を設定し、該２つの画像間で対応する位置に設定された各マスク領域について相関演算を行うことにより対象物の領域を抽出し、
    前記対象物端点抽出手段は、前記対象物領域抽出手段により抽出された対象物の領域に含まれる前記複数のマスク領域の位置情報を用いて、該対象物の端点を抽出することを特徴とする対象物種別判定装置。
  10. 請求項１〜９のうちいずれか記載の対象物種別判定装置において、
    前記対象物周期性判断手段は、互いに異なる時刻に撮像された２つの画像について、一方の画像から抽出された第１の対象物の領域のうちの上部分領域をテンプレートとして、他方の画像中の該第１の対象物に対応する第２の対象物をテンプレートマッチングにより抽出することにより、複数時刻間の対象物を対応付けて、該対象物のサイズを表す特徴量の時系列データを算出することを特徴とする対象物種別判定装置。
  11. 請求項１〜１０のうちいずれか記載の対象物種別判定装置において、
    前記対象物周期性判断手段は、前記特徴量の実空間における最大変化量が、所定範囲内であるか否かを判断し、
    前記生体判定手段は、前記対象物周期性判断手段により、前記特徴量が周期性を有する変化をしていると判断され、且つ前記特徴量の実空間における最大変化量が所定範囲内であると判断された対象物を生体と判定することを特徴とする対象物種別判定装置。
  12. 請求項１〜１１のうちいずれか記載の対象物種別判定装置において、
    前記撮像手段は、赤外線カメラであることを特徴とする対象物種別判定装置。
  13. 請求項１〜１２のうちいずれか記載の対象物種別判定装置が搭載されたことを特徴とする車両。
  14. 撮像手段により撮像された画像中の対象物の種別を判定する対象物種別判定方法であって、
    前記撮像手段により撮像された画像から対象物の領域を抽出する対象物領域抽出ステップと、
    前記対象物抽出ステップにより抽出された対象物の領域から、該対象物の端点を抽出する対象物端点抽出手段と、
    前記撮像手段により撮像された時系列画像の各画像について、前記対象物抽出ステップにより抽出された対象物の領域から、前記対象物端点抽出ステップにより抽出された該対象物の端点を用いて、該特徴量の時系列データを算出し、該特徴量が所定の周期性を有する変化をしているか否かを判断する対象物周期性判断ステップと、
    前記対象物周期性判断ステップにより前記特徴量が周期性を有する変化をしていると判断された対象物を生体と判定する生体判定ステップと
    を備えるを備えたことを特徴とする対象物検出方法。
  15. 撮像手段により撮像された画像中の対象物の種別を判定する処理をコンピュータに実行させる対象物種別判定用プログラムであって、
    前記撮像手段により撮像された画像から対象物の領域を抽出する対象物領域抽出処理と、
    前記対象物抽出処理により抽出された対象物の領域から、該対象物の端点を抽出する対象物端点抽出処理と、
    前記撮像手段により撮像された時系列画像の各画像について、前記対象物抽出処理により抽出された対象物の領域から、前記対象物端点抽出処理により抽出された該対象物の端点を用いて、該対象物の大きさを表す得量の時系列データを算出し、該特徴量が所定の周期性を有する変化をしているか否かを判断する対象物周期性判断処理と、
    前記対象物周期性判断処理により前記特徴量が周期性を有する変化をしていると判断された対象物を生体と判定する生体判定処理と
    を前記コンピュータに実行させる機能を有することを特徴とする対象物種別判定用プログラム。
JP2007205938A 2007-08-07 2007-08-07 対象物種別判定装置、車両 Expired - Fee Related JP4470067B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007205938A JP4470067B2 (ja) 2007-08-07 2007-08-07 対象物種別判定装置、車両
US12/218,517 US8306263B2 (en) 2007-08-07 2008-07-16 Object type determination apparatus, vehicle, object type determination method, and program for determining object type
EP08013559A EP2023267B1 (en) 2007-08-07 2008-07-28 Object type determination apparatus, vehicle and object type determination method
DE602008000888T DE602008000888D1 (de) 2007-08-07 2008-07-28 Vorrichtung zur Bestimmung von Objekttypen sowie Verfahren zur Bestimmung von Fahrzeug- und Objekttypen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007205938A JP4470067B2 (ja) 2007-08-07 2007-08-07 対象物種別判定装置、車両

Publications (2)

Publication Number Publication Date
JP2009042941A true JP2009042941A (ja) 2009-02-26
JP4470067B2 JP4470067B2 (ja) 2010-06-02

Family

ID=39790389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007205938A Expired - Fee Related JP4470067B2 (ja) 2007-08-07 2007-08-07 対象物種別判定装置、車両

Country Status (4)

Country Link
US (1) US8306263B2 (ja)
EP (1) EP2023267B1 (ja)
JP (1) JP4470067B2 (ja)
DE (1) DE602008000888D1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010205087A (ja) * 2009-03-04 2010-09-16 Honda Motor Co Ltd 車両の周辺監視装置
JP2010218246A (ja) * 2009-03-17 2010-09-30 Toyota Motor Corp 物体識別装置
JP2012033152A (ja) * 2010-07-29 2012-02-16 Tata Consultancy Services Ltd ビデオ監視時に移動物体を分類するシステムおよび方法
JP2012141740A (ja) * 2010-12-28 2012-07-26 Clarion Co Ltd 車両用外界認識装置およびそれを用いた車両システム
JP2012186536A (ja) * 2011-03-03 2012-09-27 Nikon Corp 電子機器及びグループ化方法
JP2013073311A (ja) * 2011-09-27 2013-04-22 Honda Motor Co Ltd 対象物種別判定装置
JP2014085920A (ja) * 2012-10-25 2014-05-12 Honda Motor Co Ltd 車両周辺監視装置
DE102013217370A1 (de) 2012-09-01 2014-10-02 Honda Motor Co., Ltd. Fahrzeugumgebung-Überwachungseinrichtung
JPWO2012172629A1 (ja) * 2011-06-13 2015-02-23 トヨタ自動車株式会社 歩行者動作予測装置
US9177196B2 (en) 2011-06-27 2015-11-03 Clarion Co., Ltd. Vehicle periphery monitoring system
JP2016186780A (ja) * 2015-03-27 2016-10-27 中日本高速道路株式会社 移動体検出装置
JP2020021111A (ja) * 2018-07-30 2020-02-06 株式会社トヨタシステムズ 種別判定プログラム、種別判定装置及び種別判定方法
WO2020240737A1 (ja) * 2019-05-29 2020-12-03 日本電信電話株式会社 映像生成装置、映像生成方法、及び映像生成プログラム
WO2022130709A1 (ja) * 2020-12-16 2022-06-23 日立Astemo株式会社 物体識別装置、および、物体識別方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2009099022A1 (ja) * 2008-02-04 2011-05-26 コニカミノルタホールディングス株式会社 周辺監視装置及び周辺監視方法
US8577595B2 (en) * 2008-07-17 2013-11-05 Memsic, Inc. Location and path-map generation data acquisition and analysis systems
JP5287385B2 (ja) * 2009-03-13 2013-09-11 オムロン株式会社 計測装置
JP5270794B2 (ja) * 2009-09-03 2013-08-21 本田技研工業株式会社 車両周辺監視装置
JP5401344B2 (ja) * 2010-01-28 2014-01-29 日立オートモティブシステムズ株式会社 車両用外界認識装置
EP2544162B1 (en) * 2010-03-01 2015-04-29 Honda Motor Co., Ltd. Surrounding area monitoring device for vehicle
JP5320331B2 (ja) * 2010-03-17 2013-10-23 日立オートモティブシステムズ株式会社 車載用環境認識装置及び車載用環境認識システム
US9185388B2 (en) * 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
JP5569365B2 (ja) * 2010-11-30 2014-08-13 アイシン・エィ・ダブリュ株式会社 案内装置、案内方法、及び案内プログラム
DE102011106520A1 (de) * 2011-06-15 2011-12-15 Daimler Ag Verfahren zur Verhinderung einer Kollision eines Fahrzeuges und Fahrerassistenzsystem für ein Fahrzeug
EP2711912A4 (en) * 2011-09-28 2015-04-22 Honda Motor Co Ltd BIOMETRIC DEVICE
JP5754605B2 (ja) * 2011-11-01 2015-07-29 アイシン精機株式会社 障害物警報装置
JP5548667B2 (ja) * 2011-11-24 2014-07-16 富士重工業株式会社 車外環境認識装置
WO2013077096A1 (ja) * 2011-11-25 2013-05-30 本田技研工業株式会社 車両周辺監視装置
US9599508B2 (en) 2012-05-18 2017-03-21 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system
WO2013173541A1 (en) * 2012-05-18 2013-11-21 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system for chemical detection
EP2669846B1 (en) * 2012-06-01 2017-11-01 Ricoh Company, Ltd. Target recognition system and target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program
JP2014089521A (ja) * 2012-10-29 2014-05-15 Toshiba Corp 検出装置、映像表示システムおよび検出方法
JP5987660B2 (ja) * 2012-11-30 2016-09-07 富士通株式会社 画像処理装置、画像処理方法及びプログラム
US20140169624A1 (en) * 2012-12-14 2014-06-19 Hyundai Motor Company Image based pedestrian sensing apparatus and method
JP5809653B2 (ja) * 2013-02-28 2015-11-11 富士フイルム株式会社 車間距離算出装置およびその動作制御方法
DE102013207223A1 (de) * 2013-04-22 2014-10-23 Ford Global Technologies, Llc Verfahren zur Erkennung von nicht motorisierten Verkehrsteilnehmern
US10210399B2 (en) * 2013-12-20 2019-02-19 Magna Electronics Inc. Vehicle vision system with image processing
JP6130325B2 (ja) * 2014-04-24 2017-05-17 本田技研工業株式会社 道路環境認識装置
JP6407626B2 (ja) * 2014-08-26 2018-10-17 日立オートモティブシステムズ株式会社 物体認識装置及び車両制御システム
WO2016098238A1 (ja) * 2014-12-19 2016-06-23 株式会社日立製作所 走行制御装置
US20160259034A1 (en) * 2015-03-04 2016-09-08 Panasonic Intellectual Property Management Co., Ltd. Position estimation device and position estimation method
KR102451091B1 (ko) * 2015-07-08 2022-10-05 엘지이노텍 주식회사 차량용 이동체 정보 제공 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
DE102016115327A1 (de) * 2016-08-18 2018-02-22 Connaught Electronics Ltd. Verfahren zum Erkennen zumindest eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs anhand von Objektmerkmalen aus Bildern, Kamerasystem sowie Kraftfahrzeug
DE102018200814B3 (de) 2018-01-18 2019-07-18 Audi Ag Verfahren zum Betrieb eines zur vollständig automatischen Führung eines Kraftfahrzeugs ausgebildeten Fahrzeugführungssystems des Kraftfahrzeugs und Kraftfahrzeug
US11094191B2 (en) * 2018-04-27 2021-08-17 Iurii V. Iuzifovich Distributed safety infrastructure for autonomous vehicles and methods of use
JP7446756B2 (ja) * 2019-10-02 2024-03-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN111191356A (zh) * 2019-12-24 2020-05-22 乐软科技（北京）有限责任公司 一种基于虚拟现实的昏暗环境探测仿真方法
CN111223073A (zh) * 2019-12-24 2020-06-02 乐软科技（北京）有限责任公司 一种虚拟探测系统
US11967104B1 (en) * 2020-12-23 2024-04-23 United States Of America As Represented By The Secretary Of The Air Force Method for determining the actual location of an object in a camera field of view

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750825A (ja) 1993-05-24 1995-02-21 Hideo Mori 人間動物監視システム
JP4267171B2 (ja) 1999-05-10 2009-05-27 本田技研工業株式会社 歩行者検知装置
JP3515926B2 (ja) 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
JP3756452B2 (ja) * 2002-01-18 2006-03-15 本田技研工業株式会社 赤外線画像処理装置
US7330566B2 (en) * 2003-05-15 2008-02-12 Microsoft Corporation Video-based gait recognition

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010205087A (ja) * 2009-03-04 2010-09-16 Honda Motor Co Ltd 車両の周辺監視装置
JP2010218246A (ja) * 2009-03-17 2010-09-30 Toyota Motor Corp 物体識別装置
JP2012033152A (ja) * 2010-07-29 2012-02-16 Tata Consultancy Services Ltd ビデオ監視時に移動物体を分類するシステムおよび方法
JP2012141740A (ja) * 2010-12-28 2012-07-26 Clarion Co Ltd 車両用外界認識装置およびそれを用いた車両システム
JP2012186536A (ja) * 2011-03-03 2012-09-27 Nikon Corp 電子機器及びグループ化方法
JPWO2012172629A1 (ja) * 2011-06-13 2015-02-23 トヨタ自動車株式会社 歩行者動作予測装置
US9507998B2 (en) 2011-06-13 2016-11-29 Toyota Jidosha Kabushiki Kaisha Pedestrian motion predicting device
US9177196B2 (en) 2011-06-27 2015-11-03 Clarion Co., Ltd. Vehicle periphery monitoring system
JP2013073311A (ja) * 2011-09-27 2013-04-22 Honda Motor Co Ltd 対象物種別判定装置
US9135798B2 (en) 2012-09-01 2015-09-15 Honda Motor Co., Ltd. Vehicle periphery monitoring device
DE102013217370A1 (de) 2012-09-01 2014-10-02 Honda Motor Co., Ltd. Fahrzeugumgebung-Überwachungseinrichtung
DE102013217370B4 (de) 2012-09-01 2021-11-04 Honda Motor Co., Ltd. Fahrzeugumgebung-Überwachungseinrichtung
JP2014085920A (ja) * 2012-10-25 2014-05-12 Honda Motor Co Ltd 車両周辺監視装置
JP2016186780A (ja) * 2015-03-27 2016-10-27 中日本高速道路株式会社 移動体検出装置
JP2020021111A (ja) * 2018-07-30 2020-02-06 株式会社トヨタシステムズ 種別判定プログラム、種別判定装置及び種別判定方法
WO2020240737A1 (ja) * 2019-05-29 2020-12-03 日本電信電話株式会社 映像生成装置、映像生成方法、及び映像生成プログラム
JPWO2020240737A1 (ja) * 2019-05-29 2020-12-03
JP7269515B2 (ja) 2019-05-29 2023-05-09 日本電信電話株式会社 映像生成装置、映像生成方法、及び映像生成プログラム
WO2022130709A1 (ja) * 2020-12-16 2022-06-23 日立Astemo株式会社 物体識別装置、および、物体識別方法
JP7482767B2 (ja) 2020-12-16 2024-05-14 日立Astemo株式会社 物体識別装置、および、物体識別方法

Also Published As

Publication number Publication date
DE602008000888D1 (de) 2010-05-12
US8306263B2 (en) 2012-11-06
JP4470067B2 (ja) 2010-06-02
US20090041302A1 (en) 2009-02-12
EP2023267B1 (en) 2010-03-31
EP2023267A1 (en) 2009-02-11

Similar Documents

Publication Publication Date Title
JP4470067B2 (ja) 対象物種別判定装置、車両
JP4410292B1 (ja) 車両の周辺監視装置
JP4173896B2 (ja) 車両周辺監視装置
JP4173901B2 (ja) 車両周辺監視装置
US7671725B2 (en) Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
JP4173902B2 (ja) 車両周辺監視装置
JP4271720B1 (ja) 車両周辺監視装置
JP4171501B2 (ja) 車両の周辺監視装置
JP2007193445A (ja) 車両の周辺監視装置
JP2003284057A (ja) 車両周辺監視装置
WO2011027907A1 (en) Vehicle vicinity monitoring apparatus
JP2003216937A (ja) ナイトビジョンシステム
JP2007249841A (ja) 画像認識装置
JP2007304033A (ja) 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム
JP4644273B2 (ja) 車両周辺監視装置
US9160986B2 (en) Device for monitoring surroundings of a vehicle
JP2007334511A (ja) 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム
JP4887537B2 (ja) 車両周辺監視装置
JP4627305B2 (ja) 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラム
JP4823753B2 (ja) 車両の周辺監視装置
US9030560B2 (en) Apparatus for monitoring surroundings of a vehicle
JP5430633B2 (ja) 車両周辺監視装置
JP5559121B2 (ja) 対象物種別判定装置
JP2008084138A (ja) 車両の周辺監視装置および周辺監視用プログラム
JP2007311866A (ja) 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090714

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100216

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140312

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees