JP2010079639A - 車両の歩行者検出装置 - Google Patents
車両の歩行者検出装置 Download PDFInfo
- Publication number
- JP2010079639A JP2010079639A JP2008247901A JP2008247901A JP2010079639A JP 2010079639 A JP2010079639 A JP 2010079639A JP 2008247901 A JP2008247901 A JP 2008247901A JP 2008247901 A JP2008247901 A JP 2008247901A JP 2010079639 A JP2010079639 A JP 2010079639A
- Authority
- JP
- Japan
- Prior art keywords
- pedestrian
- shape data
- dimensional shape
- dimensional
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】歩行者の将来動作を推定することで、歩行者の検出精度向上しつつ、検出時間短縮可能な歩行者検出装置を提供する。
【解決手段】歩行者を検出するための2次元形状データを記憶するデータベース8と、歩行者検出部7と、この歩行者検出部7により検出された歩行者の撮像データに基づき第1立体モデルM1を推定する立体モデル推定部9とを有し、第1立体モデルM1に基づいて歩行者の将来動作を推定する動作推定部10により撮像時点以降の歩行者の将来動作を把握するため、対応する2次元形状データを保有しない場合であっても、対象とする歩行者の検出を精度良く行うことができる。
【選択図】 図2
【解決手段】歩行者を検出するための2次元形状データを記憶するデータベース8と、歩行者検出部7と、この歩行者検出部7により検出された歩行者の撮像データに基づき第1立体モデルM1を推定する立体モデル推定部9とを有し、第1立体モデルM1に基づいて歩行者の将来動作を推定する動作推定部10により撮像時点以降の歩行者の将来動作を把握するため、対応する2次元形状データを保有しない場合であっても、対象とする歩行者の検出を精度良く行うことができる。
【選択図】 図2
Description
本発明は、車両の歩行者検出装置に関し、特に、特定の歩行者の将来動作を推定する歩行者検出制御に関するものである。
従来、自車両の周囲に存在する車両や歩行者等の障害物を検出するため、例えばCCDカメラやCMOSカメラ等の撮像手段を備え、この撮像画像を処理して車両の運転や走行に用いる情報を得る技術が知られている。
特許文献1は、車両に搭載される撮像手段によって撮像された車両周囲の画像からエッジ画像を生成し、歩行者候補の左右脚部の開度を検出すると共に、歩行者の身長に対する開度の比率を判定することで、歩行者候補による自車両の進行方向を横断する可能性を判定する技術を提案している。
特許文献1では、歩行者の脚部の状態に基づき、自車両の進路内に歩行者が侵入するか否かを判定することによって、相対的に複雑な挙動を採る歩行者の意思が適切に反映された脚部の状態から歩行者の移動方向や移動速度を精度良く推定し、自車両にとってこの歩行者が障害となる可能性を精度良く判定することができる。
特に、特許文献1の歩行者認識では、歩行者候補を含む領域の画像データから撮像された歩行者の輪郭点列を含むエッジ画像を生成し、予め記憶した人体に対するモデル画像等によるパターンマッチング処理を行い、エッジ画像に含まれる輪郭点列を直線等により認識して、歩行者候補の脚部の外形形状を識別している。
パターンマッチング処理では、予め記憶したモデルデータと画像データとを照合することから、様々な挙動に関するモデルデータを蓄積しておく必要があり、対応するモデルデータが存在しない場合、対象とする歩行者の検出が困難となり、検出精度の悪化の問題が生じる。
一方、様々な挙動に関するモデルデータを蓄積する場合、そのデータ作成には膨大なコストや製作時間が掛かる反面、車両毎に使用される状況が異なることから、その車両には不要であるモデルデータも存在することになる。しかも、モデルデータと歩行者の挙動後における撮像データとにより照合が開始されるため、モデルデータが多ければ、更に、照合判定の時間が増加する。
本発明の目的は、歩行者の将来動作を推定することで、歩行者の検出精度向上しつつ、検出時間短縮可能な歩行者検出装置を提供することである。
本発明の車両の歩行者検出装置は、車両に搭載された撮像手段と、この撮像手段によって撮像された撮像画像を画像処理する画像処理手段とを有し、この画像処理された撮像データに基づき歩行者を検出するものである。
請求項1の発明は、歩行者を検出するための2次元形状データを記憶する歩行者形状記憶手段と、前記撮像手段による撮像画像から得られた撮像データと前記歩行者の2次元形状データとに基づき歩行者を検出する歩行者検出手段と、この歩行者検出手段により検出された歩行者の撮像データに基づき第1立体モデルを推定する立体モデル推定手段と、前記第1立体モデルから前記歩行者の将来動作を推定する動作推定手段とを有することを特徴とする。
請求項1の発明では、歩行者を検出するための撮像データに基づき第1立体モデルを推定し、この第1立体モデルから前記歩行者の将来動作を推定するため、予めモデルデータを保有しなくても、撮像時点以降の歩行者の将来動作を把握することができる。
請求項2の発明は、請求項1の発明において、複数の撮像手段を有し、前記立体モデル推定手段は、第1の撮像手段によって撮像された撮像画像から得られた歩行者の撮像データにおける歩行者を特徴付ける特徴点と、第2の撮像手段によって撮像された撮像画像から得られた前記歩行者の撮像データにおける歩行者を特徴付ける特徴点とが一致する点を対応点として検出することを特徴とする。
請求項3の発明は、請求項1又は2の発明において、前記動作推定手段は、前記歩行者の推定された将来動作に基づいて第2立体モデルを形成すると共に、この第2立体モデルから前記歩行者の移動方向または移動速度を推定することを特徴とする。
請求項4の発明は、請求項3の発明において、前記動作推定手段で推定した前記第2立体モデルに基づき前記歩行者の将来動作の2次元形状データを作成する2次元形状データ作成手段を有し、この2次元形状データ作成手段で作成した2次元形状データを前記歩行者を検出する2次元形状データに用いることを特徴とする。
請求項5の発明は、請求項4の発明において、前記2次元形状データ作成手段は、前記立体モデル推定手段によって推定された第1立体モデルから複数の2次元形状データを作成することを特徴とする。
請求項6の発明は、請求項4又は5の発明において、2次元形状データ作成手段で作成した2次元形状データを新たな歩行者の検出用2次元形状データとして前記歩行者形状記憶手段に記憶することを特徴とする。
請求項7の発明は、請求項1の発明において、前記立体モデル推定手段は、自車両に接近する歩行者の第1立体モデルを前記撮像データに基づき推定することを特徴とする。
請求項1の発明によれば、歩行者を検出するための2次元形状データを記憶する歩行者形状記憶手段と、前記撮像手段による撮像画像から得られた撮像データと前記歩行者の2次元形状データとに基づき歩行者を検出する歩行者検出手段と、この歩行者検出手段により検出された歩行者の撮像データに基づき第1立体モデルを推定する立体モデル推定手段と、前記第1立体モデルから前記歩行者の将来動作を推定する動作推定手段とを有するため、歩行者の将来動作を推定でき、歩行者の検出精度向上しつつ、検出時間短縮可能とできる。
つまり、撮像時点以降の歩行者の将来動作を把握するため、対応するモデルデータを保有しない場合であっても、対象とする歩行者の検出を精度良く行うことができる。しかも、歩行者の将来動作を推定するため、次の照合処理時間を短縮することができる。
請求項2の発明によれば、前記立体モデル推定手段は、第1の撮像手段によって撮像された撮像画像から得られた歩行者の撮像データにおける歩行者を特徴付ける特徴点と、第2の撮像手段によって撮像された撮像画像から得られた前記歩行者の撮像データにおける歩行者を特徴付ける特徴点とが一致する点を対応点として検出するため、歩行者の撮像データと歩行者までの距離データとが同時に取得することができる。
請求項3の発明によれば、前記歩行者の推定された将来動作に基づいて第2立体モデルを形成すると共に、この第2立体モデルから前記歩行者の移動方向または移動速度を推定するため、歩行者が実際の行動を起こす前に、障害となり得る歩行者か否か精度良く判定することができる。
請求項4の発明によれば、前記動作推定手段で推定した前記第2立体モデルに基づき前記歩行者の将来動作の2次元形状データを作成する2次元形状データ作成手段を有し、この2次元形状データ作成手段で作成した2次元形状データを前記歩行者を検出する2次元形状データに用いるため、継続して歩行者の捕捉が容易になる。
請求項5の発明によれば、前記2次元形状データ作成手段は、前記立体モデル推定手段によって推定された第1立体モデルから複数の2次元形状データを作成するため、歩行者が実際の行動を起こす前に、可能性のある移動方向や形状を絞り込むことができ、精度良く歩行者を捕捉できる。
請求項6の発明によれば、2次元形状データ作成手段で作成した2次元形状データを新たな歩行者の検出用2次元形状データとして前記歩行者形状記憶手段に記憶するため、初期の照合データが不足する場合でも補完することができる。しかも、車両が使用される状況に合致した照合データが蓄積されることになり、結果的に、処理時間の短縮を図ることができる。
請求項7の発明によれば、前記立体モデル推定手段は、自車両に接近する歩行者の第1立体モデルを前記撮像データに基づき推定するため、障害となる可能性がある歩行者に絞って推定するため、検出精度と処理時間とを両立することができる。
以下、図面に基づき本発明を実施するための最良の形態を説明する。
本発明の車両の歩行者検出装置は、車両に搭載された撮像手段と、この撮像手段によって撮像された撮像画像を画像処理する画像処理手段とを有し、この画像処理された撮像データに基づき歩行者を検出するものである。
本発明の車両の歩行者検出装置は、車両に搭載された撮像手段と、この撮像手段によって撮像された撮像画像を画像処理する画像処理手段とを有し、この画像処理された撮像データに基づき歩行者を検出するものである。
図1〜図7に基づいて実施例を説明する。図1は、本実施形態に係る歩行者検出装置1の各構成要素のレイアウト図である。図1に示すように、歩行者検出装置1は、自車両V周囲の前方空間を撮像する第1撮像手段としての第1CCDカメラ2と、自車両V周囲の前方空間を撮像する第2撮像手段としての第2CCDカメラ3とを装備している。
第1CCDカメラ2は車室前部のルームミラー右側に配置され、第2CCDカメラ3は車室前部のルームミラー左側に配置されている。これらCCDカメラ2,3は、自車両V周囲を撮像し、接触を避けるべき歩行者等の障害物を抽出・特定するものである。尚、第1,第2撮像手段は、CMOSカメラ等画像センサであればよく、CCDカメラに限られるものではない。
歩行者検出装置1は、運転席前方のインスツルメントパネルに配置される警報装置4を有している。この警報装置4は、CCDカメラ2,3で検出された自車両V周囲の歩行者等の障害物を表示・報知すると共に、この障害物との接触を回避するように乗員に視覚や聴覚による警報を発する。具体的には、スピーカ、ランプ、ブザー、ディスプレイ等の装備が警報装置4に相当する。
図2は、この歩行者検出装置1のコントロールユニット5を中心とした制御システム図を示す。コントロールユニット5は、画像処理部6(画像処理手段)、歩行者検出部7(歩行者検出手段)、歩行者検出用マッチングデータベース8(歩行者形状記憶手段)、立体モデル推定部9(立体モデル推定手段)、動作推定部10(動作推定部手段)、2次元形状データ作成部11(2次元形状データ作成手段)、警報制御部12から構成する。
画像処理部6は、CCDカメラ2,3からの撮像画像信号に基づき画像処理を行い、撮像対象の輪郭形状や特徴部分等形状に関する画像データを抽出する。CCDカメラ2,3によって撮像された画像データは、画像処理後、夫々のカメラに対応して設けられた第1保存部6aと第2保存部6bとに保存される。
歩行者検出部7は、第1保存部6aから得られる第1CCDカメラ2の画像データと歩行者検出用マッチングデータベース8に格納される歩行者検出用2次元形状データとを照合して、撮像対象が歩行者か否か判定を行う。具体的には、撮像された歩行者の画像データを頭部領域と胴部領域と脚部領域とに区分し、夫々の区分領域のパターンマッチングを2次元形状データに基づきを頭部から順に行い、パターンの一致率が所定値以上の場合、撮像対象が歩行者であると判定する。
歩行者検出用マッチングデータベース8は、歩行者の頭部領域と胴部領域と脚部領域とが個別に照合可能なパターンマッチング用の2次元形状データを有している。また、後述する2次元形状データ作成部11で新たに作成された2次元形状データと既に蓄積されている2次元形状データとを比較して、同じ2次元形状データが蓄積されていない場合、パターンマッチング用の2次元形状データとして作成された2次元形状データを新たに記憶するよう構成されている。
立体モデル推定部9は、歩行者検出部7により検出された歩行者の撮像データに基づき第1立体モデルを作成する。立体モデル推定部9では、第1CCDカメラ2で撮像された撮像データから歩行者の輪郭を形成する特徴部を検出する。次に、第2CCDカメラ3の画像データに基づいて処理領域を走査していき、第1CCDカメラ2の画像データ上の特徴点と一致する特徴点を捕捉するまで移動し、捕捉した時点でこの特徴点を両カメラ2,3による対応点と設定する。
CCDカメラ2,3は自動的に焦点が合うように構成されており、双方のCCDカメラ2,3の設置位置が予め設定されているため、図3に示すように、歩行者の輪郭(対応点)について、画像データ上の縦横座標位置に加え、対応点までの距離を算出でき、2次元状の輪郭(対応点)夫々の点について座標(xi,yi,zi)を設定することができる。この夫々の対応点の座標(xi,yi,zi)に基づいて、図4に示す第1立体モデルM1を推定することができる。また、前記座標に基づき自車両Vから歩行者までの距離を算出している。
動作推定部10は、第1立体モデルM1から歩行者の将来動作を推定する。推定の考え方は、挙動の基点となる関節が属する第1立体モデルM1の各部位をブロック化し、夫々のブロックにおいて関節を回動させることで動作を推定している。本実施例においては、大きな動作に繋がる腰関節を有する胴体ブロックと膝関節を有する脚ブロックとを1区分として第1動作推定を行い、この第1動作推定結果の夫々に対して、小さな動作に関連する肩及び肘関節を有する手ブロックの動きを付加する第2動作推定によって将来動作に関する第2立体モデルM2を作成している。
図5に基づき、動作推定部10による第1動作推定を説明する。
図5aは、図4に示す第1立体モデルM1の状態から、現状の動きを継続した場合の中間モデルM1aである。具体的には、第1立体モデルの胴体ブロックを回動させずに、脚ブロックをxy座標上で移動の画像変換させる。
図5aは、図4に示す第1立体モデルM1の状態から、現状の動きを継続した場合の中間モデルM1aである。具体的には、第1立体モデルの胴体ブロックを回動させずに、脚ブロックをxy座標上で移動の画像変換させる。
図5bは、図4に示す第1立体モデルM1の状態から、人の取りうる回転角度で右方向に回動した場合の中間モデルM1bである。具体的には、第1立体モデルM1の胴体ブロックをy軸周りに回転変換させると共に、脚ブロックをy軸周りに回転変換させる。図5cは、図4に示す第1立体モデルM1の状態から、人の取りうる回転角度で左方向に回動した場合の中間モデルM1cである。具体的には、第1立体モデルM1の胴体ブロックをy軸周りに回転変換させると共に、脚ブロックをy軸周りに回転変換させる。
本実施例では、第1動作推定を、制御の簡略化を狙いとして、大きな動作に繋がる胴体ブロックと脚ブロックとをまとめて推定すると共に、前述した3パターンに区分しているが、胴体ブロックと脚ブロックとを分けて推定することも詳細な判定を行うには有効である。また、前述した3パターン以外に、胴体ブロックにおいて前屈みを行う中間モデルを追加することも有効である。
図6に基づき、第1動作推定に引き続き行われる第2動作推定を説明する。
図6aは、図5aに示す中間モデルM1aに対して、現状の動きを継続した場合の第2立体モデルM2aaである。具体的には、中間モデルM1aの手ブロックを現状と同じようにxy座標上で移動の画像変換させる。
図6aは、図5aに示す中間モデルM1aに対して、現状の動きを継続した場合の第2立体モデルM2aaである。具体的には、中間モデルM1aの手ブロックを現状と同じようにxy座標上で移動の画像変換させる。
図6bは、図5aに示す中間モデルM1aに対して、肘から先を回動した場合の第2立体モデルM2abである。具体的には、中間モデルM1aの手ブロックをxy座標上で移動の画像変換させると共に、y軸周りに回転する画像変換させる。図6cは、図5aに示す中間モデルM1aに対して、手の動きを止めた場合の第2立体モデルM2acである。具体的には、中間モデルM1aにおける手ブロックの動作をxy座標上で停止する。
前述のように、動作推定部10では、図5aに示す中間モデルM1aに対して3パターンの第2立体モデルM2aa〜M2acが形成され、これと同様に、図5b,cに示す中間モデルM1b,M1cに対して夫々3パターンの第2立体モデルM2ba〜M2bc,M2ca〜M2ccが形成される。つまり、第1立体モデルM1から9つの第2立体モデルM2が形成される。また、図7に示すように、動作推定部10は第2立体モデルM2の座標(xi,yi,zi)に基づき歩行者のxz座標面における平面画像を作成し、この平面画像から算出される歩行者の移動方向及び移動速度を警報制御部12に送信する。
2次元形状データ作成部11は、前記9つの第2立体モデルM2に基づき歩行者の将来動作の2次元形状データを作成する。図8に示すように、第2立体モデルM2aa〜M2acに対応した第2立体モデルを座標(xi,yi)の2次元形状データに変換する。図5b,図5cに示す中間モデルM1b,M1cから夫々形成された第2立体モデルM2ba〜M2bc,M2ca〜M2ccについても、同様に、2次元形状データに変換する。これらの2次元形状データは、データベース8に送信される。
警報制御部12は、2次元形状データ作成部11で作成された複数の2次元形状データに基づいて現在捕捉している歩行者を夫々の2次元形状データと照合し、最も一致率の高い2次元形状データを選定する。この最も一致率の高い2次元形状データにおける歩行者の移動方向及び移動速度に基づき、歩行者が自車両Vの進路に侵入する可能性、或いは注意を要する領域に接近する可能性等を判定し、乗員への警報が必要と判断される場合、警報制御部12は警報装置4の作動を指示する。
次に、図9のフローチャートに基づき、本歩行者検出装置1の制御について説明する。尚、Si(i=1,2…)は各処理ステップを示す。
まず、第1,第2CCDカメラ2,3により自車両V周囲の画像を撮像し、第1,第2保存部6a,6bに格納し、画像処理を行う(S1)。尚、保存部6a,6bには、所定時間、例えば、10秒程度の画像データが保存されている。次に、パターンマッチング用の2次元形状データと第1CCDカメラ2の画像データとの照合を行い、特徴部分の一致率の算出の結果、所定値以上の一致率のとき、撮像対象を歩行者と判定する(S2)。
まず、第1,第2CCDカメラ2,3により自車両V周囲の画像を撮像し、第1,第2保存部6a,6bに格納し、画像処理を行う(S1)。尚、保存部6a,6bには、所定時間、例えば、10秒程度の画像データが保存されている。次に、パターンマッチング用の2次元形状データと第1CCDカメラ2の画像データとの照合を行い、特徴部分の一致率の算出の結果、所定値以上の一致率のとき、撮像対象を歩行者と判定する(S2)。
S2の算出に基づき、S3の判定の結果、歩行者が存在すると判定した場合、第2CCDカメラ3の画像データを用いて歩行者までの距離を検出し(S4)、S5に移行する。S5の判定の結果、歩行者が自車両Vから近距離に位置する場合、立体モデル推定部9が対象とする歩行者の第1立体モデルM1を推定・作成(S6)し、動作推定部10が第1立体モデルM1に基づき歩行者の移動方向及び移動速度及び、歩行者の将来動作に関する第2立体モデルM2を推定する(S7)。尚、S3の判定の結果、歩行者がいない場合、及びS5の判定の結果、歩行者が近距離に位置しない場合は、リターンする。
S8では、対象とする歩行者の移動方向、移動速度及び離間距離に基づいて、歩行者が自車両Vの進路に侵入する可能性、或いは注意を要する領域に接近する可能性等を判定する。S8の判定の結果、対象とする歩行者が危険な歩行者、所謂乗員が注意しなければならない歩行者の場合、警報装置4の作動指令を発し(S9)、S10に移行する。S8の判定の結果、対象とする歩行者が危険な歩行者ではない場合、S10に移行する。
警報装置4の作動指令後、第2立体モデルM2に基づき複数の2次元形状データを作成し(S10)、作成された複数の2次元形状データに基づいて現在対象とする歩行者を夫々の2次元形状データと照合することで、継続して検出する(S11)。次に、作成された2次元形状データをデータベース8に送信し、データベース8の内に同じ2次元形状データが蓄積されていない場合、パターンマッチング用の2次元形状データとして新たに記憶して(S12)、リターンする。
次に、本実施例の作用、効果を説明する。
歩行者を検出するための2次元形状データを記憶するデータベース8と、歩行者検出部7と、この歩行者検出部7により検出された歩行者の撮像データに基づき第1立体モデルM1を推定する立体モデル推定部9とを有し、第1立体モデルM1に基づいて歩行者の将来動作を推定する動作推定部10により撮像時点以降の歩行者の将来動作を把握するため、対応する2次元形状データを保有しない場合であっても、対象とする歩行者の検出を精度良く行うことができる。しかも、歩行者の将来動作を推定するため、次の照合処理時間を短縮することができる。
歩行者を検出するための2次元形状データを記憶するデータベース8と、歩行者検出部7と、この歩行者検出部7により検出された歩行者の撮像データに基づき第1立体モデルM1を推定する立体モデル推定部9とを有し、第1立体モデルM1に基づいて歩行者の将来動作を推定する動作推定部10により撮像時点以降の歩行者の将来動作を把握するため、対応する2次元形状データを保有しない場合であっても、対象とする歩行者の検出を精度良く行うことができる。しかも、歩行者の将来動作を推定するため、次の照合処理時間を短縮することができる。
また、立体モデル推定部9は、第1CCDカメラ2によって撮像された撮像画像から得られた歩行者の撮像データにおける歩行者を特徴付ける特徴点と、第2CCDカメラ3によって撮像された撮像画像から得られた前記歩行者の撮像データにおける歩行者を特徴付ける特徴点とが一致する点を対応点として検出するため、歩行者の撮像データと歩行者までの距離データとが同時に取得することができる。
更に、歩行者の推定された将来動作に基づいて第2立体モデルM2を形成すると共に、この第2立体モデルM2から歩行者の移動方向または移動速度を推定するため、歩行者が実際の行動を起こす前に、障害となり得る歩行者か否か精度良く判定することができる。
動作推定部10で推定した第2立体モデルM2に基づき2次元形状データを作成し、この2次元形状データを対象としている歩行者の2次元形状データとして用いるため、継続して特定の歩行者の追跡捕捉が容易になる。
また、2次元形状データ作成部11は、第1立体モデルM1から複数の2次元形状データを作成するため、歩行者が実際の行動を起こす前に、可能性のある移動方向や形状を絞り込むことができ、精度良く歩行者を捕捉できる。しかも、2次元形状データ作成部11で作成した2次元形状データを新たな歩行者の検出用2次元形状データとしてデータベース8に記憶するため、初期の照合データが不足する場合でも補完することができる。
更に、車両が使用される状況に合致した照合データが逐次蓄積されることになり、結果的に、処理時間の短縮を図ることができる。また、自車両Vに接近する歩行者の第1立体モデルM1を推定するため、障害となる可能性がある歩行者に絞った処理となり、検出精度と処理時間とを両立することができる。
次に、前記実施例を部分的に変更した変形例について説明する。
1〕前記実施例においては、胴体ブロックと脚ブロックとを1区分として第1動作推定を行い、次に、手ブロックの動きを推定する第2動作推定を行う例を説明したが、胴体ブロック、脚ブロック、手ブロックを夫々ブロック毎に推定することも可能である。また、危険判定に対して影響の小さな手ブロックの推定を省略することも可能である。
1〕前記実施例においては、胴体ブロックと脚ブロックとを1区分として第1動作推定を行い、次に、手ブロックの動きを推定する第2動作推定を行う例を説明したが、胴体ブロック、脚ブロック、手ブロックを夫々ブロック毎に推定することも可能である。また、危険判定に対して影響の小さな手ブロックの推定を省略することも可能である。
2〕前記実施例においては、歩行者動作を継続歩行、右回り、左回りの3パターンの推定を行う例を説明したが、前屈み動作を追加することも可能である。
3〕前記実施例においては、危険な歩行者を判定した場合、警報装置を作動する例を説明したが、警報に限らず、他の運転支援制御に適用することも可能である。
その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施例に種々の変更を付加した形態で実施可能であり、本発明はそのような変更形態も包含するものである。
V 車両(自車両)
1 歩行者検出装置
2 第1CCDカメラ
3 第2CCDカメラ
4 警報装置
5 コントロールユニット
6 画像処理部
7 歩行者検出部
8 歩行者検出用マッチングデータベース
9 立体モデル推定部
10 動作推定部
11 2次元形状データ作成部
M1 第1立体モデル
M2(aa〜ac) 第2立体モデル
1 歩行者検出装置
2 第1CCDカメラ
3 第2CCDカメラ
4 警報装置
5 コントロールユニット
6 画像処理部
7 歩行者検出部
8 歩行者検出用マッチングデータベース
9 立体モデル推定部
10 動作推定部
11 2次元形状データ作成部
M1 第1立体モデル
M2(aa〜ac) 第2立体モデル
Claims (7)
- 車両に搭載された撮像手段と、この撮像手段によって撮像された撮像画像を画像処理する画像処理手段とを有し、この画像処理された撮像データに基づき歩行者を検出する車両の歩行者検出装置において、
歩行者を検出するための2次元形状データを記憶する歩行者形状記憶手段と、
前記撮像手段による撮像画像から得られた撮像データと前記歩行者の2次元形状データとに基づき歩行者を検出する歩行者検出手段と、
この歩行者検出手段により検出された歩行者の撮像データに基づき第1立体モデルを推定する立体モデル推定手段と、
前記第1立体モデルから前記歩行者の将来動作を推定する動作推定手段とを有することを特徴とする車両の歩行者検出装置。 - 複数の撮像手段を有し、
前記立体モデル推定手段は、第1の撮像手段によって撮像された撮像画像から得られた歩行者の撮像データにおける歩行者を特徴付ける特徴点と、第2の撮像手段によって撮像された撮像画像から得られた前記歩行者の撮像データにおける歩行者を特徴付ける特徴点とが一致する点を対応点として検出することを特徴とする請求項1に記載の車両の歩行者検出装置。 - 前記動作推定手段は、前記歩行者の推定された将来動作に基づいて第2立体モデルを形成すると共に、この第2立体モデルから前記歩行者の移動方向または移動速度を推定することを特徴とする請求項1または2に記載の車両の歩行者検出装置。
- 前記動作推定手段で推定した前記第2立体モデルに基づき前記歩行者の将来動作の2次元形状データを作成する2次元形状データ作成手段を有し、
この2次元形状データ作成手段で作成した2次元形状データを前記歩行者を検出する2次元形状データに用いることを特徴とする請求項3に記載の車両の歩行者検出装置。 - 前記2次元形状データ作成手段は、前記立体モデル推定手段によって推定された第1立体モデルから複数の2次元形状データを作成することを特徴とする請求項4に記載の車両の歩行者検出装置。
- 2次元形状データ作成手段で作成した2次元形状データを新たな歩行者の検出用2次元形状データとして前記歩行者形状記憶手段に記憶することを特徴とする請求項4または5に記載の車両の歩行者検出装置。
- 前記立体モデル推定手段は、自車両に接近する歩行者の第1立体モデルを前記撮像データに基づき推定することを特徴とする請求項1に記載の車両の歩行者検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008247901A JP2010079639A (ja) | 2008-09-26 | 2008-09-26 | 車両の歩行者検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008247901A JP2010079639A (ja) | 2008-09-26 | 2008-09-26 | 車両の歩行者検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010079639A true JP2010079639A (ja) | 2010-04-08 |
Family
ID=42210002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008247901A Pending JP2010079639A (ja) | 2008-09-26 | 2008-09-26 | 車両の歩行者検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010079639A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013529801A (ja) * | 2010-06-12 | 2013-07-22 | トヨタ モーター ヨーロッパ ナームロゼ フェンノートシャップ/ソシエテ アノニム | 単眼3次元ポーズ推定および検出による追跡 |
US9507998B2 (en) | 2011-06-13 | 2016-11-29 | Toyota Jidosha Kabushiki Kaisha | Pedestrian motion predicting device |
CN107330997A (zh) * | 2017-06-20 | 2017-11-07 | 厦门盈趣汽车电子有限公司 | 一种车辆防碰瓷系统和方法 |
US9904846B2 (en) | 2011-09-20 | 2018-02-27 | Toyota Jidosha Kabushiki Kaisha | Pedestrian behavior predicting device and pedestrian behavior predicting method |
KR20180057826A (ko) * | 2016-11-23 | 2018-05-31 | 윤종식 | 교통사고 예방을 위한 횡단보도 신호등 제어 방법 및 그 시스템 |
JP2018142815A (ja) * | 2017-02-27 | 2018-09-13 | 富士通株式会社 | 3次元データ取得装置及び方法 |
CN112883779A (zh) * | 2021-01-11 | 2021-06-01 | 深圳市智微智能软件开发有限公司 | 一种基于ai图像识别的车载终端监视设备及其方法 |
-
2008
- 2008-09-26 JP JP2008247901A patent/JP2010079639A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013529801A (ja) * | 2010-06-12 | 2013-07-22 | トヨタ モーター ヨーロッパ ナームロゼ フェンノートシャップ/ソシエテ アノニム | 単眼3次元ポーズ推定および検出による追跡 |
US9507998B2 (en) | 2011-06-13 | 2016-11-29 | Toyota Jidosha Kabushiki Kaisha | Pedestrian motion predicting device |
US9904846B2 (en) | 2011-09-20 | 2018-02-27 | Toyota Jidosha Kabushiki Kaisha | Pedestrian behavior predicting device and pedestrian behavior predicting method |
KR20180057826A (ko) * | 2016-11-23 | 2018-05-31 | 윤종식 | 교통사고 예방을 위한 횡단보도 신호등 제어 방법 및 그 시스템 |
KR101908199B1 (ko) * | 2016-11-23 | 2018-10-15 | 윤종식 | 교통사고 예방을 위한 횡단보도 신호등 제어 방법 및 그 시스템 |
JP2018142815A (ja) * | 2017-02-27 | 2018-09-13 | 富士通株式会社 | 3次元データ取得装置及び方法 |
CN107330997A (zh) * | 2017-06-20 | 2017-11-07 | 厦门盈趣汽车电子有限公司 | 一种车辆防碰瓷系统和方法 |
CN112883779A (zh) * | 2021-01-11 | 2021-06-01 | 深圳市智微智能软件开发有限公司 | 一种基于ai图像识别的车载终端监视设备及其方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6398347B2 (ja) | 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム | |
JP5603835B2 (ja) | 車両周囲監視装置 | |
JP4899424B2 (ja) | 物体検出装置 | |
JP4355341B2 (ja) | 深度データを用いたビジュアルトラッキング | |
JP5782708B2 (ja) | 走行支援装置 | |
US7710246B2 (en) | Vehicle driving assist system | |
US10768616B2 (en) | Parking control method and parking control device | |
JP2010079639A (ja) | 車両の歩行者検出装置 | |
JP6688990B2 (ja) | 識別装置、識別方法、識別プログラムおよび記録媒体 | |
JP5645769B2 (ja) | 画像処理装置 | |
JP2009190164A (ja) | 物体認識及び認識された物体を含む周辺環境情報に基づいたロボットの自己位置推定方法 | |
JP6597792B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
US20180208115A1 (en) | Vehicle display device and vehicle display method for displaying images | |
JP2017199302A (ja) | 判定装置、判定方法、判定プログラム及び記録媒体 | |
JP2006160116A (ja) | 車両運動推定装置及び移動体検出装置 | |
JP2009237897A (ja) | 画像認識装置 | |
JP2015225546A (ja) | 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム | |
JP2017068424A (ja) | 姿勢計測装置及び姿勢計測方法 | |
JP6815963B2 (ja) | 車両用外界認識装置 | |
JP2010079716A (ja) | 車両の歩行者検出装置 | |
CN107923978A (zh) | 物体检测装置、物体检测方法及程序 | |
JP2012118683A (ja) | 歩行者認識装置 | |
JP6458577B2 (ja) | 画像測距装置 | |
JP2010003253A (ja) | 運動推定装置 | |
JP5251814B2 (ja) | 運転支援装置 |