JP2015201010A - 予測外動き判定装置 - Google Patents

Abstract

【課題】移動対象物が検出できなくなった場合であっても、対象物の予測外の動きを判定する。【解決手段】カメラ２によって撮像された二次元平面画像Ｘ上における歩行者Ｈの二次元位置を検出する移動対象物検出部１０と、移動対象物検出部１０における歩行者Ｈの検出結果に基づいて、予め定められた時刻における歩行者Ｈの二次元平面画像Ｘ上の位置を予測二次元位置として予測する位置予測部１２と、予測二次元位置に、予め定められた時刻に移動対象物検出部１０によって歩行者Ｈが検出されるか否かに基づいて、歩行者Ｈが予測外の動きをしたか否かを判定する判定部１４と、を備える。【選択図】図１

Description

本発明は、移動対象物の予測外の動きを判定する予測外動き判定装置に関する。

従来、車両周囲の歩行者（移動対象物）等の動きを予測することが行われている。例えば、特許文献１には、歩行者の位置の時系列変化及び移動速度の時系列変化と、予め定められた位置の時系列変化のパターン及び予め定められた移動速度のパターンとの比較結果等に基づいて、歩行者の飛び出しを予測することが記載されている。

特開２０１０−１０２４３７号公報 特開２０１３−０５０７９７号公報

特許文献１に記載された装置では、歩行者の飛び出しを予測する際に、歩行者の位置の時系列変化が取得されていることが前提となっている。このため、歩行者を画像上から捕らえることができなくなった場合には、歩行者の飛び出し等の予測外の動きを判定しにくい恐れがあった。

そこで、本発明の一側面は、対象物が検出できなくなった場合であっても、対象物の予測外の動きを判定することができる予測外動き判定装置を提供することを目的とする。

本発明の一側面に係る予測外動き判定装置は、撮像部によって撮像された二次元平面画像上における移動対象物の二次元位置を検出する移動対象物検出部と、移動対象物検出部における移動対象物の検出結果に基づいて、予め定められた時刻における移動対象物の二次元平面画像上の位置を予測二次元位置として予測する位置予測部と、予測二次元位置に、予め定められた時刻に移動対象物検出部によって移動対象物が検出されるか否かに基づいて、移動対象物が予測外の動きをしたか否かを判定する判定部と、を備える。

本発明の他の一側面に係る予測外動き判定装置は、撮像部によって撮像された二次元平面画像上における移動対象物の二次元位置を検出する移動対象物検出部と、移動対象物及び移動対象物の周囲の遮蔽物の三次元空間における三次元位置を含む三次元情報を検出する三次元情報検出部と、三次元情報検出部によって検出された遮蔽物の三次元情報及び移動対象物の三次元情報に基づいて、遮蔽物によって三次元情報検出部の検出範囲から外れて再び移動対象物が検出される再出現時刻を予測する再出現時刻予測部と、移動対象物検出部における移動対象物の検出結果に基づいて、再出現時刻における移動対象物の二次元平面画像上の位置を予測二次元位置として予測する位置予測部と、予測二次元位置に、再出現時刻に移動対象物検出部によって移動対象物が検出されるか否かに基づいて、移動対象物が予測外の動きをしたか否かを判定する判定部と、を備える。

本発明の一側面によれば、対象物が検出できなくなった場合であっても、対象物の予測外の動きを判定することができる。

第一の実施形態における予測外動き判定装置の概略構成を示すブロック図である。 カメラによって撮像された二次元平面画像の一例を示す図である。 予測領域の予測処理の流れを示すフローチャートである。 歩行者の予測外の動きの判定処理の流れを示すフローチャートである。 第二の実施形態における予測外動き判定装置の概略構成を示すブロック図である。 検出部、歩行者及び遮蔽物の位置関係を示す上面図である。 検出部から見たときの歩行者と遮蔽物との位置関係及び歩行者の移動方向を示す正面図である。 カメラによって撮像された二次元平面画像の一例を示す図である。 再出現時刻の予測処理の流れを示す図である。

以下、本発明の実施形態について図面を参照しながら説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

（第一の実施形態）
第一の実施形態について説明する。図１に示す予測外動き判定装置１は車両に搭載されている。予測外動き判定装置１は、カメラ（撮像部）２、移動対象物検出部１０、移動対象物追跡部１１、位置予測部１２、記憶部１３、及び、判定部１４を含んで構成されている。カメラ２は、例えば車両の室内のフロントガラス近傍に取り付けられている。カメラ２は、車両の前方を撮像する。カメラ２は、一例として、１秒当たり１０回の撮像を行うことができる。

移動対象物検出部１０は、カメラ２によって撮像された二次元平面画像を取得する。移動対象物検出部１０は、カメラ２によって撮像された二次元平面画像上における歩行者（移動対象物）の二次元位置を検出する。カメラ２によって撮像された二次元平面画像とは、画像の奥行き方向の広がりを有さない二次元平面の画像である。また、二次元位置は、二次元平面画像の二次元平面上の位置である。このため、歩行者の二次元位置は、二次元平面画像に写る歩行者とカメラ２との距離は反映されておらず、カメラ２から見て歩行者等がどの位置に存在するかのみを示している。

具体的には、移動対象物検出部１０は、図２に示すように、カメラ２によって撮像された二次元平面画像Ｘ上に写る歩行者Ｈを検出する。この歩行者Ｈの検出は、既知の画像処理技術によって行うことができる。図２に示す例では、図中の左側から右側に向かって歩行者Ｈが移動している。

移動対象物検出部１０は、二次元平面画像Ｘ上において歩行者Ｈを含むように矩形の歩行者領域Ｒを設定する。歩行者領域Ｒとは、二次元平面画像Ｘ上において歩行者Ｈを含むように設定された矩形の領域である。移動対象物検出部１０は、二次元平面画像Ｘ上において、歩行者領域Ｒの二次元位置を検出する。本実施形態において移動対象物検出部１０は、歩行者Ｈの二次元位置として、歩行者領域Ｒの二次元位置を検出する。

移動対象物検出部１０は、一例として、二次元平面画像Ｘから検出した歩行者領域Ｒの二次元位置と、歩行者領域Ｒの二次元位置を検出する際に用いた二次元平面画像Ｘの撮像時刻とを対応付ける。移動対象物検出部１０は、カメラ２によって二次元平面画像が撮像される毎に、歩行者領域Ｒの二次元位置を検出する。また、二次元平面画像Ｘから歩行者Ｈが検出されない場合もある。この場合、移動対象物検出部１０は、一例として、歩行者Ｈが検出されなかった旨の情報と、二次元平面画像Ｘの撮像時刻とを対応付ける。なお、本実施形態では、移動対象物として歩行者Ｈの二次元位置を検出したが、歩行者Ｈ以外にも、例えば、自転車に乗った人、又は、走行する車両等の二次元位置を検出してもよい。

移動対象物追跡部１１は、移動対象物検出部１０の検出結果に基づいて二次元平面画像Ｘ上における歩行者Ｈの二次元位置を追跡する。具体的には、移動対象物追跡部１１は、移動対象物検出部１０によって検出された時間的に異なる２以上の歩行者領域Ｒの二次元位置に基づいて、歩行者領域Ｒの二次元位置を追跡する。移動対象物追跡部１１は、一例として、歩行者領域Ｒの二次元位置の追跡結果と、追跡の際に用いた二次元平面画像のうち最も新しい二次元平面画像に対応付けられていた撮像時刻とを対応付ける。移動対象物追跡部１１は、移動対象物検出部１０によって歩行者領域Ｒの二次元位置が検出される毎に歩行者領域Ｒの二次元位置を追跡する。移動対象物追跡部１１が歩行者領域Ｒの二次元位置を追跡することにより、追跡結果に基づいて、歩行者領域Ｒの移動方向及び移動速度等を算出することができる。

位置予測部１２は、移動対象物追跡部１１における追跡結果に基づいて、予め定められた時刻における歩行者Ｈの二次元平面画像Ｘ上の二次元位置（予測二次元位置）を予測する。ここで、予め定められた時刻とは、一例として、歩行者領域Ｒの二次元位置の追跡結果に対応付けられた撮像時刻から、Ｔ秒(一例として１秒等)後の時刻とする。すなわち、位置予測部１２は、歩行者領域Ｒの追跡結果に対応付けられた撮像時刻からＴ秒後の歩行者Ｈの二次元平面画像Ｘ上の二次元位置を予測する。

具体的には、位置予測部１２は、図２に示すように、二次元平面画像Ｘ上においてＴ秒後に歩行者Ｈが写り込むと予測される矩形の予測領域Ｙを設定する。本実施形態において位置予測部１２は、予め定められた時刻における歩行者Ｈの二次元平面画像Ｘ上の二次元位置として、予測領域Ｙの二次元位置を予測する。予測領域Ｙとして、例えば、歩行者Ｈの移動速度の誤差等も含めた大きさの領域が設定される。また、予測領域Ｙの予測は、例えば、移動対象物追跡部１１の追跡結果に基づいて算出される歩行者領域Ｒの移動速度及び移動方向等を用いて行うことができる。

位置予測部１２は、歩行者領域Ｒの二次元位置の追跡結果に対応付けられた撮像時刻にＴ秒を加算した予測時刻（予め定められた時刻）を算出する。位置予測部１２は、予測した予測領域Ｙの二次元位置と、予測時刻とを対応付ける。位置予測部１２は、移動対象物追跡部１１によって歩行者領域Ｒの二次元位置の追跡が行われる毎に、予測領域Ｙの二次元位置を予測する。

記憶部１３は、位置予測部１２によって予測された予測領域Ｙの二次元位置と予測時刻とを対応付けて記憶する。

判定部１４は、位置予測部１２によって予測された予め定められた時刻における予測領域Ｙの二次元位置に、予め定められた時刻に移動対象物検出部１０によって歩行者Ｈが検出されるか否かに基づいて、歩行者Ｈが予測外の動きをしたか否かを判定する。

具体的には、判定部１４は、カメラ２によって二次元平面画像が撮像されると、移動対象物検出部１０から歩行者領域Ｒの二次元位置とともに撮像時刻を取得する。次に、判定部１４は、取得した撮像時刻に一致する予測時刻に対応付けられた予測領域Ｙの二次元位置を記憶部１３から取得する。判定部１４は、取得した予測領域Ｙと歩行者領域Ｒとの二次元平面画像Ｘ上の重なり具合に基づいて、歩行者Ｈの予測外の動きを判定する。歩行者Ｈの予測外の動きとは、予測された予測領域Ｙ以外の位置に歩行者Ｈが移動する動きである。具体的には、予測外の動きとして、例えば、飛び出し等によって歩行者Ｈの加速度が変わった、進行方向が変わった、又は、歩行者Ｈが立ち止った等の動きがある。

ここでは、一例として、予測領域Ｙと歩行者領域Ｒとが重なる面積が歩行者領域Ｒの面積の８０％未満である場合、判定部１４は、歩行者Ｈが予測外の動きをしたと判定する。予測領域Ｙと歩行者領域Ｒとが重なる面積が歩行者領域Ｒの面積の８０％以上である場合、判定部１４は、歩行者Ｈが予測内の動きをしたと判定する。判定部１４は、カメラ２によって二次元平面画像が撮像される毎に、歩行者Ｈの予測外動きの判定を行う。

また、カメラ２によって二次元平面画像Ｘが撮像されたにもかかわらず、歩行者Ｈが検出されない場合もある。この場合、判定部１４は、歩行者Ｈが検出されなかった二次元平面画像Ｘの撮像時刻に一致する予測時刻に対応付けられた予測領域Ｙの二次元位置を記憶部１３から取得する。予測領域Ｙの二次元位置が取得されているにもかかわらず歩行者Ｈが検出されていない場合、歩行者Ｈは予測外の動きをしたと考えられる。このとき、歩行者Ｈが検出されていないため、予測領域Ｙには歩行者領域Ｒが重ならない。このため、判定部１４は、歩行者Ｈが予測外の動きをしたと判定する。

判定部１４は、歩行者Ｈの予測外動きの判定結果を報知部３に出力する。報知部３は、判定部１４によって歩行者Ｈの動きが予測外であると判定されている場合、一例として、車両のドライバ等に警報音を出力する。本実施形態では、歩行者Ｈの予測外動きの判定結果を報知部３に出力して警報音を出力したが、例えば、車両の動力の制御を行う等、各種の動作を行うことができる。

予測外動き判定装置１の移動対象物検出部１０、移動対象物追跡部１１、位置予測部１２、記憶部１３及び判定部１４は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を含むコンピュータによって構成されている。

次に、移動対象物検出部１０、移動対象物追跡部１１及び位置予測部１２によって行われる予測領域Ｙの予測処理の流れを説明する。図３に示すように、移動対象物検出部１０は、カメラ２によって撮像された二次元平面画像を取得する（ステップＳ１０１）。移動対象物検出部１０は、二次元平面画像Ｘ上において、歩行者領域Ｒの二次元位置を検出する（ステップＳ１０２）。

移動対象物追跡部１１は、移動対象物検出部１０によって検出された時間的に異なる２以上の歩行者領域Ｒの二次元位置に基づいて、歩行者領域Ｒの二次元位置を追跡する（ステップＳ１０３）。位置予測部１２は、歩行者Ｈの追跡結果に基づいて、予め定められた時刻における予測領域Ｙの二次元位置を予測する（ステップＳ１０４）。記憶部１３は、予測された予測領域Ｙの二次元位置（予測結果）と予測時刻とを対応付けて記憶する（ステップＳ１０５）。ステップＳ１０１からステップＳ１０５までの処理は、カメラ２によって二次元平面画像が撮像される毎に行われる。

次に、判定部１４によって行われる歩行者Ｈの予測外の動きの判定処理の流れを説明する。図４に示すように、判定部１４は、カメラ２によって二次元平面画像が撮像されると、移動対象物検出部１０から歩行者領域Ｒの二次元位置とともに撮像時刻を取得する(ステップＳ２０１)。判定部１４は、取得した撮像時刻に一致する予測時刻に対応付けられた予測領域Ｙの二次元位置を記憶部１３から取得する(ステップＳ２０２)。

判定部１４は、取得した予測領域Ｙと歩行者領域Ｒとの重なりが所定値以上（一例として８０％以上）であるか否かを判断する（ステップＳ２０３）。予測領域Ｙと歩行者領域Ｒとの重なりが所定値未満である場合（ステップＳ２０３：ＮＯ）、判定部１４は、歩行者Ｈが予測外の動きをしたと判定する（ステップＳ２０４）。一方、予測領域Ｙと歩行者領域Ｒとの重なりが所定値以上である場合（ステップＳ２０３：ＹＥＳ）、判定部１４は、歩行者Ｈが予測内の動きをしたと判定する（ステップＳ２０５）。

歩行者Ｈの予測外動きの判定（ステップＳ２０４）後、又は歩行者Ｈの予測内動きの判定（ステップＳ２０５）後、判定部１４は、判定結果を報知部３に出力する（ステップＳ２０６）。報知部３は、歩行者Ｈの動きの判定結果に基づいて警報音を出力する等の動作を行う。ステップＳ２０１からステップＳ２０６までの処理は、カメラ２によって二次元平面画像が撮像される毎に行われる。

本実施形態は以上のように構成され、判定部１４は、予測された歩行者Ｈの予測領域Ｙと、カメラ２によって撮像された二次元平面画像から検出された歩行者領域Ｒとを取得する。判定部１４は、予測された予測領域Ｙの位置に、歩行者Ｈが検出されるか否かに基づいて、歩行者Ｈの予測外の動きを判定する。これにより、歩行者Ｈが検出できなくなった場合であっても、歩行者Ｈの予測外の動きを判定することができる。

判定部１４は、歩行者領域Ｒと予測領域Ｙとの重なり具合に基づいて、予測された予測領域Ｙの位置に、歩行者Ｈが検出されるか否かを判定する。これにより、歩行者領域Ｒと予測領域Ｙとの重なり具合に応じて、予測された予測領域Ｙに歩行者Ｈが存在するか否かを適切に判定することができる。

（第二の実施形態）
第二の実施形態について説明する。図５に示す予測外動き判定装置１Ａは車両に搭載されている。予測外動き判定装置１Ａは、カメラ（撮像部）２、検出部４、移動対象物検出部１０、移動対象物追跡部１１、位置予測部１２Ａ、記憶部１３、判定部１４Ａ、三次元情報検出部１５、及び、再出現時刻予測部１６を含んで構成されている。カメラ２は、第一の実施形態と同様の構成であり、詳細な説明は省略する。

検出部４は、検出対象物の三次元情報として、三次元空間における三次元位置、及び、大きさ（幅）を検出することができる。三次元空間とは、カメラ２によって撮像された二次元平面画像の二次元平面に、画像の奥行き方向の広がりを加えた空間である。三次元位置とは、カメラ２によって撮像された二次元平面画像の二次元平面に加えて、画像の奥行きも考慮した三次元的な位置である。検出部４として、例えば、車両のバンパーに取り付けられたＬＩＤＡＲ（light detection and ranging）、又は、車両の室内のフロントガラス近傍に取り付けられたステレオカメラ等を用いることができる。検出部４は、車両の前方を検出領域とする。

検出部４は、図６に示すように、車両Ｂの前方の歩行者（移動対象物）Ｈと、歩行者Ｈの周囲の遮蔽物Ｄとを検出する。ここでの遮蔽物Ｄは、一例として、電信柱とする。遮蔽物Ｄとして、電信柱以外にも、停止中の車両、又は街路樹等であってもよい。また、歩行者Ｈ以外にも、例えば、自転車に乗った人、又は、走行する車両等を検出してもよい。図６に示す例では、図中の左側から右側に向かって歩行者Ｈが移動している。また、図６に示す例では、検出部４から見て、歩行者Ｈが遮蔽物Ｄに隠れる直前の状態となっている。

三次元情報検出部１５は、検出部４の検出結果に基づいて、歩行者Ｈの三次元位置と、歩行者Ｈの周囲の遮蔽物Ｄの三次元位置と、遮蔽物Ｄの幅とを検出する。ここで、遮蔽物Ｄの幅とは、図７に示すように、検出部４から見て歩行者Ｈの進行方向（矢印Ｐ方向）に沿った遮蔽物Ｄの幅ｗである。遮蔽物Ｄの幅として、例えば、水平方向の幅（横幅）としてもよい。歩行者Ｈの三次元位置及び遮蔽物Ｄの三次元位置を検出することで、検出部４から歩行者Ｈまでの距離、及び、検出部４から遮蔽物Ｄまでの距離を把握することができる。

再出現時刻予測部１６は、三次元情報検出部１５によって取得された遮蔽物Ｄの三次元位置と、遮蔽物Ｄの幅と、歩行者Ｈの三次元位置と、歩行者Ｈの移動速度及び移動方向とに基づいて、隠れ時間を予測する。隠れ時間とは、図６に示すように、歩行者Ｈが遮蔽物Ｄに隠れてから再度現れるまでの時間であり、検出部４の検出領域（検出範囲）Ｊから外れて再び歩行者Ｈが三次元情報検出部１５によって検出される（検出領域Ｊに入る）までの時間である。すなわち、隠れ時間とは、遮蔽物Ｄによって検出部４が歩行者Ｈを検出することができない検出外領域Ｋを、歩行者Ｈが移動する時間である。なお、再出現時刻予測部１６は、予め定められた時間内に歩行者Ｈが遮蔽物Ｄに隠れると判断されるときにのみ、隠れ時間を予測する。

図６に示すように、検出部４から見て遮蔽物Ｄによって歩行者Ｈが隠れる検出外領域Ｋは、検出部４からみて遮蔽物Ｄの背後から離れるにつれて扇状に広がっている。このため、歩行者Ｈが遮蔽物Ｄの背後近傍を横切る場合には、検出部４から見て遮蔽物Ｄによって歩行者Ｈが隠れる隠れ時間は短い。一方、歩行者Ｈが遮蔽物Ｄの背後から離れた位置を横切る場合、検出部４から見て遮蔽物Ｄによって歩行者Ｈが隠れる時間は長い。

また、隠れ時間は、歩行者Ｈの移動速度が速い場合には短くなり、歩行者Ｈの移動速度が遅い場合には長くなる。歩行者Ｈの移動速度は、検出部４の検出結果に基づいて求めてもよく、移動対象物追跡部１１による追跡結果に基づいて求めてもよい。

再出現時刻予測部１６は、歩行者Ｈが遮蔽物Ｄに隠れてから再度検出される時刻である再出現時刻を予測する。一例として、再出現時刻予測部１６は、隠れ時間を算出する際に用いた遮蔽物Ｄの三次元位置等が三次元情報検出部１５によって取得された取得時刻に、隠れ時間を加算して再出現時刻を算出（予測）する。再出現時刻とは、隠れ時間を算出する際に用いた歩行者Ｈ及び遮蔽物Ｄの三次元位置等の状態において、歩行者Ｈが遮蔽物Ｄに隠れてから再度検出される時刻である。

再出現時刻予測部１６は、隠れ時間を算出する際に用いた遮蔽物Ｄの三次元位置等が三次元情報検出部１５によって取得された取得時刻と、再出現時刻とを対応付ける。再出現時刻予測部１６は、三次元情報検出部１５によって検出部４の検出結果が取得される毎に、隠れ時間の予測処理及び再出現時刻の算出処理を行う。但し、上述したように、再出現時刻予測部１６は、予め定められた時間内に歩行者Ｈが遮蔽物Ｄに隠れると判断されない場合、隠れ時間を予測等しない。

移動対象物検出部１０は、第一の実施形態と同様に、図２に示すように、カメラ２によって撮像された二次元平面画像Ｘから、歩行者領域Ｒの二次元位置を検出する。なお、本実施形態では、対象物として歩行者の二次元位置を検出したが、歩行者以外にも、例えば、自転車に乗った人、又は、走行する車両等の二次元位置を検出してもよい。移動対象物検出部１０は、二次元平面画像Ｘから検出した歩行者領域Ｒの二次元位置と、歩行者領域Ｒの二次元位置を検出する際に用いた二次元平面画像Ｘの撮像時刻とを対応付ける。

移動対象物追跡部１１は、第一の実施形態と同様に、歩行者領域Ｒの二次元位置を追跡する。移動対象物追跡部１１は、歩行者領域Ｒの二次元位置の追跡結果と、追跡の際に用いた二次元平面画像のうち最も新しい二次元平面画像に対応付けられていた撮像時刻とを対応付ける。

位置予測部１２Ａは、移動対象物追跡部１１における追跡結果に基づいて、再出現時刻予測部１６で算出された再出現時刻における歩行者Ｈの二次元平面画像Ｘ上の二次元位置（予測二次元位置）を予測する。位置予測部１２Ａは、再出現時刻予測部１６によって再出現時刻が予測されている場合にのみ、歩行者Ｈの二次元位置を予測する。

位置予測部１２Ａは、歩行者Ｈの二次元位置を予測する際に、移動対象物追跡部１１から入力された追跡結果に対応付けられた撮像時刻と、再出現時刻予測部１６から入力された再出現時刻に対応付けられた取得時刻とが一致する追跡結果及び再出現時刻を用いる。なお、追跡結果に対応付けられた撮像時刻と再出現時刻に対応付けられた取得時刻との時間的な差が所定の範囲内である追跡結果と再出現時刻とを用いてもよい。

具体的には、位置予測部１２Ａは、図８に示すように、二次元平面画像Ｘ上において二次元平面画像Ｘの撮像時刻から隠れ時間の経過後（再出現時刻）に歩行者Ｈが写り込むと予測される矩形の予測領域Ｙを設定する。本実施形態において位置予測部１２Ａは、再出現時刻における歩行者Ｈの二次元平面画像Ｘ上の二次元位置として、予測領域Ｙの二次元位置を予測する。予測領域Ｙとして、例えば、歩行者Ｈの移動速度の誤差等も含めた大きさの領域が設定される。

位置予測部１２Ａは、予測した予測領域Ｙの二次元位置と、再出現時刻とを対応付ける。

記憶部１３は、第一の実施形態と同様に、位置予測部１２によって予測された予測領域Ｙの二次元位置と再出現時刻とを対応付けて記憶する。

判定部１４Ａは、再出現時刻における予測領域Ｙの二次元位置に、再出現時刻に移動対象物検出部１０によって歩行者Ｈが検出されるか否かに基づいて、歩行者Ｈの予測外の動きを判定する。なお、判定部１４Ａは、位置予測部１２Ａによって歩行者Ｈの二次元位置が予測されているときにのみ、歩行者Ｈの予測外の動きを判定する。

具体的には、判定部１４Ａは、カメラ２によって二次元平面画像が撮像されると、移動対象物検出部１０から歩行者領域Ｒの二次元位置とともに撮像時刻を取得する。次に、判定部１４Ａは、取得した撮像時刻に一致する再出現時刻に対応付けられた予測領域Ｙの二次元位置を記憶部１３から取得する。判定部１４Ａは、第一の実施形態と同様に、取得した予測領域Ｙと歩行者領域Ｒとの二次元平面画像Ｘ上の重なり具合に基づいて、歩行者Ｈの予測外の動きを判定する。

また、カメラ２によって二次元平面画像Ｘが撮像されたにもかかわらず、歩行者Ｈが検出されない場合もある。この場合、判定部１４Ａは、歩行者Ｈが検出されなかった二次元平面画像Ｘの撮像時刻に一致する再出現時刻に対応付けられた予測領域Ｙの二次元位置を記憶部１３から取得する。予測領域Ｙの二次元位置が取得されているにもかかわらず歩行者Ｈが検出されていない場合、歩行者Ｈは予測外の動きをしたと考えられる。このとき、歩行者Ｈが検出されていないため、予測領域Ｙには歩行者領域Ｒが重ならない。このため、判定部１４Ａは、第一の実施形態と同様に、歩行者Ｈが予測外の動きをしたと判定する。

判定部１４Ａは、歩行者Ｈの予測外動きの判定結果を報知部３に出力する。報知部３は、第一の実施形態と同様に、判定部１４Ａによって歩行者Ｈの動きが予測外であると判定されている場合、一例として、車両のドライバ等に警報音を出力する。本実施形態では、歩行者Ｈの予測外動きの判定結果を報知部３に出力して警報音を出力したが、例えば、車両の動力の制御を行う等、各種の動作を行うことができる。

予測外動き判定装置１Ａの移動対象物検出部１０、移動対象物追跡部１１、位置予測部１２Ａ、記憶部１３、判定部１４Ａ、三次元情報検出部１５及び再出現時刻予測部１６は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を含むコンピュータによって構成されている。

次に、三次元情報検出部１５及び再出現時刻予測部１６において行われる再出現時刻の予測処理の流れについて説明する。図９に示すように、三次元情報検出部１５は、検出部４の検出結果を取得する（ステップＳ３０１）。三次元情報検出部１５は、検出部４の検出結果に基づいて、歩行者Ｈの三次元位置と、遮蔽物Ｄの三次元位置と、遮蔽物Ｄの幅とを取得する（ステップＳ３０２）。

再出現時刻予測部１６は、取得された遮蔽物Ｄの三次元位置と、遮蔽物Ｄの幅と、歩行者Ｈの三次元位置と、歩行者Ｈの移動速度及び移動方向とに基づいて、隠れ時間を予測する（ステップＳ３０３）。再出現時刻予測部１６は、予測された隠れ時間に基づいて、歩行者Ｈが遮蔽物Ｄに隠れてから再度検出される再出現時刻を予測する（ステップＳ３０４）。

次に、移動対象物検出部１０、移動対象物追跡部１１及び位置予測部１２Ａによって行われる予測領域Ｙの予測処理の流れを説明する。図３に示すように、移動対象物検出部１０は、カメラ２によって撮像された二次元平面画像を取得する（ステップＳ１０１）。移動対象物検出部１０は、二次元平面画像Ｘ上において、歩行者領域Ｒの二次元位置を検出する（ステップＳ１０２）。移動対象物追跡部１１は、移動対象物検出部１０によって検出された時間的に異なる２以上の歩行者領域Ｒの二次元位置に基づいて、歩行者領域Ｒの二次元位置を追跡する（ステップＳ１０３）。

位置予測部１２Ａは、歩行者Ｈの追跡結果に基づいて、再出現時刻における歩行者Ｈの二次元位置を予測する（ステップＳ１０４Ａ）。記憶部１３は、予測された予測領域Ｙの二次元位置（予測結果）と予測時刻とを対応付けて記憶する（ステップＳ１０５）。

ここで、判定部１４Ａによって行われる歩行者Ｈの予測外の動きの判定処理の流れは、第一の実施形態において図４を用いて説明した判定処理の流れと同様であり、詳細な説明を省略する。

本実施形態は以上のように構成され、位置予測部１２Ａは、再出現時刻における歩行者Ｈの二次元平面画像Ｘ上の二次元位置を予測する。すなわち、位置予測部１２Ａは、遮蔽物Ｄの幅等を考慮して、歩行者Ｈが遮蔽物Ｄに隠れてから再び現れたときの二次元位置を予測している。判定部１４Ａは、再出現時刻における予測領域Ｙの二次元位置に、再出現時刻に歩行者Ｈが検出されるか否かに基づいて、歩行者Ｈの予測外の動きを判定する。これにより、歩行者Ｈが遮蔽物Ｄに隠れる場合であっても、歩行者Ｈの予測外の動きをより一層適切に判定することができる。

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。例えば、第一の実施形態及び第二の実施形態において、カメラ２によって撮像された二次元平面画像に基づいて歩行者Ｈの二次元位置を検出したが、検出部４の検出結果に基づいて歩行者Ｈの二次元位置を検出してもよい。

１，１Ａ…予測外動き判定装置、２…カメラ（撮像部）、４…検出部、１０…移動対象物検出部、１１…移動対象物追跡部、１２，１２Ａ…位置予測部、１４，１４Ａ…判定部、１５…三次元情報検出部、１６…再出現時刻予測部、Ｈ…歩行者（移動対象物）、Ｄ…遮蔽物。

Claims (2)

1. 撮像部によって撮像された二次元平面画像上における移動対象物の二次元位置を検出する移動対象物検出部と、
   前記移動対象物検出部における前記移動対象物の検出結果に基づいて、予め定められた時刻における前記移動対象物の前記二次元平面画像上の位置を予測二次元位置として予測する位置予測部と、
   前記予測二次元位置に、前記予め定められた時刻に前記移動対象物検出部によって前記移動対象物が検出されるか否かに基づいて、前記移動対象物が予測外の動きをしたか否かを判定する判定部と、
   を備える予測外動き判定装置。
2. 撮像部によって撮像された二次元平面画像上における移動対象物の二次元位置を検出する移動対象物検出部と、
   前記移動対象物及び前記移動対象物の周囲の遮蔽物の三次元空間における三次元位置を含む三次元情報を検出する三次元情報検出部と、
   前記三次元情報検出部によって検出された前記遮蔽物の三次元情報及び前記移動対象物の三次元情報に基づいて、前記遮蔽物によって前記三次元情報検出部の検出範囲から外れて再び前記移動対象物が検出される再出現時刻を予測する再出現時刻予測部と、
   前記移動対象物検出部における前記移動対象物の検出結果に基づいて、前記再出現時刻における前記移動対象物の前記二次元平面画像上の位置を予測二次元位置として予測する位置予測部と、
   前記予測二次元位置に、前記再出現時刻に前記移動対象物検出部によって前記移動対象物が検出されるか否かに基づいて、前記移動対象物が予測外の動きをしたか否かを判定する判定部と、
   を備える予測外動き判定装置。

Images