JP2016012226A - 対象物認識装置 - Google Patents

Abstract

【課題】対象物をロストする可能性を低減させて対象物を好適に追跡可能な対象物認識装置を提供することを課題とする。【解決手段】本発明の対象物認識装置は、自車両の周辺を撮像した画像から対象物を検出し、対象物の特徴点を抽出し、抽出された特徴点を中心とする一定の領域を対象物の追跡用のパッチとして当該対象物に対して複数設定し、順次取得された時系列的に前後する複数の画像をパッチごとに比較することで対象物を追跡し、対象物を追跡できたパッチの数が予め設定したパッチの数より減少していた場合にパッチを補充し、追跡できたパッチごとに飛出し検出を行って検出結果を統合することで対象物の飛出しの有無を判定する。【選択図】図１

Description

本発明は、対象物認識装置に関する。

従来の対象物認識装置としては、例えば、特許文献１に記載の技術が報告されている。特許文献１に記載の技術では、自車両の周辺を撮像した画像から特徴点を抽出し、特徴点ごとに自車両に近づいているか否かを判定し、自車両に近づいていると判定された特徴点については、当該特徴点を中心とする一定の領域を与えてパッチとして設定する。そして、特許文献１に記載の技術では、パッチ同士が重なっている特徴点についてグルーピングし、グルーピングされた特徴点の数が一定数以上の場合は、そのグループ化された特徴点の集合を対象物として認識する。そして、特許文献１に記載の技術では、追跡対象として認識した対象物について、自車両に近づいているか否かを判定している。

特開２０１３−１２０５５１号公報

しかしながら、従来の対象物認識装置（特許文献１等）においては、グルーピングされた特徴点の数が一定数未満の場合は、そのグループ化された特徴点の集合を対象物として認識しないため、追跡対象として認識していた対象物をロストしてしまう可能性がある。例えば、対象物の一部分が障害物に隠れることで、特徴点の数が少なくなった場合などに、追跡対象として認識すべき対象物をロストしてしまう可能性がある。

本発明は、上記の事情に鑑みてなされたものであって、追跡対象として認識すべき対象物の一部が障害物に隠れる等により、特徴点が少なくなった場合であっても、対象物をロストする可能性を低減させて対象物を好適に追跡可能な対象物認識装置を提供することを目的とする。

本発明の対象物認識装置は、自車両の周辺を撮像した画像を取得する画像取得部と、前記画像取得部により取得された前記画像から前記自車両の周辺に存在する対象物を検出する対象物検出部と、前記対象物検出部により検出された前記対象物の特徴点を抽出する特徴点抽出部と、前記特徴点抽出部により抽出された前記特徴点を中心とする一定の領域を、前記対象物の追跡用のパッチとして当該対象物に対して複数設定する追跡パッチ設定部と、前記画像取得部により順次取得された時系列的に前後する複数の画像を、前記追跡パッチ設定部により設定された前記パッチごとに比較することで、前記対象物を追跡する対象物追跡部と、前記対象物追跡部により前記対象物を追跡できたパッチの数が、前記追跡パッチ設定部により設定したパッチの数より減少していた場合に、前記パッチを補充するパッチ補充部と、前記対象物追跡部により追跡できたパッチごとに飛出し検出を行い、検出結果を統合することで、前記対象物の飛出しの有無を判定する飛出し判定部と、を備えることを特徴とする。

本発明にかかる対象物認識装置は、対象物の追跡用のパッチとして当該対象物に対して複数設定されたパッチについて、対象物を追跡できたパッチの数が予め設定したパッチの数より減少していた場合には、パッチを補充することができるので、認識すべき対象物の一部が障害物に隠れる等により、特徴点が少なくなった場合であっても、対象物をロストする可能性を低減させて対象物を好適に追跡できるという効果を奏する。

図１は、実施形態にかかる対象物認識装置の構成の一例を示す図である。 図２は、パッチが設定された対象物の一例を示す図である。 図３は、パッチが設定された対象物の一例を示す図である。 図４は、パッチが設定された対象物の一例を示す図である。 図５は、パッチが設定された対象物の一例を示す図である。 図６は、実施形態にかかる対象物認識装置の処理の一例を示す図である。 図７は、実施形態にかかる対象物認識装置の処理の一例を示す図である。

以下に、本発明にかかる対象物認識装置の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれる。

［実施形態］
本実施形態にかかる対象物の構成について図１乃至図５を参照しながら説明する。図１は、実施形態にかかる対象物認識装置の構成の一例を示すブロック図である。図２乃至図５は、パッチが設定された対象物の一例を示す図である。

図１に示すように、カメラ１は、自車両の周辺を撮影し、自車両の周辺が映し出されている画像データを生成する機器である。カメラ１は、例えば可視光領域または赤外線領域にて撮像可能なＣＣＤカメラまたはＣＭＯＳカメラ等である。カメラ１は、車両の前方、側方、後方等の車両周辺を撮影可能な任意の位置に設置される。

対象物認識装置２は、例えば車両に搭載された自動車制御用コンピュータなどを用いて構成されたものであり、車両に搭載されているカメラ１と、車室内の運転者等に対して音声を出力するスピーカ３と、車両の挙動を制御するアクチュエータ４と、通信可能に接続されている。

対象物認識装置２は、画像取得部２ａと、対象物検出部２ｂと、特徴点抽出部２ｃと、追跡パッチ設定部２ｄと、対象物追跡部２ｅと、パッチ補充部２ｆと、飛出し判定部２ｇと、注意喚起部２ｈと、車両制御部２ｉと、を少なくとも備える。

画像取得部２ａは、自車両の周辺を撮像した画像を取得する画像取得手段である。画像取得部２ａは、カメラ１から入力される画像データを、自車両の周辺を撮像した画像として取得する。画像取得部２ａは、カメラ１から入力される画像データを順次取得することで、異なる時刻で自車両の周辺を撮像した複数の画像を取得する。

対象物検出部２ｂは、画像取得部２ａにより取得された画像から自車両の周辺に存在する対象物を検出する対象物検出手段である。本実施形態において、対象物とは、後述する飛出し検出を行うために追跡対象とする移動体を意味する。移動体としては、例えば、自車両の周辺に存在する歩行者、自転車、相手車両等を含む。なお、対象物検出手法としては、パターンマッチング等の当該分野で公知の手法が用いられる。

特徴点抽出部２ｃは、対象物検出部２ｂにより検出された対象物の特徴点を抽出する特徴点抽出手段である。本実施形態において、対象物の特徴点とは、追跡対象とする対象物と、背景や障害物とを明確に区別可能な特徴量を有する画像上の画素領域を意味する。特徴量は、例えば、色、形状、テクスチャ等の特徴を示す量である。なお、特徴点抽出手法としては、ＳＩＦＴやＳＵＲＦ等の当該分野で既知の手法が用いられる。

追跡パッチ設定部２ｄは、特徴点抽出部２ｃにより抽出された特徴点を中心とする一定の領域を、対象物の追跡用のパッチとして当該対象物に対して複数設定する追跡パッチ設定手段である。本実施形態において、追跡用のパッチは、特徴点抽出部２ｃにより抽出された対象物に関する複数の特徴点に対して夫々、各特徴点を中心とする正方形などの一定領域を与えることで設定される。なお、１つの対象物に対して設定されるパッチの数は、予め設定されているものとする。

ここで、図２を参照して、追跡パッチ設定部２ｄにより設定されたパッチの一例について説明する。図２において、対象物は歩行者であり、当該歩行者に対して特徴点抽出部２ｃにより５つの特徴点１〜５が抽出されているものとする。このような場合、図２に示すように、追跡パッチ設定部２ｄは、特徴点抽出部２ｃにより抽出された歩行者に関する５つの特徴点１〜５に対して夫々、各特徴点１〜５を中心とする正方形のパッチＡ１〜Ａ５を設定する。

図１に戻り、対象物追跡部２ｅは、画像取得部２ａにより順次取得された時系列的に前後する複数の画像を、追跡パッチ設定部２ｄにより設定されたパッチごとに比較することで、対象物を追跡する対象物追跡手段である。本実施形態において、例えば、画像取得部２ａにより第１の時刻で取得された画像を第１の画像とし、第１の時刻よりも後の時刻である第２の時刻で取得される画像を第２の画像とした場合、これら第１の画像と第２の画像が、時系列的に前後する複数の画像となる。より具体的には、第１の画像は、現在から所定時間前の画像であり、第２の画像は、現在の画像となる。

ここで、図２及び図３を参照し、一例として、図２に示す画像を第１の画像とし、図３に示す画像を第２の画像として、対象物追跡部２ｅの処理を説明する。図２と同様に、図３において、歩行者に対して特徴点抽出部２ｃにより５つの特徴点１〜５が抽出されており、追跡パッチ設定部２ｄにより、各特徴点１〜５を中心とする正方形のパッチＢ１〜Ｂ５が設定されているものとする。このような場合、図２及び図３に示すように、対象物追跡部２ｅは、画像取得部２ａにより順次取得された時系列的に前後する第１の画像（図２参照）と第２の画像（図３参照）を、追跡パッチ設定部２ｄにより設定されたパッチＡ１〜Ａ５，Ｂ１〜Ｂ５ごとに比較する。

具体的には、対象物追跡部２ｅは、第１の画像と第２の画像とを比較する際には、同一の特徴点に対して設定されたパッチごとに比較する。例えば、特徴点１について、第１の画像においてはパッチＡ１が設定され、第２の画像においてはパッチＢ１が設定されているので、対象物追跡部２ｅは、まず、パッチＡ１とパッチＢ１とを比較する。そして、対象物追跡部２ｅは、時系列的に前後する第１の画像と第２の画像間において、同一の特徴点１に対して設定されたパッチＡ１とパッチＢ１が存在し、且つ、第１の画像と第２の画像とを重ね合わせた場合にパッチＡ１の領域とパッチＢ１の領域の一部が重なる場合、特徴点１については追跡できていると判定する。一方、対象物追跡部２ｅは、時系列的に前後する第１の画像と第２の画像間において、同一の特徴点に対して設定されたパッチが存在しない場合、そのパッチの中心となる特徴点については追跡できずロストしたと判定する。同様に、対象物追跡部２ｅは、特徴点２〜５に対して夫々設定されたパッチＡ２〜Ａ５とパッチＢ２〜Ｂ５に対しても上述のように比較して、特徴点２〜５についても追跡できているか否かを判定する。

対象物追跡部２ｅは、特徴点１〜５の夫々について判定された追跡結果を統合し、所定数以上の特徴点について追跡できている場合は、対象物を追跡できていると判定する。一方、対象物追跡部２ｅは、所定数未満の特徴点についてのみ追跡できている場合は、対象物追跡部２ｅは、対象物を追跡できずにロストしたと判定する。例えば、対象物追跡部２ｅは、５つの特徴点１〜５の追跡結果に基づいて、少なくとも１つの特徴点について追跡できている場合は、対象物を追跡できていると判定し、全ての特徴点について追跡できなかった場合は、対象物を追跡できずにロストとした判定してもよい。

図１に戻り、パッチ補充部２ｆは、対象物追跡部２ｅにより対象物を追跡できたパッチの数が、追跡パッチ設定部２ｄにより設定したパッチの数より減少していた場合に、パッチを補充するパッチ補充手段である。パッチ補充部２ｆは、パッチを補充する際、追跡パッチ設定部２ｄにより設定したパッチの数になるようにパッチを追加する。具体的には、パッチ補充部２ｆは、上述の特徴点抽出部２ｃによる特徴点抽出処理を再度行い、新たな特徴点に対して、当該特徴点を中心とするパッチを必要数だけ設定することでパッチを補充する。なお、パッチ補充部２ｆは、対象物追跡部２ｅにより対象物を追跡できたパッチが所定数未満である場合は、対象物をロストしたと判定し、パッチの補充は行わないものとする。

ここで、図４及び図５を参照し、一例として、図２に示す画像を第１の画像とし、図４及び図５に示す画像を第２の画像として、パッチ補充部２ｆの処理を説明する。図２に示す第１の画像においては、歩行者に対して特徴点抽出部２ｃにより５つの特徴点１〜５が抽出されていたものの、図４に示す第２の画像においては、電信柱等の障害物によって歩行者の一部が隠れることで、特徴点１〜３を追跡できなくなっているものとする。このような場合、パッチ補充部２ｆは、図４に示す第２の画像中の歩行者について再度、特徴点抽出部２ｃを制御して特徴点抽出処理を行う。そして、パッチ補充部２ｆは、図５に示すように、歩行者に対して再度抽出した新たな特徴点６〜８に夫々対応するパッチＢ６〜Ｂ８を設定する。このようにして、パッチ補充部２ｆは、追跡パッチ設定部２ｄにより最初に設定したパッチの数（図２において５つ）になるように、新たなパッチＢ６〜Ｂ８を３つ追加する。その結果、第２の画像中の歩行者について予め決められた数のパッチを確保できるので、この第２の画像の後に順次取得される画像との比較処理により引き続き対象物を追跡することが可能となる。

飛出し判定部２ｇは、対象物追跡部２ｅにより追跡できたパッチごとに飛出し検出を行い、検出結果を統合することで、対象物の飛出しの有無を判定する飛出し判定手段である。例えば、飛出し判定部２ｇは、時系列的に前後する複数の画像（例えば、第１の画像と第２の画像）間で、パッチごとに、そのパッチの中心となる特徴点の移動量や移動方向などに基づく特徴点の変化量を、当該分野で公知の手法を用いて算出する。そして、飛出し判定部２ｇは、パッチごとに算出した変化量が、時系列的に前後する複数の画像間で急激な変化があることを検出するための所定の変化検出用閾値以上である場合、そのパッチに対して飛出しスコアをカウントする。一方、飛出し判定部２ｇは、パッチごとに算出した変化量が所定の変化検出用閾値未満である場合、そのパッチに対して飛出しスコアをカウントしない。飛出し判定部２ｇは、対象物追跡部２ｅにより追跡できた全てのパッチについて飛出し検出を行った後、各パッチについてカウントされた飛出しスコアを集計し平均化することで統合する。そして、飛出し判定部２ｇは、統合された飛出しスコアが所定の飛出し検出用閾値以上である場合に、対象物の飛出しが有ると判定し、統合された飛出しスコアが所定の飛出し検出用閾値未満である場合に、対象物の飛出しは無いと判定する。

本実施形態において、対象物の飛出しとは、交通環境において危険な対象物の変化を意味する。このような危険な対象物の変化としては、例えば、歩行者や自転車が急に動きを変えて道路に出てくるという変化、併走車車両やバイクが急に車線変更して自車線に割り込んでくるという変化、前方車両が急にＵターンを開始するという変化、前方車両が道路脇の店等に入るために急に右左折を開始するという変化等を含むが、これらに限定されない。

注意喚起部２ｈは、飛出し判定部２ｇにより対象物の飛出しが有ると判定された場合、スピーカ３を介して音声を出力することで、自車両の運転者に対して注意喚起を行う注意喚起手段である。例えば、注意喚起部２ｈは、対象物が飛出してくると予測される方向に運転者の注意が向くように促す音声情報やブザー音等を出力する。

車両制御部２ｉは、飛出し判定部２ｇにより対象物の飛出しが有ると判定された場合、アクチュエータ４を介して車両の挙動を制御することで、自車両が対象物を回避するように車両制御を行う車両制御手段である。例えば、車両制御部２ｉは、自車両が対象物を回避できるように、アクチュエータ４を介して操舵制御や減速制御等を行う。

続いて、図６及び図７を参照して、上述した対象物認識装置２において実行される処理について説明する。なお、以下の処理において、車両周辺に存在する対象物として、歩行者を一例に説明するが、これに限定されない。

まず、図６を参照して、対象物認識装置２により実行されるパッチ設定処理の一例について説明する。

図６に示すように、画像取得部２ａは、カメラ１から入力される時刻ｔ＝０の画像データを自車両の周辺を撮像した画像として取得する（ステップＳＴ１１）。

そして、対象物検出部２ｂは、ステップＳ１１で画像取得部２ａにより取得された画像から自車両の周辺に存在する対象物として歩行者を検出する（ステップＳＴ１２）。

そして、特徴点抽出部２ｃは、ステップＳＴ１２で対象物検出部２ｂにより検出された対象物としての歩行者の特徴点を抽出する（ステップＳＴ１３）。例えば、図２に示すような画像が、ステップＳＴ１１で画像取得部２ａにより取得されたとすると、ステップＳＴ１３において、特徴点抽出部２ｃは、図２に示すように、歩行者に関して特徴点１〜５を抽出する。

そして、追跡パッチ設定部２ｄは、ステップＳＴ１３において特徴点抽出部２ｃにより抽出された特徴点を中心とする一定の領域を、対象物としての歩行者を追跡する際に用いる追跡用のパッチとして当該歩行者に対して複数設定する（ステップＳＴ１４）。例えば、図２に示すように、追跡パッチ設定部２ｄは、特徴点抽出部２ｃにより歩行者に関して抽出された特徴点１〜５について夫々、パッチＡ１〜Ａ５を設定する。その後、本処理を終了する。

次に、図７を参照して、対象物認識装置２により実行される対象物追跡処理、パッチ補充処理、及び、対象物飛出し検出処理の一例について説明する。図７に示す処理は、図６に示したパッチ設定処理を終了後、画像取得部２ａにより画像が順次取得されるたびに繰り返し実行される。

図７に示すように、画像取得部２ａは、カメラ１から入力される次のフレームの画像データを自車両の周辺を撮像した画像として取得する（ステップＳＴ２１）。例えば、第１の時刻に取得された第１の画像とすると、ステップＳＴ２１において、画像取得部２ａは、第１の時刻より後の時刻である第２の時刻に取得される第２の画像を、次のフレームの画像データとして取得する。

そして、対象物追跡部２ｅは、ステップＳＴ２１で画像取得部２ａにより取得された次のフレームの画像データとしての第２の画像と、既に画像取得部２ａにより取得されていた前回画像としての第１の画像とを、パッチ毎に比較して、ロスト判定を行う（ステップＳＴ２２）。例えば、図２に示す画像を第１の画像とし、図３に示す画像を第２の画像とすると、ステップＳＴ２２において、対象物追跡部２ｅは、図２及び図３に示すように、画像取得部２ａにより順次取得された時系列的に前後する第１の画像（図２参照）と第２の画像（図３参照）を、追跡パッチ設定部２ｄにより設定されたパッチＡ１〜Ａ５，Ｂ１〜Ｂ５ごとに比較する。

そして、パッチ補充部２ｆは、パッチ数が前回画像と比べて減ったか否かを判定する（ステップＳＴ２３）。ステップＳＴ２３において、パッチ補充部２ｆは、ステップＳＴ２２において対象物追跡部２ｅにより対象物を追跡できたパッチの数が、例えば図６のステップＳＴ１４において追跡パッチ設定部２ｄにより設定したパッチの数と比べて、減ったか否かを判定する。

ここで、ステップＳＴ２３において、パッチ補充部２ｆは、パッチ数が前回画像と比べて減ったと判定した場合（ステップＳＴ２３：Ｙｅｓ）、パッチを補充する（ステップＳＴ２４）。例えば、図２に示す画像を第１の画像とし、図４及び図５に示す画像を第２の画像とすると、ステップＳＴ２４において、パッチ補充部２ｆは、図４に示す第２の画像中の歩行者について再度、特徴点抽出部２ｃを制御して特徴点抽出処理を行う。そして、パッチ補充部２ｆは、図５に示すように、歩行者に対して再度抽出した新たな特徴点６〜８に夫々対応するパッチＢ６〜Ｂ８を設定する。その後、後述のステップＳＴ２５の処理へ移行する。

一方、ステップＳＴ２３において、パッチ補充部２ｆは、パッチ数が前回画像と比べて減っていないと判定した場合（ステップＳＴ２３：Ｎｏ）、パッチを補充せずに、後述のステップＳＴ２５の処理へ移行する。なお、ステップＳＴ２３において、パッチ補充部２ｆは、対象物追跡部２ｅにより対象物を追跡できたパッチが所定数未満である場合は、対象物をロストしたと判定して、本処理を終了するものとする。

そして、飛出し判定部２ｇは、ステップＳＴ２２で対象物追跡部２ｅにより追跡できたパッチごとに飛出し検出を行い、検出結果を統合することで、対象物の飛出しの有無を判定する（ステップＳＴ２５）。その後、本処理を終了する。

以上説明したように、本実施形態に係る対象物認識装置２によれば、対象物の追跡用のパッチとして当該対象物に対して複数設定されたパッチについて、対象物を追跡できたパッチの数が予め設定したパッチの数より減少していた場合には、パッチを補充することができる。これにより、認識すべき対象物の一部が障害物に隠れる等により、特徴点が少なくなった場合であっても、対象物をロストする可能性を低減させて対象物を好適に追跡できる。

なお、本実施形態において、図７のステップＳＴ２５の処理の後、注意喚起部２ｈは、ステップＳＴ２５において飛出し判定部２ｇにより対象物の飛出しが有ると判定された場合、スピーカ３を介して音声を出力することで、自車両の運転者に対して注意喚起を行ってもよい。また、ステップＳＴ２５の処理の後、車両制御部２ｉは、ステップＳＴ２５において、飛出し判定部２ｇにより対象物の飛出しが有ると判定された場合、アクチュエータ４を介して車両の挙動を制御することで、自車両が対象物を回避するように車両制御を行ってもよい。

１ カメラ
２ 対象物認識装置
２ａ 画像取得部
２ｂ 対象物検出部
２ｃ 特徴点抽出部
２ｄ 追跡パッチ設定部
２ｅ 対象物追跡部
２ｆ パッチ補充部
２ｇ 飛出し判定部
２ｈ 注意喚起部
２ｉ 車両制御部
３ スピーカ
４ アクチュエータ

Claims (1)

1. 自車両の周辺を撮像した画像を取得する画像取得部と、
   前記画像取得部により取得された前記画像から前記自車両の周辺に存在する対象物を検出する対象物検出部と、
   前記対象物検出部により検出された前記対象物の特徴点を抽出する特徴点抽出部と、
   前記特徴点抽出部により抽出された前記特徴点を中心とする一定の領域を、前記対象物の追跡用のパッチとして当該対象物に対して複数設定する追跡パッチ設定部と、
   前記画像取得部により順次取得された時系列的に前後する複数の画像を、前記追跡パッチ設定部により設定された前記パッチごとに比較することで、前記対象物を追跡する対象物追跡部と、
   前記対象物追跡部により前記対象物を追跡できたパッチの数が、前記追跡パッチ設定部により設定したパッチの数より減少していた場合に、前記パッチを補充するパッチ補充部と、
   前記対象物追跡部により追跡できたパッチごとに飛出し検出を行い、検出結果を統合することで、前記対象物の飛出しの有無を判定する飛出し判定部と、
   を備えることを特徴とする対象物認識装置。

Images