JP2021182288A - 移動体追跡装置及び移動体追跡方法 - Google Patents

Abstract

【課題】撮像画像から所定の移動体を精度よく追跡を行うことができ、低消費電力で動作可能な移動体追跡装置及び移動体追跡方法を提供する。【解決手段】移動体追跡装置１は、撮像部１０で撮像した撮像画像２０を画像処理速度に応じてＦＩＦＯ型で遅延させた出力と遅延させず間引く出力との２系統に分配し、前記撮像画像２０を出力する画像分配部２と、人工知能又はベクトル焦点法の物体検出により、前記画像分配部２から入力された撮像画像２０中から追跡対象の物体２１を検出する処理を行う物体識別部３と、物体識別部３での物体の認識結果の位置と範囲をベクトル焦点法による画像処理の標準体として扱い、前記画像分配部２から入力された撮像画像中から前記標準モデルに適合する追跡対象の移動体２１を追跡する処理を行う移動体追跡部５と、物体識別部３と移動体追跡部５の結果の統合を行う一致判定部６とを備える。【選択図】図１

Description

本発明は、撮像部で撮像した撮像画像中の物体像に基づいて移動体を追跡する移動体追跡装置及び移動体追跡方法に関する。

近年では、例えば、ディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）を用いた人物や自動車といった物体検出の手法が多く研究されている。予め自家用車やバス、トラック、人、自転車といった種別毎に識別した画像を用いて深層学習を行った人工知能を搭載した画像処理装置でカメラの撮像画像を評価することで、その画像中に含まれる各物体の種別と画像中の位置を推定することが可能である。既存の画像処理による識別では、各種別毎にアルゴリズムを作製する必要があったが、ＤＮＮを用いることでより簡易に複数種の物体検出を行うことができる。また、ＤＮＮを用いて、上述のように撮像画像中の物体の位置だけではなく、その後の物体の移動の追跡を含めて実施する技術も研究されており、例えば、パーティクルフィルタを用いた追跡装置などがある（特許文献１等）。

また、カメラの撮像画像中から所定の物体を認識する方法として、ベクトル焦点法が知られている。このベクトル焦点法は、認識すべき物体の標準モデルに基づく標準体データを作製しておき、撮像画像中から標準体データと適合する物体を認識するものである（特許文献２，３，４）。

特開２０１９−１８５２１０号公報 特許第３４０６５８７号公報 特許第３３９０４２６号公報 特許第３４０６５７７号公報

ＤＮＮを用いて物体検出及び追跡を実施する場合、演算量が多いため、実用上は高速に演算処理できる演算処理装置が必要となる。しかしながら、通行量の測定など小型で安価なシステム上で動作させる必要がある場合、長時間安定動作させるために低消費電力にする必要性や、経済上等の諸事情により、使用可能な演算処理装置が限られてくる。それゆえ、現実問題として撮像画像から多様な物体を高精度で認識でき且つ低消費電力で電力供給方法、放熱問題の殆ど無い移動体追跡装置の提供が望まれる。

また、追跡対象が自動車や人物等、種類が多岐にわたる場合、移動の規則性や速度がそれぞれ異なり、同一のアルゴリズムにて多岐の移動体に渡って精度よく移動体の追跡を行うためには、秒間の撮像画像の処理回数（ＦＰＳ：Frames Per Second）を多くする必要がある。例えば、移動体が等速直線運動ではなく不規則な運動をしている場合、撮像画像から得られる特徴点が変化している場合、類似の特徴点が得られる物体同士が交差する場合など、画像取得の頻度が低いほど撮像画像から得られる特徴点の一致度や位置の一致度が低下し、追跡精度が低下する。その為、ＤＮＮを用いて種類毎に識別された移動体を精度よく追跡するには撮像画像のＦＰＳを高めることが必要となるが、上述のような限られた性能の演算処理装置では限界がある。

また、前記ベクトル焦点法を用いて移動体の追跡を高精度に行うためには、経時的に多様かつ個性的に変化する物体像に対応して標準体データを設定する必要があるが、多様かつ個性的な変化に対応した標準体データを事前に想定して設定することは困難であった。

本発明は、以上の事情に鑑みてなされたものであり、低消費電力で動作可能でありながら、撮像画像から所定の移動体を精度よく追跡を行うことが可能な移動体追跡装置及び移動体追跡方法を提供することを目的とする。

本発明者らは、高速に実行できる物体識別部を例えば１／１０程度の間欠動作をさせることで低消費電力に動作させて物体を認識させ、又は簡易なハードウエアで低消費電力だが低速な実行の物体識別部を使って物体を認識させ、物体の追跡は低消費電力で実行できるベクトル焦点法で機能補間することにより、高精度でありながら、低消費電力、小型で熱対策の容易な装置及び方法を完成させた。

すなわち、本発明に係る移動体追跡装置は、
撮像部で撮像した撮像画像中の物体像に基づいて移動体を追跡する移動体追跡装置であって、
前記撮像画像を画像処理速度に応じてＦＩＦＯ型で遅延させる出力と前記撮像画像を遅延させず間引く出力との２系統に分配し、前記撮像画像を出力する画像分配部と、
人工知能又はベクトル焦点法による物体検出により、前記画像分配部から入力された撮像画像中から追跡対象の物体を検出する処理を行う物体識別部と、
物体識別部での物体の認識結果の位置と範囲をベクトル焦点法による画像処理の標準モデルとして扱い、前記画像分配部から入力された撮像画像中から前記標準モデルに適合する追跡対象の移動体を追跡する処理を行う移動体追跡部と、
物体識別部と移動体追跡部の結果の統合を行う一致判定部とを備え、
前記画像分配部は、前記物体識別部に対して一定フレーム数おきの間隔で定期的に撮像画像を出力し、前記移動体追跡部に対して前記物体識別部の出力と当該移動体追跡部の出力とが同タイミングになるよう毎回撮像画像を出力する構成とし、
前記物体識別部は、高速の演算処理で間欠動作を行う又は低速な演算処理を行う構成とし、
前記一致判定部は、前記物体識別部及び前記移動体追跡部からの出力より互いに同一の移動体が存在する場合、前記移動体追跡部が追跡する当該移動体を前記物体識別部で検出する物体と一致させるための処理を行う構成とする。

本発明に係る移動体追跡方法の一形態は、
撮像部で撮像した撮像画像中の物体像に基づいて移動体を追跡する移動体追跡方法であって、
画像分配部にて、前記撮像画像を画像処理速度に応じてＦＩＦＯ型で遅延させる出力及び遅延させず間引く出力の２系統に分配し、各処理部へ前記撮像画像を出力する画像分配ステップと、
物体識別部にて、人工知能により、前記画像分配ステップで入力されたフレームの撮像画像中から追跡対象の物体を検出する処理を行う物体識別ステップと、
移動体追跡部にて、ベクトル焦点法による画像処理により、前記画像分配ステップで入力されたフレームの撮像画像中から追跡対象の移動体を追跡する処理を行う移動体追跡ステップと、
一致判定部にて、前記移動体追跡ステップが追跡すべき移動体を前記物体識別ステップで検出する物体と一致させるための処理を行う一致判定ステップとを備え、
前記画像分配ステップは、前記物体識別部に対して一定フレーム数おきの間隔で定期的に撮像画像を出力し、前記移動体追跡部に対して前記物体識別部の出力と当該移動体追跡部の出力とが同タイミングになるよう遅延させて毎回撮像画像を出力する処理を行い、
前記物体識別ステップは、前記人工知能において追跡対象の移動体となる実際の物体の様々な形の画像データを機械学習させた学習済みモデルが構築され、これより前記画像分配ステップにより定期的に入力されるフレームの撮像画像中における所定の物体の領域、物体の位置、物体の種別を精度よく検出する処理を行い、
前記移動体追跡ステップは、前記ベクトル焦点法による画像処理によって、追跡すべき移動体の標準モデルに基づく標準体データが設定され、撮像画像中における前記標準体データと適合する移動体に代表点が配置され、これより前記画像分配ステップにより毎回入力されるフレームの撮像画像中から同一の移動体の代表点を追跡する処理を行い、
前記一致判定ステップは、
前記物体識別ステップと前記移動体追跡ステップとに入力された同一フレームの撮像画像について、物体識別ステップで検出された物体のなかに移動体追跡ステップで追跡中の移動体と同一の移動体が存在するか否か一致判定をし、
前記一致判定で同一の移動体が存在すると判定された場合は、前記移動体追跡ステップにおいて、前記一致判定で用いた現フレームより１つ後の次フレームの撮像画像の処理では、前記物体識別ステップで検出された物体を標準モデルとして使用させる処理を行い、
前記一致判定で同一の移動体が存在しないと判定された場合は、前記移動体追跡ステップにおいて、前記次フレームの撮像画像の処理では、前記物体識別ステップのみに検出された物体を新規の移動体として登録し、当該物体を標準モデルとする処理を行う。

本発明に係る移動体追跡方法の他の形態は、
撮像部で撮像した撮像画像中の物体像に基づいて移動体を追跡する移動体追跡方法であって、
画像分配部にて、前記撮像画像を取得し出力する画像分配ステップと、
物体識別部にて、ベクトル焦点法による物体検出により、前記画像分配ステップで入力された撮像画像中から追跡対象の物体を検出する処理を行う物体識別ステップと、
移動体追跡部にて、ベクトル焦点法による画像処理により、前記画像分配ステップで入力された撮像画像中から追跡対象の移動体を追跡する処理を行う移動体追跡ステップとを備え、
前記移動体追跡ステップは、前記ベクトル焦点法による画像処理によって、追跡すべき移動体の標準モデルに基づく標準体データが設定され、撮像画像中における前記標準体データと適合する移動体に代表点が配置され、これより前記画像分配ステップで時間経過順に毎回入力される撮像画像中から同一の移動体の代表点を追跡する処理を行うステップであり、前記標準モデルとして当該撮像画像の１つ前の撮像画像で追跡中の移動体又は前記物体識別ステップが検出した物体を使用する。

以上より、本発明によれば、ベクトル焦点法を用いて移動体の追跡を行う際、経時的に多様かつ個性的に変化する物体像に対応した標準体データを作製することができ、従って、目的の移動体の追跡を高速且つ高精度に行うことができる。また、計算負荷が高い物体識別部の処理頻度を減らしながら移動体の追跡をベクトル焦点法を用いて高頻度に追跡処理することで、低消費電力、低性能な動作環境においても複数種の移動体を分類した追跡を行うことができる。

実施形態１の移動体追跡装置の構成を示すブロック図である。 画像分配部による撮像画像の分配出力方法を説明するための模式図である。 物体識別部での人工知能（ＡＩ）による画像処理を説明するための模式図である。 移動体追跡部でのベクトル焦点法による画像処理を説明するための模式図である。 ベクトル焦点法による画像処理の際、円形フーリエ変換の範囲を所定の投票範囲とする場合を説明するための模式図である。 ベクトル焦点法による画像処理の際、移動体の追跡履歴がある場合に円形フーリエ変換の範囲を所定の投票範囲とする場合を説明するための模式図である。 ベクトル焦点法における標準モデルの使用方法を説明するための模式図である。 一致判定部による移動体追跡部への標準モデルの作製指令の流れを示す模式図である。 実施形態１の移動体追跡装置による移動体追跡方法の各ステップを示す模式図である。 実施形態１における移動体追跡ステップの手順を示すフローチャートである。 実施形態２の移動体追跡装置の構成を示すブロック図である。

以下に、本発明の実施形態について添付図面を参照しながら説明する。
（実施形態１）
実施形態１の移動体追跡装置１は、カメラ１０で撮像した撮像画像２０中の物体像から移動体を追跡する装置である。なお、実施形態１において、撮像画像２０からの画像処理や判定の対象は、物体像、移動体像という画像であるが、以下の説明では、単に「物体」、「移動体」と述べている場合がある。また、実施形態１では、物体ないし移動体は人物を想定したものであるが、本発明は、人物に限らず、人物以外の動物や、自家用車、バス、トラック、自転車等の乗り物等、その他の撮像画像から画像処理で識別可能な物体を追跡対象の物体ないし移動体とすることができる。

図１に示すように、実施形態１の移動体追跡装置１は、カメラ１０と接続されており、主な構成として、画像分配部２、物体識別部３、移動体追跡部５、一致判定部６を有する。カメラ１０は、追跡すべき移動体が存在する所定のエリアを撮像するための撮像部であり、例えば、ＣＭＯＳカメラ等で構成される。カメラ１０は、追跡対象の移動体が移動可能な所定のエリアを撮像できるように設置される。例えば、店舗前の通路の通行人の動きや店舗内の人の動き等を追跡する場合、カメラ１０は、通路、店舗内の所定エリアを上方から撮像できるように天井又は壁面等に設置することができる。カメラ１０は、移動体追跡装置１と有線又は無線等で通信接続されていてもよいし、ＬＡＮ等のネットワークにより通信接続されていてもよい。また、カメラ１０は、移動体追跡装置１とは接続されず、カメラ１０で撮像した撮像データを記憶装置に記憶させ、移動体追跡装置１は、この記憶装置から撮像データを読み込むように構成されていてよい。

移動体追跡装置１は、カメラ１０での撮像画像２０中において、物体識別部３により人物を物体像として検出し、物体識別部３で検出した物体を移動体追跡部５により移動体としてその人物の移動を追跡する構成とするものである。移動体追跡部５は、定期的に物体識別部３により撮像画像２０中から人物の物体像を検出することで、物体識別部３での物体情報に基づいて移動体追跡部５が現に追跡している移動体の追跡情報を補正する構成とするものである。

物体識別部３と移動体追跡部５とには、カメラ１０での撮像画像２０がフレーム単位で画像分配部２から入力される。物体識別部３と移動体追跡部５とでは、撮像画像２０の秒間の処理回数（ＦＰＳ：Frames Per Second）は物体識別部３の方が低く、例えば、物体識別部３のＦＰＳに対して移動体追跡部５のＦＰＳの方が５倍くらい大きくなるよう構築されたものである。移動体追跡装置１において、例えば、移動体追跡部５は主にＣＰＵ（Central Processing Unit）を用いて処理し、物体識別部３は主にＧＰＵ（Graphics Processing Unit）を用いて処理され、別個の演算装置に分けることでより効率的に移動体追跡システムを構成することができる。

画像分配部２は、カメラ１０で撮像した撮像画像を処理部（３又は５）での画像処理速度に応じてＦＩＦＯ（First-In, First-Out）型で遅延させる出力及び遅延させず間引く出力の２系統に分配し、撮像画像を出力するものである。この画像分配部２では、カメラ１０での撮像データから時間経過順に撮像画像２０を一時的に複数フレームにわたり記録していき、時間経過順に撮像画像２０を所定の時間間隔で物体識別部３及び移動体追跡部５へと出力する構成を備える。例えば、物体識別部３と移動体追跡部５とでは、画像処理能力（ＦＰＳ：Frames Per Second、１秒あたりのフレーム処理数）において物体識別部３よりも移動体追跡部５の方が速く、１つのフレームの撮像画像２０に対する画像処理時間は、物体識別部３では長く、移動体追跡部５では短い。画像分配部２は、移動体追跡部５での短い画像処理時間に合わせた時間間隔でカメラ１０の撮像データから撮像画像２０を取得して記録し、少なくとも物体識別部３での長い画像処理時間内で取得できるフレーム数分の撮像画像２０を一時的に記録する。

そして、画像分配部２は、撮像画像２０の出力として、物体識別部３に対して時間経過順に一定フレーム数おきの間隔で撮像画像２０を出力し、移動体追跡部５に対して時間経過順に各フレーム毎に撮像画像２０を出力する。このとき、画像分配部２は、移動体追跡部５への撮像画像２０の出力として、物体識別部３へ出力した撮像画像２０と同じ撮像画像２０について、物体識別部３と移動体追跡部５とで画像処理の終了タイミングが同じタイミングとなるように移動体追跡部５への出力を遅延させる。これにより、物体識別部３と移動体追跡部５とのそれぞれの画像処理結果が、同じ撮像画像２０について同タイミングで得られることになる。計算負荷の高い物体識別部３のＦＰＳのみを減らすことで、移動体追跡装置１としてのＦＰＳを維持したまま、時間当たりの計算量を減らし、消費電力を低減させることができる。

図２に基づいて、一例を説明すると、物体識別部３は１ＦＰＳ（１フレーム毎秒）で画像処理動作し、移動体追跡部５は５ＦＰＳ（５フレーム毎秒）で画像処理動作する場合、画像分配部２ではカメラ１０の撮像データから５ＦＰＳの時間間隔で撮像画像２０を取得し、５フレームにわたり一時的に記録する。すなわち、画像分配部２は、カメラ１０の撮像データから１／５秒間隔で１枚の撮像画像２０を取得し、経時的に一時記録していく。画像分配部２において、単位時間あたりの撮像画像２０の記録数が多いほど過去に遡った追跡処理が可能となるが、最低でも物体識別部３が画像処理動作する間の撮像画像分、すなわち上述の例では１秒あたり５フレーム分の撮像画像２０を時間経過順に記録しておくことが好ましい。また、物体識別部３の動作速度及び移動体追跡部５の動作速度は、動作環境の性能及び追跡対象となる移動体の性質に合わせて予め調整しておくことが好ましい。

そして、画像分配部２は、カメラ１０の撮像データから取得し記録したフレームＮＯ．１の撮像画像２０をフレーム記録時点で物体識別部３に対して出力する。移動体追跡部５では画像処理能力が５ＦＰＳであるが、物体識別部３は、画像処理能力が１ＦＰＳであり移動体追跡部５での画像処理時間の５倍の時間を要する。そのため、物体識別部３がフレームＮＯ．１の撮像画像２０の画像処理が終了するのに、画像分配部２がフレームＮＯ．５の撮像画像２０を取得して記録する時点まで要する。従って、画像分配部２は、フレームＮＯ．５の撮像画像２０を取得し記録した時点で、このフレームＮＯ．５より４フレーム前のフレームの撮像画像２０、すなわち物体識別部３へ出力した撮像画像２０と同じフレームＮＯ．１の撮像画像２０を移動体追跡部５へ出力する。これにより、同じフレームＮＯ．１の撮像画像２０について、物体識別部３と移動体追跡部５とのそれぞれの画像処理結果の出力が同タイミングで得られる。

以後、同様に、画像分配部２は、移動体追跡部５へは、移動体追跡部５の処理能力（５ＦＰＳ）に合わせて、フレームＮＯ．１に続けてフレームＮＯ．２、フレームＮＯ．３、・・・のようにフレーム毎に撮像画像２０を毎回出力していき、物体識別部３へは、物体識別部３の処理能力（１ＦＰＳ）に合わせて、フレームＮＯ．１の次にフレームＮＯ．６、その次はフレームＮＯ．１１、・・・のように、５フレームおきの間隔で定期的にフレームの撮像画像２０を出力していく。これにより、上記同様に、ＮＯ．６、ＮＯ．１１等の同じフレームの撮像画像２０について、物体識別部３と移動体追跡部５とのそれぞれの画像処理結果が同タイミングで得られる。

このように、同一フレームの撮像画像２０についての物体識別部３と移動体追跡部５との画像処理結果を同じタイミングで得ることにより、このタイミングで移動体追跡部５での画像処理結果を物体識別部３での画像処理結果にて検証することで、移動体追跡部５での追跡情報を物体識別部３での検出情報によって定期的（物体識別部３での長い画像処理時間の時間間隔）に補正することができ、その結果、移動体追跡部５による追跡精度を向上することができる。

物体識別部３は、特徴抽出部３１、物体検出部３２を備え、特徴抽出部３１及び／又は物体検出部３２が人工知能で構成されている。図３を参照して、物体識別部３は、画像分配部２から入力されたフレームの撮像画像２０中から、学習済みモデルで構築された人工知能により追跡対象の移動体となる物体２１を検出する処理を行い、この画像処理結果を一致判定部６へ出力する構成を備えるものである。

特徴抽出部３１は、撮像画像２０から特徴抽出する処理を行う機能部であり、例えば、撮像画像２０における各画素の輝度や色等の画像の特徴量を求める。この特徴抽出部３１は、前記特徴量を求めるための画像解析処理のアルゴリズムに従ったプログラムで構成することができるが、前記特徴量を求めるためのデータを機械学習させた学習済みモデルを構築した人工知能で構成されてもよい。

物体検出部３２は、特徴抽出部３１で抽出された特徴量のデータから物体の種別、物体の領域、物体の位置、物体の中心点等を求める処理を行う機能部であり、撮像画像２０中において追跡対象の移動体となる物体を精度よく検出する。この物体検出部３２は、撮像画像２０中から撮像された所定の物体像２１を検出するように学習させた人工知能で構成することができるが、撮像画像２０中から撮像された所定の物体像２１を検出するためのアルゴリズムに従ったプログラムで構成されてもよい。

物体検出部３２を構成する人工知能は、検出対象の物体（例えば、人物、犬、猫等その他の動物、自家用車、バス、トラック、自転車等その他の乗り物等）の様々な形を含む大量の画像データを機械学習させた学習済みモデルにより構成されている。この人工知能は、例えば、畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）が使用される。ニューラルネットワークは、正解の物体の画像データよりなる大量の訓練画像データ（教師データ）を用いて機械学習させて正解の物体像とそれ以外の画像（背景像等）を区別する方法を学び、入力された撮像画像２０から物体の種別、物体の領域、物体の位置、物体の中心点等を精度よく出力するように構築された学習済みのニューラルネットワークモデルを用いる。ここで物体の領域とは、撮像画像２０内にて物体２１が存在する候補領域を指し、例えば、撮像画像２０上に写っている物体像２１を囲む、あるいは物体像２１に付す矩形状の枠線であるバウンディングボックス（Bounding Box）Ｂで表現することができる。物体像２１の中心点ｍは、バウンディングボックスＢの２つの対角線の交点によって現すことができる。

物体の領域、物体の位置、物体の中心点等の現し方についても、ニューラルネットワークに備えさせるなど、より高速に計算可能な手法をとるものとするのが好ましい。また、物体検出部３２では、検出された物体のうち同じ物体を重複して検出したものを除外するアルゴリズム及び物体の位置座標を推定するアルゴリズムを含むものであり、１つの撮像画像２０から同じ物体を重複して出力しないものである。例えば、Non-Maximum-Suppression（NMS）と呼ばれるアルゴリズムを備えさせ、このNMSにより、同じ物体への複数の枠線に対してIoU（Intersection over Union）値を求めることでIoU値が大きくて重複領域の割合が多いものを除外することで重複した出力を抑制することができる。

なお、上述したニューラルネットワークやアルゴリズムは、物体識別に用いるアルゴリズムの例であり、物体識別部３は、入力される撮像画像２０から、追跡対象の移動体となる物体について、物体の種別、撮像画像２０内の物体の領域、撮像画像２０内の物体の位置座標、撮像画像２０内の物体の中心点、評価値等が得られるよう構築されたニューラルネットワークやアルゴリズムで構成されていればよく、より高速且つ正確に算出できる手法を選択することができる。また、特徴抽出部３１及び物体検出部３２の両方にニューラルネットワークを用いる場合、複数のニューラルネットワークを組み合わせ、特徴抽出部３１と物体検出部３２が一体となった複合的なニューラルネットワークで構成してもよい。

移動体追跡部５は、ベクトル焦点法による画像処理部５１、追跡部５２を備え、画像分配部２から入力されたフレームの撮像画像２０中における所定の移動体２１を追跡する処理を行い、この画像処理結果を一致判定部６へ出力する構成を備えるものである。物体識別部３は移動体追跡部５よりも演算処理が重く演算処理に移動体追跡部５の何倍もの実行時間を要するため、本実施形態１では、移動体追跡部５は、物体識別部３における物体検出のアルゴリズムを移動体追跡として実用的に取り扱えるようにするための機能構成部でもある。

移動体追跡部５は、ベクトル焦点法による画像処理技術を利用して撮像画像２０中から移動体２１を高速に追跡処理できるものである。すなわち、移動体追跡部５において、ベクトル焦点法による画像処理部５１は、追跡対象の移動体となる物体の標準モデルを画像上に配置し、この標準モデルにおける中心点と標準モデルの輪郭線に対する法線ベクトルの位置との間の方向（法線ベクトルの角度情報）と長さ（法線ベクトルの位置の座標情報）とによる標準体データを基に、撮像画像２０中において標準体データと適合する物体像（移動体）に代表点を付す。追跡部５２は、時間経過順の撮像画像２０から前記代表点を経時的に追跡することで追跡対象の移動体を高速に追跡するというものである。例えば、追跡部５２は、前後フレームで各々の代表点が一定範囲内に存在し最も距離が近い組み合わせを同一の移動体とみなして追跡を行う。ここで同一の移動体とみなすための前記一定範囲は、移動体の種別に応じて検証、実験等を通じて設定してもよいし、また、移動体の各フレームにおける位置座標の差から移動速度と方向で等速直線運動をしている前提で現フレームの位置を推定することで設定するようにしてもよい。

図４を参照して、前記ベクトル焦点法を利用した移動体の追跡処理手順として、まずは、撮像画像２０上に追跡対象の移動体２１となる物体像の標準モデルＳを配置し、この撮像画像２０の各画素点について処理点を中心とする円形状にフーリエ変換（円形フーリエ変換）を行うことで各画素の輝度勾配と勾配方向を算出する。輝度勾配は物体像（標準モデルＳ）の特徴に沿って現れ、輝度勾配が一定以上の画素を有効画素とし、この有効画素の集合体が前記物体像の標準モデルＳを反映した領域となる。勾配方向は物体像の特徴境界に対する法線方向のベクトル（法線ベクトル）ｂとなる。この勾配方向は、例えば、３６０度を１６方向分割した各方向を選ぶようにしてもよい。そして、各画素の輝度勾配の位置（標準モデルＳの輪郭に相当する位置）につき、標準モデルＳの中心点ｐとの間で勾配方向の角度（角度情報）と長さ（座標情報）を求め、これを前記標準モデルＳによる標準体データとして記憶する。

次に、カメラ１０で撮像した実際の撮像画像２０に対して前記円形フーリエ変換を行って輝度勾配と勾配方向を算出し、前記標準体データに基づいて中心点ｐへの投票を行い、所定範囲内に一定以上の点が集まったと評価できる場合は、この撮像画像２０中に標準モデルＳに相当する物体像（移動体）が存在すると判断でき、前記投票結果が最も高い集計結果の点をこの撮像画像２０での移動体２１が存在する代表点ｄの位置座標とする。以上のように、画像処理部５１により時間経過順に入力される撮像画像２０毎に同様にして移動体２１の代表点ｄの位置座標を求め、追跡部５２により時間経過順に撮像画像２０の代表点ｄを追跡することでその代表点ｄで示される移動体２１の追跡を行う。このように追跡する事で、照度変化に強く、移動体の外形形状、移動体の内部模様等を特徴点として忠実にかつ高速に追跡できる。なお、前記ベクトル焦点法として、上述では各画素の輝度を基に説明したが、もちろん各画素の色の色勾配やその勾配方向を使ってもよい。

なお、移動体追跡部５において、物体識別部３で検出された物体の数が少ない場合（例えば、撮像画像２０内に数個以下）、検出した物体の種類に応じた移動可能範囲を基に所定の投票範囲に対してのみ前記円形フーリエ変換を行ってもよい。前記移動可能範囲は、例えば、物体の種別毎に予め定義された最大移動速度と物体識別部３での画像処理能力（ＦＰＳ）から求めることができる。また、前記円形フーリエ変換の範囲を前記投票範囲に限定するか否かは、物体識別部３で検出された物体の数に応じて決定することができる。これにより、より移動体追跡部５の処理速度を向上させることができる。

ベクトル焦点法による画像処理において、前記投票を行う際に画像全体に対して投票処理を行った場合、処理範囲が広く計算負荷が高くなってしまう。そのため、中心点ｐへの投票処理を行う投票範囲を定義し、投票範囲のみ前記投票処理を行うことで計算負荷を軽減し、高速に動作させることができる。また同時に、消費電力も低減される。

図５を参照して、前記投票範囲Ｒ１は、例えば、移動体２１の種類に応じて設定された移動体２１の１フレーム間での最大移動量ｊに移動体２１の大きさｓを加えた値を半径とした円で表現できる。代表点ｄの検索範囲ｄＲは、最大移動量ｊを半径とする円の範囲とすることができる。なお、前記投票範囲Ｒ１は、前記円での表現に限らず、ボックス等での表現でもよい。
このとき、１フレーム間での最大移動量ｊとは、たとえば移動体２１が人であれば、人の最大速度は２５ｋｍ／ｈ程度であり、１フレームあたりの移動距離に換算したものを計測対象となる移動体毎に定義しておき、カメラ１０の設置角度や設置位置から、１フレームあたりの代表点ｄの移動距離を撮像画像２０中の座標系に換算することで得られる。
移動体２１の大きさｓは、例えば移動体２１が人であれば、人の中心位置から頭部や足部への撮像画像２０上の距離を移動体２１の大きさｓとして予め定義しておく。

また、図６を参照して、前記投票範囲Ｒ２は、追跡対象の移動体２１に追跡履歴がある場合、その複数の過去フレームにおける位置座標から、等速直線運動をしている前提で移動体２１の代表点ｄの次フレームでの予測点ｅが推定できる。予測点ｅの検索範囲ｅＲは、最大移動量ｊの半分の距離に補正距離ｃを加えた値を長径、補正距離ｃを短径とする楕円の範囲とすることができる。前記投票範囲Ｒ２は、現フレームでの移動体２１の代表点ｄの位置座標と前記予測点ｅとの中点ｅｄ、補正距離ｃ、移動体２１の大きさｓから、
長径ａ＝ｅ−ｅｄ＋ｃ＋ｓ
短径ｂ＝ｃ＋ｓ
とし、楕円の式
ｘ^２／ａ^２＋ｙ^２／ｂ^２＝１
で表現することができる。
ここで、補正距離ｃは予測点ｅからの誤差量であり、たとえば最大移動量ｊの半分程度としておくと、計算量の削減と精度の両立ができる。なお、補正距離ｃは実験などから移動体毎に定義するのが好ましい。

図７を参照して、上述のベクトル焦点法において現フレームの撮像画像２０ｆｎに配置する標準モデルは、現フレームの１つ前の前フレームの撮像画像２０ｆｎ−１で追跡中の移動体２１を標準モデルＳ−２として使用する。これにより、経時的に多様かつ個性的に変化する移動体２１であっても、最新の移動体２１に対応した標準モデルＳ−２に基づく標準モデルＳ−２の中心点ｐや標準体データを作製することができ、追跡精度を向上することができる。なお、前記標準モデルＳ−２は、このような実際に追跡中の移動体２１を使用することに限らず、固定のカメラ１０で撮像した撮像画像２０中に写る物体ないし移動体の形を事前に作成した標準モデルを使用することでもよい。例えば、追跡対象の移動体２１が等速に移動する場合、移動体２１それ自体の形の変化に乏しい場合等、経時的に多様かつ個性的に位置や形状等の変化が少ない物体ないし移動体であれば、前記事前に作成した標準モデルであっても精度よく追跡することができる。

もっとも、物体識別部３で撮像画像２０中から物体が検出された場合は、物体識別部３での画像処理結果として出力される物体像を標準モデルＳ−１として使用する（その詳細は、次の一致判定部６で説明する。）。例えば、物体識別部３で検出した物体２１の中心点ｍを移動体追跡部５における標準モデルＳ−１の中心点ｐとして使用する。上述のとおり、物体識別部３は、人工知能により撮像画像２０中から所定の物体を精度よく検出することができる。従って、撮像画像２０中に初めて出現した物体を物体識別部３で精度よく検出してこの物体を新規の移動体として移動体追跡部５で確実に追跡することができる。また、移動体追跡部５で追跡中の移動体に対する標準モデル（標準モデルＳの中心点ｐや標準体データ）を定期的に物体識別部３で精度よく検出した物体と対応するように補正することができ、移動体追跡部５による移動体の追跡精度をさらに向上することができる。

一致判定部６は、移動体追跡部５が追跡すべき移動体を物体識別部３で検出する物体と一致させるための処理を行う構成を備えるものであり、判定部６１、補正部６２、新規作成部６３を有する。

図８を参照して、判定部６１は、画像分配部２より物体識別部３と移動体追跡部５とに入力された同一フレームの撮像画像２０について、物体識別部３と移動体追跡部５との画像処理結果を対比して、物体識別部３で検出された物体のなかに移動体追跡部５で追跡中の移動体と同一の移動体が存在するか否かの一致判定を行う。すなわち、判定部６１は、物体識別部３と移動体追跡部５とから同一フレームの撮像画像２０に対する画像処理結果が一致判定部６に入力されると、物体識別部３での処理結果と移動体追跡部５での処理結果とで一致する移動体２１を検索する。具体的には、判定部６１は、物体識別部３で検出された物体２１の中心点ｍの位置座標と、移動体追跡部５で追跡中の移動体２１の代表点ｄの位置座標とが、一定範囲内に存在し最も距離が近い組み合わせを「同一の移動体」とみなす（図８（Ａ）参照）。同一の移動体とみなすための前記一定範囲は、検証、実験等により求める等し、設定するようにしてもよい。

また、撮像画像２０中に初めて出現した物体について、移動体追跡部５では、未だその物体の標準データが存在しないため、当該物体の代表点ｄは付されないが、物体識別部３では、撮像画像２０中に初めて出現した物体についても検出され、当該物体の中心点ｍも検出される。この場合、物体識別部３で検出する中心点ｍと組みとなる移動体追跡部５での代表点ｄが存在せず、物体識別部３での画像処理結果においてのみ物体が検出されることとなる。従って、判定部６１では、物体識別部３と移動体追跡部５とで同一の移動体は存在しないと判定される（図８（Ｂ）参照）。

判定部６１で同一の移動体２１が存在すると判定された場合は、補正部６２が、移動体追跡部５に対して、一致判定部６に入力されたフレームの次のフレーム、すなわち、判定部６１の判定で用いた現フレーム２０ｆｎの１つ後の次フレーム２０ｆｎ＋１では、標準体データとして物体識別部３で検出された物体を標準モデルＳ−１とする標準体データに修正して使用させる処理を行う。一方、判定部６１で同一の移動体２１が存在しないと判定された場合、すなわち、物体識別部３で検出された物体において移動体追跡部５で追跡中の移動体と同一のものとはみなせず、物体識別部３での画像処理結果においてのみ存在する物体が検出された場合は、新規作成部６３が、移動体追跡部５に対して、次フレーム２０ｆｎ＋１では、物体識別部３のみに検出された物体を新規の移動体として登録し、当該物体を標準モデルＳ−１とする標準体データを使用させる処理を行う。

また、移動体追跡部５で追跡中の移動体２１の代表点ｄの位置座標に対し、「同一の移動体」とみなすことが出来る移動体を物体識別部３の処理結果から見つけることが出来ない場合は、補正部６２では代表点ｄの位置座標に対して移動体追跡部５で追跡した移動体２１の輝度勾配を基に標準モデルＳ−１とする標準体データに修正して使用させる処理を行う。これにより、物体識別部３の人工知能における学習済みデータの不足等による瞬間的な検出漏れや誤検出があった場合においても精度よく追跡を行うことが出来る。

なお、前記一致判定部６１において、複数フレームに連続して移動体追跡部５で追跡中の移動体２１の代表点ｄの位置座標に対し、「同一の移動体」とみなすことが出来る移動体２１を物体識別部３の処理結果から見つけることが出来ない場合は、その追跡対象が誤って追跡した物体であるとみなし、追跡対象から除外しても良い。これにより、移動体追跡部５と物体識別部３の誤検出の結果を吸収し、精度よく移動体２１を追跡することが出来る。ここで連続して「同一の移動体」とみなすことが出来る移動体２１を見つけられない回数については、実験等を通じて設定してもよいし、人工知能の検出性能に合わせて調整するのが好ましい。

以上より、移動体追跡部５で追跡中の移動体２１を定期的に物体識別部３で検証し修正することができ、移動体追跡部５による移動体２１の追跡精度をさらに向上することができる。また、撮像画像２０中に初めて出現した物体を物体識別部３で精度よく検出してこの物体を新規の移動体２１として移動体追跡部５で精度よく追跡することができる。また、計算負荷が高い物体識別部３の処理頻度を減らしながら移動体追跡部５にて移動体２１の追跡をベクトル焦点法を用いて高頻度に追跡処理することで、低消費電力、低性能な動作環境においても複数種の移動体を分類した追跡を行うことができる。

以上のようにして、移動体追跡装置１は、移動体２１の追跡を行い、その移動体情報４を外部出力することができる。移動体情報４は、移動体２１の位置座標や種別だけではなく、例えば、追跡開始時刻や識別番号、速度情報などその移動体２１に紐づく情報を目的や用途に合わせて記録し、出力してもよい。

次に、移動体追跡装置１を用いた移動体追跡方法について説明する。
図９に示すように、移動体追跡方法は、画像分配ステップ、物体識別ステップ、移動体追跡ステップ、一致判定ステップを有している。これらのステップのそれぞれは、画像分配部２、物体識別部３、一致判定部６の機能によって実行される。なお、各ステップにおいて、上述した移動体追跡装置１の各部の説明が適宜に援用される。

画像分配ステップは、画像分配部２にて、カメラ１０で撮像した撮像画像２０をＦＩＦＯ型で遅延させる出力及び遅延させない出力の２系統に分配し、各処理部３，５へ撮像画像２０を出力する処理を行うステップである。この画像分配ステップでは、物体識別部３に対して一定フレーム数おきの間隔で定期的に撮像画像２０を出力し、移動体追跡部５に対してフレーム毎に毎回撮像画像２０を出力する。このとき、移動体追跡部５への撮像画像２０の出力タイミングは、物体識別部３に出力した同一フレームの撮像画像２０について移動体追跡部５での画像処理終了タイミングが物体識別部３での画像処理終了タイミングと一致するように遅延させて出力する。

物体識別ステップは、物体識別部３にて、人工知能により、画像分配ステップで入力されたフレームの撮像画像２０中から追跡対象の物体を検出する処理を行うステップである。すなわち、追跡対象の移動体２１となる実際の物体の様々な形の画像データを機械学習させた学習済みモデルが構築された人工知能により、画像分配ステップから定期的に入力されるフレームの撮像画像２０中における所定の物体の領域、物体の位置、物体の種別を精度よく検出する処理が行われる。これにより、移動体追跡ステップで画像処理される毎回の撮像画像２０のうち一定フレーム数おきの間隔で定期的に同一の撮像画像２０について画像処理され、移動体追跡部５での移動体追跡情報を定期的に修正することで移動体２１の追跡精度を向上させることができる。

移動体追跡ステップは、移動体追跡部５にて、ベクトル焦点法による画像処理により、画像分配ステップで入力されたフレームの撮像画像２０中から追跡対象の移動体２１を追跡する処理を行うステップである。この移動体追跡ステップでは、ベクトル焦点法による画像処理によって、追跡すべき移動体２１の標準モデルに基づく標準体データが設定され、撮像画像２０中における前記標準体データと適合する移動体２１に代表点ｄが配置され、これより画像分配ステップにより毎回入力されるフレームの撮像画像２０中から同一の移動体２１の代表点ｄを追跡する処理が行われる。この移動体追跡ステップにおける手順は、後述する。

一致判定ステップは、一致判定部６にて、前記移動体追跡ステップが追跡すべき移動体２１を前記物体識別ステップで検出する物体と一致させるための処理を行うステップである。この一致判定ステップでは、まず、判定部６１にて、物体識別ステップと移動体追跡ステップとに入力された同一フレームの撮像画像２０について、物体識別ステップで検出された物体のなかに移動体追跡ステップで追跡中の移動体２１と同一の移動体２１が存在するか否かの一致判定をする。そして、前記一致判定で同一の移動体２１が存在すると判定された場合は、補正部６２にて、移動体追跡ステップにおいて、前記一致判定で用いた現フレームより１つ後の次フレームの撮像画像２０の処理では、前記物体識別ステップで検出された物体を標準モデルとする標準体データに修正して使用させる処理を行う。前記一致判定で同一の移動体２１が存在しないと判定された場合は、新規作成部６３にて、移動体追跡ステップにおいて、前記次フレームの撮像画像２０の処理では、物体識別ステップのみに検出された物体を新規の移動体２１として登録し、当該物体を標準モデルとする標準体データを使用させる処理を行う。

次に、前記移動体追跡ステップにおける処理手順を説明する。
図１０に示すように、移動体追跡の動作をスタートすると、画像分配ステップにより移動体追跡部５に撮像画像２０が入力され（Ｓ１）、初めて撮像画像２０が入力されたか否か判断する（Ｓ２）。初めて撮像画像２０が入力された場合（すなわち１番目のフレームの撮像画像２０が入力された場合）、撮像画像２０中から移動体２１を検出し（Ｓ３）、その移動体検出結果を一致判定部６へ出力する（Ｓ４）。

手順Ｓ１で、初めて撮像画像２０が入力された場合でない場合（すなわち２番目以降のフレームの撮像画像２０が入力された場合）、手順Ｓ５へ処理を移行し、一致判定部６から判定結果の指令の入力があるか否か判断する。判定結果の指令が入力され、物体識別部３で検出した物体と同一の移動体２１が移動体追跡部５で存在する場合（Ｓ６で「ｙｅｓ」）、手順Ｓ７にて、入力された撮像画像２０の画像処理に際し、標準体データとして、前記一致判定で用いた物体識別部３での検出物体を標準モデルＳ−１に使用して標準体データを修正する（図８参照）。

一方、手順Ｓ６にて、物体識別部３で検出した物体と同一の移動体２１が移動体追跡部５で存在しない場合（Ｓ６で「ｎｏ」）、物体識別部３のみに検出した物体について新規に出現した移動体２１として登録して追跡を開始し（Ｓ８）、また、入力された撮像画像２０の画像処理に際し、標準体データとして、前記一致判定で用いた物体識別部３での検出物体を標準モデルＳ−１に使用して標準体データを新規に作製する（Ｓ９）。

そして、入力された撮像画像２０中から移動体を検出し（Ｓ１０）、検出された移動体２１を追跡する（Ｓ１１）。また、移動体追跡部５での移動体検出結果を一致判定部６へ出力する（Ｓ１１）。なお、一致判定部６への出力は、移動体追跡部５に入力された撮像画像２０毎に毎回行うのではなく、物体識別部３に入力された撮像画像２０と同一の撮像画像２０の処理のときだけその移動体検出結果を出力するようにしてもよい。

また、手順Ｓ５で、一致判定部６から判定結果の指令の入力が無い場合（Ｓ５で「ｎｏ」）、手順Ｓ１３にて、入力された撮像画像２０の画像処理に際し、標準体データとして、入力された撮像画像２０のフレームの１つ前の前フレームの撮像画像２０で追跡中の移動体２１を標準モデルＳ−２に使用して標準体データを作製する（図７参照）。

そして、入力された撮像画像２０中から移動体２１を検出し（Ｓ１４）、追跡中の移動体２１と同一の移動体２１を追跡する（Ｓ１５、Ｓ１６）。また、移動体追跡部５での移動体検出結果を一致判定部６へ出力する（Ｓ１８）。この場合も、一致判定部６への出力は、移動体追跡部５に入力された撮像画像２０毎に毎回行うのではなく、物体識別部３に入力された撮像画像２０と同一の撮像画像２０の処理のときだけその移動体検出結果を出力するようにしてもよい。入力された撮像画像２０で追跡中の移動体２１と同一の移動体２１が無かった場合（Ｓ１５で「ｎｏ」）、その移動体２１の追跡を終了する（Ｓ１７）。
以上の動作を繰り返すことで、カメラ１０での撮像画像２０中から所定の移動体２１を精度よく追跡を行うことができる。

なお、前記手順Ｓ１５で追跡中の移動体２１と同一の移動体２１が無かった場合は、手順Ｓ１７にて直ちに追跡を終了させないようにしてもよい。すなわち、オクルージョンや光源との位置関係等により、実際には存在しているにもかかわらず、撮像画像２０に映らない（見えない）場合が存在する。そのため、直ちには追跡を終了させず、移動体２１の過去の経時的な各フレームにおける位置座標の差から移動速度と方向とにより等速直線運動をしている前提で現フレームでの移動体位置を推定し、この推定位置が撮像画像２０の範囲内にある場合は、この推定位置を移動体２１の代表点の位置座標として追跡情報を更新し、残すようにしてもよい。前記推定位置が撮像画像２０の範囲外となるような場合は、移動体２１がフレームアウトしたものとして追跡を終了させるようにしてもよい。

（実施形態２）
図１１に示すように、実施形態２の移動体追跡装置１Ｘは、主要構成として、実施形態１の図１と同様に、画像分配部２Ｘ、物体識別部３Ｘ、移動体追跡部５Ｘ、一致判定部６Ｘを備えている。

実施形態１では、物体識別部３が人工知能を用いて物体の検出を行うことがあるものであったが、この実施形態２では、物体識別部３Ｘは、ベクトル焦点法による画像処理にて物体の検出を行うものである。ベクトル焦点法を用いた物体識別部３Ｘは、画像処理の演算処理負荷が小さく低消費電力とすることができる。なお、ベクトル焦点法による物体の検出方法は、実施形態１の移動体追跡部５での移動体検出の説明の該当箇所が参照される。

実施形態２によれば、物体識別部３Ｘも移動体追跡部５Ｘもベクトル焦点法の画像処理を用いた構成とすることにより、物体識別部３Ｘ及び移動体追跡部５Ｘでの演算処理負荷の低減、低消費電力とすることができる。従って、移動体追跡装置１Ｘは、低消費電力、小型で熱対策の容易な装置とすることができる。

実施形態２の物体識別部３Ｘは、ベクトル焦点法の画像処理により物体検出を行うので、人工知能を用いた実施形態１の物体識別部３と比べて画像処理を比較的高速に行うことができるから、実施形態２の物体識別部３Ｘは、間欠動作させるようにしてもよい。この場合は、一致判定部６Ｘの一致判定動作も間欠的になる。これにより、物体識別部３Ｘ、一致判定部６Ｘでの電力消費を低減することができ、さらに低消費電力の移動体追跡装置１Ｘを実現することができる。また、一致判定部６Ｘの一致判定動作は、定期的に行われることとなるから、移動体追跡部５Ｘでは、物体識別部３Ｘ及び一致判定部６Ｘの間欠動作に合わせて定期的に、同一の撮像画像２０中から物体識別部３Ｘが同一移動体２１として検出した物体を標準モデルＳ−１とし、移動体２１の追跡を行うこととなる。なお、物体識別部３Ｘが動作停止中のとき、移動体追跡部５Ｘにおいてベクトル焦点法による画像処理で使用する標準モデルＳは、移動体像を模して予め設定された標準モデルを使用してもよい。
実施形態２においてその他の構成及び作用効果については実施形態１での説明が援用される。

なお、本発明は、前記実施形態に限らず、本発明の範囲内で任意に変更を施すことが可能である。

１ 移動体追跡装置
２ 画像分配部
３ 物体識別部
４ 移動体情報
５ 移動体追跡部
６ 一致判定部
２０ 撮像画像
２１ 移動体像、物体像
３１ 特徴抽出部
３２ 物体検出部
５１ 画像処理部
５２ 追跡部
Ｂ バウンディングボックス
ｄ 代表点
ｍ 物体の中心点
ｐ 標準モデルの中心点
Ｓ，Ｓ−１，Ｓ−２ 標準モデル

Claims (7)

1. 撮像部で撮像した撮像画像中の物体像に基づいて移動体を追跡する移動体追跡装置であって、
   前記撮像画像を画像処理速度に応じてＦＩＦＯ型で遅延させる出力と前記撮像画像を遅延させず間引く出力との２系統に分配し、前記撮像画像を出力する画像分配部と、
   人工知能又はベクトル焦点法による物体検出により、前記画像分配部から入力された撮像画像中から追跡対象の物体を検出する処理を行う物体識別部と、
   物体識別部での物体の認識結果の位置と範囲をベクトル焦点法による画像処理の標準モデルとして扱い、前記画像分配部から入力された撮像画像中から前記標準モデルに適合する追跡対象の移動体を追跡する処理を行う移動体追跡部と、
   物体識別部と移動体追跡部の結果の統合を行う一致判定部とを備え、
   前記画像分配部は、前記物体識別部に対して一定フレーム数おきの間隔で定期的に撮像画像を出力し、前記移動体追跡部に対して前記物体識別部の出力と当該移動体追跡部の出力とが同タイミングになるよう毎回撮像画像を出力する構成とし、
   前記物体識別部は、高速の演算処理で間欠動作を行う又は低速な演算処理を行う構成とし、
   前記一致判定部は、前記物体識別部及び前記移動体追跡部からの出力より互いに同一の移動体が存在する場合、前記移動体追跡部が追跡する当該移動体を前記物体識別部で検出する物体と一致させるための処理を行う構成とする移動体追跡装置。
2. 撮像部で撮像した撮像画像中の物体像に基づいて移動体を追跡する移動体追跡装置であって、
   前記撮像画像を画像処理速度に応じてＦＩＦＯ型で遅延させる出力及び遅延させず間引く出力の２系統に分配し、各処理部へ前記撮像画像を出力する画像分配部と、
   人工知能を用いて、前記画像分配部から入力されたフレームの撮像画像中から追跡対象の物体を検出する処理を行う物体識別部と、
   ベクトル焦点法による画像処理により、前記画像分配部から入力されたフレームの撮像画像中から追跡対象の移動体を追跡する処理を行う移動体追跡部と、
   前記移動体追跡部が追跡すべき移動体を前記物体識別部で検出する物体と一致させるための処理を行う一致判定部とを備え、
   前記画像分配部は、前記物体識別部に対して一定フレーム数おきの間隔で定期的に撮像画像を出力し、前記移動体追跡部に対して前記物体識別部の出力と当該移動体追跡部の出力とが同タイミングになるよう遅延させて毎回撮像画像を出力する構成を有し、
   前記物体識別部は、前記人工知能において追跡対象の移動体となる実際の物体の様々な形の画像データを機械学習させた学習済みモデルが構築され、これより前記画像分配部から定期的に入力されるフレームの撮像画像中における所定の物体の領域、物体の位置、物体の種別を精度よく検出する構成を有し、
   前記移動体追跡部は、前記ベクトル焦点法による画像処理によって、追跡すべき移動体の標準モデルに基づく標準体データが設定され、撮像画像中における前記標準体データと適合する移動体に代表点が配置され、これより前記画像分配部から毎回入力されるフレームの撮像画像中から同一の移動体の代表点を追跡する構成を有し、
   前記一致判定部は、
   前記物体識別部と前記移動体追跡部とに入力された同一フレームの撮像画像について、物体識別部で検出された物体のなかに移動体追跡部で追跡中の移動体と同一の移動体が存在するか否か一致判定をし、
   前記一致判定で同一の移動体が存在すると判定された場合は、前記移動体追跡部に対して、前記一致判定で用いた現フレームより１つ後の次フレームの撮像画像の処理では、前記物体識別部で検出された物体を標準モデルとして使用させる処理を行い、
   前記一致判定で同一の移動体が存在しないと判定された場合は、前記移動体追跡部に対して、前記次フレームの撮像画像の処理では、前記物体識別部のみに検出された物体を新規の移動体として登録し、当該物体を標準モデルとする処理を行う構成を有する移動体追跡装置。
3. 請求項２に記載の移動体追跡装置において、
   前記移動体追跡部は、前記フレームの撮像画像の処理で使用する前記標準モデルとして、前記一致判定部によって前記物体識別部で検出された物体を標準モデルとする場合を除き、当該フレームの１つ前のフレームの撮像画像で追跡中の移動体を標準モデルとする構成を有する移動体追跡装置。
4. 撮像部で撮像した撮像画像中の物体像に基づいて移動体を追跡する移動体追跡装置であって、
   前記撮像画像を取得し出力する画像分配部と、
   ベクトル焦点法による物体検出により、前記画像分配部から入力された撮像画像中から追跡対象の物体を検出する処理を行う物体識別部と、
   ベクトル焦点法による画像処理により、前記画像分配部から入力された撮像画像中から追跡対象の移動体を追跡する処理を行う移動体追跡部とを備え、
   前記移動体追跡部は、前記ベクトル焦点法による画像処理によって、追跡すべき移動体の標準モデルに基づく標準体データが設定され、撮像画像中における前記標準体データと適合する移動体に代表点が配置され、これより前記画像分配部から時間経過順に毎回入力される撮像画像中から同一の移動体の代表点を追跡する構成を備えるものであり、前記標準モデルとして当該撮像画像の１つ前の撮像画像で追跡中の移動体又は前記物体識別部が検出した物体を使用する構成を有する移動体追跡装置。
5. 撮像部で撮像した撮像画像中の物体像に基づいて移動体を追跡する移動体追跡方法であって、
   画像分配部にて、前記撮像画像を画像処理速度に応じてＦＩＦＯ型で遅延させる出力及び遅延させず間引く出力の２系統に分配し、各処理部へ前記撮像画像を出力する画像分配ステップと、
   物体識別部にて、人工知能により、前記画像分配ステップで入力されたフレームの撮像画像中から追跡対象の物体を検出する処理を行う物体識別ステップと、
   移動体追跡部にて、ベクトル焦点法による画像処理により、前記画像分配ステップで入力されたフレームの撮像画像中から追跡対象の移動体を追跡する処理を行う移動体追跡ステップと、
   一致判定部にて、前記移動体追跡ステップが追跡すべき移動体を前記物体識別ステップで検出する物体と一致させるための処理を行う一致判定ステップとを備え、
   前記画像分配ステップは、前記物体識別部に対して一定フレーム数おきの間隔で定期的に撮像画像を出力し、前記移動体追跡部に対して前記物体識別部の出力と当該移動体追跡部の出力とが同タイミングになるよう遅延させて毎回撮像画像を出力する処理を行い、
   前記物体識別ステップは、前記人工知能において追跡対象の移動体となる実際の物体の様々な形の画像データを機械学習させた学習済みモデルが構築され、これより前記画像分配ステップにより定期的に入力されるフレームの撮像画像中における所定の物体の領域、物体の位置、物体の種別を精度よく検出する処理を行い、
   前記移動体追跡ステップは、前記ベクトル焦点法による画像処理によって、追跡すべき移動体の標準モデルに基づく標準体データが設定され、撮像画像中における前記標準体データと適合する移動体に代表点が配置され、これより前記画像分配ステップにより毎回入力されるフレームの撮像画像中から同一の移動体の代表点を追跡する処理を行い、
   前記一致判定ステップは、
   前記物体識別ステップと前記移動体追跡ステップとに入力された同一フレームの撮像画像について、物体識別ステップで検出された物体のなかに移動体追跡ステップで追跡中の移動体と同一の移動体が存在するか否か一致判定をし、
   前記一致判定で同一の移動体が存在すると判定された場合は、前記移動体追跡ステップにおいて、前記一致判定で用いた現フレームより１つ後の次フレームの撮像画像の処理では、前記物体識別ステップで検出された物体を標準モデルとして使用させる処理を行い、
   前記一致判定で同一の移動体が存在しないと判定された場合は、前記移動体追跡ステップにおいて、前記次フレームの撮像画像の処理では、前記物体識別ステップのみに検出された物体を新規の移動体として登録し、当該物体を標準モデルとする処理を行う移動体追跡方法。
6. 請求項５に記載の移動体追跡方法において、
   前記移動体追跡ステップは、前記フレームの撮像画像の処理で使用する前記標準モデルとして、前記一致判定ステップによって前記物体識別ステップで検出された物体を標準モデルとする場合を除き、当該フレームの１つ前のフレームの撮像画像で追跡中の移動体を標準モデルとする移動体追跡方法。
7. 撮像部で撮像した撮像画像中の物体像に基づいて移動体を追跡する移動体追跡方法であって、
   画像分配部にて、前記撮像画像を取得し出力する画像分配ステップと、
   物体識別部にて、ベクトル焦点法による物体検出により、前記画像分配ステップで入力された撮像画像中から追跡対象の物体を検出する処理を行う物体識別ステップと、
   移動体追跡部にて、ベクトル焦点法による画像処理により、前記画像分配ステップで入力された撮像画像中から追跡対象の移動体を追跡する処理を行う移動体追跡ステップとを備え、
   前記移動体追跡ステップは、前記ベクトル焦点法による画像処理によって、追跡すべき移動体の標準モデルに基づく標準体データが設定され、撮像画像中における前記標準体データと適合する移動体に代表点が配置され、これより前記画像分配ステップで時間経過順に毎回入力される撮像画像中から同一の移動体の代表点を追跡する処理を行うステップであり、前記標準モデルとして当該撮像画像の１つ前の撮像画像で追跡中の移動体又は前記物体識別ステップが検出した物体を使用する移動体追跡方法。
   

Images