JP2022513214A - シーン内の物体を追跡する方法 - Google Patents

シーン内の物体を追跡する方法 Download PDF

Info

Publication number
JP2022513214A
JP2022513214A JP2021533623A JP2021533623A JP2022513214A JP 2022513214 A JP2022513214 A JP 2022513214A JP 2021533623 A JP2021533623 A JP 2021533623A JP 2021533623 A JP2021533623 A JP 2021533623A JP 2022513214 A JP2022513214 A JP 2022513214A
Authority
JP
Japan
Prior art keywords
event
track
region
events
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021533623A
Other languages
English (en)
Other versions
JP7455841B2 (ja
Inventor
アモス・シロニ
ピエール・ドゥ・トゥルヌミール
ダニエル・ペロンヌ
Original Assignee
プロフジー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by プロフジー filed Critical プロフジー
Publication of JP2022513214A publication Critical patent/JP2022513214A/ja
Application granted granted Critical
Publication of JP7455841B2 publication Critical patent/JP7455841B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本発明は、感知素子のマトリックスからイベントを非同期に生成し、マトリックスの各感知素子に入射する光の変動に応じてその感知素子からそれぞれのイベントが生成されるイベントベースセンサによって観測されたシーン内の物体を追跡する方法であって、第1のプロセスによって、イベントベースセンサによって生成された非同期イベントから、シーン内の物体を検出することと、第2のプロセスによって、イベントベースセンサによって生成された非同期イベントから、検出された物体に関連するトラックを特定することとを含み、第1のプロセスが、第2のプロセスよりも低い時間分解能を有する、方法に関する。

Description

本発明は、物体が位置推定され、その軌跡が時間にわたって特定される、物体追跡の分野に関する。特に、本発明は、イベントベースセンサを使用して物体を追跡するための方法に関する。
物体がシーンに入り込むときのその軌道を推定するという意味において、シーン内の物体を追跡することは、コンピュータビジョンにおける重要なテーマである。物体追跡は、視覚監視、ビデオ圧縮、運転支援、路程測定、同時位置推定地図構築(SLAM：simultaneous localization and mapping)、交通モニタリング、自動バレーパーキングシステムなどの広範な用途において欠かせない役割を担っている。
これらの用途では、物体の方向の変化、シーン内に出現する新たな物体、オクルージョンおよびディスオクルージョンなどの突然の変化に対処できることが不可欠である。例として、運転支援では、システムは、車の方向の突然の変化、または視野に入る歩行者に対して、非常に迅速に反応しなければならない。
これらの用途では、追跡される物体が方向を突然変更することがあり、新たな物体が出現することがあり、オクルージョン/ディスオクルージョンが発生することがあるので、追跡システムはこれらの状況に対して非常に迅速に応答すべきである。
従来のアルゴリズムでは、追跡は、固定のフレーム周波数において取得された画像のシーケンスに基づいて実施される。したがって、突然の変化の場合、変化のダイナミクスよりもはるかに長いことのあるフレーム間期間によって、追跡の正確さが制限される。さらに、そのような検出/追跡システムを高いフレームレートで稼働させることは、非常に計算コストが高くつき、時にはシステムのレーテンシのため可能ですらない。例として、検出器がピクチャ内の車を検出するのに100ミリ秒を必要とする場合、検出器は毎秒10フレームを上回って稼働することができず、一方で、システム全体としては、はるかに速い反応時間が必要となる。さらに、検出器を埋め込みプラットフォーム上で稼働させると、検出レートが毎秒約1.5フレームに低下することがあり、これは、上述した用途にとってあまりにも遅すぎる可能性がある。
別法として、従来のフレームベースセンサではなく、非同期信号を生成するイベントベース光センサを使用することが可能である。イベントベース光センサは、イベントの形をとる圧縮されたデジタルデータを供給する。そのようなセンサを紹介したものは「Activity-Driven, Event-Based Vision Sensors」、T. Delbruckら、Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS)、2426～2429頁に見いだすことができる。イベントベースビジョンセンサは、従来のカメラに対して、冗長性を取り除き、レーテンシを低減させ、ダイナミックレンジを増大させるという利点を有する。
そのようなイベントベース光センサの出力は、各画素アドレスについて、シーンの光パラメータ(例えば輝度、光強度、反射率)の変化が発生した時のその変化を表す非同期イベントのシーケンスとすることができる。センサの各画素は独立しており、最終イベントの放出以降のしきい値(例えば強度の対数で15%のコントラスト)を上回る強度変化を検出する。強度変化がしきい値セットを超過すると、強度が増加するかそれとも減少するかに応じて、画素によってONまたはOFFイベントが生成され得る。そのようなイベントは、以後「変化検出(Change Detection)イベント」またはCDイベントと呼ばれることがある。
典型的には、非同期センサは、取得用光学系の像面内に配置される。非同期センサは、画素マトリックスに編成された感光性素子などの感知素子のアレイを備える。画素pに対応する各感知素子が、時間tにおけるシーン内の光の変動に応じて、連続するイベントe(p,t)を生成する。
各感知素子について、非同期センサは、センサの視野内に出現したシーンからその感知素子によって受信された光の変動に応じて、イベントベース信号シーケンスを生成する。
非同期センサは、取得を遂行して信号を出力し、この信号は、各画素について、活性化しきい値Qに達する一連の瞬間tk(k=0,1,2,...)の形をとってよい。この輝度が、時間tkにおける輝度から開始して活性化しきい値Qに等しい量だけ増加するたびに、新たな瞬間tk+1が識別され、この瞬間tk+1においてスパイクが放出される。対称的に、感知素子によって観測される輝度が、時間tkにおける輝度から開始して量Qだけ減少するたびに、新たな瞬間tk+1が識別され、この瞬間tk+1においてスパイクが放出される。感知素子に関する信号シーケンスは、感知素子に対する光プロファイルに応じて時間にわたって瞬間tkに位置付けられた一連のスパイクを含む。その場合、センサ10の出力は、アドレス-イベント表現(AER)の形をとる。加えて、信号シーケンスは、入射光の変動に対応する輝度属性を含んでもよい。
活性化しきい値Qは、固定でもよく、輝度の関数として適合されてもよい。例えば、しきい値は、超過されたときにイベントが生成されるように、輝度の対数の変動と比較されてよい。
例として、センサは、「A 128×128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor」、P. Lichtsteinerら、IEEE Journal of Solid-State Circuits、43巻、2号、2008年2月、566～576頁、または米国特許出願第2008/0135731A1号に記載されているタイプのダイナミックビジョンセンサ(DVS)とすることができる。このタイプのDVSを用いて、網膜のダイナミクス(活動電位間の最小持続時間)に迫ることができる。この動的挙動は、現実的なサンプリング周波数を有する従来のビデオカメラの動的挙動を凌駕する。DVSがイベントベースセンサ10として使用されるとき、感知素子から生じるイベントに関するデータは、感知素子のアドレスと、イベントの発生時間と、イベントの極性、例えば輝度が増加する場合の+1および輝度が減少する場合の-1に対応する輝度属性とを含む。
そのような非同期センサによって受信される光プロファイルおよび光プロファイルに応答してこのセンサによって生成される信号の例が、図1に任意スケールで示されている。
感知素子によって認識される光プロファイルPは強度パターンを含み、これは、説明のために示したこの簡単な例では、交互の立ち上がりエッジと立ち下がりエッジを有している。時間t0において、輝度が活性化しきい値Qに等しい量だけ増加したとき、感知素子によってイベントが生成される。イベントは、発生時間t0と、輝度属性、すなわちDVSの場合の極性(図1のt0におけるレベル+1)とを有する。立ち上がりエッジにおいて輝度が増加するにつれて、輝度が活性化しきい値の分だけさらに増加するたびに、同じ正の極性をもつ後続のイベントが生成される。これらのイベントは、図1にB0として示すパルス列をなす。立ち下がりエッジが開始すると、輝度が減少し、反対極性すなわち負の極性(レベル-1)のイベントからなる別のパルス列B1が、時間t1から生じる。
文献「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、C. Poschら、IEEE Journal of Solid-State Circuits、46巻、1号、2011年1月、259～275頁に記載されている非同期時間ベースイメージセンサ(ATIS)など、一部のイベントベースセンサは、検出されたイベントを、光強度の測定値(例えばグレースケール)に関連付けることができる。そのようなイベントは、以後「露光量測定(Exposure Measurement)イベント」またはEMイベントと呼ばれることがある。
非同期センサは、従来のカメラのようにクロックでサンプリングされるのではないため、イベントのシーケンシングを(例えば約1μsの)非常に優れた時間精度で考慮することができる。そのようなセンサが画像のシーケンスを再構築するために使用される場合、従来のカメラの場合の数十ヘルツに比べて、数キロヘルツの画像フレームレートを達成することができる。
シーン内の物体を追跡するために、いくつかのイベントベースアルゴリズムが開発されてきた。しかし、これらのアルゴリズムのロバスト性および安定性は、フレームベースアルゴリズムのロバスト性および安定性よりもはるかに脆弱である。具体的には、それらは外れ値に非常に敏感であり、ドリフトを被る。さらに、これらのアルゴリズムの大多数(例として「Feature detection and tracking with the dynamic and active-pixel vision sensor (DAVIS)」、D. Tedaldiら、2016 Second International Conference on Event-based Control, Communication, and Signal Processing (EBCCSP))に記載されているアルゴリズム)は、物体形状についての仮定に依拠しており、それにより、物体の検出および追跡の正確さが大いに低下することがある。加えて、これらのアルゴリズムは、オクルージョンの場合に芳しくない結果を示している。
米国特許出願第2008/0135731A1号
「Activity-Driven, Event-Based Vision Sensors」、T. Delbruckら、Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS)、2426～2429頁 「A 128×128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor」、P. Lichtsteinerら、IEEE Journal of Solid-State Circuits、43巻、2号、2008年2月、566～576頁 「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、C. Poschら、IEEE Journal of Solid-State Circuits、46巻、1号、2011年1月、259～275頁 「Feature detection and tracking with the dynamic and active-pixel vision sensor (DAVIS)」、D. Tedaldiら、2016 Second International Conference on Event-based Control, Communication, and Signal Processing (EBCCSP) 「An asynchronous neuromorphic event-driven visual part-based shape tracking」、D.R. Valeirasら、IEEE transactions on neural networks and learning systems、26巻、12号、2015年12月、3045～3059頁 「Real-time intensity-image reconstruction for event cameras using manifold regularization」、Reinbacherら、2016年 「HATS: Histograms of Averaged Time Surfaces for Robust Event-based Object Classification」、Sironiら、CVPR 2018
したがって、上述したロバスト性および安定性の問題を被ることなく、高い時間分解能で実施することのできる物体追跡の方法が必要とされている。
本発明は、イベントを非同期に生成するイベントベースセンサによって観測されたシーン内の物体を追跡する方法に関する。イベントベースセンサは、感知素子のマトリックスを有する。マトリックスの各感知素子に入射する光の変動に応じてその感知素子からそれぞれのイベントが生成される。方法は、
第1のプロセスによって、イベントベースセンサによって生成された非同期イベントから、シーン内の物体を検出することと、
第2のプロセスによって、イベントベースセンサによって生成された非同期イベントから、検出された物体に関連するトラックを特定することと
を含み、
第1のプロセスが第2のプロセスよりも低い時間分解能を有する。
「トラック」とは、時間にわたるシーン内の物体の位置に関する時間シーケンス、すなわち時間にわたる物体の軌跡に対応する時間シーケンスを意味する。例として、トラックは、時系列の時点付き(dated)座標(xi,yi,ti):{(x1,y1,t1),...,(xk,yk,tk)}を含んでよく、ただし各(xi,yi)は、物体を表す点の時間tiにおける位置に対応する。この点は、物体がその形状によって表されるとき(例えば、下で詳述するセグメンテーションマスクが使用された場合)の重心、物体を含む輪郭形状(figure)の重心、この輪郭形状のコーナーなどとすることができる。以下では、「物体を追跡すること」が、シーン内の物体の軌道を特定することに対応する。
「物体」は、コーナーや線のような特徴点または単純な局所的パターンに限定されない。それは、例えば車、人体、または身体の一部、動物、道路標識、二輪車、赤色花火、ボール、およびその他同種類のものなど、部分的にまたは全体として認識される、より複雑なパターンまたは物質的なものであることがある。「時間分解能」は、プロセスの2回の反復間に経過した時間を指し、これは固定でもよく、可変でもよい。
例として、イベントベースセンサは、EMイベントを生成してもよく、CDイベントを生成してもよく、EMイベントとCDイベントの両方を生成してもよい。換言すれば、検出および/または追跡は、EMイベントおよび/またはCDイベントに基づいて実施されてよい。
第1のプロセスは、シーン内に存在する物体を、例として、イベントベースセンサによって受信されたイベントに基づいて特定されたフレームに対して適用される検出アルゴリズムを介して、正確に特定することを可能にするものである。しかし、そのようなアルゴリズムは、計算コストが高くつき、非常に高い時間分解能で適用することはできない。第2のプロセスが、第1のプロセス中に検出された物体をより高い時間分解能で追跡し、センサから新たなイベントが受信されると物体の位置を更新することによって、この弱点を補償する。
この2プロセス方法は、一方では、イベントベースカメラの高い時間分解能と疎なサンプリングを利用し、他方では、より長い時間期間および広い視野にわたって累積した大域的情報を利用することができる。イベントベースアルゴリズム(例えば「An asynchronous neuromorphic event-driven visual part-based shape tracking」、D.R. Valeirasら、IEEE transactions on neural networks and learning systems、26巻、12号、2015年12月、3045～3059頁に提示されたアルゴリズム)に比べて、本解決策は、ドリフティングおよびオクルージョン/ディスオクルージョンに対するロバスト性をもたらし、というのも特に、第1のプロセスを使用して、第2のプロセスによって累積した小さな誤差を補正することができるためである。さらに、追跡される物体の形状に関する仮定が行われる必要もない。
フレームベースアルゴリズムに比べて、本解決策は高い時間分解能を可能にし、したがって、全体的な計算複雑度を低く抑えながら、スムーズで正確な軌道推定を可能にする。
この2つのプロセスは補完的な特性を有していること、およびそれらの間に厳格な階層はないことに留意されたい。
一実施形態では、第1のプロセスが、検出された物体のカテゴリを特定することを含んでよい。例として、カテゴリは、カテゴリセットの中から特定されてよく、前記セットは、用途に応じて定義される。例として、運転支援のコンテキストでは、カテゴリセットは、{車、歩行者、道路標識、二輪車、赤色花火}とすることができる。カテゴリの特定は、機械学習(例えば教師あり学習アルゴリズム)によって実施されてよい。
一実施形態では、第1のプロセスの新たな反復が、事前定義の時間シーケンスに従って実行される。
これにより、第2のプロセスによって取得された、ドリフティングを被っていることのある結果を、定期的に調整することが可能になる。事前定義の時間シーケンスの2つの瞬間間の間隔は、固定でもよく、可変でもよい。時間間隔の程度は、用途に応じて決まってよい。例として、不動の支持体上に取り付けられた監視/モニタリングシステムの場合、第1のプロセスは、非常に低い時間分解能で実行されてよい。2回の反復間の時間は、約1sまたは2sとすることができる。車両の運転席上に取り付けられた運転支援システムの場合、第1のプロセスの2回の反復間の時間はより短くてよく、例えば0.1sから0.5sの間とすることができる。
第1のプロセスの新たな反復は、事前定義の時間シーケンスに従って実行される反復に加えて、ある特定の条件(例えば、下で詳述する、シーンの領域内で受信された、しきい値を下回るイベントの数)の下で実行されてよいことに留意されたい。
一実施形態では、第1のプロセスは、感知素子のマトリックス内の、検出された物体を含む関心領域を特定することを含んでよく、第2のプロセスは、関心領域を含む領域内の感知素子によって生成された非同期イベントに基づいて、トラックを特定することを含んでよい。
関心領域は、その形状が物体の形状に対応する領域(例えば、下で詳述するセグメンテーションマスク)であってもよく、物体よりも大きく、物体を含んだ領域(例えば、矩形もしくは別の事前定義の輪郭形状とすることのできるバウンディングボックス)であってもよい。バウンディングボックスのほうが、より容易でより計算コストの安いデータ処理が可能であるが、バウンディングボックスは、物体の厳密なロケーションおよび形状についての非常に精度の高い情報は提供しない。精度の高い情報が必要となるときは、セグメンテーションマスクを使用することができる。
物体が移動しているとき、イベントは、物体内部、物体のエッジ、および物体のエッジの周囲で生成される。関心領域内部および関心領域の周囲で生成されたイベントを使用すると、移動物体のより良好な追跡が可能になる。例として、この領域は、関心領域の事前定義の近隣(すなわち、関心領域の全ての画素の全ての近隣画素を含む領域)に対応してよい。この近隣は、例として、所与の画素連結性(例えば8画素連結性)に基づいて決定されてよい。
そのような実施形態では、第2のプロセスは、関心領域を含む領域内で生成された非同期イベントに基づいて、関心領域を更新することをさらに含んでよい。
加えて、第2のプロセスは、関心領域のパラメータに基づいて、第1のプロセスの新たな反復を実行することであって、パラメータが関心領域のサイズおよび関心領域の形状のうちの一方である、実行することをさらに含んでよい。
いくつかのパラメータは実際、シーン内の変化が著しいものである可能性のあることを示す場合があり、そのため、第2のプロセスが誤差を累積することがある。第1のプロセスの新たな反復を実行することにより、これらの誤差を補正し、シーン内の変化を正確に特定することが可能になる。
その代わりにまたはそれに加えて、第2のプロセスは、ある時間間隔中に関心領域内で生成されたイベントの数がしきい値を超過した場合に、第1のプロセスの新たな反復を実行することをさらに含んでもよい。
同様に、イベントが多数あることも、シーン内の変化が著しいものであることを示す場合がある。
さらに、本発明の方法は、
検出された物体と特定されたトラックとの間の関連性を特定することと、
関連性に基づいて、検出された物体のセットおよび/または特定されたトラックのセットを更新することと
を含んでよい。
したがって、第1のプロセスの結果と第2のプロセスの結果が相互に関連付けられ得、物体のロケーションがより正確に特定され得る。実際、物体の軌道は、特定された関連性に基づいて妥当性確認または補正され得る。これにより、追跡のロバスト性および安定性が改善し、ドリフティングが防止される。
方法は、
検出された物体のうちの所与の物体が、特定されたトラックのうちの所与のトラックに関連付けられた場合、所与の物体の位置に基づいて、所与のトラックを更新すること
をさらに含んでよい。
それに加えてまたはその代わりに、方法は、
検出された物体のうちの所与の物体が、特定されたトラックのうちのどのトラックにも関連付けられない場合、所与の物体に対応する新たなトラックを初期化することと、
特定されたトラックのうちの所与のトラックが、検出された物体のうちのどの物体にも関連付けられない場合、所与のトラックを削除することと、
検出された物体のうちの第1の物体と第2の物体との両方が、特定されたトラックのうちの第1のトラックに関連付けられた場合、第1のトラックから第2のトラックを初期化することであって、第1のトラックおよび第2のトラックの各々が、第1の物体および第2の物体のうちのそれぞれの物体に対応する、初期化することと、
検出された物体のうちの所与の物体が、特定されたトラックのうちの第1のトラックおよび第2のトラックに関連付けられた場合、第1のトラックと第2のトラックとをマージすることと
をさらに含んでもよい。
一実施形態では、第2のプロセスが、
検出された物体ごとに、感知素子のマトリックス内のそれぞれの領域セットを特定することであって、領域セットの各領域がそれぞれの時間に関連する、特定することと、
事前定義の時間間隔中にイベントベースセンサによって生成されたイベントを受信することと、
イベントのグループを特定することであって、前記受信されたイベントのうちの少なくとも1つのイベントを各グループが含む、特定することと、
イベントのグループごとに、感知素子のマトリックス内のそれぞれのゾーンを特定することであって、ゾーンが、そのイベントのグループの全てのイベントを含む、特定することと、
特定されたゾーンと特定された領域との間の関連性を特定することと、
関連性に基づいて、検出された物体のセットおよび/または特定されたトラックのセットを更新することと
をさらに含んでよい。
そのような手順により、第2のプロセス中に誤差が補正され、追跡の正確さが改善する。感知素子のマトリックス内のゾーンの特定は、例として、クラスタリングアルゴリズムに基づいて実施されてよい。
一実施形態では、第1のプロセスが、検出された物体用のセグメンテーションマスクを決定することをさらに含んでよい。第2のプロセスも、セグメンテーションマスクの近隣において生成された非同期イベントに基づいて、セグメンテーションマスクを更新することを含んでよい。
「セグメンテーション」とは、画像を複数の画素セットに仕切り、セットの各画素にはラベルが割り当てられ、それによって、同じラベルをもつ画素がいくつかの特性を共有する、任意のプロセスを意味する。例として、車に対応する全ての画素、二輪車に対応する全ての画素、歩行者に対応する全ての画素などにそれぞれ、同じラベルが割り当てられてよい。
「セグメンテーションマスク」とは、同じラベルを有しかつ同じ物体に対応する画素セットを意味する。したがって、セグメンテーションマスクのエッジは物体のエッジに対応してよく、マスクの内部は物体に属する画素である。
セグメンテーションマスクを使用すると、シーン内の物体の位置をより正確に特定することが可能になる。これが可能なのは、第1のプロセスおよび第2のプロセスの実行に、物体の形状に関する事前定義のモデルが不要なためである。
さらに、方法は、
イベントベースセンサから受信されたイベントに関連する第1の記述パラメータを抽出することと、
セグメンテーションマスクに対応するイベントに関連する第2の記述パラメータを抽出することと、
第1の記述パラメータのうちの1つと第2の記述パラメータのうちの1つとの間の距離を、事前定義の値と比較することによって、セグメンテーションマスクを更新することと
を含んでよく、
あるイベントに関連する第1の記述パラメータおよび第2の記述パラメータが、イベントの極性およびイベントのスピードのうちの少なくとも一方を含む。
したがって、セグメンテーションマスクは、第1のプロセスおよび/または第2のプロセスの各反復時に正確に更新され得る。
本発明の別の態様は、信号処理ユニットであって、
シーンから受信した光からイベントを非同期に生成する感知素子のマトリックスを有し、マトリックスの各感知素子に入射する光の変動に応じてその感知素子からそれぞれのイベントが生成されるイベントベースセンサに接続するためのインターフェースと、
プロセッサであって、
第1のプロセスによって、イベントベースセンサによって生成された非同期イベントから、シーン内の物体を検出すること、および
第2のプロセスによって、イベントベースセンサによって生成された非同期イベントから、検出された物体に関連するトラックを特定すること
を行うように構成されており、
第1のプロセスが、第2のプロセスよりも低い時間分解能を有する、
プロセッサと
を備える、信号処理ユニットに関する。
本発明のさらに別の目的は、シーンから受信した光からイベントを非同期に生成する感知素子のマトリックスを有し、マトリックスの各感知素子に入射する光の変動に応じてその感知素子からそれぞれのイベントが生成されるイベントベースセンサに関連付けられたプロセッサ内で実行されるべき、格納済み命令を備えたコンピュータプログラム製品であって、命令の実行が、プロセッサに、
第1のプロセスによって、イベントベースセンサによって生成された非同期イベントから、シーン内の物体を検出することと、
第2のプロセスによって、イベントベースセンサによって生成された非同期イベントから、検出された物体に関連するトラックを特定することと
を行わせ、
第1のプロセスが、第2のプロセスよりも低い時間分解能を有する、
コンピュータプログラム製品に関する。
本明細書において開示する方法および装置の他の特徴および利点は、添付図面を参照した、非限定的な実施形態についての以下の説明から明らかとなろう。
本発明は、同様の参照番号が類似の要素を指す添付図面の図中に、限定としてではなく例として示されている。
非同期センサによって受信された光プロファイル、およびこの光プロファイルに応答して非同期センサによって生成された信号の例を示す図である。 本発明の可能な一実施形態を説明するフローチャートである。 本発明の可能な一実施形態における、物体の検出および追跡の例を示す図である。 本発明の可能な一実施形態における、物体の検出および追跡の例を示す図である。 本発明の可能な一実施形態における、トラックのセットおよび物体のセットの更新を説明するフローチャートである。 本発明の可能な一実施形態における、トラックのセットおよび物体のセットの更新を示す図である。 本発明の可能な一実施形態における、シーンの物体に関連するセグメンテーションマスクを示す図である。 本発明を可能にするデバイスの可能な一実施形態を示す図である。
本発明のコンテキストにおいては、イベントベース非同期ビジョンセンサがシーンに面して配置され、1つまたは複数のレンズを備えた取得光学系を通じてシーンの光フロー(light flow)を受信していると仮定される。例として、センサは、取得光学系の像面内に配置されてよい。センサは、画素マトリックスに編成された一群の感知素子を備える。感知素子に対応する各画素は、シーン内の光の変動に応じて、連続するイベントを生成する。感光性素子pから非同期に受信されたイベントのシーケンスe(p,t)が、シーン内の物体を検出および追跡するように処理される。
図2は、本発明の可能な一実施形態を説明するフローチャートである。
本発明によれば、物体を追跡する方法は、第1の反復性プロセス201および第2の反復性プロセス202を含んでよい。第1のプロセス201は、第2のプロセス202よりも低い時間分解能を有する。したがって、第1のプロセス201は、「低速プロセス」とも呼ばれることがあり、第2のプロセス202は、「高速プロセス」とも呼ばれることがある。
一実施形態では、第1のプロセス201の時間tnにおける反復中、全体視野またはその大部分(例として、視野の70%を上回る割合を表す部分)について受信した情報に基づいて、シーン内で物体のセットが検出される。前記情報は、イベントベースセンサによってある時間間隔中に生成された非同期イベントとすることができる。例として、情報は、イベントベースセンサによって低速プロセス201の(時間tn-1における)以前の反復と低速プロセス201の(時間tnにおける)現在の反復との間またはtn-Δt間(Δtは所定の時間間隔である)に生成された非同期イベントに対応してよい。
低速プロセス201の反復中、シーンのいくつかの物体が検出される。例として、受信した情報(すなわち受信した非同期イベント)からフレームを生成し、このフレームに対して従来技術の物体検出アルゴリズムを実行することが可能である。センサが、非同期イベントに関連するグレースケール情報を提供するように構成されているとき、例としてATISタイプのセンサの場合、フレームはグレースケール測定値から、画像の各画素にその画素において受信した最終の(すなわち一番最近の)イベントのグレースケールを属させることによって構築され得る。
グレースケール測定値が利用可能ではないとき、例としてDVSタイプのセンサの場合、フレームは、その時間間隔中に受信されたイベントを加算することによって取得され得る。あるいは、画像の画素ごとに、この画素において受信した最終イベント(すなわち一番最近のイベント)の時間が格納され、これらの格納された時間を使用することによってフレームが生成されてもよい。別の代替手段は、例として「Real-time intensity-image reconstruction for event cameras using manifold regularization」、Reinbacherら、2016年において提案されているように、イベントからグレースケールを再構築するものである。
必ずしもフレームを生成するとは限らない他の検出アルゴリズムが使用されてもよい。例として、感知素子のマトリックスの所与の領域内で受信されたイベントをカウントし、イベントの数が、事前定義のしきい値よりも多い場合に、イベントベース(または「イベントドリブン」)クラシファイアを適用することが可能である。一代替手段は、そのようなクラシファイアを、視野の可能な全てのロケーションおよびスケールにおいて実行するというものである。
低速プロセス201の連続する2回の反復間の時間は、必ずしも固定であるとは限らないことに留意されたい。例として、その時間間隔中に全体視野または視野の1つまたは複数のゾーン内で生成されたイベントの数が、事前定義のしきい値を超過したときに、低速プロセス201の新たな反復が実行されてよい。それに加えてまたはその代わりに、低速プロセス201の反復は、(一定または可変の時間ステップをもつ)事前定義の時間シーケンスに従って実施されてもよい。
低速プロセス201は、検出された物体のセット203を出力する。この物体のセット203は、下で説明するように、トラックを更新するかまたは新たなトラックを初期化するために使用されてよい。有利には、低速プロセスは、検出された物体ごとに、物体の相対的カテゴリ(例えば「車」、「歩行者」、「道路標識」など)を特定するように構成される。例として、これは、機械学習に基づくアルゴリズムを使用することによって実施され得る。
高速プロセス202中、イベントベースセンサによって生成された非同期イベントに基づいて、それぞれの物体に関連付けられたトラックが更新される。一実施形態では、この更新は、感知素子のマトリックスの小さなゾーン内、例えば物体の周囲に位置し、物体を含む領域内で生成された非同期イベントに基づいて実施される。言うまでもなく、その領域は(例えば追跡される物体にそれぞれが関連する)複数の関心領域であってよい。例として、この領域は、物体のエッジの(4画素連結性近隣、8画素連結性近隣、または16画素連結性近隣などの)近隣を考慮することによって定義されてよい。したがって、(全体視野またはその大部分にわたる大域的情報に基づいて実施される低速プロセス201とは対照的に)高速プロセス202は、低速プロセス201中に検出された物体の周囲の、または高速プロセス202の以前の反復時にトラックによって与えられた物体の位置の周囲の、局所的情報に基づいて実施される。
高速プロセス202中に新たなトラックが初期化されてもよい。例として、追跡された物体が2つ以上の物体に分割するとき、各分割物について新たなトラックがそれぞれ生成されてよい。新たなトラックは、高速プロセス202中に高速検出器が実行される場合にも初期化されてよい。
感知素子のマトリックスの領域内で生成された新たなイベントのたびに、または感知素子のマトリックスの領域内で生成されたイベントの数が、事前定義のしきい値を超過したときに、高速プロセスの新たな反復が実行されてよい。したがって、高速プロセス202の連続する2回の反復間の時間は一般に可変である。処理される情報は局所的であり、(冗長性のない、シーン内の変化に関する)「関連のある」データのみを収容しているので、高速プロセス202は非常に高い時間分解能で実行され得る。
さらに、1つまたは複数の関心領域内で生成されたイベントの数が、別の事前定義のしきい値を超過した場合に、低速プロセス201の新たな反復が実行されてよい。実際、イベントが多数あることは、シーン内の変化が著しいものであることを示す場合があり、低速プロセスの新たな反復を実行することにより、これらの変化に関するより信頼性のある情報がもたらされ得る。
感知素子のマトリックスの領域は、高速プロセスの反復中に更新されてよい。実際、追跡される物体がシーン内を移動しているとき、その形状は時間とともに変化することがある(例えばターンする車は、ある時点では後方から、後の時点では側面から認識されることがある)。イベントは物体のエッジ上で受信されるので、感知素子のマトリックスの領域は、受信されたイベントに基づいて(エッジに対応する画素を抑制/追加することによって)更新されてよい。低速プロセス201の新たな反復は、感知素子のマトリックスの領域のパラメータ(例えば形状またはサイズ)に基づいて実行されてよい。例として、高速プロセス202の2回の反復間で感知素子のマトリックスの領域のサイズが著しく増加/減少した(例えば2つの異なる時点におけるサイズの差が固定の割合を超過した)場合、または高速プロセス202の2回の反復間で感知素子のマトリックスの領域の形状が著しく変化した場合、それは、感知素子のマトリックスの領域がそのとき、2つの異なる物体を含むかまたはトラックが関連付けられていた物体とは別の物体を含むことを示している可能性がある。第1のプロセスの新たな反復を実行すると、正しいシナリオの正確な特定が可能になる。
高速プロセス202は、トラックのセット204を出力する。このトラックのセット204は、従来技術の任意のイベントベース追跡アルゴリズムによって取得されてよい。上述したように、純粋なイベントベース追跡アルゴリズムは、外れ値に非常に敏感である場合があり、ドリフトを被る場合がある。一実施形態では、これらの欠点を回避し、追跡のロバスト性および安定性を改善するために、高速プロセス202によって特定されたトラックと低速プロセス201によって検出された物体との間の関連性205が特定され得る。これらの関連性に基づいて、トラックのセット204および/または検出された物体のセット203が更新206され得る。
図3aおよび図3bは、本発明の可能な一実施形態における、物体の検出および追跡の例を示す。
図3aは、低速プロセス201の反復中に検出された物体(例えば車)を示す。図3aの実施形態では、物体は、物体を含む矩形のバウンディングボックス301によって表される。この場合、バウンディングボックスはタプル(x,y,w,h)によって表されてよく、ただし(x,y)は矩形の左上コーナーの座標であり、wは矩形の幅であり、hは矩形の高さである。バウンディングボックスの「位置」は、左上コーナー(またはボックスの他の任意の点、例として別のコーナー、重心など)の位置(x,y)に対応してよい。言うまでもなく、他の表現物が可能である(例えば物体の形状、または矩形とは別の事前定義の幾何学的物体)。より一般には、そのような表現物は、「関心領域」と呼ばれることがある。高速プロセス202を実行するために、関心領域を含む領域302が決定されてよく、その場合、追跡は、この領域302内で発生したイベントに基づいて実施され得る。
図3bは、可能な一実施形態における、t1<t2<t3<t4である時間t1、t2、t3、t4において取得された物体の検出および追跡のシーケンスを示す。実線のボックス303a、303bは、低速プロセスによってそれぞれの時間t1およびt4に出力された関心領域に対応し、点線のボックス304a、304bは、高速プロセスによってそれぞれの時間t2およびt3に出力された関心領域に対応する。この図中に示すように、関心領域は、高速プロセス中に更新され得る。
図4は、本発明の可能な一実施形態における、トラックのセットおよび物体のセットの更新を説明するフローチャートである。
図4に示すように、関連性の特定205は、物体oとトラックtの事前定義の関連付け関数(association function)401:f(t,o)に基づいてよい。各トラックtについて、この関連付け関数401を最適化することによって、対応する物体oが特定402され得る。
物体がそれぞれの関心領域によって表されている場合、関連付け関数401は、関心領域の面積に基づいて定義することができる。例えば、そのような関数401は、
Figure 2022513214000002
と定義することができ、ただし面積(r)は、輪郭形状rの面積(矩形の場合、面積(r)=幅×長さ)であり、t∩oは、図5の左側部分内に表されているtとoの論理積である(ただし実線のボックスは低速プロセスによって検出された物体に対応し、点線のボックスは高速プロセスによって出力されたトラックの一番最近の位置に対応し、全てのボックスは同じフレーム内に示されている)。この場合、関連付けは、トラックtと物体oとの間で、関数401 f(t,o)を最大化することによって実施され得る。
図4を再度参照すると、次いで、トラックのセットおよび/または検出された物体のセットが以下のように更新され得る。検出された物体のうちの各物体oについて、特定されたトラックのセット内の、f(t,o)の値が最大のトラックtを特定し、
- そのような値がゼロではない場合、その物体oを特定されたトラックtに関連付け、oおよび/またはtのサイズおよび/または位置に基づいて、tのサイズおよび/または位置を更新407し(例として、tの位置はoの位置に等しくてもよく、tおよびoの位置を組み合わせたもの、例として中心もしくは質量中心に等しくてもよい)、
- 所与の物体oについて、
Figure 2022513214000003
かつf(o,t1)-f(o,t2)<ε、ただしεは(好ましくは十分に小さく選択された)事前定義のパラメータである、となるような2つのトラックt1およびt2がある場合、t1とt2をマージ405する。マージされたトラックのサイズおよび/または位置は、oのサイズおよび/または位置に基づいて決定され得る、
- 検出された物体のうち、
Figure 2022513214000004
となるような2つの物体o1およびo2がある場合、tmを、o1およびo2の位置および/またはサイズに設定された位置および/またはサイズをそれぞれが有する2つのトラックt1およびt2に分割406し、
- トラックtがどの物体oにも関連付けられない場合、前記トラックtを削除404し、
- 物体oがどのトラックtにも関連付けられない場合、サイズおよび/または位置がoのサイズおよび/または位置に等しい新たなトラックを作成403する。
トラックのセットのそのような更新の例が、図5の右側部分に描かれている。ボックス501は、物体が単一のトラックに関連付けられていた場合に対応する(ボックスのサイズ/位置は、oとtのサイズ/位置を組み合わせたものである)。ボックス502および503は、1つのトラックが2つの物体に関連付けられていたため2つのトラックに分割される場合に対応する。ボックス504は、新たな物体が検出されたので新たなトラックが作成される場合に対応する。トラック505は、どの物体にも関連付けられないため削除される。
言うまでもなく、他の関連付け関数が使用されてよい。例として、f(t,o)は、tとoの2つの事前定義のコーナー間(例えばtの左上コーナーとoの左上コーナーとの間)の数学的距離(例えばユークリッド距離、マンハッタン距離など)に対応してよい。この場合、関連付けは、トラックtと物体oとの間で、関数f(t,o)を最小化することによって実施され得る。
物体とトラックとの間の関連付けを実施するために、より複雑な距離測定基準が使用されてよく、これは例えば、(例として「HATS: Histograms of Averaged Time Surfaces for Robust Event-based Object Classification」、Sironiら、CVPR 2018に定義されているような)記述子を、所与の時間期間中にバウンディングボックスに入るイベントから計算し、記述子同士の差のノルムを比較することによるものである。
一実施形態では、高速プロセスが(低速プロセスの検出結果とは無関係に)トラックの更新を含んでよい。例として、高速プロセス中、事前定義の時間期間T(例として5～10ms)にわたってイベントを累積することが可能である。Tの間、イベントベース追跡プロセスの数回の反復が実施されてよい。仮に、AEが、Tの間に累積したイベントのセットを意味するものとする。有利には、AEは、全体視野内またはその大部分内でTの間に受信した全てのイベントを含む。あるいは、AEは、視野の1つまたは複数の小部分内でTの間に受信した全てのイベントを含んでもよい。
次いで、AEのイベントは、クラスタリングアルゴリズム(例えばメドイドシフト(Medoidshifts)クラスタリングアルゴリズム、しかし他のアルゴリズムが使用されてよい)を使用することによって、少なくとも1つのグループにクラスタリングされてよい。このクラスタリングは、典型的には、イベント同士が(数学的距離に従って)時間的および空間的に互いに「近く」、それと同時に他のグループ内のイベントとは離れている場合に、それらを一緒にグループ化することによって行われる。クラスタは、クラスタの全てのイベントを含む最小矩形によって表されてよい(他の表現物も可能である)。話を簡単にするために、以下では、「クラスタ」は、イベントのグループとその表現物(例えば矩形)の両方を指す。
トラックのセットのうちの各トラックtおよびクラスタのセットのうちの各クラスタcについて、f(t,c)が計算されてよく、fは上で定義した関連付け関数である。所与のトラックtについて、最大の(または選択された関連付け関数に応じて最小の)f(t,c)に対応するクラスタcがtに関連付けられてよく、tの位置およびサイズが、cの位置およびサイズに従って更新されてよい。一実施形態では、どのトラックtにも関連付けられないクラスタcは、削除されてよい(これにより外れ値を抑制することが可能になる)。一実施形態では、クラスタc内のイベントの数が所定のしきい値未満である場合にのみ、cを抑制することが決定されてよい。
諸実施形態では、関心領域の全ての画素にラベル付与して、追跡された物体に属する画素を他の画素と区別するために、セグメンテーションが実施されてよい。例として、物体の全ての画素にラベル1が関連付けられてよく、全ての他の画素にラベル0が関連付けられてよい。そのようなセグメンテーションにより、関心領域内の物体の位置に関する精度がもたらされる。物体に対応するラベル付与された画素のセット(例えばラベル1が関連付けられた全ての画素)は、「セグメンテーションマスク」と呼ばれる。セグメンテーションは、低速ステップ中に物体を検出した後で追加のセグメンテーションアルゴリズムを使用することによって、または同じ時間に、イベントベースセンサから生成されたフレームに対して検出およびセグメンテーションアルゴリズムを使用することによって、実施されてよい。その場合、物体に関連付けられたトラックは、セグメンテーションマスクの時間シーケンスを含んでよく、各マスクは位置(例えばマスクの重心)に対応してよい。
セグメンテーションマスクは、検出された関心領域(例えば検出されたバウンディングボックス)から生成されてよい。例として、セグメンテーションマスクは、センサによって生成されたフレームに対して畳み込みニューラルネットワーク(CNN)アルゴリズムを実行することによって決定されてよい。あるいは、最終の時間間隔において受信されたイベントのセットが、マスク境界を決定するために使用されてもよい。例として、これは、最終の時間間隔においてイベントを受信した画素のセットの凸包を計算することによって行われ得る。図6は、本発明の可能な一実施形態において取得された関心領域601およびセグメンテーションマスク602の例を示す。
セグメンテーションマスクは、高速ループ中に更新されてよい。一実施形態では、この更新は、イベントごとに実施される。例として、あるイベントが(例えばマスクの画素の事前定義の近隣で)近い場合、このイベントは移動物体によって生成されていると仮定されてよい。したがって、このイベントがマスクの外側に位置する場合、対応する画素がマスクに追加されてよく、このイベントがマスクの内側に位置する場合、対応する画素がマスクから取り除かれてよい。
それに加えてまたはその代わりに、セグメンテーションマスクは、イベントに関連する1つまたは複数の記述子とマスクに関連する1つまたは複数の記述子との間の数学的距離に基づいて更新されてもよい。より具体的には、イベントは、極性および/またはスピード(スピードは、例えばイベントベースオプティカルフローアルゴリズムを使用することによって計算されてよい)に関する情報を収容したベクトルである記述子によって記述され得る。マスクに割り当てられている全てのイベントの記述子の平均をとることによって、類似した記述子がマスクに関連付けられ得る。次いで、イベントの記述子とマスクの記述子との間の距離が事前定義のしきい値未満である場合、イベントがマスクに追加されてよく、この距離がこのしきい値より上である場合、イベントがマスクから取り除かれてよい。
別の実施形態では、(高速プロセス中の)マスクの更新が、イベントのグループおよび確率的推論を使用することによって実施される。シーンの事前知識(低速プロセスの検出/セグメンテーションアルゴリズムの結果)を、新たな情報(入力イベントのグループ)と一緒に使用して、シーン内の変化の生じる可能性を計算するという発想である。次いで、最大の可能性を伴うシナリオに基づいて、セグメンテーションマスクが更新されてよい。
例として、シーンの事前知識は、確率マトリックス(知識マトリックス)によって表されてよく、それは画素が物体、例えば車に属する確率を表す値が格子状になったものである(例として、本発明者らは、マスク内に車があると分かっており(100%の車確率)、マスクの外側には1台もないと分かっている(0%の車確率))。このマトリックスは、従来技術の技法、例として条件付き確率場(CRF)またはオプティカルフローを使用することによって、アクティブなトラックのマスクから取得されてよい。
次いで、受信されたイベントが、例としてそれらのグレースケール値(ATISタイプのセンサの場合)に基づいて画像を更新するために使用されてよい。受信されたイベントは、シーンの知識を更新するためにも使用される。例として、背景上のイベントは、車がそこにある確率を高める場合があり(このイベントは、車が対応する画素にちょうど移ったことを意味し得る)、車のマスク上のイベントは、車が引き続きそこにある確率を下げる場合がある(このイベントは、車がその画素から遠ざかったことを意味し得る)。
それらの更新後、例として、例えば5%未満の非常に低い確率の領域(イベントが受信されていない、マスクの外側の領域)、例えば5%から95%の間の中間の確率の領域(イベントが受信された領域)、および例えば95%より上の非常に高い確率の領域(イベントが受信されていない、マスクの内側の領域)があってよい。
全ての更新が実施された後、知識マトリックスおよびグレー画像を使用して、統計的推論(数値的に最も可能性の高い構成を見いだすこと)により確率モデルが構築されてよい。次いで、この確率モデルに基づいて、マスクが更新されてよい。
任意選択で、更新されたマスクに対して(例えばセグメンテーション内の穴を回避するために)正則化操作が適用されてよい。
マスクが2つに分割される場合、新たなトラックが作成されてよく、マスクがコラプスされるかまたは確率の点であまりにも低い場合、新たな検出反復が実施されてよい(物体が検出されない場合、トラックは削除されてよい)。そうでない場合、マスクは単にトラックに追加されてよい。
図7は、本発明を可能にするデバイスの可能な一実施形態である。
本実施形態では、デバイス700はコンピュータを備え、このコンピュータはプログラム命令を格納するためのメモリ705を備え、プログラム命令は、回路内にロード可能であり、プログラム命令が回路704によって実行されると本発明のステップを回路704に遂行させるように適合されている。
メモリ705は、上で説明した本発明のステップを保持するためのデータおよび有用な情報を格納することもできる。
回路704は、例として、
- コンピュータ言語で記述された命令を解釈するように適合されているプロセッサもしくは処理ユニットであって、命令を含むメモリを備えてもよく、それに関連付けられてもよく、それに結合されてもよい、プロセッサもしくは処理ユニット、または
- プロセッサ/処理ユニットとメモリとの組合せ(association)であって、プロセッサもしくは処理ユニットが、コンピュータ言語で記述された命令を解釈するように適合されており、メモリが前記命令を含む、プロセッサ/処理ユニットとメモリとの組合せ、または
- 本発明のステップがシリコン内に記述されている電子カード、または
- (<<フィールドプログラマブルゲートアレイ>>を表す)FPGAチップなどのプログラマブル電子チップ
とすることができる。
このコンピュータは、本発明による非同期イベントを受信するための入力インターフェース703、および追跡方法の結果(例えば物体の一連の時間的位置および物体の種類)を提供するための出力インターフェース706を備える。
コンピュータとの対話を容易にするために、スクリーン701およびキーボード702が設けられ、コンピュータ回路704に接続されてよい。
図2は、本発明の可能な一実施形態について説明するフローチャートである。このフローチャートの部分は、デバイス700によって実行されてよいコンピュータプログラムの一例のステップを表すことができる。
「備える」、「含む」、「組み込む」、「収容する」、「である」、および「有する」などの表現は、本記載およびその関連する特許請求の範囲を解釈する際に、非排他的に解釈すべきであり、すなわち、明示的に定義されていない他の項目または構成要素の存在も可能にするように解釈すべきである。
本記載中に開示したさまざまなパラメータが修正されてよいこと、また開示したさまざまな実施形態が、本発明の範囲から逸脱することなく組み合わされてよいことを、当業者なら容易に理解するであろう。
201 第1の反復性プロセス、第1のプロセス、低速プロセス
202 第2の反復性プロセス、第2のプロセス、高速プロセス
203 検出された物体のセット
204 特定されたトラックのセット
205 関連性
301 バウンディングボックス、関心領域
302 領域
401 関連付け関数
601 関心領域
602 セグメンテーションマスク
700 デバイス
701 スクリーン
702 キーボード
703 入力インターフェース
704 コンピュータ回路
705 メモリ
706 出力インターフェース
c クラスタ
T 時間期間
t トラック
t1 時間
t1 トラック
t2 時間
t2 トラック
t3 時間
t4 時間
tn 時間
tn-1 時間
o 物体
o1 物体
o2 物体

Claims (15)

  1. イベントを非同期に生成する感知素子のマトリックスを有するイベントベースセンサによって観測されたシーン内の物体を追跡する方法であって、
    前記マトリックスの各感知素子に入射する光の変動に応じて前記感知素子からそれぞれのイベントが生成され、前記方法は、
    第1のプロセス(201)によって、前記イベントベースセンサによって生成された非同期イベントから、前記シーン内の物体を検出するステップと、
    第2のプロセス(202)によって、前記イベントベースセンサによって生成された非同期イベントから、前記検出された物体に関連するトラックを特定するステップと
    を含み、
    前記第1のプロセス(201)が、前記第2のプロセス(202)よりも低い時間分解能を有する、
    方法。
  2. 前記第1のプロセス(201)が、前記検出された物体のカテゴリを特定するステップを含む、請求項1に記載の方法。
  3. 前記第1のプロセス(201)の新たな反復が、事前定義の時間シーケンスに従って実行される、請求項1または2に記載の方法。
  4. 前記第1のプロセス(201)が、感知素子の前記マトリックス内の、前記検出された物体を含む関心領域(301)を特定するステップを含み、
    前記第2のプロセス(202)が、前記関心領域(301)を含む領域(302)内の感知素子によって生成された非同期イベントに基づいて、前記トラックを特定するステップを含む、
    請求項1から3のいずれか一項に記載の方法。
  5. 前記第2のプロセス(202)が、前記関心領域(301)を含む前記領域(302)内で生成された非同期イベントに基づいて、前記関心領域(301)を更新するステップを含む、請求項4に記載の方法。
  6. 前記第2のプロセス(202)が、前記関心領域(301)のパラメータに基づいて、前記第1のプロセス(201)の新たな反復を実行するステップであって、前記パラメータが、前記関心領域(301)のサイズおよび前記関心領域(301)の形状のうちの一方である、ステップをさらに含む、請求項4または5に記載の方法。
  7. 前記第2のプロセス(202)が、ある時間間隔中に前記関心領域(301)内で生成されたイベントの数がしきい値を超過した場合に、前記第1のプロセス(201)の新たな反復を実行するステップをさらに含む、請求項4から6のいずれか一項に記載の方法。
  8. 検出された物体と特定されたトラックとの間の関連性を特定(205)するステップと、
    前記関連性に基づいて、前記検出された物体のセット(203)および/または前記特定されたトラックのセット(204)を更新(206)するステップと
    をさらに含む、請求項1から7のいずれか一項に記載の方法。
  9. 前記検出された物体のうちの所与の物体が、前記特定されたトラック(204)のうちの所与のトラックに関連付けられた場合、前記所与の物体の位置に基づいて、前記所与のトラックを更新(407)するステップ
    をさらに含む、請求項8に記載の方法。
  10. 前記検出された物体(203)のうちの所与の物体が、前記特定されたトラック(204)のうちのどのトラックにも関連付けられない場合、前記所与の物体に対応する新たなトラックを初期化(403)するステップと、
    前記特定されたトラック(204)のうちの所与のトラックが、前記検出された物体(203)のうちのどの物体にも関連付けられない場合、前記所与のトラックを削除(404)するステップと、
    前記検出された物体(203)のうちの第1の物体と第2の物体との両方が、前記特定されたトラック(204)のうちの第1のトラックに関連付けられた場合、前記第1のトラックから第2のトラックを初期化(406)するステップであって、前記第1のトラックおよび前記第2のトラックの各々が、前記第1の物体および前記第2の物体のうちのそれぞれの物体に対応する、ステップと、
    前記検出された物体(203)のうちの所与の物体が、前記特定されたトラック(204)のうちの第1のトラックおよび第2のトラックに関連付けられた場合、前記第1のトラックと前記第2のトラックとをマージ(405)するステップと
    をさらに含む、請求項8または9に記載の方法。
  11. 前記第2のプロセス(202)が、
    検出された物体ごとに、感知素子の前記マトリックス内のそれぞれの領域セットを特定するステップであって、前記領域セットの各領域が、それぞれの時間に関連する、ステップと、
    事前定義の時間間隔中に前記イベントベースセンサによって生成されたイベントを受信するステップと、
    イベントのグループを特定するステップであって、前記受信されたイベントのうちの少なくとも1つのイベントを各グループが含む、ステップと、
    イベントのグループごとに、感知素子の前記マトリックス内のそれぞれのゾーンを特定するステップであって、前記ゾーンが、前記イベントのグループの全てのイベントを含む、ステップと、
    前記特定されたゾーンと前記特定された領域との間の関連性を特定するステップと、
    前記関連性に基づいて、前記検出された物体のセットおよび/または前記特定されたトラックのセットを更新するステップと
    をさらに含む、請求項1から10のいずれか一項に記載の方法。
  12. 前記第1のプロセス(201)が、前記検出された物体用のセグメンテーションマスク(602)を決定するステップをさらに含み、前記第2のプロセス(202)が、前記セグメンテーションマスク(602)の近隣において生成された非同期イベントに基づいて、前記セグメンテーションマスク(602)を更新するステップを含む、請求項1から11のいずれか一項に記載の方法。
  13. 前記イベントベースセンサから受信されたイベントに関連する第1の記述パラメータを抽出するステップと、
    セグメンテーションマスク(602)に対応するイベントに関連する第2の記述パラメータを抽出するステップと、
    前記第1の記述パラメータのうちの1つと前記第2の記述パラメータのうちの1つとの間の距離を、事前定義の値と比較することによって、前記セグメンテーションマスク(602)を更新するステップと
    をさらに含み、
    あるイベントに関連する前記第1の記述パラメータおよび前記第2の記述パラメータが、前記イベントの極性および前記イベントのスピードのうちの少なくとも一方を含む、
    請求項11または12に記載の方法。
  14. 信号処理ユニットであって、
    シーンから受信された光からイベントを非同期に生成する感知素子のマトリックスを有するイベントベースセンサに接続するためのインターフェースであって、前記マトリックスの各感知素子に入射する光の変動に応じて前記感知素子からそれぞれのイベントが生成される、インターフェースと、
    プロセッサであって、
    第1のプロセス(201)によって、前記イベントベースセンサによって生成された非同期イベントから、前記シーン内の物体を検出すること、および
    第2のプロセス(202)によって、前記イベントベースセンサによって生成された非同期イベントから、前記検出された物体に関連するトラックを特定すること
    を行うように構成されており、
    前記第1のプロセス(201)が、前記第2のプロセス(202)よりも低い時間分解能を有する、
    プロセッサと
    を備える、信号処理ユニット。
  15. シーンから受信された光からイベントを非同期に生成する感知素子のマトリックスを有するイベントベースセンサに関連付けられたプロセッサ内で実行される命令を含むコンピュータプログラムであって、
    前記マトリックスの各感知素子に入射する光の変動に応じて前記感知素子からそれぞれのイベントが生成され、前記命令の実行が、前記プロセッサに、
    第1のプロセス(201)によって、前記イベントベースセンサによって生成された非同期イベントから、前記シーン内の物体を検出することと、
    第2のプロセス(202)によって、前記イベントベースセンサによって生成された非同期イベントから、前記検出された物体に関連するトラックを特定することと
    を行わせ、
    前記第1のプロセス(201)が、前記第2のプロセス(202)よりも低い時間分解能を有する、
    コンピュータプログラム。
JP2021533623A 2018-12-13 2019-12-13 シーン内の物体を追跡する方法 Active JP7455841B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18212488.3 2018-12-13
EP18212488 2018-12-13
PCT/EP2019/085199 WO2020120782A1 (en) 2018-12-13 2019-12-13 Method of tracking objects in a scene

Publications (2)

Publication Number Publication Date
JP2022513214A true JP2022513214A (ja) 2022-02-07
JP7455841B2 JP7455841B2 (ja) 2024-03-26

Family

ID=64901854

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021533623A Active JP7455841B2 (ja) 2018-12-13 2019-12-13 シーン内の物体を追跡する方法

Country Status (6)

Country Link
US (1) US20220036110A1 (ja)
EP (1) EP3895061A1 (ja)
JP (1) JP7455841B2 (ja)
KR (1) KR20210101286A (ja)
CN (1) CN113168520A (ja)
WO (1) WO2020120782A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023210330A1 (ja) * 2022-04-26 2023-11-02 ソニーグループ株式会社 データ生成装置、データ生成方法、プログラム、解析装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4306918A1 (en) * 2021-03-08 2024-01-17 Sony Semiconductor Solutions Corporation Information processing device, information processing method, and program
GB202111600D0 (en) * 2021-08-12 2021-09-29 Milestone Systems As Privacy preserving anomaly detection using semantic segmentation
FR3126799B1 (fr) 2021-09-09 2024-05-24 Xyzed Système de suivi d’acteurs sur au moins une scène de spectacle
FR3126803B1 (fr) 2021-09-09 2023-10-20 Onx2 Sas Dispositif de detection et suivi d'objets dans une zone d'intérêt

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545705B1 (en) * 1998-04-10 2003-04-08 Lynx System Developers, Inc. Camera with object recognition/data output
US7023469B1 (en) * 1998-04-30 2006-04-04 Texas Instruments Incorporated Automatic video monitoring system which selectively saves information
US6567116B1 (en) * 1998-11-20 2003-05-20 James A. Aman Multiple object tracking system
EP2408192A3 (en) * 2004-04-16 2014-01-01 James A. Aman Multiple view compositing and object tracking system
EP1958433B1 (en) 2005-06-03 2018-06-27 Universität Zürich Photoarray for detecting time-dependent image data
US9031279B2 (en) * 2008-07-09 2015-05-12 Disney Enterprises, Inc. Multiple-object tracking and team identification for game strategy analysis
WO2012127618A1 (ja) * 2011-03-22 2012-09-27 株式会社モルフォ 動体検出装置、動体検出方法、動体検出プログラム、動体追跡装置、動体追跡方法及び動体追跡プログラム
KR101880998B1 (ko) 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
FR3020699A1 (fr) 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
JP6488647B2 (ja) 2014-09-26 2019-03-27 日本電気株式会社 物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体
US9554100B2 (en) 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
US10510160B2 (en) * 2016-12-20 2019-12-17 Samsung Electronics Co., Ltd. Multiscale weighted matching and sensor fusion for dynamic vision sensor tracking
WO2018152214A1 (en) * 2017-02-14 2018-08-23 The Trustees Of The University Of Pennsylvania Event-based feature tracking

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023210330A1 (ja) * 2022-04-26 2023-11-02 ソニーグループ株式会社 データ生成装置、データ生成方法、プログラム、解析装置

Also Published As

Publication number Publication date
EP3895061A1 (en) 2021-10-20
KR20210101286A (ko) 2021-08-18
US20220036110A1 (en) 2022-02-03
JP7455841B2 (ja) 2024-03-26
WO2020120782A1 (en) 2020-06-18
CN113168520A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
JP7455841B2 (ja) シーン内の物体を追跡する方法
JP6897335B2 (ja) 学習プログラム、学習方法および物体検知装置
Ozkurt et al. Automatic traffic density estimation and vehicle classification for traffic surveillance systems using neural networks
US8270733B2 (en) Identifying anomalous object types during classification
US11995878B2 (en) Method of processing information from an event-based sensor
WO2004029659A2 (en) Pedestrian detection and tracking with night vision
KR20050085842A (ko) 화상에서의 이동 물체의 추적 방법 및 장치
JP2021026644A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN112200131A (zh) 一种基于视觉的车辆碰撞检测方法、智能终端及存储介质
JP7163718B2 (ja) 干渉領域検出装置と方法及び電子機器
JP2020109644A (ja) 転倒検出方法、転倒検出装置及び電子機器
Verma et al. Analysis of moving object detection and tracking in video surveillance system
Boufares et al. Moving object detection system based on the modified temporal difference and otsu algorithm
Melo et al. Viewpoint independent detection of vehicle trajectories and lane geometry from uncalibrated traffic surveillance cameras
Joudaki et al. Background subtraction methods in video streams: a review
Shahbaz et al. Probabilistic foreground detector with camouflage detection for sterile zone monitoring
Wang Moving Vehicle Detection and Tracking Based on Video Sequences.
KR102462733B1 (ko) 샴 네트워크를 활용하는 강인한 다중 객체 검출 장치 및 방법
Li et al. SE-Harris and eSUSAN: Asynchronous event-based corner detection using megapixel resolution CeleX-V camera
KR20160136157A (ko) 영상에서 배경 움직임 영역을 분할하는 방법 및 장치
JP2002109546A (ja) 背景画像の取得方法および装置
Mentasti et al. Event-Based Object Detection and Tracking-A Traffic Monitoring Use Case
JP2003256849A (ja) 物体抽出システム、物体抽出方法および物体抽出プログラム
Yang et al. A neuro-inspired visual tracking method based on programmable system-on-chip platform
CN112309134B (zh) 车辆速度检测方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240313

R150 Certificate of patent or registration of utility model

Ref document number: 7455841

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150