JP2018523877A - オブジェクト追跡のためのシステムおよび方法 - Google Patents

オブジェクト追跡のためのシステムおよび方法 Download PDF

Info

Publication number
JP2018523877A
JP2018523877A JP2018508758A JP2018508758A JP2018523877A JP 2018523877 A JP2018523877 A JP 2018523877A JP 2018508758 A JP2018508758 A JP 2018508758A JP 2018508758 A JP2018508758 A JP 2018508758A JP 2018523877 A JP2018523877 A JP 2018523877A
Authority
JP
Japan
Prior art keywords
boundary region
frame
electronic device
tracking
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018508758A
Other languages
English (en)
Inventor
レン、ジャンフェン
グオ、フェン
ヤン、ルイドゥオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2018523877A publication Critical patent/JP2018523877A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Abstract

電子デバイスによって遂行される方法が説明される。方法は、シーンの第１のフレームを取得することを含む。方法はまた、第１のフレームの第１の境界領域内で少なくとも１つのオブジェクトのオブジェクト認識を遂行することを含む。方法はさらに、第１のフレームの第１の境界領域内で少なくとも１つのオブジェクトのオブジェクト追跡を遂行することを含む。方法は加えて、オブジェクト追跡に基づいて第２のフレームの第２の境界領域を決定することを含む。第２のフレームは、第１のフレームに後続する。方法はまた、所定のオブジェクトモデルに基づいて第２の境界領域が有効かどうかを決定することを含む。【選択図】図１４

Description

[0001]本開示は概して、電子デバイスに関する。より具体的には、本開示は、オブジェクト追跡のためのシステムおよび方法に関する。
[0002]電子デバイスの中には（例えば、カメラ、ビデオカムコーダ、デジタルカメラ、セルラ電話、スマートフォン、コンピュータ、テレビ、自動車、パーソナルカメラ、アクションカメラ、監視カメラ、搭載カメラ、接続カメラ、ロボット、ドローン、スマートアプリケーション、ヘルスケア機器、セットトップボックス、等）、画像をキャプチャおよび／または利用するものがある。例えば、スマートフォンは、静止画像および／またはビデオ画像をキャプチャおよび／または処理しうる。画像を処理することは、比較的大量の時間、メモリおよびエネルギー資源を必要としうる。必要とされる資源は、処理の複雑性にしたがって異なりうる。
[0003]画像中でオブジェクトを検出および／または追跡することは難しいことがありうる。例えば、いくつかの状況では追跡は失われうる。この論議から認められることができるように、画像処理を改善するシステムおよび方法は有益でありうる。
[0004]電子デバイスによって遂行される方法が説明される。方法は、シーンの第１のフレームを取得することを含む。方法はまた、第１のフレームの第１の境界領域（bounding region）内で少なくとも１つのオブジェクトのオブジェクト認識を遂行することを含む。方法はさらに、第１のフレームの第１の境界領域内で少なくとも１つのオブジェクトのオブジェクト追跡を遂行することを含む。方法は加えて、オブジェクト追跡に基づいて第２のフレームの第２の境界領域を決定することを含む。第２のフレームは、第１のフレームに後続する。方法はまた、所定のオブジェクトモデルに基づいて第２の境界領域が有効かどうかを決定することを含む。
[0005]方法は、少なくとも１つのオブジェクトのオブジェクト検出を遂行することを含みうる。方法はまた、オブジェクトに対応する所定のオブジェクトモデルを取得することを含みうる。
[0006]方法は、第１の境界領域に基づいて１つまたは複数の特徴を抽出することを含みうる。方法はまた、１つまたは複数の特徴に基づいてオブジェクト追跡を更新することを含みうる。
[0007]方法は、第２の境界領域が無効である場合に、オブジェクトが第２の境界領域内にあるかどうかを決定することを含みうる。方法はまた、オブジェクトが第２の境界領域内にある場合に、第２の境界領域を精緻化（refining）することを含みうる。第２の境界領域を精緻化することは、オブジェクトに対応しない１つまたは複数のピクセルを除外するために第２の境界領域をサイズ変更することを含みうる。方法は、オブジェクトが第２の境界領域内にない場合に、第２のフレームの後の第３のフレーム中でオブジェクトを検出することを含みうる。
[0008]方法は、オブジェクトに基づいて、支援された運転を遂行することを含みうる。方法はまた、オブジェクトに対応する所定のオブジェクトモデルを取得することを含みうる。所定のオブジェクトモデルを取得することは、複数の所定のオブジェクトモデルから所定のオブジェクトモデルを選択することを含みうる。所定のオブジェクトモデルのうちの少なくとも１つは、交通標識の所定のオブジェクトモデルを含みうる。
[0009]電子デバイスもまた説明される。電子デバイスは、プロセッサを含む。プロセッサは、シーンの第１のフレームを取得するように構成される。プロセッサはまた、第１のフレームの第１の境界領域内で少なくとも１つのオブジェクトのオブジェクト認識を遂行するように構成される。プロセッサはさらに、第１のフレームの第１の境界領域内で少なくとも１つのオブジェクトのオブジェクト追跡を遂行するように構成される。プロセッサは加えて、オブジェクト追跡に基づいて第２のフレームの第２の境界領域を決定するように構成される。第２のフレームは、第１のフレームに後続する。プロセッサはまた、所定のオブジェクトモデルに基づいて第２の境界領域が有効かどうかを決定するように構成される。
[0010]コンピュータプログラム製品もまた説明される。コンピュータプログラム製品は、命令を有する非一時的有形コンピュータ可読媒体を含む。命令は、電子デバイスに、シーンの第１のフレームを取得することを行わせるためのコードを含む。命令はまた、電子デバイスに、第１のフレームの第１の境界領域内で少なくとも１つのオブジェクトのオブジェクト認識を遂行することを行わせるためのコードを含む。命令はさらに、電子デバイスに、第１のフレームの第１の境界領域内で少なくとも１つのオブジェクトのオブジェクト追跡を遂行することを行わせるためのコードを含む。命令は加えて、電子デバイスに、オブジェクト追跡に基づいて第２のフレームの第２の境界領域を決定することを行わせるためのコードを含む。第２のフレームは、第１のフレームに後続する。命令はまた、電子デバイスに、所定のオブジェクトモデルに基づいて第２の境界領域が有効かどうかを決定することを行わせるためのコードを含む。
[0011]装置もまた説明される。装置は、シーンの第１のフレームを取得するための手段を含む。装置はまた、第１のフレームの第１の境界領域内で少なくとも１つのオブジェクトのオブジェクト認識を遂行するための手段を含む。装置はさらに、第１のフレームの第１の境界領域内で少なくとも１つのオブジェクトのオブジェクト追跡を遂行するための手段を含む。装置は加えて、オブジェクト追跡に基づいて第２のフレームの第２の境界領域を決定するための手段を含む。第２のフレームは、第１のフレームに後続する。装置はまた、所定のオブジェクトモデルに基づいて第２の境界領域が有効かどうかを決定するための手段を含む。
ターゲットオブジェクトを追跡および検出するための電子デバイスを例示するブロック図である。 オブジェクト追跡および検出モジュールを例示するブロック図である。 動きベースの追跡およびオブジェクト検出を遂行するための方法を例示するフロー図である。 動きベースの追跡を遂行するための方法を例示するフロー図である。 前後方エラー（forward-backward error）に基づいて動きベースの追跡における追跡エラーを推定するための方法の構成を例示するフロー図である。 オブジェクト検出および追跡を遂行するための方法を例示するフロー図である。 本システムおよび方法とともに使用されうる、異なるウィンドウサイズを有する画像ウィンドウを例示するブロック図である。 本システムおよび方法とともに使用されうるいくつかの実例的な画像およびウィンドウを例示する図である。 オブジェクト追跡および検出モジュールの別の可能な構成を例示するブロック図である。 平滑化モジュールを例示するブロック図である。 動き追跡結果におけるジッタを平滑化するための方法を例示するフロー図である。 スライディングウィンドウおよびスキャニングステップウィンドウの例を例示する図である。 画像中のオブジェクトの例を例示する。 オブジェクト追跡のためのシステムおよび方法がインプリメントされうる電子デバイスの一例を例示するブロック図である。 オブジェクト追跡のための方法の一構成を例示するフロー図である。 オブジェクト追跡のための方法のより具体的な構成の例を例示するフロー図である。 オブジェクト追跡のためのシステムおよび方法がインプリメントされうる電子デバイスの例を例示する。 電子デバイス内に含まれうるある特定のコンポーネントを例示する。
詳細な説明
[0030]オブジェクト追跡は、一連の画像中でオブジェクトをロケートすること（locating）を含みうる（例えば、１フレームごと（from frame to frame））。カメラを使用して一連の画像（例えば、画像データ、画像フレーム、ビデオ、等）中、および／またはそれらの画像中のユーザによって定義された関心領域中、でオブジェクトを追跡することは、難しいことがありうる。リアルタイム性能（Real-time performance）（〜３０フレーム／秒（ｆｐｓ））が必要とされうる。構成の中には、ロバスト（robust）な追跡を取得するために、オプティカルフローベースのトラッカの出力と画像コンテンツベースの検出器の出力とを組み合わせるものがありうる。しかしながら、既存のアルゴリズムの計算は、リアルタイム性能を達成することを困難にする。
[0031]本システムおよび方法は、追跡および検出アルゴリズムの速度を改善するために次の技法のうちの１つまたは複数をインプリメントしうる：（１）各フレームにおいて可能な検出（例えば、スキャニング）ウィンドウのほんの一部を使用する（例えば、ランダムにウィンドウの位置を選択するか、またはスキャニングパターンを利用する）、（２）先の検出されたターゲットサイズに対応するスケールにスケールが近い、オブジェクト検出のための限定された範囲の空間スケールのみ（例えば、利用可能な空間スケールのサブセットのみ）を選択する、（３）先の追跡の信頼度値に基づいて、部分的な画像中でオブジェクトを探索するか、または画像全体中でオブジェクトを探索するかのいずれかを行うと決定する、（４）先の追跡結果に基づいて検出ウィンドウの数を動的に調整する、（５）順次に追跡および検出を遂行する（例えば、その方がより計算上コストがかからない（less computationally expensive）ことから、まずトラッカを適用する）、（６）トラッカの信頼度がしきい値より低いときにのみオブジェクト検出器を作動させる、（７）画像ロケーションの総数に比例する数のスキャニングステップを設定する。本方法およびシステムの利点のうちの１つは、ターゲットオブジェクトを追跡および／または検出するために使用される計算を低減することである。
[0032]ここに使用される場合、「追跡（track）」という用語およびその変形は、動きベース（motion-based）の処理を指し、特定のオブジェクトを識別しない。例えば、オブジェクト追跡および検出モジュールは、１フレームごとの動きを追跡し、１フレームごとのオブジェクトの移動または（例えば、カメラがパンしている場合に）電子デバイスの移動に基づいて、ターゲットオブジェクトのフレーム、サイズまたはロケーションを決定しうる。「検出」という用語およびその変形は、例えば、フレームの一部分を基準画像と比較することによって、ターゲットオブジェクトおよび／またはターゲットオブジェクトのタイプを識別するように試みる処理を指す。例えば、オブジェクト追跡および検出モジュールは、ターゲットオブジェクトを識別することを試みるにあたり、キャプチャされたフレームの一部分を（ターゲットオブジェクトの）基準画像と比較しうる。一例では、検出は、ターゲットがもはや追跡されることができないときに（例えば、オブジェクトが視野から外れた場合に）使用されうる。動きベースの追跡およびオブジェクト検出を遂行するシステムおよび方法が、以下により詳細に説明される。
[0033]図１は、ターゲットオブジェクトを追跡および検出するための電子デバイス１０２を例示するブロック図である。電子デバイス１０２の例は、ラップトップまたはデスクトップコンピュータ、セルラ電話、スマートフォン、ワイヤレスモデム、電子リーダ、タブレットデバイス、ゲーミングシステム、ロボット、航空機、無人航空機（ＵＡＶ）、自動車、ウェアラブルデバイス、パーソナルカメラ、アクションカメラ、搭載カメラ、等を含む。これらのデバイスのうちのいくつかは、１つまたは複数の工業規格にしたがって動作しうる。
[0034]スマートフォンまたはタブレットコンピュータのような電子デバイス１０２は、例えば、カメラを含みうる。カメラは、画像センサ１１４と、画像センサ１１４上に光学系１１８の視野内にロケートされているオブジェクトの画像を合焦させる光学系１１８（例えば、レンズ）とを含みうる。電子デバイス１０２はまた、カメラソフトウェアアプリケーションおよびディスプレイスクリーンを含みうる。カメラアプリケーションが作動しているとき、光学系１１８の視野内にロケートされているオブジェクトの画像は、画像センサ１１４によって記録され、ディスプレイスクリーン上に表示されうる。本システムおよび方法は、１つまたは複数の画像および／またはビデオフレームの観点から交換可能に説明されうる。
[0035]カメラアプリケーションのユーザインターフェース１２０は、ディスプレイスクリーン上に表示されている１つまたは複数のオブジェクトが追跡されることを許可しうる。電子デバイス１０２のユーザは、追跡および／または検出されるべきオブジェクト（１つ以上）を選択することを許可されうる。加えてまたは代替として、追跡されるべきオブジェクト（例えば、顔、目、人、形、四角、等）は、所定でありうるおよび／またはモデルに合致しうる。
[0036]一構成では、ディスプレイは、例えば、指、タッチペンまたは他のツールによる物理的接触からの入力を受け取るタッチスクリーン１１６である。いくつかの構成では、タッチスクリーン１１６は、追跡および／または検出されるべきターゲットオブジェクトを定義するタッチ入力（例えば、タッチ点、円または四角のような引かれた囲み（drawn enclosure））を受け取りうる。いくつかの構成では、電子デバイス１０２は、追跡および／または検出のためのターゲットオブジェクトを自動的に決定しうる。いくつかの構成では、複数のオブジェクトが追跡されうる。
[0037]電子デバイス１０２は、選択されたオブジェクトを追跡および／またはビデオフレーム中でそのオブジェクトを検出するためのオブジェクト追跡および検出モジュール１０４を含みうる。オブジェクト追跡および検出モジュール１０４は、１つまたは複数のオブジェクトを追跡するための動きトラッカ１０６および／またはビデオフレーム上でオブジェクトを検出するためのオブジェクト検出器１０８を含みうる。
[0038]動きトラッカ１０６は、ロケーションおよび／または先のビデオフレームと現在のビデオフレームとの間でのターゲットオブジェクトのロケーションの変化を推定するために、１フレームごとの画像（例えば、ビデオフレーム）上の点の動きを追跡するために動きベースでありうる。オブジェクト検出器１０８は、現在のビデオフレームの全てまたは一部分を（例えば、連続したビデオフレーム中の）キャプチャされた先のビデオフレーム１１２の選択されたオブジェクトまたは一部分と比較することによってオブジェクトを検出するために、動きベースのモデルというよりはむしろオブジェクトモデルを使用しうる。オブジェクト検出器１０８は、ビデオフレーム内で複数のオブジェクトを検出するために使用されうる。いくつかの構成では、オブジェクト検出器１０８は、特定のオブジェクトを検出するために１つまたは複数のフレームおよび／または画像をスキャンしうる。オブジェクト検出器１０８は、ここに説明されたように１つまたは複数のフレームをスキャンしうる。
[0039]オブジェクト追跡および検出モジュール１０４はまた、メモリバッファ１１０を含みうる。メモリバッファ１１０は、１つまたは複数のキャプチャされたフレームとキャプチャされたビデオフレームに関連付けられたデータとを記憶しうる。一例では、メモリバッファ１１０は、先のキャプチャされたビデオフレーム１１２を記憶しうる。オブジェクト追跡および検出モジュール１０４は、動きベースの追跡および／またはオブジェクト検出を遂行するにあたり、キャプチャされた先のビデオフレーム１１２についての、メモリバッファ１１０から提供されるデータを使用しうる。いくつかの構成では、メモリバッファ１１０は、動きトラッカ１０６にロケーションおよびウィンドウサイズのデータを提供し、オブジェクト検出器１０８は、オブジェクトをより正確に追跡および／または検出するために使用されうる１つまたは複数のパラメータを動きトラッカ１０６とオブジェクト検出器１０８とに提供しうる。
[0040]電子デバイス１０２は、動きベースの追跡を遂行しうる。あるアプローチは、メジアンフロー方法（a median flow method）であり、それにおいて、動きトラッカ１０６は、一対の画像Ｉt、Ｉt+1（例えば、ビデオフレーム）と境界ボックスβtとを受け付け、境界ボックスβt+1を出力する。点のセットが境界ボックスβt内の長方形格子上で初期化されえ、点を追跡して、ＩtとＩt+1との間でスパース動きフロー（a sparse motion flow）を生成する。点予測の品質が推定され、各点はエラーを割り当てられうる。最悪の予測の一部分（例えば、５０％）がフィルタリング除去（filtered out）されうる一方で、残りの予測は、境界ボックス全体の変位（the displacement）を推定するために使用される。動きトラッカ１０６は、電子デバイス１０２によってキャプチャされた各ビデオフレーム上で動きベースの追跡を遂行しうる。別のアプローチでは、動きベースの追跡が、時間勾配を算出するために、１つまたは複数の勾配（例えば、ｘおよびｙ勾配）を算出し、且つ一対のフレーム間の差異を使用することと、現在のビデオフレーム内でターゲットオブジェクトを正確に追跡するために、複数の勾配値を使用することとを行うことによって、遂行されうる。動きベースの追跡に関するさらなる詳細が以下に提供される。
[0041]動きベースの追跡を遂行するとき、動きトラッカ１０６は、動き追跡方法の算出されたまたは推定された正確性に基づいて追跡信頼度値（例えば、０と１との間）を決定しうる。追跡信頼度値は、ターゲットオブジェクトが現在のビデオフレームまたはそのビデオフレームの定義されたウィンドウ内に収まる可能性または確率を示しうる。追跡信頼度値が追跡しきい値より大きい場合、ターゲットオブジェクトが現在のビデオフレーム内で見いだされる可能性は高いことがありうる。そうでない場合は、ターゲットオブジェクトが現在のビデオフレーム内で見いだされるかどうかの可能性は低いか、または不確実でありうる。追跡信頼度値を決定するための様々なアプローチが使用されうる（例えば、現在のビデオフレーム中の追跡されたウィンドウ（例えば、追跡パッチウィンドウ）と先にキャプチャされたビデオフレームからの先に記憶された画像パッチとの間の正規化相互相関（ＮＣＣ：a normalized cross correlation）を算出する）。
[0042]電子デバイス１０２はまた、オブジェクト検出を遂行しうる。オブジェクト検出は、多様なアプローチ（例えば、スキャニングウィンドウ、スキャニングステップ、等）を使用して遂行されうる。例えば、全ての可能なウィンドウロケーションおよびサイズのうちの全てまたはサブセットが、ビデオフレーム中で探索されうる。
[0043]いくつかの構成では、動きトラッカ１０６およびオブジェクト検出器１０８は、並列というよりはむしろ順次に動作しうる。例えば、電子デバイス１０２は、選択されたオブジェクト（例えば、ターゲットオブジェクト）の動きベースの追跡を遂行し、１つまたは複数の追跡されたパラメータ（例えば、ターゲットオブジェクトの領域、ウィンドウロケーション、ウィンドウサイズ、スケールレベル、ターゲットサイズ、追跡および／または検出信頼度値あるいは他のパラメータ）に基づいて、選択されたオブジェクトのオブジェクト検出を順次に遂行しうる。例えば、追跡信頼度値が追跡しきい値未満である場合、電子デバイス１０２は、オブジェクト検出を遂行しうる。代替として、追跡信頼度値が追跡しきい値を超える場合、電子デバイス１０２は、現在のビデオフレームのためのオブジェクト検出をスキップし、現在のビデオフレームの動き追跡結果に基づいて、次のビデオフレーム上で動きベースの追跡を遂行し続けうる。動きベースの追跡がオブジェクト検出より計算集約的でないことがありうることから、電子デバイス１０２は、現在のビデオフレーム内でターゲットオブジェクトを正確に追跡するために動きベースの追跡が使用されうるオブジェクト検出を遂行することをスキップしうる。
[0044]図２は、オブジェクト追跡および検出モジュール２０４を例示するブロック図である。オブジェクト追跡および検出モジュール２０４は、電子またはワイヤレスデバイス（例えば、電子デバイス１０２）内でインプリメントされうる。オブジェクト追跡および検出モジュール２０４は、オプティカルフローモジュール２２６と追跡信頼度値２２８とを有する動きトラッカ２０６を含みうる。オブジェクト追跡および検出モジュール２０４はまた、検出信頼度値２４０を有するオブジェクト検出器２０８を含みうる。メモリバッファ２１０は、動きトラッカ２０６とオブジェクト検出器２０８とに提供されうるキャプチャされた先のビデオフレーム２１２に関連付けられたデータを記憶しうる。オブジェクト追跡および検出モジュール２０４、動きトラッカ２０６、オブジェクト検出器２０８、およびメモリバッファ２１０は、図１に関連して上述された対応する要素の構成でありうる。
[0045]動きトラッカ２０６は、現在のビデオフレーム（Ｎ）２２４上で動きベースの追跡を遂行するために使用されうる。例えば、先のビデオフレーム（Ｎ−１）２２２と現在のビデオフレーム（Ｎ）２２４とが、（例えば、電子デバイス１０２によって）受信されうる。先のビデオフレーム（Ｎ−１）２２２は、連続したビデオフレーム中の現在のビデオフレーム（Ｎ）２２４に直接先行（immediately precede）しうる。追加のビデオフレームが取得され、オブジェクト追跡および検出モジュール２０４によって処理されうる。先のビデオフレーム（Ｎ−１）２２２は、動きトラッカ２０６に提供されうる。さらに、メモリバッファ２１０は、ここではキャプチャされた先のビデオフレーム２１２と呼ばれる、先のビデオフレーム（Ｎ−１）２２２に関連付けられたデータを記憶しうる。いくつかの構成では、メモリバッファ２１０は、電子デバイス１０２から直接（例えば、カメラから）先のビデオフレーム（Ｎ−１）２２２についての情報を取得しうる。メモリバッファ２１０はまた、先のビデオフレーム（Ｎ−１）２２２中のどこでオブジェクトが追跡および／または検出されたかを指定しうる先のビデオフレーム（Ｎ−１）２２２についての追跡結果を融合モジュール２６０から取得しうる。他の先にキャプチャされたビデオフレームまたは先のビデオフレーム（Ｎ−１）２２２についてのこの情報は、メモリバッファ２１０中に記憶されうる。
[0046]動きトラッカ２０６は後に、連続したビデオフレーム中の現在のビデオフレーム（Ｎ）２２４を受信しうる。動きトラッカ２０６は、（例えば、メモリバッファ２１０から提供された情報を使用して）現在のビデオフレーム（Ｎ）２２４を先のビデオフレーム（Ｎ−１）２２２と比較しうる。動きトラッカ２０６は、オプティカルフローモジュール２２６を使用して現在のビデオフレーム（Ｎ）２２４上でオブジェクトの動きを追跡しうる。オプティカルフローモジュール２２６は、現在のビデオフレーム（Ｎ）２２４上でオブジェクトの動きベースの追跡を遂行するためのハードウェアおよび／またはソフトウェアを含みうる。先のビデオフレーム（Ｎ−１）２２２と現在のビデオフレーム（Ｎ）２２４とを比較することによって、動きトラッカ２０６は、ターゲットオブジェクトが現在のビデオフレーム（Ｎ）２２４中にある可能性に関連付けられた追跡信頼度値２２８を決定しうる。一例では、追跡信頼度値２２８は、ターゲットオブジェクトが現在のビデオフレーム（Ｎ）２２４内、または現在のビデオフレーム（Ｎ）２２４内のウィンドウ内にあることの確実性のパーセンテージに基づく実数（例えば、０と１との間）である。
[0047]オブジェクト検出器２０８は、現在のビデオフレーム（Ｎ）２２４上でオブジェクトを検出するために使用されうる。例えば、オブジェクト検出器２０８は、連続したビデオフレーム中の現在のビデオフレーム（Ｎ）２２４を受信しうる。オブジェクト検出器２０８は、追跡されたパラメータ（例えば、追跡しきい値２５０と比較された追跡信頼度値２２８および／またはメモリバッファ２１０から提供された情報（例えば、領域、ウィンドウロケーション、ウィンドウサイズ、または他の情報）に基づいて、現在のビデオフレーム（Ｎ）２２４上でオブジェクト検出を遂行しうる。
[0048]オブジェクト検出器２０８は、ビデオフレーム内の複数のウィンドウを選択しうる。選択されたスキャニングウィンドウは、特定のスキャニングパターンにしたがいうる（例えば、スライディングウィンドウ、スキャニングステップ、等）。さらなる詳細が、図１１〜１６に関連して与えられる。オブジェクト検出器２０８は、ターゲットオブジェクトのうちのいくつかが特定のウィンドウ中で見いだされるか、またはターゲットオブジェクトのうちの全てが特定のウィンドウ中で見いだされるかを決定しうる。オブジェクト検出器２０８は、ターゲットオブジェクトが現在のビデオフレーム（Ｎ）２２４内に存在する可能性を示す検出信頼度値２４０を決定しうる。オブジェクト検出器２０８は、領域、ターゲットサイズ、ウィンドウサイズ、スケールレベル、ウィンドウロケーションおよび／または１つまたは複数の信頼度値を含む、多様な追跡されたパラメータにしたがってオブジェクト検出を遂行しうる。
[0049]オブジェクト検出器２０８は、ウィンドウロケーションおよび／またはサイズのうちの全てまたはサブセットを探索しうる。検出が不成功であった場合（例えば、検出信頼度値２４０が検出しきい値２５２未満である（例えば、０．６、０．６５、０．７、０．７５、０．８、０．８５、等））、より高いパーセンテージ、例えば、２％、のウィンドウロケーションが、後続のキャプチャされたフレーム中で探索されうる。
[0050]オブジェクト追跡および検出モジュール２０４は、単一のウィンドウを形成するために複数のウィンドウをマージするための融合モジュール２６０を含みうる。初めに、２つの信頼度値：オブジェクト検出器２０８からの検出信頼度値２４０と動きトラッカ２０６からの追跡信頼度値２２８とが存在しうる。融合モジュール２６０は、２つの信頼度値を比較しうる（例えば、大きい方を選ぶ）、および／またはそれらを検出および追跡信頼度値２５６へと組み合わせうる。検出および追跡信頼度値２５６は、ターゲットオブジェクトが見いだされた可能性の全般的なインジケーションとしての役割を果たしうる。さらに、検出および追跡信頼度値２５６は、次のビデオフレーム中で探索するウィンドウのパーセンテージ、ウィンドウサイズ、ウィンドウロケーションまたは画像スケールを決定するために使用されるパラメータでありうる。融合モジュール２６０は、メモリバッファ２１０に現在のビデオフレーム（Ｎ）２２４についての情報（例えば、ウィンドウロケーション、ウィンドウサイズ、等）および／または検出および追跡信頼度値２５６を提供するために使用されうる。融合モジュール２６０は、組み合わされた追跡結果（例えば、境界ボックス）を形成し、検出および追跡信頼度値２５６を算出するために、動きトラッカ２０６とオブジェクト検出器２０８とからの追跡結果（例えば、境界ボックス）を使用しうる。
[0051]メモリバッファ２１０は、先のビデオフレーム（Ｎ−１）２２２、現在のビデオフレーム（Ｎ）２２４または他のキャプチャされたビデオフレームに関連付けられた１つまたは複数の値を記憶しうる。一構成では、メモリバッファ２１０は、キャプチャされた先のビデオフレーム２１２を記憶し、それは、先のビデオフレーム（Ｎ−１）２２２に対応する情報を含みうる。キャプチャされた先のビデオフレーム２１２は、ウィンドウ２４２ごとに１つまたは複数のウィンドウ２４２についての情報（例えば、ロケーション２４４、ウィンドウサイズ２４６、二分決定２４８、等）を含みうる。加えてまたは代替として、キャプチャされた先のビデオフレーム２１２は、オブジェクトが最後に検出および／または追跡された画像スケール（例えば、スケールレベル）についての情報を含みうる。
[0052]キャプチャされた先のビデオフレーム２１２はまた、追跡しきい値２５０と、検出しきい値２５２と検出および追跡しきい値２５４とを含みうる。追跡しきい値２５０は、追跡信頼度レベルが追跡しきい値２５０より大きいかどうかを決定するために、オブジェクト追跡および検出モジュール２０４上の動きトラッカ２０６または回路（例えば、信頼度レベル比較器２５８）に提供されうる。検出しきい値２５２は、検出信頼度値２４０が検出しきい値２５２より大きいかどうかを決定するために、オブジェクト追跡および検出モジュール２０４上のオブジェクト検出器２０８または他の回路に提供されうる。検出および追跡しきい値２５４は、追跡しきい値２５０と検出しきい値２５２とに基づく組み合わされた値でありうる。検出および追跡しきい値２５４は、動きベースの追跡とオブジェクト検出とについての組み合わされた信頼度値を決定するために、検出および追跡信頼度値２５６と比較されうる。しきい値の各々は、ターゲットオブジェクトがビデオフレーム内でロケートされる可能性に基づきうる。オブジェクト追跡および検出２０４は、特定の検出および追跡信頼度値２５６が取得されるまで、現在のビデオフレーム（Ｎ）２２４上で動きベースの追跡および／または検出を遂行しうる。さらに、動きベースの追跡およびオブジェクト検出は、連続した複数のビデオフレーム中の各ビデオフレーム上で遂行されうる。
[0053]２ステップの追跡および検出アプローチの一構成では、動きトラッカ２０６は、現在のビデオフレーム（Ｎ）２２４上で動きベースの追跡を遂行しうる。動きトラッカ２０６は、動きベースの追跡処理に基づいて、追跡信頼度値２２８を決定しうる。追跡信頼度値２２８とメモリバッファ２１０によって提供される追跡しきい値２５０とを使用して、信頼度レベル比較器２５８は、追跡信頼度値２２８が追跡しきい値２５０を上回るかどうかを決定しうる。追跡信頼度値２２８が追跡しきい値２５０より大きい場合、オブジェクト追跡および検出モジュール２０４は、オブジェクト検出を遂行することをスキップし、出力２６２を生じさせるために融合モジュール２６０に追跡結果を提供しうる。出力２６２は、ターゲットオブジェクトが現在のビデオフレーム（Ｎ）２２４内にあるというインジケーションを含みうる。さらに、出力２６２は、ターゲットオブジェクトについての追加の情報を含みうる。
[0054]追跡信頼度値２２８が追跡しきい値２５０を上回らない場合、オブジェクト検出器２０８は後に、現在のビデオフレーム（Ｎ）２２４上でオブジェクト検出を遂行しうる。オブジェクト検出は、現在のビデオフレーム（Ｎ）２２４内のウィンドウのうちの全てまたはサブセット上で遂行されうる。オブジェクト検出器２０８は、検出信頼度値２４０を決定し、検出信頼度値２４０を検出しきい値２５２と比較しうる。検出信頼度値２４０が検出しきい値２５２を超える場合、オブジェクト検出器２０８は、出力２６２を生じさせるために、融合モジュール２６０に検出結果を提供しうる。出力２６２は、ターゲットオブジェクトが現在のビデオフレーム（Ｎ）２２４内にあるというインジケーションを含みうる、および／または検出されたオブジェクトについての追加の情報を含みうる。検出信頼度値２４０が検出しきい値２５２以下である場合、オブジェクト検出器２０８は、よりロバストな方法（例えば、現在のビデオフレーム（Ｎ）２２４内のより多くの数のウィンドウを探索する）を使用して再びオブジェクト検出を遂行し、満足のいく検出信頼度値２４０が取得されるまでオブジェクト検出の処理を繰り返しうる。オブジェクト追跡および検出モジュール２０４は、次のビデオフレーム上で追跡および検出を遂行するために使用されうる。
[0055]図２中の例示されたコンポーネントのうちの１つまたは複数はオプションとして、プロセッサ２６４によってインプリメントされうる。例示されたコンポーネントのうちの１つまたは複数は、１つまたは複数のプロセッサ上でともにまたは別個にインプリメントされうる。
[0056]図３は、動きベースの追跡およびオブジェクト検出を遂行するための方法３００を例示するフロー図である。方法３００は、電子デバイス１０２、例えば、オブジェクト追跡および検出モジュール１０４によってインプリメントされうる。電子デバイス１０２は、上述されたように動きベースの追跡を遂行しうる３０２。
[0057]電子デバイス１０２は、追跡信頼度値２２８を決定しうる３０４。これは、上述されたように達成されうる。電子デバイス１０２は、追跡信頼度値２２８が追跡しきい値２５０より大きいかどうかを決定しうる３０６。追跡信頼度値２２８が追跡しきい値２５０より大きい場合、電子デバイス１０２は、次のビデオフレームのために動きベースの追跡を遂行しうる３０８（およびオプションとして、動きベースの追跡の結果に基づいて、現在のビデオフレーム（Ｎ）２２４上でオブジェクト検出を遂行することをスキップしうる）。そうでない場合、電子デバイス１０２は、現在のビデオフレーム（Ｎ）２２４（または、例えば、次のビデオフレーム）のためにオブジェクト検出を遂行しうる３１０。
[0058]図４は、動きベースの追跡を遂行するための方法４００を例示するフロー図である。方法４００は、電子デバイス１０２、例えば、オブジェクト追跡および検出モジュール１０４によってインプリメントされうる。電子デバイス１０２は、上述されたように境界ボックスを使用して１つまたは複数のターゲットオブジェクトを識別しうる４０２。
[0059]電子デバイス１０２は、境界ボックス内の格子上で点を初期化しうる４０４。格子上の点は、境界ボックス全体を通じて均一に間隔を空けられうる。さらに、点は、２つの画像（例えば、先のビデオフレーム（Ｎ−１）２２２と現在のビデオフレーム（Ｎ）２２４との）間の格子上で（例えば、Ｌｕｃａｓ−Ｋａｎａｄｅトラッカを使用して）追跡されうる４０６。電子デバイス１０２は、２つの画像間での追跡エラーを推定しうる４０８（例えば、エラー値を追跡された複数の点の各点に割り当てる、前後方エラー、ＮＣＣおよび／または差分平方和（sum-of-square differences）を推定する、等）。推定された追跡エラーは、追跡信頼度値２２８を取得するために使用されうる。さらに、電子デバイス１０２は、範囲外の（outlying）点予測（例えば、最悪の予測の５０％）をフィルタ除去しうる４１０。残りの予測は、境界ボックスの変位を推定するために使用されうる。
[0060]電子デバイス１０２は、境界ボックスを更新しうる４１２。境界ボックスを更新すること４１２は、更新された境界ボックスが次のビデオフレーム用の新しい境界ボックスになるように遂行されうる。
[0061]図５は、前後方エラーに基づいて動きベースの追跡における追跡エラーを推定するための方法５００の構成を例示するフロー図である。方法５００は、電子デバイス１０２（例えば、オブジェクト追跡および検出モジュール１０４）によってインプリメントされうる。いくつかの構成では、電子デバイス１０２は、追跡されたウィンドウ間のＮＣＣを算出しえ、それは、追跡信頼度値２２８を決定するために使用されうる。電子デバイス１０２はまた、ＮＣＣに相補的な様々な追跡エラー推定技法を使用しうる（例えば、前後方エラー、差分平方和）。前後方エラー推定を使用する例では、電子デバイス１０２は、前方軌道（a forward trajectory）を決定するために、先のビデオフレーム（Ｎ−１）２２２と現在のビデオフレーム（Ｎ）２２４との間で前方追跡を遂行しうる５０２。前方追跡は、ｋ個のステップについて前方に画像を追跡することを含みうる。結果として生じる前方軌道は、（ｘt，ｘt+1，．．．，ｘt+k）に等しくありえ、ここで、ｘtは、時間的な点のロケーション（a point location in time）であり、ｋは、連続した画像の長さを示す。電子デバイス１０２は、後方軌道を決定するために、現在のビデオフレーム（Ｎ）２２４と先のビデオフレーム（Ｎ−１）２２２との間で後方追跡を遂行しうる５０４。結果として生じる後方軌道は、
に等しくありえ、ここで、
である。
[0062]電子デバイス１０２は、前方軌道と後方軌道との間での前後方エラーを決定しうる５０６。前後方エラーは、前方軌道と後方軌道との間の距離として定義されうる。さらに、様々な距離が、軌道比較のために定義されうる。一構成では、前後方エラーを決定するときに、検証軌道（the validation trajectory）の始点と終点との間のユークリッド距離が使用されうる。一構成では、前後方エラーは、追跡エラーとして使用されえ、それは、追跡信頼度値２２８を決定するために使用されうる。
[0063]図６は、オブジェクト検出および追跡を遂行するための方法６００を例示するフロー図である。方法６００は、電子デバイス１０２（例えば、オブジェクト追跡および検出モジュール１０４）によってインプリメントされうる。電子デバイス１０２は、現在のビデオフレーム（Ｎ）２２４中のウィンドウロケーションおよびサイズのサブセットを探索することによって、現在のビデオフレーム（Ｎ）２２４上でオブジェクト検出および動きベースの追跡を遂行しうる６０２。
[0064]電子デバイス１０２は、検出および追跡信頼度値２５６を決定しうる６０４。電子デバイス１０２はまた、検出および信頼度値２５６が検出および追跡しきい値２５４より大きいかどうかを決定しうる６０６。検出および信頼度値が検出および追跡しきい値２５４より大きい場合、電子デバイス１０２は、次のビデオフレーム中のウィンドウおよびサイズのサブセット（例えば、同じサブセット）を使用して、次のビデオフレーム上でオブジェクト検出を遂行しうる６０８。検出および信頼度値２５６が検出および追跡しきい値２５４より小さい場合、電子デバイス１０２は、次のビデオフレーム中のウィンドウロケーションおよびサイズのより大きなサブセットを使用して、次のビデオフレーム上でオブジェクト検出を遂行しうる６１０。
[0065]図７Ａは、本システムおよび方法とともに使用されうる、異なるウィンドウサイズ７６６ａ〜ｊを有する画像ウィンドウ７００を例示するブロック図である。探索されるウィンドウは、任意の形状でありうる（例えば、正方形、長方形、円形、楕円形、ユーザ定義、等）。さらに、任意の数、例えば、５、１５、２０、３０、等、のウィンドウサイズが利用可能でありうる。探索範囲は、特定のロケーションに対して使用されるウィンドウサイズのうちの全てまたはサブセット（例えば、最近のフレーム中のターゲットオブジェクトに関連付けられたウィンドウロケーションおよびウィンドウサイズに類似したもの）を含みうる。
[0066]図７Ｂは、本システムおよび方法とともに使用されうるいくつかの実例的な画像７７０ａ〜ｊおよびウィンドウ７６８ａ〜ｊを例示する図である。特に、図７Ｂは、異なる画像サイズまたはスケールが探索されうるが、その一方でウィンドウサイズは同じままでありうることを例示している。図７Ｂに関連して説明されたアプローチは、図７Ａに関連して説明されたアプローチに加えて、またはその代替としてインプリメントされうる。
[0067]図８は、オブジェクト追跡および検出モジュール８０４の別の可能な構成を例示するブロック図である。図８中に例示されたオブジェクト追跡および検出モジュール８０４は、図２中に例示されたオブジェクト追跡および検出モジュール２０４中の対応するコンポーネントに類似した１つまたは複数のコンポーネントを含み、対応するコンポーネントに類似した機能を遂行しうる。具体的には、オブジェクト追跡および検出モジュール８０４は、オブジェクト検出器８０８、動きトラッカ８０６および／またはメモリバッファ８１０を含みうる。
[0068]オブジェクト追跡および検出モジュール８０４はオプションとして、ターゲットの動きおよび追跡エラーに起因したジッタ影響（the jittering affect）を低減する（例えば、探索ウィンドウに、ロケーション（ｘ、ｙ）およびサイズ（幅、高さ）の両方においてより平滑な軌道を有させる）ために使用される平滑化モジュール８６１を含みうる。平滑化モジュール８６１は、単純な移動平均（ＭＡ）フィルタまたは自己回帰（ＡＲ）フィルタであることができる。ロケーションおよびサイズについての平滑化の程度は異なることができる。カルマンフィルタのような予測フィルタもまた、ロケーション平滑化に適していることがありうる。さらなる詳細が、図９に関連して与えられる。
[0069]オブジェクト追跡および検出モジュール８０４はオプションとして、動き追跡とオブジェクト検出との組み合わされた結果を出力しうるロケーションおよびサイズ決定モジュール８９９を含みえ、それは、境界ボックスによって表されうる。この境界ボックスは、平滑化モジュール８６１によって平滑化されるロケーションおよび／またはサイズ情報を含みうる。例えば、平滑化モジュール８６１は、平滑化されていないロケーション８６３と平滑化されていないサイズ８６５とに基づいて、平滑化されたロケーション８６７および／または平滑化されたサイズ８６９を生じさせうる。
[0070]図９は、平滑化モジュール９６１を例示するブロック図である。一構成では、自己回帰（ＡＲ）モデルを使用して、ロケーション平滑化フィルタ９７１とサイズ平滑化フィルタ９７３とは、平滑化されていないロケーション９６３および／または平滑化されていないサイズ９６５に基づいて、平滑化されたロケーション９６７および／または平滑化されたサイズ９６９を生じさせうる。例えば、Ｘが、平滑化されるべき変数であると想定し（ロケーションまたはサイズのいずれか）、Ｘ’を、オブジェクトトラッカによるＸの出力とする。この構成では、時間ｔにおけるＸ、つまりＸt、の平滑化されたフィルタリングは、Ｘt＝Ｗ＊Ｘ’t＋（１−Ｗ）＊Ｘt-1にしたがって説明されることができ、ここで、Ｘ’tは、時間ｔにおけるＸのトラッカ出力であり、Ｘt-1は、時間ｔ−１におけるＸの平滑化された結果であり、Ｗ（０＜＝Ｗ＜＝１）は、平滑化効果（the smoothing effect）を制御する平滑化重み（a smoothing weight）である。例えば、Ｘ’tは、現在のビデオフレームに対して選択されたウィンドウロケーションまたはウィンドウサイズであり、Ｘt-1は、先のビデオフレームに対して使用されたウィンドウロケーションまたはウィンドウサイズでありうる。ロケーション平滑化フィルタ９７１とサイズ平滑化フィルタ９７３とに対して、異なる平滑化重み、Ｗ、が使用されることができる。平滑化重みの選択はまた、検出および追跡信頼度値に基づいて、および／または追跡信頼度値あるいは検出信頼度値に基づいて適合されうる。
[0071]図１０は、動き追跡結果におけるジッタを平滑化するための方法１０００を例示するフロー図である。方法１０００は、電子デバイス１０２、例えば、電子デバイス１０２中のオブジェクト追跡および検出モジュール８０４によって遂行されうる。電子デバイス１０２は、現在のビデオフレームに関連付けられた１つまたは複数のウィンドウロケーションおよび１つまたは複数のウィンドウサイズ、例えば、平滑化されていないロケーション８６３および平滑化されていないサイズ８６５を決定しうる１００２。電子デバイス１０２はまた、１つまたは複数の平滑化されたウィンドウロケーション８６７と１つまたは複数の平滑化されたウィンドウサイズ８６９とを生じさせるために、１つまたは複数のウィンドウロケーションと１つまたは複数のウィンドウサイズとをフィルタリングしうる１００４。例えば、これは、移動平均フィルタ、自己回帰フィルタ、またはカルマンフィルタを使用することを含みうる。一構成では、低追跡信頼度値に応答して（例えば、検出および追跡信頼度値が検出および追跡しきい値を下回る）、ロケーションおよびサイズに対する平滑化重みが低減されうる。代替として、平滑化重みは、検出信頼度値または追跡信頼度値に基づいて低減されうる。電子デバイス１０２はまた、１つまたは複数の平滑化されたウィンドウロケーション８６７と１つまたは複数の平滑化されたサイズ８６９とによって定義された１つまたは複数のウィンドウを使用して、現在のビデオフレーム２２４内でターゲットオブジェクトを検出しうる１００６。
[0072]ここに開示されるシステムおよび方法の構成の中には、局所的動きパターン（local motion patterns）および／または大域的動きパターン（global motion patterns）に基づいてロバストなオブジェクト追跡を提供するものがありうる。例えば、ここに開示されるシステムおよび方法の構成の中には、局所的および大域的動きにおける差異を使用することによって追跡品質を改善するものがありうる。動きは、オブジェクト追跡のためのきっかけ（a cue）を提供しうる。しかしながら、乱雑な背景からの動きは、それが動き推定を歪めうることからオブジェクトトラッカに課題を提示しうる。関心オブジェクトが背景とは異なるように移動しうることから、オブジェクトとその背景との間での動きの差異は、有益に利用されうる。動きパターンは、追跡のためにそれら自身によって使用されうるだけでなく、また追跡方法を増強させ、それらの性能を改善しうる。
[0073]いくつかの構成では、ここに開示されるシステムおよび方法は、局所的動きと大域的動きとの間の差異を使用して、追跡関心領域（ＲＯＩ）内でオブジェクトの位置の可能性を推定しうる。局所的動きは、フレーム間での関心領域内のコンテンツ（例えば、前景）の動きでありうる。例えば、局所的動きは、第１のフレームから第２のフレームへの関心領域中のコンテンツの移動を示しうる。大域的動きは、フレーム間でのコンテンツ（例えば、全てのコンテンツまたは一般のコンテンツ）の動きでありうる。局所的動きと大域的動きとの間の差異は、関心領域と画像全体との間での相対的動き（relative motion）の程度として測定されうる。前景の動きと背景の動きとを分けることによって、ここに開示されるシステムおよび方法は、トラッカが背景の乱雑さによって混乱させられる機会を低減しうる。局所的動き情報を使用することは、オブジェクトの周囲でより緊密な（tighter）関心領域（例えば、境界領域、境界ボックス、等）を維持するのに役立ち、関心領域が不必要に拡大することおよび／またはオブジェクトの追跡を失うことを防ぎうる。例えば、オブジェクト追跡は、関心領域が拡大し過ぎた場合に失われうる。局所的動きと大域的動きとの間の差異に基づいて重みを計算することによって、フレーム間のオブジェクトのスケールと平行移動（translation）との両方が並行して（例えば、同時に）推定されうる。時間および／または空間平滑化は、あらゆる外れ値あるいは雑音を低減および／または取り除くために重みに適用されうる。ここに開示されるシステムおよび方法の構成の中には、計算的に軽いものがありえ、故に、リアルタイムで遂行されうる。加えてまたは代替として、ここに開示されるシステムおよび方法は、ロバストな追跡を容易にするために他の追跡方法と一緒に遂行されうる。
[0074]図１１は、スライディングウィンドウおよびスキャニングステップウィンドウの例を例示する図である。具体的には、画像Ａ１１７６ａと画像Ｂ１１７６ｂとは、２つの異なる画像サイズまたはスケールである。スライディングウィンドウＡ１１７８ａは、画像Ａ１１７６ａにジグザグパターンで適用される。同様に、スライディングウィンドウＢ１１７８ｂは、画像Ｂ１１７６ｂにジグザグパターンで適用される。いくつかの構成では、スライディングウィンドウＡ１１７８ａとスライディングウィンドウＢ１１７８ｂとは、同じまたは実質的に同じサイズのものでありうる（すなわち、固定されたウィンドウサイズ）。他の構成では、異なるウィンドウサイズが利用されうる。ジグザグパターンに加えてまたは代替として、スキャニングウィンドウは、スキャンラインパターンで適用されうる。
[0075]ここに開示されるシステムおよび方法の構成の中には、スキャニングステップを利用するものがありうる。例えば、画像の全ての可能なロケーションをスキャニングするのに計算上コストがかかり過ぎるとき、１つのアプローチは、あるフレーム中で画像ロケーションを（例えば、スキャンパスに沿って）スキップし、その後、スキップされたウィンドウを他のフレーム（例えば、後続のフレーム）中でスキャンすることである。異なるスキャニングパターンが適用されうる。図１１中のフレームＡ〜Ｄ１１８０ａ〜ｄの例では、幅寸法の２つのスキャニングステップ（例えば、ｘ寸法、Ｘステップ＝２）と高さ寸法の２つのスキャニングステップ（例えば、ｙ寸法、Ｙステップ＝２）が例示されている。各フレーム１１８０ａ〜ｄは、ピクセルのグループを含みうる。図１１中での例示の利便性のために、フレーム１１８０ａ〜ｄは、小さい画像（例えば、６×６のピクセル画像）またはより大きい画像の一部分（例えば、より大きな画像の６×６のピクセルセクション）を表しうる。
[0076]具体的には、スキャニングウィンドウピクセル１１８２は、各フレームＡ〜Ｄ１１８０ａ〜ｄ中に例示されている。各スキャニングウィンドウピクセル１１８２は、各スキャニングウィンドウの左上ピクセル（例えば、開始ロケーション）である。例えば、フレームＡ１１８０ａは、９つのスキャニングウィンドウピクセル１１８２を含み、ここで、スキャニングウィンドウピクセル１１８２の各々は、対応するスキャニングウィンドウの左上ピクセルである。それ故に、フレームＡ１１８０ａは、９つのスキャニングウィンドウを含む。各スキャニングウィンドウは、いくつかのピクセルをカバーしうる（例えば、１６×１６ピクセル、２４×２４ピクセル、等）。それ故に、スキャニングウィンドウは重複しうる。具体的には、例えば、スキャニングウィンドウは、スキャニングステップがウィンドウ幅以上でない限り重複する。
[0077]フレームＡ〜Ｄ１１８０ａ〜ｄの例では、画像のフルスキャン（例えば、全てのスキャニングウィンドウロケーション）は、４つのフレームを取る。例えば、スキャニングウィンドウピクセル１１８２に対応するスキャニングウィンドウは、各フレームにおいてスキャンされうる。特に、フレームＡ１１８０ａにおける（例えば、第１の時間におけるまたは第１のフレームにおける）スキャニングウィンドウ内のピクセルがスキャンされうる。その後、スキャニングウィンドウはシフトされえ、ここで、スキャニングウィンドウのピクセルは、後続のフレームのためにスキャンされる。例えば、フレームＢ１１８０ｂにおけるスキャニングウィンドウ中に含まれるピクセルがスキャンされえ、といった具合でありうる。いくつかの構成では、ウィンドウ（例えば、図１１中の４つのウィンドウ）の各グループは、ジグザグパターン、時計回りパターン、反時計回りパターンまたは別の順番（例えば、左上、右下、右上、左下、等）で進むフレームにわたってスキャンされうる。
[0078]いくつかの構成では、スキャニングステップは、スキップサイズ（例えば、スキップされるいくつかのウィンドウおよび／またはピクセル）として見られうる。例えば、第１の寸法の２つのスキャニングステップ（例えば、幅寸法、ｘ寸法、等）と第２の寸法の２つのスキャニングステップ（例えば、高さ寸法、ｙ寸法、等）とは、図１１中に例示されたようなフレームＡ〜Ｄ１１８０ａ〜ｄのスキャニングパターンをもたらしうる。例えば、可能なスキャニングウィンドウのうちの４分の１のみが、各フレーム中でスキャンされうる。
[0079]いくつかの構成では、可能なスキャニングウィンドウロケーション（例えば、開始ロケーション）は、ピクセルの全てより少ないピクセルに対応しうる。例えば、可能なスキャニングウィンドウロケーション（例えば、開始ロケーション）は、１ピクセルおき（例えば、ピクセルインデックス０、２、４、等における２ピクセルごと）、または（例えば、ピクセルインデックス０、３、６、等における）３ピクセルごとのようなそれ以下に対応しうる。上述されたように、スキャニングステップが、スキップされるいくつかのウィンドウとして見られうることに留意されたい。例えば、可能なスキャニングウィンドウロケーションが１ピクセルおきに対応する構成では（例えば、０、２、４、６、８、１０、等のピクセルインデックス）、２つのスキャニングステップは、第１のフレームについてはピクセルインデックス０、４、８、等、において、および第２のフレームについては２、６、１０、等において、スキャニングウィンドウの開始ピクセルをもたらしうる。
[0080]図１１のスキャニング技法は画像またはフレームの観点で説明されているが、同様のスキャニング技法が画像またはフレーム全体の１つまたは複数のサブセットに適用されうることに留意されたい。例えば、スライディングウィンドウスキャンおよび／またはスキャニングステップが、フレームまたは画像内の境界領域に適用されうる。
[0081]スキャニングが１つまたは複数の目標のために利用されうることに留意されたい。例えば、スキャニングは、オブジェクト検出および／またはオブジェクト認識において利用されうる。
[0082]図１２は、画像１２８４中のオブジェクト１２８８の例を例示する。オブジェクト追跡は、多くのアプリケーションにおいて有用でありうる。例えば、オブジェクト追跡は、先進運転支援システム（ＡＤＡＳ）におけるオブジェクト検出にとって有用でありうる。オブジェクト追跡は、交通標識（例えば、速度制限標識、一時停止標識、ストリート標識、等）を追跡するために利用されうる。図１２中に例示された例では、オブジェクト１２８８は、時速４５マイル（ｍｐｈ）の速度制限を示す交通標識（例えば、速度制限標識）である。１つまたは複数の動作を遂行する（例えば、車両の速度を調整する、運転手に警告する、アシスト停止を遂行する、等）ために交通標識（例えば、速度制限標識）を追跡することは有益でありうる。
[0083]しかしながら、オブジェクト追跡に伴っていくつかの問題が生じうる。オプティカルフローは、効率的なオブジェクトトラッカの一例である。オブジェクトトラッカの中には効率的なものもありうるが、それらは、失敗しかねない（例えば、追跡を失う）。境界領域１２８６（例えば、境界ボックス）ごとに、例えば、次のフレーム中での追跡のために特徴（例えば、スケール不変特徴変換（ＳＩＦＴ：scale-invariant feature transform）特徴、Ｈａｒｒｉｓ特徴、特定のコーナープロパティ（corner property）を有する特徴、等）が選択されうる。多くのケースでは、しかしながら、特徴は、背景から生じえ（例えば、非ターゲットオブジェクト）、それは、１つまたは複数の後続のフレーム中での追跡にダメージを与えかねない。例えば、境界領域１２８６（例えば、境界ボックス）は、オブジェクト１２８８を緊密に境界付けしないことがありうる。このケースでは、１つまたは複数の特徴が背景から選択され、それにより、後続のフレーム中での追跡にダメージを与えうる。
[0084]追跡を改善するための１つのアプローチは、境界領域１２８６から背景点（例えば、背景ピクセル）を取り除くことおよび／または背景点を除外するために境界領域１２８６をサイズ変更することを含みうる。それ故に、特徴（例えば、更新された特徴）は、よりターゲットオブジェクトに基づく可能性がありうる。これは、（例えば、オプティカルフローを使用する）ロバストな追跡を可能にしうる。ここに開示されるシステムおよび方法のいくつかの構成では、例えば、１つまたは複数の所定の交通標識モデルが、ＡＤＡＳにおけるオプティカルフロー追跡を改善するために利用されうる。
[0085]一般に、境界領域は、画像の１つまたは複数のピクセルを境界付ける閉じられた形状でありうる。境界領域は、形状が規則的または不規則でありうる。例えば、境界領域は、長方形、正方形、円形、楕円形、台形、多角形、閉曲線、等でありうる。境界領域は、サイズが異なりうる。いくつかの構成では、境界領域はまた、関心領域（ＲＯＩ）あるいは境界ボックスと呼ばれうる（例えば、長方形の境界領域について）。境界領域は、オブジェクトを完全に包含しうるか、オブジェクトを部分的に包含しうるか、またはオブジェクトを包含しないことがありうる。いくつかの構成では、境界領域は、オブジェクトの一部分と重複しうる。いくつかの構成では、境界領域は、任意の数の異なるオブジェクト（例えば、歩行者、譲れの標識（yield sign）、一時停止標識、等）に対して長方形でありえ、それらは、異なる所定のオブジェクトモデルを有しうる。
[0086]図１３は、オブジェクト追跡のためのシステムおよび方法がインプリメントされうる電子デバイス１３０２の一例を例示するブロック図である。電子デバイス１３０２の例は、カメラ、ビデオカムコーダ、デジタルカメラ、セルラ電話、スマートフォン、コンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータ、等）、タブレットデバイス、メディアプレーヤ、テレビ、自動車、パーソナルカメラ、アクションカメラ、監視カメラ、搭載カメラ、接続カメラ、ロボット、航空機、ドローン、無人航空機（ＵＡＶ）、ヘルスケア機器、ゲーミングコンソロール、携帯情報端末（ＰＤＡ）、セットトップボックス、等を含む。電子デバイス１３０２は、１つまたは複数のコンポーネントあるいは要素を含みうる。コンポーネントあるいは要素のうちの１つまたは複数は、ハードウェア（例えば、回路）もしくはハードウェアとソフトウェアとの組み合わせ（例えば、命令を用いるプロセッサ）でインプリメントされうる。
[0087]いくつかの構成では、電子デバイス１３０２は、プロセッサ１３０９、メモリ１３１５、ディスプレイ１３１７、画像センサ１３０１、光学系１３０３、および／または通信インターフェース１３０５を含みうる。プロセッサ１３０９は、メモリ１３１５、ディスプレイ１３１７、画像センサ１３０１、光学系１３０３、および／または通信インターフェース１３０５に結合されうる（例えば、電子通信中でありうる）。図１３中に例示された要素のうちの１つまたは複数はオプションでありうることに留意されたい。特に、電子デバイス１３０２は、いくつかの構成では図１３中に例示された要素のうちの１つまたは複数を含まないことがありうる。例えば、電子デバイス１３０２は、画像センサ１３０１および／または光学系１３０３を含みうるか、または含まないことがありうる。加えてまたは代替として、電子デバイス１３０２は、ディスプレイ１３１７を含みうるか、または含まないことがありうる。加えてまたは代替として、電子デバイス１３０２は、通信インターフェース１３０５を含みうるか、または含まないことがありうる。
[0088]通信インターフェース１３０５は、電子デバイス１３０２が１つまたは複数の他の電子デバイスと通信することを可能にしうる。例えば、通信インターフェース１３０５は、ワイヤードおよび／またはワイヤレス通信のためのインターフェースを提供しうる。いくつかの構成では、通信インターフェース１３０５は、無線周波数（ＲＦ）信号を送信および／または受信するための１つまたは複数のアンテナ１３０７に結合されうる。加えてまたは代替として、通信インターフェース１３０５は、１つまたは複数の種類のワイヤライン（例えば、ユニバーサルシリアルバス（ＵＳＢ）、イーサネット（登録商標）、等）通信を可能にしうる。
[0089]いくつかの構成では、複数の通信インターフェース１３０５がインプリメントおよび／または利用されうる。例えば、ある通信インターフェース１３０５は、セルラ（例えば、３Ｇ、ロングタームエボリューション（ＬＴＥ（登録商標））、ＣＤＭＡ、等）通信インターフェース１３０５であり、別の通信インターフェース１３０５は、イーサネットインターフェースであり、別の通信インターフェース１３０５は、ユニバーサルシリアルバス（ＵＳＢ）インターフェースであり、さらなる別の通信インターフェース１３０５は、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）インターフェース（例えば、米国電気電子学会（ＩＥＥＥ）８０２．１１インターフェース）でありうる。
[0090]いくつかの構成では、電子デバイス１３０２は、図１〜１２のうちの１つまたは複数に関連して説明された機能、プロシージャ、方法、ステップ、等のうちの１つまたは複数を遂行しうる。加えてまたは代替として、電子デバイス１３０２は、図１〜１２のうちの１つまたは複数に関連して説明された構造のうちの１つまたは複数を含みうる。いくつかの構成では、図１３に関連して説明されたオブジェクト追跡は、図１〜１２のうちの１つまたは複数に関連して説明された画像スキャニング、オブジェクト検出および／またはオブジェクト追跡アプローチのうちの１つまたは複数と併せてインプリメントされうる。図１３に関連して説明されたオブジェクト追跡は、図１〜１２のうちの１つまたは複数に関連して説明された画像スキャニングおよび／またはオブジェクト追跡へのアプローチのうちの１つまたは複数に加えて、またはそれらとは代替的にインプリメントされうる。例えば、図１３に関連して説明されるオブジェクトトラッカ１３１１は、オブジェクト追跡および検出モジュール１０４、２０４、８０４のうちの１つまたは複数に関連して説明された追跡に加えてまたはその代わりに、上述された電子デバイスのうちの１つまたは複数でインプリメントされうる。
[0091]電子デバイス１３０２は、１つまたは複数の画像（例えば、デジタル画像、画像フレーム、ビデオ、等）を取得しうる。１つまたは複数の画像（例えば、フレーム）は、あるシーンの画像でありうる（例えば、１つまたは複数のオブジェクトおよび／または背景）。例えば、電子デバイス１３０２は、画像センサ１３０１と、画像センサ１３０１上に光学系１３０３の視野内にロケートされているオブジェクトの画像を合焦させる光学系１３０３（例えば、レンズ）とを含みうる。いくつかの構成では、画像センサ１３０１は、１つまたは複数の画像をキャプチャしうる。光学系１３０３は、プロセッサ１３０９に結合されうるおよび／またはそれによって制御されうる。加えてまたは代替として、電子デバイス１３０２は、別のデバイス（例えば、電子デバイス１３０２に結合された外部画像センサ、ネットワークサーバ、交通カメラ、ドロップカメラ、車載カメラ、ウェブカメラ、等）からの１つまたは複数の画像を要求および／または受信しうる。いくつかの構成では、電子デバイス１３０２は、通信インターフェース１３０５を介して１つまたは複数の画像を要求および／または受信しうる。例えば、電子デバイス１３０２は、カメラ（例えば、画像センサ１３０１および／または光学系１３０３）を含みうるか、または含まないことがありえ、リモートデバイスから画像を受信しうる。１つまたは複数の画像フレーム１３９６は、メモリ１３１５中に記憶されうる。画像フレーム１３９６のうちの１つまたは複数は、オブジェクト（例えば、検出および／または追跡のためのターゲットオブジェクト）を含みうる。
[0092]メモリ１３１５は、命令および／またはデータを記憶しうる。プロセッサ１３０９は、メモリ１３１５にアクセスしうる（例えば、それから読み取るおよび／またはそれに書き込む）。メモリ１３１５によって記憶されうる命令および／またはデータの例は、画像データ（例えば、１つまたは複数の画像フレーム１３９６）、１つまたは複数の所定のオブジェクトモデル１３９４、特徴、特徴ベクトル、オブジェクト検出器の命令１３９０、オブジェクト認識器１３９２の命令、オブジェクトトラッカ１３１１の命令、境界領域有効性評価器１３１３の命令および／または他の要素用の命令（例えば、オブジェクトリムーバ（object remover）、クロッパ（cropper）、フォーカサ（focuser）、画像エンハンサ、コンプレッサ、等）、等を含みうる。いくつかの構成では、電子デバイス１３０２（例えば、メモリ１３１５）は、画像データバッファ（図示せず）を含みうる。画像データバッファは、画像センサ１３０１からの画像データ（例えば、画像フレーム（１つ以上）１３９６）をバッファ（例えば、記憶）しうる。バッファされた画像データは、プロセッサ１３０９に提供されうる。
[0093]所定のオブジェクトモデル１３９４は、事前学習済み（例えば、オフライン学習済み）オブジェクトモデルでありうる。言い換えれば、１つまたは複数のオブジェクト（例えば、速度制限標識、一時停止標識、等のような交通標識）についての所定の（例えば、オフライン学習済み）モデルが利用されうる。所定のオブジェクトモデル１３９４の各々は、オブジェクト認識器１３９２によって認識されうるオブジェクトを表しうる。例えば、所定のオブジェクトモデル１３９４は、交通標識、交通信号（例えば、信号機）、車両、防護柵、縁石標示、人々（例えば、歩行者）、ストリート標示、ストリート標識、車線マーカ、顔、手（例えば、ジェスチャ検出のため）、テキスト文字、ビルディング、木々、動物、および／または他のオブジェクトについてのオブジェクトモデルを含みうる。所定のオブジェクトモデル１３９４は、オブジェクト追跡（例えば、特定のオブジェクト追跡中のオプティカルフロー追跡）の正確性を改善しうる。いくつかの構成では、所定のオブジェクトモデル（１つ以上）１３９４（例えば、オフライン学習済みオブジェクトモデル（１つ以上））は、オブジェクト認識のためのディープラーニングに基づく１つまたは複数の分類子（classifiers）を含みうる。例えば、所定のオブジェクトモデル（１つ以上）１３９４は、ディープラーニングモデルを使用してオフライン学習されうる。いくつかの構成では、メモリ１３１５が所定のエラーモデルを記憶しうることに留意されたい。所定のエラーモデルは、どのオブジェクトも認識されないケースをモデリングしうる。
[0094]いくつかの構成では、所定のオブジェクトモデル（１つ以上）１３９４は、境界領域（例えば、境界ボックス）が有効であるか、または無効であるかを決定するために利用されうる。例えば、無効な境界領域は、オブジェクトを含まないおよび／または（例えば、オブジェクトに対して）大き過ぎる境界領域でありうる。加えてまたは代替として、所定のオブジェクトモデル（１つ以上）１３９４は、オブジェクト追跡において利用される更新された特徴のために境界領域を精緻化する（例えば、背景から点を取り除く）ために使用されうる。例えば、オブジェクト追跡（例えば、オブジェクトトラッカ１３１１および／またはオプティカルフロー）は、所定のオブジェクトモデル（１つ以上）１３９４に基づいて決定されるオブジェクトに対応する（且つ、例えば、背景に対応しない）特徴でのみ更新されうる。さらなる詳細が、以下に与えられる。
[0095]いくつかの構成では、電子デバイス１３０２は、カメラソフトウェアアプリケーションおよび／またはディスプレイ１３１７を含みうる。カメラアプリケーションが作動しているとき、光学系１３０３の視野内にロケートされているオブジェクトの画像は、画像センサ１３０１によってキャプチャされうる。画像センサによってキャプチャされている画像は、ディスプレイ１３１７上に提示されうる。いくつかの構成では、これらの画像は、任意の所与の時点において（at any given moment in time）、光学系１３０３の視野内にロケートされているオブジェクトがディスプレイ１３１７上に提示されるように、比較的高フレームレートで間断なく（in rapid succession）表示されうる。電子デバイス１３０２によって取得される１つまたは複数の画像フレーム１３９６は、１つまたは複数のビデオフレームおよび／または１つまたは複数の静止画像でありうる。
[0096]プロセッサ１３０９は、オブジェクト検出器１３９０、オブジェクト認識器１３９２、オブジェクトトラッカ１３１１、および／または境界領域有効性評価器１３１３を含みうるおよび／またはそれらをインプリメントしうる。いくつかの構成では、プロセッサ１３０９は、図２に関連して説明されたプロセッサ２６４の例でありうる。電子デバイス１３０２および／またはプロセッサ１３０９中に例示された要素のうちの１つまたは複数はオプションでありうることに留意されたい。例えば、プロセッサ１３０９中に例示された要素のうちの１つまたは複数は、含まれうるおよび／またはインプリメントされうる、あるいは含まれないことがありうるおよび／またはインプリメントされないことがありうる。加えてまたは代替として、プロセッサ１３０９中に例示された要素のうちの１つまたは複数は、プロセッサ１３０９とは別個にインプリメントされうる（例えば、他の回路中、別のプロセッサ上、別個の電子デバイス上、等）。例えば、オブジェクト検出器１３９０および／またはオブジェクト認識器１３９２は、電子デバイス１３０２上でインプリメントされないことがありうる。いくつかの構成では、電子デバイス１３０２は、別のデバイスからオブジェクト検出情報および／またはオブジェクト認識情報を受信しうる。
[0097]プロセッサ１３０９は、オブジェクト検出器１３９０を含みうるおよび／またはインプリメントしうる。いくつかの構成では、オブジェクト検出器１３９０は、図１〜２および８のうちの１つまたは複数に関連して説明されたオブジェクト検出器１０８、２０８、８０８のうちの１つまたは複数の例でありうる。オブジェクト検出器１３９０は、画像フレーム１３９６中で１つまたは複数のオブジェクトを検出しうる。例えば、オブジェクト検出器１３９０は、上述されたように画像フレーム１３９６中で１つまたは複数のオブジェクトを検出しうる。例えば、オブジェクト検出器１３９０は、任意のオブジェクト（例えば、ターゲットオブジェクト）が画像フレーム１３９６中に存在するかどうかを決定するために、画像フレーム１３９６の全てまたは一部をスキャンしうる。いくつかの構成では、検出器モデル（例えば、分類子）は、オフライン学習される。オブジェクト検出器１３９０は、画像全体（または画像のサブセット）上で１つまたは複数のウィンドウをスキャンし、各領域を検出器モデルと比較しうる。いくつかの構成では他のオブジェクト検出アプローチが利用されうることに留意されたい。検出アプローチの一例は、ツリーベースの検出器（例えば、ツリーベースのブースト検出器）である。ツリーベースの検出器は、いくつかの他の検出器と比較して、より良い効率性を提供しうる。オブジェクト検出器１３９０は、１つまたは複数の境界領域（例えば、検出された境界領域（１つ以上））を生じさせうる。例えば、オブジェクト検出器１３９０は、オブジェクト（例えば、ターゲットオブジェクト）を含む境界領域を生じさせうる。
[0098]いくつかの構成では、オブジェクト検出器１３９０は、初期画像フレーム１３９６上で動作しうる。例えば、オブジェクト検出器１３９０はまず、初期画像フレーム１３９６中でオブジェクトを検出しうる。オブジェクトトラッカ１３１１は、初期画像フレーム１３９６の後の１つまたは複数の画像フレーム１３９６上で動作しうる。いくつかの構成では、オブジェクトトラッカ１３１１は、追跡が失敗するまで（例えば、追跡が失われるまで）、（例えば、オブジェクト決定の後で）１つまたは複数の画像フレーム１３９６上で動作しうる。オブジェクト検出器１３９０は、追跡が失敗したときに動作しうる。いくつかの構成では、オブジェクト検出器１３９０は、追跡が失敗した画像フレーム１３９６の後の画像フレーム１３９６（例えば、次の画像フレーム１３９６）上で動作しうる。それ故に、オブジェクト検出器１３９０とオブジェクトトラッカ１３１１とは、異なるフレーム中でのみ境界領域を生じさせうる。他の構成では、オブジェクト検出器１３９０は、追跡が失敗した画像フレーム１３９６上で動作しうる。これらの構成では、オブジェクト検出器１３９０は、境界領域を追跡が失敗した画像フレーム１３９６中で生じさせうる（例えば、その中では、オブジェクトトラッカ１３１１によって生じさせられた境界領域は、オブジェクト検出器１３９０によって生じさせられた境界領域によって置き換えられうる）。
[0099]プロセッサ１３０９は、オブジェクト認識器１３９２を含みうるおよび／またはインプリメントしうる。オブジェクト認識器１３９２は、境界領域（例えば、検出された境界領域、追跡された境界領域および／または精緻化された境界領域）上でオブジェクト認識を遂行しうる。例えば、オブジェクト認識器１３９２は、１つまたは複数の所定のオブジェクトモデル１３９４を境界領域内の画像コンテンツと比較しうる。例えば、オブジェクト認識器１３９２は、検出された境界領域中で１つまたは複数のオブジェクトのオブジェクト認識を遂行しうる。例えば、オブジェクト認識器１３９２は、検出されたオブジェクトが速度制限標識、一時停止標識、ストリート標識、交通信号機、譲れの標識、駐車標識、歩行者、等かどうかを決定しうる。
[00100]オブジェクト認識器１３９２は、そのオブジェクトに対応する所定のオブジェクトモデル１３９４を取得しうる。検出された境界領域中でオブジェクト認識を遂行するとき、オブジェクト認識器１３９２は、複数の所定のオブジェクトモデル１３９４のうちの１つを検出された境界領域中のオブジェクトと一致させることを試みうる。例えば、境界領域中のオブジェクトは、所定のオブジェクトモデル１３９４のデータベースと比較されうる。境界領域中のオブジェクトがデータベース中の所定のオブジェクトモデル１３９４と一致する場合、そのオブジェクトは認識される。オブジェクト認識は、１つまたは複数の種類のオブジェクト（例えば、目、ビルディング、ストリート標識、人々、道路、テキスト、等）に対して遂行されうる。複数の所定のオブジェクトモデル１３９４のうちの少なくとも１つが（例えば、少なくともある認識信頼度レベルで）そのオブジェクトと一致する場合、オブジェクトは認識されうる（例えば、認識されたと見なされうる）。検出された境界領域中でオブジェクトが認識されないケースでは、オブジェクト検出器１３９０は、後の（例えば、次の）フレーム中でオブジェクト検出を遂行しうる。
[00101]検出された境界領域中でオブジェクトが認識されるケースでは、オブジェクト認識器１３９２は、そのオブジェクトに対応する所定のオブジェクトモデル１３９４を取得しうる。例えば、オブジェクト認識器１３９２は、複数の所定のオブジェクトモデル１３９４から（例えば、最も高い認識信頼度レベルで）所定のオブジェクトモデル１３９４を選択しうる。
[00102]オブジェクト認識器１３９２は、所定のオブジェクトモデル１３９４に基づいてオブジェクト認識をチェックしうる。例えば、オブジェクト認識器１３９２は、所定のオブジェクトモデル１３９４に基づいて画像コンテンツが認識されるかどうかを決定するために、追跡された境界領域の画像コンテンツ上でオブジェクト認識を遂行しうる。例えば、オブジェクト認識器１３９２は、画像コンテンツが前のフレームからの（選択された所定のオブジェクトモデル１３９４に対応する）同じ種類のオブジェクトとして依然として認識されるかどうかを検証しうる。所定のオブジェクトモデル１３９４は、（例えば、１つまたは複数の後続のフレーム中の）１つまたは複数の追跡された境界領域が有効かどうかを決定するために利用されうる。「追跡された境界領域」は、オブジェクト追跡（例えば、オブジェクトトラッカ１３１１）によって生じさせられる境界領域でありうることに留意されたい。さらに、「検出された境界領域」は、オブジェクト検出（例えば、オブジェクト検出器１３９０）によって生じさせられる境界領域でありうる。
[00103]プロセッサ１３０９は、オブジェクトトラッカ１３１１を含みうるおよび／またはインプリメントしうる。いくつかの構成では、オブジェクトトラッカ１３１１は、ここに説明された動きトラッカ１０６、２０６、８０６のうちの１つまたは複数の例でありうる。画像フレーム１３９６のうちの１つまたは複数は、オブジェクトトラッカ１３１１に提供されうる。オブジェクトトラッカ１３１１は、１つまたは複数の画像フレーム１３９６中で１つまたは複数のオブジェクトを追跡しうる。オブジェクトトラッカ１３１１の一例は、オプティカルフローである。
[00104]いくつかの構成では、オブジェクトトラッカ１３１１は、（画像フレーム１３９６の）現在のフレームの境界領域に基づいてオブジェクト追跡を遂行しうる。例えば、オブジェクトトラッカ１３１１は、１フレームごとに画像コンテンツ（例えば、オブジェクト）を追跡することを試みうる。オブジェクト追跡は、後続のフレーム中の画像コンテンツの推定されたロケーションを提供しうる。オブジェクトトラッカ１３１１は、オブジェクト追跡に基づいて（画像フレーム１３９６の）後続のフレームの境界領域（例えば、追跡された境界領域）を決定しうる。例えば、オブジェクトトラッカ１３１１は、追跡された画像コンテンツに対応する後続のフレームの境界領域を生成しうる。いくつかの構成では、オブジェクトトラッカ１３１１は、対応する後続のフレーム境界領域を決定するために、現在のフレーム境界領域から抽出される１つまたは複数の特徴（例えば、特徴ベクトル）を利用しうる。例えば、オブジェクトトラッカ１３１１は、境界領域（例えば、検出された境界領域、追跡された境界領域、精緻化された境界領域、等）に基づいて１つまたは複数の特徴を抽出しうる。オブジェクト追跡（例えば、オブジェクトトラッカ１３１１）は、１つまたは複数の特徴に基づいて更新されうる。オブジェクトトラッカ１３１１は、検出された境界領域（例えば、オブジェクト検出器１３９０によって生じさせられる境界領域）、追跡された境界領域（例えば、オブジェクトトラッカ１３１１によって生じさせられる境界領域）および／または精緻化された境界領域に基づいてオブジェクト追跡を遂行しうることに留意されたい。
[00105]プロセッサ１３０９は、境界領域有効性評価器１３１３を含みうるおよび／またはインプリメントしうる。境界領域有効性評価器１３１３は、所定のオブジェクトモデル１３９４に基づいて境界領域（例えば、追跡された境界領域）が有効であるかどうかを決定しうる。いくつかの構成では、境界領域は、所定のオブジェクトモデル１３９４が（例えば、少なくともある程度の確率で）境界領域内の画像コンテンツと一致する場合に有効であると見なされうる。一般に、無効な境界領域は、オブジェクトを含まない、オブジェクトを緊密に境界付けするには大き過ぎる、および／またはオブジェクトを十分に含まない、境界領域でありうる。いくつかの構成では、有効な境界領域は、少なくとも部分的に（例えば、最小量の）オブジェクトを含み、オブジェクトを緊密に境界付けする境界領域でありうる。例えば、有効な境界領域は、１つまたは複数の有効性基準を満たしうる。有効性基準の一例は、オブジェクト認識器１３９２が境界領域内で所定のオブジェクトモデル１３９４を用いてオブジェクトを認識するかどうかでありうる。例えば、所定のオブジェクトモデル１３９４は、検出された境界領域上でオブジェクト認識が遂行されるときに複数の所定のオブジェクトモデル１３９４から選択されうる。（選択された）所定のオブジェクトモデル１３９４に基づいて、追跡された境界領域中で同じオブジェクトが認識された場合、追跡された境界領域は有効でありうる。
[00106]いくつかの構成では、成功したオブジェクト認識は、認識信頼度レベルに基づきうる。例えば、オブジェクトは、オブジェクトが少なくとも特定の信頼度レベル（例えば、信頼度レベルしきい値）で認識された場合に、境界ボックス内で成功裏に認識されたと見なされうる。
[00107]加えてまたは代替では、境界領域有効性は、スケーリング、平行移動および／または回転の１つまたは複数の範囲（例えば、限定された範囲）に基づきうる。例えば、境界領域は、オブジェクトが境界領域に対する限定された量のスケーリング、平行移動、および／または回転内で（例えば、特定の信頼度レベルで）認識される場合に有効と見なされうる。例えば、境界領域は、オブジェクトが境界領域に対するスケールの範囲（例えば、サイズ）内で、境界領域内での平行移動の範囲内で、および／または境界領域に対する回転の範囲内で、境界領域中で成功裏に認識される場合に、有効であると見なされうる。有効性基準の他の例は、認識されたオブジェクトに対応するピクセル（例えば、前景ピクセル）とオブジェクトに対応しないピクセル（例えば、背景ピクセル）との比率、境界領域寸法に対するオブジェクト寸法（例えば、１つまたは複数のオブジェクト寸法が境界領域寸法（１つ以上）の範囲または比率内である場合）、境界領域およびオブジェクトのエッジ（１つ以上）間の距離、等を含みうる。
[00108]いくつかの構成では、境界領域が有効かどうかを決定するために所定の分類子が利用されうる。例えば、所定のオブジェクトモデル１３９４のうちの１つまたは複数は、所定の分類子を含みうる。所定の分類子は、オブジェクトに対応する特徴ベクトルをオブジェクトに対応しない特徴ベクトルから分ける決定境界でありうる。
[00109]境界領域が有効であるケースでは、オブジェクトトラッカ１３１１は、境界領域に基づいて後のフレーム（例えば、次のフレーム）のためにオブジェクトを追跡しうる。例えば、オブジェクトトラッカ１３１１は、境界領域に基づいて１つまたは複数の特徴を抽出しうる。オブジェクト追跡（例えば、オブジェクトトラッカ１３１１）は、１つまたは複数の特徴に基づいて更新されうる。その後、オブジェクトトラッカ１３１１は、１つまたは複数の特徴に基づいて後のフレーム中でオブジェクトを追跡しうる。
[00110]境界領域が無効であるケースでは、境界領域有効性評価器１３１３はオプションとして、境界領域（例えば、追跡された境界領域）を精緻化しうるか、またはオブジェクト検出器１３９０はオプションとして、（例えば、現在のフレーム中でまたは後続のフレーム中で）オブジェクト検出を遂行しうる。例えば、境界領域が大き過ぎる（例えば、境界領域は無効であるが、オブジェクトは境界領域内で認識されている）場合、境界領域有効性評価器１３１３は、境界領域を精緻化しうる。例えば、オブジェクト認識器１３９２は、オブジェクトが境界領域内にあるかどうかを決定するために、境界領域をスキャンしうる。境界領域は、オブジェクトが境界領域内にあり、境界領域が無効である（例えば、オブジェクトを緊密に境界付けするには大き過ぎる）場合に精緻化されうる。境界領域を精緻化することは、１つまたは複数の非オブジェクトピクセル（例えば、背景ピクセル）を除外するために（オブジェクトをより緊密に境界付けするために）境界領域をサイズ変更することおよび／または境界領域から１つまたは複数の非オブジェクトピクセル（例えば、背景ピクセル）を取り除くことを含みうる。境界領域が精緻化されるケースでは、オブジェクトトラッカ１３１１は、精緻化された境界領域に基づいてオブジェクトを追跡しうる（例えば、精緻化された境界領域に基づいて後続のフレームのために境界領域を生じさせうる）。境界領域が無効であり、オブジェクトが境界領域内で認識されない（例えば、少なくとも特定の信頼度レベルしきい値に対して認識されない）ケースでは、オブジェクト検出器１３９０は、（例えば、構成にしたがって現在のフレーム中でまたは後続のフレーム中で）オブジェクト検出を遂行しうる。
[00111]いくつかの構成では、電子デバイス１３０２は、オブジェクトに基づいて、支援された運転を遂行しうる。例えば、プロセッサ１３０９は、先進運転支援システム（ＡＤＡＳ）を含みうる（例えば、インプリメントしうる）か、またはそれと通信しうる。例えば、電子デバイス１３０２（例えば、ＡＤＡＳ）は、オブジェクトに基づいて、支援された運転を遂行しうる。電子デバイス１３０２は、オブジェクト（例えば、検出された、認識されたおよび／または追跡されたオブジェクト）に基づいて、１つまたは複数の動作を遂行しうる。動作の例は、インジケータ（例えば、速度制限、一時停止標識、歩行者警報、潜在的衝突警報、車線逸脱警報、ストリート名、住所、等）を表示することと、音（例えば、チャイム、アラーム、スピーチ、車両のホーンを鳴らすこと、等）を出力することと、車両速度を制御すること（例えば、掲示された速度制限で運転すること、衝突を避けるためにブレーキをかけること、等）と、車両ステアリングを制御すること（例えば、衝突を避けるために曲がること、縦列駐車、等）と、車両環境を制御すること（例えば、デフロスタまたはデフォッガを制御すること、等）と、車両ライトを制御すること（例えば、フォグライトをオンにすること、非常点滅表示灯を点けること、方向指示器を制御すること、等）とを含みうる。電子デバイス１３０２は、いくつかの構成では、自動車とは別個でありうるか、または自動車に組み込まれうることに留意されたい。
[00112]いくつかの構成では、プロセッサ１３０９は、１つまたは複数の要素を含みうるおよび／またはインプリメントしうる。例えば、プロセッサ１３０９は、オブジェクトリムーバ、画像エンハンサ、クロッパ、コンプレッサ、フォーカサ、等を含みうる。いくつかの構成では、オブジェクトリムーバは、オブジェクト追跡に基づいて画像からオブジェクトを取り除きうる。例えば、オブジェクトリムーバは、オブジェクトエリアを境界領域の外部のエリアからの画像パッチで塗りつぶすことによって、境界領域中に含まれるオブジェクトを取り除きうる。
[00113]いくつかの構成では、画像エンハンサは、オブジェクト追跡に基づいて画像の品質および／または特性を向上させうる。例えば、画像エンハンサは、カラー補正、カラー調整、ホワイトバランス、コントラスト強調、かすみ除去、赤目除去、シャープ調整、ノイズ除去、レンズ補正、フィルタリング、画像マージ、オブジェクトハイライト表示および／または画像歪み（例えば、ワーピング）を遂行しうる。画像を向上させることは、境界領域（１つ以上）のサブセットの内部および／または外部のピクセルを修正することを含みうる。
[00114]いくつかの構成では、クロッパは、オブジェクト追跡に基づいて画像を切り取りうる。例えば、クロッパは、境界領域（１つ以上）の外部のピクセルまたは余白を有する境界領域（１つ以上）の外部のピクセルを切り取りうる。
[00115]いくつかの構成では、コンプレッサは、オブジェクト追跡に基づいて画像を圧縮しうる。例えば、コンプレッサは、境界領域（１つ以上）の外部のピクセルまたは余白を有する境界領域（１つ以上）の外部のピクセルを圧縮しうる。これは、関心オブジェクトを含む１つまたは複数のエリア（例えば、関心領域）における画像の忠実度（fidelity）を維持することを可能にしつつ、画像のデータサイズを低減するために画像の残りの部分が圧縮されることを可能にしうる。
[00116]いくつかの構成では、フォーカサは、オブジェクト追跡に基づいて光学系１３０３を合焦させうる。例えば、フォーカサは、光学系１３０３を合焦させるための基準として１つまたは複数の関心領域内の画像を利用しうる。これは、１つまたは複数の境界領域内の１つまたは複数のオブジェクトが合焦状態となることを可能にしうる。
[00117]いくつかの構成では、電子デバイス１３０２は、ディスプレイ１３１７上にユーザインターフェース１３１９を提示しうる。例えば、ユーザインターフェース１３１９は、ユーザが電子デバイス１３０２とインタラクトすることを可能にしうる。いくつかの構成では、ディスプレイ１３１７は、（例えば、指、タッチペンまたは他のツールによる）物理的接触からの入力を受け取るタッチスクリーンでありうる。加えてまたは代替として、電子デバイス１３０２は、別の入力インターフェースを含みうるか、またはそれに結合されうる。例えば、電子デバイス１３０２は、ユーザ向きカメラを含み、ユーザのジェスチャ（例えば、手のジェスチャ、腕のジェスチャ、視線追跡、瞼の瞬き、等）を検出しうる。別の例では、電子デバイス１３０２は、マウスに結合され、マウスクリックを検出しうる。
[00118]いくつかの構成ではどんなユーザ入力も必要ないことがありうることに留意されたい。例えば、電子デバイス１３０２は、１つまたは複数の画像フレーム１３９６中で１つまたは複数のオブジェクトを自動的に検出および／または追跡しうる。
[00119]図１４は、オブジェクト追跡のための方法１４００の一構成を例示するフロー図である。方法１４００は、例えば、ここに説明された電子デバイス１０２、１３０２のうちの１つまたは複数によって遂行されうる。上述されたように、電子デバイス１３０２は、あるシーンの１つまたは複数の画像（例えば、１つまたは複数のフレーム）を取得しうる。
[00120]電子デバイス１３０２は、現在のフレームの境界領域に基づいてオブジェクト追跡を遂行しうる１４０２。例えば、電子デバイス１３０２は、境界領域の画像コンテンツ中で１つまたは複数のオブジェクトを追跡しうる。電子デバイス１３０２は、オブジェクト追跡に基づいて後続のフレームの境界領域を決定しうる。これは、例えば、図１〜１３のうちの１つまたは複数に関連して説明されたように達成されうる。「後続の」フレームは、現在のフレームより後である任意のフレームでありうることに留意されたい。例えば、後続のフレームは、一連のフレーム中の次のフレームでありうるか、または次のフレームより後のフレームでありうる。
[00121]電子デバイス１３０２は、境界領域（例えば、後続のフレームの境界領域）が有効であるかどうかを決定しうる１４０４。これは、例えば、図１３に関連して説明されたように達成されうる。例えば、電子デバイス１３０２は、オブジェクトが境界領域中に含まれているかどうかを決定しうる（例えば、境界領域内でのオブジェクト認識をチェックしうる）および／または境界領域がオブジェクトを緊密に境界付けしているかどうかを決定しうる。
[00122]境界領域が有効である場合、電子デバイス１３０２は、後のフレームのために（例えば、次のフレームのために）オブジェクト追跡を遂行すること１４０２に戻りうる。例えば、電子デバイス１３０２は、境界領域に基づく特徴でオブジェクト追跡（例えば、オブジェクトトラッカ１３１１）を更新し、後のフレームのためにオブジェクトを追跡しうる。
[00123]境界領域が無効である場合、電子デバイス１３０２は、境界領域を精緻化しうるか、またはオブジェクト検出を遂行しうる１４０６。これは、図１３に関連して説明されたように達成されうる。例えば、オブジェクトが境界領域内で認識されるが、境界領域がオブジェクトを緊密に境界付けしない場合（例えば、境界領域が大き過ぎる）、電子デバイス１３０２は、境界領域を精緻化しうる１４０６。例えば、電子デバイス１３０２は、１つまたは複数の非オブジェクト（例えば、背景）ピクセルを除外するために境界領域をサイズ変更しうるおよび／または１つまたは複数の非オブジェクトピクセルを取り除きうる。電子デバイス１３０２はその後、後のフレームの境界領域を決定するために、精緻化された境界領域に基づいてオブジェクト追跡を遂行すること１４０２に戻りうる。
[00124]オブジェクトが境界領域内で認識されない場合、電子デバイス１３０２は、オブジェクト検出を遂行しうる。例えば、電子デバイス１３０２は、後のフレーム上でオブジェクト検出を遂行することを進めうる。
[00125]図１５は、オブジェクト追跡のための方法１５００のより具体的な構成の例を例示するフロー図である。方法１５００は、例えば、ここに説明された電子デバイス１０２、１３０２のうちの１つまたは複数によって遂行されうる。
[00126]電子デバイス１３０２は、検出された境界領域を生じさせるために、１つまたは複数のオブジェクトのオブジェクト検出を遂行しうる１５０２。これは、図１〜４、６〜８、１０〜１１および１３〜１４のうちの１つまたは複数に関連して説明されたように達成されうる。例えば、電子デバイス１３０２は、現在のフレーム中でオブジェクト検出を遂行しうる。オブジェクト検出を遂行することは、オブジェクトが検出された場合に境界領域を生じさせうる。
[00127]電子デバイス１３０２は、検出された境界領域中で（例えば、１つまたは複数のオブジェクトの）オブジェクト認識を遂行しうる１５０４。これは、図１、１１および１３〜１４のうちの１つまたは複数に関連して説明されたように達成されうる。例えば、電子デバイス１３０２は、検出された境界領域を１つまたは複数の所定のオブジェクトモデル１３９４と比較しうる。
[00128]電子デバイス１３０２は、１つまたは複数のオブジェクトが認識されるかどうかを決定しうる１５０６。これは、図１３に関連して上述されたように達成されうる。例えば、電子デバイス１３０２は、検出された境界領域内の画像コンテンツが１つまたは複数の所定のオブジェクトモデル１３９４のうちの少なくとも１つと一致するかどうかを決定しうる。例えば、電子デバイス１３０２は、検出された境界領域内の画像コンテンツが（例えば、少なくとも認識信頼度レベルしきい値に対する）特定の認識信頼度レベルで所定のオブジェクトモデル１３９４と一致するかどうかを決定しうる。オブジェクトが認識されない場合、電子デバイス１３０２は、後の（例えば、次の）フレームのためにオブジェクトを検出すること１５０２に戻りうる。
[00129]オブジェクトが認識された場合、電子デバイス１３０２は、１つまたは複数のオブジェクトに（例えば、認識されたオブジェクトに）対応する１つまたは複数の所定のオブジェクトモデル１３９４を取得しうる１５０８。例えば、電子デバイス１３０２は、オブジェクト認識においてオブジェクトと一致した所定のオブジェクトモデル１３９４を（例えば、複数の所定のオブジェクトモデル１３９４から）選択しうる。いくつかの構成では、電子デバイス１３０２は、最高の認識信頼度レベルで所定のオブジェクトモデル１３９４を選択しうる。
[00130]電子デバイス１３０２は、境界領域に基づいて１つまたは複数の特徴を抽出しうる１５１０。これは、図１２〜１３のうちの１つまたは複数に関連して説明されたように達成されうる。例えば、電子デバイス１３０２は、境界領域内の画像コンテンツから１つまたは複数の特徴を抽出しうる１５１０。例えば、電子デバイス１３０２は、現在のフレームの境界領域内の画像コンテンツから１つまたは複数の特徴（例えば、ＳＩＦＴ特徴、Ｈａｒｒｉｓ特徴、コーナー特徴、特徴ベクトル、等）を決定しうる。
[00131]電子デバイス１３０２は、境界領域に基づいてオブジェクト追跡を遂行しうる１５１２。例えば、電子デバイス１３０２は、境界領域中で１つまたは複数のオブジェクトのオブジェクト追跡を遂行しうる１５１２。電子デバイス１３０２は、オブジェクト追跡に基づいて後続のフレームの境界領域を決定しうる。これは、図１〜１４のうちの１つまたは複数に関連して説明されたように達成されうる。例えば、電子デバイス１３０２は、後続のフレームの境界領域を決定するために、現在のフレームの境界領域（例えば、境界領域内の画像コンテンツ）に基づいてオブジェクト追跡（例えば、オプティカルフロー追跡）を遂行しうる１５１２。いくつかの構成では、オブジェクト追跡（例えば、オブジェクトトラッカ１３１１）は、オブジェクト追跡を遂行する１５１２ために、抽出された特徴で更新されうる。
[00132]オブジェクト追跡を遂行する１５１２ために使用される境界領域は、当初の境界領域または精緻化された境界領域でありうることに留意されたい。例えば、境界領域は、境界領域がオブジェクト検出１５０２から生じさせられるケースでは、または境界領域が（先のフレームからの）オブジェクト追跡１５１２から生じさせられ、有効であると決定される１５１６ケースでは、当初の境界領域でありうる。別の例では、境界領域は、境界領域が（先のフレームからの）オブジェクト追跡１５１２から生じさせられ、境界領域が無効であると決定される１５１６が、オブジェクトを包含していると決定される１５１８ケースでは、精緻化された境界領域でありうる。
[00133]電子デバイス１３０２は、所定のオブジェクトモデル（１つ以上）１３９４に基づいて境界領域中でオブジェクト認識をチェックしうる１５１４。これは、図１３に関連して説明されたように達成されうる。例えば、電子デバイス１３０２は、所定のオブジェクトモデル１３９４に基づいて後続のフレームの境界領域中でオブジェクト認識をチェックしうる１５１４。オブジェクト認識をチェックすること１５１４は、所定のオブジェクトモデル１３９４に基づいてオブジェクトを認識することを含みうる。例えば、電子デバイス１３０２は、後続のフレームの境界領域中で所定のオブジェクトモデル１３９４に対応するオブジェクトを認識することを試みうる。オブジェクト認識をチェックすること１５１４は、オブジェクトが認識される確率または信頼度レベルを生じさせうる。
[00134]いくつかの構成では、後続のフレームの境界領域（例えば、追跡された境界領域）中でオブジェクト認識をチェックすること１５１４は、検出された境界領域中でオブジェクト認識を遂行すること１５０４とは異なって達成されうることに留意されたい。例えば、検出された境界領域中でオブジェクト認識を遂行すること１５０４は、複数の所定のオブジェクトモデル１３９４からオブジェクトを認識することを試みることを含みうる。例えば、検出された境界領域中でオブジェクト認識を遂行すること１５０４は、オブジェクトを識別する（例えば、オブジェクトのタイプを決定する）ために、複数の所定のオブジェクトモデル１３９４を検出されたオブジェクトと比較することを含みうる。具体的には、オブジェクト認識を遂行すること１５０４は、複数の所定のオブジェクトモデル１３９４（存在する場合には）のうちのどれが検出されたオブジェクトと一致するかを示しうる。いくつかの構成では、所定のオブジェクトモデル１３９４に基づいて（後続のフレームの）境界領域中でオブジェクト認識をチェックすること１５１４は、１つの所定のオブジェクトモデル１３９４のみを追跡された境界領域（例えば、追跡された境界領域内の画像コンテンツ）と比較しうる。それ故に、例えば、追跡された境界領域中でオブジェクト認識をチェックすること１５１４は、取得された１５０８所定のオブジェクトモデル１３９４が追跡された境界領域（例えば、追跡された境界領域内の画像コンテンツ）と一致するかどうかを示しうるのに対して、検出された境界領域中でオブジェクト認識を遂行すること１５０４は、複数の所定のオブジェクトモデル１３９４のうちのどれが検出された境界領域（例えば、検出された境界領域内の画像コンテンツ）と一致するかを示しうる。例えば、オブジェクト認識（例えば、単一の所定のオブジェクトモデル１３９４のみを使用するオブジェクト認識）をチェックすること１５１４は、複数の所定のオブジェクトモデル１３９４を用いるオブジェクト認識より効率的でありうる。
[00135]他の構成では、後続のフレームの追跡された境界領域中でオブジェクト認識をチェックすること１５１４は、検出された境界領域中でオブジェクト認識を遂行すること１５０４と同様に達成されうる。例えば、追跡された境界領域中でオブジェクト認識をチェックすること１５１４が、検出された境界領域中でオブジェクト認識を遂行すること１５０４と同じオブジェクト認識結果（例えば、同じ一致する所定のオブジェクトモデル１３９４）をもたらす場合、追跡された境界領域は、有効であると見なされうる。
[00136]電子デバイス１３０２は、境界領域（例えば、後続のフレームの境界領域）が有効であるかどうかを決定しうる１５１６。これは、例えば、図１３〜１４のうちの１つまたは複数に関連して説明されたように達成されうる。例えば、電子デバイス１３０２は、オブジェクトが境界領域中に含まれているかどうか、および境界領域がオブジェクトを緊密に境界付けしているかどうかを決定しうる。いくつかの構成では、境界領域は、後続のフレームの境界領域（例えば、追跡された境界領域）中でオブジェクト認識をチェックすること１５１４が（スケーリング、平行移動および／または回転の１つまたは複数の範囲内で）成功した場合に有効でありうる。例えば、ほぼ境界領域（例えば、追跡された境界領域）のスケール、ロケーションおよび／または回転で、オブジェクト認識をチェックすること１５１４が成功した場合、境界領域は、有効でありうる。境界領域が有効である場合、電子デバイス１３０２は、後のフレームのために（例えば、追跡された境界領域に基づいて次のフレームのために）オブジェクト追跡を抽出すること１５１０に戻りうる。
[00137]境界領域が無効である場合、電子デバイス１３０２は、１つまたは複数のオブジェクトが境界領域（例えば、後続のフレームの追跡された境界領域）内にあるかどうかを決定しうる１５１８。これは、図１３〜１４のうちの１つまたは複数に関連して上述されたように達成されうる。例えば、電子デバイス１３０２は、境界領域内で異なるスケール、平行移動および／または回転でオブジェクトを認識することを試みるにあたり、追跡された境界領域をスキャンしうる。いくつかの構成では、オブジェクトは、オブジェクトが（スケール、平行移動および／または回転（それらのうちの１つまたは複数は、境界領域有効性を決定する１５１６ための１つまたは複数の範囲より多くの変動（variation）を可能にしうる）の範囲内で）成功裏に認識される場合に境界領域内にありうる。
[00138]１つまたは複数のオブジェクトは、そのオブジェクト（１つ以上）が成功裏に認識されない場合には境界領域内にないことがありうる。オブジェクトのうちの１つまたは複数が境界領域内にない場合、電子デバイス１３０２は、後のフレーム中でオブジェクトを検出すること１５０２に戻りうる。
[00139]１つまたは複数のオブジェクトが境界領域内にある場合、電子デバイス１３０２はオプションとして、境界領域を精緻化しうる１５２０。これは、図１３〜１４のうちの１つまたは複数に関連して説明されたように達成されうる。例えば、オブジェクトが境界領域内で認識されるが、境界領域がオブジェクトを緊密に境界付けしない場合（例えば、境界領域が大き過ぎる）、電子デバイス１３０２は、境界領域を精緻化しうる１５２０。例えば、電子デバイス１３０２は、１つまたは複数の非オブジェクト（例えば、背景）ピクセルを除外するために境界領域をサイズ変更しうるおよび／または１つまたは複数の非オブジェクトピクセルを取り除きうる。電子デバイス１３０２はその後、後のフレームの境界領域を決定するために、精緻化された境界領域に基づいて特徴を抽出すること１５１０に戻りうる。
[00140]オブジェクトを含み、オブジェクトを緊密に境界付けする境界領域は（例えば、場合によっては（as may be the case）、その境界領域は、検出された境界領域であるか、有効な境界領域であるか、または精緻化された境界領域である）、オブジェクトに対応する特徴を提供しうる。例えば、これは、非ターゲットオブジェクトまたは背景に対応する特徴を抽出することを避けうる。そして（In turn）、対応するオブジェクト特徴は、トラッカの性能を改善しうる。例えば、抽出された１５１０特徴は、オブジェクト追跡性能を改善するために（例えば、後続のフレーム中での追跡中におけるオブジェクトの損失を避けるために）ターゲットオブジェクトをより良く表しうる。
[00141]図１６は、オブジェクト追跡のためのシステムおよび方法がインプリメントされうる電子デバイスの例１６０２ａ〜ｃを例示する。例Ａ１６０２ａは、ワイヤレス通信デバイス（例えば、スマートフォン、タブレットデバイス、等）である。例Ｂ１６０２ｂは、自動車である。例Ｃは、無人航空機（例えば、ＵＡＶ、ドローン、等）である。
[00142]ここに説明された電子デバイス１０２、１３０２、１７０２のうちの１つまたは複数は、例Ａ１６０２ａ、例Ｂ１６０２ｂおよび／または例Ｃ１６０２ｃとしてインプリメントされうる（またはそれら内に含まれうる）。加えてまたは代替として、ここに説明された方法３００、４００、５００、６００、１０００、１４００、１５００のうちの１つまたは複数、動作、プロシージャ、機能および／またはステップは、例Ａ１６０２ａ、例Ｂ１６０２ｂおよび／または例Ｃ１６０２ｃのうちの１つまたは複数によって遂行されうる。加えてまたは代替として、ここに説明されたコンポーネントおよび／または要素のうちの１つまたは複数は、例Ａ１６０２ａ、例Ｂ１６０２ｂおよび／または例Ｃ１６０２ｃのうちの１つまたは複数でインプリメントされうる。
[00143]例えば、例Ａ１６０２ａ（例えば、スマートフォン）は、上述された動作（例えば、オブジェクトを検出する、オブジェクトを認識する、オブジェクトを追跡する、境界領域が有効かどうかを決定する、等）のうちの１つまたは複数を遂行しうる。別の例では、例Ｂ１６０２ｂ（自動車）は、追跡された交通標識、交通信号および／または他のオブジェクト（例えば、歩行者）に基づいて、自動車の速度、ステアリング、駐車、等を制限するＡＤＡＳを含みうる。別の例では、例Ｃ１６０２ｃ（ＵＡＶ）は、人が追跡されているときにビデオを録画しうる、追跡されたオブジェクト（例えば、ビルディング、標識、人々、荷物、等）に基づいてナビゲートしうる、追跡された荷物を受け取りうるおよび／または配達しうる、等を行いうる。多くの他の例は、ここに開示されたシステムおよび方法にしたがってインプリメントされうる。例えば、ここに開示されたシステムおよび方法は、１つまたは複数の追跡されたオブジェクトに基づいて１つまたは複数のアクション（例えば、何かを取ってくる、何かを集める、アイテムを探す、等）を遂行するロボットでインプリメントされることができる。
[00144]図１７は、電子デバイス１７０２内に含まれうるある特定のコンポーネントを例示する。電子デバイス１７０２は、カメラ、ビデオカムコーダ、デジタルカメラ、セルラ電話、スマートフォン、コンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータ、等）、タブレットデバイス、メディアプレーヤ、テレビ、自動車、パーソナルカメラ、アクションカメラ、監視カメラ、搭載カメラ、接続カメラ、ロボット、航空機、ドローン、無人航空機（ＵＡＶ）、ヘルスケア機器、ゲーミングコンソロール、携帯情報端末（ＰＤＡ）、セットトップボックス、等でありうる（またはそれら内に含まれうる）。電子デバイス１７０２は、プロセッサ１７３５を含む。プロセッサ１７３５は、汎用シングルまたはマルチチップマイクロプロセッサ（例えば、ＡＲＭ）、専用マイクロプロセッサ（例えば、デジタルシグナルプロセッサ（ＤＳＰ））、マイクロコントローラ、プログラマブルゲートアレイ、等でありうる。プロセッサ１７３５は、中央処理ユニット（ＣＰＵ）と呼ばれうる。電子デバイス１７０２中には単一のプロセッサ１７３５のみが示されているが、代替の構成では、プロセッサの組み合わせ（例えば、ＡＲＭとＤＳＰ）が使用されることができる。
[00145]電子デバイス１７０２はまた、メモリ１７３９を含む。メモリ１７３９は、電子情報を記憶することが可能な任意の電子コンポーネントでありうる。メモリ１７３９は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、磁気ディスク記憶媒体、光記憶媒体、ＲＡＭ中のフラッシュメモリデバイス、プロセッサとともに含まれるオンボードメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、およびそれらの組み合わせを含むその他のものなどとして具現化されうる。
[00146]データ１７２１ａおよび命令１７４１ａは、メモリ１７３９中に記憶されうる。命令１７４１ａは、ここに説明された方法のうちの１つまたは複数をインプリメントするためにプロセッサ１７３５によって実行可能でありうる。命令１７４１ａを実行することは、メモリ１７３９中に記憶されたデータ１７２１ａの使用を伴いうる。プロセッサ１７３５が命令１７４１を実行すると、命令１７４１ｂの様々な一部分がプロセッサ１７３５上にロードされ、データ１７２１ｂの様々な一片がプロセッサ１７３５上にロードされうる。
[00147]電子デバイス１７０２はまた、電子デバイス１７０２への信号の送信と、電子デバイス１７０２からの信号の受信を可能にするために、送信機１７２５および受信機１７２７を含みうる。送信機１７２５および受信機１７２７は、一括してトランシーバ１７２９と呼ばれうる。１つまたは複数のアンテナ１７３７ａ〜ｂは、トランシーバ１７２９に電気的に結合されうる。電子デバイス１７０２はまた、複数の送信機、複数の受信機、複数のトランシーバおよび／または追加のアンテナを含みうる（図示せず）。
[00148]電子デバイス１７０２は、デジタルシグナルプロセッサ（ＤＳＰ）１７３１を含みうる。電子デバイス１７０２はまた、通信インターフェース１７３３を含みうる。通信インターフェース１７３３は、１つまたは複数の種類の入力および／または出力を可能にしうる。例えば、通信インターフェース１７３３は、他のデバイスを電子デバイス１７０２にリンク付けするための１つまたは複数ポートおよび／または通信デバイスを含みうる。加えてまたは代替として、通信インターフェース１７３３は、１つまたは複数の他のインターフェース（例えば、タッチスクリーン、キーパッド、キーボード、マイクロフォン、カメラ、等）を含みうる。例えば、通信インターフェース１７３３は、ユーザが電子デバイス１７０２とインタラクトすることを可能にしうる。
[00149]電子デバイス１７０２の様々なコンポーネントは、１つまたは複数のバスによってともに結合されえ、それは、電力バス、制御信号バス、状態信号バス、データバス、等を含みうる。明確さのために、様々なバスがバスシステム１７２３として図１７中に例示されている。
[00150]本開示にしたがって、電子デバイス中の回路は、第２のフレームの第２の境界領域を決定するために、第１のフレームの第１の境界領域に基づいてオブジェクト追跡を遂行するように適合されえ、ここで、第２のフレームは、第１のフレームに後続する。同じ回路、異なる回路、あるいは同じまたは異なる回路の第２のセクションは、所定のオブジェクトモデルに基づいて第２の境界領域が有効かどうかを決定するように適合されうる。加えて、同じ回路、異なる回路、あるいは同じまたは異なる回路の第３のセクションは、上述された機能を提供する回路（１つ以上）または回路（１つ以上）のセクション（１つ以上）の構成を制御するように適合されうる。
[00151]「決定すること」という用語は、幅広い多様なアクションを包含し、したがって、「決定すること」は、算出すること、計算すること、処理すること、導出すること、調査すること、ルックアップすること（例えば、表、データベースまたは別のデータ構造でルックアップすること）、確定すること、等を含むことができる。また、「決定すること」は、受信すること（例えば、情報を受信すること）、アクセスすること（例えば、メモリ中のデータにアクセスすること）、等を含むことができる。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立すること、等を含むことができる。
[00152]「〜に基づいて」というフレーズは、そうではないと明確に指定されていない限り、「〜のみに基づいて」を意味しない。言い換えれば、「〜に基づいて」というフレーズは、「〜のみに基づいて」と「少なくとも〜に基づいて」との両方を説明する。
[00153]「プロセッサ」という用語は、汎用プロセッサ、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、ステートマシン、等を包含するように広く解釈されるべきである。いくつかの状況下では、「プロセッサ」は、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、等を指しうる。「プロセッサ」という用語は、処理デバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携した１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成を指しうる。
[00154]「メモリ」という用語は、電子情報を記憶することが可能な任意の電子コンポーネントを包含するように広く解釈されるべきである。メモリという用語は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブル読取専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光データ記憶装置、レジスタ、等のような様々なタイプのプロセッサ可読媒体を指しうる。メモリは、プロセッサがそのメモリから情報を読み取ることができるおよび／またはそれに情報を書き込むことができる場合に、そのプロセッサと電子通信中であると言える。プロセッサと一体化されたメモリは、プロセッサと電子通信中である。
[00155]「命令」および「コード」という用語は、任意のタイプのコンピュータ可読ステートメント（１つ以上）を含むように広く解釈されるべきである。例えば、「命令」および「コード」という用語は、１つまたは複数のプログラム、ルーチン、サブルーチン、関数、プロシージャ、等を指しうる。「命令」および「コード」は、単一のコンピュータ可読ステートメントまたは多くのコンピュータ可読ステートメントを備えうる。
[00156]ここに説明された機能は、ハードウェアによって実行されるソフトウェアまたはファームウェアでインプリメントされうる。これらの機能は、コンピュータ可読媒体上に１つまたは複数の命令として記憶されうる。「コンピュータ可読媒体」または「コンピュータプログラム製品」という用語は、コンピュータまたはプロセッサによってアクセスされることができる任意の有形記憶媒体を指す。限定ではなく例として、コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいはデータ構造もしくは命令の形式で所望のプログラムコードを記憶または搬送するために使用されることができ、コンピュータによってアクセスされることができる任意の他の媒体を備えうる。ディスク（disk）およびディスク（disc）は、ここに使用される場合、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ここで、ディスク（disk）は通常、磁気的にデータを再生するが、その一方でディスク（disc）は、レーザーを用いて光学的にデータを再生する。コンピュータ可読媒体が、有形および非一時的でありうることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行、処理、または計算されうるコードまたは命令（例えば、「プログラム」）と組み合わせられたコンピューティングデバイスまたはプロセッサを指す。ここに使用される場合、「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能であるソフトウェア、命令、コードまたはデータを指しうる。
[00157]ソフトウェアあるいは命令はまた、送信媒体を通して送信されうる。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波のようなワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波のようなワイヤレス技術は、送信媒体の定義中に含まれる。
[00158]ここに開示された方法は、説明された方法を達成するための１つまたは複数のステップあるいはアクションを備える。方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなしに互いに置き換えられうる。言い換えれば、ステップまたはアクションの特定の順序が、説明されている方法の適正な動作のために必要とされない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲から逸脱することなしに修正されうる。
[00159]さらに、ここに説明された方法および技法を遂行するためのモジュールおよび／または他の適切な手段は、デバイスによってダウンロードされることができる、および／または、そうでない場合はデバイスによって取得されることができることが認識されるべきである。例えば、デバイスは、ここに説明された方法を遂行するための手段の転送を容易にするためにサーバに結合されうる。代替として、ここに説明された様々な方法は、記憶手段（例えば、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、コンパクトディスク（ＣＤ）またはフロッピーディスクのような物理的記憶媒体、等）を介して提供されることができ、それによって、デバイスは、デバイスに記憶手段を結合または提供した際に様々な方法を取得しうる。
[00160]特許請求の範囲は、上記に例示されたまさにその構成およびコンポーネントに限定されないことが理解されるべきである。さまざまな修正、変更、および変形が、特許請求の範囲から逸脱することなしに、ここに説明されたシステム、方法、および装置の配置、動作および詳細において行われうる。
[00160]特許請求の範囲は、上記に例示されたまさにその構成およびコンポーネントに限定されないことが理解されるべきである。さまざまな修正、変更、および変形が、特許請求の範囲から逸脱することなしに、ここに説明されたシステム、方法、および装置の配置、動作および詳細において行われうる。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
電子デバイスによって遂行される方法であって、
シーンの第１のフレームを取得することと、
前記第１のフレームの第１の境界領域内で少なくとも１つのオブジェクトのオブジェクト認識を遂行することと、
前記第１のフレームの前記第１の境界領域内で前記少なくとも１つのオブジェクトのオブジェクト追跡を遂行することと、
前記オブジェクト追跡に基づいて第２のフレームの第２の境界領域を決定することと、ここにおいて、前記第２のフレームは、前記第１のフレームに後続する、
所定のオブジェクトモデルに基づいて前記第２の境界領域が有効かどうかを決定することと
を備える、方法。
［Ｃ２］
前記少なくとも１つのオブジェクトのオブジェクト検出を遂行することをさらに備える、Ｃ１に記載の方法。
［Ｃ３］
前記オブジェクトに対応する前記所定のオブジェクトモデルを取得することをさらに備える、Ｃ２に記載の方法。
［Ｃ４］
前記第１の境界領域に基づいて１つまたは複数の特徴を抽出することと、
前記１つまたは複数の特徴に基づいてオブジェクト追跡を更新することと
をさらに備える、Ｃ１に記載の方法。
［Ｃ５］
前記第２の境界領域が無効である場合に、前記オブジェクトが前記第２の境界領域内にあるかどうかを決定することと、
前記オブジェクトが前記第２の境界領域内にある場合に、前記第２の境界領域を精緻化することと
をさらに備える、Ｃ１に記載の方法。
［Ｃ６］
前記第２の境界領域を精緻化することは、前記オブジェクトに対応しない１つまたは複数のピクセルを除外するために前記第２の境界領域をサイズ変更することを備える、Ｃ５に記載の方法。
［Ｃ７］
前記オブジェクトが前記第２の境界領域内にない場合に、前記第２のフレームの後の第３のフレーム中で前記オブジェクトを検出することをさらに備える、Ｃ１に記載の方法。
［Ｃ８］
前記オブジェクトに基づいて、支援された運転を遂行することをさらに備える、Ｃ１に記載の方法。
［Ｃ９］
前記オブジェクトに対応する前記所定のオブジェクトモデルを取得することをさらに備え、前記所定のオブジェクトモデルを取得することは、複数の所定のオブジェクトモデルから前記所定のオブジェクトモデルを選択することを備える、Ｃ１に記載の方法。
［Ｃ１０］
前記複数の所定のオブジェクトモデルのうちの少なくとも１つは、交通標識の所定のオブジェクトモデルを備える、Ｃ９に記載の方法。
［Ｃ１１］
電子デバイスであって、
シーンの第１のフレームを取得することと、
前記第１のフレームの第１の境界領域内で少なくとも１つのオブジェクトのオブジェクト認識を遂行することと、
前記第１のフレームの前記第１の境界領域内で前記少なくとも１つのオブジェクトのオブジェクト追跡を遂行することと、
前記オブジェクト追跡に基づいて第２のフレームの第２の境界領域を決定することと、ここにおいて、前記第２のフレームは、前記第１のフレームに後続する、
所定のオブジェクトモデルに基づいて前記第２の境界領域が有効かどうかを決定することと
を行うように構成されたプロセッサ
を備える、電子デバイス。
［Ｃ１２］
前記プロセッサは、前記少なくとも１つのオブジェクトのオブジェクト検出を遂行するように構成される、Ｃ１１に記載の電子デバイス。
［Ｃ１３］
前記プロセッサは、前記オブジェクトに対応する前記所定のオブジェクトモデルを取得するように構成される、Ｃ１２に記載の電子デバイス。
［Ｃ１４］
前記プロセッサは、
前記第１の境界領域に基づいて１つまたは複数の特徴を抽出することと、
前記１つまたは複数の特徴に基づいてオブジェクト追跡を更新することと
を行うように構成される、Ｃ１１に記載の電子デバイス。
［Ｃ１５］
前記プロセッサは、
前記第２の境界領域が無効である場合に、前記オブジェクトが前記第２の境界領域内にあるかどうかを決定することと、
前記オブジェクトが前記第２の境界領域内にある場合に、前記第２の境界領域を精緻化することと
を行うように構成される、Ｃ１１に記載の電子デバイス。
［Ｃ１６］
前記プロセッサは、前記オブジェクトに対応しない１つまたは複数のピクセルを除外するために前記第２の境界領域をサイズ変更するように構成される、Ｃ１５に記載の電子デバイス。
［Ｃ１７］
前記プロセッサは、前記オブジェクトが前記第２の境界領域内にない場合に、前記第２のフレームの後の第３のフレーム中で前記オブジェクトを検出するように構成される、Ｃ１１に記載の電子デバイス。
［Ｃ１８］
前記プロセッサは、前記オブジェクトに基づいて、支援された運転を遂行するように構成される、Ｃ１１に記載の電子デバイス。
［Ｃ１９］
前記プロセッサは、前記オブジェクトに対応する前記所定のオブジェクトモデルを取得するように構成され、前記プロセッサは、複数の所定のオブジェクトモデルから前記所定のオブジェクトモデルを取得選択するように構成される、Ｃ１１に記載の電子デバイス。
［Ｃ２０］
前記複数の所定のオブジェクトモデルのうちの少なくとも１つは、交通標識の所定のオブジェクトモデルを備える、Ｃ１９に記載の電子デバイス。
［Ｃ２１］
その上に命令を有する非一時的有形コンピュータ可読媒体を備えるコンピュータプログラム製品であって、前記命令は、
電子デバイスに、シーンの第１のフレームを取得することを行わせるためのコードと、
前記電子デバイスに、前記第１のフレームの第１の境界領域内で少なくとも１つのオブジェクトのオブジェクト認識を遂行することを行わせるためのコードと、
前記電子デバイスに、前記第１のフレームの前記第１の境界領域内で前記少なくとも１つのオブジェクトのオブジェクト追跡を遂行することを行わせるためのコードと、
前記電子デバイスに、前記オブジェクト追跡に基づいて第２のフレームの第２の境界領域を決定することを行わせるためのコードと、ここにおいて、前記第２のフレームは、前記第１のフレームに後続する、
前記電子デバイスに、所定のオブジェクトモデルに基づいて前記第２の境界領域が有効かどうかを決定することを行わせるためのコードと
を備える、コンピュータプログラム製品。
［Ｃ２２］
前記命令は、前記電子デバイスに、前記少なくとも１つのオブジェクトのオブジェクト検出を遂行することを行わせるためのコードをさらに備える、Ｃ２１に記載のコンピュータプログラム製品。
［Ｃ２３］
前記命令は、
前記電子デバイスに、前記第２の境界領域が無効である場合に、前記オブジェクトが前記第２の境界領域内にあるかどうかを決定することを行わせるためのコードと、
前記電子デバイスに、前記オブジェクトが前記第２の境界領域内にある場合に、前記第２の境界領域を精緻化することを行わせるためのコードと
をさらに備える、Ｃ２１に記載のコンピュータプログラム製品。
［Ｃ２４］
前記命令は、前記電子デバイスに、複数の所定のオブジェクトモデルから前記所定のオブジェクトモデルを選択することを行わせるためのコードをさらに備える、Ｃ２１に記載のコンピュータプログラム製品。
［Ｃ２５］
前記複数の所定のオブジェクトモデルのうちの少なくとも１つは、交通標識の所定のオブジェクトモデルを備える、Ｃ２４に記載のコンピュータプログラム製品。
［Ｃ２６］
装置であって、
シーンの第１のフレームを取得するための手段と、
前記第１のフレームの第１の境界領域内で少なくとも１つのオブジェクトのオブジェクト認識を遂行するための手段と、
前記第１のフレームの前記第１の境界領域内で前記少なくとも１つのオブジェクトのオブジェクト追跡を遂行するための手段と、
前記オブジェクト追跡に基づいて第２のフレームの第２の境界領域を決定するための手段と、ここにおいて、前記第２のフレームは、前記第１のフレームに後続する、
所定のオブジェクトモデルに基づいて前記第２の境界領域が有効かどうかを決定するための手段と
を備える、装置。
［Ｃ２７］
前記少なくとも１つのオブジェクトのオブジェクト検出を遂行するための手段をさらに備える、Ｃ２６に記載の装置。
［Ｃ２８］
前記第２の境界領域が無効である場合に、前記オブジェクトが前記第２の境界領域内にあるかどうかを決定するための手段と、
前記オブジェクトが前記第２の境界領域内にある場合に、前記第２の境界領域を精緻化するための手段と
をさらに備える、Ｃ２６に記載の装置。
［Ｃ２９］
複数の所定のオブジェクトモデルから前記所定のオブジェクトモデルを選択するための手段をさらに備える、Ｃ２６に記載の装置。
［Ｃ３０］
前記複数の所定のオブジェクトモデルのうちの少なくとも１つは、交通標識の所定のオブジェクトモデルを備える、Ｃ２９に記載の装置。

Claims (30)

  1. 電子デバイスによって遂行される方法であって、
    シーンの第１のフレームを取得することと、
    前記第１のフレームの第１の境界領域内で少なくとも１つのオブジェクトのオブジェクト認識を遂行することと、
    前記第１のフレームの前記第１の境界領域内で前記少なくとも１つのオブジェクトのオブジェクト追跡を遂行することと、
    前記オブジェクト追跡に基づいて第２のフレームの第２の境界領域を決定することと、ここにおいて、前記第２のフレームは、前記第１のフレームに後続する、
    所定のオブジェクトモデルに基づいて前記第２の境界領域が有効かどうかを決定することと
    を備える、方法。
  2. 前記少なくとも１つのオブジェクトのオブジェクト検出を遂行することをさらに備える、請求項１に記載の方法。
  3. 前記オブジェクトに対応する前記所定のオブジェクトモデルを取得することをさらに備える、請求項２に記載の方法。
  4. 前記第１の境界領域に基づいて１つまたは複数の特徴を抽出することと、
    前記１つまたは複数の特徴に基づいてオブジェクト追跡を更新することと
    をさらに備える、請求項１に記載の方法。
  5. 前記第２の境界領域が無効である場合に、前記オブジェクトが前記第２の境界領域内にあるかどうかを決定することと、
    前記オブジェクトが前記第２の境界領域内にある場合に、前記第２の境界領域を精緻化することと
    をさらに備える、請求項１に記載の方法。
  6. 前記第２の境界領域を精緻化することは、前記オブジェクトに対応しない１つまたは複数のピクセルを除外するために前記第２の境界領域をサイズ変更することを備える、請求項５に記載の方法。
  7. 前記オブジェクトが前記第２の境界領域内にない場合に、前記第２のフレームの後の第３のフレーム中で前記オブジェクトを検出することをさらに備える、請求項１に記載の方法。
  8. 前記オブジェクトに基づいて、支援された運転を遂行することをさらに備える、請求項１に記載の方法。
  9. 前記オブジェクトに対応する前記所定のオブジェクトモデルを取得することをさらに備え、前記所定のオブジェクトモデルを取得することは、複数の所定のオブジェクトモデルから前記所定のオブジェクトモデルを選択することを備える、請求項１に記載の方法。
  10. 前記複数の所定のオブジェクトモデルのうちの少なくとも１つは、交通標識の所定のオブジェクトモデルを備える、請求項９に記載の方法。
  11. 電子デバイスであって、
    シーンの第１のフレームを取得することと、
    前記第１のフレームの第１の境界領域内で少なくとも１つのオブジェクトのオブジェクト認識を遂行することと、
    前記第１のフレームの前記第１の境界領域内で前記少なくとも１つのオブジェクトのオブジェクト追跡を遂行することと、
    前記オブジェクト追跡に基づいて第２のフレームの第２の境界領域を決定することと、ここにおいて、前記第２のフレームは、前記第１のフレームに後続する、
    所定のオブジェクトモデルに基づいて前記第２の境界領域が有効かどうかを決定することと
    を行うように構成されたプロセッサ
    を備える、電子デバイス。
  12. 前記プロセッサは、前記少なくとも１つのオブジェクトのオブジェクト検出を遂行するように構成される、請求項１１に記載の電子デバイス。
  13. 前記プロセッサは、前記オブジェクトに対応する前記所定のオブジェクトモデルを取得するように構成される、請求項１２に記載の電子デバイス。
  14. 前記プロセッサは、
    前記第１の境界領域に基づいて１つまたは複数の特徴を抽出することと、
    前記１つまたは複数の特徴に基づいてオブジェクト追跡を更新することと
    を行うように構成される、請求項１１に記載の電子デバイス。
  15. 前記プロセッサは、
    前記第２の境界領域が無効である場合に、前記オブジェクトが前記第２の境界領域内にあるかどうかを決定することと、
    前記オブジェクトが前記第２の境界領域内にある場合に、前記第２の境界領域を精緻化することと
    を行うように構成される、請求項１１に記載の電子デバイス。
  16. 前記プロセッサは、前記オブジェクトに対応しない１つまたは複数のピクセルを除外するために前記第２の境界領域をサイズ変更するように構成される、請求項１５に記載の電子デバイス。
  17. 前記プロセッサは、前記オブジェクトが前記第２の境界領域内にない場合に、前記第２のフレームの後の第３のフレーム中で前記オブジェクトを検出するように構成される、請求項１１に記載の電子デバイス。
  18. 前記プロセッサは、前記オブジェクトに基づいて、支援された運転を遂行するように構成される、請求項１１に記載の電子デバイス。
  19. 前記プロセッサは、前記オブジェクトに対応する前記所定のオブジェクトモデルを取得するように構成され、前記プロセッサは、複数の所定のオブジェクトモデルから前記所定のオブジェクトモデルを取得選択するように構成される、請求項１１に記載の電子デバイス。
  20. 前記複数の所定のオブジェクトモデルのうちの少なくとも１つは、交通標識の所定のオブジェクトモデルを備える、請求項１９に記載の電子デバイス。
  21. その上に命令を有する非一時的有形コンピュータ可読媒体を備えるコンピュータプログラム製品であって、前記命令は、
    電子デバイスに、シーンの第１のフレームを取得することを行わせるためのコードと、
    前記電子デバイスに、前記第１のフレームの第１の境界領域内で少なくとも１つのオブジェクトのオブジェクト認識を遂行することを行わせるためのコードと、
    前記電子デバイスに、前記第１のフレームの前記第１の境界領域内で前記少なくとも１つのオブジェクトのオブジェクト追跡を遂行することを行わせるためのコードと、
    前記電子デバイスに、前記オブジェクト追跡に基づいて第２のフレームの第２の境界領域を決定することを行わせるためのコードと、ここにおいて、前記第２のフレームは、前記第１のフレームに後続する、
    前記電子デバイスに、所定のオブジェクトモデルに基づいて前記第２の境界領域が有効かどうかを決定することを行わせるためのコードと
    を備える、コンピュータプログラム製品。
  22. 前記命令は、前記電子デバイスに、前記少なくとも１つのオブジェクトのオブジェクト検出を遂行することを行わせるためのコードをさらに備える、請求項２１に記載のコンピュータプログラム製品。
  23. 前記命令は、
    前記電子デバイスに、前記第２の境界領域が無効である場合に、前記オブジェクトが前記第２の境界領域内にあるかどうかを決定することを行わせるためのコードと、
    前記電子デバイスに、前記オブジェクトが前記第２の境界領域内にある場合に、前記第２の境界領域を精緻化することを行わせるためのコードと
    をさらに備える、請求項２１に記載のコンピュータプログラム製品。
  24. 前記命令は、前記電子デバイスに、複数の所定のオブジェクトモデルから前記所定のオブジェクトモデルを選択することを行わせるためのコードをさらに備える、請求項２１に記載のコンピュータプログラム製品。
  25. 前記複数の所定のオブジェクトモデルのうちの少なくとも１つは、交通標識の所定のオブジェクトモデルを備える、請求項２４に記載のコンピュータプログラム製品。
  26. 装置であって、
    シーンの第１のフレームを取得するための手段と、
    前記第１のフレームの第１の境界領域内で少なくとも１つのオブジェクトのオブジェクト認識を遂行するための手段と、
    前記第１のフレームの前記第１の境界領域内で前記少なくとも１つのオブジェクトのオブジェクト追跡を遂行するための手段と、
    前記オブジェクト追跡に基づいて第２のフレームの第２の境界領域を決定するための手段と、ここにおいて、前記第２のフレームは、前記第１のフレームに後続する、
    所定のオブジェクトモデルに基づいて前記第２の境界領域が有効かどうかを決定するための手段と
    を備える、装置。
  27. 前記少なくとも１つのオブジェクトのオブジェクト検出を遂行するための手段をさらに備える、請求項２６に記載の装置。
  28. 前記第２の境界領域が無効である場合に、前記オブジェクトが前記第２の境界領域内にあるかどうかを決定するための手段と、
    前記オブジェクトが前記第２の境界領域内にある場合に、前記第２の境界領域を精緻化するための手段と
    をさらに備える、請求項２６に記載の装置。
  29. 複数の所定のオブジェクトモデルから前記所定のオブジェクトモデルを選択するための手段をさらに備える、請求項２６に記載の装置。
  30. 前記複数の所定のオブジェクトモデルのうちの少なくとも１つは、交通標識の所定のオブジェクトモデルを備える、請求項２９に記載の装置。
JP2018508758A 2015-08-18 2016-07-06 オブジェクト追跡のためのシステムおよび方法 Pending JP2018523877A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/829,406 2015-08-18
US14/829,406 US10586102B2 (en) 2015-08-18 2015-08-18 Systems and methods for object tracking
PCT/US2016/041191 WO2017034683A1 (en) 2015-08-18 2016-07-06 Systems and methods for object tracking

Publications (1)

Publication Number Publication Date
JP2018523877A true JP2018523877A (ja) 2018-08-23

Family

ID=57680476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018508758A Pending JP2018523877A (ja) 2015-08-18 2016-07-06 オブジェクト追跡のためのシステムおよび方法

Country Status (6)

Country Link
US (1) US10586102B2 (ja)
EP (1) EP3338248B1 (ja)
JP (1) JP2018523877A (ja)
KR (1) KR20180042254A (ja)
CN (1) CN107851318B (ja)
WO (1) WO2017034683A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022518745A (ja) * 2019-05-06 2022-03-16 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 目標の位置取得方法、装置、コンピュータ機器及びコンピュータプログラム
JP7424866B2 (ja) 2019-08-08 2024-01-30 エヌビディア コーポレーション 環境内のオブジェクトのレーン割り当てを決定するための障害物及びレーン検出の活用

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070131B2 (en) * 2011-06-14 2015-06-30 Ark Ideaz, Inc. Authentication systems and methods
US11003961B2 (en) 2014-06-03 2021-05-11 Nec Corporation Image processing system, image processing method, and program storage medium
DE112016004109T5 (de) * 2015-09-11 2018-08-09 Intel Corporation Echtzeit-mehrfach-fahrzeugdetektion und -tracking
CN105578034A (zh) * 2015-12-10 2016-05-11 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的控制方法、控制装置及系统
US10255511B2 (en) * 2016-01-04 2019-04-09 Texas Instruments Incorporated Real time traffic sign recognition
DE102016003424B4 (de) * 2016-03-21 2023-09-28 Elektrobit Automotive Gmbh Verfahren und Vorrichtung zum Erkennen von Verkehrszeichen
US10618673B2 (en) * 2016-04-15 2020-04-14 Massachusetts Institute Of Technology Systems and methods for dynamic planning and operation of autonomous systems using image observation and information theory
EP3481661A4 (en) 2016-07-05 2020-03-11 Nauto, Inc. AUTOMATIC DRIVER IDENTIFICATION SYSTEM AND METHOD
US10037471B2 (en) * 2016-07-05 2018-07-31 Nauto Global Limited System and method for image analysis
WO2018031678A1 (en) 2016-08-09 2018-02-15 Nauto Global Limited System and method for precision localization and mapping
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
EP3513265A4 (en) 2016-09-14 2020-04-22 Nauto Global Limited SYSTEMS AND METHODS FOR DETERMINING ALMOST COLLISIONS
US10246014B2 (en) 2016-11-07 2019-04-02 Nauto, Inc. System and method for driver distraction determination
US10497143B2 (en) * 2016-11-14 2019-12-03 Nec Corporation Advanced driver-assistance system using accurate object proposals by tracking detections
JP6564355B2 (ja) * 2016-11-17 2019-08-21 株式会社デンソー 衝突判定装置、及び衝突判定方法
EP3340609B1 (en) * 2016-12-22 2024-03-27 Samsung Electronics Co., Ltd. Apparatus and method for processing image
WO2018229550A1 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for adverse vehicle event determination
EP3638542B1 (en) 2017-06-16 2022-01-26 Nauto, Inc. System and method for contextualized vehicle operation determination
US10566519B2 (en) 2017-08-18 2020-02-18 Taiwan Semiconductor Manufacturing Co., Ltd. Method for forming a flat bottom electrode via (BEVA) top surface for memory
TWI624793B (zh) * 2017-09-19 2018-05-21 財團法人成大研究發展基金會 物件偵測的適應系統與方法
EP3477941B1 (en) * 2017-10-27 2020-11-25 Axis AB Method and controller for controlling a video processing unit based on the detection of newcomers in a first environment
US10740654B2 (en) 2018-01-22 2020-08-11 Qualcomm Incorporated Failure detection for a neural network object tracker
CN108307113B (zh) * 2018-01-26 2020-10-09 北京图森智途科技有限公司 图像采集方法、图像采集控制方法及相关装置
EP3759700B1 (en) 2018-02-27 2023-03-15 Nauto, Inc. Method for determining driving policy
US10867393B2 (en) * 2018-03-22 2020-12-15 Texas Instruments Incorporated Video object detection
WO2019195191A1 (en) * 2018-04-02 2019-10-10 Phantom Al, Inc. Dynamic image region selection for visual inference
GB2573343B (en) * 2018-05-04 2020-09-09 Apical Ltd Image processing for object detection
US10593049B2 (en) 2018-05-30 2020-03-17 Chiral Software, Inc. System and method for real-time detection of objects in motion
CN108924529B (zh) * 2018-07-25 2020-03-17 北京小米移动软件有限公司 图像显示的控制方法及装置
DE102018121602A1 (de) * 2018-09-05 2020-03-05 Valeo Schalter Und Sensoren Gmbh Verfahren zum Auswerten von mehreren Bildern einer Umgebung eines Kraftfahrzeugs; Steuereinrichtung; sowie Fahrerassistenzsystem
WO2020117357A2 (en) * 2018-10-01 2020-06-11 EmergeX, LLC Methods and systems for navigating autonomous and semi-autonomous vehicles
CN109359380B (zh) * 2018-10-16 2020-06-09 上海莉莉丝科技股份有限公司 缩放方法、装置、设备及介质
WO2020109016A1 (de) * 2018-11-26 2020-06-04 Osram Gmbh Verfahren zum gemeinsamen detektieren, verfolgen und klassifizieren von objekten
WO2020114585A1 (en) * 2018-12-05 2020-06-11 Telefonaktiebolaget Lm Ericsson (Publ) Object location determination in frames of a video stream
US11062462B2 (en) * 2018-12-19 2021-07-13 International Business Machines Corporation Detection of visual tracker divergence
DE102019217642A1 (de) * 2019-11-15 2021-05-20 Volkswagen Aktiengesellschaft Verfahren zur Erfassung von Bildmaterial zur Überprüfung von bildauswertenden Systemen, Vorrichtung und Fahrzeug zur Verwendung bei dem Verfahren sowie Computerprogramm
CN110516620B (zh) * 2019-08-29 2023-07-28 腾讯科技（深圳）有限公司 目标跟踪方法、装置、存储介质及电子设备
WO2021061112A1 (en) 2019-09-25 2021-04-01 Google Llc Gain control for face authentication
US10984513B1 (en) 2019-09-30 2021-04-20 Google Llc Automatic generation of all-in-focus images with a mobile camera
US11087478B2 (en) * 2019-10-11 2021-08-10 Lenovo (Singapore) Pte. Ltd. Recover keypoint-based target tracking from occlusion using deep neural network segmentation
KR102558959B1 (ko) * 2019-10-14 2023-07-24 주식회사 케이티 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램
CN110807430B (zh) * 2019-11-06 2022-06-21 桂林电子科技大学 一种实况全景交通标志图片预处理方法
CN112906424B (zh) * 2019-11-19 2023-10-31 上海高德威智能交通系统有限公司 图像识别方法、装置及设备
US11113793B2 (en) * 2019-11-20 2021-09-07 Pacific future technology (Shenzhen) Co., Ltd Method and apparatus for smoothing a motion trajectory in a video
CN111008305B (zh) * 2019-11-29 2023-06-23 百度在线网络技术（北京）有限公司 一种视觉搜索方法、装置以及电子设备
KR102283053B1 (ko) * 2019-12-27 2021-07-28 (주)베라시스 영상 기반 객체 검출 정보를 이용한 실시간 다중 클래스 다중 객체 추적 방법
CN111161320B (zh) * 2019-12-30 2023-05-19 浙江大华技术股份有限公司 一种目标跟踪方法、目标跟踪装置及计算机可读介质
RU2746057C1 (ru) * 2020-04-17 2021-04-06 Акционерное общество "ЭЛВИС-НеоТек" Способ определения траектории движения автомобиля по видео для выявления нарушений правил дорожного движения
KR102201096B1 (ko) * 2020-06-11 2021-01-11 주식회사 인텔리빅스 실시간 cctv 영상분석장치 및 그 장치의 구동방법
CA3156840C (en) * 2020-07-03 2023-05-09 Invision Ai, Inc. Video-based tracking systems and methods
CN111754541B (zh) * 2020-07-29 2023-09-19 腾讯科技（深圳）有限公司 目标跟踪方法、装置、设备及可读存储介质
KR102519367B1 (ko) * 2020-11-19 2023-04-06 연세대학교 산학협력단 Cctv 환경에서의 보행자 추적 장치 및 방법
KR20220107860A (ko) * 2021-01-26 2022-08-02 삼성전자주식회사 화면 캡쳐를 수행하는 전자 장치 및 전자 장치에서 화면을 캡쳐하는 방법
CN112911249B (zh) * 2021-03-23 2023-03-24 浙江大华技术股份有限公司 目标对象的跟踪方法、装置、存储介质及电子装置
US20220406055A1 (en) * 2021-06-16 2022-12-22 Ipq Pty Ltd Systems and methods for calculating water resources using aerial imaging of crop lands
CN113723176B (zh) * 2021-07-19 2022-06-10 上海闪马智能科技有限公司 一种目标对象确定方法、装置、存储介质和电子装置
KR20230017549A (ko) * 2021-07-28 2023-02-06 주식회사 넥스트칩 특징점에 대한 기술자를 생성하기 위한 전자 장치 및 그 동작 방법
WO2023091465A1 (en) * 2021-11-18 2023-05-25 Robinson Jr Curtis Ray Object detection in video image frames
US20230169771A1 (en) * 2021-12-01 2023-06-01 Fotonation Limited Image processing system

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7177447B2 (en) * 1999-02-23 2007-02-13 Lockheed Martin Corporation Real-time multi-stage infrared image-based tracking system
US6577757B1 (en) * 1999-07-28 2003-06-10 Intelligent Reasoning Systems, Inc. System and method for dynamic image recognition
US7269284B2 (en) * 2001-09-20 2007-09-11 International Business Machines Corporation Method and apparatus using dual bounding boxes as dynamic templates for cartridge rack identification and tracking
US8098889B2 (en) 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
EP2188759A1 (en) * 2007-03-05 2010-05-26 Fotonation Vision Limited Face searching and detection in a digital image acquisition device
EP2188778A1 (en) * 2007-09-12 2010-05-26 Digisensory Technologies Pty Ltd. Smart network camera system-on-a-chip
CN101226592A (zh) * 2008-02-21 2008-07-23 上海交通大学 基于部件的对象跟踪方法
EP2345998B1 (en) 2009-12-01 2019-11-20 Honda Research Institute Europe GmbH Multi-object tracking with a knowledge-based, autonomous adaptation of the tracking modeling level
KR101548834B1 (ko) * 2010-09-20 2015-08-31 퀄컴 인코포레이티드 클라우드 보조 증강 현실을 위한 적응적 프레임워크
WO2013013082A1 (en) * 2011-07-19 2013-01-24 Utah State University Research Foundation Systems, devices, and methods for multi-occupant tracking
US9349066B2 (en) * 2012-01-06 2016-05-24 Qualcomm Incorporated Object tracking and processing
US9141196B2 (en) * 2012-04-16 2015-09-22 Qualcomm Incorporated Robust and efficient learning object tracker
US9317908B2 (en) * 2012-06-29 2016-04-19 Behavioral Recognition System, Inc. Automatic gain control filter in a video analysis system
US9852511B2 (en) 2013-01-22 2017-12-26 Qualcomm Incoporated Systems and methods for tracking and detecting a target object
CN103426184B (zh) 2013-08-01 2016-08-10 华为技术有限公司 一种光流跟踪方法和装置
US9683836B2 (en) * 2013-08-09 2017-06-20 Conduent Business Services, Llc Vehicle classification from laser scanners using fisher and profile signatures
CN104424648B (zh) * 2013-08-20 2018-07-24 株式会社理光 对象跟踪方法和设备
CN104574433A (zh) * 2013-10-14 2015-04-29 株式会社理光 对象跟踪方法和设备、跟踪特征选择方法
CN104599287B (zh) * 2013-11-01 2018-01-16 株式会社理光 对象跟踪方法和装置、对象识别方法和装置
KR101912914B1 (ko) 2014-01-17 2018-10-29 주식회사 만도 전방 카메라를 이용한 속도제한 표지판 인식 시스템 및 방법
CN104794733B (zh) * 2014-01-20 2018-05-08 株式会社理光 对象跟踪方法和装置
US9514366B2 (en) * 2014-02-03 2016-12-06 Xerox Corporation Vehicle detection method and system including irrelevant window elimination and/or window score degradation
US20160034027A1 (en) * 2014-07-29 2016-02-04 Qualcomm Incorporated Optical tracking of a user-guided object for mobile platform user input
US9542751B2 (en) * 2015-05-08 2017-01-10 Qualcomm Incorporated Systems and methods for reducing a plurality of bounding regions

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022518745A (ja) * 2019-05-06 2022-03-16 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 目標の位置取得方法、装置、コンピュータ機器及びコンピュータプログラム
JP7154678B2 (ja) 2019-05-06 2022-10-18 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 目標の位置取得方法、装置、コンピュータ機器及びコンピュータプログラム
JP7424866B2 (ja) 2019-08-08 2024-01-30 エヌビディア コーポレーション 環境内のオブジェクトのレーン割り当てを決定するための障害物及びレーン検出の活用

Also Published As

Publication number Publication date
EP3338248B1 (en) 2019-11-27
WO2017034683A1 (en) 2017-03-02
US10586102B2 (en) 2020-03-10
CN107851318B (zh) 2021-08-17
CN107851318A (zh) 2018-03-27
US20170053167A1 (en) 2017-02-23
EP3338248A1 (en) 2018-06-27
KR20180042254A (ko) 2018-04-25

Similar Documents

Publication Publication Date Title
CN107851318B (zh) 用于对象跟踪的系统和方法
US9811732B2 (en) Systems and methods for object tracking
US20230077355A1 (en) Tracker assisted image capture
US11182592B2 (en) Target object recognition method and apparatus, storage medium, and electronic device
JP6794436B2 (ja) 非障害物エリア検出のためのシステムおよび方法
CN108388879B (zh) 目标的检测方法、装置和存储介质
US9965719B2 (en) Subcategory-aware convolutional neural networks for object detection
JP6384082B2 (ja) 移動物体検出装置、移動物体検出方法、及びプログラム
US10896495B2 (en) Method for detecting and tracking target object, target object tracking apparatus, and computer-program product
CN112634326A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN110097050B (zh) 行人检测方法、装置、计算机设备及存储介质
WO2023124133A1 (zh) 交通行为检测方法及装置、电子设备、存储介质和计算机程序产品
JP6708368B2 (ja) 変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステム
CN111428567B (zh) 一种基于仿射多任务回归的行人跟踪系统及方法
JP2013069045A (ja) 画像認識装置、画像認識方法および画像認識プログラム
CN115147809B (zh) 一种障碍物检测方法、装置、设备以及存储介质
WO2020237674A1 (zh) 目标跟踪方法、目标跟踪装置和无人机
Shibayama et al. On-board pedestrian detection by the motion and the cascaded classifiers
US20230360355A1 (en) Hybrid video analytics for small and specialized object detection
US20220012506A1 (en) System and method of segmenting free space based on electromagnetic waves
Han et al. Crowded pedestrian detection with optimal bounding box relocation
Liu Pedestrian Detection Algorithm Using Local Feature Cascade Classifier in Traffic Scenes
Kumeechai et al. Detection and Tracking of Pedestrians at Zebra Crossings using a Hybrid Combination of SIFT and Kalman Filter.
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
JP6020188B2 (ja) 対象物検出装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180507