JP2017537484A - 可動物体を検出し、追跡するシステム及び方法 - Google Patents

可動物体を検出し、追跡するシステム及び方法 Download PDF

Info

Publication number
JP2017537484A
JP2017537484A JP2016554437A JP2016554437A JP2017537484A JP 2017537484 A JP2017537484 A JP 2017537484A JP 2016554437 A JP2016554437 A JP 2016554437A JP 2016554437 A JP2016554437 A JP 2016554437A JP 2017537484 A JP2017537484 A JP 2017537484A
Authority
JP
Japan
Prior art keywords
imaging device
feature
tracking
pixels
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016554437A
Other languages
English (en)
Other versions
JP6496323B2 (ja
Inventor
ジョウ，ヨウ
ジャオ，ツォン
タン，カータン
イエン，ジャーチー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2017537484A publication Critical patent/JP2017537484A/ja
Application granted granted Critical
Publication of JP6496323B2 publication Critical patent/JP6496323B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Studio Devices (AREA)
  • Radar, Positioning & Navigation (AREA)

Abstract

本願では、１つ又は複数の移動可能物体を検出し、追跡するためのシステム、方法、及びデバイスが提供される。ビジュアルトラッキングをサポートする方法が提供されてもよい。この方法は、撮像デバイスを使って異なる時間に取得された複数の画像フレームを受け取るステップであって、各画像フレームが複数の特徴点に関連付けられる複数のピクセルを含むステップと、複数の画像フレームを分析して、複数の特徴点の移動特性を計算するステップと、複数の特徴点の移動特性に基づいて少なくとも１つの背景特徴に関する少なくとも１つの追跡特徴を特定するステップと、を含む。

Description

実世界応用のための調査、偵察、探査作業の中には、１つ又は複数の物体の検出と追跡が必要となりうるものがある。従来の追跡方法は、全地球測位システム（ＧＰＳ）のデータ又はカメラの映像に基づくものかもしれない。しかしながら、従来のＧＰＳベース又は映像ベースの追跡方法は、ある用途には不適当であるかもしれない。例えば、従来のＧＰＳベースの追跡方法は、ＧＰＳ信号の受信状態が悪い場所では、又は被追跡物体にＧＰＳ受信機が備えられていない場合には、無用となりうる。従来の映像ベースの追跡方法は、移動物体群を精密に追跡する能力を欠いているかもしれない。搭載物（例えばカメラ）を搭載する航空機を物体の追跡に使用できる。場合によっては、１人又は複数のオペレータが、追跡対象の移動物体を手作業で選択し、航空機／カメラを手作業で制御して移動物体を追跡しなければならないかもしれない。この限定された追跡能力が、ある用途での航空機の有用性を低減させうる。
映像ベースの追跡方法をはじめとする従来の追跡方法を改良する必要性がある。改良された追跡能力は、ユーザによる手作業での入力及び／又は操作を必要とせずに、撮像デバイスが自動的に１つ又は複数の移動物体を検出して、その移動物体を自律的に追跡できるようにするかもしれない。改良された追跡能力は、撮像デバイスを使って高速移動する物体群を精密に追跡する時に特に有益でとなりえ、この場合、物体の移動に伴い、時間と共にその群の大きさ及び／又は形状が無定形化し、変化しうる。改良された追跡能力は、航空機、例えば無人航空機（ＵＡＶ）に取り入れることができる。
映像ベースの追跡方法では、航空機に載せた撮像デバイスを使って標的物体を追跡してもよい。従来の映像ベースの追跡方法は、手動でも自動でもありうる。
例えば、映像ベースの手動式追跡方法において、まず画像が撮像デバイスを使って取得されてもよく、オペレータが手作業で画像から追跡対象の標的物体を選択してもよい。手作業での選択は、入力デバイス、例えばタブレット、モバイルデバイス、又はパーソナルコンピュータ（ＰＣ）を使って実行されてもよい。幾つかの例において、航空機は標的物体を、それをオペレータが入力デバイスを使って手作業で選択した後に自動的に追跡するように構成されてもよい。他の例において、オペレータはその選択後も、引き続き標的物体を追跡するように航空機を手作業で制御してもよい。
これに対し、映像ベースの自動式追跡方法では、特定の種類の物体、又はマーカを担持する物体を自動的に検出できる追跡アルゴリスラムを使って自動追跡が実行されてもよい。物体の種類は、異なる物体種別（例えば人、建物、地形等）に基づいていてもよい。マーカは、固有のパターンを含む１つ又は複数の光学マーカであってもよい。
従来の画像ベースの追跡方法において、標的物体は、所定の特徴（例えば、色、構造、顕著特徴等）に基づいて、及びモデリング（例えば、物体種別）によって、のうち少なくとも一方で定義されてもよい。標的物体が定義された後、特徴及び／又はモデルの移動が、標的物体が移動する間に実時間で検出され、計算されてもよい。これらの方法では、標的物体の精密な追跡のためには、典型的に、特徴及び／又はモデルの高いレベルの整合性が必要とされる。特に、追跡精度のレベルは、特徴間の空間関係及び／又はモデル内の誤差に依存しうる。
従来の映像ベースの追跡方法は単独の物体の追跡に使用できるが、これらは移動物体群を追跡するには不適当であるかもしれない。特に、従来の映像ベースの追跡方法は、高速で移動する物体群を精密に追跡する能力を欠いているかもしれず、その場合、群のサイズ及び／又は形状は、物体の移動に伴って時間と共に無定形化し、変化しうる。このような物体群の例としては、これらに限定されないが、移動する動物の群れ（例えば、平原を走る馬の群れ、又は様々な編成で飛ぶ鳥の群れ）、人の集合（例えば、行進する群集）、輸送手段の集合（例えば空中アクロバット飛行中の飛行機艦隊）、又は様々な編成で移動する様々な物体を含む群（例えば、追跡対象となる移動する動物、人及び輸送手段を含む群）が含まれていてもよい。
従来の全地球測位システム（ＧＰＳ）ベースの追跡方法において、撮像デバイスと標的物体の各々が、ＧＰＳ装置（例えば、ＧＰＳ受信機）を備えていてもよい。撮像デバイスと標的物体との間の空間関係は、その実時間の位置推定に基づいて計算されてもよい。撮像デバイスは、それらの空間関係に基づいて標的物体を追跡するように構成されてもよい。しかしながら、この方法は、ＧＰＳ信号の品質とＧＰＳ信号の利用可能性によって限定される可能性がある。例えば、従来の全地球測位システム（ＧＰＳ）ベースの追跡方法は、屋内では、又はＧＰＳ信号の受信が建物及び／又は、谷、山その他の自然の地形特徴によって遮られる時には、無用となりうる。更に、これらの方法はＧＰＳ追跡を前提としており、それゆえ、標的物体（例えば、動物の群れ）がＧＰＳ装置を搭載していなければ使用できない。
これに加えて、従来のＧＰＳベースの追跡方法における追跡精度は、典型的なＧＰＳ受信機の位置精度が約２メートルから約４メートルの範囲であることを考えれば、限定的でありうる。幾つかの例において、航空機と標的物体は同時に移動しているかもしれない。しかしながら、ＧＰＳ信号からのそれらの推定位置と速度は、高精度追跡を可能にするのに十分な実時間の頻度で更新されないかもしれない。例えば、ＵＡＶと標的物体の推定位置と速度との間に時間遅延があるか、又は相関関係が欠如しているかもしれない。これがＵＡＶと標的物体の固有のＧＰＳ測位誤差（２〜４ｍ）と相まって、追跡精度／確度の低下につながる。
したがって、高い正確度／精度を必要とする種々の用途のための多様な条件下で航空機の追跡能力と堅牢性を改善する必要がある。この条件としては、屋内及び屋外の両環境、ＧＰＳ信号のない場所又はＧＰＳ信号の受信状態が悪い場所、様々な地形、その他が含まれていてもよい。用途としては、移動する標的物体及び／又は移動する標的物体群の精密な追跡を含まれていてもよい。標的物体としては、ＧＰＳ装置を持たない標的物体、十分に定義された特徴を持たない、若しくは既知の物体種別に当てはまらない標的物体、集合的に群を形成し、その群の大きさ及び／又は形状が時間と共に無定形化し、変化する標的物体、異なる編成で移動する複数の異なる標的物体、又はこれらの何れかの組合せが含まれていてもよい。本明細書において提供されるシステム、方法、及びデバイスは、少なくとも上記の必要性に対応する。
例えば、本発明の幾つかの態様において、ビジュアルトラッキングをサポートする方法が提供される。この方法は、撮像デバイスから異なる時間に取得された複数の画像フレームを受信するステップであって、各画像フレームが複数の特徴点に関連付けられる複数のピクセルを含むステップと、複数の画像フレームを分析して複数の特徴点の移動特性を計算するステップと、少なくとも１つの背景特徴に関する少なくとも１つの追跡特徴を、複数の特徴点の移動特性に基づいて特定するステップとを含んでいてもよい。
本発明のある態様によれば、ビジュアルトラッキングをサポートする装置が提供される。この装置は、１つ又は複数のプロセッサを含んでいてもよく、これらは個々に、又はまとめて、撮像デバイスから異なる時間に取得された複数の画像フレームを受信し、各画像フレームは複数の特徴点に関連付けられる複数のピクセルを含み、複数の画像フレームを分析して複数の特徴点の移動特性を計算し、少なくとも１つの背景特徴に関する少なくとも１つの追跡特徴を、複数の特徴点の移動特徴に基づいて特定するように構成される。
本発明の他の態様によれば、実行された時に、コンピュータに、ビジュアルトラッキングをサポートする方法を実行させる命令を記憶した非一時的なコンピュータ読取可能媒体が提供される。この方法は、撮像デバイスから異なる時間に取得された複数の画像フレームを受信するステップであって、各画像フレームが複数の特徴点に関連付けられる複数のピクセルを含むステップと、複数の画像フレームを分析して複数の特徴点の移動特性を計算するステップと、少なくとも１つの背景特徴に関する少なくとも１つの追跡特徴を、複数の特徴点の移動特性に基づいて特定するステップとを含んでいてもよい。
ビジュアルトラッキングシステムが、本発明の別の態様に従って提供されてもよい。このシステムは、撮像デバイスと、個々に、又はまとめて、撮像デバイスから異なる時間に取得された複数の画像フレームを受信し、各画像フレームは複数の特徴点に関連付けられる複数のピクセルを含み、複数の画像フレームを分析して複数の特徴点の移動特性を計算し、少なくとも１つの背景特徴に関する少なくとも１つの追跡特徴を、複数の特徴点の移動特徴に基づいて特定するように構成される１つ又は複数のプロセッサとを含む。
本発明の他の態様は、ビジュアルトラッキングをサポートする方法に関していてもよい。この方法は、撮像デバイスによって、ある期間にわたり、撮像デバイスの運動中に取得された複数の画像フレームを示す複数の画像信号を受信するステップであって、各画像フレームが複数のピクセルを含むステップと、撮像デバイスの運動特性を複数の運動信号に基づいて取得するステップと、複数の画像信号を撮像デバイスの運動特性に基づいて分析することにより、複数のピクセルに関連付けられる移動特性を計算するステップとを含んでいてもよい。
本発明のある態様によれば、ビジュアルトラッキングをサポートする装置が提供される。この装置は１つ又は複数のプロセッサを含んでいてもよく、これは個々に、又はまとめて、撮像デバイスによって、ある期間にわたり、撮像デバイスの運動中に取得された複数の画像フレームを示す複数の画像信号を受信し、各画像フレームが複数のピクセルを含み、撮像デバイスの運動特性を複数の運動信号に基づいて取得し、複数の画像信号を撮像デバイスの運動特性に基づいて分析することにより、複数のピクセルに関連付けられる移動特性を計算するように構成される。
本発明の他の態様によれば、実行された時に、コンピュータに、ビジュアルトラッキングをサポートする方法を実行させる命令を記憶した非一時的なコンピュータ読取可能媒体が提供される。この方法は、撮像デバイスによって、ある期間にわたり、撮像デバイスの運動中に取得された複数の画像フレームを示す複数の画像信号を受信するステップであって、各画像フレームが複数のピクセルを含むステップと、撮像デバイスの運動特性を複数の運動信号に基づいて取得するステップと、複数の画像信号を撮像デバイスの運動特性に基づいて分析することにより、複数のピクセルに関連付けられる移動特性を計算するステップとを含んでいてもよい。
無人航空機（ＵＡＶ）が、本発明の別の態様に従って提供されてもよい。ＵＡＶは、撮像デバイスを含むビジュアルトラッキングシステムと、個々に、又はまとめて、撮像デバイスによって、ある期間にわたり、撮像デバイスの運動中に取得された複数の画像フレームを示す複数の画像信号を受信し、各画像フレームは複数のピクセルを含み、撮像デバイスの運動特性を複数の運動信号に基づいて取得し、複数の画像信号を撮像デバイスの運動特性に基づいて分析することにより、複数のピクセルに関連付けられる移動特性を計算するように構成される１つ又は複数のプロセッサとを含む。
本発明の他の態様は、ビジュアルトラッキングをサポートする方法に関していてもよい。この方法は、移動ビジュアルトラッキングデバイスを介して、複数の特徴点の移動特性を取得するステップと、複数の特徴点の移動特性に基づいて、複数の特徴点からある特徴点群を選択するステップと、移動ビジュアルトラッキングデバイスの運動特性を調整することによって移動点群を追跡し、特徴点群を実質的に、移動ビジュアルトラッキングデバイスを使って取得された各画像フレームの標的領域内に位置付けるようにするステップとを含む。
本発明のある態様によれば、ビジュアルトラッキングをサポートする装置が提供される。この装置は１つ又は複数のプロセッサを含んでいてもよく、これは、個々に、又はまとめて、移動ビジュアルトラッキングデバイスを介して、複数の特徴点の移動特性を取得し、複数の特徴点の移動特性に基づいて、複数の特徴点からある特徴点群を選択し、移動ビジュアルトラッキングデバイスの運動特性を調整することによって移動点群を追跡し、特徴点群を実質的に、移動ビジュアルトラッキングデバイスを使って取得された各画像フレームの標的領域内に位置付けるように構成される。
本発明の他の態様によれば、実行された時に、コンピュータにビジュアルトラッキングをサポートする方法を実行させる命令を記憶した非一時的なコンピュータ読取可能媒体が提供される。この方法は、移動ビジュアルトラッキングデバイスを介して、複数の特徴点の移動特性を取得するステップと、複数の特徴点の移動特性に基づいて、複数の特徴点からある特徴点群を選択するステップと、移動ビジュアルトラッキングデバイスの運動特性を調整することによって移動点群を追跡し、特徴点群を実質的に、移動ビジュアルトラッキングデバイスを使って取得された各画像フレームの標的領域内に位置付けるようにするステップとを含む。
無人航空機（ＵＡＶ）が本発明の別の態様に従って提供されてもよい。ＵＡＶは、撮像デバイスを含むビジュアルトラッキングシステムと、個々に、又はまとめて、移動ビジュアルトラッキングデバイスを介して、複数の特徴点の移動特性を取得し、複数の特徴点の移動特性に基づいて、複数の特徴点からある特徴点群を選択し、移動ビジュアルトラッキングデバイスの運動特性を調整することによって移動点群を追跡し、特徴点群を実質的に、移動ビジュアルトラッキングデバイスを使って取得された各画像フレームの標的領域内に位置付けるように構成される１つ又は複数のプロセッサとを含んでいてもよい。
理解すべき点として、本発明の様々な態様は、個々にも、まとめても、又は相互に組み合わせても理解できる。本明細書で説明される本発明の各種の態様は、後述の具体的な用途の何れにも、又は他の何れの種類の移動可能物体にも適用できる。本明細書中の航空機に関する説明は全て、あらゆる輸送手段等、何れの移動可能物体にも適用され、使用されてよい。これに加えて、本明細中で空中の運動（例えば飛行）に関して開示されるシステム、デバイス、及び方法はまた、他の種類の運動、例えば地上若しくは水上の移動、水中の運動、宇宙での運動に関しても適用されてよい。
本発明の他の目標と特徴は、明細書、特許請求の範囲、及び添付の図面を参照することによって、より明らかとなるであろう。
参照による援用
本明細書中に記載されている全ての出版物、特許、及び特許出願は、参照により、個々の出版物、特許、又は特許出願の各々が明確に、参照によって援用されると個別に明記された場合と同程度に、参照によって本願に援用される。
本発明の新規な特徴は、付属の特許請求の範囲に具体的に示されている。本発明の特徴と利点は、本発明の原理が利用される例示的な実施形態を示す以下の詳細な説明と次のような添付の図面を参照することによって、よりよく理解されるであろう。
幾つかの実施形態による例示的な画像分析器を含むビジュアルトラッキングシステムのブロック図を示す。 幾つかの実施形態による、図１の画像分析器を使用した例示的な画像フレームのシーケンスにおける追跡特徴と背景特徴の特定を示す。 幾つかの実施形態による、画像フレーム内のあるピクセルの異なる移動特性を示す。 幾つかの実施形態による、追跡特徴を取り囲む外郭の大きさが増大する例示的な画像フレームのシーケンスを示す。 幾つかの実施形態による、追跡特徴を取り囲む外郭の大きさが縮小する例示的な画像フレームのシーケンスを示す。 幾つかの他の実施形態による、追跡特徴を取り囲む外郭の大きさが増大する例示的な画像フレームのシーケンスを示す。 幾つかの実施形態による、追跡特徴を取り囲む外郭の大きさが縮小する例示的な画像フレームのシーケンスを示す。 幾つかの実施形態による、異なる物体種別の１つ又は複数の標的物体の移動、収束、発散、追加、及び／又は減少を伴う追跡特徴を取り囲む外郭の大きさ及び／又は形状の変化を示す。 幾つかの実施形態による、標的物体の数が変化する間の、又は標的物体がランダムに集合的に移動する時の追跡特徴を取り囲む外郭の大きさ及び／又は形状の変化を示す。 異なる実施形態による、標的物体が１つの位置から他の位置へと移動する間に追跡特徴を取り囲む外郭の大きさ及び／又は形状が比較的一定の、撮像デバイスによる標的物体の追跡を示す。 異なる実施形態による、標的物体が１つの位置から他の位置へと移動する間に追跡特徴を取り囲む外郭の大きさ及び／又は形状が変化する、撮像デバイスによる標的物体の追跡を示す。 幾つかの実施形態による、撮像デバイスの運動特性に基づいて複数のピクセルの移動特性を計算する画像分析器を含むビジュアルトラッキングシステムを示す。 幾つかの実施形態による、図１５の画像分析器を使用した例示的な画像フレームのシーケンスにおける複数のピクセルの移動特性の計算の一例を示す。 幾つかの実施形態による、撮像デバイスが標的物体群を追跡している異なる実施形態を示す。 幾つかの実施形態による、例示的な画像フレームのシーケンスにおける背景特徴と追跡特徴の例示的な移動を示す。 幾つかの他の実施形態による、例示的な画像フレームのシーケンスにおける背景特徴と追跡特徴の例示的な移動を示す。 幾つかの別の実施形態による、例示的な画像フレームのシーケンスにおける背景特徴と追跡特徴の例示的な移動を示す。 幾つかの実施形態による、円弧に沿って曲線的に標的物体を追跡する撮像デバイスを示す。 幾つかのまた別の実施形態による、例示的な画像フレームのシーケンスにおける背景特徴と追跡特徴の例示的な移動を示す。 幾つかの更にまた別の実施形態による、例示的な画像フレームのシーケンスにおける背景特徴と追跡特徴の例示的な移動を示す。 幾つかの実施形態による、移動ビジュアルトラッキングデバイスの運動特性を調整することによって特徴点群を追跡するように構成されたビジュアルトラッキングシステムを示す。 幾つかの実施形態による、図２６の移動ビジュアルトラッキングシステムを使用した例示的な画像フレームのシーケンスにおける特徴点群の追跡を示す。 幾つかの実施形態による、図２６の移動ビジュアルトラッキングシステムを使用した例示的な画像フレームのシーケンスにおける常に変化している特徴点群の追跡を示す。 幾つかの実施形態による、図２６の移動ビジュアルトラッキングシステムを使用した特徴点の小集合の追跡を示す。 幾つかの実施形態による、移動可能物体を制御するシステムの概略的ブロック図である。
本明細書において提供されるシステム、方法、及びデバイスにより、１つの移動物体又は移動物体群の高い精度／正確度での特定及び／又は追跡が可能となる。これは、追跡デバイスの特定及び／又は追跡能力を改善できる。幾つかの例において、本明細書において提供されるシステム、方法、及びデバイスは、複数の画像フレームの中の特定の視覚的特徴を、これらの特定の視覚的特徴が追跡されているか否かを問わず、特定できる。
幾つかの実施形態において、複数の画像フレームが撮像デバイスを使って異なる時間に取得されてもよい。各画像フレームは、複数の特徴点に関連付けられる複数のピクセルを含んでいてもよい。複数の画像フレームが分析されて、複数の特徴の移動特性が計算されてもよい。少なくとも１つの背景特徴に関する少なくとも１つの追跡特徴が、複数の特徴点の移動特性に基づいて特定されてもよい。追跡特徴は１つ又は複数の移動物体に関連付けられてもよく、背景特徴は１つ又は複数の静止物体に関連付けられてもよい。したがって、移動物体と静止物体は、背景特徴から追跡特徴を区別することによって特定されてもよい。
幾つかの他の実施形態において、１つ又は複数の移動物体は、撮像デバイスの移動中に追跡可能である。これらの実施形態において、複数の画像信号が受信されてもよい。画像信号は、撮像デバイスによってある期間にわたり、撮像デバイスが移動している間に取得された複数の画像フレームを示していてもよい。各画像フレームは、複数のピクセルを含んでいてもよい。撮像デバイスの運動特性は、撮像デバイスに関連付けられる複数の運動信号に基づいて取得されてもよい。複数の画像信号は、撮像デバイスの運動特性に基づいて分析されてもよく、それによって複数のピクセルに関連付けられる移動特性が計算される。幾つかの例において、複数のピクセルに関連付けられる移動特性と撮像デバイスの運動特性との間の相関関係が取得されてもよい。
幾つかの別の実施形態において、１つ又は複数の移動物体は、移動ビジュアルトラッキングデバイスの運動特性を調整することによって追跡可能である。これらの実施形態において、複数の特徴点の移動特性は、移動ビジュアルトラッキングデバイスを介して取得されてもよい。複数の特徴点からのある特徴点群が、複数の特徴点の移動特性に基づいて選択されてもよい。特徴点群は、１つ又は複数の移動物体に関連付けられてもよい。特徴点群は、移動ビジュアルトラッキングデバイスの運動特性を調整することによって追跡されてもよく、それによって特徴点群は実施的に、移動ビジュアルトラッキングデバイスを使って取得された各画像フレームの標的領域内に位置付けられる。
したがって、１つ又は複数の移動物体は、本明細書において提供されるシステム、方法、及びデバイスを使って検出し、精密に追跡することが可能である。移動物体としては、ＧＰＳ装置を持たない移動物体、十分に定義された特徴を持たない、若しくは既知の物体種別に当てはまらない移動物体、従来の物体認識方法を用いて容易に検出できない移動物体、集合的に群を形成し、その群の大きさ及び／又は形状が時間と共に無定形化し、変化する移動物体、異なる編成で移動する複数の異なる物体、又はこれらの何れかの組合せが含まれていてもよい。
当然のことながら、本発明の様々な態様は、個々にも、まとめても、又は相互に組み合わせても理解できる。本明細書で説明される本発明の各種の態様は、後述の具体的な用途の何れにも、又は他の何れの種類の遠隔操作型輸送手段若しくは移動可能物体にも適用できる。
本発明は、例えば無人航空機（ＵＡＶ）により支持される撮像デバイスの追跡能力を改善し、移動物体群の自律的追跡を可能にするためのシステム、デバイス、及び／又は方法を提供する。ＵＡＶの説明は、地上、地下、水中、水上、空中、又は宇宙配備輸送手段等、他の何れの種類の輸送手段にも適用されてよい。
図１は、幾つかの実施形態による、例示的な画像分析器を含むビジュアルトラッキングシステム１００のブロック図を示す。ビジュアルトラッキングシステムは、自立型システムとして実装されてもよく、車両に搭載される必要はない。幾つかの他の実施形態において、ビジュアルトラッキングシステムは車両に搭載されてもよい。図１に示されるように、ビジュアルトラッキングシステムは、撮像デバイス１１０及び画像分析器１２０を含んでいてもよい。ビジュアルトラッキングシステムは、少なくとも１つの背景特徴に関する少なくとも１つの追跡特徴を複数の特徴点の移動特性に基づいて特定するように構成されてもよい。
本明細書で使用される撮像デバイスは、画像取得デバイスとしての機能を果たしてもよい。撮像デバイスは、物理的撮像デバイスであってもよい。撮像デバイスは、電磁放射（例えば、可視光、赤外線、及び／又は紫外線）を検出して、検出された電磁放射に基づいて画像データを生成するように構成できる。撮像デバイスとしては、光の波長に応答して電気信号を生成する電荷結合素子（ＣＣＤ）センサ又は相補型金属酸化膜半導体（ＣＭＯＳ）センサが含まれていてもよい。結果として得られる電気信号の処理により、画像データが生成可能である。撮像デバイスにより生成された画像データは、１つ又は複数の画像を含むことができ、これは静止画像（例えば、写真）でも、動画（例えば、ビデオ）でも、又はそれらの適当な組合せでもよい。画像データはカラー（例えばＲＧＢ、ＣＭＹＫ、ＨＳＶ）でも、又はモノクロ（例えば、グレイスケール、黒白、セピア）でもよい。撮像デバイスは、光を画像センサへと案内するように構成されたレンズを含んでいてもよい。
幾つかの実施形態において、撮像デバイスはカメラとすることができる。カメラは、動画データ（例えば、ビデオ）を取得するムービ又はビデオカメラとすることができる。カメラは、静止画像（例えば、写真）を取得するスチールカメラとすることができる。カメラは、動画データと静止画像の両方を取得してもよい。カメラは、動画データと静止画像の取得を切り替えてもよい。本明細書において提供される特定の実施形態はカメラに関して説明されているが、当然のことながら、本開示は何れの適当な撮像デバイスにも応用でき、本明細書におけるカメラに関する説明は全て、何れの適当な撮像デバイスにも適用可能であり、本明細書におけるカメラに関する説明は全て、他の種類の撮像デバイスにも適用可能である。カメラは、３Ｄシーン（例えば、環境、１つ又は複数の物体、その他）の２Ｄ画像の生成にも使用できる。カメラにより生成される画像は、２Ｄ画像面への３Ｄシーンの投影を表すことができる。したがって、２Ｄ画像上の各点はそのシーンの中の３Ｄ空間座標に対応する。カメラは、光学素子（例えばレンズ、ミラー、フィルタ、その他）を含んでいてもよい。カメラは、カラー画像、グレイスケール画像、赤外線画像、及びその他を取得してもよい。カメラは、赤外線画像を取得するように構成されている場合、熱画像カメラであってもよい。
撮像デバイスは、特定の画像解像度で１つの画像又は画像シーケンスを取得してもよい。幾つかの実施形態において、画像解像度は１つの画像内のピクセル数により定義されてもよい。幾つかの実施形態において、画像解像度は、約３５２×４２０ピクセル、４８０×３２０ピクセル、７２０×４８０ピクセル、１２８０×７２０ピクセル、１４４０×１０８０ピクセル、１９２０×１０８０ピクセル、２０４８×１０８０ピクセル、３８４０×２１６０ピクセル、４０９６×２１６０ピクセル、７６８０×４３２０ピクセル、又は１５３６０×８６４０ピクセルより大きいか、これと等しくてもよい。幾つかの実施形態において、カメラは４Ｋカメラ又はより高解像度のカメラであってもよい。
撮像デバイスは、特定の取得レートで画像シーケンスを取得してもよい。幾つかの実施形態において、画像シーケンスは、例えば約２４ｐ、２５ｐ、３０ｐ、４８ｐ、５０ｐ、６０ｐ、７２ｐ、９０ｐ、１００ｐ、１２０ｐ、３００ｐ、５０ｉ又は６０ｉの標準的ビデオフレームレートで取得されていてもよい。幾つかの実施形態において、画像シーケンスは、０．０００１秒、０．０００２秒、０．０００５秒、０．００１秒、０．００２秒、０．００５秒、０．０１秒、０．０２秒、０．０５秒、０．１秒、０．２秒、０．５秒、１秒、２秒、５秒又は１０秒ごとに約１枚の画像より低いか、又はそれと同等のレートで取得されてもよい。幾つかの実施形態において、取得レートは、ユーザによる入力及び／又は外的条件（例えば、雨、雪、風、環境の不明瞭な表面状態）に依存して変化してもよい。
撮像デバイスは、調整可能なパラメータを有していてもよい。異なるパラメータにより、撮像デバイスにより異なる画像が同じ外的条件下（例えば、場所、照明）で取得されてもよい。調整可能なパラメータとしては、露出（例えば、露出時間、シャッタスピード、絞り、フィルムスピード）、利得、ガンマ、関心領域、ビニング／サプサンプリング、ピクセルクロック、オフセット、トリガリング、ＩＳＯ、その他が含まれていてもよい。露出に関するパラメータは、撮像デバイス内の画像センサに到達する光の量を制御してもよい。例えば、シャッタスピードは、光が画像センサに到達する時間の量を制御してもよく、絞りは、ある時点で画像センサに到達する光の量を制御してもよい。利得に関するパラメータは、光センサからの信号の増幅を制御してもよい。ＩＳＯは、利用可能な光に対するカメラの感度のレベルを制御してもよい。露出と利得を制御するパラメータは、まとめて考慮され、ここではＥＸＰＯと呼ばれてもよい。
幾つかの代替的な実施形態において、撮像デバイスとは物理的な撮像デバイス以外に及んでもよい。例えば、撮像デバイスは、画像又はビデオフレームを取得及び／又は生成できるあらゆる技術を含んでいてもよい。幾つかの実施形態において、撮像デバイスは、他の物理的デバイスから取得された画像を処理できるアルゴリズムを参照してもよい。
図１の例において、撮像デバイスは、複数の物体１０２の画像データを取得するように構成されてもよい。画像データは例えば、複数の物体の静止画像又はビデオフレームに対応してもよい。物体とは、ビジュアルトラッキングシステムによって実時間で光学的に特定及び／又は追跡可能な何れの物理的物体又は構造を含んでいてもよい。光学的追跡には幾つかの利点がある。例えば、光学的追跡は、無線「センサ」を実現し、ノイズによる影響を受けにくく、多くの物体（例えば、異なる種類の物体）の同時追跡を可能にする。物体は、２Ｄ又は３Ｄフォーマットの静止画像及び／又はビデオフレームで描写でき、実像でもアニメーションでもよく、カラーでも、黒／白でも、又はグレイスケールスケールでもよく、何れの色空間内にあってもよい。
図１に示されるように、視覚経路（破線で示される）が撮像デバイスと複数の物体との間に提供され、その結果、物体が撮像デバイスの視野内にある。幾つかの実施形態において、物体は図１の構成要素のうちの１つ又は複数と動作的に接続されてもよい。例えば、物体は、システム１００の中の構成要素のうちの１つ又は複数と通信してもよい。幾つかの実施形態において、物体はそこに搭載されたＧＰＳ装置（例えば、ＧＰＳ受信機）を含んでいてもよい。
幾つかの実施形態において、物体は図１の構成要素の何れとも動作的に接続されていなくてもよい。例えば、物体は、システム１００の構成要素の何れとも通信していなくてもよい。物体はまた、そこに搭載されたＧＰＳ装置（例えば、ＧＰＳ受信機）を一切含んでいなくてもよい。その代わりに、物体は何れの自立型の物理的物体又は構造とすることもできる。物体の幾つかは運動（例えば、並進及び／又は回転、地上移動、空中飛行、その他）が可能であってもよい。後述のように、物体の幾つか又は全部の運動のあらゆる種類、範囲、及び大きさが想定される。
物体は一般に、標的物体と背景物体に分類される。標的物体とは、本明細書において使用されるかぎり、運動可能な物体を指し、何れかのある時点で移動していても静止していてもよい。幾つかの例において、標的物体が移動している時、標的物体は移動物体と呼ばれてもよい。標的物体の例としては、人間や動物等の生体、又は人間の集合又は動物の群れを含んでいてもよい。或いは、標的物体は人間や動物等の生体、又は輸送手段等の移動可能物体により担持されてもよい。背景物体とは、本明細書において使用されるかぎり、一般的にある場所に実質的に固定された物体を指す。背景物体は、移動できない、例えば静止物体であってもよい。背景物体の例としては、地理的特徴、植物、地形、建物、一体構造、又はあらゆる固定された構造が含まれていてもよい。
標的物体はまた、あらゆる適当な環境内で移動するように構成されたあらゆる物体であってもよく、例えば空中（例えば、固定翼航空機、回転翼航空機、又は固定翼も回転翼も持たない航空機）、水中（例えば、船舶又は潜水艦）、地上（例えば、乗用車、トラック、ボックスカー、バン、オートバイ等の自動車、ステッキ、釣竿等の移動可能な構造若しくは支持体、又は列車）、地下（例えば、地下鉄）、宇宙（例えば、宇宙飛行機、人工衛星、又はプローブ）、又はこれらの環境のあらゆる組合せがある。
標的物体は、環境内で６自由度（例えば並進３自由度、回転３自由度）に関して自由に移動できてもよい。或いは、標的物体の移動は、１つ又は複数の自由度に関して、例えば所定の経路、軌道、又は方位によって制約できる。移動は、例えばエンジン又はモータ等、何れの適当な作動機構によっても作動させることができる。標的物体の作動機構は、電気エネルギー、磁気エネルギー、太陽エネルギー、風エネルギー、重力エネルギー、化学的エネルギー、核エネルギー、又はこれらのあらゆる適当な組合せ等の、何れの適当なエネルギー源によっても動力供給できる。標的物体は、更に後述されるような推進システムを介した自走式であってもよい。推進システムは任意選択により、エネルギー源、例えば電気エネルギー、磁気エネルギー、太陽エネルギー、風エネルギー、重力エネルギー、化学的エネルギー、核エネルギー、又はこれらのあらゆる適当な組合せにより動作してもよい。
幾つかの例において、標的物体は、例えば遠隔的に制御される輸送手段等の輸送手段とすることができる。適当な輸送手段としては、船舶類、航空機、宇宙車両、又は地上輸送手段を含んでいてもよい。例えば、航空機は固定翼航空機（例えば、飛行機、グライダ）、回転翼航空機（例えば、ヘリコプタ、ロータクラフト）、固定翼と回転翼の両方を有する航空機、又は何れも持たない航空機（例えば、飛行船、熱気球）であってもよい。輸送手段は自走式とすることができ、例えば、空中、水上又は水中、宇宙空間、又は地上若しくは地下での自走式とすることができる。自走式輸送手段は、推進システム、例えば１つ又は複数のエンジン、モータ、車輪、アクスル、磁石、ロータ、プロペラ、ブレード、ノズル、若しくはこれらのあらゆる適当な組合せ等の推進システムを利用できる。幾つかの例において、推進システムは、移動可能物体が離陸し、着陸し、その現在の位置及び／又は方位を維持し（ホバリング等）、向きを変え、及び／又は位置を変えることができるようにするために使用することができる。
幾つかの実施形態において、標的物体は、追跡デバイスによって追跡されてもよい。追跡デバイスは、撮像デバイスでも、画像デバイスを担持する移動可能物体でもよい。移動可能物体は、例えばＵＡＶでもよい。標的物体は、追跡デバイスと同じ種類の移動可能物体であってもよく、又は追跡デバイスとは異なる種類の移動可能物体であってもよい。例えば、幾つかの実施形態において、追跡デバイスと標的物体はどちらもＵＡＶであってよい。追跡デバイスと標的物体は、同じ種類のＵＡＶでも、異なる種類のＵＡＶでもよい。異なる種類のＵＡＶは、異なる形状、フォームファクタ、機能、又はその他の特性を有していてもよい。標的物体と追跡デバイスは、背景物体に関して三次元空間で移動してもよい。前述のように、背景物体の例としては、地理的特徴（例えば、山）、ランドマーク（例えば、橋）、建物（例えば、高層ビル、スタジアム、その他）、又は他の固定構造を含んでいてもよい。
図１に示されるように、撮像デバイスにより取得された画像データは、複数の画像信号１１２で符号化されてもよい。複数の画像信号が撮像デバイスを使って生成されてもよい。画像信号は、撮像デバイスを使って異なる時間に取得された複数の画像フレームを含んでいてもよい。例えば、画像信号は、時間Ｔ１に取得された第一の画像フレーム１１２−１と、時間Ｔ２に取得された第二の画像フレーム１１２−２を含んでいてもよく、時間Ｔ２は時間Ｔ１より後に発生した時点であってもよい。各画像触フレームは、複数のピクセルを含んでいてもよい。幾つかの実施形態において、複数の画像フレームは複数のカラー画像を含んでいてもよく、複数のピクセルはカラーピクセルを含んでいてもよい。他の実施形態において、複数の画像フレームは複数のグレイスケール画像を含んでいてもよく、複数のピクセルはグレイスケールピクセルを含んでいてもよい。幾つかの実施形態において、複数のグレイスケール画像の各ピクセルは、正規化されたグレイスケール値を含んでいてもよい。
画像フレーム内の複数のピクセルは、複数の特徴点に関連付けられてもよい。特徴点は、ある物体上のある点又はある領域に対応していてもよい。幾つかの実施形態において、特徴点は、ある画像フレーム内の単独のピクセルにより表現されてもよい。例えば、各特徴点は、対応するピクセルと１：１の対応（すなわち、１：１の相関関係）を有していてもよい。幾つかの実施形態において、各特徴点は対応するピクセルのグレイスケール値と直接相関していてもよい。幾つかの実施形態において、特徴点はある画像フレーム内のピクセルクラスタによって表現されてもよい。例えば、各特徴点は、ピクセルと１：ｎの対応（すなわち、１：ｎの相関関係）を有していてもよく、ｎは１より大きい何れかの整数である。ピクセルクラスタは、２、３、４、５、６、７、８、９、１０又はそれ以上のピクセルを含んでいてもよい。全てのピクセルは、同時か、又は逐次的に、個別に分析できる。同様に、全てのピクセルクラスタは、同時か、又は逐次的に、個別に分析できる。ピクセルクラスタの分析は、画像フレーム内の全ピクセルを分析するために必要な処理時間（及び処理パワー）を削減するのに役立ちうる。１つ又は複数のピクセルの移動特性が分析されて、これらのピクセルに関連付けられる１つ又は複数の特徴点が決定されてもよく、これについては本明細書で後述する。
幾つかの特定の実施形態において、ある特徴点は、ある画像の中のある部分（例えば、エッジ、コーナ、関心点、ブロブ、リッジ、その他）とすることができ、これは画像の残りの部分及び／又は画像内の他の特徴点と一意的に識別可能である。任意選択により、特徴点は画像化された物体の変形（例えば、並進、回転、拡縮）、及び／又は画像の特性の変化（例えば、明るさ、露出）に対して比較的一定であってもよい。特徴点は、画像の中の情報的コンテンツが豊富な部分（例えば重要な２Ｄテクスチャ）において検出されてもよい。特徴点は、画像の中の、摂動時に（例えば、画像の照明及び明るさが変化する時に）安定している部分において検出されてもよい。
特徴点は、１つ又は複数の特徴点を画像データから抽出しうる各種のアルゴリズム（例えば、テクスチャ検出アルゴリズム）を使って検出できる。アルゴリズムはそれに加えて、特徴点に関する各種の計算を行ってもよい。例えば、アルゴリズムは特徴点の総数、すなわち「特徴点数」を計算してもよい。アルゴリズムはまた、特徴点の分布も計算してよい。例えば、特徴点は、ある画像（例えば、画像データ）又はその画像の小部分内で広範囲に分散されてもよい。例えば、特徴点は、ある画像（例えば、画像データ）又はその画像の小部分内で狭い範囲で分散されていてもよい。アルゴリズムはまた、特徴点の品質を計算してもよい。幾つかの例において、特徴点の品質は本明細書に記載されるアルゴリズム（例えば、ＦＡＳＴ、コーナ検出、Ｈａｒｒｉｓ、その他）によって計算された数値に基づいて決定又は評価されてもよい。
アルゴリズムは、エッジ検出アルゴリズム、コーナ検出アルゴリズム、ブロブ検出アルゴリズム、又はリッジ検出アルゴリズムであってもよい。幾つかの実施形態において、コーナ検出アルゴリズムは“Ｆｅａｔｕｒｅｓ ｆｒｏｍ ａｃｃｅｌｅｒａｔｅｄ ｓｅｇｍｅｎｔ ｔｅｓｔ”（ＦＡＳＴ）であってもよい。幾つかの実施形態において、特徴検出器は、特徴点を抽出し、ＦＡＳＴを使って特徴点に関する計算を行ってもよい。幾つかの実施形態において、特徴検出器は、Ｃａｎｎｙエッジ検出器、Ｓｏｂｅｌオペレータ、Ｈａｒｒｉｓ ＆ Ｓｔｅｐｈｅｎｓ／Ｐｌｅｓｓｙ／Ｓｈｉ−Ｔｏｍａｓｉコーナ検出アルゴリズム、ＳＵＳＡＮコーナ検出器、等高線曲率方式、Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ、Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎｓ、ヘシアンの行列式、ＭＳＥＲ、ＰＣＢＲ、又はグレイレベルブロブ、ＯＲＢ、ＦＲＥＡＫ、又はこれらの適当な組合せとすることができる。
幾つかの実施形態において、特徴点は１つ又は複数の非顕著特徴を含んでいてもよい。本明細書で使用されるかぎり、非顕著特徴とは、ある画像内の非顕著領域又は非特異的（例えば、認識不能）物体を指してもよい。非顕著特徴は、ある画像内の、目立つ、又は人間の観察者の注意を引く可能性の低い要素を指してもよい。非顕著特徴の例としては、それらの周囲のピクセルのコンテキストの外から見たときに、観察者にとって非弁別的又は非特定可能である個々のピクセル又はピクセル群を含んでいてもよい。
幾つかの代替的な実施形態において、特徴点は１つ又は複数の顕著特徴を含んでいてもよい。顕著特徴とは、ある画像内の顕著な領域又は目立つ（例えば、認識可能な）物体を指してもよい。本明細書で使用されるかぎり、顕著特徴とは、ある画像内の顕著な領域又は目立つ（例えば、認識可能な）物体を指してもよい。顕著特徴は、ある画像内の、目立つ、又は人間の観察者の注意を引く可能性のある要素を指してもよい。顕著特徴は、意味論的な意味を有していてもよい。顕著特徴は、コンピュータピジョン処理の下で一貫して特定できる要素を指してもよい。顕著特徴は、ある画像内の生きている物体、生きていない物体、ランドマーク、マーク、ロゴ、障害物、及びその他を指してもよい。顕著特徴は、異なる条件下で一貫して観察されてもよい。例えば、顕著特徴は、異なる視点から、１日の中の異なる時間に、異なる照明条件下で、異なる気候条件下で、異なる画像取得設定（例えば、異なる利得、露出、その他）で、及びその他により取得された画像の中で（例えば、人間の観察者又はコンピュータプログラムにより）一貫して特定されてもよい。例えば、顕著特徴としては、人、動物、顔、体、構造、建物、輸送手段、平面、符号、及びその他が含まれていてもよい。
顕著特徴は、何れの既存の顕著性計算方法を使って特定又は判断されてもよい。例えば、顕著特徴は、コントラストに基づくフィルタ処理（例えば、色、強度、方位、大きさ、運動、深さ、その他に基づく）により、スペクトル残差法を使って、Ｆｒｅｑｕｅｎｃｙ−ｔｕｎｅｄ Ｓａｌｉｅｎｔ Ｒｅｇｉｏｎ Ｄｅｔｅｃｔｉｏｎを介して、Ｂｉｎａｒｉｚｅｄ Ｎｏｒｍｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｏｂｊｅｃｔｎｅｓｓ Ｅｓｔｉｍａｔｉｏｎを介して、コンテキスト適応型トップダウン方式を用いて、サイトエントロピレートによる視覚的顕著性を測定することによって、及びその他により特定されてもよい。例えば、顕著特徴は１つ又は複数の画像にコントラストに基づくフィルタ処理（例えば、色、強度、方位等）を行うことによって生成された顕著性マップの中で特定されてもよい。顕著性マップは、特徴のコントラストを有する領域を表していてもよい。顕著性マップは人々が見る予測手段であってもよい。顕著性マップは、特徴や注視点を表現する空間ヒートマップであってもよい。例えば、顕著性マップの中で、顕著領域は、非顕著領域より輝度コントラスト、色コントラスト、エッジコンテンツ、強度、その他が高いかもしれない。幾つかの実施形態において、顕著特徴とは、物体認識アルゴリズム（例えば、特徴に基づく方法、外観に基づく方法、その他）を使って特定されてもよい。任意選択により、１つ若しくは複数の物体、又はパターン、物体、形状、色、ロゴ、輪郭、その他の１つ又は複数の種類が、考えられる顕著特徴として事前に保存されていてもよい。画像が分析され、事前に保存されていた顕著特徴（例えば、ある物体又は物体の種類）が特定されてもよい。事前に保存された顕著特徴は更新されてもよい。或いは、顕著特徴は事前に保存されていなくてもよい。顕著特徴は、事前に保存された情報に関係なく、実時間で認識されてもよい。
幾つかの実施形態において、撮像デバイスは追跡デバイス（図示せず）の上に取り付けられ、又はそれと並置されてもよい。追跡デバイスは、例えば、空中、地上、水上、又は水中で移動できる輸送手段とすることができる。輸送手段の例としては、航空機（例えば、ＵＡＶ）、地上輸送手段（例えば、乗用車）、水上輸送手段（例えば、ボート）、その他が含まれていてもよい。幾つかの実施形態において、追跡デバイスは、モバイルデバイス、携帯電話若しくはスマートフォン、携帯情報端末（ＰＤＡ）、コンピュータ、ラップトップ、タブレットＰＣ、メディアコンテンツプレイヤ、ビデオゲームステーション／システム、仮想現実ヘッドセット若しくは頭部搭載型装置（ＨＭＤ）等のウェアラブルデバイス、又は画像データの取得、提供、若しくは提示、及び／又は画像データに基づく標的物体の特定若しくは追跡が可能なあらゆる電子デバイスであってもよい。追跡デバイスは、追跡デバイスが撮像デバイスと通信し、そこから画像データを受信できようにするソフトウェアアプリケーションを更に含んでいてもよい。追跡デバイスは、画像データを画像分析のために画像分析器に供給するように構成されてもよい。幾つかの例において、追跡デバイスは自走式であってもよく、静止もしくは移動式とすることもでき、時間と共に方位（例えば、姿勢）を変えてもよい。
他の例として、追跡デバイスは、ウェブサーバ、エンタープライズサーバ、又は他の何れの種類のコンピュータサーバとすることもできる。追跡デバイスは、画像分析器から要求を受け入れ（例えばＨＴＴＰ、又はデータ送信を開始できるその他のプロトコル）、画像分析器に要求された画像データを供給するようにプログラムされたコンピュータとすることができる。幾つかの実施形態において、追跡デバイスは、画像データを配信するための放送機能、例えばＦｒｅｅ−ｔｏ−Ａｉｒ、ケーブル、衛星、及びその他の放送機能とすることができる。
幾つかの実施形態において、撮像デバイスより取得された画像データは、この画像データが画像分析器に供給される前にメディアストレージ（図示せず）に保存されてもよい。画像分析器は、メディアストレージから直接画像データを受信するように構成されてもよい。幾つかの実施形態において、画像分析器は、画像データを撮像デバイスとメディアストレージの両方から同時に受信するように構成されてもよい。メディアストレージは、複数の物体の画像データを保存できる何れの種類の記憶媒体とすることもできる。前述のように、画像データはビデオ又は静止画像を含んでいてもよい。ビデオ又は静止画像は画像分析器により処理され、分析されてもよく、これについては、本明細書において後述する。メディアストレージは、ＣＤ、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ハードディスク、磁気テープ、フラッシュメモリカード／ドライブ、ソリッドステートドライブ、揮発性若しくは不揮発性メモリ、ホログラフィックデータストレージ、及びその他のあらゆる種類の記憶媒体として提供できる。幾つかかの実施形態において、メディアストレージはまた、画像データを画像分析器に供給できるコンピュータとすることもできる。
他の例として、メディアストレージは、ウェブサーバ、エンタープライズサーバ、又は他のあらゆる種類のコンピュータサーバとすることができる。メディアストレージは、画像分析器から要求を受け入れ（例えばＨＴＴＰ、又はデータ送信を開始できるその他のプロトコル）、画像分析器に要求された画像データを供給するようにプログラムされたコンピュータとすることができる。これに加えて、メディアストレージは、画像データを配信するための放送機能、例えばＦｒｅｅ−ｔｏ−Ａｉｒ、ケーブル、衛星、及びその他の放送機能とすることができる。メディアストレージはまた、データネットワーク（例えば、クラウドコンピューティングネットワーク）内のサーバであってもよい。
幾つかの実施形態において、メディアストレージは撮像デバイスにオンボードで設置されてもよい。幾つかの他の実施形態において、メディアストレージは、追跡デバイスにオンボードで、しかし撮像デバイスのオフボードで設置されてもよい。幾つかの別の実施形態において、メディアストレージは、１つ又は複数の外部デバイス上に、追跡デバイス及び／又は撮像デバイスのオフボードで設置されてもよい。これらの別の実施形態において、メディアストレージは、リモートコントローラ、地上局、サーバ、その他に設置されてもよい。上記の構成要素のあらゆる配置又は組合せも想定されてよい。幾つかの実施形態において、メディアストレージは撮像デバイス及び追跡デバイスと、ピア・ツー・ピアネットワークアーキテクチャを介して通信してもよい。幾つかの実施形態において、メディアストレージは、クラウドコンピューティングアーキテクチャを使って実装されてもよい。
画像データは、画像処理／分析のため画像分析器に（画像信号１１２の形態で）供給されてもよい。図１の例において、画像分析器は、複数の画像フレームを分析して、複数の特徴点から少なくとも１つの背景特徴に関する少なくとも１つの追跡特徴を特定する、プロセッサ内で実行するソフトウェアプログラムとして、及び／又はハードウェアとして実装できる。例えば、画像分析器は、画像フレームを分析して、複数の特徴点の移動特性を計算し、少なくとも１つの背景特徴に関する少なくとも１つの追跡特徴を複数の特徴点の移動特性に基づいて特定するように構成されてもよい。追跡特徴は、１つ又は複数の標的物体と関連付けられてもよい。背景特徴は、１つ又は複数の背景物体と関連付けられてもよい。
画像分析器は、標的物体と背景物体との間の相対位置を複数の特徴点の移動特性に基づいて判定するように構成されてもよい。撮像デバイスは静止していても移動してもよい。背景物体は、典型的には静止している。標的物体は静止していても移動してもよい。幾つかの実施形態において、追跡特徴と背景特徴は、撮像デバイス又は標的物体のうちの少なくとも一方が移動している、又は移動可能である間に特定されてもよい。何れかのある瞬間において、撮像デバイス又は標的物体は、移動及び／又は停止可能であってもよい。例えば、撮像デバイスを支持するＵＡＶは、ある期間にわたりホバリングしてから、他の位置に移動してもよい。
幾つかの実施形態において、画像分析器は、撮像デバイスから離れて位置付けられてもよい。例えば、画像分析器は撮像デバイスと通信する遠隔サーバの中に配置されてもよい。画像分析器は、他の何れの種類の外部デバイス（例えば、追跡デバイス用のリモートコントローラ、標的物体により担持される物体、基地局等の基準位置、又は他の追跡デバイス）に提供されていても、又はクラウドコンピューティングインフラストラクチャ上で分散されていてもよい。幾つかの実施形態において、画像分析器とメディアストレージは、同じデバイス上に設置されてもよい。他の実施形態において、画像分析器とメディアストレージは、異なるデバイス上に設置されてもよい。画像分析器とメディアストレージは、有線又は無線接続の何れかを介して通信してもよい。幾つかの実施形態において、画像分析器は、追跡デバイス上に設置されてもよい。例えば、画像分析器は、追跡デバイスの筐体内に配置されてもよい。幾つかの実施形態において、画像分析器は標的物体上に設置されてもよい。例えば、画像分析器は、標的物体の本体上に配置されてもよい。幾つかの実施形態において、画像分析器は背景物体上に設置されてもよい。例えば、画像分析器は背景物体の本体上に配置されてもよい。幾つかの別の実施形態において、画像分析器は、追記デバイス及び／又は標的物体と通信する基地局に配置されてもよい。画像分析器は、画像分析器が、（ｉ）撮像デバイスを使って異なる時間に取得された複数の画像フレームを受け取ること、（ｉｉ）複数の画像フレームを分析して、複数の特徴点の移動特性を計算すること、及び（ｉｉｉ）少なくとも１つの背景特徴に関する少なくとも１つの追跡特徴を複数の特徴点の移動特性に基づいて特定することが可能であるかぎり、どこに設置されてもよい。画像分析器は、上記の遺跡デバイス、標的物体、背景物体、基地局、又はその他のあらゆるデバイスの１つ又は複数と通信して画像データを受信してもよく、そこから、複数の特徴点の移動特性を計算でき、そこから背景特徴に関する追跡特徴を特定できる。
幾つかの実施形態において、画像フレームの分析結果が（分析信号１２２の形態で）出力デバイス（図示せず）に供給されてもよい。例えば、特定された追跡特徴と背景特徴は、１つ又は複数の、結果的な画像フレーム内に描かれてもよく、これらが出力デバイス上に表示される。結果的な画像フレームは、分析信号１２２の中に符号化されてもよい。結果的な画像フレームは、追跡特徴を背景特徴から区別するアノテーション（例えば、ラベル、円で囲まれた領域、異なるカラーコーディング、その他）を含んでいてもよい。出力デバイスは表示デバイス、例えば表示パネル、モニタ、テレビ、プロジェクタ、又は他の何れかの表示デバイスとすることができる。幾つかの実施形態において、出力デバイスは例えば、携帯電話若しくはスマートフォン、携帯情報端末（ＰＤＡ）、コンピュータ、ラップトップ、デスクトップ、タブレットＰＣ、メディアコンテンツプレイヤ、セットトップボックス、放送チューナを含むテレビ、ビデオゲームステーション／システム、又は、データネットワークにアクセスできる、及び／又は分析された画像データを画像分析器から受信できるあらゆる電子機器とすることができる。
幾つかの実施形態において、構成要素１１０及び１２０は別々の個別のデバイス上に設置されてもよい。これらの実施形態において、デバイス（その上に構成要素１１０及び１２０がそれぞれ設置される）は、ネットワーク又は、１つの構成要素から他の構成要素にデータを転送できるあらゆる種類の通信リンクを介して相互に動作的に接続されてもよい。ネットワークとしては、インターネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信（ＮＦＣ）技術、ネットワークに基づくモバイルデータプロトコル、例えばＧｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅｓ（ＧＰＲＳ）、ＧＳＭ（登録商標）、Ｅｎｈａｎｃｅｄ Ｄａｔａ ＧＳＭ Ｅｎｒｉｖｏｎｍｅｎｔ（ＥＤＧ）、３Ｇ、４Ｇ、又はＬｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）プロトコル、赤外線（ＩＲ）通信技術、及び／又はＷｉ−Ｆｉ等が含まれていてもよく、無線、有線、又はこれらの組合せであってもよい。
図１においては動作的に接続された別の構成要素として示されているが、撮像デバイスと画像分析器は、１つのデバイス内に並置されてもよいことに留意されたい。例えば、画像分析器は、撮像デバイス内に設置されることも、又はその一部を形成することもできる。反対に、撮像デバイスが画像分析器の中に設置されることも、又はその一部を形成することもできる。幾つかの実施形態において、撮像デバイス又は画像分析器のうちの少なくとも一方は、ユーザデバイス上に並置されてもよい。幾つかの実施形態において、メディアストレージは撮像デバイスの中に設置され、又はその一部を形成してもよい。幾つかの実施形態において、撮像デバイス又は画像分析器の少なくとも一方は、移動ビジュアルトラッキングデバイスの中に設置されることも、その一部を形成することもできる。移動ビジュアルトラッキングデバイスは、航空機、例えばＵＡＶに取り付けられても（又はそれを使ってイネーブルされても）よい。当然のことながら、図１に示される構成は、例示を目的としているにすぎない。特定の構成要素又はデバイスを削除しても、又は組み合わせてもよく、他の構成要素又はデバイスを追加してもよい。
前述のように、画像分析器は、複数の画像フレームを分析して、複数の特徴点の移動特性を計算し、少なくとも１つの背景特徴に関する少なくとも１つの追跡特徴を複数の特徴点の移動特性に基づいて特定するように構成されてもよい。幾つかの実施形態において、特徴点は各々、単独のピクセル又はピクセル群に対応してもよい。特徴点に基づく分析の説明は全て、個別のピクセル又はピクセル群に基づく分析にも当てはまる。これは、ピクセルの何れの特性（例えば、明るさ、色、コントラスト、その他）に関係なく発生しうる。或いは、ピクセルのこのような特性の１つ又は複数が考慮に入れられてもよい。上記のステップは、オプティカルフローアルゴリズムを使って実装でき、図２に関してより詳しく説明する。オプティカルフローアルゴリズムは、画像分析器を使って実行されてもよい。オプティカルフローアルゴリズムは、ある画像シーケンスのピクセル又は特徴点の運動を計算するために使用でき、高密度の（Ｐｏｉｎｔ−ｔｏ−Ｐｏｉｎｔ）ピクセル又は特徴点対応を提供できる。
図２は、幾つかの実施形態による、図１の画像分析器を使用した例示的な画像の中の追跡特徴と背景特徴の特定を示す。図２を参照すると、画像分析器２０４は、撮像デバイス（例えば、図１の撮像デバイス１１０）から複数の画像信号２１２を受信してもよい。画像信号２１２は、時間Ｔ１で取得された第一の画像フレーム２１２−１と時間Ｔ２で取得された第二の画像フレーム２１２−２を含んでいてもよく、時間２は時間Ｔ１以降に発生する時点であってもよい。図２は２つの画像フレームを示しているが、幾つの画像フレームも想定できる。例えば、幾つかの実施形態において、画像信号２１２は、Ｔ１から始まるＴｎまでのある期間にわたって取得された複数の画像フレーム２１２−１〜２１２−ｎを含んでいてもよく、ｎは１より大きい何れの整数であってもよい。
幾つかの実施形態において、複数の画像フレームがある特定の瞬間に取得されてもよい。例えば、画像信号２１２は、時間Ｔ１で取得された複数の画像フレーム２１２−１と時間Ｔ２で取得された複数の画像フレーム２１２−２等を含んでいてもよい。各瞬間における複数の画像フレームは、平均化され、特定の瞬間に関連付けられる単独の画像フレームに変換されてもよい。幾つかの実施形態において、１秒ごとに１、２、３、４、５、又はそれ以上の画像フレームが取得されてもよい。幾つかの実施形態において、１つの画像フレームが２秒、３秒、４秒、５秒ごと、又は６秒以上ごとに取得されてもよい。画像フレームは、一定の周波数又は異なる周波数で取得されてもよい。例えば、標的物体が高速で移動している時にはより多くの画像フレームが取得されてもよく、標的物体が低速で移動している時にはより少ない画像フレームが取得されてもよい。幾つかの実施形態において、画像分析器は、画像フレーム間で異なるピクセル（又は特徴点）の移動特性を有する画像フレームだけを分析するように構成されてもよい。
各画像フレームは、複数の特徴点に関連付けられる複数のピクセルを含んでいてもよい。図２に示されるように、特徴点は、標的物体（例えば、人の集合）と背景物体（例えば、建物、木、ゴルフコース、ガソリンスタンド、その他）に関連付けられてもよい。図２の例において、標的物体は時間Ｔ１で第一の位置にあるかもしれず（第一の画像フレーム２１２−１参照）、時間Ｔ２で第二の位置に移動しているかもしれない（画像フレーム２１２−２参照）。
画像分析器は、複数の画像フレームを分析して、複数の特徴点の移動特性を計算するように構成されてもよい。複数の特徴点の移動特性は、位置差と、各特徴点の少なくとも速度又は加速度を含んでいてもよい。画像フレーム２１２−１と２１２−２を比較すると、背景物体に関連付けられる特徴点は、画像間で実質的に右から左に速度Ｖｂ’で「移動」したかもしれず、標的物体に関連付けられる特徴点は画像間で実質的に左から右に速度Ｖｔ’で「移動」したかもしれないことが観察されうる。画像フレーム内の背景物体の見かけ上の並進は、撮像デバイスが画像フレーム取得時に移動していたかもしれないという事実に起因しうる。
画像分析器は、少なくとも１つの背景特徴に関する少なくとも１つの追跡特徴を特定するように更に構成されてもよい。これは、複数の特徴点の移動特性に基づいて、複数の特徴点の中から第一の特徴点群と第二の特徴点群を区別するステップを含んでいてもよい。第一の特徴点群は実質的に第一の移動特性を有していてもよく、第二の特徴点群は、第一の移動特性とは異なる実質的に第二の移動特性を有していてもよい。例えば、図２において、背景物体に関連付けられる特徴点は実質的に第一の移動特性（例えば、画像２１２−１から画像２１２−２に右から左へ速度Ｖｂ’で）を有し、標的物体に関連付けられる特徴点は実質的に第二の移動特性（例えば、画像２１２−１から画像２１２−２に左から右へ速度Ｖｔ’で）を有していてもよい。したがって、画像分析器は、背景物体に関連付けられる特徴点を第一の特徴点群として、及び標的物体に関連付けられる特徴点を第二の特徴点群として特定してもよい。画像分析器は、背景特徴２１４を第一の特徴点群として、追跡特徴２１６を第二の特徴点群として特定するように更に構成されてもよい。特徴点の移動特性を比較することによって、追跡特徴は標的物体に関連付けられてもよく、背景特徴は背景物体に関連付けられてもよい。背景特徴は、第一の特徴点群の第一の移動特性に関連付けられるものと実質的に同じ移動特性を有していてもよい。追跡特徴は、第二の特徴点群の第二の移動特性に関連連れられるものと実質的に同じ移動特性を有していてもよい。
幾つかの実施形態において、画像分析器は、複数の特徴点の移動特性のみに基づいて、追跡特徴と背景特徴を特定できる。したがって、画像分析器は、物体認識方法に関係なく、追跡特徴と背景特徴を特定できる。例えば、背景特徴と追跡特徴は物体種別に関係なく定義されてもよい。これは、典型的にはこれらを１つ又は複数の物体種別に分類することによって、又はこれらを１つ又は複数の既知のモデルに適合させることによって特徴を特定する従来の映像ベースの追跡方法と対照的である。
幾つかの特定の実施形態において、画像分析器が追跡特性と背景特徴を特定した後に、画像分析器は、ある物体認識方法を使って、追跡特徴と背景特徴を１つ又は複数の物体種別に分類するように更に構成されてもよい。物体認識方法は、追跡特性と背景特性の各々が１つ又は複数の物体種別に属するか否かを判断するステップを含んでいてもよい。物体種別は、建物物体種別、地形物体種別、人間物体種別、動物物体種別、及び／又は輸送手段物体種別を含んでいてもよい。物体認識方法は、アラインメントモデル、不変特性、及び／又はパーツ分割に基づいていてもよい。
幾つかの実施形態において、画像分析器は、ピクセルベースのアプローチを使って複数の画像フレームを分析するように構成されてもよい。例えば、これらの実施形態において、複数の特徴点は、複数の画像フレーム内の複数のピクセルに１対１で対応してもよい。換言すれば、各特徴点は固有のピクセルに対応してもよい。画像分析器は、複数の画像フレームを分析して、複数のピクセルの移動特性を計算するように構成されてもよい。複数のピクセルの移動特性は、位置差と、各特徴点の少なくとも速度又は加速度を含んでいてもよい。画像フレーム２１２−１と２１２−２を比較すると、背景物体に関連付けられる特徴点は、画像間で実質的に右から左に速度Ｖｂ’で「移動」したかもしれず、標的物体に関連付けられる特徴点は画像間で実質的に左から右に速度Ｖｔ’で「移動」したかもしれないことが観察されうる。画像フレーム内の背景物体の見かけ上の並進は、撮像デバイスが画像フレーム取得時に移動していたかもしれないという事実に起因しうる。
画像分析器は、複数のピクセルの移動特性に基づいて、第一のピクセル群と第二のピクセル群を複数のピクセルの中から区別するように更に構成されてもよい。第一のピクセル群は実質的に第一の移動特性を有していてもよく、第二のピクセル群は、第一の移動特性とは異なる実質的に第二の移動特性を有していてもよい。例えば、図２において、背景物体に関連付けられるピクセルは実質的に第一の移動特性（例えば、画像２１２−１から画像２１２−２に右から左へ速度Ｖｂ’で）を有し、標的物体に関連付けられるピクセルは実質的に第二の移動特性（例えば、画像２１２−１から画像２１２−２に左から右へ速度Ｖｔ’で）を有していてもよい。したがって、画像分析器は、背景物体に関連付けられるピクセルを第一のピクセル群として、及び標的物体に関連付けられるピクセルを第二のピクセル群として特定してもよい。画像分析器は、背景特徴２１４を第一のピクセル群として、追跡特徴２１６を第二のピクセル群として特定するように更に構成されてもよい。ピクセルの移動特性を比較することによって、追跡特徴が標的物体に関連付けられてもよく、背景特徴が背景物体に関連付けられてもよい。背景特徴は、第一のピクセル群の第一の移動特性に関連付けられるものと実質的に同じ移動特性を有していてもよい。追跡特徴は、第二のピクセル群の第二の移動特性に関連連れられるものと実質的に同じ移動特性を有していてもよい。
上述のように、画像分析器は、上述のピクセルに基づく方式を使って複数の画像フレームを分析するように構成されてもよい。ピクセルに基づく方式は、照明された環境内で、また、弱光又は暗い環境でも利用できる。例えば、画像分析器は、ピクセルに基づく方式を利用して熱撮像デバイスから得られた熱画像（サーモグラム）を分析して、熱画像内のピクセルの移動特性に基づき、背景特徴と追跡特徴を特定できる。熱画像内の各ピクセルは、標的物体と背景物体の特徴点において発せられ、透過され、及び／又は反射された赤外線エネルギーの量を示していてもよい。熱画像を分析するためのピクセルに基づく方式は弱光又は暗い環境によく適しており、これは、弱光又は暗い環境中で取得された光学的画像は、明るさ／コントラストが低くなる傾向があり、それによって異なるピクセル間の移動特性が追跡しにくいからである。
幾つかの実施形態において、画像分析器は、第一のピクセル群を取り囲む１つ又は複数の外郭を生成することにより背景特徴２１４を特定し、第二のピクセル群を取り囲む外郭を生成することにより追跡特徴２１６を特定するように構成されてもよく、これらは図２の破線で囲まれた領域により示されている。外郭は、追跡特徴２１６を背景特徴２１４から区別する役割を果たす。外郭は、異なる色、パターン、又は陰影を含んで、追跡特徴が背景特徴から区別されるようにしてもよい。画像分析器は、図２に示されるように、特定された追跡特徴と背景特徴を描く、結果的な画像フレーム２１３を生成するように更に構成されてもよい。前述のように、結果的な画像フレームは、出力デバイス、例えば表示デバイスに（例えば、分析信号１２２の形態で）供給されてもよい。
図３は、幾つかの実施形態による画像フレーム内のあるピクセルの異なる移動特性を示す。前述のように、複数の画像フレームは、少なくとも第一の画像フレーム及び第二の画像フレームを含んでいてもよい。画像分析器は、第一の画像フレーム及び第二の画像フレーム内に現れる各ピクセルについて、各ピクセルの移動特性を計算するように構成されていてもよい。例えば、画像分析器は、第一の画像フレーム内の各ピクセルの位置と、第二の画像フレーム内のそれに対応する位置を特定し、各ピクセルの移動特性を、第一及び第二の画像フレームにおけるその位置差に基づいて計算するように構成されてもよい。幾つかの実施形態において、画像分析器は、複数の画像フレームをマッピングし、マッピングに基づいて各ピクセルの変換を生成し、各ピクセルの移動特性をその変換を用いて計算するように構成されてもよい。第一及び第二のフレーム内に現れるピクセルの移動特性は、ピクセルの速度を含んでいてもよい。ピクセルの速度は、次式を使って計算されてもよい。
Ｖｐ＝Ｃ．（Ｔｒｅｆ＝Ｔｃｕｒｒｅｎｔ）
式中、Ｖｐはピクセルの速度、Ｃは速度定数、Ｔｒｅｆは第一の画像フレーム内のピクセルの位置に基づく基準変換であり、Ｔｃｕｒｒｅｎｔは、第二の画像フレーム内のピクセルの位置に基づく現在の変換である。速度Ｖｐは、ベクトル成分とスカラ成分の両方を含んでいてもよい。ピクセルの加速度Ａｐは、時間の経過に伴うピクセルの速度変化によって計算されてもよい。
Ａｐ＝（Ｖｐ／（Ｔ
ピクセルの速度は、そのピクセルの線速度及び角速度のうち少なくとも１つを更に含んでいてもよい。ピクセルの加速度は、そのピクセルの直線加速度及び角加速度のうち少なくとも１つを更に含んでいてもよい。例えば、図３（パートＡ）を参照すると、ピクセルの移動特性は、そのピクセルが第一の画像フレーム内のその位置から第二の画像フレーム内のその位置との間の方向に沿って並進する時の線速度及び／又は直線加速度を含んでいてもよい。図３（パートＢ）に示されるように、ピクセルは時間Ｔ１で第一の画像フレーム３１２−１の中の第一の位置にあるかもしれず、時間Ｔ２で第二の画像フレーム３１２−２の中の第二の位置に移動しているかもしれない。図３（パートＢ）の例では、ピクセルの第一の位置から第二の位置への移動は並進（直線の矢印の線により示される）を介していてもよく、線速度Ｖｐ＿ｌｉｎｅａｒを含んでいてもよい。
幾つかの実施形態において、例えば図３（パートＣ）に示されるように、ピクセルの移動特性は、ピクセルが点Ｏの周囲で第一の画像フレーム内のその位置から第二の画像フレーム内のその位置へと回転している時の角速度（及び／又は角加速度Ａｐ＿ａｎｇｕｌａｒを含んでいてもよい。ピクセルの線速度は、Ｖｐ＿ｌｉｎｅａｒ＝Ｒ．（で表されてもよく、式中、Ｒはそのピクセルから点Ｏまでの距離（すなわち、中心点Ｏの円の半径）である。図３（パートＤ）に示されるように、ピクセルは時間Ｔ１で第一の画像フレーム３１２−１の中の第一の位置にあるかもしれず、時間Ｔ２で画像フレーム３１２−２の中の第二の位置に移動しているかもしれない。図３（パートＤ）の例において、ピクセルは、第一の位置から第二の位置へと湾曲方向に（湾曲した矢印の線で示される）角速度（で移動するかもしれない。
前述のように、追跡特徴２１６は、第二のピクセル群（又は、標的物体に関連付けられる特徴点）を取り囲む外郭を生成することによって特定されてもよい。幾つかの実施形態において、外郭の大きさは、例えば図４、５、６、及び７に示されるように変化してもよい。
図４は、幾つかの実施形態による、追跡特徴を取り囲む外郭の大きさが増大しうる画像フレームの例示的なシーケンスを示す。具体的には、図４は、追跡特徴を取り囲む外郭の大きさが、より多くの標的物体（例えば、人、輸送手段、動物、その他）が事前に存在していた標的物体群に加わった時に増大しうることを示している。図４に示されるように、第一の画像フレーム４１２−１、第二の画像フレーム４１２−２、及び第三の画像フレーム４１２−３が、それぞれ時間Ｔ１、Ｔ２、Ｔ３で撮像デバイスにより取得されてもよい。第一の画像フレームは、例えば図２に示される結果的な画像フレーム２１３に対応していてもよい。第一の画像フレームは、それ以前に画像分析器によって特定されていた標的物体群を含む第一の追跡特徴４１６を含んでいてもよい。時間Ｔ２で、画像分析器により、新たな追跡特徴４１６−１及び４１６−２が第二の画像フレームの左側部分と右下部分に特定されてもよい。新たな追跡特徴は、第一の追跡特徴に向かって移動して、第三の画像フレーム４１２−３により示されるように、時間Ｔ３で第一の追跡特徴と合流するかもしれない。標的物体に関連付けられるピクセル（又は特徴点）の大きさは、Ｔ１からＴまでの間に、追跡特徴の合流によって増大するかもしれない。したがって、これらのピクセル（又は追跡特徴）を取り囲む外郭の大きさは、画像フレーム内の追跡物体の数が増えると増大してもよい。幾つかの実施形態において、合流した追跡特徴は、まとめて共通の追跡特徴群として扱われてもよい。幾つかの代替的な実施形態において、画像分析器は、追跡特徴が見かけ上、１つの群に合体した後であっても、個別の追跡特徴４１６−１、４１６−２、及び４１６−３の各々を引き続き追跡してもよい。幾つかの実施形態において、追跡特徴が個別に追跡されるか、群としてまとめて追跡されるかは、隣接する追跡特徴間の距離に依存していてもよい。たとえは、隣接する特徴間の距離が所定の距離より大きい場合、追跡特徴の空間密度が低いかもしれないため、追跡特徴は個別に追跡されてもよい。反対に、隣接する特徴間の距離が所定の距離より小さい場合、追跡特徴は空間密度が高いかもしれないため、追跡特徴は単独の集合としてまとめて追跡されてもよい。所定の距離は、標的物体の大きさ、形状、又は空間密度に基づいて決定されてもよい。幾つかの実施形態において、追跡特徴を取り囲む外郭の大きさが増大し始めると、撮像デバイスは、標的物体に関してより高い縦方向の位置まで、又は標的物体から横方向離れるより遠い距離まで移動してもよく、それによって追跡特徴を、撮像デバイスの視野内、すなわち撮像デバイスにより取得された画像フレームの標的領域内に実質的に位置付けることができる。
図５は、幾つかの実施形態による、追跡特徴を取り囲む外郭の大きさが縮小しうる画像フレームの例示的なシーケンスを示す。具体的には、図５は、追跡特徴を取り囲む外郭の大きさが、１つ又は複数の標的物体が事前に存在していた標的物体群から離れると縮小しうることを示している。図５に示されるように、第一の画像フレーム５１２−１、第二の画像フレーム５１２−２、及び第三の画像フレーム５１２−３はそれぞれ時間Ｔ１、Ｔ２、及びＴ３で取得されてもよい。第一の画像フレームは、例えば図２に示される結果的な画像フレーム２１３に対応してもよい。第一の画像フレームは、画像分析器によってそれ以前に特定されていた標的物体群を含む第一の追跡物体５１６を含んでいてもよい。標的物体の幾つかが時間Ｔ２でその群から発散（分散）し始めるかもしれず、第三の画像フレーム５１２−３により示されるように、時間Ｔ３で撮像デバイスの視野の外に出ているかもしれない。標的物体に関連付けられるピクセル（又は特徴点）の大きさは、標的物体群の大きさの縮小により、Ｔ１からＴ３までの間に縮小してもよい。したがって、これらのピクセル（又は追跡特徴）を取り囲む外郭の大きさは、標的物体の数が減少すると小さくなりうる。幾つかの実施形態において、追跡特徴を取り囲む外郭の大きさが縮小し始めると、撮像デバイスは標的物体に関してより低い縦方向の位置まで、又は標的物体から横方向に離れるより近い距離まで移動してもよく、それによって標的特徴を、撮像デバイスの視野内、即ち撮像デバイスにより取得される画像フレームの標的領域内に実質的に位置付けることができる。
幾つかの実施形態において、追跡特徴を取り込む外郭の大きさは、その群の中の最も外側の標的物体の位置によって画定されてもよい。図６は、幾つかの他の実施形態による、追跡特徴を取り囲む外郭の大きさが増大しうる画像フレームの例示的なシーケンスを示している。例えば、図６に示されるように、第一の画像フレーム６１２−１、第二の画像フレーム６１２−２、及び第三の画像フレーム６１２−３は、それぞれ時間Ｔ１、Ｔ２、Ｔ３に取得されてもよい。第一の画像フレームは、例えば図２に示される結果的な画像フレーム２１３に対応してもよい。第一の画像フレームは、それ以前に画像分析器によって特定されていた標的物体群を含む第一の追跡特徴６１６を含んでいてもよい。標的物体は時間Ｔ２で、群から発散し始めるかもしれない。しかしながら、第三の画像フレーム６１２−３に示されるように、時間Ｔ３でこれらの標的物体は依然として撮像でデバイスの視野内に留まっている。標的物体に関連付けられたピクセル（又は特徴点）の大きさは、標的物体群の発散によって時間Ｔ１からＴ３の間に増大してもよい。したがって、これらのピクセル（又は追跡特徴）を取り囲む外郭の大きさは、標的物体がより広く離間されて、より大きい面積を占めると増大しうる。幾つかの実施形態において、追跡特徴を取り囲む外郭の大きさが増大し始めると、撮像デバイスは、標的物体に関してより高い縦方向の位置まで、又は標的物体から横方向に離れるより遠い距離まで移動してもよく、それによって追跡特徴を、撮像デバイスの視野内、すなわち撮像デバイスにより取得された画像フレームの標的領域内に実質的に位置付けることができる。
同様に、図７は、幾つかの他の実施形態による、追跡特徴を取り囲む外郭の大きさが縮小しうる画像フレームの例示的なシーケンスを示している。例えば、図７に示されるように、第一の画像フレーム７１２−１、第二の画像フレーム７１２−２、及び第三の画像フレーム７１２−３は、それぞれ時間Ｔ１、Ｔ２、及びＴ３で取得されてもよい。第一の画像フレームは、例えば図６に示される画像フレーム６１２−３に対応してもよい。第一の画像フレームは、それ以前に画像分析器によって特定されていた標的物体群を含む第一の追跡特徴７１６を含んでいてもよい。標的物体は、時間Ｔ２で収斂し始めてもよい。時間Ｔ３で、標的物体は、第三の画像フレーム７１２−３により示されるように、より小さい面積に収斂しているかもしれない。標的物体に関連付けられるピクセル（又は特徴点）の大きさは、Ｔ１からＴ３の間に標的物体群の収斂によって縮小しうる。したがって、これらのピクセル（又は追跡特徴）を取り囲む外郭の大きさは、標的物体がより小さい面積に収斂すると縮小しうる。幾つかの実施形態において、追跡特徴を取り囲む外郭の大きさが縮小し始めると、撮像デバイスは標的物体に関してより低い縦方向の位置まで、又は標的物体から横方向に離れるより近い距離まで移動してもよく、それによって標的特徴を、撮像デバイスの視野内、即ち撮像デバイスにより取得される画像フレームの標的領域内に実質的に位置付けることができる。
図４、５、６、及び７の例において、標的物体は人の集合に対応してもよい。しかしながら、標的物体にこれに限定されないことに留意されたい。追跡特徴を取り囲む外郭の大きさ及び／又は形状は、例えば図８に示されるように、異なる物体種別の１つ又は複数の標的物体（例えば、人、輸送手段、動物、その他の組合せ）の移動、収斂、発散、追加及び／又は削減と共に変化しうる。追跡特徴を取り囲むリ外郭の大きさ及び／又は形状のあらゆる変化が想定されうる。外郭の大きさ及び／又は形状は、標的物体の数が変化すると（例えば、標的物体の空間密度の変化）、又は標的物体が、例えば図９に示されるように、まとまってランダムに移動すると、変化しうる。図９の例において、各外郭は、標的物体に関連付けられる複数の特徴点（又はピクセル）を含んでいてもよい。ある外郭内の個々の標的物体は、標的物体が実質的に同じ移動特性を有するかぎり、特定又は追跡されても、されなくてもよい。幾つかの実施形態において、外郭の大きさは、撮像デバイスが標的物体に（拡大によって）より近くに位置付けられると増大しうる。反対に、外郭の大きさは、撮像デバイスが標的物体から、（縮小によって）より遠くに位置付けられると縮小しうる。
幾つかの実施形態において、画像分析器は、追跡特徴が背景特徴に関して移動していることを、特徴点の移動特性に基づいて判断するように構成されてもよい。例えば、図２を再び参照すると、画像分岐器は、追跡特徴２１６が背景特徴２１４に関して移動していることを、時間Ｔ１及びＴ２での画像フレーム２１２−１及び２１２−２において判断された特徴点の移動特性に基づいて判断できる。
図１０、１１、１２、１３、及び１４は、異なる実施形態による撮像デバイスによる標的物体の追跡／追従を示す。図１０、１１、１２、１３、及び１４の例において、撮像デバイスは静止していてもよく、標的物体と背景物体は撮像デバイスの視野内に位置付けられている。撮像デバイスが静止している場合、背景特徴は全く動かないかもしれない。図１０に示されるように、撮像デバイスは、標的物体と背景物体を含む中央領域の真上に位置付けられていてもよい。例えば、図１０の撮像デバイスは、標的物体と背景物体の真上の固定位置でホバリングしているＵＡＶに取り付けられていてもよい。図１１に示されるように、撮像デバイスは、標的物体と背景物体の上方の、これに関して斜めに位置付けられていてもよい。例えば、図１１の撮像デバイスは、標的物体と背景物体の上方に、それに関して斜めの固定位置においてホバリングしているＵＡＶに取り付けられてもよい。図１２に示されるように、撮像デバイスは、標的物体と背景物体から離れた地上に位置付けられていてもよい。図１２の撮像デバイスは、タワー、ポール、建物、その他のような静止構造１２０４に取り付けられてもよい。幾つかの実施形態において、図１２の撮像デバイスは延長ポーに取り付けられてもよく、そこに撮像デバイスが固定される。延長ポールは、ユーザにより保持されても、又は固定位置に埋設されてもよい。幾つかの実施形態において、撮像デバイスは固定点の周囲で回転可能であってもよい（例えば、監視カメラ）。
図１０、１１、及び１２の例において、ある画像フレーム内の追跡特徴を取り囲む外郭は、標的物体が１つの位置から別の位置に移動する間に比較的一定のままでありうる。これに対して、図１３及び１４の例においては、追跡特徴を取り囲む外郭は、１つの位置から別の位置に移動する間に変化しうる。例えば、図１３及び１４に示されるように、追跡特徴を取り囲む外郭の大きさと形状は、標的物体が時間Ｔ１の第一の位置から時間Ｔ２の第二の位置に移動し、時間Ｔ３に第三の位置へと移動するのにつれて変化しうる。図１３の例において、撮像デバイスは、標的物体と背景物体の上方の、これに関して斜めの固定位置においてホバリングしているＵＡＶに取り付けられてもよい。これに対して、図１４の例において、撮像デバイスは、タワー、ポール、建物、その他の静止構造１４０４に取り付けられてもよい。幾つかの実施形態において、図１４の撮像デバイスは延長ポーに取り付けられてもよく、そこに撮像デバイスが固定される。延長ポールは、ユーザにより保持されても、又は固定位置に埋設されてもよい。
図１０、１１、１２、１３、及び１４の例において、撮像デバイスは、標的物体の追跡に使用できる。画像分析器は、前述のように、画像フレーム内の背景特徴（背景物体）に関する追跡特徴（標的物体）を特定するように構成されてもよい。追跡特徴と背景特徴が特定された後、標的物体は、それが１つの位置から他の位置へと移動する時、画像フレーム間のピクセル（即ち特徴点）の実時間の移動特性に基づいて追跡できる。幾つかの実施形態において、画像分析器は、標的物体を、これらが１つの位置から他の位置に移動する時に追跡するように構成されてもよい。他の実施形態において、追跡デバイスは、標的物体を画像分析器によって画像フレーム内ですでに特定されていた追跡特徴と背景特徴に基づいて追跡するように構成されてもよい。
幾つかの実施形態において、図１〜１４において説明されたオプティカルフローアルゴリズムがモバイルプラットフォーム上に実装されてもよい。図１５は、ビジュアルトラッキングシステムとしても機能できるモバイルプラットフォーム間の一例を示している。具体的には、図１５は、幾つかの実施形態による、複数のピクセルの移動特性を撮像デバイスの運動特性に基づいて計算するための画像分析器を含むビジュアルトラッキングシステム１５００を示している。図１５の実施形態において、撮像デバイス１５１０は運動可能であってもよい。例えば、撮像デバイスはＵＡＶ上に取り付けられ、又は支持されてもよい。ビジュアルトラッキングシステムは、撮像デバイスの運動を検出して、画像分析器１５２０に運動信号１５３２を供給するように構成された運動検出モジュール１５３０を更に含んでいてもよい。運動信号は、撮像デバイスの運動特性を含んでいてもよい。
図１５の例において、画像分析器は、１つ又は複数の標的物体のビジュアルトラッキングをサポートするように構成されてもよい。撮像デバイスは、物体１５０２の画像フレームを取得するように構成されてもよい。画像分析器は、撮像デバイスからの複数の画像信号１５１２を受信するように構成されてもよい。画像信号は、撮像デバイスにより、ある期間にわたり（例えば、それぞれ時間Ｔ１及びＴ２に）、撮像デバイスが移動している間に取得された複数の画像フレーム（例えば、第一の画像フレーム１５１２−１及び第二の画像フレーム１５１２−２）を示してもよい。各画像フレームは、複数のピクセルを含んでいてもよい。画像分析器は、撮像デバイスの運動特性を複数の画像信号に基づいて取得し、複数の画像信号を撮像デバイスの運動特性に基づいて分析することにより、複数のピクセルに関連付けられる移動特性を計算するように更に構成されてもよい。計算された移動特性は、画像分析器から出力される分析信号１５２２の中で符号化されてもよい。上記のステップはオプティカルフローアルゴリズムを使って実装でき、これについて、図１６を参照しながら詳しく説明する。具体的には、図１６は、幾つかの実施形態による、図１５の画像分析器を使用した例示的な画像の中の複数のピクセルの移動特性の計算を示している。
図１６を参照すると、画像分析器（例えば、図１５の画像分析器１５２０）は、撮像デバイス１６１０から複数の画像信号を受信してもよい。画像信号は、時間Ｔ１に位置１で取得された第一の画像フレーム１６１２−１と、時間Ｔ２に位置２で取得された第二の画像フレーム１６１２−２を含んでいてもよく、時間Ｔ２は時間Ｔ１以降に発生する時点であってもよく、場所１及び２は、各々が固有の空間座標セットを有する異なる場所である。図１６は２つの画像フレームを示しているが、幾つの画像フレームも想定しうる。例えば、幾つかの実施形態において、画像信号は、Ｔ１から始まりＴｎまでの期間にわたり、それぞれの位置１からｍで取得された複数の画像フレーム１６１２−１〜１６１２−ｎを含んでいてもよく、ｍ及びｎは１より大きい何れの整数でもよい。
幾つかの実施形態において、特定の瞬間に複数の画像フレームが取得されてもよい。例えば、画像信号は、時間Ｔ１に取得された複数の画像フレーム１６１２−１、時間Ｔ２に取得された複数の画像フレーム１６１２−２等を含んでいてもよい。各瞬間の複数の画像フレームは平均化されて、その特定の瞬間に関連付けられる単独の画像フレームに変換されてもよい。幾つかの実施形態において、標的物体と撮像デバイスが高速で移動している時にはより多くの画像フレームが取得されてもよく、標的物体及び／又は撮像デバイスが低速で移動している時にはより少ない画像フレームが取得されてもよい。
各画像フレームは、複数の特徴点に関連付けられる複数のピクセルを含んでいてもよい。図１６に示されるように、特徴点は、標的物体（例えば、人の集合）と背景物体（例えば、建物、木、ゴルフコース、ガソリンスタンド、その他）に関連付けられてもよい。図１６の例において、標的物体は時間Ｔ１で第一の位置にあり（第一の画像フレーム１６１２−１参照）、時間Ｔ２で第二の位置に移動しているかもしれない（第二の画像フレーム１６１２−２参照）。
複数のピクセルは、複数の特徴点に関連付けられてもよい。画像分析器は、複数の画像信号を撮像デバイスの運動特性に基づいて分析するように構成されてもよい。例えば、画像分析器は、複数の画像フレームを撮像デバイスの運動特性に基づいて相互に相関させるように構成されてもよい。画像分析器は、少なくとも１つの背景特徴に関する少なくとも１つの追跡特徴を、複数のピクセルに関連付けられる移動特性に基づいて特定するように更に構成されてもよい。
例えば、図１６を参照すると、撮像デバイスは、プラス（＋）のｘ軸方向に沿って位置１から位置２へと速さＶｉで移動してもよい。したがって、画像フレーム内の背景特徴は、マイナス（−）のｘ軸方向に沿って速さＶｂ’で移動し、これは、撮像デバイスが静止している背景物体に関して移動しているからである。速さＶｂ’は、各背景物体までの撮像デバイスの距離、撮像デバイスの移動距離の量、及び撮像デバイスの視野に応じたスケール定数で速度Ｖｉに比例してもよい。したがって、背景特徴が画像フレームにわたって並進する速さＶｂ’は、撮像デバイスが三次元空間内を移動する速さＶｉの関数であってもよい。その結果、画像分析器は、画像フレームにわたって、速さＶｉに比例してスケーリングされ、撮像デバイスの移動方向と反対方向の速さＶｂ’で移動する特徴点を特定することによって、背景特徴を特定できる。
標的物体は静止している背景物体に関して移動しているため、標的物体に関連付けられる追跡特徴は、背景特徴のそれとは異なる速度で移動する。標的特徴と背景特徴との間の運動のこの差は、画像フレーム中に描かれる。図１６の例において、標的物体は、撮像デバイスのそれとは異なる方向に速さＶｔで移動するかもしれない。標的物体の運動が撮像デバイスによって取得される時、追跡特徴はプラスのｘ軸方向に関して角度（で、速さＶｔ’で移動しているように観察されるかもしれない。したがって、画像分析器は、画像フレームにわたって背景特徴に関連付けられる特徴点とは異なる速さ／方向に移動する特徴点を特定することによって、標的特徴を特定できる。
背景特徴は、実質的に第一の移動特性を有する第一のピクセル群と関連付けられてもよく、追跡特徴は、実質的に第二の移動特性を有する第二のピクセル群に関連付けられてもよい。複数のピクセルに関連付けられる移動特性は、複数の画像フレームを通じて測定される各ピクセルの速度と加速度のうちの少なくとも一方を含んでいてもよい。各ピクセルの速度は、各ピクセルの線（並進）速度及び角速度のうち少なくとも１つを更に含んでいてもよい。各ピクセルの線速度は、各ピクセルの線方向と線速さを含んでいてもよい。
撮像デバイスの運動特性は、撮像デバイスの姿勢、瞬間位置、速度、及び加速度のうちの少なくとも１つを含んでいてもよい。撮像デバイスの速度は、撮像デバイスの線速度及び／又は角速度を更に含んでいてもよい。撮像デバイスの線速度は、撮像デバイスの線方向と線速さを含んでいてもよい。第一のピクセル群の第一の線方向は、撮像デバイスの線方向に関連付けられてもよい。（背景特徴に関連付けられる）第一のピクセル群の第一の線速度は、撮像デバイスの線速さに速さ定数で比例してもよい。撮像デバイスの角速度は、撮像デバイスの回転方向及び回転速さを含んでいてもよい。第一のピクセル群の曲線方向は、撮像デバイスの回転方向に関連付けられてもよい。第一のピクセル群の曲線方向は、撮像デバイスの回転速さに対して速さ定数で比例してもよい。撮像デバイスの加速度は、撮像デバイスの直線加速度及び角加速度のうち少なくとも１つを更に含んでいてもよい。第一のピクセル群の直線加速度は、撮像デバイスの直線加速度に関連付けられてもよい。第一のピクセル群の角速度は、撮像デバイスの角加速度に関連付けられてもよい。
幾つかの実施形態において、撮像デバイスの瞬間位置は、距離測定及び／又は位置特定デバイスを使って測定されてもよい。距離測定及び／又は位置特定デバイスは全地球測位システム（ＧＰＳ）デバイスであってもよい。幾つかの実施形態において、距離測定及び／又は位置特定デバイスは、撮像デバイスと標的物体／背景物体との間の距離を測定できる飛行時間カメラであってもよい。撮像デバイスの瞬間位置は、背景物体の物理的位置に関して測定されてもよい。幾つかの実施形態において、画像分析器は、撮像デバイスの瞬間位置と背景物体の物理的位置に基づいてスケーリングファクタを計算するように構成されてもよい。幾つかの実施形態において、画像分析器は、撮像デバイスの運動特性とスケーリングファクタを使って各ピクセルの運動特性を計算するように更に構成されてもよい。幾つかの実施形態において、撮像デバイスの運動特性は、例えば位置センサ（例えば、全地球測位システム（ＧＰＳ）センサ、三角測位可能なモバイルデバイス送信機）、ビジョンセンサ（例えば、可視光、赤外線、又は紫外線を検出できる撮像デバイス、例えばカメラ）、近接又は距離センサ（例えば、超音波センサ、ライダ、飛行時間、又は深度カメラ）、慣性センサ（例えば、加速度計、ジャイロスコープ、慣性測定ユニット（ＩＭＵ））高度センサ、姿勢センサ（例えば、コンパス）、圧力センサ（例えば、圧力計）、音声センサ（例えば、マイクロフォン）、及び場センサのうち少なくとも１つ（例えば、磁気探知機、電磁センサ）等のセンサを使って測定されてもよい。
撮像デバイスの運動特性と、背景特徴及び標的特徴の移動特性に基づいて、画像分析器は、背景物体と撮像デバイスに関する標的物体の運動を測定できる。例えば、画像分析器は、標的物体が背景物体と撮像デバイスに関して移動する方向と速さを検出できる。図１７、１８、及び１９は、ある撮像デバイスが標的物体群を追跡する異なる環境を示している。具体的には、図１７は、撮像デバイスが速さＶｉで移動し、標的物体が速さＶｔで実質的に同じ方向に移動していて、ＶｉがＶｔと実質的に同じである（Ｖｉ（Ｖｔ）ビジュアルトラッキングシステム１７００を示している。
図１８及び１９は、標的物体と撮像デバイスが実質的に同じ方向であるが、異なる速さで移動している実施形態を示している。図１８のビジュアルトラッキングシステム１８００において、撮像デバイスは標的物体より低速で移動していてもよい。例えば、撮像デバイスは、速さＶｉで移動していてもよく、標的物体は速さＶｔで移動していてもよく、ＶｉはＶｔより小さくてもよい（Ｖｉ＜Ｖｔ）。反対に、図１９のビジュアルトラッキングシステム１９００において、撮像デバイスは標的物体より高速で移動していてもよい。例えば撮像デバイスは速さＶｉで移動していてもよく、標的物体は速さＶｔで移動していてもよく、ＶｉはＶｔより大きくてもよい（Ｖｉ＞Ｖｔ）。図１７、１８、及び１９に示される様々な実施形態は、図２０に概略的に示すことができる。図２０の各パートは、撮像デバイスと標的物体との間の異なる相対運動に対応する。例えば、図２０（パートＡ）は、図１７の実施形態に対応していてもよく、図２０（パートＢ）は、図１８の実施形態に対応していてもよく、図２０（パートＣ）は、図１９の実施形態に対応していてもよい。
図２０（パートＡ）を参照すると、撮像デバイスは、時間Ｔ１で第一の画像フレーム２０１２−１を取得し、時間Ｔ２で第二の画像フレーム２０１２−２を取得してもよい。撮像デバイスと標的物体は、実質的に同じ速さで実質的に同じ方向に移動していてもよい。例えば、撮像デバイスは、速さＶｉで移動してもよく、標的物体は速さＶｔでプラスのｘ軸方向に沿って移動してもよく、ＶｉとＶｔは実質的に同じであってもよい（Ｖｉ（Ｖｔ）。前述のように、背景特徴が画像フレームにわたって並進する速さＶｂ’は、撮像デバイスが三次元空間で（この場合、プラスのｘ軸方向に沿って）移動する速さＶｉの関数であってもよい。標的特徴が画像フレームにわたって並進する速さＶｔ’は、標的物体が三次元空間内で（この場合もまた、プラスのｘ軸方向に沿って）移動する速さＶｔの関数であってもよい。撮像デバイスは背景物体に関して移動しているため、画像フレーム内の背景特徴は、図２０（パートＡ）に示されるように、速さＶｂ’で、撮像デバイスが移動しているものとは反対方向に並進してもよい。背景特徴と標的特徴は、第一及び第二の画像フレーム間で、実質的に同じ速さ（Ｖｂ’（Ｖｔ’）で同じ距離だけ、ただし相互に反対方向に並進してもよい。図２０（パートＡ）の特徴点の移動特性に基づいて、画像分析器は撮像デバイスと標的物体が実質的に同じ速さで実質的に同じ方向に移動していると判断できる。
幾つかの実施形態において、撮像デバイスと標的物体は、実質的に同じ方向に、ただし異なる速さで移動してもよい。例えば、図２０（パートＢ）を参照すると、撮像デバイスは標的物体より高速で移動してもよい。特に、撮像デバイスは速さＶｉで移動してもよく、標的物体は速さＶｔでプラスのｘ軸方向に沿って移動してもよく、ＶｉはＶｔより大きい（Ｖｉ＞Ｖｔ）。したがって、背景特徴は、第一及び第二の画像フレーム間で、速さＶｂ’でマイナスのｘ軸方向に並進してもよく、標的特徴は、第一及び第二の画像フレーム間で、速さＶｔ’でプラスのｘ軸方向に移動してもよく、Ｖｔ’＜Ｖｂ’である。図２０（パートＢ）の特徴点の移動特性に基づいて、画像分析器は、撮像デバイスと標的物体が実質的に同じ方向に移動しており、標的物体が撮像デバイスより低速で移動していると判断できる。
幾つかの場合、例えば図２０（パートＣ）を参照すると、撮像デバイスは標的物体より低速で移動していてもよい。具体的には、撮像デバイスは速さＶｉで移動してもよく、標的物体は速さＶｔでプラスのｘ軸方向に沿って移動してもよく、ＶｉはＶｔより小さい（Ｖｉ＜Ｖｔ）。したがって、背景特徴は、第一及び第二の画像フレーム間で、速さＶｂ’でマイナスのｘ軸方向に並進してもよく、標的特徴は、第一及び第二の画像フレーム間で、速さＶｔ’でプラスのｘ軸方向に並進してもよく、Ｖｔ’＞Ｖｂ’である。図２０（パートＣ）の特徴点の移動特性に基づいて、画像分析器は撮像デバイスと標的物体が実質的に同じ方向に移動しており、標的物体が撮像デバイスより高速で移動していると判断できる。
幾つかの実施形態において、画像分析器は、標的物体が静止又は休止しているかもしれないと検出できる。例えば、図２１（パートＡ）を参照すると、撮像デバイスは、時間Ｔ１で第一の画像フレーム２１１２−１を、時間Ｔ２で第二の画像フレーム２１１２−２を取得してもよい。撮像デバイスは、速さＶｉでプラスのｘ軸方向に沿って移動してもよい。しかしながら、標的物体は静止又は休止してもよい。したがって、背景特徴は、速度Ｖｂ’でマイナスのｘ軸方向に並進してもよく、標的特徴は速さＶｔ’でマイナスのｘ軸方向に並進してもよく、Ｖｂ’は実施的にＶｔ’と等しい（Ｖｂ’（Ｖｔ’）。標的特徴と背景特徴は実質的に同じ方向に実質的に同じ速さで移動しているため、これは、標的物体と背景物体との間に相対運動がないことを意味する。したがって、図２１（パートＡ）の特徴点の移動特性に基づいて、画像分析器は、標的物体が静止又は休止していると判断できる。図２１（パートＡ）の実施形態は、標的物体がそれ以前に、背景物体に関するその移動に基づいて、他の何れかの他の瞬間に特定されたという前提に基づいていてもよい。
図２０の実施形態において、撮像デバイスと標的物体は、実質的に同じ方向に移動していてもよい。幾つかの例において、撮像デバイスと標的物体はまた、例えば図２１（パートＢ及びＣ）に示されているように、反対方向にも移動できる。
図２１（パートＢ）を参照すると、撮像デバイスは標的物体より高速で、ただし反対方向に移動していてもよい。具体的には、撮像デバイスは速さＶｉでプラスのｘ軸方向に沿って移動してもよく、標的物体は速さＶｔでマイナスのｘ軸方向に沿って移動してもよく、ＶｉはＶｔより大きい（Ｖｉ＞Ｖｔ）。したがって、背景特徴は第一及び第二の画像フレーム間で、速度Ｖｂ’でマイナスのｘ軸方向に並進してもよく、標的特徴は第一及び第二の画像フレーム間で、速度Ｖｔ’でマイナスのｘ軸方向に並進してもよく、Ｖｔ’＜Ｖｂ’である。図２１（パートＢ）の特徴点の移動特性に基づいて、画像分析器は、撮像デバイスと標的物体が実質的に反対方向に移動しており、対象物体が撮像デバイスより低速で移動していると判断できる。
同様に、図２１（パートＣ）を参照すると、撮像デバイスは、標的物体より低速で、ただし反対方向に移動していてもよい。具体的には、撮像デバイスは速さＶｉでプラスのｘ軸方向に移動してもよく、標的物体は速さＶｔでマイナスのｘ軸方向に移動してもよく、ＶｉはＶｔより小さい（Ｖｉ＜Ｖｔ）。したがって、背景特徴は、第一及び第二の画像フレーム間で、速さＶｂ’でマイナスのｘ軸方向に並進してもよく、標的特徴は、第一及び第二の画像フレーム間で、速さＶｔ’でマイナスのｘ軸方向に並進してもよく、Ｖｔ’＞Ｖｂ’である。図２１（パートＣ）の特徴点の移動特性に基づいて、画像分析器は、撮像デバイスと標的物体は実質的に反対方向に移動しており、標的物体は撮像デバイスより高速で移動していると判断できる。
幾つかの実施形態において、撮像デバイスと標的物体は、図２２に示されるように、相互に斜めの方向に移動していてもよい。
例えば、図２２（パートＡ）を参照すると、撮像デバイスと標的物体は実質的に同じ速さで、相互に斜めの方向に移動していてもよい。例えば、撮像デバイスは、速さＶｉでプラスのｘ軸の方向に沿って移動してもよく、標的物体は、速さＶｔでプラスのｘ軸方向に対して斜めの方向に移動してもよい。ＶｉとＶｔは実質的に同じである（Ｖｉ（Ｖｔ）。したがって、背景特徴は、第一及び第二の画像フレーム間で、速度Ｖｂ’で並進してもよく、標的特徴は、第一及び第二の画像フレーム間で、速さＶｔ’で斜めの方向に並進してもよく、Ｖｔ’（Ｖｂ’である。図２２（パートＡ）の特徴点の移動特性に基づいて、画像分析器は、撮像デバイスと標的物体が相互に斜めの方向に移動しており、標的物体と撮像デバイスが実質的に同じ速さで移動していると判断できる。
幾つかの実施形態において、撮像デバイスと標的物体は、異なる方向に異なる速さで移動してもよい。例えば、幾つかの例において、撮像デバイスと標的物体は、相互に斜めの方向に移動してもよく、撮像デバイスは標的物体より高速で移動してもよい。図２２（パートＢ）に示されるように、撮像デバイスは速さＶｉでプラスのｘ軸方向に沿って移動してもよく、標的物体は速さＶｔで、プラスのｘ軸方向に対して斜めの方向に移動してもよい。ＶｉはＶｔより大きくてもよい（Ｖｉ＞Ｖｔ）。したがって、背景特徴は、第一及び第二の画像フレーム間で、速さＶｂ’でマイナスのｘ軸方向に並進してもよく、標的特徴は、第一及び第二の画像フレーム間で、速さＶｔ’で斜めの方向に並進してもよく、Ｖｔ’＜Ｖｂ’である。図２２（パートＢ）の特徴点の移動特性に基づいて、画像分析器は、撮像デバイスと標的物体が相互に斜めの方向に移動しており、標的物体は撮像デバイスより低速で移動していると判断できる。
幾つかの他の例において、撮像デバイスと標的物体は、相互に斜めの方向に移動してもよく、撮像デバイスは標的物体より低速で移動していてもよい。図２２（パートＣ）を参照すると、撮像デバイスは速さＶｉでプラスのｘ軸方向に沿って移動してもよく、標的物体は速さＶｔでプラスのｘ軸方向に対して斜めの方向に移動してもよい。ＶｉはＶｔより小さくてもよい（Ｖｉ＜Ｖｔ）。したがって、背景特徴は、第一及び第二の画像フレーム間で、速さＶｂ’でマイナスのｘ軸方向に並進してもよく、標的特徴は、第一及び第二の画像フレーム間で、速さＶｔ’で斜めの方向に並進してもよく、Ｖｔ’＞Ｖｂ’である。図２２（パートＣ）の特徴点の移動特性に基づいて、画像分析器は、撮像デバイスと標的物体が相互に斜めの方向に移動しており、標的物体が撮像デバイスより高速で移動していると判断できる。
前述のように、撮像デバイスと標的物体は異なる方向に移動してもよい。異なる方向とは、相互に平行、相互に斜め、相互に鋭角をなす、又は相互に鈍角をなす方向が含まれていてもよい。幾つかの例において、異なる方向とは、相互に垂直な方向を含んでいてもよい。撮像デバイスと標的物体の移動方向の何れの方位も想定されてよい。
図２０、２１、及び２２の実施形態において、撮像デバイスと標的物体は直線的に移動し、その結果、画像フレーム間で背景特徴と標的特徴は並進する。幾つかの実施形態において、撮像デバイス及び／又は標的物体は、非線形運動特性を有していてもよい。例えば、撮像デバイス及び／又は標的物体は、円弧に沿って曲線状に移動してもよく、これによって画像フレーム間で背景特徴及び／又は標的特徴は回転してもよい。
図２３は、撮像デバイス２３１０が標的物体２３１６を円弧に沿って曲線状に追跡している実施形態を示す。撮像デバイスと標的物体は、円弧に沿って異なる速さで移動してもよい。例えば、時間Ｔ１で、撮像デバイスと標的物体は第一の位置にあり、距離Ｄ１だけ離れていてもよい。時間Ｔ２で、撮像デバイスと標的物体は第二の位置にあり、距離Ｄ２だけ離れていてもよく、Ｄ２はＤ１より大きい。換言すれば、時間Ｔ１とＴ２との間で、標的物体の角速度は撮像デバイスの角速度より大きくてもよい。画像分析器は、図２４及び２５に関して説明したように、画像フレームの中の特徴の非線形の運動特性を分析するように構成されてもよい。
図２４の実施形態において、撮像デバイスは直線方向に移動していてもよく、標的物体は曲線方向に移動していてもよい。
例えば、図２４（パートＡ）を参照すると、撮像デバイスは速さＶｉでプラスのｘ軸方向に沿って移動してもよく、標的物体は速さＶｔで曲線方向に移動してもよい。速さＶｔは線速さに対応してもよく、Ｖｔ＝Ｒ．（を使って計算されてもよく、式中、Ｒは曲線方向の円弧（円）の半径であり、（は標的物体の角速さである。図２４（パートＡ）の実施形態において、ＶｉとＶｔは実質的に同じであってもよい（Ｖｉ（Ｖｔ）。したがって、背景特徴は、第一及び第二の画像フレーム間で、速度Ｖｂ’でマイナスのｘ軸方向に並進してもよく、標的特徴は、第一及び第二の画像フレーム間で、速度Ｖｔ’で湾曲方向に並進してもよく、Ｖｔ’（Ｖｂ’である。図２４（パートＡ）の特徴点の移動特性に基づき、画像分析器は、撮像デバイスが直線方向に移動しており、標的物体が曲線方向に移動しており、標的物体と撮像デバイスは実質的に同じ速度で移動していると判断できる。
幾つかの実施形態において、撮像デバイスは直線方向に移動してもよく、標的物体は曲線方向に移動してもよく、撮像デバイスと標的物体は異なる速さで移動してもよい。例えば、図２４（パートＢ）を参照すると、撮像デバイスは速さＶｉでプラスのｘ軸方向に沿って移動してもよく、標的物体は速さＶｔで曲線方向に移動してもよい。ＶｉはＶｔより大きくてもよい（Ｖｉ＞Ｖｔ）。したがって、背景特徴は、第一及び第二の画像フレーム間で、速さＶｂ’でマイナスのｘ軸方向に並進してもよく、標的特徴は、第一及び第二の画像フレーム間で、速さＶｔ’で曲線方向に並進してもよく、Ｖｔ’＜Ｖｂ’である。図２４（パートＢ）の特徴点の移動特性に基づいて、画像分析器は、撮像デバイスが直線方向に移動しており、標的物体が曲線方向に移動しており、標的物体は撮像デバイスより低速で移動していると判断できる。
図２４（パートＣ）に示される例において、撮像デバイスは速さＶｉでプラスのｘ軸方向に沿って移動してもよく、標的物体は速さＶｔで曲線方向に移動してもよい。ＶｉはＶｔより小さくてもよい（Ｖｉ＜Ｖｔ）。したがって、背景特徴は、第一及び第二の画像フレーム間で、速さＶｂ’でマイナスのｘ軸方向に並進してもよく、標的特徴は、第一及び第二の画像フレーム間で、速さＶｔ’で曲線方向に並進してもよく、Ｖｔ’＞Ｖｂ’である。図２４（パートＣ）の特徴点の移動特性に基づき、画像分析器は、撮像デバイスが直線方向に移動しており、標的物体が曲線方向に移動しており、標的物体が撮像デバイスより高速で移動していると判断できる。
幾つかの実施形態において、撮像デバイスと標的物体の両方が、図２５の実施形態において示されるように、曲線方向に移動していてもよい。
例えば、図２５（パートＡ）を参照すると、撮像デバイスは速さＶｉで曲線方向に移動してもよく、標的物体は速さＶｔで同じ曲線方向に移動してもよい。ＶｉとＶｔは実質的に同じであってもよい（Ｖｉ（Ｖｔ）。したがって、背景特徴は、第一及び第二の画像フレーム間で、速さＶｂ’で曲線方向に移動してもよく、標的特徴は、第一及び第二の画像フレーム間で、速さＶｔ’で曲線方向に移動してもよく、Ｖｔ’（Ｖｂ’である。図２５（パートＡ）の特徴点の移動特性に基づいて、画像分析器は、撮像デバイスと標的物体の両方が曲線方向に移動しており、標的物体と撮像デバイスが実質的に同じ速さで移動していると判断できる。
幾つかの実施形態において、撮像デバイスと標的物体の両方が曲線方向に、ただし異なる速さで移動していてもよい。例えば、図２５（パートＢ）を参照すると、撮像デバイスは速さＶｉで曲線方向に移動してもよく、標的物体は速さＶｔで曲線方向に移動してもよい。ＶｉはＶｔより大きくてもよい（Ｖｉ＞Ｖｔ）。したがって、背景特徴は、第一及び第二の画像フレーム間で、速さＶｂ’で曲線方向に並進してもよく、標的特徴は、第一及び第二の画像フレーム間で、速さＶｔ’で曲線方向に並進してもよく、Ｖｔ’＜Ｖｂ’である。図２５（パートＢ）の特徴点の移動特性に基づいて、画像分析器は、撮像デバイスと標的物体の両方が曲線方向に移動していて、標的物体が撮像デバイスより低速で移動していると判断できる。
図２５（パートＣ）に示される例において、撮像デバイスは速さＶｉで曲線方向に移動してもよく、標的物体は速さＶｔで曲線方向に移動してもよい。ＶｉはＶｔより小さくてもよい（Ｖｉ＜Ｖｔ）。したがって、背景特徴は、第一及び第二の画像フレーム間で、速さＶｂ’で曲線方向に移動してもよく、標的特徴は、第一及び第二の画像フレーム間で、速さＶｔ’で曲線方向に並進してもよく、Ｖｔ’＞Ｖｂ’である。図２５（パートＣ）の特徴点の移動特性に基づき、画像分析器は、撮像デバイスと標的物体の両方が曲線方向に移動しており、標的物体が撮像デバイスより高速で移動していると判断できる。
図２０、２１、及び２２の実施形態において、（背景特徴に関連付けられる）第一のピクセル群の第一の移動特性は、第一の線方向及び第一の線速さを含む第一の線速度を含んでいてもよい。（標的特徴に関連付けられる）第二のピクセル群の第二の移動特性は、第二の線方向及び第二の線速さを含む第二の線速度を含んでいてもよい。幾つかの実施形態において、画像分析器は、第一の線方向が第二の線方向と平行で、反対方向であり、第一の線速さが第二の線速さと同じである場合（例えば、図２０Ａ参照）、標的物体が撮像デバイスと実質的に同じ速さと方向で移動していると判断するように構成されてもよい。
幾つかの実施形態において、画像分析器は、第一の線方向が第二の線方向と平行で反対方向であり、第一の線速さが第二の線速さと異なる場合に（例えば、図２０（パートＢ及びＣ参照）、標的物体が撮像デバイスと実質的に同じ方向に、それと異なる速さで移動していると判断するように構成されてもよい。これらの実施形態において、画像分析器は、第一の線速さが第二の線速さより小さい場合（例えば、図２０（パートＣ）参照）に、標的物体が撮像デバイスより高速で移動していると判断し、又は第一の線速さが第二の線速さより大きい場合（例えば、図２０（パートＢ）参照）に、標的物体が撮像デバイスより高速で移動していると判断するように構成されてもよい。
幾つかの実施形態において、画像分析器は、第一の線方向が第二の線方向に平行で、同じ方向であり、第一の線速さが第二の線速さと同じ場合（例えば、図２１（パートＡ）参照）に、標的物体が静止又は休止していると判断するように構成されてもよい。
幾つかの実施形態において、画像分析器は、第一の線方向が第二の線方向に平行で、同じ方向であり、第一の線速さが第二の線速さと異なる場合（例えば、図２１（パートＢ及びＣ）参照）、標的物体と撮像デバイスが反対方向に異なる速さで移動していると判断するように構成されてもよい。これらの実施形態において、画像分析器は、第一の線速さが第二の線速さより小さい時（例えば、図２１（パートＣ）参照）に、標的物体が撮像デバイスより高速で移動していると判断し、又は第一の線速さが第二の線速さより大きい時（例えば、図２１（パートＢ）参照）、標的物体が撮像デバイスより低速で移動していると判断するように構成されてもよい。
幾つかの他の実施形態において、画像分析器は、第一の線方向が第二の線方向と異なり、第一の線速さが第二の線速さと実質的に同じ時（例えば、図２２（パートＡ）参照）に、標的物体が撮像デバイスとは異なる方向に移動し、撮像デバイスと実質的に同じ速さで移動していると判断するように構成されてもよい。これらの実施形態において、画像分析器は、第一の線方向が第二の線方向に対して斜めであるか否かを判断することができてもよい。
幾つかの別の実施形態において、画像分析器は、第一の線方向が第二の線方向と異なり、第一の線速さが第二の線速さと異なる場合に（例えば、図２２（パートＢ及びＣ）参照）、標的物体が撮像デバイスとは異なる方向に、撮像デバイスとは異なる速さで移動していると判断するように構成されてもよい。これらの実施形態において、画像分析器は、第一の線方向が第二の線方向に斜めであるか否かを判断することができてもよい。画像分析器は、第一の線速さが第二の線速さより小さい時（例えば、図２２（パートＣ）参照）に、標的物体が撮像デバイスより高速で移動しているか、又は、第一の線速さが第二の線速さより大きい時（例えば、図２２（パートＢ）参照）に、標的物体が撮像デバイスより低速で移動していると判断するように更に構成されてもよい。
幾つかの実施形態において、（背景特徴に関連付けられる）第一のピクセル群の第一の移動特性は、第一の曲線方向及び第一の曲線速さを含む第一の曲線速度を更に含んでいてもよい。（標的特徴に関連付けられる）第二のピクセル群の第二の移動特性は、第二の曲線方向及び第二の曲線速さを含む第二の曲線速度を含んでいてもよい。幾つかの実施形態において、画像分析器は、標的物体と撮像デバイスが同じ曲線方向に同じ曲線速さで移動している（例えば、図２５（パートＡ）参照）と判断するように構成されてもよい。
幾つかの実施形態において、画像分析器は、標的物体と撮像デバイスが、同じ曲線方向に、異なる曲線速さで移動している（例えば、図２５（パートＢ及びＣ）参照）と判断するように構成されてもよい。これらの実施形態において、画像分析器は、第一の曲線速さが第二の曲線速さより小さい時（例えば、図２５（パート）Ｃ参照）に、標的物体が撮像デバイスより高速で移動していると判断し、又は第一の曲線速さが第二の曲線速さより大きい時（例えば、図２５（パートＢ）参照）、標的物体は撮像デバイスより低速で移動していると判断するように構成されてもよい。
幾つかの実施形態において、撮像デバイスは直線方向に移動してもよく、標的物体は曲線方向に移動してもよい（例えば図２４参照）。幾つかの他の実施形態において、撮像デバイスは曲線方向に移動してもよく、標的物体は直線方向に移動してもよい。幾つかの別の実施形態において、撮像デバイスと標的物体は、異なる時間に直線及び／又は曲線方向の両方に移動してもよい。撮像デバイス標的物体の何れの運動（直線、非直線、曲線、ジグザグ、ランダムパターン、その他）も想定されてよい。
幾つかの実施形態において、各ピクセルの加速度は、各ピクセルの直線加速度及び／又は角加速度を更に含む。例えば、（背景特徴に関連付けられる）第一のピクセル群の第一の移動特性は、第一の直線加速度及び第一の角加速度のうち少なくとも１つを含んでいてもよい。（標的特徴に関連付けられる）第二のピクセル群の第二の移動特性は、第二の直線加速度及び／又は第二の角加速度を含んでいてもよい。
画像分析器は、第一の直線加速度が第二の直線加速度と異なる場合、標的物体は背景物体に関して加速してしいると判断するように構成されてもよい。例えば、第一の直線加速度が第二の直線加速度より小さい場合、標的物体は撮像デバイスより高速で加速していると判断し、又は第一の直線加速度が第二の直線加速度より大きい場合、標的物体は撮像デバイスより低速で加速していると判断できる。
同様に、画像分析器は、第一の角加速度が第二の角加速度と異なる場合、標的物体が背景物体に関して加速していると判断するように構成されてもよい。例えば、画像分析器は、第一の角加速度が第二の角加速度より小さい場合、標的物体が撮像デバイスより高速で加速していると判断し、第一の角加速度が第二の角加速度より大きい場合、標的物体は撮像デバイスより低速で加速していると判断できる。
図２６は、幾つかの実施形態による、移動ビジュアルトラッキングデバイスの運動特性を調整することによって特徴点群を追跡するためのビジュアルトラッキングシステム２６００を示す。図２６の実施形態において、システムは、画像分析器２６２０から出力される分析信号２６２２のためのフィードバックループを含んでいてもよい。分析信号は、運動検出モジュール２６３０を含む運動コントローラ２６４０に戻されてもよい。幾つかの実施形態において、運動コントローラと運動検出モジュールは、異なる構成要素又はデバイス上に提供されてもよい。運動コントローラは、移動ビジュアルトラッキングデバイスの運動特性を調整することによって特徴点群を追跡するように構成されてもよい。撮像デバイスは、移動ビジュアルトラッキングデバイス上に取り付けられ、支持されてもよい。移動ビジュアルトラッキングデバイスはＵＡＶであってもよい。運動検出モジュールは、撮像デバイス及び移動ビジュアルトラッキングデバイスののうち少なくとも１つデバイスの運動を検出して、運動信号２６３２を画像分析器に供給するように構成されてもよい。運動信号は、撮像デバイス及び／又は移動ビジュアルトラッキングデバイスの運動特性を含んでいてもよい。
画像分析器は、撮像デバイスにより供給された画像信号２６１２と運動検出モジュールにより供給された運動信号に基づいて、複数の特徴点の移動特性を得るように構成されてもよい。画像分析器は、複数の特徴点から特徴点群を複数の特徴点の移動特性に基づいて選択するように更に構成されてもよい。特徴点群に関連付けられる移動情報は、分析信号を介して運動コントローラに戻されてもよい。運動コントローラは、移動ビジュアルトラッキングデバイス／撮像デバイスの運動特性を調整することによって特徴点群を追跡するように構成されてもよく、それによって特徴点群が実質的に、撮像デバイスを使って取得される各画像フレームの標的領域の中に位置付けられる。
図２６の例において、画像分析器は、１つ又は複数の標的物体のビジュアルトラッキングをサポートするように構成されてもよい。例えば、画像分析器は、撮像デバイスからの複数の画像信号を受信するように構成されてもよい。画像信号は、移動ビジュアルトラッキングデバイス／撮像デバイスが移動中に、撮像デバイスによってある期間にわたり（例えば、それぞれ時間Ｔ１及びＴ２で）取得される複数の画像フレーム（例えば、第一の画像フレーム２６１２−１及び第二の画像フレーム２６１２−２）を示していてもよい。各画像フレームは、複数のピクセルを含んでいてもよい。画像分析器は、複数の運動信号に基づいて移動ビジュアルトラッキングデバイスの運動特性を取得し、移動ビジュアルトラッキングデバイスの運動特性に基づいて複数の画像信号を分析し、複数のピクセルに関連付けられる移動特性を計算するように更に構成されてもよい。特徴点群の選択的追跡は、オプティカルフローアルゴリズムを使って実現でき、これについて図２７を参照しながらより詳しく説明する。具体的には、図２７は、幾つかの実施形態による、図２６の移動ビジュアルトラッキングシステムを使用する例示的な画像の特徴点群の追跡を示している。
図２７を参照すると、画像分析器（例えば、図２６の画像分析器２６２０）は、撮像デバイス２７１０から複数の画像信号を受信してもよい。撮像デバイスはＵＡＶに取り付けられてもよい。画像信号は、時間Ｔ１で位置１において取得された第一の画像フレーム２７１２−１と、時間Ｔ２で位置１において取得された第二の画像フレーム２７１２−２を含んでいてもよく、時間Ｔ２は時間Ｔ１以降に発生する時点であってもよい。時間Ｔ１で、選択された特徴点群（例えば、複数の標的物体に関連付けられる追跡特徴）が、第一の画像フレームの標的領域（破線の長方形のボックス）の中に位置付けられてもよい。時間Ｔ２で、選択された特徴点群は、第二の画像フレームの標的領域の外に移動しているかもしれない。図２７の例において、標的領域は、各画像フレームの中央領域であってもよい。他の実施形態において、標的領域は、各画像フレームのエッジ領域であってもよい。幾つかの実施形態において、画像フレーム内の標的特徴の大きさは、撮像デバイスに、標的物体により近付くようにズームインするか、標的物体からより遠ざかるようにせしめることによって調整できる。幾つかの実施形態において、各画像フレームは、異なる位置にある、又は相互に重複する複数の標的領域を含んでいてもよい。
図２７は３つの画像フレームを示しているが、幾つの画像フレームが想定されてもよい。例えば、幾つかの実施形態において、画像信号は、Ｔ１から始まりＴｎまでのある期間にわたって位置１からｍにおいて取得される複数の画像フレーム２７１２−１〜２７１２−ｎを含んでいてもよく、ｍ及びｎは１より大きい何れの整数であってもよい。
幾つかの実施形態において、標的物体及び／又は撮像デバイスが高速で移動している時はより多くの画像フレームが取得されてもよく、標的物体及び／又は撮像デバイスが低速で移動している時はより少ない画像フレームが取得されてもよい。
各画像フレームは、複数の特徴点に関連付けられる複数のピクセルを含んでいてもよい。図２７に示されるように、特徴点は標的物体（例えば、人の集合）と、背景物体（例えば、建物、木、ゴルフコース、ガソリンスタンド、その他）に関連付けられてもよい。図２７の例において、標的物体は時間Ｔ１で第一の位置にあり（第一の画像フレーム２７１２−１参照）、時間Ｔ２で第二の位置に移動していてもよい（第二の画像フレーム２７１２−２参照）。
図２７の例において、特徴点群に関連付けられる移動情報は、分析信号を介して運動コントローラに戻されてもよい。運動コントローラは、移動ビジュアルトラッキングデバイスの運動特性を調整することによって（例えば、追跡デバイスを位置１から位置２に移動させることによって）特徴点群を追跡し、特徴点群を実質的に各標的領域内に位置付けるように構成されてもよい。したがって、特徴点群は時間Ｔ３で、位置２において取得された第三の画像フレーム２７１２−３の標的領域内に実質的に位置付けられてもよい。
移動ビジュアルトラッキングデバイスの運動特性は、移動ビジュアルトラッキングデバイスの運動特性が特徴点群の移動特性と実質的に同じであるように調整されてもよい。特徴点群の移動特性は、特徴点群の少なくとも速度及び／又は加速度を含んでいてもよい。移動ビジュアルトラッキングデバイスの速度は、特徴点群の速度に関連付けられてもよい。同様に、移動ビジュアルトラッキングデバイスの加速度は、特徴点群の加速度に関連付けられてもよい。したがって、運動コントローラは、移動ビジュアルトラッキングデバイスの速度及び／又は加速度を調整して、特徴点群を追跡し、特徴点群を実質的に各標的領域内に位置付けることができる。
幾つかの実施形態において、移動ビジュアルトラッキングデバイスが移動可能装置、例えばＵＡＶに搭載されている場合、ＵＡＶの移動特性を調整して、移動ビジュアルトラッキングデバイスが特徴点群を追跡できるようにしてもよい。幾つかの実施形態において、移動ビジュアルトラッキングデバイスは撮像デバイスを含んでいてもよい。幾つかの実施形態において、運動コントローラは、ＵＡＶの移動に関する撮像デバイスの移動を調整して、特徴点群を追跡するように構成されてもよい。幾つかの実施形態において、撮像デバイスは移動可能装置により支持されてもよい。移動可能装置は、無人航空機（ＵＡＶ）であってもよい。移動可能装置は、撮像デバイスを移動可能装置上の支持構造に関して移動できるようにするための、撮像デバイス用の支持機構を含んでいてもよい。幾つかの実施形態において、特徴点群は常に、撮像デバイスの視野内に位置付けられていてもよい。
前述のように、運動コントローラは、移動ビジュアルトラッキングデバイス／撮像デバイスの運動特性を調整することによって特徴点群を追跡し、それによって特徴点を実質的に、撮像デバイスを使って取得された各画像フレームの標的領域内に位置付けるように構成されてもよい。移動ビジュアルトラッキングデバイス／撮像デバイスの運動特性は、デバイスの並進移動、デバイスの回転移動、デバイスの曲線運動、デバイスの方位変化（例えば、姿勢、ピッチ、ロール、ヨー）、デバイスのズームイン若しくはズームアウト（拡大）、又は上記の何れかの組合せを介して調整されてもよい。幾つかの実施形態において、移動ビジュアルトラッキングデバイス／撮像デバイスの運動特性は、特定の優先的パラメータ（例えば、デバイスが常に標的物体から所定の距離内に留まること、又は標的物体から最小距離を保つこと）に基づいて調整されてもよい。
幾つかの実施形態において、移動ビジュアルトラッキングデバイスは、ある特徴点群を、その特徴点群が実質的に同じ特性を有するかぎり、追加するように構成されてもよい。例えば、特徴点群は一般的に、同じ方向に移動していてもよい。移動式ビジュアルトラッキングデバイスは、特徴点群の大きさ及び／又は形状に関係なく、特徴点群を追跡するように構成されてもよい。
図２７の実施形態において、移動ビジュアルトラッキングデバイスは、標的物体が１つの位置から他の位置に移動する際に、実質的に同じ形状と大きさを有する外郭により取り囲まれる特徴点群を追跡しているように示されている。幾つかの実施形態において、移動ビジュアルトラッキングデバイスは、例えば図２８に示されるように、無定形の形状を有する、及び／又はその大きさが変化する外郭により取り囲まれる特徴点群を追跡できる。図２８の実施形態において、特徴点群を取り囲む外郭の大きさと形状は時間と共に、標的物体の数が変化すると、又は標的物体がまとまってランダムに移動すると変化する。例えば、外郭の大きさ及び／又は形状は、標的物体が時間Ｔ１、Ｔ２、及びＴ３において異なる位置間で移動するにつれて異なってもよい。運動コントローラは、移動ビジュアルトラッキングデバイスの運動特性を調整して、常に変化する特徴点群を追跡し、特徴点群を実質的に各標的領域内に位置付けることができる。
幾つかの実施形態において、特徴点群は、特徴点の複数の小集合を含んでいてもよい。特徴点群の複数の小集合は、特徴点の第一の小集合及び第二の小集合を含んでいてもよい。特徴点群の第一及び第二の小集合は、実質的に同じ移動特性を有していてもよい。移動ビジュアルトラッキングデバイスは、図２９（パートＡ）に示されているように、実質的に同じ移動特性を有する特徴点の第一及び第二の小集合を追跡するように構成されてもよい。
幾つかの代替的な実施形態において、特徴点の第一及び第二の小集合は、実質的に異なる移動特性を有していてもよい。これらの実施形態において、移動ビジュアルトラッキングデバイスは、特徴点の第一又は第二の小集合のうちの少なくとも１つを追跡するように構成されてもよい。例えば、幾つかの例おいて、移動ビジュアルトラッキングデバイスは、例えば図２９（パートＢ）に示されるように、特徴点の第一の小集合の大きさが特徴点の第二の小集合の大きさより大きい時に、特徴点の第一の小集合を追跡するように構成されてもよい。他の例において、移動ビジュアルトラッキングデバイスは、特徴点の第一の小集合の大きさが特徴点の第二の小集合の大きさより小さい時に、特徴点の第一の小集合を追跡するように構成されてもよい。移動ビジュアルトラッキングデバイスは、特徴点の何れの特定の小集合も、その特徴点の小集合に関連付けられる様々な特性に応じて追跡してよい。例示的な特性としては、（上述のような）大きさ、形状、移動特性、その他が含まれていてもよい。移動特性には、特徴点の速さ、加速度、又は方位が含まれていてもよい。幾つかの実施形態において、特徴点の小集合は、多因子重み付け（例えば、大きさ、形状、速さ、方位、その他に関する複数の様々な因子に基づく）に基づいて追跡されてもよい。幾つかの実施形態において、追跡デバイスは、特徴点をできるだけ長く追跡し（例えば、特徴点が発散を始めた場合に、視野を広げるためにズームアウトすることによる）、特徴点の必ずしも全部を十分な明瞭さ／詳細度で実質的に追跡できない場合に、特徴点の小集合の１つ又は複数を選択するように構成されてもよい。幾つかの実施形態において、特徴点が発散を始めた時、撮像デバイスは、標的物体に関してより速い縦方向の位置まで、又は標的物体から横方向に離れるより遠い距離までと移動して、追跡特徴を撮像デバイスの視野内に、又は撮像デバイスにより取得される画像フレームの標的領域内に位置付けることができるようにしてもよい。
幾つかの実施形態において、センサ及び／又はプロセッサは、移動可能物体に連結されてもよい。移動可能物体は、無人移動可能物体、例えば無人航空機であってもよい。幾つかの実施形態において、センサは、カメラ等の撮像デバイスを含んでいてもよい。１つ又は複数の撮像デバイスは、ＵＡＶに搭載されてもよい。本明細書におけるＵＡＶの説明は、希望に応じて、他の何れの種類の移動可能物体にも適用されてよい。幾つかの実施形態において、プロセッサは、ＵＡＶに搭載される埋め込み式プロセッサであってもよい。或いは、プロセッサはＵＡＶとは分離されていてもよい（例えば、地上局において、ＵＡＶ又はＵＡＶと通信する移動可能なリモートコントローラと通信する）。ＵＡＶは、本明細書で説明される撮像デバイスを利用して、（例えばビジュアルトラッキングに関する）動作を実行してもよい。例えば、ＵＡＶ上のプロセッサは、撮像デバイスにより取得される画像を分析し、これらを使って標的物体を特定及び／又は追跡してもよい。ＵＡＶは、コンピュータビジョンを利用して、環境内で自航してもよい。自航とは、ＵＡＶの地域的又は地球的位置測定、ＵＡＶの方位測定、障害物の検出と回避、及びその他を含んでいてもよい。本開示の撮像デバイスは、ＵＡＶの何れの適当な部分にも、例えば、ＵＡＶの上方、下方、側面、又はその内部に位置付けることができる。幾つかの撮像デバイスは、ＵＡＶに機械的に連結して、ＵＡＶの空間的配置、及び／又は運動を撮像デバイスの空間的配置及び／又は運動に対応させることができる。撮像デバイスは、固定継ぎ手を使ってＵＡＶに連結して、撮像デバイスが、ＵＡＶのうち、それが取り付けられた部分に関して移動しないようにすることができる。或いは、撮像デバイスとＵＡＶとの間の連結によって、ＵＡＶに関する撮像デバイスの移動（例えば、ＵＡＶに関する並進又は回転移動）を可能にすることができる。連結は、永久的な連結又は非永久的な（例えば、釈放可能な）連結とすることができる。適当な連結方法は、接着剤、ボンディング、溶接、及び／又は固定手段（例えば、ねじ、釘、ピン、その他）を含むことができる。任意選択により、撮像デバイスはＵＡＶの一部と一体形成することができる。更に、撮像デバイスは、ＵＡＶの一部（例えば、処理ユニット、制御システム、データストレージ）と電気的に連結して、撮像デバイスにより収集されたデータを、本明細書に記載されている実施形態のように、ＵＡＶの様々な機能（例えば、ナビゲーション、制御、推進、ユーザ又は他のデバイスとの通信、その他）のために使用できるようにすることかできる。撮像デバイスは、ＵＡＶの一部（例えば、処理ユニット、制御システム、データストレージ）と動作的に連結されてもよい。１つ又は複数の撮像デバイスはＵＡＶ上に位置付けられてもよい。例えば、１、２、３、４、５、又はそれ以上の撮像デバイスがＵＡＶ上に位置付けられてもよい。１つ又は複数の撮像デバイスが同じ視野（ＦＯＶ）又は異なるＦＯＶを有していてもよい。１つ又は複数の撮像デバイスの各々は、１つ又は複数のプロセッサに連結されてもよい。１つ又は複数の撮像デバイスの各々が個別に、又は集合的に本明細書で説明する方法を実行してもよい。１つ又は複数の撮像デバイスは、各々が所望のテクスチャ品質を有するに画像を取得してもよい。各撮像デバイスは、同じ又は異なる機能（例えば、ビジュアルトラッキング応用）に利用できる画像を取得してもよい。例えば、ＵＡＶは２つの撮像デバイスに連結されてもよく、一方は標的物体群を追跡し、もう一方はナビゲーション又は自己位置推定のために利用される画像を取得する。
前述のように、撮像デバイスは、追跡デバイスに取り付けることができる。追跡デバイスはＵＡＶであってもよい。幾つかの例において、追跡デバイスはＵＡＶの上に実装され、又はその中に提供されてもよい。ＵＡＶに関する本明細書中の説明は、他の何れの種類の航空機にも、又は他の何れの種類の移動物体にも当てはまり、その逆でもある。追跡デバイスは、自己推進運動が可能であってもよい。ＵＡＶの説明は、何れの種類の無人移動可能物体（例えば、空中、地上地中、水上水中、又は宇宙を移動できる）にも当てはまる。ＵＡＶは、リモートコントローラからの命令に応答できてもよい。リモートコントローラはＵＡＶに物理的に接続されていなくてもよく、離れた場所からＵＡＶと無線で通信してもよい。幾つかの例において、ＵＡＶは自律的に、又は半自律的に動作可能であってもよい。ＵＡＶは、事前にプログラムされた命令セットに従うことが可能であってもよい。幾つかの例において、ＵＡＶは、リモートコントローラからの１つ又は複数の命令に応答することによって半自律的に動作し、それ以外は自律的に動作してもよい。例えば、リモートコントローラからの１つ又は複数の命令は、１つ又は複数のパラメータに従ってＵＡＶによる自律的又は半自律的動作のシーケンスを開始してもよい。
ＵＡＶは、ＵＡＶが空中を動き回ることができるようにしうる１つ又は複数の推進ユニットを有していてもよい。１つ又は複数の推進ユニットは、ＵＡＶが１又は複数の、２又はそれ以上の、３又はそれ以上の、４又はそれ以上の、５又はそれ以上の、６又はそれ以上の自由度で移動できるようにしてもよい。幾つかの例において、ＵＡＶは、１つ、２つ、３つ、又はそれ以上の回転軸の周囲で回転できてもよい。回転軸は、相互に垂直であってもよい。回転軸は、ＵＡＶの飛行経路を通じて相互に垂直のままであってもよい。回転軸は、ピッチ軸、ロール軸、及びヨー軸のうち少なくとも１つを含んでいてもよい。ＵＡＶは、１つ又は複数の次元に沿って移動できてもよい。例えば、ＵＡＶは、１つ又は複数のロータにより生成される揚力によって上方に移動できてもよい。幾つかの例において、ＵＡＶは、Ｚ軸（ＵＡＶの方位に関して上方であってもよい）、Ｘ軸、及び／又はＹ軸（横方向であってもよい）に沿って移動できてもよい。ＵＡＶは、相互に垂直であってもよい１つ、２つ、又は３つの軸に沿って移動可能であってもよい。
ＵＡＶはロータクラフトであってもよい。幾つかの例において、ＵＡＶは複数のロータを含んでいてもよいマルチロータクラフトであってもよい。複数のロータは、回転してＵＡＶのための揚力を生成可能であってもよい。ロータは、ＵＡＶが空中を自由に動きまわれるようにできる推進ユニットであってもよい。ロータは、同じ回転数で回転してもよく、及び／又は同じ量の揚力又は推力を発生させてもよい。ロータは、任意選択により、異なる量の揚力若しくは推力を発生させ、及び／又はＵＡＶを回転させることのできる、変化する回転数で回転してもよい。幾つかの例において、１つ、２つ、３つ、４つ、５つ、６つ、７つ、８つ、９つ、１０、又はそれ以上のロータがＵＡＶに提供されてもよい。ロータは、それらの回転軸が相互に平行になるように配置されてもよい。幾つかの例において、ロータは、相互に関して何れの角度の回転軸を有していてもよく、これらはＵＡＶの回転に影響を与えうる。
ＵＡＶは筐体を有していてもよい。筐体は、１つ又は複数の内部空洞を有していてもよい。ＵＡＶは、中央本体を含んでいてもよい。ＵＡＶは任意選択により、中央本体から分岐する１つ又は複数のアームを有していてもよい。アームは、推進ユニットを支持してもよい。１つ又は複数の分岐空洞がＵＡＶのアーム内にあってもよい。筐体は、中央本体から分岐するアームを含んでいても、含んでいなくてもよい。幾つかの例において、筐体は、中央本体とアームを包含する一体部分から形成されてもよい。或いは、別々の筐体又は部品を使って中央本体とアームを形成してもよい。
任意選択により、追跡デバイスは、空間位置を変化させる（例えば、Ｘ方向、Ｙ方向、及び／又はＺ方向に並進する）ことによって、移動可能であってもよい。或いは、又はこれと組み合わせて、追跡デバイスは、空間内で方位を変化させるように構成されてもよい。例えば、追跡デバイスは、ヨー軸、ピッチ軸、及びロール軸のうち少なくとも１つの周囲で回転可能であってもよい。１つの例において、追跡デバイスは、空間位置を実質的に変化させなくてもよいが、角度方向を変化させてもよい（例えば、構造体等の静止している支持手段にしっかりと取り付けられた監視カメラ）。他の例において、追跡デバイスは、実質的に方位を変化させず、空間位置を変化させてもよい。幾つかの例において、追跡デバイスは空間位置と角度方向の両方を変化させることが可能であってもよい。
図３０は、実施形態による、支持機構３００２及び搭載物３００４を含む移動可能物体３０００を示している。移動可能物体３０００は飛行機として描かれているが、この図は限定的とされるものではなく、本明細書において前述したように、何れの適当な種類の移動可能物体も使用できる。当業者であれば、航空機システムに関して本明細書で説明された実施行形態は全て、何れの適当な移動可能物体（例えばＵＡＶ）にも適用できることがわかるであろう。
幾つかの実施形態において、移動可能物体３０００はＵＡＶであってもよい。ＵＡＶは、推進システム又は、幾つかのロータ（例えば、１つ、２つ、３つ、４つ、５つ、６つ、又はそれ以上）を含むことができる。無人航空機のロータ又はその他の推進システムは、無人航空機がホバリングし／位置を維持し、方位を変化させ、及び／又は位置を変化させることができるようにしてもよい。反対のロータのシャフト間の距離は、何れの適当な長さとすることもできる。例えば、この長さは２ｍ以下、又は５ｍ以下とすることができる。幾つかの実施形態において、この長さは４０ｃｍ〜７ｍ、７０ｃｍ〜２ｍ、又は５ｃｍ〜５ｍの範囲内とすることができる。ＵＡＶに関する本明細書内の説明は何れも、異なる種類の移動可能物体等、移動可能物体にも当てはまり、またその逆でもある。
幾つかの例において、搭載物３００４は移動可能物体３０００上に提供されてもよく、支持機構３００２は不要である。移動可能物体３０００は、推進機構３００６と、検出システム３００８と、通信システム３０１０とを含んでいてもよい。推進機構３００６は、本明細書中で前述したように、ロータ、プロペラ、ブレード、エンジン、モータ、車輪、アクスル、磁石、又はノズルのうちの１つ又は複数を含むことができる。移動可能物体は、１つ又は複数の、２つ又はそれ以上の、３つ又はそれ以上の、又は４つ又はそれ以上の推進機構を有していてもよい。推進機構は全てが同じ種類であってもよい。或いは、１つ又は複数の推進機構は異なる種類の推進機構とすることができる。幾つかの実施形態において、推進機構３００６は、移動可能物体３０００が表面から縦方向に発進し、又は縦方向に表面に着地でき、移動可能物体３０００の水平移動を一切必要としない（例えば、滑走路の走行を必要としない）ようにすることができる。任意選択により、推進機構３００６は、移動可能物体３０００が空中の特定の位置及び方位のうち少なくとも１つでホバリングできるように動作可能とすることができる。
例えば、移動可能物体３０００は、移動可能物体に揚力及び／又は推力を提供できる、水平に方向付けられた複数のロータを有することができる。水平に向けられた複数のロータは、垂直発進、垂直着地、及びホバリング能力を移動可能物体３０００に提供するように作動できる。幾つかの実施形態において、水平に向けられたロータのうちの１つ又は複数は時計回り方向に旋回してもよく、その一方で、水平に向けられたロータの１つ又は複数は反時計回り方向に旋回してもよい。例えば、時計回りのロータの数は、反時計回りのロータの数と等しくてもよい。水平に向けられたロータの各々の回転数はそれぞれ別に変化させて、各ロータにより生成される揚力及び／又は推力を制御し、それによって移動可能物体３０００の（例えば、最大並進３自由度及び最大回転３自由度に関する）空間配置、速度、及び加速度のうち少なくとも１つを調整できる。
検出システム３００８は１つ又は複数のセンサを含むことができ、これらは移動可能物体３０００の（例えば、最大並進３自由度及び最大回転３自由度に関する）空間配置、速度、及び加速度のうち少なくとも１つを検出してもよい。１つ又は複数のセンサは、全地球測位システム（ＧＰＳ）センサ、運動センサ、慣性センサ、近接性センサ、又は画像センサを含むことができる。検出システム３００８により供給された検出データは、（例えば、後述のように、適当な処理ユニット及び制御モジュールのうち少なくとも１つを使って）移動可能物体３０００の空間配置、速度、及び方位のうち少なくとも１つを制御できる。或いは、検出システム３００８は、移動可能物体をとり取り巻く環境、例えば気候条件、潜在的障害物との近接性、地理的特徴物の位置、人工構造物の位置、及びその他に関するデータを供給するため使用できる。
検出システムは、本明細書中に説明されているように、画像センサ、撮像デバイス、及び画像分析器（例えば、図１の画像分析器１２０）のうち少なくとも１つを含んでいてもよい。検出システムはまた、本明細書で説明されているように、運動検出モジュール（例えば、図１５の運動検出モジュール１５３０）も含んでいてよい。検出システムは、本明細書内で説明されているように、運動コントローラ（例えば、図２６の運動コントローラ２６４０）を更に含んでいてもよい。運動検出モジュールは、撮像デバイス及び移動ビジュアルトラッキングデバイスのうち少なくとも１つデバイスの運動を検出し、画像分析器に運動信号を供給するように構成されてもよい。運動信号は、撮像デバイス及び又は移動ビジュアルトラッキングデバイスの運動特性を含んでいてもよい。画像分析器は、撮像デバイスにより供給された画像信号と運動検出モジュールにより供給された運動信号に基づいて、複数の特徴点の移動特性を取得するように構成されてもよい。画像分析器は、複数の特徴点からある特徴点群を、複数の特徴点群の移動特性に基づいて選択するように更に構成されてもよい。
特徴点群に関連付けられる移動情報は、分析信号を介して運動コントローラに戻されてもよい。運動コントローラは、移動ビジュアルトラッキングデバイス／撮像デバイスの運動特性を調整することによって特徴点群を追跡するように構成されてもよく、それによって特徴点群は実質的に、撮像デバイスを使って取得された各画像フレームの標的領域内に位置付けられる。運動コントローラは、移動式ビジュアルトラッキングデバイスの運動特性を調整することによって、特徴点群を追跡するように構成されてもよい。
したがって、上記の検出システムの構成要素の１つ又は複数は、異なる条件下で移動する標的物体及び移動する標的物体群を精密に追跡可能とすることができる。この条件としては、屋内及び屋外環境、ＧＰＳ信号のない場所若しくはＧＰＳ信号の受信状態の悪い場所、様々な異なる地形、その他が含まれていてもよい。標的物体としては、ＧＰＳ装置を搭載していない標的物体、明確な特徴を持たない、若しくは既知の物体種別に含まれない標的物体、まとまってある群を形成し、その群の大きさ及び／又は形状が無定形であるか、時間の経過と共に変化しうる標的物体、異なる編成で移動する異なる複数の標的物体、又は上記の何れかの組合せが含まれてもよい。
通信システム３０１０は、通信システム３０１４を有する端末３０１２との無線信号３０１６を介した通信を可能にする。幾つかの実施形態において、端末は、本明細書の他の箇所で説明されているように、画像分析器、運動検出モジュール、及び運動コントローラのうち少なくとも１つを含んでいてもよい。通信システム３０１０、３０１４は、無線通信に適した何れの数の送信機、受信機、及びトランシーバのうち少なくとも１つを含んでいてもよい。通信は一方向通信であってもよく、それによってデータを一方向にのみ送信できる。例えば、一方向通信には、移動可能物体３０００による端末３０１２へのデータ送信だけ、又はその逆が関わっていてよい。データは、通信システム３０１０の１つ又は複数の送信機から通信システム３０１２の１つ又は複数の受信機に送信されてもよく、又はその逆でもよい。或いは、通信は、両方向通信であってもよく、それによってデータを移動可能物体３０００と端末３０１２との間で両方向に送信できる。両方向通信には、データを通信システム３０１０の１つ又は複数送信機から通信システム３０１４の１つ又は複数の受信機へと送信すること、及びその逆を含むことができる。
幾つかの実施形態において、端末３０１２は、移動可能物体３０００、支持機構３００２、及び搭載物３００４のうちの１つ又は複数に制御データを供給し、移動可能物体３０００、支持機構３００２、及び搭載物３００４のうちの１つ又は複数から情報（例えば、移動可能物体、支持機構、又は搭載物の位置及び／又は運動情報、搭載物により検出されるデータ、例えば搭載物カメラにより取得される画像データ）を受信することができる。幾つかの実施形態において、移動可能物体３０００は、端末３０１２に加えて、又は端末３０１２の代わりに、他の遠隔デバイスと通信するように構成できる。端末３０１２は、他の遠隔デバイスのほか、移動可能物体３０００と通信するように構成されてもよい。例えば、移動可能物体３０００及び／又は端末３０１２は、他の移動可能物体、又は他の移動可能物体の支持機構若しくは搭載物と通信してもよい。希望に応じて、遠隔デバイスは、第二の端末又はその他のコンピューティングデバイス（例えば、コンピュータ、ラップトップ、タブレット、スマートフォン、又はその他のモバイルデバイス）であってもよい。遠隔デバイスは、移動可能物体３０００にデータを送信し、移動可能物体３０００からデータを受信し、端末３０１２にデータを送信し、及び／又は端末３０１２からデータを受信するように構成できる。任意選択により、遠隔デバイスは、インターネット又はその他の電気通信ネットワークに接続でき、それによって移動可能物体３０００及び／又は端末３０１２から受信したデータをウェブサイト又はサーバにアップロードできる。
本発明の好ましい実施形態を図に示し、本明細書の中で説明したが、当業者にとっては明らかであるように、かかる実施形態は例として提供されたに過ぎない。ここで、各種の変更、改変、及び置換が、本発明から逸脱することなく、当業者により着想されるであろう。理解するべき点として、本明細書において説明された本発明の実施形態の様々な代替案は本発明の実施において利用されてもよい。以下の特許請求の範囲は本発明の範囲を定義しており、これらの特許請求の範囲に含まれる方法と構造及びそれらの均等物はそれにより包含されるものとする。

Claims (146)

  1. ビジュアルトラッキングをサポートする方法であって、
    撮像デバイスを使って異なる時間に取得された複数の画像フレームを受信するステップであって、各画像フレームが複数の特徴点に関連付けられる複数のピクセルを含むステップと、
    前記複数の画像フレームを分析して、前記複数の特徴点の移動特性を計算するステップと、
    少なくとも１つの背景特徴に関する少なくとも１つの追跡特徴を、前記複数の特徴点の前記移動特性に基づいて特定するステップと
    を含む方法。
  2. 前記画像フレームが複数の画像信号の中で符号化される、請求項１に記載の方法。
  3. 前記複数の画像信号は、前記撮像デバイスによって生成される、請求項２に記載の方法。
  4. 少なくとも１つの背景特徴に関する少なくとも１つの追跡特徴を特定するステップは、前記複数の特徴点の前記移動特性に基づいて、第一の特徴点群と第二の特徴点群を前記複数の特徴点の中から区別するステップを含む、請求項１に記載の方法。
  5. 前記第一の特徴点群は実質的に第一の移動特性を有し、前記第二の特徴点群は、前記第一の移動特性と異なる実質的に第二の移動特性を有する、請求項４に記載の方法。
  6. 前記第一の特徴点群を前記背景特徴として、及び前記第二の特徴点群を前記追跡特徴として特定するステップを更に含む、請求項５に記載の方法。
  7. 前記複数の特徴点の前記移動特性は、各特徴点の速度又は加速度の少なくとも一方を含む、請求項５に記載の方法。
  8. 前記複数の特徴点は前記複数の画像フレームの中の前記複数のピクセルに対応する、請求項１に記載の方法。
  9. 前記複数の特徴点の前記移動と癖に基づいて、第一のピクセル群と第二のピクセル群を前記複数のピクセルの中から区別するステップを更に含む、請求項８に記載の方法。
  10. 前記第一のピクセル群は実質的に第一の移動特性を有し、前記第二のピクセル群は、前記第一の移動特性と異なる実質的に第二の移動特性を有する、請求項９に記載の方法。
  11. 前記背景特徴を前記第一のピクセルに群として、及び前記追跡特徴を前記第二のピクセル群として特定するステップを更に含む、請求項１０に記載の方法。
  12. 前記背景特徴を特定するステップは、前記第一のピクセル群を取り囲む第一の外郭を生成するステップを更に含む、請求項１１に記載の方法。
  13. 前記追跡特徴を特定するステップは、前記第二のピクセル群を取り囲む第二の外郭を生成するステップを更に含む、請求項１１に記載の方法。
  14. 前記第二のピクセル群を取り囲む前記第二の外郭の大きさは前記第二のピクセル群の大きさと共に変化する、請求項１３に記載の方法。
  15. 前記第二の外郭の大きさは、前記第二のピクセル群の前記大きさが増大すると増大する、請求項１４に記載の方法。
  16. 前記第二の外郭の大きさは、前記第二のピクセル群の前記大きさが縮小すると縮小する、請求項１４に記載の方法。
  17. 前記背景特徴は複数の静止物体を含む、請求項１０に記載の方法。
  18. 前記複数の静止物体は、前記第一のピクセル群の前記第一の移動特性に関連付けられるものと同じ移動特性を有する、請求項１７に記載の方法。
  19. 前記追跡特性は複数の移動物体を含む、請求項１０に記載の方法。
  20. 前記複数の移動物体は、前記第二のピクセル群の前記第二の移動特性に関連付けられるものと同じ移動特性を有する、請求項１９に記載の方法。
  21. 前記第二のピクセル群を取り囲む外郭の大きさは、移動物体の数と共に変化する、請求項１９に記載の方法。
  22. 前記第二のピクセル群を取り囲む前記外郭の前記大きさは、移動物体の数が増大すると増大する、請求項２１に記載の方法。
  23. 前記第二のピクセル群を取り囲む前記外郭の前記大きさは、移動物体の数が減少すると縮小する、請求項２１に記載の方法。
  24. 前記第二のピクセル群を取り囲む前記外郭の形状は、前記複数の移動物体の前記移動特性と共に変化する、請求項２１に記載の方法。
  25. 前記第二のピクセル群を取り囲む前記外郭は、定形又は無定形を有する、請求項２４に記載の方法。
  26. 前記第二のピクセル群を取り囲む前記外郭の前記形状は、前記第二のピクセル群を取り囲む前記外郭の前記大きさと共に変化する、請求項２４に記載の方法。
  27. 前記複数の画像フレームは、第一の画像フレーム及び第二の画像フレームを含む、請求項１に記載の方法。
  28. 各ピクセルの前記移動特性は、前記第一及び第二のフレームの中に現れる各ピクセルについて計算される、請求項２７に記載の方法。
  29. 前記方法は、
    前記第一の画像フレームの中の各ピクセルの位置と、前記第二の画像フレーム中のそれに対応する位置を特定するステップと、
    各ピクセルの前記移動特性を、前記第一及び第二の画像フレーム内のその位置間の差に基づいて計算するステップと
    を更に含む、請求項２７に記載の方法。
  30. 前記複数の画像フレームをマッピングするステップと、
    前記マッピングに基づいて各ピクセルに関する変換を生成するステップと、
    各ピクセルの前記移動特性を、その変換を使って計算するステップと
    を更に含む、請求項２９に記載の方法。
  31. 前記第一及び第二のフレーム内に現れる第一のピクセルの前記移動特性は、前記第一のピクセルの速度を含む、請求項２７に記載の方法。
  32. 前記第一のピクセルの前記速度は、速度定数に基準変換と現在の変換との間の差を乗じることによって計算され、前記基準変換は、前記第一の画像フレーム内の前記第一のピクセルの前記位置に基づき、前記現在の変換は、前記第二の画像フレーム内の前記第一のピクセルの前記位置に基づく、請求項３１に記載の方法。
  33. 前記追跡特徴と前記背景特徴は、物体認識方法に関係なく特定される、請求項１に記載の方法。
  34. 前記物体認識方法は、前記追跡特徴と前記背景特徴の各々が１つ又は複数の物体種別に属するか否かを判断するステップを含む、請求項３３に記載の方法。
  35. 前記物体種別は、建物物体種別、地形物体種別、人物体種別、動物物体種別、及び／又は輸送手段物体種別を含む、請求項３４に記載の方法。
  36. 前記背景特徴は何れの物体種別にも関係なく定義される、請求項３４に記載の方法。
  37. 前記物体は何れの物体種別にも関係なく定義される、請求項３４に記載の方法。
  38. 前記物体認識方法は、アラインメントモデル、不変特性、及び／又はパーツ分解に基づく、請求項３３に記載の方法。
  39. 前記追跡特徴と前記背景特徴が特定された後に、前記方法は、物体認識方法を使って、前記追跡特徴と前記背景特徴が１つ又は複数の物体種別に分類されるステップを更に含む、請求項１に記載の方法。
  40. 前記物体認識方法は、前記追跡特徴と前記背景特徴の各々がどの物体種別に属するかを判断するステップを含む、請求項３９に記載の方法。
  41. 前記物体種別は、建物物体種別、地形物体種別、人物体種別、動物物体種別、及び／又は輸送手段物体種別を含む、請求項４０に記載の方法。
  42. 前記物体認識方法は、アラインメントモデル、不変特性、及び／又はパーツ分解に基づく、請求項３９に記載の方法。
  43. 前記撮像デバイスは移動可能装置により支持される、請求項１に記載の方法。
  44. 前記移動可能装置は無人航空機（ＵＡＶ）である、請求項４３に記載の方法。
  45. 前記移動可能装置は、前記撮像デバイスが前記移動可能装置上の支持構造に関して移動できるようにする前記撮像デバイス用キャリアを含む、請求項４３に記載の方法。
  46. 前記撮像デバイスは静止した装置により支持される、請求項１に記載の方法。
  47. 前記撮像デバイスは光学カメラである、請求項１に記載の方法。
  48. 前記撮像デバイスは熱画像デバイスである、請求項１に記載の方法。
  49. 前記方法は、前記追跡特徴は、前記特徴点の前記移動特性に基づいて、前記背景特徴に関して移動していることを判断するステップを更に含む、請求項１に記載の方法。
  50. 前記複数の画像フレームは複数のカラー画像を含み、前記複数のピクセルはカラーピクセルを含む、請求項１に記載の方法。
  51. 前記複数の画像フレームは複数のグレイスケール画像を含み、前記複数のピクセルはグレイスケールピクセルを含む、請求項１に記載の方法。
  52. 前記複数のグレイスケール画像の各ピクセルは正規化されたグレイスケール値を有する、請求項５１に記載の方法。
  53. ビジュアルトラッキングをサポートする装置であって、
    １つ又は複数のプロセッサであって、個々に、又はまとめて、
    撮像デバイスを使って異なる時間に取得された複数の画像フレームを受信し、各画像フレームは複数の特徴点に関連付けられる複数のピクセルを含み、
    前記複数の画像フレームを分析して、前記複数の特徴点の移動特性を計算し、
    少なくとも１つの背景特徴に関する少なくとも１つの追跡特徴を、前記複数の特徴点の前記移動特徴に基づいて特定する
    ように構成される１つ又は複数のプロセッサを含む装置。
  54. 実行された時に、コンピュータにビジュアルトラッキングをサポートする方法を実行させる命令を記憶した非一時的なコンピュータ読取可能媒体において、前記方法は、
    撮像デバイスを使って異なる時間に取得された複数の画像フレームを受信するステップであって、各画像フレームが複数の特徴点に関連付けられる複数のピクセルを含むステップと、
    前記複数の画像フレームを分析して、前記複数の特徴点の移動特性を計算するステップと、
    少なくとも１つの背景特徴に関する少なくとも１つの追跡特徴を、前記複数の特徴点の前記移動特性に基づいて特定するステップと
    を含む非一時的なコンピュータ読取可能媒体。
  55. ビジュアルトラッキングシステムにおいて、
    撮像デバイスと、
    １つ又は複数のプロセッサであって、個々に、又はまとめて、
    撮像デバイスを使って異なる時間に取得された複数の画像フレームを受信し、各画像フレームは複数の特徴点に関連付けられる複数のピクセルを含み、
    前記複数の画像フレームを分析して、前記複数の特徴点の移動特性を計算し、
    少なくとも１つの背景特徴に関する少なくとも１つの追跡特徴を、前記複数の特徴点の前記移動特徴に基づいて特定する
    ように構成される１つ又は複数のプロセッサと
    を含むビジュアルトラッキングシステム。
  56. ビジュアルトラッキングをサポートする方法であって、
    撮像デバイスによって、ある期間にわたり、前記撮像デバイスの運動中に捕捉された複数の画像フレームを示す複数の画像信号を受信するステップであって、各画像フレームが複数のピクセルを含むステップと、
    前記撮像デバイスの運動特性を複数の運動信号に基づいて取得するステップと、
    前記複数の画像信号を前記撮像デバイスの前記運動特性に基づいて分析することにより、前記複数のピクセルに関連付けられる移動特性を計算するステップと
    を含む方法。
  57. 前記複数の画像信号を前記撮像デバイスの前記運動特性に基づいて分析するステップは、前記複数の画像フレームを前記撮像デバイスの前記運動特性に基づいて相互に相関させるステップを更に含む、請求項５６に記載の方法。
  58. 前記複数のピクセルは複数の特徴点に関連付けられ、前記複数の画像信号を前記撮像デバイスの前記運動特性に基づいて分析するステップは、少なくとも１つの背景特徴に関する少なくとも１つの追跡特徴を、前記複数のピクセルに関連付けられる前記移動特性に基づいて特定するステップを更に含む、請求項５６に記載の方法。
  59. 前記背景特徴は、実質的に第一の移動特性を有する第一のピクセル群に関連付けられ、前記追跡特徴は、実質的に第二の移動特性を有する第二のピクセル群に関連付けられる、請求項５８に記載の方法。
  60. 前記複数のピクセルに関連付けられる前記移動特性は、前記複数の画像フレームにわたって測定される各ピクセルの速度と加速度のうちの少なくとも一方を含む、請求項５８に記載の方法。
  61. 各ピクセルの前記速度は、直線（並進）速度及び／又は各ピクセルの角速度を更に含む、請求項６０に記載の方法。
  62. 各ピクセルの前記線速度は各ピクセルの線方向線速さを含む、請求項６１に記載の方法。
  63. 前記第一のピクセル群の前記第一の移動特性は、第一の線方向及び第一の線速さを含む第一の線速度を含む、請求項６０に記載の方法。
  64. 前記第二のピクセル群の前記第二の移動特性は、第二の線方向及び第二の線速さを含む第二の線速度を含む、請求項６０に記載の方法。
  65. 前記第一の線方向が前記第二の線方向に平行で、前記第一の線速さが前記第二の線速さと異なる時に、前記追跡特徴は前記撮像デバイスと実質的に同じ方向に、前記撮像デバイスとは異なる速さで移動していると判断するステップを更に含む、請求項６４に記載の方法。
  66. 前記第一の線速さが前記第二の線速さより小さい時に、前記追跡特徴は前記撮像デバイスより高速で移動していると判断するステップを更に含む、請求項６５に記載の方法。
  67. 前記第一の線速さが前記第二の線速さより大きい時に、前記追跡特徴は前記撮像デバイスより低速で移動していると判断するステップを更に含む、請求項６５に記載の方法。
  68. 前記第一の線方向が前記第二の線方向と異なり、前記第一の線速さが前記第二の線速さと実質的に同じである時に、前記追跡特徴は前記撮像デバイスとは異なる方向に、前記撮像デバイスと実質的に同じ速さで移動していると判断するステップを更に含む、請求項６４に記載の方法。
  69. 前記第一の線方向が前記第二の線方向に対して斜めであると判断するステップを更に含む、請求項６８に記載の方法。
  70. 前記第一の線方向が前記第二の線方向と異なり、前記第一の線速さが前記第二の線速さと異なる時に、前記追跡特徴は前記撮像デバイスとは異なる方向に、前記撮像デバイスとは異なる速さで移動していると判断するステップを更に含む、請求項６４に記載の方法。
  71. 前記第一の線方向が前記第二の線方向に対して斜めであると判断するステップを更に含む、請求項７０に記載の方法。
  72. 前記第一の線速さが前記第二の線速さより小さい時に、前記追跡特徴は前記撮像デバイスより高速で移動していると判断するステップを更に含む、請求項７０に記載の方法。
  73. 前記第一の線速さが前記第二の線速さより大きい時に、前記追跡特徴は前記撮像デバイスより低速で移動していると判断するステップを更に含む、請求項７０に記載の方法。
  74. 各ピクセルの前記角速度は各ピクセルの回転方向及び回転速さを含む、請求項６１に記載の方法。
  75. 前記第一のピクセル群の前記第一の移動特性は、第一の回転方向及び第一の回転速さを含む第一の角速度を含む、請求項７４に記載の方法。
  76. 前記第二のピクセル群の前記第二の移動特性は、第二の回転方向及び第二の回転速さを含む第二の角速度を含む、請求項７４に記載の方法。
  77. 前記第一の回転方向が前記第二の回転方向と同心であり、前記第一の回転速さは前記第二の回転速さと異なる時に、前記追跡特徴は前記撮像デバイスと実質的に同じ方向に、前記撮像デバイスとは異なる速さで移動していると判断するステップを更に含む、請求項７６に記載の方法。
  78. 前記第一の回転速さが前記第二の回転速さより小さい時に、前記追跡特徴は前記撮像デバイスより高速で移動していると判断するステップを更に含む、請求項７７に記載の方法。
  79. 前記第一の回転速さが前記第二の回転速さより大きい時に、前記追跡特徴は前記撮像デバイスより低速で移動していると判断するステップを更に含む、請求項７７に記載の方法。
  80. 前記第一の回転方向が前記第二の回転方向と異なり、前記第一の回転速さが前記第二の回転速さと実質的に同じ時に、前記追跡特徴は前記撮像デバイスと異なる方向に、前記撮像デバイスと実質的に同じ速さで移動していると判断するステップを更に含む、請求項７６に記載の方法。
  81. 前記第一の回転方向は前記第二の回転方向と同心ではないと判断するステップを更に含む、請求項８０に記載の方法。
  82. 前記第一の回転方向が前記第二の回転方向とは異なり、前記第一の回転速さが前記第二の回転速さとは異なる時に、前記追跡特徴は前記撮像デバイスと異なる方向に、前記撮像デバイスとは異なる速さで移動していると判断するステップを更に含む、請求項７６に記載の方法。
  83. 前記第一の回転方向は前記第二の回転方向と同心ではないと判断するステップを更に含む、請求項８２に記載の方法。
  84. 前記第一の回転速さが前記第二の回転速さより小さい時に、前記追跡特徴は前記撮像デバイスより高速で移動していると判断するステップを更に含む、請求項８２に記載の方法。
  85. 前記第一の回転速さが前記第二の回転速さより大きい時に、前記追跡特徴は前記撮像デバイスより低速で移動していると判断するステップを更に含む、請求項８２に記載の方法。
  86. 各ピクセルの前記加速度は各ピクセルの直線加速度及び／又は角加速度を含む、請求項６０に記載の方法。
  87. 前記第一のピクセル群の前記第一の移動特性は第一の直線加速度を含む、請求項８６に記載の方法。
  88. 前記第一のピクセル群の前記第一の移動特性は第一の角加速度を含む、請求項８７に記載の方法。
  89. 前記第二のピクセル群の前記第二の移動特性は第二の直線加速度を含む、請求項８８に記載の方法。
  90. 前記第二のピクセル群の前記第二の移動特性は第二の角加速度を含む、請求項８９に記載の方法。
  91. 前記第一の直線加速度が前記第二の直線加速度とは異なる時に、前記追跡特徴は前記背景特徴と前記撮像デバイスに関して加速していると判断するステップを更に含む、請求項９０に記載の方法。
  92. 前記第一の直線加速度が前記第二の直線加速度より小さい時に、前記追跡特徴は前記撮像デバイスより高速で加速していると判断するステップを更に含む、請求項９１に記載の方法。
  93. 前記第一の直線加速度が前記第二の直線加速度より大きい時に、前記追跡特徴は前記撮像デバイスより低速で加速していると判断するステップを更に含む、請求項９１に記載の方法。
  94. 前記第一の角加速度が前記第二の角加速度とは異なる時に、前記追跡特徴は前記背景特徴と前記撮像デバイスに関して加速していると判断するステップを更に含む、請求項９０に記載の方法。
  95. 前記第一の角加速度が前記第二の角加速度より小さい時に、前記追跡特徴は前記撮像デバイスより高速で加速していると判断するステップを更に含む、請求項９４に記載の方法。
  96. 前記第一の角加速度が前記第二の角加速度より大きい時に、前記追跡特徴は前記撮像デバイスより低速で加速していると判断するステップを更に含む、請求項９４に記載の方法。
  97. 前記撮像デバイスの前記運動特性は、前記撮像デバイスの姿勢、瞬間位置、速度、及び加速度のうちの少なくとも１つを含む、請求項５６に記載の方法。
  98. 前記撮像デバイスの前記速度は前記撮像デバイスの線速度及び／又は角速度を含む、請求項９７に記載の方法。
  99. 前記撮像デバイスの前記線速度は前記撮像デバイスの線方向と線速さを含む、請求項９８に記載の方法。
  100. 前記第一のピクセル群の前記第一の線方向は前記撮像デバイスの前記線方向に関連付けられる、請求項６３又は９９に記載の方法。
  101. 前記第一のピクセル群の前記第一の線速さは前記撮像デバイスの前記線速さに速さ定数により比例する、請求項６３又は９９に記載の方法。
  102. 前記撮像デバイスの前記角速度は前記撮像デバイスの回転方向及び回転速さを含む、請求項９８に記載の方法。
  103. 前記第一のピクセル群の前記第一の回転方向は前記撮像デバイスの前記回転方向に関連付けられる、請求項７５又は１０２に記載の方法。
  104. 前記第一のピクセル群の前記第一の回転速さは前記撮像デバイスの前記回転速さに速さ定数により比例する、請求項７５又は１０２に記載の方法。
  105. 前記撮像デバイスの前記加速度は、前記撮像デバイスの直線加速度及び／又は角加速度を含む、請求項９７に記載の方法。
  106. 前記第一のピクセル群の前記直線加速度は前記撮像デバイスの前記直線加速度に関連付けられる、請求項８７又は１０５に記載の方法。
  107. 前記第一のピクセル群の前記角加速度は前記撮像デバイスの前記角加速度に関連付けられる、請求項８８又は１０５に記載の方法。
  108. 前記撮像デバイスの前記瞬間位置は距離測定及び／又は位置特定デバイスを使って判断される、請求項９７に記載の方法。
  109. 前記距離測定及び／又は位置特定デバイスは全地球測位システム（ＧＰＳ）デバイスである、請求項１０８に記載の方法。
  110. 前記距離測定及び／又は位置特定デバイスは飛行時間カメラである、請求項１０８に記載の方法。
  111. 前記撮像デバイスの前記瞬間位置は、前記背景特徴の物理的位置に関して測定される、請求項１０８に記載の方法。
  112. 前記撮像デバイスの前記瞬間位置と前記背景特徴の前記物理的位置に基づいてスケーリングファクタを計算するステップを更に含む、請求項１１１に記載の方法。
  113. 各ピクセルの前記移動特性を、前記撮像デバイスの前記運動特性と前記スケーリングファクタを使って計算するステップを更に含む、請求項１１２に記載の方法。
  114. 前記撮像デバイスの前記運動特性は、慣性計測センサ（ＩＭＵ）を使って判断される、請求項５６に記載の方法。
  115. ビジュアルトラッキングをサポートする装置であって、
    １つ又は複数のプロセッサであって、個々に、又はまとめて、
    撮像デバイスによって、ある期間にわたり、前記撮像デバイスの運動中に捕捉された複数の画像フレームを示す複数の画像信号を受信し、各画像フレームが複数のピクセルを含み、
    前記撮像デバイスの運動特性を複数の運動信号に基づいて取得し、
    前記複数の画像信号を前記撮像デバイスの前記運動特性に基づいて分析することにより、前記複数のピクセルに関連付けられる移動特性を計算する
    ように構成される１つ又は複数のプロセッサを含む装置。
  116. 実行された時に、コンピュータに、ビジュアルトラッキングをサポートする方法を実行させる命令を記憶した非一時的なコンピュータ読取可能媒体において、前記方法は、
    撮像デバイスによって、ある期間にわたり、前記撮像デバイスの運動中に捕捉された複数の画像フレームを示す複数の画像信号を受信するステップであって、各画像フレームが複数のピクセルを含むステップと、
    前記撮像デバイスの運動特性を複数の運動信号に基づいて取得するステップと、
    前記複数の画像信号を前記撮像デバイスの前記運動特性に基づいて分析することにより、前記複数のピクセルに関連付けられる移動特性を計算するステップと
    を含む非一時的なコンピュータ読取可能媒体。
  117. 無人航空機（ＵＡＶ）において、
    ビジュアルトラッキングシステムを含み、これは、
    撮像デバイスと、
    １つ又は複数のプロセッサであって、個々に、又はまとめて、
    撮像デバイスによって、ある期間にわたり、前記撮像デバイスの運動中に捕捉された複数の画像フレームを示す複数の画像信号を受信し、各画像フレームは複数のピクセルを含み、
    前記撮像デバイスの運動特性を複数の運動信号に基づいて取得し、
    前記複数の画像信号を前記撮像デバイスの前記運動特性に基づいて分析することにより、前記複数のピクセルに関連付けられる移動特性を計算する
    ように構成される１つ又は複数のプロセッサと
    を含む無人航空機（ＵＡＶ）。
  118. ビジュアルトラッキングをサポートする方法であって、
    移動ビジュアルトラッキングデバイスを介して、複数の特徴点の移動特性を取得するステップと、
    前記複数の特徴点の前記移動特性に基づいて、前記複数の特徴点からある特徴点群を選択するステップと、
    前記移動ビジュアルトラッキングデバイスの運動特性を調整することによって前記移動点群を追跡し、前記特徴点群を実質的に、前記移動ビジュアルトラッキングデバイスを使って捕捉された各画像フレームの標的領域内に位置付けるようにするステップと
    を含む方法。
  119. 前記標的領域は各画像フレームの中央領域である、請求項１１８に記載の方法。
  120. 前記標的領域は各画像フレームの縁領域である、請求項１１８に記載の方法。
  121. 前記移動ビジュアルトラッキングデバイスの前記移動特性は、前記移動ビジュアルトラッキングデバイスの前記移動特性が前記特徴点群の前記移動特性と実質的に同じになるように調整される、請求項１１８に記載の方法。
  122. 前記特徴点群の前記移動特性が、前記特徴点群の速度及び／又は加速度のうちの少なくとも一方である、請求項１２１に記載の方法。
  123. 前記移動ビジュアルトラッキングデバイスの前記速度は前記特徴点群の前記速度と実質的に同じである、請求項１２２に記載の方法。
  124. 前記移動ビジュアルトラッキングデバイスの前記加速度は、前記特徴点群の前記加速度と実質的に同じである、請求項１２２に記載の方法。
  125. 前記移動ビジュアルトラッキングデバイスが移動可能装置に搭載されている時、前記移動可能装置の移動特性は、前記移動ビジュアルトラッキングデバイスの移動特性が、前記移動ビジュアルトラッキングデバイスが前記特徴点群を追跡できるように調整される、請求項１１８に記載の方法。
  126. 前記移動ビジュアルトラッキングデバイスが撮像デバイスを含む、請求項１２５に記載の方法。
  127. 前記ＵＡＶの前記移動に関する前記撮像デバイスの前記移動を調整して、前記特徴点群を追跡するステップを更に含む、請求項１２６に記載の方法。
  128. 前記特徴点群は常に前記撮像デバイスの視野内に位置付けられる、請求項１２６に記載の方法。
  129. 前記移動ビジュアルトラッキングデバイスは、前記特徴点群が実質的に同じ移動特性を有するかぎり、前記特徴点群を追跡するように構成される、請求項１１８に記載の方法。
  130. 前記移動ビジュアルトラッキングデバイスは、前記特徴点群の大きさ及び／又は形状に関係なく、前記特徴点群を追跡するように構成される、請求項１１８に記載の方法。
  131. 前記特徴点群は特徴点の複数の小集合を含む、請求項１１８に記載の方法。
  132. 前記特徴点群の複数の小集合は、句頂点群の第一の小集合及び第二の小集合を含む、請求項１３１に記載の方法。
  133. 前記特徴点群の第一及び第二の小集合は実質的に同じ移動特性を有する、請求項１３１に記載の方法。
  134. 前記移動ビジュアルトラッキングデバイスは、実質的に同じ移動特性を有する前記特徴点群の第一及び第二の小集合を追跡するように構成される、請求項１３３に記載の方法。
  135. 前記特徴点の第一及び第二の小集合は、実質的に異なる移動特性を有する、請求項１３１に記載の方法。
  136. 前記移動ビジュアルトラッキングデバイスは、前記特徴点の第一の、又は第二の小集合の一方を追跡するように構成される、請求項１３５に記載の方法。
  137. 前記移動ビジュアルトラッキングデバイスは、前記特徴点の第一の小集合の大きさが前記特徴点の第二の小集合の大きさより大きい時に、前記特徴点の第一の小集合を追跡するように構成される、請求項１３５に記載の方法。
  138. ビジュアルトラッキングをサポートする装置であって、
    １つ又は複数のプロセッサであって、個々に、又はまとめて、
    移動ビジュアルトラッキングデバイスを介して、複数の特徴点の移動特性を取得し、
    前記複数の特徴点の前記移動特性に基づいて、前記複数の特徴点からある特徴点群を選択し、
    前記移動ビジュアルトラッキングデバイスの運動特性を調整することによって前記特徴点群を追跡し、前記特徴点群を実質的に、前記移動ビジュアルトラッキングデバイスを使って捕捉された各画像フレームの標的領域内に位置付ける
    ように構成される１つ又は複数のプロセッサを含む装置。
  139. 実行された時に、コンピュータにビジュアルトラッキングをサポートする方法を実行させる命令を記憶した非一時的なコンピュータ読取可能媒体において、前記方法は、
    移動ビジュアルトラッキングデバイスを介して、複数の特徴点の移動特性を取得するステップと、
    前記複数の特徴点の前記移動特性に基づいて、前記複数の特徴点からある特徴点群を選択するステップと、
    前記移動ビジュアルトラッキングデバイスの前記運動特性を調整することによって前記特徴点群を追跡し、前記特徴点群を実質的に、前記移動ビジュアルトラッキングデバイスを使って捕捉された各画像フレームの標的領域内に位置付けるようにするステップと
    を含む非一時的なコンピュータ読取可能媒体。
  140. 無人航空機（ＵＡＶ）において、
    ビジュアルトラッキングシステムを含み、これは、
    撮像デバイスと、
    １つ又は複数のプロセッサであって、個々に、又はまとめて、
    移動ビジュアルトラッキングデバイスを介して、複数の特徴点の移動特性を取得し、
    前記複数の特徴点の前記移動特性に基づいて、前記複数の特徴点からある特徴点群を選択し、
    前記移動ビジュアルトラッキングデバイスの運動特性を調整することによって前記移動点群を追跡し、前記特徴点群を実質的に、前記移動ビジュアルトラッキングデバイスを使って捕捉された各画像フレームの標的領域内に位置付ける
    ように構成される１つ又は複数のプロセッサと
    を含む無人航空機（ＵＡＶ）。
  141. 前記第二のピクセル群を取り囲む前記外郭の前記大きさが増大すると、
    前記撮像デバイスは前記複数の移動物体に関してより高い縦方向の位置まで、又は前記複数の移動物体から横方向に離れるより遠い距離まで移動されて、前記第二のピクセル群を実質的に、前記撮像デバイスによって捕捉された前記複数の画像フレームの標的領域内に位置付けることができる、請求項２２に記載の方法。
  142. 前記第二のピクセル群を取り囲む前記外郭の前記大きさが縮小すると、
    前記撮像デバイスは前記複数の移動物体に関してより低い縦方向の位置まで、又は前記複数の移動物体から横方向に離れるより近い距離まで移動されて、前記第二のピクセル群を実質的に、前記撮像デバイスによって捕捉された前記複数の画像フレームの標的領域内に位置付けることができる、請求項２３に記載の方法。
  143. 前記熱画像デバイスは、弱光又は暗い環境で複数の熱画像フレームを補足するように構成される、請求項４８に記載の方法。
  144. 前記熱画像デバイスにより異なる時間に捕捉された前記複数の熱画像フレームを受け取るステップであって、各熱画像フレームは、前記複数の特徴点に関連付けられる複数のピクセルを含む、請求項１４３に記載の方法。
  145. 前記熱画像フレーム内の各ピクセルは、対応する特徴点において発せられ、透過され、及び／又は反射される赤外線エネルギーの量を示す、請求項１４４に記載の方法。
  146. 前記複数の熱画像フレームを分析して、前記複数の特徴点の前記移動特性を計算するステップと、
    前記複数の特徴点の前記移動特性に基づいて、前記少なくとも１つの背景特徴に関する前記少なくとも１つの追跡特徴を特定するステップと
    を更に含む、請求項１４４に記載の方法。
JP2016554437A 2015-09-11 2015-09-11 可動物体を検出し、追跡するシステム及び方法 Expired - Fee Related JP6496323B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/089464 WO2017041303A1 (en) 2015-09-11 2015-09-11 Systems and methods for detecting and tracking movable objects

Publications (2)

Publication Number Publication Date
JP2017537484A true JP2017537484A (ja) 2017-12-14
JP6496323B2 JP6496323B2 (ja) 2019-04-03

Family

ID=58240532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016554437A Expired - Fee Related JP6496323B2 (ja) 2015-09-11 2015-09-11 可動物体を検出し、追跡するシステム及び方法

Country Status (5)

Country Link
US (3) US10198634B2 (ja)
EP (1) EP3347789B1 (ja)
JP (1) JP6496323B2 (ja)
CN (1) CN108139757A (ja)
WO (1) WO2017041303A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020139497A1 (en) * 2018-12-27 2020-07-02 Intel Corporation System and method of location determination using multiple location inputs
KR20200104739A (ko) * 2019-02-27 2020-09-04 주식회사 한국건설방재연구원 작업자 안전 관리를 위한 작업용 철도 차량 접근 원격 알람 시스템
WO2021002001A1 (ja) * 2019-07-04 2021-01-07 三菱電機株式会社 移動体測位装置および移動体測位システム
KR20210036886A (ko) * 2018-10-04 2021-04-05 씨드로닉스(주) 항만 모니터링 장치 및 항만 모니터링 방법
JP2023520017A (ja) * 2020-04-01 2023-05-15 サ－コス コーポレイション 非生物学的な可動の空中ターゲットの早期検出のためのシステムおよび方法
JP7462738B2 (ja) 2019-10-25 2024-04-05 ウェイモ エルエルシー 車載クラスタ追跡システム

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715009B1 (en) 2014-12-19 2017-07-25 Xidrone Systems, Inc. Deterent for unmanned aerial systems
US9689976B2 (en) 2014-12-19 2017-06-27 Xidrone Systems, Inc. Deterent for unmanned aerial systems
CN106296725B (zh) * 2015-06-12 2021-10-19 富泰华工业（深圳）有限公司 运动目标实时检测与跟踪方法及目标检测装置
US20170041557A1 (en) * 2015-08-04 2017-02-09 DataFoxTrot, LLC Generation of data-enriched video feeds
JP6720756B2 (ja) * 2015-10-08 2020-07-08 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
CA3012889A1 (en) * 2016-01-29 2017-08-03 Kiwisecurity Software Gmbh Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras
US10274737B2 (en) * 2016-02-29 2019-04-30 Microsoft Technology Licensing, Llc Selecting portions of vehicle-captured video to use for display
US20180364741A1 (en) 2016-03-11 2018-12-20 Raytheon Bbn Technologies Corp. Human indication of target drone for interception
US10402671B2 (en) * 2016-03-28 2019-09-03 General Dynamics Mission Systems, Inc. System and methods for automatic solar panel recognition and defect detection using infrared imaging
US10633088B2 (en) * 2016-07-01 2020-04-28 Textron Innovations Inc. Aerial imaging aircraft having attitude stability during translation
US11608173B2 (en) * 2016-07-01 2023-03-21 Textron Innovations Inc. Aerial delivery systems using unmanned aircraft
CN113955108A (zh) 2016-08-26 2022-01-21 索尼公司 信息处理装置、其控制方法、移动单元及记录介质
WO2018086133A1 (en) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
CN108288281A (zh) * 2017-01-09 2018-07-17 翔升（上海）电子技术有限公司 视觉跟踪方法、视觉跟踪装置、无人机以及终端设备
US10606814B2 (en) * 2017-01-18 2020-03-31 Microsoft Technology Licensing, Llc Computer-aided tracking of physical entities
US20200158517A1 (en) * 2017-01-19 2020-05-21 Mindmaze Holding Sa System, methods, device and apparatuses for preforming simultaneous localization and mapping
US10453345B2 (en) * 2017-01-30 2019-10-22 International Business Machines Corporation Autonomous presentation of a self-driving vehicle
US10706289B2 (en) * 2017-03-03 2020-07-07 International Business Machines Corporation Crowd detection, analysis, and categorization
JP6834625B2 (ja) * 2017-03-13 2021-02-24 富士通株式会社 行動量算出プログラム、行動量算出方法、行動量算出装置および動物監視システム
US10311308B2 (en) * 2017-03-31 2019-06-04 International Business Machines Corporation Image processing to identify selected individuals in a field of view
US20180293735A1 (en) * 2017-04-11 2018-10-11 Sony Corporation Optical flow and sensor input based background subtraction in video content
US10740613B1 (en) * 2017-04-20 2020-08-11 Digimarc Corporation Hybrid feature point/watermark-based augmented reality
CN108475072A (zh) * 2017-04-28 2018-08-31 深圳市大疆创新科技有限公司 一种跟踪控制方法、装置及飞行器
US10395385B2 (en) 2017-06-27 2019-08-27 Qualcomm Incorporated Using object re-identification in video surveillance
EP3447448B1 (en) * 2017-07-24 2021-01-06 Trifo, Inc. Fault-tolerance to provide robust tracking for autonomous and non-autonomous positional awareness
US10796142B2 (en) * 2017-08-28 2020-10-06 Nutech Ventures Systems for tracking individual animals in a group-housed environment
US10719087B2 (en) 2017-08-29 2020-07-21 Autel Robotics Co., Ltd. Target tracking method, unmanned aerial vehicle, and computer readable storage medium
CN107505951B (zh) * 2017-08-29 2020-08-21 深圳市道通智能航空技术有限公司 一种目标跟踪方法、无人机和计算机可读存储介质
JP7025157B2 (ja) * 2017-09-19 2022-02-24 株式会社トプコン 撮影方法および撮影用プログラム
US10907940B1 (en) 2017-12-12 2021-02-02 Xidrone Systems, Inc. Deterrent for unmanned aerial systems using data mining and/or machine learning for improved target detection and classification
US10529077B2 (en) * 2017-12-19 2020-01-07 Canon Kabushiki Kaisha System and method for detecting interaction
CN110445465A (zh) * 2017-12-22 2019-11-12 晶科电力科技股份有限公司 一种光伏电站中热斑定位方法
CN108140245B (zh) * 2017-12-25 2022-08-23 深圳市道通智能航空技术股份有限公司 测距方法、装置以及无人机
CN111527463B (zh) * 2018-01-22 2024-02-23 深圳市大疆创新科技有限公司 用于多目标跟踪的方法和系统
EP3752881A1 (de) * 2018-02-13 2020-12-23 Ars Electronica Linz GmbH & Co KG System zur darstellung und identifikation von markern einer veränderbaren geometrischen abbildung
US10929704B2 (en) * 2018-03-12 2021-02-23 Phantom Auto Inc. Landscape video stream compression using computer vision techniques
JP6847885B2 (ja) * 2018-03-20 2021-03-24 株式会社東芝 情報処理装置、情報処理方法及びプログラム
US11380054B2 (en) 2018-03-30 2022-07-05 Cae Inc. Dynamically affecting tailored visual rendering of a visual element
US10964106B2 (en) 2018-03-30 2021-03-30 Cae Inc. Dynamically modifying visual rendering of a visual element comprising pre-defined characteristics
US10839492B2 (en) * 2018-05-23 2020-11-17 International Business Machines Corporation Selectively redacting unrelated objects from images of a group captured within a coverage area
WO2020000393A1 (zh) * 2018-06-29 2020-01-02 深圳市大疆创新科技有限公司 图像处理方法及装置、第一电子设备和图像处理系统
DE102018211138A1 (de) 2018-07-05 2020-01-09 Audi Ag System und Verfahren zur Projektion eines Projektionsbildes auf eine Oberfläche eines Fahrzeugs
CN108848348A (zh) * 2018-07-12 2018-11-20 西南科技大学 一种基于无人机的人群异常行为监测装置及方法
JP7396691B2 (ja) * 2018-07-13 2023-12-12 ラブラドール システムズ インコーポレイテッド 様々な環境照明条件において動作可能なモバイル機器のためのビジュアルナビゲーション
CN110832495A (zh) * 2018-07-13 2020-02-21 深圳市大疆创新科技有限公司 波浪识别方法、装置、计算机可读存储介质和无人飞行器
EP3837492A1 (en) * 2018-08-21 2021-06-23 SZ DJI Technology Co., Ltd. Distance measuring method and device
CN109344742B (zh) * 2018-09-14 2021-03-16 腾讯科技（深圳）有限公司 特征点定位方法、装置、存储介质和计算机设备
US10663979B2 (en) * 2018-09-21 2020-05-26 Honda Motor Co., Ltd. Autonomous all-terrain vehicles for herding
KR102559203B1 (ko) * 2018-10-01 2023-07-25 삼성전자주식회사 포즈 정보를 출력하는 방법 및 장치
US11774983B1 (en) 2019-01-02 2023-10-03 Trifo, Inc. Autonomous platform guidance systems with unknown environment mapping
US11037303B2 (en) * 2019-01-31 2021-06-15 Sony Corporation Optical flow based detection and tracking of multiple moving objects in successive frames
CN109885053B (zh) * 2019-02-28 2024-09-17 深圳市道通智能航空技术股份有限公司 一种障碍物检测方法、装置及无人机
US11532237B2 (en) * 2019-02-28 2022-12-20 Rockwell Collins, Inc. Autonomous aircraft sensor-based positioning and navigation system using markers
DE102019105293A1 (de) * 2019-03-01 2020-09-03 Hochschule RheinMain University of Applied Sciences Wiesbaden Rüsselsheim Geisenheim Schätzung der Bewegung einer Bildposition
CA3141757A1 (en) * 2019-05-24 2020-12-03 Hubbell Incorporated Light fixture with integrated input/output module
US11769257B2 (en) * 2019-05-30 2023-09-26 Honeywell International Inc. Systems and methods for image aided navigation
WO2020237675A1 (zh) * 2019-05-31 2020-12-03 深圳市大疆创新科技有限公司 目标检测方法、目标检测装置和无人机
US11022972B2 (en) * 2019-07-31 2021-06-01 Bell Textron Inc. Navigation system with camera assist
US12008805B2 (en) 2019-08-28 2024-06-11 Bae Systems Plc Detection of modulating elements
EP3816953A1 (en) * 2019-10-28 2021-05-05 BAE SYSTEMS plc Detection of modulating elements
CN111178190B (zh) * 2019-12-17 2023-10-27 中国科学院深圳先进技术研究院 基于深度图像的目标检测方法、装置及存储介质
KR102649600B1 (ko) * 2020-01-17 2024-03-22 삼성디스플레이 주식회사 클럭 생성기 및 이를 포함하는 표시 장치
PT3890300T (pt) * 2020-04-03 2023-05-05 Uav Autosystems Hovering Solutions Espana S L Veículo autopropulsado
CN111683223A (zh) * 2020-06-02 2020-09-18 珠海精讯知识产权管理有限公司 一种用于动物疫病传播监控的大规模无人机启用系统
US11423623B2 (en) 2020-06-10 2022-08-23 At&T Intellectual Property I, L.P. Projecting virtual presences along a moving trajectory
US11403856B2 (en) * 2020-08-26 2022-08-02 Ford Global Technologies, Llc Group object-tracking
JP6858387B1 (ja) * 2020-11-19 2021-04-14 株式会社Ｑｏｎｃｅｐｔ 軌道算出装置、軌道算出方法、軌道算出プログラム
US11282285B1 (en) 2021-01-08 2022-03-22 International Business Machines Corporation Real-world object location identification using 5G network technology
CN113109830B (zh) * 2021-03-29 2024-06-07 桂林电子科技大学 一种采用光流及测距传感器的三维运动测量方法
US20220383515A1 (en) * 2021-05-28 2022-12-01 Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company Digital video computing system for vehicle
JP2023015634A (ja) * 2021-07-20 2023-02-01 キヤノン株式会社 情報処理装置、移動体の制御システム、情報処理方法、プログラム
CN114910926B (zh) * 2022-05-31 2024-09-06 中国科学院长春光学精密机械与物理研究所 一种用于飞行器的激光测距测速雷达自动化方法及装置
CN114690176B (zh) * 2022-06-01 2022-09-02 南京隼眼电子科技有限公司 运动目标跟踪方法、装置、电子设备及存储介质
WO2024043752A1 (en) * 2022-08-26 2024-02-29 Samsung Electronics Co., Ltd. Method and electronic device for motion-based image enhancement
CN118736339A (zh) * 2024-09-03 2024-10-01 南京兆联智能科技有限公司 一种基于红外图像的目标搜索方法、系统及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001357385A (ja) * 2000-06-14 2001-12-26 Public Works Research Institute Ministry Of Land Infrastructure & Transport 赤外線カメラによる道路上の人、車等の自動識別装置
JP2006146551A (ja) * 2004-11-19 2006-06-08 Matsushita Electric Ind Co Ltd ロボット
JP2006270274A (ja) * 2005-03-22 2006-10-05 Olympus Corp 被写体認識装置、および被写体認識方法
JP2009173263A (ja) * 2008-01-23 2009-08-06 Honeywell Internatl Inc 無人航空機（ｕａｖ）によって移動目標物を自律的に追跡するための方法及びシステム
JP2009294842A (ja) * 2008-06-04 2009-12-17 Nissan Motor Co Ltd 歩行者検出装置及び歩行者検出方法
JP2014174646A (ja) * 2013-03-06 2014-09-22 Koito Electric Industries Ltd 信号制御装置

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5047995A (en) 1980-01-17 1991-09-10 The Secretary Of State For Defence In Her Britannic Majesty's Government Of The United Kingdom Of Great Britain And Northern Ireland Detection of moving objects
US4924507A (en) 1988-02-11 1990-05-08 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Real-time optical multiple object recognition and tracking system and method
JP3379324B2 (ja) 1996-02-08 2003-02-24 トヨタ自動車株式会社 移動体検知方法及び装置
US7028899B2 (en) 1999-06-07 2006-04-18 Metrologic Instruments, Inc. Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US7251346B2 (en) 2002-11-19 2007-07-31 Honda Motor Co., Ltd. Moving object detection device, moving object detection method, and moving object detection program
US20060067562A1 (en) * 2004-09-30 2006-03-30 The Regents Of The University Of California Detection of moving objects in a video
US7289227B2 (en) 2004-10-01 2007-10-30 Nomos Corporation System and tracker for tracking an object, and related methods
US7681839B2 (en) 2005-02-25 2010-03-23 Smiths Aerospace Llc Optical tracking system for refueling
TWI286484B (en) 2005-12-16 2007-09-11 Pixart Imaging Inc Device for tracking the motion of an object and object for reflecting infrared light
IL175877A (en) * 2006-05-23 2013-07-31 Elbit Sys Electro Optics Elop Bundle-based contractual adjustment
DE602006013113D1 (de) 2006-07-07 2010-05-06 Selex Galileo Spa Verfahren und Vorrichtung zur Detektion von bewegten Objekten mittels SAR Bildern
US8178825B2 (en) * 2007-10-29 2012-05-15 Honeywell International Inc. Guided delivery of small munitions from an unmanned aerial vehicle
JP2009200713A (ja) 2008-02-20 2009-09-03 Sony Corp 画像処理装置、画像処理方法、プログラム
JP2011192141A (ja) * 2010-03-16 2011-09-29 Sony Corp 動体検出装置と動体検出方法およびプログラム
EP2547255B1 (en) 2010-03-18 2015-09-30 Rigshospitalet Optical motion tracking of an object
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
US8791901B2 (en) 2011-04-12 2014-07-29 Sony Computer Entertainment, Inc. Object tracking with projected reference patterns
CN102222214A (zh) * 2011-05-09 2011-10-19 苏州易斯康信息科技有限公司 快速物体识别算法
US8520075B2 (en) * 2011-06-02 2013-08-27 Dialogic Inc. Method and apparatus for reduced reference video quality measurement
CN102355574B (zh) * 2011-10-17 2013-12-25 上海大学 机载云台运动目标自主跟踪系统的图像稳定方法
CA2793180A1 (en) * 2011-11-02 2013-05-02 Eads Deutschland Gmbh Method and device for the detection of moving objects in a video image sequence
US9131208B2 (en) * 2012-04-06 2015-09-08 Adobe Systems Incorporated Opt-keyframe reconstruction for robust video-based structure from motion
EP2701093B1 (en) 2012-08-20 2016-06-22 Honda Research Institute Europe GmbH Sensing system and method for detecting moving objects
KR20140102443A (ko) 2013-02-14 2014-08-22 삼성전자주식회사 카메라를 이용한 물체 추적 방법 및 이를 위한 카메라 시스템
CN103149939B (zh) * 2013-02-26 2015-10-21 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
AU2014253606A1 (en) * 2013-04-16 2015-11-05 Bae Systems Australia Limited Landing system for an aircraft
HUP1300328A3 (en) * 2013-05-23 2017-03-28 Mta Szamitastechnika Es Automatizalasi Ki Method and system for integrated three dimensional modelling
KR101480348B1 (ko) 2013-05-31 2015-01-09 삼성에스디에스 주식회사 사람 검출 장치 및 방법과 사람 계수 장치 및 방법
CN103413441B (zh) 2013-06-26 2015-12-23 广东惠利普路桥信息工程有限公司 道路天气状况监控方法
CN103413444B (zh) * 2013-08-26 2015-08-19 深圳市川大智胜科技发展有限公司 一种基于无人机高清视频的交通流调查处理方法
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
GB2520243B (en) 2013-11-06 2017-12-13 Thales Holdings Uk Plc Image processor
US9418279B2 (en) * 2013-11-19 2016-08-16 Qualcomm Incorporated Detection of an object's varying features with a non-stationary device
CN104777847A (zh) * 2014-01-13 2015-07-15 中南大学 基于机器视觉和超宽带定位技术的无人机目标追踪系统
CN103794087A (zh) 2014-02-17 2014-05-14 东南大学 基于无线协同的运动物体穿行道路辅助避撞方法和系统
CN104197928B (zh) * 2014-08-29 2017-01-18 西北工业大学 多摄像机协同的无人机检测、定位及跟踪方法
CN104794435B (zh) * 2015-04-03 2017-12-29 中国科学院自动化研究所 一种基于视觉的无人机对地运动目标检测方法
US9852513B2 (en) * 2016-03-01 2017-12-26 Intel Corporation Tracking regions of interest across video frames with corresponding depth maps

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001357385A (ja) * 2000-06-14 2001-12-26 Public Works Research Institute Ministry Of Land Infrastructure & Transport 赤外線カメラによる道路上の人、車等の自動識別装置
JP2006146551A (ja) * 2004-11-19 2006-06-08 Matsushita Electric Ind Co Ltd ロボット
JP2006270274A (ja) * 2005-03-22 2006-10-05 Olympus Corp 被写体認識装置、および被写体認識方法
JP2009173263A (ja) * 2008-01-23 2009-08-06 Honeywell Internatl Inc 無人航空機（ｕａｖ）によって移動目標物を自律的に追跡するための方法及びシステム
JP2009294842A (ja) * 2008-06-04 2009-12-17 Nissan Motor Co Ltd 歩行者検出装置及び歩行者検出方法
JP2014174646A (ja) * 2013-03-06 2014-09-22 Koito Electric Industries Ltd 信号制御装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
菅谷 保之, 金谷 健一: ""運動物体分離のためのカメラモデルの自動選択"", 情報処理学会研究報告, vol. ８４, JPN7017003341, 12 September 2002 (2002-09-12), JP, pages 9 - 16, ISSN: 0003872434 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240057388A (ko) * 2018-10-04 2024-05-02 씨드로닉스(주) 항만 모니터링 장치 및 항만 모니터링 방법
KR102658233B1 (ko) * 2018-10-04 2024-04-19 씨드로닉스(주) 항만 모니터링 장치 및 항만 모니터링 방법
US12057018B2 (en) 2018-10-04 2024-08-06 Seadronix Corp. Device and method for monitoring vessel and harbor
KR20210036886A (ko) * 2018-10-04 2021-04-05 씨드로닉스(주) 항만 모니터링 장치 및 항만 모니터링 방법
KR102566724B1 (ko) * 2018-10-04 2023-08-16 씨드로닉스(주) 항만 모니터링 장치 및 항만 모니터링 방법
KR102688958B1 (ko) 2018-10-04 2024-07-29 씨드로닉스(주) 항만 모니터링 장치 및 항만 모니터링 방법
KR20230121978A (ko) * 2018-10-04 2023-08-22 씨드로닉스(주) 항만 모니터링 장치 및 항만 모니터링 방법
WO2020139497A1 (en) * 2018-12-27 2020-07-02 Intel Corporation System and method of location determination using multiple location inputs
KR20200104739A (ko) * 2019-02-27 2020-09-04 주식회사 한국건설방재연구원 작업자 안전 관리를 위한 작업용 철도 차량 접근 원격 알람 시스템
KR102265726B1 (ko) * 2019-02-27 2021-06-16 주식회사 한국건설방재연구원 작업자 안전 관리를 위한 작업용 철도 차량 접근 원격 알람 시스템
JP7006847B2 (ja) 2019-07-04 2022-01-24 三菱電機株式会社 移動体測位装置および移動体測位システム
JPWO2021002001A1 (ja) * 2019-07-04 2021-10-28 三菱電機株式会社 移動体測位装置および移動体測位システム
WO2021002001A1 (ja) * 2019-07-04 2021-01-07 三菱電機株式会社 移動体測位装置および移動体測位システム
JP7462738B2 (ja) 2019-10-25 2024-04-05 ウェイモ エルエルシー 車載クラスタ追跡システム
JP2023520017A (ja) * 2020-04-01 2023-05-15 サ－コス コーポレイション 非生物学的な可動の空中ターゲットの早期検出のためのシステムおよび方法
US12008807B2 (en) 2020-04-01 2024-06-11 Sarcos Corp. System and methods for early detection of non-biological mobile aerial target

Also Published As

Publication number Publication date
WO2017041303A1 (en) 2017-03-16
US20200272803A1 (en) 2020-08-27
US20170083748A1 (en) 2017-03-23
JP6496323B2 (ja) 2019-04-03
EP3347789A1 (en) 2018-07-18
CN108139757A (zh) 2018-06-08
US10198634B2 (en) 2019-02-05
EP3347789B1 (en) 2021-08-04
US20190180077A1 (en) 2019-06-13
EP3347789A4 (en) 2018-08-29
US10650235B2 (en) 2020-05-12

Similar Documents

Publication Publication Date Title
JP6496323B2 (ja) 可動物体を検出し、追跡するシステム及び方法
US11263761B2 (en) Systems and methods for visual target tracking
US11879737B2 (en) Systems and methods for auto-return
US20230360230A1 (en) Methods and system for multi-traget tracking
US11635775B2 (en) Systems and methods for UAV interactive instructions and control
US10802509B2 (en) Selective processing of sensor data
US10599149B2 (en) Salient feature based vehicle positioning
US10645300B2 (en) Methods and apparatus for image processing

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190308

R150 Certificate of patent or registration of utility model

Ref document number: 6496323

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees