JP2017516110A - 物体をリアルタイムで追跡するためのデバイス、システム、および方法 - Google Patents

物体をリアルタイムで追跡するためのデバイス、システム、および方法 Download PDF

Info

Publication number
JP2017516110A
JP2017516110A JP2016568577A JP2016568577A JP2017516110A JP 2017516110 A JP2017516110 A JP 2017516110A JP 2016568577 A JP2016568577 A JP 2016568577A JP 2016568577 A JP2016568577 A JP 2016568577A JP 2017516110 A JP2017516110 A JP 2017516110A
Authority
JP
Japan
Prior art keywords
distance
time
points
laser
velocity measurements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016568577A
Other languages
English (en)
Inventor
セバスティアン リチャード
セバスティアン リチャード
ベルスレイ ケンドール
ベルスレイ ケンドール
Original Assignee
ディーエスシージー ソルーションズ,インコーポレイテッド
ディーエスシージー ソルーションズ,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディーエスシージー ソルーションズ,インコーポレイテッド, ディーエスシージー ソルーションズ,インコーポレイテッド filed Critical ディーエスシージー ソルーションズ,インコーポレイテッド
Publication of JP2017516110A publication Critical patent/JP2017516110A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50Systems of measurement based on relative movement of target
    • G01S17/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • G01S17/875Combinations of systems using electromagnetic waves other than radio waves for determining attitude
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

1つの一般的な態様において、物体の運動を決定するためのシステムは、物体上の複数のポイントの距離と速度の測定値を生成するように構成されたレーザーシステムと、プロセッサーとを含む。プロセッサーは、物体上の複数のポイントの距離と速度の測定値から、物体の回転を決定するように構成されている。いくつかの態様において、プロセッサーは、物体上の複数のポイントの距離と速度の測定値および物体の回転から、第1の時刻と第2の時刻の間に物体が移動した距離を決定するようにも構成されている。【選択図】図1

Description

(関連出願)
本出願は、「物体をリアルタイムで追跡するためのデバイス、システム、および方法」と題された2015年5月19日出願の米国特許出願第14/716,467号に基づく優先権を主張し、かつその継続出願であり、かつ、「物体を追跡するためのデバイス、システム、および方法」と題された2014年5月21日出願の米国仮特許出願第62/001,544号、および「物体をリアルタイムで追跡するためのデバイス、システム、および方法」と題された2014年7月30日出願の米国仮特許出願第62/030,988号に基づく優先権ならびに利益を主張するものであり、当該出願の各々を参照することによりそれら全体を本明細書中に援用する。
(技術分野)
本発明は、物体を追跡するためのシステムおよび方法に関する。
(背景)
いくつかの公知のシステムでは、物体は、ビデオシステムと組み合わせたレーザー光検出と測距(LIDAR)システムを用いて追跡することができる。そのような公知のシステムのいくつかは、複雑かつ使用が難しい場合がある。さらに、そのような公知のシステムのいくつかにおいて、ビデオシステムは、追跡すべき物体を検出するために光を必要とする場合がある。このため、現状の技術の不足に対応し、他の新規および革新的な特徴を提供するシステム、方法、および装置の必要性が存在する。
1つの一般的な態様において、物体の運動を決定するためのシステムは、物体上の複数のポイントの距離と速度の測定値を生成するように構成されたレーザーシステムと、プロセッサーとを含む。プロセッサーは、物体上の複数のポイントの距離と速度の測定値から、物体の回転を決定するように構成されている。いくつかの態様において、プロセッサーは、物体上の複数のポイントの距離と速度の測定値および物体の回転から、第1の時刻と第2の時刻の間に物体が移動した距離および方向を決定するようにも構成されている。いくつかの実施形態において、プロセッサーは、物体上の複数のポイントの距離と速度の測定値から、レーザーシステムによって出射されたレーザービームに直交する方向において、第1の時刻と第2の時刻の間に物体が移動した距離および方向を決定するように構成されている。いくつかの実施形態において、物体は、剛体を有する物体である。
別の一般的な態様において、実行した場合に、1つまたは複数のプロセッサーに処理を行わせる命令を格納する非一時的なコンピューター読み取り可能な記憶媒体を提供する。処理は、物体上の複数のポイントの距離と速度の測定値を生成することと;物体上の複数のポイントの距離と速度の測定値から、物体の回転を決定することとを含む。いくつかの実施形態において、処理は、第1の時刻と第2の時刻の間に物体が移動した距離および方向を決定することを含む。
別の一般的な態様において、方法は、物体上の複数のポイントの距離と速度の測定値を生成することと;物体上の複数のポイントの距離と速度の測定値から、物体の回転を決定することとを含む。いくつかの実施形態において、方法は、第1の時刻と第2の時刻の間に物体が移動した距離および方向を決定することを含む。
(図面の簡単な説明)
図1は、実施形態によるLIDARシステムを示す概略図である。
図2は、実施形態によるプロセッサーの一例を示す概略図である。
図3および4は、実施形態によって追跡され得る物体を示す。
図5乃至7は、実施形態によって追跡され得る別の物体を示す。
図8は、実施形態による物体を追跡するための方法を示すフローチャートである。
(詳細な説明)
図1は、本発明の態様によるLIDARシステム100を概略的に示す図である。LIDARシステム100は、レーザーシステム105と、分析モジュール130とを含む。レーザーシステム105は、レーザーセット110と、受信機セット120とを含む。
LIDARシステム100は、物体10を追跡するように構成されている。例えば、いくつかの実施形態において、LIDARシステム100は、時刻T1から時刻T2まで物体10を追跡するように構成されている。いくつかの実施形態において、LIDARシステム100は、時刻T1と時刻T2の間の軸を中心とした物体10の回転を決定するように構成されている。いくつかの実施形態において、LIDARシステム100は、少なくとも2つの異なる軸を中心にした物体10の回転を決定するように構成されている。例えば、いくつかの実施形態において、LIDARシステム100は、時刻T1と時刻T2の間に互いに垂直または直交する少なくとも2つの異なる軸を中心にした物体の回転を決定するように構成されている。いくつかの実施形態において、LIDARシステム100は、暗がりで(または、物体が人間の目に見えるように物体を光源内に配置せずに)物体の回転を決定するように構成されている。例えば、いくつかの実施形態において、LIDARシステム100は、物体の回転を決定するように構成されているが、物体は、10ルーメン未満の光照射野内である。
いくつかの実施形態において、LIDARシステム100は、時刻T1と時刻T2の間の物体10の移動を決定するようにも構成されている。例えば、いくつかの実施形態において、LIDARシステム100は、xy平面などの平面内で、時刻T1と時刻T2の間の物体10の移動を決定するように構成されている。いくつかの実施形態において、LIDARシステム100は、暗がりで(または、物体が人間の目に見えるように物体を光源内に配置せずに)物体の回転を決定するように構成されている。
物体10は、任意の形状または形態であってもよい。例えば、いくつかの実施形態において、物体10は、剛性の固体物体である。いくつかの実施形態において、物体10は、ヒト対象または個人、または、ヒト対象または個人の頭部または顔などのヒト対象または個人の身体の一部である。いくつかの実施形態において、物体10は、目標または目標物体と呼ぶことができる。
LIDARシステム100は、LIDARシステム100に対して静止または動くことができる物体10の距離(または距離推定値)および/または速度(または速度推定値)を生成または測定するために、レーザーシステム105および分析モジュール130を使用するように構成されている。例えば、いくつかの実施形態において、生成または測定する速度は、放射ビーム(以下により詳細に説明する)の方向における速度である。言い換えると、測定する速度は、LIDARシステム100に向かうかまたは離れる物体の速度である。いくつかの実施形態において、距離は、距離推定値であってもよく、速度は、速度推定値であってもよい。いくつかの実施形態において、距離は、正確な距離推定値であってもよく、速度は、正確な速度推定値であってもよい。いくつかの実施形態において、LIDARシステム100は、例えば、レーザー110からの電磁放射および/または測定中に生じ得る他の干渉に関連付けられたマルチパス効果にもかかわらず、正確な距離推定値および/または正確な速度推定値を生成するように構成されている。
いくつかの実施形態において、LIDARシステム100は、レーザーシステム105および分析モジュール130を使用して、物体10上の種々の異なるポイントの距離および/または速度を生成または測定するように構成されている。例えば、図示の実施形態において、LIDARシステム100は、物体10上の5個のポイント(または位置)11、12、13、14、および15の距離および/または速度を生成または測定するように構成されている。他の実施形態において、LIDARシステム100は、物体上の6個以上のポイントの距離および/または速度を任意の所与の時間で生成または測定するように構成されている。例えば、LIDARシステム100は、物体上の16個のポイントまたは17個以上のポイントの距離および/または速度を生成または測定するように構成されていてもよい。
LIDARシステム100のレーザーシステム105は、レーザーセット110を含む。図示の実施形態において、レーザーセット110は、レーザービーム111A、112A、113A、114A、および115Aを出射するかまたは方向付けるように構成されている。他の実施形態において、レーザーセット110は、5本未満のレーザービームを出射するかまたは方向付けるように構成されている。例えば、一実施形態において、レーザーセット110は、4本のレーザービームを出射するかまたは方向付けるように構成されている。さらに他の実施形態において、レーザーセット110は、4〜16本のレーザービームを出射するように構成されている。さらなる実施形態において、レーザーセットは、17本以上のレーザービームを出射するかまたは方向付けるように構成されている。
図示の実施形態において、レーザーセット110は、レーザービームを出射するかまたは方向付けるためのレーザー111、112、113、114、および115を含む。他の実施形態において、単一レーザーを使用して、レーザービーム111A、112A、113A、114A、および115Aを出射するかまたは方向付けてもよい。他の実施形態において、レーザーセット110は、ほぼ5本のレーザーを含む。例えば、いくつかの実施形態において、レーザーセット110は、少なくとも5本のレーザーを含む。他の実施形態において、レーザーセット110は、少なくとも4本のレーザーを含む。他の実施形態において、レーザーセット110は、5〜16本のレーザーを含む。他の実施形態において、レーザーセット110は、4〜16本のレーザーを含む。さらに他の実施形態において、セット110は、17本以上のレーザーを含む。
レーザー111、112、113、114、および115の各々は、例えば、コヒーレント光出射(例えば、単色光出射)またはビームであってもよい1つまたは複数の周波数での電磁放射を出射する(例えば、生成する、伝播する)ように構成されている。いくつかの実施形態において、レーザーは、複数のコヒーレント光出射(例えば、単色光出射)またはビームを出射する(例えば、生成する、伝播する)ように構成されている。レーザーからの出射は、電磁放射出射、出射電磁放射、または透過電磁放射と呼んでもよい。
具体的に、レーザーシステム105のレーザーの各々は、LIDARシステム100から物体10上のポイントに向かってコヒーレント光出射(例えば、単色光出射)またはビームを出射する(例えば、生成する、伝播する)ように構成されている。いくつかの実施形態において、レーザーシステム105のレーザーの各々は、物体10上の異なるポイントに向かって光ビームを出射するように構成されている。いくつかの実施形態において、レーザーシステム105のレーザーシステム105のレーザーは、2本以上の光ビームを物体10に向かって出射するかまたは方向付けるように構成されている。例えば、単一レーザーを使用して、複数(例えば、4本、5本、または6本以上)の光ビームを物体10上の異なるポイントに向かって出射するかまたは方向付けてもよい。
図示の実施形態において、レーザー111は、物体10上のポイント11に向かって光または電磁放射ビーム111Aを出射するように構成されている。レーザー112は、物体10上のポイント12に向かって光または電磁放射ビーム112Aを出射するように構成されている。レーザー113は、物体10上のポイント13に向かって光または電磁放射ビーム113Aを出射するように構成されている。レーザー114は、物体10上のポイント14に向かって光または電磁放射ビーム114Aを出射するように構成されている。レーザー115は、物体10上のポイント15に向かって光または電磁放射ビーム115Aを出射するように構成されている。
LIDARシステム100は、物体の距離および速度を検出するように構成されている任意の種類のシステムであってもよい。
LIDARシステム100のレーザーシステム105は、受信機セット120を含む。図示の実施形態において、受信機セット120は、受信機121、122、123、124、および125を含む。他の実施形態において、受信機セット120は、5台程度の受信機を含む。例えば、いくつかの実施形態において、受信機セット120は、少なくとも5台の受信機を含む。他の実施形態において、受信機セット120は、5〜16台の受信機を含む。さらに他の実施形態において、受信機セット120は、17台以上の受信機を含む。いくつかの実施形態において、受信機セット120は、レーザーセット110においてレーザーごとに受信機を含む。いくつかの実施形態において、受信機セット120は、レーザーセット110によって出射されるレーザービームごとに受信機を含む。いくつかの実施形態において、受信機セット120は、レーザーセット110の各レーザーによって出射されるレーザービームごとに受信機を含む。いくつかの実施形態において、受信機セット120は、観察されている物体10上のポイントまたは測定位置ごとに受信機を含む。
受信機121、122、123、124、および125の各々は、物体10に向かってレーザーから出射された電磁放射に応答して、物体10から反射した電磁放射(反射電磁放射とも呼んでもよい)を受信するように構成されている。例えば、図示の実施形態において、受信機121は、物体10のポイント11から反射する電磁放射111Bを受信するように構成されている。受信機122は、物体10のポイント12から反射する電磁放射ビーム112Bを受信するように構成されている。受信機123は、物体10のポイント13から反射する電磁放射ビーム113Bを受信するように構成されている。受信機124は、物体10のポイント14から反射する電磁放射ビーム114Bを受信するように構成されている。受信機125は、物体10のポイント15から反射する電磁放射ビーム115Bを受信するように構成されている。
LIDARシステム100の分析モジュール130は、レーザーの各々からの出射電磁放射(例えば、出射電磁放射ビーム111A〜115A)と、受信器の各々で受信された反射電磁放射(例えば、反射電磁放射111B〜115B)との組み合わせを分析するように構成されている。出射電磁放射は、アップチャープ、次いで、ダウンチャープ(またはダウンチャープ、次いで、アップチャープ)を含むパターンに従って出射することができる。レーザーの各々からの出射電磁放射の周波数と受信機で受信された反射電磁放射の周波数との組み合わせを分析モジュール130によって分析し、物体10の各観察ポイントの距離(LIDARシステムからの距離)および速度を決定することができる。具体的に、図示の実施形態において、LIDARシステム100は、第1の時刻T1から第2の時刻T2までの物体10のポイント11、12、13、14、および15の各々の距離および/または速度を決定するように構成されている。
いくつかの実施形態において、LIDARシステム100は、毎秒約100回で、物体10上のポイント11、12、13、14、および15の各々を追跡、観察、あるいは監視するように構成されている。そのような実施形態において、T1とT2の時間差は、約0.01秒である。他の実施形態において、LIDARシステム100は、毎秒100回よりも頻繁に、例えば、毎秒1000回またはそれ以上で、各ポイントを追跡または観察するように構成されている。いくつかの実施形態において、LIDARシステム100は、毎秒100回未満で、各ポイントを追跡または観察するように構成されている。
以下に詳述されるように、分析モジュール130は、物体の回転と、時刻T1と時刻T2の間に物体が移動した距離および方向とを決定するようにも構成されている。
図2は、分析モジュール130の概略図である。分析モジュール130は、画像モジュール132、比較モジュール134、回転モジュール136、および距離モジュール138を含む。画像モジュール132は、物体10の三次元画像を取得するように構成されている。場合によっては、物体10は、既知の人物など既知の物体または対象である。そのような場合、物体10は、既知の三次元構造を有し、画像モジュール132は、データベース、メモリー、または任意の他の格納デバイスもしくはメモリーデバイス139から構造を取得することができる。いくつかの実施形態において、物体の三次元構造は、データベース、メモリー、または他の格納もしくはメモリーデバイス139から画像モジュール132に提供してもよい。いくつかの実施形態において、データベース、メモリー、または他の格納デバイスは、分析モジュール130にローカルである。他の実施形態において、三次元構造は、例えば、インターネットまたはイントラネットを介して、遠隔格納デバイスから分析モジュール130によって受信してもよい。
場合によっては、物体10は、既知の三次元構造を持たない。そのような場合、画像モジュール132は、レーザーシステム110から受信したデータを用いて、物体の三次元構造を作成するように構成されている。例えば、画像モジュール132は、例えば、レーザーシステム105によって生成された距離データを用いて、物体10の三次元構造(または物体10の一部の三次元構造)を作成してもよい。
比較モジュール134は、物体10の距離および/または速度を決定するように構成されている。より具体的には、比較モジュール134は、物体10の種々のポイント(例えば、11、12、13、14、および15)の距離および/または速度を決定するように構成されている。上述したように、一実施形態において、比較モジュール134は、レーザーの各々からの出射電磁放射と受信機の各々で受信した反射電磁放射との組み合わせを分析し、第1の時刻T1から第2の時刻T2までの物体10のポイント11、12、13、14、および15の距離および/または速度を決定するように構成されている。
回転モジュール136は、物体10の回転を決定するように構成されている。いくつかの実施形態において、回転モジュール136は、2つ以上の軸を中心とした物体10の回転を決定するように構成されている。例えば、いくつかの実施形態において、回転モジュール136は、互いに非平行(例えば、直交)している2つの軸を中心とした物体10の回転を決定するように構成されている。例えば、一実施形態において、レーザーシステムは、軸(Z軸)に沿って物体10に向かって放射を出射するように構成されており、回転モジュール136は、Z軸(X軸)に直交する第1の軸とZ軸(Y軸)に直交する第2の軸とを中心とした物体の回転を決定するように構成されている。いくつかの実施形態において、回転モジュール136は、第1の時刻T1と第2の時刻T2の間の物体の回転量を決定するように構成されている。
いくつかの実施形態において、剛性の固体物体において、1つのデカルト方向の速度場成分は、その方向に直交する空間座標において線形に変化する。また、成分の空間方向において、その成分の変動は生じない。例えば、z方向における速度成分、Vzを考えてみる。任意の所与の時間では、z方向におけるVzの変動は起こり得ないかまたは、物体は、伸長し、剛性の固形物の定義を破るであろう。回転成分Wx、Wy、およびWzに起因するz運動の三角法/ベクトル解析を調べる場合、回転成分ごとに、運動Vzは、一次方程式で記述され得ることが分かる:
Vz=Vz(x、y)=A×x+B×y+C、ここで、A、B、およびCは、所与の時間での定数であり、
ここで、
A=−Wy、
B=Wx、および
Cは、座標システムの原点の位置による。
Wzは、速度のz成分を伝えない。
従って、所与の時間で、多くの(x、y)位置(例えば、物体10上の多くのポイント)での速度Vzを測定した場合、値Wx、Wy、および並進一定速度C=Vz0は、一連の一次方程式で解くことができる。いくつかの実施形態において、一次方程式が実質的に過剰決定する十分な空間(x、y)ポイントがある。
距離モジュール138は、物体10がxy平面でどのくらい移動しているかを決定するように構成されている。例えば、いくつかの実施形態において、距離モジュール138は、物体10が、z軸(レーザーシステム105の放射ビームの軸)に直交するxy平面内で時刻T1と時刻T2の間にどのくらい移動しているかを決定するように構成されている。
いくつかの実施形態において、物体の配向が既知で、傾きdz/dxおよびdz/dyは、物体上の(x、y)位置の関数として知られる。LIDAR距離値(レーザーシステム105で決定した)の配列を使用して、多くのポイント(x、y)での傾きペア(dz/dx、dz/dy)を決定することができる。例えば、いくつかの実施形態において、物体の表面の傾きおよび/または曲率は、x方向およびy方向の各々において決定し、傾きおよび/または曲率勾配を取得することができる。いくつかの表面では、物体の配向情報さらに傾きペアにより、物体の表面上の位置を一意的に決定する。例えば、人物または個人の顔などの複雑な表面では、同じ傾きペアが顔全体で2回以上見ることができても、傾きペアは、ローカル領域で位置を一意的に決定しがちである。いくつかの実施形態において、複数の傾きペアは、位置を重複して推定し、ノイズの多い距離データからの位置推定の誤差を減らすのに使用することができる。
物体上のLIDARビームの絶対位置を傾きペアと利用可能な現在の回転物体モデルとから推定した状態で、距離モジュール138は、物体10の位置変化を決定することができる。例えば、物体の回転(決定または算出した)は、(物体がその元の配向に戻るように)反転させ、除去し、または取り消す(backed out)ことができる。ビームをそれらの所望の位置に回復させるのに必要なビーム位置変化についても決定することができる。その後、並進速度(dx/dt、dy/dt)は、物体の位置ロケーションデータを用いて決定することができる。いくつかの実施形態において、目標の回転および並進速度が既知の状態で、ビームの再配置は、ビームの運動が滑らか、かつ、ビーム位置が将来の時点で所望の位置に近くなるように行うことができる。
いくつかの実施形態において、スキャニングせずに位置を維持するためには、比較的少数のビームポイントが必要な場合がある。いくつかの実施形態において、スキャニングせずに位置を維持することができ、LIDARシステムを使用して、振動を監視することができる。
LIDARシステム100(例えば、分析モジュール130)の構成要素(例えば、モジュール、プロセッサー(例えば、シリコン基板などの基板内で定義付けされたプロセッサー))は、1つまたは複数の種類のハードウェア、ソフトウェア、ファームウェア、オペレーティングシステム、ランタイムライブラリー、などを含んでもよい1つまたは複数のプラットフォーム(例えば、1つまたは複数の同様のまたは異なるプラットフォーム)に基づいて作動するように構成してもよい。いくつかの実施形態において、LIDARシステム100の構成要素は、クラスターデバイス(例えば、サーバーファーム)内で作動するように構成してもよい。
いくつかの実施形態において、図1および/または図2のLIDARシステム100に示す構成要素の1つまたは複数の部分は、ハードウェアベースモジュール(例えば、デジタル信号プロセッサー(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、メモリー)、ファームウェアモジュール、および/またはソフトウェアベースモジュール(例えば、コンピューターコードのモジュール、コンピューターで実行することができる一連のコンピューター読み取り可能な命令)であってもよく、あるいは、これらを含んでもよい。例えば、いくつかの実施形態において、LIDARシステム100の1つまたは複数の部分は、少なくとも1つのプロセッサー(不図示)によって実行するように構成されたソフトウェアモジュールであってもよく、あるいは、これを含んでもよい。いくつかの実施形態において、構成要素の機能性は、図1および/または図2に示すものとは異なるモジュールおよび/または異なる構成要素に含むことができる。
いくつかの実施形態において、LIDARシステム100の1つまたは複数の構成要素は、メモリーに格納された命令を処理するように構成されたプロセッサーであってもよく、あるいは、これを含んでもよい。例えば、分析モジュール130(および/またはその一部)は、1つまたは複数の機能を実施する処理に関する命令を実行するように構成されたプロセッサーおよびメモリーの組み合わせであってもよい。
不図示であるが、いくつかの実施形態において、LIDARシステム100(またはその一部)の構成要素は、例えば、データセンター(例えば、クラウドコンピューティング環境)、コンピューターシステム、1つまたは複数のサーバー/ホストデバイス、など内で作動するように構成してもよい。いくつかの実施形態において、LIDARシステム100(またはその一部)の構成要素は、ネットワーク内で作動するように構成してもよい。このため、LIDARシステム100(またはその一部)は、1つまたは複数のデバイスおよび/または1つまたは複数のサーバーデバイスを含み得る種々の種類のネットワーク環境内で機能するように構成してもよい。例えば、ネットワークは、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、などであってもよく、あるいは、これらを含んでもよい。ネットワークは、例えば、ゲートウェイデバイス、ブリッジ、スイッチ、などを用いて実現されるワイヤレスネットワークおよび/またはワイヤレスネットワークであってもよく、あるいは、これらを含んでもよい。ネットワークは、インターネットプロトコル(IP)および/または専用通信プロトコルなどの種々のプロトコルに基づいて1つまたは複数のセグメントを含んでもよく、および/または部分を有してもよい。ネットワークは、インターネットの少なくとも一部を含んでもよい。
いくつかの実施形態において、LIDARシステム100は、メモリーを含んでもよい。メモリーは、ランダムアクセスメモリー、ディスクドライブメモリー、フラッシュメモリー、などのいずれの種類のメモリーであってもよい。いくつかの実施形態において、メモリーは、LIDARシステム100の構成要素に関連付けられた2つ以上のメモリー構成要素(例えば、2つ以上のRAM構成要素またはディスクドライブメモリー)として実装してもよい。
図3および4に最良に示すように、一実施形態において、物体20は、LIDARシステム100によって観察(例えば、標的化)することができる。物体20は、任意の形状を有し得るが、円形として図3および4で示す。図3では、時刻T1で、物体20上のポイント22は、LIDARシステム100によって観察されている。時刻T1で、ポイント22は、x,y平面の(3,3)に位置する。図4に示すように、時刻T2で、ポイント22は、x,y平面の(4,3)に位置する。ポイントの移動は、物体20の異なる種類の移動の結果であってもよい。例えば、物体20は、ある位置から別の位置(並進移動)に移動していてもよいし、または物体20は、(例えば、xy平面のy軸に平行な軸を中心にして)回転していてもよい。
図5、6、および7に示すように、個人の頭部または顔30は、LIDARシステム100によって追跡または観察してもよい。具体的に、頭部または顔30のポイントまたは位置32を観察してもよい。図5に示すように、時刻T1で、ポイント32は、xy平面の(3,2)に位置する。時刻T2で、ポイント32は、(4,2)で観察してもよい。ポイントの移動は、異なる種類の運動の結果であってもよい。例えば、人物または個人は、図6に示すように、(例えば、y軸に平行な軸を中心にして)頭部が回転していてもよい。あるいは、人物または個人は、図7に示すように、(回転せずに)頭部が移動していてもよい。
上述したように、物体上のいくつかのポイントの距離および速度を観察することによって、回転モジュール136は、物体の回転を決定するように構成されている。
物体の回転が知られると、上述したように、距離モジュール138は、物体がxy平面でどのくらい移動したかを決定するように構成されている。従って、一実施形態において、LIDARシステム100は、人物の顔または頭部が時刻T2で図6に示すように配向しているかまたは時刻T2で図7に示すように配向しているかを決定するように構成されている。
図8は、本発明の実施形態による方法800のフローチャートである。方法800を使用して、第1の時刻T1と第2の時刻T2の間の物体の回転および/または運動(または移動した距離)を決定することができる。方法800を何回も連続して使用して、長期間にわたる物体の回転または運動を決定することができる。例えば、方法を毎秒数百回使用して、物体を追跡または監視することができる。
810で、物体の三次元画像を取得する。例えば、いくつかの実施形態において、画像モジュール、例えば、画像モジュール132は、データベースまたは他のリソースから(物体が既知の物体である場合に)物体の三次元画像を取得することができる。他の実施形態において、画像モジュール132は、レーザーシステム105からのスキャニング情報を用いて物体(または物体の一部)の三次元画像を取得し、物体(または物体の一部)の三次元画像を開発することができる。
820で、物体上の複数のポイントを第1の時刻T1で観察する。例えば、いくつかの実施形態において、レーザーシステム105は、物体上の複数のポイントの各々の距離および/または速度を観察および検出することができる。例えば、いくつかの実施形態において、物体上の5個のポイントを任意の所与の時間で観察する。他の実施形態において、6個以上のポイントを観察する。例えば、5〜16個のポイントを観察してもよい。他の実施形態において、17個以上のポイントを観察する。
上述のように、レーザーシステム105は、放射ビームを出射して、物体上の複数のポイントの各々によるかかる放射の反射を受光することによって、複数のポイントを観察してもよい。上述のように、出射放射と反射放射の比較により、物体のz方向(放射ビームの方向)における距離および/または速度を提供することができる。
830で、複数のポイント(または複数のポイントと同じ位置に実質的に位置するポイント)を第2の時刻T2で観察する。いくつかの実施形態において、物体上の同じポイントは、三次元画像(既知の三次元画像またはシステムが開発した三次元画像のいずれか)の分析または比較によって同定される。第2の時刻T2は、第1の時刻T1と異なる。いくつかの実施形態において、第2の時刻T2は、第1の時刻T1よりも後の時刻である。複数のポイントは、上述のように、レーザーシステム105によって観察してもよい。
840で、時刻T1と時刻T2の間の物体の回転を決定する。例えば、いくつかの実施形態において、上述のように、回転モジュール136は、距離および速度情報を分析し、物体の回転を決定するように構成されていてもよい。いくつかの実施形態において、1つの軸を中心とした物体の回転を決定する。いくつかの実施形態において、互いに直交する少なくとも2つの軸を中心とした物体の回転を決定する。いくつかの実施形態において、z軸(放射のビームの方向または軸)に直交する2つの軸を中心とした物体の回転を決定する。
850で、時刻T1と時刻T2の間に物体が移動した距離および/または方向を決定する。例えば、いくつかの実施形態において、z軸(放射のビームの軸)に直交するxy平面での物体の運動を決定する。上述したように、距離モジュール138は、観察している物体の一部の回転判断および傾きを介して、xy平面での物体の運動または物体が移動した距離を決定することができる。具体的に、観察している物体の固有の一部は、物体の傾きまたは傾き分析によって同定してもよい。物体の一部の位置を特定してもよい。ポイントの位置または回転データに沿った位置により、xy平面における物体の判断または運動が得られる場合がある。いくつかの実施形態において、決定または観察された回転は、物体がT2で、T1での配向と同じ配向に配置されるように、取り消すかまたは除去してもよい。その後、物体上の一意的に同定されたポイントを同定してもよく、そのようなポイントがxy平面(例えば、x方向でどのくらい、かつ、y方向でどのくらい)でどのくらい移動したかを決定することができる。いくつかの実施形態において、スキャンサイクルを反復させた密集LIDARビームを使用して、ビーム方向に垂直な目標運動を検出してもよい。ビームが十分に近い場合、表面までの距離は、ビーム間の距離の一次関数として近似してもよい。上で詳しく説明したように、物体または目標10の位置は、マルチポイントLIDAR情報を用いて、Vz(z方向における速度)、Wx(x軸を中心にした回転)およびWy(y軸を中心にした回転)運動についてすでに補正されており、Vx、Vy、およびWzによる運動を決定することができる。以下に詳しく説明するように、これらの運動の各々は、別々に決定することができる。
いくつかの実施形態において、LIDARシステムは、追跡している物体に対してパターンまたは複数のパターンで動くように構成されているレーザーまたはレーザービームを含むレーザーシステムを含む。例えば、いくつかの実施形態において、LIDARシステム100のレーザーシステム105は、追跡している物体に対してパターンまたは複数のパターンで動くように構成されている複数のレーザーまたはビームを含む。
例えば、いくつかの実施形態において、LIDARシステム100は、レーザービームを固定または静止させる1つのモードと、レーザービームが形状などのパターンまたは複数のパターンで動く第2のモードとを有し得る。いくつかの実施形態において、LIDARシステムが第2のモードである場合、2本以上のレーザービームは、パターンまたは複数のパターンで動く。いくつかの実施形態において、異なるレーザービームは、異なるパターンに独立して動いてもよい。
他の実施形態において、LIDARシステム100は、いくつかのレーザーを含むかまたは、静止しているいくつかのレーザービーム、およびパターン(または複数のパターン)または形状で動くように構成されているいくつかのレーザービームを生成する。
レーザーまたはビームは、任意のパターンまたは形状で動くことができる。例えば、いくつかの実施形態において、レーザーまたはビームは、楕円形状で動くように構成されている。他の実施形態において、レーザーまたはビームは、ライン、円形、四角形、長方形、三角形、または任意の他の形状で動くように構成されている。いくつかの実施形態において、レーザーまたはビームが動く形状またはパターンは、追跡している物体によって指示または決定される。例えば、いくつかの実施形態において、レーザー移動のパターンまたは形状は、追跡している物体の形状と同様であってもよい。例えば、個人の顔は一般的に楕円形状であるため、個人の顔を追跡する場合には、楕円形状またはパターンを使用してもよい。さらに、いくつかの実施形態において、レーザーまたはビームは、追跡している物体とともに動くように、または追跡している物体を追尾するように構成されている。そのような実施形態において、レーザーまたはビームは、わずかに異なる方向に誘導して、追跡している物体の移動を追尾または考慮してもよい。
いくつかの実施形態において、分析モジュール130(分析モジュール130の距離モジュール138など)は、物体10が移動した距離および/または物体10の速度を決定するように構成されている。例えば、分析モジュール130は、レーザービーム運動の方向に垂直または直交する方向において物体が移動した距離を決定または算出してもよい。
一実施形態において、レーザービームは、それらのパターンまたは形状に沿って一方向に動いているが、分析モジュール130は、レーザービームが動いている方向に平行な方向において、かつ、ビームが動いている方向に垂直な方向において、物体10の運動(距離および/または速度)を検出するように構成されている。いくつかの実施形態において、分析モジュール130は、レーザービーム(Z方向)に平行な軸を中心にした物体の回転を検出または決定するようにも構成されている。
いくつかの実施形態において、パターンまたは形状に沿って動いているレーザービームは、互いに非常に短い距離で目標上に配置されるかまたは目標に命中する。言い換えると、ビームは密集している。いくつかの実施形態において、ビームは、互いに数センチメートル未満である。他の実施形態において、ビームは、互いに数ミリメートル未満である。
x方向(Vxまたはvxとも呼ばれる)における物体10の速度は、以下のように決定することができる。期間中に測定した複数のポイントを使用して、上述のように、z、Wx、およびWyにおける、物体運動を算出し、除去する。一対のLIDAR(またはレーザー)ビームは、指標(k)を有する反復スキャンパターン(例えば、楕円)である。ビームの運動のほとんどがほぼy方向であるスキャンサイクルの一部がある。いくつかの実施形態において、2本のビームは、所与の距離で、ほぼ同じ横方向の分離Δxを維持し、かつ、所与の時間で、ほぼ同じ垂直のy位置(y1≒y2≒y)を有する同じポインティングデバイスを有する。目標の距離およびビームの横方向の位置は、指標(j)でサンプリングする。2本のビームの各々において、一連の測定したポイント(x1(j)、y1(j)、z1(j))および(x2(j)、y2(j)、z2(j))は、表面z(x、y)をサンプリングする。目標表面の傾きが線形として近似される場合、この傾きdz/dxは、以下のものとしてyごとに測定する:
dz/dx(j)=dz/dx(y(j))=(z2(j)−z1(j))/(x2(j)−x1(j))=(z2(j)−z1(j))/Δx。
後続のスキャンサイクルで、ビームは、そのy位置への先の訪問時刻からほぼ同じ遅延Tサイクルで各y位置を再訪するであろう。反復スキャンサイクルで、目標は、x方向に移動しているかもしれない。目標が、サイクル期間中に距離δx=vx×Tサイクルを移動している場合、
z1(y、k+1)=z1(y、k)−dz/dx(y、k)×δx、または
[z1(y、k+1)−z1(y、k)]×[x2(y、k)−x1(y、k)]=−[z2(y、k)−z1(y、k)]×δx
である。
各遅延Tサイクルで、サイクル(k)におけるサンプル(j)ごとに推定誤差が存在する:
ex(j)=[z1(y(m)、k+1)−z1(y(j)、k)]×[x2(y(j)、k)−x1(y(j)、k)]+[z2(y(j)、k)−z1(y(j)、k)]×δx(l、j),
ここで、y(m)は、サイクル(k+1)のサンプルであり、その値は、サイクル(k)のy(j)に最も近い状態である。いくつかの実施形態において、誤差Ex=sum(ex(j)×ex(j))を最小にするのが望ましい。従って、場合によっては、最小限の誤差に対応するかまたは相関する遅延Tサイクルを選択し、使用してもよい。
あるいは、z1(y、k+1)は、z1(y(m)、k+1)およびz1(y(m±1、k+1)を用いた補間値であってもよい。Tサイクルが、一連のペアサンプルであるjおよびmにわたってほぼ一定であり、かつ、x方向においてそれと分かるような加速(または速度の変化)がない(例えば、Tサイクルが非常に短い期間であるため)と想定した場合、δxは、種々のjおよびmペアにおいて一定であり、δxに対して標準最小二乗解を実装することができる。他の実施形態において、δxに対して異なる解を使用してもよい。
以下の解が得られる。
Figure 2017516110
次に、vx=δx/Tサイクル=Ax×Δx/Tサイクル
物体のx成分または目標速度vxは、スキャンサイクルで一定であるという近似をすることもできる。この近似を維持しない場合、加速項axを導入することができ、その結果、
vx=vx(0)+ax×Tサイクル
となり、vx(0)およびaxの両方について解く。
ビームがスキャンサイクル間にx距離ΔXビーム移動する場合、このビームオフセットは、ビーム位置変化の後続のスキャンサイクルにおけるz値を調整することによって補正し、前回のスキャンサイクルの(x(j)、y(j))位置で得られていたであろう測定値を得ることができる。
z1調整済(y(m)、k+1)=z1(y(m)、k+1)−dz/dx(y(j)、k)×ΔXビーム。
この調整を行った状態で、vxの最小二乗解は、前述のように進める。
同様に、y方向における速度(Vyまたはvyとも呼ばれる)は、以下のように決定することができる。ビームの運動のほとんどがほぼx方向であるスキャンサイクルの一部がある。そのようなx方向におけるスキャンサイクルセグメント中に、誤差を最小にすることができる。
Ey=sum(ey(j)×ey(j))、ここで、
ey(j)=z1(y(j)−vy×Tサイクル、k)−z1(y(m)、k+1)。
場合によっては、密集したスキャンラインの表面形状が類似しているため、このアプローチは、プログレッシブラインスキャンがある場合であっても、うまく作用する場合がある。
Z軸を中心とした回転(Wzまたはωzとも呼ばれる)は、スキャンサイクルごとに起こるvxおよびvyの観察された値に線形勾配を導入するため、決定することができる。wzの非ゼロ値により、yの関数としてvxおよびxの関数としてvyの線勾配が得られるであろう。追加項をvxおよびvyの最小二乗解に加えて、wzを得ることもできる。また、決定において多数のビームを使用してもよい。例えば、vyの解は、上述の方法を用いて異なるx値で決定することができ、xによるvyの勾配は、ωzを生じる:
vy2=vy1−ωz×(x2−x1)。
ωz=(vy2−vy1)/(x2−x1)。
いくつかの実施形態において、算出または決定は、Tサイクルが一定ではない場合に行ってもよい。さらに、場合によっては、算出または決定は、ビーム間隔が一定ではないまたは一定である場合に行ってもよい。
本明細書に記載の種々の技術の実施形態は、デジタル電子回路、またはコンピューターハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせで実装してもよい。実施形態は、情報担体、例えば、機械読み取り可能な記憶デバイス(コンピューター読み取り可能な媒体、非一時的なコンピューター読み取り可能な記憶媒体、タンジブルコンピューター読み取り可能な記憶媒体)、または、データ処理装置、例えば、プログラマブルプロセッサー、コンピューター、またはマルチコンピューターで処理するための、または該データ処理装置の操作を制御するための伝播信号に物理的に組み込まれたコンピュータープログラム製品、すなわち、コンピュータープログラムとして実装してもよい。上述のコンピュータープログラム(複数を含む)などのコンピュータープログラムは、コンパイル言語またはインタプリタ言語を含むプログラミング言語の任意の形態で書き込んでもよく、スタンドアロンプログラムまたはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境での使用に適した他のユニットを含む任意の形態で配布してもよい。コンピュータープログラムを配布して、1サイトに配置されまたは複数サイトをまたがって分散し、かつ、通信ネットワークによって相互接続配置された1台のコンピューターまたは複数台のコンピューターによって処理することができる。
方法ステップは、コンピュータープログラムを実行する1つまたは複数のプログラマブルプロセッサーで行い、入力データ上で運動し、出力を生成することによって機能を実施してもよい。方法ステップは、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(用途特定集積回路)などの特定用途論理回路によって実施してもよく、装置は、これら回路として実装してもよい。
コンピュータープログラムを処理するのに適したプロセッサーは、一例として、汎用および特定用途マイクロプロセッサーの双方、および任意の種類のデジタルコンピューターの任意の1つまたは複数のプロセッサーを含む。一般に、プロセッサーは、読取専用メモリーまたはランダムアクセスメモリーまたはこれら双方から命令とデータを受信する。コンピューターの要素は、命令を実行する少なくとも1つのプロセッサーと、命令およびデータを格納する1つまたは複数のメモリーデバイスを含んでもよい。一般に、コンピューターはさらに、データを格納する1つまたは複数の大規模記憶デバイス、例えば、磁気ディスク、光磁気ディスク、または光ディスクを備え、またはこれらと運動可能に連結されて、データを受信または送信するまたは送受信する。コンピュータープログラム命令とデータを格納するのに適した情報担体は、一例として、例えば、EPROMやEEPROMのような半導体メモリーデバイス、フラッシュメモリーデバイス;例えば、内部ハードディスクやリムーバブルディスクのような磁気ディスク;光磁気ディスク;CD−ROMおよびDVD−ROMディスクを含む不揮発性メモリーの全ての形態を含む。プロセッサーとメモリーは、特定用途論理回路内によって補充され、またはその内部に設けてもよい。
ユーザーとの相互作用を提供するために、実施形態は、ユーザーに対して情報を表示する表示デバイス、例えば、液晶ディスプレイ(LCDまたはLED)モニター、タッチスクリーンディスプレイ、およびキーボード、ならびにユーザがコンピューターに対して入力を提供することができるマウスまたはトラックボールなどのポインティングデバイスを有するコンピューター上で実装してもよい。その他の種類の装置もユーザーとの相互作用を提供するために使用してもよく;例えば、ユーザに対して提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックなどの感覚フィードバックの任意の形態であってもよく;ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形態で受信可能である。
実施形態は、例えば、データサーバーのようなバックエンドコンポーネントを含む、またはミドルウェアコンポーネント、例えば、アプリケーションサーバーを含む、またはフロントエンドコンポーネント、例えば、実施形態、またはそのようなバックエンド、ミドルウェア、もしくはフロントエンドコンポーネントの任意の組み合わせを用いてユーザが相互作用することができる、グラフィカルユーザーインタフェースもしくはウェブブラウザーを有するクライアントコンピューターを含む、コンピューティングシステムで実装してもよい。コンポーネントは、デジタルデータ通信の任意の形式または媒体、例えば、通信ネットワークによって相互接続してもよい。通信ネットワークの例としては、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、例えば、インターネットが挙げられる。
いくつかの実施形態において、LIDARシステムは、対象または個人の顔の動きのミリメートル範囲の精度性能を達成することができる。しかしながら、いくつかの実施形態において、固体物体の速度推定値は、音声および他の生体成分から重要な速度成分を除去するために、多数のサンプルの処理を必要とする。0.05mm(50ミクロン)の振幅を有する500Hz振動は、約16cm/秒の最大速度(2×π×500×5E−5=0.157m/秒)を有する。振動の振幅が、対象または個人の顔の追跡処理に重要ではない距離変化であっても、瞬時速度は重要な場合があり、振動速度は除去してもよい。いくつかの実施形態において、振動速度を除去するには、除去すべき振動の期間よりも著しく長い速度データサンプルの処理と、ノイズまたはバイアスを回避するための配慮を必要とする場合がある。例えば、速度(例えば、Z方向における速度)のノイズは、物体の回転または物体のZ速度を検出または決定するための能力をもたらすかまたは劣化させることがある。いくつかの実施形態において、振動ノイズまたは速度ノイズは、比較的小さく、その効果を除去するために平均化することができる。
上記の実施形態のある特徴を本明細書に記載のように説明してきたが、当業者は多くの修正、置き換え、変更、均等物を思い浮かべるであろう。したがって、添付の特許請求の範囲は、実施形態の範囲内にあるものとしてそのような修正および変更の全てを網羅することが意図されていると理解すべきである。それらは、限定としてではなく一例としてのみ提示されており、形態および詳細の種々の変更を行ってもよいと理解すべきである。本明細書に記載の装置および/または方法の任意の部分は、相互排他的な組み合わせを除いて、任意の組み合わせで組み合わせてもよい。本明細書に記載の実施形態は、記載された異なる実施形態の機能、構成要素、および/または特徴の種々の組み合わせおよび/または2次的組み合わせを含んでもよい。

Claims (19)

  1. 物体の運動を決定するためのシステムであって、
    該物体上の複数のポイントの各々の少なくとも距離測定値および速度測定値を生成するように構成されたレーザーシステムと;
    該物体上の該複数のポイントの距離と速度の測定値から、第1の時刻と第2の時刻の間の該物体の回転を決定し、
    該物体の回転から、該第1の時刻と該第2の時刻の間に該物体が移動した距離を決定し、
    該物体上の該複数のポイントの距離と速度の測定値から、該レーザーシステムによって出射されたレーザービームに直交する方向において、第1の時刻と第2の時刻の間に該物体が移動した距離を決定するように構成された
    分析モジュールと、
    を含む、前記システム。
  2. 前記物体が、個人の顔である、請求項1に記載のシステム。
  3. 前記レーザーシステムが、該物体の5個以上のポイントの距離と速度の測定値を生成するように構成されている、請求項1に記載のシステム。
  4. 前記レーザーシステムが、該物体の5個以上のポイントの距離と速度の測定値を同時に生成するように構成されている、請求項1に記載のシステム。
  5. 前記レーザーシステムが、5本以上のレーザービームを出射するように構成されている、請求項1に記載のシステム。
  6. 前記分析モジュールが、該物体上の該複数のポイントの距離と速度の測定値から、前記レーザーシステムによって出射されたレーザービームに直交する軸を中心とした前記物体の回転を決定するように構成されている、請求項1に記載のシステム。
  7. 実行した場合に、1つまたは複数のプロセッサーに処理を行わせる命令を格納する非一時的なコンピューター読み取り可能な記憶媒体であって、該処理は、
    物体上の複数のポイントの距離と速度の測定値を生成すること;
    該物体上の該複数のポイントの距離と速度の測定値から、第1の時刻と第2の時刻の間の該物体の回転を決定すること;
    該第1の時刻と該第2の時刻の間に該物体が移動した距離および方向を決定すること、
    を含む、前記非一時的なコンピューター読み取り可能な記憶媒体。
  8. 前記物体が、個人の顔である、請求項7に記載の非一時的なコンピューター読み取り可能な記憶媒体。
  9. 前記生成することが、レーザーシステムから少なくとも4つのレーザービームを出射することを含む、請求項7に記載の非一時的なコンピューター読み取り可能な記憶媒体。
  10. 前記生成することが、物体上の少なくとも4個のポイントの距離と速度の測定値を生成することを含む、請求項7に記載の非一時的なコンピューター読み取り可能な記憶媒体。
  11. 前記決定することが、該物体上の該複数のポイントの距離と速度の測定値から、第1の軸を中心とした前記物体の回転と第2の軸を中心とした前記物体の回転とを決定することを含む、請求項7に記載の非一時的なコンピューター読み取り可能な記憶媒体。
  12. 前記処理が、
    前記物体上の前記複数のポイントの距離と速度の測定値および前記物体の回転から、少なくとも5本のビームを出射するように構成されているレーザーシステムを用いて、第1の時刻と第2の時刻の間に前記物体が移動した距離および方向を決定すること
    をさらに含む、請求項7に記載の非一時的なコンピューター読み取り可能な記憶媒体。
  13. 物体上の複数のポイントの距離と速度の測定値を生成すること;
    該物体上の該複数のポイントの距離と速度の測定値から、第1の時刻と第2の時刻の間の該物体の回転を決定すること;および
    該第1の時刻と該第2の時刻の間に該物体が移動した距離を決定すること
    を含む、方法。
  14. 前記生成することが、少なくとも4本のレーザービームを出射するように構成されているレーザーシステムを用いて、物体上の複数のポイントの距離と速度の測定値を生成することを含む、請求項13に記載の方法。
  15. 前記生成することが、物体上の少なくとも4個のポイントの距離と速度の測定値を生成することを含む、請求項13に記載の方法。
  16. 前記物体の少なくとも一部の形状を決定することをさらに含む、請求項13に記載の方法。
  17. 前記物体の三次元画像を取得することをさらに含む、請求項13に記載の方法。
  18. 前記物体が、個人の顔である、請求項13に記載の方法。
  19. 前記第1の時刻と前記第2の時刻の間に前記物体が移動した方向を決定することをさらに含む、請求項13に記載の方法。
JP2016568577A 2014-05-21 2015-05-20 物体をリアルタイムで追跡するためのデバイス、システム、および方法 Pending JP2017516110A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201462001544P 2014-05-21 2014-05-21
US62/001,544 2014-05-21
US201462030988P 2014-07-30 2014-07-30
US62/030,988 2014-07-30
US14/716,467 US10012734B2 (en) 2014-05-21 2015-05-19 Devices, systems, and methods for real time tracking of an object
US14/716,467 2015-05-19
PCT/US2015/031772 WO2015179515A1 (en) 2014-05-21 2015-05-20 Devices, systems, and methods for real time tracking of an object

Publications (1)

Publication Number Publication Date
JP2017516110A true JP2017516110A (ja) 2017-06-15

Family

ID=53284603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016568577A Pending JP2017516110A (ja) 2014-05-21 2015-05-20 物体をリアルタイムで追跡するためのデバイス、システム、および方法

Country Status (6)

Country Link
US (2) US10012734B2 (ja)
EP (1) EP3146361B1 (ja)
JP (1) JP2017516110A (ja)
CN (1) CN106537184B (ja)
TW (2) TWI659220B (ja)
WO (1) WO2015179515A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021521050A (ja) * 2018-04-11 2021-08-26 オーロラ イノベーション インコーポレイティッドAurora Innovation, Inc. 追加車両の決定されたヨーパラメータに基づいた自律走行車制御

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10012734B2 (en) 2014-05-21 2018-07-03 DSCG Solutions, Inc. Devices, systems, and methods for real time tracking of an object
WO2016174659A1 (en) 2015-04-27 2016-11-03 Snapaid Ltd. Estimating and using relative head pose and camera field-of-view
US10557942B2 (en) * 2016-06-07 2020-02-11 DSCG Solutions, Inc. Estimation of motion using LIDAR
US20190324144A1 (en) * 2016-10-13 2019-10-24 Troy A. Reynolds Apparatus for remote measurement of an object
US10634794B2 (en) * 2017-02-28 2020-04-28 Stmicroelectronics, Inc. Vehicle dynamic obstacle compensation system
TWI620946B (zh) * 2017-05-19 2018-04-11 Displacement record generation method and portable electronic device
US20190086544A1 (en) * 2017-09-19 2019-03-21 Honeywell International Inc. Lidar air data system with decoupled lines of sight
KR101931592B1 (ko) * 2017-12-12 2019-03-13 주식회사 골프존 운동하는 볼에 대한 센싱장치 및 이를 이용한 볼에 대한 운동 파라미터 산출방법
DE102018220088A1 (de) * 2018-11-22 2020-05-28 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zur Bestimmung von mindestens einer räumlichen Position und Orientierung mindestens eines Messobjekts
CN111587381A (zh) * 2018-12-17 2020-08-25 深圳市大疆创新科技有限公司 调整扫描元件运动速度的方法及测距装置、移动平台
CN110706258B (zh) 2019-10-10 2022-10-04 北京百度网讯科技有限公司 对象追踪方法及装置
CN111028272B (zh) * 2019-12-11 2023-06-20 北京百度网讯科技有限公司 对象追踪方法及装置
CN113924505A (zh) * 2020-05-09 2022-01-11 深圳市大疆创新科技有限公司 测距装置、测距方法及可移动平台
TWI751003B (zh) * 2021-01-22 2021-12-21 友達光電股份有限公司 光源定位方法及系統
DE102021208483A1 (de) * 2021-08-05 2023-02-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Betreiben einer Lasereinheit in Abhängigkeit von einem erkannten Zustand eines Objekts und Laservorrichtung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62280677A (ja) * 1986-05-28 1987-12-05 Nec Corp レ−ザレ−ダシステム
US20100008588A1 (en) * 2008-07-08 2010-01-14 Chiaro Technologies LLC Multiple channel locating
JP2012518793A (ja) * 2009-02-20 2012-08-16 デジタル・シグナル・コーポレーション ライダーとビデオ測定を使用する3次元画像の生成システム及び方法
US20140049769A1 (en) * 2012-08-15 2014-02-20 Digital Signal Corporation System and Method for Detecting a Face Contour Using a Three-Dimensional Measurement System
US20140064555A1 (en) * 2012-09-04 2014-03-06 Digital Singnal Corporation System and Method for Increasing Resolution of Images Obtained from a Three-Dimensional Measurement System

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19528676C2 (de) * 1995-08-04 1997-05-22 Zeiss Carl Jena Gmbh Interferometeranordnung zur absoluten Distanzmessung
US6169966B1 (en) * 1996-12-27 2001-01-02 Kabushiki Kaisha Toshiba Apparatus for detecting a moving state of an object
CN1078703C (zh) * 1999-07-02 2002-01-30 清华大学 目标空间位置及姿态激光跟踪测量系统及其测量
US6446468B1 (en) * 2000-08-01 2002-09-10 Fitel Usa Corp. Process for fabricating optical fiber involving overcladding during sintering
AU2005286872B2 (en) * 2004-09-21 2012-03-08 Digital Signal Corporation System and method for remotely monitoring physiological functions
EP1783517A1 (en) * 2005-11-04 2007-05-09 AGELLIS Group AB Multi-dimensional imaging method and apparatus
CA2634033C (en) * 2005-12-14 2015-11-17 Digital Signal Corporation System and method for tracking eyeball motion
JP4839827B2 (ja) * 2005-12-26 2011-12-21 コニカミノルタセンシング株式会社 3次元測定装置
JP5181628B2 (ja) * 2007-11-12 2013-04-10 株式会社デンソーウェーブ レーザレーダ装置
CN101533529B (zh) * 2009-01-23 2011-11-30 北京建筑工程学院 基于深度图像的三维空间数据处理方法与装置
US8524852B2 (en) * 2010-04-19 2013-09-03 Acushnet Company Thermoset polyurethanes based on moisture-resistance polyols for use in golf balls
US8537338B1 (en) * 2011-08-24 2013-09-17 Hrl Laboratories, Llc Street curb and median detection using LIDAR data
US10012734B2 (en) 2014-05-21 2018-07-03 DSCG Solutions, Inc. Devices, systems, and methods for real time tracking of an object

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62280677A (ja) * 1986-05-28 1987-12-05 Nec Corp レ−ザレ−ダシステム
US20100008588A1 (en) * 2008-07-08 2010-01-14 Chiaro Technologies LLC Multiple channel locating
JP2012518793A (ja) * 2009-02-20 2012-08-16 デジタル・シグナル・コーポレーション ライダーとビデオ測定を使用する3次元画像の生成システム及び方法
US20140049769A1 (en) * 2012-08-15 2014-02-20 Digital Signal Corporation System and Method for Detecting a Face Contour Using a Three-Dimensional Measurement System
US20140064555A1 (en) * 2012-09-04 2014-03-06 Digital Singnal Corporation System and Method for Increasing Resolution of Images Obtained from a Three-Dimensional Measurement System

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021521050A (ja) * 2018-04-11 2021-08-26 オーロラ イノベーション インコーポレイティッドAurora Innovation, Inc. 追加車両の決定されたヨーパラメータに基づいた自律走行車制御
JP7358384B2 (ja) 2018-04-11 2023-10-10 オーロラ・オペレイションズ・インコーポレイティッド 方法及び自律走行車両
US11964663B2 (en) 2018-04-11 2024-04-23 Aurora Operations, Inc. Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle

Also Published As

Publication number Publication date
US20150338518A1 (en) 2015-11-26
CN106537184B (zh) 2020-06-16
TWI659220B (zh) 2019-05-11
EP3146361B1 (en) 2024-07-10
WO2015179515A1 (en) 2015-11-26
TW201928395A (zh) 2019-07-16
TW201546475A (zh) 2015-12-16
US10571573B2 (en) 2020-02-25
CN106537184A (zh) 2017-03-22
US20180299555A1 (en) 2018-10-18
TWI707154B (zh) 2020-10-11
EP3146361A1 (en) 2017-03-29
US10012734B2 (en) 2018-07-03

Similar Documents

Publication Publication Date Title
US10571573B2 (en) Devices, systems, and methods for real time tracking of an object
US20200150274A1 (en) Estimation of motion in six degrees of freedom (6dof) using lidar
JP2010519552A (ja) 単一のセンサによって位置検出するシステム及び方法
US20200150273A1 (en) Estimation of motion using lidar
TW201838408A (zh) 使用光偵測及測距之獨立於駐留角度而追蹤及監測物件
TW202104852A (zh) 激光振動信號的多光束處理
US20190377066A1 (en) Tracking objects using video images and lidar

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191210

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200305

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200811