JP2011253521A - ３次元場面の分析 - Google Patents

３次元場面の分析 Download PDF

Info

Publication number
JP2011253521A
JP2011253521A JP2011076786A JP2011076786A JP2011253521A JP 2011253521 A JP2011253521 A JP 2011253521A JP 2011076786 A JP2011076786 A JP 2011076786A JP 2011076786 A JP2011076786 A JP 2011076786A JP 2011253521 A JP2011253521 A JP 2011253521A
Authority
JP
Japan
Prior art keywords
depth map
human
shape
pixels
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011076786A
Other languages
English (en)
Other versions
JP2011253521A5 (ja
JP5832116B2 (ja
Inventor
Gourmand Amiad
アミアッド、グルマン
Janiel Tomar
トマー、ヤニール
Brandt Mitchell
ミッシェル、ブランド
Gendelman Ilan
イラン、ゲンデルマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PrimeSense Ltd
Original Assignee
PrimeSense Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PrimeSense Ltd filed Critical PrimeSense Ltd
Publication of JP2011253521A publication Critical patent/JP2011253521A/ja
Publication of JP2011253521A5 publication Critical patent/JP2011253521A5/ja
Application granted granted Critical
Publication of JP5832116B2 publication Critical patent/JP5832116B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Abstract

【課題】深さマップを処理する頑丈で効率的な方法を提供する。
【解決手段】データを処理する方法であって、ヒト類似形状を含むある場面の深さマップを受信するステップを有する。深さマップはその場面内の３次元（３Ｄ）結合構成要素を識別するために処理される。それぞれの結合構成要素は、相互に隣接し、かつ相互に次の深さ値を有する１組のピクセルからなる。別個の分離した第１と第２の結合構成要素は両方とも、ヒト類似形状に属すると識別される。そしてヒト類似形状の画像が第１と第２の結合構成要素を含んで生成される。
【選択図】図１

Description

本発明は、３次元マッピング、特に３次元マップデータの処理に対する方法及びシステムに関するものである。
深さマップを生成する多くの方法及びシステムが従来技術で周知である。本願発明の特許申請及び請求項では、「深さマップ」とはピクセルの２次元行列としての場面の表現を意味し、各ピクセルはその場面におけるそれぞれの位置に対応し、それぞれある参照位置からの距離を示すピクセル値を有する。（言い換えれば、深さマップは、ピクセル値が場面内の物体の明るさ及び／又は色よりはむしろ地形情報を示す、画像の形式を有する。）深さマップは、例えば、レーザスペックルのパターンがその上に投影される物体の画像の検知と処理により生成される。これは特許文献１に記載され、この開示内容はここに参照され採り入れられる。
深さマップはその場面の物体を区分し識別するために処理可能である。深さマップのヒト類似形状（ヒトの形状に似た３次元形状を意味する）の識別、及びこれら形状の場面から場面への変化は、コンピュータアプリケーションの制御手段として使用可能である。例えば特許文献２では、ヒト類似体の輪郭を発見するため深さマップが区分される、コンピュータにより実行される方法が記載されている。この開示内容はここに参照され採り入れられる。輪郭は体の胴と１つ以上の肢を識別するために処理される。深さマップにおける少なくとも１つの識別された肢の変位を分析することにより、コンピュータ上で走るアプリケーションプログラムを制御するための入力が生成される。
ＷＯ２００７／０４３０３６ ＷＯ２００７／１３２４５１ ＷＯ２００７／１０５２０５ ＷＯ２００８／１２０２１７ ＷＯ２０１０／００４５４２
本発明の実施形態は、深さマップから情報を抽出する方法、装置及びソフトウェアを提供する。
従って本発明の実施形態によれば、１つの場面の深さマップの一時的順列を受け取るステップと、
場面は、１つの静止した背景と背景の一部を覆い隠す１つ以上の動く近景物体を有し、
深さマップは、ピクセルの１つの行列からなり、ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、場面内のそれぞれの位置に対応し、
動く近景物体により覆い隠されていない、静止した背景の第１の部分を第１の深さマップ内で識別するため、デジタルプロセッサを使用して、順列の中の第１の深さマップを処理するステップと、
静止した背景の少なくとも第２の部分を識別するため、順列の中の少なくとも第２の深さマップを処理するステップと、
第２の部分は、少なくとも１つの近景物体の順列に亘る動きに起因して第１の部分とは異なり、
少なくとも静止した背景の第１の部分と第２の部分を組合せることにより、場面の１つの背景モデルを構築するステップと、
を有することを特徴とする、データを処理する方法、が提供される。
ある実施形態では、方法は、背景モデルに基づき、１つ以上の背景物体を深さマップから取り除くことにより、１つ以上の近景マップを生成するステップを有する。少なくとも１つの動く近景物体がヒト類似形状であり、方法は、ヒト類似形状を、第１の深さマップ内のヒト類似形状に関する情報と共に第２の深さマップに由来する１つの近景マップから抽出するステップを有する。
開示された実施形態では、方法は深さマップ内で平滑な表面を識別するステップを有する。方法は深さマップ内で１つの物体の影を識別するステップを有する。
典型的に、方法は、背景モデルを構築するステップは、深さマップの順列に亘って背景に現れる変化に対応して、背景モデルを更新するステップを有する。開示された実施形態では、深さマップは１つの画像化組立体により獲得され、方法は、順列内の深さマップの間における背景モデル内の変化の程度を評価するステップと、変化の程度が事前に設定された閾値を超えた場合に、画像化組立体が移動したことを検知するステップと、を有する。
本発明によればさらに、表面に対して位置決めされた１つ以上の物体を有する１つの場面の１つの深さマップを受け取るステップと、
深さマップは、ピクセルの１つの行列からなり、ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、場面内のそれぞれの位置に対応し、
表面のパラメトリックなモデルを識別し生成するため、デジタルプロセッサを使用して深さマップを処理するステップと、
パラメトリックなモデルにより示される表面を、深さマップから取り除くことにより、場面内の１つ以上の物体を区分するステップと、
を有することを特徴とする、データを処理する方法が提供される。
開示された実施形態では、表面が、その上に少なくとも１つの物体が位置する、床に対応する平滑な表面である。深さマップを処理するステップは、深さマップ内のピクセルにおける局地的な法線を計算するステップと、平滑な表面を識別するため、局地的な法線に従ってピクセルをクラスタに纏めるステップと、を有する。典型的に深さマップは画像化組立体により獲得され、局地的な法線に従ってピクセルをクラスタに纏めるステップは、それぞれのピクセルに対する画像化組立体の高さを推定するため、少なくとも幾つかのピクセルのそれぞれの深さ値を処理するステップと、画像化組立体の同一の高さを有するピクセルをクラスタに纏めるステップと、を有する。
本発明の実施形態によれば、さらに、１つのヒト類似形状を含む１つの場面の深さマップを受け取るステップと、
深さマップは、ピクセルの１つの行列からなり、ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、場面内のそれぞれの位置に対応し、
場面内の３次元（３Ｄ）結合構成要素を識別するため、デジタルプロセッサを使用して深さマップを処理するステップと、
それぞれの結合構成要素は、相互に隣接し、かつ隣接する深さ値を有する１組のピクセルからなり、
別々の第１と第２の結合構成要素を共にヒト類似形状に属すると識別するステップと、
第１と第２の結合構成要素を共に有するヒト類似形状の１つの画像を生成するステップと、
を有することを特徴とする、データを処理する方法が提供される。
開示された実施形態では、深さマップを処理するステップは、深さマップに縁辺を配置し、ピクセルのブロックを縁辺の間に配置するステップと、３次元（３Ｄ）結合構成要素を識別するため、３次元で隣接するピクセルのブロックをクラスタに纏めるステップと、を有する。
ある実施形態では、深さマップを受け取るステップは、深さマップの一時的な順列を受け取るステップを有し、第１と第２の結合構成要素を識別するステップは、結合構成要素を順列内の多重の連続する深さマップに亘って追跡するステップを有する。結合構成要素を追跡するステップは、共通の識別子を順列内の第１の深さマップ内の第１と第２の結合構成要素に付与するステップと、共通の識別子を使用して、第１と第２の結合構成要素が第２の後続の深さマップ内のヒト類似形状に属することを判定するステップと、を有し、ここにおいて第２の深さマップ内では、第１と第２の結合構成要素が分離されている。典型的に共通の識別子を付与するステップは、深さマップ内の第１と第２の結合構成要素のピクセルを、共通の識別子で標識付けするステップを有する。
第２の深さマップ内のヒト類似形状が他の１つの物体と接触し、それにより、第２の結合構成要素を他の１つの物体と合体するようにさせ、共通の識別子を使用するステップは、第２の深さマップに現れるヒト類似形状の画像を生成するため、ヒト類似形状に属する第２の結合構成要素の標識付けされたピクセルを、他の物体に属するピクセルから分離するステップを有する。
さらにあるいは、結合構成要素を追跡するステップは、結合構成要素の動きの速度を推計するステップを有し、
画像を生成するステップは、推計された速度を使用して、ヒト類似形状に覆い隠された部分の識別を維持するステップを有する。
ある実施形態では、深さマップ内のヒト類似形状は、部分的に他の１つの物体により妨害されており、
第１と第２の結合構成要素は妨害する物体によって分離されるヒト類似形状の部分に対応し、
画像を生成するステップは、第１と第２の結合構成要素の両方をヒト類似形状の画像内に組み入れるステップを有する。
本発明の実施形態によれば、さらにまた、画像化組立体と、
画像化組立体は、静止した背景と背景の一部を覆い隠す１つ以上の動く近景物体とを含む、１つの場面の深さマップの一時的な順列を生成するように構成され、
深さマップは、ピクセルの１つの行列からなり、ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、場面内のそれぞれの位置に対応し、
プロセッサと、
を有し、
プロセッサは、
動く近景物体により覆い隠されていない、静止した背景の第１の部分を第１の深さマップ内で識別するため、順列の中の第１の深さマップを処理し、
静止した背景の少なくとも第２の部分を識別するため、順列の中の少なくとも第２の深さマップを処理し、
ここにおいて第２の部分は、少なくとも１つの近景物体の順列に亘る動きに起因して第１の部分とは異なり、
少なくとも静止した背景の第１の部分と第２の部分を組合せることにより、場面の１つの背景モデルを構築する、
ように構成される、
ことを特徴とするデータ処理装置が提供される。
本発明の実施形態によれば、またさらに、画像化組立体と、
画像化組立体は、１つのヒト類似形状を含む１つの場面の深さマップを受け取るように構成され、
深さマップは、ピクセルの１つの行列からなり、ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、場面内のそれぞれの位置に対応し、
プロセッサと、
を有し、
プロセッサは、
場面内の３次元（３Ｄ）結合構成要素を識別するため、デジタルプロセッサを使用して深さマップを処理し、
ここにそれぞれの結合構成要素は、相互に隣接し、かつ隣接する深さ値を有する１組のピクセルからなり、
別々の結合構成要素をヒト類似形状に属すると識別し、
幾つかの結合構成要素を有するヒト類似形状の１つの画像を生成する、
ように構成される、
ことを特徴とするデータ処理装置が提供される。
本発明の実施形態によれば、さらにまた、プログラム命令が保管される接触可能なコンピュータ読み取り可能媒体を有し、
命令はコンピュータにより読み込まれた時コンピュータに対し、
１つの場面の深さマップの一時的順列を受け取るステップと、
場面は、１つの静止した背景と背景の一部を覆い隠す１つ以上の動く近景物体を有し、
深さマップは、ピクセルの１つの行列からなり、ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、場面内のそれぞれの位置に対応し、
動く近景物体により覆い隠されていない、静止した背景の第１の部分を第１の深さマップ内で識別するため、デジタルプロセッサを使用して、順列の中の第１の深さマップを処理するステップと、
静止した背景の少なくとも第２の部分を識別するため、順列の中の少なくとも第２の深さマップを処理するステップと、
第２の部分は、少なくとも１つの近景物体の順列に亘る動きに起因して第１の部分とは異なり、
少なくとも静止した背景の第１の部分と第２の部分を組合せることにより、場面の１つの背景モデルを構築するステップと、
を実行させる、ことを特徴とするコンピュータソフトウェア製品、が提供される。
本発明の実施形態による、３Ｄマッピング及び場面分析用システムの概略図である。 本発明の実施形態による、３Ｄマッピングの構成要素と随伴するコンピュータのブロック図である。 本発明の実施形態による、３Ｄ場面分析の方法を示す流れ図である。 本発明の実施形態による、３Ｄ場面の床を識別する方法を示す流れ図である。 本発明の実施形態による、深さマップで識別された物体に対応するブロックを示す深さマップの正面図である。 本発明の実施形態による、深さマップで識別されたブロックのクラスタを示す深さマップの平面図である。 本発明の実施形態による、深さマップ内の物体の区分を示す深さマップの正面図である。
深さマップは、特に連続した時間の流れで表示された場合、豊かな情報を提供する。しかし、深さマップに基づくゲームや他のアプリケーションは、このマップから高水準の情報を取り込み、処理し、そして抽出することの難しさから、開発の速度が遅かった。
以下に記述する本発明の実施形態では、この困難さを、深さマップを処理する頑丈で、効率的な方法、詳細には、連続する深さマップの中でヒト類似形状を位置決めし、追跡する方法により取り扱う。このようなマップは典型的には、静止した背景と１つ以上の動く近景の物体（それは背景の一部を隠す）からなる１つの場面を表わす。
開示された実施形態においては、デジタルプロセッサが、室内の背景で典型的に表れる床や壁を含む背景を識別しモデル化する。プロセッサはこのモデルを、背景モデルを妨げている近景内のヒト類似形状の部分（従ってこれ以降近景に属すると考えられる）を検出するために使用し、そしてヒト類似形状の部分を近景に存在しない他の形状部分と関連付ける。プロセッサは対象形状、特にヒト類似形状を識別し追跡するため、動く近景物体を分析する。
ある実施形態では、プロセッサは、それぞれの深さマップにおいて近景物体によって隠されていない静止した背景部分を識別することにより、背景モデルを構築する。近景物体はマップからマップへ動くため、背景の異なる部分が典型的に、異なるマップにおいて明示される。プロセッサは連続する異なるマップからの異なる静止した背景部分を組み合わせて背景モデルを生成する。
さらに、プロセッサは、特別にパラメトリックにモデル化可能なある幾何学的形状の表面、特に背景の一部をなす床や壁のような平坦な表面を識別可能である。この目的のため、ある実施形態では、プロセッサは、隣接するピクセルの深さ値を考慮することにより、深さマップ内のピクセルの局地的な法線を計算する。プロセッサは、床及び場合により他の平坦な表面を識別するため、法線がほぼ同じ方向を向くピクセルをクラスタに集団化する。
プロセッサは、３次元に結合した深さマップ内の構成要素を識別することにより、ヒト類似形状を（場合により他の対象物体も）その場面から抽出する。それぞれの結合した構成要素は、互いに隣接しかつ互いに隣接する深さ値を有する１組のピクセルからなる。このことは隣接するピクセルの深さ値は小さな事前に設定された閾値以上に乖離しないことを意味する。プロセッサは、これら結合構成要素を識別し、追跡してヒト類似形状の幾何学的モデルを計算し、そのモデルは更に処理されて姿勢、動き、しぐさ等の高水準な特徴を識別する。
理想的には、それぞれのヒト類似形状は単一の繋がった構成要素として表示されるのが好ましいが、場面そのものの様相に起因して、ヒト類似形状が２つ以上の繋がった構成要素として表示されることがしばしばある。この分離により、高水準な特徴のモデル化を別としても、ヒト類似形状を全体として識別するのが難しくなる。例えばある深さマップでは、ヒト類似形状は部分的に他の物体により部分的に妨害され、その形状が２つ以上の結合構成要素に分離される。他の場合には、ヒト類似形状の１部分が深さマップ内の他の部分を妨害することがある。
以下に記述する実施形態では、プロセッサは、共通の識別子をヒト類似形状を構成する全ての結合構成要素に割り当て、そして、結合構成要素が分離され又は互いに妨害しても、この識別子を結合構成要素の追跡に使用する。これら実施形態の方法は、プロセッサが変則的状況を解決し、そして妨害があっても、ヒト類似形状の一貫した表示を生成することを可能にする。
（システムの記述）
図１は本発明の実施形態による、３Ｄユーザインタフェースシステムの概略図である。ユーザインタフェースは、使用者２８，３０の体の少なくとも一部を含む３Ｄ場面情報を獲得する３次元画像化組立体２２に基づく。組立体２２は場面のカラービデオ画像をも獲得する。組立体２２は３Ｄマップデータ（場合によりカラー画像データも）を含むフレームの連続をコンピュータ２４に出力し、コンピュータは高水準情報をそのマップデータから抽出する。この高水準情報はＡＰＩ経由でコンピュータ２４上で走るアプリケーションに提供され、アプリケーションはそれに従って表示スクリーン２６を駆動させる。例えば図示の例では、使用者２８，３０は、彼らの肢を動かし、そして姿勢を変えることによりコンピュータ２４上で走るゲームソフトと相互作用する。
コンピュータ２４は組立体２２に生成されたデータを処理し、使用者２８，３０を含む、場面の深さマップ（「３Ｄマップ」とも呼ばれる）を再構築する。ある実施形態では、組立体２２は点のパターンを場面に投影し、投影されたパターンの画像を獲得する。組立体２２またはコンピュータ２４はその後、場面内の点（使用者の体の表面の点を含む）の３次元座標を、パターン内の点の水平方向偏移に基づいて三角法により計算する。
この手法は使用者がどんな種類のビーコン、センサ、又は他のマーカーを持つ又は着る必要が無い、という点で有利である。それは場面内の点の、組立体２２からある距離離れた場所における、既定の標準面に対する深さ座標を提供する。投影パターンを使用する、この種の三角法に基づく３次元マッピングの方法と装置は、例えば特許文献１、特許文献３、特許文献４、に記載されており、それらの開示はここに参照され採り入れられる。あるいはシステム２０は、既知の他の３次元マッピング法を使用してもよい。
この実施形態では、システム２０が使用者２８，３０を含む３次元マップの連続を獲得し処理し、一方使用者はその体を動かす。組立体２２上で走るソフトウェア及び／又はコンピュータは、３Ｄマップデータを処理し、その場面内の使用者に対応するヒト類似形状を抽出する。この目的のため、（以下に詳述する通り）ソフトウェアは、床３２や壁３４のような平坦な表面を含む静止した背景、及びこの例では窓３６のような、他の背景物体を識別しモデル化する。ソフトウェアは、使用者２８，３０のヒト類似形状を識別し追跡するため、画像の近景部分をヒト類似形状の検知された部分及び他の近景物体（椅子３８のような）と組合せる。
組立体２２又はコンピュータ２４は典型的に、それぞれの体の骨格を抽出するため、使用者の手と関節の３Ｄ位置及び向きを含むヒト類似形状の幾何学的特徴を分析する。それらは又、手で描写された仕草を識別するため、手の軌跡を多重のフレームに亘って分析する。しかし、システム２０の動作のこのような側面は本願の特許請求の範囲外である。骨格及び仕草情報はＡＰＩ経由でコンピュータ２４上で走るアプリケーションプログラムに提供される。このプログラムは、例えば、ディスプレイ２６に表示された画像を、骨格及び仕草情報に反応して移動させまた変化させる。
コンピュータ２４は典型的に、以下に記載する機能を遂行するため、ソフトウェアでプログラムされた汎用コンピュータプロセッサからなる。ソフトウェアはプロセッサに電子形態で、例えばネットワーク経由でダウンロードされ、或いは光学、磁気、電子媒体のような接触可能な非一過性媒体で提供される。或いはさらに、コンピュータの幾つか又は全ての機能は、専用又は準専用ＩＣ又はプログラム可能ＤＳＰなどの専用のハードウェア内で実行される。図１に例示されるコンピュータ２４は画像化組立体２２とは別個のユニットとして示されるが、幾つか又は全てのコンピュータの機能は画像化組立体の装置内の又はそれに付随した適切なマイクロプロセッサとソフトウェア、或いは専用の回路によって実行可能である。
あるいは、これら処理機能の少なくとも幾つかは、表示スクリーン２６（例えばテレビ内の）又は、ゲームコンソール、メディアプレーヤなどの他の適切なコンピュータ装置と統合された適切な１つのプロセッサにより実行されてもよい。組立体２２の検知機能は同様に、コンピュータ又はセンサ出力により制御される他のコンピュータ装置と統合されてもよい。
図２は本発明の実施形態による、画像化組立体２２の構成要素とシステム２０内のコンピュータ２４のブロック図である。画像化組立体２２は対象場面上にパターンを投影する照明組立体４２を有する。適合するように構成されたビデオカメラのような深さ画像サブ組立体４４は、場面上のパターンの画像を獲得する。典型的に、照明組立体４２と画像サブ組立体４４は赤外領域で動作するが、他の領域も使用可能である。或いは、カラービデオカメラ４６が場面の２次元カラー画像を獲得し、マイクロフォン４８が音声を獲得してもよい。
プロセッサ５０はその画像を画像サブ組立体４４より受け取り、それぞれの画像内のパターンをメモリ５２に記憶された参照パターンと比較する。参照パターンは典型的に、事前にそのパターンを、画像化組立体２２からある既知の距離にある参照平面上に投影することにより獲得される。通常はこの平面は画像サブ組立体４４の光軸に対して垂直である。プロセッサ５０は画像サブ組立体４４により獲得された画像内のパターンの部分の、参照パターンに対する位置的偏移を計算し、これら偏移を深さ座標に変換する。これらの処理の詳細は、例えば、特許文献５に記載されており、その開示はここに参照され、採り入れられる。
あるいは、前述のように画像化組立体２２は、ステレオ画像化又は飛行時間測定法のような他の公知の方法で深さマップを生成するように構成されてもよい。
プロセッサ５０は、深さマップをＵＳＢ接続のような通信リンク５４経由で、コンピュータ２４の適合するインタフェース５６に出力する。コンピュータはメモリ６０とユーザインタフェース６２を有するＣＰＵ５８を含み、ＣＰＵは表示スクリーン２６を駆動し、また他の構成要素を有してもよい。
上記のように画像化組立体２２は、或いは画像サブ組立体４４からの生の画像のみを出力してもよく、上記の深さマップ計算はＣＰＵ５８によりソフトウェアで実行されるか、或いはＣＰＵ５８に帰属する機能の少なくとも幾つかはプロセッサ５０により実行されてもよい。
深さマップから高水準情報を抽出するソフトウェアは、プロセッサ５０、ＣＰＵ５８又はその両方の上で走ってもよい。本明細書及び請求項におけるＣＰＵ又はプロセッサの表記はこれらの内の１つ又は両方を示すものと理解される。
ＣＰＵ５８は、以下に記載するように、典型的に１つ以上のアプリケーションプログラムを走らせ、ミドルウェアによりＡＰＩ経由で提供された情報に基づき、ユーザインタフェース６２を駆動する。
（場面分析の方法）
図３は本発明の実施形態による、３Ｄ場面分析の方法を示す流れ図である。方法は明確化のため、上記のシステム２０の構成要素と図１と２で示された構成要素に関して記載されている。
しかしこの方法の原理は、他のいかなる深さマッピングと分析の適合するシステムによっても実現可能である。
また利便性と記述の明確化のため、方法の各ステップはＣＰＵ５８によりソフトウェアで実行されると仮定しているが、これらステップの幾つか又は全ては、プロセッサ５０又は他の適合するデジタルプロセッサにより実行可能である。
深さマップ入力ステップ７０において、コンピュータ２４は深さマップの一時的順列を画像化組立体２２より受け取る。深さマップは典型的に、固定フレーム率でピクセル値を有するビデオ画像の汎用フォーマットで、画像化組立体からラスター順に出力される。（従って上記順列内のマップは「マップフレーム」又は単に「フレーム」と呼ばれる。）
深さマップのピクセル値は、実際の深さ座標値又は、実際の深さ値に既知の一定な関係を有する、ピクセル内のパターン差異値でありうる。方法は順列内の各マップフレームについて繰り返し実行される。
床モデル化ステップ７２において、ＣＰＵ５８は各深さマップを分析し床３２を位置決めし、モデル化する。このステップは以下で図４を参照して詳述される。床位置（又は他の静止した背景部分）内の明白な変更は、例えば使用者の１人の偶発的又は意図的な接触によりカメラが移動したことをＣＰＵに示唆する。ＣＰＵは、床平面に属すると識別されたピクセルを、それらに深さ値ゼロを割り当てることにより、深さマップから除外する。
背景構築ステップ７４において、ＣＰＵ５８はマップフレームの順列に亘って、場面背景のモデルを徐々に構築する。それぞれのピクセルに対しＣＰＵは、順列に亘ってその最大深さ値（又は等価であるが、参照画像に対する最大差異）を記憶する。背景内のピクセルの深さ値は、このピクセルの時間に亘る最大差異値である。ピクセルがある一定の連続するフレームにおいて深さ値を有しない場合（影によらずに）、背景モデルはこのピクセルでの値を失う。ピクセルが影により深さ値を有しない場合、そして影を投影する物体が現存する背景深さ値より離れている場合、ピクセルは現存する背景深さ値を失う。ピクセルが深さ値を有せず、かつ現存するフレーム内に値を有し、かつこのピクセルを含む近景に接続した構成要素が背景に隣接している場合、このピクセル内の背景値が現存する値になる。
ある所与のマップ内の動く物体に属するピクセルに関しては、ＣＰＵ５８は、これらのピクセルが近景の物体により妨害される前に、又は近景の物体が去った後に、これらのピクセルの背景値を既に記憶していてもよい。
例えば、図１で示される場面において、窓３６の１つの領域は使用者３０の頭により覆い隠されるが、しかしその同じ領域は後続のマップフレームにおいて使用者が姿勢を変えることにより画像化組立体２２に見せられる。従ってＣＰＵ５８は、背景モデルを、各フレームで暴露された背景の異なる部分の合体として、多重のフレームに亘って累積的に構築する。
上述のように使用者２８，３０のような近景物体は、その後ろにある物体に影を投影する可能性があり、その結果、画像化組立体２２が影の部分の深さ値を抽出できなくなる。影による深さマップの乱れを防止するため、ＣＰＵ５８はある物体に隣接する、深さ値を有しない領域を、その物体に属する領域として識別する。影は、深さマップの近景部分と背景部分との間のパターン偏移の差異により決定される、ある一定の最大影幅までピクセルを含むことを許容される。
（ピクセル内の）最大影幅は、近景物体と背景物体との間のパターン偏移の最大差異の１／８であることが、幾何学的に証明できる。
ＣＰＵ５８は、背景モデルの更新の制御においてマスクとして使用するため、マップの影の部分を示す影画像を計算してもよい。
ＣＰＵ５８は後続の処理において雑音を追加しかねない乱れを根絶するため、背景モデルを破棄してもよい。例えば、ＣＰＵがある所与の領域において、その領域の背景モデルの深さに近い深さで、結合した構成要素を検知した場合、ＣＰＵはその背景モデルの深さをこの構成要素の深さに従って較正してもよい。
逆に、ＣＰＵが結合した構成要素を従前のフレームで追跡していて、かつそれがヒト類似形状の一部（又は少なくともヒト類似形状の一部の可能性がある）であると識別された場合、たとえ結合した構成要素が背景に接触しても、ＣＰＵはそれらの分離を維持する。ある一定の数のフレームの間、移動物体として識別されない近景深さ値を持つピクセルは、同様に背景に所属させられる。
ＣＰＵ５８は床を除去し、そしてその後、構成要素検知ステップ７６において、近景ピクセルとマップに残存する事前に検知されたピクセルの中から、ヒト類似形状の一部と一致する可能性のある３Ｄ結合構成要素を検知する。
ＣＰＵは、従前にヒト類似形状の一部と識別されず、かつ近景でないピクセルを、近景深さ値領域外の人工的深さ値を割り当てることにより「除去」してもよい。それにより、それらは近景ピクセルの一部としては考えられず、下記の他の用途の場面構成要素として考えられる。
ＣＰＵは発見した３Ｄ結合構成要素のそれぞれに１つの識別子を割り当て、そしてその要素の下記の特性値を計算する：
１．ピクセル数
２．構成要素を有する境界ボックス
３．重心
４．面積
５．近景ピクセル数（構成要素の一部が背景深さ値を持つ場合）
６．近隣の構成要素の識別子
あるいはさらに、他の特性値が計算され記憶されてもよい。
ＣＰＵは、この識別子と構成要素の特性値を、ヒト類似形状のフレームからフレームへの移動の追跡に使用する。このように、ある所与のフレームにおける結合構成要素は典型的に、近景ピクセルと従前のフレームでヒト類似形状に属することが発見されたピクセルとから構成される。
クラスタ検知ステップ７８において、ＣＰＵ５８は深さマップを処理し、新しい３Ｄクラスタを識別する。これらのクラスタは、従前のフレームで識別されなかったヒト類似体に一致する可能性があり、とりわけ、システムが開始された時の最初のヒト類似形状の識別において使用される。ステップ７８は図５，６を参照して以下で詳述される。
ステップ７８で識別されたクラスタは、ほぼ同じ深さ値を持つ隣接するピクセルのブロックから構成され、それらは、互いに深さ値が隣接する３Ｄクラスタのグループに分けられる。連続するフレームに現れる、既定の閾値（例えば１０ｃｍ）以下の相対的動きを有するクラスタは追跡される。ＣＰＵはそれぞれのクラスタ候補の周りに境界ボックスを構築し、その動きを連続する多重のマップフレームに亘って追跡する。ＣＰＵは累積として最小閾値（２０ｃｍのような）より多く動く候補を移動物体として識別する。この目的のため、動きはクラスタの両端の動きとして定義される。即ち、右側と左側の両方は、通常は同じ方向に偏移するはずである。
ＣＰＵ５８は、区分ステップ８０において、ヒト類似体部分と一致する可能性のある構成要素を区分し識別するため、ステップ７６と７８で発見された結合構成要素およびクラスタを処理する。ＣＰＵはその後、構成要素グループ化ステップ８２において、近隣の構成要素を同じグループにまとめ、ヒト類似体形状を再構築する。このステップは幾つかのサブ操作を含む。
単純な場合は、ヒト類似体形状は１つの３Ｄ結合構成要素として表示され、そのように標識付けされる。このような形状は、例えば、使用者が画像化組立体２２に面して定められた姿勢で立つ、較正手続の実行によって、すぐに識別可能である。この手続きは、コンピュータ２４上でゲーム又は他のアプリケーションを走らせる場合、その後使用者が動く時にＣＰＵが使用者の体の部分を追跡する手助けとなる。
他の場合には、接着サブステップ８４において、ＣＰＵは１つのヒト類似体形状を構築するため２つ以上の結合構成要素をグループ化する必要があるかもしれない。前述のように形状全体が従前のマップフレームで識別された場合、共通の識別子とメタデータが構成要素間の関係性を維持するのに使用可能である。
さらにあるいは、互いに近接した標識付けされない、動く結合構成要素は、従前にラベルを付与されなかったとしても、一緒にグループ化され共通の識別子を付与される。
逆に、使用者が近景の物体（他の使用者を含む）に接触した場合、その使用者と物体は、１つ以上のマップフレームにおいて、一時的に単一の３Ｄ結合構成要素として表示される。この場合、ＣＰＵ５８は誤ってそれらに共通の識別子を付与する。その後使用者がその物体から離れると、深さマップにおいて同じ識別子を持つ２つの別個の結合構成要素が存在する。この場合ＣＰＵは識別子をリセットし、そして実際に使用者の体と一致する３Ｄ結合構成要素を再構築する。
あるいは、この種の状況では、ＣＰＵ５８は、使用者の体に属する合体結合構成要素の標識付けされたピクセルを、その使用者の体と接触している他の物体に属するピクセルから分離させるために、従前のフレームにおいて付与された識別子を使用してもよい。
ＣＰＵはこのように、接触に関係なく体に対して正しく区分することができる。特に、他の物体が他の使用者である場合は、ＣＰＵは、場面内の２つの（或いはそれ以上の）ヒト類似形状のそれぞれに属するピクセルに対し、異なる特定の識別子を付与する。１つのフレームにおいて付与された異なる識別子は、後続のフレームにおいて、合体結合構成要素のそれぞれのピクセルを、適切な体に割り当てるのに使用可能である。
１つ以上の深さマップにおいてヒト類似形状の部分が他の物体によって妨害された場合、特定の困難さが起こる可能性がある。
妨害検知ステップ８６において、ＣＰＵ５８はこのような異常を検知し解決する。このステップは図７を参照して以下に詳述される。
ステップ８２の最後において、殆どの場合、全てのヒト類似形状は識別されている。このようなヒト類似形状のそれぞれに対し、形状を構築する全ての３Ｄ結合構成要素を標識付けするため、ＣＰＵ５８は１つの共通識別子を付与する。ＣＰＵは全てのこれらの結合構成要素に属するピクセルを適切な識別子で標識付けする。（どのヒト類似形状にも属さないピクセルにはゼロの識別子が付与される。）
結果として得られるのは、１つの区分された深さマップであり、それは、さらにヒト類似形状の骨格を抽出するため処理される。
同時に、標識付けされたピクセルの行列が、図３の方法の次の繰り返しのステップ７０においてＣＰＵが受け取る、次の深さマップを処理する出発点として使用される。
（床の検知）
図４は本発明の実施形態による、ステップ７２で使用される、３Ｄ場面の床を識別する方法の詳細を示す流れ図である。床は場面内で平坦な表面として定義され、深さマップの下方部分に位置するものと想定されている。場面内の全ての平面は、等式ＡＸ＋ＢＹ＋ＣＺ＋Ｄ＝０を満足し、ここに（Ｘ，Ｙ，Ｚ）は空間座標であり、Ａ，Ｂ，Ｃ，Ｄは定数である。各ピクセル（ｘ，ｙ）において計算された、投影パターンの差異値ｓに基づく深さマップに対しては、平面等式は、ピクセル座標と偏移値（ｘ，ｙ，ｓ）について、調整された定数で再構成可能である。
このように図４の方法は、図２に示された方法の構成要素と共に、実際の深さ値を計算する前の段階でも、生のマップデータ上で実行可能である。
（ｘ，ｙ，ｓ）ドメインにおける計算の詳細は前述の暫定特許出願に記載されている。
床発見ステップ９０においてＣＰＵ５８は、それぞれの連続する深さマップに対して、ある１つの床モデルが従前のマップフレームで既に発見されたかをチェックすることにより、床の発見工程を始める。発見されていれば、新モデル計算ステップ９２において、ＣＰＵは現存する床に対して１つの新しいモデルを計算する。この目的のためＣＰＵは、既定の公差の範囲内で現存する床の平面内にある、或いは平面の下にある、深さマップ内の全てのピクセルを含む１つの床画像を形成する。（この床画像はその後ステップ７４で深さマップから除去される。）
ＣＰＵはモデル標識化ステップ９４において、その新モデルに対し信頼度スコアを計算し、モデル評価ステップ９６において、そのスコアを現在のマップフレームに対する床平面として容認するか拒否するかの決定に使用する。信頼度スコアは例えば、この床平面より下の（従って誤った）ピクセル数に対する床平面内のピクセル数に基づいてもよい。もし現存する床平面が容認できるならば、ＣＰＵは床取り換えステップ９８において、平面パラメータを床画像に基づいて調整する。例えばＣＰＵは、平面パラメータを調整するため床画像内のピクセルに対し平面の最小２乗適合を実施してもよい。
床画像内のピクセルが現存する床平面より下にあまりにも多く存する（例えば、ピクセルの１／６）場合は、ＣＰＵは新床モデルをステップ９６において拒否する。床モデルの失敗の原因は、例えば、使用者２８と３０の内の１人との意図的または偶然の接触により画像化組立体２２が移動したことによる。ＣＰＵはこの可能性を、カメラ移動チェックステップ１００において評価する。ＣＰＵは例えば、背景モデルにおいて深さ値の変化率を計算する。大きな突然の変化率増加が発見されると、ＣＰＵはカメラが移動したと結論付ける。そうでない場合は、床モデルは次のフレームまで維持される。
ＣＰＵがステップ１００においてカメラが移動したと発見し、かつ新床モデルが無効な場合、床無効ステップ１０２において、ＣＰＵは現在の床モデルが誤りと設定し、そして新しい床を探し始める。ＣＰＵは同様に、マップフレームの順列の初めにおいて、新しい床探しを開始する。
ステップ１０２に続いてＣＰＵは、手間のかかる床探索ステップ１０４において、最初は手間のかかる床探索を試みる。このステップに置いて、ＣＰＵは深さマップ（又は場合によって、計算の効率化のため、深さマップの１０進法バージョン）内の全ての水平ピクセル、即ちその局地的法線が上を向いたピクセルを識別する。局地的法線は、近隣のピクセルの深さ値を比較することにより計算される。ポイントが床にあると仮定して、遠近法により、それぞれの水平ピクセルの空間座標は、ある１つの床からのカメラ高さを推定する。ＣＰＵは、その水平ピクセルをそれぞれのカメラ高さ推定値に従ってグループ分けする。その後ＣＰＵは、既定の最低面積以上を有するクラスタの中で、空間内で最も低い平面に位置するクラスタを床の基準として選択する。
ＣＰＵは探索チェックステップ１０６において、適合するクラスタが発見されたかをチェックする。見つけられた場合、ＣＰＵは床平面をクラスタ内のピクセルの線形回帰により計算し、以下の標識付けステップ１１２に進む。
適合するクラスタが発見されない場合、ＣＰＵは、モデル推定ステップ１０８において、他の概略推定法を選択する。このステップでは、ＣＰＵはランダムに３つのピクセルを深さマップの下方部分１／３から選択し、空間内３つの点を含む平面を計算する。ＣＰＵはモデルチェックステップ１１０において、この平面が水平（法線が上を指す）か否かをチェックする。水平であれば、ＣＰＵはこの平面を床として採用する。そうでなければ、床探索は次のフレームまで停止する。
ＣＰＵ５８は、ステップ１０４又は１０８で発見された床モデルを、モデル標識化ステップ１１２で評価する。このステップは、上記のステップ９４と実質的に同様に進行する。その後ＣＰＵは、比較のため新しいモデルを新モデル計算ステップ１１４において、計算する。このステップは上記ステップ９２と同様に実行される。ＣＰＵはこの新モデルを新モデル標識付けステップ１１６で評価し、その結果を、モデル比較ステップ１１８において、ステップ１１２からの従前のモデルスコアと比較し、そして新モデルのスコアが優れている場合は、従前のモデルを新モデルと交換する。ＣＰＵは、モデル内でさらなる改善が得られなくなるまでステップ１１４ −１１８を繰り返し、得られなくなった時点で、工程は次のフレームまで停止する。
上記の方法は、特に深さマップ内で床を識別する（そして、後続の分析から床を除外する）ことに関しているが、同一の方法は、必要な改良を加えれば、壁、天井及びテーブル表面などの他の平坦な表面を発見する（そして所望の場合削除する）ことに使用可能である。
さらに上記の方法は他のタイプの、パラメータによって表現可能な、深さマップ内に現れる球面、パラボラ面のような非平面の表面を識別するのに適応可能である。このような表面のパラメータは、例えば深さマップ内の点に対する３Ｄ関数の線形最小２乗適合により、深さマップから得られる。このための適合技術は、例えば、Ｆｌａｎｎｅｒｙ他著「Ｎｕｍｅｒｉｃａｌ Ｒｅｃｉｐｅｓ ｉｎ Ｃ：Ｔｈｅ Ａｒｔ ｏｆ Ｓｃｉｅｎｔｉｆｉｃ Ｃｏｍｐｕｔｉｎｇ，第２版（ケンブリッジ大学出版、１９９２）第６７１ −６８１頁に記載されており、それはここに参照され、採り入れられる。
（ヒト類似形状の抽出）
図５と図６は、本発明の実施形態による、深さマップ１２０のそれぞれ正面図及び平面図である。図５は深さマップ内の物体に対応するブロック１２２，１２４、１２６を示す。図６は、ブロックのＸＺ面への投影に基づくブロックのクラスタへのグループ化をしめす。これらの図は構成要素検知ステップ７４（図３）の実行を示す。
図５に示されるブロックを発見するため、ＣＰＵ５８は、深さマップをＸ（水平）方向に沿って微分する。この目的のため、深さ値が見つけられないピクセルは任意の非常に大きい深さ値が付与される。微分値がある閾値より大きいピクセルは辺縁と分類される。辺縁の乱れを避けるため、深さマップを微分する前に、近景物体の影は（前に説明したように）、それらに投影する物体と同じ深さ値を付与される。その後ＣＰＵは、微分された深さマップの行を検索し、間に辺縁を持たない左の正の辺縁と右の負の辺縁とにより境界を定められた、ピクセルの一続き（ラン）を発見する。
ＣＰＵは、多重の隣接する行において起り、以下の条件を満たすこの種の一続きを有するブロック１２２，１２４，１２６を生成する：
・ランは最小数（例えば５）以上の連続する行において起る
・行の間の深さ値の差異は既定の閾値より大きくない
・ランはＸ方向に最小重複パーセント（例えば少なくともブロック内の最短ランの８０％）以上重複する
ＣＰＵは、各ブロックの境界座標、深さ値中央値、重心及び面積などの幾何学的特徴を計算する。
ＣＰＵ５８は、図６に示すように、その後ブロックを３Ｄクラスタにグループ分けする。この図では３Ｄ深さマップをＸ−Ｚ平面で示し、深さ（Ｚ）は図の上から下に増加する。３角の領域１２８は画像化組立体２２の視野を示す。ここではブロック１２２，１２４，１２６は異なるそれぞれの深さの範囲にあるクラスタとして表示される。ブロック１２２は中間深さにあるヒト類似形状の部分に対応し、図５の右側に示される。ブロック１２４は近景の椅子に対応し、一方、ブロック１２６は背景の一部である。
ＣＰＵはブロックがある幾何学的基準に合致すれば、それらブロックを１つのクラスタにグループ分けする。例えば、ＣＰＵは、ブロックのそれぞれのＸ−Ｚ面の境界ボックスが最小量以上重複し、各ブロックのそれぞれの重心がそのクラスタの他のブロックの境界ボックスに含まれることを、要求してもよい。１つのクラスタは、ブロックの面積の合計が小さなヒトの面積以上である場合、ヒト類似形状に属する候補として標識付けされる。
前述の通り、クラスタは上記の幾何学的条件を満たすことに加えて、多重のマップフレームに亘って、典型的に移動を伴って存続する場合、ヒト類似形状の候補と考えられる。このように、ある所与のクラスタが、従前のフレームにおいて識別されたヒト類似形状と同じ概略位置に現れる場合、ＣＰＵはこの識別を維持し、そしてそのクラスタを従前のフレームと同じ識別子で標識付けする。
あるいは、１つのクラスタ（幾つかの連続するフレームに亘って存続した）がヒト類似形状か否かを判定するため、コンピュータはそのクラスタ内のブロックを床平面（ステップ７２で発見された）に投影し、そして投影の面積、重心及び境界ボックスのような幾何学的特性を計算する。この境界ボックス内に投影される深さマップ内の全ての結合構成要素は、同一のヒト類似形状候補に属すると見做される。全てのこれら結合構成要素の合計面積が所与の閾値より大きい場合、ＣＰＵはそのクラスタ及び随伴する結合構成要素をグループに纏め、そしてそれらにヒト類似形状として共通の１つの識別子を付与する。ＣＰＵはこのヒト類似形状の特性を計算し記憶し、そして上記のように後続のマップフレームに亘ってこのヒト類似形状を追跡する。
図５及び６を再び参照して、このようにＣＰＵは幾何学的基準に合致するブロック１２２のクラスタを発見し、このクラスタをコンピュータの使用者のヒト類似形状に属すると識別する。ブロック１２４のクラスタは、小さすぎ、そして無視される。ブロック１２６のクラスタは十分に大きいが、静止しているので最終的に無視される。
図７は本発明の実施形態による、深さマップ１３０内の物体の区分を示す深さマップの正面図である。この図は、例えば能動的コンピュータゲームにおいて起り得る、空手の蹴りのため右足を急に上げたある人物の実際の深さマップに基づいている。その人物の体は３Ｄ結合構成要素１３２として表示され、それは従前のマップフレームに現れ、従って１つの識別子を有し、又、計算された幾何学的特性値で標識付けされている。足に対応する新しい結合構成要素１３４は、体の残りの部分より手前に、このマップで体の突然現れた。結合構成要素１３４は、部分的に体要素１３２を妨害し、その人物の腕に相当する他の１つの結合構成要素１３６から体要素１３２を切り離す。
このような状況を取り扱うため、要素１３４のような１つの結合構成要素がマップフレームに突然出現した（そしてこのように、従前に付与された識別子を持たない）場合は、ＣＰＵ５８は、従前に識別されヒト類似形状と標識付けされた他の近隣の結合構成要素を探索する。
新しい結合構成要素がＸ軸とＹ軸方向（図７で水平及び垂直方向）で従前に識別された結合構成要素（この事例では結合構成要素１３２）に隣接し、深さが近似し、その間に（深さの無い領域と妨害物体を除いて）異なる深さの領域が無い場合、ＣＰＵはそれら結合構成要素を結びつけ、両方に同一の識別子を付与する。
このように図７で示される事例の場合ＣＰＵは、構成要素１３４と１３６を構成要素１３２にくっつける。ＣＰＵは構成要素１３２の識別子を構成要素１３４と１３６の両方に付与し、そしてこれら結合構成要素を１つのヒト類似形状に属するものとして認識し追跡する。
この種の状況に置いて結合構成要素を１つの体に結び付ける他の考察には、それぞれの境界ボックスの横断と重心間の距離が含まれる。
ステップ８６においてシステム２０により例外的に扱われる他の１つのタイプは、１つのヒト類似形状による他の１つのヒト類似形状の妨害である。このような状況は図１に示され、そこでは使用者２８の左足が使用者３０の体を横断している。このような状況の結果は、ＣＰＵ５８が図示の場面の深さマップ内の３Ｄ結合構成要素を分析すると、使用者３０の右足の下部は体の残りの部分から離れていることとなる。
ＣＰＵ５８はこのような状況を上記のデータ構造を使用して取り扱う。
使用者３０の体が、従前のマップフレームで妨害なく全体として識別されたと仮定して、ＣＰＵは、使用者３０の右足の領域内の結合構成要素に伴う同じ共通の識別子を、使用者の残りの部分と共有する。さらに、ＣＰＵは、使用者３０の右足と体に対応する結合構成要素が同一の深さ範囲に位置すると認識し、一方、使用者３０の体の一部を分離する左足を含む、使用者２８の体に対応する結合構成要素は、深さがそれより浅いと認識する。これらの状況では、ＣＰＵは、使用者３０の足と体に対応する分離した結合構成要素は、実際は同一のヒト類似形状の一部であると結論付け、そして共通の識別子でそれらを「接着」する。
一度このような妨害が検知され解決されると、ＣＰＵ５８はそれぞれのヒト類似形状に対し、妨害された他のヒト類似形状（他の近景物体も）の記録と、こちらが妨害した他のヒト類似形状の記録を記憶する。このような記録は、後続のフレームで起こり得る妨害を解決するのに有用である。同様な技術は、１つのヒト形状が他のヒト形状に接触する状況を検知し解決するのに使用可能である。
或いは、ＣＰＵ５８はヒト類似形状の一部の動きをフレームからフレームへ追跡し、それによりこれら体の部分の動きの速度を推計してもよい。ＣＰＵはその速度を、たとえ他の物体により妨害された場合でも、使用者の体の位置を外挿するのに使用可能であり、従って深さマップ内のヒト類似形状の妨害された部分を適切に識別することを維持可能である。
前述の通り、上記の実施形態は説明の明確化を利便性のためであり、特定の種類の深さマップシステムとあるタイプのコンピュータアプリケーションを参照しているが、本発明の原理は、実質的にいかなる適合するシステムにおけるいかなる種類の深さマップにも、いかに獲得されたかに拘わらず、同様に適用可能である。
特に、上記の３Ｄ結合構成要素の分析と区分の方法は、ヒト類似形状だけでなく、他の種類の物体を深さマップから抽出するのにも使用可能である。結果として得られたマップは、使用者の閲覧用に直接表示可能であり、また、区分マップを許容する実質的にいかなる種類のアプリケーションプログラムに対しても、入力として使用可能であり、他の画像に対する入力として使用可能である。
上記の実施形態は例として引用され、本発明は上記に特に示されまた記載されたものに限定されない。むしろ本発明の範囲は、従前の記載を読んだ当業者が想起する従来技術に開示されていない、上記に記載された種々の特性の組合せやサブ組合せ、変化形や変更形を含む。
２０：システム ２２：３Ｄ画像組立体 ２４：コンピュータ
２６：表示スクリーン ２８、３０：使用者
３２：床 ３４：壁 ３６：窓
４２：照明組立体 ４４：深さ画像サブ組立体
４６：カラービデオカメラ ４８：マイクロフォン ５０：プロセッサ
５２：メモリ ５４：通信リンク
５６：インタフェース ５８：ＣＰＵ ６０：メモリ
６２：ユーザインタフェース

Claims (69)

  1. １つの場面の深さマップの一時的順列を受け取るステップと、
    前記場面は、１つの静止した背景と前記背景の一部を覆い隠す１つ以上の動く近景物体を有し、
    前記深さマップは、ピクセルの１つの行列からなり、前記ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、前記場面内のそれぞれの位置に対応し、
    前記動く近景物体により覆い隠されていない、前記静止した背景の第１の部分を前記第１の深さマップ内で識別するため、デジタルプロセッサを使用して、前記順列の中の第１の深さマップを処理するステップと、
    前記静止した背景の少なくとも第２の部分を識別するため、前記順列の中の少なくとも第２の深さマップを処理するステップと、
    前記第２の部分は、少なくとも１つの前記近景物体の前記順列に亘る動きに起因して前記第１の部分とは異なり、
    少なくとも前記静止した背景の前記第１の部分と前記第２の部分を組合せることにより、前記場面の１つの背景モデルを構築するステップと、
    を有することを特徴とする、データを処理する方法。
  2. 前記背景モデルに基づき、１つ以上の背景物体を前記深さマップから取り除くことにより、１つ以上の近景マップを生成するステップを有する、ことを特徴とする請求項１に記載の方法。
  3. 少なくとも１つの前記動く近景物体がヒト類似形状であり、
    前記ヒト類似形状を、前記第１の深さマップ内の前記ヒト類似形状に関する情報と共に、前記第２の深さマップに由来する１つの近景マップから抽出するステップを有する、ことを特徴とする請求項２に記載の方法。
  4. 前記ヒト類似形状を抽出するステップは、
    前記背景物体の１つに接触する、前記ヒト類似形状に属する１つの領域を検知するステップと、
    前記領域を前記ヒト類似形状の一部として識別するステップと、
    を有する、ことを特徴とする請求項３に記載の方法。
  5. 前記深さマップ内で平滑な表面を識別するステップを有する、ことを特徴とする請求項１に記載の方法。
  6. 前記深さマップ内で１つの物体の影を識別するステップを有する、ことを特徴とする請求項１に記載の方法。
  7. 前記背景モデルを構築するステップは、前記深さマップの前記順列に亘って前記背景に現れる変化に対応して、前記背景モデルを更新するステップを有する、ことを特徴とする請求項１に記載の方法。
  8. 前記深さマップは１つの画像化組立体により獲得され、
    前記順列内の前記深さマップの間における前記背景モデル内の前記変化の程度を評価するステップと、
    前記変化の程度が事前に設定された閾値を超えた場合に、前記画像化組立体が移動したことを検知するステップと、
    を有する、ことを特徴とする請求項７に記載の方法。
  9. 表面に対して位置決めされた１つ以上の物体を有する１つの場面の１つの深さマップを受け取るステップと、
    前記深さマップは、ピクセルの１つの行列からなり、前記ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、前記場面内のそれぞれの位置に対応し、
    前記表面のパラメトリックなモデルを識別し生成するため、デジタルプロセッサを使用して前記深さマップを処理するステップと、
    前記パラメトリックなモデルにより示される前記表面を、前記深さマップから取り除くことにより、前記場面内の１つ以上の前記物体を区分するステップと、
    を有することを特徴とする、データを処理する方法。
  10. 少なくとも１つの前記物体がヒト類似形状であり、
    １つ以上の前記物体を区分するステップは、前記深さマップから前記ヒト類似形状を抽出するステップを有する、
    ことを特徴とする請求項９に記載の方法。
  11. 前記表面が、その上に少なくとも１つの前記物体が位置する、床に対応する平滑な表面である、ことを特徴とする請求項９に記載の方法。
  12. 前記深さマップを処理するステップは、
    前記深さマップ内のピクセルにおける局地的な法線を計算するステップと、
    前記平滑な表面を識別するため、前記局地的な法線に従って前記ピクセルをクラスタに纏めるステップと、
    を有する、ことを特徴とする請求項１１に記載の方法。
  13. 前記深さマップは画像化組立体により獲得され、
    前記局地的な法線に従って前記ピクセルをクラスタに纏めるステップは、
    それぞれのピクセルに対する前記画像化組立体の高さを推定するため、少なくとも幾つかのピクセルのそれぞれの深さ値を処理するステップと、
    前記画像化組立体の同一の前記高さを有する前記ピクセルをクラスタに纏めるステップと、
    を有する、ことを特徴とする請求項１２に記載の方法。
  14. １つのヒト類似形状を含む１つの場面の深さマップを受け取るステップと、
    前記深さマップは、ピクセルの１つの行列からなり、前記ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、前記場面内のそれぞれの位置に対応し、
    前記場面内の３次元（３Ｄ）結合構成要素を識別するため、デジタルプロセッサを使用して前記深さマップを処理するステップと、
    それぞれの前記結合構成要素は、相互に隣接し、かつ隣接する深さ値を有する１組のピクセルからなり、
    別々の第１と第２の結合構成要素を共に前記ヒト類似形状に属すると識別するステップと、
    前記第１と前記第２の結合構成要素を共に有する前記ヒト類似形状の１つの画像を生成するステップと、
    を有することを特徴とする、データを処理する方法。
  15. 前記深さマップを処理するステップは、
    前記深さマップに基づいて前記場面の背景モデルを構築するステップと、
    近景マップを生成するため前記背景モデルを前記深さマップから取り除くステップと、
    前記３次元（３Ｄ）結合構成要素を前記近景マップ内で識別するステップと、
    を有することを特徴とする、請求項１４に記載の方法。
  16. 前記深さマップを処理するステップは、
    前記深さマップに縁辺を配置し、ピクセルのブロックを前記縁辺の間に配置するステップと、
    前記３次元（３Ｄ）結合構成要素を識別するため、３次元で隣接する前記ピクセルのブロックをクラスタに纏めるステップと、
    を有することを特徴とする、請求項１４に記載の方法。
  17. 前記深さマップを受け取るステップは、深さマップの一時的な順列を受け取るステップを有し、
    前記第１と第２の結合構成要素を識別するステップは、前記結合構成要素を前記順列内の多重の連続する深さマップに亘って追跡するステップを有する、
    ことを特徴とする請求項１４に記載の方法。
  18. 前記結合構成要素を追跡するステップは、
    共通の識別子を前記順列内の第１の深さマップ内の前記第１と第２の結合構成要素に付与するステップと、
    前記共通の識別子を使用して、前記第１と第２の結合構成要素が第２の後続の深さマップ内の前記ヒト類似形状に属することを判定するステップと、
    を有し、
    ここにおいて前記第２の深さマップ内では、前記第１と第２の結合構成要素が分離されている、
    ことを特徴とする、請求項１７に記載の方法。
  19. 前記共通の識別子を付与するステップは、前記深さマップ内の前記第１と第２の結合構成要素の前記ピクセルを、前記共通の識別子で標識付けするステップを有する、ことを特徴とする請求項１８に記載の方法。
  20. 前記第２の深さマップ内の前記ヒト類似形状が他の１つの物体と接触し、それにより、前記第２の結合構成要素を前記他の１つの物体と合体するようにさせ、
    前記共通の識別子を使用するステップは、
    前記第２の深さマップに現れる前記ヒト類似形状の前記画像を生成するため、前記ヒト類似形状に属する前記第２の結合構成要素の前記標識付けされたピクセルを、他の物体に属するピクセルから分離するステップを有する、
    ことを特徴とする、請求項１９に記載の方法。
  21. 前記結合構成要素を追跡するステップは、前記結合構成要素の動きの速度を推計するステップを有し、
    前記画像を生成するステップは、推計された前記速度を使用して、前記ヒト類似形状に覆い隠された部分の識別を維持するステップを有する、
    ことを特徴とする、請求項１７に記載の方法。
  22. 前記深さマップ内の前記ヒト類似形状は、部分的に他の１つの物体により妨害されており、
    前記第１と第２の結合構成要素は前記妨害する物体によって分離される前記 ヒト類似形状の部分に対応し、
    前記画像を生成するステップは、前記第１と第２の結合構成要素の両方を前記ヒト類似形状の前記画像内に組み入れるステップを有する、
    ことを特徴とする、請求項１４に記載の方法。
  23. 前記第１と第２の結合構成要素は前記ヒト類似形状の第１と第２の部分に相当し、
    前記第２の部分は前記深さマップ内で前記第１の部分を部分的に妨害し、
    前記画像を生成するステップは、前記第１と第２の結合構成要素の両方を前記ヒト類似形状の前記画像内に組み入れるステップを有する、
    ことを特徴とする、請求項１４に記載の方法。
  24. 画像化組立体と、
    前記画像化組立体は、静止した背景と前記背景の一部を覆い隠す１つ以上の動く近景物体とを含む、１つの場面の深さマップの一時的な順列を生成するように構成され、
    前記深さマップは、ピクセルの１つの行列からなり、前記ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、前記場面内のそれぞれの位置に対応し、
    プロセッサと、
    を有し、
    前記プロセッサは、
    前記動く近景物体により覆い隠されていない、前記静止した背景の第１の部分を前記第１の深さマップ内で識別するため、前記順列の中の第１の深さマップを処理し、
    前記静止した背景の少なくとも第２の部分を識別するため、前記順列の中の少なくとも第２の深さマップを処理し、
    ここにおいて前記第２の部分は、少なくとも１つの前記近景物体の前記順列に亘る動きに起因して前記第１の部分とは異なり、
    少なくとも前記静止した背景の前記第１の部分と前記第２の部分を組合せることにより、前記場面の１つの背景モデルを構築する、
    ように構成される、
    ことを特徴とするデータ処理装置。
  25. 前記プロセッサは、前記背景モデルに基づき、１つ以上の背景物体を前記深さマップから取り除くことにより、１つ以上の近景マップを生成するように構成される、ことを特徴とする請求項２４に記載の装置。
  26. 少なくとも１つの前記動く近景物体がヒト類似形状であり、
    前記プロセッサは、前記ヒト類似形状を、前記第１の深さマップ内の前記ヒト類似形状に関する情報と共に、前記第２の深さマップに由来する１つの近景マップから抽出するように構成される、ことを特徴とする請求項２５に記載の装置。
  27. 前記プロセッサは、前記背景物体の１つに接触する、前記ヒト類似形状に属する１つの領域を検知し、そして前記領域を前記ヒト類似形状の一部として識別するように構成される、ことを特徴とする請求項２６に記載の装置。
  28. 前記プロセッサは、前記深さマップ内で平滑な表面を識別するように構成される、ことを特徴とする請求項２４に記載の装置。
  29. 前記プロセッサは、前記深さマップ内で１つの物体の影を識別するように構成される、ことを特徴とする請求項２４に記載の装置。
  30. 前記プロセッサは、前記深さマップの前記順列に亘って前記背景に現れる変化に対応して、前記背景モデルを更新するように構成される、ことを特徴とする請求項２４に記載の装置。
  31. 前記プロセッサは、前記順列内の前記深さマップの間における前記背景モデル内の前記変化の程度を評価し、
    前記変化の程度が事前に設定された閾値を超えた場合に、前記画像化組立体が移動したことを検知するように構成される、ことを特徴とする請求項３０に記載の装置。
  32. 画像化組立体と、
    前記画像化組立体は、表面に対して位置決めされた１つ以上の物体を含む、１つの場面の深さマップを生成するように構成され、
    前記深さマップは、ピクセルの１つの行列からなり、前記ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、前記場面内のそれぞれの位置に対応し、
    プロセッサと、
    を有し、
    前記プロセッサは、
    前記表面のパラメトリックなモデルを識別し生成するため、前記順列の中の深さマップを処理し、
    前記パラメトリックなモデルにより表示された前記表面を前記深さマップから取り除くことにより、前記場面内の１つ以上の物体を区分する、
    ように構成される、
    ことを特徴とするデータ処理装置。
  33. 少なくとも１つの前記物体がヒト類似形状であり、
    前記プロセッサは、前記ヒト類似形状を、深さマップから抽出するように構成される、ことを特徴とする請求項３２に記載の装置。
  34. 前記表面は床に対応する平滑な表面であり、少なくとも１つの前記物体が前記床の上に位置する、ことを特徴とする請求項３２に記載の装置。
  35. 前記プロセッサは、
    前記深さマップ内のピクセルにおける局地的な法線を計算し、そして、
    前記平滑な表面を識別するため、前記局地的な法線に従って前記ピクセルをクラスタに纏める、ように構成されることを特徴とする請求項３４に記載の装置。
  36. 前記プロセッサは、
    それぞれのピクセルに対する前記画像化組立体の高さを推定するため、少なくとも幾つかのピクセルのそれぞれの深さ値を処理し、そして、
    前記画像化組立体の同一の前記高さを有する前記ピクセルをクラスタに纏める、ように構成されることを特徴とする請求項３５に記載の装置。
  37. 画像化組立体と、
    前記画像化組立体は、１つのヒト類似形状を含む１つの場面の深さマップを受け取るように構成され、
    前記深さマップは、ピクセルの１つの行列からなり、前記ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、前記場面内のそれぞれの位置に対応し、
    プロセッサと、
    を有し、
    前記プロセッサは、
    前記場面内の３次元（３Ｄ）結合構成要素を識別するため、デジタルプロセッサを使用して前記深さマップを処理し、
    ここにそれぞれの前記結合構成要素は、相互に隣接し、かつ隣接する深さ値を有する１組のピクセルからなり、
    別々の第１と第２の結合構成要素を共に前記ヒト類似形状に属すると識別し、
    前記第１と前記第２の結合構成要素を共に有する前記ヒト類似形状の１つの画像を生成する、
    ように構成される、
    ことを特徴とするデータ処理装置。
  38. 前記プロセッサは、
    前記深さマップに基づいて前記場面の背景モデルを構築し、
    近景マップを生成するため前記背景モデルを前記深さマップから取り除き、そして、
    前記３次元（３Ｄ）結合構成要素を前記近景マップ内で識別する、
    ように構成される、ことを特徴とする請求項３７に記載の装置。
  39. 前記プロセッサは、
    前記深さマップに縁辺を配置し、ピクセルのブロックを前記縁辺の間に配置し、
    前記３次元（３Ｄ）結合構成要素を識別するため、３次元で隣接する前記ピクセルのブロックをクラスタに纏める、
    ように構成される、ことを特徴とする請求項３７に記載の装置。
  40. 前記画像化組立体は、深さマップの一時的な順列を受け取るように構成され、
    前記プロセッサは、前記結合構成要素を前記順列内の多重の連続する深さマップに亘って追跡するように構成される、
    ことを特徴とする請求項３７に記載の装置。
  41. 前記プロセッサは、
    共通の識別子を前記順列内の第１の深さマップ内の前記第１と第２の結合構成要素に付与し、そして、
    前記共通の識別子を使用して、前記第１と第２の結合構成要素が第２の後続の深さマップ内の前記ヒト類似形状に属することを判定する、
    ように構成され、
    ここにおいて前記第２の深さマップ内では、前記第１と第２の結合構成要素が分離されている、
    ことを特徴とする請求項４０に記載の装置。
  42. 前記プロセッサは、
    前記深さマップ内の前記第１と第２の結合構成要素の前記ピクセルを、前記共通の識別子で標識付けするように構成される、ことを特徴とする請求項４１に記載の装置。
  43. 前記第２の深さマップ内の前記ヒト類似形状が他の１つの物体と接触し、それにより、前記第２の結合構成要素を前記他の１つの物体と合体するようにさせ、
    前記プロセッサは、
    前記第２の深さマップに現れる前記ヒト類似形状の前記画像を生成するため、前記ヒト類似形状に属する前記第２の結合構成要素の前記標識付けされたピクセルを、他の物体に属するピクセルから分離する、
    ように構成されることを特徴とする請求項４２に記載の装置。
  44. 前記プロセッサは、
    前記結合構成要素の動きの速度を推計し、
    推計された前記速度を使用して、前記ヒト類似形状に覆い隠された部分の識別を維持するように構成される、ことを特徴とする請求項４０に記載の装置。
  45. 前記深さマップ内の前記ヒト類似形状は、部分的に他の１つの物体により妨害されており、
    前記第１と第２の結合構成要素は前記妨害する物体によって分離される前記ヒト類似形状の部分に対応し、
    前記プロセッサは、前記第１と第２の結合構成要素の両方を前記ヒト類似形状の前記画像内に組み入れるように構成される、
    ことを特徴とする請求項３７に記載の装置。
  46. 前記第１と第２の結合構成要素は前記ヒト類似形状の第１と第２の部分に相当し、
    前記第２の部分は前記深さマップ内で前記第１の部分を部分的に妨害し、
    前記プロセッサは、前記第１と第２の結合構成要素の両方を前記ヒト類似形状の前記画像内に組み入れるように構成される、
    ことを特徴とする請求項３７に記載の装置。
  47. プログラム命令が保管される接触可能なコンピュータ読み取り可能媒体を有し、
    前記命令はコンピュータにより読み込まれた時コンピュータに対し、
    １つの場面の深さマップの一時的順列を受け取るステップと、
    前記場面は、１つの静止した背景と前記背景の一部を覆い隠す１つ以上の動く近景物体を有し、
    前記深さマップは、ピクセルの１つの行列からなり、前記ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、前記場面内のそれぞれの位置に対応し、
    前記動く近景物体により覆い隠されていない、前記静止した背景の第１の部分を前記第１の深さマップ内で識別するため、デジタルプロセッサを使用して、前記順列の中の第１の深さマップを処理するステップと、
    前記静止した背景の少なくとも第２の部分を識別するため、前記順列の中の少なくとも第２の深さマップを処理するステップと、
    前記第２の部分は、少なくとも１つの前記近景物体の前記順列に亘る動きに起因して前記第１の部分とは異なり、
    少なくとも前記静止した背景の前記第１の部分と前記第２の部分を組合せることにより、前記場面の１つの背景モデルを構築するステップと、
    を実行させる、ことを特徴とするコンピュータソフトウェア製品。
  48. 前記命令はコンピュータに対し、
    前記背景モデルに基づき、１つ以上の背景物体を前記深さマップから取り除くことにより、１つ以上の近景マップを生成するステップを実行させる、ことを特徴とする請求項４７に記載の製品。
  49. 少なくとも１つの前記動く近景物体がヒト類似形状であり、
    前記命令はコンピュータに対し、
    前記ヒト類似形状を、前記第１の深さマップ内の前記ヒト類似形状に関する情報と共に、前記第２の深さマップに由来する１つの近景マップから抽出するステップを実行させる、ことを特徴とする請求項４８に記載の製品。
  50. 前記命令はコンピュータに対し、
    前記背景物体の１つに接触する、前記ヒト類似形状に属する１つの領域を検知するステップと、
    前記領域を前記ヒト類似形状の一部として識別するステップと、
    を実行させる、ことを特徴とする請求項４９に記載の製品。
  51. 前記命令はコンピュータに対し、
    前記深さマップ内で平滑な表面を識別するステップを実行させる、ことを特徴とする請求項４７に記載の製品。
  52. 前記命令はコンピュータに対し、
    前記深さマップ内で１つの物体の影を識別するステップを実行させる、ことを特徴とする請求項４７に記載の製品。
  53. 前記命令はコンピュータに対し、
    前記深さマップの前記順列に亘って前記背景に現れる変化に対応して、前記モデルを更新するステップを実行させる、ことを特徴とする請求項４７に記載の製品。
  54. 前記命令はコンピュータに対し、
    前記順列内の前記深さマップの間における前記背景モデル内の前記変化の程度を評価するステップと、
    前記変化の程度が事前に設定された閾値を超えた場合に、前記画像化組立体が移動したことを検知するステップと、
    を実行させることを特徴とする請求項５３に記載の製品。
  55. プログラム命令が保管される接触可能なコンピュータ読み取り可能媒体を有し、
    前記命令はコンピュータにより読み込まれた時コンピュータに対し、
    表面に対して位置決めされた１つ以上の近景物体を有する１つの場面の１つの深さマップを受け取るステップを実行させ、
    前記深さマップは、ピクセルの１つの行列からなり、前記ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、前記場面内のそれぞれの位置に対応し、
    ここにおいて前記命令はコンピュータに対し、
    前記表面のパラメトリックなモデルを生成するため、デジタルプロセッサを使用して前記深さマップを処理するステップと、
    前記パラメトリックなモデルにより示される前記表面を、前記深さマップから取り除くことにより、前記場面内の１つ以上の前記物体を区分するステップと、
    を実行させる、ことを特徴とするコンピュータソフトウェア製品。
  56. 少なくとも１つの前記物体がヒト類似形状であり、
    前記命令はコンピュータに対し、前記深さマップから前記ヒト類似形状を抽出するステップを実行させる、ことを特徴とする請求項５５に記載の製品。
  57. 前記表面が、その上に少なくとも１つの前記物体が位置する、床に対応する平滑な表面である、ことを特徴とする請求項５５に記載の製品。
  58. 前記命令はコンピュータに対し、
    前記深さマップ内のピクセルにおける局地的な法線を計算するステップと、
    前記平滑な表面を識別するため、前記局地的な法線に従って前記ピクセルをクラスタに纏めるステップと、
    を実行させることを特徴とする請求項５７に記載の製品。
  59. 前記命令はコンピュータに対し、
    それぞれのピクセルに対する前記画像化組立体の高さを推定するため、少なくとも幾つかのピクセルのそれぞれの深さ値を処理するステップと、
    前記画像化組立体の同一の前記高さを有する前記ピクセルをクラスタに纏めるステップと、
    を実行させることを特徴とする請求項５８に記載の製品。
  60. プログラム命令が保管される接触可能なコンピュータ読み取り可能媒体を有し、
    前記命令はコンピュータにより読み込まれた時コンピュータに対し、
    １つのヒト類似形状を含む１つの場面の深さマップを受け取るステップを実行させ、
    前記深さマップは、ピクセルの１つの行列からなり、前記ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、前記場面内のそれぞれの位置に対応し、
    ここにおいて前記命令はコンピュータに対し、
    前記場面内の３次元（３Ｄ）結合構成要素を識別するため、デジタルプロセッサを使用して前記深さマップを処理するステップと、
    それぞれの前記結合構成要素は、相互に隣接し、かつ隣接する深さ値を有する１組のピクセルからなり、
    別々の第１と第２の結合構成要素を共に前記ヒト類似形状に属すると識別するステップと、
    前記第１と前記第２の結合構成要素を共に有する前記ヒト類似形状の１つの画像を生成するステップと、
    を実行させる、ことを特徴とするコンピュータソフトウェア製品。
  61. 前記命令はコンピュータに対し、
    前記深さマップに基づいて前記場面の背景モデルを構築するステップと、
    近景マップを生成するため前記背景モデルを前記深さマップから取り除くステップと、
    前記３次元（３Ｄ）結合構成要素を前記近景マップ内で識別するステップと、
    を実行させることを特徴とする請求項６０に記載の製品。
  62. 前記命令はコンピュータに対し、
    前記深さマップに縁辺を配置し、ピクセルのブロックを前記縁辺の間に配置するステップと、
    前記３次元（３Ｄ）結合構成要素を識別するため、３次元で隣接する前記 ピクセルのブロックをクラスタに纏めるステップと、
    を実行させることを特徴とする請求項６０に記載の製品。
  63. 前記画像化組立体は、深さマップの一時的な順列を生成するように構成され、
    前記命令はコンピュータに対し、前記結合構成要素を前記順列内の多重の連続する深さマップに亘って追跡するステップを実行させる、
    ことを特徴とする請求項６０に記載の製品。
  64. 前記命令はコンピュータに対し、
    共通の識別子を前記順列内の第１の深さマップ内の前記第１と第２の結合構成要素に付与するステップと、
    前記共通の識別子を使用して、前記第１と第２の結合構成要素が第２の後続の深さマップ内の前記ヒト類似形状に属することを判定するステップと、
    を実行させ、
    ここにおいて前記第２の深さマップ内では、前記第１と第２の結合構成要素が分離されている、
    ことを特徴とする請求項６３に記載の製品。
  65. 前記命令はコンピュータに対し、
    前記深さマップ内の前記第１と第２の結合構成要素の前記ピクセルを、前記共通の識別子で標識付けするステップを実行させる、ことを特徴とする請求項６４に記載の製品。
  66. 前記第２の深さマップ内の前記ヒト類似形状が他の１つの物体と接触し、それにより、前記第２の結合構成要素を前記他の１つの物体と合体するようにさせ、
    前記命令はコンピュータに対し、
    前記第２の深さマップに現れる前記ヒト類似形状の前記画像を生成するため、前記ヒト類似形状に属する前記第２の結合構成要素の前記標識付けされたピクセルを、他の物体に属するピクセルから分離するステップを実行させる、
    ことを特徴とする請求項６５に記載の製品。
  67. 前記命令はコンピュータに対し、
    前記結合構成要素の動きの速度を推計するステップと、
    推計された前記速度を使用して、前記ヒト類似形状に覆い隠された部分の識別を維持するステップと、
    を実行させることを特徴とする請求項６３に記載の製品。
  68. 前記深さマップ内の前記ヒト類似形状は、部分的に他の１つの物体により妨害されており、
    前記第１と第２の結合構成要素は前記妨害する物体によって分離される前記ヒト類似形状の部分に対応し、
    前記命令はコンピュータに対し、
    前記第１と第２の結合構成要素の両方を前記ヒト類似形状の前記画像内に組み入れるステップを実行させる、
    ことを特徴とする請求項６０に記載の製品。
  69. 前記第１と第２の結合構成要素は前記ヒト類似形状の第１と第２の部分に相当し、
    前記第２の部分は前記深さマップ内で前記第１の部分を部分的に妨害し、
    前記命令はコンピュータに対し、
    前記第１と第２の結合構成要素の両方を前記ヒト類似形状の前記画像内に組み入れるステップを実行させる、
    ことを特徴とする請求項６０に記載の製品。
JP2011076786A 2010-05-31 2011-03-30 ３次元場面の分析 Active JP5832116B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US34990710P 2010-05-31 2010-05-31
US61/349,907 2010-05-31
US12/854,187 US8594425B2 (en) 2010-05-31 2010-08-11 Analysis of three-dimensional scenes
US12/854,187 2010-08-11

Publications (3)

Publication Number Publication Date
JP2011253521A true JP2011253521A (ja) 2011-12-15
JP2011253521A5 JP2011253521A5 (ja) 2014-04-03
JP5832116B2 JP5832116B2 (ja) 2015-12-16

Family

ID=45022168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011076786A Active JP5832116B2 (ja) 2010-05-31 2011-03-30 ３次元場面の分析

Country Status (3)

Country Link
US (4) US8594425B2 (ja)
JP (1) JP5832116B2 (ja)
CN (2) CN102262725B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015099483A (ja) * 2013-11-19 2015-05-28 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
JP2015121524A (ja) * 2013-11-19 2015-07-02 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
US10311595B2 (en) 2013-11-19 2019-06-04 Canon Kabushiki Kaisha Image processing device and its control method, imaging apparatus, and storage medium
JP2020515351A (ja) * 2017-03-27 2020-05-28 スノー コーポレーション オブジェクトの形状に関する情報を取得する方法および装置
JP2021528798A (ja) * 2018-08-10 2021-10-21 エヌイーシー ラボラトリーズ アメリカ インクＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ． 場面のパラメトリック上面視表現

Families Citing this family (264)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101657825B (zh) * 2006-05-11 2014-02-19 普莱姆传感有限公司 根据深度图对人形进行建模
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US20150277120A1 (en) 2014-01-21 2015-10-01 Osterhout Group, Inc. Optical configurations for head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
KR101619076B1 (ko) * 2009-08-25 2016-05-10 삼성전자 주식회사 모바일 플랫폼의 동적 물체 검출 및 추적 방법
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
FR2962834A1 (fr) * 2010-07-13 2012-01-20 Commissariat Energie Atomique Procede de detection d'une cible dans les images stereoscopiques par apprentissage et classification statistique a partir d'une loi de probabilite.
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
CN102959616B (zh) * 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
EP2608536B1 (en) * 2010-08-17 2017-05-03 LG Electronics Inc. Method for counting objects and apparatus using a plurality of sensors
US8655093B2 (en) * 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
EP3527121B1 (en) 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US20120249468A1 (en) * 2011-04-04 2012-10-04 Microsoft Corporation Virtual Touchpad Using a Depth Camera
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US9594430B2 (en) * 2011-06-01 2017-03-14 Microsoft Technology Licensing, Llc Three-dimensional foreground selection for vision system
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8869073B2 (en) * 2011-07-28 2014-10-21 Hewlett-Packard Development Company, L.P. Hand pose interaction
US8971572B1 (en) 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
KR101907081B1 (ko) * 2011-08-22 2018-10-11 삼성전자주식회사 3차원 점군의 물체 분리 방법
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US8711141B2 (en) * 2011-08-28 2014-04-29 Arcsoft Hangzhou Co., Ltd. 3D image generating method, 3D animation generating method, and both 3D image generating module and 3D animation generating module thereof
US20130063556A1 (en) * 2011-09-08 2013-03-14 Prism Skylabs, Inc. Extracting depth information from video from a single camera
US9002099B2 (en) 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
US8873852B2 (en) * 2011-09-29 2014-10-28 Mediatek Singapore Pte. Ltd Method and apparatus for foreground object detection
US10027982B2 (en) * 2011-10-19 2018-07-17 Microsoft Technology Licensing, Llc Segmented-block coding
US8805059B2 (en) * 2011-10-24 2014-08-12 Texas Instruments Incorporated Method, system and computer program product for segmenting an image
US9071740B1 (en) 2011-10-28 2015-06-30 Google Inc. Modular camera system
US9672609B1 (en) * 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US9072929B1 (en) * 2011-12-01 2015-07-07 Nebraska Global Investment Company, LLC Image capture system
CN103999018B (zh) * 2011-12-06 2016-12-28 汤姆逊许可公司 响应三维显示对象的用户选择姿势的方法和系统
US20130147793A1 (en) * 2011-12-09 2013-06-13 Seongyeom JEON Mobile terminal and controlling method thereof
CN102609934B (zh) * 2011-12-22 2014-04-23 中国科学院自动化研究所 一种基于深度图像的多目标分割和跟踪方法
US9197686B1 (en) 2012-01-06 2015-11-24 Google Inc. Backfill of video stream
US9537968B1 (en) 2012-01-06 2017-01-03 Google Inc. Communication of socket protocol based data over a storage protocol based interface
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
CN104145479B (zh) 2012-02-07 2017-10-27 诺基亚技术有限公司 从图像去除对象
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
KR102011169B1 (ko) * 2012-03-05 2019-08-14 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 광 폴오프에 기초한 깊이 이미지의 생성 기법
US9377863B2 (en) 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
KR101697652B1 (ko) * 2012-04-25 2017-01-18 한국전자통신연구원 3차원 영상 시스템에서 영상 객체를 추출하기 위한 장치 및 그 방법
US9047507B2 (en) * 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
WO2013176660A1 (en) 2012-05-23 2013-11-28 Intel Corporation Depth gradient based tracking
US9747306B2 (en) * 2012-05-25 2017-08-29 Atheer, Inc. Method and apparatus for identifying input features for later recognition
US8788968B1 (en) * 2012-06-04 2014-07-22 Google Inc. Transitioning an interface to a neighboring image
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US9098739B2 (en) 2012-06-25 2015-08-04 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching
US10199835B2 (en) 2015-12-29 2019-02-05 Energous Corporation Radar motion detection using stepped frequency in wireless power transmission system
US10312715B2 (en) 2015-09-16 2019-06-04 Energous Corporation Systems and methods for wireless power charging
US10270261B2 (en) 2015-09-16 2019-04-23 Energous Corporation Systems and methods of object detection in wireless power charging systems
US9275302B1 (en) * 2012-08-24 2016-03-01 Amazon Technologies, Inc. Object detection and identification
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
TWI496090B (zh) 2012-09-05 2015-08-11 Ind Tech Res Inst 使用深度影像的物件定位方法與裝置
TWI466062B (zh) * 2012-10-04 2014-12-21 Ind Tech Res Inst 重建三維模型的方法與三維模型重建裝置
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
KR101909630B1 (ko) 2012-10-30 2018-10-18 삼성전자주식회사 동작 인식 방법 및 동작 인식 장치
US9019267B2 (en) 2012-10-30 2015-04-28 Apple Inc. Depth mapping with enhanced resolution
DE102012110460A1 (de) * 2012-10-31 2014-04-30 Audi Ag Verfahren zum Eingeben eines Steuerbefehls für eine Komponente eines Kraftwagens
US10049281B2 (en) 2012-11-12 2018-08-14 Shopperception, Inc. Methods and systems for measuring human interaction
US9846845B2 (en) * 2012-11-21 2017-12-19 Disney Enterprises, Inc. Hierarchical model for human activity recognition
US9152234B2 (en) 2012-12-02 2015-10-06 Apple Inc. Detecting user intent to remove a pluggable peripheral device
US9020189B2 (en) * 2012-12-07 2015-04-28 The Nielsen Company (Us), Llc Methods and apparatus to monitor environments
US8983176B2 (en) 2013-01-02 2015-03-17 International Business Machines Corporation Image selection and masking using imported depth information
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9830736B2 (en) * 2013-02-18 2017-11-28 Tata Consultancy Services Limited Segmenting objects in multimedia data
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
US9393695B2 (en) 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US9804576B2 (en) 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
KR20140109020A (ko) * 2013-03-05 2014-09-15 한국전자통신연구원 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법
US9092657B2 (en) * 2013-03-13 2015-07-28 Microsoft Technology Licensing, Llc Depth image processing
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9829984B2 (en) * 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
GB2515343B (en) * 2013-06-21 2018-02-07 Toshiba Res Europe Limited Methods and systems for generating a three dimensional representation of a subject
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US9542626B2 (en) * 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
US9355334B1 (en) * 2013-09-06 2016-05-31 Toyota Jidosha Kabushiki Kaisha Efficient layer-based object recognition
US9183620B2 (en) 2013-11-21 2015-11-10 International Business Machines Corporation Automated tilt and shift optimization
US9489570B2 (en) * 2013-12-31 2016-11-08 Konica Minolta Laboratory U.S.A., Inc. Method and system for emotion and behavior recognition
TWI530909B (zh) * 2013-12-31 2016-04-21 財團法人工業技術研究院 影像合成系統及方法
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9310610B2 (en) 2014-01-21 2016-04-12 Osterhout Group, Inc. See-through computer display systems
US9529199B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9532715B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US9430701B2 (en) * 2014-02-07 2016-08-30 Tata Consultancy Services Limited Object detection system and method
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241964A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
EP3123399A4 (en) * 2014-03-27 2017-10-04 Hrl Laboratories, Llc System for filtering, segmenting and recognizing objects in unconstrained environments
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9196027B2 (en) 2014-03-31 2015-11-24 International Business Machines Corporation Automatic focus stacking of captured images
US9449234B2 (en) 2014-03-31 2016-09-20 International Business Machines Corporation Displaying relative motion of objects in an image
US9300857B2 (en) 2014-04-09 2016-03-29 International Business Machines Corporation Real-time sharpening of raw digital images
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
GB201407643D0 (en) * 2014-04-30 2014-06-11 Tomtom Global Content Bv Improved positioning relatie to a digital map for assisted and automated driving operations
KR102207856B1 (ko) * 2014-05-14 2021-01-26 한국전자통신연구원 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
CN105225217B (zh) * 2014-06-23 2018-04-10 株式会社理光 基于深度的背景模型更新方法和系统
DE102014212184A1 (de) 2014-06-25 2016-01-14 Volkswagen Aktiengesellschaft Heizeinrichtung
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10921877B2 (en) * 2014-10-20 2021-02-16 Microsoft Technology Licensing, Llc Silhouette-based limb finder determination
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US9639166B2 (en) * 2015-03-11 2017-05-02 Microsoft Technology Licensing, Llc Background model for user recognition
US9858719B2 (en) 2015-03-30 2018-01-02 Amazon Technologies, Inc. Blended reality systems and methods
US9984519B2 (en) 2015-04-10 2018-05-29 Google Llc Method and system for optical user recognition
WO2016175801A1 (en) 2015-04-29 2016-11-03 Hewlett-Packard Development Company, L.P. System and method for processing depth images which capture an interaction of an object relative to an interaction plane
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US9544485B2 (en) 2015-05-27 2017-01-10 Google Inc. Multi-mode LED illumination system
US9386230B1 (en) 2015-06-12 2016-07-05 Google Inc. Day and night detection based on one or more of illuminant detection, lux level detection, and tiling
US9235899B1 (en) 2015-06-12 2016-01-12 Google Inc. Simulating an infrared emitter array in a video monitoring camera to construct a lookup table for depth determination
US9454820B1 (en) 2015-06-12 2016-09-27 Google Inc. Using a scene illuminating infrared emitter array in a video monitoring camera for depth determination
US9613423B2 (en) * 2015-06-12 2017-04-04 Google Inc. Using a depth map of a monitored scene to identify floors, walls, and ceilings
US9886620B2 (en) 2015-06-12 2018-02-06 Google Llc Using a scene illuminating infrared emitter array in a video monitoring camera to estimate the position of the camera
US9626849B2 (en) 2015-06-12 2017-04-18 Google Inc. Using scene information from a security camera to reduce false security alerts
US9554063B2 (en) 2015-06-12 2017-01-24 Google Inc. Using infrared images of a monitored scene to identify windows
US9489745B1 (en) 2015-06-12 2016-11-08 Google Inc. Using depth maps of a scene to identify movement of a video camera
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
JP6899368B2 (ja) 2015-08-03 2021-07-07 トムトム グローバル コンテント ベスローテン フエンノートシャップ ローカライゼーション基準データを生成及び使用する方法及びシステム
US9893538B1 (en) 2015-09-16 2018-02-13 Energous Corporation Systems and methods of object detection in wireless power charging systems
US9871387B1 (en) 2015-09-16 2018-01-16 Energous Corporation Systems and methods of object detection using one or more video cameras in wireless power charging systems
US9691153B1 (en) * 2015-10-21 2017-06-27 Google Inc. System and method for using image data to determine a direction of an actor
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10610133B2 (en) 2015-11-05 2020-04-07 Google Llc Using active IR sensor to monitor sleep
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10248839B2 (en) * 2015-11-30 2019-04-02 Intel Corporation Locating objects within depth images
US10043279B1 (en) 2015-12-07 2018-08-07 Apple Inc. Robust detection and classification of body parts in a depth map
US20170186223A1 (en) * 2015-12-23 2017-06-29 Intel Corporation Detection of shadow regions in image depth data caused by multiple image sensors
KR102535617B1 (ko) * 2016-01-04 2023-05-24 한국전자통신연구원 깊이 영상에서의 객체 검출 시스템 및 방법
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US9904867B2 (en) 2016-01-29 2018-02-27 Pointivo, Inc. Systems and methods for extracting information about objects from scene information
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10025308B1 (en) 2016-02-19 2018-07-17 Google Llc System and method to obtain and use attribute data
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9971956B2 (en) 2016-03-21 2018-05-15 International Business Machines Corporation Detection and presentation of differences between 3D models
US9930218B2 (en) * 2016-04-04 2018-03-27 Adobe Systems Incorporated Content aware improvement of captured document images
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US20170302910A1 (en) * 2016-04-19 2017-10-19 Motorola Mobility Llc Method and apparatus for merging depth maps in a depth camera system
US10196104B1 (en) 2016-05-04 2019-02-05 Schaft Inc. Terrain Evaluation for robot locomotion
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10594920B2 (en) * 2016-06-15 2020-03-17 Stmicroelectronics, Inc. Glass detection with time of flight sensor
EP3258211B1 (en) * 2016-06-17 2023-12-13 Hexagon Technology Center GmbH Determining object reflection properties with respect to particular optical measurement
US10769859B2 (en) * 2016-07-13 2020-09-08 Trivver, Inc. Methods and systems for displaying digital smart objects in a three dimensional environment
US10574947B2 (en) * 2016-07-15 2020-02-25 Qualcomm Incorporated Object reconstruction in disparity maps using displaced shadow outlines
US10558855B2 (en) * 2016-08-17 2020-02-11 Technologies Holdings Corp. Vision system with teat detection
CN106327572A (zh) * 2016-08-23 2017-01-11 网易（杭州）网络有限公司 一种三维场景中模型合并的方法及装置
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
US10366278B2 (en) 2016-09-20 2019-07-30 Apple Inc. Curvature-based face detector
USD840395S1 (en) 2016-10-17 2019-02-12 Osterhout Group, Inc. Head-worn computer
US10180615B2 (en) 2016-10-31 2019-01-15 Google Llc Electrochromic filtering in a camera
JP6896401B2 (ja) * 2016-11-25 2021-06-30 東芝テック株式会社 物品認識装置
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
CN106778614B (zh) * 2016-12-16 2019-06-07 中新智擎有限公司 一种人体识别方法和装置
USD864959S1 (en) 2017-01-04 2019-10-29 Mentor Acquisition One, Llc Computer glasses
US10679408B2 (en) * 2017-02-02 2020-06-09 Adobe Inc. Generating a three-dimensional model from a scanned object
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10830879B2 (en) 2017-06-29 2020-11-10 Apple Inc. Time-of-flight depth mapping with parallax compensation
US11494897B2 (en) 2017-07-07 2022-11-08 William F. WILEY Application to determine reading/working distance
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10192319B1 (en) * 2017-07-27 2019-01-29 Nanning Fugui Precision Industrial Co., Ltd. Surveillance method and computing device using the same
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
KR102423175B1 (ko) * 2017-08-18 2022-07-21 삼성전자주식회사 심도 맵을 이용하여 이미지를 편집하기 위한 장치 및 그에 관한 방법
CN111465870B (zh) 2017-12-18 2023-08-29 苹果公司 使用可寻址发射器阵列的飞行时间感测
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
CN108648224B (zh) * 2018-05-18 2021-07-13 杭州电子科技大学 一种基于人工神经网络的实时场景布局识别及重建的方法
EP3573021B1 (de) * 2018-05-22 2020-07-08 Sick Ag Visualisieren von 3d-bilddaten
CN110659547B (zh) * 2018-06-29 2023-07-14 比亚迪股份有限公司 物体识别方法、装置、车辆和计算机可读存储介质
CN109117158A (zh) * 2018-08-02 2019-01-01 郑州云海信息技术有限公司 固件更新方法和装置
US10832045B2 (en) 2019-01-10 2020-11-10 Microsoft Technology Licensing, Llc Camera environment mapping
US11393113B2 (en) 2019-02-28 2022-07-19 Dolby Laboratories Licensing Corporation Hole filling for depth image based rendering
US11587239B2 (en) * 2019-03-14 2023-02-21 Disney Enterprises, Inc. Techniques for inferring the configuration of a room from skeleton tracking
CN110298319B (zh) * 2019-07-01 2021-10-08 北京字节跳动网络技术有限公司 图像合成方法和装置
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
CN110926334B (zh) * 2019-11-29 2022-02-22 深圳市商汤科技有限公司 测量方法、装置、电子设备及存储介质
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
CN111151006B (zh) * 2019-12-27 2023-06-30 北京像素软件科技股份有限公司 游戏中可倒塌的建筑系统生成方法、装置和电子设备
US20210312236A1 (en) * 2020-03-30 2021-10-07 Cherry Labs, Inc. System and method for efficient machine learning model training
CN111258410B (zh) * 2020-05-06 2020-08-04 北京深光科技有限公司 一种人机交互设备
US20220051372A1 (en) * 2020-08-12 2022-02-17 Niantic, Inc. Feature matching using features extracted from perspective corrected image
CN113110887B (zh) * 2021-03-31 2023-07-21 联想(北京)有限公司 一种信息处理方法、装置、电子设备和存储介质
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
CN113963045B (zh) * 2021-10-19 2022-07-19 合肥的卢深视科技有限公司 深度图获取方法、结构光相机、电子设备及存储介质
CN116993798B (zh) * 2023-09-28 2024-03-19 荣耀终端有限公司 一种图像处理方法和电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6658136B1 (en) * 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
JP2006146846A (ja) * 2004-10-20 2006-06-08 Kddi Corp 自由視点映像生成装置
JP2007052644A (ja) * 2005-08-18 2007-03-01 Kddi Corp 自由視点映像生成システム
JP2007122508A (ja) * 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
JP2008529414A (ja) * 2005-01-28 2008-07-31 ユークリッド・ディスカバリーズ・エルエルシー ビデオデータを処理する装置および方法
US20080226172A1 (en) * 2006-02-02 2008-09-18 International Business Machines Corporation Method and Apparatus for Maintaining a Background Image Model in a Background Subtraction System Using Accumulated Motion
JP2009536731A (ja) * 2006-05-11 2009-10-15 プライム・センス・リミテッド 深度マップによるヒューマノイド形状のモデル化
WO2010007285A1 (fr) * 2008-06-24 2010-01-21 France Telecom Procede et dispositif de remplissage des zones d'occultation d'une carte de profondeur ou de disparites estimee a partir d'au moins deux images
US20100111370A1 (en) * 2008-08-15 2010-05-06 Black Michael J Method and apparatus for estimating body shape

Family Cites Families (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2714152B2 (ja) 1989-06-28 1998-02-16 古野電気株式会社 物体形状測定方法
EP0633546B1 (en) * 1993-07-02 2003-08-27 Siemens Corporate Research, Inc. Background recovery in monocular vision
US5852672A (en) 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
RU2109336C1 (ru) 1995-07-14 1998-04-20 Нурахмед Нурисламович Латыпов Способ погружения пользователя в виртуальную реальность и устройство для его реализации
EP0768511A1 (en) 1995-10-16 1997-04-16 European Community Optical three-dimensional profilometry method based on processing speckle images in partially coherent light, and interferometer implementing such a method
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5864635A (en) 1996-06-14 1999-01-26 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by stroke analysis
US5862256A (en) 1996-06-14 1999-01-19 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by size discrimination
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
JPH10235584A (ja) 1997-02-26 1998-09-08 Kao Corp 物品認識方法及び装置
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU2211799A (en) 1998-01-06 1999-07-26 Video Mouse Group, The Human motion following computer mouse and game controller
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6661918B1 (en) * 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6771818B1 (en) 2000-04-04 2004-08-03 Microsoft Corporation System and process for identifying and locating people or objects in a scene by selectively clustering three-dimensional regions
JP3974359B2 (ja) 2000-10-31 2007-09-12 株式会社東芝 オンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラム
US6816615B2 (en) 2000-11-10 2004-11-09 Microsoft Corporation Implicit page breaks for digitally represented handwriting
US6831632B2 (en) 2001-04-09 2004-12-14 I. C. + Technologies Ltd. Apparatus and methods for hand motion tracking and handwriting recognition
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US7123761B2 (en) 2001-11-20 2006-10-17 Konica Corporation Feature extracting method, subject recognizing method and image processing apparatus
JP4050055B2 (ja) 2002-01-10 2008-02-20 株式会社リコー 手書き文字一括変換装置、手書き文字一括変換方法およびプログラム
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7203356B2 (en) 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US6857746B2 (en) 2002-07-01 2005-02-22 Io2 Technology, Llc Method and system for free-space imaging display and interface
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7583275B2 (en) * 2002-10-15 2009-09-01 University Of Southern California Modeling and video projection for augmented virtual environments
JP4318465B2 (ja) 2002-11-08 2009-08-26 コニカミノルタホールディングス株式会社 人物検出装置および人物検出方法
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
CN1512298A (zh) 2002-12-26 2004-07-14 �ʼҷ����ֵ��ӹɷ����޹�˾ 三维手写识别的方法及其系统
US7573480B2 (en) 2003-05-01 2009-08-11 Sony Corporation System and method for capturing facial and body motion
KR100465241B1 (ko) 2003-03-17 2005-01-13 삼성전자주식회사 가상 필기 평면을 이용한 모션 인식 시스템 및 그 인식방법
KR100518824B1 (ko) 2003-03-17 2005-10-05 삼성전자주식회사 필기 모션 획 구분 인식 시스템 및 그 인식방법
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US7068815B2 (en) 2003-06-13 2006-06-27 Sarnoff Corporation Method and apparatus for ground detection and removal in vision systems
US7565004B2 (en) 2003-06-23 2009-07-21 Shoestring Research, Llc Fiducial designs and pose estimation for augmented reality
JP4723799B2 (ja) 2003-07-08 2011-07-13 株式会社ソニー・コンピュータエンタテインメント 制御システムおよび制御方法
US7317450B2 (en) 2003-09-26 2008-01-08 Khomo Malome T Spatial chirographic sign reader
WO2005034035A1 (en) * 2003-10-07 2005-04-14 Koninklijke Philips Electronics N.V. Depth-map improvement
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US20050088407A1 (en) 2003-10-24 2005-04-28 Matthew Bell Method and system for managing an interactive video display system
US7302099B2 (en) 2003-11-10 2007-11-27 Microsoft Corporation Stroke segmentation for template-based cursive handwriting recognition
US20050215319A1 (en) 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7706571B2 (en) * 2004-10-13 2010-04-27 Sarnoff Corporation Flexible layer tracking with weak online appearance model
US8487879B2 (en) 2004-10-29 2013-07-16 Microsoft Corporation Systems and methods for interacting with a computer through handwriting to a screen
US7555158B2 (en) * 2004-12-07 2009-06-30 Electronics And Telecommunications Research Institute Apparatus for recovering background in image sequence and method thereof
US7428542B1 (en) 2005-05-31 2008-09-23 Reactrix Systems, Inc. Method and system for combining nodes into a mega-node
US7596241B2 (en) 2005-06-30 2009-09-29 General Electric Company System and method for automatic person counting and detection of specific events
WO2007024163A1 (en) 2005-08-22 2007-03-01 Qinzhong Ye Free-space pointing and handwriting
US7499586B2 (en) * 2005-10-04 2009-03-03 Microsoft Corporation Photographing big things
US8400494B2 (en) 2005-10-11 2013-03-19 Primesense Ltd. Method and system for object reconstruction
US7821570B2 (en) * 2005-11-30 2010-10-26 Eastman Kodak Company Adjusting digital image exposure and tone scale
TWI301590B (en) 2005-12-30 2008-10-01 Ibm Handwriting input method, apparatus, system and computer recording medium with a program recorded thereon of capturing video data of real-time handwriting strokes for recognition
CN101496033B (zh) 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
US20070230789A1 (en) 2006-04-03 2007-10-04 Inventec Appliances Corp. Method of controlling an electronic device by handwriting
GB2438449C (en) 2006-05-24 2018-05-30 Sony Computer Entertainment Europe Ltd Control of data processing
WO2008014826A1 (en) * 2006-08-03 2008-02-07 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
KR101094118B1 (ko) 2006-11-29 2011-12-15 에프. 포스잣 후, 엘.엘.씨. 3차원 프로젝션 디스플레이
US8005294B2 (en) 2006-11-29 2011-08-23 The Mitre Corporation Cursive character handwriting recognition system and method
US8144148B2 (en) * 2007-02-08 2012-03-27 Edge 3 Technologies Llc Method and system for vision-based interaction in a virtual environment
JP4645601B2 (ja) * 2007-02-13 2011-03-09 トヨタ自動車株式会社 環境地図の生成方法及び移動ロボット
WO2008103929A2 (en) 2007-02-23 2008-08-28 Johnson Controls Technology Company Video processing systems and methods
JP2008242929A (ja) 2007-03-28 2008-10-09 Oki Data Corp 手書き入力システム
JP4807583B2 (ja) 2007-03-29 2011-11-02 本田技研工業株式会社 射影変換収束演算処理方法
US8493496B2 (en) 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
US20080252596A1 (en) 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
JP5255623B2 (ja) 2007-04-20 2013-08-07 ソフトキネティック エス．エイ． ボリューム認識方法およびシステム
US8139817B2 (en) 2007-04-27 2012-03-20 Telewatch Inc. Face image log creation
CN101055645B (zh) * 2007-05-09 2010-05-26 北京金山软件有限公司 一种阴影实现的方法及装置
TWI343544B (en) 2007-09-26 2011-06-11 Inventec Appliances Corp A handwriting record device
US20090078473A1 (en) 2007-09-26 2009-03-26 Digital Pen Systems Handwriting Capture For Determining Absolute Position Within A Form Layout Using Pen Position Triangulation
US8280106B2 (en) * 2007-09-29 2012-10-02 Samsung Electronics Co., Ltd. Shadow and highlight detection system and method of the same in surveillance camera and recording medium thereof
US7983487B2 (en) 2007-11-07 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for locating and picking objects using active illumination
US8195598B2 (en) 2007-11-16 2012-06-05 Agilence, Inc. Method of and system for hierarchical human/crowd behavior detection
US8379926B2 (en) * 2007-12-13 2013-02-19 Clemson University Vision based real time traffic monitoring
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
EP2093698A1 (en) * 2008-02-19 2009-08-26 British Telecommunications Public Limited Company Crowd congestion analysis
CN101257641A (zh) * 2008-03-14 2008-09-03 清华大学 基于人机交互的平面视频转立体视频的方法
US8165398B2 (en) 2008-05-30 2012-04-24 Sony Ericsson Mobile Communications Ab Method and device for handwriting detection
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
TW201005673A (en) * 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
CN101686338B (zh) * 2008-09-26 2013-12-25 索尼株式会社 分割视频中的前景和背景的系统和方法
US20100195867A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Visual target tracking using model fitting and exemplar
US20100235786A1 (en) 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8379101B2 (en) * 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US20100302138A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
TWI390465B (zh) * 2009-06-19 2013-03-21 Primax Electronics Ltd 用於背景去除之影像處理方法
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US8988432B2 (en) * 2009-11-05 2015-03-24 Microsoft Technology Licensing, Llc Systems and methods for processing an image for target tracking
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US20110164032A1 (en) 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
RU2426172C1 (ru) * 2010-01-21 2011-08-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
US8345930B2 (en) 2010-01-22 2013-01-01 Sri International Method for computing food volume in a method for analyzing food
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8523667B2 (en) 2010-03-29 2013-09-03 Microsoft Corporation Parental control settings based on body dimensions
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US20110292036A1 (en) 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6658136B1 (en) * 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
JP2006146846A (ja) * 2004-10-20 2006-06-08 Kddi Corp 自由視点映像生成装置
JP2008529414A (ja) * 2005-01-28 2008-07-31 ユークリッド・ディスカバリーズ・エルエルシー ビデオデータを処理する装置および方法
JP2007052644A (ja) * 2005-08-18 2007-03-01 Kddi Corp 自由視点映像生成システム
JP2007122508A (ja) * 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
US20080226172A1 (en) * 2006-02-02 2008-09-18 International Business Machines Corporation Method and Apparatus for Maintaining a Background Image Model in a Background Subtraction System Using Accumulated Motion
JP2009536731A (ja) * 2006-05-11 2009-10-15 プライム・センス・リミテッド 深度マップによるヒューマノイド形状のモデル化
WO2010007285A1 (fr) * 2008-06-24 2010-01-21 France Telecom Procede et dispositif de remplissage des zones d'occultation d'une carte de profondeur ou de disparites estimee a partir d'au moins deux images
US20100111370A1 (en) * 2008-08-15 2010-05-06 Black Michael J Method and apparatus for estimating body shape

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
松村 篤志、外４名: ""動的に更新される背景バッファを用いた自由視点映像に対する補完方式"", 映像情報メディア学会誌, vol. 59, no. 6, JPN6014015507, 1 June 2005 (2005-06-01), JP, pages 901 - 908, ISSN: 0002791960 *
石川 彰夫、外２名: ""奥行き情報を伴う背景バッファを用いた自由視点映像補完方式の改良"", 映像情報メディア学会誌, vol. 60, no. 11, JPN6014015505, 1 November 2006 (2006-11-01), JP, pages 1796 - 1802, ISSN: 0002791959 *
石川 彰夫、外２名: ""自由視点映像における背景補完方式"", 画像ラボ, vol. 18, no. 5, JPN6014015502, 1 May 2007 (2007-05-01), JP, pages 29 - 33, ISSN: 0002791958 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015099483A (ja) * 2013-11-19 2015-05-28 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
JP2015121524A (ja) * 2013-11-19 2015-07-02 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
US10311595B2 (en) 2013-11-19 2019-06-04 Canon Kabushiki Kaisha Image processing device and its control method, imaging apparatus, and storage medium
JP2020515351A (ja) * 2017-03-27 2020-05-28 スノー コーポレーション オブジェクトの形状に関する情報を取得する方法および装置
US11403864B2 (en) 2017-03-27 2022-08-02 Snow Corporation Method and apparatus for acquiring information on shape of object
JP2021528798A (ja) * 2018-08-10 2021-10-21 エヌイーシー ラボラトリーズ アメリカ インクＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ． 場面のパラメトリック上面視表現
JP7148718B2 (ja) 2018-08-10 2022-10-05 エヌイーシー ラボラトリーズ アメリカ インク 場面のパラメトリック上面視表現

Also Published As

Publication number Publication date
CN102262725A (zh) 2011-11-30
CN105740839A (zh) 2016-07-06
US8594425B2 (en) 2013-11-26
CN102262725B (zh) 2016-01-20
CN105740839B (zh) 2020-01-14
US20110293137A1 (en) 2011-12-01
US9196045B2 (en) 2015-11-24
US20130230215A1 (en) 2013-09-05
JP5832116B2 (ja) 2015-12-16
US8824737B2 (en) 2014-09-02
US20140333626A1 (en) 2014-11-13
US20130230234A1 (en) 2013-09-05
US8781217B2 (en) 2014-07-15

Similar Documents

Publication Publication Date Title
JP5832116B2 (ja) ３次元場面の分析
US10055851B2 (en) Determining dimension of target object in an image using reference object
US8401225B2 (en) Moving object segmentation using depth images
JP7003628B2 (ja) 物体追跡プログラム、物体追跡装置、及び物体追跡方法
US20110292036A1 (en) Depth sensor with application interface
US7003136B1 (en) Plan-view projections of depth image data for object tracking
US8926431B2 (en) Visual based identity tracking
JP5950296B2 (ja) 人物追跡属性推定装置、人物追跡属性推定方法、プログラム
Pérez-Yus et al. Detection and modelling of staircases using a wearable depth sensor
US20140056472A1 (en) Hand detection, location, and/or tracking
JP2009536731A (ja) 深度マップによるヒューマノイド形状のモデル化
CN112666714A (zh) 注视方向映射
US20130128034A1 (en) Real-Time Player Detection From A Single Calibrated Camera
JP2013242812A (ja) 情報処理装置および情報処理方法
CN107949851B (zh) 在场景内的物体的端点的快速和鲁棒识别
Matikainen et al. Prop-free pointing detection in dynamic cluttered environments
Karbasi et al. Real-time hands detection in depth image by using distance with Kinect camera
Seer et al. Kinects and human kinetics: a new approach for studying crowd behavior
JP2005250692A (ja) 物体の同定方法、移動体同定方法、物体同定プログラム、移動体同定プログラム、物体同定プログラム記録媒体、移動体同定プログラム記録媒体
Albrektsen Using the Kinect Sensor for Social Robotics
JPWO2020026677A1 (ja) 検出装置、処理装置、検出方法、及び処理プログラム
Suau et al. Oriented radial distribution on depth data: application to the detection of end-effectors
CN117593788A (zh) 一种基于计算机视觉的人体姿态分类方法
Seera et al. Kinects and Human Kinetics: A New Approach for Studying Crowd Behavior
Janszen et al. Master Thesis Improving robustness of pose estimation in AR using motion segmentation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140219

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20140219

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140624

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141121

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141225

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150114

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20150130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151027

R150 Certificate of patent or registration of utility model

Ref document number: 5832116

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250