JP2021528781A - 多点ｓｌａｍキャプチャ - Google Patents

多点ｓｌａｍキャプチャ Download PDF

Info

Publication number
JP2021528781A
JP2021528781A JP2020572969A JP2020572969A JP2021528781A JP 2021528781 A JP2021528781 A JP 2021528781A JP 2020572969 A JP2020572969 A JP 2020572969A JP 2020572969 A JP2020572969 A JP 2020572969A JP 2021528781 A JP2021528781 A JP 2021528781A
Authority
JP
Japan
Prior art keywords
feature point
slam
computer
headset
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020572969A
Other languages
English (en)
Other versions
JP7126008B2 (ja
Inventor
テイラー、マイケル
ブラック、グレン
リコ、ハビエル フェルナンデス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2021528781A publication Critical patent/JP2021528781A/ja
Application granted granted Critical
Publication of JP7126008B2 publication Critical patent/JP7126008B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5375—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for graphically or textually suggesting an action, e.g. by displaying an arrow indicating a turn in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5378—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for displaying an additional top view, e.g. radar screens or maps
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/843—Special adaptations for executing a specific game genre or game mode involving concurrently two or more players on the same game device, e.g. requiring the use of a plurality of controllers or of a specific view of game data for each player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/847—Cooperative playing, e.g. requiring coordinated actions from several players to achieve a common goal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

【解決手段】多点ＳＬＡＭキャプチャ複数のそれぞれのカメラ（２０６）に対して見える「点群」内の「特徴点」（６００、７００、８００）（すなわち、カメラによって画像化された対象物のアスペクト）は、特定の特徴点が別の画像に対して一定量「移動した」かどうかを判断できる合成プロセッサ（２０７、１２０２、１３０４）に有線及び／または無線通信パスを介して報告される（１００２）。このようにすると、合成プロセッサは、例えば、三角測量及び共通の特徴の認識を利用して、いずれかの特定のカメラ（２０６）から得た後者の画像がキャプチャされたときに、発生した動きの程度、及びこのカメラが配置された場所を判定することができる。したがって、複数の画像の特徴点の「重なり」が使用されて、その結果システムがループ（３０６）を閉鎖してＳＬＡＭマップ（２１０）を生成する。サーバまたは他のデバイスによって実装され得る合成プロセッサは、複数の画像化デバイスからの特徴点データをマージすることによって、ＳＬＡＭマップを生成する（１００４）。
【選択図】図１

Description

本願は、技術的に発明性のある、必然的にコンピュータ技術に根ざしており、具体的な技術的改善を生じさせる通常にはない解決策に関連する。
同時ローカリゼーション及びマッピング（ＳＬＡＭ）マップは、自律型ロボットが部屋や建物をナビゲートするのに役立ち、また、拡張現実（ＡＲ）ヘッドセットを装着しているときに、ユーザに対して部屋または建物をナビゲートするのにも貢献し得る。本明細書で理解されるように、ＳＬＡＭマップの生成は、ＡＲまたは仮想現実（ＶＲ）の体験を損なうことを避けるために、好ましくは、可能な限り安価で目立たないように行われるべきである。
複数のそれぞれのカメラに対して見える「点群」内の「特徴点」（すなわち、カメラによって画像化された対象物のアスペクト）は、特定の特徴点が別の画像に対して一定量「移動した」かどうかを判断できる合成プロセッサに有線及び／または無線通信パスを介して報告される。このようにすると、合成プロセッサは、例えば、三角測量及び共通の特徴の認識を利用して、いずれかの特定のカメラから得た後者の画像がキャプチャされたときに、発生した動きの程度、及びこのカメラが配置された場所を判定することができる。したがって、複数の画像の特徴点の「重なり」が使用されて、システムがループを閉鎖してＳＬＡＭマップを生成できるようにしている。サーバまたは他のデバイスによって実装され得る合成プロセッサは、複数の画像化デバイスから得た特徴点のデータをマージすることによって、ＳＬＡＭマップを生成する。
本明細書で想定される場合、記憶装置は、一時的信号ではなく、順次少なくとも１つのプロセッサにより実行可能である、第１のデバイスから、点群内の少なくとも第１の特徴点を受信し、第２のデバイスから、点群内の少なくとも第２の特徴点を受信する命令を含む、少なくとも１つのコンピュータ媒体を備える。命令は、第１及び第２の特徴点を使用して同時ローカリゼーション及びマッピング（ＳＬＡＭ）マップを生成することが実行可能である。
実施例では、命令は、デバイス識別情報を第２のデバイスと交換することが実行可能であり得る。
非限定的な実施態様では、第１の特徴点は、第２のデバイスの画像の少なくとも一部を含む。例示的な実施形態では、命令は、少なくとも第３のデバイスから第３の特徴点を受信すること、及び第３の特徴点を使用してＳＬＡＭマップを生成することが実行可能であり得る。いくつかの実施態様では、命令は、第１の特徴点のサイズに少なくとも部分的に基づいて、第１の特徴点までの距離を判定することが実行可能であり得る。所望であれば、いくつかの実施形態は、ＳＬＡＭマップに死角があると判定したことに応答して、第１及び第２のデバイスの少なくとも１つでのコンピュータゲームの提示を変更することが実行可能である命令を含み得る。第１及び第２のデバイスは、コンピュータゲーム用ヘッドセットとして実装され得る。
別の態様では、アセンブリは、それぞれが少なくとも１つのそれぞれのカメラを含む、少なくとも第１及び第２のコンピュータゲーム用ヘッドセットを含む。アセンブリは、第１のコンピュータゲーム用ヘッドセットのそれぞれのカメラを使用して、点群内の特徴点の少なくとも第１の画像を生成し、少なくとも第２のコンピュータゲーム用ヘッドセットから、点群内の特徴点の少なくとも第２の画像を受信し、第１及び第２の画像を使用してＳＬＡＭマップを生成する命令についてプログラムされたプロセッサを含む。
別の態様では、方法は、第１のデバイスから、点群内の少なくとも第１の特徴点を受信すること、第２のデバイスから、点群内の少なくとも第２の特徴点を受信すること、及び第１及び第２の特徴点を使用して同時ローカリゼーション及びマッピング（ＳＬＡＭ）マップを生成することを含む。
本願の詳細は、その構造及び動作の両方について、同様の参照符号が同様の部分を指す添付図を参照して最も良く理解できる。
本原理と一致した例示的なシステムのブロック図である。 ＡＲ／ＶＲヘッドセットを備えた２人のコンピュータゲームプレイヤーを示す特定のシステムのブロック図であり、３人以上のプレイヤーが使用され得ることが理解されている。 本原理と一致する例示的な論理のフローチャートである。 プレイヤーの視野を示す２つのデバイスの概略的な上面図である。 ３つのデバイスの概略的な上面図である。 図５の第１のデバイスによって生成されたＳＬＡＭマップを概略的に示す。 図５の第２のデバイスによって生成されたＳＬＡＭマップを概略的に示す。 図５の第３のデバイスによって生成されたＳＬＡＭマップを概略的に示す。 図６〜８のＳＬＡＭマップを使用して生成された集約ＳＬＡＭマップを概略的に示す。 集約されたＳＬＡＭマップを生成するための例示的な論理のフローチャートである。 例示的なＳＬＡＭマップ生成システムのアーキテクチャのブロック図である。 例示的なＳＬＡＭマップ生成システムのアーキテクチャのブロック図である。 例示的なＳＬＡＭマップ生成システムのアーキテクチャのブロック図である。 ＶＲ／ＡＲヘッドセットに提示して、プレイヤーに既存のＳＬＡＭマップの死角に向かって死角の対象物を画像化するように促すことができる例示的なユーザインタフェースのスクリーンショットである。
複数のユーザが至近距離で相互作用する場合、同時ローカリゼーション及びマッピング（ＳＬＡＭ）マップは、ビデオゲームソフトウェアへの入力として、及び実世界の対象物または互いにぶつかりそうであり得るときにプレイヤーに警告するツールとしても役立ち得る。例えば、これは、拡張現実（ＡＲ）または仮想現実（ＶＲ）のエミュレートされた世界で対話するコンピュータゲームプレイヤーのコンテキストで役立つ場合がある。また、ＳＬＡＭマップは、同じ空間で対話する複数のユーザのそれぞれのデバイスからのカメラの入力を使用して構成することもできる。
本開示は、概して、限定するものではないが、コンピュータゲームネットワーク等の家電製品（ＣＥ）デバイスネットワークの態様を含むコンピュータエコシステムに関する。本明細書のシステムは、クライアントコンポーネントとサーバコンポーネントとの間でデータを交換し得るように、ネットワークを通じて接続されたサーバコンポーネント及びクライアントコンポーネントを含み得る。クライアントコンポーネントは、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）等のゲーム機またはＭｉｃｒｏｓｏｆｔもしくはＮｉｎｔｅｎｄｏもしくは他の製造者によって作成されたゲーム機、仮想現実（ＶＲ）ヘッドセット、拡張現実（ＡＲ）ヘッドセット、ポータブルテレビ（例えば、スマートテレビ、インターネット対応テレビ）、ラップトップ及びタブレットコンピュータ等のポータブルコンピュータ、ならびにスマートフォン及び下記に説明される追加の実施例を含む他のモバイルデバイスを含む、１つ以上のコンピューティングデバイスを含み得る。これらのクライアントデバイスは、様々な動作環境で動作し得る。例えば、クライアントコンピュータの一部は、実施例として、Ｌｉｎｕｘ（登録商標）オペレーティングシステム、Ｍｉｃｒｏｓｏｆｔのオペレーティングシステム、もしくはＵｎｉｘ（登録商標）オペレーティングシステム、またはＡｐｐｌｅ ＣｏｍｐｕｔｅｒもしくはＧｏｏｇｌｅによって製造されたオペレーティングシステムを使用し得る。これらの動作環境は、下記に説明されるインターネットサーバによってホストされるウェブサイトにアクセスできる、ＭｉｃｒｏｓｏｆｔもしくはＧｏｏｇｌｅもしくはＭｏｚｉｌｌａによって作成されたブラウザ、または他のブラウザプログラム等、１つ以上のブラウジングプログラムを実行するために使用され得る。また、本原理に従った動作環境は、１つ以上のコンピュータゲームプログラムを実行するために使用され得る。
サーバ及び／またはゲートウェイは、インターネット等のネットワークを通じてデータを受信及び伝送するサーバを構成する命令を実行する１つ以上のプロセッサを含み得る。または、クライアント及びサーバは、ローカルイントラネットまたは仮想プライベートネットワークを通じて接続できる。サーバまたはコントローラは、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）等のゲーム機、パーソナルコンピュータ等によってインスタンス化され得る。
クライアントとサーバとの間でネットワークを通じて情報を交換し得る。この目的のために、及びセキュリティのために、サーバ及び／またはクライアントは、ファイアウォール、ロードバランサ、一時的記憶装置、及びプロキシ、ならびに信頼性及びセキュリティのための他のネットワークインフラストラクチャを含み得る。１つ以上のサーバは、ネットワークメンバーにオンラインソーシャルウェブサイト等のセキュアコミュニティを提供する方法を実施する装置を形成し得る。
本明細書で使用される場合、命令は、本システムにおいて情報を処理するためのコンピュータにより実施されるステップを指す。命令は、ソフトウェア、ファームウェア、またはハードウェアにおいて実施でき、本システムのコンポーネントによって引き受けられるいずれかのタイプのプログラムされたステップを含み得る。
プロセッサは、アドレスライン、データライン、及び制御ライン等の様々なライン、ならびにレジスタ及びシフトレジスタによって論理を実行できるいずれかの従来の汎用シングルチッププロセッサまたはマルチチッププロセッサであり得る。
本明細書でフローチャート及びユーザインタフェースによって説明されるソフトウェアモジュールは、様々なサブルーチン、手順等を含み得る。本開示を限定することなく、特定のモジュールによって実行されるように規定される論理は、他のソフトウェアモジュールに再分配でき、及び／または単一のモジュールに一緒に組み合わされることができ、及び／または共有可能ライブラリにおいて利用可能にできる。
本明細書で説明される本原理は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせとして実装されてもよく、よって、例示的なコンポーネント、ブロック、モジュール、回路、及びステップは、それらの機能性の観点から示される。
さらに、上で示唆されたものについて、以下で説明される論理ブロック、モジュール、及び回路は、本明細書で説明される機能を実行するよう設計された、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、もしくは特定用途向け集積回路（ＡＳＩＣ）、個別ゲートもしくはトランジスタ論理、個別ハードウェアコンポーネント、またはそれらのいずれかの組み合わせ等の他のプログラマブル論理デバイスにより実装または実行され得る。プロセッサは、コンピューティングデバイスのコントローラもしくは状態機械、または組み合わせによって実装され得る。
以下で説明される機能及び方法は、ソフトウェアにおいて実装されるとき、限定されないが、Ｊａｖａ（登録商標）、Ｃ＃、またはＣ＋＋等の適切な言語において記述されることができ、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）またはデジタル多用途ディスク（ＤＶＤ）等の他の光ディスク記憶装置、磁気ディスク記憶装置または着脱可能サムドライブを含む他の磁気記憶装置等のコンピュータ可読記憶媒体に記憶されることができ、またはそれらを通じて伝送されることができる。接続は、コンピュータ可読媒体を確立し得る。係る接続は、実施例として、光ファイバ、同軸ワイヤ、デジタル加入者回線（ＤＳＬ）、及びツイストペアワイヤを含む有線ケーブルを含むことができる。係る接続は、赤外線及び無線を含む無線通信接続を含み得る。
一実施形態に含まれるコンポーネントは、他の実施形態では、いずれかの適切な組み合わせで使用され得る。例えば、本明細書に説明される及び／または図で示される様々なコンポーネントのいずれかは、組み合わせても、交換させても、または他の実施形態から排除させてもよい。
「Ａ、Ｂ、及びＣのうちの少なくとも１つを有するシステム」（同様に「Ａ、Ｂ、またはＣのうちの少なくとも１つを有するシステム」及び「Ａ、Ｂ、Ｃのうちの少なくとも１つを有するシステム」）は、Ａ単独、Ｂ単独、Ｃ単独、Ａ及びＢを一緒に、Ａ及びＣを一緒に、Ｂ及びＣを一緒に、及び／またはＡ、Ｂ、及びＣを一緒に有するシステム等を含む。
ここで、具体的には図１を参照して、上記に言及された本原理に従って下記にさらに説明される例示的デバイスの１つ以上を含み得る、例示的システム１０を示す。システム１０に含まれる第１の例示的デバイスは、限定するものではないが、テレビチューナ（同様に、テレビを制御するセットトップボックス）を有するインターネット対応テレビ等の音声ビデオデバイス（ＡＶＤ）１２等の家電製品（ＣＥ）デバイスである。しかし、ＡＶＤ１２は、代わりに、電気器具または家庭用品、例えば、コンピュータ制御式インターネット対応冷蔵庫、洗濯機、または乾燥機であり得る。代わりに、ＡＶＤ１２は、また、コンピュータ制御式インターネット対応（「スマート」）電話、タブレットコンピュータ、ノートブックコンピュータ、例えば、コンピュータ制御式インターネット対応時計、コンピュータ制御式インターネット対応ブレスレット、他のコンピュータ制御式インターネット対応デバイス、コンピュータ制御式インターネット対応ミュージックプレイヤ、コンピュータ制御式インターネット対応ヘッドフォン、インプラント可能な皮膚用デバイス等のコンピュータ制御式でインターネット対応のインプラント可能なデバイス等のウェアラブルコンピュータ制御デバイス等であり得る。それにも関わらず、ＡＶＤ１２は、本原理を実施するように構成される（例えば、本原理を実施するように他のＣＥデバイスと通信し、本明細書に説明される論理を実行して、本明細書に説明されるいずれかの他の機能及び／または動作を行う）ことを理解されたい。
したがって、係る原理を実施するために、ＡＶＤ１２は、図１に示されるコンポーネントの一部またはすべてによって確立できる。例えば、ＡＶＤ１２は、高解像度もしくは超解像度の「４Ｋ」またはより高い解像度のフラットスクリーンによって実装され得、ディスプレイのタッチによりユーザ入力信号を受信するためにタッチ対応であり得る１つ以上のディスプレイ１４を含み得る。ＡＶＤ１２は、本原理に従って音声を出力するための１つ以上のスピーカー１６と、例えば、可聴コマンドをＡＶＤ１２に入力して、ＡＶＤ１２を制御するための、例えば、音声受信機／マイクロホン等の少なくとも１つの追加の入力デバイス１８を含み得る。例示的ＡＶＤ１２はまた、１つ以上のプロセッサ２４等の制御の下、インターネット、ＷＡＮ、ＬＡＮ等の少なくとも１つのネットワーク２２を通じて通信するための１つ以上のネットワークインタフェース２０を含み得る。また、グラフィックプロセッサ２４Ａを含み得る。したがって、インタフェース２０は、限定ではないが、Ｗｉ−Ｆｉ送受信機であり得、Ｗｉ−Ｆｉ送受信機は、限定するものではないが、メッシュネットワーク送受信機等の無線コンピュータネットワークインタフェースの実施例である。プロセッサ２４は、例えば、ディスプレイ１４を画像を提示するように制御することや、そこから入力を受信すること等の本明細書に説明されるＡＶＤ１２の他の要素を含む、本原理を実施するようにＡＶＤ１２を制御することが理解されよう。さらに、ネットワークインタフェース２０は、例えば、有線もしくは無線のモデムもしくはルータ、または、例えば、無線テレフォニー送受信機もしくは上述したようにＷｉ−Ｆｉ送受信機等の他の適切なインタフェースであり得ることに留意されたい。
上述に加えて、ＡＶＤ１２はまた、例えば、別のＣＥデバイスに（例えば、有線接続を使用して）物理的に接続する高解像度マルチメディアインタフェース（ＨＤＭＩ（登録商標））ポートもしくはＵＳＢポート、及び／またはヘッドフォンを経由してＡＶＤ１２からユーザに音声を提供するためにＡＶＤ１２にヘッドフォンを接続するためのヘッドフォンポート等の１つ以上の入力ポート２６を含み得る。例えば、入力ポート２６は、音声ビデオコンテンツのケーブルまたはサテライトソース２６ａに有線でまたは無線で接続され得る。よって、ソース２６ａは、例えば、別個のもしくは統合されたセットトップボックス、またはサテライト受信機であってもよい。または、ソース２６ａは、以下でさらに説明されるチャネル割り当て目的でユーザによって好みと見なされることができるコンテンツを含むゲーム機またはディスクプレイヤであってもよい。ソース２６ａは、ゲームコンソールとして実装されるとき、ＣＥデバイス４４に関連して以下で説明されるコンポーネントの一部またはすべてを含んでもよい。
ＡＶＤ１２はさらに、一時的信号でない、ディスクベースまたはソリッドステート記憶装置等の１つ以上のコンピュータメモリ２８を含んでもよく、これらは、いくつかの場合にはスタンドアロンデバイスとして、またはパーソナルビデオレコーディングデバイス（ＰＶＲ）としてＡＶＤのシャーシで具体化され、またはＡＶプログラムを再生するために、ＡＶＤのシャーシの内部もしくは外部のいずれかでビデオディスクプレイヤとして具体化され、または着脱可能メモリ媒体として具体化される。また、いくつかの実施形態では、ＡＶＤ１２は、限定するものではないが、例えば、少なくとも１つのサテライト基地局もしくは携帯電話基地局から地理的位置情報を受信し、情報をプロセッサ２４に提供し、及び／またはＡＶＤ１２がプロセッサ２４と併せて配置される高度を判定するように構成される、携帯電話受信機、ＧＰＳ受信機、及び／または高度計３０等の位置受信機または場所受信機を含み得る。しかし、例えば全３次元において、例えば、ＡＶＤ１２の場所を判定するために、本原理に従って、携帯電話受信機、ＧＰＳ受信機、及び／または高度計以外の別の適切な位置受信機が使用され得ることを理解されたい。
ＡＶＤ１２の説明を続けると、いくつかの実施形態では、ＡＶＤ１２は、１つ以上のカメラ３２を含んでもよく、１つ以上のカメラ３２は、例えば、サーマルイメージングカメラ、ウェブカメラ等のデジタルカメラ、及び／または本原理に従って写真／画像及び／またはビデオを集めるように、ＡＶＤ１２に統合され、プロセッサ２４によって制御可能であるカメラであってもよい。また、ＡＶＤ１２に含まれるのは、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び／または近距離無線通信（ＮＦＣ）技術を各々使用して、他のデバイスと通信するためのＢｌｕｅｔｏｏｔｈ（登録商標）送受信機３４及び他のＮＦＣ要素３６であってもよい。例示的なＮＦＣ要素は、無線周波数識別（ＲＦＩＤ）要素であってもよい。
さらにまた、ＡＶＤ１２は、プロセッサ２４に入力をもたらす１つ以上の補助センサ３７（例えば、加速度計、ジャイロスコープ、サイクロメータ等の運動センサ、または磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度センサ及び／またはケイデンスセンサ、ジェスチャセンサ（例えば、ジェスチャコマンドを検知するためのセンサ）等）を含み得る。ＡＶＤ１２は、プロセッサ２４への入力をもたらすＯＴＡ（無線経由）ＴＶ放送を受信するための無線経由テレビ放送ポート３８を含み得る。上述に加えて、ＡＶＤ１２はまた、ＩＲデータアソシエーション（ＩＲＤＡ）デバイス等の赤外線（ＩＲ）伝送機及び／またはＩＲ受信機及び／またはＩＲ送受信機４２等を含み得ることに留意されたい。ＡＶＤ１２に給電するためのバッテリ（図示せず）が提供され得る。
さらに図１を参照すると、ＡＶＤ１２に加えて、システム１０は、１つ以上の他のＣＥデバイスタイプを含んでもよい。一実施例では、第１のＣＥデバイス４４は、ＡＶＤ１２に直接送信されるコマンドを介して及び／または後述のサーバを通じて、コンピュータゲームの音声及びビデオをＡＶＤ１２に送信するために使用され得る一方、第２のＣＥデバイス４６は第１のＣＥデバイス４４と同様のコンポーネントを含み得る。示される実施例では、第２のＣＥデバイス４６は、示されたようにプレイヤー４７によって装着されるＶＲヘッドセットとして構成され得る。示される実施例では、２つのＣＥデバイス４４、４６だけが示されており、より少ない数またはより多い数のデバイスが使用され得ることが理解される。
示される実施例では、本原理を示すために、全部で３つのデバイス１２、４４、４６は、例えば家庭内のエンターテインメントネットワークのメンバーであること、または少なくとも、住宅等の場所において相互に近接して存在していることが想定される。しかし、本原理は、他に明確に主張されない限り、破線４８によって示される特定の場所に限定されない。
例示的な非限定的な第１のＣＥデバイス４４は、上述のデバイス、例えば、ポータブル無線ラップトップコンピュータまたはノートブックコンピュータまたはゲームコントローラ（「コンソール」とも称される）のいずれか１つによって確立されてもよく、したがって、以下で説明される１つ以上のコンポーネントを有してもよい。第１のＣＥデバイス４４は、例えば、ＡＶ再生コマンド及び一時停止コマンドをＡＶＤ１２に発行するためのリモート制御（ＲＣ）であってもよく、またはタブレットコンピュータ、有線もしくは無線リンクを介してＡＶＤ１２と通信するゲームコントローラ、パーソナルコンピュータ、無線電話等のより高性能のデバイスであってもよい。
したがって、第１のＣＥデバイス４４は１つ以上のディスプレイ５０を含み得、１つ以上のディスプレイ５０はディスプレイのタッチによりユーザ入力信号を受信するためのタッチ式であり得る。第１のＣＥデバイス４４は、本原理に従って音声を出力するための１つ以上のスピーカー５２、及び、例えば、デバイス４４を制御するために可聴コマンドを第１のＣＥデバイス４４に入力するための、例えば、音声受信機／マイクロホン等の少なくとも１つの追加入力デバイス５４を含み得る。例示的な第１のＣＥデバイス４４はまた、１つ以上のＣＥデバイスプロセッサ５８の制御の下、ネットワーク２２を通じて通信するための１つ以上のネットワークインタフェース５６を含み得る。また、グラフィックプロセッサ５８Ａを含み得る。したがって、インタフェース５６は、限定ではないが、Ｗｉ−Ｆｉ送受信機であり得、Ｗｉ−Ｆｉ送受信機は、メッシュネットワークインタフェースを含む無線コンピュータネットワークインタフェースの実施例である。プロセッサ５８は、本原理を実施するように第１のＣＥデバイス４４を制御する、例えば、画像を提示するようにディスプレイ５０を制御すること、及びそこから入力を受信すること等の本明細書に説明される第１のＣＥデバイス４４の他の要素を含むことが理解されよう。さらに、ネットワークインタフェース５６は、例えば、有線もしくは無線のモデムもしくはルータ、または、例えば、無線テレフォニー送受信機もしくは上述したＷｉ−Ｆｉ送受信機等の他の適切なインタフェース、であり得ることに留意されたい。
上述に加えて、第１のＣＥデバイス４４はまた、例えば、別のＣＥデバイスに物理的に接続する（例えば、有線接続を使用して）ＨＤＭＩ（登録商標）ポートもしくはＵＳＢポート、及び／またはヘッドフォンを経由して第１のＣＥデバイス４４からユーザに音声を提示するために第１のＣＥデバイス４４にヘッドフォンを接続するためのヘッドフォンポート等の１つ以上の入力ポート６０を含み得る。第１のＣＥデバイス４４は、さらに、ディスクベースまたはソリッドステート記憶装置等の１つ以上の有形コンピュータ可読記憶媒体６２を含み得る。また、いくつかの実施形態では、第１のＣＥデバイス４４は、限定するものではないが、例えば、三角測量を使用して、少なくとも１つのサテライト基地局及び／または携帯電話基地局からの地理的位置情報を受信し、ＣＥデバイスプロセッサ５８に情報を提供し、及び／または第１のＣＥデバイス４４がＣＥデバイスプロセッサ５８と併せて配置される高度を判定するように構成される、携帯電話及び／またはＧＰＳ受信機及び／または高度計６４等の位置受信機または場所受信機を含むことができる。しかし、例えば全３次元において、例えば、第１のＣＥデバイス４４の位置を判定するために、本原理に従って携帯電話及び／またはＧＰＳ受信機及び／または高度計以外の別の適切な位置受信機が使用され得ることを理解されたい。
第１のＣＥデバイス４４の説明を続けると、いくつかの実施形態では、第１のＣＥデバイス４４は、１つ以上のカメラ６６を含んでもよく、１つ以上のカメラ６６は、例えば、サーマルイメージングカメラ、ウェブカメラ等のデジタルカメラ、及び／または第１のＣＥデバイス４４に統合され、本原理に従ってピクチャ／画像及び／またはビデオを収集するようＣＥデバイスプロセッサ５８によって制御可能であるカメラであってもよい。また、第１のＣＥデバイス４４に含まれるのは、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び／または近距離無線通信（ＮＦＣ）技術を各々使用して、他のデバイスと通信するためのＢｌｕｅｔｏｏｔｈ（登録商標）送受信機６８及び他のＮＦＣ要素７０であり得る。例示的なＮＦＣ要素は、無線周波数識別（ＲＦＩＤ）要素であり得る。
さらにまた、第１のＣＥデバイス４４は、ＣＥデバイスプロセッサ５８に対する入力をもたらす１つ以上の補助センサ７２（例えば、加速度計、ジャイロスコープ、サイクロメータ等の運動センサ、または磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度及び／またはケイデンスセンサ、ジェスチャセンサ（例えば、ジェスチャコマンドを検知するため）等）を含んでもよい。第１のＣＥデバイス４４は、例えば、１つ以上の気候センサ７４（例えば、気圧計、湿度センサ、風力センサ、光センサ、温度センサ等）及び／またはＣＥデバイスプロセッサ５８に対する入力をもたらす１つ以上の生体センサ７６等のさらに他のセンサを含み得る。上述したことに加え、いくつかの実施形態では、第１のＣＥデバイス４４は、赤外線（ＩＲ）データアソシエーション（ＩＲＤＡ）デバイス等のＩＲ送信機及び／またはＩＲ受信機及び／またはＩＲ送受信機７８も含んでもよいことに留意されたい。第１のＣＥデバイス４４に給電するためのバッテリ（図示せず）が提供され得る。ＣＥデバイス４４は、上記に説明した通信モード及び関連するコンポーネントのいずれかによってＡＶＤ１２と通信し得る。
第２のＣＥデバイス４６は、ＣＥデバイス４４に関して示されるコンポーネントの一部またはすべてを含み得る。ＣＥデバイスの１つまたは両方のいずれかは、１つ以上のバッテリによって供電され得る。
ここで、上記言及された少なくとも１つのサーバ８０と関連して、それは、少なくとも１つのサーバプロセッサ８２、ディスクベースまたはソリッドステート記憶装置等の少なくとも１つの有形コンピュータ可読記憶媒体８４、及びサーバプロセッサ８２の制御の下、ネットワーク２２を通じて図１の他のデバイスとの通信を可能にし、実際に、本原理に従ってサーバとクライアントデバイスとの間の通信を促進し得る少なくとも１つのネットワークインタフェース８６を含む。ネットワークインタフェース８６は、例えば、有線もしくは無線のモデムもしくはルータ、Ｗｉ−Ｆｉ送受信機、または、例えば、無線テレフォニー送受信機等の他の適切なインタフェースであり得ることに留意されたい。
したがって、いくつかの実施形態では、サーバ８０は、インターネットサーバまたはサーバ「ファーム」全体であり得、「クラウド」機能を含み得、「クラウド」機能を行い得、それにより、システム１０のデバイスは、例えば、ネットワークゲーミングアプリケーションに関する例示的な実施形態ではサーバ８０を介して「クラウド」環境にアクセスし得る。または、サーバ８０は、１つ以上のゲーム機、または図１に示される他のデバイスと同じ部屋もしくはその近くにある他のコンピュータによって実装され得る。
本明細書における方法は、当業者によって認識されるように、プロセッサ、適切に構成された特定用途向け集積回路（ＡＳＩＣ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）モジュール、またはいずれかの他の便利な方式によって実行されるソフトウェア命令として実装されてもよい。採用される場合、ソフトウェア命令は、ＣＤ ＲＯＭまたはフラッシュドライブ等の非一時的デバイスにおいて具体化されてもよい。代わりに、ソフトウェアコード命令は、無線機もしくは光信号等の一時的な配列において、またはインターネットを通じたダウンロードを介して具体化され得る。
図２は、家具等の１つまたは複数の実世界の対象物２０２が配置されている部屋にいる２人より多いコンピュータゲームプレイヤー２００が、それぞれ、例えば、図１に示され、上記のＣＥデバイス４６の適切なコンポーネントのうちの１つまたは複数を実装するヘッドセット４７によって実装され得る、それぞれのＡＲ及び／またはＶＲヘッドセット２０４を装着してもよいことを示している。したがって、各ヘッドセット２０４は、それぞれのプレイヤー２００の周りの空間を画像化することができ、任意の適切な向き、例えば前向きで、すなわち意図したとおりにヘッドセットを装着したときプレイヤーが向くのと同じ方向を向いて、ヘッドセットに取り付けてもよい、それぞれの静止カメラまたはビデオカメラ２０６を含んでもよい。
ヘッドセット２０４はまた、本明細書の原理と一致する１つまたは複数のＳＬＡＭマップ２１０を生成するために、１つまたは複数のコンピュータ記憶装置２０８にアクセスする１つまたは複数のプロセッサ２０７に、それぞれのカメラ２０６及びプレイヤー／デバイスの個人識別から画像を送信する有線及び／または無線の送受信機を含み得る。ＳＬＡＭマップ及び関連情報は、それぞれのヘッドセット上またはその中のスピーカー及び／またはビデオディスプレイ等のそれぞれのディスプレイ２１２、またはＡＶＤ１２または他のディスプレイデバイスに提示され得る。１つまたは複数のプロセッサ２０７は、様々なアーキテクチャで実装されてもよく、そのうちの３つは、図１１〜１３を参照して後述される。必要に応じて、各プレイヤー及び／またはヘッドセットは、全地球測位衛星（ＧＰＳ）の受信機２１４等のそれぞれの位置特定デバイスに関連付けられ得る。
図３は、本原理と一致する全体的な論理を示す。ブロック３００で開始して、各プレイヤーの位置は、例えば、それぞれのＧＰＳ受信機２１４によって示されるようにそれらの位置を記録することによって初期化される。ブロック３０２に移動すると、各ヘッドセットの各カメラは、その視野の対象物及び他のプレイヤーの一部を含み得る特徴点を画像化し、事実上、領域の特徴及び記述子を抽出する。ブロック３０４は、プレイヤー及びそれぞれのカメラからの画像が記録され続けることを示す。各プレイヤーのヘッドセットは、その個人識別情報を他のヘッドセットと交換してもよく、そのため画像を生成する各ヘッドセットのユーザ情報を認識し、生成する画像に関連付けることができることに留意されたい。
ブロック３０６に進むと、ループクロージャは、以下でさらに説明するように、様々なカメラの各デバイスによって提供される領域の特徴及び記述子を集約ＳＬＡＭマップに結合することにより影響を受ける。このループクロージャは、ブロック３０２及び３０４で生成された特徴点の画像を受信するサーバ等の合成プロセッサによって影響を受ける場合がある。決定の菱形３０８で、ブロック３０６からの集約されたＳＬＡＭマップに死角が存在すると判定された場合、論理は、ブロック３１０に移動して、プレイヤー１人または複数によってプレイされているコンピュータゲームを変更するか、そうでなければプレイヤーの１人に当人のカメラがＳＬＡＭマップによって示される死角に向けられるように、向きを変えるよう命令し得る。例えば、特定のプレイヤーの背後にある集約されたＳＬＡＭマップに対象物が存在しないと論理が判定した場合、そのプレイヤーの背後のスペースはまだ画像化されておらず、そのため死角であると推測され得る。そのプレイヤーまたは別のプレイヤーは、例えば、プレイヤーのヘッドセットのゲームの提示を変更することによって、死角を形成する領域に向かって向きを変え、それによってそれぞれのカメラに死角を画像化させるように命令され得る。
図４は、本明細書で「ヘッドセット０」と呼ばれている第１のプレイヤーのヘッドセットが、ＦＯＶ角度４００の視野（ＦＯＶ）を提供するカメラを有し得ることを示す。第１のヘッドセット「０」は、ＦＯＶ軸４０２を有し得る。このカメラは、ＳＬＡＭマップを生成する目的で静止画像またはビデオ画像を生成するために、相補型金属酸化膜半導体（ＣＭＯＳ）カメラによって実装され得る。
同様に、第２のヘッドセット「Ａ」は、ＦＯＶ軸４０６を備えたＦＯＶ角度４０４の視野（ＦＯＶ）を提供するカメラを有し得る。３つ以上のヘッドセットを使用してもよい。示されている実施例では、例えば、それぞれのＶＲ／ＡＲヘッドセットの各カメラは、例えば、それぞれのＶＲ／ＡＲヘッドセットの他のカメラのＦＯＶ内にあり、カメラのＦＯＶは、示されているように重なっている。カメラ、例えば、それぞれのＶＲ／ＡＲヘッドセット０、Ａで、光学マイクロメッシュを確立する。
図５は、例えば、本明細書に記載のデバイスのいずれかによって実装されたそれぞれのＶＲ／ＡＲヘッドセット０、Ａ、Ｂにある３つのカメラを備えたシステム５００を示す。以下でさらに明らかにするように、各デバイス（カメラ付きヘッドセット等）は、その視野にある他のデバイスを含む特徴点を画像化することによって、ＳＬＡＭマップを構築するのに役立つ独自の情報を生成する（他の実施形態では、サーバまたは調整デバイスは、各デバイスから画像ストリームを受信し、ＳＬＡＭマップ自体を生成する場合があることを理解されたい）。特徴点（すべてのデバイス由来の領域の特徴及び記述子等）は、ユーザ定義であり得る参照位置として共に集約される。示される実施例では、以下の開示は、システム５００の中央に位置する参照位置５０２を想定している。他の参照位置をモデル化してもよく、それは、ヘッドセット０、Ａ、Ｂの１つを装着しているプレイヤーの１人を参照位置として使用することを含む。説明の目的で、矢印５０４、５０６、５０８がそれぞれ、各カメラ０、Ａ、Ｂの視野の中心線軸を表すと仮定している。
図５の上記の説明を念頭に置いて、図６〜図８はそれぞれ、ＦＯＶの他のデバイスの各カメラデバイス０、Ａ、Ｂによって生成された特徴及び記述子６００、７００、８００を示す。示されている実施例における、特徴点の一部、他のデバイスの画像は、他のものよりも大きい。なぜなら、大きい画像に対応するデバイスが、小さい画像に対応するデバイスよりも、画像化デバイスに近いためである。情報は、示されているように３Ｄの情報であり得、デバイスの相対的な位置は、以下のさらなる説明に従って、他のデバイスに知られている。したがって、各デバイスは、それぞれの中心線軸が向いている方向、したがってその中心線軸からの各特徴点の角度のオフセットを知っている、画像化デバイスに対する特徴点及びそれらの相対的な位置を生成する。デバイスの絶対的な位置は、必要に応じて、例えば、そのＧＰＳ位置を使用して、デバイスのいずれか１つの絶対的な位置を使用して判定してもよい。
各特徴点までの距離は、その画像のサイズを距離と相関させることによって判定してもよい。例えば、各プレイヤーのサイズは、一般に、例えば、６フィートの高さの成人として知られて、各デバイスに事前にプログラムされ得るので、参照画像サイズ、例えば高さは、参照距離と相関させることができる。次に、線形補間を使用して、参照サイズよりも小さい特徴点サイズを参照距離よりも長い距離に関連付け、参照サイズよりも大きい特徴点サイズを参照距離よりも短い距離に関連付けることができる。
ＳＬＡＭマップ情報６００、７００、８００は、図５の参照位置５０２を参照する図９の単一の集約ＳＬＡＭマップ９００に集約される。集約ＳＬＡＭマップ９００の各特徴点のアスペクトが、各デバイスが参照位置５０２からの角度及び距離について、必要に応じて変更される。これは、示されている実施例の３つの特徴点／デバイスのそれぞれがＳＬＡＭマップの構築に使用される３つの画像のうちの２つに存在し、各画像化デバイスに異なるアスペクトを提示するために行われ得る。本明細書で説明するプロセッサの１つまたは複数は、図９の集約されたＳＬＡＭマップ９００に示されているように、グラフィックエンジンを実行して、画像化された各特徴点の複数のアスペクトにアクセスし、参照点５０２から見たときに提示するアスペクトを備えた特徴点の単一の画像を提示することができる。
図１０をさらに説明する。ブロック１０００から開始して、カメラ０、Ａ、及びＢ（例えば、それぞれのプレイヤーのヘッドセット上）は、それらのＦＯＶの他の実世界の対象物と同様に、互いを画像化する。ブロック１００２で、ヘッドセットは、個人識別を交換するか、そうでなければ画像認識を使用して互いに認識し得、その結果、各デバイスは、例えば、他のデバイスのサイズ（ＩＤに基づく）及び画像化デバイスに対するデバイスの相対的な位置を知ることができる。この情報は、合成プロセッサに送信される場合がある。さらに、必要に応じて、各カメラの視野の１つ以上の特徴点を使用して、特徴点の特定の／共通の点と色を参照することにより、画像をつなぎ合わせるのに役立てることができる。換言すれば、合成プロセッサは、特徴点に対して画像認識アルゴリズムを実行することから得られた画像の情報または画像認識情報等の情報を受信して、１つまたは複数のＣＥデバイスではない対象物（例えば、ペン、プロジェクタ、椅子等）を判定する。次に、合成プロセッサは、他のデバイスから受信した情報を比較して、画像間の共通の特徴点を識別し、このようにして、一般に認識される対象物を、ＳＬＡＭマップを生成する際の参照点として使用し得る。
ブロック１００４において、ＳＬＡＭマップ情報６００〜８００は、合成プロセッサによって生成される。デバイスの位置は、上記の例示的な原理を使用してブロック１００６で判定され、デバイスの位置及び集約されたＳＬＡＭマップの参照位置に基づいて、集約されたＳＬＡＭマップ９００が上記のように生成される。
別の実施形態では、合成の３ＤのＳＬＡＭマッピングは、上記の原理を使用して実行し得るが、ただし、複数のカメラを使用する代わりに、単一のカメラを使用して第１の場所で３Ｄ画像を生成し、次に他の場所に移動して同じ対象物の追加の３Ｄ画像を生成しており、様々な画像がつなぎ合わされている。
図１１は、各カメラ搭載デバイス１１００、１１０２（ＶＲ／ＡＲヘッドセット等）が、空間内の他のデバイス１１０２、１１００のそれぞれからエリア特徴及び記述子情報を受信し、複合ＳＬＡＭマップを生成し、それをそれぞれのディスプレイ１１０４、１１０６に出力するピアツーピア（Ｐ２Ｐ）アーキテクチャを示す。一方、図１２は、各カメラ搭載デバイス１２００（ＶＲ／ＡＲヘッドセット等）がその特徴点の情報をコンピュータゲームコンソールまたは他のデバイス等の基地局コンピュータ１２０２に出力する、基地局実装アーキテクチャを示しており、これは複合ＳＬＡＭマップを生成し、それを図１に示されるＡＶＤ１２等のディスプレイ１２０４に出力する。さらにまた、図１３は、各カメラ搭載デバイス１３００（ＶＲ／ＡＲヘッドセット等）が、その特徴点の情報をクラウドサーバ１３０４に出力するクラウドアーキテクチャを示しており、これは、複合ＳＬＡＭマップを生成し、それを、各ヘッドセットのビデオディスプレイまたは図１に示されるＡＶＤ１２等の１つまたは複数のディスプレイ１３０２に出力する。
図１４は、図３を参照して上述した原理を示しており、死角に囲まれた領域に特徴点が表示されていないことに基づいて、そのように識別された場合がある複合ＳＬＡＭマップ内の死角を画像化している。本明細書に記載のヘッドセットのいずれかに関連するディスプレイ等のディスプレイ１４００を使用して、プレイ中のコンピュータゲームのコンテキストで、またはヘッドセットの着用者を死角の方向に向けさせるセットアップモードでメッセージ１４０２を提示し、ヘッドセットのカメラが死角を画像化するようにする。この効果に対する明示的なビデオ及び／または可聴及び／または触覚メッセージ１４０４が提示され得る。この実施例では、死角はメッセージを送信されているプレイヤーの右側にあると想定されている。したがって、プレイヤーに対して右側を見させるテキストメッセージまたはビジュアルグラフィックを使用してもよく、及び／または３Ｄオーディオを使用して、明確な音源のためにプレイヤーに対して右側を見させるべく、あたかもプレイヤーの右側から来ているかのようにオーディオをプレイヤーに提示し得る。また、ヘッドセットのフレームの右側部分で発生する振動を使用して、プレイヤーに右側を見させてもよい。
複合ＳＬＡＭマップ１４０６はまた、上記の原理と一致するディスプレイ１４００に提示され得る。示されている実施例では、ヘッドセットの着用者の位置が示されている。「Ｂｏｂ」という名前の別のプレイヤー、及び部屋の実世界のテーブルも示されており、後者は、着用者がテーブルにつまずくのを防ぐのに役立つ。
したがって、プレイヤー／ヘッドセットの着用者をコンピュータゲームを通じて死角の方向に向けるように導くことにより、着用者のカメラがＳＬＡＭの対象物を画像化した唯一のカメラである場合でも、他の人のヘッドセット／システムは依然として、新たに発見された対象物（複数可）を組み込んだ複合ＳＬＡＭマップを介して、死角で発見された対象物が通知され得る。
上記に加えて、同じ特徴点が異なる視点から画像化されていることを知るために、本明細書に開示される１つまたは複数のデバイスは、特徴点に向かって音を送信し、特徴点からのエコーを検出し、それによってそれを位置特定し得る。あるいは、別のプレイヤーが対象物を記録して画像化してもよく、その結果、他のプレイヤーが生成した画像の特徴点がわかる。特徴点は、プレイヤーがすでにマッピングされた部屋に入るとすぐに識別され得る。
赤外線（ＩＲ）信号も使用してもよく、各特徴点が潜在的に独自のＩＲシグネチャを生成する。例えば、第１のデバイスは、例えば特徴点を認識した後、ＩＲ光を特徴点に向けてもよい。次に、第２のデバイスが、同じ特徴点を画像化し、検出されたＩＲ光に基づいてＳＬＡＭマップの生成及び集約に使用するために、それを同じ対象物として承認／認識し得る。これは、ＩＲ光が特定の特徴点で跳ね返っていることを知る第１のデバイスとの通信に基づいていてもよく、また特徴点からのＩＲ光／シグナチャをそれ自体が検出することに基づいて、したがって、第２のデバイスからの画像（複数可）に示されるように、ＩＲ光の特徴点を第１のデバイスからの同じ特徴点であるとして識別してもよい。
前述の通り、プレイヤーを追跡し得る。プレイヤーが対象物／特徴点または別のプレイヤーにぶつかりそうな場合、例えば、部屋のＳＬＡＭ表現を使用し、部屋にいる２人のユーザが共有しているＶＲ体験中に、警告が生成される場合がある。
ＳＬＡＭマップの情報を合成することによるループクロージャの上記の原理は、ＳＬＡＭマッピングのエラーを減らす。フィルターを使用してエラーを補正してもよい。上記の初期のプレイヤーのローカリゼーションでは、各プレイヤーは、空間を画像化するために完全な３６０度の円を回転するように命令される場合がある。視覚的形状、ＧＰＳ、ならびにジャイロスコープ及び加速度計等の運動センサも使用してもよい。
デジタル博物館の展示等、厳密にコンピュータゲーム以外のデジタル展示も、本原理を実装し得る。同様に、ヘッドセットだけでなく、ドローン及びロボットも上記のコンポーネントを実装し得る。リモートクラウドコンピューティングを使用してループクロージャを実行でき、アスペクト比が異なるカメラの場合、プロセッサを使用して画像を正規化し、共有のアスペクト比にそれらを変換できる。
特定の技術及び機械が本明細書に示され、詳細に説明されているが、本発明に含まれる主題は、特許請求の範囲によってのみ限定されることが理解されるべきである。

Claims (20)

  1. 記憶装置であって、
    一時的信号ではなく、少なくとも１つのプロセッサによって実行可能な命令を含む、少なくとも１つのコンピュータ媒体であって、
    第１のデバイスから、点群内の少なくとも第１の特徴点を受信することと、
    第２のデバイスから、点群内の少なくとも第２の特徴点を受信することと、
    前記第１及び第２の特徴点を使用して同時ローカリゼーション及びマッピング（ＳＬＡＭ）マップを生成することとが実行可能である、前記命令を含む前記少なくとも１つのコンピュータ媒体を含む、記憶装置。
  2. 前記命令は、
    デバイス識別情報を前記第２のデバイスと交換すること
    が実行可能である、請求項１に記載の記憶装置。
  3. 前記第１の特徴点が、前記第２のデバイスの画像の少なくとも一部を含む、請求項１に記載の記憶装置。
  4. 前記命令は、
    少なくとも第３のデバイスから第３の特徴点を受信することと、
    前記第３の特徴点を使用して前記ＳＬＡＭマップを生成することと
    が実行可能である、請求項１に記載の記憶装置。
  5. 前記命令は、
    第１の特徴点のサイズに少なくとも部分的に基づいて、前記第１の特徴点までの距離を判定すること
    が実行可能である、請求項１に記載の記憶装置。
  6. 前記命令は、
    前記ＳＬＡＭマップに死角があると判定したことに応答して、前記第１及び第２のデバイスの少なくとも１つでのコンピュータゲームの提示を変更すること
    が実行可能である、請求項１に記載の記憶装置。
  7. 前記第１及び第２のデバイスは、コンピュータゲーム用ヘッドセットとして実装される、請求項１に記載の記憶装置。
  8. アセンブリであって、
    それぞれが少なくとも１つのそれぞれのカメラを含む、少なくとも第１及び第２のコンピュータゲーム用ヘッドセット、
    前記第１のコンピュータゲーム用ヘッドセットの前記それぞれのカメラを使用して、点群内の特徴点の少なくとも第１の画像を生成することと、
    少なくとも前記第２のコンピュータゲーム用ヘッドセットから、点群内の特徴点の少なくとも第２の画像を受信することと、
    前記第１及び第２の画像を使用してＳＬＡＭマップを生成することとの命令についてプログラムされたプロセッサを含む、アセンブリ。
  9. 前記命令は、
    デバイス識別情報を前記第２のデバイスと交換すること
    が実行可能である、請求項８に記載のアセンブリ。
  10. 前記第２のデバイスからの前記特徴点は、前記第２のコンピュータゲーム用ヘッドセットで取得された前記第１のコンピュータゲーム用ヘッドセットの画像を含む、請求項８に記載のアセンブリ。
  11. 前記命令は、
    点群内の特徴点の画像を含む情報を少なくとも第３のコンピュータゲーム用ヘッドセットから受信することと、
    前記第３の情報を使用して前記ＳＬＡＭマップを生成することと
    を実行可能である、請求項８に記載のアセンブリ。
  12. 前記命令は、
    前記特徴点のサイズに少なくとも部分的に基づいて、前記第１の画像の特徴点に対応するコンピュータゲーム用ヘッドセットまでの距離を判定すること
    を実行可能である、請求項８に記載のアセンブリ。
  13. 前記命令は、
    前記ＳＬＡＭマップに死角があると判定したことに応答して、前記第１及び第２のコンピュータゲーム用ヘッドセットの少なくとも１つでのコンピュータゲームの提示を変更する、請求項８に記載のアセンブリ。
  14. 前記死角への方向転換を促すことによって、前記提示が少なくとも部分的に変更される、請求項１３に記載のアセンブリ。
  15. 方法であって、
    第１のデバイスから、点群内の少なくとも第１の特徴点を受信することと、
    第２のデバイスから、点群内の少なくとも第２の特徴点を受信することと、
    前記第１及び第２の特徴点を使用して同時ローカリゼーション及びマッピング（ＳＬＡＭ）マップを生成することと
    を含む、方法。
  16. デバイス識別情報を前記第２のデバイスと交換すること
    を含む、請求項１５に記載の方法。
  17. 前記第１の特徴点が、前記第２のデバイスの画像の少なくとも一部を含む、請求項１５に記載の方法。
  18. 少なくとも第３のデバイスから第３の特徴点を受信することと、
    前記第３の特徴点を使用して前記ＳＬＡＭマップを生成することと
    を含む、請求項１５に記載の方法。
  19. 第１の特徴点のサイズに少なくとも部分的に基づいて、前記第１の特徴点までの距離を判定すること
    を含む、請求項１５に記載の方法。
  20. 前記ＳＬＡＭマップに死角があると判定したことに応答して、前記第１及び第２のデバイスの少なくとも１つでのコンピュータゲームの提示を変更すること
    を含む、請求項１５に記載の方法。
JP2020572969A 2018-06-26 2019-06-05 多点ｓｌａｍキャプチャ Active JP7126008B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/019,140 2018-06-26
US16/019,140 US10549186B2 (en) 2018-06-26 2018-06-26 Multipoint SLAM capture
PCT/US2019/035589 WO2020005485A1 (en) 2018-06-26 2019-06-05 Multipoint slam capture

Publications (2)

Publication Number Publication Date
JP2021528781A true JP2021528781A (ja) 2021-10-21
JP7126008B2 JP7126008B2 (ja) 2022-08-25

Family

ID=68981361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020572969A Active JP7126008B2 (ja) 2018-06-26 2019-06-05 多点ｓｌａｍキャプチャ

Country Status (5)

Country Link
US (2) US10549186B2 (ja)
EP (1) EP3815077A4 (ja)
JP (1) JP7126008B2 (ja)
CN (1) CN112334969B (ja)
WO (1) WO2020005485A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10549186B2 (en) * 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
US11133993B2 (en) 2019-02-28 2021-09-28 At&T Intellectual Property I, L.P. Augmented/mixed reality virtual venue pipeline optimization
CN112013844B (zh) * 2019-05-31 2022-02-11 北京小米智能科技有限公司 建立室内环境地图的方法及装置
US11429113B2 (en) * 2019-08-08 2022-08-30 Lg Electronics Inc. Serving system using robot and operation method thereof
US10846940B1 (en) 2020-02-24 2020-11-24 SpotMap, Inc. Multi-modality localization of users

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012145981A (ja) * 2011-01-06 2012-08-02 Nintendo Co Ltd 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP2014518596A (ja) * 2011-03-29 2014-07-31 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
JP2016500885A (ja) * 2012-10-31 2016-01-14 クアルコム，インコーポレイテッド コンピュータビジョンベースの追跡のために複数のマップをマージするシステムおよび方法
JP2016528476A (ja) * 2013-04-30 2016-09-15 クアルコム，インコーポレイテッド Ｓｌａｍマップからのワイドエリア位置推定
WO2017213070A1 (ja) * 2016-06-07 2017-12-14 ソニー株式会社 情報処理装置および方法、並びに記録媒体

Family Cites Families (188)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6442465B2 (en) 1992-05-05 2002-08-27 Automotive Technologies International, Inc. Vehicular component control systems and methods
IL90521A0 (en) 1989-06-04 1990-01-18 Elscint Ltd Dual slice scanner
US6420698B1 (en) 1997-04-24 2002-07-16 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three-dimensional objects
US6970183B1 (en) 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
WO2000025089A1 (en) 1998-10-28 2000-05-04 Measurement Devices Limited Apparatus and method for obtaining 3d images
US6291816B1 (en) 1999-06-08 2001-09-18 Robotic Vision Systems, Inc. System and method for measuring object features with coordinated two and three dimensional imaging
US6856314B2 (en) 2002-04-18 2005-02-15 Stmicroelectronics, Inc. Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling
US7236705B2 (en) 2002-06-03 2007-06-26 Clearmesh Networks, Inc. Methods and systems for aligning and maintaining alignment of point-to-point transceivers in a network
US6664501B1 (en) 2002-06-13 2003-12-16 Igor Troitski Method for creating laser-induced color images within three-dimensional transparent media
EP1570683A1 (en) 2002-11-21 2005-09-07 Vision III Imaging, Inc. Critical alignment of parallax images for autostereoscopic display
US7095488B2 (en) 2003-01-21 2006-08-22 Rosemount Aerospace Inc. System for profiling objects on terrain forward and below an aircraft utilizing a cross-track laser altimeter
US20040141753A1 (en) 2003-01-21 2004-07-22 Lightpointe Communications, Inc. Apparatus and method for tracking in free-space optical communication systems
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US7643025B2 (en) 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
US7965732B2 (en) 2004-03-19 2011-06-21 Fujitsu Limited Scheduling token-controlled data transmissions in communication networks
US7489638B2 (en) 2004-04-08 2009-02-10 Alcatel-Lucent Usa Inc. Scheduling with delayed graphs for communication networks
JP2006010508A (ja) 2004-06-25 2006-01-12 Konica Minolta Sensing Inc マルチアングル測色計
CA2511040A1 (en) 2004-09-23 2006-03-23 The Governors Of The University Of Alberta Method and system for real time image rendering
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
JP2006279563A (ja) 2005-03-29 2006-10-12 Pioneer Electronic Corp 画質調整装置、画質調整方法およびディスプレイ装置
US20090080885A1 (en) 2005-05-27 2009-03-26 Research Triangel Institute Scheduling method and system for optical burst switched networks
CA2553473A1 (en) 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
KR100834761B1 (ko) * 2005-11-23 2008-06-05 삼성전자주식회사 이동 로봇의 자기 위치 인식 방법 및 장치
JP2009519625A (ja) 2005-12-02 2009-05-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像信号の深度依存性フィルタリング
US8107762B2 (en) 2006-03-17 2012-01-31 Qualcomm Incorporated Systems, methods, and apparatus for exposure control
TR201810139T4 (tr) 2006-03-31 2018-08-27 Koninklijke Philips Nv Çoklu görünümler için etkili görüntü alıcısı.
US7573475B2 (en) 2006-06-01 2009-08-11 Industrial Light & Magic 2D to 3D image conversion
KR100696162B1 (ko) 2006-08-11 2007-03-20 엠텍비젼 주식회사 이미지의 노이즈 감소 장치 및 노이즈 감소 방법, 이를수행하는 프로그램이 기록된 기록 매체
US8004740B2 (en) 2006-11-09 2011-08-23 International Business Machines Corporation Device and system for reflective digital light processing (DLP)
US7752483B1 (en) 2006-12-13 2010-07-06 Science Applications International Corporation Process and system for three-dimensional urban modeling
US7742652B2 (en) 2006-12-21 2010-06-22 Sharp Laboratories Of America, Inc. Methods and systems for image noise processing
JP2011504782A (ja) 2007-11-27 2011-02-17 ユニヴァーシティ オブ ワシントン 多数の撮像装置を用いる撮像中の照射クロストークの除去
US7791009B2 (en) 2007-11-27 2010-09-07 University Of Washington Eliminating illumination crosstalk while using multiple imaging devices with plural scanning devices, each coupled to an optical fiber
US9041915B2 (en) 2008-05-09 2015-05-26 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
US8477217B2 (en) 2008-06-30 2013-07-02 Sony Corporation Super-resolution digital zoom
US7924441B1 (en) 2008-08-08 2011-04-12 Mirrorcle Technologies, Inc. Fast and high-precision 3D tracking and position measurement with MEMS micromirrors
EP2329653B1 (en) 2008-08-20 2014-10-29 Thomson Licensing Refined depth map
US20100302365A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Depth Image Noise Reduction
KR101590763B1 (ko) 2009-06-10 2016-02-02 삼성전자주식회사 Ｄｅｐｔｈ ｍａｐ 오브젝트의 영역 확장을 이용한 ３ｄ 영상 생성 장치 및 방법
US8803967B2 (en) 2009-07-31 2014-08-12 Mesa Imaging Ag Time of flight camera with rectangular field of illumination
US8803950B2 (en) 2009-08-24 2014-08-12 Samsung Electronics Co., Ltd. Three-dimensional face capturing apparatus and method and computer-readable medium thereof
CN102428501A (zh) 2009-09-18 2012-04-25 株式会社东芝 图像处理装置
DE102009049849B4 (de) * 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
US8718482B1 (en) 2009-11-10 2014-05-06 Calix, Inc. Transparent clock for precision timing distribution
TR200908688A2 (tr) 2009-11-17 2011-06-21 Vestel Elektron�K San. Ve T�C. A.�. Çoklu görüntülü videoda derinlik dengelemeli gürültü azaltımı.
US20110151955A1 (en) * 2009-12-23 2011-06-23 Exent Technologies, Ltd. Multi-player augmented reality combat
US8472746B2 (en) 2010-02-04 2013-06-25 Sony Corporation Fast depth map generation for 2D to 3D conversion
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
KR101709785B1 (ko) 2010-03-31 2017-02-23 삼성전자주식회사 가시광 통신 시스템에서 슬립 모드 설정에 따른 가시 프레임 전송 방법 및 장치
US8730088B2 (en) 2010-08-09 2014-05-20 Raytheon Bbn Technologies Corp. Radar coherent processing interval scheduling via ad hoc network
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US9304319B2 (en) * 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
KR20120084216A (ko) 2011-01-19 2012-07-27 삼성전자주식회사 깊이 정보에 대한 픽셀 노이즈를 제거하는 3차원 이미지 신호 처리 방법 및 상기 방법을 수행하는 3차원 이미지 신호 프로세서
EP2487504A1 (en) 2011-02-10 2012-08-15 Technische Universität München Method of enhanced depth image acquisition
WO2012135073A2 (en) 2011-03-25 2012-10-04 Board Of Trustees Of Michigan State University Adaptive laser system for ophthalmic use
JP5635937B2 (ja) 2011-03-31 2014-12-03 本田技研工業株式会社 固体撮像装置
US9482529B2 (en) 2011-04-15 2016-11-01 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US9007435B2 (en) 2011-05-17 2015-04-14 Himax Technologies Limited Real-time depth-aware image enhancement system
US9053571B2 (en) 2011-06-06 2015-06-09 Microsoft Corporation Generating computer models of 3D objects
CN103814306B (zh) 2011-06-24 2016-07-06 索弗特凯耐提克软件公司 深度测量质量增强
WO2013012335A1 (en) 2011-07-21 2013-01-24 Ziv Attar Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
US20130051516A1 (en) 2011-08-31 2013-02-28 Carestream Health, Inc. Noise suppression for low x-ray dose cone-beam image reconstruction
US9098908B2 (en) 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
US8660362B2 (en) 2011-11-21 2014-02-25 Microsoft Corporation Combined depth filtering and super resolution
KR101978172B1 (ko) 2011-11-29 2019-05-15 삼성전자주식회사 깊이 영상을 고해상도로 변환하는 방법 및 장치
KR101696335B1 (ko) 2012-01-10 2017-01-13 소프트키네틱 센서스 엔브이 다중 스펙트럼 센서
WO2013112749A1 (en) 2012-01-24 2013-08-01 University Of Southern California 3d body modeling, from a single or multiple 3d cameras, in the presence of motion
KR101904745B1 (ko) 2012-01-26 2018-11-21 삼성전자주식회사 적어도 하나의 보조 허브를 포함하는 무선 신체 영역 네트워크(ｗｂａｎ)에서 통신하는 주 허브, 보조 허브, 센서 노드 및 그 통신 방법
US9157790B2 (en) 2012-02-15 2015-10-13 Apple Inc. Integrated optoelectronic modules with transmitter, receiver and beam-combining optics for aligning a beam axis with a collection axis
EP2815251B1 (en) 2012-02-15 2017-03-22 Heptagon Micro Optics Pte. Ltd. Time of flight camera with stripe illumination
JP6058898B2 (ja) 2012-02-22 2017-01-11 株式会社日立国際電気 無線通信装置、無線通信方法、及び無線通信システム
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US9031356B2 (en) 2012-03-20 2015-05-12 Dolby Laboratories Licensing Corporation Applying perceptually correct 3D film noise
US20140198977A1 (en) 2012-03-21 2014-07-17 Texas Instruments Incorporated Enhancement of Stereo Depth Maps
WO2013148142A1 (en) 2012-03-29 2013-10-03 Nikon Corporation Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term
US20130329012A1 (en) 2012-06-07 2013-12-12 Liberty Reach Inc. 3-d imaging and processing system including at least one 3-d or depth sensor which is continually calibrated during use
US9105210B2 (en) * 2012-06-29 2015-08-11 Microsoft Technology Licensing, Llc Multi-node poster location
GB2506338A (en) 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
WO2014022230A2 (en) * 2012-07-30 2014-02-06 Fish Robert D Electronic personal companion
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US9275302B1 (en) 2012-08-24 2016-03-01 Amazon Technologies, Inc. Object detection and identification
KR101901184B1 (ko) 2012-09-20 2018-09-21 삼성전자주식회사 깊이 영상을 사용한 컬러 영상 처리 장치 및 방법
JP5962393B2 (ja) 2012-09-28 2016-08-03 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
RU2012145349A (ru) 2012-10-24 2014-05-10 ЭлЭсАй Корпорейшн Способ и устройство обработки изображений для устранения артефактов глубины
JP5978933B2 (ja) 2012-11-09 2016-08-24 オムロン株式会社 センサシステム
US9542600B2 (en) 2012-11-12 2017-01-10 Bae Systems Plc Cloud feature detection
CN102970548B (zh) 2012-11-27 2015-01-21 西安交通大学 一种图像深度感知装置
JP2016509292A (ja) * 2013-01-03 2016-03-24 メタ カンパニー エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン
ES2512965B2 (es) 2013-02-13 2015-11-24 Universitat Politècnica De Catalunya Sistema y método para escanear una superficie y programa de ordenador que implementa el método
US9513371B2 (en) 2013-02-28 2016-12-06 Identified Technologies Corporation Ground survey and obstacle detection system
US20140253691A1 (en) 2013-03-06 2014-09-11 Leap Motion, Inc. Motion-capture apparatus with light-source form factor
US9319139B2 (en) 2013-03-11 2016-04-19 Futurewei Technologies, Inc. Long distance multi-mode communication
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US20140267234A1 (en) * 2013-03-15 2014-09-18 Anselm Hook Generation and Sharing Coordinate System Between Users on Mobile
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
WO2014160708A1 (en) 2013-03-26 2014-10-02 Sensity Systems, Inc. Sensor nodes with multicast transmissions in lighting sensory network
US9405008B2 (en) 2013-05-17 2016-08-02 Massachusetts Institute Of Technology Methods and apparatus for multi-frequency camera
US9043146B2 (en) 2013-06-19 2015-05-26 The Boeing Company Systems and methods for tracking location of movable target object
KR102061699B1 (ko) 2013-06-19 2020-01-02 삼성전자주식회사 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법
US10025378B2 (en) * 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
US20150002636A1 (en) 2013-06-28 2015-01-01 Cable Television Laboratories, Inc. Capturing Full Motion Live Events Using Spatially Distributed Depth Sensing Cameras
WO2015006791A1 (en) 2013-07-18 2015-01-22 A.Tron3D Gmbh Combining depth-maps from different acquisition methods
EP3022898B1 (en) 2013-07-19 2020-04-15 Google Technology Holdings LLC Asymmetric sensor array for capturing images
US20150070489A1 (en) 2013-09-11 2015-03-12 Microsoft Corporation Optical modules for use with depth cameras
CN105593856B (zh) * 2013-09-23 2019-05-31 英派尔科技开发有限公司 适应位置图的视频游戏
US9769459B2 (en) 2013-11-12 2017-09-19 Microsoft Technology Licensing, Llc Power efficient laser diode driver circuit and method
KR102136850B1 (ko) 2013-11-12 2020-07-22 삼성전자 주식회사 깊이 센서, 및 이의 동작 방법
KR101537174B1 (ko) 2013-12-17 2015-07-15 가톨릭대학교 산학협력단 스테레오스코픽 영상에서의 주요 객체 검출 방법
US9503183B2 (en) 2013-12-18 2016-11-22 Northrop Grumman Systems Corporation Free space optical transceiver
US9542749B2 (en) 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
KR101700817B1 (ko) 2014-01-10 2017-02-13 한국전자통신연구원 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법
CN103796004B (zh) 2014-02-13 2015-09-30 西安交通大学 一种主动结构光的双目深度感知方法
CN103810685B (zh) 2014-02-25 2016-05-25 清华大学深圳研究生院 一种深度图的超分辨率处理方法
US9626766B2 (en) 2014-02-28 2017-04-18 Microsoft Technology Licensing, Llc Depth sensing using an RGB camera
US9552633B2 (en) 2014-03-07 2017-01-24 Qualcomm Incorporated Depth aware enhancement for stereo video
WO2015134958A1 (en) * 2014-03-07 2015-09-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
US20150294686A1 (en) 2014-04-11 2015-10-15 Youlapse Oy Technique for gathering and combining digital images from multiple sources as video
US20150309663A1 (en) 2014-04-28 2015-10-29 Qualcomm Incorporated Flexible air and surface multi-touch detection in mobile platform
CN105096259B (zh) 2014-05-09 2018-01-09 株式会社理光 深度图像的深度值恢复方法和系统
US20150339471A1 (en) 2014-05-23 2015-11-26 Texas Instruments Incorporated Device unlock with three dimensional (3d) captures
US9582888B2 (en) 2014-06-19 2017-02-28 Qualcomm Incorporated Structured light three-dimensional (3D) depth map based on content filtering
US10419703B2 (en) 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
US10068373B2 (en) 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
US9373190B2 (en) 2014-07-09 2016-06-21 Google Inc. High-quality stereo reconstruction featuring depth map alignment and outlier identification
US9860618B2 (en) 2014-09-30 2018-01-02 Futurewei Technologies, Inc. Upstream wavelength calibration in optical networks
US10008013B2 (en) 2014-10-01 2018-06-26 Ora Inc. Multidimensional halo-based visualization system
US9806813B2 (en) 2014-10-01 2017-10-31 Futurewei Technologies, Inc. Optical receiver with optical transmitter-specific dispersion post-compensation
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9823352B2 (en) 2014-10-31 2017-11-21 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors
US20160133230A1 (en) * 2014-11-11 2016-05-12 Bent Image Lab, Llc Real-time shared augmented reality experience
US20160173869A1 (en) 2014-12-15 2016-06-16 Nokia Corporation Multi-Camera System Consisting Of Variably Calibrated Cameras
US9628695B2 (en) 2014-12-29 2017-04-18 Intel Corporation Method and system of lens shift correction for a camera array
WO2016107635A1 (en) * 2014-12-29 2016-07-07 Metaio Gmbh Method and system for generating at least one image of a real environment
KR101531530B1 (ko) 2014-12-31 2015-06-25 (주)스타넥스 이미지 분석 방법, 장치 및 컴퓨터로 판독가능한 장치
CN105988266A (zh) 2015-02-05 2016-10-05 深圳市绎立锐光科技开发有限公司 投影设备、投影控制系统及投影控制方法
US9805294B2 (en) 2015-02-12 2017-10-31 Mitsubishi Electric Research Laboratories, Inc. Method for denoising time-of-flight range images
EP3265866B1 (en) * 2015-03-05 2022-12-28 Magic Leap, Inc. Systems and methods for augmented reality
US11956414B2 (en) * 2015-03-17 2024-04-09 Raytrx, Llc Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing
US10175360B2 (en) 2015-03-31 2019-01-08 Faro Technologies, Inc. Mobile three-dimensional measuring instrument
US9928645B2 (en) 2015-04-17 2018-03-27 Microsoft Technology Licensing, Llc Raster-based mesh decimation
EP3295422B1 (en) 2015-05-10 2020-01-01 Mobileye Vision Technologies Ltd. Road profile along a predicted path
US9749565B2 (en) 2015-05-18 2017-08-29 Analog Devices, Inc. Interline charge-coupled devices
US10546400B2 (en) * 2015-06-03 2020-01-28 Here Global B.V. Method and apparatus for defining bi-directional road geometry from probe data
US20170201738A1 (en) 2015-06-13 2017-07-13 Alberto Daniel Lacaze Senising on uavs for mapping and obstacle avoidance
US10452134B2 (en) * 2015-06-25 2019-10-22 Intel Corporation Automated peripheral device handoff based on eye tracking
US10482361B2 (en) * 2015-07-05 2019-11-19 Thewhollysee Ltd. Optical identification and characterization system and tags
US9426450B1 (en) 2015-08-18 2016-08-23 Intel Corporation Depth sensing auto focus multiple camera system
US10169917B2 (en) * 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
US9818232B2 (en) 2015-08-26 2017-11-14 Adobe Systems Incorporated Color-based depth smoothing of scanned 3D model to enhance geometry in 3D printing
WO2017053821A1 (en) 2015-09-25 2017-03-30 Magic Leap, Inc. Methods and systems for detecting and combining structural features in 3d reconstruction
US9984499B1 (en) * 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
EP3185209B1 (en) 2015-12-23 2019-02-27 STMicroelectronics (Research & Development) Limited Depth maps generated from a single sensor
US10078218B2 (en) * 2016-01-01 2018-09-18 Oculus Vr, Llc Non-overlapped stereo imaging for virtual reality headset tracking
US9760837B1 (en) 2016-03-13 2017-09-12 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning
US10587858B2 (en) 2016-03-14 2020-03-10 Symbol Technologies, Llc Device and method of dimensioning using digital images and depth data
US10721451B2 (en) 2016-03-23 2020-07-21 Symbol Technologies, Llc Arrangement for, and method of, loading freight into a shipping container
US10191486B2 (en) 2016-03-28 2019-01-29 Aveopt, Inc. Unmanned surveyor
US10542799B2 (en) 2016-05-20 2020-01-28 Shadecraft, LLC Intelligent shading system with movable base assembly
WO2017203774A1 (ja) * 2016-05-26 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法及び記憶媒体
US10311648B2 (en) 2016-06-22 2019-06-04 Aquifi, Inc. Systems and methods for scanning three-dimensional objects
US20170374342A1 (en) * 2016-06-24 2017-12-28 Isee, Inc. Laser-enhanced visual simultaneous localization and mapping (slam) for mobile devices
US10305621B2 (en) 2016-07-26 2019-05-28 Futurewei Technologies, Inc. Burst-mode discrete multi-tone for networks
US10627625B2 (en) * 2016-08-11 2020-04-21 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
AU2017317600B2 (en) 2016-08-22 2021-12-09 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
US20180100928A1 (en) 2016-10-09 2018-04-12 Innoviz Technologies Ltd. Methods circuits devices assemblies systems and functionally associated machine executable code for active scene scanning
US10352718B2 (en) * 2016-09-23 2019-07-16 Apple Inc. Discovering points of entry to a location
US10976549B2 (en) * 2016-09-28 2021-04-13 Magic Leap, Inc. Face model capture by a wearable device
US10271033B2 (en) 2016-10-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating depth data by converging independently-captured depth maps
US10928888B2 (en) * 2016-11-14 2021-02-23 Logitech Europe S.A. Systems and methods for configuring a hub-centric virtual/augmented reality environment
US10181089B2 (en) 2016-12-19 2019-01-15 Sony Corporation Using pattern recognition to reduce noise in a 3D map
US20180190014A1 (en) 2017-01-03 2018-07-05 Honeywell International Inc. Collaborative multi sensor system for site exploitation
US20180234617A1 (en) 2017-02-15 2018-08-16 John Przyborski Motion camera autofocus systems
US10666927B2 (en) 2017-03-15 2020-05-26 Baker Hughes, A Ge Company, Llc Method and device for inspection of an asset
TWI672677B (zh) 2017-03-31 2019-09-21 鈺立微電子股份有限公司 用以融合多深度圖的深度圖產生裝置
US10645367B2 (en) 2017-04-20 2020-05-05 Wisconsin Alumni Research Foundation Systems, methods, and media for encoding and decoding signals used in time of flight imaging
US10471955B2 (en) * 2017-07-18 2019-11-12 lvl5, Inc. Stop sign and traffic light alert
US10803663B2 (en) * 2017-08-02 2020-10-13 Google Llc Depth sensor aided estimation of virtual reality environment boundaries
CN109491087B (zh) * 2017-09-11 2022-09-20 杜比实验室特许公司 用于ar/vr/mr的模块化拆卸式可穿戴装置
CN109697688B (zh) * 2017-10-20 2023-08-04 虹软科技股份有限公司 一种用于图像处理的方法和装置
US10606269B2 (en) * 2017-12-19 2020-03-31 X Development Llc Semantic obstacle recognition for path planning
US10580148B2 (en) * 2017-12-21 2020-03-03 Microsoft Technology Licensing, Llc Graphical coordinate system transform for video frames
US10549186B2 (en) * 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
CN111771141B (zh) * 2019-01-30 2024-04-09 百度时代网络技术（北京）有限公司 自动驾驶车辆中使用3d cnn网络进行解决方案推断的lidar定位
CN109886272B (zh) * 2019-02-25 2020-10-30 腾讯科技（深圳）有限公司 点云分割方法、装置、计算机可读存储介质和计算机设备
US11694356B2 (en) * 2019-11-15 2023-07-04 Argo AI, LLC Methods and systems for joint pose and shape estimation of objects from sensor data
US11420649B2 (en) * 2020-03-24 2022-08-23 Here Global B.V. Method, apparatus, and computer program product for generating turn paths through an intersection
CN111539070B (zh) * 2020-04-27 2022-03-08 南京航空航天大学 基于实测数据的翼身对接间隙分布控制方法
KR102398931B1 (ko) * 2020-05-11 2022-05-17 성균관대학교산학협력단 포인트 오토인코더, 듀얼 오토인코더, 및 이를 이용한 포인트 클라우드의 차원 변환 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012145981A (ja) * 2011-01-06 2012-08-02 Nintendo Co Ltd 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP2014518596A (ja) * 2011-03-29 2014-07-31 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
JP2016500885A (ja) * 2012-10-31 2016-01-14 クアルコム，インコーポレイテッド コンピュータビジョンベースの追跡のために複数のマップをマージするシステムおよび方法
JP2016528476A (ja) * 2013-04-30 2016-09-15 クアルコム，インコーポレイテッド Ｓｌａｍマップからのワイドエリア位置推定
WO2017213070A1 (ja) * 2016-06-07 2017-12-14 ソニー株式会社 情報処理装置および方法、並びに記録媒体

Also Published As

Publication number Publication date
CN112334969B (zh) 2023-09-01
US11590416B2 (en) 2023-02-28
EP3815077A4 (en) 2022-04-06
JP7126008B2 (ja) 2022-08-25
WO2020005485A1 (en) 2020-01-02
US20200171380A1 (en) 2020-06-04
EP3815077A1 (en) 2021-05-05
US10549186B2 (en) 2020-02-04
US20190388781A1 (en) 2019-12-26
CN112334969A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
JP7126008B2 (ja) 多点ｓｌａｍキャプチャ
US11287880B2 (en) Privacy chat trigger using mutual eye contact
KR101880844B1 (ko) 오디오 공간 효과를 위한 초음파 스피커 어셈블리
US10530818B2 (en) Server-based sound mixing for multiuser voice chat system
US11508072B2 (en) Smart phones for motion capture
US10915945B2 (en) Method and apparatuses for intelligent TV startup based on consumer behavior and real time content availability
JP2020532352A (ja) プレイヤ選択についての注意ベースのａｉ決定
JP7356596B2 (ja) 仮想及び拡張現実ｈｍｄシステムにおける高速予測追跡及びレイテンシ補償のための光強度ベースのｃｍｏｓ及びイベント検出センサの組み合わせ
US20210129031A1 (en) Adaptive time dilation based on player performance
JP7462069B2 (ja) 複数のカメラからの合成入力を使用してビデオを生成するための仮想カメラ位置のユーザ選択
US10650702B2 (en) Modifying display region for people with loss of peripheral vision
US10805676B2 (en) Modifying display region for people with macular degeneration
US11553020B2 (en) Using camera on computer simulation controller
US20190020808A1 (en) Remotely controllable camera on head-mount for the blind
WO2022115662A2 (en) Frame of reference for motion capture

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220428

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220623

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220623

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220704

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220815

R150 Certificate of patent or registration of utility model

Ref document number: 7126008

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150