JP2013061978A - 画像により表現されている実シーンからのデータを使って、画像ストリームに仮想オブジェクトをリアルタイムで挿入するための方法と装置 - Google Patents

画像により表現されている実シーンからのデータを使って、画像ストリームに仮想オブジェクトをリアルタイムで挿入するための方法と装置 Download PDF

Info

Publication number
JP2013061978A
JP2013061978A JP2012268486A JP2012268486A JP2013061978A JP 2013061978 A JP2013061978 A JP 2013061978A JP 2012268486 A JP2012268486 A JP 2012268486A JP 2012268486 A JP2012268486 A JP 2012268486A JP 2013061978 A JP2013061978 A JP 2013061978A
Authority
JP
Japan
Prior art keywords
image
real scene
sensor
virtual object
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012268486A
Other languages
English (en)
Inventor
Lefevre Valentin
ルフェーブル,バランタン
Livet Nicolas
リベ,ニコラ
Savary Alan
サバリ,アラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Total Immersion
Original Assignee
Total Immersion
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Total Immersion filed Critical Total Immersion
Publication of JP2013061978A publication Critical patent/JP2013061978A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】実シーンからの位置・方向データを使って実シーンの表示に仮想オブジェクトをリアルタイムで挿入する、低コストでパフォーマンスが向上した方法を実現する。
【解決手段】少なくとも1のビデオカメラ及び少なくとも1の表示装置に接続され、画像ストリームからの少なくとも1の第1画像を受信し、実シーンの位置・方向データを使って、実シーンの表示における少なくとも1の仮想オブジェクトの位置・方向を決めるための情報を受信し、少なくとも1の仮想オブジェクトの位置・方向に基づいて、少なくも1の仮想オブジェクトの前記少なくとも1の前記3次元表示の第2画像を抽出し、少なくとも1の抽出された第2画像を、少なくとも1のオブジェクトの前記位置に基づいて、前記少なくとも1の第1画像に挿入する。
【選択図】図1

Description

本発明は実画像とバーチャル画像との合成に関する。これにより、リアリティが向上する。更に具体的には、実シーン(scene reelle)からの位置・方向データを使って、実シーンの表示に仮想オブジェクトをリアルタイムで挿入するための方法に関する。
カメラと表示装置を使うミラー(miroir)効果が多くの応用分野で、特に、ビデオゲームの分野で使われている。この技術の基本は、コンピュータ又はコンソールに接続されているwebcamタイプカメラの画像を取得することである。同画像は、前記カメラが接続されているシステムのメモリに記憶されることが好ましい。次に、オブジェクトを追跡するアルゴリズム(blobs trackingと呼ばれている)を使って、リアルタイムで所定要素の輪郭(ユーザの頭部、手)が計算される。画像の形状の位置により、表示画像の部分を修正したり、デフォルメしたりすることができる。このやり方により、自由度2に基づいて画像ゾーンを決めることができる。
実シーンを表す画像に仮想オブジェクトを挿入する位置・方向を決めるための方法は、実シーンにおいて、仮想オブジェクトの位置・方向を示すことである。一つの球がこのために使われる。その球は、この空間の2次元表現における球の位置に基づいて及びその直径に基づいて、3次元空間におけるその位置を計算できるように、十分大きいことが必要である。前記球の方向は、色づけされたシールをその表面に張って評価することができる。球が十分大きく、画像取得システムの精度が十分高い場合(これはユーザの動き、特に急激な移動を制限する)は、このやり方は効果がある。
しかしながら、このやり方は、多数のアプリケーションに対し必要なパフォーマンスを提供しない。従って、低コストで、このシステムのパフォーマンスを向上させる必要性がある。
本発明によれば、前記の複数課題の少なくとも1を解決することができる。
本発明は、少なくとも1のビデオカメラ及び少なくとも1の表示装置に接続されている本発明は、実シーンを表す画像ストリームの少なくとも1の画像(第1画像という)に、リアルタイムで、少なくとも1の仮想オブジェクトの3次元表示から抽出した少なくとも1の画像(第2画像という)を挿入するための方法を対象とする。この方法は次のステップを含むことを特徴とする。
−画像ストリームからの少なくとも1の第1画像を受信するステップ;
−前記実シーンの位置・方向データを使って、実シーンの表示における少なくとも1の仮想オブジェクトの位置・方向を決めるための情報を受信するステップ、但し、少なくとも1の前記データ部分は前記実シーンにおける少なくとも1のセンサから受信されたものである;
−少なくとも1の仮想オブジェクトの位置・方向に基づいて、少なくも1の仮想オブジェクトの前記少なくとも1の前記3次元表示の第2画像を抽出するステップ;及び
−前記少なくとも1の抽出された第2画像を、少なくとも1のオブジェクトの前記位置に基づいて、前記少なくとも1の第1画像に挿入するステップ。
本発明による方法によれば、リアルタイムで1又は複数の仮想オブジェクトを挿入する位置、並びに1又は複数の仮想オブジェクトを表示する方向を正確に決めることができる。前記仮想オブジェクトの位置と方向は自由度6に基づいて決定される。精度と計算時間によりリアリティ向上アプリケーション、例えばビデオゲーム(例えユーザが急激な動きをしても、ユーザのジェスチャーが追跡される)が可能になる。この方法により、大きな動きが可能になる。
具体的な実施例によれば、少なくとも1の前記方向データが実シーンに存在する角度センサから受信される。
具体的な実施例によれば、少なくとも1の前記位置データが実シーンに存在する角度センサから受信される。
別の具体的な実施例によれば、位置・方向データの1部分が実シーンに存在するセンサから受信され、位置・方向データの他の部分が前記取得された第1画像から抽出され、信頼性の高い、経済的な自由度6の位置・方向センサが形成される。
少なくとも1の前記位置・方向データが、特異な(singulier)幾何学的構成要素(1又は複数の仮想オブジェクトを挿入する位置を、精度高く決めを行う前記センサに接続されている)から取得される前記第1画像から抽出されると有利である。
具体的な実施例によれば、本方法は更に、次のステップを有している。
−取得される前記第1画像のセグメント化するステップ;
−前記セグメント化された第1画像から少なくとも特異な幾何学的構成要素の輪郭を抽出するステップ;及び
−前記セグメント化された第1画像から抽出された輪郭に基づいて、特異な幾何学的構成要素の位置を決めるステップ。
これらステップを実行することにより、画像ストリームの画像における特異な幾何学的構成要素の位置決めを改善することができる。有利なやり方で、実シーンにおける特異な幾何学的構成要素の位置が、前記第1画像における前記幾何学的構成要素の位置により及び前記第1画像における特異な構成要素の大きさにより決められる。
具体的な実施例に拠れば、本方法は更に、前記仮想オブジェクトの位置の推定ステップを有している。前記推定位置と前記決定位置との比較により、1又は複数の仮想オブジェクトを挿入する位置、並びに1又は複数の仮想オブジェクトを挿入する位置の精度を向上させることができる。
本発明は、前記方法の各ステップを実行する命令を含むコンピュータプログラムを対象とする。
本発明は、同様に、情報の格納手段(可動又は非可動)を対象とする。同格納手段は、コンピュータ又はマイクロプロセッサ(前記方法の各ステップを実行するためのコンピュータプログラムのコード命令を有する)により部分的に又は全体的に読み取り可能である。
本発明は、又、リアリティ向上の装置を対象とする。同装置は少なくとも1のビデオカメラ及び少なくとも1の表示装置に接続されている。前記装置は前記方法の各ステップを実行するように構成されている手段を有している。
本発明は、又、実シーンを表す画像ストリームの少なくとも1の画像(第1画像という)に、リアルタイムで、少なくも1の仮想オブジェクトの3次元表示から抽出した少なくとも1の画像(第2画像という)を挿入するための装置を対象とする。この装置は次の手段を含む点を特徴とする。
−画像ストリームからの少なくとも1の第1画像を受信する手段;
−少なくとも1の仮想オブジェクトの3次元表示を記憶する手段;
−前記実シーンの位置・方向データを使って、実シーンの表示における少なくとも1の仮想オブジェクトの位置・方向を決めるための情報を受信する手段;但し、少なくとも1の前記データ部分は前記実シーンにおける少なくとも1のセンサから受信されたものである;
−少なくとも1の仮想オブジェクトの位置・方向に基づいて、少なくも1の仮想オブジェクトの前記少なくとも1の前記3次元表示の第2画像を抽出する手段;及び
−前記少なくとも1の抽出された第2画像を、少なくとも1のオブジェクトの前記位置に基づいて、前記少なくとも1の第1画像に挿入する手段。
本発明による装置によれば、リアリティ向上アプリケーションのために、リアルタイムで1又は複数の仮想オブジェクトを挿入する位置、並びに、1又は複数の仮想オブジェクトを表示する方向を、自由度6に基づいて、正確に決定することができる。
具体的な実施例によれば、本方法は更に、取得された前記第1画像の少なくとも1の前記位置・方向データを抽出するための手段(信頼性の高い、経済的なセンサの利用を可能にする)を有している。
本発明は、又、少なくとも1の可視の特異な幾何学的構成要素とセンサを含む装置を対象とする。前記センサは、位置及び/又は方向の情報を前記装置に送信するように構成されている。この装置は信頼性が高く、経済的で、個人的アプリケーションに使用することもできる。
本発明の有利な点、目的、特徴は、非限定的な実施例を使って、図面を参照しながら、後記のとおり、詳細に説明する。
本発明に基づく第1装置の概要図である。 少なくとも部分的に本発明を実施するこのできる装置の例である。 第1の実施実施例に基づいて、本発明の装置の実施例の概略図である。ここでは自由度6のセンサが使用されている。 自由度6のセンサ及び《トリガ(gachette)》タイプのスイッチを持つ図3の把持部の1実施例である。 図3、4で示した装置を実施する実施例を示す図である。 図3、4で示した装置を実施する実施例を示す図である。 本発明の第2実施例の装置の概略図である。 一実施例の把持部の全体図である。 一実施例の把持部の電気部分の概略図である。 一実施例の把持部の電気部分の概略図である。 実シーンの表示における幾何学的構成要素の3D位置を決めるため使われるアルゴリズムのステップである。 画像変換時の輝度に応じた飽和度を加重計算するために使われる係数αの変化を示す。 カメラから出力される画像から、球とカメラとの間の距離を決めるために使われる原理を示す。
本発明によれば、実シーンの表示に挿入されるべき仮想オブジェクトの位置と方向に関係するデータは実シーンにおける少なくとも部分的に一つのセンサから出力される。
図1は本発明による第1装置100の概略図である。ユーザ105は、鏡の役割を持つ表示装置115に向かって、家具、植物のような各種要素を持つ周囲環境110に置かれることが好ましい。表示装置115に投影される画像は、ビデオカメラ125で撮影された実シーン120を修正した画像である。カメラ125から出力されるビデオストリームはコンピュータ130に送信される。同コンピュータは、修正を加えた後で、ビデオストリーム(カメラ125から出力された)を表示装置115に再送信する。コンピュータ130は、特に、1又は複数の仮想オブジェクトをビデオストリーム(カメラ125から出力された)に挿入する役割を果たしている。仮想オブジェクトの位置と方向は、少なくとも部分的にセンサ135(コンピュータ130に接続される)により実シーン120において決定される。
〔実施例1〕
第1実施例において、センサ135は6の自由度を持つセンサであって、同センサにより、実シーン120における位置及び方向(X、Y、Z、cap方位角、tangage:縦揺れ,roulis:横揺れ)を決定することができる。例として、このセンサはPolhemus社のセンサ《Fastrack》(Fastrackは出願商標)であってよい。第2実施例において、センサ135は3の自由度を持つセンサであって、同センサ135により、方向(cap、tangage,roulis)を決定することができ、センサの位置(X、Y、Z)はカメラ125の出力画像の視覚解析により決定される。
システム100は次の構成要素から構成されている。
− 表示装置(例えば、LCD表示装置、プラズマ表示装置、又はビデオプロジェクション表示装置);
− 3の自由度に基づいて方向を決定することができるセンサ、及び選択的に、3の自由度に基づいて位置を決定することができるセンサ;
− ビデオカメラ;両眼視差(effets de parallaxe)を回避するために、表示装置近くに、表示装置の軸において設けられることが好ましい。
−次の操作を行うコンピュータ(例えばパーソナルコンピュータ)。
−カメラから送られて来るビデオ信号のリアルタイムのビデオ取得。(但し、ビデオ信号は、例えば、PAL(Phase Alternted Line)フォーマット信号、NTSC(National Television System Committee)、YUV (Luminance-Bandwidth-Chrominance)、YUV-HD(Luminance-Bandwidth-Chrominance High Definition Interface)、SDI (Seriai Digital Interface)又はHD- SDI (High Definition Seriai Digital Interface)である。これらは、例えば、HDMI(High Definition Multimedia Interface)又はUSB/USB2(Universsal Serial Bus)に基づいて送信される;
−動きセンサから来るデータストリームのリアルタイム収集、及び実施例によっては、位置センサから来るデータストリームのリアルタイム収集;
−コンピュータのグラフィックカードの出力を介したリアリティ向上画像の生成(前記出力は、例えば、VGA(Video Graphics Arrays)、DVI(Digital Visual Interface)、HDMI,SDI,HD−SDI,YUV,YUV−HDである);及び
−《鏡》効果を構成するために画像の左側が右側になるように最終画像に対しシンメトリ操作を行うことが好ましい。
前記コンピュータは、Total Immersion社のソフトウェアD’fuison(D’fuisonはTotal Immersion社の商標)のようなリアリティ向上アプリケーションを有し、例えば次の機能を使って対話型のリアリティ向上シーンを生成することができる。
−動きデータのストリームのリアルタイム収集;
−カメラから出力されるビデオストリームに、3D合成オブジェクトの2次元表示をリアルタイムで追加すること、及び、表示装置に修正ビデオストリームを送信すること。
アプリケーションの原理については、特許出願WO2004/012445に記載されている。
D′fusionソフトウェアにより、決定された位置と方向に基づいて、合成オブジェクトをリアルタイムで表示することができる。又、ユーザはビデオストリームに挿入される別の仮想オブジェクトに対話する(interagir)ことができる。
図2に、本発明による又は本発明の一部による装置が記載されている。装置200は、例えばマイクロコンピュータ、ワークステーション、又はゲームコンソールである。
装置200は、通信バスを備え、次のものに接続されていることが望ましい。
− 中央処理ユニット又はマイクロプロセッサ204(CPU、Central Processing Unit);
− オペレーティングシステム及び“Prog”のようなプログラムを含むことができる固定メモリ(ROM,Read Only Memory)206;
− 前記プログラム実行中に生成された及び修正された変数及びパラメータを登録するように構成されたレジスタを持つ動的メモリ又はキャッシュメモリ(RAM,Random Access Memory)208;
− カメラ212に接続されたビデオキャプチャカード210;
− センサ(図示していない)に接続されたデータ収集カード214;及び
− 表示装置又はプロジェクタ218に接続されたグラフィックカード216。
選択として、装置200は以下の構成要素を備えている。
− 前記プログラム“Prog”及び本発明に基づいて処理された又は処理すべきデータを有することができるハードディスク220;
− キー222及びマウス224又は別の全てのポインタ装置(光学ペン、タッチ表示装置)又はリモートコントローラ(ユーザは本発明に基づくプログラムを使って対話することができる);
− 通信ネットワーク(例えばインターネット)228に接続された通信インターフェース226。このインターフェースはデータを送受信することができる;
− 本発明に基づいて処理された又は処理すべきデータを読み書きできるメモリカードリーダ(図示しない)。
通信バスにより、装置200における及びそれに接続されている種々の構成要素の通信及びインターオペラビリティが可能になる。バスの表示は限定する(limitative)ものではない。特に、中央ユニットは、直接的に又は装置200の別の要素を介することにより、装置200の全構成要素に命令を通信することができる。
各プログラムの実行可能コードにより、本発明に基づいて、プログラム可能装置は、プロセスを実行することができる。前記実行可能コードを、例えば、ハードディスク220又は固定メモリ206に格納することができる。
本発明の変形例によれば、プログラムの実行可能コードは、通信ネットワーク228を介して、インターフェース226を通して受信され、前記と同一のやり方で格納することができる。
メモリカードは、例えばコンパクトディスク(CD−ROM又はDVD)のような情報記録担体に置き換えることができる。一般的に、メモリカードは情報記録手段(コンピュータ又はマイクロプロセッサにより読取り可能で、装置に組込まれ又は込まれず、移動可能であり、本発明の方法の実行が可能な1又は複数のプログラムを記憶するように構成された)に置換することができる。
より一般的には、1又は複数のプログラムは、実行する前に、装置200の格納手段に格納されることができる。
中央ユニット204は、本発明に基づく命令又はプログラムのソフトウェアコードの部分の実行を命令し、コントロールする。命令は、ハードディスク220又は固定メモリ206又は前記別の格納要素に、格納されている。電圧が与えられると、不揮発性メモリ(例えばハードディスク220又は固定メモリ206)に格納されている1又は複数のプログラムは、動的メモリ208(本発明による1又は複数のプログラムを実行することができるコードを収納する)及びレジスタ(本発明の実施に必要な変数及びパラメータを記憶する)に送られる。
本発明による装置を備える通信装置は、プログラムされた装置であることができることに注意すべきである。この装置は、例えば、ASIC(Application Specific Integrated Circuit)に固定されている1又は複数の情報処理プログラムのコードを持っている。
図3には、前記の本発明の第1実施例(6の自由度を持つセンサが使用されている)の装置の一例の概略が示されている。この実施例によれば、表示装置115及びカメラ125は、コンピュータ130′に接続されている。把持部300が、ボックス305を介してコンピュータ130′に接続されている。ビデオカメラ125は、光学的に広角で、ユーザが表示装置近傍で操作できることが好ましい。ビデオカメラ125は、例えば、対物レンズSony VCLHG073Yを備えるカメラSony HDR HC1である。
コンピュータ130′は、ビデオカメラ125に接続されているビデオキャプチャカード210、表示装置115に接続されているグラフィックカード216、ボックス305を介して把持部300の位置、方向を検知するセンサに接続されている第1通信ポート214−1(COM1)、及び、好ましくはボックス305を介して把持部300の《トリガ》タイプのスイッチに接続されている第2通信ポート214-2 (COM2)を、備えている。《トリガ》タイプのスイッチには、《トリガ》を押圧し、時間的に正確に(de facon ponctuelle)、電気回路の開閉を可能にするスイッチが含まれる。このスイッチを使うことにより、ユーザとコンピュータ(130′)ソフトウェアとの間の対話を増大することができる。例えば、スイッチ310により、ゲームソフトにおける射撃をシミュレートすることができる。ビデオキャプチャカードは、例えば、Decklinck PCleカードである。グラフィックカードは、合成画像をビデオストリームに挿入することができる3Dグラフィックカードである。例えば、ATI X1800XLカード又は、ATI 1900XTカードである。ここで説明した例は2つの通信ポート(COM1及びCOM2)を使うものであるが、別の通信インターフェースをコンピュータ130′と把持部300との間で使用することができる。
コンピュータ130′がオーディオカード320(表示装置115に一体的に組み込まれているスピーカ(HP)に接続する)を備えていると有利である。ビデオキャプチャカード210とビデオカメラ125との間の関係は、次の規格のうちの1つに基づくことができる。即ち: video composite、Svideo, YUV, YUV-HD1 SDI, HD-SDI, HDMI, VGAである。通信ポート214-1及び241-2、センサ及び把持部300の《トリガ》タイプのスイッチとの間の関係は、RS-232タイプであることができる。コンピュータ130′は、例えば、Intel Pentium(登録商標) IV(周波数 3GHz), RAMメモリ容量 3Gbyte, ハードディスク容量120Gbyte 、収集用カード及びグラフィックカードのための2つのインターフェース PCI express (Peripheral Component Interconnect)を備えた標準PCである。
把持部300は自由度6の位置、方向センサ135′を備えることが好ましい。例えば、センサはPolhemus 社の" Fastrack "で、スイッチは《トリガ》タイプスイッチ310である。図4に把持部300の一例を示す。
ボックス305は、把持部300とコンピュータ130′との間のインターフェースである。ボックス305は、位置・方向センサに接続されており、センサから出力される信号をコンピュータ130′が利用できるデータに変換する。ボックス305は動きセンサモジュール315を備えている。更にボックス305にセンサ135′の信号を無線送信できる送信機320を備えていると有利である。
図4にはセンサ135′と《トリガ》タイプのスイッチ310を持つ把持部300が示されている。通常、把持部300は、室内でアーケードゲーム(jeux d'arcade)で使用されるピストルである。例えば、Happ社が米国で販売している光学銃である。把持部を形成するために、銃の砲身は小さくすると有利である。又、《トリガ》タイプのスイッチ310だけを有するように、元の電子回路(l'electronique d'origine)は取り除かれる。位置・方向センサ135′が把持部に挿入される。センサのライン及びトリガのラインは、把持部とセンサボックス305との間の電子回路ケースに挿入される。DB9型コネクタが電子回路ケースの別の端部に設けられると有利である。その結果、ユーザがトリガを押すときに、スイッチは閉成され、直列ポートのプラグピン8と7は、4.7KΩの抵抗を介してそれぞれに接続される。
別の実施例では、電子回路ケースは取り除かれ、無線通信モジュールが把持部300に挿入される。この実施例によれば、センサから出力されるデータは無線でボックス305に送信される。それを無線通信モジュールに結合しない限り、《トリガ》タイプのスイッチは非アクティブである。
図5は、図5aと図5bからなる。図5は、図3と4に示されている装置を使う実施例が示されている(その実施例によれば、データは把持部と動きセンサボックスとの間の有線接続を使って送信される)。図5aは装置を側面から見た図であり、図5bは同装置の斜視図である。この実施例によれば、ユーザ105は、ユーザの前に、ほぼ目の高さに設けられている表示装置115をもつ装置500の正面にいると有利である。同装置500は、表示装置125の近傍に置かれるビデオカメラ125、動きを検知するボックス305、コンピュータ130′を備えている。コンピュータ130′には、前記ビデオカメラ125、前記表示装置115、前記‘動きを検知するボックス305’が接続されている。この実施例では、ユーザ105は、‘動きを検知するボックス305に接続された把持部300′を使っている。
特定の実施例によると、一様な色のバックグラウンド(例えば、ブルーのバックグラウンド又はグリーンのバックグラウンド)がユーザの後に置かれている。この一様な色を使って、ソフトウェアはユーザの輪郭を抽出する。即ち、ビデオカメラ125から出力される像からユーザを抽出し、合成シーンに又は二次的ビデオストリームに嵌め込む。合成シーンにユーザを入れるために、ソフトウェアD'Fusionは、リアルタイムで、ピクセルシェーダ機能を使って、クロマキー処理(第1画像において同定された色に基づいて、第1画像に第2画像をはめ込むこと)を実行する。ピクセルシェーダ機能はカメラから出力されるビデオストリームに処理を施すものである。
第1実施例の前記装置は、結果について満足するものであるが、自由度6の位置・方向センサは、個人的使用には高価である可能性がある。この欠点を克服するために、第2実施例は、安価な動きセンサと画像処理モジュールを組み合わせて使用し、自由度6のセンサの位置・方向を取得することを可能にする。
図6には、第2実施例による装置の概略が示されている。同装置は、表示装置115に接続されているコンピュータ130″、ビデオカメラ125、把持部600を備えている。コンピュータ130″は、画像処理モジュール605を備えているが、この点でコンピュータ130′と異なる。この画像処理モジュールは、把持部600の位置を取得するように構成されている。ビデオレンダリングモジュール610はコンピュータ130′のモジュール(図示しない)と類似しており、同じようにソフトウェアD’fusionを使うことができる。コンピュータ130′と130″の特性は類似している。ソフトウェアD’fusionに等価なソフトウェアを使って、ビデオストリームと仮想オブジェクトとを合成し(レンダリングモジュール3D610)、画像解析により把持部の位置情報を取得することができる(画像処理モジュール605)。ビデオカメラ125は、前述したビデオカメラと同じようにすることができる。簡単なwebcamであってもよい。
把持部600が、動きセンサBOXを使わずに、コンピュータ130″に無線接続されていると有利である。把持部600は、自由度3の把持部600の方向を決定できる方向センサ135″を備えている。例えば、方向センサ135″は、Xsens社の角度センサMT9B又はIntersense社の角度センサInertia Cube 3(その有線、無線バージョン)である。センサから出力される方向データは、ポートCOMを経由して又は無線プロトコールにより伝送される。1又は複数の《トリガ》タイプのスイッチ310が把持部600の中にあることが好ましい。把持部600は、又、特定の形状の幾何学的構成要素を含む。これにより、画像の中に把持部が見えるときに、保持部の位置を特定することが出来る。この幾何学的形状は、例えば、直径が数センチの有色球である。しかし、別の形状であってもよい。特に、円、平面又は多面体であってもよい。把持部600には溝が設けられていることが好ましい。ユーザは所定方向にそれを保持し、角度センサに一致する位置決めをしなければならない(指は溝に沿って位置する)。
図7は図7a、7b、7cからなっており、把持部600を表している。図7aは把持部600の全体図であり、図7b、7cは同把持部の電気回路を示す。
図に示されているとおり、把持部600は、ユーザが握る下部分(筒(manche)と呼ぶ)を含んでいる。その下にはバッテリー700、例えば、リチウムバッテリー、無線通信モジュール705及び《トリガ》タイプのスイッチ310がある。角度センサ135″は筒の上部に固定されている。把持部の位置を同定するために、筒の上部はその周囲にネジ(これにより幾何学的構成要素の組立てを可能になる)を備えていると有利である。この実施例では、幾何学的構成要素は、筒の上部に向くように構成された開口を備える球615である。幾何学的構成要素を筒の上に固定する別の手段は、接着又はケーシングであってもよい。電球又はLEDのような光源が球615の内部に置かれることが好ましい。これは好みによっては、透明又は半透明に構成される。この光源は、把持部600の電気的構成部品と同様に、ユーザの要求によってアクティブにされる。又は、収納のために、及び、特にバッテリー700の充電のために、把持部600が支持部715から切り離されるときに、アクティブにされる。この場合、支持部700は電源に接続されている。
図7bには、把持部600の電気的構成要素の構成が示されている。バッテリー700は、方向センサ135″、《トリガ》タイプのスイッチ310、無線通信モジュール705及び光源710に接続されており、電力を供給している。スイッチ720がバッテリー700の出力側にあって、方向センサ135″《トリガ》タイプのスイッチ310、無線通信モジュール705及び光源710の電源を切断したり、又はアクティブにする。スイッチ720は、例えば、把持部600は支持部715から引き出される時、ユーザが手動で制御したり、又は、自動的に制御される。スイッチが前記構成要素だけを制御するように、バッテリー700の接続を変更することは可能である。また、例えば、光源710をアクティブにせず把持部600を使用できるように、複数スイッチを使って、これら構成要素を独立に制御するようにすることもできる。
方向センサ135″及び《トリガ》タイプのスイッチ310は、無線通信モジュール705に接続され、前記センサ135”及びスイッチから出力される情報をコンピュータ130″に伝送する。無線通信モジュール705は、例えば、Bluetooth(登録商標)モジュール又はWiFiのような高周波モジュールである。無線通信モジュールはコンピュータ130″に接続され、把持部600から送信される信号を受信する。このモジュールは、例えばインターフェースUSB/USB2又はRS-232を使って、コンピュータ130″に接続されている。
別の方法として、もし把持部600とコンピュータ130″との間が有線接続されているならば、把持部600は無線通信モジュール、バッテリー700は不要である。コンピュータが把持部600に電源を供給することができるからである。この代替例は図7cに示されている。この実施例では、電線カバー725は複数の電線を含んでおり、把持部600に電源を供給し、把持部600に接続されているセンサ135″及びスイッチ310から出力される信号をコンピュータ130″に伝送する。
溝に沿って握るので、把持部は、センサの方向に対する、手の方向についての不確定性を回避することができる。幾何学的構成要素は保持部の位置決定に使われるが、この構成要素は、動きが多数あっても、画像の中で容易にユーザは見分けることができる。この幾何学的構成要素は容易に分解でき、その色と形状を変更することができる。幾何学的構成要素の中又はその表面に配置される光源があるので、悪い照明条件においても、このオブジェクトを追跡することができる。
把持部の位置を決定するために、コンピュータ130″を使って、ビデオカメラまたはwebcam125から出力される画像(その上に把持部600の幾何学的構成要素が存在している)を解析する。この段階では、カメラから出力される画像における幾何学的構成要素の中心位置を正確に見出すことが重要である。測定結果の質を高めるための解決方法は、新しい色空間及びフィルタの新しいアプローチを使う。
画像における幾何学的構成要素の位置決めアルゴリズムのフローが図8に示されている。そのステップは次のとおりである。
−幾何学的構成要素の色の閾値を定義する(ステップ800)。破線を使って示されているように、幾何学的構成要素が画像の中でサーチされる度に、前記閾値を決める必要はない。これら閾値は把持部のパラメータ化時に予め決定され、及び/又は必要に応じて再評価される;
−RGB画像をHS′Lタイプの色空間(HSL(Hue−Situation−Luminance)タイプの色空間から導出される)へ変換する(ステップ805)、及び、幾何学的構成要素の色に対応するピクセル領域の画像をセグメント化することによりサーチする(ステップ810);
−これら領域の輪郭を再構成する、及び、追跡すべき幾何学的構成要素の形状に最も類似するものをサーチする(ステップ815);
−初期に測定された大きさに応じてその奥行きを決めるために、画像におけるオブジェクトの大きさの評価し、画像における幾何学的構成要素の中心位置をサーチし、計算する(ステップ820)。
測定結果の精度を高めるためには、幾何学的構成要素の位置のリニアな外挿法による理論的方法で、位置を推定し(ステップ825)、画像解析から得られた位置と前記推定位置とを比較する(ステップ830)ことが好ましい。
幾何学的構成要素の位置決めは、最初に、検索する幾何学的構成要素の色に対応する色の画像領域を検出することが原則である。輝度変化の問題については、色空間RGBと比較すると、色空間HSLが好ましい。
RGB画像を画像HSLに変換した後、全てのピクセルが選択され、輝度Lが所定のインターバル[θLinf;θLsup]に存在しないピクセルは選択しない。ピクセルを選択しない場合は、例えば、輝度L、飽和度S、色相H(Hue)に対し数値を0にする。つまり、選択されたピクセルは、非0の値をとるが、選択されない場合の値は0である。
色空間HSLを使う画像のセグメント化は、結果として十分満足できるものではない。なぜなら、極めてくすんだ又は極めて明るい(黒でも、白でもない)ピクセルは、画像の中のどのような色相の値をも取り(画像取得時に画像において発生するノイズのために直ぐに変化する)、探している色相に近い色相をもつからである。このような不都合を回避するために、色空間HSLは、極めてくすんだ又は極めて明るいピクセルを対象にしないように変更される。そのために、新しい飽和度S′が生成される。飽和度S′は、加重係数αを使って、輝度Lに関係する飽和度Sから導出される。即ち、S′=αS。加重係数αは0と1との間の数値であることが好ましい。図9に、輝度に応じた加重係数αの値を示す。
次に、飽和度S′が、予め定めた閾値θS′infより大きくないピクセルは選択しない。同様に、色相Hが幾何学的構成要素の色相に対応していないピクセル、即ち、幾何学的構成要素の色相に基づいて、予め定められたインターバル[θHinf;θHsup]に入らないピクセルは選択しない。色相は、理論上0から360°の角度で表現されることに留意すべきである。実際、色相はサイクリックな概念で、《赤》は2端部(0及び360)にある。実際には、360はオクテットでコード化することはできないから、対象とするアプリケーションによれば、色相の数値はインターバル[0,180[(後の“[”は、180を含まないの意)、[0、240[、又は[0,255]の上で再コード化される。計算コストを最適化するためには、インターバル[0、180[が好ましい。しかしながら、スケール(echelle)変更により生じた損失は結果に対して大きな影響を与えないことに注意すべきである。
ピクセルの非選択は、輝度L、飽和度S′、色相Hの順序で実施される。重要なときは、色相Hに基づいてセグメント化されるときである。輝度に基づくセグメント化、飽和度に基づくセグメント化により、結果の質及びグローバルなパフォーマンスを向上させることができる。特に、それにより、計算時間を最適にすることができる。
選択された画像ピクセルの一部分は幾何学的構成要素を表す。この部分を同定するために、輪郭抽出ステップが実行される。このフェーズでは、例えば、コンボリューションマスク(un masque de convolution)を使って、非ゼロのピクセルグループの輪郭を抽出する。輪郭抽出アルゴリズムは、多数存在することに注意すべきである。
次に、輪郭の中から、使われている幾何学的構成要素に最も類似している輪郭を決定しなければならない。ここでは、円形輪郭であり、幾何学的構成要素は球である。
大きさをピクセル数で表すとする。利用可能な大きさの円を表すためには、輪郭の小さいものは、全て選択しない。この選択は、予め決められた閾値θTに基づいて行われる。同様に、大きさをピクセル数で表すとする。面積が小さい輪郭は削除される。この選択は、予め決められた閾値θAに基づいて行われる。
次に、残りの輪郭について、輪郭を含む最小半径の円が計算される。更に、輪郭により決められる面積と計算された円の半径との間の比が算出される。求められた輪郭は最大の比を与える輪郭であると見なされる。この比は、前記輪郭はそれを含む円を最大限に満たし、同時に、‘円形に近い輪郭’及び‘より大きい半径の輪郭’が望ましい、ということを表現しようとするものである。この基準は、比較的計算コストが小さいというメリットがある。もちろん、選択基準は、幾何学的構成要素の形状に合せるべきである。
カラリメトリックなセグメント化及び幾何学的セグメント化をすることにより、球の投影を近似的に表す円を得ることができる。このやり方のメリットは、もし幾何学的構成要素の形状及び色が周囲に対しユニークである場合、この形状の認識は、部分的に見えない部分があっても確実に行われる。
次に、幾何学的構成要素の位置は、画像における投影から決められる。計算を簡単化するために、幾何学的構成要素は、画像を出力するカメラの光学軸の上にあると仮定する。球を投影すると、一般的には、投影画像は楕円になるが、球が光学軸上にある時だけ円になる。しかし、見かけの半径と比だけを使って、球の位置を決めるためには、このような近似法で十分である。
図10に、球の距離を決めるために使う原理が示す。Cは光学中心である。即ち、カメラ位置に対応する投影中心である。Rは、カメラからZだけ離れた球の物理的半径である。投影により、この半径Rは、焦点距離を表す距離fmにある表示画面ではみかけ半径rmに変換される。従って、ターレスの原理により、次の式が成り立つ。
Figure 2013061978
比fm/rmは、比fp/rpに等しいことに留意すべきである。但し、fpはピクセルで表された焦点であり、rpはピクセルで表された球の半径である。従って、次の式が得られる。
Figure 2013061978
カメラを原点とする基準フレーム(repere)における座標点(x、y、z)が、カメラが撮影した画像の中に、座標(u、v)の点として、投影されるとき、その投影は、次式で表される。
Figure 2013061978
但し、(px、py)は、画像における光学中心の位置(ピクセル表現での)である。画像においてその実座標Z及びその座標u、vが既知(ピクセル表現で)のときには、この式により、球の実座標XとYを導出することができる。
Figure 2013061978
球の半径の推定精度は、Zの位置決め精度(従って、X,Y位置決め精度(これらは円の推定位置2D精度により影響される)に影響する)に大きな影響を及ぼすことに注意を払う必要がある。このZの誤差は計量的に大きく、又視覚的にも大きい。何故なら、一般的に、センサに関係する仮想オブジェクトは、球より大きいからである。従って、半径の過大評価に基づく誤差は、このオブジェクトのサイズが球のサイズより大きければ大きい程、画像の中に挿入される仮想オブジェクトのみかけの大きさを一層拡大させる。
幾何学的構成要素を実際に位置決めするときの重大な問題は、円の位置(u、v)及び半径が一時的な安定を欠くことから来る。この問題は、センサに関係する仮想オブジェクトの位置X、Y,Zの大きな振動になって表れる。これらの振動をフィルタするために、特定のフィルタが使われる。
このフィルタリングは、“低域パスフィルタに基づいて予測が行われ、仮にこの予測が新しい測定値に近いならばその値が応用される”という原理に基づく。一度予測が測定値から外れると、《attentiste》フェーズが実行され、そのズレがビデオストリームの孤立画像上にしか存在しないか、又は、このズレが時間と共に明らかになるかが確かめられる。予測されたフィルタ値が適用される。もし第1のズレがあることが確認されると、現実の測定値がビデオストリームの1画像分の遅れを以って、使われる。nの最終測定上で(異常と考えられるものを除いて)直交線形回帰法(regression orthogonale lineaire)(低品質の結果をもたらす直交自乗回帰法)を使って、低域パスフィルタが実行される。予測が正しい限り、nの値は所定閾値まで増大する値と共に可変である。予測が正しくない場合、次の画像により確認された変化の後で、最小のフィルタリングに対して、nの値は下がって4になる。この方法によれば、よりよいフィルタリング作用が可能になる。また、この方法は、半径が一定であるほど、振動が目に見えるという原理に基づく。その代わりに、動いているとき、振動はほとんど検知されず、待ち時間を減らすことができる。
次の式は、直交線形回帰の計算を式y=ax+bの直線を使って詳述する。xは現在のフレーム(trame)値、yは3パラメータの値(u、v、フィルタされる前の球の半径)に対応する。但し、3パラメータは独立である。
直交線形回帰と測定点pi(xi, yi)との間の誤差は次式で表現される。
ei=(axi+b)−yi
従って、次の式に基づいて表現される2乗誤差Eを最小にすることが必要である。
Figure 2013061978
次のように置くと、
Figure 2013061978
次のようになる。
E=a2sx+2absx+b2n-2asxy+2bsy+sy2
関数Eは2次関数で、次が成立するときに、最小となる。
Figure 2013061978
従って、
Figure 2013061978
但し、 det=sx2・n-sx2
カメラから出力されるビデオストリームの画像に対して、数値aとbが推定され、座標(u, v)に対する値及び球のみかけ半径に対する値を推定し、実シーンにおける球の座標(x, y, z)が導出される。これらの値が基準として使用され、前記画像解析に基づいて決められた値と比較される。その比較結果に基づいて、画像解析に基づいて決められた値が予測値の代わりに使用される。
仮想オブジェクトの位置・方向が実シーンにおいて決定される時、リアリティ向上ソフトウェア(例えばD'Fusion)は、このオブジェクトの3Dモデルから、挿入する前の仮想オブジェクト画像を決定する。次に、この仮想オブジェクト画像は、実シーン画像に挿入される。
実シーンにおける仮想オブジェクトの位置と方向を決定し、仮想オブジェクト画像を決定し、実シーン画像へ仮想オブジェクト画像を挿入するプロセスはカメラから出力されるビデオストリームの画像に対して繰り返し行われる。
又、リアリティ向上ソフトウェアは、ユーザがゲームにおいて自身を見ることができるゲームに関連付けることができる。
もちろん、特定の必要性を満たすために、当業者は以上の記載に変更を加えることができる。特に、実シーンで使われた少なくとも3の自由度をもつセンサの使用は必ずしも必要ではない。唯一の拘束条件としては、センサから出力されるデータが画像解析されたデータを補うものであることである。例えば、2の自由度を持つセンサを使い、画像解析により4の自由度に関係する情報を取得することが可能である。同様に、位置と方向のセンサをもつ把持部は前記の形状と異なる形状を持つことができる。
100 装置
105 ユーザ
110 周囲環境
115 表示装置
120 実シーン
125 ビデオカメラ
130 コンピュータ
135 センサ
200 装置
204 プロセッサ
206 固定メモリ
208 動的メモリ
210 ビデオキャプチャカード
212 カメラ
214 通信ポート
216 グラフィックカード
218 プロジェクタ
220 ハードディスク
222 キーボード
224 マウス
226 通信インターフェース
228 通信ネットワーク
300 把持部
305 センサボックス
310 スイッチ
315 センサモジュール
320 オーディオカード
500 装置
600 把持部
605 画像処理モジュール
610 レンダリングモジュール
615 球
700 バッテリー
705 無線通信モジュール
710 光源
715 支持部
720 スイッチ
725 電線カバー

Claims (16)

  1. 実シーン(120)を表す画像ストリームの少なくとも1の画像(第1画像という)に、リアルタイムで、少なくも1の仮想オブジェクトの3次元表示から抽出した、少なくとも1の画像(第2画像という)を挿入するための方法であって、次のステップを含むことを特徴とする方法。
    −画像ストリームからの少なくとも1の第1画像を受信するステップ;
    −前記実シーンの位置・方向データを使って、実シーンの表示における少なくとも1の仮想オブジェクトの位置・方向を決めるための情報を受信するステップ、但し、少なくとも1の前記データ部分は前記実シーンにおける少なくとも1のセンサ(135)から受信されたものである;
    −少なくとも1の仮想オブジェクトの位置・方向に基づいて、少なくも1の仮想オブジェクトの前記少なくとも1の前記3次元表示の第2画像を抽出するステップ;及び
    −前記少なくとも1の抽出された第2画像を、少なくとも1のオブジェクトの前記位置に基づいて、前記少なくとも1の第1画像に挿入するステップ(610)。
  2. 前記少なくとも第1画像はカメラから出力され、前記少なくとも1のセンサは前記カメラに対して可動的であることを特徴とする請求項1に記載の方法。
  3. 前記少なくとも1の方向データは、実シーンに存在する角度センサ(135′、135″)から受け取られることを特徴とする請求項1又は2に記載の方法。
  4. 前記少なくとも1の位置データは、実シーンに存在する位置センサ(135′)から受け取られることを特徴とする請求項1乃至3のいずれか1項に記載の方法。
  5. 前記位置・方向データの一部分が実シーンに存在するセンサから受け取られ、前記位置・方向データの別の部分は取得された第1画像から抽出される(605)ことを特徴とする請求項1又は2に記載の方法。
  6. 前記少なくとも1の位置・方向データは、前記センサに関係する特異な幾何学的構成要素(615)から取得される前記第1画像から抽出されることを特徴とする請求項5に記載の方法。
  7. −取得される前記第1画像のセグメント化するステップ(810);
    −前記セグメント化された第1画像から少なくとも1の特異な幾何学的構成要素の輪郭を抽出するステップ(815);及び
    −前記セグメント化された第1画像から抽出された輪郭に基づいて、特異な幾何学的構成要素の位置を決めるステップ(820)
    を更に含むことを特徴とする請求項6に記載の方法。
  8. 実シーンにおける特異な幾何学的構成要素の位置が、前記第1画像における前記幾何学的構成要素の位置により及び前記第1画像における特異な構成要素の大きさにより決められることを特徴とする請求項7に記載の方法。
  9. 更に、前記仮想オブジェクトの位置の推定ステップ(825)を有していることを特徴とする請求項7又は8に記載の方法。
  10. 前記仮想オブジェクトの位置推定ステップが低域パスフィルタを使うことを特徴とする請求項9に記載の方法。
  11. 請求項1乃至10のいずれか1項の方法に基づく方法の各ステップを実行する命令を含むコンピュータプログラム。
  12. 請求項1乃至10のいずれか1項に記載の方法の各ステップを実行するためのコンピュータプログラムのコード命令を有するコンピュータ又はマイクロプロセッサにより部分的に又は全体的に読み取り可能である情報の格納手段。
  13. 少なくとも1のビデオカメラ及び少なくとも1の表示装置に接続され、請求項1乃至10のいずれか1項に記載尾方法の各ステップを実施する手段を含むリアリティ向上装置。
  14. 実シーン(120)を表す画像ストリームの少なくとも1の画像(第1画像という)に、リアルタイムで、少なくも1の仮想オブジェクトの3次元表示から抽出した少なくとも1の画像(第2画像という)を挿入するための装置であって、次の手段を含む点を特徴とする装置。
    −画像ストリームからの少なくとも1の第1画像を受信する手段(210);
    −少なくとも1の仮想オブジェクトの3次元表示を記憶する手段;
    −前記実シーンの位置・方向データを使って、実シーンの表示における少なくとも1の仮想オブジェクトの位置・方向を決めるための情報を受信する手段(210,214)、但し、少なくとも1の前記データ部分は前記実シーンにおける少なくとも1のセンサ(135′,135″)から受信されたものである;
    −少なくとも1の仮想オブジェクトの位置・方向に基づいて、少なくも1の仮想オブジェクトの前記少なくとも1の前記3次元表示の第2画像を抽出する手段;及び
    −前記少なくとも1の抽出された第2画像を、少なくとも1のオブジェクトの前記位置に基づいて、前記少なくとも1の第1画像に挿入する手段(610)。
  15. 更に、取得された前記第1画像の少なくとも1の前記位置・方向データを抽出するための手段(605)を有することを特徴とする請求項14に記載の装置。
  16. 少なくとも1の可視の特異な幾何学的構成要素(615)と、請求項13乃至15のいずれかの1に基づく装置に位置及び/又は方向の情報を送信するセンサ(135″)とを備える装置。
JP2012268486A 2007-01-05 2012-12-07 画像により表現されている実シーンからのデータを使って、画像ストリームに仮想オブジェクトをリアルタイムで挿入するための方法と装置 Pending JP2013061978A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0752547A FR2911211B1 (fr) 2007-01-05 2007-01-05 Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images
FR0752547 2007-01-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009544431A Division JP5204126B2 (ja) 2007-01-05 2008-01-03 画像により表現されている実シーンからのデータを使って、画像ストリームに仮想オブジェクトをリアルタイムで挿入するための方法と装置

Publications (1)

Publication Number Publication Date
JP2013061978A true JP2013061978A (ja) 2013-04-04

Family

ID=38161918

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009544431A Expired - Fee Related JP5204126B2 (ja) 2007-01-05 2008-01-03 画像により表現されている実シーンからのデータを使って、画像ストリームに仮想オブジェクトをリアルタイムで挿入するための方法と装置
JP2012268486A Pending JP2013061978A (ja) 2007-01-05 2012-12-07 画像により表現されている実シーンからのデータを使って、画像ストリームに仮想オブジェクトをリアルタイムで挿入するための方法と装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009544431A Expired - Fee Related JP5204126B2 (ja) 2007-01-05 2008-01-03 画像により表現されている実シーンからのデータを使って、画像ストリームに仮想オブジェクトをリアルタイムで挿入するための方法と装置

Country Status (6)

Country Link
US (1) US20100060632A1 (ja)
EP (2) EP2237231B1 (ja)
JP (2) JP5204126B2 (ja)
KR (1) KR101320134B1 (ja)
FR (1) FR2911211B1 (ja)
WO (1) WO2008099080A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8817045B2 (en) 2000-11-06 2014-08-26 Nant Holdings Ip, Llc Interactivity via mobile image recognition
JP5038307B2 (ja) * 2005-08-09 2012-10-03 トタル イメルシオン 実在環境内においてデジタルモデルを視覚化する方法、装置、及びコンピュータプログラム
EP2764899A3 (en) * 2005-08-29 2014-12-10 Nant Holdings IP, LLC Interactivity via mobile image recognition
US8339418B1 (en) * 2007-06-25 2012-12-25 Pacific Arts Corporation Embedding a real time video into a virtual environment
WO2010029553A1 (en) * 2008-09-11 2010-03-18 Netanel Hagbi Method and system for compositing an augmented reality scene
WO2010073432A1 (ja) * 2008-12-24 2010-07-01 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
FR2947348B1 (fr) * 2009-06-25 2011-08-19 Immersion Dispositif pour manipuler et visualiser un objet virtuel
KR101642000B1 (ko) * 2009-11-20 2016-07-22 엘지전자 주식회사 이동 단말기, dtv 및 dtv의 제어 방법
KR101487944B1 (ko) 2010-02-24 2015-01-30 아이피플렉 홀딩스 코포레이션 시각 장애인들을 지원하는 증강 현실 파노라마
JP5574852B2 (ja) * 2010-06-30 2014-08-20 キヤノン株式会社 情報処理装置、情報処理方法、システム及びプログラム
US9514654B2 (en) 2010-07-13 2016-12-06 Alive Studios, Llc Method and system for presenting interactive, three-dimensional learning tools
KR101705122B1 (ko) * 2010-07-19 2017-02-23 주식회사 비즈모델라인 증강현실을 이용한 오디오객체 운영 방법
US20120182313A1 (en) * 2011-01-13 2012-07-19 Pantech Co., Ltd. Apparatus and method for providing augmented reality in window form
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
USD648796S1 (en) 2011-01-31 2011-11-15 Logical Choice Technologies, Inc. Educational card
USD648390S1 (en) 2011-01-31 2011-11-08 Logical Choice Technologies, Inc. Educational card
USD648391S1 (en) 2011-01-31 2011-11-08 Logical Choice Technologies, Inc. Educational card
USD675648S1 (en) 2011-01-31 2013-02-05 Logical Choice Technologies, Inc. Display screen with animated avatar
USD654538S1 (en) 2011-01-31 2012-02-21 Logical Choice Technologies, Inc. Educational card
USD647968S1 (en) 2011-01-31 2011-11-01 Logical Choice Technologies, Inc. Educational card
US8488011B2 (en) 2011-02-08 2013-07-16 Longsand Limited System to augment a visual data stream based on a combination of geographical and visual information
US9285874B2 (en) 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US8493353B2 (en) 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
US9262950B2 (en) 2011-04-20 2016-02-16 Microsoft Technology Licensing, Llc Augmented reality extrapolation techniques
KR101620777B1 (ko) * 2012-03-26 2016-05-12 애플 인크. 증강된 가상 터치패드 및 터치스크린
US9430876B1 (en) 2012-05-10 2016-08-30 Aurasma Limited Intelligent method of determining trigger items in augmented reality environments
US9064326B1 (en) 2012-05-10 2015-06-23 Longsand Limited Local cache of augmented reality content in a mobile computing device
US9466121B2 (en) 2012-09-11 2016-10-11 Qualcomm Incorporated Devices and methods for augmented reality applications
US9595083B1 (en) * 2013-04-16 2017-03-14 Lockheed Martin Corporation Method and apparatus for image producing with predictions of future positions
US10043319B2 (en) 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
US9916002B2 (en) 2014-11-16 2018-03-13 Eonite Perception Inc. Social applications for augmented reality technologies
US9754419B2 (en) 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
EP3695888B1 (en) 2015-05-14 2021-12-29 Magic Leap, Inc. Privacy-sensitive consumer cameras coupled to augmented reality systems
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US9928660B1 (en) 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
EP3599544A1 (en) * 2018-07-25 2020-01-29 Nokia Technologies Oy An apparatus, method, computer program for enabling access to mediated reality content by a remote user
CN112750204B (zh) * 2019-10-30 2022-04-05 广东致创数字科技有限公司 数据内容实时更新系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102036A (ja) * 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法
JP2004212163A (ja) * 2002-12-27 2004-07-29 Kazuyoshi Tsukamoto バーチャルスポーツシステム
JP2004287699A (ja) * 2003-03-20 2004-10-14 Tama Tlo Kk 画像合成装置及びその合成方法
JP2005251118A (ja) * 2004-03-08 2005-09-15 Canon Inc 画像処理方法、画像処理装置
JP2005267094A (ja) * 2004-03-17 2005-09-29 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置、画像処理方法、及び画像処理プログラム
JP2006285788A (ja) * 2005-04-01 2006-10-19 Canon Inc 複合現実感情報生成装置および方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351659B1 (en) * 1995-09-28 2002-02-26 Brainlab Med. Computersysteme Gmbh Neuro-navigation system
JP4974319B2 (ja) * 2001-09-10 2012-07-11 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
JP4032776B2 (ja) * 2002-03-04 2008-01-16 ソニー株式会社 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
JP2003264740A (ja) * 2002-03-08 2003-09-19 Cad Center:Kk 展望鏡
JP2003281504A (ja) * 2002-03-22 2003-10-03 Canon Inc 撮像部位置姿勢推定装置及びその制御方法並びに複合現実感提示システム
JP2003346190A (ja) * 2002-05-29 2003-12-05 Canon Inc 画像処理装置
FR2842977A1 (fr) 2002-07-24 2004-01-30 Total Immersion Procede et systeme permettant a un utilisateur de melanger en temps reel des images de synthese avec des images video
US7071970B2 (en) * 2003-03-10 2006-07-04 Charles Benton Video augmented orientation sensor
US20080267450A1 (en) * 2005-06-14 2008-10-30 Maki Sugimoto Position Tracking Device, Position Tracking Method, Position Tracking Program and Mixed Reality Providing System
FR2889761A3 (fr) * 2005-08-09 2007-02-16 Total Immersion Systeme permettant a un utilisateur de localiser une camera afin de pouvoir inserer, rapidement de maniere ajustee, des images d'elements virtuels dans des images video d'elements reels captees par la camera
JP5038307B2 (ja) * 2005-08-09 2012-10-03 トタル イメルシオン 実在環境内においてデジタルモデルを視覚化する方法、装置、及びコンピュータプログラム
KR101465668B1 (ko) * 2008-06-24 2014-11-26 삼성전자주식회사 단말 및 그의 블로깅 방법
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102036A (ja) * 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法
JP2004212163A (ja) * 2002-12-27 2004-07-29 Kazuyoshi Tsukamoto バーチャルスポーツシステム
JP2004287699A (ja) * 2003-03-20 2004-10-14 Tama Tlo Kk 画像合成装置及びその合成方法
JP2005251118A (ja) * 2004-03-08 2005-09-15 Canon Inc 画像処理方法、画像処理装置
JP2005267094A (ja) * 2004-03-17 2005-09-29 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置、画像処理方法、及び画像処理プログラム
JP2006285788A (ja) * 2005-04-01 2006-10-19 Canon Inc 複合現実感情報生成装置および方法

Also Published As

Publication number Publication date
JP2010515189A (ja) 2010-05-06
JP5204126B2 (ja) 2013-06-05
KR20090100436A (ko) 2009-09-23
FR2911211B1 (fr) 2009-06-12
WO2008099080A1 (fr) 2008-08-21
KR101320134B1 (ko) 2013-10-23
EP2237231A1 (fr) 2010-10-06
EP2104925B1 (fr) 2013-04-24
EP2237231B1 (fr) 2013-05-01
EP2104925A1 (fr) 2009-09-30
FR2911211A1 (fr) 2008-07-11
US20100060632A1 (en) 2010-03-11

Similar Documents

Publication Publication Date Title
JP5204126B2 (ja) 画像により表現されている実シーンからのデータを使って、画像ストリームに仮想オブジェクトをリアルタイムで挿入するための方法と装置
JP5424373B2 (ja) 画像処理装置、画像処理プログラム、画像処理システム、および画像処理方法
US10092220B2 (en) System and method for motion capture
JP5084052B2 (ja) コンピュータプログラムとのインタフェース時に方向検出を可能にするための方法およびシステム
US8970624B2 (en) Entertainment device, system, and method
TWI517881B (zh) 決定附球控制器的位置與移動
US9658695B2 (en) Systems and methods for alternative control of touch-based devices
JP7051315B2 (ja) ボールの回転を測定するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体
US20170068326A1 (en) Imaging surround system for touch-free display control
US20110109617A1 (en) Visualizing Depth
US20090318228A1 (en) Apparatus and method of interaction with a data processor
JP5778967B2 (ja) 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム
US8699749B2 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
JP5756322B2 (ja) 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム
WO2019161576A1 (en) Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
CN110489027B (zh) 手持输入设备及其指示图标的显示位置控制方法和装置
CN114578952B (zh) 人机交互方法、系统、处理设备和计算机可读存储介质
WO2014111947A1 (en) Gesture control in augmented reality
JP6788129B2 (ja) ズーム装置及び関連する方法
KR101395237B1 (ko) 이미지 내 형상의 블루밍 보상
CN108401452B (zh) 使用虚拟现实头戴式显示器系统来执行真实目标检测和控制的装置和方法
TWI460683B (zh) The way to track the immediate movement of the head
CN102375541B (zh) 将用户运动转换成多个对象响应
TWM453888U (zh) 使用無線體感偵測裝置判別姿勢的擴增實境投影裝置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140422