JP2015079444A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2015079444A5 JP2015079444A5 JP2013217534A JP2013217534A JP2015079444A5 JP 2015079444 A5 JP2015079444 A5 JP 2015079444A5 JP 2013217534 A JP2013217534 A JP 2013217534A JP 2013217534 A JP2013217534 A JP 2013217534A JP 2015079444 A5 JP2015079444 A5 JP 2015079444A5
- Authority
- JP
- Japan
- Prior art keywords
- virtual object
- image
- captured image
- virtual
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000003672 processing method Methods 0.000 claims 1
- 239000003550 marker Substances 0.000 description 50
- 238000005259 measurement Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 8
- 230000000875 corresponding Effects 0.000 description 4
- 230000003190 augmentative Effects 0.000 description 1
Images
Description
しかしながら、該拡張現実技術では、表示装置の撮像画像を表示する画面において、マーカの位置に、該マーカに対応する3次元画像データが重畳して表示されるだけであって、視覚的効果として、変化が乏しいものであった。
また、仮想オブジェクトの態様は、該仮想オブジェクトの外観で定義されてもよい。また、仮想オブジェクトの態様は、該仮想オブジェクトの姿勢で定義されてもよい。また、仮想オブジェクトの態様は、該仮想オブジェクトに実行させる動作で定義されてもよい。これによって、仮想オブジェクトの態様の変化を富んだものにすることができる。
マーカ情報は、マーカ3に関する情報である。マーカ情報には、例えば、マーカ3を識別するためのマーカID、マーカ画像、マーカサイズ、マーカ3に対する仮想オブジェクトの配置位置、オブジェクトの表示サイズ等が含まれる。マーカ画像は、マーカ3の外観を示す画像である。また、マーカサイズは、マーカ3の縦横の長さ等、マーカ3の大きさを示す情報である。マーカ3に対する仮想オブジェクトの配置位置は、例えば、マーカ3に対する仮想オブジェクトを配置する位置であって、例えば、マーカ3と仮想オブジェクトとの距離である。マーカ情報は、情報処理システム100において使用される各マーカ3に対して存在する。
なお、オブジェクト決定部25は、特徴検出部22によって検出された各マーカ3について、検出からの経過時間を計測し、計測経過時間としてメモリに記録する。計測経過時間は、該当マーカ3が撮像画像から検出される度にリセットされる。例えば、撮像画像が60fpsのレートで取得され、マーカ3が連続して検出される場合には、撮像画像が取得される度に該マーカ3の計測経過時間がリセットされる。なお、最後の検出から該当のマーカ3の検出がないまま所定時間(例えば、5分)経過すると、オブジェクト決定部2
5は、該当のマーカ3の計測経過時間を削除する。処理OP3において、処理対象のマーカ3の計測経過時間が記録されていない場合には、オブジェクト決定部25は、処理対象マーカ3の計測経過時間が第1の時間閾値未満である(OP3:NO)、と判定する。
5は、該当のマーカ3の計測経過時間を削除する。処理OP3において、処理対象のマーカ3の計測経過時間が記録されていない場合には、オブジェクト決定部25は、処理対象マーカ3の計測経過時間が第1の時間閾値未満である(OP3:NO)、と判定する。
例えば、情報処理装置1が省電力状態に移行したり、ユーザによってマーカ3が撮像範囲から外されたままになったり等、例えば1分以上マーカ3が検出されずに再度マーカ3が検出された場合には、前回の検出からの計測経過時間が第2の時間閾値以上であると判定され(OP4:YES)、処理がOP6に進み、前回の検出時と同じ仮想オブジェクトが表示されることとなる。
ただし、第1のAR処理は、図5に示されるフローチャートに限定されない。例えば、OP4の処理は省略することもできる。OP4の処理が省略される場合には、マーカ3の前回の検出から今回の検出までの時間が第2の時間閾値以上である場合にも、OP5の処理に進み、背面カメラ対応情報中のポインタが移動され、前回の検出時とは異なる仮想オブジェクトが表示される。
また、マーカ3の前回の検出からの計測経過時間が第1の時間閾値以上第2の時間閾値未満の範囲内で発生する検出の回数に応じて、マーカ3に基づく所定の位置に配置される仮想オブジェクトが変化するようにしてもよい。すなわち、例えば、ユーザが撮像範囲にマーカ3を出し入れしたりするような、情報処理装置1にマーカ3を認識し直させるユーザ行為の回数に応じて、該マーカ3に基づく所定の位置に配置される仮想オブジェクトが変化するようにしてもよい。この場合には、オブジェクト決定部25は、検出される各マーカ3について、前回の検出からの計測経過時間が第1の時間閾値以上第2の時間閾値未満の範囲内で発生する検出の回数を計数する。該検出の回数のカウンタは、例えば、マーカ3の前回の検出からの計測経過時間が第1の時間閾値以上第2の時間閾値未満の範囲内で検出が発生した場合に1加算され、該当マーカ3の前回の検出からの計測経過時間が第2の時間閾値以上である検出が発生した場合にリセットされる。例えば、前回の検出からの計測経過時間が第1の時間閾値以上第2の時間閾値未満の範囲内で発生する検出の回数が、2回ごとに、すなわち、情報処理装置1にマーカ3を認識し直させるユーザ行為が2回行われる毎に、オブジェクト決定部25は、該当マーカ3の背面カメラ対応情報のポインタを移動させる。
一時的対応情報には、基準マーカ3Yとノーマルマーカ3Aとがともに撮像画像から検出された場合に、検出された基準マーカ3Yとノーマルマーカ3Aとの情報が背面カメラ対応情報からコピーされる。ノーマルマーカ3Aの情報において、ポインタが指し示す仮想オブジェクトIDは、基準マーカ3Yの情報に書き込まれる。これによって、該仮想オブジェクトが基準マーカ3Yに関連付けられ、基準マーカ3Yに関連付けられる仮想オブジェクトが増える。
上述した実施形態において、情報処理装置1は、単体で上述の処理を行ったが、これに限られない。上述した実施形態の処理は、複数の情報処理装置で分散して行われてもよい。例えば、背面カメラ対応情報は、ネットワーク上のデータベースに配置されており、情報処理装置1が該データベースにアクセスして背面カメラ対応情報を取得してもよい。また、例えば、画像生成部26の処理を、ネットワーク上のサーバに実行させるように設計することによって、情報処理装置1がマーカ3の検出結果をサーバに送信し、該サーバが仮想空間画像を生成して情報処理装置1に送信するようにしてもよい。
Claims (11)
- コンピュータを、
現実空間の撮像画像を取得する画像取得手段と、
前記撮像画像から特徴を検出する特徴検出手段と、
前記撮像画像の撮像手段の状況に応じて変化させて、仮想オブジェクト又は仮想オブジェクトと該仮想オブジェクトの態様と、を決定する決定手段と、
前記決定された仮想オブジェクト又は前記決定された態様の仮想オブジェクトが前記特徴に基づいて配置された仮想空間の画像を生成する画像生成手段と、
前記仮想空間の画像が現実空間に重畳されてユーザから視認されるように、表示装置に画像を表示させる表示制御手段と、
として機能させる情報処理プログラム。 - 前記コンピュータは、前記撮像手段として、同一の筐体に複数のカメラを備え、
前記決定手段は、前記撮像画像の撮像手段の状況として、前記撮像画像が前記複数のカメラのいずれによって撮像されたかに応じて、仮想オブジェクト又は仮想オブジェクトと該仮想オブジェクトの態様とを決定する、
請求項1に記載の情報処理プログラム。 - 前記コンピュータは、表示装置を同一の筐体に備え、
前記複数のカメラの一部は、前記表示装置の表示画面と略同一の面に備えられ、
前記複数のカメラの他の一部は、前記表示装置の表示画面と略同一の面以外の面に備えられ、
前記決定手段は、前記撮像画像の撮像手段の状況として、当該撮像画像が、前記表示画面と略同一の面に備えられているカメラによる撮像画像であるか、前記表示画面と略同一の面以外の面に備えられているカメラによる撮像画像であるかによって、仮想オブジェクト又は仮想オブジェクトと該仮想オブジェクトの態様とを決定する、
請求項2に記載の情報処理プログラム。 - 前記複数のカメラの前記一部と、前記他の一部とは、前記コンピュータの姿勢を基準にした撮像方向が略逆方向である、
請求項3に記載の情報処理プログラム。 - 前記決定手段は、前記撮像画像の撮像手段の状況として、前記撮像画像の撮像手段の変化に応じて、仮想オブジェクト又は仮想オブジェクトと該仮想オブジェクトの態様とを変化させる、
請求項2に記載の情報処理プログラム。 - 前記仮想オブジェクトの前記態様は、該仮想オブジェクトの外観で定義される、
請求項1から5のいずれか一項に記載の情報処理プログラム。 - 前記仮想オブジェクトの前記態様は、該仮想オブジェクトの姿勢で定義される、
請求項1から6のいずれか一項に記載の情報処理プログラム。 - 前記仮想オブジェクトの前記態様は、該仮想オブジェクトに実行させる動作で定義される、
請求項1から7のいずれか一項に記載の情報処理プログラム。 - 現実空間の撮像画像を取得する画像取得手段と、
前記撮像画像から特徴を検出する特徴検出手段と、
前記撮像画像の撮像手段の状況に応じて変化させて、仮想オブジェクト又は仮想オブジェクトと該仮想オブジェクトの態様と、を決定する決定手段と、
前記決定された仮想オブジェクト又は前記決定された態様の仮想オブジェクトが前記特徴に基づいて配置された仮想空間の画像を生成する画像生成手段と、
前記仮想空間の画像が現実空間に重畳されてユーザから視認されるように、表示装置に画像を表示させる表示制御手段と、
を備える情報処理装置。 - コンピュータと、
撮像手段と、
表示装置と、
現実空間に配置された特徴と、
を含む情報処理システムであって、
前記コンピュータは、
前記現実空間の撮像画像を取得する画像取得手段と、
前記撮像画像から前記特徴を検出する特徴検出手段と、
前記撮像画像の撮像手段の状況に応じて変化させて、仮想オブジェクト又は仮想オブジェクトと該仮想オブジェクトの態様と、を決定する決定手段と、
前記決定された仮想オブジェクト又は前記決定された態様の仮想オブジェクトが前記特徴に基づいて配置された仮想空間の画像を生成する画像生成手段と、
前記仮想空間の画像が現実空間に重畳されてユーザから視認されるように、前記表示装置に画像を表示させる表示制御手段と、
を含む情報処理システム。 - コンピュータが、
現実空間の撮像画像を取得し、
前記撮像画像から特徴を検出し、
前記撮像画像の撮像手段の状況に応じて変化させて、仮想オブジェクト又は仮想オブジェクトと該仮想オブジェクトの態様と、を決定し、
前記決定された仮想オブジェクト又は前記決定された態様の仮想オブジェクトが前記特徴に基づいて配置された仮想空間の画像を生成し、
前記仮想空間の画像が現実空間に重畳されてユーザから視認されるように、表示装置に画像を表示させる、
情報処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013217534A JP6192483B2 (ja) | 2013-10-18 | 2013-10-18 | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 |
US14/270,726 US9602740B2 (en) | 2013-10-18 | 2014-05-06 | Computer-readable recording medium recording information processing program, information processing apparatus, information processing system, and information processing method for superimposing a virtual image on a captured image of real space |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013217534A JP6192483B2 (ja) | 2013-10-18 | 2013-10-18 | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015079444A JP2015079444A (ja) | 2015-04-23 |
JP2015079444A5 true JP2015079444A5 (ja) | 2016-11-10 |
JP6192483B2 JP6192483B2 (ja) | 2017-09-06 |
Family
ID=52825865
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013217534A Active JP6192483B2 (ja) | 2013-10-18 | 2013-10-18 | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9602740B2 (ja) |
JP (1) | JP6192483B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9589000B2 (en) * | 2012-08-30 | 2017-03-07 | Atheer, Inc. | Method and apparatus for content association and history tracking in virtual and augmented reality |
TWI533240B (zh) * | 2014-12-31 | 2016-05-11 | 拓邁科技股份有限公司 | 資料顯示方法及系統,及相關電腦程式產品 |
US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
US9934594B2 (en) * | 2015-09-09 | 2018-04-03 | Spell Disain Ltd. | Textile-based augmented reality systems and methods |
JP5988286B1 (ja) * | 2016-04-01 | 2016-09-07 | 株式会社Cygames | プログラム及び画像処理装置 |
JP2018078475A (ja) * | 2016-11-10 | 2018-05-17 | 富士通株式会社 | 制御プログラム、制御方法および制御装置 |
US9754397B1 (en) * | 2017-04-07 | 2017-09-05 | Mirage Worlds, Inc. | Systems and methods for contextual augmented reality sharing and performance |
CN109218630B (zh) * | 2017-07-06 | 2022-04-12 | 腾讯科技(深圳)有限公司 | 一种多媒体信息处理方法及装置、终端、存储介质 |
US10504288B2 (en) | 2018-04-17 | 2019-12-10 | Patrick Piemonte & Ryan Staake | Systems and methods for shared creation of augmented reality |
US10812736B2 (en) * | 2018-12-24 | 2020-10-20 | Polarr, Inc. | Detected object based image and video effects selection |
CN110930298A (zh) * | 2019-11-29 | 2020-03-27 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像处理设备及存储介质 |
US11816757B1 (en) * | 2019-12-11 | 2023-11-14 | Meta Platforms Technologies, Llc | Device-side capture of data representative of an artificial reality environment |
CN111866391B (zh) * | 2020-07-30 | 2022-07-22 | 努比亚技术有限公司 | 一种视频拍摄方法、设备及计算机可读存储介质 |
US11361519B1 (en) | 2021-03-29 | 2022-06-14 | Niantic, Inc. | Interactable augmented and virtual reality experience |
JP2023091953A (ja) * | 2021-12-21 | 2023-07-03 | 株式会社セガ | プログラム及び情報処理装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000322602A (ja) | 1999-05-12 | 2000-11-24 | Sony Corp | 画像処理装置および方法、並びに媒体 |
JP2006260602A (ja) * | 2006-06-13 | 2006-09-28 | Sony Computer Entertainment Inc | 画像処理装置 |
JP4804256B2 (ja) * | 2006-07-27 | 2011-11-02 | キヤノン株式会社 | 情報処理方法 |
JP2011203824A (ja) * | 2010-03-24 | 2011-10-13 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
US8384770B2 (en) * | 2010-06-02 | 2013-02-26 | Nintendo Co., Ltd. | Image display system, image display apparatus, and image display method |
JP5646263B2 (ja) * | 2010-09-27 | 2014-12-24 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 |
JP5738569B2 (ja) * | 2010-10-15 | 2015-06-24 | 任天堂株式会社 | 画像処理プログラム、装置、システムおよび方法 |
JP5827007B2 (ja) * | 2010-10-15 | 2015-12-02 | 任天堂株式会社 | ゲームプログラム、画像処理装置、画像処理システム、および画像処理方法 |
JP5948842B2 (ja) * | 2011-12-14 | 2016-07-06 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
2013
- 2013-10-18 JP JP2013217534A patent/JP6192483B2/ja active Active
-
2014
- 2014-05-06 US US14/270,726 patent/US9602740B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015079444A5 (ja) | ||
JP2015079447A5 (ja) | ||
JP2015079433A5 (ja) | ||
US10482608B2 (en) | Method and apparatus to generate haptic feedback from video content analysis | |
JP2018049591A5 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2020535536A5 (ja) | ||
JP2018180655A5 (ja) | ||
WO2019225547A1 (ja) | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム | |
EP3629302B1 (en) | Information processing apparatus, information processing method, and storage medium | |
KR20140033868A (ko) | 증강현실 응용을 위한 환경 모델링 방법 및 장치 | |
JP2018180654A5 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2014170483A5 (ja) | ||
US20180020203A1 (en) | Information processing apparatus, method for panoramic image display, and non-transitory computer-readable storage medium | |
CN107330974B (zh) | 商品展示方法、装置及移动设备 | |
JP2012146305A (ja) | ウィンドウ状の拡張現実を提供する装置および方法 | |
JP2015038699A (ja) | 拡張現実画像生成システム、3次元形状データ生成装置、拡張現実提示装置、拡張現実画像生成方法、及びプログラム | |
JP2020058779A5 (ja) | ||
KR101850134B1 (ko) | 3차원 동작 모델 생성 방법 및 장치 | |
JP6515022B2 (ja) | 観察領域推定方法、観察領域推定装置、及びプログラム | |
JP2022182836A (ja) | 映像処理装置及びその制御方法及びプログラム | |
JP6548683B2 (ja) | 対象物画像推定装置および対象物画像判定装置 | |
JP2020182201A (ja) | ポーズ変化通知方法及び関連する対話型画像処理システム | |
JP2023007233A5 (ja) | ||
JP2009210286A (ja) | 画像処理装置および画像処理プログラム | |
US20210343040A1 (en) | Object tracking |