JP2020071718A5

JP2020071718A5 -

Info

Publication number: JP2020071718A5
Application number: JP2018205859A
Authority: JP
Filing date: 2018-10-31
Publication date: 2021-12-09
Anticipated expiration: 2038-10-31

Claims

現実空間を撮像した第１画像を取得する撮像手段と、前記第１画像を用いて生成された第２画像を表示する表示手段とを備える画像表示装置に、前記第２画像を供給する情報処理装置であって、
前記第１画像に含まれる特定の物体の所定時間後の位置を推定した結果に基づいて、前記第１画像中の前記推定結果に基づく位置に前記物体を描写した画像と前記第１画像とを合成した前記第２画像を生成する画像生成手段と、
前記撮像から表示までの処理における少なくとも一部の処理時間に起因する遅延時間、および前記画像表示装置の位置または姿勢の変化量に基づいて、前記表示手段に供給する第２画像を表示する位置をシフトする表示位置制御手段とを有することを特徴とする情報処理装置。
前記所定時間は、撮像装置によって撮像を行う第１の時刻と、前記画像表示装置の位置または姿勢を計測する第２の時刻との差分であることを特徴とする請求項１に記載の情報処理装置。
前記画像生成手段は、前記第１画像から前記物体を抽出した領域を、前記推定結果に基づく位置に描写した画像を生成することを特徴とする請求項１または２に記載の情報処理装置。
前記物体は手であって、
前記画像生成手段は、前記第１画像における肌色領域から抽出された前記手を前記推定結果に基づく位置に描写した画像を生成することを特徴とする請求項３に記載の情報処理装置。
前記第１画像は、ステレオ画像であって、
前記画像生成手段は、前記第１画像から抽出された前記物体の３次元の形状に基づいて、前記推定結果に基づく位置に前記物体を描写した画像を生成することを特徴とする請求項４に記載の情報処理装置。
前記第１画像はステレオ画像であって、
前記画像生成手段は、前記第１画像から前記物体の３次元の形状を取得し、前記推定結果に基づく位置に前記物体を３次元で描写した画像を生成することを特徴とする請求項４に記載の情報処理装置。
前記画像表示装置の位置または姿勢を計測した結果を取得する位置姿勢取得手段を更に有し、
前記表示位置制御手段は、前記位置姿勢取得手段によって得られた結果に基づいて前記第２画像をシフトする量を制御することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
前記撮像手段によって撮像された過去の画像に基づいて前記物体の動きを推定する推定手段をさらに有し、
前記画像生成手段は、前記推定手段によって推定された結果を用いて前記物体を前記所定時間後における前記物体の位置に描写した画像を生成することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
前記物体は手であって、
前記推定手段は、さらに前記手の指の関節角度を推定し、
前記画像生成手段は、前記推定手段の結果に基づいて前記手の指を変化させた画像を生成することを特徴とする請求項８に記載の情報処理装置。
前記画像表示装置は、ヘッドマウントディスプレイであることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
現実空間を撮像した第１画像を取得する撮像手段と、前記第１画像を用いて生成された第２画像を表示する表示手段とを備える画像表示装置に、前記第２画像を供給する情報処理装置であって、
前記撮像から表示までの処理における少なくとも一部の処理時間に起因する遅延時間、および前記画像表示装置の位置または姿勢の変化量に基づいて、第１画像をシフトした背景画像を生成する第１生成手段と、
前記第１画像に含まれる特定の物体の所定時間後の位置を推定した結果に基づいて、前記第１画像中の前記推定結果に基づく位置に前記物体を描写した画像と、前記第１生成手段によって生成された前記背景画像とを合成して前記第２画像を生成する第２生成手段と、を有することを特徴とする情報処理装置。
仮想空間の第３画像を用いて生成した第４画像を表示する表示手段を備える画像表示装置に、前記第４画像を供給する情報処理装置であって、
仮想空間において特定の物体の所定時間後の位置を推定した結果に基づいて、前記第３画像中の前記推定結果に基づく位置に前記物体を描写した画像から前記第４画像を生成する画像生成手段と、
前記第３画像の生成から表示するまでの処理における少なくとも一部の処理時間に起因する遅延時間、および前記画像表示装置の位置または姿勢の変化量に基づいて、前記表示手段に供給する第４画像を表示する位置をシフトする表示位置制御手段とを有することを特徴とする情報処理装置。
コンピュータを、請求項１乃至１２のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
現実空間を撮像した第１画像を取得する撮像手段と、前記第１画像を用いて生成された第２画像を表示する表示手段とを備える画像表示装置に、前記第２画像を供給する情報処理方法であって、
前記撮像から表示までの処理における少なくとも一部の処理時間に起因する遅延時間、および前記画像表示装置の位置または姿勢の変化量に基づいて、前記表示手段に供給する第２画像を表示する位置をシフトする表示位置制御工程と、
前記第１画像に含まれる特定の物体の所定時間後の位置を推定した結果に基づいて、前記表示手段に供給する第２画像中の前記推定結果に基づく位置に、前記物体に相当する画像を生成する画像生成工程とを有することを特徴とする情報処理方法。
現実空間を撮像した第１画像を取得する撮像手段と、および前記第１画像を用いて生成された第２画像を表示する表示手段とを備える画像表示装置に、前記第２画像を供給する情報処理装置を有する情報処理システムであって、
情報処理装置は、
前記第１画像に含まれる特定の物体の所定時間後の位置を推定した結果に基づいて、前記第１画像中の前記推定結果に基づく位置に前記物体を描写した画像と前記第１画像とを合成した前記第２画像を生成する画像生成手段と、
前記撮像から表示までの処理における少なくとも一部の処理時間に起因する遅延時間、および前記画像表示装置の位置または姿勢の変化量に基づいて、前記表示手段に供給する第２画像を表示する位置をシフトする表示位置制御手段とを有することを特徴とする情報処理システム。