JP2018087849A - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2018087849A JP2018087849A JP2016229985A JP2016229985A JP2018087849A JP 2018087849 A JP2018087849 A JP 2018087849A JP 2016229985 A JP2016229985 A JP 2016229985A JP 2016229985 A JP2016229985 A JP 2016229985A JP 2018087849 A JP2018087849 A JP 2018087849A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- image processing
- unit
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
MRシステムにおいて、背景画像に重畳させるCG画像にエラーが発生した際に、背景画像も一緒に補間画像に置き換えた場合、使用者の頭部の動きに対して画面全体が補間領域となる。このように画面内の補間領域が増えると、使用者に違和感を与えやすい。
また、MRシステムにおいて、合成画像にエラーが発生した際に、過去の合成画像をそのまま補間画像として代用した場合、補間画像と本来表示すべき合成画像と間には内容の差が生じるため、使用者に違和感を与えるおそれがある。
そこで、本発明は、表示すべき画像にエラーが発生した場合であっても、違和感が低減されたMR空間を提示可能とすることを目的としている。
(第一の実施形態)
図1は、本実施形態における複合現実感システム(MRシステム)10の構成例を示す図である。本実施形態におけるMRシステム10は、現実空間と仮想空間とを融合した複合現実空間(MR空間)を使用者(視聴者)に提示するための画像処理システムである。
本実施形態では、MR空間を体感する使用者の頭部に装着される頭部装着型表示装置(HMD)20を利用して、使用者にMR空間を提示する場合について説明する。本実施形態において、HMD20は、現実空間の画像(実写画像)とコンピュータグラフィックス(CG)により描画される仮想空間の画像(CG画像)とを合成した合成画像を使用者に提示可能なビデオシースルー型HMDである。HMD20は、実写画像とCG画像とを合成して合成画像を生成する画像処理装置30と、画像処理装置30により生成された合成画像を表示する表示部40と、を備える。
HMD20の画像処理装置30は、画像取得部31と、第一のバッファ32と、第二のバッファ33と、画像合成部34と、表示制御部35と、補間画像生成部36と、を備える。また、CG画像生成装置50は、GMV検出部51と、描画位置算出部52と、CG生成部53と、を備える。
なお、画像取得部31が実写画像をどこから取得するかについては、特に限定されるものではない。例えば、画像取得部31は、HMD20に実装された撮像装置や、ネットワークに接続されたサーバ装置、記憶媒体から情報を読み取る装置、ハードディスク装置などから取得することができる。また、画像取得部31が取得する画像は、HMD20の視点の位置姿勢に対応した画像であれよく、実写画像に限定されない。
そして、注目フレームのCG画像が保存されている場合は、第一のバッファ32に保存された注目フレームの実写画像と、第二のバッファ33に保存された注目フレームのCG画像とを合成し、合成画像を生成する。一方、注目フレームのCG画像が保存されていない場合は、第一のバッファ32に保存された注目フレームの実写画像と、補間画像生成部36により生成された、注目フレームのCG画像を補間するための補間画像とを合成し、合成画像を生成する。
補間画像生成部36は、第二のバッファ33に保存された、注目フレームよりも時間的に前で且つ最新のCG画像を補正対象として補正し、注目フレームのCG画像を補間するための補間画像を生成する。具体的には、補間画像生成部36は、補正対象のCG画像を、当該補正対象のCG画像のフレーム番号に相当する実写画像から注目フレームの実写画像までの間のGMVを加味して幾何変換し、補間画像を生成する。ここで、幾何変換は、平面内の写像、奥行き方向の写像、および空間内の回転の少なくとも1つを含む。
また、補間画像の生成を完了するタイミングは、表示制御部35により注目フレームの合成画像を表示部40に表示させるタイミングよりも前、具体的には、画像合成部34において注目フレームの合成画像を生成するタイミングに間に合うタイミングとする。
表示部40は、画像処理装置30から送信された合成画像を表示するディスプレイを備える。ここで、上記ディスプレイは、使用者の左右の目にそれぞれ対応して配置することができる。この場合、使用者の左目に対応するディスプレイには左目用の合成画像が表示され、使用者の右目に対応するディスプレイには右目用の合成画像が表示される。また、表示部40は、ディスプレイ上の画像を眼球に導くための光学系を備えていてもよい。
画像処理装置30は、CPU301と、RAM302と、ROM303と、記憶装置304と、記憶媒体ドライブ305と、インターフェース(I/F)306と、システムバス307と、を備える。
CPU301は、画像処理装置30における動作を統括的に制御するプロセッサであり、システムバス307を介して、各構成部(302〜306)を制御する。RAM302は、記憶装置304や記憶媒体ドライブ305からロードされたプログラムやデータを一時的に記憶するための領域を有する。さらに、RAM302は、I/F306を介して外部装置から受信したデータを一時的に記憶するためのエリアを有する。また、RAM302は、CPU301が各処理を実行する際に用いるワークエリアも有する。例えば、RAM302は、図1の第一のバッファ32および第二のバッファ33として機能することができる。
記憶媒体ドライブ305は、CD−ROMやDVD−ROMなどの記憶媒体に記録されたプログラムやデータを読み出したり、係る記憶媒体にプログラムやデータを書き込んだりすることができる。なお、上記において、記憶装置304に保存されているものとして説明したプログラムやデータの一部若しくは全部を、この記憶媒体に記録しておいてもよい。記憶媒体ドライブ305が記憶媒体から読み出したプログラムやデータは、記憶装置304やRAM302に対して出力される。
上述したように、図1に示す画像処理装置30の各部の機能は、CPU301がプログラムを実行することで実現することができる。ただし、図1に示す画像処理装置30の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、CPU301の制御に基づいて動作する。
つまり、図1に示すHMD20およびCG画像生成装置50を構成するそれぞれのブロックは、目標とする処理速度が得られる範囲であれば、ハードウェア、ソフトウェアどちらによって実現されてもよい。
画像処理装置30およびCG画像生成装置50は、それぞれCPUが必要なプログラムを読み出して実行することにより、図3に示す処理を実現することができる。ただし、上述したように、図1に示す画像処理装置30およびCG画像生成装置50の各要素のうち少なくとも一部が専用のハードウェアとして動作することで図4の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、各装置のCPUの制御に基づいて動作する。なお、以降、アルファベットSはフローチャートにおけるステップを意味するものとする。
S1において、GMV検出部51は、画像処理装置30の画像取得部31から実写画像(D1)を受信したか否かを判定する。そして、GMV検出部51は、実写画像を受信していないと判定した場合は、実写画像を受信するまで待機し、実写画像を受信するとS2に移行する。S2では、GMV検出部51は、S1において取得した実写画像を注目フレームの実写画像とし、注目フレームの1つ前のフレームの実写画像と比較して、HMDの視点の位置姿勢の動き量を検出し、注目フレームのGMVを生成する。ここで、HMDの視点の位置姿勢の動き量は、画像中の特徴点を検出し、検出した特徴点の移動をフレームにまたがって追跡することにより検出することができる。
このように、CG画像生成装置50は、注目フレームのGMVを検出した後、注目フレームのCG画像を生成し、注目フレームのGMVを先行して注目フレームのCG画像の生成を待たずに画像処理装置30へ送信する。
まずS11において、画像取得部31は、実写画像を取得(キャプチャ)する。次にS12において、画像取得部31は、S11において取得された実写画像をフレーム番号と共にCG画像生成装置50に送信する(D1)。また、画像取得部31は、S11において取得された実写画像をフレーム番号と共に第一のバッファ32に保存する。
S13では、補間画像生成部36は、CG画像生成装置50から注目フレームに対応するGMVを受信すると(D2)、第二のバッファ33に保存されたCG画像のうち、注目フレームよりも時間的に前で且つ最新のCG画像を補正対象として読み出す。そして、読み出したCG画像を、GMVに基づいて幾何変換して補間画像を生成する。ここで、幾何変換は、平面内の写像、奥行き方向の写像、および空間内の回転の少なくとも1つを含むことができる。
なお、本実施形態では、GMVについては、CG画像生成装置50から画像処理装置30へのデータの伝送エラー等がなく、正常にGMVが送信されているものとして説明する。
S15では、画像合成部34は、注目フレーム番号のCG画像が第二のバッファ33に保存されているか否かを判定する。注目フレーム番号のCG画像(D3)は、CG画像の異常が発生していない場合、画像合成タイミングの前に受信され(図3の左向きの点線矢印)、第二のバッファ33に保存される。しかしながら、CG画像の異常が発生している場合、注目フレーム番号のCG画像は画像合成タイミングの時点で第二のバッファ33に保存されていない場合がある(図3の下向きの点線矢印)。なお、画像合成タイミングに遅れて受信したCG画像は、次フレームの補間画像の生成処理(S13の処理)において利用可能とするために、第二のバッファ33に保存される。
一方、S15において、画像合成部34が、第二のバッファ33に注目フレーム番号のCG画像が保存されていない(CG画像に異常が発生している)と判定した場合、S17に移行する。そして、S17では、画像合成部34は、S11において取得された注目フレームの実写画像と、S13において生成された補間画像とを合成し、S18に移行する。
S18では、表示制御部35は、S16またはS17において生成された合成画像を表示部40に表示する表示制御を行う。
これら図4〜図6において、実写画像F、CG画像Cおよび合成画像Syの添え字の数字は、フレーム番号に相当している。例えば、図4の点線で囲まれた処理の添え字は「2」である。この点線領域では、フレーム番号=2の実写画像F2を用いてCG画像C2を生成し、実写画像F2とCG画像C2とを合成して合成画像Sy2を生成することを示している。また、CG画像C2を補正して生成された補間画像が、補間画像C2´であることを示している。
画像取得部31は、実写画像F2をキャプチャすると、キャプチャした実写画像F2をGMV検出部51に送信する。すると、GMV検出部51は、実写画像F2をもとにGMVを検出し、検出したGMVを画像処理装置30に送信する。実写画像F2のGMVを受信した画像処理装置30は、補間画像生成部36において、受信したGMVをもとに、第二のバッファ33に保存されている最新のCG画像を補正し、補間画像を生成する。このとき、第二のバッファ33にはCG画像C1が保存されているため、補間画像生成部36は、CG画像C1を補正して補間画像C1´を生成する。そして、画像合成部34は、合成画像Sy2の画像合成タイミングとなるまで待機する。
したがって、合成画像Sy2の画像合成タイミングでは、画像合成部34は、実写画像F2とCG画像C2とを合成して合成画像Sy2を生成する。そして、表示制御部35は、実写画像F2とCG画像C2とを合成した合成画像Sy2を表示部40に表示させる。このように、画像処理装置30は、HMDの視点の位置姿勢に基づいて生成されたCG画像をリアルタイム合成して表示させるので、使用者に違和感のないMR空間を提示することができる。
このとき、データ伝送の遅延により、CG画像C3が第二のバッファ33に保存されるタイミングが、合成画像Sy3の画像合成タイミングよりも僅かに遅れたものとする。その場合、合成画像Sy3の画像合成タイミングでは、第二のバッファ33にCG画像C3が保存されていないため、画像合成部34は、実写画像F3と過去のCG画像C2を補正して生成された補間画像C2´とを合成し、合成画像Sy3を生成する。
以上のように、データ伝送の遅延により、画像処理装置30がCG画像生成装置50から正常なタイミングでCG画像を取得できない場合には、過去に取得済みの最新のCG画像をGMVに基づいて補正した補間画像を代用する。したがって、本来表示すべきCG画像と内容に差がない補間画像を合成表示することができ、違和感のないMR空間を提示することができる。
合成画像Sy3は、図4の例と同様に、実写画像F3と補間画像C2´とを合成して生成される。
次に、実写画像F4がキャプチャされ、実写画像F4のGMVが検出されると、補間画像生成部36は、合成画像Sy4を生成するタイミングよりも前に、補間画像を生成する。このとき、第二のバッファ33にCG画像C3は保存されていないため、補間画像生成部36が生成する補間画像は、CG画像C2を、実写画像F2からF4までの間のGMVを加味して補正された補間画像C2”となる。そして、合成画像Sy4の画像合成タイミングでは、画像合成部34は、実写画像F4と補間画像C2”とを合成して合成画像Sy4を生成する。
その後、データ伝送の遅延が解消し、合成画像Sy5を生成するタイミングよりも前に、第二のバッファ33に正常にCG画像C5が保存された場合、画像合成部34は、実写画像F5とCG画像C5とを合成して合成画像Sy5を生成する。以降の処理は、図4と同様である。
合成画像Sy3は、図4の例と同様に、実写画像F3と補間画像C2´とを合成して生成される。また、合成画像Sy4は、図4の例と同様に、実写画像F4と補間画像C3´とを合成して生成される。
次に、実写画像F5がキャプチャされ、実写画像F5のGMVが検出されると、補間画像生成部36は、合成画像Sy5を生成するタイミングよりも前に、補間画像を生成する。このとき、CG画像C4は第二のバッファ33に保存されていないため、補間画像生成部36が生成する補間画像は、CG画像C3を実写画像F3からF5までの間のGMVを加味して補正された補間画像C3”となる。
以上のように、画像処理装置30は、CG画像に異常が発生した場合、背景画像は実写画像を用い、CG画像のみ補間画像を用いてMR画像を表示させることができる。つまり、画面内の補間領域をCG画像の表示領域に止めることができる。このように、画面内の補間領域が増えることを抑制することができるので、使用者に与える違和感を抑制することができる。また、上記補間画像は、過去のCG画像をGMVに基づいて補正した、HMD20の視点の位置姿勢に合ったCG画像であり、本来表示すべきCG画像との間に内容の差がないCG画像とすることができる。そのため、補間画像を表示した際の使用者の違和感も抑制することができる。
したがって、通信品質の低い環境や、CG画像の生成に時間がかかったり処理時間がばらついたりするシステムであっても、使用者に違和感のないCG画像およびMR画像を提供することが可能となる。さらに、合成画像を左目用画像、右目用画像として別系統で生成し、それぞれ左目用表示ユニット、右目用表示ユニットに表示して使用者にステレオ動画像を提供するMRシステムにおいては、ステレオ感が損なわれることを防止することもできる。
さらに、画像処理装置30は、補間画像の生成に際し、注目フレームの合成画像を表示部40に表示させるタイミングよりも前、具体的には、注目フレームの合成画像を生成するタイミング(画像合成タイミング)に間に合うように補間画像の生成を完了させる。これにより、適切にMR画像を提示することができる。
このとき、CG画像生成装置50は、GMVに関する情報とCG画像とのうち、GMVに関する情報を先行して画像処理装置30に送信する。したがって、画像処理装置30は、注目フレームの画像合成タイミングに間に合うように、注目フレームのGMVを受信して、適切に注目フレームの補間画像を生成することができる。
次に、本発明の第二の実施形態について説明する。
上述した第一の実施形態では、CG画像生成装置50においてGMVを検出する場合について説明した。この第二の実施形態では、HMD20においてGMVを検出する場合について説明する。
図7は、本実施形態におけるMRシステム10の構成を示すブロック図である。この図7において、図1と同様の構成を有する部分には図1と同一符号を付し、以下、構成の異なる部分を中心に説明する。
画像処理装置30Bは、図7の画像処理装置30AにおけるGMV検出部37の代わりに、画像取得部31からの入力を持たないGMV検出部37aを備える構成を有する。GMV検出部37aは、GMVを検出するタイミングに同期して、ジャイロセンサや加速度センサによりGMVを検出し、GMVをフレーム番号と共にCG画像生成装置50Aと第一のバッファ32aとに送信する。また、画像取得部31は、取得した実写画像をフレーム番号と共に第一のバッファ32aに送信する。その他の構成および動作については、図7と同様であるため、説明は割愛する。
次に、本発明の第三の実施形態について説明する。
上述した第一および第二の実施形態では、HMD20がビデオシースルー型HMDであり、実写画像とCG画像とを合成した合成画像を表示する場合について説明した。第三の実施形態では、HMD20が光学シースルー型HMDであり、透明な画像投影面に、CG画像のみを投影する場合について説明する。
図9は、本実施形態におけるMRシステム10の構成を示すブロック図である。この図9において、図8と同様の構成を有する部分には図8と同一符号を付し、以下、構成の異なる部分を中心に説明する。
そして、注目フレームのCG画像が保存されている場合は、第二のバッファ33aに保存された注目フレームのCG画像を表示画像として選択する。一方、注目フレームのCG画像が保存されていない場合は、補間画像生成部36により生成された、注目フレームのCG画像を補間する補間画像を表示画像として選択する。
以上により、頭部装着型表示装置の画像投影面が透明で、CG画像のみを投影する構成のMRシステムにおいて、本来表示すべきCG画像に異常が発生した場合であっても、違和感のないMR空間を提示することができる。
次に、本発明の第四の実施形態について説明する。
上述した第一の実施形態では、CG画像生成装置50において検出されたGMVをHMD20の画像処理装置30に送信し、画像処理装置30における補間画像の生成に用いる場合について説明した。第四の実施形態では、CG画像生成装置50におけるGMV検出とは別に、HMD20において簡易的なGMVを検出する場合について説明する。
図10は、本実施形態におけるMRシステム10の構成を示すブロック図である。この図10において、図1と同様の構成を有する部分には図1と同一符号を付し、以下、構成の異なる部分を中心に説明する。
簡易GMV検出部39は、画像取得部31によって取得された実写画像をもとに、簡易的にHMD20の位置姿勢の動き量を検出する。本実施形態では、簡易GMV検出部39は、HMD20の視点の上下左右のような2次元方向の動きを簡易検出する。この簡易GMV検出部39は、HMD20に十分搭載可能な程度に処理が軽い検出手段である。一方、GMV検出部51は、HMD20の視点の上下左右だけでなく、面内回転、前後の動きを検出する比較的高度な処理を要する検出手段である。
補間画像生成部36aは、補間画像の生成タイミングにおいて、第二のバッファ33に注目フレームのGMVが保存されているか否かを判定する。そして、注目フレームのGMVが保存されている場合は、第二のバッファ33に保存された、注目フレームよりも時間的に前で且つ最新のCG画像を、注目フレームのGMVを用いて補正し、補間画像を生成する。一方、注目フレームのGMVが保存されていない場合、第二のバッファ33に保存された、注目フレームよりも時間的に前で且つ最新のCG画像を、第一のバッファ32cに保存された注目フレームの簡易的なGMVを用いて補正し、補間画像を生成する。
本実施形態において、CG画像生成装置50の処理は、図3と同様である。
画像処理装置30Dの処理は、図3のS12の後にS21〜S25の処理が追加され、S13の処理が削除されていることを除いては、図3と同様である。
次に、補正画像生成部36aは、S22において、補間画像を生成するタイミングとなったか否かを判定する。ここで、補間画像生成部36aは、実写画像をキャプチャする周期でタイマを動作させ、タイマ終了を検出することで補間画像生成タイミングを検出することができる。補間画像生成部36aは、補間画像生成タイミングではないと判定した場合には、補間画像生成タイミングとなるまで待機し、補間画像生成タイミングとなったことを検出するとS23に移行する。
そこで、補間画像生成部36aは、S23において、第二のバッファ33に注目フレームのGMVが保存されているか否かを判定することで、注目フレームのGMVを受信したか否かを判定する。そして、補間画像生成部36aは、GMVを受信していると判定した場合にはS24に移行し、GMVを受信していない場合にはS25に移行する。
なお、上記各実施形態では、画像の時間情報としてフレーム番号を用いる場合について説明したが、フレーム番号の代わりにタイムスタンプ情報を用いてもよい。
また、上記各実施形態において、CG画像の生成処理にn(nは自然数)フレーム以上のレイテンシが存在する場合、画像処理装置30における補間画像の生成処理や合成画像の生成処理では、nフレーム前のフレーム番号の画像を処理してもよい。
さらに、上記各実施形態において、CG画像を重畳する画像を実写画像として説明したが、実写画像ではなく、ビデオ映像とCG画像とを重畳してもよい。上記第三の実施形態のように頭部装着型表示装置(HMD)の画像投影面が透明で、CG画像のみを投影する構成のMRシステムでは、ビデオ映像に透過情報を含め、外界においてビデオ画像にCG画像を重畳し、使用者に提示するようにしてもよい。
さらに、表示装置は頭部装着型表示装置(HMD)に限定されるものではなく、ハンドヘルドディスプレイ(HHD)を用いてもよい。HHDは、手持ちのディスプレイである。つまり、使用者が手にとり、双眼鏡のように覗き込むことで画像を観察するディスプレイであってもよい。さらに、表示装置は、タブレットやスマートフォン等の表示端末であってもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (18)
- 表示部の視点の位置姿勢に基づき時系列上連続して生成された、前記表示部に表示されるべき第一の画像を取得する取得手段と、
前記取得手段により取得された、注目フレームよりも時間的に前のフレームの前記第一の画像を補正対象として、前記表示部の視点の位置姿勢の動き量に基づいて幾何変換し、注目フレームの第二の画像を生成する生成手段と、
注目フレームの前記第一の画像に異常が発生しているか否かを判定する判定手段と、
前記判定手段により前記異常が発生していないと判定された場合、注目フレームの前記第一の画像を前記表示部に表示させ、前記判定手段により前記異常が発生していると判定された場合、注目フレームの前記第二の画像を前記表示部に表示させる表示制御手段と、を備えることを特徴とする画像処理装置。 - 前記幾何変換は、平面内の写像、奥行き方向の写像、および空間内の回転の少なくとも1つを含むことを特徴とする請求項1に記載の画像処理装置。
- 前記生成手段は、前記表示制御手段により注目フレームの画像を前記表示部に表示させるタイミングよりも前に、注目フレームの前記第二の画像の生成を完了することを特徴とする請求項1または2に記載の画像処理装置。
- 前記取得手段により取得された前記第一の画像を時間情報と共に格納する格納手段をさらに備え、
前記生成手段は、
前記格納手段に格納された前記第一の画像のうち、注目フレームよりも時間的に前で且つ最新の前記第一の画像を、前記補正対象とすることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。 - 前記判定手段は、
前記取得手段による前記第一の画像の取得が同期信号に対して遅延している場合、前記異常が発生していると判定することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。 - 前記判定手段は、
前記表示制御手段により注目フレームの画像を前記表示部に表示させるタイミングにおいて、前記格納手段に注目フレームの前記第一の画像が格納されていない場合、前記異常が発生していると判定することを特徴とする請求項4に記載の画像処理装置。 - 前記表示制御手段は、
第三の画像に、前記第一の画像および前記第二の画像のうち、前記判定手段による判定結果をもとに選択された画像を合成して前記表示部に表示させることを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。 - 前記表示部の視点の位置姿勢に対応した前記第三の画像を時系列上連続して入力する入力手段と、
前記入力手段により入力された前記第三の画像に基づいて、前記表示部の視点の位置姿勢の動き量を検出する第一の検出手段と、をさらに備えることを特徴とする請求項7に記載の画像処理装置。 - 前記第三の画像は、現実空間を撮像した実写画像であることを特徴とする請求項7または8に記載の画像処理装置。
- 前記第三の画像は、ビデオ映像であることを特徴とする請求項7または8に記載の画像処理装置。
- 前記第三の画像は、その一部または全体を透過させて表示するための透過情報を含むことを特徴とする請求項9または10に記載の画像処理装置。
- 請求項1から11のいずれか1項に記載の画像処理装置と、
前記第一の画像を生成し、前記画像処理装置に送信可能な画像生成装置と、を備えることを特徴とする画像処理システム。 - 前記画像生成装置は、
前記表示部の視点の位置姿勢の動き量を検出する第二の検出手段と、
前記表示部の視点の位置姿勢に基づいて、前記第一の画像を生成する画像生成手段と、
前記第二の検出手段により検出された前記位置姿勢の動き量に関する情報と、前記画像生成手段により生成された前記第一の画像とを前記画像処理装置に送信する送信手段と、を備えることを特徴とする請求項12に記載の画像処理システム。 - 前記送信手段は、
前記第二の検出手段により検出された前記位置姿勢の動き量に関する情報と、前記画像生成手段により生成された前記第一の画像とのうち、前記位置姿勢の動き量に関する情報を先行して前記画像処理装置に送信することを特徴とする請求項13に記載の画像処理システム。 - 前記送信手段は、
前記第二の検出手段により検出された前記位置姿勢の動き量に関する情報を、前記画像生成手段により生成された前記第一の画像よりも信頼度の高い通信手段により前記画像処理装置に送信することを特徴とする請求項13または14に記載の画像処理システム。 - 前記画像処理装置は、
前記第二の検出手段よりも簡易的に前記位置姿勢の動き量を検出し、検出した前記位置姿勢の動き量に関する情報を、前記生成手段に対して通信インターフェースを介さずに出力する簡易検出手段をさらに備え、
前記生成手段は、
注目フレームの前記第二の画像を生成するタイミングにおいて、前記送信手段から前記第二の検出手段により検出された注目フレームに対応する前記位置姿勢の動き量に関する情報を受信していない場合、前記簡易検出手段により簡易的に検出された前記位置姿勢の動き量に関する情報を用いて前記第二の画像を生成することを特徴とする請求項13から15のいずれか1項に記載の画像処理システム。 - 表示部の視点の位置姿勢に基づき時系列上連続して生成された、前記表示部に表示されるべき第一の画像を取得するステップと、
注目フレームよりも時間的に前のフレームの前記第一の画像を補正対象として、前記表示部の視点の位置姿勢の動き量に基づいて幾何変換し、注目フレームの第二の画像を生成するステップと、
注目フレームの前記第一の画像に異常が発生しているか否かを判定するステップと、
前記異常が発生していないと判定された場合、注目フレームの前記第一の画像を前記表示部に表示させ、前記異常が発生していると判定された場合、注目フレームの前記第二の画像を前記表示部に表示させるステップと、を含むことを特徴とする画像処理方法。 - コンピュータを、請求項1から11のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016229985A JP6949475B2 (ja) | 2016-11-28 | 2016-11-28 | 画像処理装置、画像処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016229985A JP6949475B2 (ja) | 2016-11-28 | 2016-11-28 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018087849A true JP2018087849A (ja) | 2018-06-07 |
JP6949475B2 JP6949475B2 (ja) | 2021-10-13 |
Family
ID=62494379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016229985A Active JP6949475B2 (ja) | 2016-11-28 | 2016-11-28 | 画像処理装置、画像処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6949475B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020071394A (ja) * | 2018-10-31 | 2020-05-07 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2021533646A (ja) * | 2018-08-02 | 2021-12-02 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc | 深度情報を使用して2次元画像を外挿するためのシステムおよび方法 |
WO2022004130A1 (ja) * | 2020-06-30 | 2022-01-06 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、および記憶媒体 |
JP7196089B2 (ja) | 2017-03-03 | 2022-12-26 | クリックト インコーポレイテッド | 仮想現実映像の再生方法及びこれを用いたプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6046712A (en) * | 1996-07-23 | 2000-04-04 | Telxon Corporation | Head mounted communication system for providing interactive visual communications with a remote system |
JP2008300983A (ja) * | 2007-05-29 | 2008-12-11 | Canon Inc | 頭部装着型表示装置、及びその制御方法 |
JP2008306602A (ja) * | 2007-06-08 | 2008-12-18 | Canon Inc | 画像表示システム、及びその制御方法 |
JP2012070186A (ja) * | 2010-09-22 | 2012-04-05 | Fujitsu Ltd | 動画像復号装置、動画像復号方法、及び集積回路 |
JP2018041331A (ja) * | 2016-09-08 | 2018-03-15 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理システム、画像処理方法およびコンピュータプログラム |
-
2016
- 2016-11-28 JP JP2016229985A patent/JP6949475B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6046712A (en) * | 1996-07-23 | 2000-04-04 | Telxon Corporation | Head mounted communication system for providing interactive visual communications with a remote system |
JP2008300983A (ja) * | 2007-05-29 | 2008-12-11 | Canon Inc | 頭部装着型表示装置、及びその制御方法 |
US20150049115A1 (en) * | 2007-05-29 | 2015-02-19 | Canon Kabushiki Kaisha | Head mounted display, display, and control method thereof |
JP2008306602A (ja) * | 2007-06-08 | 2008-12-18 | Canon Inc | 画像表示システム、及びその制御方法 |
JP2012070186A (ja) * | 2010-09-22 | 2012-04-05 | Fujitsu Ltd | 動画像復号装置、動画像復号方法、及び集積回路 |
JP2018041331A (ja) * | 2016-09-08 | 2018-03-15 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理システム、画像処理方法およびコンピュータプログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7196089B2 (ja) | 2017-03-03 | 2022-12-26 | クリックト インコーポレイテッド | 仮想現実映像の再生方法及びこれを用いたプログラム |
JP2021533646A (ja) * | 2018-08-02 | 2021-12-02 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc | 深度情報を使用して2次元画像を外挿するためのシステムおよび方法 |
JP2020071394A (ja) * | 2018-10-31 | 2020-05-07 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7175715B2 (ja) | 2018-10-31 | 2022-11-21 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2022004130A1 (ja) * | 2020-06-30 | 2022-01-06 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、および記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP6949475B2 (ja) | 2021-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4857196B2 (ja) | 頭部装着型表示装置、及びその制御方法 | |
CN111627116B (zh) | 图像渲染控制方法、装置及服务器 | |
US20180272231A1 (en) | Information processing device, position and/or attitude estimiating method, and computer program | |
JP6949475B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US11003408B2 (en) | Image generating apparatus and image generating method | |
KR20210044506A (ko) | 증강 현실 객체를 표시하는 장치 및 그 동작 방법 | |
CN112166397A (zh) | 用于加速头戴式显示器的位置跟踪的装置、系统和方法 | |
JP2020003898A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP4144888B2 (ja) | 画像処理方法、画像処理装置 | |
US20200267372A1 (en) | Apparatus, apparatus control method, and recording medium, for synchronizing a plurality of imaging devices | |
JP2020028096A (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム | |
US10901213B2 (en) | Image display apparatus and image display method | |
JP2019095916A (ja) | 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム | |
JP2016192137A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6515512B2 (ja) | 表示装置、表示装置のキャリブレーション方法、およびキャリブレーションプログラム | |
JP2018063567A (ja) | 画像処理装置、画像処理方法およびプログラム | |
WO2019073925A1 (ja) | 画像生成装置および画像生成方法 | |
US11694409B1 (en) | Augmented reality using a split architecture | |
JP6614835B2 (ja) | 通信装置、ヘッドマウントディスプレイ、画像処理システム、通信方法及びプログラム | |
JP2018005778A (ja) | 画像表示装置、画像表示システムおよび画像表示方法 | |
US11146778B2 (en) | Synchronization control device and synchronization control method | |
US20210241425A1 (en) | Image processing apparatus, image processing system, image processing method, and medium | |
JP2006285786A (ja) | 情報処理方法、情報処理装置 | |
JP7357554B2 (ja) | 同期制御装置、同期制御装置の制御方法、システム | |
US11263999B2 (en) | Image processing device and control method therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210922 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6949475 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |