JP2021124529A - 画像処理装置、画像処理システム、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】ＨＭＤ使用時の映像酔いを低減するために、描画画像の更新レートの変化を検出する。【解決手段】撮像映像の各フレームに対する描画処理を行うことにより得られた、表示される映像を、フレームごとに取得する。取得するフレームのＩＤを予測する。取得したフレームのＩＤと予測されたＩＤとの比較に基づいて、取得した映像のフレームレートの低下を判定する。【選択図】図２

Description

本発明は画像処理装置、画像処理システム、画像処理方法、及びプログラムに関し、特にＨＭＤに画像を表示する技術に関する。

近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の技術が知られている。ＭＲ技術の１つに、ビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ヘッドマウントディスプレイ、頭部搭載型表示装置）を利用する方法が知られている。ビデオシースルー型ＨＭＤは撮像デバイスを有しており、被写体を撮像することで撮像画像（被写体画像）を得る。そして、撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像が描画された描画画像（ＭＲ画像又は複合現実画像）が生成され、ＨＭＤ装着者は液晶や有機ＥＬ等の表示デバイスに表示された描画画像（表示画像）を観察する。

ビデオシースルー型ＨＭＤにおいては、描画画像の生成に時間がかかるなどの理由により、描画画像の更新レートが変動し、ＨＭＤ使用者が映像酔いを感じることがある。映像酔いを軽減するために、特許文献１は、類似度が高い表示画像が続けて表示される状態、すなわち更新レートの低下を検知する技術を提案している。特許文献１では、更新レートが低下した場合は、ＨＭＤユーザの頭部の動きに応じて描画画像を補正してから表示画像として表示される。

特開２０１９−１８４８３０号広報

特許文献１に記載の方法では、類似度が高い表示画像が続けて表示された場合に描画画像が補正される。一方で、ビデオシースルー型ＨＭＤにおいては、撮像画像の更新レート（すなわち、撮像デバイスにより得られる映像のフレームレート）と、表示画像の更新レート（すなわち、表示デバイスに表示される映像のフレームレート）と異なっていることがある。このような場合においては、特許文献１に記載の方法では、例えば補正の必要がないタイミングで描画画像を補正する可能性があった。このように、より効果的に映像酔いを低減するために、描画画像の更新レート（すなわち、撮像映像へのＣＧ画像の描画により得られた映像のフレームレート）の変化を検出するための新たな方法が求められていた。

本発明は、ＨＭＤ使用時の映像酔いを低減するために、描画画像の更新レートの変化を検出することを目的とする。

本発明の目的を達成するために、本発明の一実施形態に係る画像処理装置は以下の構成を備える。すなわち、
撮像映像の各フレームに対する描画処理を行うことにより得られた、表示手段に表示される映像を、フレームごとに取得する取得手段と、
前記取得手段が取得するフレームのＩＤを予測する予測手段と、
前記取得手段が取得したフレームのＩＤと前記予測手段により予測されたＩＤとの比較に基づいて、前記取得手段が取得した映像のフレームレートの低下を判定する判定手段と、
を備えることを特徴とする。

ＨＭＤ使用時の映像酔いを低減するために、描画画像の更新レートの変化を検出することができる。

一実施形態に係る画像処理システムの構成を示す図。 一実施形態に係る画像処理システムの機能ブロック図。 画像処理部１２０５の機能ブロック図。 描画処理の遅延について説明する図。 描画画像に対する画像補正について説明する図。 ＩＤ予測部１３１１が行う処理のフローチャート。 ＩＤ比較部１３１２が行う処理のフローチャート。 描画画像に対する画像補正について説明する図。 一実施形態における画像処理装置の動作について説明する図。 ＩＤ予測部１３１１が行う処理のフローチャート。 一実施形態における画像処理装置の動作について説明する図。 一実施形態で用いられるコンピュータの構成を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
図１は、実施形態１に係る画像表示システムの構成を示す。図１に示す画像表示システムは、ＨＭＤ（ヘッドマウントディスプレイ）１１０１及び画像処理装置１１０３を備える。ＨＭＤ１１０１は、使用者の頭部に装着される。ＨＭＤ１１０１は、撮像部、画像表示部、画像処理装置１１０３と通信する通信部、及びそれらを制御する制御部とを含むことができる。

本実施形態において、ＨＭＤ１１０１は、外部装置である画像処理装置１１０３に、撮像部により撮像された撮像画像を送信する。画像処理装置１１０３は、ＨＭＤ１１０１の位置及び姿勢に基づいて撮像画像に対してＣＧ画像を重畳することにより描画画像を生成し、描画画像をＨＭＤ１１０１へ送信する。ＨＭＤ１１０１は、画像処理装置１１０３から受信した描画画像を、表示画像として画像表示部に表示する。ＨＭＤ１１０１の使用者は、ＨＭＤ１１０１を装着することでＭＲ空間を体験することが可能となる。

画像処理装置１１０３は、描画画像を生成する生成部を有しており、画像処理装置１１０３内の通信部を介してＨＭＤ１１０１と通信を行うことができる。画像処理装置１１０３は、パーソナルコンピュータ又はワークステーション等の、ＨＭＤ１１０１とは異なる外部の装置である。また、画像処理装置１１０３は、キーボードなどの操作部１１０４を備えていてもよい。操作部１１０４は、データ又は命令等を画像処理装置１１０３に入力ことができる。また、画像処理装置１１０３は、入力されたデータ及び命令に従う動作結果を表示する、表示部１１０２を有していてもよい。

図１には、画像処理装置１１０３及びＨＭＤ１１０１が別々のハードウェアとして示されている。しかしながら、画像処理装置１１０３とＨＭＤ１１０１とは一体化されていてもよい。この場合、画像処理装置１１０３が持つ機能は、ＨＭＤ１１０１内に実装される。

図２は、本実施形態に係る画像表示システムが有する機能を示す機能ブロック図である。ＨＭＤ１１０１は、撮像部１２０２、表示部１２０６、通信部１２０４、姿勢センサ部１２０３、位置姿勢算出部１２０８、画像処理部１２０５、制御部１２０７、及びその他の機能部（不図示）を備える。

撮像部１２０２は、例えばＣＣＤ等の撮像素子であり、外界を撮像することにより被写体の映像（撮像映像）を撮像する。こうして、撮像部１２０２は、複数のフレーム（撮像画像）で構成される撮像映像を得ることができる。撮像部１２０２は、所定の更新レートで撮像画像を取得することができる。

表示部１２０６は、表示画像を表示することができる。本実施形態においては、画像処理装置１１０３により生成された描画画像がＨＭＤ１１０１に転送され、表示部１２０６は転送された画像を表示画像として表示することができる。この描画画像は、表示部１２０６に表示される映像の１フレームに相当する。このような構成により、ＨＭＤを装着した使用者は、画像処理装置１１０３により生成されたＣＧ画像と撮像画像との重畳画像を見ることができる。表示部１２０６は、表示画像を使用者の眼に対して提示する光学系を有し、使用者のそれぞれの眼の前に取り付けられている。

通信部１２０４は、画像処理装置１１０３との間で画像及び制御信号を送受信することができる。通信部１２０４は小規模無線ネットワークを介して、画像処理装置１１０３と通信することができる。小規模無線ネットワークの例としては、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）が挙げられる。一方で、ＨＭＤ１１０１と画像処理装置１１０３との間は、有線通信方式により接続されていてもよい。本実施形態において、通信部１２０４は、撮像部１２０２が撮像した撮像映像を、フレームごとに画像処理装置１１０３に送ることができる。また、通信部１２０４は、画像処理装置１１０３が撮像映像の各フレームに対する描画処理を行うことにより得られた、表示部１２０６に表示される映像を、フレームごとに取得することができる。

姿勢センサ部１２０３は、ＨＭＤの位置及び姿勢を計測するためのセンサである。姿勢センサ部１２０３は、各軸の角速度若しくは加速度、又は姿勢情報（クォータニオン）を出力することができる。位置姿勢算出部１２０８は、姿勢センサ部１２０３が出力した情報に基づいて、ＨＭＤ１１０１の位置及び姿勢を算出することができる。以下では、位置姿勢算出部１２０８が角速度に基づいてＨＭＤの位置及び姿勢を算出する場合について説明するが、位置姿勢算出部１２０８はクォータニオンを用いて処理を行ってもよい。

画像処理部１２０５は、画像処理装置１１０３から受信した画像を処理する。画像処理部１２０５の具体的な機能については後述する。制御部１２０７は、ＨＭＤ１１０１の全体の動作を制御する。

画像処理装置１１０３は、通信部１２１１、コンテンツＤＢ１２１３、描画部１２１２、ＩＤ生成部１２１５、ＩＤ付与部１２１６、通信部１２１１、及びその他の機能部（不図示）を備える。

通信部１２１１は、ＨＭＤ１１０１との間で画像及び制御信号を送受信することができる。本実施形態において、通信部１２１１は、撮像部１２０２が撮像した撮像映像を画像処理装置１１０３から取得することができる。また、通信部１２１１は、描画部１２１２により得られた映像を、ＨＭＤ１１０１に送ることができる。

描画部１２１２は、撮像部１２０２が撮像した撮像映像の各フレームに対する描画処理を行う。描画部１２１２は、ＣＧ画像を生成し、ＨＭＤ１１０１から受信した撮像画像に重畳することにより、描画画像を生成することができる。描画部１２１２は、例えば、仮想画像であるＣＧコンテンツを格納しているコンテンツＤＢ１２１３から取得したＣＧ画像を撮像画像に重畳することができる。

ＩＤ生成部１２１５は、ＨＭＤ１１０１から受信された映像の各フレーム（撮像画像）に対してＩＤを発行する。ＩＤ生成部１２１５は、撮像画像の更新レートに応じてＩＤを発行することができる（以下、ＩＤ生成部１２１５が発行したＩＤのことを発行ＩＤと呼ぶ）。また、ＩＤ付与部１２１６は、描画部１２１２から出力された描画画像に、ＩＤ生成部１２１５が発行した発行ＩＤを付与する。なお、ＩＤ生成部１２１５及びＩＤ付与部１２１６の代わりに、撮像部１２０２が撮像画像の各フレームに対して発行ＩＤを付与してもよい。これらの機能については後述する。

通信部１２１１は、外部Ｉ／Ｆ装置１２２０と通信を行う。外部Ｉ／Ｆ装置１２２０は、ユーザが画像処理装置１１０３に対する操作を行う際に用いる装置であり、操作部１１０４に相当する。外部Ｉ／Ｆ装置１２２０は、画像処理装置１１０３と通信する通信部１２２１、ユーザが操作する操作部１２２２、及びその他の機能部（不図示）を備える。

図２に示す各機能は、対応する構成を有するハードウェアによって実現することができる。一方で、図２に示す機能のうち一部又は全部は、ソフトウェアによって実現されてもよい。例えば、位置姿勢算出部１２０８、描画部１２１２、ＩＤ生成部１２１５、及びＩＤ付与部１２１６の機能がソフトウェアによって実現され、その他の機能がハードウェアによって実現されてもよい。

上記の機能をソフトウェアによって実現する場合、プロセッサとメモリとを備えるコンピュータを用いることができる。この場合、プロセッサが、メモリに格納されている、各部の機能に対応する命令を含むプログラムを実行することにより、各部の機能を実現することができる。

図１２は、このようなコンピュータの基本構成を示す図である。図１２においてプロセッサ１２１は、例えばＣＰＵであり、コンピュータ全体の動作をコントロールする。メモリ１２２は、例えばＲＡＭであり、プログラム及びデータ等を一時的に記憶する。コンピュータが読み取り可能な記憶媒体１２３は、例えばハードディスク又はＣＤ−ＲＯＭ等であり、プログラム及びデータ等を長期的に記憶する。本実施形態においては、記憶媒体１２３が格納している、各部の機能を実現するプログラムが、メモリ１２２へと読み出される。そして、プロセッサ１２１が、メモリ１２２上のプログラムに従って動作することにより、各部の機能が実現される。

図９において、入力インタフェース１２４は外部の装置から情報を取得するためのインタフェースである。また、出力インタフェース１２５は外部の装置へと情報を出力するためのインタフェースである。バス１２６は、上述の各部を接続し、データのやりとりを可能とする。

ＨＭＤ１１０１及び画像処理装置１１０３のそれぞれは、図２に示す画像処理システムが有する各機能の少なくとも一部を有することができる。ＨＭＤ１１０１及び画像処理装置１１０３のそれぞれが有する機能は、図２とは異なっていてもよい。例えば、ＩＤ生成部１２１５とＩＤ付与部１２１６との少なくとも一方を、画像処理装置１１０３ではなくＨＭＤ１１０１が有していてもよい。また、後述するＩＤ予測部１３１１及びＩＤ比較部１３１２の少なくとも一方を、ＨＭＤ１１０１ではなく画像処理装置１１０３が有していてもよい。また、本発明の一実施形態に係る画像表示システムの各機能は、ネットワークを介して接続された複数の情報処理装置の間に分散されていてもよい。例えば、画像処理装置１１０３は、ネットワークを介して接続された複数の情報処理装置によって構成されていてもよい。

以下では、ＨＭＤ１１０１が画像処理装置１１０３へ撮像画像及びＨＭＤ１１０１の位置姿勢情報を送り、画像処理装置１１０３がＨＭＤ１１０１の位置姿勢情報に従ってＣＧ画像を撮像画像に重畳する場合について説明する。すなわち、ＨＭＤ１１０１の位置姿勢算出部１２０８は、撮像部１２０２により得られた撮像画像と、姿勢センサ部１２０３から受け取った測定データに基づいて、ＨＭＤ１１０１の位置姿勢を算出する。そして、ＨＭＤ１１０１は、撮像部１２０２により得られた撮像画像と、位置姿勢算出部１２０８で算出されたＨＭＤ１１０１の位置姿勢情報とを、通信部１２０４を介して画像処理装置１１０３へ送る。しかしながら、本発明はこのような構成には限定されない。例えば、ＨＭＤ１１０１が画像処理装置１１０３へ位置姿勢情報を送り、画像処理装置１１０３は位置姿勢情報に基づくＣＧ画像を生成してＨＭＤ１１０１へ送り、ＨＭＤ１１０１が撮像画像にＣＧ画像を重畳してもよい。また、画像処理装置１１０３が位置姿勢算出部１２０８を備えていてもよい。この場合、画像処理装置１１０３がＨＭＤ１１０１の位置姿勢を算出し、算出された位置姿勢に基づいてＨＭＤ１１０１から送信された撮像画像にＣＧ画像を重畳してもよい。

いずれにせよ、描画部１２１２は、位置姿勢情報に基づいてＣＧ画像を描画する。このとき、ＣＧ画像を描画するための負荷によっては、描画部１２１２により生成されるＣＧ画像の更新レートが低下し、撮像画像にＣＧ画像を重畳することにより得られる描画画像の更新レートが低下することがある。本実施形態においては、描画部１２１２から出力されるフレームのＩＤを予測し、描画部１２１２から実際に出力されたフレームのＩＤと比較することにより、描画画像の更新レートの低下が判定される。

実施形態１では、画像処理装置１１０３がＨＭＤ１１０１から受信する映像のフレームレートに応じて、ＨＭＤ１１０１のＩＤ予測部１３１１が、描画部１２１２から出力されるフレームのＩＤを予測する。以下、本実施形態におけるフレームのＩＤの予測及び比較について説明する。

画像処理装置１１０３のＩＤ生成部１２１５は、ＨＭＤ１１０１から受け取った撮像画像の更新レートに応じて発行ＩＤを発行する。ＩＤ生成部１２１５は、描画部１２１２から出力される描画画像が更新されるまでＩＤを保持することができる。ＩＤ付与部１２１６は、描画部１２１２からの描画画像が更新されるタイミングで、ＩＤ生成部１２１５から発行ＩＤを取得し、描画部１２１２から出力された描画画像に発行ＩＤを付与する。このように、ＨＭＤ１１０１から受け取った撮像映像のフレーム（撮像画像）に対して発行された発行ＩＤが、同じフレームにＣＧ画像を重畳することにより得られた描画画像に付与される。発行ＩＤが付与された描画画像は、その後、通信部１２１１を介してＨＭＤ１１０１へ送信される。

図３は、ＨＭＤ１１０１が有する画像処理部１２０５の構成を示すブロック図である。ＩＤ検出部１３１０は、画像処理装置１１０３から受け取った描画画像に付与されている発行ＩＤを検出する。ＩＤ予測部１３１１は、通信部１２０４が取得する撮像映像のフレームのＩＤを予測する。ＩＤ予測部１３１１は、画像処理装置１１０３がＨＭＤ１１０１から受信する映像のフレームレートに応じて、描画部１２１２から出力されるフレームのＩＤを予測することができる。図３の例において、ＩＤ予測部１３１１は撮像映像のフレームレートに応じた周期で、予測されるＩＤ（予測ＩＤ）を更新する。例えば、ＩＤ予測部１３１１は、撮像部１２０２が取得した撮像映像のフレームの更新タイミングにおいて、予測ＩＤを更新することができる。

ＩＤ比較部１３１２は、通信部１２０４が取得した撮像映像のフレームの発行ＩＤと、予測ＩＤとの比較に基づいて、描画部１２１２から出力され、通信部１２０４が取得した映像のフレームレートの低下を判定する。図３の例において、ＩＤ比較部１３１２は、描画画像の更新レートがどの程度低下しているかを判定することができる。

このように、描画部１２１２から出力された映像のフレームレートが低下しているとＩＤ比較部１３１２によって判定された場合、画像処理装置１１０３から受け取った描画画像を補正することができる。例えば、画像補正部１３０１は、表示部１２０６の姿勢変化に応じた画像補正を行うことができる。図３の例において、移動値計算部１３０３は、姿勢センサ部１２０３から受け取った角速度情報に基づいて、描画画像の移動補正量を計算する。また、画像補正部１３０１は、ＩＤ比較部１３１２による判定結果と、移動値計算部１３０３により計算された移動補正量とに基づいて、描画画像に対する移動補正を行い、表示部１２０６へ送る。

図４及び図５を参照して、描画画像の補正方法について説明する。図４（Ａ）は、ＨＭＤを装着している頭部の動き１４５０と、描画画像１４６０と、の関係を示す。説明のために、図４（Ａ）は、撮像画像の更新レートと表示画像の更新レートが一致しており、描画画像の更新レートの低下がない場合を示している。頭部の動き１４５０は、頭部１４０１の上から見たＨＭＤ１４０２の位置を示しており、この図において使用者は左から右を向く動作を行っている。この図において、時間は左から右に従って進んでいる。また、分かりやすく説明するため、頭部１４０１は等速運動している。描画画像１４６０は、頭部１４０１の向きに応じて生成されたＣＧ画像１４０３，１４０４を撮像画像に重畳することにより得られた描画画像を、描画画像の番号とともに表している。例えば、ＣＧ画像１４０３は描画画像１４１１に重畳されており、ＣＧ画像１４０４は描画画像１４１２に重畳されている。タイミング１４７０は、描画画像１４１０〜１４１６の生成タイミングと、描画画像１４１０〜１４１６を表示画像として表示する表示タイミングを示している。

図４（Ｂ）は、描画画像の更新レートが低下する場合を示している。描画画像１４８０は頭部１４０１の向きに応じて生成されるものの、タイミング１４９０に示されるように、描画画像１４１２，１４１４の描画に時間がかかり、規定時間内に描画が終了していない。このため、描画画像１４１３，１４１５は描画されなかった。一方で、描画画像１４８０として示されるように、描画画像１４１１，１４１２はそれぞれ２回連続して表示されている。このように、描画画像１４１２，１４１４を表示するための描画処理が規定時間内に終了しないと、この時に描画画像の更新レートが低下する。この更新レートの低下により、表示部１２０６において同一の描画画像１４１１，１４１２が連続して表示される結果、表示画像の更新レートが見かけ上低下する。このため、ＨＭＤ１４０２の使用者は、違和感を受けるかもしれず、又は映像酔いを感じるかもしれない。

図５は、描画画像１４８０を補正して表示画像１４８１を生成する方法を説明する図である。例えば、描画画像に対する移動処理により、描画画像の画像補正を行うことができる。この例では、描画画像１４１１を２回目に表示する際には、１フレーム分の頭部の動き量に応じた移動量だけ描画画像１４１１を左に移動（シフト）することにより、表示画像１５０１が生成される。このような構成により、描画画像１４６０として示される、描画画像の更新レートの低下がない場合の描画画像１４１２と同じような表示画像１５０１を表示することができる。同様に、描画画像１４１２を１フレーム及び２フレームに対応する量だけ移動することにより表示画像１５０２及び１５０３が得られ、描画画像１４１４を１フレームに対応する量だけ移動することにより表示画像１５０４が得られる。

具体的な移動補正量は、以下のように得ることができる。図８は、姿勢の変化（移動角度）から、移動補正量（ピクセル数）を計算する方法を説明するための図である。図８は、首を横方向（水平方向）に振る動作を行った際の計算方法を示す。図８には、ＨＭＤ１１０１の表示部１８０１が示されており、使用者が表示部１８０１を観察する時の水平画角はθ[radian]である。１フレームあたりの首の移動角度をΔθ[radian/frame]、表示部１８０１のピクセル数をＮ[pixel]とすると、横方向（水平方向）の移動補正量をΔｘ[pixel]は以下の式で求めることができる。
Δｘ ＝ Ｎｔａｎ（Δθ） ／ ２ｔａｎ（θ／２）
上式において、１フレームあたりの首の移動角度Δθは、１フレームにわたる頭部の角速度を積分することで求めることができる。なお、首を縦方向（垂直方向）に振る動作を行った場合も、同様に縦方向（垂直方向）の移動補正量を求めることができる。図８の例において、移動補正量Δｘは表示部１８０１の中心部分の移動量に基づいて算出されているが、他の算出方法が用いられてもよい。

なお、描画画像を移動させた結果、描画画像が存在しない領域は、黒領域にすることができる。一方で、描画画像からの切り出し処理により、描画画像の補正を行ってもよい。例えば、表示画像より大きい描画画像を画像処理装置１１０３から受信し、描画画像から姿勢の変化に応じた箇所の画像を表示画像として切り出すことにより、表示画像における描画画像が存在しない領域を減らしながら画像補正を行うことができる。また、図５の例では、頭部は左右に動くため、画像を左右に移動させる補正が行われているが、頭部が上下に動く場合、画像を上下に移動させる補正を行うことができる。

図６は、ＩＤ予測部１３１１が行う処理のフローチャートである。以下の説明において、ＩＤ生成部１２１５が発行する発行ＩＤの発行順序は定められている。例えば、ＩＤ生成部１２１５は、Ｆｒａｍｅ１の撮像画像に対してＩＤ１を、Ｆｒａｍｅ２以降の撮像画像に対してＩＤ２以降を、それぞれ発行することができる。

ステップＳ６０１でＩＤ予測部１３１１は、予測ＩＤの初期化を行う。ＩＤ予測部１３１１は、予測を開始する際に、発行ＩＤで予測ＩＤを初期化することができる。例えば、ＩＤ予測部１３１１は、予測ＩＤを最初の撮像画像（Ｆｒａｍｅ１）についての発行ＩＤであるＩＤ１に初期化することができる。

ステップＳ６０２でＩＤ予測部１３１１は、撮像部１２０２からの撮像画像が更新されたかどうかを判定する。撮像画像が更新された場合、ステップＳ６０３においてＩＤ予測部１３１１は予測ＩＤを更新する。ＩＤ予測部１３１１は、描画画像の生成に遅延が生じない場合に、ＨＭＤ１１０１に送られている最新の描画画像に付与されていると予測される生成ＩＤを、予測ＩＤとして生成することができる。ＩＤ予測部１３１１は、通信部１２０４が取得するフレームに対する発行ＩＤの発行順序に従って、予測ＩＤを更新することができる。後述する図９の例の場合、ＩＤ生成部１２１５は発行ＩＤを更新するために発行ＩＤをインクリメントするため、ＩＤ予測部１３１１も予測ＩＤをインクリメントしている。

ステップＳ６０４においてＩＤ予測部１３１１は、予測ＩＤの生成の終了指示が入力されたかどうかを判定する。例えば制御部１２０７は、画像表示を終了する場合、この終了指示をＩＤ予測部１３１１に入力することができる。終了指示が入力されていない場合、ステップＳ６０２〜Ｓ６０３の処理が繰り返され、終了指示が入力された場合、図６の処理は終了する。

図７は、ＩＤ比較部１３１２が行う処理のフローチャートである。ステップＳ７０１においてＩＤ比較部１３１２は、画像処理装置１１０３からの描画画像からＩＤ検出部１３１０が検出した発行ＩＤを取得する。また、ステップＳ７０２においてＩＤ比較部１３１２は、ＩＤ予測部１３１１によって生成されている現在の予測ＩＤを取得する。

ステップＳ７０３においてＩＤ比較部１３１２は、ステップＳ７０１，Ｓ７０２で得られた発行ＩＤと予測ＩＤとを比較する。発行ＩＤと予測ＩＤとが一致していることは、撮像画像の更新レートと描画画像の更新レートが同じであることを意味する。このため、ＩＤ比較部１３１２は、描画画像の更新レートは低下していないと判定する。この場合、画像処理装置１１０３から送信された１つの描画画像についての図７の処理は終了し、画像処理装置１１０３から送信された描画画像が表示画像として表示部１２０６に表示される。一方で、発行ＩＤと予測ＩＤとが異なっている場合、ＩＤ比較部１３１２は、撮像画像の更新レートに対して描画画像の更新レートが低下していると判定する。この場合、ＩＤ比較部１３１２は画像補正が必要であると判断し、ステップＳ７０４においてＩＤ比較部１３１２は画像補正部１３０１へ画像補正の実行指示を行う。このように、ＩＤ比較部１３１２が、通信部１２０４が取得した映像のフレームレートが低下したと判定したことに応じて、画像補正部１３０１は、通信部１２０４が取得したフレームに対する画像補正を行うことができる。

ＩＤ比較部１３１２は、ステップＳ７０３において、ステップＳ７０１，Ｓ７０２で得られた発行ＩＤと予測ＩＤとに応じて、通信部１２０４が取得したフレームについての描画処理の遅延度を判定することができる。そして、ＩＤ比較部１３１２は、ステップＳ７０４において、判定された遅延度に応じた画像補正を行うように画像補正部１３０１へ指示することができる。この場合、画像補正部１３０１は、通信部１２０４が取得したフレームについての描画処理の遅延度に応じて画像補正を行うことができる。例えば、ＩＤ比較部１３１２が、描画画像の生成が２フレーム遅れていると判定した場合、画像補正部１３０１は、２フレームにわたるＨＭＤ１１０１の動きを補償する画像補正を行うように、画像補正部１３０１へ指示することができる。

本実施形態に係る処理の効果について、図９を参照して説明する。図９には、撮像画像の更新周期９０１が示されており、実線は撮像画像の更新タイミングを示す。また、図９には、表示画像の更新周期９０２も示されており、破線は表示部１２０６より出力される表示画像の更新タイミングを示す。図９に示すように、表示部１２０６による表示画像の更新タイミングは、撮像部１２０２による撮像画像の更新タイミングとは非同期である。このように、ＨＭＤ１１０１において、撮像画像と描画画像の更新タイミング及び更新周期は非同期であるかもしれない。以下では、撮像画像の更新周期が描画画像の更新周期よりも長い場合について説明するが、本実施形態に係る処理は異なる構成にも適用可能である。

図９の９１０は、撮像部１２０２による撮像画像が更新される様子を示している。例えば撮像部１２０２は、Ｆｒａｍｅ１と記されている期間にわたって撮像画像（Ｆｒａｍｅ１）を撮像し、この期間が終了すると、撮像画像（Ｆｒａｍｅ１）は画像処理装置１１０３の描画部１２１２及びＩＤ生成部１２１５へ入力される。このように、撮像画像は更新周期９０１間隔で更新される。

また、図９の９１１は、ＩＤ生成部１２１５が発行ＩＤを生成する様子を示している。図９に示すように、撮像画像が更新されるタイミングで、発行ＩＤも更新される。例えば、撮像画像が更新されるタイミング９０７において、ＩＤ生成部１２１５は撮像画像（Ｆｒａｍｅ１）に対する発行ＩＤとしてＩＤ１を発行し、発行ＩＤをＩＤ２に更新する。

図９の９１２は、ＣＧ描画時間を示している。描画部１２１２は、撮像画像が更新されて入力されたタイミングから、撮像画像にＣＧ画像を重畳して描画画像を生成する処理を開始する。前述したように、重畳したいＣＧコンテンツによって描画処理の負荷が異なるため、描画画像を生成するのに要する時間が一定ではないことがわかる。このように、画像処理システムにおいて、撮像タイミングと描画タイミングは非同期であるかもしれない。

図９の９１３は、描画部１２１２により生成された描画画像に対し、ＩＤ付与部１２１６が発行ＩＤを付与する様子を示している。上記の通り、ＩＤ生成部１２１５は、描画部１２１２が撮像画像に対する描画処理を開始するタイミングでこの撮像画像に対して発行された発行ＩＤを保持することができる。そして、ＣＧ画像の描画が終了した後、最初の表示画像の更新タイミングにおいて、ＩＤ生成部１２１５により保持されている発行ＩＤが付与された描画画像が生成される。ＨＭＤ１１０１は、こうして生成された描画画像を画像処理装置１１０３から取得して保持する。

図９の９２０は、ＩＤ予測部１３１１が予測ＩＤを生成する様子を示す。前述したように、本実施形態においてＩＤ予測部１３１１は、撮像画像の更新タイミングに応じて予測ＩＤを更新する（ステップＳ６０３）。例えば、タイミング９０７において、撮像画像（Ｆｒａｍｅ１）に対して発行ＩＤとしてＩＤ１が発行されている。ここで、描画画像の生成遅延がない場合には、この撮像画像に対する描画処理により得られた、発行ＩＤとしてＩＤ１を有する描画画像が、次の表示画像の更新タイミングにおいてＨＭＤ１１０１に入力されることが予想される。したがって、本実施形態におけるＩＤ予測部１３１１は、タイミング９０７において予測ＩＤをＩＤ１に設定する。また、ＩＤ予測部１３１１は、撮像画像が更新されるタイミングにおいて、発行ＩＤの発行順序に従って予測ＩＤを更新することを繰り返す。図９の例において、更新後の予測ＩＤは、同じタイミングで発行される発行ＩＤに一致している。

図９の９２１は、ＩＤ比較部１３１２による付与ＩＤと予測ＩＤとの比較結果を示す。図９において、表示画像が更新されるタイミング９０３においては、生成されている描画画像のＩＤ（ＩＤ１）と、予測ＩＤ（ＩＤ１）とが一致しているため、ＩＤ比較部１３１２は描画画像の更新レートは低下していないと判定する。また、表示画像が更新されるタイミング９０４においては、生成されている描画画像の発行ＩＤ（ＩＤ１）と、予測ＩＤ（ＩＤ１）とが一致していない。このため、ＩＤ比較部１３１２は描画画像の更新レートは低下したと判定する。また、ＩＤ比較部１３１２は、発行ＩＤと予測ＩＤとの比較に基づき、描画画像の生成が１フレーム（撮像画像の１つの更新周期９０１）遅れていると判定することができる。この場合、画像補正部１３０１は、描画画像を、１フレーム分の頭部の動き量に応じた移動量だけ移動させ、表示画像として表示部１２０６に出力することができる。

図９に示すように、本実施形態においては、表示部１２０６が映像を表示する期間は、複数の分割期間（表示画像の更新周期９０２）に分割されている。そして、複数の分割期間のそれぞれ（９２０に示されるＩＤ１，ＩＤ２，……）には、対応する入力期間（９１１に示されるＩＤ１，ＩＤ２，……）が定められている。そして、表示部１２０６は、周期的な更新タイミング（タイミング９０３，９０４，……）において表示するフレームを更新している。ＩＤ比較部１３１２は、特定の更新タイミング（例えばタイミング９０４）において表示部１２０６に表示されるフレーム（９１３に示されるＩＤ１）が、特定の入力期間（ＩＤ２）において撮像部１２０２によって取得されたか否かを判定しているといえる。この特定の入力期間とは、特定の更新タイミング（タイミング９０４）が含まれる分割期間（ＩＤ２）に対応する入力期間（ＩＤ２）である。そして、画像補正部１３０１は、このような判定の結果に従って、特定の更新タイミング（タイミング９０４）において表示部１２０６に表示されるフレームに対する画像補正を行っているといえる。

なお、表示画像が更新されるタイミング９０６においては、描画画像（ＩＤ２）が２回目に表示されるものの、前のタイミング９０５と同じ表示画像を表示部１２０６に表示すればよい。図９の例では、タイミング９０６で表示される表示画像は、タイミング９０５で表示される表示画像と同じであり、タイミング９０５で表示される表示画像に対して１フレームに対応する画像補正を行ったものではない。このように、本実施形態によれば、補正の必要がない場合に描画画像を補正することを抑制できる。また、表示画像が更新されるタイミング９０５においては、描画画像（ＩＤ２）は初めて表示されるものの、ＩＤ比較部１３１２は発行ＩＤと予測ＩＤとの比較に基づき描画画像の生成が遅れていると判定することができる。このように、本実施形態によれば、描画画像の更新レートの低下を検出しやすくなる。さらに、本実施形態では、ＩＤを比較する処理により描画画像の生成遅延を検出できるため、処理負荷を軽減することができる。

このように、本実施形態によれば、予測ＩＤを用いることによって描画画像の更新レートの低下を検出することができる。特に、本実施形態においては、撮像画像の更新レートに応じて予測ＩＤを更新することにより、描画画像の更新レートの低下を正確に検知することが可能となる。その結果、描画される画像の更新レートが低下した場合でも、画像補正を行うことによりＨＭＤ使用者にとって違和感のない画像を表示することができ、映像酔いを低減させることが可能となる。

［実施形態２］
実施形態１においてＩＤ予測部１３１１は、撮像画像の更新レートに応じて予測ＩＤを更新した。しかしながら、ＩＤ予測部１３１１による予測ＩＤの更新方法はこの方法に限定されない。例えばＩＤ予測部１３１１は、一定の周期で予測ＩＤを更新することができる。実施形態２においては、表示画像の更新レート（表示部１２０６における映像のフレームレート）に応じた周期で予測ＩＤが更新される。実施形態２に係る画像処理システムは、実施形態１と同じ構成を有することができる。以下では、本実施形態におけるＩＤ予測部１３１１の動作について説明する。

図１０は、ＩＤ予測部１３１１の処理を示すフローチャートである。ステップＳ１００１においてＩＤ予測部１３１１は、予測を開始する際に、ステップＳ６０１と同様に発行ＩＤで予測ＩＤを初期化する。ステップＳ１００２においてＩＤ予測部１３１１は、表示部１２０６における映像のフレームの更新タイミングが到来したかどうかを判定する。表示画像の更新タイミングが到来した場合、ステップＳ１００３においてＩＤ予測部１３１１は、予測ＩＤを更新する。ＩＤ予測部１３１１は、表示画像の更新タイミングにおいて新しい描画画像がＨＭＤ１１０１に送信されることを予測して、予測ＩＤを更新することができる。本実施形態においても、ＩＤ予測部１３１１は、発行ＩＤの発行順序に従って予測ＩＤを更新することができる。後述する図１１の例において、ＩＤ予測部１３１１は、予測ＩＤを更新するために予測ＩＤをインクリメントしている。

一方で、撮像画像の更新レートと、表示画像の更新レートとが一致しない場合、発行ＩＤの更新周期に対して予測ＩＤの更新周期が長い又は短いために、描画画像の更新レートが低下していない場合に発行ＩＤと予測ＩＤがずれてしまう可能性がある。そこで、本実施形態におけるＩＤ予測部１３１１は、定められた条件が満たされた時に、発行ＩＤの発行順序に従って予測されたＩＤを補正することができる。

ステップＳ１００４〜Ｓ１００６においてＩＤ予測部１３１１は、ステップＳ１００３で一時的に更新された予測ＩＤをさらに補正することができる。ここでは、撮像映像のフレームレート（撮像画像の更新レート）が、表示部１２０６における映像のフレームレート（表示画像の更新レート）よりも速い場合について説明する。ステップＳ１００４においてＩＤ予測部１３１１は、更新された描画画像に付与されている発行ＩＤを取得する。ステップＳ１００５においてＩＤ予測部１３１１は、ステップＳ１００４で取得した発行ＩＤと、ステップＳ１００３で更新した予測ＩＤとを比較する。そして、ＩＤ予測部１３１１は、予測ＩＤよりも、通信部１２０４が取得したフレームのＩＤの方が進んでいることに応じて、予測ＩＤを補正して通信部１２０４が取得したフレームのＩＤに一致させる。図１１の例においては、ステップＳ１００３で更新した予測ＩＤが描画画像の発行ＩＤよりも小さい場合、ステップＳ１００６においてＩＤ予測部１３１１は予測ＩＤが最新の発行ＩＤに一致するように予測ＩＤを補正する。

ステップＳ１００７の処理はステップＳ６０４と同様であり、終了指示が入力されていない場合、ステップＳ１００２〜Ｓ１００７の処理が繰り返される。終了指示が入力された場合、図１０の処理は終了する。

本実施形態に係る処理の効果について、図１１を参照して説明する。図９と同様に、図１１には、撮像画像の更新周期１１１１及び表示画像の更新周期１１１２が示されており、撮像画像の更新周期１１１１よりも表示画像の更新周期１１１２の方が長い。１１１６は描画部１２１２により生成された描画画像の発行ＩＤを示し、上述のように描画画像は表示画像の更新タイミングに合わせて更新されている。１１１７は予測ＩＤを示す。

ところで、撮像画像の更新周期１１１１よりも表示画像の更新周期１１１２の方が長いため、描画画像の生成の遅延がなければ、表示画像の更新タイミングにおいて、予測ＩＤは１だけ大きくなる一方、描画画像の発行ＩＤは１以上大きくなる。一方で、発行ＩＤが予測ＩＤよりも大きくなることはない。例えば、図１１の表示画像の更新タイミング１１２１において、描画画像の発行ＩＤはＩＤ４であり、描画画像の生成の遅延がなければ、表示画像の次の更新タイミング１１２２における描画画像の発行ＩＤはＩＤ５よりも大きいと予測される。そこで、更新タイミング１１２２における予測ＩＤがＩＤ５になるように、ＩＤ予測部１３１１は、ステップＳ１００６で発行ＩＤに一致するように予測ＩＤをＩＤ４に補正する。このように、本実施形態においては、発行ＩＤ＞予測ＩＤの場合、予測ＩＤが最新の描画画像の発行ＩＤとなるように、予測ＩＤが補正される。

上記の構成によれば、撮像画像の更新周期よりも表示画像の更新周期が長い場合に、簡易な手法でＩＤの予測を行い、描画画像の更新レートの低下を検出することができる。この場合も、ＩＤ比較部１３１２は、発行ＩＤと予測ＩＤとの比較に基づき、描画画像の生成遅延をフレーム（表示画像の１つの更新周期１１１２）単位で判定することができ、画像補正部１３０１は、生成遅延に応じて描画画像を補正することができる。

一方で、ステップＳ１００４〜Ｓ１００６における予測ＩＤの補正方法は、上記の方法に限定されない。例えば、ＩＤ予測部１３１１は、撮像画像の更新レートと、表示画像の更新レートと、の差に基づいて、ステップＳ１００３で更新された予測ＩＤを更新してもよい。この手法は、撮像画像の更新周期よりも表示画像の更新周期が長い場合に使用してもよいし、撮像画像の更新周期よりも表示画像の更新周期が短い場合に使用してもよい。

例えば、図１１（Ｂ）は、図９と同様に、撮像画像の更新周期よりも表示画像の更新周期が短い場合における予測ＩＤの生成方法を示す。図１１（Ｂ）において、撮像画像の更新周期は２４ｆｐｓ、表示画像の更新周期は３０ｆｐｓである。この例において、ＩＤ予測部１３１１は、描画画像の生成の遅延がない場合における生成ＩＤに予測ＩＤを一致させるために、表示画像の更新タイミングが５回到来するごとに予測ＩＤをデクリメントしている。このような手法により、表示画像の更新周期９０２に従って予測ＩＤを更新する場合に生じる、生成ＩＤと予測ＩＤとの更新の偏差を補正し、描画画像の更新レートの低下をより正確に検出することができる。例えば、図１１（Ｂ）においては、ＩＤ４〜ＩＤ６の描画画像に関しては更新レートの低下は見られないため、画像補正の必要はない。図１１の例では、撮像画像の更新周期と表示画像の更新周期との偏差を予測ＩＤに反映するように、予測ＩＤが補正されている。このように、予測ＩＤの補正方法は特に限定されない。

以上のように、本実施形態によれば、予測ＩＤを用いることによって描画画像の更新レートの低下を検出することができる。特に、本実施形態においては、撮像画像の更新レートなどの一定のタイミングに従って予測ＩＤを更新し、さらに必要に応じて予測ＩＤを補正することにより、描画画像の更新レートの低下を正確に検知することが可能となる。このため、実施形態１と同様に映像酔いを低減させることが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１１０１：ＨＭＤ、１１０３：画像処理装置、１２０２：撮像部、１２０５：画像処理部、１２０６：表示部、１２１２：描画部、１２１５：ＩＤ生成部、１２１６：ＩＤ付与部、１３０１：画像補正部、１３１１：ＩＤ予測部、１３１２：ＩＤ比較部

Claims (20)

1. 撮像映像の各フレームに対する描画処理を行うことにより得られた、表示手段に表示される映像を、フレームごとに取得する取得手段と、
   前記取得手段が取得するフレームのＩＤを予測する予測手段と、
   前記取得手段が取得したフレームのＩＤと前記予測手段により予測されたＩＤとの比較に基づいて、前記取得手段が取得した映像のフレームレートの低下を判定する判定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記予測手段は、前記撮像映像のフレームレートに応じた周期で、予測されるＩＤを更新することを特徴とする、請求項１に記載の画像処理装置。
3. 前記予測手段は、前記画像処理装置が備える撮像手段が取得した前記撮像映像のフレームの更新タイミングにおいて、予測されるＩＤを更新することを特徴とする、請求項１又は２に記載の画像処理装置。
4. 前記予測手段は、前記表示手段における映像のフレームレートに応じた周期で、予測されるＩＤを更新することを特徴とする、請求項１に記載の画像処理装置。
5. 前記予測手段は、前記表示手段における映像のフレームの更新タイミングにおいて、予測されるＩＤを更新することを特徴とする、請求項１又は４に記載の画像処理装置。
6. 前記予測手段は、前記取得手段が取得するフレームに対する前記ＩＤの発行順序に従って、前記予測されるＩＤを更新し、定められた条件が満たされた時に前記予測されるＩＤを補正することを特徴とする、請求項１、４、又は５に記載の画像処理装置。
7. 前記撮像映像のフレームレートは、前記表示手段における映像のフレームレートよりも速く、
   前記予測手段は、前記予測手段により予測されたＩＤよりも、前記取得手段が取得したフレームのＩＤの方が進んでいることに応じて、前記予測されたＩＤを補正して前記取得手段が取得したフレームのＩＤに一致させることを特徴とする、請求項６に記載の画像処理装置。
8. 前記判定手段は、前記取得手段が取得したフレームのＩＤと前記予測手段により予測されたＩＤとが異なっている場合に、前記取得手段が取得した映像のフレームレートが低下したと判定することを特徴とする、請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記判定手段は、前記取得手段が取得したフレームのＩＤと前記予測手段により予測されたＩＤとに応じて、前記取得手段が取得したフレームについての前記描画処理の遅延度を判定することを特徴とする、請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記判定手段が、前記取得手段が取得した映像のフレームレートが低下したと判定したことに応じて、前記取得手段が取得したフレームに対する画像補正を行う補正手段をさらに備えることを特徴とする、請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記補正手段は、前記取得手段が取得したフレームについての前記描画処理の遅延度に応じて前記画像補正を行うことを特徴とする、請求項１０に記載の画像処理装置。
12. 前記補正手段は、前記表示手段の姿勢変化に応じた前記画像補正を行うことを特徴とする、請求項１１に記載の画像処理装置。
13. 前記画像補正は、画像に対する移動処理又は画像からの切り出し処理であることを特徴とする、請求項１１又は１２に記載の画像処理装置。
14. 前記画像処理装置はヘッドマウントディスプレイであることを特徴とする、請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記撮像映像は、前記画像処理装置が備える撮像手段によって撮像されていることを特徴とする、請求項１から１４のいずれか１項に記載の画像処理装置。
16. 複数のフレームで構成される撮像映像を取得する撮像手段と、
    前記撮像映像の各フレームに対する描画処理を行うことにより得られた映像を、フレームごとに取得する取得手段と、
    前記取得手段が取得したフレームに対する画像補正を行う補正手段と、
    前記補正手段が出力した映像を表示する表示手段と、を備え、
    前記表示手段が映像を表示する期間は、複数の分割期間へと分割され、
    前記複数の分割期間のそれぞれには、対応する入力期間が定められており、
    前記表示手段は、周期的な更新タイミングにおいて表示するフレームを更新し、
    前記補正手段は、特定の更新タイミングにおいて前記表示手段に表示されるフレームが、前記更新タイミングが含まれる前記分割期間に対応する前記入力期間において前記撮像手段によって取得されたか否かを判定し、前記判定の結果に従って前記特定の更新タイミングにおいて前記表示手段に表示されるフレームに対する画像補正を行う
    ことを特徴とする、画像処理装置。
17. 複数のフレームで構成される映像を取得する撮像手段と、
    前記取得した映像の各フレームに対してＩＤを発行する付与手段と、
    前記映像の各フレームに対する描画処理を行うことにより、表示手段に表示される映像をフレームごとに出力する画像処理手段と、
    前記画像処理手段から出力されるフレームのＩＤを予測する予測手段と、
    前記画像処理手段から出力されたフレームのＩＤと前記予測手段により予測されたＩＤとの比較に基づいて、前記画像処理手段から出力された映像のフレームレートの低下を判定する判定手段と、
    を備えることを特徴とする画像処理システム。
18. 前記画像処理システムは、ヘッドマウントディスプレイと画像処理装置とを備え、
    前記ヘッドマウントディスプレイは、
    前記撮像手段と、
    前記撮像手段が取得した映像を前記画像処理手段に送信する第１の送信手段と、
    前記表示手段と、
    を備え、
    前記画像処理装置は、
    前記画像処理手段と、
    前記画像処理手段が出力した映像を前記ヘッドマウントディスプレイに送信する第２の送信手段と、
    を備えることを特徴とする、請求項１７に記載の画像処理システム。
19. 画像処理装置が行う画像処理方法であって、
    複数のフレームで構成される撮像映像の各フレームに対する描画処理を行うことにより得られた、表示手段に表示される映像を、フレームごとに取得する取得工程と、
    前記取得工程で取得するフレームのＩＤを予測する予測工程と、
    前記取得工程で取得したフレームのＩＤと前記予測工程で予測されたＩＤとの比較に基づいて、前記取得工程で取得した映像のフレームレートの低下を判定する判定工程と、
    を含むことを特徴とする画像処理方法。
20. コンピュータを、請求項１乃至１５の何れか１項に記載の画像処理装置が備える各手段として機能させるためのプログラム。

Images