JP2016192137A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】撮像制御処理により得られる画像情報の分析結果に基づいて表示される画像に対するユーザの違和感を抑制することが可能な情報処理装置、情報処理方法およびプログラムを提供する。【解決手段】撮像制御処理の基準となる第１の周期信号と異なる第２の周期信号を基準として、前記撮像制御処理により得られる画像情報の分析に基づく表示制御処理を行う処理部、を備える情報処理装置。ならびに、情報処理方法およびプログラム。【選択図】図５

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

近年、情報処理技術の発展に伴い、ユーザの行動に合った処理を行う情報処理装置が開発されている。このような情報処理装置の中には、ユーザの行動を予測することによってユーザに適したサービスを提供する装置がある。

例えば、特許文献１では、予測対象すなわちユーザに関するイベント情報から行動履歴情報を生成し、生成される行動履歴情報に基づいてユーザの行動を予測する行動予測装置に係る発明が開示されている。

他方で、画像処理技術および画像表示技術の発展に伴い、外界の像に画像を重畳表示させる情報処理装置が開発されている。例えば、ＡＲ（Augmented Reality）技術が適用された情報処理装置は、カメラ等を用いて外界の像に係る情報を取得し、当該外界の像に合った画像を重畳表示させることが可能である。

特開２０００−２９３５０６号公報

ここで、上記の画像の重畳表示を行う情報処理装置が外界の像に係る情報を取得した後に、当該外界の像がユーザの行動等によって変化する場合がある。そのため、画像の重畳表示は外界の像に係る情報の取得後からできる限り早く行われることが望ましい。これは、特許文献１で開示されるような行動予測技術が画像の重畳表示に利用される場合であっても同様である。

しかし、外界の像に係る情報の取得から画像の重畳表示までの処理には時間がかかる場合がある。このような場合には、外界の像に合っていない位置に画像が重畳表示され、ユーザに違和感を与えることになる。

そこで、本開示では、撮像制御処理により得られる画像情報の分析結果に基づいて表示される画像に対するユーザの違和感を抑制することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。

本開示によれば、撮像制御処理の基準となる第１の周期信号と異なる第２の周期信号を基準として、前記撮像制御処理により得られる画像情報の分析に基づく表示制御処理を行う処理部、を備える情報処理装置が提供される。

また、本開示によれば、処理部によって、撮像制御処理の基準となる第１の周期信号と異なる第２の周期信号を基準として、前記撮像制御処理により得られる画像情報の分析に基づく表示制御処理を行うこと、を含む情報処理方法が提供される。

また、本開示によれば、撮像制御処理の基準となる第１の周期信号と異なる第２の周期信号を基準として、前記撮像制御処理により得られる画像情報の分析に基づく表示制御処理を行う処理機能、をコンピュータに実現させるためのプログラムが提供される。

以上説明したように本開示によれば、撮像制御処理により得られる画像情報の分析結果に基づいて表示される画像に対するユーザの違和感を抑制することが可能な情報処理装置、情報処理方法およびプログラムが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る情報処理装置の概要を説明するための図である。 本開示の第１の実施形態に係る情報処理装置の概略的な機能構成の例を示すブロック図である。 従来の情報処理装置における処理フローの例を示す図である。 従来の情報処理装置における処理フローの例を示す図である。 同実施形態に係る情報処理装置における処理フローの例を示す図である。 同実施形態に係る情報処理装置の処理の概要を概念的に示すフローチャートである。 同実施形態に係る情報処理装置の画像入力処理を概念的に示すフローチャートである。 同実施形態に係る情報処理装置の画像出力処理を概念的に示すフローチャートである。 同実施形態の第２の変形例に係る情報処理装置の概略的な機能構成の例を示すブロック図である。 本開示の第２の実施形態に係る情報処理装置の概略的な機能構成の例を示すブロック図である。 同実施形態に係る情報処理装置における処理フローの例を示す図である。 同実施形態の第３の変形例に係る情報処理装置の概略的な機能構成の例を示すブロック図である。 本開示の一実施形態に係る情報処理装置のハードウェア構成を示した説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の一実施形態に係る情報処理装置の概要
２．第１の実施形態（画像表示の実行タイミングの例）
３．第２の実施形態（ユーザの行動予測）
４．本開示の一実施形態に係る情報処理装置のハードウェア構成
５．むすび

＜１．本開示の一実施形態に係る情報処理装置の概要＞
まず、図１を参照して、本開示の一実施形態に係る情報処理装置の概要について説明する。図１は、本開示の一実施形態に係る情報処理装置の概要を説明するための図である。

情報処理装置１００は、外界情報取得機能および画像表示機能を備え、人体の頭部に装着される。具体的には、外界情報取得機能は、情報処理装置１００周辺についての撮像により得られる画像を分析することにより外界像に係る情報を取得する。また、画像表示機能は、外界像に係る光を透過する表示装置に画像を表示させる。このため、情報処理装置１００は、外界像に係る情報の分析結果に基づいて外界像に合った画像を表示装置に重畳表示することが可能である。

例えば、情報処理装置１００は、図１に示したように、２つの撮像部１１２、透過型の表示部１２６および本体部を備えるＨＭＤ（Head Mount Display）であり得る。なお、図示していないが、図１に示した２つの撮像部１１２と対になる２つの撮像部１１２が別途に設けられる。そして、情報処理装置１００は、撮像部１１２の撮像により得られる画像に基づいて外界像に係る情報を取得し、当該外界像に合った画像を表示部１２６に表示させる。これにより、情報処理装置１００を装着するユーザは、画像が重畳表示された外界像を見ることができる。

ここで、情報処理装置における外界像に係る情報の取得後に、当該外界の像がユーザの行動等によって変化する場合がある。例えば、外界の撮像後に情報処理装置を装着するユーザが首を振る等して視野を変えた場合、画像が外界像と合わない位置に表示され得る。

これに対し、行動予測技術を用いることが考えられる。しかし、行動予測技術が用いられた場合であっても、画像を予測された位置に表示する処理に時間がかかると、やはり画像の重畳位置が外界像に対してずれることがある。その結果、ユーザは重畳表示される画像に違和感を覚える。

そこで、本開示では、撮像制御処理により得られる画像情報の分析結果に基づいて表示される画像に対するユーザの違和感を抑制することが可能な情報処理装置１００を提案する。以下、情報処理装置１００について詳細に説明する。また、説明の便宜上、第１および第２の実施形態による情報処理装置１００の各々を、情報処理装置１００−１、および情報処理装置１００−２のように、末尾に実施形態に対応する番号を付することにより区別する。

＜２．第１の実施形態（画像表示の実行タイミングの例）＞
以上、本開示の一実施形態に係る情報処理装置の概要について説明した。次に、本開示の第１の実施形態に係る情報処理装置１００−１について説明する。第１の実施形態では、画像表示の実行タイミングが撮像の実行タイミングと異なる。

＜２−１．装置の構成＞
まず、図２を参照して、本開示の第１の実施形態に係る情報処理装置１００−１の機能構成について説明する。図２は、本開示の第１の実施形態に係る情報処理装置１００−１の概略的な機能構成の例を示すブロック図である。

情報処理装置１００−１は、図２に示したように、タイミング生成部１０２、タイミング生成部１０４、制御部１０６、画像入力処理部１１０および画像出力処理部１２０を備える。

（画像入力処理部）
画像入力処理部１１０は、撮像制御処理および当該撮像制御処理により得られる画像の分析処理を行う。図２に示したように、画像入力処理部１１０は、撮像部１１２および認識処理部１１４を備える。

撮像部１１２は、情報処理装置１００−１の周辺（以下、外界とも称する。）についての撮像処理を行う。具体的には、撮像部１１２は、撮像処理として、定期的にまたは制御部１０６等からの指示に基づいて外界を被写体とする撮像および当該撮像の制御を行う。より具体的には、撮像部１１２は、イメージセンサと撮像制御処理部とを備え、撮像制御処理部は、イメージセンサにおける露光の制御およびイメージセンサから得られる信号の処理を行う。そして、当該撮像制御処理の結果として画像情報が得られる。例えば、撮像部１１２のイメージセンサは、情報処理装置１００−１を装着するユーザの視線方向が撮像方向となるように設けられ、ＶＳＹＮＣに従って撮像を行う。なお、撮像部１１２は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびイメージセンサとしてのＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の信号変換素子、ならびに信号変換素子から得られる信号についての補正等の信号処理を行うＩＳＰ（Image Signal Processor）を備える。

認識処理部１１４は、画像情報の分析として、画像情報に基づいて外界の認識処理を行う。具体的には、認識処理部１１４は、撮像部１１２の撮像により得られる画像情報に基づいて撮像部１１２の備えるイメージセンサの位置および／または向き（以下、位置姿勢とも称する。）の推定処理、物体認識処理、深度推定処理ならびに手認識処理を行う。なお、各処理の詳細については後述する。

（画像出力処理部）
画像出力処理部１２０は、処理部として、撮像制御処理により得られる画像情報の分析に基づく表示制御処理を行う。図２に示したように、画像出力処理部１２０は、表示制御処理を行う応答決定部１２２および描画処理部１２４、ならびに表示部１２６を備える。

応答決定部１２２は、認識処理の結果に基づいて重畳表示される画像の内容を決定する。具体的には、応答決定部１２２は、認識処理部１１４の処理結果に基づいてユーザの視点位置の推定処理、画像の重畳位置の決定処理、遮蔽物判定処理およびジェスチャ判定処理を行う。なお、各処理の詳細については後述する。

描画処理部１２４は、決定される画像の内容に基づいて画像を生成する。具体的には、描画処理部１２４は、応答決定部１２２の各処理によって推定され、または決定された内容に基づいて表示部１２６に表示させる画像の生成を行う。

表示部１２６は、生成される画像を表示する。具体的には、表示部１２６は、描画処理部１２４によって生成された画像を外界像に重畳表示する。例えば、表示部１２６は、光を透過する透過型のディスプレイであり、情報処理装置１００を装着するユーザの視野の一部または全部に相当する広さの表示面を有する。ここで、重畳表示は、外界すなわち現実空間に存在する物体（現実物体）の像と仮想的な物体（仮想物体）の像とが一緒に視認可能な表示状態を意味する。仮想物体とは、立体的な印象を与えるための要素のうちの１つまたは複数の要素を用いて表示されることにより、あたかも現実空間に存在するかのようにユーザに知覚される仮想的な物体を意味する。例えば、立体的な印象を与えるための要素には、立体視の観点として、両眼視差、両眼の輻輳角または焦点距離等があり、立体感の演出の観点として、陰影、視点位置または視線方向の変化に対応した仮想物体の描画の変更制御等がある。

なお、表示部１２６は、光を透過しない遮蔽型のディスプレイであってもよい。この場合、描画処理部１２４は、撮像部１１２の撮像により得られる外界を被写体とする画像に描画処理部１２４によって生成される画像を重畳させることによって表示部１２６に表示させる画像を生成する。また、撮像部１１２は、外界光の入射方向を基準に固定される。

（タイミング生成部）
タイミング生成部１０２は、画像入力処理における処理の実行タイミングを決定する。具体的には、タイミング生成部１０２は、撮像制御処理の基準となる第１の周期信号として、撮像部１１２の撮像の実行タイミング（以下、入力処理タイミングとも称する。）を示す信号を生成する。そして、タイミング生成部１０２は、生成される入力処理タイミングを示す信号を各処理部に提供する。例えば、タイミング生成部１０２は、撮像部１１２の備えるイメージセンサのＶＳＹＮＣ（Vertical Synchronization）を基準としてタイミング信号を生成するタイミング生成器であり得る。

タイミング生成部１０４は、画像出力処理における処理の実行タイミングを決定する。具体的には、タイミング生成部１０４は、第２の周期信号として、表示部１２６の画像表示の実行タイミング（以下、出力処理タイミングとも称する。）を示す信号を生成する。そして、生成される出力処理タイミングを示す信号を各処理部に提供する。例えば、タイミング生成部１０４は、表示部１２６のＶＳＹＮＣを基準としてタイミング信号を生成するタイミング生成器であり得る。なお、入力処理タイミングを示す信号の周期および出力処理タイミングを示す信号の周期は同じ長さである。

さらに、出力処理タイミングを示す信号は、入力処理タイミングと出力タイミングが異なる。具体的には、出力処理タイミングを示す信号は、表示制御処理すなわち画像出力処理の開始が画像の重畳表示の実行時となるように生成される。詳細については後述する。

（制御部）
制御部１０６は、出力処理タイミングの生成を制御する。具体的には、制御部１０６は、出力処理タイミングが入力処理タイミングと異なるように出力処理タイミングを示す信号をタイミング生成部１０４に生成させる。さらに、図３〜図５を参照して、制御部１０６の処理を詳細に説明する。図３および図４は、従来の情報処理装置における処理フローの例を示す図であり、図５は、本実施形態に係る情報処理装置１００−１における処理フローの例を示す図である。

情報処理装置では概して、画像入力処理の後に画像出力処理が行われ、画像入出力処理の処理周期すなわち処理タイミングは同期している。例えば、図３に示したように、画像入力処理である撮像処理および認識処理が行われた後、画像出力処理である応答決定処理、描画処理および表示処理が行われる。なお、実線と実線との間の時間が１周期に相当する。

ここで、画像出力処理においては、待機時間が生じる場合がある。例えば、図３の斜線部分に示したように、応答決定処理の終了から描画処理の開始までの時間および描画処理の終了から表示処理の開始までの時間が待機時間となり得る。これは、描画処理では生成された画像の表示されるまで次の処理が行われず、表示処理では出力処理タイミング毎に表示される画像が切り替えられるためである。具体的には、描画処理および表示処理はいわゆるダブルバッファと称される２つのバッファ（フロントバッファ、バックバッファ）を用いて行われるためである。

例えば、ある周期においてフロントバッファを用いて表示処理が行われ、バックバッファを用いて描画処理が行われるとする。当該周期中では、表示処理によってフロントバッファに格納されている画像の情報を用いて画像が表示され、並行して描画処理によって次の周期に表示されるべき画像が生成され、当該画像の情報がバックバッファに格納される。そして、次の周期では、前周期においてバックバッファに格納された画像の情報を用いて画像が表示される。このため、処理周期が変わるまでの間、描画処理部１２４が次の処理まで待機する場合が生じる。なお、上記では、描画処理および表示処理に用いられるバッファがダブルバッファである例を説明したが、当該バッファは３つ以上のバッファであっても上記と同様に描画処理部１２４が待機し得る。

その結果、撮像処理の開始から画像の表示までの時間（以下、レイテンシとも称する。）、例えば図３に示すレイテンシＴ１が長期化し、外界像に対して重畳表示される画像の位置のずれが大きくなり得る。

そこで、情報処理装置１００−１では、画像入力処理と画像出力処理とを分離させ、画像出力処理においては当該画像出力に適した処理タイミングを用いる。具体的には、制御部１０６は、出力処理タイミングと入力処理タイミングとが異なるように出力処理タイミングを示す信号をタイミング生成部１０４に生成させる。

より具体的には、情報処理装置１００−１は、画像入力処理の基準となるタイミング信号と画像出力処理の基準となるタイミング信号とを独立させる。例えば、情報処理装置１００−１は、図４に示したように、画像入力処理である撮像処理および認識処理と、画像出力処理である応答決定処理、描画処理および表示処理とを処理の基準となるタイミング信号について独立させる。すなわち、情報処理装置１００−１は、図２に示したように、画像入力処理部１１０および画像出力処理部１２０の各々に対応するタイミング生成部１０２および１０４をそれぞれ設ける。

そして、制御部１０６は、画像出力処理の開始が画像表示の実行タイミングとなるようにタイミング生成部１０４に出力処理タイミングを示す信号を生成させる。例えば、制御部１０６は、図５に示したように、応答決定処理の開始が画像表示の実行タイミングとなるように、出力処理タイミングを入力処理タイミングに対して時間ｔだけタイミング生成部１０４に、シフトさせる、すなわち位相を変化させる。より詳細には、制御部１０６は、入力処理タイミングに対して時間ｔだけシフトされたタイミングが出力処理タイミングとなるように、タイミング生成部１０４のタイミング信号の生成を制御する。

このように、入力処理タイミングと異なるタイミングで出力処理タイミングを示す信号が生成されることにより、例えば図３および図５に示したようにレイテンシがＴ１からＴ２に短縮される。

なお、制御部１０６は、アプリケーションからの指示に基づいて出力処理タイミングを決定してもよい。例えば、アプリケーションは、ＡＰＩ（Application Programming Interface）を用いて制御部１０６に動作を指示し、制御部１０６は、ＡＰＩを介して受ける指示に基づいて出力処理タイミングの決定および生成の制御を行う。

また、画像出力処理の処理時間は、画像入力処理と異なり、アプリケーションによってある程度制御可能である。そのため、画像出力処理のうちの応答決定処理および描画処理の処理時間の合計が出力処理タイミングを示す信号の周期に収まるように、アプリケーションの処理内容を決定することが望ましい。

また、上記では、画像出力処理の開始が画像表示の実行時となる例を説明したが、画像の分析処理の終了タイミングが推定可能である場合、当該画像の分析処理の終了が画像表示の実行時とされてもよい。

＜２−２．装置の処理＞
次に、本実施形態に係る情報処理装置１００−１の処理について説明する。

（処理概要）
まず、図６を参照して、本実施形態に係る情報処理装置１００−１の処理の概要について説明する。図６は、本実施形態に係る情報処理装置１００−１の処理の概要を概念的に示すフローチャートである。

最初に、情報処理装置１００−１は、出力処理タイミングの制御を行う（ステップＳ２０２）。具体的には、制御部１０６は、情報処理装置１００−１が起動された際またはアプリケーションからの指示を受けた際に、出力処理タイミングを決定し、タイミング生成部１０４に決定される出力処理タイミングを示す信号を生成させる。

次に、情報処理装置１００−１は、画像入力処理を行う（ステップＳ２０４）。具体的には、画像入力処理部１１０は、撮像処理および認識処理を行う。詳細については後述する。

次に、情報処理装置１００−１は、画像出力処理を行う（ステップＳ２０６）。具体的には、画像出力処理部１２０は、画像入力処理部１１０の処理結果に基づいて応答決定処理、描画処理および表示処理を行う。詳細については後述する。

（画像入力処理）
続いて、図７を参照して、本実施形態に係る情報処理装置１００−１の画像入力処理について説明する。図７は、本実施形態に係る情報処理装置１００−１の画像入力処理を概念的に示すフローチャートである。

まず、画像入力処理部１１０は、撮像処理を行う（ステップＳ３０２）。具体的には、撮像部１１２は、入力処理タイミングに従って外界を被写体とする撮像および当該撮像のための制御を行う。例えば、撮像部１１２は、撮像制御処理を行うことにより撮像を行い、当該撮像により画像情報を得る。

次に、画像入力処理部１１０は、撮像部１１２の位置姿勢の推定処理を行う（ステップＳ３０４）。具体的には、認識処理部１１４は、タイミング生成部１０２から通知されるタイミングに従って、撮像部１１２の撮像により得られる画像情報に基づいてイメージセンサの位置姿勢の推定処理を行う。例えば、認識処理部１１４は、過去の位置姿勢と撮像により得られた現時点の画像とに基づいてイメージセンサの位置姿勢を推定する。なお、認識処理部１１４は、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いて位置姿勢の推定処理を行い得る。

また、画像入力処理部１１０は、物体認識処理を行う（ステップＳ３０６）。具体的には、認識処理部１１４は、撮像部１１２の撮像により得られる画像情報に基づいて、画像に写された物体の認識処理を行う。例えば、認識処理部１１４は、画像に写された物体の形状および位置等を推定する。なお、認識処理部１１４は、物体の特徴量に基づく物体認識処理等の一般的な技術を用い得る。

また、画像入力処理部１１０は、深度推定処理を行う（ステップＳ３０８）。具体的には、認識処理部１１４は、撮像部１１２の撮像により得られる複数の画像情報に基づいて、画像における深度の推定処理を行う。例えば、認識処理部１１４は、複数の画像情報に基づいて距離画像を生成する。なお、情報処理装置１００−１に深度センサが別途設けられる場合は、深度センサから得られる深度情報または当該深度情報および撮像により得られる画像情報に基づいて画像における深度の推定処理を行ってもよい。

さらに、画像入力処理部１１０は、手認識処理を行う（ステップＳ３１０）。具体的には、認識処理部１１４は、画像に写された手の認識処理を行う。例えば、認識処理部１１４は、深度推定処理によって得られる深度情報および撮像により得られる画像情報に基づいて画像に写された手の有無および形状等の態様を判定する。なお、当ステップの処理は、手以外のユーザの身体またはユーザの操作する物体等についての認識処理であってもよい。

（画像出力処理）
続いて、図８を参照して、本実施形態に係る情報処理装置１００−１の画像出力処理について説明する。図８は、本実施形態に係る情報処理装置１００−１の画像出力処理を概念的に示すフローチャートである。

まず、画像出力処理部１２０は、視点位置の推定処理を行う（ステップＳ４０２）。具体的には、応答決定部１２２は、ステップＳ３０４にて推定されたイメージセンサの位置姿勢に基づいてユーザの視野すなわち視点位置および／または向きを推定する。なお、本ステップの処理に過去のユーザの視点位置および／または向きが利用されてもよい。

また、画像出力処理部１２０は、重畳位置の決定処理を行う（ステップＳ４０４）。具体的には、応答決定部１２２は、ステップＳ３０６にて認識された物体の位置等に基づいて画像の重畳位置を決定する。例えば、応答決定部１２２は、重畳表示される画像がコップであり、認識された物体がテーブルである場合、当該コップがテーブルの上にあるように見えるようにコップの重畳位置を決定する。

また、画像出力処理部１２０は、遮蔽物判定処理を行う（ステップＳ４０６）。具体的には、応答決定部１２２は、ステップＳ３０８にて推定された深度情報に基づいて重畳表示される画像の表示を遮蔽し得る領域すなわち物体が存在するかを判定する。

また、画像出力処理部１２０は、ジェスチャ判定処理を行う（ステップＳ４０８）。具体的には、応答決定部１２２は、ステップＳ３１０にて認識された手等の態様に基づいてユーザのジェスチャを判定する。なお、判定されるジェスチャは、動きを伴っていてもよく、この場合、過去のジェスチャ判定処理の結果が用いられる。

次に、画像出力処理部１２０は、描画処理を行う（ステップＳ４１０）。具体的には、描画処理部１２４は、ステップＳ４０２〜Ｓ４０８の処理結果を用いて外界像に重畳させる画像を生成する。

次に、画像出力処理部１２０は、表示処理を行う（ステップＳ４１２）。具体的には、表示部１２６は、出力処理タイミング毎に描画処理部１２４によって生成される画像を表示する。

このように、本開示の第１の実施形態によれば、情報処理装置１００−１は、撮像制御処理の基準となる第１の周期信号と異なる第２の周期信号を基準として、撮像制御処理により得られる画像情報の分析に基づく表示制御処理を行う。このため、表示制御処理すなわち画像出力処理と撮像制御処理すなわち画像入力処理とが異なる周期信号に基づいて行われることにより、上述したような待機時間が削減され、画像出力にかかる時間すなわちレイテンシが短縮される。その結果、撮像制御処理により得られる画像情報の分析に基づいて表示される画像に対するユーザの違和感を抑制することが可能となる。

また、上記の表示制御処理は、上記の画像情報に係る被写体の像に対する画像の重畳表示についての制御処理を含む。このため、重畳表示される画像の外界像に対するずれを抑制することが可能となる。

また、上記の第２の周期信号は、表示制御処理の開始が画像表示の実行時となるように生成される。このため、表示処理の前に行われる描画処理を含む画像出力処理が１周期に収まる場合に、画像出力に係る待機時間がゼロに近づけられることにより、レイテンシを低減することが可能となる。

また、上記の表示制御処理の処理時間は、上記の第２の周期信号の周期に収まる。このため、描画処理を含む画像出力処理が１周期に収まることにより、レイテンシをより確実に低減することが可能となる。

また、上記の第１の周期信号および第２の周期信号の周期は、同じ長さである。このため、周期信号の周期長の一致すなわち画像入力処理および画像出力処理の処理レートの一致により、撮像および画像表示の処理の無駄を省くことが可能となる。

また、上記の第２の周期信号は、処理の実行時を示すタイミング信号を含み、情報処理装置１００−１は、当該タイミング信号を生成するタイミング生成部を備える。このため、ハードウェアによって出力処理タイミングが通知されることにより、タイミングの正確性を確保することが可能となる。

また、情報処理装置１００−１は、上記の第２の周期信号の出力を制御する。このため、動的に出力処理タイミングが変更されることにより、状況に応じた出力処理タイミングの最適化を行うことが可能となる。

また、情報処理装置１００−１は、上記の表示制御処理によって出力される画像を表示する表示部１２６を備え、人体の頭部に装着される。このため、ユーザの間近で画像表示が行われることにより、画像表示に対する臨場感をユーザに与えることが可能となる。

＜２−３．変形例＞
以上、本開示の第１の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第１および第２の変形例について説明する。

（第１の変形例）
本実施形態の第１の変形例として、出力処理タイミングを示す信号は、描画処理の開始が画像表示の実行時となるように生成されてもよい。具体的には、制御部１０６は、描画処理部１２４の処理の開始が画像表示の実行タイミングとなるように、タイミング生成部１０４の出力処理タイミングを示す信号の生成を制御する。なお、描画処理よりも先に行われる処理すなわち応答決定部１２２の処理の終了タイミングが推定可能である場合、当該応答決定部１２２の処理の終了が出力処理タイミングとされてもよい。

例えば、応答決定処理と描画処理との合計の処理時間が１周期すなわち出力処理タイミングを示す信号の周期長を超える場合には、応答決定処理に出力処理タイミングが合わせられると、描画処理は応答決定処理が行われる周期の次の周期で行われ、レイテンシの短縮効果が抑制される。そこで、制御部１０６は、描画処理部１２４の処理の開始が出力処理タイミングとなるようにタイミング生成部１０４に出力処理タイミングをシフトさせる。

このように、本実施形態の第１の変形例によれば、出力処理タイミングを示す信号は、画像出力処理に含まれる画像の描画処理の開始が画像表示の実行時となるように生成される。このため、描画処理の前に行われる応答決定処理と描画処理との合計の処理時間が１周期を超える場合であっても、応答決定処理の終了から描画処理の開始の間における待機時間の発生が防止され、レイテンシを低減することが可能となる。

（第２の変形例）
本実施形態の第２の変形例として、入力処理タイミングを示す信号および出力処理タイミングを示す信号の周期を決定するためのクロック信号の生成元は共通であってもよい。具体的には、タイミング生成部１０２および１０４は、同一のクロックソースから得られるクロック信号に基づいて動作する。さらに、図９を参照して、本変形例の構成について詳細に説明する。図９は、本実施形態の第２の変形例に係る情報処理装置１００−１の概略的な機能構成の例を示すブロック図である。

情報処理装置１００−１は、図９に示したように、制御部１０６、画像入力処理部１１０および画像出力処理部１２０に加えて、クロックソース１３０を備える。なお、第１の実施形態においては、タイミング生成部１０２および１０４は、図２において図示しないそれぞれ異なるクロックソースから同期するクロック信号を得る。

クロックソース１３０は、タイミング生成部１０２および１０４にクロック信号を提供する。例えば、タイミング生成部１０２および１０４は、クロックソース１３０から得られるクロック信号を分周し、分周により得られる信号を用いて処理を行う。なお、タイミング生成部１０２および１０４は、クロックソース１３０から得られるクロック信号を各々の有するＰＬＬ（Phase Locked Loop）の基準クロックとして用いてもよい。

このように、本実施形態の第２の変形例によれば、入力処理タイミングを示す信号および出力処理タイミングを示す信号の周期についてのクロック信号の生成元は共通する。ここで、画像入力処理および画像出力処理の各々の処理周期が独立する場合、各処理について異なるクロックソースが用いられることがある。かかる場合には、クロックソースにおけるドリフト等による誤差が各処理において異なり、画像入力処理と画像出力処理との間で処理時間の不整合が生じ得る。これに対し、本変形例の構成によれば、画像入力処理と画像出力処理との間で上記のような誤差の差異が生じることなく、処理時間の不整合の発生を抑制することが可能となる。

＜３．第２の実施形態（ユーザの行動予測）＞
以上、本開示の第１の実施形態に係る情報処理装置１００−１について説明した。続いて、本開示の第２の実施形態に係る情報処理装置１００−２について説明する。第２の実施形態では、画像入力処理開始後のユーザの視野の変化についての予測結果に基づいて画像の重畳表示が制御される。

＜３−１．装置の構成＞
まず、図１０を参照して、本開示の第２の実施形態に係る情報処理装置１００−２の機能構成について説明する。図１０は、本開示の第２の実施形態に係る情報処理装置１００−２の概略的な機能構成の例を示すブロック図である。なお、第１の実施形態における機能構成と実質的に同一である機能構成については説明を省略する。

情報処理装置１００−２は、図１０に示したように、タイミング生成部１０２、タイミング生成部１０４、制御部１０６、画像入力処理部１１０および画像出力処理部１２０に加えて、慣性センサモジュール１４０を備える。

慣性センサモジュール１４０は、ユーザの動きをセンシングする。具体的には、慣性センサモジュール１４０は、慣性センサおよび当該慣性センサから得られる信号に基づいてセンサ情報を生成する変換部を備え、生成されるセンサ情報を画像出力処理部１２０に提供する。また、慣性センサは、情報処理装置１００−２において所定の位置および向きに固定される。例えば、慣性センサモジュールは、加速度センサ、角速度センサまたは地磁気センサ等を含むモジュールであり得る。

（画像出力処理）
応答決定部１２２は、ユーザの視野の変化に応じて重畳表示に係る像の位置の補正を行う。具体的には、応答決定部１２２は、ユーザの視野の変化に応じて外界の像に係る位置の補正を行い、補正後の外界の像に基づいて画像の重畳表示を行う。より具体的には、応答決定部１２２は、推定部として、時系列に得られるセンサ情報に基づいてユーザの視野の変化を推定し、推定されるユーザの視野の変化に基づいて補正に係る位置を決定する。さらに、図１１を参照して、本実施形態における応答決定部１２２の処理を詳細に説明する。図１１は、本実施形態に係る情報処理装置１００−２における処理フローの例を示す図である。

まず、慣性センサモジュール１４０は、定期的にユーザの動きをセンシングする。例えば、慣性センサモジュール１４０は、図１１に示したように所定の時間間隔で慣性センサ情報取得処理、すなわちユーザの動きのセンシングおよびセンサ情報の生成を行う。なお、慣性センサのサンプリングレートは、撮像部１１２の備えるイメージセンサよりも高くあり得る。

応答決定部１２２は、画像入力処理の開始から描画処理の開始までの間に得られたセンサ情報に基づいてユーザの視野の変化についての推定（以下、第１の推定とも称する。）を行う。例えば、応答決定部１２２は、重畳位置の決定処理を行う際に、撮像部１１２の撮像処理（撮像制御処理）の開始から重畳位置の決定処理までの間に慣性センサモジュール１４０から提供されたセンサ情報に基づいて、ユーザの視野すなわち表示部１２６への光の入射面の位置および向きの軌道を算出する。

さらに、制御部１０６は、画像出力処理の開始から画像表示の開始までの時間（以下、出力準備時間とも称する。）が予め決定される時間以下となる出力処理タイミングの通知を行い、応答決定部１２２は、センサ情報と予め決定される時間とに基づいてユーザの視野の変化についての推定（以下、第２の推定とも称する。）を行う。例えば、応答決定部１２２は、算出される軌道について当該予め決定される時間分だけ外挿を行うことにより、画像が重畳表示される時点におけるユーザ視野を推定する。なお、処理時間が出力準備時間すなわち重畳位置の決定処理の開始から画像出力の開始までの時間が予め決定される時間以下となるように応答決定処理および描画処理が行われる。これは、アプリケーション側で描画内容等を決定することによって制御される。また、応答決定部１２２は、ユーザの視野の変化量を推定してもよい。

次に、応答決定部１２２は、推定されるユーザの視野の変化に基づいて補正に係る位置を決定する。例えば、応答決定部１２２は、撮像により得られる画像に基づいて推定された物体の位置を、推定されるユーザの視野の変化に応じて変更する。そして、応答決定部１２２は、変更された物体の位置に基づいて画像の重畳位置を決定する。

次に、描画処理部１２４は、応答決定部１２２によって決定される補正に係る位置に基づいて描画処理を行う。例えば、描画処理部１２４は、応答決定部１２２によって決定された位置に画像が重畳表示されるように画像を生成する。

なお、上記では、画像入力処理の開始から描画処理の開始までの間に得られるセンサ情報に基づいてユーザの視野の変化が推定される例を説明したが、画像入力処理の開始前すなわち撮像部１１２の撮像処理前に得られたセンサ情報に基づいてユーザの視野の変化が推定されてもよい。また、画像入力処理の開始から描画処理の開始までの間に得られるセンサ情報および画像入力処理の開始前に得られたセンサ情報の両方に基づいてユーザの視野の変化が推定されてもよい。

また、上記では、出力準備時間が重畳位置の決定処理の開始から画像表示の開始までの時間である例を説明したが、出力準備時間は描画処理の開始から画像表示の開始までの時間であってもよい。この場合、処理時間が出力準備時間以下となるように描画処理が行われる。

＜３−２．装置の処理＞
本実施形態に係る情報処理装置１００−２の処理は、応答決定処理において、慣性センサモジュール１４０から提供されるセンサ情報に基づく画像の重畳位置の補正処理が行われること以外は、第１の実施形態の処理と実質的に同一であるため説明を省略する。

このように、本開示の第２の実施形態によれば、情報処理装置１００−２は、ユーザの視野の変化に応じて重畳表示に係る像の位置の補正を行う。このため、画像入力処理後にユーザの首振り等の動作によってユーザの視野が変化した場合であっても、重畳表示される画像に対するユーザの違和感を抑制することが可能となる。

また、上記の重畳表示に係る像は、重畳表示先の外界の像を含み、情報処理装置１００−２は、ユーザの視野の変化に応じて外界の像に係る位置の補正を行い、補正後の外界の像に基づいて画像の重畳表示を行う。このため、画像の重畳位置の決定処理に用いられる外界の像に係る位置が補正されることにより、既存の画像の重畳位置の決定処理をそのまま利用することが可能となる。

また、情報処理装置１００−２は、時系列に得られるセンサ情報に基づいてユーザの視野の変化を推定し、推定されるユーザの視野の変化に基づいて補正に係る位置を決定する。このため、人間の動作は概して連続性を有しているため、ユーザの視野の変化についての推定結果の正確性を向上させることが可能となる。

また、上記のセンサ情報は、慣性センサから得られる情報を含む。このため、ユーザの動作がより高精度に把握されることにより、ユーザの視野の変化についての推定結果の正確性をさらに向上させることが可能となる。

また、情報処理装置１００−２は、画像入力処理の開始から画像出力処理に含まれる描画処理の開始までの間に得られたセンサ情報に基づいてユーザの視野の変化を推定し、推定されるユーザの視野の変化に基づいて決定される補正に係る位置を用いて描画処理を行う。このため、ユーザの視野の変化についての推定が描画処理の直前までに得られた情報に基づいて行われることにより、推定処理の正確性が向上される。その結果、ユーザの視野の変化によって生じる画像の重畳位置のずれ（ユーザには時間的な画像表示のずれとも認識され得る）の幅を小さくすることが可能となる。

また、情報処理装置１００−２は、画像出力処理の開始から画像出力の開始までの出力準備時間とセンサ情報とに基づいてユーザの視野の変化を推定する。このため、出力準備時間におけるユーザの視野の変化を考慮して画像の重畳位置が決定されることにより、ユーザの視野の変化によって生じる画像の重畳位置のずれの幅をさらに小さくすることが可能となる。

また、上記の第２の周期信号の周期の長さは、上記の出力準備時間が予め決定される時間以下である。このため、出力準備時間が変動しないことにより、当該出力準備時間についての第２の推定が過不足無く行われ、推定結果の正確性を向上させることが可能となる。

＜３−３．変形例＞
以上、本開示の第１の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第１〜第４の変形例について説明する。

（第１の変形例）
本実施形態の第１の変形例として、情報処理装置１００−２は、外界の像に係る位置の補正の代わりに、画像の重畳位置を補正してもよい。具体的には、応答決定部１２２は、ユーザの視野の変化に応じて画像の重畳位置の補正を行う。

例えば、応答決定部１２２は、撮像により得られる画像に基づいて推定された物体の位置に基づいて画像の重畳位置を決定する。そして、応答決定部１２２は、当該画像の重畳位置を、推定されるユーザの視野の変化に応じて変更する。そして、描画処理部１２４は、応答決定部１２２によって決定された位置に画像が重畳表示されるように画像を生成する。

このように、本実施形態の第１の変形例によれば、上述した重畳表示に係る像は、重畳表示される画像を含み、情報処理装置１００−２は、ユーザの視野の変化に応じて画像の重畳位置の補正を行う。このため、画像の描画直前まで画像の重畳位置の決定が後ろ倒しにされることにより、第２の推定において推定対象となる期間が短縮され、ユーザの視野の変化についての正確性が向上される。その結果、ユーザに違和感を与える可能性を低下させることが可能となる。

（第２の変形例）
本実施形態の第２の変形例として、センサ情報は、慣性センサから得られる情報（以下、慣性センサ情報とも称する。）の代わりに、イメージセンサから得られる情報（以下、イメージセンサ情報とも称する。）であってもよい。具体的には、応答決定部１２２は、画像出力処理の開始までにイメージセンサから得られた画像情報に基づいてユーザの視野の変化を推定する。例えば、応答決定部１２２は、過去に認識処理部１１４によって推定されたイメージセンサの位置姿勢の変化に基づいてユーザの視野の変化を推定する。

このように、本実施形態の第２の変形例によれば、センサ情報は、イメージセンサから得られる情報を含む。このため、慣性センサ情報よりも高精度の位置および向きに係る情報に基づいてユーザの視野の変化についての推定が行われることにより、推定結果の正確性を向上させることが可能となる。

なお、応答決定部１２２は、慣性センサ情報およびイメージセンサ情報の両方に基づいてユーザの視野の変化を推定してもよい。この場合、ユーザの視野の変化についての推定結果の正確性をさらに向上させることが可能となる。

また、応答決定部１２２は、状況に応じて慣性センサ情報とイメージセンサ情報とを使い分けてもよい。例えば、慣性センサはイメージセンサよりもサンプリングレートが高いため、応答決定部１２２は、ユーザの動きの初動においては慣性センサ情報を利用し、ユーザの動きの定常状態においてはイメージセンサ情報を利用する。また、イメージセンサは消費電力量が慣性センサに比べて多いため、応答決定部１２２は、情報処理装置１００−２が省電力モードである場合には、慣性センサ情報を利用する。

（第３の変形例）
本実施形態の第３の変形例として、画像入力処理、画像出力処理およびセンサ情報の生成処理についてのタイムスタンプの生成元は共通であってもよい。まず、図１２を参照して本変形例に係る情報処理装置１００−２の機能構成について説明する。図１２は、本実施形態の第３の変形例に係る情報処理装置１００−２の概略的な機能構成の例を示すブロック図である。

情報処理装置１００−２は、図１２に示したように、画像入力処理部１１０、画像出力処理部１２０および慣性センサモジュール１４０等で共通するタイムスタンプカウンタ１５０を備える。

タイムスタンプカウンタ１５０は、時間の経過をカウントする。具体的には、タイムスタンプカウンタ１５０は、クロックソースから供給されるクロック信号に基づいてカウントの単調増加を行う。なお、当該クロックソースは、タイムスタンプ用のクロックソースであり得る。

そして、画像入力処理、画像出力処理および慣性センサモジュール１４０における各処理は、処理の開始または終了等のイベントの発生の際に、タイムスタンプカウンタ１５０からカウント値（以下、タイムスタンプ値とも称する。）を取得し、取得されるタイムスタンプ値は、ログへのイベント発生の記録または生成データへの付加等に用いられる。

このように、本実施形態の第３の変形例によれば、画像入力処理、画像出力処理およびセンサ情報の生成処理についてのタイムスタンプの生成元は共通である。このため、画像出力処理、画像出力処理および慣性センサモジュール１４０における処理が共通する時間軸で行われることにより、各処理の結果に不整合が生じることを抑制することが可能となる。これにより、例えば省電力のために画像入力処理部１１０の電源を落とし、その後電源を入れる場合、または画像入力処理と画像出力処理とで処理が実現されるＩＣ（Integrated Circuit）チップ等のハードウェアが異なる場合に、画像出力処理等との処理時間のずれを防止することが可能となる。

（第４の変形例）
本実施形態の第４の変形例として、上述のタイムスタンプは、ハードウェアによって確保されてもよい。具体的には、タイムスタンプは、ラッチ回路によって取得され、取得されるタイムスタンプは、ユーザの視野の変化の推定または画像出力処理の開始から画像表示の開始までの出力準備時間の推定に用いられる。

例えば、慣性センサモジュール１４０および撮像部１１２は、センサ情報が得られた際に、タイムスタンプカウンタ１５０のタイムスタンプ値をラッチ回路にラッチさせる。ラッチされたタイムスタンプ値はセンサ情報に付加される。そして、センサ情報に付加されたタイムスタンプ値を基に後続の処理である応答決定処理等が行われる。

また、表示部１２６は、画像出力の開始の際に、タイムスタンプカウンタ１５０のタイムスタンプ値をラッチ回路にラッチさせる。そして、応答決定部１２２は、前回ラッチされたタイムスタンプ値と今回ラッチされたタイムスタンプ値とに基づいて次回にラッチされるタイムスタンプ値を算出する。そして、応答決定部１２２は、算出されるタイムスタンプ値から画像出力までにかかる時間を算出し、算出される時間を画像の重畳位置の補正に利用する。

このように、本実施形態の第４の変形例によれば、タイムスタンプは、ラッチ回路によって取得され、取得されるタイムスタンプは、ユーザの視野の変化の推定または画像出力処理の開始から画像表示の開始までの出力準備時間の推定に用いられる。このため、ＯＳ（Operation System）の割り込み処理を用いることなく、タイムスタンプ値が取得されることにより、ＯＳの状況、例えばＣＰＵの負荷状況によってタイムスタンプ値に誤差が生じることを抑制し、当該タイムスタンプ値を用いる処理の正確性を向上させることが可能となる。

＜４．本開示の一実施形態に係る情報処理装置のハードウェア構成＞
以上、本開示の各実施形態に係る情報処理装置１００について説明した。上述した情報処理装置１００の処理は、ソフトウェアと、以下に説明する情報処理装置１００のハードウェアとの協働により実現される。

図１３は、本開示の一実施形態に係る情報処理装置１００のハードウェア構成を示した説明図である。図１３に示したように、情報処理装置１００は、ＣＰＵ（Central Processing Unit）１６２と、ＲＯＭ（Read Only Memory）１６４と、ＲＡＭ（Random Access Memory）１６６と、ブリッジ１６８と、バス１７０と、インターフェース１７２と、入力装置１７４と、出力装置１７６と、ストレージ装置１７８と、ドライブ１８０と、接続ポート１８２と、通信装置１８４とを備える。

ＣＰＵ１６２は、演算処理装置として機能し、各種プログラムと協働して情報処理装置１００内の制御部１０６、認識処理部１１４、応答決定部１２２および描画処理部１２４の動作を実現する。なお、ＣＰＵ１６２は、ＧＰＵ（Graphics Processing Unit）を含んでもよい。また、ＣＰＵ１３２は、マイクロプロセッサであってもよい。ＲＯＭ１６４は、ＣＰＵ１６２が使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭ１６６は、ＣＰＵ１６２の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ＲＯＭ１６４およびＲＡＭ１６６により、情報処理装置１００内の記憶部の一部を実現する。ＣＰＵ１６２、ＲＯＭ１６４およびＲＡＭ１６６は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。

入力装置１７４は、例えば、情報処理装置１００の撮像部１１２の一例として、マウス、キーボード、タッチパネル、ボタン、マイクロホン、スイッチおよびレバーなどユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１６２に出力する入力制御回路などから構成されている。情報処理装置１００のユーザは、入力装置１７４を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置１７６は、例えば、情報処理装置１００の表示部１２６の一例として、液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic Light Emitting Diode）装置、ランプなどの装置への出力を行う。さらに、出力装置１７６は、スピーカおよびヘッドフォンなどの音声出力を行ってもよい。

ストレージ装置１７８は、データ格納用の装置である。ストレージ装置１７８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されるデータを削除する削除装置等を含んでもよい。ストレージ装置１７８は、ＣＰＵ１６２が実行するプログラムや各種データを格納する。

ドライブ１８０は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ１８０は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ１６４に出力する。また、ドライブ１８０は、リムーバブル記憶媒体に情報を書込むこともできる。

接続ポート１８２は、例えば、情報処理装置１００の外部の情報処理装置または周辺機器と接続するためのバスである。また、接続ポート１８２は、ＵＳＢ（Universal Serial Bus）であってもよい。

通信装置１８４は、例えば、ネットワークに接続するための通信デバイスで構成される通信インターフェースである。また、通信装置１８４は、無線ＬＡＮ（Local Area Network）対応通信装置であっても、ＬＴＥ（Long Term Evolution）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

＜５．むすび＞
以上、本開示の第１の実施形態によれば、画像出力処理が画像入力処理から独立して行われることにより、待機時間が削減され、画像出力にかかる時間が短縮される。その結果、撮像により得られる画像に基づいて表示される画像に対するユーザの違和感を抑制することが可能となる。また、本開示の第２の実施形態によれば、画像入力処理後にユーザの首振り等の動作によってユーザの視野が変化した場合であっても、重畳表示される画像に対するユーザの違和感を抑制することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、応答決定処理においてユーザの視野の変化についての推定処理が行われるとしたが、本技術はかかる例に限定されない。例えば、当該推定処理は複数に分かれて行われてもよい。例えば、描画処理が分割され、分割後の各描画処理の前において推定処理が行われてもよい。より詳細には、まず、第１の描画処理前の応答決定処理において推定処理が行われ、画像の重畳位置がおおまかに決定される。そして、第２の描画処理前に、再度推定処理が行われ、画像の重畳位置の微調整が行われる。なお、分割された描画処理のうちの一部のみで推定処理が行われてもよい

また、上記実施形態では、情報処理装置１００の各処理が順次に行われる例を説明したが、情報処理装置１００の処理は処理の一部または全部が他の処理と並行して行われてもよい。例えば、撮像処理と認識処理における準備処理とが並行して行われ得る。

また、上記実施形態では、出力処理タイミングは、制御部１０６によって制御される例を説明したが、出力処理タイミングは制御されず、予め決定されていてもよい。例えば、入力処理タイミングと異なる出力処理タイミングが予め決定され、タイミング生成部１０４は、当該予め決定された出力処理タイミングの通知を行う。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）撮像制御処理の基準となる第１の周期信号と異なる第２の周期信号を基準として、前記撮像制御処理により得られる画像情報の分析に基づく表示制御処理を行う処理部、を備える情報処理装置。
（２）前記表示制御処理は、前記画像情報に係る被写体の像に対する画像の重畳表示についての制御処理を含む、前記（１）に記載の情報処理装置。
（３）前記第２の周期信号は、前記表示制御処理の開始が前記画像の重畳表示の実行時となるように生成される、前記（２）に記載の情報処理装置。
（４）前記第２の周期信号は、前記表示制御処理に含まれる画像の描画処理の開始が前記画像の重畳表示の実行時となるように生成される、前記（２）に記載の情報処理装置。
（５）前記表示制御処理の処理時間は、前記第２の周期信号の周期に収まる、前記（２）〜（４）のいずれか１項に記載の情報処理装置。
（６）前記第１の周期信号および前記第２の周期信号の周期は、同じ長さである、前記（２）〜（５）のいずれか１項に記載の情報処理装置。
（７）前記第２の周期信号は、処理の実行時を示すタイミング信号を含み、前記タイミング信号を生成するタイミング生成部をさらに備える、前記（２）〜（６）のいずれか１項に記載の情報処理装置。
（８）前記第２の周期信号の出力を制御する制御部をさらに備える、前記（２）〜（７）のいずれか１項に記載の情報処理装置。
（９）前記処理部は、ユーザの視野の変化に応じて重畳表示に係る像の位置の補正を行う、前記（２）〜（８）のいずれか１項に記載の情報処理装置。
（１０）時系列に得られるセンサ情報に基づいて前記ユーザの視野の変化を推定する推定部をさらに備え、前記処理部は、前記推定部によって推定される前記ユーザの視野の変化に基づいて補正に係る位置を決定する、前記（９）に記載の情報処理装置。
（１１）前記センサ情報は、慣性センサまたは撮像センサから得られる情報を含む、前記（１０）に記載の情報処理装置。
（１２）前記推定部は、前記撮像制御処理の開始から前記表示制御処理に含まれる描画処理の開始までの間に得られたセンサ情報に基づいて前記ユーザの視野の変化を推定し、前記処理部は、推定される前記ユーザの視野の変化に基づいて決定される補正に係る位置を用いて前記描画処理を行う、前記（１０）または（１１）に記載の情報処理装置。
（１３）前記推定部は、前記表示制御処理の開始から画像表示の開始までの出力準備時間と前記センサ情報とに基づいて前記ユーザの視野の変化を推定する、前記（１０）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）前記第２の周期信号の周期の長さは、前記出力準備時間が予め決定される時間以下である、前記（１３）に記載の情報処理装置。
（１５）前記第１の周期信号および前記第２の周期信号の周期を決定するためのクロック信号の生成元は共通する、前記（１０）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）前記撮像制御処理、前記表示制御処理および前記センサ情報の生成処理についてのタイムスタンプの生成元は共通する、前記（１０）〜（１４）のいずれか１項に記載の情報処理装置。
（１７）前記タイムスタンプは、ラッチ回路によって取得され、取得されるタイムスタンプは、前記ユーザの視野の変化の推定または前記表示制御処理の開始から画像表示の開始までの出力準備時間の推定に用いられる、前記（１６）に記載の情報処理装置。
（１８）前記表示制御処理によって出力される画像を表示する表示部をさらに備え、人体の頭部に装着される、前記（２）〜（１７）のいずれか１項に記載の情報処理装置。
（１９）処理部によって、撮像制御処理の基準となる第１の周期信号と異なる第２の周期信号を基準として、前記撮像制御処理により得られる画像情報の分析に基づく表示制御処理を行うこと、を含む情報処理方法。
（２０）撮像制御処理の基準となる第１の周期信号と異なる第２の周期信号を基準として、前記撮像制御処理により得られる画像情報の分析に基づく表示制御処理を行う処理機能、をコンピュータに実現させるためのプログラム。

１００ 情報処理装置
１０２、１０４ タイミング生成部
１０６ 制御部
１１０ 画像入力処理部
１１２ 撮像部
１１４ 認識処理部
１２０ 画像出力処理分
１２２ 応答決定部
１２４ 描画処理部
１２６ 表示部
１３０ クロックソース
１４０ 慣性センサモジュール
１５０ タイムスタンプカウンタ

Claims (20)

1. 撮像制御処理の基準となる第１の周期信号と異なる第２の周期信号を基準として、前記撮像制御処理により得られる画像情報の分析に基づく表示制御処理を行う処理部、を備える情報処理装置。
2. 前記表示制御処理は、前記画像情報に係る被写体の像に対する画像の重畳表示についての制御処理を含む、請求項１に記載の情報処理装置。
3. 前記第２の周期信号は、前記表示制御処理の開始が前記画像の重畳表示の実行時となるように生成される、請求項２に記載の情報処理装置。
4. 前記第２の周期信号は、前記表示制御処理に含まれる画像の描画処理の開始が前記画像の重畳表示の実行時となるように生成される、請求項２に記載の情報処理装置。
5. 前記表示制御処理の処理時間は、前記第２の周期信号の周期に収まる、請求項２に記載の情報処理装置。
6. 前記第１の周期信号および前記第２の周期信号の周期は、同じ長さである、請求項２に記載の情報処理装置。
7. 前記第２の周期信号は、処理の実行時を示すタイミング信号を含み、
   前記タイミング信号を生成するタイミング生成部をさらに備える、請求項２に記載の情報処理装置。
8. 前記第２の周期信号の出力を制御する制御部をさらに備える、請求項２に記載の情報処理装置。
9. 前記処理部は、ユーザの視野の変化に応じて重畳表示に係る像の位置の補正を行う、請求項２に記載の情報処理装置。
10. 時系列に得られるセンサ情報に基づいて前記ユーザの視野の変化を推定する推定部をさらに備え、
    前記処理部は、前記推定部によって推定される前記ユーザの視野の変化に基づいて補正に係る位置を決定する、請求項９に記載の情報処理装置。
11. 前記センサ情報は、慣性センサまたは撮像センサから得られる情報を含む、請求項１０に記載の情報処理装置。
12. 前記推定部は、前記撮像制御処理の開始から前記表示制御処理に含まれる描画処理の開始までの間に得られたセンサ情報に基づいて前記ユーザの視野の変化を推定し、
    前記処理部は、推定される前記ユーザの視野の変化に基づいて決定される補正に係る位置を用いて前記描画処理を行う、請求項１０または１１に記載の情報処理装置。
13. 前記推定部は、前記表示制御処理の開始から画像表示の開始までの出力準備時間と前記センサ情報とに基づいて前記ユーザの視野の変化を推定する、請求項１０に記載の情報処理装置。
14. 前記第２の周期信号の周期の長さは、前記出力準備時間が予め決定される時間以下である、請求項１３に記載の情報処理装置。
15. 前記第１の周期信号および前記第２の周期信号の周期を決定するためのクロック信号の生成元は共通する、請求項１０に記載の情報処理装置。
16. 前記撮像制御処理、前記表示制御処理および前記センサ情報の生成処理についてのタイムスタンプの生成元は共通する、請求項１０に記載の情報処理装置。
17. 前記タイムスタンプは、ラッチ回路によって取得され、
    取得されるタイムスタンプは、前記ユーザの視野の変化の推定または前記表示制御処理の開始から画像表示の開始までの出力準備時間の推定に用いられる、請求項１６に記載の情報処理装置。
18. 前記表示制御処理によって出力される画像を表示する表示部をさらに備え、人体の頭部に装着される、請求項２に記載の情報処理装置。
19. 処理部によって、撮像制御処理の基準となる第１の周期信号と異なる第２の周期信号を基準として、前記撮像制御処理により得られる画像情報の分析に基づく表示制御処理を行うこと、を含む情報処理方法。
20. 撮像制御処理の基準となる第１の周期信号と異なる第２の周期信号を基準として、前記撮像制御処理により得られる画像情報の分析に基づく表示制御処理を行う処理機能、をコンピュータに実現させるためのプログラム。

Images