JP7058946B2 - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

Description

本発明は、画像に対して所定の情報を付与する技術に関する。

近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用するものが知られている。この技術では、ＨＭＤ使用者（ユーザ）の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像映像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した映像をユーザが観察できるようにする。

ここで、撮像映像からＣＧを描画する位置を正確に求めるためには、映像入力に対し画像処理をすることよって生じる遅延等を考慮し、撮像映像同士または撮像映像と他データ（位置姿勢に関するセンサデータ等）との相互間の時間同期を行うことが重要である。特許文献１には、各フレームを識別するための識別情報として、撮像された時点での時間をタイムスタンプ情報として発行し、発行されたタイムスタンプ情報を映像データのフレームの所定の１画素に埋め込むようにした画像処理装置が記載されている。

特開２００８－１６７３４８号公報

しかし、特許文献１の技術では、映像データの各フレームの画像データの所定の１画素に付帯情報（タイムスタンプ等）を埋め込むために、映像の画質が劣化するという問題がある。そこで、本発明は、画像データに付帯させる付帯情報を埋め込む（付与する）際の画質劣化を抑制することを目的とする。

上記課題を解決するために、本発明によれば、情報処理装置に、画像データを取得する取得手段と、前記画像データを取得した時刻を表す時刻情報を生成する生成手段と、前記画像データを補正する補正手段と、前記時刻情報の出力を、前記画像データの補正に要した時間遅延させる遅延手段と、前記補正した画像データと他のデータとの同期を取るための情報として、前記遅延されて出力された前記時刻情報を、当該補正した画像データにおける複数の画素位置のデータと置換して埋め込む置換手段とを備える。

以上の構成によれば、本発明では、画像データに付帯させる付帯情報を埋め込む際の画質劣化を抑制することが可能となる。

第１の実施形態に係る情報処理システムの構成を示すブロック図。 第１の実施形態におけるタイムスタンプ付与のタイミングチャート。 第１の実施形態に係る画像補正部の処理の流れを示す概略ブロック図。 第１の実施形態において撮像映像およびタイムスタンプ情報の変化を示すタイミングチャート。 第１の実施形態に係るタイムスタンプ埋め込み部の機能構成を示すブロック図。 第１の実施形態におけるタイムスタンプ埋め込み動作のタイミングチャート。 第１の実施形態に係る画像同期部の機能構成を示すブロック図。 第１の実施形態に係るタイムスタンプ解析部の動作を示すフローチャート。 第２の実施形態に係る情報処理システムの構成を示すブロック図。

［第１の実施形態］
以下、本発明の第１の実施形態の詳細について図面を参照しつつ説明する。図１は、本実施形態における情報処理システムの構成を示すブロック図である。図１に示すように、本実施形態の情報処理システムは大きく３つの部分により構成されている。すなわち、カメラを含み撮像映像を生成する撮像部１０と、撮像映像に対して画像処理を行う画像処理部１１と、撮像映像の内容に応じて重畳するＣＧデータの位置を演算し、合成映像（合成画像データ）を生成する画像合成部１２と、である。

撮像部１０および画像処理部１１は、本情報処理システムにおける情報処理装置に相当するヘッドマウントディスプレイ（以下、ＨＭＤ）に備えられている。一方、画像合成部１２は、コンピュータ装置（ＰＣ）に備えられている。ＨＭＤとコンピュータ装置は、互いに有線方式または無線方式により接続され、それぞれＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェア構成を備える。そして、ＣＰＵがＲＯＭ等に格納されたプログラムを実行することにより、例えば、後述する各機能構成やフローチャートの処理が実現される。ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有しており、ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。なお、本実施形態では、画像合成部１２はコンピュータ装置（ＰＣ）に備えられているものとしているが、ＨＭＤに備えられていてもよく、その場合には、本情報処理システムの全構成がＨＭＤ単体で実現されることになる。以上の構成により、撮像部１０を含むＨＭＤを頭部に装着したユーザは、現実空間の映像にＣＧを重畳した映像をＨＭＤ内部のディスプレイを通じて観察することができ、現実と仮想世界とがリアルタイムに融合した複合現実感を体感することができる。

撮像部１０は、ＣＣＤやＣＭＯＳ等の半導体素子を用いたカメラ１０１とカメラ１０２を含み、１０～１００ｍｓの周期でフレームごとに現実空間における被写体像を撮影する。カメラ１０１はユーザの左眼に対応したカメラであり、カメラ１０２はユーザの右眼に対応したカメラである。カメラ１０１とカメラ１０２は異なるカメラデバイスを用いてもよいし、異なるフレームレートで駆動していてもよい。本実施形態では、カメラ１０１、１０２ともに６０Ｈｚ（１６．６７ｍｓ周期）駆動しているものとして説明する。

カメラ１０１および１０２は、画像データとともに垂直同期信号、水平同期信号、ブランキング信号などの１画面分の映像の表示期間を示す信号を撮像映像として出力する。カメラ入力を受け取る装置では、垂直同期信号により映像のフレーム始まりを検知し、水平同期信号により１フレーム中の画像におけるラインの始まりを検知し、ブランキング信号により有効画像領域であるかを検知することで撮像映像として受信する。

画像処理部１１は、カメラ１０１、１０２で撮像された映像間の同期をとるためのタイムスタンプを生成するタイムスタンプ生成部１１１と、それら撮像映像の入力タイミングに応じてタイムスタンプを付与するタイムスタンプ付与部１１２、１１３とを備える。また、撮像映像に対して画像の補正および、付与されたタイムスタンプのタイミング調整を行う画像補正部１１４、１１５と、画像補正された撮像映像に対して色変換処理を行う色変換部１１６、１１７とを備える。更に、カメラ１０１の撮像映像に対してタイムスタンプを埋め込むタイムスタンプ埋め込み部１１８と、カメラ１０２の撮像映像に対してタイムスタンプを埋め込むタイムスタンプ埋め込み部１１９とを備える。

タイムスタンプ生成部１１１は、常に内部で時刻を計測しており、現在の時刻に係る情報をタイムスタンプとして生成する。時刻を計測するための構成は、内部にカウンタを持ち規定サイクルをカウントする構成、ＣＰＵなどを使用したタイマー、外部からの基準信号などでカウントアップされるＩＤ情報を用いる構成などが考えられるが、その具体的な構成は特に限定されない。

タイムスタンプ付与部１１２、１１３は、カメラ１０１、１０２から撮像映像を取得する機能を有する。また、その映像データが入力されることに応じて、タイムスタンプ生成部１１１が生成したタイムスタンプ（その時点での時刻に係る情報）を取得し、撮像映像に付与する。図２には、タイムスタンプ付与部１１２、１１３によるタイムスタンプ付与のタイミングチャートを示す。ここでは、タイムスタンプ生成部１１１は、実時間５ｍｓごとにカウントアップすることで時刻の計測をしているものとして説明する。撮像映像１はカメラ１０１より入力される撮像映像であり、図２はその中の垂直同期信号を示している。撮像映像１の垂直同期信号は立ち上がりを基準にフレームの切り替わりを示しており、次の立ち上がりまでの期間は１６．６７ｍｓである。このとき、タイムスタンプ付与部１１２は、撮像映像１の垂直同期信号の立ち上がりを検知し、その時点においてタイムスタンプ生成部１１１で生成されたタイムスタンプ情報を取得する。

図２に示す例では、撮像映像１の垂直同期信号の立ち上がり時点におけるタイムスタンプ情報は“２”であり、次の垂直同期信号の立ち上がりでは“５”である。以降、このようにして、タイムスタンプ付与部１１２は、撮像映像１の垂直同期信号の立ち上がりのタイミングにおいて、タイムスタンプ生成部１１１からタイムスタンプ情報を取得する。タイムスタンプ付与部１１３は、カメラ１０２より入力される撮像映像２を基準にタイムスタンプを取得する以外はタイムスタンプ付与部１１２と同様の動作を行う。

このように、タイムスタンプ付与部１１２、１１３は、カメラ１０１、１０２から撮像映像が入力されるタイミングに応じて、タイムスタンプ生成部１１１よりタイムスタンプ情報を取得し、撮像映像に紐づけられる形でタイムスタンプ情報を発行する。本実施形態において、タイムスタンプ付与部１１２、１１３は、撮像映像の垂直同期信号の立ち上がりに応じて、タイムスタンプ情報を取得する構成について説明したが、本発明の構成はこれに限定されない。例えば、水平同期信号に応じてタイムスタンプ情報を取得したり、撮像映像１、２のどちらかの入力される垂直同期信号に応じてタイムスタンプ情報を取得するなどしてもよい。すなわち、少なくとも一方の撮像映像の入力されるタイミングを判別できる手段を備えていれば、本実施形態は実現可能である。

画像補正部１１４、１１５は、入力される撮像映像に対して画像補正を行う機能と、画像補正に伴って生じる処理遅延分だけ、タイムスタンプ情報を遅延させる機能を有する。画像補正機能とは、例えば、カメラの画素の欠損を補正する画素欠陥補正機能である。または、カメラ１０１、１０２の画素配列がベイヤー配列のカメラである場合はベイヤーデータからＲＧＢ信号を生成するベイヤー補間処理である。または、撮像の光学特性を補正するシェーディング補正機能等である。また、これらの処理の組み合わせであってもよい。

図３は、本実施形態における画像補正部１１４、１１５の処理の流れを示す概略ブロック図である。本実施形態においては、図３のように、画像補正部１１４が撮像映像１に対して実行する処理は、処理Ａ、処理Ｂ、処理Ｃのように処理内容について特に限定せずに説明する。また、画像補正部１１４と画像補正部１１５は異なる画像補正機能を有する構成として説明を行う。

図４は、画像補正部１１４、１１５によって撮像映像およびタイムスタンプ情報がどのように変化するかを示したタイミングチャートである。図３において、画像補正部１１４への撮像映像１の入力をＤ１、タイムスタンプ情報の入力をＴ１としたときのタイミングチャートを図４のＤ１、Ｔ１に示している。このように画像補正部１１４への入力時点では、撮像映像とタイムスタンプ情報は同タイミングの関係で入力がされている。

また図４では、図３の処理Ａを通過した後の撮像映像をＤａ、処理Ｂを通過した後の撮像映像をＤｂ、処理Ｃを通過した後の撮像映像をＤｃとして示している。図４に示すように、処理Ａは、１．５ｍｓの処理遅延の後に後段の処理ブロックＢへ撮像映像を出力している。このとき、タイムスタンプ情報Ｔ１は、処理Ａブロックより処理Ａにおいて発生する処理遅延分の情報を受け取り、遅延処理ブロックにて遅延処理を行った後に新たにタイムスタンプ情報Ｔａとして出力する。

処理Ｂブロックにおいても同様であり、処理Ｂは、６．５ｍｓの処理遅延の後に後段の処理ブロックＣへ撮像映像を出力する。そして、処理Ｂブロックからの遅延情報に基づきタイムスタンプ情報ＴａからＴｂを生成する。処理Ｃ、処理Ｄ、処理Ｅについても同様である。ここでは、図４に示すように、撮像映像１は画像補正部１１４を通過する前後で１．５＋６．５＋２．０＝１０．０ｍｓ遅延している。また、撮像映像２は画像補正部１１５を通過する前後で１．０＋４．０＝５．０ｍｓ遅延している。

本実施形態では、撮像映像に対して実行される処理ごとに発生する遅延分だけ、タイムスタンプ情報も遅延させることによって撮像映像のフレーム切り替わりと同期してタイムスタンプ情報が画像補正部１１４および１１５より出力される。すなわち、タイムスタンプ付与部１１２、１１３で、撮像映像の各フレームに紐づけられる形で付与されたタイムスタンプ情報は、各フレームとの関係を維持したまま画像補正部１１４および１１５より出力される。

色変換部１１６、１１７は、入力される撮像映像１、２のＲＧＢ成分をＹＵＶ成分へと変更する演算処理を行い、色空間の変換を行う。ＲＧＢからＹＵＶの変換は、一般に、以下の変換式（数式１）を用いて行われる。

Ｙ＝ ０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｕ＝－０．１６９×Ｒ－０．３３１×Ｇ＋０．５００×Ｂ
Ｖ＝ ０．５００×Ｒ－０．４１９×Ｇ－０．０８１×Ｂ
…（数式１）
ここで、Ｙは輝度信号、ＵとＶは色差信号と一般的には表現される。また、人間の目は輝度信号の変化に対しては敏感であるが、色差信号の変化には鈍感であるため、色変換部１１６、１１７は、ＵＶデータを圧縮したＹＵＶ４２２フォーマットやＹＵＶ４１１フォーマットなどの演算を行う構成としてもよい。

次に、本実施形態のタイムスタンプ埋め込み部１１８、１１９について説明する。図５は、本実施形態に係るタイムスタンプ埋め込み部１１８の機能構成を示すブロック図である。タイムスタンプ埋め込み部１１９は、タイムスタンプ埋め込み部１１８と同様の構成であるため、ここでの詳細な説明は省略する。

タイムスタンプ埋め込み部１１８は、ラインカウンタ５０１、ピクセルカウンタ５０２、埋め込み判定部５０３、埋め込み実行部５０４により構成される。ラインカウンタ５０１は、撮像映像の各フレームに対して、垂直方向の画素位置をカウントする。また、ピクセルカウンタ５０２は、撮像映像の各フレームに対して、水平方向の画素位置をカウントする。埋め込み判定部５０３は、ラインカウンタ５０１とピクセルカウンタ５０２とによりカウントした画素位置に応じて、埋め込み実行部に対して埋め込み許可信号を発行する。埋め込み実行部５０４は、埋め込み判定部５０３より入力される埋め込み許可信号に応じて、入力色差信号Ｕ／Ｖに対して入力タイムスタンプ情報Ｔへとデータ置換を行う。

図６に、本実施形態のタイムスタンプ埋め込み部１１８によるタイムスタンプ埋め込みの動作のタイミングチャートを示す。ラインカウント値、ピクセルカウント値はそれぞれ、ラインカウンタ５０１およびピクセルカウンタ５０２より出力されるカウント値をそれぞれ示している。また、入力色差信号は、色変換部１１６より入力されるＹＵＶ信号のうち、色差信号であるＵＶ信号を示している。また、入力タイムスタンプ情報Ｔは、前段の画像補正部１１５より出力され撮像映像に同期したタイムスタンプ情報である。

このとき、埋め込み判定部５０３より出力される埋め込み許可信号は４ｂｉｔの信号であり、入力タイムスタンプ情報Ｔと同じｂｉｔ幅を持っている。埋め込み実行部５０４は、埋め込み許可信号の各ｂｉｔを入力タイムスタンプ情報の各ｂｉｔのイネーブル信号として認識し、入力色差信号の最下位ｂｉｔを埋め込み許可信号により指定されたｂｉｔの入力タイムスタンプ情報Ｔで置き換える処理を行う。

この処理について、図６を用いて詳細を説明する。埋め込み許可信号が“０ｘ１”のとき、埋め込み実行部５０４は、埋め込み許可信号の４ｂｉｔ信号のうち最下位ｂｉｔをイネーブル信号としてみなす。すなわち、入力タイムスタンプ情報Ｔの最下位ｂｉｔの信号を埋め込み対象ｂｉｔとし、入力色差信号の最下位ｂｉｔと置き換える処理を行う。ここでは、入力タイムスタンプ情報Ｔ＝０ｘＡであるため、埋め込み許可信号が０ｘ１のとき、埋め込み対象ｂｉｔは０ｘ０である。図６では、このときの入力色差信号は０ｘ６Ｄであるため、最下位ｂｉｔを埋め込み対象ｂｉｔである０ｘ０で置き換えると、０ｘ６Ｄ→０ｘ６Ｃとなりこの値を出力色差信号として出力する。以降、埋め込み許可信号のイネーブルｂｉｔに応じて入力タイムスタンプ情報を色差信号の複数画素にわたって埋め込み処理を行う。図６においては、画像の水平位置０ｘ７７Ｃでかつ垂直位置０ｘ０の位置より、水平方向に異なる４か所の画素位置に分散して、４ｂｉｔのタイムスタンプ情報を埋め込んでいることになる。

画像合成部１２は、画像処理部１１より入力される撮像映像に対し、ＣＧを重畳し表示映像として出力する機能を有する。画像合成部１２は、異なるタイミングで入力される複数の撮像映像（カメラ１０１、１０２それぞれで撮像された映像）に対して同期化を図る画像同期部１２１を備える。また、同期化された複数の撮像映像を解析することでＣＧ描画位置を計算するＣＧ描画位置演算部１２２と、演算されたＣＧ描画位置に応じて該当のＣＧコンテンツを重畳するＣＧ合成部１２３とを備える。

画像同期部１２１は、複数の撮像映像が画像処理部１１の内部パスの構成によって異なる入力タイミングとなった場合に、それぞれの映像のフレーム（画像データ）内部に埋め込まれたタイムスタンプ情報を比較することによって画像間の同期をとる処理を行う。図７は、本実施形態の画像同期部１２１の機能構成を示すブロック図である。画像同期部１２１は、入力撮像映像に埋め込まれているタイムスタンプ情報を分離するタイムスタンプ分離部７０１、７０２を備える。また、分離された複数の撮像映像におけるタイムスタンプ情報を解析し、タイムスタンプ情報をもとに画像の転送を制御するタイムスタンプ解析部７０３を備える。また、撮像映像をバッファリングするフレームバッファ７０４、７０５と、要求に応じてフレームバッファへのライト、リードを制御するメモリコントローラ７０６、７０７とを備える。

タイムスタンプ分離部７０１、７０２は入力される撮像映像から画像データとタイムスタンプ情報との分離を行う。タイムスタンプ分離部７０１、７０２は、撮像映像の所定の画像位置とｂｉｔ位置から抜き出した情報に基づいて、タイムスタンプ情報を復元する。本実施形態では、タイムスタンプ情報は、撮像映像の各フレーム（画像データ）において、複数画素かつ色差信号に対して埋め込んであり、より具体的には、各フレームで４か所の画素位置の色差信号の最下位ｂｉｔに埋め込んである。そのため、タイムスタンプ情報を抜き出した後の画像データにおいて、画質の劣化を抑制することができる。なお、画像データの、タイムスタンプ情報が埋め込まれていた画素位置、ｂｉｔ位置のデータはそのままにしてもよいし、“０ｘ０”もしくは“０ｘ１”で置換するようにしてもよい。

タイムスタンプ分離部７０１、７０２は、タイムスタンプ情報と画像データとに分離したら、メモリコントローラ７０６、７０７に対し、画像のライト要求を発行し、画像データを転送する。同時に、タイムスタンプ情報はタイムスタンプ解析部７０３へと送られる。

タイムスタンプ解析部７０３は、入力される複数のタイムスタンプ情報からメモリコントローラ７０６、７０７に対して画像リード要求を発行する。図８は、タイムスタンプ解析部７０３の動作を示すフローチャートである。タイムスタンプ解析部７０３は、まず複数のタイムスタンプ情報の並び替えを行う（Ｓ８０１）。このとき、最も過去のタイムスタンプ情報（本実施形態では最小値としている）を基準として、内部のカウンタ値の初期値として設定する（Ｓ８０２）。

次に、Ｓ８０２で設定された初期値より内部カウンタの動作を開始する（Ｓ８０３）。このときのカウンタとしては、画像処理部１１に含まれるタイムスタンプ生成部１１１と同周期のカウンタであるものとする。次に、ソートされたタイムスタンプ情報の最小値から内部カウンタのカウンタ値と比較し、カウンタ値とタイムスタンプ情報とが一致していたらリード要求を発行する（Ｓ８０４）。以降、順次タイムスタンプ情報が古いものから新しいものまでリード要求が発行されるまで処理を繰り返す（Ｓ８０５）。このようなステップを毎フレームごとに実行することで、タイムスタンプ解析部７０３は、異なるタイミングで入力される複数の撮像映像同士を正しく対応付け、時間のずれを補正することが可能となる。

ＣＧ描画位置演算部１２２は、入力される複数の撮像映像内を画像解析し、ＣＧの描画位置を算出する演算を行う。この計算は複数の撮像映像より求めるため、互いの映像の時間関係が正確に判明しているほど、描画位置算出の精度が向上することとなる。また、ＣＧを描画しない撮像映像内に関しては人が視認する領域であり、画像の劣化が目立ちにくいことが望ましい。本実施形態では、画像同期部１２１により複数の撮像映像間はタイムスタンプに基づいて正しいタイミングで入力されているため、ＣＧ描画位置演算部１２２は高い精度でＣＧ描画位置を求めることが可能となる。また、タイムスタンプ埋め込み部１１８は、複数画素かつ人の目の感度が低い色差信号に対して埋め込み処理を行っているため、画像の劣化を抑えることができる。

ＣＧ合成部１２３は、ＣＧ描画位置演算部１２２で求められた描画位置情報に基づき撮像映像に対してＣＧ描画を行う。これにより、撮像映像の任意の位置にＣＧコンテンツを配置した複合現実映像を作ることができる。

本実施形態では、複数画素かつ色差信号に対して埋め込み処理を行っているが、複数画素に埋め込み処理を行えば色差信号でなくてもよいし、色差信号に対して埋め込み処理を行えば複数画素でなくても（１画素であっても）よい。すなわち、本実施形態では、複数入力される撮像映像のタイムスタンプ情報を複数の画素位置に埋め込み処理を行うことで撮像映像の画質の劣化を抑制することができる。また、本実施形態では、色変換部により生成された色差信号に対してタイムスタンプ情報を埋め込むようにしているため、画質劣化をより抑制することができる。

本実施形態においては、複数の撮像映像の同期をとるために、各フレームを識別（特定）するための情報として時刻の情報（タイムスタンプ情報）を埋め込むようにしているが、各フレームが識別できる情報であれば、時刻に係る情報でなくてもよい。更には、各フレームを識別するための情報でなくても、各フレームに紐づけて付帯させる付帯データ一般をフレームの画像データに埋め込む（隠蔽するように付与する）場合に、本発明は広く適用できるものである。

また、本実施形態では、所定数のビットの付帯情報（４ビットのタイムスタンプ情報）を埋め込む場合に、前記所定数（４か所）の画素位置に分散して埋め込むようにしているが、これは、２か所や３か所などであっても構わない。ただし、所定数のビットの付帯情報を、前記所定数の画素位置に分散して埋め込むようにし、各画素位置では、最下位１ビットに付帯情報を埋め込むようにすることで、画質の劣化をより抑えることができ好適である。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。なお、第１の実施形態で既に説明をした構成については同一の符号を付し、その説明は省略する。

図９は、本実施形態における情報処理システムの構成を示すブロック図である。第１の実施形態と同様に、本実施形態の情報処理システムは大きく３つの部分により構成されている。すなわち、カメラを含み撮像映像を生成する撮像部１０と、撮像映像に対して画像処理を行う画像処理部１１と、撮像映像の内容に応じて重畳するＣＧデータの位置を演算し、合成映像を生成する画像合成部１２と、である。第１の実施形態と相違する点は、外部センサ９０１と、外部センサ９０１からの入力に応じてタイムスタンプを付与するタイムスタンプ付与部９０２と、撮像映像と外部センサデータとのデータ同期を図るデータ同期部９０３と、が追加されている点である。

外部センサ９０１は、カメラデバイス以外のセンサに相当し、例えば、オーディオデータを取得するためのオーディオセンサ、撮像部１０と同梱されカメラデバイスの向きや姿勢などをセンシングする位置姿勢センサなどがこれに該当する。すなわち、カメラデバイスに対して同期化を行う必要のあるセンサであれば、特にその構成は限定されない。

タイムスタンプ付与部９０２は、入力されるセンサデータに基づきタイムスタンプ生成部１１１よりタイムスタンプ情報を取得する。取得するタイミングについては、例えば、センサのサンプリングレート間隔やカメラデバイスのタイムスタンプ更新のタイミングなどでよい。

データ同期部９０３は、画像処理部１１より入力される撮像映像とセンサデータとのデータ間の同期を行う。同期化の方法に関しては、映像データがセンサデータに変わった以外は第１の実施形態と同様であり、図８で説明したフローチャートでデータ間の同期化を図る。

以上説明したように、本実施形態では、撮像映像のタイムスタンプ情報と他センサのタイムスタンプ情報からデータを同期化する構成について説明した。このように撮像映像と異なる他のセンサデータの入力に対しても本発明は適用可能であり、撮像映像の画質劣化を抑制しながらデータ間の同期を行うことができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０ 撮像部
１１ 画像処理部
１２ 画像合成部

Claims (12)

1. 画像データを取得する取得手段と、
   前記画像データを取得した時刻を表す時刻情報を生成する生成手段と、
   前記画像データを補正する補正手段と、
   前記時刻情報の出力を、前記画像データの補正に要した時間遅延させる遅延手段と、
   前記補正した画像データと他のデータとの同期を取るための情報として、前記遅延されて出力された前記時刻情報を、当該補正した画像データにおける複数の画素位置のデータと置換して埋め込む置換手段と、
   を有することを特徴とする情報処理装置。
2. 前記補正した画像データを輝度信号のデータと色差信号のデータとに変換する色変換手段を更に有し、
   前記置換手段は、前記複数の画素位置における前記色差信号のデータと前記時刻情報とを置換することを特徴とする請求項１に記載の情報処理装置。
3. 前記時刻情報は所定数のビットのデータであり、
   前記置換手段は、前記所定数の画素位置のデータと前記時刻情報とを置換することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記置換手段は、前記補正した画像データのうち、前記所定数の画素位置のデータのうち最下位１ビットのデータと前記時刻情報のうちの１ビットのデータとを置換することを特徴とする請求項３に記載の情報処理装置。
5. 前記取得された画像データは、撮像手段により撮像された映像データの各フレームの画像データであることを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記映像データを撮像するための撮像手段を更に有することを特徴とする請求項５に記載の情報処理装置。
7. ユーザの頭部に装着されて使用されることを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記画像データは、それぞれ異なる撮像手段で撮像された第１の画像データと第２の画像データとを含み、
   前記時刻情報は、前記第１の画像データと前記第２の画像データの同期をとるための情報であることを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
9. 請求項１から８のいずれか１項に記載の情報処理装置と、
   前記情報処理装置により前記時刻情報が埋め込まれた画像データから当該時刻情報を復元する復元手段を有する画像処理装置と、
   を有することを特徴とする情報処理システム。
10. 前記画像処理装置は、前記画像データに対してＣＧを重畳することにより合成画像データを生成する合成手段を更に有することを特徴とする請求項９に記載の情報処理システム。
11. 画像データを取得するステップと、
    前記画像データを取得した時刻を表す時刻情報を生成するステップと、
    前記画像データを補正するステップと、
    前記時刻情報の出力を、前記画像データの補正に要した時間遅延させるステップと、
    前記補正した画像データと他のデータとの同期を取るための情報として、前記遅延されて出力された前記時刻情報を、当該補正した画像データにおける複数の画素位置のデータと置換して埋め込むステップと、
    を有することを特徴とする情報処理方法。
12. コンピュータを、請求項１から８のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

Images