JP2017069718A - 撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法 - Google Patents

Abstract

【課題】画像の撮影や表示においてデータ伝送に起因したレイテンシを抑制する。【解決手段】動画を構成する各フレームＦ０、Ｆ１、Ｆ２、・・・に対し、全体領域を表す最低解像度の画像のデータは１行を２分割した単位で、一部の領域を表す中間解像度の画像のデータは１行単位で、相互に接続しデータストリームとして出力する。このとき、一部の領域を表す最高解像度の画像６０２または画像６０４ａ、６０４ｂのデータを、他の解像度の画像データの複数フレーム分で１フレーム分の出力が完了するように接続する画素数を調整しながら、伝送帯域の余剰分を利用してさらに接続して出力する。【選択図】図１１

Description

本発明は、撮影画像や描画画像の表示に伴う画像データの伝送および処理技術に関する。

ユーザの頭部など体の一部をビデオカメラで撮影し、目、口、手などの所定の領域を抽出し、その領域を別の画像で置換してディスプレイに表示するゲームが知られている（例えば、特許文献１参照）。また、ビデオカメラで撮影された口や手の動きをアプリケーションの操作指示として受け取るユーザインタフェースシステムも知られている。このように、実世界を撮影しその動きに反応する仮想世界を表示させたり、何らかの情報処理を行ったりする技術は、小型の携帯端末からレジャー施設まで、その規模によらず幅広い分野で利用されている。

欧州特許出願公開第０９９９５１８号明細書

臨場感のある画像表現を実現したり、情報処理を高精度に行うためには、撮影画像や表示画像の解像度およびフレームレートを増加させることが望ましいが、それにより処理すべきデータ量が増大するため、即時性、応答性の面で課題が生じる。すなわち高解像度化、高フレームレート化を図っても、装置内での処理速度や装置間のデータ伝送速度が十分でなければ、撮影から表示までのレイテンシが増大してしまう。実世界での動きを情報処理や表示画像に即時に反映させる態様では特に、レイテンシの増大が顕在化しやすい。

本発明はこうした課題に鑑みてなされたものであり、その目的は、画像の撮影、表示を伴う情報処理システムにおいて、内部の処理や伝送に起因するレイテンシを抑制することができる技術を提供することにある。

本発明のある態様は撮像装置に関する。この撮像装置は、対象物を動画撮影して得られる画像フレームから複数解像度の画像のデータを、行を構成する画素列ごとに生成する画像データ生成部と、複数解像度の画像のデータから、ホスト端末から要求された領域の画素列をそれぞれ抽出したうえ、所定の規則で定まる画素数ごとに接続してなるストリームを生成し、ホスト端末に送信する画像送出部と、を備え、画像送出部は、特定解像度の画像のデータの接続画素数を、Ｎを整数としたとき、他の解像度の画像のデータの１フレーム分に対し１／（Ｎ＋１）フレーム分が送信されるように調整することを特徴とする。

本発明の別の態様は情報処理装置に関する。この情報処理装置は、動画を構成する画像フレームとして合成して表示すべき複数解像度の画像のデータを取得する画像取得部と、複数解像度の画像の行を構成する画素列を、所定の規則で定まる画素数ごとに接続してなるストリームを生成する画像抽出部と、ストリームを表示装置に送信する通信部と、を備え、画像抽出部は、特定解像度の画像のデータの接続画素数を、Ｎを整数としたとき、他の解像度の画像のデータの１フレーム分に対し１／（Ｎ＋１）フレーム分が送信されるように調整することを特徴とする。

本発明のさらに別の態様は表示装置に関する。この表示装置は、動画を構成する画像フレームとして合成して表示すべき複数解像度の画像の行を構成する画素列を、所定の規則で定まる画素数ごとに接続してなるストリームであって、特定解像度の画像のデータの接続画素数が、Ｎを整数としたとき、他の解像度の画像のデータの１フレーム分に対し１／（Ｎ＋１）フレーム分が受信されるように調整されたストリームをホスト端末から受信する通信部と、受信したストリームに含まれる複数解像度の画像を合成することにより、画像フレームを生成して表示する表示部と、を備え、表示部は、画像フレームのうち特定解像度の画像のデータを用いる領域について、他の領域の１フレーム分の更新に対し１／（Ｎ＋１）フレーム分の更新を完了させることを特徴とする。

本発明のさらに別の態様は情報処理システムに関する。この情報処理システムは、対象物を動画撮影して得られる画像フレームに基づく動画表示を行う、撮像装置、ホスト端末および表示装置からなる情報処理システムであって、撮像装置は、画像フレームから複数解像度の画像のデータを、行を構成する画素列ごとに生成する画像データ生成部と、複数解像度の画像のデータから、ホスト端末から要求された領域の画素列をそれぞれ抽出したうえ、所定の規則で定まる画素数ごとに接続してなるストリームを生成し、ホスト端末に送信する画像送出部と、を備え、ホスト端末は、撮像装置から送信されたストリームを画像の種類ごとに分類したうえ所定の処理を施して、表示に用いる複数解像度の画像のデータを生成する画像処理部と、複数解像度の画像の行を構成する画素列を、所定の規則で定まる画素数ごとに接続してなるストリームを生成する画像抽出部と、ストリームを表示装置に送信する通信部と、を備え、撮像装置の画像送出部と、ホスト端末の画像抽出部はいずれも、ストリームにおける特定解像度の画像のデータの接続画素数を、Ｎを整数としたとき、他の解像度の画像のデータの１フレーム分に対し１／（Ｎ＋１）フレーム分が送信されるように調整することを特徴とする。

本発明のさらに別の態様は撮像装置による画像データ送出方法に関する。この画像データ送出方法は、対象物を動画撮影して得られる画像フレームから複数解像度の画像のデータを、行を構成する画素列ごとに生成するステップと、複数解像度の画像のデータから、ホスト端末から要求された領域の画素列をそれぞれ抽出したうえ、所定の規則で定まる画素数ごとに接続してなるストリームを生成し、前記ホスト端末に送信するステップと、を含み、送信するステップは、特定解像度の画像のデータの接続画素数を、Ｎを整数としたとき、他の解像度の画像のデータの１フレーム分に対し１／（Ｎ＋１）フレーム分が送信されるように調整することを特徴とする。

本発明のさらに別の態様は情報処理装置による画像データ送出方法に関する。この画像データ送出方法は、動画を構成する画像フレームとして合成して表示すべき複数解像度の画像のデータを取得するステップと、複数解像度の画像の行を構成する画素列を、所定の規則で定まる画素数ごとに接続してなるストリームを生成するステップと、ストリームを表示装置に送信するステップと、を含み、ストリームを生成するステップは、特定解像度の画像のデータの接続画素数を、Ｎを整数としたとき、他の解像度の画像のデータの１フレーム分に対し１／（Ｎ＋１）フレーム分が送信されるように調整することを特徴とする。

本発明のさらに別の態様は表示装置による画像表示方法に関する。この画像表示方法は、動画を構成する画像フレームとして合成して表示すべき複数解像度の画像の行を構成する画素列を、所定の規則で定まる画素数ごとに接続してなるストリームであって、特定解像度の画像のデータの接続画素数が、Ｎを整数としたとき、他の解像度の画像のデータの１フレーム分に対し１／（Ｎ＋１）フレーム分が受信されるように調整されたストリームをホスト端末から受信するステップと、受信したストリームに含まれる複数解像度の画像を合成することにより、画像フレームを生成して表示するステップと、を含み、表示するステップは、画像フレームのうち特定解像度の画像のデータを用いる領域について、他の領域の１フレーム分の更新に対し１／（Ｎ＋１）フレーム分の更新を完了させることを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、解像度やフレームレートによらずその撮影や表示を伴う情報処理を低レイテンシで行える。

本実施の形態を適用できる情報処理システムの構成例を示す図である。 本実施の形態におけるホスト端末と撮像装置の構成を示す図である。 本実施の形態における撮像装置のカメラの構成を詳細に示す図である。 本実施の形態におけるピラミッドフィルタ部の詳細を示す図である。 本実施の形態における画像送出部の構成を詳細に示す図である。 本実施の形態の撮像装置およびホスト端末におけるデータの形態の基本的な変遷を模式的に示す図である。 本実施の形態においてサイズ調整部が行う画像の縮小処理前後の画素の関係を模式的に示す図である。 本実施の形態における１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像の画素データの画像送出部への入力タイミングを示すタイムチャートである。 本実施の形態においてデータ抽出部がＦＩＦＯバッファに格納されたデータをつなげて出力する規則を説明するための図である。 本実施の形態においてデータ抽出部が、フレームメモリに格納したデータとＦＩＦＯバッファに格納したデータを混在させて合成画像を生成する様子を模式的に示す図である。 本実施の形態の４／１デモザイク後画像をＮ＝１フレームおきに出力する態様において、撮像装置から出力される複数フレーム分のデータの構成を模式的に示す図である。 本実施の形態における、撮像装置から送信された画像データに対するホスト端末における処理を説明するための図である。 本実施の形態におけるホスト端末と表示装置の構成を詳細に示す図である。 本実施の形態における拡大部による画像の拡大処理の一例を説明するための図である。 本実施の形態における表示装置において、ホスト端末から送信された画像データを用いて表示画像を生成する様子を模式的に示す図である。 本実施の形態において、撮像装置にステレオカメラを設けた場合に出力される画像データの構成を説明するための図である。 本実施の形態における表示装置の視線検出部の構成例を示す図である。 本実施の形態において視線の動きに応じて表示画像に用いる画像データの種類を切り替える様子を模式的に示す図である。 本実施の形態における、撮像装置における撮影から表示装置における画像表示までの処理手順を示すフローチャートである。

図１は本実施の形態を適用できる情報処理システムの構成例を示す。情報処理システム１０は、対象物を撮影する撮像装置１２、撮影した画像に基づき、ユーザの要求に応じた情報処理を行うホスト端末２０、ホスト端末２０が処理した結果得られた画像を表示する表示装置１６を含む。ホスト端末２０はインターネットなどのネットワーク１８と接続可能としてもよい。

ホスト端末２０と、撮像装置１２、表示装置１６、ネットワーク１８とは、有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。撮像装置１２、ホスト端末２０、表示装置１６のうちいずれか２つ、または全てが組み合わされて一体的に装備されてもよい。例えばそれらを装備したカメラや携帯端末などで情報処理システム１０を実現してもよい。いずれにしろ撮像装置１２、ホスト端末２０、表示装置１６の外観形状は図示するものに限らない。

撮像装置１２は、対象物を所定のフレームレートで撮影するカメラと、その出力データをデモザイク処理、縮小処理することで複数種類の画像データをフレームごとに生成する機構とを有する。カメラはＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルカメラ、デジタルビデオカメラで利用されている可視光センサを備える。赤外線照射手段と赤外線センサとを組み合わせた距離画像センサと、一般的な可視光センサとを組み合わせたものでもよい。

撮像装置１２は、２つのカメラを既知の間隔で左右に配置したいわゆるステレオカメラを有していてもよい。撮像装置１２が撮影、生成した画像のデータは後に述べるようなストリーム形式でホスト端末２０に送信される。ホスト端末２０は、送信された画像データを用いて必要な情報処理を行い、表示に用いる画像のデータを生成する。ここでホスト端末２０が行う処理の内容は特に限定されず、ユーザが求める機能やアプリケーションの内容などによって適宜設定される。

ホスト端末２０は例えば、撮影画像に対し一般的な顔検出やトラッキング処理を施すことにより、対象物であるユーザの動作を反映させたキャラクタが登場するゲームを進捗させたり、ユーザの動きをコマンド入力に変換して情報処理を行ったりする。撮影画像に３次元オブジェクトを描画して表示することにより仮想現実（ＡＲ）を実現してもよい。この場合、撮影対象はユーザに限らず、ユーザ側から見た室内などでもよい。

表示装置１６は、ホスト端末２０が行った処理の結果を画像として表示する。表示装置１６は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビでよく、例えば液晶テレビ、プラズマテレビ、ＰＣディスプレイ等である。あるいは表示装置１６は、ユーザの頭に装着してその眼前に画像を表示するヘッドマウントディスプレイでもよい。

このとき撮像装置１２にはステレオカメラを設け、撮影した左右の視点からの画像に、表示方式やアプリケーションに応じた加工を施し、表示装置１６の画面を左右に２分割した領域にそれぞれ表示させて立体視を実現してもよい。あるいは表示装置１６は、携帯端末やタブレット端末の表示機構、カメラの電子ファインダなどで実現することにより、撮像装置１２、ホスト端末２０と一体的であってもよい。

このように本実施の形態の情報処理システム１０は、様々な態様への適用が可能であるため、各装置の構成や外観形状もそれに応じて適宜決定してよい。本実施の形態では、いずれの態様であっても、装置間のデータ伝送および伝送に係る内部処理を効率化することにより、解像度やフレームレートの増加に対し処理や表示の即時性、応答性が損なわれにくいシステムを実現する。以後は特に、画像データの伝送メカニズムに主眼を置き説明する。画像データの伝送経路として、撮像装置１２からホスト端末２０への伝送、ホスト端末２０から表示装置１６への伝送、が考えられる。本実施の形態は各経路において独立に適用できるため、まず撮像装置１２からホスト端末２０へのデータ伝送手法について説明する。

図２はホスト端末２０と撮像装置１２の構成を示している。図２および後に説明する図３〜５、図１３に示す各機能ブロックは、ハードウェア的には、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、描画回路、撮像素子などの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

ホスト端末２０は、ユーザからの指示入力を取得する指示入力部３６、ホスト端末２０および撮像装置１２を統括的に制御し、目的に応じた情報処理を行う情報処理部３８、表示に用いる画像を生成する画像処理部４０、撮像装置１２からの画像データを格納するメインメモリ４２、撮像装置１２および表示装置１６と画像データや必要な情報の送受信を行うインターフェースである通信部４４を含む。

指示入力部３６は、ユーザからの指示入力を受け付け、それに応じた処理要求信号を生成して情報処理部３８に送信する。指示入力部３６は、コントローラ、ボタン、キーボード、マウス、トラックボール、タッチパネルなど一般的な入力装置と、当該入力装置になされた操作内容を解釈して処理要求信号を生成するプロセッサなどの協働により実現する。

情報処理部３８は、指示入力部３６から取得した処理要求信号に応じて撮像装置１２への画像データの送信要求、画像処理部４０への画像処理の要求などを行う。また撮像装置１２から送信された画像データを後に詳述するようにメインメモリ４２に展開する。さらに情報処理システム１０が実行する処理の内容によっては、撮像装置１２から送信された画像データを用いてステレオマッチング、対象物のトラッキング、顔検出、ジェスチャ検出などの画像解析を行う。これらの画像解析には一般的な技術を適用できる。

画像処理部４０はメインメモリ４２に展開された画像を用いて、情報処理部３８からの要求に応じた画像処理を行い、表示に用いる画像を生成する。当該画像のデータは情報処理部３８の制御のもと、通信部４４を介して表示装置１６に順次出力され、表示される。通信部４４は、情報処理部３８が要求する画像データに係る情報を撮像装置１２へ送信する。また、それに応じて撮像装置１２から送信された画像データを取得し情報処理部３８へ送る。さらに、表示に用いる画像のデータを表示装置１６へ送信する。

撮像装置１２は、動画像を撮影したうえ複数種類の画像データを生成するカメラ２２、ホスト端末２０から要求された画像データを抽出し、送信用の画像データを生成する画像送出部３２、および、ホスト端末２０とのデータ送受信のインターフェースである通信部３４を含む。カメラ２２は、対象物を所定のフレームレートで撮影する。そして当該撮影画像を段階的に縮小することにより、複数解像度の画像データをフレームごとに生成する。

画像送出部３２は、カメラ２２が生成した画像データのうち、ホスト端末２０が要求する画像データを抽出したうえで統合し、後に述べるような仮想的な合成画像を生成する。これによりホスト端末２０が、画像の種類のみならずそのうちの一部の領域を指定し、該当データのみを受け取ることができるようにする。ホスト端末２０と撮像装置１２との通信方式によっては、画像送出部３２はさらに、抽出した画像データを適宜パケット化する。

通信部３４は、ホスト端末２０からの画像データの要求信号を受け付け、画像送出部３２に通知するとともに、画像送出部３２が生成した送信用の画像データをホスト端末２０に送信する。通信部３４は、例えばＵＳＢ３．０等の所定のプロトコルにしたがって、パケットをホスト端末２０に送出する。ホスト端末２０との通信は有線に限らず、例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ通信、ＩｒＤＡなどの赤外線通信であってもよい。

本実施の形態において撮像装置１２が行う処理は、基本的には画像の横一列分の画素列単位で行われ、当該単位で次の機能ブロックに供給される。このようにすることで撮像装置１２の各機能ブロックが備えるメモリ容量は最小限ですみ、また、撮影からホスト端末２０への画像データの送信までを低遅延に行える。

図３は撮像装置１２のカメラ２２の構成を詳細に示している。カメラ２２は、画像取得部１０２、デモザイク部１０４、サイズ調整部１０８、ピラミッドフィルタ部１３５を備える。画像取得部１０２は、撮像素子で露光された画像を所定のレートで読み出す。この画像はいわゆるＲＡＷ画像である。

画像取得部１０２は、ＲＡＷ画像の横一列分の画素列の露光が完了するごとに、これをデモザイク部１０４および画像送出部３２に送る。以下の説明では、ｎを自然数として、画像取得部１０２が取得するＲＡＷ画像が、横方向にｎＷ画素、縦方向にｎＨ画素の幅を有するものとする。これは、後述するピラミッドフィルタ部１３５に入力する縮小前の画像の横方向の画素数をＷ、縦方向の画素数をＨと定め、それを基準とするためである。最も単純にはｎ＝１とし、カメラの解像度によって定まるＲＡＷ画像のサイズに合わせてピラミッドフィルタ部１３５を準備すればよい。

一方、本実施の形態では、カメラの解像度が技術革新などによりいかに変化しても、ピラミッドフィルタ部１３５の構成をそのまま利用できるようにすることで拡張性を高めるとともに、解像度によらず各処理を同様に行えるようにしている。したがって自然数ｎは、導入するカメラの解像度に応じて決定する。あるいは想定し得る範囲でｎの最大値を決定し、バッファメモリの容量などをそれに応じて準備しておいてもよい。この場合、画像取得部１０２が、接続された撮像素子から実際のｎの値を求め、他のブロックに通知することにより、処理内容に反映させたり、バッファメモリの使用範囲を決定したりする。

デモザイク部１０４は、画素ｎＷ個分の容量を有するＦＩＦＯ（First In First Out）バッファ１０５と簡易デモザイク処理部１０６とを有する。ＦＩＦＯバッファ１０５には、ＲＡＷ画像の横一列分の画素データが入力され、次の横一列分の画素データがデモザイク部１０４に入力されるまでそれを保持する。簡易デモザイク処理部１０６は、横二列分の画素データを受け取ると、それらを用いて、各画素に対してその周辺画素に基づき色情報を補完してフルカラー画像を作り出すデモザイク（de-mosaic）処理を実行する。

当業者には周知のように、このデモザイク処理には多数の手法が存在するが、ここでは横二列分の画素のみを利用する簡易なデモザイク処理で十分である。一例として、対応するＹＣｂＣｒ値を算出すべき画素がＧ値のみを有している場合は、Ｒ値は左右に隣接するＲ値を平均、Ｇ値は当該Ｇ値をそのまま使用、Ｂ値は上または下に位置するＢ値を使用してＲＧＢ値とし、これを所定の変換式に代入してＹＣｂＣｒ値を算出するなどである。このようなデモザイク処理は周知であるからこれ以上詳細な説明は省略する。なおデモザイク部１０４および以後の処理で生成される画像データの色空間はＹＣｂＣｒに限定されるものではない。

簡易なデモザイク処理で十分な理由は、高品質の画像が必要な場合はＲＡＷ画像を用いることができるためである。簡易なデモザイク処理の変形例として、ＲＧＢの４画素から一画素のＹＣｂＣｒ値を構成する手法を用いてもよい。この場合は、ＲＡＷ画像の１／４サイズのデモザイク後画像が得られるので、後述するピラミッドフィルタ部１３５の第１フィルタ１３７は不要になる。

簡易デモザイク処理部１０６は、例えば図示のように、横２×縦２のＲＧＢの４画素を、４画素分のＹＣｂＣｒカラー信号に変換し、画像送出部３２およびサイズ調整部１０８に送信する。この処理を、入力されたＲＡＷ画像全体に対して繰り返すことにより、デモザイク部１０４は、１つのＲＡＷ画像に対し、横方向にｎＷ画素、縦方向にｎＨ画素の幅を有するデモザイク後画像を生成することになる。この画像は、基準とする横方向Ｗ画素、縦方向Ｈ画素の画像を、縦横双方向にｎ倍したサイズを有するため、以後、ｎ^２／１デモザイク後画像と呼ぶ。

サイズ調整部１０８は、画像取得部１０２が取得したＲＡＷ画像、および、デモザイク部１０４が生成したｎ^２／１デモザイク後画像を、横方向、縦方向にそれぞれ１／ｎ倍に縮小し、基準の画像サイズにする。そのためサイズ調整部１０８は、画素ｎＷ個分の容量を有するＦＩＦＯバッファ１１２、１１４、および、縮小処理部１１０を有する。ＦＩＦＯバッファ１１２は、ＲＡＷ画像の横一列分の画素データをそれぞれ保持する１つまたは複数のＦＩＦＯバッファからなる。これらのＦＩＦＯバッファは、一度の縮小処理に必要な所定数の行のうち最後の行の画素データが画像取得部１０２から入力されるまで、それ以外の行の画素データを保持する役割を有する。

縮小処理部１１０は、所定数の行分のＲＡＷ画像の画素データが画像取得部１０２から入力された時点で、それを用いて縮小処理を行う。縮小処理にはバイリニア補間など一般的な手法を用いることができる。ＦＩＦＯバッファ１１２を構成するＦＩＦＯバッファの数は、適用する縮小処理の手法に応じて決定する。例えば横ｎ×縦ｎ画素のブロックごとの画素値の平均値を１つの画素値とする場合、縮小画像を１行生成するためには、ｎ行分の画素データが必要となるため、ＦＩＦＯバッファの数はｎ−１となる。図３の例ではＦＩＦＯバッファを２つ以上記載しているが、１／２倍に縮小する場合は１つでよい。

ＦＩＦＯバッファ１１４も同様に、Ｙ、Ｃｂ、Ｃｒのそれぞれの信号に対応して、ｎ^２／１デモザイク後画像の横一列分の画素データをそれぞれ保持する１つまたは複数のＦＩＦＯバッファで構成する。縮小処理部１１０は、所定数の行分のｎ^２／１デモザイク後画像の画素データがデモザイク部１０４から入力された時点で、それを用いて上述と同様に縮小処理を行う。縮小処理の結果として、縮小処理部１１０は、横方向にＷ画素、縦方向にＨ画素の幅を有する縮小ＲＡＷ画像および縮小後のＹ、Ｃｂ、Ｃｒ画像の画素データを１行ごとに出力する。

サイズ調整部１０８はそれらのデータを順次、画像送出部３２に送信するとともに、Ｙ、Ｃｂ、Ｃｒ画像のデータについてはピラミッドフィルタ部１３５にも送信する。このときのＹ、Ｃｂ、Ｃｒ画像は基準のサイズを有するため、以後、１／１デモザイク後画像と呼ぶ。なおカメラの解像度によってｎ＝１となる場合は、サイズ調整部１０８による縮小処理を省略してよい。ピラミッドフィルタ部１３５は、画像を段階的に縮小して出力する機能を有する。これにより生成された複数の解像度のＹ、Ｃｂ、Ｃｒ画像の画素データは、１行ごとに画像送出部３２に送信される。

図４はピラミッドフィルタ部１３５の詳細を示している。ピラミッドフィルタ部１３５は基本的に、必要とする解像度のレベルに応じた数の１／４縮小フィルタを備える。同図では第１フィルタ１３７、第２フィルタ１４１、第３フィルタ１４５の３階層のフィルタを有している。各フィルタは、相互に隣接する４個の画素をバイリニア補間して４画素の平均画素値を演算する処理を実行する。したがって、処理後の画像サイズは処理前の画像の１／４になる。なお本実施の形態は、３階層以外のフィルタ数であっても同様に実現できることは当業者には容易に理解されるところである。

第１フィルタ１３７の前段には、Ｙ、Ｃｂ、Ｃｒのそれぞれの信号に対応して、画素Ｗ個分のＦＩＦＯバッファ１３９が一つずつ配置される。これらのＦＩＦＯバッファ１３９は、横一列分のＹＣｂＣｒの画素データを、次の横一列分の画素データがサイズ調整部１０８から入力されるまで保持する役割を有する。横二列分の画素データが入力されると、第１フィルタ１３７は、横２×縦２の４画素分のＹ、Ｃｂ、Ｃｒの画素値を平均する。この処理を繰り返すことによって、１／１デモザイク後画像は縦横それぞれ１／２の長さとなり、全体として１／４のサイズに変換される。変換された１／４デモザイク後画像は、画像送出部３２に送られるとともに、次段の第２フィルタ１４１に渡される。

第２フィルタ１４１の前段階には、Ｙ、Ｃｂ，Ｃｒのそれぞれの信号に対応して、画素Ｗ／２個分のＦＩＦＯバッファ１４３が一つずつ配置される。これらのＦＩＦＯバッファ１４３も、横一列分のＹＣｂＣｒの画素データを、次の横一列分の画素データが第１フィルタ１３７から入力されるまで保持する役割を有する。横二列分の画素データが入力されると、第２フィルタ１４１は、横２×縦２の４画素分のＹ、Ｃｂ、Ｃｒの画素値を平均する。この処理を繰り返すことによって、１／４デモザイク後画像は縦横それぞれ１／２の長さとなり、全体として１／１６のサイズに変換される。変換された１／１６デモザイク後画像は、画像送出部３２に送られるとともに、次段の第３フィルタ１４５に渡される。

第３フィルタ１４５についても、前段にＷ／４個分のＦＩＦＯバッファ１４７が配置される以外は、上記と同様の処理を繰り返す。そして画像送出部３２に、１／６４サイズのデモザイク後画像を出力する。このように、ピラミッドフィルタ部１３５の各フィルタからは、１／４ずつ縮小された画像データが画像送出部３２に入力される。なお、上記のようなピラミッドフィルタは、特許文献１にも記載されているように周知であるから、本明細書ではこれ以上の詳細な説明を省略する。

なお図示した例では、カメラ２２は複数種類の画像として、撮像素子の構成を反映する最高解像度のＲＡＷ画像、それを基準の解像度に縮小した縮小ＲＡＷ画像、および、それ以下の複数の解像度のデモザイク後画像を生成している。一方、カメラ２２では最高解像度のＲＡＷ画像をデモザイク処理せずに複数の解像度に縮小してホスト端末２０に送信し、ホスト端末２０で各解像度のＲＡＷ画像をデモザイク処理してもよい。この場合、撮像装置１２においてデモザイク部１０４を省略できるが、それ以外の構成は同様でよい。

図５は画像送出部３２の構成を詳細に示している。画像送出部３２は、カメラ２２から送られたＲＡＷ画像またはｎ^２／１デモザイク後画像のデータをフレーム単位で保持するフレームメモリ１５０と、縮小ＲＡＷ画像または１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像、１／６４デモザイク後画像をそれぞれ行単位で保持するＦＩＦＯバッファ１７０、１７２、１７４、１７６を含む。なお図３、図４においてはＹ、Ｃｂ、Ｃｒのデータ信号を個別に表現し、各信号に対して入力線の矢印を示したが、以後はそれらの要素を１セットとして１つの矢印で表す。

画像送出部３２はさらに、ホスト端末２０から要求された画像データに係る情報を通信部３４を介して取得する制御部１８２、要求された画像データを抽出するデータ抽出部１８４、および、送信データを形成するデータ形成部１８６を有する。フレームメモリ１５０は、カメラ２２の画像取得部１０２から送られたＲＡＷ画像、またはデモザイク部１０４から送られたｎ^２／１デモザイク後画像のデータをフレーム単位で保持する。

ＦＩＦＯバッファ１７０は、カメラ２２のサイズ調整部１０８から送られた、縮小ＲＡＷ画像または１／１デモザイク後画像の横一列分の画素値を保持する。ＦＩＦＯバッファ１７２、１７４、１７６はそれぞれ、カメラ２２の第１フィルタ１３７、第２フィルタ１４１、第３フィルタ１４５から送られた、１／４デモザイク後画像、１／１６デモザイク後画像、１／６４デモザイク後画像の横一列分の画素値を保持する。

したがってＦＩＦＯバッファ１７０、１７２、１７４、１７６はそれぞれ、Ｗ、Ｗ／２、Ｗ／４、Ｗ／８個分の画素値を保持するバッファである。なおＦＩＦＯバッファの数は、カメラ２２のピラミッドフィルタ部１３５におけるフィルタ数に応じて決定する。制御部１８２は、ホスト端末２０からの要求信号に基づき、送出すべき画像データに係る情報をデータ抽出部１８４に通知する。制御部１８２はさらに、ホスト端末２０から撮影の開始や終了を要求する信号、撮影条件を指定する信号などを受信し、カメラ２２の画像取得部１０２などに適宜その情報を提供することにより撮影処理を制御するが、一般的な技術を適用できるためここでは詳細な説明を省略する。

データ抽出部１８４は、ホスト端末２０が要求する画像データに係る情報を制御部１８２から取得すると、ＦＩＦＯバッファ１７０、１７２、１７４、１７６およびフレームメモリ１５０に格納された各画像データのうち要求されたデータを抽出する。上述のとおりカメラ２２からは、ＲＡＷ画像、ｎ^２／１デモザイク後画像、縮小ＲＡＷ画像、１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像、１／６４デモザイク後画像が、生成された順に画像送出部３２に入力される。

このとき画像サイズが小さくなるほどカメラ２２における生成頻度、ひいては画像送出部３２への入力頻度が低くなる。データ抽出部１８４は、そのように様々な頻度で入力される画像データのうち要求されたデータが、より低い遅延で滞りなく出力されるように、各画像の入力タイミングや頻度に係る特性を考慮して出力タイミングを決定する。具体的には、ＦＩＦＯバッファ１７０に格納された縮小ＲＡＷ画像または１／１デモザイク後画像１行分が生成される周期を基準周期とし、要求された複数種類の画像データを当該周期で循環して出力する。詳細は後述する。

本実施の形態において撮像装置１２が行う処理は、画像の左上を起点とし、左から右への処理を画像の下方向へ繰り返すラスタ順である。そのような処理の結果を低遅延に出力するため、カメラ２２から画像送出部３２への入力、および撮像装置１２からホスト端末２０への送信は、行を構成する画素列を順につなげたストリーム形式とする。したがってデータ抽出部１８４が出力するデータも、カメラ２２が取得、生成した各種画像のデータが混在する一連の画素値のストリームである。

なお図５では、カメラ２２の画像取得部１０２から入力可能なＲＡＷ画像、および、デモザイク部１０４から入力可能なｎ^２／１デモザイク後画像のいずれか一方を送信対象とすることを想定している。さらにカメラ２２のサイズ調整部１０８から入力可能な、縮小ＲＡＷ画像および１／１デモザイク後画像のいずれか一方を送信対象とすることを想定している。そのためそれらの入力線は１つのみ示している。これは多くの場合、ＲＡＷ画像またはｎ^２／１デモザイク後画像のいずれか一方、縮小ＲＡＷ画像または１／１デモザイク後画像のいずれか一方があれば表示や情報処理には十分であると考えられるためである。

どちらを選択するかは、ホスト端末２０からの要求に応じて切り替えてもよいし、固定としてもよい。前者の場合、カメラの出力側、あるいは画像送出部３２の入力側にマルチプレクサ等の回路を設け、ホスト端末２０からの要求に応じて制御部１８２が切り替え制御を行ってもよい。あるいは全てのデータをフレームメモリやＦＩＦＯバッファで保持できるようにしておき、データ抽出部１８４によって必要なデータのみを抽出するようにしてもよい。以後の説明では主に、フレームメモリ１５０にｎ^２／１デモザイク後画像を、ＦＩＦＯバッファ１７０に１／１デモザイク後画像を格納するとする。

データ抽出部１８４は、複数種類の画像データが混在する画素列のデータストリームを、生成順にデータ形成部１８６に供給する。データ形成部１８６は、データ抽出部１８４から供給されたストリームを、ホスト端末２０との通信プロトコルに応じたフォーマットに変換することにより送出可能なデータ形式とする。通信部３４はそのように形成されたデータをホスト端末２０へ送信する。例えばデータ形成部１８６は、ストリームをＵＳＢのエンドポイントのサイズごとにパケット化し、内部のパケットバッファ（図示せず）に書き込む。そして通信部３４が、当該パケットバッファ内のパケットをホスト端末２０に順次、転送する。

図６は撮像装置１２およびホスト端末２０におけるデータの形態の基本的な変遷を模式的に示している。ここでは最も単純な例として、横方向にＷ画素、縦方向にＨ画素の幅を有するフレーム画像２００全体のデータを、撮像装置１２からホスト端末２０に送信する場合を考える。上述のように本実施の形態では画像データの生成、抽出、送信を画素のラスタ順に行い、行単位の画素データを順次つなげてストリームの形式で処理する。

このような状況においてデータ抽出部１８４が出力するデータが、ストリーム２０２に対応する。同図においてストリーム２０２の横軸は時間経過を表しており、ストリーム２０２を構成する各矩形Ｌ１、Ｌ２、・・・、ＬＨはそれぞれ、元のフレーム画像２００の１行目、２行目、・・・、Ｈ行目の画素のデータを表す。１画素のデータサイズをｄバイトとすると各矩形のデータサイズはＷ×ｄバイトである。

データ形成部１８６は例えば、ストリーム２０２を所定サイズごとにパケットにまとめ、パケットＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、・・・を生成する。これにより撮像装置１２からホスト端末２０へ、パケットＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、・・・の順に送信される。ホスト端末２０はパケットＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、・・・を通信部４４を介して受信すると、それぞれのデータを、情報処理部３８の制御のもとメインメモリ４２に格納する。

このとき、本来のフレーム画像２００の横方向の画素数Ｗを横幅とするように、各パケットのデータをラスタ順に並べていき、Ｗ×ｄ×Ｈバイトの連続したアドレスにデータを展開することにより、フレーム画像２００を復元した画像２０４を生成する。同図において画像２０４を構成する矩形は各パケットのデータを示している。パケットのデータサイズによっては、１つのパケットに含まれる画素データが画像２０４の行の末尾と次の行の先頭に渡る場合がある。画像処理部４０は情報処理部３８の制御のもと、メインメモリ４２に展開された画像２０４に加工を施したり別の画像と合成したりして、表示装置１６に表示すべき画像を生成する。

図７はサイズ調整部１０８が行う画像の縮小処理前後の画素の関係を模式的に示している。まず画像３１０はＲＡＷ画像またはｎ^２／１デモザイク後画像であり、横方向にｎＷ画素、縦方向にｎＨ画素のサイズを有する。画像３１０内部に示した最小単位の矩形が各画素であり、画像左上の横ｎ×縦ｎ個の画素に１からｎまでの行番号、列番号をそれぞれ示している。このような画像の画素データが、ＲＡＷ画像の場合は画像取得部１０２から、デモザイク後画像の場合はデモザイク部１０４から、１行ごとにサイズ調整部１０８に入力される。

サイズ調整部１０８は、縮小処理に必要な所定数の行の画素データが全て入力し終わるまで、先に入力された行の画素データをＦＩＦＯバッファ１１２、１１４に保持しておく。画像３１０の横ｎ×縦ｎ画素のブロックを用いて縮小後の１つの画素を生成するとすると、ｎ行目のデータが入力された時点で、サイズ調整部１０８はＦＩＦＯバッファに格納しておいた１行目からｎ−１行目までの画素データを読み出し、ブロックごとに画素値を平均するなどして１つの画素値を算出する。図７の画像３１０において太線で囲まれた矩形が、縮小ＲＡＷ画像または１／１デモザイク後画像の１画素に対応する。これを行の末尾まで繰り返すことにより、横幅がＷ画素の縮小ＲＡＷ画像または１／１デモザイク後画像の１行分の画素データが生成される。

さらにこの処理を画像３１０の縦方向に繰り返すことにより、縦横双方向に１／ｎ倍に縮小した縮小ＲＡＷ画像または１／１デモザイク後画像全体を生成できる。サイズ調整部１０８は画素データを１行生成するごとに、順次、画像送出部３２およびピラミッドフィルタ部１３５に入力する。以後、このようにして生成される１／１デモザイク後画像を、１行目から順にＬ_{（１／１）}１、Ｌ_{（１／１）}２、Ｌ_{（１／１）}３、・・・と表記する。なお上述の通り１／１デモザイク後画像は、後の処理において同サイズの縮小ＲＡＷ画像に置き換えることができる。

図８は、１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像の画素データが、サイズ調整部１０８およびピラミッドフィルタ部１３５の各フィルタから画像送出部３２へ入力されるタイミングを示すタイムチャートである。なお同図は縮小画像として１／１６デモザイク後画像までを示しているが、１／６４以下のデモザイク後画像を加えても原理は同様である。同図において時間ステップＳ１、Ｓ２、Ｓ３、Ｓ４、・・・はそれぞれ、１／１デモザイク後画像の１行目、２行目、３行目、４行目、・・・の画素データが画像送出部３２へ入力される期間を表す。

本実施の形態では上述のとおり、１／１デモザイク後画像の１行分の画素データが入力される期間を基準の時間ステップとし、各時間ステップにおいて、要求された複数の画像データを循環して接続し、出力する。なお図７で説明したように、サイズ調整部１０８は、ｎ−１行分のｎ^２／１デモザイク後画像の画素データがＦＩＦＯバッファに格納され、さらにｎ行目のｎ^２／１デモザイク後画像が入力されると同時に、行の先頭から１／１デモザイク後画像の画素データを生成していく。

したがって画像送出部３２には、１／１デモザイク後画像の各行の画素データが入力される各時間ステップにおいて、太線矢印で示した期間に、少なくともｎ−１行分のｎ^２／１デモザイク後画像の画素データが入力されるが、図８ではその期間の時間軸を短縮して示している。いずれにしろ各時間ステップＳ１、Ｓ２、Ｓ３、Ｓ４、・・・は、ｎ^２／１デモザイク後画像の画素データがｎ行分、入力される期間にも対応している。入力データとしてＲＡＷ画像を選択した場合も同様である。

図の上段、中段、下段はそれぞれ、１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像の入力タイミングを示しており、１つの矩形が１画素分の入力に対応する。まず時間ステップＳ１において、１／１デモザイク後画像の１行目の画素列Ｌ_{（１／１）}１の画素データが、行の先頭の画素から順に入力される。この時間ステップでは、１／４デモザイク後画像、１／１６デモザイク後画像は生成されていないため入力されない。

次の時間ステップＳ２では、１／１デモザイク後画像の２行目の画素列Ｌ_{（１／１）}２の画素データが、行の先頭の画素から順に入力される。このときピラミッドフィルタ部１３５では、１／１デモザイク後画像の１行目の画素列Ｌ_{（１／１）}１および２行目の画素列Ｌ_{（１／１）}２の画素データを用いて１／４デモザイク後画像の１行目の画素列Ｌ_{（１／４）}１が生成されるため、時間ステップＳ２では当該画素列の画素データも入力される。

例えば１／４デモザイク後画像の１行目の画素列Ｌ_{（１／４）}１の左端の期間２１０で入力される画素値は、１／１デモザイク後画像の１行目の画素列Ｌ_{（１／１）}１のうち、期間２０６で入力される２つの画素の画素値、および２行目の画素列Ｌ_{（１／１）}２のうち、期間２０８で入力される２つの画素の画素値を用いて生成される。このため時間ステップＳ２において、画素列Ｌ_{（１／４）}１の画素値の入力タイミングは、画素列Ｌ_{（１／１）}２の対応する画素の画素値の入力タイミングより少なくとも２画素分遅延する。

次の時間ステップＳ３では、１／１デモザイク後画像の３行目の画素列Ｌ_{（１／１）}３の画素データが入力される。この時間ステップでは、１／４デモザイク後画像の２行目の画素データが生成されず、１／１６デモザイク後画像は生成されていないため、そのいずれも入力されない。次の時間ステップＳ４、すなわち１／１デモザイク後画像の４行目の画素列Ｌ_{（１／１）}４の画素値が入力される期間では、時間ステップＳ２と同様、１／４デモザイク後画像の２行目の画素列Ｌ_{（１／４）}２の画素データも入力される。

さらにピラミッドフィルタ部１３５では、１／４デモザイク後画像の１行目の画素列Ｌ_{（１／４）}１および２行目の画素列Ｌ_{（１／４）}２の画素データを用いて１／１６デモザイク後画像の１行目の画素列Ｌ_{（１／１６）}１が生成されるため、時間ステップＳ４では当該画素列の画素データも入力される。例えば１／１６デモザイク後画像の１行目の画素列Ｌ_{（１／１６）}１のうち、最初の入力期間２１８で入力される画素値は、１／４デモザイク後画像の１行目の画素列Ｌ_{（１／４）}１のうち、期間２１０および期間２１２で入力される２つの画素の画素値、および２行目の画素列Ｌ_{（１／４）}２のうち、期間２１４および期間２１６で入力される２つの画素の画素値を用いて生成される。

このため時間ステップＳ４において、画素列Ｌ_{（１／１６）}１の入力タイミングは、画素列Ｌ_{（１／４）}２の対応する画素の画素値の入力タイミングより少なくとも２画素分遅延する。以後、同様に各画像の画素データの入力を繰り返すことにより、１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像の全画素データが画像送出部３２へ入力される。

このように各画像の画素データは、カメラ２２の各ブロックおよび各フィルタから個別のストリームとしてラスタ順に入力される。データ抽出部１８４は、これらのうちホスト端末２０から要求された画像およびそのうちの要求された領域のデータのみをつなげて１つのストリームとなるようにしてデータ形成部１８６へ出力する。このときデータの種類に関わりなく、入力された時間順で該当領域の画素のデータをつなげると、合成処理自体は容易であるが、後にホスト端末２０が画像データを分類する際、画素ごとにデータを抽出する必要が生じ、処理が煩雑化する。

そこで各時間ステップ内で入力されたデータを、画像の種類ごとにまとめたうえでつなげることも考えられる。この場合、例えば時間ステップＳ１やＳ３では、ｎ^２／１デモザイク後画像および１／１デモザイク後画像の画素データのみが入力されるのに対し、時間ステップＳ４ではさらに１／４デモザイク後画像、１／１６デモザイク後画像の画素データが入力されるため、時間ステップによって出力すべきデータのサイズが変動する。さらにホスト端末２０から要求されたデータにｎ^２／１デモザイク後画像が含まれているか否かやその範囲などによっても、時間ステップごとに出力すべきデータサイズが大きく変化する。

そこで本実施の形態では、１／４デモザイク後画像や１／１６デモザイク後画像のようにデータが入力されない時間ステップがある画像については、その時間ステップを利用して、直前に入力された画素データの一部を出力するようにする。さらに各時間ステップにおいて、ＦＩＦＯバッファに格納されたデータの一部のみを出力することにより生じた余剰時間を利用して、フレームメモリ１５０に格納されたｎ^２／１デモザイク後画像を、その時間ステップに入力されたか否かに関わりなく出力していく。これらの工夫により、各時間ステップで出力されるデータのサイズをおよそ均等化する。

まず理解を容易にするため、ＦＩＦＯバッファに格納された画像のみを出力対象とした場合について説明する。図９は、データ抽出部１８４がＦＩＦＯバッファに格納されたデータをつなげて出力する規則を説明するための図である。同図は最も基本的な例として、１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像の全体領域を出力する場合を示している。図中、Ｓ０、Ｓ１、Ｓ２、Ｓ３、・・・は、図８で説明した時間ステップであり、それぞれの期間に、１／１デモザイク後画像の１行分の画素データがＦＩＦＯバッファ１７０に入力される。

同図では各時間ステップにおいてデータ抽出部１８４から出力される画素列を、画像の種類ごとに異なる網掛け矩形で示している。図８を参照して説明したように、時間ステップＳ１では１／１デモザイク後画像の１行目の画素列Ｌ_{（１／１）}１の画素データのみがＦＩＦＯバッファ１７０に格納される。データ抽出部１８４はそれを読み出して出力する。なお上述のとおり１／１デモザイク後画像の各行は、同図に示すようにＷ画素で構成される。

次の時間ステップＳ２では、１／１デモザイク後画像の２行目の画素列Ｌ_{（１／１）}２の画素データ、および１／４デモザイク後画像の１行目の画素列Ｌ_{（１／４）}１の画素データが図８に示すようなタイミングでＦＩＦＯバッファ１７０、１７２に並列に格納される。データ抽出部１８４はまず、１／１デモザイク後画像の２行目の画素列Ｌ_{（１／１）}２の画素データをＦＩＦＯバッファ１７０から読み出し、出力する。

１／１デモザイク後画像の２行目の画素列Ｌ_{（１／１）}２の画素値を全て出力したら、データ抽出部１８４は続けて、１／４デモザイク後画像の１行目の画素列Ｌ_{（１／４）}１をＦＩＦＯバッファ１７２から読み出し、出力する。このとき次の時間ステップＳ３で出力する分を考慮し、１／４デモザイク後画像の１行目の画素列Ｌ_{（１／４）}１の全画素のうち前半部分（画像平面における左半分）の画素データのみ出力し、残りはＦＩＦＯバッファ１７２に引き続き保存しておく。

次の時間ステップＳ３では、１／１デモザイク後画像の３行目の画素列Ｌ_{（１／１）}３の画素データのみがＦＩＦＯバッファ１７０に入力されるため、データ抽出部１８４はまず、それを読み出して出力する。続いてデータ抽出部１８４は、１／４デモザイク後画像の１行目の画素列Ｌ_{（１／４）}１のうち未出力であった後半部分（画像平面における右半分）の画素データをＦＩＦＯバッファ１７２から読み出し、出力する。

次の時間ステップＳ４では、１／１デモザイク後画像の４行目の画素列Ｌ_{（１／１）}４の画素データおよび１／４デモザイク後画像の２行目の画素列Ｌ_{（１／４）}２、１／１６デモザイク後画像の１行目の画素列Ｌ_{（１／１６）}１の画素データが図８に示すようなタイミングで、ＦＩＦＯバッファ１７０、１７２、１７４に並列に入力される。データ抽出部１８４はまず、１／１デモザイク後画像の４行目の画素列Ｌ_{（１／１）}４の画素データをＦＩＦＯバッファ１７０から読み出し、出力する。

１／１デモザイク後画像の４行目の画素列Ｌ_{（１／１）}４の画素データを全て出力したら、データ抽出部１８４は続けて、１／４デモザイク後画像の２行目の画素列Ｌ_{（１／４）}２の前半部分をＦＩＦＯバッファ１７２から読み出し、出力する。次に１／１６デモザイク後画像の１行目の画素列Ｌ_{（１／１６）}１をＦＩＦＯバッファ１７４から読み出し、出力する。このとき次以降の３つの時間ステップＳ５、Ｓ６、Ｓ７で出力する分を考慮し、１／１６デモザイク後画像の１行目の画素列Ｌ_{（１／１６）}１を４分の１分割し、その最初の部分の画素データのみ出力する。残りはＦＩＦＯバッファ１７４に保存しておく。

次の時間ステップＳ５では、１／１デモザイク後画像の５行目の画素列Ｌ_{（１／１）}５の画素データのみがＦＩＦＯバッファ１７０に入力されるため、データ抽出部１８４はまず、それを読み出して出力する。続いてデータ抽出部１８４は、１／４デモザイク後画像の２行目の画素列Ｌ_{（１／４）}２のうち未出力であった後半部分の画素データをＦＩＦＯバッファ１７２から読み出し、出力する。さらに１／１６デモザイク後画像の１行目の画素列Ｌ_{（１／１６）}１の未出力のデータのうち４分の１分割した２番目の部分の画素データを出力する。

同様に、次の時間ステップＳ６では、１／１デモザイク後画像の６行目の画素列Ｌ_{（１／１）}６の画素データ、１／４デモザイク後画像の３行目の画素列Ｌ_{（１／４）}３の前半部分の画素データ、１／１６デモザイク後画像の１行目の画素列Ｌ_{（１／１６）}１の未出力のデータのうち４分の１分割した３番目の部分の画素データを出力する。次の時間ステップＳ７では、１／１デモザイク後画像の７行目の画素列Ｌ_{（１／１）}７の画素データ、１／４デモザイク後画像の３行目の画素列Ｌ_{（１／４）}３の後半部分の画素データ、１／１６デモザイク後画像の１行目の画素列Ｌ_{（１／１６）}１のうち４分の１分割した最後の部分の画素データを出力する。

すなわち１／４デモザイク後画像の１行目の画素列Ｌ_{（１／４）}１は、時間ステップＳ２およびＳ３の２つの時間ステップに半分ずつ出力される。また１／１６デモザイク後画像の１行目の画素列Ｌ_{（１／１６）}１は、時間ステップＳ４、Ｓ５、Ｓ６、Ｓ７の４つの時間ステップに４分の１ずつ出力される。１／１デモザイク後画像の横方向の画素数がＷであるとき、１／４デモザイク後画像および１／１６デモザイク後画像の１行分の画素数はそれぞれＷ／２、Ｗ／４であるため、同図に示すように、一時間ステップあたり（Ｗ／２）／２個、（Ｗ／４）／４個の画素のデータがそれぞれ出力される。

以上の出力処理を画像の最下段の行まで繰り返す。このとき１／１デモザイク後画像の最下段の行の画素データを出力した時点では、１／４デモザイク後画像の最下段の行の後半部分の画素データ、および１／１６デモザイク後画像の最下段の行の残り４分の３の画素データが未出力となっている。データ抽出部１８４は、未出力のデータを出力し終わるまで画素データの出力を続行する。具体的には、１／１デモザイク後画像の全行の出力を完了した直後の時間ステップＳ（Ｈ＋１）において、１／４デモザイク後画像の最下段の行の後半部分の画素データ、および１／１６デモザイク後画像の最下段の行を４分の１分割した２番目の部分の画素データを出力する。

このとき、それまで１／１デモザイク後画像のデータを出力していたＷ画素分のデータとして、まず無効データを出力する。それに続いて１／４デモザイク後画像、１／１６デモザイク後画像のデータを出力する。続く２つの時間ステップＳ（Ｈ＋２）、Ｓ（Ｈ＋３）では、それまで１／１デモザイク後画像および１／４デモザイク後画像のデータを出力していたＷ＋（Ｗ／２）／２画素分のデータとして、まず無効データを出力する。それに続いて１／１６デモザイク後画像の最下段の行を４分の１分割した３番目の部分、４番目の部分の画素データをそれぞれ出力する。

このように出力すると、はじめの３つの時間ステップと終わりの３つの時間ステップを除く全ての時間ステップで、Ｗ＋（Ｗ／２）／２＋（Ｗ／４）／４＝２１Ｗ／１６個の画素のデータが出力されることになる。また１行分の画素データを出力するのに、１／１デモザイク後画像は１時間ステップ、１／４デモザイク後画像は２時間ステップ、１／１６デモザイク後画像は４時間ステップを要するため、１フレーム分の画像データを出力するのに要する時間ステップ数は、Ｈ＝（Ｈ／２）×２＝（Ｈ／４）×４と、全て等しくなる。３種の画像の１フレーム分のデータを出力するのに要する総時間ステップ数はＨ＋３となる。

上述のようにデータ抽出部１８４が出力するデータは画素データの羅列であるが、各時間ステップに出力する画素データを、図示するように縦方向に並べた２次元データ３２２では、複数種類の画像のデータがそれぞれ矩形領域を構成することになる。各時間ステップにおいて当該２次元データ３２２が１行ずつ送信され、その後の処理は図６で示したフレーム画像２００と同等であることに鑑みると、データ抽出部１８４は実質的に２次元データ３２２のような画像を生成していることになる。以後、この仮想的な２次元データを「合成画像」と呼ぶ。合成画像３２２における各種画像のデータの局所性を利用すれば、ホスト端末２０において画像の種類ごとにデータを分離することが容易になる。

図９で説明したように、ＦＩＦＯバッファに格納された画素列を、画像の種類に応じた規則でつなげて可能な限り即時出力することにより、バッファの構成を最小限にできると同時に、撮影からデータ送信までのレイテンシを最小限に抑えることができる。ただし同図の例では、１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像の領域全体を合成画像に含めることを前提にしていた。

一方、本実施の形態では、ホスト端末２０から要求された領域のみを送信できるようにするとともに、そのようにしてできた合成画像内の空き領域に、ｎ^２／１デモザイク後画像のデータを組み込む。図１０はデータ抽出部１８４が、フレームメモリ１５０に格納したデータと、ＦＩＦＯバッファに格納したデータを混在させて合成画像を生成する様子を模式的に示している。なお以後の説明では図の煩雑化を避けるため、ｎ^２／１デモザイク後画像を４／１デモザイク後画像とし、当該画像と、１／１デモザイク後画像、１／４デモザイク後画像を出力対象とするが、本実施の形態をそれに限る趣旨ではない。

まず同図上段は撮影画像３４０を、基準である１／１デモザイク後画像のサイズで表している。カメラ２２からは、当該基準の４倍のサイズを有する４／１デモザイク後画像がフレームメモリ１５０に、基準サイズの１／１デモザイク後画像がＦＩＦＯバッファ１７０に、基準の１／４倍のサイズを有する１／４デモザイク後画像がＦＩＦＯバッファ１７２に、画素値が生成された順に入力される。

ここでホスト端末２０から、被写体である人の顔の領域３４２の４／１デモザイク後画像３４６、その周囲を含めた領域３４４の１／１デモザイク後画像３４８、撮影画像３４０全体の１／４デモザイク後画像３５０が要求されたとする。この場合、１／１デモザイク後画像のうち要求された領域３４４以外の領域については出力する必要がないため、入力データを破棄する。そのうえで、図９で示したのと同様に、各時間ステップにおいて１／１デモザイク後画像の領域３４４の１行分と１／４デモザイク後画像の１／２行分のデータをつなげて出力する。

その結果、各時間ステップには、必要なデータを出力する時間以外に余剰時間が生じる。そこで当該時間を利用して、４／１デモザイク後画像のデータを出力する。具体的には合成画像３５２において、１／１デモザイク後画像の領域を１／４デモザイク後画像の領域に接するように配置したうえ、その左側と下側を、４／１デモザイク後画像３４６の領域とする。出力されるストリームとして捉えると、出力すべき１／１デモザイク後画像のデータが存在する時間ステップでは、４／１デモザイク後画像３４６のデータ、１／１デモザイク後画像３４８のデータ、１／４デモザイク後画像３５０のデータ、をこの順で循環してつなげ出力する。出力すべき１／１デモザイク後画像が存在しない時間ステップでは、４／１デモザイク後画像３４６のデータと１／４デモザイク後画像３５０のデータをつなげて出力する。

つまり１／１デモザイク後画像および１／４デモザイク後画像は原則として、生成された時間ステップまたは直後の時間ステップでほぼ同時期に、各行のデータが出力されるのに対し、４／１デモザイク後画像のデータ出力にはそのような拘束条件を設けない。これによりカメラの撮影周期を無駄なく利用してデータを出力できるとともに、各時間ステップにおける出力データサイズを最適化できる。

なお撮影画像のうち、４／１デモザイク後画像として要求されている領域３４２より上の行のデータが生成されている段階では、領域３４２の４／１デモザイク後画像３４６のデータは未生成であるため、出力すべきデータがない。したがって同図の合成画像３５２において、当該期間ａに対応する領域は黒塗りの無効領域としている。ところが連続した画像フレームで考えると、当該期間を、前の画像フレームの４／１デモザイク後画像のデータ出力に利用することができる。

つまり撮影画像のうち最終行の生成が完了し、次の画像フレームの生成が開始されても、４／１デモザイク後画像を所定期間、出力し続ける。この期間ｂを、データが未生成で４／１デモザイク後画像のデータを出力できない期間ａと等しくすることにより、連続したフレームが撮影されている全期間において、無駄なくデータを出力し続けることができる。

このとき一フレームあたりに送信できる４／１デモザイク後画像のデータサイズは、合成画像３５２において当該画像が占めるＬ字型の領域の面積に相当する。合成画像３５２のサイズは、カメラの撮影レートと、ホスト端末２０との通信において許容される伝送帯域幅に応じて決定する。その結果に基づき、合成画像における各画像の領域の面積を適宜分配することにより、ホスト端末２０が要求可能な、各画像の領域のサイズを決定する。

ここで表示装置１６を、撮像装置１２を装着したヘッドマウントディスプレイとし、それを装着したユーザがディスプレイを透かして実世界を見ているように撮影画像を即時表示する態様を考える。このような状況を違和感なく実現するためには、ユーザのいかなる動きに対しても、撮影画像をそれに追随するように表示させることが求められる。そのためには、画像の撮影およびその出力を可能な限り高フレームレート化することが望ましい。

しかしながら、例えば撮像装置１２や表示装置１６のフレームレートを２倍にできても、定性的には撮像装置１２から表示装置１６までの伝送帯域を２倍にできなければ、表示までに遅延やコマ落ちが生じることになる。これまで述べたように本実施の形態では、１つのフレームを表す複数種類の画像を合成画像３５２内で組み合わせて送信するため、当該組み合わせを変更したり、各種類の画像の送信態様を独立に調整したりすることができる。この特性を利用し、上述のように低遅延性を維持しながら、さらに伝送時の効率性を追求することにより、必要な伝送帯域を大きく拡張せずとも実際の視野の変化と同等に変化する画像を表示できるようにする。

具体的には、時間的な拘束条件の緩い最高解像度の画像データについては、撮像フレームレートで取得される全フレームのうち所定数Ｎ（Ｎは自然数）おきのフレームのみを伝送対象とする。そして他の種類の画像データが１行あるいはそれを分割してなる画素列ごとに、生成された順に出力されるのに対し、最高解像度の画像データはそれらのＮ＋１フレーム分で１フレーム分が出力されるように接続して出力する。これにより、最高解像度の画像データに割り当てるべき伝送帯域を小さくできる。

すなわち合成画像３５２で考えると、４／１デモザイク後画像のデータが占める領域の面積を１／Ｎにすることができ、撮影画像１フレーム当たりの合成画像３５２の面積、ひいては必要な総伝送帯域を抑えることができる。このとき最高解像度の画像の出力順として次の２通りが考えられる。
（１）要求された領域を左上からラスタ順に出力していく
（２）要求された領域をＮ行おきに出力するのを、行をずらしながらＮ＋１回繰り返す

上記（１）は、フレームレートが他の種類の画像の１／（Ｎ＋１）倍になるが、画像伝送や表示の同時性を優先する場合に有効である。（２）はＮ行おきではあるがフレームレートが他の種類の画像と同じになるため、低遅延性を優先する場合に有効である。両者はなすべき情報処理や表示すべき画像の内容に応じて使い分けてもよいし、状況に応じて途中で切り替えてもよい。このようにしても、少なくとも画像全体を表す１／４デモザイク後画像のデータは高フレームレートで送信され続けるため、上述のようなヘッドマウントディスプレイにおける表示形態では特に、視野変化に対する表示の即時性が損なわれない。

また視野のうち相手の顔など重要な箇所については、低遅延で伝送される１／１デモザイク後画像や、上記のように特有の形態で伝送される４／１デモザイク後画像で詳細度を保障できるため、顔認識や視覚追跡などの画像処理を高精度に行ったり、注視に耐えうる高品質な画像を表示させたりすることも可能となる。なお最高解像度の画像データのうち送信対象のフレームの抽出処理は、画像送出部３２のフレームメモリ１５０へのデータ格納時に、前段に設けたスイッチ等を制御することにより実施してもよいし、データ抽出部１８４が行ってもよい。

図１１は、４／１デモザイク後画像をＮ＝１フレームおきに出力する態様において、撮像装置１２から出力される複数フレーム分のデータの構成を模式的に示している。縦軸は時間経過を示し、各時間ステップで出力される画素列の構成を横方向に示している。時刻ｔ０、ｔ４、ｔ６、ｔ７、ｔ９はカメラの垂直同期のタイミングに対応し、その間に連続した画像フレームＦ０、Ｆ１、Ｆ２のデータが生成されるとする。

このような時間推移に対し、１／１デモザイク後画像のうち要求された領域のデータ、および１／４デモザイク後画像の全体領域のデータは、図１０で説明したのと同様に、生成されたのとほぼ同じタイミングで出力される。すなわち、画像フレームＦ０、Ｆ１、Ｆ２のデータが、それぞれ時刻ｔ０〜ｔ４、ｔ４〜ｔ７、ｔ７〜ｔ９の時間範囲内に、行ごと、あるいは１／２行ごとに出力される。一方、４／１デモザイク後画像については、例えば画像フレームＦ０およびＦ１に対応する期間に、画像フレームＦ０の要求された領域のデータを出力する。

すなわち太線枠で囲まれた領域６００に対応するタイミングおよび画素数で、画像フレームＦ０の要求された領域の画像６０２、あるいは画像６０４ａ、６０４ｂのデータを出力する。ここで画像６０２は上記（１）のとおり、領域６００にわたりラスタ順に出力されることを示している。画像６０４ａ、６０４ｂは上記（２）のとおり、領域６００の前半に奇数行（画像６０４ａ）、後半に偶数行（画像６０４ｂ）が出力されることを示している。後続の画像フレームＦ２およびＦ３（図示せず）に対応する期間には、画像フレームＦ２の要求された領域のデータを同様に出力する。

詳細にみると、撮影開始直後の画像フレームＦ０の場合、時刻ｔ０からｔ１の期間は出力すべき４／１デモザイク後画像、１／１デモザイク後画像が存在しないため、図１０で示した通り無効データと１／４デモザイク後画像を出力する。時刻ｔ１で、データ生成が１／１デモザイク後画像の要求された領域に到達したら、１／１モザイク後画像の出力を開始する。その直後にデータ生成が４／１デモザイク後画像の要求された領域に到達するため、４／１デモザイク後画像の出力も開始する。１／１デモザイク後画像の要求された領域のデータ出力が完了する時刻ｔ３までは、４／１デモザイク後画像、１／１デモザイク後画像、１／４デモザイク後画像を循環して出力する。

なお４／１デモザイク後画像の出力を開始できる時刻は、厳密には１／１デモザイク後画像の要求される領域との位置関係によるが、同図では時刻ｔ１とほぼ同じとしている。時刻ｔ３以後は、４／１デモザイク後画像と１／４デモザイク後画像とをつなげて出力する。時刻ｔ４で１／４デモザイク後画像の最終行の出力が完了した後も、４／１デモザイク後画像については出力を継続する。一方、時刻ｔ４で次の画像フレームＦ１のデータ生成が開始されるため、フレームＦ１の１／４デモザイク後画像の出力を開始する。結果として、画像フレームＦ０の４／１デモザイク後画像と、画像フレームＦ１の１／４デモザイク後画像のデータをつなげて出力することになる。

続いて、時刻ｔ５で、データ生成が画像フレームＦ１の１／１デモザイク後画像の要求された領域に到達したら、画像フレームＦ０の４／１デモザイク後画像、画像フレームＦ１の１／１デモザイク後画像、画像フレームＦ１の１／４デモザイク後画像を循環して出力する。１／１デモザイク後画像の要求された領域のデータ出力が時刻ｔ６で完了したら、再び画像フレームＦ０の４／１デモザイク後画像と、画像フレームＦ１の１／４デモザイク後画像のデータをつなげて出力する。

時刻ｔ７で次の画像フレームＦ２のデータ生成が開始されるため、画像フレームＦ０の４／１デモザイク後画像と、画像フレームＦ２の１／４デモザイク後画像のデータをつなげて出力する。時刻ｔ０からｔ１の時間に無効データが出力される画素数（合成画像における面積）と、時刻ｔ７からｔ８の時間に出力される４／１デモザイク後画像の画素数が等しければ、画像フレームＦ２に対する４／１デモザイク後画像の出力開始時刻、同図では１／１デモザイク後画像の出力開始時刻ｔ８とほぼ等しい時刻に、画像フレームＦ０の４／１デモザイク後画像のデータ出力が終了することになる。

したがって、時刻ｔ８以後は画像フレームＦ０の時刻ｔ１以後と同様の構成で各画像のデータを出力すればよい。このような処理を繰り返すことにより、各時刻で送信されるデータの総量を常に一定としつつ、最高解像度の画像のみ、継続して１フレームおきにデータを出力することができる。ここで４／１デモザイク後画像に許容される出力画素数は、同図の太線で囲まれた領域６００の面積によって定まる。

したがって、伝送帯域の許容値、画像全体のサイズ、１／１デモザイク後画像の要求される領域のサイズなどに応じて領域６００の面積を導出し、それに応じて４／１デモザイク後画像の要求する領域のサイズを決定すれば、伝送帯域を無駄なく使用して最大限のデータを送信できる。なお図示した例はＮ＝１フレームおきに４／１デモザイク後画像のデータを出力する場合であったが、Ｎの値はこれに限らない。定性的には、Ｎを増やすほど伝送帯域に対するフレームレートの割合を増加させることができる。

図１２は、撮像装置１２から送信された画像データに対するホスト端末２０における処理を説明するための図である。ホスト端末２０の情報処理部３８は、自らが要求した各画像の領域のサイズや位置に基づき、送信された合成画像のデータストリームを個別の画像に切り分け、メインメモリ４２の連続したアドレスに展開する。図１１で示したように、撮影画像１フレームに対応する１単位の合成画像６０５において、複数種類の画像のデータがそれぞれ個別の領域６０６、６０８、６１０に配置されている。

そのうち４／１デモザイク後画像のデータの領域６０６は、ホスト端末２０自身が要求した１／１デモザイク後画像の領域のサイズと、上下方向の位置によって定まっている。したがって領域６０６をそれらの情報に基づき特定し、当該領域内の画素値をラスタ順に読み出す。そして４／１デモザイク後画像について要求した、撮影画像上での領域の横方向の長さで画素列を分割し縦方向に並べることにより、４／１デモザイク後画像３６０を復元できる。

ただし上述のとおり、撮影画像の各フレームに対応する１単位の合成画像６０５に含まれる４／１デモザイク後画像のデータは、１フレーム分の一部、具体的には１／（Ｎ＋１）である。図示する例ではＮ＝１とし、４／１デモザイク後画像３６０のうち奇数行または偶数行のみが展開されている様子を示している。送信態様によっては４／１デモザイク後画像のうち上半分または下半分となる。１／１デモザイク後画像、１／４デモザイク後画像については、合成画像６０５のうち対応する領域６０８、６１０からラスタ順に画素を読み出し、本来のサイズに並べていくことにより、送信されたデータを画像３６２、３６４として復元できる。

なお合成画像６０５は実際にはストリームとして送信されるため、情報処理部３８はデータの到着順に、複数種類の画像のデータを並行して切り分けていく。あるいは情報処理部３８は、メインメモリ４２に合成画像６０５をそのまま展開し、画像処理等に使用する段階で区別するようにしてもよい。情報処理部３８および画像処理部４０は、分離した画像からさらに表示に用いる領域を切り出したり、表示装置１６の表示方式に従って画像に加工を施したりする。あるいはゲームの進捗に合わせて画像上に３Ｄオブジェクトを描画したり、顔認識、ジェスチャ認識などの画像解析を行い、それに対応する情報処理を行ったりしてもよい。このとき、４／１デモザイク後画像に対する処理を必要とする場合は、他の種類の画像より低いレートで行うことになる。

次に、同様の手法をホスト端末２０から表示装置１６への画像データの伝送に適用した場合について説明する。図１３は、この場合のホスト端末２０と表示装置１６の構成を詳細に示している。なおホスト端末２０のうち、図３で示したのと同様の機能を有するブロックには同じ符号を付している。

ホスト端末２０は、ユーザからの指示入力を取得する指示入力部３６、ホスト端末２０および表示装置１６を統括的に制御し、目的に応じた情報処理を行う情報処理部３８、表示に用いる画像を生成する画像処理部４０、送信用の画像データを生成する画像抽出部４００、撮像装置１２からの画像データを格納するメインメモリ４２、および、撮像装置１２および表示装置１６と画像データや必要な情報の送受信を行うインターフェースである通信部４４を含む。

指示入力部３６、情報処理部３８、画像処理部４０、メインメモリ４２、通信部４４はそれぞれ、図３で説明した機能を有する。ただし画像処理部４０が生成する画像は、撮像装置１２から送信された撮影画像を利用したものでもよいし、３Ｄグラフィックスなどにより新たに生成したものでもよい。撮像装置１２から撮影画像のデータを複数の解像度で取得する場合は、それらに何らかの処理を施すのみでもよい。撮像装置１２から単一の解像度の画像のみが送信される環境であったり、自らが３Ｄグラフィックスを描画したりする場合は、フレームごとに複数種類の画像を生成する。この処理は、カメラ２２が行う縮小処理と同様でもよい。

画像抽出部４００は、表示装置１６に表示すべき複数種類の画像で構成される合成画像のストリームを生成する。この合成画像は図１０を参照して説明したのと同様に、複数種類の画像データが個別の領域に配置された画像であり、行ごとに順次ストリームとして生成、出力される仮想的な画像である。また図１１を参照して説明したように、４／１デモザイク後画像など最高解像度の画像については、動画として表示すべきフレームのうち、所定数Ｎ（Ｎは自然数）おきのフレームのみを伝送対象とする。そしてＮ＋１フレーム分の合成画像にわたって１フレーム分のデータが含まれるようにする。

このときの最高解像度の画像の出力順も、上述の（１）または（２）のどちらか一方、あるいは両者を状況に応じて切り替える。通信部４４は、そのようにしてなる合成画像のストリームを表示装置１６に送信する。なおホスト端末２０における画像処理の内容によっては、出力準備が完了するタイミングが撮像装置１２と異なる場合があるため、それに応じて合成画像の構成を変化させてもよい。

表示装置１６は、ホスト端末２０から画像データや必要な情報の送受信を行うインターフェースである通信部４０２、ホスト端末２０から送信された画像データを画像の種類ごとに分離するデータ分離部４０４、分離した画像データの一部、あるいはその拡大画像のデータを行単位で保持するＦＩＦＯバッファ４０８、４１２、４１６、それぞれのＦＩＦＯバッファに格納されたデータを補間して拡大画像のデータを出力する拡大部４１０、４１４、４１８を含む。表示装置１６はさらに、データ分離部４０４が分離した画像データの一部をフレーム単位で保持するフレームメモリ４０６、各種類の画像を用いて表示画像を生成する表示画像生成部４２０、生成された表示画像を表示する表示部４２２、表示画像のうちユーザが注視している箇所を検出する視線検出部４２４を含む。

通信部４０２は、ホスト端末２０から送信された画像データをストリーム形式で受信する。また視線検出部４２４が検出した、ユーザが注視している箇所に係る情報をホスト端末２０に送信する。データ分離部４０４は、送信された画像データを構成する複数種類の画像を分離し、ＦＩＦＯバッファ４０８、４１２、およびフレームメモリ４０６のいずれかにそのデータを格納する。

以後、図１１で例示したように４／１デモザイク後画像、１／１デモザイク後画像、１／４デモザイク後画像、の３種類の画像が合成画像に含まれる場合を想定して説明するが、本実施の形態をそれに限る趣旨ではない。この場合、４／１デモザイク後画像をフレームメモリ４０６に、１／１デモザイク後画像をＦＩＦＯバッファ４０８に、１／４デモザイク後画像をＦＩＦＯバッファ４１２に格納する。そして１／１デモザイク後画像は４倍、１／４デモザイク後画像は１６倍に拡大することにより、それらに表れる像のサイズを４／１デモザイク後画像の像のサイズに合わせる。

ＦＩＦＯバッファ４０８、４１２はそれぞれ、１／１デモザイク後画像、１／４デモザイク後画像の横一列分の画素値をそれぞれ保持する複数（図では２つ）のラインバッファで構成される。つまり１／１デモザイク後画像の横一列の画素数をＷとしたとき、ＦＩＦＯバッファ４０８は１つのラインバッファにつきＷ個分、ＦＩＦＯバッファ４１２は１つのラインバッファにつきＷ／２個分の画素値を保持する。

拡大部４１０、４１４は、ＦＩＦＯバッファ４０８、４１２に格納されたデータを用いて画素を補間し縦横双方向に２倍ずつ拡大する。図１４は拡大部４１０、４１４による画像の拡大処理の一例を説明するための図である。拡大部４１０、４１４の右側はＦＩＦＯバッファ４０８、４１２に格納された画素列４２６の一部を示している。画像を２×２倍に拡大する場合、１つの画素当たり、横方向、縦方向、斜め方向に１つずつ画素を追加する必要がある。

横方向、縦方向に追加する画素の値は、各方向における隣接する２つ画素値を平均した値とする。斜め方向に追加する画素の値は、横方向、縦方向、斜め方向に隣接する４つの画素値の平均値とする。図１４において画素列４２６のうち「１」で示された画素を対象とした場合、図示するように、当該「１」の右に隣接する「２」の画素との間に、それらの画素値の平均値を画素値とする画素「Ａ」を追加する。また「１」の下に隣接する「３」の画素との間に、それらの画素値の平均値を画素値とする画素「Ｂ」を追加する。さらに「１」の右下に隣接する「４」の画素との間に、「２」、「３」、「４」の画素値の平均値を画素値とする画素「Ｃ」を追加する。

これを画素列４２６の各画素について繰り返すことにより、４倍に拡大された画像の画素列４２８が生成される。この手法では２行分の画素列からその間の１行分の画素列が生成されることから、ＦＩＦＯバッファ４０８、４１２はそれぞれ２つのラインバッファで構成する。ただし画像の拡大手法についてはその他の一般的な技術のいずれを採用してもよい。ＦＩＦＯバッファ４０８、４１２を構成するラインバッファの数は、採用する拡大手法に応じて決定する。

図１３に戻り、ＦＩＦＯバッファ４１６は、拡大部４１４が拡大した１／４デモザイク後画像の横一列分の画素値を保持する複数（図では２つ）のラインバッファで構成される。つまりＦＩＦＯバッファ４１６は１つのラインバッファにつきＷ個分の画素値を保持する。拡大部４１８は、ＦＩＦＯバッファ４１６に格納されたデータを用いて画素を補間し、縦方向、横方向に２倍ずつ拡大する。拡大部４１８による拡大手法は図１４を参照して上述したのと同様でよい。この場合、ＦＩＦＯバッファ４１６は２つのラインバッファで構成する。

表示画像生成部４２０は、フレームメモリ４０６に格納した４／１デモザイク後画像と、拡大部４１０から出力された、４倍に拡大された１／１デモザイク後画像、拡大部４１８から出力された、１６倍に拡大された１／４デモザイク後画像を合成して、一つの表示画像を生成する。各画像が表す領域の位置およびサイズに基づき元の画像を再構成するように合成することにより、画像中の領域によって詳細度の異なる表示画像を生成できる。

表示画像生成部４２０は表示画像の生成処理を行ごとに行い、表示部４２２に即時出力する。すなわち拡大部４１０、４１８から出力される行ごとのデータを取得すると、即時にその行の生成処理を行い表示部４２２における走査と同期するように出力する。これにより、通信部４０２による画像データの取得から、表示部４２２における表示までを低遅延に行える。

ここで上述の（１）のように、表示画像のＮ＋１フレームに対し４／１デモザイク後画像の１フレーム分のデータをラスタ順に取得する場合、表示画像生成部４２０は、４／１デモザイク後画像を用いて表すべき領域を、表示画像のＮフレームおきに更新する。例えばＮ＝１とした場合、表示画像のフレームＦ０、Ｆ１、Ｆ２、Ｆ３、・・・のうち、Ｆ１、Ｆ３、・・・を生成する際に、フレームＦ０、Ｆ２、・・・の対応する行のデータをフレームメモリ４０６から読み出し、対応する領域に合成する。

一方、上述の（２）のように、表示画像の各フレームに対し、４／１デモザイク後画像のデータをＮ行おきに取得する場合、表示画像生成部４２０は、４／１デモザイク後画像を用いて表すべき領域のうち対象行を、表示画像の毎フレームで更新する。例えばＮ＝１とした場合、表示画像のフレームＦ０、Ｆ１、Ｆ２、Ｆ３、・・・を生成する際に、フレームＦ０の奇数行、フレームＦ０の偶数行、フレームＦ２の奇数行、フレームＦ２の偶数行、・・・をフレームメモリ４０６から読み出し、対応する領域に合成する。（１）と（２）のいずれの態様とするかは、受信したストリームの構造から判断してもよいし、そのいずれかを指定する識別情報を、ホスト端末２０がストリームに含めてもよい。

視線検出部４２４は、そのようにして表示された画像のうち、ユーザがどの箇所を注視しているかを検出する。検出結果は通信部４０２を介してホスト端末２０に通知する。これにより、ホスト端末２０は、ユーザが注視している箇所を中心に最も解像度を高くすべき領域を決定し、さらにその周囲を２番目に解像度を高くすべき領域として決定できる。例えば前者の領域は４／１デモザイク後画像、後者の領域は１／１デモザイク後画像、全体領域として１／４デモザイク後画像を撮像装置１２に要求すれば、それらを用いて、ユーザが注視している箇所に近いほど詳細度の高い画像を表示できる。

ただし詳細度を高くする領域をこれに限る趣旨ではなく、被写体であるユーザの顔など、画像中で重要な領域を別の手段で特定してもよい。この場合、視線検出部４２４の機能を省略し、ホスト端末２０が画像解析により当該領域を特定してもよい。また上述のように、ホスト端末２０自身が複数解像度の画像データを生成してもよい。なおホスト端末２０は、ネットワーク１８を介して別の情報処理システムのホスト端末に同様のデータを送信してもよい。

図１５は表示装置１６において、ホスト端末２０から送信された画像データを用いて表示画像を生成する様子を模式的に示している。まず同図上段はホスト端末２０が生成する合成画像４３０である。当該合成画像４３０は基本的には撮像装置１２が生成する合成画像と同様の構成を有し、４／１デモザイク後画像の領域４３２、１／１デモザイク後画像の領域４３４、１／４デモザイク後画像の領域４３６が個別に配置されている。

当該合成画像４３０は、ホスト端末２０から表示装置１６へラスタ順に送信される。データ分離部４０４は、そのうち４／１デモザイク後画像４３８のデータをフレームメモリ４０６に、１／１デモザイク後画像４４０および１／４デモザイク後画像４４２のデータを、それぞれＦＩＦＯバッファ４０８およびＦＩＦＯバッファ４１２に格納する。ただし図１２で説明したのと同様、４／１デモザイク後画像のデータは、他の解像度の画像のＮ＋１フレーム分のデータ対して１フレーム分のデータが送信されるため、各表示フレームに対応する１単位の合成画像４３０に含まれるのは１／（Ｎ＋１）フレーム分となる。

図示する例ではＮ＝１とし、４／１デモザイク後画像のうち奇数行または偶数行のみがフレームメモリ４０６に格納されている様子を示している。送信態様によっては４／１デモザイク後画像のうち上半分または下半分となる。そして１／１デモザイク後画像は拡大部４１０により４倍に、１／４デモザイク後画像は拡大部４１４、４１８により１６倍に拡大され、表示画像生成部４２０がそれらを元の位置で合成することにより表示画像４４４が生成される。なお同図においては表示画像４４４を縮小して示している。

結果として表示画像４４４は、４／１デモザイク後画像のデータを用いた領域４４６、１／１デモザイク後画像のデータを用いた領域４４８、１／４デモザイク後画像のデータを用いた領域４５０により構成される、顔など重要部分に近づくほど詳細度が高い画像となる。ただし４／１デモザイク後画像のデータを用いた領域４４６は、それ以外の領域４４８、４５０の１／（Ｎ＋１）倍の更新レートで、あるいは同じレートでＮ行おきに、更新される。

なお同図の表示画像４４４では、４／１デモザイク後画像のデータを用いた領域４４６、および１／１デモザイク後画像のデータを用いた領域４４８が、合成前の各画像４３８、４４０をそのまま反映した矩形となっているが、アルファブレンドにより、より自然に見えるようにしてもよい。例えばそれらの画像の領域に内接し内部を透明、外部を不透明、境界を半透明とする円形または楕円形のアルファマスクを準備する。合成時に当該マスクを用いることにより、各領域が円形または楕円形となるとともに、その境界において徐々に詳細度が変化するような自然な画像を表示できる。

このような画像表示手順において、表示画像４４４が表示部４２２においてラスタ順に表示されることを考慮すると、１／１デモザイク後画像、１／４デモザイク後画像の対応する行が同時期に入力されることが望ましい。また全ての期間において均一なデータサイズで画像データが送信されることが望ましい。結果として撮像装置１２において生成した合成画像と同じ配置で合成画像を生成し送信することが最も効率的である。これによりホスト端末２０から送信されたストリームの入力順に処理を施し表示させることが可能となり、ホスト端末２０からの送信に対し低遅延での表示が可能となる。

一方、４／１デモザイク後画像を更新するタイミングにおいて、極力同じフレームの表示にデータ出力を間に合わせるためには、表示対象の行のデータがフレームメモリ４０６に格納済みである必要がある。したがってホスト端末２０から送信する合成画像４３０は図示するように、新たなフレームを表す４／１デモザイク後画像のデータの領域４３２が、同じフレームの１／１デモザイク後画像の領域４３４の上側に位置するようにする。

すなわち、あるフレームの１／１デモザイク後画像や１／４デモザイク後画像の送信を開始するより先に、同じフレームの４／１デモザイク後画像のデータの送信を開始する。なおこの場合も、表示画像Ｎ＋１フレーム分の合成画像内で、１フレーム分のデータの領域が完結するように、４／１デモザイク後画像のデータを用いて表す領域４４６のサイズを決定すれば、大局的には常時、対応するフレームの画像を合成できることになる。

一方、場合によっては、ホスト端末２０から送信する合成画像を、撮像装置１２からホスト端末２０への合成画像と同様の構成としてもよい。すなわち４／１デモザイク後画像の送信開始を、１／１デモザイク後画像の出力開始と同時期とすることで、後追いで送信するようにしてもよい。上述のヘッドマウントディスプレイのように、撮像装置１２による撮影画像を即時表示させたい場合、ホスト端末２０は撮像装置１２から送信された順で各種データを送信することにより、１／１デモザイク後画像、１／４デモザイク後画像の表示速度を優先できる。この場合、４／１デモザイク後画像は１フレーム分、表示が遅れる可能性があるが、上述のように視野全体の動きが十分追随していれば違和感を与える可能性は低い。

図１６は、撮像装置１２にステレオカメラを設けた場合に出力される画像データの構成を説明するための図である。この場合、２つのカメラはそれぞれ、図３、４で示した構造を有し、それぞれが、生成した画像データを画像送出部３２に送信する。画像送出部３２には、図５で示したフレームメモリ１５０、ＦＩＦＯバッファ１７０、１７２、１７４、１７６を、各カメラに対応させて２つずつ設ける。

同図上段は撮影画像３７０ａ、３７０ｂを、基準である１／１デモザイク後画像のサイズで表している。データ抽出部１８４によるデータ出力順に係るポリシーは基本的に単眼カメラの場合と同様であるが、１／１デモザイク後画像の出力時に、左右の画像データの１行分をつなげて出力する。また１／４デモザイク後画像の出力時に、左右の画像データの１／２行分をつなげて出力する。４／１デモザイク後画像については、一方の画像の要求された領域のデータ出力が完了したら、それに続けて他方の画像のデータを出力する。

結果として、図１０で示したのと同様の領域が要求された場合、合成画像３７２は図示するように、左右の画像の１／１デモザイク後画像のデータの領域３７４ａ、３７４ｂ、左右の画像の１／４デモザイク後画像のデータの領域３７６ａ、３７６ｂ、および４／１デモザイク後画像のデータの領域３７８で構成される。４／１デモザイク後画像のデータの領域３７８にも、左右の画像のデータが含まれている。また他の解像度の画像のＮ＋１フレーム分のデータに対し、４／１デモザイク後画像の１フレーム分のデータを送信することにより、１単位の合成画像３７２には、そのうちの１／（Ｎ＋１）のデータが含まれている。

表示装置１６をヘッドマウントディスプレイとし、表示画面を２分割してなる左右の領域に、ステレオカメラが撮影した画像に基づく、視差のある左右の画像を表示する場合に、ホスト端末２０から表示装置１６へ送信する画像データも同様の構成でよい。この場合、図１３で示した表示装置１６の機能ブロックのうち、フレームメモリ４０６、ＦＩＦＯバッファ４０８、４１２、４１６、拡大部４１０、４１４、４１８を、左右の画像のそれぞれに対して設ける。また表示画像生成部４２０は、表示画面の左側の画像、右側の画像、の順で出力する処理を行ごとに行う。

そしてホスト端末２０から合成画像３７２がストリーム形式で送信されると、表示装置１６のデータ分離部４０４は、送信された順に、左右の画像のそれぞれにつき３種類の画像、すなわち合計６種類の画像のデータに分離する。そして１／１デモザイク後画像および１／４デモザイク後画像を、それぞれ４倍および１６倍に拡大し、４／１デモザイク後画像と合成する処理を左右の画像ごとに行う。そして処理が完了した行ごとに、左右の画像データを横方向につなげて出力することにより、表示部４２２には、画像３７０ａ、３７０ｂを左右に接続した表示画像が表示される。

この場合も図１５を参照して説明したのと同様、全体を表す１／４デモザイク後画像の拡大後のデータをラスタ順に出力していく過程において、１／１デモザイク後画像の領域に到達したら当該画像の拡大後のデータを出力していく。４／１デモザイク後画像の場合は、更新タイミングが到来した時点で、当該データが表す領域の行に到達したらデータを出力する。これにより、少なくとも全体領域についてはホスト端末２０からのデータ送信に対し低遅延で画像を表示させることができる。また表示装置１６内で１／１デモザイク後画像、１／４デモザイク後画像の全体領域を展開する必要がないため、少ないラインバッファですむことになる。

なお図示は省略しているが、ホスト端末２０においてディスプレイの表示方式に対応するように画像処理を施してもよい。例えばヘッドマウントディスプレイの場合、装着したときにユーザの目前に位置するようにレンズを設けることにより、視野を広げつつ表示画像を立体視させ没入感を演出することが考えられる。この場合、ホスト端末２０は、レンズを介したときに元の画像が適切に見えるように表示画像に歪み補正を施しておく。また、図１５を参照して説明したように、４／１デモザイク後画像のデータ送信の開始を、同じフレームの他の解像度の画像より先としてもよい。

いずれにしろこのように左右の視差画像のデータを送信する態様においては、単眼の画像の場合と比較し送信すべきデータ量が増大する。したがってこれまで述べたように最高解像度の画像のデータ送信をＮフレームおきとすることにより、単位時間あたりのデータ送信量、すなわち送信する合成画像における当該データの占める面積を低く抑えることが特に有効となる。この場合も、適切な画素数単位で他の種類の画像データと循環して接続し、順次送信していくことにより、データ送信の即時性を保ちつつ伝送帯域を最大限に活用できる。

図１７は視線検出部４２４の構成例を示している。同図下段はヘッドマウントディスプレイ４７０とそれを装着したユーザの頭部４７２を上から見た様子を模式的に表している。ヘッドマウントディスプレイ４７０には上段で示したような表示画像４７６が表示され、ユーザが左右の目４７４ａ、４７４ｂでそれを見ている。ここで、視線検出部４２４として、赤外線ＬＥＤ４７８ａ、４７８ｂ、赤外線カメラまたはＰＳＤ（Position Sensitive Detector）センサ４８０ａ、４８０ｂ、および画像解析装置４８２を設ける。

赤外線ＬＥＤ４７８ａ、４７８ｂはそれぞれ、ユーザの左右の目４７４ａ、４７４ｂに赤外線を照射する。赤外線カメラまたはＰＳＤセンサ４８０ａ、４８０ｂはそれぞれ、ユーザの左右の目４７４ａ、４７４ｂを撮影し、そのデータを画像解析装置４８２に供給する。画像解析装置４８２は、左右の目の撮影画像から、赤外線の角膜における反射位置と瞳孔の位置とを特定し、その位置関係からユーザの視線を特定する。この手法は角膜反射法として視線検出技術の分野で実用化されている。なお視線を検出する手法はこれに限らず、例えば可視光カメラで左右の目を撮影し、そのうち目頭と虹彩の位置関係から視線を特定する技術など一般的な手法のいずれを採用してもよい。

画像解析装置４８２は、そのように検出した視線と、表示画像４７６との交点４８４ａ、４８４ｂの位置座標を検出し、その情報をホスト端末２０へ送信する。ホスト端末２０の情報処理部３８は、撮影画像のうち当該位置座標を含む所定範囲の領域を４／１デモザイク後画像で表す領域、その周囲の所定範囲の領域を１／１デモザイク後画像で表す領域としてそれぞれ決定する。そして決定に従ったデータ送信を撮像装置１２へ要求するか、ホスト端末２０の画像抽出部４００自身が切り出し処理を行うか、のいずれかにより、表示装置１６へ画像のデータを送信する。この処理を継続して行うことにより、注視点の動きに対応して詳細度の高い箇所が動く表示画像を低遅延で表示できる。

ここでホスト端末２０の情報処理部３８は、画像解析装置４８２が取得した視線の動きに基づき、表示画像に用いる画像データの種類の組み合わせや送信態様を切り替えてもよい。例えば表示画像全体が動いている状況においては、それに含まれる個々の物体の詳細より画角自体の動きが重要となる。一方、表示画像の一箇所を見つめている状況においては、当該箇所の詳細度が重要となる。ユーザの視野に対応するように画角を動かしながら画像を表示させるヘッドマウントディスプレイでは、これらの状況が頻繁に入れ替わることが考えられる。

そこで情報処理部３８は、ユーザが対象物を注視しているか否かを視線の動きに基づき判定する。そして注視していると判定したときは上述のとおり、その注視点を中心とする所定領域について、４／１デモザイク後画像など最高解像度のデータで表すように送信対象のデータを決定する。注視していないと判定したときは、最高解像度のデータを送信対象から除外する。あるいは表示画像を生成する際に、注視している場合に限り最高解像度の画像を合成するように表示装置１６に要求する。なおそれらの態様を組み合わせてもよい。また注視しているか否かの判定を、表示装置１６の視線検出部４２４が行ってもよい。

図１８は、視線の動きに応じて表示画像に用いる画像データの種類を切り替える様子を模式的に示している。図の縦方向は時間軸を示しており、各時間ステップにおいて撮像装置１２が備えるステレオカメラが水平走査で取得するデータを右端に、それに対応して生成され送信される合成画像を中央に、表示装置１６を構成するヘッドマウントディスプレイが合成画像に基づき出力する表示画像を左端に、それぞれ示している。

なお同図は撮影画像を表示装置１６に即時表示する態様を想定している。このときホスト端末２０は、撮像装置１２から送信されたデータストリームをその順で表示装置１６に出力する。したがって上述のとおり４／１デモザイク後画像は、他の解像度の画像データを用いて表示された画像より１フレーム分、遅れて表示される。ただし視線の動きに基づく利用データの切り替えは、４／１デモザイク後画像の送信タイミングや表示タイミングによらず実現できる。また４／１デモザイク後画像のデータをＮフレームおきに出力する態様においては、さらに対応する領域の更新レートが他の領域より長くなるか、Ｎ行おきの更新となる。

まず、あるフレームの撮影期間Ｔ１とそれ以前において、ユーザが表示画像の一箇所に注視していることが判定されたとする。図では、人の顔のバツ印の箇所に注視点が検出されたことを示している。人の視線は物を注視しているときでも、「固視微動」と呼ばれる８０Ｈｚ程度の微小振動をしている。固視微動以外の視線の動きとして、動く対象物を目で追う際の滑動性眼球運動（Smooth Pursuit）、別の対象物へ視線を移す際の跳躍性眼球運動（Saccade）、自分の頭や周囲の動きに対する反射運動である前庭動眼反射（VOR:Vestibulo-ocular reflex）や視運動性眼球運動（OKR:Optokinetic Response）などがある。

表示画像上の一箇所を注視していることを判定するには、固視微動とそれ以外の視線の動きとを切り分ける必要がある。そこで、例えば表示画像における視線との交点が、ある座標から所定範囲内の領域に所定時間以上滞留しているとき、当該座標の位置が注視されていると判定する。この場合、送信する合成画像５０２には、当該注視点を含み合成画像の面積等で定まるサイズの、４／１デモザイク後画像の領域のデータを含める。その結果、表示装置１６においては、当該注視点を含む領域の詳細度が高い表示画像５１６が表示される。

なお撮影期間Ｔ１に撮影されたフレームの画像は、その他の解像度のデータを用いて、１つ前のフレームの表示画像５１４として即時表示されている。この表示画像５１４の注視点付近は、撮影期間Ｔ１の１つ前の期間に撮影されたフレームの４／１デモザイク後画像のデータを用いて表示されている。次のフレームの撮影期間Ｔ２においても同様の箇所に注視していることが判定されたら、対応する合成画像５０４には、当該領域の４／１デモザイク後画像のデータを含める。

一方、その直後のフレームの撮影期間Ｔ３において、太線矢印で示すように視線が動いたことが判定されたら、表示装置１６の表示画像生成部４２０は、撮影期間Ｔ２に撮影されたフレームの４／１デモザイク後画像を合成対象から除外する。すなわち撮影期間Ｔ３に撮影されたフレームの１／１デモザイク後画像および１／４デモザイク後画像のデータのみを用いて、表示画像５１８を表示する。ここで「視線が動いた」とは固視微動以外の動きが生じたことを指し、上述のような固視微動の検出条件を満たしていない場合に判定される。

注視しているか否かの判定結果を表示装置１６における表示画像の合成処理に反映させるようにすると、４／１デモザイク後画像のデータが送信されてから表示されるまでに１フレーム分の時間差があっても、表示画像の生成直前で合成の是非を制御できる。ユーザが視線を大きく動かしたり、頭を動かして画角が大きく変化したりする場合、表示画像において詳細度の高い領域を形成することが無駄になることが考えられる。注視の有無によってそのような変化が生じたか否かを判断することにより、表示装置１６において無駄な合成処理を行わないようにできる。

撮影期間Ｔ３においては上述のように視線が動いているため、そのフレームの４／１デモザイク後画像のデータを送信対象から除外する。このとき、送信する合成画像５０６に４／１デモザイク後画像のデータを含めなくてもよいし、ホスト端末２０で当該データを除外するなど、伝送経路のいずれかでデータを省いてもよい。前者の場合、伝送帯域を変化させない範囲で、１／１デモザイク後画像などその他の種類の画像で表す領域を大きくし、より広い範囲が中程度の詳細度で表されるようにしてもよい。

いずれにしろ表示装置１６では、撮影期間Ｔ４に撮影されたフレームの１／１デモザイク後画像および１／４デモザイク後画像のデータのみを用いて、表示画像５２０が表示される。撮影期間Ｔ４でも視線が動いていれば同様に、そのフレームの４／１デモザイク後画像のデータを、合成画像５０８など送信対象から除外する。その結果、表示装置１６では、撮影期間Ｔ５に撮影されたフレームの１／１デモザイク後画像および１／４デモザイク後画像のデータのみを用いて、表示画像５２２が表示される。

このように視線が動いた結果、撮影期間Ｔ５で再びユーザが一箇所に注視していることが判定されたら、当該注視点を含む領域の４／１デモザイク後画像のデータを、合成画像５１０に含めるなどして送信対象とする。これにより表示装置１６では、撮影期間Ｔ６のフレームに対応する画像のうち、注視点を含む領域の詳細度を高くした表示画像５２４が表示される。なおユーザが注視しているか否かの判定に基づく切り替えは、最高解像度のデータを送信するか否か、に限らない。

例えば上述のとおり最高解像度のデータをＮフレームおきに送信する態様において、その出力順を上記（１）とするか（２）とするかを切り替えてもよい。例えばユーザが画像上の一箇所に注視しているときは、視野の動きも含め表示画像全体の動きが小さいと考えられるため、フレームレートより表示の同時性を優先し（１）を選択する。一方、ユーザが視線を動かしているときは、その動きに追随するように表示の即時性を優先し（２）を選択する。さらに、最高解像度のデータを送信しない態様を組み合わせてもよい。また、その他の解像度の画像の組み合わせを変化させたり、画像上の領域のサイズを変化させたりしてもよい。

図１９は、撮像装置１２／ホスト端末２０間、およびホスト端末２０／表示装置１６間で本実施の形態を適用した場合の、撮影から画像表示までの処理手順を示すフローチャートである。このフローチャートは例えば、ホスト端末２０においてユーザが処理の開始指示を入力することにより開始される。なお同図では、主に画像表示に係るデータの送受信について示しているが、特にホスト端末２０は、表記していないゲームなどの各種情報処理を並行して行ってよい。

まず撮像装置１２が撮影を開始し、ホスト端末２０に当該撮影画像のデータを送信する（Ｓ１０）。ホスト端末２０は当該データを用いて初期画像を生成し、表示装置１６に送信する（Ｓ１２）。ここで送信される画像データは、初期画像用として一般的な構造を有していてよい。表示装置１６は、当該データを表示部４２２に表示させる（Ｓ１４）。これにより、撮影画像がそのまま表示画像として表示されるなどの初期状態となる。次に視線検出部４２４はユーザの視線を検出し、それと表示画像との交点の位置座標の情報をホスト端末２０に送信する（Ｓ１６）。

ホスト端末２０は当該位置座標の情報に基づき、ユーザが表示画像の一箇所を注視しているか否かを判定する（Ｓ１８）。そしてその結果に基づき、４／１デモザイク後画像のデータを要求するか否か、要求する場合にその画像上での領域や出力順などを決定し、他の解像度の画像データとともに撮像装置１２に要求する（Ｓ２０）。なお１／１デモザイク後画像については、ユーザが注視していればその箇所を中心とした、４／１デモザイク後画像より広い所定範囲の領域を要求し、注視していなければ表示画像の中心や、主な対象物が存在する領域などを適宜特定し、要求してよい。

また要求する画像の組み合わせはこれに限らず、１／４デモザイク後画像も一部の領域としたり、さらに１／１６以下のデモザイク後画像を要求したりしてよい。撮像装置１２は、要求を受信した直後に撮影を開始した画像フレームの各解像度の画像から、要求された領域を抽出しながら合成画像の行ごとにつなげ、送信する（Ｓ２２）。このとき、４／１デモザイク後画像については、合成画像において他の種類の画像が矩形領域を形成した残りの領域を埋めるように、かつ、設定した出力順で撮影画像Ｎ＋１フレーム分に対し１フレーム分の出力が完了するように、一度につなげる画素列の数を調整していく。

Ｓ２２の処理を後続のフレームについても繰り返すことにより、均一なサイズのデータが途切れることなくホスト端末２０に送信され続ける。ホスト端末２０は、受信した画像データを画像の種類ごとに分離して、必要に応じた画像加工を行ったうえ（Ｓ２４）、再び同様の構成で合成画像を生成しながら表示装置１６に送信する（Ｓ２６）。ホスト端末２０は、撮像装置１２から送信された後続フレームの画像データについても同様に処理し、新たに形成した合成画像を送信し続けることにより、均一なサイズのデータが途切れることなく表示装置１６に送信され続ける。

表示装置１６は、当該画像データを受信すると、それを画像の種類ごとに分離し、適宜拡大したあと、撮影画像における元の位置に表示されるように合成して表示画像を生成し表示する（Ｓ２８）。ただし４／１デモザイク後画像を利用する領域については、設定された出力順に応じて、他より更新レートを小さくするか、所定数の行おきに更新する。またユーザの視線に動きがある場合は、４／１デモザイク後画像のデータを受信したとしても合成対象から除外する。

表示装置１６の視線検出部４２４は、視線の検出を継続する（Ｓ１６）。これに応じてホスト端末２０は、注視の有無や、注視している場合はその注視点を特定し、その結果に応じて撮像装置１２への要求内容を適宜、変化させる（Ｓ１８、Ｓ２０）。Ｓ１６〜Ｓ２８の処理を繰り返すことにより、ヘッドマウントディスプレイを装着したユーザの頭の動きに追随して画角が変化し、また視線の変化に対し適応的かつ必要十分な詳細度で表現された動画像を表示させることができる。なおＳ１６、Ｓ１８の処理に代えて、ホスト端末２０が顔検出処理や視覚追跡など表示画像中で詳細度を高くすべき領域を別の手法で特定してもよい。

以上述べた本実施の形態によれば、動画像を構成する各フレームのデータを複数の解像度で表した画像データを所定の画素列単位でつなげストリームの形式で伝送させ、情報処理を行ったり表示したりする。このとき解像度の低い画像データはカメラやディスプレイにおける走査に対応するタイミングで出力する一方、最高解像度の画像データはその余剰帯域で出力するとともに、あらかじめ設定された自然数Ｎフレームおきのデータを出力する。このとき他の解像度の画像データＮ＋１フレーム分の出力に対し１フレーム分の出力が完了するように出力量を調整する。

このようにすることで、複数解像度の画像データの生成タイミングによらず、単位時間当たりのデータ出力量を一定に保つことができるとともに、伝送帯域の大幅な拡張がなくとも必要な領域については情報処理に用いる解像度を最大限、高くしたり、詳細度の高い画像を表示したりすることができる。結果としてカメラやディスプレイの性能を十分に活かした高度な情報処理や高精細な画像表示を実現できる。このようにしても、低い解像度の画像データは走査ラインレベルの低遅延で伝送できるため、撮影から表示、あるいは画像データ作成から表示までの即時性は保障される。

このことは、ヘッドマウントディスプレイのように、ユーザの動きに応じて画角が変化する撮影画像を即時表示させる態様においては特に有用である。ヘッドマウントディスプレイでは、ユーザの動きによる画角の変化を表示画像に即時に反映させることが重要となる場面と、ユーザが一箇所を注視しておりその部分の詳細度が重要となる場面が激しく入れ替わることもあり得る。本実施の形態では、そのような場面の入れ替わりを、視線と表示画像との交点の動きによって検出し、それに応じて送信する画像データの組み合わせや送信態様を切り替える。これにより、状況に応じて必要とされるデータを優先的に伝送させることができるため、伝送帯域をさらに効率的に使用することができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば本実施の形態では、図１１などに示すように、Ｎ行おきの画素列のデータをまず出力し、同じフレームで行を１つずらしてＮ行おきに出力することをＮ＋１回、繰り返すことにより、他の解像度の画像のＮ＋１フレーム分の出力に対し、最高解像度の１フレーム分の出力を完了させる態様を示した。一方、Ｎ行おきにデータを出力したら、行をずらす際は、他の解像度の画像と同様、次のフレームから画素列を抽出するようにしてもよい。すなわち最高解像度の画像のみ、Ｎ行おきの伝送となるものの、表されるフレームは他の解像度の画像のフレームと常に対応するようにしてもよい。

この場合、他の解像度の画像の１フレーム分に対し、最高解像度の画像の１／（Ｎ＋１）分のデータのみが伝送されることになるため、データを取得した表示装置等でそれを補間することにより、フレーム単位で最高解像度の画像を完成させてもよい。このようにしても見かけ上の影響や伝送帯域の増大を抑えつつ、必要な領域については情報処理に用いる解像度を最大限、高くしたり、詳細度の高い画像を表示したりすることができる。最高解像度の画像データの伝送態様の選択は、表示内容や各装置において許容される処理の負荷等によって適宜、決定してよい。

１０ 情報処理システム、 １２ 撮像装置、 １６ 表示装置、 ２０ ホスト端末、 ２２ カメラ、 ３２ 画像送出部、 ３４ 通信部、 ３６ 指示入力部、 ３８ 情報処理部、 ４０ 画像処理部、 ４２ メインメモリ、 ４４ 通信部、 １０２ 画像取得部、 １０４ デモザイク部、 １０８ サイズ調整部、 １３５ ピラミッドフィルタ部、 １５０ フレームメモリ、 １８２ 制御部、 １８４ データ抽出部、 １８６ データ形成部、 ４００ 画像抽出部、 ４０２ 通信部、 ４０４ データ分離部、 ４１０ 拡大部、 ４１４ 拡大部、 ４１８ 拡大部、 ４２０ 表示画像生成部、 ４２２ 表示部、 ４２４ 視線検出部。

Claims (19)

1. 対象物を動画撮影して得られる画像フレームから複数解像度の画像のデータを、行を構成する画素列ごとに生成する画像データ生成部と、
   前記複数解像度の画像のデータから、ホスト端末から要求された領域の画素列をそれぞれ抽出したうえ、所定の規則で定まる画素数ごとに接続してなるストリームを生成し、前記ホスト端末に送信する画像送出部と、を備え、
   前記画像送出部は、特定解像度の画像のデータの接続画素数を、Ｎを整数としたとき、他の解像度の画像のデータの１フレーム分に対し１／（Ｎ＋１）フレーム分が送信されるように調整することを特徴とする撮像装置。
2. 前記画像送出部は、前記他の解像度の画像と異なる順序で前記特定解像度の画像から画素列を抽出し、当該他の解像度の画像の画素列と接続してストリームを生成することを特徴とする請求項１に記載の撮像装置。
3. 前記画像送出部は、前記特定解像度の画像から所定の複数行おきに画素列を抽出して他の解像度の画像の画素列と接続する処理を、対象の行をずらしながら繰り返すことによりストリームを生成することを特徴とする請求項２に記載の撮像装置。
4. 前記画像送出部は、前記他の解像度の画像と異なる順序で前記特定解像度の画像から画素列を抽出し、当該他の解像度の画像の画素列と接続してストリームを生成する場合と、前記他の解像度の画像と同じ順序で前記特定解像度の画像から画素列を抽出し、当該他の解像度の画素列と接続してストリームを生成する場合とを、前記ホスト端末からの要求に応じて切り替えることを特徴とする請求項１に記載の撮像装置。
5. 動画を構成する画像フレームとして合成して表示すべき複数解像度の画像のデータを取得する画像取得部と、
   前記複数解像度の画像の行を構成する画素列を、所定の規則で定まる画素数ごとに接続してなるストリームを生成する画像抽出部と、
   前記ストリームを表示装置に送信する通信部と、を備え、
   前記画像抽出部は、特定解像度の画像のデータの接続画素数を、Ｎを整数としたとき、他の解像度の画像のデータの１フレーム分に対し１／（Ｎ＋１）フレーム分が送信されるように調整することを特徴とする情報処理装置。
6. 前記表示装置に表示された画像に対するユーザの視線と画像平面との交点の位置座標に係る情報を取得して、当該位置座標の動きに基づき画像の一箇所が注視されているか否かを判定し、注視されていない場合に、前記特定解像度の画像を合成対象から除外するように前記表示装置に要求する情報処理部をさらに備えたことを特徴とする請求項５に記載の情報処理装置。
7. 前記画像取得部は、前記複数解像度の画像のデータを、動画を撮影している撮像装置へ領域を指定したうえで要求するとともに、当該撮像装置から、各解像度の画像のうち要求した領域の画素列を所定の規則で定まる画素数ごとに接続してなるストリームを取得し、
   前記情報処理装置はさらに、
   前記表示装置に表示された画像に対するユーザの視線と画像平面との交点の位置座標に係る情報を取得して、当該位置座標の動きに基づき画像の一箇所が注視されているか否かを判定し、その結果に応じて前記撮像装置に対する要求内容を切り替える情報処理部を備えたことを特徴とする請求項５に記載の情報処理装置。
8. 前記情報処理部は、注視されていないと判定した場合に、前記特定解像度の画像のデータを前記撮像装置に対する要求対象から除外することを特徴とする請求項７に記載の情報処理装置。
9. 動画を構成する画像フレームとして合成して表示すべき複数解像度の画像の行を構成する画素列を、所定の規則で定まる画素数ごとに接続してなるストリームであって、特定解像度の画像のデータの接続画素数が、Ｎを整数としたとき、他の解像度の画像のデータの１フレーム分に対し１／（Ｎ＋１）フレーム分が受信されるように調整されたストリームをホスト端末から受信する通信部と、
   受信したストリームに含まれる前記複数解像度の画像を合成することにより、前記画像フレームを生成して表示する表示部と、
   を備え、
   前記表示部は、前記画像フレームのうち前記特定解像度の画像のデータを用いる領域について、他の領域の１フレーム分の更新に対し１／（Ｎ＋１）フレーム分の更新を完了させることを特徴とする表示装置。
10. 前記表示部は、前記画像フレームのうち前記特定解像度の画像のデータを用いる領域を、複数行おきに更新する処理を、対象の行をずらしながら繰り返すことにより、１フレーム分の更新を完了させることを特徴とする請求項９に記載の表示装置。
11. 前記表示部は、前記画像フレームのうち前記特定解像度の画像のデータを用いる領域を、複数行おきに更新する処理を、対象の行をずらしながら繰り返す場合と、行の順で更新する場合とを、受信したストリームにおける接続順に応じて切り替えることを特徴とする請求項９に記載の表示装置。
12. 表示した画像に対するユーザの視線と画像平面との交点の位置座標を取得する視線検出部をさらに備え、
    前記表示部は、当該位置座標の動きに基づき画像の一箇所が注視されていないと判定された場合、前記特定解像度の画像を合成対象から除外することを特徴とする請求項９から１１のいずれかに記載の表示装置。
13. 対象物を動画撮影して得られる画像フレームに基づく動画表示を行う、撮像装置、ホスト端末および表示装置からなる情報処理システムであって、
    前記撮像装置は、
    前記画像フレームから複数解像度の画像のデータを、行を構成する画素列ごとに生成する画像データ生成部と、
    前記複数解像度の画像のデータから、前記ホスト端末から要求された領域の画素列をそれぞれ抽出したうえ、所定の規則で定まる画素数ごとに接続してなるストリームを生成し、前記ホスト端末に送信する画像送出部と、を備え、
    前記ホスト端末は、
    前記撮像装置から送信されたストリームを画像の解像度ごとに分類したうえ所定の処理を施して、表示に用いる複数解像度の画像のデータを生成する画像処理部と、
    前記複数解像度の画像の行を構成する画素列を、所定の規則で定まる画素数ごとに接続してなるストリームを生成する画像抽出部と、
    前記ストリームを前記表示装置に送信する通信部と、を備え、
    前記撮像装置の画像送出部と、前記ホスト端末の画像抽出部はいずれも、前記ストリームにおける特定解像度の画像のデータの接続画素数を、Ｎを整数としたとき、他の解像度の画像のデータの１フレーム分に対し１／（Ｎ＋１）フレーム分が送信されるように調整することを特徴とする情報処理システム。
14. 対象物を動画撮影して得られる画像フレームから複数解像度の画像のデータを、行を構成する画素列ごとに生成するステップと、
    前記複数解像度の画像のデータから、ホスト端末から要求された領域の画素列をそれぞれ抽出したうえ、所定の規則で定まる画素数ごとに接続してなるストリームを生成し、前記ホスト端末に送信するステップと、を含み、
    前記送信するステップは、特定解像度の画像のデータの接続画素数を、Ｎを整数としたとき、他の解像度の画像のデータの１フレーム分に対し１／（Ｎ＋１）フレーム分が送信されるように調整することを特徴とする撮像装置による画像データ送出方法。
15. 動画を構成する画像フレームとして合成して表示すべき複数解像度の画像のデータを取得するステップと、
    前記複数解像度の画像の行を構成する画素列を、所定の規則で定まる画素数ごとに接続してなるストリームを生成するステップと、
    前記ストリームを表示装置に送信するステップと、を含み、
    前記ストリームを生成するステップは、特定解像度の画像のデータの接続画素数を、Ｎを整数としたとき、他の解像度の画像のデータの１フレーム分に対し１／（Ｎ＋１）フレーム分が送信されるように調整することを特徴とする、情報処理装置による画像データ送出方法。
16. 動画を構成する画像フレームとして合成して表示すべき複数解像度の画像の行を構成する画素列を、所定の規則で定まる画素数ごとに接続してなるストリームであって、特定解像度の画像のデータの接続画素数が、Ｎを整数としたとき、他の解像度の画像のデータの１フレーム分に対し１／（Ｎ＋１フレーム分が受信されるように調整されたストリームをホスト端末から受信するステップと、
    受信したストリームに含まれる前記複数解像度の画像を合成することにより、前記画像フレームを生成して表示するステップと、を含み、
    前記表示するステップは、前記画像フレームのうち前記特定解像度の画像のデータを用いる領域について、他の領域の１フレーム分の更新に対し１／（Ｎ＋１）フレーム分の更新を完了させることを特徴とする、表示装置による画像表示方法。
17. 対象物を動画撮影して得られる画像フレームから複数解像度の画像のデータを、行を構成する画素列ごとに生成する機能と、
    前記複数解像度の画像のデータから、ホスト端末から要求された領域の画素列をそれぞれ抽出したうえ、所定の規則で定まる画素数ごとに接続してなるストリームを生成し、前記ホスト端末に送信する機能と、をコンピュータに実現させ、
    前記送信する機能は、特定解像度の画像のデータの接続画素数を、Ｎを整数としたとき、他の解像度の画像のデータの１フレーム分に対し１／（Ｎ＋１）フレーム分が送信されるように調整することを特徴とするコンピュータプログラム。
18. 動画を構成する画像フレームとして合成して表示すべき複数解像度の画像のデータを取得する機能と、
    前記複数解像度の画像の行を構成する画素列を、所定の規則で定まる画素数ごとに接続してなるストリームを生成する機能と、
    前記ストリームを表示装置に送信する機能と、をコンピュータに実現させ、
    前記ストリームを生成する機能は、特定解像度の画像のデータの接続画素数を、Ｎを整数としたとき、他の解像度の画像のデータの１フレーム分に対し１／（Ｎ＋１）フレーム分が送信されるように調整することを特徴とするコンピュータプログラム。
19. 動画を構成する画像フレームとして合成して表示すべき複数解像度の画像の行を構成する画素列を、所定の規則で定まる画素数ごとに接続してなるストリームであって、特定解像度の画像のデータの接続画素数が、Ｎを整数としたとき、他の解像度の画像のデータの１フレーム分に対し１／（Ｎ＋１）フレーム分が受信されるように調整されたストリームをホスト端末から受信する機能と、
    受信したストリームに含まれる前記複数解像度の画像を合成することにより、前記画像フレームを生成して表示する機能と、をコンピュータに実現させ、
    前記表示する機能は、前記画像フレームのうち前記特定解像度の画像のデータを用いる領域について、他の領域の１フレーム分の更新に対し１／（Ｎ＋１）フレーム分の更新を完了させることを特徴とするコンピュータプログラム。

Images