JP2016063537A - 撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法 - Google Patents

Abstract

【課題】画像の撮影や表示においてデータ伝送に起因したレイテンシを抑制する。【解決手段】撮影画像３４０のうち領域３４２は最高解像度の４／１デモザイク後画像３４６、領域３４４は１／４倍に縮小した１／１デモザイク後画像３４８、全体領域は１／１６倍に縮小した１／４デモザイク後画像３５０を、仮想的な合成画像３５２の構成で行ごとにストリーム形式で送信する。合成画像３５２の面積は伝送帯域幅およびフレームレートに基づき決定し、その１行分に、１／１デモザイク後画像の１行分、１／４デモザイク後画像の１／２行分の画素列をつなげ、残りの画素列を４／１デモザイク後画像とする。【選択図】図１０

Description

本発明は、撮影画像や描画画像の表示に伴う画像データの伝送および処理技術に関する。

ユーザの頭部など体の一部をビデオカメラで撮影し、目、口、手などの所定の領域を抽出し、その領域を別の画像で置換してディスプレイに表示するゲームが知られている（例えば、特許文献１参照）。また、ビデオカメラで撮影された口や手の動きをアプリケーションの操作指示として受け取るユーザインタフェースシステムも知られている。このように、実世界を撮影しその動きに反応する仮想世界を表示させたり、何らかの情報処理を行ったりする技術は、小型の携帯端末からレジャー施設まで、その規模によらず幅広い分野で利用されている。

欧州特許出願公開第０９９９５１８号明細書

臨場感のある画像表現を実現したり、情報処理を高精度に行うためには、撮影画像や表示画像の解像度およびフレームレートを増加させることが望ましいが、それにより処理すべきデータ量が増大するため、即時性、応答性の面で課題が生じる。すなわち高解像度化、高フレームレート化を図っても、装置内での処理速度や装置間のデータ伝送速度が十分でなければ、撮影から表示までのレイテンシが増大してしまう。実世界での動きを情報処理や表示画像に即時に反映させる態様では特に、レイテンシの増大が顕在化しやすい。

本発明はこうした課題に鑑みてなされたものであり、その目的は、画像の撮影、表示を伴う情報処理システムにおいて、内部の処理や伝送に起因するレイテンシを抑制することができる技術を提供することにある。

本発明のある態様は撮像装置に関する。この撮像装置は、対象物を動画撮影して得られる画像フレームから複数種類の画像のデータを生成し行ごとに出力する画像データ生成部と、複数種類の画像のデータから、ホスト端末から要求された領域の画素列をそれぞれ抽出したうえ、所定の単位で循環して接続してなるストリームを生成し、ホスト端末に送信する画像送出部と、を備え、画像送出部は、特定の種類の画像の接続単位の画素数を、その他の種類の画像の接続単位の画素数に応じて変化させることを特徴とする。

本発明の別の態様は情報処理装置に関する。この情報処理装置は、一画面内に表示すべき複数種類の画像のデータを生成する画像処理部と、複数種類の画像のデータの行を構成する画素列を、所定の単位で循環して接続してなるストリームを生成する画像抽出部と、ストリームを表示装置に送信する通信部と、を備え、画像抽出部は、特定の種類の画像の接続単位の画素数を、その他の種類の画像の接続単位の画素数に応じて変化させることを特徴とする。

本発明のさらに別の態様は表示装置に関する。この表示装置は、一画面内に表示すべき複数種類の画像のデータの行を構成する画素列を、所定の規則で定まる画素数ごとに接続してなるストリームであって、各種類の画像のうち表示すべき領域の１行分またはそれを所定数に等分した画素数を接続単位とする第１種の画像と、接続された複数種類の画像の接続が一巡したときのストリームの長さが所定値となるような画素数を接続単位とする第２種の画像のデータを含むストリームをホスト端末から受信する通信部と、受信した前記ストリームに含まれる第２種の画像の画素列を接続単位と関わりなく保存するフレームメモリと、ストリームに含まれる第１種の画像の接続単位の画素列を受信する都度、当該画素列から表示画面の１行に含まれる画素列を生成するとともに、第２種の画像のうち対応する行に含まれる画素列をフレームメモリから読み出し、表示画面の当該行の出力走査に合わせて、それらを表示すべき位置に出力する表示画像生成部と、を備えることを特徴とする。

本発明のさらに別の態様は情報処理システムに関する。この情報処理システムは、対象物を動画撮影して得られる画像フレームに基づく動画表示を行う、撮像装置、ホスト端末および表示装置からなる情報処理システムであって、撮像装置は、画像フレームから複数種類の画像のデータを生成し行ごとに出力する画像データ生成部と、複数種類の画像のデータから、ホスト端末から要求された領域の画素列をそれぞれ抽出したうえ、所定の単位で循環して接続してなるストリームを生成し、ホスト端末に送信する画像送出部と、を備え、ホスト端末は、撮像装置から送信されたストリームを画像の種類ごとに分類したうえ所定の処理を施して、表示に用いる複数種類の画像のデータを生成する画像処理部と、複数種類の画像のデータの行を構成する画素列を、所定の単位で循環して接続してなるストリームを生成する画像抽出部と、ストリームを前記表示装置に送信する通信部と、を備え、撮像装置の画像送出部とホスト端末の画像抽出部はいずれも、特定の種類の画像の接続単位の画素数を、その他の種類の画像の送信対象の領域の一行分またはそれを所定数に等分した画素数に応じて、複数種類の画像の接続が一巡したときのストリームの長さが所定値となるように調整し、表示装置は、受信したストリームに含まれる特定の種類の画像の画素列を接続単位と関わりなく保存するフレームメモリと、ストリームに含まれるその他の種類の画像の画素列を受信する都度、当該画素列から表示画面の１行に含まれる画素列を生成するとともに特定の種類の画像のうち対応する行に含まれる画素列をフレームメモリから読み出し、表示画面の当該行の出力走査に合わせて、それらを表示すべき位置に出力する表示画像生成部と、を備えることを特徴とする。

本発明のさらに別の態様は画像データ送出方法に関する。この画像データ送出方法は、対象物を動画撮影して得られる画像フレームから複数種類の画像のデータを、行を構成する画素列ごとに生成しメモリに格納するステップと、メモリに格納した複数種類の画像のデータから、ホスト端末から要求された領域の画素列をそれぞれ抽出したうえ、所定の単位で循環して接続してなるストリームを生成するステップと、生成したストリームをホスト端末に送信するステップと、を含み、生成するステップは、特定の種類の画像の接続単位の画素数を、その他の種類の画像の接続単位の画素数に応じて変化させることを特徴とする。

本発明のさらに別の態様は画像データ送出方法に関する。この画像データ送出方法は、一画面内に表示すべき複数種類の画像のデータを生成しメモリに格納するステップと、メモリに格納した複数種類の画像のデータの行を構成する画素列を、所定の単位で循環して接続してなるストリームを生成するステップと、ストリームを表示装置に送信するステップと、を含み、生成するステップは、特定の種類の画像の接続単位の画素数を、その他の種類の画像の接続単位の画素数に応じて変化させることを特徴とする。

本発明のさらに別の態様は画像表示方法に関する。この画像表示方法は、一画面内に表示すべき複数種類の画像のデータの行を構成する画素列を、所定の規則で定まる画素数ごとに接続してなるストリームであって、各種類の画像のうち表示すべき領域の１行分またはそれを所定数に等分した画素数を接続単位とする第１種の画像と、接続された複数種類の画像の接続が一巡したときのストリームの長さが所定値となるような画素数を接続単位とする第２種の画像のデータを含むストリームをホスト端末から受信するステップと、受信したストリームに含まれる第２種の画像の画素列を接続単位と関わりなくフレームメモリに保存するステップと、ストリームに含まれる第１種の画像の接続単位の画素列を受信する都度、当該画素列から表示画面の１行に含まれる画素列を生成するとともに、第２種の画像のうち対応する行に含まれる画素列を前記フレームメモリから読み出し、表示画面の当該行の走査に合わせて、それらを表示すべき位置に出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、解像度やフレームレートによらずその撮影や表示を伴う情報処理を低レイテンシで行える。

実施形態１を適用できる情報処理システムの構成例を示す図である。 実施形態１におけるホスト端末と撮像装置の構成を示す図である。 実施形態１における撮像装置のカメラの構成を詳細に示す図である。 実施形態１におけるピラミッドフィルタ部の詳細を示す図である。 実施形態１における画像送出部の構成を詳細に示す図である。 実施形態１の撮像装置およびホスト端末におけるデータの形態の基本的な変遷を模式的に示す図である。 実施形態１においてサイズ調整部が行う画像の縮小処理前後の画素の関係を模式的に示す図である。 実施形態１における１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像の画素データの画像送出部への入力タイミングを示すタイムチャートである。 実施形態１においてデータ抽出部がＦＩＦＯバッファに格納されたデータをつなげて出力する規則を説明するための図である。 実施形態１においてデータ抽出部が、フレームメモリに格納したデータとＦＩＦＯバッファに格納したデータを混在させて合成画像を生成する様子を模式的に示す図である。 図１０で示したデータ出力を複数のフレームで繰り返した様子を模式的に示す図である。 実施形態１における、撮像装置から送信された画像データに対するホスト端末における処理を説明するための図である。 実施形態１において撮像装置にステレオカメラを設けた場合に出力される画像データの構成を説明するための図である。 実施形態１におけるホスト端末と表示装置の構成を詳細に示す図である。 実施形態１における拡大部による画像の拡大処理の一例を説明するための図である。 実施形態１における表示装置において、ホスト端末から送信された画像データを用いて表示画像を生成する様子を模式的に示す図である。 実施形態１において、ホスト端末から送信された画像データから表示画像を生成する様子を模式的に示す図である。 実施形態１における注視点検出部の構成例を示す図である。 実施形態１における、撮像装置における撮影から表示装置における画像表示までの処理手順を示すフローチャートである。注視点検出部の構成例を示す図である。 実施形態１において、撮像装置からホスト端末へのデータ送信とホスト端末から表示装置へのデータ送信のタイミングの関係について説明するための図である。 実施形態１のうち撮像から表示までの時間を短縮する態様におけるデータ送信のタイミングの関係について説明するための図である。 実施形態１における合成画像の複数の構成例を示す図である。 実施形態１において撮像および表示を１２０ｆｐｓで運用した場合のデータ構成を例示する図である。 実施形態２において、撮像装置にステレオカメラを設けた場合に出力される合成画像の構成を説明するための図である。 実施形態２において、撮像装置にステレオカメラを設け、表示画像に左右の画像を用いる場合に、ホスト端末から送信された画像データから表示画像を生成する様子を模式的に示す図である。 実施形態３を撮像装置からホスト端末へのデータの伝送に適用した場合の画像送出部の構成を示す図である。 実施形態３をホスト端末から表示装置へのデータの伝送に適用した場合の表示装置の構成を示す図である。

実施形態１
図１は本実施の形態を適用できる情報処理システムの構成例を示す。情報処理システム１０は、対象物を撮影する撮像装置１２、撮影した画像に基づき、ユーザの要求に応じた情報処理を行うホスト端末２０、ホスト端末２０が処理した結果得られた画像を表示する表示装置１６を含む。ホスト端末２０はインターネットなどのネットワーク１８と接続可能としてもよい。

ホスト端末２０と、撮像装置１２、表示装置１６、ネットワーク１８とは、有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。撮像装置１２、ホスト端末２０、表示装置１６のうちいずれか２つ、または全てが組み合わされて一体的に装備されてもよい。例えばそれらを装備したカメラや携帯端末などで情報処理システム１０を実現してもよい。いずれにしろ撮像装置１２、ホスト端末２０、表示装置１６の外観形状は図示するものに限らない。

撮像装置１２は、対象物を所定のフレームレートで撮影するカメラと、その出力データをデモザイク処理、縮小処理することで複数種類の画像データをフレームごとに生成する機構とを有する。カメラはＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルカメラ、デジタルビデオカメラで利用されている可視光センサを備える。赤外線照射手段と赤外線センサとを組み合わせた距離画像センサと、一般的な可視光センサとを組み合わせたものでもよい。

撮像装置１２は、２つのカメラを既知の間隔で左右に配置したいわゆるステレオカメラを有していてもよい。撮像装置１２が撮影、生成した画像のデータは後に述べるようなストリーム形式でホスト端末２０に送信される。ホスト端末２０は、送信された画像データを用いて必要な情報処理を行い、表示に用いる画像のデータを生成する。ここでホスト端末２０が行う処理の内容は特に限定されず、ユーザが求める機能やアプリケーションの内容などによって適宜設定される。

ホスト端末２０は例えば、撮影画像に対し一般的な顔検出やトラッキング処理を施すことにより、対象物であるユーザの動作を反映させたキャラクタが登場するゲームを進捗させたり、ユーザの動きをコマンド入力に変換して情報処理を行ったりする。撮影画像に３次元オブジェクトを描画して表示することにより仮想現実（ＡＲ）を実現してもよい。この場合、撮影対象はユーザに限らず、ユーザ側から見た室内などでもよい。

表示装置１６は、ホスト端末２０が行った処理の結果を画像として表示する。表示装置１６は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビでよく、例えば液晶テレビ、プラズマテレビ、ＰＣディスプレイ等である。あるいは表示装置１６は、ユーザの頭に装着してその眼前に画像を表示するヘッドマウントディスプレイでもよい。

このとき撮像装置１２にはステレオカメラを設け、撮影した左右の視点からの画像に、表示方式やアプリケーションに応じた加工を施し、表示装置１６の画面を左右に２分割した領域にそれぞれ表示させて立体視を実現してもよい。あるいは表示装置１６は、携帯端末やタブレット端末の表示機構、カメラの電子ファインダなどで実現することにより、撮像装置１２、ホスト端末２０と一体的であってもよい。

このように本実施の形態の情報処理システム１０は、様々な態様への適用が可能であるため、各装置の構成や外観形状もそれに応じて適宜決定してよい。本実施の形態では、いずれの態様であっても、装置間のデータ伝送および伝送に係る内部処理を効率化することにより、解像度やフレームレートの増加に対し処理や表示の即時性、応答性が損なわれにくいシステムを実現する。以後は特に、画像データの伝送メカニズムに主眼を置き説明する。画像データの伝送経路として、撮像装置１２からホスト端末２０への伝送、ホスト端末２０から表示装置１６への伝送、が考えられる。本実施の形態は各経路において独立に適用できるため、まず撮像装置１２からホスト端末２０へのデータ伝送手法について説明する。

図２はホスト端末２０と撮像装置１２の構成を示している。図２および後に説明する図３〜５、図１４、図２６、図２７に示す各機能ブロックは、ハードウェア的には、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、描画回路、撮像素子などの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

ホスト端末２０は、ユーザからの指示入力を取得する指示入力部３６、ホスト端末２０および撮像装置１２を統括的に制御し、目的に応じた情報処理を行う情報処理部３８、表示に用いる画像を生成する画像処理部４０、撮像装置１２からの画像データを格納するメインメモリ４２、撮像装置１２および表示装置１６と画像データや必要な情報の送受信を行うインターフェースである通信部４４を含む。

指示入力部３６は、ユーザからの指示入力を受け付け、それに応じた処理要求信号を生成して情報処理部３８に送信する。指示入力部３６は、ボタン、キーボード、マウス、トラックボール、タッチパネルなど一般的な入力装置と、当該入力装置になされた操作内容を解釈して処理要求信号を生成するプロセッサなどの協働により実現する。

情報処理部３８は、指示入力部３６から取得した処理要求信号に応じて撮像装置１２への画像データの送信要求、画像処理部４０への画像処理の要求などを行う。また撮像装置１２から送信された画像データを後に詳述するようにメインメモリ４２に展開する。さらに情報処理システム１０が実行する処理の内容によっては、撮像装置１２から送信された画像データを用いてステレオマッチング、対象物のトラッキング、顔検出、ジェスチャ検出などの画像解析を行う。これらの画像解析には一般的な技術を適用できる。

画像処理部４０はメインメモリ４２に展開された画像を用いて、情報処理部３８からの要求に応じた画像処理を行い、表示に用いる画像を生成する。当該画像のデータは情報処理部３８の制御のもと、通信部４４を介して表示装置１６に順次出力され、表示される。通信部４４は、情報処理部３８が要求する画像データに係る情報を撮像装置１２へ送信する。また、それに応じて撮像装置１２から送信された画像データを取得し情報処理部３８へ送る。さらに、表示に用いる画像のデータを表示装置１６へ送信する。

撮像装置１２は、動画像を撮影したうえ複数種類の画像データを生成するカメラ２２、ホスト端末２０から要求された画像データを抽出し、送信用の画像データを生成する画像送出部３２、および、ホスト端末２０とのデータ送受信のインターフェースである通信部３４を含む。カメラ２２は、対象物を所定のフレームレートで撮影する。そして当該撮影画像を段階的に縮小することにより、複数解像度の画像データをフレームごとに生成する。

画像送出部３２は、カメラ２２が生成した画像データのうち、ホスト端末２０が要求する画像データを抽出したうえで統合し、後に述べるような仮想的な合成画像を生成する。これによりホスト端末２０が、画像の種類のみならずそのうちの一部の領域を指定し、該当データのみを受け取ることができるようにする。ホスト端末２０と撮像装置１２との通信方式によっては、画像送出部３２はさらに、抽出した画像データを適宜パケット化する。

通信部３４は、ホスト端末２０からの画像データの要求信号を受け付け、画像送出部３２に通知するとともに、画像送出部３２が生成した送信用の画像データをホスト端末２０に送信する。通信部３４は、例えばＵＳＢ３．０等の所定のプロトコルにしたがって、パケットをホスト端末２０に送出する。ホスト端末２０との通信は有線に限らず、例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ通信、ＩｒＤＡなどの赤外線通信であってもよい。

本実施の形態において撮像装置１２が行う処理は、基本的には画像の横一列分の画素列単位で行われ、当該単位で次の機能ブロックに供給される。このようにすることで撮像装置１２の各機能ブロックが備えるメモリ容量は最小限ですみ、また、撮影からホスト端末２０への画像データの送信までを低遅延に行える。

図３は撮像装置１２のカメラ２２の構成を詳細に示している。カメラ２２は、画像取得部１０２、デモザイク部１０４、サイズ調整部１０８、ピラミッドフィルタ部１３５を備える。画像取得部１０２は、撮像素子で露光された画像を所定のレートで読み出す。この画像はいわゆるＲＡＷ画像である。

画像取得部１０２は、ＲＡＷ画像の横一列分の画素列の露光が完了するごとに、これをデモザイク部１０４および画像送出部３２に送る。以下の説明では、ｎを自然数として、画像取得部１０２が取得するＲＡＷ画像が、横方向にｎＷ画素、縦方向にｎＨ画素の幅を有するものとする。これは、後述するピラミッドフィルタ部１３５に入力する縮小前の画像の横方向の画素数をＷ、縦方向の画素数をＨと定め、それを基準とするためである。最も単純にはｎ＝１とし、カメラの解像度によって定まるＲＡＷ画像のサイズに合わせてピラミッドフィルタ部１３５を準備すればよい。

一方、本実施の形態では、カメラの解像度が技術革新などによりいかに変化しても、ピラミッドフィルタ部１３５の構成をそのまま利用できるようにすることで拡張性を高めるとともに、解像度によらず各処理を同様に行えるようにしている。したがって自然数ｎは、導入するカメラの解像度に応じて決定する。あるいは想定し得る範囲でｎの最大値を決定し、バッファメモリの容量などをそれに応じて準備しておいてもよい。この場合、画像取得部１０２が、接続された撮像素子から実際のｎの値を求め、他のブロックに通知することにより、処理内容に反映させたり、バッファメモリの使用範囲を決定したりする。

デモザイク部１０４は、画素ｎＷ個分の容量を有するＦＩＦＯ（First In First Out）バッファ１０５と簡易デモザイク処理部１０６とを有する。ＦＩＦＯバッファ１０５には、ＲＡＷ画像の横一列分の画素データが入力され、次の横一列分の画素データがデモザイク部１０４に入力されるまでそれを保持する。簡易デモザイク処理部１０６は、横二列分の画素データを受け取ると、それらを用いて、各画素に対してその周辺画素に基づき色情報を補完してフルカラー画像を作り出すデモザイク（de-mosaic）処理を実行する。

当業者には周知のように、このデモザイク処理には多数の手法が存在するが、ここでは横二列分の画素のみを利用する簡易なデモザイク処理で十分である。一例として、対応するＹＣｂＣｒ値を算出すべき画素がＧ値のみを有している場合は、Ｒ値は左右に隣接するＲ値を平均、Ｇ値は当該Ｇ値をそのまま使用、Ｂ値は上または下に位置するＢ値を使用してＲＧＢ値とし、これを所定の変換式に代入してＹＣｂＣｒ値を算出するなどである。このようなデモザイク処理は周知であるからこれ以上詳細な説明は省略する。なおデモザイク部１０４および以後の処理で生成される画像データの色空間はＹＣｂＣｒに限定されるものではない。

簡易なデモザイク処理で十分な理由は、高品質の画像が必要な場合はＲＡＷ画像を用いることができるためである。簡易なデモザイク処理の変形例として、ＲＧＢの４画素から一画素のＹＣｂＣｒ値を構成する手法を用いてもよい。この場合は、ＲＡＷ画像の１／４サイズのデモザイク後画像が得られるので、後述するピラミッドフィルタ部１３５の第１フィルタ１３７は不要になる。

簡易デモザイク処理部１０６は、例えば図示のように、横２×縦２のＲＧＢの４画素を、４画素分のＹＣｂＣｒカラー信号に変換し、画像送出部３２およびサイズ調整部１０８に送信する。この処理を、入力されたＲＡＷ画像全体に対して繰り返すことにより、デモザイク部１０４は、１つのＲＡＷ画像に対し、横方向にｎＷ画素、縦方向にｎＨ画素の幅を有するデモザイク後画像を生成することになる。この画像は、基準とする横方向Ｗ画素、縦方向Ｈ画素の画像を、縦横双方向にｎ倍したサイズを有するため、以後、ｎ^２／１デモザイク後画像と呼ぶ。

サイズ調整部１０８は、画像取得部１０２が取得したＲＡＷ画像、および、デモザイク部１０４が生成したｎ^２／１デモザイク後画像を、横方向、縦方向にそれぞれ１／ｎ倍に縮小し、基準の画像サイズにする。そのためサイズ調整部１０８は、画素ｎＷ個分の容量を有するＦＩＦＯバッファ１１２、１１４、および、縮小処理部１１０を有する。ＦＩＦＯバッファ１１２は、ＲＡＷ画像の横一列分の画素データをそれぞれ保持する１つまたは複数のＦＩＦＯバッファからなる。これらのＦＩＦＯバッファは、一度の縮小処理に必要な所定数の行のうち最後の行の画素データが画像取得部１０２から入力されるまで、それ以外の行の画素データを保持する役割を有する。

縮小処理部１１０は、所定数の行分のＲＡＷ画像の画素データが画像取得部１０２から入力された時点で、それを用いて縮小処理を行う。縮小処理にはバイリニア補間など一般的な手法を用いることができる。ＦＩＦＯバッファ１１２を構成するＦＩＦＯバッファの数は、適用する縮小処理の手法に応じて決定する。例えば横ｎ×縦ｎ画素のブロックごとの画素値の平均値を１つの画素値とする場合、縮小画像を１行生成するためには、ｎ行分の画素データが必要となるため、ＦＩＦＯバッファの数はｎ−１となる。図３の例ではＦＩＦＯバッファを２つ以上記載しているが、１／２倍に縮小する場合は１つでよい。

ＦＩＦＯバッファ１１４も同様に、Ｙ、Ｃｂ、Ｃｒのそれぞれの信号に対応して、ｎ^２／１デモザイク後画像の横一列分の画素データをそれぞれ保持する１つまたは複数のＦＩＦＯバッファで構成する。縮小処理部１１０は、所定数の行分のｎ^２／１デモザイク後画像の画素データがデモザイク部１０４から入力された時点で、それを用いて上述と同様に縮小処理を行う。縮小処理の結果として、縮小処理部１１０は、横方向にＷ画素、縦方向にＨ画素の幅を有する縮小ＲＡＷ画像および縮小後のＹ、Ｃｂ、Ｃｒ画像の画素データを１行ごとに出力する。

サイズ調整部１０８はそれらのデータを順次、画像送出部３２に送信するとともに、Ｙ、Ｃｂ、Ｃｒ画像のデータについてはピラミッドフィルタ部１３５にも送信する。このときのＹ、Ｃｂ、Ｃｒ画像は基準のサイズを有するため、以後、１／１デモザイク後画像と呼ぶ。なおカメラの解像度によってｎ＝１となる場合は、サイズ調整部１０８による縮小処理を省略してよい。ピラミッドフィルタ部１３５は、画像を段階的に縮小して出力する機能を有する。これにより生成された複数の解像度のＹ、Ｃｂ、Ｃｒ画像の画素データは、１行ごとに画像送出部３２に送信される。

図４はピラミッドフィルタ部１３５の詳細を示している。ピラミッドフィルタ部１３５は基本的に、必要とする解像度のレベルに応じた数の１／４縮小フィルタを備える。同図では第１フィルタ１３７、第２フィルタ１４１、第３フィルタ１４５の３階層のフィルタを有している。各フィルタは、相互に隣接する４個の画素をバイリニア補間して４画素の平均画素値を演算する処理を実行する。したがって、処理後の画像サイズは処理前の画像の１／４になる。なお本実施の形態は、３階層以外のフィルタ数であっても同様に実現できることは当業者には容易に理解されるところである。

第１フィルタ１３７の前段には、Ｙ、Ｃｂ、Ｃｒのそれぞれの信号に対応して、画素Ｗ個分のＦＩＦＯバッファ１３９が一つずつ配置される。これらのＦＩＦＯバッファ１３９は、横一列分のＹＣｂＣｒの画素データを、次の横一列分の画素データがサイズ調整部１０８から入力されるまで保持する役割を有する。横二列分の画素データが入力されると、第１フィルタ１３７は、横２×縦２の４画素分のＹ、Ｃｂ、Ｃｒの画素値を平均する。この処理を繰り返すことによって、１／１デモザイク後画像は縦横それぞれ１／２の長さとなり、全体として１／４のサイズに変換される。変換された１／４デモザイク後画像は、画像送出部３２に送られるとともに、次段の第２フィルタ１４１に渡される。

第２フィルタ１４１の前段階には、Ｙ、Ｃｂ，Ｃｒのそれぞれの信号に対応して、画素Ｗ／２個分のＦＩＦＯバッファ１４３が一つずつ配置される。これらのＦＩＦＯバッファ１４３も、横一列分のＹＣｂＣｒの画素データを、次の横一列分の画素データが第１フィルタ１３７から入力されるまで保持する役割を有する。横二列分の画素データが入力されると、第２フィルタ１４１は、横２×縦２の４画素分のＹ、Ｃｂ、Ｃｒの画素値を平均する。この処理を繰り返すことによって、１／４デモザイク後画像は縦横それぞれ１／２の長さとなり、全体として１／１６のサイズに変換される。変換された１／１６デモザイク後画像は、画像送出部３２に送られるとともに、次段の第３フィルタ１４５に渡される。

第３フィルタ１４５についても、前段にＷ／４個分のＦＩＦＯバッファ１４７が配置される以外は、上記と同様の処理を繰り返す。そして画像送出部３２に、１／６４サイズのデモザイク後画像を出力する。このように、ピラミッドフィルタ部１３５の各フィルタからは、１／４ずつ縮小された画像データが画像送出部３２に入力される。なお、上記のようなピラミッドフィルタは、特許文献１にも記載されているように周知であるから、本明細書ではこれ以上の詳細な説明を省略する。

図５は画像送出部３２の構成を詳細に示している。画像送出部３２は、カメラ２２から送られたＲＡＷ画像またはｎ^２／１デモザイク後画像のデータをフレーム単位で保持するフレームメモリ１５０と、縮小ＲＡＷ画像または１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像、１／６４デモザイク後画像をそれぞれ行単位で保持するＦＩＦＯバッファ１７０、１７２、１７４、１７６を含む。なお図３、図４においてはＹ、Ｃｂ、Ｃｒのデータ信号を個別に表現し、各信号に対して入力線の矢印を示したが、以後はそれらの要素を１セットとして１つの矢印で表す。

画像送出部３２はさらに、ホスト端末２０から要求された画像データに係る情報を通信部３４を介して取得する制御部１８２、要求された画像データを抽出するデータ抽出部１８４、および、送信データを形成するデータ形成部１８６を有する。フレームメモリ１５０は、カメラ２２の画像取得部１０２から送られたＲＡＷ画像、またはデモザイク部１０４から送られたｎ^２／１デモザイク後画像のデータをフレーム単位で保持する。

ＦＩＦＯバッファ１７０は、カメラ２２のサイズ調整部１０８から送られた、縮小ＲＡＷ画像または１／１デモザイク後画像の横一列分の画素値を保持する。ＦＩＦＯバッファ１７２、１７４、１７６はそれぞれ、カメラ２２の第１フィルタ１３７、第２フィルタ１４１、第３フィルタ１４５から送られた、１／４デモザイク後画像、１／１６デモザイク後画像、１／６４デモザイク後画像の横一列分の画素値を保持する。

したがってＦＩＦＯバッファ１７０、１７２、１７４、１７６はそれぞれ、Ｗ、Ｗ／２、Ｗ／４、Ｗ／８個分の画素値を保持するバッファである。なおＦＩＦＯバッファの数は、カメラ２２のピラミッドフィルタ部１３５におけるフィルタ数に応じて決定する。制御部１８２は、ホスト端末２０からの要求信号に基づき、送出すべき画像データに係る情報をデータ抽出部１８４に通知する。制御部１８２はさらに、ホスト端末２０から撮影の開始や終了を要求する信号、撮影条件を指定する信号などを受信し、カメラ２２の画像取得部１０２などに適宜その情報を提供することにより撮影処理を制御するが、一般的な技術を適用できるためここでは詳細な説明を省略する。

データ抽出部１８４は、ホスト端末２０が要求する画像データに係る情報を制御部１８２から取得すると、ＦＩＦＯバッファ１７０、１７２、１７４、１７６およびフレームメモリ１５０に格納された各画像データのうち要求されたデータを抽出する。上述のとおりカメラ２２からは、ＲＡＷ画像、ｎ^２／１デモザイク後画像、縮小ＲＡＷ画像、１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像、１／６４デモザイク後画像が、生成された順に画像送出部３２に入力される。

このとき画像サイズが小さくなるほどカメラ２２における生成頻度、ひいては画像送出部３２への入力頻度が低くなる。データ抽出部１８４は、そのように様々な頻度で入力される画像データのうち要求されたデータが、より低い遅延で滞りなく出力されるように、各画像の入力タイミングや頻度に係る特性を考慮して出力タイミングを決定する。具体的には、ＦＩＦＯバッファ１７０に格納された縮小ＲＡＷ画像または１／１デモザイク後画像１行分が生成される周期を基準周期とし、要求された複数種類の画像データを当該周期で循環して出力する。詳細は後述する。

本実施の形態において撮像装置１２が行う処理は、画像の左上を起点とし、左から右への処理を画像の下方向へ繰り返すラスタ順である。そのような処理の結果を低遅延に出力するため、カメラ２２から画像送出部３２への入力、および撮像装置１２からホスト端末２０への送信は、行を構成する画素列を順につなげたストリーム形式とする。したがってデータ抽出部１８４が出力するデータも、カメラ２２が取得、生成した各種画像のデータが混在する一連の画素値のストリームである。

なお図５では、カメラ２２の画像取得部１０２から入力可能なＲＡＷ画像、および、デモザイク部１０４から入力可能なｎ^２／１デモザイク後画像のいずれか一方を送信対象とすることを想定している。さらにカメラ２２のサイズ調整部１０８から入力可能な、縮小ＲＡＷ画像および１／１デモザイク後画像のいずれか一方を送信対象とすることを想定している。そのためそれらの入力線は１つのみ示している。これは多くの場合、ＲＡＷ画像またはｎ^２／１デモザイク後画像のいずれか一方、縮小ＲＡＷ画像または１／１デモザイク後画像のいずれか一方があれば表示や情報処理には十分であると考えられるためである。

どちらを選択するかは、ホスト端末２０からの要求に応じて切り替えてもよいし、固定としてもよい。前者の場合、カメラの出力側、あるいは画像送出部３２の入力側にマルチプレクサ等の回路を設け、ホスト端末２０からの要求に応じて制御部１８２が切り替え制御を行ってもよい。あるいは全てのデータをフレームメモリやＦＩＦＯバッファで保持できるようにしておき、データ抽出部１８４によって必要なデータのみを抽出するようにしてもよい。以後の説明では、フレームメモリ１５０にｎ^２／１デモザイク後画像を、ＦＩＦＯバッファ１７０に１／１デモザイク後画像を格納するとする。

データ抽出部１８４は、複数種類の画像データが混在する画素列のデータストリームを、生成順にデータ形成部１８６に供給する。データ形成部１８６は、データ抽出部１８４から供給されたストリームを、ホスト端末２０との通信プロトコルに応じたフォーマットに変換することにより送出可能なデータ形式とする。通信部３４はそのように形成されたデータをホスト端末２０へ送信する。例えばデータ形成部１８６は、ストリームをＵＳＢのエンドポイントのサイズごとにパケット化し、内部のパケットバッファ（図示せず）に書き込む。そして通信部３４が、当該パケットバッファ内のパケットをホスト端末２０に順次、転送する。

図６は撮像装置１２およびホスト端末２０におけるデータの形態の基本的な変遷を模式的に示している。ここでは最も単純な例として、横方向にＷ画素、縦方向にＨ画素の幅を有するフレーム画像２００全体のデータを、撮像装置１２からホスト端末２０に送信する場合を考える。上述のように本実施の形態では画像データの生成、抽出、送信を画素のラスタ順に行い、行単位の画素データを順次つなげてストリームの形式で処理する。

このような状況においてデータ抽出部１８４が出力するデータが、ストリーム２０２に対応する。同図においてストリーム２０２の横軸は時間経過を表しており、ストリーム２０２を構成する各矩形Ｌ１、Ｌ２、・・・、ＬＨはそれぞれ、元のフレーム画像２００の１行目、２行目、・・・、Ｈ行目の画素のデータを表す。１画素のデータサイズをｄバイトとすると各矩形のデータサイズはＷ×ｄバイトである。

データ形成部１８６は例えば、ストリーム２０２を所定サイズごとにパケットにまとめ、パケットＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、・・・を生成する。これにより撮像装置１２からホスト端末２０へ、パケットＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、・・・の順に送信される。ホスト端末２０はパケットＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、・・・を通信部４４を介して受信すると、それぞれのデータを、情報処理部３８の制御のもとメインメモリ４２に格納する。

このとき、本来のフレーム画像２００の横方向の画素数Ｗを横幅とするように、各パケットのデータをラスタ順に並べていき、Ｗ×ｄ×Ｈバイトの連続したアドレスにデータを展開することにより、フレーム画像２００を復元した画像２０４を生成する。同図において画像２０４を構成する矩形は各パケットのデータを示している。パケットのデータサイズによっては、１つのパケットに含まれる画素データが画像２０４の行の末尾と次の行の先頭に渡る場合がある。画像処理部４０は情報処理部３８の制御のもと、メインメモリ４２に展開された画像２０４に加工を施したり別の画像と合成したりして、表示装置１６に表示すべき画像を生成する。

図７はサイズ調整部１０８が行う画像の縮小処理前後の画素の関係を模式的に示している。まず画像３１０はＲＡＷ画像またはｎ^２／１デモザイク後画像であり、横方向にｎＷ画素、縦方向にｎＨ画素のサイズを有する。画像３１０内部に示した最小単位の矩形が各画素であり、画像左上の横ｎ×縦ｎ個の画素に１からｎまでの行番号、列番号をそれぞれ示している。このような画像の画素データが、ＲＡＷ画像の場合は画像取得部１０２から、デモザイク後画像の場合はデモザイク部１０４から、１行ごとにサイズ調整部１０８に入力される。

サイズ調整部１０８は、縮小処理に必要な所定数の行の画素データが全て入力し終わるまで、先に入力された行の画素データをＦＩＦＯバッファ１１２、１１４に保持しておく。画像３１０の横ｎ×縦ｎ画素のブロックを用いて縮小後の１つの画素を生成するとすると、ｎ行目のデータが入力された時点で、サイズ調整部１０８はＦＩＦＯバッファに格納しておいた１行目からｎ−１行目までの画素データを読み出し、ブロックごとに画素値を平均するなどして１つの画素値を算出する。図７の画像３１０において太線で囲まれた矩形が、縮小ＲＡＷ画像または１／１デモザイク後画像の１画素に対応する。これを行の末尾まで繰り返すことにより、横幅がＷ画素の縮小ＲＡＷ画像または１／１デモザイク後画像の１行分の画素データが生成される。

さらにこの処理を画像３１０の縦方向に繰り返すことにより、縦横双方向に１／ｎ倍に縮小した縮小ＲＡＷ画像または１／１デモザイク後画像全体を生成できる。サイズ調整部１０８は画素データを１行生成するごとに、順次、画像送出部３２およびピラミッドフィルタ部１３５に入力する。以後、このようにして生成される１／１デモザイク後画像を、１行目から順にＬ_{（１／１）}１、Ｌ_{（１／１）}２、Ｌ_{（１／１）}３、・・・と表記する。なお上述の通り１／１デモザイク後画像は、後の処理において同サイズの縮小ＲＡＷ画像に置き換えることができる。

図８は、１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像の画素データが、サイズ調整部１０８およびピラミッドフィルタ部１３５の各フィルタから画像送出部３２へ入力されるタイミングを示すタイムチャートである。なお同図は縮小画像として１／１６デモザイク後画像までを示しているが、１／６４以下のデモザイク後画像を加えても原理は同様である。同図において時間ステップＳ１、Ｓ２、Ｓ３、Ｓ４、・・・はそれぞれ、１／１デモザイク後画像の１行目、２行目、３行目、４行目、・・・の画素データが画像送出部３２へ入力される期間を表す。

本実施の形態では上述のとおり、１／１デモザイク後画像の１行分の画素データが入力される期間を基準の時間ステップとし、各時間ステップにおいて、要求された複数の画像データを循環して接続し、出力する。なお図７で説明したように、サイズ調整部１０８は、ｎ−１行分のｎ^２／１デモザイク後画像の画素データがＦＩＦＯバッファに格納され、さらにｎ行目のｎ^２／１デモザイク後画像が入力されると同時に、行の先頭から１／１デモザイク後画像の画素データを生成していく。

したがって画像送出部３２には、１／１デモザイク後画像の各行の画素データが入力される各時間ステップにおいて、太線矢印で示した期間に、少なくともｎ−１行分のｎ^２／１デモザイク後画像の画素データが入力されるが、図８ではその期間の時間軸を短縮して示している。いずれにしろ各時間ステップＳ１、Ｓ２、Ｓ３、Ｓ４、・・・は、ｎ^２／１デモザイク後画像の画素データがｎ行分、入力される期間にも対応している。入力データとしてＲＡＷ画像を選択した場合も同様である。

図の上段、中段、下段はそれぞれ、１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像の入力タイミングを示しており、１つの矩形が１画素分の入力に対応する。まず時間ステップＳ１において、１／１デモザイク後画像の１行目の画素列Ｌ_{（１／１）}１の画素データが、行の先頭の画素から順に入力される。この時間ステップでは、１／４デモザイク後画像、１／１６デモザイク後画像は生成されていないため入力されない。

次の時間ステップＳ２では、１／１デモザイク後画像の２行目の画素列Ｌ_{（１／１）}２の画素データが、行の先頭の画素から順に入力される。このときピラミッドフィルタ部１３５では、１／１デモザイク後画像の１行目の画素列Ｌ_{（１／１）}１および２行目の画素列Ｌ_{（１／１）}２の画素データを用いて１／４デモザイク後画像の１行目の画素列Ｌ_{（１／４）}１が生成されるため、時間ステップＳ２では当該画素列の画素データも入力される。

例えば１／４デモザイク後画像の１行目の画素列Ｌ_{（１／４）}１の左端の期間２１０で入力される画素値は、１／１デモザイク後画像の１行目の画素列Ｌ_{（１／１）}１のうち、期間２０６で入力される２つの画素の画素値、および２行目の画素列Ｌ_{（１／１）}２のうち、期間２０８で入力される２つの画素の画素値を用いて生成される。このため時間ステップＳ２において、画素列Ｌ_{（１／４）}１の画素値の入力タイミングは、画素列Ｌ_{（１／１）}２の対応する画素の画素値の入力タイミングより少なくとも２画素分遅延する。

次の時間ステップＳ３では、１／１デモザイク後画像の３行目の画素列Ｌ_{（１／１）}３の画素データが入力される。この時間ステップでは、１／４デモザイク後画像の２行目の画素データが生成されず、１／１６デモザイク後画像は生成されていないため、そのいずれも入力されない。次の時間ステップＳ４、すなわち１／１デモザイク後画像の４行目の画素列Ｌ_{（１／１）}４の画素値が入力される期間では、時間ステップＳ２と同様、１／４デモザイク後画像の２行目の画素列Ｌ_{（１／４）}２の画素データも入力される。

さらにピラミッドフィルタ部１３５では、１／４デモザイク後画像の１行目の画素列Ｌ_{（１／４）}１および２行目の画素列Ｌ_{（１／４）}２の画素データを用いて１／１６デモザイク後画像の１行目の画素列Ｌ_{（１／１６）}１が生成されるため、時間ステップＳ４では当該画素列の画素データも入力される。例えば１／１６デモザイク後画像の１行目の画素列Ｌ_{（１／１６）}１のうち、最初の入力期間２１８で入力される画素値は、１／４デモザイク後画像の１行目の画素列Ｌ_{（１／４）}１のうち、期間２１０および期間２１２で入力される２つの画素の画素値、および２行目の画素列Ｌ_{（１／４）}２のうち、期間２１４および期間２１６で入力される２つの画素の画素値を用いて生成される。

このため時間ステップＳ４において、画素列Ｌ_{（１／１６）}１の入力タイミングは、画素列Ｌ_{（１／４）}２の対応する画素の画素値の入力タイミングより少なくとも２画素分遅延する。以後、同様に各画像の画素データの入力を繰り返すことにより、１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像の全画素データが画像送出部３２へ入力される。

このように各画像の画素データは、カメラ２２の各ブロックおよび各フィルタから個別のストリームとしてラスタ順に入力される。データ抽出部１８４は、これらのうちホスト端末２０から要求された画像およびそのうちの要求された領域のデータのみをつなげて１つのストリームとなるようにしてデータ形成部１８６へ出力する。このときデータの種類に関わりなく、入力された時間順で該当領域の画素のデータをつなげると、合成処理自体は容易であるが、後にホスト端末２０が画像データを分類する際、画素ごとにデータを抽出する必要が生じ、処理が煩雑化する。

そこで各時間ステップ内で入力されたデータを、画像の種類ごとにまとめたうえでつなげることも考えられる。この場合、例えば時間ステップＳ１やＳ３では、ｎ^２／１デモザイク後画像および１／１デモザイク後画像の画素データのみが入力されるのに対し、時間ステップＳ４ではさらに１／４デモザイク後画像、１／１６デモザイク後画像の画素データが入力されるため、時間ステップによって出力すべきデータのサイズが変動する。さらにホスト端末２０から要求されたデータにｎ^２／１デモザイク後画像が含まれているか否かやその範囲などによっても、時間ステップごとに出力すべきデータサイズが大きく変化する。

そこで本実施の形態では、１／４デモザイク後画像や１／１６デモザイク後画像のようにデータが入力されない時間ステップがある画像については、その時間ステップを利用して、直前に入力された画素データの一部を出力するようにする。さらに各時間ステップにおいて、ＦＩＦＯバッファに格納されたデータの一部のみを出力することにより生じた余剰時間を利用して、フレームメモリ１５０に格納されたｎ^２／１デモザイク後画像を、その時間ステップに入力されたか否かに関わりなく出力していく。これらの工夫により、各時間ステップで出力されるデータのサイズをおよそ均等化する。

まず理解を容易にするため、ＦＩＦＯバッファに格納された画像のみを出力対象とした場合について説明する。図９は、データ抽出部１８４がＦＩＦＯバッファに格納されたデータをつなげて出力する規則を説明するための図である。同図は最も基本的な例として、１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像の全体領域を出力する場合を示している。図中、Ｓ０、Ｓ１、Ｓ２、Ｓ３、・・・は、図８で説明した時間ステップであり、それぞれの期間に、１／１デモザイク後画像の１行分の画素データがＦＩＦＯバッファ１７０に入力される。

同図では各時間ステップにおいてデータ抽出部１８４から出力される画素列を、画像の種類ごとに異なる網掛け矩形で示している。図８を参照して説明したように、時間ステップＳ１では１／１デモザイク後画像の１行目の画素列Ｌ_{（１／１）}１の画素データのみがＦＩＦＯバッファ１７０に格納される。データ抽出部１８４はそれを読み出して出力する。なお上述のとおり１／１デモザイク後画像の各行は、同図に示すようにＷ画素で構成される。

次の時間ステップＳ２では、１／１デモザイク後画像の２行目の画素列Ｌ_{（１／１）}２の画素データ、および１／４デモザイク後画像の１行目の画素列Ｌ_{（１／４）}１の画素データが図８に示すようなタイミングでＦＩＦＯバッファ１７０、１７２に並列に格納される。データ抽出部１８４はまず、１／１デモザイク後画像の２行目の画素列Ｌ_{（１／１）}２の画素データをＦＩＦＯバッファ１７０から読み出し、出力する。

１／１デモザイク後画像の２行目の画素列Ｌ_{（１／１）}２の画素値を全て出力したら、データ抽出部１８４は続けて、１／４デモザイク後画像の１行目の画素列Ｌ_{（１／４）}１をＦＩＦＯバッファ１７２から読み出し、出力する。このとき次の時間ステップＳ３で出力する分を考慮し、１／４デモザイク後画像の１行目の画素列Ｌ_{（１／４）}１の全画素のうち前半部分（画像平面における左半分）の画素データのみ出力し、残りはＦＩＦＯバッファ１７２に引き続き保存しておく。

次の時間ステップＳ３では、１／１デモザイク後画像の３行目の画素列Ｌ_{（１／１）}３の画素データのみがＦＩＦＯバッファ１７０に入力されるため、データ抽出部１８４はまず、それを読み出して出力する。続いてデータ抽出部１８４は、１／４デモザイク後画像の１行目の画素列Ｌ_{（１／４）}１のうち未出力であった後半部分（画像平面における右半分）の画素データをＦＩＦＯバッファ１７２から読み出し、出力する。

次の時間ステップＳ４では、１／１デモザイク後画像の４行目の画素列Ｌ_{（１／１）}４の画素データおよび１／４デモザイク後画像の２行目の画素列Ｌ_{（１／４）}２、１／１６デモザイク後画像の１行目の画素列Ｌ_{（１／１６）}１の画素データが図８に示すようなタイミングで、ＦＩＦＯバッファ１７０、１７２、１７４に並列に入力される。データ抽出部１８４はまず、１／１デモザイク後画像の４行目の画素列Ｌ_{（１／１）}４の画素データをＦＩＦＯバッファ１７０から読み出し、出力する。

１／１デモザイク後画像の４行目の画素列Ｌ_{（１／１）}４の画素データを全て出力したら、データ抽出部１８４は続けて、１／４デモザイク後画像の２行目の画素列Ｌ_{（１／４）}２の前半部分をＦＩＦＯバッファ１７２から読み出し、出力する。次に１／１６デモザイク後画像の１行目の画素列Ｌ_{（１／１６）}１をＦＩＦＯバッファ１７４から読み出し、出力する。このとき次以降の３つの時間ステップＳ５、Ｓ６、Ｓ７で出力する分を考慮し、１／１６デモザイク後画像の１行目の画素列Ｌ_{（１／１６）}１を４分の１分割し、その最初の部分の画素データのみ出力する。残りはＦＩＦＯバッファ１７４に保存しておく。

次の時間ステップＳ５では、１／１デモザイク後画像の５行目の画素列Ｌ_{（１／１）}５の画素データのみがＦＩＦＯバッファ１７０に入力されるため、データ抽出部１８４はまず、それを読み出して出力する。続いてデータ抽出部１８４は、１／４デモザイク後画像の２行目の画素列Ｌ_{（１／４）}２のうち未出力であった後半部分の画素データをＦＩＦＯバッファ１７２から読み出し、出力する。さらに１／１６デモザイク後画像の１行目の画素列Ｌ_{（１／１６）}１の未出力のデータのうち４分の１分割した２番目の部分の画素データを出力する。

同様に、次の時間ステップＳ６では、１／１デモザイク後画像の６行目の画素列Ｌ_{（１／１）}６の画素データ、１／４デモザイク後画像の３行目の画素列Ｌ_{（１／４）}３の前半部分の画素データ、１／１６デモザイク後画像の１行目の画素列Ｌ_{（１／１６）}１の未出力のデータのうち４分の１分割した３番目の部分の画素データを出力する。次の時間ステップＳ７では、１／１デモザイク後画像の７行目の画素列Ｌ_{（１／１）}７の画素データ、１／４デモザイク後画像の３行目の画素列Ｌ_{（１／４）}３の後半部分の画素データ、１／１６デモザイク後画像の１行目の画素列Ｌ_{（１／１６）}１のうち４分の１分割した最後の部分の画素データを出力する。

すなわち１／４デモザイク後画像の１行目の画素列Ｌ_{（１／４）}１は、時間ステップＳ２およびＳ３の２つの時間ステップに半分ずつ出力される。また１／１６デモザイク後画像の１行目の画素列Ｌ_{（１／１６）}１は、時間ステップＳ４、Ｓ５、Ｓ６、Ｓ７の４つの時間ステップに４分の１ずつ出力される。１／１デモザイク後画像の横方向の画素数がＷであるとき、１／４デモザイク後画像および１／１６デモザイク後画像の１行分の画素数はそれぞれＷ／２、Ｗ／４であるため、同図に示すように、一時間ステップあたり（Ｗ／２）／２個、（Ｗ／４）／４個の画素のデータがそれぞれ出力される。

以上の出力処理を画像の最下段の行まで繰り返す。このとき１／１デモザイク後画像の最下段の行の画素データを出力した時点では、１／４デモザイク後画像の最下段の行の後半部分の画素データ、および１／１６デモザイク後画像の最下段の行の残り４分の３の画素データが未出力となっている。データ抽出部１８４は、未出力のデータを出力し終わるまで画素データの出力を続行する。具体的には、１／１デモザイク後画像の全行の出力を完了した直後の時間ステップＳ（Ｈ＋１）において、１／４デモザイク後画像の最下段の行の後半部分の画素データ、および１／１６デモザイク後画像の最下段の行を４分の１分割した２番目の部分の画素データを出力する。

このとき、それまで１／１デモザイク後画像のデータを出力していたＷ画素分のデータとして、まず無効データを出力する。それに続いて１／４デモザイク後画像、１／１６デモザイク後画像のデータを出力する。続く２つの時間ステップＳ（Ｈ＋２）、Ｓ（Ｈ＋３）では、それまで１／１デモザイク後画像および１／４デモザイク後画像のデータを出力していたＷ＋（Ｗ／２）／２画素分のデータとして、まず無効データを出力する。それに続いて１／１６デモザイク後画像の最下段の行を４分の１分割した３番目の部分、４番目の部分の画素データをそれぞれ出力する。

このように出力すると、はじめの３つの時間ステップと終わりの３つの時間ステップを除く全ての時間ステップで、Ｗ＋（Ｗ／２）／２＋（Ｗ／４）／４＝２１Ｗ／１６個の画素のデータが出力されることになる。また１行分の画素データを出力するのに、１／１デモザイク後画像は１時間ステップ、１／４デモザイク後画像は２時間ステップ、１／１６デモザイク後画像は４時間ステップを要するため、１フレーム分の画像データを出力するのに要する時間ステップ数は、Ｈ＝（Ｈ／２）×２＝（Ｈ／４）×４と、全て等しくなる。３種の画像の１フレーム分のデータを出力するのに要する総時間ステップ数はＨ＋３となる。

上述のようにデータ抽出部１８４が出力するデータは画素データの羅列であるが、各時間ステップに出力する画素データを、図示するように縦方向に並べた２次元データ３２２では、複数種類の画像のデータがそれぞれ矩形領域を構成することになる。各時間ステップにおいて当該２次元データ３２２が１行ずつ送信され、その後の処理は図６で示したフレーム画像２００と同等であることに鑑みると、データ抽出部１８４は実質的に２次元データ３２２のような画像を生成していることになる。以後、この仮想的な２次元データを「合成画像」と呼ぶ。合成画像３２２における各種画像のデータの局所性を利用すれば、ホスト端末２０において画像の種類ごとにデータを分離することが容易になる。

図９で説明したように、ＦＩＦＯバッファに格納された画素列を、画像の種類に応じた規則でつなげて可能な限り即時出力することにより、バッファの構成を最小限にできると同時に、撮影からデータ送信までのレイテンシを最小限に抑えることができる。ただし同図の例では、１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像の領域全体を合成画像に含めることを前提にしていた。

一方、本実施の形態では、ホスト端末２０から要求された領域のみを送信できるようにするとともに、そのようにしてできた合成画像内の空き領域に、ｎ^２／１デモザイク後画像のデータを組み込む。図１０はデータ抽出部１８４が、フレームメモリ１５０に格納したデータと、ＦＩＦＯバッファに格納したデータを混在させて合成画像を生成する様子を模式的に示している。なお以後の説明では図の煩雑化を避けるため、ｎ^２／１デモザイク後画像を４／１デモザイク後画像とし、当該画像と、１／１デモザイク後画像、１／４デモザイク後画像を出力対象とするが、本実施の形態をそれに限る趣旨ではない。

まず同図上段は撮影画像３４０を、基準である１／１デモザイク後画像のサイズで表している。カメラ２２からは、当該基準の４倍のサイズを有する４／１デモザイク後画像がフレームメモリ１５０に、基準サイズの１／１デモザイク後画像がＦＩＦＯバッファ１７０に、基準の１／４倍のサイズを有する１／４デモザイク後画像がＦＩＦＯバッファ１７２に、画素値が生成された順に入力される。

ここでホスト端末２０から、被写体である人の顔の領域３４２の４／１デモザイク後画像３４６、その周囲を含めた領域３４４の１／１デモザイク後画像３４８、撮影画像３４０全体の１／４デモザイク後画像３５０が要求されたとする。この場合、１／１デモザイク後画像のうち要求された領域３４４以外の領域については出力する必要がないため、入力データを破棄する。そのうえで図９で示したのと同様に、各時間ステップにおいて１／１デモザイク後画像の領域３４４の１行分と１／４デモザイク後画像の１／２行分のデータをつなげて出力する。

その結果、各時間ステップには、必要なデータを出力する時間以外に余剰時間が生じる。そこで当該時間を利用して、４／１デモザイク後画像のデータを出力する。具体的には合成画像３５２において、１／１デモザイク後画像のデータの領域を１／４デモザイク後画像のデータの領域に接するように配置したうえ、その左側と下側を、４／１デモザイク後画像３４６のデータの領域とする。出力されるストリームとして捉えると、出力すべき１／１デモザイク後画像のデータが存在する時間ステップでは、４／１デモザイク後画像３４６のデータ、１／１デモザイク後画像３４８のデータ、１／４デモザイク後画像３５０のデータ、を循環してつなげ出力する。出力すべき１／１デモザイク後画像が存在しない時間ステップでは、４／１デモザイク後画像３４６のデータと１／４デモザイク後画像３５０のデータをつなげて出力する。

つまり１／１デモザイク後画像および１／４デモザイク後画像は原則として、生成された時間ステップまたは次の時間ステップでほぼ同時期に、各行のデータが出力されるのに対し、４／１デモザイク後画像のデータ出力にはそのような拘束条件を設けない。これによりカメラの撮影周期を無駄なく利用してデータを出力できるとともに、各時間ステップにおける出力データサイズを最適化できる。

なお撮影画像のうち、４／１デモザイク後画像として要求されている領域３４２より上の行のデータが生成されている段階では、領域３４２の４／１デモザイク後画像３４６のデータは未生成であるため、出力すべきデータがない。したがって同図の合成画像３５２において、当該期間ａに対応する領域は黒塗りの無効領域としている。ところが連続した画像フレームで考えると、当該期間を、前の画像フレームの４／１デモザイク後画像のデータ出力に利用することができる。

つまり撮影画像のうち最終行の生成が完了し、次の画像フレームの生成が開始されても、４／１デモザイク後画像を所定期間、出力し続ける。この期間ｂを、データが未生成で４／１デモザイク後画像のデータを出力できない期間ａと等しくすることにより、連続したフレームが撮影されている全期間において、無駄なくデータを出力し続けることができる。

このとき一フレームあたりに送信できる４／１デモザイク後画像のデータサイズは、合成画像３５２において当該画像のデータが占めるＬ字型の領域の面積に相当する。合成画像３５２のサイズは、カメラの撮影レートと、ホスト端末２０との通信において許容される伝送帯域幅に応じて決定する。その結果に基づき、合成画像における各画像の領域の面積を適宜分配することにより、ホスト端末２０が要求可能な、各画像の領域のサイズを決定する。

図１１は、図１０で示したデータ出力を複数のフレームで繰り返した様子を模式的に示している。縦軸は時間経過を示し、各時間ステップで出力されるデータを横に示している。時刻ｔ０、ｔ４、ｔ６、ｔ７はカメラの垂直同期のタイミングに対応し、その間に連続した画像フレームＦ０、Ｆ１、Ｆ２の画像データが生成されるとする。撮影開始直後の画像フレームＦ０の場合、時刻ｔ０からｔ１の期間は出力すべき４／１デモザイク後画像、１／１デモザイク後画像が存在しないため、図１０で示した通り無効データと１／４デモザイク後画像が出力される。

時刻ｔ１で、データ生成が１／１デモザイク後画像の要求された領域に到達したら、１／１モザイク後画像の出力が開始される。その直後にデータ生成が４／１デモザイク後画像の要求された領域に到達するため、４／１デモザイク後画像の出力も開始される。１／１デモザイク後画像の要求された領域のデータ出力が完了する時刻ｔ３までは、４／１デモザイク後画像、１／１デモザイク後画像、１／４デモザイク後画像が循環して出力される。なお４／１デモザイク後画像の出力を開始できる時刻は、厳密には１／１デモザイク後画像の要求される領域との位置関係によるが、同図では時刻ｔ１とほぼ同じとしている。

時刻ｔ３以後は、４／１デモザイク後画像と１／４デモザイク後画像とをつなげて出力する。時刻ｔ４で１／４デモザイク後画像の最終行の出力が完了した後も、４／１デモザイク後画像については出力を継続する。一方、時刻ｔ４で次の画像フレームＦ１のデータ生成が開始されるため、フレームＦ１の１／４デモザイク後画像の出力を開始する。結果として、画像フレームＦ０の４／１デモザイク後画像と、画像フレームＦ１の１／４デモザイク後画像のデータをつなげて出力することになる。

時刻ｔ０からｔ１の時間に無効データが出力される画素数（合成画像における面積）と、時刻ｔ４からｔ５の時間に出力される４／１デモザイク後画像の画素数が等しければ、次の画像フレームＦ１に対する１／１デモザイク後画像の出力開始時刻ｔ５に、画像フレームＦ０の４／１デモザイク後画像のデータ出力が終了することになる。したがって、時刻ｔ５以後は画像フレームＦ０の時刻ｔ１以後と同様の構成で各画像のデータを出力すればよい。

４／１デモザイク後画像に許容される出力画素数は、上述のように合成画像におけるＬ字型の領域の面積によって定まる。４／１デモザイク後画像と１／１デモザイク後画像の要求された領域の位置が撮影画像上で上下に移動すると、当該Ｌ字型の領域も上下することになるが、面積は変化しないため、常に一定サイズの領域の４／１デモザイク後画像を出力することができる。このような出力を連続した画像フレームについて繰り返すことにより、カメラの撮影周期に合わせて、要求された画像データを低遅延に出力できる。

図１２は、撮像装置１２から送信された画像データに対するホスト端末２０における処理を説明するための図である。ホスト端末２０の情報処理部３８は、自らが要求した各画像の領域のサイズや位置に基づき、合成画像３５２を個別の画像に切り分け、メインメモリ４２の連続したアドレスに展開する。図１０で示したように合成画像３５２において、複数種類の画像のデータがそれぞれ個別の領域３５４、３５６、３５８に配置されている。

そのうち４／１デモザイク後画像のデータの領域３５４は、ホスト端末２０自身が要求した１／１デモザイク後画像の領域のサイズと、縦方向の位置によって定まっている。したがって領域３５４をそれらの情報に基づき特定し、当該領域内の画素値をラスタ順に読み出す。そして４／１デモザイク後画像について要求した領域の横方向の長さで画素列を分割し縦方向に並べることにより、４／１デモザイク後画像３６０を復元できる。同様に、１／１デモザイク後画像、１／４デモザイク後画像についても、合成画像３５２のうち対応する領域３５６、３５８からラスタ順に画素を読み出し、本来のサイズに並べていくことにより、送信されたデータを画像３６２、３６４として復元できる。

なお合成画像３５８は実際にはストリームとして送信されるため、情報処理部３８はデータの到着順に、複数種類の画像のデータを並列して切り分けていく。あるいは情報処理部３８は、メインメモリ４２に合成画像３５２をそのまま展開し、画像処理等に使用する段階で区別するようにしてもよい。情報処理部３８および画像処理部４０は、分離した画像からさらに表示に用いる領域を切り出したり、表示装置１６の表示方式に従って画像に加工を施したりする。あるいはゲームの進捗に合わせて画像上に３Ｄオブジェクトを描画したり、顔認識、ジェスチャ認識などの画像解析を行い、それに対応する情報処理を行ったりしてもよい。

図１３は撮像装置１２にステレオカメラを設けた場合に出力される画像データの構成を説明するための図である。この場合、２つのカメラはそれぞれ、図３、４で示した構造を有し、それぞれが生成した画像データを画像送出部３２に送信する。画像送出部３２には、図５で示したフレームメモリ１５０、ＦＩＦＯバッファ１７０、１７２、１７４、１７６を、各カメラに対応させて２つずつ設ける。

同図上段は撮影画像３７０ａ、３７０ｂを、基準である１／１デモザイク後画像のサイズで表している。データ抽出部１８４によるデータ出力順に係るポリシーは基本的に単眼カメラの場合と同様であるが、１／１デモザイク後画像の出力時に、左右の画像データの１行分をつなげて出力する。また１／４デモザイク後画像の出力時に、左右の画像データの１／２行分をつなげて出力する。４／１デモザイク後画像については、一方の画像の要求された領域のデータ出力が完了したらそれに続けて他方の画像のデータを出力する。

結果として、図１０で示したのと同様の領域が要求された場合、合成画像３７２は図示するように、左右の画像の１／１デモザイク後画像のうち要求されたデータの領域３７４ａ、３７４ｂ、左右の画像の１／４デモザイク後画像のデータの領域３７６ａ、３７６ｂ、および４／１デモザイク後画像のデータの領域３７８で構成される。なお４／１デモザイク後画像のデータの領域３７８にも、左右の画像のデータが含まれており、その境界は当該領域の面積を２分割する線となる。

例えばそれぞれが２５６０×２５６０画素の解像度を有するステレオカメラを考える。その撮影画像を１／４倍に縮小した画像を１／１デモザイク後画像とし、そのうち１／４の領域が要求されたとすると、当該領域のサイズは６４０×６４０画素である（領域３７４ａ、３７４ｂ）。一方、１／４デモザイク後画像は全体のサイズが６４０×６４０画素であるため、図９で示したように画素１行分を左右に分割して２行にわたって出力した場合、合成画像３７２における当該画像のデータの領域３７６ａ、３７６ｂのサイズはそれぞれ３２０×１２８０画素となる。

撮影周期内で送信できるデータ量、ひいては合成画像に許容される面積は、装置間の伝送速度と撮影時のフレームレートで決定される。６０ｆｐｓのレートで撮影し、５Ｇｂｐｓの伝送速度を有するＵＳＢ（Universal Serial Bus）３．０を用いることを想定した場合、合成画像のサイズは例えば２１２５×１２８０画素とできる。この合成画像の面積から１／１デモザイク後画像と１／４デモザイク後画像の面積を減算すると、４／１デモザイク後画像に割り当てられる領域３７８の面積が算出される。

それを左右の画像で分けた場合、１画像当たりおよそ７３４×７３４画素のデータを４／１デモザイク後画像として要求することができる。このサイズは、２５６０×２５６０画素の撮影画像の１／３×１／３程度と比較的大きな値であり、人が画像の精細さを感じ取ったりホスト端末２０で何らかの画像解析を行ったりするのに十分な範囲と考えられる。つまり上記のような高い仕様で撮影を行っても、伝送帯域の拡張なく、仕様の高さが与える効果を十分に発揮することができる。

次に、同様の手法をホスト端末２０から表示装置１６への画像データの伝送に適用した場合について説明する。図１４はこの場合のホスト端末２０と表示装置１６の構成を詳細に示している。なおホスト端末２０のうち、図３で示したのと同様の機能を有するブロックには同じ符号を付している。

ホスト端末２０は、ユーザからの指示入力を取得する指示入力部３６、ホスト端末２０および表示装置１６を統括的に制御し、目的に応じた情報処理を行う情報処理部３８、表示に用いる画像を生成する画像処理部４０、送信用の画像データを生成する画像抽出部４００、撮像装置１２からの画像データを格納するメインメモリ４２、および、撮像装置１２および表示装置１６と画像データや必要な情報の送受信を行うインターフェースである通信部４４を含む。

指示入力部３６、情報処理部３８、画像処理部４０、メインメモリ４２、通信部４４はそれぞれ、図２で説明した機能を有する。ただし画像処理部４０が生成する、表示に用いる画像は、撮像装置１２から送信された撮影画像であってもよいし、自らが生成した３Ｄグラフィックスなどでもよい。撮像装置１２から撮影画像が複数の解像度で送信される場合は、それらに何らかの処理を施すのみでもよい。撮像装置１２から単一の解像度の画像のみが送信される環境であったり、自らが３Ｄグラフィックスを描画したりする場合は、フレームごとに複数の解像度の画像を生成する。この処理は、カメラ２２が行う縮小処理と同様でよい。

画像抽出部４００は、表示装置１６に表示すべき複数種類の画像で構成される合成画像のストリームを生成する。この合成画像は図１０、図１３を参照して説明したのと同様に、複数種類の画像データが個別の領域に配置された画像であり、行ごとに順次ストリームとして生成、出力される仮想的な画像である。通信部４４は当該ストリームを表示装置１６に送信する。なおホスト端末２０における画像処理の内容によって、出力準備が完了するタイミングが撮像装置１２の場合と異なるため、それに応じて合成画像の構成も変化する。

表示装置１６は、ホスト端末２０から画像データや必要な情報の送受信を行うインターフェースである通信部４０２、ホスト端末２０から送信された画像データを画像の種類ごとに分離するデータ分離部４０４、分離した画像データの一部、あるいはその拡大画像のデータを行単位で保持するＦＩＦＯバッファ４０８、４１２、４１６、それぞれのＦＩＦＯバッファに格納されたデータを補間して拡大画像のデータを出力する拡大部４１０、４１４、４１８を含む。表示装置１６はさらに、データ分離部４０４が分離した画像データの一部をフレーム単位で保持するフレームメモリ４０６、各種類の画像を用いて表示画像を生成する表示画像生成部４２０、生成された表示画像を表示する表示部４２２、表示画像のうちユーザが注視している箇所を検出する注視点検出部４２４を含む。

通信部４０２は、ホスト端末２０から送信された画像データをストリーム形式で受信する。また注視点検出部４２４が検出した、ユーザが注視している箇所に係る情報をホスト端末２０に送信する。データ分離部４０４は、送信された画像データを構成する複数種類の画像を分離し、ＦＩＦＯバッファ４０８、４１２、およびフレームメモリ４０６のいずれかにそのデータを格納する。以後、図１０で例示したように４／１デモザイク後画像、１／１デモザイク後画像、１／４デモザイク後画像、の３種類の画像が合成画像に含まれる場合を想定して説明するが、本実施の形態をそれに限る趣旨ではない。

この場合、４／１デモザイク後画像をフレームメモリ４０６に、１／１デモザイク後画像をＦＩＦＯバッファ４０８に、１／４デモザイク後画像をＦＩＦＯバッファ４１２に格納する。以後、１／１デモザイク後画像は４倍、１／４デモザイク後画像は１６倍にする拡大処理を施すことにより、それらに表れる像のサイズを４／１デモザイク後画像の像のサイズに合わせる。なおホスト端末２０から送信された合成画像のうち各解像度の画像のデータが含まれる領域、および元の撮影画像を復元する際に各解像度の画像を合成する位置に係る情報は、合成画像のデータとともにホスト端末２０から取得する。

ＦＩＦＯバッファ４０８、４１２はそれぞれ、１／１デモザイク後画像、１／４デモザイク後画像の横一列分の画素値をそれぞれ保持する複数（図では２つ）のラインバッファで構成される。つまり１／１デモザイク後画像の横一列の画素数をＷとしたとき、ＦＩＦＯバッファ４０８は１つのラインバッファにつきＷ個分、ＦＩＦＯバッファ４１２は１つのラインバッファにつきＷ／２個分の画素値を保持する。

拡大部４１０、４１４は、ＦＩＦＯバッファ４０８、４１２に格納されたデータを用いて画素を補間し縦横双方向に２倍ずつ拡大する。図１５は拡大部４１０、４１４による画像の拡大処理の一例を説明するための図である。拡大部４１０、４１４の右側はＦＩＦＯバッファ４０８、４１２に格納された画素列４２６の一部を示している。画像を２×２倍に拡大する場合、１つの画素当たり、横方向、縦方向、斜め方向に１つずつ画素を追加する必要がある。

横方向、縦方向に追加する画素の値は、各方向における隣接する２つ画素値を平均した値とする。斜め方向に追加する画素の値は、横方向、縦方向、斜め方向に隣接する４つの画素値の平均値とする。図１５において画素列４２６のうち「１」で示された画素を対象とした場合、図示するように、当該「１」の右に隣接する「２」の画素との間に、それらの画素値の平均値を画素値とする画素「Ａ」を追加する。また「１」の下に隣接する「３」の画素との間に、それらの画素値の平均値を画素値とする画素「Ｂ」を追加する。さらに「１」の右下に隣接する「４」の画素との間に、「２」、「３」、「４」の画素値の平均値を画素値とする画素「Ｃ」を追加する。

これを画素列４２６の各画素について繰り返すことにより、４倍に拡大された画像の画素列４２８が生成される。この手法では２行分の画素列からその間の１行分の画素列が生成されることから、ＦＩＦＯバッファ４０８、４１２はそれぞれ２つのラインバッファで構成する。ただし画像の拡大手法についてはその他の一般的な技術のいずれを採用してもよい。ＦＩＦＯバッファ４０８、４１２を構成するラインバッファの数は、採用する拡大手法に応じて決定する。

図１４に戻り、ＦＩＦＯバッファ４１６は、拡大部４１４が拡大した１／４デモザイク後画像の横一列分の画素値を保持する複数（図では２つ）のラインバッファで構成される。つまりＦＩＦＯバッファ４１６は１つのラインバッファにつきＷ個分の画素値を保持する。拡大部４１８は、ＦＩＦＯバッファ４１６に格納されたデータを用いて画素を補間し、縦方向、横方向に２倍ずつ拡大する。拡大部４１８による拡大手法は図１５を参照して上述したのと同様でよい。この場合、ＦＩＦＯバッファ４１６は２つのラインバッファで構成する。

表示画像生成部４２０は、フレームメモリ４０６に格納した４／１デモザイク後画像と、拡大部４１０から出力された、４倍に拡大された１／１デモザイク後画像、拡大部４１８から出力された、１６倍に拡大された１／４デモザイク後画像を合成して、一つの表示画像を生成する。各画像が表す領域の位置に基づき撮影画像を再構成するように合成することにより、画像中の領域によって詳細度の異なる表示画像を生成できる。

表示画像生成部４２０は表示画像の生成処理を行ごとに行い、表示部４２２に即時出力する。すなわち拡大部４１０、４１８から出力される行ごとのデータを取得すると、即時にその行の生成処理を行い表示部４２２における走査と同期するように出力する。これにより、通信部４０２による画像データの取得から、表示部４２２における表示までを低遅延に行える。このような構成を実現するために、本実施の形態の合成画像の構成が有効となる。

注視点検出部４２４は、そのようにして表示された画像のうち、ユーザがどの箇所を注視しているかを検出する。注視点の検出には実用化されている既存技術のいずれを採用してもよい。検出結果は通信部４０２を介してホスト端末２０に通知する。これにより、ホスト端末２０は、ユーザが注視している箇所を中心に最も解像度を高くすべき領域を決定し、さらにその周囲を２番目に解像度を高くすべき領域として決定できる。例えば前者の領域は４／１デモザイク後画像、後者の領域は１／１デモザイク後画像、全体領域として１／４デモザイク後画像を撮像装置１２に要求すれば、それらを用いて、ユーザが注視している箇所に近いほど高解像度となる画像を表示できる。

ただし高解像度とする領域をこれに限る趣旨ではなく、被写体であるユーザの顔など、画像中で重要な領域を別の手段で特定してもよい。この場合、注視点検出部４２４の機能を省略し、ホスト端末２０が画像解析により当該領域を特定してもよい。また上述のように、ホスト端末２０自身が複数解像度の画像データを生成してもよい。なおホスト端末２０は、ネットワーク１８を介して別の情報処理システムのホスト端末に同様のデータを送信してもよい。

図１６は表示装置１６において、ホスト端末２０から送信された画像データを用いて表示画像を生成する様子を模式的に示している。まず同図上段はホスト端末２０が生成する合成画像４３０である。当該合成画像４３０は基本的には撮像装置１２が生成する合成画像と同様の構成を有し、４／１デモザイク後画像のデータの領域４３２、１／１デモザイク後画像のデータの領域４３４、１／４デモザイク後画像のデータの領域４３６が個別に配置されている。

当該合成画像４３０は、ホスト端末２０から表示装置１６へラスタ順に入力される。データ分離部４０４はそのうち、４／１デモザイク後画像４３８をフレームメモリ４０６に、１／１デモザイク後画像４４０および１／４デモザイク後画像４４２をそれぞれ、ＦＩＦＯバッファ４０８およびＦＩＦＯバッファ４１２に格納する。そして１／１デモザイク後画像は４倍に、１／４デモザイク後画像は１６倍に拡大され、それらを撮影画像における元の位置で合成することにより表示画像４４４が生成される。なお同図において表示画像４４４を縮小して示している。

結果として表示画像４４４は、４／１デモザイク後画像の領域４４６、１／１デモザイク後画像の領域４４８、１／４デモザイク後画像の領域４５０を合成した、顔など重要部分に近づくほど解像度が高い画像となる。なお同図の表示画像４４４では、４／１デモザイク後画像の領域４４６、１／１デモザイク後画像の領域４４８が、合成前の各画像をそのまま反映した矩形となっているが、アルファブレンドにより、より自然に見えるようにしてもよい。例えばそれらの画像の領域に内接し内部を透明、外部を不透明、境界を半透明とする円形または楕円形のアルファマスクを準備する。合成時に当該マスクを用いることにより、各領域が円形または楕円形となるとともに、その境界において徐々に詳細度が変化するような自然な画像を表示できる。

このような画像表示手順において、表示画像４４４が表示部４２２においてラスタ順に表示されることを考慮すると、１／１デモザイク後画像、１／４デモザイク後画像の対応する行が同時期に入力されることが望ましい。また全ての期間において均一なデータサイズで画像データが送信されることが望ましい。結果として撮像装置１２において生成した合成画像と同じ配置で合成画像を生成し送信することが最も効率的である。これによりホスト端末２０から送信されたストリームの入力順に処理を施し表示させることが可能となり、ホスト端末２０からの送信に対し低遅延での表示が可能となる。

ただしこの表示のタイミングに合わせて、同一フレームの４／１デモザイク後画像を表示させるには、表示画像４４４において４／１デモザイク後画像の領域４４６を含む各行が出力されるタイミングで、当該４／１デモザイク後画像の各行のデータがフレームメモリ４０６に格納済みである必要がある。したがってこの場合における合成画像４３０は、撮像装置１２が生成する合成画像と異なり、１／１デモザイク後画像のデータの領域４３４の上側に、同じフレームの４／１デモザイク後画像のデータの領域４３２が存在するようにする。

すなわち１／１デモザイク後画像や１／４デモザイク後画像の出力より先に４／１デモザイク後画像のデータが出力されるようにする。なおこのような場合も、先行して４／１デモザイク後画像を出力する期間ｃと、１／４デモザイク後画像のみを出力する期間ｄが等しくなるように、４／１デモザイク後画像の領域サイズを決定することにより、表示装置の出力レートに対応する周期で、各フレームの表示に必要な画像のデータを送信できることになる。

一方、場合によっては、ホスト端末２０から送信する合成画像を、撮像装置１２からホスト端末２０への合成画像と同様の構成としてもよい。すなわち４／１デモザイク後画像の出力開始を１／１デモザイク後画像の出力開始と同時期とすることで後追いで送信するようにしてもよい。後述するように撮像装置１２からの入力データを即時表示させる場合は、１／１デモザイク後画像、１／４デモザイク後画像の出力速度を優先させるため、後者の態様が有効となる。

図１７は、撮像装置１２にステレオカメラを設け、表示画像に左右の画像を用いる場合に、ホスト端末２０から送信された画像データから表示画像を生成する様子を模式的に示している。なおこの態様は表示装置１６をヘッドマウントディスプレイで実現し、表示画面を２分割してなる左右の領域に、ステレオカメラが撮影した画像に基づく、視差のある左右の画像を表示する場合を想定している。この場合、図１４で示した表示装置１６の機能ブロックのうち、フレームメモリ４０６、ＦＩＦＯバッファ４０８、４１２、４１６、拡大部４１０、４１４、４１８を、左右の画像のそれぞれに対して設ける。また表示画像生成部４２０は、表示画面の左側の画像を出力後、右側の画像を出力する処理を行ごとに行う。

なお図示は省略しているが、この場合の画像は、ホスト端末２０においてディスプレイの表示方式に対応するように画像処理が施されているとする。当該画像処理は実用化されているヘッドマウントディスプレイの技術を適宜、適用することができる。この態様における合成画像４６０は、４／１デモザイク後画像のデータの領域４６２、左右の１／１デモザイク後画像のデータの領域４６４ａ、４６４ｂ、左右の１／４デモザイク後画像のデータの領域４６６ａ、４６６ｂで構成される。なお４／１デモザイク後画像のデータの領域４６２にも、左右の画像のデータが含まれており、その境界は当該領域の面積を２分割する線となる。

ホスト端末２０から合成画像４６０がストリーム形式で送信されると、表示装置１６のデータ分離部４０４は送信された順に、左右の画像のそれぞれにつき３種類の画像、合計６種類の画像のデータに分離する。そして１／１デモザイク後画像および１／４デモザイク後画像を、それぞれ４倍および１６倍に拡大し、４／１デモザイク後画像と合成する処理を左右の画像ごとに行う。そして処理が完了した行ごとに、左右の画像データを横方向につなげて出力することにより、表示部４２２には表示画像４６８が表示される。

この場合も図１６を参照して説明したのと同様、全体を表す１／４デモザイク後画像の拡大後のデータをラスタ順に出力していく過程において、１／１デモザイク後画像の領域に到達したら当該画像の拡大後のデータを、４／１デモザイク後画像の領域に到達したら当該画像のデータを、出力していくことにより、ホスト端末２０からのデータ送信に対し低遅延で画像を表示させることができる。また表示装置１６内で１／１デモザイク後画像、１／４デモザイク後画像の全体領域を展開する必要がないため、少ないラインバッファですむことになる。

表示部４２２の表示画面の解像度を左右の画像それぞれについて１９２０×２１６０画素とし、そこに１／４デモザイク後画像を用いて全体領域を表示させるとすると、合成画像４６０における１／４デモザイク後画像のデータの領域４６６ａ、４６６ｂのサイズはそれぞれ、２４０×１０８０画素となる。また１／１デモザイク後画像の表示時のサイズを１０８０×１０８０画素とすると、合成画像４６０における１／１デモザイク後画像のデータの領域４６４ａ、４６４ｂのサイズはそれぞれ、５４０×５４０画素となる。

表示装置１６の表示レートを６０ｆｐｓとし、ホスト端末２０／撮像装置１２間の伝送手段としてＨＤＭＩ(High-Definition Multimedia Interface、登録商標)を用いることを想定した場合、合成画像のサイズは例えば１９２０×１０８０画素とできる。この面積から１／１デモザイク後画像と１／４デモザイク後画像の面積を減算し左右の画像で分けると、１画像当たりおよそ６９７×６９７画素の領域を、４／１デモザイク後画像の詳細な画像で表すことができる。人が意識して見ることのできる範囲は限定的なため、例えば注視点を中心とした当該サイズの領域が精細であれば、高解像度化の効果は十分得られると考えられる。

図１８は注視点検出部４２４の構成例を示している。同図下段はヘッドマウントディスプレイ４７０とそれを装着したユーザの頭部４７２を上から見た様子を模式的に表している。ヘッドマウントディスプレイ４７０には上段で示したような表示画像４７６が表示され、ユーザが左右の目４７４ａ、４７４ｂでそれを見ている。ここで、注視点検出部４２４として、赤外線ＬＥＤ４７８ａ、４７８ｂ、赤外線カメラまたはＰＳＤセンサ４８０ａ、４８０ｂ、および画像解析装置４８２を設ける。

赤外線ＬＥＤ４７８ａ、４７８ｂはそれぞれ、ユーザの左右の目４７４ａ、４７４ｂに赤外線を照射する。赤外線カメラまたはＰＳＤセンサ４８０ａ、４８０ｂはそれぞれ、ユーザの左右の目４７４ａ、４７４ｂを撮影し、そのデータを画像解析装置４８２に供給する。画像解析装置４８２は、左右の目の撮影画像から、赤外線の角膜における反射位置と瞳孔の位置とを特定し、その位置関係からユーザの視線を特定する。この手法は角膜反射法として視線検出技術の分野で実用化されている。なお視線を検出する手法はこれに限らず、例えば可視光カメラで左右の目を撮影し、そのうち目頭と虹彩の位置関係から視線を特定する技術など一般的な手法のいずれを採用してもよい。

画像解析装置４８２は、そのように検出した視線と、表示画像４７６との交点４８４ａ、４８４ｂをユーザによる注視点とし、その位置座標を検出する。当該注視点の位置座標の情報をホスト端末２０へ送信することにより、ホスト端末２０では、４／１デモザイク後画像で表す領域、その周囲の１／１デモザイク後画像で表す領域、をそれぞれ決定することができる。そして上述した態様のように当該領域のデータのみを撮像装置１２へ要求するか、ホスト端末２０自身が複数解像度の撮影画像から切り出し処理を行うか、のいずれかにより、表示装置１６へ当該領域を含む画像のデータを送信する。この処理を継続して行うことにより、注視点の動きに対応して高解像度の箇所が動く表示画像を低遅延で表示できる。

これまで述べた、撮像装置１２からホスト端末２０への画像データの伝送形態と、ホスト端末２０から表示装置１６への画像データの伝送形態は組み合わせて実施することもできる。図１９は、双方の伝送経路で本実施の形態を実施した場合の、撮像装置１２における撮影から表示装置１６における画像表示までの処理手順を示すフローチャートである。このフローチャートは例えば、ホスト端末２０においてユーザが処理の開始指示を入力することにより開始される。

なおこのフローチャートは、主に画像表示に係るデータの送受信について示しているが、特にホスト端末２０は、表記していないゲームなどの各種情報処理を並行して行ってよい。まず撮像装置１２が撮影を開始し、ホスト端末２０に当該撮影画像のデータを送信する（Ｓ１０）。ホスト端末２０は当該データを用いて初期画像を生成し、表示装置１６に送信する（Ｓ１２）。

ここで送信される画像データは、初期画像用として一般的な構造を有していてよい。表示装置１６は、当該データを表示部４２２に表示させる（Ｓ１４）。これにより、撮影画像がそのまま表示画像として表示されるなどの初期状態となる。次に注視点検出部４２４は、ユーザの注視点の位置座標を検出し、当該情報をホスト端末２０に送信する（Ｓ１６）。なお顔検出などによりホスト端末２０が別途、表示画像の重要部分を特定する態様においては、Ｓ１６の処理は行わなくてよい。

ホスト端末２０は注視点の情報に基づき、４／１デモザイク後画像として要求する領域、１／１デモザイク後画像として要求する領域を決定し、１／４デモザイク後画像とともに撮像装置１２に要求する（Ｓ１８）。ただし要求する画像の組み合わせはこれに限らず、１／４デモザイク後画像も一部の領域としたり、さらに１／１６以下のデモザイク後画像を要求したりしてよい。撮像装置１２は、要求を受信した直後に撮影を開始した画像フレームの各解像度の画像から、要求された領域を抽出しながら合成画像の行ごとにつなげ、送信する（Ｓ２０）。

このとき４／１デモザイク後画像については、１／１デモザイク後画像の出力期間に応じて一度に出力するデータ量（画素数）を調整する。これを後続のフレームについても繰り返すことにより、均一なサイズのデータが途切れることなくホスト端末２０に送信され続ける。ホスト端末２０は、受信した画像データを画像の種類ごとに分離して、必要に応じた画像加工を行ったうえ（Ｓ２２）、再び合成画像を生成しながら表示装置１６に送信する（Ｓ２４）。この場合は上述したように、４／１デモザイク後画像のデータを他のデータより先に送信するように構成すると、表示装置１６における行ごとの表示に４／１デモザイク後画像のデータを間に合わせることできる。

ホスト端末２０は、撮像装置１２から送信された後続フレームの画像データについても同様に処理し、新たに形成した合成画像を送信し続けることにより、均一なサイズのデータが途切れることなく表示装置１６に送信され続ける。表示装置１６は、当該画像データを受信すると、それを画像の種類ごとに分離し、適宜拡大したあと撮影画像における元の位置に表示されるように合成して表示画像を生成し表示する（Ｓ２６）。表示装置１６は、ホスト端末２０から送信された後続フレームの画像データについても同様に処理し、表示を更新し続けることにより、撮影された動画の動きに対応する動画を表示できる。

一方、表示装置１６の注視点検出部４２４は、注視点検出処理を継続する（Ｓ１６）。注視点が動いた場合、ホスト端末２０はその結果に応じて撮像装置１２へ要求する画像の領域を変化させる（Ｓ１８）。これに従い、撮像装置１２からホスト端末２０へ送信する画像の領域、ひいてはホスト端末２０から表示装置１６へ送信する画像の領域を変化させることにより（Ｓ２０、Ｓ２２、Ｓ２４、Ｓ２６）、解像度の高い領域が注視点と連動する動画を表示できる。

図２０は、図１９で示した処理において、撮像装置１２からホスト端末２０へのデータ送信とホスト端末２０から表示装置１６へのデータ送信のタイミングの関係について説明するための図である。同図は縦方向に時間軸を表し、時間経過に応じて撮像装置１２およびホスト端末２０において生成、送信される合成画像の行の遷移を、それぞれ撮像装置１２およびホスト端末２０の領域に表している。なお同図では送信されるデータを左右のステレオ画像としているがそれに限る趣旨ではない。上述したように撮像装置１２からホスト端末２０へは、ホスト端末２０が要求した画像データの１フレーム分の合成画像５００が連続して送信される。

この合成画像の出力は、カメラにおける撮像と並列に行われるため、各フレームのデータの出力開始時刻Ｔ０、Ｔ２、・・・はカメラの垂直同期に対応するタイミングとなる。なお同図では着目しているフレームのデータを明確にするため、それ以外のデータに影をつけている。これまで述べた例のように１／４デモザイク後画像を全体領域とすると、時刻Ｔ０において１／４デモザイク画像の出力が開始され、その後、要求された領域の画素値が生成された時点で、１／１デモザイク後画像、４／１デモザイク後画像の出力が開始される。

１／１デモザイク後画像は１／４デモザイク後画像より領域が小さいうえ即時出力しているため、最も早いタイミングでデータ出力が完了する（時刻Ｔ１）。次いで時刻Ｔ２で１／４デモザイク後画像のデータ出力が完了し、時刻Ｔ３で４／１デモザイク後画像のデータ出力が完了する。ホスト端末２０では送信された合成画像を４／１デモザイク後画像５０２、１／１デモザイク後画像５０４、１／４デモザイク後画像５０６に分離し、メインメモリ４２に格納する。そして画像処理モジュール５０８に適宜入力したあと、加工後の画像データによる合成画像５１０の生成および出力を開始する。

なお画像処理モジュール５０８は図１４の情報処理部３８と画像処理部４０の協働により実現し、ヘッドマウントディスプレイの表示方式に応じた画像加工、顔検出、３Ｄオブジェクトの描画など所定の処理を行う。画像処理モジュール５０８への入力は、一旦、メインメモリ４２に各画像の領域全体を展開したあとで行ってもよいし、撮像装置１２から送信された行ごとに即時に行ってもよい。また場合によっては画像処理を施さなくてもよいし、一部の画像のみ画像処理を施してもよい。

いずれにしろ合成画像５１０では、まず４／１デモザイク後画像の出力を開始したあと（時刻Ｔ４）、全体領域を表す１／４デモザイク後画像の出力を開始する（時刻Ｔ５）。１／１デモザイク後画像の出力開始タイミングは、要求された領域の高さ方向の位置によって、対応する行の１／４デモザイク後画像の出力タイミングに合わせることにより、自ずと決定される。各フレームの１／４デモザイク後画像の出力を開始する時刻Ｔ５、Ｔ６、・・・を表示装置の垂直同期に対応させることにより、ホスト端末２０から送信された１／１デモザイク後画像および１／４デモザイク後画像は、行ごとに即時表示することが可能となる。

この態様においては、時刻Ｔ０から時刻Ｔ５までの時間Ｔｄだけ、同一フレームの撮影開始から表示開始までの時間が遅延することになるが、その時間を利用して画像処理を許容できるとともに、４／１デモザイク後画像を他のデータより先に送信できるため、同一フレームの全ての解像度の画像を共に表示させることができる。遅延時間はホスト端末２０における処理に必要な時間に応じ、かつ表示装置１６の走査と同期するように調整する。

一方、撮影画像を可能な限り遅延なく表示させる態様も考えられる。図２１は撮像から表示までの時間を短縮する態様におけるデータ送信のタイミングの関係について説明するための図である。図の表し方は図２０と同様である。そして図２０で示した態様と同様、撮像装置１２からホスト端末２０へは、カメラの垂直同期に対応するタイミングで各フレームの合成画像の生成および出力が開始される。一方、この態様においては、撮像装置１２から送信された、１／１デモザイク後画像および１／４デモザイク後画像の行ごとのデータを、ホスト端末２０はそのまま表示装置１６へ送信する。

すなわち時刻Ｔ１０で１／４デモザイク後画像が送信されたら、それをそのまま出力する（時刻Ｔ１１）。このとき１／４デモザイク後画像の取得から送出までの時間（Ｔ１１−Ｔ１０）は、データ伝送およびメモリへの格納／読み出しに必要な微小時間となる。後続の行も、同じ微少時間の遅延で表示装置１６へ送信することにより、１／１デモザイク後画像および１／４デモザイク後画像が撮影と並行して順次表示される。その結果、１／４デモザイク後画像の最終行のデータが撮像装置１２から送信された時刻Ｔ１２から微少時間の遅延で、ホスト端末２０から表示装置１６への、同一フレームの１／４デモザイク後画像の送信も完了する（時刻Ｔ１３）。

ただしこの態様では、図２０で示した場合と異なり、ホスト端末２０は４／１デモザイク後画像のデータを、同一フレームの他の画像のデータより先に出力することができない。これは、１／４デモザイク後画像のデータを出力する時刻Ｔ１１では、撮像装置１２においても４／１デモザイク後画像の該当領域のデータが未生成のためである。そのためこの態様においては、４／１デモザイク後画像のデータを１フレーム分遅らせて出力する。すなわち合成画像５１２において、１／１デモザイク後画像のデータの領域５１４ａ、５１４ｂの下に、同じフレームの４／１デモザイク後画像のデータの領域５１６を配置する。

４／１デモザイク後画像が１フレーム分遅れることを除き、全体的な構成や出力周期は図２０の合成画像５１０と同じとする。これにより、次のフレームの１／１デモザイク後画像、１／４デモザイク後画像の即時表示に合わせて前フレームの４／１デモザイク後画像を表示する。つまりこの態様では、広範囲を表す１／４デモザイク後画像、１／１デモザイク後画像の表示の即時性を優先させているといえる。このような表示形態は、撮像装置１２、ホスト端末２０、表示装置１６をミラーレス一眼レフカメラとして一体的に実現した場合、視野の変化に対し電子ファインダにおける表示の遅延を軽減できる点で特に効果的である。

これまでの説明では主に、４／１デモザイク後画像の一部の領域、１／１デモザイク後画像の一部の領域、１／４デモザイク後画像の全体領域により合成画像を形成する場合について述べた。一方、合成画像の構成は、表示内容や情報処理の内容に応じてその組み合わせや領域を様々に変化させることができる。図２２は合成画像の複数の構成例を示している。同図では、各合成画像のうち４／１デモザイク後画像の領域に「４／１」、１／１デモザイク後画像の領域に「１／１」、１／４デモザイク後画像の領域に「１／４」と記載して区別している。また左右のステレオ画像を送信対象とすることを想定している。

同図（Ａ）の合成画像は、１／１デモザイク後画像と１／４デモザイク後画像で構成されている。図１３で説明したのと同様、５Ｇｂｐｓの伝送速度を有するＵＳＢ３．０を用いて６０ｆｐｓのデータを送信することを想定した場合、図示するように、左右の１／１デモザイク後画像はそれぞれ７４２×１２８０画素、左右の１／４デモザイク後画像はそれぞれ３２０×１２８０画素のデータを、１フレームに対する合成画像に含めることができる。

同図（Ｂ）の合成画像は、４／１デモザイク後画像と１／４デモザイク後画像で構成されている。この場合、図示するように、左右の４／１デモザイク後画像は合計１４８５×１２８０画素、左右の１／４デモザイク後画像はそれぞれ３２０×１２８０画素のデータを１フレームに対する合成画像に含めることができる。４／１デモザイク後画像のデータ領域を左右の画像に分けた場合、それぞれ９７４×９７４画素の領域のデータを含めることができる。

同図（Ｃ）の合成画像は、左右の４／１デモザイク後画像のみで構成されている。この構成にすると、図示するように、それぞれ１２５０×１０８０画素のデータを１フレームに対する合成画像に含めることができる。伝送帯域や処理性能には限りがあるため、解像度の向上と画角の拡張は本来、トレードオフの関係にある。一方、図１３で示した合成画像や図２２の（Ａ）や（Ｂ）の合成画像によれば、１／４デモザイク後画像で画角を拡張しつつ、４／１デモザイク後画像や１／１デモザイク後画像により重要な部分については高解像度で表すことにより、両立を図っている。

また合成画像として必要な部分のみを送信することにより、伝送帯域を圧迫せずに高解像度の領域を十分に確保することができる。このことは、４／１デモザイク後画像のみを送信する図２２の（Ｃ）の合成画像についても当てはまる。なお図１３や図２２で示したような合成画像の構成を、時間経過とともに切り替えるようにしてもよい。例えばユーザの注視点が動く速度が所定のしきい値より大きい場合、ユーザが見たい箇所が定まっていないことが考えられるため、図２２の（Ａ）のように、４／１デモザイク後画像を送信しない代わりに１／１デモザイク後画像の広範囲の領域を送信する。

そして注視点の動く速度がしきい値以下となったら、見たい箇所が定まってきたと判定し、図１３や図２２の（Ｂ）の合成画像のように当該箇所を含む領域の４／１デモザイク後画像を送信する。また周辺領域の動きが乏しかったり重要度が低かったりする撮影環境においては、ユーザが注視している領域や重要な領域のみを高レートで更新するため図２２の（Ｃ）の合成画像によって４／１デモザイク後画像のみを送信し、その周囲は静止画としたり低フレームレートで更新したりしてもよい。このように、撮影環境、表示内容、ユーザの視線の動きなどに応じて合成画像の構成を変化させることにより、状況に応じて必要なデータを効率的に送信することができる。

図２３は、撮像および表示を１２０ｆｐｓで運用した場合のデータ構成を例示している。このとき撮像装置１２からホスト端末２０への伝送はＵＳＢ３．０、ホスト端末２０から表示装置１６への伝送はＨＤＭＩを用いるとする。また撮像装置１２はそれぞれ２５６０×２５６０画素のステレオカメラを有するとする。そしてビニングにより１２８０×１２８０画素のステレオ画像５２０を１２０ｆｐｓで撮影する。この場合、撮像装置１２からホスト端末２０へ送信する際の合成画像５２２の面積は、６０ｆｐｓの場合の半分以下とする必要がある。

そこで例えば、元のステレオ画像５２０をそれぞれ１／４倍に縮小した６４０×６４０画素の画像の１行分を左右に分割して２行にわたって出力しつつ、元のステレオ画像５２０のうちそれぞれ４５２×４５２画素の領域５２４を３２０画素ずつ出力すると、合成画像は９６０×１２８０画素となり要件を満たす。なおここではビニング後の画像を「１／１」、それを１／４倍に縮小した画像を「１／４」と表現している。ただし１／１デモザイク後画像は、図１３などで説明した場合の４／１デモザイク後画像と同様の役割を有する。

つまり１／１デモザイク後画像のデータをフレームメモリ１５０に格納することにより、領域５２４のデータが生成されたタイミングに関わらず１２８０の時間ステップで徐々に出力されるようにする。このような画像データを受信したホスト端末２０は、１／４デモザイク後画像を１／４倍に縮小して１／１６デモザイク後画像を生成する。また元の１／４デモザイク後画像は必要領域のみを切り出し３６０×３６０画素の画像とする。その後、１／４デモザイク後画像と１／１６デモザイク後画像は対応する行が同時期に出力されるようにし、１／１デモザイク後画像は先行して表示装置１６のフレームメモリ４０６に格納されるようにすると、合成画像５２６は図示するように、１２８０×７２０画素のサイズとなる。

このような構成により、当該合成画像の面積は、図１７で示した６０ｆｐｓの場合の半分以下となっている。当該画像データを受信した表示装置１６では、１／１６デモザイク後画像を１６倍、１／４デモザイク後画像を４倍し、１／１デモザイク後画像と合成することにより、１２８０×１２８０画素の左右の画像が復元され、領域によって解像度が高くなっている表示画像５２８を表示できる。このように１２０ｆｐｓの高フレームレートであっても、必要な伝送帯域を変化させずに遅延の少ない伝送形態を確立できる。

以上述べた本実施の形態によれば、表示や情報処理に用いる複数種類の画像データをストリーム形式で送信する際、ストリームとして、行ごと、または一行を分割した単位でつなげる画像と、行と関わりなくつなげる画像とを設ける。撮影時や表示時の走査に同期させるなど、前者の画像データの出力に拘束条件を課しても、後者の画像を単位時間当たりに出力するデータサイズの調整に用いることができるため、データ出力の即時性と伝送データサイズの定常化を両立させることができる。また、一部の領域のデータのみを選択的に送信できるとともに伝送データサイズをあらかじめ設定した値以下に収めることができる。

結果として、撮影や表示時のフレームレートや解像度が増加しても、限られた伝送帯域で最大限のデータを送信できるうえ、低遅延での伝送が可能となる。低解像度であってもより広い範囲を表した画像に時間的な拘束条件を課すことにより、表示画像全体として即時性があるような印象を与えることができる。また人が見ている部分や重要な部分については高解像度画像を表示することにより、見た目の精細さを損なうことなく伝送データサイズを抑えることができる。

さらに、視線の動きや撮影環境、表示内容などに応じて伝送する画像の種類やその領域を自由に変化させられるため、データサイズや時間的な拘束条件を満たしながら、状況の変化に応じた最適な表示を臨機応変に実現できる。

実施形態２
実施形態１では撮影画像のうち送信対象の領域を全て矩形としていたのに対し、本実施形態では円形または楕円形とする。この態様における撮像装置１２、ホスト端末２０、表示装置１６の構成は、基本的には実施形態１で説明したのと同様でよい。また実施形態１と同様、撮像装置１２からホスト端末２０へのデータの伝送、およびホスト端末２０から表示装置１６へのデータの伝送はその形態を独立に設定できるため、例えばどちらか一方に実施形態２を適用し、他方に実施形態１を適用することも可能である。

図２４は本実施の形態において、撮像装置１２にステレオカメラを設けた場合に出力される合成画像の構成を説明するための図である。ただし撮像装置１２を単眼のカメラで構成してもよい。同図上段は撮影画像６１０ａ、６１０ｂを、基準である１／１デモザイク後画像のサイズで表している。ここで図１３と同様、ホスト端末２０が、撮影画像６１０ａ、６１０ｂのうち、被写体である人の顔の領域６１２ａ、６１２ｂの４／１デモザイク後画像、その周囲を含めた領域６１４ａ、６１４ｂの１／１デモザイク後画像、および撮影画像６１２ａ、６１２ｂ全体の１／４デモザイク後画像を要求するとする。

このとき本実施の形態では上述のように、４／１デモザイク後画像の領域６１２ａ、６１２ｂおよび１／１デモザイク後画像の領域６１４ａ、６１４ｂを円形または楕円形とする。したがってホスト端末２０は、例えば撮影画像上での中心座標と半径等でこれらの領域を指定する。撮像装置１２のデータ抽出部１８４は、ＦＩＦＯバッファ１７０に格納された１／１デモザイク後画像の行のうち、領域６１４ａ、６１４ｂに含まれる画素以外の画素のデータを破棄しながら、各時間ステップにおいて左右の１／１デモザイク後画像の当該領域内の画素列と左右の１／４デモザイク後画像の１／２行分の画素列をこの順でつなげて出力する。

その結果、各時間ステップには、必要なデータを出力する時間以外に余剰時間が生じる。そこで当該時間を利用して、４／１デモザイク後画像の領域６１２ａ、６１２ｂのデータをフレームメモリ１５０から読み出して出力する。このとき４／１デモザイク後画像については、左右の撮影画像のうち一方の画像の要求された領域のデータ出力が完了したらそれに続けて他方の画像のデータを出力する。４／１デモザイク後画像および１／１デモザイク後画像のデータの出力開始のタイミングは、実施の形態１と同様、ホスト端末２０から指定された領域のデータが生成されるタイミングに依存する。

結果として合成画像６２０は、図示するように、左右の画像の１／１デモザイク後画像のうち要求されたデータの領域６２４ａ、６２４ｂ、左右の画像の１／４デモザイク後画像のデータの領域６２６ａ、６２６ｂ、および４／１デモザイク後画像のうち要求されたデータの領域６２２で構成される。この例では、左右の１／１デモザイク後画像における抽出対象の円形領域の各行の画素列と、１／４デモザイク後画像の画素列が、どの時間ステップにおいても直接接続されるように、１／１デモザイク後画像の出力開始タイミングを調整している。

したがって合成画像６２０において１／１デモザイク後画像のデータの領域６２４ａ、６２４ｂは、全体としては図示するような半楕円形となる。一方、４／１デモザイク後画像のデータの領域６２２は、合成画像６２０のうち１／１デモザイク後画像のデータの半楕円形の領域６２４ａ、６２４ｂと１／４デモザイク後画像のデータの領域６２６ａ、６２６ｂ以外の領域を埋めるように構成される。ここで領域６２２は、元の撮影画像における左右の円形領域６１２ａ、６１２ｂのデータを、面積を上下に２分割してなる各領域に含む。

なお合成画像における１／１デモザイク後画像のデータの領域は図示する形状に限らず、例えば元の撮影画像６１０ａ、６１０ｂにおける抽出対象の領域６１４ａ、６１４ｂの円または楕円の形状を保つように接続してもよい。この場合も、合成画像のうち左右の１／１デモザイク後画像のデータの領域である２つの円または楕円の周囲を埋めるように４／１デモザイク後画像のデータの領域を接続すればよい。

図２５は本実施の形態において、撮像装置１２にステレオカメラを設け、表示画像に左右の画像を用いる場合に、ホスト端末２０から送信された画像データから表示画像を生成する様子を模式的に示している。なおこの態様は実施形態１において図１７で説明したのと同様、表示装置１６をヘッドマウントディスプレイで実現し、表示画面を２分割してなる左右の領域に、ステレオカメラが撮影した画像に基づく、視差のある左右の画像を表示する場合を想定している。

この場合、ホスト端末２０は、図２４で説明したのと同様の原理で、４／１デモザイク後画像のデータの領域６４２、左右の１／１デモザイク後画像のデータの領域６４４ａ、６４４ｂ、左右の１／４デモザイク後画像のデータの領域６４６ａ、６４６ｂで構成される合成画像６４０を生成しながらラスタ順に表示装置１６に出力する。すなわち１／１デモザイク後画像のデータの領域６４４ａ、６４４ｂは全体として半楕円形とし、その周囲を埋めるように４／１デモザイク後画像のデータの領域６４２を構成する。あるいは１／１デモザイク後画像のデータの領域を２つの円形または楕円形としてもよい。

４／１デモザイク後画像のデータの領域６４２は、その面積を上下に２等分してなる各領域が、左右の撮影画像における円形または楕円形の領域のデータを表す。このとき実施形態１と同様、出力されたデータを表示装置１６においてラスタ順に即時に表示できるようにするため、１／１デモザイク後画像のデータの領域６４４ａ、６４４ｂの上側に、同じフレームの４／１デモザイク後画像のデータの領域６４２が存在するようにする。

すなわち１／１デモザイク後画像や１／４デモザイク後画像の出力より先に４／１デモザイク後画像のデータが出力されるようにする。なお場合によっては、ホスト端末２０から送信する合成画像を、撮像装置１２からホスト端末２０への合成画像と同様の構成としてもよい。この場合は上述のように、４／１デモザイク後画像を１フレーム分遅れて表示する。

ホスト端末２０から合成画像６４２がストリーム形式で送信されると、表示装置１６のデータ分離部４０４は、送信された順に、左右の画像のそれぞれにつき３種類の画像、合計６種類の画像のデータに分離する。そして１／１デモザイク後画像および１／４デモザイク後画像を、それぞれ４倍および１６倍に拡大し、４／１デモザイク後画像と合成する処理を左右の画像ごとに行う。４／１デモザイク後画像および１／１デモザイク後画像の領域のサイズや合成位置については、ホスト端末２０から通知された情報を参照する。

これにより４／１デモザイク後画像および１／１デモザイク後画像の円形または楕円形の領域が、１行ずつ１／４デモザイク後画像の対応する行に合成されることになる。そして処理が完了した行ごとに、左右の画像データを横方向につなげて出力することにより、表示部４２２には、重要な箇所ほど高い詳細度で表された表示画像６４８が表示される。

本実施の形態によっても、実施形態１について上述したのと同様の効果が得られる。さらに、４／１デモザイク後画像や１／１デモザイク後画像など高解像度の画像のデータのうち必要な領域のみを厳選して伝送することにより、限られた伝送帯域でさらに効率的なデータ伝送を実現できる。具体的には、上述のように円形または楕円形のアルファマスクにより高解像度の画像を合成した画像を表示するような場合や、顔認識、表情認識など高解像度画像を用いた画像解析の対象領域が円形に近い形状である場合などにおいて、周囲の余分な領域のデータを伝送せずに済む。

また伝送する合成画像において、１／１デモザイク後画像など行単位の出力が必要な高解像度の画像データの面積が小さくなることにより、４／１デモザイク後画像など出力単位に拘束条件のない高解像度の画像データに割り当てられる面積が大きくなる。例えば前者を正方形で抽出した場合に比べ、それに内接する円形で抽出すれば、当該データの伝送効率は４／π倍向上するため、その分を後者に割り当てられる。結果として、元の撮影画像における４／１デモザイク後画像等の抽出領域を大きくしたり、抽出領域を変化させない場合は１フレーム当たりの出力完了のタイミングを早めたりすることが可能となる。

実施形態３
実施形態１および２では、撮像装置１２やホスト端末２０は基本的に、ＲＡＷ画像またはそのデモザイク後画像のデータを構成する画素列を接続したもの、すなわち非圧縮のデータを出力した。本実施の形態ではそのうち、時間的拘束条件の緩い最高解像度のデータに圧縮処理を施してから出力する。出力時の各解像度の画像データの接続形態、すなわち合成画像の構成は、実施形態１や２と同様でよい。また本実施の形態は、撮像装置１２からホスト端末２０へのデータの伝送、およびホスト端末２０から表示装置１６へのデータの伝送で独立に適用できるため、どちらか一方に適用してもよいし、双方に適用してもよい。

図２６は、本実施の形態を撮像装置１２からホスト端末２０へのデータの伝送に適用した場合の画像送出部の構成を示している。同図の画像送出部７３２は、実施の形態１における画像送出部３２の代わりに撮像装置１２に設けられるものであり、図５の画像送出部３２と同じ機能を有するブロックには同じ符号を付し説明を省略する。

本実施の形態の画像送出部７３２は、カメラ２２から入力され一旦フレームメモリ７１２に格納されたＲＡＷ画像またはｎ^２／１デモザイク後画像のデータを圧縮する圧縮部７１０を含み、フレームメモリ７１２は圧縮後のデータを格納する領域を含む。以後、これまでの説明と同様、４／１デモザイク後画像を対象として説明する。圧縮部７１０は、カメラ２２からフレームメモリ７１２に、４／１デモザイク後画像のうち圧縮単位のデータが格納される都度、順次圧縮してフレームメモリ７１２に格納し直す。

データ抽出部１８４は、フレームメモリ７１２に格納された圧縮後の画像データのうち、ホスト端末２０から要求された領域のデータを読み出す。そして実施形態１または実施形態２で説明したように、生成・出力すべき合成画像のうち他の解像度の画像データの領域以外の領域を埋めるように接続して、行ごとにデータストリームとしてデータ形成部１８６へ供給する。結果として、出力されるストリームには、各画素が画像の画素としてその色情報を表す画素列と、画像の画素と必ずしも一対一に対応しない圧縮後の値を表す画素列とが混在する。

なお４／１デモザイク後画像の圧縮後のデータを他の画像のデータと接続できれば、圧縮部７１０が圧縮する対象は４／１デモザイク後画像全体でなくてもよく、データ抽出部１８４が抽出する領域のみを圧縮してもよい。圧縮方式は既存のいかなるものを採用してもよいが、所定数の画素のブロック単位で定率圧縮する手法を採用すると、合成画像において当該データに割り当て可能な領域と圧縮率に基づき、元の４／１デモザイク後画像における抽出可能な領域の画素数の上限を容易に見積もることができる。

出力対象の４／１デモザイク後画像を圧縮してから接続する以外、画像送出部７３２が行う処理は実施形態１と同様でよい。一方、ホスト端末２０では、このようなデータを行ごとに取得すると、情報処理部３８が、各種類の画像をメインメモリ４２に展開する際、４／１デモザイク後画像については伸張処理を施しておく。これにより画像処理部４０は、実施形態１と同様に画像処理を行うことができる。４／１デモザイク後画像について画像処理を実施する必要がないときは、圧縮後のデータを伸張することなく表示装置１６へそのまま送信してもよい。

図２７は、本実施の形態をホスト端末２０から表示装置へのデータの伝送に適用した場合の表示装置の構成を示している。同図の表示装置は図１で示した表示装置１６に対応するが、実施形態１と区別するために表示装置７１６としている。また図１４で示した表示装置１６と同じ機能を有するブロックには同じ符号を付し説明を省略する。ここで当該表示装置７１６にデータを送信するホスト端末２０は、図１４で示したものと同様の構成を有するが、当該データには上述のとおり、４／１デモザイク後画像の圧縮後のデータが含まれる。

このデータは、撮像装置１２が圧縮したものでもよいし、ホスト端末２０が圧縮したものでもよい。後者の場合、ホスト端末２０の画像処理部４０には、４／１デモザイク後画像の出力すべき領域のデータを圧縮する機能を設ける。表示装置７１６は、データ分離部４０４が分離した複数種類の画像のうち、４／１デモザイク後画像の圧縮後のデータを伸張する伸張部７２０を含む。伸張部７２０により伸張された画像のデータがフレームメモリ４０６に格納されれば、それ以外の処理は実施形態１の表示装置１６と同様でよい。

本実施の形態によっても、実施形態１や２について上述したのと同様の効果が得られる。さらに、４／１デモザイク後画像など最高解像度の画像を圧縮してから他の解像度の画像のデータと接続し出力することにより、限られた伝送帯域でさらに効率的なデータ伝送を実現できる。結果として、元の撮影画像における４／１デモザイク後画像等の抽出領域を大きくしたり、抽出領域を変化させない場合は１フレーム当たりの出力完了のタイミングを早めたりすることが可能となる。

ここで４／１デモザイク後画像など最高解像度の画像は出力のタイミングに対する拘束条件が緩いため、圧縮処理や伸張処理が加えられても、その出力完了が低解像度画像の１フレーム分のデータ出力期間に間に合えば、実施形態１で説明した低遅延処理の流れを妨げることがない。抽出領域の位置や圧縮処理の手法によって１フレーム分のデータ出力期間に間に合わない場合は、最高解像度の画像のみ、他の解像度の画像より１フレーム分、出力を遅らせてもよい。このようにしても、その他の解像度のデータが低遅延で伝送されることにより、表示画像全体として即時性があるような印象を与えることができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０ 情報処理システム、 １２ 撮像装置、 １６ 表示装置、 ２０ ホスト端末、 ２２ カメラ、 ３２ 画像送出部、 ３４ 通信部、 ３６ 指示入力部、 ３８ 情報処理部、 ４０ 画像処理部、 ４２ メインメモリ、 ４４ 通信部、 １０２ 画像取得部、 １０４ デモザイク部、 １０８ サイズ調整部、 １３５ ピラミッドフィルタ部、 １３７ 第１フィルタ、 １４１ 第２フィルタ、 １４５ 第３フィルタ、 １５０ フレームメモリ、 １７０ ＦＩＦＯバッファ、 １７２ ＦＩＦＯバッファ、 １７４ ＦＩＦＯバッファ、 １７６ ＦＩＦＯバッファ、 １８２ 制御部、 １８４ データ抽出部、 １８６ データ形成部、 ４００ 画像抽出部、 ４０２ 通信部、 ４０４ データ分離部、 ４０８ ＦＩＦＯバッファ、 ４１０ 拡大部、 ４１２ ＦＩＦＯバッファ、 ４１４ 拡大部、 ４１６ ＦＩＦＯバッファ、 ４１８ 拡大部、 ４２０ 表示画像生成部、 ４２２ 表示部、 ７１０ 圧縮部、 ７１２ フレームメモリ、 ７１６ 表示装置、 ７２０ 伸張部、 ７３２ 画像送出部。

Claims (24)

1. 対象物を動画撮影して得られる画像フレームから複数種類の画像のデータを生成し行ごとに出力する画像データ生成部と、
   前記複数種類の画像のデータから、ホスト端末から要求された領域の画素列をそれぞれ抽出したうえ、所定の単位で循環して接続してなるストリームを生成し、前記ホスト端末に送信する画像送出部と、を備え、
   前記画像送出部は、特定の種類の画像の接続単位の画素数を、その他の種類の画像の接続単位の画素数に応じて変化させることを特徴とする撮像装置。
2. 前記画像送出部は、前記特定の種類の画像の接続単位の画素数を、接続すべき複数種類の画像の接続が一巡したときのストリームの長さが所定値となるように決定することを特徴とする請求項１に記載の撮像装置。
3. 前記画像送出部は、前記その他の種類の画像の接続単位の画素数を固定値とすることを特徴とする請求項１または２に記載の撮像装置。
4. 前記画像送出部は、前記その他の種類の画像の接続単位の画素数を、前記要求された領域の一行分またはそれを所定数に等分した画素数とすることを特徴とする請求項１から３のいずれかに記載の撮像装置。
5. 前記画像送出部は、前記画像データ生成部において、前記その他の種類の画像の一つの行の画素列の生成が開始される前に、当該画像の前の行の抽出した画素列を前記ストリームに接続し終えることを特徴とする請求項１から４のいずれかに記載の撮像装置。
6. 前記画像送出部は、前記その他の種類の画像の１フレーム分の画素列を前記ストリームに接続し終えたら、前記特定の種類の画像の残りの画素列に、次の画像フレームの前記その他の種類の画像の画素列を接続することを特徴とする請求項１から５のいずれかに記載の撮像装置。
7. 前記画像データ生成部は、対象物を既知の距離を隔てた左右の視点から撮影する２つのカメラが撮影したステレオ画像のそれぞれから前記複数種類の画像のデータを対で生成し、
   前記画像送出部は、前記その他の種類の画像については前記対のうち一方の画像の接続単位の画素列の後に他方の対応する位置の接続単位の画素列を接続し、前記特定の種類の画像については前記対のうち一方の画像の画素列を全てストリームに接続し終えたら他方の画像の画素列の接続を開始することを特徴とする請求項１から６のいずれかに記載の撮像装置。
8. 前記その他の種類の画像は、前記ホスト端末から要求された領域に応じて、接続単位の画素数を可変値とする種類の画像を含むことを特徴とする請求項１または２に記載の撮像装置。
9. 前記画像送出部は、前記特定の種類の画像に圧縮処理を施してなる圧縮画像の画素列を、前記その他の種類の画像の非圧縮の画素列に接続して前記ストリームを生成することを特徴とする請求項１または２に記載の撮像装置。
10. 一画面内に表示すべき複数種類の画像のデータを生成する画像処理部と、
    前記複数種類の画像のデータの行を構成する画素列を、所定の単位で循環して接続してなるストリームを生成する画像抽出部と、
    前記ストリームを表示装置に送信する通信部と、を備え、
    前記画像抽出部は、特定の種類の画像の接続単位の画素数を、その他の種類の画像の接続単位の画素数に応じて変化させることを特徴とする情報処理装置。
11. 一画面内に表示すべき複数種類の画像のデータの行を構成する画素列を、所定の規則で定まる画素数ごとに接続してなるストリームであって、各種類の画像のうち表示すべき領域の１行分またはそれを所定数に等分した画素数を接続単位とする第１種の画像と、接続された複数種類の画像の接続が一巡したときのストリームの長さが所定値となるような画素数を接続単位とする第２種の画像のデータを含むストリームをホスト端末から受信する通信部と、
    受信した前記ストリームに含まれる前記第２種の画像の画素列を接続単位と関わりなく保存するフレームメモリと、
    前記ストリームに含まれる前記第１種の画像の接続単位の画素列を受信する都度、当該画素列から表示画面の１行に含まれる画素列を生成するとともに、前記第２種の画像のうち対応する行に含まれる画素列を前記フレームメモリから読み出し、表示画面の当該行の出力走査に合わせて、それらを表示すべき位置に出力する表示画像生成部と、
    を備えることを特徴とする表示装置。
12. 前記ストリームは、前記第１種の画像として、表示画像全体を表す第１の解像度の画像のデータと、前記第２種の画像として、表示画像の一部の領域を表す、前記第１の解像度の４^ｎ倍（ｎは自然数）である第２の解像度の画像のデータと、を含み、
    前記表示画像生成部は、前記第１の解像度の画像を４^ｎ倍に拡大したうえ、前記第２の解像度の画像が表す領域に当該第２の解像度の画像を重畳させて出力することにより、領域によって詳細度の異なる１つの画像を出力することを特徴とする請求項１１に記載の表示装置。
13. 表示された画像に対するユーザの注視点を検出し前記ホスト端末に通知する注視点検出部をさらに備え、
    前記第２の解像度の画像は、前記表示画像のうち前記ホスト端末が前記注視点を含むように決定した領域の画像であり、
    前記表示画像生成部は、前記注視点の動きに応じて高い詳細度で表される領域が移動する画像を出力することを特徴とする請求項１２に記載の表示装置。
14. 前記ストリームは、前記第１種の画像として、表示画像全体を表す最低解像度の画像およびその一部の円形領域を表す中間解像度の画像のデータと、前記第２種の画像として、前記中間解像度の画像の一部の円形領域を表す最高解像度の画像のデータと、を含むことを特徴とする請求項１１に記載の表示装置。
15. 前記ストリームは、前記第１種の画像の非圧縮のデータと前記第２種の画像の圧縮されたデータを接続してなり、
    前記ストリームから抽出した前記第２種の画像の圧縮されたデータを伸張して前記フレームメモリに格納する伸張部をさらに備えたことを特徴とする請求項１１に記載の表示装置。
16. 対象物を動画撮影して得られる画像フレームに基づく動画表示を行う、撮像装置、ホスト端末および表示装置からなる情報処理システムであって、
    前記撮像装置は、
    前記画像フレームから複数種類の画像のデータを生成し行ごとに出力する画像データ生成部と、
    前記複数種類の画像のデータから、前記ホスト端末から要求された領域の画素列をそれぞれ抽出したうえ、所定の単位で循環して接続してなるストリームを生成し、前記ホスト端末に送信する画像送出部と、を備え、
    前記ホスト端末は、
    前記撮像装置から送信されたストリームを画像の種類ごとに分類したうえ所定の処理を施して、表示に用いる複数種類の画像のデータを生成する画像処理部と、
    前記複数種類の画像のデータの行を構成する画素列を、所定の単位で循環して接続してなるストリームを生成する画像抽出部と、
    前記ストリームを前記表示装置に送信する通信部と、を備え、
    前記撮像装置の画像送出部と、前記ホスト端末の画像抽出部はいずれも、特定の種類の画像の接続単位の画素数を、その他の種類の画像の送信対象の領域の一行分またはそれを所定数に等分した画素数に応じて、複数種類の画像の接続が一巡したときのストリームの長さが所定値となるように調整し、
    前記表示装置は、
    受信した前記ストリームに含まれる前記特定の種類の画像の画素列を接続単位と関わりなく保存するフレームメモリと、
    前記ストリームに含まれる前記その他の種類の画像の画素列を受信する都度、当該画素列から表示画面の１行に含まれる画素列を生成するとともに前記特定の種類の画像のうち対応する行に含まれる画素列を前記フレームメモリから読み出し、表示画面の当該行の出力走査に合わせて、それらを表示すべき位置に出力する表示画像生成部と、
    を備えることを特徴とする情報処理システム。
17. 前記表示装置は、表示された画像に対するユーザの注視点を検出し、その位置座標に係る情報を前記ホスト端末に通知する注視点検出部をさらに備え、
    前記ホスト端末の前記通信部は、前記画像フレームのうち前記注視点を含むように決定した領域の高解像度の画像と、前記画像フレームの全体領域を表す低解像度の画像と、の送信を前記撮像装置に要求し、
    前記撮像装置の画像送出部と、前記ホスト端末の画像抽出部はいずれも、前記高解像度の画像を前記特定の種類の画像とし、前記低解像度の画像を前記その他の種類の画像として前記ストリームを生成し、
    前記表示装置の前記表示画像生成部は、前記低解像度の画像を拡大した画像に前記高解像度の画像を重畳することにより、前記注視点の動きに応じて高い詳細度で表される領域が移動する画像を出力することを特徴とする請求項１６に記載の情報処理システム。
18. 前記撮像装置の画像送出部は、ストリームに含まれる画像の種類を、前記注視点の速度に応じて切り替えることを特徴とする請求項１７に記載の情報処理システム。
19. 対象物を動画撮影して得られる画像フレームから複数種類の画像のデータを、行を構成する画素列ごとに生成しメモリに格納するステップと、
    前記メモリに格納した複数種類の画像のデータから、ホスト端末から要求された領域の画素列をそれぞれ抽出したうえ、所定の単位で循環して接続してなるストリームを生成するステップと、
    生成したストリームを前記ホスト端末に送信するステップと、を含み、
    前記生成するステップは、特定の種類の画像の接続単位の画素数を、その他の種類の画像の接続単位の画素数に応じて変化させることを特徴とする、撮像装置が行う画像データ送出方法。
20. 一画面内に表示すべき複数種類の画像のデータを生成しメモリに格納するステップと、
    前記メモリに格納した複数種類の画像のデータの行を構成する画素列を、所定の単位で循環して接続してなるストリームを生成するステップと、
    前記ストリームを表示装置に送信するステップと、を含み、
    前記生成するステップは、特定の種類の画像の接続単位の画素数を、その他の種類の画像の接続単位の画素数に応じて変化させることを特徴とする、情報処理装置が行う画像データ送出方法。
21. 一画面内に表示すべき複数種類の画像のデータの行を構成する画素列を、所定の規則で定まる画素数ごとに接続してなるストリームであって、各種類の画像のうち表示すべき領域の１行分またはそれを所定数に等分した画素数を接続単位とする第１種の画像と、接続された複数種類の画像の接続が一巡したときのストリームの長さが所定値となるような画素数を接続単位とする第２種の画像のデータを含むストリームをホスト端末から受信するステップと、
    受信した前記ストリームに含まれる前記第２種の画像の画素列を接続単位と関わりなくフレームメモリに保存するステップと、
    前記ストリームに含まれる前記第１種の画像の接続単位の画素列を受信する都度、当該画素列から表示画面の１行に含まれる画素列を生成するとともに、前記第２種の画像のうち対応する行に含まれる画素列を前記フレームメモリから読み出し、表示画面の当該行の走査に合わせて、それらを表示すべき位置に出力するステップと、
    を含むことを特徴とする、表示装置が行う画像表示方法。
22. 対象物を動画撮影して得られる画像フレームから複数種類の画像のデータを、行を構成する画素列ごとに生成する機能と、
    前記複数種類の画像のデータから、ホスト端末から要求された領域の画素列をそれぞれ抽出したうえ、所定の単位で循環して接続してなるストリームを生成する機能と、
    生成したストリームを前記ホスト端末に送信する機能と、をコンピュータに実現させ、
    前記生成する機能は、特定の種類の画像の接続単位の画素数を、その他の種類の画像の接続単位の画素数に応じて変化させることを特徴とするコンピュータプログラム。
23. 一画面内に表示すべき複数種類の画像のデータを生成する機能と、
    前記複数種類の画像のデータの行を構成する画素列を、所定の単位で循環して接続してなるストリームを生成する機能と、
    前記ストリームを表示装置に送信する機能と、をコンピュータに実現させ、
    前記生成する機能は、特定の種類の画像の接続単位の画素数を、その他の種類の画像の接続単位の画素数に応じて変化させることを特徴とするコンピュータプログラム。
24. 一画面内に表示すべき複数種類の画像のデータの行を構成する画素列を、所定の規則で定まる画素数ごとに接続してなるストリームであって、各種類の画像のうち表示すべき領域の１行分またはそれを所定数に等分した画素数を接続単位とする第１種の画像と、接続された複数種類の画像の接続が一巡したときのストリームの長さが所定値となるような画素数を接続単位とする第２種の画像のデータを含むストリームをホスト端末から受信する機能と、
    受信した前記ストリームに含まれる前記第２種の画像の画素列を接続単位と関わりなくフレームメモリに保存する機能と、
    前記ストリームに含まれる前記第１種の画像の接続単位の画素列を受信する都度、当該画素列から表示画面の１行に含まれる画素列を生成するとともに、前記第２種の画像のうち対応する行に含まれる画素列を前記フレームメモリから読み出し、表示画面の当該行の走査に合わせて、それらを表示すべき位置に出力する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。