JP2022083601A - 画像受信装置、画像送信装置、方法およびプログラム - Google Patents

Abstract

【課題】注視領域の変更に伴う画像の切り替え時間の短縮を図る。【解決手段】１つの態様による画像受信装置は、画像送信装置から第１画像を受信する受信手段と、前記第１画像においてユーザにより指定された注視領域の情報を前記画像送信装置に送信する送信手段と、を有し、前記受信手段は、前記送信手段が前記情報を前記画像送信装置に送信した場合に、前記注視領域に対応する画像であって、前記第１画像よりも高解像度な第２画像を構成する１つ以上の部分画像とともに前記第１画像を前記画像送信装置から受信する。【選択図】 図１

Description

本発明は、画像受信装置、画像送信装置、方法およびプログラムに関する。

特許文献１には、監視カメラ装置は、同一の画像信号から高画質と低画質の画像データを生成して記録し、管理サーバは、配信する画像データとして低画質の画像データと高画質の画像データのいずれを使用するかを切り替える技術が開示されている。

特開２０１６－５８９９４号公報

本発明が解決しようとする課題は、注視領域の変更に伴う画像の切り替え時間の短縮を図ることである。

本発明の１つの態様による画像受信装置は、画像送信装置から第１画像を受信する受信手段と、前記第１画像においてユーザにより指定された注視領域の情報を前記画像送信装置に送信する送信手段と、を有し、前記受信手段は、前記送信手段が前記情報を前記画像送信装置に送信した場合に、前記注視領域に対応する画像であって、前記第１画像よりも高解像度な第２画像を構成する１つ以上の部分画像とともに前記第１画像を前記画像送信装置から受信する。

注視領域の変更に伴う画像の切り替え時間の短縮を図ることができる。

第１実施形態に係る画像配信システムの構成例を示すブロック図。 第１実施形態に係る解像度に応じたタイル分割例を示す図。 図２（ｃ）のタイルに付与される番号の一例を示す図。 図１の撮像システムおよびクライアントの構成例を示すブロック図。 図４の録画サーバに保存されるタイル画像群の一例を示す図。 第１実施形態に係るクライアントの画像表示動作を示すフローチャート。 図６のデジタルＰＴ移動指定後の画像表示動作を示すフローチャート。 第２実施形態に係る画像配信システムの構成例を示すブロック図。 第２実施形態に係るデジタルＰＴ移動実行時の動作を示すフローチャート。 第２実施形態に係るデジタルＰＴ移動停止後の動作を示すフローチャート。 実施形態に係るクライアントのハードウェア構成例を示すブロック図。

以下、添付図面を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正または変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定され、以下の個別の実施形態によって限定されない。

＜第１実施形態＞
図１は、第１実施形態に係る画像配信システムの構成例を示すブロック図である。
図１において、画像配信システムは、撮像システム１００およびクライアント１０４、１０５を備える。撮像システム１００は、撮像装置１０２および録画サーバ１０３を備える。なお、図１の例では、２つのクライアント１０４、１０５を示したが、１つまたは３つ以上でもよい。また、図１の例では、クライアント１０４、１０５は、撮像システム１００の外側に配置しているが、撮像システム１００の内部に組み込んでもよい。

撮像システム１００は、撮像シーン１０１を撮像し、複数の解像度の撮像画像を保存し、各クライアント１０４、１０５に配信する。このとき、撮像システム１００は、各クライアント１０４、１０５から要求された注視領域に最も近いタイル画像を各クライアント１０４、１０５に送信することができる。ここで、撮像システム１００は、同一の撮像シーン１０１について、その撮像画像の解像度が高い程、タイル数を増やすことができる。そして、撮像システム１００は、各クライアント１０４、１０５から要求された注視領域を含む最も高い解像度を有するタイル画像を各クライアント１０４、１０５に送信する。これにより、各クライアント１０４、１０５が、画像領域を切り出して拡大表示した場合においても、撮像画像の有効解像度の低下を抑制することができる。

撮像装置１０２は、撮像シーン１０１を撮像し、同一の撮像シーン１０１について複数の解像度の撮像画像を生成した後、録画サーバ１０３へ送信する。このとき、撮像装置１０２は、全体画像と、全体画像よりも高解像度の１以上の画像を分割した各タイル画像群を録画サーバ１０３に保存することができる。例えば、撮像装置１０２は、全体画像を低解像度画像として保存し、全体画像を分割したタイル画像群を高解像度画像として録画サーバ１０３に保存することができる。
また、撮像装置１０２は、全体画像および各タイル画像群に対して少なくともフレーム内符号化とフレーム間符号化を切り替えて符号化を行うことができる。例えば、撮像装置１０２は、高圧縮率を担保するため、Ｈ．２６４などフレーム内圧縮とフレーム間圧縮を組み合わせた圧縮方法を使用することができる。

録画サーバ１０３は、撮像装置１０２から出力された全体画像および各タイル画像群を保存する。また、録画サーバ１０３は、各クライアント１０４、１０５からの要求を受け付け、その要求された画像を各クライアント１０４、１０５に送信することができる。ここで、録画サーバ１０３は、低解像度画像の一部の領域に含まれる高解像度画像の要求をクライアント１０４、１０５から受け付ける。この高解像度画像は、例えば、全体画像などの低解像度画像の領域を分割して生成されたタイル画像である。このタイル画像は、フレーム内圧縮画像であってもよいし、フレーム間圧縮画像であってもよい。そして、録画サーバ１０３は、高解像度画像の範囲外の領域を含む低解像度画像を各クライアント１０４、１０５に出力した後、高解像度画像を各クライアント１０４、１０５に出力する。なお、高解像度画像の範囲外の領域は、例えば、高解像度画像のタイルに隣接する１以上のタイルを含む領域である。高解像度画像の範囲外の領域は、全体画像の領域であってもよい。

ここで、録画サーバ１０３は、送信部３Ａおよび受信部３Ｂを備える。送信部３Ａは、各クライアント１０４、１０５に低解像度画像を送信する。受信部３Ｂは、低解像度画像においてユーザにより指定された注視領域の情報を各クライアント１０４、１０５から受信する。ここで、送信部３Ａは、ユーザにより指定された注視領域の情報を受信部３Ｂが受信した場合に、その注視領域に対応する画像であって、高解像度画像を構成する１つ以上の部分画像とともに低解像度画像を各クライアント１０４、１０５に送信する。

このとき、送信部３Ａは、ユーザにより指定された注視領域の移動先が当該部分画像の範囲内の場合、当該部分画像とともに低解像度画像を各クライアント１０４、１０５に送信してもよい。また、送信部３Ａは、ユーザにより指定された注視領域の移動先が当該部分画像の範囲外の場合、低解像度画像を各クライアント１０４、１０５に送信してもよい。このとき、送信部３Ａは、低解像度画像を各クライアント１０４、１０５に送信し、当該注視領域の移動先の領域に対応する画像であって高解像度画像を構成する１以上の部分画像を新たに送信してもよい。

各クライアント１０４、１０５は、画像の取得を撮像システム１００に要求し、撮像システム１００から取得した画像を表示する。このとき、各クライアント１０４、１０５は、表示画面上で画像を拡大および縮小したり、注視領域を指定することができる。そして、各クライアント１０４、１０５は、指定した注視領域に最も近いタイル画像を撮像システム１００から取得し、表示することができる。各クライアント１０４、１０５は、パーソナルコンピュータなどの汎用コンピュータでもよいし、スマートフォンまたはタブレット端末などの携帯端末でもよい。

また、各クライアント１０４、１０５は、切り出し画像の位置をパン方向およびチルト方向に移動させるデジタルＰＴ（Ｐａｎ Ｔｉｌｔ）移動をサポートすることができる。例えば、各クライアント１０４、１０５は、高解像度画像のタイルから切り出した画像をデジタルＰＴ移動した場合、別の高解像度画像のタイルに切り替えることができる。

ここで、例えば、クライアント１０４は、低解像度画像の一部の領域に含まれる高解像度画像を撮像システム１００に要求する。そして、クライアント１０４は、高解像度画像の領域の範囲外の領域を含む低解像度画像を撮像システム１００から取得し、その低解像度画像を表示する。その後、クライアント１０４は、撮像システム１００に要求した高解像度画像を撮像システム１００から取得し、その高解像度画像の表示に切り替える。

ここで、クライアント１０４は、受信部４Ａおよび送信部４Ｂを備える。受信部４Ａは、録画サーバ１０３から低解像度画像を受信する。送信部４Ｂは、低解像度画像においてユーザにより指定された注視領域の情報を録画サーバ１０３に送信する。ここで、受信部４Ａは、ユーザにより指定された注視領域の情報を送信部４Ｂが送信した場合に、当該注視領域に対応する画像であって、高解像度画像を構成する１つ以上の部分画像とともに低解像度画像を録画サーバ１０３から受信する。

このとき、クライアント１０４は、ユーザにより指定された注視領域の移動先が当該部分画像の範囲内の場合、当該部分画像を表示させてもよい。また、クライアント１０４は、ユーザにより指定された注視領域の移動先が当該部分画像の範囲外の場合、低解像度画像を表示させてもよい。このとき、クライアント１０４は、低解像度画像を表示させ、当該注視領域の移動先の領域に対応する画像であって高解像度画像を構成する１以上の部分画像を受信部４Ａが新たに受信した後に、新たに受信した部分画像を表示させてもよい。クライアント１０５についても、クライアント１０４と同様に構成することができる。

ここで、撮像装置１０２からの出力は、フレーム内圧縮とフレーム間圧縮を組み合わせた圧縮方法が使用されたものとする。この場合、クライアント１０４は、画像の切り替え操作が実施されても、フレーム内圧縮フレームまで画像を切り替えることができず、ユーザは、切り替え先の画像のフレーム内圧縮フレームまで待たされる。特に、デジタルＰＴ移動が実行されると、画像を頻繁に切り替えることになるため、フレーム内圧縮フレームまでの待ち時間が増加する。

ここで、クライアント１０４は、低解像度画像の一部の領域に含まれる高解像度画像を撮像システム１００に要求すると、撮像システム１００は、高解像度画像の範囲外の領域を含む低解像度画像をクライアント１０４に出力する。このとき、低解像度画像は、高解像度画像に比べてフレーム内圧縮フレームまでの待ち時間が小さい。このため、撮像システム１００は、高解像度画像の出力にかかる時間よりも低解像度画像の出力にかかる時間を小さくすることができ、ユーザが待たされる時間を短縮することができる。そして、クライアント１０４は、撮像システム１００から低解像度画像を取得すると、その低解像度画像を表示する。

撮像システム１００は、低解像度画像の出力後、高解像度画像の出力が可能となると、クライアント１０４から要求された高解像度画像をクライアント１０４に出力する。そして、クライアント１０４は、撮像システム１００から高解像度画像を取得すると、低解像度画像の表示を高解像度画像の表示に切り替える。
これにより、クライアント１０４は、画像領域を切り出して拡大表示の操作を実施した場合においても、画像の切り替えの待ち時間を短縮することが可能となるとともに、画像の切り替え後に高解像度画像を確認することができる。

図２は、第１実施形態に係る解像度に応じたタイル分割例を示す図である。なお、図２の例では、図１の撮像装置１０２で生成された画像の解像度が３段階である場合を示した。
撮像装置１０２は、例えば、図２（ａ）の解像度の低い画像１０６と、図２（ｂ）の解像度が中程度の画像１０７と、図２（ｃ）の解像度の高い画像１０８を生成する。ここで、撮像装置１０２は、画像の解像度が高くなる程、各画像に付与される層の番号を増やし、例えば、最も解像度が低い画像１０６を層Ｌ１、解像度が中程度の画像１０７を層Ｌ２、最も解像度が高い画像１０８を層Ｌ３とすることができる。このとき、撮像装置１０２は、例えば、層Ｌ１の画像１０６全体をタイル画像ＴＡとして作成する。また、撮像装置１０２は、例えば、層Ｌ２の画像１０７を４つのタイルに分割し、分割したタイルごとにタイル画像ＴＢを作成する。また、撮像装置１０２は、例えば、層Ｌ３の画像１０８を１６個のタイルに分割し、分割したタイルごとにタイル画像ＴＣを作成する。そして、撮像装置１０２は、Ｈ．２６４等のフレーム内圧縮とフレーム間圧縮が可能な圧縮器でタイル画像ＴＡ～ＴＣを圧縮して録画サーバ１０３に送信する。なお、画像の最大層数を３、層ｉにおける分割数をｎｉとすると、図２では、ｎ１＝１、ｎ２＝４、ｎ３＝１６の場合を示したが、最大層数と各層における分割数はいくつでもよい。ここで、撮像装置１０２が生成する画像を、その画像が属する層をｉ、その画像のタイル番号をｊとした場合にＡｉｊと表す。

図３は、図２（ｃ）のタイルに付与される番号の一例を示す図である。
図３において、タイル番号は、例えば、画像１０８の左上のタイルを開始点の１として、その右隣のタイルを次の番号２とする。右隣のタイルがない場合は、右隣のタイルがない番号４のタイルで折り返して下隣のタイルを次の番号５とする。そして、その左隣のタイルを次の番号６とする。このとき、録画サーバ１０３は、合計Σｉｎｉの画像を撮像装置１０２から受信して録画する。

図４は、図１の撮像システムおよびクライアントの構成例を示すブロック図である。なお、図４では、図１のクライアント１０５は省略して示したが、クライアント１０４と同様に構成することができる。
図４に示す各機能ブロックのうち、ソフトウェアにより実現される機能については、各機能ブロックの機能を提供するためのプログラムがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリに記憶される。そして、そのプログラムをＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に読み出してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が実行することにより実現される。ハードウェアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能ブロックの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてゲートアレイ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。なお、図４に示した機能ブロックの構成は一例であり、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。

図４において、撮像装置１０２、録画サーバ１０３およびクライアント１０４は、ネットワーク５０１を介して相互に通信可能な状態に接続される。ネットワーク５０１は、インターネットであってもよいし、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。また、ネットワーク５０１は、ＷｉＦｉまたはイーサネット（登録商標）などのＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよいし、インターネットとＷＡＮとＬＡＮが混在していてもよい。

撮像装置１０２は、撮像部２０１、画像処理部２０２は、システム制御部２０３、レンズ駆動部２０５、レンズ制御部２０６および通信部２０７を備える。録画サーバ１０３は、システム制御部３０１、記録部３０２および通信部３０３を備える。クライアント１０４は、通信部４０１、表示部４０２、システム制御部４０３および入力部４０４を備える。

撮像部２０１は、レンズおよび絞りなどの光学系と撮像素子を備える。撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの半導体素子および周辺回路である。撮像部２０１は、被写体の光学像を撮像素子上に結像させ、被写体の光学像を画素ごとに電気信号に変換する。

画像処理部２０２は、撮像部２０１において光電変換された電気信号に基づいて、画像処理、複数の解像度の画像データの生成、タイル分割および圧縮符号化処理などを行う。圧縮符号化処理では、例えば、Ｈ．２６４などフレーム内圧縮とフレーム間圧縮を組み合わせた圧縮方法を用いることができる。

レンズ駆動部２０５は、レンズのフォーカス駆動を行うことで画像の焦点を合わせたり、レンズのズーム駆動を行うことで光学倍率を変更したりする。
レンズ制御部２０６は、フォーカス位置およびズーム値などをレンズ駆動部２０５に指示する。

システム制御部２０３は、カメラ制御コマンドを解析し、そのコマンドに応じた処理を行う。例えば、システム制御部２０３は、録画サーバ１０３からレンズのズーム値変更コマンドを受信すると、レンズ制御部２０６にズーム値変更を指示することで、レンズ駆動部２０５を通してレンズのズーム駆動を行う。
通信部２０７は、ネットワーク５０１を介して複数のタイル画像を録画サーバ１０３に配信する。また、通信部２０７は、録画サーバ１０３または各クライアント１０４、１０５から送信される各種コマンドを受信し、システム制御部２０３へ伝達する。

システム制御部３０１は、通信部３０３を通して撮像装置１０２から複数の解像度のタイル画像を受信し、データの保存を記録部３０２に指示する。また、システム制御部３０１は、通信部３０３を通して各クライアント１０４、１０５からタイル画像の送信指示を受信し、指定されたタイル画像の取り出しを記録部３０２に指示する。そして、システム制御部３０１は、記録部３０２から取得したタイル画像を、通信部３０３を通して各クライアント１０４、１０５に送信する。

記録部３０２は、システム制御部３０１からデータ保存を指示されると、録画画像データとして保持する。また、記録部３０２は、システム制御部３０１から録画画像の取り出し命令があった場合、システム制御部３０１に対して録画画像を送信する。
通信部３０３は、ネットワーク５０１を介して複数のタイル画像を撮像装置１０２から受信する。また、通信部３０３は、ネットワーク５０１を介して各クライアント１０４、１０５にタイル画像を送信する。

通信部４０１は、録画サーバ１０３から配信された各種データを受信する。各種データには、主にカメラの設定値を表すデータおよび画像データが含まれる。
表示部４０２は、録画サーバ１０３から取得した画像を表示したり、カメラ制御を行うためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示したりする。表示部４０２は、例えば、液晶表示装置、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイまたはマイクロＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイである。

システム制御部４０３は、通信部４０１を介して録画サーバ１０３から受信した画像データを表示部４０２に表示させる。また、システム制御部４０３は、ユーザのＧＵＩ操作に応じてカメラ制御コマンドを生成し、通信部４０１を介して録画サーバ１０３または撮像装置１０２へ送信する。
入力部４０４は、例えば、キーボードおよびマウスなどのポインティングデバイスなどが使用され、ユーザは、入力部４０４を介してＧＵＩを操作する。なお、携帯端末の場合、入力部４０４には、タッチパネルおよび各種キーボタンなどが使用される。
このように各クライアント１０４、１０５は、ネットワーク５０１を介し、録画サーバ１０３からタイル画像を取得したり、撮像装置１０２のカメラ制御を行ったりすることができる。

なお、図４では、撮像装置１０２、録画サーバ１０３およびクライアント１０４は、ネットワーク５０１を介して相互に接続される場合を示した。これ以外にも、録画サーバ１０３の機能をクライアント１０４に持たせてもよいし、撮像装置１０２および録画サーバ１０３の機能をクライアント１０４に持たせてもよい。このとき、システム制御部３０１の処理をシステム制御部４０１で実行可能としてもよいし、システム制御部２０３、３０１の処理をシステム制御部４０１で実行可能としてもよい。

図５は、図４の録画サーバに保存されるタイル画像群の一例を示す図である。
図５において、録画サーバ１０３は、図２（ａ）から図２（ｃ）と層Ｌ１～Ｌ３と同じ形式で、層Ｌ１～Ｌ３のタイル画像ＴＡ～ＴＣを保持する。

図６は、第１実施形態に係るクライアントの画像表示動作を示すフローチャートである。なお、以下の説明では、図５のタイル画像ＴＡ～ＴＣの表示動作を適宜例にとって説明する。
なお、図６の各ステップは、図４のクライアント１０４の記憶部に記憶されたプログラムをシステム制御部４０３が読み出し、実行することで実現される。また、図６に示すフローチャートの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣにより実現するようにしてもよい。
この場合、図６に示すフローチャートにおける各ブロックは、ハードウェアブロックと見做すことができる。なお、複数のブロックをまとめて１つのハードウェアブロックとして構成してもよく、１つのブロックを複数のハードウェアブロックとして構成してもよい。

図６において、図４のクライアント１０４は、図５の全体画像１０６（タイル画像Ａ１１）の取得要求を録画サーバ１０３に送信する。録画サーバ１０３のシステム制御部３０１は、通信部３０３を介して画像取得要求を受信すると、記録部３０２から層Ｌ１の全体画像１０６を取得し、クライアント１０４に送信する。クライアント１０４は、通信部４０１を介して全体画像１０６を受信すると、クライアント１０４のシステム制御部４０３は、表示部４０２に全体画像１０６を表示させる（Ｓ１）。

次に、例えば、ユーザが全体画像１０６のエリアＥ１を注視領域に設定すると（Ｓ２）、システム制御部４０３は、エリアＥ１が各層の１つのタイルに収まるかどうかを判定する。そして、システム制御部４０３は、１つのタイルに収まる最大の層のタイルを、通信部４０１を介して録画サーバ１０３に要求する。例えば、図５の全体画像１０６のエリアＥ１の領域が収まる最大の層の１つのタイルは、画像１０８のタイル画像Ａ３７であるため、システム制御部４０３は、タイル画像Ａ３７を、通信部４０１を介して録画サーバ１０３に要求する。

次に、録画サーバ１０３のシステム制御部３０１は、通信部３０３を介して画像取得要求を受信すると、記録部３０２からタイル画像Ａ３７を取得し、クライアント１０４に送信する。クライアント１０４は、通信部４０１を介してタイル画像Ａ３７を受信すると、システム制御部４０３は、タイル画像Ａ３７からエリアＥ１を切り出し、表示部４０２に表示させる（Ｓ３）。

次に、ユーザがデジタルＰＴ移動を指示すると（Ｓ４）、クライアント１０４のシステム制御部４０３は、注視領域がタイル画像Ａ３７に収まっている間は、タイル画像Ａ３７から切り出した画像を表示部４０２に表示させる。そして、デジタルＰＴ移動によって、例えば、ユーザがエリアＥ２を注視領域に設定したものとする。このとき、システム制御部４０３は、その注視領域を切り出すためにタイル画像Ａ３７の隣のタイル画像Ａ３８も必要になった段階で、通信部４０１を介してタイル画像Ａ３７、Ａ３８を録画サーバ１０３に要求する。録画サーバ１０３のシステム制御部３０１は、通信部３０３を介して画像取得要求を受信すると、タイル画像Ａ３７、Ａ３８を記録部３０２からクライアント１０４に送信する。

ここで、タイル画像Ａ３８がフレーム間圧縮画像の場合、タイル画像Ａ３７を送信可能なタイミングでタイル画像Ａ３８をクライアント１０４に送信しても、クライアント１０４はタイル画像Ａ３８を表示することができない。このため、システム制御部３０１は、タイル画像Ａ３７のみ記録部３０２から取得し、通信部３０３を介してクライアント１０４に送信する。このとき、システム制御部３０１は、タイル画像Ａ３７のみ送信していることをクライアント１０４に通知してもよい。そして、システム制御部３０１は、タイル画像Ａ３８がフレーム内圧縮画像になったタイミングで、通信部３０３を介してクライアント１０４にタイル画像Ａ３８を送信する。

一方、クライアント１０４は、通信部４０１を介してタイル画像Ａ３７のみを受信すると、システム制御部４０３は、タイル画像Ａ３７からエリアＥ２に最も近い領域を切り出し、表示部４０２に表示させる。その後、クライアント１０４は、通信部４０１を介してタイル画像Ａ３７、Ａ３８を受信すると、システム制御部４０３は、タイル画像Ａ３７、Ａ３８からエリアＥ２を切り出し、表示部４０２に表示させる（Ｓ５）。

ここで、デジタルＰＴ移動によってユーザが注視領域を移動させると、クライアント１０４は、表示部４０２に表示するタイル画像を頻繁に切り替える必要がある。このとき、クライアント１０４は、フレーム内圧縮画像になるタイミングまでユーザが指定した注視領域を表示することができない。
クライアント１０４は、ユーザが指定した注視領域を表示するまでの待機時間を短縮するため、デジタルＰＴ移動後の注視領域の移動先に応じて切り出し領域の解像度を切り替えて表示する。このとき、クライアント１０４は、高解像度画像の要求時に、その高解像度画像の領域を含む低解像度画像を受信し、高解像度画像の範囲外を表示する場合に低解像度画像を使用することで、デジタルＰＴ移動時に注視領域を表示するまでの時間を短縮する。

例えば、図５のタイル画像Ａ３７から切り出された画像が表示部４０２に表示されているときに、ユーザがエリアＥ２を注視領域に設定したものとする。このとき、システム制御部３０１は、タイル画像Ａ３７とともにタイル画像Ａ２１を記録部３０２から取得し、通信部３０３を介してクライアント１０４に送信する。そして、システム制御部３０１は、タイル画像Ａ３８がフレーム内圧縮画像になったタイミングで、通信部３０３を介してクライアント１０４にタイル画像Ａ３８を送信する。

一方、クライアント１０４は、通信部４０１を介してタイル画像Ａ３７とともにタイル画像Ａ２１を受信すると、システム制御部４０３は、タイル画像Ａ２１からエリアＥ２に最も近い領域を切り出し、表示部４０２に表示させる。その後、クライアント１０４は、通信部４０１を介してタイル画像Ａ３７、Ａ３８を受信すると、システム制御部４０３は、タイル画像Ａ３７、Ａ３８からエリアＥ２を切り出し、表示部４０２に表示させる。

また、例えば、図５のタイル画像Ａ３７から切り出された画像が表示部４０２に表示されているときに、ユーザがエリアＥ３を注視領域に設定したものとする。エリアＥ３は、タイル画像Ａ２１には含まれないが、タイル画像Ａ１１には含まれる。このため、システム制御部３０１は、タイル画像Ａ３７とともにタイル画像Ａ１１を記録部３０２から取得し、通信部３０３を介してクライアント１０４に送信する。そして、システム制御部３０１は、タイル画像Ａ３６がフレーム内圧縮画像になったタイミングで、通信部３０３を介してクライアント１０４にタイル画像Ａ３６を送信する。

一方、クライアント１０４は、通信部４０１を介してタイル画像Ａ３７とともにタイル画像Ａ１１を受信すると、システム制御部４０３は、タイル画像Ａ１１からエリアＥ３に最も近い領域を切り出し、表示部４０２に表示させる。その後、クライアント１０４は、通信部４０１を介してタイル画像Ａ３６、Ａ３７を受信すると、システム制御部４０３は、タイル画像Ａ３６、Ａ３７からエリアＥ３を切り出し、表示部４０２に表示させる。

図７は、図６のデジタルＰＴ移動指定後の画像表示動作を示すフローチャートである。
図７において、図４のクライアント１０４は、図５の全体画像１０６（タイル画像Ａ１１）の取得要求を録画サーバ１０３に送信する。録画サーバ１０３のシステム制御部３０１は、通信部３０３を介して画像取得要求を受信すると、記録部３０２から層Ｌ１の全体画像１０６を取得し、クライアント１０４に送信する。録画サーバ１０３は、通信部４０１を介して全体画像１０６を受信すると、クライアント１０４のシステム制御部４０３は、表示部４０２に全体画像１０６を表示させる（Ｓ１１）。

次に、例えば、ユーザが全体画像１０６のエリアＥ１を注視領域に設定すると（Ｓ１２）、システム制御部４０３は、エリアＥ１の領域が各層の１つのタイルに収まるかどうかを判定する。そして、システム制御部４０３は、１つのタイルに収まる最大の層のタイル（ここではタイル画像Ａ３７）を、通信部４０１を介して録画サーバ１０３に要求する。録画サーバ１０３のシステム制御部３０１は、通信部３０３を介して画像取得要求を受信すると、記録部３０２からタイル画像Ａ３７を取得し、クライアント１０４に送信する。このとき、システム制御部３０１は、それまで送信していた全体画像１０６も引き続き送信し続ける。

クライアント１０４は、通信部４０１を介してタイル画像Ａ３７を受信すると、システム制御部４０３は、タイル画像Ａ３７からエリアＥ１を切り出す。そして、システム制御部４０３は、表示部４０２に表示させる画像を、全体画像１０６から、タイル画像Ａ３７からの切り出し画像に切り替える（Ｓ１３）。クライアント１０４は、タイル画像Ａ３７とともに送信される全体画像１０６は、システム制御部４０３内部に保持する。

タイル画像Ａ３７からの切り出し画像が表示部４０２に表示されているときに、ユーザがデジタルＰＴ移動を指示すると（Ｓ１４）、システム制御部４０３は、デジタルＰＴ移動後の移動先がタイル画像Ａ３７の範囲内かどうかを判定する（Ｓ１５）。ユーザが指定した領域がタイル画像Ａ３７の範囲内の場合、システム制御部４０３は、ユーザが指定した領域をタイル画像Ａ３７から切り出し、表示部４０２に表示させる（Ｓ１６）。

一方、Ｓ１５において、ユーザが指定した領域が、例えば、図５のエリアＥ２のように、タイル画像Ａ３７の範囲外を含むものとする。この場合、システム制御部４０３は、タイル画像Ａ３７とともに受信している全体画像１０６からエリアＥ２の該当する領域を切り出し、表示部４０２に表示させる（Ｓ１７）。これにより、システム制御部４０３は、ユーザが指定した領域がタイル画像Ａ３７の範囲外を含み、タイル画像Ａ３７の範囲外のタイル画像Ａ３８をタイル画像Ａ３７と同一タイミングで取得できない場合においても、スムーズに表示を切り替えることができる。

次に、システム制御部４０３は、通信部４０１を介して録画サーバ１０３にタイル画像Ａ３８を要求する。録画サーバ１０３のシステム制御部３０１は、通信部３０３を介して画像取得要求を受信すると、タイル画像Ａ３８を記録部３０２から取得する。ここで、システム制御部３０１は、記録部３０２から取得したタイル画像Ａ３８がフレーム内圧縮画像である場合、フレーム内圧縮画像になるまで待機することなく、通信部３０３を介してクライアント１０４にタイル画像Ａ３８を送信する。一方、システム制御部３０１は、記録部３０２から取得したタイル画像Ａ３８がフレーム間圧縮画像である場合は、フレーム内圧縮画像になるまで待機する。このとき、システム制御部３０１は、タイル画像Ａ３８がフレーム内圧縮画像になるまで待機していることをクライアント１０４に通知してもよい。そして、システム制御部３０１は、タイル画像Ａ３８がフレーム内圧縮画像になったタイミングで、通信部３０３を介してクライアント１０４にタイル画像Ａ３８を送信する。

クライアント１０４のシステム制御部４０３は、全体画像１０６からエリアＥ２の該当する領域を切り出し、表示部４０２に表示させている間、タイル画像Ａ３８を受信したかどうかを判定する（Ｓ１８）。そして、システム制御部４０３は、タイル画像Ａ３８を受信するまでの間、全体画像１０６からエリアＥ２の該当する領域を切り出し、表示部４０２に表示させる（Ｓ１７）。システム制御部４０３は、タイル画像Ａ３８を受信すると、タイル画像Ａ３７、Ａ３８からエリアＥ２を切り出し、表示部４０２に表示させる（Ｓ１６）。

このように、クライアント１０４は、デジタルＰＴ移動の結果、図５のエリアＥ２のタイル画像Ａ３８が必要になった場合に、低解像度画像から該当する領域を切り出した画像を一時的に使用する。これにより、クライアント１０４は、高解像度画像のフレーム内圧縮画像を受信するまでの間も途切れることなく、図５のエリアＥ２の画像を表示することができる。

なお、本実施形態では、クライアント１０４は、使用する低解像度画像として層Ｌ１の全体画像１０６を使用したが、層Ｌ２のタイル画像も同時に送信するようにしてもよい。このとき、録画サーバ１０３は、タイル画像Ａ３７に対応するタイル画像Ａ２１を送信する。クライアント１０４は、Ｓ１４でエリアＥ２にデジタルＰＴ移動した場合、Ｓ１７において層Ｌ２のタイル画像Ａ２１を使用すればよい。クライアント１０４は、Ｓ１４でエリアＥ３にデジタルＰＴ移動した場合、Ｓ１７において層Ｌ２のタイル画像Ａ２１は使用できないため、層Ｌ１の全体画像１０６を使用すればよい。
また、本実施形態では、水平方向のデジタルＰＴ移動について説明したが、垂直方向の移動についても同様の処理を行ってもよい。

以上説明したように、上述した第１実施形態によれば、画像切替装置は、高解像度画像の領域の範囲外の領域を含む低解像度画像を取得し、その低解像度画像を表示した後、高解像度画像を取得し、高解像度画像の表示に切り替える。これにより、表示範囲の移動に伴う画像の切り替えの待ち時間の増大を抑制しつつ、表示画像の高解像度化を図ることができる。

＜第２実施形態＞
第１実施形態では、クライアントは、高解像度画像の要求時に、その高解像度画像の領域を含む低解像度画像を受信し、表示領域に応じて表示画像を切り替えることで、デジタルＰＴ移動中も待機時間を低減しつつ表示可能とする。第２実施形態では、クライアントは、デジタルＰＴ移動の状況に応じて、高解像度画像とともに送信される低解像度画像の送信の停止を要求し、不必要に帯域が消費されるのを防止する。

図８は、第２実施形態に係る画像配信システムの構成例を示すブロック図である。
図８において、画像配信システムは、撮像システム１００´およびクライアント１０４´、１０５´を備える。撮像システム１００´は、撮像装置１０２および録画サーバ１０３´を備える。
録画サーバ１０３´は、図１の録画サーバ１０３の機能に加え、高解像度画像の要求の受け付け状況に応じて、高解像度画像の要求に基づいて送信する低解像度画像の送信を停止する。

ここで、録画サーバ１０３´は、図１の録画サーバ１０３´の構成に加え、時間算出部３Ｄ、時間判定部３Ｅおよび出力停止部３Ｆを備える。時間算出部３Ｄは、各クライアント１０４´、１０５´からの高解像度画像の要求の受け付け後の停止時間を算出する。時間判定部３Ｅは、時間算出部３Ｄによって算出された停止時間が一定時間以上かどうかを判定する。出力停止部３Ｆは、時間算出部３Ｄによって算出された停止時間が一定時間以上の場合、低解像度画像の出力を停止する。

各クライアント１０４´、１０５´は、図１の各クライアント１０４、１０５の機能に加え、デジタルＰＴ移動の状況に応じて、高解像度画像の要求に基づいて送信される低解像度画像の送信の停止を要求する。

ここで、クライアント１０４´は、図１のクライアント１０４の構成に加え、領域移動部４Ｄ、時間算出部４Ｅ、時間判定部４Ｆおよび停止要求部４Ｇを備える。領域移動部４Ｄは、表示部４０２に表示される表示画像の注視領域を移動させる。時間算出部４Ｅは、表示部４０２に表示される表示画像の注視領域の移動後の停止時間を算出する。時間判定部４Ｆは、時間算出部４Ｅによって算出された停止時間が一定時間以上かどうかを判定する。停止要求部４Ｇは、時間算出部４Ｅによって算出された停止時間が一定時間以上の場合、低解像度画像の出力の停止を要求する。クライアント１０５´についても、クライアント１０４´と同様に構成することができる。

ここで、クライアント１０４´は、低解像度画像の一部の領域に含まれる高解像度画像を撮像システム１００´に要求すると、撮像システム１００´は、高解像度画像の範囲外の領域を含む低解像度画像をクライアント１０４´に出力する。そして、クライアント１０４´は、撮像システム１００´から低解像度画像を取得すると、その低解像度画像を表示する。

撮像システム１００´は、低解像度画像の出力後、高解像度画像の出力が可能となると、クライアント１０４´から要求された高解像度画像をクライアント１０４´に出力する。そして、クライアント１０４´は、撮像システム１００´から高解像度画像を取得すると、低解像度画像の表示を高解像度画像の表示に切り替える。

ここで、クライアント１０４´は、表示画像上で注視領域を移動させたものとする。表示画像は、低解像度画像であってもよいし、高解像度画像であってもよい。このとき、クライアント１０４´は、注視領域の移動先に対応する高解像度画像の領域を含む低解像度画像を撮像システム１００´から受信し、注視領域に応じて表示に使用する画像を切り替える。そして、クライアント１０４´は、表示画像上で注視領域の移動が停止されると、注視領域の移動の停止時間を算出し、その停止時間が一定時間以上かどうかを判定する。そして、クライアント１０４´は、注視領域の移動の停止時間が一定時間以上の場合、低解像度画像の出力の停止を撮像システム１００´に要求する。

撮像システム１００´は、低解像度画像の出力の停止が要求されると、低解像度画像の出力を停止する。これにより、クライアント１０４´が注視領域の移動を行っておらず低解像度画像を使用する必要がない場合、低解像度画像の出力の停止させることができ、不必要に帯域が消費されるのを防止することができる。

なお、上述した説明では、クライアント１０４´は、低解像度画像の出力の停止を要求するかどうかを判断し、低解像度画像の出力の停止を撮像システム１００´に要求する方法を示した。
この方法以外にも、撮像システム１００´は、低解像度画像の出力を停止するかどうかを撮像システム１００´側で判断し、低解像度画像の出力を停止するようにしてもよい。このとき、録画サーバ１０３´は、各クライアント１０４´、１０５´からの高解像度画像の要求の受け付け後の停止時間を算出し、その停止時間が一定時間以上かどうかを判定する。そして、高解像度画像の要求の受け付け後の停止時間が一定時間以上の場合、低解像度画像の出力を停止する。

図９は、第２実施形態に係るデジタルＰＴ移動実行時の動作を示すフローチャートである。
図９において、システム制御部４０３は、ユーザが指定した注視領域を含む層Ｌ３のタイル画像と層Ｌ１の全体画像１０６を録画サーバ１０３に要求し、通信部４０１を介して受信する。そして、システム制御部４０３は、層Ｌ３のタイル画像から注視領域を切り出した画像を表示部４０２に表示させる（Ｓ２１）。

次に、システム制御部４０３は、ユーザが入力部４０４を介してデジタルＰＴ移動の指示を開始したかどうかを判定する（Ｓ２２）。そして、システム制御部４０３は、デジタルＰＴ移動が開始されない場合、処理を終了する。
一方、システム制御部４０３は、デジタルＰＴ移動が開始された場合、層Ｌ３のタイル画像から注視領域を切り出した画像を表示する（Ｓ２３）。

次に、システム制御部４０３は、デジタルＰＴ移動が停止されたかどうかを判定する（Ｓ２４）。そして、システム制御部４０３は、デジタルＰＴ移動が停止されるまで注視領域を変更し、層Ｌ３のタイル画像から注視領域を切り出した画像を表示する（Ｓ２３）。
一方、Ｓ２４において、ユーザが入力部４０４を介してデジタルＰＴ移動停止を実行すると、システム制御部４０３は、デジタルＰＴ移動の停止実行時の時刻の情報を内部に保持する（Ｓ２５）。

図１０は、第２実施形態に係るデジタルＰＴ移動停止後の動作を示すフローチャートである。
図１０において、システム制御部４０３は、ユーザが指定した注視領域を含む層Ｌ３のタイル画像と層Ｌ１の全体画像１０６を録画サーバ１０３に要求し、通信部４０１を介して受信する。そして、システム制御部４０３は、層Ｌ３のタイル画像から注視領域を切り出した画像を表示部４０２に表示する（Ｓ３１）。

次に、システム制御部４０３は、図９のＳ２５で保持したデジタルＰＴ移動停止時の停止時刻と現在時刻から、デジタルＰＴ移動停止後の経過時間を算出する。そして、システム制御部４０３は、デジタルＰＴ移動停止後の経過時間を予め保持している閾値と比較し、デジタルＰＴ移動停止後の経過時間が閾値以上かどうかを判定する（Ｓ３２）。システム制御部４０３は、デジタルＰＴ移動停止後の経過時間が閾値未満であれば、処理を終了する。
一方、システム制御部４０３は、デジタルＰＴ移動停止後の経過時間が閾値以上の場合、層Ｌ１の全体画像１０６の送信を停止するように通信部４０１を介して録画サーバ１０３に要求する（Ｓ３３）。

このように、録画サーバ１０３´は、デジタルＰＴ移動後に一定時間以上経過した場合に低解像度画像の送信を止めることで、デジタルＰＴ移動を行われておらず低解像度画像を使用する必要がない状態のときに、不必要な帯域の消費を防止することができる。
なお、本実施形態では、録画サーバ１０３´は、低解像度画像として層Ｌ１の全体画像１０６を送信したが、層Ｌ２のタイル画像も同時に送信するようにしてもよい。その際、Ｓ３３において、システム制御部４０３は、層Ｌ１の全体画像１０６および層Ｌ２のタイル画像の送信を停止するように通信部４０１を介して録画サーバ１０３に要求する。

以上説明したように、上述した第２実施形態によれば、画像切替装置は、デジタルＰＴ移動の状況に応じて、高解像度画像の要求に基づいて送信される低解像度画像の送信の停止を要求することにより、不必要に帯域が消費されるのを防止することができる。

＜その他の実施形態＞
図１１は、実施形態に係るクライアントのハードウェア構成例を示すブロック図である。なお、このハードウェア構成は、図１の各クライアント１０４、１０５に用いてもよいし、図８の各クライアント１０４´、１０５´に用いてもよい。また、このハードウェア構成は、図１の録画サーバ１０３に適用してもよいし、図８の録画サーバ１０３´に適用してもよい。

図１１において、制御部１０は、プロセッサ１１、通信制御部１２、通信インタフェース１３、主記憶部１４、補助記憶部１５および入出力インタフェース１７を備える。プロセッサ１１、通信制御部１２、通信インタフェース１３、主記憶部１４、補助記憶部１５および入出力インタフェース１７は、内部バス１６を介して相互に接続されている。主記憶部１４および補助記憶部１５は、プロセッサ１１からアクセス可能である。

また、制御部１０の外部には、入力装置２０および表示装置２１が設けられている。入力装置２０および表示装置２１は、入出力インタフェース１７を介して内部バス１６に接続されている。入力装置２０は、例えば、キーボード、マウス、タッチパネル、カードリーダ、音声入力装置等である。表示装置２１は、例えば、液晶モニタ、有機ＥＬディスプレイ、マイクロＬＥＤディスプレイである。

プロセッサ１１は、制御部１０全体の動作制御を司る。プロセッサ１１は、ＣＰＵであってもよいし、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。プロセッサ１１は、シングルコアプロセッサであってもよいし、マルチコアプロセッサであってもよい。プロセッサ１１は、処理の一部を高速化するアクセラレータなどのハードウェア回路（例えば、ＦＰＧＡまたはＡＳＩＣ）を備えていてもよい。

主記憶部１４は、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはＤＲＡＭなどの半導体メモリから構成することができる。主記憶部１４には、プロセッサ１１が実行中のプログラムを格納したり、プロセッサ１１がプログラムを実行するためのワークエリアを設けたりすることができる。

補助記憶部１５は、不揮発性記憶デバイスであり、例えば、ＲＯＭ、ハードディスク装置またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。補助記憶部１５は、各種プログラムの実行ファイルやプログラムの実行に用いられるデータを保持することができる。

通信制御部１２は、外部との通信を制御する機能を備えるハードウェアである。通信制御部１２は、通信インタフェース１３を介してネットワーク１９に接続される。ネットワーク１９は、インターネットであってもよいし、ＷＡＮであってもよいし、ＷｉＦｉまたはイーサネット（登録商標）などのＬＡＮであってもよいし、インターネットとＷＡＮとＬＡＮが混在していてもよい。

入出力インタフェース１７は、入力装置２０から入力されるデータをプロセッサ１１が処理可能なデータ形式に変換したり、プロセッサ１１から出力されるデータを表示装置２１が処理可能なデータ形式に変換したりする。

プロセッサ１１は、補助記憶部１５に記憶されたプログラムを主記憶部１４に読み出して実行することにより、図６、図７、図９および図１０の処理を実現することができる。
なお、図６、図７、図９および図１０の処理を実現するためのプログラムの実行は、複数のプロセッサやコンピュータに分担させてもよい。あるいは、プロセッサ１１は、図６、図７、図９および図１０の処理を実現するためのプログラムの全部または一部の実行を、ネットワーク１９を介してクラウドコンピュータなどに指示し、その実行結果を受け取るようにしてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給してもよい。そして、上述の実施形態の１以上の機能は、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＦＰＧＡまたはＡＳＩＣ）でも実現可能である。

１００ 撮像システム、１０１ 撮像シーン、１０２ 撮像装置、１０３ 録画サーバ、１０４、１０５ クライアント

Claims (17)

1. 画像送信装置から第１画像を受信する受信手段と、
   前記第１画像においてユーザにより指定された注視領域の情報を前記画像送信装置に送信する送信手段と、
   を有し、
   前記受信手段は、前記送信手段が前記情報を前記画像送信装置に送信した場合に、前記注視領域に対応する画像であって、前記第１画像よりも高解像度な第２画像を構成する１つ以上の部分画像とともに前記第１画像を前記画像送信装置から受信することを特徴とする画像受信装置。
2. 表示画像の注視領域を移動させる移動手段と、
   前記注視領域の移動先が前記部分画像の範囲内かどうかを判定する判定手段と、
   前記受信手段が前記画像送信装置から受信した画像を表示させる表示手段と、
   をさらに備え、
   前記表示手段は、前記注視領域の移動先が前記部分画像の範囲内の場合、前記部分画像を表示させ、前記注視領域の移動先が前記部分画像の範囲外の場合、前記第１画像を表示させることを特徴とする請求項１に記載の画像受信装置。
3. 前記表示手段は、前記注視領域の移動先が前記部分画像の範囲外の場合、前記第１画像を表示させ、前記注視領域の移動先の領域に対応する画像であって前記第２画像を構成する１以上の部分画像を前記受信手段が新たに受信した後に、新たに受信した部分画像を表示させることを特徴とする請求項２に記載の画像受信装置。
4. 画像受信装置に第１画像を送信する送信手段と、
   前記第１画像においてユーザにより指定された注視領域の情報を前記画像受信装置から受信する受信手段と、
   を有し、
   前記送信手段は、前記受信手段が前記情報を前記画像受信装置から受信した場合に、前記注視領域に対応する画像であって、前記第１画像よりも高解像度な第２画像を構成する１つ以上の部分画像とともに前記第１画像を前記画像受信装置に送信することを特徴とする画像送信装置。
5. 前記注視領域の移動先が前記部分画像の範囲内かどうかを判定する判定手段をさらに備え、
   前記送信手段は、前記注視領域の移動先が前記部分画像の範囲内の場合、前記部分画像とともに前記第１画像を前記画像受信装置に送信し、前記注視領域の移動先が前記部分画像の範囲外の場合、前記第１画像を前記画像受信装置に送信することを特徴とする請求項４に記載の画像送信装置。
6. 前記送信手段は、前記注視領域の移動先が前記部分画像の範囲外の場合、前記第１画像を前記画像受信装置に送信し、前記注視領域の移動先の領域に対応する画像であって前記第２画像を構成する１以上の部分画像を新たに送信することを特徴とする請求項５に記載の画像送信装置。
7. 前記第２画像を空間的に分割した部分画像を生成する生成手段と、
   前記部分画像を符号化する符号化手段と、
   前記符号化手段で符号化された部分画像を送信する送信手段と、
   をさらに備えることを特徴とする請求項４から６のいずれか１項に記載の画像送信装置。
8. 前記タイル画像は、フレーム内圧縮画像またはフレーム間圧縮画像であることを特徴とする請求項４から７のいずれか１項に記載の画像送信装置。
9. 被写体の画像を撮像する撮像手段をさらに有することを特徴とする請求項４から８のいずれか１項に記載の画像送信装置。
10. 画像送信装置から第１画像を受信するステップと、
    前記第１画像においてユーザにより指定された注視領域の情報を前記画像送信装置に送信するステップと、
    前記情報を前記画像送信装置に送信した場合に、前記注視領域に対応する画像であって、前記第１画像よりも高解像度な第２画像を構成する１つ以上の部分画像とともに前記第１画像を前記画像送信装置から受信するステップと、
    を備えることを特徴とする方法。
11. 表示画像の注視領域を移動させるステップと、
    前記注視領域の移動先が前記部分画像の範囲内かどうかを判定するステップと、
    前記注視領域の移動先が前記部分画像の範囲内の場合、前記部分画像を表示させ、前記注視領域の移動先が前記部分画像の範囲外の場合、前記第１画像を表示させるステップと、
    をさらに備えることを特徴とする請求項１０に記載の方法。
12. 前記注視領域の移動先が前記部分画像の範囲外の場合、前記第１画像を表示させ、前記注視領域の移動先の領域に対応する画像であって前記第２画像を構成する１以上の部分画像を新たに受信した後に、新たに受信した部分画像を表示させるステップと、
    をさらに備えることを特徴とする請求項１１に記載の方法。
13. 画像受信装置に第１画像を送信するステップと、
    前記第１画像においてユーザにより指定された注視領域の情報を前記画像受信装置から受信するステップと、
    前記情報を前記画像受信装置から受信した場合に、前記注視領域に対応する画像であって、前記第１画像よりも高解像度な第２画像を構成する１つ以上の部分画像とともに前記第１画像を前記画像受信装置に送信するステップと、
    を備えることを特徴とする方法。
14. 前記注視領域の移動先が前記部分画像の範囲内かどうかを判定するステップと、
    前記注視領域の移動先が前記部分画像の範囲内の場合、前記部分画像とともに前記第１画像を前記画像受信装置に送信し、前記注視領域の移動先が前記部分画像の範囲外の場合、前記第１画像を前記画像受信装置に送信するステップと、
    をさらに備えることを特徴とする請求項１３に記載の方法。
15. 前記注視領域の移動先が前記部分画像の範囲外の場合、前記第１画像を前記画像受信装置に送信し、前記注視領域の移動先の領域に対応する画像であって前記第２画像を構成する１以上の部分画像を新たに送信することを特徴とする請求項１４に記載の方法。
16. コンピュータを請求項１から３のいずれか１項に記載の画像受信装置として動作させるためのプログラム。
17. コンピュータを請求項４から９のいずれか１項に記載の画像送信装置として動作させるためのプログラム。

Images