JP2015192278A - 画像処理装置および方法 - Google Patents

Abstract

【課題】画像配信の負荷の増大を抑制することができるようにする。【解決手段】サーバ１０１は、ユーザ操作解析部１２１、座標演算部１２２により、表示すべき画枠座標を求め、画枠座標を含むビットストリームをストリーム判定部１２３により判定する。ビットストリーム読み込み部１２４は、判定されたビットストリームを読み出し、ビデオデコーダ１２６により復号し、描画エンジン１２７による描画後、ビデオエンコーダ１２８により、画枠内の画像を符号化し、ビットストリーム送出部１３０から、符号化したビットストリームを送出する。【選択図】図３

Description

本開示は、画像処理装置および方法に関し、特に、画像配信の負荷の増大を抑制することができるようにした画像処理装置および方法に関する。

従来、動画像や静止画像等のコンテンツ（画像データ）をサーバからクライアントに配信するシステムがある。このようなシステムでは、一般的に、サーバの負荷が増大しやすく、負荷の低減が要求される。

例えば、計算量の多いエンコード処理の軽減を目的として、従来常時動作していたリアルタイムビデオエンコーダに対して、ユーザインタフェース（UI（User Interface））描画時は従来通りエンコード動作するものの、コンテンツ表示時には停止して素材ストリームとシームレスに繋いでそのまま配信する方法が考えられた（例えば、特許文献１参照）。

特開２０１２−１４１９２１号公報

しかしながら、近年においては、複数のコンテンツの画像を同時にクライアントに表示させる場合も考えられるようになってきた。例えば、ユーザインタフェースとして、複数のコンテンツの画像を同時にクライアントに表示させることが考えられた。

その場合、サーバは、例えば、各コンテンツの符号化データを復号し、得られた画像データを用いて表示画像の画像データを生成し、その表示画像の画像データを復号し、ビットストリームとしてクライアントに配信する。このように、符号化や復号を伴うので、表示画像に含めるコンテンツの数が増大する程、サーバの負荷が増大するおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、画像配信の負荷の増大を抑制することができるようにするものである。

本技術の一側面は、指示情報に基づいて、複数の画像が並べられた画像領域における表示領域を設定する設定部と、前記表示領域内に含まれる画像の数を低減するように、前記設定部により設定された前記表示領域を補正する補正部と、互いに独立して符号化された前記複数の画像の各ビットストリームの中から、前記補正部により補正された前記表示領域に含まれる画像のビットストリームを選択して供給する供給部とを備える画像処理装置である。

前記補正部は、前記表示領域の位置、サイズ、アスペクト比の少なくともいずれか１つを補正することができる。

前記補正部は、前記表示領域に含まれる部分画像を領域外とするように、前記設定部により設定された前記表示領域を補正することができる。

前記補正部は、前記表示領域内に含まれる画像が全体画像のみとなるように、前記設定部により設定された前記表示領域を補正することができる。

前記補正部は、前記表示領域内に含まれる画像が単一の全体画像のみとなるように、前記設定部により設定された前記表示領域を補正することができる。

前記補正部は、前記設定部により設定された前記表示領域において、所定の割合以上を前記単一の全体画像が占める場合、前記設定部により設定された前記表示領域を補正することができる。

前記補正部は、所定期間前記指示情報が与えられていない状態において、前記設定部により設定された前記表示領域を補正することができる。

前記表示領域内に複数の画像が含まれる場合、前記複数の画像の各ビットストリームを復号する復号部と、前記復号部により復号されて得られた各画像データを用いて、前記表示領域の画像データを生成する生成部と、前記生成部により生成された前記表示領域の画像データを符号化する符号化部とをさらに備えることができる。

前記複数の画像の各ビットストリームを記憶する記憶部をさらに備え、前記供給部は、前記補正部により補正された前記表示領域に含まれる画像のビットストリームを前記記憶部から読み出して供給することができる。

前記設定部により設定された前記表示領域が単一の部分画像により構成される場合、前記単一の部分画像を描画するための描画パラメータを生成する描画パラメータ生成部と、前記描画パラメータ生成部により生成された前記描画パラメータを供給する描画パラメータ供給部とをさらに備えることができる。

前記指示情報を取得する取得部をさらに備え、前記設定部は、前記取得部により取得された前記指示情報に基づいて、前記表示領域を設定することができる。

前記指示情報は、入力されたユーザ操作を示す情報であるようにすることができる。

本技術の一側面は、また、指示情報に基づいて、複数の画像が並べられた画像領域における表示領域を設定し、前記表示領域内に含まれる画像の数を低減するように、設定された前記表示領域を補正し、互いに独立して符号化された前記複数の画像の各ビットストリームの中から、補正された前記表示領域に含まれる画像のビットストリームを選択して供給する画像処理方法である。

本技術の一側面においては、指示情報に基づいて、複数の画像が並べられた画像領域における表示領域が設定され、表示領域内に含まれる画像の数を低減するように、設定された表示領域が補正され、互いに独立して符号化された複数の画像の各ビットストリームの中から、補正された表示領域に含まれる画像のビットストリームが選択されて供給される。

本開示によれば、画像データを配信することができる。特に、画像配信の負荷の増大を抑制することができる。

GUIの例を説明する図である。 画像配信システムの主な構成例を示す図である。 サーバの主な構成例を示すブロック図である。 受信装置の主な構成例を示すブロック図である。 表示領域の変更の様子の例を示す図である。 変更前の表示領域の例を示す図である。 変更後の表示領域の例を示す図である。 表示領域の補正の例を示す図である。 表示領域の補正の例を示す図である。 画像配信処理の流れの例を説明するフローチャートである。 ビットストリーム送出処理の流れの例を説明するフローチャートである。 サーバの他の構成例を示すブロック図である。 受信装置の他の構成例を示すブロック図である。 ビットストリーム送出処理の流れの他の例を説明するフローチャートである。 画像表示処理の流れの例を説明するフローチャートである。 表示領域の補正の例を示す図である。 テレビジョン放送動画閲覧システムの主な構成例を示す図である。 監視カメラシステムの主な構成例を示す図である。 コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像配信システム）
２．第２の実施の形態（画像配信システム）
３．第３の実施の形態（補正の他の例）
４．第４の実施の形態（その他のシステム）
５．第５の実施の形態（コンピュータ）

＜１．第１の実施の形態＞
＜動画像表示＞
サーバ上の複数動画コンテンツを並べて表示・閲覧を行うシステムとしては、動画ストリームとユーザインタフェース（UI（User Interface））描画コマンドを受信してクライアント上で描画を行う方法と、描画はサーバ上で行った上で最終表示画面を１本の動画ビットストリームとして配信する方法が考えられる。

クライアント上で描画を行う方法は、Webブラウザなどで一般的に行われている方法で、サーバは動画素材ストリームやUI画面配置構成を配信するだけで、画面を描画するのはクライアントの仕事である。このケースでは構成する動画が多数になると、通信帯域を多く必要とし、クライアント上での複数本の動画をデコード・描画する処理の負荷が非常に重くなるおそれがある。

これに対して、サーバ上で動画のデコード・描画を行い、描画が完了した画面を１つの動画ストリームとなるようにリアルタイムエンコードして配信する方式では、クライアントの主な処理は常に１本の動画をデコードし続けるだけよく、クライアントの処理能力に依存する部分が少なく、クライアント上のアプリケーションの構成は単なるストリーミングプレーヤに近く単純な構成で済むというメリットが存在する。

近年のスマートフォンなどがクライアントとなるユースケースでは、通信帯域がそれほど取れず、デコード・描画の処理能力も十分でない場合を考えると、有効なシステムである。ただし、クライアントの処理が簡単になる分、サーバ側でデコード・描画・リアルタイムエンコードという処理が発生し、サーバ側の負荷が問題となってくる。

特許文献１においては、計算量の多いエンコード処理の軽減を目的として、従来常時動作しているリアルタイムビデオエンコーダに対して、UI描画時は従来通りエンコード動作するものの、コンテンツ表示時には停止して素材ストリームとシームレスに繋いでそのまま配信することによって、サーバ負荷を軽減する方法が示されている。

もっと表現自由度が高いUIとして、面状に並べられた画像が全て動画として表示されながら、ユーザの操作で自由に拡大・縮小・移動ができるようなUIが考えられる。選択したらその再生が始まるというような単純なUIとは異なり、動画再生され続ける画像群による仮想大画面内を自由に動き回る間隔で閲覧できるのが特徴である。

このような例では、ユーザが自由に操作ができるが故に、各画像の画面上の配置は自由度が多く、素材のストリームに切り替えることが可能な配置状態が極端に少なくなってしまう。

特許文献１で示されるユーザが１つの動画を選択するとその動画の再生が始まるというような例と異なり、拡大率や配置がユーザ操作で自在にできるため、１つの動画がぴったり１００％される状態にはなかなかならない。そのため、常にビデオエンコーダが動き続けることになり、サーバの負荷が高いままとなるおそれがあった。

＜ユーザインタフェース＞
図１は、面状に並べられた動画像表示ユーザインタフェース（UI）画面の例を示す図である。図１に示されるUI画面１１では、配信することができるコンテンツの画像（動画像でも静止画像でも良い）２１が所定の面にタイル状（例えばアレイ状）に並べられて配置されている。この面は、平面でも曲面でもよい。

例えば、ユーザが拡大操作を行うことにより、タイル状に並んだ画像群が拡大表示されていく。図１においては、UI画面１１の表示状態を３段階示している。その中で一番上のUI画面１１が最も広角な状態（最も広い範囲が表示されている状態）を示しており、一番下のUI画面１１が最も狭角な状態（最も狭い範囲が表示されている状態）を示している。

ユーザの拡大操作により、各画像２１はより大きく表示され、その分、表示領域内の画像数は少なくなる。つまり、表示される範囲がより狭くなる（図１のより下の例になる）。逆に、ユーザが縮小操作を行うと、各画像２１はより小さく表示され、その分、表示領域内の画像数が多くなる。つまり、表示される範囲がより広くなる（図１のより上の例になる）。

ユーザは拡大・縮小の他、上下左右への平行移動もでき、俯瞰したり、注目コンテンツを拡大してじっくり見たりして、見たいコンテンツを探すことができる。コンテンツは、任意であるが、例えば、ユーザがサーバにアップロードした蓄積動画素材や、テレビジョン放送画像のようにリアルタイムで流れ続ける動画等が考えられる。

＜表示領域の補正＞
このようなUIにおいて、サーバの負荷の増大を抑制するために、指示情報に基づいて、複数の画像が並べられた画像領域における表示領域を設定し、その表示領域内に含まれる画像の数を低減するように、設定された表示領域を補正し、互いに独立して符号化された複数の画像の各ビットストリームの中から、補正された表示領域に含まれる画像のビットストリームを選択して供給するようにする。

このようにすることにより、配信するビットストリームの数を低減させることができるので、サーバにおける画像配信の負荷の増大を抑制することができる。

＜画像配信システム＞
図２は、本技術を適用した画像処理装置を含むシステムの一態様である画像配信システムの主な構成例を示すブロック図である。

図２に示される画像配信システム１００は、サーバ１０１が、ネットワーク１０２を介して接続される受信装置１０３に画像を配信するシステムである。サーバ１０１は、ストレージ１０４に記憶される配信用のコンテンツデータを、ネットワーク１０２を介して、クライアントである受信装置１０３に送信する。

その際、サーバ１０１は、図１を参照して説明したようなUIを受信装置１０３に提供する。具体的には、サーバ１０１は、ストレージ１０４から読み出したコンテンツデータを用いて、図１を参照して説明したようなUIの表示される部分（表示領域とも称する）の画像を生成し、その画像データを受信装置１０３に供給する。また、サーバ１０１は、受信装置１０３から送信される、そのUIの表示領域に対する指示情報を受け取り、その指示情報に基づいて表示領域の画像を生成する。

ネットワーク１０２は、任意の通信媒体である。ネットワーク１０２は、１つのネットワークであってもよいし、複数のネットワークにより形成されるようにしてもよい。ネットワーク１０２は、例えば、インターネットであってもよいし、公衆電話回線網であってもよいし、LAN（Local Area Network）であってもよいし、これらの組み合わせであってもよい。もちろん、ネットワーク１０２が、これら以外のネットワークを含むようにしてもよい。さらに、ネットワーク１０２は、有線の通信媒体であってもよいし、無線の通信媒体であってもよいし、これらの組み合わせであってもよい。

受信装置１０３は、サーバ１０１から送信されるUIの表示領域の画像データを受信する。図１に示されるように、受信装置１０３には、画像を表示する表示装置１０５が接続される。受信装置１０３は、受信した画像データを用いてUIの表示領域の画像を表示装置１０５に表示させる。

また、受信装置１０３には、ユーザ操作を受け付けるコントローラ１０６が用意されている。受信装置１０３は、そのコントローラ１０６において受け付けられたユーザ操作に対応する制御情報を、コントローラ１０６から取得し、その制御情報に応じた処理を行う。例えば、コントローラ１０６において受け付けられたユーザ操作が、UIの表示領域に関する指示である場合、そのユーザ操作を示す情報（以下、単にユーザ操作と称する。また、指示情報とも称する）をサーバ１０１に供給する。サーバ１０１は、そのユーザ操作（指示情報）に基づいて、表示領域の設定を行う。

ストレージ１０４は、例えばハードディスク等の任意の記録媒体を有し、画像や音声等よりなるコンテンツのデータ（コンテンツデータ）を記憶する。コンテンツデータは、任意のデータにより構成される。例えば、コンテンツデータは、画像データや音声データ等を含む。ストレージ１０４は、複数のコンテンツデータを記憶する。その数は任意であるが、より多数であるほど、サーバ１０１が提供するサービスの有用度が増大する。ストレージ１０４の記憶領域をより有効に利用するため、各コンテンツデータは、それぞれ符号化されている。この符号化方式は任意である。

このコンテンツは、サーバ１０１が受信装置１０３に配信する配信用のコンテンツである。なお、このコンテンツの画像は、動画像であってもよいし、静止画像であってもよい。

表示装置１０５は、受信装置１０３に接続され、受信装置１０３から供給される画像データの画像を表示する。例えば、表示装置１０５は、受信装置１０３から供給されるUIの表示領域の画像データを取得し、その表示領域の画像を表示する。

コントローラ１０６は、例えばボタンやスイッチなどの入力部を有し、その入力部に対するユーザ操作を受け付ける。コントローラ１０６は、ユーザ操作を受け付けると、その受け付けたユーザ操作に対応する制御情報を受信装置１０３に供給する。受信装置１０３は、そのコントローラ１０６から供給される制御情報を受け付け、その制御情報に応じた処理を行う。

なお、図２においては、サーバ１０１乃至コントローラ１０６を１つずつ示しているが、これらの一部若しくは全部が複数であってもよい。

また、ストレージ１０４は、サーバ１０１に内蔵される（サーバ１０１の構成とする）ようにしてもよい。また、ストレージ１０４は、ネットワーク１０２を介してサーバ１０１に接続されるようにしてもよい。

また、表示装置１０５は、受信装置１０３に内蔵される（受信装置１０３の構成とする）ようにしてもよい。また、表示装置１０５は、ネットワーク１０２を介して受信装置１０３に接続されるようにしてもよい。

また、コントローラ１０６は、有線通信によって受信装置１０３に接続されるようにしてもよいし、無線通信によって受信装置１０３に接続されるようにしてもよい。また、コントローラ１０６は、受信装置１０３に内蔵される（受信装置１０３の構成とする）ようにしてもよい。また、コントローラ１０６は、ネットワーク１０２を介して受信装置１０３に接続されるようにしてもよい。

＜サーバ＞
図３は、サーバ１０１の主な構成例を示すブロック図である。図３に示されるように、サーバ１０１は、ユーザ操作解析部１２１、座標演算部１２２、ストリーム判定部１２３、ビットストリーム読み込み部１２４、切替部１２５、ビデオデコーダ１２６、描画エンジン１２７、ビデオエンコーダ１２８、切替部１２９、およびビットストリーム送出部１３０を有する。

ユーザ操作解析部１２１は、受信装置１０３から供給される、ユーザ操作（UIの表示領域に関する指示情報）を取得し、そのユーザ操作が示すUIの表示領域に関する指示（例えば、表示領域の拡大、縮小、移動、または変形等）を解析する。ユーザ操作解析部１２１は、その解析結果を座標演算部１２２に供給する。

座標演算部１２２は、ユーザ操作解析部１２１から供給される解析結果に基づいて、表示領域の座標を求める。すなわち、座標演算部１２２は、ユーザ指示に応じた更新後の表示領域の位置、サイズ、形状等を求める。座標演算部１２２は、求めた表示領域の座標を示す情報を、ストリーム判定部１２３、ビットストリーム読み込み部１２４、描画エンジン１２７等に供給する。

ストリーム判定部１２３は、座標演算部１２２から供給される、表示領域の座標を示す情報に基づいて、表示領域の画像を生成するために復号（デコード）等の処理が必要であるか否かを判定し、その判定結果に応じて切替部１２５や切替部１２９を制御する。

ビットストリーム読み込み部１２４は、UIの、座標演算部１２２により求められた表示領域に含まれるコンテンツのビットストリームをストレージ１０４から読み出し、切替部１２５に供給する。

切替部１２５は、ビットストリーム読み込み部１２４から供給されるビットストリームを、ストリーム判定部１２３により判定された出力先に供給する。例えば、ストリーム判定部１２３により、表示領域の画像を生成するために復号（デコード）等の処理が必要であると判定された場合、ビットストリーム読み込み部１２４から供給されるビットストリームをビデオデコーダ１２６に供給する。例えば、表示領域に複数のコンテンツが含まれる場合、表示領域の画像を生成するために、その複数のコンテンツの画像をまとめて１本のビットストリームにしなければならないので、ストリーム判定部１２３は、表示領域の画像を生成するために復号（デコード）等の処理が必要であると判定する。

また、例えば、ストリーム判定部１２３により、表示領域の画像を生成するために復号（デコード）等の処理が不要であると判定された場合、ビットストリーム読み込み部１２４から供給されるビットストリームを切替部１２９に供給する。例えば、表示領域がちょうど１つのコンテンツの全体画像により形成される場合、表示領域の画像データとしてそのコンテンツの画像データを提供すればよいので、ストリーム判定部１２３は、表示領域の画像を生成するために復号（デコード）等の処理が不要であると判定する。

ビデオデコーダ１２６は、切替部１２５を介して供給されるコンテンツのビットストリームを復号する。この復号方式は、コンテンツのビットストリームを正しく復号することができるものであれば、どのような方式であってもよい。ビデオデコーダ１２６は、復号したコンテンツデータを描画エンジン１２７に供給する。

描画エンジン１２７は、ビデオデコーダ１２６において生成されたコンテンツの画像データを用いて、表示領域の画像を生成する。例えば、表示領域に複数のコンテンツの画像が含まれる場合、描画エンジン１２７は、それらのコンテンツの全ての画像データを用いて表示領域の画像を生成する。描画エンジン１２７は、生成した表示領域の画像の画像データをビデオエンコーダ１２８に供給する。

ビデオエンコーダ１２８は、描画エンジン１２７から供給される表示領域の画像データを符号化し、１本のビットストリームとする。ビデオエンコーダ１２８は、その１本のビットストリームを切替部１２９に供給する。

切替部１２９は、ストリーム判定部１２３の制御に従って、ビデオエンコーダ１２８若しくは切替部１２５から供給されるビットストリームをビットストリーム送出部１３０に供給する。

ビットストリーム送出部１３０は、切替部１２９を介して供給されるビットストリームを、ネットワーク１０２を介して受信装置１０３に供給する。

本技術は、ビデオデコーダ１２６、描画エンジン１２７、ビデオエンコーダ１２８の信号の流れを省略し、ビットストリーム読み込み部１２４からビットストリーム送出部１３０へ直接ショートカットする経路が存在することが特徴である。ショートカットした経路を通るかどうかは、ストリーム判定部１２３が行う。ショートカットでビットストリーム読み込み部１２４からビットストリーム送出部１３０へ信号が直接流れるのは、表示画面が１本の素材画面１００％表示になった時である。

＜受信装置＞
図４は、受信装置１０３の主な構成例を示すブロック図である。図４に示されるように、受信装置１０３は、ユーザ操作受信部１４１、ユーザ操作送出部１４２、ストリーム受信部１４３、ビデオデコーダ１４４、および描画部１４５を有する。

ユーザ操作受信部１４１は、コントローラ１０６から送信されるユーザ操作を受信する。ユーザ操作受信部１４１は、そのユーザ操作をユーザ操作送出部１４２に供給する。

ユーザ操作送出部１４２は、ユーザ操作受信部１４１から供給されるユーザ操作を、ネットワーク１０２を介してサーバ１０１に送信する。

ストリーム受信部１４３は、サーバ１０１から送信されるビットストリームを受信する。ストリーム受信部１４３は、受信したビットストリームをビデオデコーダ１４４に供給する。

ビデオデコーダ１４４は、ストリーム受信部１４３から供給されたビットストリームを復号し、表示領域の画像データ（復号画像データ）を得る。ビデオデコーダ１４４は、その表示領域の画像データを描画部１４５に供給する。

描画部１４５は、供給される表示領域の画像データを用いて表示領域の画像を描画し、表示装置１０５に表示させる。

＜表示領域の補正＞
図５は、仮想的にタイル状に並ぶ動画（UI）と、ユーザ操作によって拡大縮小可能な画枠（表示領域）を示したものである。図５に示されるように、このUIにおいては、斜線模様の長方形で示されるコンテンツの画像１６１が面状に並べられて配置されている。図５においては、左上の１つのみに符号を付しているが、この符号は、各画像を示す。

図５に示される画枠１７１は、ある状態の表示領域を示す。画枠１７２は、画枠１７１の状態にあった表示領域がユーザ操作等により更新された状態の表示領域を示す。

表示装置１０５において表示領域の表示サイズは一定であるので、表示領域が画枠１７１の状態にある場合、その表示領域は、例えば、図６のように表示される。また、表示領域が画枠１７２の状態にある場合、その表示領域は、例えば、図７のように表示される。つまり、画枠１７２の状態にある場合の方が表示領域の範囲が狭く、その分拡大率が大きくなる。

基本的に、画枠の大きさや位置は、ユーザがコントローラで指定するものであるが、本技術においては、ある条件を満たすとユーザ操作に依らず自動的に補正される。その条件は、任意であるが、例えば、「ユーザがコマンドを送信してしない、かつ、１つの動画の画面内に占める割合が８０％以上」というようなものとしてもよい。

ユーザがコマンドを送信していない状態とは、いずれのコントローラボタンも押していない、手を放したのと同等の状態を指す。この条件が必要なのは、ユーザが何らかの操作をしているときに自動補正が入ると、ユーザとしてはコントローラの操作に反して画面が変化しているように感じてしまうおそれがあるためである。画面を占める率が８０％という閾値は一例で、画面で注目している動画が明らかで、それを見ることが主目的と判断される状態であるか否かを識別可能なレベルであれば、この閾値は任意である。

自動補正の目標座標は、主となる動画が表示領域全体に（１００％で）表示される状態である。例えば、図６の状態の場合、各画像１６１の表示領域に占める割合は大きくないが、図７の状態の場合、中央の画像１６１の表示領域に占める割合は大きい。この割合が仮に閾値を超えるとすると、中央の画像１６１が表示領域全体に表示されるように、表示領域が補正される（拡大される）。つまり、図８の点線１７３で囲まれる部分が表示領域となるように補正される。

なお、その補正の際、補正後の状態に瞬時に遷移するようにしてもよいし、数フレームから数秒かけて目が追えるようになめらかに遷移するようにしてもよい。

図９は、このような表示領域の補正の前と後の、表示領域の画像の様子を示している。図９Ａは補正前の状態を示す。この状態において表示領域には、中央の画像の他に、隣接する画像の一部（部分画像）が含まれている。したがって、この場合、サーバ１０１は、表示領域の画像のビットストリームを受信装置１０３に提供するために、各画像のビットストリームを読み出して復号し、合成して表示領域の画像を生成し、その表示領域の画像を符号化して送信しなければならず、負荷が大きい。

これに対して図９Ｂは補正後の状態を示す。この状態において表示領域は、１つの全体画像により構成される。したがって、この場合、サーバ１０１は、表示領域の画像のビットストリームとして、そのコンテンツのビットストリームをそのまま受信装置１０３に提供すれば良い。つまり、通常のデコード・描画・エンコードの処理を省略することができる。したがって、サーバ１０１は、画像配信の負荷の増大を抑制することができる。

このような表示領域の補正は、例えば、図５に示されるように、その位置、サイズ、アスペクト比の少なくともいずれか１つを補正することにより行うようにしてもよい。表示領域の位置を動かしたり、サイズやアスペクト比を変更することにより、表示領域内に含まれる画像の数を低減することができる。

また、このような表示領域の補正は、例えば、図９に示されるように、表示領域に含まれる部分画像を領域外とするように行うようにしてもよい。換言するに、表示領域内に含まれる画像が全体画像のみとなるように補正するようにしてもよい。

上述したように、表示領域に部分画像が含まれると、表示領域の画像を生成するために、その部分画像が含まれるコンテンツの全体画像のビットストリームを読み出し、復号し、全体画像からその部分画像を抽出しなければならない。仮に、表示領域の画像をクライアントに生成させるとしても、その全体画像のビットストリームを読み出してクライアントに供給しなければならない。つまり、部分画像の配信は、表示される画像の大きさに比べて必要な負荷が大きく非効率である。そこで、上述したように、表示領域に含まれる部分画像を領域外とすることにより、画像配信の負荷の増大を抑制することができる。

また、このような表示領域の補正は、例えば、図８に示されるように、表示領域内に含まれる画像が単一の全体画像のみとなるように行うようにしてもよい。このように補正することにより、上述したように、そのコンテンツのビットストリームをそのまま送信すればよいので、符号化や復号等の処理を省略することができ、負荷を低減させることができる。

また、このような表示領域の補正は、補正前の表示領域において、単一の全体画像が所定の割合以上を占める場合に行われるようにしてもよい。このように画像の表示サイズの大きさを閾値とすることにより、補正によって、ユーザが明らかに注目している画像を表示領域外にしてしまうケース（つまり、ユーザの意図に反する補正）が起こり難くすることができ、ユーザインタフェースの操作性が低減するのを抑制することができる。

また、このような表示領域の補正は、ユーザ操作が行われていない状態において行われるようにしてもよい。ユーザが操作中にこのような補正を行うと、表示領域がユーザの意図に反した挙動（拡大・縮小・移動・変形等）を起こしてしまうおそれがある。したがって、ユーザ操作が行われていない状態においてのみ、このような表示領域の補正が行われるようにすることにより、ユーザの意図に反する挙動を抑制し、ユーザインタフェースの操作性が低減するのを抑制することができる。なお、ユーザ操作が行われていない状態として、サーバ１０１に指示情報が供給されていない瞬間を含むようにしてもよいが、現実的には、タイムラグの発生等、制御が困難になるおそれがあるので、所定期間指示情報が与えられていない状態としてもよい。

＜画像配信処理の流れ＞
次に、上述した画像配信システム１００の各装置により実行される処理について説明する。最初に、画像配信システム１００のサーバ１０１および受信装置１０３により実行される画像配信処理の流れの例を、図１０のフローチャートを参照して説明する。

画像配信処理が開始されると、受信装置１０３のユーザ操作受信部１４１は、ステップＳ１２１において、ユーザ操作を受け付ける。

ステップＳ１２２において、ユーザ操作送出部１４２は、ステップＳ１２１の処理により受け付けられたユーザ操作を、ネットワーク１０２を介してサーバ１０１に送出する。

ステップＳ１１１において、サーバ１０１のユーザ操作解析部１２１は、このユーザ操作を受信する。

ステップＳ１１２において、サーバ１０１は、そのユーザ操作に応じて、表示領域の画像のビットストリームを受信装置１０３に送出する。

ステップＳ１２３において、受信装置１０３のストリーム受信部１４３は、そのビットストリームを受信する。

ステップＳ１２４において、ビデオデコーダ１４４は、ステップＳ１２３において受信されたビットストリームを復号（デコード）する。

ステップＳ１２５において、描画部１４５は、ステップＳ１２４の処理によりビットストリームが復号されて得られた表示領域の画像データを用いて表示領域の画像を生成し、表示装置１０５に表示させる。

ステップＳ１２５の処理が終了すると、画像配信処理が終了する。

＜ビットストリーム送出処理の流れ＞
次に、図１０のステップＳ１１２において実行されるビットストリーム送出処理の流れの例を、図１１のフローチャートを参照して説明する。

ビットストリーム送出処理が開始されると、ユーザ操作解析部１２１は、ステップＳ１５１において、ステップＳ１１１（図１０）において受信したユーザ操作を解析し、表示領域に関するユーザ操作があったか否かを判定する。

ユーザ操作中は補正が行えないので、ユーザ操作があったと判定された場合、処理はステップＳ１５２に進む。この場合、ストリーム判定部１２３は、切替部１２５および切替部１２９に、ビデオデコーダ１２６乃至ビデオエンコーダ１２８の経路を選択させる。つまり、ビットストリーム読み込み部１２４により読みこまれたビットストリームは、ビデオデコーダ１２６乃至ビデオエンコーダ１２８を経由する。

ステップＳ１５２において、座標演算部１２２は、ユーザ操作に従って表示領域の新座標（位置、大きさ、形状等）を求める。

ステップＳ１５３において、ビットストリーム読み込み部１２４は、ステップＳ１５２において求められた表示領域の新座標に基づいて、その新座標の表示領域内に位置する画像（コンテンツ）のビットストリームをストレージ１０４から読み出す。

ステップＳ１５４において、ビデオデコーダ１２６は、ステップＳ１５３において読み出されたビットストリームを復号する。

ステップＳ１５５において、描画エンジン１２７は、ステップＳ１５４において復号されて得られた画像データを用いて、表示領域の画像を生成する。

ステップＳ１５６において、ビデオエンコーダ１２８は、ステップＳ１５５において生成された表示領域内の画像の画像データを符号化し、ビットストリームを生成する。

ステップＳ１５７において、ビットストリーム送出部１３０は、ステップＳ１５６において生成されたビットストリームを、ネットワーク１０２を介して受信装置１０３に送出する。

ステップＳ１５８において、サーバ１０１は、ビットストリームの全フレームについて処理したか否かを判定する。未処理のフレームが存在すると判定された場合、処理はステップＳ１５１に戻り、それ以降の処理を繰り返す。また、ステップＳ１５８において、全てのフレームを処理したと判定された場合、ビットストリーム送出処理が終了し、処理は図１０に戻る。

また、ステップＳ１５１において、ユーザ操作が無かったと判定された場合、処理はステップＳ１５９に進む。

ステップＳ１５９において、ストリーム判定部１２３は、表示領域内において、１つの画像が占める割合が80％以上であるか否かを判定する。表示領域の80％以上を占める画像が存在しないと判定された場合、処理はステップＳ１５３に戻り、それ以降の処理を繰り返す。

また、ステップＳ１５９において、表示領域の80％以上を占める画像が存在すると判定された場合、処理はステップＳ１６０に進む。

ステップＳ１６０において、座標演算部１２２は、表示領域の座標を、例えば図５乃至図９等を参照して上述したように補正する。

ステップＳ１６１において、ストリーム判定部１２３は、表示領域内において、１つの画像が占める割合が100％ちょうどであるか否かを判定する。表示領域の80％以上100％未満を占める１つの画像が存在すると判定された場合、処理はステップＳ１５３に戻り、それ以降の処理を繰り返す。補正前の状態から補正後の状態に遷移中は、このように処理が行われる。

ステップＳ１６１において、表示領域が１つの全体画像により構成されると判定された場合、処理はステップＳ１５７に戻り、それ以降の処理を繰り返す。補正後の状態においては、このように処理が行われる。つまり、１つのコンテンツの画像が表示領域の画像として表示される場合、ステップＳ１５４乃至ステップＳ１５６の処理が省略され、そのコンテンツのビットストリームがそのまま受信装置１０３に送出される。

以上のように各処理を行うことにより、サーバ１０１は、画像配信の負荷の増大を抑制することができる。

表示座標の自動調整が終わって、１つの動画を画面１００％表示になると、サーバ側でのデコード・描画・再エンコードの処理が省略でき、サーバの計算量の大幅な削減が可能となる。ユーザ操作の中で、拡大縮小操作をしながら見たいコンテンツを探す時間に比べると、１つの動画をじっくり見る時間の方が長いと考えられるため、複数のユーザを処理する総合負荷で見ると１ユーザあたり負荷は平均すると低い状態に保たれる。

さらに、デコード・拡大／縮小・再エンコードという処理は画質劣化を伴うので、この経路を通らなくすることで、ユーザが視聴する画面での画質向上が望める。

自動調整が行われる判定基準、例えば、「画面内に１つの画像が占める割合が８０％以上」に当てはまる条件での画面表示では、もし自動調整が無い場合、注目動画以外の残り２０％部は隣接の画面のごく一部であり、ユーザにとっては意味が無く積極的に表示はしたくない部分である。自動調整機構が働くことによって、ユーザは粗い操作で、見たい動画がきっちり画面１００％表示に移行できるため、操作感の向上も期待することができる。

＜２．第２の実施の形態＞
＜拡大＞
なお、１つのコンテンツの画像が表示領域よりも大きくなるまで（つまり100％以上となるまで）拡大することができるようにしてもよい。

その際、サーバ１０１において、拡大処理を全て行うようにすると、コンテンツの画像が１つであるにも関わらず、デコーダと拡大描画、エンコード処理が動作するので、サーバ１０１の負荷は高い状態になってしまう。

そこで、表示領域の大きさまで（すなわち100％まで）は、サーバ１０１において拡大するようにし、表示領域以上に（100％以上に）拡大する場合には、受信装置１０３において拡大するようにしてもよい。

その場合、サーバ１０１は、表示領域が１つのコンテンツの全体画像により構成される状態で、ビットストリームを送出することができる。すなわち、サーバ１０１は、コンテンツのビットストリームを表示領域の画像のビットストリームとして送出することができる。したがって、サーバ１０１は、第１の実施の形態の場合と同様に、復号や符号化等の処理を省略することができ、画像配信の負荷の増大を抑制することができる。

そして、サーバ１０１は、表示領域以上の拡大について指示する描画パラメータを生成し、受信装置１０３に送出する。受信装置１０３は、その描画パラメータにより指定されるとおりに、サーバ１０１から供給されたコンテンツの画像を表示領域以上に拡大する。

このようにすることにより、表示装置１０５には、表示領域の画像として、１つのコンテンツの部分画像が表示される。

＜サーバ＞
図１２は、その場合のサーバ１０１の主な構成例を示すブロック図である。図１２に示されるように、この場合、サーバ１０１は、図３に示される構成に加え、描画パラメータ送出部２１１を有する。

座標演算部１２２は、１つのコンテンツの画像を表示領域以上に拡大する部分について、その拡大方法（倍率、表示する部分等）を指定する描画パラメータを生成し、描画パラメータ送出部２１１に供給する。

描画パラメータ送出部２１１は、座標演算部１２２から供給される描画パラメータを、ネットワーク１０２を介して受信装置１０３に送出する。

＜受信装置＞
図１３は、この場合の受信装置１０３の主な構成例を示すブロック図である。図１３に示されるように、この場合の受信装置１０３は、図４の構成に加え、描画パラメータ受信部２２１を有する。また、この場合の受信装置１０３は、図４の描画部１４５に代えて、描画部２２２を有する。

描画パラメータ受信部２２１は、サーバ１０１から伝送される描画パラメータを受信する。描画パラメータ受信部２２１は、受信した描画パラメータを描画部２２２に供給する。

描画部２２２は、ビデオデコーダ１４４から供給される画像データの画像を、描画パラメータ受信部２２１から供給される描画パラメータに基づいて、表示領域よりも大きくなるように拡大する。すなわち、表示領域の画像として、ビデオデコーダ１４４から供給される画像データの部分画像を描画し、表示装置１０５に表示させる。

＜ビットストリーム送出処理の流れ＞
次に、図１４のフローチャートを参照して、この場合のビットストリーム送出処理の流れの例を説明する。

ステップＳ２１１乃至ステップＳ２１９の各処理は、図１１のステップＳ１５１乃至ステップＳ１５９の各処理と同様に実行される。

ステップＳ２２０において、座標演算部１２２は、１つの画像が表示領域に占める割合が100％を超える拡大状態であるか否かを判定する。

100％を超える状態で無いと判定された場合、処理はステップＳ２２２に進む。ステップＳ２２２の処理は、図１１のステップＳ１６１と同様に行われる。すなわち、１つのコンテンツの画像が表示領域よりも大きくなるように拡大されない場合は、第１の実施の形態で説明した場合と同様に処理が行われる。

ステップＳ２２０において、１つの画像が表示領域に占める割合が100％を超える拡大状態であると判定された場合、処理はステップＳ２２３に進む。

ステップＳ２２３において、座標演算部１２２は、それ以上の拡大はせずに、拡大方法を指定する描画パラメータを生成する。

ステップＳ２２４において、描画パラメータ送出部２１１は、ステップＳ２２３において生成された描画パラメータを受信装置１０３に送出する。

ステップＳ２２４の処理が終了すると、処理はステップＳ２１７に戻り、それ以降の処理を繰り返す。

＜画像表示処理の流れ＞
次に、図１５のフローチャートを参照して、受信装置１０３により行われる画像表示処理の流れの例を説明する。

画像表示処理が開始されると、描画パラメータ受信部２２１は、ステップＳ２４１において、サーバ１０１から供給される描画パラメータを取得する。

ステップＳ２４２において、描画部２２２は、ステップＳ２４１において取得された描画パラメータに基づいて、ビデオデコーダ１４４により復号されて得られた画像データの画像を拡大する。つまり、表示領域よりも大きく拡大される。

ステップＳ２４３において、描画部２２２は、ステップＳ２４１において取得された描画パラメータに基づいて、ステップＳ２４２において生成した拡大画像（拡大された画像の、表示領域と同じ大きさの部分画像）を表示装置１０５に表示させる。

以上のように各処理を実行することにより、サーバ１０１は、１つのコンテンツの画像が表示領域よりも大きくなるように拡大する場合であっても、画像配信の負荷の増大を抑制することができる。

＜３．第３の実施の形態＞
＜補正の他の例＞
なお、以上においては、１つのコンテンツの画像が表示されるように表示領域を補正する場合について説明したが、これに限らず、複数のコンテンツの画像が表示されるように表示領域を補正するようにしてもよい。例えば、表示領域が図１６に示される状態において、点線３１１に示されるように、2x2のコンテンツの全体画像が表示されるように、表示領域を補正するようにしてもよい。

図１６の例では、補正前は一部だけ表示されているものも含めると１６画像が表示画面に含まれているが、補正後は４画面となり、デコード処理が１６から４へと４分の１に軽減される。

さらに、コンテンツのビットストリームとして、縦横解像度２分の１のHEVC（High Efficiency Video Coding）で圧縮した動画としてあらかじめ用意しておけば、HEVC規格のタイル機能を利用して素材動画をデコード処理することなくタイル状に並べた１ストリームとして再構成することが可能になる。この場合、サーバ１０１の処理は非常に負荷の小さくすることが可能である。

＜４．第４の実施の形態＞
＜その他のシステム＞
以上においては、図２に示される画像配信システム１００を例に説明したが、本技術は、画像を送受信するシステムであれば、どのようなシステムにも適用することができる。

例えば、図１７に示されるような、テレビジョン放送動画閲覧システムにも本技術を適用することができる。図１７に示されるテレビジョン放送動画閲覧システム７１０は、画像配信システム１００の場合と比べて、ストレージ１０４の代わりにTVチューナ７１１を有する。このテレビジョン放送動画閲覧システム７１０は、サーバ１０１が、TVチューナ７１１において受信したテレビジョン放送信号に含まれる画像や音声等のコンテンツデータを、ネットワーク１０２を介して受信装置１０３に配信し、受信装置１０３のユーザが表示装置１０５から出力されるそのコンテンツを視聴するシステムである。

サーバ１０１は、このように、TVチューナ７１１から供給されるコンテンツデータを配信する場合においても、上述した画像配信システム１００の場合と同様に本技術を適用することができる。すなわち、サーバ１０１は、画像配信の負荷の増大を抑制することができる。

また、例えば、図１８に示されるような、監視カメラシステムにも本技術を適用することができる。図１８に示される監視カメラシステム７２０は、画像配信システム１００の場合と比べて、ストレージ１０４の代わりにカメラ７２１−１乃至カメラ７２１−４を有する。カメラ７２１−１乃至カメラ７２１−４を互いに区別して説明する必要が無い場合、単にカメラ７２１と称する。カメラ７２１の台数は任意である。

この監視カメラシステム７２０は、サーバ１０１が、カメラ７２１が撮像して得られた画像や音声等のコンテンツデータを、ネットワーク１０２を介して受信装置１０３に配信し、受信装置１０３のユーザ（例えば警備員等）が表示装置１０５から出力されるそのコンテンツを視聴する（監視する）システムである。

サーバ１０１は、このように、カメラ７２１から供給される撮像画像データを配信する場合においても、上述した画像配信システム１００の場合と同様に本技術を適用することができる。すなわち、サーバ１０１は、画像配信の負荷の増大を抑制することができる。

＜５．第５の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図１９に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。

バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。

入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。

以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。

その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本技術は以下のような構成も取ることができる。
（１） 指示情報に基づいて、複数の画像が並べられた画像領域における表示領域を設定する設定部と、
前記表示領域内に含まれる画像の数を低減するように、前記設定部により設定された前記表示領域を補正する補正部と、
互いに独立して符号化された前記複数の画像の各ビットストリームの中から、前記補正部により補正された前記表示領域に含まれる画像のビットストリームを選択して供給する供給部と
を備える画像処理装置。
（２） 前記補正部は、前記表示領域の位置、サイズ、アスペクト比の少なくともいずれか１つを補正する
（１）に記載の画像処理装置。
（３） 前記補正部は、前記表示領域に含まれる部分画像を領域外とするように、前記設定部により設定された前記表示領域を補正する
（１）または（２）に記載の画像処理装置。
（４） 前記補正部は、前記表示領域内に含まれる画像が全体画像のみとなるように、前記設定部により設定された前記表示領域を補正する
（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記補正部は、前記表示領域内に含まれる画像が単一の全体画像のみとなるように、前記設定部により設定された前記表示領域を補正する
（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記補正部は、前記設定部により設定された前記表示領域において、所定の割合以上を前記単一の全体画像が占める場合、前記設定部により設定された前記表示領域を補正する
（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記補正部は、所定期間前記指示情報が与えられていない状態において、前記設定部により設定された前記表示領域を補正する
（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記表示領域内に複数の画像が含まれる場合、前記複数の画像の各ビットストリームを復号する復号部と、
前記復号部により復号されて得られた各画像データを用いて、前記表示領域の画像データを生成する生成部と、
前記生成部により生成された前記表示領域の画像データを符号化する符号化部と
をさらに備える（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記複数の画像の各ビットストリームを記憶する記憶部をさらに備え、
前記供給部は、前記補正部により補正された前記表示領域に含まれる画像のビットストリームを前記記憶部から読み出して供給する
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記設定部により設定された前記表示領域が単一の部分画像により構成される場合、前記単一の部分画像を描画するための描画パラメータを生成する描画パラメータ生成部と、
前記描画パラメータ生成部により生成された前記描画パラメータを供給する描画パラメータ供給部と
をさらに備える（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記指示情報を取得する取得部をさらに備え、
前記設定部は、前記取得部により取得された前記指示情報に基づいて、前記表示領域を設定する
（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記指示情報は、入力されたユーザ操作を示す情報である
（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 指示情報に基づいて、複数の画像が並べられた画像領域における表示領域を設定し、
前記表示領域内に含まれる画像の数を低減するように、設定された前記表示領域を補正し、
互いに独立して符号化された前記複数の画像の各ビットストリームの中から、補正された前記表示領域に含まれる画像のビットストリームを選択して供給する
画像処理方法。

１００ 画像配信システム， １０１ サーバ， １０２ ネットワーク， １０３ 受信装置， １０４ ストレージ， １０５ 表示装置， １０６ コントローラ， １２１ ユーザ操作解析部， １２２ 座標演算部， １２３ ストリーム判定部， １２４ ビットストリーム読み込み部， １２５ 切替部， １２６ ビデオデコーダ， １２７ 描画エンジン， １２８ ビデオエンコーダ， １２９ 切替部， １３０ ビットストリーム送出部， １４１ ユーザ操作受信部， １４２ ユーザ操作送出部， １４３ ストリーム受信部， １４４ ビデオデコーダ， １４５ 描画部， ２１１ 描画パラメータ送出部， ２２１ 描画パラメータ受信部， ２２２ 描画部， ７１０ テレビジョン放送動画閲覧システム， ７１１ TVチューナ， ７２０ 監視カメラシステム， ７２１ カメラ

Claims (13)

1. 指示情報に基づいて、複数の画像が並べられた画像領域における表示領域を設定する設定部と、
   前記表示領域内に含まれる画像の数を低減するように、前記設定部により設定された前記表示領域を補正する補正部と、
   互いに独立して符号化された前記複数の画像の各ビットストリームの中から、前記補正部により補正された前記表示領域に含まれる画像のビットストリームを選択して供給する供給部と
   を備える画像処理装置。
2. 前記補正部は、前記表示領域の位置、サイズ、アスペクト比の少なくともいずれか１つを補正する
   請求項１に記載の画像処理装置。
3. 前記補正部は、前記表示領域に含まれる部分画像を領域外とするように、前記設定部により設定された前記表示領域を補正する
   請求項１に記載の画像処理装置。
4. 前記補正部は、前記表示領域内に含まれる画像が全体画像のみとなるように、前記設定部により設定された前記表示領域を補正する
   請求項１に記載の画像処理装置。
5. 前記補正部は、前記表示領域内に含まれる画像が単一の全体画像のみとなるように、前記設定部により設定された前記表示領域を補正する
   請求項１に記載の画像処理装置。
6. 前記補正部は、前記設定部により設定された前記表示領域において、所定の割合以上を前記単一の全体画像が占める場合、前記設定部により設定された前記表示領域を補正する
   請求項５に記載の画像処理装置。
7. 前記補正部は、所定期間前記指示情報が与えられていない状態において、前記設定部により設定された前記表示領域を補正する
   請求項１に記載の画像処理装置。
8. 前記表示領域内に複数の画像が含まれる場合、前記複数の画像の各ビットストリームを復号する復号部と、
   前記復号部により復号されて得られた各画像データを用いて、前記表示領域の画像データを生成する生成部と、
   前記生成部により生成された前記表示領域の画像データを符号化する符号化部と
   をさらに備える請求項１に記載の画像処理装置。
9. 前記複数の画像の各ビットストリームを記憶する記憶部をさらに備え、
   前記供給部は、前記補正部により補正された前記表示領域に含まれる画像のビットストリームを前記記憶部から読み出して供給する
   請求項１に記載の画像処理装置。
10. 前記設定部により設定された前記表示領域が単一の部分画像により構成される場合、前記単一の部分画像を描画するための描画パラメータを生成する描画パラメータ生成部と、
    前記描画パラメータ生成部により生成された前記描画パラメータを供給する描画パラメータ供給部と
    をさらに備える請求項１に記載の画像処理装置。
11. 前記指示情報を取得する取得部をさらに備え、
    前記設定部は、前記取得部により取得された前記指示情報に基づいて、前記表示領域を設定する
    請求項１に記載の画像処理装置。
12. 前記指示情報は、入力されたユーザ操作を示す情報である
    請求項１１に記載の画像処理装置。
13. 指示情報に基づいて、複数の画像が並べられた画像領域における表示領域を設定し、
    前記表示領域内に含まれる画像の数を低減するように、設定された前記表示領域を補正し、
    互いに独立して符号化された前記複数の画像の各ビットストリームの中から、補正された前記表示領域に含まれる画像のビットストリームを選択して供給する
    画像処理方法。

Images