JP2016019248A - 動画表示制御装置、動画表示制御方法及びプログラム - Google Patents

Abstract

【課題】表示画面における動画表示領域を有効に活用できる、動画表示制御装置、動画表示制御方法及びプログラムを提供する。【解決手段】ピクチャを分割した１以上のタイルを含むタイルセットであって、同一のピクチャ及び参照対象のピクチャ内の他の画素を参照せずに復号可能なタイルセットの符号化ストリームを復号する復号手段と、ピクチャの一部を表示装置の表示領域に表示するために、選択された選択領域を取得する取得手段と、選択領域に対応する解像度と表示領域に対応する解像度とに基づいて、ピクチャの一部を表示させる場合に表示対象となる領域を決定する決定手段と、決定手段によって決定された表示対象となる領域を、表示領域に表示させるよう制御する表示制御手段とを有する。決定手段は、選択領域に対応する解像度と表示領域に対応する解像度とに基づいて、表示対象となる領域を決定する。【選択図】図１

Description

本発明は動画表示制御装置、動画表示制御方法及びプログラムに関し、特に動画に含まれるピクチャが複数のタイルに分割されて符号化されている符号化ストリームの復号方法及び表示制御方法に関する。

動画の圧縮記録の符号化方式であるＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ方式（以下、ＨＥＶＣ）では、動画に含まれる１枚のピクチャを複数の矩形領域に分割するタイル分割と呼ばれる技術が採用されている。そして、ＨＥＶＣではこのタイル分割を利用して動画のストリームの連続するピクチャから一部分のタイルのみを独立して復号可能にするＭＣＴＳ（Ｍｏｔｉｏｎ−Ｃｏｎｓｔｒａｉｎｅｄ Ｔｉｌｅ Ｓｅｔｓ）と呼ばれる手法がある。このＭＣＴＳにおいては、ピクチャ内の１以上のタイルから構成されるタイルセットが定義されている。

一方、ピクチャの一部分の領域のみを独立して復号する技術は、監視カメラやハイエンドカメラで広い範囲を高解像度で動画を撮影し、撮影した動画をタブレット等の表示装置において低解像度で表示するために用いられる場合がある。この場合、撮影された動画（表示対象の動画）は水平方向４０９６画素×垂直方向２０４８画素（以下、４０９６×２０４８画素と記す。尚、画素数が変化しても同様である。）等の高解像度である。一方、表示される動画は表示装置で表示可能な解像度に基づいて１０２４×７２６画素等の、撮影時より低い解像度となる。

このように表示対象の動画の解像度よりも、動画を表示する表示装置の解像度が低い場合、撮影された画面全体を低解像度に変換して表示するモードと、注目領域等の一部分の領域のみを拡大して表示するモードとを備えることが望ましい。以下、前者の撮影された画面全体を低解像度に変換して表示するモードを全体表示モード、後者の注目領域等の一部分の領域のみを拡大して表示するモードを部分表示モードと表記する。

従来、上述の部分表示モードに関し、ユーザーが指定する注視領域に応じて、高解像度映像を切り出し、端末上でデコードし、ディスプレイ上に表示するシステムが提案されている（特許文献１）。特許文献１に記載の技術では、高解像度映像をタイル分割し、符号化し、注視領域の映像を伝送する。

特開２０１３−２１５３５号公報

上述した特許文献１では、送信側の多重化装置で、全体映像を定められたタイルサイズに応じて複数のタイル映像に分割して注視領域が含まれるタイル映像を符号化し、受信側の映像再生端末で符号化された複数のタイル映像を復号して表示する。しかしながら、特許文献１では、映像を表示する映像再生端末の表示画面の解像度（水平画素数及び垂直画素数）については考慮されていない。

このため、仮に動画の表示対象となる領域と表示画面における動画表示領域とで、解像度が一致しない場合がある。このような場合であって、符号化側で設定されたタイルサイズの解像度を用いて、復号側で復号及び表示を行った場合に、動画表示領域の一部に余剰領域が発生してしまい、動画像表示領域全体を効率的に使用することができないことがある。

上記の課題を解決するため、本発明の動画表示制御装置は、以下の構成を有する。即ち、ピクチャを分割した１以上のタイルを含むタイルセットであって、同一のピクチャ及び参照対象のピクチャ内の他の画素を参照せずに復号可能なタイルセットの符号化ストリームを復号する復号手段と、ピクチャの一部を表示装置の表示領域に表示するために、選択された選択領域を取得する取得手段と、前記選択領域に対応する解像度と前記表示領域に対応する解像度とに基づいて、前記ピクチャの一部を表示させる場合に表示対象となる領域を決定する決定手段と、前記決定手段によって決定された表示対象となる領域を、前記表示領域に表示させるよう制御する表示制御手段とを有し、前記決定手段は、前記選択領域に対応する解像度と、前記表示領域に対応する解像度とに基づいて、前記表示対象となる領域を決定することを特徴とする。

表示画面における動画表示領域を従来よりも有効的に活用することが可能となる。

実施形態１の動画表示制御装置を示す図 実施形態１の動画表示制御のフローチャートを示す図 実施形態１の全体表示モードを示す図 実施形態１の全体表示モードにおける表示対象タイルセットの指定を示す図 実施形態１の部分表示モードのフローチャートを示す図 実施形態１の部分表示モードを示す図 実施形態１の符号化ストリームの内部構成を示す図 実施形態２の符号化ストリームの内部構成を示す図 実施形態２の全体表示モードを示す図 実施形態２の部分表示モードを示す図 実施形態３の動画表示制御のフローチャートを示す図 実施形態３の部分表示領域算出のフローチャートを示す図 実施形態３の全体表示モードを示す図 実施形態１を適用しない場合の全体表示モード及び部分表示モードの一例を示す図 動画表示制御装置置に適用可能なコンピューターのハードウェアの構成例を示すブロック図 その他の実施形態の全体表示モード及び部分表示モードの一例を示す図

以下、添付の図面を参照して、本発明を実施形態の一例に基づいて詳細に説明する。尚、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

（実施形態１）
以下、本実施形態に係る動画表示制御装置について、図面を用いて説明する。まず、図１は本実施形態の動画表示制御装置１００を示すブロック図である。図１において、１０８はユーザーの指示を受け取る操作部であり、タッチパネルにおけるタップ動作及びマウスのクリック動作、ボタン操作、及びモードダイヤル操作等が含まれる。例えば、操作部１０８は、ユーザーによる、動画を生成する指示、及び表示モードを切り替える指示等を受け取る。１０１は、操作部１０８から入力されたユーザー指示を解析する指示解析部である。１０２は、符号化方式としてＨＥＶＣを用いて符号化された動画のストリーム（以下、符号化ストリーム）を入力して、動画を構成するピクチャのサイズ、及びタイル分割に関する情報等を含むヘッダ情報を解析するヘッダ解析部である。尚、本実施形態において一連の動画は、所定のフレームレートに対応した数の複数のピクチャ（フレーム）で構成される。また、ここでタイルとは、動画に含まれる１枚のピクチャ（フレーム）を複数に分割した矩形領域のことである。そして、ピクチャ内の１以上のタイルから構成される領域をタイルセット（ＭＣＴＳ：ＭＯＴＩＯＮ−Ｃｏｎｓｔｒａｉｎｅｄ Ｔｉｌｅ Ｓｅｔｓ）と称す。

１０３は、指示解析部１０１によって解析されたユーザー指示に基づいて、表示対象のピクチャ及び表示対象のタイルセットを、後述する表示画面１０７にどのように表示するかを示す表示内容を算出する制御部である。また制御部１０３は、復号部１０４及び画像処理部１０５を制御し、表示画面１０７に動画に重畳して表示するグラフィックス等の重畳内容の算出を行う。

１０４は、制御部１０３で算出された表示内容、及びヘッダ解析部１０２で解析されたヘッダ情報に基づいて、動画表示制御装置１００内に入力された符号化ストリームを復号する復号部である。１０５は、制御部１０３において算出された表示内容に基づいて、復号部１０４で復号された動画のトリミングや解像度変換等を実行する画像処理部である。また画像処理部１０５は、制御部１０３からの指示及び制御部１０３により算出された重畳内容に基づいて、後述するタイルセットの境界（以下、タイルセット境界）等を示すグラフィックスを生成し、復号部１０４で復号された動画に重畳することが可能である。１０６は、表示画面１０７に表示される動画や静止画、文字の表示を制御する表示制御部である。表示制御部１０６は、画像処理部１０５から出力された、グラフィックスが重畳された動画を、表示画面１０７に表示するよう制御する。

１０７は、画像処理部１０５によって取得された動画や静止画、文字を表示する表示画面であり、表示制御部１０６によって制御された表示を行う表示画面である。また、本実施形態では表示画面１０７として、例えば、液晶ディスプレイ（液晶パネル）を用いることができる。尚、表示画面１０７はタッチスクリーン機能（タッチパネル方式）を有していてもよく、その場合は、表示画面１０７をユーザーの指示を入力する操作部１０８として機能させてもよい。即ち、表示画面１０７がタッチスクリーンを用いたユーザー指示を読み込み、入力されたユーザー指示を指示解析部１０１に送出するようにしてもよい。

次に、上述した図１の動画表示制御装置１００を用いて、全体表示モードから部分表示モードに切り替える処理手順について、図２のフローチャートを用いて説明する。

ステップＳ２０１においてヘッダ解析部１０２は、指示解析部１０１により解析され入力されたユーザー指示に基づいて、動画表示制御装置１００に入力された符号化ストリームを取得し、ヘッダ情報を解析する。尚、ヘッダ解析部１０２は、符号化ストリームを動画表示制御装置１００内部の記録部（不図示）から読み込んでも良いし、ネットワーク経由で動画表示制御装置１００外のサーバー（不図示）からダウンロードすることも可能である。さらに、ネットワーク経由でサーバー（不図示）から符号化ストリームを入力する場合に、ヘッダ解析部１０２は符号化ストリーム全体ではなく、ヘッダ情報のみをダウンロードしても良い。

ヘッダ解析部１０２は入力された符号化ストリームに含まれるヘッダ情報を解析することにより、ピクチャの水平・垂直画素数、タイル分割に関する情報（以下、タイル分割情報）、及びＭＣＴＳに関する情報（以下、ＭＣＴＳ情報）を算出することができる。そして、ヘッダ解析部１０２はヘッダ情報を解析した結果を、制御部１０３及び復号部１０４に出力する。尚、タイル分割情報とは、ピクチャをどのようにタイル分割したかを示す情報であって、ピクチャ内に含まれるタイルの数、及び各タイルのサイズ、位置（座標）、及びデータサイズ（データ量）等を示す情報のうち少なくともいずれかを含む。またＭＣＴＳ情報は、ＭＣＴＳ（Ｍｏｔｉｏｎ−Ｃｏｎｓｔｒａｉｎｅｄ Ｔｉｌｅ Ｓｅｔｓ）を構成するタイルを示す情報である。そしてＭＣＴＳ情報は、ピクチャ内にＭＣＴＳが含まれるか否かを示す情報、及びＭＣＴＳに含まれるタイルの数、各タイルの位置（座標）、及びタイル番号等を示す情報のうち少なくともいずれかを含む。

ステップＳ２０２において制御部１０３は、ステップＳ２０１でヘッダ解析部１０２によって解析されたヘッダ情報に基づいて、ピクチャのタイル分割情報及びＭＣＴＳ情報から、タイルセット境界の位置を算出する。このタイルセット境界に関する情報を、図３のように表示画面１０７上に表示させるために、制御部１０３は下記に示す情報を画像処理部１０５へ出力する。即ち、制御部１０３は、タイルセット境界に関する情報、及び当該タイルセット境界をグラフィックスとして表示する旨を示すグラフィックス指示情報を画像処理部１０５に送出する。

ステップＳ２０３において復号部１０４は、全体表示モードで動画を表示するために、動画表示制御装置１００外部から入力された表示対象の符号化ストリームのピクチャ全体を復号する。ここで、復号部１０４によって超高解像度動画（所定解像度以上の解像度の動画（例えば、４Ｋ２Ｋ（解像度が４０００×２０００）以上の高解像度な動画等））に含まれるピクチャ全体を復号する場合に、復号部１０４の処理性能が不足する可能性がある。この場合、例えば表示対象の符号化ストリームが、動画を６０ピクチャ／秒の高ピクチャレートで符号化したストリームであっても、復号部１０４は当該ピクチャレートで復号することはできない。このため、復号部１０４は１ピクチャ／秒のような低ピクチャレートで復号し、復号した動画を画像処理部１０５に出力する。尚、低ピクチャレートにおいて復号部１０４は、ピクチャ内の情報のみで復号が可能なイントラピクチャ（Ｉピクチャ）のみに対応する符号化ストリームを復号してもよい。また、低ピクチャレートにおいて復号部１０４は、動画の先頭のピクチャに対応する符号化ストリームのみを表示する静止画表示を使用することも可能である。

ステップＳ２０４において画像処理部１０５は、復号部１０４によって復号された動画に、制御部１０３の指示に基づいて解像度変換を施す。即ち、画像処理部１０５は、制御部１０３によって、復号部１０４によって復号された動画の解像度が、表示画面１０７における動画を表示する動画表示領域の解像度と異なると判定された場合、復号された動画を動画表示領域に基づく解像度へ解像度変換する。本実施形態において、符号化ストリームにおける動画の解像度（動画に含まれるピクチャの解像度）は４０９６×２０４８画素であるが、表示画面１０７における動画表示領域の解像度は１０２４×５１２画素である。このため、画像処理部１０５は復号部１０４によって復号された動画を、水平方向・垂直方向共に１／４に解像度変換する。（４０９６×２０４８画素から１０２４×５１２画素に解像度変換する）。尚、動画表示領域の解像度を取得する方法は限定されない。即ち、画像処理部１０５は、予め動画表示制御装置１００に設定された情報に基づいて、動画表示領域の解像度を取得してもよいし、ユーザーによって操作部１０８に入力されたアプリケーションに関するユーザー指示に基づいて取得（算出）しても構わない。

また、画像処理部１０５は、制御部１０３から出力された、タイルセット境界に関する情報、及びグラフィックス指示情報に基づいて、タイルセット境界を表すグラフィックスを生成する。ここで、本実施形態において符号化ストリームにおける各タイルセットは２５６×２５６画素とする。このため、画像処理部１０５は、当該タイルセット境界のグラフィックスも、動画データの解像度変換と同様に１／４に解像度変換する（２５６×２５６画素から６４×６４画素に解像度変換する）。

そして画像処理部１０５は、復号部１０４によって復号された動画に、生成したグラフィックスを重畳した動画データに解像度変換を施して生成した全体表示用データを、表示制御部１０６へ出力する。尚、ステップＳ２０４において、復号部１０４から入力された動画の解像度と、動画を表示する動画表示領域の解像度とが等しい場合、画像処理部１０５は解像度変換を行わずにステップＳ２０５の処理へ進んでも構わない。

ステップＳ２０５において表示制御部１０６は、全体表示モードにより動画を表示するよう、表示画面１０７を制御する。即ち、表示制御部１０６は、ステップＳ２０４において画像処理部１０５によって生成された全体表示用データを入力し、当該全体表示用データを表示画面１０７に表示するよう制御する。これにより、表示画面１０７には図３に示すように全体表示用データが表示される。

ここで図３は、全体表示モードにおける、動画にタイルセット境界のグラフィックスを重畳した動画データの表示例を示す図である。表示画面１０７には、画像処理部１０５によってそれぞれ１／４に解像度変換された、動画とステップＳ２０２で算出されたタイルセット境界のグラフィックスとが表示される。このように、動画にタイルセット境界のグラフィックスを重畳することにより、尚、図３において、タイルセット境界は実線で示されているが、これに限定されず、タイルセット境界をユーザーが認識できるような表示であれば構わない。例えば、全体表示されている復号された動画が、タイルセット境界を実線で示すよりも見やすいように、タイルセット境界を破線で表示してもよいし、タイルセット境界に相当する線を一定周期で点滅させて表示させてもよい。

ステップＳ２０６において指示解析部１０１は、ユーザーによって操作部１０８を介して入力された、部分表示モードにおいて表示する１以上のタイルセット（表示対象タイルセット群）を選択（決定）する指示を取得する。例えば、ユーザーは操作部１０８としてタッチパネルを用いる場合のタッチパネル上のタップ動作、及びマウスを用いる場合のマウスによるクリック等により、部分表示モードにおいて表示する１以上のタイルを含む表示対象タイルセットを選択する。尚、表示対象タイルセットが複数存在する場合には、ユーザーは複数のタイルセットをタップするか、もしくはトレース動作（タッチパネル上をなでる）により指定した矩形領域により、表示対象とすべき表示対象タイルセット群を選択可能である。

ここで、図４（ａ）及び（ｂ）に、全体表示モードで表示している時に、部分表示モードで表示するために、ユーザーによって表示対象タイルセットが指定される様子のイメージ図を示す。図４（ａ）は、ユーザーのタップ動作による部分表示モードにおける表示対象タイルセットの指定方法のイメージ図である。また図４（ｂ）は、ユーザーのトレース動作による表示対象タイルセットの指定方法のイメージ図である。このようにして、ユーザーは表示対象タイルセットを選択することができる。

さらにステップＳ２０６において指示解析部１０１は、取得した表示対象タイルセットを選択する指示を解析し、選択された表示対象タイルセットに関する情報（以下、選択情報）を取得する。そして指示解析部１０１は、当該選択情報を制御部１０３に出力する。そして制御部１０３は、指示解析部１０１から入力された選択情報に基づいて、選択された表示対象タイルセットの視認性を高めるための強調表示内容を特定し、画像処理部１０５は当該強調表示内容に基づいて画像処理を行う。

ここで、強調表示内容とは、選択された表示対象タイルセット及び当該表示対象タイルセットに対応するタイルセット境界を強調表示するための情報を示す。例えば、画像処理部１０５が当該強調表示内容に基づいて画像処理を行うことにより、表示制御部１０６は、表示画面１０７上において表示対象タイルセット内の画素群の輝度成分や色差成分を変化させて強調表示させるよう制御することができる。尚、選択された表示対象タイルセットの強調表示はこれに限定されず、表示制御部１０６は、表示対象タイルセットとして選択されたタイルセットの境界部分の画素群の輝度成分や色差成分を変化させて強調表示させるよう制御しても構わない。このような強調表示により、ユーザーが選択した表示対象タイルセットをユーザーに提示することが可能であり、視認性を向上させることができる。

ステップＳ２０７において表示制御部１０６は、図４のように表示対象タイルセットが選択された状態で、さらにユーザーによる部分表示モードへの移行の指示が操作部１０８を介して入力されると、表示画面１０７に部分表示モードによる動画を表示するよう制御する。以下、部分表示モードにより表示される動画を部分動画と称す。このユーザーによる部分表示モードへの移行指示は、例えば図３で示したタッチパネル上の「表示モード切替ボタン」を、ユーザーがタップ動作等により操作することで指示することができる。そして、指示解析部１０１は当該部分表示モードへの移行指示を解析し、制御部１０３が解析された移行指示に関する情報に基づいて、復号部１０４及び画像処理部１０５を制御することにより、画像処理部１０５は部分表示モード用のデータを生成する。さらに、表示制御部１０６は、生成された部分表示モード用のデータを表示画面１０７に表示するよう制御することで、部分表示モードにおける部分動画の表示を実現する。

このように、上述した図２の各ステップＳ２０１〜２０７における処理によって、動画表示制御装置１００を用いて、全体表示モードから部分表示モードに動画の表示を切り替えることができる。尚、本実施形態では、ユーザーにより表示対象タイルセットが選択された状態で、さらにユーザーによる部分表示モードへの表示モード切替が指示された場合に、表示制御部１０６は部分動画を表示するよう表示画面１０７を制御する（ステップＳ２０６〜２０７）。しかしながらこれに限定されず、動画表示制御装置１００は、ユーザーによって部分表示モードへの切替が指示された上で、さらにユーザーにより表示対象タイルセットを選択することで、部分表示モードを実現する構成でも構わない。

次に、図５のフローチャートを用いて、ステップＳ２０７の部分表示モードによる表示における動画表示制御装置１００の動作を説明する。

ステップＳ５０１において制御部１０３は、ステップＳ２０６で取得した表示対象タイルセット群のアスペクト比（垂直画素数÷水平画素数）を算出する。例えば図４（ａ）に示すようにユーザーによってタイルセットが選択された場合、部分表示モードにおける表示対象タイルセット群として４つのタイルセットが選択される。そして、当該４つのタイルセットの解像度は合わせて５１２×５１２画素であるため、表示対象タイルセット群のアスペクト比は５１２÷５１２＝１．０である。同様に図４（ｂ）の場合、部分表示モードにおける表示対象タイルセット群として１２個のタイルセット群が選択される。そして、当該１２個のタイルセットの解像度は合計で１０２４×７６８画素であるため、表示対象タイルセット群のアスペクト比は７６８÷１０２４＝０．７５となる。

ステップＳ５０２において制御部１０３は、ステップＳ５０１で算出された表示対象のタイルセット群のアスペクト比と、表示画面１０７における動画表示領域のアスペクト比との差分絶対値を算出する。動画表示領域の解像度が１０２４×５１２画素であるとすると、動画表示領域のアスペクト比は５１２÷１０２４＝０．５となる。図４（ａ）のケースにおいて差分絶対値は０．５となり、図４（ｂ）のケースでは差分絶対値は０．２５となる。さらに、ステップＳ５０２において制御部１０３は、この差分絶対値が閾値ＴＨ以下であるか否かを判定する。尚、本実施形態において閾値ＴＨを０．３とするが、特定の閾値ＴＨの値に限定されるものではない。

そして、ステップＳ５０２において差分絶対値が閾値ＴＨ未満である場合（ステップＳ５０２でＹＥＳ）、選択された表示対象タイルセット群のアスペクト比は、動画表示領域のアスペクト比に十分近いと判断することができる。このため、制御部１０３はステップＳ５０３の処理へ進む。一方、ステップＳ５０２において差分絶対値が閾値ＴＨ以上である場合（ステップＳ５０２でＮＯ）、選択された表示対象タイルセット群を解像度変換して表示するだけでは、動画表示領域において余剰領域がより大きく発生してしまう。即ち、差分絶対値が閾値ＴＨ以上である場合、動画表示領域を効率的に活用できないと判断することができる。このため、制御部１０３はステップＳ５０５の処理へ進む。

ステップＳ５０３において、制御部１０３及び復号部１０４は、動画表示制御装置１００に入力される符号化ストリームから、ユーザーにより表示対象として決定されたタイルセットの符号化データを抽出及び復号する処理を行う。

まず、制御部１０３は、ステップＳ２０１でヘッダ解析部１０２によって解析された、タイル分割情報及びＭＣＴＳ情報に基づいて、ユーザーが指定した表示対象タイルセット群に対応するタイルの符号化データを特定する。尚、図７に示すように、タイル分割情報は、符号化ストリーム中のピクチャ・パラメータ・セット（ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）に含まれる。また、ＭＣＴＳ情報は、エンハンスメント補足情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）に含まれる。

ここで、図７は、ＨＥＶＣで符号化された符号化ストリームの内容を示す図である。シーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）にはピクチャの水平・垂直解像度等（水平画素数及び垂直画素数）の情報が含まれる。また、上述したようにＳＥＩには、ＭＣＴＳ情報等が含まれる。そして、ＨＥＶＣではＭＣＴＳ情報に含まれる、各タイルセットの左上に位置するタイルの識別子をｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘで指定し、右下に位置するタイルの識別子をｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘで指定する。またＭＣＴＳ情報には、各タイルセットの識別子を示すｍｃｔｓ＿ｉｄが含まれる。このタイルセットの識別子は、タイルセットに含まれるタイルを示す識別子であり、前述したタイル識別子とは独立に、０〜２５５の間で任意の値をストリーム生成時に使用することが可能である。

また、上述したように図７におけるＰＰＳには、タイル分割情報が含まれる。また、スライス・セグメント・ヘッダには、各スライスをイントラ予測で符号化するか、またはインター予測で符号化するかのスライス・タイプが含まれる。スライス・セグメント・ヘッダには続いてタイル分割されている符号化データへ直接アクセスするためのポインタ情報（ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１）が含まれる。

さらに、ステップＳ５０３において、制御部１０３が表示対象タイルセット群に対応するタイルの符号化データを特定する処理の例について説明する。例えば、各タイルセットが１つのタイルからのみ構成される場合、図４（ａ）及び図４（ｂ）に示すように、本実施形態におけるピクチャの解像度は４０９６×２０４８画素、タイルセットの解像度は２５６×２５６画素である。この場合、表示画面１０７内には（４０９６／２５６）×（２０４８／２５６）＝１６×８＝１２８個のタイルが存在し、各タイルにはタイルの識別子として０〜１２７の値がラスタ・スキャン順に付加される。例えば、図４（ａ）のケースにおいて、表示対象タイルセットに含まれるタイル識別子は７７、７８、９３、９４である。このため制御部１０３は、これらのタイル識別子に対応するタイルの符号化データを、スライス・セグメント・ヘッダに含まれるポインタ情報を取得することにより、抽出することが可能である。

また、タイルセットに複数のタイルが含まれる場合に制御部１０３は、ＭＣＴＳ情報内のｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ及びｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘに基づいて、タイルセットに含まれる複数のタイル識別子を取得する。そして、制御部１０３は、取得した複数のタイル識別に基づいて、上記同様ポインタ情報を取得し、当該タイル識別子に対応するタイルの符号化データを抽出することができる。

このように制御部１０３は表示対象タイルセットに対応するタイルの符号化データを特定（抽出）することができる。そして、制御部１０３は、特定（抽出）されたタイルの符号化データへのポインタ情報を復号部１０４に出力する。

さらに、復号部１０４は、入力されたポインタ情報に基づいて、動画表示制御装置１００に入力される符号化ストリームに含まれる、表示対象のタイルに相当する符号化データを取得し、取得した符号化データを復号する。尚、復号部１０４は、符号化データを、動画表示制御装置１００内部のメモリ（不図示）から取得する構成でもよいし、動画表示制御装置１００外部のネットワーク（不図示）から取得する構成でも構わない。そして、復号部１０４は、符号化データを復号して得られた動画を画像処理部１０５に出力する。この復号処理において、表示対象タイルセット群に相当する符号化データのみを入力すればよい。よって例えば符号化ストリームを、ネットワークを介してダウンロードする場合、ピクチャ全体の符号化データをダウンロードする場合に比べ、大幅にダウンロード時間を短縮することが可能である。

ステップＳ５０４において画像処理部１０５は、ステップＳ５０３において復号部１０４によって復号された表示対象タイルセット群を、表示画面１０７の動画表示領域内で最大に表示可能なように解像度変換する。この解像度変換は、表示対象タイルセット群の解像度が、動画表示領域の解像度より低い場合には拡大処理（画素数を増やす）となり、動画表示領域の解像度より高い場合には縮小処理（画素数を減らす）となる。

尚、特定の解像度変換方法に依存せず、いかなる解像度変換方法を使用しても良い。また、本実施形態のステップＳ５０４において、画像処理部１０５は表示対象タイルセット群のアスペクト比を保ったまま解像度変換を施したが、表示対象タイルセット群を動画表示領域のアスペクト比に合うように解像度変換を行っても良い。また、本実施形態のステップＳ５０４において画像処理部１０５は、動画表示領域内で最大になるように表示対象タイルセット群に解像度変換を施したが、これに限定されず、最大でなくても構わない。例えば、動画表示領域の外縁から領域の内側へ、所定数分の画素を、動画を表示しない範囲として設定し、画像処理部１０５は、当該範囲を除く領域に表示対象タイルセット群を表示可能なように解像度変換しても良い。

ステップＳ５０５において、制御部１０３は動画表示領域上の余剰領域を適切に有効活用するため、ユーザーによって選択された表示対象タイルセット群に隣接する１以上のタイルセットを、動画表示領域に表示する対象として追加する。尚、ユーザーによって選択された１以上のタイルセットである表示対象タイルセット群と区別するため、当該表示対象タイルセット群に隣接する１以上のタイルセットを隣接タイルセット群と称す。また、表示対象タイルセット群と隣接タイルセット群とを含む、動画表示領域に表示される対象となるタイルセット群を部分表示タイルセット群と称す。

まず、選択された表示対象タイルセット群のアスペクト比の方が、動画表示領域のアスペクト比よりも大きい場合について説明する。この場合、動画表示領域の左右に余剰となる領域が存在することになる。本実施形態ではユーザーが選択した表示対象タイルセットを動画表示領域における中央に配置し、動画表示領域の左右両側の余剰領域に隣接タイルセットを表示する。このため制御部１０３は、表示対象タイルセット群の左右に隣接するタイルセットを、隣接タイルセット群として設定し、これらの表示対象タイルセット群と隣接タイルセット群とを部分表示タイルセット群とする。ここで図６に、ユーザーが選択したタイルセット群を中央に配置し、左右両側の余剰領域に隣接タイルセット群を追加して表示する様子を示す。

尚、ユーザーが選択した表示対象タイルセット群が、全体表示モードで動画を表示した場合のピクチャの右端、または左端に位置する場合にはこの限りではない。ユーザーによって選択された表示対象タイルセット群がピクチャの右端に位置する場合には、当該表示対象タイルセット群の左側に隣接するタイルセットのみを追加の表示対象（部分表示タイルセット群）とする。またはこの場合、選択された表示対象タイルセット群がピクチャの右端に位置することを明示するために、動画表示領域の右側の余剰領域に特定の色、文字、及び図を表示することも可能である。同様に、表示対象タイルセット群がピクチャの左端に位置する場合には、当該表示対象タイルセット群の右側に隣接するタイルセットのみを追加の表示対象とすることも、動画表示領域の左側の余剰領域に特定の色、文字、及び図を表示することも可能である。このように、余剰領域に特定の表示をすることにより、ユーザーは、余剰領域に表示できる動画が存在しないことを認識することもできる。

一方、ステップＳ５０５において、選択された表示対象タイルセット群のアスペクト比の方が、動画表示領域のアスペクト比よりも小さい場合について説明する。この場合、動画表示領域の上下部分に余剰となる領域が存在することになる。このため制御部１０３は、選択された表示対象タイルセット群の上下に隣接するタイルセットを、隣接タイルセット群として設定し、これらの表示対象タイルセット群と隣接タイルセット群とを部分表示タイルセット群とする。これにより、動画表示領域の上下部分の余剰領域に、隣接タイルセット群を表示させる。

尚、選択された表示対象タイルセット群が、全体表示モードで表示される動画のピクチャの上端、または下端に位置する場合には、選択された表示対象タイルセット群の上側のみ、または下側のみに隣接するタイルセットのみを追加の表示対象としても構わない。また、表示対象タイルセット群がピクチャの上端、または下端に位置する場合にも、上述した表示対象タイルセット群がピクチャの左端及び右端に位置する場合と同様に、表示対象タイルセット群を表示する領域外を特定の色、文字、及び図により表示しても良い。

ステップＳ５０６において復号部１０４は、表示対象である部分表示タイルセット群を動画表示制御装置１００に入力された符号化ストリームから抽出する。即ち復号部１０４は、ユーザーに選択された表示対象タイルセット、及びステップＳ５０５において制御部１０３によって表示対象として追加された隣接タイルセットの符号化データを抽出し、復号する。

ステップＳ５０７において画像処理部１０５は、ステップＳ５０６において復号部１０４によって復号された部分表示対象タイルセット群に、解像度変換及びトリミング処理を施す。本実施形態においては復号された部分表示タイルセット群は、動画表示領域内で表示可能な最大の解像度で表示する。このため、ステップＳ５０７において画像処理部１０５は、復号されたタイルセットのうち、まずはユーザーによって選択された表示対象タイルセット群を、ステップＳ５０４と同様に最大まで拡大して表示するような解像度変換を施す。次に、動画表示領域内の表示対象タイルセット群の表示領域を除く余剰領域について、画像処理部１０５は追加で表示対象となった隣接タイルセットに、表示対象タイルセットと同様の解像度変換を施す。ここで、追加で表示対象とされた隣接タイルセットが余剰領域より大きい場合、画像処理部１０５は余剰領域からはみ出す画素を削除するトリミング処理を施した上で、表示制御部１０６に出力する。

尚、ステップＳ５０７における画像処理部１０５による解像度変換は、ステップＳ５０４と同様に、表示対象タイルセット群の解像度が、動画表示領域の解像度より低い場合には拡大処理となり、動画表示領域の解像度より高い場合には縮小処理となる。また、特定の解像度変換方法に依存せず、いかなる解像度変換方法を使用しても良い。また、画像処理部１０５は、動画表示領域内で最大になるように部分表示タイルセット群に解像度変換を施したが、これに限定されず、最大でなくても構わない。例えば、動画表示領域の外縁から領域の内側へ、所定数分の画素を、動画を表示しない範囲として設定し、画像処理部１０５は、当該範囲を除く領域に部分表示タイルセット群を表示可能なように解像度変換しても良い。

ステップＳ５０８において表示制御部１０６は、ステップＳ５０４またはステップＳ５０７において画像処理部１０５で解像度変換されて出力された表示対象のタイルセットを、部分表示モードにより部分動画として表示するよう表示画面１０７を制御する。尚、図６に示すように、表示画面１０７において部分表示モードで部分動画が表示されている場合であっても、ユーザーが表示モード切替ボタンをタップ動作等により操作することにより、全体表示モードに切り替えることができる。さらに全体表示モードに戻った後で、ユーザーが他のタイルセットを部分表示モードで表示させる領域として選択することにより、表示制御部１０６は表示画面１０７に当該他のタイルセットを部分動画として表示するよう制御することが可能である。

このように、上述した図５の各ステップＳ５０１〜５０８における処理によって、動画表示制御装置１００を用いて、図２のステップＳ２０７における処理に関する、部分表示モードによる表示を実現することができる。また、表示対象タイルセット群の解像度と、動画表示領域の解像度とが一致する場合であっても、一致しない場合であっても、動画表示領域を効率的に使用することができる。

次に、本実施形態を適用しなかった場合の、全体表示モード及び部分表示モードの表示例について、図１４を用いて説明する。図１４は、表示対象の動画の解像度と、表示画面の動画表示領域の解像度とが一致しない様子を示している。図１４（ａ）は、監視カメラ等の撮像装置によって撮像された動画のピクチャ全体を復号し、表示画面に合わせて低解像度化して表示する、全体表示モードを示している。例えば、撮像装置が撮影した動画が４０９６×２０４８画素のような超高精細動画の場合、ピクチャ全体を復号する復号処理、及び復号されたピクチャ全体を表示する表示処理において、低解像度動画の処理と比較して処理負荷が高い。一方、タブレット等の動画表示装置においては、低コスト化や低消費電力化のため、限定的な処理性能のみを備える復号部が使用されることがある。このような動画表示装置を用いる場合、撮影された動画の解像度を、表示画面の解像度に基づいて解像度変換することにより、全体表示モードを実現することができる。

さらに、図１４（ｂ）に示すように、全体表示モードにおいて例えば表示画面上の一部を、ユーザーがタップ動作等で拡大表示したい領域として指定すると、表示画面は図１４（ｃ）の部分表示モードに遷移する。図１４（ｃ）で示した部分表示モードにおいては、ユーザーが指定した領域に対応するタイルセットを部分動画として拡大表示している。この場合、ユーザーによって指定された表示領域の解像度と、表示画面の解像度とが異なるため、表示画面の一部に余剰領域が発生してしまい、表示画面上の動画表示領域全体を効率的に使用することができないという課題がある。

また、ピクチャのタイル分割及びタイルセット境界は符号化側で決定されるため、ユーザーは復号側で復号されたピクチャを参照するだけは、タイル分割及びタイルセット境界を認識することができない。このため、ユーザーは、表示画面を効率的に利用して部分表示するように、タイルセットを指定することが困難である。例えば、ユーザーは画面中の１ヶ所のみ指定したものの、意図した領域の一部のタイルセットのみが復号及び表示されてしまう場合があり、再び操作して複数のタイルセットを指定する必要があり、ユーザーの利便性を損ねるという課題が生じてしまう。

これに対し、下記に示すように、本実施形態は上記の課題を解決することができる。即ち、本実施形態に示した構成により、動画の表示対象となる領域の解像度と、表示画面における動画表示領域の解像度とが、一致しない場合であっても、動画表示領域を効率的に使用することができる。即ち、ユーザーが指定した表示対象タイルセットのアスペクト比と動画表示領域のアスペクト比との差に起因する余剰領域が存在する場合、隣接タイルセットを表示対象として追加し、復号・表示する。これにより、動画表示領域の一部に発生する余剰領域を減少させることができ、より多くの情報をユーザーに提供することが可能となる。例えば、ユーザーが指定したタイルセットに位置する注目対象物が、他の（隣接する）タイルセットの領域に移動した場合にも、指定したタイルセットのみを表示する場合と比較して、より長い時間、注目対象物を表示することが可能である。

また、本実施形態に示した構成により、全体表示モードで表示している場合にタイルセット境界及びユーザーが選択したタイルセットを強調表示等で明示することで、ユーザーによる視認性を向上させることができる。

（実施形態２）
以下、実施形態２に係る動画表示制御装置について説明する。尚、本実施形態における動画表示制御装置の構成は、上述した実施形態１における図１と同一である。このため、図１の各処理部の構成については、説明を省略する。また、本実施形態における動画表示制御装置は、動画撮影時または動画撮影後に他の装置によって行われた認識処理等に基づいて、撮影された範囲内の各領域の、注目領域としての優先度（重要度）を取得可能である。ここで、認識処理は、人体及び物体等を検知し、認識する処理のことを示す。

まず、本実施形態において入力する符号化ストリームの内容について、図８を用いて説明する。図８に示されるように本実施形態では、エンハンスメント補足情報（ＳＥＩ）として、実施形態１で示したＭＣＴＳ情報に加え、注目領域に関するＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）情報を格納可能である。ここで、本実施形態においてＲＯＩ情報には、ＲＯＩタイルセットＩＤ、及びＲＯＩ優先度の情報が含まれる。

ＭＣＴＳ情報には、実施形態１で述べたように、各タイルセットの識別子であるｍｃｔｓ＿ｉｄが含まれている。また、上述した認識処理等の結果と、各タイルセットの位置とに基づいてそれぞれを照合することにより、タイルセットにＲＯＩが含まれるか否かを判定することが可能である。ここで、タイルセットにＲＯＩが含まれる場合、当該タイルセットに対応するｍｃｔｓ＿ｉｄが、ＲＯＩが含まれるタイルセットの識別子としてＲＯＩタイルセットＩＤに格納される。また、認識処理における尤度（認識の確からしさ）、及び認識されたパターン（予め登録された人体及び物体等の、形状及び行動パターン等の少なくとも何れか一つ）に基づいて取得した、注目領域としての優先度に関する情報が、ＲＯＩ優先度として格納される。

そして、本実施形態の動画表示制御装置は、符号化ストリームに含まれたＭＣＴＳ情報、及びＲＯＩ情報を用いて、各タイルセットにＲＯＩが存在するか否かに関する情報、及びＲＯＩとしての優先度に関する情報を取得し、動画表示制御において使用する。

また、本実施形態において、動画表示制御装置１００による全体表示モードから部分動画表示モードに切り替える処理フローは、実施形態１と同様の、図２、及び図５のフローチャートを適用可能である。尚、図２のステップ２０４及び図５のステップＳ５０５については、実施形態１とは異なる処理を行う。

まず、本実施形態における動画表示制御装置１００は、図２のステップＳ２０５においては、実施形態１で示したタイルセット境界を表示する方法に加え、ＲＯＩ情報を重畳した全体表示モードを使用することが可能である。

ここで、図９に本実施形態における全体表示モードの表示例を示す。図９に示すように、ＲＯＩが存在するタイルセットがピクチャ内に存在する場合、当該タイルセットに規定の色、文字、及び図等を重畳して強調表示する。尚、全体表示モードでＲＯＩが存在するタイルセットを明示する方法はこれに限られず、当該タイルセットにグラフィックス枠を重畳させた強調表示等を利用してもよい。また、規定の色として、ＲＯＩ優先度に基づいた色を用いても良い。例えば、優先度の高いＲＯＩが存在するタイルセットは赤色を重畳して表示し、優先度の低いＲＯＩが存在するタイルセットは黄色を重畳して表示するようにしてもよい。このようにＲＯＩが存在するタイルセットを強調表示することにより、ユーザーは全体表示モードにおいて表示されたＲＯＩ情報を認識しながら、部分動画として表示対象とするタイルセットを、強調表示しない場合よりも容易に指定することが可能である。

また、本実施形態における動画表示制御装置１００の制御部１０３は、図５のステップＳ５０５において、ＲＯＩを考慮してタイルセットを配置する。即ち、ユーザーによって選択された表示対象タイルセット群のアスペクト比と表示画面とのアスペクト比との差に基づく余剰領域が存在する場合、制御部１０３は次のような処理を行う。即ち、制御部１０３は、選択された表示対象タイルセット群に隣接するタイルセットのうち、ＲＯＩを含むタイルセットを優先して表示対象のタイルセットとして追加する。尚、表示対象のタイルセットとして追加される、ＲＯＩを含む１以上のタイルセットをＲＯＩタイルセット群と称す。

ここで、図１０に、本実施形態においてユーザーが指定した表示対象タイルセット群と、追加されたＲＯＩタイルセット群とを表示する例を示す。図１０は、ユーザーが指定した表示対象タイルセット群のアスペクト比が、動画表示領域のアスペクト比よりも大きく、左右に余剰領域が存在する場合の例である。また、図１０は、ユーザーが選択した表示対象タイルセット群の右方のタイルセットにのみ、ＲＯＩが含まれるタイルセットが存在している場合の例である。図１０に示されるように、ユーザーが選択した表示対象タイルセット群を動画表示領域の左端に配置して表示した上で、追加されたＲＯＩタイルセット群が表示対象として追加され、動画表示領域の右端の余剰領域に表示されている。この場合、ユーザーが指定した表示対象タイルセットの左方に隣接するタイルセットは表示対象として追加されず、復号部１０４における復号処理も省略することが可能である。また、ステップＳ５０７におけるトリミング処理についても、画像処理部１０５は、表示対象タイルセット群の左に隣接するタイルセットをトリミング処理する必要はなく、ＲＯＩが含まれる右に隣接するタイルセットについて処理すればよい。

また、選択された表示対象タイルセット群のアスペクト比が、動画表示領域のアスペクト比よりも小さい場合、制御部１０３は、次の処理によって各タイルセットの配置を決定する。即ち、制御部１０３は、動画表示領域の上下に余剰領域が十分存在するか否かに関する情報、及びピクチャにおける選択された表示対象タイルセットの上下に、ＲＯＩを含むタイルセットが存在するか否かに関する情報に基づいて配置を決定する。

また、ＲＯＩが含まれるタイルセットが、選択された表示対象タイルセットの左右両側に存在する場合、制御部１０３は、次の処理によって各タイルセットの配置を決定する。即ち、制御部１０３は、ＲＯＩ情報に含まれるＲＯＩ優先度を比較し、より高いＲＯＩ優先度のタイルセットが優先的に表示されるように、ユーザーによって設定された表示対象タイルセット及びＲＯＩ優先度のより高いＲＯＩタイルセットを配置する。

尚、ユーザーが指定した表示対象タイルセットに隣接するタイルセットのうち、ＲＯＩを含むタイルセットが存在しない場合であって、余剰領域が発生する場合、表示対象タイルセット及び当該表示対象タイルセットに隣接するタイルセット以外を追加する。例えば、制御部１０３は、ピクチャにおいて、表示対象タイルセット群に隣接するタイルセット以外のＲＯＩを含むタイルセットを、表示対象として追加しても構わない。例えば、表示対象タイルセットから所定タイルセット分の距離にある周囲のタイルセットのうち、ＲＯＩを含むタイルセットを追加しても構わない。また、これに限定されず、制御部１０３は実施形態１と同様に、隣接タイルセットを追加するタイルセットとして決定し、表示対象タイルセットと隣接タイルセットとをそれぞれ配置するようにしてもよい。また、動体検知処理等により注目対象の動く方向が予測可能である場合、制御部１０３は注目対象が動く方向に存在するタイルセットを選択し、表示制御部１０６は当該タイルセットを表示画面１０７に優先して大きく表示するよう制御することも可能である。

本実施形態に示した構成により、動画の表示対象となる領域の解像度と、表示画面における動画表示領域の解像度とが、一致しない場合であっても、動画表示領域を効率的に使用することができる。即ち、ユーザーが指定した表示対象タイルセットのアスペクト比と動画表示領域のアスペクト比との差に起因する余剰領域が存在する場合、隣接タイルセットを表示対象として追加し、復号及び表示する。これにより、動画表示領域の一部に発生する余剰領域を減少させることができ、より多くの情報をユーザーに提供することが可能となる。例えば、ユーザーが指定したタイルセットに位置する注目対象物が、他の（隣接する）タイルセットの領域に移動した場合にも、指定したタイルセットのみを表示する場合と比較して、より長い時間、注目対象物を表示することが可能である。

また、本実施形態に示した構成により、全体表示モードで表示している場合にタイルセット境界及びユーザーが選択したタイルセットを強調表示等で明示することで、ユーザーによる視認性を向上させることができる。このため、ユーザーは、意図した領域が部分動画として表示されるかどうかを予め確認することができ、部分表示モードにおいて表示させたいタイルセットを、強調表示等で明示しない場合よりも比較的容易に指定できる。結果として全体表示モードから部分表示モードへの表示モードの切り替えをスムーズに行うことができ、ユーザーの利便性を向上することが可能である。

また、本実施形態に示した構成により、全体表示モード時にＲＯＩ情報を重畳して表示することにより、注目対象（重要な情報）が含まれるタイルセットをユーザーに明示することが可能である。このため、ユーザーは、表示されたＲＯＩ情報に基づいてより効率的に部分動画として表示するタイルセットを指定することができ、さらにユーザーの利便性を向上させることが可能である。

また、本実施形態に示した構成により、ＲＯＩ情報に基づいて部分表示モードにおいて表示させるタイルセットの配置を決定することにより、ユーザーにとって重要な情報をより優先して提供することが可能である。

尚、本実施形態はユーザーが指定したタイルセットに基づいて、表示対象タイルセットを動画表示領域中に配置しているが、これに限定されない。例えば、ユーザーが表示対象のタイルセットを指定することなく、ピクチャ内の各タイルセットのＲＯＩ優先度に基づいてＲＯＩを含むタイルセットのみを部分表示モードの配置を決定することも可能である。尚、このように、ユーザーが表示対象タイルセットを指定せず、ＲＯＩ情報のみで部分表示モードを実現する場合、ユーザーは表示モード切替ボタンを操作するのみで部分表示モードに移行することが可能である。また、表示画面１０７に、ＲＯＩ優先度に基づいて選択候補を表示する指示を入力する次候補ボタン等を設け、当該ボタンをユーザーが操作することにより、２番目に優先度の高いＲＯＩを含むタイルセットを選択することも可能である。これにより、優先度に基づいて部分表示モードで表示するタイルセットを選択することも容易に可能である。

また、ピクチャ内にＲＯＩを含むタイルセットが複数ある場合、ステップＳ５０５で制御部１０３は、当該ＲＯＩを含むタイルセットに対応するＲＯＩ優先度に基づいて、層が表示領域に表示するタイルセットの配置を決定してもよい。例えば、制御部１０３は、より高いＲＯＩ優先度を備えたタイルセットを動画表示領域の中心に配置するよう決定してもよい。

また、本実施形態における動画表示制御装置１００は、高いＲＯＩ優先度を備えたＲＯＩを含むタイルセットを表示しつつ、余剰領域に他のＲＯＩを含むタイルセットを表示しても良い。ここで、高いＲＯＩ優先度を備えたＲＯＩを含むタイルセットと、他のＲＯＩを含むタイルセットとを同時に動画表示領域に表示するようにしてもよいし、所定時間毎に交互に表示するようにしてもよい。

（実施形態３）
以下、実施形態３に係る動画表示制御装置について説明する。尚、本実施形態における動画表示制御装置の構成は、上述した実施形態１及び実施形態２における図１と同一である。このため、図１の各処理部の構成については、説明を省略する。実施形態１においては、全体表示モードにおいてタイルセット境界を表示していた。これにより、ユーザーは当該タイルセット境界に基づいて、部分表示モードにおいて表示対象とするタイルセットを選択することが可能であった。そして、実施形態１において動画表示制御装置１００は、ユーザーによって表示対象タイルセットが選択された上で表示モード切り替えを指示することにより、部分表示モードによる部分動画を実現した。一方、本実施形態において動画表示制御装置１００は、全体表示モードにおいてユーザーによって選択された任意の領域に基づいて、表示対象となる領域を表示させた上で、表示モード切り替えを指示することにより、部分表示モードによる部分動画を実現する。

まず、本実施形態における動画表示制御装置の動作について、図１１に示すフローチャートを用いて説明する。尚、図１１において、図２と同じ処理を行うステップは同じ符号を付与し、説明を省略する。

ステップＳ１１０１において画像処理部１０５は、実施形態２のステップＳ２０４と同様に、復号部１０４によって復号された動画の解像度が表示画面１０７の動画表示領域の解像度より大きい場合、動画表示領域の解像度に基づいて解像度変換処理を行う。即ち、画像処理部１０５は、復号された動画の解像度を、動画表示領域の解像度に合わせた解像度への解像度変換を行うことにより、全体表示用データを生成する。ただし、画像処理部１０５は、全体表示モードにおいてタイルセット境界等を示すグラフィックスを重畳しなくても構わない。

ステップＳ２０５において表示制御部１０６は、全体表示モードにより動画を表示するように表示画面１０７を制御する。ステップＳ１１０１において画像処理部１０５によって生成された全体表示用データを入力し、当該全体表示用データを表示画面１０７に表示するよう制御する。

次に、ステップＳ１１０２において指示解析部１０１は、ユーザーによるタップ動作等で操作部１０８に入力された、部分表示モードにおいて表示する選択領域を選択する指示を取得及び解析し、当該選択領域に関する情報を取得する。ここで、ユーザーはタイルセット境界に関係なく、選択領域としてピクチャ上の任意の領域を選択することができる。

ステップＳ１１０３において、制御部１０３は、ステップＳ１１０２において取得された選択領域に関する情報を取得し、当該部分領域に対応するタイルセットに基づいて、部分表示モードにおける表示領域（部分領域）に関する情報を取得する。

ここで、ステップＳ１１０３における動作の詳細を、図１２のフローチャートを用いて説明する。尚、図１２において、図５と同じ処理を行う処理部は同じ符号を付与し、説明を省略する。また、図１２において本実施形態の制御部１０３は、実施形態２と同様にＲＯＩ情報に基づいて、表示対象として追加するタイルセット群を決定する。

ステップＳ１２０１において、制御部１０３は、ステップＳ５０５において復号対象として指定されたタイルセットの水平・垂直画素数と表示画面の水平・垂直画素数とから、解像度変換の倍率及びどの領域をトリミングするかに関する情報を取得する。

また、ステップＳ１２０２において、制御部１０３は、ステップＳ２０６において取得された表示対象タイルセットに関する情報に基づいて、解像度変換の倍率及びどの領域をトリミングするかに関する情報を取得する。尚、ステップＳ１２０２において、選択された表示対象タイルセット群のサイズ（水平・垂直画素数）と、表示画面１０７の動画表示領域のサイズとが十分近い場合、解像度変換の倍率は１である。

このようにして制御部１０３は、上記ステップＳ１２０１及びＳ１２０２において解像度変換の倍率及びトリミング領域に関する情報を取得することにより、部分表示領域に関する情報を取得する。

次に、図１１に戻ってステップＳ１１０４以降について説明する。図１１のステップＳ１１０４において、制御部１０３は、次の処理を行う。即ち、制御部１０３は、ステップＳ１１０３において取得された部分表示領域に関する情報に基づいて、当該部分表示領域を全体表示モードでグラフィックスとして重畳して表示するための情報（グラフィックス情報）を取得し、画像処理部１０５に出力する。さらに、画像処理部１０５は、制御部１０３によって取得されたグラフィックス情報に基づいて、全体表示モードにおいて部分表示領域のグラフィックスを表示するための画像処理を行い、表示制御部１０６へ出力する。表示制御部１０６は、画像処理部１０５によって画像処理された部分表示領域のグラフィックスを、復号部１０４によって復号された動画に重畳させ、全体表示モードにおいて表示するよう表示画面１０７を制御する。

そして、ステップＳ１１０５において、全体表示モードにおいて部分表示領域のグラフィックスを表示させた上で、ユーザーによる表示モード切り替えが指示された場合、部分表示モードにおける部分動画を表示する処理を行う。即ち、制御部１０３及び復号部１０４は、動画表示制御装置１００に入力される符号化ストリームから、ステップＳ１１０３において取得された部分表示領域に対応する符号化データを抽出し及び復号する処理を行う。復号部１０４は、部分表示領域を復号して部分表示領域データを生成し、生成した部分表示領域データを画像処理部１０５へ出力する。さらに画像処理部１０５は、制御部１０３によって取得された部分表示領域に関する情報に基づいて、復号部１０４から取得された部分表示領域データに画像処理を施す。即ち、画像処理部１０５は、ステップＳ２０３で復号部１０４によって復号された動画に、部分表示モードで表示するために必要となる解像度変換及びトリミング処理を施し、部分表示用データを生成する。そして表示制御部１０６は、画像処理部１０５によって生成された部分表示用データを、部分表示モードにおいて部分動画として表示するよう表示画面１０７を制御する。

このように、図１１の各ステップＳ１１０１〜１１０５の処理により、本実施形態における動画表示制御装置１００は、全体表示モードにおいてユーザーによって選択された任意の領域に基づいて、表示対象となる領域を表示させることができる。さらに、全体表示モードにおいて表示対象となる領域を表示させた上で、ユーザーによる表示モード切り替えの指示を取得することにより、部分表示モードによる部分動画を実現する。このため、ユーザーは、意図した領域が部分動画として表示されるかどうかを予め確認することができ、部分表示モードにおいて表示させたい領域を、表示対象となる領域のグラフィックスを表示しない場合よりも比較的容易に指定できる。結果として全体表示モードから部分表示モードへの表示モードの切り替えをスムーズに行うことができ、ユーザーの利便性を向上させることが可能である。

ここで、本実施形態における全体表示モードを図１３に示す。図１３に示されるように、ユーザーが部分表示モードにおいて部分動画として表示するために指定した箇所に相当する部分表示領域を、グラフィックスの枠によって強調表示している。尚、このグラフィックスの枠は、ステップＳ１２０１またはステップＳ１２０２におけるトリミング処理が考慮されているため、必ずしもタイルセットの境界とは一致しない。このように、ユーザーによって選択された部分表示領域を強調表示することにより、ユーザーは全体表示モードにおいて強調表示されたグラフィックス枠を参照して、部分表示モードで表示される領域が意図通りであることを確認することができる。尚、ユーザーが選択した箇所に相当する部分表示領域を全体表示モードで明示する方法は、上記のようにグラフィックスの枠に限定されない。即ち、部分表示領域内の画素群の輝度成分や色差成分を変化させて強調表示させてユーザーに提示するようにしても構わない。

本実施形態に示した構成により、上述した実施形態２及び実施形態３と同様、動画の表示対象となる領域の解像度と、表示画面における動画表示領域の解像度とが、一致しない場合であっても、動画表示領域を効率的に使用することができる。即ち、ユーザーが指定した表示対象タイルセットと動画表示領域のアスペクト比の差に起因する余剰領域が存在する場合、隣接タイルセットを表示対象として追加し、復号・表示する。これにより、動画表示領域の一部に発生する余剰領域を減少させることができ、より多くの情報をユーザーに提供することが可能となる。

本実施形態に示した構成により、動画表示制御装置１００は、全体表示モードにおいてユーザーによって選択された任意の領域に基づいて、表示対象となる領域を表示させることができる。さらに、全体表示モードにおいて表示対象となる領域を表示させた上で、ユーザーによる表示モード切り替えの指示を取得することにより、部分表示モードによる部分動画を実現する。このため、ユーザーは、意図した領域が部分動画として表示されるかどうかを予め確認することができ、部分表示モードにおいて表示させたい領域を、表示対象となる領域のグラフィックスを表示しない場合よりも比較的容易に指定できる。結果として全体表示モードから部分表示モードへの表示モードの切り替えをスムーズに行うことができ、ユーザーの利便性を向上させることが可能である。

また、本実施形態に示した構成により、画像処理部１０５は、全体表示モードにおいてタイルセット境界等を示すグラフィックスを重畳する必要がないため、実施形態１の構成よりも処理負荷を軽減することができる。

尚、本実施形態は、余剰領域に表示する方法に限定されない。即ち、実施形態２と同様にＲＯＩ情報を余剰領域に表示するよう制御してもよいし、実施形態１のようにユーザーが指定したタイルセットが中心になるように配置して表示するよう制御してもよい。この場合には、ユーザーが指定した箇所に相当するタイルセットの水平・垂直画素数と表示画面の水平・垂直画素数とから、部分表示領域は一意に算出することが可能であり、図１１のステップＳ１１０３で示した処理は不要になる。

（実施形態４）
図１に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。以下、図１５を用いて本実施形態について説明する。図１５は、上記各実施形態に係る動画表示制御装置に適用可能なコンピューターのハードウェアの構成例を示すブロック図である。

ＣＰＵ１５０１は、ＲＡＭ１５０２やＲＯＭ１５０３に格納されているコンピュータプログラムやデータを用いてコンピューター全体の制御を行うと共に、上記各実施形態に係る動画表示制御装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１５０１は、図１、図６に示した各処理部として機能することになる。

ＲＡＭ１５０２は、外部記憶装置１５０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１５０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１５０２は、ＣＰＵ１５０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１５０２は、例えば、ピクチャメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ１５０３には、本コンピューターの設定データや、ブートプログラムなどが格納されている。操作部１５０４は、キーボードやマウスなどにより構成されており、本コンピューターのユーザーが操作することで、各種の指示をＣＰＵ１５０１に対して入力することができる。出力部１５０５は、ＣＰＵ１５０１による処理結果を出力する。また出力部１５０５は例えば液晶ディスプレイで構成される。

外部記憶装置１５０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１５０６には、ＯＳ（オペレーティングシステム）や、図１、図６に示した各部の機能をＣＰＵ１５０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１５０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置１５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１５０１による制御に従って適宜、ＲＡＭ１５０２にロードされ、ＣＰＵ１５０１による処理対象となる。Ｉ／Ｆ１５０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピューターはこのＩ／Ｆ１５０７を介して様々な情報を取得したり、送出したりすることができる。１５０８は上述の各部を繋ぐバスである。

上述の構成からなる作動は前述のフローチャートで説明した処理をＣＰＵ１５０１が中心となってその制御を行う。

以上述べたような種々の実施形態により、非イントラスライスにおいて、動きベクトルとコピーベクトルの両方の探索を行う必要がなくなり、符号化及び復号処理を削減できる。このため、ハードウェアにおいては消費電力の抑制、ソフトウェアにおいては処理時間の短縮に繋がる。

（その他の実施形態）
尚、上述した各実施形態１〜３に示した構成では、部分動画として表示するタイルセットが空間的に連続している場合について述べたが、これに限定されない。例えば、図１６に示すように、ユーザーがピクチャ内の空間的に離れた複数のタイルセットをタップ動作等により選択し、選択されたタイルセットを部分表示モードにおいて、空間的に連結させた部分動画として表示させることも可能である。

また、上述した各実施形態１〜３に示した構成では、ピクチャのサイズを４０９６×２０４８画素、タイルセットのサイズを２５６×２５６画素としたが、それぞれ水平・垂直画素数はこれに限定されず、いかなる値も使用することが可能である。

上述した各実施形態１〜３において動画表示制御装置１００に入力される符号化ストリームはＨＥＶＣを用いて符号化されたストリームであるが、これに限定されない。即ち、動画に含まれるピクチャの一部の領域を独立して処理可能な手法を用いることのできる符号化方式であれば構わない。

上述した各実施形態１〜３において、動画表示制御装置１００は、表示画面を有する構成としたがこれに限定されない。即ち、表示画面が動画表示制御装置１００の外部にあり、動画表示制御装置１００の表示制御手段が装置外部の表示画面を制御する構成でも構わない。これにより、動画表示制御装置１００は表示画面を有するディスプレイでもよいし、表示画面を持たないコンピューター等の情報処理装置でも構わない。

上述した各実施形態１〜３において指示解析部１０１は、操作部１０８から入力されたユーザー指示を解析するとしたが、これに限定されない。即ち、動画表示制御装置１００内部の記録部（不図示）に予め決められた指示が記録されていて、指示解析部１０１が記録部から当該予め決められた指示を入力して解析しても構わない。また、動画表示制御装置１００内部または外部の検出部（不図示）がユーザーの動作及びユーザーの視線等を検知し、指示解析部１０１が検出部によって取得された検知結果に関する情報を入力して解析しても構わない。このようにして解析された結果を、本実施形態におけるユーザー指示として扱い、後段の処理をすることで、本実施形態と同様の効果を得ることができる。

上述した各実施形態１〜３において制御部１０３は、表示対象タイルセット群のアスペクト比を、垂直画素数÷水平画素数の計算により取得したが、これに限定されない。即ち、アスペクト比は、垂直画素数と水平画素数との比率を示す情報であれば構わない。また、アスペクト比の大きさ及び、垂直画素数と水平画素数との比率を示すインデックスを用いて示しても構わない。

また、上述した各実施形態１〜３において制御部１０３は、表示対象タイルセット群のアスペクト比と、表示画面１０７の動画表示領域のアスペクト比との差分絶対値に基づいて、部分表示モードにおける表示対象の領域（部分表示タイルセット）を決定した。しかしながらこれに限定されず、表示対象タイルセット群のサイズと動画表示領域のサイズとに関する情報を用いて、部分表示モードにおける表示対象の領域を決定する方法であれば構わない。

上述した各実施形態１〜３は、部分表示モードにおいて、所定数のタイルセットを表示対象のタイルセット群として部分動画を実現することにより、復号部１０４はユーザーにより指定されたタイルセットと隣接タイルセットの符号化データのみを復号すればよい。即ち、ＭＣＴＳにおいて、各タイルセットは独立して復号可能である。即ち、ピクチャ内の各タイルセットは、同一のピクチャ内または参照ピクチャ内に含まれる他のタイルセットの画素を参照せずに復号することが可能である。このため、動画のピクチャ全体を復号する必要がなく、所定数のタイルセット分を復号すればよいので、ピクチャ全体を復号するよりも処理負荷を軽減することができる。さらに、１タイルセットの解像度はピクチャ全体の解像度に比べ一般的に十分小さいため、同じ性能の復号部１０４を用いた場合に、ピクチャ全体を復号した場合よりも高速なピクチャレートで表示するための復号処理が可能となる。尚、監視用途等では注目領域のみが高速に復号できれば用途として十分であることが多い。このため、本実施形態の構成により、復号部１０４で注目領域のみを高速ピクチャレートで復号し、ユーザーにとって十分有用な動画を提供することが可能になる。

また、上述した各実施形態１〜３では、１以上のタイルを含むタイルセットの境界であるタイルセット境界を表示するよう制御したが、これに限定されず、タイルの境界を表示しても構わない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピューターにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 動画表示制御装置
１０１ 指示解析部
１０２ ヘッダ解析部
１０３ 制御部
１０４ 復号部
１０５ 画像処理部
１０６ 表示制御部
１０７ 表示画面
１０８ 操作部

Claims (9)

1. ピクチャを分割した１以上のタイルを含むタイルセットであって、同一のピクチャ及び参照対象のピクチャ内の他の画素を参照せずに復号可能なタイルセットの符号化ストリームを復号する復号手段と、
   ピクチャの一部を表示装置の表示領域に表示するために、選択された選択領域を取得する取得手段と、
   前記選択領域に対応する解像度と前記表示領域に対応する解像度とに基づいて、前記ピクチャの一部を表示させる場合に表示対象となる領域を決定する決定手段と、
   前記決定手段によって決定された表示対象となる領域を、前記表示領域に表示させるよう制御する表示制御手段とを有し、
   前記決定手段は、前記選択領域に対応する解像度と、前記表示領域に対応する解像度とに基づいて、前記表示対象となる領域を決定することを特徴とする動画表示制御装置。
2. 前記表示制御手段は、前記ピクチャの全体を復号して表示させる場合に、前記ピクチャ内の各タイルセットの境界を前記表示領域に表示させることを特徴とする動画表示制御装置。
3. 前記取得手段は、選択された選択領域に対応するタイルセット群を取得し、
   前記決定手段は、前記取得手段によって取得されたタイルセット群と前記表示領域のサイズとに基づいて、前記表示対象となる領域を決定し、
   前記復号手段は、前記決定手段によって決定された表示対象となる領域に対応する符号化ストリームを復号することを特徴とする請求項１または請求項２に記載の動画表示制御装置。
4. さらに、前記選択領域のアスペクト比と、前記表示領域のアスペクト比との差分絶対値が、所定の閾値よりも大きい場合に、前記選択領域に隣接するタイルセットを前記表示対象となる領域として追加する追加手段を有し、
   前記決定手段は、前記追加手段によって追加された領域と、前記取得領域に基づいて取得された選択領域とを前記表示対象となる領域として決定することを特徴とする請求項１乃至請求項３のいずれか一項に記載の動画表示制御装置。
5. 前記表示制御手段は、前記取得手段によって取得された選択領域を前記表示領域の中心に配置して表示させるように、前記表示領域を制御することを特徴とする請求項１乃至請求項４のいずれか一項に記載の動画表示制御装置。
6. 前記符号化ストリームは、前記ピクチャに含まれるタイルセットが注目領域であるか否かに関する情報及び当該注目領域の優先度を示す情報を含み、
   前記表示制御手段は、前記取得手段によって取得された選択領域に隣接するタイルセットの優先度に基づく追加の領域と、前記取得手段によって取得された選択領域とを、前記表示画面に表示させるよう前記表示画面を制御することを特徴とする請求項１乃至請求項５のいずれか一項に記載の動画表示制御装置。
7. 前記タイルセットは、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇで規定されたＭｏｔｉｏｎ―Ｃｏｎｓｔｒａｉｎｅｄ Ｔｉｌｅ Ｓｅｔであることを特徴とする請求項１乃至請求項６のいずれか一項に記載の動画表示制御装置。
8. ピクチャを分割した１以上のタイルを含むタイルセットであって、同一のピクチャ及び参照対象のピクチャ内の他の画素を参照せずに復号可能なタイルセットの符号化ストリームを復号する復号工程と、
   ピクチャの一部を表示装置の表示領域に表示するために、選択された選択領域を取得する取得工程と、
   前記選択領域に対応する解像度と前記表示領域に対応する解像度とに基づいて、前記ピクチャの一部を表示させる場合に表示対象となる領域を決定する決定工程と、
   前記決定工程によって決定された表示対象となる領域を、前記表示領域に表示させるよう制御する表示制御工程とを有し、
   前記決定工程は、前記選択領域に対応する解像度と、前記表示領域に対応する解像度とに基づいて、前記表示対象となる領域を決定することを特徴とする動画表示制御方法。
9. コンピューターを、請求項１乃至請求項８のいずれか一項に記載の動画表示制御装置の各手段として機能させるためのプログラム。

Images