JP2016103808A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】一画面内に注目領域などの所定の領域が複数存在する場合に、これらの複数の所定の領域を用いた新たな動画を生成する方法を提供する。【解決手段】第１の画像と第２の画像を含む第１の動画を用いて第２の動画を生成する画像処理装置３００であって、第１の画像に複数の所定の領域が含まれる場合に、当該複数の所定の領域と、第１の画像より第１の動画における再生順序が前である第２の画像に含まれる所定の領域との位置関係に関する情報を取得する取得手段３０１と、取得手段によって取得された位置関係に関する情報に基づいて、第１の画像の複数の所定の領域の第２の動画における再生順序を決定する決定手段３０３と、決定手段によって決定された第２の動画における再生順序に基づいて、第１の画像の複数の所定の領域を結合して、第２の動画を生成する生成手段３０４とを有する。【選択図】図３

Description

本発明は画像処理装置、画像処理方法及びプログラムに関し、特に所定の領域を用いて動画を生成する技術に関する。

動画像の圧縮記録の符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下、Ｈ．２６４）及びＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化方式（以下、ＨＥＶＣ）が知られている。ＨＥＶＣでは、符号化及び復号の並列処理、及びエラー耐性の向上等の目的のために、１枚のピクチャ（フレーム）を符号化順に水平方向に分割するスライス分割と呼ばれる手法、及び１枚のピクチャを矩形領域に分割するタイル分割と呼ばれる手法等がある。さらに、ＨＥＶＣでは、タイル分割を利用してビットストリーム（符号化データ）の連続するピクチャのうち、一部のタイルのみを独立して復号可能にするＭｏｔｉｏｎ−Ｃｏｎｓｔｒａｉｎｅｄ Ｔｉｌｅ Ｓｅｔｓ（以下、ＭＣＴＳ）と呼ばれる手法がある。このＭＣＴＳにおいては、ピクチャ内の１つ以上のタイルから構成されるタイルセットが定義され、符号化されたストリームからこのタイルセットだけを部分動画として再生することが可能である。

ＭＣＴＳ ＳＥＩメッセージが符号化ストリームに含まれていると、当該ビデオ・シーケンスにおいては以下の制約により符号化されていなければならない。
・ビデオ・シーケンス内の各ピクチャが同様のタイル分割を使用して符号化する。
・ＭＣＴＳの符号化においては、参照ピクチャ上において当該タイルセット外の参照画素を必要とする動きベクトルを使用して符号化しない。

符号化ストリームの復号において、このＭＣＴＳ ＳＥＩメッセージが符号化ストリームに含まれている場合、連続するピクチャからＭＣＴＳとして指定されたタイルセットのみを抽出して部分動画として高速に復号・再生することができる。ＭＣＴＳを用いることで、例えばユーザの注目領域（所定の領域）であるＲＯＩ（Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を含んだタイルのみを高速に復号することができる。

一方、監視カメラやハイエンドカメラを用いて広範囲を撮影した動画を、タブレット等の携帯端末で再生するユースケースがある。このようなユースケースにおいては、撮影される動画は水平４０９６画素×垂直２０４８画素（以下、４０９６×２０４８画素と表記する）のように高解像度であるのに対し、再生される動画は１０２４ｘ７２６画素等の低い解像度となる。このように、撮影時の解像度に比べ、再生時の解像度が低いユースケースにおいては、カメラが撮影した画面全体を低解像度に変換して再生するモードと共に、注目領域等を、解像度を落とさずに動画の一部分のみを再生するモードを備えることが望ましい。このような、動画の一部分のみを再生するモードに関し、画像の一部のみを符号化して伝送する技術が知られている（特許文献１）。特許文献１には、ネットワークの負荷が高い場合に、複数に分割された領域のうち所定の領域についてのみ符号化して伝送する画像符号化装置に関する技術が記載されている。

特開平２−１１７２９０号公報

しかしながら、従来技術では、一画面内において注目領域が複数存在する場合について考慮されていない。即ち、従来技術では、一画面内に注目領域などの所定の領域が複数存在する場合に、これらの複数の所定の領域を用いた動画を生成することができないという課題がある。

上記の課題を解決するため、本発明の画像処理装置は、以下の構成を有する。即ち、第１の画像と第２の画像を含む第１の動画を用いて第２の動画を生成する画像処理装置であって、第１の画像に複数の所定の領域が含まれる場合に、当該複数の所定の領域と、当該第１の画像より前記第１の動画における再生順序が前である第２の画像に含まれる所定の領域との位置関係に関する情報を取得する取得手段と、前記取得手段によって取得された位置関係に関する情報に基づいて、前記第１の画像の複数の所定の領域の前記第２の動画における再生順序を決定する決定手段と、前記決定手段によって決定された前記第２の動画における再生順序に基づいて、前記第１の画像の複数の所定の領域を結合して、前記第２の動画を生成する生成手段とを有することを特徴とする。

動画の所定の領域部分を用いた動画を生成することが可能である。これにより、特定の領域が複数存在する場合であっても、ユーザが注目すべき領域を視認しやすい動画を生成することができる。

実施形態１における入力ストリームのフォーマットを示す図 各実施形態におけるＲＯＩタイル及びタイル座標を示す図 各実施形態における画像処理装置の構成例を示すブロック図 実施形態１における出力ストリーム生成処理を示したフローチャート 実施形態１におけるＲＯＩタイルが並び替えられる様子を示す図 実施形態１における出力ストリームを示す図 実施形態２における出力ストリーム生成処理を示したフローチャート 実施形態２におけるＲＯＩタイルが並び替えられる様子を示す図 実施形態３における出力ストリーム生成処理を示したフローチャート 実施形態３におけるＲＯＩタイルが並び替えられる様子を示す図 実施形態３における入力ストリームと出力ストリームを示す図 画像処理装置に適応可能なコンピュータのハードウェアの構成例を示すブロック図

以下、添付の図面を参照して、本発明を実施形態の一例に基づいて詳細に説明する。尚、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

（実施形態１）
以下、本実施形態に係る画像処理装置について、図面を用いて説明する。

まず、本実施形態の画像処理装置３００へ入力される動画像を符号化した符号化ストリーム（以下、画像処理装置３００へ入力される符号化ストリームを入力ストリームと称す）の構成について、図１を参照して説明する。

図１（ａ）は、本実施形態における入力ストリームのフォーマットである。本実施形態において、入力ストリームはＨＥＶＣを用いて符号化されたストリームである。入力ストリーム先頭には、シーケンス全体の符号化に関わる情報が含まれたヘッダ情報であるシーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）が存在する。ＳＰＳには、復号可能な処理の組み合わせを示すプロファイル、復号可能なパラメータ値の範囲を示すレベル、フレームの水平・垂直解像度（水平画素数及び垂直画素数）、タイルの分割状態を示したタイル分割情報等が含まれる。

タイル分割情報には、フレーム内の水平方向のタイル数（以下、水平タイル数）及び垂直方向のタイル数（以下、垂直タイル数）に関する情報が含まれる。また、図１（ａ）において、フレーム内の水平タイル数に関する情報はＮｕｍＴｉｌｅｓＨ、フレーム内の垂直タイル数に関する情報はＮｕｍＴｉｌｅｓＶである。尚、ＮｕｍＴｉｌｅｓＨ、ＮｕｍＴｉｌｅｓＶは、それぞれｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１、ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１と示される場合もある。ここで、ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１及びｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１は、それぞれフレーム内の水平タイル数及び垂直タイル数から１を減じた数を示す。

また、タイル分割情報に含まれるフレーム内の水平タイル数及び垂直タイル数に関する情報に基づいて、フレームがタイル単位で分割されているか否かを判定することが可能である。そして、水平タイル数または垂直タイル数のうち少なくともいずれかが２以上の場合（タイル分割されいている場合）には、タイル分割情報にｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃが挿入されている。ここで、ｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃは、フレーム内の各タイルの大きさ（サイズ）が等しいか否かを示す情報である。尚、本実施形態において、ｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃ＝１の場合にフレーム内の各タイルの大きさが等しいものとし、ｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃ＝０の場合にフレーム内の各タイルの大きさが等しくないものとする。

ここで、本実施形態におけるフレームのタイル分割の様子を図２（ａ）に示す。本実施形態において、フレーム内の水平タイル数が３、垂直タイル数が２、ｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃ＝１（フレーム内の各タイルの大きさが等しい）であるため、各フレームは図２（ａ）に示すように６個のタイルに分割されている。また、図２（ａ）に示すように、各タイルには、タイル番号としてタイル０、１、２、３、４、５が付されている。即ち、本実施形態においてフレーム内のＮ個のタイルのそれぞれのタイル番号は、フレームの左上端のタイルをタイル番号０として、ラスタ・スキャン順（左上⇒右上⇒左下⇒右下）に０、１、２、・・・、（Ｎ−１）と割り当てた番号とする。

また、図１（ａ）に示す入力ストリームには、ＳＰＳに続いて、エンハンスメント補足情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）が含まれる。ＳＥＩは、符号化データ（入力ストリーム）を復号する場合に必要に応じて参照することが可能な補足情報である。尚、本実施形態におけるＳＥＩは、説明を容易にするために、Ｈ．２６４のＳＥＩと同様のものとする。ＳＥＩには、表示する時刻に関する表示時刻情報、ＭＣＴＳ（Ｍｏｔｉｏｎ−Ｃｏｎｓｔｒａｉｎｅｄ Ｔｉｌｅ Ｓｅｔｓ）に関するＭＣＴＳ情報、及びＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を含むタイルに関するＲＯＩタイル情報等が含まれる。尚、ＲＯＩタイル情報は、ペイロード（データ本体）としてのデータである。また、本実施形態においてＲＯＩタイルは、注目領域（注目度の高い領域）及び特徴領域などの所定の領域を示す。そして、本実施形態においてＲＯＩタイルは、入力ストリームを生成する符号化装置（不図示）による符号化処理の前に、検知部（不図示）で検知（認識）された結果に基づいて決定（設定）されるものとする。例えば、本実施形態においてＲＯＩタイルは、監視カメラ等で撮影された動画の内に含まれる人物や物体（認識対象）を検知部（不図示）が検知し、認識対象が含まれる領域に基づいて決定される。尚、ＲＯＩタイルの決定方法はこれに限定されず、ユーザがタッチパネル等の指示部（不図示）を用いて指定した領域に基づいて決定されても構わない。

また、ＭＣＴＳ情報には、ＭＣＴＳのタイルセットの水平画素数に関する情報、及び垂直画素数に関する情報が含まれており、これらの値は符号化時に決定される。尚、ＭＣＴＳの各タイルセットの水平画素数及び垂直画素数は、符号化対象となるフレームの水平画素数及び垂直画素数に関する情報、タイルの水平画素数及び垂直画素数に関する情報、及び、以下のパラメータに基づいて決定される。尚、下記の各パラメータは、入力ストリームを生成する符号化装置によって、符号化時に決定される。
・ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［ｉ］
・ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［ｉ］［ｊ］
・ｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［ｉ］［ｊ］
ＭＣＴＳを用いることにより、上記の各パラメータに基づいて決定されるタイルセットの水平画素数及び垂直画素数に対応する部分動画を、ＭＣＴＳを用いずに全体動画（全タイル）を復号及び解析する場合よりも、高速に復号及び解析することが可能である。

また、ＲＯＩタイル情報の先頭には、ペイロードの内容がＲＯＩタイル情報であることを示すペイロード識別情報が挿入されている。ここで、ペイロード識別情報が１である場合にペイロードの内容がＲＯＩであり、ペイロード識別情報が０である場合にペイロードの内容がＲＯＩでないことを示すようにしてもよい。

さらに、ＲＯＩタイル情報には、ペイロード識別情報に続いて、ペイロード・データサイズ、及び、ＲＯＩタイル情報のデータ本体であるフレーム内の各ＲＯＩタイルの座標（水平位置及び垂直位置）に関する情報が含まれる。

ここで、本実施形態におけるフレームの各タイルの座標（以下、タイル座標）を、図２（ｂ）に示す。例えば、図２（ａ）のタイル０に対応するタイル座標は図２（ｂ）における（０，０）、タイル１に対応するタイル座標は（１，０）、タイル２に対応するタイル座標は（２，０）となる。また、本実施形態においてＲＯＩタイルは、図２（ａ）のタイル２（タイル座標（１，０））及びタイル４（タイル座標（１，１））とする。この場合、入力ストリームは図１（ｂ）に示すように、ＲＯＩタイル情報のデータ本体である各ＲＯＩタイルの座標に関する情報として、各ＲＯＩタイル（タイル２及びタイル４）の座標に対応する水平位置及び垂直位置が挿入されている構成となる。

尚、本実施形態においてＲＯＩタイルの水平位置及び垂直位置は、フレーム内の水平タイル数及び垂直タイル数を表現可能なバイト数で表現される。図１（ｂ）の例において、水平位置及び垂直位置はデータサイズが１バイトのペイロードであり、タイル数×２バイトを示す情報がＲＯＩタイル情報のペイロード・データサイズとして挿入されている。尚、水平位置及び垂直位置のデータサイズはこれに限定されず、各タイル番号のデータサイズをビット単位で表しても構わないし、プロファイルやレベルに基づいて予め定められる固定のデータサイズとしても構わない。

また、図１（ａ）に示す入力ストリームには、ＳＥＩに続いて、ピクチャ・パラメータ・セット（ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、及びフレーム内の各タイルの符号化データが多重化されている。ここで、ＰＰＳは、ピクチャ（フレーム）の符号化に関わる情報を含むヘッダ情報である。

次に、本実施形態における画像処理装置の構成について図３を用いて説明する。図３は、本実施形態における画像処理装置３００の各処理部を示す機能ブロック図である。

図３における全体制御部３０６は、画像処理装置３００内の各処理ブロックの制御、及び各処理ブロック間のパラメータ伝達を行う。尚、図３において、全体制御部３０６と画像処理装置３００内の各処理ブロックとの間の結線を省略している。そして、全体制御部３０６は画像処理装置３００内の各処理ブロックの制御、及び各処理ブロック間のパラメータの読み書きを、パラメータ信号線またはレジスタバスの少なくともいずれかを通じて行うことが可能である。また、本実施形態において、図３の全体制御部３０６は、画像処理装置３００内に設置されているが、これに限定されない。即ち、全体制御部３０６は、当該画像処理装置３００外に設置され、当該画像処理装置３００内の各処理部の制御、及び処理間のパラメータの読み書きを、パラメータ信号線またはレジスタバスの少なくともいずれかを通じて行ってもよい。

取得部３０１は、外部から画像処理装置３００に入力された入力ストリームに対して、ＲＯＩタイルが存在するか否かに関する情報を取得する。即ち、本実施形態において取得部３０１は、図１（ａ）に示す入力ストリームのＳＥＩに含まれる情報に基づいて、入力ストリーム内にＲＯＩタイル存在するか否かを解析する。尚、本実施形態において、取得部３０１は、画像処理装置３００の内部の他の処理部または外部の処理部が入力ストリームを解析した結果に基づいて、入力ストリームにＲＯＩタイルが存在するか否かに関する情報を取得しても構わない。

セレクタ部３０２は、取得部３０１で取得されたＲＯＩタイルが存在するか否かに関する情報に基づいて、入力ストリームのうちＲＯＩタイルと判定されたタイルのみを抽出（選択）する。そして、セレクタ部３０２は、抽出したＲＯＩタイルを保持し、それ以外のタイルをダイジェストムービー用の出力ストリームとしては用いない。尚、本実施形態においてセレクタ部３０２は、ＲＯＩタイルを保持し、ＲＯＩタイル以外のタイルを破棄するが、これに限定されない。即ち、セレクタ部３０２が、抽出したＲＯＩタイルを画像処理装置３００内の他の処理部や記録部（不図示）に記録するよう制御しても構わない。また、画像処理装置３００内の記録部（不図示）が、入力ストリームに含まれる全タイルを一時的に保存して、セレクタ部３０２によって抽出されたＲＯＩタイルに関する情報に基づいて所定時間後にＲＯＩタイル以外のタイルを破棄する構成でも構わない。

算出部３０５は、図１に示す入力ストリームのＲＯＩタイル情報に含まれるＲＯＩタイルの水平位置及び垂直位置に関する情報に基づいて、セレクタ部３０２によって抽出された複数のＲＯＩタイル間の距離（位置関係に関する情報）を算出する。尚、複数のＲＯＩタイル間の距離の算出方法についての詳細は、後述する。

決定部３０３は、セレクタ部３０２で抽出されたＲＯＩタイルの出力順序（ダイジェストムービーにおける再生順序）を決定する。そして、決定部３０３は、決定した出力順序に基づいて、入力ストリームに含まれるＲＯＩタイルを並び替える。ここで、決定部３０３は、同一シーケンス内に複数のＲＯＩタイルが存在している場合に、シーケンス毎に時分割し、算出部３０５によって算出された位置関係に関する情報に基づいてタイルを並び替える。尚、同一シーケンス内で抽出されたＲＯＩタイルを並び替えてストリームを生成する方法（以下、ＲＯＩ編集モードと称す）についての詳細は後述する。

結合部３０４は、決定部３０３で並び替えられたＲＯＩタイルを結合して編集し、ＲＯＩタイルを用いたダイジェストムービー用の符号化ストリーム（以下、ダイジェストムービー用の符号化ストリームを出力ストリームと称す）を生成する。尚、本実施形態においてダイジェストムービーとは、動画の１画面の所定の領域（部分領域）であるＲＯＩタイルをまとめた部分的な動画を示す。そして、結合部３０４は、ユーザの指示に基づいて、生成した符号化ストリームを出力ストリームとしてユーザの指示する画像処理装置３００外部へ出力する。尚、結合部３０４によって生成された出力ストリームの出力先はこれに限定されず、画像処理装置３００内部に表示部（不図示）を設け、この表示部（不図示）に符号化ストリームを出力するようにしても構わない。また、画像処理装置３００の全体制御部３０６が、結合部３０４によって生成された符号化ストリームを、所定のタイミング毎に上述した出力先へ出力するよう制御しても構わない。

次に、本実施形態の画像処理装置３００において、出力ストリームを生成する方法としてＲＯＩ編集モードを用いる場合の処理について、図４のフローチャートを用いて説明する。尚、本実施形態において編集対象となる入力ストリームは、監視カメラ等で撮影された動画の複数のシーケンスとする。また、各１シーケンス分のストリームは、一定の期間単位で撮影されたものとする。

まず、ユーザによる指示に基づいてＲＯＩ編集モードが開始されると、ステップＳ４０１において取得部３０１は、入力ストリームの処理対象のシーケンス（現シーケンス）に対応する符号化ストリームの中にＲＯＩタイルが存在しているか否かを判定する。そして、ステップＳ４０１においてＲＯＩタイルが存在していない場合（ステップＳ４０１においてＮＯ）は、ステップＳ４０２の処理に進む。ステップＳ４０２においてセレクタ部３０２は入力ストリーム内の全てのタイルを破棄して、さらにステップＳ４０８の処理に進む。また、ＲＯＩタイルの有無に関する解析は、符号化前にサーバー（不図示）等によって行われ、符号化装置（不図示）が解析結果であるＲＯＩタイルの有無に関する情報を入力ストリームに挿入する。取得部３０１は、このように入力ストリームに挿入されたＲＯＩタイルの有無に関する情報に基づいて、ＲＯＩタイルの有無を判定することができる。

ステップＳ４０１において、処理対象のシーケンスに対応する符号化ストリーム内にＲＯＩタイルが存在している場合（ステップＳ４０１においてＹＥＳ）は、ステップＳ４０３の処理に進む。ステップＳ４０３においてセレクタ部３０２は、ＲＯＩタイルが含まれている座標（領域）に対応するタイルの符号化データのみ抽出して、１シーケンス（処理対象のシーケンス）分を保持する。尚、セレクタ部３０２は、最初にＲＯＩタイルが存在したフレームを基にして、処理対象のシーケンス内のＲＯＩタイルを１シーケンス分全て保持する。また、セレクタ部３０２は、ＲＯＩタイルのフレームにおける位置に関する情報を、図１及び図２に示したように、タイル座標（Ｘ［ｉ］、Ｙ［ｉ］）として保持する。

次に、ステップＳ４０４において取得部３０１は、処理対象のシーケンスに対応する符号化ストリーム内にＲＯＩタイルが複数存在するか否かの判定を行う。ステップＳ４０４において処理対象のシーケンス内にＲＯＩタイルが複数存在しない場合（ステップＳ４０４においてＮＯ）は、ステップＳ４０７の処理に進む。一方、ステップＳ４０４において処理対象のシーケンス内にＲＯＩタイルが複数存在する場合（ステップＳ４０４においてＹＥＳ）は、ステップＳ４０５の処理に進む。

ステップＳ４０５において算出部３０５は、処理対象のシーケンス内のＲＯＩタイルと、処理対象のシーケンスより前に処理されたシーケンスにおいて存在したＲＯＩタイルとの位置関係に関する情報を算出する。尚、算出部３０５は、図１に示す入力ストリームのＲＯＩタイル情報に含まれるＲＯＩタイルの水平位置及び垂直位置に関する情報に基づいて、各ＲＯＩタイルの位置（座標）を取得することができる。

さらに、ステップＳ４０６において決定部３０３は、ステップＳ４０５において算出された各シーケンスのＲＯＩタイル間の位置関係に関する情報に基づいて、各ＲＯＩタイルを用いてダイジェストムービーにおける出力順序（再生順序）を決定する。そして、決定部３０３は、決定した順序に基づいて、各ＲＯＩタイルを並び替える。ここで、本実施形態において決定部３０３は、各シーケンスの１画面（１フレーム）におけるＲＯＩタイル間の距離が空間的に近いＲＯＩタイルが先に並ぶように順序（再生順序）を決定する。

以下、処理対象のシーケンスより再生順序が前のシーケンスにおけるＲＯＩタイルと、処理対象のシーケンスにおけるＲＯＩタイルとの距離の算出方法、及びＲＯＩタイルの出力順序の決定方法についての詳細を説明する。ここで、前のシーケンスにおけるＲＯＩタイルと、処理対象のシーケンスにおけるＲＯＩタイルとの距離は、次のことを意味する。即ち、前記距離は、前のシーケンスにおけるＲＯＩタイルに対応する処理対象のシーケンスにおける領域（タイル）の位置と、処理対象のシーケンスにおけるＲＯＩタイルとの位置との間の距離を示す。まず、各シーケンスのＲＯＩタイル間の距離Ｄは、式１を用いて算出することができる。

上記の式１において、Ｘ［ｉ］及びＹ［ｉ］は処理対象のシーケンス内に含まれるＲＯＩタイルのＸ座標及びＹ座標を表している。また、Ｘ［０］及びＹ［０］は処理対象のシーケンスより前のシーケンス内に含まれるＲＯＩタイルのＸ座標及びＹ座標を表している。上記の式１を用いてＤを算出し、処理対象のシーケンス内のＲＯＩタイルのうち、距離Ｄがより小さい値になったＲＯＩタイルを空間的に近いＲＯＩタイルと判定して、距離Ｄがより大きい値になったＲＯＩタイルよりも優先的に（早い順序に）並び替える。

尚、各シーケンスのＲＯＩタイル間の距離Ｄの算出方法について上術の方法に限定されない。例えば、｜Ｘ［ｉ］−Ｘ［０］｜及び｜Ｙ［ｉ］−Ｙ［０］｜がそれぞれ０であるか否かを判定し、どちらの算出結果も０になれば距離Ｄ＝０である（同じ位置にある）とし、どちらかの算出結果が０でなければ、式１を用いて距離Ｄを算出しても構わない。このように｜Ｘ［ｉ］−Ｘ［０］｜及び｜Ｙ［ｉ］−Ｙ［０］｜がそれぞれ０であるか否かを判定することにより、各シーケンスのＲＯＩタイルが同じ位置に存在する場合に、式１を計算する必要がなく、計算処理の負荷が軽減される。

また、処理対象のシーケンスにおいて複数のＲＯＩタイルが存在している場合であって、上記の方法により前のシーケンスにおけるＲＯＩタイルとの距離の算出結果が同一の距離であった場合、次のように順序を決定しても構わない。例えば、横方向の距離（即ち｜Ｘ［ｉ］−Ｘ［０］｜）と、縦方向の距離（即ち｜Ｙ［ｉ］−Ｙ［０］｜）とのうち、どちらの順序を先にするかを示す優先度に応じて、各ＲＯＩタイルの順序を決定しても構わない。ここで、横方向と縦方向のどちらの方向を優先にするのかについては、ユーザにより任意に設定し、設定された情報に基づいて全体制御部３０６が決定部３０３における並び替え処理を制御するようにしても構わない。

次に、本実施形態の画像処理装置３００において、ＲＯＩタイルを並び替える様子を、図５を用いて説明する。図５に示すように、シーケンス１においては、ＲＯＩタイルとして認識されたタイルの座標は（２，０）のみである。即ち、画像処理装置３００のセレクタ部３０２は、ＲＯＩタイルとして認識されたタイル（タイル座標（２，０））の符号化データのみを出力ストリームに挿入するために保持し、他のタイルの符号化データを破棄する。ここで、シーケンス１は、入力ストリームのうち１番目のシーケンスであるため、シーケンス１においてＲＯＩタイルとして認識されたタイル（タイル座標（２，０））の符号化データは、出力ストリームの先頭の符号化データとなる。

シーケンス２においては、ＲＯＩタイルとして認識されたタイルがないため、セレクタ部３０２は、シーケンス２における全てのタイルを破棄し、出力ストリームにシーケンス２における符号化データを追加しない。

シーケンス３においては、ＲＯＩタイルとして認識されたタイルの座標は（０，１）のみであるため、セレクタ部３０２は、ＲＯＩタイルとして認識されたタイル（タイル座標（０，１））の符号化データのみを出力ストリームに挿入するために保持する。そして、セレクタ部３０２は、他のタイルの符号化データを破棄する。ここで、シーケンス３においてＲＯＩタイルは１つしかないため、シーケンス１におけるＲＯＩタイルとシーケンス３におけるＲＯＩタイルの間の距離を算出する必要がない。即ち、シーケンス３より前のシーケンスにおけるＲＯＩタイルの位置に関わらず、決定部３０３は、シーケンス３においてＲＯＩタイルとして認識されたタイル（タイル座標（０，１））の符号化データを出力ストリームに追加する。これにより、本実施形態の図５に示す例において、シーケンス３におけるＲＯＩタイルの符号化データの順序は、シーケンス１におけるＲＯＩタイルの符号化データの次となる。

シーケンス４においては、シーケンス２と同様に、ＲＯＩタイルとして認識されたタイルがなかいため、決定部３０３は、シーケンス４における全てのタイルは破棄し、出力ストリームにシーケンス４における符号化データを追加しない。

シーケンス５においては、ＲＯＩタイルとして認識されたタイルの座標は（２，０）及び（１，１）である。シーケンス５のようにＲＯＩタイルが複数存在する場合に、決定部３０３は次のような処理を行う。即ち決定部３０３は、シーケンス５のＲＯＩタイル１（タイル座標（２，０））及びＲＯＩタイル２（タイル座標（１，１））と、前のシーケンス（本実施形態の図５の場合はシーケンス３）のＲＯＩタイル（タイル座標（０，１））との距離をそれぞれ算出する。

まず、算出部３０５は、シーケンス５のＲＯＩタイル１（タイル座標（２，０））と、シーケンス３のＲＯＩタイル（タイル座標（０，１））との距離（距離Ｄ１）に関し、式２を用いて算出する。尚、｜Ｘ［ｉ］−Ｘ［０］｜及び｜Ｙ［ｉ］−Ｙ［０］｜のどちらも０でないことから、シーケンス５のＲＯＩタイル１とシーケンス３のＲＯＩタイルとは同じ位置に存在しない。

また、算出部３０５は、シーケンス５のＲＯＩタイル２（タイル座標（１，１））と、シーケンス３のＲＯＩタイル（タイル座標（０，１））との距離（距離Ｄ２）に関し、式３を用いて算出する。尚、｜Ｙ［ｉ］−Ｙ［０］｜は０であるが、｜Ｘ［ｉ］−Ｘ［０］｜は０でないことから、シーケンス５のＲＯＩタイル２とシーケンス３のＲＯＩタイルとは同じ位置に存在しない。
距離Ｄ２＝｜Ｘ［ｉ］−Ｘ［０］｜＋｜Ｙ［ｉ］−Ｙ［０］｜
＝｜１−０｜＋｜１−１｜
＝１ （式３）
上記の式２及び式３に示すように、算出部３０５は、距離Ｄ１及び距離Ｄ２を算出することができる。そして、決定部３０３は、算出部３０５による算出結果に基づいて、距離Ｄ２の方が距離Ｄ１よりも小さいと判定する。即ち、決定部３０３は、シーケンス５におけるＲＯＩタイル１（タイル座標（２，０））よりもＲＯＩタイル２（タイル座標（１，１））の方が、前のシーケンス（シーケンス３）におけるＲＯＩタイル（タイル座標（０，１））からの距離が近いと判定する。よって、決定部３０３は、出力ストリームにおいて、シーケンス５のＲＯＩタイル２（タイル座標（１，１））の符号化データの方が、ＲＯＩタイル１（タイル座標（２，０））の符号化データよりも先の順序になるように、出力順序を決定する。即ち、本実施形態の図５に示す例において、シーケンス５におけるＲＯＩタイル２（タイル座標（１，１））の符号化データの順序は、シーケンス３におけるＲＯＩタイルの符号化データの次となる。さらに、シーケンス５におけるＲＯＩタイル１（タイル座標（２，０））の符号化データの順序は、シーケンス５におけるＲＯＩタイル２（タイル座標（１，１））の符号化データの次となる。

ここで、本実施形態において画像処理装置３００により生成された出力ストリームのうちシーケンス５に対応するストリームを図６（ａ）に示す。図６（ａ）に示すように、シーケンス５に対応する出力ストリームにおいてタイル座標（１，１）の符号化データは、タイル座標（２，０）の符号化データよりも先の順序で並べられている。これは上述したように、前のシーケンス（シーケンス３）のＲＯＩタイル（０，１）との間の距離が、タイル座標（１，１）のＲＯＩタイルの方が、タイル座標（２，０）のＲＯＩタイルよりも近い（小さい）ことに基づいて順序が決定されるためである。

また、図６（ａ）において斜線で示したブロックに関しては、図１において斜線で示したブロックから適宜変更する必要がある。即ち、図６のＳＰＳにおけるｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは、設定されたＲＯＩタイルのサイズに基づいて修正される。これにより、フレームサイズを変更する（タイルサイズをフレームサイズとして設定する）ことができる。また、タイル分割情報を示したＮｕｍＴｉｌｅｓＨ、及びＮｕｍＴｉｌｅｓＶも必要に応じて変更する。また、スライス・セグメント・ヘッダにおけるタイル分割されている符号化データへ直接アクセスするためのポインタ情報（ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１）を必要に応じて変更する。さらに、ＰＰＳにおけるｔｉｌｅｓ＿ｅｎａｂｌｅ＿ｆｌａｇ、スライス・セグメント・ヘッダにおけるｆｉｒｓｔ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ等を必要に応じて変更する。

また、本実施形態において画像処理装置３００により生成された出力ストリームの一例を図６（ｂ）に示す。図６（ｂ）に示すように、ＲＯＩタイルが含まれる各シーケンスに対応して符号化データが挿入される。尚、各シーケンスに対応する符号化データの間に、それぞれＳＰＳ、ＰＰＳ、スライス・セグメント・ヘッダが挿入されているがこれに限定されない。例えば、前のシーケンスと変更する情報がなければ、省略しても構わない。

以下、図４の説明に戻る。ステップＳ４０７において結合部３０４は、ステップＳ４０６において決定部３０３によって決定された順位に基づいて、ＲＯＩタイルを結合する。次に、ステップＳ４０８において全体制御部３０６は、入力ストリーム内の全てのシーケンスにおけるＲＯＩタイルを結合済みか否かを判定する。ステップＳ４０８において、入力ストリームにおける全てのシーケンスの処理が完了していないと判定した場合（ステップＳ４０８においてＮＯ）は、ステップＳ４０１へ戻り、次のシーケンスの処理に移行する。一方、ステップＳ４０８において、入力ストリームにおける全てのシーケンスの処理が完了していた場合（ステップＳ４０８においてＹＥＳ）は、ＲＯＩ編集モードを用いた出力ストリームの生成処理を終了する。

本実施形態により、動画の所定の領域部分を用いた動画を生成することが可能である。これにより、特定の領域が複数存在する場合であっても、ユーザが注目すべき領域を視認しやすい動画を生成することができる。また、全ての領域を用いた動画よりも少ない容量で、特定の領域に部分を用いた動画を生成することができる。また、動画の全ての領域のストリームを再生装置へ送信する場合と比較して、処理負荷を軽減させ処理時間を減少させることができる。また、再生装置の処理性能が低い場合であっても、再生可能な出力ストリームを生成することができる。即ち、動画の全ての領域のストリームを復号して再生する場合と比較して、本実施形態で生成されるストリームのように動画の一部の領域のストリームを復号して再生する場合の方が、復号及び再生に係る処理負荷を軽減することができる。

また、上述したように本実施形態では、同一シーケンス内で抽出されたＲＯＩタイルを、前のシーケンスのＲＯＩタイルの位置からの距離が近い順に並び替えて、ダイジェストムービー用の出力ストリームを生成する。前のシーケンスのＲＯＩタイルの位置からの距離が近いＲＯＩタイルは、距離が遠いＲＯＩタイルと比較して、前のシーケンスのＲＯＩタイル内に含まれるオブジェクトと同じオブジェクトを含んでいる可能性が高い。即ち、現シーケンスにおいて距離が近いＲＯＩタイルを距離が遠いＲＯＩタイルより先の順序にすることにより、前のシーケンスのＲＯＩタイル内に含まれるオブジェクトを、前のシーケンスと現シーケンスとで連続して再生することができる。

尚、本実施形態において、算出部３０５は複数のＲＯＩタイル間の距離を算出し、決定部３０３は算出部３０５で算出された距離に基づいてＲＯＩタイルの出力順序を決定するが、これに限定されない。即ち、決定部３０３が複数のＲＯＩタイル間の距離を算出しても構わないし、画像処理装置３００の他の処理部または画像処理装置３００外部の処理部（不図示）が複数のＲＯＩタイル間の距離を算出して決定部３０３が算出結果を取得する構成でも構わない。

（実施形態２）
上述した実施形態１では、ＲＯＩ編集モードを用いた出力ストリームの生成処理について説明した。本実施形態では、複数シーケンスに跨って空間的に同じ位置のタイルデータがＲＯＩタイルである場合に、該同じ位置のタイルデータが連続して再生されるように並び替えてストリームを生成する方法（以下、同一ＲＯＩ編集モードと称す）が行われる。尚、本実施形態に係る画像処理装置の構成に関しては、実施形態１と同じく図３の構成を利用できるため、ここでの説明を省略する。

本実施形態の画像処理装置３００において、出力ストリームを生成する方法として同一ＲＯＩ編集モードを用いる場合の処理について、図７のフローチャートを用いて説明する。尚、図７において実施形態１における図４と同じ処理を行うものは、同じ符号を付して説明を省略する。また、本実施形態において編集対象となる入力ストリームには、実施形態１と同様に、ＭＣＴＳ情報及びタイルＲＯＩタイル情報が含まれているものとする。

ユーザによる指示に基づいて同一ＲＯＩ編集モードが開始されると、画像処理装置３００は図７の処理を行う。本実施形態のステップＳ４０４において処理対象のシーケンス内にＲＯＩタイルが複数存在する場合（ステップＳ７０４においてＹＥＳ）は、ステップＳ７０５の処理に進む。ステップＳ７０５において取得部３０１は、処理対象のシーケンス内に、前のシーケンスのＲＯＩタイルと同じ位置（座標）のＲＯＩタイルが存在するか否かを判定する。尚、処理対象のシーケンス内のＲＯＩタイルであって、前のシーケンスのＲＯＩタイルと同じ位置のＲＯＩタイルについては、以下、同一ＲＯＩタイルと称す。

ここで、ステップＳ７０５において取得部３０１は、処理対象のシーケンス内に同一ＲＯＩタイルが存在するか否かの判定を、以下のように式４を用いて行う。
Ｓ＝｜（Ｘ［ｉ］−Ｘ［０］）｜＋｜（Ｙ［ｉ］−Ｙ［０］）｜ （式４）
上記の式４において、Ｘ［ｉ］及びＹ［ｉ］は、式１と同様に、処理対象のシーケンス内に含まれるＲＯＩタイルのＸ座標及びＹ座標を表している。また、Ｘ［０］及びＹ［０］も、式１と同様に、処理対象のシーケンスより前のシーケンス内に含まれるＲＯＩタイルのＸ座標及びＹ座標を表している。さらに、式４を用いて算出されるＳは、処理対象のシーケンス内のＲＯＩタイルと、前のシーケンスのＲＯＩタイルとが同じ位置に存在しているかどうかを表し、Ｓ＝０である場合は、同じ位置にＲＯＩタイルが存在していることを示す。一方、Ｓ＝０でない（Ｓ≠０）場合には、同じ位置にＲＯＩタイルが存在しないことを示す。即ち、ステップＳ７０５において算出部３０５は、式４を用いてＳを算出し、取得部３０１は算出されたＳを用いることにより、処理対象のシーケンス内のＲＯＩタイルが前のシーケンス内のＲＯＩタイルと同じ位置に存在するか否かを判定することができる。

ステップＳ７０５において処理対象のシーケンス内に同一ＲＯＩタイルが存在しない（Ｓ≠０）場合（ステップＳ７０５においてＮＯ）は、ステップＳ７０７の処理へ進む。一方、ステップＳ７０５において処理対象のシーケンス内に同一ＲＯＩタイルが存在する（Ｓ＝０）場合（ステップＳ７０５においてＹＥＳ）は、ステップＳ７０６の処理へ進む。ステップＳ７０６において決定部３０３は、処理対象のシーケンス内の複数のＲＯＩタイルのうち、同一ＲＯＩタイルが他のＲＯＩタイルよりも先に並ぶように順序を決定する。そして、ステップＳ７０６の処理を完了すると、ステップＳ７０７の処理へ進む。ここで、本実施形態において決定部３０３は、処理対象のシーケンス内に同一ＲＯＩタイルが一つだけある場合には、当該一つの同一ＲＯＩタイルの符号化データを、処理対象のシーケンスに対応する出力シーケンスの符号化データの先頭に並べる。また、決定部３０３は、処理対象のシーケンス内に同一ＲＯＩタイルが複数ある場合には、これらの同一ＲＯＩタイルをタイル番号に基づいて並べる。例えば、複数の同一ＲＯＩタイルを、タイル番号の小さい（若い）順（本実施形態においては、図２に示すようにタイル０、１、２、３、４、５の順）に先の順序になるように並べても構わない。

ステップＳ７０７において決定部３０３は、処理対象のシーケンス内の複数のＲＯＩタイルを、タイル番号の小さい順番からＲＯＩタイルを並べる。ステップＳ７０７の処理を完了すると、ステップＳ４０７へ進むが、実施形態１における図４と同様なので説明を省略する。さらに、ステップＳ４０８において、入力ストリームにおける全てのシーケンスの処理が完了した場合（ステップＳ４０８においてＹＥＳ）は、同一ＲＯＩ編集モードを用いた出力ストリームの生成処理を終了する。

次に、本実施形態の画像処理装置３００において、ＲＯＩタイルを並び替える様子を、図８を用いて説明する。図８に示すように、シーケンス１においてはＲＯＩタイルとして認識されたタイルがないため、セレクタ部３０２はシーケンス１における全てのタイルを破棄し、出力ストリームは作成しない（出力ストリームにシーケンス１における符号化データを挿入しない）。

シーケンス２においては、ＲＯＩタイルとして認識されたタイルの座標は（２，０）及び（０，１）である。シーケンス２より前のシーケンス（シーケンス１）ではＲＯＩタイルがないため、シーケンス２に含まれる各ＲＯＩタイルをフレーム内の左上のタイルから順番に並べ替える。即ち、図８におけるシーケンス２では、ＲＯＩタイル３（タイル座標（２，０））の符号化データの方が、ＲＯＩタイル４（タイル座標（０，１））の符号化データよりも先の順序になるように、決定部３０３は出力順序を決定する。尚、本実施形態においてセレクタ部３０２は、シーケンス２内のＲＯＩタイルでない他のタイルの符号化データを破棄する。

シーケンス３においては、ＲＯＩタイルとして認識されたタイルの座標は（２，０）及び（０，１）である。即ち、シーケンス３において複数のＲＯＩタイルが存在し、且つ、シーケンス３より前のシーケンスにおいてＲＯＩタイルが存在するため、取得部３０１は、シーケンス３内に、同一ＲＯＩタイルがあるか否かを判定する。ここで、シーケンス２にはＲＯＩタイル３（タイル座標（２，０））とＲＯＩタイル４（タイル座標（０，１））とが存在するため、これらのＲＯＩタイルと、シーケンス３内の各ＲＯＩタイルとが、同じ位置に存在するか否かを、上述の式４に基づいて判定する。例えば、シーケンス３におけるＲＯＩタイル５（タイル座標（２，０））が、前シーケンス（シーケンス２）におけるＲＯＩタイル３（タイル座標（２，０））と同じ位置に存在するか否かは、下記の式５を用いることにより判定できる。
Ｓ＝｜（Ｘ［ｉ］−Ｘ［０］）｜＋｜（Ｙ［ｉ］−Ｙ［０］）｜
＝｜（２−２）｜＋｜（０−０）｜
＝０ （式５）
上記の式５に示すように、Ｓ＝０であるため、シーケンス３におけるＲＯＩタイル５（タイル座標（２，０））が、シーケンス２におけるＲＯＩタイル３（タイル座標（２，０））と同じ位置に存在していることがわかる。この結果から、決定部３０３は、シーケンス３におけるＲＯＩタイル５を、シーケンス２におけるＲＯＩタイル３の次の順番になるように、順序を決定し、並び替える。

同様に、シーケンス３におけるＲＯＩタイル６（タイル座標（０，１））が、シーケンス２におけるＲＯＩタイル４（タイル座標（０，１））と同じ位置に存在するか否かを、下記の式６を用いることにより判定できる。
Ｓ＝｜（Ｘ［ｉ］−Ｘ［０］）｜＋｜（Ｙ［ｉ］−Ｙ［０］）｜
＝｜（０−０）｜＋｜（１−１）｜
＝０ （式６）
上記の式６に示すように、Ｓ＝０であるため、シーケンス３におけるＲＯＩタイル６（タイル座標（０，１））が、シーケンス２におけるＲＯＩタイル４（タイル座標（０，１））と同じ位置に存在していることがわかる。この結果から、決定部３０３は、シーケンス３におけるＲＯＩタイル６を、シーケンス２におけるＲＯＩタイル４の次の順番になるように、順序を決定し、並び替える。

上述したように、シーケンス３におけるＲＯＩタイルの順序を決定し、並び替えることができる。尚、本実施形態においてセレクタ部３０２は、シーケンス３内のＲＯＩタイルでない他のタイルの符号化データを破棄する。

また、本実施形態において画像処理装置３００により生成された出力ストリームの一例を図６（ｃ）に示す。図６（ｃ）に示すように、上述の方法で決定された各シーケンスの各ＲＯＩタイルの順序に基づいて、各ＲＯＩタイルに対応する符号化データが挿入される。尚、図６（ｃ）についても、各シーケンスに対応する符号化データの間に、それぞれＳＰＳ、ＰＰＳ、スライス・セグメント・ヘッダが挿入されているがこれに限定されない。例えば、前のシーケンスと変更する情報がなければ、省略しても構わない。

本実施形態により、動画の所定の領域であるＲＯＩタイルを用いた動画を生成することが可能である。これにより、特定の領域が複数存在する場合であっても、ユーザが注目すべき領域を視認しやすい動画を生成することができる。また、全ての領域を用いた動画よりも少ない容量で、特定の領域に部分を用いた動画を生成することができる。また、動画の全ての領域のストリームを再生装置へ送信する場合と比較して、処理負荷を軽減させ処理時間を減少させることができる。また、再生装置の処理性能が低い場合であっても、再生可能な出力ストリームを生成することができる。即ち、動画の全ての領域のストリームを復号して再生する場合と比較して、本実施形態で生成されるストリームのように動画の一部の領域のストリームを復号して再生する場合の方が、復号及び再生に係る処理負荷を軽減することができる。

また、上述したように本実施形態では、同一シーケンス内で抽出されたＲＯＩタイルを、前のシーケンスのＲＯＩタイルの位置と同じ位置にあるＲＯＩタイルから順に並び替えて、ダイジェストムービー用の出力ストリームを生成する。現シーケンスにおいて前のシーケンスのＲＯＩタイルの位置と同じ位置にあるＲＯＩタイルは、前のシーケンスのＲＯＩタイル内に含まれるオブジェクトと同じオブジェクトを含んでいる可能性が高い。即ち、現シーケンスにおいて、前のシーケンスのＲＯＩタイルと同じ位置のＲＯＩタイルを優先した順序にすることにより、前のシーケンスのＲＯＩタイル内に含まれるオブジェクトを、前のシーケンスと現シーケンスとで連続して再生することができる。

尚、本実施形態において決定部３０３は、処理対象のシーケンス内に同一ＲＯＩタイルが複数ある場合に、これらの同一ＲＯＩタイルをタイル番号の小さい（若い）順に並べるが、これに限定されない。即ちタイル番号の大きい順に並べてもよいし、タイル番号以外の所定の条件（例えばユーザによる設定）に基づいて並べても構わない。

（実施形態３）
上述した各実施形態では、ＲＯＩ編集モード及び同一ＲＯＩ編集モードを用いた出力ストリームの生成処理について説明した。本実施形態では、１つのシーケンス内でＲＯＩタイルの位置が動的に変更される場合に、ＲＯＩタイルの位置が変更される毎にＲＯＩタイルのタイルデータを並び替えてストリームを生成する方法（以下、動的ＲＯＩ編集モードと称す）が行われる。尚、本実施形態に係る画像処理装置の構成に関しては、実施形態１と同じく図３の構成を利用できるため、ここでの説明を省略する。

本実施形態の画像処理装置３００において、出力ストリームを生成する方法として動的ＲＯＩ編集モードを用いる場合の処理について、図９のフローチャートを用いて説明する。尚、図９において実施形態１における図４と同じ処理を行うものは、同じ符号を付して説明を省略する。また、本実施形態において編集対象となる入力ストリームには、実施形態１及び実施形態２と同様に、ＭＣＴＳ情報及びタイルＲＯＩタイル情報が含まれているものとする。

ユーザによる指示に基づいて動的ＲＯＩ編集モードが開始されると、画像処理装置３００は図９の処理を行う。本実施形態のステップＳ４０１においてＲＯＩタイルが存在している場合（ステップＳ４０１のにおいてＹＥＳ）は、ステップＳ９０３へ進む。そして、ステップＳ９０３において取得部３０１は、入力ストリームに含まれるＳＥＩに基づいて、１シーケンス内でＲＯＩタイルの座標に関する情報が変更されているか否かを判定する。尚、本実施形態において入力ストリームは、１シーケンス内の途中でＲＯＩタイルの座標が変更された場合、図１１（ａ）に示すようにＳＥＩが複数箇所に挿入されるものとする。このことから、本実施形態のステップＳ９０３において取得部３０１は、１シーケンス分の入力ストリームに、ＳＥＩが複数存在するか否かを判定する。

ステップＳ９０３において、１シーケンス内でＲＯＩタイルの座標が変更されていない（ＳＥＩが複数存在しない）場合（ステップＳ９０３においてＮＯ）は、ステップＳ９０４の処理へ進む。ステップＳ９０４において画像処理装置３００は、図４に示したＲＯＩ編集モードへ移行し、ステップＳ４０３以降の処理を行う。ここで、ステップＳ９０４において画像処理装置３００は、図４のＲＯＩ編集モードに移行するとしているが、これに限定されない。例えば、図７に示した同一ＲＯＩ編集モードへ以降しても構わない。即ち、ステップＳ９０４においてどのモードに移行するかは限定されず、ユーザによって設定されたモードへ移行することも可能である。

一方、ステップＳ９０３において１シーケンス内でＲＯＩタイルの座標が変更されている（ＳＥＩ情報が複数存在する）場合（ステップＳ９０３においてＹＥＳ）は、ステップＳ９０５の処理へ進む。ステップＳ９０５においてセレクタ部３０２は、入力ストリームのＲＯＩタイルの座標が変更される前における（次のＳＥＩが挿入されるまでの間の）ＲＯＩタイルの出力順序を、ＲＯＩタイルのタイル番号に基づいて決定する。例えば、図１１（ａ）に示す入力ストリームにおいて、まず、セレクタ部３０２は、最初のＳＥＩが挿入された後から次のＳＥＩが挿入されるまでの間のＲＯＩタイルの出力順序を決定する。ここで、本実施形態のステップＳ９０５においてセレクタ部３０２は、ＲＯＩタイルの出力順序をＲＯＩタイルの小さい（若い）順番に決定する。そして、ステップＳ９０５において決定部３０３は、セレクタ部３０２で決定された出力順序に基づいて、ＲＯＩタイルを並び替える。尚、セレクタ部３０２はＲＯＩタイル以外のタイルを破棄する。

ステップＳ９０６において全体制御部３０６は、１シーケンス分のＲＯＩタイルの並び替えが完了したか否かを判定する。ステップＳ９０６において１シーケンス分のＲＯＩタイルの並び替えが完了していない場合（ステップＳ９０６においてＮＯ）は、ステップＳ９０５の処理へ戻る。そして、決定部３０３は、ＲＯＩタイルの座標が更に変更される前における（更に次のＳＥＩが挿入されるまでの間の）ＲＯＩタイルの出力順序を、ＲＯＩタイルのタイル番号に基づいて決定する。尚、本実施形態において図１１（ａ）に示す例では、ＲＯＩタイルの座標が変更されるのは１回である。即ち、２度目のステップＳ９０６においてセレクタ部３０２は、１度目にＲＯＩタイルの座標が変更された後（２つ目に挿入されたＳＥＩの後）のＲＯＩタイルの出力順序を決定する。そして、決定部３０３は、セレクタ部３０２で決定された出力順序に基づいて、ＲＯＩタイルを並び替える。

一方、ステップＳ９０６において１シーケンス分のＲＯＩタイルの並び替えが完了した場合（ステップＳ９０６においてＹＥＳ）は、ステップＳ４０８の処理へ進む。ステップＳ４０８において、入力ストリームにおける全てのシーケンスの処理が完了した場合（ステップＳ４０８においてＹＥＳ）は、動的ＲＯＩ編集モードを用いた出力ストリームの生成処理を終了する。

次に、本実施形態の画像処理装置３００において、ＲＯＩタイルを並び替える様子を、図１０及び図１１を用いて説明する。まず、図１０（ａ）に図示すように、１シーケンス内の途中でＲＯＩタイルの座標が変更される場合に、画像処理装置３００に入力される入力ストリームを図１１（ａ）に示す。図１０（ａ）において、最初はＲＯＩタイルのタイル座標は（０，１）と（２，０）であるため、図１１（ａ）に示すように、最初のＳＥＩには、タイル座標（０，１）と（２，０）とが、ＲＯＩタイルのタイル座標を示す情報として含まれている。その後、途中でＲＯＩタイルのタイル座標が（０，１）と（１，０）に変更されたため、図１１（ａ）に示すように、次の（２つ目の）ＳＥＩには、タイル座標（０，１）と（１，０）とが、ＲＯＩタイルのタイル座標を示す情報として含まれている。

そして、このような図１１（ａ）に示す入力ストリームを入力した画像処理装置３００は、上述した図９に示す動的ＲＯＩ編集モードを用いて出力ストリームを生成する。ここで、本実施形態の画像処理装置３００によって生成された出力ストリームを図１１（ｂ）に示す。まず、最初のＳＥＩから次の（２つ目の）ＳＥＩが挿入されるまでの間のストリームについて、ＲＯＩタイルとして認識されたタイル座標（０，１）と（２，０）の符号化データを並び替える。ここで、セレクタ部３０２は、ラスタ・スキャン順（左上⇒右上⇒左下⇒右下）に付けられたタイル番号の小さい順番（この場合はタイル座標（２，０）の後にタイル座標（０，１）の順番）で、ＲＯＩタイルの順序を決定する。

さらに、２つ目のＳＥＩが挿入された後のストリームについては、ＲＯＩタイルとして認識されたタイル座標（０，１）と（１，０）の符号化データを並び替える。ここで、セレクタ部３０２は、タイル番号の小さい順番（この場合はタイル座標（１，０）の後にタイル座標（０，１）の順番）で、ＲＯＩタイルの順序を決定する。

上述した動作により、本実施形態において画像処理装置３００は、動的ＲＯＩ編集モードを用いることにより、図１１（ｂ）に示すように、１ストリーム分の出力ストリームを生成することができる。そして、ダイジェストムービーとして再生される時には、図１０（ｂ）に図示されているような再生順序になる。

本実施形態により、動画の特定の領域であるＲＯＩタイルを用いた動画を生成することが可能である。これにより、特定の領域が複数存在する場合であっても、ユーザが注目すべき領域を視認しやすい動画を生成することができる。また、全ての領域を用いた動画よりも少ない容量で、特定の領域に部分を用いた動画を生成することができる。また、動画の全ての領域のストリームを再生装置へ送信する場合と比較して、処理負荷を軽減させ処理時間を減少させることができる。また、再生装置の処理性能が低い場合であっても、再生可能な出力ストリームを生成することができる。即ち、動画の全ての領域のストリームを復号して再生する場合と比較して、本実施形態で生成されるストリームのように動画の一部の領域のストリームを復号して再生する場合の方が、復号及び再生に係る処理負荷を軽減することができる。

また、上述したように本実施形態では、１シーケンス内でＲＯＩタイルの位置が動的に変更される場合に、ＲＯＩタイルの位置が変更される毎にＲＯＩタイルを並び替えて、ダイジェストムービー用の出力ストリームを生成する。即ち、１シーケンス内でＲＯＩタイルの位置が変更された場合であっても、ＲＯＩタイルを適切な順序で並べた出力ストリームを生成することができる。

尚、本実施形態において決定部３０３は、１シーケンス内でＲＯＩタイルの位置が変更される場合に、ＲＯＩタイルの位置が変更された後において、複数のＲＯＩタイルをタイル番号に基づいて出力順序を決定するが、これに限定されない。即ち、図１０（ｃ）に示すように、ＲＯＩタイルの位置が変更される前におけるＲＯＩタイルに含まれるオブジェクトと同じオブジェクトを含むＲＯＩタイルを連続して再生できるように並べても構わない。この場合、検出部（不図示）が動画内のオブジェクトを検出し、決定部３０３は検出された結果に基づいて、同じオブジェクトを含むＲＯＩタイルを連続に並べるよう出力順序を決定する。

また、本実施形態においてＳＥＩはＲＯＩタイルの位置はＧＯＰ単位で変更可能であるが、これに限定されない。即ち、複数のＧＯＰ毎に変更しても構わないし、その他の単位で変更しても構わない。

（実施形態４）
図３に示した画像処理装置３００の各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。以下、図１２を用いて本実施形態について説明する。図１２は、上記各実施形態に係る画像処理装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ１２０１は、ＲＡＭ１２０２やＲＯＭ１２０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理システムが行うものとして上述した各処理を実行する。即ち、ＣＰＵ１２０１は、図１２に示した各処理部として機能することになる。

ＲＡＭ１２０２は、外部記憶装置１２０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１２０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１２０２は、ＣＰＵ１２０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１２０２は、例えば、ピクチャメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ１２０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１２０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１２０１に対して入力することができる。出力部１２０５は、ＣＰＵ１２０１による処理結果を表示する。また出力部１２０５は例えば液晶ディスプレイで構成される。

外部記憶装置１２０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１２０６には、ＯＳ（オペレーティングシステム）や、図１２に示した各部の機能をＣＰＵ１２０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１２０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置１２０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１２０１による制御に従って適宜、ＲＡＭ１２０２にロードされ、ＣＰＵ１２０１による処理対象となる。Ｉ／Ｆ１２０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１２０７を介して様々な情報を取得したり、送出したりすることができる。１２０８は上述の各部を繋ぐバスである。

上述の構成からなる作動は前述のフローチャートで説明した処理をＣＰＵ１２０１が中心となってその制御を行う。

（その他の実施形態）
上述した各実施形態では、ＲＯＩタイルのみを用いてダイジェストムービー用の出力ストリームを生成したが、これに限定されない。即ち、ＲＯＩタイルの周囲のタイルを含めてダイジェストムービーを生成しても構わない。

また、上述した各実施形態では、ＨＥＶＣを用いて符号化された入力ストリームを用いたが、これに限定されず、所定の領域のみを処理可能なように符号化する種々の符号化方式を用いることができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３００ 画像処理装置
３０１ 取得部
３０２ セレクタ部
３０３ 決定部
３０４ 結合部
３０５ 算出部
３０６ 全体制御部

Claims (7)

1. 第１の画像と第２の画像を含む第１の動画を用いて第２の動画を生成する画像処理装置であって、
   第１の画像に複数の所定の領域が含まれる場合に、当該複数の所定の領域と、当該第１の画像より前記第１の動画における再生順序が前である第２の画像に含まれる所定の領域との位置関係に関する情報を取得する取得手段と、
   前記取得手段によって取得された位置関係に関する情報に基づいて、前記第１の画像の複数の所定の領域の前記第２の動画における再生順序を決定する決定手段と、
   前記決定手段によって決定された前記第２の動画における再生順序に基づいて、前記第１の画像の複数の所定の領域を結合して、前記第２の動画を生成する生成手段と
   を有することを特徴とする画像処理装置。
2. 前記決定手段は、前記第１の画像に含まれる複数の所定の領域のうち、前記第２の画像に含まれる所定の領域と対応する領域との距離が短い所定の領域ほど先の順序になるように、前記第１の画像の所定の領域の順序を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記第１の画像に含まれる複数の所定の領域のうち、前記第２の画像に含まれる所定の領域と対応する位置にある所定の領域を、前記第２の画像に含まれる所定の領域の次の順序になるように、前記第１の画像の所定の領域の順序を決定することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記決定手段は、前記第１の画像に含まれる複数の所定の領域のうち、前記第２の画像に含まれる所定の領域と同じ位置にある所定の領域を、前記第２の画像に含まれる所定の領域と異なる位置にある所定の領域よりも先の順序になるように、前記第１の画像の所定の領域の順序を決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段は、前記第１の画像に含まれる複数の所定の領域のうち、前記第１の画像を含む第１のシーケンスより再生順序が前である第２のシーケンス内の前記第２の画像に含まれる所定の領域と対応する領域との距離が短い所定の領域ほど先の順序になるように、前記第１の画像の所定の領域の順序を決定することを特徴とする請求項２に記載の画像処理装置。
6. 第１の画像と第２の画像を含む第１の動画を用いて第２の動画を生成する画像処理方法であって、
   第１の画像に複数の所定の領域が含まれる場合に、当該複数の所定の領域と、当該第１の画像より前記第１の動画における再生順序が前である第２の画像に含まれる所定の領域との位置関係に関する情報を取得する取得工程と、
   前記取得工程によって取得された位置関係に関する情報に基づいて、前記第１の画像の複数の所定の領域の前記第２の動画における再生順序を決定する決定工程と、
   前記決定工程によって決定された前記第２の動画における再生順序に基づいて、前記第１の画像の複数の所定の領域を結合して、前記第２の動画を生成する生成工程と
   を有することを特徴とする画像処理方法。
7. コンピュータを、請求項１乃至請求項５のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images