JP2019083368A - 符号化装置及び復号装置及びそれらの制御方法及びプログラム - Google Patents

Abstract

【課題】 高解像度の画像の符号化を行いながらも、主被写体を含む部分領域を復号可能な符号化データを生成する。【解決手段】 符号化しようとする着目フレームから、主被写体を含み、予め設定されたサイズの副画像の領域の位置を決定する決定部と、該決定部で決定した副画像の領域の境界に基づき着目フレームを複数の領域に分割する分割部と、分割部で分割して得た各領域の画像を符号化する符号化部と、符号化部で得た符号化データと、着目フレームにおける副画像の領域の位置、並びに、副画像の符号化データの格納アドレスを示す付加情報とから着目フレームの符号化データを生成する生成部とを有する。【選択図】 図６

Description

本発明は、映像の符号化／復号技術に関するものである。

動画像はその情報量が非常に大きい。それ故、動画像を撮像する装置（ビデオカメラやカメラ内蔵の携帯型通信装置等）では、撮像した動画像を圧縮符号化してから記憶媒体に記録する。

近年、１９２０×１０８０画素をはじめ、それを超える８１９２×４３２０画素等の多種のサイズ（解像度）の再生可能な装置が登場してきている。このような再生環境の多様化にともない、たとえば特許文献１のような、複数の画像サイズの動画像の符号化を実現する方法が提案されてきている。特許文献１では、動画像に対して、注目領域を切り出した小サイズ画像の動画像と、切出していない動画像の２つの動画像を符号化する技術を開示している。特許文献１では、動画像の注目領域に対応する画素値を単一色に置き換えることで符号量を抑えつつ、２つの異なる画像サイズの動画像データを符号化している。

特開２０１０−２１２８１１号公報

しかしながら、特許文献１で符号化された動画データは元画像を縮小したものであるので、画質の劣化が発生する。更に、注目領域の動画像を再生する場合に２つの符号化データを復号化し、１つの再生画像として合成する処理が必要となる。

本発明はかかる問題に鑑みなされたものであり、高い解像度の画像の符号化を行いながらも、主被写体を含む部分領域を復号可能な符号化データを生成する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の符号化装置は以下の構成を備える。すなわち、
動画像を符号化する符号化装置であって、
符号化しようとする着目フレームから、主被写体を含み、予め設定されたサイズの副画像の領域の位置を決定する決定手段と、
該決定手段で決定した前記副画像の領域の境界に基づき前記着目フレームを複数の領域に分割する分割手段と、
該分割手段で分割して得た各領域の画像を符号化する符号化手段と、
前記符号化手段で得た符号化データと、前記着目フレームにおける前記副画像の領域の位置、並びに、前記副画像の符号化データの格納アドレスを示す付加情報とから前記着目フレームの符号化データを生成する生成手段とを有する。

本発明によれば、高解像度の画像の符号化を行いながらも、主被写体を含む部分領域を復号可能な符号化データを生成することができる。

また、本発明によれば、高解像度の符号化データから、主被写体を含む部分領域のみを復号し再生することが可能になる。

実施形態におけるシステムの一例を示す図。 実施形態における符号化装置及び復号化装置のブロック構成図。 実施形態における符号化処理部のブロック構成図。 実施形態における符号化処理におけるタイル分割の例を示す図。 実施形態における符号化装置の処理を示すフローチャート。 実施形態における符号化装置のタイル構成の決定処理と符号化処理を示すフローチャート。 実施形態における復号装置の処理を示すフローチャート。 フレーム間でタイル位置が変わる場合の不具合を説明するための図。 第２の実施形態における復号した画像の画面内をトリミングする例を示す図。 第２の実施形態における符号化装置の処理を示すフローチャート。 第２の実施形態における復号装置の処理を示すフローチャート。 第２の実施形態における復号画像のトリミング位置決定の処理の一例を示すフローチャート。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

＜システム構成図＞
図１に示すように、本実施形態のシステムは、符号化装置１００、復号装置２００、及び、表示装置３００を有する。

符号化装置１００は、ユーザによる操作部１０４のシャッタースイッチによる撮影指示により撮像を行い、画像データを得る。符号化装置１００は、撮像して得た画像データを符号化することで、画像データのデータ量を圧縮することが可能である。符号化装置１００は符号化して得た符号化画像データを着脱式の不揮発性記録媒体に記録するか、或いは、無線通信を使用して復号装置２００等の装置に転送する。復号装置２００は、着脱式の不揮発性記録媒体、または無線通信を使用して符号化画像データを受信する。そして、復号装置２００は、操作部２０４または、不図示のリモコンより操作させることで、符号化画像データを復号してた画像データを表示装置３００に出力することで再生を行う。表示装置３００は復号装置２００からの画像データ（画像信号）を受信し、表示部にその画像を表示する。

符号化装置１００は、デジタルスチルカメラ、スマートフォン、カメラ付き携帯電話、デジタルビデオカメラ等の撮像装置である。復号装置２００は、画像データや音声データの再生を行うプレイヤ等の再生装置であってもよく、デジタルスチルカメラ、スマートフォン、カメラ付き携帯電話、デジタルビデオカメラ等の撮像装置であっても構わない。表示装置３００は、液晶や有機ＥＬ等のディスプレイ装置である。なお、符号化装置１００は、復号化装置２００と同様の復号化処理を行ってもよい。また、復号化装置２００は表示装置３００を含んでもよい。

＜全体ブロック図＞
図２は、符号化装置１００と、復号装置２００のブロック構成を示す図である。

符号化装置１００は、ＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、操作部１０４、撮像レンズ１１１、撮像部１１２、画像処理部１１３、符号化処理部１１４を有する。また、符号化装置１００は、表示制御部１１５、表示部１１６、通信制御部１１７、通信部１１８、記録媒体制御部１１９、記録媒体１２０、及び、内部バス１３０を有する。

ＣＰＵ１０１は、不揮発性メモリ１０３に記憶されているコンピュータプログラムを実行することによって、符号化装置１００の各部の動作を制御する。ＣＰＵ１０１は、ユーザによって操作される操作部１０４から入力されるシャッターボタン、メニューボタン等の信号により、主被写体となる人物等を予め撮影しておき、不揮発性メモリ１０３に主被写体情報として記録する。また、ＣＰＵ１０１は、ユーザにより操作部１０４から入力されるメニューボタン等の信号により、特定の主被写体を含む画像サイズ小の画面領域のサイズを判断する。ＣＰＵ１０１は、ユーザにより指定された画面領域のサイズ情報をメモリ１０２に保存する。

メモリ１０２は、書き換え可能な揮発性メモリであり、一時的に符号化装置１００の各部の動作を制御するコンピュータプログラム、各部の動作に関するパラメータ等の情報、通信制御部１１７によって受信した情報等を記録する。メモリ１０２は、撮像部１１２、画像処理部１１３、符号化処理部１１４等で処理した画像や情報を一時的に記録するための十分な記憶容量を備えている。

不揮発性メモリ１０３は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１０３は、符号化装置１００の各部の動作を制御するコンピュータプログラム及び各部の動作に関するパラメータ等の情報を記憶する。ここでいう、コンピュータプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

操作部１０４は、符号化装置１００を操作するためのユーザインターフェースを提供する。操作部１０４は、符号化装置１００の電源ボタン及びメニューボタン、シャッターボタン等を有し、各ボタンはスイッチ、タッチパネル等により構成される。ＣＰＵ１０１は、操作部１０４を介して入力されたユーザの指示に従って符号化装置１００を制御する。なお、操作部１０４は、不図示のリモートコントローラから受信したリモコン信号や、不図示の携帯端末から通信制御部１１７を介して通知された要求に応じて符号化装置１００を制御してもよい。

撮像レンズ１１１は、ズームレンズ、フォーカスレンズを含むレンズ群、レンズ制御部、絞りなどにより構成される。撮像レンズ１１１は図示しないレンズ制御部を有し、ＣＰＵ１０１から送信される制御信号により、焦点の調整や絞り値（Ｆ値）を制御する。

撮像部１１２は、被写体の光学像を電気信号に変換する撮像素子を備える。撮像素子は、例えばＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）素子等で構成されるエリアイメージセンサである。撮像部１１２は撮像して得たアナログ画像信号をデジタル画像信号（画像データ）に変換し、画像処理部１１３またはメモリ１０２に出力する。

画像処理部１１３は、撮像部１１２からの画像データ、又は、メモリ１０２から読み出された画像データに対し所定の画素補間、縮小といったリサイズ処理や色変換処理等を行う。また、画像処理部１１３では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてＣＰＵ１０１が露光制御、測距制御を行う。これにより、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＡＦ（オートフォーカス）処理が行われる。また、画像処理部１１３では予め不揮発性メモリ１０３に記録された顔や人物の特徴量と、撮像部１１２から受信した画像データから算出した特徴量の比較を行う。画像処理部１１３は、比較した特徴量と画素の座標から、画像データ内における主被写体の座標位置と範囲を特定する。

ここで主被写体検出機能について説明する。ＣＰＵ１０１は顔検出対象の画像データを画像処理部１１３に送る。ＣＰＵ１０１の制御下で画像処理部１１３は、当該画像データに水平方向バンドパスフィルタを作用させる。また、ＣＰＵ１０１の制御下で画像処理部１１３は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。その後、ＣＰＵ１０１は、検出されたエッジ成分に関してパターンマッチングを行い、候補群を抽出する。そして、ＣＰＵ１０１は、抽出された候補群の中から、予め設定された条件を満たすものを絞り込む。そして、ＣＰＵ１０１は、絞り込まれた候補群とそれに対応する人物を形成する対応付け、また、予め設定した非人物条件フィルタを通すことで、人物を検出する。ＣＰＵ１０１は、人物の検出結果に応じて上記人物情報を出力し、処理を終了する。このとき、人物などの特徴量をメモリ１０２に記憶する。

以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して主被写体（人物）を検出することが可能である。

符号化処理部１１４は、入力された画像データを画面内予測及び画面間予測符号化することで画像データのデータ量を圧縮する。符号化処理部１１４は、例えばＨ．２６５（ＩＴＵ Ｈ．２６５又はＩＳＯ／ＩＥＣ２３００８−２）方式で圧縮処理を行う。符号化処理部１１４の詳細な説明は図３を用いて後述する。

表示制御部１１５は、表示部１１６を制御する。表示制御部１１５は表示部１１６で表示可能な画像になるようにリサイズ処理や色変換処理等を行い、画像信号を表示部１１６に出力する。表示部１１６は、液晶ディスプレイや有機ＥＬ等で構成されており、表示制御部１１５から送られてきた画像信号を表示する。表示部１１６はタッチパネルでありユーザからの操作を受け付ける操作部も兼ねる。

通信制御部１１７は、ＣＰＵ１０１に制御され、ＩＥＥＥ８０２．１１等で予め定められた無線通信規格に適用した変調信号を生成して、通信部１１８へ出力する。また、通信制御部１１７は、通信部１１８より無線通信規格に適用した変調信号を受信して復号することでアナログ信号をデジタル信号変換してＣＰＵ１０１に通知する。また、通信制御部１０８は通信を設定するためのレジスタを持っており、ＣＰＵ１０１から制御されることで通信時の送受信感度を調整し、所定の変調方式で送受信をおこなうことができる。通信部１１８は、通信制御部１１７から送られてくる変調信号を外部へ出力、もしくは外部からの変調信号を受信するアンテナ及び、アナログ回路等により構成される。

記録媒体制御部１１９は、記録媒体１２０を制御するための制御部であり、ＣＰＵ１０１から要求を受けて、記録媒体１２０を制御するための制御信号を出力する。記録媒体１２０は、撮像され符号化された画像データを記録するための着脱式、または内蔵式の不揮発性メモリや磁気ディスク等から構成される。なお、ＣＰＵ１０１が記録媒体１２０に記録する場合には、記録媒体のファイルシステムに適応した形式でファイルデータとして保存する。ここでいうファイルデータとは、ＭＰ４ファイル（ＩＳＯ/ＩＥＣ １４４９６-１４:２００３）やＭＸＦ（Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔ）ファイル等のコンテナを示す。

内部バス１３０は、ＣＰＵ１０１とメモリ１０２に各処理部がアクセスするための内部バスである。以上、実施形態における符号化装置１００を説明した。

復号装置２００は、図２に示すように、ＣＰＵ２０１、メモリ２０２、不揮発性メモリ２０３、操作部２０４、通信制御部２１１、通信部２１２、復号処理部２１３、記録媒体制御部２１４、記録媒体２１５、表示制御部２１６、及び内部バス２２０を有する。

ＣＰＵ２０１は、不揮発性メモリ２０３に記憶されているコンピュータプログラムを実行することによって、復号装置２００の各部の動作を制御する。

メモリ２０２は、書き換え可能な揮発性メモリであり、一時的に復号装置２００の各部の動作を制御するコンピュータプログラム、各部の動作に関するパラメータ等の情報、通信部２１２によって受信した情報等を記録する。不揮発性メモリ２０３は、不揮発性メモリ２０３に記憶されているコンピュータプログラムを実行することによって、復号装置２００の各部の動作を制御する。

操作部２０４は、復号装置２００を操作するためのユーザインターフェースを提供する。操作部２０４は、復号装置２００の電源ボタン及び再生、停止ボタン等を有し、各ボタンはスイッチ、タッチパネル等により構成される。ＣＰＵ２０１は、操作部２０４を介して入力されたユーザの指示に従って復号装置２００を制御する。なお、操作部２０４は、不図示のリモートコントローラから受信したリモコン信号や、不図示の携帯端末から通信制御部２１１を介して通知された要求に応じて復号装置２００を制御してもよい。

通信制御部２１１は、ＣＰＵ２０１に制御され、ＩＥＥＥ８０２．１１等で予め定められた無線通信規格に適用した変調信号を生成して、通信部２１２へ出力する。また、通信制御部２１１は、通信部２１２より無線通信規格に適用した変調信号を受信して復号することでアナログ信号をデジタル信号変換してＣＰＵ２０１に通知する。また、通信制御部２１２は通信を設定するためのレジスタを持っており、ＣＰＵ２０１から制御されることで通信時の送受信感度を調整し、所定の変調方式で送受信をおこなうことができる。通信部２１２は、通信制御部２１１から送られてくる変調信号を外部へ出力、もしくは外部からの変調信号を受信するアンテナ及び、アナログ回路等により構成される。

復号処理部２１３は、画面内予測及び画面間予測復号された符号化画像データ（符号化ストリーム）の復号処理を行う。例えばＨ．２６５方式で符号化された画像データの復号処理を行い、復号処理を行った画像データはメモリ２０２に一時的に保存される。

記録媒体制御部２１４は、記録媒体２１５を制御するための制御部であり、ＣＰＵ２０１から要求を受けて、記録媒体２１５を制御するための制御信号を出力する。記録媒体２１５は、符号化された画像データを記録するための着脱式、または内蔵式の不揮発性メモリや磁気ディスク等から構成される。

表示制御部２１６は、表示装置３００に画像信号を出力するための制御部である。表示制御部２１６は表示装置３００で表示可能な画像になるようにリサイズ処理や色変換処理等を行い、画像信号を表示装置３００に出力する。なお、表示装置３００への出力は、例えばＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｅｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）等のケーブルを介して行われる。

内部バス２２０は、ＣＰＵ２０１とメモリ２０２に各処理部及び制御部がアクセスするための内部バスである。

＜符号化処理部１１４の詳細＞
次に実施形態における符号化装置１００における符号化処理部１１４の構成と処理の流れを図３を参照して説明する。符号化処理部１１４は、Ｈ．２６５方式に従って符号化を行うものとする。

画面分割部３０１は、符号化対象の入力画像の画面サイズよりも小さい、いくつかの画面サイズに画面を分割する。具体的には、ユーザに設定された表示画面のサイズや主被写体の位置情報を基に、主被写体が含まれるように、符号化対象の入力画像の画面サイズよりも小さい、いくつかのスライスまたは及びタイルの分割サイズを決定する。なお、主被写体の位置はＣＰＵ１０１、または画像処理部１１３から取得する。スライスまたは及びタイルの分割が画面の分割に相当する。なお、スライスの分割数は、ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１により水平方向が決まり、ｎｕｍ_ｔｉｌｅ_ｒｏｗｓ_ｍｉｎｕｓ１により垂直方向が決定される。なお、本実施形態においてはタイルの分割方法は全てのビットスリームで一意である場合のｔｉｌｅｓ＿ｆｉｘｅｄ＿ｓｔｒｕｃｔｕｒｅ＿ｆｌａｇを０にセットする。

画面サイズは、水平、垂直方向の画素数で定義されるものとする。ただし、一方の辺の画素数とアスペクト比があれば画面サイズは特定できるので、この限りではない。

画面分割部３０１は、決定した座標位置で、符号化対象の画面をタイル状に分割した各領域（以下、この領域を単にタイルと呼ぶ）に番号（以下、タイル番号という）を付す。そして、タイル番号で示されるタイル番号と符号化対象の画面におけるタイルの位置とを対応づける。なお、各タイルのサイズはＣＴＢ（Ｃｏｒｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）の数を示す各種情報で決定される。

そして、画面分割部３０１は、符号化処理中に、タイル毎の予測符号化条件を予測符号化方法決定部３０２へ出力する。この予測符号化条件には、或るタイル内の着目画素ブロックを符号化する際、その着目画素ブロック（符号化対象ブロック）の予測画素ブロックを取得する範囲を規定する情報が含まれる（詳細後述）。

予測符号化方法決定部３０２は、画面分割部３０１から入力される画面分割情報及び予測符号化条件に基づき符号化対象画面内の各画素ブロックに対する予測方法を決定する。予測符号化方法決定部３０２は、入力される画像信号と、符号化済みの領域の復号画像を格納するメモリ１０２から読み出した符号化済み画素値から簡易的な画面内予測又は動き検出を含む画面間予測処理を行うことにより符号化効率を示す評価値を算出する。そして、その符号化効率が最適となる予測方式を決定する。

符号化対象画素ブロックがＩスライスの場合は、画面内予測画素ブロックサイズ及び予測モードを決定する。Ｐスライス又はＢスライスの場合には、画面内予測又は画面間予測の内、符号化効率の高い方を選択する。フレーム内の全てのスライスがＩスライスのフレームをＩフレーム、フレーム内の全てのスライスがＰスライスのフレームをＰフレーム、フレーム内の全てのスライスがＢスライスのフレームをＢフレームと呼ぶ。

ここで、画面間予測の場合には画面内予測画素ブロックサイズ及び画面内予測モード等の画面内予測符号化用パラメータを決定する。また、画面間予測の場合には、参照画像フレーム、画素ブロック分割パターン、動きベクトル等の画面間予測符号化用パラメータを決定する。

予測符号化方法決定部３０２は、決定した予測符号化用パラメータを予測符号化処理部３０３へ出力する。

予測符号化処理部３０３は、符号化対象のフレーム中の着目タイル内の着目画素ブロックを符号化する際、予測符号化方法決定部３０２により決定された予測符号化用パラメータに応じて、メモリ１０２から読出した符号化済み画像から予測画素ブロックを生成する。そして、予測符号化処理部３０３は、着目画素ブロックと予測画素ブロックの差分である予測残差ブロックを、直交変換・量子化部３０５へ出力する。また、予測画素ブロックを、局所復号部３０６にも出力する。

直交変換・量子化部３０５は、与えられた予測残差ブロックに対して直交変換処理を行う。また、直交変換・量子化部３０５は、後述する符号量制御部３０７から設定された量子化パラメータに応じた量子化ステップを用いて、直交変換して得られた係数を量子化する。その量子化後の係数（量子化データ）はエントロピー符号化部３０８、局所復号部３０６へ供給される。

局所復号部３０６は、入力した量子化データに対し逆量子化処理、逆直交変換処理を行うことで、予測残差データを生成する。そして、局所復号部３０６は、その予測残差データに、予測符号化処理部３０３から入力される予測画像を加算して復号処理を行い、得られた画素ブロックが示す画像データをメモリ１０２へ格納する。メモリ１０２へ格納された復号後の画像データは、以降の画面内予測処理に利用される。更にデブロッキングフィルタ処理が施された復号画像データをメモリ１０２へ保持する。メモリ１０２へ保持されたデブロッキングフィルタ処理後の復号データは、以降の画面間予測処理にも利用される。

エントロピー符号化部３０８では、入力された量子化データに対してスライス単位にＣＡＢＡＣ（コンテキスト適応型２値算術符号化）によるエントロピー符号化処理を行う。エントロピー符号化部３０８は、このため入力される量子化データ（多値データ）を２値データに変換する２値化部、その２値化部により生成された２値化データを格納する２値化データ・メモリを有する。また、エントロピー符号化部３０８は、２値化データの発生確率をコンテキストに応じて計算し、保持するコンテキスト計算部、及びコンテキスト計算部により供給される発生確率に応じて算術符号化を行う算術符号化部を有する。こうして符号化したデータをタイル単位に多重化処理部３０９へ供給すると共に、発生符号量を符号量制御部３０７へ出力する。

符号量制御部３０７は、符号化ピクチャバッファをオーバーフロー、又はアンダーフローさせないように符号化データの符号量を制御する処理部である。符号量制御部３０７は、エントロピー符号化部３０８から供給されるエントロピー符号化後の発生符号量を元に、後続して入力するフレームに対する量子化パラメータを生成し、直交変換・量子化部３０５へ供給する。

多重化処理部３０９は、画像の符号化の開始時には、ファイルヘッダに符号化対象のフレームのサイズ等の情報に加えて、各タイルの分割位置と、設定された画面サイズ、タイル番号、並びに、主被写体が存在するタイル番号を示す情報を格納する。

なお、タイル番号が、タイルを単位とするラスタースキャン順に符番されることが、符号化、復号を行う装置双方の共通事項である場合にはタイル番号は不要としてもよい。

＜画面分割部３０１によるタイル分割例＞
図４に、本実施形態における、タイル構成の一例を示す。

図４（ａ）は、入力される画像データに対する有る時点におけるタイル構成の一例を示した図である。図４（ａ）は、タイルＡ１乃至Ａ８、及び、タイルＢの９つのタイルで構成されている。図４（ａ）に示すように、画面分割部３０１は、主被写体となる人物を含むタイルＢの位置を決定し、タイルＢの位置に合わせて、その他のタイル構成を決定する。具体的には、タイルＢの位置が決まると、タイルＢの４辺を表す線分を延長を主画面の分割の境界線とすることで、タイルＡを決定する。なお、タイルＢのように主被写体を含むタイルのことを以降、「主タイル」とする。また、入力される画像を「主画像」とし、主画像内の「主タイル」が表す、主画面よりも小さい画面を「副画像」と定義する。

図４（ｂ）は、実施形態における、同図（ａ）に対して時系列で後のフレームにおける、タイル構成の一例を示した図である。図４（ｂ）に示すように、画面分割部３０１は、主被写体となる人物が移動したことで、タイルＢ（主タイル）の位置を移動する。画面分割部３０１は、タイルＢの位置に合わせてタイルＡ１、タイルＡ２、タイルＡ３、タイルＡ４、タイルＡ５のサイズ及び位置も変更され、図示の場合、タイルＡ６乃至８は存在しなくなる。

なお、タイルＢのサイズは図４（ａ）及び図４（ｂ）で同サイズとする。また、主画面のサイズが例えば８１９２×４３２０画素である場合には、タイルＢ（主タイル）はその１／４サイズである、４０９６×２１６０画素等、ＤＣＩ（Ｄｉｇｉｔａｌ Ｃｉｎｅｍａ Ｉｎｉｔｉａｔｉｖｅｓ）等の規格団体で決定されている一般的に使用される画面サイズに設定してもよい。

また、図４（ｂ）の状態から主被写体が更に左方向に移動して、タイルＢが主画面の左下隅の位置に移動した場合、分割するタイルの総数は最小の“４”になる。つまり、主画面を分割するタイル数は、主タイルの位置に応じて、４乃至９の範囲で変動する。なお、符号化はタイル単位に行うことになる。タイル数の増加は符号化効率を下げる要因となる。それ故、先に示した条件で主画面をタイル分割した場合に、タイルのサイズ（面積）が予め設定された閾値以下であって、互いに接続しても矩形の形状を維持できる場合には、それらのタイルを１つに統合しても良い。例えば、図４（ａ）の状態で、タイルＡ６、Ａ７，Ａ８それぞれのサイズが閾値以下であって、互いに接続したとしても矩形形状が維持できるので、タイルＡ６、Ａ７，Ａ８を１つのタイルとして決定するようにしても良い。

＜符号化装置１００の全体の処理フロー＞
符号化装置１００における処理全体の一例を図５のフローチャートに示す。なお、本実施形態におけるフローチャートの制御プログラムは、不揮発性メモリ１０３に格納されている。そして、符号化装置１００の電源がＯＮの状態において、ＣＰＵ１０１がその不揮発性メモリ１０３に格納されているプログラムをメモリ１０２に展開して実行する。本実施形態における符号化装置１００の制御プログラムは、定期的に処理を繰り返し実行してもよい。

Ｓ５０１において、ＣＰＵ１０１は、撮像部１１２で撮影した画像よりも小さい画面サイズである副画像の画面サイズを決定する。ＣＰＵ１０１は、操作部１０４からの操作により、ユーザから設定された画面サイズを設定値として、不揮発性メモリ１０３に保存しておいた設定情報から、主被写体が含まれる主画面より画面サイズが小さい副画像の画面サイズを決定する。ＣＰＵ１０１は、本フローチャートにおける処理をＳ５０１からＳ５０２へ進める。

Ｓ５０２において、ＣＰＵ１０１は、主被写体を指定する。ＣＰＵ１０１は、操作部１０４からの操作によりユーザにより選択された、予め不揮発性メモリ１０３に保存されている複数の主被写体情報から主被写体を決定する。また、ＣＰＵ１０１は、不揮発性メモリ１０３に主被写体情報が存在しない場合は、表示部１１６のライブビュー画像にタッチ操作を促すような表示を重畳し、ユーザによりタッチされた被写体（オブジェクト）を主被写体とする。または、表示部１１６に重畳される被写体を登録する枠内に主被写体が入るように撮影された被写体を主被写体として不揮発性メモリ１０３に登録する。ＣＰＵ１０１は、本フローチャートにおける処理をＳ５０２からＳ５０３へ進める。

Ｓ５０３において、ＣＰＵ１０１は、操作部１０４の動画記録開始ボタンが押されたか否かを判断する。ＣＰＵ１０１は、動画記録開始ボタンが押されたと判断した場合（Ｓ５０３のＹＥＳ）、本フローチャートにおける処理をＳ５０３からＳ５０４へ進める。また、ＣＰＵ１０１は、動画記録開始ボタンが押されていないと判断した場合（Ｓ５０３のＮＯ）、本フローチャートにおける処理をＳ５０３で継続する。

Ｓ５０４において、ＣＰＵ１０１は、符号化処理部１１４による符号化処理を行う前の設定を行う。ＣＰＵ１０１は、符号化処理部１１４の画面分割部３０１が参照するための主被写体の情報をメモリ１０２に書き込む。また、ＣＰＵ１０１は、主画面の符号化画像のみファイルに記録するか、主画面と副画面の２画面の符号化画像を別々のファイルに記録するか設定する。更に、ＣＰＵ１０１は符号化処理を行うための各種レジスタ設定等を行い、符号化処理部１１４が動作可能な状態にし、本フローチャートにおける処理をＳ５０４からＳ５０５に進める。

Ｓ５０５において、ＣＰＵ１０１は、画像処理部１１３がメモリ１０２に保存した画像データのアドレスを符号化処理部１１４に通知し、符号化処理の実行を命令する。なお、符号化処理部１１４における詳細な符号化処理に関して図６を用いて後述する。そして、ＣＰＵ１０１は、本フローチャートにおける処理をＳ５０５からＳ５０６へ進める。

Ｓ５０６において、ＣＰＵ１０１は、Ｓ５０５で符号化処理部１１４により生成された符号化画像データとシンタックス情報（付加情報）を記録媒体制御部１１９により記録媒体１２０を制御して順次記録する。主画面のみファイルに記録する場合は、主画面の符号化画像データと主画面のシンタックス情報を記録する。主画面と副画面を別々のファイルに記録する場合、主画面の符号化画像データと主画面のシンタックス情報と、副画面の符号化画像データと副画面のシンタックス情報をそれぞれ別々のファイルとなるように記録する。ＣＰＵ１０１は、本フローチャートにおける処理をＳ５０６からＳ５０７に進める。

Ｓ５０７において、ＣＰＵ１０１は、撮影が終了したか否かを判断する。ＣＰＵ１０１は、ユーザからの操作による操作部１０４からの信号を受信して、撮影が終了したことを判断する。ＣＰＵ１０１は、撮影が終了したと判断した場合（Ｓ５０８のＹＥＳ）、本フローチャートにおける処理をＳ５０７からＳ５０８へ進める。ＣＰＵ１０１は、撮影が終了していないと判断した場合（Ｓ５０７のＮＯ）、本フローチャートにおける処理をＳ５０７からＳ５０５へ戻す。

Ｓ５０８において、ＣＰＵ１０１は、符号化処理部１１４に対して符号化処理の終了処理を行う。具体的には、符号化処理部１１４に存在する不図示のレジスタに終了の値を設定する。ＣＰＵ１０１は、本フローチャートにおける処理をＳ５０８からＳ５０９へ進める。

Ｓ５０９において、ＣＰＵ１０１は、記録媒体制御部１１９を制御して記録媒体１２０に記録しているファイルの生成を完了させ、１つのファイルとして読み取り可能な状態とする。ＣＰＵ１０１は、本フローチャートにおける処理を終了する。

なお、図５で示したフローチャートにおいては、ファイルを記録媒体１２０に記録したが、通信制御部により通信部を制御して復号装置２００にファイルを送信してもよい。

＜符号化装置１００のタイル構成の決定処理と符号化処理＞
符号化装置１００におけるタイル構成の決定と符号化の処理の一例を図６に示す。本処理は、図５を用いて前述したＳ５０５におけるＣＰＵ１０１からの要求により実行される、符号化処理部１１４の処理に関して詳細に説明したものである。

Ｓ６０１において、符号化処理部１１４は、着目フレームがタイル構成の更新タイミングのフレームであるか否かを判定する。これはタイルの分割位置の決定を、フレーム毎に実行するのではなく、ある程度のフレーム間隔で行うためである。実施形態では、予測符号化方法決定部３０２により着目フレームをＩピクチャとして符号化すると判定した場合を、タイル構成の更新タイミングであるものとする。なお、より精度を高くするのであれば、Ｉピクチャだけでなく、Ｉピクチャを参照するＰ，Ｂピクチャの場合も更新タイミングとしても構わない。

符号化処理部１１４は、着目フレームがタイル構成の更新タイミングであると判断した場合（Ｓ６０１のＹＥＳ）、本フローチャートにおける処理をＳ６０１からＳ６０２へ進める。符号化処理部１１４は、着目フレームがタイル構成の更新タイミングではないと判断した場合（Ｓ６０１のＮＯ）、処理をＳ６１１に進め、前フレームと同じタイル構成に基づく符号化を行うことになる。

Ｓ６０２において、符号化処理部１１４は、画像処理部１１３あるいはＣＰＵ１０１が、メモリ１０２の所定アドレスに書き込んだ主被写体範囲情報ＮＥＷ（着目フレーム内の主被写体のサイズと位置を示す情報）を取得する。符号化処理部１１４は、本フローチャートにおける処理をＳ６０２からＳ６０３へ進める。なお、符号化処理部１１４は、画面分割部３０１により主被写体の範囲を検出してもよい。また、主被写体の範囲は、主被写体の外接矩形とする。

Ｓ６０３において、符号化処理部１１４は、画面分割部３０１により主被写体の範囲が副画像の画像サイズよりも大きいか否かを判断する。実施形態では、主被写体の範囲を規定する水平又は垂直方向の画素数のいずれかが副画像のそれよりも大きい場合に、主被写体の範囲が副画像の画像サイズよりも大きいと判定される。符号化処理部１１４は、主被写体の範囲が副画像の画像サイズよりも大きい場合（Ｓ６０３のＹＥＳ）、本フローチャートにおける処理をＳ６０３からＳ６０８へ進める。符号化処理部１１４は、主被写体の範囲が副画像の画像サイズ以下である場合（Ｓ６０３のＮＯ）、本フローチャートにおける処理をＳ６０３からＳ６０４へ進める。

Ｓ６０４において、符号化処理部１１４は、画面分割部３０１により主被写体の位置が移動したか否かを判断する。符号化処理部１１４は、メモリ１０２に保存されている主被写体範囲情報ＮＥＷと、前回のタイル構成の更新タイミング時のピクチャ（前回のＩピクチャ）における主被写体範囲情報ＯＬＤの位置から移動したか否かを判断する。符号化処理部１１４は、主被写体が移動したと判断した場合（Ｓ６０４のＹＥＳ）、本フローチャートにおける処理をＳ６０４からＳ６０５へ進める。符号化処理部１１４は、主被写体が移動しなかったと判断した場合（Ｓ６０４のＮＯ）、タイルの構成は変更しないと判断し、本フローチャートにおける処理をＳ６０４からＳ６１１へ進める。なお、符号化処理部１１４は、予測符号化処理部３０３による主被写体が存在する画像ブロックの動きベクトル量により、主被写体が移動したか否かを判断してもよい。

Ｓ６０５において、符号化処理部１１４は、画面分割部３０１により主被写体範囲情報ＮＥＷと主被写体範囲情報ＯＬＤから移動量を算出する。符号化処理部１１４は、移動量が不揮発性メモリ１０３に予め記録されている所定値と比較し、移動量が所定値以下である場合、本フローチャートにおける処理をＳ６０５からＳ６０７へ進める。符号化処理部１１４は、移動量が不揮発性メモリ１０３に記録されている所定値より大きい場合、本フローチャートにおける処理をＳ６０５からＳ６０６へ進める。

Ｓ６０６において、符号化処理部１１４は、画面分割部３０１により主タイルの位置を、主被写体範囲情報ＯＬＤから主被写体範囲情報ＮＥＷの方向に、所定値だけ副画像を移動させた位置を、新たな主タイルの位置とする。そして、符号化処理部１１４は、図４で示したように、主タイル以外のタイル位置を主タイルの位置に合わせて決定する。符号化処理部１１４は、本フローチャートにおける処理をＳ６０６からＳ６１１へ進める。

Ｓ６０７において、符号化処理部１１４は、画面分割部３０１により、主被写体範囲情報ＮＥＷの位置にあわせて主タイルを決定する。例えば、主被写体の中心位置が、主体タイルの中心位置に合わせる等がその代表的な処理である。また、符号化処理部１１４は、図４で示したように、主タイル以外のタイル位置を主タイルの位置に合わせて決定する。符号化処理部１１４は、本フローチャートにおける処理をＳ６０６からＳ６１１へ進める。

Ｓ６０８において、符号化処理部１１４は、画面分割部３０１により、副画像の動画を別ファイルとして生成しているか否かを判断する。符号化処理部１１４は、ＣＰＵ１０１により設定されたレジスタを確認する。Ｓ６０８にて、符号化処理部１１４は、副画像の動画を別ファイルとして生成しないと判断した場合、本フローチャートにおける処理をＳ６０８からＳ６１０へ進める。符号化処理部１１４は、副画像の動画を別ファイルとして生成しないと判断した場合、本フローチャートにおける処理をＳ６０８からＳ６０９へ進める。

Ｓ６０９において、符号化処理部１１４は、画面分割部３０１により、主タイルを生成しない。つまり、符号化処理部１１４は、主画像の複数のタイルへの分割を行わず、主画像全体を１つのタイルとして決定する。符号化処理部１１４は、本フローチャートにおける処理をＳ６０６からＳ６１１へ進める。

Ｓ６１０において、符号化処理部１１４は、画像処理部１１３に対して縮小処理を要求する。画像処理部１１３は、要求に従い主画像を副画像の画像サイズに縮小してメモリ１０２に保存する。なお、主画像はそのままメモリ１０２に残しておくものとする。符号化処理部１１４は、本フローチャートにおける処理をＳ６１０からＳ６１１へ進める。

Ｓ６１１において、符号化処理部１１４は、主被写体範囲情報ＮＥＷを主被写体範囲情報ＯＬＤとしてメモリ１０２に保存する。符号化処理部１１４は、本フローチャートにおける処理をＳ６１１からＳ６１２へ進める。

Ｓ６１２において、符号化処理部１１４は、符号量制御部３０７により設定される量子化テーブルにおける値として、主タイルに対しては予め設定された小さい値を設定し、主タイル以外において、それよりも大きい値を設定する。符号化処理部１１４は、本フローチャートにおける処理をＳ６１２からＳ６１３へ進める。

Ｓ６１３において、符号化処理部１１４は、主画像に対する符号化処理を実行する。符号化処理に関しては、図３を用いて上述した通りであるが、主タイルの符号化では、着目フレームの種類を問わず、主タイル外の領域を参照せずに符号化を行う。これは、主タイルを単独で復号できるようにするためである。なお、Ｓ６０８の判断処理と同様に、副画像の動画を別ファイルで生成する場合には、副画像に対する符号化処理を別途実施する。符号化処理部１１４は、Ｓ６１０において縮小処理により副画像が別データとして存在する場合は、縮小画像を副画像として符号化処理する。

なお、後述するように、復号装置２００が主タイル単独で復号できるようにするためには、主タイルの符号化データの格納アドレス位置が判明している必要がある。そこで、符号化処理部１１４は、主画像の左上隅のタイルからラスタースキャン順に符号化を行う際に、各タイルの符号化データの符号量を累積加算していく。そして、復号装置２００が主タイルの符号化データを開始する際の累積加算結果（正確には累積加算結果＋１）を、主タイルの符号化データの先頭アドレスとして、着目フレームのシンタックス情報に含めるようにする。

以上の着目フレームに対する符号化処理を終えると、符号化処理部１１４は本フローチャートにおける処理をＳ６１３からＳ６１４へ進める。

Ｓ６１４において、符号化処理部１１４は、符号化された主画像データのシンタックス情報にタイルの構成を示した情報を付加してメモリ１０２に記録する。また、主画像のシンタックス情報には、副画像の存在と主タイルの範囲情報を付加してメモリ１０２に保存する。なお、の動画を別ファイルで生成する場合には、符号化された副画像データのシンタックス情報にタイルの構成を示した情報を付加してメモリ１０２に記録する。なお、副画像の存在と主タイルの範囲情報は、シンタックス以外にファイルとして生成する際のコンテナ情報に含めてもよいものとする。符号化処理部１１４は、本フローチャートにおける処理をＳ６１４で終了する。

なお、図６を用いて上述した処理はＣＰＵ１０１で行ってもよいものとする。また、主画像と副画像の両方を生成する処理としたが、主画像または副画像のいずれかのみを生成してもよいものとする。また、図５、図６で説明した符号化装置１００においてタイルにより処理を行う構成としたが、スライス方向で構成できる横長の副画像であればタイルの代わりにスライスにより構成してもよいものとする。更に、タイル及び主タイルの中にスライスが含まれていてもよいものとする。

＜復号装置２００の全体の処理フロー＞
復号装置２００における副画像（主タイル）を復号して再生する際の処理全体の一例を示す。これは、表示装置３００の表示解像度が主タイルと同じである場合と考える分かりやすい。なお、本実施形態におけるフローチャートの制御プログラムは、復号装置２００の電源がＯＮの状態において、不揮発性メモリ２０３に格納されているプログラムをメモリ２０２に展開してＣＰＵ２０１が実行する。本実施形態における復号装置２００の制御プログラムは、定期的に処理を繰り返し実行してもよい。なお、本制御プログラムは操作部２０４の再生開始ボタンをユーザにより押下されて開始するものとする。また、本制御プログラムは記録媒体制御部２１４により記録媒体２１５を制御することで、ファイル情報を読み取り、メモリ２０２に保存してから処理を実行する。または、本制御プログラムは通信制御部２１１により通信部２１２を制御して、ファイル情報を受信して、メモリ２０２に保存してから処理を実行してもよい。

Ｓ７０１において、ＣＰＵ２０１は、ファイルのコンテナ情報あるいは、シンタックス情報から、再生を行うフレームにおけるタイル情報を取得してメモリ２０２へ記録する。ＣＰＵ２０１は、本フローチャートにおける処理をＳ７０１からＳ７０２へ進める。

Ｓ７０２において、ＣＰＵ２０１は、Ｓ７０１により取得したタイル情報から再生するフレームにおける副画像の有無を判断する。ＣＰＵ２０１は、副画像が存在する場合（Ｓ７０２のＹＥＳ）、本フローチャートにおける処理をＳ７０２からＳ７０３へ進める。ＣＰＵ２０１は、副画像が存在しない場合（Ｓ７０２のＮＯ）、本フローチャートにおける処理をＳ７０２からＳ７０４へ進める。

Ｓ７０３において、ＣＰＵ２０１は、シンタックス情報に含まれる副画像の符号化データの格納アドレスを用いて復号処理部２１３を制御することで副画像を構成する主タイルのみの復号処理を行わせる。復号処理部２１３により復号されたデータはメモリ２０２に保存される。ＣＰＵ２０１は、本フローチャートにおける処理をＳ７０３からＳ７０６へ進める。

Ｓ７０４において、ＣＰＵ２０１は、復号処理部２１３を制御することで主画像の符号化画像データの復号処理を行わせる。復号処理部２１３により復号して得た主画像はメモリ２０２に保存される。ＣＰＵ２０１は、本フローチャートにおける処理をＳ７０４からＳ７０５へ進める。Ｓ７０５において、ＣＰＵ２０１は、メモリ２０２に保存された画像データを、副画像の画像サイズにまで縮小して、メモリ２０２に保存する。実施形態では、主画像は８１９２×４３２０画素であり、副画像は４０９６×２１６０画素である。それ故、ＣＰＵ２０１は、例えば主画像における２×２画素から、縮小画像の１画素を求める処理を行う。例えば、ＣＰＵ２０１は、主画像内の２×２画素内の予め設定された位置の１画素、或いは、２×２画素の平均値を縮小画像の１画素とすれば良い。ＣＰＵ２０１は、本フローチャートにおける処理をＳ７０４からＳ７０５へ進める。

Ｓ７０６において、ＣＰＵ２０１は、表示制御部２１６を制御して表示装置３００に対してメモリ２０２に保存された、復号処理で得た画像データを出力する。なお、ＣＰＵ２０１は、表示装置３００が表示可能な画像フォーマットに変換して出力するものとする。ＣＰＵ２０１は、本フローチャートにおける処理をＳ７０６からＳ７０７へ進める。

Ｓ７０７において、ＣＰＵ２０１は、操作部２０４の再生停止ボタンをユーザにより押下されたか否かを判断する。ＣＰＵ２０１は、操作部２０４の再生停止ボタンをユーザにより押下された場合（Ｓ７０７のＹＥＳ）、本フローチャートにおける処理をＳ７０７で終了する。ＣＰＵ２０１は、操作部２０４の再生停止ボタンをユーザにより押下されていない場合（Ｓ７０７のＮＯ）、本フローチャートにおける処理をＳ７０７からＳ７０２へ処理を戻す。

なお、図７で説明した復号装置２００において、タイルにより処理を行う構成としたが、スライス方向で構成できる横長の副画像であればタイルの代わりにスライスにより構成してもよいものとする。更に、タイル及び主タイルの中にスライスが含まれていてもよい。

以上説明したように実施形態の符号化装置１００によれば、主画像は勿論のこと、主画像内の主被写体を含む副画像領域のみを復号可能な符号化画像データを生成できる。また、副画像と同じ解像度の表示装置を有する復号装置２００では、副画像のみを復号して再生することも可能になる。

なお、上記実施形態では、符号化しようとするフレームが８１９２×４３２０画素であり、副画像（主タイル）のサイズを４０９６×２１６０画素であるものとして説明したが、副画像のサイズはユーザが所有する表示装置の解像度に合わせて設定できるようにしても良い。この結果、ユーザが所有する表示装置に特化した動画像の部分復号が可能となる。

［第２の実施形態］
第２の実施形態として、副画面の画面サイズが主タイルの画面サイズと同じサイズで、主タイルの画面サイズを固定のサイズとし、タイル位置を可変としてＨ．２６５の符号化を行い、主タイルを復号して得た画面をトリミングして表示する処理を示す。主タイルの位置が変わった場合、復号した画面内からトリミングする位置を徐々に変更する。なお、装置構成は前述した実施形態（第１の実施形態）と同等とし説明は省略する。

Ｈ．２６５では、タイルの境界位置とタイルのサイズはＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）単位となる。ＣＴＵが取り得る設定値は１６×１６、３２×３２、６４×６４画素のいずれかである。このため、主タイルのみ復号して表示した場合、あるフレーム間でタイル位置が変わると、表示位置が１フレーム間で少なくとも１６画素変わるため、不自然な動画となってしまうケースがある。

図８を参照して、フレーム間でタイル位置が変わり、不自然な動画となる例を説明する。図８は連続するＮ乃至Ｎ＋３の４フレーム分の画像を示しており、図８における参照符号８０１乃至８０４は主画像を示し、同８１１乃至８１４は副画像（主タイル）を示している。Ｎフレーム、Ｎ＋１フレームでは、副画像の左隣のタイルの水平方向サイズはＬ１であったのに対し、Ｎ＋２、Ｎ＋３フレームでの左隣のタイルの水平方向サイズはＬ１とは異なるＬ２（Ｌ２＜Ｌ１）となっていることを示している。つまり、副画像の位置は、Ｎ＋１フレームとＮ＋２フレームで異なった例を示している。この状態で副画像のみを復号して再生すると、Ｎ＋１フレーム目の副画像と、Ｎ＋２フレーム目の副画像とで主被写体や背景が突然にずれた位置に表示され、不自然な動画となってしまう。

そこで本実施形態では、図９に示すように、連続する主画像９０１〜９０４から復号して得た副画像（主タイル）９１１乃至９１４の画面内をトリミングして表示する。この際、タイル位置が変わった場合、トリミング位置が徐々に変わるようにすることで、タイル位置が変わってた際の不自然さを軽減する。図９の説明は図１２のフローチャートと共に後述する。ここで、図９のＮ＋１フレーム目のタイル位置をタイル位置α、Ｎ＋２フレーム目のタイル位置をタイル位置βとする。

符号化装置１００の全体の処理フローは、第１の実施形態と同様とし説明を省略する。ただし、本第２の実施形態では、副画像（主タイル）の画面サイズは固定のサイズとし、主画面のみファイルに記録するものとして説明する。

＜符号化装置１００のタイル構成決定と符号化の処理フロー＞
図１０は、第２の実施形態における符号化装置１００におけるタイル構成の決定と符号化処理を示すフローチャートである。本処理は、図５を用いて前述したＳ５０５におけるＣＰＵ１０１からの要求により実行される、符号化処理部１１４の処理に関して詳細に説明したものである。

Ｓ１００１において、符号化処理部１１４はタイル更新のタイミングであるか否かを判定する。第１の実施形態と同様、予測符号化方法決定部３０２により着目フレームをＩピクチャとする符号化すると判定した場合を、タイル更新のタイミングとする。勿論、これに加えてＩピクチャを参照するＰ，Ｂピクチャの符号化タイミングを更新タイミングとしても構わない。着目フレームに対してタイル構成の更新をすべきと判定された場合、符号化処理部１１４は、本フローチャートにおける処理をＳ１００１からＳ１００２へ進める。符号化処理部１１４は、更新タイミングではないと判定した場合、本フローチャートにおける処理をＳ１００１からＳ１００６へ進める。

Ｓ１００２において、符号化処理部１１４は、画像処理部１１３あるいはＣＰＵ１０１が、メモリ１０２の所定アドレスに書き込んだ主被写体範囲情報ＮＥＷを取得する。符号化処理部１１４は、本フローチャートにおける処理をＳ１００２からＳ１００３へ進める。なお、符号化処理部１１４は、画面分割部３０１により主被写体の範囲を検出してもよい。

Ｓ１００３において、符号化処理部１１４は、画面分割部３０１により主被写体の位置が移動したか否かを判断する。符号化処理部１１４は、メモリ１０２に保存されている主被写体範囲情報ＮＥＷで示される位置と、前回の更新タイミング（前回のＩピクチャの符号化タイミング）における主被写体範囲情報ＯＬＤが示す位置の差分に基づき、移動したか否かを判断する。符号化処理部１１４は、主被写体が移動したと判断した場合、本フローチャートにおける処理をＳ１００３からＳ１００４へ進める。また、符号化処理部１１４は、主被写体が移動しなかったと判断した場合、タイル構成は変更しないと判断し、本フローチャートにおける処理をＳ１００３からＳ１００６へ進める。なお、符号化処理部１１４は、予測符号化処理部３０３による主被写体が存在する画像ブロックの動きベクトル量により、主被写体が移動したか否かを判断してもよい。

Ｓ１００４において、符号化処理部１１４は、画面分割部３０１により主被写体範囲情報ＮＥＷと主被写体範囲情報ＯＬＤから移動量を算出する。そして、符号化処理部１１４は、移動量が不揮発性メモリ１０３に記録されている所定値以下である場合、本フローチャートにおける処理をＳ１００４からＳ１００６へ進める。符号化処理部１１４は、移動量が不揮発性メモリ１０３に記録されている所定値より大きい場合、本フローチャートにおける処理をＳ１００４からＳ１００５へ進める。

Ｓ１００５において、符号化処理部１１４は、主被写体範囲情報ＯＬＤから主被写体範囲情報ＮＥＷの方向に、所定値だけ副画像を移動させた位置を、更新後の主タイルの位置として決定する。そして、符号化処理部１１４は、図４で説明したように、主タイルの位置に従って、主タイル以外のタイルの位置を決定する。符号化処理部１１４は、本フローチャートにおける処理をＳ１００５からＳ１００６へ進める。

Ｓ１００６において、符号化処理部１１４は、主被写体範囲情報ＮＥＷを主被写体範囲情報ＯＬＤとしてメモリ１０２に保存する。符号化処理部１１４は、本フローチャートにおける処理をＳ１００６からＳ１００７へ進める。

Ｓ１００７において、符号化処理部１１４は、符号量制御部３０７により設定される量子化テーブルにおける値として、主タイルに対しては予め設定された小さい値を設定し、主タイル以外のタイルに対してはそれよりも大きい値を設定する。符号化処理部１１４は、本フローチャートにおける処理をＳ１００７からＳ１００８へ進める。

Ｓ１００８において、符号化処理部１１４は、主画像に対する符号化処理を実行する。符号化処理に関しては、図３を用いて上述した通りである。符号化処理部１１４は、符号化した画像データをメモリ１０２に保存する。符号化処理部１１４は、本フローチャートにおける処理をＳ１００８からＳ１００９へ進める。

Ｓ１００９において、符号化処理部１１４は、符号化された主画像データのシンタックス情報にタイルの構成を示した情報を付加してメモリ１０２に記録する。また、主画像のシンタックス情報には、副画像の存在と主タイルの範囲情報を付加してメモリ１０２に保存する。なお、副画像（主タイル）の範囲情報は、シンタックス以外にファイルとして生成する際のコンテナ情報に含めてもよい。符号化処理部１１４は、本フローチャートにおける処理をＳ１００９で終了する。

なお、図１０を用いて上述した処理はＣＰＵ１０１で行ってもよいものとする。また、タイル及び主タイルの中にスライスが含まれていてもよいものとする。

＜復号装置２００の全体の処理フロー＞
図１１に第２の実施形態における復号装置２００における副画像を復号して再生する際の処理を示す。なお、本実施形態におけるフローチャートの制御プログラムは、復号装置２００の電源がＯＮの状態において、不揮発性メモリ２０３に格納されているプログラムをメモリ２０２に展開してＣＰＵ２０１が実行する。本実施形態における復号装置２００の制御プログラムは、定期的に処理を繰り返し実行してもよい。なお、本制御プログラムは操作部２０４の再生開始ボタンをユーザにより押下されて開始するものとする。また、本制御プログラムは記録媒体制御部２１４により記録媒体２１５を制御することで、ファイル情報を読み取り、メモリ２０２に保存してから処理を実行する。または、本制御プログラムは通信制御部２１１により通信部２１２を制御して、ファイル情報を受信して、メモリ２０２に保存してから処理を実行してもよい。

Ｓ１１０１において、ＣＰＵ２０１は、ファイルのコンテナ情報あるいは、シンタックス情報から再生を行うフレームにおけるタイル情報を取得してメモリ２０２へ記録する。ＣＰＵ２０１は、本フローチャートにおける処理をＳ１１０１からＳ１１０２へ進める。

Ｓ１１０２において、ＣＰＵ２０１は、Ｓ１１０１により取得したタイル情報から再生するフレームにおける副画像の有無を判断する。ＣＰＵ２０１は、副画像が存在すると判断した場合、本フローチャートにおける処理をＳ１１０２からＳ１１０５へ進める。ＣＰＵ２０１は、副画像が存在しないと判断した場合、本フローチャートにおける処理をＳ１１０２からＳ１１０３へ進める。

Ｓ１１０３において、ＣＰＵ２０１は、復号処理部２１３を制御することで主画像を符号化した画像データの復号処理を行う。復号処理部２１３により復号されたデータはメモリ２０２に保存される。ＣＰＵ２０１は、本フローチャートにおける処理をＳ１１０３からＳ１１０４へ進める。

Ｓ１１０４において、ＣＰＵ２０１は、メモリ２０２に保存された画像データを副画像の画像サイズに縮小してメモリ２０２に保存する。ＣＰＵ２０１は、本フローチャートにおける処理をＳ１１０４からＳ１１０８へ進める。

Ｓ１１０５において、ＣＰＵ２０１は、復号処理部２１３を制御することで副画像を構成する主タイルのみを復号処理する。復号処理部２１３により復号されたデータはメモリ２０２に保存される。ＣＰＵ２０１は、本フローチャートにおける処理をＳ１１０５からＳ１１０６へ進める。

Ｓ１１０６において、ＣＰＵ２０１は、復号された画像のトリミング位置を決定する。画像のトリミング位置決定の処理は図１２にて後述する。ＣＰＵ２０１は、本フローチャートにおける処理をＳ１１０６からＳ１１０７へ進める。

Ｓ１１０７において、ＣＰＵ２０１は、Ｓ１１０６で決定した画像のトリミング位置情報と画像処理部１１３により画像をトリミングしてメモリ２０２に保存する。ＣＰＵ２０１は、本フローチャートにおける処理をＳ１１０７からＳ１１０８へ進める。

Ｓ１１０８において、ＣＰＵ２０１は、表示制御部２１６を制御して表示装置３００に、メモリ２０２に保存された画像データを出力する。なお、ＣＰＵ２０１は、表示装置３００が表示可能な画像フォーマットに変換して出力するものとする。ＣＰＵ２０１は、本フローチャートにおける処理をＳ１１０８からＳ１１０９へ進める。

Ｓ１１０９において、ＣＰＵ２０１は、操作部２０４の再生停止ボタンをユーザにより押下されたか否かを判断する。ＣＰＵ２０１は、操作部２０４の再生停止ボタンをユーザにより押下されたと判断した場合、本フローチャートにおける処理をＳ１１０９で終了する。ＣＰＵ２０１は、操作部２０４の再生停止ボタンをユーザにより押下されていないと判断した場合、本フローチャートにおける処理をＳ１１０９からＳ１１１０へ進める。

Ｓ１１１０において、ＣＰＵ２０１は、全フレームの再生が終了したか否かを判断する。ＣＰＵ２０１は、全フレームの再生が終了したと判断した場合、本フローチャートにおける処理をＳ１１１０で終了する。また、ＣＰＵ２０１は、全フレームの処理が終了していないと判断した場合、本フローチャートにおける処理をＳ１１１０からＳ１１０２へ処理を戻す。

なお、図１１で説明した復号装置２００において、タイルにより処理を行う構成としたが、スライス方向で構成できる横長の副画像であればタイルの代わりにスライスにより構成してもよいものとする。更に、タイル及び主タイルの中にスライスが含まれていてもよいものとする。

＜トリミング位置の決定処理＞
図１２のフローチャートを参照して、本第２の実施形態におけるトリミング位置の決定処理の流れを説明する。

Ｓ１２０１において、ＣＰＵ２０１は、復号対象の着目フレームが１フレーム目か否かを判断する。ＣＰＵ２０１は、着目フレームが１フレーム目であると判断した場合、本フローチャートにおける処理をＳ１２０１からＳ１２０２へ進める。また、ＣＰＵ２０１は、復号対象の着目フレームが１フレーム目ではないと判断した場合、本フローチャートにおける処理をＳ１２０１からＳ１２０４へ進める。

Ｓ１２０２において、ＣＰＵ２０１は、メモリ２０２に保存されているトリミング位置変更フラグを０に設定し、本フローチャートにおける処理をＳ１２０２からＳ１２０３へ進める。

Ｓ１２０３において、ＣＰＵ２０１は、図９の副画像９１１、９１２のように、副画像の中央部をトリミングの境界位置として決定し、本フローチャートにおける処理をＳ１２０３で終了する。

Ｓ１２０４において、ＣＰＵ２０１は、トリミング位置変更フラグが１となっているか否かを判断する。ＣＰＵ２０１は、トリミング位置変更フラグが１であると判断した場合、本フローチャートにおける処理をＳ１２０４からＳ１２０８へ進める。また、ＣＰＵ２０１は、トリミング位置変更フラグが１ではないと判断した場合、本フローチャートにおける処理をＳ１２０４からＳ１２０５へ進める。

Ｓ１２０５において、ＣＰＵ２０１は、タイルに関するシンタックス情報から現フレームの主タイルの位置が１つ前のフレームの主タイルの位置から変わったか否かを判断する。ＣＰＵ２０１は、主タイルの位置が変わったと判断した場合、本フローチャートにおける処理をＳ１２０５からＳ１２０６へ進める。また、ＣＰＵ２０１は、主タイルの位置が変わっていないと判断した場合、本フローチャートにおける処理をＳ１２０４からＳ１２０３へ進める。

Ｓ１２０６において、ＣＰＵ２０１は、トリミング位置変更フラグを１にし、本フローチャートにおける処理をＳ１２０６からＳ１２０７へ進める。

Ｓ１２０７において、ＣＰＵ２０１は、トリミングカウンタを０にし、本フローチャートにおける処理をＳ１２０７からＳ１２０８へ進める。

Ｓ１２０８において、ＣＰＵ２０１は、トリミングカウンタの値に応じてトリミング位置を決め、本フローチャートにおける処理をＳ１２０８からＳ１２０９へ進める。トリミング位置は、トリミングカウンタの値に応じて、図９の副画像９１３や９１４のように、主画面を基準とした位置で考えた時のタイル位置αの中央部からタイル位置βの中央部に徐々に変わるようにする。トリミングカウンタの値に応じたトリミング位置は、フレームレートや主被写体の移動速度に応じて可変としてもよい。

Ｓ１２０９において、ＣＰＵ２０１は、トリミングカウンタをインクリメントし、本フローチャートにおける処理をＳ１２０９からＳ１２１０へ進める。

Ｓ１２１０において、ＣＰＵ２０１は、トリミングカウンタの値が閾値以上か否かを判断する。ＣＰＵ２０１は、トリミングカウンタの値が閾値以上であると判断した場合、本フローチャートにおける処理をＳ１２１０からＳ１２１１へ進める。また、ＣＰＵ２０１は、トリミングカウンタの値が閾値未満であると判断した場合、本フローチャートにおける処理をＳ１２１０で終了する。

Ｓ１２１１において、ＣＰＵ２０１は、トリミング位置変更フラグを０にし、本フローチャートにおける処理をＳ１２１１で終了する。

以上説明したように本第２の実施形態によれば、第１の実施形態と比較して、主画像内の副画像をより自然な動画像として再生できるようになる。

（他の実施形態）
本発明に係る符号化装置１００は、本実施形態で説明した符号化装置１００に限定されるものではない。また、本発明に係る復号装置２００も本実施形態で説明した復号装置２００に限定されるものではない。例えば、本発明に係る符号化装置１００及び復号装置２００は、複数の装置から構成されるシステムにより実現することも可能である。

また、本実施形態で説明した様々な処理及び機能は、コンピュータプログラムにより実現することも可能である。この場合、本発明に係るコンピュータプログラムは、コンピュータ（ＣＰＵ等を含む）で実行可能であり、本実施形態で説明した様々な機能を実現することになる。

本発明に係るコンピュータプログラムは、コンピュータ上で稼動しているＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）などを利用して、本実施形態で説明した様々な処理及び機能を実現してもよいことは言うまでもない。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…符号化装置、１０１…ＣＰＵ、１０２…メモリ、１０３…不揮発性メモリ、１０４…操作部、１１１…レンズ、１１２…撮像部、１１３…画像処理部、１１４…符号化処理部、１１５…表示制御部、１１６…表示部、１１７…通信制御部、１１８…通信部、１１９…記録媒体制御部、１２０…記録媒体、１３０…内部バス、２００…復号装置、２０１…ＣＰＵ、２０２…メモリ、２０３…不揮発性メモリ、２０４…操作部、２１０…通信制御部、２１１…通信部、２１２…復号処理部、２１３…記録媒体制御部、２１４…記録媒体、２１５…表示制御部、２２０…内部バス、３００…表示装置、３０１…画面分割部、３０２…予測符号化方法決定部、３０３…予測符号化処理部、３０５…直交変換量子化部、３０６…局所復号部、３０７…符号量制御部、３０８…エントロピー符号化部、３０９…多重化処理部

Claims (19)

1. 動画像を符号化する符号化装置であって、
   符号化しようとする着目フレームから、主被写体を含み、予め設定されたサイズの副画像の領域の位置を決定する決定手段と、
   該決定手段で決定した前記副画像の領域の境界に基づき前記着目フレームを複数の領域に分割する分割手段と、
   該分割手段で分割して得た各領域の画像を符号化する符号化手段と、
   前記符号化手段で得た符号化データと、前記着目フレームにおける前記副画像の領域の位置、並びに、前記副画像の符号化データの格納アドレスを示す付加情報とから前記着目フレームの符号化データを生成する生成手段と
   を有することを特徴とする符号化装置。
2. 前記決定手段は、符号化しようとするフレームが予め設定された種類のフレームの場合に前記副画像の領域の位置を決定し、
   前記符号化手段は、符号化しようとするフレームが前記予め設定された種類とは異なるフレームの場合には、前記副画像の領域の位置が前のフレームと同じであるとして符号化を行う
   ことを特徴とする請求項１に記載の符号化装置。
3. 前記決定手段は、
   （１）前記着目フレームにおける主被写体が、前回の主被写体の位置から移動していない場合は、前記副画像の領域の位置を変更せず、
   （２）前記着目フレームにおける主被写体が、前回の主被写体の位置から移動し、当該移動量が予め設定された閾値以下の場合には前記着目フレームにおける主被写体の位置に基づいて前記副画像の領域の位置を決定し、
   （３）前記着目フレームにおける主被写体が、前回の主被写体の位置から移動し、当該移動量が前記閾値を超える場合には、前記前回の主被写体の位置から前記着目フレームの主被写体の位置に向かう予め設定された位置に前記副画像の領域を移動する
   ことを特徴とする請求項２に記載の符号化装置。
4. 前記決定手段は、符号化しようとするフレームがＩピクチャ、又は、Ｉピクチャ及びＩピクチャを参照するピクチャである場合に前記副画像の領域を決定する
   ことを特徴とする請求項２に記載の符号化装置。
5. 前記主被写体の特徴を設定する設定手段と、
   符号化しようとするフレーム内に、前記設定手段で設定した前記主被写体の特徴を有する主被写体の領域を検出する検出手段とを有し、
   前記決定手段は、前記主被写体の領域のサイズが前記副画像のサイズ以下の場合、前記副画像の領域を決定する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の符号化装置。
6. 前記決定手段は、前記主被写体の領域のサイズが前記副画像のサイズよりも大きい場合、前記着目フレームを前記複数の領域への分割を行わず、前記着目フレームを１つの領域として決定することを特徴とする請求項５に記載の符号化装置。
7. 前記設定手段は、表示手段に表示される動画像にてユーザが選択したオブジェクトを前記主被写体として決定し、当該決定した主被写体の特徴を抽出する手段を含む
   ことを特徴とする請求項５に記載の符号化装置。
8. 前記副画像の領域のサイズを設定する第２の設定手段を有することを特徴とする請求項１乃至７のいずれか１項に記載の符号化装置。
9. 前記符号化手段は、前記副画像の領域を符号化する際に第１の量子化パラメータを用いて符号化し、前記副画像の領域を除く領域を符号化する際には前記第１の量子化パラメータより大きい第２の量子化パラメータを用いて符号化する
   ことを特徴とする請求項１乃至８のいずれか１項に記載の符号化装置。
10. 前記副画像の領域の符号化データの別ファイルを生成することを指定する指定手段を更に有し、
    前記生成手段は、前記指定手段により別ファイルとして生成することが指定された場合、符号化しようとするフレームから得た符号化データを表すファイルと、前記副画像の領域から得た符号化データを表すファイルとを生成する
    ことを特徴とする請求項１乃至９に記載の符号化装置。
11. 符号化対象となる画像を撮像する撮像手段を更に有することを特徴とする符号化装置。
12. 動画像の符号化データを復号する復号装置であって、
    着目フレームの符号化データの付加情報を解析することで、当該着目フレームに副画像の領域があるか否かを判定する判定手段と、
    該判定手段で前記副画像の領域があると判定した場合、前記着目フレームの符号化データから、前記付加情報に含まれる情報に基づき、前記副画像の符号化データを抽出し、復号する復号手段と、
    該復号手段で得た前記副画像を表す画像データを表示装置に出力する出力手段と
    を有することを特徴とする復号装置。
13. 前記付加情報は、符号化データのストリームにおけるシンタックス情報又はファイルのコンテナ情報であることを特徴とする請求項１２に記載の復号装置。
14. 前記判定手段により前記着目フレームに副画像の領域が無いと判定された場合、前記復号手段に前記着目フレームの画像を復号させ、復号して得た画像を前記副画像のサイズにリサイズし、前記出力手段に出力させる制御手段を更に有することを特徴とする請求項１２又は１３に記載の復号装置。
15. 前記付加情報を解析することで、前記副画像の領域の位置を表す情報を抽出する抽出手段と、
    前記着目フレームより前のフレームにおける前記副画像の領域を示す位置と、前記着目フレームに含まれる前記副画像の領域を示す位置とに基づき、前記復号手段で得た前記副画像におけるトリミングする領域を決定し、決定した領域をトリミングするトリミング手段とを更に有し、
    前記出力手段は前記トリミング手段によるトリミングした後の副画像を表す画像データを出力することを特徴とする請求項１２乃至１５のいずれか１項に記載の復号装置。
16. 前記トリミング手段は、前回のトリミングした領域の位置に対し、前記着目フレーム内の副画像に対するトリミングする領域の位置が予め設定された閾値以下となるようにトリミングを行うことを特徴とする請求項１５に記載の復号装置。
17. 動画像を符号化する符号化装置の制御方法であって、
    符号化しようとする着目フレームから、主被写体を含み、予め設定されたサイズの副画像の領域の位置を決定する決定工程と、
    該決定工程で決定した前記副画像の領域の境界に基づき前記着目フレームを複数の領域に分割する分割工程と、
    該分割工程で分割して得た各領域の画像を符号化する符号化工程と、
    前記符号化工程で得た符号化データと、前記着目フレームにおける前記副画像の領域の位置、並びに、前記副画像の符号化データの格納アドレスを示す付加情報とから前記着目フレームの符号化データを生成する生成工程と
    を有することを特徴とする符号化装置の制御方法
18. 動画像の符号化データを復号する復号装置の制御方法であって、
    着目フレームの符号化データの付加情報を解析することで、当該着目フレームに副画像の領域があるか否かを判定する判定工程と、
    該判定工程で前記副画像の領域があると判定した場合、前記着目フレームの符号化データから、前記付加情報に含まれる情報に基づき、前記副画像の符号化データを抽出し、復号する復号工程と、
    該復号工程で得た前記副画像を表す画像データを表示装置に出力する出力工程と
    を有することを特徴とする復号装置の制御方法。
19. コンピュータが読み込み実行することで、前記コンピュータに、請求項１７又は１８に記載の方法の各工程を実行させるためのプログラム。

Images