JP2018019194A - 動画生成方法、動画生成装置 - Google Patents

Abstract

【課題】フィルタ処理を用いて行う符号化処理における符号化効率を改善する動画生成方法、動画生成装置を提供する。
【解決手段】動画生成方法、動画生成装置は、処理対象となるフレーム画像の少なくとも一部の領域にフィルタ処理を行うか否かを判定する。そして、処理対象となるフレーム画像の前のフレーム画像における、処理対象となるフレーム画像の少なくとも一部の領域に対応する領域にフィルタ処理を行っておらず、かつ、処理対象となるフレーム画像の少なくとも一部の領域にフィルタ処理を行うと判定した場合は、処理対象となるフレーム画像の後に引き続くＩフレームまでのフレーム数が所定値以上であるか否かを判定する。そして、前記Ｉフレームまでのフレーム数が所定値以上の場合に、前記フレーム画像の少なくとも一部の領域にフィルタ処理を行う。
【選択図】図４

Description

本開示は、動画生成方法、および動画生成装置に関する。

特許文献１は、動きベクトル“ＭＶ”の大きさと、差分値“ＤＩＦＦ”とに基づき、各領域が動き領域か、静止領域かを判定し、人物部分など、動いている部分を動き領域と判定して、平滑化処理をスキップし、ＤＣＴ処理、量子化処理などの符号化処理を行い、また背景部分など、動いていない部分を静止領域と判定して、平滑化フィルタ処理を行った後、ＤＣＴ処理、量子化処理などの符号化処理を行う。

特開２００５−２９５２１５号公報

本開示は、フィルタ処理を用いて行う符号化処理における符号化効率を改善する。

本開示における動画生成方法、動画生成装置は、フレーム間予測を用いずに符号化されるフレーム画像であるＩフレーム画像と、フレーム間予測を用いて符号化されるフレーム画像と、を含む動画を少なくとも１つのプロセッサを用いて生成する動画生成方法である。そして、前記プロセッサは、処理対象となるフレーム画像の少なくとも一部の領域にフィルタ処理を行うか否かを判定する。そして、処理対象となるフレーム画像の前のフレーム画像における、前記処理対象となるフレーム画像の少なくとも一部の領域に対応する領域にフィルタ処理を行っておらず、かつ、処理対象となるフレーム画像の少なくとも一部の領域にフィルタ処理を行うと判定した場合は、前記処理対象となるフレーム画像の後に引き続くＩフレームまでのフレーム数が所定値以上であるか否かを判定する。そして、前記Ｉフレームまでのフレーム数が所定値以上の場合に、前記フレーム画像の少なくとも一部の領域にフィルタ処理を行う。

本開示における動画生成方法、動画生成装置によれば、フィルタ処理を用いて行う符号化処理における符号化効率を改善することができる。

図１は、実施の形態１における動画伝送システムの概念図である。 図２は、実施の形態１における動画生成装置のブロック図である。 図３は、実施の形態１における動画再生装置のブロック図である。 図４は、実施の形態１における動画生成処理を示すフローチャートである。 図５は、実施の形態１における動画生成処理におけるフィルタ処理を説明する図である。 図６は、実施の形態１における動画生成処理におけるフィルタ処理を説明する図である。 図７は、実施の形態１における動画生成処理におけるフィルタ処理を説明する図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
以下、図１〜７を用いて、実施の形態１を説明する。

［１−１．構成］
図１は、実施の形態１における動画伝送システムの概念図である。

動画伝送システム１００は動画生成装置１１０と動画再生装置１２０を有する。

動画生成装置１１０は動画を生成する。動画生成装置１１０の一例は、入力部によって撮影された動画を符号化するカメラ、または記憶部に記録された符号化前の画像を符号化する編集用コンピュータなどである。

動画再生装置１２０は動画生成装置１１０の生成した動画を再生する。動画再生装置１２０の一例は、デコード機能を有するプロセッサを搭載した、テレビやパソコンなどである。

動画生成装置１１０で生成された動画は通信路１３０を経由して動画再生装置へ送られる。

通信路１３０の伝送容量には限界がある。通信路１３０の伝送容量をオーバーしないためには、動画生成装置１１０で生成される動画のデータ量を削減する必要がある。本実施の形態において動画生成装置１１０は、動画のデータ量を削減するために動画生成における符号化効率を改善する。

図２は、実施の形態１における動画生成装置のブロック図である。

動画生成装置１１０はプロセッサ２０１と記憶部２０２と入力部２０３と出力部２０４と通信部２０５とバス２０６を有する。

プロセッサ２０１はバス２０６を介して動画生成装置１１０の他の要素を制御する。一例として汎用ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いることで、プロセッサ２０１を構成することができる。また、プロセッサ２０１は所定のプログラムを実行することができる。プロセッサ２０１が所定のプログラムを実行することで符号化済み動画の生成を行うことができる。

記憶部２０２は他の要素から様々な情報を取得し一時的、あるいは恒久的にその情報を保持する。記憶部２０２はいわゆる一次記憶装置と二次記憶装置の総称であり、記憶部２０２は物理的に複数配置されても良い。記憶部２０２の構成には例えばＤＲＡＭ（Ｄｉｒｅｃｔ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）が用いられる。

入力部２０３は外部からの情報を受け付ける。入力部２０３が受け付ける外部からの情報には動画生成装置１１０の操作者からの入力に関する情報や、符号化前の動画を構成する情報、符号化後の動画を構成する情報などが含まれる。一例として既存の入出力インターフェースを用いることで入力部２０３を構成することができる。

出力部２０４は外部へ情報を提示する。出力部が提示する情報には符号化前の動画を構成する情報、符号化後の動画を構成する情報などが含まれる。一例として既存の入出力インターフェースを用いることで出力部２０４を構成することができる。

通信部２０５は通信路１３０を介して外部の機器と通信を行う。通信部２０５が通信する機器には動画再生装置１２０が含まれる。一例として既存の通信インターフェースを用いることで通信部２０５を構成することができる。

以上に挙げられた動画生成装置１１０の構成は一例である。動画生成装置１１０の各構成要素の一部を統合して構成することもできる。動画生成装置１１０の各構成要素の一部を複数の要素に分割して構成することもできる。動画生成装置１１０の各構成要素の一部を省略することもできる。動画生成装置１１０に他の要素を付加して構成することもできる。

本実施の形態においては、少なくとも１つのプロセッサが動画を生成すればよい。つまり、複数の動画生成装置１１０が協働して動画を生成してもよい。

図３は、実施の形態１における動画再生装置のブロック図である。

動画再生装置１２０はプロセッサ３０１と記憶部３０２と入力部３０３と出力部３０４と通信部３０５とバス３０６を有する。

プロセッサ３０１はバス３０６を介して動画再生装置１２０の他の要素を制御する。一例として汎用ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いることで、プロセッサ３０１を構成することができる。また、プロセッサ３０１は所定のプログラムを実行することができる。プロセッサ３０１が所定のプログラムを実行することで符号化済み動画の再生を行うことができる。

記憶部３０２は他の要素から様々な情報を取得し一時的、あるいは恒久的にその情報を保持する。記憶部３０２はいわゆる一次記憶装置と二次記憶装置の総称であり、記憶部３０２は物理的に複数配置されても良い。記憶部３０２の構成には例えばＤＲＡＭ（Ｄｉｒｅｃｔ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）が用いられる。

入力部３０３は外部からの情報を受け付ける。入力部３０３が受け付ける外部からの情報には動画再生装置１２０の操作者からの入力に関する情報が含まれる。一例として既存の入出力インターフェースを用いることで入力部３０３を構成することができる。

出力部３０４は外部へ情報を提示する。出力部が提示する情報には符号化後の動画を構成する情報、改ざん検出の結果を報知する情報などが含まれる。一例として既存の入出力インターフェースを用いることで出力部３０４を構成することができる。

通信部３０５は通信路１３０を介して外部の機器と通信を行う。通信部３０５が通信する機器には動画再生装置１２０が含まれる。一例として既存の通信インターフェースを用いることで通信部３０５を構成することができる。

以上に挙げられた動画再生装置１２０の構成は一例である。動画再生装置１２０の各構成要素の一部を統合して構成することもできる。動画再生装置１２０の各構成要素の一部を複数の要素に分割して構成することもできる。動画生成装置１１０の各構成要素の一部を省略することもできる。動画生成装置１１０に他の要素を付加して構成することもできる。

本実施の形態においては、少なくとも１つのプロセッサが動画を生成すればよい。つまり、複数の動画生成装置１１０が協働して動画を生成してもよい。

なお、通信路１３０は有線と無線のどちらで構成しても良い。

［１−２．動作］
図４は、実施の形態１における動画生成処理を示すフローチャートである。

本実施の形態において動画生成処理は主として動画生成装置１１０のプロセッサ２０１によって行われる。

ステップＳ４００において、プロセッサ２０１は動画生成処理を開始する。動画生成処理とは符号化されていない動画を符号化する処理を含む。プロセッサ２０１は動画生成処理を開始すると記憶部２０２から、記憶部２０２に記録されている動画を構成する画像を読み出す。この画像をカウントする単位をフレームという。読み出された画像は以降の処理においてフレーム画像と呼ばれる。本実施の形態においては、記憶部２０２に記録されている動画は未だ符号化されていないものとする。プロセッサが動画生成処理を開始するタイミングは動画生成装置１１０の使用者が行った入力部２０３に対する動画生成処理命令に従って行っても良いし、入力部２０３が外部から符号化前の動画を取得する度に行っても良い。

ステップＳ４０１において、プロセッサ２０１はステップＳ４００で読み出した画像（処理対象となるフレーム画像）の処理対象ブロックが注目領域ブロックであるか否かを判定する。本実施の形態において、プロセッサ２０１は、フレーム画像をブロックと呼ばれる複数の領域に区分して処理を行う。プロセッサ２０１は区分されたブロックを順に処理する。プロセッサ２０１の処理の対象となるブロックを処理対象ブロックと呼ぶ。注目領域ブロックとはブロックのうちで特別なフラグが立てられた領域のことである。注目領域ブロックはＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域とも呼ばれる。一般に注目領域ブロックは動画を閲覧する人物の関心の高い画像中の領域（＝注目領域）を占めるブロックの群によって構成される。注目領域の定め方は（１）画像の中心部の領域（２）画像に対して注目物体（人・顔・特定物・動体・所定パターン等）の検出処理を行い検出された場合はその領域とすることが考えられる。注目領域ブロックは、注目領域の一部あるいは全部を占めるように定められる。具体的には画像中の注目領域の座標群（ｘ、ｙ）が記憶部２０２に記録されており、プロセッサ２０１は処理対象ブロックの占める座標群と注目領域の座標群とを比較することで処理対象ブロックが注目領域ブロックであるか否かを判定する。なお注目領域は画像中において複数定められても良い。また、注目領域ブロックが他のブロックに比べて多くの符号量が割り振られて符号化されるブロックである場合には、本開示の符号化効率低減化の効果がより大きい為、本開示の適用が好適である。

注目領域ブロックは動画を閲覧する人物の関心が高い領域に存在するブロックである。そのため本実施の形態においては、動画を鮮明に表現するために注目領域ブロックの占める領域には平滑化フィルタなどのフィルタ処理を行わない。このことから、本実施の形態におけるステップＳ４０１の処理は、処理対象となるフレーム画像の少なくとも一部の領域にフィルタ処理を行うか否かを判定する処理ともいえる。

ステップＳ４０２（ステップＳ４０１でＹｅｓ）において、プロセッサ２０１は、ステップＳ４０１での判定の対象になった処理対象ブロックの占める領域に対してフィルタ処理を行わない旨の情報を記憶部２０２に記録する。

ステップＳ４０３（ステップＳ４０１でＮｏ）において、プロセッサ２０１は、ステップＳ４０１での判定の対象になった処理対象ブロックの占める領域にそれまでフィルタ処理が行われていたか否かを判定する。具体的にはプロセッサ２０１は、記憶部２０２を参照し、処理対象ブロックの占める領域に対してフィルタ処理を行う旨の情報が記録されているのかあるいは、処理対象ブロックの占める領域に対してフィルタ処理を行わない旨の情報が記録されているのかを判定する。記憶部２０２に処理対象ブロックの占める領域に対してフィルタ処理を行う旨の情報が記録されている場合、プロセッサ２０１の行う処理がステップＳ４０６へ進む。記憶部２０２に処理対象ブロックの占める領域に対してフィルタ処理を行わない旨の情報が記録されている場合、あるいは、フィルタ処理についての情報が記録されていない場合（初回の処理など）は、プロセッサ２０１の行う処理がステップＳ４０４へ進む。本実施の形態における、ステップＳ４０３の処理は、処理対象となるフレーム画像の前のフレーム画像における、処理対象となるフレーム画像の少なくとも一部の領域に対応する領域にフィルタ処理を行っていなかったか否かを判定する処理ともいえる。

ステップＳ４０４（ステップＳ４０３でＮｏ）において、プロセッサ２０１は、処理対象ブロックの属するフレーム画像の後に引き続くＩフレーム画像までのフレーム数が所定値の閾値以上であるか否かを判定する。Ｉフレーム画像とは符号化された動画を構成する画像の種類である。動画を符号化する際には、符号化の対象となるフレーム画像の前後のフレーム画像の情報が参照されることがある。前後のフレーム画像の情報を参照することをフレーム間予測という。フレーム間予測を用いて符号化されたフレーム画像をＢフレームあるいはＰフレーム等と呼ぶ。フレーム間予測を用いずに符号化されたフレーム画像をＩフレーム等と呼ぶ。なお、フレームの呼び名は符号化の方式に依存する。「後に引き続くＩフレーム画像」とは「処理対象ブロックの属するフレーム画像を基準に時系列的に後の画像であって、当該画像が符号化された場合にＩフレーム画像として符号化される画像」と言い換えることができる。プロセッサ２０１は処理対象ブロックの属するフレーム画像が、動画生成処理における何フレーム目の画像であるかを記憶部２０２から読み出す。符号化の方式において、何フレーム目の画像をＩフレームとするかは既定されている。よって、プロセッサ２０１は処理対象ブロックの属するフレーム画像が、動画生成処理における何フレーム目の画像であるかに基づいて、処理対象ブロックの属するフレーム画像の後に引き続くＩフレーム画像までのフレーム数を算出することができる。なお、処理対象ブロックの属するフレーム画像自体がＩフレーム画像として符号化される画像である場合は処理がステップＳ４０６へ進む。

ステップＳ４０５（ステップＳ４０４においてＹｅｓ）において、プロセッサ２０１は、処理対象ブロックにフィルタ処理を行う。また、ステップＳ４０５において、プロセッサ２０１は処理対象ブロックの占める領域に対してフィルタ処理を行う旨の情報を記憶部２０２に記録する。ここでのフィルタ処理は符号化処理における符号化量を削減する効果のあるものであればよく、一例としては平滑化フィルタが挙げられる。平滑化フィルタを用いることで画像を構成する画素の値（輝度、色）が、周囲の画素の値に従って平滑化される。フレーム間予測を用いて符号化を行う際に、参照関係にある画像がそれぞれ平滑化されていると、符号化量を削減することができる。なぜならば、参照関係にある画像同士が平滑化されていると、画像間における同じ座標の画素の値同士の差分が小さくなるからである（前後の画像における画素の値の差分が小さくなると符号化量を削減することができる）。

なお、処理対象ブロックの属するフレーム画像の後に引き続くＩフレーム画像までのフレーム数が所定値の閾値の場合（ステップＳ４０４でＮｏ）処理がステップＳ４０６に進む。この場合処理対象ブロックにフィルタ処理は行われないままである。

本開示においては、ステップＳ４０４の処理を行ったことにより、Ｉフレーム画像に近いフレーム画像においては、それまでにフィルタ処理が行われていない領域には新たにフィルタ処理を行わないことになる。本開示の発明者らは、それまでにフィルタ処理が行われていない領域に新たにフィルタ処理を行うと短期的に符号化量が増加することに着目した。参照関係にある画像の一部の画像のみが平滑化されていると、画像間における同じ座標の画素同士の値の差分が大きくなる。当該差分の影響は後の符号化に及ぶ。よって、フィルタ処理を行ってからしばらくの間は短期的に符号化量が増加することになる。短期的に符号化量が増加しても、その後の画像が引き続いてフィルタ処理されるのであれば、長期的に符号化量は減少する。一般にフィルタ処理がされていない画像同士を参照して行う符号化処理に要する符号化量は、フィルタ処理がされている画像同士を参照して行う符号化処理に要する符号化量よりも大きいからである。しかし、Ｉフレーム画像においてはフィルタ処理を行わない。よって、Ｉフレーム画像の近くにおいてフィルタ処理を行うと長期的な符号化量の減少が見込めない。そこで、本開示においては、フィルタ処理を行わないＩフレーム画像までの画像の枚数を閾値と比較し、閾値以上の場合はフィルタ処理を行い、閾値より少ない場合はフィルタ処理を行わないことで、符号化量を削減することとした。

ステップＳ４０６において、プロセッサ２０１は処理対象ブロックを符号化規則に従って符号化する。符号化規則の一例としてはＨ．２６５などが挙げられる。本開示に用いられる符号化規則はフレーム間予測を用いる符号化規則であればよい。

ステップＳ４０７において、プロセッサ２０１はフレーム画像中に未処理のブロックがあるか否かを判定する。未処理のブロックがある場合（ステップＳ４０７でＹｅｓ）、プロセッサ２０１は処理対象ブロックを当該未処理のブロックに変更した上でステップＳ４０１の処理に戻る。

ステップＳ４０８（ステップＳ４０７でＮｏ）において、プロセッサ２０１は記憶部２０２に記録された動画に処理対象ブロックの属するフレーム画像以外のフレーム画像があるか否かを判定する。記憶部２０２に記録された動画に処理対象ブロックの属するフレーム画像以外のフレーム画像がある場合（ステップＳ４０８でＹｅｓ）、プロセッサ２０１は処理対象ブロックを当該フレーム画像中のブロックに変更した上でステップＳ４０１の処理に戻る。

ステップＳ４０９において、プロセッサ２０１は動画生成処理を終了する。

図５ないし図７は実施の形態１における動画生成処理におけるフィルタ処理を説明する図である。図５ないし図７を用いて図４で説明した動画生成処理を視覚的に説明する。

図５に示すように、図４におけるステップＳ４０１からステップＳ４０８の処理が終了することで、Ｎ番目のフレーム画像５０１が得られたものと仮定する。図５においてフレーム画像５０１はブロックの概念がわかりやすいようにブロック単位で分割されている。図５においてハッチングされているブロックはフィルタ処理が行われていないブロックである。図５においてハッチングされていないブロックはフィルタ処理が行われているブロックである。図５において太線で囲まれているブロック群は注目領域ブロックである。図５において、Ｎ番目のフレーム画像５０１の注目領域にはフィルタ処理が行われていない。

図６を用いてＮ番目のフレーム画像５０１の次のフレーム画像であるＮ＋１番目のフレーム画像が、次のＩフレーム画像までのフレーム数＜閾値（ステップＳ４０４でＮｏ）であって、かつ、注目領域ブロックが右方向に動いた場合を説明する。

図６に示すように、Ｎ＋１番目のフレーム画像６０１においてブロック６０２（およびブロック６０２より下の３つのブロック）はＮ番目のフレーム画像５０１においてフィルタ処理が行われていなかった（ステップＳ４０３でＮｏ）。図６においてステップＳ４０４はＮｏの為、ブロック６０２に対してはフィルタ処理が引き続き行われない。

図７を用いてＮ番目のフレーム画像５０１の次のフレーム画像であるＮ＋１番目のフレーム画像が、次のＩフレーム画像までのフレーム数≧閾値（ステップＳ４０４でＹｅｓ）であって、かつ、注目領域ブロックが右方向に動いた場合を説明する。

図７に示すように、Ｎ＋１番目のフレーム画像７０１においてブロック７０２（およびブロック７０２より下の３つのブロック）はＮ番目のフレーム画像５０１においてフィルタ処理が行われていなかった（ステップＳ４０３でＮｏ）。図６においてステップＳ４０４はＹｅｓの為、ブロック７０２に対してはフィルタ処理が行われる。

（実験例）
実施の形態で説明した動画生成装置１１０を用いて行った実験結果を記載する。

本実験における動画はコンビニエンスストアの店舗内の監視カメラ映像である。本実験における動画の符号化方式はＨ．２６４である。本実験における動画の解像度は１９８０×１０８０ピクセル（フルＨＤ）である。本実験における動画のフレームレートは３０枚／秒である。本実験における動画の量子化パラメータ（ＱＰ（Ｑｕａｎｔｉｚｅｒ Ｐａｒａｍｅｔｅｒ）は３０である。本実験における動画のＧＯＰ構成はＩＰＰＰである。本実験における動画のＧＯＰの数は３０フレームである（Ｉフレーム１枚に対して引き続くＰフレームが２９枚）。フィルタの種類はガウシアンフィルタでありσ＝１．５である。フィルタのサイズは５ピクセル×５ピクセルである。以上のパラメータは監視カメラ映像パラメータとして一般的である。

本実験によれば（１）全ての領域にフィルタ処理がされていない画像を参照画像として、全ての領域にフィルタ処理がされていない画像を符号化した画像の平均符号量は５８９３６バイトであった（２）全ての領域にフィルタ処理がされている画像を参照画像として、全ての領域にフィルタ処理がされている画像を符号化した画像の平均符号量は５２６８８バイトであった（３）全ての領域にフィルタ処理がされていない画像を参照画像として、全ての領域にフィルタ処理がされている画像を符号化した画像の平均符号量は１８９１８４バイトであった。

つまり、全ての領域にフィルタ処理がされていない処理対象画像の次の画像の全ての領域にフィルタ処理を行うことで短期的に生じる符号化量のコストは（３）−（１）から１３０２４８バイト（４）である。しかし、その後は１回符号化を行うにつき（２）−（１）から６２４８バイト（５）の符号化量削減効果が得られる。とすると、符号化量削減効果が短期的に生じる符号化量のコストを上回るためには（４）／（５）より２０．８フレーム（＝２１フレーム）を要する。

よって、本実験からはＳ４０４における閾値は２１とすることが好ましいとの結果が得られた。

ＲＯＩの変動は頻繁に生じる。よって、処理対象ブロックの属するフレーム画像の後に引き続くＩフレーム画像までのフレーム数が２１を超えることも頻繁に生じる。

以上より本開示は動画生成時の符号化量の低減に対して優れた効果を有することがわかった。

［１−３．効果等］
以上のように本実施の形態において、動画生成装置１１０および動画生成装置１１０が実行する動画生成方法は、フレーム間予測を用いずに符号化されるフレーム画像であるＩフレーム画像と、フレーム間予測を用いて符号化されるフレーム画像と、を含む動画を少なくとも１つのプロセッサを用いて生成する動画生成方法である。そして、前記プロセッサは、処理対象となるフレーム画像の少なくとも一部の領域にフィルタ処理を行うか否かを判定する（ステップＳ４０１）。そして、処理対象となるフレーム画像の前のフレーム画像における、前記処理対象となるフレーム画像の少なくとも一部の領域に対応する領域にフィルタ処理を行っておらず、かつ、処理対象となるフレーム画像の少なくとも一部の領域にフィルタ処理を行うと判定した場合は、前記処理対象となるフレーム画像の後に引き続くＩフレームまでのフレーム数が所定値以上であるか否かを判定する（ステップＳ４０４）。そして、前記Ｉフレームまでのフレーム数が所定値以上の場合に、前記フレーム画像の少なくとも一部の領域にフィルタ処理を行う（ステップＳ４０５）。

これにより、上述したように、それまでにフィルタ処理が行われていない領域に新たにフィルタ処理を行うと短期的に符号化量が増加する影響を考慮してフィルタ処理の要否を決定することができる。よって、フィルタ処理を用いて行う符号化処理における符号化効率を改善することができる。

また、本実施の形態において、前記処理対象となるフレーム画像の少なくとも一部の領域は、他の領域に比べて多くの符号化量が割り当てられて符号化される領域である。

これにより、それまでにフィルタ処理が行われていない領域に新たにフィルタ処理を行うと短期的に符号化量が増加する影響がより深刻な領域について、当該影響を考慮してフィルタ処理の要否を決定することができる。よって、フィルタ処理を用いて行う符号化処理における符号化効率をより改善することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、動画を生成するカメラ、映像編集機器などに適用可能である。

１００ 動画伝送システム
１１０ 動画生成装置
１２０ 動画再生装置
１３０ 通信路
２０１ プロセッサ
２０２ 記憶部
２０３ 入力部
２０４ 出力部
２０５ 通信部
２０６ バス
３０１ プロセッサ
３０２ 記憶部
３０３ 入力部
３０４ 出力部
３０５ 通信部
３０６ バス
５０１ フレーム画像
６０１ フレーム画像
６０２ ブロック
７０１ フレーム画像
７０２ ブロック

Claims (4)

1. フレーム間予測を用いずに符号化されるフレーム画像であるＩフレーム画像と、
   フレーム間予測を用いて符号化されるフレーム画像と、
   を含む動画を少なくとも１つのプロセッサを用いて生成する動画生成方法であって、
   前記プロセッサは、
   処理対象となるフレーム画像の少なくとも一部の領域にフィルタ処理を行うか否かを判定し、
   処理対象となるフレーム画像の前のフレーム画像における、前記処理対象となるフレーム画像の少なくとも一部の領域に対応する領域にフィルタ処理を行っておらず、かつ、処理対象となるフレーム画像の少なくとも一部の領域にフィルタ処理を行うと判定した場合は、前記処理対象となるフレーム画像の後に引き続くＩフレームまでのフレーム数が所定値以上であるか否かを判定し、
   前記Ｉフレームまでのフレーム数が所定値以上の場合に、
   前記フレーム画像の少なくとも一部の領域にフィルタ処理を行う、
   動画生成方法。
2. 前記処理対象となるフレーム画像の少なくとも一部の領域は、他の領域に比べて多くの符号化量が割り当てられて符号化される領域である、
   請求項１に記載の動画生成方法。
3. フレーム間予測を用いずに符号化されるフレーム画像であるＩフレーム画像と、
   フレーム間予測を用いて符号化されるフレーム画像と、
   を含む動画を少なくとも１つのプロセッサを用いて生成する動画生成装置であって、
   前記プロセッサは、
   処理対象となるフレーム画像の少なくとも一部の領域にフィルタ処理を行うか否かを判定し、
   処理対象となるフレーム画像の前のフレーム画像における、前記処理対象となるフレーム画像の少なくとも一部の領域に対応する領域にフィルタ処理を行っておらず、かつ、処理対象となるフレーム画像の少なくとも一部の領域にフィルタ処理を行うと判定した場合は、前記処理対象となるフレーム画像の後に引き続くＩフレームまでのフレーム数が所定値以上であるか否かを判定し、
   前記Ｉフレームまでのフレーム数が所定値以上の場合に、
   前記フレーム画像の少なくとも一部の領域にフィルタ処理を行う、
   動画生成装置。
4. 前記処理対象となるフレーム画像の少なくとも一部の領域は、他の領域に比べて多くの符号化量が割り当てられて符号化される領域である、
   請求項３に記載の動画生成装置。

Images