JP2021516504A - 符号化単位の符号化コストの決定方法並びにその装置、コンピュータ可読記憶媒体、端末、及びコンピュータプログラム - Google Patents

Abstract

本願は、符号化単位の符号化コストの決定方法及び装置を開示している。前記方法は、フレーム内予測モードで予測符号化を行う符号化単位を決定するステップと、符号化単位に対応する画素勾配情報を決定するステップであって、画素勾配情報には、画素勾配分散が含まれ、画素勾配分散が、符号化単位における少なくとも一部の画素の画像勾配の分散である、ステップと、画素勾配情報に基づいて、符号化単位に対して分割事前判定を行うステップと、符号化単位の分割事前判定の結果が「分割しない」である場合、第１符号化コストを符号化単位の第２符号化コストとして決定するステップであって、第２符号化コストが、符号化単位に対応する符号化ツリー単位の分割ポリシーの決定に用いられ、第１符号化コストが、符号化単位の現在のサイズを予測単位のサイズとして符号化単位を予測符号化することにより取得された符号化コストである、ステップと、を含む。

Description

本願は、２０１８年４月２日に中国特許庁に提出された、出願番号が第２０１８１０２８７５４８．７号であり、発明の名称が「符号化単位の符号化コストの決定方法及び関連装置」である中国特許出願に基づく優先権を主張し、その全ての内容は参照により本願に組み込まれる。

本願は、コンピュータ技術分野に関し、特に符号化単位の符号化コストの決定方法、装置、及びコンピュータ可読記憶媒体に関する。

高効率ビデオ符号化（ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）は、国際電気通信連合の電気通信標準化部門（ＩＴＵ−Ｔ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｕｎｉｏｎ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ）及び国際標準化機構（ＩＳＯ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ Ｏｒｇａｎｉｚｅｄ）が共同で策定した次世代高効率ビデオ符号化標準である。ＨＥＶＣは、Ｈ．２６５とも呼ばれる。Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準に比べると、ＨＥＶＣでは、より多くの、より新しい、より柔軟な符号化技術が使用されている。同じビデオ品質条件下で、ＨＥＶＣは、符号化のビットレートをさらに低減させることができる。

ＨＥＶＣ標準では、Ｈ．２６４／ＡＶＣ標準におけるブロックに基づくビデオ圧縮符号化フレームワークが継続されている。Ｈ．２６４／ＡＶＣ標準で使用されるマクロブロック（ＭＢ：Ｍａｃｒｏｂｌｏｃｋ）に比べて、ＨＥＶＣ標準では、より柔軟なブロック構成が用いられる。Ｈ．２６４／ＡＶＣ標準では、ＭＢのサイズが一定であり、その一定のサイズが１６×１６画素であるが、ＨＥＶＣ標準では、符号化単位（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）は、ぞれぞれ、６４×６４画素、３２×３２画素、１６×１６画素、及び８×８画素である４種類のサイズであってもよい。ＨＥＶＣ標準では、ツリー構造の符号化単位アルゴリズムで符号化単位の具体的なサイズを決定することにより、１フレームの画像の分割を完了する。具体的には、まず、１フレームの画像を複数の符号化ツリー単位（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）に分割し、次に、各ＣＴＵに対して、再帰的走査方式を用いて、層ごとにＺ字状にＣＵを走査し、各ＣＵの符号化コストをそれぞれ決定し、各ＣＵの符号化コストに基づいて、該ＣＴＵの符号化に対応する符号化コストを最小にする分割ポリシーを決定し、該分割ポリシーに従ってＣＴＵの分割を決定し、ＣＵの分割を実現する。ツリー構造におけるいずれのＣＵに対しても、ＣＵの符号化コストを決定し、かつＣＵの分割の要否を決定するために、予測符号化、符号化コスト計算などの計算を行う必要があるので、該アルゴリズムは、大量の計算を行う必要があり、かかる時間が多く、符号化速度が低い。

本願は、ＣＵの分割を繰り上げて終了することにより、計算量を削減し、符号化の複雑さを低減し、符号化速度を向上させることができる符号化単位の符号化コストの決定方法及び関連装置を提供することを主な目的とする。

本願の実施態様の第１態様では、サーバが実行する、符号化単位の符号化コストの決定方法が提供されている。前記方法は、
フレーム内予測モードで予測符号化を行う符号化単位を決定するステップと、
前記符号化単位に対応する画素勾配情報を決定するステップであって、前記画素勾配情報には、画素勾配分散が含まれ、前記画素勾配分散が、符号化単位における少なくとも一部の画素の画像勾配の分散である、ステップと、
前記画素勾配情報に基づいて、前記符号化単位に対して分割事前判定を行うステップと、
前記符号化単位の分割事前判定の結果が「分割しない」である場合、第１符号化コストを前記符号化単位の第２符号化コストとして決定するステップであって、前記第２符号化コストが、前記符号化単位に対応する符号化ツリー単位の分割ポリシーの決定に用いられ、前記第１符号化コストが、前記符号化単位の現在のサイズを予測単位のサイズとして前記符号化単位を予測符号化することにより取得された符号化コストである、ステップと、を含んでもよい。

本願の実施態様の第２態様では、符号化単位の符号化コストの決定装置が提供されている。前記装置は、
フレーム内予測モードで予測符号化を行う符号化単位を決定する符号化単位決定モジュールと、
前記符号化単位に対応する画素勾配情報を決定し、前記画素勾配情報には、画素勾配分散が含まれ、前記画素勾配分散が、符号化単位における少なくとも一部の画素の画像勾配の分散である、勾配情報決定モジュールと、
前記画素勾配情報に基づいて、前記符号化単位に対して分割事前判定を行う事前判定モジュールと、
前記事前判定モジュールによる前記符号化単位の分割事前判定の結果が「分割しない」である場合、第１符号化コストを前記符号化単位の第２符号化コストとして決定し、前記第２符号化コストが、前記符号化単位に対応する符号化ツリー単位の分割ポリシーの決定に用いられ、前記第１符号化コストが、前記符号化単位の現在のサイズを予測単位のサイズとして前記符号化単位を予測符号化することにより取得された符号化コストである、コスト決定モジュールと、を含んでもよい。

上記の目的を達成するために、本願の実施態様の第３態様では、コンピュータ可読記憶媒体が提供されている。前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムは、プロセッサによって実行されると、本願の第１態様で提供された符号化単位の符号化コストの決定方法の各ステップを実現させる。

上記の目的を達成するために、本願の実施態様の第４態様では、端末機器が提供されている。前記端末機器は、メモリと、プロセッサと、前記メモリに記憶されて前記プロセッサで実行されるコンピュータプログラムと、を含み、前記プロセッサは、前記コンピュータプログラムを実行すると、本願の実施態様の第１態様で提供された符号化単位の符号化コストの決定方法の各ステップを実現する。

本願の実施態様では、符号化単位に対してフレーム内予測モードで予測符号化を行うと決定した後、該符号化単位の画素勾配情報を決定し、該符号化単位の画素勾配情報に基づいて、符号化単位に対して分割事前判定を行い、分割事前判定の結果が「分割しない」である場合、符号化単位の現在のサイズを予測単位のサイズとして符号化単位を予測符号化することにより取得された符号化コストを、符号化単位の最終的な符号化コストとして決定する。これにより、符号化単位の分割が必要でないと決定し、該符号化単位の分割を繰り上げて終了することができ、符号化単位をサブ符号化単位に分割してから、サブ符号化単位を新たな符号化単位として予測符号化を行って符号化コストを計算する計算過程が省かれ、計算量が削減され、符号化速度が向上する。

本願の実施形態の構成をより明確に説明するために、以下、実施形態に必要な図面を簡単的に紹介する。明らかなように、以下の説明における図面は本願のいくつかの実施形態を示しているにすぎず、当業者にとって、創造的な労働をせずに、これらの図面から他の図面を得ることもできる。

本願の実施形態で提供された１フレームの画像をいくつかのＣＴＵに分割する場合の例示的な模式図である。 本願の実施形態で提供されたＣＴＵの分割ポリシーの表現形式の例示的な模式図である。 本願の実施形態で提供されたＣＴＵの分割ポリシーの表現形式の例示的な模式図である。 完全な再帰的走査アルゴリズムでＣＴＵの分割ポリシーを決定するフローの模式図である。 完全な再帰的走査アルゴリズムでＣＴＵの分割ポリシーを決定するフローの模式図である。 完全な再帰的走査アルゴリズムでＣＴＵの分割ポリシーを決定するフローの模式図である。 完全な再帰的走査アルゴリズムでＣＴＵの分割ポリシーを決定するフローの模式図である。 完全な再帰的走査アルゴリズムでＣＴＵの分割ポリシーを決定するフローの模式図である。 本願の実施形態で提供されたＣＴＵの最終的な符号化コストに基づいて、ＣＴＵの分割方式を決定する例示的な模式図である。 本願の実施形態で提供された符号化単位の符号化コストの決定方法のフローの模式図である。 本願の実施形態で提供された符号化単位の符号化コストの決定方法のフローの模式図である。 本願の実施形態で提供されたＣＴＵの分割ポリシーを決定する過程の例示的な模式図である。 本願の実施形態で提供されたＣＴＵの分割ポリシーを決定する過程の例示的な模式図である。 本願の実施形態で提供されたＣＴＵの分割ポリシーを決定する過程の例示的な模式図である。 本願の実施形態で提供されたＣＴＵの分割ポリシーを決定する過程の例示的な模式図である。 本願の実施形態で提供されたＣＴＵの分割ポリシーを決定する過程の例示的な模式図である。 本願の実施形態で提供された符号化単位の符号化コストの決定方法のフローの模式図である。 本願の実施形態で提供された符号化単位の符号化コストの決定方法のフローの模式図である。 本願の実施形態で提供された符号化単位の符号化コストの決定方法のフローの模式図である。 本願の実施形態で提供された隣接符号化単位の例示的な模式図である。 本願の実施形態で提供された符号化単位の符号化コストの決定方法のフローの模式図である。 本願の実施形態で提供された符号化単位の符号化コストの決定装置の構成の模式図である。 本願の実施形態で提供された事前判定モジュールの構成の模式図である。 本願の実施形態で提供された符号化単位の符号化コストの決定装置の構成の模式図である。 本願の実施形態で提供された端末の構成の模式図である。

以下、本願の実施形態の図面を参照しながら、本願の実施形態の構成を明確かつ十分に説明するが、明らかなように、説明する実施形態は、本願の一部の実施形態にすぎず、全部の実施形態ではない。当業者が創造的な労働をせずに本願の実施形態から得る全ての他の実施形態は、本願の保護範囲に属する。

本願の実施形態の構成を紹介する前に、本願の実施形態の構成を理解しやすくするために、まず、ＨＥＶＣ標準において、本願の実施形態に関するいくつかの定義を紹介する。

１．ＣＴＵ。ＣＴＵとは、１フレームの画像を分割する際の基本単位である。１フレームの画像を符号化する前に、１フレームの画像を分割する必要がある。ここで、画像を分割する過程では、まず、画像をいくつかのＣＴＵに分割する。一般的に、ＣＴＵのサイズは、６４×６４画素である。任意選択的に、ＣＴＵのサイズは、３２×３２画素であってもよく、さらに、１６×１６画素又は８×８画素であってもよい。例えば、１つのＩフレームの画像の画素は、６４０×４８０画素であり、図１に示すように、このフレームの画像を７０個の６４×６４画素のＣＴＵに分割した後に、残っている画像が、６４×６４画素のＣＴＵに分割されるには不十分である場合、残っている画像を２０個の３２×３２画素のＣＴＵに分割する。

２．ＣＵ。ＣＵとは、ＨＥＶＣ標準における符号化単位であり、Ｈ．２６４／ＡＶＣ標準におけるＭＢの概念に類似する。ある１フレームの画像に対してビデオ符号化を行う際に、この１フレームの画像における各ＣＵを１つずつ符号化することにより、連続的なビデオビットストリームを形成する。ＣＵは、ＣＴＵの分割により取得され、ＣＵのサイズは、ＣＴＵのサイズ以下である。画像における各ＣＴＵの分割状況が決定されると、フレーム全体の画像の分割状況を決定することができる。

ＣＴＵに対応する分割ポリシーに従って、ＣＴＵを分割することにより、ＣＴＵにおけるＣＵの分割状況を決定することができる。ＣＴＵに対応する分割ポリシーは、ツリー構造で表すことができ、ツリー構造に従って、ＣＴＵのＣＵの分割状況を決定することができる。例えば、ＣＴＵの分割ポリシーは、図２Ａに示すように、ツリー構造で表され、ここで、ツリー構造における根ノードは、ＣＴＵを表し、ツリー構造における葉ノードは、ＣＴＵにおけるＣＵを表す。ツリー構造におけるノードの下に子ノードがある場合は、該ノードに対応するＣＵをさらに分割する必要があることを表し、ツリー構造におけるノードの下に子ノードがない場合は、該ノードをさらに分割する必要がないことを表す。図２Ａに示すツリー構造に従って決定されるＣＴＵにおけるＣＵの分割状況は、図２Ｂに示すとおりである。

ＣＴＵに対してフレーム内予測モードで予測符号化を行う場合、ＣＴＵの分割ポリシーは、完全な再帰的走査の符号化アルゴリズムで決定することができ、該アルゴリズムの模式図は、図３Ａ〜３Ｅに示すようなものであってもよく、ＣＴＵのサイズが６４×６４の画素である場合を例とする。

走査過程は、図３Ａ及び図３Ｂに示すようなものであってもよい。

まず、図３Ａに示すように、サイズが６４×６４画素のＣＴＵについて、ＣＴＵを４つの３２×３２画素のＣＵに分割して、ＣＴＵのサブＣＵとする。さらに、各３２×３２画素のＣＵを、４つの１６×１６画素のＣＵに分割して、３２×３２画素のＣＵのサブＣＵとする。さらに、各１６×１６画素のＣＵを、４つの８×８画素のＣＵに分割して、１６×１６画素のＣＵのサブＣＵとする。４層のＣＵにより、領域４分木（いかなる子ノードもない最後の１層を除いて、各層の全てのノードの下に４つの子ノードがある）が形成される。

領域４分木が形成されると、図３Ｂに示すように、６４×６４画素を予測単位（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）のサイズとして、ＣＴＵを予測符号化することにより、最適な予測モードを決定し、ＣＴＵの最適な予測モードでの符号化コスト（Ｃ１）を決定する。該符号化コストは、ＣＴＵの、ＰＵ分割方式が２Ｎ×２Ｎである場合での最小符号化コストである。３２×３２画素を予測単位のサイズとして、第２層の各ＣＵをそれぞれ予測符号化することにより、第２層の各ＣＵの最適な予測モードを決定し、第２層の各ＣＵの最適な予測モードでの符号化コスト（Ｃ２１、Ｃ２２、Ｃ２２、Ｃ２４）を決定し、該符号化コストが、第２層の各ＣＵの、ＰＵ分割方式が２Ｎ×２Ｎである場合での最小符号化コストである。１６×１６画素を予測単位のサイズとして、第３層の各ＣＵをそれぞれ予測符号化することにより、第３層の各ＣＵの最適な予測モードを決定し、第３層の各ＣＵの最適な予測モードでの符号化コスト（Ｃ３１、…、Ｃ３４；Ｃ３５、…、Ｃ３８；Ｃ３９、…、Ｃ３１２；Ｃ３１３、…、Ｃ３１６）を決定し、該符号化コストが、第３層の各ＣＵの、ＰＵ分割方式が２Ｎ×２Ｎである場合での最小符号化コストである。８×８画素を予測単位のサイズとして、第４層の各ＣＵをそれぞれ予測符号化することにより、第４層の各ＣＵの最適な予測モードを決定し、第４層の各ＣＵの最適な予測モードでの符号化コスト（ｃ１、…、ｃ４；ｃ５、…、ｃ６；…；ｃ５７、…、ｃ６０；ｃ６１、…、ｃ６４）を決定し、該符号化コストが、第４層の各ＣＵの、ＰＵ分割方式が２Ｎ×２Ｎである場合での最小符号化コストである。

ここで、最適な予測モードは、あるサイズの予測単位に対応する複数種類の予測モードのうち、ＣＵを予測符号化することにより取得された符号化コストを最小にすることが可能な予測モードである。例えば、サイズが６４×６４である予測単位は、４種類の予測モードに対応し、これらの４種類の予測モードのそれぞれでＣＵを予測符号化することにより取得された符号化コストがそれぞれｃ１、ｃ２、ｃ３、ｃ４であり、かつｃ１＜ｃ２＜ｃ３＜ｃ４である場合、ｃ１に対応する予測モードが最適な予測モードである。

符号化コストは、レート歪みコストとも呼ばれ、ある予測モードでＣＵを予測符号化する際に予測された予測値と参照値との差を示すものである。ここで、符号化コストが小さいほど、予測値と参照値との差が小さくなるため、符号化に必要なビット数が少なくなり、ビットレートが低くなる。具体的な実現では、差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）アルゴリズム、変換差分絶対値和（ＳＡＴＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅ）アルゴリズム、差分二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）アルゴリズムなどのアルゴリズムによって、ある予測モードでＣＵを予測符号化する際の符号化コストを決定してもよい。

走査過程の次は、再帰過程である。再帰過程は、図３Ｃ、図３Ｄ、及び図３Ｅに示すとおりである。

まず、図３Ｃに示すように、第３層の各ＣＵの４つのサブＣＵの最小符号化コスト（例えば、ｃ１、ｃ２、ｃ３、ｃ４）をそれぞれ加算することにより、第３層の各ＣＵの他の符号化コストを取得する。該符号化コストは、第３層の各ＣＵの、ＰＵ分割方式がＮ×Ｎである場合での最小符号化コストである。第３層の各ＣＵの、ＰＵ分割方式が２Ｎ×２Ｎである場合での最小符号化コストと、ＰＵ分割方式がＮ×Ｎである場合での最小符号化コストとを比較し（例えば、Ｃ３１とｃ１＋ｃ２＋ｃ３＋ｃ４とを比較する）、２つの最小符号化コストのうちの小さい最小符号化コストを第３層の各ＣＵの最小符号化コストとして選択し、この最小符号化コストが第３層の各ＣＵの最終的な符号化コスト（ｃ３１、ｃ３２、…、ｃ３１６）である。

そして、図３Ｄに示すように、第２層の各ＣＵの４つのサブＣＵの最小符号化コスト（例えば、ｃ３１、ｃ３２、ｃ３３、ｃ３４）をそれぞれ加算することにより、第２層の各ＣＵの他の符号化コストを取得する。該符号化コストは、第２層の各ＣＵの、ＰＵ分割方式がＮ×Ｎである場合での最小符号化コストである。第２層の各ＣＵの、ＰＵ分割方式が２Ｎ×２Ｎである場合での最小符号化コストと、ＰＵ分割方式がＮ×Ｎである場合での最小符号化コストとを比較し（例えば、Ｃ２１とｃ３１＋ｃ３２＋ｃ３３＋ｃ３４とを比較する）、２つの最小符号化コストのうちの小さい最小符号化コストを第２層の各ＣＵの最小符号化コストとして選択し、この最小符号化コストが第３層の各ＣＵの最終的な符号化コスト（ｃ２１、ｃ２２、ｃ２３、ｃ２４）である。

次に、図３Ｅに示すように、第１層のＣＴＵの４つのＣＵの最小符号化コスト（ｃ２１、ｃ２２、ｃ２３、ｃ２４）を加算することにより、ＣＴＵの他の符号化コストを取得する。該符号化コストは、ＣＴＵの、ＰＵ分割方式がＮ×Ｎである場合での最小符号化コストである。ＣＴＵの、ＰＵ分割方式が２Ｎ×２Ｎである場合での最小符号化コスト（Ｃ１）と、ＰＵ分割方式がＮ×Ｎである場合での最小符号化コスト（ｃ２１＋ｃ２２＋ｃ２３＋ｃ２４）とを比較し、２つの最小符号化コストのうちの小さい最小符号化コストをＣＴＵの最小符号化コスト（ｃ０）として選択し、この符号化コストがＣＴＵの最終的な符号化コストである。

再帰過程の後に、各層のＣＵの最小符号化コストに基づいて、ＣＴＵの分割方式を決定することができる。ＣＴＵの最小符号化コストが、ＰＵ分割方式が２Ｎ×２Ｎである場合での最小符号化コストであると（ｃ０＝Ｃ１）、ＣＴＵを分割しないと決定し、ＣＴＵのツリー構造に１層だけ、即ち根ノードのみがあると決定する。その対応する分割状況は、図４におけるＡに示すとおりである。ＣＴＵの最小符号化コストが、ＰＵ分割方式がＮ×Ｎである場合での最小符号化コストであると（ｃ０＝ｃ２１＋ｃ２２＋ｃ２３＋ｃ２４）、ＣＴＵを分割する必要があると決定し、図４におけるＢに示すように、ＣＴＵを４つのＣＵに分割すると決定する。さらに、第２層の各ＣＵの最小符号化コストに基づいて、第２層の各ＣＵの分割の要否をそれぞれ順次に決定し、該最小符号化コストが、ＰＵ分割方式が２Ｎ×２Ｎである場合での最小符号化コストであると、分割が必要ではなく、該最小符号化コストが、ＰＵ分割方式がＮ×Ｎである場合での最小符号化コストであると、分割が必要である。同様に、第３層の各ＣＵの最小符号化コストに基づいて、第３層の各ＣＵの分割の要否を決定する。各ＣＵの分割状況は、図２Ａに示すようなツリー構造で示すことができる。

図３Ａ〜図３Ｅに示す過程から分かるように、完全な再帰的走査アルゴリズムに係る過程は、ＣＴＵの符号化コストを最小にする分割ポリシーを見つける過程であり、再帰過程で決定される各符号化単位の最終的な符号化コストがいずれも該分割ポリシーの決定に用いられ、該分割ポリシーに従って、ＣＴＵの分割を完了することができ、さらに、ＣＴＵにおける分割されたＣＵに基づいて、該ＣＴＵを符号化することができる。

３．ＰＵ。ＰＵとは、ＣＵを予測符号化する際に用いられる基本単位であり、異なる予測モードに対して、異なるＰＵ分割方式がある。例えば、フレーム内予測モードの場合、ＰＵ分割方式に２Ｎ×２ＮとＮ×Ｎとの２種類があり、ここで、２Ｎ×２Ｎの方式は、ＣＵを１つのＰＵに分割して予測符号化し、即ち１つのＣＵに１つのＰＵが含まれることを意味し、Ｎ×Ｎの方式は、ＣＵを４つの同じ大きさのＰＵに分割して予測符号化し、即ち１つのＣＵに４つのＰＵが含まれることを意味する。

図３Ａ〜図３Ｅに示す過程から分かるように、ツリー構造の符号化アルゴリズムで決定される分割ポリシーは、ＣＴＵの符号化コストをできるだけ小さくすることができ、即ち、できるだけ少ないビットでＣＴＵを符号化して、ビットレートを低減することができる。ビットレートが低減されるが、係る計算過程が複雑であり、計算量が多く、複雑さが高く、かかる時間が多く、符号化速度が遅い。計算過程は、具体的に、領域４分木における各ＣＵに対して、異なるＰＵ分割方式での、及び、異なる予測モードでの符号化コスト計算を行い、計算された複数の符号化コストを比較することにより、各ＣＵの最小符号化コストを取得する、ことを含む。

そこで、本願の実施形態は、符号化単位の符号化コストの決定方法と、それに関連する装置とを提供することにより、ＣＴＵの分割ポリシーを決定する過程において計算の複雑さが高いという問題を解決する。

以下、図５〜図１２を参照しながら、本願の実施形態で提供された符号化単位の符号化コストの決定方法について詳細に説明する。

図５を参照すると、図５は、本願の実施形態で提供された符号化単位の符号化コストの決定方法のフローの模式図である。本願の実施形態では、該方法は、一般的に、ビデオ符号化サーバによって実行されてもよい。図５に示すように、本願の実施形態における前記方法は、以下のステップＳ１０１〜Ｓ１０４を含んでもよい。

Ｓ１０１で、フレーム内予測モードで予測符号化を行う符号化単位を決定する。

理解できるように、符号化単位がＣＴＵの分割により取得され、符号化単位のサイズが、８×８画素、１６×１６画素、３２×３２画素、６４×６４画素のいずれかであってもよい。

本願の実施形態では、フレーム内予測モードで予測符号化を行うことは、現在フレームの符号化単位を参照符号化単位として予測符号化を行うことを意味し、ここで、参照符号化単位は、符号化済みの符号化単位を意味する。

具体的な実現では、符号化単位がＩフレーム（Ｉ ｆｒａｍｅ）における符号化単位である場合、Ｉフレームにフレーム内予測符号化のみが用いられるため、該符号化単位が、フレーム内予測モードで予測符号化を行う符号化単位であると直接に決定することができる。符号化単位が非Ｉフレーム（例えば、Ｐフレーム又はＢフレーム）における符号化単位である場合、Ｈ．２６４／ＡＶＣ標準におけるフレーム内モード判定アルゴリズムを参照して、フレーム内予測モードで予測符号化を行う符号化単位を決定することができる。具体的には、符号化単位に対してフレーム間予測符号化を行って最適フレーム間モードを選択した後に、符号化単位の平均ビットレート及び平均境界誤差を決定し、符号化単位の平均ビットレートが符号化単位の平均境界誤差以上である場合、符号化単位が、フレーム内予測モードで予測符号化を行う符号化単位であると決定してもよい。当然のことながら、符号化単位が非Ｉフレームにおける符号化単位である場合、フレーム内予測モードで予測符号化を行う符号化単位を他の方式で決定してもよいが、本願の実施形態はこれを限定しない。

理解できるように、前記符号化単位のサイズが最小符号化単位（ＳＣＵ：Ｓｍａｌｌ Ｃｏｄｉｎｇ Ｕｎｉｔ）のサイズ、即ち８×８画素に等しく、符号化単位のさらなる分割ができない場合、ステップＳ１０２〜Ｓ１０３をスキップし、ステップＳ１０４を実行して、第１符号化コストを符号化単位の第２符号化コストとして決定する。

Ｓ１０２で、前記符号化単位に対応する画素勾配情報を決定し、前記画素勾配情報には、画素勾配分散が含まれ、前記画素勾配分散が、符号化単位における少なくとも一部の画素の画像勾配の分散である。

本願の実施形態では、符号化単位に対応する画素勾配情報は、該符号化単位における画素の画像勾配に基づいて取得された情報である。画素勾配情報は、符号化単位における一部の画素の画像勾配に基づいて取得された情報であってもよい。画素勾配情報は、符号化単位における全部の画素の画像勾配に基づいて取得された情報であってもよい。

画素勾配分散に加えて、画素勾配情報には、画素勾配平均値、画素勾配平均二乗誤差などの、画像の滑らかさ、テクスチャの複雑さをはかるためのパラメータが含まれてもよい。ここで、画素勾配平均値は、符号化単位における一部の画素又は全部の画素の画像勾配の平均値を意味する。画素勾配平均二乗誤差は、符号化単位における一部の画素又は全部の画素の画像勾配の平均二乗誤差を意味する。

具体的な実現では、画像勾配アルゴリズムで符号化単位における各画素の画素勾配情報を決定してもよい。これにより、符号化単位における一部の画素又は全部の画素の画像勾配を決定し、さらに、符号化単位における一部の画素の画像勾配又は全部の画素の画像勾配に基づいて、符号化単位に対応する画素勾配情報を決定することができる。

画像勾配アルゴリズムは、一次導関数に基づく画像勾配アルゴリズム、例えば、ロバーツ（Ｒｏｂｅｒｔｓ）演算子、ソーベル（Ｓｏｂｅｌ）演算子、又はＰｒｅｗｉｔｔ演算子などであってもよい。画像勾配アルゴリズムは、二次導関数に基づく画像勾配アルゴリズム、例えば、ラプラス（Ｌａｐｌａｃｅ）演算子などであってもよい。

本願の実施形態では、画素勾配情報が、符号化単位における一部の画素の画像勾配に基づいて取得された情報である場合、該一部の画素は、符号化単位の全部の画素の中からランダムに選択された一部の画素であってもよい。該一部の画素は、一定の選択ルールで符号化単位の全部の画素の中から選択された一部の画素であってもよく、例えば、符号化単位における一部の画素は、所定のサンプリングレートで選択された一部の画素であってもよい。例えば、所定のサンプリングレートが９０％であり、符号化単位のサイズが６４×６４画素、即ち４０９６個の画素である場合、符号化単位における一部の画素は、４０９６個の画素のうちの３６８７個の画素である。左から右へ、上から下への順序で、符号化単位における全部の画素をサンプリングすることにより、３６８７個の画素を取得してもよい。

Ｓ１０３で、前記画素勾配情報に基づいて、前記符号化単位に対して分割事前判定を行う。

理解できるように、画素勾配情報が画素勾配分散である場合、画素勾配分散に基づいて、符号化単位に対して分割事前判定を行ってもよい。画素勾配情報には、画素勾配平均値がさらに含まれる場合、画素勾配分散及び画素勾配平均値に基づいて、符号化単位に対して分割事前判定を行ってもよい。画素勾配情報には、画素勾配平均二乗誤差がさらに含まれる場合、画素勾配分散及び画素勾配平均二乗誤差に基づいて、符号化単位に対して分割事前判定を行ってもよい。ここで、画素勾配情報に基づいて、符号化単位に対して分割事前判定を行う具体的な実現形態については、図８〜図１２に示す実施形態で具体的に説明されており、図８〜図１２に示す実施形態における説明を参照すればよい。

Ｓ１０４で、前記符号化単位の分割事前判定の結果が「分割しない」である場合、第１符号化コストを前記符号化単位の第２符号化コストとして決定し、前記第２符号化コストが、前記符号化単位に対応する符号化ツリー単位の分割ポリシーの決定に用いられ、前記第１符号化コストが、前記符号化単位の現在のサイズを予測単位のサイズとして前記符号化単位を予測符号化することにより取得された符号化コストである。

本願の実施形態では、第１符号化コストは、符号化単位の、ＰＵ分割方式が２Ｎ×２Ｎである場合での符号化コストである。予測単位のサイズが符号化単位の現在のサイズであることに対応する予測モードが１種類だけある場合、第１符号化コストは、該予測モードで前記符号化単位を予測符号化することにより取得された符号化コスト、即ち、該予測モードに対応する符号化コストである。予測単位のサイズが符号化単位の現在のサイズであることに対応する予測モードが複数種類ある場合、第１符号化コストは、前記符号化単位の現在のサイズを予測単位のサイズとして前記符号化単位を予測符号化することにより取得された最小符号化コストである。

例を挙げて説明すると、例えば、符号化単位のサイズが３２×３２画素であり、サイズが３２×３２画素である予測単位に対応する予測モードが、予測モード１である１種類だけある場合、第１符号化コストは、予測モード１で符号化単位を予測符号化することにより取得された符号化コストである。サイズが３２×３２画素の予測単位に対応する予測モードが、それぞれ、予測モード１、予測モード２、予測モード３、及び予測モード４である計４種類ある場合、これらの４種類の予測モードのそれぞれで符号化単位を予測符号化することにより取得された符号化コストは、それぞれ、ｃ１１、ｃ１２、ｃ１３、ｃ１４であり、かつｃ１１＜ｃ１２＜ｃ１３＜ｃ１４であると、第１符号化コストは、ｃ１１である。

本願の実施形態では、第２符号化コストは、符号化単位の最終的な符号化コストを意味する。該符号化単位がＣＴＵである場合、ＣＴＵの第２符号化コストは、上記の図３Ｅに示す過程における再帰過程で決定されたＣＴＵの最小符号化コスト（ｃ０）と同じであるとみなしてもよい。該第２符号化コストが第１符号化コストであるため、図４に示す分割状況によれば、該ＣＴＵの分割ポリシーが「分割しない」であり、即ち、ＣＴＵの現在のサイズで直接に符号化を行うと決定することができる。該符号化単位がＣＴＵではなく、かつ第４層のＣＵではない場合、符号化単位の第２符号化コストは、上記の図３Ｃ又は図３Ｄに示す過程における、ＣＵの、ＰＵ分割方式が２Ｎ×２Ｎである場合での最小符号化コストと、ＰＵ分割方式がＮ×Ｎである場合での最小符号化コストとを比較することにより決定されたＣＵの最小符号化コスト（ｃ２１、ｃ３１など）と同じであるとみなしてもよい。該第２符号化コストは、該符号化単位の上位層のＣＵの、ＰＵ分割方式がＮ×Ｎである場合での最小符号化コストの計算に用いられる。さらに、再帰方式でＣＴＵの第２符号化コストを決定し、次にＣＴＵの分割ポリシーを決定することができる。

本願の実施形態では、符号化単位をフレーム内予測モードで予測符号化する必要があると決定した後、該符号化単位の画素勾配情報を決定し、該符号化単位の画素勾配情報に基づいて、符号化単位に対して分割事前判定を行い、分割事前判定の結果が「分割しない」である場合、符号化単位の現在のサイズを予測単位のサイズとして符号化単位を予測符号化することにより取得された符号化コストを、符号化単位の最終的な符号化コストとして決定する。これにより、符号化単位の分割が必要でないと決定し、該符号化単位の分割を繰り上げて終了することができ、符号化単位をサブ符号化単位に分割してから、サブ符号化単位を新たな符号化単位として予測符号化、符号化コスト計算などを行う計算過程が省かれ、計算量が削減され、符号化速度が向上する。

図６を参照すると、図６は、本願の実施形態で提供された符号化単位の符号化コストの決定方法のフローの模式図である。本願の実施形態では、該方法は、一般的に、ビデオ符号化サーバによって実行されてもよい。図６に示すように、本願の実施形態における前記方法は、以下のステップＳ２０１〜Ｓ２０８を含んでもよい。

Ｓ２０１で、フレーム内予測モードで予測符号化を行う符号化単位を決定する。

理解できるように、符号化単位がＣＴＵの分割により取得され、符号化単位のサイズが、８×８画素、１６×１６画素、３２×３２画素、６４×６４画素のいずれかであってもよい。

本願の実施形態では、フレーム内予測モードで予測符号化を行うことは、現在フレームの符号化単位を参照符号化単位として予測符号化を行うことを意味し、ここで、参照符号化単位は、符号化済みの符号化単位を意味する。

具体的な実現では、符号化単位がＩフレーム（Ｉ ｆｒａｍｅ）における符号化単位である場合、Ｉフレームにフレーム内予測符号化のみが用いられるため、該符号化単位が、フレーム内予測モードで予測符号化を行う符号化単位であると直接に決定することができる。符号化単位が非Ｉフレーム（例えば、Ｐフレーム又はＢフレーム）における符号化単位である場合、Ｈ．２６４／ＡＶＣ標準におけるフレーム内モード判定アルゴリズムを参照して、フレーム内予測モードで予測符号化を行う符号化単位を決定することができる。具体的には、符号化単位に対してフレーム間予測符号化を行って最適フレーム間モードを選択した後に、符号化単位の平均ビットレート及び平均境界誤差を決定し、符号化単位の平均ビットレートが符号化単位の平均境界誤差以上である場合、符号化単位が、フレーム内予測モードで予測符号化を行う符号化単位であると決定してもよい。当然のことながら、符号化単位が非Ｉフレームにおける符号化単位である場合、フレーム内予測モードで予測符号化を行う符号化単位を他の方式で決定してもよいが、本願の実施形態はこれを限定しない。

理解できるように、前記符号化単位のサイズがＳＣＵのサイズ、即ち８×８画素に等しく、符号化単位のさらなる分割ができない場合、ステップＳ２０２〜Ｓ２０６をスキップし、ステップＳ２０７を実行して、第１符号化コストを符号化単位の第２符号化コストとして決定する。

Ｓ２０２で、前記符号化単位に対応する画素勾配情報を決定し、前記画素勾配情報には、画素勾配分散が含まれ、前記画素勾配分散が、符号化単位における少なくとも一部の画素の画像勾配の分散である。

本願の実施形態では、符号化単位に対応する画素勾配情報は、該符号化単位における画素の画像勾配に基づいて取得された情報である。画素勾配情報は、符号化単位における一部の画素の画像勾配に基づいて取得された情報であってもよい。画素勾配情報は、符号化単位における全部の画素の画像勾配に基づいて取得された情報であってもよい。

画素勾配分散に加えて、画素勾配情報には、画素勾配平均値、画素勾配平均二乗誤差などの、画像の滑らかさ、テクスチャの複雑さをはかるためのパラメータが含まれてもよい。ここで、画素勾配平均値は、符号化単位における一部の画素又は全部の画素の画像勾配の平均値を意味する。画素勾配平均二乗誤差は、符号化単位における一部の画素又は全部の画素の画像勾配の平均二乗誤差を意味する。

具体的な実現では、画像勾配アルゴリズムで符号化単位における各画素の画素勾配情報を決定してもよい。これにより、符号化単位における一部の画素又は全部の画素の画像勾配を決定し、さらに、符号化単位における一部の画素の画像勾配又は全部の画素の画像勾配に基づいて、符号化単位に対応する画素勾配情報を決定することができる。

画像勾配アルゴリズムは、一次導関数に基づく画像勾配アルゴリズム、例えば、ロバーツ（Ｒｏｂｅｒｔｓ）演算子、ソーベル（Ｓｏｂｅｌ）演算子、又はＰｒｅｗｉｔｔ演算子などであってもよい。画像勾配アルゴリズムは、二次導関数に基づく画像勾配アルゴリズム、例えば、ラプラス（Ｌａｐｌａｃｅ）演算子などであってもよい。

本願の実施形態では、画素勾配情報が、符号化単位における一部の画素の画像勾配に基づいて取得された情報である場合、該一部の画素は、符号化単位の全部の画素の中からランダムに選択された一部の画素であってもよい。該一部の画素は、一定の選択ルールで符号化単位の全部の画素の中から選択された一部の画素であってもよく、例えば、符号化単位における一部の画素は、所定のサンプリングレートで選択された一部の画素であってもよい。例えば、所定のサンプリングレートが９０％であり、符号化単位のサイズが６４×６４画素、即ち４０９６個の画素である場合、符号化単位における一部の画素は、４０９６個の画素のうちの３６８７個の画素である。左から右へ、上から下への順序で、符号化単位における全部の画素をサンプリングすることにより、３６８７個の画素を取得してもよい。

Ｓ２０３で、前記画素勾配情報に基づいて、前記符号化単位に対して分割事前判定を行う。

理解できるように、画素勾配情報が画素勾配分散である場合、画素勾配分散に基づいて、符号化単位に対して分割事前判定を行ってもよい。画素勾配情報には、画素勾配平均値がさらに含まれる場合、画素勾配分散及び画素勾配平均値に基づいて、符号化単位に対して分割事前判定を行ってもよい。画素勾配情報には、画素勾配平均二乗誤差がさらに含まれる場合、画素勾配分散及び画素勾配平均二乗誤差に基づいて、符号化単位に対して分割事前判定を行ってもよい。ここで、画素勾配情報に基づいて、符号化単位に対して分割事前判定を行う具体的な実現形態については、図８〜図１２に示す実施形態で具体的に説明されており、図８〜図１２に示す実施形態における説明を参照すればよい。

前記符号化単位の分割事前判定の結果が「分割しない」である場合、ステップＳ２０７を実行し、前記符号化単位の分割事前判定の結果が「分割する」である場合、ステップＳ２０４を実行する。

Ｓ２０４で、前記符号化単位を少なくとも２つのサブ符号化単位に分割する。

具体的な実現では、従来技術における領域４分木の方式を参照して、符号化単位を４つのサブ符号化単位に分割してもよい。当然のことながら、符号化単位を他の数のサブ符号化単位に分割してもよいが、本願の実施形態は限定しない。

Ｓ２０５で、前記少なくとも２つのサブ符号化単位の符号化コストをそれぞれ決定する。

本願の実施形態では、少なくとも２つのサブ符号化単位を、フレーム内予測モードで予測符号化を行う新たな符号化単位として決定し、ステップＳ２０１〜Ｓ２０８を実行することにより、サブ符号化単位の符号化コストをそれぞれ決定してもよい。

Ｓ２０６で、前記少なくとも２つのサブ符号化単位の符号化コストの和と第１符号化コストとを比較し、前記第１符号化コストが、前記符号化単位の現在のサイズを予測単位のサイズとして前記符号化単位を予測符号化することにより取得された符号化コストである。

本願の実施形態では、第１符号化コストは、符号化単位の、ＰＵ分割方式が２Ｎ×２Ｎである場合での符号化コストである。予測単位のサイズが符号化単位の現在のサイズであることに対応する予測モードが１種類だけある場合、第１符号化コストは、該予測モードで前記符号化単位を予測符号化することにより取得された符号化コスト、即ち、該予測モードに対応する符号化コストである。予測単位のサイズが符号化単位の現在のサイズであることに対応する予測モードが複数種類ある場合、第１符号化コストは、前記符号化単位の現在のサイズを予測単位のサイズとして前記符号化単位を予測符号化することにより取得された最小符号化コストである。

例を挙げて説明すると、例えば、符号化単位のサイズが３２×３２画素であり、サイズが３２×３２画素である予測単位に対応する予測モードが、予測モード１である１種類だけある場合、第１符号化コストは、予測モード１で符号化単位を予測符号化することにより取得された符号化コストである。サイズが３２×３２画素の予測単位に対応する予測モードが、それぞれ、予測モード１、予測モード２、予測モード３、及び予測モード４である計４種類ある場合、これらの４種類の予測モードのそれぞれで符号化単位を予測符号化することにより取得された符号化コストは、それぞれ、ｃ１１、ｃ１２、ｃ１３、ｃ１４であり、かつｃ１１＜ｃ１２＜ｃ１３＜ｃ１４であると、第１符号化コストは、ｃ１１である。

前記少なくとも２つのサブ符号化単位の符号化コストの和が第１符号化コスト以上である場合、ステップＳ２０７を実行する。前記少なくとも２つのサブ符号化単位の符号化コストの和が前記第１符号化コストよりも小さい場合、ステップＳ２０８を実行する。

Ｓ２０７で、前記第１符号化コストを前記符号化単位の第２符号化コストとして決定する。

Ｓ２０８で、前記少なくとも２つのサブ符号化単位の符号化コストの和を前記符号化単位の第２符号化コストとして決定する。

本願の実施形態では、第２符号化コストは、符号化単位の最終的な符号化コストを意味する。該符号化単位がＣＴＵである場合、ＣＴＵの第２符号化コストは、上記の図３Ｅに示す過程における再帰過程で決定されたＣＴＵの最小符号化コスト（ｃ０）と同じであるとみなしてもよい。該第２符号化コストが第１符号化コストであるため、図４に示す分割状況によれば、該ＣＴＵの分割ポリシーが「分割しない」であり、即ち、ＣＴＵの現在のサイズで直接に符号化を行うと決定することができる。該符号化単位がＣＴＵではなく、かつ第４層のＣＵではない場合、符号化単位の第２符号化コストは、上記の図３Ｃ又は図３Ｄに示す過程における、ＣＵの、ＰＵ分割方式が２Ｎ×２Ｎである場合での最小符号化コストと、ＰＵ分割方式がＮ×Ｎである場合での最小符号化コストとを比較することにより決定されたＣＵの最小符号化コスト（ｃ２１、ｃ３１など）と同じであるとみなしてもよい。該第２符号化コストは、該符号化単位の上位層のＣＵの、ＰＵ分割方式がＮ×Ｎである場合での最小符号化コストの計算に用いられる。さらに、再帰方式でＣＴＵの第２符号化コストを決定し、次にＣＴＵの分割ポリシーを決定することができる。

本願の実施形態では、符号化単位をフレーム内予測モードで予測符号化する必要があると決定した後、該符号化単位の画素勾配情報を決定し、該符号化単位の画素勾配情報に基づいて、符号化単位に対して分割事前判定を行い、分割事前判定の結果が「分割しない」である場合、符号化単位の現在のサイズを予測単位のサイズとして符号化単位を予測符号化することにより取得された符号化コストを、符号化単位の最終的な符号化コストとして決定する。これにより、符号化単位の分割が必要でないと決定し、該符号化単位の分割を繰り上げて終了することができる。分割事前判定の結果が「分割する」である場合にのみ、符号化単位を分割し、次に符号化単位に対応するサブ符号化単位の符号化コストの和と第１符号化コストとの大きさを比較する。サブ符号化単位の符号化コストの決定にも同様な符号化コスト決定方法が用いられるため、サブ符号化単位のさらなる分割を繰り上げて終了することができる。符号化単位の分割をできるだけ繰り上げて終了することにより、符号化コストの大量の計算過程が省かれ、計算量が削減され、ＣＴＵの分割ポリシーがなるべく早く決定され、符号化速度が向上する。

以下、符号化単位を４つのサブ符号化単位に分割する場合を例として、本願の実施形態の構成を用いてＣＴＵの分割ポリシーを決定する過程を紹介する。依然としてＣＴＵのサイズが６４×６４画素である場合を例として、図７Ａ〜７Ｅを参照する。

まず、図７Ａに示すように、ＣＴＵをＣＵとして決定し、６４×６４画素を予測単位のサイズとしてＣＴＵを予測符号化することにより、ＣＴＵの最適予測モードを決定し、ＣＴＵの最適予測モードでの符号化コスト、即ちＣ１を決定し、該符号化コストがＣＴＵの第１符号化コストである。ＣＴＵの画素勾配情報に基づいて、ＣＴＵに対して分割判定を行う。

ＣＴＵの分割判定の結果が「分割しない」である場合、第１符号化コストＣ１をＣＴＵの第２符号化コストとして決定し、即ちｃ０＝Ｃ１にする。このとき、ＣＴＵの第２符号化コストが決定されるため、図４から分かるように、ＣＴＵの分割ポリシーが決定され、即ち、ＣＴＵの分割が必要でなく、分割が終了する。ＣＴＵの分割ポリシーが決定されるため、図３Ｂに示す過程と同様に、第２層のＣＵ、第３層のＣＵ、第４層のＣＵの符号化コストを順次に計算する必要がなく、図３Ｃ〜図３Ｅの過程を実行する必要もなく、大量の計算が省かれ、符号化速度が向上する。

ＣＴＵの分割判定の結果が「分割する」である場合、ＣＴＵを４つの３２×３２画素のＣＵ、即ち第２層のＣＵに分割する。

そして、図７Ｂに示すように、３２×３２画素を予測単位のサイズとして第２層の各ＣＵをそれぞれ予測符号化することにより、各ＣＵの最適な予測モードを決定し、第２層の各ＣＵの最適な予測モードでの符号化コストを決定し、該符号化コストが、第２層の各ＣＵの第１符号化コスト、即ちＣ２１、Ｃ２２、Ｃ２３、Ｃ２４である。第２層の各ＣＵの画素勾配情報に基づいて、第２層の各ＣＵに対して分割事前判定をそれぞれ行う。

第２層のターゲットＣＵの分割判定の結果が「分割しない」である場合、第１符号化コストを第２層のターゲットＣＵの第２符号化コストとして決定する。このとき、第２層のターゲットＣＵの第２符号化コストが決定されるため、第２層のターゲットＣＵの分割が終了する。図３Ｂに示す過程と同様に該ターゲットＣＵの下位の第３層のＣＵ、第４層のＣＵの符号化コストを順次に計算する必要がなく、同様に大量の計算が省かれ、符号化速度が向上する。

第２層のターゲットＣＵの分割判定の結果が「分割する」である場合、第２層のターゲットＣＵを４つの１６×１６画素のサブＣＵ、即ち第３層のＣＵに分割する。

図７Ｃに示すように、１６×１６画素を予測単位のサイズとして第３層の各ＣＵをそれぞれ予測符号化することにより、第３層の各ＣＵの最適な予測モードを決定し、第３層の各ＣＵの最適な予測モードでの符号化コストを決定し、該符号化コストが、第３層の各ＣＵの第１符号化コストである。第３層の各ＣＵの画素勾配情報に基づいて、第２層の各ＣＵに対して分割事前判定をそれぞれ行う。

第３層のターゲットＣＵの分割判定の結果が「分割しない」である場合、第３層のターゲットＣＵの第１符号化コストを第３層のターゲットＣＵの第２符号化コストとして決定する。このとき、第３層のターゲットＣＵの第２符号化コストが決定されるため、第３層のターゲットＣＵの分割が終了する。ターゲットＣＵを分割しないことが決定されるため、図３Ｂに示す過程と同様に該ターゲットＣＵの下位の第４層のＣＵを順次に計算する必要がなく、大量の計算も省かれ、符号化速度が向上する。

第３層のターゲットＣＵの分割判定の結果が「分割する」である場合、第３層のターゲットＣＵを４つの８×８画素のＣＵ、即ち第３層のＣＵに分割する。

図７Ｃに示すように、８×８画素を予測単位のサイズとして第４層の各ＣＵをそれぞれ予測符号化することにより、第４層の各ＣＵの最適な予測モードを決定し、第４層の各ＣＵの最適な予測モードでの符号化コストを決定し、該符号化コストが、第４層の各ＣＵの第１符号化コストである。

ツリー構造が形成されると、下から上へ、第３層、第２層、及び第１層のＣＵのうち、第２符号化コストが決定されていないＣＵの第２符号化コストを順次に決定し、ＣＵの２つの符号化コスト（ＣＵの４つのサブＣＵの第２符号化コストの和、及びＣＵの第１符号化コスト）のうちの小さい方をＣＵの第２符号化コストとして決定する。

例えば、図７Ａ〜７Ｃの過程によって決定されたツリー構造は、図７Ｄに示すとおりである。ここで、図７Ａの過程によって、番号が１のＣＵ（即ちＣＴＵ）の分割が必要であると決定される。図７Ｂの過程によって、番号が３と４のＣＵの分割が必要であり、番号が２と５のＣＵの分割が必要でないと決定されるため、番号が２と５のＣＵの第２符号化コストがそれらの第１符号化コストであると決定され、番号が３と４のＣＵの第２符号化コストが決定されていない。図７Ｃの過程によって、番号が７〜１３のＣＵの分割が必要でなく、番号が６のＣＵの分割が必要であると決定されるため、番号が７〜１３のＣＵの第２符号化コストがそれらの第１符号化コストであると決定され、番号が６のＣＵの第２符号化コストが決定されていない。

そして、下から上へ、第２符号化単位が決定されていないＣＵの第２符号化コストを順次に決定し、つまり、番号が６、３、４、１のＣＵの第２符号化コストを決定する。図７Ｅに示すように、まず、第３層のＣＵのうち、番号が６のＣＵの第２符号化コストを決定し、次に、第２層のＣＵのうち、番号が３と４のＣＵの第２符号化コストを決定し、最後に、番号が１のＣＵ、即ちＣＴＵの第２符号化コストを決定する。

各層のＣＵの第２符号化コストを決定した後、各層のＣＵの最小符号化コストに基づいて、ＣＴＵの分割方式を決定する。ＣＴＵの第２符号化コストがＣＴＵの第１符号化コストである場合、ＣＴＵを分割しないと決定し、ＣＴＵのツリー構造に１層だけ、即ち根ノードのみがあると決定する。その対応する分割状況は、図４におけるＡに示すとおりである。ＣＴＵの第２符号化コストが第２層のＣＵの第２符号化コストの和である場合、ＣＴＵの分割が必要であると決定し、図４におけるＢに示すようにＣＴＵを４つのＣＵに分割すると決定する。ＣＴＵを４つのＣＵに分割すると決定した場合、さらに、第２層のＣＵの第２符号化コストに基づいて、第２層の分割方式を決定することができ、順次に類推すると、ＣＴＵの最終的な分割状況を決定することができる。

図７Ａ〜７Ｅから分かるように、最極端な場合にのみ、即ち、上位３層（第１層、第２層、及び第３層）の各ＣＵの分割事前判定の結果がいずれも「分割する」である場合にのみ、ＣＴＵの分割ポリシーを決定するために、図３に示す方式で走査及び再帰を行う必要がある。上位３層に分割事前判定の結果が「分割しない」であるＣＵが１つでもある限り、該ＣＵの最小符号化コストを計算しなくてもよい。１つでものＣＵの最小符号化コストの決定に複雑な計算が必要であるため、本願の実施形態の構成によれば、大量の計算を省き、計算時間を節約し、符号化速度を向上させることができる。

図８を参照すると、図８は、本願の実施形態で提供された符号化単位の符号化コストの決定方法のフローの模式図である。図８に示すように、本願の実施形態における前記画素勾配情報に基づいて、前記符号化単位に対して分割事前判定を行う前記ステップは、以下のステップＳ３０１〜Ｓ３０３を含んでもよい。

Ｓ３０１で、前記符号化単位に対応する分散閾値を決定する。

本願の実施形態では、符号化単位に対応する分散閾値には、２つの場合がある。１つは、該分散閾値が固定閾値である。他の１つは、該分散閾値と、符号化単位に対応する量子化パラメータとの間に正の相関があり、即ち、符号化単位に対応する量子化パラメータが大きいほど、分散閾値が大きくなる。

量子化パラメータは、空間の細部の圧縮状況を反映したものである。量子化パラメータが小さいと、大部分の細部が保持され、量子化パラメータが増大すると、細部が失われ、ビットレートが低下する。即ち、量子化パラメータとビットレートとの間に負の相関があり、つまり、分散閾値とビットレートとの間に負の相関がある。量子化パラメータの値は、エンコーダにより決定されてもよい。量子化パラメータの値の範囲は０〜５２であり、量子化パラメータが０よりも大きい場合、符号化単位に対応する分散閾値は、符号化単位に対応する量子化パラメータにＸを乗じたものに等しくてもよい。Ｘは、１以上の数値である。

Ｓ３０２で、前記符号化単位に対応する画素勾配分散が前記分散閾値よりも小さい場合、前記符号化単位の分割事前判定の結果が「分割しない」であると決定する。

符号化単位に対応する画素勾配分散は、符号化単位における画像のテクスチャ及び物体境界状況を反映するためのものである。符号化単位の画素勾配分散が小さい場合は、符号化単位の画像のテクスチャが乱雑である可能性があり、符号化単位をさらに分割することが画質の向上に大きな助けにならないことを表す。テクスチャが乱雑であり、人の目が該符号化単位に敏感ではないため、さらなる分割が必要でない。

Ｓ３０３で、前記画素勾配分散が前記分散閾値以上である場合、前記符号化単位の分割事前判定の結果が「分割する」であると決定する。

画素勾配分散が大きい場合は、符号化単位に物体境界が含まれる可能性があり、さらなる分割が画質の向上の助けになる可能性があり、さらなる分割後に該符号化単位に対応するサブ符号化単位の類似性がより高くなり、圧縮効率の向上の助けになることを表す。

本願の実施形態では、符号化単位の画素勾配分散に基づいて、符号化単位を分割するか否かの事前判定を完了し、符号化単位の画素勾配分散が符号化単位における画像のテクスチャ及び境界などの状況を反映しているため、符号化単位の画素勾配分散に基づいて、符号化単位の分割を繰り上げて終了し、計算量を削減することができるとともに、圧縮効率と画質とを両立させることができる。

他の可能な実現形態では、本願の実施形態における前記画素勾配情報には、画素勾配平均値がさらに含まれてもよい。図９を参照すると、図９は、本願の実施形態で提供された符号化単位の符号化コストの決定方法のフローの模式図である。図９に示すように、本願の実施形態における前記画素勾配情報に基づいて、前記符号化単位に対して分割事前判定を行う前記ステップは、以下のステップＳ４０１〜Ｓ４０６を含んでもよい。

Ｓ４０１で、前記符号化単位に対応する第１閾値、前記符号化単位に対応する第２閾値、及び前記符号化単位に対応する分散閾値を決定し、前記第２閾値が前記第１閾値よりも大きい。

本願の実施形態では、符号化単位に対応する分散閾値には、２つの場合がある。１つは、該分散閾値が固定閾値である。他の１つは、該分散閾値と、符号化単位に対応する量子化パラメータとの間に正の相関があり、即ち、符号化単位に対応する量子化パラメータが大きいほど、分散閾値が大きくなる。

量子化パラメータは、空間の細部の圧縮状況を反映したものである。量子化パラメータが小さいと、大部分の細部が保持され、量子化パラメータが増大すると、細部が失われ、ビットレートが低下する。即ち、量子化パラメータとビットレートとの間に負の相関があり、つまり、分散閾値とビットレートとの間に負の相関がある。量子化パラメータの値は、エンコーダにより決定されてもよい。量子化パラメータの値の範囲は０〜５２であり、量子化パラメータが０よりも大きい場合、符号化単位に対応する分散閾値は、符号化単位に対応する量子化パラメータにＸを乗じたものに等しくてもよい。Ｘは、１以上の数値である。

本願の実施形態では、第１閾値及び第２閾値は、いずれも平均値閾値である。符号化単位に対応する第１閾値がゼロでない場合、符号化単位に対応する第２閾値は、符号化単位に対応する第１閾値の一定の倍数であってもよい。即ち、符号化単位に対応する第２閾値は、符号化単位に対応する第１閾値と第２係数との積であり、第２係数は１よりも大きい。符号化単位に対応する第１閾値がゼロである場合、符号化単位に対応する第２閾値は、符号化単位に対応する閾値と目標平均値閾値との和であってもよく、目標平均値閾値は、固定閾値である。

１つの可能な実現形態で、該符号化単位に対応する第１閾値は、固定閾値であってもよい。符号化単位に対応する第１閾値が固定閾値である場合、第１閾値と符号化単位のサイズとの間に負の相関がある。

別の可能な実現形態では、符号化単位に対応する第１閾値は、符号化単位の周囲の符号化単位の画素勾配の平均値と相関してもよい。具体的な実現では、図１０に示すように、前記符号化単位に対応する第１閾値を決定する前記ステップは、以下のステップＳ５０１〜Ｓ５０３を含む。

Ｓ５０１で、前記符号化単位の複数の隣接符号化単位を決定し、前記隣接符号化単位のエッジと前記符号化単位のエッジに重なるところがあり、又は前記隣接符号化単位の頂点と前記符号化単位の頂点に重なるところがあるが、前記隣接符号化単位における画像と前記符号化単位における画像とが重ならない。

理解できるように、隣接符号化単位は、符号化単位の周囲の、符号化単位に接する符号化単位である。該隣接符号化単位は、予測符号化済みの符号化単位であってもよい。隣接符号化単位のサイズは、符号化単位のサイズと同じであってもよく、隣接符号化単位のサイズは、符号化単位のサイズと異なってもよい。

以下、例を挙げて、隣接符号化単位を説明する。図１１に示すように、符号化単位が、図１１に示すＣＵ１である場合、ＣＵ７、ＣＵ１７、ＣＵ１９、ＣＵ２０、ＣＵ２３には、ＣＵ１のエッジと重なるエッジがあり、ＣＵ６、ＣＵ１０、ＣＵ２２、及びＣＵ２４の頂点とＣＵ１の頂点に重なるところがある。このため、ＣＵ６、ＣＵ７、ＣＵ１０、ＣＵ１７、ＣＵ１９、ＣＵ２０、ＣＵ２２、ＣＵ２３、及びＣＵ２４は、いずれもＣＵ１の隣接符号化単位である。残りのＣＵには、ＣＵ１と重なるエッジ又は頂点がないため、残りのＣＵは、符号化単位の隣接符号化単位ではない。

さらに、隣接符号化単位は、符号化単位の周囲の、特定の方向及び位置にある符号化単位であってもよい。例えば、隣接符号化単位は、符号化単位の周囲の、左上の位置、真上の位置、右上の位置、及び真左の位置にある隣接符号化単位であり、即ち、図１１において、ＣＵ６、ＣＵ７、ＣＵ１０、ＣＵ１７、ＣＵ１９がＣＵ１の隣接符号化単位である。

隣接符号化単位を符号化単位と同じサイズの符号化単位に限定し、依然としてＣＵ１が符号化単位である場合を例にすると、ＣＵ１の隣接符号化単位は、ＣＵ３、ＣＵ４、ＣＵ５、ＣＵ６を組み合わせた符号化単位、ＣＵ７、ＣＵ８、ＣＵ９、ＣＵ１０、ＣＵ１１を組み合わせた符号化単位、ＣＵ１６、ＣＵ１７、ＣＵ１８、ＣＵ１９を組み合わせた符号化単位、ＣＵ２０、ＣＵ２２、ＣＵ２３、ＣＵ３、ＣＵ２４、ＣＵ２５、ＣＵ２６を組み合わせた符号化単位であってもよい。

説明すべきものとして、上記の隣接符号化単位の例は、例示にすぎず、本願の実施形態を限定するものではない。

Ｓ５０２で、前記複数の隣接符号化単位のうち、第１隣接符号化単位の数が目標数以上である場合、前記第１隣接符号化単位のサイズと、前記第１隣接符号化単位の画素勾配平均値とに基づいて、前記符号化単位に対応する第１閾値を決定し、前記第１隣接符号化単位が、フレーム内予測モードで予測符号化を行う符号化単位である。

具体的な実現では、目標数は、４、５、６などの値に設定してもよい。

本願の実施形態では、符号化単位がＩフレームにおける符号化単位である場合、ステップＳ５０１で決定された隣接符号化単位は、いずれも第１隣接符号化単位である。符号化単位が非Ｉフレームにおける符号化単位である場合、ステップＳ１０１で説明した方式で、複数の隣接符号化単位の中から、第１隣接符号化単位を決定してもよい。

１つの具体的な実現では、図１２に示すように、前記第１隣接符号化単位のサイズと、前記第１隣接符号化単位の画素勾配平均値とに基づいて、前記符号化単位に対応する第１閾値を決定する前記ステップは、以下のステップＳ６０１〜Ｓ６０３を含む。

Ｓ６０１で、前記第１隣接符号化単位の中から第２隣接符号化単位を検索し、前記第２隣接符号化単位のサイズが、前記符号化単位のサイズ以上である。

例えば、図１１に示す隣接符号化単位のうち、ＣＵ７、ＣＵ１０、ＣＵ１７、ＣＵ２０、ＣＵ２２、及びＣＵ２３は、いずれもフレーム内予測モードで予測符号化を行う符号化単位であり、かつ、ＣＵ７、ＣＵ２０、ＣＵ２２、及びＣＵ２３のサイズは、いずれもＣＵ１のサイズに等しい場合、ＣＵ７、ＣＵ２０、ＣＵ２２、及びＣＵ２３は、いずれも第２隣接符号化単位である。

Ｓ６０２で、前記第２隣接符号化単位が存在する場合、第１係数と目標平均値との積を、前記符号化単位に対応する第１閾値として決定し、前記目標平均値が、各第２隣接符号化単位に対応する画素勾配平均値の総和と前記第２隣接符号化単位の数との商である。

第１係数は、１よりも大きい係数であってもよい。

具体的な実現では、上記ステップＳ１０２で紹介した、符号化単位に対応する画素勾配情報を決定する方式に基づいて、各隣接符号化単位に対応する画素勾配平均値を決定してもよい。

例えば、第２隣接符号化単位は、符号化単位２、符号化単位３、符号化単位４、符号化単位５であり、それらに対応する画素勾配平均値は、それぞれ画素勾配平均値１、画素勾配平均値２、画素勾配平均値３、画素勾配平均値４である場合、目標平均値は、（画素勾配平均値１＋画素勾配平均値２＋画素勾配平均値３＋画素勾配平均値４）／４である。

Ｓ６０３で、前記第２隣接単位が存在しない場合、前記符号化単位に対応する第１閾値がゼロであると決定する。

理解できるように、ゼロである第１閾値は、勾配計算で取得可能な最小値である。

説明すべきものとして、ステップＳ５０２の方式は、隣接符号化単位のサイズが符号化単位のサイズと同じであってもよく、隣接符号化単位のサイズが符号化単位のサイズと異なってもよい場合に対して設計された、前記符号化単位に対応する第１閾値を決定する方式である。他の可能な実現形態では、隣接符号化単位が、特にサイズが符号化単位のサイズと同じである符号化単位を指すと、ステップＳ５０２は、前記複数の隣接符号化単位のうち、第１隣接符号化単位の数が目標数以上である場合、前記第１隣接符号化単位の分割状況と、前記第１隣接符号化単位の画素勾配平均値とに基づいて、前記符号化単位に対応する第１閾値を決定するステップであって、前記第１隣接符号化単位が、フレーム内予測モードで予測符号化を行う符号化単位である、ステップに置き換えられてもよい。

具体的な実現では、前記第１隣接符号化単位の分割状況と、前記第１隣接符号化単位の画素勾配平均値とに基づいて、前記符号化単位に対応する第１閾値を決定する前記ステップは、前記第１隣接符号化単位の中から第３隣接符号化単位を検索するステップであって、前記第３隣接符号化単位が、分割されていない第１隣接符号化単位である、ステップと、前記第３隣接符号化単位が存在する場合、第１係数と目標平均値との積を前記符号化単位に対応する第１閾値として決定するステップであって、前記目標平均値が、各第２隣接符号化単位に対応する画素勾配平均値の総和と前記第２隣接符号化単位の数との商である、ステップと、を含む。

Ｓ５０３で、前記複数の隣接符号化単位のうち、前記第１隣接符号化単位の数が前記目標数よりも小さい場合、前記符号化単位のサイズに対応する平均値閾値を、符号化単位に対応する第１閾値として決定する。

符号化単位のサイズに対応する平均値閾値は、固定閾値である。ここで、符号化単位のサイズが大きいほど、符号化単位のサイズに対応する平均値閾値が小さくなる。具体的な実現では、サイズが１６×１６画素の符号化単位、サイズが３２×３２画素の符号化単位、及びサイズが６４×６４画素の符号化単位にそれぞれ対応するための３つの平均値閾値を設計してもよい。

Ｓ４０２で、前記符号化単位に対応する画素勾配平均値と前記第１閾値とを比較する。

画素勾配平均値が第１閾値よりも小さい場合、ステップＳ４０５を実行する。画素勾配平均値が第１閾値以上である場合、ステップＳ４０３を実行する。

符号化単位に対応する画素勾配平均値は、符号化単位における画像内容の滑らかさの状況を反映するためのものである。符号化単位の画素勾配平均値が小さい場合は、符号化単位における画像内容が比較的滑らかであり、さらなる分割が必要でないことを表す。

Ｓ４０３で、前記画素勾配平均値と前記第２閾値とを比較する。

画素勾配平均値が第２閾値よりも小さい場合、ステップＳ４０４を実行する。画素勾配平均値が第２閾値以上である場合、ステップＳ４０６を実行する。

画素勾配平均値が大きい場合は、符号化単位における画像の内容が滑らかでなく、さらなる分割が必要である可能性が大きいことを表す。

Ｓ４０４で、前記符号化単位に対応する画素勾配分散と前記分散閾値とを比較する。

画素勾配分散が分散閾値よりも小さい場合、ステップＳ４０５を実行する。画素勾配分散値が前記分散閾値以上である場合、ステップＳ４０６を実行する。

符号化単位に対応する画素勾配分散は、符号化単位における画像のテクスチャ及び物体境界状況を反映するためのものである。符号化単位の画素勾配分散が小さい場合は、符号化単位の画像のテクスチャが乱雑である可能性があり、符号化単位をさらに分割することが画質の向上に大きな助けにならないことを表す。テクスチャが乱雑であり、人の目が該符号化単位に敏感ではないため、さらなる分割が必要でない。画素勾配分散が大きい場合は、符号化単位に物体境界が含まれる可能性があり、さらなる分割が画質の向上の助けになる可能性があり、さらなる分割後に該符号化単位に対応するサブ符号化単位の類似性がより高くなり、圧縮効率の向上の助けになることを表す。

Ｓ４０５で、前記符号化単位の分割事前判定の結果が「分割しない」であると決定する。

Ｓ４０６で、前記符号化単位の分割事前判定の結果が「分割する」であると決定する。

本願の実施形態では、符号化単位の画素勾配分散と画素勾配平均値とを組み合わせて考えることで、符号化単位を分割するか否かの事前判定を完了する。符号化単位の画素勾配分散は、符号化単位における画像のテクスチャ及び境界などの状況を反映している。符号化単位の画素勾配平均値は、符号化単位における画像内容の滑らかさの状況を反映している。符号化単位における画像内容を総合的に分析することにより、符号化単位を分割するか否かの正確な判定を実現することができ、計算量を削減するとともに、圧縮効率と画質とを両立させる。

以下、図１３〜図１６を参照しながら、本願の実施形態で提供された符号化単位の符号化コストの決定装置について詳細に紹介する。符号化単位の符号化コストの前記決定装置は、計算処理機能を有する端末であってもよい。説明すべきものとして、図１３〜図１６に示す装置は、本願の図５〜図１２に示す実施形態の方法を実行するためのものであり、説明の便宜上、本願の実施形態に関する部分だけを示しており、掲示されていない具体的な技術の細部については、本願の図５〜図１２に示す実施形態を参照されたい。

図１３を参照すると、図１３は、本願の実施形態で提供された符号化単位の符号化コストの決定装置の構成の模式図である。図１３に示すように、本願の実施形態で提供された符号化単位の符号化コストの前記決定装置７０は、符号化単位決定モジュール７１と、勾配情報決定モジュール７２と、事前判定モジュール７３と、コスト決定モジュール７４と、を含んでもよい。

符号化単位決定モジュール７１は、フレーム内予測モードで予測符号化を行う符号化単位を決定する。

理解できるように、符号化単位がＣＴＵの分割により取得され、符号化単位のサイズが、８×８画素、１６×１６画素、３２×３２画素、６４×６４画素のいずれかであってもよい。

本願の実施形態では、フレーム内予測モードで予測符号化を行うことは、現在フレームの符号化単位を参照符号化単位として予測符号化を行うことを意味し、ここで、参照符号化単位は、符号化済みの符号化単位を意味する。

具体的な実現では、符号化単位がＩフレーム（Ｉ ｆｒａｍｅ）における符号化単位である場合、Ｉフレームにフレーム内予測符号化のみが用いられるため、符号化単位決定モジュール７１は、該符号化単位が、フレーム内予測モードで予測符号化を行う符号化単位であると直接に決定することができる。符号化単位が非Ｉフレーム（例えば、Ｐフレーム又はＢフレーム）における符号化単位である場合、Ｈ．２６４／ＡＶＣ標準におけるフレーム内モード判定アルゴリズムを参照して、フレーム内予測モードで予測符号化を行う符号化単位を決定することができる。具体的には、符号化単位決定モジュール７１は、符号化単位に対してフレーム間予測符号化を行って最適フレーム間モードを選択した後に、符号化単位の平均ビットレート及び平均境界誤差を決定し、符号化単位の平均ビットレートが符号化単位の平均境界誤差以上である場合、符号化単位が、フレーム内予測モードで予測符号化を行う符号化単位であると決定してもよい。当然のことながら、符号化単位が非Ｉフレームにおける符号化単位である場合、符号化単位決定モジュール７１は、フレーム内予測モードで予測符号化を行う符号化単位を他の方式で決定してもよいが、本願の実施形態はこれを限定しない。

理解できるように、前記符号化単位のサイズがＳＣＵのサイズ、即ち８×８画素に等しく、符号化単位のさらなる分割ができない場合、コスト決定モジュール７４は、第１符号化コストを符号化単位の第２符号化コストとして直接に決定する。

勾配情報決定モジュール７２は、前記符号化単位に対応する画素勾配情報を決定し、前記画素勾配情報には、画素勾配分散が含まれ、前記画素勾配分散が、符号化単位における少なくとも一部の画素の画像勾配の分散である。

本願の実施形態では、符号化単位に対応する画素勾配情報は、勾配情報決定モジュール７２によって、該符号化単位における画素の画像勾配に基づいて取得された情報である。画素勾配情報は、勾配情報決定モジュール７２によって、符号化単位における一部の画素の画像勾配に基づいて取得された情報であってもよい。画素勾配情報は、勾配情報決定モジュール７２によって、符号化単位における全部の画素の画像勾配に基づいて取得された情報であってもよい。

画素勾配分散に加えて、画素勾配情報には、画素勾配平均値、画素勾配平均二乗誤差などの、画像の滑らかさ、テクスチャの複雑さをはかるためのパラメータが含まれてもよい。ここで、画素勾配平均値は、符号化単位における一部の画素又は全部の画素の画像勾配の平均値を意味する。画素勾配平均二乗誤差は、符号化単位における一部の画素又は全部の画素の画像勾配の平均二乗誤差を意味する。

具体的な実現では、勾配情報決定モジュール７２は、画像勾配アルゴリズムで符号化単位における各画素の画素勾配情報を決定してもよい。これにより、符号化単位における一部の画素の画像勾配を決定し、又は符号化単位における全部の画素の画像勾配を決定し、さらに、符号化単位における一部の画素の画像勾配又は全部の画素の画像勾配に基づいて、符号化単位に対応する画素勾配情報を決定することができる。

画像勾配アルゴリズムは、一次導関数に基づく画像勾配アルゴリズム、例えば、ロバーツ（Ｒｏｂｅｒｔｓ）演算子、ソーベル（Ｓｏｂｅｌ）演算子、又はＰｒｅｗｉｔｔ演算子などであってもよい。画像勾配アルゴリズムは、二次導関数に基づく画像勾配アルゴリズム、例えば、ラプラス（Ｌａｐｌａｃｅ）演算子などであってもよい。

本願の実施形態では、画素勾配情報が、符号化単位における一部の画素の画像勾配に基づいて取得された情報である場合、該一部の画素は、勾配情報決定モジュール７２によって、符号化単位の全部の画素の中からランダムに選択された一部の画素であってもよい。符号化単位における一部の画素は、勾配情報決定モジュール７２によって、一定の選択ルールで符号化単位の全部の画素の中から選択された一部の画素であってもよく、例えば、符号化単位における一部の画素は、所定のサンプリングレートで選択された一部の画素であってもよい。例えば、所定のサンプリングレートが９０％であり、符号化単位のサイズが６４×６４画素、即ち４０９６個の画素である場合、符号化単位における一部の画素は、４０９６個の画素のうちの３６８７個の画素である。勾配情報決定モジュール７２は、左から右へ、上から下への順序で、符号化単位における全部の画素をサンプリングすることにより、３６８７個の画素を取得してもよい。

事前判定モジュール７３は、前記画素勾配情報に基づいて、前記符号化単位に対して分割事前判定を行う。

理解できるように、画素勾配情報が画素勾配分散である場合、事前判定モジュール７３は、画素勾配分散に基づいて、符号化単位に対して分割事前判定を行ってもよい。画素勾配情報には、画素勾配平均値がさらに含まれる場合、事前判定モジュール７３は、画素勾配分散及び画素勾配平均値に基づいて、符号化単位に対して分割事前判定を行ってもよい。画素勾配情報には、画素勾配平均二乗誤差がさらに含まれる場合、事前判定モジュール７３は、画素勾配分散及び画素勾配平均二乗誤差に基づいて、符号化単位に対して分割事前判定を行ってもよい。

任意選択的に、図１４に示すように、前記事前判定モジュール７３は、閾値決定ユニット７３１と、結果決定ユニット７３２と、を含んでもよい。

１つの具体的な実現形態では、閾値決定ユニット７３１は、前記符号化単位に対応する分散閾値を決定する。結果決定ユニット７３２は、前記画素勾配分散が前記分散閾値よりも小さい場合、前記符号化単位の分割事前判定の結果が「分割しない」であると決定する。前記結果決定ユニット７３２は、さらに、前記画素勾配分散が前記分散閾値以上である場合、前記符号化単位の分割事前判定の結果が「分割する」であると決定する。

他の具体的な実現形態では、前記画素勾配情報には、画素勾配平均値がさらに含まれ、閾値決定ユニット７３１は、前記符号化単位に対応する第１閾値、前記符号化単位に対応する第２閾値、及び前記符号化単位に対応する分散閾値を決定し、前記第２閾値が前記第１閾値よりも大きい。結果決定ユニット７３２は、前記画素勾配平均値が前記第１閾値よりも小さい場合、前記符号化単位の分割事前判定の結果が「分割しない」であると決定する。又は、前記結果決定ユニット７３２は、さらに、前記画素勾配平均値が前記第１閾値以上であり、かつ前記画素勾配平均値が前記第２閾値よりも小さく、かつ前記画素勾配分散が前記分散閾値よりも小さい場合、前記符号化単位の分割事前判定の結果が「分割しない」であると決定する。又は、前記結果決定ユニット７３２は、さらに、前記画素勾配平均値が前記第１閾値以上であり、かつ前記画素勾配平均値が前記第２閾値よりも小さく、かつ前記画素勾配分散が前記分散閾値以上である場合、前記符号化単位の分割事前判定の結果が「分割する」であると決定する。又は、前記結果決定ユニット７３２は、さらに、前記画素勾配平均値が前記第２閾値以上である場合、前記符号化単位の分割事前判定の結果が「分割する」であると決定する。

本願の実施形態では、符号化単位に対応する分散閾値には、２つの場合がある。１つは、該分散閾値が固定閾値である。他の１つは、該分散閾値と、符号化単位に対応する量子化パラメータとの間に正の相関があり、即ち、符号化単位に対応する量子化パラメータが大きいほど、分散閾値が大きくなる。

量子化パラメータは、空間の細部の圧縮状況を反映したものである。量子化パラメータが小さいと、大部分の細部が保持され、量子化パラメータが増大すると、細部が失われ、ビットレートが低下する。即ち、量子化パラメータとビットレートとの間に負の相関があり、つまり、分散閾値とビットレートとの間に負の相関がある。量子化パラメータの値は、エンコーダにより決定されてもよい。量子化パラメータの値の範囲は０〜５２であり、量子化パラメータが０よりも大きい場合、閾値決定ユニット７３１は、符号化単位に対応する量子化パラメータにＸを乗じたものを、符号化単位に対応する分散閾値として決定してもよい。Ｘは、１以上の数値である。閾値決定ユニット７３１は、固定の分散閾値を、符号化単位に対応する分散閾値として決定してもよい。

本願の実施形態では、第１閾値及び第２閾値は、いずれも平均値閾値である。符号化単位に対応する第１閾値がゼロでない場合、符号化単位に対応する第２閾値は、符号化単位に対応する第１閾値の一定の倍数であってもよい。即ち、閾値決定ユニット７３１は、符号化単位に対応する第２閾値が、符号化単位に対応する第１閾値と第２係数との積であるように決定してもよく、第２係数は１よりも大きい。符号化単位に対応する第１閾値がゼロである場合、閾値決定ユニット７３１は、符号化単位に対応する第２閾値が、符号化単位に対応する閾値と目標平均値閾値との和であるように決定してもよく、目標平均値閾値は、固定閾値である。

１つの可能な実現形態で、該符号化単位に対応する第１閾値は、固定閾値であってもよい。閾値決定ユニット７３１は、該符号化単位のサイズに対応する平均値閾値を、符号化単位に対応する第１閾値として決定してもよい。符号化単位に対応する第１閾値が固定閾値である場合、第１閾値と符号化単位のサイズとの間に負の相関がある。

別の可能な実施形態で、符号化単位に対応する第１閾値は、符号化単位の周囲の符号化単位の画素勾配の平均値と相関してもよい。前記符号化単位に対応する第１閾値を決定する際に、前記閾値決定ユニット７３１は、具体的に、

前記符号化単位の複数の隣接符号化単位を決定し、前記複数の隣接符号化単位のうち、第１隣接符号化単位の数が目標数以上である場合、前記第１隣接符号化単位のサイズと、前記第１隣接符号化単位に対応する画素勾配平均値とに基づいて、前記符号化単位に対応する第１閾値を決定し、前記複数の隣接符号化単位のうち、前記第１隣接符号化単位の数が前記目標数よりも小さい場合、前記符号化単位のサイズに対応する平均値閾値を、符号化単位に対応する第１閾値として決定する、ようにしてもよく、前記隣接符号化単位のエッジと前記符号化単位のエッジに重なるところがあり、又は前記隣接符号化単位の頂点と前記符号化単位の頂点に重なるところがあるが、前記隣接符号化単位における画像と前記符号化単位における画像とが重ならなく、前記第１隣接符号化単位が、フレーム内予測モードで予測符号化を行う符号化単位である。

本願の実施形態では、隣接符号化単位は、符号化単位の周囲の、符号化単位に接する符号化単位であってもよい。該隣接符号化単位は、予測符号化済みの符号化単位であってもよい。隣接符号化単位のサイズは、符号化単位のサイズと同じであってもよく、隣接符号化単位のサイズは、符号化単位のサイズと異なってもよい。

以下、例を挙げて、隣接符号化単位を説明する。図１１に示すように、符号化単位が、図１１に示すＣＵ１である場合、ＣＵ７、ＣＵ１７、ＣＵ１９、ＣＵ２０、ＣＵ２３には、ＣＵ１のエッジと重なるエッジがあり、ＣＵ６、ＣＵ１０、ＣＵ２２、及びＣＵ２４の頂点とＣＵ１の頂点に重なるところがある。このため、閾値決定ユニット７３１は、ＣＵ６、ＣＵ７、ＣＵ１０、ＣＵ１７、ＣＵ１９、ＣＵ２０、ＣＵ２２、ＣＵ２３、及びＣＵ２４が、いずれもＣＵ１の隣接符号化単位であると決定する。残りのＣＵには、ＣＵ１と重なるエッジ又は頂点がないため、閾値決定ユニット７３１は、残りのＣＵが符号化単位の隣接符号化単位ではないと決定する。

さらに、隣接符号化単位は、符号化単位の周囲の、特定の方向及び位置にある符号化単位であってもよい。例えば、隣接符号化単位は、符号化単位の周囲の、左上の位置、真上の位置、右上の位置、及び真左の位置にある隣接符号化単位である。この場合、閾値決定ユニット７３１は、ＣＵ６、ＣＵ７、ＣＵ１０、ＣＵ１７、ＣＵ１９がＣＵの隣接符号化単位であると決定する。

隣接符号化単位を符号化単位と同じサイズの符号化単位に限定し、依然としてＣＵ１が符号化単位である場合を例にすると、閾値決定ユニット７３１は、ＣＵ３、ＣＵ４、ＣＵ５、ＣＵ６を組み合わせた符号化単位、ＣＵ７、ＣＵ８、ＣＵ９、ＣＵ１０、ＣＵ１１を組み合わせた符号化単位、ＣＵ１６、ＣＵ１７、ＣＵ１８、ＣＵ１９を組み合わせた符号化単位、ＣＵ２０、ＣＵ２２、ＣＵ２３、ＣＵ３、ＣＵ２４、ＣＵ２５、ＣＵ２６を組み合わせた符号化単位を隣接符号化単位として決定する。

具体的な実現では、目標数は、４、５、６などの値に設定してもよい。

符号化単位のサイズに対応する平均値閾値は、固定閾値である。ここで、符号化単位のサイズが大きいほど、符号化単位のサイズに対応する平均値閾値が小さくなる。具体的な実現では、サイズが１６×１６画素の符号化単位、サイズが３２×３２画素の符号化単位、及びサイズが６４×６４画素の符号化単位にそれぞれ対応するための３つの平均値閾値を設計してもよい。

本願の実施形態では、符号化単位がＩフレームにおける符号化単位である場合、閾値決定ユニット７３１は、全ての隣接符号化単位がいずれも第１隣接符号化単位であると決定する。符号化単位が非Ｉフレームにおける符号化単位である場合、閾値決定ユニット７３１は、符号化単位決定モジュール７１によって、複数の隣接符号化単位の中から第１隣接符号化単位を決定する。

具体的な実現では、前記第１隣接符号化単位のサイズと、前記第１隣接符号化単位の画素勾配平均値とに基づいて、前記符号化単位に対応する第１閾値を決定する際に、前記閾値決定ユニット７３１は、具体的に、前記第１隣接符号化単位の中から第２隣接符号化単位を検索し、前記第２隣接符号化単位が存在する場合、第１係数と目標平均値との積を、前記符号化単位に対応する第１閾値として決定し、前記第２隣接単位が存在しない場合、前記符号化単位に対応する第１閾値がゼロであると決定する、ようにしてもよく、前記第２隣接符号化単位のサイズが、前記符号化単位のサイズ以上であり、前記目標平均値が、各第２隣接符号化単位に対応する画素勾配平均値の総和と前記第２隣接符号化単位の数との商である。

例えば、図１１に示す隣接符号化単位のうち、ＣＵ７、ＣＵ１０、ＣＵ１７、ＣＵ２０、ＣＵ２２、及びＣＵ２３は、いずれもフレーム内予測モードで予測符号化を行う符号化単位であり、かつ、ＣＵ７、ＣＵ２０、ＣＵ２２、及びＣＵ２３のサイズは、いずれもＣＵ１のサイズに等しい場合、閾値決定ユニット７３１は、ＣＵ７、ＣＵ２０、ＣＵ２２、及びＣＵ２３がいずれも第２隣接符号化単位であると決定する。

具体的な実現では、閾値決定ユニット７３１は、勾配情報決定モジュール７２によって、各隣接符号化単位に対応する画素勾配平均値を決定し、さらに、目標平均値を決定してもよい。

例えば、第２隣接符号化単位は、符号化単位２、符号化単位３、符号化単位４、符号化単位５であり、それらに対応する画素勾配平均値は、それぞれ画素勾配平均値１、画素勾配平均値２、画素勾配平均値３、画素勾配平均値４である場合、閾値決定ユニット７３１は、目標平均値が（画素勾配平均値１＋画素勾配平均値２＋画素勾配平均値３＋画素勾配平均値４）／４であると決定する。

理解できるように、ゼロである第１閾値は、勾配計算で取得可能な最小値である。

任意選択的に、前記符号化単位に対応する第１閾値を決定する際に、閾値決定ユニット７３１は、具体的に、前記符号化単位の複数の隣接符号化単位を決定し、前記複数の隣接符号化単位のうち、第１隣接符号化単位の数が目標数以上である場合、前記第１隣接符号化単位の分割状況と、前記第１隣接符号化単位の画素勾配平均値とに基づいて、前記符号化単位に対応する第１閾値を決定する、ようにしてもよく、前記隣接符号化単位のエッジと前記符号化単位のエッジに重なるところがあり、又は前記隣接符号化単位の頂点と前記符号化単位の頂点に重なるところがあるが、前記隣接符号化単位における画像と前記符号化単位における画像とが重ならなく、前記第１隣接符号化単位が、フレーム内予測モードで予測符号化を行う符号化単位である。

具体的な実現では、閾値決定ユニット７３１は、具体的に、前記第１隣接符号化単位の中から第３隣接符号化単位を検索し、前記第３隣接符号化単位が存在する場合、第１係数と目標平均値との積を前記符号化単位に対応する第１閾値として決定する、ようにしてもよく、前記第３隣接符号化単位が、分割されていない第１隣接符号化単位であり、前記目標平均値が、各第２隣接符号化単位に対応する画素勾配平均値の総和と前記第２隣接符号化単位の数との商である。

コスト決定モジュール７４は、前記事前判定モジュール７３による前記符号化単位の分割事前判定の結果が「分割しない」である場合、第１符号化コストを前記符号化単位の第２符号化コストとして決定し、前記第２符号化コストが、前記符号化単位に対応する符号化ツリー単位の分割ポリシーの決定に用いられ、前記第１符号化コストが、前記符号化単位の現在のサイズを予測単位のサイズとして前記符号化単位を予測符号化することにより取得された符号化コストである。

本願の実施形態では、第１符号化コストは、符号化単位の、ＰＵ分割方式が２Ｎ×２Ｎである場合での符号化コストである。予測単位のサイズが符号化単位の現在のサイズであることに対応する予測モードが１種類だけある場合、第１符号化コストは、該予測モードで前記符号化単位を予測符号化することにより取得された符号化コスト、即ち、該予測モードに対応する符号化コストである。予測単位のサイズが符号化単位の現在のサイズであることに対応する予測モードが複数種類ある場合、第１符号化コストは、前記符号化単位の現在のサイズを予測単位のサイズとして前記符号化単位を予測符号化することにより取得された最小符号化コストである。

例を挙げて説明すると、例えば、符号化単位のサイズが３２×３２画素であり、サイズが３２×３２画素である予測単位に対応する予測モードが、予測モード１である１種類だけある場合、第１符号化コストは、予測モード１で符号化単位を予測符号化することにより取得された符号化コストである。サイズが３２×３２画素の予測単位に対応する予測モードが、それぞれ、予測モード１、予測モード２、予測モード３、及び予測モード４である計４種類ある場合、コスト決定モジュール７４がこれらの４種類の予測モードのそれぞれで符号化単位を予測符号化することにより取得された符号化コストは、それぞれ、ｃ１１、ｃ１２、ｃ１３、ｃ１４であり、かつｃ１１＜ｃ１２＜ｃ１３＜ｃ１４であると、コスト決定モジュール７４は、第１符号化コストがｃ１１であると決定する。

本願の実施形態では、第２符号化コストは、符号化単位の最終的な符号化コストを意味する。該符号化単位がＣＴＵである場合、ＣＴＵの第２符号化コストは、上記の図３Ｅに示す過程における再帰過程で決定されたＣＴＵの最小符号化コスト（ｃ０）と同じであるとみなしてもよい。該第２符号化コストが第１符号化コストであるため、上記におけるＣＴＵの最小符号化コストに基づいて分割ポリシーを決定することについての紹介によれば、該ＣＴＵの分割ポリシーが「分割しない」であり、即ち、ＣＴＵの現在のサイズで直接に符号化を行うと決定することができる。該符号化単位がＣＴＵではなく、かつ第４層のＣＵではない場合、符号化単位の第２符号化コストは、上記の図３Ｃ又は図３Ｄに示す過程における、ＣＵの、ＰＵ分割方式が２Ｎ×２Ｎである場合での最小符号化コストと、ＰＵ分割方式がＮ×Ｎである場合での最小符号化コストとを比較することにより決定されたＣＵの最小符号化コスト（ｃ２１、ｃ３１など）と同じであるとみなしてもよい。該第２符号化コストは、該符号化単位の上位層ノードの、ＰＵ分割方式がＮ×Ｎである場合での最小符号化コストの計算に用いられる。さらに、再帰方式でＣＴＵの第２符号化コストを決定し、次にＣＴＵの分割ポリシーを決定することができる。

本願の実施形態では、符号化単位をフレーム内予測モードで予測符号化する必要があると決定した後、該符号化単位の画素勾配情報を決定し、該符号化単位の画素勾配情報に基づいて、符号化単位に対して分割事前判定を行い、分割事前判定の結果が「分割しない」である場合、符号化単位の現在のサイズを予測単位のサイズとして符号化単位を予測符号化することにより取得された符号化コストを、符号化単位の最終的な符号化コストとして決定する。これにより、符号化単位の分割が必要でないと決定し、該符号化単位の分割を繰り上げて終了することができ、符号化単位をサブ符号化単位に分割してから、サブ符号化単位を新たな符号化単位として予測符号化、符号化コスト計算などを行う計算過程が省かれ、計算量が削減され、符号化速度が向上する。

図１５を参照すると、図１５は、本願の実施形態で提供された符号化単位の符号化コストの決定装置の構成の模式図である。前記装置は、上記図１３に対応する実施形態における符号化単位決定モジュール７１と、勾配情報決定モジュール７２と、事前判定モジュール７３と、コスト決定モジュール７４と、を含んでもよい。さらに、前記装置は、分割モジュール７５を含んでもよい。ここで、

分割モジュール７５は、前記事前判定モジュールによる前記符号化単位の分割事前判定の結果が「分割する」である場合、前記符号化単位を少なくとも２つのサブ符号化単位に分割する。

具体的な実現では、従来技術における領域４分木の方式を参照して、分割モジュール７５は、符号化単位を４つのサブ符号化単位に分割してもよい。当然のことながら、分割モジュール７５は、符号化単位を他の数のサブ符号化単位に分割してもよいが、本願の実施形態は限定しない。

前記符号化単位決定モジュール７１は、さらに、前記少なくとも２つのサブ符号化単位を、フレーム内予測モードで予測符号化を行う新たな符号化単位とし、前記勾配情報決定モジュール７２は、さらに、前記少なくとも２つのサブ符号化単位に対応する画素勾配情報をそれぞれ決定し、前記事前判定モジュール７３は、さらに、前記画素勾配情報に基づいて、前記少なくとも２つのサブ符号化単位のそれぞれに対して分割事前判定を行い、前記コスト決定モジュール７４は、さらに、前記少なくとも２つのサブ符号化単位の符号化コストをそれぞれ決定する。

具体的な実現では、勾配情報決定モジュール７２は、符号化単位に対応する画素勾配情報を決定する方式で、前記少なくとも２つのサブ符号化単位のそれぞれに対応する画素勾配情報を決定してもよい。事前判定モジュール７３は、符号化単位に対応する画素勾配情報に基づいて、符号化単位に対して分割事前判定を行う方式で、前記少なくとも２つのサブ符号化単位のそれぞれに対して分割事前判定を行ってもよい。コスト決定モジュール７４は、符号化単位の符号化コストを決定する方式で、前記少なくとも２つのサブ符号化単位の符号化コストをそれぞれ決定してもよい。具体的には、前述の図１３に対応する実施形態における関連説明を参照すればよい。

前記コスト決定モジュール７４は、さらに、前記少なくとも２つのサブ符号化単位の符号化コストの和が前記第１符号化コスト以上である場合、前記第１符号化コストを前記符号化単位の第２符号化コストとして決定する。

前記コスト決定モジュール７４は、さらに、前記少なくとも２つのサブ符号化単位の符号化コストの和が前記第１符号化コストよりも大きい場合、前記少なくとも２つのサブ符号化単位の符号化コストの和を前記符号化単位の第２符号化コストとして決定する。

本願の実施形態では、符号化単位をフレーム内予測モードで予測符号化する必要があると決定した後、該符号化単位の画素勾配情報を決定し、該符号化単位の画素勾配情報に基づいて、符号化単位に対して分割事前判定を行い、分割事前判定の結果が「分割しない」である場合、符号化単位の現在のサイズを予測単位のサイズとして符号化単位を予測符号化することにより取得された符号化コストを、符号化単位の最終的な符号化コストとして決定する。これにより、符号化単位の分割が必要でないと決定し、該符号化単位の分割を繰り上げて終了することができる。分割事前判定の結果が「分割する」である場合にのみ、符号化単位を分割し、次に符号化単位に対応するサブ符号化単位の符号化コストの和と第１符号化コストとの大きさを比較する。サブ符号化単位の符号化コストの決定にも同様な符号化コスト決定方法が用いられるため、サブ符号化単位のさらなる分割を繰り上げて終了することができる。符号化単位の分割をできるだけ繰り上げて終了することにより、符号化コストの大量の計算過程が省かれ、計算量が削減され、ＣＴＵの分割ポリシーがなるべく早く決定され、符号化速度が向上する。

図１６を参照すると、図１６は、本願の実施形態で提供された端末の構成の模式図である。図１６に示すように、前記端末８０は、少なくとも１つのプロセッサ８０１（例えば、ＣＰＵ）と、入出力インタフェース８０３と、メモリ８０４と、少なくとも１つの通信バス８０２と、を含んでもよい。ここで、通信バス８０２は、これらの構成要素間の接続通信を実現する。ここで、入出力インタフェース８０３は、標準的な有線インタフェース（例えば、ＵＳＢインタフェース）、無線インタフェース（例えば、ＷＩ−ＦＩインタフェース）を含んでもよい。任意選択的に、入出力インタフェース８０３は、ユーザインタフェース（例えば、ディスプレイ、キーボード、マウスなど）を含んでもよい。メモリ８０４は、高速ＲＡＭメモリであってもよいし、不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）であってもよく、例えば、少なくとも１つの磁気ディスクメモリであってもよい。任意選択的に、メモリ８０４は、前記プロセッサ８０１から離れた少なくとも１つの記憶装置であってもよい。図１５に示すように、コンピュータ可読記憶媒体であるメモリ８０４には、オペレーティングシステム、ネットワーク通信モジュール、ユーザインタフェースモジュール、符号化コスト決定プログラム、及び画像が含まれてもよい。

図１５に示す端末８０において、入出力インタフェース８０３は、画像を取得して端末に送信する。任意選択的に、入出力インタフェースは、さらに、プロセッサが処理した画像を出力するために用いられてもよい。プロセッサ８０１は、画像を分割することにより、符号化単位を取得することができる。さらに、プロセッサ８０１は、メモリ８０４に記憶されている符号化コスト決定プログラムを呼び出し、具体的に、
フレーム内予測モードで予測符号化を行う符号化単位を決定するステップと、
前記符号化単位に対応する画素勾配情報を決定するステップであって、前記画素勾配情報には、画素勾配分散が含まれ、前記画素勾配分散が、符号化単位における少なくとも一部の画素の画像勾配の分散である、ステップと、
前記画素勾配情報に基づいて、前記符号化単位に対して分割事前判定を行うステップと、
前記符号化単位の分割事前判定の結果が「分割しない」である場合、第１符号化コストを前記符号化単位の第２符号化コストとして決定するステップであって、前記第２符号化コストが、前記符号化単位に対応する符号化ツリー単位の分割ポリシーの決定に用いられ、前記第１符号化コストが、前記符号化単位の現在のサイズを予測単位のサイズとして前記符号化単位を予測符号化することにより取得された符号化コストである、ステップと、を実行するために用いられてもよい。

一実施形態では、前記プロセッサ８０１は、メモリ８０４に記憶されている符号化コスト決定プログラムを呼び出すことにより、
前記符号化単位の分割事前判定の結果が「分割する」である場合、前記符号化単位を少なくとも２つのサブ符号化単位に分割するステップと、
前記少なくとも２つのサブ符号化単位を、フレーム内予測モードで予測符号化を行う新たな符号化単位として、符号化単位の符号化コストの前記決定方法を実行することにより、前記少なくとも２つのサブ符号化単位の符号化コストをそれぞれ決定するステップと、
前記少なくとも２つのサブ符号化単位の符号化コストの和が前記第１符号化コスト以上である場合、前記第１符号化コストを前記符号化単位の第２符号化コストとして決定するステップと、
前記少なくとも２つのサブ符号化単位の符号化コストの和が前記第１符号化コストよりも小さい場合、前記少なくとも２つのサブ符号化単位の符号化コストの和を前記符号化単位の第２符号化コストとして決定するステップと、を実行してもよい。

一実施形態では、前記プロセッサ８０１は、前記画素勾配情報に基づいて、前記符号化単位に対して分割事前判定を行うステップを実行する際に、具体的に、
前記符号化単位に対応する分散閾値を決定するステップと、
前記画素勾配分散が前記分散閾値よりも小さい場合、前記符号化単位の分割事前判定の結果が「分割しない」であると決定するステップと、
前記画素勾配分散が前記分散閾値以上である場合、前記符号化単位の分割事前判定の結果が「分割する」であると決定するステップと、を実行する。

一実施形態では、前記画素勾配情報には、画素勾配平均値がさらに含まれ、前記画素勾配平均値が、符号化単位における少なくとも一部の画素の画像勾配の平均値であり、前記プロセッサ８０１は、前記画素勾配情報に基づいて、前記符号化単位に対して分割事前判定を行うステップを実行する際に、具体的に、
前記符号化単位に対応する第１閾値、前記符号化単位に対応する第２閾値、及び前記符号化単位に対応する分散閾値を決定するステップであって、前記第２閾値が前記第１閾値よりも大きい、ステップと、
前記画素勾配平均値が前記第１閾値よりも小さい場合、前記符号化単位の分割事前判定の結果が「分割しない」であると決定し、又は、前記画素勾配平均値が前記第１閾値以上であり、かつ前記画素勾配平均値が前記第２閾値よりも小さく、かつ前記画素勾配分散が前記分散閾値よりも小さい場合、前記符号化単位の分割事前判定の結果が「分割しない」であると決定し、又は、前記画素勾配平均値が前記第１閾値以上であり、かつ前記画素勾配平均値が前記第２閾値よりも小さく、かつ前記画素勾配分散が前記分散閾値以上である場合、前記符号化単位の分割事前判定の結果が「分割する」であると決定し、又は、前記画素勾配平均値が前記第２閾値以上である場合、前記符号化単位の分割事前判定の結果が「分割する」であると決定するステップと、を実行する。

一実施形態では、前記プロセッサ８０１は、前記符号化単位に対応する第１閾値を決定するステップを実行する際に、具体的に、
前記符号化単位の複数の隣接符号化単位を決定するステップであって、前記隣接符号化単位のエッジと前記符号化単位のエッジに重なるところがあり、又は前記隣接符号化単位の頂点と前記符号化単位の頂点に重なるところがあるが、前記隣接符号化単位における画像と前記符号化単位における画像とが重ならない、ステップと、
前記複数の隣接符号化単位のうち、第１隣接符号化単位の数が目標数以上である場合、前記第１隣接符号化単位のサイズと、前記第１隣接符号化単位に対応する画素勾配平均値とに基づいて、前記符号化単位に対応する第１閾値を決定するステップであって、前記第１隣接符号化単位が、フレーム内予測モードで予測符号化を行う符号化単位である、ステップと、
前記複数の隣接符号化単位のうち、前記第１隣接符号化単位の数が前記目標数よりも小さい場合、前記符号化単位のサイズに対応する平均値閾値を、符号化単位に対応する第１閾値として決定するステップと、を実行する。

一実施形態では、前記プロセッサ８０１は、前記第１隣接符号化単位のサイズと、前記第１隣接符号化単位に対応する画素勾配平均値とに基づいて、前記符号化単位に対応する第１閾値を決定するステップを実行する際に、具体的に、
前記第１隣接符号化単位の中から第２隣接符号化単位を検索するステップであって、前記第２隣接符号化単位のサイズが、前記符号化単位のサイズ以上である、ステップと、
前記第２隣接符号化単位が存在する場合、第１係数と目標平均値との積を、前記符号化単位に対応する第１閾値として決定するステップであって、前記目標平均値が、各第２隣接符号化単位に対応する画素勾配平均値の総和と前記第２隣接符号化単位の数との商である、ステップと、
前記第２隣接単位が存在しない場合、前記符号化単位に対応する第１閾値がゼロであると決定するステップと、を実行する。

一実施形態では、前記符号化単位に対応する第２閾値は、前記符号化単位に対応する第１閾値と第２係数との積である。

一実施形態では、前記符号化単位に対応する分散閾値と、前記符号化単位に対応する量子化パラメータとの間に正の相関がある。

本願の実施形態では、符号化単位をフレーム内予測モードで予測符号化する必要があると決定した後、該符号化単位の画素勾配情報を決定し、該符号化単位の画素勾配情報に基づいて、符号化単位に対して分割事前判定を行い、分割事前判定の結果が「分割しない」である場合、符号化単位の現在のサイズを予測単位のサイズとして符号化単位を予測符号化することにより取得された符号化コストを、符号化単位の最終的な符号化コストとして決定する。これにより、符号化単位の分割が必要でないと決定し、該符号化単位の分割を繰り上げて終了することができる。分割事前判定の結果が「分割する」である場合にのみ、符号化単位を分割し、次に符号化単位に対応するサブ符号化単位の符号化コストの和と第１符号化コストとの大きさを比較する。サブ符号化単位の符号化コストの決定にも同様な符号化コスト決定方法が用いられるため、サブ符号化単位のさらなる分割を繰り上げて終了することができる。符号化単位の分割をできるだけ繰り上げて終了することにより、符号化コストの大量の計算過程が省かれ、計算量が削減され、ＣＴＵの分割ポリシーがなるべく早く決定され、符号化速度が向上する。

当業者であれば理解できるように、上記実施形態を実現するための方法のフローの全部又は一部は、コンピュータプログラムによって関連ハードウェアに指示することにより実行されてもよい。前記プログラムは、コンピュータ可読記憶媒体に記憶されてもよく、該プログラムは、実行されるとき、上述した各方法の実施形態のフローを含んでもよい。ここで、前記記憶媒体は、磁気ディスク、光ディスク、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、又はランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などであってもよい。

上記に掲示された内容は、本発明の好ましい実施形態にすぎず、これで本願の特許請求の範囲を限定する意図はないことは言うまでもない。それゆえ、本願の特許請求の範囲に基づいて行われた均等な変更も本願の保護範囲に属する。

７０ 符号化単位の符号化コストの決定装置
７１ 符号化単位決定モジュール
７２ 勾配情報決定モジュール
７３ 事前判定モジュール
７３１ 閾値決定ユニット
７３２ 結果決定ユニット
７４ コスト決定モジュール
７５ 分割モジュール
８０ 端末
８０１ プロセッサ
８０２ 通信バス
８０３ 入出力インタフェース
８０４ メモリ

領域４分木が形成されると、図３Ｂに示すように、６４×６４画素を予測単位（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）のサイズとして、ＣＴＵを予測符号化することにより、最適な予測モードを決定し、ＣＴＵの最適な予測モードでの符号化コスト（Ｃ１）を決定する。該符号化コストは、ＣＴＵの、ＰＵ分割方式が２Ｎ×２Ｎである場合での最小符号化コストである。３２×３２画素を予測単位のサイズとして、第２層の各ＣＵをそれぞれ予測符号化することにより、第２層の各ＣＵの最適な予測モードを決定し、第２層の各ＣＵの最適な予測モードでの符号化コスト（Ｃ２１、Ｃ２２、Ｃ２３、Ｃ２４）を決定し、該符号化コストが、第２層の各ＣＵの、ＰＵ分割方式が２Ｎ×２Ｎである場合での最小符号化コストである。１６×１６画素を予測単位のサイズとして、第３層の各ＣＵをそれぞれ予測符号化することにより、第３層の各ＣＵの最適な予測モードを決定し、第３層の各ＣＵの最適な予測モードでの符号化コスト（Ｃ３１、…、Ｃ３４；Ｃ３５、…、Ｃ３８；Ｃ３９、…、Ｃ３１２；Ｃ３１３、…、Ｃ３１６）を決定し、該符号化コストが、第３層の各ＣＵの、ＰＵ分割方式が２Ｎ×２Ｎである場合での最小符号化コストである。８×８画素を予測単位のサイズとして、第４層の各ＣＵをそれぞれ予測符号化することにより、第４層の各ＣＵの最適な予測モードを決定し、第４層の各ＣＵの最適な予測モードでの符号化コスト（ｃ１、…、ｃ４；ｃ５、…、ｃ８；…；ｃ５７、…、ｃ６０；ｃ６１、…、ｃ６４）を決定し、該符号化コストが、第４層の各ＣＵの、ＰＵ分割方式が２Ｎ×２Ｎである場合での最小符号化コストである。

まず、図７Ａに示すように、ＣＴＵをＣＵとして決定し、６４×６４画素を予測単位のサイズとしてＣＴＵを予測符号化することにより、ＣＴＵの最適予測モードを決定し、ＣＴＵの最適予測モードでの符号化コスト、即ちＣ１を決定し、該符号化コストがＣＴＵの第１符号化コストである。ＣＴＵの画素勾配情報に基づいて、ＣＴＵに対して分割事前判定を行う。

ＣＴＵの分割事前判定の結果が「分割しない」である場合、第１符号化コストＣ１をＣＴＵの第２符号化コストとして決定し、即ちｃ０＝Ｃ１にする。このとき、ＣＴＵの第２符号化コストが決定されるため、図４から分かるように、ＣＴＵの分割ポリシーが決定され、即ち、ＣＴＵの分割が必要でなく、分割が終了する。ＣＴＵの分割ポリシーが決定されるため、図３Ｂに示す過程と同様に、第２層のＣＵ、第３層のＣＵ、第４層のＣＵの符号化コストを順次に計算する必要がなく、図３Ｃ〜図３Ｅの過程を実行する必要もなく、大量の計算が省かれ、符号化速度が向上する。

ＣＴＵの分割事前判定の結果が「分割する」である場合、ＣＴＵを４つの３２×３２画素のＣＵ、即ち第２層のＣＵに分割する。

第２層のターゲットＣＵの分割事前判定の結果が「分割しない」である場合、第１符号化コストを第２層のターゲットＣＵの第２符号化コストとして決定する。このとき、第２層のターゲットＣＵの第２符号化コストが決定されるため、第２層のターゲットＣＵの分割が終了する。図３Ｂに示す過程と同様に該ターゲットＣＵの下位の第３層のＣＵ、第４層のＣＵの符号化コストを順次に計算する必要がなく、同様に大量の計算が省かれ、符号化速度が向上する。

第２層のターゲットＣＵの分割事前判定の結果が「分割する」である場合、第２層のターゲットＣＵを４つの１６×１６画素のサブＣＵ、即ち第３層のＣＵに分割する。

図７Ｃに示すように、１６×１６画素を予測単位のサイズとして第３層の各ＣＵをそれぞれ予測符号化することにより、第３層の各ＣＵの最適な予測モードを決定し、第３層の各ＣＵの最適な予測モードでの符号化コストを決定し、該符号化コストが、第３層の各ＣＵの第１符号化コストである。第３層の各ＣＵの画素勾配情報に基づいて、第３層の各ＣＵに対して分割事前判定をそれぞれ行う。

第３層のターゲットＣＵの分割事前判定の結果が「分割しない」である場合、第３層のターゲットＣＵの第１符号化コストを第３層のターゲットＣＵの第２符号化コストとして決定する。このとき、第３層のターゲットＣＵの第２符号化コストが決定されるため、第３層のターゲットＣＵの分割が終了する。ターゲットＣＵを分割しないことが決定されるため、図３Ｂに示す過程と同様に該ターゲットＣＵの下位の第４層のＣＵを順次に計算する必要がなく、大量の計算も省かれ、符号化速度が向上する。

第３層のターゲットＣＵの分割事前判定の結果が「分割する」である場合、第３層のターゲットＣＵを４つの８×８画素のＣＵ、即ち第４層のＣＵに分割する。

本願の実施形態では、第１閾値及び第２閾値は、いずれも平均値閾値である。符号化単位に対応する第１閾値がゼロでない場合、符号化単位に対応する第２閾値は、符号化単位に対応する第１閾値の一定の倍数であってもよい。即ち、符号化単位に対応する第２閾値は、符号化単位に対応する第１閾値と第２係数との積であり、第２係数は１よりも大きい。符号化単位に対応する第１閾値がゼロである場合、符号化単位に対応する第２閾値は、符号化単位に対応する第１閾値と目標平均値閾値との和であってもよく、目標平均値閾値は、固定閾値である。

隣接符号化単位を符号化単位と同じサイズの符号化単位に限定し、依然としてＣＵ１が符号化単位である場合を例にすると、ＣＵ１の隣接符号化単位は、ＣＵ３、ＣＵ４、ＣＵ５、ＣＵ６を組み合わせた符号化単位、ＣＵ７、ＣＵ８、ＣＵ９、ＣＵ１０、ＣＵ１１を組み合わせた符号化単位、ＣＵ１６、ＣＵ１７、ＣＵ１８、ＣＵ１９を組み合わせた符号化単位、ＣＵ２０、ＣＵ２２、ＣＵ２３、ＣＵ２４、ＣＵ２５、ＣＵ２６、ＣＵ２７を組み合わせた符号化単位であってもよい。

Ｓ６０３で、前記第２隣接符号化単位が存在しない場合、前記符号化単位に対応する第１閾値がゼロであると決定する。

具体的な実現では、前記第１隣接符号化単位の分割状況と、前記第１隣接符号化単位の画素勾配平均値とに基づいて、前記符号化単位に対応する第１閾値を決定する前記ステップは、前記第１隣接符号化単位の中から第３隣接符号化単位を検索するステップであって、前記第３隣接符号化単位が、分割されていない第１隣接符号化単位である、ステップと、前記第３隣接符号化単位が存在する場合、第１係数と目標平均値との積を前記符号化単位に対応する第１閾値として決定するステップであって、前記目標平均値が、各第３隣接符号化単位に対応する画素勾配平均値の総和と前記第３隣接符号化単位の数との商である、ステップと、を含む。

他の具体的な実現形態では、前記画素勾配情報には、画素勾配平均値がさらに含まれ、閾値決定ユニット７３１は、前記符号化単位に対応する第１閾値、前記符号化単位に対応する第２閾値、及び前記符号化単位に対応する分散閾値を決定し、前記第２閾値が前記第１閾値よりも大きい。結果決定ユニット７３２は、前記画素勾配平均値が前記第１閾値よりも小さい場合、前記符号化単位の分割事前判定の結果が「分割しない」であると決定する。前記結果決定ユニット７３２は、さらに、前記画素勾配平均値が前記第１閾値以上であり、かつ前記画素勾配平均値が前記第２閾値よりも小さく、かつ前記画素勾配分散が前記分散閾値よりも小さい場合、前記符号化単位の分割事前判定の結果が「分割しない」であると決定する。前記結果決定ユニット７３２は、さらに、前記画素勾配平均値が前記第１閾値以上であり、かつ前記画素勾配平均値が前記第２閾値よりも小さく、かつ前記画素勾配分散が前記分散閾値以上である場合、前記符号化単位の分割事前判定の結果が「分割する」であると決定する。前記結果決定ユニット７３２は、さらに、前記画素勾配平均値が前記第２閾値以上である場合、前記符号化単位の分割事前判定の結果が「分割する」であると決定する。

本願の実施形態では、第１閾値及び第２閾値は、いずれも平均値閾値である。符号化単位に対応する第１閾値がゼロでない場合、符号化単位に対応する第２閾値は、符号化単位に対応する第１閾値の一定の倍数であってもよい。即ち、閾値決定ユニット７３１は、符号化単位に対応する第２閾値が、符号化単位に対応する第１閾値と第２係数との積であるように決定してもよく、第２係数は１よりも大きい。符号化単位に対応する第１閾値がゼロである場合、閾値決定ユニット７３１は、符号化単位に対応する第２閾値が、符号化単位に対応する第１閾値と目標平均値閾値との和であるように決定してもよく、目標平均値閾値は、固定閾値である。

さらに、隣接符号化単位は、符号化単位の周囲の、特定の方向及び位置にある符号化単位であってもよい。例えば、隣接符号化単位は、符号化単位の周囲の、左上の位置、真上の位置、右上の位置、及び真左の位置にある隣接符号化単位である。この場合、閾値決定ユニット７３１は、ＣＵ６、ＣＵ７、ＣＵ１０、ＣＵ１７、ＣＵ１９がＣＵ１の隣接符号化単位であると決定する。

隣接符号化単位を符号化単位と同じサイズの符号化単位に限定し、依然としてＣＵ１が符号化単位である場合を例にすると、閾値決定ユニット７３１は、ＣＵ３、ＣＵ４、ＣＵ５、ＣＵ６を組み合わせた符号化単位、ＣＵ７、ＣＵ８、ＣＵ９、ＣＵ１０、ＣＵ１１を組み合わせた符号化単位、ＣＵ１６、ＣＵ１７、ＣＵ１８、ＣＵ１９を組み合わせた符号化単位、ＣＵ２０、ＣＵ２２、ＣＵ２３、ＣＵ２４、ＣＵ２５、ＣＵ２６、ＣＵ２７を組み合わせた符号化単位を隣接符号化単位として決定する。

具体的な実現では、前記第１隣接符号化単位のサイズと、前記第１隣接符号化単位の画素勾配平均値とに基づいて、前記符号化単位に対応する第１閾値を決定する際に、前記閾値決定ユニット７３１は、具体的に、前記第１隣接符号化単位の中から第２隣接符号化単位を検索し、前記第２隣接符号化単位が存在する場合、第１係数と目標平均値との積を、前記符号化単位に対応する第１閾値として決定し、前記第２隣接符号化単位が存在しない場合、前記符号化単位に対応する第１閾値がゼロであると決定する、ようにしてもよく、前記第２隣接符号化単位のサイズが、前記符号化単位のサイズ以上であり、前記目標平均値が、各第２隣接符号化単位に対応する画素勾配平均値の総和と前記第２隣接符号化単位の数との商である。

図１６を参照すると、図１６は、本願の実施形態で提供された端末の構成の模式図である。図１６に示すように、前記端末８０は、少なくとも１つのプロセッサ８０１（例えば、ＣＰＵ）と、入出力インタフェース８０３と、メモリ８０４と、少なくとも１つの通信バス８０２と、を含んでもよい。ここで、通信バス８０２は、これらの構成要素間の接続通信を実現する。ここで、入出力インタフェース８０３は、標準的な有線インタフェース（例えば、ＵＳＢインタフェース）、無線インタフェース（例えば、ＷＩ−ＦＩインタフェース）を含んでもよい。任意選択的に、入出力インタフェース８０３は、ユーザインタフェース（例えば、ディスプレイ、キーボード、マウスなど）を含んでもよい。メモリ８０４は、高速ＲＡＭメモリであってもよいし、不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）であってもよく、例えば、少なくとも１つの磁気ディスクメモリであってもよい。任意選択的に、メモリ８０４は、前記プロセッサ８０１から離れた少なくとも１つの記憶装置であってもよい。図１６に示すように、コンピュータ可読記憶媒体であるメモリ８０４には、オペレーティングシステム、ネットワーク通信モジュール、ユーザインタフェースモジュール、符号化コスト決定プログラム、及び画像が含まれてもよい。

図１６に示す端末８０において、入出力インタフェース８０３は、画像を取得して端末に送信する。任意選択的に、入出力インタフェースは、さらに、プロセッサが処理した画像を出力するために用いられてもよい。プロセッサ８０１は、画像を分割することにより、符号化単位を取得することができる。さらに、プロセッサ８０１は、メモリ８０４に記憶されている符号化コスト決定プログラムを呼び出し、具体的に、
フレーム内予測モードで予測符号化を行う符号化単位を決定するステップと、
前記符号化単位に対応する画素勾配情報を決定するステップであって、前記画素勾配情報には、画素勾配分散が含まれ、前記画素勾配分散が、符号化単位における少なくとも一部の画素の画像勾配の分散である、ステップと、
前記画素勾配情報に基づいて、前記符号化単位に対して分割事前判定を行うステップと、
前記符号化単位の分割事前判定の結果が「分割しない」である場合、第１符号化コストを前記符号化単位の第２符号化コストとして決定するステップであって、前記第２符号化コストが、前記符号化単位に対応する符号化ツリー単位の分割ポリシーの決定に用いられ、前記第１符号化コストが、前記符号化単位の現在のサイズを予測単位のサイズとして前記符号化単位を予測符号化することにより取得された符号化コストである、ステップと、を実行するために用いられてもよい。

一実施形態では、前記プロセッサ８０１は、前記第１隣接符号化単位のサイズと、前記第１隣接符号化単位に対応する画素勾配平均値とに基づいて、前記符号化単位に対応する第１閾値を決定するステップを実行する際に、具体的に、
前記第１隣接符号化単位の中から第２隣接符号化単位を検索するステップであって、前記第２隣接符号化単位のサイズが、前記符号化単位のサイズ以上である、ステップと、
前記第２隣接符号化単位が存在する場合、第１係数と目標平均値との積を、前記符号化単位に対応する第１閾値として決定するステップであって、前記目標平均値が、各第２隣接符号化単位に対応する画素勾配平均値の総和と前記第２隣接符号化単位の数との商である、ステップと、
前記第２隣接符号化単位が存在しない場合、前記符号化単位に対応する第１閾値がゼロであると決定するステップと、を実行する。

Claims (15)

1. サーバが実行する、符号化単位の符号化コストの決定方法であって、
   フレーム内予測モードで予測符号化を行う符号化単位を決定するステップと、
   前記符号化単位に対応する画素勾配情報を決定するステップであって、前記画素勾配情報には、画素勾配分散が含まれ、前記画素勾配分散が、符号化単位における少なくとも一部の画素の画像勾配の分散である、ステップと、
   前記画素勾配情報に基づいて、前記符号化単位に対して分割事前判定を行うステップと、
   前記符号化単位の分割事前判定の結果が「分割しない」である場合、第１符号化コストを前記符号化単位の第２符号化コストとして決定するステップであって、前記第２符号化コストが、前記符号化単位に対応する符号化ツリー単位の分割ポリシーの決定に用いられ、前記第１符号化コストが、前記符号化単位の現在のサイズを予測単位のサイズとして前記符号化単位を予測符号化することにより取得された符号化コストである、ステップと、
   を含むことを特徴とする方法。
2. 前記符号化単位の分割事前判定の結果が「分割する」である場合、前記符号化単位を少なくとも２つのサブ符号化単位に分割するステップと、
   前記少なくとも２つのサブ符号化単位を、フレーム内予測モードで予測符号化を行う新たな符号化単位として、符号化単位の符号化コストの前記決定方法を実行することにより、前記少なくとも２つのサブ符号化単位の符号化コストをそれぞれ決定するステップと、
   前記少なくとも２つのサブ符号化単位の符号化コストの和が前記第１符号化コスト以上である場合、前記第１符号化コストを前記符号化単位の第２符号化コストとして決定するステップと、
   前記少なくとも２つのサブ符号化単位の符号化コストの和が前記第１符号化コストよりも小さい場合、前記少なくとも２つのサブ符号化単位の符号化コストの和を前記符号化単位の第２符号化コストとして決定するステップと、
   をさらに含むことを特徴とする請求項１に記載の方法。
3. 前記画素勾配情報に基づいて、前記符号化単位に対して分割事前判定を行う前記ステップは、
   前記符号化単位に対応する分散閾値を決定するステップと、
   前記画素勾配分散が前記分散閾値よりも小さい場合、前記符号化単位の分割事前判定の結果が「分割しない」であると決定するステップと、
   前記画素勾配分散が前記分散閾値以上である場合、前記符号化単位の分割事前判定の結果が「分割する」であると決定するステップと、
   を含むことを特徴とする請求項１に記載の方法。
4. 前記画素勾配情報には、画素勾配平均値がさらに含まれ、前記画素勾配平均値が、符号化単位における少なくとも一部の画素の画像勾配の平均値であり、
   前記画素勾配情報に基づいて、前記符号化単位に対して分割事前判定を行う前記ステップは、
   前記符号化単位に対応する第１閾値、前記符号化単位に対応する第２閾値、及び前記符号化単位に対応する分散閾値を決定するステップであって、前記第２閾値が前記第１閾値よりも大きい、ステップと、
   前記画素勾配平均値が前記第１閾値よりも小さい場合、前記符号化単位の分割事前判定の結果が「分割しない」であると決定し、又は、前記画素勾配平均値が前記第１閾値以上であり、かつ前記画素勾配平均値が前記第２閾値よりも小さく、かつ前記画素勾配分散が前記分散閾値よりも小さい場合、前記符号化単位の分割事前判定の結果が「分割しない」であると決定し、又は、前記画素勾配平均値が前記第１閾値以上であり、かつ前記画素勾配平均値が前記第２閾値よりも小さく、かつ前記画素勾配分散が前記分散閾値以上である場合、前記符号化単位の分割事前判定の結果が「分割する」であると決定し、又は、前記画素勾配平均値が前記第２閾値以上である場合、前記符号化単位の分割事前判定の結果が「分割する」であると決定するステップと、
   を含むことを特徴とする請求項１に記載の方法。
5. 前記符号化単位に対応する第１閾値を決定する前記ステップは、
   前記符号化単位の複数の隣接符号化単位を決定するステップであって、前記隣接符号化単位のエッジと前記符号化単位のエッジに重なるところがあり、又は前記隣接符号化単位の頂点と前記符号化単位の頂点に重なるところがあるが、前記隣接符号化単位における画像と前記符号化単位における画像とが重ならない、ステップと、
   前記複数の隣接符号化単位のうち、第１隣接符号化単位の数が目標数以上である場合、前記第１隣接符号化単位のサイズと、前記第１隣接符号化単位に対応する画素勾配平均値とに基づいて、前記符号化単位に対応する第１閾値を決定するステップであって、前記第１隣接符号化単位が、フレーム内予測モードで予測符号化を行う符号化単位である、ステップと、
   前記複数の隣接符号化単位のうち、前記第１隣接符号化単位の数が前記目標数よりも小さい場合、前記符号化単位のサイズに対応する平均値閾値を、符号化単位に対応する第１閾値として決定するステップと、
   を含むことを特徴とする請求項４に記載の方法。
6. 前記第１隣接符号化単位のサイズと、前記第１隣接符号化単位に対応する画素勾配平均値とに基づいて、前記符号化単位に対応する第１閾値を決定する前記ステップは、
   前記第１隣接符号化単位の中から第２隣接符号化単位を検索するステップであって、前記第２隣接符号化単位のサイズが、前記符号化単位のサイズ以上である、ステップと、
   前記第２隣接符号化単位が存在する場合、第１係数と目標平均値との積を、前記符号化単位に対応する第１閾値として決定するステップであって、前記目標平均値が、各第２隣接符号化単位に対応する画素勾配平均値の総和と前記第２隣接符号化単位の数との商である、ステップと、
   前記第２隣接単位が存在しない場合、前記符号化単位に対応する第１閾値がゼロであると決定するステップと、
   を含むことを特徴とする請求項５に記載の方法。
7. 前記符号化単位に対応する第２閾値は、前記符号化単位に対応する第１閾値と第２係数との積である、
   ことを特徴とする請求項４から６のいずれか一項に記載の方法。
8. 前記符号化単位に対応する分散閾値と、前記符号化単位に対応する量子化パラメータとの間に正の相関がある、
   ことを特徴とする請求項３又は４に記載の方法。
9. 符号化単位の符号化コストの決定装置であって、
   フレーム内予測モードで予測符号化を行う符号化単位を決定する符号化単位決定モジュールと、
   前記符号化単位に対応する画素勾配情報を決定し、前記画素勾配情報には、画素勾配分散が含まれ、前記画素勾配分散が、符号化単位における少なくとも一部の画素の画像勾配の分散である、勾配情報決定モジュールと、
   前記画素勾配情報に基づいて、前記符号化単位に対して分割事前判定を行う事前判定モジュールと、
   前記事前判定モジュールによる前記符号化単位の分割事前判定の結果が「分割しない」である場合、第１符号化コストを前記符号化単位の第２符号化コストとして決定し、前記第２符号化コストが、前記符号化単位に対応する符号化ツリー単位の分割ポリシーの決定に用いられ、前記第１符号化コストが、前記符号化単位の現在のサイズを予測単位のサイズとして前記符号化単位を予測符号化することにより取得された符号化コストである、コスト決定モジュールと、
   を含むことを特徴とする装置。
10. 前記事前判定モジュールによる前記符号化単位の分割事前判定の結果が「分割する」である場合、前記符号化単位を少なくとも２つのサブ符号化単位に分割する分割モジュールをさらに含み、
    前記符号化単位決定モジュールは、さらに、前記少なくとも２つのサブ符号化単位を、フレーム内予測モードで予測符号化を行う新たな符号化単位とし、前記勾配情報決定モジュールは、さらに、前記少なくとも２つのサブ符号化単位に対応する画素勾配情報をそれぞれ決定し、前記事前判定モジュールは、さらに、前記画素勾配情報に基づいて、前記少なくとも２つのサブ符号化単位のそれぞれに対して分割事前判定を行い、前記コスト決定モジュールは、さらに、前記少なくとも２つのサブ符号化単位の符号化コストをそれぞれ決定し、
    前記コスト決定モジュールは、さらに、前記少なくとも２つのサブ符号化単位の符号化コストの和が前記第１符号化コスト以上である場合、前記第１符号化コストを前記符号化単位の第２符号化コストとして決定し、
    前記コスト決定モジュールは、さらに、前記少なくとも２つのサブ符号化単位の符号化コストの和が前記第１符号化コストよりも大きい場合、前記少なくとも２つのサブ符号化単位の符号化コストの和を前記符号化単位の第２符号化コストとして決定する、
    ことを特徴とする請求項９に記載の装置。
11. 前記判定モジュールは、
    前記符号化単位に対応する分散閾値を決定する閾値決定ユニットと、
    前記画素勾配分散が前記分散閾値よりも小さい場合、前記符号化単位の分割事前判定の結果が「分割しない」であると決定する結果決定ユニットと、を含み、
    前記結果決定ユニットは、さらに、前記画素勾配分散が前記分散閾値以上である場合、前記符号化単位の分割事前判定の結果が「分割する」であると決定する、
    ことを特徴とする請求項９に記載の装置。
12. 前記画素勾配情報には、画素勾配平均値がさらに含まれ、前記画素勾配平均値が、符号化単位における少なくとも一部の画素の画像勾配の平均値であり、
    前記事前判定モジュールは、
    前記符号化単位に対応する第１閾値、前記符号化単位に対応する第２閾値、及び前記符号化単位に対応する分散閾値を決定し、前記第２閾値が前記第１閾値よりも大きい、閾値決定ユニットと、
    前記画素勾配平均値が前記第１閾値よりも小さい場合、前記符号化単位の分割事前判定の結果が「分割しない」であると決定する結果決定ユニットと、を含み、又は、
    前記結果決定ユニットは、さらに、前記画素勾配平均値が前記第１閾値以上であり、かつ前記画素勾配平均値が前記第２閾値よりも小さく、かつ前記画素勾配分散が前記分散閾値よりも小さい場合、前記符号化単位の分割事前判定の結果が「分割しない」であると決定し、又は、
    前記結果決定ユニットは、さらに、前記画素勾配平均値が前記第１閾値以上であり、かつ前記画素勾配平均値が前記第２閾値よりも小さく、かつ前記画素勾配分散が前記分散閾値以上である場合、前記符号化単位の分割事前判定の結果が「分割する」であると決定し、又は、
    前記結果決定ユニットは、さらに、前記画素勾配平均値が前記第２閾値以上である場合、前記符号化単位の分割事前判定の結果が「分割する」であると決定する、
    ことを特徴とする請求項９に記載の装置。
13. 前記閾値決定ユニットは、具体的に、
    前記符号化単位の複数の隣接符号化単位を決定し、前記隣接符号化単位のエッジと前記符号化単位のエッジに重なるところがあり、又は前記隣接符号化単位の頂点と前記符号化単位の頂点に重なるところがあるが、前記隣接符号化単位における画像と前記符号化単位における画像とが重ならなく、
    前記複数の隣接符号化単位のうち、第１隣接符号化単位の数が目標数以上である場合、前記第１隣接符号化単位のサイズと、前記第１隣接符号化単位に対応する画素勾配平均値とに基づいて、前記符号化単位に対応する第１閾値を決定し、前記第１隣接符号化単位が、フレーム内予測モードで予測符号化を行う符号化単位であり、
    前記複数の隣接符号化単位のうち、前記第１隣接符号化単位の数が前記目標数よりも小さい場合、前記符号化単位のサイズに対応する平均値閾値を、符号化単位に対応する第１閾値として決定する、
    ことを特徴とする請求項１２に記載の装置。
14. コンピュータ可動記憶媒体であって、複数の命令が記憶され、前記複数の命令は、プロセッサによりロードされて、前記プロセッサに請求項１から８のいずれか一項に記載の方法のステップを実行させるように構成される、ことを特徴とするコンピュータ可読記憶媒体。
15. 端末であって、プロセッサ及びメモリを備え、前記メモリには、コンピュータプログラムが記憶され、前記コンピュータプログラムは、前記プロセッサによりロードされて、前記プロセッサに請求項１から８のいずれか一項に記載の方法のステップを実行させるように構成される、ことを特徴とする端末。

Images