JP2021514158A - ビデオフレームの符号化単位の分割方法、装置、記憶媒体及び電子装置 - Google Patents

Abstract

本願はビデオフレームの符号化単位の分割方法、装置、記憶媒体及び電子装置を開示している。ここで、当該方法は、対応関係を有するフレームタイプ及び符号化ユニットタイプに基づき、ターゲットフレームが属するターゲットフレームタイプに対応するターゲット符号化ユニットタイプを決定することであって、ターゲット符号化ユニットタイプはターゲットフレームを分割するときの分割深度を指示することに用いられる、ターゲット符号化ユニットタイプを決定することと、ターゲットフレーム中の、ターゲット符号化ユニットタイプに属するターゲット符号化単位を分割するときに、ターゲット符号化単位の符号化単位情報に基づきターゲット符号化単位がターゲット条件を満たすか否かを決定し、ターゲット結果を得ることと、ターゲット符号化単位に対して、ターゲット結果に対応する分割操作を実行することと、を含む。本願は関連技術におけるフレームの符号化速度が比較的低いという技術的課題を解決する。

Description

本願はコンピュータの分野に関し、具体的には、ビデオフレームの符号化単位の分割方法、装置、記憶媒体及び電子装置に関する。

本願は、２０１８年０５月１０日に中国特許庁に提出された、出願番号が第２０１８１０４４４９１４．５号、発明の名称が「ビデオフレームの符号化単位の分割方法、装置、記憶媒体及び電子装置」である中国特許出願の優先権を主張し、その全内容が引用により本願に組み込まれている。

将来のビデオの発展は高解像度、高フレームレート、高圧縮率の傾向にあり、高圧縮率のビデオ符号化の場合に、現状では層ごとに上から下へ現在の符号化単位（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）を、いずれもＣＵのサイズが８になるまで４個のサブブロックに分割し、次に、さらに下から上へ層ごとに比較を行い、最適モードのＣＵ分割状況を選択することを採用している状況であり、このような方式は低符号化速度を招いている。

上記課題に対して、現在では効果的な解決手段がまだ提案されていない。

本願の実施例はビデオフレームの符号化単位の分割方法、装置、記憶媒体及び電子装置を提供し、関連技術におけるフレームの符号化速度が比較的低いという技術的課題を少なくとも解決する。

本願の実施例の一態様によれば、ビデオフレームの符号化単位の分割方法を提供し、
対応関係を有するフレームタイプ及び所定の符号化ユニットタイプに基づき、ターゲットフレームが属するターゲットフレームタイプに対応するターゲット符号化ユニットタイプを決定することであって、前記ターゲット符号化ユニットタイプは前記ターゲットフレームを分割するときの分割深度を指示することに用いられる、ターゲット符号化ユニットタイプを決定することと、
前記ターゲットフレーム中の、前記ターゲット符号化ユニットタイプに属するターゲット符号化単位を分割するときに、前記ターゲット符号化単位の符号化単位情報に基づき、前記ターゲット符号化単位がターゲット条件を満たすか否かを決定し、ターゲット結果を得ることと、
前記ターゲット符号化単位に対して、前記ターゲット結果に対応する分割操作を実行することと、を含む。

本願の実施例の別の態様によれば、さらにビデオフレームの符号化単位の分割装置を提供し、
対応関係を有するフレームタイプ及び符号化ユニットタイプに基づき、ターゲットフレームが属するターゲットフレームタイプに対応するターゲット符号化ユニットタイプを決定することに用いられる第１決定モジュールであって、前記ターゲット符号化ユニットタイプは前記ターゲットフレームを分割するときの分割深度を指示することに用いられる、第１決定モジュールと、
前記ターゲットフレーム中の、前記ターゲット符号化ユニットタイプに属するターゲット符号化単位を分割するときに、前記ターゲット符号化単位の符号化単位情報に基づき、前記ターゲット符号化単位がターゲット条件を満たすか否かを決定し、ターゲット結果を得ることに用いられる第２決定モジュールと、
前記ターゲット符号化単位に対して、前記ターゲット結果に対応する分割操作を実行する処理モジュールと、を含む。

本願の実施例の別の態様によれば、さらにコンピュータプログラムが記憶された記憶媒体を提供し、前記コンピュータプログラムは演算のときに、上記いずれか一項に記載の方法を実行するように構成される。

本願の実施例の別の態様によれば、さらに電子装置を提供し、メモリ及びプロセッサを含み、前記メモリにコンピュータプログラムが記憶されており、前記プロセッサは、前記コンピュータプログラムによって上記いずれか一項に記載の方法を実行するように構成される。

本願の実施例の別の態様によれば、さらに命令を含むコンピュータプログラムを提供し、コンピュータによって演算されるときに、前記コンピュータに本願の前記ビデオフレームの符号化単位の分割方法を実行させる。

本願の実施例では、ＣＵ深度の誤差の累積は主に２つの要素によると考えられる。１つは現在のフレームのフレームタイプであり、異なるタイプのフレームは参照フレームとしての重みが異なり、誤差の累積は異なるタイプにおいては拡散程度も異なることにある。もう１つは、符号化単位のサイズであり、異なるサイズの符号化単位の分割を誤ると、その影響範囲も異なることにある。従って、異なるフレームタイプ及び異なるサイズのＣＵに応じて個別処理を行う。具体的には、対応関係を有するフレームタイプ及び符号化ユニットタイプに基づき、ターゲットフレームが属するターゲットフレームタイプに対応するターゲット符号化ユニットタイプを決定し、当該ターゲット符号化ユニットタイプはターゲットフレームを分割するときの分割深度を指示することに用いられ、ターゲットフレーム中の、ターゲット符号化ユニットタイプに属するターゲット符号化単位を分割するときに、ターゲット符号化単位の符号化単位情報に基づきターゲット符号化単位がターゲット条件を満たすか否かを決定し、ターゲット結果を得て、次に、ターゲット符号化単位に対して、ターゲット構造に対応する分割操作を実行し、それにより異なるフレームタイプに対して、異なる分割方式を採用でき、各ビデオフレームをいずれも分割するという操作も回避し、それによりフレームの符号化速度を向上させる技術的効果を実現し、関連技術におけるフレームの符号化速度が比較的低いという技術的課題を解決する。更に、異なるフレームタイプのフレームの符号化単位を分割するときの異なる状況を十分に考慮し、異なるフレームタイプのフレームについて分割深度を決定し、誤差の累積の拡散を回避し、それにより符号化誤差の発生を減少させる。

ここで説明される図面は本願に対するさらなる理解を提供するためのものであって本願の一部を構成し、本願の例示的な実施例及びその説明は本願を解釈することに用いられるが、本願に対する不当な限定を構成したりするものではない。

図１は本願の実施例による選択可能なビデオフレームの符号化単位の分割方法の模式図である。 図２は本願の実施例による選択可能なビデオフレームの符号化単位の分割方法の応用環境の模式図である。 図３は本願の選択可能な実施形態による選択可能なビデオフレームの符号化単位の分割方法の模式図である。 図４は本願の選択可能な実施形態による別の選択可能なビデオフレームの符号化単位の分割方法の模式図である。 図５は本願の実施例による選択可能なビデオフレームの符号化単位の分割装置の模式図である。 図６は本願の実施例による選択可能なビデオフレームの符号化単位の分割方法の応用場面の模式図である。 図７は本願の実施例による選択可能な電子装置の模式図である。

当業者が本発明の解決手段をよりよく理解するようにするために、以下、本発明の実施例の図面を参照しながら、本発明の実施例における技術的解決手段を明瞭かつ完全に説明する。明らかなように、説明される実施例は単に本発明の一部の実施例であり、すべての実施例ではない。本発明の実施例に基づいて、当業者が創造的な努力をしない前提で想到し得るすべてのほかの実施例は、いずれも本発明の保護範囲に属する。

なお、本発明の明細書と特許請求の範囲及び上記図面中の用語「第１」、「第２」等は類似する対象を区別することに用いられ、必ずしも特定の順序又は前後の順序を説明することに用いられるものではない。このように使用される数字は、ここで説明される本発明の実施例をここで図示又は説明された順序以外の順序で実施できるように、適宜交換可能であると理解できる。また、用語「含む」や「有する」及びそれらの任意の変形は、非排他的な包含を含むことを意図している。たとえば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、明確に列記されているそれらのステップ又はユニットには必ずしも限定されず、明確に列記されていない、又はこれらのプロセス、方法、製品又は機器に固有のほかのステップ又はユニットを含んでもよい。

本願の実施例の一態様によれば、ビデオフレームの符号化単位の分割方法を提供し、図１に示すように、当該方法は、以下を含む。

Ｓ１０２、対応関係を有するフレームタイプ及び符号化ユニットタイプに基づき、ターゲットフレームが属するターゲットフレームタイプに対応するターゲット符号化ユニットタイプを決定する。ここで、ターゲット符号化ユニットタイプはターゲットフレームを分割するときの分割深度を指示することに用いられる。

Ｓ１０４、ターゲットフレーム中の、ターゲット符号化ユニットタイプに属するターゲット符号化単位を分割するときに、ターゲット符号化単位の符号化単位情報に基づきターゲット符号化単位がターゲット条件を満たすか否かを決定し、ターゲット結果を得る。

Ｓ１０６、ターゲット符号化単位に対して、ターゲット結果に対応する分割操作を実行する。

選択可能に、本実施例では、上記ビデオフレームの符号化単位の分割方法は、図２に示されるターゲット機器２０２から構成されるハードウェア環境に適用できる。図２に示すように、ターゲット機器２０２は、対応関係を有するフレームタイプと符号化ユニットタイプに基づき、分割待ちのターゲットフレームが属するターゲットフレームタイプに対応するターゲット符号化ユニットタイプを決定することに用いられる。ここで、ターゲット符号化ユニットタイプはターゲットフレームを分割するときの分割深度を指示することに用いられ、ターゲットフレーム中の、ターゲット符号化ユニットタイプに属するターゲット符号化単位を分割するときに、ターゲット符号化単位の符号化単位情報に基づきターゲット符号化単位がターゲット条件を満たすか否かを決定し、ターゲット結果を得て、ターゲット符号化単位に対して、ターゲット結果に対応する分割操作を実行する。

選択可能に、本実施例では、上記ビデオフレームの符号化単位の分割方法はフレームの符号化単位分割を行う場面に適用できるが、それに限定されない。ここで、上記ビデオフレームの符号化単位の分割方法は様々なタイプのビデオ符号化を行うことができるクライアント端末に適用できるが、それに限定されず、たとえば、上記クライアント端末は、オンライン教育アプリケーション、インスタントメッセージングクライアント端末、コミュニティスペースクライアント端末、ゲームクライアント端末、ショッピングクライアント端末、ブラウザクライアント端末、金融クライアント端末、マルチメディアクライアント端末、ビデオライブクライアント端末等を含んでもよいが、それらに限定されない。具体的には、上記マルチメディアクライアント端末でビデオ符号化を行うときにビデオリソース中のフレームに対して符号化単位分割を行う場面に適用できるが、それに限定されず、又はさらに上記ゲームクライアント端末でビデオ符号化を行うときにビデオリソース中のフレームに対して符号化単位分割を行う場面に適用でき、それによってフレームの符号化速度を向上させるが、それに限定されない。上記は単に一例であり、これに対し本実施例ではいかなる限定もしていない。

選択可能に、本実施例では、上記ビデオフレームの符号化単位の分割方法はクライアント端末側、又は、サーバ側に適用でき、又はクライアント端末側とサーバ側との対話によって実行される。

選択可能に、本実施例では、フレームタイプはフレームの符号化プロセスにおけるフレーム間の参照関係に応じて分割されてもよいが、それに限定されない。たとえば、図３に示すように、フレームタイプはＩフレーム、Ｐフレーム、Ｂフレーム及びｂフレームを含む。ここで、Ｉフレームはフレーム内符号化フレームであり、このフレーム画面は完全に保留され、復号時に、本フレームデータだけで完成することができるものとして理解できる。Ｐフレームは前方予測符号化フレームであり、当該フレームと前のキーフレームとの差を識別し、復号時に、この前にキャッシュされた画面に本フレームで定義された差を重ね合わせて最終画面を生成する必要があり、換言すれば、Ｐフレームは完全な画面データは有さず、具体的には、前のキーフレームの画面との差となるデータである。Ｂフレームは双方向予測補間符号化フレームであり、本フレームと前後フレームとの差を記録し、圧縮率が比較的高く、復号時に、本フレームの前のキャッシュ画面を必要とするだけでなく、本フレームの後の画面も復号することを必要とし、前後の画面に本フレームデータを重ね合わせることにより最終画面を得る。ＰフレームはＩフレームを参照し、ＢフレームはＰフレーム又はＩフレームを参照し、ｂフレームはＩフレーム又はＰフレーム又はＢフレームを参照するが、ｂフレームは参照フレームとして使用しない。図３中の矢印で示されるフレームが、参照フレームである。

選択可能に、本実施例では、分割深度は符号化単位のサイズに応じて決定できる。たとえば、ビデオ符号化プロセスにおいてフレーム内・フレーム間予測を行う場合に、図４に示すように、最大符号化単位（ＬＣＵ、Ｌａｒｇｅｓｔ Ｃｏｄｅ Ｕｎｉｔ）から開始し、各層を四分木にしたがって一層ごとに下へ分割し、再帰計算を行う。符号化木単位（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）ごとに、ＣＵ６４×６４からＣＵ３２×３２へ、ＣＵ３２×３２からＣＵ１６×１６へ、及びＣＵ１６×１６からＣＵ８×８への計３回の階層の再帰プロセスを行う。

ここで、符号化単位のサイズは２Ｎ×２Ｎで表され、たとえば、上記６４×６４、３２×３２、１６×１６、８×８は符号化単位のサイズを表す。サイズが６４×６４の符号化単位の分割深度は０であり、サイズが３２×３２の符号化単位ＣＵの分割深度は１であり、サイズが１６×１６の符号化単位ＣＵの分割深度は２であり、サイズが８×８の符号化単位ＣＵの分割深度は３である。

符号化単位の分割は、また分割する層数を表現する形式を採用してもよく、たとえば、６４×６４の符号化単位から３２×３２の符号化単位は第０層であり、３２×３２の符号化単位から１６×１６の符号化単位は第１層とし、１６×１６の符号化単位から８×８の符号化単位は第２層とする。

分割深度の等級付けは分割深度の値に基づいて決定されてもよい。分割深度の値が小さいほど、等級が高く、たとえば、サイズが６４×６４の符号化単位の分割深度は、サイズが３２×３２の符号化単位の分割深度よりも小さい。従って、サイズが６４×６４の符号化単位の分割深度の等級はサイズが３２×３２の符号化単位の分割深度の等級よりも高く、同様に、サイズが３２×３２の符号化単位の分割深度の等級はサイズが１６×１６の符号化単位の分割深度の等級よりも高く、サイズが１６×１６の符号化単位の分割深度の等級はサイズが８×８の符号化単位の分割深度の等級よりも高い。

選択可能に、本実施例では、フレームタイプごとに、対応する符号化ユニットタイプを設定できる。以下に例を示す。誤差の累積は１つのＩフレーム周期内に拡散する。ＰフレームはＩフレームを参照し、ＢフレームはＰフレーム又はＩフレームを参照し、ｂフレームはＩフレーム又はＰフレーム又はＢフレームを参照する。ｂフレームは参照フレームとして使用されない。上記４種のフレームタイプのうち重みは大から小へ並べると、Ｉフレーム＞Ｐフレーム＞Ｂフレーム＞ｂフレームとなる。また、ＣＵを最大ＣＵ６４からＣＵ３２への分割において、一旦誤ると、対応するＣＵは後の４個のＣＵ３２からＣＵ１６への分割、及び１６個のＣＵ１６からＣＵ８への分割を行わない。同様に、ＣＵ３２からＣＵ１６への分割において、一旦誤ると、対応するＣＵは後の４個のＣＵ１６からＣＵ８への分割を行わず、ＣＵ１６からＣＵ８への分割において、一旦誤ると、それ自体のみに影響する。従って、ＣＵのサイズの影響の重みは大から小へ並べるとＣＵ６４＞ＣＵ３２＞ＣＵ１６となる。

以上の２つの特性を組み合わせて、以下の方法を採用し、異なる重みのフレームタイプに対して異なる重みの分割深度を割り当てることができる。Ｉフレームについて、Ｉフレームは一旦誤ると後のすべてのフレームに影響するため、ＩフレームのすべてのＣＵブロックに対していずれもＣＵ６４からＣＵ８への分割を行い、Ｉフレームが符号化ユニットタイプには対応しないように設定するか、又はＩフレームに対応する符号化ユニットタイプで指示される分割深度が０よりも低い又は３よりも高くなるように設定する。Ｐフレームについて、Ｐフレームの重みはＩフレームに次いでおり、影響も非常に大きいため、Ｐフレームに対応する符号化ユニットタイプで指示される分割深度が２となるように設定する。Ｂフレームについて、その影響範囲が１個のＰフレーム周期内のみであるため、Ｂフレームに対応する符号化ユニットタイプで指示される分割深度が１及び２となるように設定する。ｂフレームについては、誤差がほかのフレームに影響しないため、ｂフレームに対応する符号化ユニットタイプで指示される分割深度が０、１及び２となるように設定する。

選択可能に、本実施例では、ターゲットフレーム中の、ターゲット符号化ユニットタイプに属しない符号化単位を分割するときに、従来技術における分割方式を採用できるが、それに限定されない。たとえば、Ｉフレームの符号化単位の分割に対してはいずれも従来技術の分割方式を採用する。すなわち、ＣＵ６４×６４からＣＵ３２×３２へ、ＣＵ３２×３２からＣＵ１６×１６へ、及びＣＵ１６×１６からＣＵ８×８への計３回行われる階層の分割は、いずれも従来技術の分割方式を採用する。Ｐフレームの符号化単位分割プロセスについては、深度が２の符号化単位に対しては深度の高速分割を行う。深度が０及び１の符号化単位に対しては従来技術の分割方式を採用する。すなわち、従来技術を採用してＣＵ６４×６４からＣＵ３２×３２へ、ＣＵ３２×３２からＣＵ１６×１６への分割を行い、次にＣＵ１６×１６が高速分割の条件を満たすか否かを判断し、もし満たせば、その分割を停止し、もし満たさなければ、ＣＵ１６×１６からＣＵ８×８に分割し続ける。Ｂフレームの符号化単位分割プロセスについては、深度が１及び２の符号化単位に対して深度の高速分割を行い、深度が０の符号化単位に対しては従来技術の分割方式を採用する。すなわち、従来技術の分割方式を採用してＣＵ６４×６４からＣＵ３２×３２への分割を行い、次にＣＵ３２×３２が高速分割の条件を満たすか否かを判断し、もし満たせば、その分割を停止し、もし満たさなければ、ＣＵ３２×３２をＣＵ１６×１６に分割し続け、次にＣＵ１６×１６が高速分割の条件を満たすか否かを判断し、もし満たせば、その分割を停止し、もし満たさなければ、ＣＵ１６×１６をＣＵ８×８に分割し続ける。ｂフレームの符号化単位分割プロセスについては、深度が０、１及び２の符号化単位に対して深度の高速分割を行う。つまり、すべての分割プロセスはいずれも深度の高速分割を行い、ＣＵ６４×６４が高速分割の条件を満たすか否かを判断し、もし満たせば、その分割を停止し、もし満たさなければ、ＣＵ６４×６４をＣＵ３２×３２に分割し、次に、ＣＵ３２×３２が高速分割の条件を満たすか否かを判断し、もし満たせば、その分割を停止し、もし満たさなければ、ＣＵ３２×３２をＣＵ１６×１６に分割し続け、次に、ＣＵ１６×１６が高速分割の条件を満たすか否かを判断し、もし満たせば、その分割を停止し、もし満たさなければ、ＣＵ１６×１６をＣＵ８×８に分割し続ける。

選択可能に、本実施例では、ターゲット符号化単位の符号化単位情報は、ターゲット符号化単位の最適モード、ターゲット符号化単位の最適モードのレート歪みコスト（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ Ｃｏｓｔ）等を含んでもよいが、それらに限定されない。

選択可能に、本実施例では、ターゲット条件は、ターゲット符号化単位の最適モードがｓｋｉｐモードであること、ターゲット符号化単位の最適モードのレート歪みコストがターゲット閾値範囲内にあることを含んでもよいが、それらに限定されない。

明らかなように、上記ステップによって、フレームに対して符号化単位分割を行うプロセスにおいては、フレームのフレームタイプ及び符号化ユニットタイプの対応関係に基づき、符号化単位に対して分割深度の高速な決定を行うか否かを決定する。上記対応関係に記載された符号化ユニットタイプに属する符号化単位に対して分割を行うときに、当該符号化単位の符号化単位情報に基づき当該符号化単位に対して分割を行うことを停止するか否かを決定し、得られたターゲット結果に基づき、後続の分割操作を実行することにより、異なるフレームタイプに対して、異なる分割深度に対しての分割を行うときに、異なる分割方式を採用することができる。また、すべての各ビデオフレームをいずれも分割するという操作も回避することにより、フレームの符号化速度を向上させる技術的効果を実現し、関連技術におけるはフレームの符号化速度が比較的低いという技術的課題を解決する。更に、異なるフレームタイプのフレームの符号化単位を分割するときの異なる状況を十分に考慮し、異なるフレームタイプのフレームに対して分割を継続するか否かの分割深度を決定することにより、符号化誤差の発生を減少させる。

１つの選択可能な解決手段として、上記ターゲット符号化単位に対して、上記ターゲット結果に対応する分割操作を実行することは、以下を含む。

Ｓ１、ターゲット結果が、ターゲット符号化単位がターゲット条件を満たす場合に、ターゲット符号化単位に対して分割を行うことを停止することを指示することに使用される。

Ｓ２、ターゲット結果が、ターゲット符号化単位がターゲット条件を満たさない場合に、ターゲット符号化単位を分割することを指示することに使用される。

選択可能に、本実施例では、ターゲット符号化単位がターゲット条件を満たす場合に、当該ターゲット結果に対応する分割操作は、ターゲット符号化単位に対して分割を行うことを停止することを含んでもよいが、それに限定されない。

選択可能に、本実施例では、ターゲット符号化単位がターゲット条件を満たす場合に、当該ターゲット結果に対応する分割操作は、ターゲット符号化単位を分割し続けることを含んでもよいが、それに限定されない。

１つの選択可能な解決手段として、対応関係を有するフレームタイプ及び符号化ユニットタイプに基づき、分割待ちのターゲットフレームが属するターゲットフレームタイプに対応するターゲット符号化ユニットタイプを決定する前に、さらに以下の方式によって、上記対応関係を有するフレームタイプ及び符号化ユニットタイプを作成してもよく、具体的には、それは、以下のステップを含む。

Ｓ１、フレームタイプを取得する。ここで、フレームタイプはフレーム符号化プロセスにおけるフレーム間の参照関係に基づき分割して得られたものである。

Ｓ２、フレームタイプに対応する符号化ユニットタイプを取得する。

ここで、符号化ユニットタイプはフレームタイプに属するフレームを分割するときに分割深度が第１深度値であることを指示することに用いられ、又は、符号化ユニットタイプはフレームタイプに属するフレームを分割するときの第２深度値とターゲット深度値との間の深度関係を指示することに用いられる。

Ｓ３、対応関係を有するフレームタイプ及び符号化ユニットタイプを保存する。

選択可能に、本実施例では、符号化ユニットタイプは１つ又は複数の具体的な深度値（たとえば、３、２、１、０等）を指示することに用いられてもよく、又は、さらに深度関係（たとえば、最高深度値よりも低いこと、最高深度値と最低深度値との間にあること、最高深度値のみよりも低いこと等）を指示することに用いられてもよい。

１つの選択可能な実施形態では、深度値が４種のタイプを含み、それぞれ３、２、１、０である例において、符号化ユニットタイプがフレームタイプに属するフレームを分割するときに分割深度が第１深度値であることを指示することに用いられる場合に、対応関係を有するフレームタイプ及び符号化ユニットタイプは以下の表１に示されるものであってもよい。

選択可能に、本実施例では、ターゲットフレーム中の、ターゲット符号化ユニットタイプに属するターゲット符号化単位を分割するときに、ターゲット符号化単位の符号化単位情報に基づきターゲット符号化単位がターゲット条件を満たすか否かを決定し、ターゲット符号化単位がターゲット条件を満たす場合に、ターゲット符号化単位に対して分割を行うことを停止し、ターゲット符号化単位がターゲット条件を満たさない場合に、ターゲット符号化単位を分割するプロセスを、符号化単位深度高速決定プロセスと呼んでもよい。異なるフレームタイプに対して異なる符号化ユニットタイプを設定し、ターゲット符号化単位の深度を高速に決定するプロセスにおいて、フレーム間の参照関係に応じて異なるタイプのフレームに対して高速決定プロセスに入る分割深度を割り当てることにより、符号化の精度を確保するとともに、符号化速度を大幅に向上できるようにする。

１つの選択可能な解決手段として、フレームタイプを取得することは、以下を含む。

Ｓ１、フレームタイプを決定する。ここで、フレームタイプは第１フレームタイプ、第２フレームタイプ、第３フレームタイプ及び第４フレームタイプを含む。第１フレームタイプは符号化を行うプロセスにおいてほかのフレームを参照しないフレームタイプであり、第２フレームタイプは符号化を行うプロセスにおいて第１フレームタイプに属するフレームを参照するフレームタイプであり、第３フレームタイプは符号化を行うプロセスにおいて第１フレームタイプに属するフレーム及び第２フレームタイプに属するフレームを参照するフレームタイプであり、第４フレームタイプは符号化を行うプロセスにおいて第１フレームタイプに属するフレーム及び第３フレームタイプに属するフレームを参照する、又は、第２フレームタイプに属するフレーム及び第３フレームタイプに属するフレームを参照するフレームタイプである。

選択可能に、本実施例では、第１フレームタイプ、第２フレームタイプ、第３フレームタイプ及び第４フレームタイプのフレーム間は以下の参照関係を有してもよいが、これらに限定されない。第２フレームタイプのフレームは第１フレームタイプのフレームを参照し、第３フレームタイプのフレームは第１フレームタイプのフレーム及び第２フレームタイプのフレームを参照し、第４フレームタイプのフレームは第１フレームタイプのフレーム及び第３フレームタイプのフレームを参照し、又は、第４フレームタイプのフレームは第２フレームタイプのフレーム及び第３フレームタイプのフレームを参照する。

たとえば、上記第１フレームタイプのフレームはＩフレームであってもよく、第２フレームタイプのフレームはＰフレームであってもよく、第３フレームタイプのフレームはＢフレームであってもよく、第４フレームタイプのフレームはｂフレームであってもよい。

１つの選択可能な解決手段として、上記フレームタイプに対応する符号化ユニットタイプを取得することは、以下を含む。

Ｓ１、上記第１フレームタイプが上記符号化ユニットタイプを有しないと決定する。

Ｓ２、上記第２フレームタイプに対応する符号化ユニットタイプが第１符号化ユニットタイプであると決定し、上記第１符号化ユニットタイプに属する符号化単位は１６×１６符号化単位を含む。

Ｓ３、上記第３フレームタイプに対応する符号化ユニットタイプが第２符号化ユニットタイプであると決定し、上記第２符号化ユニットタイプに属する符号化単位は１６×１６符号化単位及び３２×３２符号化単位を含む。

Ｓ４、上記第４フレームタイプに対応する符号化ユニットタイプが第３符号化ユニットタイプであると決定し、上記第３符号化ユニットタイプに属する符号化単位は１６×１６符号化単位、３２×３２符号化単位及び６４×６４符号化単位を含む。

選択可能に、本実施例では、第１フレームタイプはＩフレームであってもよく、Ｉフレームに対しては符号化単位の高速分割の判断を行わなくてもよい。つまり、Ｉフレームの各層の符号化単位をいずれも直接分割し、それを最小の符号化単位まで分割する。

選択可能に、本実施例では、第２フレームタイプはＰフレームであってもよく、Ｐフレームに対して１６×１６符号化単位のみに高速分割の判断を行うようにしてもよい。つまり、Ｐフレームに対して、それを６４×６４符号化単位から３２×３２符号化単位に分割し、さらに３２×３２符号化単位から１６×１６符号化単位に分割し、さらに１６×１６符号化単位の符号化単位情報に基づいてそれがターゲット条件を満たすか否かを決定し、もし満たせば、分割を停止し、もし満たさなければ、１６×１６符号化単位を８×８符号化単位に分割し続ける。

選択可能に、本実施例では、第３フレームタイプはＢフレームであってもよく、Ｂフレームに対して３２×３２符号化単位及び１６×１６の符号化単位に高速分割の判断を行うようにしてもよい。つまり、Ｂフレームに対して、それを６４×６４符号化単位から３２×３２符号化単位に分割し、さらに３２×３２符号化単位の符号化単位情報に基づきそれがターゲット条件を満たすか否かを決定し、もし満たせば、分割を停止し、もし満たさなければ、３２×３２符号化単位を１６×１６符号化単位に分割し続ける。１６×１６符号化単位に分割されたもの対しては、１６×１６符号化単位の符号化単位情報に基づきそれがターゲット条件を満たすか否かを決定し、もし満たせば、分割を停止し、もし満たさなければ、１６×１６符号化単位を８×８符号化単位に分割し続ける。

選択可能に、本実施例では、第４フレームタイプはｂフレームであってもよく、ｂフレームに対して、６４×６４符号化単位、３２×３２符号化単位及び１６×１６符号化単位に高速分割の判断を行うようにしてもよい。つまり、ｂフレームに対して、６４×６４符号化単位の符号化単位情報に基づきそれがターゲット条件を満たすか否かを決定し、もし満たせば、分割を停止し、もし満たさなければ、それを６４×６４符号化単位から３２×３２符号化単位に分割する。３２×３２符号化単位に分割されたものに対しては、３２×３２符号化単位の符号化単位情報に基づきそれがターゲット条件を満たすか否かを決定し、もし満たせば、分割を停止し、もし満たさなければ、３２×３２符号化単位を１６×１６符号化単位に分割し続ける。１６×１６符号化単位に分割されたものに対しては、１６×１６符号化単位の符号化単位情報に基づきそれがターゲット条件を満たすか否かを決定し、もし満たせば、分割を停止し、もし満たさなければ、１６×１６符号化単位を８×８符号化単位に分割し続ける。

１つの選択可能な解決手段として、符号化ユニットタイプはさらにフレームタイプに属するフレームを分割するときに分割深度が第１深度値であることを指示することに用いられてもよく、この場合に、フレームタイプに対応する符号化ユニットタイプを取得することは以下を含む。

Ｓ１、第１フレームタイプに対応する符号化ユニットタイプが第１符号化ユニットタイプであると決定する。ここで、第１符号化ユニットタイプで指示される第１深度値は第１ターゲット値であり、第１ターゲット値は空（ヌル）に設定されてもよい。

Ｓ２、第２フレームタイプに対応する符号化ユニットタイプが第２符号化ユニットタイプであると決定する。ここで、第２符号化ユニットタイプで指示される第１深度値は第２ターゲット値であり、第２ターゲット値は最高深度値のみよりも低い深度値であり、最高深度値はフレームを分割できる最小符号化単位の深度値である。

Ｓ３、第３フレームタイプに対応する符号化ユニットタイプが第３符号化ユニットタイプであると決定する。ここで、第３符号化ユニットタイプで指示される第１深度値は第３ターゲット値であり、第３ターゲット値は最高深度値よりも低く、且つ最低深度値よりも高い深度値であり、最高深度値はフレームを分割できる最小符号化単位の深度値であり、最低深度値はフレームを分割できる最大符号化単位の深度値である。

Ｓ４、第４フレームタイプに対応する符号化ユニットタイプが第４符号化ユニットタイプであると決定する。ここで、第４符号化ユニットタイプで指示される第１深度値は第４ターゲット値であり、第４ターゲット値は最高深度値よりも低い深度値であり、最高深度値はフレームを分割できる最小符号化単位の深度値である。

選択可能に、本実施例では、ほかのフレームを参照フレームとしない第１フレームタイプのフレームについては、当該タイプのフレームはほかのタイプのフレームの参照フレームとなるため、当該タイプのフレームの重要度はより一層高い。従って第１フレームタイプのフレームに対しては、対応する符号化ユニットタイプを設定しなくてもよく、又はそれに対応する符号化ユニットタイプを、予め設定した分割深度に含まれていない分割深度を指示することに用いられるように設定してもよい。そのように設定することで当該タイプのフレームは符号化単位分割のときに符号化単位の深度の高速決定のプロセスを行わずに、直接最低深度から最高深度まで分割するようにする。

選択可能に、本実施例では、第２フレームタイプのフレームは第１フレームタイプのフレームのみを参照フレームとし、第３フレームタイプのフレーム及び第４フレームタイプのフレームはいずれも第２フレームタイプのフレームを参照フレームとすることができる。第２フレームタイプのフレームの重要度は第１フレームタイプのフレームに次ぐため、第２フレームタイプのフレームに対して、最高分割深度の上の層のみにおいて符号化単位の深度の高速決定のプロセスを行うようにしてもよい。最高深度値のみよりも低い深度値を第２フレームタイプで指示される深度値として設定してもよい。最高深度値のみよりも低い深度値は、１つの深度値である。

選択可能に、本実施例では、第３フレームタイプのフレームは第１フレームタイプのフレーム及び第２フレームタイプのフレームを参照フレームとし、第３フレームタイプのフレームは第４フレームタイプのフレームの参照フレームである。第３フレームタイプのフレームに対しては、最高分割深度と最低分割深度との間の各層で符号化単位の深度の高速決定のプロセスを行うようにしてもよい。最高深度値よりも低く、且つ最低深度値よりも高い深度値を第３フレームタイプで指示される深度値として設定してもよい。最高深度値よりも低く、且つ最低深度値よりも高い深度値は、複数の深度値であってもよい。

選択可能に、本実施例では、第４フレームタイプのフレームは、第１フレームタイプのフレーム及び第３フレームタイプのフレームを参照フレームとし、又は、第２フレームタイプのフレーム及び第３フレームタイプのフレームを参照フレームとする。一方、第４フレームタイプのフレームはほかのフレームタイプのフレームを参照フレームとせず、第４フレームタイプのフレームに対しては、最高分割深度から開始し、層ごとに符号化単位の深度の高速決定のプロセスを行うようにしてもよい。最高深度値よりも低い深度値を第３フレームタイプで指示される深度値として設定してもよい。最高深度値よりも低い深度値は、複数の深度値であってもよい。

１つの選択可能な解決手段として、ターゲット符号化単位の符号化単位情報に基づきターゲット符号化単位がターゲット条件を満たすか否かを決定することは、以下を含む。

Ｓ１、ターゲットフレーム中の、ターゲット符号化ユニットタイプで指示される分割深度に適合する符号化単位を、ターゲット符号化単位として決定する。

Ｓ２、ターゲット符号化単位を分割するときに、ターゲット符号化単位の符号化単位情報を取得する。

Ｓ３、符号化単位情報に基づきターゲット符号化単位がターゲット条件を満たすか否かを決定する。

選択可能に、本実施例では、ターゲットフレームを分割するときに、決定されたターゲットフレームに対応するターゲット符号化ユニットタイプに基づき、当該ターゲットフレーム中の、ターゲット符号化ユニットタイプに属するターゲット符号化単位を取得し、分割プロセスがターゲット符号化単位まで行われるときに、当該ターゲット符号化単位に対して符号化単位の深度の高速決定プロセスを行うようにしてもよい。そのようにすることにより取得された符号化単位情報に基づき、当該ターゲット符号化単位を分割し続けるか否かを決定する。

選択可能に、本実施例では、取得されたターゲット符号化単位の符号化単位情報は、ターゲット符号化単位の最適モード及び最適モードのレート歪みコストを含んでもよいが、それらに限定されない。

選択可能に、本実施例では、ターゲット条件は、ターゲット符号化単位の最適モードがｓｋｉｐモードであること、及び、ターゲット符号化単位の最適モードのレート歪みコストがターゲット閾値範囲内にあること等を含んでもよいが、それらに限定されない。

選択可能に、本実施例では、上記２つのターゲット条件を同時に満たせば、ターゲット条件を満たすと決定してもよく、両方のうちの一方を満たさない場合、すなわち、上記最適モードがｓｋｉｐモードではない場合、又は上記レート歪みコストが上記ターゲット閾値範囲内にない場合に、上記ターゲット符号化単位が上記ターゲット条件を満たさないと決定する。

選択可能に、本実施例では、上記ターゲット閾値範囲は予め設定されてもよく、また符号化プロセスで取得された情報に基づき決定されてもよい。

たとえば、現在のＣＴＵの隣接する位置（左側、上側、左上角及び右上角）にあるＣＴＵのうち利用可能なＣＴＵの個数、及び隣接するＣＴＵ中のｓｋｉｐモードで且つ同一のＣＵ深度を有するものの個数、及びレート歪みコストの平均値を統計化し、それぞれｃｔｕ＿ｖａｌｉｄｎｕｍ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ、ｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ、ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔとする。そして現在のＣＴＵ中の処理済みのＣＵのうちｓｋｉｐモードで且つＣＵ深度が同一であるＣＵの個数、及びレート歪みコストの平均値を統計化し、それぞれｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｓｋｉｐ＿ｃｕｒｒ、ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ｃｕｒｒとする。

現在のＣＵ最適モードのレート歪みコストをｂｅｓｔｃｏｓｔとし、初期ｃｈｅｃｋをｆａｌｓｅとし、もし以下のように比較してｃｈｅｃｋがｔｒｕｅであれば、現在のＣＵ最適モードのレート歪みコストがターゲット条件を満たすと決定する。

ｃｈｅｃｋ ＝ ｆａｌｓｅ； ／／ デフォルトでは４個のサブブロック分割を行う必要がある
ｉｆ（ｃｔｕ＿ｖａｌｉｄｎｕｍ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ ＞ ０） ／／ 隣接するＣＴＵが利用可能である
｛
／／ もし現在のＣＴＵに条件を満たすＣＵがなければ、隣接するＣＴＵの平均レート歪みコストのみを取る
ａｖｇｃｏｓｔ ＝ ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ；
ｉｆ（ｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｓｋｉｐ＿ｃｕｒｒ ＞０） ／／ 現在のＣＴＵ内に、ＣＵ深度が同一であり且つｓｋｉｐモードであるものが含まれていれば、平均レート歪みコストは、隣接するＣＴＵと現在のＣＴＵ中の処理済みの同一深度のＣＵとで重み付けする必要がある
｛
ａｖｇｃｏｓｔ ＝ （９＊ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ｃｕｒｒ ＋ ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ）／１６；
｝
ｉｆ（ｂｅｓｔｃｏｓｔ ＜＝ ａｖｇｃｏｓｔ ＆＆ ｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ＞３．５＊ｃｔｕ＿ｖａｌｉｄｎｕｍ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ ）
｛
ｃｈｅｃｋ ＝ ｔｒｕｅ；
｝
｝
ｅｌｓｅ ／／ 隣接するＣＴＵはいずれも利用不可能である
｛
ｉｆ（ｂｅｓｔｃｏｓｔ ＜＝ ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ｃｕｒｒ ＆＆ ｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｓｋｉｐ＿ｃｕｒｒ＞３．５）／／ 現在のＣＴＵ中の処理済みの同一深度のＣＵの平均値、及び個数と比較する
｛
ｃｈｅｃｋ ＝ ｔｒｕｅ；
｝
｝

なお、上記各方法の実施例について、説明しやすいように、それらをすべて一連の動作組合せとして記載しているが、当業者であれば、本願は説明された動作順序には限定されないと理解すべきである。本願によれば、いくつかのステップをほかの順序で又は同時に行うようにしてもよいからである。さらに、当業者であれば、明細書に説明される実施例はいずれも好適実施例に属し、係る動作及びモジュールは必ずしも本願に必須なものではないことも理解できる。

以上のように実施形態を説明することにより、当業者は上記実施例による方法を、ソフトウェアと必須な汎用ハードウェアプラットフォームを組み合わせることで実現してもよいことを明確に理解でき、また、勿論ハードウェアによって実行してもよいが、多くの場合は前者の方がより好ましい実施形態であることを明確に理解することができる。このような理解に基づいて、本願の技術的解決手段は本質的に、又は従来技術に貢献する部分において、ソフトウェア製品の形態で具現化することができる。当該コンピュータソフトウェア製品は１つの記憶媒体（たとえば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶され、複数の命令を含むことによって１台の端末機器（携帯電話、コンピュータ、サーバ、又はネットワーク機器等であってもよい）に本願の各実施例に記載の方法を実行させることに用いられる。

本願の実施例の別の態様によれば、さらに上記ビデオフレームの符号化単位の分割方法を実施するためのビデオフレームの符号化単位の分割装置を提供し、図５に示すように、当該装置は、第１決定モジュール５２、第２決定モジュール５４、及び処理モジュール５６を含み、
１）第１決定モジュール５２は、対応関係を有するフレームタイプ及び符号化ユニットタイプに基づき、ターゲットフレームが属するターゲットフレームタイプに対応するターゲット符号化ユニットタイプを決定することに用いられる。ここで、ターゲット符号化ユニットタイプはターゲットフレームを分割するときの分割深度を指示することに用いられ、
２）第２決定モジュール５４は、ターゲットフレーム中の、ターゲット符号化ユニットタイプに属するターゲット符号化単位を分割するときに、ターゲット符号化単位の符号化単位情報に基づきターゲット符号化単位がターゲット条件を満たすか否かを決定し、ターゲット結果を得ることに用いられ、
３）処理モジュール５６は、上記ターゲット符号化単位に対して、ターゲット結果に対応する分割操作を実行することに用いられる。

１つの選択可能な解決手段として、処理モジュールは、第１処理ユニット、及び／又は、第２処理ユニットを含み、
第１処理ユニットは、ターゲット結果が、ターゲット符号化単位がターゲット条件を満たすことを指示することに用いられる場合に、ターゲット符号化単位に対して分割を行うことを停止することに用いられ、
第２処理ユニットは、ターゲット結果が、ターゲット符号化単位がターゲット条件を満たさないことを指示することに用いられる場合に、ターゲット符号化単位を分割することに用いられる。

選択可能に、本実施例では、ターゲット符号化単位がターゲット条件を満たす場合に、当該ターゲット結果に対応する分割操作は、ターゲット符号化単位に対して分割を行うことを停止することを含んでもよいが、それに限定されない。

選択可能に、本実施例では、ターゲット符号化単位がターゲット条件を満たす場合に、当該ターゲット結果に対応する分割操作は、ターゲット符号化単位を分割し続けることを含んでもよいが、それに限定されない。

１つの選択可能な解決手段として、上記装置はさらに第１取得モジュール、第２取得モジュール、及び記憶モジュールを含み、
１）第１取得モジュールは、フレームタイプを取得することに用いられる。ここで、フレームタイプはフレーム符号化プロセスにおけるフレーム間の参照関係に基づき分割して得られたものであり、
２）第２取得モジュールは、フレームタイプに対応する符号化ユニットタイプを取得することに用いられる。
ここで、符号化ユニットタイプはフレームタイプに属するフレームを分割するときに分割深度が第１深度値であることを指示することに用いられ、又は、符号化ユニットタイプはフレームタイプに属するフレームを分割するときの第２深度値とターゲット深度値との間の深度関係を指示することに用いられ、
３）記憶モジュールは、対応関係を有するフレームタイプ及び符号化ユニットタイプを記憶することに用いられる。

選択可能に、本実施例では、符号化ユニットタイプは１つ又は複数の具体的な深度値（たとえば、３、２、１、０等）を指示することに用いられてもよく、又は、さらに深度関係（たとえば、最高深度値よりも低いこと、最高深度値と最低深度値との間にあること、最高深度値のみよりも低いこと等）を指示することに用いられてもよい。

１つの選択可能な実施形態では、深度値が４種のタイプを含み、それぞれ３、２、１、０である例において、符号化ユニットタイプはフレームタイプに属するフレームを分割するときに分割深度が第１深度値であることを指示することに用いられる場合に、対応関係を有するフレームタイプ及び符号化ユニットタイプは表１に示されるものであってもよい。

１つの選択可能な解決手段として、第１取得モジュールは、以下に用いられる。
１）フレームタイプを決定することに用いられ、フレームタイプは第１フレームタイプ、第２フレームタイプ、第３フレームタイプ及び第４フレームタイプを含み、第１フレームタイプのフレームはフレーム符号化プロセスにおいてほかのフレームを参照しないフレームタイプであり、第２フレームタイプのフレームはフレーム符号化プロセスにおいて第１フレームタイプに属するフレームを参照するフレームタイプであり、第３フレームタイプのフレームはフレーム符号化プロセスにおいて第１フレームタイプに属するフレーム及び第２フレームタイプに属するフレームを参照するフレームタイプであり、第４フレームタイプのフレームはフレーム符号化プロセスにおいて第１フレームタイプに属するフレーム及び第３フレームタイプに属するフレームを参照する、又は、第２フレームタイプに属するフレーム及び第３フレームタイプに属するフレームを参照するフレームタイプである。

選択可能に、本実施例では、第１フレームタイプ、第２フレームタイプ、第３フレームタイプ及び第４フレームタイプのフレーム間は以下の参照関係を有してもよいが、これらに限定されない。第２フレームタイプのフレームは第１フレームタイプのフレームを参照する。第３フレームタイプのフレームは第１フレームタイプのフレーム及び第２フレームタイプのフレームを参照する。第４フレームタイプのフレームは第１フレームタイプのフレーム及び第３フレームタイプのフレームを参照し、又は、第４フレームタイプのフレームは第２フレームタイプのフレーム及び第３フレームタイプのフレームを参照する。

たとえば、上記第１フレームタイプのフレームはＩフレームであってもよく、第２フレームタイプのフレームはＰフレームであってもよく、第３フレームタイプのフレームはＢフレームであってもよく、第４フレームタイプのフレームはｂフレームであってもよい。

１つの選択可能な解決手段として、第２取得モジュールは第１決定ユニット、第２決定ユニット、第３決定ユニット、及び第４決定ユニットを含み、
第１決定ユニットは、上記第１フレームタイプが上記符号化ユニットタイプを有しないと決定することに用いられ、
第２決定ユニットは、上記第２フレームタイプに対応する上記符号化ユニットタイプが第１符号化ユニットタイプであると決定することに用いられ、ここで、上記第１符号化ユニットタイプの符号化単位は１６×１６符号化単位を含み、
第３決定ユニットは、上記第３フレームタイプに対応する上記符号化ユニットタイプが第２符号化ユニットタイプであると決定することに用いられ、ここで、上記第２符号化ユニットタイプの符号化単位は１６×１６符号化単位及び３２×３２符号化単位を含み、
第４決定ユニットは、上記第４フレームタイプに対応する上記符号化ユニットタイプが第３符号化ユニットタイプであると決定することに用いられ、ここで、上記第３符号化ユニットタイプの符号化単位は１６×１６符号化単位、３２×３２符号化単位及び６４×６４符号化単位を含む。

１つの選択可能な解決手段として、符号化ユニットタイプはさらにフレームタイプに属するフレームを分割するときに分割深度が第１深度値であることを指示することに用いられてもよい。この場合、第２取得モジュールは第５決定ユニット、第６決定ユニット、第７決定ユニット、及び第８決定ユニットを含む。
１）第５決定ユニットは、第１フレームタイプに対応する符号化ユニットタイプが第１符号化ユニットタイプであると決定することに用いられる。ここで、第１符号化ユニットタイプで指示される第１深度値は第１ターゲット値であり、第１ターゲット値は最低深度値よりも低い又は最高深度値よりも高い深度値であり、最高深度値はフレームを分割できる最小符号化単位の深度値であり、最低深度値はフレームの深度値である。
２）第６決定ユニットは、第２フレームタイプに対応する符号化ユニットタイプが第２符号化ユニットタイプであると決定することに用いられる。ここで、第２符号化ユニットタイプで指示される第１深度値は第２ターゲット値であり、第２ターゲット値は最高深度値のみよりも低い深度値であり、最高深度値はフレームを分割できる最小符号化単位の深度値である。
３）第７決定ユニットは、第３フレームタイプに対応する符号化ユニットタイプが第３符号化ユニットタイプであると決定することに用いられる。ここで、第３符号化ユニットタイプで指示される第１深度値は第３ターゲット値であり、第３ターゲット値は最高深度値よりも低く、且つ最低深度値よりも高い深度値であり、最高深度値はフレームを分割できる最小符号化単位の深度値であり、最低深度値はフレームの深度値である。
４）第８決定ユニットは、第４フレームタイプに対応する符号化ユニットタイプが第４符号化ユニットタイプであると決定することに用いられる。

１つの選択可能な解決手段として、第２決定モジュールは第９決定ユニット、取得ユニット、及び第１０決定ユニットを含む。
１）第９決定ユニットは、ターゲットフレーム中の、ターゲット符号化ユニットタイプで指示される分割深度に適合する符号化単位を、ターゲット符号化単位として決定することに用いられる。
２）取得ユニットは、ターゲット符号化単位を分割するときに、ターゲット符号化単位の符号化単位情報を取得することに用いられる。
３）第１０決定ユニットは、符号化単位情報に基づきターゲット符号化単位がターゲット条件を満たすか否かを決定することに用いられる。

１つの選択可能な解決手段として、取得ユニットは、ターゲット符号化単位の最適モード及び最適モードのレート歪みコストを取得することに用いられる。
第１０決定ユニットは、最適モードがｓｋｉｐモードであり、且つレート歪みコストがターゲット閾値範囲内にある場合に、ターゲット符号化単位がターゲット条件を満たすと決定し、及び／又は、最適モードがｓｋｉｐモードではない、若しくは、レート歪みコストがターゲット閾値範囲内にない場合に、ターゲット符号化単位がターゲット条件を満たさないと決定することに用いられる。

本願の実施例の応用環境は上記実施例の応用環境を参照できるが、それに限定されず、本実施例ではそれについてさらに詳細に説明しない。本願の実施例は上記リアルタイム通信の接続方法を実施するための１つの選択可能な具体的な応用例を提供する。

１つの選択可能な実施例として、上記ビデオフレームの符号化単位の分割方法は図６に示されるフレーム符号化の場面に適用できるが、それに限定されない。ビデオ符号化における予測プロセスを完全に正確にすることは不可能であり、一旦予測が誤ると、必ず圧縮比損失を引き起こし、且つ誤差の累積によって、徐々に拡大する。ＣＵの深度の誤差の累積は主に２つの要素に関し、１つは現在のフレームのフレームタイプであり、誤差の累積は１つのＩフレーム周期内に拡散する。ＰフレームはＩフレームを参照し、ＢフレームはＰフレーム又はＩフレームを参照し、ｂフレームはＩフレーム又はＰフレーム又はＢフレームを参照する。ｂフレームは参照フレームとして使用されない。４種のフレームタイプのうち重みは大から小へ並べると、Ｉフレーム＞Ｐフレーム＞Ｂフレーム＞ｂフレームである。また、もう１つはＣＵのサイズに関し、ＣＵの最大ＣＵ６４からＣＵ３２への分割において、一旦誤ると、対応するＣＵは後の４個のＣＵ３２からＣＵ１６への分割、及び１６個のＣＵ１６からＣＵ８への分割を行わない。同様に、ＣＵ３２からＣＵ１６への分割において、一旦誤ると、対応するＣＵは後の４個のＣＵ１６からＣＵ８への分割を行わない。ＣＵ１６からＣＵ８への分割において、一旦誤ると、それ自体のみに影響する。従って、ＣＵのサイズの影響の重みは大から小へ並べると、ＣＵ６４＞ＣＵ３２＞ＣＵ１６となる。本場面では、ビデオフレームの符号化単位分割プロセスについて、上記２つの特性に合わせて、異なるＣＵのサイズ及び現在のフレームのフレームタイプに応じて個別処理する。

Ｉフレームについて、Ｉフレームは一旦誤ると後のすべてのフレームに影響するため、ＩフレームのすべてのＣＵブロックに対していずれもＣＵの深度の高速決定を行わない。Ｐフレームについて、Ｐフレームの重みはＩフレームに次いでおり、影響も非常に大きいため、Ｐフレームに対してＣＵ１６からＣＵ８への層のみで深度の高速決定を行う。Ｂフレームについて、その影響範囲が１つのＰフレーム周期内のみであり、ＣＵ３２からＣＵ１６への層、ＣＵ１６からＣＵ８への層という２層で高速決定を行うようにしてもよい。ｂフレームについて、誤差がほかのフレームに影響しないため、すべての層においていずれも高速決定を行う。

選択可能に、本場面では、深度の高速決定プロセスは、ＣＵに残差があるか否か、及び周辺ＣＴＵの同一深度の残差なしのブロックの個数、及び平均レート歪みコストと現在のＣＵ最適モードでのレート歪みコストに基づき判断を行い、また、現在のＣＵがｓｋｉｐモードであるか否か、及び周辺ＣＴＵの同一深度のｓｋｉｐモードでのブロックの個数、及び平均レート歪みコストと現在のＣＵ最適モードでのレート歪みコストに基づき、分割し続けるか否かを判断する。

１つのフレームをエンコーダ（符号化器）に送り、まず、フレーム内又はフレーム間予測を行った後、予測値を得て、予測値と入力データを減算して残差を得る。次に、離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＤＣＴ）及び量子化を行って残差係数を得て、次に、エントロピー符号化モジュールに送りストリームを出力する。同時に、残差係数に対して逆量子化・逆変換を行って再構成画像の残差値を得て、さらにフレーム内又はフレーム間の予測値と加算して、それにより再構成画像を得て、再構成画像をさらにループ内フィルタリングした後、参照フレームキューに入れ、次のフレームの参照画像とし、それによりフレームごとに後へ符号化していく。ここで、フレーム内・フレーム間予測のときに、最大符号化単位（ＬＣＵ、Ｌａｒｇｅｓｔ Ｃｏｄｅ Ｕｎｉｔ）から開始し、各層を四分木にしたがって一層ごとに下へ分割し、再帰計算を行う。ＣＴＵごとに、ＣＵ６４×６４からＣＵ３２×３２へ、ＣＵ３２×３２からＣＵ１６×１６へ、及びＣＵ１６×１６からＣＵ８×８への計３回の階層の再帰プロセスを行い、次に層ごとに比較し、最適モードのＣＵ分割状況を選択する。

本場面では、現在のＣＵの周辺ＣＴＵの情報、現在のフレームが参照フレームとして使用されるか否か、又は参照フレームとして使用される重みであるか否か、計算された現在のＣＵの最適情報を利用し、異なるサイズのＣＵに応じて、異なる戦略を採用して、現在の符号化単位の分割状況を予測する。このようにして符号化単位深度の高速選択を実現し、更に符号化の複雑さを低減させ、符号化速度を向上させている。

本場面では、図６に示すように、フレームを符号化するときに、サブブロックＳｕｂＣＵを再帰的に繰り上げて予測単位（Ｐｒｅｄｉｃｔ Ｕｎｉｔ、ＰＵ）２Ｎ×２Ｎの後に配置することがある。符号化単位の深度の高速決定プロセスは、現在のＣＵが４個のサブブロック分割を行うか否かを判断するステップで実行される。すなわち、現在のＣＵの深度を分割し続けるか否かを判断するときに、ＰＵ ｍｅｒｇｅ及びｓｋｉｐ計算、及びＰＵ ２Ｎ×２Ｎの予測が既に行われている。以下に言及する最適モードはＰＵ ２Ｎ×２Ｎフレーム間予測を行い、且つ最適化された最適モードである。

符号化単位の深度の高速決定のプロセスでは、Ｉフレームに対しては判断を行わず、元々のＣＵ６４からＣＵ３２へ、ＣＵ３２からＣＵ１６へ、ＣＵ１６からＣＵ８へ層ごとに判断することを採用する。

Ｐフレームに対して、ＣＵ１６からＣＵ８への分割深度のときの判断のみを行う。判断プロセスは以下のステップを含む。

ステップ１、現在のＣＴＵの隣接する位置の左側、上側、左上角及び右上角にあるＣＴＵのうち利用可能なＣＴＵの個数、及び隣接するＣＴＵ中のｓｋｉｐモードで且つ同一のＣＵ深度を有するものの個数、及びレート歪みコストの平均値を統計化し、それぞれｃｔｕ＿ｖａｌｉｄｎｕｍ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ、 ｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ、 ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔとし、
ステップ２、現在のＣＴＵ中の処理済みのＣＵのうちｓｋｉｐモードで且つＣＵ深度が同一であるＣＵの個数、及びレート歪みコストの平均値を統計化し、それぞれｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｓｋｉｐ＿ｃｕｒｒ、 ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ｃｕｒｒとし、
ステップ３、以下のすべての条件を満たす場合に、現在のＣＵは４個のサブブロック分割を行わず、そうでない場合に、４個のサブブロック分割を行う。

条件１：現在のＣＵ最適モードはｓｋｉｐモードである。
条件２：現在のＣＵ最適モードのレート歪みコストをｂｅｓｔｃｏｓｔとし、初期ｃｈｅｃｋをｆａｌｓｅとし、比較の結果、ｃｈｅｃｋがｔｒｕｅである。比較プロセスは以下の通りである。

ｃｈｅｃｋ ＝ ｆａｌｓｅ； ／／ デフォルトでは４個のサブブロック分割を行う必要がある
ｉｆ（ｃｔｕ＿ｖａｌｉｄｎｕｍ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ ＞ ０） ／／ 隣接するＣＴＵが利用可能である
｛
／／ もし現在のＣＴＵに条件を満たすＣＵがなければ、隣接するＣＴＵの平均レート歪みコストのみを取る
ａｖｇｃｏｓｔ ＝ ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ；
ｉｆ（ｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｓｋｉｐ＿ｃｕｒｒ ＞０） ／／ 現在のＣＴＵ内に、ＣＵ深度が同一であり且つｓｋｉｐモードであるものが含まれていれば、平均レート歪みコストは、隣接するＣＴＵと現在のＣＴＵ中の処理済みの同一深度のＣＵとで重み付けする必要がある
｛
ａｖｇｃｏｓｔ＝（９＊ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ｃｕｒｒ＋ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ）／１６；
｝

ｉｆ（ｂｅｓｔｃｏｓｔ＜＝ａｖｇｃｏｓｔ＆＆ｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ＞３．５＊ｃｔｕ＿ｖａｌｉｄｎｕｍ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ ）
｛
ｃｈｅｃｋ ＝ ｔｒｕｅ；
｝
｝
ｅｌｓｅ ／／ 隣接するＣＴＵはいずれも利用不可能である
｛
ｉｆ（ｂｅｓｔｃｏｓｔ＜＝ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ｃｕｒｒ＆＆ｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｓｋｉｐ＿ｃｕｒｒ＞３．５）／／ 現在のＣＴＵ中の処理済みの同一深度のＣＵの平均値、及び個数と比較する
｛
ｃｈｅｃｋ ＝ ｔｒｕｅ；
｝
｝

Ｂフレームについて、その影響範囲は１つのＰフレーム周期内であり、ＣＵ３２からＣＵ１６へ及びＣＵ１６からＣＵ８への分割深度のときの判断を行うことができる。ＣＴＵ３２からＣＵ１６への分割深度のときの判断について、採用する方法は係数を３．５から１．５に変更する以外、その他はＰフレームの方式と同様であり、ここでは重複説明を省略する。

ＣＴＵ１６からＣＴＵ８への分割深度のときの判断に対応するように、方法はＣＴＵ３２からＣＵ１６への分割深度のときの判断と類似しており、相違点としては、統計化情報は量子化後の残差係数が０であることを満たす必要があり、判断プロセスは以下のステップを含む。

ステップ１、現在のＣＴＵの隣接する位置の左側、上側、左上角及び右上角にあるＣＴＵのうち利用可能なＣＴＵの個数、及び隣接するＣＴＵ中の量子化後の残差係数が０で且つ同一のＣＵ深度を有するものの個数、及びレート歪みコストの平均値を統計化し、それぞれｃｔｕ＿ｖａｌｉｄｎｕｍ＿ｃｂｆ＿ａｄｊａｃｅｎｔ、 ｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｃｂｆ＿ａｄｊａｃｅｎｔ、 ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ ｃｂｆ＿ａｄｊａｃｅｎｔとし、
ステップ２、現在のＣＴＵ中の処理済みのＣＵのうちｓｋｉｐモードで且つ同一のＣＵ深度を有するものの個数、及びレート歪みコストの平均値を統計化し、それぞれｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｃｂｆ＿ｃｕｒｒ、 ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｃｂｆ＿ｃｕｒｒとし、
ステップ３、以下のすべての条件を満たす場合に、現在のＣＵが４個のサブブロック分割を行わず、そうでない場合に、４個のサブブロック分割を行う。

条件１：現在のＣＵ最適モードはｓｋｉｐモードである。
条件２：現在のＣＵ最適モードのレート歪みコストをｂｅｓｔｃｏｓｔとし、初期ｃｈｅｃｋをｆａｌｓｅとし、比較の結果、ｃｈｅｃｋがｔｒｕｅである。比較プロセスは以下の通りである。

ｃｈｅｃｋ ＝ ｆａｌｓｅ； ／／ デフォルトでは４個のサブブロック分割を行う必要がある
ｉｆ（ｃｔｕ＿ｖａｌｉｄｎｕｍ＿ｃｂｆ＿ａｄｊａｃｅｎｔ ＞ ０） ／／ 隣接するＣＴＵが利用可能である
｛
／／もし現在のＣＴＵに条件を満たすＣＵがなければ、隣接するＣＴＵの平均レート歪みコストのみを取る
ａｖｇｃｏｓｔ ＝ ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｃｂｆ＿ａｄｊａｃｅｎｔ；
ｉｆ（ｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｃｂｆ＿ｃｕｒｒ ＞０） ／／現在のＣＴＵ内に、ＣＵ深度が同一であり且つ量子化後の残差係数が０であるものが含まれていれば、平均レート歪みコストは、隣接するＣＴＵと現在のＣＴＵ中の処理済みの同一深度のＣＵとで重み付けする必要がある
｛
ａｖｇｃｏｓｔ ＝ （９＊ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｃｂｆ＿ｃｕｒｒ ＋ ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｃｂｆ＿ａｄｊａｃｅｎｔ）／１６；
｝

ｉｆ（ｂｅｓｔｃｏｓｔ ＜＝ ａｖｇｃｏｓｔ ＆＆ ｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｃｂｆ＿ａｄｊａｃｅｎｔ＞３．５＊ｃｔｕ＿ｖａｌｉｄｎｕｍ＿ｃｂｆ＿ａｄｊａｃｅｎｔ ）
｛
ｃｈｅｃｋ ＝ ｔｒｕｅ；
｝
｝
ｅｌｓｅ ／／ 隣接するＣＴＵはいずれも利用不可能である
｛
ｉｆ（ｂｅｓｔｃｏｓｔ ＜＝ ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｃｂｆ＿ｃｕｒｒ ＆＆ ｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｃｂｆ＿ｃｕｒｒ＞３．５）／／ 現在のＣＴＵ中の処理済みの同一深度のＣＵの平均値、及び個数と比較する
｛
ｃｈｅｃｋ ＝ ｔｒｕｅ；
｝
｝

なお、もしもｓｋｉｐモードであれば、必ず量子化後の残差係数が０であることを満たすが、量子化後の残差係数が０であることは、必ずしもｓｋｉｐモードであるということではない。

ｂフレームについて、ｂフレームは参照フレームとして使用せず、それ自身の損失がほかのフレームに影響しないため、すべての層に対していずれも符号化単位の深度の高速決定のプロセスを行う。

ＣＵ６４からＣＵ３２への高速決定（ｓｋｉｐに基づき決定され、且つ個数に制限される）判断プロセスは以下のステップを含む。

ステップ１、現在のＣＴＵの隣接する位置の左側、上側、左上角及び右上角にあるＣＴＵのうち利用可能なＣＴＵの個数、及び隣接するＣＴＵ中のｓｋｉｐモードで、且つ同一のＣＵ深度を有するものの個数、及びレート歪みコストの平均値を統計化し、それぞれｃｔｕ＿ｖａｌｉｄｎｕｍ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ、 ｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ、 ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔとし、
ステップ２、以下のすべての条件を満たす場合に、現在のＣＵが４個のサブブロック分割を行わず、そうでない場合に、４個のサブブロック分割を行う。

条件１：現在のＣＵ最適モードはｓｋｉｐモードである。
条件２：現在のＣＵ最適モードのレート歪みコストをｂｅｓｔｃｏｓｔとし、初期ｃｈｅｃｋをｆａｌｓｅとし、比較の結果、ｃｈｅｃｋがｔｒｕｅである。比較プロセスは以下の通りである。

ｃｈｅｃｋ ＝ ｆａｌｓｅ； ／／ デフォルトでは４個のサブブロック分割を行う必要がある
ｉｆ（ｃｔｕ＿ｖａｌｉｄｎｕｍ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ ＞ ０ ＆＆ ｂｅｓｔｃｏｓｔ ＜＝ ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ ＆＆ ｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ＞０．３５＊ｃｔｕ＿ｖａｌｉｄｎｕｍ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ ）／／
｛
ｃｈｅｃｋ ＝ ｔｒｕｅ；
｝
｝

ＣＵ３２からＣＵ１６への高速決定（ｓｋｉｐモードに基づき決定されるが、個数に制限されない）判断プロセスは以下のステップを含む。

ステップ１、現在のＣＴＵの隣接する位置の左側、上側、左上角及び右上角にあるＣＴＵのうち利用可能なＣＴＵの個数、及び隣接するＣＴＵ中のｓｋｉｐモードで、且つ同一のＣＵ深度を有するものの個数、及びレート歪みコストの平均値を統計化し、それぞれｃｔｕ＿ｖａｌｉｄｎｕｍ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ、 ｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ、 ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔとし、
ステップ２、現在のＣＴＵ中の処理済みのＣＵのうちｓｋｉｐモードで且つ同一のＣＵ深度を有するものの個数、及びレート歪みコストの平均値を統計化し、それぞれｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｓｋｉｐ＿ｃｕｒｒ、 ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ｃｕｒｒとし、
ステップ３、以下のすべての条件を満たす場合に、現在のＣＵが４個のサブブロック分割を行わず、そうでない場合に、４個のサブブロック分割を行う。

条件１：現在のＣＵ最適モードはｓｋｉｐモードである。
条件２：現在のＣＵ最適モードのレート歪みコストをｂｅｓｔｃｏｓｔとし、初期ｃｈｅｃｋをｆａｌｓｅとし、比較の結果、ｃｈｅｃｋがｔｒｕｅである。比較プロセスは以下の通りである。

ｃｈｅｃｋ ＝ ｆａｌｓｅ； ／／ デフォルトでは４個のサブブロック分割を行う必要がある
ｉｆ（ｃｔｕ＿ｖａｌｉｄｎｕｍ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ ＞ ０） ／／ 隣接するＣＴＵが利用可能である
｛
／／ もし現在のＣＴＵに条件を満たすＣＵがなければ、隣接するＣＴＵのものを直接取る
ａｖｇｃｏｓｔ ＝ ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ；
ｉｆ（ｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｓｋｉｐ＿ｃｕｒｒ ＞０） ／／現在のＣＴＵ内に、ＣＵ深度が同一であり且つｓｋｉｐモードであるものが含まれていれば、平均レート歪みコストは、隣接するＣＴＵと現在のＣＴＵ中の処理済みの同一深度のＣＵとで重み付けする必要がある
｛
ａｖｇｃｏｓｔ ＝ （９＊ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ｃｕｒｒ ＋ ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ａｄｊａｃｅｎｔ）／１６；
｝

ｉｆ（ｂｅｓｔｃｏｓｔ ＜＝ ａｖｇｃｏｓｔ ）
｛
ｃｈｅｃｋ ＝ ｔｒｕｅ；
｝
｝
ｅｌｓｅ ／／ 隣接するＣＴＵはいずれも利用不可能である
｛
ｉｆ（ｂｅｓｔｃｏｓｔ ＜＝ ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｓｋｉｐ＿ｃｕｒｒ）／／ 現在のＣＴＵ中の処理済みの同一深度のＣＵの平均値と比較する
｛
ｃｈｅｃｋ ＝ ｔｒｕｅ；
｝
｝

ＣＵ１６からＣＵ８への高速決定（量子化後の残差係数に基づき決定されるが、個数に制限されない）判断プロセスは以下のステップを含む。

Ｂフレーム中のＣＵ１６からＣＵ８と類似するが、個数に制限されず、すなわち、以下の通りである。

ステップ１、現在のＣＴＵの隣接する位置の左側、上側、左上角及び右上角にあるＣＴＵのうち利用可能なＣＴＵの数、及び隣接するＣＴＵ中の量子化後の残差係数が０で且つ同一のＣＵ深度を有するものの個数、及びレート歪みコストの平均値を統計化し、それぞれｃｔｕ＿ｖａｌｉｄｎｕｍ＿ｃｂｆ＿ａｄｊａｃｅｎｔ、 ｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｃｂｆ＿ａｄｊａｃｅｎｔ、 ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ ｃｂｆ＿ａｄｊａｃｅｎｔとし、
ステップ２、現在のＣＴＵ中の処理済みのＣＵの量子化後の残差係数が０で且つ同一のＣＵ深度を有するものの個数、及びレート歪みコストの平均値を統計化し、それぞれｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｃｂｆ＿ｃｕｒｒ、 ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｃｂｆ ＿ ｃｕｒｒとし、
ステップ３、以下のすべての条件を満たす場合に、現在のＣＵが４個のサブブロック分割を行わず、そうでない場合に、４個のサブブロック分割を行う。

条件１：現在のＣＵ最適モードはｓｋｉｐモードである。
条件２：現在のＣＵ最適モードのレート歪みコストをｂｅｓｔｃｏｓｔとし、初期ｃｈｅｃｋをｆａｌｓｅとし、比較の結果、ｃｈｅｃｋがｔｒｕｅである。比較プロセスは以下の通りである。

ｃｈｅｃｋ ＝ ｆａｌｓｅ； ／／ デフォルトでは４個のサブブロック分割を行う必要がある
ｉｆ（ｃｔｕ＿ｖａｌｉｄｎｕｍ＿ｃｂｆ＿ａｄｊａｃｅｎｔ ＞ ０） ／／ 隣接するＣＴＵが利用可能である
｛
／／ もし現在のＣＴＵに条件を満たすＣＵがなければ、隣接するＣＴＵのものを直接取る
ａｖｇｃｏｓｔ ＝ ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｃｂｆ＿ａｄｊａｃｅｎｔ；
ｉｆ（ｓａｍｅｃｕｄｅｐｔｈ＿ｎｕｍ＿ｃｂｆ＿ｃｕｒｒ ＞０） ／／ 現在のＣＴＵ内に、ＣＵの量子化後のパラメータ係数が０で且つＣＵ深度が同一であるＣＵが含まれていれば、平均レート歪みコストは、隣接するＣＴＵと現在のＣＴＵ中の処理済みの同一深度のＣＵとで重み付けする必要がある
｛
ａｖｇｃｏｓｔ ＝ （９＊ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｃｂｆ＿ｃｕｒｒ ＋ ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｃｂｆ＿ａｄｊａｃｅｎｔ）／１６；
｝

ｉｆ（ｂｅｓｔｃｏｓｔ ＜＝ ａｖｇｃｏｓｔ ）
｛
ｃｈｅｃｋ ＝ ｔｒｕｅ；
｝
｝
ｅｌｓｅ ／／ 隣接するＣＴＵはいずれも利用不可能である
｛
ｉｆ（ｂｅｓｔｃｏｓｔ ＜＝ ｓａｍｅｃｕｄｅｐｔｈ＿ａｖｇｃｏｓｔ＿ｃｂｆ＿ｃｕｒｒ）／／ 現在のＣＴＵ中の処理済みの同一深度のＣＵの平均値、及び個数と比較する
｛
ｃｈｅｃｋ ＝ ｔｒｕｅ；
｝
｝

本場面で提供される方式によって、符号化速度を大幅に向上させることができる。ＣＵ深度が３２であり４個のサブブロック分割を行わない場合のように、対応するＣＵの４個のサブＣＵ（ＣＵのサイズは１６である）、及び各ＣＵ１６に含まれる４個のサブＣＵ（ＣＵのサイズは８である）はいずれもＰＵの各種の計算を行う必要がなく、計算量を大幅に減少させることができる。

本願の実施例のさらに別の態様によれば、さらに上記ビデオフレームの符号化単位の分割方法を実施するための電子装置を提供する。図７に示すように、当該電子装置は、１つ又は複数の（図中では１つのみを示す）プロセッサ７０２、メモリ７０４、センサ７０６、エンコーダ７０８及び伝送装置７１０を含み、当該メモリにコンピュータプログラムが記憶されており、当該プロセッサは、コンピュータプログラムによって上記いずれか一項に記載の方法の実施例のステップを実行するように構成される。

選択可能に、本実施例では、上記電子装置はコンピュータネットワークの複数のネットワーク機器のうちの、少なくとも１つネットワーク機器に位置してもよい。

選択可能に、本実施例では、上記プロセッサは、コンピュータプログラムによって以下のステップを実行するように構成されてもよい。

Ｓ１、対応関係を有するフレームタイプ及び符号化ユニットタイプに基づき、ターゲットフレームが属するターゲットフレームタイプに対応するターゲット符号化ユニットタイプを決定する。ここで、ターゲット符号化ユニットタイプはターゲットフレームを分割するときの分割深度を指示することに用いられる。
Ｓ２、ターゲットフレーム中の、ターゲット符号化ユニットタイプに属するターゲット符号化単位を分割するときに、ターゲット符号化単位の符号化単位情報に基づきターゲット符号化単位がターゲット条件を満たすか否かを決定する。
Ｓ３、ターゲット符号化単位に対して、ターゲット結果に対応する分割操作を実行する。

選択可能に、当業者であれば、図７に示される構造は単に例示的なものであり、電子装置はスマートフォン（たとえば、Ａｎｄｒｏｉｄ携帯電話、ｉＯＳ携帯電話等）、タブレットＰＣ、パームトップパソコン及びモバイルインターネットデバイス（Ｍｏｂｉｌｅ Ｉｎｔｅｒｎｅｔ Ｄｅｖｉｃｅｓ、ＭＩＤ）、ＰＡＤ等の端末機器であってもよいと理解できる。図７は上記電子装置の構造に対する限定を構成しない。たとえば、電子装置はさらに図７に示されるものよりも多い又は少ない構成部材（たとえば、ネットワークインタフェース、表示装置等）を含み、又は図７に示されるものと異なる構成を有するようにしてもよい。

ここで、メモリ７０４はソフトウェアプログラム及びモジュール、たとえば、本願の実施例におけるビデオフレームの符号化単位の分割方法及び装置に対応するプログラム命令／モジュールを記憶することに用いられてもよく、プロセッサ７０２はメモリ７０４内に記憶されたソフトウェアプログラム及びモジュールを演算することで、各種の機能アプリケーション及びデータ処理を実行し、すなわち上記のターゲットする構成部材の制御方法を実現する。メモリ７０４は高速ランダムアクセスメモリを含んでもよく、さらに不揮発性メモリや、たとえば１つ又は複数の磁気記憶装置、フラッシュメモリ、又はほかの不揮発性固体メモリを含んでもよい。いくつかの例では、メモリ７０４は更にプロセッサ７０２に対して遠隔設置されるメモリを含んでもよく、これらの遠隔メモリはネットワークによって端末に接続され得る。上記ネットワークの例はインターネット、イントラネット、ローカルエリアネットワーク、移動体通信ネットワーク及びそれらの組み合わせを含むが、それに制限されない。

上記伝送装置７１０は１つのネットワークを経由してデータを受信又は送信することに用いられる。上記ネットワークの具体例は有線ネットワーク及び無線ネットワークを含んでもよい。一例では、伝送装置７１０は１つのネットワークインタフェースコントローラ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ、ＮＩＣ）を含み、それはケーブルを介してほかのネットワーク機器及びルータに結合され、それによりインターネット又はローカルエリアネットワークと通信可能である。一例では、伝送装置７１０は無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦ）モジュールであり、それは無線方式でインターネットと通信することに用いられる。

ここで、具体的には、メモリ７０４はアプリケーションプログラムを記憶することに用いられる。

本願の実施例はさらにコンピュータプログラムが記憶された記憶媒体を提供し、当該コンピュータプログラムは、演算のときに、上記いずれか一項に記載の方法の実施例のステップを実行するように構成される。

選択可能に、本実施例では、上記記憶媒体は、以下のステップを実行するためのコンピュータプログラムを記憶するように構成されてもよい。

Ｓ１、対応関係を有するフレームタイプ及び符号化ユニットタイプに基づき、ターゲットフレームが属するターゲットフレームタイプに対応するターゲット符号化ユニットタイプを決定する。ここで、ターゲット符号化ユニットタイプはターゲットフレームを分割するときの分割深度を指示することに用いられ、
Ｓ２、ターゲットフレーム中の、ターゲット符号化ユニットタイプに属するターゲット符号化単位を分割するときに、ターゲット符号化単位の符号化単位情報に基づきターゲット符号化単位がターゲット条件を満たすか否かを決定し、ターゲット結果を得て、
Ｓ３、ターゲット符号化単位に対して、ターゲット結果に対応する分割操作を実行する。

選択可能に、記憶媒体はさらに、上記実施例の方法に含まれるステップを実行するためのコンピュータプログラムを記憶するように構成されてもよいが、本実施例ではそれについてさらに詳細に説明しない。

本願の実施例はさらに、命令を含むコンピュータプログラムを提供し、コンピュータによって演算されるときに、上記コンピュータに本願の上記ビデオフレームの符号化単位の分割方法を実行させることができる。

選択可能に、本実施例では、上記実施例の各種の方法のすべて又は一部のステップがプログラムが端末機器に関するハードウェアに命令を出すことで完了でき、当該プログラムはコンピュータ読み取り可能な記憶媒体に記憶されてもよく、記憶媒体はフラッシュドライブ、読み出し専用メモリ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスク等を含んでもよいと、当業者であれば理解することができる。

上記本願の実施例の番号は単に説明用のものであり、実施例の品質を示すものではない。

上記実施例における集積されたユニットは、ソフトウェア機能ユニットの形態で実現され、且つ独立した製品として販売又は使用される場合には、上記コンピュータ読み取り可能な記憶媒体に記憶されてもよい。このような理解に基づき、本願の技術的解決手段は、本質的、若しくは従来技術に貢献する部分において、又は当該技術的解決手段のすべて、若しくは一部はソフトウェア製品の形態で実施されてもよい。ここで、当該コンピュータソフトウェア製品は記憶媒体に記憶され、複数の命令を含み、１台又は複数台のコンピュータ装置（パーソナルコンピュータ、サーバ又はネットワーク機器等であってもよい）に本願の各実施例の上記方法のすべて又は一部のステップを実行させることに用いられてもよい。

本願の上記実施例では、各実施例についての説明はそれぞれの重点に置かれて行われており、ある実施例において詳細に説明されていない部分は、ほかの実施例の関連説明を参照することができる。

本願により提供されるいくつかの実施例では、開示されているクライアント端末は、ほかの形態で実現できると理解すべきである。ここで、上記において説明される装置の実施例は単に例示的なものであり、たとえば、上記単位の分割は、単に１種の論理機能の分割であり、実際に実現する際には別の分割方式を採用してもよい。たとえば、複数のユニット又はユニットを別のシステムと結合又は集積してもよく、又はいくつかの特徴を無視したり実行しなかったりしてもよい。また、表示又は検討された相互の結合又は直接結合又は通信接続はいくつかのインタフェース、ユニット又はモジュールを介した間接結合又は通信接続であってもよく、電気的な、又はその他の形態としてもよい。

上記において分離した部材として説明されたユニットは物理的に分離しているものであってもよく、物理的に分離しているものでなくてもよく、ユニットとして表示される部材は物理ユニットであってもよく物理ユニットでなくてもよい。すなわち、１つの場所に位置してもよく、複数のネットワークユニットに分散していてもよい。実際の必要に応じて、そのうちの一部又はすべてのユニットを選択して本実施例の解決手段の目的を実現することができる。

また、本願の各実施例における各機能ユニットは１つの処理ユニットに集積されてもよく、各ユニットは別々に物理的に存在してもよく、また２つ又は２つ以上のユニットは１つのユニットに集積されてもよい。上記集積されたユニットはハードウェアの形態で実現されてもよく、ソフトウェア機能ユニットの形態で実現されてもよい。

以上は単に本願の好適な実施形態であるが、指摘すべき点としては、当業者であれば、本願の原理を逸脱しないことを前提に、さらに若干の改良や修飾を行うことができ、これらの改良や修飾も本願の保護範囲に属するとみなされるべきである。

５２ 第１決定モジュール
５４ 第２決定モジュール
５６ 処理モジュール
２０２ ターゲット機器
７０２ プロセッサ
７０４ メモリ
７０６ センサ
７０８ エンコーダ
７１０ 伝送装置

Claims (16)

1. 電子装置に適用される、ビデオフレームの符号化単位の分割方法であって、
   対応関係を有するフレームタイプ及び符号化ユニットタイプに基づき、ターゲットフレームが属するターゲットフレームタイプに対応するターゲット符号化ユニットタイプを決定することであって、前記ターゲット符号化ユニットタイプは前記ターゲットフレームを分割するときの分割深度を指示することに用いられる、ターゲット符号化ユニットタイプを決定することと、
   前記ターゲットフレーム中の、前記ターゲット符号化ユニットタイプに属するターゲット符号化単位を分割するときに、前記ターゲット符号化単位の符号化単位情報に基づき、前記ターゲット符号化単位がターゲット条件を満たすか否かを決定し、ターゲット結果を得ることと、
   前記ターゲット符号化単位に対して、前記ターゲット結果に対応する分割操作を実行することと、を含む方法。
2. 前記ターゲット符号化単位に対して、前記ターゲット結果に対応する分割操作を実行することは、
   前記ターゲット結果が、前記ターゲット符号化単位が前記ターゲット条件を満たす場合に、前記ターゲット符号化単位に対して分割を行うことを停止することを指示することに使用され、及び／又は、
   前記ターゲット結果が、前記ターゲット符号化単位が前記ターゲット条件を満たさない場合に、前記ターゲット符号化単位に対して分割を行うことを指示することに使用されること、を含む請求項１に記載の方法。
3. フレームタイプを取得することであって、前記フレームタイプはフレーム符号化プロセスにおけるフレーム間の参照関係に基づき分割して得られたものである、フレームタイプを取得することと、
   前記フレームタイプに対応する符号化ユニットタイプを取得することと、
   対応関係を有するフレームタイプ及び符号化ユニットタイプを保存することと、を含む方式によって、前記対応関係を有するフレームタイプ及び符号化ユニットタイプを作成する請求項１に記載の方法。
4. 前記フレームタイプを取得することは、
   前記フレームタイプを決定することを含み、
   前記フレームタイプは、第１フレームタイプ、第２フレームタイプ、第３フレームタイプ及び第４フレームタイプを含み、
   前記第１フレームタイプのフレームはフレーム符号化プロセスにおいてほかのフレームを参照せず、
   前記第２フレームタイプのフレームは符号化プロセスにおいて前記第１フレームタイプのフレームを参照し、
   前記第３フレームタイプのフレームは符号化プロセスにおいて前記第１フレームタイプのフレーム及び前記第２フレームタイプのフレームを参照し、
   前記第４フレームタイプのフレームは符号化プロセスにおいて前記第１フレームタイプのフレーム及び前記第３フレームタイプのフレームを参照し、又は、前記第２フレームタイプのフレーム及び前記第３フレームタイプのフレームを参照する請求項３に記載の方法。
5. 前記フレームタイプに対応する符号化ユニットタイプを取得することは、
   前記第２フレームタイプに対応する符号化ユニットタイプが第１符号化ユニットタイプであると決定することであって、前記第１符号化ユニットタイプに属する符号化単位は１６×１６符号化単位を含む、ことと、
   前記第３フレームタイプに対応する符号化ユニットタイプが第２符号化ユニットタイプであると決定することであって、前記第２符号化ユニットタイプに属する符号化単位は１６×１６符号化単位及び３２×３２符号化単位を含む、ことと、
   前記第４フレームタイプに対応する符号化ユニットタイプが第３符号化ユニットタイプであると決定することであって、前記第３符号化ユニットタイプに属する符号化単位は１６×１６符号化単位、３２×３２符号化単位及び６４×６４符号化単位を含む、ことと、を含む請求項４に記載の方法。
6. 前記ターゲット符号化単位の符号化単位情報に基づき前記ターゲット符号化単位がターゲット条件を満たすか否かを決定することは、
   前記ターゲットフレーム中の、前記ターゲット符号化ユニットタイプで指示される分割深度に適合する符号化単位を、前記ターゲット符号化単位として決定することと、
   前記ターゲット符号化単位を分割するときに、前記ターゲット符号化単位の符号化単位情報を取得することと、
   前記符号化単位情報に基づき、前記ターゲット符号化単位がターゲット条件を満たすか否かを決定することと、を含む請求項１〜５のいずれか一項に記載の方法。
7. 前記ターゲット符号化単位の符号化単位情報を取得することは、前記ターゲット符号化単位の最適モード及び前記最適モードのレート歪みコスト（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ Ｃｏｓｔ）を取得することを含み、
   前記符号化単位情報に基づき、前記ターゲット符号化単位がターゲット条件を満たすか否かを決定することは、
   前記最適モードがｓｋｉｐモードであり、且つ前記レート歪みコストがターゲット閾値範囲内にある場合に、前記ターゲット符号化単位が前記ターゲット条件を満たすと決定すること、及び／又は、
   前記最適モードがｓｋｉｐモードではない、又は、前記レート歪みコストが前記ターゲット閾値範囲内にない場合に、前記ターゲット符号化単位が前記ターゲット条件を満たさないと決定することを含む請求項６に記載の方法。
8. ビデオフレームの符号化単位の分割装置であって、
   対応関係を有するフレームタイプ及び符号化ユニットタイプに基づき、ターゲットフレームが属するターゲットフレームタイプに対応するターゲット符号化ユニットタイプを決定することに用いられる第１決定モジュールであって、前記ターゲット符号化ユニットタイプは前記ターゲットフレームを分割するときの分割深度を指示することに用いられる、第１決定モジュールと、
   前記ターゲットフレーム中の、前記ターゲット符号化ユニットタイプに属するターゲット符号化単位を分割するときに、前記ターゲット符号化単位の符号化単位情報に基づき、前記ターゲット符号化単位がターゲット条件を満たすか否かを決定し、ターゲット結果を得ることに用いられる第２決定モジュールと、
   前記ターゲット符号化単位に対して、前記ターゲット結果に対応する分割操作を実行することに用いられる処理モジュールと、を含む装置。
9. 前記処理モジュールは、
   前記ターゲット結果が、前記ターゲット符号化単位が前記ターゲット条件を満たすことを指示することに用いられる場合に、前記ターゲット符号化単位に対して分割を行うことを停止することに用いられる第１処理ユニット、及び／又は、
   前記ターゲット結果が、前記ターゲット符号化単位が前記ターゲット条件を満たさないことを指示することに用いられる場合に、前記ターゲット符号化単位に対して分割を行うことに用いられる第２処理ユニット、を含む請求項８に記載の装置。
10. 前記装置はさらに、
    フレームタイプを取得することに用いられ、前記フレームタイプはフレーム符号化プロセスにおけるフレーム間の参照関係に基づき分割して得られたものである第１取得モジュールと、
    前記フレームタイプに対応する符号化ユニットタイプを取得することに用いられる第２取得モジュールと、
    対応関係を有するフレームタイプ及び符号化ユニットタイプを記憶することに用いられる記憶モジュールと、を含む請求項８に記載の装置。
11. 前記第１取得モジュールは、
    前記フレームタイプを決定することに用いられ、前記フレームタイプは、第１フレームタイプ、第２フレームタイプ、第３フレームタイプ及び第４フレームタイプを含み、
    前記第１フレームタイプのフレームは符号化を行うプロセスにおいてほかのフレームを参照せず、
    前記第２フレームタイプのフレームは符号化プロセスにおいて前記第１フレームタイプのフレームを参照し、
    前記第３フレームタイプのフレームは符号化プロセスにおいて前記第１フレームタイプのフレーム及び前記第２フレームタイプのフレームを参照し、
    前記第４フレームタイプのフレームは符号化プロセスにおいて前記第１フレームタイプのフレーム及び前記第３フレームタイプのフレームを参照し、又は、前記第２フレームタイプのフレーム及び前記第３フレームタイプのフレームを参照する請求項１０に記載の装置。
12. 前記第２取得モジュールは、
    前記第２フレームタイプに対応する符号化ユニットタイプが第１符号化ユニットタイプであると決定することに用いられる第２決定ユニットであって、前記第１符号化ユニットタイプに属する符号化単位は１６×１６符号化単位を含む、第２決定ユニットと、
    前記第３フレームタイプに対応する符号化ユニットタイプが第２符号化ユニットタイプであると決定することに用いられる第３決定ユニットであって、前記第２符号化ユニットタイプに属する符号化単位は１６×１６符号化単位及び３２×３２符号化単位を含む、第３決定ユニットと、
    前記第４フレームタイプに対応する符号化ユニットタイプが第３符号化ユニットタイプであると決定することに用いられる第４決定ユニットであって、前記第３符号化ユニットタイプに属する符号化単位は１６×１６符号化単位、３２×３２符号化単位及び６４×６４符号化単位を含む、第４決定ユニットと、を含む請求項１１に記載の装置。
13. 前記第２決定モジュールは、
    前記ターゲットフレーム中の、前記ターゲット符号化ユニットタイプで指示される分割深度に適合する符号化単位を、前記ターゲット符号化単位として決定することに用いられる第９決定ユニットと、
    前記ターゲット符号化単位を分割するときに、前記ターゲット符号化単位の符号化単位情報を取得することに用いられる取得ユニットと、
    前記符号化単位情報に基づき、前記ターゲット符号化単位がターゲット条件を満たすか否かを決定することに用いられる第１０決定ユニットと、を含む請求項８〜１２のいずれか一項に記載の装置。
14. コンピュータプログラムが記憶された記憶媒体であって、前記コンピュータプログラムは、演算のときに、前記請求項１〜７のいずれか一項に記載の方法を実行するように構成される記憶媒体。
15. 電子装置であって、メモリ及びプロセッサを含み、前記メモリにコンピュータプログラムが記憶されており、前記プロセッサは、前記コンピュータプログラムによって前記請求項１〜７のいずれか一項に記載の方法を実行するように構成される電子装置。
16. 命令を含むコンピュータプログラムであって、コンピュータによって演算されるときに、前記コンピュータに請求項１〜７のいずれか一項に記載のビデオフレームの符号化単位の分割方法を実行させるコンピュータプログラム。

Images