JP4676513B2 - Encoded picture type determination method, apparatus, program thereof, and recording medium thereof - Google Patents

Encoded picture type determination method, apparatus, program thereof, and recording medium thereof Download PDF

Info

Publication number
JP4676513B2
JP4676513B2 JP2008148104A JP2008148104A JP4676513B2 JP 4676513 B2 JP4676513 B2 JP 4676513B2 JP 2008148104 A JP2008148104 A JP 2008148104A JP 2008148104 A JP2008148104 A JP 2008148104A JP 4676513 B2 JP4676513 B2 JP 4676513B2
Authority
JP
Japan
Prior art keywords
picture
picture type
encoded
encoding
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008148104A
Other languages
Japanese (ja)
Other versions
JP2009296328A (en
Inventor
淳 清水
隆一 谷田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008148104A priority Critical patent/JP4676513B2/en
Publication of JP2009296328A publication Critical patent/JP2009296328A/en
Application granted granted Critical
Publication of JP4676513B2 publication Critical patent/JP4676513B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は,映像符号化の符号化ピクチャタイプの決定方法に関するものである。   The present invention relates to a method for determining an encoded picture type for video encoding.

MPEG−2やH.264などの動画像符号化方式では,符号化ツールの違いからピクチャタイプを切り替えて符号化することができる。動き補償予測を行わずにピクチャ内に閉じて符号化するIピクチャ,時間的に前の符号化済みピクチャを参照してピクチャ間予測を行うPピクチャ,過去または未来の符号化済みピクチャを参照可能なBピクチャなどがある。これら複数のピクチャタイプを組み合わせてGOP(Group of Pictures) を構成し,ランダムアクセスやビットレート制御の単位として利用する。   MPEG-2 and H.264 In a moving image encoding method such as H.264, encoding can be performed by switching picture types due to differences in encoding tools. I picture that is closed and encoded in the picture without motion compensation prediction, P picture that performs inter-picture prediction by referring to the previous encoded picture in time, and past or future encoded pictures can be referenced There is a B picture. These multiple picture types are combined to form a GOP (Group of Pictures) and used as a unit for random access and bit rate control.

GOP構造を示すものとして,N,Mがある。一般に,Iピクチャの符号化間隔をN,Pピクチャの符号化間隔をMとする。図8に,各ピクチャタイプの参照関係の例を示す。図8(A)−(D)は,これまでの動画像符号化方式でよく利用されているものである。図8(E)は,H.264で採用された他のピクチャから参照可能なBピクチャ(以下,Bs)を利用した例を示している。   There are N and M to indicate the GOP structure. In general, the encoding interval for I pictures is N, and the encoding interval for P pictures is M. FIG. 8 shows an example of the reference relationship of each picture type. FIGS. 8A to 8D are frequently used in the conventional moving picture coding system. FIG. An example using a B picture (hereinafter referred to as Bs) that can be referred to from other pictures adopted in H.264 is shown.

このGOP構造は,符号化対象となる映像によって,最適な参照関係が異なる。例えば,動きの速い映像では,ピクチャ間の相関が小さくなるため,ピクチャ間距離が短い参照関係が有利である(例えば,図8(A)や図8(B))。そこで,より効率のよいGOP構造を決定するための方法が提案されている。   In this GOP structure, the optimum reference relationship differs depending on the video to be encoded. For example, in a fast-moving video, since the correlation between pictures is small, a reference relationship with a short inter-picture distance is advantageous (for example, FIGS. 8A and 8B). Therefore, a method for determining a more efficient GOP structure has been proposed.

例えば,特許文献1に記載されているシーン適応型動画像符号化装置では,符号化対象ピクチャに対し,事前に動き補償予測の効率を調べることで,ピクチャタイプを決定している。この装置では,符号化処理前に動き補償予測特性を検出し,符号化対象ピクチャのピクチャタイプを決定している。   For example, in the scene adaptive moving image encoding device described in Patent Document 1, the picture type is determined by examining the efficiency of motion compensation prediction in advance for a picture to be encoded. In this apparatus, the motion compensated prediction characteristics are detected before the encoding process, and the picture type of the picture to be encoded is determined.

図9に従来技術のフローチャート,図10に従来技術のブロック図を示す。   FIG. 9 is a flowchart of the prior art, and FIG. 10 is a block diagram of the prior art.

図10の事前解析部200は,符号化処理前に入力画像信号から符号化対象ピクチャの動き補償予測特性を検出する(ステップS100)。ピクチャタイプ決定部201は,事前解析部200によって検出された動き補償予測特性をもとに,符号化対象ピクチャのピクチャタイプを決定する(ステップS101)。ピクチャ並び替え部202は,決定されたピクチャタイプに従ってピクチャを並び替え,符号化順番を入れ替える(ステップS102)。符号化処理部203は,ピクチャ並び替え部202により並び替えられたピクチャの画像信号に対して,予測符号化を行う(ステップS103)。   The pre-analysis unit 200 in FIG. 10 detects the motion compensation prediction characteristics of the current picture from the input image signal before the encoding process (step S100). The picture type determination unit 201 determines the picture type of the encoding target picture based on the motion compensation prediction characteristics detected by the pre-analysis unit 200 (step S101). The picture rearrangement unit 202 rearranges the pictures according to the determined picture type, and changes the encoding order (step S102). The encoding processing unit 203 performs predictive encoding on the image signals of the pictures rearranged by the picture rearrangement unit 202 (step S103).

なお,符号化処理部203における減算器204,直交変換部205,量子化部206,情報源符号化部207,逆量子化部208,逆直交変換部209,加算器210,フレームメモリ211,動き探索部212,動き補償部213による予測符号化処理は,よく知られた処理であるので詳しい説明を省略する。   The subtractor 204, orthogonal transform unit 205, quantization unit 206, information source coding unit 207, inverse quantization unit 208, inverse orthogonal transform unit 209, adder 210, frame memory 211, motion in the encoding processing unit 203 The predictive encoding process performed by the search unit 212 and the motion compensation unit 213 is a well-known process and will not be described in detail.

このような方法によれば,入力された映像に最適なピクチャタイプを選択することができ,GOP構造が固定された方式に比べ,符号化効率が向上する。
特開2002−77924号公報
According to such a method, it is possible to select an optimal picture type for the input video, and the coding efficiency is improved as compared with a method in which the GOP structure is fixed.
JP 2002-77924 A

前述した特許文献1の技術では,符号化処理前に符号化対象ピクチャについて,動き検出や動き補償予測を行うことで,動き補償予測効率を推定してピクチャタイプを選択している。ここでは,符号化ループ内の結果から動き補償予測特性を求めている。   In the technique of Patent Document 1 described above, the motion compensation prediction efficiency is estimated and the picture type is selected by performing motion detection and motion compensation prediction on the encoding target picture before the encoding process. Here, the motion compensation prediction characteristic is obtained from the result in the coding loop.

この方法では,ピクチャタイプが変更された場合,符号化順番の変更が必要になり,処理が複雑になる。例えば,動き補償予測特性からBピクチャが選択された場合,次に符号化されるべきピクチャタイプはPピクチャであるため,符号化ループ内の情報を削除しなければならない。このように,従来の方法では,演算コストの増加や処理構造が複雑になるなどの問題があった。   In this method, when the picture type is changed, the encoding order needs to be changed, and the processing becomes complicated. For example, when a B picture is selected from the motion compensated prediction characteristics, since the picture type to be encoded next is a P picture, information in the encoding loop must be deleted. As described above, the conventional methods have problems such as an increase in calculation cost and a complicated processing structure.

本発明は,上記課題の解決を図り,符号化対象ピクチャに対して,符号化前に動き補償効率などを調べることなく,最適なピクチャタイプ(GOP構造)を決定し,これにより符号化前に符号化対象ピクチャへの事前の動きベクトル探索などを不要とし,演算コストの削減および処理構造の簡易化を実現することを目的とする。   The present invention solves the above-mentioned problem, and determines the optimal picture type (GOP structure) for a picture to be coded without checking the motion compensation efficiency before coding, and thereby before coding. It is an object of the present invention to eliminate the need for a prior motion vector search for a picture to be encoded, and to reduce the calculation cost and simplify the processing structure.

複数のピクチャ間予測モードを有する映像符号化方式において,動きベクトルや予測モード選択などの符号化結果は,入力された映像に対し,そのピクチャタイプの符号化効率や映像の性質によって変化する。そこで,符号化済みピクチャの符号化結果を利用して,符号化対象ピクチャの映像性質を推定する。符号化結果としては,予測モードの選択比率や動きベクトルのノルムなど,エンコーダ側で得られる情報を利用する。   In a video encoding system having a plurality of inter-picture prediction modes, encoding results such as motion vector and prediction mode selection vary depending on the encoding efficiency of the picture type and the video characteristics of the input video. Therefore, the video property of the encoding target picture is estimated using the encoding result of the encoded picture. As the encoding result, information obtained on the encoder side, such as the selection ratio of the prediction mode and the norm of the motion vector, is used.

すなわち,本発明は,上記課題を解決するため,ピクチャ間予測のピクチャタイプを切り替える際,過去に符号化したピクチャ間予測ピクチャの予測モードや動きベクトルに着目し,符号化対象ピクチャの符号化処理前に,同じ符号化対象映像における当該符号化対象ピクチャより前に符号化した符号化済みピクチャ間予測ピクチャの符号化結果のみの統計量を算出し,その統計量から得られる値と所定の閾値とを比較し,比較結果から符号化対象ピクチャのピクチャタイプを決定することを特徴とする。前記統計量から得られる値は,統計量そのものでもよく,また統計量から求められるコスト値のような値でもよい。 That is, in order to solve the above-described problem, the present invention pays attention to the prediction mode and motion vector of the inter-picture prediction picture encoded in the past when switching the picture type of inter-picture prediction, and encodes the encoding target picture. Before calculating the statistic only of the encoding result of the inter-picture prediction picture that has been encoded before the current encoding target picture in the same encoding target picture , a value obtained from the statistical amount and a predetermined threshold value And the picture type of the encoding target picture is determined from the comparison result. The value obtained from the statistic may be the statistic itself or a value such as a cost value obtained from the statistic.

従来技術では,符号化処理よりも前に,符号化対象ピクチャの動き補償予測の効率などを算出し,ピクチャタイプを決定しているので,符号化対象ピクチャの決定に,符号化対象ピクチャの信号が必要になる。これに対し,本発明では,符号化済みピクチャの符号化結果を利用して,符号化対象ピクチャのピクチャタイプを決定するので,符号化対象ピクチャそのものを入力する必要はなく,この点が従来技術と大きく異なる。これにより,符号化前の符号化対象ピクチャへの事前の動きベクトル探索などが不要となり,演算コストおよび事前解析部の回路規模を縮小することができる。   In the prior art, since the efficiency of motion compensated prediction of the encoding target picture is calculated and the picture type is determined before the encoding process, the signal of the encoding target picture is used to determine the encoding target picture. Is required. On the other hand, in the present invention, since the picture type of the encoding target picture is determined using the encoding result of the encoded picture, there is no need to input the encoding target picture itself, which is the conventional technique. And very different. This eliminates the need for a prior motion vector search for the encoding target picture before encoding, thereby reducing the calculation cost and the circuit scale of the preliminary analysis unit.

らに,双方向予測ピクチャの結果のみを利用してピクチャタイプを決定することも,最適なピクチャタイプの選択に有効である。
Et al is, it is also effective to select the optimum picture type determines picture types by using only the results of the bidirectional predictive pictures.

上記発明において,符号化済みのピクチャ間予測ピクチャについて,動きベクトル,予測モード,予測ブロックサイズ,予測誤差電力のうち,1つまたは複数の値を用いてピクチャタイプを決定する方法も好適である。   In the above-described invention, a method of determining a picture type using one or more values of a motion vector, a prediction mode, a prediction block size, and a prediction error power for an encoded inter-picture prediction picture is also preferable.

また,上記発明において,符号化済みピクチャの複数の符号化結果(動きベクトル,予測モード,予測ブロックサイズ,予測誤差電力など)を利用してピクチャタイプを決定する際,利用する符号化結果の種別毎に予め定めた閾値を設定し,符号化結果と閾値を比較し,比較結果から符号化対象ピクチャのピクチャタイプを決定する方法を用いることもよい結果が得られる。   In the above invention, when determining a picture type using a plurality of encoding results (motion vector, prediction mode, prediction block size, prediction error power, etc.) of an encoded picture, the type of encoding result to be used It is also possible to use a method in which a predetermined threshold value is set for each time, the encoding result is compared with the threshold value, and the picture type of the encoding target picture is determined from the comparison result.

また,上記発明において,符号化済みピクチャの複数の符号化結果(動きベクトル,予測モード,予測ブロックサイズ,予測誤差電力など)を利用してピクチャタイプを決定する際,利用する符号化結果をパラメータとするコスト関数に代入してコストを算出する手段と,算出したコストと予め定めた閾値とを比較する手段とを用いて,比較結果から符号化対象ピクチャのピクチャタイプを決定することも好適である。   In the above invention, when a picture type is determined using a plurality of encoding results (motion vector, prediction mode, prediction block size, prediction error power, etc.) of an encoded picture, the encoding result to be used is set as a parameter. It is also preferable to determine the picture type of the picture to be encoded from the comparison result using a means for calculating the cost by substituting it into a cost function and a means for comparing the calculated cost with a predetermined threshold. is there.

上記発明において,符号化済みのピクチャ間予測ピクチャの動きベクトルを利用する際,統計量として,動きベクトルの各成分やノルムについて,平均値や最大値,分散などの統計量を算出する手段を用い,算出した統計量を用いてピクチャタイプを決定することも好適である。   In the above invention, when using a motion vector of an encoded inter-picture prediction picture, means for calculating a statistic such as an average value, a maximum value, and a variance for each component or norm of the motion vector is used as a statistic. It is also preferable to determine the picture type using the calculated statistic.

上記発明において,符号化済みのピクチャ間予測ピクチャの,予測モード,予測ブロックサイズを利用する際,統計量として,各予測モードや予測ブロックサイズの選択比率を算出する手段を用い,算出した選択比率を用いてピクチャタイプを決定することも好適である。   In the above invention, when using the prediction mode and the prediction block size of the encoded inter-picture prediction picture, a means for calculating a selection ratio of each prediction mode and prediction block size is used as a statistic, and the calculated selection ratio is calculated. It is also preferable to determine the picture type using.

上記発明において,符号化済み双方向予測ピクチャから,双方向予測モードと省オーバヘッド予測モードの選択比率を算出する手段と,算出した選択比率と予め定めた閾値を比較する手段と,比較結果が予め定めた範囲に収まる場合,前方向予測とイントラ予測以外の予測モードの選択比率を算出する手段と,その選択比率を予め定めた閾値と比較する手段を用い,予測モードの統計量を利用して,段階的にピクチャタイプを決定することも好適な結果が得られる。   In the above invention, the means for calculating the selection ratio between the bidirectional prediction mode and the reduced overhead prediction mode from the encoded bidirectional prediction picture, the means for comparing the calculated selection ratio with a predetermined threshold, and the comparison result in advance If it falls within the defined range, use a means for calculating the selection ratio of prediction modes other than forward prediction and intra prediction, and a means for comparing the selection ratio with a predetermined threshold, and using the statistics of the prediction mode. , Determining the picture type step by step also gives good results.

上記発明において,符号化済みの片方向予測ピクチャと双方向予測ピクチャの両ピクチャタイプの符号化結果を用いてピクチャタイプを決定することも好適である。さらにまた,符号化済みの片方向予測ピクチャの動きベクトルの統計量を計測する手段と,双方向予測ピクチャの予測モードの統計量を計測する手段を用い,算出した統計量からピクチャタイプを決定することも好適な結果が得られる。   In the above invention, it is also preferable to determine the picture type using the encoding results of both the encoded one-way prediction picture and bidirectional prediction picture. Furthermore, the picture type is determined from the calculated statistic by using the means for measuring the statistic of the motion vector of the encoded unidirectional prediction picture and the means for measuring the statistic of the prediction mode of the bidirectional prediction picture. Also good results can be obtained.

上記発明において,閾値を設定する際,入力映像のピクチャサイズやフレームレート,および,符号化ビットレートまたは各ピクチャの割り当て符号量から,閾値を算出する手段を用い,符号化条件や入力映像に合わせて閾値を変化させてピクチャタイプを決定する。このように閾値を自動的に切り替えることにより,状況に応じて適切な閾値を用いることができ,さらに効率的なピクチャタイプの選択が可能になる。   In the above invention, when setting the threshold value, a means for calculating the threshold value from the picture size and frame rate of the input video and the encoding bit rate or the allocated code amount of each picture is used to match the encoding condition and the input video. The threshold value is changed to determine the picture type. By automatically switching the threshold values in this way, an appropriate threshold value can be used according to the situation, and more efficient picture type selection is possible.

このような方法によれば,符号化前に符号化対象ピクチャの動き補償予測などを行うことなく,効率的なピクチャタイプを選択できる。事前に符号化対象ピクチャの符号化効率を調べる必要がないため,演算コストの削減や回路規模の縮小が期待できる。   According to such a method, an efficient picture type can be selected without performing motion compensation prediction or the like of the encoding target picture before encoding. Since it is not necessary to check the coding efficiency of the picture to be coded in advance, it can be expected to reduce the calculation cost and the circuit scale.

以下,図面を使いながら,本発明の実施の形態を説明する。本発明の実施の形態の基本的なフローチャートを図1に示す。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. A basic flowchart of the embodiment of the present invention is shown in FIG.

まず,PピクチャやBピクチャなど,ピクチャ間予測を行うピクチャについて,動きベクトルや予測モードなどの統計量を算出する(ステップS1)。   First, statistics such as a motion vector and a prediction mode are calculated for a picture that performs inter-picture prediction, such as a P picture or a B picture (step S1).

以下に,統計量の例を示す。
(1)動きベクトルの水平・垂直成分の平均値や最大値,分散など
(2)動きベクトルのノルムの平均値や最大値,分散など
(3)各予測モードや予測ブロックサイズの選択比率
(4)予測誤差電力
以上のような統計量において,動きベクトルの平均値や最大値,ノルムは,その映像の動きの速さを示している,動きベクトルの分散は,動きのばらつきを示している。予測モードや予測ブロックサイズの選択比率からは,その映像の特徴を知ることができる。例えば,Bピクチャでは,予測方向から,前後の参照ピクチャとの類似性を見ることができる。予測ブロックサイズからは,動領域の大きさを推測できる。4×4サイズの小さい予測ブロックサイズが多く選択される場合,画面内の動きが均一でない可能性がある。予測誤差電力は,予測効率を知るために利用できる。
The following are examples of statistics.
(1) Average, maximum, and variance of horizontal and vertical components of motion vector (2) Average, maximum, and variance of motion vector norm (3) Selection ratio of each prediction mode and prediction block size (4 ) Prediction error power In the above statistics, the average value, maximum value, and norm of the motion vector indicate the speed of motion of the video, and the variance of the motion vector indicates variation in motion. The characteristics of the video can be known from the selection ratio of the prediction mode and the prediction block size. For example, in the B picture, the similarity with the preceding and following reference pictures can be seen from the prediction direction. The size of the moving area can be estimated from the predicted block size. When many small prediction block sizes of 4 × 4 size are selected, there is a possibility that the motion in the screen is not uniform. The prediction error power can be used to know the prediction efficiency.

また,統計量を算出する際,閾値を用いて判定比率を算出してもよい。例えば,動きベクトルの場合,動きの速さを判定する閾値を設け,動きが早いと判定される動きベクトルの比率を利用することもできる。   Further, when calculating the statistic, the determination ratio may be calculated using a threshold value. For example, in the case of motion vectors, a threshold value for determining the speed of motion can be provided, and the ratio of motion vectors determined to be fast can be used.

次に,符号化済みピクチャの符号化結果から求めた統計量をもとに,符号化対象ピクチャのピクチャタイプを決定する(ステップS2)。ピクチャタイプの決定は,符号化済みの特定のピクチャタイプまたは複数のピクチャタイプの統計量を用いる。   Next, the picture type of the picture to be coded is determined based on the statistic obtained from the coding result of the coded picture (step S2). The picture type is determined by using a statistic of a specific encoded picture type or a plurality of picture types.

(1)特定のピクチャタイプの統計量を使用
Bピクチャなど,1種類のピクチャタイプの統計量を用いて,符号化対象ピクチャの適合度を判定し,符号化対象ピクチャのピクチャタイプを決定する。
(1) Use a statistic of a specific picture type Using a statistic of one type of picture type such as a B picture, the suitability of the encoding target picture is determined, and the picture type of the encoding target picture is determined.

(2)複数のピクチャタイプの統計量を使用
各ピクチャタイプの統計量を比較し,符号化効率が高いと思われるピクチャタイプを選択し,符号化対象ピクチャのピクチャタイプを決定する。
(2) Use statistics of a plurality of picture types Compare statistics of each picture type, select a picture type that seems to have high encoding efficiency, and determine a picture type of a picture to be encoded.

ピクチャタイプの決定に用いる統計量は,1つまたは複数の統計量を組み合わせる。複数の統計量を組み合わせる際,
(i)各統計量をパラメータとするコスト関数を用いてコストを算出する,
(ii)各統計量毎に閾値による判定を行う,
といった方法がある。
The statistics used to determine the picture type are a combination of one or more statistics. When combining multiple statistics,
(I) calculating the cost using a cost function with each statistic as a parameter;
(Ii) Judgment by threshold for each statistic.
There is a method.

コスト関数を用いる場合,複数の統計量からコスト値を算出する。例えば,予測誤差電力Dと発生符号量Rを用いてコストCostを求め,このコストからピクチャタイプを決定する。λはラグランジュの未定乗数である。   When using a cost function, a cost value is calculated from a plurality of statistics. For example, the cost Cost is obtained using the prediction error power D and the generated code amount R, and the picture type is determined from this cost. λ is Lagrange's undetermined multiplier.

Cost=D+λ・R …(式1)
閾値判定の場合,各統計量毎に閾値を定め,その大小関係によりピクチャタイプを決定する。また,比較する統計量に優先順位をつけ,その条件により,後段の統計量の閾値を変更することもできる。例えば,統計量Aと統計量Bを用いる場合,統計量Aが閾値THA 以上ならば,統計量Bの閾値はTHB1,統計量Aが閾値THA 未満ならば,統計量Bの閾値はTHB2と切り替えることができる。
Cost = D + λ · R (Formula 1)
In the case of threshold determination, a threshold is determined for each statistic, and the picture type is determined based on the magnitude relationship. It is also possible to prioritize the statistics to be compared and change the statistics threshold in the latter stage according to the conditions. For example, when using statistic A and statistic B, if statistic A is greater than or equal to threshold TH A , the threshold of statistic B is TH B1 , and if statistic A is less than threshold TH A , the threshold of statistic B is Can be switched to TH B2 .

このようにして,符号化済みピクチャの符号化結果を利用してピクチャタイプを決定することで,符号化前に入力映像の解析等を行うことなく,符号化対象ピクチャのピクチャタイプを決定できる。   In this way, by determining the picture type using the encoding result of the encoded picture, the picture type of the encoding target picture can be determined without analyzing the input video before encoding.

図2は,本発明を用いた符号化装置の構成例を示すブロック図である。図1において,統計量算出部10は,符号化済みピクチャの符号化結果の統計量を算出する手段である。ピクチャタイプ決定部11は,統計量算出部10が算出した統計量を利用して,統計量から得られる値と所定の閾値とを比較し,比較結果から符号化対象ピクチャのピクチャタイプを決定する。ピクチャ並び替え部12は,決定されたピクチャタイプをもとに,ピクチャ間予測のピクチャタイプを切り替え,参照関係に合わせて,符号化順番を入れ替える。   FIG. 2 is a block diagram showing a configuration example of an encoding apparatus using the present invention. In FIG. 1, a statistic calculation unit 10 is means for calculating a statistic of the encoding result of an encoded picture. The picture type determination unit 11 compares the value obtained from the statistic with a predetermined threshold using the statistic calculated by the statistic calculation unit 10, and determines the picture type of the picture to be encoded from the comparison result. . The picture rearrangement unit 12 switches the picture type for inter-picture prediction based on the determined picture type, and changes the coding order according to the reference relationship.

符号化処理部100は,符号化済みピクチャの符号化結果を統計量算出部10に対して出力すること以外は,従来の動き補償予測を用いる符号化処理部の構成と同様である。符号化処理部100は,ピクチャ並び替え部12で並び替えられた符号化対象ピクチャの画像信号を入力する。   The encoding processing unit 100 is the same as the configuration of the conventional encoding processing unit using motion compensation prediction, except that the encoding result of the encoded picture is output to the statistic calculation unit 10. The encoding processing unit 100 inputs image signals of encoding target pictures rearranged by the picture rearranging unit 12.

符号化処理部100において,減算器101は,入力画像信号と予測画像信号との予測誤差を算出する。直交変換部102は,予測誤差信号に対してDCT等の直交変換を施し,量子化部103は,直交変換部102の出力を量子化する。情報源符号化部104は,量子化された信号を可変長符号化し,符号化データとして出力する。   In the encoding processing unit 100, the subtractor 101 calculates a prediction error between the input image signal and the predicted image signal. The orthogonal transform unit 102 performs orthogonal transform such as DCT on the prediction error signal, and the quantization unit 103 quantizes the output of the orthogonal transform unit 102. The information source encoding unit 104 performs variable length encoding on the quantized signal and outputs it as encoded data.

一方,量子化部103の出力は,逆量子化部105で逆量子化され,逆直交変換部106は,逆量子化値に対しIDCT等の逆直交変換を行う。加算器107は,逆直交変換によって得られた予測誤差に予測画像信号を加算し,参照のための復号画像信号を求め,フレームメモリ108に格納する。   On the other hand, the output of the quantization unit 103 is inversely quantized by the inverse quantization unit 105, and the inverse orthogonal transform unit 106 performs inverse orthogonal transform such as IDCT on the inverse quantized value. The adder 107 adds the predicted image signal to the prediction error obtained by the inverse orthogonal transform, obtains a decoded image signal for reference, and stores it in the frame memory 108.

動き探索部109は,入力画像信号とフレームメモリ108に格納された復号画像信号とから動き推定を行い,動きベクトルを求めて,動き補償部110に出力する。動き補償部110は,動きベクトルから予測画像信号を生成し,減算器101に出力する。また,局部復号のために予測画像信号を加算器107にも出力する。   The motion search unit 109 performs motion estimation from the input image signal and the decoded image signal stored in the frame memory 108, obtains a motion vector, and outputs the motion vector to the motion compensation unit 110. The motion compensation unit 110 generates a predicted image signal from the motion vector and outputs it to the subtracter 101. The predicted image signal is also output to the adder 107 for local decoding.

動き探索部109によって得られた動きベクトルや予測モードの情報は,情報源符号化部104にて符号化され,符号化データとして出力される。また,これらの符号化結果の情報は,統計量算出部10に対しても出力される。   Information on motion vectors and prediction modes obtained by the motion search unit 109 is encoded by the information source encoding unit 104 and output as encoded data. Also, information on these encoding results is also output to the statistic calculation unit 10.

〔実施例1〕
以下に本発明の具体的な実施例を示す。実施例1では,H.264でのピクチャタイプ切り替えを前提とし,図8(B)のM=2と,図8(E)のM=4を切り替える。切り替えには,符号化済みBピクチャの統計量のみを用い,統計量は,以下の2種類を利用する。
(1)双方向予測+省オーバヘッド予測モードの選択比率BMCbi
(2)前方向予測とイントラ予測以外の予測モードの選択比率BMCall
省オーバヘッド予測モードとは,H.264で利用されるスキップモードやダイレクトモードのことである。前方向予測とイントラ予測以外の選択比率BMCall は,双方向予測+省オーバヘッド予測モードの選択比率BMCbiに後方向予測モードを加えたものである。
[Example 1]
Specific examples of the present invention are shown below. In example 1, H. Assuming that the picture type is switched in H.264, M = 2 in FIG. 8B and M = 4 in FIG. 8E are switched. Only the statistic of the encoded B picture is used for switching, and the following two types of statistic are used.
(1) Selection ratio BMC bi of bidirectional prediction + overhead saving prediction mode
(2) Selection ratio BMC all of prediction modes other than forward prediction and intra prediction
The reduced overhead prediction mode is H.264. This is a skip mode or direct mode used in H.264. The selection ratio BMC all other than the forward prediction and the intra prediction is obtained by adding the backward prediction mode to the selection ratio BMC bi of the bidirectional prediction + saving overhead prediction mode.

ピクチャタイプ切り替えは,閾値判定とし,4ピクチャ単位でM=2とM=4とを切り替える。図3に,4ピクチャ単位でM値を切り替える例を示す。   The picture type switching is performed by threshold determination, and M = 2 and M = 4 are switched in units of 4 pictures. FIG. 3 shows an example of switching the M value in units of 4 pictures.

本実施例では,4ピクチャ単位でM値を切り替えるため,M値切り替えの処理は,4ピクチャ単位で最後のBピクチャ処理後に以下の処理を実行する。   In this embodiment, since the M value is switched in units of 4 pictures, the M value switching process executes the following process after the last B picture process in units of 4 pictures.

図4に,本実施例のフローチャートを示す。
[ステップS10]Bピクチャの予測モードの統計量を計測:
図3に示す符号化済みBピクチャ20の統計量を計測する。
[ステップS11]M値の決定:
計測した統計量から,M値を決定する。この処理の詳細については,図5を用いて後述する。
[ステップS12]ピクチャタイプの決定:
ここでは,ステップS11で決定したM値をもとに,4フレーム先までのピクチャタイプを決定する。
[ステップS13]ピクチャの並び替え:
参照関係に合わせて,符号化順番を入れ替える。
[ステップS14]符号化処理:
ステップS12で決定したピクチャタイプに従って,順番に符号化処理を行う。
FIG. 4 shows a flowchart of this embodiment.
[Step S10] Measure the B picture prediction mode statistic:
The statistic of the encoded B picture 20 shown in FIG. 3 is measured.
[Step S11] Determination of M Value:
The M value is determined from the measured statistics. Details of this processing will be described later with reference to FIG.
[Step S12] Determination of picture type:
Here, picture types up to four frames ahead are determined based on the M value determined in step S11.
[Step S13] Rearrange pictures:
The coding order is changed according to the reference relationship.
[Step S14] Encoding process:
The encoding process is performed in order according to the picture type determined in step S12.

ここで,上記ステップS11におけるM値の決定方法について説明する。最初に,双方向予測+省オーバヘッド予測モードの選択比率BMCbiについて,閾値との比較を行う。選択比率BMCbiが,2つの閾値THH とTHL (ここでTHH >THL )の間にある場合には,前方向予測とイントラ予測以外の予測モードの選択比率BMCall について,閾値THH と比較する。図5に,M値を決定する処理のフローチャートを示す。
[ステップS20]BMCbiを算出:
双方向予測+省オーバヘッド予測モードの選択比率BMCbiを算出する。
[ステップS21]BMCbi>THH
選択比率BMCbiと閾値THH とを比較し,選択比率BMCbiが閾値THH を超える場合には,ステップS25(M=4)へ進み,閾値THH 以下の場合には,次のステップS22へ進む。
[ステップS22]BMCbi>THL
選択比率BMCbiと閾値THL とを比較し,選択比率BMCbiが閾値THL 以下の場合には,ステップS26(M=2)へ進み,閾値THL を超える場合には,次のステップS23へ進む。
[ステップS23]BMCall を算出:
前方向予測とイントラ予測以外の予測モードの選択比率BMCall を算出する。
[ステップS24]BMCall >閾値THH
選択比率BMCall と閾値THH とを比較し,選択比率BMCall が閾値THH を超える場合には,ステップS25(M=4)へ進み,閾値THH 以下の場合には,ステップS26(M=2)へ進む。
[ステップS25]M=4:
Pピクチャの符号化間隔Mを4に決定する。
[ステップS26]M=2:
Pピクチャの符号化間隔Mを2に決定する。
Here, the method for determining the M value in step S11 will be described. First, the selection ratio BMC bi in the bidirectional prediction + saving overhead prediction mode is compared with a threshold value. When the selection ratio BMC bi is between two thresholds TH H and TH L (where TH H > TH L ), the threshold TH for the selection ratio BMC all of prediction modes other than forward prediction and intra prediction is used. Compare with H. FIG. 5 shows a flowchart of processing for determining the M value.
[Step S20] Calculate BMC bi :
The selection ratio BMC bi of the bidirectional prediction + saving overhead prediction mode is calculated.
[Step S21] BMC bi > TH H :
Comparing the selection ratio BMC bi and the threshold TH H, when the selection ratio BMC bi exceeds the threshold TH H, the step S25 advances to (M = 4), if more than the threshold TH H, the next step S22 Proceed to
[Step S22] BMC bi > TH L :
Comparing the selection ratio BMC bi and the threshold TH L, if the selected percentage BMC bi is equal to or less than the threshold value TH L, the step S26 advances to (M = 2), if it exceeds the threshold value TH L, the next step S23 Proceed to
[Step S23] Calculate BMC all :
A selection ratio BMC all of prediction modes other than forward prediction and intra prediction is calculated.
[Step S24] BMC all > threshold TH H :
Comparing the selection ratio BMC all the threshold TH H, when the selection ratio BMC all exceeds a threshold value TH H, the step S25 advances to (M = 4), if more than the threshold TH H, the step S26 (M = Go to 2).
[Step S25] M = 4:
The encoding interval M of the P picture is determined to be 4.
[Step S26] M = 2:
The encoding interval M of the P picture is determined as 2.

図6は,統計量とGOP構造の関係を示しており,特に各選択比率とM値の関係を示している。例えば図6に示すように,2種類の選択比率の位置関係によって,M値を決定する。   FIG. 6 shows the relationship between the statistics and the GOP structure, and particularly shows the relationship between each selection ratio and the M value. For example, as shown in FIG. 6, the M value is determined by the positional relationship between the two types of selection ratios.

〔実施例2〕
二つ目の実施例2を示す。実施例2では,最初の実施例1と同様に,図8(B)のM=2と,図8(E)のM=4を切り替える。先のBピクチャの符号化結果に加え,Pピクチャの統計量として,動きベクトルのノルムを用いる。動きベクトルのノルムに対し,閾値THMVnormを設定し,この閾値を超えた動きベクトル比率MVf を算出する。この動きベクトルの比率MVf を用いて,ピクチャタイプを切り替える。
[Example 2]
A second example 2 is shown. In the second embodiment, as in the first embodiment, M = 2 in FIG. 8B and M = 4 in FIG. 8E are switched. In addition to the previous B picture encoding result, the norm of the motion vector is used as the statistic of the P picture. A threshold TH MVnorm is set for the norm of the motion vector, and a motion vector ratio MV f exceeding this threshold is calculated. Using the ratio MV f of the motion vector, it switches the picture type.

図7に,実施例2のフローチャートを示す。
[ステップS30]Pピクチャの動きベクトル比率を計測:
符号化済みPピクチャの動きベクトルのノルムを算出し,算出したノルムが閾値THMVnormを超えているかを判定する。閾値THNVnormを超えている動きベクトルの比率MVf を算出する。
[ステップS31]動きベクトルの比率MVf と閾値THr を比較:
動きベクトルの比率MVf が閾値THr より大きい場合には,ステップS32へ進み,それ以外の場合には,ステップS33へ進む。
[ステップS32]M=2:
動きベクトルの比率MVf が閾値THr より大きい場合,動きが早いとして,M=2に決定し,ステップS35へ進む。
[ステップS33]Bピクチャの予測モードの統計量を計測:
図3に示す符号化済みBピクチャ20の統計量を計測する。
[ステップS34]M値の決定:
計測した統計量から,M値を決定する。ここでは,例えば図5で説明した実施例1のM値の決定と同じアルゴリズムにより,M値を決定する。
[ステップS35]ピクチャタイプの決定:
ここでは,ステップS32,S34で決定したM値をもとに,4フレーム先までのピクチャタイプを決定する。
[ステップS36]ピクチャの並び替え:
参照関係に合わせて,符号化順番を入れ替える。
[ステップS37]符号化処理
ステップS36で決定したピクチャタイプに従って,順番に符号化処理を行う。
FIG. 7 shows a flowchart of the second embodiment.
[Step S30] Measure the motion vector ratio of the P picture:
The norm of the motion vector of the encoded P picture is calculated, and it is determined whether the calculated norm exceeds the threshold value TH MVnorm . A motion vector ratio MV f exceeding the threshold TH NVnorm is calculated.
[Step S31] Compare the motion vector ratio MV f with the threshold TH r :
If the motion vector ratio MV f is greater than the threshold value TH r , the process proceeds to step S32; otherwise, the process proceeds to step S33.
[Step S32] M = 2:
If the ratio MV f of the motion vector is larger than the threshold TH r, as a fast motion determines the M = 2, the process proceeds to step S35.
[Step S33] Measure the B picture prediction mode statistic:
The statistic of the encoded B picture 20 shown in FIG. 3 is measured.
[Step S34] Determination of M Value:
The M value is determined from the measured statistics. Here, for example, the M value is determined by the same algorithm as the determination of the M value of the first embodiment described with reference to FIG.
[Step S35] Determination of picture type:
Here, picture types up to four frames ahead are determined based on the M value determined in steps S32 and S34.
[Step S36] Rearranging pictures:
The coding order is changed according to the reference relationship.
[Step S37] Encoding Processing Encoding processing is performed in order according to the picture type determined in step S36.

本実施例では,動きの速さをPピクチャの動きベクトルを利用して,確認している。動きが早い映像では,早い動きで効率のよいM=2とし,それ以外では,実施例1と同様の方法で,M値を決定する。   In this embodiment, the speed of motion is confirmed using a motion vector of a P picture. For images with fast motion, M = 2 is determined by the same method as in the first embodiment except that M = 2 is fast and efficient.

本実施例では,Pピクチャの動きベクトルのノルムを利用しているが,参照ピクチャ間の距離に応じて,値が変化する。そこで,動きベクトルを利用する際は,参照ピクチャ間の距離で正規化したほうがよい。正規化することで,参照ピクチャ間距離が変化しても同じように扱うことが可能となる。   In this embodiment, the norm of the motion vector of the P picture is used, but the value changes according to the distance between the reference pictures. Therefore, when using motion vectors, it is better to normalize with the distance between reference pictures. By normalizing, even if the distance between reference pictures changes, it can be handled in the same way.

以上の実施例における符号化ピクチャタイプの決定において,符号化条件や入力映像に合わせて閾値を変化させてピクチャタイプを決定する方法も好適である。このため,閾値を設定する際,入力映像のピクチャサイズやフレームレート,および,符号化ビットレートまたは各ピクチャの割り当て符号量から,閾値を算出する手段を設ける。これにより,例えば以下のように閾値を変化させる。   In the determination of the encoded picture type in the above embodiment, a method of determining the picture type by changing the threshold according to the encoding condition and the input video is also suitable. For this reason, when setting the threshold value, means for calculating the threshold value from the picture size and frame rate of the input video and the encoding bit rate or the allocated code amount of each picture is provided. Thereby, for example, the threshold value is changed as follows.

(1)ピクチャサイズ
ピクチャサイズが変わるとブロックサイズが変わるため,統計量が変化する。ピクチャサイズが大きい場合には,閾値を下げ,ピクチャサイズが小さい場合には,閾値を上げる。
(1) Picture size Since the block size changes when the picture size changes, the statistic changes. When the picture size is large, the threshold value is lowered, and when the picture size is small, the threshold value is raised.

(2)フレームレート
フレームレートが変わるとフレーム間距離が変化し,統計量が変化する。フレームレートが高い場合には,フレーム間相関が高いため,閾値を下げ,フレームレートが低い場合には,フレーム間相関が低いため,閾値を上げる。
(2) Frame rate When the frame rate changes, the distance between frames changes and the statistics change. When the frame rate is high, the inter-frame correlation is high, so the threshold value is lowered. When the frame rate is low, the inter-frame correlation is low, and the threshold value is raised.

(3)符号化ビットレート
ビットレートによって,オーバヘッドコストの比率が変動し,予測モードの選択比率が変わり,統計量が変化する。ビットレートが高い場合には,閾値を下げ,ビットレートが低い場合には,閾値を上げる。
(3) Encoding bit rate The overhead cost ratio varies according to the bit rate, the prediction mode selection ratio changes, and the statistics change. When the bit rate is high, the threshold value is lowered, and when the bit rate is low, the threshold value is raised.

(4)各ピクチャの割り当て符号量
符号化ビットレートと同様に,割り当て符号量によって,予測モードの選択比率が変化する。例えば,Bピクチャへの割り当て比率が多い場合には,閾値を下げ,割り当て比率が少ない場合には,閾値を上げる。
(4) Allocated code amount of each picture Similar to the encoding bit rate, the selection ratio of the prediction mode varies depending on the allocated code amount. For example, when the allocation ratio to the B picture is large, the threshold is decreased, and when the allocation ratio is small, the threshold is increased.

フレーム間相関が小さい,Bピクチャの割り当て符号量が小さい場合には,オーバヘッドコストを小さくする制御が働くため,directモードやスキップが多発する。このため,これらの予測モードが多く選択されたとしても,必ずしも最適なピクチャタイプが選択されるとは限らない。   When the inter-frame correlation is small and the B code allocation code amount is small, the direct mode and skip frequently occur because control for reducing the overhead cost works. For this reason, even if many of these prediction modes are selected, the optimal picture type is not necessarily selected.

ピクチャサイズ,フレームレート,符号化ビットレートまたは各ピクチャの割り当て符号量などのパラメータは,ピクセル当たりの割り当て符号量でも比較することができる。単位時間当たりの画素数は,“ピクチャサイズ×フレームレート”であり,ビットレートをこの画素数で割れば,bit/pelが求まる。ピクセル当たりの割り当て符号量と閾値のテーブルなどを予め作成しておき,このテーブルをピクセル当たりの符号量で参照することにより,閾値を決定することができる。   Parameters such as picture size, frame rate, coding bit rate, or assigned code amount of each picture can be compared with the assigned code amount per pixel. The number of pixels per unit time is “picture size × frame rate”. When the bit rate is divided by the number of pixels, bit / pel is obtained. A threshold value can be determined by creating a table of the assigned code amount per pixel and the threshold value in advance and referring to this table with the code amount per pixel.

以上の符号化ピクチャタイプ決定の処理は,コンピュータとソフトウェアプログラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも,ネットワークを通して提供することも可能である。   The coded picture type determination process described above can be realized by a computer and a software program. The program can be provided by being recorded on a computer-readable recording medium or via a network. is there.

本発明の実施の形態のフローチャートである。It is a flowchart of an embodiment of the invention. 本発明を用いた符号化装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the encoding apparatus using this invention. 4ピクチャ単位でM値を切り替える例を示す図である。It is a figure which shows the example which switches M value per 4 pictures. 実施例1のフローチャートである。3 is a flowchart of the first embodiment. M値を決定する処理のフローチャートである。It is a flowchart of the process which determines M value. 統計量とGOP構造の関係を示す図である。It is a figure which shows the relationship between a statistic and GOP structure. 実施例2のフローチャートである。10 is a flowchart of Example 2. 各ピクチャタイプの参照関係(GOP構造)の例を示す図である。It is a figure which shows the example of the reference relationship (GOP structure) of each picture type. 従来技術のフローチャートである。It is a flowchart of a prior art. 従来技術のブロック図である。It is a block diagram of a prior art.

符号の説明Explanation of symbols

10 統計量算出部
11 ピクチャタイプ決定部
12 ピクチャ並び替え部
100 符号化処理部
101 減算器
102 直交変換部
103 量子化部
104 情報源符号化部
105 逆量子化部
106 逆直交変換部
107 加算器
108 フレームメモリ
109 動き探索部
110 動き補償部
DESCRIPTION OF SYMBOLS 10 Statistic calculation part 11 Picture type determination part 12 Picture rearrangement part 100 Encoding process part 101 Subtractor 102 Orthogonal transformation part 103 Quantization part 104 Information source encoding part 105 Inverse quantization part 106 Inverse orthogonal transformation part 107 Adder 108 Frame memory 109 Motion search unit 110 Motion compensation unit

Claims (24)

複数のピクチャ間予測モードを有する映像符号化方式における符号化ピクチャタイプ決定方法であって,
符号化対象ピクチャの符号化処理前に,同じ符号化対象映像における当該符号化対象ピクチャより前に符号化した符号化済みピクチャ間予測ピクチャの符号化結果のみの統計量を算出する過程と,
前記統計量を利用して,該統計量から得られる値と所定の閾値とを比較し,比較結果から前記符号化対象ピクチャのピクチャタイプを決定する過程と,
前記決定されたピクチャタイプをもとに,ピクチャ間予測のピクチャタイプを切り替える過程とを有する
ことを特徴とする符号化ピクチャタイプ決定方法。
A coding picture type determination method in a video coding system having a plurality of inter-picture prediction modes,
Calculating a statistic of only the encoding result of the inter-picture prediction picture that has been encoded before the encoding target picture in the same encoding target video before encoding the encoding target picture ;
Using the statistic, comparing a value obtained from the statistic with a predetermined threshold, and determining a picture type of the encoding target picture from a comparison result;
A method for determining an encoded picture type, comprising: switching a picture type for inter-picture prediction based on the determined picture type.
請求項記載の符号化ピクチャタイプ決定方法において,
前記符号化済みピクチャ間予測ピクチャの符号化結果のみを利用する際,双方向予測ピクチャの符号化結果のみを利用する
ことを特徴とする符号化ピクチャタイプ決定方法。
The encoded picture type determination method according to claim 1 ,
The code haze when using only coding result of viewing Picture predictive picture coded picture type determination method characterized by utilizing only the coding result of the bidirectional predictive pictures.
請求項記載の符号化ピクチャタイプ決定方法において,
前記符号化済みピクチャ間予測ピクチャの符号化結果として,動きベクトル,予測モード,予測ブロックサイズ,予測誤差電力のうち,1つまたは複数の値を用いる
ことを特徴とする符号化ピクチャタイプ決定方法。
The encoded picture type determination method according to claim 1 ,
As the coding result of the code haze seen Picture predictive picture, the motion vector, prediction mode, prediction block size of the prediction error power, the encoding picture type determination, which comprises using one or more values Method.
請求項記載の符号化ピクチャタイプ決定方法において,
前記符号化済みピクチャ間予測ピクチャの複数の符号化結果を利用してピクチャタイプを決定する際,利用する符号化結果の種別毎に予め設定された閾値を用い,前記符号化結果の統計量と前記符号化結果の種別に対応する閾値とを比較し,比較結果から前記符号化対象ピクチャのピクチャタイプを決定する
ことを特徴とする符号化ピクチャタイプ決定方法。
The encoded picture type determination method according to claim 3 ,
When a picture type is determined using a plurality of encoding results of the encoded inter - picture prediction picture, a threshold value set in advance for each type of encoding result to be used is used. A coding picture type determination method, comprising: comparing a threshold value corresponding to a type of the coding result and determining a picture type of the coding target picture from the comparison result.
請求項記載の符号化ピクチャタイプ決定方法において,
前記符号化済みピクチャ間予測ピクチャの複数の符号化結果を利用してピクチャタイプを決定する際,利用する符号化結果の統計量をパラメータとするコスト関数に代入してコスト値を算出する過程を有し,
前記コスト値と前記閾値とを比較し,比較結果から前記符号化対象ピクチャのピクチャタイプを決定する
ことを特徴とする符号化ピクチャタイプ決定方法。
The encoded picture type determination method according to claim 3 ,
A process of calculating a cost value by substituting a statistic of the encoding result to be used as a parameter when determining a picture type using a plurality of encoding results of the encoded inter - picture prediction picture Have
An encoded picture type determination method, wherein the cost value is compared with the threshold value, and a picture type of the encoding target picture is determined from a comparison result.
請求項記載の符号化ピクチャタイプ決定方法において,
前記符号化済みピクチャ間予測ピクチャの符号化結果として動きベクトルを利用する際,統計量として,動きベクトルの各成分またはノルムについての平均値,最大値または分散を算出する過程を有する
ことを特徴とする符号化ピクチャタイプ決定方法。
The encoded picture type determination method according to claim 1 ,
When using a motion vector as the encoding result of the code haze seen Picture predictive picture, as statistics, to have a process of calculating an average value for each component or norm of the motion vector, the maximum value or dispersion Characterized coded picture type determination method.
請求項記載の符号化ピクチャタイプ決定方法において,
前記符号化済みピクチャ間予測ピクチャの符号化結果として予測モードまたは予測ブロックサイズを利用する際,統計量として,各予測モードまたは予測ブロックサイズの選択比率を算出する過程を有する
ことを特徴とする符号化ピクチャタイプ決定方法。
The encoded picture type determination method according to claim 1 ,
When using the prediction mode or prediction block size as a coding result of the code haze seen Picture predictive picture, and characterized in that a statistic comprises the step of calculating the respective prediction mode or selecting the ratio of the prediction block size A method for determining an encoded picture type.
請求項記載の符号化ピクチャタイプ決定方法において,
前記符号化済みピクチャ間予測ピクチャの双方向予測ピクチャから,双方向予測モードと省オーバヘッド予測モードの第1の選択比率を算出する過程と,
前記第1の選択比率と所定の閾値とを比較する過程と,
前記比較結果が予め定めた範囲に収まる場合に,前記第1の選択比率にさらに後方向予測モードの選択比率を加えた第2の選択比率を算出する過程と,
前記第2の選択比率と所定の閾値とを比較する過程とを有し,
予測モードの統計量を利用して,段階的にピクチャタイプを決定する
ことを特徴とする符号化ピクチャタイプ決定方法。
The encoded picture type determination method according to claim 7 ,
From the bidirectional predictive pictures of said code haze seen Picture predictive picture, comprising the steps of: calculating a first selection ratio of the bidirectional predictive mode and saving overhead prediction mode,
Comparing the first selection ratio with a predetermined threshold;
Calculating a second selection ratio obtained by adding a selection ratio of the backward prediction mode to the first selection ratio when the comparison result falls within a predetermined range;
Comparing the second selection ratio with a predetermined threshold;
An encoded picture type determination method characterized in that the picture type is determined step by step using prediction mode statistics.
請求項記載の符号化ピクチャタイプ決定方法において,
前記符号化済みピクチャ間予測ピクチャの符号化結果として,符号化済みの片方向予測ピクチャと双方向予測ピクチャの両ピクチャタイプの符号化結果を用いる
ことを特徴とする符号化ピクチャタイプ決定方法。
The encoded picture type determination method according to claim 1 ,
As the encoding result of the prediction picture between the coded Kasumi see Picture, coding picture type determination method which comprises using the encoding results of both the picture type of coded unidirectional prediction picture and bidirectionally predictive picture .
請求項記載の符号化ピクチャタイプ決定方法において,
前記符号化済みの片方向予測ピクチャの動きベクトルの統計量を計測する過程と,
前記双方向予測ピクチャの予測モードの統計量を計測する過程とを有し,
算出した統計量からピクチャタイプを決定する
ことを特徴とする符号化ピクチャタイプ決定方法。
The coded picture type determination method according to claim 9 ,
Measuring a motion vector statistic of the encoded unidirectional prediction picture;
Measuring a prediction mode statistic of the bi-predictive picture,
An encoded picture type determination method, characterized by determining a picture type from a calculated statistic.
請求項記載の符号化ピクチャタイプ決定方法において,
入力映像のピクチャサイズ,フレームレート,符号化ビットレートもしくは各ピクチャの割り当て符号量,またはピクセル当たりの割り当て符号量から,前記閾値を算出する過程を有し,
算出された閾値を前記統計量から得られる値との比較に用い,符号化条件または入力映像に合わせて前記閾値を変化させてピクチャタイプを決定する
ことを特徴とする符号化ピクチャタイプ決定方法。
The encoded picture type determination method according to claim 1 ,
Calculating the threshold from the picture size of the input video, the frame rate, the encoding bit rate or the assigned code amount of each picture, or the assigned code amount per pixel,
An encoded picture type determination method, wherein the calculated threshold value is used for comparison with a value obtained from the statistics, and the picture type is determined by changing the threshold value according to an encoding condition or an input video.
複数のピクチャ間予測モードを有する映像符号化方式における符号化ピクチャタイプ決定装置であって,
符号化対象ピクチャの符号化処理前に,同じ符号化対象映像における当該符号化対象ピクチャより前に符号化した符号化済みピクチャ間予測ピクチャの符号化結果のみの統計量を算出する手段と,
前記統計量を利用して,該統計量から得られる値と所定の閾値とを比較し,比較結果から前記符号化対象ピクチャのピクチャタイプを決定する手段と,
前記決定されたピクチャタイプをもとに,ピクチャ間予測のピクチャタイプを切り替える手段とを備える
ことを特徴とする符号化ピクチャタイプ決定装置。
An encoded picture type determination apparatus in a video encoding system having a plurality of inter-picture prediction modes,
Means for calculating a statistic of only the encoding result of the encoded inter-picture prediction picture encoded before the encoding target picture in the same encoding target video before the encoding target picture encoding process;
Means for comparing a value obtained from the statistic with a predetermined threshold using the statistic, and determining a picture type of the picture to be encoded from a comparison result;
An encoded picture type determining apparatus comprising: means for switching a picture type for inter-picture prediction based on the determined picture type.
請求項12記載の符号化ピクチャタイプ決定装置において,
前記符号化済みピクチャ間予測ピクチャの符号化結果のみを利用する際,双方向予測ピクチャの符号化結果のみを利用する
ことを特徴とする符号化ピクチャタイプ決定装置。
The encoded picture type determination device according to claim 12 ,
The code haze when using only coding result of viewing Picture predictive picture coded picture type determination apparatus characterized by utilizing only the coding result of the bidirectional predictive pictures.
請求項12記載の符号化ピクチャタイプ決定装置において,
前記符号化済みピクチャ間予測ピクチャの符号化結果として,動きベクトル,予測モード,予測ブロックサイズ,予測誤差電力のうち,1つまたは複数の値を用いる
ことを特徴とする符号化ピクチャタイプ決定装置。
The encoded picture type determination device according to claim 12 ,
As the coding result of the code haze seen Picture predictive picture, the motion vector, prediction mode, the predicted block size, among the prediction error power, the encoding picture type determination, which comprises using one or more values apparatus.
請求項14記載の符号化ピクチャタイプ決定装置において,
前記符号化済みピクチャ間予測ピクチャの複数の符号化結果を利用してピクチャタイプを決定する際,利用する符号化結果の種別毎に予め設定された閾値を用い,前記符号化結果の統計量と前記符号化結果の種別に対応する閾値とを比較し,比較結果から前記符号化対象ピクチャのピクチャタイプを決定する
ことを特徴とする符号化ピクチャタイプ決定装置。
The encoded picture type determining apparatus according to claim 14 ,
When a picture type is determined using a plurality of encoding results of the encoded inter - picture prediction picture, a threshold value set in advance for each type of encoding result to be used is used. An encoded picture type determining apparatus, which compares a threshold corresponding to a type of the encoded result and determines a picture type of the encoding target picture from the comparison result.
請求項14記載の符号化ピクチャタイプ決定装置において,
前記符号化済みピクチャ間予測ピクチャの複数の符号化結果を利用してピクチャタイプを決定する際,利用する符号化結果の統計量をパラメータとするコスト関数に代入してコスト値を算出する手段を備え,
前記コスト値と前記閾値とを比較し,比較結果から前記符号化対象ピクチャのピクチャタイプを決定する
ことを特徴とする符号化ピクチャタイプ決定装置。
The encoded picture type determining apparatus according to claim 14 ,
Means for calculating a cost value by substituting a statistic of the encoding result to be used as a parameter when determining a picture type using a plurality of encoding results of the encoded inter - picture prediction picture Prepared,
An encoded picture type determining apparatus, which compares the cost value with the threshold and determines a picture type of the encoding target picture from a comparison result.
請求項12記載の符号化ピクチャタイプ決定装置において,
前記符号化済みピクチャ間予測ピクチャの符号化結果として動きベクトルを利用する際,統計量として,動きベクトルの各成分またはノルムについての平均値,最大値または分散を算出する手段を備える
ことを特徴とする符号化ピクチャタイプ決定装置。
The encoded picture type determination device according to claim 12 ,
When using a motion vector as the encoding result of the prediction picture between the coded Kasumi see Picture, as statistics, further comprising means for calculating the average value for each component or norm of the motion vector, the maximum value or dispersion An encoded picture type determination device as a feature.
請求項12記載の符号化ピクチャタイプ決定装置において,
前記符号化済みピクチャ間予測ピクチャの符号化結果として予測モードまたは予測ブロックサイズを利用する際,統計量として,各予測モードまたは予測ブロックサイズの選択比率を算出する手段を備える
ことを特徴とする符号化ピクチャタイプ決定装置。
The encoded picture type determination device according to claim 12 ,
When using the prediction mode or prediction block size as a coding result of the code haze seen Picture predictive picture, and characterized in that a statistic comprises means for calculating each prediction mode or selecting the ratio of the prediction block size An encoded picture type determination device.
請求項18記載の符号化ピクチャタイプ決定装置において,
前記符号化済みピクチャ間予測ピクチャの双方向予測ピクチャから,双方向予測モードと省オーバヘッド予測モードの第1の選択比率を算出する手段と,
前記第1の選択比率と所定の閾値とを比較する手段と,
前記比較結果が予め定めた範囲に収まる場合に,前記第1の選択比率にさらに後方向予測モードの選択比率を加えた第2の選択比率を算出する手段と,
前記第2の選択比率と所定の閾値とを比較する手段とを備え,
予測モードの統計量を利用して,段階的にピクチャタイプを決定する
ことを特徴とする符号化ピクチャタイプ決定装置。
The encoded picture type determination device according to claim 18 ,
From the bidirectional predictive pictures of said code haze seen Picture predictive picture, it means for calculating a first selection ratio of the bidirectional predictive mode and saving overhead prediction mode,
Means for comparing the first selection ratio with a predetermined threshold;
Means for calculating a second selection ratio obtained by adding a selection ratio of the backward prediction mode to the first selection ratio when the comparison result falls within a predetermined range;
Means for comparing the second selection ratio with a predetermined threshold;
An encoded picture type determination device characterized in that a picture type is determined step by step using a prediction mode statistic.
請求項12記載の符号化ピクチャタイプ決定装置において,
前記符号化済みピクチャ間予測ピクチャの符号化結果として,符号化済みの片方向予測ピクチャと双方向予測ピクチャの両ピクチャタイプの符号化結果を用いる
ことを特徴とする符号化ピクチャタイプ決定装置。
The encoded picture type determination device according to claim 12 ,
As the encoding result of the prediction picture between the coded Kasumi see Picture, coding picture type determination apparatus characterized by using the coding results of both the picture type of coded unidirectional prediction picture and bidirectionally predictive picture .
請求項20記載の符号化ピクチャタイプ決定装置において,
前記符号化済みの片方向予測ピクチャの動きベクトルの統計量を計測する手段と,
前記双方向予測ピクチャの予測モードの統計量を計測する手段とを備え,
算出した統計量からピクチャタイプを決定する
ことを特徴とする符号化ピクチャタイプ決定装置。
The encoded picture type determination device according to claim 20 ,
Means for measuring a statistic of a motion vector of the encoded unidirectional prediction picture;
Means for measuring a statistics of a prediction mode of the bidirectional prediction picture,
An encoded picture type determining apparatus, wherein a picture type is determined from a calculated statistic.
請求項12記載の符号化ピクチャタイプ決定装置において,
入力映像のピクチャサイズ,フレームレート,符号化ビットレートもしくは各ピクチャの割り当て符号量,またはピクセル当たりの割り当て符号量から,前記閾値を算出する手段を備え,
算出された閾値を前記統計量から得られる値との比較に用い,符号化条件または入力映像に合わせて前記閾値を変化させてピクチャタイプを決定する
ことを特徴とする符号化ピクチャタイプ決定装置。
The encoded picture type determination device according to claim 12 ,
Means for calculating the threshold from the picture size of the input video, the frame rate, the encoding bit rate or the assigned code amount of each picture, or the assigned code amount per pixel;
An encoded picture type determining apparatus, wherein the calculated threshold value is used for comparison with a value obtained from the statistics, and the picture type is determined by changing the threshold value according to an encoding condition or an input video.
請求項1から請求項11までのいずれか1項に記載の符号化ピクチャタイプ決定方法をコンピュータに実行させるための符号化ピクチャタイプ決定プログラム。 An encoded picture type determination program for causing a computer to execute the encoded picture type determination method according to any one of claims 1 to 11 . 請求項23記載の符号化ピクチャタイプ決定プログラムを記録したコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium on which the encoded picture type determination program according to claim 23 is recorded.
JP2008148104A 2008-06-05 2008-06-05 Encoded picture type determination method, apparatus, program thereof, and recording medium thereof Active JP4676513B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008148104A JP4676513B2 (en) 2008-06-05 2008-06-05 Encoded picture type determination method, apparatus, program thereof, and recording medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008148104A JP4676513B2 (en) 2008-06-05 2008-06-05 Encoded picture type determination method, apparatus, program thereof, and recording medium thereof

Publications (2)

Publication Number Publication Date
JP2009296328A JP2009296328A (en) 2009-12-17
JP4676513B2 true JP4676513B2 (en) 2011-04-27

Family

ID=41544093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008148104A Active JP4676513B2 (en) 2008-06-05 2008-06-05 Encoded picture type determination method, apparatus, program thereof, and recording medium thereof

Country Status (1)

Country Link
JP (1) JP4676513B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180076591A (en) 2016-12-28 2018-07-06 삼성전자주식회사 Method of encoding video data, video encoder performing the same and electronic system including the same
CN111986069A (en) 2019-05-22 2020-11-24 三星电子株式会社 Image processing apparatus and image processing method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0846969A (en) * 1994-07-26 1996-02-16 Mitsubishi Electric Corp System for encoding video signal
JPH0984023A (en) * 1995-09-19 1997-03-28 Nippon Telegr & Teleph Corp <Ntt> Intra-frame coding insertion method and video image coder
JPH09322176A (en) * 1995-12-20 1997-12-12 Sanyo Electric Co Ltd Encoding mode selecting method, moving image encoding device, encoding method, recording method and transmitting method
JP2002077924A (en) * 2000-08-31 2002-03-15 Kddi Corp Scene-adapted dynamic image coder
JP2007020216A (en) * 2006-09-11 2007-01-25 Sony Corp Encoding apparatus, encoding method, filtering apparatus and filtering method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0846969A (en) * 1994-07-26 1996-02-16 Mitsubishi Electric Corp System for encoding video signal
JPH0984023A (en) * 1995-09-19 1997-03-28 Nippon Telegr & Teleph Corp <Ntt> Intra-frame coding insertion method and video image coder
JPH09322176A (en) * 1995-12-20 1997-12-12 Sanyo Electric Co Ltd Encoding mode selecting method, moving image encoding device, encoding method, recording method and transmitting method
JP2002077924A (en) * 2000-08-31 2002-03-15 Kddi Corp Scene-adapted dynamic image coder
JP2007020216A (en) * 2006-09-11 2007-01-25 Sony Corp Encoding apparatus, encoding method, filtering apparatus and filtering method

Also Published As

Publication number Publication date
JP2009296328A (en) 2009-12-17

Similar Documents

Publication Publication Date Title
US8457198B2 (en) Method of and apparatus for deciding encoding mode for variable block size motion estimation
JP3954656B2 (en) Image coding apparatus and method
CN101919249B (en) The interpolation of resource-adaptive video or extrapolation
EP2250813B1 (en) Method and apparatus for predictive frame selection supporting enhanced efficiency and subjective quality
JP4752631B2 (en) Image coding apparatus and image coding method
JP4764136B2 (en) Moving picture coding apparatus and fade scene detection apparatus
US8000393B2 (en) Video encoding apparatus and video encoding method
US8189667B2 (en) Moving picture encoding apparatus
JPH10304374A (en) Moving image encoding device
JP2002511668A (en) Method and apparatus for performing adaptive encoding rate control of a video information stream containing 3: 2 pulldown video information
JP4494803B2 (en) Improved noise prediction method and apparatus based on motion compensation, and moving picture encoding method and apparatus using the same
EP1613091B1 (en) Intra-frame prediction for high-pass temporal-filtered frames in wavelet video coding
JP4257655B2 (en) Video encoding device
JP3531532B2 (en) Video encoding apparatus and method
JP3757088B2 (en) Moving picture coding apparatus and method
JP3982615B2 (en) System for converting encoded video data
JP4257789B2 (en) Video encoding device
JP4644097B2 (en) A moving picture coding program, a program storage medium, and a coding apparatus.
JP4676513B2 (en) Encoded picture type determination method, apparatus, program thereof, and recording medium thereof
US7983337B2 (en) Moving picture coding device, moving picture coding method, and recording medium with moving picture coding program recorded thereon
JP4452733B2 (en) Motion evaluation apparatus, method and program for moving picture coding, and recording medium therefor
JP3480067B2 (en) Image coding apparatus and method
US10148954B2 (en) Method and system for determining intra mode decision in H.264 video coding
JP2005086249A (en) Dynamic image coding method and dynamic image coding apparatus
JP2000032468A (en) Image encoding method and recording medium with motion compensation mode selection program recorded therein

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110127

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140204

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4676513

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350