JP2007214785A - 符号化装置、符号化方法およびプログラム - Google Patents
符号化装置、符号化方法およびプログラム Download PDFInfo
- Publication number
- JP2007214785A JP2007214785A JP2006031220A JP2006031220A JP2007214785A JP 2007214785 A JP2007214785 A JP 2007214785A JP 2006031220 A JP2006031220 A JP 2006031220A JP 2006031220 A JP2006031220 A JP 2006031220A JP 2007214785 A JP2007214785 A JP 2007214785A
- Authority
- JP
- Japan
- Prior art keywords
- gop
- encoding
- flicker
- picture
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 22
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 claims abstract description 54
- 230000033001 locomotion Effects 0.000 claims description 43
- 238000013139 quantization Methods 0.000 claims description 26
- 230000002457 bidirectional effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000008707 rearrangement Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
Abstract
【解決手段】GOP制御回路10が、符号化対象(判定対象)のGOPがGOP単位のフリッカーが視認され易いか否かを判定する。GOP制御回路10aは、フリッカーが視認され易いと判定すると、クローズドGOPをオープンGOPに変更する等のGOP単位のフリッカーを抑制する処理を行う。
【選択図】図2
Description
ところで、MPEG(Moving Picture Experts Group)2においては、参照フレームの枚数は2枚であり、現在のピクチャよりも過去の参照ピクチャは必ず1枚であった。
これに対して、H.264/AVCにおいては、複数の参照フレームを持つこと許されると共に、例えば、図10(A)に示すように、Iピクチャを超えてより過去のピクチャを参照することも可能である。
したがって、Iピクチャから復号を開始しても、正しく復号可能であるかどうかは保証されない。これは、ランダムアクセスなどでは非常に大きな問題となる。そこで、H.264/AVCでは、図10(B)に示されるような、IDR(Instantaneous Decoder Refresh) ピクチャと呼ばれるピクチャが規定されている。H.264/AVCにおいては、IDRピクチャを復号するときに、メモリに記憶された参照フレーム、フレーム番号、POC(Picture Order Count:ピクチャの出力順序を示す情報)などの復号に必要な全ての情報がリセットされる。従って、IDRピクチャを超えて、より過去のピクチャを参照することは禁止されている。また、IDRピクチャでは、参照フレームメモリ、バッファなどが初期化される。IDRピクチャから復号を開始すれば、正しく画像が復号化されることが保証される。
しかしながら、図10に示したようなIDRピクチャが一定間隔で挿入された場合、特に複雑度(アクティビティ)の高い静止画領域においては、画像上に存在する雑音の影響により、デブロックフィルタの強度や、イントラ予測の方向の違いが、GOP(Group Of Pictures)境界で生じ、それがGOP単位のフリッカーとしてユーザに画質として視認されてしまうという問題点がある。
以下、本発明の第1実施形態を説明する。
先ず、本実施形態の構成要素と、本発明の構成要素との対応関係を説明する。
図2および図9に示すGOP制御回路10,10aのGOPフリッカー判定部71が本発明の判定手段の一例である。また、GOP制御回路10,10aのGOP制御部72、動き予測・補償回路42、選択回路44およびレート制御回路46が、本発明の符号化手段の一例である。
図1に示すように、通信システム1は、送信側に設けられた符号化装置2と、受信側に設けられた復号装置3とを有する。
通信システム1では、送信側の符号化装置2において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ(ビットストリーム)を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルTV網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
図1に示す復号装置3は符号化装置2の符号化に対応した復号を行う。
図2は、図1に示す符号化装置2の全体構成図である。
図2に示すように、符号化装置2は、例えば、GOP制御回路10、A/D変換回路22、画面並べ替え回路23、演算回路24、直交変換回路25、量子化回路26、可逆符号化回路27、バッファ28、逆量子化回路29、逆直交変換回路30、再構成回路31、デブロックフィルタ32、メモリ33、イントラ予測回路41、動き予測・補償回路42、選択回路44、レート制御回路46を有する。
符号化装置2は、GOP制御回路10が、符号化対象(判定対象)のGOPがGOP単位のフリッカーが視認され易いと判定した場合に、クローズドGOPをオープンGOPに変更する等のGOP単位のフリッカーを抑制する処理を行うことを特徴としている。
符号化装置2は、H.264/AVC方式の符号化を行い、一定間隔でIDRピクチャが挿入されている。
図2に示す符号化装置2の各構成要素(回路等)の全部または一部は、CPUなどの処理回路がプログラムを実行する形態で実現してもよい。
[GOP制御回路10]
図3は、図1に示すGOP制御回路10の構成図である。
図3に示すように、GOP制御回路10は、例えば、GOPフリッカー判定部71およびGOP制御部72を有する。
図4は、図3に示すGOP制御回路10の処理の一例を説明するためのフローチャートである。
GOPフリッカー判定部71は、例えば画面並べ替え回路23で並べ替えを行う画像データS22の符号化対象の各GOPを判定対象として、当該GOPを符号化後に復号した画像内でGOP単位のフリッカーが視認され易いか否かを判定する(ステップST1)。
このとき、GOPフリッカー判定部71は、例えば、判定対象のGOPがシーンチェンジ直後のGOPである場合に、フリッカーが視認され易いGOPであると判定する。
また、GOPフリッカー判定部71は、判定対象のGOPの前のGOPを構成するピクチャの複雑度を基に、上記判定を行ってもよい。
このとき、GOPフリッカー判定部71は、例えば、MPEGのTM(Test Mode) 5で規定された手法で算出したアクティビティデータを複雑度として用いる。
具体的には、GOPフリッカー判定部71は、アクティビティデータを以下のように算出している。
GOPフリッカー判定部71は、画像データS2内のフレーム画像の16画素×16ラインのマクロブロック(macroblock) の輝度成分を分割して得られる8画素×8ラインの4個のサブブロック(subblock)の各々について、それぞれ下記式(1)で示される各画素の画素データとその平均値との差分の自乗和であるデータvar_sblkを算出する。ここで、サブブロックの画像が複雑になるに従ってデータvar_sblkの値が大きくなる。
GOP制御部72は、GOPフリッカー判定部71において判定対象のGOPがGOP単位のフリッカーが視認され易いと判定された場合(ステップST2)に以下に示す処理を行う。
すなわち、GOP制御部72は、符号化対象のGOPがクローズドGOPであるか否かを判断し(ステップST3)、クローズドGOPであると判断した場合に、それをオープンGOPに変更する(ステップST4)。これにより、IDRピクチャがあっても、当該IDRピクチャ以降のピクチャが、当該IDRピクチャ以前のピクチャを参照して符号化することを許可する。
5に示すように、Iピクチャ以前のBピクチャの数M2を、Iピクチャ以降のI,Pピクチャ間のBピクチャの数M1より多くするように画面並べ替え回路23を制御する(ステップST5)。図5に示す例では、M2=3、M1=1である。
A/D変換回路22は、入力されたアナログの輝度信号Y、色差信号Pb,Prから構成される被符号化画像データS10をデジタルの画像データS22に変換し、これを画面並べ替え回路23に出力する。
画面並べ替え回路23は、A/D変換回路22から入力した画像データS22を、そのピクチャタイプI,P,BからなるGOP(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えた画像データS23を演算回路24、イントラ予測回路41、動き予測・補償回路42およびレート制御回路46に出力する。
演算回路24は、画像データS23と、選択回路44から入力した予測画像データPIとの差分を示す画像データS24を生成し、これを直交変換回路25に出力する。
直交変換回路25は、画像データS24に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ(例えばDCT係数)S25を生成し、これを量子化回路26に出力する。
量子化回路26は、レート制御回路46から入力した量子化パラメータQPを基に、当該量子化パラメータQPに応じて規定される量子化スケール(量子化ステップ)で画像データS25を量子化して画像データS26を生成し、これを可逆符号化回路27および逆量子化回路29に出力する。
可逆符号化回路27は、画像データS26を可変長符号化あるいは算術符号化した画像データをバッファ28に格納する。
このとき、可逆符号化回路27は、選択データS44がインター予測符号化を選択したことを示す場合に、動き予測・補償回路42から入力した動きベクトルMVを符号化してヘッダデータに格納する。
また、可逆符号化回路27は、選択データS44がイントラ予測符号化を選択したことを示す場合に、イントラ予測回路41から入力したイントラ予測モードIPMをヘッダデータなどに格納する。
また、可逆符号化回路27は、各マクロブロックMBに、量子化回路26における量子化で用いた量子化スケールを含める。
バッファ28に格納された画像データは、変調等された後に送信される。
逆量子化回路29は、量子化回路26で用いた量子化スケールを基に、画像データS26を逆量子化して逆直交変換回路30に出力する。
逆直交変換回路30は、逆量子化回路29から入力した逆量子化された画像データに、直交変換回路25の直交変換に対応した逆直交変換を施して再構成回路31に出力する。
再構成回路31は、選択回路44から入力した予測画像データPIと、逆直交変換回路30から入力した画像データとを加算して再構成画像データを生成し、これをデブロックフィルタ32に出力する。
[デブロックフィルタ32]
デブロックフィルタ32は、再構成回路31から入力した画像データのブロック歪みを除去した後に、これを参照画像データとしてメモリ33に書き込む。
イントラ予測回路41は、予め規定されたイントラ予測モードのそれぞれを基に、メモリ33から読み出した画像データを構成する各マクロブロックMBにイントラ予測符号を施して予測画像を生成し、当該予測画像データと画像データS23との差分DIFを検出する。
そして、イントラ予測回路41は、上記複数のイントラ予測モードについてそれぞれ生成した上記差分のうち最小の差分に対応するイントラ予測モードを特定し、当該特定したイントラ予測モードIPMを可逆符号化回路27に出力する。
また、イントラ予測回路41は、上記特定したイントラ予測モードによる予測画像データPIと、上記差分DIFとを選択回路44に出力する。
動き予測・補償回路42は、画像データS23内のブロックを単位として、フレームデータおよびフィールドデータを単位として動き予測処理を行い、メモリ33から読み出した参照画像データREFを基に動きベクトルMVを決定する。
すなわち、動き予測・補償回路42は、各ブロックについて動きベクトルMVと参照画像データREFとによって規定される予測画像データPIと、画像データS23との差分DIFを最小にする動きベクトルMVを決定する。
動き予測・補償回路42は、予測画像データPIおよび差分DIFを選択回路44に出力し、動きベクトルMVを可逆符号化回路27に出力する。
このとき、動き予測・補償回路42は、図6に示すように、GOP制御部72において判定対象のGOPがGOP単位のフリッカーが視認され易いと判定された場合に(ステップST11)、GOP制御部72からの制御に基づいて、処理対象のGOP内でIピクチャより前に存在するBピクチャについては、双方向予測を優遇する処理を行う(ステップST12)。それ以外の場合、動き予測・補償回路42は、通常の動き予測・補償処理を行う(ステップST13)。
具体的には、動き予測・補償回路42は、前方向予測、後方向予測および双方向予測の各々について符号化コスト(例えば上記差分DIF)を計算し、符号化コストが最小の予測方法を選択するが、この際に、双方向予測の符号化コストに負値のオフセットを付与することで、双方向予測が選択され易くする。
具体的には、動き予測・補償回路42は、L0方向の符号化コストL0_costと、L1方向の符号化コストL1_costとが予め決められたしきい値識別データΘに対して下記式(5)の関係を満たすと判断した場合には上記オフセットの付与は行わない。ここで、Bピクチャでは、任意の参照ピクチャから最大2枚を選択し、その2枚による予測をそれぞれL0,L1予測と呼ぶ。L0,L1方向の符号化コストL0_cost,L1_costは、それぞれL0,L1予測の符号化コストを示す。
選択回路44は、イントラ予測回路41から入力した差分DIFと、動き予測・補償回路42から入力した差分DIFとを比較する。
選択回路44は、上記比較によりイントラ予測回路41から入力した差分DIFの方が小さいと判断すると、イントラ予測回路41から入力した予測画像データPIを選択して演算回路24に出力する。
選択回路44は、上記比較により動き予測・補償回路42から入力した差分DIFの方が小さいと判断すると、動き予測・補償回路42から入力した予測画像データPIを選択して演算回路24に出力する。
また、選択回路44は、イントラ予測回路41からの予測画像データPIを選択した場合にはインター予測符号化を選択したことを示す選択データS44を可逆符号化回路27に出力し、動き予測・補償回路42からの予測画像データPIを選択した場合にはイントラ予測符号化を選択したことを示す選択データS44を可逆符号化回路27に出力する。
すなわち、選択回路44は、処理対象のブロックがインタースライスに含まれている場合、イントラ予測回路41および動き予測・補償回路42の何れから入力した予測画像データPIを選択するか(イントラマクロブロックとすべきか、インターマクロブロックとすべきか)の判定を行う際に、そのGOPにおいてIピクチャより前に存在するBピクチャについてはインターマクロブロックを優遇する(ステップST22)。これは、例えば、選択回路44において、動き予測・補償回路42からの差分DIF(符号化コスト)に負値のオフセットを加算した後に、イントラ予測回路41からの差分DIFと比較を行うことで実現される。
GOP制御部72において判定対象のGOPがGOP単位のフリッカーが視認され易いと判定された場合には、選択回路44は特に優遇を行わずに通常の選択を行う(ステップST23)。
レート制御回路46は、バッファ28から読み出した画像データを基に量子化パラメータQPを決定し、これを量子化回路26に出力する。
レート制御回路46は、図8に示すように、GOP制御部72において判定対象のGOPがGOP単位のフリッカーが視認され易いと判定された場合に、GOP制御部72からの制御に基づいて、Iピクチャより前に存在するBピクチャに対して、通常のBピクチャより多くの符号量を割り当てるように量子化パラメータQPを決定する(ステップST32)。それ以外の場合には、レート制御回路46は、特に優遇を行わずに通常の符号量を割り当てる。
符号化装置2は、GOP制御回路10が、A/D変換回路22から入力した画像データS22内の符号化対象(判定対象)のGOPがGOP単位のフリッカーが視認され易いか否かを判定する。
そして、GOP制御回路10が、フリッカーが視認され易いと判定した場合に、クローズドGOPをオープンGOPに変更する等のGOP単位のフリッカーを抑制する処理を画面並べ替え回路23に行わせる。
そして、当該差分は、直交変換回路25において直交変換された後、量子化回路26において量子化される。また、量子化後の画像が、逆量子化回路29で逆量子化された後に、逆直交変換回路30で逆直交変換され、再構成回路31で再構成される。
再構成回路31における再構成で得られた参照画像データがメモリ33に書き込まれる。
また、動き予測・補償回路42において、動き予測・補償処理が行われ、動きベクトルMVが特定されると共に、予測画像データPIと差分DIFとが選択回路44に出力される。
ここで、動き予測・補償回路42は、前方向予測、後方向予測および双方向予測の各々について符号化コスト(例えば上記差分DIF)を計算し、符号化コストが最小の予測方法を選択する。このとき、動き予測・補償回路42は、フリッカーが視認され易いと判定された場合に、双方向予測の符号化コストに負値のオフセットを付与することで、双方向予測が選択され易くする。
ここで、選択回路44は、GOP制御部72において判定対象のGOPがGOP単位のフリッカーが視認され易いと判定された場合にIピクチャより前に存在するBピクチャについてはインターマクロブロックを優遇する。
これにより、一定の時間間隔でランダムアクセス可能なピクチャ(IDRピクチャ)を挿入するGOP構造の画像圧縮情報を出力するAVC方式の符号化装置において、GOP単位のフリッカーを抑制できる。
図9は、本発明の第2実施形態の符号化装置2aの構成図である。
図9に示すように、符号化装置2aは、図1に示す符号化装置2と比べて、A/D変換回路22の代わりに、MPEG2復号装置200を設け、GOP制御回路10aにおいて、MPEG2復号装置200の復号情報を用いて、判定対象のGOPがGOP単位のフリッカーが視認され易いか否かを判定する。符号化装置2aのそれ以外の構成は、第1実施形態の符号化装置2と同じである。
MPEG2復号装置200は、MPEG2方式などの符号化画像データS100を入力し、これを復号して生成した画像データS22を画面並べ替え回路23に出力する。
また、MPEG2復号装置200は、符号化画像データS100に含まれる直交変換(DCT)係数や、動きベクトルなどの符号化属性情報infをGOP制御回路10aに出力する。
GOP制御回路10aは、符号化属性情報infを基に、テクスチャを含む静止画領域であるかどうか、すなわち動きベクトル情報が「0」で、非0の直交変換係数を含むかどうかを検出することにより、判定対象のGOPがGOP単位のフリッカーが視認され易いか否かを判定する。
本実施形態によれば、MPEG2復号装置200が得た情報を有効に利用することで、GOP単位のフリッカーが視認され易いか否かを判定できる。
上述した実施形態では、符号化装置2、102,202がH.264/AVCで符号化を行う場合を例示したが、GOPやIDRが規定された他の符号化方式にも適用可能である。
Claims (15)
- 符号化対象の画像データを構成するGOPの各々について、当該GOPを符号化後に復号した画像内でGOP単位のフリッカーが視認され易いGOPであるか否かを判定する判定手段と、
フリッカーが視認され易いGOPであると前記判定手段が判定した場合に、前記GOP単位のフリッカーを抑制する処理を施して当該GOPを符号化する符号化手段と
を有する符号化装置。 - 前記判定手段は、シーンチェンジ直後の前記GOPを、前記フリッカーが視認され難いGOPであると判定する
請求項1に記載の符号化装置。 - 判定対象のGOPの前のGOPを構成するピクチャの複雑度を基に、前記判定対象のGOPが前記フリッカーが視認され易いGOPであるか否かを判定する
請求項1に記載の符号化装置。 - 符号化画像データを復号して前記符号化対象画像データを生成する生成手段
をさらに有し、
前記判定手段は、前記符号化画像データを基に、フリッカーが視認され易いGOPであるか否かを判定する
請求項1に記載の符号化装置。 - 前記判定手段は、前記符号化画像データに含まれる直交変換係数を基に前記判定を行う
請求項4に記載の符号化装置。 - 前記符号化手段は、フリッカーが視認され易いGOPであると前記判定手段が判定し、且つ、判定対象のGOPがクローズドGOPである場合に、当該判定対象のGOPをオープンGOPに変更して符号化を行う
請求項1に記載の符号化装置。 - 前記符号化手段は、フリッカーが視認され易いGOPであると前記判定手段が判定し、且つ、判定対象のGOPがオープンGOPである場合に、当該判定対象のGOP内のIピクチャ後のI,Pピクチャ間に存在するBピクチャの数に比べて、Iピクチャ前のBピクチャの数を多くするようにGOPを構成して符号化を行う
請求項1に記載の符号化装置。 - 前記符号化手段は、前記フリッカーが視認され易いGOPであると前記判定手段が判定した場合に、そうでない場合に比べて、前記判定対象のGOP内のIピクチャより前に位置するBピクチャの符号化として双方向予測符号化が選択され易くなるように制御する
請求項6に記載の符号化装置。 - 前記符号化手段は、前記フリッカーが視認され易いGOPであると前記判定手段が判定した場合に、そうでない場合に比べて、前記判定対象のGOP内のIピクチャより前に位置するBピクチャの符号化として、インター符号化が選択され易くなるように制御する
請求項6に記載の符号化装置。 - 前記符号化手段は、
動き予測・補償において、前方向予測、後方向予測および双方向予測のうち、符号化コストが最小の予測を選択して各ピクチャのブロックを符号化し、
フリッカーが視認され易いGOPであると前記判定手段が判定した場合に、そうでない場合に比べて、当該GOP内のIピクチャの前にあるBピクチャの符号化を行う際に、前記双方向予測の符号化コストを下げて前記選択を行う
請求項1に記載の符号化装置。 - 前記符号化手段は、各ピクチャのブロックをインター符号化とイントラ符号化のうち符号化コストが小さい方を選択して符号化し、
フリッカーが視認され易いGOPであると前記判定手段が判定した場合に、そうでない場合に比べて、当該GOP内のIピクチャの前にあるBピクチャの符号化を行う際に、前記インター符号化の前記符号化コストを下げて前記選択を行う
請求項1に記載の符号化装置。 - 前記符号化手段は、各ピクチャのブロックを量子化して符号化し、フリッカーが視認され易いGOPであると前記判定手段が判定した場合に、そうでない場合に比べて、当該GOP内のIピクチャの前にあるBピクチャの符号化を行う際に、より多くの符号量を割り当てるように前記量子化を行う
請求項1に記載の符号化装置。 - 前記判定手段は、所定のピクチャ以前のピクチャを参照しないことが規定されたピクチャを含むGOPを前記判定の対象とする
請求項1に記載の符号化装置。 - 符号化対象の画像データを構成するGOPの各々について、当該GOPを符号化後に復号した画像内でGOP単位のフリッカーが視認され易いGOPであるか否かを判定する判定工程と、
フリッカーが視認され易いGOPであると前記判定工程で判定した場合に、前記GOP単位のフリッカーを抑制する処理を施して当該GOPを符号化する符号化工程と
を有する符号化方法。 - 符号化処理を行うコンピュータが実行するプログラムであって、
符号化対象の画像データを構成するGOPの各々について、当該GOPを符号化後に復号した画像内でGOP単位のフリッカーが視認され易いGOPであるか否かを判定する判定手順と、
フリッカーが視認され易いGOPであると前記判定手順で判定した場合に、前記GOP単位のフリッカーを抑制する処理を施して当該GOPを符号化する符号化手順と
を前記コンピュータに実行させるプログラム。
Priority Applications (12)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006031220A JP4449915B2 (ja) | 2006-02-08 | 2006-02-08 | 符号化装置、符号化方法およびプログラム、並びに、記録媒体 |
TW096103707A TW200746840A (en) | 2006-02-08 | 2007-02-01 | Encoding device, encoding method, and program |
PCT/JP2007/052130 WO2007091601A1 (ja) | 2006-02-08 | 2007-02-07 | 符号化装置、符号化方法およびプログラム |
EP20070708169 EP1983760A4 (en) | 2006-02-08 | 2007-02-07 | ENCODING DEVICE, ENCODING METHOD, AND PROGRAM |
US12/162,616 US8406287B2 (en) | 2006-02-08 | 2007-02-07 | Encoding device, encoding method, and program |
CN2007800048140A CN101379834B (zh) | 2006-02-08 | 2007-02-07 | 编码装置及编码方法 |
MX2008010117A MX2008010117A (es) | 2006-02-08 | 2007-02-07 | Dispositivo de codificacion, metodo de codificacion y programa. |
KR20087018611A KR101322498B1 (ko) | 2006-02-08 | 2007-02-07 | 부호화 장치, 부호화 방법 및 프로그램 |
CA 2641522 CA2641522A1 (en) | 2006-02-08 | 2007-02-07 | Coding device, coding method, and program |
RU2008132608A RU2426270C2 (ru) | 2006-02-08 | 2007-02-07 | Устройство и способ кодирования |
AU2007213103A AU2007213103A1 (en) | 2006-02-08 | 2007-02-07 | Encoding device, encoding method, and program |
BRPI0707664-9A BRPI0707664A2 (pt) | 2006-02-08 | 2007-02-07 | dispositivo de codificaÇço, mÉtodo de codificaÇço, e, programa executado por um computador |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006031220A JP4449915B2 (ja) | 2006-02-08 | 2006-02-08 | 符号化装置、符号化方法およびプログラム、並びに、記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007214785A true JP2007214785A (ja) | 2007-08-23 |
JP4449915B2 JP4449915B2 (ja) | 2010-04-14 |
Family
ID=38345197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006031220A Expired - Fee Related JP4449915B2 (ja) | 2006-02-08 | 2006-02-08 | 符号化装置、符号化方法およびプログラム、並びに、記録媒体 |
Country Status (12)
Country | Link |
---|---|
US (1) | US8406287B2 (ja) |
EP (1) | EP1983760A4 (ja) |
JP (1) | JP4449915B2 (ja) |
KR (1) | KR101322498B1 (ja) |
CN (1) | CN101379834B (ja) |
AU (1) | AU2007213103A1 (ja) |
BR (1) | BRPI0707664A2 (ja) |
CA (1) | CA2641522A1 (ja) |
MX (1) | MX2008010117A (ja) |
RU (1) | RU2426270C2 (ja) |
TW (1) | TW200746840A (ja) |
WO (1) | WO2007091601A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009074393A1 (de) * | 2007-12-13 | 2009-06-18 | Siemens Aktiengesellschaft | Verfahren und vorrichtung zum bestimmen einer bildqualität |
JP2009177443A (ja) * | 2008-01-24 | 2009-08-06 | Canon Inc | 符号化装置 |
JP2010212785A (ja) * | 2009-03-06 | 2010-09-24 | Fujitsu Ltd | 動画像符号化装置及び動画像符号化方法 |
KR20100137502A (ko) * | 2008-03-10 | 2010-12-30 | 톰슨 라이센싱 | 효율성과 주관적 품질의 개선을 지원하는 예측 프레임 선택을 위한 방법 및 장치 |
JP2011510560A (ja) * | 2008-01-17 | 2011-03-31 | トムソン ライセンシング | フリッカー測定方法 |
JP2012205062A (ja) * | 2011-03-25 | 2012-10-22 | Kddi Corp | フリッカ/シーンチェンジ判定装置及び方法 |
JP6270293B1 (ja) * | 2016-11-01 | 2018-01-31 | Nttエレクトロニクス株式会社 | 動画像符号化装置および動画像符号化方法 |
US11336889B2 (en) | 2017-07-19 | 2022-05-17 | Nec Corporation | Moving image encoding device and method for reducing flicker in a moving image |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8625914B2 (en) * | 2013-02-04 | 2014-01-07 | Sony Corporation | Image processing system, image processing method and program |
CN102217315B (zh) * | 2008-11-12 | 2016-03-09 | 汤姆森特许公司 | 用于画面组的并行多线程视频编码的i帧去闪烁 |
US20110211633A1 (en) * | 2008-11-12 | 2011-09-01 | Ferran Valldosera | Light change coding |
US9143788B2 (en) * | 2008-11-13 | 2015-09-22 | Thomson Licensing | Multiple thread video encoding using HRD information sharing and bit allocation waiting |
JP2011049740A (ja) * | 2009-08-26 | 2011-03-10 | Sony Corp | 画像処理装置および方法 |
JP5570846B2 (ja) * | 2010-03-04 | 2014-08-13 | 株式会社メガチップス | 画像符号化装置 |
JP2011259361A (ja) * | 2010-06-11 | 2011-12-22 | Sony Corp | 画像処理装置および方法 |
EP2536143B1 (en) * | 2011-06-16 | 2015-01-14 | Axis AB | Method and a digital video encoder system for encoding digital video data |
US9253482B2 (en) | 2011-11-08 | 2016-02-02 | Texas Insturments Incorporated | Method and apparatus for sample adaptive offset without sign coding |
US9723314B2 (en) | 2012-02-29 | 2017-08-01 | Smsc Holdings Sarl | Flicker reduction circuit and method for compressed video transmission |
US20160360219A1 (en) * | 2015-06-05 | 2016-12-08 | Apple Inc. | Preventing i-frame popping in video encoding and decoding |
TWI757238B (zh) | 2015-06-30 | 2022-03-11 | 日商糖鎖工學研究所股份有限公司 | 白蛋白-糖鏈複合物 |
WO2019084792A1 (zh) * | 2017-10-31 | 2019-05-09 | 深圳市大疆创新科技有限公司 | 一种编码方法及装置 |
TWI680675B (zh) * | 2017-12-29 | 2019-12-21 | 聯發科技股份有限公司 | 影像處理裝置與相關的影像處理方法 |
CN111314700B (zh) * | 2020-03-03 | 2021-09-07 | 眸芯科技(上海)有限公司 | 抑制呼吸效应的视频编码方法及装置 |
CN115730670B (zh) * | 2021-08-31 | 2024-07-16 | 本源量子计算科技(合肥)股份有限公司 | 模式文件的生成方法、装置、介质及电子装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0750839A (ja) * | 1993-08-06 | 1995-02-21 | Matsushita Electric Ind Co Ltd | 動画像の符号化方法 |
JPH10191355A (ja) * | 1996-12-26 | 1998-07-21 | Sony Corp | 映像信号切換装置およびその方法 |
JP4462643B2 (ja) * | 1997-04-25 | 2010-05-12 | ソニー株式会社 | 画像符号化方法及び画像符号化装置 |
JP4123567B2 (ja) * | 1998-04-30 | 2008-07-23 | ソニー株式会社 | 画像信号処理装置及び方法 |
US6859496B1 (en) * | 1998-05-29 | 2005-02-22 | International Business Machines Corporation | Adaptively encoding multiple streams of video data in parallel for multiplexing onto a constant bit rate channel |
US6658157B1 (en) * | 1999-06-29 | 2003-12-02 | Sony Corporation | Method and apparatus for converting image information |
JP2002010263A (ja) | 2000-06-20 | 2002-01-11 | Mitsubishi Electric Corp | 動画像符号化装置および動画像符号化方法 |
US7023924B1 (en) * | 2000-12-28 | 2006-04-04 | Emc Corporation | Method of pausing an MPEG coded video stream |
US6980594B2 (en) * | 2001-09-11 | 2005-12-27 | Emc Corporation | Generation of MPEG slow motion playout |
JP3928424B2 (ja) * | 2001-12-26 | 2007-06-13 | コニカミノルタビジネステクノロジーズ株式会社 | 動画におけるフリッカ補正 |
JP4288897B2 (ja) * | 2002-06-05 | 2009-07-01 | ソニー株式会社 | 符号化装置及び方法、プログラム、記録媒体 |
JP2004056234A (ja) * | 2002-07-17 | 2004-02-19 | Nec Corp | 画像符号化装置および画像符号化方法 |
KR20050078099A (ko) * | 2004-01-30 | 2005-08-04 | 삼성전자주식회사 | 적응적으로 키 프레임을 삽입하는 비디오 코딩 장치 및 방법 |
US8325799B2 (en) * | 2004-12-28 | 2012-12-04 | Nec Corporation | Moving picture encoding method, device using the same, and computer program |
US8036270B2 (en) * | 2006-07-27 | 2011-10-11 | Sharp Laboratories Of America, Inc. | Intra-frame flicker reduction in video coding |
-
2006
- 2006-02-08 JP JP2006031220A patent/JP4449915B2/ja not_active Expired - Fee Related
-
2007
- 2007-02-01 TW TW096103707A patent/TW200746840A/zh not_active IP Right Cessation
- 2007-02-07 US US12/162,616 patent/US8406287B2/en not_active Expired - Fee Related
- 2007-02-07 CA CA 2641522 patent/CA2641522A1/en not_active Abandoned
- 2007-02-07 EP EP20070708169 patent/EP1983760A4/en not_active Withdrawn
- 2007-02-07 MX MX2008010117A patent/MX2008010117A/es active IP Right Grant
- 2007-02-07 CN CN2007800048140A patent/CN101379834B/zh not_active Expired - Fee Related
- 2007-02-07 WO PCT/JP2007/052130 patent/WO2007091601A1/ja active Application Filing
- 2007-02-07 RU RU2008132608A patent/RU2426270C2/ru not_active IP Right Cessation
- 2007-02-07 KR KR20087018611A patent/KR101322498B1/ko active IP Right Grant
- 2007-02-07 BR BRPI0707664-9A patent/BRPI0707664A2/pt not_active IP Right Cessation
- 2007-02-07 AU AU2007213103A patent/AU2007213103A1/en not_active Abandoned
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8520959B2 (en) | 2007-12-13 | 2013-08-27 | Siemens Aktiengesellschaft | Method and device for determining image quality |
WO2009074393A1 (de) * | 2007-12-13 | 2009-06-18 | Siemens Aktiengesellschaft | Verfahren und vorrichtung zum bestimmen einer bildqualität |
US8755613B2 (en) | 2008-01-17 | 2014-06-17 | Thomson Licensing | Method for measuring flicker |
JP2011510560A (ja) * | 2008-01-17 | 2011-03-31 | トムソン ライセンシング | フリッカー測定方法 |
JP2009177443A (ja) * | 2008-01-24 | 2009-08-06 | Canon Inc | 符号化装置 |
KR101656091B1 (ko) | 2008-03-10 | 2016-09-08 | 톰슨 라이센싱 | 효율성과 주관적 품질의 개선을 지원하는 예측 프레임 선택을 위한 방법 및 장치 |
JP2011514120A (ja) * | 2008-03-10 | 2011-04-28 | トムソン ライセンシング | 改善された効率及び主観的な品質をサポートする予測フレームの選択方法及び装置 |
KR20100137502A (ko) * | 2008-03-10 | 2010-12-30 | 톰슨 라이센싱 | 효율성과 주관적 품질의 개선을 지원하는 예측 프레임 선택을 위한 방법 및 장치 |
US10080034B2 (en) | 2008-03-10 | 2018-09-18 | Thomson Licensing Dtv | Method and apparatus for predictive frame selection supporting enhanced efficiency and subjective quality |
JP2010212785A (ja) * | 2009-03-06 | 2010-09-24 | Fujitsu Ltd | 動画像符号化装置及び動画像符号化方法 |
JP2012205062A (ja) * | 2011-03-25 | 2012-10-22 | Kddi Corp | フリッカ/シーンチェンジ判定装置及び方法 |
JP6270293B1 (ja) * | 2016-11-01 | 2018-01-31 | Nttエレクトロニクス株式会社 | 動画像符号化装置および動画像符号化方法 |
JP2018074466A (ja) * | 2016-11-01 | 2018-05-10 | Nttエレクトロニクス株式会社 | 動画像符号化装置および動画像符号化方法 |
US11336889B2 (en) | 2017-07-19 | 2022-05-17 | Nec Corporation | Moving image encoding device and method for reducing flicker in a moving image |
Also Published As
Publication number | Publication date |
---|---|
MX2008010117A (es) | 2008-11-06 |
WO2007091601A1 (ja) | 2007-08-16 |
RU2426270C2 (ru) | 2011-08-10 |
EP1983760A4 (en) | 2012-09-05 |
TW200746840A (en) | 2007-12-16 |
AU2007213103A1 (en) | 2007-08-16 |
JP4449915B2 (ja) | 2010-04-14 |
CN101379834B (zh) | 2011-07-06 |
KR20080096760A (ko) | 2008-11-03 |
KR101322498B1 (ko) | 2013-10-28 |
RU2008132608A (ru) | 2010-02-20 |
BRPI0707664A2 (pt) | 2011-05-10 |
EP1983760A1 (en) | 2008-10-22 |
CN101379834A (zh) | 2009-03-04 |
US20090046092A1 (en) | 2009-02-19 |
US8406287B2 (en) | 2013-03-26 |
TWI339532B (ja) | 2011-03-21 |
CA2641522A1 (en) | 2007-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4449915B2 (ja) | 符号化装置、符号化方法およびプログラム、並びに、記録媒体 | |
KR100751670B1 (ko) | 화상 부호화 장치, 화상 복호 장치 및 화상 부호화 또는 복호화 방법 | |
JP5269593B2 (ja) | 符号化装置、符号化方法、復号装置、復号方法およびそれらのプログラム | |
JP4889231B2 (ja) | 画像符号化方法および装置、画像復号方法 | |
US9414086B2 (en) | Partial frame utilization in video codecs | |
US20070009039A1 (en) | Video encoding and decoding methods and apparatuses | |
US20070171970A1 (en) | Method and apparatus for video encoding/decoding based on orthogonal transform and vector quantization | |
KR20140110221A (ko) | 비디오 인코더, 장면 전환 검출 방법 및 비디오 인코더의 제어 방법 | |
JP2006005438A (ja) | 画像処理装置およびその方法 | |
US20050089098A1 (en) | Data processing apparatus and method and encoding device of same | |
JP4561508B2 (ja) | 画像処理装置、画像処理方法およびそのプログラム | |
US20050141616A1 (en) | Video encoding and decoding methods and apparatuses using mesh-based motion compensation | |
JP2007006390A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2008004984A (ja) | 画像理装置および方法、プログラム、並びに記録媒体 | |
JP2012015603A (ja) | 画像処理装置及び画像映像処理方法 | |
JP4708821B2 (ja) | 動画像符号化装置及びその制御方法、コンピュータプログラム及び記憶媒体 | |
CN113225558B (zh) | 平滑定向和dc帧内预测 | |
JP7418152B2 (ja) | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法 | |
JP4655791B2 (ja) | 符号化装置、符号化方法およびそのプログラム | |
JP4570081B2 (ja) | 動画像エラー隠蔽方法および装置 | |
RU2808075C1 (ru) | Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы | |
JP4517963B2 (ja) | 符号化装置、符号化方法、プログラムおよび記録媒体 | |
JPH10164594A (ja) | 動画像の圧縮符号化方法およびその装置 | |
JP2009105639A (ja) | 画像符号化方法および装置ならびに画像処理機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080407 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090107 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090601 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100105 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100118 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4449915 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140205 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |