JP2022070176A - 符号化装置及びプログラム - Google Patents

符号化装置及びプログラム Download PDF

Info

Publication number
JP2022070176A
JP2022070176A JP2020179265A JP2020179265A JP2022070176A JP 2022070176 A JP2022070176 A JP 2022070176A JP 2020179265 A JP2020179265 A JP 2020179265A JP 2020179265 A JP2020179265 A JP 2020179265A JP 2022070176 A JP2022070176 A JP 2022070176A
Authority
JP
Japan
Prior art keywords
image
unit
coding
motion compensation
coded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020179265A
Other languages
English (en)
Inventor
奈緒 中島
Nao Nakajima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2020179265A priority Critical patent/JP2022070176A/ja
Publication of JP2022070176A publication Critical patent/JP2022070176A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】符号化画像再生時に視認されるフリッカを抑制した符号化装置及びプログラムを提供する。【解決手段】符号化装置1は、原画像を分割したブロック画像を生成するブロック分割部11と、ブロック画像とイントラ予測画像又は動き補償予測画像との差を示す残差ブロック画像に対して変換処理を行って変換係数を算出する変換部13と、変換係数を量子化した量子化係数を生成する量子化部16と、量子化係数を復号して符号化画像を生成する符号化画像生成部(17、18、19)と、イントラ予測画像を生成するイントラ予測部21と、動き補償予測画像を生成する動き補償予測部22と、量子化係数に対してエントロピー符号化を行うエントロピー符号化部24と、符号化画像間の原画像に対する画質劣化の変動量を算出し、符号化ひずみの評価に変動量を加味したRD最適化を行う制御部10と、を備える。【選択図】図1

Description

本発明は、動画像を符号化する符号化技術に関する。
AVC/H.264(例えば、非特許文献1参照)やHEVC/H.265(例えば、非特許文献2参照)などの映像符号化方式では、動き補償予測(インター予測)方式、イントラ予測方式、ブロックサイズ、参照画像などの各符号化パラメータを最適化する符号化制御を行うことで、符号化効率の向上を実現する。
各符号化パラメータの最適化手法としては、ラグランジュの未定乗数法に基づくレート-ひずみ最適化手法(RD最適化)を用いることが一般的である。RD最適化は、与えられたビットレート制約の下で符号化ひずみを最小化することを目的として、各符号化パラメータに最適なモード(パラメータ)を選択する手法である(例えば、非特許文献3参照)。具体的には、式(1)で算出されるRDcost(mode)を最小とするモードを選択する。ここで、D(mode)はあるモードで符号化した際の符号化ひずみであり、R(mode)はそのときの発生符号量であり、λはラグランジュの未定乗数である。
Figure 2022070176000002
符号化ひずみD(mode)は、原画像と符号化画像(符号化データを復号した画像)との2乗誤差を用いると、式(2)で算出される。ここで、Sorg(x,y,t)は時刻tに表示されるフレームの原画像であり、Sdec(x,y,t,mode)は時刻tに表示されるフレームをあるモードで符号化した際の符号化画像である。xは各フレームの横方向の画素位置を示し、yは各フレームの縦方向の画素位置を示す。式(2)の処理範囲である1≦x≦X,1≦y≦Xは、符号化パラメータ決定を行う領域(MPEG-2,AVC/H.264ではマクロブロック、サブマクロブロック、HEVC/H.265ではCTU,CU,PU,TU)を示す。符号化ひずみD(mode)の算出は、この処理範囲ごとに行う。
Figure 2022070176000003
Rec. ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding Rec. ITU-T Rec. H.265 | ISO/IEC 23008-2 High Efficiency Video Coding G. J. Sullivan and T. Wiegand, "Rate-Distortion Optimization for Video Compression", IEEE Signal Processing Magazine, vol. 15
図5に示すように、従来の映像符号化技術では、同一時刻に表示されるフレームの原画像と符号化画像の2乗誤差を符号化ひずみD(mode)としてRDcost(mode)を算出している。例えば、図5の時刻t=Tの原画像フレーム#3を符号化する際の各符号化パラメータの最適化では、原画像#3と、これを様々なモードで符号化した符号化画像#3’(モード1)、符号化画像#3’’(モード2)、符号化画像#3’’’(モード3)との間でRDcost(mode)を算出し、このRDcost(mode)が最も小さいモード(モード1~3のいずれか)を符号化パラメータに割り当てるモードとして採用する。
図6に、HD(high definition video)映像をHEVC/H.265で符号化した際の原画像、及び符号化画像の一部分を切り出した32×32画素サイズの画像を示す。図6(a)が原画像であり、図6(b)が符号化画像である。32×32画素の各画素位置に、Y信号の画素値に相当する色を表示している。使用した符号化対象画像は、MPEG標準化で用いている標準動画像の「BQ Terrace」である。エンコーダ、デコーダは、参照ソフトウェアHM16.16を用い、GOP構造はLong GOP(M=3、N=30)、レート制御は35[Mbps]の固定ビットレート(CBR)とし、「BQ Terrace」の全900フレームを符号化した。
Long GOP符号化では、フレーム内予測のみを用いて符号化されたIピクチャ、片方向予測によるフレーム間予測を用いて符号化されたPピクチャ、及び双方向予測によるフレーム間予測を用いて符号化されたBピクチャにより映像符号化ストリームが構成される。フレーム間予測を用いることで符号量を低減することが可能であり、各ピクチャに割り当てる符号量はIピクチャが最も多く、Pピクチャが次に多く、Bピクチャが最も少ない。図6(a)(b)は、BQ Terraceの先頭フレームのフレーム番号を0とし、最終フレームのフレーム番号を899とした場合の、フレーム番号450-453の画像である。なお、フレーム番号450はGOP先頭のIピクチャ、フレーム番号451-452はBピクチャ、フレーム番号453はPピクチャである。
図6(a)(b)から、フレームごとに符号化劣化傾向が異なることが判る。Iピクチャであるフレーム番号450の符号化画像は原画の持つテクスチャを良く再現しているが、Bピクチャであるフレーム番号451,452の符号化画像ではテクスチャがつぶれてしまっている。Pピクチャの符号化劣化の程度は、Iピクチャよりも大きく、Bピクチャよりも小さい。この画質差がイントラフリッカとして視認される。また、フレーム番号451,452の符号化画像を比較すると、どちらもBピクチャであるがテクスチャのつぶれ具合が異なっており、この劣化傾向の相違もフリッカとして視認される。フレームごとに符号化劣化傾向が異なる原因の一つとして、符号化パラメータ設定時のRDcost(mode)算出の際に、時間的に連続した符号化画像間の原画像に対する画質劣化傾向の変動を考慮していないことがあげられる。
かかる事情に鑑みてなされた本発明の目的は、符号化画像間の原画像に対する画質劣化傾向の変動を考慮することにより、符号化画像再生時に視認されるフリッカを抑制することが可能な映像符号化装置及びプログラムを提供することにある。
上記課題を解決するため、本発明に係る映像符号化装置は、原画像を分割したブロック画像を生成するブロック分割部と、前記ブロック画像とイントラ予測画像又は動き補償予測画像との差を示す残差ブロック画像に対して変換処理を行って変換係数を算出する変換部と、前記変換係数を量子化した量子化係数を生成する量子化部と、前記量子化係数に対して量子化ステップを乗じて変換係数を復元し、該変換係数に対して逆変換処理を行って残差ブロック画像を復元し、該残差ブロック画像と前記イントラ予測画像又は動き補償予測画像とを加算して符号化画像を生成する符号化画像生成部と、前記符号化画像に対してイントラ予測したイントラ予測画像を生成するイントラ予測部と、前記符号化画像に対して動き補償予測を行って動き補償予測画像を生成する動き補償予測部と、前記量子化係数に対してエントロピー符号化を行うエントロピー符号化部と、前記符号化画像間の前記原画像に対する画質劣化の変動量を算出し、符号化ひずみの評価に前記変動量を加味したRD最適化を行う制御部と、を備える。
さらに、本発明に係る映像符号化装置において、前記変動量は、前記原画像及び前記符号化画像間の類似度の時間的差分としてもよい。
さらに、本発明に係る映像符号化装置において、前記変動量は、前フレームにおける原画像及びRD最適化された符号化画像の差分画像と、現フレームにおける原画像及び各モードの符号化画像の差分画像と、の間の差分であってもよい。
さらに、本発明に係る映像符号化装置において、前記制御部は、前フレームにおける原画像とRD最適化された符号化画像との差分画像に対して動き補償予測を行った差分動き補償予測画像を生成し、前記変動量は、前記差分動き補償予測画像と、現フレームにおける原画像及び各モードの符号化画像の差分画像と、の間の差分であってもよい。
さらに、本発明に係る映像符号化装置において、前記制御部は、前記ブロック画像のサイズ、前記変換処理に用いられる基底、前記イントラ予測に用いられるイントラ予測モード、及び前記動き補償予測に用いられる動きベクトルを変化させてRD最適化を行ってもよい。
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記映像符号化装置として機能させることを特徴とする。
本発明によれば、符号化画像再生時に視認されるフリッカを抑制することができる。
本発明の一実施形態に係る符号化装置の構成例を示すブロック図である。 従来の符号化装置における制御処理でフリッカが発生する理由を説明する図である。 本発明の一実施形態に係る符号化装置における制御処理の第1の例を示す図である。 本発明の一実施形態に係る符号化装置における制御処理の第2の例を示す図である。 従来の符号化パラメータの最適化方法を説明する図である。 HD映像をHEVC/H.265で符号化した際のフレームごとの符号化劣化傾向の相違を示す図である。
以下、本発明の一実施形態について、図面を参照して詳細に説明する。
図1に、本発明の一実施形態に係る映像符号化装置1の構成例を示す。図1は、符号化装置1の構成例を示すブロック図である。図1に示す符号化装置1は、制御部10と、ブロック分割部11と、減算部12と、変換部13と、ビジュアルアクティビティ算出部14と、QP決定部15と、量子化部16と、逆量子化部17と、逆変換部18と、加算部19と、記憶部20と、イントラ予測部21と、動き補償予測部22と、切替部23と、エントロピー符号化部24と、を備える。
制御部10は、ブロック分割部11に対してブロック画像のサイズを示すブロックサイズ情報を出力し、変換部13に対して基底の種類を示す変換情報を出力する。
また、制御部10は、イントラ予測を行う場合には、イントラ予測部21に対してイントラ予測モードを示すイントラ予測情報を出力する。例えば、AVC/H.264符号化方式では、13種類のイントラ予測モード(16x16ブロック処理の4種と、4x4ブロック処理の9種)が規定されている。
また、制御部10は、動き補償予測を行う場合には、記憶部20に記憶された符号化画像を参照して、動きベクトルの候補から動きベクトルを決定し、動き補償予測部22に対して動きベクトルを示す動き補償情報を出力する。なお、制御部10は、記憶部20に記憶された符号化画像を参照して、ブロック分割部11から入力したブロック画像ごとにブロックマッチングなどの手法により動きベクトルの候補を生成する。
ブロック分割部11は、入力画像(原画像)を、制御部10から入力したブロックサイズ情報が示すブロックサイズのブロックで分割したブロック画像を生成し、減算部12、ビジュアルアクティビティ算出部14、及び動き補償予測部22に出力する。
減算部12は、ブロック分割部11から入力したブロック画像の各画素値から、後述するイントラ予測部21又は動き補償予測部22から入力された予測ブロック画像の各画素値を減算して、ブロック画像と予測ブロック画像との差を示す残差ブロック画像を生成し、変換部13に出力する。
変換部13は、減算部12から入力した残差ブロック画像に対して、制御部10から入力した変換情報が示す基底を用いて直交変換などの変換処理を行って変換係数を算出し、量子化部16に出力する。
ビジュアルアクティビティ算出部14は、ブロック分割部11から入力したブロック画像のビジュアルアクティビティを算出し、QP決定部15に出力する。ブロック画像が高い周波数成分を多く含む場合にはビジュアルアクティビティは大きくなり、ブロック画像が高い周波数成分を多く含まない場合にはビジュアルアクティビティは小さくなる。
QP決定部15は、ビジュアルアクティビティ算出部14から入力したビジュアルアクティビティに基づいて量子化パラメータ(QP)を決定し、量子化部16に出力する。
量子化部16は、変換部13から入力した変換係数を、QP決定部15から入力した量子化パラメータに対応する量子化ステップで除算して量子化することにより量子化係数を生成し、逆量子化部17及びエントロピー符号化部24に出力する。
逆量子化部17は、量子化部16から入力した量子化係数に対して、量子化ステップを乗ずることにより変換係数を復元し、逆変換部18に出力する。
逆変換部18は、逆量子化部17から入力した変換係数に対して、逆変換処理(変換部13で行った変換を元に戻す処理)を行って残差ブロック画像を復元し、加算部19に出力する。例えば、変換部13が離散コサイン変換を行った場合には、逆変換部18は逆離散コサイン変換を行う。
加算部19は、逆変換部18から入力した残差ブロック画像と、切替部23から入力したイントラ予測画像又は動き補償予測画像とを加算し、符号化画像として記憶部20に出力する。
逆量子化部17、逆変換部18、及び加算部19により、符号化画像生成部(局所復号部)を構成する。すなわち、符号化画像生成部は、量子化係数に対して量子化ステップを乗じて変換係数を復元し、該変換係数に対して逆変換処理を行って残差ブロック画像を復元し、該残差ブロック画像とイントラ予測画像又は動き補償予測画像とを加算して符号化画像を生成する。
記憶部20は、加算部19から入力された符号化画像を記憶するメモリである。
イントラ予測部21は、記憶部20に記憶された符号化画像に対して、制御部10から入力したイントラ予測情報が示すイントラ予測モードに従ってイントラ予測したイントラ予測画像を生成し、切替部23に出力する。
動き補償予測部22は、記憶部20に記憶された符号化画像に対して、制御部10から入力した動き補償情報が示す動きベクトルに従って動き補償予測した動き補償予測画像を生成し、切替部23に出力する。
切替部23は、イントラ予測部21から入力されたイントラ予測画像と、動き補償予測部22から入力された動き補償予測画像とを切替えて予測ブロック画像とし、減算部12及び加算部19に出力する。
エントロピー符号化部24は、量子化部16から入力した量子化係数と、制御部10から入力したブロックサイズ情報、変換情報、イントラ予測情報、動き補償情報などの符号化パラメータに対してエントロピー符号化を行い、データ圧縮を行ってビットストリームを生成し、符号化装置1の外部に出力する。エントロピー符号化は、0次指数ゴロム符号やコンテキスト適応型2値算術符号(CABAC:Context-based Adaptive Binary Arithmetic Coding)など、任意のエントロピー符号化方式を用いることができる。
<制御部>
次に、制御部10の処理について説明する。制御部10は、符号化パラメータ(ブロック画像のサイズ、基底の種類、イントラ予測モード、及び動きベクトル)を変化させ、符号化画像間の原画像に対する画質劣化の変動量(以下、「符号化劣化傾向の変動量」という。)を算出し、符号化ひずみの評価に該変動量を加味したRD最適化を行い、RDコストが最小となる符号化パラメータの組み合わせを最終的な符号化パラメータとして決定する。
従来の符号化装置における制御処理でフリッカが発生する理由を、図2で例を示しながら説明する。表示時刻t=T-1のフレームを符号化する際、RDcost(T-1,モード1)、RDcost(T-1,モード2)、RDcost(T-1,モード3)を比較するが、ここではRDcost(T-1,モード1)が最も小さいとする。また、表示時刻t=Tのフレームを符号化する際、RDcost(T,モード1)、RDcost(T,モード2)、RDcost(T,モード3)を比較するが、ここではRDcost(T,モード2)が最も小さいとする。この場合、t=T-1の符号化画像は#2’となり、t=Tの符号化画像は#3’’となる。しかしながら、t=T-1の符号化画像#2’と、t=Tの符号化画像#3’’の符号化劣化傾向が著しく異なる可能性があるため、このモード選択(符号化画像選択)はフリッカ抑制の観点からは適切とは言えない。
そこで、本発明において制御部10は、符号化画像間の原画像に対する画質劣化傾向(符号化劣化傾向)がフレームごとに異なりフリッカが発生するという問題を解決するため、RDcost(mode)の算出時に、符号化劣化傾向の変動量を加味した符号化ひずみD(mode)を用いる。本実施形態では、符号化劣化傾向の変動量を、原画像及び符号化画像間の類似度の時間的差分とする。
(モード選択処理の第1の例)
図3に、制御部10の、t=Tのフレームに対するモード選択処理の第1の例を示す。図3では、t=T-1のフレームでモード1が選択されたとする。制御部10は、t=T-1のフレームで選択されたモード1における符号化画像#2’と原画像#2の差分画像Sdif(x,y,T-l,モード1)を算出する。また、t=Tのフレームに対し候補となる複数のモード(図3ではモード1~3)での符号化画像(#3’,#3’’,#3’’’)と、原画像#3との差分画像Sdif(x,y,T,mode)を、次式(3)により算出する。
Figure 2022070176000004
モード選択処理の第1の例では、符号化ひずみD(mode)に加味する符号化劣化傾向の変動量Fとして、原画像及び符号化画像の差分画像(類似度)の時間的差分を用いる。図3に示す例では、符号化劣化傾向の変動量Fは、前フレームにおける原画像及びRD最適化された符号化画像の差分画像Sdif(x,y,T-l,モード1)と、現フレームにおける原画像及び各モードの符号化画像の差分画像Sdif(x,y,T,mode)と、の間の差分である。そのため、原画像及び符号化画像の差分の時間的変動量は、次式(4)で表される。変動量Fが小さいほど、符号化劣化傾向の変動が小さいといえる。
Figure 2022070176000005
制御部10は、符号化ひずみD(mode)の算出式を、従来用いられている式(2)から次式(5)に変更する。ここで、αは重みづけ係数である。制御部10は、式(4)の符号化ひずみD(mode)と、発生符号量R(mode)とを用いて、前述の式(1)によりRDコストを算出する。
Figure 2022070176000006
このように、符号化劣化傾向の変動を考慮して符号化を行うことにより、符号化劣化傾向の時間的変動を抑えることが可能になり、フリッカを抑制することが可能となる。
(モード選択処理の第2の例)
図4に、制御部10の、t=Tのフレームに対するモード選択処理の第2の例を示す。図4では、t=T-1のフレームでモード1が選択されたとする。制御部10は、モード選択処理の第1の例と同様に、まずt=T-1のフレームで選択されたモード1における符号化画像#2’と原画像#2の差分画像Sdif(x,y,T-l,モード1)を算出する。また、t=Tのフレームに対し候補となる複数のモード(図4ではモード1~3)での符号化画像(#3’,#3’’,#3’’’)と、原画像#3との差分画像Sdif(x,y,T,mode)を、前述の式(3)により算出する。
モード選択処理の第2の例では、前フレームにおける原画像及びRD最適化された符号化画像との差分画像Sdif(x,y,T-l,モード1)に対して、現フレームとの間で動き予測を行い動き補償予測を行った差分動き補償予測画像M[Sdif(x,y,T-l,モード1)]を生成する。そして、符号化劣化傾向の変動量Fを、次式(6)に示すように、差分動き補償予測画像M[Sdif(x,y,T-l,モード1)]と、現フレームにおける原画像及び各モードの符号化画像の差分画像Sdif(x,y,T,mode)と、の間の差分とする。
Figure 2022070176000007
モード選択処理の第2の例では、動物体のエッジ部分に発生する劣化などの画像の動きに従って移動する劣化の劣化傾向の変動を、より的確に評価することが可能となる。
(モード選択処理の他のバリエーション)
次に、モード選択処理の他のバリエーションについて説明する。原画像及び符号化画像間の類似度は、原画像及び符号化画像のコントラスト(分散)変化であってもよいし、原画像及び符号化画像の画像相関であってもよいし、原画像及び符号化画像の構造情報変化であってもよい。符号化劣化傾向の変動量Fとしてこれらの時間的差分を用いる場合には、制御部10は、符号化ひずみD(mode)を次式(7)により算出する。
Figure 2022070176000008
符号化劣化傾向の変動量Fとして、原画像及び符号化画像のコントラスト変化の時間的差分を用いる場合には、符号化劣化傾向の変動量Fを、次式(8)に示すように、前フレームにおける原画像及びRD最適化された符号化画像のコントラスト変化σdif(t-l,MODE(t-1))と、現フレームにおける原画像及び各モードの符号化画像のコントラスト変化σdif(t,mode)と、の間の差分とする。
Figure 2022070176000009
コントラスト変化は、次式(9)に示すように原画像のコントラストσorg(t)及び符号化画像のコントラストσorg(t,mode)の単純差分を用いてもよいし、次式(10)又は(11)に示すように原画のコントラストの大きさによって正規化した値を用いてもよい。
Figure 2022070176000010
Figure 2022070176000011
Figure 2022070176000012
ここで、原画像のコントラストσorg(t)は、原画像の画素値の平均μorg(t)を用いて、次式(12)(13)により算出できる。
Figure 2022070176000013
また、符号化画像のコントラストσdec(t,mode)は、符号化画像の画素値の平均μdec(t,mode)を用いて、次式(14)(15)により算出できる。
Figure 2022070176000014
符号化劣化傾向の変動量Fとして、原画像及び符号化画像の画像相関の時間的差分を用いる場合には、符号化劣化傾向の変動量Fを、次式(16)に示すように、前フレームにおける原画像及びRD最適化された符号化画像の画像相関σorg_dec(t-l,MODE(t-1))と、現フレームにおける原画像及び各モードの符号化画像の画像相関σorg_dec(t,mode)と、の間の差分とする。
Figure 2022070176000015
原画像及び符号化画像の画像相関σorg_dec(t,mode)は、次式(17)により算出することができる。μorg(t)及びμdec(t,mode)は、式(12)(14)に示したとおりである。
Figure 2022070176000016
符号化劣化傾向の変動量Fとして、原画像及び符号化画像の構造情報変化の時間的差分を用いる場合には、符号化劣化傾向の変動量Fを、次式(18)に示すように、前フレームにおける原画像及びRD最適化された符号化画像の構造情報変化STdif(t-l,MODE(t-1))と、現フレームにおける原画像及び各モードの符号化画像の画像相関STdif(t,mode)と、の間の差分とする。
Figure 2022070176000017
原画像及び符号化画像の構造情報変化は、次式(19)により算出することができる。σorg(t)、σdec(t,mode)、μorg(t)、及びμdec(t,mode)は、式(12)から(15)に示したとおりである。原画像及び符号化画像の画像相関σorg_dec(t,mode)は、式(17)に示したとおりである。
Figure 2022070176000018
上述したように、本発明に係る符号化装置1では、符号化画像間の原画像に対する画質劣化の変動量を算出し、符号化ひずみの評価に該変動量を加味したRD最適化を行う。そのため、符号化装置1の出力である符号化データを復号した符号化画像は、従来の符号化装置による符号化画像と比較して、フリッカが目立たなくなる。
<プログラム>
上記の符号化装置1として機能させるために、プログラム命令を実行可能なコンピュータを用いることも可能である。コンピュータは、符号化装置1の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのプロセッサによってこのプログラムを読み出して実行する。これらの処理内容の一部はハードウェアで実現されてもよい。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、PC(Personal Computer)、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。プロセッサは、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)などであってもよい。プログラムコードは、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)などの特定用途向け集積回路を生成するために、ハードウェア記述言語で記述されたものであってもよい。
また、このプログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROM、DVD-ROMなどの記録媒体であってもよい。また、このプログラムは、ネットワークを介したダウンロードによって提供することもできる。
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。
1 符号化装置
10 制御部
11 ブロック分割部
12 減算部
13 変換部
14 ビジュアルアクティビティ算出部
15 QP決定部
16 量子化部
17 逆量子化部
18 逆変換部
19 加算部
20 記憶部
21 イントラ予測部
22 動き補償予測部
23 切替部
24 エントロピー符号化部

Claims (6)

  1. 原画像を分割したブロック画像を生成するブロック分割部と、
    前記ブロック画像とイントラ予測画像又は動き補償予測画像との差を示す残差ブロック画像に対して変換処理を行って変換係数を算出する変換部と、
    前記変換係数を量子化した量子化係数を生成する量子化部と、
    前記量子化係数に対して量子化ステップを乗じて変換係数を復元し、該変換係数に対して逆変換処理を行って残差ブロック画像を復元し、該残差ブロック画像と前記イントラ予測画像又は動き補償予測画像とを加算して符号化画像を生成する符号化画像生成部と、
    前記符号化画像に対してイントラ予測したイントラ予測画像を生成するイントラ予測部と、
    前記符号化画像に対して動き補償予測を行って動き補償予測画像を生成する動き補償予測部と、
    前記量子化係数に対してエントロピー符号化を行うエントロピー符号化部と、
    前記符号化画像間の前記原画像に対する画質劣化の変動量を算出し、符号化ひずみの評価に前記変動量を加味したRD最適化を行う制御部と、を備える符号化装置。
  2. 前記変動量は、前記原画像及び前記符号化画像間の類似度の時間的差分である、請求項1に記載の符号化装置。
  3. 前記変動量は、前フレームにおける原画像及びRD最適化された符号化画像の差分画像と、現フレームにおける原画像及び各モードの符号化画像の差分画像と、の間の差分である、請求項2に記載の符号化装置。
  4. 前記制御部は、前フレームにおける原画像とRD最適化された符号化画像との差分画像に対して動き補償予測を行った差分動き補償予測画像を生成し、
    前記変動量は、前記差分動き補償予測画像と、現フレームにおける原画像及び各モードの符号化画像の差分画像と、の間の差分である、請求項2に記載の符号化装置。
  5. 前記制御部は、前記ブロック画像のサイズ、前記変換処理に用いられる基底、前記イントラ予測に用いられるイントラ予測モード、及び前記動き補償予測に用いられる動きベクトルを変化させてRD最適化を行う、請求項1から4のいずれか一項に記載の符号化装置。
  6. コンピュータを、請求項1から5のいずれか一項に記載の符号化装置として機能させるためのプログラム。

JP2020179265A 2020-10-26 2020-10-26 符号化装置及びプログラム Pending JP2022070176A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020179265A JP2022070176A (ja) 2020-10-26 2020-10-26 符号化装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020179265A JP2022070176A (ja) 2020-10-26 2020-10-26 符号化装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2022070176A true JP2022070176A (ja) 2022-05-12

Family

ID=81534077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020179265A Pending JP2022070176A (ja) 2020-10-26 2020-10-26 符号化装置及びプログラム

Country Status (1)

Country Link
JP (1) JP2022070176A (ja)

Similar Documents

Publication Publication Date Title
JP6660074B2 (ja) 映像復号化方法及び装置
RU2715017C1 (ru) Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео
CN108235023B (zh) 用于编码和解码图像的方法、编码和解码设备
JP7343669B2 (ja) Vvcにおける色変換のための方法及び機器
US20120128064A1 (en) Image processing device and method
JP2006140758A (ja) 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
KR20060072070A (ko) 이미지 또는 픽쳐 시퀀스를 인코딩하는데 사용될 수 있는양자화 매트릭스를 발생하는 방법 및 장치
KR20110047697A (ko) 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
JP2006246474A (ja) カラー成分間の単一符号化モードを利用して予測映像を生成する方法、およびその装置と、該単一符号化モードを利用して映像およびビデオを符号化/復号化する方法およびその装置
JP7297918B2 (ja) ビデオ符号化のための色変換
KR20140064972A (ko) 화상 부호화 및 복호 방법, 장치, 프로그램
CN101491106A (zh) 图像处理设备和方法及程序
US10638155B2 (en) Apparatus for video encoding, apparatus for video decoding, and non-transitory computer-readable storage medium
KR20230098527A (ko) 영상 변환 부호화/복호화 방법 및 장치
JPWO2005062625A1 (ja) 動画像を符号化する方法及び装置
JP7343817B2 (ja) 符号化装置、符号化方法、及び符号化プログラム
JP4383240B2 (ja) 画面内予測符号化装置、その方法及びそのプログラム
KR20090072150A (ko) 스캔 패턴 결정 장치 및 이를 이용한 영상 데이터 부호화방법과 그 장치, 그리고, 이를 이용한 영상 데이터 복호화방법과 그 장치
WO2016194380A1 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
US11218705B2 (en) Information processing device and video encoding method
JP2019102861A (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP2022070176A (ja) 符号化装置及びプログラム
JP2021129148A (ja) 予測装置、符号化装置、復号装置、及びプログラム
JP2020058075A (ja) 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び記録媒体
JP4697802B2 (ja) 動画像予測符号化方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230926