JP2019102861A - 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム - Google Patents

動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム Download PDF

Info

Publication number
JP2019102861A
JP2019102861A JP2017228765A JP2017228765A JP2019102861A JP 2019102861 A JP2019102861 A JP 2019102861A JP 2017228765 A JP2017228765 A JP 2017228765A JP 2017228765 A JP2017228765 A JP 2017228765A JP 2019102861 A JP2019102861 A JP 2019102861A
Authority
JP
Japan
Prior art keywords
image
encoding
encoded
moving picture
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017228765A
Other languages
English (en)
Other versions
JP6946979B2 (ja
Inventor
章弘 屋森
Akihiro Yamori
章弘 屋森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017228765A priority Critical patent/JP6946979B2/ja
Priority to US16/189,256 priority patent/US10645423B2/en
Publication of JP2019102861A publication Critical patent/JP2019102861A/ja
Application granted granted Critical
Publication of JP6946979B2 publication Critical patent/JP6946979B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】選択可能な複数のブロックサイズを用いる動画像符号化において、符号化対象画像のノイズ分布に適した符号化を行う。【解決手段】判定部211は、動画像に含まれる符号化対象画像内のノイズ分布を判定する。判定部211が符号化対象画像内のノイズ分布が所定のノイズ分布であると判定した場合、制御部212は、符号化対象画像の動画像符号化で用いるブロックのサイズを、選択可能な複数のサイズのうち一部のサイズに制限する。符号化部213は、一部のサイズのブロックを用いた動画像符号化により、符号化対象画像を符号化する。【選択図】図2

Description

本発明は、動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムに関する。
動画像符号化では、動画像に含まれる複数の時刻の画像各々が複数のブロックに分割され、ブロック単位で符号化処理が行われる。例えば、動画像符号化方式の1つであるHigh Efficiency Video Coding(HEVC)では、Coding Unit(CU)、Prediction Unit(PU)、Transform Unit(TU)等の階層構造のブロックが用いられる。以下では、n画素×n画素(nは1以上の整数)のブロックのサイズを、単にn×nと記すことがある。
CU、PU、及びTUのブロックサイズとしては、例えば、以下のようなものが選択可能である。
CU:8×8〜64×64
PU:4×4〜64×64
TU:4×4〜32×32
入力画像の画素値の分散に基づいて、直交変換係数の上限周波数又は直交変換サイズを制御する動画像符号化装置も知られている(例えば、特許文献1及び特許文献2を参照)。
特開2003−259376号公報 特開2008−219205号公報
符号化対象画像にノイズが載っている場合、選択されるブロックサイズがノイズの影響を受けて変化し、適切なブロックサイズが選択されないことがある。
なお、かかる問題は、HEVCに限らず、選択可能な複数のブロックサイズを用いる他の動画像符号化方式においても生ずるものである。
1つの側面において、本発明は、選択可能な複数のブロックサイズを用いる動画像符号化において、符号化対象画像のノイズ分布に適した符号化を行うことを目的とする。
1つの案では、動画像符号化装置は、判定部、制御部、及び符号化部を含む。判定部は、動画像に含まれる符号化対象画像内のノイズ分布を判定する。判定部が符号化対象画像内のノイズ分布が所定のノイズ分布であると判定した場合、制御部は、符号化対象画像の動画像符号化で用いるブロックのサイズを、選択可能な複数のサイズのうち一部のサイズに制限する。符号化部は、一部のサイズのブロックを用いた動画像符号化により、符号化対象画像を符号化する。
実施形態によれば、選択可能な複数のブロックサイズを用いる動画像符号化において、符号化対象画像のノイズ分布に適した符号化を行うことができる。
暗室画像の復号画像を示す図である。 動画像符号化装置の機能的構成図である。 動画像符号化処理のフローチャートである。 動画像符号化装置の具体例を示す機能的構成図である。 解析部の機能的構成図である。 ブロックサイズを制限した場合の復号画像を示す図である。 動画像符号化処理の具体例を示すフローチャートである。 ノイズ判定処理のフローチャートである。 符号化処理のフローチャートである。 TU判定処理のフローチャートである。 ピクチャの分割方法を示す図である。 情報処理装置の構成図である。
以下、図面を参照しながら、実施形態を詳細に説明する。
HEVCでは、各画像内の動きが小さい部分、又は絵柄が簡単な(平らな)部分に対して大きなブロックを適用し、動きが大きい部分、又は絵柄が複雑な部分に対して小さなブロックを適用することで、より符号化効率を高めることができる。特に、TUについては、符号化処理で用いるTUのブロックサイズが量子化係数の情報量に直結するため、ブロックサイズが符号化効率に与える影響は大きい。
HEVCのリファレンスモデルでは、ラグランジュの未定乗数法を用いたモード判定によって、適応ブロックサイズが決定される。このモード判定では、次式のような予測モードコストCを最小にするモードが選択される。
C=D+λ*R (1)
式(1)のDは、原画像と予測画像との差分である予測誤差を表し、Rは、予測モードのモード情報を符号化する際に発生する情報量(ビット量)を表す。λは、量子化パラメータ(Quantization Parameter,QP)に基づいて決定される変換係数である。Dとしては、例えば、差分絶対値和(Sum of Absolute Differences,SAD)、Sum of Absolute Transformed Differences(SATD)等が用いられる。
HEVCのリファレンスソフトウェアであるHEVC Test Model(HM)を用いて、絵柄が複雑な画像を符号化する場合、モード判定によって決定されるブロックサイズは、必ずしも一定にはならない。例えば、ゲインアップノイズを含む暗室画像、又はランダムノイズ(砂嵐)の画像に適用されるブロックサイズは、画像内の位置によって小刻みに変化する。このようなブロックサイズの変化が、復号された動画像の主観品質を低下させることがある。
ノイズが載っている画像では、どのブロックサイズを選択した場合であっても、ブロック単位で評価される符号化処理の効率に大きな差がなく、予測モードコストCが同程度の大きさになる。このため、画像内の位置に応じた予測モードコストCの微妙な差によって、選択可能なブロックサイズのうち1つのブロックサイズが選択される。したがって、符号化対象画像全体に一様なノイズが存在していても、符号化処理のブロックサイズが一定になるとは限らない。
図1は、暗室画像をHEVCにより符号化した符号化画像を復号して得られる復号画像の例を示している。図1の復号画像は、1枚の画像に含まれる一部の矩形領域に対応する。
符号化対象の暗室画像には、暗い場所におけるカメラのゲインアップによって、画像全体に一様なゲインアップノイズが発生している。しかし、適用されるTUのブロックサイズが大きい部分101では、ノイズが潰れて消えた平らな復号画像が得られ、TUのブロックサイズが小さい部分102では、ノイズが潰れずに残った復号画像が得られる。このように、復号画像の部分毎にノイズ感が変化し、原画像におけるゲインアップノイズの一様性が消滅している。
図2は、実施形態の動画像符号化装置の機能的構成例を示している。図2の動画像符号化装置201は、判定部211、制御部212、及び符号化部213を含む。
図3は、図2の動画像符号化装置201が行う動画像符号化処理の例を示すフローチャートである。まず、判定部211は、動画像に含まれる符号化対象画像内のノイズ分布を判定する(ステップ301)。判定部211が符号化対象画像内のノイズ分布が所定のノイズ分布であると判定した場合、制御部212は、符号化対象画像の動画像符号化で用いるブロックのサイズを、選択可能な複数のサイズのうち一部のサイズに制限する(ステップ302)。そして、符号化部213は、一部のサイズのブロックを用いた動画像符号化により、符号化対象画像を符号化する(ステップ303)。
図2の動画像符号化装置201によれば、選択可能な複数のブロックサイズを用いる動画像符号化において、符号化対象画像のノイズ分布に適した符号化を行うことができる。
図4は、図2の動画像符号化装置201の具体例を示している。図4の動画像符号化装置401は、解析部411、情報量制御部412、イントラ予測部413、動きベクトル検出部414、イントラ予測モード判定部415、インター予測モード判定部416、判定部417、及び予測画像生成部418を含む。さらに、動画像符号化装置401は、差分生成部419、直交変換部420、量子化部421、可変長符号化部422、逆量子化部423、逆直交変換部424、再構成部425、及びフレームメモリ426を含む。
図5は、図4の解析部411の機能的構成例を示している。図5の解析部411は、判定部501及び制御部502を含む。判定部501及び制御部502は、図2の判定部211及び制御部212にそれぞれ対応する。
図4のイントラ予測部413、動きベクトル検出部414、イントラ予測モード判定部415、インター予測モード判定部416、判定部417、及び予測画像生成部418は、図2の符号化部213に対応する。さらに、差分生成部419、直交変換部420、量子化部421、可変長符号化部422、逆量子化部423、逆直交変換部424、及び再構成部425も、符号化部213に対応する。
動画像符号化装置401は、例えば、ハードウェア回路として実装することができる。この場合、動画像符号化装置401の各構成要素を個別の回路として実装してもよく、1つの集積回路として実装してもよい。
動画像符号化装置401は、入力される符号化対象動画像をHEVCにより符号化し、符号化動画像をビットストリームとして出力する。符号化対象動画像は、時系列の複数のピクチャを含む。各ピクチャは、符号化対象画像に対応し、フレームと呼ばれることもある。各ピクチャは、カラー画像であってもよく、モノクロ画像であってもよい。ピクチャがカラー画像の場合、画素値はRGB形式であってもよく、YUV形式であってもよい。
各ピクチャは、Coding Tree Unit(CTU)と呼ばれる複数のブロックに分割され、各CTUは、1つ以上のCUに分割される。各CUは、インター予測符号化又はイントラ予測符号化のいずれかの符号化方式によって符号化される。インター予測符号化は、符号化対象画像を符号化済み画像の情報を用いて符号化する符号化方式であり、イントラ予測符号化は、符号化対象画像が持つ情報のみを用いて符号化対象画像を符号化する符号化方式である。
各CUは、1つ以上のPUに分割されるとともに、1つ以上のTUにも分割される。インター予測及びイントラ予測はPU単位で行われ、直交変換及び量子化はTU単位で行われる。TUのブロックサイズは、32×32、16×16、8×8、又は4×4のいずれかである。
イントラ予測部413は、複数のブロックサイズそれぞれのCUに対して、フレームメモリ426が記憶する復号画像を用いて、複数のイントラ予測モードにおけるイントラ予測画像を生成する。そして、イントラ予測部413は、生成したイントラ予測画像をイントラ予測モード判定部415へ出力する。
イントラ予測モード判定部415は、イントラ予測部413が出力するイントラ予測画像を用いて、最適なイントラ予測モードとTUのブロックサイズとを決定する。そして、イントラ予測モード判定部415は、決定したイントラ予測モードと、そのイントラ予測モードに対応する符号化コストとを、判定部417へ出力する。符号化コストとしては、例えば、式(1)の予測モードコストCを用いることができる。
動きベクトル検出部414は、複数のブロックサイズそれぞれのCUに対して、フレームメモリ426が記憶する復号画像を用いて、動きベクトルと復号画像の参照インデックスとを決定する。そして、動きベクトル検出部414は、決定した動きベクトル及び参照インデックスをインター予測モード判定部416へ出力する。
インター予測モード判定部416は、動きベクトル検出部414が出力する動きベクトル及び参照インデックスを用いて、最適なインター予測モードとTUのブロックサイズとを決定する。そして、インター予測モード判定部416は、決定したインター予測モードと、そのインター予測モードに対応する符号化コストとを、判定部417へ出力する。
判定部417は、イントラ予測モード判定部415が出力する符号化コストと、インター予測モード判定部416が出力する符号化コストとを比較して、各CUに対してイントラ予測モード又はインター予測モードのいずれを適用するかを決定する。そして、判定部417は、決定した予測モードを予測画像生成部418へ出力する。
予測画像生成部418は、判定部417が出力する予測モードに従って、CUに対する予測画像を生成し、生成した予測画像を差分生成部419及び再構成部425へ出力する。
差分生成部419は、予測画像生成部418が出力する予測画像と、CUの原画像との差分を、予測誤差として直交変換部420へ出力する。直交変換部420は、差分生成部419が出力する差分に対して直交変換を行い、変換係数を量子化部421へ出力する。量子化部421は、変換係数を量子化し、量子化係数を可変長符号化部422及び逆量子化部423へ出力する。
可変長符号化部422は、量子化部421が出力する量子化係数と予測モードのモード情報とを可変長符号化によって符号化し、符号化動画像のビットストリームを出力する。そして、可変長符号化部422は、可変長符号化によって発生する情報量を情報量制御部412へ出力する。
逆量子化部423は、量子化部421が出力する量子化係数に対して逆量子化を行って、逆量子化結果を生成し、生成した逆量子化結果を逆直交変換部424へ出力する。逆直交変換部424は、逆量子化結果に対して逆直交変換を行って、予測誤差を生成し、生成した予測誤差を再構成部425へ出力する。
再構成部425は、予測画像生成部418が出力する予測画像と、逆直交変換部424が出力する予測誤差とを加算して、再構成画像を生成し、生成した再構成画像をフレームメモリ426へ出力する。フレームメモリ426は、再構成部425が出力する再構成画像を復号画像として記憶する。
情報量制御部412は、可変長符号化部422が出力する情報量が目標情報量になるように、目標量子化パラメータ(目標QP)を決定し、決定した目標QPを、量子化部421及び解析部411へ出力する。情報量制御部412は、目標QPをCU単位で決定することができる。
解析部411の判定部501は、ピクチャ内の複数の領域それぞれにおける複数の画素値分布と、それらの画素値分布の間の類似性とに基づいて、ピクチャ内のノイズ分布が所定のノイズ分布であるか否かを判定する。例えば、所定のノイズ分布は、ピクチャ内に一様に分布するノイズを表していてもよい。
そして、制御部502は、判定部501がピクチャ内のノイズ分布が所定のノイズ分布であると判定した場合、そのピクチャの動画像符号化で用いるブロックサイズを、選択可能な複数のブロックサイズのうち一部のサイズに制限する。例えば、制御部502は、動画像符号化で用いるブロックサイズを単一のブロックサイズに制限してもよい。
解析部411は、制限されたブロックサイズを示す制御情報を、イントラ予測モード判定部415及びインター予測モード判定部416へ出力する。そして、イントラ予測モード判定部415及びインター予測モード判定部416は、解析部411が出力する制御情報に従って、制限されたブロックサイズの範囲内で、ピクチャの動画像符号化で用いるブロックサイズを決定する。
動画像符号化装置401は、通信ネットワークを介して、ビットストリームを不図示の動画像復号装置へ送信することができる。この場合、動画像復号装置は、ビットストリームを復号して符号化対象動画像を復元する。
動画像符号化装置401は、様々な用途に利用される。例えば、動画像符号化装置401を、ビデオカメラ、映像送信装置、映像受信装置、テレビ電話システム、コンピュータ、又は携帯電話機に組み込むことも可能である。
図4の動画像符号化装置401によれば、ピクチャ内の複数の領域それぞれにおける複数の画素値分布に基づいて、ピクチャ内に所定のノイズが存在するか否かを判定することができる。これにより、所定のノイズが存在するピクチャの動画像符号化で用いるブロックサイズを制限して、そのノイズ分布に適した符号化を行うことが可能になる。
例えば、ピクチャ全体に一様なノイズが存在する場合、動画像復号装置が生成する復号画像におけるノイズ感は、動画像符号化で用いるブロックサイズによって異なってくる。そこで、解析部411は、制限されたブロックサイズの範囲を、ピクチャ単位で適宜変更することが望ましい。
イントラ予測モード判定部415及びインター予測モード判定部416は、動画像符号化で用いるブロックをより小さなブロックに分割するか否かを、繰り返し判定する。例えば、TUの場合、2×2の4分木分割を行うか否かを再帰的に判定することによって、32×32〜4×4のうちいずれのブロックサイズを適用するかが決定される。
また、ピクチャ全体に一様なノイズが存在する場合、ピクチャ内の各ブロックの絵柄が類似していることが多い。この場合、大きなブロックを分割して得られる複数の小ブロックの画素値分布を示す周波数スペクトルにおいて、同じ周波数に強い成分が存在すれば、大きなブロックの周波数スペクトルにおいても、その周波数に強い成分が発生する。
そこで、あるブロックをより小さなブロックに分割するか否かを判定する際に、画素値の統計情報に基づいて、各ブロックの絵柄の類似性を判定することが考えられる。ピクチャ全体に一様なノイズが存在する場合、以下の2つの条件が満たされる。
(a)ピクチャの絵柄が複雑であり、ピクチャ内の複数の領域それぞれにおける複数の画素値分布において、画素値の分散(アクティビティ)の総和が大きい。
(b)ピクチャ内の複数の領域において、アクティビティが一様である。
ピクチャがM個(Mは2以上の整数)の領域に分割され、各領域にN個(Nは2以上の整数)の画素が含まれる場合、条件(a)は、例えば、次式により記述される。
各領域は、同じサイズの矩形領域(ブロック)であってもよい。式(11)において、V(j)は、j番目(j=1〜M)の領域における画素値の分散を表し、V1は、M個のV(j)の総和を表し、TH1は、V1に対する閾値を表す。式(12)において、x(j,i)は、j番目の領域におけるi番目(i=1〜N)の画素の画素値を表し、Ave(j)は、j番目の領域におけるN個の画素値の平均値を表す。
一方、条件(b)は、例えば、次式により記述される。
式(14)において、Aveは、M個のV(j)の平均値を表し、V2は、ピクチャ内におけるM個のV(j)の分散を表し、TH2は、V2に対する閾値を表す。V2が小さいほど、M個の領域それぞれにおけるM個の画素値分布が類似していると考えられる。
例えば、TH1及びTH2の値は、一様なノイズが存在するピクチャを用いたシミュレーション等によって決定される。
判定部501は、条件(a)及び条件(b)が満たされる場合に、ピクチャ全体に一様なノイズが存在すると判定する。そこで、制御部502は、そのピクチャの動画像符号化で用いるブロックサイズを一部のサイズに制限する。これにより、ピクチャ内におけるブロックサイズの差が小さくなり、そのピクチャを復号して得られる復号画像において、原画像におけるノイズの一様性が保持されるため、復号された動画像の主観品質が向上する。
特に、HEVCのように、3種類以上のブロックサイズが選択可能な動画像符号化方式において、ブロックサイズを制限することで、復号された動画像の主観品質が大きく向上する。
図6は、暗室画像の符号化において、TUのブロックサイズを単一のサイズに制限した場合の復号画像の例を示している。図6の復号画像は、図1に示した矩形領域に対応し、画像全体に一様なノイズが存在している。このように、ブロックサイズを単一のサイズに制限した場合、復号画像におけるノイズ感が均一化される効果が高いと考えられる。
例えば、制御部502は、時間方向階層符号化(スケーラブル符号化)の階層毎に、制限されるブロックサイズの範囲を異ならせることもできる。この場合、制御部502は、符号化対象のピクチャよりも前に符号化されたピクチャの複雑度と、情報量制御によって決められる割当情報量とに基づいて、ブロックサイズの範囲を決定する。
情報量制御部412は、量子化パラメータによって量子化スケールの粗さを調整することで、可変長符号化によって発生する情報量が一定の情報量に収束するように、情報量制御を実施する。しかし、量子化パラメータが大きくなり、量子化スケールが最大になると、最悪の場合、情報量制御が破綻することも考えられる。そこで、制御部502は、情報量制御部412が決定した目標QPが大きい場合、ブロックサイズをより大きなサイズに制限することで、ブロック分割の有無を示すモード情報の情報量を削減する。これにより、情報量制御の破綻を回避することが可能になる。
ここで、Moving Picture Experts Group Phase 2(MPEG2)のTest Model 5(TM5)に準じて、時間方向階層符号化における目標QPを決定する処理の例について説明する。Temporal ID(TID)がkであるピクチャを、ピクチャ(k)と記すことにすると、この処理では、以下のようなパラメータが用いられる。
k_prev:前ピクチャのTID
k_crnt:現ピクチャのTID
X[k_prev]:ピクチャ(k_prev)の複雑度を示すGlobal Complexity Measure(GCM)
PicInfo[k_prev]:ピクチャ(k_prev)の可変長符号化によって発生した情報量
AveQP[k_prev]:ピクチャ(k_prev)において用いられたブロック毎の量子化パラメータの平均値
R:Group of Pictures(GOP)内における残りの情報量
T[k_crnt]:ピクチャ(k_crnt)の割当情報量
K[k_crnt]:ピクチャ(0)の量子化に対するピクチャ(k_crnt)の量子化の比率(重み係数)
N[k_crnt]:ピクチャ(k_crnt)のGOP内における残りのピクチャの枚数
picture_rate:設定フレームレート
EncBitrate:符号化動画像のビットレート
TQP[k_crnt]:ピクチャ(k_crnt)の目標QP
X[k_prev]は、PicInfo[k_prev]及びAveQP[k_prev]を用いて、次式により計算される。
X[k_prev]
=AveQP[k_prev]*PicInfo[k_prev] (21)
TIDとして0、1、又は2のいずれかが用いられる場合、T[0]、T[1]、及びT[2]は、N[0]、N[1]、N[2]、K[1]、及びK[2]を用いて、次式により計算される。
T[0]=max{R/M[0],α} (22)
M[0]
=N[0]+(N[1]*X[1])/(K[1]*X[0])
+(N[2]*X[2]))/(K[2]*X[0]) (23)

T[1]=max[{R/M[1],α} (24)
M[1]
=N[1]+(N[2]*K[1]*X[2])/(K[2]*X[1]) (25)

T[2]=max[{R/M[2],α} (26)
M[2]
=N[2]+(N[1]*K[2]*X[1])/(K[1]*X[2]) (27)

α=EncBitrate/(8*picture_rate) (28)
TQP[k_crnt]は、X[k_prev]及びT[k_crnt]を用いて、次式により計算される。
TQP[k_crnt]=X[k_prev]/T[k_crnt] (29)
情報量制御部412は、式(29)により求めた目標QPを解析部411へ出力し、制御部502は、目標QPに基づいて、TUのブロックサイズの範囲を決定する。目標QPが大きいほど、情報量制御に余裕がなくなってきているため、ブロック分割の有無を示すモード情報の情報量を削減することが望ましい。そこで、制御部502は、目標QPが大きいほど、TUのブロックサイズを大きな値に設定する。
例えば、制御部502は、閾値TH_32、閾値TH_16、及び閾値TH_8を用いて、以下のような閾値判定により、TUのブロックサイズS_TUを決定することができる。
if(TQP[k_crnt]>TH_32)) S_TU=32×32
else if(TQP[k_crnt]>TH_16) S_TU=16×16
else if(TQP[k_crnt]>TH_8) S_TU=8×8
else S_TU=4×4
ただし、TH_32>TH_16>TH_8である。制御部502は、S_TUを1種類のみに固定する代わりに、S_TU=16×16以下、S_TU=16×16又は8×8のように、S_TUの許容範囲を決定してもよい。
TIDとして3以上の値が用いられる場合も、同様に、ピクチャ(k_crnt)の目標QPに基づいて、TUのブロックサイズの範囲を決定することができる。
次に、図7から図10までを参照しながら、図4の動画像符号化装置401が行う動画像符号化処理について、より詳細に説明する。
図7は、図4の動画像符号化装置401が行う動画像符号化処理の具体例を示すフローチャートである。まず、情報量制御部412は、可変長符号化部422が出力する情報量を用いて、式(21)によりGCMを計算する(ステップ701)。次に、情報量制御部412は、式(22)〜式(28)により、ピクチャ(k_crnt)の割当情報量を計算し、式(29)により目標QPを計算する(ステップ702)。そして、情報量制御部412は、計算した目標QPを、量子化部421及び解析部411へ出力する。
なお、符号化対象のピクチャが最初のピクチャである場合は、動画像符号化装置401は、ステップ701及びステップ702の処理をスキップする。
次に、解析部411の判定部501は、符号化対象のピクチャに一様なノイズが存在するか否かを判定する(ステップ703)。一様なノイズが存在する場合(ステップ703,YES)、制御部502は、TUのブロックサイズを制限する(ステップ704)。そして、動画像符号化装置401は、制限されたブロックサイズのTUを用いて、符号化対象のピクチャを符号化する(ステップ705)。
ステップ705において、イントラ予測モード判定部415及びインター予測モード判定部416は、TUのブロックサイズの最大値及び最小値が規定する範囲内で、TUのブロックサイズを決定する。そこで、ステップ704において、制御部502は、この最大値及び最小値を変更することで、TUのブロックサイズを制限することができる。
例えば、制御部502は、TUのブロックサイズを32×32に決定した場合、最大値及び最小値を32×32に設定する。このように、最大値及び最小値を同じ値に設定することで、TUのブロックサイズが単一のブロックサイズに制限される。
一方、一様なノイズが存在しない場合(ステップ703,NO)、制御部502は、TUのブロックサイズに対する制限を解除する(ステップ707)。そして、動画像符号化装置401は、制限が解除されたTUを用いて、符号化対象のピクチャを符号化する(ステップ705)。
次に、動画像符号化装置401は、符号化を終了するか否かを判定する(ステップ706)。例えば、動画像符号化装置401は、所定期間のすべてのピクチャを符号化した場合、符号化を終了すると判定する。
符号化を終了しない場合(ステップ706,NO)、動画像符号化装置401は、ステップ701以降の処理を繰り返し、符号化を終了する場合(ステップ706,YES)、動画像符号化装置401は、処理を終了する。
図8は、図7のステップ703におけるノイズ判定処理の例を示すフローチャートである。まず、判定部501は、式(12)及び式(13)により、符号化対象のピクチャ内の1つの領域を選択して、選択した領域における画素値の分散V(j)を計算する(ステップ801)。そして、判定部501は、ピクチャ内のすべての領域を選択したか否かをチェックする(ステップ802)。
未選択の領域が残っている場合(ステップ802,NO)、判定部501は、次の領域について、ステップ801以降の処理を繰り返す。そして、すべての領域を選択した場合(ステップ802,YES)、判定部501は、式(14)及び式(15)により、ピクチャ内におけるV(j)の分散を計算する(ステップ803)。
次に、判定部501は、式(11)及び式(14)を用いて、条件(a)及び条件(b)の両方が満たされるか否かをチェックする(ステップ804)。V1が式(11)を満たす場合、条件(a)が満たされると判定され、V2が式(14)を満たす場合、条件(b)が満たされると判定される。
条件(a)及び条件(b)の両方が満たされる場合(ステップ804,YES)、判定部501は、ピクチャに一様なノイズが存在すると判定する(ステップ805)。一方、条件(a)又は条件(b)のいずれかが満たされない場合(ステップ804,NO)、判定部501は、ピクチャに一様なノイズが存在しないと判定する(ステップ806)。
図9は、図7のステップ705における符号化処理の例を示すフローチャートである。まず、イントラ予測部413は、各ブロックサイズのCUに対するイントラ予測を行う(ステップ901)。そして、イントラ予測モード判定部415は、TU判定を行って、TUのブロックサイズを決定し(ステップ902)、イントラ予測モード判定を行って、イントラ予測モードを決定する(ステップ903)。
一方、動きベクトル検出部414は、各ブロックサイズのCUに対するインター予測を行う(ステップ904)。そして、インター予測モード判定部416は、TU判定を行って、TUのブロックサイズを決定し(ステップ905)、インター予測モード判定を行って、インター予測モードを決定する(ステップ906)。
次に、判定部417は、モード判定を行って、CU単位でイントラ予測モード又はインター予測モードのいずれを適用するかを決定する(ステップ907)。そして、予測画像生成部418、差分生成部419、直交変換部420、及び量子化部421は、判定部417が決定した予測モードに従ってCUに対する符号化を行い、量子化係数を生成する(ステップ908)。
次に、動画像符号化装置401は、符号化対象のピクチャの符号化が終了したか否かを判定する(ステップ909)。未処理のブロックが残っている場合(ステップ909,NO)、動画像符号化装置401は、ステップ901以降の処理を繰り返す。
一方、ピクチャの符号化が終了した場合(ステップ909,YES)、可変長符号化部422は、量子化係数及びモード情報に対する可変長符号化を行う(ステップ910)。そして、可変長符号化部422は、可変長符号化によって発生する情報量を情報量制御部412へ出力する。
図10は、図9のステップ902及びステップ905におけるTU判定処理の例を示すフローチャートである。図10の説明において、予測モード判定部は、イントラ予測モード判定部415又はインター予測モード判定部416のいずれかを指すものとする。TU判定処理では、以下のようなパラメータが用いられる。
CA:TUの4分木分割を行わない場合の予測モードコストC
CB:TUの4分木分割を行う場合の予測モードコストC
Smax:TUのブロックサイズの最大値
Smin:TUのブロックサイズの最小値
ブロックサイズが制限されていない場合、Smaxは、CU又はPUのブロックサイズから決定され、Sminは、4×4に設定される。一方、ブロックサイズが制限されている場合、Smax及びSminは、解析部411によって指定される。
初期状態において、TUのブロックサイズは、Smaxに設定され、CA及びCBは、あらかじめ決められた最大コストに設定される。この最大コストは、画素値のビット数等から計算される理論値であってもよい。
まず、予測モード判定部は、現在のブロックサイズのTUに対するCAが計算済みであるか否かをチェックする(ステップ1001)。初期状態において、現在のブロックサイズはSmaxである。CAが計算済みではない場合(ステップ1001,NO)、予測モード判定部は、式(1)によりCAを計算する(ステップ1002)。
次に、予測モード判定部は、現在のブロックサイズのTUに対する4分木分割が有効であるか否かをチェックする(ステップ1003)。分割後のTUのブロックサイズSDが次式を満たす場合、4分木分割が有効であると判定される。
Smin≦SD≦Smax (31)
4分木分割が有効である場合(ステップ1003,YES)、予測モード判定部は、4分木分割を行った場合のモード情報の情報量RBを計算する(ステップ1004)。そして、予測モード判定部は、4分木分割によって生成される4個の小ブロックそれぞれについて、TU判定処理を行い(ステップ1005)、式(1)の予測誤差Dを計算する(ステップ1006)。ステップ1005では、図10のTU判定処理が再帰的に呼び出され、現在のブロックサイズとして、分割後の小ブロックのブロックサイズが用いられる。
すべての小ブロックに対する予測誤差Dの計算が終了すると、予測モード判定部は、4個の小ブロックの予測誤差Dの総和DBと、モード情報の情報量RBとを用いて、次式によりCBを計算する(ステップ1007)。
CB=DB+λ*RB (32)
4分木分割が有効ではない場合(ステップ1003,NO)、予測モード判定部は、CBを最大コストに設定する(ステップ1008)。
次に、予測モード判定部は、CAとCBを比較し(ステップ1009)、CAがCBよりも大きい場合(ステップ1009,YES)、ベストコストにCBを設定する(ステップ1010)。一方、CAがCB以下である場合(ステップ1009,NO)、ベストコストにCAを設定する(ステップ1011)。
予測モード判定部は、ベストコストがCBである場合、現在のブロックサイズのTUに対する4分木分割を行うことに決定し、ベストコストがCAである場合、その4分木分割を行わないことに決定する。
図10のTU判定処理によれば、解析部411によって指定された範囲内で、TUのブロックサイズを決定することができる。
例えば、Smax及びSminが同じ値に設定されている場合、ステップ1003において、4分木分割が有効ではないと判定されるため、ステップ1008において、CBが最大コストに設定される。この場合、ステップ1009において、CAがCB以下であると判定されるため、ステップ1011において、ベストコストにCAが設定され、TUのブロックサイズがSmaxに決定される。したがって、Smax及びSminを同じ値に設定することで、TUのブロックサイズを単一のブロックサイズに制限することができる。
ところで、動画像符号化装置401は、ピクチャ全体のブロックサイズを制限する代わりに、ピクチャ内の複数の部分画像のうち、1つの部分画像のブロックサイズを制限することも可能である。この場合、動画像符号化装置401は、その部分画像のみを、制限されたブロックサイズを用いて符号化する。
例えば、HEVCでは、ピクチャがタイル又はスライスと呼ばれるサブピクチャに分割され、サブピクチャ毎に動画像符号化が行われることがある。この場合、図7の動画像符号化処理を、サブピクチャ毎に適用することができる。
図11は、ピクチャの分割方法の例を示している。図11(a)は、2×2の十字分割によって、ピクチャを4枚のタイルに分割した例を示している。また、図11(b)は、1×4の水平分割によって、ピクチャを4枚のスライスに分割した例を示している。なお、分割後の複数のサブピクチャのサイズは、必ずしも同じである必要はない。
図8のノイズ判定処理をサブピクチャ毎に行う場合、ステップ801において、判定部501は、処理対象のサブピクチャをM個の領域に分割して、式(12)及び式(13)により、各領域における画素値の分散V(j)を計算する。そして、ステップ803において、判定部501は、式(14)及び式(15)により、そのサブピクチャ内におけるV(j)の分散を計算する。
次に、ステップ804において、判定部501は、サブピクチャのV1及びV2が式(11)及び式(14)を満すか否かをチェックすることで、そのサブピクチャに一様なノイズが存在するか否かを判定する。
図7の動画像符号化処理では、TUのブロックサイズを制限しているが、同様にして、TU以外のブロックサイズを制限することも可能である。例えば、CUのブロックサイズの範囲を制限することで、間接的にTUのブロックサイズの範囲も制限される。このためTUのブロックサイズの範囲を直接制限した場合と同様に、一様なノイズが存在するピクチャの復号画像における主観品質が向上する。
図2及び図4の動画像符号化装置の構成は一例に過ぎず、動画像符号化装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。図5の解析部411の構成は一例に過ぎず、動画像符号化装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
図3及び図7〜図10に示したフローチャートは一例に過ぎず、動画像符号化装置の構成又は条件に応じて一部の処理を省略又は変更してもよい。動画像符号化装置は、目標QP以外のパラメータに基づいて、制限されたブロックサイズの範囲を決定してもよい。また、動画像符号化装置は、HEVCの代わりに別の動画像符号化方式を採用して、動画像符号化処理を行ってもよい。
図1及び図6の復号画像は一例に過ぎず、復号画像のノイズ分布は、符号化対象画像に応じて変化する。図11の分割方法は一例に過ぎず、別の分割方法によってピクチャを分割してもよい。
式(1)〜式(32)は一例に過ぎず、動画像符号化装置の構成又は条件に応じて別の計算式を用いてもよい。例えば、式(11)とは異なる計算式により条件(a)を記述してもよく、式(14)とは異なる計算式により条件(b)を記述してもよい。
所定のノイズ分布は、ピクチャ内に一様に分布するノイズの代わりに、ピクチャ内において所定のパターンで空間的に変化するノイズを表していてもよい。この場合、判定部501は、条件(a)及び条件(b)の代わりに、ノイズのパターンを表す別の条件を用いて、ピクチャ内のノイズ分布が所定のノイズ分布であるか否かを判定する。
図2及び図4の動画像符号化装置は、ハードウェア回路として実装することもでき、図12に示すような情報処理装置(コンピュータ)を用いて実装することもできる。
図12の情報処理装置は、Central Processing Unit(CPU)1201、メモリ1202、入力装置1203、出力装置1204、補助記憶装置1205、媒体駆動装置1206、及びネットワーク接続装置1207を含む。これらの構成要素はバス1208により互いに接続されている。
メモリ1202は、例えば、Read Only Memory(ROM)、Random Access Memory(RAM)、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを記憶する。メモリ1202は、図4のフレームメモリ426として用いることができる。メモリ1202は、式(1)〜式(32)の計算結果を記憶することもできる。
CPU1201(プロセッサ)は、例えば、メモリ1202を利用してプログラムを実行することにより、図2の判定部211、制御部212、及び符号化部213として動作する。
CPU1201は、メモリ1202を利用してプログラムを実行することにより、図4の解析部411及び情報量制御部412としても動作する。CPU1201は、メモリ1202を利用してプログラムを実行することにより、イントラ予測部413、動きベクトル検出部414、イントラ予測モード判定部415、インター予測モード判定部416、及び判定部417としても動作する。
CPU1201は、メモリ1202を利用してプログラムを実行することにより、予測画像生成部418、差分生成部419、直交変換部420、量子化部421、及び可変長符号化部422としても動作する。CPU1201は、メモリ1202を利用してプログラムを実行することにより、逆量子化部423、逆直交変換部424、及び再構成部425としても動作する。
CPU1201は、メモリ1202を利用してプログラムを実行することにより、図5の判定部501及び制御部502としても動作する。
入力装置1203は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示や情報の入力に用いられる。出力装置1204は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせ及び処理結果の出力に用いられる。
補助記憶装置1205は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置1205は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置1205にプログラム及びデータを格納しておき、それらをメモリ1202にロードして使用することができる。
媒体駆動装置1206は、可搬型記録媒体1209を駆動し、その記録内容にアクセスする。可搬型記録媒体1209は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体1209は、Compact Disk Read Only Memory(CD−ROM)、Digital Versatile Disk(DVD)、又はUniversal Serial Bus(USB)メモリであってもよい。ユーザ又はオペレータは、この可搬型記録媒体1209にプログラム及びデータを格納しておき、それらをメモリ1202にロードして使用することができる。
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体には、メモリ1202、補助記憶装置1205、及び可搬型記録媒体1209のような、物理的な(非一時的な)記録媒体が含まれる。
ネットワーク接続装置1207は、Local Area Network(LAN)、インターネット等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。ネットワーク接続装置1207は、ビットストリームを動画像復号装置へ送信することができる。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置1207を介して受け取り、それらをメモリ1202にロードして使用することもできる。
なお、情報処理装置が図12のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、ユーザ又はオペレータとのインタフェースが不要である場合は、入力装置1203及び出力装置1204を省略してもよい。また、情報処理装置が可搬型記録媒体1209にアクセスしない場合は、媒体駆動装置1206を省略してもよい。
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
図1乃至図12を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
(付記1)
動画像に含まれる符号化対象画像内のノイズ分布を判定する判定部と、
前記判定部が前記符号化対象画像内のノイズ分布が所定のノイズ分布であると判定した場合、前記符号化対象画像の動画像符号化で用いるブロックのサイズを、選択可能な複数のサイズのうち一部のサイズに制限する制御部と、
前記一部のサイズのブロックを用いた動画像符号化により、前記符号化対象画像を符号化する符号化部と、
を備えることを特徴とする動画像符号化装置。
(付記2)
前記判定部は、前記符号化対象画像内の複数の領域それぞれにおける複数の画素値分布と、前記複数の画素値分布の間の類似性とに基づいて、前記符号化対象画像内のノイズ分布が前記所定のノイズ分布であるか否かを判定することを特徴とする付記1記載の動画像符号化装置。
(付記3)
前記判定部は、前記複数の画素値分布それぞれにおける画素値の分散の総和が第1閾値よりも大きく、前記符号化対象画像内における前記画素値の分散の分散が第2閾値よりも小さい場合、前記符号化対象画像内のノイズ分布が前記所定のノイズ分布であると判定することを特徴とする付記2記載の動画像符号化装置。
(付記4)
前記制御部は、前記符号化対象画像よりも前に符号化された画像の複雑度と、情報量制御によって決められる割当情報量とに基づいて、前記一部のサイズの範囲を決定することを特徴とする付記1乃至3のいずれか1項に記載の動画像符号化装置。
(付記5)
前記一部のサイズは、前記複数のサイズのうち1つのサイズであることを特徴とする付記1乃至4のいずれか1項に記載の動画像符号化装置。
(付記6)
前記所定のノイズ分布は、前記符号化対象画像内に一様に分布するノイズを表すことを特徴とする付記1乃至5のいずれか1項に記載の動画像符号化装置。
(付記7)
前記符号化対象画像は、前記動画像に含まれる1時刻の画像内の複数の部分画像のうち、1つの部分画像であることを特徴とする付記1乃至6のいずれか1項に記載の動画像符号化装置。
(付記8)
動画像符号化装置によって実行される動画像符号化方法であって、
前記動画像符号化装置が、
動画像に含まれる符号化対象画像内のノイズ分布を判定し、
前記符号化対象画像内のノイズ分布が所定のノイズ分布であると判定した場合、前記符号化対象画像の動画像符号化で用いるブロックのサイズを、選択可能な複数のサイズのうち一部のサイズに制限し、
前記一部のサイズのブロックを用いた動画像符号化により、前記符号化対象画像を符号化する、
ことを特徴とする動画像符号化方法。
(付記9)
前記動画像符号化装置は、前記符号化対象画像内の複数の領域それぞれにおける複数の画素値分布と、前記複数の画素値分布の間の類似性とに基づいて、前記符号化対象画像内のノイズ分布が前記所定のノイズ分布であるか否かを判定することを特徴とする付記8記載の動画像符号化方法。
(付記10)
前記動画像符号化装置は、前記複数の画素値分布それぞれにおける画素値の分散の総和が第1閾値よりも大きく、前記符号化対象画像内における前記画素値の分散の分散が第2閾値よりも小さい場合、前記符号化対象画像内のノイズ分布が前記所定のノイズ分布であると判定することを特徴とする付記9記載の動画像符号化方法。
(付記11)
前記動画像符号化装置は、前記符号化対象画像よりも前に符号化された画像の複雑度と、情報量制御によって決められる割当情報量とに基づいて、前記一部のサイズの範囲を決定することを特徴とする付記8乃至10のいずれか1項に記載の動画像符号化方法。
(付記12)
動画像に含まれる符号化対象画像内のノイズ分布を判定し、
前記符号化対象画像内のノイズ分布が所定のノイズ分布であると判定した場合、前記符号化対象画像の動画像符号化で用いるブロックのサイズを、選択可能な複数のサイズのうち一部のサイズに制限し、
前記一部のサイズのブロックを用いた動画像符号化により、前記符号化対象画像を符号化する、
処理をコンピュータに実行させるための動画像符号化プログラム。
(付記13)
前記コンピュータは、前記符号化対象画像内の複数の領域それぞれにおける複数の画素値分布と、前記複数の画素値分布の間の類似性とに基づいて、前記符号化対象画像内のノイズ分布が前記所定のノイズ分布であるか否かを判定することを特徴とする付記12記載の動画像符号化プログラム。
(付記14)
前記コンピュータは、前記複数の画素値分布それぞれにおける画素値の分散の総和が第1閾値よりも大きく、前記符号化対象画像内における前記画素値の分散の分散が第2閾値よりも小さい場合、前記符号化対象画像内のノイズ分布が前記所定のノイズ分布であると判定することを特徴とする付記13記載の動画像符号化プログラム。
(付記15)
前記コンピュータは、前記符号化対象画像よりも前に符号化された画像の複雑度と、情報量制御によって決められる割当情報量とに基づいて、前記一部のサイズの範囲を決定することを特徴とする付記12乃至14のいずれか1項に記載の動画像符号化プログラム。
101、102 部分
201、401 動画像符号化装置
211、501 判定部
212、502 制御部
213 符号化部
411 解析部
412 情報量制御部
413 イントラ予測部
414 動きベクトル検出部
415 イントラ予測モード判定部
416 インター予測モード判定部
417 判定部
418 予測画像生成部
419 差分生成部
420 直交変換部
421 量子化部
422 可変長符号化部
423 逆量子化部
424 逆直交変換部
425 再構成部
426 フレームメモリ
1201 CPU
1202 メモリ
1203 入力装置
1204 出力装置
1205 補助記憶装置
1206 媒体駆動装置
1207 ネットワーク接続装置
1208 バス
1209 可搬型記録媒体

Claims (8)

  1. 動画像に含まれる符号化対象画像内のノイズ分布を判定する判定部と、
    前記判定部が前記符号化対象画像内のノイズ分布が所定のノイズ分布であると判定した場合、前記符号化対象画像の動画像符号化で用いるブロックのサイズを、選択可能な複数のサイズのうち一部のサイズに制限する制御部と、
    前記一部のサイズのブロックを用いた動画像符号化により、前記符号化対象画像を符号化する符号化部と、
    を備えることを特徴とする動画像符号化装置。
  2. 前記判定部は、前記符号化対象画像内の複数の領域それぞれにおける複数の画素値分布と、前記複数の画素値分布の間の類似性とに基づいて、前記符号化対象画像内のノイズ分布が前記所定のノイズ分布であるか否かを判定することを特徴とする請求項1記載の動画像符号化装置。
  3. 前記判定部は、前記複数の画素値分布それぞれにおける画素値の分散の総和が第1閾値よりも大きく、前記符号化対象画像内における前記画素値の分散の分散が第2閾値よりも小さい場合、前記符号化対象画像内のノイズ分布が前記所定のノイズ分布であると判定することを特徴とする請求項2記載の動画像符号化装置。
  4. 前記制御部は、前記符号化対象画像よりも前に符号化された画像の複雑度と、情報量制御によって決められる割当情報量とに基づいて、前記一部のサイズの範囲を決定することを特徴とする請求項1乃至3のいずれか1項に記載の動画像符号化装置。
  5. 前記一部のサイズは、前記複数のサイズのうち1つのサイズであることを特徴とする請求項1乃至4のいずれか1項に記載の動画像符号化装置。
  6. 前記所定のノイズ分布は、前記符号化対象画像内に一様に分布するノイズを表すことを特徴とする請求項1乃至5のいずれか1項に記載の動画像符号化装置。
  7. 動画像符号化装置によって実行される動画像符号化方法であって、
    前記動画像符号化装置が、
    動画像に含まれる符号化対象画像内のノイズ分布を判定し、
    前記符号化対象画像内のノイズ分布が所定のノイズ分布であると判定した場合、前記符号化対象画像の動画像符号化で用いるブロックのサイズを、選択可能な複数のサイズのうち一部のサイズに制限し、
    前記一部のサイズのブロックを用いた動画像符号化により、前記符号化対象画像を符号化する、
    ことを特徴とする動画像符号化方法。
  8. 動画像に含まれる符号化対象画像内のノイズ分布を判定し、
    前記符号化対象画像内のノイズ分布が所定のノイズ分布であると判定した場合、前記符号化対象画像の動画像符号化で用いるブロックのサイズを、選択可能な複数のサイズのうち一部のサイズに制限し、
    前記一部のサイズのブロックを用いた動画像符号化により、前記符号化対象画像を符号化する、
    処理をコンピュータに実行させるための動画像符号化プログラム。
JP2017228765A 2017-11-29 2017-11-29 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム Active JP6946979B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017228765A JP6946979B2 (ja) 2017-11-29 2017-11-29 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
US16/189,256 US10645423B2 (en) 2017-11-29 2018-11-13 Video image encoding device and video image encoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017228765A JP6946979B2 (ja) 2017-11-29 2017-11-29 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム

Publications (2)

Publication Number Publication Date
JP2019102861A true JP2019102861A (ja) 2019-06-24
JP6946979B2 JP6946979B2 (ja) 2021-10-13

Family

ID=66634095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017228765A Active JP6946979B2 (ja) 2017-11-29 2017-11-29 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム

Country Status (2)

Country Link
US (1) US10645423B2 (ja)
JP (1) JP6946979B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373954B2 (en) 2019-08-21 2022-06-28 Samsung Electronics Co., Ltd. Semiconductor package

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110996101B (zh) * 2019-11-22 2022-05-27 网宿科技股份有限公司 一种视频编码的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007067469A (ja) * 2005-08-29 2007-03-15 Nippon Telegr & Teleph Corp <Ntt> フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体
WO2011080925A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 画像符号化装置および方法
US9392272B1 (en) * 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259376A (ja) 2002-03-05 2003-09-12 Matsushita Electric Ind Co Ltd 動画像符号化装置
KR100579890B1 (ko) * 2004-12-30 2006-05-15 삼성전자주식회사 움직임 적응적 영상처리 장치 및 그 방법
JP4047879B2 (ja) * 2005-08-23 2008-02-13 松下電器産業株式会社 動きベクトル検出装置および動きベクトル検出方法
US8599871B2 (en) * 2005-08-31 2013-12-03 Motorola Mobility Llc Method and apparatus for cross paging a multi network communication system
JP2008219205A (ja) 2007-02-28 2008-09-18 Sony Corp 画像情報符号化装置及び画像情報符号化方法
US10013780B2 (en) * 2016-02-29 2018-07-03 General Electric Company Systems and methods for artifact removal for computed tomography imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007067469A (ja) * 2005-08-29 2007-03-15 Nippon Telegr & Teleph Corp <Ntt> フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体
WO2011080925A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 画像符号化装置および方法
US9392272B1 (en) * 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373954B2 (en) 2019-08-21 2022-06-28 Samsung Electronics Co., Ltd. Semiconductor package

Also Published As

Publication number Publication date
US20190166385A1 (en) 2019-05-30
JP6946979B2 (ja) 2021-10-13
US10645423B2 (en) 2020-05-05

Similar Documents

Publication Publication Date Title
US11356672B2 (en) System and method for controlling video coding at frame level
JP2006140758A (ja) 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
US11134250B2 (en) System and method for controlling video coding within image frame
US20200275105A1 (en) System and method for reducing video coding fluctuation
JP7343817B2 (ja) 符号化装置、符号化方法、及び符号化プログラム
JP6435029B2 (ja) 映像符号化装置及び映像符号化プログラム
JP6946979B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
US9319680B2 (en) Image encoding apparatus and its control method
US11218705B2 (en) Information processing device and video encoding method
JP7460384B2 (ja) 予測装置、符号化装置、復号装置、及びプログラム
JP2015076765A (ja) 画像処理装置及びその制御方法、並びに、コンピュータプログラム
JP6200220B2 (ja) 画像処理装置、符号化装置、復号装置、及びプログラム
JP5171658B2 (ja) 画像符号化装置
JP4857243B2 (ja) 画像符号化装置及びその制御方法、コンピュータプログラム
JP2014003587A (ja) 画像符号化装置及びその方法
US10034011B2 (en) Video coding apparatus
US11991367B2 (en) Device and method for allocating code amounts to intra prediction modes
JP6917718B2 (ja) 予測装置、符号化装置、復号装置、及びプログラム
JP2022070176A (ja) 符号化装置及びプログラム
JP2022183942A (ja) 符号化装置及びプログラム
WO2019216259A1 (ja) 符号化装置および符号化方法、並びにプログラム
JP2015073192A (ja) 映像符号化装置及び映像符号化プログラム
JP6101067B2 (ja) 画像処理装置及び画像処理プログラム
JP2018110321A (ja) 動画像符号化装置、動画像符号化プログラム、及び動画像符号化方法
JP2019205054A (ja) 予測符号化法決定装置、動画像符号化装置、及び動画像復号装置、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210629

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210830

R150 Certificate of patent or registration of utility model

Ref document number: 6946979

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150