JP2008124772A - 符号化装置及び符号化方法 - Google Patents

符号化装置及び符号化方法 Download PDF

Info

Publication number
JP2008124772A
JP2008124772A JP2006306135A JP2006306135A JP2008124772A JP 2008124772 A JP2008124772 A JP 2008124772A JP 2006306135 A JP2006306135 A JP 2006306135A JP 2006306135 A JP2006306135 A JP 2006306135A JP 2008124772 A JP2008124772 A JP 2008124772A
Authority
JP
Japan
Prior art keywords
frame
encoding
image data
determination
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006306135A
Other languages
English (en)
Inventor
Masashi Takahashi
高橋昌史
Tomokazu Murakami
村上智一
Hiroo Ito
伊藤浩朗
Isao Karube
軽部勲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006306135A priority Critical patent/JP2008124772A/ja
Priority to US11/979,773 priority patent/US20080112486A1/en
Priority to CNA2007101696405A priority patent/CN101184238A/zh
Publication of JP2008124772A publication Critical patent/JP2008124772A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】
符号化効率の低下を抑制しつつ、符号化処理における計算処理量を低減する
【解決手段】
所定の参照フレームの画像から予測画像データを生成するステップと、該予測画像データと前記入力画像データにおける一のフレームの画像データとの差分から差分画像データを生成するステップと、該差分画像データに対して離散コサイン変換処理と量子化処理を行い、符号化画像データを生成するステップと、該符号化画像データに可変長符号化処理を行い、符号化ストリームを生成するステップと、前記参照フレームと前記一のフレームとの画像の相関を判定し、前記一のフレームを新たな参照フレームとするか否かを決定する参照フレーム更新判定処理を行うステップとを備える。
【選択図】 図１

Description

本発明は動画像の符号化技術に関する。
参照画像から予測画像を生成して動画符号化に用いる符号化技術において、参照画像メモリから画像をメモリから削除するかを決定する技術が知られている（例えば、特許文献１参照）。
特開２００６―２１７１８０号公報
しかし、従来の技術において、動きの少ない映像に対して画面間予測を行う場合、常に時間的に最も近い画像を参照フレームとした場合、参照フレームの更新処理に計算量の無駄が多いという課題があった。
また、動きの激しい映像に対して時間的に離れた画像を参照フレームとした場合、符号化効率が大きく低下しまうという課題があった。
本発明はこのような課題を省みてなされたものであり、本発明の目的は、符号化効率の低下を抑制しつつ、符号化処理における計算処理量を低減することにある。
上記目的を達成するために、本発明の一実施の態様は、所定の参照フレームの画像から予測画像データを生成するステップと、該予測画像データと前記入力画像データにおける一のフレームの画像データとの差分から差分画像データを生成するステップと、該差分画像データに対して離散コサイン変換処理と量子化処理を行い、符号化画像データを生成するステップと、該符号化画像データに可変長符号化処理を行い、符号化ストリームを生成するステップと、前記参照フレームと前記一のフレームとの画像の相関を判定し、前記一のフレームを新たな参照フレームとするか否かを決定する参照フレーム更新判定処理を行うステップとを備える。
上記構成によれば、参照フレームの更新処理の有無を制御することにより、符号化効率の低下を抑制しつつ、符号化処理における計算処理量を低減することができる。
本発明によれば、符号化効率の低下を抑制しつつ、符号化処理における計算処理量を低減することができる。
以下、本発明の実施例を、図面を参照して説明する。
また、各図面において、同一の符号が付されている構成要素は同一の機能を有することとする。
また、本明細書の各記載及び各図面における「更新処理」もしくは「参照フレームの更新処理」という表現は、参照画像データを保持するメモリ、記憶部などに対象となる画像データを参照画像データとして記憶、保持、保存することをいう。この場合、メモリ、記憶部に、それ以前から保持されている参照画像データの破棄、消去は問わない。
また、本明細書の各記載及び各図面における「Iピクチャ」とは、他のフレームを参照せずに符号化されるフレームをいう。
また、本明細書の各記載及び各図面における「Pピクチャ」とは、当該符号化対象フレームより時間的に前のフレームを参照して符号化されるフレームをいう。すなわち「Pピクチャ」とは前方向予測により符号化されるフレームをいう。
また、本明細書の各記載及び各図面における「Bピクチャ」とは、当該符号化対象フレームより時間的に前のフレームと時間的に後のフレームを参照して符号化されるフレームをいう。すなわち「Bピクチャ」とは双方向予測により符号化されるフレームをいう。
また、本明細書の各記載及び各図面において単に「次のフレーム」と記載した場合は、時間的に直後のフレームをいう。
まず、本発明の第１の実施例について図面を参照して説明する。図５(a)と図５(b)は、動画像データに含まれる複数のフレームを示しており、それぞれ従来の符号化処理の動作の一例及び本発明の第１の実施例による符号化処理の動作の一例について示したものである。各フレームにはピクチャタイプが記されている。また図に示される矢印は符号化時の予測関係を示したものである。矢印の始点のフレームを参照画像として、矢印の終点のフレームの符号化のための予測画像が生成されることを示している。なお、図５(a)と図５(b)に示すとおり、本発明の第１の実施例で取り扱うピクチャ構造はIピクチャとPピクチャであり、Bピクチャは利用しない。
従来技術において常に符号化対象画像と時間的に最も近い画像を参照フレームとする場合を図５(a)のフレーム(501)~(507)を用いて説明する。このときフレーム(501)は次のフレーム(502)から参照され、フレーム(502)もその次のフレーム(503)から参照されるといったように、Pピクチャはすべて一つ前の画像を参照することになる。この場合、各ピクチャにおいて、符号化処理を行った後に参照フレームの更新処理を行う必要がある。よって、更新処理の回数が多く、更新処理にかかる処理量が多いこととなる。特に符号化対象の画像が動きの少ないシーンであり、例えば、フレーム(501)~(503)までの画像がほとんど変化しない場合など、フレーム(502)、フレーム(503)を新たに参照画像としても、更新処理の処理量は掛かるが、符号化効率はほとんど変化しなかった。よって、このような場合には、計算処理量の低減の余地がある。
そこで、本実施例においては、動画像の性質に応じて、参照フレームの更新処理の要否を判断することにより、符号化効率の低下を抑制しつつ、符号化処理における計算処理量を低減する。
この方法を図５(b)のフレーム(508)~(514)を例として説明する。まず、フレーム(508)は最初のフレームであるので、Iピクチャとして他のフレームを参照せずに符号化を行う。次に、フレーム(509)をPピクチャとし、直前のフレーム(508)を参照して符号化を行う。続いて、符号化対象フレーム(509)と参照フレーム(508)の相関性を判定する。相関性が高いと判断された場合、すなわちフレーム間で動きが少ない場合には、参照フレームを更新する効果が少ないと判断して更新処理を行わない。この場合、次のフレーム(510)はフレーム(509)と同じ参照フレーム(508)を利用して符号化を行う。フレーム(510)に対しても符号化処理後に符号化対象フレーム(510)と参照フレーム(508)との相関性を判定する。この処理を符号化対象フレームと参照フレームの相関性が低いと判定されるまで同じ参照フレーム(508)を利用して符号化を行う。例えば、フレーム(512)がフレーム(508)を参照して符号化を行った結果、参照フレームとの相関性が低いと判定されたとする。この場合、フレーム(512)に対する参照フレームの更新処理を行い、それ以降のフレーム(513)および(514)に対してはフレーム(512)を参照して符号化を行う。
以上の処理によって、参照フレームの更新処理が低減されるため、符号化に必要な処理量を削減することができる。例えば、図５(a)の従来技術の符号化処理においては、フレーム(502)、フレーム(503)、フレーム(504)、フレーム(505) 、フレーム(506)、及びフレーム(507)のそれぞれの符号化処理後の合計６回の参照フレームの更新処理を行っている。これに対し、図５(b)のフレーム(508)からフレーム(514)までの符号化処理においては、参照フレームの更新処理はフレーム(512) の符号化処理後の１回のみである。
以上説明した方法を用いれば、参照フレームと符号化対象フレームの相関性を用いて参照フレームの更新処理の判定を行い、これにより、更新処理の回数を低減することが可能となる。
また、以上説明した図５(b)に示す符号化処理方法の一例を用いて符号化ストリームをすれば、すなわち図５(b)に示されるような、同一のフレーム(例えば、図5(b)のフレーム(508))を参照フレームとする時間的に連続する２つのPピクチャ(例えば、図5(b)のフレーム(509)とフレーム(510))が少なくとも一組以上存在する特徴的な符号化ストリームが生成される。
また、以上説明した図５(b)に示す符号化処理方法の一例を用いて符号化ストリームをすれば、すなわち図５(b)に示されるような、他のフレームから前方予測される所定の参照フレーム(例えば、図5(b)のフレーム(508))と、他のピクチャの参照フレームでない複数のPピクチャのフレーム(例えば、図5(b)のフレーム(509)、フレーム(510)、フレーム(511))が、該参照フレームから時間的に連続してある場合に、当該複数のPピクチャのフレームはいずれもが前記所定の参照フレームを参照して符号化されている特徴的な符号化ストリームが生成される。
またこのとき、当該複数のPピクチャのフレーム(例えば、図5(b)のフレーム(509)、フレーム(510)、フレーム(511))の時間的に直後のフレーム(例えば、図5(b)のフレーム(512))がPピクチャのフレームである場合に、当該Pピクチャのフレームは前記所定の参照フレーム(例えば、図5(b)のフレーム(508))を参照する特徴的な符号化ストリームが生成される。
尚、相関性の判定方法の詳細については後述する。
次に、図１を用いて本実施例による動画像符号化装置の一例を説明する。ここで、図１による構成では、ピクチャタイプがIピクチャとPピクチャであるピクチャからなるピクチャ構造を用いた符号化を行う。
動画像符号化装置(100)は、例えば、入力された画像データを保持する入力画像メモリ(101)と、入力画像データに対してブロック単位で画面内予測あるいは画面間予測を行い、予測画像データを生成する予測画像生成部(102)と、予測画像データと入力画像データとの差分計算によって差分画像データを生成する減算器(109)と、差分画像データに対して周波数変換ならびに量子化処理と符号化処理を行う符号化処理部(103)と、記号の発生確率に基づいて効率的に符号化を行う可変長符号化部(104)と、参照フレームを更新するか否かを決定する参照フレーム更新判定処理部(105)と、符号化された差分画像データに対して逆量子化処理ならびに逆直行変換を施して復号を行う復号化処理部(106)と、復号化された差分画像データと予測画像データを合成して参照画像データを生成する加算器(110)と、生成された参照画像データを保持する参照画像メモリ(107)と、参照フレーム更新判定処理部(105)と復号化処理部(106)との間をつなぐスイッチ部(108)と、動画像符号化装置(100)の各構成要素の制御を行う制御部(150)を有する。ここで、ブロックとは画像を小領域に分割したものである。また、可変長符号化部(104)は符号化ストリームを出力する出力部であるとも言える。
入力画像メモリ(101)は入力画像データを保持しこれを予測画像生成部(102)に送信する。予測画像生成部(102)は、入力画像を規定サイズのブロックに分割してあらかじめ設定された符号化モードの中から最も予測効率が高くなるものをブロックごとに選択する。すなわち、入力画像の一部を取り扱う。次に、選択された符号化モードで予測画像データを生成する。ここで符号化モードとは、予測方法やブロックサイズ、画素の走査方法など、ブロック単位に切替えることができる符号化方法の組み合わせをいう。
また、符号化モードによっては、参照画像メモリ(107)が保持する参照フレームの参照画像データもしくはその一部を取得する。次に、これを用いて予測画像データを生成する。予測画像生成部(102)は生成した予測画像データを、減算器(109)及び加算器(110)に送信する。
次に、減算器(109)は入力画像データもしくはその一部の画像データと予測画像データとの画素単位の差分計算を行い、差分画像データを生成する。減算器(109)は生成した差分画像データを符号化処理部(103)および参照フレーム更新判定処理部(105)に送信する。符号化処理部(103)は、取得した差分画像データに対して、DCT(Discrete Cosine Transformation：離散コサイン変換)処理と量子化処理を行う。また、処理後の符号化画像データを可変長符号化処理部(104)、参照フレーム更新判定処理部(105)およびスイッチ部(108)に送信する。さらに可変長符号化処理部(104)は、記号の発生確率に基づいて符号化画像データに可変長符号化を行って符号化ストリームを生成し、動画像符号化装置100の外部に出力する。可変長符号化処理部(104)はさらに符号化ストリームを参照フレーム更新判定処理部(105)へも送信する。参照フレーム更新判定処理部(105)では、取得した差分画像データまたは符号化画像データまたは符号化ストリームなどから、符号化対象フレームのピクチャタイプを判定する。ピクチャタイプがPピクチャである場合は、さらに符号化対象画像における予測誤差値または発生符号量を計算する。そして、例えば、予め定められた固定の判定基準や統計的な判定基準や局所的判定基準を用いて符号化対象画像と参照フレームの相関性を判定する。参照フレーム更新判定処理部(105)はピクチャタイプ判定や相関判定の結果を用いて、スイッチ開閉制御信号をスイッチ部(108)に送信する。このとき参照フレーム更新判定処理部(105)はピクチャタイプがIピクチャである場合及び、ピクチャタイプがPピクチャであって相関性が低いと判定した場合に、スイッチの閉じ信号を送信する。また、参照フレーム更新判定処理部(105)はピクチャタイプがPピクチャであって相関性が高いと判定した場合に、スイッチの開き信号を送信する。
参照フレーム更新判定処理部(105)からスイッチの閉じ信号が送信された場合は、スイッチ部(108)はスイッチを閉じて符号化画像データを復号化処理部(106)に送信する。復号化処理部(106)は、取得した符号化画像データまたは符号化ストリームをブロック単位で逆量子化処理とIDCT(Inverse DCT：逆離散コサイン変換)処理を行って差分画像データに復号化し、加算器(110)に送信する。次に、加算器(110)は、復号化処理部(106)から取得した差分画像データと予測画像生成部(102)から取得した予測画像データとを合成して参照画像フレームの画像データを生成する。次に加算器(110)は、当該参照画像データを参照画像メモリ(107)に送信し、参照画像メモリ(107)は参照画像データを格納する。格納された参照画像データは、必要に応じて予測画像生成部(102)の予測画像生成処理に用いられる。
参照フレーム更新判定処理部(105)からスイッチの開き信号が送信された場合は、スイッチ部(108)はスイッチを開いて符号化画像データを復号化処理部(106)に送信しない。よって以降の処理も発生しない。
なお、図１の動画像符号化装置100の説明において、減算器(109)は、差分画像データを参照フレーム更新判定処理部(105)に送信している。また、符号化処理部(103)は、符号化画像データを参照フレーム更新判定処理部(105)に送信している。また、可変長符号化処理部(104)は符号化ストリームを参照フレーム更新判定処理部(105)に送信している。ここで、参照フレーム更新判定処理部(105)に送信されるデータの全て必要あるわけではない。参照フレーム更新判定処理部(105)の判定処理に用いるデータは、いずれか一のデータでもよい。よっていずれか一のデータが入力されていればよい。よってこの場合は、他のデータを参照フレーム更新判定処理部(105)に送信する構成は必要がない。
以上説明した動画像符号化装置100によれば、符号化対象画像と参照フレームの相関性に応じて参照画像データの生成及び格納の有無を選択することのできる動画像符号化装置を提供することができる。
図2は参照フレーム更新判定処理部(105)の一例を詳細に示したものである。参照フレーム更新判定処理部(105)は、例えば、制御部(150)からピクチャタイプ情報を取得して符号化対象フレームのピクチャタイプを判定するピクチャタイプ判定部(210)と、符号化対象画像における予測誤差値を計算する予測誤差値計算部(201)と、符号化対象画像を符号化する際に発生する符号量を計算する発生符号量計算部(202)と、参照フレームを更新するか否かの判定を行う更新判定処理部(203)と、予め定められた固定判定基準情報を保持しておくための固定判定基準メモリ(209)と、符号化対象画像と参照フレームとの間の相関に係る統計的判定基準情報を保持しておくための統計的判定基準メモリ(204)と、フレーム間の局所的判定基準情報を保持しておくための局所的判定基準メモリ(205)と、統計的判定基準メモリ(204)に格納された統計的判定基準情報を変更する統計的判定基準更新部(206)と、局所的判定基準メモリ(205)に格納された局所的判定基準情報を変更する局所的判定基準更新部(207)を有する。
ピクチャタイプ判定部(210)は、制御部(150)から取得したピクチャタイプ情報に基づいて参照フレーム更新判定処理部(105)に入力される符号化対象フレームのピクチャタイプを判定する。符号化対象フレームのピクチャタイプがIピクチャである場合、ピクチャタイプ判定部(210)は、スイッチ開閉制御信号としてスイッチの閉じ信号をスイッチ部(108)に送信する。また、符号化対象フレームのピクチャタイプがPピクチャである場合、差分画像データを予測誤差値計算部(201)に送信し、符号化画像データまたは符号化ストリームを発生符号量計算部(202)に送信する。ここで、制御部(150)から取得するピクチャタイプ情報は、例えば、制御部(150)が符号化画像データまたは符号化ストリームのメモリ上の始点や終点のアドレス等から判断する。
次に予測誤差値計算部(201)は、減算器(109)から入力される差分画像データの各成分に対してその大きさを計算し、フレーム単位でその合計値を予測誤差値として算出する。発生符号量計算部(202)は、可変長符号化処理部(104)から取得した符号化ストリームまたは符号化処理部(103)から取得した符号化画像データを用いて、対象フレームを符号化した際に発生する符号量を算出する。
さらに更新判定処理部(203)では、固定判定基準メモリ(209)に保持されている予め定められた固定判定基準情報、局所的判定基準メモリ(205)に保持されている局所的判定基準情報または統計的判定基準メモリ(204)に保持されている統計的判定基準情報を用いて、符号化対象画像と参照フレームとの間の相関の判定処理を行う。
ここで、本実施例における固定判定基準情報、局所的判定基準情報、及び統計的判定基準情報のそれぞれを用いた各判定方法について説明する。判定方法の説明では再び図５(b)を用いる。図５(b)のフレーム(508)〜フレーム(514)は、説明のためにＸi、Yijという名称を設定した。ここで名称がＸiとなるフレームは、結果としてi回目の更新処理によって参照フレームとなったフレームである。また名称がYijとなるフレームは参照フレームXiを参照しているk番目のフレームである。すなわち、例えば図５(b)に示すように、参照フレームX1(508)以降のフレーム(509)、フレーム(510)、フレーム(511)は、それぞれ参照フレームXi(508)を参照している1番目、２番目、3番目のフレームである。よって、名称はそれぞれ、フレームY11(509),フレームY12(510),フレームY13(511)としている。参照フレームX2(51２)とフレームY21(513)及びフレームＹ22(514)も上記と同様の関係である。
まず、第１の判定方法の例として、固定判定基準情報を用いる判定方法について説明する。ここで第１の判定方法では、例えば、符号化対象フレームYijのパラメータと予め定められた所定のデータとを比較して、参照フレームの更新の判定を行う。例えば、下記の数式1をもちいて判定する。

（数１）
Figure 2008124772

ただし、SAD(Yij)は符号化対象フレームYijの予測誤差和を示す。ここで、予測誤差和とは画像内の各ブロックにおける予測誤差をフレーム単位で合算したものである。当該予測誤差は、例えば、図２の予測誤差値計算部(201)が算出する。また、FB (Yij)は符号化対象フレームYijの発生符号量を表す。ここで当該発生符号量は、例えば、図２の発生符号量計算部(202)が算出する。またαとβは定数とする。いずれの値も正の値である。
ここで、本判定方法の例で用いる固定判定基準情報とは、例えば、α、β等の情報をいう。固定判定基準情報は例えば、符号化効率の検討等を行って予め設定し、固定判定基準メモリ(209)に保存させておけばよい。
また、数式１の右辺を固定判定基準の判定基準値、左辺を判定対象算出値と呼ぶこととする。
ここで、本判定方法では数式１を満たすことが、参照フレームXiと符号化対象フレームYijとが相関が高いと判定することである。SAD(Yij)やFB (Yij)が所定の量を超えて数式１を満たさなくなると、当該相関は低いと判定されることとなる。
例えば、第１の判定方法を用いる場合、図２の参照フレーム更新判定処理部(105)において、更新判定処理部(203)が、判定処理時に当該固定判定基準情報αまたはβを固定判定基準メモリ(209)から取得する。またこのとき更新判定処理部(203)は符号化対象フレームに関するパラメータであるSAD(Yij)またはFB (Yij)を、それぞれ予測誤差値計算部(201)または発生符号量計算部(202)から取得している。よって、更新判定処理部(203)は数式１の判定処理を行うことができる。
ここで、更新判定処理部(203)は数式１が成立しないと判定した場合、参照フレームXiと符号化対象フレームYijの相関が低いと判断する。そしてスイッチ部(108)にスイッチの閉じ信号を送信する。これにより、スイッチ部(108)は、符号化処理部(103)から送信される符号化対象フレームYijの符号化画像データを、復号化処理部(106)に送信する。符号化対象フレームYijの符号化画像データは加算器110で符号化対象フレームYijの予測画像データと加算処理される。加算処理後のデータは、新たな参照画像データとして参照画像メモリ(107)に保存され、参照フレームの更新処理が完了する。よって、符号化対象フレームYijは、結果的に新たな参照フレームXk（ここでk=i+1）となる。
ここで、更新判定処理部(203)は数式１が成立すると判定した場合、更新判定処理部(203)はスイッチ部(108)にスイッチの開き信号を送信する。当該信号を受けたスイッチ部(108)がスイッチを開き、参照フレームの更新処理は行われず、更新処理回数の低減が可能となる。
以上のような固定判定基準情報を用いた判定処理を行うことにより、たとえば、符号化対象フレームと現在の参照フレームとの相関が、予め定められた所定の基準より低いと判断した場合に、参照フレームの更新処理を行うことができる。
例えば、相関の低いシーンに切替わる場合や、入力画像が動きの少ないシーンから、動きの多いシーンに切替わるフレームなどでは、符号化対象フレームYijの予測誤差和SAD(Yij)や符号化対象フレームYijの発生符号量FB (Yij)は値が大きくなる。このような場合に、数式１が満たされなくなるように、予めαまたはβを設定しておけば、参照フレームの更新処理が行われる。しかしその後、入力画像が動きの少ないシーンになった場合は、SAD(Yij)またはFB (Yij)がαまたはβを超えず、参照フレームの更新処理の発生が抑制される。これにより、更新処理に掛かる計算処理量を低減することができる。また固定判定基準情報を用いた判定処理があることにより、発生符号量の増大にも制限が掛かるため、符号化効率の低下も抑制することができる。よって、固定判定基準情報を用いた参照フレームの更新判定処理を行うことにより、符号化効率の低下を抑制しつつ、符号化処理における計算処理量を低減することができる。
次に、第２の判定方法の例として、局所的判定基準情報を用いる判定方法について説明する。ここで第２の判定方法では、例えば、符号化対象フレームYijのパラメータと、参照フレームがフレームXiの次のフレームであるフレームYi1のパラメータとを比較して、参照フレームの更新の判定する。
局所的判定基準情報を用いた判定処理の一例においては、例えば、下記の数式２をもちいて判定する。

（数２）
Figure 2008124772

ただし、SAD(Yij)は符号化対象フレームYijの予測誤差和、SAD(Yi1)は、参照フレームXiの次のフレームであるフレームYi1の予測誤差和を示す。また、FB (Yij)は符号化対象フレームYijの発生符号量、FB (Yi1)は、参照フレームXiの次のフレームであるフレームYi1の発生符号量を表す。またγとδは定数とする。
ここで、本実施例で用いる局所的判定基準情報とは、例えば、SAD(Yi1)、FB (Yi1)、γ、δ等の情報をいう。すなわち、数式１における符号化対象フレームに関するパラメータ(数式１ではSAD(Yij)やFB (Yij))以外のパラメータをいう。
また、数式２の右辺を局所的判定基準の判定基準値、左辺を判定対象算出値と呼ぶこととする。
ここで、図２の参照フレーム更新判定処理部(105)においては、当該局所的判定基準情報を局所的判定基準メモリ(205)に保持しておく。そして更新判定処理部(203)が、判定処理時に当該局所的判定基準情報を局所的判定基準メモリ(205)から取得する。またこのとき更新判定処理部(203)は符号化対象フレームに関するパラメータであるSAD(Yij)またはFB (Yij)を、それぞれ予測誤差値計算部(201)または発生符号量計算部(202)から取得している。よって、更新判定処理部(203)は数式２の判定処理を行うことができる。
更新判定処理部(203)が数式２が成立しないと判定した場合、すなわち参照フレームXiと符号化対象フレームYijの相関が局所的判定基準を満たさなくなったと判定した場合の参照フレームの更新処理は、数式１が成立しないと判定したときと同様である。結果的に、新たな参照画像Xk（ここでk=i+1）のデータが参照画像メモリ(107)に保存される。
また、現在の参照画像が新たな参照画像Xkとなったことにより、直後の符号化対象フレームYk1の予測誤差和または発生符号量は、新たな局所的判定基準情報のひとつとなる。よって、局所的判定基準更新部(207)は、当該フレームYk1の予測誤差和または発生符号量を、更新判定処理部(203)から取得して局所的判定基準メモリ(205)に格納する。当該フレームYk1の予測誤差和または発生符号量は、以降の判定処理において用いられる。
ここで、更新判定処理部(203)は数式２が成立すると判定した場合の処理も、数式１が成立しないと判定したときと同様である。この場合、参照フレームの更新処理は行われず、更新処理回数の低減が可能となる。
以上のような局所的判定基準情報を用いた判定処理を行うことにより、たとえば、符号化対象フレームと現在の参照フレームとの相関が、現在の参照フレームと該参照フレームの直後のフレームの相関と比較して、相関が悪くなった場合に、参照フレームの更新処理を行うことができる。
例えば、入力画像が動きの少ないシーンである場合などで、参照フレームの更新処理を抑制すると、符号化対象フレームと現在の参照フレームとが時間的に離れるにつれて、相関が低くなる。すなわち符号化対象フレームYijの予測誤差和SAD(Yij)や符号化対象フレームYijの発生符号量FB (Yij)は値が少しずつ大きくなる。本判定方法を用いれば、参照フレームXiの次のフレームYi1のパラメータを基準として、参照フレームの更新処理の有無を決定することができる。
ここで、相関が参照フレームの次のフレームを基準とした局所的判定基準を満している間は、参照フレームの更新処理を抑制する。また、相関が局所的判定基準を満たさなくなったときに参照フレームの更新処理を行う。よって、局所的判定基準情報を用いた参照フレームの更新判定処理を行うことにより、符号化効率の低下を抑制しつつ、符号化処理における計算処理量を低減することができる。
また、第１の判定方法と異なり、第２の判定方法においては、判定基準が固定されていないため、より入力画像に応じて相関性を判定することが可能となる。例えば、第１の判定方法のように予め効果的な固定判定基準情報(αまたはβ)等の絶対値を決定することが容易でない場合であっても、第２の判定方法を用いればよい。すなわち、参照フレームの次のフレームのパラメータを基準とした相対的な局所的判定基準を設定すればよい。
ここで、数式1の右辺では、フレームYi1のパラメータに定数を乗じているが、これは一例であり、右辺はフレームYi1のパラメータを変数とした関数であってもよい。例えば、Yi1のパラメータを変数とし、平均値を算出してもよく、加重和を算出してもよい。また、複数のYi1のパラメータの分布から統計的に算出した平均値、中央値、最頻値であってもよい。いずれの場合も、数式２を用いた判定処理を行うことにより、符号化効率の低下を抑制しつつ、符号化処理における計算処理量を低減する効果を実現することが可能である。
次に、第３の判定方法の例として、統計的判定基準情報を用いる判定方法について説明する。ここで第３の判定方法においては、例えば、符号化対象フレームYijのパラメータと比較するデータは、複数のフレームのパラメータから算出されるデータである。ここで、符号化対象フレームYijのパラメータと比較されるデータの一例としては、符号化対象フレームYijの参照フレームXiよりも時間的に前の参照フレーム(過去の参照フレーム)であるXm(m<i)の直後のフレームYm1のパラメータが挙げられる。すなわち本実施例の統計的判定基準情報を用いた判定処理においては、mをaからｂまで変化させて（a＜b＜i）、複数のフレームYa1〜Yb1におけるパラメータを変数とする統計的な関数を統計的判定基準情報として用いる。
統計的判定基準情報を用いた判定処理の一例においては、例えば、下記の数式３をもちいて判定する。

（数３）
Figure 2008124772

Figure 2008124772
ここで、本実施例で用いる統計的判定基準情報とは、例えば、 (Yab)、FB (Yab)、ε、ζ等の情報をいう。すなわち、数式２における符号化対象フレームに関するパラメータ(数式３ではSAD(Yij)やFB (Yij))以外のパラメータをいう。
また、数式３の右辺を統計的判定基準の判定基準値、左辺を判定対象算出値と呼ぶこととする。
ここで、図２の参照フレーム更新判定処理部(105)においては、当該統計的判定基準情報を統計的判定基準メモリ(204)に保持しておく。そして更新判定処理部(203)が、判定処理時に当該統計的判定基準情報を統計的判定基準メモリ(204)から取得する。またこのとき更新判定処理部(203)は符号化対象フレームに関するパラメータであるSAD(Yij)またはFB (Yij)を、それぞれ予測誤差値計算部(201)または発生符号量計算部(202)から取得している。よって、更新判定処理部(203)は数式３の判定処理を行うことができる。
更新判定処理部(203)が数式３が成立しないと判定し、符号化対象フレームYijのパラメータが統計的判定基準を満たさなくなったと判定した場合の参照フレームの更新処理は、数式１が成立しないと判定したときと同様である。結果的に、新たな参照画像Xk（ここでk=i+1）のデータが参照画像メモリ(107)に保存される。
ここで、更新判定処理部(203)は数式３が成立すると判定した場合の処理も、数式１が成立しないと判定したときと同様である。参照フレームの更新処理は行われず、更新処理回数の低減が可能となる。
また、統計的判定基準情報には、過去の参照画像のパラメータが用いられる。よって、例えば、新たな参照画像Xkに続く符号化対象フレームYk1のパラメータ（例えば、予測誤差和または発生符号量）も、以降の統計的判定基準情報に用いられるパラメータのひとつとなる。よって、統計的判定基準更新部(206)は、当該フレームYk1の予測誤差和または発生符号量を、更新判定処理部(203)から取得して統計的判定基準メモリ(204)に格納する。当該フレームYk1の予測誤差和または発生符号量は、以降の判定処理において用いられる。
ここで、参照フレームの更新判定処理において統計的判定基準情報を用いることの利点を説明する。
まず、第１の判定方法によって予め定めた固定判定基準情報を用いて、参照フレームの更新処理を行うことは前述した。しかし、固定判定基準情報のαやβといった値の適切な値は、入力画像の種類によって異なる。そこで、第３の判定方法を用いれば、参照フレームの更新処理の判定基準は、符号化対象フレームまでに続いた複数のフレームYm1のパラメータに応じて変化させることができる。すなわち符号化対象フレームまでに続いた一定期間のシーンにおける入力画像の画像の動きに応じて、参照フレームの更新処理の判定基準を定めることができる。例えば、入力画像が動きの少ないシーンから、動きの多いシーンに切替わる場合において、動きの多いシーンに切替わった後の各フレームにおける予測誤差和や発生符号量は、入力画像が動きの少ないシーンよりも大きくなる。ここで、第３の判定方法を用いれば、当該入力画像が動きの少ないシーンを基準にして参照フレームの更新処理の判定基準を定めることができる。
よって、予めどのような入力画像が入力されるかわからない装置であっても、入力画像のシーンが切替わり、入力画像の動きの多さを比較して適切に参照フレームの更新処理の判定を行うことが可能となる。
また、第２の判定方法でも入力画像に応じて参照フレームの更新処理の判定基準を定めることができる。ここで、第２の判定方法において、例えば、入力画像が動きの少ないシーンから、動きの多いシーンに切替わる場合において、動きの多いシーンに切替わるとき、例えば、参照フレームの更新処理が行われたとする。その後、動きの多いシーンが連続した場合、入力画像の動きが多いため、連続するフレーム間の相関は低いままとなる。よって、発生符号量を低減して符号化効率を良好に保つためには、参照フレームの更新回数は多いほうが好ましい。しかし、発生符号量が多い状態でも、符号化対象フレームにおけるパラメータが、参照フレームXiの次のフレームであるフレームYi1のパラメータとほぼ同じ量であれば、数式２を満たす場合がある。この場合は、発生符号量が多い状態であるので、参照フレームの更新を行った方が発生符号量を低減でき、符号化効率面から好ましい。よって、このような場合に、第２の判定方法と第３の判定方法を合わせて用いることにより、入力画像のうち動きの多いシーンを動きの少ないシーンのパラメータを基準に判定して、参照フレームの更新回数を適切増やすことにより、好適に発生符号量の低減を実現することができる。
また、第３の方法においては、主に入力画像のうち動きの多いシーンを動きの少ないシーンのパラメータを基準に判定することで、符号化効率の低下を抑制しつつ、符号化処理における計算処理量を低減する。よって、数式３に用いるパラメータの算出に用いるフレームYa1〜Yb1の選定条件は、例えば、過去のフレームYm1(m<i)のうち、パラメータ(予測誤差和や発生符号量)が予め設定した所定値以下のものだけを選定してもよい。また、パラメータ(予測誤差和や発生符号量)が予め設定した所定値以下で所定回数以上連続する複数のフレームを選定してもよい。このようにすれば、好適に動きの少ないシーンのパラメータの平均値を得ることができる。
また、数式３の右辺では、複数のフレームYa1〜Yb1におけるパラメータに定数を乗じているが、これは一例であり、右辺は複数のフレームYa1〜Yb1におけるパラメータを変数とした関数であってもよい。例えば、Yi1のパラメータを変数とし、平均値を算出してもよく、加重和を算出してもよい。また、複数のYi1のパラメータの分布から統計的に算出した平均値、中央値、最頻値であってもよい。いずれの場合も、数式３を用いた判定処理を行うことにより、符号化効率の低下を抑制しつつ、符号化処理における計算処理量を低減する効果を実現することが可能である。
以上、3つの判定方法を説明したが、第2の判定方法及び第３の判定方法において判定処理で用いるパラメータは、予測誤差値や発生符号量以外にも、例えば動きベクトルの大きさ、動きベクトルの符号量、量子化誤差値、フレーム内でイントラ予測が行われたブロックの割合、予測誤差値に対してアダマール変換などの周波数変換を施したものなどを用いても構わない。すなわち、符号化対象画像の符号化効率あるいは予測効率の大きさに関連するパラメータであればよい。
また、以上の説明では、当該パラメータはフレーム単位で合計したものを用いたが、例えば、ブロックの位置や種類によって重み付けを設定して算出した値を用いても良い。よって、ブロックの位置や種類によってパラメータを選択して用いても構わない。
また、以上説明した3つ判定方法は、それぞれ独立に用いても、また組み合わせて用いても本実施例の一つの判定方法となりうる。
次に、第１の実施例による符号化処理の流れの一例を図７に示す。
まず、符号化対象となるフレームの符号化処理を行う(701)。処理(701)は図１の動画像符号化装置(100)の動作の説明における、予測画像生成部(102)や減算器(109)や符号化処理部(103)や可変長符号化部(104)の動作によって行なわれる。続いて、参照フレーム更新判定処理部(105)が符号化対象フレームのピクチャタイプを判定する(702)。さらに参照フレーム更新判定処理部(105)が対象フレームがIピクチャであると判定すれば、参照フレーム更新判定処理部(105)はスイッチ部(108)へスイッチの閉じ信号に送信し、当該信号に起因してスイッチ部(108)、復号化処理部(106)、加算器(110)、参照画像メモリ(107)により参照フレームの更新処理が行われる(703)。その後、判定(706)に進む。
一方、判定(702)において、符号化対象フレームがPピクチャであれば、参照フレーム更新判定処理部(105)が、上述した本実施例における判定方法により参照フレームの更新が必要か否かの判定を行う(705)。ここで、参照フレーム更新判定処理部(105)が更新の必要があると判断した場合は、参照フレームの更新処理が行われ(703)、判定(706)に進む。また、参照フレーム更新判定処理部(105)が更新の必要がないと判断した場合は、参照フレーム更新判定処理部(105)はスイッチ部(108)へスイッチの開き信号に送信する。これにより、参照フレームの更新処理は行われず、判定(706)に進む。
判定(706)では、全てのフレームに対して符号化処理が完了したかどうかを判定する。この判定は、例えば制御部(150)が行う。ここで、完了していなければ、次のフレームの符号化処理を行う(701)。一方、完了していれば符号化処理を終了する。
以上説明した、第１の実施例に係る更新判定処理部、動画像符号化装置またはこれらによる符号化処理の流れにおける各構成要素の動作は、いずれも各構成要素の自律的な動作で実現してもよく、また例えば制御部(150)指示によって実現してもよい。また制御部(150)とソフトウェアが協働して実現してもよい。
以上説明した第１の実施例に係る更新判定処理部、動画像符号化装置またはこれらによる符号化処理によれば、参照フレームの更新処理の有無を制御することによって、例えば、動きの少ないシーンにおいて、参照フレームの更新処理の回数を低減し、復号化処理やメモリ転送処理や復号画像データを用いるその他の処理などの参照フレームの更新処理に係る計算処理の発生量を低減することができる。またこの計算処理発生量の低減は、符号化効率の低下を抑制しながら実現することができる。
すなわち、本発明の第１の実施例によれば、符号化効率の低下を抑制しつつ、符号化処理における計算処理量を低減することができる。
続いて、本発明の第2の実施例について図面を参照して説明する。図６(a)〜図６(e)は、動画像データに含まれる複数のフレームを示している。これらは、それぞれ従来の符号化処理の動作の一例及び本発明の第２の実施例による符号化処理の動作の一例について示したものである。各フレームにはピクチャタイプが記されている。また、図に示される矢印は符号化時の予測関係を示したものである。ここで、矢印の始点のフレームを参照画像として、矢印の終点のフレームの符号化のための予測画像が生成されることを示している。なお、図５(a)と図５(b)に示すとおり、本発明の第２の実施例で取り扱うピクチャ構造はIピクチャ、Pピクチャ及びBピクチャのいずれも利用する。
従来技術において、Iピクチャ、Pピクチャ及びBピクチャのいずれも利用する場合について、図６(a)のフレーム(601)~(607)をもちいて説明する。まず、フレーム(601)は最初のフレームであるので、Iピクチャとして他のフレームを参照せずに符号化を行う。次に、フレーム(601)を符号化した後、数フレーム後のフレームをPピクチャとする。本図では、フレーム(604)をPピクチャとする。Pピクチャ(604)は直前のIピクチャ (601)を参照して符号化される。続いて、フレーム(601)および(604)の間に存在するフレーム(602)および(603)が、フレーム(601)および(604)を参照フレームとしてBピクチャとして符号化される。続いてPピクチャ(604)から数フレーム離れたフレーム(607)をPピクチャとする。Pピクチャ(607)は、フレーム(604)を参照フレームとして符号化を行う。さらにフレーム(605)および(606)はフレーム(604)および(607)を参照フレームとし、Bピクチャとして符号化を行う。
この場合、すべてのIピクチャまたはPピクチャにおいて、符号化処理後に参照フレームの更新処理を行う必要がある。よって、更新処理の回数が多く、更新処理にかかる処理量が多いこととなる。
そこで第２の実施例では、第１の実施例にて説明した更新処理方法加えて、さらに動画像の性質に応じてピクチャ構造を変更する方法を用いることにより、符号化効率の低下を抑制しつつ、符号化処理における計算処理量を低減する。
この方法を図６(b)〜(e)を用いて説明する。はじめに、図６(b)を用いて説明する。ここで、本実施例の符号化方法においては、例えば図６(b)に示すような符号化ピクチャ構造を用いる。すなわち、図６(b)に示されるピクチャ構造では、Iピクチャ(608)から数フレームのピクチャをはさんでPピクチャとなるフレーム(610)と、さらに数フレームをはさんでPピクチャとなるフレーム(614)が示されている。これらのフレームは予めピクチャタイプが決定されているフレームである。本実施例では説明のため、予めピクチャタイプが決定されているフレームのうちi番目のフレームをフレームViと示す。また、図6(b)において、各フレームVの間に配置されるフレームは、ピクチャタイプを予め定めないフレームである。本実施例では説明のため、ピクチャタイプを予め定めないフレームのうち、フレームViの後ろj番目に配置されるフレームをフレームZijと示す。
ここで、本実施例による符号化方法では、各フレームZijのピクチャタイプは、当該Zijより時間的に前にあるフレームViと、時間的に後にあるフレームVn(n=i+1)との相関に応じて決定する。
また、フレームVnの符号化処理の時点では、各フレームZijの各フレームは符号化処理がされてないフレームであるので、当該時点においてはフレームViとフレームVnとの時間的な間に配置された未符号化処理フレームであるとも言える。
このとき、フレームViとフレームVnとの相関が低い場合は、各フレームZijのピクチャタイプをBピクチャとする。この場合、図６(a)に示す従来技術と同様に、当該データにおけるフレームの順序は、参照ピクチャ、Bピクチャ、Pピクチャの順となる。本実施例の説明では、この様なピクチャタイプの順序のデータを「ピクチャ構造がPB構造である」と表現する。
ここで、フレームViとフレームVnとの相関が低い場合に、各フレームZijのピクチャタイプをBピクチャとするのは、以下の理由からである。すなわち、フレームViとフレームVnの間にあるフレームを符号化する場合、両者の間に配置される符号化対象フレームとフレームViとの相関は、フレームVnに近づくにつれ低くなる。よって、フレームViを参照フレームとする前方予測での符号化では、予測画像はフレームViを用いて生成される。これにより、符号化対象フレームがフレームVnに近づくほど、予測誤差値および発生符号量が増大することとなる。これに対し、フレームViとフレームVnとを参照フレームとした双方向予測での符号化を用いれば、予測画像はフレームViとフレームVnとを用いた符号化もしくは、いずれかのフレームを用いた符号化のうち符号化効率の良いものを選択して行なうことができる。よってこのとき、符号化対象フレームの予測誤差値および発生符号量を抑制することができる。
次に、フレームViとフレームVnとの相関が高い場合は、各フレームZijのピクチャタイプをPピクチャとする。本実施例の説明では、この様なピクチャタイプの順序のデータを「ピクチャ構造がPP構造である」と表現する。
ここで、フレームViとフレームVnとの相関が高い場合に、各フレームZijのピクチャタイプをPピクチャとするのは、以下の理由からである。すなわち、フレームViとフレームVnの間にあるフレームを符号化する場合、両者の間に配置される符号化対象フレームとフレームViとの相関は、符号化対象フレームが両者の間のどの位置にあっても高いままとなる。なぜなら、フレームVn自体とフレームViとの相関が高いからである。このような場合は、フレームViを参照フレームとする前方予測での符号化でも、フレームViとフレームVnとを参照フレームとした双方向予測での符号化でも、予測誤差値および発生符号量は変化は少ない。よって、このような場合は、当該双方向予測による符号化よりも当該前方予測による符号化を行なえば、フレームVnを参照フレームとする参照フレームの更新処理の発生を抑制することができる。
以上のような判定を行うことにより、符号化効率の低下を抑制しつつ、符号化処理における計算処理量を低減することができる。
以下、図６(c)〜図６(e)を用いて当該判定の方法をより具体的に説明する。図６(c)〜図６(e)においては、動画像データに含まれる複数のフレームの一例、及びこれらの符号化時における予測関係の一例を示す矢印、各フレームのピクチャタイプのほかに、一部のフレームからなるピクチャ構造が示されている。
まず図６(c)は、IピクチャであるフレームV1(608)とPピクチャであるフレームV2（611）との相関が低く、PピクチャであるフレームV2（611）とPピクチャであるフレームV3（614）との相関が高い場合を示す。
まずフレームV1 (608)は最初のフレームであるので、Iピクチャとして他のフレームを参照せずに符号化を行う。フレームV1 (608)は参照画像のデータとしてメモリに保持される。次に、フレームV1 (608)から数フレーム離れたフレームV2(611)をPピクチャとし、フレームV2(611)をフレームV1(608)を参照フレームとして符号化する。このとき、あわせてフレームV2(611)と参照フレームV1 (608)の相関性を判定する。ここで、図６(c)の場合は、フレームV2(611)と参照フレームV1 (608)の相関性が低い。この場合は、相関性が低いと判断された場合に該当し、フレームV2(611)を新たに参照フレームとしてメモリに格納する参照フレームの更新処理を行う。さらにこの場合は、フレームZ11(609)とフレームZ12(610)をBピクチャとする。フレームZ11(609)とフレームZ12(610)は、フレームV1(608)とフレームV2(611)を参照フレームとして符号化される。ここで、図６(c)における符号化処理において、フレームZ11(609)からフレームV2(611)までのピクチャ構造は図示される様にPB構造である。
次に、新たな参照フレームV2(611)を用いて、次のPピクチャV3が(614)を符号化される。このとき、PピクチャV3(614)と参照フレームV2(611)との相関を判定する。ここで、図６(c)の場合は、フレームV3(614)と参照フレームV3 (611)との相関性が高い。この場合は、相関性が高いと判断された場合に該当する。この場合は、フレームV3(614)を新たに参照フレームにはせず、フレームV３(614)の符号化結果を一度メモリに退避させる。次に
フレームZ21(612)およびフレームZ22(613)のピクチャタイプをPピクチャとし、現在の参照フレームV2(611)参照して、それぞれ符号化を行う。そしてフレームZ21(612)およびフレームZ22(613)の符号化が完了した時点で、退避させていたフレーム(614)に対する符号化結果をメモリから呼び出す。以上により、フレーム(608)からフレーム(614)までの符号化を完了する。ここで、図６(c)における符号化処理において、フレームZ21(612) からフレームV3(614)までのピクチャ構造は図示される様にPP構造である。
よって、図６(c)PピクチャV3(614)と参照フレームV2(611)との相関を判定した時点で、当該符号化データにおけるピクチャ構造をPB構造からPP構造に変更する決定も行っている。
次に図６(d)に、IピクチャであるフレームV1(608)とPピクチャであるフレームV2（611）との相関が高く、PピクチャであるフレームV2（611）とPピクチャであるフレームV3（614）との相関が低い場合を示す。
まず、フレームV1 (608)はIピクチャとして他のフレームを参照せずに符号化を行う。その後、フレームV2(610)をPピクチャとし、フレームV1 (608)を参照して符号化する。このとき、図６(c)の例と同じく、フレームV1(608)とフレームV2（611）との相関を判定する。その結果を用いて、参照フレームの更新処理の有無を決定する。さらにピクチャ構造の決定して、フレームZ11(609)とフレームZ12(610)のピクチャタイプを決定する。ここで、図６(d)では、フレームV1(608)とフレームV2（611）との相関が高い。この場合は、相関性が高いと判断された場合に該当する。よって、図6(d)のフレームZ11(609)からフレームV2(611)は、図6(c)のフレームZ21(612)からフレームV3(614)と同様に符号化処理が行われる。すなわち、V2フレーム(611)の符号化時における判定のとき、参照フレームの更新処理は行われない。また、フレームZ11(609)からV2フレーム(611)までのピクチャ構造はPP構造となり、フレームZ11(609)とフレームZ12(610)とはいずれもフレームV1(608)を参照するPピクチャとして符号化される。
次に、参照画像はフレームV1(608)のままであるので、PピクチャであるフレームV3(614)は、フレームV1(608)を参照して符号化される。このとき、相関の判定処理を行うが、その対象は現在の参照フレームV1(608)と現在符号化対象画像のフレームV3(614)である。ここで、図６(d)の場合は、フレームV1(608)とフレームV2（611）との相関が高く、フレームV2（611）とフレームV3（614）との相関が低い。よって、フレームV1(608)とフレームV3（614）との相関も低いこととなる。よって、この場合は相関性が低いと判断された場合に該当し、フレームV3(614)を新たに参照フレームとしてメモリに格納する参照フレームの更新処理を行う。また、フレームZ21(612)からフレームV3 (614)までのピクチャ構造はPB構造となり、フレームZ21(612)とフレームZ22(613)とは、いずれもフレームV1(608)とフレームV3(614)とを参照するBピクチャとして符号化される。
また、以上説明した図６(d)に示す符号化処理方法の一例を用いて符号化ストリームをすれば、すなわち図６(d)に示されるような、他のフレームから前方予測される所定の参照フレーム(例えば、図6(b)のフレーム(608))と、他のピクチャの参照フレームでない複数のPピクチャのフレーム(例えば、図6(b)のフレーム(609)、フレーム(610)、フレーム(611))が、該参照フレームから時間的に連続してある場合に、当該複数のPピクチャのフレームはいずれもが前記所定の参照フレーム(例えば、図6(b)のフレーム(608)を参照して符号化される。
またこのとき、当該複数のPピクチャのフレーム(例えば、図6(b)のフレーム(609)、フレーム(610)、フレーム(611))の時間的に直後に、１つまたは１以上のBピクチャのフレーム(例えば、図6(b)のフレーム(612)、フレーム(613))がある場合に、当該１つまたは１以上のBピクチャのフレームは、いずれも少なくとも参照フレームの一つに前記所定の参照フレーム(例えば、図6(b)のフレーム(608))を含む特徴的な符号化ストリームが生成される。
またこのとき、当該当該１つまたは１以上のBピクチャのフレームの直後のフレーム(例えば、図6(b)のフレーム(614))がPピクチャのフレームである場合に、当該Pピクチャのフレームは前記所定の参照フレーム(例えば、図6(b)のフレーム(608)を参照する特徴的な符号化ストリームが生成される。
次に図６(e)に、IピクチャであるフレームV1(608)とPピクチャであるフレームV2（611）との相関が高く、さらにPピクチャであるフレームV2（611）とPピクチャであるフレームV3（614）との相関も高い場合を示す。
まず、フレームV1 (608)はIピクチャとして他のフレームを参照せずに符号化を行う。その後、フレームV2(610)をPピクチャとし、フレームV1 (608)を参照して符号化する。
ここで、フレームV1(608)とフレームV2（611）との相関が高い点は、図６(d)と同様である。よって、フレームV2(611)、フレームZ11(609)、フレームZ12(610)の符号化処理に関しては、図６(d)と同様である。
次に、PピクチャであるフレームV3(614)を符号化するとき、図６(d)と同様に参照画像はフレームV1(608)のままである。よって、PピクチャであるフレームV3(614)は、フレームV1(608)を参照して符号化される。ここで、参照フレームV1(608)と符号化対象フレームV3(614)の相関を判定するが、図６(e)では、フレームV1(608)とフレームV2（611）との相関が高く、さらにフレームV2（611）とフレームV3（614）との相関も高い。よって参照フレームV1(608)と符号化対象フレームV3（614）との相関も高いこととなる。よって、このときも、参照フレームの更新処理は行われない。次にフレームZ21(612)からフレームV3 (614)までのピクチャ構造もPP構造となり、フレームZ21(612)とフレームZ22(613)とはいずれもフレームV1(608)を参照するPピクチャとして符号化される。
結果として、図６(e)の例では、最初のIピクチャのフレームV1(608)以降に続くフレームは、いずれもフレームV1(608)を参照するPピクチャとなる。
動画像データの所定のフレームの相関が異なる複数の場合について、本実施例の符号化処理方法の一例を、図６(b)から図６(e)を用いて説明した。以上説明したの処理によって、参照フレームの更新処理が低減されるため、符号化に必要な処理量を削減することができる。例えば、図6(a)の従来の符号化処理においては、フレーム(603)の符号化処理後及び、フレーム(607)の符号化時点の2回の参照フレームの更新処理が行われている。これに対し、図6(c)の符号化処理においては、フレームV2(611)の符号化時点に1回の参照フレームの更新処理が行われている。また図6(d)の場合は、フレームV3(614)の符号化時点に1回の参照フレームの更新処理が行われている。また、図6(e)の場合は、参照画像は当初のフレームV1(608)のままであり、参照フレームの更新処理の回数は0回である。
よって、以上説明した方法を用いれば、参照フレームから数フレーム後のフレームをPピクチャとし、当該Pピクチャと参照フレームの相関性を用いて参照フレームの更新処理の判定を行い、これにより、更新処理の回数を低減することが可能となる。
次に、図３を用いて本実施例による動画像符号化装置の一例を説明する。ここで、図１による構成では、ピクチャタイプがIピクチャ、Pピクチャ、及びBピクチャであるピクチャからなるピクチャ構造を用いた符号化を行う。
図３の動画像符号化装置(300)は、第１の実施例における動画像符号化装置(100)をBピクチャふくむピクチャ構造に対応するために構成要素を増やしたものである。ここで、図３の動画像符号化装置(300)の各構成要素において、図１の動画像符号化装置(100) の各構成要素と同一の記号が示されたのものは、同様の機能を有するものである。よって、これらについては説明を省略する。図３の動画像符号化装置(300)における新たな構成要素のみを説明する。
すなわち、図３に示す動画像符号化装置(300)は第１の実施例の動画像符号化装置(100)に対し、新たに、現在のピクチャ構造を記憶するピクチャ構造記憶メモリ(311)と、ピクチャ構造を変更するピクチャ構造変更処理部(312)と、Pピクチャ一枚分の符号化結果を一時的に記憶する符号化結果一次記憶メモリ(313)を新たに備える。また、これに対応して参照フレーム更新判定部(305)が第１の実施例とは異なる構造になっている。また、予測画像生成部(302)もピクチャ構造記憶メモリ(311)と接続され、一部異なる動作を行う。
ここで、ピクチャ構造記憶メモリ(311)は、現在のピクチャ構造(例えば、PB構造であるか、PP構造であるか)に関する情報を保持している。当該情報が更新された場合や、当該情報の送信を要求された場合に、予測画像生成部(302)と参照フレーム更新判定部(305)に送信する。予測画像生成部(302)は、通知されたピクチャ構造情報に基づいて対象画像の符号化を行う。
また、参照フレーム更新判定部(305)は、図１の参照フレーム更新判定部(105)の機能のほかに、参照フレーム更新の判定結果を用いて現在のピクチャ構造からピクチャ構造を変更する必要の有無の判定を行う新たな機能を備える。ここで、ピクチャ構造を変更する必要があると判断した場合、参照フレーム更新判定部(305)は、ピクチャ構造制御信号をピクチャ構造変更処理部(312)に送信する。ピクチャ構造変更処理部(312)は、送信された信号に基づいて、ピクチャ構造記憶メモリ(311)に保持される現在のピクチャ構造の情報をPP構造の情報またはPB構造の情報のいずれかに内容を変更する。
また、ピクチャ構造の変更が行なわれた結果として、符号化対象フレームに対応するストリーム情報を一時的にメモリに保持させる必要がある場合は、符号化結果一次記憶メモリ(313)に保持させる。その後、当該保持される符号化ストリームの部分が、出力する符号化ストリームと合成して出力する場合に、符号化結果一次記憶メモリ(313)から、当該部分を出力し、現在の出力符号化ストリームと合成して出力すればよい。
次に、図４を用いて、参照フレーム更新判定処理部(305)の構造の一例を示す。図４に示す参照フレーム更新判定処理部(305)は、第１の実施例の参照フレーム更新判定処理部(105)に対して、ピクチャ構造判定部(408)を追加した構造を有している。ピクチャ構造判定部(408)は、更新判定処理部(403)の判定結果を取得し、これに基づいてピクチャ構造を変更する必要があるか否かの判定を行う。ピクチャ構造判定部(408)は、当該ピクチャ構造の変更の判定結果に基づいて、ピクチャ構造制御信号をピクチャ構造変更処理部(312)に送信する。
第２の実施例における更新判定処理部(403)でも、第１の実施例と同じく、固定判定基準情報、局所的判定基準情報、統計的判定基準情報を用いて、符号化対象画像と参照フレームとの間の相関の判定処理を行う。
ここで、第２の実施例において、更新判定処理部(403)が参照フレームの更新判定処理を行うのは、現在の符号化対象フレームが図６(b)から(e)における各フレームVである場合のみである。よって、更新判定処理部(403)の参照フレームの更新判定処理において、フレームZの存在は取り扱わない。現在の符号化対象フレームが図６(b)から(e)におけるフレームZの場合は、更新判定処理部(403)はスイッチ(108)にスイッチ開閉制御信号としてスイッチの開き信号を送信する。これにより、符号化対象フレームが図６(b)から(e)におけるフレームZの場合に参照フレームの更新処理を抑制することができる。
また、現在の符号化対象フレームが図６(b)から(e)におけるフレームVの場合は、以下の通りに判定が行なわれる。すなわち、このときの第２の実施例における更新判定処理部(403) の動作は、第１の実施例における更新判定処理部(203)の動作の説明、固定判定基準情報の説明、局所的判定基準情報の説明、及び統計的判定基準情報の説明を以下のとおりに、読替ることにより実現可能である。
まず、第１の実施例の図５(b)における説明における各フレームを、それぞれ第２の実施例の図６(b)から(e)におけるフレームVであると読み替えればよい。まず、図(b)から(e)における各フレームVのうち、参照フレームとなるフレームVs(s番目のフレームV)を第１の実施例の説明におけるXiとする。参照フレームVsの次のフレームVt(t=s+1)を第１の実施例の説明におけるXiの次のフレームであるフレームYi1とする。同様に参照フレームVsからj番目の後のフレームVを、第１の実施例の説明におけるフレームYijと置き換えればよい。すなわち、第２の実施例のフレームVの配列、例えばV1、V2、V3、V4、V5、V6…を、第１の実施例のフレームの配列、例えばX1、Y11、Y12、X2、Y21、Y22に置き換えて、第１の実施例の実施例の各説明及び、数式１、数式２、数式３を適用すればよい。
以上により、第２の実施例における更新判定処理部(203)が、現在の対象画像が図６(b)から(e)におけるフレームVの場合に、第１の実施例の図５(b)における説明における各フレームに対応する判定処理を行うことにより、符号化効率の低下を抑制しつつ、符号化処理における計算処理量を低減するための判定を行うことができる。
また、ピクチャ構造判定部(408)は、更新判定処理部(403)の判定結果が、符号化対象画像と参照画像の相関が高いという結果であれば、図３のピクチャ構造変更処理部(312)にピクチャ構造をPP構造に変更するためのピクチャ構造制御信号を発信する。また、ピクチャ構造判定部(408)は、更新判定処理部(403)の判定結果が、符号化対象画像と参照画像の相関が低いという結果であれば、図３のピクチャ構造変更処理部(312)にピクチャ構造をPB構造に変更するためのピクチャ構造制御信号を発信する。
なお、ピクチャ構造判定部(408)を参照フレーム更新判定処理部(305)から独立させ、さらに、ピクチャ構造判定部(408)とピクチャ構造変更処理部(312とピクチャ構造記憶メモリ(311)を合わせて、一つの予測方向決定部と称しても良い。なぜなら、ここで、ピクチャ構造を決定することは、フレームVが現在の符号化対象画像である場合に、符号化対象画像と参照画像との時間的な間にあるフレームZのピクチャタイプを決定することに等しい。これを言い換えれば、フレームZの符号化処理において用いる符号化処理おいて用いる予測画像の予測方法を前方予測とするか双方向予測とするかを決定することであるともいえるからである。
次に、第２の実施例による符号化処理の流れの一例を図８に示す。図８において、Pピクチャは、フレームVのPピクチャか、フレームZのPピクチャかにより、区別する必要がある。よって、それぞれを「Pピクチャ(フレームV)」、「Pピクチャ(フレームZ)」と区別して表記する。
まず、符号化対象となるフレーム一枚の符号化を行う(801)。処理(801)は図３の動画像符号化装置(300)の動作における、予測画像生成部(302)や減算器(109)や符号化処理部(103)や可変長符号化部(104)の動作によって行なわれる。続いて、参照フレーム更新判定処理部(305)が符号化対象フレームのピクチャタイプを判定する(802)。ここで、対象フレームがIピクチャであれば、参照フレーム更新判定処理部(305)はスイッチ部(108)へスイッチの閉じ信号に送信する。次に、当該信号に起因してスイッチ部(108)、復号化処理部(106)、加算器(110)、参照画像メモリ(107)によって参照フレームの更新処理が行われる(803)。その後、判定(810)において、全フレームの符号化処理が終了したか判定する。この判定(810)は、例えば制御部(350)が行う。全フレームの符号化処理が終了していなければ、符号化処理(801)に戻る。全フレームの符号化処理が終了していれば、符号化処理を終了する。
一方、判定(802)において、符号化対象フレームがフレームＶのPピクチャであれば、更新判定処理部(305)が上述した本実施例における判定方法により、参照フレーム更新が必要か否かの判定を行う(805)。
ここで、判定(805)において、更新判定処理部(305)が更新の必要があると判断した場合(805)は、判定(806)に進む。判定(806)において、ピクチャ構造判定部(408)は、ピクチャ構造がＰＰ構造であるか、ＰＢ構造であるかを判定する。ここで、ＰＰ構造であれば、ピクチャ構造の変更処理(807)が行なわれる。この処理は以下の通りに行なわれる。すなわち、ピクチャ構造判定部(408)が、ピクチャ構造をＰＰ構造からＰＢ構造に変更するためのピクチャ構造制御信号をピクチャ構造変更処理部(312)に送信する。次に、ピクチャ構造変更処理部(312)がピクチャ構造記憶メモリ(311)に保持される現在のピクチャ構造の情報をPP構造の情報からPB構造の情報に変更する。以上により、ピクチャ構造の変更処理(807)が完了する。次に参照フレームの更新処理(803)に進む。また、判定(806)において、ピクチャ構造がＰＢ構造である場合には、ピクチャ構造の変更処理は行われず、参照フレームの更新処理(803)に進む。すなわち、フレームＶのPピクチャの符号化処理後に、参照フレームの更新処理の必要がある場合(参照フレームと符号化対象フレームの相関が低い場合)には、現在のピクチャ構造に関わらず、ピクチャ構造はPB構造とされる。その後、参照フレームの更新処理(803)が行われ、判定(810)に進む。判定(810)において、全フレームの符号化処理が終了していなければ、符号化処理(801)に戻る。全フレームの符号化処理が終了していれば、符号化処理を終了する。
また、判定(805)において、更新判定処理部(305)が更新の必要がないと判断した場合(805)は、判定(808)に進む。判定(808)において、ピクチャ構造判定部(408)は、ピクチャ構造がＰＰ構造であるか、ＰＢ構造であるかを判定する。ここで、ＰＢ構造であれば、ピクチャ構造の変更処理(809)が行なわれる。この処理は以下の通りに行なわれる。すなわち、ピクチャ構造判定部(408)が、ピクチャ構造をＰＢ構造からＰＰ構造に変更するためのピクチャ構造制御信号をピクチャ構造変更処理部(312)に送信する。次に、ピクチャ構造変更処理部(312)がピクチャ構造記憶メモリ(311)に保持される現在のピクチャ構造の情報をPＢ構造の情報からPP構造の情報に変更する。以上により、ピクチャ構造の変更処理(809)が完了する。次に判定(810)に進む。また、判定(808)において、ピクチャ構造がPP構造である場合には、ピクチャ構造の変更処理は行われず、判定(810)に進む。すなわち、フレームＶのPピクチャの符号化処理後に、参照フレームの更新処理の必要がない場合(参照フレームと符号化対象フレームの相関が高い場合)には、現在のピクチャ構造に関わらず、ピクチャ構造はPP構造とされる。次に、判定(810)において、全フレームの符号化処理が終了していなければ、符号化処理(801)に戻る。全フレームの符号化処理が終了していれば、符号化処理を終了する。
また、判定(802)において、符号化対象フレームがフレームＺのPピクチャ、またはフレームＺのＢピクチャであれば、判定(810)に進み。判定(810)において、全フレームの符号化処理が終了していなければ、符号化処理(801)に戻る。全フレームの符号化処理が終了していれば、符号化処理を終了する。
なお、符号化処理(801)を行った符号化ストリームは適宜出力される。ここで、ピクチャ構造によっては、符号化結果一次記憶メモリ(313)に一部の符号化ストリームを一時的に保持させるなどを行う。これにより、出力タイミングまたは出力順序を調整して出力される。
以上説明した、第２の実施例に係る更新判定処理部、動画像符号化装置またはこれらによる符号化処理の流れにおける各構成要素の動作は、いずれも各構成要素の自律的な動作で実現してもよく、また例えば制御部(350)指示によって実現してもよい。また制御部(350)とソフトウェアが協働して実現してもよい。
以上説明した第２の実施例に係る更新判定処理部、動画像符号化装置またはこれらによる符号化処理によれば、Bピクチャを用いる動画像符号化処理においても、参照フレームの更新処理の有無を制御することによって、例えば、動きの少ないシーンにおいて、参照フレームの更新処理の回数を低減し、復号化処理やメモリ転送処理や復号画像データを用いるその他の処理などの参照フレームの更新処理に係る計算処理の発生量を低減することができる。また、加えて、参照フレームの更新処理の回数の制御とともに、符号化データの一部のピクチャ構造を変更することにより、計算処理発生量の低減と符号化効率の低下の抑制との両立を実現することができる。
すなわち、本発明の第２の実施例によれば、符号化効率の低下を抑制しつつ、符号化処理における計算処理量を低減することができる。
次に、図９、図１０を用いて、上述した第１の実施例及び第２の実施例の符号化処理の一例を説明する。
まず、図９(a)を用いて第１の実施例の符号化処理の一例の説明を行う。図９(a)の横軸は時間またはフレーム番号を示している。縦軸は、例えば1フレーム当りの予測誤差量または発生符号量を示している。尚、縦軸の値は参照フレームの更新処理の説明にて挙げた他のパラメータでもよい。縦軸の値が大きいほど、参照フレームと符号化対象フレームとの画像の差が大きいことを示す。よって、例えば、動画像中で1フレーム間での画像の動きが多いシーンでは高くなる。逆に、動画像中で1フレーム間での画像の動きが少ないシーンでは低くなる。なお、Iピクチャのフレームはフレーム内予測を用いた符号化になるので、フレーム間の前後の差は関係ない。よって、本図では、Iピクチャのフレームの予測誤差量または発生符号量はグラフから省いている。
以降の図９(a)の説明では、説明のため、横軸はフレーム番号、縦軸は発生符号量とする。まず、図９(a)のグラフは初期参照フレームの次フレームに係る発生符号量FB0(902)から始まる。ここで、図９(a)のデータ(901)では、フレームf2-1までは比較的緩やかな動きが発生するシーンが続いている。次に、フレームf2で急激に動きが多くなり、その後動きが多いシーンが連続している。
ここでは、例えば、第１の実施例の参照フレーム更新判定処理部(105)において、前記局所的判定基準情報と前記固定判定基準情報とを用いて参照フレームの更新判定処理行う例を説明する。ここで、本図における前記局所的判定基準は数式２を用いることとする。すなわち、初期参照フレームの次のフレームに係る発生符号量に定数σを乗じた値を閾値として、参照フレームの更新処理を行う。また、固定判定基準の閾値は発生符号量SH(904)とする。この発生符号量SH(904)は数式１のβに相当する。
まず、符号化が開始されると、発生符号量FB0(902)を元にFB0×σ(903)が、局所的判定基準による閾値となる。ここで、局所的判定基準より、符号化対象フレームの符号量が低い場合には、参照フレームの更新処理が行われない。本図においては、フレーム番号f1の時点で、符号化対象フレームの局所的判定基準による閾値FB0×σ(903)に達する。このとき、参照フレーム更新判定処理部(105)による判定処理により、参照フレームの更新処理が実施される。すると、参照フレームが更新処理されたことにより、参照フレームと符号化対象フレームの相関が高くなる。よって、新たな参照フレームの次フレームであるフレームf1+1では発生符号量がフレームf1まで下がっている。よって、第１の実施例のでは、動きの少ないシーンにおいて、局所的判定基準による判定をおこなうことにより、符号化効率の低下を抑制しつつ、参照フレームの更新処理の回数を低減し、符号化処理における計算処理量を低減することができる。
次に、データ(901)では、フレームf2において、急激に動きが多くなり、発生符号量が増大している。ここで、まず仮に、本図において参照フレーム更新判定処理部(105)が固定判定基準を用いていない場合を説明する。まず、フレームf2の発生符号量は、局所的判定基準の閾値FB0×σ(903)を超えているため、参照フレームの更新処理が発生する。よって、フレームf2が新たな参照フレームとなる。よって、当該フレームf2の次フレームf2+1の発生符号量FB2(905)から新たな局所的判定基準の閾値FB2×σ(906)が定められる。よってこの場合、発生符号量のデータは、例えば点(907)から点線で示されたデータ(908)のように増加していく。
次に、本図において参照フレーム更新判定処理部(105)が固定判定基準として閾値SH(904)を設定している場合を説明する。この場合、フレームf2の発生符号量は、局所的判定基準の閾値FB0×σ(903)のみならず、固定判定基準の閾値SH(904)も超えているため、参照フレームの更新処理が発生する。次に、フレームf2+1の発生符号量FB2(905)は、新たな局所的判定基準の閾値FB2×σ(906)よりも小さいが、固定判定基準の閾値SH(904)よりも大きいため、やはり参照フレームの更新処理が発生する。以降、符号化対象フレームの発生符号量が、固定判定基準の閾値SH(904)を下回るまで、参照フレームの更新処理がフレーム毎に行われる。よって固定判定基準を用いた場合、本図において点(907)以降の発生符号量は、前記データ(908)より小さくなり、例えば実線で示されたデータ(909)のように推移する。よって、第１の実施例では、動きの多いシーンにおいて、固定判定基準による判定をおこなうことにより、参照フレームの更新処理の回数を制御し、符号化効率の低下を抑制することにより、符号化処理における計算処理量を低減することができる。
次に、図９(a)の第１の実施例の場合における参照フレームと符号化対象フレームの関係の一例を図９(b)に示す。図９(b)の横軸は、図９(a)と同じくフレーム番号である。図９(a)の縦軸は、参照フレームと符号化対象フレームの時間的距離を示している。０の場合、参照フレームが符号化対象フレームの直前のフレームであることを示している。距離が大きくなるほど、符号化対象フレームに対して参照フレームが時間的に過去方向に離れている個問いを示す。ここで、図９(a)の第１の実施例の場合においては、まずフレームf1及びフレームf2にて参照フレームの更新処理が行われている。よって、データ(910)のように、参照フレームと符号化対象フレームの時間的距離は変化する。すなわち、参照フレームの更新処理までは、当該時間的距離は増加し、参照フレームの更新処理の時点で０となる。次に、点(911)以降に関しては、上記で説明した局所的判定基準のみ用いた場合は、例えば点線で示されたデータ(913)のように推移する。また、上記で説明した局所的判定基準と固定判定基準を併用した場合は、例えば実線で示されたデータ(912)のように推移する。
さらに、図１０を用いて、第１の実施例の参照フレーム更新判定処理部(105)において、前記統計的判定基準情報を用いた場合の符号化処理の一例を説明する。図１０において、データ(1000)は発生符号量データの一例を示す。SH1(1001)は、固定判定基準の閾値を示す。SH2(1002)は統計的判定基準による閾値の一例を示す。ここで、第１の実施例の固定判定基準の閾値SH1(1001)は、固定判定基準情報として、予め前記固定判定基準メモリ(209)等に保持される。ここで、当該SH1(1001)は例えば、予め統計的データを検討して設定したり、他の条件等を考慮して設定する。しかし、予め想定した動画像データ以外のデータを符号化する場合や、固定判定基準情報を設定するための統計的データが十分にない場合など、適切な固定判定基準の閾値SH1(1001)を設定できない場合も考えられる。例えば、図に示す発生符号量データ(1000)のように、動きの多いシーンでも動きの少ないシーンのいずれも固定判定基準の閾値SH1(1001)を超えないなどの場合が考えられる。この場合は、固定判定基準情報を用いた判定方法の効果が得られなくなる。そこで、当該閾値SH1(1001)を、第１の実施例にて説明した統計的判定基準を用いた閾値に変更すれば、図示する矢印(1004)のように、統計的なデータによって閾値自体が変動する。このとき、例えば予め想定していた動画像の発生符号量よりも、実際の取り扱う発生符号量が少なかった場合などは、第１の実施例にて説明した統計データを用いることにより、閾値自体が下がる。例えば図示するSH2(1002)まで閾値が下がったとすると、図１０のデータ(1000)においても、動きの多いシーンでは、各フレーム毎に参照フレームの更新処理が行われる。これにより、図９(a)における固定判定基準の閾値SHによる判定処理と同様な効果が得られる。
また、動きの少ないシーンでは図９(a)と同様に、参照フレームの更新処理の抑制効果も得られる。よって、第１の実施例において、統計的判定基準による判定をおこなうことにより、予め想定していない入力画像が入力された場合でも、符号化効率の低下の抑制と、参照フレームの更新処理の抑制による符号化処理の計算処理量の低減を両立することができる。
次に、第２の実施例の符号化処理の一例も、図９、図１０を用いて説明することができる。第２の実施例を説明する場合には、図９(a)においては、Iピクチャのフレームのみならず、図６の説明におけるフレームZにおけるフレームの予測誤差量または発生符号量はグラフから省いているとして考える。この場合、図９(a)における横軸は、図６におけるフレームVからIピクチャのフレームを除いたものに相当する。図９(b)、図１０に関しても、第１の実施例の説明に対し、同様の置換えをすることにより、第２の実施例の符号化処理においても、第１の実施例と同様な効果を確認できる。
すなわち、第２の実施例の符号化処理においても、動きの少ないシーンにおいて、局所的判定基準による判定をおこなうことにより、符号化効率の低下を抑制しつつ、参照フレームの更新処理の回数を低減し、符号化処理における計算処理量を低減することができる。
また、第２の実施例の符号化処理においても、動きの多いシーンにおいて、固定判定基準による判定をおこなうことにより、参照フレームの更新処理の回数を制御し、符号化効率の低下を抑制することにより、符号化処理における計算処理量を低減することができる。
また、第２の実施例の符号化処理においても、統計的判定基準による判定をおこなうことにより、予め想定していない入力画像が入力された場合でも、符号化効率の低下の抑制と、参照フレームの更新処理の抑制による符号化処理の計算処理量の低減を両立することができる。
以上より、本発明の第１の実施例または第２の実施例によれば、符号化効率の低下を抑制しつつ、符号化処理における計算処理量を低減することができる。
以上説明した本発明の各実施例では、PB構造、PP構造と記した部分的なピクチャ構造のみを変更できるようにした。しかしこのとき、例えば参照フレームの更新頻度が低ければGOP(Group of Picture)周期を長くする処理や、Pピクチャを挿入する周期を長くする処理を行ってもよい。この場合、入力データによっては、より効率的に符号化を行えるようになる。
以上の実施例における符号化処理は、フレーム単位の符号化処理として説明した。しかし、以上の実施例のいずれもインターレース画像信号におけるフィールド単位の符号化においても適用できる。すなわち実施例の説明の記載のうち「フレーム」を「フィールド」と読み替えればよい。
以上説明した本発明の各実施例に係る符号化処理方法もしくは符号化処理装置を用いれば、例えば、高速で動画像データを符号化する技術を提供することも可能である。また、画質を維持しながら高速で動画像データを符号化する動画像符号化技術を提供することも可能である。
また、以上説明した本発明の各実施例に係る符号化処理方法もしくは符号化処理装置は、監視映像やテレビ会議システムといった動きの少ない映像を符号化する装置やシステムに使用する場合にも有効である。
また、以上説明した実施例はいずれを組み合わせて用いても、本発明の１つの実施の形態となりえる。
以上説明した本発明の各実施例に係る符号化処理方法もしくは符号化処理装置によれば、符号化効率の低下を抑制しつつ、符号化処理における計算処理量を低減することができる。
本発明の一実施例による画像符号化装置の一例のブロック図 本発明の一実施例による参照フレーム更新判定処理部の一例のブロック図 本発明の一実施例による画像符号化装置の一例ブロック図 本発明の一実施例による参照フレーム更新判定処理部の一例のブロック図 従来の画像符号化方法の説明図 本発明の一実施例による画像符号化方法の一例の説明図 従来の画像符号化方法の説明図 本発明の一実施例による画像符号化方法の一例の説明図 本発明の一実施例による画像符号化方法の一例の説明図 本発明の一実施例による画像符号化方法の一例の説明図 本発明の一実施例による画像符号化方法の一例の説明図 本発明の一実施例による画像符号化処理の流れの一例の図 本発明の一実施例による画像符号化処理の流れの一例の図 本発明の一実施例による画像符号化処理の一例の説明図 本発明の一実施例による参照フレームと符号化対象フレームの関係の一例の説明図 本発明の一実施例による画像符号化処理の一例の説明図
符号の説明
１００…動画像符号化装置、１０１…入力画像メモリ、１０２…予測画像生成部、１０３…符号化処理部、１０４…可変長符号化部、１０５…参照フレーム更新判定部、１０６…復号化処理部、１０７…参照画像メモリ、１０８…スイッチ部、１０９…減算器、１１０…加算器、１５０…制御部、２０１…予測誤差値計算部、２０２…発生符号量計算部、２０３…更新判定処理部、２０４…統計的判定基準メモリ、２０５…局所的判定基準メモリ、２０６…統計的判定基準更新部、２０７…局所的判定基準更新部、２０９…固定判定基準メモリ、２１０…ピクチャタイプ判定部、３００…動画像符号化装置、3０２…予測画像生成部、３０５…参照フレーム更新判定部、３１１…ピクチャ構造記憶メモリ、３１２…ピクチャ構造変更処理部、３１３…符号化結果一次記憶メモリ、３５０…制御部、４０３…更新判定処理部、４０８…ピクチャ構造判定部

Claims (17)

  1. 複数の画像のフレームを有する入力画像データを符号化する符号化装置における符号化方法であって、
    所定の参照フレームの画像から予測画像データを生成するステップと、
    該予測画像データと前記入力画像データにおける一のフレームの画像データとの差分から差分画像データを生成するステップと、
    該差分画像データに対して離散コサイン変換処理と量子化処理を行い、符号化画像データを生成するステップと、
    該符号化画像データに可変長符号化処理を行い、符号化ストリームを生成するステップと、
    前記参照フレームと前記一のフレームとの画像の相関を判定し、前記一のフレームを新たな参照フレームとするか否かを決定する参照フレーム更新判定処理を行うステップとを
    備えることを特徴とする符号化方法。
  2. 前記参照フレーム更新判定処理のステップにおいて、前記一のフレームを新たな参照フレームとすると決定された場合に、
    前記符号化画像データに逆量子化処理と逆離散コサイン変換処理を行い、差分画像データを復号化するステップと、
    該復号化された差分画像データと前記予測画像データを加算して、新たな参照画像フレームの画像データを生成するステップとを
    さらに備えることを特徴とする請求項１に記載の符号化方法。
  3. 前記参照フレーム更新判定処理のステップにおける判定処理は、前記差分画像データ、前記符号化画像データまたは前記符号化ストリームの何れか一を用いて算出された判定対象算出値と、前記符号化装置の有するメモリに記憶される判定基準値とを比較して、前記参照フレームと前記一のフレームとの画像の相関を判定することを特徴とする請求項１に記載の符号化方法。
  4. 前記判定基準値は、前記参照フレームの時間的に直後のフレームにおける判定対象算出値に基づいて定められることを特徴とすることを特徴とする請求項３に記載の符号化方法。
  5. 前記判定基準値は、前記一のフレームよりも時間的に前の複数のフレームの符号化処理において算出されたそれぞれの判定対象算出値に統計的処理を行って定められることを特徴とすることを特徴とする請求項３に記載の符号化方法。
  6. 請求項１に記載の符号化方法であって、
    前記予測画像データを生成するステップは、前方予測または双方向予測のそれぞれの予測方法を選択して用いるステップであり、
    前記参照フレームと前記一のフレームとの時間的な間に符号処理処理の行われていない未符号化フレームが少なくとも1つ以上存在する場合にさらに、
    前記参照フレーム更新判定処理ステップの判定結果に基づいて、該未符号化フレームの符号化処理おいて用いる予測画像の予測方法を前方予測とするか双方向予測とするかを決定するステップと備え、
    該決定した予測方法を用いて、前記未符号化フレームの符号化処理で用いる予測画像を生成することを特徴とする符号化方法。
  7. 複数の画像のフレームを有する入力画像データを符号化する符号化装置であって、
    所定の参照フレームの画像から予測画像データを生成する予測画像生成部と、
    該予測画像データと前記入力画像データにおける一のフレームの画像データとの差分から差分画像データを生成する差分器と、
    該差分画像データに対して離散コサイン変換処理と量子化処理を行い、符号化画像データを生成する符号化処理部と、
    該符号化画像データに可変長符号化処理を行い、符号化ストリームを生成する可変長符号化処理部と、
    前記参照フレームと前記一のフレームとの画像の相関を判定し、前記一のフレームを新たな参照フレームとするか否かを決定する参照フレーム更新判定処理部とを
    備えることを特徴とする符号化装置。
  8. 前記符号化装置はさらに、
    前記符号化処理部が出力する前記符号化画像データに逆量子化処理と逆離散コサイン変換処理を行い、差分画像データを復号化する復号化処理部と、
    該復号化された差分画像データと前記予測画像データを加算して、新たな参照画像フレームの画像データを生成する加算器と、
    該新たな参照画像を格納する参照画像メモリと、
    前記符号化処理部から前記復号化処理部に送信される前記差分データの送信の有無を切替えるスイッチ部とを備え、
    前記参照フレーム更新判定処理部は、前記一のフレームを新たな参照フレームとすると決定した場合に、前記符号化処理部から前記復号化処理部へ前記差分データを送信するための制御信号を前記スイッチ部に送信することを特徴とする請求項１に記載の符号化装置。
  9. 前記参照フレーム更新判定処理部における判定処理は、前記差分画像データ、前記符号化画像データまたは前記符号化ストリームの何れか一を用いて算出された判定対象算出値と、前記符号化装置の有するメモリに記憶される判定基準値とを比較して、前記参照フレームと前記一のフレームとの画像の相関を判定することを特徴とする請求項１に記載の符号化装置。
  10. 前記判定基準値は、前記参照フレームの時間的に直後のフレームにおける判定対象算出値に基づいて定められることを特徴とすることを特徴とする請求項３に記載の符号化装置。
  11. 前記判定基準値は、前記一のフレームよりも時間的に前の複数のフレームの符号化処理において算出されたそれぞれの判定対象算出値に統計的処理を行って定められることを特徴とすることを特徴とする請求項３に記載の符号化装置。
  12. 請求項１に記載の符号化装置であって、
    前記予測画像生成部は、前方予測または双方向予測のそれぞれの予測方法を選択して用い、
    前記参照フレームと前記一のフレームとの時間的な間に符号処理処理の行われていない未符号化フレームが少なくとも1つ以上存在する場合に、
    さらに前記参照フレーム更新判定処理部の判定結果に基づいて、該未符号化フレームの符号化処理おいて用いる予測画像の予測方法を前方予測とするか双方向予測とするかを決定する予測方向決定部と備え、
    該予測方向決定部が決定した予測方法を用いて、前記予測画像生成部が前記未符号化フレームの符号化処理で用いる予測画像を生成することを特徴とする符号化装置。
  13. 複数の画像のフレームを有する入力画像データを符号化する符号化装置であって、
    フレーム内予測、前方予測によるフレーム間予測、または双方向予測によるフレーム間予測のいずれかの一つの予測方法を選択して用いることにより予測画像データを生成する予測画像生成部と、
    該予測画像データと前記入力画像データとを用いて生成した符号化ストリームを出力する出力部とを備え、
    前記フレーム内予測を用いて符号化したフレームをIピクチャ、前記前方予測によるフレーム間予測を用いて符号化したフレームをPピクチャ、前記双方向予測によるフレーム間予測を用いて符号化したフレームをBピクチャとした場合、前記出力部から出力される前記符号化ストリームに、同一のフレームを参照フレームとする時間的に連続する２つのPピクチャが少なくとも一組以上存在することを特徴とする符号化装置。
  14. 前記出力部から出力される前記符号化ストリームにおいて、他のフレームから前方予測される所定の参照フレームと、他のピクチャの参照フレームでない複数のPピクチャのフレームが、該参照フレームから時間的に連続してある場合に、該複数のPピクチャのフレームは、いずれも前記所定の参照フレームを参照して符号化されていることを特徴とする請求項１３に記載の符号化装置。
  15. 前記複数のPピクチャのフレームのうち時間的に最も後ろのフレームの時間的に直後のフレームが前記所定の参照フレームを参照するPピクチャのフレームであることを特徴とする請求項１３に記載の符号化装置。
  16. 前記複数のPピクチャのフレームのうち時間的に最も後ろのフレームの時間的に直後に、１つまたは１以上のBピクチャのフレームがある場合に、該１つまたは１以上のBピクチャのフレームは、いずれも少なくとも参照フレームの一つに前記所定の参照フレームを含むことを特徴とする請求項１３に記載の符号化装置。
  17. 前記１つまたは１以上のBピクチャのフレームの直後にPピクチャのフレームがある場合に、該直後のPピクチャのフレームは前記所定の参照フレームを参照することを特徴とする請求項１６に記載の符号化装置。
JP2006306135A 2006-11-13 2006-11-13 符号化装置及び符号化方法 Withdrawn JP2008124772A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006306135A JP2008124772A (ja) 2006-11-13 2006-11-13 符号化装置及び符号化方法
US11/979,773 US20080112486A1 (en) 2006-11-13 2007-11-08 Encoding apparatus and encoding method
CNA2007101696405A CN101184238A (zh) 2006-11-13 2007-11-13 编码装置及编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006306135A JP2008124772A (ja) 2006-11-13 2006-11-13 符号化装置及び符号化方法

Publications (1)

Publication Number Publication Date
JP2008124772A true JP2008124772A (ja) 2008-05-29

Family

ID=39369195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006306135A Withdrawn JP2008124772A (ja) 2006-11-13 2006-11-13 符号化装置及び符号化方法

Country Status (3)

Country Link
US (1) US20080112486A1 (ja)
JP (1) JP2008124772A (ja)
CN (1) CN101184238A (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4892450B2 (ja) * 2007-10-17 2012-03-07 パナソニック株式会社 画像符号化装置および画像符号化方法
WO2009110227A1 (ja) * 2008-03-03 2009-09-11 パナソニック株式会社 記録装置、再生装置および方法
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8503528B2 (en) 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US9426459B2 (en) 2012-04-23 2016-08-23 Google Inc. Managing multi-reference picture buffers and identifiers to facilitate video data coding
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
JP6453652B2 (ja) * 2015-01-09 2019-01-16 株式会社東芝 映像伝送システム
US10419512B2 (en) * 2015-07-27 2019-09-17 Samsung Display Co., Ltd. System and method of transmitting display data

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100734759B1 (ko) * 2000-02-01 2007-07-06 코닌클리케 필립스 일렉트로닉스 엔.브이. Ｐ-프레임들에 대한 두 단계의 움직임 추정에 의한 비디오 인코딩
ATE413067T1 (de) * 2002-07-11 2008-11-15 Matsushita Electric Ind Co Ltd Virtuelles anzeigepufferverfahren zur decodierung von h.264 prediktion bildern.
JP4480156B2 (ja) * 2005-02-02 2010-06-16 キヤノン株式会社 画像処理装置及び方法
JP4702943B2 (ja) * 2005-10-19 2011-06-15 キヤノン株式会社 画像処理装置及びその方法

Also Published As

Publication number Publication date
US20080112486A1 (en) 2008-05-15
CN101184238A (zh) 2008-05-21

Similar Documents

Publication Publication Date Title
JP2008124772A (ja) 符号化装置及び符号化方法
KR100593350B1 (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치,화상 복호 방법, 및 통신 장치
JP2866222B2 (ja) 動き補償予測方式
JP4764136B2 (ja) 動画像符号化装置、及びフェードシーン検出装置
JP5222958B2 (ja) 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
WO2012098845A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
JP4901450B2 (ja) 動画像符号化装置
JP5649296B2 (ja) 画像符号化装置
JPH1093975A (ja) 動画像符号化装置における動き補償フレーム間予測方法
US20080063065A1 (en) Fast Motion Estimation for Multiple Reference Pictures
JP2002335529A (ja) 動画像符号化方法および装置
JPH08307860A (ja) シーン再エンコード装置
JP2004140794A (ja) 画像符号化方法および画像符号化装置
KR100242653B1 (ko) 프레임내 부호화방법 및 그 장치
JP4583514B2 (ja) 動画像符号化装置
JP4035747B2 (ja) 符号化装置および符号化方法
JP3188081B2 (ja) 画像符号化方法および画像符号化装置
KR100778473B1 (ko) 비트율 제어 방법
JP5946980B1 (ja) 画像復号化方法
JP5951915B2 (ja) 画像復号化方法
JP2007221202A (ja) 動画像符号化装置及び動画像符号化プログラム
JPH09182081A (ja) 動き補償予測符号化装置
JP5750191B2 (ja) 画像復号化方法
JP5911982B2 (ja) 画像復号化方法
JPH0662391A (ja) 動画像予測符号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090202

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090220