JP2010232734A - 画像符号化装置及び画像符号化方法 - Google Patents

画像符号化装置及び画像符号化方法 Download PDF

Info

Publication number
JP2010232734A
JP2010232734A JP2009075160A JP2009075160A JP2010232734A JP 2010232734 A JP2010232734 A JP 2010232734A JP 2009075160 A JP2009075160 A JP 2009075160A JP 2009075160 A JP2009075160 A JP 2009075160A JP 2010232734 A JP2010232734 A JP 2010232734A
Authority
JP
Japan
Prior art keywords
field
code amount
prediction value
reference image
amount prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009075160A
Other languages
English (en)
Inventor
Yoshimitsu Sasaki
善満 佐々木
Shinji Kitamura
臣二 北村
Yasuharu Tanaka
康晴 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2009075160A priority Critical patent/JP2010232734A/ja
Priority to PCT/JP2009/006718 priority patent/WO2010109564A1/ja
Priority to CN2009801582859A priority patent/CN102362499A/zh
Publication of JP2010232734A publication Critical patent/JP2010232734A/ja
Priority to US13/234,754 priority patent/US20120008685A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】復号結果のシーンの切替わり時にノイズが発生しにくい画像符号化装置を提供する。
【解決手段】符号化対象フィールドに対してインター予測を行った際の符号量の予測値であるインター符号量予測値と、符号化対象フィールドに対してイントラ予測を行なった際の符号量の予測値であるイントラ符号量予測値との大小関係を比較することにより（Ｓ４０１）、インター符号量予測値がイントラ符号量予測値に対して相対的に大きくなったと判断した時点で（Ｓ４０１でＹＥＳ）、参照画像を、同相のフィールドから、符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える（Ｓ４０２）。
【選択図】図２

Description

本発明は、映像信号の圧縮符号化におけるインターレース符号化時の参照ピクチャ決定方法に関するものであって、特に、イントラ符号量予測値とインター符号量予測値とに応じた参照ピクチャ選択方法を提供し、メモリへのデータアクセス量を削減するものである。
一般に動画像の符号化においては、時間的及び空間的に信号の冗長性を削減することによって、情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、符号化対象ピクチャに対して前方又は後方のピクチャを参照してブロック単位で動きの検出及び予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、「ピクチャ」とは１画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インターレース画像ではフレーム又はフィールドを意味する。ここで、「インターレース画像」とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像であり、二つのフィールドは空間的には行単位に交互に位置をとる。
図１１にはインターレース画像を示している。２つのフィールドで行単位に交互に位置する画像行のうち、上に位置するものを集めたものをトップフィールドと呼び、下に位置するものを集めたものをボトムフィールドと呼ぶ。
ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）で勧告されたＨ．２６４において、参照画像を持たず、符号化対象画像と同一ピクチャ内の画像を用いて画面内予測符号化を行うことによって得られる画像をＩピクチャと呼ぶ。また、前方又は後方の１枚のピクチャのみを参照して画面間予測符号化を行うことによって得られる画像をＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことによって得られる画像をＢピクチャと呼ぶ。Ｈ．２６４は従来のＭＰＥＧ（Moving Picture Experts Group）−２と比較して、より多くの予測方法が用意され、符号化精度が向上されているが、予測に必要とする計算が増加し、かつ、予測に必要とされる参照画像のメモリもより多く必要となる。
現在のデジタルスチルカメラに代表される小型携帯機器は、小型、省電力、低コストが求められており、前記の計算量の増加、必要メモリの増加、及びメモリへのデータアクセス量の増加を抑える必要がある。
これに対して、参照画像の枚数を減少させる取り組みが提案されている。特許文献１では、動きの大小を検出し、動きが大きい場合には時間の近いピクチャを優先し、動きが小さい場合には同一パリティのピクチャを優先するというルールを用いて、参照画像を３枚に減らしても圧縮効率を落とさないことを示している。
図１２は、上記特許文献１に係る画像符号化装置の一例を示すブロック図である。図１２に示すように、画像符号化装置２００は、入力画像メモリ２０１、直交変換部２０２、量子化部２０３、可変長符号化部２０４、逆量子化部２０５、逆直交変換部２０６、参照画像メモリ２０７、動き検出／補償部２０８を備える。
画像符号化装置２００に入力された映像信号は、入力画像メモリ２０１に格納される。動き検出／補償部２０８は、参照画像メモリ２０７に格納されている３枚の参照ピクチャに対して動きベクトルを求め、動きベクトルの大小を判定し、映像信号と最も相関の高い参照ピクチャと、マクロブロックの位置とを探索して求める。最も相関の高い参照画像と入力された映像信号とのマクロブロック間での差分が計算され、差分信号が直交変換部２０２、量子化部２０３へ出力される。量子化された差分信号は可変長符号化部２０４において可変長符号化され、符号化データとして画像符号化装置２００の外部に出力される。また、符号化データは、逆量子化部２０５、逆直交変換部２０６へ入力され、差分信号として戻される。その差分信号が、参照画像メモリ２０７に格納された参照ピクチャのうちいずれかの時間的に過去の参照ピクチャに加算され、参照画像メモリ２０７に記憶されている参照画像が更新される。
さらに、特許文献２に開示されている方法においては、３枚の参照画像を２枚へ削減する提案がなされている。
この方法においては、特許文献１に記載の方法に加え、動きの大小を示す映像信号特徴量情報を用いて、符号化対象ピクチャを次の３つに分類し、それぞれ参照画像選択を行っている。
つまり、（１）フレームを構成するフィールドの相関が強い画像の場合は、逆相フィールドを参照画像として選択し、（２）フレームを構成するフィールドの相関が弱く、動きが大きい画像の場合は、最も距離の近い参照可能ピクチャを参照画像として選択し、（３）動きが小さい画像は同相フィールドでかつ、最も距離の近い参照可能ピクチャを参照画像として選択する。これにより、画質劣化を伴わず、参照画像の枚数を２枚に削減している。
なお、動きの大きさとして、１画面内の各マクロブロックの動きベクトル平均値を用いても良い。
特開２００６−０９４４５４号公報 特開２００８−０１１１１７号公報
しかしながら、従来の方法には以下に示す問題点がある。
従来の方法では、動きが小さい場合には、同相フィールドを参照し、動きが大きい場合には時間的に最も近い参照可能なフィールド、すなわち、逆相フィールドを参照することで、画質劣化を伴うことなく、参照画像枚数を削減している。すなわち、動きの大小で参照フィールドの切替えを行っている。
しかしながら、従来の方法では、動き探索範囲（参照フィールド）と動きの大小との間の相関性については規定されていない。このため、動きの大小で参照フィールドを切替える方法では、動きの判定閾値の設定によっては、現在の参照フィールドで動き探索が十分できているのにもかかわらず、同相フィールドから逆相フィールドに参照フィールドを切替えたり、反対に、動き探索が十分できていないにもかかわらず、逆相フィールドから同相フィールドに参照フィールドを切替えたりする。このことによって、参照フィールドを誤ったタイミングで切替えたり、本来、参照フィールドを切替えるべきタイミングで切替えなかったりするため、復号結果にノイズが発生する可能性があるという課題がある。
図１３は、従来の課題を説明するための図である。図１３（ａ）に示すような風景を撮像することを想定する。図１３（ａ）の風景は下方向に木が並び、複雑な画像となっている。反対に上方向は空が広がり、単純な画像となっている。このような風景に対して、カメラを動かし、（１）、（２）、（３）、（４）、（５）の順で動画を撮像したものとする。ここで、（１）、（３）、（５）はトップフィールド、（２）、（４）はボトムフィールドであるとする。また、動きの大きさにより、参照フィールドとして同相フィールドが常に選択されているものとする。つまり、符号化対象フィールドが（３）の場合、フィールド（３）とフィールド（１）との差分が符号化され、符号化対象フィールドが（４）の場合、フィールド（４）とフィールド（２）との差分が符号化され、符号化対象フィールドが（５）の場合、フィールド（５）とフィールド（３）との差分が符号化される。
図１３（ｂ）は、フィールド（３）〜（５）の復号結果を示している。フィールド（４）、（５）は単純な画像にもかかわらず、複雑な画像のフィールド（２）、（３）をそれぞれ参照画像として符号化が行われる。このため、フィールド（４）、（５）の復号結果には、フィールド（２）、（３）の残像がそれぞれ含まれることとなり、複雑な画像から単純な画像への変化時にノイズが発生してしまう。
本願は、このような課題を解決するためになされたものであり、復号結果のシーンの切替わり時にノイズが発生しにくい画像符号化装置を提供することを目的とする。
本発明は、従来の課題を解決するためになされたものであり、本発明に係る画像符号化装置は、フィールド構造を有する動画像を予測符号化する画像符号化装置であって、予測符号化の対象となるフィールドである符号化対象フィールドと同相のフィールドを参照画像とした場合に、当該符号化対象フィールドに対してインター予測を行った際の符号量の予測値であるインター符号量予測値を算出するインター符号量予測値算出部と、前記符号化対象フィールドに対してイントラ予測を行なった際の符号量の予測値であるイントラ符号量予測値を算出するイントラ符号量予測値算出部と、前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、前記インター符号量予測値が前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える参照画像選択部と、前記参照画像を用いて、前記符号化対象フィールドを予測符号化する予測符号化部とを備える。
この構成によると、符号化対象画像にとって適切なタイミングで、同相フィールドと符号化対象フィールドに時間的に最も近い参照可能なフィールドとの間で参照画像を切替えることができ、切替え時の復号結果のノイズを減少させることができる。
また、符号化対象フィールドに時間的に最も近い参照可能なフィールドは、再生時間順で直前の１枚と、直後の１枚とである。このため、参照画像を最大２枚とすることができる。参照画像を２枚とすることで、参照画像へのメモリアクセスと、動き探索のための計算量とを減少させることが可能となる。
また、イントラ符号量予測値とインター符号量予測値とは、イントラ予測を行なうか、インター予測を行なうかの判定に用いられる評価値である。このため、新たな評価値の追加をすることなく、参照画像の切替えを実現できる。
好ましくは、前記参照画像選択部は、（ｉ）同相のフィールドが前記参照画像である場合、前記インター符号量予測値を前記イントラ符号量予測値で除した値が第１の判定閾値以上となった時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替え、（ｉｉ）前記符号化対象フィールドに時間的に最も近い参照可能なフィールドが前記参照画像である場合、前記インター符号量予測値を前記イントラ符号量予測値で除した値が前記第１の判定閾値よりも小さい第２の判定閾値未満となった時点で、前記参照画像を、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドから、前記同相のフィールドに切替える。
このように参照画像の切替えのために、２つの判定閾値を用いることにより、判定閾値に幅を持たせることができる。よって、インター符号量予測値をイントラ符号量予測値で除した値の急激な変化に対して、参照画像の切替えが追従しなくなる。よって、参照画像の切替えが安定することで、被写体依存性が小さくなり、動きの誤判定がなくなる。このため、符号化効率を落とすことなく符号化を実現できる。
好ましくは、前記参照画像選択部は、前記インター符号量予測値及び前記イントラ符号量予測値を時間方向に平滑化し、平滑化後の前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、平滑化後の前記インター符号量予測値が平滑化後の前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える。
このように、インター符号量予測値及びイントラ符号量予測値を時間方向に平滑化することにより、インター符号量予測値及びイントラ符号量予測値が急激に変化することがなくなる。よって、参照画像の切替えが頻繁に起きるのを防ぐことができ、参照画像の切替えが安定することで、被写体依存性が小さくなり、動きの誤判定がなくなる。このため、符号化効率を落とすことなく符号化を実現できる。
なお、本発明は、このような特徴的な処理部を備える画像符号化装置として実現することができるだけでなく、画像符号化装置に含まれる特徴的な処理部をステップとする画像符号化方法として実現することができる。また、画像符号化方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
本方法によって、符号化対象フィールドにとって適切なタイミングで、同相フィールドと符号化対象フィールドに時間的に最も近い参照可能なフィールドとの間で参照画像を切替えることができ、切替え時の復号結果のノイズを減少させることができる。また、参照画像を最大２枚とすることができるため、参照画像へのメモリアクセスと、動き探索のための計算量を減少させることが可能となる。
以下に本発明の実施の形態について、図面を参照しながら説明する。なお、本発明では、インターレース画像のフィールドをピクチャとし、各ピクチャを符号化する。
（実施の形態１）
＜画像符号化装置の構成＞
図１は、本発明の実施の形態１における画像符号化装置の構成を示すブロック図である。
画像符号化装置１００は、入力画像を符号化し符号化データを出力する装置であり、減算器１０１と、直交変換部１０２と、量子化部１０３と、可変長符号化部１０４と、逆量子化部１０５と、逆直交変換部１０６と、加算器１０７と、参照画像メモリ１０８と、参照画像選択部１０９と、動き検出／補償部１１０と、イントラ予測部１１１と、イントラ／インター判定部１１２と、セレクタ１１３とを含む。
減算器１０１は、外部より入力された入力画像と、動き検出／補償部１１０より出力された参照画像との差分を計算し、差分データを出力する。
直交変換部１０２は、差分データを直交変換する。
量子化部１０３は、直交変換されたデータを量子化する。
可変長符号化部１０４は、量子化されたデータを可変長符号化し、可変長符号化されたデータを符号化データとして外部へ出力する。
逆量子化部１０５は、量子化部１０３により出力された量子化データを逆量子化する。
逆直交変換部１０６は、量子化部１０３で逆量子化されたデータを逆直交変換する。
加算器１０７は、逆直交変換部１０６で逆直交変換されたデータと、セレクタ１１３から出力された予測画像とを加算し、加算結果を再構成画像として、参照画像メモリ１０８に保持する。
参照画像メモリ１０８は、Ｉピクチャ、Ｐピクチャ又は参照可能なＢピクチャのうち、符号化対象フィールドに対して再生時間順で直前の２フィールドと、符号化対象フィールドに対して、再生時間順で直後の２フィールドとを、参照画像候補として、保持しておく。
参照画像選択部１０９は、動き検出／補償部１１０から出力されるインター符号量予測値１１５と、イントラ予測部１１１から出力されるイントラ符号量予測値１１４と、現在処理中の符号化対象マクロブロックがトップフィールドに属するのかボトムフィールドに属するのかを示すフィールド種類情報１１６とをもとに、参照画像メモリ１０８から適切な参照画像を選択し、動き検出／補償部１１０へ出力する。ここで、イントラ符号量予測値１１４は、イントラ予測を行なった際に予測される符号量を示し、インター符号量予測値１１５とは、インター予測を行なった際に予測される符号量を示す。イントラ符号量予測値１１４及びインター符号量予測値１１５の詳細については後述する。
動き検出／補償部１１０は、インター符号量予測値を算出するＳＡＤ算出部１１０ａを有し、参照画像選択部１０９から出力された参照画像と、入力画像の符号化対象マクロブロックのデータとから、動き検出を行い、その後、動き補償を行い、動き補償の結果の画像をセレクタ１１３へ出力するとともにインター符号量予測値１１５をイントラ／インター判定部１１２と参照画像選択部１０９へ出力する。
イントラ予測部１１１は、イントラ符号量予測値を算出するＡＣＴ算出部１１１ａを有し、入力画像の画面内予測を行った結果の画像をセレクタ１１３へ出力するとともに、イントラ符号量予測値１１４を参照画像選択部１０９へ出力する。
イントラ／インター判定部１１２は、イントラ符号量予測値１１４とインター符号量予測値１１５とを元に、符号化対象フィールドに対してイントラ予測を行なうかインター予測を行なうかを決定し、決定した予測モードをセレクタ１１３へ出力する。
セレクタ１１３は、決定された予測モードに従い、予測画像を減算器１０１へ出力する。
＜イントラ符号量予測値とインター符号量予測値＞
次に、イントラ符号量予測値とインター符号量予測値とについて具体的に説明する。
本実施の形態では、イントラ符号量予測値として、符号化対象マクロブロック内の画素の輝度平均値と符号化対象マクロブロック内の各画素の輝度値との差分絶対値和の１フィールド内での総和（以下「ＡＣＴ」と記述する。）を計算する。なお、イントラ符号量予測値の計算方法はこれに限定されるものではなく、符号化対象マクロブロック内の輝度平均値を用いる代わりに、符号化対象マクロブロックの左横に位置する複数の画素の輝度値を用いても良いし、符号化対象マクロブロックの上側に位置する複数の画素の輝度値を用いても良い。つまり、イントラ予測の予測モードに応じた差分演算を行なうようにしても良い。
また、インター符号量予測値として、符号化対象マクロブロック内の画素と、符号化対象マクロブロックに対応する参照画像のマクロブロック内の画素との輝度値の差分絶対値和の１フィールド内での総和（以下「ＳＡＤ」と記述する。）を計算する。なお、参照画像としては、１つ前のピクチャの符号化時に用いられた参照画像が用いられるものとしても良い。また、上記対応する参照画像のマクロブロックとして、符号化対象マクロブロックと同一位置のマクロブロックを用いても良いし、符号化対象マクロブロックの動きを加味することにより異なる位置のマクロブロックを用いても良い。符号化対象マクロブロックと同一位置のマクロブロックを用いる場合には、上記ＳＡＤは、符号化対象画像と参照画像との輝度値の差分絶対値和となる。
＜参照画像選択処理＞
図２は、参照画像選択部１０９による参照画像の選択処理のフローチャートである。なお、本実施の形態では、初期状態として、参照画像は符号化対象フィールドと同相のフィールドから選ばれるものとする。また、参照画像の選択処理の前に、ＳＡＤ算出部１１０ａでＳＡＤが、ＡＣＴ算出部１１１ａでＡＣＴが、それぞれ計算されている。
参照画像選択部１０９は、イントラ符号量予測値１１４（ＡＣＴ）とインター符号量予測値１１５（ＳＡＤ）とを入力として受け、（インター符号量予測値／イントラ符号量予測値）≧Ｔｈｒなる関係、つまり（ＳＡＤ／ＡＣＴ）≧Ｔｈｒなる関係を満たすか否かを判断する（Ｓ４０１）。ここで、判定閾値Ｔｈｒは、０＜Ｔｈｒ≦１を満たす小さな数である。
（インター符号量予測値／イントラ符号量予測値）≧Ｔｈｒ（（ＳＡＤ／ＡＣＴ）≧Ｔｈｒ）ならば（Ｓ４０１でＹＥＳ）、現在の参照画像（同相の参照画像）では動き予測が当たっていない、すなわち、動きが大きいシーンと予測される。したがって、参照画像選択部１０９は、「時間的に最も近い参照可能なフィールド」を参照画像として選択する（Ｓ４０２）。つまり、参照画像が同相のフィールドから、符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替えられる。Ｓ４０２の処理の後、選択された参照画像を用いて、符号化対象フィールドの予測符号化が行なわれる。
反対に、（インター符号量予測値／イントラ符号量予測値）＜Ｔｈｒ（（ＳＡＤ／ＡＣＴ）＜Ｔｈｒ）ならば（Ｓ４０１でＮＯ）、現在の参照画像（同相の参照画像）において十分に動き予測が当たっている、つまり、動きが小さいシーンと予測される。したがって、一般にインターレース画像においては同相フィールド間の相関が強いため、参照画像選択部１０９は、「同相フィールド」を参照画像として選択する（Ｓ４０３）。つまり、参照画像は同相のフィールドのままであり、参照画像の切替えは行われない。Ｓ４０３の処理の後、選択された参照画像を用いて、符号化対象フィールドの予測符号化が行なわれる。
ここで、図３に示すような風景を撮像した動画における参照画像の選択について説明する。図３の風景は、図１３（ａ）に示した風景と同じであるため、その詳細な説明はここでは繰り返さない。このような風景に対して、Ａ地点を静止して撮像し、その後Ｂ地点まで左にパンした後、さらに静止、その後空を経由してＡ地点に戻る動画を撮像したと想定する。そのときの、ＳＡＤとＡＣＴの変化を図４（ａ）及び図４（ｂ）にそれぞれ示す。
図４（ａ）を参照して、ＡＣＴについては、Ａ地点からＢ地点へ移動するまで複雑な画像を撮像しているので、対象マクロブロックの平均輝度に対して、対象マクロブロック内の各画素値がばらつく。このため、高い値で維持されている。その後空に移動すると低周波な画像となるためＡＣＴが小さくなり、Ａ地点に戻るところで、再度値が大きくなる。
図４（ｂ）を参照して、ＳＡＤについては、Ａ地点で静止している間は、予測画像が当たっていると考えられるため、小さな値から始まる。次にＢ地点に早い速度で移動していくと予測画像があたりにくくなり、大きな値へと急激に変化する。Ｂ地点に静止すると、また、予測が当たるため小さな値に変化する。次に空に移動すると、木々を抜けるまで大きな値となるが、空に入ったところで、低周波な画像となり、予測がはずれにくくなるため小さな値となる。さらに、Ａ地点に戻るところで木々を撮像するため、一旦、値が上昇し、静止すると、小さな値となる。
このように変化するＳＡＤとＡＣＴとに対してＳＡＤ／ＡＣＴを計算すると図４（ｃ）のように変化する。これに対して判定閾値Ｔｈｒを設け、ＳＡＤ／ＡＣＴ≧Ｔｈｒとなる時刻部分のみに着目すると、当該時刻に撮像された画像は動いているシーンに当たることがわかる。
このように、Ｂ地点からＡ地点に向かう際に空のシーンにおいてはＳＡＤも小さくなるが、ＡＣＴも小さくなるため、ＳＡＤ／ＡＣＴで見るとＴｈｒ以上となり、正しく動いているシーンを判定している。
一方、従来の方法で動き判定に１画面内の各マクロブロックの動きベクトル平均値を採用していると、前述のＢ地点からＡ地点に向かう際に空のシーンにおいては、単純な画像のため、各マクロブロックの動きベクトル値が小さく出ることになり、動きが小さいシーンとして判定される。このため、参照画像が逆相フィールドから同相フィールドへ切替えられることになり、復号結果にノイズが発生する場合がある。
上記の選択結果を、符号化対象フィールドがＰピクチャの場合とＢピクチャの場合とについて、図５Ａ〜図５Ｄを用いてそれぞれ説明する。
図５Ａ〜図５Ｄのそれぞれに示すように、画像５０１、画像５０２、画像５０３、画像５０４の順に画像が撮像されたものとする。また、各画像は、トップフィールドとボトムフィールドを含むものとする。例えば、画像５０１は、トップフィールド５０１Ｔとボトムフィールド５０１Ｂとを含む。また、図示されるように各ピクチャは、Ｉピクチャ、Ｐピクチャ又はＢピクチャに分類されるものとする。例えば、トップフィールド５０１ＴはＩピクチャであり、ボトムフィールド５０１ＢはＰピクチャである。
図５Ａは、（インター符号量予測値／イントラ符号量予測値）≧Ｔｈｒを満たし、符号化対象フィールドがＰピクチャ（ボトムフィールド５０４Ｂ）である場合を示している。このとき、ボトムフィールド５０４Ｂに対して時間的に直前の２枚の画像（ボトムフィールド５０１Ｂ及びトップフィールド５０４Ｔ）が参照画像の候補とされる。なお、本実施の形態では、Ｂピクチャは参照画像の候補とはならないものとする。ボトムフィールド５０４Ｂに対して、時間的に最も近い参照画像の候補は、符号化対象フィールドに対して逆相に当たるトップフィールド５０４Ｔである。このため、トップフィールド５０４Ｔが参照画像として選択される。
図５Ｂは、（インター符号量予測値／イントラ符号量予測値）≧Ｔｈｒを満たし、符号化対象フィールドがＢピクチャ（ボトムフィールド５０２Ｂ）である場合を示している。このとき、ボトムフィールド５０２Ｂに対して時間的に直前の２枚の画像（トップフィールド５０１Ｔ及びボトムフィールド５０１Ｂ）と、時間的に直後の２枚の画像（トップフィールド５０４Ｔ及びボトムフィールド５０４Ｂ）とが参照画像の候補とされる。ボトムフィールド５０２Ｂに対して、時間的に最も近い参照画像の候補は、時間的に前方のボトムフィールド５０１Ｂ（符号化対象フィールドと同相のフィールド）と、時間的に後方のトップフィールド５０４Ｔ（符号化対象フィールドに対して逆相のフィールド）とである。このため、ボトムフィールド５０１Ｂとトップフィールド５０４Ｔとが参照画像として選択される。一方、符号化対象フィールドがトップフィールドの場合、前方で時間的に最も近い参照可能なフィールドの画像、すなわち、逆相のフィールドが参照画像として選択され、後方については時間的に最も近い参照可能なフィールドの画像、すなわち、同相のフィールドが参照画像として選択される。
図５Ｃは、（インター符号量予測値／イントラ符号量予測値）＜Ｔｈｒと満たし、符号化対象フィールドがＰピクチャ（ボトムフィールド５０４Ｂ）である場合を示している。このとき、ボトムフィールド５０４Ｂに対して時間的に直前の２枚の画像（ボトムフィールド５０１Ｂ及びトップフィールド５０４Ｔ）が参照画像の候補とされる。ボトムフィールド５０４Ｂと同相の参照画像の候補は、ボトムフィールド５０１Ｂである。このため、ボトムフィールド５０１Ｂが参照画像として選択される。
図５Ｄは、（インター符号量予測値／イントラ符号量予測値）＜Ｔｈｒと満たし、符号化対象フィールドがＢピクチャ（ボトムフィールド５０２Ｂ）である場合を示している。このとき、ボトムフィールド５０２Ｂに対して時間的に直前の２枚の画像（トップフィールド５０１Ｔ及びボトムフィールド５０１Ｂ）と、時間的に直後の２枚の画像（トップフィールド５０４Ｔ及びボトムフィールド５０４Ｂ）とが参照画像の候補とされる。ボトムフィールド５０２Ｂと同相のフィールドは、時間的に前方のボトムフィールド５０１Ｂと、時間的に後方のボトムフィールド５０４Ｂとである。このため、ボトムフィールド５０１Ｂとボトムフィールド５０４Ｂとが参照画像として選択される。
なお、従来のように動きだけから参照画像を求める方法では、動きの大きさと符号量との関係性を考慮していない。このため、図１３（ａ）に示すように、動きの大きさに対する判定閾値の決め方によっては、常に同相フィールドが参照画像として選択される場合がある。この場合、上述したように、フィールド（４）、（５）の復号結果には、フィールド（２）、（３）の残像がそれぞれ含まれることとなり、複雑な画像から単純な画像への変化時にノイズが発生してしまう。
しかし、本実施の形態に示す方法によると、図６（ａ）に示すように、符号量の大きさに基づいて参照画像を決定している。このため、複雑な画像から単純な画像への変化時に参照画像が同相フィールドから符号化対象フィールドに時間的に最も近いフィールドへ切替えられる。つまり、符号化対象フィールドがフィールド（３）の場合、同相であるフィールド（１）が参照画像として選択されるが、単純な画像であるフィールド（４）及び（５）が符号化対象フィールドである場合には、それぞれ、逆相のフィールド（３）及び（４）が参照画像として選択される。
図６（ｂ）は、フィールド（３）〜（５）の復号結果を示しているが、フィールド（５）は、フィールド（４）を参照画像としているため、フィールド（４）の復号結果では残像が含まれずに、従来と比較してノイズの発生が抑えられる。
以上説明したように、本実施の形態に係る画像符号化装置によると、符号化対象画像にとって適切なタイミングで、同相フィールドと、符号化対象フィールドに時間的に最も近いフィールドとの間で参照画像を切替えることができ、切替え時のノイズを減少させることができる。また、参照画像を２枚とすることで、参照画像へのメモリアクセスと、動き探索のための計算量を減少させることが可能となる。
また、イントラ符号量予測値とインター符号量予測値とは、イントラ予測を行なうか、インター予測を行なうかの判定に用いられる評価値である。このため、新たな評価値の追加をすることなく、参照画像の切替えを実現できる。
（実施の形態２）
実施の形態１では、ＳＡＤとＡＣＴを用いたシーン判定方法が妥当であることを示した。しかし、現実に自然画像を撮像し、ＳＡＤ／ＡＣＴを計算すると、図４（ｃ）に示したような滑らかなグラフにならず、図７（ａ）に示すグラフのように、パルスノイズのように値が急激に変化することが容易に類推できる。なお、図７（ａ）では、説明の都合上、グラフ上の９箇所のみで値が急激に変化しているが、実際には、グラフ上の至る箇所で値が急激に変化している。
このように、自然画像の符号化を考えた場合には、実施の形態１のように、ＳＡＤ／ＡＣＴに対して１つの判定閾値Ｔｈｒを用いて、参照画像の切替えを行なったのでは、ＳＡＤ／ＡＣＴが判定閾値Ｔｈｒ付近の値である場合に、参照画像が頻繁に切替わってしまう。このため、動きの誤判定が増え、符号化効率が悪くなってしまう。
そこで、実施の形態２では、このような場合でも正確に参照画像の選択ができるような方法について説明する。なお、実施の形態２に係る画像符号化装置の構成は、実施の形態１と同様であるため、異なる点についてのみ説明する。
実施の形態２では、図７（ｂ）に示すように、ＳＡＤ／ＡＣＴの判定閾値にヒステリシスを設ける。つまり、参照画像として、時間的に最も近い参照可能なフィールドを選択することを判定するための判定閾値を判定閾値Ｔｈｒ＿Ｈとし、参照画像として、同相フィールドを選択するための判定閾値を判定閾値Ｔｈｒ＿Ｌとする。なお、Ｔｈｒ＿Ｈ＞Ｔｈｒ＿Ｌ、０＜Ｔｈｒ＿Ｈ≦１、及び０＜Ｔｈｒ＿Ｌ≦１という３つの関係を満たすものとする。
図８は、ヒステリシスを設けた判定閾値に基づく、参照画像選択部１０９による参照画像の選択処理のフローチャートである。なお、本実施の形態では、初期状態として、参照画像は符号化対象フィールドと同相のフィールドから選ばれるものとする。
参照画像選択部１０９は、現在の参照画像が同相のフィールドであるか否かを判断する（Ｓ４２１）。現在の参照画像が同相のフィールドであると判断した場合には（Ｓ４２１でＹＥＳ）、参照画像選択部１０９は、イントラ符号量予測値１１４（ＡＣＴ）とインター符号量予測値１１５（ＳＡＤ）とを入力として受け、（インター符号量予測値／イントラ符号量予測値）≧Ｔｈｒ＿Ｈなる関係、つまり（ＳＡＤ／ＡＣＴ）≧Ｔｈｒ＿Ｈなる関係を満たすか否かを判断する（Ｓ４２２）。
（インター符号量予測値／イントラ符号量予測値）≧Ｔｈｒ＿Ｈ（（ＳＡＤ／ＡＣＴ）≧Ｔｈｒ＿Ｈ）ならば（Ｓ４２２でＹＥＳ）、現在の参照画像（同相の参照画像）では動き予測が当たっていない、すなわち、動きが大きいシーンと予測される。したがって、参照画像選択部１０９は、「時間的に最も近い参照可能なフィールド」を参照画像として選択する（Ｓ４２３）。
（インター符号量予測値／イントラ符号量予測値）＜Ｔｈｒ＿Ｈ（（ＳＡＤ／ＡＣＴ）＜Ｔｈｒ＿Ｈ）ならば（Ｓ４２２でＮＯ）、参照画像は同相フィールドのままであり、参照画像の切替えは行なわれない。
現在の参照画像が同相のフィールドではないと判断した場合、つまり、時間的に最も近い参照可能なフィールドを参照画像としている場合には（Ｓ４２１でＮＯ）、参照画像選択部１０９は、イントラ符号量予測値１１４（ＡＣＴ）とインター符号量予測値１１５（ＳＡＤ）とを入力として受け、（インター符号量予測値／イントラ符号量予測値）＜Ｔｈｒ＿Ｌなる関係、つまり（ＳＡＤ／ＡＣＴ）＜Ｔｈｒ＿Ｌなる関係を満たすか否かを判断する（Ｓ４２４）。
（インター符号量予測値／イントラ符号量予測値）＜Ｔｈｒ＿Ｌ（（ＳＡＤ／ＡＣＴ）＜Ｔｈｒ＿Ｌ）ならば（Ｓ４２４でＹＥＳ）、現在の参照画像（時間的に最も近い参照可能なフィールド）では、動き予測が当たっていない、すなわち、動きが小さいシーンと予測される。したがって、一般にインターレース画像においては同相フィールド間の相関が強いため、参照画像選択部１０９は、「同相フィールド」を参照画像として選択する（Ｓ４２５）。
（インター符号量予測値／イントラ符号量予測値）≧Ｔｈｒ＿Ｌ（（ＳＡＤ／ＡＣＴ）≧Ｔｈｒ＿Ｌ）ならば、参照画像は時間的に最も近い参照可能なフィールドのままであり、参照画像の切替えは行なわれない。
このように参照画像の切替えのために、判定閾値に幅を設けることで、図７（ａ）のグラフにおいて丸で囲った部分の急激な変化に対して、参照画像の切替えが追従しなくなる。よって、参照画像の切替えが安定することで、被写体依存性が小さくなり、動きの誤判定がなくなる。このため、符号化効率を落とすことなく符号化を実現できる。
（実施の形態３）
実施の形態２でも説明したように、自然画像を撮像すると、図４のような滑らかなグラフにならず、図７（ａ）に示すグラフのように、パルスノイズのように値が急激に変化することが容易に類推できる。なお、図７（ａ）では、グラフ上の９箇所のみで値が急激に変化しているが、実際には、グラフ上の至る箇所で値が急激に変化している。
このように、自然画像の符号化を考えた場合には、実施の形態１のように、ＳＡＤ／ＡＣＴに対して１つの判定閾値Ｔｈｒを用いて、参照画像の切替えを行なったのでは、ＳＡＤ／ＡＣＴが判定閾値Ｔｈｒ付近の値である場合に、参照画像が頻繁に切替わってしまう。このため、動きの誤判定が増え、符号化効率が悪くなってしまう。
そこで、実施の形態３では、このような場合でも正確に参照画像の選択ができるような方法について説明する。なお、実施の形態３に係る画像符号化装置の構成は、実施の形態１と同様であるため、異なる点についてのみ説明する。
実施の形態３では、得られたＳＡＤ及びＡＣＴのグラフをそれぞれ時間方向に平滑化することによりＳＡＤ＿ＡＶＥ及びＡＣＴ＿ＡＶＥを計算し、ＳＡＤ＿ＡＶＥ及びＡＣＴ＿ＡＶＥに基づいて参照画像の選択を行う。
図９は本発明の実施の形態３における、ＳＡＤ＿ＡＶＥ、ＡＣＴ＿ＡＶＥの算出方法を説明するための図である。
つまり、符号化対象フィールドの直前ＮフィールドのＳＡＤ及びＡＣＴをそれぞれ加算平均したものをＳＡＤ＿ＡＶＥ及びＡＣＴ＿ＡＶＥとする。
実施の形態３においては、参照画像選択部１０９がＳＡＤ／ＡＣＴを計算するに当たり、ＳＡＤの代わりにＳＡＤ＿ＡＶＥを求め、ＡＣＴの代わりにＡＣＴ＿ＡＶＥを求め、ＳＡＤ／ＡＣＴの代わりにＳＡＤ＿ＡＶＥ／ＡＣＴ＿ＡＶＥを求める。
その後、図２に示したフローチャートに従い、参照画像選択部１０９が、ＳＡＤ＿ＡＶＥ／ＡＣＴ＿ＡＶＥ≧Ｔｈｒを満たすか否かを判断し、実施の形態１と同様に参照画像の選択を行う。
以上説明したように、本実施の形態によると、平滑化されたＳＡＤ＿ＡＶＥ及びＡＣＴ＿ＡＶＥを用いて参照画像の選択が行われる。ＳＡＤ＿ＡＶＥ及びＡＣＴ＿ＡＶＥは、平滑化されることにより、パルスノイズのように値が急激に変化しなくなる。このため、ＳＡＤ＿ＡＶＥ／ＡＣＴ＿ＡＶＥの値も急激に変化することがなくなる。よって、参照画像の切替えが頻繁に起きるのを防ぐことができ、参照画像の切替えが安定することで、被写体依存性が小さくなり、動きの誤判定がなくなる。このため、符号化効率を落とすことなく符号化を実現できる。
なお、加算平均するフィールド数Ｎは、大きければ大きいほど、参照画像が頻繁に切替わるのを防ぐことが可能であるが、大きすぎると必要な参照画像の切替えが遅れることになるので、Ｎ＝４程度が適切である。
（実施の形態４）
次に、本発明の実施の形態４について説明する。本実施の形態は、実施の形態１〜３で説明した画像符号化装置１００を利用した、デジタルスチルカメラやネットワークカメラ等の撮像システム（映像システム）に関するものである。
図１０は、実施の形態４に係る撮像システムの構成を示すブロック図である。
撮像システムは、光学系１００１と、センサー１００２と、Ａ／Ｄ（Analog to Digital）変換回路１００３と、画像処理回路（画像処理部）１００４と、記録系／転送系１００５と、再生系１００６と、タイミング制御回路１００７と、システム制御回路１００８とを含む。画像処理回路１００４は、例えば、実施の形態１に示した画像符号化装置１００を含む。
この撮像システムでは、光学系１００１を通って入射した画像光は、センサー１００２上に結像され、センサー１００２により光電変換される。光電変換によって得られたアナログ信号は、Ａ／Ｄ変換回路１００３によりデジタル値に変換された後、画像処理回路１００４に入力される。画像処理回路１００４は、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小、及びＨ．２６４等の画像圧縮／伸張処理、画像圧縮されたストリームの制御等を行なう。なお、Ｈ．２６４等の画像圧縮は、画像符号化装置１００を用いて行なわれる。
画像処理回路１００４において画像処理された信号は、記録系／転送系１００５においてメディアへの記録又はインターネット等を介して伝送が行われる。記録又は転送された信号は再生系１００６により再生される。センサー１００２は、タイミング制御回路１００７により制御され、光学系１００１、記録系／転送系１００５、再生系１００６及びタイミング制御回路１００７は、各々、システム制御回路１００８により制御される。
なお、図１０に示した撮像システムでは、光学系１００１からの画像光をセンサー１００２で光電変換してＡ／Ｄ変換回路１００３に入力するカメラ機器等について説明したが、本発明はこれに限定されるものではなく、その他、テレビ等のＡＶ（Audio/Visual）機器のアナログ映像入力を直接にＡ／Ｄ変換回路１００３に入力しても良い。
以上、本発明の実施の形態に係る画像符号化装置及び撮像システムについて説明したが、本発明は、これらの実施の形態に限定されるものではない。
例えば、上述の実施の形態では、イントラ符号量予測値としてＡＣＴを用い、インター符号量予測値としてＳＡＤを用いたが、イントラ符号化時の符号量を予測可能な値、又はインター符号化時の符号量を予測可能な値であれば、他の算出方法により算出される値であっても良い。
また、上述の実施の形態では、インター符号量予測値をイントラ符号量予測値で除した値を閾値処理することにより参照画像の切替えの判定を行ったが、インター符号量予測値とイントラ符号量予測値の差を閾値処理することにより、参照画像の切替えの判定を行うようにしても良い。
なお、画像符号化装置１００は、典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。
また、画像符号化装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭ又はハードディスクドライブには、画像符号化装置が実行する処理のコンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、画像符号化装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
本発明に係る画像符号化装置及び撮像システムは、参照画像へのアクセスを減少させ、探索に費やす計算量を減少させることができ、かつ、画像劣化の小さい符号化を実現することができるため、デジタルカメラ、監視カメラ及びネットワークカメラなどに有用である。
本発明の実施の形態１における画像符号化装置の構成を示すブロック図 参照画像選択部による参照画像の選択処理のフローチャート 本発明の実施の形態１における被写体と撮像状況を示す図 図３の被写体におけるＳＡＤとＡＣＴの変化を示す図 符号化対象フィールドがＰピクチャの場合の参照画像の選択結果を示す図 符号化対象フィールドがＢピクチャの場合の参照画像の選択結果を示す図 符号化対象フィールドがＰピクチャの場合の参照画像の選択結果を示す図 符号化対象フィールドがＢピクチャの場合の参照画像の選択結果を示す図 画像符号化装置により符号化された動画像の再生結果を示す図 本発明の実施の形態２における判定閾値の設定方法について説明するための図 参照画像選択部による参照画像の選択処理のフローチャート 本発明の実施の形態３における、ＳＡＤ＿ＡＶＥ、ＡＣＴ＿ＡＶＥの算出方法を説明するための図 本発明の実施の形態４に係る撮像システムの構成を示すブロック図 インターレース画像におけるトップフィールド、ボトムフィールドを示す図 従来の画像符号化装置の一例を示すブロック図 従来の課題を説明するための図
１００、２００ 画像符号化装置
１０１ 減算器
１０２、２０２ 直交変換部
１０３、２０３ 量子化部
１０４、２０４ 可変長符号化部
１０５、２０５ 逆量子化部
１０６、２０６ 逆直交変換部
１０７ 加算器
１０８、２０７ 参照画像メモリ
１０９ 参照画像選択部
１１０、２０８ 動き検出／補償部
１１０ａ ＳＡＤ算出部
１１１ イントラ予測部
１１１ａ ＡＣＴ算出部
１１２ イントラ／インター判定部
１１３ セレクタ
１１４ イントラ符号量予測値
１１５ インター符号量予測値
１１６ フィールド種類情報
２０１ 入力画像メモリ
１００１ 光学系
１００２ センサー
１００３ Ａ／Ｄ変換回路
１００４ 画像処理回路
１００５ 記録系／転送系
１００６ 再生系
１００７ タイミング制御回路
１００８ システム制御回路

Claims (11)

  1. フィールド構造を有する動画像を予測符号化する画像符号化装置であって、
    予測符号化の対象となるフィールドである符号化対象フィールドと同相のフィールドを参照画像とした場合に、当該符号化対象フィールドに対してインター予測を行った際の符号量の予測値であるインター符号量予測値を算出するインター符号量予測値算出部と、
    前記符号化対象フィールドに対してイントラ予測を行なった際の符号量の予測値であるイントラ符号量予測値を算出するイントラ符号量予測値算出部と、
    前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、前記インター符号量予測値が前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える参照画像選択部と、
    前記参照画像を用いて、前記符号化対象フィールドを予測符号化する予測符号化部と
    を備える画像符号化装置。
  2. 前記参照画像選択部は、前記インター符号量予測値を前記イントラ符号量予測値で除した値が所定の判定閾値以上となった時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える
    請求項１記載の画像符号化装置。
  3. さらに、Ｉピクチャ、Ｐピクチャ又は参照可能なＢピクチャのうち、前記符号化対象フィールドに対して再生時間順で直前の２フィールドを、参照画像候補として記憶している参照画像メモリを備え、
    前記参照画像選択部は、前記符号化対象フィールドをＰピクチャとして予測符号化する場合、前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、前記インター符号量予測値が前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、それぞれが前記参照画像候補に含まれている、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える
    請求項１記載の画像符号化装置。
  4. さらに、Ｉピクチャ、Ｐピクチャ又は参照可能なＢピクチャのうち、前記符号化対象フィールドに対して再生時間順で直前の２フィールドと、前記符号化対象フィールドに対して、再生時間順で直後の２フィールドとを、参照画像候補として記憶している参照画像メモリを備え、
    前記参照画像選択部は、前記符号化対象フィールドをＢピクチャとして予測符号化する場合、前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、前記インター符号量予測値が前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像候補に含まれている、前記直前の２フィールドのうち前記符号化対象フィールドに時間的に最も近い参照可能なフィールドと、前記直後の２フィールドのうち前記符号化対象フィールドに時間的に最も近い参照可能なフィールドとを参照画像として選択する
    請求項１記載の画像符号化装置。
  5. 前記インター符号量予測値算出部は、前記符号化対象フィールドに含まれる符号化対象マクロブロック内の画素と、当該符号化対象マクロブロックに対応する前記参照画像のマクロブロック内の画素との輝度値の差分絶対値和の１フィールド内での総和を、前記インター符号量予測値として算出する
    請求項１記載の画像符号化装置。
  6. 前記イントラ符号量予測値算出部は、前記符号化対象フィールドに含まれる符号化対象マクロブロック内の画素の輝度平均値と、当該符号化対象マクロブロックに対応する前記参照画像のマクロブロック内の各画素の輝度値との差分絶対値和の１フィールド内での総和を、前記イントラ符号量予測値として算出する
    請求項１記載の画像符号化装置。
  7. 前記参照画像選択部は、（ｉ）同相のフィールドが前記参照画像である場合、前記インター符号量予測値を前記イントラ符号量予測値で除した値が第１の判定閾値以上となった時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替え、（ｉｉ）前記符号化対象フィールドに時間的に最も近い参照可能なフィールドが前記参照画像である場合、前記インター符号量予測値を前記イントラ符号量予測値で除した値が前記第１の判定閾値よりも小さい第２の判定閾値未満となった時点で、前記参照画像を、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドから、前記同相のフィールドに切替える
    請求項２記載の画像符号化装置。
  8. 前記参照画像選択部は、前記インター符号量予測値及び前記イントラ符号量予測値を時間方向に平滑化し、平滑化後の前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、平滑化後の前記インター符号量予測値が平滑化後の前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替える
    請求項１記載の画像符号化装置。
  9. フィールド構造を有する動画像を予測符号化する画像符号化方法であって、
    予測符号化の対象となるフィールドである符号化対象フィールドと同相のフィールドを参照画像とした場合に、当該符号化対象フィールドに対してインター予測を行った際の符号量の予測値であるインター符号量予測値を算出し、
    前記符号化対象フィールドに対してイントラ予測を行なった際の符号量の予測値であるイントラ符号量予測値を算出し、
    前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、前記インター符号量予測値が前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替え、
    前記参照画像を用いて、前記符号化対象フィールドを予測符号化する
    画像符号化方法。
  10. フィールド構造を有する動画像を予測符号化するコンピュータ実行可能なプログラムであって、
    コンピュータに、
    予測符号化の対象となるフィールドである符号化対象フィールドと同相のフィールドを参照画像とした場合に、当該符号化対象フィールドに対してインター予測を行った際の符号量の予測値であるインター符号量予測値を算出させ、
    前記符号化対象フィールドに対してイントラ予測を行なった際の符号量の予測値であるイントラ符号量予測値を算出させ、
    前記インター符号量予測値と前記イントラ符号量予測値との大小関係を比較することにより、前記インター符号量予測値が前記イントラ符号量予測値に対して相対的に大きくなったと判断した時点で、前記参照画像を、前記同相のフィールドから、前記符号化対象フィールドに時間的に最も近い参照可能なフィールドに切替えさせ、
    前記参照画像を用いて、前記符号化対象フィールドを予測符号化させる
    プログラム。
  11. 光を結像する光学系と、
    前記光学系で結像された光を受け、画像信号に変換するセンサーと、
    前記画像信号を動画像として受ける請求項１〜８のいずれか１項に記載の画像符号化装置と
    を備える撮像システム。
JP2009075160A 2009-03-25 2009-03-25 画像符号化装置及び画像符号化方法 Pending JP2010232734A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009075160A JP2010232734A (ja) 2009-03-25 2009-03-25 画像符号化装置及び画像符号化方法
PCT/JP2009/006718 WO2010109564A1 (ja) 2009-03-25 2009-12-09 画像符号化装置及び画像符号化方法
CN2009801582859A CN102362499A (zh) 2009-03-25 2009-12-09 图像编码装置及图像编码方法
US13/234,754 US20120008685A1 (en) 2009-03-25 2011-09-16 Image coding device and image coding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009075160A JP2010232734A (ja) 2009-03-25 2009-03-25 画像符号化装置及び画像符号化方法

Publications (1)

Publication Number Publication Date
JP2010232734A true JP2010232734A (ja) 2010-10-14

Family

ID=42780274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009075160A Pending JP2010232734A (ja) 2009-03-25 2009-03-25 画像符号化装置及び画像符号化方法

Country Status (4)

Country Link
US (1) US20120008685A1 (ja)
JP (1) JP2010232734A (ja)
CN (1) CN102362499A (ja)
WO (1) WO2010109564A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012134046A2 (ko) * 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
KR101204385B1 (ko) 2011-04-01 2012-11-29 주식회사 아이벡스피티홀딩스 인트라 예측 모드에서의 영상 복호화 방법
KR20220157832A (ko) * 2021-05-21 2022-11-29 주식회사 핀텔 움직임이 존재하는 프레임의 검출방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6173199B2 (ja) * 2013-12-09 2017-08-02 オリンパス株式会社 画像処理装置、画像処理方法、および撮像装置
JP6173198B2 (ja) * 2013-12-09 2017-08-02 オリンパス株式会社 画像処理装置、画像処理方法、および撮像装置
WO2017090961A1 (ko) * 2015-11-24 2017-06-01 삼성전자 주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US10116945B2 (en) * 2016-02-26 2018-10-30 Panasonic Intellectual Property Management Co., Ltd. Moving picture encoding apparatus and moving picture encoding method for encoding a moving picture having an interlaced structure
CN105954840B (zh) * 2016-06-28 2018-05-04 武汉华工正源光子技术有限公司 一种光发射组件

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002159012A (ja) * 2000-11-22 2002-05-31 Sony Corp 画像情報変換装置のモード判定装置及び判定方法並びにｍｐｅｇ４の画像符号化装置のモード判定装置及び判定方法
US7602849B2 (en) * 2003-11-17 2009-10-13 Lsi Corporation Adaptive reference picture selection based on inter-picture motion measurement
JP4405367B2 (ja) * 2004-08-27 2010-01-27 パナソニック株式会社 映像信号の予測符号化における参照フィールドの決定方法
US8687694B2 (en) * 2005-10-05 2014-04-01 Panasonic Corporation Reference picture selection method and apparatus
JP2008011117A (ja) * 2006-06-28 2008-01-17 Matsushita Electric Ind Co Ltd 画像符号化におけるインターレース符号化時の参照ピクチャ決定方法
JP4901772B2 (ja) * 2007-02-09 2012-03-21 パナソニック株式会社 動画像符号化方法及び動画像符号化装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012134046A2 (ko) * 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
KR101204385B1 (ko) 2011-04-01 2012-11-29 주식회사 아이벡스피티홀딩스 인트라 예측 모드에서의 영상 복호화 방법
WO2012134046A3 (ko) * 2011-04-01 2012-12-06 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
US9445127B2 (en) 2011-04-01 2016-09-13 Ibex Pt Holdings Co., Ltd. Method of decoding moving pictures in intra prediction
US9615110B2 (en) 2011-04-01 2017-04-04 Ibex Pt Holdings Co., Ltd. Method of decoding moving pictures in intra prediction
US9788016B2 (en) 2011-04-01 2017-10-10 Ibex Pt Holdings Co., Ltd. Method of decoding moving pictures in intra prediction
US9854273B2 (en) 2011-04-01 2017-12-26 Ibex Pt Holdings Co., Ltd. Method of decoding moving pictures in intra prediction
US10123049B2 (en) 2011-04-01 2018-11-06 Ibex Pt Holdings Co., Ltd. Method of decoding moving pictures in intra prediction
US10142658B2 (en) 2011-04-01 2018-11-27 Ibex Pt Holdings Co., Ltd. Method of decoding moving pictures in intra prediction
US10735772B2 (en) 2011-04-01 2020-08-04 Ibex Pt Holdings Co., Ltd. Method of decoding moving pictures in intra prediction
US11272218B2 (en) 2011-04-01 2022-03-08 Ibex Pt Holdings Co., Ltd. Method of decoding moving pictures in intra prediction
US11272217B2 (en) 2011-04-01 2022-03-08 Ibex Pt Holdings Co., Ltd. Method of decoding moving pictures in intra prediction
US11272219B2 (en) 2011-04-01 2022-03-08 Ibex Pt Holdings Co., Ltd. Method of decoding moving pictures in intra prediction
US11272215B2 (en) 2011-04-01 2022-03-08 Ibex Pt Holdings Co., Ltd. Method of decoding moving pictures in intra prediction
US11272216B2 (en) 2011-04-01 2022-03-08 Ibex Pt Holdings Co., Ltd. Method of decoding moving pictures in intra prediction
KR20220157832A (ko) * 2021-05-21 2022-11-29 주식회사 핀텔 움직임이 존재하는 프레임의 검출방법
KR102592089B1 (ko) 2021-05-21 2023-10-20 주식회사 핀텔 움직임이 존재하는 프레임의 검출방법

Also Published As

Publication number Publication date
CN102362499A (zh) 2012-02-22
WO2010109564A1 (ja) 2010-09-30
US20120008685A1 (en) 2012-01-12

Similar Documents

Publication Publication Date Title
TWI440364B (zh) 使用預測導引減數搜尋之移動估計
EP1078531B1 (en) Method and apparatus for encoding video information
JP3604864B2 (ja) 動画像符号化装置
JP5328854B2 (ja) 動きベクトル検出装置及び動きベクトル検出方法
WO2010109564A1 (ja) 画像符号化装置及び画像符号化方法
JP4504230B2 (ja) 動画像処理装置、動画像処理方法、及び動画像処理プログラム
JP2009182623A (ja) 画像符号化方法
JP2013504256A (ja) シーン切替検出
JP2009147807A (ja) 画像処理装置
US20080002774A1 (en) Motion vector search method and motion vector search apparatus
JP5156704B2 (ja) 画像符号化装置、画像符号化方法、集積回路及びカメラ
JP4804423B2 (ja) 動きベクトル検出装置及び動きベクトル検出方法
JP2007251497A (ja) 動画像符号化方法、動画像符号化装置、動画像符号化プログラム
EP2002650A1 (en) Preprocessor method and apparatus
JP2010063092A (ja) 画像符号化装置、画像符号化方法、画像符号化集積回路およびカメラ
JP4328000B2 (ja) 動画像符号化装置および動画像の特殊効果シーン検出装置
JP2011250400A (ja) 動画像符号化装置及び動画像符号化方法
JP5583439B2 (ja) 画像符号化装置及びカメラシステム
JP2009111647A (ja) 動きベクトル検出装置および動きベクトル検出方法
JP5322956B2 (ja) 画像符号化装置および画像符号化方法
JP5701018B2 (ja) 画像復号装置
JP2008141407A (ja) 符号化方式変換装置及び符号化方式変換方法
JP2007013973A (ja) エラー隠匿方法及び装置
JP5059859B2 (ja) 動画像符号化方法
JP6016484B2 (ja) 符号化装置