JP2006060538A - 符号化モード選択装置及び符号化モード選択プログラム - Google Patents

符号化モード選択装置及び符号化モード選択プログラム Download PDF

Info

Publication number
JP2006060538A
JP2006060538A JP2004240532A JP2004240532A JP2006060538A JP 2006060538 A JP2006060538 A JP 2006060538A JP 2004240532 A JP2004240532 A JP 2004240532A JP 2004240532 A JP2004240532 A JP 2004240532A JP 2006060538 A JP2006060538 A JP 2006060538A
Authority
JP
Japan
Prior art keywords
mode
encoding
image
orthogonal transform
evaluation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004240532A
Other languages
English (en)
Other versions
JP4222274B2 (ja
Inventor
Shigeru Fukushima
茂 福島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2004240532A priority Critical patent/JP4222274B2/ja
Publication of JP2006060538A publication Critical patent/JP2006060538A/ja
Application granted granted Critical
Publication of JP4222274B2 publication Critical patent/JP4222274B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】インターレース構造の画像を圧縮符号化するための各符号化モード選択に用いられ、符号化効率を低下させること無く演算処理量の削減を図ることができる符号化モード選択装置及び選択プログラムを提供する。
【解決手段】直交変換符号化モード選択手段102は、直交変換符号化モードを符号化対象画像マクロブロックで算出したフレーム/フィールド判定評価値を比較して符号化効率の良い方を選択する。動きベクトル検出手段103は、直交変換符号化モードに従って動き補償予測符号化モードを動き補償予測フレームモードまたは動き補償予測フィールドモードとして動きベクトル検出を行う。画像相関モード選択手段104は、直交変換符号化モードに従った動き補償予測符号化モードにて画像相関モードを符号化対象画像マクロブロックで算出したイントラ判定評価値とインター判定評価値とを比較して符号化効率の良い方を画像相関モードとして選択する。

【選択図】 図1

Description

本発明は、時間的に連続する2つのフィールド画像を重ね合わせてひとつのフレーム画像を構成するインターレース構造の画像の符号化に係り、特に演算量が少なく符号化効率の良い符号化モード選択装置及び符号化モード選択プログラムに関するものである。
MPEGに代表される動画像の符号化では、画像内の近傍画素間の相関や、時間的に連続する画像間の相関を利用して符号量を圧縮する方式が用いられる。
画像内の符号量の圧縮は、DCT(離散コサイン変換:Discrete Cosine Transform)に代表される直交変換符号化を用いて行われる。
画像間の符号量の圧縮は、動きベクトルを利用した動き補償予測符号化を用いて行われる。
直交変換符号化は、例えば符号化対象画像を8×8画素の単位ブロック毎に分割して、前記単位ブロック毎に2次元直交変換を施すと、ある直交変換係数の周りに大きな値が集中する画像の特性を利用して符号量を圧縮する符号化手法である。
動き補償予測符号化は、一般に時間的に連続する動画像においては画像相関性が高いことを利用して符号量を圧縮する符号化手法である。例えば符号化対象画像を前記8×8画素の単位ブロックにより構成される16×16画素のブロック(以下マクロブロックと呼ぶ)に分割する。分割した符号化対象画像マクロブロック毎に、時間的に連続する参照画像おいて符号化効率の度合いを示す誤差評価値が最小のブロックを検出する。前記誤差評価値が最小のブロックと符号化対象画像マクロブロックとにおいて、対応する画素毎に差分をとった残差成分を符号化に用いると符号化効率が最も良好になる。このとき参照画像上の誤差評価値が最小のブロック領域が、符号化対象画像マクロブロックに対してどの程度ずれた位置に存在するのかを表すのが動きベクトルである。
前記直交変換符号化は、前記動き補償予測符号化がなされた後の残差成分に対して行うと、より符号化効率が高まる。
上記のように、画像間の相関を利用した動き補償予測符号化を行い、その後の残差成分に対して直交変換符号化を行う符号化手法をインター符号化と呼ぶ。
対して、動き補償予測符号化を行わずに、符号化対象画像内で直交変換符号化のみを行う符号化手法をイントラ符号化と呼ぶ。
イントラ符号化は、符号化効率がインター符号化より低い。しかし、イントラ符号化はインター符号化を行うための参照画像を生成するために、符号化に際して定期的に行う必要がある。このイントラ符号化で生成される画像をIピクチャと呼ぶ。
インター符号化にて生成される画像には、PピクチャとBピクチャの2種類がある。Pピクチャは、時間的に前方の参照画像(Iピクチャまたは既に生成済みのPピクチャ)のみを用いて生成される画像である。Bピクチャは、時間的に前方と後方の両方の参照画像(Iピクチャまたは既に生成済みのPピクチャ)を用いて生成される画像である。Bピクチャが最も符号化効率がよい画像である。
上記のように、イントラ符号化を使用する符号化モードをイントラモード、インター符号化を使用する符号化モードをインターモードと呼び、これら二つのモードの総称を本説明では画像相関モードと呼ぶ。
インターモードにて生成することを前提とするPピクチャ、Bピクチャであるが、必ずしもインターモードを使用しなくてもよく、イントラモードを使用しても良い。前記マクロブロック単位で、インターモードとイントラモードを切り替えることができる。直交変換符号化と動き補償予測符号化の両方を行った方が符号化効率が良いと判断されるマクロブロックの場合はインターモードを選択する。動き補償予測符号化を行わずに直交変換符号化のみ行った方が符号化効率が良いと判断されるマクロブロックの場合はイントラモードを選択する。このようにマクロブロック単位で適応的にイントラモードとインターモードとを切り替えることで符号化効率を向上させることができる。
ところで、2つのフィールド画像を重ね合わせて1つのフレーム画像を構成するインターレース構造の画像においては、直交変換符号化、動き補償予測符号化を行う際にフレーム画像マクロブロックを用いるかフィールド画像マクロブロックを用いるかの選択ができる。
例えばある一つの符号化対象画像マクロブロックにて直交変換符号化を行うとき、フィールド画像マクロブロックの方がフレーム画像マクロブロックより直交変換符号化の符号化効率が良いと判断できるときは、当該符号化対象画像マクロブロックにフィールド画像マクロブロックを使用する。なお直交変換符号化はマクロブック内の4つの単位ブロック毎に行われる。
同様に、ある一つの符号化対象画像マクロブロックにて動き補償予測符号化を行うとき、フレーム画像マクロブロックの方がフィールド画像マクロブロックより動き補償予測符号化の符号化効率が良いと判断できるときは、当該符号化対象画像マクロブロックにフレーム画像マクロブロックを使用する。
フレーム画像マクロブロックを使用する符号化モードを、フレームモードと呼ぶ。またフィールド画像マクロブロックを使用する符号化モードをフィールドモードと呼ぶ。
このように直交変換符号化および動き補償予測符号化を行う際には、フレームモードで符号化した方が符号化効率が良いと判断される場合はフレームモードを選択し、フィールドモードで符号化した方が符号化効率が良いと判断される場合はフィールドモードを選択する。この選択処理を、マクロブロック単位で適応的に切り替えることで、符号化効率を向上させることができる。
直交変換符号化におけるフレームモード、フィールドモードをそれぞれ、直交変換フレームモード、直交変換フィールドモードと呼び、これら二つのモードの総称を直交変換符号化モードと呼ぶ。また同様に、動き補償予測符号化におけるフレームモード、フィールドモードをそれぞれ、動き補償予測フレームモード、動き補償予測フィールドモードと呼び、これら二つのモードの総称を動き補償予測符号化モードと呼ぶ。
なお符号化規格には、直交変換符号化モードと動き補償予測符号化モードとでフレームモードとフィールドモードとを独立に切り替える規定の符号化規格(MPEG−2規格など)と、直交変換符号化モードと動き補償予測符号化モードが独立しておらず、一つのモードとして同時に切り替える規定の符号化規格(MPEG−4AVCなど)がある。本実施例では前者のフレームモードとフィールドモードとを独立に切り替える規定の符号化規格を例に説明するが、後者の規格で実施しても良い。
このように、インターレース画像の符号化には多様な符号化モードがある。表1はこれまで述べてきたインターレース画像における符号化モードの組み合わせをまとめたものである。これらの符号化モードを符号化対象画像マクロブロック毎に選択して符号化を行う。符号化モードを適切に選択するか否かで符号化効率が大きく変化する。そのため、符号化効率の良い符号化モードを選択することは非常に重要であり、さまざまな方法が提案されている。
Figure 2006060538
従来の符号化モード選択装置の一例として、例えば特許文献1のようにフレームの動きベクトル検出とフィールドの動きベクトル検出を行って、動き補償予測符号化モードを選択する符号化モード選択装置が提案されている。
以下、この特許文献1に記載の従来の符号化モード選択装置について図3を用いて説明する。
この従来の符号化モード選択装置は、画像メモリ201と、フレーム動きベクトル検出手段202と、フィールド動きベクトル検出手段203と、動き補償予測符号化モード選択手段204と、画像相関モード選択手段205と、直交変換符号化モード選択手段206と、符号化モード出力手段207とから構成されている。
画像メモリ201は、この装置の外部から入力された符号化対象画像と参照画像の画像信号を記憶している。
フレーム動きベクトル検出手段202は、符号化対象画像マクロブロックをフレーム画像とした場合の動きベクトルを検出する。このフレーム動きベクトルとフレーム動きベクトルに対応した誤差評価値を、動き補償予測符号化モード選択手段204に供給する。
フィールド動きベクトル検出手段203は、符号化対象画像マクロブロックをフィールド画像とした場合の動きベクトルを検出する。このフィールド動きベクトルとフィールド動きベクトルに対応した誤差評価値を、動き補償予測符号化モード選択手段204に供給する。
動き補償予測符号化モード選択手段204は、供給されたフレーム動きベクトルに対応した誤差評価値とフィールド動きベクトルに対応した誤差評価値を比較して、値が小さい方を当該符号化対象画像マクロブロックの動き補償予測符号化モードとして選択する。選択した動き補償予測符号化モードに対応した動きベクトルを画像相関モード選択手段205に供給し、選択した動き補償予測符号化モードを符号化モード出力手段207に供給する。
画像相関モード選択手段205は、イントラモードとインターモードとでどちらが符号化効率が良いかを調べて、良いほうを当該符号化対象画像マクロブロックの画像相関モードとして選択する。そして選択した画像相関モードを、直交変換符号化モード選択手段206と符号化モード出力手段207に供給する。
直交変換符号化モード選択手段206は、供給された画像相関モードに従って当該符号化対象画像マクロブロックの直交変換符号化モードを選択する。
例えば、供給された画像相関モードがイントラモードの場合は、当該符号化対象画像マクロブロックをそのまま使用して直交変換符号化モード選択処理を行う。また供給された画像相関モードがインターモードの場合は、当該符号化対象画像マクロブロックと参照画像マクロブロックとの残差成分を使用して直交変換符号化モード選択処理を行う。
上記のように供給された画像相関モードに従った画像にて、直交変換フレームモードと直交変換フィールドモードとで、どちらが直交変換符号化の符号化効率が良いかを調べる。そして、符号化効率の良いほうを符号化対象画像マクロブロックの直交変換符号化モードとして選択する。
選択した直交変換符号化モードを、符号化モード出力手段207に供給する。
符号化モード出力手段207は、供給された各符号化モード(画像相関モード、動き補償予測符号化モード、直交変換符号化モード)を、出力端子208からこの装置の外部に出力する。
上記従来の符号化モード選択処理の流れを、図4のフローチャートを用いて説明する。
まず、フレーム動きベクトル検出を行い(S21)、次にフィールド動きベクトル検出を行う(S22)。
次に、フレーム動きベクトルに対応した誤差評価値とフィールド動きベクトルに対応した誤差評価値を比較して、値が小さい方の誤差評価値に対応する動き補償予測符号化モードを選択する(S23)。
そして、画像相関モードをイントラモードかインターモードのどちらにするかを選択する(S24)。
そして、直交変換符号化モードを直交変換フレームモードもしくは直交変換フィールドモードのどちらにするかを選択する(S25)。
最後に、選択した符号化モード(画像相関モード、動き補償予測符号化モード、直交変換符号化モード)を出力する(S26)。
特許第3092281号公報
従来の符号化モード選択装置では、動き補償予測符号化モード選択処理時にフレーム動きベクトル検出とフィールド動きベクトル検出の両方を行って符号化モードを選択している。しかしながら、動きベクトル検出処理は符号化モード決定処理の中で最も処理量の大きな部分である。従って従来例のように、フレーム動きベクトル検出とフィールド動きベクトル検出の両方の処理を符号化モード選択処理の度に行っていると、動きベクトル検出処理量が増大してしまい、符号化モード選択処理量が大幅に増大してしまうという課題があった。
本発明は以上の課題を鑑みてなされたものである。
本発明は、インターレース画像の符号化に際して符号化効率を低下させることなく、符号化モード選択処理の演算量を削減することが可能な、符号化モード選択装置および符号化モード選択プログラムを提供することを目的とする。
そこで上記課題を解決するために本発明は、下記の装置及びプログラムを提供するものである。
(1)時間的に連続する2つのフィールド画像を重ね合わせてひとつのフレーム画像を構成する、インターレース構造の画像を圧縮符号化するために、画像を所定数の画素単位毎にブロック化し、各ブロックを符号化対象画像マクロブロックに順次設定して、前記符号化対象画像マクロブロック毎に、符号化モードを適応的に選択し出力する、符号化モード選択装置において、
フレーム画像において順次設定される前記符号化対象画像マクロブロック毎に、直交変換符号化の符号化効率の度合いを示すフレーム判定評価値を算出し、フィールド画像において順次設定される前記符号化対象画像マクロブロック毎に、直交変換符号化の符号化効率の度合いを示すフィールド判定評価値を算出し、符号化対象画像内で同じ空間座標に位置する、前記フレーム画像における符号化対象画像マクロブロックと前記フィールド画像における符号化対象画像マクロブロックとで、それぞれ算出した前記フレーム判定評価値と前記フィールド判定評価値の内から符号化効率が良いと判断できる方を選択し、選択した判定評価値がフレーム判定評価値の場合を直交変換フレームモード、選択した判定評価値がフィールド判定評価値の場合を直交変換フィールドモードとする、直交変換符号化モードを出力する直交変換符号化モード選択手段と、(102、S11)
前記直交変換符号化モード選択手段より入力された前記直交変換符号化モードが前記直交変換フレームモードである場合には、動き補償予測符号化に使用する画像をフレーム画像とする動き補償予測フレームモードとし、前記直交変換符号化モードが前記直交変換フィールドモードである場合には、動き補償予測符号化に使用する画像をフィールド画像とする動き補償予測フィールドモードとする、動き補償予測符号化モードを設定し、設定した動き補償予測符号化モードに従って前記符号化対象画像マクロブロックと参照画像を用いて前記符号化対象画像マクロブロック毎に動きベクトルを検出し、検出した前記動きベクトルと前記動き補償予測符号化モードを出力する動きベクトル検出手段と、(103、S12、S13)
前記直交変換符号化モード選択手段より入力された前記直交変換符号化モードが前記直交変換フレームモードの場合はフレーム画像における符号化対象画像マクロブロックを選択して用い、前記直交変換符号化モードが前記直交変換フィールドモードの場合はフィールド画像における符号化対象画像マクロブロックを選択して用いて画像相関モードを選択する手段であり、
選択した前記符号化対象画像マクロブロック毎に直交変換符号化のみを行うイントラモードで符号化した場合の符号化効率の度合いを示すイントラ判定評価値を算出すると共に、選択した前記符号化対象画像マクロブロック毎に直交変換符号化と動き補償予測符号化とを行うインターモードで符号化した場合の符号化効率の度合いを示すインター判定評価値を算出し、算出した前記イントラ判定評価値と前記インター判定評価値の内から符号化効率の良いと判断できる方を選択し、選択した判定評価値がイントラ判定評価値の場合をイントラモード、選択した判定評価値がインター判定評価値の場合をインターモードとする、画像相関モードを出力する画像相関モード選択手段とを有することを特徴とする符号化モード選択装置。(104、S14)
(2)時間的に連続する2つのフィールド画像を重ね合わせてひとつのフレーム画像を構成する、インターレース構造の画像を圧縮符号化するために、画像を所定数の画素単位毎にブロック化し、各ブロックを符号化対象画像マクロブロックに順次設定して、前記符号化対象画像マクロブロック毎に、符号化モードを適応的に選択し出力する機能をコンピュータに実行させるための、符号化モード選択プログラムにおいて、
フレーム画像において順次設定される前記符号化対象画像マクロブロック毎に、直交変換符号化の符号化効率の度合いを示すフレーム判定評価値を算出し、フィールド画像において順次設定される前記符号化対象画像マクロブロック毎に、直交変換符号化の符号化効率の度合いを示すフィールド判定評価値を算出し、符号化対象画像内で同じ空間座標に位置する、前記フレーム画像における符号化対象画像マクロブロックと前記フィールド画像における符号化対象画像マクロブロックとで、それぞれ算出した前記フレーム判定評価値と前記フィールド判定評価値の内から符号化効率が良いと判断できる方を選択し、選択した判定評価値がフレーム判定評価値の場合を直交変換フレームモード、選択した判定評価値がフィールド判定評価値の場合を直交変換フィールドモードとする、直交変換符号化モードを出力する直交変換符号化モード選択機能と、(102、S11)
前記直交変換符号化モード選択機能より入力された前記直交変換符号化モードが前記直交変換フレームモードである場合には、動き補償予測符号化に使用する画像をフレーム画像とする動き補償予測フレームモードとし、前記直交変換符号化モードが前記直交変換フィールドモードである場合には、動き補償予測符号化に使用する画像をフィールド画像とする動き補償予測フィールドモードとする動き補償予測符号化モードを設定し、設定した動き補償予測符号化モードに従って前記符号化対象画像マクロブロックと参照画像を用いて、前記符号化対象画像マクロブロック毎に動きベクトルを検出し、検出した前記動きベクトルと前記動き補償予測符号化モードを出力する動きベクトル検出機能と、(103、S12、S13)
前記直交変換符号化モード選択機能より入力された前記直交変換符号化モードが前記直交変換フレームモードの場合はフレーム画像における符号化対象画像マクロブロックを選択して用い、前記直交変換符号化モードが前記直交変換フィールドモードの場合はフィールド画像における符号化対象画像マクロブロックを選択して用いて画像相関モードを選択する機能であり、
選択した前記符号化対象画像マクロブロック毎に直交変換符号化のみを行うイントラモードで符号化した場合の符号化効率の度合いを示すイントラ判定評価値を算出すると共に、選択した前記符号化対象画像マクロブロック毎に直交変換符号化と動き補償予測符号化とを行うインターモードで符号化した場合の符号化効率の度合いを示すインター判定評価値を算出し、算出した前記イントラ判定評価値と前記インター判定評価値の内から符号化効率の良いと判断できる方を選択し、選択した判定評価値がイントラ判定評価値の場合をイントラモード、選択した判定評価値がインター判定評価値の場合をインターモードとする、画像相関モードを出力する画像相関モード選択機能とをコンピュータに実現させるための符号化モード選択プログラム。(104、S14)
本発明では、インターレース画像における画像圧縮符号化処理時の特性を利用することにより、従来例に比較して符号化効率を落とすことなく以下の効果を得ることができる。
従来例では、動き補償予測符号化モードを選択するためにフレーム画像とフィールド画像の両方において動きベクトル検出を行っていた。
しかし本発明によれば、前記直交変換符号化モード選択処理で選択された直交変換フレームモードまたは直交変換フィールドモードに従って、動き補償予測符号化モードを設定する。よって前記動き補償予測符号化モードに従ったフレーム画像マクロブロックかフィールド画像マクロブロックのうちどちらか一方のみを符号化対象画像マクロブロックとして用いて動きベクトル検出処理を行えばよい。
よって、動きベクトル検出処理量を従来の約半分に削減することが可能となり、符号化モード選択処理量を大幅に削減することが可能となる。
また上記のとおり、動き補償予測符号化モードは直交変換符号化モードの選択結果に従うので、動き補償予測符号化モードの選択処理が必要ない。よって動き補償予測符号化モード選択処理を削除することが可能となり、符号化モード選択処理量を削減することが可能となる。
従来例では図4に示すフローチャートのように、フレーム動きベクトルを検出し(S21)、フィールド動きベクトルを検出し(S22)、検出したフレーム動きベクトルとフィールド動きベクトルを用いて動き補償予測符号化モードを選択し(S23)、選択した動き補償予測符号化モードにおいて画像相関モードを選択し(S24)、選択した画像相関モードにおいて直交変換符号化モードを選択する(S25)という符号化モード選択手順であった。
従って、動き補償予測符号化モードを選択するために、フレーム画像マクロブロックでの動きベクトル検出処理とフィールド画像マクロブロックでの動きベクトル検出処理の両方が必要であった。
本発明では、例えば図2に示すフローチャートのように、符号化対象画像マクロブロックにおいてまず直交変換符号化モードを選択し(S11)、動き補償予測符号化モードは直交変換符号化モードに従うこととし(S12)、動き補償予測符号化モードで選択されたフレーム画像マクロブロックまたはフィールド画像マクロブロックの動きベクトルを検出し(S13)、選択した直交変換符号化モードと検出した動きベクトルを用いて画像相関モードを選択する(S14)という手順とすることを特徴とする。
本発明の符号化モード選択手順によれば、動き補償予測符号化モードは直交変換符号化モードの選択結果に従うために、従来例のような動き補償予測符号化モード選択のための動きベクトル検出処理は必要無い。動きベクトル検出処理は、画像相関モードを選択するために使用される動きベクトルを求めるためにのみ行われる。よって前記動き補償予測符号化モードに従ったフレーム画像マクロブロックかフィールド画像マクロブロックのうちどちらか一方のみを符号化対象画像マクロブロックとして用いて動きベクトル検出処理を行えばよい。
直交変換符号化モードに従って動き補償予測符号化モードを設定しても符号化効率が低下しない根拠は、以下に述べるインターレース画像の符号化処理時の特性による。
動き補償予測符号化は、既に直交変換符号化が行われている符号化対象画像マクロブロックと、同じく既に直交変換符号化が行われている参照画像マクロブロックとの残差成分に対して行われる。このときほとんどのインターレース画像の場合には、動き補償予測符号化モードは、直交変換符号化モードと同一のフレームモード画像マクロブロックまたはフィールド画像マクロブロックを使用したほうが符号化効率が良くなる方向となる。従ってMPEG−4AVC等の新しい符号化規格においては、直交変換符号化モードと動き補償予測符号化モードが独立しておらず、一つのモードとして同時に切り替える規定になっている。
また、直交変換符号化モード選択を、符号化対象画像マクロブロックのみを用いて行っても符号化効率が低下しない根拠は、以下に述べるインターレース画像の直交変換符号化モード選択処理時の特性による。
インターレース画像において、直交変換符号化モードは、画像内の隣接する位置にある水平ライン間(フレーム画像に相当する)で画素の相関性が高い場合は直交変換フレームモードを選択すると符号化効率が高くなる。また、1ライン飛ばした位置にある水平ライン間(フィールド画像に相当する)で画素の相関性が高い場合は直交変換フィールドモードを選択すると符号化効率が高くなる。
しかるに、直交変換フレームモードと直交変換フィールドモードにおける画素の相関性の高さ(直交変換符号化時の符号化効率の高低)は、イントラモードで使用する符号化対象画像マクロブロックにおいても、インターモードで使用する符号化対象画像マクロブロックと参照画像マクロブロックとの残差成分においても、ほとんど同じ傾向となる。
従来例では、画像相関モードを先に選択して、その選択したモード(イントラモードまたはインターモード)によって直交変換符号化モードを選択している。
しかし、あえてこの従来例のような処理にしなくても、上記インターレース画像における直交変換符号化モード選択時の特性があるため、本発明のように符号化対象画像マクロブロックのみを用いただけでも適切な直交変換符号化モード選択が可能であり、符号化効率の低下を生じることはない。
本発明の実施例を、図面を参照しながら説明する。
図1は本発明による符号化モード選択装置の一実施例のブロック図である。
本実施例は、画像メモリ101と、直交変換符号化モード選択手段102と、動きベクトル検出手段103と、画像相関モード選択手段104と、符号化モード出力手段105とから構成されている。
画像メモリ101は、この装置の外部から入力された符号化対象画像と参照画像の画像信号を記憶している。
直交変換符号化モード選択手段102は、直交変換符号化モードを直交変換フレームモードか直交変換フィールドモードのどちらにするかを選択する。具体的には、符号化対象画像マクロブロックにおけるフレーム判定評価値(Frame)とフィールド判定評価値(Field)を求めて、値がより小さい方を選択する。フレーム/フィールド判定評価値は、それぞれ数1の数式で算出される。
Figure 2006060538
i,jはそれぞれX座標Y座標を表している。Sは符号化対象画像マクロブロックの各座標ごとの画素値を表している。
Frameはフレーム相当の水平ライン間の画素の相関の度合いを表しており、Fieldはフィールド相当の水平ライン間の画素の相関の度合いを表している。それぞれ値が小さいほど相関が高く、符号化効率が良いと判断できる。従って、値が小さい方の直交変換符号化モードを選択すると符号化効率が良くなる。
選択した直交変換符号化モードを、動きベクトル検出手段103と符号化モード出力手段105に供給する。
動きベクトル検出手段103は、供給された直交変換符号化モードに従って動き補償予測符号化モードを設定し、設定した動き補償予測符号化モードに従ったフレーム画像マクロブロックまたはフィールド画像マクロブロックを符号化対象画像マクロブロックとして用いて動きベクトル検出を行う。検出された動きベクトルを、画像相関モード選択手段104に供給する。また、設定した動き補償予測符号化モードを符号化モード出力手段105に供給する。
このように、本実施例の動きベクトル検出手段では、供給された直交変換符号化モードに従ったフレームモードまたはフィールドモードを動き補償予測符号化モードにも設定している。従って動きベクトル検出は、設定した動き補償予測フレームモードまたは動き補償予測フィールドモードのどちらか一方でのみ行えば良い。
よって、動きベクトル検出処理量を従来の約半分に削減することが可能となり、符号化モード選択処理量を大幅に削減することが可能となる。
また、動き補償予測符号化モードは直交変換符号化モードの選択結果に従うので、動き補償予測符号化モードの選択処理が必要ない。よって動き補償予測符号化モード選択処理を削除することが可能となり、符号化モード選択処理量を削減することが可能となる。
画像相関モード選択手段104は、画像相関符号化モードをイントラモードかインターモードのどちらにするかを選択する。具体的には、符号化対象画像マクロブロックにおけるイントラ判定評価値(Intra)と、インター判定評価値(Inter)を求めて、値がより小さい方を選択する。イントラ/インター判定評価値はそれぞれ数2の数式で算出される。
Figure 2006060538
i,jはそれぞれX座標Y座標を表している。Rは、動きベクトル検出手段103より供給された、動きベクトルで示される参照画像の各座標ごとの画素値を表す。Sは符号化対象画像マクロブロックの各座標ごとの画素値を表している。Nは符号化対象画像マクロブロックの画素の数を表している。
Intraはイントラ判定評価値であり、符号化対象画像マクロブロックを直交変換符号化した場合に高域成分がどの程度発生するかを見積もった概算値である。
Interはインター判定評価値であり、符号化対象画像マクロブロックと対応する参照画像との誤差評価値である。
イントラ判定評価値とインター判定評価値は、異なる判断要素から算出される評価値でありそのままでは比較の対象とはならない。しかし、どちらも値が小さくなる方が符号化効率が良くなる方向であるのは一致している。従って、過去の実験データより導いた所定の係数を、イントラ判定評価値もしくはインター判定評価値に加算または乗算することにより、両者が比較の対象となり得るように加工する手法が一般的に用いられている。本説明ではこの係数の加算または乗算する処理は省略している。
選択した画像相関モードは、符号化モード出力手段105に供給される。
符号化モード出力手段105は、供給された符号化モード(画像相関モード、動き補償予測符号化モード、直交変換符号化モード)を、出力端子106からこの装置の外部に出力する。
なお本説明では、直交変換符号化と動き補償予測符号化それぞれで、フレームモードとフィールドモードとを独立に切り替える規定の符号化規格を想定している。従って、動き補償予測符号化モードと直交変換符号化モードを別々のモードとして出力している。直交変換符号化モードと動き補償予測符号化モードが独立しておらず、一つのモードとして同時に切り替える規定の符号化規格の場合は、動き補償予測符号化モードと直交変換符号化モードをまとめて一つのフレームモードまたはフィールドモードとして出力することで対応してもよい。
また、直交変換符号化モード選択手段102と画像相関モード選択手段104で行っている各判定評価値算出方法は実施の一例であり、この例に限らず、符号化効率の良し悪しを判定する評価値の算出方法であればどのような方法でもよい。
またさらに進んだ符号化効率の良し悪しを判定する評価値の算出方法として、例えば符号化した画像を再度復号した復号画像を用いて符号化対象画像との歪値を算出し、算出した歪値を発生符号量に換算した値を発生符号量に加算するなどの方法がある。このような方法を用いても良い。
本実施例の符号化モード選択処理の流れを、図2のフローチャートを用いて説明する。
まず、符号化対象画像マクロブロックを用いて、直交変換符号化モードを直交変換フレームモードもしくは直交変換フィールドモードのどちらにするかを、フレーム/フィールド判定評価値により選択する(S11)。
次に、直交変換符号化モードに従い動き補償予測符号化モードを設定する(S12)。
次に、設定した動き補償予測符号化モードにおいて動きベクトル検出を行う(S13)。
そして、符号化対象画像マクロブロックの画像相関モードをイントラモードかインターモードのどちらにするかを、イントラ/インター判定評価値により選択する。(S14)。
最後に、選択した符号化モード(画像相関モード、動き補償予測符号化モード、直交変換符号化モード)を出力する(S15)。
さらにまた、本発明は上記した符号化モード選択装置の機能をコンピュータに実現させるためのプログラムも含むものである。これらのプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
本発明の符号化モード選択装置の一実施の形態のブロック図である。 本発明の符号化モード選択処理の一実施の形態のフローチャートである。 従来の符号化モード選択装置の一例のブロック図である。 従来の符号化モード選択処理の一例のフローチャートである。
符号の説明
101 画像メモリ
102 直交変換符号化モード選択手段
103 動きベクトル検出手段
104 画像相関モード選択手段
105 符号化モード出力手段
106 符号化モード出力端子
S11 直交変換符号化モード選択ステップ
S12 動き補償予測符号化モード設定ステップ
S13 動きベクトル検出ステップ
S14 画像相関モード選択ステップ
S15 符号化モード出力ステップ

Claims (2)

  1. 時間的に連続する2つのフィールド画像を重ね合わせてひとつのフレーム画像を構成する、インターレース構造の画像を圧縮符号化するために、画像を所定数の画素単位毎にブロック化し、各ブロックを符号化対象画像マクロブロックに順次設定して、前記符号化対象画像マクロブロック毎に、符号化モードを適応的に選択し出力する、符号化モード選択装置において、
    フレーム画像において順次設定される前記符号化対象画像マクロブロック毎に、直交変換符号化の符号化効率の度合いを示すフレーム判定評価値を算出し、フィールド画像において順次設定される前記符号化対象画像マクロブロック毎に、直交変換符号化の符号化効率の度合いを示すフィールド判定評価値を算出し、符号化対象画像内で同じ空間座標に位置する、前記フレーム画像における符号化対象画像マクロブロックと前記フィールド画像における符号化対象画像マクロブロックとで、それぞれ算出した前記フレーム判定評価値と前記フィールド判定評価値の内から符号化効率が良いと判断できる方を選択し、選択した判定評価値がフレーム判定評価値の場合を直交変換フレームモード、選択した判定評価値がフィールド判定評価値の場合を直交変換フィールドモードとする、直交変換符号化モードを出力する直交変換符号化モード選択手段と、
    前記直交変換符号化モード選択手段より入力された前記直交変換符号化モードが前記直交変換フレームモードである場合には、動き補償予測符号化に使用する画像をフレーム画像とする動き補償予測フレームモードとし、前記直交変換符号化モードが前記直交変換フィールドモードである場合には、動き補償予測符号化に使用する画像をフィールド画像とする動き補償予測フィールドモードとする、動き補償予測符号化モードを設定し、設定した動き補償予測符号化モードに従って前記符号化対象画像マクロブロックと参照画像を用いて前記符号化対象画像マクロブロック毎に動きベクトルを検出し、検出した前記動きベクトルと前記動き補償予測符号化モードを出力する動きベクトル検出手段と、
    前記直交変換符号化モード選択手段より入力された前記直交変換符号化モードが前記直交変換フレームモードの場合はフレーム画像における符号化対象画像マクロブロックを選択して用い、前記直交変換符号化モードが前記直交変換フィールドモードの場合はフィールド画像における符号化対象画像マクロブロックを選択して用いて画像相関モードを選択する手段であり、
    選択した前記符号化対象画像マクロブロック毎に直交変換符号化のみを行うイントラモードで符号化した場合の符号化効率の度合いを示すイントラ判定評価値を算出すると共に、選択した前記符号化対象画像マクロブロック毎に直交変換符号化と動き補償予測符号化とを行うインターモードで符号化した場合の符号化効率の度合いを示すインター判定評価値を算出し、算出した前記イントラ判定評価値と前記インター判定評価値の内から符号化効率の良いと判断できる方を選択し、選択した判定評価値がイントラ判定評価値の場合をイントラモード、選択した判定評価値がインター判定評価値の場合をインターモードとする、画像相関モードを出力する画像相関モード選択手段とを有することを特徴とする符号化モード選択装置。
  2. 時間的に連続する2つのフィールド画像を重ね合わせてひとつのフレーム画像を構成する、インターレース構造の画像を圧縮符号化するために、画像を所定数の画素単位毎にブロック化し、各ブロックを符号化対象画像マクロブロックに順次設定して、前記符号化対象画像マクロブロック毎に、符号化モードを適応的に選択し出力する機能をコンピュータに実行させるための、符号化モード選択プログラムにおいて、
    フレーム画像において順次設定される前記符号化対象画像マクロブロック毎に、直交変換符号化の符号化効率の度合いを示すフレーム判定評価値を算出し、フィールド画像において順次設定される前記符号化対象画像マクロブロック毎に、直交変換符号化の符号化効率の度合いを示すフィールド判定評価値を算出し、符号化対象画像内で同じ空間座標に位置する、前記フレーム画像における符号化対象画像マクロブロックと前記フィールド画像における符号化対象画像マクロブロックとで、それぞれ算出した前記フレーム判定評価値と前記フィールド判定評価値の内から符号化効率が良いと判断できる方を選択し、選択した判定評価値がフレーム判定評価値の場合を直交変換フレームモード、選択した判定評価値がフィールド判定評価値の場合を直交変換フィールドモードとする、直交変換符号化モードを出力する直交変換符号化モード選択機能と、
    前記直交変換符号化モード選択機能より入力された前記直交変換符号化モードが前記直交変換フレームモードである場合には、動き補償予測符号化に使用する画像をフレーム画像とする動き補償予測フレームモードとし、前記直交変換符号化モードが前記直交変換フィールドモードである場合には、動き補償予測符号化に使用する画像をフィールド画像とする動き補償予測フィールドモードとする動き補償予測符号化モードを設定し、設定した動き補償予測符号化モードに従って前記符号化対象画像マクロブロックと参照画像を用いて、前記符号化対象画像マクロブロック毎に動きベクトルを検出し、検出した前記動きベクトルと前記動き補償予測符号化モードを出力する動きベクトル検出機能と、
    前記直交変換符号化モード選択機能より入力された前記直交変換符号化モードが前記直交変換フレームモードの場合はフレーム画像における符号化対象画像マクロブロックを選択して用い、前記直交変換符号化モードが前記直交変換フィールドモードの場合はフィールド画像における符号化対象画像マクロブロックを選択して用いて画像相関モードを選択する機能であり、
    選択した前記符号化対象画像マクロブロック毎に直交変換符号化のみを行うイントラモードで符号化した場合の符号化効率の度合いを示すイントラ判定評価値を算出すると共に、選択した前記符号化対象画像マクロブロック毎に直交変換符号化と動き補償予測符号化とを行うインターモードで符号化した場合の符号化効率の度合いを示すインター判定評価値を算出し、算出した前記イントラ判定評価値と前記インター判定評価値の内から符号化効率の良いと判断できる方を選択し、選択した判定評価値がイントラ判定評価値の場合をイントラモード、選択した判定評価値がインター判定評価値の場合をインターモードとする、画像相関モードを出力する画像相関モード選択機能とをコンピュータに実現させるための符号化モード選択プログラム。



JP2004240532A 2004-08-20 2004-08-20 符号化モード選択装置及び符号化モード選択プログラム Expired - Fee Related JP4222274B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004240532A JP4222274B2 (ja) 2004-08-20 2004-08-20 符号化モード選択装置及び符号化モード選択プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004240532A JP4222274B2 (ja) 2004-08-20 2004-08-20 符号化モード選択装置及び符号化モード選択プログラム

Publications (2)

Publication Number Publication Date
JP2006060538A true JP2006060538A (ja) 2006-03-02
JP4222274B2 JP4222274B2 (ja) 2009-02-12

Family

ID=36107652

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004240532A Expired - Fee Related JP4222274B2 (ja) 2004-08-20 2004-08-20 符号化モード選択装置及び符号化モード選択プログラム

Country Status (1)

Country Link
JP (1) JP4222274B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100809296B1 (ko) 2006-02-22 2008-03-04 삼성전자주식회사 타입이 일치하지 않는 하위 계층의 정보를 사용하여인터레이스 비디오 신호를 인코딩/디코딩 하는 방법 및장치
JP2009542145A (ja) * 2006-06-30 2009-11-26 トムソン ライセンシング フレーム・モード又はフィールド・モードの符号化方法
KR101049258B1 (ko) 2006-02-22 2011-07-13 삼성전자주식회사 타입이 일치하지 않는 하위 계층의 정보를 사용하여인터레이스 비디오 신호를 인코딩/디코딩 하는 방법 및장치
JP2013138502A (ja) * 2013-03-04 2013-07-11 Canon Inc 符号化装置及びその制御方法、コンピュータプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100809296B1 (ko) 2006-02-22 2008-03-04 삼성전자주식회사 타입이 일치하지 않는 하위 계층의 정보를 사용하여인터레이스 비디오 신호를 인코딩/디코딩 하는 방법 및장치
KR101049258B1 (ko) 2006-02-22 2011-07-13 삼성전자주식회사 타입이 일치하지 않는 하위 계층의 정보를 사용하여인터레이스 비디오 신호를 인코딩/디코딩 하는 방법 및장치
JP2009542145A (ja) * 2006-06-30 2009-11-26 トムソン ライセンシング フレーム・モード又はフィールド・モードの符号化方法
JP2013138502A (ja) * 2013-03-04 2013-07-11 Canon Inc 符号化装置及びその制御方法、コンピュータプログラム

Also Published As

Publication number Publication date
JP4222274B2 (ja) 2009-02-12

Similar Documents

Publication Publication Date Title
US9743088B2 (en) Video encoder and video encoding method
KR101197506B1 (ko) 비디오 유닛 내의 경계 아티팩트 정정
US8411750B2 (en) Global motion parameter estimation using block-based motion vectors
KR101473278B1 (ko) 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램
US8170355B2 (en) Image encoding/decoding method and apparatus
JP4650173B2 (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP5488612B2 (ja) 動画像符号化装置および動画像復号装置
WO2010001916A1 (ja) 画像処理装置および方法
JP2006025428A (ja) ソース画像のシーケンスを符号化する方法及び装置
JP2008283303A (ja) 画像符号化装置及び画像符号化方法
JP2011199362A (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
WO2012098845A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
JP4360093B2 (ja) 画像処理装置および符号化装置とそれらの方法
JP2013115583A (ja) 動画像符号化装置及びその制御方法並びにプログラム
JP2014075652A (ja) 画像符号化装置及び方法
JP4222274B2 (ja) 符号化モード選択装置及び符号化モード選択プログラム
CN113395520A (zh) 解码预测方法、装置及计算机存储介质
JP5533885B2 (ja) 動画像符号化装置および動画像復号装置
JP6181242B2 (ja) 画像復号化方法
JP5951915B2 (ja) 画像復号化方法
JP5946980B1 (ja) 画像復号化方法
JP5911982B2 (ja) 画像復号化方法
JP2011234045A (ja) 画像符号化装置及び画像符号化方法
JP5750191B2 (ja) 画像復号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081028

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081110

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131128

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees