JP2008017225A

JP2008017225A - 通信端末装置

Info

Publication number: JP2008017225A
Application number: JP2006187124A
Authority: JP
Inventors: Shingo Suzuki; 真吾鈴木; Yoshihiro Kikuchi; 義浩菊池; Yuji Kawashima; 裕司川島
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-07-06
Filing date: 2006-07-06
Publication date: 2008-01-24
Anticipated expiration: 2026-07-06
Also published as: US20080008240A1; JP4829019B2; US8290041B2

Abstract

【課題】選択された符号化モードに応じて離散コサイン変換および量子化処理を制御することで、これらの処理に伴う負荷の低減を図り、かつ画質の劣化を抑えることの出来る通信端末装置を提供する。
【解決手段】制御部１２１は、画像入力部１１を介して入力された動画像の符号かを行う際、処理部１２２によって実行される符号化処理が、輝度信号に対する４×４イントラ予測符号化または１６×１６イントラ世s区符号化、色差信号に対するイントラ予測符号化、またはインター予測符号化のいずれの符号化モードが実行されるか確認し、選択された符号化モードに応じ、更に、予測誤差を考慮して離散コサイン変換処理および量子化処理における処理内容を切替える。
【選択図】図１

Description

本発明は、動画像を符号化するための通信端末装置に関し、特に、画質の劣化を伴うことなく離散コサイン変換、量子化処理の負荷を低減する機能を備えた通信端末装置に関する。

動画像の符号化は、入力した画像をフレーム単位に区切るとともに、このフレームを、例えば８画素×８画素の矩形領域からなるマクロブロック（ＭＢ）に分割し、このＭＢに対して離散コサイン変換（ＤＣＴ変換）、量子化、そしてハフマン符号化と各種の処理を施すことで実行される。

このような動画像の符号化においては、ＤＣＴ変換と量子化の処理は処理量が非常に大きいため、その処理量を低減するための様々な技術が考えられている。

例えば、特許文献１には、画像信号をブロックに分割して符号化を行う際に、ブロック毎に予測残差信号の評価量を求め、この評価量が閾値以上の場合は有効ブロック、一方、閾値未満のときは無効ブロックと判定し、無効ブロックと判定されたブロックについては予測誤差情報を送らない技術が開示されている。

特許文献１に開示されている技術を用いることで、量子化処理を行った結果の係数が全てゼロとなる場合にＤＣＴ変換と量子化の処理を省略することが可能となる。
特開平１０−２１０４８０号公報

ところで、近年、動画像を符号化する技術の一つとしてＨ．２６４と呼ばれる技術が標準化されているが、このＨ．２６４では、符号化モードが非常に多いことから、選択された符号化モードによっては予測誤差の性質が異なる場合がある。このため、全ての符号化モードに対して画一的な処理量削減の方法を適用すると、画質の劣化につながる恐れがある。

この発明はこのような課題を解決するためになされたもので、選択された符号化モードに応じて離散コサイン変換および量子化処理を制御することで、これらの処理に伴う負荷の低減を図り、かつ画質の劣化を抑えることを目的としている。

上記の目的を達成するため、この発明では、イントラ予測符号化処理およびインター予測符号化処理を選択的に実行することで動画像の符号化を行う符号化部を備えた通信端末装置において、前記符号化部は、イントラ予測符号化処理を実行する場合、符号化対象の第１のサイズのブロックと、このブロックに隣接するブロックから作成した第１のサイズの予測画像ブロックとの差を計算して差分画像を作成し、該差分画像を前記第１のサイズのブロックより小さい第２のサイズのブロックに分割し、該分割された差分画像から予測誤差を計算し、該予測誤差と予め設定された閾値とを比較し、この比較の結果、予測誤差が閾値を越える場合は、前記差分画像に対して離散コサイン変換を行うとともに、この離散コサイン変換で得た交流成分に対して量子化処理を行い、予測誤差が閾値以下である場合は、直流成分のみを求める離散コサイン変換を行うとともに、交流成分にゼロを設定する第１の処理を実行し、前記第１の処理を行った後、直流成分に対して直交変換および量子化処理を行う第２の処理を実行することを特徴としている。

この発明によれば、選択された符号化モードに応じて離散コサイン変換および量子化処理を制御することで、画質の劣化を伴うことなく離散コサイン変換および量子化処理の負荷を低減することのできる動画像の符号化機能を備えた通信端末装置を提供できる。

以下、図面を参照して本発明の一実施形態について説明する。
図１は本発明に係る動画像の符号化処理が適用された通信端末装置１０の概略構成を示す図であり、通信端末装置は、携帯電話、パーソナルコンピュータなどである。なお、通信端末装置が携帯電話やパーソナルコンピュータである場合は、同図で示される構成以外に表示部やキー入力部などが存在するが、本発明の説明に必要としないため、図中には示されていない。

図１において、通信端末装置１０は、カメラなどの画像入力部１１、画像入力部１１から入力された動画像を符号化処理する符号化部１２、符号化部１２で符号化された動画像を無線回線などを介して外部に送信処理する送信部１３とを備えている。

また、符号化部１２は、符号化の処理動作を制御する制御部１２１と、制御部１２１による制御に従って入力した動画像の符号化処理を行う処理部１２２とから構成される。

ここで処理部１２２が動画像の符号化を行うために備える機能について説明する。
図２は処理部１２２の内部の概略構成を示すもので、処理部１２２は、演算部２０、ＤＣＴ（離散コサイン変換）・量子化部２１、エントロピー符号化部２２、逆ＤＣＴ・逆量子化部２３、演算部２４、デブロッキングフィルタ２５、フレームメモリ２６、インター予測部２７、イントラ予測部２８、および切替え部２９とを有している。

演算部２０は、切替え部２９から出力された予測信号と、画像入力部１１を介して入力された画像から求めた画像フレーム信号である入力信号との差分を求める演算を行う。そして、求められた差分は差分信号として後続する処理のために出力される。

ＤＣＴ・量子化部２１は、演算部２０から出力された差分信号に対してＤＣＴ処理を施してＤＣＴ係数を求めるとともに、このＤＣＴ係数を量子化して量子化係数を求める。

エントロピー符号化部２２は、ＤＣＴ・量子化部２１から出力された量子化係数に対してエントロピー符号化処理を施す。このエントロピー符号化としては、例えば、コンテキスト適応型可変長符号化方式やコンテキスト適応型２値算術符号化方式が用いられる。

一方、ＤＣＴ・量子化部２１から出力された量子化係数は、逆量子化・逆ＤＣＴ部２３にも入力される。逆量子化・逆ＤＣＴ部２３では、入力された量子化係数に対して逆量子化処理を行ってＤＣＴ係数を復元されるとともに、このＤＣＴ係数に対して逆ＤＣＴ処理を行って差分信号を復元させる。

演算部２４は、逆量子化・逆ＤＣＴ部２３から出力された差分信号と演算部２１に入力された予測信号とを用いて画像フレーム信号を復元する。そして、この復元された画像フレーム信号はデブロッキングフィルタ２５を介してフレームメモリ２６に記憶され、後のインター予測に利用される。

デブロッキングフィルタ２５は、演算部２４の出力である復元された画像フレーム信号に対してデブロッキング処理を行い、符号化処理の単位であるブロック間に生じた歪を低減する処理を行う。

インター予測部２７は、上記入力信号（画像フレーム信号）とフレームメモリ２６に記憶されている復元された過去の画像フレーム信号とから、インター予測での圧縮効率を示すインター予測評価値を求め、また、フレームメモリ２６に記憶されている画像フレーム信号から切り出した部分画像フレーム信号をインター予測信号として出力する。

イントラ予測部２８は、入力された１つの画像フレーム信号を構成するブロック間の相関関係を利用して圧縮処理を行うための予測を行うもので、符号化対象のブロックとこのブロックに隣接したブロックから求めたイントラ予測信号と、このイントラ予測での圧縮効率を示すイントラ予測評価値を出力する。

そして、切替え部２９は、制御部１２１の指示に従い、上記入力信号である画像フレーム信号を構成するブロックに対し、インター符号化を行わせるか、イントラ符号化を行わせるかの切り替えを行う。

さて、Ｈ．２６４／ＡＶＣのイントラ符号化では、輝度信号に対して４×４画素単位で符号化を行う４×４イントラ予測符号化と１６×１６画素単位で符号化を行う１６×１６イントラ予測符号化の２つの符号化処理と、色差信号に対する画面内予測符号化と３種類の符号化モードが存在しているため、インター符号化と合わせると合計４つの符号化処理（符号化モード）が存在することになる。
そこで、本発明では、各符号化モードに応じて離散コサイン変換および量子化の処理を適応的に制御することで画質の劣化を伴うことなくこれらの処理の負荷を低減するようにしている。

以下、制御部１２１によって実行される本発明の離散コサイン変換および量子化処理の制御内容、および処理部１２２による離散コサイン変換および量子化の処理内容について説明する。

制御部１２１は、まず符号化モードの判定を行い、この判定の結果が、インター予測モード、輝度に対するイントラ４×４予測モード、輝度に対するイントラ１６×１６予測モード、および色差に対するイントラ予測モードのいずれかに該当するかに応じて離散コサイン変換および量子化の処理内容を決定し、処理部１２２に対して指示を出す。

まず、制御部１２１がインター予測モードであると認識した場合について、図３を参照して説明する。
インター予測モードであることが認識されると、制御部１２１による制御を受けて、演算部２０は、インター予測部２７から出力され切替え部２９を介して入力されたインター予測信号と入力信号を分割して得た信号とを入力して差分を求め、差分画像を作成する（Ｓ１１）。そして、この差分画像が求まると、制御部１２１は、差分画像から４×４画素で構成されるブロック毎に予測誤差を表すＳＡＤ（Sum of Absolute Difference）値を計算する（Ｓ１２）。

続いて制御部１２１は、ＳＡＤ値の計算が終わると、即ち、予測誤差が求まると、この予測誤差と予め設定されている閾値とを比較し、予測誤差が閾値以下であるか否かの判定を行う（Ｓ１３）。この判定の結果、予測誤差が閾値以下である場合は、ＤＣＴ・量子化部２１を制御して、全ての量子化係数にゼロ値を代入させる（Ｓ１４）。

ゼロ値の代入処理が完了すると、制御部１２１は、処理を行ったブロックの示すブロックインデックスが最大値を示すか否かを確認し（Ｓ１７）、最大値を示す場合は、８×８画素で構成されるブロック、即ち上記ＳＡＤ値の計算対象とした４×４画素で構成されるブロックが４つで構成されるブロック毎にＣＢＰ（coded_block_pattern）値を計算し（Ｓ１８）、インター予測による符号化処理を終了する。

なお、ＣＢＰ値とは、量子化処理によって得た量子化係数の交流（ＡＣ）成分の係数、直流（ＤＣ）成分の係数が存在するか否かを示す情報で、ＣＢＰ値が０のとき交流・直流成分とも係数なし、１のとき直流成分の係数のみ存在、そして２のとき交流成分の係数のみ存在または交流・直流成分とも係数が存在することを示す。
一方、ブロックインデックスが最大値でない場合は、再びＳ１３に戻り、次の４×４画素で構成されるブロックの予測誤差と閾値との比較処理以降を実行する。

また、Ｓ１３の判定において予測誤差が閾値を超えている場合は、制御部１２１はＤＣＴ・量子化部２１を制御して、４×４画素で構成されるブロック単位で整数精度のＤＣＴ処理を実行させるとともに（Ｓ１５）、この整数精度のＤＣＴ処理で得られた係数に対して量子化処理を実行させる（Ｓ１６）。

その後は、上述のようにブロックインデックスが最大値を示すか否かの確認（Ｓ１７）、ＣＢＰの計算（Ｓ１８）が行われる。そして、上記の処理が完了すると、ＤＣＴ・量子化部２１から出力された量子化係数はエントロピー符号化部２２で可変長符号化処理を施され、送信部１３を介してネットワークなどへ出力される。

次に、制御部１２１がイントラ４×４予測モードであると認識した場合について、図４を参照して説明する。
イントラ４×４予測モードであることが認識されると、制御部１２１による制御に基づいて４×４画素から構成されるブロックの予測画像を作成する（Ｓ２１）。ここで、予測画像とは、符号化対象のブロック内の各画素をこのブロックの周囲に存在するブロック中で、ブロックの境界位置にある画素を用いて予測するものである。

予測画像の作成が終わると、演算部２０は、入力信号に含まれる符号化対象のブロックと上記予測画像とから差分画像を作成する（Ｓ２２）。そして、演算部２０によって差分画像が作成されると、制御部１２１は、この差分画像から予測誤差を表すＳＡＤ値の計算を行う（Ｓ２３）。

続いて、制御部１２１は、予測誤差が求まると、この予測誤差と予め設定されている閾値との比較を行い（Ｓ２４）、予測誤差が閾値以下である場合は、ＤＣＴ処理および量子化の処理を行わずに、処理を行ったブロックの示すブロックインデックスが最大値を示すか確認し（Ｓ２８）、最大値を示す場合は処理を終了する。
一方、ブロックインデックスが最大値でない場合は、再びＳ２１に戻り、次の４×４画素で構成されるブロックに対する処理を継続する。

また、Ｓ２４の判定において予測誤差が閾値を超えている場合は、制御部１２１はＤＣＴ・量子化部２１を制御して、４×４画素で構成されるブロックに対するＤＣＴ処理を行うとともに（Ｓ２５）、この整数精度のＤＣＴ処理で得られた係数に対して量子化処理を実行させる（Ｓ２６）。そして、制御部１２１は、前述のＤＣＴ・量子化処理部２１で行われた処理結果に基づいてＣＢＰ値を計算する（Ｓ２７）。

その後、制御部１２１は、上記と同様に処理を行ったブロックの示すブロックインデックスが最大値を示すか確認し、ブロックインデックスが最大値でなければＳ２１以下の処理を継続させ、最大値を示す場合は処理を終了させる。
そして、上記の処理が完了すると、ＤＣＴ・量子化部２１から出力された量子化係数はエントロピー符号化部２２で可変長符号化処理を施され、送信部１３を介してネットワークなどへ出力される。

次に、制御部１２１がイントラ１６×１６予測モードであると認識した場合について、図５を参照して説明する。
イントラ１６×１６予測モードであることが認識されると、制御部１２１による制御に基づいて、イントラ予測部２８は、１６×１６画素から構成されるブロックの予測画像を作成する（Ｓ２１）。ここでも同様に、予測画像は、符号化対象のブロック内の各画素をこのブロックの周囲に存在するブロック中で、ブロックの境界位置にある画素を用いて予測することで作成される。

そして、演算部２０を制御することで、作成された予測画像と入力信号を分割して得た１６×１６画素で構成されるブロックとから差分を求め、差分画像を作成する（Ｓ３２）。差分画像が求まると、制御部１２１は、１６×１６画素で構成される差分画像を４×４画素で構成されるブロックに分割するとともに、この４×４画素のブロック単位で予測誤差を示すＳＡＤ値を計算する（Ｓ３３）。
続いて制御部１２１は、計算した予測誤差と予め設定された閾値との比較を行い（Ｓ３４）、予測誤差が閾値以下である場合は、直流成分のみを求める離散コサイン変換を実行させるとともに（Ｓ３５）、交流成分にゼロ値を代入させる（Ｓ３６）。
なお、この直流成分のみを求める離散コサイン変換処理は、直流成分と交流成分とを求める通常の離散コサイン変換に比べて軽い処理で求めることが出来るという特徴と備えている。

一方、上記予測誤差が閾値を越えている場合は、ＤＣＴ・量子化部を制御して、４×４画素で構成される差分画像に対して整数精度の離散コサイン変換を実行させ（Ｓ３７）、そして、この離散コサイン変換で得た交流成分のみについて量子化処理を実行させる（Ｓ３８）。
そして、上記Ｓ３６およびＳ３８の処理が終わると、制御部１２１は、符号化対象の４×４画素のブロックが示すブロックインデックスが最大値であるか確認し（Ｓ３９）、最大値でない場合は、Ｓ３４に戻って、次の４×４画素の差分画像に対して同様の処理を実行させる。
また、ブロックインデックスが最大値である場合は、直流成分の係数に対してのみ量子化処理を行い（Ｓ４０）、その後ＣＢＰを計算して処理を終了させる。
なお、上記直流成分の係数に対する量子化処理を行う前に、アダマール変換などの直交変換が行われる。

そして、上記の処理が完了すると、ＤＣＴ・量子化部２１から出力された量子化係数はエントロピー符号化部２２で可変長符号化処理を施され、送信部１３を介してネットワークなどへ出力される。

次に、制御部１２１が色差信号に対して符号化処理を行うと認識した場合について、図６を参照して説明する。
制御部１２１が色差信号に対して符号化を行うことを認識すると、入力信号中に含まれる符号化対象のブロックと、インター予測部２７，またはイントラ予測部２８を制御して、符号化対象のブロックの予測画像を求め、そして演算部２０を制御して符号化対象のブロックと予測画像との差を演算させて差分画像を作成させる（Ｓ５１）。なお、色差信号を符号化する場合は、８×８画素で構成されるブロック単位で実行されるため、前記符号化対象のブロックは８×８画像で構成される。

差分画像が求まると、制御部１２１は、差分画像を４×４画素からなるブロックに分割し、この分割されたブロック毎に予測誤差を表すＳＡＤ値を計算し（Ｓ５２）、この予測誤差とあらかじめ設定された閾値との比較を行う（Ｓ５３）。
この比較の結果、予測誤差が閾値以下である場合は、直流成分のみを求める離散コサイン変換を実行させるとともに（Ｓ５４）、交流成分にゼロ値を代入させる（Ｓ５５）。

一方、上記予測誤差が閾値を越えている場合は、ＤＣＴ・量子化部を制御して、４×４画素で構成される差分画像に対して整数精度の離散コサイン変換を実行させ（Ｓ５６）、そして、この離散コサイン変換で得た交流成分のみについて量子化処理を実行させる（Ｓ５７）。

そして、上記Ｓ５５およびＳ５７の処理が終わると、制御部１２１は、符号化対象の４×４画素のブロックが示すブロックインデックスが最大値であるか確認し（Ｓ５８）、最大値でない場合は、Ｓ５３に戻って、次の４×４画素の差分画像に対して同様の処理を実行させる。
また、ブロックインデックスが最大値である場合は、直流成分の係数に対してのみ量子化処理を行い（Ｓ５９）、その後ＣＢＰを計算して処理を終了させる。
なお、上記直流成分の係数に対する量子化処理を行う前に、アダマール変換などの直交変換が行われる。

このように、符号化モードに応じて離散コサイン変換および量子化処理を変更させることで、画質の劣化を抑えながら離散コサイン変換および量子化処理における処理量を削減することが可能となる。

また、イントラ１６×１６予測モードと色差信号を符号化するモードでは、直流成分の係数が残りやすいという特徴があることから、直流成分の係数に対する量子化は行うことも特徴としている。

なお、上記予測誤差と閾値との比較では、「予測誤差＜閾値」を基準に判定を行っているが、これを「予測誤差＞閾値」として判定しても良い。

動画像の符号化処理機能を備えた通信端末装置の構成を示す図。動画像を符号化するための構成を示す図。本発明によるインター予測を実行する場合の処理を示す図。本発明によるイントラ予測を実行する場合の処理を示す図。本発明によるイントラ予測を実行する場合の処理を示す図。本発明の色差信号に対する符号化処理を示す図。

符号の説明

１０・・・通信端末装置、１１・・・画像入力部、１２・・・符号化部、１３・・・送信部、１２１・・・制御部、１２２・・・処理部、２０・・・演算部、２１・・・ＤＣＴ・量子化部、２２・・・エントロピー符号化部、２３・・・逆量子化・逆ＤＣＴ部、２４・・・演算部、２５・・・デブロッキングフィルタ、２６・・・フレームメモリ、２７・・・インター予測部、２８・・・イントラ予測部、２９・・・切替え部

Claims

イントラ予測符号化処理およびインター予測符号化処理を選択的に実行することで動画像の符号化を行う符号化部を備えた通信端末装置において、
前記符号化部は、イントラ予測符号化処理を実行する場合、
符号化対象の第１のサイズのブロックと、このブロックに隣接するブロックから作成した第１のサイズの予測画像ブロックとの差を計算して差分画像を作成し、
該差分画像を前記第１のサイズのブロックより小さい第２のサイズのブロックに分割し、
該分割された差分画像から予測誤差を計算し、
該予測誤差と予め設定された閾値とを比較し、
この比較の結果、予測誤差が閾値を超える場合は、前記差分画像に対して離散コサイン変換を行うとともに、この離散コサイン変換で得た交流成分に対して量子化処理を行い、予測誤差が閾値以下である場合は、離散コサイン変換を行って直流成分のみを求めるとともに、交流成分にゼロを設定する第１の処理を実行し、
前記第１の処理を行った後、直流成分に対して直交変換および量子化処理を行う第２の処理を実行する
ことを特徴とする通信端末装置。
イントラ予測符号化処理およびインター予測符号化処理を選択的に実行することで動画像の符号化を行う符号化部を備えた通信端末装置において、
前記符号化部は、イントラ予測符号化処理を実行する場合、
符号化対象の第１のサイズのブロックと、このブロックに隣接するブロックから作成した第１のサイズの予測画像ブロックとの差を計算して差分画像を作成し、
該差分画像を前記第１のサイズのブロックより小さい第２のサイズのブロックに分割し、
該分割された差分画像から予測誤差を計算し、
該予測誤差と予め設定された閾値とを比較し、
この比較の結果、予測誤差が閾値以上である場合は、前記差分画像に対して離散コサイン変換を行うとともに、この離散コサイン変換で得た交流成分に対して量子化処理を行い、予測誤差が閾値未満である場合は、離散コサイン変換を行って直流成分のみを求めるとともに、交流成分にゼロを設定する第１の処理を実行し、
前記第１の処理を行った後、直流成分に対して直交変換および量子化処理を行う第２の処理を実行する
ことを特徴とする通信端末装置。