JP3005147B2 - 動画像符号化装置 - Google Patents
動画像符号化装置Info
- Publication number
- JP3005147B2 JP3005147B2 JP2648794A JP2648794A JP3005147B2 JP 3005147 B2 JP3005147 B2 JP 3005147B2 JP 2648794 A JP2648794 A JP 2648794A JP 2648794 A JP2648794 A JP 2648794A JP 3005147 B2 JP3005147 B2 JP 3005147B2
- Authority
- JP
- Japan
- Prior art keywords
- step size
- encoding
- quantization step
- information
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、入力画像を２次元のブ
ロック単位に分割して直交変換し、量子化・符号化を行
う動画像符号化方式に係わり、特に画面から特定領域を
抽出して、領域ごとに量子化ステップサイズを制御する
動画像符号化装置に関する。
ロック単位に分割して直交変換し、量子化・符号化を行
う動画像符号化方式に係わり、特に画面から特定領域を
抽出して、領域ごとに量子化ステップサイズを制御する
動画像符号化装置に関する。
【０００２】
【従来の技術】近年、ＩＳＤＮを有効に活用するサービ
スとしてテレビ会議やテレビ電話などの画像通信サービ
スが有望視され、このような動画像の効率的な伝送を目
的とした高能率符号化の研究が盛んに行われている。こ
れらの研究は、画像信号の統計的な性質を利用して、そ
の信号に含まれる冗長性を取り除くことにとにより、情
報量の削減を行っている。このような符号化方式として
動き補償予測と離散コサイン変換を組み合わせたハイブ
リッド符号化方式がよく知られている。しかし、低ビッ
トレートでの伝送を行う場合には符号化画像に雑音が発
生して画質が劣化するため、これを改善することが望ま
れている。画質改善の方法として、入力画像から特定の
領域を抽出して領域ごとに量子化ステップサイズを制御
する方式が検討されている。この一例として、入力画像
から顔領域を抽出して、顔以外の領域（以下、背景領域
と呼ぶ）は顔領域よりも大なる量子化ステップサイズで
量子化を行うことで、顔領域に多くの情報量を割り当て
て主観的な画質の改善を図るという考えがある（例え
ば、R.H.J.M.Plompen,et al.:"An image knowledge bas
ed video codec for low bitrates", SPIE Vol.804 Adv
anced in image processing(1987))。 以下、図６により動き補償予測と２次元直交変換を用い
た場合の従来例について説明する。図６において、２２
はフレームメモリ部、２３は減算器、２４は直交変換
部、２５は量子化部、２６は符号化部、２７はバッファ
メモリ部、２８は逆量子化部、２９は逆直交変換部、３
０は加算器、３１はフレームメモリ部、３２は動き検出
部、３３は動き補償予測部、３４は領域抽出部、３５は
量子化ステップサイズ制御部を示している。
スとしてテレビ会議やテレビ電話などの画像通信サービ
スが有望視され、このような動画像の効率的な伝送を目
的とした高能率符号化の研究が盛んに行われている。こ
れらの研究は、画像信号の統計的な性質を利用して、そ
の信号に含まれる冗長性を取り除くことにとにより、情
報量の削減を行っている。このような符号化方式として
動き補償予測と離散コサイン変換を組み合わせたハイブ
リッド符号化方式がよく知られている。しかし、低ビッ
トレートでの伝送を行う場合には符号化画像に雑音が発
生して画質が劣化するため、これを改善することが望ま
れている。画質改善の方法として、入力画像から特定の
領域を抽出して領域ごとに量子化ステップサイズを制御
する方式が検討されている。この一例として、入力画像
から顔領域を抽出して、顔以外の領域（以下、背景領域
と呼ぶ）は顔領域よりも大なる量子化ステップサイズで
量子化を行うことで、顔領域に多くの情報量を割り当て
て主観的な画質の改善を図るという考えがある（例え
ば、R.H.J.M.Plompen,et al.:"An image knowledge bas
ed video codec for low bitrates", SPIE Vol.804 Adv
anced in image processing(1987))。 以下、図６により動き補償予測と２次元直交変換を用い
た場合の従来例について説明する。図６において、２２
はフレームメモリ部、２３は減算器、２４は直交変換
部、２５は量子化部、２６は符号化部、２７はバッファ
メモリ部、２８は逆量子化部、２９は逆直交変換部、３
０は加算器、３１はフレームメモリ部、３２は動き検出
部、３３は動き補償予測部、３４は領域抽出部、３５は
量子化ステップサイズ制御部を示している。
【０００３】今、フレームメモリ部２２に画像が入力さ
れたとする。入力画像は、テレビカメラ等からの画像を
ディジタル化したものであり、フレームメモリ部２２に
おいて蓄積されＮ×Ｍ画素（Ｎ、Ｍは自然数）のブロッ
クに分割される。減算器２３ではフレームメモリ部２２
の入力画像と動き補償予測部３３からの動き補償予測値
との差分がブロック単位で計算され、直交変換部２４で
各々のブロックの画素に２次元の直交変換を実施し、変
換係数を量子化部２５へ送出する。 量子化部２５で
は、量子化ステップサイズ制御部３５から出力された量
子化ステップサイズにより変換係数を量子化する。符号
化部２６で量子化部２５からの量子化出力のエントロピ
ー符号化を行って、符号化情報を生成する。バッファメ
モリ部２７では回線の伝送速度と整合をとるために符号
化情報を蓄積する。また、量子化部２５からの出力は逆
量子化部２８にも入力され、逆量子化が行われて変換係
数を得る。逆直行変換部２９では、変換係数を２次元逆
直交変換して加算器３０で動き補償予測部３３からの動
き補償予測値と加算された画像が、フレームメモリ部３
１に蓄積される。フレームメモリ部３１に蓄積された画
像と、フレームメモリ部２２に蓄積された画像は動き検
出部３２に入力され、動きベクトルが検出される。
れたとする。入力画像は、テレビカメラ等からの画像を
ディジタル化したものであり、フレームメモリ部２２に
おいて蓄積されＮ×Ｍ画素（Ｎ、Ｍは自然数）のブロッ
クに分割される。減算器２３ではフレームメモリ部２２
の入力画像と動き補償予測部３３からの動き補償予測値
との差分がブロック単位で計算され、直交変換部２４で
各々のブロックの画素に２次元の直交変換を実施し、変
換係数を量子化部２５へ送出する。 量子化部２５で
は、量子化ステップサイズ制御部３５から出力された量
子化ステップサイズにより変換係数を量子化する。符号
化部２６で量子化部２５からの量子化出力のエントロピ
ー符号化を行って、符号化情報を生成する。バッファメ
モリ部２７では回線の伝送速度と整合をとるために符号
化情報を蓄積する。また、量子化部２５からの出力は逆
量子化部２８にも入力され、逆量子化が行われて変換係
数を得る。逆直行変換部２９では、変換係数を２次元逆
直交変換して加算器３０で動き補償予測部３３からの動
き補償予測値と加算された画像が、フレームメモリ部３
１に蓄積される。フレームメモリ部３１に蓄積された画
像と、フレームメモリ部２２に蓄積された画像は動き検
出部３２に入力され、動きベクトルが検出される。
【０００４】動き補償予測部３３では動きベクトルとフ
レームメモリ部３１に蓄積された画像から動き補償予測
値が求められる。量子化ステップサイズ制御部３５では
領域抽出部３４の出力である特定領域と特定領域以外の
情報を示す有効／無効情報と、バッファメモリ部２７に
おける符号化情報のバッファ占有量が入力されて、これ
に基づいて量子化ステップサイズが決定される。例え
ば、領域抽出部３４で顔領域を有効領域、背景領域を無
効領域とすると、バッファ占有量から求められる量子化
ステップサイズを基準に顔領域に対しては背景領域より
小さい量子化ステップサイズが選択される。
レームメモリ部３１に蓄積された画像から動き補償予測
値が求められる。量子化ステップサイズ制御部３５では
領域抽出部３４の出力である特定領域と特定領域以外の
情報を示す有効／無効情報と、バッファメモリ部２７に
おける符号化情報のバッファ占有量が入力されて、これ
に基づいて量子化ステップサイズが決定される。例え
ば、領域抽出部３４で顔領域を有効領域、背景領域を無
効領域とすると、バッファ占有量から求められる量子化
ステップサイズを基準に顔領域に対しては背景領域より
小さい量子化ステップサイズが選択される。
【０００５】
【発明が解決しようとする課題】上記の方式では量子化
ステップサイズは顔領域と背景領域との２種類しか設定
されておらず、顔領域の量子化ステップサイズは背景領
域より小さいということだけしか明らかにされていな
い。従って、これを実際の動画像符号化装置に適用した
場合、バッファメモリ部における符号化情報のバッファ
占有量により決定される量子化ステップサイズＱに対し
て、領域抽出部で抽出された結果に従って変化させる量
ｄＱf、ｄＱbを定義して顔領域に対してはＱ−ｄＱf、
背景領域に対してはＱ＋ｄＱbを使って量子化するなど
が考えられる。しかし、このような方法で量子化ステッ
プサイズを決定すると、符号化情報の量（以下、符号量
と呼ぶ）の適応的な制御が行われないので背景領域が続
いて符号化されたときにＱ＋ｄＱbの量子化ステップサ
イズで量子化が行われるため、符号量が減少してバッフ
ァ占有量が少なくなり、これにより決定される量子化ス
テップサイズが非常に小さな値となる。このような状態
のときに顔領域が符号化されると、Ｑ−ｄＱfによりさ
らに小さな量子化ステップサイズが選択されるため符号
量が急激に増加してバッファ占有量が急激に多くなり、
その結果、バッファ占有量から決定される量子化ステッ
プサイズが急激に大きくなってしまい、次の顔領域の画
質がかえって劣化してしまうという問題点がある。本発
明は、特定領域に多くの符号化情報を割り当てる際に量
子化ステップサイズを段階的に制御することにより特定
領域の画質を劣化させることなく、特定領域の画質を向
上させることが可能な動画像符号化装置を提供すること
を目的とするものである。
ステップサイズは顔領域と背景領域との２種類しか設定
されておらず、顔領域の量子化ステップサイズは背景領
域より小さいということだけしか明らかにされていな
い。従って、これを実際の動画像符号化装置に適用した
場合、バッファメモリ部における符号化情報のバッファ
占有量により決定される量子化ステップサイズＱに対し
て、領域抽出部で抽出された結果に従って変化させる量
ｄＱf、ｄＱbを定義して顔領域に対してはＱ−ｄＱf、
背景領域に対してはＱ＋ｄＱbを使って量子化するなど
が考えられる。しかし、このような方法で量子化ステッ
プサイズを決定すると、符号化情報の量（以下、符号量
と呼ぶ）の適応的な制御が行われないので背景領域が続
いて符号化されたときにＱ＋ｄＱbの量子化ステップサ
イズで量子化が行われるため、符号量が減少してバッフ
ァ占有量が少なくなり、これにより決定される量子化ス
テップサイズが非常に小さな値となる。このような状態
のときに顔領域が符号化されると、Ｑ−ｄＱfによりさ
らに小さな量子化ステップサイズが選択されるため符号
量が急激に増加してバッファ占有量が急激に多くなり、
その結果、バッファ占有量から決定される量子化ステッ
プサイズが急激に大きくなってしまい、次の顔領域の画
質がかえって劣化してしまうという問題点がある。本発
明は、特定領域に多くの符号化情報を割り当てる際に量
子化ステップサイズを段階的に制御することにより特定
領域の画質を劣化させることなく、特定領域の画質を向
上させることが可能な動画像符号化装置を提供すること
を目的とするものである。
【０００６】
【課題を解決するための手段】上記課題を解決するため
に、まず、入力画像をＮ×Ｍ画素（Ｎ、Ｍは自然数）の
ブロック単位で直交変換を行い変換係数を得てこの変換
係数を量子化・符号化手段で量子化・符号化して生成し
た符号化情報を回線を介して相手側に伝送する動画像符
号化装置において、前記符号化情報と前記回線の伝送速
度とを整合させるバッファメモリ手段と、入力画像から
特定領域を抽出する領域抽出手段と、前記符号化手段で
行われている現在の画面上の符号化位置を算出する符号
化位置算出手段と、前記変換係数を量子化する際の量子
化ステップサイズを制御する量子化ステップサイズ制御
手段とを設け、前記領域抽出手段により抽出した抽出結
果と、前記符号化位置算出手段により算出した符号化位
置と、前記バッファメモリ手段における符号化情報のバ
ッファ占有量とに基づいて前記量子化ステップサイズ制
御手段により量子化ステップサイズを制御するよう構成
したものである。
に、まず、入力画像をＮ×Ｍ画素（Ｎ、Ｍは自然数）の
ブロック単位で直交変換を行い変換係数を得てこの変換
係数を量子化・符号化手段で量子化・符号化して生成し
た符号化情報を回線を介して相手側に伝送する動画像符
号化装置において、前記符号化情報と前記回線の伝送速
度とを整合させるバッファメモリ手段と、入力画像から
特定領域を抽出する領域抽出手段と、前記符号化手段で
行われている現在の画面上の符号化位置を算出する符号
化位置算出手段と、前記変換係数を量子化する際の量子
化ステップサイズを制御する量子化ステップサイズ制御
手段とを設け、前記領域抽出手段により抽出した抽出結
果と、前記符号化位置算出手段により算出した符号化位
置と、前記バッファメモリ手段における符号化情報のバ
ッファ占有量とに基づいて前記量子化ステップサイズ制
御手段により量子化ステップサイズを制御するよう構成
したものである。
【０００７】また、上記動画像符号化装置において、前
記バッファメモリ手段における符号化情報のバッファ占
有量により決定される量子化ステップサイズを前記符号
化手段で行われている現在の画面上の符号化位置を与え
る符号化位置算出手段の情報に従って段階的に変化させ
るとともに、前記領域抽出手段の抽出結果である特定領
域とそれ以外の領域とを区別する情報に従って、量子化
ステップサイズを制御するように構成したものであり、
さらに、上記動画像符号化装置において、前記バッファ
メモリ手段における符号化情報のバッファ占有量により
決定される量子化ステップサイズに対して加算する値
が、前記符号化手段で行われている現在の画面上の符号
化位置を与える符号化位置算出手段の情報に従い、１画
面において先に符号化を行うブロックの方が後に符号化
を行うブロックよりも大なる値とするとともに、前記領
域抽出手段の抽出結果である特定領域とそれ以外の領域
とを区別する情報に従って、特定領域には特定領域以外
の領域よりも小なる値を加算して量子化を行うことによ
り、特定領域に多くの符号化情報を割り当てるように構
成したものである。
記バッファメモリ手段における符号化情報のバッファ占
有量により決定される量子化ステップサイズを前記符号
化手段で行われている現在の画面上の符号化位置を与え
る符号化位置算出手段の情報に従って段階的に変化させ
るとともに、前記領域抽出手段の抽出結果である特定領
域とそれ以外の領域とを区別する情報に従って、量子化
ステップサイズを制御するように構成したものであり、
さらに、上記動画像符号化装置において、前記バッファ
メモリ手段における符号化情報のバッファ占有量により
決定される量子化ステップサイズに対して加算する値
が、前記符号化手段で行われている現在の画面上の符号
化位置を与える符号化位置算出手段の情報に従い、１画
面において先に符号化を行うブロックの方が後に符号化
を行うブロックよりも大なる値とするとともに、前記領
域抽出手段の抽出結果である特定領域とそれ以外の領域
とを区別する情報に従って、特定領域には特定領域以外
の領域よりも小なる値を加算して量子化を行うことによ
り、特定領域に多くの符号化情報を割り当てるように構
成したものである。
【０００８】
【作用】入力画像と動き補償予測値との差分に対してブ
ロック単位に２次元の直交変換を実施して得られた変換
係数を量子化・符号化して生成された符号化情報は回線
の伝送速度と整合させるためのバッファメモリ手段に蓄
積される。また、入力画像から特定領域を抽出する領域
抽出手段の抽出結果と、前記符号化手段で行われている
現在の画面上の符号化位置と、前記バッファメモリ手段
における符号化情報のバッファ占有量に基づいて量子化
ステップサイズを制御するようにして、特定領域と特定
領域以外の領域に対して符号化情報の割当を制御する。
量子化ステップサイズの制御方法としては、前記バッフ
ァメモリ手段における符号化情報のバッファ占有量によ
り決定される量子化ステップサイズを現在の画面上の符
号化位置を与える符号化位置算出手段の情報に従って段
階的に変化させるとともに、前記領域抽出手段の抽出結
果である特定領域とそれ以外の領域とを区別する情報に
従って、量子化ステップサイズを制御することにより、
画質の急激な劣化を防止しながら特定領域と特定領域以
外の領域に対して符号化情報の割当を制御する。また、
前記バッファメモリ手段における符号化情報のバッファ
占有量により決定される量子化ステップサイズに対して
加算する値が、前記符号化手段で行われている現在の画
面上の符号化位置を与える符号化位置算出手段の情報に
従い、１画面において先に符号化を行うブロックの方が
後に符号化を行うブロックよりも大なる値とする。さら
に、前記領域抽出手段の抽出結果である特定領域とそれ
以外の領域とを区別する情報に従って、特定領域には特
定領域以外の領域よりも小なる値を加算して量子化を行
い、特定領域に多くの符号化情報を割り当てて、特定領
域の画質を向上させる。
ロック単位に２次元の直交変換を実施して得られた変換
係数を量子化・符号化して生成された符号化情報は回線
の伝送速度と整合させるためのバッファメモリ手段に蓄
積される。また、入力画像から特定領域を抽出する領域
抽出手段の抽出結果と、前記符号化手段で行われている
現在の画面上の符号化位置と、前記バッファメモリ手段
における符号化情報のバッファ占有量に基づいて量子化
ステップサイズを制御するようにして、特定領域と特定
領域以外の領域に対して符号化情報の割当を制御する。
量子化ステップサイズの制御方法としては、前記バッフ
ァメモリ手段における符号化情報のバッファ占有量によ
り決定される量子化ステップサイズを現在の画面上の符
号化位置を与える符号化位置算出手段の情報に従って段
階的に変化させるとともに、前記領域抽出手段の抽出結
果である特定領域とそれ以外の領域とを区別する情報に
従って、量子化ステップサイズを制御することにより、
画質の急激な劣化を防止しながら特定領域と特定領域以
外の領域に対して符号化情報の割当を制御する。また、
前記バッファメモリ手段における符号化情報のバッファ
占有量により決定される量子化ステップサイズに対して
加算する値が、前記符号化手段で行われている現在の画
面上の符号化位置を与える符号化位置算出手段の情報に
従い、１画面において先に符号化を行うブロックの方が
後に符号化を行うブロックよりも大なる値とする。さら
に、前記領域抽出手段の抽出結果である特定領域とそれ
以外の領域とを区別する情報に従って、特定領域には特
定領域以外の領域よりも小なる値を加算して量子化を行
い、特定領域に多くの符号化情報を割り当てて、特定領
域の画質を向上させる。
【０００９】
【実施例】以下、図面を参照して本発明の一実施例につ
いて説明する。図１は本発明の一実施例のブロック図で
あり、入力画像を蓄積するフレームメモリ部１と、該フ
レームメモリ部１と動き補償予測部１１に接続し入力画
像と動き補償予測値の差分を求める減算器２と、該減算
器２に接続し入力画像と動き補償予測値の差分をブロッ
ク単位で直交変換を行い変換係数を出力する直交変換部
３と、該直交変換部３に接続し直交変換部３からの変換
係数を量子化ステップサイズ制御部１５で決定した量子
化ステップサイズにより量子化する量子化部４と、該量
子化部４に接続し量子化された変換係数を符号化する符
号化部５と、該符号化部５に接続し符号化部５からの符
号化情報を蓄積するバッファメモリ部６と、該量子化部
４に接続し量子化された変換係数を逆量子化する逆量子
化部７と、該逆量子化部７に接続し逆量子化部７からの
変換係数を逆直交変換する逆直交変換部８と、該逆直交
変換部８と動き補償予測部１２と接続し逆直交変換部８
で得られた画像と動き補償予測値を加算する加算器９
と、該加算器９に接続し加算器９の出力画像を蓄積する
フレームメモリ部１０と、該フレームメモリ部１０とフ
レームメモリ部１に接続し動きベクトルを検出する動き
検出部１１と、該フレームメモリ部１０と該動き検出部
１１に接続し動き補償予測値を求める動き補償予測部１
２と、該フレームメモリ部１に接続し特定の領域を抽出
する領域抽出部１３と、現在の画面上の符号化位置を算
出する符号化位置算出部１４と、該バッファメモリ部６
と該領域抽出部１３と該符号化位置算出部１４に接続し
量子化ステップサイズを決定する量子化ステップサイズ
制御部１５を備えている。
いて説明する。図１は本発明の一実施例のブロック図で
あり、入力画像を蓄積するフレームメモリ部１と、該フ
レームメモリ部１と動き補償予測部１１に接続し入力画
像と動き補償予測値の差分を求める減算器２と、該減算
器２に接続し入力画像と動き補償予測値の差分をブロッ
ク単位で直交変換を行い変換係数を出力する直交変換部
３と、該直交変換部３に接続し直交変換部３からの変換
係数を量子化ステップサイズ制御部１５で決定した量子
化ステップサイズにより量子化する量子化部４と、該量
子化部４に接続し量子化された変換係数を符号化する符
号化部５と、該符号化部５に接続し符号化部５からの符
号化情報を蓄積するバッファメモリ部６と、該量子化部
４に接続し量子化された変換係数を逆量子化する逆量子
化部７と、該逆量子化部７に接続し逆量子化部７からの
変換係数を逆直交変換する逆直交変換部８と、該逆直交
変換部８と動き補償予測部１２と接続し逆直交変換部８
で得られた画像と動き補償予測値を加算する加算器９
と、該加算器９に接続し加算器９の出力画像を蓄積する
フレームメモリ部１０と、該フレームメモリ部１０とフ
レームメモリ部１に接続し動きベクトルを検出する動き
検出部１１と、該フレームメモリ部１０と該動き検出部
１１に接続し動き補償予測値を求める動き補償予測部１
２と、該フレームメモリ部１に接続し特定の領域を抽出
する領域抽出部１３と、現在の画面上の符号化位置を算
出する符号化位置算出部１４と、該バッファメモリ部６
と該領域抽出部１３と該符号化位置算出部１４に接続し
量子化ステップサイズを決定する量子化ステップサイズ
制御部１５を備えている。
【００１０】上記構成による動画像符号化装置の動作
は、以下の通りである。フレームメモリ部１は、入力画
像を蓄積する。減算器２においてフレームメモリ部１に
蓄積された入力画像と動き補償予測部１２で算出される
動き補償予測値との差分を、例えば８×８画素のブロッ
ク毎に２次元の離散コサイン変換（ＤＣＴ）を実施し、
時間領域の信号から周波数領域の信号へ変換してＤＣＴ
係数を量子化部４に出力する。量子化部４は、高い符号
化効率を得るために量子化ステップサイズ制御部１５で
決定された量子化ステップサイズに従ってＤＣＴ係数の
量子化を行い、符号化するＤＣＴ係数を削減する。この
ように量子化されたＤＣＴ係数は、符号化部５に出力さ
れる。符号化部５では、量子化されたＤＣＴ係数に適切
な符号割当を行うエントロピー符号化を実施し、可変長
符号からなる符号化情報を生成して出力する。バッファ
メモリ部６は、符号化部５で生成された符号化情報と回
線の伝送速度との整合をとるために符号化情報を蓄積
し、これが一定速度で出力される。また、符号化情報が
バッファメモリ部６を占有する量（バッファ占有量）が
量子化ステップサイズ制御部１５に入力される。逆量子
化部７では量子化部４で行ったのと逆の処理である逆量
子化を行い、逆量子化されたＤＣＴ係数を逆直交変換部
８に出力する。逆直交変換部８において、２次元の逆離
散コサイン変換を実施して、加算器９で逆直交変換部８
の画像と動き補償予測部１２の動き補償予測値との間で
加算が行われ、その結果がフレームメモリ部１０に蓄積
される。動き検出部１１では、フレームメモリ部１０の
画像とフレームメモリ部１の画像との間で動きベクトル
を検出し、動き補償予測部１２に動きベクトルを出力す
る。動き補償予測部１２は、フレームメモリ部１０の画
像と動き検出部１１の動きベクトルから動き補償予測値
を求める。
は、以下の通りである。フレームメモリ部１は、入力画
像を蓄積する。減算器２においてフレームメモリ部１に
蓄積された入力画像と動き補償予測部１２で算出される
動き補償予測値との差分を、例えば８×８画素のブロッ
ク毎に２次元の離散コサイン変換（ＤＣＴ）を実施し、
時間領域の信号から周波数領域の信号へ変換してＤＣＴ
係数を量子化部４に出力する。量子化部４は、高い符号
化効率を得るために量子化ステップサイズ制御部１５で
決定された量子化ステップサイズに従ってＤＣＴ係数の
量子化を行い、符号化するＤＣＴ係数を削減する。この
ように量子化されたＤＣＴ係数は、符号化部５に出力さ
れる。符号化部５では、量子化されたＤＣＴ係数に適切
な符号割当を行うエントロピー符号化を実施し、可変長
符号からなる符号化情報を生成して出力する。バッファ
メモリ部６は、符号化部５で生成された符号化情報と回
線の伝送速度との整合をとるために符号化情報を蓄積
し、これが一定速度で出力される。また、符号化情報が
バッファメモリ部６を占有する量（バッファ占有量）が
量子化ステップサイズ制御部１５に入力される。逆量子
化部７では量子化部４で行ったのと逆の処理である逆量
子化を行い、逆量子化されたＤＣＴ係数を逆直交変換部
８に出力する。逆直交変換部８において、２次元の逆離
散コサイン変換を実施して、加算器９で逆直交変換部８
の画像と動き補償予測部１２の動き補償予測値との間で
加算が行われ、その結果がフレームメモリ部１０に蓄積
される。動き検出部１１では、フレームメモリ部１０の
画像とフレームメモリ部１の画像との間で動きベクトル
を検出し、動き補償予測部１２に動きベクトルを出力す
る。動き補償予測部１２は、フレームメモリ部１０の画
像と動き検出部１１の動きベクトルから動き補償予測値
を求める。
【００１１】領域抽出部１３では、画質を向上させる対
象となる特定領域の抽出が行われる。例えば、動画像符
号化装置をテレビ会議やテレビ電話に適用した場合、一
般的に注目される領域は顔であり、顔領域を抽出して顔
領域の画質改善を行うことによって主観的画質の改善を
図ることができる。そこで、ここでは特定領域を顔領域
とし、顔領域を抽出する手法について説明する。まず、
フレームメモリ部１に蓄積されている２５６階調の入力
画像のＣｒ信号、Ｃｂ信号を肌色領域を抽出するしきい
値で２値化して顔部分を含む領域を抽出した２値画像を
得る。図２の（ａ）、（ｂ）はそれぞれＣｒ信号、Ｃｂ
信号を２値化して得られた肌色領域を示す。次に、前記
のＣｒ信号およびＣｂ信号を２値化して抽出された肌色
領域の共通部分を抽出して図２の（ｃ）を得る。これを
顔領域とし顔領域の画素を含むブロックを有効、含まな
いブロックを無効ブロックとして、ブロック単位で有効
／無効情報を量子化ステップサイズ制御部１５へ入力す
る。符号化位置算出部１４は、現在符号化を行っている
画面上の位置を求め、符号化位置情報を量子化ステップ
サイズ制御部へ入力する。これは図３に示すように、１
画面が９９個のブロックで構成されているとすると、左
上のブロック１から右下のブロック９９まで順に符号化
が行われる。１つのブロックの符号化が終了するたび
に、ブロック番号をカウントアップすることで符号化位
置情報が求められる。量子化ステップサイズ制御部１５
は、バッファメモリ部６のバッファ占有量、領域抽出部
１３の有効／無効情報、符号化位置算出部１４の符号化
位置情報に基づいて量子化ステップサイズを決定する。
この構成例を図４に示す。量子化ステップサイズ算出部
１６では、バッファメモリ部６がオーバーフロー、アン
ダーフローしないようにするバッファ占有量と量子化ス
テップサイズとの関係をあらかじめ決定しておき、この
関係に従って量子化ステップサイズＱを算出し加算器１
７、１８に入力する。顔領域用量子化ステップサイズ変
化値設定部１９では、顔領域において量子化ステップサ
イズＱに対してある値だけ変化させる量ｄＱfが符号化
位置情報に基づき選択される。これは、一般的にテレビ
会議やテレビ電話では顔領域は画面において最上部から
位置することはなく、画面の上から１／４程度は背景領
域である可能性が高い。従って、画面の上部では大きな
量子化ステップサイズで量子化が行われ、符号量が非常
に少なくなり量子化ステップサイズ算出部１６で決定さ
れる量子化ステップサイズは非常に小さい値となる。こ
のような状態のときに顔領域が入力されると量子化ステ
ップサイズは更に小さな値となる。この値で量子化を行
った場合には急激な符号量の増加となり、その結果、量
子化ステップサイズ算出部１６で求まる量子化ステップ
サイズは大きな値となり、次の顔領域の画質がかえって
劣化することになる。そこで、顔領域においてはｄＱf
を１画面上で先に符号化されるブロックほど大きな値と
し後に向かうにつれて徐々に小さな値とすることで急激
な符号量の増加を防ぐ。図５は符号化位置情報による顔
領域用量子化ステップサイズ変化値ｄＱfの設定を示し
ており、１１個のブロック毎にｄＱを変化させている。
ｄＱfを変化させる位置は３３ブロック毎、１ブロック
毎なども考えられる。背景領域用量子化ステップサイズ
変化値設定部２０は、背景領域において量子化ステップ
サイズＱに対してある値だけ変化させる量ｄＱbを設定
する。ここでは、符号化位置に関係なくｄＱbは固定と
してあるが、顔領域用量子化ステップサイズ変化値と同
様に符号化位置情報により変化させても良い。このよう
にして求められた変化値ｄＱf、ｄＱbはそれぞれ加算器
１７、１８に入力されて、顔領域用量子化ステップサイ
ズＱf、背景領域用量子化ステップサイズＱbが式
（１）、（２）のように算出される。
象となる特定領域の抽出が行われる。例えば、動画像符
号化装置をテレビ会議やテレビ電話に適用した場合、一
般的に注目される領域は顔であり、顔領域を抽出して顔
領域の画質改善を行うことによって主観的画質の改善を
図ることができる。そこで、ここでは特定領域を顔領域
とし、顔領域を抽出する手法について説明する。まず、
フレームメモリ部１に蓄積されている２５６階調の入力
画像のＣｒ信号、Ｃｂ信号を肌色領域を抽出するしきい
値で２値化して顔部分を含む領域を抽出した２値画像を
得る。図２の（ａ）、（ｂ）はそれぞれＣｒ信号、Ｃｂ
信号を２値化して得られた肌色領域を示す。次に、前記
のＣｒ信号およびＣｂ信号を２値化して抽出された肌色
領域の共通部分を抽出して図２の（ｃ）を得る。これを
顔領域とし顔領域の画素を含むブロックを有効、含まな
いブロックを無効ブロックとして、ブロック単位で有効
／無効情報を量子化ステップサイズ制御部１５へ入力す
る。符号化位置算出部１４は、現在符号化を行っている
画面上の位置を求め、符号化位置情報を量子化ステップ
サイズ制御部へ入力する。これは図３に示すように、１
画面が９９個のブロックで構成されているとすると、左
上のブロック１から右下のブロック９９まで順に符号化
が行われる。１つのブロックの符号化が終了するたび
に、ブロック番号をカウントアップすることで符号化位
置情報が求められる。量子化ステップサイズ制御部１５
は、バッファメモリ部６のバッファ占有量、領域抽出部
１３の有効／無効情報、符号化位置算出部１４の符号化
位置情報に基づいて量子化ステップサイズを決定する。
この構成例を図４に示す。量子化ステップサイズ算出部
１６では、バッファメモリ部６がオーバーフロー、アン
ダーフローしないようにするバッファ占有量と量子化ス
テップサイズとの関係をあらかじめ決定しておき、この
関係に従って量子化ステップサイズＱを算出し加算器１
７、１８に入力する。顔領域用量子化ステップサイズ変
化値設定部１９では、顔領域において量子化ステップサ
イズＱに対してある値だけ変化させる量ｄＱfが符号化
位置情報に基づき選択される。これは、一般的にテレビ
会議やテレビ電話では顔領域は画面において最上部から
位置することはなく、画面の上から１／４程度は背景領
域である可能性が高い。従って、画面の上部では大きな
量子化ステップサイズで量子化が行われ、符号量が非常
に少なくなり量子化ステップサイズ算出部１６で決定さ
れる量子化ステップサイズは非常に小さい値となる。こ
のような状態のときに顔領域が入力されると量子化ステ
ップサイズは更に小さな値となる。この値で量子化を行
った場合には急激な符号量の増加となり、その結果、量
子化ステップサイズ算出部１６で求まる量子化ステップ
サイズは大きな値となり、次の顔領域の画質がかえって
劣化することになる。そこで、顔領域においてはｄＱf
を１画面上で先に符号化されるブロックほど大きな値と
し後に向かうにつれて徐々に小さな値とすることで急激
な符号量の増加を防ぐ。図５は符号化位置情報による顔
領域用量子化ステップサイズ変化値ｄＱfの設定を示し
ており、１１個のブロック毎にｄＱを変化させている。
ｄＱfを変化させる位置は３３ブロック毎、１ブロック
毎なども考えられる。背景領域用量子化ステップサイズ
変化値設定部２０は、背景領域において量子化ステップ
サイズＱに対してある値だけ変化させる量ｄＱbを設定
する。ここでは、符号化位置に関係なくｄＱbは固定と
してあるが、顔領域用量子化ステップサイズ変化値と同
様に符号化位置情報により変化させても良い。このよう
にして求められた変化値ｄＱf、ｄＱbはそれぞれ加算器
１７、１８に入力されて、顔領域用量子化ステップサイ
ズＱf、背景領域用量子化ステップサイズＱbが式
（１）、（２）のように算出される。
【００１２】
【数１】
【００１３】
【数２】
【００１４】例えば、Ｑ＝１０、ｄＱb＝１６、符号化
位置情報が６７であったときは、図５からｄＱfは−４
と設定され、Ｑf、Ｑbはそれぞれ式（３）、（４）のよ
うになる。
位置情報が６７であったときは、図５からｄＱfは−４
と設定され、Ｑf、Ｑbはそれぞれ式（３）、（４）のよ
うになる。
【００１５】
【数３】
【００１６】
【数４】
【００１７】スイッチ２１は、領域抽出部１３からの有
効／無効情報により加算器１７、あるいは加算器１８の
出力を選択する。すなわち、有効／無効情報が有効であ
るときは加算器１７の出力を選択し、無効であるときは
加算器１８の出力を選択してＱf、あるいはＱbを量子化
ステップサイズとして出力し符号化位置と領域毎に量子
化ステップサイズを制御することができる。
効／無効情報により加算器１７、あるいは加算器１８の
出力を選択する。すなわち、有効／無効情報が有効であ
るときは加算器１７の出力を選択し、無効であるときは
加算器１８の出力を選択してＱf、あるいはＱbを量子化
ステップサイズとして出力し符号化位置と領域毎に量子
化ステップサイズを制御することができる。
【００１８】
【発明の効果】本発明によれば以下のような効果があ
る。 （１）入力画像から特定領域を抽出して、符号化が行わ
れている現在の画面上の符号化位置と、バッファメモリ
における符号化情報のバッファ占有量に基づいて量子化
ステップサイズを制御することにより、特定領域と特定
領域以外の領域に対して符号化情報の割当を制御でき
る。 （２）バッファメモリにおける符号化情報のバッファ占
有量により決定される量子化ステップサイズを現在の画
面上の符号化位置に従って段階的に変化させるととも
に、特定領域とそれ以外の領域とを区別する情報に従っ
て、量子化ステップサイズを制御することにより、画質
の急激な劣化を防止しながら特定領域と特定領域以外の
領域に対して符号化情報の割当を制御できる。 （３）バッファメモリにおける符号化情報のバッファ占
有量により決定される量子化ステップサイズに対して加
算する値が、現在の画面上の符号化位置に従い、１画面
において先に符号化を行うブロックの方が後に符号化を
行うブロックよりも大なる値とするとともに、特定領域
とそれ以外の領域とを区別する情報に従って、特定領域
には特定領域以外の領域よりも小なる値を加算して量子
化することにより、特定領域に多くの符号化情報を割り
当てるようすることで、画質の急激な劣化を防止しなが
ら特定領域の画質を向上できる。
る。 （１）入力画像から特定領域を抽出して、符号化が行わ
れている現在の画面上の符号化位置と、バッファメモリ
における符号化情報のバッファ占有量に基づいて量子化
ステップサイズを制御することにより、特定領域と特定
領域以外の領域に対して符号化情報の割当を制御でき
る。 （２）バッファメモリにおける符号化情報のバッファ占
有量により決定される量子化ステップサイズを現在の画
面上の符号化位置に従って段階的に変化させるととも
に、特定領域とそれ以外の領域とを区別する情報に従っ
て、量子化ステップサイズを制御することにより、画質
の急激な劣化を防止しながら特定領域と特定領域以外の
領域に対して符号化情報の割当を制御できる。 （３）バッファメモリにおける符号化情報のバッファ占
有量により決定される量子化ステップサイズに対して加
算する値が、現在の画面上の符号化位置に従い、１画面
において先に符号化を行うブロックの方が後に符号化を
行うブロックよりも大なる値とするとともに、特定領域
とそれ以外の領域とを区別する情報に従って、特定領域
には特定領域以外の領域よりも小なる値を加算して量子
化することにより、特定領域に多くの符号化情報を割り
当てるようすることで、画質の急激な劣化を防止しなが
ら特定領域の画質を向上できる。
【図１】本発明の一実施例を説明するブロック図であ
る。
る。
【図２】顔領域の抽出を説明する図である。
【図３】１画面における符号化位置を説明する図であ
る。
る。
【図４】量子化ステップサイズ制御部の構成を説明する
ブロック図である。
ブロック図である。
【図５】顔領域用量子化ステップサイズ変化値の設定を
説明する図である。
説明する図である。
【図６】従来例のハイブリッド符号化方式を説明するブ
ロック図である。
ロック図である。
１ フレームメモリ部 ２ 減算器 ３ 直交変換部 ４ 量子化部 ５ 符号化部 ６ バッファメモリ部 ７ 逆量子化部 ８ 逆直交変換部 ９ 加算器 １０ フレームメモリ部 １１ 動き検出部 １２ 動き補償予測部 １３ 領域抽出部 １４ 符号化位置算出部 １５ 量子化ステップサイズ制御部
Claims (2)
- 【請求項１】 入力画像をＮ×Ｍ画素（Ｎ、Ｍは自然
数）のブロック単位で直交変換を行い変換係数を得てこ
の変換係数を量子化・符号化手段で量子化・符号化して
生成した符号化情報を回線を介して相手側に伝送する動
画像符号化装置において、 前記符号化情報と前記回線の伝送速度とを整合させるバ
ッファメモリ手段と、入力画像から特定領域を抽出する
領域抽出手段と、前記符号化手段で行われている現在の
画面上の符号化位置を算出する符号化位置算出手段と、
前記変換係数を量子化する際の量子化ステップサイズを
制御する量子化ステップサイズ制御手段とを設け、前記
領域抽出手段により抽出した抽出結果と、前記符号化位
置算出手段により算出した符号化位置と、前記バッファ
メモリ手段における符号化情報のバッファ占有量とに基
づいて前記量子化ステップサイズ制御手段により量子化
ステップサイズを制御し、かつ、 前記バッファメモリ手段における符号化情報のバッファ
占有量により決定される量子化ステップサイズに対して
特定領域に多くの符号化情報を割り当てるために加算す
る値が、前記符号化手段で行われている現在の画面上の
符号化位置を与える符号化位置算出手段の情報に従い、
１画面において先に符号化を行うブロックの方が後に符
号化を行うブロックよりも大なる値とするとともに、前
記領域抽出手段の抽出結果である特定領域とそれ以外の
領域とを区別する情報に従って、特定領域には特定領域
以外の領域よりも小なる値を加算して量子化 するように
したことを特徴とする動画像符号化装置。 - 【請求項２】 入力画像をＮ×Ｍ画素（Ｎ、Ｍは自然
数）のブロック単位で直交変換を行い変換係数を得てこ
の変換係数を量子化・符号化手段で量子化・符号化して
生成した符号化情報を回線を介して相手側に伝送する動
画像符号化装置において、 前記符号化情報と前記回線の伝送速度とを整合させるバ
ッファメモリ手段と、入力画像から特定領域を抽出する
領域抽出手段と、前記符号化手段で行われている現在の
画面上の符号化位置を算出する符号化位置算出手段と、
前記変換係数を量子化する際の量子化ステップサイズを
制御する量子化ステップサイズ制御手段 とを設け、前記
領域抽出手段により抽出した抽出結果と、前記符号化位
置算出手段により算出した符号化位置と、前記バッファ
メモリ手段における符号化情報のバッファ占有量とに基
づいて前記量子化ステップサイズ制御手段により量子化
ステップサイズを制御し、かつ、 前記バッファメモリ手段における符号化情報のバッファ
占有量により決定される量子化ステップサイズを前記符
号化手段で行われている現在の画面上の符号化位置を与
える符号化位置算出手段の情報に従って段階的に変化さ
せるとともに、前記領域抽出手段の抽出結果である特定
領域とそれ以外の領域とを区別する情報に従って、量子
化ステップサイズを制御し、かつ、 前記バッファメモリ手段における符号化情報のバッファ
占有量により決定される量子化ステップサイズに対して
特定領域に多くの符号化情報を割り当てるために加算す
る値が、前記符号化手段で行われている現在の画面上の
符号化位置を与える符号化位置算出手段の情報に従い、
１画面において先に符号化を行うブロックの方が後に符
号化を行うブロックよりも大なる値とするとともに、前
記領域抽出手段の抽出結果である特定領域とそれ以外の
領域とを区別する情報に従って、特定領域には特定領域
以外の領域よりも小なる値を加算して量子化 するように
構成したことを特徴とする動画像符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2648794A JP3005147B2 (ja) | 1994-02-24 | 1994-02-24 | 動画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2648794A JP3005147B2 (ja) | 1994-02-24 | 1994-02-24 | 動画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07236138A JPH07236138A (ja) | 1995-09-05 |
| JP3005147B2 true JP3005147B2 (ja) | 2000-01-31 |
Family
ID=12194868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2648794A Expired - Fee Related JP3005147B2 (ja) | 1994-02-24 | 1994-02-24 | 動画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3005147B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5819004A (en) * | 1995-05-08 | 1998-10-06 | Kabushiki Kaisha Toshiba | Method and system for a user to manually alter the quality of previously encoded video frames |
| TW303570B (ja) * | 1995-09-29 | 1997-04-21 | Matsushita Electric Ind Co Ltd | |
| JP4626644B2 (ja) | 2007-11-26 | 2011-02-09 | ソニー株式会社 | 符号化装置、符号化方法、プログラム、及び、撮像装置 |
| JP5176228B2 (ja) * | 2008-03-04 | 2013-04-03 | 株式会社メガチップス | エンコーダ |
-
1994
- 1994-02-24 JP JP2648794A patent/JP3005147B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07236138A (ja) | 1995-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3258840B2 (ja) | 動画像符号化装置および領域抽出装置 | |
| KR100303054B1 (ko) | 정지영상과동영상부호화를위한양자화매트릭스 | |
| JP3748717B2 (ja) | 動画像符号化装置 | |
| US4821119A (en) | Method and apparatus for low bit-rate interframe video coding | |
| US5767909A (en) | Apparatus for encoding a digital video signal using an adaptive scanning technique | |
| JP2891772B2 (ja) | イメージフレームのランダムスキャンニングを用いるディジタルイメージコーディング法 | |
| JPH04196976A (ja) | 画像符号化装置 | |
| JPWO2008084745A1 (ja) | 画像符号化装置および画像復号化装置 | |
| JP2004248285A (ja) | 画像通話時における話者の映像の差動的符号化可能のビデオエンコーダ及びこれを利用したビデオ信号圧縮方法 | |
| JP2009055623A (ja) | ディジタル画像および音声データを無損失に復号化するためのシステムおよび方法 | |
| US20040228538A1 (en) | Image information compression device | |
| JPH0746594A (ja) | 符号化方法およびその装置 | |
| JP3703299B2 (ja) | ピクチャ中央の画質を最適化するためのビデオ符号化方法、システムおよびコンピュータ・プログラム製品 | |
| US7095448B2 (en) | Image processing circuit and method for modifying a pixel value | |
| KR20010031548A (ko) | 디지털화된 영상을 처리하기 위한 방법 및 장치 | |
| JP2859830B2 (ja) | ビデオ信号復号化装置 | |
| JP2004533181A (ja) | デジタルイメージに対する選択的なクロミナンスデシメーション | |
| JP2891773B2 (ja) | ディジタル画像シーケンスを処理する方法および装置 | |
| KR100823145B1 (ko) | 관심영역 기반의 영상 화질개선장치 및 양자화기기 및 그동작 방법 | |
| JP3005147B2 (ja) | 動画像符号化装置 | |
| JP3597781B2 (ja) | ピクセルを有するディジタル画像における動き予測方法及び装置 | |
| KR100260702B1 (ko) | 인간의 시각특성을 이용한 영상신호 압축 부호화 방법 및 그 장치 | |
| KR100220582B1 (ko) | 적응적 부호화기능을 갖는 영상 부호화기 | |
| JPH07222173A (ja) | 画像処理装置 | |
| JPH07336684A (ja) | 画像信号復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |