JP2000078588A - 動画像符号化装置 - Google Patents

動画像符号化装置

Info

Publication number
JP2000078588A
JP2000078588A JP10246164A JP24616498A JP2000078588A JP 2000078588 A JP2000078588 A JP 2000078588A JP 10246164 A JP10246164 A JP 10246164A JP 24616498 A JP24616498 A JP 24616498A JP 2000078588 A JP2000078588 A JP 2000078588A
Authority
JP
Japan
Prior art keywords
step size
quantization step
code amount
frame
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10246164A
Other languages
English (en)
Other versions
JP3748717B2 (ja
Inventor
Hiroyuki Okada
浩行 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP24616498A priority Critical patent/JP3748717B2/ja
Priority to US09/348,658 priority patent/US6430222B1/en
Priority to DE1999635478 priority patent/DE69935478T2/de
Priority to EP19990115523 priority patent/EP0984634B1/en
Publication of JP2000078588A publication Critical patent/JP2000078588A/ja
Application granted granted Critical
Publication of JP3748717B2 publication Critical patent/JP3748717B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

(57)【要約】 【課題】 シーンチェンジを検出したとき、シーンチェ
ンジ後の各段階における量子化・符号化を適応的に制御
することにより、画質を向上させることを可能とする。 【解決手段】 符号化モード判定部１６は、シーンチェ
ンジ検出部１５からシーンチェンジ発生の通知を受けた
ときに、符号化制御部１７にモード制御情報を出力す
る。符号化制御部１７では、符号化部５の符号量とモー
ド制御情報に基づいて、現フレームが目標の符号量にな
るように量子化ステップサイズを設定して量子化部４を
制御する。こうして、シーンチェンジ直後、シーンチェ
ンジから符号量の安定するまで、符号量の安定以降の３
つの段階で量子化・符号化を制御し、画質を劣化させな
いようにする。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、入力画像を２次元
のブロックに分割して直交変換し、量子化・符号化を行
う動画像符号化装置に関し、特に画面から特定領域を抽
出して、特定領域を高画質にするための量子化・符号化
を制御する動画像符号化装置に関する。
【０００２】
【従来の技術】近年、ＩＳＤＮ（Integrated Services
Digital Network），ＧＳＴＮ（General Switched Tele
phone Network）を有効に活用するサービスとして、テ
レビ電話やテレビ会議などの画像通信サービスが有望視
され、このような動画像の効率的な伝送を目的とした高
能率符号化の研究が盛んに行われている。これらの研究
は、画像の統計的な性質を利用して、その画像に含まれ
る冗長性を取り除くことにより、情報量の削減を行って
いる。このような符号化方式として、動き補償予測と離
散コサイン変換を組み合わせたハイブリッド符号化方式
がよく知られている。
【０００３】しかし、低ビットレートでの伝送を行う場
合には、再生画像に雑音が発生して画質が劣化するた
め、これを改善することが望まれている。画質改善の方
法として、入力画像から特定の領域を抽出して、領域ご
とに量子化ステップサイズを制御する方式が検討されて
いる。この一例として、入力画像から顔領域を抽出し
て、顔領域以外（以下、背景領域と呼ぶ）は顔領域より
も大なる量子化ステップサイズで量子化を行うことで、
これに割当てる符号量を少なくし、代わりに顔領域に多
くの符号量を割り当てて、主観的な画質の改善を図ると
いう考えがある（例えば、R.H.J.M.Plompen, et al.：
“An image knowledge based video codec for low bit
rates”,SPIE Vol.804 Advanced in image processing
(1987)）。
【０００４】以下、図８により動き補償予測と２次元直
交変換を用いた場合の従来例について説明する。図８に
おいて、８１はフレームメモリ部、８２は減算器、８３
は直交変換部、８４は量子化部、８５は符号化部、８６
はバッファメモリ部、８７は逆量子化部、８８は逆直交
変換部、８９は加算器、９０はフレームメモリ部、９１
は動き検出部、９２は動き補償予測部、９３は領域抽出
部、９４は符号化制御部を示している。
【０００５】今、フレームメモリ部８１に画像が入力さ
れたとする。入力画像は、テレビカメラ等からの画像を
ディジタル化したものであり、フレームメモリ部８１に
おいて蓄積され、Ｎ×Ｍ画素（Ｎ、Ｍは自然数）のブロ
ックに分割される。一方、フレームメモリ部９０に蓄積
されている画像と、フレームメモリ部８１に蓄積された
画像は、動き検出部９１に入力され、動きベクトルが検
出される。動き補償予測部９２では、動きベクトルとフ
レームメモリ部９０に蓄積された画像から動き補償予測
値が求められる。また、動き補償予測値と入力画像の差
分のパワー、入力画像のパワーを比較してフレーム間予
測を行うか、あるいはフレーム内予測を行うかの判定を
行う。
【０００６】さて、減算器８２ではフレームメモリ部８
１の入力画像と動き補償予測部９２からの動き補償予測
値との差分がブロック単位で計算され、直交変換部８３
で各々のブロックの画素に２次元の直交変換を実施し、
変換係数を量子化部８４へ送出する。量子化部８４で
は、符号化制御部９４から出力された量子化ステップサ
イズにより変換係数を量子化する。符号化部８５で量子
化部８４からの量子化出力のエントロピー符号化を行っ
て、符号化情報を生成する。バッファメモリ部８６では
回線の伝送速度と整合をとるために符号化情報を蓄積す
る。
【０００７】また、量子化部８４からの出力は逆量子化
部８７にも入力され、逆量子化が行われて変換係数を得
る。逆直交変換部８８では変換係数を２次元逆直交変換
して、加算器８９で動き補償予測部９２からの動き補償
予測値と加算する。この加算された画像が、フレームメ
モリ部９０に蓄積され次回の処理に使用される。符号化
制御部９４では、領域抽出部９３の出力である顔領域と
背景領域の情報を示す有効／無効情報と、バッファメモ
リ部８６における符号化情報のバッファ占有量が入力さ
れて、これに基づいて量子化ステップサイズが決定され
る。例えば、領域抽出部９３によって顔領域を示す有効
情報、背景領域を示す無効情報が符号化制御部９４に出
力され、バッファメモリ部８６のバッファ占有量から求
められる量子化ステップサイズを基準に、顔領域に対し
ては背景領域より小さい量子化ステップサイズが選択さ
れる。
【０００８】
【発明が解決しようとする課題】上記の方式では量子化
ステップサイズは顔領域と背景領域との２種類しか設定
されておらず、顔領域の量子化ステップサイズは背景領
域より小さいということだけしか明らかにされていな
い。従って、これを実際の動画像符号化装置に適用した
場合は、例えば、次のようなことが考えられる。符号化
制御部９４は、バッファメモリ部８６における符号化情
報のバッファ占有量により決定される量子化ステップサ
イズＱに対して、領域抽出部で抽出された結果に従って
変化させる量ｄＱｆ，ｄＱｂを定義する。そして、量子
化部８４は、顔領域に対してはＱ−ｄＱｆ、背景領域に
対してはＱ＋ｄＱｂを使って量子化する。
【０００９】しかし、このような方法では、量子化ステ
ップサイズが大きいとはいえ、背景に存在する雑音等も
量子化されるため、余計な符号量が発生して、顔領域に
割り当てられる符号量が減少してしまう。また、シーン
チェンジが発生した場合において、画像が前フレームと
は大きく異なるため、背景領域の符号量を少なくする
と、背景領域の画質が早期に安定しないので、再生画像
が見苦しくなり、符号化量が急激に増加するため、顔領
域にブロックひずみやモスキート雑音が発生しやすくな
る。
【００１０】また、符号化制御部９４が制御を行うと
き、バッファメモリ８６における符号化情報のバッファ
占有量しか参照しないので、バッファ占有量に対して量
子化ステップサイズが決まってしまうため、目標とする
符号量に適合させることが困難となる。このため、フレ
ーム間での画質の差が大きくなり、画質を低下させる原
因となる。
【００１１】また、シーンチェンジ以降のフレームに対
しては、一般的に相関が強いのにもかかわらず、前フレ
ームの量子化ステップサイズの情報や符号量情報を利用
していないので、目標とする符号量に適合するように量
子化を制御することが困難である。また、Ｑを変化させ
る量（ｄＱｆ）を顔領域の大きさによらず一定の値にし
ておくと、顔領域の大きさにより１フレームの符号量が
目標符号量に対して、大きくなりすぎたり小さすぎたり
して、結果的に再生画像の画質を損なう。
【００１２】本発明は、シーンチェンジを検出したと
き、シーンチェンジ後の各段階における量子化・符号化
を適応的に制御することにより、画質を向上させること
が可能な動画像符号化装置を提供することを目的とする
ものである。
【００１３】
【課題を解決するための手段】第１の発明に係る動画像
符号化装置は、入力画像をＮ×Ｍ画素（Ｎ，Ｍは自然
数）のブロック単位に分割し、ブロック毎に現フレーム
と前フレームのフレーム間差分を求めて動きベクトルを
検出する動き検出手段と、動きベクトルから動き補償予
測値を求めてフレーム間予測を行うか、あるいはフレー
ム内予測を行うかの判定を行う動き補償予測手段と、前
記入力画像と前記動き補償予測値との差分に直交変換を
行い変換係数を得る直交変換手段と、該変換係数を量子
化する量子化手段と、量子化された変換係数を符号化し
て符号化情報を生成する符号化手段と、前記動き検出手
段により検出された現フレームと前フレームのフレーム
間差分と、前記動き補償予測手段により行った動き補償
予測の判定結果とにより、符号化しないブロックのスキ
ップ判定をするブロックスキップ判定手段と、前記入力
画像から特定領域を抽出する特定領域抽出手段と、前記
フレーム間差分の大きさによりシーンチェンジを検出す
るシーンチェンジ検出手段と、前記シーンチェンジ検出
手段によりシーンチェンジを検出した場合、シーンチェ
ンジ発生フレームに対する符号化を示すシーンチェンジ
発生フレームモード、シーンチェンジ発生フレーム以降
の所定数のフレームに対する符号化を示すシーンチェン
ジ以降モード、及びそれ以降のフレームに対して前記特
定領域抽出手段で抽出した特定領域の画質を向上させる
符号化を示す特定領域モードの各モードを判定する符号
化モード判定手段と、前記符号化モード判定手段により
判定したモードに基いて、シーンチェンジ発生フレーム
及びそれ以降の所定数のフレームに対しては、フレーム
レートを落として特定領域の区別なく前記量子化手段に
量子化ステップサイズを設定し、所定数のフレーム以降
のフレームに対しては、フレームレートを戻して特定領
域の符号量を増加させる量子化手段に量子化ステップサ
イズを設定して量子化を制御する符号化制御手段と、を
備え、回線の伝送速度と整合させて、所定のフレームレ
ートで前記符号化情報を伝送することを特徴とする。
【００１４】第２の発明に係る動画像符号化装置は、前
記符号化制御手段が、シーンチェンジ発生フレームモー
ドの場合、フレームレートを落として１フレーム当たり
の符号量を増加させ、シーンチェンジ発生フレームに対
して特定領域の区別なくフレーム内符号化を実施するた
めの量子化ステップサイズを設定するフレーム内符号化
制御手段と、シーンチェンジ以降モードの場合、フレー
ムレートを落として１フレーム当たりの符号量を増加さ
せ、シーンチェンジ以降の所定数のフレームに対して前
フレームの情報に基づいて特定領域の区別なく符号化を
実施するための量子化ステップサイズを設定するシーン
チェンジ符号化制御手段と、特定領域モードの場合、前
記符号化手段からの符号量情報に従い、前記ブロックス
キップ判定手段により得られたスキップするブロックの
情報、前記特定領域抽出手段により抽出した特定領域の
情報に基づいて、符号化を実施するための量子化ステッ
プサイズを設定する特定領域重視符号化制御手段と、前
記符号化モード判定手段からのモード情報に基づいて前
記３つの制御信号の１つを選択する切換手段と、を備え
たことを特徴とする。
【００１５】第３の発明に係る動画像符号化装置は、前
記フレーム内符号化制御手段が、フレームレートを少な
くしてシーンチェンジ発生フレームの目標符号量を算出
するフレーム内符号化目標符号量算出手段と、予め前記
目標符号量と前記量子化ステップサイズとの関係を設定
しておき、前記目標符号量に基づいて、量子化ステップ
サイズを設定する量子化ステップサイズ設定手段と、標
準規格に定められた１フレーム当たりの最大符号量に基
づいて、所定数のブロック毎に規定符号量を設け、該所
定数のブロックの符号化毎に、前記符号化手段の符号量
が該規定符号量を越えたか否かを監視する規定符号量監
視手段と、前記符号化手段の符号量が前記規定符号量を
越えた場合に、量子化ステップサイズを増加させる量子
化ステップサイズインクリメント手段と、前記量子化ス
テップサイズ設定手段で決定された量子化ステップサイ
ズと前記量子化ステップサイズインクリメント手段で増
加した量子化ステップサイズを加算する量子化ステップ
サイズ加算手段と、加算された量子化ステップサイズの
平均値を算出する量子化ステップサイズ平均値算出手段
と、を備え、前記符号化モード判定手段からシーンチェ
ンジ発生フレームモードの情報が入力された場合に、前
記各手段を動作させることを特徴とする。
【００１６】第４の発明に係る動画像符号化装置は、前
記シーンチェンジ符号化制御手段が、フレームレートを
少なくして、１フレーム当たりの目標符号量を算出する
シーンチェンジ符号化目標符号量算出手段と、標準規格
に定められた１フレーム当たりの最大符号量に基づい
て、所定数のブロック毎に規定符号量を設け、該所定数
のブロックの符号化毎に、前記符号化手段の符号量が該
規定符号量を越えたか否かを監視する規定符号量監視手
段と、前記規定符号量を超えたときに現フレームの符号
化を中止する符号化中止処理手段と、入力された量子化
ステップサイズが規定の範囲内であることを検査し、該
量子化ステップサイズが規定範囲を越える場合は、該量
子化ステップサイズに最も近い規定範囲の値を量子化ス
テップサイズとし、該量子化ステップサイズが規定範囲
を越えない場合は、量子化ステップサイズをそのままと
する量子化ステップサイズ変化範囲検査手段と、前記量
子化ステップサイズ変化範囲検査手段で設定した量子化
ステップサイズを加算する量子化ステップサイズ加算手
段と、加算された量子化ステップサイズの平均値を算出
する量子化ステップサイズ平均値算出手段と、シーンチ
ェンジ発生フレームの平均量子化ステップサイズに基づ
いて初期の量子化ステップサイズを算出し、前記量子化
ステップサイズ変化範囲検査手段に出力する初期量子化
ステップサイズ算出手段と、前記目標符号量と前記規定
符号量を越えない符号量情報と前フレームの平均量子化
ステップサイズから量子化ステップサイズを算出し、前
記量子化ステップサイズ変化範囲検査手段に出力する量
子化ステップサイズ算出手段と、を備え、前記符号化モ
ード判定手段からシーンチェンジ以降モードの情報が入
力された場合に、前記各手段を動作させることを特徴と
する。
【００１７】第５の発明に係る動画像符号化装置は、前
記特定領域重視符号化制御手段が、１フレーム当たりの
目標符号量を算出する特定領域重視符号化目標符号量算
出手段と、前記ブロックスキップ判定手段からスキップ
するブロックの情報、前記特定領域抽出手段で抽出され
た特定領域の情報、及び前記特定領域重視符号化目標符
号量算出手段からの目標符号量の情報に基づいて、特定
領域とそれ以外の領域に割り当てる符号量を算出する特
定領域割当目標符号量算出手段と、標準規格に定められ
た１フレーム当たりの最大符号量に基づいて、所定数の
ブロック毎に規定符号量を設け、該所定数のブロックの
符号化毎に、前記符号化手段の符号量が該規定符号量を
越えたか否かを監視する規定符号量監視手段と、前記規
定符号量を超えたときに現フレームの符号化を中止する
符号化中止処理手段と、入力された量子化ステップサイ
ズが規定の範囲内であることを検査し、該量子化ステッ
プサイズが規定範囲を越える場合は、該量子化ステップ
サイズに最も近い規定範囲の値を量子化ステップサイズ
とし、該量子化ステップサイズが規定範囲を越えない場
合は、量子化ステップサイズをそのままとする量子化ス
テップサイズ変化範囲検査手段と、前記量子化ステップ
サイズ変化範囲検査手段で設定した量子化ステップサイ
ズを加算する量子化ステップサイズ加算手段と、加算さ
れた量子化ステップサイズの平均値を算出する量子化ス
テップサイズ平均値算出手段と、シーンチェンジ以降モ
ードの平均量子化ステップサイズに基づいて初期の量子
化ステップサイズを算出し、前記量子化ステップサイズ
変化範囲検査手段に出力する初期量子化ステップサイズ
算出手段と、前記目標符号量と前記規定符号量を越えな
い符号量情報と前記ブロックスキップ判定手段からのス
キップするブロックの情報と前記特定領域抽出手段から
の特定領域情報と前フレームの平均量子化ステップサイ
ズとから量子化ステップサイズを算出し、前記量子化ス
テップサイズ変化範囲検査手段に出力する量子化ステッ
プサイズ算出手段と、を備え、前記符号化モード判定手
段からの特定領域モードの情報が入力された場合に、前
記各手段を動作させることを特徴とする。
【００１８】本発明においては、入力画像と動き補償予
測値との差分に対してブロック単位に２次元の直交変換
を実施して得られた変換係数を量子化・符号化して、符
号化情報を生成し、この符号化情報は回線の伝送速度と
整合させて出力される。ところが、シーンチェンジが発
生すると、前フレームと画像内容が大きく異なってしま
うため、前フレームの情報を利用できず、符号量が急激
に増加して、画質の劣化を招く。そこで、符号化モード
判定手段により、シーンチェンジを検出後を３つのモー
ド、すなわちシーンチェンジ発生フレームモード、シー
ンチェンジ以降モード及び特定領域モードとして判定
し、このモードに基づいて符号化制御手段により量子化
を制御する。すなわち、シーンチェンジ発生フレームモ
ード及びシーンチェンジ以降モードにおいて、シーンチ
ェンジ発生フレームとそれ以降の所定数のフレームに対
して、フレームレートを落として１フレーム当たりの符
号量を増加させるとともに、特定領域の区別を行わず量
子化ステップサイズを適用して、画質を向上させる。そ
して、特定領域モードにおいて画質が安定してきたとこ
ろで、特定領域に多くの符号量を割り当てることで画質
を向上させる。
【００１９】
【発明の実施の形態】以下、図面を参照して本発明の一
実施形態について説明する。図１は本発明に係る動画像
符号化装置の一実施形態を示すブロック図である。この
動画像符号化装置は、前フレームと画像が全く変わって
しまうシーンチェンジが発生したとき、画像の符号量が
急激に増加することを考慮して、画質を劣化させないよ
うに、量子化・符号化を制御するものである。すなわ
ち、シーンチェンジ直後、シーンチェンジから画質の安
定するまで、画質の安定以降の３つの段階で量子化・符
号化を制御する。
【００２０】まず、図１に示すように、この動画像符号
化装置は、フレームメモリ部１と、減算器２と、直交変
換部３と、量子化部４と、符号化部５と、バッファメモ
リ部６と、逆量子化部７と、逆直交変換部８と、加算器
９と、フレームメモリ部１０と、動き検出部１１と、動
き補償予測部１２と、ブロックスキップ判定部１３と、
特定領域抽出部１４と、シーンチェンジ検出部１５と、
符号化モード判定部１６と、符号化制御部１７を備えて
いる。特に、従来の動画像符号化装置と異なるのは、ブ
ロックスキップ判定部１３、シーンチェンジ検出部１
５、符合化モード判定部１６を有している点である。
【００２１】上記構成による動画像符号化装置の動作
は、以下の通りである。フレームメモリ部１は、例えば
ＩＴＵ−Ｔ勧告Ｈ．２６１に従う共通フォーマット（Ｃ
ＩＦ、またはＱＣＩＦ）の入力画像を蓄積する。なお、
ここではＱＣＩＦの入力画像を使用した例を述べる。減
算器２において、フレームメモリ部１に蓄積された入力
画像と動き補償予測部１２で算出される動き補償予測値
との差分に対し、例えば８×８画素のブロック毎に２次
元の離散コサイン変換（ＤＣＴ）を実施し、時間領域の
信号から周波数領域の信号へ変換してＤＣＴ係数を量子
化部４に出力する。量子化部４は、高い符号化効率を得
るために符号化制御部１７で決定された量子化ステップ
サイズに従ってＤＣＴ係数の量子化を行い、符号化する
ＤＣＴ係数を削減する。このように量子化されたＤＣＴ
係数は、符号化部５に出力される。符号化部５では、量
子化されたＤＣＴ係数に適切な符号割当を行うエントロ
ピー符号化を実施し、可変長符号からなる符号化情報を
生成して出力する。
【００２２】バッファメモリ部６は、符号化部５で生成
された符号化情報と回線の伝送速度との整合をとるため
に符号化情報を蓄積し、この符号化情報を一定速度で出
力する。逆量子化部７では量子化部４で行ったのと逆の
処理である逆量子化を行い、逆量子化されたＤＣＴ係数
を逆直交変換部８に出力する。逆直交変換部８におい
て、２次元の逆離散コサイン変換を実施して、加算器９
で逆直交変換部８の画像と動き補償予測部１２の動き補
償予測値との間で加算が行われ、その結果がフレームメ
モリ部１０に蓄積される。
【００２３】動き検出部１１では、フレームメモリ部１
０の画像とフレームメモリ部１の画像との間でマクロブ
ロック毎のフレーム間差分値を求め、それに基づいて動
きベクトルを検出し、動き補償予測部１２に動きベクト
ルを出力する。また、マクロブロック毎のフレーム間差
分値は、ブロックスキップ判定部１３とシーンチェンジ
検出部１５へも入力される。
【００２４】動き補償予測部１２は、フレームメモリ部
１０の画像と動き検出部１１の動きベクトルから動き補
償予測値を求める。また、動き補償予測値と入力画像の
差分のパワー、入力画像のパワーを比較してフレーム間
予測を行うか、あるいはフレーム内予測を行うかの判定
を行う。この判定結果は、ブロックスキップ判定部１３
に入力される。
【００２５】ブロックスキップ判定部１３では、前フレ
ームに対してあまり差のないマクロブロックを符号化し
ないように、そのマクロブロックをスキップさせて、符
号化効率を向上させるためのマップを作成する。これは
動き検出部１１からのマクロブロックのｘ方向の動きベ
クトル、ｙ方向の動きベクトルが共に０で、フレーム間
差分値が所定の値より小さく、動き補償予測部１２での
判定結果がフレーム内予測でないとき、そのブロックは
符号化しないようにスキップされる。
【００２６】特定領域抽出部１４では、画質を向上させ
る対象となる特定領域の抽出が行われる。例えば、動画
像符号化装置をテレビ電話やテレビ会議に適用した場
合、一般的に注目される領域は顔であり、顔領域を抽出
して顔領域の画質改善を行うことによって主観的画質の
改善を図ることができる。そこで、ここでは特定領域を
顔領域とし、顔領域を抽出する手法について説明する。
また、顔領域以外の領域を背景領域とする。
【００２７】図２は特定領域抽出部１４の構成を示すブ
ロック図である。この特定領域抽出部１４は、画像縮小
部２１と、表色系変換部２２と、特定色領域抽出部２３
と、画素数カウント部２４と、特定領域ブロック判定部
２５を備えている。
【００２８】上記構成の特定領域抽出部１４の動作は、
以下の通りである。画像縮小部２１では、フレームメモ
リ部１に蓄積されている入力画像のＹ，Ｃｂ，Ｃｒ成分
を入力して、それぞれ所定の大きさの縮小画像を作成す
る。縮小画像を作成することで後の処理時間が短縮する
ことができ、さらに輝度や色差の小さな変化が消えて有
力な情報を残すことができる。ここでは、Ｙ成分は入力
画像の４×４画素単位で平均値を求め１／１６に、Ｃ
ｂ，Ｃｒ成分は入力画像の２×２画素単位で平均値を求
め１／４の大きさにする。なお、ここでは縮小画像にお
いて、入力画像のマクロブロックに相当する大きさを単
位ブロックと呼ぶ。
【００２９】表色系変換部２２は、ＹＣｂＣｒ表色系の
縮小画像をＨＳＶ表色系に変換する。ＨＳＶ表色系は、
知覚的表色系と呼ばれ人間の知覚に近い表色系として知
られており、各成分に相関のあるＹＣｂＣｒ表色系に比
べて成分間の相関が低いので色を用いた領域分割に適し
ている。以下に、各表色系同士の変換式を示す。変換
は、式（１）〜式（３）によりＹ，Ｃｂ，Ｃｒ成分を一
旦、ＲＧＢ表色系に変換して、式（４）〜式（６）によ
りＨＳＶ表色系に変換する。
【００３０】 Ｒ＝Ｙ＋１．４０２０Ｃｒ (1) Ｇ＝Ｙ−０．３４４１Ｃｂ−０．７１３９Ｃｒ (2) Ｂ＝Ｙ＋１．７７１８Ｃｂ−０．０１２Ｃｒ (3)
【数１】 Ｖ＝ｍａｘ（Ｒ，Ｇ，Ｂ） (6)
【００３１】特定色領域抽出部２３では、安定した顔領
域を抽出するためにＨＳＶ表色系において、シェーディ
ングやシャドウの影響を受けにくいという特徴をもつＨ
成分の縮小画像から顔領域を抽出する。これは、Ｈ成分
画像の画素値をＨi,jとしたとき、顔領域を抽出するし
きい値ＴｈHL，ＴｈHUにより次式の条件を満足する画素
を抽出する。 ＴｈHL＜Ｈi,j＜ＴｈHU (7)
【００３２】画素数カウント部２４は、特定色領域抽出
部２３で求めた顔領域において各単位ブロック内に存在
する顔領域の画素数をカウントし、単位ブロック毎にカ
ウントした結果を特定領域ブロック判定部２５に出力す
る。特定領域ブロック判定部２５では、画素数カウント
部２４で単位ブロック毎にカウントした結果を有意ブロ
ック判定のしきい値と比較し、しきい値以上であるか否
かの判定を行う。このとき、しきい値以上のブロックを
有意ブロック、そうでないものを有意でないブロックと
して入力画像の１画面のブロックマップを得て、これを
出力する。
【００３３】ここで、有意ブロック判定のしきい値は、
１フレームの目標符号量を基準にして設定する。すなわ
ち、目標符号量が小さい場合には、より有効な単位ブロ
ックを抽出するために、しきい値を大きくして、画素数
カウント部２４でのカウント数が少ない単位ブロックを
除去する。また、目標符号量が大きい場合には、画像の
細かな部分も正確に伝送するために、しきい値を小さく
して、画素数カウント部２４でのカウント数が少ない単
位ブロックも抽出できるようにする。このようにして、
目標符号量が大きくなるにつれて、特定領域ブロック判
定のしきい値を段階的に小さくなるように、予め設定し
ておく。
【００３４】図３は、あるしきい値で特定領域ブロック
判定をした結果であり、ハッチングで示す特定領域ブロ
ックとして抽出され、１画面の特定領域ブロックのマッ
プを特定領域ブロックマップとする。本実施例では、Ｑ
ＣＩＦを対象としているので、特定領域ブロックマップ
の１ブロックは、１マクロブロックに相当し、９９個の
ブロックで構成する。
【００３５】シーンチェンジ検出部１５では、動き検出
部１１からのマクロブロック毎のフレーム間差分値の合
計をＳＡＤsum、シーンチェンジ検出のしきい値をＴｈ
SCとしたとき、次式（８）を満足した場合に、シーンチ
ェンジ発生として符号化モード判定部１６に通知する。 ＳＡＤsum＞ＴｈSC (8)
【００３６】符号化モード判定部１６は、シーンチェン
ジ検出部１５からシーンチェンジ発生の通知を受けたと
きに、符号化制御部１７にモード情報を出力する。この
モード制御情報は、シーンチェンジ発生フレームに対し
てフレーム内符号化制御の実施をするシーンチェンジ発
生フレームモード、画質が早期に安定するようにシーン
チェンジ発生フレームから所定のフレーム数に対してシ
ーンチェンジ符号化制御の実施をするシーンチェンジ以
降モード、及びそれ以降のフレームに対して特定領域の
画質を向上させる特定領域重視符号化制御の実施をする
特定領域モードの各制御情報である。符号化制御部１７
では、モード制御情報に基づいて、現フレームが所定の
符号量になるように量子化部４を制御する。
【００３７】図４は符号化制御部１７の構成を示すブロ
ック図である。この符号化制御部１７は、フレーム内符
号化制御部４１と、シーンチェンジ符号化制御部４２
と、特定領域重視符号化制御部４３と、切換部４４とを
備えている。
【００３８】上記構成の符号化制御部１７の動作は、以
下のとおりである。符号化モード判定部１６からのシー
ンチェンジ発生フレームモードの制御情報により、フレ
ーム内符号化制御実施の指示を受けたときに、フレーム
内符号化制御部４１において、符号化部５４からの符号
量情報に基づき、現フレーム（シーンチェンジ発生フレ
ーム）に対してフレーム内符号化制御を行って、量子化
ステップサイズを決定する。また、フレーム内符号化制
御部４１からは、次フレームの符号化制御の際に使用さ
れる平均量子化ステップサイズがシーンチェンジ符号化
制御部４２に入力される。切換部４４では、モード制御
情報に従いフレーム内符号化制御部４１で決定された量
子化ステップサイズが量子化部４に出力されるようにス
イッチが切り換えられる。
【００３９】１フレーム（シーンチェンジ発生フレー
ム）のフレーム内符号化が終了後、シーンチェンジ以降
モードの制御情報により、シーンチェンジ符号化制御部
４２において、符号化部５からの符号量情報に基づき、
現フレームをシーンチェンジ符号化制御を行って量子化
ステップサイズを決定する。シーンチェンジ符号化制御
では、特定領域とそうでない領域の区別を行わず、フレ
ームのこま落としを行って画質を向上させる。シーンチ
ェンジ符号化制御部４２からは、次フレームの符号化制
御の際に使用される平均量子化ステップサイズが、特定
領域重視符号化制御部４３に入力される。切換部４４で
は、モード制御情報に従い、シーンチェンジ符号化制御
部４２で決定された量子化ステップサイズが、量子化部
４に出力されるようにスイッチが切り換えられる。
【００４０】所定のフレーム数のシーンチェンジ符号化
が終了後、特定領域モードの制御情報により、特定領域
重視符号化制御部４３において、符号化部５からの符号
量情報とブロックスキップ判定部１３からのブロックス
キップマップと特定領域抽出部１４からの特定領域ブロ
ックマップに基づき、現フレームの特定領域重視符号化
制御を行って量子化ステップサイズを決定する。切換部
４４では、モード制御情報に従い、特定領域重視符号化
制御部４３で決定された量子化ステップサイズが量子化
部４に出力されるようにスイッチが切り換えられる。
【００４１】図５は、上記のフレーム内符号化制御部４
１の構成を示すブロック図である。このフレーム内符号
化制御部４１は、動作制御部５１と、フレーム内符号化
目標符号量算出部５２と、量子化ステップサイズテーブ
ル部５３と、量子化ステップサイズ加算部５４と、量子
化ステップサイズ平均値算出部５５と、規定符号量監視
部５６と、量子化ステップサイズインクリメント部５７
とを備えている。
【００４２】上記構成のフレーム内符号化制御部４１の
動作は、以下のとおりである。動作制御部５１は、入力
されたモード制御情報（シーンチェンジ発生フレームモ
ード）により、１フレーム（シーンチェンジ発生フレー
ム）内におけるマクロブロックに対する量子化ステップ
サイズの決定動作が制御される。本実施形態では、処理
量を軽減するという観点から１１マクロブロック毎（図
３における１行のマクロブロック数）に量子化ステップ
サイズを決定する例を述べるが、本方法は任意のマクロ
ブロック毎に量子化ステップサイズを決定できる。すな
わち、１マクロブロック毎や３３マクロブロック毎など
量子化ステップサイズ決定周期を任意に設定できる。
【００４３】まず、各フレームの最初に現フレームの１
フレームあたりの目標符号量を算出するために、動作制
御部５１がフレーム内符号化目標符号量算出部５２に起
動をかける。ここでは、フレーム内符号量目標符号量を
ＩｎｉｔＢtargetとしたとき、次式（９）のように算出
される。
【００４４】
【数２】
【００４５】ここで、Ｒは画像の伝送レート、ｆtarget
は目標フレームレート、ｆfactorは１より大きい値であ
りｆtargetをこれで割ることにより、目標フレームレー
トよりフレームレートが低くなる。すなわち、伝送レー
トは一定であるから、フレームのこま落としを行うこと
によって、１フレームレートあたりの目標符号量が大き
くなり、符号量を大きく消費するフレーム内符号化を行
ったときでも、ブロックひずみやモスキート雑音を軽減
できる。
【００４６】量子化ステップサイズテーブル部５３で
は、ＩｎｉｔＢtargetに従い、予め符号量と量子化ステ
ップサイズの関係を定めてあるテーブルから適当な量子
化ステップサイズＱＰintraを選択し、出力して、１１
マクロブロック分の量子化に使用される。量子化ステッ
プサイズテーブル部５３を用いるのは、シーンチェンジ
発生フレームが前フレームの量子化ステップサイズを参
考にできないので、あらかじめＩｎｉｔＢtargetと量子
化ステップサイズの関係を設定しておくためである。ま
た、この量子化ステップサイズは量子化ステップサイズ
加算部５４にも入力され、１フレームでの量子化ステッ
プサイズの平均値を求めるために、使用された量子化ス
テップサイズが加算される。
【００４７】最初の１１マクロブロックの量子化が終了
後、次の１１マクロブロック以降に対しての量子化ステ
ップサイズの決定処理が、動作制御部５１により指示さ
れる。まず、規定符号量監視部５６において、符号化部
５から現時点での現フレームの符号量を示す符号量情報
Ｂi,mbが入力され、現時点での規定の符号量Ｂmax,mbを
越えていないかどうかが、次式により調べられる。ここ
で規定の符号量Ｂmax, mbとは、１フレームの符号量が標
準規格Ｈ．２６１で定められている１フレーム当たりの
最大符号量を越えることがないようにチェックするた
め、１１マクロブロック毎に定めたものである。すなわ
ち、標準規格の最大符号量を１１マクロブロック毎に等
分にして加算したものである。 Ｂi,mb＞Ｂmax,mb (10)
【００４８】式（１０）を満足したとき、規定の符号量
を越えているので、 ＱＰintra＝ＱＰintra＋１ (11) とし、直前の１１マクロブロックに使用された量子化ス
テップサイズをインクリメントする。ここで、式（１
１）により量子化ステップサイズが１だけインクリメン
トされたが、これは１以上の値を用いることもできる。
こうして、規定の符号量を越えたとき、量子化ステップ
サイズを増加させることにより、次の１１マクロブロッ
クの符号量を減らすことができ、決して１フレームの符
号量が標準規格の最大符号量を越えることがない。
【００４９】この量子化ステップサイズは、次の１１マ
クロブロックを量子化するために切換部４４に出力さ
れ、前述と同様に量子化ステップサイズ加算部５４にも
入力される。このような１１マクロブロック毎の処理
が、現フレームの全てのマクロブロックに対して実施さ
れる。そして、最後の１１マクロブロックの量子化を終
了した時点で、量子化ステップサイズ平均値算出部５５
で現フレームで使用された量子化ステップサイズの平均
値が算出され、シーンチェンジ符号化制御部４２に出力
される。
【００５０】図６はシーンチェンジ符号化制御部４２の
構成を示すブロック図である。シーンチェンジ符号化制
御部４２は、動作制御部６１と、シーンチェンジ符号化
目標符号量算出部６２と、初期量子化ステップサイズ算
出部６３と、量子化ステップサイズ変化範囲検査部６４
と、量子化ステップサイズ加算部６５と、規定符号量監
視部６６と、符号化中止処理部６７と、量子化ステップ
サイズ算出部６８と、量子化ステップサイズ平均値算出
部６９とを備えている。
【００５１】上記構成のシーンチェンジ符号化制御部４
２の動作は以下のとおりである。動作制御部６１は、入
力されたモード制御情報（シーンチェンジ以降モード）
により、次のマクロブロックに対する量子化ステップサ
イズの決定動作が制御される。本実施形態では、前述と
同様に処理量を軽減するという観点から１１マクロブロ
ック毎に量子化ステップサイズを決定する例を述べる
が、本方法は任意のマクロブロック毎に量子化ステップ
サイズを決定できる。すなわち、１マクロブロック毎や
３３マクロブロック毎などに量子化ステップサイズ決定
周期を任意に設定できる。
【００５２】まず、各フレームの最初に現フレームの１
フレームあたりの目標符号量を算出するために、動作制
御部６１がシーンチェンジ符号化目標符号量算出部６２
に起動をかける。ここでは、シーンチェンジ符号化目標
符号量ＳｃＢtargetとしたとき、次式（１２）のように
算出される。
【００５３】
【数３】
【００５４】ここで、Ｒは画像の伝送レート、ｆtarget
は目標フレームレート、ｆfactorは１より大きい値であ
りｆtargetをこれで割ることにより、目標フレームレー
トよりフレームレートが低くなるが、１フレームあたり
の目標符号量が大きくなり符号量を大きく消費するシー
ンチェンジ符号化を行ったときでも、ブロックひずみや
モスキート雑音を軽減できる。
【００５５】また、動作制御部６１は、フレームの最初
のマクロブロックの量子化ステップサイズを算出するた
め、各フレームの最初に、初期量子化ステップサイズ算
出部６３にも起動をかける。ここでは、前フレームのフ
レーム内符号化時の平均量子化ステップサイズＩｎｔｒ
ａＡｖｅＱＰi-1から次式（１３）のように量子化ステ
ップサイズＱＰnewを算出する。 ＱＰnew＝ＩｎｔｒａＡｖｅＱＰi-1*０．５ (13)
【００５６】また、量子化ステップサイズ算出部６８で
利用するために、次式のように平均量子化ステップサイ
ズＳｃＡｖｅＱＰi-1を求める。 ＳｃＡｖｅＱＰi-1＝ＱＰnew (14)
【００５７】量子化ステップサイズ変化範囲検査部６４
は、初期量子化ステップサイズ算出部６３、あるいは量
子化ステップサイズ算出部６８で決定された量子化ステ
ップサイズが所定の最小値ＱＰmin,最大値ＱＰmaxの範
囲にあるかを、次式（１５），（１６）により検査す
る。そして、式を満足した場合は、ＱＰnewをＱＰmin,
あるいはＱＰmaxに置き換える。こうすることで、画質
を一定範囲に保つことができる。 ＱＰnew＜ＱＰminのときＱＰnew＝ＱＰmin (15） ＱＰnew＞ＱＰmaxのときＱＰnew＝ＱＰmax (16)
【００５８】量子化ステップサイズ変化範囲検査部６４
で検査された量子化ステップサイズは、１１マクロブロ
ックの量子化のために切換部４４に出力される。また、
この量子化ステップサイズは量子化ステップサイズ加算
部６５にも出力され、１フレームでの量子化ステップサ
イズの平均値を求めるために使用された量子化ステップ
サイズが加算される。
【００５９】１１マクロブロック毎の量子化が終了後、
動作制御部６１は規定符号量監視部６６に起動をかけ
る。規定符号量監視部６６において、符号化部５から現
時点での現フレームの符号量を示す符号量情報が入力さ
れ、現フレームにおいて符号化が終了した現マクロブロ
ックまでの符号量Ｂi,mbを得ることにより、現時点での
規定の符号量Ｂmax,mbを越えていないかどうかが、前述
した式（１０）により調べられる。式（１０）を満足し
たとき、規定の符号量を越えているので、これ以上、符
号量を増加させることができない。このとき、符号化中
止処理部６７では現フレームの残りのマクロブロックに
対して量子化を行わないようにして、量子化ステップサ
イズ平均値算出部６９から現在までの量子化ステップサ
イズの平均値を算出して出力する。これ以降のマクロブ
ロックについては、符号化を行わないので、前フレーム
の画像が用いられることになる。
【００６０】量子化ステップサイズ算出部６８は、規定
符号量監視部６６で規定符号量を超えていないときに実
行される。これは、現在の符号量が現在の符号化位置を
考慮した目標符号量ＳｃＢtargetに対して大きいとき
は、次の１１マクロブロックの量子化ステップサイズを
大きくする。また、現在の符号量が現在の符号化位置を
考慮したＳｃＢtargetより小さいときは、量子化ステッ
プサイズを小さくするように動作する。１フレームにお
けるマクロブロック数（ＣＩＦのときは３９６、ＱＣＩ
Ｆのときは９９）をＭＢ、現フレームにおいて符号化が
終了した現マクロブロック数をｍｂ、符号量情報からの
前フレームの符号量をＢi-1としたとき、次の１１マク
ロブロックに対する量子化ステップサイズをＱＰnewを
式（１７）のように算出する。
【００６１】
【数４】
【００６２】ＱＰnewは、量子化ステップサイズ変化範
囲検査部６４に入力されると、量子化ステップサイズが
所定範囲内にあるかどうかが前述した方法で調べられ、
切換部４４及び量子化ステップサイズ加算部６５に入力
される。
【００６３】このような１１マクロブロック毎の処理
が、現フレームの全てのマクロブロックに対して実施さ
れる。そして、最後の１１マクロブロックの量子化を終
了した時点、あるいは符号化中止処理が行われたときに
現フレームで使用された量子化ステップサイズの平均値
が算出され、ＳｃＡｖｅＱＰi-1が更新される。また、
ＳｃＡｖｅＱＰi-1は次の処理である特定領域重視符号
化制御部４３にも出力される。
【００６４】図７は特定領域重視符号化制御部４３の構
成を示すブロック図である。この特定領域重視符号化制
御部４３は、動作制御部７１と、初期量子化ステップサ
イズ算出部７２と、量子化ステップサイズ変化範囲検査
部７３と、量子化ステップサイズ加算部７４と、特定領
域重視符号化目標符号量算出部７５と、特定領域割当符
号量算出部７６と、規定符号量監視部７７と、符号化中
止処理部７８と、量子化ステップサイズ算出部７９と、
量子化ステップサイズ平均値算出部８０を備えている。
【００６５】上記構成の特定領域重視符号化制御部４３
の動作は、以下のとおりである。動作制御部７１は、入
力されたモード制御情報（特定領域モード）により、次
のマクロブロックに対する量子化ステップサイズの決定
動作が制御される。本実施形態では、前述と同様に処理
量を軽減するという観点から１１マクロブロック毎に量
子化ステップサイズを決定する例を述べるが、本方法は
任意のマクロブロック毎に量子化ステップサイズを決定
できる。すなわち、１マクロブロック毎や３３マクロブ
ロック毎など量子化ステップサイズ決定周期を任意に設
定できる。
【００６６】シーンチェンジ符号化制御から切り換わっ
た最初の特定領域重視符号化制御のフレームの制御に対
し、動作制御部７１は、フレームの最初のマクロブロッ
クの量子化ステップサイズを算出するために、初期量子
化ステップサイズ算出部７２に起動をかける。ここで
は、前フレームのシーンチェンジ符号化時の最後のフレ
ームから算出された平均量子化ステップサイズＳｃＡｖ
ｅＱＰi-1から、次式（１８），（１９）のようにそれ
ぞれ顔領域および背景領域のマクロブロックに対する量
子化ステップサイズＦａｃｅＱＰnew,ＮｏｎＦａｃｅＱ
Ｐnewを算出する。 ＦａｃｅＱＰnew＝ＳｃＡｖｅＱi-1 (18) ＮｏｎＦａｃｅＱＰnew＝ＳｃＡｖｅＱＰi-1 (19)
【００６７】このように、シーンチェンジ符号化時の最
後のフレームでは、顔領域および背景領域の区別なく、
量子化ステップサイズが設定されていたので、量子化ス
テップサイズＦａｃｅＱＰnew,ＮｏｎＦａｃｅＱＰnew
は同じ値となる。
【００６８】量子化ステップサイズ変化範囲検査部７３
は、初期量子化ステップサイズ算出部７２、あるいは量
子化ステップサイズ算出部７９で決定された顔領域およ
び背景領域の量子化ステップサイズが、それぞれの所定
の最小値ＦａｃｅＱＰmin，ＮｏｎＦａｃｅＱＰmin，最
大値ＦａｃｅＱＰmax，ＮｏｎＦａｃｅＱＰmaxの範囲に
あるかを次式（２０），（２１），（２２），（２３）
により検査する。式を満足した場合は、ＦａｃｅＱＰ
newをＦａｃｅＱＰmin,あるいはＦａｃｅＱＰmaxに、Ｎ
ｏｎＦａｃｅＱＰnewをＮｏｎＦａｃｅＱＰmin,あるい
はＮｏｎＦａｃｅＱＰmaxに置き換える。こうすること
で画質をある程度一定範囲に保つことができる。
【００６９】 ＦａｃｅＱＰnew＜ＦａｃｅＱＰminのとき ＦａｃｅＱＰnew＝ＦａｃｅＱＰmin (20) ＦａｃｅＱＰnew＞ＦａｃｅＱＰmaxのとき ＦａｃｅＱＰnew＝ＦａｃｅＱＰmax (21) ＮｏｎＦａｃｅＱＰnew＜ＮｏｎＦａｃｅＱＰminのとき ＮｏｎＦａｃｅＱＰnew＝ＮｏｎＦａｃｅＱＰmin (22) ＮｏｎＦａｃｅＱＰnew＞ＮｏｎＦａｃｅＱＰmaxのとき ＮｏｎＦａｃｅＱＰnew＝ＮｏｎＦａｃｅＱＰｍａｘ
（２３）
【００７０】ここで検査された量子化ステップサイズ
は、１１マクロブロックの量子化のために出力される。
そして、特定領域抽出部１４からの特定領域ブロックマ
ップに従い、量子化対象となるマクロブロックが顔領域
であるときには、ＦａｃｅＱＰｎｅｗ、背景領域である
場合は、ＮｏｎＦａｃｅＱＰnewが、選択されて出力さ
れる。また、この量子化ステップサイズは量子化ステッ
プサイズ加算部７４にも入力され、１フレームでの顔領
域および背景領域の量子化ステップサイズの平均値を求
めるために、使用された量子化ステップサイズがそれぞ
れ加算される。
【００７１】また、動作制御部７１が、現フレームの１
フレームあたりの目標符号量を算出するために、各フレ
ームの最初に、特定領域重視符号化目標符号量算出部７
５に起動をかける。ここでは、特定領域重視符号化目標
符号量Ｂtargetとしたとき、次式（２４）のように算出
される。
【００７２】
【数５】
【００７３】特定領域割当目標符号量算出部７６は、特
定領域ブロックマップとブロックスキップマップに基づ
いて、それぞれ顔領域、背景領域の１マクロブロック当
たりの目標符号化符号量を算出する。まず、特定領域ブ
ロックマップから顔領域のマクロブロック数ＦａｃｅＭ
Ｂを求める。また、背景領域のマクロブロック数をＮｏ
ｎＦａｃｅＭＢとする。次に、ブロックスキップマップ
により符号化される顔領域のマクロブロック数Ｃｏｄｅ
ｄＦａｃｅＭＢとスキップされる顔領域のマクロブロッ
ク数ＮｏｔＣｏｄｅｄＦａｃｅＭＢ、さらに符号化され
る背景領域のマクロブロック数ＣｏｄｅｄＮｏｎＦａｃ
ｅＭＢとスキップされる背景領域のマクロブロック数Ｎ
ｏｔＣｏｄｅｄＮｏｎＦａｃｅＭＢを求める。これらの
値から、どれくらい顔領域と背景領域に符号量が割り当
てられるかを示すＦａｃｅＡｓｓｉｇｎＦａｃｔｏｒと
ＮｏｎＦａｃｅＡｓｓｉｇｎＦａｃｔｏｒを次式のよう
に算出する。
【００７４】 FaceAssignFactor＜１．２のときFaceAssignFactor＝１．０ １．２＜FaceAssignFactor＜５．０のときFaceAssignFactor＝ （FaceAssignFactor−１．０）＊０．５＋１．０ FaceAssignFactor＞５．０のときFaceAssignFactor＝３．０ (25)
【００７５】但し、
【数６】
【００７６】さらに、１マクロブロック当たりの顔領域
および背景領域に割り当てる目標符号量をそれぞれＦａ
ｃｅＢｉｔ，ＮｏｎＦａｃｅＢｉｔとしたとき、
【数７】 のように求める。
【００７７】１１マクロブロック毎の量子化が終了後、
動作制御部７１は規定符号量監視部７７に起動をかけ
る。規定符号量監視部７７において、符号化部５から現
時点での現フレームの符号量を示す符号量情報が入力さ
れ、現フレームにおいて符号化が終了した現マクロブロ
ックまでの符号量Ｂi,mbを得ることにより、現時点での
規定の符号量Ｂmax,mbを越えていないかどうかが、前述
した式（１０）により調べられる。式（１０）を満足し
たとき、規定の符号量を越えているので、これ以上、符
号量を増加させることができない。このとき、符号化処
理中止処理部７８では、現フレームの残りのマクロブロ
ックに対して量子化を行わないようにして、量子化ステ
ップサイズ平均値算出部８０から現在までの量子化ステ
ップサイズの平均値を算出して出力する。これ以降のマ
クロブロックについては、符号化を行わないので、前フ
レームの画像が用いられることになる。
【００７８】量子化ステップサイズ算出部７９は、規定
符号量監視部７７で規定符号量を超えていないときに実
行される。これは、特定領域ブロックマップとブロック
スキップマップに基づき、現在の符号量が現在の符号化
位置を考慮した目標符号量Ｂtargetに対して大きいとき
は、次の１１マクロブロックの量子化ステップサイズを
大きくする。また、現在の符号量が現在の符号化位置を
考慮したＢtargetより小さいときは、量子化ステップサ
イズを小さくするように動作する。１フレームにおける
マクロブロック数（ＣＩＦのときは３９６、ＱＣＩＦの
ときは９９）をＭＢ、現フレームにおいて符号化が終了
した符号化される顔領域の現マクロブロック数をｃｏｄ
ｅｄｆａｃｅｍｂ、現フレームにおいて符号化が終了し
た符号化される背景領域の現マクロブロック数をｃｏｄ
ｅｄｎｏｎｆａｃｅｍｂ、符号量情報からの前フレーム
の符号量をＢi-1としたとき、次の１１マクロブロック
に対する背景領域の量子化ステップサイズをＮｏｎＦａ
ｃｅＱＰnewとし、式（２９）のように算出する。
【００７９】
【数８】
【００８０】また、ＮｏｎＦａｃｅＱＰnewの状態によ
り、次の１１マクロブロックに含まれる顔領域マクロブ
ロックに対する量子化ステップサイズＦａｃｅＱＰnew
が更新される条件は以下の２つの場合である。 ＮｏｎＦａｃｅＱＰ new＜ＮｏｎＦａｃｅＱＰmin (30) ＮｏｎＦａｃｅＱＰ new＞ＮｏｎＦａｃｅＱＰmax (31) 式（３０）を満足する場合は、現符号量が目標符号量よ
りも少ないので更に細かな量子化ステップサイズを使用
可能なときである。従って、ＦａｃｅＱＰnewを ＦａｃｅＱＰnew＝ＦａｃｅＱＰnew−１ (32) とする。また、逆に式（３１）を満足する場合は発生符
号量が目標符号量よりも超過しており、符号量を削減す
る必要がある。従ってそのときは、 ＦａｃｅＱＰnew＝ＦａｃｅＱＰnew＋１ (33) とする。
【００８１】ＦａｃｅＱＰnew、ＮｏｎＦａｃｅＱＰnew
は、量子化ステップサイズ変化範囲検査部７３に入力さ
れ、量子化ステップサイズが所定範囲内にあるかどうか
が前述した方法で調べられ、切換部４４及び量子化ステ
ップサイズ加算部７４に出力される。
【００８２】このような１１マクロブロック毎の処理
が、現フレームのすべてのマクロブロックに対して実施
される。そして、最後の１１マクロブロックの量子化を
終了した時点、あるいは符号化中止処理が行われた時点
で、現フレームで使用された量子化ステップサイズの平
均値が算出され、顔領域および背景領域の量子化ステッ
プサイズＦａｃｅＡｖｅＱＰi-1、ＮｏｎＦａｃｅＡｖ
ｅＱＰi-1が更新される。そして、次フレームの量子化
ステップサイズを算出するために、量子化ステップサイ
ズ算出部８０に出力される。
【００８３】以上のように背景領域よりも顔領域のマク
ロブロックに多くの符号量を割り当てることで、顔領域
の画質を向上させることができる。
【００８４】
【発明の効果】以上の説明から明らかなように、本発明
によれば、前記符号化モード判定手段により判定したモ
ードに基いて、シーンチェンジ発生フレーム及びそれ以
降の所定数のフレームに対しては、フレームレートを落
として特定領域の区別なく前記量子化手段に量子化ステ
ップサイズを設定し、所定数のフレーム以降のフレーム
に対しては、フレームレートを戻して特定領域の符号量
を増加させる量子化手段に量子化ステップサイズを設定
して量子化を制御する符号化制御手段を備えている。し
たがって、シーンチェンジ直後の画質が不安定の時は、
画面の動きを犠牲にしても、全体の画質を重視して符号
化制御を行い、画質が安定した時には、特定領域の画質
を向上させるように符号化制御を行うので、一定の伝送
レートにおいても常に歪みや雑音が少なく画質が低下す
ることがない。
【図面の簡単な説明】
【図１】本発明に係る動画像符号化装置の一実施形態を
示すブロック図である。
【図２】特定領域抽出部の構成を示すブロック図であ
る。
【図３】特定領域ブロックマップを示す説明図である。
【図４】符号化制御部の構成を示すブロック図である。
【図５】フレーム内符号化制御部の構成を示すブロック
図である。
【図６】シーンチェンジ符号化制御部の構成を示すブロ
ック図である。
【図７】特定領域重視符号化制御部の構成を示すブロッ
ク図である。
【図８】従来の動画像符号化装置の一例を示すブロック
図である。
【符号の説明】
１ フレームメモリ部 ２ 減算器 ３ 直交変換部 ４ 量子化部 ５ 符号化部 ６ バッファメモリ部 ７ 逆量子化部 ８ 逆直交変換部 ９ 加算器 １０ フレームメモリ部 １１ 動き検出部 １２ 動き補償予測部 １３ ブロックスキップ判定部 １４ 特定領域抽出部 １５ シーンチェンジ検出部 １６ 符号化モード判定部 １７ 符号化制御部
フロントページの続き Ｆターム(参考） 5C059 KK01 KK22 KK34 MA00 MA04 MA05 MA23 MB12 MC11 MC38 ME01 NN01 NN28 NN43 PP04 PP14 PP15 PP16 PP28 PP29 SS07 TA07 TA23 TA46 TA60 TB08 TC12 TC14 TC38 TD03 TD05 TD12 TD15 UA02 UA32 UA33 5J064 AA01 BA13 BA15 BB03 BB10 BC01 BC02 BC08 BC14 BC16 BD02

Claims (5)

    【特許請求の範囲】
  1. 【請求項１】 入力画像をＮ×Ｍ画素（Ｎ，Ｍは自然
    数）のブロック単位に分割し、ブロック毎に現フレーム
    と前フレームのフレーム間差分を求めて動きベクトルを
    検出する動き検出手段と、 動きベクトルから動き補償予測値を求めてフレーム間予
    測を行うか、あるいはフレーム内予測を行うかの判定を
    行う動き補償予測手段と、 前記入力画像と前記動き補償予測値との差分に直交変換
    を行い変換係数を得る直交変換手段と、 該変換係数を量子化する量子化手段と、 量子化された変換係数を符号化して符号化情報を生成す
    る符号化手段と、 前記動き検出手段により検出された現フレームと前フレ
    ームのフレーム間差分と、前記動き補償予測手段により
    行った動き補償予測の判定結果とにより、符号化しない
    ブロックのスキップ判定をするブロックスキップ判定手
    段と、 前記入力画像から特定領域を抽出する特定領域抽出手段
    と、 前記フレーム間差分の大きさによりシーンチェンジを検
    出するシーンチェンジ検出手段と、 前記シーンチェンジ検出手段によりシーンチェンジを検
    出した場合、シーンチェンジ発生フレームに対する符号
    化を示すシーンチェンジ発生フレームモード、シーンチ
    ェンジ発生フレーム以降の所定数のフレームに対する符
    号化を示すシーンチェンジ以降モード、及びそれ以降の
    フレームに対して前記特定領域抽出手段で抽出した特定
    領域の画質を向上させる符号化を示す特定領域モードの
    各モードを判定する符号化モード判定手段と、 前記符号化モード判定手段により判定したモードに基い
    て、シーンチェンジ発生フレーム及びそれ以降の所定数
    のフレームに対しては、フレームレートを落として特定
    領域の区別なく前記量子化手段に量子化ステップサイズ
    を設定し、所定数のフレーム以降のフレームに対して
    は、フレームレートを戻して特定領域の符号量を増加さ
    せる量子化手段に量子化ステップサイズを設定して量子
    化を制御する符号化制御手段と、 を備え、回線の伝送速度と整合させて、所定のフレーム
    レートで前記符号化情報を伝送することを特徴とする動
    画像符号化装置。
  2. 【請求項２】 前記符号化制御手段は、 シーンチェンジ発生フレームモードの場合、フレームレ
    ートを落として１フレーム当たりの符号量を増加させ、
    シーンチェンジ発生フレームに対して特定領域の区別な
    くフレーム内符号化を実施するための量子化ステップサ
    イズを設定するフレーム内符号化制御手段と、 シーンチェンジ以降モードの場合、フレームレートを落
    として１フレーム当たりの符号量を増加させ、シーンチ
    ェンジ以降の所定数のフレームに対して前フレームの情
    報に基づいて特定領域の区別なく符号化を実施するため
    の量子化ステップサイズを設定するシーンチェンジ符号
    化制御手段と、 特定領域モードの場合、前記符号化手段からの符号量情
    報に従い、前記ブロックスキップ判定手段により得られ
    たスキップするブロックの情報、前記特定領域抽出手段
    により抽出した特定領域の情報に基づいて、符号化を実
    施するための量子化ステップサイズを設定する特定領域
    重視符号化制御手段と、 前記符号化モード判定手段からのモード情報に基づいて
    前記３つの制御信号の１つを選択する切換手段と、 を備えたことを特徴とする請求項１記載の動画像符号化
    装置。
  3. 【請求項３】 前記フレーム内符号化制御手段は、 フレームレートを少なくしてシーンチェンジ発生フレー
    ムの目標符号量を算出するフレーム内符号化目標符号量
    算出手段と、 予め前記目標符号量と前記量子化ステップサイズとの関
    係を設定しておき、前記目標符号量に基づいて、量子化
    ステップサイズを設定する量子化ステップサイズ設定手
    段と、 標準規格に定められた１フレーム当たりの最大符号量に
    基づいて、所定数のブロック毎に規定符号量を設け、該
    所定数のブロックの符号化毎に、前記符号化手段の符号
    量が該規定符号量を越えたか否かを監視する規定符号量
    監視手段と、 前記符号化手段の符号量が前記規定符号量を越えた場合
    に、量子化ステップサイズを増加させる量子化ステップ
    サイズインクリメント手段と、 前記量子化ステップサイズ設定手段で決定された量子化
    ステップサイズと前記量子化ステップサイズインクリメ
    ント手段で増加した量子化ステップサイズを加算する量
    子化ステップサイズ加算手段と、 加算された量子化ステップサイズの平均値を算出する量
    子化ステップサイズ平均値算出手段と、 を備え、 前記符号化モード判定手段からシーンチェンジ発生フレ
    ームモードの情報が入力された場合に、前記各手段を動
    作させることを特徴とする請求項２記載の動画像符号化
    装置。
  4. 【請求項４】 前記シーンチェンジ符号化制御手段は、 フレームレートを少なくして、１フレーム当たりの目標
    符号量を算出するシーンチェンジ符号化目標符号量算出
    手段と、 標準規格に定められた１フレーム当たりの最大符号量に
    基づいて、所定数のブロック毎に規定符号量を設け、該
    所定数のブロックの符号化毎に、前記符号化手段の符号
    量が該規定符号量を越えたか否かを監視する規定符号量
    監視手段と、 前記規定符号量を超えたときに現フレームの符号化を中
    止する符号化中止処理手段と、 入力された量子化ステップサイズが規定の範囲内である
    ことを検査し、該量子化ステップサイズが規定範囲を越
    える場合は、該量子化ステップサイズに最も近い規定範
    囲の値を量子化ステップサイズとし、該量子化ステップ
    サイズが規定範囲を越えない場合は、量子化ステップサ
    イズをそのままとする量子化ステップサイズ変化範囲検
    査手段と、 前記量子化ステップサイズ変化範囲検査手段で設定した
    量子化ステップサイズを加算する量子化ステップサイズ
    加算手段と、 加算された量子化ステップサイズの平均値を算出する量
    子化ステップサイズ平均値算出手段と、 シーンチェンジ発生フレームの平均量子化ステップサイ
    ズに基づいて初期の量子化ステップサイズを算出し、前
    記量子化ステップサイズ変化範囲検査手段に出力する初
    期量子化ステップサイズ算出手段と、 前記目標符号量と前記規定符号量を越えない符号量情報
    と前フレームの平均量子化ステップサイズから量子化ス
    テップサイズを算出し、前記量子化ステップサイズ変化
    範囲検査手段に出力する量子化ステップサイズ算出手段
    と、 を備え、 前記符号化モード判定手段からシーンチェンジ以降モー
    ドの情報が入力された場合に、前記各手段を動作させる
    ことを特徴とする請求項２記載の動画像符号化装置。
  5. 【請求項５】 前記特定領域重視符号化制御手段は、 １フレーム当たりの目標符号量を算出する特定領域重視
    符号化目標符号量算出手段と、 前記ブロックスキップ判定手段からスキップするブロッ
    クの情報、前記特定領域抽出手段で抽出された特定領域
    の情報、及び前記特定領域重視符号化目標符号量算出手
    段からの目標符号量の情報に基づいて、特定領域とそれ
    以外の領域に割り当てる符号量を算出する特定領域割当
    目標符号量算出手段と、 標準規格に定められた１フレーム当たりの最大符号量に
    基づいて、所定数のブロック毎に規定符号量を設け、該
    所定数のブロックの符号化毎に、前記符号化手段の符号
    量が該規定符号量を越えたか否かを監視する規定符号量
    監視手段と、 前記規定符号量を超えたときに現フレームの符号化を中
    止する符号化中止処理手段と、 入力された量子化ステップサイズが規定の範囲内である
    ことを検査し、該量子化ステップサイズが規定範囲を越
    える場合は、該量子化ステップサイズに最も近い規定範
    囲の値を量子化ステップサイズとし、該量子化ステップ
    サイズが規定範囲を越えない場合は、量子化ステップサ
    イズをそのままとする量子化ステップサイズ変化範囲検
    査手段と、 前記量子化ステップサイズ変化範囲検査手段で設定した
    量子化ステップサイズを加算する量子化ステップサイズ
    加算手段と、 加算された量子化ステップサイズの平均値を算出する量
    子化ステップサイズ平均値算出手段と、 シーンチェンジ以降モードの平均量子化ステップサイズ
    に基づいて初期の量子化ステップサイズを算出し、前記
    量子化ステップサイズ変化範囲検査手段に出力する初期
    量子化ステップサイズ算出手段と、 前記目標符号量と前記規定符号量を越えない符号量情報
    と前記ブロックスキップ判定手段からのスキップするブ
    ロックの情報と前記特定領域抽出手段からの特定領域情
    報と前フレームの平均量子化ステップサイズとから量子
    化ステップサイズを算出し、前記量子化ステップサイズ
    変化範囲検査手段に出力する量子化ステップサイズ算出
    手段と、 を備え、 前記符号化モード判定手段からの特定領域モードの情報
    が入力された場合に、前記各手段を動作させることを特
    徴とする請求項２記載の動画像符号化装置。
JP24616498A 1998-08-31 1998-08-31 動画像符号化装置 Expired - Fee Related JP3748717B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP24616498A JP3748717B2 (ja) 1998-08-31 1998-08-31 動画像符号化装置
US09/348,658 US6430222B1 (en) 1998-08-31 1999-07-06 Moving picture coding apparatus
DE1999635478 DE69935478T2 (de) 1998-08-31 1999-08-05 Bewegtbildkodiergerät
EP19990115523 EP0984634B1 (en) 1998-08-31 1999-08-05 Moving picture coding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24616498A JP3748717B2 (ja) 1998-08-31 1998-08-31 動画像符号化装置

Publications (2)

Publication Number Publication Date
JP2000078588A true JP2000078588A (ja) 2000-03-14
JP3748717B2 JP3748717B2 (ja) 2006-02-22

Family

ID=17144467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24616498A Expired - Fee Related JP3748717B2 (ja) 1998-08-31 1998-08-31 動画像符号化装置

Country Status (4)

Country Link
US (1) US6430222B1 (ja)
EP (1) EP0984634B1 (ja)
JP (1) JP3748717B2 (ja)
DE (1) DE69935478T2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002238060A (ja) * 2001-02-07 2002-08-23 Sony Corp 画像符号化方法、画像符号化装置、プログラムおよび記録媒体
WO2002093936A1 (en) * 2001-05-10 2002-11-21 Sony Corporation Moving picture encoding apparatus
KR20040047009A (ko) * 2002-11-28 2004-06-05 엘지전자 주식회사 영상 전화 시스템의 비트율 조절방법
JP2004179997A (ja) * 2002-11-27 2004-06-24 Sony Corp 双方向コミュニケーションシステム，映像通信装置，および映像通信装置の映像データ配信方法
WO2005004487A1 (ja) * 2003-06-30 2005-01-13 Mitsubishi Denki Kabushiki Kaisha 画像符号化装置及び画像符号化方法
JP2007060498A (ja) * 2005-08-26 2007-03-08 Aiphone Co Ltd Ｊｐｅｇ圧縮装置
JP2010206751A (ja) * 2009-03-06 2010-09-16 Toshiba Corp 動画像圧縮符号化装置
JP2011091772A (ja) * 2009-10-26 2011-05-06 Canon Inc 画像符号化装置
JP2014003587A (ja) * 2012-05-25 2014-01-09 Canon Inc 画像符号化装置及びその方法
JP2015531558A (ja) * 2012-09-10 2015-11-02 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ シーンの変化に伴うピクチャ内の符号化及び送信パラメータの好適化
WO2017104011A1 (ja) * 2015-12-16 2017-06-22 三菱電機株式会社 画像符号化装置
JP2020518174A (ja) * 2017-08-17 2020-06-18 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 ビデオフレーム符号化方法、端末、および記憶媒体

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
KR100390115B1 (ko) * 1999-04-12 2003-07-04 마츠시타 덴끼 산교 가부시키가이샤 화상 처리 방법, 화상 처리 장치 및 데이터 기억 매체
US6639942B1 (en) * 1999-10-21 2003-10-28 Toshiba America Electronic Components, Inc. Method and apparatus for estimating and controlling the number of bits
US6968009B1 (en) * 1999-11-12 2005-11-22 Stmicroelectronics, Inc. System and method of finding motion vectors in MPEG-2 video using motion estimation algorithm which employs scaled frames
US6738423B1 (en) * 2000-01-21 2004-05-18 Nokia Mobile Phones Ltd. Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
TW527832B (en) * 2000-04-20 2003-04-11 Matsushita Electric Ind Co Ltd Video encoding apparatus that adjusts code amount by skipping encoding of image data
US20010052928A1 (en) * 2000-05-22 2001-12-20 Kazuyuki Imagawa Image communication terminal
US8374237B2 (en) * 2001-03-02 2013-02-12 Dolby Laboratories Licensing Corporation High precision encoding and decoding of video images
US7209519B2 (en) * 2001-04-16 2007-04-24 Mitsubishi Electric Research Laboratories, Inc. Encoding a video with a variable frame-rate while minimizing total average distortion
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US8111754B1 (en) 2001-07-11 2012-02-07 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
US6975680B2 (en) * 2001-07-12 2005-12-13 Dolby Laboratories, Inc. Macroblock mode decision biasing for video compression systems
US20030112863A1 (en) 2001-07-12 2003-06-19 Demos Gary A. Method and system for improving compressed image chroma information
DE10138650A1 (de) * 2001-08-07 2003-02-27 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Verschlüsseln eines diskreten Signals sowie Verfahren und Vorrichtung zur Entschlüsselung
US7119924B2 (en) * 2001-09-28 2006-10-10 Xerox Corporation Detection and segmentation of sweeps in color graphics images
US6985628B2 (en) * 2002-01-07 2006-01-10 Xerox Corporation Image type classification using edge features
US6996277B2 (en) * 2002-01-07 2006-02-07 Xerox Corporation Image type classification using color discreteness features
US6996249B2 (en) * 2002-01-11 2006-02-07 Nec Laboratories America, Inc. Applying informed coding, informed embedding and perceptual shaping to design a robust, high-capacity watermark
US6993078B2 (en) * 2002-03-28 2006-01-31 International Business Machines Corporation Macroblock coding technique with biasing towards skip macroblock coding
JP4151374B2 (ja) * 2002-03-29 2008-09-17 セイコーエプソン株式会社 動画像符号化装置および動画像符号化方法
US20030202575A1 (en) * 2002-04-03 2003-10-30 Williams Billy Dennis System and method for digital video frame scanning and streaming
US20040226046A1 (en) * 2003-05-05 2004-11-11 Shih-Hsiung Weng Telecommunication network-based remote surveillance method and system
US7515072B2 (en) * 2003-09-25 2009-04-07 International Rectifier Corporation Method and apparatus for converting PCM to PWM
KR101099884B1 (ko) * 2004-04-23 2011-12-28 히또시 기야 동화상데이터의 부호화방법, 복호화방법, 이들을 실행하는단말장치, 및 쌍방향 대화형 시스템
US20060239347A1 (en) * 2005-04-25 2006-10-26 Ashish Koul Method and system for scene change detection in a video encoder
US8055783B2 (en) * 2005-08-22 2011-11-08 Utc Fire & Security Americas Corporation, Inc. Systems and methods for media stream processing
GB2432985A (en) * 2005-12-05 2007-06-06 Univ Robert Gordon Encoder control system based on a target encoding value
US8861585B2 (en) * 2006-01-20 2014-10-14 Qualcomm Incorporated Method and apparatus for error resilience algorithms in wireless video communication
US8325822B2 (en) * 2006-01-20 2012-12-04 Qualcomm Incorporated Method and apparatus for determining an encoding method based on a distortion value related to error concealment
US7903733B2 (en) 2006-01-26 2011-03-08 Qualcomm Incorporated Adaptive filtering to enhance video encoder performance
US8009963B2 (en) 2006-01-26 2011-08-30 Qualcomm Incorporated Adaptive filtering to enhance video bit-rate control performance
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
US8019804B2 (en) * 2007-03-26 2011-09-13 City University Of Hong Kong Method and apparatus for calculating an SSD and encoding a video signal
US8483283B2 (en) * 2007-03-26 2013-07-09 Cisco Technology, Inc. Real-time face detection
CN101453642B (zh) * 2007-11-30 2012-12-26 华为技术有限公司 图像编/解码方法、装置和系统
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
JP5111269B2 (ja) * 2008-07-09 2013-01-09 キヤノン株式会社 画像処理装置、画像処理方法
US9445121B2 (en) * 2008-08-04 2016-09-13 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
US9407925B2 (en) * 2008-10-30 2016-08-02 Vixs Systems, Inc. Video transcoding system with quality readjustment based on high scene cost detection and method for use therewith
US8477175B2 (en) 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
EP2519914A1 (en) * 2009-12-30 2012-11-07 Nokia Corp. Method, device and computer program product for detecting objects in digital images
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
USD626103S1 (en) 2010-03-21 2010-10-26 Cisco Technology, Inc. Video unit with integrated features
USD626102S1 (en) 2010-03-21 2010-10-26 Cisco Tech Inc Video unit with integrated features
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
JP5569357B2 (ja) * 2010-11-19 2014-08-13 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
US8659679B2 (en) 2012-06-08 2014-02-25 Apple Inc. Hardware-constrained transforms for video stabilization processes
US9026128B1 (en) * 2012-08-24 2015-05-05 Sprint Spectrum L.P. Systems and methods for managing signaling traffic in a wireless coverage area in response to varying congestion
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
WO2016122540A1 (en) * 2015-01-29 2016-08-04 Hewlett Packard Enterprise Development Lp Encoder
WO2020168526A1 (zh) * 2019-02-21 2020-08-27 深圳市大疆创新科技有限公司 图像编码方法、设备及计算机可读存储介质
CN110674356B (zh) * 2019-09-30 2021-01-19 中南民族大学 一种针对温度感知数据的时间相关性去冗余方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2871316B2 (ja) 1992-07-10 1999-03-17 日本ビクター株式会社 動画像符号化装置
JPH0630402A (ja) 1992-07-13 1994-02-04 Canon Inc 画像符号化装置
JP3133517B2 (ja) * 1992-10-15 2001-02-13 シャープ株式会社 画像領域検出装置、該画像検出装置を用いた画像符号化装置
KR940020832A (ko) * 1993-02-25 1994-09-16 김주용 고선명 텔레비젼의 적응 양자화 방법 및 이를 이용한 시스템 부호기
US5565921A (en) 1993-03-16 1996-10-15 Olympus Optical Co., Ltd. Motion-adaptive image signal processing system
US5978514A (en) * 1994-11-10 1999-11-02 Kabushiki Kaisha Toshiba Image data coding and decoding system for efficiently compressing information using the shape and position of the image content
JP3258840B2 (ja) 1994-12-27 2002-02-18 シャープ株式会社 動画像符号化装置および領域抽出装置
US5623424A (en) * 1995-05-08 1997-04-22 Kabushiki Kaisha Toshiba Rate-controlled digital video editing method and system which controls bit allocation of a video encoder by varying quantization levels
EP1357758A3 (en) 1995-08-02 2004-10-27 Matsushita Electric Industrial Co., Ltd. Video coding device and video transmission system using the same, quantization control method and average throughput calculation method used therein
JP3249729B2 (ja) * 1995-10-24 2002-01-21 シャープ株式会社 画像符号化装置及び画像復号装置
KR100297830B1 (ko) * 1996-11-09 2001-08-07 윤종용 영상단위별 비트발생량 조절 장치 및 방법
US6088392A (en) * 1997-05-30 2000-07-11 Lucent Technologies Inc. Bit rate coder for differential quantization

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002238060A (ja) * 2001-02-07 2002-08-23 Sony Corp 画像符号化方法、画像符号化装置、プログラムおよび記録媒体
US7158570B2 (en) 2001-05-10 2007-01-02 Sony Corporation Motion picture encoding apparatus
WO2002093936A1 (en) * 2001-05-10 2002-11-21 Sony Corporation Moving picture encoding apparatus
JP2004179997A (ja) * 2002-11-27 2004-06-24 Sony Corp 双方向コミュニケーションシステム，映像通信装置，および映像通信装置の映像データ配信方法
KR20040047009A (ko) * 2002-11-28 2004-06-05 엘지전자 주식회사 영상 전화 시스템의 비트율 조절방법
US7751474B2 (en) 2003-06-30 2010-07-06 Mitsubishi Denki Kabushiki Kaisha Image encoding device and image encoding method
CN100361395C (zh) * 2003-06-30 2008-01-09 三菱电机株式会社 图像编码装置与图像编码方法
WO2005004487A1 (ja) * 2003-06-30 2005-01-13 Mitsubishi Denki Kabushiki Kaisha 画像符号化装置及び画像符号化方法
JP2007060498A (ja) * 2005-08-26 2007-03-08 Aiphone Co Ltd Ｊｐｅｇ圧縮装置
JP2010206751A (ja) * 2009-03-06 2010-09-16 Toshiba Corp 動画像圧縮符号化装置
US8520742B2 (en) 2009-03-06 2013-08-27 Kabushiki Kaisha Toshiba Moving image compression-coding device, method of compression-coding moving image, and H.264 moving image compression-coding device
JP2011091772A (ja) * 2009-10-26 2011-05-06 Canon Inc 画像符号化装置
JP2014003587A (ja) * 2012-05-25 2014-01-09 Canon Inc 画像符号化装置及びその方法
JP2015531558A (ja) * 2012-09-10 2015-11-02 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ シーンの変化に伴うピクチャ内の符号化及び送信パラメータの好適化
WO2017104011A1 (ja) * 2015-12-16 2017-06-22 三菱電機株式会社 画像符号化装置
JP2020518174A (ja) * 2017-08-17 2020-06-18 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 ビデオフレーム符号化方法、端末、および記憶媒体
US11089305B2 (en) 2017-08-17 2021-08-10 Tencent Technology (Shenzhen) Company Limited Video frame coding method during scene change, terminal and storage medium
JP7012747B2 (ja) 2017-08-17 2022-01-28 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 ビデオフレーム符号化方法、端末、および記憶媒体

Also Published As

Publication number Publication date
US6430222B1 (en) 2002-08-06
JP3748717B2 (ja) 2006-02-22
EP0984634A3 (en) 2001-02-28
EP0984634A2 (en) 2000-03-08
DE69935478T2 (de) 2007-11-29
DE69935478D1 (de) 2007-04-26
EP0984634B1 (en) 2007-03-14

Similar Documents

Publication Publication Date Title
JP3748717B2 (ja) 動画像符号化装置
JP3258840B2 (ja) 動画像符号化装置および領域抽出装置
US7110455B2 (en) Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
KR100723507B1 (ko) Ｉ-프레임 움직임 예측을 이용한 동영상 압축 장치의 적응양자화 제어기 및 적응 양자화 제어 방법
US8406297B2 (en) System and method for bit-allocation in video coding
JPH04196976A (ja) 画像符号化装置
EP1867173A2 (en) Content adaptive multimedia processing
JP2004248285A (ja) 画像通話時における話者の映像の差動的符号化可能のビデオエンコーダ及びこれを利用したビデオ信号圧縮方法
JPH0923423A (ja) 信号符号化方法、信号符号化装置及び信号記録媒体
US8290041B2 (en) Communication terminal
JP3429429B2 (ja) 視感誤差処理方法及びこの方法を用いた画像符号化装置
JP3150452B2 (ja) 動画像符号化装置
JP4942208B2 (ja) 符号化装置
KR100770873B1 (ko) 영상 부호화시 비트율 제어 방법 및 장치
JP3005147B2 (ja) 動画像符号化装置
JP2005303555A (ja) 動画像符号化装置および動画像符号化方法
JPH09200769A (ja) 動き補償フレーム間符号化方式
KR20010104058A (ko) 동영상 부호화기의 부호화 모드에 따른 적응적 양자화기
JP3202270B2 (ja) 動画像符号化装置
KR100774455B1 (ko) 실시간 비디오 전송 응용을 위한 비트율 조절장치
KR20010060591A (ko) 동영상 부호화기의 비트율 제어장치
JPH0898177A (ja) 画像符号化装置
KR20020095763A (ko) 비트율 제어 방법
JPH07203458A (ja) 動画像符号化装置
JP2005217499A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050301

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051129

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091209

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees