JP2000050259A - 動画像符号化装置および動画像復号装置 - Google Patents
動画像符号化装置および動画像復号装置Info
- Publication number
- JP2000050259A JP2000050259A JP21883998A JP21883998A JP2000050259A JP 2000050259 A JP2000050259 A JP 2000050259A JP 21883998 A JP21883998 A JP 21883998A JP 21883998 A JP21883998 A JP 21883998A JP 2000050259 A JP2000050259 A JP 2000050259A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- area
- moving
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】静止体である背景部分に対して発生するデータ
量を低減する。 【解決手段】領域分離部３は、入力画像フレームと背景
画像メモリ２に記憶された背景画像フレームを比較し、
入力画像フレームを背景を写した領域と被写体を写した
領域に分類する。符号化部４は、被写体を写した領域は
所定の符号化方式に従って符号化し、背景を写した領域
については、その領域が背景画像フレームと同じである
旨を表す符号に符号化する。
量を低減する。 【解決手段】領域分離部３は、入力画像フレームと背景
画像メモリ２に記憶された背景画像フレームを比較し、
入力画像フレームを背景を写した領域と被写体を写した
領域に分類する。符号化部４は、被写体を写した領域は
所定の符号化方式に従って符号化し、背景を写した領域
については、その領域が背景画像フレームと同じである
旨を表す符号に符号化する。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像を圧縮符号
化する動画像符号化装置に関するものである。
化する動画像符号化装置に関するものである。
【０００２】
【従来の技術】従来より、動画像を圧縮符号化する各種
符号方式が知られている。
符号方式が知られている。
【０００３】圧縮符号化方式に用いられている代表的技
術としては、フレーム内符号化、フレーム間予測、動き
補償フレーム間予測などがある。
術としては、フレーム内符号化、フレーム間予測、動き
補償フレーム間予測などがある。
【０００４】フレーム間予測は、基本的には、１枚の画
像フレームを、当該画像フレームと、他の１または複数
の画像フレームから予測した１または複数の予測画像フ
レームとの差分に対して符号化するものであり、動き補
償フレーム間予測は、フレーム間予測において用いる予
測画像フレームを、被写体の動きも考慮して作成するも
のである。また、フレーム内符号化は、１枚の画像フレ
ームを他の画像フレームとは独立して圧縮符号化するも
のである。フレーム間予測や動き補償フレーム間予測を
フレーム内符号化と組み合わせて用いることにより、動
画像の高能率圧縮符号化が可能となる。一般的には、一
定周期でフレーム内符号化により画像フレームを符号化
し、フレーム内符号化で符号化した画像フレームの間に
ある画像フレームを、フレーム間予測や動き補償フレー
ム間予測によって符号化することにより、フレーム間予
測や動き補償フレーム間予測によって生じる誤差の画像
フレーム間の伝搬を、一定周期内に押さえながら高能率
な圧縮を実現させている
像フレームを、当該画像フレームと、他の１または複数
の画像フレームから予測した１または複数の予測画像フ
レームとの差分に対して符号化するものであり、動き補
償フレーム間予測は、フレーム間予測において用いる予
測画像フレームを、被写体の動きも考慮して作成するも
のである。また、フレーム内符号化は、１枚の画像フレ
ームを他の画像フレームとは独立して圧縮符号化するも
のである。フレーム間予測や動き補償フレーム間予測を
フレーム内符号化と組み合わせて用いることにより、動
画像の高能率圧縮符号化が可能となる。一般的には、一
定周期でフレーム内符号化により画像フレームを符号化
し、フレーム内符号化で符号化した画像フレームの間に
ある画像フレームを、フレーム間予測や動き補償フレー
ム間予測によって符号化することにより、フレーム間予
測や動き補償フレーム間予測によって生じる誤差の画像
フレーム間の伝搬を、一定周期内に押さえながら高能率
な圧縮を実現させている
【０００５】
【発明が解決しようとする課題】テレビ電話やテレビ会
議において、動画像を圧縮符号化して伝送する場合、通
常、動画像の内容は、静止体である背景の前で、動体で
ある人物などの被写体が動くものとなる。そして、この
ような場合、動画像の送り側、受け取り側のユーザにと
って重要なのは、動体である人物およびその動きが実際
通りに精度よく伝わることであって、背景の部分の動画
像が実際通りに精度よく伝わることはさほど重要なこと
ではない。
議において、動画像を圧縮符号化して伝送する場合、通
常、動画像の内容は、静止体である背景の前で、動体で
ある人物などの被写体が動くものとなる。そして、この
ような場合、動画像の送り側、受け取り側のユーザにと
って重要なのは、動体である人物およびその動きが実際
通りに精度よく伝わることであって、背景の部分の動画
像が実際通りに精度よく伝わることはさほど重要なこと
ではない。
【０００６】したがって、この重要でない背景の部分に
対しては、動画像の圧縮符号化において発生するデータ
量、すなわち、伝送すべきデータ量がなるべく少ないこ
とが望ましい。
対しては、動画像の圧縮符号化において発生するデータ
量、すなわち、伝送すべきデータ量がなるべく少ないこ
とが望ましい。
【０００７】しかし、前述したフレーム間予測や動き補
償フレーム間予測の技術によれば、照明状態の変化や、
動画像を取り込むカメラの絞りの変化があった場合、背
景部分の画像に画像フレーム間で差が生じるために、多
くのデータ（圧縮率の低いデータ）が発生してしまう。
また、周期的に行われるフレーム内符号化では、背景の
部分の画像に変化がなくても、この背景の部分の画像に
対して多くのデータが発生してしまう。
償フレーム間予測の技術によれば、照明状態の変化や、
動画像を取り込むカメラの絞りの変化があった場合、背
景部分の画像に画像フレーム間で差が生じるために、多
くのデータ（圧縮率の低いデータ）が発生してしまう。
また、周期的に行われるフレーム内符号化では、背景の
部分の画像に変化がなくても、この背景の部分の画像に
対して多くのデータが発生してしまう。
【０００８】そこで、本発明は、静止体である背景部分
に対して発生するデータ量を低減することが可能な動画
の圧縮符号を行うことを課題とする。
に対して発生するデータ量を低減することが可能な動画
の圧縮符号を行うことを課題とする。
【０００９】
【課題を解決するための手段】前記課題達成のために、
本発明は、動画像を圧縮符号化する動画像符号化装置で
あって、動画像を構成する画像フレームの領域を、静止
体である背景を写した領域と動体である被写体を写した
領域とに分離する手段と、背景を写した領域の画像を圧
縮率の高い（品質が低くデータ発生量の少ない）符号化
方式に従って符号化し、被写体を写した領域を圧縮率の
低い（品質が高くデータ発生量の多い）符号化方式に従
って符号化する手段と、を有することを特徴とする動画
像符号化装置を提供する。
本発明は、動画像を圧縮符号化する動画像符号化装置で
あって、動画像を構成する画像フレームの領域を、静止
体である背景を写した領域と動体である被写体を写した
領域とに分離する手段と、背景を写した領域の画像を圧
縮率の高い（品質が低くデータ発生量の少ない）符号化
方式に従って符号化し、被写体を写した領域を圧縮率の
低い（品質が高くデータ発生量の多い）符号化方式に従
って符号化する手段と、を有することを特徴とする動画
像符号化装置を提供する。
【００１０】このような動画像符号化装置によれば、ユ
ーザにとって重要でない背景部分については、被写体を
写した領域より、より品質が低くデータ発生量の少ない
符号化方式に従って符号化する。これにより背景部分に
対して発生するデータ量を低減することができる。な
お、この場合、背景部分の画像の品質は劣化するが、前
述のように背景部分は視聴者にとって重要ではないので
実用上問題はない。
ーザにとって重要でない背景部分については、被写体を
写した領域より、より品質が低くデータ発生量の少ない
符号化方式に従って符号化する。これにより背景部分に
対して発生するデータ量を低減することができる。な
お、この場合、背景部分の画像の品質は劣化するが、前
述のように背景部分は視聴者にとって重要ではないので
実用上問題はない。
【００１１】また、本発明は、圧縮符号化された動画像
を復号する動画像復号装置であって、所定の背景画像フ
レームを記憶するメモリと、動画像を構成する各画像フ
レームについて、当該動画像を構成する画像フレーム
の、前記背景画像フレームと同じ内容であることを表す
符号に符号化された領域については、前記メモリから背
景画像フレームの画像を抽出し、所定の符号化方式に従
って符号化された領域については、当該所定の符号化方
式に従って復号することで画像を生成して、当該生成し
た画像と前記抽出した背景画像フレームの画像とを合成
した画像フレームを生成する復号手段と、を有すること
を特徴とする動画像復号装置を提供する。
を復号する動画像復号装置であって、所定の背景画像フ
レームを記憶するメモリと、動画像を構成する各画像フ
レームについて、当該動画像を構成する画像フレーム
の、前記背景画像フレームと同じ内容であることを表す
符号に符号化された領域については、前記メモリから背
景画像フレームの画像を抽出し、所定の符号化方式に従
って符号化された領域については、当該所定の符号化方
式に従って復号することで画像を生成して、当該生成し
た画像と前記抽出した背景画像フレームの画像とを合成
した画像フレームを生成する復号手段と、を有すること
を特徴とする動画像復号装置を提供する。
【００１２】このような動画像復号装置によれば、ユー
ザにとって重要でない背景部分については、メモリに格
納されたデータを使うことにより、復号すべきデータ量
を低減することができる。
ザにとって重要でない背景部分については、メモリに格
納されたデータを使うことにより、復号すべきデータ量
を低減することができる。
【００１３】
【発明の実施の形態】以下、本発明の一実施形態につい
て説明する。
て説明する。
【００１４】本実施形態に係る動画像符号化装置および
動画像復号装置について説明する。
動画像復号装置について説明する。
【００１５】まず、図１に、動画像符号化装置の構成を
示す。
示す。
【００１６】図示するように、動画像符号化装置は、背
景画像生成部１、背景画像メモリ２、領域分離部３、符
号化部４、参照画像メモリ５、制御部６、および、入力
部７を有している。
景画像生成部１、背景画像メモリ２、領域分離部３、符
号化部４、参照画像メモリ５、制御部６、および、入力
部７を有している。
【００１７】符号化部４は、ＭＰＥＧ２方式などの、フ
レーム内符号化、およびフレーム間予測あるいは動き補
償フレーム間予測による動画像の圧縮符号をサポートす
る。
レーム内符号化、およびフレーム間予測あるいは動き補
償フレーム間予測による動画像の圧縮符号をサポートす
る。
【００１８】参照画像メモリ５は、符号化部４が動画像
の画像フレームのフレーム間予測あるいは動き補償フレ
ーム間予測による圧縮符号を行う際に用いる参照画像フ
レームを記憶する。ここで、参照画像フレームは、前述
した予測画像フレームまたは予測画像フレームの元とな
る画像フレームである。
の画像フレームのフレーム間予測あるいは動き補償フレ
ーム間予測による圧縮符号を行う際に用いる参照画像フ
レームを記憶する。ここで、参照画像フレームは、前述
した予測画像フレームまたは予測画像フレームの元とな
る画像フレームである。
【００１９】以下、動画像符号化装置の動作について説
明する。
明する。
【００２０】動画像の符号化の開始に先立ち、制御部６
は、ユーザから入力部７を介して背景画像の取り込みの
指示が入力されると、背景画像生成部１に背景画像の作
成を指示する。ここでユーザは、動体である人物などの
被写体が存在せず、静止体である背景のみが撮影されて
いる状態において、背景画像の取り込みの指示を行う。
は、ユーザから入力部７を介して背景画像の取り込みの
指示が入力されると、背景画像生成部１に背景画像の作
成を指示する。ここでユーザは、動体である人物などの
被写体が存在せず、静止体である背景のみが撮影されて
いる状態において、背景画像の取り込みの指示を行う。
【００２１】背景画像生成部１は、背景画像の作成を指
示されると、入力画像フレームを所定数取り込む。そし
て、取り込んだ所定数の画像フレームより背景画像フレ
ームを作成し、背景画像メモリ２に記憶する。ここで、
背景画像フレームは、たとえば、各画素位置について、
取り込んだ所定数の画像フレーム中の画素の値の平均値
を、背景画像フレームの画素の値とすることにより作成
したり、各画素位置について、取り込んだ所定数の画像
フレーム中の画素の値として最も多く現れた値を、背景
画像フレームの画素の値とすることにより作成する。
示されると、入力画像フレームを所定数取り込む。そし
て、取り込んだ所定数の画像フレームより背景画像フレ
ームを作成し、背景画像メモリ２に記憶する。ここで、
背景画像フレームは、たとえば、各画素位置について、
取り込んだ所定数の画像フレーム中の画素の値の平均値
を、背景画像フレームの画素の値とすることにより作成
したり、各画素位置について、取り込んだ所定数の画像
フレーム中の画素の値として最も多く現れた値を、背景
画像フレームの画素の値とすることにより作成する。
【００２２】その後、制御部６は、ユーザから入力部７
を介して符号化開始の指示が入力されると、これを領域
分離部３、符号化部４に伝える。
を介して符号化開始の指示が入力されると、これを領域
分離部３、符号化部４に伝える。
【００２３】符号化部４は、符号化開始の指示が入力さ
れると、まず、第１画像フレームの処理として、背景画
像メモリ２中の背景画像フレームを取り込んで、これを
フレーム内符号化によって符号化し、背景画像フレーム
データとして出力する処理を行う。
れると、まず、第１画像フレームの処理として、背景画
像メモリ２中の背景画像フレームを取り込んで、これを
フレーム内符号化によって符号化し、背景画像フレーム
データとして出力する処理を行う。
【００２４】一方、符号化開始の指示が入力されると、
領域分離部３は、背景画像メモリ２中の背景画像フレー
ムが符号化部４に入力されるのを待って、入力画像フレ
ームを順次取り込み、たとえばＭＰＥＧ２方式などの符
号化部４がサポートする符号化方式において符号化の単
位となる画素ブロック毎に、入力画像フレームと背景画
像メモリ２に記憶された背景画像フレームとを比較し、
入力した画像フレームの各画素ブロックが、静止体であ
る背景を写した領域（以下、「背景領域」と呼ぶ）中の
ものであるのか、動体である人物などの被写体を写した
領域（以下、「動体領域」と呼ぶ）中のものであるのか
を判定する。この判定は、背景画像フレームとの差分が
予め設定したしきい値以上大きい、入力画像フレームの
画像ブロックは、動体領域の画像ブロックであると判定
することにより行う。そして、領域分離部３は、各画素
ブロックについての判定結果を符号化部４に通知する。
領域分離部３は、背景画像メモリ２中の背景画像フレー
ムが符号化部４に入力されるのを待って、入力画像フレ
ームを順次取り込み、たとえばＭＰＥＧ２方式などの符
号化部４がサポートする符号化方式において符号化の単
位となる画素ブロック毎に、入力画像フレームと背景画
像メモリ２に記憶された背景画像フレームとを比較し、
入力した画像フレームの各画素ブロックが、静止体であ
る背景を写した領域（以下、「背景領域」と呼ぶ）中の
ものであるのか、動体である人物などの被写体を写した
領域（以下、「動体領域」と呼ぶ）中のものであるのか
を判定する。この判定は、背景画像フレームとの差分が
予め設定したしきい値以上大きい、入力画像フレームの
画像ブロックは、動体領域の画像ブロックであると判定
することにより行う。そして、領域分離部３は、各画素
ブロックについての判定結果を符号化部４に通知する。
【００２５】符号化部４は、動体領域中の画素ブロック
と判定された画素ブロックについては、入力画像フレー
ムの画素ブロックを取り込み、背景領域中の画素ブロッ
クと判定された画素ブロックについては、背景画像フレ
ームの画素ブロックを取り込み、これを符号化対象の入
力画像フレームとみなして、参照画像フレームを作成
し、参照画像フレームメモリ５に格納する。
と判定された画素ブロックについては、入力画像フレー
ムの画素ブロックを取り込み、背景領域中の画素ブロッ
クと判定された画素ブロックについては、背景画像フレ
ームの画素ブロックを取り込み、これを符号化対象の入
力画像フレームとみなして、参照画像フレームを作成
し、参照画像フレームメモリ５に格納する。
【００２６】また、符号化部４がサポートする符号化方
式に従って、フレーム内符号化、および、参照画像メモ
リ５中の参照画像フレームを用いたフレーム間予測ある
いは動き補償フレーム間予測による、符号化対象の入力
画像フレームの符号化を行う。ただし、フレーム内符号
化、およびフレーム間予測あるいは動き補償フレーム間
予測による符号化は、動体領域中の画素ブロックと判定
された画素ブロックについてのみ行い、背景領域中の画
素ブロックと判定された画素ブロックについては、その
画素ブロックが背景領域中の画素ブロックであることを
表す符号を出力する符号化を行う。なお、前記背景画像
フレームデータを作成した第１画像フレームの処理後の
最初の符号化対象入力画像フレームの動体領域中のブロ
ックについては、フレーム内符号化による符号化を行
う。
式に従って、フレーム内符号化、および、参照画像メモ
リ５中の参照画像フレームを用いたフレーム間予測ある
いは動き補償フレーム間予測による、符号化対象の入力
画像フレームの符号化を行う。ただし、フレーム内符号
化、およびフレーム間予測あるいは動き補償フレーム間
予測による符号化は、動体領域中の画素ブロックと判定
された画素ブロックについてのみ行い、背景領域中の画
素ブロックと判定された画素ブロックについては、その
画素ブロックが背景領域中の画素ブロックであることを
表す符号を出力する符号化を行う。なお、前記背景画像
フレームデータを作成した第１画像フレームの処理後の
最初の符号化対象入力画像フレームの動体領域中のブロ
ックについては、フレーム内符号化による符号化を行
う。
【００２７】以上、本実施形態に係る動画像符号化装置
について説明した。
について説明した。
【００２８】以下、このような動画像符号化装置が符号
化した動画像を復号する動画像復号装置について説明す
る。
化した動画像を復号する動画像復号装置について説明す
る。
【００２９】図２に、動画復号装置の構成を示す。
【００３０】図示するように、動画像復号装置は、背景
画像メモリ１０、復号部１１、および、参照画像メモリ
１２を有している。
画像メモリ１０、復号部１１、および、参照画像メモリ
１２を有している。
【００３１】復号部１１は、ＭＰＥＧ２方式などの、フ
レー内符号化、およびフレーム間予測あるいは動き補償
フレーム間予測により圧縮符号化された動画の復号をサ
ポートする。
レー内符号化、およびフレーム間予測あるいは動き補償
フレーム間予測により圧縮符号化された動画の復号をサ
ポートする。
【００３２】参照画像メモリ５は、復号部１１が、動画
像の画像フレームのフレーム間予測あるいは動き補償フ
レーム間予測による復号を行う際に用いる参照画像フレ
ームを記憶する。ここで、参照画像フレームは、前述し
た予測画像フレームあるいは予測画像フレームの元とな
る画像フレームである。
像の画像フレームのフレーム間予測あるいは動き補償フ
レーム間予測による復号を行う際に用いる参照画像フレ
ームを記憶する。ここで、参照画像フレームは、前述し
た予測画像フレームあるいは予測画像フレームの元とな
る画像フレームである。
【００３３】さて、復号部１１は、まず、フレーム内符
号化によって符号化された背景画像フレームを受け取る
と、これを復号し、背景画像メモリ１０に格納する。
号化によって符号化された背景画像フレームを受け取る
と、これを復号し、背景画像メモリ１０に格納する。
【００３４】以降、入力する圧縮符号化された画像フレ
ームを逐次復号し、画像フレームを出力すると共に、出
力する画像フレームを用いて参照画像フレームを作成
し、参照画像メモリ５に格納する。ただし、この復号は
次のように行う。すなわち、フレーム内符号化、フレー
ム間予測、あるいは動き補償フレーム間予測により符号
化された画素ブロックは、復号部１１がサポートする所
定の符号化方式に従って復号を行い、復号した画素ブロ
ックを出力する。この際、フレーム間予測あるいは動き
補償フレーム間予測によって符号化された画素ブロック
は、参照画像メモリ５に格納された参照画像フレームを
利用しながら復号する。一方、その画素ブロックが背景
領域中の画素ブロックであることを表す符号に符号化さ
れた画素ブロックについては、背景画像メモリ１０に格
納された背景画像フレームの画素ブロックを出力する。
ームを逐次復号し、画像フレームを出力すると共に、出
力する画像フレームを用いて参照画像フレームを作成
し、参照画像メモリ５に格納する。ただし、この復号は
次のように行う。すなわち、フレーム内符号化、フレー
ム間予測、あるいは動き補償フレーム間予測により符号
化された画素ブロックは、復号部１１がサポートする所
定の符号化方式に従って復号を行い、復号した画素ブロ
ックを出力する。この際、フレーム間予測あるいは動き
補償フレーム間予測によって符号化された画素ブロック
は、参照画像メモリ５に格納された参照画像フレームを
利用しながら復号する。一方、その画素ブロックが背景
領域中の画素ブロックであることを表す符号に符号化さ
れた画素ブロックについては、背景画像メモリ１０に格
納された背景画像フレームの画素ブロックを出力する。
【００３５】以上、本実施形態に係る動画像符号化装
置、動画像復号化装置について説明した。
置、動画像復号化装置について説明した。
【００３６】以上のように、本実施形態に係る動画像符
号化装置、動画像復号化装置によれば、動画像を構成す
る各画像フレームの、静止体である背景を写した画素ブ
ロックについては、その画素ブロックが背景領域中の画
素ブロックであることを表す符号に符号化するだけでよ
い。したがって、背景の部分に対して符号化によって発
生するデータ量を充分に小さくすることができる。もち
ろん、この場合、静止体である背景の部分の画像は、実
際とは違ったものに符号、復号されることになるが、静
止体であることより、その違いはわずかであると共に、
その違いはユーザにとって重要ではない。
号化装置、動画像復号化装置によれば、動画像を構成す
る各画像フレームの、静止体である背景を写した画素ブ
ロックについては、その画素ブロックが背景領域中の画
素ブロックであることを表す符号に符号化するだけでよ
い。したがって、背景の部分に対して符号化によって発
生するデータ量を充分に小さくすることができる。もち
ろん、この場合、静止体である背景の部分の画像は、実
際とは違ったものに符号、復号されることになるが、静
止体であることより、その違いはわずかであると共に、
その違いはユーザにとって重要ではない。
【００３７】ところで、以上の実施形態では、復号装置
において復号された各画像フレーム中の背景を写した画
素ブロックの内容は、常に、はじめに符号化部の背景画
像生成部１が作成した背景画像フレームの画素ブロック
の内容と同じとなる。しかし、このようにすると、たと
えば、撮影時の照明が変化した場合などに、背景の部分
だけ輝度、色が変化しないことより、復号された動体領
域と背景領域の画像に不自然な輝度、色差が生じてしま
うことがある。
において復号された各画像フレーム中の背景を写した画
素ブロックの内容は、常に、はじめに符号化部の背景画
像生成部１が作成した背景画像フレームの画素ブロック
の内容と同じとなる。しかし、このようにすると、たと
えば、撮影時の照明が変化した場合などに、背景の部分
だけ輝度、色が変化しないことより、復号された動体領
域と背景領域の画像に不自然な輝度、色差が生じてしま
うことがある。
【００３８】そこで、以上の実施形態は、次のように修
正してもよい。
正してもよい。
【００３９】すなわち、動画像符号化装置の領域分離部
３は、入力画像フレームと背景画像フレームの背景領域
の画像ブロックの輝度、色の差分の平均値を算出し、符
号化部４に伝える。
３は、入力画像フレームと背景画像フレームの背景領域
の画像ブロックの輝度、色の差分の平均値を算出し、符
号化部４に伝える。
【００４０】符号化部４は、符号化部４は、動体領域中
の画素ブロックと判定された画素ブロックについては、
入力画像フレームの画素ブロックを取り込む。また、背
景領域中の画素ブロックと判定された画素ブロックにつ
いては、背景画像フレームの画素ブロックを取り込み、
取り込んだ画素ブロックの各画素値を領域分離部３から
伝えられた平均値分補正する。そして、動体領域中の画
素ブロックと、補正した背景領域中の画素ブロックとよ
りなる画像フレームを、前記符号化対象の入力画像フレ
ームとみなして、前述のように参照画像フレームの作成
しや符号化を行う。また、領域分離部３から伝えられた
平均値を、その画像フレームの符号として符号化する。
の画素ブロックと判定された画素ブロックについては、
入力画像フレームの画素ブロックを取り込む。また、背
景領域中の画素ブロックと判定された画素ブロックにつ
いては、背景画像フレームの画素ブロックを取り込み、
取り込んだ画素ブロックの各画素値を領域分離部３から
伝えられた平均値分補正する。そして、動体領域中の画
素ブロックと、補正した背景領域中の画素ブロックとよ
りなる画像フレームを、前記符号化対象の入力画像フレ
ームとみなして、前述のように参照画像フレームの作成
しや符号化を行う。また、領域分離部３から伝えられた
平均値を、その画像フレームの符号として符号化する。
【００４１】一方、動画像復号装置では、復号部におけ
る復号を次のように行う。すなわち、フレーム内符号化
またはフレーム間予測または動き補償フレーム間予測に
よって符号化された画素ブロックは、前述のように復号
を行い、復号した画素ブロックを出力するが、その画素
ブロックが背景領域中の画素ブロックであることを表す
符号に符号化された画素ブロックについては、背景画像
メモリ１０に格納された背景画像フレームの画素ブロッ
クの各画素値を、その画像フレームの符号として符号化
された平均値分補正した画像ブロックを出力する。この
結果、もちろん、参照画像メモリ１２に格納される参照
画像フレームは、フレーム内符号化、フレーム間予測あ
るいは動き補償フレーム間予測により復号した画素ブロ
ックと、平均値分補正した背景画像フレームの画像ブロ
ックとを用いて作成されたものとなる。
る復号を次のように行う。すなわち、フレーム内符号化
またはフレーム間予測または動き補償フレーム間予測に
よって符号化された画素ブロックは、前述のように復号
を行い、復号した画素ブロックを出力するが、その画素
ブロックが背景領域中の画素ブロックであることを表す
符号に符号化された画素ブロックについては、背景画像
メモリ１０に格納された背景画像フレームの画素ブロッ
クの各画素値を、その画像フレームの符号として符号化
された平均値分補正した画像ブロックを出力する。この
結果、もちろん、参照画像メモリ１２に格納される参照
画像フレームは、フレーム内符号化、フレーム間予測あ
るいは動き補償フレーム間予測により復号した画素ブロ
ックと、平均値分補正した背景画像フレームの画像ブロ
ックとを用いて作成されたものとなる。
【００４２】このようにすることにより、復号された画
像フレームの動体領域と背景領域間に不自然な輝度、色
差などが生じることを防ぐことができるまた、以上の実
施形態は、次のように修正するようにしてもよい。
像フレームの動体領域と背景領域間に不自然な輝度、色
差などが生じることを防ぐことができるまた、以上の実
施形態は、次のように修正するようにしてもよい。
【００４３】すなわち、動画像符号化装置の符号化部４
は、前記第１の画像フレームの処理として説明した背景
画像データの作成を行わない。また、符号化部４は、動
体領域中の画素ブロックと判定された画素ブロックにつ
いては、入力画像フレームの画素ブロックを取り込み、
背景領域中の画素ブロックと判定された画素ブロックに
ついては、背景画像フレームの画素ブロックを取り込
み、これを符号化対象の入力画像フレームとみなして、
参照画像フレームを作成し、参照画像フレームメモリ５
に格納する。また、符号化対象の入力画像フレームの全
ての画像ブロックを、符号化部４がサポートする符号化
方式に従って、フレーム内符号化、または、参照画像メ
モリ５中の参照画像フレームを用いたフレーム間予測あ
るいは動き補償フレーム間予測による符号化対象の入力
画像フレームの符号化を行う。
は、前記第１の画像フレームの処理として説明した背景
画像データの作成を行わない。また、符号化部４は、動
体領域中の画素ブロックと判定された画素ブロックにつ
いては、入力画像フレームの画素ブロックを取り込み、
背景領域中の画素ブロックと判定された画素ブロックに
ついては、背景画像フレームの画素ブロックを取り込
み、これを符号化対象の入力画像フレームとみなして、
参照画像フレームを作成し、参照画像フレームメモリ５
に格納する。また、符号化対象の入力画像フレームの全
ての画像ブロックを、符号化部４がサポートする符号化
方式に従って、フレーム内符号化、または、参照画像メ
モリ５中の参照画像フレームを用いたフレーム間予測あ
るいは動き補償フレーム間予測による符号化対象の入力
画像フレームの符号化を行う。
【００４４】一方、動画像復号装置は、従来同様に構成
し、従来同様の復号を行わせる。
し、従来同様の復号を行わせる。
【００４５】すなわち、符号化部４の符号化の動作は従
来同様とし、符号化部４が符号化対象とする入力画像フ
レームの背景領域中の画素ブロックの内容を、背景画像
フレームの画素ブロックの内容に固定する。これによっ
て、照明の変化やカメラの絞りの変化があっても、背景
の部分の画像は変化しないので、従来に比べ、この部分
に対して発生するデータ量を削減することができる。
来同様とし、符号化部４が符号化対象とする入力画像フ
レームの背景領域中の画素ブロックの内容を、背景画像
フレームの画素ブロックの内容に固定する。これによっ
て、照明の変化やカメラの絞りの変化があっても、背景
の部分の画像は変化しないので、従来に比べ、この部分
に対して発生するデータ量を削減することができる。
【００４６】また、以上の実施形態において、動画像符
号化装置の領域分離部３が行う、背景領域中の画素ブロ
ックと、動体領域中の画素ブロックの判定は、先に説明
した手法以外の手法によってもよい。たとえば、実際の
背景を青一色にし、青成分を所定レベル以上含む部分を
背景領域中の部分とするなどのクロマキーの技術によっ
て背景領域中の画素ブロックと、動体領域中の画素ブロ
ックを分離するなどの手法を用いてよい。
号化装置の領域分離部３が行う、背景領域中の画素ブロ
ックと、動体領域中の画素ブロックの判定は、先に説明
した手法以外の手法によってもよい。たとえば、実際の
背景を青一色にし、青成分を所定レベル以上含む部分を
背景領域中の部分とするなどのクロマキーの技術によっ
て背景領域中の画素ブロックと、動体領域中の画素ブロ
ックを分離するなどの手法を用いてよい。
【００４７】また、以上の実施形態は、次のように修正
してもよい。
してもよい。
【００４８】すなわち、動画像符号化装置の背景画像生
成部１は、領域分離部３によって動体領域中の画素ブロ
ックと判定された画素ブロックの内容を監視し、その画
素ブロックの内容が一定時間分の画像フレーム中におい
て、所定のレベルを超えた変化を見せた場合は、その画
素ブロックの内容で、背景画像メモリ２中の背景画像フ
レームの画素ブロックの内容を更新する。符号化部４
は、この更新後の画素ブロックを符号化し、更新画素ブ
ロックデータとして出力する。一方、動画像復号装置の
復号部１１は、更新画素ブロックデータを受け取ったな
らば、これを復号し、背景画像メモリ１０中の画素ブロ
ックの内容を更新する。これにより、実際の背景に変化
があったような場合にも、これに合わせて背景画像フレ
ームを更新できる。また、これにより、必ずしも、予め
動体を含まない背景だけを写した画像フレームから背景
画像フレームを作成しなくても良くなる。たとえば、初
期段階において、背景画像メモリ２に、各画素がデフォ
ルト値をとる背景画像フレームを格納しておいても、順
次、背景画像フレームの画素ブロックが、実際の背景を
写した画素ブロックに置き換えられていくことになる。
ただし、この場合は、背景画像フレームの画素ブロック
がデフォルト値の画素よりなる場合、入力画像フレーム
の、その画素ブロックは常に動体領域中の画素ブロック
と判定するなどの操作を行うようにする。
成部１は、領域分離部３によって動体領域中の画素ブロ
ックと判定された画素ブロックの内容を監視し、その画
素ブロックの内容が一定時間分の画像フレーム中におい
て、所定のレベルを超えた変化を見せた場合は、その画
素ブロックの内容で、背景画像メモリ２中の背景画像フ
レームの画素ブロックの内容を更新する。符号化部４
は、この更新後の画素ブロックを符号化し、更新画素ブ
ロックデータとして出力する。一方、動画像復号装置の
復号部１１は、更新画素ブロックデータを受け取ったな
らば、これを復号し、背景画像メモリ１０中の画素ブロ
ックの内容を更新する。これにより、実際の背景に変化
があったような場合にも、これに合わせて背景画像フレ
ームを更新できる。また、これにより、必ずしも、予め
動体を含まない背景だけを写した画像フレームから背景
画像フレームを作成しなくても良くなる。たとえば、初
期段階において、背景画像メモリ２に、各画素がデフォ
ルト値をとる背景画像フレームを格納しておいても、順
次、背景画像フレームの画素ブロックが、実際の背景を
写した画素ブロックに置き換えられていくことになる。
ただし、この場合は、背景画像フレームの画素ブロック
がデフォルト値の画素よりなる場合、入力画像フレーム
の、その画素ブロックは常に動体領域中の画素ブロック
と判定するなどの操作を行うようにする。
【００４９】以上、本発明の実施形態について説明し
た。
た。
【００５０】なお、以上の動画像符号化装置、動画像復
号装置は、電子計算機上に実現するようにしてもよい。
この場合は、以上に説明した動画像符号化装置、動画像
復号装置の各処理を記述したプログラムを電子計算機に
供給し、実行させるようにする。また、この場合におい
て、このプログラムはＣＤ−ＲＯＭなどの記憶媒体によ
って電子計算機に供給するようにしてよい。
号装置は、電子計算機上に実現するようにしてもよい。
この場合は、以上に説明した動画像符号化装置、動画像
復号装置の各処理を記述したプログラムを電子計算機に
供給し、実行させるようにする。また、この場合におい
て、このプログラムはＣＤ−ＲＯＭなどの記憶媒体によ
って電子計算機に供給するようにしてよい。
【００５１】
【発明の効果】以上説明したように、本発明によれば、
静止体である背景部分に対して発生するデータ量を低減
することができる、動画の圧縮符号を行うことができ
る。
静止体である背景部分に対して発生するデータ量を低減
することができる、動画の圧縮符号を行うことができ
る。
【図１】本発明の実施形態に係る動画像符号化装置の構
成を示すブロック図である。
成を示すブロック図である。
【図２】本発明の実施形態に係る動画像復号装置の構成
を示すブロック図である。
を示すブロック図である。
１ 背景画像生成部 ２ 背景画像メモリ ３ 領域分離部 ４ 符号化部 ５ 参照画像メモリ ６ 制御部 ７ 入力部 １０ 背景画像メモリ １１ 復号部 １２ 参照画像メモリ
Claims (7)
- 【請求項１】動画像を圧縮符号化する動画像符号化装置
であって、 動画像を構成する画像フレームの領域を、静止体である
背景を写した領域と動体である被写体を写した領域とに
分離する手段と、 背景を写した領域の画像を圧縮率の高い符号化方式に従
って符号化し、被写体を写した領域を圧縮率の低い符号
化方式に従って符号化する手段と、を有することを特徴
とする動画像符号化装置。 - 【請求項２】動画像を圧縮符号化する動画像符号化装置
であって、 静止体である背景を写した背景画像フレームを記憶する
メモリと、 動画像を構成する各画像フレームと前記メモリに記憶さ
れた背景画像フレームとを比較し、前記動画像を構成す
る各画像フレームの、前記メモリに記憶された前記背景
画像フレームと所定レベル以上内容が異ならない領域を
背景領域とし、前記動画像を構成する各画像フレーム
の、前記メモリに記憶された前記背景画像フレームと所
定レベル以上内容が異なる領域を被写体領域とする手段
と、 前記動画像を構成する各画像フレームの前記背景領域に
ついては、前記背景画像フレームと同じ内容であること
を表す符号に符号化し、前記被写体領域については、所
定の符号化方式に従って符号化する符号化手段と、を有
することを特徴とする動画像符号化装置。 - 【請求項３】請求項２記載の動画像符号化装置であっ
て、 前記符号化手段は、前記動画像を構成する各画像フレー
ムの符号化に先立ち、前記メモリに記憶された背景画像
フレームを所定の符号化方式に従って符号化することを
特徴とする動画像符号化装置。 - 【請求項４】圧縮符号化された動画像を復号する動画像
復号装置であって、 所定の背景画像フレームを記憶するメモリと、 動画像を構成する各画像フレームについて、当該動画像
を構成する画像フレームの、前記背景画像フレームと同
じ内容であることを表す符号に符号化された領域につい
ては、前記メモリから背景画像フレームの画像を抽出
し、所定の符号化方式に従って符号化された領域につい
ては、当該所定の符号化方式に従って復号することで画
像を生成して、当該生成した画像と前記抽出した背景画
像フレームの画像とを合成した画像フレームを生成する
復号手段と、を有することを特徴とする動画像復号装
置。 - 【請求項５】請求項４記載の動画像復号装置であって、 前記復号手段は、前記動画像を構成する各画像フレーム
の復号に先立ち、所定の符号化方式に従って復号した背
景画像フレームを前記メモリに格納することを特徴とす
る動画像符号化装置。 - 【請求項６】動画像を圧縮符号化する動画像符号化方法
であって、 動画像を構成する画像フレームの領域を、静止体である
背景を写した領域と、動体である被写体を写した領域に
分離するステップと、 背景を写した領域の画像を圧縮率の高い符号化方式に従
って符号化し、被写体を写した領域を圧縮率の低い符号
化方式に従って符号化するステップと、を有することを
特徴とする動画像符号化方法。 - 【請求項７】電子計算機によって読み取られ実行される
プログラムを記憶した記憶媒体であって、 前記プログラムは、前記電子計算機に、 動画像を構成する画像フレームの領域を、静止体である
背景を写した領域と、動体である被写体を写した領域に
分離するステップと、 背景を写した領域の画像を圧縮率の高い符号化方式に従
って符号化し、被写体を写した領域を圧縮率の低い符号
化方式に従って符号化するステップと、を実行させるプ
ログラムであることを特徴とするプログラムを記憶した
記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21883998A JP2000050259A (ja) | 1998-08-03 | 1998-08-03 | 動画像符号化装置および動画像復号装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21883998A JP2000050259A (ja) | 1998-08-03 | 1998-08-03 | 動画像符号化装置および動画像復号装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000050259A true JP2000050259A (ja) | 2000-02-18 |
Family
ID=16726154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21883998A Pending JP2000050259A (ja) | 1998-08-03 | 1998-08-03 | 動画像符号化装置および動画像復号装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000050259A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003264838A (ja) * | 2002-03-08 | 2003-09-19 | Canon Inc | 画像処理装置、画像処理方法、プログラム、記憶媒体 |
| JP2005229622A (ja) * | 2004-02-12 | 2005-08-25 | Xerox Corp | 画像処理方法及び画像処理装置 |
| JP2007135010A (ja) * | 2005-11-10 | 2007-05-31 | Kumahira Safe Co Inc | 画像処理方法 |
| KR100896668B1 (ko) * | 2001-02-01 | 2009-05-14 | 에이티 앤드 티 코포레이션 | 이미지 데이터 처리 방법, 이미지 처리 시스템, 소프트웨어모듈 및 기계-판독 가능 매체 |
| US7657103B2 (en) | 2001-02-01 | 2010-02-02 | At&T Intellectual Property Ii, Lp | Method and system for classifying image elements |
| CN111369469A (zh) * | 2020-03-10 | 2020-07-03 | 北京爱笔科技有限公司 | 图像处理方法、装置及电子设备 |
-
1998
- 1998-08-03 JP JP21883998A patent/JP2000050259A/ja active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8442329B2 (en) | 2001-02-01 | 2013-05-14 | At&T Intellectual Property Ii, L.P. | Method and system for classifying image elements |
| US8983209B2 (en) | 2001-02-01 | 2015-03-17 | At&T Intellectual Property Ii, L.P. | Method and system for classifying image elements |
| US9830535B2 (en) | 2001-02-01 | 2017-11-28 | At&T Intellectual Property Ii, L.P. | Method and system for classifying image elements |
| KR100896668B1 (ko) * | 2001-02-01 | 2009-05-14 | 에이티 앤드 티 코포레이션 | 이미지 데이터 처리 방법, 이미지 처리 시스템, 소프트웨어모듈 및 기계-판독 가능 매체 |
| US9576212B2 (en) | 2001-02-01 | 2017-02-21 | At&T Intellectual Property Ii, L.P. | Method and system for classifying image elements |
| US9256801B2 (en) | 2001-02-01 | 2016-02-09 | At&T Intellectual Property Ii, L.P. | Method and system for classifying image elements |
| US8244045B2 (en) | 2001-02-01 | 2012-08-14 | At&T Intellectual Property Ii, L.P. | Method and system for classifying image elements |
| US7983491B2 (en) | 2001-02-01 | 2011-07-19 | At&T Intellectual Property Ii, L.P. | Method and system for classifying image elements |
| US7657103B2 (en) | 2001-02-01 | 2010-02-02 | At&T Intellectual Property Ii, Lp | Method and system for classifying image elements |
| US8761524B2 (en) | 2001-02-01 | 2014-06-24 | At&T Intellectual Property Ii, L.P. | Method and system for classifying image elements |
| JP2003264838A (ja) * | 2002-03-08 | 2003-09-19 | Canon Inc | 画像処理装置、画像処理方法、プログラム、記憶媒体 |
| JP2005229622A (ja) * | 2004-02-12 | 2005-08-25 | Xerox Corp | 画像処理方法及び画像処理装置 |
| JP4688515B2 (ja) * | 2004-02-12 | 2011-05-25 | ゼロックス コーポレイション | 画像処理方法及び画像処理装置 |
| JP2007135010A (ja) * | 2005-11-10 | 2007-05-31 | Kumahira Safe Co Inc | 画像処理方法 |
| CN111369469A (zh) * | 2020-03-10 | 2020-07-03 | 北京爱笔科技有限公司 | 图像处理方法、装置及电子设备 |
| CN111369469B (zh) * | 2020-03-10 | 2024-01-12 | 北京爱笔科技有限公司 | 图像处理方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5150432A (en) | Apparatus for encoding/decoding video signals to improve quality of a specific region | |
| JP3365771B2 (ja) | ビデオ信号圧縮装置 | |
| US8885710B2 (en) | Method and device for encoding/decoding video signals using base layer | |
| JPH08214305A (ja) | ビデオエンコーダ制御システム | |
| TW201941607A (zh) | 動態影像預測編碼裝置、動態影像預測解碼裝置、動態影像預測編碼方法、及動態影像預測解碼方法 | |
| JP2004241869A (ja) | 透かし埋め込み及び画像圧縮部 | |
| US20070269120A1 (en) | Video image compression using model plus difference image | |
| JP2000050259A (ja) | 動画像符号化装置および動画像復号装置 | |
| KR20160109617A (ko) | 디지털 비디오의 디코딩 장치 | |
| JP2000134631A (ja) | 画像符号化装置、方法、画像復号化装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| US20090316787A1 (en) | Moving image encoder and decoder, and moving image encoding method and decoding method | |
| JP2001268575A (ja) | 画像変化検出装置及び画像変化検出方法、画像符号化装置並びに画像変化検出用プログラムがコンピュータで読取可能に記録された情報記録媒体 | |
| JP2000078563A (ja) | 被写体認識装置及び自動追尾装置 | |
| JPH05183872A (ja) | 動画像符号化装置および方法 | |
| JPH09261530A (ja) | 映像記録装置 | |
| JP4264811B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| EP1739965A1 (en) | Method and system for processing video data | |
| JP2868445B2 (ja) | 動画像圧縮方法および装置 | |
| JPH0984024A (ja) | 動画像信号の符号化装置 | |
| US11197014B2 (en) | Encoding apparatus, decoding apparatus, and image processing system | |
| JPH0937268A (ja) | 動画像符号化方式 | |
| JP2003087797A (ja) | 画像情報変換装置及び方法、画像情報変換プログラム、並びに記録媒体 | |
| JP4087230B2 (ja) | 画像伝送装置 | |
| CN117692650A (zh) | 图像编码/解码方法、电子设备和计算机可读存储介质 | |
| JP2000197044A (ja) | 画像処理装置及びその方法、コンピュ―タ可読メモリ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060110 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060516 |