JP2005229262A - 圧縮画像処理装置 - Google Patents
圧縮画像処理装置 Download PDFInfo
- Publication number
- JP2005229262A JP2005229262A JP2004034867A JP2004034867A JP2005229262A JP 2005229262 A JP2005229262 A JP 2005229262A JP 2004034867 A JP2004034867 A JP 2004034867A JP 2004034867 A JP2004034867 A JP 2004034867A JP 2005229262 A JP2005229262 A JP 2005229262A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- data
- motion vector
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】 圧縮符号化された画像のデータを処理する圧縮画像処理装置で、背景の画像のデータを入れ換えることを可能とする。
【解決手段】 動き部分画像データ取得手段１５〜２０が、圧縮符号化された画像のデータに基づいて、動きを有する部分の画像のデータを取得する。背景画像データ供給手段１１、１２が、所定の背景の画像のデータを供給する。合成画像データ生成手段１３、２１が、背景画像データ供給手段１１、１２により供給される背景の画像のデータと動き部分画像データ取得手段１５〜２０により取得される動きを有する部分の画像のデータに基づいて、当該背景の画像と当該動きを有する部分の画像とを合成した画像のデータを生成する。
【選択図】 図１
【解決手段】 動き部分画像データ取得手段１５〜２０が、圧縮符号化された画像のデータに基づいて、動きを有する部分の画像のデータを取得する。背景画像データ供給手段１１、１２が、所定の背景の画像のデータを供給する。合成画像データ生成手段１３、２１が、背景画像データ供給手段１１、１２により供給される背景の画像のデータと動き部分画像データ取得手段１５〜２０により取得される動きを有する部分の画像のデータに基づいて、当該背景の画像と当該動きを有する部分の画像とを合成した画像のデータを生成する。
【選択図】 図１
Description
本発明は、圧縮符号化された画像のデータを処理する圧縮画像処理装置に関し、特に、背景の画像のデータを入れ換えることが可能な圧縮画像処理装置に関する。
例えば、近年のデジタル化に伴い、監視システムやＤＶＤやＢＳ放送などにおいて、ＭＰＥＧ（Moving Picture Experts Group）などの動画像データの圧縮・伸張技術が利用され始めている。また、数年後に放送開始予定である地上波デジタル放送においても、ＭＰＥＧ−２やＭＰＥＧ−４の導入が検討されている。
デジタル化の技術により、データ伝送が容易になったばかりでなく、高度な画像処理が可能となった。例えば、映像監視システムでは、侵入者の検知などの画像認識処理を行う機能を搭載したカメラが普及している。また、デジタル放送やＤＶＤなどでは、２つの異なる画像について人物と背景をそれぞれ別の画像から抽出して合成し、あたかも同一画像のように表示する画像合成技術も普及している。
このようにデジタル化による画像処理技術の用途が広がったが、高度な画像処理機能を搭載することから、処理量や製品コストの増加が生じている。例えば、画像認識機能はＭＰＥＧ−４符号化処理と同等の処理量を必要とするため、ＭＰＥＧ−４を用いた監視カメラは２倍近くの処理量を必要とする。画像合成技術においても、撮影した映像をパーソナルコンピュータ（ＰＣ）に取り込んで画像合成処理を行うことから、高性能ＰＣと画像合成ソフトウエアを導入する必要があり、高コストとなってしまう。
デジタル化の技術により、データ伝送が容易になったばかりでなく、高度な画像処理が可能となった。例えば、映像監視システムでは、侵入者の検知などの画像認識処理を行う機能を搭載したカメラが普及している。また、デジタル放送やＤＶＤなどでは、２つの異なる画像について人物と背景をそれぞれ別の画像から抽出して合成し、あたかも同一画像のように表示する画像合成技術も普及している。
このようにデジタル化による画像処理技術の用途が広がったが、高度な画像処理機能を搭載することから、処理量や製品コストの増加が生じている。例えば、画像認識機能はＭＰＥＧ−４符号化処理と同等の処理量を必要とするため、ＭＰＥＧ−４を用いた監視カメラは２倍近くの処理量を必要とする。画像合成技術においても、撮影した映像をパーソナルコンピュータ（ＰＣ）に取り込んで画像合成処理を行うことから、高性能ＰＣと画像合成ソフトウエアを導入する必要があり、高コストとなってしまう。
上述のように、例えば、圧縮画像伝送装置では、送信側が画像データに対して圧縮符号化処理を施した圧縮画像データを伝送し、受信側が伝送されてきた圧縮画像データを圧縮復号化する機能のみが備えられていたため、画像認識機能や画像合成機能を搭載する場合には、別途、専用回路や専用機器を用意する必要があるといった不具合があった。
本発明は、このような従来の事情に鑑み為されたもので、圧縮符号化された画像のデータについて、例えば、画像認識機能や画像合成機能を有し、背景の画像のデータを入れ換えることが可能な圧縮画像処理装置を提供することを目的とする。
本発明は、このような従来の事情に鑑み為されたもので、圧縮符号化された画像のデータについて、例えば、画像認識機能や画像合成機能を有し、背景の画像のデータを入れ換えることが可能な圧縮画像処理装置を提供することを目的とする。
上記目的を達成するため、本発明に係る圧縮画像処理装置では、次のようにして、圧縮符号化された画像のデータを処理する。
すなわち、動き部分画像データ取得手段が、圧縮符号化された画像のデータに基づいて、動きを有する部分の画像のデータを取得する。また、背景画像データ供給手段が、所定の背景の画像のデータを供給する。そして、合成画像データ生成手段が、背景画像データ供給手段により供給される背景の画像のデータと動き部分画像データ取得手段により取得される動きを有する部分の画像のデータに基づいて、当該背景の画像と当該動きを有する部分の画像とを合成した画像のデータを生成する。
従って、圧縮符号化された画像のデータについて、背景の画像のデータを入れ換えることが可能であり、例えば、簡易な構成により、動き部分の画像の認識機能や、背景の画像の合成（入れ換え）機能を実現することが可能である。
すなわち、動き部分画像データ取得手段が、圧縮符号化された画像のデータに基づいて、動きを有する部分の画像のデータを取得する。また、背景画像データ供給手段が、所定の背景の画像のデータを供給する。そして、合成画像データ生成手段が、背景画像データ供給手段により供給される背景の画像のデータと動き部分画像データ取得手段により取得される動きを有する部分の画像のデータに基づいて、当該背景の画像と当該動きを有する部分の画像とを合成した画像のデータを生成する。
従って、圧縮符号化された画像のデータについて、背景の画像のデータを入れ換えることが可能であり、例えば、簡易な構成により、動き部分の画像の認識機能や、背景の画像の合成（入れ換え）機能を実現することが可能である。
ここで、処理対象となる画像のデータとしては、種々なものが用いられてもよく、例えば、時間的に連続した複数のフレームから構成される動画像のデータなどを用いることができる。
また、処理対象となる画像のデータから動きを有する部分の画像のデータを取得する手法としては、種々な手法が用いられてもよい。
また、処理対象となる画像のデータに複数の動きを有する部分が含まれる場合には、例えば、全ての動きを有する部分が取得されてもよく、或いは、注目する１又は２以上の動きを有する部分（一部の部分のみ）が取得されてもよい。
また、背景の画像のデータとしては、種々なものが用いられてもよく、例えば、人（ユーザ）又は外部の装置により任意に選択や指定などされたデータや、或いは、人（ユーザ）により又は外部の装置から入力されたデータなどを用いることができる。
また、背景画像データ供給手段としては、例えば、背景の画像のデータを記憶する背景画像データ記憶手段や、或いは、背景の画像のデータを外部から入力する背景画像データ入力手段などを用いて構成することができる。
また、背景の画像と動きを有する部分の画像とを合成した画像としては、種々なものが用いられてもよく、例えば、背景の画像の上に動きを有する部分の画像を重ねたようなものを用いることができ、一例として、座標値と画素値とを対応付けて構成される背景の画像と、座標値と画素値とを対応付けて構成される動きを有する部分の画像とを１フレームの画像として重ねたようなものを用いることができる。
また、背景の画像と動きを有する部分の画像とを合成した画像を生成する手法としては、一例として、背景の画像から動きを有する部分の画像を除いた画像と、当該動きを有する部分の画像とを加えるような手法を用いることができる。
また、処理対象となる画像のデータから動きを有する部分の画像のデータを取得する手法としては、種々な手法が用いられてもよい。
また、処理対象となる画像のデータに複数の動きを有する部分が含まれる場合には、例えば、全ての動きを有する部分が取得されてもよく、或いは、注目する１又は２以上の動きを有する部分（一部の部分のみ）が取得されてもよい。
また、背景の画像のデータとしては、種々なものが用いられてもよく、例えば、人（ユーザ）又は外部の装置により任意に選択や指定などされたデータや、或いは、人（ユーザ）により又は外部の装置から入力されたデータなどを用いることができる。
また、背景画像データ供給手段としては、例えば、背景の画像のデータを記憶する背景画像データ記憶手段や、或いは、背景の画像のデータを外部から入力する背景画像データ入力手段などを用いて構成することができる。
また、背景の画像と動きを有する部分の画像とを合成した画像としては、種々なものが用いられてもよく、例えば、背景の画像の上に動きを有する部分の画像を重ねたようなものを用いることができ、一例として、座標値と画素値とを対応付けて構成される背景の画像と、座標値と画素値とを対応付けて構成される動きを有する部分の画像とを１フレームの画像として重ねたようなものを用いることができる。
また、背景の画像と動きを有する部分の画像とを合成した画像を生成する手法としては、一例として、背景の画像から動きを有する部分の画像を除いた画像と、当該動きを有する部分の画像とを加えるような手法を用いることができる。
以下で、更に、本発明に係る構成例を示す。
一構成例として、動き部分画像データ取得手段は、圧縮符号化された画像のデータを構成する今回のフレームの画像データについて、今回のフレームの画像データと１フレーム前の画像データとの間で変化した部分から１フレーム前の画像データと２フレーム前の画像データとの間で変化した部分を除いた部分の画像データを、動きを有する部分の画像のデータとみなして、取得する、つまり、２フレーム前の画像データと１フレーム前の画像データとの間では不変であったが１フレーム前の画像データと今回のフレームの画像データとの間では変化した部分の画像データを、動きを有する部分の画像のデータとみなして、取得する。
一構成例として、背景画像データ供給手段は、処理対象となる圧縮符号化された画像のデータとは独立な背景の画像のデータを供給する。
一構成例として、圧縮画像処理装置は、合成画像データ生成手段により生成される画像のデータを表示する画像データ表示手段を備える。
ここで、画像データ表示手段としては、例えば、画像のデータを表示出力する画面を用いて構成することができる。
一構成例として、処理対象となる圧縮符号化された画像のデータは、予測符号化を用いて圧縮符号化された画像のデータである。
一構成例として、圧縮画像処理装置は、画像のデータを圧縮符号化する圧縮符号化装置と、圧縮符号化された画像のデータを復号化する圧縮復号化装置から構成される。例えば、圧縮符号化装置は圧縮符号化した画像のデータを圧縮復号化装置に対して出力し、圧縮復号化装置は当該圧縮符号化した画像のデータを入力して復号化する。また、例えば、送信側の圧縮符号化装置から受信側の圧縮復号化装置へ伝送路を介して圧縮符号化された画像のデータを伝送する。
一構成例として、動き部分画像データ取得手段は、圧縮符号化された画像のデータを構成する今回のフレームの画像データについて、今回のフレームの画像データと１フレーム前の画像データとの間で変化した部分から１フレーム前の画像データと２フレーム前の画像データとの間で変化した部分を除いた部分の画像データを、動きを有する部分の画像のデータとみなして、取得する、つまり、２フレーム前の画像データと１フレーム前の画像データとの間では不変であったが１フレーム前の画像データと今回のフレームの画像データとの間では変化した部分の画像データを、動きを有する部分の画像のデータとみなして、取得する。
一構成例として、背景画像データ供給手段は、処理対象となる圧縮符号化された画像のデータとは独立な背景の画像のデータを供給する。
一構成例として、圧縮画像処理装置は、合成画像データ生成手段により生成される画像のデータを表示する画像データ表示手段を備える。
ここで、画像データ表示手段としては、例えば、画像のデータを表示出力する画面を用いて構成することができる。
一構成例として、処理対象となる圧縮符号化された画像のデータは、予測符号化を用いて圧縮符号化された画像のデータである。
一構成例として、圧縮画像処理装置は、画像のデータを圧縮符号化する圧縮符号化装置と、圧縮符号化された画像のデータを復号化する圧縮復号化装置から構成される。例えば、圧縮符号化装置は圧縮符号化した画像のデータを圧縮復号化装置に対して出力し、圧縮復号化装置は当該圧縮符号化した画像のデータを入力して復号化する。また、例えば、送信側の圧縮符号化装置から受信側の圧縮復号化装置へ伝送路を介して圧縮符号化された画像のデータを伝送する。
以上説明したように、本発明に係る圧縮画像処理装置によると、圧縮符号化された画像のデータから動きを有する部分の画像のデータを取得し、当該取得した動きを有する部分の画像のデータと所定の背景の画像のデータを用いて、当該動きを有する部分の画像と当該背景の画像とを合成した画像のデータを生成するようにしたため、圧縮符号化された画像のデータについて、背景の画像のデータを入れ換えることが可能であり、例えば、簡易な構成により、動き部分の画像の認識機能や、背景の画像の合成機能を実現することが可能である。
本発明に係る一実施例を図面を参照して説明する。
本例では、例えば、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８）やＭＰＥＧ−４（ＩＳＯ／ＩＥＣ１４４９６）などの予測符号化による圧縮符号化及び復号化方式を用いた圧縮画像伝送装置に本発明を適用した場合を示す。
図１には、本発明を適用した圧縮画像伝送装置の構成例を示してある。
本例の圧縮画像伝送装置は、送信側のカメラ１及び圧縮符号化処理部２と、受信側の圧縮復号化処理部４及びモニタ５と、送信側と受信側とを接続する伝送路３から構成されている。
圧縮復号化処理部４は、背景画像送信部１１と、画像バッファ１２と、第１の動き補償予測処理部１３と、圧縮データバッファ１４と、復号化可変長処理部１５と、逆量子化処理部１６と、逆ＤＣＴ（Discrete Cosine Transform）処理部１７と、動きベクトルバッファ１８と、動きベクトル解析部１９と、第２の動き補償予測処理部２０と、加算機２１と、Ｄ・Ａ変換器（Digital to Analog Converter）２２を備えている。
本例では、例えば、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８）やＭＰＥＧ−４（ＩＳＯ／ＩＥＣ１４４９６）などの予測符号化による圧縮符号化及び復号化方式を用いた圧縮画像伝送装置に本発明を適用した場合を示す。
図１には、本発明を適用した圧縮画像伝送装置の構成例を示してある。
本例の圧縮画像伝送装置は、送信側のカメラ１及び圧縮符号化処理部２と、受信側の圧縮復号化処理部４及びモニタ５と、送信側と受信側とを接続する伝送路３から構成されている。
圧縮復号化処理部４は、背景画像送信部１１と、画像バッファ１２と、第１の動き補償予測処理部１３と、圧縮データバッファ１４と、復号化可変長処理部１５と、逆量子化処理部１６と、逆ＤＣＴ（Discrete Cosine Transform）処理部１７と、動きベクトルバッファ１８と、動きベクトル解析部１９と、第２の動き補償予測処理部２０と、加算機２１と、Ｄ・Ａ変換器（Digital to Analog Converter）２２を備えている。
本例の圧縮画像伝送装置により動画像のデータに対して行われる動作の一例を示す。
本例の圧縮画像伝送装置では、動画像データの第１フレーム目の圧縮符号化及び復号化処理を行う前に、準備処理として、背景画像送信部１１から背景画像データ（Ｋ）を画像バッファ１２へ出力して蓄積しておく。なお、背景画像データは、例えば、ユーザや外部の装置により指定や入力されて背景画像送信部１１に設定される。
初めに、動画像データの第１フレーム目の処理について説明する。
送信側のカメラ１で撮影したアナログ画像データ（Ａ）は圧縮符号化処理部２へ入力される。圧縮符号化処理部２は、入力されるアナログ画像データ（Ａ）に対してＡ／Ｄ（Analog to Digital）変換を行った後に圧縮符号化処理（例えば、動き推定処理やＤＣＴ処理や量子化処理や可変長符号化処理）を行い、当該処理結果を圧縮データ（Ｉ）として伝送路３へ出力する。なお、本例では、圧縮データ（Ｉ）には、動きベクトルの情報や、符号化のタイプを表す予測モード（符号化モード）の情報が付加されている。また、動きベクトルの情報は、例えば、圧縮符号化処理部２が入力されるアナログ画像データ（Ａ）に対して動画像データのフレーム間での予測符号化を行うことにより取得され、概略的には、例えば１つ前のフレームなどに対して画素値が異なる部分の誤差に関する情報を送信側から受信側へ伝送する。
本例の圧縮画像伝送装置では、動画像データの第１フレーム目の圧縮符号化及び復号化処理を行う前に、準備処理として、背景画像送信部１１から背景画像データ（Ｋ）を画像バッファ１２へ出力して蓄積しておく。なお、背景画像データは、例えば、ユーザや外部の装置により指定や入力されて背景画像送信部１１に設定される。
初めに、動画像データの第１フレーム目の処理について説明する。
送信側のカメラ１で撮影したアナログ画像データ（Ａ）は圧縮符号化処理部２へ入力される。圧縮符号化処理部２は、入力されるアナログ画像データ（Ａ）に対してＡ／Ｄ（Analog to Digital）変換を行った後に圧縮符号化処理（例えば、動き推定処理やＤＣＴ処理や量子化処理や可変長符号化処理）を行い、当該処理結果を圧縮データ（Ｉ）として伝送路３へ出力する。なお、本例では、圧縮データ（Ｉ）には、動きベクトルの情報や、符号化のタイプを表す予測モード（符号化モード）の情報が付加されている。また、動きベクトルの情報は、例えば、圧縮符号化処理部２が入力されるアナログ画像データ（Ａ）に対して動画像データのフレーム間での予測符号化を行うことにより取得され、概略的には、例えば１つ前のフレームなどに対して画素値が異なる部分の誤差に関する情報を送信側から受信側へ伝送する。
圧縮データ（Ｉ）は、伝送路３を伝送して、受信側の圧縮データバッファ１４へ入力される。
伝送路３を介して受信側の圧縮データバッファ１４に蓄積した圧縮データ（Ｉ）は、可変長復号化処理部１５により可変長復号化処理されて、逆量子化処理部１６により逆量子化処理されて、逆ＤＣＴ処理部１７により逆ＤＣＴ処理されることで圧縮復号化処理が施され、当該処理結果をデジタル画像データ（Ｂ）として第２の動き補償予測処理部２０へ入力する。このとき、可変長復号化処理部１５から予測モードの情報及び動きベクトルの情報（予測モード・動きベクトル）（Ｃ）が動きベクトルバッファ１８と動きベクトル解析部１９へ入力される。
第１フレーム目では、動きベクトルバッファ１８は、入力された予測モード・動きベクトル（Ｃ）を第２フレーム目の処理まで蓄積する。動きベクトル解析部１９は、入力された予測モード・動きベクトル（Ｃ）に対して処理を行わずに、当該予測モード・動きベクトル（Ｃ）をそのまま予測モード・動きベクトル（Ｄ）として第２の動き補償予測処理部２０と第１の動き補償予測処理部１３へ入力する。
伝送路３を介して受信側の圧縮データバッファ１４に蓄積した圧縮データ（Ｉ）は、可変長復号化処理部１５により可変長復号化処理されて、逆量子化処理部１６により逆量子化処理されて、逆ＤＣＴ処理部１７により逆ＤＣＴ処理されることで圧縮復号化処理が施され、当該処理結果をデジタル画像データ（Ｂ）として第２の動き補償予測処理部２０へ入力する。このとき、可変長復号化処理部１５から予測モードの情報及び動きベクトルの情報（予測モード・動きベクトル）（Ｃ）が動きベクトルバッファ１８と動きベクトル解析部１９へ入力される。
第１フレーム目では、動きベクトルバッファ１８は、入力された予測モード・動きベクトル（Ｃ）を第２フレーム目の処理まで蓄積する。動きベクトル解析部１９は、入力された予測モード・動きベクトル（Ｃ）に対して処理を行わずに、当該予測モード・動きベクトル（Ｃ）をそのまま予測モード・動きベクトル（Ｄ）として第２の動き補償予測処理部２０と第１の動き補償予測処理部１３へ入力する。
デジタル画像データ（Ｂ）と予測モード・動きベクトル（Ｄ）を入力した第２の動き補償予測処理部２０は、予測モード・動きベクトル（Ｄ）に基づいて動きベクトルが発生している画像フレーム中の位置（座標）を算出し、当該デジタル画像データ（Ｂ）の中で、動きベクトルが発生している座標の画像データだけを残して、動きベクトルが発生していない座標の画像データを破棄する。但し、第１フレーム目では、予測符号化が行われないために動きベクトルが発生せず、第２の動き補償予測処理部２０は、全ての部分の画像データを破棄する。そして、第２の動き補償予測処理部２０は、この処理後の画像データをデジタル画像データ（Ｅ）として加算機２１へ入力する。
また、準備処理の段階で画像バッファ１２に蓄積していた画像データを背景画像データ（Ｆ）として、第１の動き補償予測処理部１３へ入力する。背景画像データ（Ｆ）と予測モード・動きベクトル（Ｄ）を入力した第１の動き補償予測処理部１３は、当該予測モード・動きベクトル（Ｄ）に基づいて動きベクトルが発生している画像フレーム中の位置（座標）を算出し、当該背景画像データ（Ｆ）の中で、動きベクトルが発生している座標の画像データを破棄し、動きベクトルが発生していない座標の画像データだけを残す。但し、第１フレーム目では、予測符号化が行われないため、第１の動き補償予測処理部１３は、背景画像データ（Ｆ）について、全ての部分の画像データを破棄せず、つまり、全ての部分の画像データを残す。そして、第１の動き補償予測処理部１３は、この処理後の画像データをデジタル画像データ（背景画像データ）（Ｇ）として加算機２１へ入力する。
２つの画像データ（Ｅ）、（Ｇ）を入力した加算機２１は、入力されたデジタル画像データ（Ｅ）と入力された背景画像データ（Ｇ）とを合成して、当該合成した画像データをデジタル画像データ（Ｈ）としてＤ／Ａ変換器２２へ入力する。第１フレーム目において第２の動き補償予測処理部２０から出力されるデジタル画像データ（Ｅ）は全ての画像データが破棄されたものであるため、第１フレーム目において加算機２１から出力されるデジタル画像データ（Ｈ）は、第１の動き補償予測処理部１３から出力される背景画像データ（Ｇ）と同じとなる。
Ｄ／Ａ変換器２２は、入力されるデジタル画像データ（Ｈ）に対してＤ／Ａ変換を行い、これにより得られるアナログ画像データ（Ｌ）をモニタ５へ入力する。モニタ５は、入力されたアナログ画像データ（Ｌ）の画像を画面に表示出力する。
また、例えば第１フレーム目の処理が完了する際などに、背景画像送信部１１から背景画像データ（Ｋ）を画像バッファ１２へ入力し、画像バッファ１２が当該背景画像データ（Ｋ）を第２フレーム目の処理まで蓄積する。
Ｄ／Ａ変換器２２は、入力されるデジタル画像データ（Ｈ）に対してＤ／Ａ変換を行い、これにより得られるアナログ画像データ（Ｌ）をモニタ５へ入力する。モニタ５は、入力されたアナログ画像データ（Ｌ）の画像を画面に表示出力する。
また、例えば第１フレーム目の処理が完了する際などに、背景画像送信部１１から背景画像データ（Ｋ）を画像バッファ１２へ入力し、画像バッファ１２が当該背景画像データ（Ｋ）を第２フレーム目の処理まで蓄積する。
次に、予測符号化が行われる動画像データの第２フレーム目以降の処理について説明する。
第２フレーム目では、逆ＤＣＴ処理部１７からデジタル画像データ（Ｂ）を第２の動き補償予測処理部２０へ入力する処理までは、第１フレーム目の処理と同様であり、具体的には、カメラ１、圧縮符号化処理部２、伝送路３、圧縮データバッファ１４、可変長復号化処理部１５、逆量子化処理部１６、逆ＤＣＴ処理部１７により行われる処理は、第１フレーム目について説明したのと同様である。
第２フレーム目では、可変長復号化処理部１５から予測モード・動きベクトル（Ｃ）が動きベクトルバッファ１８と動きベクトル解析部１９へ入力されると、動きベクトルバッファ１８に蓄積していた第１フレーム目の予測モード・動きベクトルが出力されて予測モード・動きベクトル（Ｊ）として動きベクトル解析部１９へ入力される。第２フレーム目の予測モード・動きベクトル（Ｃ）を入力した動きベクトルバッファ１８は、当該予測モード・動きベクトル（Ｃ）を第３フレーム目まで蓄積する。
第２フレーム目では、逆ＤＣＴ処理部１７からデジタル画像データ（Ｂ）を第２の動き補償予測処理部２０へ入力する処理までは、第１フレーム目の処理と同様であり、具体的には、カメラ１、圧縮符号化処理部２、伝送路３、圧縮データバッファ１４、可変長復号化処理部１５、逆量子化処理部１６、逆ＤＣＴ処理部１７により行われる処理は、第１フレーム目について説明したのと同様である。
第２フレーム目では、可変長復号化処理部１５から予測モード・動きベクトル（Ｃ）が動きベクトルバッファ１８と動きベクトル解析部１９へ入力されると、動きベクトルバッファ１８に蓄積していた第１フレーム目の予測モード・動きベクトルが出力されて予測モード・動きベクトル（Ｊ）として動きベクトル解析部１９へ入力される。第２フレーム目の予測モード・動きベクトル（Ｃ）を入力した動きベクトルバッファ１８は、当該予測モード・動きベクトル（Ｃ）を第３フレーム目まで蓄積する。
２つの予測モード・動きベクトル（Ｃ）、（Ｊ）を入力した動きベクトル解析部１９は、それぞれの予測モード・動きベクトル（Ｃ）、（Ｊ）を解析して動きベクトルが発生している画像フレーム中の位置（座標）を算出し、第１フレーム目と第２フレーム目とで同じ座標で動きベクトルが発生している座標の動きベクトルを、第２フレーム目の動きベクトルから削除する。そして、動きベクトル解析部１９は、当該削除後の第２フレームの動きベクトルの情報及び予測モードの情報を予測モード・動きベクトル（Ｄ）として第２の動き補償予測処理部２０と第１の動き補償予測処理部１３へ入力する。
デジタル画像データ（Ｂ）と予測モード・動きベクトル（Ｄ）を入力した第２の動き補償予測処理部２０は、当該予測モード・動きベクトル（Ｄ）に基づいて動きベクトルが発生している画像フレーム中の位置（座標）を算出し、当該デジタル画像データ（Ｂ）の中で、動きベクトルが発生している座標の画像データだけを残して、動きベクトルが発生していない座標の画像データを破棄する。そして、第２の動き補償予測処理部２０は、この処理後の画像データをデジタル画像データ（Ｅ）として加算機２１へ入力する。
デジタル画像データ（Ｂ）と予測モード・動きベクトル（Ｄ）を入力した第２の動き補償予測処理部２０は、当該予測モード・動きベクトル（Ｄ）に基づいて動きベクトルが発生している画像フレーム中の位置（座標）を算出し、当該デジタル画像データ（Ｂ）の中で、動きベクトルが発生している座標の画像データだけを残して、動きベクトルが発生していない座標の画像データを破棄する。そして、第２の動き補償予測処理部２０は、この処理後の画像データをデジタル画像データ（Ｅ）として加算機２１へ入力する。
ここで、第１フレーム目にバッファ１２に蓄積していた画像データを背景画像データ（Ｆ）として、第１の動き補償予測処理部１３へ入力する。背景画像データ（Ｆ）と予測モード・動きベクトル（Ｄ）を入力した第１の動き補償予測処理部１３は、当該予測モード・動きベクトル（Ｄ）に基づいて動きベクトルが発生している画像フレーム中の位置（座標）を算出し、当該背景画像データ（Ｆ）の中で、動きベクトルが発生している座標の画像データを破棄して、動きベクトルが発生していない座標の画像データだけを残す。そして、第１の動き補償予測処理部１３は、この処理後の画像データをデジタル画像データ（背景画像データ）（Ｇ）として加算機２１へ入力する。
２つの画像データ（Ｅ）、（Ｇ）を入力した加算機２１は、入力されたデジタル画像データ（Ｅ）と入力された背景画像データ（Ｇ）とを合成して、当該合成した画像データをデジタル画像データ（Ｈ）としてＤ／Ａ変換器２２へ入力する。当該デジタル画像データ（Ｈ）は、Ｄ／Ａ変換器２２によりＤ／Ａ変換されて、アナログ画像データ（Ｌ）としてモニタ５へ入力される。
また、第３フレーム目以降についても、上記と同様な処理を繰り返して行う。
２つの画像データ（Ｅ）、（Ｇ）を入力した加算機２１は、入力されたデジタル画像データ（Ｅ）と入力された背景画像データ（Ｇ）とを合成して、当該合成した画像データをデジタル画像データ（Ｈ）としてＤ／Ａ変換器２２へ入力する。当該デジタル画像データ（Ｈ）は、Ｄ／Ａ変換器２２によりＤ／Ａ変換されて、アナログ画像データ（Ｌ）としてモニタ５へ入力される。
また、第３フレーム目以降についても、上記と同様な処理を繰り返して行う。
次に、図２を参照して、本例の圧縮画像伝送装置により行われる処理の流れの一例を示す。
図２には、図１に示されるそれぞれのデータ（Ａ）〜（Ｈ）について、具体的な一例を示してある。また、図２では、横方向は時間的な処理の流れ（フレーム単位での流れ）として第１フレーム目〜第３フレーム目を表しており、縦方向は本例の圧縮画像伝送装置の構成的な処理の流れ（処理手順の流れ）を表している。なお、図２では、予測モード・動きベクトル（Ｃ）、（Ｄ）については、動きベクトルの情報により特定される画像のデータを示してある。
カメラ１から出力する第１フレーム目の画像データＰ１では、圧縮符号化処理及び復号化処理において予測符号化が行われないため、逆ＤＣＴ１７から出力するデジタル画像データＰ２は、カメラ１から出力する画像データＰ１と同じ画像のデータとなる。また、可変長復号化処理部１５から出力する予測モード・動きベクトルＰ３では、図示されるように、動きベクトルが発生しない。このため、動きベクトル解析部１９から出力する予測モード・動きベクトルＰ４も、図示されるように、動きベクトルの情報を有さない。
図２には、図１に示されるそれぞれのデータ（Ａ）〜（Ｈ）について、具体的な一例を示してある。また、図２では、横方向は時間的な処理の流れ（フレーム単位での流れ）として第１フレーム目〜第３フレーム目を表しており、縦方向は本例の圧縮画像伝送装置の構成的な処理の流れ（処理手順の流れ）を表している。なお、図２では、予測モード・動きベクトル（Ｃ）、（Ｄ）については、動きベクトルの情報により特定される画像のデータを示してある。
カメラ１から出力する第１フレーム目の画像データＰ１では、圧縮符号化処理及び復号化処理において予測符号化が行われないため、逆ＤＣＴ１７から出力するデジタル画像データＰ２は、カメラ１から出力する画像データＰ１と同じ画像のデータとなる。また、可変長復号化処理部１５から出力する予測モード・動きベクトルＰ３では、図示されるように、動きベクトルが発生しない。このため、動きベクトル解析部１９から出力する予測モード・動きベクトルＰ４も、図示されるように、動きベクトルの情報を有さない。
デジタル画像データＰ２と予測モード・動きベクトルＰ４を入力した第２の動き補償予測処理部２０は、当該予測モード・動きベクトルＰ４に基づいて、当該デジタル画像データＰ２から動きベクトルが発生していない座標の画像データを削除する。第１フレーム目では、第２の動き補償予測処理部２０から出力するデジタル画像データＰ５は、図示されるように、全ての画像データが削除された画像の無いデータとなる。
また、画像バッファ１２から出力する背景画像データＰ６は、図示されるような画像データであるとする。
背景画像データＰ６と予測モード・動きベクトルＰ４を入力した第１の動き補償予測処理部１３は、当該予測モード・動きベクトルＰ４に基づいて、当該背景画像データＰ６から動きベクトルが発生している座標の画像データを削除する。第１フレーム目では、動きベクトルが発生していないため、当該背景画像データＰ６についていずれの座標の画像データも削除されずに、そのままの背景画像データＰ７が加算機２１へ入力される。
加算機２１は、第２の動き補償予測処理部２０から入力したデジタル画像データＰ５と第１の動き補償予測処理部１３から入力した背景画像データＰ７とを合成し、当該合成した画像データをデジタル画像データＰ８としてＤ／Ａ変換器２２へ入力する。
また、画像バッファ１２から出力する背景画像データＰ６は、図示されるような画像データであるとする。
背景画像データＰ６と予測モード・動きベクトルＰ４を入力した第１の動き補償予測処理部１３は、当該予測モード・動きベクトルＰ４に基づいて、当該背景画像データＰ６から動きベクトルが発生している座標の画像データを削除する。第１フレーム目では、動きベクトルが発生していないため、当該背景画像データＰ６についていずれの座標の画像データも削除されずに、そのままの背景画像データＰ７が加算機２１へ入力される。
加算機２１は、第２の動き補償予測処理部２０から入力したデジタル画像データＰ５と第１の動き補償予測処理部１３から入力した背景画像データＰ７とを合成し、当該合成した画像データをデジタル画像データＰ８としてＤ／Ａ変換器２２へ入力する。
カメラ１から出力する第２フレーム目の画像データＰ１１では、圧縮符号化処理及び復号化処理において予測符号化が行われるため、逆ＤＣＴ処理部１７から出力するデジタル画像データＰ１２は、図示されるように、第１フレーム目の画像データＰ１に対する第２フレーム目の画像データＰ１１の差分情報だけの画像データとなり、つまり、第１フレーム目に対して第２フレーム目において動きがあった部分だけの画像データとなる。また、可変長復号化処理部１５から出力する予測モード・動きベクトルＰ１３では、図示されるように、動きベクトルが発生している。
動きベクトル解析部１９は、可変長復号化処理部１５から入力される第２フレーム目の予測モード・動きベクトルＰ１３により特定される動きベクトルの中に、動きベクトルバッファ１８から入力される第１フレーム目の予測モード・動きベクトルＰ３により特定される動きベクトルと同じ座標の動きベクトルが存在する場合には、第２フレーム目の予測モード・動きベクトルＰ１３から当該同じ座標の動きベクトルを削除して、当該削除後の予測モード・動きベクトルＰ１４を第１の動き補償予測処理部１３と第２の動き補償予測処理部２０へ出力する。
動きベクトル解析部１９は、可変長復号化処理部１５から入力される第２フレーム目の予測モード・動きベクトルＰ１３により特定される動きベクトルの中に、動きベクトルバッファ１８から入力される第１フレーム目の予測モード・動きベクトルＰ３により特定される動きベクトルと同じ座標の動きベクトルが存在する場合には、第２フレーム目の予測モード・動きベクトルＰ１３から当該同じ座標の動きベクトルを削除して、当該削除後の予測モード・動きベクトルＰ１４を第１の動き補償予測処理部１３と第２の動き補償予測処理部２０へ出力する。
デジタル画像データＰ１２と予測モード・動きベクトルＰ１４を入力した第２の動き補償予測処理部２０は、当該予測モード・動きベクトルＰ１４に基づいて、動きベクトルが発生していない座標の画像データを当該デジタル画像データＰ１２から削除し、当該削除後のデジタル画像データＰ１５を加算機２１へ出力する。
また、画像バッファ１２から出力する背景画像データＰ１６としては、例えば、第１フレーム目に画像バッファ１２に蓄積した背景画像データＰ６と同じ画像データが第１の動き補償予測処理部１３へ入力される。第１の動き補償予測処理部１３では、画像バッファ１２から入力される背景画像データＰ１６から、動きベクトル解析部１９から入力される予測モード・動きベクトルＰ１４に相当する画像部分（動きベクトルにより特定される画像部分）のデータを切り取り、当該切り取り後の背景画像データＰ１７を加算機２１へ入力する。
加算機２１は、第２の動き補償予測処理部２０から入力されるデジタル画像データＰ１５と第１の動き補償予測処理部１３から入力される背景画像データＰ１７とを合成して、当該合成したデジタル画像データＰ１８をＤ／Ａ変換器２２へ出力する。
また、第３フレーム目以降では、次に予測符号化を行う１つ前のフレーム（つまり、次の予測符号化の基準となるフレームの１つ前のフレーム）まで、上記した第２フレーム目の処理と同様な処理を繰り返して行う。図２には、第３フレーム目についても、画像データＰ２１〜Ｐ２８の具体例を示してある。
また、画像バッファ１２から出力する背景画像データＰ１６としては、例えば、第１フレーム目に画像バッファ１２に蓄積した背景画像データＰ６と同じ画像データが第１の動き補償予測処理部１３へ入力される。第１の動き補償予測処理部１３では、画像バッファ１２から入力される背景画像データＰ１６から、動きベクトル解析部１９から入力される予測モード・動きベクトルＰ１４に相当する画像部分（動きベクトルにより特定される画像部分）のデータを切り取り、当該切り取り後の背景画像データＰ１７を加算機２１へ入力する。
加算機２１は、第２の動き補償予測処理部２０から入力されるデジタル画像データＰ１５と第１の動き補償予測処理部１３から入力される背景画像データＰ１７とを合成して、当該合成したデジタル画像データＰ１８をＤ／Ａ変換器２２へ出力する。
また、第３フレーム目以降では、次に予測符号化を行う１つ前のフレーム（つまり、次の予測符号化の基準となるフレームの１つ前のフレーム）まで、上記した第２フレーム目の処理と同様な処理を繰り返して行う。図２には、第３フレーム目についても、画像データＰ２１〜Ｐ２８の具体例を示してある。
以上のように、本例の圧縮画像伝送装置では、送信側が圧縮符号化処理により画像を圧縮して伝送し、受信側が受信した圧縮データを圧縮復号化処理する構成において、受信側は、受信した画像から動く対象（オブジェクト）の画像だけを抽出して、当該オブジェクト以外の背景の画像を別の背景の画像へ交換し、当該交換後の背景の画像上に当該抽出したオブジェクトの画像を表示することを例えば自動的に実行する。また、本例の圧縮画像伝送装置では、予測符号化による圧縮符号化処理の機能及び圧縮復号化処理の機能を搭載している。
このように、本例の圧縮画像伝送装置では、動き補償予測を用いた圧縮符号化処理及び復号化処理を伴った圧縮画像伝送を行うに際して、復号化側では、前後のフレーム間における動きベクトルの差分情報を用いて、実際に動いてる被写体（オブジェクト）の画像を特定し、また、例えば図３における動き補償予測のためのフィードバック画像（図３に示されるデジタル画像データ（Ｆ）、（Ｄ））を、別の背景画像（図１に示される背景画像データ（Ｋ）、（Ｆ））へ置き換え、これにより、受信画像の背景画像を任意の画像へ交換して表示する。
このように、本例の圧縮画像伝送装置では、動き補償予測を用いた圧縮符号化処理及び復号化処理を伴った圧縮画像伝送を行うに際して、復号化側では、前後のフレーム間における動きベクトルの差分情報を用いて、実際に動いてる被写体（オブジェクト）の画像を特定し、また、例えば図３における動き補償予測のためのフィードバック画像（図３に示されるデジタル画像データ（Ｆ）、（Ｄ））を、別の背景画像（図１に示される背景画像データ（Ｋ）、（Ｆ））へ置き換え、これにより、受信画像の背景画像を任意の画像へ交換して表示する。
従って、本例の圧縮画像伝送装置では、例えば、人物などの所定のオブジェクトだけが動いているような画像に対して別の背景画像を合成することにより、簡単にコンピュータグラフィクス（ＣＧ）などの画像を作成することが可能となる。また、例えば、背景画像をブルーバックなどの単調画像にすると、動いている被写体の画像だけがモニタ表示されるため、これを侵入者を監視するシステムなどに適用すると非常に有効である。
また、例えば、従来の圧縮画像伝送装置では、背景画像合成機能を追加するためには、専用の処理回路の追加又は高性能ＰＣなどの専用機器の追加が別途必要となって、処理パフォーマンスの低下若しくは製品原価の増加となっていたが、本例の圧縮画像伝送装置では、例えば、別途、特別な専用回路や専用機器を用いることなく、背景画像合成機能を使用することが可能である。
また、例えば、従来の圧縮画像伝送装置では、背景画像合成機能を追加するためには、専用の処理回路の追加又は高性能ＰＣなどの専用機器の追加が別途必要となって、処理パフォーマンスの低下若しくは製品原価の増加となっていたが、本例の圧縮画像伝送装置では、例えば、別途、特別な専用回路や専用機器を用いることなく、背景画像合成機能を使用することが可能である。
ここで、本例では、複数の連続したフレームから構成される動画像のデータを処理する場合を示したが、処理対象となる画像のデータとしては特に限定は無く、他の構成例として、複数の静止画像のフレームのデータを連続的に並べたようなものを処理することも可能である。
なお、本例では、圧縮画像伝送装置に本発明が適用されている。
また、本例の圧縮画像伝送装置では、圧縮復号化処理部４において、可変長復号化処理部１５や逆量子化処理部１６や逆ＤＣＴ処理部１７や動きベクトルバッファ１８や動きベクトル解析部１９や第２の動き補償予測処理部２０の機能により動き部分画像データ取得手段が構成されており、背景画像送信部１１や画像バッファ１２の機能により背景画像データ供給手段が構成されており、第１の動き補償予測処理部１３や加算機２１の機能により合成画像データ生成手段が構成されている。
また、本例の圧縮画像伝送装置では、モニタ５の機能により画像データ表示手段が構成されている。
なお、本例では、圧縮画像伝送装置に本発明が適用されている。
また、本例の圧縮画像伝送装置では、圧縮復号化処理部４において、可変長復号化処理部１５や逆量子化処理部１６や逆ＤＣＴ処理部１７や動きベクトルバッファ１８や動きベクトル解析部１９や第２の動き補償予測処理部２０の機能により動き部分画像データ取得手段が構成されており、背景画像送信部１１や画像バッファ１２の機能により背景画像データ供給手段が構成されており、第１の動き補償予測処理部１３や加算機２１の機能により合成画像データ生成手段が構成されている。
また、本例の圧縮画像伝送装置では、モニタ５の機能により画像データ表示手段が構成されている。
以下で、本発明に関する技術の背景を示す。なお、ここで記載する事項は、必ずしも全てが従来の技術であるとは限定しない。
図３には、圧縮画像伝送装置の構成例を示してある。
本例の圧縮画像伝送装置は、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８）やＭＰＥＧ−４（ＩＳＯ／ＩＥＣ１４４９６）などの予測符号化による圧縮符号化及び復号化方式を用いたものである。
本例の圧縮画像伝送装置により動画像のデータに対して行われる動作の一例を示す。
初めに、動画像データの第１フレーム目の処理について説明する。
送信側のカメラ３１で撮影したアナログ画像データ（Ａ）を圧縮符号化処理部３２へ入力する。圧縮符号化処理部３２は、入力されたアナログ画像データ３２に対してＡ／Ｄ変換を行った後に圧縮符号化処理を行い、当該処理結果を圧縮データ（Ｇ）として伝送路３３へ出力する。伝送路３３を介して受信側（圧縮復号化処理部３４）の圧縮データバッファ４１に蓄積された圧縮データ（Ｇ）は、可変長復号化処理部４２と逆量子化処理部４３と逆ＤＣＴ処理部４４により圧縮復号化処理が施され、当該処理結果がデジタル画像データ（Ｂ）として加算機４５へ入力される。このとき、可変長復号化処理部４２から予測モード・動きベクトル（Ｃ）が動き補償予測処理部４７へ入力される。但し、予測符号化が行われない第１フレーム目では、動きベクトルが発生しないため、動き補償予測処理部４７は、予測モード・動きベクトル（Ｃ）が入力されても、何も処理を行わず、デジタル画像データ（Ｅ）の出力もしない。このため、第１フレーム目では、加算機４５は、入力されるデジタル画像データ（Ｂ）に対して処理を行わずに、当該デジタル画像データ（Ｂ）をデジタル画像データ（Ｆ）としてＤ／Ａ変換器４８と画像バッファ４６へ入力する。Ｄ／Ａ変換器４８は、入力されるデジタル画像データ（Ｆ）に対してＤ／Ａ変換処理を行い、これにより得られるアナログ画像データ（Ｈ）をモニタ３５へ入力する。画像バッファ４６は、入力されたデジタル画像データ（Ｆ）を第２フレーム目の処理まで蓄積する。
図３には、圧縮画像伝送装置の構成例を示してある。
本例の圧縮画像伝送装置は、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８）やＭＰＥＧ−４（ＩＳＯ／ＩＥＣ１４４９６）などの予測符号化による圧縮符号化及び復号化方式を用いたものである。
本例の圧縮画像伝送装置により動画像のデータに対して行われる動作の一例を示す。
初めに、動画像データの第１フレーム目の処理について説明する。
送信側のカメラ３１で撮影したアナログ画像データ（Ａ）を圧縮符号化処理部３２へ入力する。圧縮符号化処理部３２は、入力されたアナログ画像データ３２に対してＡ／Ｄ変換を行った後に圧縮符号化処理を行い、当該処理結果を圧縮データ（Ｇ）として伝送路３３へ出力する。伝送路３３を介して受信側（圧縮復号化処理部３４）の圧縮データバッファ４１に蓄積された圧縮データ（Ｇ）は、可変長復号化処理部４２と逆量子化処理部４３と逆ＤＣＴ処理部４４により圧縮復号化処理が施され、当該処理結果がデジタル画像データ（Ｂ）として加算機４５へ入力される。このとき、可変長復号化処理部４２から予測モード・動きベクトル（Ｃ）が動き補償予測処理部４７へ入力される。但し、予測符号化が行われない第１フレーム目では、動きベクトルが発生しないため、動き補償予測処理部４７は、予測モード・動きベクトル（Ｃ）が入力されても、何も処理を行わず、デジタル画像データ（Ｅ）の出力もしない。このため、第１フレーム目では、加算機４５は、入力されるデジタル画像データ（Ｂ）に対して処理を行わずに、当該デジタル画像データ（Ｂ）をデジタル画像データ（Ｆ）としてＤ／Ａ変換器４８と画像バッファ４６へ入力する。Ｄ／Ａ変換器４８は、入力されるデジタル画像データ（Ｆ）に対してＤ／Ａ変換処理を行い、これにより得られるアナログ画像データ（Ｈ）をモニタ３５へ入力する。画像バッファ４６は、入力されたデジタル画像データ（Ｆ）を第２フレーム目の処理まで蓄積する。
次に、動画像データの第２フレーム目の処理について説明する。
第２フレーム目では、逆ＤＣＴ処理部４４からデジタル画像データ（Ｂ）が加算機４５へ入力される処理までは、第１フレーム目の処理と同様である。
第２フレーム目では、予測符号化を行うため、可変長復号化処理部４２から予測モード・動きベクトル（Ｃ）を動き補償予測処理部４７へ入力する。加算機４５にデジタル画像データ（Ｂ）が入力されると、第１フレーム目で画像バッファ４６に蓄積されていたデジタル画像データがデジタル画像データ（Ｄ）として動き補償予測処理部４７へ入力される。動き補償予測処理部４７は、予測モード・動きベクトル（Ｃ）の情報を解析して、デジタル画像データ（Ｂ）の画像内で動いた部分を、デジタル画像データ（Ｄ）から切り取り、そして、当該切り取り後の画像をデジタル画像データ（Ｅ）として加算機４５へ入力する。加算機４５は、逆ＤＣＴ処理部４４から入力されるデジタル画像データ（Ｂ）と動き補償予測処理部４７から入力されるデジタル画像データ（Ｅ）とを合成し、当該合成した画像をデジタル画像データ（Ｆ）としてＤ／Ａ変換器４８及び画像バッファ４６へ入力する。Ｄ／Ａ変換器４８は、入力されるデジタル画像データ（Ｆ）に対してＤ／Ａ変換処理を行い、これにより得られるアナログ画像データ（Ｈ）をモニタ３５へ入力する。
また、第３フレーム目以降についても、上記と同様な処理を繰り返して行う。
第２フレーム目では、逆ＤＣＴ処理部４４からデジタル画像データ（Ｂ）が加算機４５へ入力される処理までは、第１フレーム目の処理と同様である。
第２フレーム目では、予測符号化を行うため、可変長復号化処理部４２から予測モード・動きベクトル（Ｃ）を動き補償予測処理部４７へ入力する。加算機４５にデジタル画像データ（Ｂ）が入力されると、第１フレーム目で画像バッファ４６に蓄積されていたデジタル画像データがデジタル画像データ（Ｄ）として動き補償予測処理部４７へ入力される。動き補償予測処理部４７は、予測モード・動きベクトル（Ｃ）の情報を解析して、デジタル画像データ（Ｂ）の画像内で動いた部分を、デジタル画像データ（Ｄ）から切り取り、そして、当該切り取り後の画像をデジタル画像データ（Ｅ）として加算機４５へ入力する。加算機４５は、逆ＤＣＴ処理部４４から入力されるデジタル画像データ（Ｂ）と動き補償予測処理部４７から入力されるデジタル画像データ（Ｅ）とを合成し、当該合成した画像をデジタル画像データ（Ｆ）としてＤ／Ａ変換器４８及び画像バッファ４６へ入力する。Ｄ／Ａ変換器４８は、入力されるデジタル画像データ（Ｆ）に対してＤ／Ａ変換処理を行い、これにより得られるアナログ画像データ（Ｈ）をモニタ３５へ入力する。
また、第３フレーム目以降についても、上記と同様な処理を繰り返して行う。
次に、図４を参照して、図３に示される圧縮画像伝送装置により行われる処理の流れの一例を示す。
図４には、図３に示されるそれぞれのデータ（Ａ）〜（Ｆ）について、具体的な一例を示してある。また、図４では、横方向は時間的な処理の流れ（フレーム単位での流れ）として第１フレーム目〜第３フレーム目を表しており、縦方向は圧縮画像伝送装置の構成的な処理の流れ（処理手順の流れ）を表している。なお、図４では、予測モード・動きベクトル（Ｃ）については、動きベクトルの情報により特定される画像のデータを示してある。
カメラ３１から出力する第１フレーム目の画像データＱ１では、圧縮符号化処理及び復号化処理において予測符号化が行われないため、逆ＤＣＴ処理部４４から出力するデジタル画像データＱ２は同じ画像のデータとなる。また、予測符号化が行われない場合には動きベクトルが発生しないため、可変長復号化処理部４２から出力する予測モード・動きベクトルＱ３は、図示されるように、動きベクトル情報を有していない。このため、予測モード・動きベクトルＱ３を動き補償予測処理部４７へ入力しても、出力されるデジタル画像データＱ５は、図示されるように、画像が無いデータとなる。つまり、加算機４５から出力するデジタル画像データＱ６は、逆ＤＣＴ処理部４４から出力されるデジタル画像データＱ２と同じ画像データとなる。なお、画像バッファ４６から出力されるデジタル画像データＱ４も、画像が無いデータとなる。
図４には、図３に示されるそれぞれのデータ（Ａ）〜（Ｆ）について、具体的な一例を示してある。また、図４では、横方向は時間的な処理の流れ（フレーム単位での流れ）として第１フレーム目〜第３フレーム目を表しており、縦方向は圧縮画像伝送装置の構成的な処理の流れ（処理手順の流れ）を表している。なお、図４では、予測モード・動きベクトル（Ｃ）については、動きベクトルの情報により特定される画像のデータを示してある。
カメラ３１から出力する第１フレーム目の画像データＱ１では、圧縮符号化処理及び復号化処理において予測符号化が行われないため、逆ＤＣＴ処理部４４から出力するデジタル画像データＱ２は同じ画像のデータとなる。また、予測符号化が行われない場合には動きベクトルが発生しないため、可変長復号化処理部４２から出力する予測モード・動きベクトルＱ３は、図示されるように、動きベクトル情報を有していない。このため、予測モード・動きベクトルＱ３を動き補償予測処理部４７へ入力しても、出力されるデジタル画像データＱ５は、図示されるように、画像が無いデータとなる。つまり、加算機４５から出力するデジタル画像データＱ６は、逆ＤＣＴ処理部４４から出力されるデジタル画像データＱ２と同じ画像データとなる。なお、画像バッファ４６から出力されるデジタル画像データＱ４も、画像が無いデータとなる。
カメラ３１から出力する第２フレーム目の画像データＱ１１では、圧縮符号化処理及び復号化処理において予測符号化が行われるため、逆ＤＣＴ処理部４４から出力するデジタル画像データＱ１２は、第１フレーム目の画像データＱ１に対する第２フレーム目の画像データＱ１１の差分情報だけのデータとなる。また、画像バッファ４６から出力するデジタル画像データＱ１４は、第１フレーム目に蓄積したデジタル画像データＱ６が１フレーム時間分遅延したものに相当し、動き補償予測処理部４７へ入力される。予測符号化が行われる場合には動きベクトルが発生するため、可変長復号化処理部４２から出力する予測モード・動きベクトルＱ１３は、図示されるように、動きベクトルが発生した座標を示す情報を有している。このため、予測モード・動きベクトルＱ１３を動き補償予測処理部４７へ入力すると、動き補償予測処理部４７は、画像バッファ４６から入力されるデジタル画像データＱ１４から予測モード・動きベクトルＱ１３により特定される座標の画像データを切り取り、当該切り取り後のデジタル画像データＱ１５を加算機４５へ入力する。加算機４５は、逆ＤＣＴ処理部４４から入力されるデジタル画像データＱ１２と動き補償予測処理部４７から入力されるデジタル画像データＱ１５とを合成し、当該合成したデジタル画像データＱ１６をＤ／Ａ変換器４８へ出力する。
また、第３フレーム目以降では、次に予測符号化を行う１つ前のフレームまで、上記した第２フレーム目の処理と同様な処理を繰り返して行う。図４には、第３フレーム目についても、画像データＱ２１〜Ｑ２６の具体例を示してある。
また、第３フレーム目以降では、次に予測符号化を行う１つ前のフレームまで、上記した第２フレーム目の処理と同様な処理を繰り返して行う。図４には、第３フレーム目についても、画像データＱ２１〜Ｑ２６の具体例を示してある。
ここで、本発明に係る画像圧縮処理装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々な装置やシステムとして提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係る画像圧縮処理装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Read Only Memory）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Compact Disc）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係る画像圧縮処理装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Read Only Memory）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Compact Disc）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
１、３１・・カメラ、 ２、３２・・圧縮符号化処理部、 ３、３３・・伝送路、 ４、３４・・圧縮復号化処理部、 ５、３５・・モニタ、 １１・・背景画像送信部、 １２、４６・・画像バッファ、 １３、２０、４７・・動き補償予測処理部、 １４、４１・・圧縮データバッファ、 １５、４２・・可変長復号化処理部、 １６、４３・・逆量子化処理部、 １７、４４・・逆ＤＣＴ処理部、 １８・・動きベクトルバッファ、 １９・・動きベクトル解析部、 ２１、４５・・加算機、 ２２、４８・・Ｄ／Ａ変換器、
Claims (1)
- 圧縮符号化された画像のデータを処理する圧縮画像処理装置において、
圧縮符号化された画像のデータに基づいて動きを有する部分の画像のデータを取得する動き部分画像データ取得手段と、
所定の背景の画像のデータを供給する背景画像データ供給手段と、
背景画像データ供給手段により供給される背景の画像のデータと動き部分画像データ取得手段により取得される動きを有する部分の画像のデータに基づいて当該背景の画像と当該動きを有する部分の画像とを合成した画像のデータを生成する合成画像データ生成手段と、
を備えたことを特徴とする圧縮画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004034867A JP2005229262A (ja) | 2004-02-12 | 2004-02-12 | 圧縮画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004034867A JP2005229262A (ja) | 2004-02-12 | 2004-02-12 | 圧縮画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005229262A true JP2005229262A (ja) | 2005-08-25 |
Family
ID=35003648
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004034867A Pending JP2005229262A (ja) | 2004-02-12 | 2004-02-12 | 圧縮画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005229262A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10356419B2 (en) | 2015-03-27 | 2019-07-16 | Hitachi Kokusai Electric, Inc. | Encoding device and encoding method |
-
2004
- 2004-02-12 JP JP2004034867A patent/JP2005229262A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10356419B2 (en) | 2015-03-27 | 2019-07-16 | Hitachi Kokusai Electric, Inc. | Encoding device and encoding method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20130022116A1 (en) | Camera tap transcoder architecture with feed forward encode data | |
| JPH11112973A (ja) | 映像信号変換装置及び映像信号変換方法 | |
| US9716888B2 (en) | Video processing with static and dynamic regions and method for use therewith | |
| US10587892B2 (en) | Image processing apparatus, image processing method, and program for generating motion compensated image data | |
| EP2629520B1 (en) | Apparatus and method for shooting moving picture in camera device | |
| CN107534768B (zh) | 用于基于拍摄信息对图像进行压缩的方法和装置 | |
| JP4714039B2 (ja) | 映像再生装置及び映像再生方法 | |
| JP2018510524A (ja) | 高フレームレート−低フレームレート伝送技術 | |
| US20130121588A1 (en) | Method, apparatus, and program for compressing images, and method, apparatus, and program for decompressing images | |
| JP2006279917A (ja) | 動画像符号化装置、動画像復号装置及び動画像伝送システム | |
| JP2007122232A (ja) | 画像処理装置及びプログラム | |
| JP4411220B2 (ja) | 映像信号処理装置、及びその映像信号処理方法 | |
| JP2019029746A (ja) | 映像伝送システム、映像送信装置、映像受信装置、コンピュータプログラム、映像配信方法、映像送信方法および映像受信方法 | |
| JP2007096672A (ja) | 画像処理装置 | |
| US20070269120A1 (en) | Video image compression using model plus difference image | |
| JP2010062792A (ja) | 画像圧縮装置、画像伸張装置、画像圧縮プログラムおよび画像伸張プログラム | |
| JP2013026952A (ja) | 画像処理方法、エンコード装置、デコード装置および画像処理装置 | |
| JP2005229262A (ja) | 圧縮画像処理装置 | |
| KR20100131061A (ko) | 스테레오 영상 처리 장치 및 방법 | |
| JP4795141B2 (ja) | 映像符号化合成装置、映像符号化合成方法及び映像伝送システム | |
| JP2008124626A (ja) | 画像記録制御装置および画像記録制御方法 | |
| JP2020080479A (ja) | 動画記録再生装置、動画伝送システムおよび方法 | |
| US20170105006A1 (en) | Method and Apparatus for Video Coding Using Master-Slave Prediction Structure | |
| JP6332039B2 (ja) | 画面符号化装置、画面復号装置、画面符号化伝送システム | |
| JP6102233B2 (ja) | 評価装置、及び評価装置における画質評価方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060928 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070928 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071016 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080610 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090120 |