JP2011091858A - 画像符号化方式変換装置 - Google Patents
画像符号化方式変換装置 Download PDFInfo
- Publication number
- JP2011091858A JP2011091858A JP2011001238A JP2011001238A JP2011091858A JP 2011091858 A JP2011091858 A JP 2011091858A JP 2011001238 A JP2011001238 A JP 2011001238A JP 2011001238 A JP2011001238 A JP 2011001238A JP 2011091858 A JP2011091858 A JP 2011091858A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- image
- jpeg
- mpeg
- quantization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】演算処理量を大幅に削減することができるとともに、画質の劣化を大幅に抑制することができる画像符号化方式変換装置を得ることを目的とする。
【解決手段】ＪＰＥＧ簡易復号部１により抽出されたＪＰＥＧ量子化テーブル・パラメータ及びＪＰＥＧ量子化ＤＣＴ係数をＭＰＥＧ−２量子化テーブル・パラメータ及びＭＰＥＧ−２量子化ＤＣＴ係数に変換するデータ変換部２と、データ変換部２で変換されたＭＰＥＧ−２量子化テーブル・パラメータ及びＭＰＥＧ−２量子化ＤＣＴ係数を用いて追加ＭＰＥＧ−２量子化ＤＣＴ係数とヘッダ変更情報を出力する画像データ追加部４を設け、ヘッダ情報とＭＰＥＧ−２量子化テーブル・パラメータと追加ＭＰＥＧ−２量子化ＤＣＴ係数とヘッダ変更情報からＭＰＥＧ−２ストリームを作成する。
【選択図】図２
【解決手段】ＪＰＥＧ簡易復号部１により抽出されたＪＰＥＧ量子化テーブル・パラメータ及びＪＰＥＧ量子化ＤＣＴ係数をＭＰＥＧ−２量子化テーブル・パラメータ及びＭＰＥＧ−２量子化ＤＣＴ係数に変換するデータ変換部２と、データ変換部２で変換されたＭＰＥＧ−２量子化テーブル・パラメータ及びＭＰＥＧ−２量子化ＤＣＴ係数を用いて追加ＭＰＥＧ−２量子化ＤＣＴ係数とヘッダ変更情報を出力する画像データ追加部４を設け、ヘッダ情報とＭＰＥＧ−２量子化テーブル・パラメータと追加ＭＰＥＧ−２量子化ＤＣＴ係数とヘッダ変更情報からＭＰＥＧ−２ストリームを作成する。
【選択図】図２
Description
この発明は、例えば、ＪＰＥＧの映像ストリームをＭＰＥＧ−２の映像ストリームに変換する画像符号化方式変換装置に関するものである。
近年、一般的に画像を圧縮して符号化する技術が用いられている。
この画像符号化方式の代表的なものとして、主にデジタルカメラなどで採用されているＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）がある。
また、ＪＰＥＧを連続して符号化することで、動画像を符号化する方式もある。この方式は、Ｍｏｔｉｏｎ ＪＰＥＧ、もしくは、ＭＪＰＥＧ等と呼ばれることもある。
さらに、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｉｔａｂｌｅ Ｄｉｓｋ）−ＶＩＤＥＯに採用されているＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）と呼ばれる動画像符号化方式がある。
この画像符号化方式の代表的なものとして、主にデジタルカメラなどで採用されているＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）がある。
また、ＪＰＥＧを連続して符号化することで、動画像を符号化する方式もある。この方式は、Ｍｏｔｉｏｎ ＪＰＥＧ、もしくは、ＭＪＰＥＧ等と呼ばれることもある。
さらに、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｉｔａｂｌｅ Ｄｉｓｋ）−ＶＩＤＥＯに採用されているＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）と呼ばれる動画像符号化方式がある。
このように、画像符号化方式には様々な方式が存在し、一般に異なる画像符号化方式には互換性がない。
そのため、ユーザが異なる画像符号化方式に対応するには、それぞれの画像符号化方式に対応する画像復号装置を用意するか、画像符号化方式変換装置を用意する必要がある。
例えば、市販されているＤＶＤプレーヤはＭＰＥＧ−２方式しか再生できず、それぞれの画像符号化方式に対応する画像復号装置を用意するのは現実的に困難である。
一方、画像符号化方式変換装置を用意すれば、それぞれの画像符号化方式に対応する画像復号装置を用意する必要がなくなるが、画像の変換に要する時間や、変換後の画像の品質が問題になる。
そのため、ユーザが異なる画像符号化方式に対応するには、それぞれの画像符号化方式に対応する画像復号装置を用意するか、画像符号化方式変換装置を用意する必要がある。
例えば、市販されているＤＶＤプレーヤはＭＰＥＧ−２方式しか再生できず、それぞれの画像符号化方式に対応する画像復号装置を用意するのは現実的に困難である。
一方、画像符号化方式変換装置を用意すれば、それぞれの画像符号化方式に対応する画像復号装置を用意する必要がなくなるが、画像の変換に要する時間や、変換後の画像の品質が問題になる。
画像符号化方式変換装置における最も単純な変換方法としては、一旦、符号化データを復号して画像データに戻してから、再度異なる符号化方式で符号化を行う方法がある。
しかし、この変換方法では、演算処理量が膨大になる上、画像の画質も劣化し易い欠点がある。
そこで、演算処理量の増加や画質の劣化を抑えるために、符号化データの完全な復号を行わずに画像符号化方式を変換する画像符号化方式変換装置が開発され、その画像符号化方式変換装置が以下の非特許文献１に開示されている。
ただし、以下の非特許文献１に開示されている画像符号化方式変換装置では、符号化データの量子化や逆量子化については実施する必要がある。
しかし、この変換方法では、演算処理量が膨大になる上、画像の画質も劣化し易い欠点がある。
そこで、演算処理量の増加や画質の劣化を抑えるために、符号化データの完全な復号を行わずに画像符号化方式を変換する画像符号化方式変換装置が開発され、その画像符号化方式変換装置が以下の非特許文献１に開示されている。
ただし、以下の非特許文献１に開示されている画像符号化方式変換装置では、符号化データの量子化や逆量子化については実施する必要がある。
An Application Level Video Gateway, Elan Amir, Steven McCanne, Hui Zhang, ACM Multimedia 95, 1995
従来の画像符号化方式変換装置は以上のように構成されているので、符号化データの完全な復号を行わずに画像符号化方式を変換しており、ある程度は、演算処理量の増加や画質の劣化を抑えることができる。しかし、符号化データの量子化や逆量子化については実施する必要があるため、演算処理量の削減や画質の劣化の抑制には限界があるなどの課題があった。
この発明は上記のような課題を解決するためになされたもので、演算処理量を大幅に削減することができるとともに、画質の劣化を大幅に抑制することができる画像符号化方式変換装置を得ることを目的とする。
この発明に係る画像符号化方式変換装置は、画像信号が第一の符号化方式で符号化されている符号化ストリームの一部を復号して、その符号化ストリームからヘッダ情報と第一の符号化方式の量子化テーブル及び量子化周波数成分を抽出する簡易復号化手段と、簡易復号化手段により抽出された第一の符号化方式の量子化テーブル及び量子化周波数成分を第二の符号化方式の量子化テーブル及び量子化周波数成分に変換するデータ変換手段と、データ変換手段により変換された第二の符号化方式の量子化テーブルを用いて追加画像の画像データを量子化し、量子化後の画像データをデータ変換手段により変換された第二の符号化方式の量子化周波数成分に加える画像データ追加手段と、簡易復号化手段により抽出されたヘッダ情報を追加画像の画像幅に応じて変更し、変更後のヘッダ情報とデータ変換手段により変換された第二の符号化方式の量子化テーブルと画像データ追加手段により量子化後の画像データが加えられた第二の符号化方式の量子化周波数成分から第二の符号化方式の符号化ストリームを作成する符号化ストリーム作成手段とを備えるものである。
この発明によれば、画像信号が第一の符号化方式で符号化されている符号化ストリームの一部を復号して、その符号化ストリームからヘッダ情報と第一の符号化方式の量子化テーブル及び量子化周波数成分を抽出する簡易復号化手段と、簡易復号化手段により抽出された第一の符号化方式の量子化テーブル及び量子化周波数成分を第二の符号化方式の量子化テーブル及び量子化周波数成分に変換するデータ変換手段と、データ変換手段により変換された第二の符号化方式の量子化テーブルを用いて追加画像の画像データを量子化し、量子化後の画像データをデータ変換手段により変換された第二の符号化方式の量子化周波数成分に加える画像データ追加手段と、簡易復号化手段により抽出されたヘッダ情報を追加画像の画像幅に応じて変更し、変更後のヘッダ情報とデータ変換手段により変換された第二の符号化方式の量子化テーブルと画像データ追加手段により量子化後の画像データが加えられた第二の符号化方式の量子化周波数成分から第二の符号化方式の符号化ストリームを作成する符号化ストリーム作成手段とを備えるように構成したので、演算処理量を大幅に削減することができるとともに、画質の劣化を大幅に抑制することができる効果がある。
実施の形態１．
図１はこの発明の実施の形態１による画像符号化方式変換装置を示す構成図であり、図において、ＪＰＥＧ簡易復号部１は画像信号がＪＰＥＧ（第一の符号化方式）で符号化されているＪＰＥＧストリーム（符号化ストリーム）の一部を復号して、そのＪＰＥＧストリームからヘッダ情報とＪＰＥＧ量子化テーブル（第一の符号化方式の量子化テーブル）及びＪＰＥＧ量子化ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数（第一の符号化方式の量子化周波数成分）を抽出する処理を実施する。なお、ＪＰＥＧ簡易復号部１は簡易復号化手段を構成している。
図１はこの発明の実施の形態１による画像符号化方式変換装置を示す構成図であり、図において、ＪＰＥＧ簡易復号部１は画像信号がＪＰＥＧ（第一の符号化方式）で符号化されているＪＰＥＧストリーム（符号化ストリーム）の一部を復号して、そのＪＰＥＧストリームからヘッダ情報とＪＰＥＧ量子化テーブル（第一の符号化方式の量子化テーブル）及びＪＰＥＧ量子化ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数（第一の符号化方式の量子化周波数成分）を抽出する処理を実施する。なお、ＪＰＥＧ簡易復号部１は簡易復号化手段を構成している。
データ変換部２はＪＰＥＧ簡易復号部１により抽出されたＪＰＥＧ量子化テーブル及びＪＰＥＧ量子化ＤＣＴ係数をＭＰＥＧ−２量子化テーブル・パラメータ（第二の符号化方式の量子化テーブル）及びＭＰＥＧ−２量子化ＤＣＴ係数（第二の符号化方式の量子化周波数成分）に変換する処理を実施する。なお、データ変換部２はデータ変換手段を構成している。
ＭＰＥＧ−２ストリーム作成部３はＪＰＥＧ簡易復号部１により抽出されたヘッダ情報とデータ変換部２により変換されたＭＰＥＧ−２量子化テーブル・パラメータ及びＭＰＥＧ−２量子化ＤＣＴ係数からＭＰＥＧ−２ストリーム（第二の符号化方式の符号化ストリーム）を作成する処理を実施する。なお、ＭＰＥＧ−２ストリーム作成部３は符号化ストリーム作成手段を構成している。
ＭＰＥＧ−２ストリーム作成部３はＪＰＥＧ簡易復号部１により抽出されたヘッダ情報とデータ変換部２により変換されたＭＰＥＧ−２量子化テーブル・パラメータ及びＭＰＥＧ−２量子化ＤＣＴ係数からＭＰＥＧ−２ストリーム（第二の符号化方式の符号化ストリーム）を作成する処理を実施する。なお、ＭＰＥＧ−２ストリーム作成部３は符号化ストリーム作成手段を構成している。
次に動作について説明する。
最初に、ＪＰＥＧとＭＰＥＧ−２の符号化について簡単に説明する。
ＪＰＥＧは、画像の画像信号（画素データ）をＤＣＴ変換し、ＤＣＴ変換の画像信号であるＤＣＴ係数を量子化するものである。
ＪＰＥＧでは、画像信号をＤＣＴ変換することにより、パワーを低周波領域に集中させることができ、ＤＣＴ係数を量子化することにより、高周波成分を間引いて画像を圧縮することができる。
また、ＪＰＥＧでは、ＤＣＴ係数のランレングス符号化や可変長符号化などを実施することにより、更に圧縮率を高めている。
一方、ＭＰＥＧ−２では、ＪＰＥＧと同様の圧縮を実施しているが、時間方向に圧縮している点でＪＰＥＧと相違しており、また、符号化フォーマットの点でＪＰＥＧと相違している。
この実施の形態１では、ＭＰＥＧ−２におけるフレーム間符号化を用いずに、全てフレーム内符号化を行うものとする。
以下、図１の画像符号化方式変換装置の処理内容を具体的に説明する。
最初に、ＪＰＥＧとＭＰＥＧ−２の符号化について簡単に説明する。
ＪＰＥＧは、画像の画像信号（画素データ）をＤＣＴ変換し、ＤＣＴ変換の画像信号であるＤＣＴ係数を量子化するものである。
ＪＰＥＧでは、画像信号をＤＣＴ変換することにより、パワーを低周波領域に集中させることができ、ＤＣＴ係数を量子化することにより、高周波成分を間引いて画像を圧縮することができる。
また、ＪＰＥＧでは、ＤＣＴ係数のランレングス符号化や可変長符号化などを実施することにより、更に圧縮率を高めている。
一方、ＭＰＥＧ−２では、ＪＰＥＧと同様の圧縮を実施しているが、時間方向に圧縮している点でＪＰＥＧと相違しており、また、符号化フォーマットの点でＪＰＥＧと相違している。
この実施の形態１では、ＭＰＥＧ−２におけるフレーム間符号化を用いずに、全てフレーム内符号化を行うものとする。
以下、図１の画像符号化方式変換装置の処理内容を具体的に説明する。
ＪＰＥＧ簡易復号部１は、画像信号がＪＰＥＧで符号化されているＪＰＥＧストリームを入力すると、そのＪＰＥＧストリームの一部を復号して、そのＪＰＥＧストリームからヘッダ情報とＪＰＥＧ量子化テーブル及びＪＰＥＧ量子化ＤＣＴ係数を抽出する。
即ち、ＪＰＥＧ簡易復号部１は、ＪＰＥＧストリームにおけるヘッダ情報やハフマン符号などを復号することにより、そのＪＰＥＧストリームからヘッダ情報を抽出して、そのヘッダ情報をＭＰＥＧ−２ストリーム作成部３に出力し、そのＪＰＥＧストリームからＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を抽出して、そのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数をデータ変換部２に出力する。
即ち、ＪＰＥＧ簡易復号部１は、ＪＰＥＧストリームにおけるヘッダ情報やハフマン符号などを復号することにより、そのＪＰＥＧストリームからヘッダ情報を抽出して、そのヘッダ情報をＭＰＥＧ−２ストリーム作成部３に出力し、そのＪＰＥＧストリームからＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を抽出して、そのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数をデータ変換部２に出力する。
データ変換部２は、ＪＰＥＧ簡易復号部１からＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を受けると、そのＪＰＥＧ量子化テーブルをＭＰＥＧ−２量子化テーブル・パラメータに変換し、そのＪＰＥＧ量子化ＤＣＴ係数をＭＰＥＧ−２量子化ＤＣＴ係数に変換する。
以下、データ変換部２における変換アルゴリズムを説明する。
以下、データ変換部２における変換アルゴリズムを説明する。
まず、ＪＰＥＧ符号化におけるＪＰＥＧ量子化ＤＣＴ係数は、下記の式（１）で逆量子化される。
ただし、ＪｐｅｇＤｅｑｕａｎｔＤＣＴi,jはＪＰＥＧ量子化ＤＣＴ係数が逆量子化されたＤＣＴ係数、ＪｐｅｇＱｕａｎｔＴａｂｌｅi,jはＪＰＥＧ量子化テーブル、ＪｐｅｇＱｕａｎｔＤＣＴi,jはＪＰＥＧ量子化ＤＣＴ係数である。
ｉ，ｊは８×８の各成分を表している。
ただし、ＪｐｅｇＤｅｑｕａｎｔＤＣＴi,jはＪＰＥＧ量子化ＤＣＴ係数が逆量子化されたＤＣＴ係数、ＪｐｅｇＱｕａｎｔＴａｂｌｅi,jはＪＰＥＧ量子化テーブル、ＪｐｅｇＱｕａｎｔＤＣＴi,jはＪＰＥＧ量子化ＤＣＴ係数である。
ｉ，ｊは８×８の各成分を表している。
一方、ＭＰＥＧ−２符号化におけるイントラＭＢ（Ｍａｃｒｏ Ｂｌｏｃｋ）においては、ＭＰＥＧ−２量子化ＤＣＴ係数が、ｉ＝ｊ＝０のＤＣ（Ｄｉｒｅｃｔ Ｃｕｒｒｅｎｔ）成分と、それ以外のＡＣ（Ａｌｔｅｒｎａｔｉｎｇ Ｃｕｒｒｅｎｔ）成分で異なり、以下の式（２）で逆量子化される。
ただし、ＭｐｅｇＤｅｑｕａｎｔＤＣＴi,jはＭＰＥＧ−２量子化ＤＣＴ係数が逆りょうしかされたＤＣＴ係数、ＭｐｅｇＱｕａｎｔＴａｂｌｅi,jはＭＰＥＧ−２量子化テーブル・パラメータ、ＭｐｅｇＱｕａｎｔＤＣＴi,jはＭＰＥＧ−２量子化ＤＣＴ係数、ＤｃＭｕｌｔはイントラＤＣ成分用量子化パラメータ、ＱｕａｎｔＳｃａｌｅは量子化スケールコードである。
ただし、ＭｐｅｇＤｅｑｕａｎｔＤＣＴi,jはＭＰＥＧ−２量子化ＤＣＴ係数が逆りょうしかされたＤＣＴ係数、ＭｐｅｇＱｕａｎｔＴａｂｌｅi,jはＭＰＥＧ−２量子化テーブル・パラメータ、ＭｐｅｇＱｕａｎｔＤＣＴi,jはＭＰＥＧ−２量子化ＤＣＴ係数、ＤｃＭｕｌｔはイントラＤＣ成分用量子化パラメータ、ＱｕａｎｔＳｃａｌｅは量子化スケールコードである。
上記の式（１）と式（２）におけるＪＰＥＧとＭＰＥＧ−２の逆量子化計算式から、イントラＭＢでは、下記に示すように、ＭＰＥＧ−２での符号化を行えばよい。
ただし、ＤｃＭｕｌｔはＭＰＥＧ−２の規定の範囲内の任意の値でよい。
式（３）〜（５）から分る通り、逆量子化及び量子化の処理を直流成分だけ行えばよく、演算量が削減されていることが理解される。
式（３）〜（５）から分る通り、逆量子化及び量子化の処理を直流成分だけ行えばよく、演算量が削減されていることが理解される。
ＭＰＥＧ−２ストリーム作成部３は、ＪＰＥＧ簡易復号部１がヘッダ情報を抽出し、データ変換部２がＭＰＥＧ−２量子化テーブル・パラメータとＭＰＥＧ−２量子化ＤＣＴ係数を出力すると、そのヘッダ情報とＭＰＥＧ−２量子化テーブル・パラメータとＭＰＥＧ−２量子化ＤＣＴ係数からＭＰＥＧ−２ストリームを作成する。
特に、ＭｐｅｇＱｕａｎｔＴａｂｌｅi,jをＭＰＥＧ−２のｐｉｃｔｕｒｅヘッダ部に多重して符号化し、ＤｃＭｕｌｔをＭＰＥＧ−２のＶＬＣ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）を行う際に符号化するとよい。
特に、ＭｐｅｇＱｕａｎｔＴａｂｌｅi,jをＭＰＥＧ−２のｐｉｃｔｕｒｅヘッダ部に多重して符号化し、ＤｃＭｕｌｔをＭＰＥＧ−２のＶＬＣ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）を行う際に符号化するとよい。
以上で明らかなように、この実施の形態１によれば、画像信号がＪＰＥＧで符号化されているＪＰＥＧストリームの一部を復号して、そのＪＰＥＧストリームからヘッダ情報とＪＰＥＧ量子化テーブル及びＪＰＥＧ量子化ＤＣＴ係数を抽出するＪＰＥＧ簡易復号部１と、ＪＰＥＧ簡易復号部１により抽出されたＪＰＥＧ量子化テーブル及びＪＰＥＧ量子化ＤＣＴ係数をＭＰＥＧ−２量子化テーブル・パラメータ及びＭＰＥＧ−２量子化ＤＣＴ係数に変換するデータ変換部２とを設け、ＪＰＥＧ簡易復号部１により抽出されたヘッダ情報とデータ変換部２により変換されたＭＰＥＧ−２量子化テーブル・パラメータ及びＭＰＥＧ−２量子化ＤＣＴ係数からＭＰＥＧ−２ストリームを作成するように構成したので、演算処理量を大幅に削減することができるとともに、画質の劣化を大幅に抑制することができる効果を奏する。
即ち、この実施の形態１によれば、画像符号化方式をＪＰＥＧからＭＰＥＧ−２に変換する際、変換に伴う逆量子化処理と量子化処理が１つのＤＣＴのブロックにつき１度で済むため、演算量を大幅に削減することができるとともに、再量子化処理による画質劣化を抑えることができる。
即ち、この実施の形態１によれば、画像符号化方式をＪＰＥＧからＭＰＥＧ−２に変換する際、変換に伴う逆量子化処理と量子化処理が１つのＤＣＴのブロックにつき１度で済むため、演算量を大幅に削減することができるとともに、再量子化処理による画質劣化を抑えることができる。
なお、この実施の形態１では、画像符号化方式をＪＰＥＧからＭＰＥＧ−２に変換するものについて示したが、同様の変換方法を用いて、ＭＰＥＧ−２のＩ−ｐｉｃｔｕｒｅからＪＰＥＧに変換することもできる。また、量子化及びＤＣＴを用いている他の符号化方式間の変換にも適用することが可能である。
実施の形態２．
図２はこの発明の実施の形態２による画像符号化方式変換装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
画像データ追加部４はデータ変換部２により変換されたＭＰＥＧ−２量子化テーブル・パラメータを用いて追加画像の画像データ（ここでは、追加画像の画像データは、既にＤＣＴ係数に変換されているものとする）を量子化し、量子化後の画像データをデータ変換部２により変換されたＭＰＥＧ−２量子化ＤＣＴ係数に加えて、追加ＭＰＥＧ−２量子化ＤＣＴ係数（ＭＰＥＧ−２量子化ＤＣＴ係数＋量子化後の画像データ）をＭＰＥＧ−２ストリーム作成部５に出力するとともに、追加画像の画像幅を示すヘッダ変更情報をＭＰＥＧ−２ストリーム作成部５に出力する。なお、画像データ追加部４は画像データ追加手段を構成している。
ＭＰＥＧ−２ストリーム作成部５は簡易復号化部１により抽出されたヘッダ情報を画像データ追加部４から出力されたヘッダ変更情報にしたがって変更し、変更後のヘッダ情報とデータ変換部２により変換されたＭＰＥＧ−２量子化テーブル・パラメータと画像データ追加部４から出力された追加ＭＰＥＧ−２量子化ＤＣＴ係数からＭＰＥＧ−２ストリームを作成する処理を実施する。なお、ＭＰＥＧ−２ストリーム作成部５は符号化ストリーム作成手段を構成している。
図２はこの発明の実施の形態２による画像符号化方式変換装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
画像データ追加部４はデータ変換部２により変換されたＭＰＥＧ−２量子化テーブル・パラメータを用いて追加画像の画像データ（ここでは、追加画像の画像データは、既にＤＣＴ係数に変換されているものとする）を量子化し、量子化後の画像データをデータ変換部２により変換されたＭＰＥＧ−２量子化ＤＣＴ係数に加えて、追加ＭＰＥＧ−２量子化ＤＣＴ係数（ＭＰＥＧ−２量子化ＤＣＴ係数＋量子化後の画像データ）をＭＰＥＧ−２ストリーム作成部５に出力するとともに、追加画像の画像幅を示すヘッダ変更情報をＭＰＥＧ−２ストリーム作成部５に出力する。なお、画像データ追加部４は画像データ追加手段を構成している。
ＭＰＥＧ−２ストリーム作成部５は簡易復号化部１により抽出されたヘッダ情報を画像データ追加部４から出力されたヘッダ変更情報にしたがって変更し、変更後のヘッダ情報とデータ変換部２により変換されたＭＰＥＧ−２量子化テーブル・パラメータと画像データ追加部４から出力された追加ＭＰＥＧ−２量子化ＤＣＴ係数からＭＰＥＧ−２ストリームを作成する処理を実施する。なお、ＭＰＥＧ−２ストリーム作成部５は符号化ストリーム作成手段を構成している。
この実施の形態２では、追加画像の画像データを用いて、変換後のＭＰＥＧ−２の画像の幅を拡大する方法について示している。
ＭＰＥＧ−２は、例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＶＩＤＥＯ方式における映像符号化方式で用いられている。
このＤＶＤ−ＶＩＤＥＯ方式では、ＭＰＥＧ−２と比べて、さらに解像度の制限が設けられている。例えば、幅７０４画素×高さ４８０ラインなどに制限されている。
しかし、一般的なＪＰＥＧでは、幅と高さの比が４：３である。例えば、幅６４０画素×高さ４８０ラインなどで記録される。
この実施の形態２を用いることで、高速に画像の幅を拡大することが可能になる。
ＭＰＥＧ−２は、例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＶＩＤＥＯ方式における映像符号化方式で用いられている。
このＤＶＤ−ＶＩＤＥＯ方式では、ＭＰＥＧ−２と比べて、さらに解像度の制限が設けられている。例えば、幅７０４画素×高さ４８０ラインなどに制限されている。
しかし、一般的なＪＰＥＧでは、幅と高さの比が４：３である。例えば、幅６４０画素×高さ４８０ラインなどで記録される。
この実施の形態２を用いることで、高速に画像の幅を拡大することが可能になる。
以下、図２の画像符号化方式変換装置の処理内容を具体的に説明する。
ＪＰＥＧ簡易復号部１は、画像信号がＪＰＥＧで符号化されているＪＰＥＧストリームを入力すると、上記実施の形態１と同様に、そのＪＰＥＧストリームの一部を復号して、そのＪＰＥＧストリームからヘッダ情報とＪＰＥＧ量子化テーブル及びＪＰＥＧ量子化ＤＣＴ係数を抽出する。
ＪＰＥＧ簡易復号部１は、画像信号がＪＰＥＧで符号化されているＪＰＥＧストリームを入力すると、上記実施の形態１と同様に、そのＪＰＥＧストリームの一部を復号して、そのＪＰＥＧストリームからヘッダ情報とＪＰＥＧ量子化テーブル及びＪＰＥＧ量子化ＤＣＴ係数を抽出する。
データ変換部２は、ＪＰＥＧ簡易復号部１からＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を受けると、上記実施の形態１と同様に、そのＪＰＥＧ量子化テーブルをＭＰＥＧ−２量子化テーブル・パラメータに変換し、そのＪＰＥＧ量子化ＤＣＴ係数をＭＰＥＧ−２量子化ＤＣＴ係数に変換する。
画像データ追加部４は、データ変換部２からＭＰＥＧ−２量子化テーブル・パラメータを受けると、そのＭＰＥＧ−２量子化テーブル・パラメータを用いて追加画像の画像データを量子化する。
また、画像データ追加部４は、量子化後の画像データをデータ変換部２により変換されたＭＰＥＧ−２量子化ＤＣＴ係数に加えて、追加ＭＰＥＧ−２量子化ＤＣＴ係数（ＭＰＥＧ−２量子化ＤＣＴ係数＋量子化後の画像データ）をＭＰＥＧ−２ストリーム作成部５に出力するとともに、追加画像の画像幅を示すヘッダ変更情報をＭＰＥＧ−２ストリーム作成部５に出力する。
また、画像データ追加部４は、量子化後の画像データをデータ変換部２により変換されたＭＰＥＧ−２量子化ＤＣＴ係数に加えて、追加ＭＰＥＧ−２量子化ＤＣＴ係数（ＭＰＥＧ−２量子化ＤＣＴ係数＋量子化後の画像データ）をＭＰＥＧ−２ストリーム作成部５に出力するとともに、追加画像の画像幅を示すヘッダ変更情報をＭＰＥＧ−２ストリーム作成部５に出力する。
以下、追加ＭＰＥＧ−２量子化ＤＣＴ係数の作成方法を説明する。
例えば、６４画素×４８０ラインの追加画像を６４０画素×４８０ラインの画像に追加して、７０４画素×４８０ラインの画像を作成する場合には、図３に示すように、６４０画素×４８０ラインの画像の右端に６４画素×４８０ラインの追加画像を追加する形態の他、図４に示すように、６４０画素×４８０ラインの画像の左端に６４画素×４８０ラインの追加画像を追加する形態や、図５に示すように、６４０画素×４８０ラインの画像の右端に３２画素×４８０ラインの追加画像を追加して、６４０画素×４８０ラインの画像の左端に３２画素×４８０ラインの追加画像を追加する形態などが考えられる。
いずれの形態でも、追加する画像の領域は８の倍数であることから、ブロック単位で考えることができる。
例えば、６４画素×４８０ラインの追加画像を６４０画素×４８０ラインの画像に追加して、７０４画素×４８０ラインの画像を作成する場合には、図３に示すように、６４０画素×４８０ラインの画像の右端に６４画素×４８０ラインの追加画像を追加する形態の他、図４に示すように、６４０画素×４８０ラインの画像の左端に６４画素×４８０ラインの追加画像を追加する形態や、図５に示すように、６４０画素×４８０ラインの画像の右端に３２画素×４８０ラインの追加画像を追加して、６４０画素×４８０ラインの画像の左端に３２画素×４８０ラインの追加画像を追加する形態などが考えられる。
いずれの形態でも、追加する画像の領域は８の倍数であることから、ブロック単位で考えることができる。
追加画像としては、例えば、単一色で塗りつぶされている画像、何らかの模様や文字が施されている画像など、いかなる画像の画像データであってもよく、ユーザにより入力された画像の画像データであってもよい。
ここでは、追加画像の画像データは、既にＤＣＴ係数に変換されているものとしているが、画像データ追加部４が追加画像の画像データをＤＣＴ係数に変換するようにしてもよい。
したがって、予め決められた画像の画像データを用いるか、変換開始前にユーザにより入力された画像の画像データを用いるものとする。
ここでは、追加画像の画像データは、既にＤＣＴ係数に変換されているものとしているが、画像データ追加部４が追加画像の画像データをＤＣＴ係数に変換するようにしてもよい。
したがって、予め決められた画像の画像データを用いるか、変換開始前にユーザにより入力された画像の画像データを用いるものとする。
画像データ追加部４は、下記の式（６）に示すように、データ変換部２から出力されたＭＰＥＧ−２量子化テーブル・パラメータを用いて、追加画像の画像データを量子化する。
ただし、ＡｄｄＤＣＴi,jは追加画像の画像データ、ＡｄｄＱｕａｎｔＤＣＴi,jは量子化された追加画像の画像データである。
画像データ追加部４は、上述したように、量子化後の追加画像の画像データをデータ変換部２により変換されたＭＰＥＧ−２量子化ＤＣＴ係数に加えて、追加ＭＰＥＧ−２量子化ＤＣＴ係数（ＭＰＥＧ−２量子化ＤＣＴ係数＋量子化後の画像データ）をＭＰＥＧ−２ストリーム作成部５に出力するとともに、追加画像の画像幅を示すヘッダ変更情報をＭＰＥＧ−２ストリーム作成部５に出力する。
なお、予め決められた追加画像の画像データをＤＣＴ変換して保持しておけば、量子化処理のみを行えばよく、高速に画像を追加することができる。
なお、予め決められた追加画像の画像データをＤＣＴ変換して保持しておけば、量子化処理のみを行えばよく、高速に画像を追加することができる。
ＭＰＥＧ−２ストリーム作成部５は、ＪＰＥＧ簡易復号部１からヘッダ情報を受け、データ変換部２からＭＰＥＧ−２量子化テーブル・パラメータと追加ＭＰＥＧ−２量子化ＤＣＴ係数とヘッダ変更情報を受けると、そのヘッダ情報に含まれている画像幅に関する情報をヘッダ変更情報にしたがって変更し、変更後のヘッダ情報とＭＰＥＧ−２量子化テーブル・パラメータと追加ＭＰＥＧ−２量子化ＤＣＴ係数からＭＰＥＧ−２ストリームを作成する。
以上で明らかなように、この実施の形態２によれば、データ変換部２により変換されたＭＰＥＧ−２量子化テーブル・パラメータを用いて追加画像の画像データを量子化し、量子化後の画像データをデータ変換部２により変換されたＭＰＥＧ−２量子化ＤＣＴ係数に加えて、追加ＭＰＥＧ−２量子化ＤＣＴ係数（ＭＰＥＧ−２量子化ＤＣＴ係数＋量子化後の画像データ）をＭＰＥＧ−２ストリーム作成部５に出力するとともに、追加画像の画像幅を示すヘッダ変更情報をＭＰＥＧ−２ストリーム作成部５に出力するように構成したので、上記実施の形態１と同様の効果を奏する他に、高速に画像サイズを変更することができる効果を奏する。これにより、ＤＶＤ−ＶＩＤＥＯを作成する場合などの自由度を高めることができる。
実施の形態３．
図６はこの発明の実施の形態３による画像符号化方式変換装置を示す構成図であり、図において、図２と同一符号は同一または相当部分を示すので説明を省略する。
追加ブロック画像データベース６は予め時刻情報に対応する追加画像の画像データ（追加画像の画像データは、ＭＰＥＧ−２のＭＢ（マクロブロック）単位の画像データであって、ＤＣＴ係数に変換されている）を記憶しているメモリである。
追加画像作成部７は時刻情報を入力すると、追加ブロック画像データベース６を参照して、その時刻情報に対応する追加画像の画像データを取得し、その追加画像の画像データを画像データ追加部４に出力する。
なお、追加ブロック画像データベース６及び追加画像作成部７から追加画像作成手段が構成されている。
図６はこの発明の実施の形態３による画像符号化方式変換装置を示す構成図であり、図において、図２と同一符号は同一または相当部分を示すので説明を省略する。
追加ブロック画像データベース６は予め時刻情報に対応する追加画像の画像データ（追加画像の画像データは、ＭＰＥＧ−２のＭＢ（マクロブロック）単位の画像データであって、ＤＣＴ係数に変換されている）を記憶しているメモリである。
追加画像作成部７は時刻情報を入力すると、追加ブロック画像データベース６を参照して、その時刻情報に対応する追加画像の画像データを取得し、その追加画像の画像データを画像データ追加部４に出力する。
なお、追加ブロック画像データベース６及び追加画像作成部７から追加画像作成手段が構成されている。
次に動作について説明する。
追加画像作成部７は、時刻情報を入力すると、追加ブロック画像データベース６を参照して、その時刻情報に対応する追加画像の画像データを取得し、その追加画像の画像データを画像データ追加部４に出力する。
この時間情報は、どこから得てもよく、例えば、クロックから現在時刻を入力するようにしてもよい。また、最初に変換されるＪＰＥＧ画像を０として、ＪＰＥＧの入力に合わせてインクリメントしてもよい。あるいは、電子的に記録されている入力ＪＰＥＧの作成日時を入力するようにしてもよい。
追加画像作成部７は、時刻情報を入力すると、追加ブロック画像データベース６を参照して、その時刻情報に対応する追加画像の画像データを取得し、その追加画像の画像データを画像データ追加部４に出力する。
この時間情報は、どこから得てもよく、例えば、クロックから現在時刻を入力するようにしてもよい。また、最初に変換されるＪＰＥＧ画像を０として、ＪＰＥＧの入力に合わせてインクリメントしてもよい。あるいは、電子的に記録されている入力ＪＰＥＧの作成日時を入力するようにしてもよい。
例えば、２００６年４月１日２２時００分１４秒の時間情報が得られた場合、追加ブロック画像データベース６からこの時間情報の表示に必要な追加画像の画像データとして、ＭＰＥＧ−２のＭＢ単位で描かれている「２」「０」「６」「４」「１」「年」「月」「日」「時」「分」の画像データのＤＣＴ係数を取得する。
ここで、図７（ａ）は「１」の文字を１６画素×３２ライン（縦方向の２つのＭＢで描いている例）で表しており、図７（ｂ）は「１」の文字を複数のＭＢからなるブロック単位で表している説明図である。
追加ブロック画像データベース６がＤＣＴ係数に変換されているＭＢ単位の画像データを記憶しているので、追加画像作成部７が追加画像の画像データをＤＣＴ変換することなく、追加画像の画像データを画像データ追加部４に出力することができる。
ここで、図７（ａ）は「１」の文字を１６画素×３２ライン（縦方向の２つのＭＢで描いている例）で表しており、図７（ｂ）は「１」の文字を複数のＭＢからなるブロック単位で表している説明図である。
追加ブロック画像データベース６がＤＣＴ係数に変換されているＭＢ単位の画像データを記憶しているので、追加画像作成部７が追加画像の画像データをＤＣＴ変換することなく、追加画像の画像データを画像データ追加部４に出力することができる。
画像データ追加部４は、追加画像作成部７から追加画像の画像データを受けると、上記実施の形態２と同様に、データ変換部２により変換されたＭＰＥＧ−２量子化テーブル・パラメータを用いて追加画像の画像データを量子化し、量子化後の画像データをデータ変換部２により変換されたＭＰＥＧ−２量子化ＤＣＴ係数に加えて、追加ＭＰＥＧ−２量子化ＤＣＴ係数（ＭＰＥＧ−２量子化ＤＣＴ係数＋量子化後の画像データ）をＭＰＥＧ−２ストリーム作成部５に出力するとともに、追加画像の画像幅を示すヘッダ変更情報をＭＰＥＧ−２ストリーム作成部５に出力する。
この実施の形態３では、図７（ａ）に示すように、縦方向の２つのＭＢで文字が描いている例を示したが、３つ以上のＭＢで文字が描いていてもよい。また、図７（ｂ）に示すように、ＭＢ単位ではなく、ブロック単位で文字が描いていてもよい。
また、数字以外の文字や模様など、文字以外が描かれていてもよい。
ここで、図８は時間情報が表示されている追加画像の一例を示す説明図であり、図９は右端に時間情報が追加された画像の一例を示す説明図である。
また、数字以外の文字や模様など、文字以外が描かれていてもよい。
ここで、図８は時間情報が表示されている追加画像の一例を示す説明図であり、図９は右端に時間情報が追加された画像の一例を示す説明図である。
以上で明らかなように、この実施の形態３によれば、追加ブロック画像データベース６を参照して、時刻情報に対応する追加画像の画像データを取得し、その追加画像の画像データを画像データ追加部４に出力するように構成したので、時刻情報に対応する画像を追加することができる効果を奏する。
これにより、ＤＶＤ−ＶＩＤＥＯを作成する場合などの自由度を高めることができる他、作成したＤＶＤ−ＶＩＤＥＯを視聴しながら、ユーザが時間情報を確認したり、周期的に置き換わる模様などを楽しんだりすることができる。
これにより、ＤＶＤ−ＶＩＤＥＯを作成する場合などの自由度を高めることができる他、作成したＤＶＤ−ＶＩＤＥＯを視聴しながら、ユーザが時間情報を確認したり、周期的に置き換わる模様などを楽しんだりすることができる。
実施の形態４．
図１０はこの発明の実施の形態４による画像符号化方式変換装置を示す構成図であり、図において、図２と同一符号は同一または相当部分を示すので説明を省略する。
追加ブロック画像データベース８は予めヘッダ情報（ヘッダ情報に含まれている情報であって、例えば、撮影に使用されたカメラの型番、メーカー名、時間情報などの情報）に対応する追加画像の画像データ（追加画像の画像データは、ＭＰＥＧ−２のＭＢ単位の画像データであって、ＤＣＴ係数に変換されている）を記憶しているメモリである。
追加画像作成部９は追加ブロック画像データベース８を参照して、簡易復号化部１により抽出されたヘッダ情報に対応する追加画像の画像データを取得し、その追加画像の画像データを画像データ追加部４に出力する。
なお、追加ブロック画像データベース８及び追加画像作成部９から追加画像作成手段が構成されている。
図１０はこの発明の実施の形態４による画像符号化方式変換装置を示す構成図であり、図において、図２と同一符号は同一または相当部分を示すので説明を省略する。
追加ブロック画像データベース８は予めヘッダ情報（ヘッダ情報に含まれている情報であって、例えば、撮影に使用されたカメラの型番、メーカー名、時間情報などの情報）に対応する追加画像の画像データ（追加画像の画像データは、ＭＰＥＧ−２のＭＢ単位の画像データであって、ＤＣＴ係数に変換されている）を記憶しているメモリである。
追加画像作成部９は追加ブロック画像データベース８を参照して、簡易復号化部１により抽出されたヘッダ情報に対応する追加画像の画像データを取得し、その追加画像の画像データを画像データ追加部４に出力する。
なお、追加ブロック画像データベース８及び追加画像作成部９から追加画像作成手段が構成されている。
上記実施の形態３では、追加画像作成部７が追加ブロック画像データベース６を参照して、時刻情報に対応する追加画像の画像データを取得し、その追加画像の画像データを画像データ追加部４に出力するものについて示したが、追加画像作成部９がヘッダ情報に対応する追加画像の画像データを取得し、その追加画像の画像データを画像データ追加部４に出力するようにしてもよい。
即ち、簡易復号化部１により抽出されるヘッダ情報には、例えば、撮影に使用されたカメラの型番、メーカー名、時間情報など、様々な情報が含まれているので、予めヘッダ情報に対応する追加画像の画像データを追加ブロック画像データベース８に記録する。
追加画像作成部９は、簡易復号化部１からヘッダ情報を受けると、追加ブロック画像データベース８を参照して、そのヘッダ情報に対応する追加画像の画像データを取得し、その追加画像の画像データを画像データ追加部４に出力する。
これにより、ＤＶＤ−ＶＩＤＥＯを作成する場合などの自由度を高めることができる他、作成したＤＶＤ−ＶＩＤＥＯを視聴しながら、ユーザがヘッダ情報を確認したり、周期的に置き換わる模様などを楽しんだりすることができる効果を奏する。
追加画像作成部９は、簡易復号化部１からヘッダ情報を受けると、追加ブロック画像データベース８を参照して、そのヘッダ情報に対応する追加画像の画像データを取得し、その追加画像の画像データを画像データ追加部４に出力する。
これにより、ＤＶＤ−ＶＩＤＥＯを作成する場合などの自由度を高めることができる他、作成したＤＶＤ−ＶＩＤＥＯを視聴しながら、ユーザがヘッダ情報を確認したり、周期的に置き換わる模様などを楽しんだりすることができる効果を奏する。
上記実施の形態３，４では、画像データ追加部４が追加画像を追加領域に追加するものについて示したが（図９を参照）、図１８に示すように、画像データ追加部４が追加画像をＪＰＥＧ画像変換領域に追加するようにしてもよい。
図１８では、ＪＰＥＧ画像変換領域の一部を黒で塗りつぶして、白抜きの時間情報を追加している例を示している。
なお、追加画像をＪＰＥＧ画像変換領域に追加する際、例えば、色差成分については特に処理せずに、輝度成分のみの追加画像を追加するのであれば、処理の高速化を図ることができる。
輝度成分のみの追加画像をＪＰＥＧ画像変換領域に追加すると、ＪＰＥＧ画像の色差成分が残り、ＪＰＥＧ画像が透けて見えるような画像になる。
図１８では、ＪＰＥＧ画像変換領域の一部を黒で塗りつぶして、白抜きの時間情報を追加している例を示している。
なお、追加画像をＪＰＥＧ画像変換領域に追加する際、例えば、色差成分については特に処理せずに、輝度成分のみの追加画像を追加するのであれば、処理の高速化を図ることができる。
輝度成分のみの追加画像をＪＰＥＧ画像変換領域に追加すると、ＪＰＥＧ画像の色差成分が残り、ＪＰＥＧ画像が透けて見えるような画像になる。
実施の形態５．
図１１はこの発明の実施の形態５による画像符号化方式変換装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
ＤＣＴ係数削減部１０は簡易復号化部１により抽出されたＪＰＥＧ量子化ＤＣＴ係数のうち、高次のＪＰＥＧ量子化ＤＣＴ係数を“０”にして、高次のＪＰＥＧ量子化ＤＣＴ係数を削除する処理を実施する。なお、ＤＣＴ係数削減部１０は高周波成分削除手段を構成している。
図１１では、図１の画像符号化方式変換装置にＤＣＴ係数削減部１０を適用している例を示しているが、図２、図６及び図１０の画像符号化方式変換装置にＤＣＴ係数削減部１０を適用してもよい。
図１１はこの発明の実施の形態５による画像符号化方式変換装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
ＤＣＴ係数削減部１０は簡易復号化部１により抽出されたＪＰＥＧ量子化ＤＣＴ係数のうち、高次のＪＰＥＧ量子化ＤＣＴ係数を“０”にして、高次のＪＰＥＧ量子化ＤＣＴ係数を削除する処理を実施する。なお、ＤＣＴ係数削減部１０は高周波成分削除手段を構成している。
図１１では、図１の画像符号化方式変換装置にＤＣＴ係数削減部１０を適用している例を示しているが、図２、図６及び図１０の画像符号化方式変換装置にＤＣＴ係数削減部１０を適用してもよい。
次に動作について説明する。
一般に、画像においては、高周波成分を削減しても劣化が目立たない場合が多いので、この実施の形態５では、高次のＪＰＥＧ量子化ＤＣＴ係数を“０”にして、高次のＪＰＥＧ量子化ＤＣＴ係数を削除することにより、符号量を削減して圧縮率を高めるようにしている。
一般に、画像においては、高周波成分を削減しても劣化が目立たない場合が多いので、この実施の形態５では、高次のＪＰＥＧ量子化ＤＣＴ係数を“０”にして、高次のＪＰＥＧ量子化ＤＣＴ係数を削除することにより、符号量を削減して圧縮率を高めるようにしている。
即ち、ＤＣＴ係数削減部１０は、簡易復号化部１がＪＰＥＧ量子化ＤＣＴ係数を抽出すると、そのＪＰＥＧ量子化ＤＣＴ係数のうち、高次のＪＰＥＧ量子化ＤＣＴ係数を“０”にして、高次のＪＰＥＧ量子化ＤＣＴ係数を削除する。
具体的には、“０”でないＪＰＥＧ量子化ＤＣＴ係数の個数を低次のＪＰＥＧ量子化ＤＣＴ係数から順番に計数し、“０”でないＪＰＥＧ量子化ＤＣＴ係数の個数が予め指定された個数を超えた段階で、それ以降の高次のＪＰＥＧ量子化ＤＣＴ係数を“０”にする方法が考えられる。
また、予め指定された次数より高次のＪＰＥＧ量子化ＤＣＴ係数を“０”にする方法や、予め指定された個数以上連続して“０”のＪＰＥＧ量子化ＤＣＴ係数が続いた場合に、それ以降の高次のＪＰＥＧ量子化ＤＣＴ係数を“０”にする方法が考えられる。
なお、２次元のＪＰＥＧ量子化ＤＣＴ係数を低次から順番に調べる方法として、ＪＰＥＧ符号化に用いられるランレングス符号化のデータをそのまま用いる方法を使用することができる。
ＤＣＴ係数削減部１０は、削除処理後のＪＰＥＧ量子化ＤＣＴ係数（高次のＪＰＥＧ量子化ＤＣＴ係数が削除されているＪＰＥＧ量子化ＤＣＴ係数）をデータ変換部２に出力する。
具体的には、“０”でないＪＰＥＧ量子化ＤＣＴ係数の個数を低次のＪＰＥＧ量子化ＤＣＴ係数から順番に計数し、“０”でないＪＰＥＧ量子化ＤＣＴ係数の個数が予め指定された個数を超えた段階で、それ以降の高次のＪＰＥＧ量子化ＤＣＴ係数を“０”にする方法が考えられる。
また、予め指定された次数より高次のＪＰＥＧ量子化ＤＣＴ係数を“０”にする方法や、予め指定された個数以上連続して“０”のＪＰＥＧ量子化ＤＣＴ係数が続いた場合に、それ以降の高次のＪＰＥＧ量子化ＤＣＴ係数を“０”にする方法が考えられる。
なお、２次元のＪＰＥＧ量子化ＤＣＴ係数を低次から順番に調べる方法として、ＪＰＥＧ符号化に用いられるランレングス符号化のデータをそのまま用いる方法を使用することができる。
ＤＣＴ係数削減部１０は、削除処理後のＪＰＥＧ量子化ＤＣＴ係数（高次のＪＰＥＧ量子化ＤＣＴ係数が削除されているＪＰＥＧ量子化ＤＣＴ係数）をデータ変換部２に出力する。
以上で明らかなように、この実施の形態５によれば、簡易復号化部１により抽出されたＪＰＥＧ量子化ＤＣＴ係数のうち、高次のＪＰＥＧ量子化ＤＣＴ係数を“０”にして、高次のＪＰＥＧ量子化ＤＣＴ係数を削除するように構成したので、符号量を削減して圧縮率を高めることができる効果を奏する。
実施の形態６．
図１２はこの発明の実施の形態６による画像符号化方式変換装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
スキップ判定部１１は簡易復号化部１により今回抽出されたＪＰＥＧ量子化テーブルと参照データバッファ１２に格納されているＪＰＥＧ量子化テーブル（簡易復号化部１により前回抽出されたＪＰＥＧ量子化テーブル）を比較するとともに、簡易復号化部１により今回抽出されたＪＰＥＧ量子化ＤＣＴ係数と参照データバッファ１２に格納されているＪＰＥＧ量子化ＤＣＴ係数（簡易復号化部１により前回抽出されたＪＰＥＧ量子化ＤＣＴ係数）を比較し、それらの比較結果に基づいてフレーム内符号化を実施するか否かを判定する処理を実施する。ただし、スキップ判定部１１はＭＰＥＧ−２ストリーム作成部１３からフレーム内符号化を実施する必要がある旨を示すフレーム内符号化判定用フラグを受けると、ＪＰＥＧ量子化テーブルやＪＰＥＧ量子化ＤＣＴ係数の比較処理を実施せずに、フレーム内符号化を実施する旨を示す判定結果を出力する。
参照データバッファ１２はスキップ判定部１１における次回の比較処理のために、簡易復号化部１により今回抽出されたＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を保持するメモリである。
なお、スキップ判定部１１及び参照データバッファ１２から符号化判定手段が構成されている。
図１２はこの発明の実施の形態６による画像符号化方式変換装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
スキップ判定部１１は簡易復号化部１により今回抽出されたＪＰＥＧ量子化テーブルと参照データバッファ１２に格納されているＪＰＥＧ量子化テーブル（簡易復号化部１により前回抽出されたＪＰＥＧ量子化テーブル）を比較するとともに、簡易復号化部１により今回抽出されたＪＰＥＧ量子化ＤＣＴ係数と参照データバッファ１２に格納されているＪＰＥＧ量子化ＤＣＴ係数（簡易復号化部１により前回抽出されたＪＰＥＧ量子化ＤＣＴ係数）を比較し、それらの比較結果に基づいてフレーム内符号化を実施するか否かを判定する処理を実施する。ただし、スキップ判定部１１はＭＰＥＧ−２ストリーム作成部１３からフレーム内符号化を実施する必要がある旨を示すフレーム内符号化判定用フラグを受けると、ＪＰＥＧ量子化テーブルやＪＰＥＧ量子化ＤＣＴ係数の比較処理を実施せずに、フレーム内符号化を実施する旨を示す判定結果を出力する。
参照データバッファ１２はスキップ判定部１１における次回の比較処理のために、簡易復号化部１により今回抽出されたＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を保持するメモリである。
なお、スキップ判定部１１及び参照データバッファ１２から符号化判定手段が構成されている。
ＭＰＥＧ−２ストリーム作成部１３は符号化対象のフレームやＭＢがＭＰＥＧ−２におけるＧＯＰの先頭やスライスの先頭に当る場合、フレーム内符号化判定用フラグを“１”に設定し、それ以外の場合、フレーム内符号化判定用フラグを“０”に設定する一方、スキップ判定部１１からフレーム内符号化を実施する旨を示す判定結果を受ければ、フレーム内符号化を実施してＭＰＥＧ−２ストリームを作成し、スキップ判定部１１からフレーム内符号化を実施しない旨を示す判定結果を受ければ、フレーム内符号化を実施せずに、前回作成したＭＰＥＧ−２ストリームを出力する処理を実施する。なお、ＭＰＥＧ−２ストリーム作成部１３は符号化ストリーム作成手段を構成している。
図１２では、図１の画像符号化方式変換装置にスキップ判定部１１及びＭＰＥＧ−２ストリーム作成部１３等を適用している例を示しているが、図２、図６、図１０及び図１１の画像符号化方式変換装置にスキップ判定部１１及びＭＰＥＧ−２ストリーム作成部１３等を適用してもよい。
図１３はこの発明の実施の形態６による画像符号化方式変換装置のスキップ判定部１１の処理内容を示すフローチャートである。
図１３はこの発明の実施の形態６による画像符号化方式変換装置のスキップ判定部１１の処理内容を示すフローチャートである。
次に動作について説明する。
ＪＰＥＧ簡易復号部１は、画像信号がＪＰＥＧで符号化されているＪＰＥＧストリームを入力すると、上記実施の形態１と同様に、そのＪＰＥＧストリームの一部を復号して、そのＪＰＥＧストリームからヘッダ情報とＪＰＥＧ量子化テーブル及びＪＰＥＧ量子化ＤＣＴ係数を抽出する。
ＪＰＥＧ簡易復号部１は、画像信号がＪＰＥＧで符号化されているＪＰＥＧストリームを入力すると、上記実施の形態１と同様に、そのＪＰＥＧストリームの一部を復号して、そのＪＰＥＧストリームからヘッダ情報とＪＰＥＧ量子化テーブル及びＪＰＥＧ量子化ＤＣＴ係数を抽出する。
ＭＰＥＧ−２ストリーム作成部１３は、ＪＰＥＧ簡易復号部１がＪＰＥＧストリームからヘッダ情報を抽出すると、符号化対象のフレームやＭＢがＭＰＥＧ−２におけるＧＯＰの先頭やスライスの先頭に当る場合、“１”のフレーム内符号化判定用フラグをスキップ判定部１１に出力し、符号化対象のフレームやＭＢがＭＰＥＧ−２におけるＧＯＰの先頭やスライスの先頭に当らない場合、“０”のフレーム内符号化判定用フラグをスキップ判定部１１に出力する。
一般に、時間方向の圧縮を行う動画像符号化方式においては、誤差の伝播を防ぐため、強制的にフレーム内符号化を行うように定められている。ＭＰＥＧ−２においては、ＧＯＰの先頭やスライスの先頭がこれに当る。
一般に、時間方向の圧縮を行う動画像符号化方式においては、誤差の伝播を防ぐため、強制的にフレーム内符号化を行うように定められている。ＭＰＥＧ−２においては、ＧＯＰの先頭やスライスの先頭がこれに当る。
スキップ判定部１１は、簡易復号化部１が現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を抽出すると、簡易復号化部１から現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を入力し（ステップＳＴ１）、ＭＰＥＧ−２ストリーム作成部１３からフレーム内符号化判定用フラグを入力する（ステップＳＴ２）。
スキップ判定部１１は、ＭＰＥＧ−２ストリーム作成部１３から入力したフレーム内符号化判定用フラグが“１”であれば（ステップＳＴ３）、フレーム内符号化を実施する必要があると判断し、フレーム内符号化を実施する旨を示す判定結果をＭＰＥＧ−２ストリーム作成部１３に出力して、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数をデータ変換部２に出力する（ステップＳＴ４）。
なお、スキップ判定部１１は、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を参照データバッファ１２に出力して、参照データバッファ１２が格納している参照データ（１つ前のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数）を現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数に更新する（ステップＳＴ９）。
スキップ判定部１１は、ＭＰＥＧ−２ストリーム作成部１３から入力したフレーム内符号化判定用フラグが“１”であれば（ステップＳＴ３）、フレーム内符号化を実施する必要があると判断し、フレーム内符号化を実施する旨を示す判定結果をＭＰＥＧ−２ストリーム作成部１３に出力して、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数をデータ変換部２に出力する（ステップＳＴ４）。
なお、スキップ判定部１１は、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を参照データバッファ１２に出力して、参照データバッファ１２が格納している参照データ（１つ前のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数）を現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数に更新する（ステップＳＴ９）。
一方、ＭＰＥＧ−２ストリーム作成部１３から入力したフレーム内符号化判定用フラグが“０”であれば（ステップＳＴ３）、参照データバッファ１２に格納されている参照データ（１つ前のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数）を入力する（ステップＳＴ５）。
そして、スキップ判定部１１は、現在のフレームのＪＰＥＧ量子化テーブルと、１つ前のフレームのＪＰＥＧ量子化テーブルとを比較するとともに、現在のフレームのＪＰＥＧ量子化ＤＣＴ係数と１つ前のフレームのＪＰＥＧ量子化ＤＣＴ係数とを比較する（ステップＳＴ６）。
そして、スキップ判定部１１は、現在のフレームのＪＰＥＧ量子化テーブルと、１つ前のフレームのＪＰＥＧ量子化テーブルとを比較するとともに、現在のフレームのＪＰＥＧ量子化ＤＣＴ係数と１つ前のフレームのＪＰＥＧ量子化ＤＣＴ係数とを比較する（ステップＳＴ６）。
以下、スキップ判定部１１における比較処理を具体的に説明する。
スキップ判定部１１は、現在のフレームのＪＰＥＧ量子化ＤＣＴ係数と１つ前のフレームのＪＰＥＧ量子化ＤＣＴ係数とを比較する場合、例えば、下記の式（７）に示すように、現在のフレームのＪＰＥＧ量子化ＤＣＴ係数を現在のフレームのＪＰＥＧ量子化テーブルで除算するとともに、１つ前のフレームのＪＰＥＧ量子化ＤＣＴ係数を１つ前のフレームのＪＰＥＧ量子化テーブルで除算し、双方の除算結果の差分の和が閾値より小さいか否かを判別する。
スキップ判定部１１は、現在のフレームのＪＰＥＧ量子化ＤＣＴ係数と１つ前のフレームのＪＰＥＧ量子化ＤＣＴ係数とを比較する場合、例えば、下記の式（７）に示すように、現在のフレームのＪＰＥＧ量子化ＤＣＴ係数を現在のフレームのＪＰＥＧ量子化テーブルで除算するとともに、１つ前のフレームのＪＰＥＧ量子化ＤＣＴ係数を１つ前のフレームのＪＰＥＧ量子化テーブルで除算し、双方の除算結果の差分の和が閾値より小さいか否かを判別する。
スキップ判定部１１は、上記の式（７）が成立せず、式（７）の左辺が閾値Ｔｈskip1以上であれば（ステップＳＴ７）、現在のフレームのＪＰＥＧ量子化ＤＣＴ係数と１つ前のフレームのＪＰＥＧ量子化ＤＣＴ係数との差分が大きく、フレーム内符号化を実施する必要があると判断し、フレーム内符号化を実施する旨を示す判定結果をＭＰＥＧ−２ストリーム作成部１３に出力して、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数をデータ変換部２に出力する（ステップＳＴ４）。
なお、スキップ判定部１１は、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を参照データバッファ１２に出力して、参照データバッファ１２が格納している参照データ（１つ前のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数）を現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数に更新する（ステップＳＴ９）。
なお、スキップ判定部１１は、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を参照データバッファ１２に出力して、参照データバッファ１２が格納している参照データ（１つ前のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数）を現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数に更新する（ステップＳＴ９）。
また、スキップ判定部１１は、現在のフレームのＪＰＥＧ量子化テーブルと、１つ前のフレームのＪＰＥＧ量子化テーブルとを比較し、双方のＪＰＥＧ量子化テーブルが同一でなく、異なっている場合には差分が大きいと判断し（ステップＳＴ７）、フレーム内符号化を実施する旨を示す判定結果をＭＰＥＧ−２ストリーム作成部１３に出力して、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数をデータ変換部２に出力する（ステップＳＴ４）。
なお、スキップ判定部１１は、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を参照データバッファ１２に出力して、参照データバッファ１２が格納している参照データ（１つ前のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数）を現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数に更新する（ステップＳＴ９）。
なお、スキップ判定部１１は、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を参照データバッファ１２に出力して、参照データバッファ１２が格納している参照データ（１つ前のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数）を現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数に更新する（ステップＳＴ９）。
スキップ判定部１１は、現在のフレームのＪＰＥＧ量子化テーブルと、１つ前のフレームのＪＰＥＧ量子化テーブルが同一である場合、例えば、下記の式（８）に示すように、現在のフレームのＪＰＥＧ量子化テーブルと、１つ前のフレームのＪＰＥＧ量子化テーブルとの差分の和が閾値より小さいか否かを判別する。
ただし、Ｔｈskip2はスキップ判定用の閾値である。
スキップ判定部１１は、上記の式（８）が成立せず、式（８）の左辺が閾値Ｔｈskip2以上であれば（ステップＳＴ７）、現在のフレームのＪＰＥＧ量子化ＤＣＴ係数と１つ前のフレームのＪＰＥＧ量子化ＤＣＴ係数との差分が大きく、フレーム内符号化を実施する必要があると判断し、フレーム内符号化を実施する旨を示す判定結果をＭＰＥＧ−２ストリーム作成部１３に出力して、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数をデータ変換部２に出力する（ステップＳＴ４）。
なお、スキップ判定部１１は、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を参照データバッファ１２に出力して、参照データバッファ１２が格納している参照データ（１つ前のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数）を現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数に更新する（ステップＳＴ９）。
なお、スキップ判定部１１は、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を参照データバッファ１２に出力して、参照データバッファ１２が格納している参照データ（１つ前のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数）を現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数に更新する（ステップＳＴ９）。
スキップ判定部１１は、上記の式（７）が成立し、かつ、式（８）が成立する場合、フレーム内符号化を実施する必要がないと判断し、フレーム内符号化を実施しない旨を示す判定結果をＭＰＥＧ−２ストリーム作成部１３に出力する（ステップＳＴ８）。この場合、データ変換部２では、符号化方式の変換を行う必要がないので、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数をデータ変換部２には出力しない。
なお、スキップ判定部１１は、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を参照データバッファ１２に出力して、参照データバッファ１２が格納している参照データ（１つ前のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数）を現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数に更新する（ステップＳＴ９）。
なお、スキップ判定部１１は、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を参照データバッファ１２に出力して、参照データバッファ１２が格納している参照データ（１つ前のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数）を現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数に更新する（ステップＳＴ９）。
データ変換部２は、スキップ判定部１１から現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を受けると、上記実施の形態１と同様にして、そのＪＰＥＧ量子化テーブルをＭＰＥＧ−２量子化テーブル・パラメータに変換し、そのＪＰＥＧ量子化ＤＣＴ係数をＭＰＥＧ−２量子化ＤＣＴ係数に変換する。
ただし、この実施の形態６では、非イントラＭＢを扱う場合もあり、非イントラＭＢの場合には、上記の式（２）の代わりに下記の式（９）を使用し、式（４）の代わりに下記の式（１０）を使用して変換を行う。
ただし、この実施の形態６では、非イントラＭＢを扱う場合もあり、非イントラＭＢの場合には、上記の式（２）の代わりに下記の式（９）を使用し、式（４）の代わりに下記の式（１０）を使用して変換を行う。
ＭＰＥＧ−２ストリーム作成部１３は、スキップ判定部１１からフレーム内符号化を実施する旨を示す判定結果を受けると、上記実施の形態１と同様に、フレーム内符号化を実施して、ＪＰＥＧ簡易復号部１から出力されたヘッダ情報と、データ変換部２から出力されたＭＰＥＧ−２量子化テーブル・パラメータ及びＭＰＥＧ−２量子化ＤＣＴ係数とからＭＰＥＧ−２ストリームを作成する。
一方、スキップ判定部１１からフレーム内符号化を実施しない旨を示す判定結果を受けると、フレーム内符号化を実施せずに、前回作成したＭＰＥＧ−２ストリームを出力する。
一方、スキップ判定部１１からフレーム内符号化を実施しない旨を示す判定結果を受けると、フレーム内符号化を実施せずに、前回作成したＭＰＥＧ−２ストリームを出力する。
以上で明らかなように、この実施の形態６によれば、スキップ判定部１１がフレーム内符号化を実施するか否かを判定し、ＭＰＥＧ−２ストリーム作成部１３がスキップ判定部１１からフレーム内符号化を実施する旨を示す判定結果を受ければ、フレーム内符号化を実施してＭＰＥＧ−２ストリームを作成し、スキップ判定部１１からフレーム内符号化を実施しない旨を示す判定結果を受ければ、フレーム内符号化を実施せずに、前回作成したＭＰＥＧ−２ストリームを出力するように構成したので、符号量を大幅に削減することができる効果を奏する。また、スキップＭＢ判定をＤＣＴ係数領域で行うことで、演算量を低く保つことが可能である。
なお、この実施の形態６では、ＪＰＥＧからＭＰＥＧ−２に変換するものについて示したが、同様の方法で、ＭＰＥＧ−２のＩ−ｐｉｃｔｕｒｅからＪＰＥＧに変換することも可能である。また、量子化もしくはＤＣＴを用いた他の符号化方式間の変換にも適用可能である。
また、この実施の形態６では、変換後の形式がＭＰＥＧ−２であるため、スキップの判定を行う単位をＭＢとしているが、変換する形式によって判定の単位を変えてもよい。
また、上記実施の形態２〜４における画像の追加と組み合わせてもよく、追加する領域の一部が常に同じ画像である場合、該当するブロックを常にスキップと判定するようにしてもよい。
また、この実施の形態６では、変換後の形式がＭＰＥＧ−２であるため、スキップの判定を行う単位をＭＢとしているが、変換する形式によって判定の単位を変えてもよい。
また、上記実施の形態２〜４における画像の追加と組み合わせてもよく、追加する領域の一部が常に同じ画像である場合、該当するブロックを常にスキップと判定するようにしてもよい。
実施の形態７．
図１４はこの発明の実施の形態７による画像符号化方式変換装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
ＭＢタイプ判定部１４は簡易復号化部１により抽出された現在のフレームのＪＰＥＧ量子化テーブルと参照データバッファ１５に格納されている最後に符号化の対象にされたフレームのＪＰＥＧ量子化テーブルを比較するとともに、簡易復号化部１により抽出された現在のフレームのＪＰＥＧ量子化ＤＣＴ係数と参照データバッファ１５に格納されている最後に符号化の対象にされたフレームのＪＰＥＧ量子化ＤＣＴ係数を比較し、それらの比較結果に基づいてフレーム内符号化を実施するか、フレーム間符号化を実施するか、符号化をスキップするかを判定する処理を実施する。ただし、ＭＢタイプ判定部１４はＭＰＥＧ−２ストリーム作成部１７からフレーム内符号化を実施する必要がある旨を示すフレーム内符号化判定用フラグを受けると、ＪＰＥＧ量子化テーブルやＪＰＥＧ量子化ＤＣＴ係数の比較処理を実施せずに、フレーム内符号化を実施する旨を示す判定結果を出力する。
参照データバッファ１５はＭＢタイプ判定部１４における次回の比較処理のために、ＭＢタイプ判定部１４により最後に符号化の対象にされたフレーム（フレーム内符号化又はフレーム間符号化の実施対象にされたフレーム）のＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を保持するメモリである。
なお、ＭＢタイプ判定部１４及び参照データバッファ１５から符号化判定手段が構成されている。
図１４はこの発明の実施の形態７による画像符号化方式変換装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
ＭＢタイプ判定部１４は簡易復号化部１により抽出された現在のフレームのＪＰＥＧ量子化テーブルと参照データバッファ１５に格納されている最後に符号化の対象にされたフレームのＪＰＥＧ量子化テーブルを比較するとともに、簡易復号化部１により抽出された現在のフレームのＪＰＥＧ量子化ＤＣＴ係数と参照データバッファ１５に格納されている最後に符号化の対象にされたフレームのＪＰＥＧ量子化ＤＣＴ係数を比較し、それらの比較結果に基づいてフレーム内符号化を実施するか、フレーム間符号化を実施するか、符号化をスキップするかを判定する処理を実施する。ただし、ＭＢタイプ判定部１４はＭＰＥＧ−２ストリーム作成部１７からフレーム内符号化を実施する必要がある旨を示すフレーム内符号化判定用フラグを受けると、ＪＰＥＧ量子化テーブルやＪＰＥＧ量子化ＤＣＴ係数の比較処理を実施せずに、フレーム内符号化を実施する旨を示す判定結果を出力する。
参照データバッファ１５はＭＢタイプ判定部１４における次回の比較処理のために、ＭＢタイプ判定部１４により最後に符号化の対象にされたフレーム（フレーム内符号化又はフレーム間符号化の実施対象にされたフレーム）のＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を保持するメモリである。
なお、ＭＢタイプ判定部１４及び参照データバッファ１５から符号化判定手段が構成されている。
データ変換部１６はＭＢタイプ判定部１４の判定結果に応じてＪＰＥＧ量子化ＤＣＴ係数又は差分ＪＰＥＧ量子化ＤＣＴ係数をＭＰＥＧ−２量子化ＤＣＴ係数に変換するとともに、ＪＰＥＧ量子化テーブルをＭＰＥＧ−２量子化テーブル・パラメータに変換する処理を実施する。なお、データ変換部１６はデータ変換手段を構成している。
ＭＰＥＧ−２ストリーム作成部１７は符号化対象のフレームやＭＢがＭＰＥＧ−２におけるＧＯＰの先頭やスライスの先頭に当る場合、フレーム内符号化判定用フラグを“１”に設定し、それ以外の場合、フレーム内符号化判定用フラグを“０”に設定する一方、ＭＢタイプ判定部１４からフレーム内符号化を実施する旨を示す判定結果を受ければ、フレーム内符号化を実施してＭＰＥＧ−２ストリームを作成し、ＭＢタイプ判定部１４からフレーム間符号化を実施する旨を示す判定結果を受ければ、フレーム間符号化を実施してＭＰＥＧ−２ストリームを作成し、ＭＢタイプ判定部１４から符号化をスキップする旨を示す判定結果を受ければ、フレーム内符号化やフレーム間符号化を実施せずに、前回作成したＭＰＥＧ−２ストリームを出力する処理を実施する。なお、ＭＰＥＧ−２ストリーム作成部１７は符号化ストリーム作成手段を構成している。
ＭＰＥＧ−２ストリーム作成部１７は符号化対象のフレームやＭＢがＭＰＥＧ−２におけるＧＯＰの先頭やスライスの先頭に当る場合、フレーム内符号化判定用フラグを“１”に設定し、それ以外の場合、フレーム内符号化判定用フラグを“０”に設定する一方、ＭＢタイプ判定部１４からフレーム内符号化を実施する旨を示す判定結果を受ければ、フレーム内符号化を実施してＭＰＥＧ−２ストリームを作成し、ＭＢタイプ判定部１４からフレーム間符号化を実施する旨を示す判定結果を受ければ、フレーム間符号化を実施してＭＰＥＧ−２ストリームを作成し、ＭＢタイプ判定部１４から符号化をスキップする旨を示す判定結果を受ければ、フレーム内符号化やフレーム間符号化を実施せずに、前回作成したＭＰＥＧ−２ストリームを出力する処理を実施する。なお、ＭＰＥＧ−２ストリーム作成部１７は符号化ストリーム作成手段を構成している。
図１４では、図１の画像符号化方式変換装置にＭＢタイプ判定部１４やＭＰＥＧ−２ストリーム作成部１７等を適用している例を示しているが、図２、図６、図１０及び図１１の画像符号化方式変換装置にＭＢタイプ判定部１４やＭＰＥＧ−２ストリーム作成部１７等を適用してもよい。
図１５はこの発明の実施の形態７による画像符号化方式変換装置のＭＢタイプ判定部１４の処理内容を示すフローチャートである。
図１５はこの発明の実施の形態７による画像符号化方式変換装置のＭＢタイプ判定部１４の処理内容を示すフローチャートである。
次に動作について説明する。
ＪＰＥＧ簡易復号部１は、画像信号がＪＰＥＧで符号化されているＪＰＥＧストリームを入力すると、上記実施の形態１と同様に、そのＪＰＥＧストリームの一部を復号して、そのＪＰＥＧストリームからヘッダ情報とＪＰＥＧ量子化テーブル及びＪＰＥＧ量子化ＤＣＴ係数を抽出する。
ＪＰＥＧ簡易復号部１は、画像信号がＪＰＥＧで符号化されているＪＰＥＧストリームを入力すると、上記実施の形態１と同様に、そのＪＰＥＧストリームの一部を復号して、そのＪＰＥＧストリームからヘッダ情報とＪＰＥＧ量子化テーブル及びＪＰＥＧ量子化ＤＣＴ係数を抽出する。
ＭＰＥＧ−２ストリーム作成部１７は、ＪＰＥＧ簡易復号部１がＪＰＥＧストリームからヘッダ情報を抽出すると、符号化対象のフレームやＭＢがＭＰＥＧ−２におけるＧＯＰの先頭やスライスの先頭に当る場合、“１”のフレーム内符号化判定用フラグをスキップ判定部１１に出力し、符号化対象のフレームやＭＢがＭＰＥＧ−２におけるＧＯＰの先頭やスライスの先頭に当らない場合、“０”のフレーム内符号化判定用フラグをスキップ判定部１１に出力する。
一般に、時間方向の圧縮を行う動画像符号化方式においては、誤差の伝播を防ぐため、強制的にフレーム内符号化を行うように定められている。ＭＰＥＧ−２においては、ＧＯＰの先頭やスライスの先頭がこれに当る。
一般に、時間方向の圧縮を行う動画像符号化方式においては、誤差の伝播を防ぐため、強制的にフレーム内符号化を行うように定められている。ＭＰＥＧ−２においては、ＧＯＰの先頭やスライスの先頭がこれに当る。
ＭＢタイプ判定部１４は、簡易復号化部１が現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を抽出すると、簡易復号化部１から現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を入力し（ステップＳＴ１１）、ＭＰＥＧ−２ストリーム作成部１７からフレーム内符号化判定用フラグを入力する（ステップＳＴ１２）。
ＭＢタイプ判定部１４は、ＭＰＥＧ−２ストリーム作成部１７から入力したフレーム内符号化判定用フラグが“１”であれば（ステップＳＴ１３）、フレーム内符号化を実施する必要があると判断し、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数をデータ変換部１６に出力する（ステップＳＴ１４）。
ＭＢタイプ判定部１４は、ＭＰＥＧ−２ストリーム作成部１７から入力したフレーム内符号化判定用フラグが“１”であれば（ステップＳＴ１３）、フレーム内符号化を実施する必要があると判断し、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数をデータ変換部１６に出力する（ステップＳＴ１４）。
また、ＭＢタイプ判定部１４は、フレーム内符号化を実施する旨を示す判定結果をＭＰＥＧ−２ストリーム作成部１７及びデータ変換部１６に出力するとともに（ステップＳＴ２０）、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を参照データバッファ１２に出力して、参照データバッファ１２が格納している参照データ（最後に符号化の対象にされたフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数）を現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数に更新する（ステップＳＴ２１）。
ＭＢタイプ判定部１４は、ＭＰＥＧ−２ストリーム作成部１３から入力したフレーム内符号化判定用フラグが“０”であれば（ステップＳＴ１３）、参照データバッファ１２に格納されている参照データ（最後に符号化の対象にされたフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数）を入力する（ステップＳＴ１５）。
そして、ＭＢタイプ判定部１４は、現在のフレームのＪＰＥＧ量子化テーブルと、最後に符号化の対象にされたフレームのＪＰＥＧ量子化テーブルとを比較するとともに、現在のフレームのＪＰＥＧ量子化ＤＣＴ係数と最後に符号化の対象にされたフレームのＪＰＥＧ量子化ＤＣＴ係数とを比較する（ステップＳＴ１６）。
そして、ＭＢタイプ判定部１４は、現在のフレームのＪＰＥＧ量子化テーブルと、最後に符号化の対象にされたフレームのＪＰＥＧ量子化テーブルとを比較するとともに、現在のフレームのＪＰＥＧ量子化ＤＣＴ係数と最後に符号化の対象にされたフレームのＪＰＥＧ量子化ＤＣＴ係数とを比較する（ステップＳＴ１６）。
即ち、ＭＢタイプ判定部１４は、図１２のスキップ判定部１１と同様にして、ＪＰＥＧ量子化テーブル及びＪＰＥＧ量子化ＤＣＴ係数の比較処理を実施する。
ＭＢタイプ判定部１４は、例えば、以下に示すように、比較結果を分類して、フレーム内符号化を実施するか、フレーム間符号化を実施するか、符号化をスキップするかを判定する。
（１）ＪＰＥＧ量子化テーブル又はＪＰＥＧ量子化ＤＣＴ係数の差分が大きい場合 → フレーム内符号化を実施すると判断する
（２）ＪＰＥＧ量子化テーブル及びＪＰＥＧ量子化ＤＣＴ係数の差分が小さい場合（ＪＰＥＧ量子化テーブル又はＪＰＥＧ量子化ＤＣＴ係数の差分が非常に小さい場合を含む） → フレーム間符号化を実施すると判断する
（３）ＪＰＥＧ量子化テーブル及びＪＰＥＧ量子化ＤＣＴ係数の差分が非常に小さい場合 → 符号化をスキップすると判断する
ＭＢタイプ判定部１４は、例えば、以下に示すように、比較結果を分類して、フレーム内符号化を実施するか、フレーム間符号化を実施するか、符号化をスキップするかを判定する。
（１）ＪＰＥＧ量子化テーブル又はＪＰＥＧ量子化ＤＣＴ係数の差分が大きい場合 → フレーム内符号化を実施すると判断する
（２）ＪＰＥＧ量子化テーブル及びＪＰＥＧ量子化ＤＣＴ係数の差分が小さい場合（ＪＰＥＧ量子化テーブル又はＪＰＥＧ量子化ＤＣＴ係数の差分が非常に小さい場合を含む） → フレーム間符号化を実施すると判断する
（３）ＪＰＥＧ量子化テーブル及びＪＰＥＧ量子化ＤＣＴ係数の差分が非常に小さい場合 → 符号化をスキップすると判断する
ＭＢタイプ判定部１４は、ＪＰＥＧ量子化テーブル又はＪＰＥＧ量子化ＤＣＴ係数の差分が大きく（ステップＳＴ１７）、フレーム内符号化を実施すると判断すると、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数をデータ変換部１６に出力する（ステップＳＴ１４）。
また、ＭＢタイプ判定部１４は、フレーム内符号化を実施する旨を示す判定結果をＭＰＥＧ−２ストリーム作成部１７及びデータ変換部１６に出力するとともに（ステップＳＴ２０）、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を参照データバッファ１２に出力して、参照データバッファ１２が格納している参照データ（最後に符号化の対象にされたフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数）を現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数に更新する（ステップＳＴ２１）。
また、ＭＢタイプ判定部１４は、フレーム内符号化を実施する旨を示す判定結果をＭＰＥＧ−２ストリーム作成部１７及びデータ変換部１６に出力するとともに（ステップＳＴ２０）、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を参照データバッファ１２に出力して、参照データバッファ１２が格納している参照データ（最後に符号化の対象にされたフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数）を現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数に更新する（ステップＳＴ２１）。
ＭＢタイプ判定部１４は、ＪＰＥＧ量子化テーブル及びＪＰＥＧ量子化ＤＣＴ係数の差分が小さく（ステップＳＴ１７，ＳＴ１８）、フレーム間符号化を実施すると判断すると、現在のフレームのＪＰＥＧ量子化テーブルをデータ変換部１６に出力する。
また、現在のフレームのＪＰＥＧ量子化ＤＣＴ係数と、最後に符号化の対象にされたフレームのＪＰＥＧ量子化ＤＣＴ係数との差分を求め、その差分をＪＰＥＧ量子化ＤＣＴ係数（以下、「差分ＪＰＥＧ量子化ＤＣＴ係数」と称する）としてデータ変換部１６に出力する（ステップＳＴ１９）。
このように、差分ＪＰＥＧ量子化ＤＣＴ係数がデータ変換部１６に出力される場合、データ変換部１６では、動画像符号化に用いられる動きベクトルの探索が行われないため、演算量が大幅に削減される。
また、現在のフレームのＪＰＥＧ量子化ＤＣＴ係数と、最後に符号化の対象にされたフレームのＪＰＥＧ量子化ＤＣＴ係数との差分を求め、その差分をＪＰＥＧ量子化ＤＣＴ係数（以下、「差分ＪＰＥＧ量子化ＤＣＴ係数」と称する）としてデータ変換部１６に出力する（ステップＳＴ１９）。
このように、差分ＪＰＥＧ量子化ＤＣＴ係数がデータ変換部１６に出力される場合、データ変換部１６では、動画像符号化に用いられる動きベクトルの探索が行われないため、演算量が大幅に削減される。
また、ＭＢタイプ判定部１４は、フレーム間符号化を実施する旨を示す判定結果をＭＰＥＧ−２ストリーム作成部１７及びデータ変換部１６に出力するとともに（ステップＳＴ２０）、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を参照データバッファ１２に出力して、参照データバッファ１２が格納している参照データ（最後に符号化の対象にされたフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数）を現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数に更新する（ステップＳＴ２１）。
ＭＢタイプ判定部１４は、ＪＰＥＧ量子化テーブル及びＪＰＥＧ量子化ＤＣＴ係数の差分が非常に小さく（ステップＳＴ１７，ＳＴ１８）、符号化をスキップすると判断すると、符号化をスキップする旨を示す判定結果をＭＰＥＧ−２ストリーム作成部１７及びデータ変換部１６に出力する（ステップＳＴ２０）。
この場合、データ変換部１６では、符号化方式の変換を行う必要がないので、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数をデータ変換部１６には出力しない。
また、ＭＢタイプ判定部１４は、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を参照データバッファ１２に出力して、参照データバッファ１２が格納している参照データ（最後に符号化の対象にされたフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数）を現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数に更新する（ステップＳＴ２１）。
この場合、データ変換部１６では、符号化方式の変換を行う必要がないので、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数をデータ変換部１６には出力しない。
また、ＭＢタイプ判定部１４は、現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数を参照データバッファ１２に出力して、参照データバッファ１２が格納している参照データ（最後に符号化の対象にされたフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数）を現在のフレームのＪＰＥＧ量子化テーブルとＪＰＥＧ量子化ＤＣＴ係数に更新する（ステップＳＴ２１）。
データ変換部１６は、ＭＢタイプ判定部１４の判定結果がフレーム内符号化を実施する旨を示す判定結果である場合、図１のデータ変換部２と同様の方法で、ＪＰＥＧ量子化ＤＣＴ係数をＭＰＥＧ−２量子化ＤＣＴ係数に変換し、ＪＰＥＧ量子化テーブルをＭＰＥＧ−２量子化テーブル・パラメータに変換する。
ただし、この実施の形態７では、非イントラＭＢを扱う場合があり、非イントラＭＢの場合には、上記の式（２）の代わりに下記の式（９）を使用し、式（４）の代わりに下記の式（１０）を使用して変換を行う。
ただし、この実施の形態７では、非イントラＭＢを扱う場合があり、非イントラＭＢの場合には、上記の式（２）の代わりに下記の式（９）を使用し、式（４）の代わりに下記の式（１０）を使用して変換を行う。
データ変換部１６は、ＭＢタイプ判定部１４の判定結果がフレーム間符号化を実施する旨を示す判定結果である場合、ＭＢタイプ判定部１４から出力された差分ＪＰＥＧ量子化ＤＣＴ係数をＭＰＥＧ−２量子化ＤＣＴ係数に変換し、ＪＰＥＧ量子化テーブルをＭＰＥＧ−２量子化テーブル・パラメータに変換する。
ただし、ＪＰＥＧからＭＰＥＧ−２に変換する場合においては、特に変換処理は行われない。式（２）におけるＱｕａｎｔＳｃａｌｅ＝１６とするのみである。しかし、他の符号化方式の場合には、何らかの変換処理を行う必要がある場合がある。
なお、データ変換部１６は、ＭＢタイプ判定部１４の判定結果が符号化をスキップする旨を示す判定結果である場合、上述したように、符号化方式の変換処理を実施しない。
ただし、ＪＰＥＧからＭＰＥＧ−２に変換する場合においては、特に変換処理は行われない。式（２）におけるＱｕａｎｔＳｃａｌｅ＝１６とするのみである。しかし、他の符号化方式の場合には、何らかの変換処理を行う必要がある場合がある。
なお、データ変換部１６は、ＭＢタイプ判定部１４の判定結果が符号化をスキップする旨を示す判定結果である場合、上述したように、符号化方式の変換処理を実施しない。
ＭＰＥＧ−２ストリーム作成部１７は、ＭＢタイプ判定部１４からフレーム内符号化を実施する旨を示す判定結果を受けると、上記実施の形態１と同様に、フレーム内符号化を実施して、ＪＰＥＧ簡易復号部１から出力されたヘッダ情報と、データ変換部１６から出力されたＭＰＥＧ−２量子化テーブル・パラメータ及びＭＰＥＧ−２量子化ＤＣＴ係数とからＭＰＥＧ−２ストリームを作成する。
ＭＰＥＧ−２ストリーム作成部１７は、ＭＢタイプ判定部１４からフレーム間符号化を実施する旨を示す判定結果を受けると、フレーム間符号化を実施して、ＪＰＥＧ簡易復号部１から出力されたヘッダ情報と、データ変換部１６から出力されたＭＰＥＧ−２量子化テーブル・パラメータ及びＭＰＥＧ−２量子化ＤＣＴ係数とからＭＰＥＧ−２ストリームを作成する。
ＭＰＥＧ−２ストリーム作成部１７は、ＭＢタイプ判定部１４から符号化をスキップする旨を示す判定結果を受けると、フレーム内符号化やフレーム間符号化を実施せずに、前回作成したＭＰＥＧ−２ストリームを出力する。
ＭＰＥＧ−２ストリーム作成部１７は、ＭＢタイプ判定部１４からフレーム間符号化を実施する旨を示す判定結果を受けると、フレーム間符号化を実施して、ＪＰＥＧ簡易復号部１から出力されたヘッダ情報と、データ変換部１６から出力されたＭＰＥＧ−２量子化テーブル・パラメータ及びＭＰＥＧ−２量子化ＤＣＴ係数とからＭＰＥＧ−２ストリームを作成する。
ＭＰＥＧ−２ストリーム作成部１７は、ＭＢタイプ判定部１４から符号化をスキップする旨を示す判定結果を受けると、フレーム内符号化やフレーム間符号化を実施せずに、前回作成したＭＰＥＧ−２ストリームを出力する。
以上で明らかなように、この実施の形態７によれば、ＭＢタイプ判定部１４がフレーム内符号化を実施するか、フレーム間符号化を実施するか、符号化をスキップするかを判定し、ＭＰＥＧ−２ストリーム作成部１７がＭＢタイプ判定部１４からフレーム内符号化を実施する旨を示す判定結果を受ければ、フレーム内符号化を実施してＭＰＥＧ−２ストリームを作成し、ＭＢタイプ判定部１４からフレーム間符号化を実施する旨を示す判定結果を受ければ、フレーム間符号化を実施してＭＰＥＧ−２ストリームを作成し、ＭＢタイプ判定部１４から符号化をスキップする旨を示す判定結果を受ければ、フレーム内符号化やフレーム間符号化を実施せずに、前回作成したＭＰＥＧ−２ストリームを出力するように構成したので、符号量を大幅に削減することができる効果を奏する。また、ＭＢ判定をＤＣＴ係数領域で行うことで、演算量を低く保つことが可能である。
なお、この実施の形態７では、ＪＰＥＧからＭＰＥＧ−２に変換するものについて示したが、同様の方法で、ＭＰＥＧ−２のＩ−ｐｉｃｔｕｒｅからＪＰＥＧに変換することも可能である。また、量子化もしくはＤＣＴを用いた他の符号化方式間の変換にも適用可能である。
また、この実施の形態７では、変換後の形式がＭＰＥＧ−２であるため、スキップの判定を行う単位をＭＢとしているが、変換する形式によって判定の単位を変えてもよい。
また、上記実施の形態２〜４における画像の追加と組み合わせてもよく、追加する領域の一部が常に同じ画像である場合、該当するブロックを常にスキップと判定するようにしてもよい。
また、この実施の形態７では、変換後の形式がＭＰＥＧ−２であるため、スキップの判定を行う単位をＭＢとしているが、変換する形式によって判定の単位を変えてもよい。
また、上記実施の形態２〜４における画像の追加と組み合わせてもよく、追加する領域の一部が常に同じ画像である場合、該当するブロックを常にスキップと判定するようにしてもよい。
実施の形態８．
図１６はこの発明の実施の形態８による画像符号化方式変換装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
色差フォーマット変換部１８はＪＰＥＧ簡易復号部１により抽出されたＪＰＥＧ量子化テーブルを用いて、ＪＰＥＧ簡易復号部１により抽出されたＪＰＥＧ量子化ＤＣＴ係数を逆量子化して色差成分を求め、その色差成分と、ＪＰＥＧ簡易復号部１により抽出されたヘッダ情報に含まれているＪＰＥＧの色差フォーマットを示す情報と、ＭＰＥＧ−２の色差フォーマットとに応じて、そのＪＰＥＧ量子化ＤＣＴ係数を変換する処理を実施する。なお、色差フォーマット変換部１８は色差変換手段を構成している。
図１６では、図１の画像符号化方式変換装置に色差フォーマット変換部１８を適用している例を示しているが、図２、図６、図１０、図１１、図１２及び図１４の画像符号化方式変換装置に色差フォーマット変換部１８を適用してもよい。
図１６はこの発明の実施の形態８による画像符号化方式変換装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
色差フォーマット変換部１８はＪＰＥＧ簡易復号部１により抽出されたＪＰＥＧ量子化テーブルを用いて、ＪＰＥＧ簡易復号部１により抽出されたＪＰＥＧ量子化ＤＣＴ係数を逆量子化して色差成分を求め、その色差成分と、ＪＰＥＧ簡易復号部１により抽出されたヘッダ情報に含まれているＪＰＥＧの色差フォーマットを示す情報と、ＭＰＥＧ−２の色差フォーマットとに応じて、そのＪＰＥＧ量子化ＤＣＴ係数を変換する処理を実施する。なお、色差フォーマット変換部１８は色差変換手段を構成している。
図１６では、図１の画像符号化方式変換装置に色差フォーマット変換部１８を適用している例を示しているが、図２、図６、図１０、図１１、図１２及び図１４の画像符号化方式変換装置に色差フォーマット変換部１８を適用してもよい。
この実施の形態８は、符号化方式の変換前後において、色差フォーマットが異なる場合でも、高速に変換処理を実施する方法に関するものである。
画像圧縮においては、圧縮率を高めるために、ＹＣｂＣｒ色空間を用いて画像を圧縮する場合が多い。このとき、Ｙ（輝度）成分と比べて、ＣｂＣｒ成分（色差）成分は間引かれていることが多く、その間引き方は符号化方式によって異なる。これが色差フォーマットの違いである。
この実施の形態８では、色差フォーマット変換部１８を実装することで、高速な変換処理を実現している。
画像圧縮においては、圧縮率を高めるために、ＹＣｂＣｒ色空間を用いて画像を圧縮する場合が多い。このとき、Ｙ（輝度）成分と比べて、ＣｂＣｒ成分（色差）成分は間引かれていることが多く、その間引き方は符号化方式によって異なる。これが色差フォーマットの違いである。
この実施の形態８では、色差フォーマット変換部１８を実装することで、高速な変換処理を実現している。
以下、色差フォーマット変換部１８の処理内容を説明する。
ここでは、説明の便宜上、ＪＰＥＧの色差フォーマットが４：２：２形式であり、変換対象のＭＰＥＧ−２の色差フォーマットが４：２：０形式であるものとする。
図１８に示すように、４：２：０形式は、４画素分のＹ信号に対してＣｂＣｒ信号（図中ではＣ）がそれぞれ１画素分である形式である。
また、４：２：２形式は、４画素分のＹ信号に対してＣｂＣｒ信号（図中ではＣ）がそれぞれ２画素分である形式である。
ただし、輝度と色差の位置関係は符号化方式により異なり、図１７に示した位置とは異なることがある。
ここでは、説明の便宜上、ＪＰＥＧの色差フォーマットが４：２：２形式であり、変換対象のＭＰＥＧ−２の色差フォーマットが４：２：０形式であるものとする。
図１８に示すように、４：２：０形式は、４画素分のＹ信号に対してＣｂＣｒ信号（図中ではＣ）がそれぞれ１画素分である形式である。
また、４：２：２形式は、４画素分のＹ信号に対してＣｂＣｒ信号（図中ではＣ）がそれぞれ２画素分である形式である。
ただし、輝度と色差の位置関係は符号化方式により異なり、図１７に示した位置とは異なることがある。
したがって、画像圧縮におけるブロックの単位で考えると、４：２：２形式における８×８のＤＣＴ係数の２つを４：２：０形式の８×８のＤＣＴ係数の１つに変換すればよいことになる。
このような変換を行う場合、最も単純な方法としては、一旦画像の復号を行い、１６×８の画像信号から８×８の画像信号にフィルタリングを行って縮退した後、再度ＤＣＴを行うことが挙げられるが、演算量が大きくなる欠点がある。
そこで、この実施の形態８では、色差フォーマット変換部１８が１６×８のの量子化ＤＣＴ係数を直接８×８の量子化ＤＣＴ係数に変換することで演算量の削減を行うようにしている。
このような変換を行う場合、最も単純な方法としては、一旦画像の復号を行い、１６×８の画像信号から８×８の画像信号にフィルタリングを行って縮退した後、再度ＤＣＴを行うことが挙げられるが、演算量が大きくなる欠点がある。
そこで、この実施の形態８では、色差フォーマット変換部１８が１６×８のの量子化ＤＣＴ係数を直接８×８の量子化ＤＣＴ係数に変換することで演算量の削減を行うようにしている。
まず、色差フォーマット変換部１８は、下記の変換式（１１）を用いて、Ｍ×Ｎの画像信号をＤＣＴ変換する。
ただし、ＡM×NはＤＣＴ変換行列である。
式（１１）において、Ｍ＝Ｎ＝８として、上下に並んだ２つの８×８の画像信号をそれぞれＸ8×8u，Ｘ8×8lとして、それぞれを個別にＤＣＴ変換すると、下記の式（１２）のようになる。
ただし、Ｙ8×8u，Ｙ8×8lは、変換後のＤＣＴ係数のそれぞれ上半分、下半分の成分である。
式（１２）の上下の成分を連結すると、以下のように変形することができる。
ここで、下記の式（１４）（１５）のようにおくと、式（１３）は、下記の式（１６）のようになる。
次に、１６×８の画像信号に通常のＤＣＴ変換を行う場合、上記の式（１１）で、Ｍ＝１６，Ｎ＝８とすると、下記の式（１７）のようになる。
式（１７）のＹ16×8が式（１６）のＺ16×8から得られれば、直接変換することができることになる。
ここで、式（１６）を変形すると、下記の式（１８）のようになる。
ここで、式（１６）を変形すると、下記の式（１８）のようになる。
式（１７）と式（１８）から式（１９）が得られる。
ただし、Ａ16×16は１６×１６のＤＣＴ変換行列である。また、Ｂ16×16 Tは式（１５）と８×８のＤＣＴ変換行列から求められることは明らかである。
この方法により、個別にＤＣＴ変換を行った２つの８×８のＤＣＴ変換係数Ｚ16×8から１６×８のＤＣＴ変換係数Ｙ16×8を算出することが可能であり、色差フォーマットの異なる画像ブロックから算出されたＤＣＴ係数を復号を行わずに直接変換することができる。
このようにして、色差フォーマット変換部１８により変換されたＪＰＥＧ量子化ＤＣＴ係数がデータ変換部２に出力される。
この方法により、個別にＤＣＴ変換を行った２つの８×８のＤＣＴ変換係数Ｚ16×8から１６×８のＤＣＴ変換係数Ｙ16×8を算出することが可能であり、色差フォーマットの異なる画像ブロックから算出されたＤＣＴ係数を復号を行わずに直接変換することができる。
このようにして、色差フォーマット変換部１８により変換されたＪＰＥＧ量子化ＤＣＴ係数がデータ変換部２に出力される。
以上で明らかなように、この実施の形態８によれば、色差フォーマット変換部１８がＪＰＥＧ簡易復号部１により抽出されたヘッダ情報に含まれているＪＰＥＧの色差フォーマットを示す情報と、ＭＰＥＧ−２の色差フォーマットとに応じてＪＰＥＧ量子化ＤＣＴ係数を変換するように構成したので、色差フォーマットが異なる場合でも、高速な変換処理を実現することができる効果を奏する。
なお、この実施の形態８では、ＪＰＥＧからＭＰＥＧ−２に変換するものについて示したが、同様の方法で、色差フォーマットの異なる他の符号化方式間の変換にも適用することが可能である。
また、４：２：２形式から４：２：０形式への変換以外の色差フォーマット変換であっても、本方式で示した方法から変換係数を算出することが可能である。
また、４：２：２形式から４：２：０形式への変換以外の色差フォーマット変換であっても、本方式で示した方法から変換係数を算出することが可能である。
１ ＪＰＥＧ簡易復号部（簡易復号化手段）、２ データ変換部（データ変換手段）、３ ＭＰＥＧ−２ストリーム作成部（符号化ストリーム作成手段）、４ 画像データ追加部（画像データ追加手段）、５ ＭＰＥＧ−２ストリーム作成部（符号化ストリーム作成手段）、６ 追加ブロック画像データベース（追加画像作成手段）、７ 追加画像作成部（追加画像作成手段）、８ 追加ブロック画像データベース（追加画像作成手段）、９ 追加画像作成部（追加画像作成手段）、１０ ＤＣＴ係数削減部（高周波成分削除手段）、１１ スキップ判定部（符号化判定手段）、１２ 参照データバッファ（符号化判定手段）、１３ ＭＰＥＧ−２ストリーム作成部（符号化ストリーム作成手段）、１４ ＭＢタイプ判定部（符号化判定手段）、１５ 参照データバッファ（符号化判定手段）、１６ データ変換部（データ変換手段）、１７ ＭＰＥＧ−２ストリーム作成部（符号化ストリーム作成手段）、１８ 色差フォーマット変換部（色差変換手段）。
Claims (8)
- 画像信号が第一の符号化方式で符号化されている符号化ストリームの一部を復号して、上記符号化ストリームからヘッダ情報と第一の符号化方式の量子化テーブル及び量子化周波数成分を抽出する簡易復号化手段と、上記簡易復号化手段により抽出された第一の符号化方式の量子化テーブル及び量子化周波数成分を第二の符号化方式の量子化テーブル及び量子化周波数成分に変換するデータ変換手段と、上記データ変換手段により変換された第二の符号化方式の量子化テーブルを用いて追加画像の画像データを量子化し、量子化後の画像データを上記データ変換手段により変換された第二の符号化方式の量子化周波数成分に加える画像データ追加手段と、上記簡易復号化手段により抽出されたヘッダ情報を上記追加画像の画像幅に応じて変更し、変更後のヘッダ情報と上記データ変換手段により変換された第二の符号化方式の量子化テーブルと上記画像データ追加手段により量子化後の画像データが加えられた第二の符号化方式の量子化周波数成分から第二の符号化方式の符号化ストリームを作成する符号化ストリーム作成手段とを備えた画像符号化方式変換装置。
- 時刻情報を用いて追加画像を作成し、上記追加画像の画像データを画像データ追加手段に出力する追加画像作成手段を設けたことを特徴とする請求項１記載の画像符号化方式変換装置。
- 簡易復号化手段により抽出されたヘッダ情報を用いて追加画像を作成し、上記追加画像の画像データを画像データ追加手段に出力する追加画像作成手段を設けたことを特徴とする請求項１記載の画像符号化方式変換装置。
- 簡易復号化手段により今回抽出された第一の符号化方式の量子化テーブルと、上記簡易復号化手段により前回抽出された第一の符号化方式の量子化テーブルとを比較し、
さらに簡易復号化手段から今回出力された第一の符号化方式の量子化周波数成分と、上記簡易復号化手段から前回出力された第一の符号化方式の量子化周波数成分とを比較し、
上記２つの比較結果に基づいてフレーム内符号化を実施するか否かを判定する符号化判定手段を設け、符号化ストリーム作成手段が上記符号化判定手段からフレーム内符号化を実施する旨を示す判定結果を受ければ、フレーム内符号化を実施して第二の符号化方式の符号化ストリームを作成し、上記符号化判定手段からフレーム内符号化を実施しない旨を示す判定結果を受ければ、フレーム内符号化を実施せずに、前回作成した第二の符号化方式の符号化ストリームを出力することを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像符号化方式変換装置。 - 符号化判定手段は、符号化ストリーム作成手段からフレーム内符号化を実施する必要がある旨を示すフラグを受けると、量子化テーブル及び量子化周波数成分の比較処理を実施せずに、フレーム内符号化を実施する旨を示す判定結果を出力することを特徴とする請求項４記載の画像符号化方式変換装置。
- 簡易復号化手段により抽出された第一の符号化方式の量子化テーブルと、最後に符号化の対象にされたフレームの第一の符号化方式の量子化テーブルとを比較し、
さらに簡易復号化手段から出力された第一の符号化方式の量子化周波数成分と、最後に符号化の対象にされたフレームの第一の符号化方式の量子化周波数成分とを比較し、
上記２つの比較結果に基づいてフレーム内符号化を実施するか、フレーム間符号化を実施するか、符号化をスキップするかを判定する符号化判定手段を設け、符号化ストリーム作成手段が上記符号化判定手段からフレーム内符号化を実施する旨を示す判定結果を受ければ、フレーム内符号化を実施して第二の符号化方式の符号化ストリームを作成し、上記符号化判定手段からフレーム間符号化を実施する旨を示す判定結果を受ければ、フレーム間符号化を実施して第二の符号化方式の符号化ストリームを作成し、上記符号化判定手段から符号化をスキップする旨を示す判定結果を受ければ、フレーム内符号化及びフレーム間符号化を実施せずに、前回作成した第二の符号化方式の符号化ストリームを出力することを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像符号化方式変換装置。 - 符号化判定手段は、符号化ストリーム作成手段からフレーム内符号化を実施する必要がある旨を示すフラグを受けると、量子化テーブル及び量子化周波数成分の比較処理を実施せずに、フレーム内符号化を実施する旨を示す判定結果を出力することを特徴とする請求項６記載の画像符号化方式変換装置。
- 第一の符号化方式の色差フォーマットと第二の符号化方式の色差フォーマットに応じて簡易復号化手段から出力された第一の符号化方式の量子化周波数成分を変換する色差変換手段を設けたことを特徴とする請求項１から請求項７のうちのいずれか１項記載の画像符号化方式変換装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011001238A JP5226089B2 (ja) | 2011-01-06 | 2011-01-06 | 画像符号化方式変換装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011001238A JP5226089B2 (ja) | 2011-01-06 | 2011-01-06 | 画像符号化方式変換装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006337280A Division JP2008153771A (ja) | 2006-12-14 | 2006-12-14 | 画像符号化方式変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011091858A true JP2011091858A (ja) | 2011-05-06 |
| JP5226089B2 JP5226089B2 (ja) | 2013-07-03 |
Family
ID=44109597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011001238A Expired - Fee Related JP5226089B2 (ja) | 2011-01-06 | 2011-01-06 | 画像符号化方式変換装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5226089B2 (ja) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0879741A (ja) * | 1994-08-31 | 1996-03-22 | Canon Inc | 画像処理装置及び方法 |
| JP2001309381A (ja) * | 2000-04-25 | 2001-11-02 | Canon Inc | 画像処理装置及びその方法と記憶媒体 |
| JP2002010264A (ja) * | 2000-06-21 | 2002-01-11 | Victor Co Of Japan Ltd | 圧縮データの置き換え装置 |
| JP2004120620A (ja) * | 2002-09-27 | 2004-04-15 | Kddi Corp | 符号化動画像変換装置 |
| JP2004186811A (ja) * | 2002-11-29 | 2004-07-02 | Canon Inc | 符号化データ変換装置及びその方法 |
| JP2006222790A (ja) * | 2005-02-10 | 2006-08-24 | Nippon Hoso Kyokai <Nhk> | 圧縮符号化装置および圧縮符号化プログラム、並びに、復号化装置および復号化プログラム |
-
2011
- 2011-01-06 JP JP2011001238A patent/JP5226089B2/ja not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0879741A (ja) * | 1994-08-31 | 1996-03-22 | Canon Inc | 画像処理装置及び方法 |
| JP2001309381A (ja) * | 2000-04-25 | 2001-11-02 | Canon Inc | 画像処理装置及びその方法と記憶媒体 |
| JP2002010264A (ja) * | 2000-06-21 | 2002-01-11 | Victor Co Of Japan Ltd | 圧縮データの置き換え装置 |
| JP2004120620A (ja) * | 2002-09-27 | 2004-04-15 | Kddi Corp | 符号化動画像変換装置 |
| JP2004186811A (ja) * | 2002-11-29 | 2004-07-02 | Canon Inc | 符号化データ変換装置及びその方法 |
| JP2006222790A (ja) * | 2005-02-10 | 2006-08-24 | Nippon Hoso Kyokai <Nhk> | 圧縮符号化装置および圧縮符号化プログラム、並びに、復号化装置および復号化プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5226089B2 (ja) | 2013-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI324481B (en) | Method and apparatus for encoding/decoding video signal using reference pictures | |
| JP5280530B2 (ja) | ビデオコーディングのための時間圧縮での断片化参照 | |
| US10013746B2 (en) | High dynamic range video tone mapping | |
| KR100971835B1 (ko) | 화상 복호 방법 및 장치 | |
| JP5502487B2 (ja) | 逆離散コサイン変換の最大ダイナミックレンジのシグナリング | |
| US6301304B1 (en) | Architecture and method for inverse quantization of discrete cosine transform coefficients in MPEG decoders | |
| JP4245576B2 (ja) | 画像圧縮伸張法、画像圧縮装置及び画像伸張装置 | |
| JP2009290463A (ja) | 符号化装置／復号化装置、符号化方法／復号化方法及びプログラム | |
| US8611418B2 (en) | Decoding a progressive JPEG bitstream as a sequentially-predicted hybrid video bitstream | |
| JP5800362B2 (ja) | 動画像送出装置、動画像受信装置、動画像伝送システム、動画像送出方法、動画像受信方法、およびプログラム | |
| JP4274653B2 (ja) | 動画像合成装置および動画像合成方法 | |
| JPH057356A (ja) | 画像記録再生装置 | |
| JP2001119703A (ja) | 可変長予測符号化によるデジタルビデオイメージの圧縮 | |
| JP5226089B2 (ja) | 画像符号化方式変換装置 | |
| JP2008153771A (ja) | 画像符号化方式変換装置 | |
| JP2009218965A (ja) | 画像処理装置、それを搭載した撮像装置、および画像再生装置 | |
| JP2006129248A (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
| JP4749508B2 (ja) | 画像復号方法 | |
| JP2008109700A (ja) | ディジタル信号変換方法およびディジタル信号変換装置 | |
| JP2004056616A (ja) | 符号化信号復号装置、符号化信号復号方法および符号化信号復号プログラム | |
| KR101979634B1 (ko) | 화질 개선을 위한 영상 처리 장치 및 그 방법 | |
| JP2005184525A (ja) | 画像処理装置 | |
| JP2011041178A (ja) | 画像符号化方式変換装置及び画像復号装置 | |
| Awad et al. | Video over Cellular Mobile Device based on Hybrid Technique | |
| Han | Video Quality for DTV Essential Hidden Area Utilization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121218 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130305 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130313 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160322 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |