JP2011041178A - 画像符号化方式変換装置及び画像復号装置 - Google Patents
画像符号化方式変換装置及び画像復号装置 Download PDFInfo
- Publication number
- JP2011041178A JP2011041178A JP2009188990A JP2009188990A JP2011041178A JP 2011041178 A JP2011041178 A JP 2011041178A JP 2009188990 A JP2009188990 A JP 2009188990A JP 2009188990 A JP2009188990 A JP 2009188990A JP 2011041178 A JP2011041178 A JP 2011041178A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- jpeg
- stream
- image signal
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】符号化方式を変換する際の画質劣化を抑止することができるとともに、変換速度の高速化を図ることができるようにする。
【解決手段】Ｈ．２６４方式の画面内符号化を選択する場合、ＪＰＥＧ復号部１により取得されたＪＰＥＧ復号画像信号をフレームバッファ２ａに蓄積して、Ｈ．２６４方式の画面内符号化を選択した旨を示す符号化情報をＪＰＥＧ復号部１に通知し、Ｈ．２６４方式の画面間符号化を選択する場合、フレームバッファ２ａに蓄積されている過去のＪＰＥＧ復号画像信号を参照画像として利用して、ＪＰＥＧ復号部１により取得されたＪＰＥＧ復号画像信号をＨ．２６４方式で画面間符号化する。
【選択図】図１
【解決手段】Ｈ．２６４方式の画面内符号化を選択する場合、ＪＰＥＧ復号部１により取得されたＪＰＥＧ復号画像信号をフレームバッファ２ａに蓄積して、Ｈ．２６４方式の画面内符号化を選択した旨を示す符号化情報をＪＰＥＧ復号部１に通知し、Ｈ．２６４方式の画面間符号化を選択する場合、フレームバッファ２ａに蓄積されている過去のＪＰＥＧ復号画像信号を参照画像として利用して、ＪＰＥＧ復号部１により取得されたＪＰＥＧ復号画像信号をＨ．２６４方式で画面間符号化する。
【選択図】図１
Description
この発明は、例えば、ＪＰＥＧ方式で符号化されている映像ストリームを、ＪＰＥＧストリームとＨ．２６４ストリームが多重化されている映像ストリームに変換する画像符号化方式変換装置と、例えば、ＪＰＥＧストリームとＨ．２６４ストリームが多重化されている映像ストリームから画像信号を復号する画像復号装置とに関するものである。
近年、画像を圧縮して符号化する技術が広く用いられている。
画像符号化方式の代表的なものとして、主にデジタルカメラなどで用いられるＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式がある。
また、ＪＰＥＧを連続して符号化することで、動画像を符号化する方式もある。
この方式は、ＭｏｔｉｏｎＪＰＥＧ方式、ＭＪＰＥＧ方式又はＭ−ＪＰＥＧ方式と呼ばれることもある。
さらに、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＶＩＤＥＯに採用されているＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）と呼ばれる方式もある。
また、携帯端末向けの地上デジタル放送（ワンセグ放送）に採用されている方式であるＨ．２６４方式もある。
画像符号化方式の代表的なものとして、主にデジタルカメラなどで用いられるＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式がある。
また、ＪＰＥＧを連続して符号化することで、動画像を符号化する方式もある。
この方式は、ＭｏｔｉｏｎＪＰＥＧ方式、ＭＪＰＥＧ方式又はＭ−ＪＰＥＧ方式と呼ばれることもある。
さらに、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＶＩＤＥＯに採用されているＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）と呼ばれる方式もある。
また、携帯端末向けの地上デジタル放送（ワンセグ放送）に採用されている方式であるＨ．２６４方式もある。
以上のように、画像符号化方式には様々な方式があり、一般に、異なる画像符号化方式には互換性がない。
ユーザが異なる画像符号化方式に対応するには、それぞれの画像符号化方式に対応する画像復号装置を用意するか、画像符号化方式変換装置を用意する必要がある。
例えば、市販されているＤＶＤプレーヤでは、ＭＰＥＧ−２方式以外の方式には対応することができず、それぞれの画像符号化方式に対応する画像復号装置を用意するのは現実的に困難な場合が多いと考えられる。
ユーザが異なる画像符号化方式に対応するには、それぞれの画像符号化方式に対応する画像復号装置を用意するか、画像符号化方式変換装置を用意する必要がある。
例えば、市販されているＤＶＤプレーヤでは、ＭＰＥＧ−２方式以外の方式には対応することができず、それぞれの画像符号化方式に対応する画像復号装置を用意するのは現実的に困難な場合が多いと考えられる。
一方、画像符号化方式変換装置を用意すれば、それぞれの画像符号化方式に対応する画像復号装置を用意する必要がなくなるが、画像の変換に多くの時間を要することや、変換後の画像の品質が劣化することなどが問題となる。
例えば、以下の特許文献１に開示されている画像符号化方式変換装置では、ＪＰＥＧ方式をＭＰＥＧ−４方式に変換する手法が開示されている。
即ち、この画像符号化方式変換装置では、ＪＰＥＧ方式とＭＰＥＧ−４方式の双方がＤＣＴ係数を圧縮に用いていることを利用して、直流（ＤＣ：Ｄｉｒｅｃｔ Ｃｕｒｒｅｎｔ）成分の変換とハフマンコードの変換によって、ＪＰＥＧ方式をＭＰＥＧ−４方式に変換するようにしている。
しかし、Ｈ．２６４方式では、ＤＣＴ係数が用いられないので、この画像符号化方式変換装置では、Ｈ．２６４方式の変換に適用することができない。
例えば、以下の特許文献１に開示されている画像符号化方式変換装置では、ＪＰＥＧ方式をＭＰＥＧ−４方式に変換する手法が開示されている。
即ち、この画像符号化方式変換装置では、ＪＰＥＧ方式とＭＰＥＧ−４方式の双方がＤＣＴ係数を圧縮に用いていることを利用して、直流（ＤＣ：Ｄｉｒｅｃｔ Ｃｕｒｒｅｎｔ）成分の変換とハフマンコードの変換によって、ＪＰＥＧ方式をＭＰＥＧ−４方式に変換するようにしている。
しかし、Ｈ．２６４方式では、ＤＣＴ係数が用いられないので、この画像符号化方式変換装置では、Ｈ．２６４方式の変換に適用することができない。
また、特許文献２に開示されている画像符号化方式変換装置では、ＭＰＥＧ−２イントラのＤＣＴ係数のうち、ＤＣ成分からＨ．２６４イントラのイントラブロックサイズを決定することで、高速な変換を行うようにしている。
しかし、符号化方式の再変換による画質の劣化を招き、ブロックサイズ決定後の変換処理には多くの計算量が必要となる。
しかし、符号化方式の再変換による画質の劣化を招き、ブロックサイズ決定後の変換処理には多くの計算量が必要となる。
従来の画像符号化方式変換装置は以上のように構成されているので、ＪＰＥＧ方式からＨ．２６４方式に変換する場合、画面内符号化するブロック単位の違い（ＪＰＥＧ方式では８×８単位、Ｈ．２６４方式では４×４又は１６×１６単位）や、変換式の違い（ＪＰＥＧ方式ではＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換、Ｈ．２６４方式では整数精度の直交変換）から画像が劣化してしまう課題があった。また、符号化方式を変換する際に、多くの計算量が必要となる課題もあった。
この発明は上記のような課題を解決するためになされたもので、符号化方式を変換する際の画質劣化を抑止することができるとともに、変換速度の高速化を図ることができる画像符号化方式変換装置を得ることを目的とする。
また、この発明は、画像符号化方式変換装置により多重化されている映像ストリームから画像信号を復号することができる画像復号装置を得ることを目的とする。
また、この発明は、画像符号化方式変換装置により多重化されている映像ストリームから画像信号を復号することができる画像復号装置を得ることを目的とする。
この発明に係る画像符号化方式変換装置は、第１の符号化ストリームを復号して復号画像信号を取得し、画像符号化手段から第２の符号化方式の画面内符号化を選択した旨の通知を受けると、第１の符号化ストリームを多重化手段に出力する画像復号手段と、第２の符号化方式の画面内符号化を選択する場合、画像復号手段により取得された復号画像信号をメモリに蓄積して、第２の符号化方式の画面内符号化を選択した旨を画像復号手段に通知し、第２の符号化方式の画面間符号化を選択する場合、そのメモリに蓄積されている過去の復号画像信号を参照画像として利用して、画像復号手段により取得された復号画像信号を第２の符号化方式で画面間符号化し、その復号画像信号の符号化結果を示す第２の符号化ストリームを多重化手段に出力する画像符号化手段とを設け、多重化手段が画像復号手段から出力された第１の符号化ストリームと画像符号化手段から出力された第２の符号化ストリームを多重化して、多重化ストリームを出力するようにしたものである。
この発明によれば、第１の符号化ストリームを復号して復号画像信号を取得し、画像符号化手段から第２の符号化方式の画面内符号化を選択した旨の通知を受けると、第１の符号化ストリームを多重化手段に出力する画像復号手段と、第２の符号化方式の画面内符号化を選択する場合、画像復号手段により取得された復号画像信号をメモリに蓄積して、第２の符号化方式の画面内符号化を選択した旨を画像復号手段に通知し、第２の符号化方式の画面間符号化を選択する場合、そのメモリに蓄積されている過去の復号画像信号を参照画像として利用して、画像復号手段により取得された復号画像信号を第２の符号化方式で画面間符号化し、その復号画像信号の符号化結果を示す第２の符号化ストリームを多重化手段に出力する画像符号化手段とを設け、多重化手段が画像復号手段から出力された第１の符号化ストリームと画像符号化手段から出力された第２の符号化ストリームを多重化して、多重化ストリームを出力するように構成したので、符号化方式を変換する際の画質劣化を抑止することができるとともに、変換速度の高速化を図ることができる効果がある。
実施の形態１．
図１はこの発明の実施の形態１による画像符号化方式変換装置を示す構成図である。
図１において、ＪＰＥＧ復号部１はＪＰＥＧ方式（第１の符号化方式）で画面内符号化されている画像信号の符号化結果を示すＪＰＥＧストリーム（第１の符号化ストリーム）を入力すると、そのＪＰＥＧストリームを復号してＪＰＥＧ復号画像信号を取得し、そのＪＰＥＧ復号画像信号をＨ．２６４符号化部２に出力する処理を実施する。
また、ＪＰＥＧ復号部１はＨ．２６４符号化部２からＨ．２６４方式（第２の符号化方式）の画面内符号化を選択した旨を示す符号化情報を受けると、そのＪＰＥＧストリームをＪＰＥＧ／Ｈ．２６４多重化部３に出力する処理を実施する。
なお、ＪＰＥＧ復号部１は画像復号手段を構成している。
図１はこの発明の実施の形態１による画像符号化方式変換装置を示す構成図である。
図１において、ＪＰＥＧ復号部１はＪＰＥＧ方式（第１の符号化方式）で画面内符号化されている画像信号の符号化結果を示すＪＰＥＧストリーム（第１の符号化ストリーム）を入力すると、そのＪＰＥＧストリームを復号してＪＰＥＧ復号画像信号を取得し、そのＪＰＥＧ復号画像信号をＨ．２６４符号化部２に出力する処理を実施する。
また、ＪＰＥＧ復号部１はＨ．２６４符号化部２からＨ．２６４方式（第２の符号化方式）の画面内符号化を選択した旨を示す符号化情報を受けると、そのＪＰＥＧストリームをＪＰＥＧ／Ｈ．２６４多重化部３に出力する処理を実施する。
なお、ＪＰＥＧ復号部１は画像復号手段を構成している。
Ｈ．２６４符号化部２はＨ．２６４方式の画面内符号化を選択する場合、ＪＰＥＧ復号部１により取得されたＪＰＥＧ復号画像信号を内部のフレームバッファ２ａ（メモリ）に蓄積して、Ｈ．２６４方式の画面内符号化を選択した旨を示す符号化情報をＪＰＥＧ復号部１に通知する処理を実施する。一方、Ｈ．２６４方式の画面間符号化を選択する場合、そのフレームバッファ２ａに蓄積されている過去のＪＰＥＧ復号画像信号を参照画像として利用して、ＪＰＥＧ復号部１により取得されたＪＰＥＧ復号画像信号をＨ．２６４方式で画面間符号化し、そのＪＰＥＧ復号画像信号の符号化結果を示すＨ．２６４ストリームをＪＰＥＧ／Ｈ．２６４多重化部３に出力し、また、そのＪＰＥＧ復号画像信号を内部のフレームバッファ２ａに蓄積する処理を実施する。
なお、Ｈ．２６４符号化部２は画像符号化手段を構成している。
なお、Ｈ．２６４符号化部２は画像符号化手段を構成している。
ＪＰＥＧ／Ｈ．２６４多重化部３はＪＰＥＧ復号部１から出力されたＪＰＥＧストリームとＨ．２６４符号化部２から出力されたＨ．２６４ストリームを多重化して、多重化ストリームを出力する処理を実施する。
なお、ＪＰＥＧ／Ｈ．２６４多重化部３は多重化手段を構成している。
なお、ＪＰＥＧ／Ｈ．２６４多重化部３は多重化手段を構成している。
図１では、画像符号化方式変換装置の構成要素であるＪＰＥＧ復号部１、Ｈ．２６４符号化部２及びＪＰＥＧ／Ｈ．２６４多重化部３がそれぞれ専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化方式変換装置がコンピュータで構成される場合、ＪＰＥＧ復号部１、Ｈ．２６４符号化部２及びＪＰＥＧ／Ｈ．２６４多重化部３の処理内容が記述されているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による画像符号化方式変換装置のＨ．２６４符号化部２の処理内容を示すフローチャートである。
図２はこの発明の実施の形態１による画像符号化方式変換装置のＨ．２６４符号化部２の処理内容を示すフローチャートである。
次に動作について説明する。
最初に、ＪＰＥＧ方式の符号化とＨ．２６４方式の符号化について簡単に説明する。
ＪＰＥＧ方式は、画面内符号化を行う方式であり、画像の画素信号を８×８ブロック単位でＤＣＴ変換を実施し、ＤＣＴ変換後の画像信号であるＤＣＴ係数を量子化するものである。
ＪＰＥＧ方式では、画像信号をＤＣＴ変換することにより、パワーを低周波領域に集中させることができ、ＤＣＴ係数を量子化することにより、高周波成分を間引いて画像を圧縮することができる。
さらに、ＤＣＴ係数の可変長符号化を実施することにより、圧縮率を高めることができる。
最初に、ＪＰＥＧ方式の符号化とＨ．２６４方式の符号化について簡単に説明する。
ＪＰＥＧ方式は、画面内符号化を行う方式であり、画像の画素信号を８×８ブロック単位でＤＣＴ変換を実施し、ＤＣＴ変換後の画像信号であるＤＣＴ係数を量子化するものである。
ＪＰＥＧ方式では、画像信号をＤＣＴ変換することにより、パワーを低周波領域に集中させることができ、ＤＣＴ係数を量子化することにより、高周波成分を間引いて画像を圧縮することができる。
さらに、ＤＣＴ係数の可変長符号化を実施することにより、圧縮率を高めることができる。
一方、Ｈ．２６４方式は、画面内符号化又は画面間符号化を適宜選択しながら符号化を行う方式である。
Ｈ．２６４方式の画面内符号化は、１６×１６ブロック（マクロブロック）の中から、４×４ブロック、８×８ブロック、１６×１６ブロック単位のいずれか一つを選択し、隣接する画素から算出される予測画素との差分を４×４ブロック単位で直交変換し、直交変換後の画像信号である直交変換係数を量子化するものである。
また、Ｈ．２６４方式の画面間符号化は、マクロブロックの中から、１６×１６ブロック、８×１６ブロック、１６×８ブロック、８×８ブロック、８×４ブロック、４×８ブロック、４×４ブロック単位のいずれか一つ又は複数を選択し、既にＨ．２６４方式で符号化されているフレームの復号画像との差分を４×４ブロック単位で直交変換し、直交変換の画像信号である直交変換係数を量子化するものである。
このとき、どのフレームの復号画像のどの位置の画素を参照しているかを示す情報も付加される。
さらに、直交変換係数の可変長符号化を実施することにより、圧縮率を高めることができる。
Ｈ．２６４方式の画面内符号化は、１６×１６ブロック（マクロブロック）の中から、４×４ブロック、８×８ブロック、１６×１６ブロック単位のいずれか一つを選択し、隣接する画素から算出される予測画素との差分を４×４ブロック単位で直交変換し、直交変換後の画像信号である直交変換係数を量子化するものである。
また、Ｈ．２６４方式の画面間符号化は、マクロブロックの中から、１６×１６ブロック、８×１６ブロック、１６×８ブロック、８×８ブロック、８×４ブロック、４×８ブロック、４×４ブロック単位のいずれか一つ又は複数を選択し、既にＨ．２６４方式で符号化されているフレームの復号画像との差分を４×４ブロック単位で直交変換し、直交変換の画像信号である直交変換係数を量子化するものである。
このとき、どのフレームの復号画像のどの位置の画素を参照しているかを示す情報も付加される。
さらに、直交変換係数の可変長符号化を実施することにより、圧縮率を高めることができる。
ここで、図３はＪＰＥＧ／Ｈ．２６４多重化部３から出力される多重化ストリームの概要を示す説明図である。
多重化ストリーム内のＪＰＥＧストリームは、Ｈ．２６４符号化部２でＨ．２６４方式の画面内符号化が選択されるとき、ＪＰＥＧ復号部１から出力されるＪＰＥＧストリームであり、Ｈ．２６４方式において、参照画像を持たずに画面内予測符号化を行うＩピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）の役割を果たすものである。
多重化ストリーム内のＨ．２６４ストリームは、Ｈ．２６４符号化部２でＨ．２６４方式の画面間符号化が選択されるとき、Ｈ．２６４符号化部２から出力されるＨ．２６４ストリームである。
多重化ストリーム内のＪＰＥＧストリームは、Ｈ．２６４符号化部２でＨ．２６４方式の画面内符号化が選択されるとき、ＪＰＥＧ復号部１から出力されるＪＰＥＧストリームであり、Ｈ．２６４方式において、参照画像を持たずに画面内予測符号化を行うＩピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）の役割を果たすものである。
多重化ストリーム内のＨ．２６４ストリームは、Ｈ．２６４符号化部２でＨ．２６４方式の画面間符号化が選択されるとき、Ｈ．２６４符号化部２から出力されるＨ．２６４ストリームである。
Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）は、時間軸的に過去のピクチャとなるＩピクチャ又はＰピクチャを参照して画面間予測符号化を行うものである。
Ｂピクチャ（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）は、時間的に過去と未来の両方向のＩピクチャ又はＰピクチャを参照して画面間予測符号化を行うものである。
Ｂピクチャ（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）は、時間的に過去と未来の両方向のＩピクチャ又はＰピクチャを参照して画面間予測符号化を行うものである。
以下、図２のフローチャートを参照しながら、図１の画像符号化方式変換装置の処理内容を具体的に説明する。
ＪＰＥＧ復号部１は、ＪＰＥＧ方式で画面内符号化されている画像信号の符号化結果を示すＪＰＥＧストリームを入力すると、そのＪＰＥＧストリームを画素信号に復号することでＪＰＥＧ復号画像信号を取得し、そのＪＰＥＧ復号画像信号をＨ．２６４符号化部２に出力する。
ＪＰＥＧ復号部１は、ＪＰＥＧ方式で画面内符号化されている画像信号の符号化結果を示すＪＰＥＧストリームを入力すると、そのＪＰＥＧストリームを画素信号に復号することでＪＰＥＧ復号画像信号を取得し、そのＪＰＥＧ復号画像信号をＨ．２６４符号化部２に出力する。
Ｈ．２６４符号化部２には、予め、どの場合にＨ．２６４方式の画面内符号化を選択して、どの場合にＨ．２６４方式の画面間符号化を選択するかが設定されている。
例えば、画質が多少劣化しても、符号化効率を高める必要がある場合には、Ｎ個のピクチャの中で、画面間符号化を行うピクチャの割合が多くなるように設定される。
逆に、符号化効率が多少下がっても、画質の劣化を抑える必要がある場合には、Ｎ個のピクチャの中で、画面内符号化を行うピクチャの割合が多くなるように設定される。
このような設定は、画質の劣化と符号化効率が比較考量されて、所望の画質と符号化効率が得られるように初期的に設定されているようにしてもよいし、ユーザが適宜指定するようにしてもよい。また、ユーザの指定により設定が適宜変更されるようにしてもよい。
例えば、画面内符号化を行うピクチャの割合が１割、画面間符号化を行うピクチャの割合が９割に設定されている場合、９個のピクチャを連続して画面間符号化を行うと、１個のピクチャの画面内符号化を行うような動作となる。
例えば、画質が多少劣化しても、符号化効率を高める必要がある場合には、Ｎ個のピクチャの中で、画面間符号化を行うピクチャの割合が多くなるように設定される。
逆に、符号化効率が多少下がっても、画質の劣化を抑える必要がある場合には、Ｎ個のピクチャの中で、画面内符号化を行うピクチャの割合が多くなるように設定される。
このような設定は、画質の劣化と符号化効率が比較考量されて、所望の画質と符号化効率が得られるように初期的に設定されているようにしてもよいし、ユーザが適宜指定するようにしてもよい。また、ユーザの指定により設定が適宜変更されるようにしてもよい。
例えば、画面内符号化を行うピクチャの割合が１割、画面間符号化を行うピクチャの割合が９割に設定されている場合、９個のピクチャを連続して画面間符号化を行うと、１個のピクチャの画面内符号化を行うような動作となる。
Ｈ．２６４符号化部２は、ＪＰＥＧ復号部１からＪＰＥＧ復号画像信号を受けると（ステップＳＴ１）、そのＪＰＥＧ復号画像信号に対する符号化方式が画面内符号化であるのか、画面間符号化であるのかを判別する（ステップＳＴ２）。
例えば、画面内符号化を行うピクチャの割合が１割、画面間符号化を行うピクチャの割合が９割に設定されている場合において、前回の符号化方式が画面内符号化である場合、あるいは、前回の符号化方式が画面間符号化であるが、画面間符号化の連続回数が８回以下である場合、今回の符号化方式は、画面間符号化であると判断する。
一方、前回の符号化方式が画面間符号化であり、かつ、画面間符号化の連続回数が９回である場合、今回の符号化方式は、画面内符号化であると判断する。
ただし、ここでの判別方法はあくまでも一例に過ぎず、他の判別方法によって、符号化方式を判別するようにしてもよい。
例えば、画面内符号化を行うピクチャの割合が１割、画面間符号化を行うピクチャの割合が９割に設定されている場合において、前回の符号化方式が画面内符号化である場合、あるいは、前回の符号化方式が画面間符号化であるが、画面間符号化の連続回数が８回以下である場合、今回の符号化方式は、画面間符号化であると判断する。
一方、前回の符号化方式が画面間符号化であり、かつ、画面間符号化の連続回数が９回である場合、今回の符号化方式は、画面内符号化であると判断する。
ただし、ここでの判別方法はあくまでも一例に過ぎず、他の判別方法によって、符号化方式を判別するようにしてもよい。
Ｈ．２６４符号化部２は、ＪＰＥＧ復号画像信号に対する符号化方式が画面内符号化であると判別すると、ＪＰＥＧ復号部１から出力されたＪＰＥＧ復号画像信号を内部のフレームバッファ２ａに蓄積する（ステップＳＴ３）。
また、Ｈ．２６４符号化部２は、ＪＰＥＧ復号画像信号に対する符号化方式が画面内符号化であると判別すると、ＪＰＥＧ復号部１により入力されたＪＰＥＧストリームが画面内符号化されたピクチャとみなし、そのＪＰＥＧストリームが多重化ストリームに多重化されるようにするために、Ｈ．２６４方式の画面内符号化を選択した旨を示す符号化情報をＪＰＥＧ復号部１に通知する（ステップＳＴ４）。
ＪＰＥＧ復号部１は、Ｈ．２６４符号化部２からＨ．２６４方式の画面内符号化を選択した旨を示す符号化情報を受けると、入力したＪＰＥＧストリームをＪＰＥＧ／Ｈ．２６４多重化部３に出力する。
また、Ｈ．２６４符号化部２は、ＪＰＥＧ復号画像信号に対する符号化方式が画面内符号化であると判別すると、ＪＰＥＧ復号部１により入力されたＪＰＥＧストリームが画面内符号化されたピクチャとみなし、そのＪＰＥＧストリームが多重化ストリームに多重化されるようにするために、Ｈ．２６４方式の画面内符号化を選択した旨を示す符号化情報をＪＰＥＧ復号部１に通知する（ステップＳＴ４）。
ＪＰＥＧ復号部１は、Ｈ．２６４符号化部２からＨ．２６４方式の画面内符号化を選択した旨を示す符号化情報を受けると、入力したＪＰＥＧストリームをＪＰＥＧ／Ｈ．２６４多重化部３に出力する。
Ｈ．２６４符号化部２は、ＪＰＥＧ復号画像信号に対する符号化方式が画面間符号化であると判別すると、フレームバッファ２ａに蓄積されている過去のＪＰＥＧ復号画像信号の中で、最新のＪＰＥＧ復号画像信号を参照画像として利用して、ＪＰＥＧ復号部１から出力されたＪＰＥＧ復号画像信号をＨ．２６４方式で画面間符号化する（ステップＳＴ５）。
また、Ｈ．２６４符号化部２は、そのＪＰＥＧ復号画像信号の符号化結果を示すＨ．２６４ストリームをＪＰＥＧ／Ｈ．２６４多重化部３に出力し（ステップＳＴ６）、ＪＰＥＧ復号部１から出力されたＪＰＥＧ復号画像信号を内部のフレームバッファ２ａに蓄積する。
また、Ｈ．２６４符号化部２は、そのＪＰＥＧ復号画像信号の符号化結果を示すＨ．２６４ストリームをＪＰＥＧ／Ｈ．２６４多重化部３に出力し（ステップＳＴ６）、ＪＰＥＧ復号部１から出力されたＪＰＥＧ復号画像信号を内部のフレームバッファ２ａに蓄積する。
ＪＰＥＧ／Ｈ．２６４多重化部３は、ＪＰＥＧ復号部１から出力されたＪＰＥＧストリームと、Ｈ．２６４符号化部２から出力されたＨ．２６４ストリームとを多重化して、多重化ストリームを出力する。
ここで、図４はＪＰＥＧ／Ｈ．２６４多重化部３から出力される多重化ストリームの構造を示す説明図である。
ここで、図４はＪＰＥＧ／Ｈ．２６４多重化部３から出力される多重化ストリームの構造を示す説明図である。
ＪＰＥＧ／Ｈ．２６４多重化部３は、図４に示すように、ピクチャ毎に、ＪＰＥＧ方式におけるＪＰＥＧデータの先頭を示すバイナリ値であるＦＦＤ８と、ＪＰＥＧデータの終了を示すバイナリ値であるＦＦＤ９を付加したストリームを出力する。
ＪＰＥＧストリームであれば、ＦＦＤ８以降にＪＰＥＧのマーカを示すバイナリ値ＦＦが続き、Ｈ．２６４符号化方式であれば、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）Ｕｎｉｔの先頭を示すバイナリ値００が続く構造となる。
また、ＪＰＥＧストリームの直後のＨ．２６４ストリームには、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）と、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）が付加されている。
ＪＰＥＧストリームであれば、ＦＦＤ８以降にＪＰＥＧのマーカを示すバイナリ値ＦＦが続き、Ｈ．２６４符号化方式であれば、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）Ｕｎｉｔの先頭を示すバイナリ値００が続く構造となる。
また、ＪＰＥＧストリームの直後のＨ．２６４ストリームには、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）と、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）が付加されている。
以上で明らかなように、この実施の形態１によれば、ＪＰＥＧストリームを復号してＪＰＥＧ復号画像信号を取得し、そのＪＰＥＧ復号画像信号をＨ．２６４符号化部２に出力する一方、Ｈ．２６４符号化部２からＨ．２６４方式の画面内符号化を選択した旨を示す符号化情報を受けると、そのＪＰＥＧストリームをＪＰＥＧ／Ｈ．２６４多重化部３に出力するＪＰＥＧ復号部１と、Ｈ．２６４方式の画面内符号化を選択する場合、ＪＰＥＧ復号部１により取得されたＪＰＥＧ復号画像信号を内部のフレームバッファ２ａに蓄積して、Ｈ．２６４方式の画面内符号化を選択した旨を示す符号化情報をＪＰＥＧ復号部１に通知し、Ｈ．２６４方式の画面間符号化を選択する場合、そのフレームバッファ２ａに蓄積されている過去のＪＰＥＧ復号画像信号を参照画像として利用して、ＪＰＥＧ復号部１により取得されたＪＰＥＧ復号画像信号をＨ．２６４方式で画面間符号化し、そのＪＰＥＧ復号画像信号の符号化結果を示すＨ．２６４ストリームをＪＰＥＧ／Ｈ．２６４多重化部３に出力するとともに、そのＪＰＥＧ復号画像信号を内部のフレームバッファ２ａに蓄積するＨ．２６４符号化部２とを設け、ＪＰＥＧ／Ｈ．２６４多重化部３が、ＪＰＥＧ復号部１から出力されたＪＰＥＧストリームとＨ．２６４符号化部２から出力されたＨ．２６４ストリームを多重化して、多重化ストリームを出力するように構成したので、符号化方式を変換する際の画質劣化を抑止することができるとともに、変換速度の高速化を図ることができる効果を奏する。
即ち、この実施の形態１によれば、ＪＰＥＧ方式で符号化されたＪＰＥＧストリームからＨ．２６４ストリームに変換する際、画面間符号化を行う際の参照画像（画面内符号化のピクチャ）として、ＪＰＥＧの復号画像信号をそのまま使用しているので、画質の劣化を抑止することができる。
また、Ｈ．２６４方式の画面内符号化を選択する場合、Ｈ．２６４方式の画面内符号化処理を行わず、ＪＰＥＧ復号部１により入力されたＪＰＥＧストリームを多重化ストリームに多重化するようにしているので、変換速度の高速化を図ることができる。
また、Ｈ．２６４方式の画面内符号化を選択する場合、Ｈ．２６４方式の画面内符号化処理を行わず、ＪＰＥＧ復号部１により入力されたＪＰＥＧストリームを多重化ストリームに多重化するようにしているので、変換速度の高速化を図ることができる。
なお、この実施の形態１では、画像符号化方式をＪＰＥＧ方式からＨ．２６４方式に変換するものについて示したが、これは一例に過ぎず、同様の変換方法を用いて、Ｉピクチャのみで構成されているＭＰＥＧ−２，ＭＰＥＧ−４方式からＨ．２６４方式に変換するようにしてもよい。
実施の形態２．
上記実施の形態１では、ＪＰＥＧストリームとＨ．２６４ストリームにＪＰＥＧのマーカを付加して多重化しているものについて示したが、ＪＰＥＧストリームのＪＰＥＧ符号化情報（ＪＰＥＧストリームに関する符号化の情報）と、Ｈ．２６４ストリームのＨ．２６４符号化情報（Ｈ．２６４ストリームに関する符号化の情報）とを多重化することで、多重化ストリームをＭＰ４ファイルフォーマット形式（ＩＳＯ／ＩＥＣ１４４９６−１４）にしてもよい。
上記実施の形態１では、ＪＰＥＧストリームとＨ．２６４ストリームにＪＰＥＧのマーカを付加して多重化しているものについて示したが、ＪＰＥＧストリームのＪＰＥＧ符号化情報（ＪＰＥＧストリームに関する符号化の情報）と、Ｈ．２６４ストリームのＨ．２６４符号化情報（Ｈ．２６４ストリームに関する符号化の情報）とを多重化することで、多重化ストリームをＭＰ４ファイルフォーマット形式（ＩＳＯ／ＩＥＣ１４４９６−１４）にしてもよい。
図５はこの発明の実施の形態２による画像符号化方式変換装置を示す構成図である。
図５において、ＪＰＥＧ復号部１１は、図１のＪＰＥＧ復号部１と同様に、ＪＰＥＧ方式で画面内符号化されている画像信号の符号化結果を示すＪＰＥＧストリームを入力すると、そのＪＰＥＧストリームを復号してＪＰＥＧ復号画像信号を取得し、そのＪＰＥＧ復号画像信号をＨ．２６４符号化部１２に出力する処理を実施する。
また、ＪＰＥＧ復号部１１はＨ．２６４符号化部１２からＨ．２６４方式の画面内符号化を選択した旨を示す符号化情報を受けると、そのＪＰＥＧストリームをＪＰＥＧ／Ｈ．２６４多重化部１３に出力するとともに、そのＪＰＥＧストリームのＪＰＥＧ符号化情報をＪＰＥＧ／Ｈ．２６４多重化部１３に出力する処理を実施する。
なお、ＪＰＥＧ復号部１１は画像復号手段を構成している。
図５において、ＪＰＥＧ復号部１１は、図１のＪＰＥＧ復号部１と同様に、ＪＰＥＧ方式で画面内符号化されている画像信号の符号化結果を示すＪＰＥＧストリームを入力すると、そのＪＰＥＧストリームを復号してＪＰＥＧ復号画像信号を取得し、そのＪＰＥＧ復号画像信号をＨ．２６４符号化部１２に出力する処理を実施する。
また、ＪＰＥＧ復号部１１はＨ．２６４符号化部１２からＨ．２６４方式の画面内符号化を選択した旨を示す符号化情報を受けると、そのＪＰＥＧストリームをＪＰＥＧ／Ｈ．２６４多重化部１３に出力するとともに、そのＪＰＥＧストリームのＪＰＥＧ符号化情報をＪＰＥＧ／Ｈ．２６４多重化部１３に出力する処理を実施する。
なお、ＪＰＥＧ復号部１１は画像復号手段を構成している。
Ｈ．２６４符号化部１２は図１のＨ．２６４符号化部２と同様に、Ｈ．２６４方式の画面内符号化を選択する場合、ＪＰＥＧ復号部１１により取得されたＪＰＥＧ復号画像信号を内部のフレームバッファ１２ａ（メモリ）に蓄積して、Ｈ．２６４方式の画面内符号化を選択した旨を示す符号化情報をＪＰＥＧ復号部１１に通知する処理を実施する。一方、Ｈ．２６４方式の画面間符号化を選択する場合、そのフレームバッファ１２ａに蓄積されている過去のＪＰＥＧ復号画像信号を参照画像として利用して、ＪＰＥＧ復号部１１により取得されたＪＰＥＧ復号画像信号をＨ．２６４方式で画面間符号化し、そのＪＰＥＧ復号画像信号の符号化結果を示すＨ．２６４ストリームをＪＰＥＧ／Ｈ．２６４多重化部１３に出力するとともに、Ｈ．２６４符号化情報（例えば、ＪＰＥＧ復号画像信号に対する符号化方式が、Ｈ．２６４方式の画面内符号化であるのか、画面間符号化であるのかを示す情報）をＪＰＥＧ／Ｈ．２６４多重化部１３に出力し、また、そのＪＰＥＧ復号画像信号を内部のフレームバッファ１２ａに蓄積する処理を実施する。
なお、Ｈ．２６４符号化部１２は画像符号化手段を構成している。
なお、Ｈ．２６４符号化部１２は画像符号化手段を構成している。
ＪＰＥＧ／Ｈ．２６４多重化部１３はＪＰＥＧ復号部１１から出力されたＪＰＥＧストリーム及びＪＰＥＧ符号化情報と、Ｈ．２６４符号化部１２から出力されたＨ．２６４ストリーム及びＨ．２６４符号化情報とを多重化して、多重化ストリームを出力する処理を実施する。
なお、ＪＰＥＧ／Ｈ．２６４多重化部１３は多重化手段を構成している。
なお、ＪＰＥＧ／Ｈ．２６４多重化部１３は多重化手段を構成している。
図５では、画像符号化方式変換装置の構成要素であるＪＰＥＧ復号部１１、Ｈ．２６４符号化部１２及びＪＰＥＧ／Ｈ．２６４多重化部１３がそれぞれ専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化方式変換装置がコンピュータで構成される場合、ＪＰＥＧ復号部１１、Ｈ．２６４符号化部１２及びＪＰＥＧ／Ｈ．２６４多重化部１３の処理内容が記述されているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図５の画像符号化方式変換装置の基本的な処理内容は、図１の画像符号化方式変換装置と同様であり、ＪＰＥＧストリームとＨ．２６４ストリームをＭＰ４ファイルフォーマット形式に多重化するようにしている点で相違している。
以下に、ＭＰ４ファイルフォーマットについて説明をする。
ＭＰ４では、ストリームのヘッダ情報やメディアデータが、Ｂｏｘと呼ばれるオブジェクト単位で格納される。
以下に、ＭＰ４ファイルフォーマットについて説明をする。
ＭＰ４では、ストリームのヘッダ情報やメディアデータが、Ｂｏｘと呼ばれるオブジェクト単位で格納される。
図６はＢｏｘの構造を示す説明図である。
Ｂｏｘは、ｓｉｚｅフィールドと、ｔｙｐｅフィールドと、ｖｅｒｓｉｏｎフィールドと、ｆｌａｇｓフィールドと、データフィールドとを含んでいる。
ｓｉｚｅフィールドは、ｓｉｚｅフィールド自身を含めたＢｏｘ全体のサイズが格納されるエリアである。
ｔｙｐｅフィールドは、Ｂｏｘの識別子（通常はアルファベット４文字）が格納されるエリアであり、ＭＰ４ファイル内でのＢｏｘの検索は、ｔｙｐｅフィールドの識別子により行われる。
また、ｖｅｒｓｉｏｎフィールドは、Ｂｏｘのバージョン番号が格納されるエリアである。
ｆｌａｇｓフィールドは、Ｂｏｘ毎に設定されるフラグ情報が格納されるエリアである。
また、データフィールドは、ヘッダ情報やメディア情報が格納されるエリアである。
なお、ｖｅｒｓｉｏｎフィールドとｆｌａｇｓフィールドは、Ｂｏｘによっては存在しないこともある。
以後、Ｂｏｘの名称は、ｔｙｐｅフィールドの識別子で呼ぶこととする。例えば、識別子が‘ｍｏｏｖ’であるＢｏｘは‘ｍｏｏｖ’と称する。
Ｂｏｘは、ｓｉｚｅフィールドと、ｔｙｐｅフィールドと、ｖｅｒｓｉｏｎフィールドと、ｆｌａｇｓフィールドと、データフィールドとを含んでいる。
ｓｉｚｅフィールドは、ｓｉｚｅフィールド自身を含めたＢｏｘ全体のサイズが格納されるエリアである。
ｔｙｐｅフィールドは、Ｂｏｘの識別子（通常はアルファベット４文字）が格納されるエリアであり、ＭＰ４ファイル内でのＢｏｘの検索は、ｔｙｐｅフィールドの識別子により行われる。
また、ｖｅｒｓｉｏｎフィールドは、Ｂｏｘのバージョン番号が格納されるエリアである。
ｆｌａｇｓフィールドは、Ｂｏｘ毎に設定されるフラグ情報が格納されるエリアである。
また、データフィールドは、ヘッダ情報やメディア情報が格納されるエリアである。
なお、ｖｅｒｓｉｏｎフィールドとｆｌａｇｓフィールドは、Ｂｏｘによっては存在しないこともある。
以後、Ｂｏｘの名称は、ｔｙｐｅフィールドの識別子で呼ぶこととする。例えば、識別子が‘ｍｏｏｖ’であるＢｏｘは‘ｍｏｏｖ’と称する。
図７はＭＰ４ファイルの構造を示すデータ構造図である。
ＭＰ４ファイルは、図７（ａ）に示すように、‘ｆｔｙｐ’、‘ｍｏｏｖ’、‘ｍｄａｔ’の３つのＢｏｘで構成されており、この３つのＢｏｘはＭＰ４において必須となっている。
‘ｆｔｙｐ’は、ファイルの先頭に配置され、‘ｍｏｏｖ’と‘ｍｄａｔ’の順番はどちらが先でもよい。
‘ｆｔｙｐ’は、ＭＰ４ファイルを識別するための情報を含み、‘ｍｄａｔ’は、ビデオやオーディオなどのメディアデータをサンプル単位で格納する。
なお、‘ｍｄａｔ’に含まれるメディアデータはトラックと呼ばれ、各トラックはトラックＩＤにより識別される。
ＭＰ４ファイルは、図７（ａ）に示すように、‘ｆｔｙｐ’、‘ｍｏｏｖ’、‘ｍｄａｔ’の３つのＢｏｘで構成されており、この３つのＢｏｘはＭＰ４において必須となっている。
‘ｆｔｙｐ’は、ファイルの先頭に配置され、‘ｍｏｏｖ’と‘ｍｄａｔ’の順番はどちらが先でもよい。
‘ｆｔｙｐ’は、ＭＰ４ファイルを識別するための情報を含み、‘ｍｄａｔ’は、ビデオやオーディオなどのメディアデータをサンプル単位で格納する。
なお、‘ｍｄａｔ’に含まれるメディアデータはトラックと呼ばれ、各トラックはトラックＩＤにより識別される。
ＭＰ４では、サンプルと呼ばれる単位でデータが取り扱われる。ビデオデータやオーディオの１フレーム又は複数フレームが１サンプルに相当する。
‘ｍｏｏｖ’には、‘ｍｄａｔ’の各トラックに含まれるサンプルについてのヘッダ情報が格納される。
図７（ｂ）に示すように、‘ｍｏｏｖ’内にはＢｏｘが階層的に配置されており、ファイル全体に共通なヘッダ情報は‘ｍｖｈｄ’に格納される。
また、各メディアのトラックに関連するヘッダ情報は、それぞれに対応する‘ｔｒａｋ’の‘ｔｋｈｄ’によって示される。
‘ｍｏｏｖ’には、‘ｍｄａｔ’の各トラックに含まれるサンプルについてのヘッダ情報が格納される。
図７（ｂ）に示すように、‘ｍｏｏｖ’内にはＢｏｘが階層的に配置されており、ファイル全体に共通なヘッダ情報は‘ｍｖｈｄ’に格納される。
また、各メディアのトラックに関連するヘッダ情報は、それぞれに対応する‘ｔｒａｋ’の‘ｔｋｈｄ’によって示される。
‘ｔｒａｋ’は、図７（ｃ）のように構成され、サンプルのサイズや時間などの情報が‘ｓｔｂｌ’内の各Ｂｏｘに格納される。
‘ｓｔｓｄ’には、メディアデータの符号化フォーマット情報が格納される。
メディアフォーマットがＪＰＥＧ方式の場合は、符号化識別子‘ｊｐｅｇ’や画像の幅や高さなどが格納され、メディアフォーマットがＨ．２６４方式の場合は、符号化識別子‘ａｖｃ１’やＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）などが格納される。
また、トラックの途中から再生が開始（ランダムアクセス）されるときには、復号化が開始可能なサンプルを示す情報が必要となる。
このためのＢｏｘとして‘ｓｔｓｓ’があり、‘ｓｔｓｓ’にはランダムアクセスが可能なサンプル番号の一覧が格納される。
‘ｓｔｓｄ’には、メディアデータの符号化フォーマット情報が格納される。
メディアフォーマットがＪＰＥＧ方式の場合は、符号化識別子‘ｊｐｅｇ’や画像の幅や高さなどが格納され、メディアフォーマットがＨ．２６４方式の場合は、符号化識別子‘ａｖｃ１’やＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）などが格納される。
また、トラックの途中から再生が開始（ランダムアクセス）されるときには、復号化が開始可能なサンプルを示す情報が必要となる。
このためのＢｏｘとして‘ｓｔｓｓ’があり、‘ｓｔｓｓ’にはランダムアクセスが可能なサンプル番号の一覧が格納される。
ＪＰＥＧ／Ｈ．２６４多重化部１３では、‘ｍｄａｔ’のＢｏｘ内にＪＰＥＧストリームとＨ．２６４ストリームを順番に格納する。
‘ｍｄａｔ’内のＪＰＥＧストリームには、画像幅や高さなどの情報も含まれているため、‘ｓｔｓｄ’には、メディアフォーマットがＨ．２６４方式の場合の情報のみが格納される。
ただし、この実施の形態２では、符号化方式が、ＪＰＥＧ方式とＨ．２６４方式が多重化されているものであるため、符号化識別子が‘ａｖｃｊ’とされている。
また、‘ｓｔｓｓ’には、ランダムアクセス可能なサンプルの番号である画面内符号化されたサンプルの番号が格納される。
‘ｓｔｓｓ’に格納されている番号のサンプルはＪＰＥＧ符号化されていると判断され、格納されていない番号のサンプルはＨ．２６４符号化されていると判断される。
‘ｍｄａｔ’内のＪＰＥＧストリームには、画像幅や高さなどの情報も含まれているため、‘ｓｔｓｄ’には、メディアフォーマットがＨ．２６４方式の場合の情報のみが格納される。
ただし、この実施の形態２では、符号化方式が、ＪＰＥＧ方式とＨ．２６４方式が多重化されているものであるため、符号化識別子が‘ａｖｃｊ’とされている。
また、‘ｓｔｓｓ’には、ランダムアクセス可能なサンプルの番号である画面内符号化されたサンプルの番号が格納される。
‘ｓｔｓｓ’に格納されている番号のサンプルはＪＰＥＧ符号化されていると判断され、格納されていない番号のサンプルはＨ．２６４符号化されていると判断される。
以上で明らかなように、この実施の形態２によれば、ＪＰＥＧストリームのＪＰＥＧ符号化情報と、Ｈ．２６４ストリームのＨ．２６４符号化情報とを多重化ストリームに多重化することで、多重化ストリームをＭＰ４ファイルフォーマット形式にしているので、多重化ストリームの符号化方式を容易に判断することができるとともに、高速なランダムアクセスを容易に実現することができる効果を奏する。
なお、この実施の形態２では、画像符号化方式をＪＰＥＧ方式からＨ．２６４方式に変換するものについて示したが、同様の変換方法を用いて、Ｉピクチャのみで構成されたＭＰＥＧ−２，ＭＰＥＧ−４方式からＨ．２６４方式に変換するようにしてもよい。
実施の形態３．
図８はこの発明の実施の形態３による画像符号化方式変換装置を示す構成図である。
図８において、ＭＰＥＧ−２復号部２１はＭＰＥＧ−２方式（第１の符号化方式）で画面内符号化又は画面間符号化されている画像信号の符号化結果を示すＭＰＥＧ−２ストリーム（第１の符号化ストリーム）を入力すると、そのＭＰＥＧ−２ストリームを復号してＭＰＥＧ−２復号画像信号を取得して、そのＭＰＥＧ−２復号画像信号をＨ．２６４符号化部２２に出力するとともに、そのＭＰＥＧ−２ストリームの符号化方式が画面内符号化であるのか、画面間符号化であるのかを示すＭＰＥＧ−２符号化情報をＨ．２６４符号化部２２に出力する処理を実施する。
また、ＭＰＥＧ−２復号部２１はＭＰＥＧ−２ストリームの符号化方式が画面内符号化である場合、そのＭＰＥＧ−２ストリームをＭＰＥＧ−２／Ｈ．２６４多重化部２３に出力するとともに、ＭＰＥＧ−２符号化情報（ＭＰＥＧ−２ストリームに関する符号化の情報であり、例えば、ＭＰＥＧ−２ストリームの符号化方式が画面内符号化であるのか、画面間符号化であるのかを示す情報のほか、動きベクトル情報などを含んでいる）をＭＰＥＧ−２／Ｈ．２６４多重化部２３に出力する処理を実施する。
なお、ＭＰＥＧ−２復号部２１は画像復号手段を構成している。
図８はこの発明の実施の形態３による画像符号化方式変換装置を示す構成図である。
図８において、ＭＰＥＧ−２復号部２１はＭＰＥＧ−２方式（第１の符号化方式）で画面内符号化又は画面間符号化されている画像信号の符号化結果を示すＭＰＥＧ−２ストリーム（第１の符号化ストリーム）を入力すると、そのＭＰＥＧ−２ストリームを復号してＭＰＥＧ−２復号画像信号を取得して、そのＭＰＥＧ−２復号画像信号をＨ．２６４符号化部２２に出力するとともに、そのＭＰＥＧ−２ストリームの符号化方式が画面内符号化であるのか、画面間符号化であるのかを示すＭＰＥＧ−２符号化情報をＨ．２６４符号化部２２に出力する処理を実施する。
また、ＭＰＥＧ−２復号部２１はＭＰＥＧ−２ストリームの符号化方式が画面内符号化である場合、そのＭＰＥＧ−２ストリームをＭＰＥＧ−２／Ｈ．２６４多重化部２３に出力するとともに、ＭＰＥＧ−２符号化情報（ＭＰＥＧ−２ストリームに関する符号化の情報であり、例えば、ＭＰＥＧ−２ストリームの符号化方式が画面内符号化であるのか、画面間符号化であるのかを示す情報のほか、動きベクトル情報などを含んでいる）をＭＰＥＧ−２／Ｈ．２６４多重化部２３に出力する処理を実施する。
なお、ＭＰＥＧ−２復号部２１は画像復号手段を構成している。
Ｈ．２６４符号化部２２はＭＰＥＧ−２復号部２１から出力されたＭＰＥＧ−２符号化情報が、ＭＰＥＧ−２ストリームの符号化方式が画面内符号化である旨を示している場合、ＭＰＥＧ−２復号部２１により取得されたＭＰＥＧ−２復号画像信号を内部のフレームバッファ２２ａ（メモリ）に蓄積する処理を実施する。一方、ＭＰＥＧ−２復号部２１から出力されたＭＰＥＧ−２符号化情報が、ＭＰＥＧ−２ストリームの符号化方式が画面間符号化である旨を示している場合、そのフレームバッファ２２ａに蓄積されている過去のＭＰＥＧ−２復号画像信号を参照画像として利用して、ＭＰＥＧ−２復号部２１により取得されたＭＰＥＧ−２復号画像信号をＨ．２６４方式で画面間符号化し、そのＭＰＥＧ−２復号画像信号の符号化結果を示すＨ．２６４ストリームをＭＰＥＧ−２／Ｈ．２６４多重化部２３に出力するとともに、Ｈ．２６４符号化情報（Ｈ．２６４ストリームに関する符号化の情報であり、例えば、ＭＰＥＧ−２復号画像信号に対する符号化方式が、Ｈ．２６４方式の画面内符号化であるのか、画面間符号化であるのかを示す情報）をＭＰＥＧ−２／Ｈ．２６４多重化部２３に出力し、また、そのＭＰＥＧ−２復号画像信号を内部のフレームバッファ２２ａに蓄積する処理を実施する。
なお、Ｈ．２６４符号化部２２は画像符号化手段を構成している。
なお、Ｈ．２６４符号化部２２は画像符号化手段を構成している。
ＭＰＥＧ−２／Ｈ．２６４多重化部２３はＭＰＥＧ−２復号部２１から出力されたＭＰＥＧ−２ストリーム及びＭＰＥＧ−２符号化情報と、Ｈ．２６４符号化部２２から出力されたＨ．２６４ストリーム及びＨ．２６４符号化情報とを多重化して、多重化ストリームを出力する処理を実施する。
なお、ＭＰＥＧ−２／Ｈ．２６４多重化部２３は多重化手段を構成している。
なお、ＭＰＥＧ−２／Ｈ．２６４多重化部２３は多重化手段を構成している。
図８では、画像符号化方式変換装置の構成要素であるＭＰＥＧ−２復号部２１、Ｈ．２６４符号化部２２及びＭＰＥＧ−２／Ｈ．２６４多重化部２３がそれぞれ専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化方式変換装置がコンピュータで構成される場合、ＭＰＥＧ−２復号部２１、Ｈ．２６４符号化部２２及びＭＰＥＧ−２／Ｈ．２６４多重化部２３の処理内容が記述されているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図９はこの発明の実施の形態３による画像符号化方式変換装置のＨ．２６４符号化部２２の処理内容を示すフローチャートである。
図９はこの発明の実施の形態３による画像符号化方式変換装置のＨ．２６４符号化部２２の処理内容を示すフローチャートである。
次に動作について説明する。
最初に、ＭＰＥＧ−２方式の符号化について簡単に説明する。
ＭＰＥＧ−２方式には、画面内符号化と画面間符号化があり、画面内符号化では、ＪＰＥＧ方式と同様に、画像の画素信号を８×８ブロック単位でＤＣＴ変換し、ＤＣＴ変換後の画像信号であるＤＣＴ係数を量子化するものである。
また、画面間符号化は、マクロブロックの中の１６×１６ブロック毎に、既にＭＰＥＧ−２方式で符号化されているフレームの復号画像との差分を８×８ブロック単位でＤＣＴ変換し、ＤＣＴ変換の画像信号であるＤＣＴ係数を量子化するものである。
このとき、どのフレームの復号画像のどの位置の画素を参照しているかを示す情報も付加される。
最初に、ＭＰＥＧ−２方式の符号化について簡単に説明する。
ＭＰＥＧ−２方式には、画面内符号化と画面間符号化があり、画面内符号化では、ＪＰＥＧ方式と同様に、画像の画素信号を８×８ブロック単位でＤＣＴ変換し、ＤＣＴ変換後の画像信号であるＤＣＴ係数を量子化するものである。
また、画面間符号化は、マクロブロックの中の１６×１６ブロック毎に、既にＭＰＥＧ−２方式で符号化されているフレームの復号画像との差分を８×８ブロック単位でＤＣＴ変換し、ＤＣＴ変換の画像信号であるＤＣＴ係数を量子化するものである。
このとき、どのフレームの復号画像のどの位置の画素を参照しているかを示す情報も付加される。
ＭＰＥＧ−２方式では、画像信号をＤＣＴ変換することにより、パワーを低周波領域に集中させることができ、ＤＣＴ係数を量子化することにより、高周波成分を間引いて画像を圧縮することができる。
さらに、ＤＣＴ係数の可変長符号化を実施することにより、圧縮率を高めることができる。
さらに、ＤＣＴ係数の可変長符号化を実施することにより、圧縮率を高めることができる。
図１０はＭＰＥＧ−２復号部２１により入力されるＭＰＥＧ−２ストリームの概要を示す説明図である。
図１１はＭＰＥＧ−２／Ｈ．２６４多重化部２３から出力される多重化ストリームの概要を示す説明図である。
ＭＰＥＧ−２復号部２１により入力されるＭＰＥＧ−２ストリームと、ＭＰＥＧ−２／Ｈ．２６４多重化部２３から出力される多重化ストリームとにおいて、Ｉ，Ｐ，Ｂピクチャの構成は同様である。
ただし、ＭＰＥＧ−２／Ｈ．２６４多重化部２３から出力される多重化ストリーム内のＭＰＥＧ−２ストリームは、Ｈ．２６４符号化部２２でＨ．２６４方式の画面内符号化が行われるとき、ＭＰＥＧ−２復号部２１から出力されるＭＰＥＧ−２ストリームであり、Ｈ．２６４方式において、参照画像を持たずに画面内予測符号化を行うＩピクチャの役割を果たすものである。
図１１はＭＰＥＧ−２／Ｈ．２６４多重化部２３から出力される多重化ストリームの概要を示す説明図である。
ＭＰＥＧ−２復号部２１により入力されるＭＰＥＧ−２ストリームと、ＭＰＥＧ−２／Ｈ．２６４多重化部２３から出力される多重化ストリームとにおいて、Ｉ，Ｐ，Ｂピクチャの構成は同様である。
ただし、ＭＰＥＧ−２／Ｈ．２６４多重化部２３から出力される多重化ストリーム内のＭＰＥＧ−２ストリームは、Ｈ．２６４符号化部２２でＨ．２６４方式の画面内符号化が行われるとき、ＭＰＥＧ−２復号部２１から出力されるＭＰＥＧ−２ストリームであり、Ｈ．２６４方式において、参照画像を持たずに画面内予測符号化を行うＩピクチャの役割を果たすものである。
ＭＰＥＧ−２／Ｈ．２６４多重化部２３から出力される多重化ストリーム内のＨ．２６４ストリームは、Ｈ．２６４符号化部２２でＨ．２６４方式の画面間符号化が行われるとき、Ｈ．２６４符号化部２２から出力されるＨ．２６４ストリームである。
Ｐピクチャは、時間軸的に過去のピクチャとなるＩピクチャ又はＰピクチャを参照して画面間予測符号化を行うものである。
Ｂピクチャは、時間的に過去と未来の両方向のＩピクチャ又はＰピクチャを参照して画面間予測符号化を行うものである。
Ｐピクチャは、時間軸的に過去のピクチャとなるＩピクチャ又はＰピクチャを参照して画面間予測符号化を行うものである。
Ｂピクチャは、時間的に過去と未来の両方向のＩピクチャ又はＰピクチャを参照して画面間予測符号化を行うものである。
以下、図９のフローチャートを参照しながら、図８の画像符号化方式変換装置の処理内容を具体的に説明する。
ＭＰＥＧ−２復号部２１は、ＭＰＥＧ−２方式で画面内符号化又は画面間符号化されている画像信号の符号化結果を示すＭＰＥＧ−２ストリームを入力すると、そのＭＰＥＧ−２ストリームのＭＰＥＧ−２符号化情報を復号するとともに、そのＭＰＥＧ−２ストリームを画素信号に復号することでＭＰＥＧ−２復号画像信号を取得する。
ＭＰＥＧ−２復号部２１は、ＭＰＥＧ−２方式で画面内符号化又は画面間符号化されている画像信号の符号化結果を示すＭＰＥＧ−２ストリームを入力すると、そのＭＰＥＧ−２ストリームのＭＰＥＧ−２符号化情報を復号するとともに、そのＭＰＥＧ−２ストリームを画素信号に復号することでＭＰＥＧ−２復号画像信号を取得する。
ＭＰＥＧ−２復号部２１は、ＭＰＥＧ−２復号画像信号を取得すると、そのＭＰＥＧ−２復号画像信号をＨ．２６４符号化部２２に出力するとともに、そのＭＰＥＧ−２ストリームの符号化方式が画面内符号化であるのか、画面間符号化であるのかを示すＭＰＥＧ−２符号化情報をＨ．２６４符号化部２２に出力する。
また、ＭＰＥＧ−２復号部２１は、ＭＰＥＧ−２ストリームの符号化方式が画面内符号化である場合、そのＭＰＥＧ−２ストリームをＭＰＥＧ−２／Ｈ．２６４多重化部２３に出力するとともに、そのＭＰＥＧ−２符号化情報をＭＰＥＧ−２／Ｈ．２６４多重化部２３に出力する。
また、ＭＰＥＧ−２復号部２１は、ＭＰＥＧ−２ストリームの符号化方式が画面内符号化である場合、そのＭＰＥＧ−２ストリームをＭＰＥＧ−２／Ｈ．２６４多重化部２３に出力するとともに、そのＭＰＥＧ−２符号化情報をＭＰＥＧ−２／Ｈ．２６４多重化部２３に出力する。
Ｈ．２６４符号化部２２は、ＭＰＥＧ−２復号部２１からＭＰＥＧ−２復号画像信号とＭＰＥＧ−２符号化情報を受けると（ステップＳＴ１１）、そのＭＰＥＧ−２符号化情報を参照して、そのＭＰＥＧ−２ストリームの符号化方式が画面内符号化であるのか、画面間符号化であるのかを判別する（ステップＳＴ１２）。
Ｈ．２６４符号化部２２は、ＭＰＥＧ−２ストリームの符号化方式が画面内符号化である場合、ＭＰＥＧ−２復号部２１から出力されたＭＰＥＧ−２復号画像信号を内部のフレームバッファ２２ａに蓄積する（ステップＳＴ１３）。
Ｈ．２６４符号化部２２は、ＭＰＥＧ−２ストリームの符号化方式が画面内符号化である場合、ＭＰＥＧ−２復号部２１から出力されたＭＰＥＧ−２復号画像信号を内部のフレームバッファ２２ａに蓄積する（ステップＳＴ１３）。
Ｈ．２６４符号化部２２は、ＭＰＥＧ−２ストリームの符号化方式が画面間符号化である場合、フレームバッファ２２ａに蓄積されている過去のＭＰＥＧ−２復号画像信号の中で、最新のＭＰＥＧ−２復号画像信号を参照画像として利用して、ＭＰＥＧ−２復号部２１から出力されたＭＰＥＧ−２復号画像信号をＨ．２６４方式で画面間符号化する（ステップＳＴ１４）。
このとき、Ｈ．２６４符号化部２２は、ＭＰＥＧ−２復号部２１から出力されたＭＰＥＧ−２符号化情報の動きベクトル情報を利用して、Ｈ．２６４方式の画面間符号化の動き補償に係る処理を簡易化するようにしてもよい。
このとき、Ｈ．２６４符号化部２２は、ＭＰＥＧ−２復号部２１から出力されたＭＰＥＧ−２符号化情報の動きベクトル情報を利用して、Ｈ．２６４方式の画面間符号化の動き補償に係る処理を簡易化するようにしてもよい。
また、Ｈ．２６４符号化部２２は、そのＭＰＥＧ−２復号画像信号の符号化結果を示すＨ．２６４ストリームをＭＰＥＧ−２／Ｈ．２６４多重化部２３に出力するとともに、ＭＰＥＧ−２復号画像信号に対する符号化方式が画面内符号化であるのか、画面間符号化であるのかを示すＨ．２６４符号化情報をＭＰＥＧ−２／Ｈ．２６４多重化部２３に出力し（ステップＳＴ１５）、また、ＭＰＥＧ−２復号部２１から出力されたＭＰＥＧ−２復号画像信号を内部のフレームバッファ２２ａに蓄積する。
ＭＰＥＧ−２／Ｈ．２６４多重化部２３は、ＭＰＥＧ−２復号部２１から出力されたＭＰＥＧ−２ストリーム及びＭＰＥＧ−２符号化情報と、Ｈ．２６４符号化部２２から出力されたＨ．２６４ストリーム及びＨ．２６４符号化情報とを多重化して、多重化ストリームを出力する。
即ち、ＭＰＥＧ−２／Ｈ．２６４多重化部２３は、ＭＰ４ファイルの‘ｍｄａｔ’内にＭＰＥＧ−２ストリームとＨ．２６４ストリームを順番に格納する。
即ち、ＭＰＥＧ−２／Ｈ．２６４多重化部２３は、ＭＰ４ファイルの‘ｍｄａｔ’内にＭＰＥＧ−２ストリームとＨ．２６４ストリームを順番に格納する。
なお、‘ｍｄａｔ’内のＭＰＥＧ−２ストリームには、スライスヘッダ情報も同時に入れるものとし、‘ｓｔｓｄ’には、メディアフォーマットがＨ．２６４方式の場合の情報のみが格納される。
ただし、この実施の形態３では、符号化方式が、ＭＰＥＧ−２方式とＨ．２６４方式が多重化されているものであるため符号化識別子を‘ａｖｃｍ’とされる。
また、‘ｓｔｓｓ’には、ランダムアクセス可能なサンプルの番号である画面内符号化されたサンプルの番号が格納される。
‘ｓｔｓｓ’に格納されている番号のサンプルはＭＰＥＧ−２符号化されていると判断され、格納されていない番号のサンプルはＨ．２６４符号化されていると判断される。
ただし、この実施の形態３では、符号化方式が、ＭＰＥＧ−２方式とＨ．２６４方式が多重化されているものであるため符号化識別子を‘ａｖｃｍ’とされる。
また、‘ｓｔｓｓ’には、ランダムアクセス可能なサンプルの番号である画面内符号化されたサンプルの番号が格納される。
‘ｓｔｓｓ’に格納されている番号のサンプルはＭＰＥＧ−２符号化されていると判断され、格納されていない番号のサンプルはＨ．２６４符号化されていると判断される。
以上で明らかなように、この実施の形態３によれば、ＭＰＥＧ−２方式で画面内符号化又は画面間符号化されている画像信号の符号化結果を示すＭＰＥＧ−２ストリームを入力すると、そのＭＰＥＧ−２ストリームを復号してＭＰＥＧ−２復号画像信号を取得し、その画像信号がＭＰＥＧ−２方式で画面内符号化されている場合、ＭＰＥＧ−２ストリームをＭＰＥＧ−２／Ｈ．２６４多重化部２３に出力するＭＰＥＧ−２復号部２１と、その画像信号がＭＰＥＧ−２方式で画面内符号化されている場合、ＭＰＥＧ−２復号部２１により取得されたＭＰＥＧ−２復号画像信号をフレームバッファ２２ａに蓄積し、その画像信号がＭＰＥＧ−２方式で画面間符号化されている場合、フレームバッファ２２ａに蓄積されている過去のＭＰＥＧ−２復号画像信号を参照画像として利用して、ＭＰＥＧ−２復号部２１により取得されたＭＰＥＧ−２復号画像信号をＨ．２６４方式で画面間符号化し、そのＭＰＥＧ−２復号画像信号の符号化結果を示すＨ．２６４ストリームをＭＰＥＧ−２／Ｈ．２６４多重化部２３に出力するＨ．２６４符号化部２２とを設け、ＭＰＥＧ−２／Ｈ．２６４多重化部２３が、ＭＰＥＧ−２復号部２１から出力されたＭＰＥＧ−２ストリーム及びＭＰＥＧ−２符号化情報と、Ｈ．２６４符号化部２２から出力されたＨ．２６４ストリーム及びＨ．２６４符号化情報とを多重化して、多重化ストリームを出力するように構成したので、符号化方式を変換する際の画質劣化を抑止することができるとともに、変換速度の高速化を図ることができる効果を奏する。
即ち、この実施の形態３によれば、ＭＰＥＧ−２方式で符号化されたＭＰＥＧ−２ストリームからＨ．２６４ストリームに変換する際、画面間符号化を行う際の参照画像（画面内符号化のピクチャ）として、ＭＰＥＧ−２の復号画像信号をそのまま使用しているので、画質の劣化を抑止することができる。
また、Ｈ．２６４方式の画面内符号化を選択する場合、Ｈ．２６４方式の画面内符号化処理を行わず、ＭＰＥＧ−２復号部２１により入力されたＭＰＥＧ−２を多重化ストリームに多重化するようにしているので、変換速度の高速化を図ることができる。
また、Ｈ．２６４方式の画面内符号化を選択する場合、Ｈ．２６４方式の画面内符号化処理を行わず、ＭＰＥＧ−２復号部２１により入力されたＭＰＥＧ−２を多重化ストリームに多重化するようにしているので、変換速度の高速化を図ることができる。
なお、この実施の形態３では、画像符号化方式をＭＰＥＧ−２方式からＨ．２６４に変換するものについて示したが、これは一例に過ぎず、同様の変換方法を用いて、ＭＰＥＧ−４方式からＨ．２６４方式に変換するようにしてもよい。
実施の形態４．
図１２はこの発明の実施の形態４による画像符号化方式変換装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
ＪＰＥＧ符号化部３２はＪＰＥＧ復号部３１から出力されたＪＰＥＧストリームのＪＰＥＧ符号化情報を参照して、そのＪＰＥＧストリームの符号量を把握し、そのＪＰＥＧストリームの符号量が予め設定されている基準符号量（例えば、装置を使用するユーザにより指定された符号量）を超えている場合、ＪＰＥＧストリームの符号量が基準符号量以下となるように、ＪＰＥＧ復号部３１から出力されたＪＰＥＧ復号画像信号をＪＰＥＧ方式で再度画面内符号化し、再符号化後のＪＰＥＧストリーム（以降、「再符号化ＪＰＥＧストリーム」と称する）をＪＰＥＧ復号部３１に出力する処理を実施する。
なお、ＪＰＥＧ符号化部３２は再符号化手段を構成している。
図１２はこの発明の実施の形態４による画像符号化方式変換装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
ＪＰＥＧ符号化部３２はＪＰＥＧ復号部３１から出力されたＪＰＥＧストリームのＪＰＥＧ符号化情報を参照して、そのＪＰＥＧストリームの符号量を把握し、そのＪＰＥＧストリームの符号量が予め設定されている基準符号量（例えば、装置を使用するユーザにより指定された符号量）を超えている場合、ＪＰＥＧストリームの符号量が基準符号量以下となるように、ＪＰＥＧ復号部３１から出力されたＪＰＥＧ復号画像信号をＪＰＥＧ方式で再度画面内符号化し、再符号化後のＪＰＥＧストリーム（以降、「再符号化ＪＰＥＧストリーム」と称する）をＪＰＥＧ復号部３１に出力する処理を実施する。
なお、ＪＰＥＧ符号化部３２は再符号化手段を構成している。
ＪＰＥＧ復号部３１は図１のＪＰＥＧ復号部１と同様の処理を実施する他に、ＪＰＥＧストリームのＪＰＥＧ符号化情報とＪＰＥＧ復号画像信号をＪＰＥＧ符号化部３２に出力する処理と、ＪＰＥＧ符号化部３２から再符号化ＪＰＥＧストリームを受けると、ＪＰＥＧストリームの代わりに、再符号化ＪＰＥＧストリームをＪＰＥＧ／Ｈ．２６４多重化部３に出力し、また、再符号化ＪＰＥＧストリームを復号してＪＰＥＧ復号画像信号を取得し、そのＪＰＥＧ復号画像信号をＨ．２６４符号化部２に出力する処理を実施する。
なお、ＪＰＥＧ復号部３１は画像復号手段を構成している。
なお、ＪＰＥＧ復号部３１は画像復号手段を構成している。
図１２では、画像符号化方式変換装置の構成要素であるＪＰＥＧ復号部３１、Ｈ．２６４符号化部２、ＪＰＥＧ／Ｈ．２６４多重化部３及びＪＰＥＧ符号化部３２がそれぞれ専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化方式変換装置がコンピュータで構成される場合、ＪＰＥＧ復号部３１、Ｈ．２６４符号化部２、ＪＰＥＧ／Ｈ．２６４多重化部３及びＪＰＥＧ符号化部３２の処理内容が記述されているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
次に動作について説明する。
ＪＰＥＧ復号部３１は、ＪＰＥＧ方式で画面内符号化されている画像信号の符号化結果を示すＪＰＥＧストリームを入力すると、そのＪＰＥＧストリームを画素信号に復号することでＪＰＥＧ復号画像信号を取得し、そのＪＰＥＧ復号画像信号をＪＰＥＧ符号化部３２に出力する。
また、ＪＰＥＧ復号部３１は、ＪＰＥＧストリームのＪＰＥＧ符号化情報をＪＰＥＧ符号化部３２に出力する。
ＪＰＥＧ復号部３１は、ＪＰＥＧ方式で画面内符号化されている画像信号の符号化結果を示すＪＰＥＧストリームを入力すると、そのＪＰＥＧストリームを画素信号に復号することでＪＰＥＧ復号画像信号を取得し、そのＪＰＥＧ復号画像信号をＪＰＥＧ符号化部３２に出力する。
また、ＪＰＥＧ復号部３１は、ＪＰＥＧストリームのＪＰＥＧ符号化情報をＪＰＥＧ符号化部３２に出力する。
ＪＰＥＧ符号化部３２は、ＪＰＥＧ復号部３１からＪＰＥＧストリームのＪＰＥＧ符号化情報を受けると、そのＪＰＥＧ符号化情報を参照して、そのＪＰＥＧストリームの符号量を把握し、そのＪＰＥＧストリームの符号量が予め設定されている基準符号量を超えているか否かを判断する。
ここで、ＪＰＥＧ復号部３１から出力されるＪＰＥＧ符号化情報は、例えば、ＪＰＥＧストリームの量子化テーブル（８×８の行列）や、ＤＣＴ係数（８×８ブロック単位）などが該当する。
ここで、ＪＰＥＧ復号部３１から出力されるＪＰＥＧ符号化情報は、例えば、ＪＰＥＧストリームの量子化テーブル（８×８の行列）や、ＤＣＴ係数（８×８ブロック単位）などが該当する。
ＪＰＥＧ符号化部３２は、そのＪＰＥＧストリームの符号量が予め設定されている基準符号量を超えている場合、ＪＰＥＧストリームの符号量が基準符号量以下となるように、ＪＰＥＧ復号部３１から出力されたＪＰＥＧ復号画像信号をＪＰＥＧ方式で再度画面内符号化し、再符号化後のＪＰＥＧストリームである再符号化ＪＰＥＧストリームをＪＰＥＧ復号部３１に出力する。
例えば、下記の式（１）に示すように、そのＪＰＥＧストリームの量子化テーブルの値Ｑijが２倍になるように変更して、ＤＣＴ係数の全ての成分を間引くようにすれば、そのＪＰＥＧストリームの符号量を下げることができる。
Ｑ’ij＝２×Ｑij （１）
０≦ｉ，ｊ≦７
例えば、下記の式（１）に示すように、そのＪＰＥＧストリームの量子化テーブルの値Ｑijが２倍になるように変更して、ＤＣＴ係数の全ての成分を間引くようにすれば、そのＪＰＥＧストリームの符号量を下げることができる。
Ｑ’ij＝２×Ｑij （１）
０≦ｉ，ｊ≦７
また、例えば、下記の式（２）に示すように、ＤＣＴ係数の低周波成分については、そのままにして、高周波成分をより間引くように、高周波成分の量子化テーブルの値Ｑijを大きくする重み係数ｗijを設定すれば、そのＪＰＥＧストリームの符号量を下げることができる。
Ｑ’ij＝ｗij×Ｑij （２）
ただし、ｗijは、量子化テーブルＱ’ijを決定するための重み係数であり、ＪＰＥＧ符号化情報のＤＣＴ係数などに基づいて算出する。
Ｑ’ij＝ｗij×Ｑij （２）
ただし、ｗijは、量子化テーブルＱ’ijを決定するための重み係数であり、ＪＰＥＧ符号化情報のＤＣＴ係数などに基づいて算出する。
ＪＰＥＧ復号部３１は、Ｈ．２６４符号化部２からＨ．２６４方式の画面内符号化を選択した旨を示す符号化情報を受けると、入力したＪＰＥＧストリームをＪＰＥＧ／Ｈ．２６４多重化部３に出力する。
ただし、ＪＰＥＧ符号化部３２から再符号化ＪＰＥＧストリームを受けているときは、そのＪＰＥＧストリームの代わりに、その再符号化ＪＰＥＧストリームをＪＰＥＧ／Ｈ．２６４多重化部３に出力する。
また、ＪＰＥＧ復号部３１は、その再符号化ＪＰＥＧストリームを復号してＪＰＥＧ復号画像信号を取得し、そのＪＰＥＧ復号画像信号をＨ．２６４符号化部２に出力する。
以下、Ｈ．２６４符号化部２及びＪＰＥＧ／Ｈ．２６４多重化部３の処理内容は、上記実施の形態１と同様であるため説明を省略する。
ただし、ＪＰＥＧ符号化部３２から再符号化ＪＰＥＧストリームを受けているときは、そのＪＰＥＧストリームの代わりに、その再符号化ＪＰＥＧストリームをＪＰＥＧ／Ｈ．２６４多重化部３に出力する。
また、ＪＰＥＧ復号部３１は、その再符号化ＪＰＥＧストリームを復号してＪＰＥＧ復号画像信号を取得し、そのＪＰＥＧ復号画像信号をＨ．２６４符号化部２に出力する。
以下、Ｈ．２６４符号化部２及びＪＰＥＧ／Ｈ．２６４多重化部３の処理内容は、上記実施の形態１と同様であるため説明を省略する。
以上で明らかなように、この実施の形態４によれば、ＪＰＥＧ復号部３１から出力されたＪＰＥＧストリームのＪＰＥＧ符号化情報を参照して、そのＪＰＥＧストリームの符号量を把握し、そのＪＰＥＧストリームの符号量が予め設定されている基準符号量を超えている場合、ＪＰＥＧストリームの符号量が基準符号量以下となるように、ＪＰＥＧ復号部３１から出力されたＪＰＥＧ復号画像信号をＪＰＥＧ方式で再度画面内符号化し、再符号化後のＪＰＥＧストリームをＪＰＥＧ復号部３１に出力するＪＰＥＧ符号化部３２を設けるように構成したので、画質の劣化を抑えながら、ＪＰＥＧストリームを予め決められた符号量以下に抑えることができる効果を奏する。
なお、この実施の形態４では、画像符号化方式をＪＰＥＧ方式からＨ．２６４方式に変換するものについて示したが、同様の変換方法を用いて、Ｉピクチャのみで構成されているＭＰＥＧ−２，ＭＰＥＧ−４方式からＨ．２６４方式に変換するようにしてもよい。
この実施の形態４では、ＪＰＥＧ復号部３１及びＪＰＥＧ符号化部３２を図１の画像符号化方式変換装置に適用している例を示しているが、図５の画像符号化方式変換装置に適用するようにしてもよい。
また、ＪＰＥＧ符号化部３２の代わりに、ＭＰＥＧ−２ストリームの符号量が予め設定されている基準符号量を超えている場合、ＭＰＥＧ−２ストリームの符号量が基準符号量以下となるように、ＭＰＥＧ−２復号画像信号をＭＰＥＧ−２方式で再度画面内符号化し、再符号化後のＭＰＥＧ−２ストリームを出力するＭＰＥＧ−２符号化部を用いれば、図８の画像符号化方式変換装置に適用することもできる。
また、ＪＰＥＧ符号化部３２の代わりに、ＭＰＥＧ−２ストリームの符号量が予め設定されている基準符号量を超えている場合、ＭＰＥＧ−２ストリームの符号量が基準符号量以下となるように、ＭＰＥＧ−２復号画像信号をＭＰＥＧ−２方式で再度画面内符号化し、再符号化後のＭＰＥＧ−２ストリームを出力するＭＰＥＧ−２符号化部を用いれば、図８の画像符号化方式変換装置に適用することもできる。
ただし、この場合、図８のＭＰＥＧ−２復号部２１は、さらに、ＭＰＥＧ−２ストリームのＭＰＥＧ−２符号化情報とＭＰＥＧ−２復号画像信号を上記ＭＰＥＧ−２符号化部に出力する処理と、上記ＭＰＥＧ−２符号化部から再符号化ＭＰＥＧ−２ストリームを受けると、入力したＭＰＥＧ−２ストリームの代わりに、再符号化ＭＰＥＧ−２ストリームをＭＰＥＧ−２／Ｈ．２６４多重化部２３に出力し、また、再符号化ＭＰＥＧ−２ストリームを復号してＭＰＥＧ−２復号画像信号を取得し、そのＭＰＥＧ−２復号画像信号をＨ．２６４符号化部２２に出力する処理とを実施する必要がある。
実施の形態５．
図１３はこの発明の実施の形態５による画像復号装置を示す構成図である。
図１３において、ＪＰＥＧ／Ｈ．２６４多重化分離部４１は例えば図１の画像符号化方式変換装置から出力された多重化ストリームを入力すると、その多重化ストリームからＪＰＥＧ方式（第１の符号化方式）で符号化されている画像信号の符号化結果を示すＪＰＥＧストリーム（第１の符号化ストリーム）を分離するとともに、その多重化ストリームからＨ．２６４方式（第２の符号化方式）で符号化されている画像信号の符号化結果を示すＨ．２６４ストリーム（第２の符号化ストリーム）を分離する処理を実施する。
なお、ＪＰＥＧ／Ｈ．２６４多重化分離部４１は多重分離手段を構成している。
図１３はこの発明の実施の形態５による画像復号装置を示す構成図である。
図１３において、ＪＰＥＧ／Ｈ．２６４多重化分離部４１は例えば図１の画像符号化方式変換装置から出力された多重化ストリームを入力すると、その多重化ストリームからＪＰＥＧ方式（第１の符号化方式）で符号化されている画像信号の符号化結果を示すＪＰＥＧストリーム（第１の符号化ストリーム）を分離するとともに、その多重化ストリームからＨ．２６４方式（第２の符号化方式）で符号化されている画像信号の符号化結果を示すＨ．２６４ストリーム（第２の符号化ストリーム）を分離する処理を実施する。
なお、ＪＰＥＧ／Ｈ．２６４多重化分離部４１は多重分離手段を構成している。
ＪＰＥＧ復号部４２はＪＰＥＧ／Ｈ．２６４多重化分離部４１により分離されたＪＰＥＧストリームを復号してＪＰＥＧ復号画像信号を取得し、そのＪＰＥＧ復号画像信号を外部に出力するとともに、そのＪＰＥＧ復号画像信号をＨ．２６４復号部４３のフレームバッファ４３ａに出力する処理を実施する。
なお、ＪＰＥＧ復号部４２は第１の画像復号手段を構成している。
なお、ＪＰＥＧ復号部４２は第１の画像復号手段を構成している。
Ｈ．２６４復号部４３はフレームバッファ４３ａに格納されている復号画像信号を参照画像として利用して、ＪＰＥＧ／Ｈ．２６４多重化分離部４１により分離されたＨ．２６４ストリームを復号してＨ．２６４復号画像信号を取得し、そのＨ．２６４復号画像信号を外部に出力するとともに、そのＨ．２６４復号画像信号を内部のフレームバッファ４３ａに格納する処理を実施する。
なお、Ｈ．２６４復号部４３は第２の画像復号手段を構成している。
なお、Ｈ．２６４復号部４３は第２の画像復号手段を構成している。
図１３では、画像復号装置の構成要素であるＪＰＥＧ／Ｈ．２６４多重化分離部４１、ＪＰＥＧ復号部４２及びＨ．２６４復号部４３がそれぞれ専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、画像復号装置がコンピュータで構成される場合、ＪＰＥＧ／Ｈ．２６４多重化分離部４１、ＪＰＥＧ復号部４２及びＨ．２６４復号部４３の処理内容が記述されているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図１４はこの発明の実施の形態５による画像復号装置の処理内容を示すフローチャートである。
図１４はこの発明の実施の形態５による画像復号装置の処理内容を示すフローチャートである。
次に動作について説明する。
ＪＰＥＧ／Ｈ．２６４多重化分離部４１は、例えば、図１の画像符号化方式変換装置から出力された多重化ストリームを入力すると（ステップＳＴ２１）、その多重化ストリームからＪＰＥＧ方式で符号化されている画像信号の符号化結果を示すＪＰＥＧストリームを分離するとともに、その多重化ストリームからＨ．２６４方式で符号化されている画像信号の符号化結果を示すＨ．２６４ストリームを分離する。
ＪＰＥＧストリームについてはＪＰＥＧ復号部４２に出力され、Ｈ．２６４ストリームについてはＨ．２６４復号部４３に出力される（ステップＳＴ２２）。
ＪＰＥＧ／Ｈ．２６４多重化分離部４１は、例えば、図１の画像符号化方式変換装置から出力された多重化ストリームを入力すると（ステップＳＴ２１）、その多重化ストリームからＪＰＥＧ方式で符号化されている画像信号の符号化結果を示すＪＰＥＧストリームを分離するとともに、その多重化ストリームからＨ．２６４方式で符号化されている画像信号の符号化結果を示すＨ．２６４ストリームを分離する。
ＪＰＥＧストリームについてはＪＰＥＧ復号部４２に出力され、Ｈ．２６４ストリームについてはＨ．２６４復号部４３に出力される（ステップＳＴ２２）。
ＪＰＥＧ復号部４２は、ＪＰＥＧ／Ｈ．２６４多重化分離部４１からＪＰＥＧストリームを受けると、そのＪＰＥＧストリームを復号してＪＰＥＧ復号画像信号を取得する（ステップＳＴ２３）。
また、ＪＰＥＧ復号部４２は、そのＪＰＥＧ復号画像信号を外部に出力するとともに、そのＪＰＥＧ復号画像信号をＨ．２６４復号部４３のフレームバッファ４３ａに格納する（ステップＳＴ２４）。
また、ＪＰＥＧ復号部４２は、そのＪＰＥＧ復号画像信号を外部に出力するとともに、そのＪＰＥＧ復号画像信号をＨ．２６４復号部４３のフレームバッファ４３ａに格納する（ステップＳＴ２４）。
Ｈ．２６４復号部４３は、ＪＰＥＧ／Ｈ．２６４多重化分離部４１からＨ．２６４ストリームを受けると、内部のフレームバッファ４３ａに格納されている復号画像信号（ＪＰＥＧ復号画像信号、または、Ｈ．２６４復号画像信号）の中で、最新の復号画像信号を参照画像として利用して、そのＨ．２６４ストリームを復号してＨ．２６４復号画像信号を取得する（ステップＳＴ２５）。
また、Ｈ．２６４復号部４３は、そのＨ．２６４復号画像信号を外部に出力するとともに、そのＨ．２６４復号画像信号を内部のフレームバッファ４３ａに格納する（ステップＳＴ２６）。
また、Ｈ．２６４復号部４３は、そのＨ．２６４復号画像信号を外部に出力するとともに、そのＨ．２６４復号画像信号を内部のフレームバッファ４３ａに格納する（ステップＳＴ２６）。
以上で明らかなように、この実施の形態５によれば、多重化ストリームからＪＰＥＧ方式で符号化されている画像信号の符号化結果を示すＪＰＥＧストリームを分離するとともに、その多重化ストリームからＨ．２６４方式で符号化されている画像信号の符号化結果を示すＨ．２６４ストリームを分離するＪＰＥＧ／Ｈ．２６４多重化分離部４１と、ＪＰＥＧ／Ｈ．２６４多重化分離部４１により分離されたＪＰＥＧストリームを復号してＪＰＥＧ復号画像信号を取得し、そのＪＰＥＧ復号画像信号を外部に出力するとともに、そのＪＰＥＧ復号画像信号をＨ．２６４復号部４３のフレームバッファ４３ａに出力するＪＰＥＧ復号部４２とを設け、Ｈ．２６４復号部４３が、フレームバッファ４３ａに格納されている復号画像信号を参照画像として利用して、ＪＰＥＧ／Ｈ．２６４多重化分離部４１により分離されたＨ．２６４ストリームを復号してＨ．２６４復号画像信号を取得し、そのＨ．２６４復号画像信号を外部に出力するとともに、そのＨ．２６４復号画像信号を内部のフレームバッファ４３ａに格納するように構成したので、ＪＰＥＧストリームとＨ．２６４ストリームが多重化されている多重化ストリームから画像信号を復号することができる効果を奏する。
なお、この実施の形態５では、ＪＰＥＧストリームとＨ．２６４ストリームが多重化されている多重化ストリームから画像信号を復号するものについて示したが、ＭＰＥＧ−２ストリームとＨ．２６４ストリームが多重化されている多重化ストリームや、ＭＰＥＧ−４ストリームとＨ．２６４ストリームが多重化されている多重化ストリームから画像信号を復号する画像復号装置に適用するようにしてもよい。
１ ＪＰＥＧ復号部（画像復号手段）、２ Ｈ．２６４符号化部（画像符号化手段）、２ａ フレームバッファ（メモリ）、３ ＪＰＥＧ／Ｈ．２６４多重化部（多重化手段）、１１ ＪＰＥＧ復号部（画像復号手段）、１２ Ｈ．２６４符号化部（画像符号化手段）、１２ａ フレームバッファ（メモリ）、１３ ＪＰＥＧ／Ｈ．２６４多重化部（多重化手段）、２１ ＭＰＥＧ−２復号部（画像復号手段）、２２ Ｈ．２６４符号化部（画像符号化手段）、２２ａ フレームバッファ（メモリ）、２３ ＭＰＥＧ−２／Ｈ．２６４多重化部（多重化手段）、３１ ＪＰＥＧ復号部（画像復号手段）、３２ ＪＰＥＧ符号化部（再符号化手段）、４１ ＪＰＥＧ／Ｈ．２６４多重化分離部（多重分離手段）、４２ ＪＰＥＧ復号部（第１の画像復号手段）、４３ Ｈ．２６４復号部（第２の画像復号手段）、４３ａ フレームバッファ。
Claims (5)
- 第１の符号化方式で画面内符号化されている画像信号の符号化結果を示す第１の符号化ストリームを入力すると、上記第１の符号化ストリームを復号して復号画像信号を取得し、第２の符号化方式の画面内符号化を選択した旨の通知を受けると、上記第１の符号化ストリームを出力する画像復号手段と、第２の符号化方式の画面内符号化を選択する場合、上記画像復号手段により取得された復号画像信号をメモリに蓄積して、第２の符号化方式の画面内符号化を選択した旨を上記画像復号手段に通知し、第２の符号化方式の画面間符号化を選択する場合、上記メモリに蓄積されている過去の復号画像信号を参照画像として利用して、上記画像復号手段により取得された復号画像信号を第２の符号化方式で画面間符号化し、上記復号画像信号の符号化結果を示す第２の符号化ストリームを出力する画像符号化手段と、上記画像復号手段から出力された第１の符号化ストリームと上記画像符号化手段から出力された第２の符号化ストリームを多重化して、多重化ストリームを出力する多重化手段とを備えた画像符号化方式変換装置。
- 第１の符号化方式で画面内符号化又は画面間符号化されている画像信号の符号化結果を示す第１の符号化ストリームを入力すると、上記第１の符号化ストリームを復号して復号画像信号を取得し、上記画像信号が第１の符号化方式で画面内符号化されている場合、上記第１の符号化ストリームを出力する画像復号手段と、上記画像信号が第１の符号化方式で画面内符号化されている場合、上記画像復号手段により取得された復号画像信号をメモリに蓄積し、上記画像信号が第１の符号化方式で画面間符号化されている場合、上記メモリに蓄積されている過去の復号画像信号を参照画像として利用して、上記画像復号手段により取得された復号画像信号を第２の符号化方式で画面間符号化し、上記復号画像信号の符号化結果を示す第２の符号化ストリームを出力する画像符号化手段と、上記画像復号手段から出力された第１の符号化ストリームと上記画像符号化手段から出力された第２の符号化ストリームを多重化して、多重化ストリームを出力する多重化手段とを備えた画像符号化方式変換装置。
- 多重化手段は、画像復号手段から出力された第１の符号化ストリーム及び第１の符号化ストリームに関する符号化の情報と、画像符号化手段から出力された第２の符号化ストリーム及び第２の符号化ストリームに関する符号化の情報とを多重化することを特徴とする請求項１または請求項２記載の画像符号化方式変換装置。
- 第１の符号化ストリームの符号量が予め設定されている基準符号量を超えている場合、第１の符号化ストリームの符号量が基準符号量以下となるように、画像復号手段により取得された復号画像信号を第１の符号化方式で再度画面内符号化する再符号化手段を設けたことを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像符号化方式変換装置。
- 多重化ストリームから第１の符号化方式で符号化されている画像信号の符号化結果を示す第１の符号化ストリームを分離するとともに、上記多重化ストリームから第２の符号化方式で符号化されている画像信号の符号化結果を示す第２の符号化ストリームを分離する多重分離手段と、上記多重分離手段により分離された第１の符号化ストリームを復号して復号画像信号を取得し、上記復号画像信号を出力する第１の画像復号手段と、上記第１の画像復号手段から出力された復号画像信号を参照画像として利用して、上記多重分離手段により分離された第２の符号化ストリームを復号して復号画像信号を取得し、上記復号画像信号を出力する第２の画像復号手段とを備えた画像復号装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009188990A JP2011041178A (ja) | 2009-08-18 | 2009-08-18 | 画像符号化方式変換装置及び画像復号装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009188990A JP2011041178A (ja) | 2009-08-18 | 2009-08-18 | 画像符号化方式変換装置及び画像復号装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011041178A true JP2011041178A (ja) | 2011-02-24 |
Family
ID=43768445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009188990A Pending JP2011041178A (ja) | 2009-08-18 | 2009-08-18 | 画像符号化方式変換装置及び画像復号装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011041178A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014122708A1 (ja) * | 2013-02-05 | 2014-08-14 | 日本電気株式会社 | 画面符号化装置、画面復号装置、画面符号化伝送システム |
-
2009
- 2009-08-18 JP JP2009188990A patent/JP2011041178A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014122708A1 (ja) * | 2013-02-05 | 2014-08-14 | 日本電気株式会社 | 画面符号化装置、画面復号装置、画面符号化伝送システム |
| JPWO2014122708A1 (ja) * | 2013-02-05 | 2017-01-26 | 日本電気株式会社 | 画面符号化装置、画面復号装置、画面符号化伝送システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4927207B2 (ja) | 符号化方法、復号化方法及び装置 | |
| KR101610419B1 (ko) | 화상 신호 복호 장치, 화상 신호 복호 방법, 화상 신호 부호화 장치, 화상 신호 부호화 방법 및 기록 매체 | |
| US20150139303A1 (en) | Encoding device, encoding method, decoding device, and decoding method | |
| JP4401336B2 (ja) | 符号化方法 | |
| WO2009073077A1 (en) | An extension to the avc standard to support the encoding and storage of high resolution digital still pictures in parallel with video | |
| KR101147744B1 (ko) | 비디오 트랜스 코딩 방법 및 장치와 이를 이용한 ｐｖｒ | |
| EP2077670A1 (en) | Transcoder, transcoding method, decoder, and decoding method | |
| JP2008011455A (ja) | 符号化方法 | |
| US20150030068A1 (en) | Image processing device and method | |
| JP2009267689A (ja) | 動画像符号化装置、及び動画像符号化方法 | |
| JP2007266749A (ja) | 符号化方法 | |
| JP5768180B2 (ja) | 画像復号方法及び画像復号装置 | |
| JP2007036888A (ja) | 符号化方法 | |
| JP4660408B2 (ja) | 符号化方法 | |
| JP2007266750A (ja) | 符号化方法 | |
| JP2007036889A (ja) | 符号化方法 | |
| JPWO2010055675A1 (ja) | 動画像符号化装置及び動画像復号装置 | |
| JP2011041178A (ja) | 画像符号化方式変換装置及び画像復号装置 | |
| TW201440500A (zh) | 影像處理裝置及方法 | |
| JP6150134B2 (ja) | 画像符号化装置および方法、画像復号装置および方法、プログラム、並びに記録媒体 | |
| JP2008289105A (ja) | 画像処理装置およびそれを搭載した撮像装置 | |
| JPH11289515A (ja) | 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体 | |
| US20230179769A1 (en) | Multilayer-based image coding method in video or image coding system | |
| JP2007036887A (ja) | 符号化方法 | |
| WO2022209032A1 (ja) | 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法および映像システム |