JP2002016925A - 符号化装置及び符号化方法 - Google Patents

符号化装置及び符号化方法

Info

Publication number
JP2002016925A
JP2002016925A JP2001118348A JP2001118348A JP2002016925A JP 2002016925 A JP2002016925 A JP 2002016925A JP 2001118348 A JP2001118348 A JP 2001118348A JP 2001118348 A JP2001118348 A JP 2001118348A JP 2002016925 A JP2002016925 A JP 2002016925A
Authority
JP
Japan
Prior art keywords
data
encoded
encoding
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001118348A
Other languages
English (en)
Inventor
Hiroki Kishi
裕樹 岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001118348A priority Critical patent/JP2002016925A/ja
Priority to US09/842,155 priority patent/US6993198B2/en
Publication of JP2002016925A publication Critical patent/JP2002016925A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234354—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering signal-to-noise ratio parameters, e.g. requantization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen

Abstract

(57)【要約】 【課題】 既に符号化された画像データ及び音声データ
の両方に対して、復号することなくスケーラビリティを
付与する。また、受信側において該符号化データの効率
的な利用を可能とする。 【解決手段】 動画像のフレームデータに含まれる画像
データと音声データを分離し、この両方を階層符号化し
たデータに基づきフレーム符号化データを生成する際
に、階層符号化された画像データと音声データにおける
重要度が同レベルの周波数サブバンド同士をグループ化
し、重要度の高いレベルのグループから順に並べてフレ
ーム符号化データを生成する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像データと音声
データを含むフレームデータに対して符号化を行う符号
化装置及び符号化方法に関するものである。
【０００２】
【従来の技術】昨今、パソコンやモバイル端末の普及に
より、インターネットを介したデジタルデータの通信
（データ通信）が幅広く行われるようになった。データ
通信において流通するデジタルデータのひとつに動画像
がある。一般的に動画像はデータ量が大きいため、送信
前に動画像中の静止画像とそれに付随する音声が単位
（フレーム）として符号化されることにより、送信デー
タ量が抑制される。
【０００３】このような動画像データの通信方法とし
て、送信データに対し、受信側において動画像データ中
の画像データ及び音声データの復号が進むにつれて、復
号画像または復号音声の品位が向上するような特性（ス
ケーラビリティ）を持たせる方法が知られている。
【０００４】このように送信対象データに対してスケー
ラビリティを付与する場合、送信対象となる画像データ
及び音声データの符号化処理において、スケーラビリテ
ィを付与していた。
【０００５】
【発明が解決しようとする課題】しかしながら、上記従
来のスケーラビリティを伴う通信方法においては、送信
データに対するスケーラビリティの付与は該データに対
する符号化処理の際に行われていたため、既に符号化さ
れている画像データや音声データに対してスケーラビリ
ティを付与したい場合には、これらを一旦復号した後
に、改めてスケーラビリティを付与する符号化を行わざ
るをえなかった。
【０００６】また、画像データと音声データの両方に対
してスケーラビリティを付与しつつ、これら両方のデー
タを含む符号化データを生成するような符号化方法は、
未だ確立されていない。
【０００７】本発明は上述の問題点を鑑みてなされたも
のであり、既に符号化された画像データ及び音声データ
の両方に対して、これらを復号することなく適切にスケ
ーラビリティを付与し、これら両方のデータを含む符号
化データを生成する符号化装置及び符号化方法を提供す
ることを目的とする。
【０００８】また、動画像を構成する各フレームの画像
データと音声データを適切な単位でグループ化した符号
化データを生成し、伝送することにより、受信側におい
て該符号化データの効率的な利用を可能とする符号化装
置及び符号化方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】本発明の目的を達成する
ために、例えば本発明の符号化装置は以下の構成を備え
る。
【００１０】すなわち、画像データと音声データを含む
フレームデータに対して符号化を行う符号化装置であっ
て、前記フレームデータに含まれる前記画像データと前
記音声データを分離する分離手段と、分離された前記画
像データに対し、その低周波成分から高周波成分へ順
次、符号化を行って画像符号化データを生成する画像デ
ータ符号化手段と、分離された前記音声データに対し、
その低周波成分から高周波成分へ順次、符号化を行って
音声符号化データを生成する音声データ符号化手段と、
前記画像符号化データと前記音声符号化データを用いて
ヘッダ情報を生成し、該ヘッダ情報及び前記画像符号化
データ及び前記音声符号化データによってフレーム符号
化データを生成するフレーム符号化データ生成手段と、
を備えることを特徴とする。
【００１１】また、他の構成によれば、画像データと音
声データを含むフレームデータに対して符号化を行う符
号化装置であって、前記フレームデータに含まれる前記
画像データと前記音声データを分離する分離手段と、前
記画像データを複数種類の画像データに階層化して符号
化し、複数階層の夫々に相当する符号化画像データを生
成する画像データ符号化手段と、前記音声データを複数
種類の音声データに階層化して符号化し、複数階層の夫
々に相当する符号化音声データを生成する音声データ符
号化手段と、前記符号化画像データと前記符号化音声デ
ータを用いてフレーム符号化データを生成するフレーム
符号化データ生成手段と、を備え、前記フレーム符号化
データ生成手段は、所定基準に基づいて決定される同一
レベルに属する画像符号化データと音声符号化データを
グループ化することによってレベルの異なる複数のグル
ープを作成し、該複数のグループを重要度の高いレベル
順に並べることによって前記フレーム符号化データを生
成することを特徴とする。
【００１２】
【発明の実施の形態】以下に説明する各実施形態におい
て、符号化対象となる動画像は複数のフレームで構成さ
れるものとする。フレームとは、人間が視覚的に動画像
を認識する為に順次表示される、１枚毎の静止画像のこ
とであり、各静止画像には、各画像が映し出されている
期間（表示期間）に再生される音声が付属している。即
ち、１フレームのデータ（フレームデータ）は、１枚の
静止画像のデータ（画像データ）と音声のデータ（音声
データ）から構成されている。また、フレームデータを
符号化してフレーム符号化データを生成するということ
は、画像データと音声データのそれぞれを符号化し、画
像符号化データと音声符号化データを生成することであ
る。
【００１３】フレーム符号化データを復号する装置（フ
レーム復号装置）がフレーム符号化データを復号する
際、ＣＰＵの能力が足りないこと等の原因により、表示
期間内に１つのフレーム符号化データの全てを復号（完
全復号）できない場合がある。そのような状況では、画
像符号化データと音声符号化データの一部分を復号する
部分復号が行われる。以下、画像符号化データの部分復
号によって得られる画像を部分復号画像、音声符号化デ
ータの部分復号によって得られる音声を部分復号音声と
称する。同様に、画像符号化データの完全復号によって
得られる画像を完全復号画像、音声データの完全復号に
よって得られる音声を完全復号音声と称する。
【００１４】画像符号化データの部分復号においては、
たとえ低画質であっても完全復号画像の概形が表示され
る必要がある。
【００１５】また音声符号化データの部分復号において
は、部分復号画像の画質に対応した程度に、完全復号音
声のおおまかな音声が再生されることが望まれる。
【００１６】この完全復号画像の概形の表示と、完全復
号音声のおおまかな再生は、画像データと音声データを
離散ウェーブレット変換して、それらにスケーラビリテ
ィをもたせるように符号化することで達成される。
【００１７】上述したように本発明においては、画像デ
ータと音声データの双方がスケーラビリティを持つよう
に符号化し、種々の方法によってフレーム符号化データ
を生成することを目的とする。
【００１８】以下添付図面に従って、本発明を好適な実
施形態に従って説明する。
【００１９】＜第１実施形態＞ ●符号化装置構成 図１Ａは、本実施形態における符号化装置の構成を示し
たブロック図である。同図において１０１はフレームデ
ータ入力部、１０２はフレームデータ分離部、１０３は
画像データ符号化部、１０４は音声データ符号化部、１
０５はフレーム符号化データ生成部Ａ、１０６はフレー
ム符号化データ出力部である。
【００２０】図１Ｂは、図１Ａにおける画像データ符号
化部１０３の構成を示したブロック図である。同図にお
いて１０７は画像データ入力部、１０８は離散ウェーブ
レット変換部Ａ、１０９はバッファ、１１０は係数量子
化部、１１１はエントロピー符号化部、１１２は画像符
号化データ生成部Ａ、１１３は画像符号化データ出力部
である。
【００２１】図１Ｃは、図１Ａにおける音声データ符号
化部１０４の構成を示したブロック図である。同図にお
いて１１４は音声データ入力部、１１５は離散ウェーブ
レット変換部Ｂ、１１６は音声符号化データ出力部であ
る。 ●フレーム符号化処理 以上の構成を有する本実施形態の符号化装置において行
われる、フレーム符号化処理のフローチャートを図１４
に示し、以下、同図を用いて説明する。
【００２２】まず図２に示されているような、画像デー
タと音声データから構成されるフレームデータが、フレ
ームデータ入力部１０１に入力され、そしてフレームデ
ータ分離部１０２に出力される（ステップＳ１４０
１）。このフレームデータ入力部１０１は、例えばデジ
タルビデオカメラ、デジタルスチルカメラ等の撮像装
置、或いはＣＣＤなどの撮像デバイス、或いはネットワ
ーク回線のインターフェース等が用いられる。また、フ
レームデータ入力部１０１はＲＡＭ、ＲＯＭ、ハードデ
ィスク、ＣＤ−ＲＯＭが用いられる。
【００２３】なお、符号化対象の動画像中における複数
のフレームは１つずつ、フレームデータ入力部１０１に
入力されるものとする。またフレームデータ入力部１０
１以降の処理は、フレームデータ毎、独立に行われるも
のとする。
【００２４】フレームデータ分離部１０２に入力された
フレームデータは、図３に示されているように、音声デ
ータと画像データに分離される（ステップＳ１４０
２）。そして画像データは画像データ符号化部１０３、
音声データは音声データ符号化部１０４に入力される。
【００２５】画像データ符号化部１０３に入力された画
像データは、後述する処理により符号化が行われ、画像
符号化データとなる（ステップＳ１４０３）。そして画
像符号化データは、フレーム符号化データ生成部Ａ１０
５に入力される。
【００２６】音声データ符号化部１０４に入力された音
声データは、後述する処理により符号化が行われ、音声
符号化データとなる（ステップＳ１４０４）。そして音
声符号化データは、フレーム符号化データ生成部Ａ１０
５に入力される。
【００２７】フレーム符号化データ生成部Ａ１０５に音
声符号化データと画像符号化データが入力されると、ヘ
ッダが生成される（ステップＳ１４０５）。なおヘッダ
には、画像データ符号化部１０３における画像入力部１
０９に入力された画像のサイズ、画像が２値画像である
か多値画像であるかを示すタイプなどの情報、画像符号
化データの長さ、音声符号化データの長さ、並びに送信
する符号化装置を示す文字列、送信日時、等が書き込ま
れる。また、画像符号化データの先頭アドレス、音声符
号化データの先頭アドレスも書き込まれる。そして図４
に示されているように、ヘッダ、音声符号化データ、画
像符号化データによりフレーム符号化データが生成され
る（ステップＳ１４０６）。
【００２８】フレーム符号化データ出力部１０６では、
入力されたフレーム符号化データが外部へ出力（送信）
される（ステップＳ１４０７）。このフレーム符号化デ
ータ出力部１０６には、公衆回線、無線回線、ＬＡＮ等
のインターフェースを用いることができる。
【００２９】●画像データ符号化処理 以下に、画像データ符号化部１０３における画像データ
の符号化処理（ステップＳ１４０３）について、この処
理のフローチャートを図１５に示し、同図を用いて説明
する。
【００３０】本実施形態におけるフレーム中の符号化対
象となる画像データは、８ビットのモノクロ画像データ
とする。しかしながら、各画素４ビット、１０ビット、
１２ビットといった具合に８ビット以外のビット数で表
すモノクロ画像、或いは各画素における各色成分（ＲＧ
Ｂ／Ｌａｂ／ＹＣｒＣｂ）を８ビットで表現するカラー
の多値画像データである場合に本実施形態を適用するこ
とも可能である。また、画像を構成する各画素の状態等
を表す情報が多値情報である場合、例えば各画素の色を
表す多値のインデックス値である場合にも適用できる。
このような各種多値情報に本実施形態を応用する場合に
は、これら多値情報を後述するモノクロ画像データに変
換すればよい。
【００３１】まず、画像データ入力部１０７から符号化
対象となる画像データを構成する画素データがラスター
スキャン順に入力され、離散ウェーブレット変換部Ａ１
０８に出力される（ステップＳ１５０１）。
【００３２】離散ウェーブレット変換部Ａ１０８は、画
像データ入力部１０７から入力される１つの静止画像分
の画像データx(n)における複数の画素（参照画素）のデ
ータ（参照画素データ）を用いて、離散ウェーブレット
変換を行う（ステップＳ１５０２）。
【００３３】以下に、離散ウェーブレット変換後の画像
データ（離散ウェーブレット変換係数）を示す。
【００３４】r1(n)=floor{(x(2n)+x(2n+1))/2} d1(n)=x(2n+2)-x(2n+3)+floor{(-r1(n)+r1(n+2)+2)/4} 上記変換式において、r1(n)、d1(n)は離散ウェーブレッ
ト変換係数列（以下変換係数列）であり、r1(n)は低周
波サブバンド、d1(n)は高周波サブバンドである。ま
た、上式においてfloor{X}はXを超えない最大の整数値
を表す。この離散ウェーブレット変換を模式的に表わし
たのが図５である。
【００３５】上記変換式は一次元のデータに対するもの
であるが、この変換を水平方向、垂直方向の順に適用し
て二次元の変換を行うことにより、参照画素データを図
６（ａ）に示すようにＬＬ，ＨＬ，ＬＨ，ＨＨの４つの
サブバンドに分割することができる。ここで、Ｌは低周
波サブバンド、Ｈは高周波サブバンドを示している。次
にＬＬサブバンドを、同様に４つのサブバンドに分け
（図６（ｂ））、その中のＬＬサブバンドをまた４サブ
バンドに分ける（図６（ｃ））ことによって、合計１０
個のサブバンドを作成する。
【００３６】図６（ｃ）において、各サブバンドの名称
における数字をそれぞれのサブバンドのレベルとする。
つまり、ＨＬ１，ＨＨ１，ＬＨ１はレベル１のサブバン
ドであり、ＨＬ２，ＨＨ２，ＬＨ２はレベル２のサブバ
ンドである。なおＬＬサブバンドひとつしかないので添
字を付けず、レベル０のサブバンドとする。
【００３７】また、レベル０からレベルｎまでのサブバ
ンドを復号することで得られる復号画像を、レベルｎの
復号画像と呼ぶ。復号画像は、そのレベルが高い程、解
像度が高い。つまり上述の通りに離散ウェーブレット変
換された画像データは、部分復号されることで原画像の
概形を表示可能とする。
【００３８】図６（ｃ）に示す１０個のサブバンドは、
バッファ１０９に一旦格納され、ＬＬ，ＨＬ１，ＬＨ
１，ＨＨ１，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ３，ＬＨ
３，ＨＨ３の順に、つまり、レベルが低いサブバンドか
らレベルが高いサブバンドの順に、係数量子化部１１０
へ出力される。
【００３９】係数量子化部１１０では、バッファ１０９
から出力される各サブバンドの変換係数を周波数成分毎
に定めた量子化ステップで量子化し、量子化後の値（係
数量子化値）をエントロピー符号化部１１１へ出力する
（ステップＳ１５０３）。ここで、変換係数値をＸ、該
係数の属するサブバンド（周波数成分）に対する量子化
ステップの値をｑとするとき、量子化後の係数値（係数
量子化値）Q(X)は次式によって求められる。
【００４０】Q(X)=floor{(X/q)+0.5} 図７に、本実施形態における各周波数成分と量子化ステ
ップとの対応を示す。同図に示す様に、低周波サブバン
ド（ＬＬ等）よりも高周波サブバンド（ＨＬ３、ＬＨ
３、ＨＨ３等）の方に、大きい量子化ステップが与えら
れている。一つのサブバンドにおける全ての変換係数を
量子化した後、それら係数量子化値Q(X)をエントロピー
符号化部１１１へ出力する。
【００４１】エントロピー符号化部１１１では、入力さ
れた係数量子化値を算術符号化によりエントロピー符号
化し、エントロピー符号化値を生成する（ステップＳ１
５０４）。生成されたエントロピー符号化値は、画像符
号化データ生成部Ａ１１２に出力され、図８に示される
ように低レベルのサブバンドから高レベルのサブバンド
の順にサブバンド単位で並べられることによって、画像
符号化データが生成される（ステップＳ１５０５）。
【００４２】上述のように生成された画像符号化データ
は、画像符号化データ出力部１１３を介してフレーム符
号化データ生成部Ａ１０５に出力される。
【００４３】●音声データ符号化処理 次に、音声データ符号化部１０４における音声データの
符号化処理（ステップＳ１４０４）について、同処理の
フローチャートを図１６に示し、同図を用いて説明す
る。
【００４４】本実施形態におけるフレーム中の符号化対
象となる音声データは、音声データ入力部１１４から入
力され、離散ウェーブレット変換部Ｂ１１５に出力され
る（ステップＳ１６０１）。
【００４５】離散ウェーブレット変換部Ｂ１１５は、音
声データ入力部１１４から入力される音声データy(n)に
対して離散ウェーブレット変換を施す（ステップＳ１６
０２）。
【００４６】以下に、ウェーブレット変換後の音声デー
タ（離散ウェーブレット変換係数）を示す。
【００４７】r2(n)=floor{ (y(2n)+y(2n+1))/2 } d2(n)=y(2n+2)-y(2n+3)+floor{ (-r2(n)+r2(n+2)+2)/4
} 上記変換式において、r2(n)、d2(n)はウェーブレット変
換係数列であり、r2(n)は低周波サブバンド、d2(n)は高
周波サブバンドである。
【００４８】本変換方式においてはまず、音声データは
図９（ａ）に示すようにＬ，Ｈの２つのサブバンドに分
割される。ここで、Ｌは低周波サブバンド、Ｈは高周波
サブバンドを示している。続いてＬサブバンドを同様に
２つのサブバンドに分け（図９（ｂ））、その中のＬサ
ブバンドをまた２サブバンドに分ける（図９（ｃ））こ
とによって、合計４サブバンドを作成する。図９（ｃ）
に示すように、４個のサブバンドそれぞれをＬ，Ｈ１，
Ｈ２，Ｈ３と呼ぶことにする。ここで、各サブバンドの
名称における数字を該サブバンドのレベルとする。つま
り、Ｈ１はレベル１のサブバンドであり、Ｈ２はレベル
２のサブバンド、Ｈ３はレベル３のサブバンドである。
なお、Ｌサブバンドはひとつしかないので添え字をつけ
ず、レベル０のサブバンドとする。
【００４９】また、レベル０からレベルｎまでのサブバ
ンドを復号することで得られる復号音声を、レベルｎの
復号音声と呼ぶ。復号音声はそのレベルが高い程、元の
音声に近い。つまり上述の通りに離散ウェーブレット変
換された音声データは、部分復号されることで、元の音
声をおおまかに再生できる。
【００５０】図９（ｃ）に示す４個のサブバンドは、音
声符号化データとして音声符号化データ出力部１１６を
介してフレーム符号化データ生成部Ａ１０５に出力され
る（ステップＳ１６０３）。
【００５１】以上説明したように、本実施形態における
符号化装置及び符号化方法によれば、フレームデータ中
の画像データと音声データを離散ウェーブレット変換し
て、それぞれにスケーラビリティ機能を持たせることが
可能である。そのためフレーム符号化データの復号時
に、表示期間内に１つのフレーム符号化データの完全復
号が行われず部分復号が行われても、原画像の概形の表
示、並びに元の音声の大まかな音声の再生は達成され
る。
【００５２】なお図１４，１５，１６に示したフローチ
ャートに従ったプログラムコードは不図示のメモリ（Ｒ
ＯＭやＲＡＭなど）や外部記憶装置などに格納され、不
図示のＣＰＵにより読み出され、実行されるものとす
る。
【００５３】＜第２実施形態＞以下、本発明に係る第２
実施形態について説明する。
【００５４】一般にサーバ／クライアントモデルにおい
て、サーバはクライアントが要求するデータを送信す
る。この送信において、サーバとクライアントを結ぶ回
線のデーター転送能力が異なること等により、各クライ
アントがサーバに要求するデータ量は異なる。従って、
各クライアントが要求するデータ量に対応して、サーバ
が蓄積するデータは、その一部もしくは全部が取り出さ
れてクライアントに送信される。なおデータの一部が取
り出されてクライアントに送信される場合、データの一
部といえどもクライアントにとって意味があるデータで
ある必要がある。ここで、サーバがデータの一部を取り
出しクライアントに送信することを、データの一部送信
と呼ぶことにする。
【００５５】画像データと音声データが離散ウェーブレ
ット変換されて生成されたフレーム符号化データの一部
送信の際には、画像符号化データ，音声符号化データ共
に、サブバンド単位で送信されることが望まれる。さら
に、復号画像の画質と復号音声の音質を対応させるため
に、一部送信される画像符号化データのサブバンドのレ
ベルと、音声符号化データのサブバンドのレベルは対応
していることが好ましい。
【００５６】そこで第２実施形態においては、フレーム
符号化データの一部送信を受信して復号画像及び復号音
声を再生する際に、再生されたフレーム内での画質及び
音質が対応するように、画像符号化データと音声符号化
データの各レベルをグループ化してフレーム符号化デー
タを生成することを特徴とする。
【００５７】図１０に、第２実施形態における符号化装
置のブロック構成を示す。第２実施形態の符号化装置
は、第１実施形態の符号化装置を構成するフレーム符号
化データ生成部Ａ１０５を、フレーム符号化データ生成
部Ｂ１００１に置換したものである。なお、他の構成に
ついては第１実施形態と同様であるため、第１実施形態
と同一の参照番号を付して説明を省略する。
【００５８】フレーム符号化データ生成部Ｂ１００１に
おいては、音声符号化データと画像符号化データが入力
されると、第１の実施形態と同様にヘッダが生成され
る。そしてヘッダ、音声符号化データ、及び画像符号化
データからフレーム符号化データが生成される。その
際、図１１に示されるように、画像符号化データと音声
符号化データの同レベルのサブバンドがグループ化され
て、フレーム符号化データが生成される。
【００５９】図１１に示すフレーム符号化データにおい
て、レベル０のデータは、画像符号化データのレベル０
のサブバンド（ＬＬ）と音声符号化データのレベル０の
サブバンド（Ｌ）がグループ化されており、また、レベ
ル１のデータは、画像符号化データのレベル１のサブバ
ンド（ＨＬ１，ＬＨ１，ＨＨ１）と音声符号化データの
レベル１のサブバンド（Ｈ１）がグループ化されてい
る。なお、レベル２，レベル３についても同様に、画像
符号化データと音声符号化データの同レベルのサブバン
ドがグループ化される。
【００６０】なお、第２実施形態における符号化処理
は、第１実施形態に示した図１４のフローチャートにお
いて、ステップＳ１４０６のフレーム符号化データ生成
処理の際に、図１１に示されているように、画像符号化
データと音声符号化データの同レベルのサブバンドをグ
ループ化する処理を追加したものとなる。また、画像デ
ータ符号化部１０３，音声データ符号化部１０４におけ
る各処理のフローチャートは第１の実施形態と同様であ
り、夫々図１５，１６に示したフローチャートに従う。
【００６１】又、このフローチャートに従ったプログラ
ムコードは不図示のメモリ（ＲＡＭやＲＯＭ等）や外部
記憶装置などに格納され、不図示のＣＰＵにより読み出
され、実行されるものとする。
【００６２】以上説明したように、第２実施形態におけ
る符号化装置及び符号化方法によれば、画像符号化デー
タと音声符号化データのサブバンドの各レベルをグルー
プ化してフレーム符号化データを生成することで、フレ
ーム符号化データの一部送信に基づいて復号画像と復号
音声を再生する際にも、再生されたフレーム内における
画質及び音質を適切に対応させることができる。
【００６３】又、第２実施形態の符号化装置及び符号化
方法によれば、第１実施形態における符号化装置及び符
号化方法と同様の効果をも奏することは、上述の説明に
より明白である。
【００６４】＜第３実施形態＞以下、本発明に係る第３
実施形態について説明する。
【００６５】上述した第２実施形態で説明したように、
サーバとクライアントを結ぶ回線のデータ転送能力が異
なること等により、各クライアントがサーバに要求する
データ量は異なる。
【００６６】この転送能力が異なる回線の種類が複数あ
る場合、それぞれの回線の転送能力に対応させてフレー
ム符号化データを生成することは、例えば一部送信の高
速化にとって好ましい。
【００６７】そこで第３実施形態においては、フレーム
符号化データの一部送信を行う際に、使用する回線の転
送速度に応じてフレーム符号化データを生成することを
特徴とする。
【００６８】第３実施形態における符号化装置の構成を
図１２に示す。第３実施形態における符号化装置は、第
１の実施形態の符号化装置を構成するフレーム符号化デ
ータ生成部Ａ１０５を、フレーム符号化データ生成部Ｃ
１２０１に置換したものである。
【００６９】ここで、第３実施形態における符号化装置
において生成されたフレーム符号化データが蓄積される
サーバには、回線Ａと回線Ｂの２種類の回線が接続され
ており、回線Ａはフレーム符号化データの一部しか送信
できず、回線Ｂはフレーム符号化データの全部を十分に
送信できるものとする。
【００７０】フレーム符号化データ生成部Ｃ１２０１に
おいては、音声符号化データと画像符号化データが入力
されると、第１実施形態と同様にヘッダが生成される。
そしてヘッダ、音声符号化データ、及び画像符号化デー
タからフレーム符号化データが生成される。
【００７１】なお、図１３に示されているように、ヘッ
ダを除くフレーム符号化データ（準フレーム符号化デー
タ）は、準フレーム符号化データ１と準フレーム符号化
データ２から構成される。このそれぞれの準フレーム符
号化データは、画像符号化データと音声符号化データか
ら構成される。準フレーム符号化データ１は、画像符号
化データと音声符号化データの低周波成分から、回線Ａ
が転送できる符号量に対応して取り出されたものであ
る。準フレーム符号化データ２は、画像符号化データと
音声符号化データから準フレーム符号化データ１を除い
たものである。なお、ここで回線Ａ、Ｂ夫々の転送でき
る符号量は予め分かっているものとし、その値は予め所
定のメモリ（ＲＯＭやＲＡＭなど）に格納されているも
のとする。
【００７２】上述のようにフレーム符号化データが生成
されることで、サーバがフレーム符号化データを送信す
る際、それぞれの回線が有する最大の転送速度でフレー
ム符号化データの送信を図ることができる。
【００７３】なお、第３実施形態における符号化処理
は、上述した第１実施形態に示した図１４のフローチャ
ートにおいて、ステップＳ１４０６でフレーム符号化デ
ータの生成処理の際に、使用回線に応じた符号量に対応
した画像符号化データ、音声符号化データを取り出す処
理を追加したものとなる。
【００７４】また、画像データ符号化部１０３，音声デ
ータ符号化部１０４における各処理は第１実施形態と同
様であり、夫々図１５，１６に示したフローチャートに
従う。
【００７５】又、このフローチャートに従ったプログラ
ムコードは不図示のメモリ（ＲＡＭやＲＯＭ等）や外部
記憶装置などに格納され、不図示のＣＰＵにより読み出
され、実行されるものとする。
【００７６】以上説明したように第３実施形態における
符号化装置及び符号化方法によれば、フレーム符号化デ
ータの一部送信を行う際に、使用する回線の転送速度に
応じてフレーム符号化データを生成することができる。
【００７７】なお、第３実施形態においては、転送能力
が異なる２種類の回線がサーバに接続されている場合に
ついて説明したが、転送能力が異なる３種類以上の回線
がサーバに接続されていてももちろん構わない。
【００７８】＜第４実施形態＞以下、本発明に係る第４
実施形態について説明する。
【００７９】上述した各実施形態においては、音声デー
タにおける低周波成分を重要と仮定し、まずこの低周波
成分を送信する例について説明した。しかしながら音声
データにおいては、特に人間の声のデータ（スピーチデ
ータ）が、重要度の高いデータとして扱われることが多
い。
【００８０】そこで第４実施形態においてはこの点に着
目し、音声データを最重要データであるスピーチデータ
と、該スピーチデータ以外の（重要度の低い）非スピー
チデータに分離し、これらを別々に符号化することによ
って、スピーチ符号化データと非スピーチ符号化データ
を生成することを特徴とする。そしてさらに、画像符号
化データにおける重要なデータ（低周波サブバンド）
と、上記スピーチ符号化データとを最重要レベルのグル
ープとしてグループ化し、その他の画像及び音声データ
についてもレベル別にグループ化することによって、フ
レーム符号化データを生成する。
【００８１】以下、第４実施形態における符号化方法に
ついて説明する。
【００８２】図１７は、第４実施形態における符号化装
置の構成を示すブロック図である。これは、第１実施形
態において図１４に示した音声データ符号化部１０４及
びフレーム符号化データ生成部Ａ１０５を、それぞれ音
声データ符号化部Ａ１７０１及びフレーム符号化データ
生成部Ｄ１７０２に置き換えたものである。
【００８３】また図１８は、音声データ符号化部Ａ１７
０１の構成を示すブロック図である。同図において、１
８０１は音声データ分離部、１８０２はスピーチデータ
符号化部、１８０３は非スピーチデータ符号化部であ
る。
【００８４】以下、以上の構成を有する第４実施形態の
符号化装置におけるフレーム符号化処理について説明す
る。なお、フレームデータ入力部１０１、フレームデー
タ分離部１０２、画像データ符号化部１０３における処
理は上述した第１実施形態と同様であるため詳細な説明
は省略し、主に音声データ符号化部Ａ１７０１の動作に
ついて説明する。
【００８５】音声データ符号化部Ａ１７０１に入力され
た音声データは、スピーチデータと非スピーチデータに
分離される。この音声データの分離方法については、ス
ピーチに該当する周波数成分を分離抽出する等の周知技
術が適用可能であるため、ここでは詳細な説明を省略す
る。ここで分離されたスピーチデータと非スピーチデー
タは夫々、スピーチデータ符号化部１８０２、非スピー
チデータ符号化部１８０３に入力される。
【００８６】スピーチデータ符号化部１８０２では、入
力されるスピーチデータをHVXC(Harmonic Vector eXcit
ation Coding)で符号化する。また非スピーチデータ符
号化部１８０３は、非スピーチデータをMP3(MPEG Audio
Layer III)で符号化する。このようにして生成された
スピーチ符号化データ及び非スピーチ符号化データは、
フレーム符号化データ生成部Ｄ１７０２に出力される。
【００８７】フレーム符号化データ生成部Ｄ１７０２に
おいては、図１９に示されるように、画像符号化データ
のＬＬサブバンドとスピーチ符号化データがグループ化
されて準フレーム符号化データ１となり、またＬＬサブ
バンド以外の画像符号化データと非スピーチ符号化デー
タがグループ化されて準フレーム符号化データ２とな
る。そして、ヘッダと準フレーム符号化データ１、２が
統合されることによって、フレーム符号化データが生成
される。
【００８８】以上説明したように第４実施形態によれ
ば、音声データのうち重要であると考えられるスピーチ
データを優先した伝送／復号を可能とするフレーム符号
化データを生成することができる。
【００８９】＜第５実施形態＞以下、本発明に係る第５
実施形態について説明する。
【００９０】上述した第４実施形態においては、音声デ
ータをスピーチデータと非スピーチデータの２種類（２
階層）に分離したため、音声符号化データも準フレーム
符号化データ１，２の２グループに分離されていた。
【００９１】しかしながら、非スピーチデータを更に種
々の基準に基づいて２つ以上に分割することにより、音
声データをスピーチデータと非スピーチデータ１，非ス
ピーチデータ２，・・，非スピーチデータｎからなる多
階層に分離することも考えられる。これにより、上述し
た第２実施形態と同様に、画像と音声とを多階層のグル
ープで構成することができる。
【００９２】第５実施形態においては、音声データを２
以上の多階層に分離し、画像データを含めた多階層グル
ープとして符号化する例について説明する。
【００９３】図２０は、第５実施形態における符号化装
置の構成を示すブロック図である。これは、上述した第
１実施形態の図１４に示す音声データ符号化部１０４及
びフレーム符号化データ生成部Ａ１０５をそれぞれ、音
声データ符号化部Ｂ２００１及びフレーム符号化データ
生成部Ｅ２００２に置き換えたものである。
【００９４】また図２１は、音声データ符号化部Ｂ２０
０１の構成を示すブロック図である。２１０１は音声デ
ータ分離部、２１０２はスピーチデータ符号化部Ａ、２
１０３は非スピーチデータ符号化部Ａである。
【００９５】スピーチデータ符号化部１８０２において
は、スピーチデータを例えばCELP(Code Excited Linear
Prediction)で符号化する。また非スピーチデータを、
第１階層のモノラル音源と第２階層のステレオ音源に分
離し、その上で第１階層をTwin VQ(Transform domain W
eighted Interleave Vector Quantization)で符号化
し、第２階層をAAC(Advance Audio Codign)で符号化す
る。ここで符号化された第１階層及び第２階層の非スピ
ーチデータをそれぞれ、第１非スピーチ符号化データ及
び第２非スピーチ符号化データと呼ぶ。これらスピーチ
符号化データと、第１及び第２非スピーチ符号化データ
は、フレーム符号化データ生成部Ｅ２００２に出力され
る。
【００９６】フレーム符号化データ生成部Ｅ２００２で
は、図２２に示されるように、画像符号化データのＬＬ
サブバンドとスピーチ符号化データがグループ化されて
準フレーム符号化データ１となり、HL1,HH1,LH1サブバ
ンドと第１非スピーチ符号化データがグループ化されて
準フレーム符号化データ２となり、さらにLL, HL1,HH1,
LH1サブバンド以外のサブバンドと第２非スピーチ符号
化データがグループ化されて準フレーム符号化データ３
となる。その後、ヘッダと準フレーム符号化データ１，
２，３が統合されて、フレーム符号化データが生成され
る。
【００９７】以上説明したように第５実施形態によれ
ば、音声データを多階層のデータに分離し、画像と音声
のグループを２つ以上生成することによって、階層的伝
送／復号を多段階に行うことが可能となる。
【００９８】なお第５実施形態においては、非スピーチ
データを単純に２階層（モノラル音源とステレオ音源）
に分離する例について説明したが、本発明はこの例に限
定されない。例えば、非スピーチデータに対して離散ウ
ェーブレット変換を施す等によって２つ以上の周波数帯
域に分割し、これらを多階層の非スピーチデータの夫々
としても構わない。
【００９９】＜第６実施形態＞以下、本発明に係る第６
実施形態について説明する。
【０１００】上述した第２乃至第５実施形態において
は、画像符号化データと音声符号化データをグループ化
する例をそれぞれ説明した。しかしながら、符号化対象
となる動画像（及びこれに付属する音声）の種類によっ
ては、優先すべきデータ種別が異なることが考えられ
る。例えば、音楽プロモーションビデオ等であれば、高
音質な音声データが伝送、復号されることが重要視され
るし、一方、スポーツ中継ビデオ等であれば高品位な画
像が伝送、復号されることが重要視されるであろう。
【０１０１】そこで第６実施形態においては、種々の状
況に応じて、符号化データのグループ化方法を選択可能
とすることを特徴とする。
【０１０２】図２３は、第６実施形態における符号化装
置の構成を示すブロック図である。これは、上述した第
５実施形態の図２０に示すフレーム符号化データ生成部
Ｅ２００２を、フレーム符号化データ生成部Ｆ２３０１
に置き換え、さらにグルーピング制御部２３０２を付加
したものである。
【０１０３】なお、第６実施形態において生成される画
像符号化データ及び音声符号化データは、上述した第５
実施形態と同様の多階層形態をなすものとする。
【０１０４】画像符号化データと音声符号化データがフ
レーム符号化データ生成部Ｆ２３０１に入力されると、
グルーピング制御部２３０２が動作し、フレーム符号化
データ生成部Ｆ２３０１に対してグループ化の方法に関
する指示（グループ化方法指示）を与える。
【０１０５】グルーピング制御部２３０２におけるグル
ープ化方法指示を入力する一形態として、オペレータに
よる手動入力が考えられる。また別の形態として、グル
ーピング制御部２３０２に組み込まれているプログラム
による自動入力がある。なお第６実施形態においては、
選択可能なグループ化方法として、”ノーマル”，”画
質優先”，”音質優先”の３種類を想定する。
【０１０６】グルーピング制御部２３０２からのグルー
プ化方法指示を受けたフレーム符号化データ生成部Ｆ２
３０２は、該指示に基づいて符号化データを生成する。
例えば、グループ化方法指示が”ノーマル”であれば、
第５実施形態と同様に多階層のグループ化が行われる。
また、グループ化方法指示が”画質優先”であれば、図
２４に示すようにレベル０及びレベル１の画像データを
優先して第１グループ（準フレーム符号化データ１）と
するようなグループ化が行われる。また、グループ化方
法指示が”音声優先”であれば、図２５に示すようにレ
ベル０の画像データと全階層の音声データをまとめて第
１グループ（準フレーム符号化データ１）とするような
グループ化が行われる。
【０１０７】以上説明したように第６実施形態によれ
ば、様々なグループ化を選択的に行うことが可能とな
る。
【０１０８】なお第６実施形態においては、説明を簡単
するためにグループ化の種類を３種類としたが、もちろ
んグループ化方法の種類は上記３種類に限定されず、例
えば”画質優先”や”音質優先”におけるグループ化の
方法として、さらに複数種類を備えることも可能であ
る。
【０１０９】また、上述した様な”画質優先”や”音質
優先”という概念に基づいてグループ化方法を選択する
場合に限らず、様々な状況に適応させる為に、上述した
各実施形態に示したグループ化方法を、１つの装置にお
いて選択的に使用できる構成を備える場合も、本発明の
範疇に含まれる。
【０１１０】＜第７実施形態＞以下、本発明に係る第７
実施形態について説明する。
【０１１１】上述した各実施形態において生成されたフ
レーム符号化データを伝送する場合、回線状況の変動や
復号側のＣＰＵパワー等に応じて、低ビットレートの伝
送用に割り当てられるフレーム符号化データを変動させ
る必要が生じてくる。
【０１１２】そこで第７実施形態においては、復号側の
状況に応じてグループ化方法を適応的に切り替え可能と
することを特徴とする。
【０１１３】図２６は、第７実施形態における符号化装
置の構成を示すブロック図である。これは、上述した第
６実施形態の図２３に示すフレーム符号化データ生成部
Ｆ２３０１及びグルーピング制御部２３０２を、フレー
ム符号化データ生成部Ｇ２６０１及びグルーピング制御
部Ａ２６０２に置換したものである。
【０１１４】なお、第７実施形態において生成される画
像符号化データ及び音声符号化データは、上述した第５
実施形態と同様の多階層形態をなすものとする。
【０１１５】グルーピング制御部Ａ２６０２は、自装置
より送信したフレーム符号化データの、復号側装置にお
ける復号状況（各フレーム符号化データについて所定時
間内にどの程度復号できているか）を示す情報を受信す
ることができる。そして、この復号状況情報を受信する
と、現在符号化を行っている最中のフレーム、又はこれ
から符号化を開始するフレームに対する適切なグループ
化方法を決定する。
【０１１６】例えば、グルーピング制御部Ａ２６０２に
おいて、送信した各フレーム符号化データが受信側の復
号器において確実に復号再生できていないという状況が
認識された場合には、最低レベルに相当するグループに
含まれる画像かつ／又は音声のデータ量を減少させる様
なグループ化方法に切り替える。一方、送信した各フレ
ーム符号化データが受信側の復号器において復号再生さ
れ、かつ復号時間的にも未だ余裕が有るという状況が認
識された場合には、最低レベルに相当するグループに含
まれる画像かつ／又は音声のデータ量を増加させる様な
グループ化方法に切り替える。
【０１１７】フレーム符号化データ生成部Ｇ２６０１
は、以上の様にグルーピング制御部Ａ２６０２の指示に
従って適切なグループ化を行い、フレーム符号化データ
を生成する。
【０１１８】以上説明したように第７実施形態によれ
ば、送信した符号化データの復号状況を考慮した、最適
なグループ化を行うことができる。
【０１１９】＜その他の実施形態＞上述した第１乃至３
実施形態においては、画像データに対する離散ウェーブ
レット変換と音声データに対する離散ウェーブレット変
換を同様の演算方法によって行う例を示したが、この演
算方法は互いに異なっていても構わない。
【０１２０】また、画像符号化データと同様に、離散ウ
ェーブレット変換された音声データを量子化しても構わ
ないし、さらに、該量子化された音声データに対して算
術符号等のエントロピー符号化を施しても構わない。
【０１２１】フレーム符号化データ中の任意のアドレス
にアクセスすることを容易にするため、画像符号化デー
タや音声符号化データの先頭，終端、並びに画像符号化
データや音声符号化データにおけるサブバンドの先頭，
終端を示すビットをデータ中に付加しても構わない。
【０１２２】また、スピーチデータの符号化方法は、第
４乃至第７実施形態において説明した方法に限定され
ず、例えば、G.729，G.723.1等を用いることも可能であ
る。また、非スピーチデータの符号化方法としても例え
ば、HILIN(Harmonic and Individual Lines plus Nois
e)やBSAC(Bit Slice Arithmetic Coding)等を用いるこ
とが可能である。
【０１２３】（変形例）なお、本発明は複数の機器（例
えばホストコンピュータ、インターフェース機器、リー
ダ、プリンタ等）から構成されるシステムの一部として
適用しても、１つの機器（例えばデジタルビデオカメ
ラ、デジタルスチルカメラ等）からなる装置の１部に適
用しても良い。
【０１２４】また、本発明は上記実施の形態を実現する
ための装置及び方法のみに限定されるものではなく、上
記システム又は装置内のコンピュータ（ＣＰＵ或いはＭ
ＰＵ）に、上記実施の形態を実現するためのソフトウエ
アのプログラムコードを供給し、このプログラムコード
に従って上記システム或いは装置のコンピュータが上記
各種デバイスを動作させることにより上記実施の形態を
実現する場合も本発明の範疇に含まれる。
【０１２５】またこの場合、前記ソフトウエアに関する
プログラムコード自体が上記実施の形態の機能を実現す
ることになり、そのプログラムコード自体、及びそのプ
ログラムコードをコンピュータに供給するための手段、
具体的には上記プログラムコードを格納した記憶媒体は
本発明の範疇に含まれる。
【０１２６】この様なプログラムコードを格納する記憶
媒体としては、例えばフロッピー（登録商標）ディス
ク、ハードディスク、光ディスク、光磁気ディスク、Ｃ
Ｄ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、Ｒ
ＯＭ等を用いることができる。
【０１２７】また、上記コンピュータが、供給されたプ
ログラムコードのみに従って各種デバイスを制御するこ
とにより、上記実施の形態の機能が実現される場合だけ
ではなく、上記プログラムコードがコンピュータ上で稼
動しているＯＳ（オペレーティングシステム）、或いは
他のアプリケーションソフト等と共同して上記実施の形
態が実現される場合にもかかるプログラムコードは本発
明の範疇に含まれる。
【０１２８】更に、この供給されたプログラムコード
が、コンピュータの機能拡張ボードやコンピュータに接
続された機能拡張ユニットに備わるメモリに格納された
後、そのプログラムコードの指示に基づいてその機能拡
張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の
処理の一部または全部を行い、その処理によって上記実
施の形態が実現される場合も本発明の範疇に含まれる。
【０１２９】
【発明の効果】以上説明したように本発明によれば、既
に符号化された画像データ及び音声データの両方に対し
て、これらを復号することなく適切にスケーラビリティ
を付与し、これら両方のデータを含む符号化データを生
成することができる。
【０１３０】また、動画像を構成する各フレームの画像
データと音声データを適切な単位でグループ化した符号
化データを生成し、伝送することにより、受信側におい
て該符号化データの効率的な利用が可能となる。
【図面の簡単な説明】
【図１Ａ】本発明に係る第１実施形態における符号化装
置の構成を示したブロック図である。
【図１Ｂ】画像データ符号化部１０３の構成を示したブ
ロック図である。
【図１Ｃ】音声データ符号化部１０４の構成を示したブ
ロック図である。
【図２】フレームデータの構成を示す図である。
【図３】フレームデータの画像データと音声データへの
分離を説明する図である。
【図４】フレーム符号化データの構成を示す図である。
【図５】離散ウェーブレット変換を模式的に表した図で
ある。
【図６】離散ウェーブレット変換により生成される各サ
ブバンドを示す図である。
【図７】第１実施形態における各周波数成分と量子化ス
テップとの対応を示す図である。
【図８】レベルの低い順にサブバンド単位で並べられた
画像符号化データを示す図である。
【図９】音声データを複数のサブバンドに分割した図で
ある。
【図１０】第２実施形態における符号化装置の構成を示
すブロック図である。
【図１１】第２実施形態におけるフレーム符号化データ
の構成を示す図である。
【図１２】第３実施形態における符号化装置の構成を示
すブロック図である。
【図１３】第３実施形態におけるフレーム符号化データ
の構成を示す図である。
【図１４】第１実施形態におけるフレーム符号化処理を
示すフローチャートである。
【図１５】画像データ符号化処理を示すフローチャート
である。
【図１６】音声データ符号化処理を示すフローチャート
である。
【図１７】第４実施形態における符号化装置の構成を示
すブロック図である。
【図１８】音声データ符号化部Ａ１７０１の構成を示す
ブロック図である。
【図１９】第４実施形態におけるフレーム符号化データ
の構成を示す図である。
【図２０】第５実施形態における符号化装置の構成を示
すブロック図である。
【図２１】音声データ符号化部Ｂ２００１の構成を示す
ブロック図である。
【図２２】第５実施形態におけるフレーム符号化データ
の構成を示す図である。
【図２３】第６実施形態における符号化装置の構成を示
すブロック図である。
【図２４】第６実施形態における画質優先時のフレーム
符号化データの構成を示す図である。
【図２５】第６実施形態における音質優先時のフレーム
符号化データの構成を示す図である。
【図２６】第７実施形態における符号化装置の構成を示
すブロック図である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/081 Ｆターム(参考） 5C059 KK39 KK41 MA24 MC11 MC30 ME11 PP05 RB09 RB14 RC04 RC24 RC28 RC32 SS06 SS20 SS26 UA02 5C063 AB03 AB07 AC01 AC05 CA20 CA23 CA34 DA05 DA07 DA13 5D045 DA20 5J064 AA01 BA10 BA16 BC16 BC18 BD02 5K028 AA01 AA12 DD01 DD02 EE02 EE03 EE08 KK01 LL14 LL29 MM05 SS05 SS15

Claims (23)

    【特許請求の範囲】
  1. 【請求項１】 画像データと音声データを含むフレーム
    データに対して符号化を行う符号化装置であって、 前記フレームデータに含まれる前記画像データと前記音
    声データを分離する分離手段と、 分離された前記画像データに対し、その低周波成分から
    高周波成分へ順次、符号化を行って画像符号化データを
    生成する画像データ符号化手段と、 分離された前記音声データに対し、その低周波成分から
    高周波成分へ順次、符号化を行って音声符号化データを
    生成する音声データ符号化手段と、 前記画像符号化データと前記音声符号化データを用いて
    ヘッダ情報を生成し、該ヘッダ情報及び前記画像符号化
    データ及び前記音声符号化データによってフレーム符号
    化データを生成するフレーム符号化データ生成手段と、
    を備えることを特徴とする符号化装置。
  2. 【請求項２】 前記ヘッダ情報は少なくとも、前記画像
    データのサイズ、前記画像データの画像タイプ情報、前
    記画像符号化データの長さ、前記音声符号化データの長
    さ、当該符号化装置の識別情報、送信日時、前記画像符
    号化データの先頭アドレス、前記音声符号化データの先
    頭アドレス、のいずれかを含むことを特徴とする請求項
    １記載の符号化装置。
  3. 【請求項３】 前記画像データ符号化手段は、前記画像
    データに対して離散ウェーブレット変換を施すことによ
    って各サブバンドに対する変換係数列を生成し、同レベ
    ルのサブバンドをまとめて、低レベルのサブバンドから
    高レベルのサブバンドへ順次、前記変換係数列を符号化
    することによって、前記画像符号化データを生成するこ
    とを特徴とする請求項１記載の符号化装置。
  4. 【請求項４】 前記音声データ符号化手段は、前記音声
    データに対して離散ウェーブレット変換を施すことによ
    って各サブバンドに対する変換係数列を生成し、同レベ
    ルのサブバンドをまとめて、低レベルのサブバンドから
    高レベルのサブバンドへ順次、前記変換係数列を符号化
    することによって、前記音声符号化データを生成するこ
    とを特徴とする請求項１記載の符号化装置。
  5. 【請求項５】 前記フレーム符号化データ生成手段は、
    前記ヘッダ情報、前記画像符号化データ、前記音声符号
    化データをこの順に並べることによって、前記フレーム
    符号化データを生成することを特徴とする請求項１乃至
    ４のいずれかに記載の符号化装置。
  6. 【請求項６】 前記フレーム符号化データ生成手段は、
    前記画像符号化データと前記音声符号化データにおける
    同レベルのサブバンドをグループ化し、該グループを前
    記ヘッダ情報に続けて低レベルから高レベルの順に並べ
    ることによって、前記フレーム符号化データを生成する
    ことを特徴とする請求項１乃至４のいずれかに記載の符
    号化装置。
  7. 【請求項７】 前記フレーム符号化データ生成手段は、
    前記画像符号化データの一部と前記音声符号化データの
    一部から構成される準フレーム符号化データを用いて、
    前記フレーム符号化データを生成することを特徴とする
    請求項１乃至４のいずれかに記載の符号化装置。
  8. 【請求項８】 画像データと音声データを含むフレーム
    データに対して符号化を行う符号化装置であって、 前記フレームデータに含まれる前記画像データと前記音
    声データを分離する分離手段と、 前記画像データを複数種類の画像データに階層化して符
    号化し、複数階層の夫々に相当する符号化画像データを
    生成する画像データ符号化手段と、 前記音声データを複数種類の音声データに階層化して符
    号化し、複数階層の夫々に相当する符号化音声データを
    生成する音声データ符号化手段と、 前記符号化画像データと前記符号化音声データを用いて
    フレーム符号化データを生成するフレーム符号化データ
    生成手段と、を備え、 前記フレーム符号化データ生成手段は、所定基準に基づ
    いて決定される同一レベルに属する画像符号化データと
    音声符号化データをグループ化することによってレベル
    の異なる複数のグループを作成し、該複数のグループを
    重要度の高いレベル順に並べることによって前記フレー
    ム符号化データを生成することを特徴とする符号化装
    置。
  9. 【請求項９】 前記画像データ符号化手段が階層化した
    複数種類の画像データは、前記画像データを離散ウェー
    ブレット変換することによって得られる複数の周波数成
    分に相当することを特徴とする請求項８記載の符号化装
    置。
  10. 【請求項１０】 前記音声データ符号化手段が階層化し
    た複数種類の音声データは、人間の声に相当するスピー
    チデータと、それ以外の非スピーチデータに相当するこ
    とを特徴とする請求項８記載の符号化装置。
  11. 【請求項１１】 前記フレーム符号化データ生成手段
    は、前記スピーチデータの符号化データを重要レベルの
    音声符号化データとして第１の符号化画像データとグル
    ープ化し、前記非スピーチデータの符号化データを非重
    要レベルの音声符号化データとして第２の符号化画像デ
    ータとグループ化することを特徴とする請求項１０記載
    の符号化装置。
  12. 【請求項１２】 前記画像データ符号化手段が階層化し
    た複数種類の画像データは、前記画像データを離散ウェ
    ーブレット変換することによって得られる第１の周波数
    成分と、該第１の周波数成分よりも高周波である第２の
    周波数成分を含み、 前記第１及び第２の符号化画像データは夫々、該第１及
    び第２の周波数成分に相当する符号化画像データである
    ことを特徴とする請求項１１記載の符号化装置。
  13. 【請求項１３】 前記音声データ符号化手段が階層化し
    た複数種類の音声データは、人間の声に相当するスピー
    チデータと、それ以外の非スピーチデータを階層化した
    ２つ以上の非スピーチデータに相当することを特徴とす
    る請求項８記載の符号化装置。
  14. 【請求項１４】 前記フレーム符号化データ生成手段
    は、 前記スピーチデータの符号化データを最重要レベルの音
    声符号化データとして第１の符号化画像データとグルー
    プ化し、 前記非スピーチデータを階層化して得られた第１非スピ
    ーチデータの符号化データを、前記最重要レベルに次い
    で重要なレベルの音声符号化データとして第２の符号化
    画像データとグループ化し、 前記非スピーチデータを階層化して得られた前記第１非
    スピーチデータ以外の第２非スピーチデータの符号化デ
    ータを、第３の符号化画像データとグループ化すること
    を特徴とする請求項１２記載の符号化装置。
  15. 【請求項１５】 前記画像データ符号化手段が階層化し
    た複数種類の画像データは、前記画像データを離散ウェ
    ーブレット変換することによって得られる第１の周波数
    成分と、該第１の周波数成分よりも高周波である第２の
    周波数成分と、該第２の周波数成分よりも高周波である
    第３の周波数成分を含み、 前記第１乃至第３の符号化画像データは夫々、該第１乃
    至第３の周波数成分に相当する符号化画像データである
    ことを特徴とする請求項１４記載の符号化装置。
  16. 【請求項１６】 前記フレーム符号化データ生成手段
    は、前記符号化画像データと前記符号化音声データをグ
    ループ化する際に、複数種類のグループ化方法を選択的
    に使用可能とすることを特徴とする請求項８記載の符号
    化装置。
  17. 【請求項１７】 前記複数種類のグループ化方法は、画
    質を優先したグループ化方法と、音質を優先したグルー
    プ化方法を含むことを特徴とする請求項１６記載の符号
    化装置。
  18. 【請求項１８】 更に、前記フレーム符号化データを伝
    送する伝送手段と、 該伝送したフレーム符号化データの復号状況を検知する
    検知手段と、 該検知した復号状況に応じて、前記グループ化方法を切
    り替える制御手段と、を有することを特徴とする請求項
    １６記載の符号化装置。
  19. 【請求項１９】 画像データと音声データを含むフレー
    ムデータに対して符号化を行う符号化方法であって、 前記フレームデータに含まれる前記画像データと前記音
    声データを分離する分離工程と、 分離された前記画像データに対し、その低周波成分から
    高周波成分へ順次、符号化を行って画像符号化データを
    生成する画像データ符号化工程と、 分離された前記音声データに対し、その低周波成分から
    高周波成分へ順次、符号化を行って音声符号化データを
    生成する音声データ符号化工程と、 前記画像符号化データと前記音声符号化データを用いて
    ヘッダ情報を生成し、該ヘッダ情報及び前記画像符号化
    データ及び前記音声符号化データによってフレーム符号
    化データを生成するフレーム符号化データ生成工程と、
    を備えることを特徴とする符号化方法。
  20. 【請求項２０】 画像データと音声データを含むフレー
    ムデータに対して符号化を行う符号化方法であって、 前記フレームデータに含まれる前記画像データと前記音
    声データを分離する分離工程と、 前記画像データを複数種類の画像データに階層化して符
    号化し、複数階層の夫々に相当する符号化画像データを
    生成する画像データ符号化工程と、 前記音声データを複数種類の音声データに階層化して符
    号化し、複数階層の夫々に相当する符号化音声データを
    生成する音声データ符号化工程と、 前記符号化画像データと前記符号化音声データを用いて
    フレーム符号化データを生成するフレーム符号化データ
    生成工程と、を備え、 前記フレーム符号化データ生成工程においては、所定基
    準に基づいて決定される同一レベルに属する画像符号化
    データと音声符号化データをグループ化することによっ
    てレベルの異なる複数のグループを作成し、該複数のグ
    ループを重要度の高いレベル順に並べることによって前
    記フレーム符号化データを生成することを特徴とする符
    号化方法。
  21. 【請求項２１】 コンピュータによって実行されること
    により、画像データと音声データを含むフレームデータ
    に対して符号化を行う符号化装置として該コンピュータ
    を機能させるプログラムであって、 前記フレームデータに含まれる前記画像データと前記音
    声データを分離する分離工程のコードと、 分離された前記画像データに対し、その低周波成分から
    高周波成分へ順次、符号化を行って画像符号化データを
    生成する画像データ符号化工程のコードと、 分離された前記音声データに対し、その低周波成分から
    高周波成分へ順次、符号化を行って音声符号化データを
    生成する音声データ符号化工程のコードと、 前記画像符号化データと前記音声符号化データを用いて
    ヘッダ情報を生成し、該ヘッダ情報及び前記画像符号化
    データ及び前記音声符号化データによってフレーム符号
    化データを生成するフレーム符号化データ生成工程のコ
    ードと、を備えることを特徴とするプログラム。
  22. 【請求項２２】 コンピュータによって実行されること
    により、画像データと音声データを含むフレームデータ
    に対して符号化を行う符号化装置として該コンピュータ
    を機能させるプログラムであって、 前記フレームデータに含まれる前記画像データと前記音
    声データを分離する分離工程のコードと、 前記画像データを複数種類の画像データに階層化して符
    号化し、複数階層の夫々に相当する符号化画像データを
    生成する画像データ符号化工程のコードと、 前記音声データを複数種類の音声データに階層化して符
    号化し、複数階層の夫々に相当する符号化音声データを
    生成する音声データ符号化工程のコードと、 前記符号化画像データと前記符号化音声データを用いて
    フレーム符号化データを生成するフレーム符号化データ
    生成工程のコードと、を備え、 前記フレーム符号化データ生成工程においては、所定基
    準に基づいて決定される同一レベルに属する画像符号化
    データと音声符号化データをグループ化することによっ
    てレベルの異なる複数のグループを作成し、該複数のグ
    ループを重要度の高いレベル順に並べることによって前
    記フレーム符号化データを生成することを特徴とするプ
    ログラム。
  23. 【請求項２３】 請求項２１または２２に記載のプログ
    ラムを記録した記録媒体。
JP2001118348A 2000-04-27 2001-04-17 符号化装置及び符号化方法 Withdrawn JP2002016925A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001118348A JP2002016925A (ja) 2000-04-27 2001-04-17 符号化装置及び符号化方法
US09/842,155 US6993198B2 (en) 2000-04-27 2001-04-26 Encoding apparatus and encoding method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-128515 2000-04-27
JP2000128515 2000-04-27
JP2001118348A JP2002016925A (ja) 2000-04-27 2001-04-17 符号化装置及び符号化方法

Publications (1)

Publication Number Publication Date
JP2002016925A true JP2002016925A (ja) 2002-01-18

Family

ID=26591026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001118348A Withdrawn JP2002016925A (ja) 2000-04-27 2001-04-17 符号化装置及び符号化方法

Country Status (2)

Country Link
US (1) US6993198B2 (ja)
JP (1) JP2002016925A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007279761A (ja) * 2002-03-09 2007-10-25 Samsung Electronics Co Ltd スケーラブル無損失オーディオ符号化／復号化装置及びその方法
US7634402B2 (en) 2003-11-13 2009-12-15 Electronics And Telecommunications Research Institute Apparatus for coding of variable bitrate wideband speech and audio signals, and a method thereof

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1374230B1 (en) * 2001-11-14 2006-06-21 Matsushita Electric Industrial Co., Ltd. Audio coding and decoding
US7630569B2 (en) * 2002-02-26 2009-12-08 Decegama Angel Real-time software video/audio transmission and display with content protection against camcorder piracy
US7574063B2 (en) * 2003-07-23 2009-08-11 Canon Kabushiki Kaisha Image coding method and apparatus
US20080089413A1 (en) * 2004-06-28 2008-04-17 Canon Kabushiki Kaisha Moving Image Encoding Apparatus And Moving Image Encoding Method
US7275190B2 (en) * 2004-11-08 2007-09-25 Micron Technology, Inc. Memory block quality identification in a memory device
TWI288353B (en) * 2004-12-24 2007-10-11 Lite On Semiconductor Corp Motion detection method
KR100707186B1 (ko) * 2005-03-24 2007-04-13 삼성전자주식회사 오디오 부호화 및 복호화 장치와 그 방법 및 기록 매체
JP4979323B2 (ja) * 2005-12-07 2012-07-18 キヤノン株式会社 画像処理装置及びその制御方法
JP2009518981A (ja) 2005-12-08 2009-05-07 ヴィドヨ，インコーポレーテッド ビデオ通信システムでのエラー回復力およびランダムアクセスのためのシステムおよび方法
US8693538B2 (en) 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
EP1841072B1 (de) * 2006-03-30 2016-06-01 Unify GmbH & Co. KG Verfahren und Einrichtung zum Dekodieren von schichtkodierten Daten
JP4829835B2 (ja) * 2006-06-12 2011-12-07 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体
JP5455648B2 (ja) * 2007-01-09 2014-03-26 ヴィドヨ，インコーポレーテッド ビデオ通信システムに於けるエラー耐性の向上したシステム及びその方法
JP4958832B2 (ja) * 2008-04-02 2012-06-20 キヤノン株式会社 画像符号化装置及びその制御方法
JP4958831B2 (ja) 2008-04-02 2012-06-20 キヤノン株式会社 画像符号化装置及びその制御方法
JP5081113B2 (ja) * 2008-09-17 2012-11-21 キヤノン株式会社 画像符号化装置及び画像復号装置、並びにそれらの制御方法
JP5199956B2 (ja) * 2009-06-16 2013-05-15 キヤノン株式会社 画像復号装置及びその制御方法
JP5199955B2 (ja) * 2009-06-16 2013-05-15 キヤノン株式会社 画像復号装置及びその制御方法
JP5529571B2 (ja) * 2010-02-08 2014-06-25 キヤノン株式会社 画像符号化装置及びその制御方法
JP2012133637A (ja) * 2010-12-22 2012-07-12 On Semiconductor Trading Ltd 命令実行回路

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69426894T2 (de) * 1993-09-16 2001-07-26 Toshiba Kawasaki Kk Digitales Videosignal
JP3213582B2 (ja) * 1997-05-29 2001-10-02 シャープ株式会社 画像符号化装置及び画像復号装置
US6446037B1 (en) * 1999-08-09 2002-09-03 Dolby Laboratories Licensing Corporation Scalable coding method for high quality audio

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007279761A (ja) * 2002-03-09 2007-10-25 Samsung Electronics Co Ltd スケーラブル無損失オーディオ符号化／復号化装置及びその方法
US7617097B2 (en) 2002-03-09 2009-11-10 Samsung Electronics Co., Ltd. Scalable lossless audio coding/decoding apparatus and method
US7634402B2 (en) 2003-11-13 2009-12-15 Electronics And Telecommunications Research Institute Apparatus for coding of variable bitrate wideband speech and audio signals, and a method thereof

Also Published As

Publication number Publication date
US20010036321A1 (en) 2001-11-01
US6993198B2 (en) 2006-01-31

Similar Documents

Publication Publication Date Title
JP2002016925A (ja) 符号化装置及び符号化方法
JP4545980B2 (ja) 符号化装置及び符号化方法並びに記憶媒体
EP1732029A1 (en) Encoding and decoding images
US20080089413A1 (en) Moving Image Encoding Apparatus And Moving Image Encoding Method
JP4208378B2 (ja) 画像処理装置及び方法及び記録媒体
JP2001231042A (ja) 画像処理装置及びその方法並びに記憶媒体
JP2001346047A (ja) 画像処理装置及び画像処理方法
US20040141651A1 (en) Modifying wavelet division level before transmitting data stream
US20070110163A1 (en) Image processing apparatus and image processing method
JPH11266161A (ja) データ圧縮方法及びデータ圧縮装置
WO2006001490A1 (en) Moving image encoding apparatus and moving image encoding method
JP2003274185A (ja) 画像処理方法とその方法を利用可能な画像符号化装置
JP4190157B2 (ja) 画像データ送信装置および画像データ受信装置
JP4208533B2 (ja) 画像処理装置及び画像処理方法
JP2000151973A (ja) 情報処理装置およびその方法、並びに、記憶媒体
US20050220323A1 (en) Image processing apparatus and method for processing image having hierarchical structure
CN100393135C (zh) 分层编码、解码时的分辨率变换
JP2000022960A (ja) 画像処理装置及び方法及び記憶媒体
US6614933B1 (en) Image processing apparatus and method, and storage medium
JPH11262004A (ja) 画像処理装置及び方法及び記憶媒体
JP2006086579A (ja) 画像処理装置、プログラム、及び記憶媒体
JP2003078767A (ja) 画像処理方法及び装置
JP2001045482A (ja) 画像処理装置及び方法
JP4194311B2 (ja) 動画像符号化装置及び動画像復号装置並びにそれらの方法
JP2001218208A (ja) 画像復号装置及びその方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080701