JP2001103425A

JP2001103425A - 符号化データ蓄積出力装置

Info

Publication number: JP2001103425A
Application number: JP27596799A
Authority: JP
Inventors: Ichiro Ando; 一郎安藤
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1999-09-29
Filing date: 1999-09-29
Publication date: 2001-04-13

Abstract

(57)【要約】【課題】出力レートが低下した場合においても、重要
度の高いオブジェクトの再生品質低下を防ぐことのでき
る符号化データ蓄積出力装置を提供すること。【解決手段】歌番組の符号化データ蓄積において、オ
ブジェクト符号化を用い、歌手と背景とを重要度による
重み付を行って、歌手と背景とを個別にそれぞれ複数の
符号化レートで符号化したデータを符号化データ蓄積器
２１に蓄積する。蓄積データの出力段で伝送レート（出
力レート）が低下した場合に、重要度の高い歌手の符号
化データは同じ符号化レート、もしくは、より低い符号
化レートのデータを選択して出力する。重要度の低い背
景符号化データは歌手符号化データに比べて符号化レー
ト低減率のより高い符号化データを選択して出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、オブジェクト符号
化による動画像、音声等の符号化データ蓄積出力装置に
関する。そして、この発明は、特に出力レートが低下し
た場合においても、重要度の高いオブジェクトの再生品
質低下を防ぐことのできる符号化データ蓄積出力装置を
提供することを目的としている。

【０００２】

【従来の技術】動画像や音声の圧縮符号化データを蓄積
し、必要に応じてメモリから読み出して出力する装置が
ある。例えば、動画像と音声をISO/IEC 11172（通称MPE
G-1）に準拠する方式で圧縮符号化した符号化データを
ハードディスクに蓄積し、必要に応じてハードディスク
から読み出して出力する符号化データ蓄積出力装置があ
る。

【０００３】上記符号化データ蓄積出力装置では、予め
決められた所定の符号化レートで動画像や音声を符号化
して蓄積する。よって、この装置から動画像や音声を、
上記所定の符号化レートよりも低い伝送レート（出力レ
ート）をもつ伝送路へ出力することができないという問
題が生じていた。

【０００４】この問題の解決策として、例えば、特開平
９−７４５５９号がある。特開平９−７４５５９号に示
された符号化データ蓄積出力装置は、動画像や音声を複
数の符号化レートで符号化して蓄積し、伝送レートに応
じた符号化レートの符号化データを選択して出力するこ
とで、上記問題を解決しようとするものである。

【０００５】一般に圧縮符号化では、符号化レートを低
くすると歪み知覚を生じる成分まで情報量を削減する必
要があり、再生時に符号化歪みが大きくなる。例えば、
符号化レート1.5Mbpsで符号化した場合と、符号化レー
ト1Mbpsで符号化した場合とを比較すると、前者に比べ
て後者は符号化歪みが大きくなる。すなわち、再生品質
が低下する。

【０００６】ここで、歌手と背景を合成した歌番組の動
画像をMPEG-1符号化方式で符号化する場合を考える。MP
EG-1符号化方式では、歌手と背景との合成画像のまま符
号化を行うため、伝送レートに応じて符号化レートを下
げた場合、視聴者にとって重要な情報である歌手の再生
品質が、さほど重要でない情報である背景の再生品質と
同様に低下する。このため、伝送レートが低下した場合
に、重要な情報である歌手の再生品質を維持、もしく
は、再生品質の低下を抑制することができなかった。

【０００７】一方、動画像音声圧縮符号化方式としてIS
O/IEC 14496（通称MPEG-4）の国際標準化作業が進めら
れている。MPEG-4符号化方式では、従来からのMPEG-1符
号化方式（ISO/IEC 11172）やMPEG-2符号化方式（ISO/I
EC 13818）に対して、オブジェクト符号化と再生におけ
る復号オブジェクトの合成表示を特徴としている。オブ
ジェクト符号化とは、再生時に個別に復号して合成表示
することを前提に、複数の情報信号それぞれをオブジェ
クトとして個別に符号化する方式である。

【０００８】オブジェクト符号化を上記歌番組の動画像
符号化に適用した場合、歌手と背景とがそれぞれオブジ
ェクトとして個別に符号化される。歌番組としての符号
化データは、歌手の符号化データと背景の符号化データ
とを多重化したデータとなる。このため、歌番組として
の符号化データの符号化レートは、多重化データの符号
化レートである。歌手の符号化レートと背景の符号化レ
ートとは、多重化データの符号化レートに対して、例え
ば、平均面積比（表示画像における歌手部分と背景部分
との面積比）に応じて配分する。

【０００９】

【発明が解決しようとする課題】このようにしてオブジ
ェクト符号化した歌番組の動画像符号化データ（歌手の
符号化データと背景の符号化データ）を、特開平９−７
４５５９号に示された符号化データ蓄積出力装置に適用
した場合を考える。

【００１０】第１の伝送レートに適合する多重化データ
の符号化レートから、上述の平均面積比により求められ
た歌手、背景それぞれの符号化レートを第１の歌手符号
化レート、第１の背景符号化レートとする。また、第１
の伝送レートよりも低い第２の伝送レートに適合する多
重化データの符号化レートから同様に求められた歌手、
背景それぞれの符号化レートを第２の歌手符号化レー
ト、第２の背景符号化レートとする。

【００１１】伝送レートが、第１の伝送レートから第２
の伝送レートに低下した場合、符号化データ蓄積出力装
置から出力される符号化データは、歌手の符号化データ
が第１の歌手符号化レートのものから第２の歌手符号化
レートのものに切り換わり、背景の符号化データが第１
の背景符号化レートのものから第２の背景符号化レート
のものに切り換わる。この伝送レート低下による、歌手
と背景の各符号化データの符号化レートの低下率は同じ
値となる。（即ち、［第２の歌手符号化レート／第１の
歌手符号化レート］＝［第２の背景符号化レート／第１
の背景符号化レート］となる。）

【００１２】このため、前述のMPEG-1符号化方式と同様
に、伝送レート（出力レート）が低下した場合に、歌番
組において重要な情報である歌手の再生品質を、重要度
の低い情報である背景の再生品質とは独立して維持、も
しくは、低下抑制することができない問題が生じる。

【００１３】この発明は、伝送レート（出力レート）が
低下した場合においても、重要度の高いオブジェクトの
再生品質低下を防ぐことのできる符号化データ蓄積出力
装置を提供することを目的としている。

【００１４】

【課題を解決するための手段】そこで、上記課題を解決
するために本発明は、再生時に個別に復号して合成する
ことを前提に、複数の情報信号それぞれをオブジェクト
として符号化したデータを蓄積し、蓄積した符号化デー
タを多重化して出力する符号化データ蓄積出力装置にお
いて、各オブジェクト毎に情報の重要度に応じた重み付
を行うと共に、各オブジェクト毎に、複数の符号化レー
トで符号化した複数の符号化データを蓄積する蓄積手段
と、前記蓄積手段から選択出力される各オブジェクトの
前記符号化データを、多重化して出力する際の符号化デ
ータの出力レートを設定する出力レート設定手段と、前
記出力レートに基づき、前記蓄積手段から、各オブジェ
クト毎に前記複数の符号化データから各一つを選択して
出力させる制御手段とを設け、前記制御手段による選択
は、設定される出力レートが低下した場合、重要度の低
いオブジェクト程、優先的に、そのオブジェクトの複数
の符号化データの中から符号化レートのより低い符号化
データを選択するものであることを特徴とする符号化デ
ータ蓄積出力装置、を提供するものである。

【００１５】

【発明の実施の形態】本発明においては、例えば、歌番
組の符号化データ蓄積において、オブジェクト符号化を
用い、歌手と背景とを重要度による重み付を行って、歌
手と背景とを個別にそれぞれ複数の符号化レートで符号
化したデータを蓄積する。蓄積データの出力段で伝送レ
ート（出力レート）が第１の伝送レートから第２の伝送
レートに低下した場合に、歌手の符号化データは同じ符
号化レート、もしくは、より低い符号化レートのデータ
を選択して出力する。背景符号化データは歌手符号化デ
ータに比べて符号化レート低減率のより高い符号化デー
タを選択して出力する。

【００１６】第１の伝送レート時に選択されていた歌手
符号化データの符号化レートを歌手符号化レートＫ１、
同じく背景符号化データの符号化レートを背景符号化レ
ートＨ１とする。第２の伝送レート時には以下の符号化
レートの関係となる歌手符号化データ（このデータの符
号化レートを歌手符号化レートＫ２とする）と、背景符
号化データ（このデータの符号化レートを背景符号化レ
ートＨ２とする）とが選択される。［歌手符号化レート
Ｋ２／歌手符号化レートＫ１］＞［背景符号化レートＨ
２／背景符号化レートＨ１］

【００１７】これにより、本発明の符号化データ蓄積出
力装置は、伝送レート（出力レート）が低下した場合に
おいても、重要度の低い情報である背景の再生品質低下
を大きくする代わりに、重要度の高い情報である歌手の
再生品質低下を抑えることができる。要するに、設定さ
れる伝送レート（出力レート）が低下した場合、重要度
の低いオブジェクト（情報信号）程、優先的に、そのオ
ブジェクトの複数の符号化データの中から符号化レート
の低い符号化データを選択して出力するようにすること
により、重要度の高いオブジェクト（情報信号）程、再
生品質低下を抑えることができる。

【００１８】なお、第１の伝送レート時に選択されてい
た背景符号化データが蓄積されている背景符号化データ
の中で一番符号化レートの低いデータである場合には、
上記の符号化レートの関係が成り立たない場合もある。
（例えば、後述の表３における伝送レート７５０ｋｐｓ
の場合）

【００１９】次に、図１と共に、本発明の一実施例を説
明する。図１において、端子４からの符号化データ切り
換え信号により、ＳＷ１を切り換えて符号化データ蓄積
器２１に蓄積する符号化データを切り換える。端子４か
らの符号化データ切り換え信号によりＳＷ１を端子ａに
切り換えた場合、端子１からの歌手の任意形状動画像を
画面サイズ変換器１１に供給する。歌手の任意形状動画
像は、例えば、ブルーバックスタジオで撮影した歌手の
矩形形状動画像（画面サイズ３５２ｘ２８８）とクロマ
キー処理して得たキー信号（画面サイズ３５２ｘ２８
８）で構成する。

【００２０】画面サイズ変換器１は、制御器１からの符
号化パラメータのうち、画面サイズのパラメータに基づ
き、歌手の任意形状動画像を構成する矩形形状動画像と
キー信号それぞれに対して画面サイズ変換を行い、プリ
フィルタ１３に供給する。画面サイズ変換は、例えば、
従来から知られるローパスフィルタと画素間引きによる
サブサンプルによる方法で実現する。プリフィルタ１３
は、制御器１９からの符号化パラメータのうち、帯域特
性重み付け係数に基づき、歌手の任意形状動画像を構成
する矩形形状動画像に対して、図２に示すような構成の
プリフィルタで帯域制限して、任意形状符号化器１５に
供給する。

【００２１】任意形状符号化器１５は、例えばISO/IEC
14496-2 FDIS記載の２値任意形状符号化に基づき、歌手
の任意形状動画像を符号化する。任意形状符号化器１５
の出力は、バッファメモリ１７に供給される。バッファ
メモリ１７は、符号化開始時に所定量の符号化データを
蓄積した後、出力クロック発生器２０からの符号化レー
トに応じたクロックに同期して、ＳＷ１を介して、符号
化データ蓄積器２１に符号化データを供給する。またバ
ッファメモリ１７は、符号化データの充足量を逐次符号
化器１５に供給する。符号化器１５は、制御器１９から
符号化開始前に予め設定されたバッファメモリ量と、バ
ッファメモリ１７から逐次供給される充足量に基づき、
逐次量子化ステップを制御して発生符号量を調整する。

【００２２】制御器１９は、端子３からの符号化データ
IDを含む符号化パラメータに基づき、画面サイズ変換器
１、プリフィルタ１３、任意形状符号化器１５、出力ク
ロック発生器２０、符号化データ蓄積器２１を制御す
る。例えば、端子３からの符号化パラメータを表１のよ
うに設定する。

【００２３】

【表１】

【００２４】符号化データ蓄積器２１は、ＳＷ１を介し
て供給を受けた符号化データを、所定の単位時間毎に管
理して順次蓄積する。また、符号化データ蓄積器２１
は、制御器１９から供給される符号化データIDに基づき
管理して蓄積する。

【００２５】一方、端子４からの符号化データ切り換え
信号によりＳＷ１を端子ｂに切り換えた場合、端子２か
らの背景の矩形形状動画像（画面サイズ３５２ｘ２８
８）を画面サイズ変換器１２に供給する。

【００２６】画面サイズ変換器１２は、制御器１９から
の符号化パラメータのうち、画面サイズのパラメータに
基づき、背景の矩形形状動画像に対して画面サイズ変換
を行い、プリフィルタ１４に供給する。画面サイズ変換
は、例えば、従来から知られるローパスフィルタと画素
間引きによるサブサンプルによる方法で実現する。プリ
フィルタ１４は、制御器１９からの符号化パラメータの
うち、帯域特性重み付け係数に基づき、背景の矩形形状
動画像に対して同様に帯域制限して、矩形形状符号化器
１６に供給する。

【００２７】矩形形状符号化器１６は、例えばISO/IEC
14496-2 FDIS記載の矩形形状符号化に基づき、背景の矩
形形状動画像を符号化する。矩形形状符号化器１６から
の出力は、バッファメモリ１８に供給される。

【００２８】バッファメモリ１８は、符号化開始時に所
定量の符号化データを蓄積した後、出力クロック発生器
２０からの符号化レートに応じたクロックに同期して、
ＳＷ１を介して、符号化データ蓄積器２１に符号化デー
タを供給する。またバッファメモリ１８は、符号化デー
タの充足量を逐次符号化器１６に供給する。符号化器１
６は、制御器１９から符号化開始前に予め設定されたバ
ッファメモリ量と、バッファメモリ１８から逐次供給さ
れる充足量に基づき、逐次量子化ステップを制御して発
生符号量を調整する。符号化データ蓄積器２１は、ＳＷ
１を介して供給を受けた符号化データを順次蓄積する。

【００２９】制御器１９は、端子３からの符号化データ
IDを含む符号化パラメータに基づき、画面サイズ変換器
１２、プリフィルタ１４、任意形状符号化器１６、出力
クロック発生器２０、符号化データ蓄積器２１を制御す
る。例えば、端子３からの符号化パラメータを表２のよ
うに設定する。

【００３０】

【表２】

【００３１】符号化データ蓄積器２１は、ＳＷ１を介し
て供給を受けた符号化データを、所定の単位時間毎に管
理して順次蓄積する。また、制御器１９から供給される
符号化データIDに基づき管理して蓄積する。

【００３２】上記符号化と蓄積により、符号化データ蓄
積器２１には、表１の符号化パラメータに基づく歌手任
意形状動画像符号化データ（それぞれ符号化レートの異
なるS-1，S-2）と、表２の符号化パラメータに基づく複
数の背景矩形形状動画像符号化データ（それぞれ符号化
レートの異なるB-1〜B-4）とが蓄積される。

【００３３】端子５からは符号化データの組み合わせ情
報を制御器２６に供給し、制御器２６はこの情報を記憶
する。符号化データの組み合わせ情報は、表３のように
伝送レートに応じた歌手任意形状動画像符号化データと
背景矩形形状動画像符号化データの組み合わせ情報（ど
の符号化データを選択して出力するかの情報）である。

【００３４】

【表３】

【００３５】表３に示す符号化データの組み合わせは、
設定される伝送レート（出力レート）が低下した場合、
重要度の低いオブジェクト（背景）が、優先的に、その
オブジェクトの複数の符号化データ（背景符号化データ
B-1〜B-4）の中から符号化レートの低い符号化データを
選択して出力するようになっている。

【００３６】なお、伝送レート７５０ｋｐｓ時のよう
に、選択された背景符号化データが蓄積されている背景
符号化データの中で一番符号化レートの低いデータB-4
であれば、さらに伝送レートが下がった場合には、重要
度の高い情報である歌手符号化データの方で符号レート
の低い符号化データを選択する。

【００３７】制御器２６は、端子８から供給を受けた伝
送レートと、記憶した上記符号化データの組み合わせ情
報とから、出力する歌手符号化データ（歌手任意形状動
画像符号化データ）と背景符号化データ（背景矩形形状
動画像符号化データ）との符号化データIDを決定する。
そして、この決定に基づき、各符号化データIDの符号化
データを出力するように符号化データ蓄積器２１を制御
する。

【００３８】符号化データ蓄積器２１は、制御器２６か
らの制御を受けて各符号化データIDの符号化データを出
力する。出力は、以下のように行う。所定の単位時間毎
に管理された各符号化データは、同じ単位時間の期間で
時分割に出力する。例えば、100msec毎に管理された符
号化データの場合、前半50msecで歌手符号化データを出
力し、後半50msec背景符号化データを出力する。そし
て、この時分割出力に同期してＳＷ２を切り換え、歌手
符号化データをバッファメモリ２２へ、背景符号化デー
タをバッファメモリ２３へ供給する。

【００３９】多重化器２４は、バッファメモリ２２とバ
ッファメモリ２３とからの符号化データを多重化して、
バッファメモリ２５に供給する。多重化は、符号化デー
タ蓄積器２１から単位時間毎に各バッファメモリへ入力
した符号化データ量に応じて多重化比を決定し、この多
重化比でパケット多重化する。

【００４０】バッファメモリ２５は、符号化開始時に所
定量の符号化データを蓄積した後、端子６からの伝送路
出力クロックに同期して、伝送路に向けて符号化データ
を順次端子７に出力する。また、バッファメモリ２５
は、符号化データの充足量を逐次多重化器２４に供給す
る。多重化器２４は、バッファメモリ２５の充足量に応
じてダミーパケットの挿入を制御する。これにより、各
符号化器の符号化レートの総和と端子５からの符号化レ
ートとのずれ、及び、出力クロック発生器２０の内部ク
ロックと伝送路出力クロックとの同期ずれを補償する。

【００４１】以上説明したように、実施例によれば、伝
送レート（出力レート）が低下した場合に、重要度の高
い情報である歌手の符号化データは同じ符号化レート、
もしくは、より低い符号化レートのデータを選択して出
力し、重要度の低い情報である背景符号化データは歌手
符号化データに比べて符号化レート低減率のより高い符
号化データを選択して出力する。これにより、本実施例
の符号化データ蓄積出力装置は、伝送レート（出力レー
ト）が低下した場合においても、重要度の低い情報であ
る背景の再生品質低下を大きくする代わりに、重要度の
高い情報である歌手の再生品質低下を抑えることができ
る。

【００４２】また、本実施例では、設定される伝送レー
ト（出力レート）に応じて、複数の歌手符号化データと
複数の背景符号化データとから一つずつを選択して出力
する。よって、伝送レート個々に対応する歌手符号化デ
ータと背景符号化データとの組み合わせをそれぞれ蓄積
しておく場合に比べて、符号化データ蓄積に必要なメモ
リ量を削減できる。（表３の例で考えると、伝送レート
個々に対応する歌手符号化データと背景符号化データと
の組み合わせをそれぞれ蓄積しておく場合には、S-1とB
-1、S-1とB-2、S-1とB-3との組み合わせをそれぞれ個別
に蓄積しておくことになり、同じデータS-1を３つ記憶
しなければならない。）

【００４３】上記実施例では、動画像の符号化を例に説
明したが、本発明におては対象が音声の符号化であって
もよいし、動画像と音声を組み合わせた符号化であって
もよい。音声の符号化、例えば、背景音楽とナレーショ
ンとの組み合わせの場合を考える。ナレーションを重要
度の高い情報とする。

【００４４】背景音楽とナレーションは、ISO/IEC 1381
8-7規定に準じた方式（通称AACと呼ばれる）で表４，表
５の符号化パラメータに基づき符号化して、符号化デー
タ蓄積器に蓄積する。また、表６に基づき伝送レートに
応じて、符号化データ蓄積器に蓄積した背景音楽とナレ
ーションの各符号化データを組み合わせて出力する。こ
れにより、伝送レートの低下に対して、背景音楽の符号
化レート等を低下させ、背景音楽の音声チャンネル数、
音声帯域、再生歪みを劣化させる代わりに、重要度の高
い情報であるナレーションの再生品質低下を防止でき
る。なお、この例では説明を簡略化するため、ナレーシ
ョン符号化データを複数示さず、一つのみ示した。

【００４５】

【表４】

【００４６】

【表５】

【００４７】

【表６】

【００４８】他の実施例として、重要度が高いオブジェ
クト（情報信号）程、符号化データ蓄積器に蓄積する符
号化データの数を少なくする。この実施例では、伝送レ
ートの変化に対して、重要度が高いオブジェクト程、再
生品質を安定化させることができる（良好な再生品質を
伝送レートのより広い変化範囲に対して一定に維持でき
る）と共に、符号化データ蓄積器に必要なメモリ量をよ
り削減できる。

【００４９】

【発明の効果】以上の通り、本発明の符号化データ蓄積
出力装置は、伝送レート（出力レート）が低下した場合
においても、重要度の低い情報ほど優先的に再生品質低
下を大きくすることにより、重要度の高い情報ほど再生
品質低下を抑えることができる。

【００５０】また、この符号化データ蓄積出力装置は、
設定される伝送レート（出力レート）に応じて、各オブ
ジェクトの複数の符号化データから一つずつを選択して
出力している。よって、伝送レート個々に対応する各オ
ブジェクトの符号化データの組み合わせをそれぞれ各別
に蓄積しておく場合に比べて、符号化データ蓄積に必要
なメモリ量を削減できる。

【図面の簡単な説明】

【図１】一実施例の構成を示す図である。

【図２】一実施例内のプリフィルタの動作を説明するた
めの図である。

【符号の説明】

１１，１２画面サイズ変換器１３，１４プリフィルタ１５任意形状符号化器１６矩形形状符号化器１７，１８，２２，２３，２５バッファメモリ１９，２６制御器２０出力クロック発生器２１符号化データ蓄積器２４多重化器

フロントページの続きＦターム(参考） 5C052 GA07 GB06 GD02 GD03 GE04 5C053 FA23 FA27 GB05 GB17 GB37 HA33 KA25 5C059 KK01 KK38 LB04 LB05 MA00 MB12 MB14 MB16 PP28 PP29 RC32 TA09 TA70 TA75 TB18 TC37 UA02 UA09 UA11 UA32 5C063 AA10 AB03 CA09 CA23 CA34 CA36 EB45

Claims

【特許請求の範囲】

【請求項１】再生時に個別に復号して合成することを前
提に、複数の情報信号それぞれをオブジェクトとして符
号化したデータを蓄積し、蓄積した符号化データを多重
化して出力する符号化データ蓄積出力装置において、各オブジェクト毎に情報の重要度に応じた重み付を行う
と共に、各オブジェクト毎に、複数の符号化レートで符
号化した複数の符号化データを蓄積する蓄積手段と、前記蓄積手段から選択出力される各オブジェクトの前記
符号化データを、多重化して出力する際の符号化データ
の出力レートを設定する出力レート設定手段と、前記出力レートに基づき、前記蓄積手段から、各オブジ
ェクト毎に前記複数の符号化データから各一つを選択し
て出力させる制御手段とを設け、前記制御手段による選択は、設定される出力レートが低
下した場合、重要度の低いオブジェクト程、優先的に、
そのオブジェクトの複数の符号化データの中から符号化
レートのより低い符号化データを選択するものであるこ
とを特徴とする符号化データ蓄積出力装置。