JP2005341061A

JP2005341061A - 多重化装置及び多重化方法

Info

Publication number: JP2005341061A
Application number: JP2004155116A
Authority: JP
Inventors: Hiroshi Ishimaru; 浩石丸; Harumi Aoyama; 春巳青山; Atsuhito Miyata; 篤人宮田
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2004-05-25
Filing date: 2004-05-25
Publication date: 2005-12-08

Abstract

【課題】音声の再生遅延がより少なくなるように、MPEG-4のAACデータとビデオデータとを多重化する。
【解決手段】入力されたAACデータを、符復号最小単位（フレームデータ単位）に分割し(1)、１フレーム構成サンプル数をサンプリングレートで割ることでフレームデータの符復号間隔時間を算出する(2)。当該時間間隔を空けるように上記分割されたフレームデータを再生順に配置する(3)。入力されたビデオデータを、符復号間隔時間に対応するサイズに分割し、分割されたビデオデータを、配置された複数のフレームデータの間に配置する(4)。これにより、フレームデータが符復号間隔時間の間隔を空けて配置された3G-324Mストリームが得られる。以後、生成されたメディアデータ列の各要素をAL-SDUとして、再生順にAL-PDU化、MUX-SDU化、MUX-PDU化を行うことでH.223ビットストリームを生成する(5)。
【選択図】図２

Description

本発明は、MPEG-4のAAC（Advanced Audio Coding）データとビデオデータとを多重化する（即ち、MPEG-4 AACデータのH.223多重化を行う）多重化装置及び多重化方法に関する。

現在、インターネット上やパソコン上でのマルチメディアデータの汎用符号化の標準的な方式として、MPEG-4符号化方式が広く採用されており、例えば、RTPプロトコルを利用した汎用的なインターネット上のライブストリーミングシステムにおける映像及び音声の符号化方式としても採用されている。このうちMPEG-4の音声符号化方式としては、AAC（Advanced Audio Coding）が知られており、このAACは、スピーチ用符号化方式であるAMR（adaptive multi-rate）に対し「高圧縮」、「多チャンネルサラウンド」といった点で優れている。このようなAACによるデータ再生に関する技術は下記の特許文献１に記載されている。

また、移動体通信においても、第三世代移動体通信の標準化団体である3GPP（3rd Generation Partnership Project）は、第三世代移動体通信におけるテレビ電話通話プロトコル（3G-324M）の映像符号化方式としてMPEG-4 Visualを採用している。
特開２００３−２９７９２号公報

しかしながら、第三世代移動体通信におけるテレビ電話通話プロトコル（3G-324M）の音声符号化方式には、3GPPが標準音声符号化方式として策定したAMRのみが採用され、上記のAACは採用されていない。このため、前述したAACの特徴（利点）を第三世代移動体テレビ電話通話で活かすことは困難である。つまり、第三世代移動体テレビ電話通話では、AMRによっては表現が難しい音楽や音響情報を、上記のAACの特徴（「高圧縮」、「多チャンネルサラウンド」）を活かして実現することは困難であり、上記の特徴を活かした効果的な音楽や音響情報の通信を実現することは困難である。

そのため、例えば、MPEG-4 Visualの一時的にデータ量が大きいビデオストリームデータ（Intraフレーム等）の受信時には、上記の特徴を活かしながら、MPEG-4の音声符号化方式であるAACデータの受信及び再生を遅延無く行うことが待望されていた。

本発明は、上記課題を解決するために成されたものであり、音声の再生遅延がより少なくなるように、MPEG-4のAACデータとビデオデータとを多重化することができる多重化装置及び多重化方法を提供することを目的とする。

上記目的を達成するために、本発明に係る多重化装置は、MPEG-4のAACデータとビデオデータとを多重化する多重化装置において、AACデータを入力するAACデータ入力手段と、ビデオデータを入力するビデオデータ入力手段と、前記AACデータ入力手段により入力されたAACデータを複数のAACフレームデータに分割する分割手段と、前記AACデータ入力手段により入力されたAACデータに基づいて、AACフレームデータの符復号間隔時間を算出する符復号間隔時間算出手段と、前記符復号間隔時間算出手段により算出された符復号間隔時間の間隔を空けるように、前記分割手段により分割された複数のAACフレームデータを再生順に配置するAACフレーム配置手段と、前記ビデオデータ入力手段により入力されたビデオデータを、前記符復号間隔時間に対応するサイズに分割し、分割されたビデオデータを、前記配置された複数のAACフレームデータの間に配置するビデオデータ配置手段とを備えたことを特徴とする。なお、「AACデータ」とは、AACの音声符号化方式による符号化処理により得られたデータを意味し、「AACフレームデータ」とは、AACデータを、AACの符復号最小単位であるフレームデータ単位に分割することで得られるデータを意味する。また、AACデータ入力手段及びビデオデータ入力手段における「入力」とは、外部から多重化装置へのデータ入力全般を広く含む概念であり、外部からの「受信」も含まれる。

また、本発明に係る多重化方法は、入力されたMPEG-4のAACデータとビデオデータとを多重化するための多重化方法において、入力されたAACデータを複数のAACフレームデータに分割する分割工程と、前記AACデータに基づいて、AACフレームデータの符復号間隔時間を算出する符復号間隔時間算出工程と、算出された符復号間隔時間の間隔を空けるように、前記分割された複数のAACフレームデータを再生順に配置するAACフレーム配置工程と、入力されたビデオデータを、前記符復号間隔時間に対応するサイズに分割し、分割されたビデオデータを、前記配置された複数のAACフレームデータの間に配置するビデオデータ配置工程とを有することを特徴とする。

上記のような本発明では、入力されたAACデータが複数のAACフレームデータに分割され、上記AACデータに基づいてAACフレームデータの符復号間隔時間が算出される。このとき、AACデータの１フレーム構成サンプル数をAACサンプリングレートによって割る割り算で得られた値を、符復号間隔時間として算出することが望ましい。

そして、算出された符復号間隔時間の間隔を空けるように、上記分割された複数のAACフレームデータが再生順に配置される。入力されたビデオデータは、符復号間隔時間に対応するサイズに分割され、当該分割されたビデオデータは、上記配置された複数のAACフレームデータの間に配置される。

これにより、複数のAACフレームデータが符復号間隔時間の間隔を空けて配置された3G-324Mストリームを得ることが可能となるため、3G-324Mストリーム復号・再生器を搭載した第三世代移動体は、復号・再生すべきAACフレームデータを常に符復号時間間隔で受信することが可能となる。従って、例えば、MPEG-4 Visualの一時的にデータ量が大きいビデオストリームデータ（Intraフレーム等）の受信時においても、AACデータの受信及び再生を遅延無く行うことが可能となる。

以上、本発明によれば、音声の再生遅延がより少なくなるように、MPEG-4のAACデータとビデオデータとを多重化することができる。

以下、本発明に係る多重化装置及び多重化方法の一実施形態を説明する。

図１には、本発明に係る多重化装置１０の構成例を示す。この図１に示すように、多重化装置１０は、MPEG-4 AACデータを入力するAACデータ入力部１１と、ビデオデータを入力するビデオデータ入力部１２と、入力されたAACデータを、AACの符復号最小単位であるフレームデータ（Audio Mux Elementともいう）単位に分割する（「フレームデータ単位に切り出す」ともいう）AACフレーム分割部（本発明に係る分割手段に対応）１３と、AACフレームデータの符復号間隔時間を算出する符復号間隔時間算出部１４と、算出された符復号間隔時間の間隔を空けるように、上記分割された複数のAACフレームデータを再生順に配置するAACフレーム配置部１５と、入力されたビデオデータを、符復号間隔時間に対応するサイズに分割し、分割されたビデオデータを、配置された複数のAACフレームデータの間に配置するビデオデータ配置部１６と、ビデオデータ配置部１６による配置により生成されたメディアデータ列の各要素をAL-SDU（Adaptation Layer - Service Data Unit）として、再生順にAL-PDU（Adaptation Layer - Protocol Data Unit）化、MUX-SDU（Multiplex Layer - Service Data Unit）化、MUX-PDU（Multiplex Layer - Protocol Data Unit）化を順に行うことで、H.223ビットストリームを生成するH.223多重化部１７と、H.223多重化部１７により生成されたH.223ビットストリームを外部へ出力するH.223ストリーム出力部１８とを含んで構成されている。

上記の符復号間隔時間算出部１４は、以下の式（Ａ）によって、AACフレームデータの符復号間隔時間を算出する。
AACフレームデータの符復号間隔時間[ms]＝１フレーム構成サンプル数／AACサンプリングレート[Hz] ・・・（Ａ）

次に、図２を用いて、多重化装置１０におけるMPEG-4 AACのH.223多重化処理の一例を説明する。

H.223多重化処理では、まず図１のAACデータ入力部１１がテレビ電話通信におけるAACデータを入力するとともに、ビデオデータ入力部１２がビデオデータを入力する。AACフレーム分割部１３は、入力されたAACデータを、AACの符復号最小単位であるフレームデータ（Audio Mux Elementともいう）単位に分割する（図２の処理（１）；本発明に係る分割工程に相当）。

次に、符復号間隔時間算出部１４は、上記の式（Ａ）によって、AACフレームデータの符復号間隔時間を算出する。

例えば、AACの１フレーム構成サンプル数を1024、AACサンプリングレートを32[kHz]とすると、AACフレームデータの符復号間隔時間は、（１フレーム構成サンプル数／AACサンプリングレート=1024／32=）32[ms]となる（図２の処理（２）；本発明に係る符復号間隔時間算出工程に相当）。

その後、AACフレーム配置部１５は、算出された符復号間隔時間の間隔を空けるように、上記分割された複数のAACフレームデータを再生順に配置する（図２の処理（３）；本発明に係るAACフレーム配置工程に相当）。そして、ビデオデータ配置部１６は、上記入力されたビデオデータを、符復号間隔時間に対応するサイズに分割し、分割されたビデオデータを、配置された複数のAACフレームデータの間に配置する（図２の処理（４）；本発明に係るビデオデータ配置工程に相当）。

さらに、H.223多重化部１７は、ビデオデータ配置部１６による配置により生成されたメディアデータ列の各要素をAL-SDUとして、再生順にAL-PDU化、MUX-SDU化、MUX-PDU化を順に行うことで、H.223ビットストリームを生成する（図２の処理（５））。そして、H.223ストリーム出力部１８は、H.223多重化部１７により生成されたH.223ビットストリームを外部へ出力する。

以上のような多重化処理によれば、複数のAACフレームデータが符復号間隔時間の間隔を空けて配置された3G-324Mストリームを得ることが可能となるため、3G-324Mストリーム復号・再生器を搭載した第三世代移動体は、復号・再生すべきAACフレームデータを常に符復号時間間隔で受信することが可能となる。従って、例えば、MPEG-4 Visualの一時的にデータ量が大きいビデオストリームデータ（Intraフレーム等）の受信時においても、AACデータの受信及び再生を遅延無く行うことが可能となる。

以上のように、音声の再生遅延がより少なくなるように、MPEG-4のAACデータとビデオデータとを多重化することができる。

なお、ビデオデータの入力は、AACデータの入力と同時でなくてもよく、ビデオデータ配置部１６による分割及び配置処理の前までに実行されればよい。

発明の実施形態における多重化装置の構成図である。発明の実施形態におけるH.223多重化処理例を説明するための図である。

符号の説明

１０…多重化装置、１１…AACデータ入力部、１２…ビデオデータ入力部、１３…AACフレーム分割部、１４…符復号間隔時間算出部、１５…AACフレーム配置部、１６…ビデオデータ配置部、１７…H.223多重化部、１８…H.223ストリーム出力部。

Claims

MPEG-4のAACデータとビデオデータとを多重化する多重化装置において、
AACデータを入力するAACデータ入力手段と、
ビデオデータを入力するビデオデータ入力手段と、
前記AACデータ入力手段により入力されたAACデータを複数のAACフレームデータに分割する分割手段と、
前記AACデータ入力手段により入力されたAACデータに基づいて、AACフレームデータの符復号間隔時間を算出する符復号間隔時間算出手段と、
前記符復号間隔時間算出手段により算出された符復号間隔時間の間隔を空けるように、前記分割手段により分割された複数のAACフレームデータを再生順に配置するAACフレーム配置手段と、
前記ビデオデータ入力手段により入力されたビデオデータを、前記符復号間隔時間に対応するサイズに分割し、分割されたビデオデータを、前記配置された複数のAACフレームデータの間に配置するビデオデータ配置手段と、
を備えた多重化装置。
前記符復号間隔時間算出手段は、
AACデータの１フレーム構成サンプル数をAACサンプリングレートによって割る割り算で得られた値を、前記符復号間隔時間として算出することを特徴とする請求項１記載の多重化装置。
入力されたMPEG-4のAACデータとビデオデータとを多重化するための多重化方法において、
入力されたAACデータを複数のAACフレームデータに分割する分割工程と、
前記AACデータに基づいて、AACフレームデータの符復号間隔時間を算出する符復号間隔時間算出工程と、
算出された符復号間隔時間の間隔を空けるように、前記分割された複数のAACフレームデータを再生順に配置するAACフレーム配置工程と、
入力されたビデオデータを、前記符復号間隔時間に対応するサイズに分割し、分割されたビデオデータを、前記配置された複数のAACフレームデータの間に配置するビデオデータ配置工程と、
を有する多重化方法。