JP2010233051A - マルチメディア送信装置 - Google Patents
マルチメディア送信装置 Download PDFInfo
- Publication number
- JP2010233051A JP2010233051A JP2009079566A JP2009079566A JP2010233051A JP 2010233051 A JP2010233051 A JP 2010233051A JP 2009079566 A JP2009079566 A JP 2009079566A JP 2009079566 A JP2009079566 A JP 2009079566A JP 2010233051 A JP2010233051 A JP 2010233051A
- Authority
- JP
- Japan
- Prior art keywords
- packet
- multiplexing
- multiplex
- request
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
【解決手段】パケット多重制御部4から出力された多重要求MCを保持し、保持している1以上の多重要求MCの中から何れかの多重要求MCを選択する多重要求管理部7を設け、パケット生成部8が、その多重要求MCが多重を指示する符号化メディア信号とヘッダ情報HIを取得して、その符号化メディア信号とヘッダ情報HIから伝送パケットPを生成する。
【選択図】図1
Description
これらの装置では、各種のメディア信号の情報量を削減するために、そのメディア信号の特性に応じた別々の符号化方式を用いて、個別に符号化処理を実施している。
そして、通信路への伝送、あるいは、記録媒体への書き込みの容易化を図るため、それらの符号化メディア信号を伝送パケットや記録パケットに格納し、それらのパケットを多重化ストリームに多重化して出力するようにしている。
その際、回路構成を簡素化するために、プロセッサによるソフトウェア処理で、パケットの構成(例えば、伝送パケットや記録パケットの中に多重する情報の組み合わせや、パケットヘッダの内容など)を決定する方法が採用されることが多い。
まず、映像信号、音声信号、データ信号などが符号化されている符号化メディア信号は、それぞれ独立のメディアESバッファ(ビデオESバッファ、オーディオESバッファ、データESバッファ)に格納される。
プロセッサであるコントローラは、メディアESバッファにおける符号化メディア信号の格納状況から、次に生成する伝送パケットに多重するヘッダ情報の内容を決定して、そのヘッダ情報をヘッダ情報メモリに格納するとともに、その伝送パケットに多重する符号化メディア信号の内容を決定して、伝送パケットの生成指示を転送制御部に出力する。
転送制御部は、コントローラから伝送パケットの生成指示を受けると、ヘッダ情報メモリからヘッダ情報を読み出すとともに、メディアESバッファから伝送パケットの生成指示が示す符号化メディア信号を読み出し、そのヘッダ情報と符号化メディア信号をパケット化して伝送パケットを生成する。
そして、転送制御部は、その伝送パケットを出力バッファに書き込み、所定の出力タイミングで、その伝送パケットを転送する。
しかし、各種のメディア信号の符号化レートが高レート化するにしたがって符号化メディア信号の情報発生量が多くなり、伝送パケット数が比例して増加する。
そのため、プロセッサに要求される処理量も大幅に増加し、プロセッサの高性能化などの対策が必要となっている。
映像信号、音声信号、データ信号などが符号化されている符号化メディア信号をそれぞれ独立なメディアESバッファに格納する際、符号化メディアを構成する符号化フレームの区切れ目を検出、あるいは、伝送パケット化する際の単位を算出して、プロセッサであるCPUに通知する。
CPUは、符号化メディアを構成する符号化フレームの区切れ目等の通知を受けると、その通知内容にしたがってヘッダ情報の生成とパケット構造の決定を行うことで、伝送パケットを構成してメディアESバッファに格納する。
このように、複雑なプロセッサ処理を必要とするヘッダ情報の生成や、パケット構造の決定をH/W回路が自動的に行うことで、CPUの処理負荷を軽減している。
ただし、CPUによる処理とH/W回路による処理の分担が煩雑であり、競合制御の複雑化や、自動生成における制約がパケット生成の柔軟さを喪失させる問題が生じている。
一方、H/W回路が固定フォーマットのパケットを構成して自動的に伝送パケットを生成する場合、プロセッサの処理負荷を軽減することができる。しかし、H/W回路では、多重対象の符号化メディア信号の発生状況に応じて柔軟に伝送パケットを生成することができず、プロセッサによる処理とH/W回路による処理を適応的に切り替えることができないため、多重対象の符号化メディア信号の発生状況に応じて柔軟に伝送パケットを生成することができない課題があった。
図1はこの発明の実施の形態1によるマルチメディア送信装置を示す構成図である。
図1では、メディア信号として、映像信号、音声信号、データ信号を取り扱う例を示しているが、これは一例に過ぎず、映像信号、音声信号、データ信号以外のメディア信号を取り扱うようにしてもよい。また、特定のメディア信号を一つだけ取り扱うようにしてもよい。
また、図1では、各種のメディア信号を符号化して、その符号化メディア信号を含む伝送パケットを生成し、その伝送パケットを多重化ストリームに多重化して送信する例を示しているが、その伝送パケットの出力先は伝送路に限るものではなく、記録媒体であってもよい。
音声符号化部2はメディア信号である音声信号Aを符号化し、符号化後の音声信号である符号化音声信号CAを保持する処理を実施する。
データ符号化部3はメディア信号であるデータ信号Dを符号化し、符号化後のデータ信号である符号化データ信号CDを保持する処理を実施する。
符号化映像入力部1bは映像符号化処理部1aから出力された符号化映像信号CVを取り込んで、その符号化映像信号CVを映像ESバッファ1cに書き込む処理を実施する。
また、符号化映像入力部1bは符号化映像信号CVを構成する符号化フレームの区切れ目を検知して、その符号化フレームの区切れ目の有無及び位置を示す区切れ目情報や、映像ESバッファ1cに対する符号化映像信号CVの書込位置を示す位置情報などを含む符号化映像信号CVの取込状況ICを通知する処理を実施する。
映像ESバッファ1cは符号化映像入力部1bにより取り込まれた符号化映像信号CVを保持するメモリである。
なお、符号化映像入力部1b及び映像ESバッファ1cから符号化メディア信号取込手段が構成されている。
また、データ符号化部3は映像符号化処理部1aに相当するデータ符号化処理部、符号化映像入力部1bに相当する符号化データ入力部、映像ESバッファ1cに相当するデータESバッファを備えている。
また、パケット多重制御部4は伝送パケットPに多重する符号化メディア信号及びヘッダ情報HI・制御情報CIの多重を指示する多重要求MRを多重要求管理部7に出力するとともに、そのヘッダ情報HIと制御情報CIをヘッダ・制御情報管理部5に出力する処理を実施する。なお、パケット多重制御部4はパケット多重制御手段を構成している。
ヘッダ・制御情報格納バッファ6はヘッダ・制御情報管理部5から出力されたヘッダ情報HIと制御情報CIを保持するメモリである。
また、多重要求管理部7はパケット多重制御部4から多重要求MRを受けると、まだパケット化を指示していない符号化メディア信号のデータ列の最初の位置である多重開始位置(当該多重要求MRが多重を指示する符号化メディア信号のデータ列の最終位置の次の位置)と、当該多重要求MRが処理待ちである旨を示す多重状況MCをパケット多重制御部4に通知する処理を実施する。
また、多重要求管理部7はパケット生成部8から多重完了通知MFNを受けると、次の多重要求が受けられる状態である旨を示す多重状況MCをパケット多重制御部4に通知する処理を実施する。なお、多重要求管理部7は多重要求管理手段を構成している。
また、パケット生成部8は多重要求MRに時刻情報を多重する要求が含まれている場合、時刻情報の多重を指示する付加情報を伝送パケットPに付加して、付加情報付きの伝送パケットPをパケット出力部9に出力するとともに、伝送パケットPの生成が可能な状態である旨を示す多重完了通知MFNを多重要求管理部7に出力する処理を実施する。なお、パケット生成部8はパケット生成手段を構成している。
ただし、パケット出力部9はパケット生成部8により生成された伝送パケットPを出力する際、時刻情報の多重を指示する付加情報が伝送パケットPに付加されている場合、その伝送パケットPの出力時刻を示す時刻情報を伝送パケットPに付与する。
パケットバッファ10は伝送パケットPを一時的に保持するメモリである。
なお、パケット出力部9及びパケットバッファ10からパケット出力手段が構成されている。
ただし、図2では、特定のメディア信号によらず一般的なメディア信号が符号化されて、伝送パケットPが生成されている例を示している。
例えば、メディア信号が映像信号である場合、映像符号化方式の規則に基づく一定の符号化単位(例えば、映像を構成する1枚ずつのピクチャ単位)で区切られている。
また、メディア信号が音声信号である場合、その音声信号からサンプリングされた音声情報のうち、音声符号化方式の規則に基づく一定の個数分が一纏めの単位で符号化され、その符号化単位で区切られている。
F2は符号化フレームF1と同様に符号化メディア信号が符号化単位で区切られたデータ列の一つであるが、データ量が少ないために、単一の伝送パケットP5に多重される符号化フレームである。
H1は伝送パケットP1〜P5に含まれるパケットヘッダ、H2は符号化フレームF1の先頭部分を含む伝送パケットP1に付与されるフレームヘッダ、H3は伝送パケットP3に一時的に付与される付加情報、H4は符号化フレームF1,F2の最終部分を含む伝送パケットP4,P5の余剰部分に付与されるスタッフデータである。
図4はパケット多重制御部4から出力される多重要求MRの具体例を示す説明図である。
図3及び図4に示すように、多重要求MRには、伝送パケットPの構成を指定するために、付加情報、ヘッダ多重領域(1)〜(3)、ペイロード多重領域及びトレイラ多重領域が含まれている。
この例では、3つのヘッダ多重領域(1)〜(3)を示しているが、ヘッダ多重領域の個数は3つ未満でも、4つ以上でもよい。
トレイラ多重領域は、用途によって付加的に利用されるものであるため、トレイラ多重領域はなくてもよい。
映像符号化部1の映像符号化処理部1aは、メディア信号である映像信号Vを入力すると、その映像信号Vを所定の符号化方式で符号化し、符号化後の映像信号である符号化映像信号CVを符号化映像入力部1bに出力する。
映像信号の符号化方式としては、例えば、「MPEG−2 Video」、「MPEG−4 Video」、「MPEG−4 AVC」、「VC−1」などの映像符号化規格に準拠した符号化方式が考えられる。
また、符号化映像入力部1bは、その符号化映像信号CVを構成する符号化フレームの区切れ目を探索する処理を行う。
ここで、符号化映像信号CVの区切れ目は、先に述べた映像符号化方式の規則に従って符号化単位に付与される区切れ目を意味し、例えば、映像符号化方式が「MPEG−2 Video」であれば、符号化映像信号CVの区切れ目には、「start_code_prefix」と呼ばれる他のデータ列とは異なる特別なデータ列が挿入されるので、「start_code_prefix」を検知することで、符号化フレームの区切れ目を探索する。
符号化映像入力部1bは、符号化フレームの区切れ目の探索処理を行うと、その符号化フレームの区切れ目の有無及び位置を示す区切れ目情報や、映像ESバッファ1cに対する符号化映像信号CVの書込位置(符号化映像信号CVのデータ列の最初の位置)を示す位置情報などを含む符号化映像信号CVの取込状況ICをパケット多重制御部4に出力する。
なお、音声信号の符号化方式としては、例えば、「MPEG−1 Audio」、「MPEG−2 Audio」、「MPEG−2/4 AAC」、「Dolby AC−3」などの音声符号化規格に準拠した符号化方式が考えられる。
なお、音声符号化部2及びデータ符号化部3の内部の処理内容は、映像符号化部1の内部の処理内容と同様であるため詳細な説明を省略する。
即ち、パケット多重制御部4は、次に生成する伝送パケットPに多重する符号化メディア信号の種別を決定して、その符号化メディア信号のデータ列の多重開始位置(ESバッファに存在している符号化メディア信号のデータ列のち、これから多重するデータ列の最初の位置)と、その符号化メディア信号のデータ列のデータ量である多重サイズを決定する。
ここでの多重対象の符号化メディア信号の決定方法は一例に過ぎず、例えば、多重要求管理部7に保持されていない多重要求MRに係る符号化メディア信号を多重対象に決定するようにしてもよい。例えば、符号化音声信号CAの多重を指示する多重要求MRと、符号化データ信号CDの多重を指示する多重要求MRを保持しているが、符号化映像信号CVの多重を指示する多重要求MRを保持していなければ、符号化映像信号CVを多重対象に決定するようにしてもよい。
あるいは、ESバッファに蓄積されているデータ量が最も多い符号化メディア信号を多重対象に決定するようにしてもよい。
符号化メディア信号のデータ列の多重サイズについては、例えば、符号化映像信号CVの取込状況ICに含まれている区切れ目情報を参照して、符号化フレームの区切れ目を認識することで、符号化フレームF1や符号化フレームF2を構成する符号化メディア信号のバイト数を把握し、そのバイト数を多重サイズに決定する。
例えば、符号化映像信号CVに対応するヘッダ情報と、符号化音声信号CAに対応するヘッダ情報と、符号化データ信号CDに対応するヘッダ情報とを予め用意し、多重対象の符号化メディア信号を決定すると、予め用意しているヘッダ情報の中から、多重対象の符号化メディア信号に対応するヘッダ情報HIを選択するようにすればよい。
また、パケット多重制御部4は、多重対象の符号化メディア信号を決定すると、その符号化メディア信号の種別等を示す制御信号CIを生成する。
ヘッダ・制御情報管理部5は、パケット多重制御部4からヘッダ情報HI,制御信号CIを受けると、そのヘッダ情報HI,制御信号CIをヘッダ・制御情報格納バッファ6に格納する。
パケット多重制御部4は、多重要求管理部7から次の多重要求が受けられる状態である旨を示す多重状況MCを受けると、次に生成する伝送パケットPの構成を示す多重要求MR、即ち、伝送パケットPに多重する符号化メディア信号及びヘッダ情報HI・制御情報CIの多重を指示する多重要求MRとして、その符号化メディア信号の種別、その符号化メディア信号のデータ列の多重開始位置及び多重サイズ、その符号化メディア信号に対応するヘッダ情報HI,制御信号CIなどの情報を含む多重要求MRを多重要求管理部7に出力する。
例えば、TS形式に基づいて伝送パケットPを生成する場合、図2に示すように、メディア信号に適する符号化方式によって一定の符号化単位で符号化された符号化メディア信号(符号化フレーム)を固定長の伝送パケットPに多重して送信する。
各伝送パケットPには、そのパケットの属性(例えば、映像信号、音声信号、データ信号など多重対象の区別、符号化フレームの先頭部分を含むか否か、パケットの欠落を確認するためにパケット毎に付与され、1ずつカウントアップするシーケンス番号など)を含むパケットヘッダH1が付与される。
逆に、符号化フレームF2のように、符号化フレームのサイズが伝送パケットPに格納可能なサイズよりも小さい場合、その符号化フレームをそのまま格納する。
その際、各符号化フレームに付随する付加的な情報として、例えば、その符号化フレームを復号あるいは表示する時刻などを通知する場合、符号化フレームの先頭部分を送信する伝送パケットは、伝送パケットP1のような構成となり、パケットヘッダH1に続いてフレームヘッダH2(TS形式では、PESヘッダと呼ばれる)を追加し、パケットヘッダH2の中に、符号化フレームの“先頭有り”が設定され、伝送パケットの残領域に符号化フレームが格納される。
符号化フレームの最終部分を送信する伝送パケットは、伝送パケットP4のような構成となり、伝送パケットに格納可能なサイズよりも符号化フレームの未送信部分が少なくなって、固定長の伝送パケットに余剰領域が発生してしまう場合、パケットヘッダH1に続いてスタッフ領域H4が設定されて調整される。
伝送パケットを送信するに際して、一時的に付与する情報がある場合、伝送パケットP3のように、伝送パケットヘッダH1に続いて付加情報H3が追加されて、その残領域に符号化フレームが格納される。
また、符号化フレームF2のように、伝送パケットに格納可能なサイズよりも小さな符号化フレームの場合、フレームヘッダH2とスタッフ領域H4の両方が設定される。
この実施の形態1では、伝送パケットPを生成する方法に着目しており、特定の符号化方式やパケット化方式に依存するものではなく、汎用的に適用することができる。
以下、パケットの生成に関わる処理内容を具体的に説明する。
また、多重要求管理部7は、その多重要求MRが多重を指示する符号メディア信号のデータ列の多重開始位置と多重サイズから、そのデータ列の最後のデータ位置を多重設定受付済位置として算出し、その多重設定受付済位置と当該多重要求MRが処理待ちである旨を示す多重状況MCをパケット多重制御部4に通知する。
多重要求管理部7は、パケット生成部8から伝送パケットPの生成が可能な状態である旨を示す多重完了通知MFNを受けると、保持している1以上の多重要求MRの中から、何れかの多重要求MRを選択し、その選択した多重要求MRをパケット生成部8に出力する。
また、多重要求管理部7は、多重完了通知MFNを受けると、次の多重要求MRが受けられる状態である旨を示す多重状況MCをパケット多重制御部4に通知する。
具体的には、符号化映像信号CVの多重を指示する多重要求MRを保存している場合でも、符号化音声信号CAや符号化データ信号CDを一定周期で送信する必要がある場合がある。
このような場合に、最も優先度が高い多重要求MRが符号化音声信号CAの多重を指示する多重要求MR、次に優先度が高い多重要求MRが符号化データ信号CDの多重を指示する多重要求MRであれば、最も優先度が高い符号化音声信号CAの多重を指示する多重要求MRを選択し、符号化音声信号CAの多重を指示する多重要求MRを保持していなければ、次に優先度が高い符号化データ信号CDの多重を指示する多重要求MRを選択するようにする。
ただし、多重要求MRの優先度は固定的である必要はなく、例えば、符号化音声信号CVの多重を指示する多重要求MRや、符号化データ信号CDの多重を指示する多重要求MRを選択した直後は、符号化音声信号CA及び符号化データ信号CDの多重を指示する多重要求MRの優先度を、符号化映像信号CVの多重を指示する多重要求MRの優先度より下げて、符号化映像信号CVの多重を指示する多重要求MRが選択され易くし、その後、所定の送信周期に近づくと、優先度を元の高さに戻すようにしてもよい。
この場合、伝送パケットPに多重される符号化メディア信号の順序は、パケット多重制御部4の判断に委ねられることになる。
このため、順序制御の柔軟性が高くなるのと同時に、パケット多重制御部4で処理負荷の増減を吸収することが可能になり、また、多重要求管理部7の回路構成を簡易化することが可能になる。
また、ヘッダ・制御情報管理部5により管理されているヘッダ情報HI及び制御情報CI、即ち、ヘッダ・制御情報格納バッファ6に保持されているヘッダ情報HI及び制御情報CIの中から、その多重要求MRが多重を指示するヘッダ情報HI及び制御情報CIを取得する。
パケット生成部8は、伝送パケットPを生成する際、多重要求MRに時刻情報を多重する要求が含まれている場合(図3及び図4の付加情報を参照)、時刻情報の多重を指示する付加情報を伝送パケットPに付加して、付加情報付きの伝送パケットPをパケット出力部9に出力する。
パケット生成部8は、伝送パケットPの生成が完了すると、伝送パケットPの生成が可能な状態である旨を示す多重完了通知MFNを多重要求管理部7に出力する。
パケット生成部8は、多重要求管理部7から出力された多重要求MRの設定内容である付加情報のペイロード多重種別を参照して、多重対象の符号化メディア信号の種別を把握し、多重対象の符号化メディア信号が保持されているESバッファにおいて、ペイロード多重領域の多重開始位置が示す位置から多重サイズ分のデータ列を取得する。
また、パケット生成部8は、ヘッダ多重領域(1)〜(3)とトレイラ多重領域を参照して、ヘッダ情報HI及び制御情報CIを保持しているヘッダ・制御情報格納バッファ6において、それらの領域の多重開始位置が示す位置から多重サイズ分のデータ列を取得する。
また、ヘッダ多重領域(2)には、アダプテーション領域の有意な情報部分(例えば、付加情報H3)やスタッフ部分(例えば、スタッフ領域H4)が格納され、ヘッダ多重領域(3)には、PESヘッダ(例えば、フレームヘッダH2)が格納される態様が考えられる。
また、固定内容となる情報や伝送パケット間で共通となる情報を個々のヘッダ領域に分割して設定して、書き換えの手間を削減できるようにしてもよい。
なお、PS形式に準じている場合、ヘッダ多重領域(1)にはPSパックヘッダ、ヘッダ多重領域(2)には制御情報にあたるシステムPESパケット、ヘッダ多重領域(3)にはPESヘッダ、トレイラ多重領域には例えばスタッフ目的で適用される特殊なPESパケット(padding_stream)が格納される態様が考えられる。
パケット生成部8は、上述したように、多重要求MRに時刻情報を多重する要求が含まれている場合、時刻情報の多重を指示する付加情報を伝送パケットPに付加する。
したがって、ヘッダ・制御情報格納バッファ6のメモリを消費することなく、多重量を指定するだけで、伝送パケットPへの多重設定を実現することができる。
また、多重サイズやスタッフサイズに“0バイト”を指定することによって、各多重領域を適用したパケット生成が不要であることを示すことができる。もちろん、パケット多重制御部4のプロセッサ処理の都合によって、スタッフとして設定する固定値も含めて有意なデータ列として構成してもよい。
図5の例では、伝送パケットPの本体に符号化メディア信号のデータ列又は制御情報CIのデータ列が格納され、伝送パケットPの先頭部分(図中、点線より上の部分)にヘッダ情報HIが格納されている。
また、パケット付加情報には時刻情報の多重を指示する情報が格納されている。
パケット出力部9は、その伝送パケットPの出力タイミングになると(例えば、伝送路側からパケットの送信要求を受けた場合、あるいは、伝送レート制御条件に基づく出力タイミングになった場合)、そのパケットバッファ10から伝送パケットPを取り出して、その伝送パケットPを伝送路等に出力する。
なお、パケット出力部9が伝送パケットPの出力時刻を付与しているのは、パケット生成部8が伝送パケットPを生成する時点では、出力タイミングに応じた時刻が分からないからである。
PS形式の場合、想定される用途がDVDなどの再生装置での利用であるため、このような規定はないが、TS形式に代わってPS形式で送受信装置間での伝送に利用することも可能である。
このような場合には、PS形式の各PSパックヘッダ内にSCR(system_clock_reference)と呼ばれるクロック情報を設定して送出することで代用される。
具体的には、パケット生成部8が伝送パケットPの先頭部分の固定値(例えば、同期バイト)となる部分を改変して、時刻情報有りを意味する特定の値を設定するようにする。
あるいは、同期バイトをビット反転することで、時刻情報有りを意味するようにする。
パケット出力部9は、時刻情報有りを意味する特定の値(または、同期バイトのビット反転値)を検知することで、時刻情報有りを認識すると、その特定の値(ビット反転値)を元の固定値に復元する。
図7はこの発明の実施の形態2によるマルチメディア送信装置を示す構成図であり、図において、図1と同一符号は同一又は相当部分を示すので説明を省略する。
ヘッダ補正部11は多重要求管理部7により選択された多重要求MRが多重を指示するヘッダ情報HI・制御情報CIを補正し、補正後のヘッダ情報HI・制御情報CIをパケット生成部8に出力する処理を実施する。なお、ヘッダ補正部11はヘッダ補正手段を構成している。
図8において、ヘッダ補正解析部12はパケット生成部8から出力されるヘッダ補正情報HRIを解析して、補正に関わる制御信号を出力する処理を実施する。
カウンタ管理部13はカウンタ値の初期値13aと、多重対象の符号化メディア信号・制御情報CI別にカウンタ値を格納しているカウンタ値テーブル13bとを有し、パケットPのヘッダに格納するカウンタ値を管理する処理を実施する。
カウンタ管理部13のカウンタ選択器13cはカウンタ値の初期値13a又はカウンタ値テーブル13b内のカウント値のいずれか一方を選択する処理を実施する。
ヘッダ書換部14はヘッダ補正解析部12から出力された制御信号とカウンタ管理部13から出力されたカウンタ値とにしたがって多重対象のヘッダ情報HI・制御情報CIのビットを書き換えて、補正後のヘッダ情報HI・制御情報CIを出力する処理を実施する。
信号102はヘッダ補正情報内のヘッダ多重領域(3)、ペイロード領域、トレイラ領域のいずれか一つが“有り”であれば有効になる信号である。
信号103はヘッダ補正情報内のヘッダ多重領域(2)が“有り”であれば有効になる信号である。
信号104はカウンタ値テーブル13bから取り出された多重対象のカウンタ値を示す信号である。
信号105はカウンタ選択器13cにより選択されたカウンタ値を示す信号である。
信号112は多重対象のヘッダ情報HI・制御情報CIの先頭4バイト目における第5ビット(バイト内の下位から数えて5ビット目、b4の位置)の信号(例えば、TS形式では、adaptation_field_controlの下位ビット)である。
信号113は多重対象のヘッダ情報HI・制御情報CIの先頭4バイト目における第6ビット(バイト内の下位から数えて6ビット目、b5の位置)の信号(例えば、TS形式では、adaptation_field_controlの上位ビット)である。
信号114は多重対象のヘッダ情報HI・制御情報CIの先頭4バイト目における下位4ビット分(b3〜b0までの4ビット分)で表されるカウンタ値(例えば、TS形式では、continuity_counter)である。
信号122は信号102と信号112のうち、いずれか一方の信号が有効であれば、有効になる信号である。
信号123は信号103と信号113のうち、いずれか一方の信号が有効であれば、有効になる信号である。
カウンタ加算器14aは信号105が示すカウンタ値(カウンタ選択器13cにより選択されたカウンタ値)と、信号122(有効であれば“1”を示し、無効であれば“0”)と、信号114が示すカウンタ値とを加算し、その加算結果であるカウント値を示す信号124を出力する処理を実施する。
図9の例では、「MPEG−2 Systems規格」のTS形式において、この実施の形態2の説明に必要なパラメータをビット配置で示している。
各パラメータの意味は、この実施の形態2の範疇に含まれないので説明を省略するが、TSパケットは188バイトの固定長で構成され、その先頭バイトの位置を“1”、最終バイトの位置を“188”で示し、バイト内のMSB(Most Significant Bit)を“b7”、LSB(Least Significant Bit)を“b0”、MSBからLSBまでの間の各ビットをそれぞれ“b6”から“b1”で示している。
ヘッダ補正部11を追加している点以外は、上記実施の形態1と同様であるため、主にヘッダ補正部11の動作を説明する。
パケット生成部8は、多重要求管理部7から多重要求MRを受けると、上記実施の形態1と同様にして、伝送パケットPを生成するが、その伝送パケットPに格納するヘッダ情報HI,制御情報CIについては、ヘッダ補正部11による補正後のヘッダ情報HI,制御情報CIである。
パケット生成部8は、多重要求管理部7から多重要求MRを受けると、その多重要求MRからヘッダ補正情報HRIを構成して、そのヘッダ補正情報HRIをヘッダ補正部11に出力する。
なお、各領域のサイズが“1”以上であれば多重領域が“有り”、サイズが“0”であれば多重領域が“無し”である。
以下、ヘッダ補正部11によるヘッダ情報HI・制御情報CIの補正処理を具体的に説明する。
即ち、ヘッダ補正解析部12は、ヘッダ補正情報HRI内のヘッダ多重領域(3)が“有り”であれば、有効な信号101をヘッダ書換部14に出力する。
また、ヘッダ補正情報HRI内のヘッダ多重領域(3)、ペイロード領域、トレイラ領域のいずれか一つが“有り”であれば有効な信号102をヘッダ書換部14に出力し、ヘッダ補正情報HRI内のヘッダ多重領域(2)が“有り”であれば有効な信号103をヘッダ書換部14に出力する。
また、ヘッダ補正解析部12は、ヘッダ補正情報HRI内のペイロード多重種別と、カウンタ初期化の有無をカウンタ管理部13に出力する。
カウンタ管理部13のカウンタ選択器13cは、カウンタ初期化が“有り”であれば、カウンタ値の初期値13aを選択し、カウンタ初期化が“無し”であれば、カウンタ値テーブル13bから取り出したカウンタ値を選択する。
カウンタ選択器13cは、選択したカウンタ値を示す信号105をヘッダ書換部14に出力する。
なお、カウンタ値の初期値13aとしては、“0(16進で0x00)”や、“15(16進で0x0F)”などの固定値が採用される。
即ち、ヘッダ書換部14は、多重対象のヘッダ情報HI・制御情報CIの先頭2バイト目における第7ビットの信号である信号111と、信号101(ヘッダ多重領域(3)が“有り”であれば有効)のうち、いずれか一方の信号が有効であれば、そのヘッダ情報HI・制御情報CIの先頭2バイト目における第7ビットを“1”に書き換える処理を実施する。
また、ヘッダ書換部14は、多重対象のヘッダ情報HI・制御情報CIの先頭4バイト目における第6ビットの信号である信号113と、信号103(ヘッダ多重領域(2)が“有り”であれば有効)のうち、いずれか一方の信号が有効であれば、そのヘッダ情報HI・制御情報CIの先頭4バイト目における第6ビットを“1”に書き換える処理を実施する。
そして、カウンタ加算器14aは、信号114に係るビット群(多重対象のヘッダ情報HI・制御情報CIの先頭4バイト目における下位4ビット分)を信号124が示すカウント値で書き換える処理を行う。
また、カウンタ加算器14aは、ヘッダ補正解析部12から出力されたペイロード多重種別に対応するカウンタ値テーブル13b内のカウンタ値に、その信号124が示すカウント値を保存する。
図10はこの発明の実施の形態3によるマルチメディア送信装置を示す構成図であり、図において、図7と同一符号は同一又は相当部分を示すので説明を省略する。
多重待ち検出部21は多重要求管理部7から出力された多重状況MC(次の多重要求が受けられる状態であるか否かを示す情報、多重設定受付済位置を示す情報)と、符号化部1,2,3から出力された符号化メディア信号の取込状況IC(符号化メディア信号のデータ列の書込位置を示す情報、符号化フレームの区切れ目を示す情報)とを参照して、伝送パケットPを構成することが可能な多重対象のデータ列が存在するか否かを判定する処理を実施する。
また、多重待ち検出部21は多重対象のデータ列が存在する場合、伝送パケットPに多重する符号化メディア信号のデータ量である多重残量を算出して、その多重残量と規定値を比較して多重待ち量を求め、その多重待ち量と多重設定受付済位置を伝送パケットPの多重条件として多重要求生成部22に出力する処理を実施する。なお、多重待ち検出部21は比較手段を構成している。
この場合、多重要求管理部7は、多重要求生成部22により生成された多重要求MRを保持する。
なお、多重要求生成部22は多重要求生成手段を構成している。
図12は図10のマルチメディア送信装置の多重待ち検出部21の処理内容を示すフローチャートである。
多重待ち検出部21及び多重要求生成部22を追加している点以外は、上記実施の形態2と同様であるため、主に多重待ち検出部21及び多重要求生成部22の動作について説明する。
多重待ち検出部21は、多重要求管理部7から多重状況MC(次の多重要求が受けられる状態であるか否かを示す情報、多重設定受付済位置を示す情報)の通知と、符号化部1,2,3から符号化メディア信号の取込状況IC(符号化メディア信号のデータ列の書込位置を示す情報、符号化フレームの区切れ目を示す情報)の通知を受けると、その多重状況MCと取込状況ICを参照して、伝送パケットPを構成することが可能な多重対象のデータ列が存在するか否かを判定する。
多重待ち検出部21は、符号化フレームに境界が存在している場合、図11(a)に示すように、多重設定受付済位置と符号化フレームの境界位置との間にあるデータ列が、伝送パケットPに対して、先に多重するデータ列であるため、その多重設定受付済位置と符号化フレームの境界位置との差分を多重残量として算出する(ステップST2)。
一方、符号化フレームに境界が存在していない場合、図11(b)に示すように、その多重設定受付済位置と、ESバッファに対する符号化メディア信号のデータ列の書込位置との間にあるデータ列が、伝送パケットPに多重するデータ列であるため、その多重設定受付済位置と書込位置の差分を多重残量として算出する(ステップST3)。
ここで、規定値としては、TS形式であれば、TSパケットの全体が188バイト、TSパケットの必須ヘッダが4バイトであり、差し引き184バイトがTSパケットに多重可能な最大の符号化メディア信号の多重サイズになるので、規定値として“184”を適用することが考えられる。
なお、パケット多重制御部4のプロセッサ処理と関連して規定値を大き目にして、符号化フレームの最終部分が伝送パケットPの終わりと一致して、自動生成されないように制御することも可能である。逆に、規定値を小さ目にして、伝送パケットPの中に一定の空き領域を残して符号化メディア信号以外の情報を設定できるように制御することも可能である。
多重待ち検出部21は、符号化フレームに境界が存在している場合において、多重残量が規定値以下の場合、符号化フレームの最終部分を含む伝送パケットPを構成することが可能であり、符号化フレームの最終部分を含む伝送パケットPを構成する“ケース2”に該当するので、多重待ち量を多重残量(ステップST2で算出した多重残量)に設定する(ステップST7)。
多重待ち検出部21は、符号化フレームに境界が存在していない場合において、多重残量が規定値以下の場合、伝送パケットを構成するだけのデータ量に満たない“ケース4”に該当するので、多重不可を意味する多重待ち量“0”を設定する(ステップST9)。
多重待ち検出部21は、上記のようにして、多重待ち量を設定すると、その多重待ち量と多重設定受付済位置を伝送パケットPの多重条件として、多重要求生成部22に出力する。
また、多重要求生成部22は、多重要求MRの生成状況を示す自動生成状況ACIをパケット多重制御部4に出力する。
即ち、ヘッダ多重領域(1)、ヘッダ多重領域(3)に設定する内容は、固定的に決定可能なデータ列として、パケット多重制御部4から事前に通知されているデータ列を適用する。
このとき、ヘッダ多重領域(1)は、多重要求MRで常に“有り”に設定されるが、ヘッダ多重領域(3)については、符号化フレームの先頭部分を含む場合に“有り”に設定され、それ以外では“無し”に設定される。
例えば、TS形式のTSヘッダ(必須部分)がヘッダ多重領域(1)に設定され、PESヘッダがヘッダ多重領域(3)に設定される。
ここでは、説明を省略しているが、PESヘッダに設定するパラメータの個数によってPESヘッダのデータ量が可変となるため、多重要求生成部22の内部で読み替えることで、あるいは、パケット多重制御部4が事前に通知することで、初期のデータ列を状況に応じて変更する。
ただし、ヘッダ多重領域(1)、ヘッダ多重領域(3)の多重サイズの総和から算出可能な伝送パケットPの空き領域が多重待ち量を下回る場合、ペイロード多重領域の多重サイズを調整(削減)する。
また、ヘッダ多重領域(2)に設定する内容については、基本的なデータ列としてパケット多重制御部4から事前に通知されているが、多重サイズは、伝送パケットPの全体サイズである188バイトに対して、ヘッダ多重領域(1)、ヘッダ多重領域(3)、ペイロード領域の各多重サイズの総和を引き去った値となる。
例えば、TS形式のアダプテーション領域をヘッダ多重領域(2)に設定する。この結果、ヘッダ多重領域(2)に対するデータ列において、図9で示している“adaptation_length”の値を多重サイズで設定した値相当の変更が必要となるので(パラメータの定義に従った調整が必要)、多重要求生成部22が内部で変更する。
この場合、多重要求生成部22は、パケット多重制御部4から自動生成指示ACRによって、パケット生成に関する制御権を委譲されている期間中に限り、多重要求MRを生成することになる。
例えば、先に述べたTS形式のPCRを強制的に多重する場合、多重要求MRの中で付加情報の時刻情報“有り”を指定し、ヘッダ多重情報領域(2)にPCR多重が必要な初期ヘッダのデータ列を指定し、その多重サイズ分だけ多重待ち量から引き去った値をペイロード領域に対する多重サイズに設定すればよい。
この結果、多重待ち量を変更した分は、多重要求管理部7から通知される多重状況MCにおける多重設定受付済位置がその分だけ変化するため、特に補正動作をすることなく、次の自動生成処理に反映することができる。
なお、多重待ち検出部21の検出結果である多重待ちの有無をパケット多重制御部4に通知することで、パケット多重制御部4における伝送パケットの構成の算出処理を削減するようにしてもよい。
Claims (13)
- 各種のメディア信号を符号化するメディア信号符号化手段と、上記メディア信号符号化手段により符号化されたメディア信号である符号化メディア信号を取り込んで、上記符号化メディア信号を保持するとともに、上記符号化メディア信号の取込状況を通知する符号化メディア信号取込手段と、上記符号化メディア信号取込手段から通知された符号化メディア信号の取込状況と伝送パケットの生成状況を考慮して、伝送パケットに多重する符号化メディア信号及びヘッダ情報を決定し、上記符号化メディア信号及び上記ヘッダ情報の多重を指示する多重要求を出力するパケット多重制御手段と、上記パケット多重制御手段から出力された多重要求を保持し、伝送パケットの生成が可能な状態になると、保持している1以上の多重要求の中から何れかの多重要求を選択する多重要求管理手段と、上記符号化メディア信号取込手段により保持されている符号化メディア信号の中から上記多重要求管理手段により選択された多重要求が多重を指示する符号化メディア信号を取得するとともに、上記多重要求が多重を指示するヘッダ情報を取得して、上記符号化メディア信号と上記ヘッダ情報から伝送パケットを生成し、上記伝送パケットの生成状況を通知するパケット生成手段と、上記パケット生成手段により生成された伝送パケットを出力するパケット出力手段とを備えたマルチメディア送信装置。
- 多重要求管理手段は、保持している1以上の多重要求のうち、最も優先度が高い多重要求を選択することを特徴とする請求項1記載のマルチメディア送信装置。
- 多重要求管理手段は、保持している1以上の多重要求のうち、パケット多重制御手段から最も先に出力された多重要求を選択することを特徴とする請求項1記載のマルチメディア送信装置。
- 多重要求管理手段により選択された多重要求が多重を指示するヘッダ情報を補正し、補正後のヘッダ情報をパケット生成手段に出力するヘッダ補正手段を設けたことを特徴とする請求項1から請求項3のうちのいずれか1項記載のマルチメディア送信装置。
- 符号化メディア信号取込手段は、符号化メディア信号を構成する符号化フレームの区切れ目を検知して、上記符号化フレームの区切れ目を示す区切れ目情報を含む符号化メディア信号の取込状況を通知することを特徴とする請求項1から請求項4のうちのいずれか1項記載のマルチメディア送信装置。
- 符号化メディア信号取込手段から通知された符号化メディア信号の取込状況と伝送パケットの生成状況から、伝送パケットに多重する符号化メディア信号のデータ量である多重残量を算出して、上記多重残量と規定値を比較する比較手段と、上記比較手段の比較結果に応じて多重要求を生成する多重要求生成手段とを設け、多重要求管理手段が上記多重要求生成手段により生成された多重要求を保持することを特徴とする請求項5記載のマルチメディア送信装置。
- 多重残量算出手段が符号化メディア信号の取込状況に含まれている区切れ目情報を考慮して多重残量を算出することを特徴とする請求項6記載のマルチメディア送信装置。
- 多重要求生成手段は、パケット多重制御手段からパケット生成に関する制御権を委譲されている期間中、多重要求を生成することを特徴とする請求項6または請求項7記載のマルチメディア送信装置。
- パケット多重制御手段は、符号化メディア信号の取込状況に含まれている区切れ目情報が、区切れ目が存在している旨を示す場合、多重要求生成手段からパケット生成に関する制御権を自己に戻して、多重要求を生成することを特徴とする請求項8記載のマルチメディア送信装置。
- パケット多重制御手段は、多重要求の生成条件を多重要求生成手段に出力することを特徴とする請求項6から請求項9のうちのいずれか1項記載のマルチメディア送信装置。
- パケット生成手段は、多重要求が複数のヘッダ情報の多重を指示する場合、複数のヘッダ情報を伝送パケットに多重することを特徴とする請求項1から請求項10のうちのいずれか1項記載のマルチメディア送信装置。
- パケット出力手段は、多重要求に時刻情報を多重する要求が含まれている場合、パケット生成手段により生成された伝送パケットを出力する際、上記伝送パケットの出力時刻を示す時刻情報を上記伝送パケットに付与することを特徴とする請求項1から請求項11のうちのいずれか1項記載のマルチメディア送信装置。
- パケット生成手段は、多重要求に時刻情報を多重する要求が含まれている場合、時刻情報の多重を指示する付加情報を伝送パケットに付加し、付加情報付きの伝送パケットをパケット出力手段に出力することを特徴とする請求項12記載のマルチメディア送信装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009079566A JP5241582B2 (ja) | 2009-03-27 | 2009-03-27 | マルチメディア送信装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009079566A JP5241582B2 (ja) | 2009-03-27 | 2009-03-27 | マルチメディア送信装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010233051A true JP2010233051A (ja) | 2010-10-14 |
JP5241582B2 JP5241582B2 (ja) | 2013-07-17 |
Family
ID=43048437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009079566A Active JP5241582B2 (ja) | 2009-03-27 | 2009-03-27 | マルチメディア送信装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5241582B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111345048A (zh) * | 2017-11-14 | 2020-06-26 | 日本电信电话株式会社 | 语音通信装置、语音通信方法、程序 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10276164A (ja) * | 1997-03-28 | 1998-10-13 | Sony Corp | 多重化装置および多重化方法、伝送装置および伝送方法、並びに記録媒体 |
JPH11317718A (ja) * | 1998-03-02 | 1999-11-16 | Matsushita Electric Ind Co Ltd | デ―タ多重化装置 |
JP2000069081A (ja) * | 1998-08-19 | 2000-03-03 | Matsushita Electric Ind Co Ltd | データ多重化方法および装置とその関連方法および装置 |
JP2009038704A (ja) * | 2007-08-03 | 2009-02-19 | Casio Comput Co Ltd | 撮影データ記録装置 |
-
2009
- 2009-03-27 JP JP2009079566A patent/JP5241582B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10276164A (ja) * | 1997-03-28 | 1998-10-13 | Sony Corp | 多重化装置および多重化方法、伝送装置および伝送方法、並びに記録媒体 |
JPH11317718A (ja) * | 1998-03-02 | 1999-11-16 | Matsushita Electric Ind Co Ltd | デ―タ多重化装置 |
JP2000069081A (ja) * | 1998-08-19 | 2000-03-03 | Matsushita Electric Ind Co Ltd | データ多重化方法および装置とその関連方法および装置 |
JP2009038704A (ja) * | 2007-08-03 | 2009-02-19 | Casio Comput Co Ltd | 撮影データ記録装置 |
Non-Patent Citations (2)
Title |
---|
CSNG199901040008; 林 直哉 他: '多重化支援機能内蔵MPEG-2ビデオエンコーダLSIの開発' 映像情報メディア学会技術報告 第22巻,第65号, 19981120, p.49〜54 * |
JPN6012051950; 林 直哉 他: '多重化支援機能内蔵MPEG-2ビデオエンコーダLSIの開発' 映像情報メディア学会技術報告 第22巻,第65号, 19981120, p.49〜54 * |
Also Published As
Publication number | Publication date |
---|---|
JP5241582B2 (ja) | 2013-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107231563B (zh) | 视频处理方法和装置 | |
JP4838273B2 (ja) | メディア内同期化のための適応型メディア再生方法および装置 | |
US20140153909A1 (en) | Audio and video management for parallel transcoding | |
EP1813115A1 (en) | Buffering packets of a media stream | |
GB2524430A (en) | Adaptive span control | |
US11546619B2 (en) | Data stream encoder configuration | |
US20170034059A1 (en) | Identifying a network condition using estimated processor load | |
US20140189142A1 (en) | Adaptive streaming method with rtsp protocol | |
US8842740B2 (en) | Method and system for fast channel change | |
US7440400B2 (en) | Transfer apparatus | |
CN1669310A (zh) | 用于实施特技模式的视频数据传输方法和设备 | |
JP4861456B2 (ja) | データレート調整装置、データ配信システム、及びプログラム | |
JP5241582B2 (ja) | マルチメディア送信装置 | |
WO2010143550A1 (ja) | 情報処理装置および方法、並びにプログラム | |
US7428288B2 (en) | Asynchronous transport stream receiver of digital broadcasting receiving system employing DVB-ASI mode and method for transmitting asynchronous transport stream thereof | |
US7530089B1 (en) | System and method for improving video quality using a constant bit rate data stream | |
TW201204076A (en) | Wireless communication system and method for adjusting used depth of buffer unit in wireless communication system | |
KR20100138713A (ko) | 패킷의 길이가 가변적인 mpeg-2 트랜스포트 패킷 생성 장치 및 방법 | |
US20040168204A1 (en) | Method of processing packet data between video server and clients | |
KR102401372B1 (ko) | 이종 네트워크를 통해 수신한 콘텐츠의 삽입 방법 및 장치 | |
JP5171593B2 (ja) | 画像送信装置 | |
JP5538762B2 (ja) | 情報処理装置及び情報処理方法 | |
US7065291B2 (en) | Method of processing data packets, and video recording/playback apparatus incorporating the method | |
JP2012160798A (ja) | 映像受信装置 | |
JP2011035578A (ja) | 送信装置、受信装置及び伝送システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110921 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121009 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130402 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5241582 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |