JP2010109529A - 多重化制御装置 - Google Patents

多重化制御装置 Download PDF

Info

Publication number
JP2010109529A
JP2010109529A JP2008277834A JP2008277834A JP2010109529A JP 2010109529 A JP2010109529 A JP 2010109529A JP 2008277834 A JP2008277834 A JP 2008277834A JP 2008277834 A JP2008277834 A JP 2008277834A JP 2010109529 A JP2010109529 A JP 2010109529A
Authority
JP
Japan
Prior art keywords
data
buffer
transport stream
video
multiplexing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008277834A
Other languages
English (en)
Other versions
JP2010109529A5 (ja
Inventor
Takashi Matsumoto
貴士 松本
Takayuki Suzuki
貴之 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Technology Corp
Original Assignee
Renesas Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Technology Corp filed Critical Renesas Technology Corp
Priority to JP2008277834A priority Critical patent/JP2010109529A/ja
Priority to US12/578,610 priority patent/US20100104013A1/en
Publication of JP2010109529A publication Critical patent/JP2010109529A/ja
Publication of JP2010109529A5 publication Critical patent/JP2010109529A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】マルチプレックス(ＭＵＸ)処理とデマルチプレックス(ＤＥＭＵＸ)処理を実行する多重化制御装置の処理性能を向上させること。
【解決手段】多重化制御装置１００は、トランスポートストリーム(ＴＳ)バッファ２２２、多重化処理部２１０、映像バッファ２４２、音声バッファ２５２を具備する。映像・音声バッファ２４２、２５２から符号化映像データ・音声データが供給され多重化処理部２１０はＭＵＸ処理を実行する一方、多重化処理部２１０はＴＳバッファ２２２に蓄積されたＴＳデータのＤＥＭＵＸ処理を実行して符号化映像データ・音声データを生成する。多重化処理部２１０によるＭＵＸまたはＤＥＭＵＸの処理は、動画圧縮符号化によって処理される複数のフレームを単位として実行される。処理の実行の開始前に実行の準備が満足されているか否かが、装置１００の内部でバッファ２４２、２５２、２２２の蓄積状態の確認によって判定される。
【選択図】図３

Description

本発明は、マルチプレックス処理を実行するマルチプレクサーおよびデマルチプレックス処理を実行するデマルチプレクサーとしての多重化制御装置に関するもので、特に、その処理性能を向上させるのに有益な技術に関する。
近年、システムＬＳＩ(Large Scale Integrated Circuits)の高性能化および低消費電力化やフラッシュメモリを始めとするストレージの大容量化によって、携帯電話や携帯型コンテンツプレイヤや携帯型ゲーム機を始めとするモバイル機器の動画記録および動画視聴が普及している。画像処理技術の向上によって、今まではデジタルビデオカメラや据置型テレビ放送受像機、パーソナルコンピュータ(ＰＣ：Personal Computer)等で実現されてきた高精細と高画質のデジタルコンテンツの処理も可能となってきた。
現在普及している第３世代、および、第３．５世代の携帯電話は、主に通信機能を担当するベースバンド処理部と静止画、動画、音声や音楽の記録、および、再生、ゲームなどで使用されるグラフィックス処理などを担当するマルチメディア処理部から構成される。マルチメディア処理の多様化、高機能化に対応するため、マルチメディア処理専用の中央演算処理ユニット（CPU：Central Processing Unit）を具備したLSI（Large Scale Integrated circuit）や、マルチメディア処理専用のLSIを別途設ける構成などが存在する。
しかしながら、携帯電話等の携帯モバイル機器では、デジタルビデオカメラや据置型テレビ放送受像機やパーソナルコンピュータと比較すると、電力消費を抑えて使用時間を延ばすことが考慮されること、また、実装スペースの制約が大きいことなどから、ＣＰＵの性能や半導体メモリ(ＲＡＭ：Random Access Memory)の記憶容量等のハードウェア性能が劣っている。従って携帯モバイル機器でのハードウェアの制約によって、デジタルビデオカメラや据置型テレビ放送受像機、ＰＣと同等の画像処機能を携帯モバイル機器で実現するためにはインプリメンテーションの工夫が必要になる。
一方、テレビ視聴やデジタルビデオカメラによる撮影等のために、デマルチプレクサーとマルチプレクサーとが使用される。デマルチプレクサーはデマルチプレックス処理(De-multiplex処理、ＤＥＭＵＸ処理)を実行する一方、マルチプレクサーはマルチプレックス処理(Multiplex処理、ＭＵＸ処理)を実行する。
ＤＥＭＵＸ処理では、多種のデータが多重化(マルチプレックス)されたトランスポートストリーム(ＴＳ：Transport Stream)と呼ばれるデータ形式から、パケット化エレメンタリストリーム(ＰＥＳ：Packetized Elementary Stream)やエレメンタリストリーム(ＥＳ：Elementary Stream)と呼ばれるデコーダ(復号器)が読み込み可能な所望のデータに抽出されて変換される。
その反対に、MUX処理では、多種のパケット化エレメンタリストリームやエレメンタリストリームがＴＳパケット(Transport Stream Packet)と呼ばれるトランスポートストリームの構成単位に分割されて多重化(マルチプレックス)されるものである。
トランスポートストリームを採用する規格としては、ＭＰＥＧ−２動画像符号化／復号システムやＡＶＣＨＤ(Advanced Video Codec High Definition, エーブイシーエイチディー)等があり、日本を始めとする各国のデジタル放送規格や、ハイビジョンデジタルビデオカメラで使用されている。尚、ＡＶＣＨＤとはハイビジョン映像をビデオカメラで記録するための規格の一つであり、松下電器産業とソニーの商標である。
トランスポートストリームを構成するＴＳパケットは、ヘッダデータ部分(Header Data)とペイロードデータ部分(Payload Data)に分けて構成された１８８バイトまたは１９２バイトのデータである。
ヘッダ部分には、トランスポートストリームに関する情報が記録される。ペイロード部分には、映像や音声と言った符号化データであれば、エレメンタリストリームを再生時間単位でパケット化したパケット化エレメンタリストリームが記録される。
またペイロード部分には、番組特定情報(ＰＳＩ)や番組配列情報(ＳＩ)と呼ばれるパケット化エレメンタリストリームを復号して再生するために必要な制御情報や電子番組表(ＥＰＧ：Electronic Program Guide)を始めとする付加情報等であれば、それらの用途に応じたデータが各ＴＳパケットサイズに収容されるように分割されて格納される。
ここで、番組特定情報(ＰＳＩ：Program Specification Information)は、番組を選択するために必要な情報で、プログラムアソシエーションテーブル(ＰＡＴ)、プログラムマップテーブル(ＰＭＴ)、ネットワークインフォメーションテーブル(ＮＩＴ)、コンディショナルアクセステーブル(ＣＡＴ)などが存在する。また、番組配列情報(ＳＩ：Service Information)は、チャンネル名の表示、番組情報の表示等と番組選択の利便性のために規定されたサービス記述テーブル(ＳＤＴ)、番組情報テーブル(ＥＩＴ)等のテーブルの総称である。これらデジタル放送の種々の技術用語は、下記非特許文献１に記載されている。
トランスポートストリームパケットに含まれる種々のペイロードの区別には、ヘッダ部分に記載されたパケット識別子(ＰＩＤ：Packet Identifier)が使用される。ＤＥＭＵＸ処理では、このパケット識別子(ＰＩＤ)を観測して、そのＴＳパケットのペイロード部分を抽出することで、所望のペイロードの集合を抽出する。ＭＵＸ処理では、パケット化エレメンタリストリームや番組特定情報(ＰＳＩ)／番組配列情報(ＳＩ)をトランスポートストリームペイロードに分割して、更にＴＳヘッダを付加してＴＳパケットを生成して、それらを纏めてトランスポートストリームとする。この時に、エラー耐性を持たせるために、特定のパケット識別子(ＰＩＤ)のパケットが一個所に集中しないように、種々のパケット識別子(ＰＩＤ)のパケットが混合されて離散的に配置される。
三宅 宏幸 他、 「ディジタル放送受信機における選局技術」、ＳＡＮＹＯ ＴＥＣＨＮＩＣＡＬ ＲＥＶＩＥＷ， ＶＯＬ．３６ ＮＯ．１ ＪＵＮ． ２００４， ＰＰ．３１〜４４．
録画に際しては、デジタルビデオカメラシステムのカメラの撮影ビデオデータとマイクの取得オーディオデータとは、ビデオとオーディオのエンコーダとによってビデオとオーディオのエレメンタリストリームとにそれぞれ符号化される。この時に、符号化は、フレーム(ピクチャー)単位で実行される。このビデオとオーディオのエレメンタリストリームは、ビデオとオーディオのパケット化エレメンタリストリームに、それぞれパケット化される。
ビデオとオーディオのパケット化エレメンタリストリームはマルチプレクサーの入力に供給されることによって、マルチプレクサーの出力から多重化されたトランスポートストリームが生成される。すると、マルチプレクサーから最初のＭＵＸ処理が完了した旨の通信がビデオとオーディオのエンコーダとに供給されることよって、次のビデオと次のオーディオのエレメンタリストリームの符号化処理、および、パケット化エレメンタリストリーム(ＰＥＳ)のパケット化処理が実行される。
このように録画に際しては、上述したＭＵＸ処理は複数のフレームに対応する複数個のビデオおよびオーディオの符号化処理、多重化の処理を実行するためには、タスク間通信や割り込み処理の回数が多くなり、それによる処理のオーバーヘッドが結果として動画圧縮符号化や多重化処理を含めたシステム全体の性能劣化を招くと言う問題が本発明者等の検討によって明らかとされた。
一方、録画の後の蓄積メディアからの撮影映像の再生に際しても、蓄積メディアからのトランスポートストリームはデマルチプレクサーの入力に供給されることによって、ビデオとオーディオのデータとに分離される。このビデオとオーディオのデータはビデオとオーディオのデコーダの入力に供給されることによって、ビデオとオーディオの再生に用いられる伸張されたデータが出力される。すると、ビデオとオーディオのデコーダからビデオとオーディオの復号処理が完了した旨の通信がデマルチプレクサーに供給されることによって、次のトランスポートストリームのＤＥＭＵＸ処理が開始される。
このように再生に際しても、上述したトランスポートストリームのＤＥＭＵＸ処理、エレメンタリストリーム(ＥＳ)の復号処理を実行によりタスク間通信や割り込み処理の回数が多くなり、それによる処理のオーバーヘッドが結果として動画伸張復号化や多重化処理を含めたシステム全体の性能劣化を招くと言う問題が本発明者等の検討によって明らかとされた。
本発明は、以上のような本発明に先立った本発明者等の検討の結果、なされたものである。
従って、本発明の目的とするところは、多重化制御装置の処理性能を向上させることにある。
また、本発明の他の目的とするところは、ＭＵＸ処理のタスク間通信および割り込み処理の回数を低減してこれらの処理によるオーバーヘッドを削減して、動画圧縮符号化や多重化処理を含めたシステムの処理性能を向上させることにある。
また、本発明の他の目的とするところは、ＤＥＭＵＸ処理のタスク間通信および割り込み処理の回数を低減してこれらの処理によるオーバーヘッドを削減し、動画伸張復号化や多重化処理を含めたシステムの処理性能を向上させることにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
本願において開示される発明のうちの代表的なものについて簡単に説明すれば下記のとおりである。
すなわち、本発明の代表的なＭＵＸ処理およびＤＥＭＵＸ処理を制御する多重化制御装置(１００)は、トランスポートストリーム(ＴＳ)バッファ(２２２)と、多重化処理部(２１０)と、映像バッファ(２４２)と、音声バッファ(２５２)とを具備する。
前記映像バッファ(２４２)と前記音声バッファ(２５２)から符号化映像データと符号化音声データとが供給され前記多重化処理部(２１０)はＭＵＸ処理を実行する一方、前記多重化処理部(２１０)は前記ＴＳバッファ(２２２)に蓄積されたトランスポートストリームデータのＤＥＭＵＸ処理を実行して符号化映像データと符号化音声データを生成可能である(図３参照)。
前記多重化処理部(２１０)による前記ＭＵＸ処理または前記ＤＥＭＵＸ処理は、動画圧縮符号化によって処理される複数のフレームを単位として実行される。
前記ＭＵＸ処理または前記ＤＥＭＵＸ処理の実行の開始前に、前記実行の準備が満足されているか否かが、前記多重化制御装置(１００)の内部で判定される。
前記実行の前記準備が満足されているか否かの判定は、バッファ(２４２、２５２、２２２)の蓄積状態の確認によって実行されることを特徴とする(図５、図４参照)。
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
すなわち、本発明によれば、多重化制御装置の処理性能を向上させることができる。
また、本発明によれば、ＭＵＸ処理時およびＤＥＭＵＸ処理時のタスク間通信および割り込み処理の回数を低減してこれらの処理によるオーバーヘッドを削減して、動画圧縮符号化および動画伸張復号化や多重化処理を含めたシステムの処理性能を向上させることが可能である。
《代表的な実施の形態》
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
〔１〕本発明の代表的な実施の形態は、ＴＳバッファ(２２２)と、多重化処理部(２１０)と、映像バッファ(２４２)と、音声バッファ(２５２)とを具備して、ＭＵＸ処理を実行する多重化制御装置(１００)である。
前記映像バッファ(２４２)には符号化映像データが蓄積可能であり、前記音声バッファ(２５２)には符号化音声データが蓄積可能である。
前記多重化処理部(２１０)には前記映像バッファ(２４２)と前記音声バッファ(２５２)とから前記符号化映像データと前記符号化音声データとがそれぞれ供給されることによって、前記多重化処理部(２１０)は前記符号化映像データと前記符号化音声データとのＭＵＸ処理を実行する。
前記多重化処理部(２１０)による前記ＭＵＸ処理によって生成され動画圧縮符号化されたトランスポートストリームデータは、前記ＴＳバッファ(２２２)に蓄積可能である(図３参照)。
前記多重化処理部(２１０)への前記符号化映像データと前記符号化音声データの供給は、前記動画圧縮符号化によって処理される複数フレームを単位として実行される(ステップ４１０)。
前記ＭＵＸ処理の実行の開始前に、前記ＭＵＸ処理の実行の準備が満足されているか否かが前記多重化制御装置(１００)の内部で判定される(ステップ４００〜ステップ４０８)。
前記実行の準備が満足されているか否かの判定は、前記映像バッファ(２４２)の前記符号化映像データの蓄積状態の確認(ステップ４００)と前記音声バッファ(２５２)の前記符号化音声データの蓄積状態の確認(ステップ４０３)と前記ＴＳバッファ(２２２)の前記トランスポートストリームデータの蓄積状態との確認(ステップ４０８)によって実行されることを特徴とする(図５参照)。
前記実施の形態によれば、動画圧縮符号化によって生成される複数のフレームを単位として実行されるＭＵＸ処理の実行の開始前に、バッファ(２４２、２５２、２２２)の蓄積状態の確認(ステップ４００、４０３、４０８)によって実行される。従って、単一のフレーム毎にＭＵＸ処理の実行の可否を判断する場合と比較して、ＭＵＸ処理時のタスク間通信および割り込み処理の回数を低減してこれらの処理によるオーバーヘッドを削減することができる。
好適な実施の形態では、前記ＭＵＸ処理によって処理される前記複数のフレームは、動画符号化方式での画面内予測符号化ピクチャーであるＩフレームと順方向予測符号化ピクチャーであるＰフレームと双方向予測符号化ピクチャーであるＢフレームとを含む。
前記複数のフレームは、前記Ｉフレームから次のＩフレームの直前のフレームまでを少なくとも含む符号化映像データであることを特徴とする(図５参照)。
他の好適な実施の形態は、前記複数のフレームは１つのグループオブピクチャー(ＧＯＰ：Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ)に略対応していることを特徴とする(図５参照)。
より好適な実施の形態は、前記映像バッファ(２４２)に蓄積可能な前記符号化映像データと前記音声バッファ(２５２)に蓄積可能な前記符号化音声データとは、デジタルビデオカメラシステムのカメラにより取得される画像データとマイクにより取得される音声データとにそれぞれ基づくことを特徴とする(図２参照)。
更に他の好適な実施の形態は、前記カメラにより取得される前記画像データは映像符号・復号部(１３０)によって前記符号化映像データに変換され、前記マイクにより取得される前記音声データは音声符号・復号部(１５０)によって前記符号化音声データに変換されることを特徴とする(図２参照)。
より好適な実施の形態による多重化制御装置(１００)は、放送付随情報としての番組情報(ＰＳＩ／ＳＩ)が格納可能であるデータ記憶部(２３０)を更に具備する。
前記多重化処理部(２１０)には前記映像バッファ(２４２)と前記音声バッファ(２５２)から前記符号化映像データと前記符号化音声データとがそれぞれ供給されると伴に前記データ記憶部(２３０)から前記番組情報(ＰＳＩ／ＳＩ)が供給されることによって、前記多重化処理部(２１０)は前記符号化映像データと前記符号化音声データと前記番組情報とのＭＵＸ処理を実行することを特徴とする(図２参照)。
他の具体的な一つの実施の形態は、前記実行の準備が満足されているか否かの前記判定は、前記多重化制御装置(１００)の内部の判定部(２００)で判定されることを特徴とする。
〔２〕本発明の別の観点の代表的な実施の形態は、ＴＳバッファ(２２２)と、多重化処理部(２１０)と、映像バッファ(２４２)と、音声バッファ(２５２)とを具備して、ＤＥＭＵＸ処理を実行する多重化制御装置(１００)である。
前記多重化処理部(２１０)によるＤＥＭＵＸ処理が実行される動画圧縮符号化されたトランスポートストリームデータは、前記ＴＳバッファ(２２２)に蓄積可能である。
前記多重化処理部(２１０)は前記ＴＳバッファ(２２２)に蓄積された前記トランスポートストリームデータの前記ＤＥＭＵＸ処理を実行することによって、符号化映像データと符号化音声データとを生成可能である。
前記映像バッファ(２４２)には前記多重化処理部(２１０)により生成される前記符号化映像データが蓄積可能であり、前記音声バッファ(２５２)には前記多重化処理部(２１０)により生成される前記復符号化音声データが蓄積可能である(図３参照)。
前記多重化処理部(２１０)による前記ＤＥＭＵＸ処理は、前記動画圧縮符号化によって処理された複数のフレームを単位として実行される(ステップ３１２)。
前記ＤＥＭＵＸ処理の実行の開始前に、前記ＤＥＭＵＸ処理の実行の準備が満足されているか否かが前記多重化処理部(１００)内部で判断される(ステップ３００〜ステップ３０８)。
前記実行の前記準備が満足されているか否かの判断は、前記ＴＳバッファ(２２２)の前記トランスポートストリームデータの蓄積状態(ステップ３０６)との確認と前記映像バッファ(２４２)の前記復号映像データの蓄積状態の確認(ステップ３０８)とによって実行されることを特徴とする(図４参照)。
前記実施の形態によれば、動画圧縮符号化によって処理される複数のフレームを単位として実行されるＤＥＭＵＸ処理の実行の開始前に、バッファ(２４２、２２２)の蓄積状態の確認(ステップ３０６、３０８)によって実行される。従って、複数のフレームの各フレームを単位としてＤＥＭＵＸ処理の実行の可否を判断する場合と比較して、ＤＥＭＵＸ処理のタスク間の通信回数を低減して動画圧縮符号化の処理のオーバーヘッドを削減することができる。
好適な実施の形態では、前記ＤＥＭＵＸ処理によって処理される前記複数のフレームは、動画符号化方式での画面内予測符号化ピクチャーであるＩフレームと前方向予測符号化ピクチャーであるＰフレームと双方向予測符号化ピクチャーであるＢフレームとを含む。
前記複数のフレームは、前記Ｉフレームから次のＩフレームの直前のフレームまでを少なくとも含む符号化映像データであることを特徴とする(図４参照)。
他の好適な実施の形態は、前記複数のフレームは１つのグループオブピクチャー(ＧＯＰ)に略対応していることを特徴とする(図４参照)。
更に他の好適な実施の形態では、前記実行の前記準備が完全には満足されていないと判断された場合でも、前記ＴＳバッファ(２２２)に蓄積済みの前記トランスポートストリームデータのデータ量が前記１つのグループオブピクチャー(ＧＯＰ)のデータ量よりも少ないとの確認(ステップ５０６の“Ｎｏ”)と、前記ＴＳバッファ(２２２)の実効的な蓄積データ量よりも前記映像バッファ(２４２)の空き容量が大きいとの確認(ステップ５１０の“Ｙｅｓ”)とによって、前記ＴＳバッファ(２２２)に蓄積済みの前記トランスポートストリームデータのみのＤＥＭＵＸ処理の実行が開始されることを特徴とする(図６；ステップ５１２、図８；ステップ７００参照)。
より好適な実施の形態では、前記ＴＳバッファ(２２２)に蓄積済みの前記トランスポートストリームデータのみの前記ＤＥＭＵＸ処理の前記実行の完了の後、前記１つのＧＯＰの残りのトランスポートストリームデータが前記ＴＳバッファ(２２２)に蓄積されるのを待ち(ステップ７０４)、更に前記映像バッファ(２４２)に必要な空き容量が確保されるのを待って(ステップ７０６)、前記トランスポートストリームバッファに蓄積された前記残りのトランスポートストリームデータのＤＥＭＵＸ処理の実行(ステップ７０８)が開始されることを特徴とする(図８参照)。
更により好適な実施の形態では、前記実行の前記準備が完全には満足されていないと判断された場合でも、前記ＴＳバッファ(２２２)に蓄積済みの前記トランスポートストリームデータのデータ量が前記１つのグループオブピクチャー(ＧＯＰ)のデータ量よりも少ないとの確認(ステップ５０６の“Ｎｏ”)と、前記ＴＳバッファ(２２２)の実効的な蓄積データ量よりも前記映像バッファ(２４２)の空き容量が小さいとの確認(ステップ５１０の“Ｎｏ”)とによって、前記映像バッファ(２４２)の前記空き容量に対応する前記ＴＳバッファ(２２２)に蓄積済みのトランスポートストリームデータのみのＤＥＭＵＸ処理の実行が開始されることを特徴とする(図６；ステップ５１４、図９；ステップ８００参照)。
具体的な一つの実施の形態は、前記ＴＳバッファ(２２２)に蓄積済みの前記映像バッファ(２４２)の前記空き容量に対応する前記トランスポートストリームデータのみの前記ＤＥＭＵＸ処理の前記実行の完了の後に、前記１つのグループオブピクチャー(ＧＯＰ)の残りのトランスポートストリームデータが前記ＴＳバッファ(２２２)に蓄積されるのを待ち(ステップ８０４)、前記映像バッファ(２４２)に必要な空き容量が確保されるのを待ち(ステップ８０６)、前記ＴＳバッファ(２２２)に蓄積された前記残りのトランスポートストリームデータのＤＥＭＵＸ処理の実行(ステップ８０８)が開始されることを特徴とする(図９参照)。
より具体的な一つの実施の形態は、前記多重化処理部(２１０)によって生成される前記符号化映像データと前記符号化音声データとは映像符号・復号部(１３０)と音声符号・復号部(１５０)とによって復号映像データと復号音声データとにそれぞれ変換されることを特徴とする(図２、図３参照)。
更により具体的な一つの実施の形態は、前記ＴＳバッファ(２２２)に蓄積可能な前記トランスポートストリームデータは、携帯システムのストレージ(１１０)から取得されるデータに基づくことを特徴とする(図２参照)。
更に他のより具体的な一つの実施の形態による多重化制御装置(１００)は、放送付随情報としての番組情報(ＰＳＩ／ＳＩ)が格納可能であるデータ記憶部(２３０)を更に具備する。
前記多重化処理部(２１０)は前記ＴＳバッファ(２２２)に蓄積された前記トランスポートストリームデータの前記ＤＥＭＵＸ処理を実行することによって、前記符号化映像データと前記符号化音声データとを生成可能である伴に前記番組情報(ＰＳＩ／ＳＩ)を生成可能である。
前記データ記憶部(２３０)には前記多重化処理部(２１０)により生成される前記番組情報(ＰＳＩ／ＳＩ)が蓄積可能である(図３参照)。
最も具体的な実施の形態は、前記実行の準備が満足されているか否かの前記判定は、前記多重化制御装置(１００)の内部の判定部(２００)で判定されることを特徴とする。
《実施の形態の説明》
次に、実施の形態について更に詳述する。尚、発明を実施するための最良の形態を説明するための全図において、前記の図と同一の機能を有する部品には同一の符号を付して、その繰り返しの説明は省略する。
《携帯電話の構成》
図１は、本発明の１つの実施の形態による携帯電話のハードウェアの一構成を示す図である。
図１の携帯電話は、携帯電話の機能を実現するために、アンテナ４、デュプレクサ５、ＲＦアナログ信号処理集積回路６、ＲＦ電力増幅器７、ベースバンドプロセッサ８、アプリケーションプロセッサ３、オーディオ集積回路９、スピーカー１０、マイクロフォン１１を含んでいる。
また、図１の携帯電話は、地上波デジタル放送の視聴および予約による外部不揮発性半導体記憶装置への録画を可能とするために、ロッドアンテナ１、地上波デジタル放送／チューナーモジュール２、アプリケーションプロセッサ３を含んでいる。地上波デジタル放送／チューナーモジュール２は、地上波デジタル放送を受信するチューナーモジュールである。
更に、アプリケーションプロセッサ３に接続されたＬＣＤ表示装置１６とベースバンドプロセッサ８に接続されたオーディオ集積回路９とは、携帯電話の機能と地上波デジタル放送の視聴を可能とするため使用される。また、アプリケーションプロセッサ３に接続されたカメラ１７とマイク１８と外部記憶装置１５とは、デジタルビデオカメラシステムによる動画撮影を可能とするものである。
図示されてはいないが、アプリケーションプロセッサ３には操作キーや操作ボタンを有する操作デバイスが接続され、エンドユーザーが操作デバイスを操作することにより携帯電話による通話や地上波デジタル放送の視聴および予約録画またカメラによる動画撮影が可能となる。
《携帯電話の機能》
ベースバンドプロセッサ８には携帯電話の動作を制御するＣＰＵコア８１が含まれ、ベースバンドプロセッサ８のＣＰＵコア８１はアプリケーションプロセッサ３と電気的に接続されている。エンドユーザーが操作デバイスを操作することによって、操作信号がアプリケーションプロセッサ３からベースバンドプロセッサ８のＣＰＵコア８１に伝達されるので、携帯電話による通話が開始される。
アンテナ４により受信された基地局からのＲＦ受信信号はデュプレクサ５を介して、ＲＦＩＣ６内部の受信信号処理部に供給される。ＲＦ受信信号はＲＦＩＣ６の受信信号処理部でアナログ受信ベースバンド信号にダウンコンバートされ、アナログ受信ベースバンド信号はＲＦＩＣ６内部のＡ／Ｄ変換器によってデジタル受信ベースバンド信号に変換される。
ＲＦＩＣ６のＡ／Ｄ変換器から供給されるデジタル受信ベースバンド信号はベースバンドプロセッサ８で復調信号処理を受け、Ｄ／Ａ変換器８２によるＤ／Ａ変換によって受信音声出力信号が生成される。受信音声出力信号は、オーディオＩＣ９で増幅された後、スピーカー１０に供給される。
マイクロフォン１１の送信音声入力信号はオーディオＩＣ９で増幅された後、ベースバンドプロセッサ８のＡ／Ｄ変換器８３によるＡ／Ｄ変換によってデジタル信号に変換され更にベースバンドプロセッサ８の変調信号処理を受け、デジタル送信ベースバンド信号に変換される。このデジタル送信ベースバンド信号は、ＲＦＩＣ６のＤ／Ａ変換器によるＤ／Ａ変換によってアナログ送信ベースバンド信号に変換され、アナログ送信ベースバンド信号はＲＦＩＣ６の受信信号処理部でＲＦ送信信号にアップコンバートされる。ＲＦ送信信号はＲＦ電力増幅器７で増幅された後、デュプレクサ５とアンテナ４とを介して基地局に送信される。
地上波デジタル放送／チューナーモジュール２、ベースバンドプロセッサ８、オーディオＩＣ９には、アプリケーションプロセッサ３が接続されている。
《アプリケーションプロセッサの構成》
アプリケーションプロセッサ３は、中央処理ユニット(ＣＰＵ)３１、外部メモリインターフェースユニット３２、マルチメディア処理部３３、ＬＣＤコントローラ３４、カメラ信号処理ユニット３５、マイク信号処理ユニット３６により構成されている。
ＣＰＵ３１は、ＣＰＵコア３１１、命令キャッシュメモリ３１２、データキャッシュメモリ３１３、内蔵ＲＡＭ３１４を含んでいる。
外部メモリインターフェースユニット３２は、第１外部不揮発性半導体記憶装置１２としてのフラッシュメモリに接続される第１外部メモリインターフェース３２２、第１外部揮発性記憶装置１３としての同期型ダイナミックランダムアクセスメモリに接続される第２外部メモリインターフェース３２３を含んでいる。
フラッシュメモリ１２にはモバイル端末としての携帯電話の基本的な動作のためのオペレーティングシステム(ＯＳ)のソフトウェアが格納可能であり、ＳＤＲＡＭ１３には携帯電話の動作中および地上波デジタル放送の視聴動作もしくは予約録画を可能とする受信機の種々のデータが格納可能である。
外部メモリインターフェースユニット３２は、更に第２外部不揮発性半導体記憶装置１４としてのフラッシュメモリに接続される第３外部メモリインターフェース３２４、外部記憶装置１５としてのモバイル端末としての携帯電話に挿入接続されるフラッシュメモリカードに接続される拡張外部メモリインターフェース３２５を含んでいる。
フラッシュメモリ１４には、フラッシュメモリ１２に格納されたＯＳ上に構築可能な携帯電話および地上波デジタル放送受信機の種々のアプリケーションプログラムのソフトウェアが、格納可能である。更に、外部記憶装置１５は、フラッシュメモリカードまたはハードディスクドライブ装置(ＨＤＤ：Hard Disk Drive)等によって構成されることができる。この外部記憶装置１５には、携帯電話と地上波デジタル放送受信機とデジタルビデオカメラシステムによる動画撮影とに関連してエンドユーザーが不揮発記憶を指定して不揮発記憶する種々のデータおよびコンテンツが、格納可能である。
マルチメディア処理部３３は、トランスポートストリーム入力インターフェース３３１、映像コーデック３３２、画像処理ユニット３３３、音声コーデック３３４、音声処理ユニット３３５、マルチプレクサー／デマルチプレクサー３３６により構成されている。また、マルチメディア処理部３３は、ＬＣＤ表示装置１６とスピーカー１０とによる画像表示と音声出力のためにＬＣＤコントローラ３４とオーディオＩＣ９に接続されている。また、マルチメディア処理部３３は、デジタルビデオカメラシステムのカメラ１７とマイク１８とによる動画撮影を可能とするためにカメラ信号処理ユニット３５とマイク信号処理ユニット３６とに接続されている。
地上波デジタル放送／チューナーモジュール２からのトランスポートストリームは、地上波デジタル放送／チューナーモジュール２で受信されたデジタル放送番組の圧縮符号化形式の映像情報、音声情報および付随伝送情報等の固定長パケットを含んでいる。付随情報には、番組特定情報(ＰＳＩ)、および、番組配列情報(ＳＩ)が含まれている。
≪デジタルビデオカメラシステムによる動画撮影≫
アプリケーションプロセッサ３に接続されたカメラ１７とマイク１８と外部記憶装置１５とは、デジタルビデオカメラシステムによる動画撮影を可能とするものである。すなわち、マルチメディア処理部３３は、デジタルビデオカメラシステムのカメラ１７とマイク１８とによる動画撮影を可能とするためにカメラ信号処理ユニット３５とマイク信号処理ユニット３６とに接続されている。カメラ１７からの映像入力信号はカメラ信号処理ユニット３５によって処理された後、画像処理ユニット３３３に供給され、拡大、または、縮小、画像合成、画質調整等を施されて映像コーデック３３２に入力される。マイク１８からの音声入力信号はマイク信号処理ユニット３６によって処理された後、音声処理ユニット３３５に供給され、音質調整等を施されて音声コーデック３３４に入力される。また、映像コーデック３３２および音声コーデック３３４で生成された映像符号化情報および音声符号化情報は、マルチプレクサー／デマルチプレクサー３３６により所望のファイル形式に変換された後に、拡張外部メモリインターフェース３２５を介し外部記憶装置１５へ格納される。
≪動画符号化方法≫
図１０は、ＭＰＥＧの動画符号化方式における階層構造を説明する図である。図１０に示すように、ＭＰＥＧの動画符号化方式は動画像全体に対応するシーケンス(Sequence)から離散コサイン変換(ＤＣＴ：Discrete Cosine Transform)の処理単位のブロック(Block)までの６階層の構造を有する。すなわち、第１階層はシーケンス(Sequence)、第２階層はグループオブピクチャー(ＧＯＰ)、第３階層はピクチャー(Picture)、第４階層はスライス(Slice)、第５階層はマクロブロック(Macro-block)、第６階層はブロック(Block)である。この階層構造は動画像構造をベースとしたものであるが、グループオブピクチャー(ＧＯＰ)に含まれるピクチャー(Picture)の数もしくはスライス(Slice)に含まれるマクロブロック(Macro-block)の数は比較的柔軟となっている。しかしながら、図１０からは１つのグループオブピクチャー(ＧＯＰ)のデータのサイズは、Ｉフレームから次のＩフレームまでの映像データのサイズに略対応することが理解できる。
≪マルチプレクサー／デマルチプレクサーの構成≫
図２は、本発明の１つの実施の形態による携帯電話端末に内蔵されたマルチプレクサー／デマルチプレクサーを実現する多重化制御装置の構成を示す図である。
図２に示すマルチプレクサー／デマルチプレクサーは、携帯電話端末に搭載されたマルチメディア機能の１つとしてのデジタルビデオカメラシステムを構築している。すなわち、図２の多重化制御装置１００は図１のマルチプレクサー／デマルチプレクサー３３８に対応して、図２のストレージ１１０とアプリケーションプログラム１７０とは図１の外部記憶装置１５とフラッシュメモリ１４に格納されたアプリケーションプログラムのソフトウェアとに対応している。更に、図２のカメラ１４０とディスプレイ１４４とマイク１６０とスピーカー１６４とは、図１のカメラ１７とＬＣＤ表示装置１６とマイク１８とスピーカー１０にそれぞれ対応している。また、図２の番組特定情報(ＰＳＩ)／番組配列情報(ＳＩ)制御部１８０には、図１の地上波デジタル放送／チューナーモジュール２からの付随情報としての番組特定情報(ＰＳＩ)と番組配列情報(ＳＩ)とが格納される。
以下に、図２に示すマルチプレクサー／デマルチプレクサーに関して、詳細に説明する。
マルチプレクサー／デマルチプレクサーである多重化制御装置１００は、再生時のＤＥＭＵＸ処理と記録時のＭＵＸ処理を実行するモジュールである。
≪再生時のデマルチプレックス処理≫
再生時のＤＥＭＵＸ処理では、多重化制御装置１００は、アプリケーションプログラム１７０により指定されたパケット識別子(ＰＩＤ)に従ってストレージ１１０から映像データと音声データとを抽出して映像符号・復号部１３０と音声符号・復号部１５０とにそれぞれ供給する。
≪記録時のマルチプレックス処理≫
記録時のＭＵＸ処理では、多重化制御装置１００は、映像符号・復号部１３０と音声符号・復号部１５０、番組特定情報(ＰＳＩ)／番組配列情報(ＳＩ)制御部１８０とからの生成データを多重化してストレージ１１０へ格納する。
すなわち、カメラ１４０によって取得された画像データは、画像処理部１４２によって拡大・縮小、ブレンド、色変換等の処理が行われた後、映像符号・復号部１３０に供給されて圧縮され、多重化制御装置１００の入力画像データとなる。マイク１６０によって取得された音声データは、音声処理部１６２によってアナログ／デジタル変換の処理と高音質化等の処理が行われた後に、音声符号・復号部１５０に供給されて圧縮され、多重化制御装置１００の入力音声データとなる。番組特定情報(ＰＳＩ)／番組配列情報(ＳＩ)制御部１８０は上述したように、再生に必要な制御情報や付加情報を生成する。従って、入力画像データと入力音声データと制御情報および付加情報は、多重化制御装置１００により多重化のためのＭＵＸ処理を受けた後にストレージ１１０へ格納される。
尚、映像符号・復号部１３０は映像信号に関するエンコーダ(Encoder：符号器)とデコーダ(Decoder：復号器)の両方の機能を持つ映像コーデックと呼ばれ、音声符号・復号部１５０も映像信号に関するエンコーダとデコーダの両方の機能を持つ音声コーデックと呼ばれる。
≪ストレージおよびアプリケーションプログラム≫
ストレージ１１０には、携帯電話端末に内蔵されたフラッシュメモリのような不揮発性メモリやハードディスクドライブ装置(ＨＤＤ：Hard Disk Drive)等だけではなく、携帯電話端末のスロットに挿入可能な着脱型の不揮発性メモリが使用される。
アプリケーションプログラム１７０は、再生時のパケット識別子(ＰＩＤ)の指定を実行する一方、再生の開始および停止と言ったユーザコマンドの通知も実行する。アプリケーションプログラム１７０は、更に多重化処理部１００、映像符号・復号部１３０、画像処理部１４２、音声符号・復号部１５０、音声処理部１６２、ＰＳＩ／ＳＩ制御部１８０の再生、記録に関連するモジュールの機能選択やパラメータ設定等を実行する。
≪多重化制御装置の構成≫
図３は、図２に示した本発明の１つの実施の形態による多重化制御装置１００の構成を示す図である。
図３に示す多重化制御装置１００は、多重化処理量決定部２００、ＤＥＭＵＸ処理位置記憶部２０２、多重化処理部２１０、ＴＳバッファ制御部２２０、ＴＳバッファ２２２、ＰＳＩ／ＳＩデータ記憶部２３０、映像バッファ制御部２４０、映像バッファ２４２、映像管理情報記憶部２４４、音声バッファ制御部２５０、音声バッファ２５２、音声管理情報記憶部２５４、Ｉフレーム位置検出部２６０、Ｉフレーム位置記憶部２６２を含んでいる。
また、図３に示した多重化制御装置１００では、記録時でのＭＵＸ処理と再生時でのＤＥＭＵＸ処理とに、ＴＳバッファ２２２、映像バッファ２４２、音声バッファ２５２が使用される。ＴＳバッファ２２２、映像バッファ２４２、音声バッファ２５２を構成するためのメモリは、携帯電話に搭載された内蔵ＲＡＭ、または、携帯電話外部に搭載された同期型ダイナミックランダムアクセスメモリ(ＳＤＲＡＭ：Synchronous Dynamic Random Access Memory)によって構成される。
まず、ＴＳバッファ制御部２２０はＴＳバッファ２２２のメモリ制御を行い、ＤＥＭＵＸ処理の時にＴＳバッファ２２２の空き容量(未使用記憶容量)に応じてストレージ１１０から必要なトランスポートストリームのデータをＴＳバッファ２２２に蓄積する。一方、ＴＳバッファ制御部２２０は、ＭＵＸ処理の時には、ＴＳバッファ２２２に格納された多重化処理部２１０の出力結果をストレージ１１０へ転送する。
映像バッファ制御部２４０は映像バッファ２４２のメモリ制御を行って、ＤＥＭＵＸ処理の時に多重化処理部２１０によって出力された映像データを映像バッファ２４２に蓄積して映像符号・復号部１３０へ供給する。一方、映像バッファ制御部２４０は、ＭＵＸ処理の時に映像符号・復号部１３０の出力データを映像バッファ２４２に蓄積して多重化処理部２１０へ供給する。
映像管理情報記憶部２４４は、表示タイムスタンプ(ＰＴＳ：Presentation Time Stamp)や復号タイムスタンプ(ＤＴＳ：Decoding Time Stamp)、映像バッファ２４２でのエレメンタリストリームの格納先と格納サイズ等のＤＥＭＵＸ処理の際に映像符号・復号部１３０が使用する多重化処理部２１０によって出力された情報を格納するものである。また映像管理情報記憶部２４４は、ＭＵＸ処理の際に多重化処理部２１０が使用する映像符号・復号部１３０によって出力された情報を格納する。ここで、表示タイムスタンプ(ＰＴＳ)は、表示時刻を示すタイムスタンプであり、復号タイムスタンプ(ＤＴＳ)はデコード時刻を示すタイムスタンプである。これは、双方向予測符号化ピクチャー(Ｂピクチャー、Ｂフレーム)の導入により、表示時刻とデコード時刻、すなわち、カメラからの画像データの取得時刻と符号化時のエンコード時刻が異なることに対応するためである。
音声バッファ制御部２５０は音声バッファ２５２のメモリ制御を行って、ＤＥＭＵＸ処理の時に多重化処理部２１０によって出力された音声データを音声バッファ２５２に蓄積して音声符号・復号部１５０へ供給する。一方、音声バッファ制御部２５０は、ＭＵＸ処理の時に音声符号・復号部１５０の出力データを音声バッファ２５２に蓄積して、多重化処理部２１０へ供給する。
音声管理情報記憶部２５４は、音声の出力時刻を示す表示タイムスタンプ(ＰＴＳ)、音声バッファ２５２におけるエレメンタリストリームの格納先と格納サイズ等のＤＥＭＵＸ処理の際に音声符号・復号部１５０が使用する多重化処理部２１０によって出力された情報を格納する。また音声管理情報記憶部２５４は、ＭＵＸ処理の際に多重化処理部２１０が使用する音声符号・復号部１５０によって出力された情報を格納する。
Ｉフレーム位置記憶部２６２の記憶内容は、Ｉフレーム位置検出部２６０によって記録時に生成されて、ストレージ１１０にも格納されている。上述したように、ＭＰＥＧ−２、ＭＰＥＧ−４等の動画符号化方式では、画面内予測符号化ピクチャー(Ｉピクチャー)と順方向予測符号化ピクチャー(Ｐピクチャー)と双方向予測符号化ピクチャー(Ｂピクチャー)とが使用され、画面内予測符号化ピクチャー(Ｉピクチャー)はフレーム／フィールド内符号化画像である。従って、Ｉフレームは、他のフレームを参照すること無しにそれ自体で復号可能なフレームである。Ｉフレームは、早送り、早戻し、スキップ、タイムサーチ、チャプタースキップ等のトリックプレイと呼ばれる特殊操作時の先頭フレームとして使用される。トランスポートストリーム内のＩフレームの検出を単純化してトリックプレイを容易に実現することを目的として、記録時には予め、表示タイムスタンプ(ＰＴＳ)、復号タイムスタンプ(ＤＴＳ)、Ｉフレーム先頭データを含むＴＳパケットのコンテンツの先頭からのパケット数やアドレス、Ｉフレームデータのサイズが、Ｉフレーム位置記憶部２６２に格納される。
再生時には、Ｉフレーム位置記憶部２６２に格納された記憶内容を使用して、Ｉフレームの検出を行う。すなわち、Ｉフレーム位置検出部２６０はＤＥＭＵＸ処理の際にストレージ１１０からＩフレームに関する情報をＩフレーム位置記憶部２６２に読み出して、ＤＥＭＵＸ処理を行う先頭ＴＳパケットを決定する。
グループオブピクチャー(ＧＯＰ：Group of Picture)のデータのサイズは、Ｉフレームから次のＩフレームまでの映像データのサイズに略対応している。従って、Ｉフレーム位置記憶部２６２に記録された１つのＩフレームの先頭のアドレスと次のＩフレーム先頭のアドレスとの差分のサイズに、１つのＧＯＰのトランスポートストリームのデータが略含まれることになる。
従って、多重化処理量決定部２００は、ＴＳバッファ制御部２２０と映像バッファ制御部２４０と音声バッファ制御部２５０とＩフレーム位置検出部２６０等と連携して、多重化の処理を実行するデータ量を決定することによって多重化処理部２１０を制御する。また、更に多重化処理量決定部２００は、アプリケーションプログラム１７０から供給される再生開始、停止、一時停止等のユーザ操作も受け付ける。
また、ＤＥＭＵＸ処理位置記憶部２０２にはＤＥＭＵＸ処理の結果に応じて、次にＤＥＭＵＸ処理を行う映像データのタイムスタンプを記憶する(図４のステップ３２４)。アプリケーションプログラム１７０からトリックプレイの指示を受信している場合、ＤＥＭＵＸ処理位置記憶部２０２には、トリックプレイの指示と同時に指定される時刻が格納される。
≪デマルチプレックス処理の制御フロー≫
図４は、図３に示した本発明の１つの実施の形態による多重化制御装置１００によるＤＥＭＵＸ処理の制御フローを説明する図である。
図３に示した多重化制御装置１００を使用するストレージ１１０に格納されたトランスポートストリームのＤＥＭＵＸ処理は、下記のような特徴を有している。
すなわち、図４のＤＥＭＵＸ処理の処理(ステップ３１２)では、多重化制御装置１００は１つのＧＯＰに含まれる複数のフレーム(ピクチャー)を単位とした処理を実行する。この処理によって、トランスポートストリームから複数のビデオフレームおよびオーディオデータが生成され、映像符号・復号部１３０のビデオデコーダと音声符号・復号部１５０のオーディオデコーダに供給される。
しかし、このＤＥＭＵＸ処理の処理(ステップ３１２)の開始前に、多重化処理量決定部２００により、ＤＥＭＵＸ処理を実行する準備が満足されているかを事前に判断する。ＤＥＭＵＸ処理実行の準備が満足されているかの事前判断は、ＴＳバッファ２２２の蓄積状態と映像バッファ２４２の蓄積状態を検証するものである(ステップ３００〜ステップ３０８)。
以下に、図４に記載したＤＥＭＵＸ処理時の制御フローの詳細な説明を行う。
多重化制御装置１００のＩフレーム位置検出部２６０はＤＥＭＵＸ処理位置記憶部２０２によって示されるタイムスタンプの直前のＩフレーム位置を検出して、更に次のＩフレーム位置のアドレスとの差分を算出する。このアドレス差分値に対応するトランスポートストリームが、ＴＳバッファ２２２に蓄積されなければならないデータ量(すなわち、１つのＧＯＰのデータ量)となる。また、映像バッファ２４２に必要なバッファ記憶容量BMCは、ＴＳパケットからＴＳヘッダを除去した集合であるため、下記(１式)で目安となる値が算出可能である。
BMC＝Diff_Add_Ｉframe×(Size_TS_Payload／Size_TS_Packet)…(式１)
ここで、Diff_Add_ＩframeはＩフレーム間のアドレス差分値を示し、Size_TS_Payloadはトランスポートストリームのペイロードサイズを示し、Size_TS_Packetはトランスポートストリームのパケットサイズを示している。
Ｉフレーム間のアドレスオフセット差分値Diff_Add_Ｉframeには音声データと番組特定情報(ＰＳＩ)／番組配列情報(ＳＩ)が含まれているため、差分値Diff_Add_Ｉframeは実際に出力されるサイズよりも大きな値になる。しかし、記録時の映像データ、音声データ、番組特定情報(ＰＳＩ)／番組配列情報(ＳＩ)のＭＵＸ処理の方法には厳格な規定があるわけではないので、他の機器で記録されたコンテンツについては、アルゴリズムが不明なため厳密な計算が不可能となる。従って、図４のステップ３００では、(式１)に従って１つのＧＯＰのＤＥＭＵＸ処理の後の映像データ量を推定する。
図４の次のステップ３０２では、ＴＳバッファ制御部２２０によってＴＳバッファ２２２に蓄積済のトランスポートストリームのデータ量を取得する。
さらに、図４の次のステップ３０４では、映像バッファ制御部２４０によって映像バッファ２４２の空き容量(未使用記憶容量)を取得する。
そして、ステップ３００で取得した１つのＧＯＰの映像データ量とステップ３０２で取得したＴＳバッファ２２２に蓄積済のＴＳデータ量とを比較して、蓄積済のＴＳデータ量が１つのＧＯＰのデータ量以上になるまで図４のステップ３０６にて待つものである。
次に、ステップ３００で推定した１つのＧＯＰの映像データ量とステップ３０４で取得した映像バッファ２４２の空き容量(未使用記憶容量)を比較して、映像バッファ２４２の空き容量(未使用記憶容量)が推定した１つのＧＯＰの映像データ量以上になるまで図４のステップ３０８にて待つ。
ステップ３０８が完了すると、ＴＳバッファ２２２に１つのＧＯＰの映像データの準備が完了して、映像バッファ２４２には１つのＧＯＰの映像データの出力に充分なバッファの空き領域が確保できたことになる。音声データに関しては、固定のビットレート(各フレームのエレメンタリストリームのサイズが一定)であれば、音声バッファ２５２に確保すべきバッファのサイズを特定することが可能である。しかし、音声データが可変のビットレート(各フレームのエレメンタリストリームのサイズが可変)の場合には、Ｉフレーム位置記憶部２６２に対応する記憶部が音声のＤＥＭＵＸ処理のために存在していないため音声バッファのサイズを推定することが不可能である。しかしながら、想定される範囲で極力大きなサイズを確保することにする。その理由は、音声データのビットレートが映像データのビットレートの１／１０程度かそれより小さいために、映像データと比較すれば音声データによるシステム全体へのメモリ使用量のインパクトは軽微のためである。
続いて、図４のステップ３１２で、多重化処理部２１０に１つのＧＯＰのデータ量のＤＥＭＵＸ処理を指示する。この時に、入力データが格納されたＴＳバッファ２２２の格納先アドレスとサイズ、出力データの格納先となる映像バッファ２４２の格納先アドレスと音声バッファ２５２の格納先アドレス、ＰＳＩ／ＳＩデータ記憶部２３０と映像管理情報記憶部２４４と音声管理情報記憶部２５４の格納先アドレスを指定する。
図４のステップ３１４では多重化処理部２１０でのＤＥＭＵＸ処理が完了したか否かが判定される。完了した判定されると、図４のステップ３１６でＴＳバッファ制御部２２０にＤＥＭＵＸ処理が完了したトランスポートストリームのデータの開放を指示する。その後、ファイル終端に到達した場合(ステップ３１８)、または、アプリケーションプログラム１７０より停止コマンドまたは一時停止コマンドを受信している場合(ステップ３２０)、ＤＥＭＵＸ処理を終了する。また、アプリケーションプログラム１７０から早送り、早戻し、スキップ、タイムサーチ、チャプタースキップ等のトリックプレイコマンドを受信している場合は、ステップ３２２とステップ３２６とでＤＥＭＵＸ処理位置記憶部２０２を指定時刻に変更する。しかし、アプリケーションプログラム１７０からトリックプレイコマンドを受信していない場合は、ステップ３２２とステップ３２４とでＤＥＭＵＸ処理位置記憶部２０２を次のＧＯＰの先頭タイムスタンプ(次のＩフレームのＰＴＳ)に変更する。
すなわち、図４のステップ３１８でのファイル終端に到達したか否かの判断と、ステップ３２０でのアプリケーションプログラム１７０から停止コマンドまたは一時停止コマンドの受信の有無の判断と、ステップ３２２でのトリックプレイコマンドの受信の有無の判断とが実行される。
≪マルチプレックス処理の制御フロー≫
図５は、図３に示した本発明の１つの実施の形態による多重化制御装置１００によるＭＵＸ処理の制御フローを説明する図である。
図５に示したトランスポートストリームを生成してストレージ１１０に格納するＭＵＸ処理は、下記のような特徴を有している。
すなわち、図５のＭＵＸ処理の処理(ステップ４１０)では、多重化制御装置１００は１つのＧＯＰに含まれる複数のフレームを単位とした処理を実行する。映像符号・復号部１３０のビデオエンコーダと音声符号・復号部１５０のオーディオエンコーダからの符号化データ、および、ＰＳＩ／ＳＩ制御部１８０が生成したＰＳＩ／ＳＩデータが多重化処理部２１０に入力され、ＭＵＸ処理によりトランスポートストリームが生成されてストレージ１１０に格納される。
このＭＵＸ処理の処理(ステップ４１０)の開始前に、多重化制処理量決定部２００により、ＭＵＸ処理を実行する準備が満足されているかを事前に判断する。ＭＵＸ処理実行の準備が満足されているかの事前判断は、映像バッファ２４２の蓄積状態と音声バッファ２５２の蓄積状態とＴＳバッファ２２２の蓄積状態を検証するものである(ステップ４００〜ステップ４０８)。
以下、図５に示す再生時のＭＵＸ処理の内容を詳細に説明する。
図５のステップ４００にて、映像バッファ制御部２４０からの１つのＧＯＰの映像データの映像バッファ２４２への蓄積完了通知を受信することによって、ＭＵＸ処理が開始される。
図５のステップ４０２では音声バッファ制御部２５０から音声バッフ記憶部２５２に蓄積済みの音声データ量とフレーム数とを取得し、ステップ４０３においてＭＵＸ処理で必要とする音声フレーム数に到達するのを待つものである。
図５のステップ４０４では、ＭＵＸ処理の後のトランスポートストリームのデータ量を算出する。ＤＥＭＵＸ処理の場合と異なり、図３に示す多重化処理部２１０自らがＭＵＸ処理を行うため、正確なデータ量の算出が可能である。すなわち、多重化制御装置１００は、トランスポートストリームのデータ量を、映像データ、音声データ、ＰＳＩ／ＳＩデータのマルチプレックスアルゴリズムに従って算出する。
図５のステップ４０６ではＴＳバッファ制御部２２０からＴＳバッファ２２２の空き容量(未使用記憶容量)を取得して、ステップ４０８ではＴＳバッファ２２２の空き容量がステップ４０４で算出したＭＵＸ処理の後のトランスポートストリームデータ量以上になるまで待つものである。
トランスポートストリームデータ量よりもＴＳバッファの空き容量が大きくなると、ステップ４１０にて多重化処理部２１０に対してＭＵＸ処理の後のトランスポートストリームデータ量分のＭＵＸ処理を指示する。この時に、入力データが格納された映像データの映像バッファ２４２の格納先アドレスとサイズ、音声データの音声バッファ２５２の格納先アドレスとサイズ、出力データの格納先となるＴＳバッファ２２２の格納先アドレス、ＰＳＩ／ＳＩデータ記憶部２３０と映像管理情報記憶部２４４と音声管理情報記憶部２５４の格納先アドレスを設定する。
図５のステップ４１２では、多重化処理部２１０によるＭＵＸ処理の完了を待つものである。処理が完了すると、ステップ４１４とステップ４１６とで映像バッファ制御部２４０と音声バッファ制御部２５０とに映像バッファ２４２と音声バッファ２５２のＭＵＸ処理済みのデータの開放を指示する。ステップ４１８にて、ストレージ１１０の記憶容量の不足となるか、規格や仕様で規定された最大記録サイズに到達すると、処理は終了する。ステップ４２０にてアプリケーションプログラム１７０よって停止コマンドか一時停止コマンドを受信すると、処理は終了する。
≪その他のデマルチプレックス処理の制御フロー≫
図６は、図３に示した本発明の１つの実施の形態による多重化制御装置１００によるその他のＤＥＭＵＸ処理の制御フローを説明する図である。
すなわち、図６に示す制御フローは、図４に示した制御フローのステップ３０６からステップ３１４までの処理を図６のステップ５０６からステップ５１４までの処理によって置換したものである。
また、図７は、図６に示す制御フローのステップ５０８のＤＥＭＵＸ処理１の内容を説明する図である。
図３に示した多重化制御装置１００を使用するストレージ１１０に格納されたトランスポートストリームの図７に示す再生時のＤＥＭＵＸ処理は、上述の図４と同様に下記のような特徴を有している。
すなわち、図７のＤＥＭＵＸ処理の処理(ステップ６００)では、多重化制御装置１００は１つのＧＯＰに含まれる複数のフレーム(ピクチャー)を単位とした処理を実行する。この処理によって、トランスポートストリームから１つのＧＯＰ分のビデオフレーム、および、複数のオーディオデータが生成され、映像符号・復号部１３０のビデオデコーダと音声符号・復号部１５０のオーディオデコーダに供給される。
このＤＥＭＵＸ処理の処理(ステップ６００)の開始前に、多重化処理量決定部２００がＤＥＭＵＸ処理を実行する準備が満足されているかを事前に判断する。ＤＥＭＵＸ処理実行の準備が満足されているかの事前判断は、ＴＳバッファ２２２の蓄積状態と映像バッファ２４２の蓄積状態を検証するものである(図６のステップ５０６)。
更に、図８は、図６に示す制御フローのステップ５１２のＤＥＭＵＸ処理２の内容を説明する図である。
図３に示した多重化制御装置１００を使用するストレージ１１０に格納されたトランスポートストリームの図８に示す再生時のＤＥＭＵＸ処理は、下記のような特徴を有している。
すなわち、図８のＤＥＭＵＸ処理の処理(ステップ７００)では、多重化制御装置１００はＴＳバッファ２２２に格納済みのトランスポートストリームのみの処理を実行する。この処理によって、トランスポートストリームから蓄積済みのトランスポートストリーム内に含まれるビデオデータ、および、オーディオデータが生成され、映像符号・復号部１３０のビデオデコーダと音声符号・復号部１５０のオーディオデコーダに供給される。
このＤＥＭＵＸ処理の処理(ステップ７００)の開始前に、多重化処理量決定部２００がＤＥＭＵＸ処理を実行する準備が満足されているかを事前に判断する。１つのＧＯＰより少ないデータ量でのＤＥＭＵＸ処理実行の準備が満足されているかの事前判断は、ＴＳバッファ２２２に蓄積済みのデータ量が１つのＧＯＰのデータ量よりも小さいと言う検証結果(図６のステップ５０６の“Ｎｏ”の結果)と、ＴＳバッファ２２２の実効蓄積データ量よりも映像バッファ２４２の空き容量が大きいと言う検証結果(図６のステップ５１０の“Ｙｅｓ”の結果)とを利用するものである。ステップ７０２にてステップ７００のＤＥＭＵＸ処理の実行の完了が確認されると、同一の１つのＧＯＰのＤＥＭＵＸ処理を行わなかった残りのトランスポートストリームデータがＴＳバッファ２２２に蓄積されるのを待ち(図８のステップ７０４)、更に、同一の１つのＧＯＰのＤＥＭＵＸ処理を行わなかった残りのトランスポートストリームデータ内に含まれる推定映像データ量以上に映像バッファ２４２に空き領域が確保されるのを待ち(図８のステップ７０６)、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリームデータのＤＥＭＵＸ処理を開始する(図８のステップ７０８)。
また、図９は、図６に示す制御フローのステップ５１４のＤＥＭＵＸ処理３の内容を説明する図である。
図３に示した多重化制御装置１００を使用するストレージ１１０に格納されたトランスポートストリームの図９に示す再生時のＤＥＭＵＸ処理は、下記のような特徴を有している。
すなわち、図９のＤＥＭＵＸ処理の処理(ステップ８００)では、多重化制御装置１００は１つのＧＯＰに含まれて映像バッファ２４２の空き容量に対応するデータ量のみの処理を実行する。この処理によって、トランスポートストリームから映像バッファ２４２の空き容量に対応するビデオデータおよびそのトランスポートストリーム内に含まれるオーディオデータが生成され、映像符号・復号部１３０のビデオデコーダと音声符号・復号部１５０のオーディオデコーダに供給される。
映像バッファ２４２の空き容量に対応するトランスポートストリームデータのＤＥＭＵＸ処理の処理(ステップ８００)の開始前に、多重化処理量決定部２００がＤＥＭＵＸ処理を実行する準備が満足されているかを事前に判断する。このＤＥＭＵＸ処理実行の準備が満足されているかの事前判断は、ＴＳバッファ２２２に蓄積済みのデータ量が１つのＧＯＰのデータ量よりも小さいと言う検証結果(図６のステップ５０６の“Ｎｏ”の結果)と、ＴＳバッファ２２２の実効蓄積データ量よりも映像バッファ２４２の空き容量が小さいと言う検証結果(図６のステップ５１０の“Ｎｏ”の結果)とを利用するものである。ステップ８０２にてステップ８００のＤＥＭＵＸ処理の実行の完了が確認されると、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリームデータがＴＳバッファ２２２に蓄積されるのを待ち(図９のステップ８０４)、更に、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリーム内に含まれる推定映像データのデータ量以上に映像バッファ２４２に空き領域が確保されるのを待ち(図９のステップ８０６)、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリームデータのＤＥＭＵＸ処理を開始する(図９のステップ８０８)。
以下に、図６から図９までに示すＤＥＭＵＸ処理の内容を、詳細に説明する。
図６のステップ５０６では、ステップ３０２にて取得したＴＳバッファ２２２に蓄積済みのＴＳデータ量とステップ３００にて取得した１つのＧＯＰのデータ量とが比較される。また、ステップ３０４で取得した映像バッファの空き容量(未使用記憶容量)とステップ３００で取得した１つのＧＯＰの映像データ量とが比較される。ステップ３０２にて取得したＴＳバッファ２２２に蓄積済みのＴＳデータ量がステップ３００にて取得した１つのＧＯＰのデータ量以上となること、更にステップ３０４で取得した映像バッファの空き容量(未使用記憶容量)がステップ３００で取得した１つのＧＯＰの映像データ量以上となることの２つの条件が成立する場合に、ステップ５０８のＤＥＭＵＸ処理１が実行される。
図６の制御フローのステップ５０８のＤＥＭＵＸ処理１に対応する図７に示す処理のステップ６００では、図４のステップ３１２と同様に、多重化処理部２１０に１つのＧＯＰのデータ量のＤＥＭＵＸ処理を指示する。この時に、入力データが格納されたＴＳバッファ２２２の格納先アドレスとサイズ、出力データの格納先となる映像バッファ２４２の格納先アドレスと音声バッファ２５２の格納先アドレス、ＰＳＩ／ＳＩデータ記憶部２３０と映像管理情報記憶部２４４と音声管理情報記憶部２５４の格納先アドレスを指定する。
図７に示す処理のステップ６０２では、図４のステップ３１４と同様に、多重化処理部２１０でのＤＥＭＵＸ処理が完了したか否かが判定される。完了した判定されると、図４のステップ３１６と全く同様に図６のステップ３１６でＴＳバッファ制御部２２０にＤＥＭＵＸ処理が完了したトランスポートストリームデータの開放を指示する。図６のステップ３１８、ステップ３２０、ステップ３２２、ステップ３２４、ステップ３２６のそれぞれの処理は、図４と全く同一であるので、説明を省略する。
図６のステップ５０６で、上述した２つの条件が成立しない場合に、図６のステップ５１０の処理が実行される。すなわち、図６のステップ５１０の処理では、最初に、ステップ３０２にて取得したＴＳバッファ２２２に蓄積済みのＴＳデータ量STSDからＴＳヘッダを除去した実効蓄積データ量ESDが下記(式２)によって計算される。
ESD＝STSD×(Size_TS_Payload／Size_TS_Packet)…(式２)
ここで、ESDは実効蓄積データ量を示し、STSDはＴＳバッファ２２２に蓄積済みのＴＳデータ量を示し、Size_TS_Payloadはトランスポートストリームのペイロードサイズを示し、Size_TS_Packetはトランスポートストリームのパケットサイズを示している。
また、図６のステップ５１０の処理では、次に、上記(式２)によって計算されたＴＳバッファ２２２の実効蓄積データ量ESDよりも図４のステップ３０４で取得した映像バッファ２４２の空き容量(未使用記憶容量)VCVBMが大きいか否かが判定される。
図６のステップ５１０の処理によって、上記(式２)のＴＳバッファ２２２の実効蓄積データ量ESDよりも図４のステップ３０４で取得した映像バッファ２４２の空き容量VCVBMの方が大きいと判定されると、ステップ５１２のＤＥＭＵＸ処理２が実行される。
図６の制御フローのステップ５１２のＤＥＭＵＸ処理２に対応する図８に示す処理では、ステップ７００で多重化処理部２１０にＴＳバッファ２２２に蓄積済みのトランスポートストリームのデータに関するＤＥＭＵＸ処理を指示する。
図８のステップ７０２では、多重化処理部２１０でのＤＥＭＵＸ処理が完了したか否かが判定される。
図８のステップ７０２で処理が完了した判定されると、図８のステップ７０４において、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリームデータがＴＳバッファ２２２に蓄積されるまで待つものである。尚、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリームデータ量は、同一の１つのＧＯＰのトランスポートストリームデータ量からＴＳバッファ２２２に蓄積済みのトランスポートストリームデータを差し引いたものとなる。
その後、図８のステップ７０６では、映像バッファ２４２に同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていないトランスポートストリーム内に含まれる推定映像データ量分の空き容量(未使用記憶容量)が確保されるのを待つものである。すなわち、図８のステップ７０６では、ステップ３００で推定した１つのＧＯＰの映像データ量から上記(式２)によって計算されるステップ３０２でＴＳバッファ２２２に蓄積済みのＴＳデータの実効蓄積データ量ESDを差し引いた残りの推定映像データ量以上に、映像バッファ２４２に空き容量(未使用記憶容量)が確保されるまで待つものである。
図８のステップ７０６で映像バッファ２４２に必要な空き容量が確保されると、図８のステップ７０８において、多重化処理部２１０に残りのトランスポートストリームのＤＥＭＵＸ処理を指示する。残りのトランスポートストリームデータ量は、上述したように、ステップ３００で取得した１つのＧＯＰが含まれるトランスポートストリームデータ量からステップ３０２で取得されるＴＳバッファ２２２に蓄積済みのトランスポートストリームデータ量を差し引いたものである。この時に、入力データが格納されたＴＳバッファ２２２の格納先アドレスとサイズ、出力データの格納先となる映像バッファ２４２の格納先アドレスと音声バッファ２５２の格納先アドレス、ＰＳＩ／ＳＩデータ記憶部２３０と映像管理情報記憶部２４４と音声管理情報記憶部２５４の格納先アドレスを指定する。
図８のステップ７１０では多重化処理部２１０でのＤＥＭＵＸ処理が完了したか否かが判定される。完了した判定されると、図６のステップ３１６に処理が移行して、ＴＳバッファ制御部２２０にＤＥＭＵＸ処理が完了したトランスポートストリームのデータの開放を指示する。
図６のステップ５１０の処理によって、上記(式２)のＴＳバッファ２２２の実効蓄積データ量ESDよりも図４のステップ３０４で取得した映像バッファ２４２の空き容量VCVBMの方が小さいと判定されると、ステップ５１４のＤＥＭＵＸ処理３が実行される。
図６の制御フローのステップ５１４のＤＥＭＵＸ処理３に対応する図９に示す処理では、ＴＳバッファ２２２に蓄積済みのＴＳデータのうち下記(式３)により計算されるデータ量V_demuxのみのＤＥＭＵＸ処理をステップ８００で多重化処理部２１０に指示する。
V_demux＝Round(VCVBM／Size_TS_Payload)×(Size_TS_Packet)…(式３)
ここで、V_demuxは多重化処理部２１０に指示されるＤＥＭＵＸ処理データ量を示し、Roundは小数点第一位以下を切り捨てる演算を示し、VCVBMは映像バッファ２４２の空き容量を示し、Size_TS_Payloadはトランスポートストリームのペイロードサイズを示し、Size_TS_Packetはトランスポートストリームのパケットサイズを示している。
図９のステップ８０２では多重化処理部２１０でのＤＥＭＵＸ処理が完了したか否かが判定される。
図９のステップ８０２で処理が完了した判定されると、図９のステップ８０４において、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りの映像データがＴＳバッファ２２２に蓄積されるまで待つものである。尚、同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていない残りのトランスポートストリームデータ量は、同一の１つのＧＯＰのトランスポートストリームデータ量から上記(式３)により計算されるＤＥＭＵＸ処理が完了したトランスポートストリームデータ量を差し引いたものとなる。
その後、図９のステップ８０６では、映像バッファ２４２に同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていないトランスポートストリーム内に含まれる推定映像データ量分の空き容量(未使用記憶容量)が確保されるのを待つものである。すなわち、図９のステップ８０６では、ステップ３００で推定した１つのＧＯＰの映像データ量から上記(式３)によって計算されるＤＥＭＵＸ処理が完了したデータを差し引いた残りのトランスポートストリームデータ量以上に、映像バッファ２４２に空き容量(未使用記憶容量)が確保されるまで待つものである。
図９のステップ８０６で映像バッファ２４２に必要な空き容量が確保されると、図８のステップ７０８において、多重化処理部２１０に残りの映像データのＤＥＭＵＸ処理を指示する。残りの映像データは、上述したように、ステップ３００で推定した１つのＧＯＰの映像データ量から次式(式４)によって計算される。
LTSD＝(Diff_Add_Ｉframe―V_demux)×(Size_TS_Payload
／Size_TS_Packet)…(式４)
第１項の(Diff_Add_I_frame―V_demux)が同一の１つのＧＯＰでＤＥＭＵＸ処理を行っていないトランスポートストリームデータ量であり、ステップ８０４で蓄積するデータ量と等価である。これに(Size_TS_Payload／Size_TS_Packet)を掛けることで、映像データが格納されているペイロードのデータ分に変換する。
また、多重化処理部２１０にＤＥＭＵＸ処理を指示する際、入力データが格納されたＴＳバッファ２２２の格納先アドレスとサイズ、出力データの格納先となる映像バッファ２４２の格納先アドレスと音声バッファ２５２の格納先アドレス、ＰＳＩ／ＳＩデータ記憶部２３０と映像管理情報記憶部２４４と音声管理情報記憶部２５４の格納先アドレスを指定する。
図９のステップ８１０では多重化処理部２１０でのＤＥＭＵＸ処理が完了したか否かが判定される。完了した判定されると、図６のステップ３１６に処理が移行して、ＴＳバッファ制御部２２０にＤＥＭＵＸ処理が完了したトランスポートストリームのデータの開放を指示する。
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
すなわち、上述した本発明の種々の実施の形態では、デジタルビデオカメラシステムによる動画撮影を説明したが、それ以外の処理にも本発明を適用することが可能である。
図１１は、図２のシステムにテレビ受信用のチューナー９００を接続した構成を示す図である。
図２から図９の実施の形態においては、デジタルビデオカメラのシステムを例にして、説明した。しかし、本発明はそれに限定されるものではなく、図１１に示すように、チューナー９００で受信したＴＳを多重化制御装置１００に入力して、直接ストレージ１１０に記録することが可能であり、また映像コーデック１３０および音声コーデック１５０でトランスコードした後にストレージ１１０に記録することも可能である。
図１２は、図１１のシステムが独立したコプロセッサシステム１０００であることを想定して、このコプロセッサシステム１０００がホストシステム２０００のホストプロセッサ９００と接続された構成を示す図である。
図１２の構成においてもホストプロセッサ２０００側に接続されたストレージ９１０内のコンテンツをコプロセッサシステム１０００の多重化制御装置１００に読み込んでＤＥＭＵＸ処理、再生処理およびホストプロセッサ２０００側に接続されたカメラ９４０とマイク９６０の取得データを画像処理部１４２および音声処理部１６２に入力して、多重化制御装置１００を使用したＭＵＸ処理、記録処理を実現することが可能である。
図１は、本発明の１つの実施の形態による携帯電話のハードウェア構成を示す図である。 図２は、本発明の１つの実施の形態による携帯電話端末に内蔵されたマルチプレクサー／デマルチプレクサーを実現する多重化制御装置の構成を示す図である。 図３は、図２に示した本発明の１つの実施の形態による多重化制御装置の内部構成を示す図である。 図４は、図３に示した本発明の１つの実施の形態による多重化制御装置によるデマルチプレックス処理の制御フローを説明する図である。 図５は、図３に示した本発明の１つの実施の形態による多重化制御装置によるマルチプレックス処理の制御フローを説明する図である。 図６は、図３に示した本発明の１つの実施の形態による多重化制御装置によるその他のデマルチプレックス処理の制御フローを説明する図である。 図７は、図６に示す制御フローのステップ５０８のデマルチプレックス処理(ＤＥＭＵＸ処理１)の内容を説明する図である。 図８は、図６に示す制御フローのステップ５１２のデマルチプレックス処理(ＤＥＭＵＸ処理２)の内容を説明する図である。 図９は、図６に示す制御フローのステップ５１４のデマルチプレックス処理(ＤＥＭＵＸ処理３)の内容を説明する図である。 図１０は、動画符号化方式における階層構造を説明する図である。 図１１は、図２のシステムにテレビ受信用のチューナーを接続した構成を示す図である 図１２は、図１１のシステムが独立したコプロセッサシステムであることを想定して、このコプロセッサシステムがホストシステムのホストプロセッサと接続された構成を示す図である。
符号の説明
１００ 多重化制御装置
１１０ ストレージ
１３０ 映像符号・復号部
１４０ カメラ
１４２ 画像処理部
１４４ ディスプレイ
１５０ 音声符号・復号部
１６０ マイク
１６２ 音声処理部
１６４ スピーカー
１８０ ＰＳＩ／ＳＩ制御部
２００ 多重化処理量決定部
２０２ ＤＥＭＵＸ処理位置記憶部
２１０ 多重化処理部
２２０ ＴＳバッファ制御部
２２２ ＴＳバッファ
２３０ ＰＳＩ／ＳＩ制御部
２４０ 映像バッファ制御部
２４２ 映像バッファ
２５０ 音声バッファ制御部
２５２ 音声バッファ
２６０ Ｉフレーム位置検出部
２６２ Ｉフレーム位置記憶部

Claims (18)

  1. トランスポートストリームバッファと、多重化処理部と、映像バッファと、音声バッファとを具備して、マルチプレックス処理を実行する多重化制御装置であって、
    前記映像バッファには符号化映像データが蓄積可能であり、前記音声バッファには符号化音声データが蓄積可能であり、
    前記多重化処理部には前記映像バッファと前記音声バッファとから前記符号化映像データと前記符号化音声データとがそれぞれ供給されることによって、前記多重化処理部は前記符号化映像データと前記符号化音声データとのマルチプレックス処理を実行して、
    前記多重化処理部による前記マルチプレックス処理によって生成され動画圧縮符号化されたトランスポートストリームデータは、前記トランスポートストリームバッファに蓄積可能であり、
    前記多重化処理部への前記符号化映像データと前記符号化音声データの供給は、前記動画圧縮符号化によって処理される複数フレームを単位として実行され、
    前記マルチプレックス処理の実行の開始前に、前記マルチプレックス処理の実行の準備が満足されているか否かが前記多重化制御装置の内部で判定され、
    前記実行の準備が満足されているか否かの判定は、前記映像バッファの前記符号化映像データの蓄積状態の確認と前記音声バッファの前記符号化音声データの蓄積状態の確認と前記トランスポートストリームバッファの前記トランスポートストリームデータの蓄積状態との確認によって実行されることを特徴とする多重化制御装置。
  2. 前記マルチプレックス処理によって処理される前記複数のフレームは、動画符号化方式での画面内予測符号化ピクチャーであるＩフレームと順方向予測符号化ピクチャーであるＰフレームと双方向予測符号化ピクチャーであるＢフレームとを含み、
    前記複数のフレームは、前記Ｉフレームから次のＩフレームの直前のフレームまでを少なくとも含む符号化映像データであることを特徴とする請求項１に記載の多重化制御装置。
  3. 前記複数のフレームは１つのグループオブピクチャーに略対応していることを特徴とする請求項２に記載の多重化制御装置。
  4. 前記映像バッファに蓄積可能な前記符号化映像データと前記音声バッファに蓄積可能な前記符号化音声データとは、デジタルビデオカメラシステムのカメラにより取得される画像データとマイクにより取得される音声データとにそれぞれ基づくことを特徴とする請求項３に記載の多重化制御装置。
  5. 前記カメラにより取得される前記画像データは映像符号・復号部によって前記符号化映像データに変換され、前記マイクにより取得される前記音声データは音声符号・復号部によって前記符号化音声データに変換されることを特徴とする請求項４に記載の多重化制御装置。
  6. 放送付随情報としての番組情報が格納可能であるデータ記憶部を更に具備して、
    前記多重化処理部には前記映像バッファと前記音声バッファから前記符号化映像データと前記符号化音声データとがそれぞれ供給されると伴に前記データ記憶部から前記番組情報が供給されることによって、前記多重化処理部は前記符号化映像データと前記符号化音声データと前記番組情報とのマルチプレックス処理を実行することを特徴とする請求項３に記載の多重化制御装置。
  7. 前記実行の準備が満足されているか否かの前記判定は、前記多重化制御装置の内部の判定部で判定されることを特徴とする請求項１乃至請求項６のいずれかに記載の多重化制御装置。
  8. トランスポートストリームバッファと、多重化処理部と、映像バッファと、音声バッファとを具備して、デマルチプレックス処理を実行する多重化制御装置であって、
    前記多重化処理部によるデマルチプレックス処理が実行される動画圧縮符号化されたトランスポートストリームデータは、前記トランスポートストリームバッファに蓄積可能であり、
    前記多重化処理部は前記トランスポートストリームバッファに蓄積された前記トランスポートストリームデータの前記デマルチプレックス処理を実行することによって、符号化映像データと符号化音声データとを生成可能であり、
    前記映像バッファには前記多重化処理部により生成される前記符号化映像データが蓄積可能であり、前記音声バッファには前記多重化処理部により生成される前記復符号化音声データが蓄積可能であり、
    前記多重化処理部による前記デマルチプレックス処理は、前記動画圧縮符号化によって処理された複数のフレームを単位として実行され、
    前記デマルチプレックス処理の実行の開始前に、前記デマルチプレックス処理の実行の準備が満足されているか否かが前記多重化処理部内部で判断され、
    前記実行の前記準備が満足されているか否かの判断は、前記トランスポートストリームバッファの前記トランスポートストリームデータの蓄積状態との確認と前記映像バッファの前記復号映像データの蓄積状態の確認とによって実行されることを特徴とする多重化制御装置。
  9. 前記デマルチプレックス処理によって処理される前記複数のフレームは、動画符号化方式での画面内予測符号化ピクチャーであるＩフレームと前方向予測符号化ピクチャーであるＰフレームと双方向予測符号化ピクチャーであるＢフレームとを含み、
    前記複数のフレームは、前記Ｉフレームから次のＩフレームの直前のフレームまでを少なくとも含む符号化映像データであることを特徴とする請求項８に記載の多重化制御装置。
  10. 前記複数のフレームは１つのグループオブピクチャーに略対応していることを特徴とする請求項９に記載の多重化制御装置。
  11. 前記実行の前記準備が完全には満足されていないと判断された場合でも、前記トランスポートストリームバッファに蓄積済みの前記トランスポートストリームデータのデータ量が前記１つのグループオブピクチャーのデータ量よりも少ないとの確認と、前記トランスポートストリームバッファの実効的な蓄積データ量よりも前記映像バッファの空き容量が大きいとの確認とによって、前記トランスポートストリームバッファに蓄積済みの前記トランスポートストリームデータのみのデマルチプレックス処理の実行が開始されることを特徴とする請求項１０に記載の多重化制御装置。
  12. 前記トランスポートストリームバッファに蓄積済みの前記トランスポートストリームデータのみの前記デマルチプレックス処理の前記実行の完了の後、前記１つのグループオブピクチャーの残りのトランスポートストリームデータが前記トランスポートストリームバッファに蓄積されるのを待ち、更に前記映像バッファに必要な空き容量が確保されるのを待って、前記トランスポートストリームバッファに蓄積された前記残りのトランスポートストリームデータのデマルチプレックス処理の実行が開始されることを特徴とする請求項１１に記載の多重化制御装置。
  13. 前記実行の前記準備が完全には満足されていないと判断された場合でも、前記トランスポートストリームバッファに蓄積済みの前記トランスポートストリームデータのデータ量が前記１つのグループオブピクチャーのデータ量よりも少ないとの確認と、前記トランスポートストリームバッファの実効的な蓄積データ量よりも前記映像バッファの空き容量が小さいとの確認とによって、前記映像バッファの前記空き容量に対応する前記トランスポートストリームバッファに蓄積済みのトランスポートストリームデータのみのデマルチプレックス処理の実行が開始されることを特徴とする請求項１２に記載の多重化制御装置。
  14. 前記トランスポートストリームバッファに蓄積済みの前記映像バッファの前記空き容量に対応する前記トランスポートストリームデータのみの前記デマルチプレックス処理の前記実行の完了の後に、前記１つのグループオブピクチャーの残りのトランスポートストリームデータが前記トランスポートストリームバッファに蓄積されるのを待ち、前記映像バッファに必要な空き容量が確保されるのを待ち、前記トランスポートストリームバッファに蓄積された前記残りのトランスポートストリームデータのデマルチプレックス処理の実行が開始されることを特徴とする請求項１３に記載の多重化制御装置。
  15. 前記多重化処理部によって生成される前記符号化映像データと前記符号化音声データとは映像符号・復号部と音声符号・復号部とによって復号映像データと復号音声データとにそれぞれ変換されることを特徴とする請求項１４に記載の多重化制御装置。
  16. 前記トランスポートストリームバッファに蓄積可能な前記トランスポートストリームデータは、携帯システムのストレージから取得されるデータに基づくことを特徴とする請求項１５に記載の多重化制御装置。
  17. 放送付随情報としての番組情報が格納可能であるデータ記憶部を更に具備して、
    前記多重化処理部は前記トランスポートストリームバッファに蓄積された前記トランスポートストリームデータの前記デマルチプレックス処理を実行することによって、前記符号化映像データと前記符号化音声データとを生成可能である伴に前記番組情報を生成可能であり、
    前記データ記憶部には前記多重化処理部により生成される前記番組情報が蓄積可能である請求項１５に記載の多重化制御装置。
  18. 前記実行の準備が満足されているか否かの前記判定は、前記多重化制御装置の内部の判定部で判定されることを特徴とする請求項８乃至請求項１５のいずれかに記載の多重化制御装置。
JP2008277834A 2008-10-29 2008-10-29 多重化制御装置 Pending JP2010109529A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008277834A JP2010109529A (ja) 2008-10-29 2008-10-29 多重化制御装置
US12/578,610 US20100104013A1 (en) 2008-10-29 2009-10-14 Multiplexing control unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008277834A JP2010109529A (ja) 2008-10-29 2008-10-29 多重化制御装置

Publications (2)

Publication Number Publication Date
JP2010109529A true JP2010109529A (ja) 2010-05-13
JP2010109529A5 JP2010109529A5 (ja) 2011-12-08

Family

ID=42117473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008277834A Pending JP2010109529A (ja) 2008-10-29 2008-10-29 多重化制御装置

Country Status (2)

Country Link
US (1) US20100104013A1 (ja)
JP (1) JP2010109529A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011050245A1 (de) 2010-05-11 2011-11-17 Denso Corporation Folgepol-Permanentmagnetmotor

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI447728B (zh) * 2011-03-03 2014-08-01 Mstar Semiconductor Inc 動態隨機存取記憶體之控制方法及控制器
US20160048701A1 (en) * 2014-08-18 2016-02-18 Spatial Digital Systems, Inc. Enveloping for remote Digital Camera
US20160048697A1 (en) * 2014-08-18 2016-02-18 Spatial Digital Systems, Inc. Enveloping and de-enveloping for Digital Photos via Wavefront Muxing
US20160048371A1 (en) * 2014-08-18 2016-02-18 Spatial Digital Systems, Inc. Enveloping via Digital Audio
US10264052B2 (en) * 2014-08-18 2019-04-16 Spatial Digital Systems, Inc. Enveloping for device independence
JP6993323B2 (ja) * 2016-04-22 2022-01-13 興和株式会社 マルチプレクサ、及び該マルチプレクサを備えた撮影装置
CN113301424B (zh) * 2021-05-21 2023-07-11 北京字跳网络技术有限公司 播放控制方法、设备、存储介质及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998043423A1 (fr) * 1997-03-25 1998-10-01 Sony Corporation Procede et dispositif generant un flux d'acheminement et dispositif de transmission de programme
JP2000152236A (ja) * 1998-11-18 2000-05-30 Hitachi Ltd 動画像符号化装置および多重化方法とその装置および記録再生装置
JP2004228627A (ja) * 2003-01-20 2004-08-12 Nec Micro Systems Ltd データ処理装置、データ再生装置、データ処理方法及びデータ再生方法
JP2005101860A (ja) * 2003-09-24 2005-04-14 Matsushita Electric Ind Co Ltd メディア情報処理方法
JP2006217634A (ja) * 2006-02-13 2006-08-17 Sony Corp 信号再生装置及び方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6104754A (en) * 1995-03-15 2000-08-15 Kabushiki Kaisha Toshiba Moving picture coding and/or decoding systems, and variable-length coding and/or decoding system
JP2001273723A (ja) * 2000-03-28 2001-10-05 Matsushita Electric Ind Co Ltd ハードディスク装置、媒体及び情報集合体
JP2001285234A (ja) * 2000-04-04 2001-10-12 Sony Corp データ多重化装置およびデータ多重化方法、並びに記録媒体
US7224837B2 (en) * 2000-10-11 2007-05-29 Screenpeaks Ltd. Digital video broadcasting
KR100678891B1 (ko) * 2004-07-30 2007-02-05 삼성전자주식회사 Ａｖ데이터 수신시 버퍼량을 컨텐츠 속성에 따라탄력적으로 조절하는 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998043423A1 (fr) * 1997-03-25 1998-10-01 Sony Corporation Procede et dispositif generant un flux d'acheminement et dispositif de transmission de programme
JP2000152236A (ja) * 1998-11-18 2000-05-30 Hitachi Ltd 動画像符号化装置および多重化方法とその装置および記録再生装置
JP2004228627A (ja) * 2003-01-20 2004-08-12 Nec Micro Systems Ltd データ処理装置、データ再生装置、データ処理方法及びデータ再生方法
JP2005101860A (ja) * 2003-09-24 2005-04-14 Matsushita Electric Ind Co Ltd メディア情報処理方法
JP2006217634A (ja) * 2006-02-13 2006-08-17 Sony Corp 信号再生装置及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011050245A1 (de) 2010-05-11 2011-11-17 Denso Corporation Folgepol-Permanentmagnetmotor

Also Published As

Publication number Publication date
US20100104013A1 (en) 2010-04-29

Similar Documents

Publication Publication Date Title
JP2010109529A (ja) 多重化制御装置
JP6721069B2 (ja) 画像処理装置および方法
WO2013061525A1 (ja) 放送受信装置、再生装置、放送通信システム、放送受信方法、再生方法およびプログラム
WO2010001609A1 (ja) 符号化ストリーム再生装置及び符号化ストリーム再生方法
JP2008011404A (ja) コンテンツ処理装置及びコンテンツ処理方法
WO2004098170A2 (en) Processing multiple encrypted transport streams
US7515207B2 (en) Television broadcast receiving apparatus, program information processing method and program information processing program
JP2005175997A (ja) 復号化装置、電子機器、コンピュータ、復号化方法、プログラム及び記録媒体
US20180176580A1 (en) Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
JP2004208305A (ja) オーディオ／ビデオ復号方法および装置、ビデオドライバ回路およびそれを組み込んでいるデコーダボックス
US8675140B2 (en) Playback apparatus for playing back hierarchically-encoded video image data, method for controlling the playback apparatus, and storage medium
US8019202B2 (en) Content reproduction appratus, content reproduction method, and content reproduction system with varied-speed reproduction requests
JP2017520940A (ja) 階層符号化されたコンテンツを多重化するための方法および装置
JP4357449B2 (ja) 録画再生装置の制御方法
KR20060113522A (ko) 디지털 방송수신기의 비디오복호기 초기화장치 및 방법
US7446819B2 (en) Apparatus and method for processing video signals
JP4366038B2 (ja) テレビジョン放送処理装置及びテレビジョン放送処理装置の制御方法
US7746407B2 (en) Apparatus and method for storing data in a digital broadcasting receiver
US20080317434A1 (en) Information recording/reproducing apparatus
JP2005303561A (ja) 移動体端末装置
US10306298B2 (en) Image processing apparatus and control method thereof
US7505591B2 (en) Personal video recorder and method for controlling thereof
JP2012015722A (ja) 半導体集積回路およびその動作方法
KR100755849B1 (ko) 다른 형식의 복수개의 압축 포맷 데이터를 저장하는영상기기 및 그 제어방법
KR100843405B1 (ko) 디지털 방송 수신기 및 수신 방법

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100527

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111020

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111020

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130516