JP2004173118A - 音声画像多重化データ生成装置と再生装置および動画像復号化装置 - Google Patents
音声画像多重化データ生成装置と再生装置および動画像復号化装置 Download PDFInfo
- Publication number
- JP2004173118A JP2004173118A JP2002338673A JP2002338673A JP2004173118A JP 2004173118 A JP2004173118 A JP 2004173118A JP 2002338673 A JP2002338673 A JP 2002338673A JP 2002338673 A JP2002338673 A JP 2002338673A JP 2004173118 A JP2004173118 A JP 2004173118A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- audio
- data
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 claims description 74
- 238000013500 data storage Methods 0.000 claims description 59
- 238000006243 chemical reaction Methods 0.000 claims description 49
- 239000013598 vector Substances 0.000 claims description 25
- 230000009466 transformation Effects 0.000 claims description 22
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 239000013589 supplement Substances 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 15
- 230000003213 activating effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 231100000989 no adverse effect Toxicity 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/26616—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for merging a unicast channel into a multicast channel, e.g. in a VOD application, when a client served by unicast channel catches up a multicast channel to save bandwidth
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64784—Data processing by the network
- H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Abstract
【課題】音声画像多重化データの再生を、ソフトウェア処理で全て実現する生システムにおいて、ＣＰＵの処理能力により、リアルタイム再生が困難になり、音声／画像データの同期確立が実現できない。
【解決手段】音声画像多重化データ生成装置は、画像データより小さいフレームレートで符号化された予備画像データを、予備画像符号化部１０４と予備画像データ格納部１０８を経て音声／画像データと共に多重化する。音声画像多重化データ再生装置は、画像復号化処理が所定の時間内に完了しなかった場合、予備画像データの復号化を行い、画像復号化処理が間に合うようになれば通常の画像データの復号化処理を行う。このように、フレームレートの小さい予備画像データを多重化しておくことにより、リアルタイム再生が困難になった場合の画像の乱れを最小限に抑え、音声／画像データの同期確立を回復させることができる。
【選択図】 図１
【解決手段】音声画像多重化データ生成装置は、画像データより小さいフレームレートで符号化された予備画像データを、予備画像符号化部１０４と予備画像データ格納部１０８を経て音声／画像データと共に多重化する。音声画像多重化データ再生装置は、画像復号化処理が所定の時間内に完了しなかった場合、予備画像データの復号化を行い、画像復号化処理が間に合うようになれば通常の画像データの復号化処理を行う。このように、フレームレートの小さい予備画像データを多重化しておくことにより、リアルタイム再生が困難になった場合の画像の乱れを最小限に抑え、音声／画像データの同期確立を回復させることができる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、音声画像多重化データ生成装置および音声画像多重化データ再生装置に関するものである。
【０００２】
【従来の技術】
近年、デジタルＡＶ機器では、音声動画像といったマルチメディアデータの録画／再生を実現するマルチメディアデータ多重化技術が必須であり、ＡＳＦ（Ａｄｖａｎｃｅｄ Ｓｔｒｅａｍｉｎｇ Ｆｏｒｍａｔ ）やＭＰＥＧ−４ＭＰ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ
４）など様々な規格が存在する。
【０００３】
マルチメディア多重化技術において、音声／画像データを多重化する音声画像多重化技術では、音声／画像データ１フレーム毎にＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ ）と呼ばれる再生時刻／表示時刻を同期情報として付加して、多重化データを生成する。一方、多重化されたデータを再生する場合は、多重化データを音声／画像データおよび同期情報に多重分離し、同期情報のＰＴＳを元に音声／画像データの再生／表示処理を行うことによって、音声画像同期再生を実現する。
【０００４】
図１９に従来の音声画像多重化データ生成装置、図２０に従来の音声画像多重化データ、図２１に従来の音声画像多重化データ再生装置を示す（例えば、特許文献１など）。
従来の音声画像多重化生成装置は、マイクＭＩから入力された音声データを符号化する音声符号化部１９０１と、符号化された音声データを格納する音声データ格納部１９０４と、カメラＣＡ入力された画像データを符号化する画像符号化部１９０３と、符号化された画像データを格納する画像データ格納部１９０６と、音声データと画像データを同期させるための同期情報を作成する同期情報作成部１９０２と、同期情報を格納する同期情報格納部１９０５と、音声データ格納部１９０４に格納されている音声データ，画像データ格納部１９０６に格納されている画像データ，同期情報格納部１９０５に格納されている同期情報とを多重化する音声画像多重化部１９０７で構成されている。
【０００５】
この従来の音声画像多重化データ生成装置では、符号化された音声データ、画像データそれぞれに同期情報（ＰＴＳ）を付加して多重化を行う。多重化されたデータの例を図２０に示す。
【０００６】
なお、多重化データによって、同期情報が各音声データ／画像データのヘッダとして付加されている場合や、一箇所に全ての音声データ／画像データの同期情報がまとめて格納されている場合など、多重化の方法は様々である。
【０００７】
一方、従来の音声画像多重化データ再生装置は、図２１に示すように、多重化データを音声データ，画像データ，同期情報とに分離する音声画像多重分離部２１０１と、多重分離された音声データを格納する音声データ格納部２１０２と、多重分離された画像データを格納する画像データ格納部２１０４と、多重分離された同期情報を格納する同期情報格納部２１０３と、音声データを復号化する音声復号化部２１０５と、画像データを復号化する画像復号化部２１０７と、音声／画像データの同期情報に基づいて音声復号化部２１０５と画像復号化部２１０７とを起動させる同期制御部２１０６とから構成されている。音声復号化部２１０５で復号化された信号はスピーカＳＰで再生され、画像復号化部２１０７で復号化された信号はディスプレイＤＰで再生される。
【０００８】
このように従来の音声画像多重データ再生装置では、多重分離により得られた同期情報を元に、音声復号化部２１０５、画像復号化部２１０７を実行し、音声データ，画像データの同期を確立して再生を行う。
【特許文献１】
特許第３２９５２０４号
【０００９】
【発明が解決しようとする課題】
音声画像多重化データ再生装置を全てソフトウェア処理で実現する場合に、ＣＰＵの処理能力に限界があるため、リアルタイムでの音声と画像の同期再生が困難になる。
【００１０】
また、複数のアプリケーションが同時に実行される場合、音声画像多重化データ再生装置とは別の装置あるいは状態に遷移することにより、多重分離処理や各復号処理が所定の時間内に完了できずに、リアルタイムでの音声と画像の同期再生が困難になる。
【００１１】
特に、ソフトウェア処理で実現する場合には、画像復号化部２１０７の処理量が多くかかる。リアルタイムでの同期再生が困難になると、画像データの復号処理を中断し、その画像データの表示をしない（間引く）という対策が取られている場合がある。しかし、基本的に画像データは前フレームの画像データの差分画像であるため、画像復号処理が間に合わなかった画像データ１フレームのみ間引くことが出来ない。間引いたとしても、次のフレームの画像データに乱れが発生する。したがって、結果的に次の基準画像までの複数フレームの画像データを間引くことになり、動画像再生の不連続さが顕著となる。
【００１２】
本発明は、ソフトウェア処理で音声画像多重化データの再生を行う場合に、動画像の復号化処理が所定の時間内に完了しなかったときに発生する音声画像の同期の乱れ、および動画像再生の乱れを最小限に抑えることができる音声画像多重化データ生成装置と再生装置、および動画像復号化装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
前記課題を解決するために、本発明の音声画像多重化データ生成装置は、従来の構成に、入力された画像データを、画像符号化部よりも小さいフレームレートで符号化して予備画像データを作成する予備画像符号化部と、予備画像データを格納する予備画像データ格納部を備える。
【００１４】
また、本発明の音声画像多重化データ再生装置は、従来の構成に、多重化されたデータから予備画像データを多重分離し、予備画像データを格納する予備画像データ格納部と、画像データと予備画像データのどちらの復号化を行うかを選択する画像データ選択部を備える。
【００１５】
この音声画像多重化データ生成装置では、通常のフレームレートで符号化された画像データと、より低いフレームレートで符号化された予備画像データの２種類の画像データを多重化する。音声画像多重化データ再生装置では、通常のフレームレートの画像データを復号化している時に、何らかの原因で所定の時間内に画像復号化処理が完了しなかった場合、予備画像として多重化していたフレームレートの低い予備画像データを復号化する。また、画像復号化部が所定の時間内に完了するまで、予備画像データの復号化を継続する。このように、あらかじめフレームレートの低い予備画像データを多重化しておくことにより、リアルタイム再生が困難になった場合は予備画像データの復号化を行うことにより、システムの破綻を防ぎ、また、動画像再生も比較的滑らかに実現することが可能となる。
【００１６】
さらに、本発明の音声画像多重化データ生成装置は、前記音声符号化部と同じ音声入力を持つ予備音声符号化部と、前記予備音声符号化部で符号化された予備音声データを格納する予備音声データ格納部を備える。また、本発明の音声画像多重化データ再生装置は、音声画像多重分離部において多重分離された予備音声データを格納する予備音声データ格納部と、前記音声データと前記予備音声データのうち、どちらの音声データの復号化を行うかを選択する音声選択部を備える。
【００１７】
この構成の音声画像多重化データ生成装置では、通常の符号化方式を用いて符号化された音声データと、処理量が少ない簡易符号化を用いて符号化された予備音声データの２種類の音声データを多重化する。音声画像多重化データ再生装置では、通常の音声データを復号化しているときに、音声復号化処理が間に合わないと判定されたときは予備音声として多重化していた処理量が少ない簡易符号化を用いた予備音声データを復号化する。また、音声復号化部が所定の時間内に完了するまで、予備音声データの復号化を継続する。このように、あらかじめ処理量の少ない予備音声データを多重化しておくことにより、リアルタイム再生が困難になった場合は予備音声データの復号化を行うことにより、システムの破綻を防ぐ。本発明は、画像復号化部がハードウェアで実現され、画像復号化部の遅延はほぼ発生しない代わりに、音声復号化部の遅延が顕著になるシステムにおいてより有効である。
【００１８】
さらに、本発明の動画像復号化装置は、画像データの復号化処理が所定の時間内に完了するかを判定する画像復号判定部と、前記画像復号判定部での判定結果に応じて画像復号処理を部分的に省き、処理量を削減する画像復号化部を備える。
【００１９】
この構成によると、動画像復号化装置では、画像復号判別部により画像復号処理が所定の時間内に完了することが困難と判定された場合は、画像復号部の処理を削減することにより、ソフトウェアによるリアルタイム再生が困難な動画像復号化処理を実現することが可能となる。
【００２０】
【発明の実施の形態】
以下、本発明の音声画像多重化データ生成装置および再生装置、および動画像復号化装置について、図面を参照しながら説明する。
【００２１】
（実施の形態１）
図１〜図５は本発明の（実施の形態１）を示す。
図１は本発明の（実施の形態１）の音声画像多重化データ生成装置を示す。
【００２２】
この音声画像多重化データ生成装置は、フレーム長毎の音声データを入力とし音声データの符号化を行う音声符号化部１０１と、音声符号化部１０１で符号化された音声データを格納する音声データ格納部１０５と、１画面分の画像データを入力とし一定のフレームレートで画像データの符号化を行う画像符号化部１０３と、前記画像符号化部１０３で符号化された画像データを格納する画像データ格納部１０７と、画像符号化部１０３とは異なるフレームレートで画像データの符号化を行う予備画像復号化部１０４と、予備画像符号化部１０４で符号化された予備画像データを格納する予備画像データ格納部１０８と、音声符号化部１０１，画像符号化部１０３，予備画像符号化部１０４で符号化された音声データ，画像データ，予備画像データの同期情報を作成する同期情報作成部１０２と、同期情報作成部１０２で作成された同期情報を格納する同期情報格納部１０６と、音声データ格納部１０５に格納されている音声データ，画像データ格納部１０７に格納されている画像データ，予備画像データ格納部１０８に格納されている予備画像データ，同期情報格納部１０６に格納されている同期情報とを多重化する音声画像多重化部１０９とを備えている。
【００２３】
音声画像多重化データ生成装置に関する実施形態の一連の流れを説明する。
まず、ある一定時間ｔＡ毎に音声データを音声符号化部１０１に入力する。音声符号化部１０１は、入力されたｔＡ分の音声データの符号化を行う。次に、符号化された音声データを音声データ格納部１０５に格納する。
【００２４】
一方、ある一定時間ｔＶ毎に一画面分の画像データを画像符号化部１０３に入力する。画像符号化部１０３は、入力された一画面分の画像データの符号化を行う。音声データと同様に、符号化された画像データを画像データ格納部１０７に格納する。
【００２５】
また、画像データの符号化間隔ｔＶよりも長い符号化間隔ｔＶ’毎に一画面分の画像データを予備画像符号化部１０４に入力する。予備画像符号化部１０４は、入力された一画面分の画像データの符号化を行う。画像符号化部１０３と予備画像符号化部１０４で符号化された画像データおよび予備画像データの出力例を図３に示す。
【００２６】
図３では、前記画像符号化部１０３を３０ｆｐｓで符号化を実行し、前記予備画像符号化部１０４を１５ｆｐｓで実行した結果である。まず、同じ画像データを持つことになる基準画像（図３では「Ｉ」と記す）は前記予備画像符号化部１０４では符号化しない。一方、差分画像（図３では「Ｐ」と記す）に関しては、画像データのフレームレートよりも低いフレームレートで予備画像データを符号化する。図３では、画像データを３０ｆｐｓで符号化を行い、その半分のフレームレートである１５ｆｐｓで予備画像データを符号化すると、予備画像データは基準画像の除いた１４フレームの予備画像データが１秒間に符号化される。ここで、Ｐ２’はＰ２の予備画像、Ｐ４’はＰ４の予備画像、Ｐ２８’はＰ２８の予備画像とする。また、Ｐ２’はＩ１の差分画像とし、Ｐ２と類似した画像を表示、Ｐ２と同じＰＴＳを持つ。Ｐ４’やＰ２８’に関しても同様に、Ｐ４’はＰ２の差分画像、Ｐ４と類似した画像を表示、Ｐ４と同じＰＴＳを持ち、一方のＰ２８’はＰ２６の差分画像、Ｐ２８と同じ画像を表示、Ｐ２８と同じＰＴＳを持つ。
【００２７】
次に、音声符号化部１０１、画像符号化部１０３、および予備画像符号化部１０４で符号化された音声データ、画像データ、および予備画像データの同期情報を同期情報作成部１０２で作成する。この同期情報とは、多重化されたデータを再生するときに音声再生および画像表示する時刻を表し、ＰＴＳと呼ばれるものである。音声データがｔＡ毎、画像データがｔＶ毎、と均一の間隔で符号化が行われた場合は、音声データのＰＴＳは最初が０、以降はｔＡ、２×ｔＡ、３×ｔＡ、とｔＡの倍数となり、画像データのＰＴＳは最初が０、以降は、ｔＶ、２×ｔＶ、３×ｔＶ、とｔＶの倍数となる。このような同期情報と音声データ、画像データ、および予備画像データを関連付けたものを同期情報格納部１０６に格納する。同期情報格納部１０６の同期情報の一例を（表１）に示す。
【００２８】
【表１】
（表１）にある種類とは、音声／画像／予備画像の何れかを指す。再生／表示時刻とは、音声／画像／予備画像データの音声再生あるいは画像表示時刻をミリ秒単位で記載している。サイズとは、音声／画像／予備画像データの各サイズを表す。この値は１フレームのサイズである。格納アドレスは、音声データ格納部、画像データ格納部、および予備画像データ格納部に格納されている各データの先頭アドレスを指す。このように、符号化された音声／画像／予備画像データと同期情報を関連付けて同期情報格納部１０６に格納する。
【００２９】
次に、音声画像多重化部１０９では、前記同期情報格納部１０６に格納されている同期情報を元に、音声／画像／予備画像データを多重化する。図４に多重化したデータの例を示す。図４では、各データの先頭に同期情報であるＰＴＳを付加し、予備画像データに関しては、同じＰＴＳを持つ画像データと連続して格納している。
【００３０】
一方、図２は本発明の（実施の形態１）にかかる音声画像多重化データ再生装置の構成を示している。図２の音声画像多重化データ再生装置は、多重化データを入力とし、多重分離を行う音声画像多重分離部２０１と、前記音声画像多重分離部２０１で多重分離された音声データを格納する音声データ格納部２０２と、前記音声画像多重分離部２０１で多重分離された画像データを格納する画像データ格納部２０４と、前記音声画像多重分離部２０１で多重分離された予備画像データを格納する予備画像データ格納部２０５と、前記音声画像多重分離部２０１で多重分離された同期情報を格納する同期情報格納部２０３と、前記音声データ格納部２０２に格納されている音声データを復号化する音声復号化部２０６と、前記画像データ格納部２０４および前記予備画像データ格納部２０５に格納されている画像データあるいは予備画像データの何れかの画像データを復号化するかを選択する画像選択部２０８と、前記画像選択部２０８で選択された画像データを復号化する画像復号化部２０９と、前記同期情報格納部２０３に格納されている同期情報を元に音声復号化部２０６、画像選択部２０８、および画像復号化部２０９を実行し、多重化データを再生する同期制御部２０７とを備えている。
【００３１】
音声画像多重化データ再生装置に関する実施形態の一連の流れを説明する。
まず、多重化されたデータを音声画像多重分離部２０１に入力し、音声データ、画像データ、予備画像データおよび同期情報に分離する。分離された各データは、音声データ格納部２０２、画像データ格納部２０４、予備画像データ格納部２０５、および同期情報格納部２０７に格納される。
【００３２】
前記同期情報格納部２０３に格納されている同期情報は、音声データ、画像データ、および予備画像データと、同期情報であるＰＴＳを関連付けたものである。同期情報の例を（表２）に示す。
【００３３】
【表２】
（表２）に示すように、音声／画像／予備画像データそれぞれに関して、同期情報を持つ。
【００３４】
同期制御部２０７は、前記同期情報を元に、音声／画像データが同期して再生／表示ができるように音声復号化部２０６および画像復号化部２０９を実行させる。なお、画像復号化部２０９に関しては、予め画像データあるいは予備画像データの何れを復号化するかを画像選択部２０８において選択し、選択されたデータに関して、復号化処理を行う。
【００３５】
画像選択部２０８は、基本的には、画像データ格納部２０４に格納されている画像データを選択する。しかし、画像復号化部２０９が所定の時間内に処理が完了しなかった場合は、予備画像データ格納部２０５に格納されている予備画像データを選択して予備画像データを画像復号化部２０９に入力する。
【００３６】
例として、多重分離された画像データが図３に示すようなデータである場合を想定する。画像データＩ１の復号化処理を行ったときに、所定の時間内に完了しなかったとする。本来ならば、Ｉ１の次はＰ１の復号化処理を行わなければならないが、Ｉ１の復号化処理が間に合わなかったため、画像選択部２０８はＰ１を飛ばして予備画像データＰ２’を選択し、画像復号化部２０９に予備画像データＰ２’を入力する。ここで、Ｐ２’はＩ１からの差分画像としているため、Ｐ１の復号化処理を省くことによる弊害はない。したがって、Ｉ１の復号化処理完了後、Ｐ２’の復号化処理を実行する。Ｐ２’の復号化処理も所定の時間内に完了しなかった場合は、画像選択部２０８はＰ３を飛ばして予備画像データＰ４’を選択し、予備画像データＰ４’を画像復号化部２０９に入力する。このように、画像復号化部２０９が所定の時間内に完了しなかった場合は、画像選択部２０８は画像データではなく予備画像データを選択する。そして、画像復号化部２０９が所定の時間内に完了すれば、元通り画像選択部２０８は画像データを選択する。予備画像データＰ２’およびＰ４’が選択された場合に画像表示されるデータを図５に示す。
【００３７】
図５において、実線で示す画像が表示される画像データである。また、図５の画像データを表示した場合のタイミング図を図６に示す。画像復号化部２０９の処理が所定時間に完了しなかったＩ１およびＰ２’に関しては、画像データのフレームレートに一致しないため、部分的に動画像再生が滑らかではなくなるが、画像復号化部２０９が所定時間内に完了した時点で元のフレームレートに回復し、動画像再生の滑らかさも回復する。従来技術では、このようにリアルタイム再生が困難になった場合、画像復号化部の処理の遅延をそのまま継承することになるので、音声／画像データの同期確立が保てない。あるいは、リアルタイム再生が困難になると、次の基準画像データまでに存在する全ての差分画像データの復号化処理を省くため、動画像再生が極端に乱れることになる。
【００３８】
また、リアルタイム再生が困難になる場合というのは、ＣＰＵの処理能力が十分にあれば発生しないというものではない。複数のアプリケーションが同時に実行される場合、ＣＰＵの処理能力が高くても、音声画像多重化処理が中断されることによって、リアルタイム再生が困難になることが発生する。このような背景から、本発明の音声画像多重化データ生成装置および再生装置は、音声画像多重化データ再生装置のフェイルセーフ的な目的としても使用することが可能である。
【００３９】
この（実施の形態１）によると、予め多重化データにリアルタイム再生が困難になったときのために、フレームレートの小さい予備画像データを画像データと共に多重化しておくことにより、画像復号部の処理が間に合わなかった場合の動画像再生の乱れを最小限に抑え、元のフレームレートでの動画像再生に回復させることができる。
【００４０】
（実施の形態２）
図７〜図９は本発明の（実施の形態２）を示す。
この（実施の形態２）は、（実施の形態１）の音声画像多重化データ生成装置に、音声符号化部と同じ音声入力を持つ予備音声符号化部と、前記予備音声符号化部で符号化された予備音声データを格納する予備音声データ格納部を備える。また、（実施の形態１）の音声画像多重化データ再生装置に、音声画像多重分離部により多重分離された予備音声データを格納する予備音声データ格納部と、音声データと予備音声データのうち、どちらの復号化を行うかを選択する音声選択部を備える。
【００４１】
図７は本発明の（実施の形態２）に係る音声画像多重化データ生成装置を示し、７０１，７０３，７０４，７０５，７０６，７０８，７０９，７１０は、それぞれ（実施の形態１）１０１，１０２，１０３，１０４，１０５，１０６，１０７，１０８と同じである。
【００４２】
図７の予備音声符号化部７０２では、音声符号化部７０１と同じ入力音声を用いて予備音声データを符号化する。予備音声符号化部７０２では、音声符号化部７０１よりも処理量の少ない簡易符号化を用いて音声符号化処理を行う。符号化された予備音声データを予備音声データ格納部７０７に格納する。
【００４３】
なお、音声データはフレームを飛ばして再生するとノイズとして聞こえるため、全ての音声データに対応して予備音声データを用意しておく。一例として、音声符号化部としてＡＭＲ符号化処理を、予備音声符号化部としてＡＭＲよりも処理量が少ないＧ．７２６符号化処理を利用し、音声データ格納部にはＡＭＲデータを、予備音声データ格納部にはＧ．７２６データを格納しておく。
【００４４】
音声画像多重化部７１１では、音声／画像／予備音声／予備画像データに同期情報を付加して多重化データを生成する。図８に多重化したデータの例を示す。図８では、各データの先頭に同期情報であるＰＴＳを付加し、予備音声データに関しては、同じＰＴＳを持つ音声データと連続して格納している。
【００４５】
一方、図９は本発明の（実施の形態２）に係る音声画像多重化データ再生装置を示す。９０２，９０４，９０５，９０６，９０９，９１０，９１１は、それぞれ（実施の形態１）の２０２，２０３，２０４，２０５，２０８，２０６，２０９と同じである。
【００４６】
多重化されたデータを音声画像多重分離部９０１に入力し、音声データ、画像データ、予備音声データ、予備画像データ、および同期情報に分離する。
同期制御部９０８で制御されている音声選択部９０７は、基本的には音声データ格納部９０２に格納されている音声データを選択する。しかし、音声復号化部９１０における音声データの復号化処理が所定の時間内に完了することが困難と判断されたときは予備音声データ格納部９０３から予備音声データを選択して、予備音声データを音声復号化部９１０に入力する。その後、音声復号化処理が所定の時間内に完了することが可能と判断された場合は、音声選択部９０７は音声データ格納部９０２から音声データを選択する。前述した例を用いると、通常は音声データ格納部に格納されているＡＭＲデータを選択し、音声復号化を実施し、復号化処理が間に合わないと判断される場合は、予備音声データ格納部９０３に格納されているＧ．７２６データを選択して音声復号化を実施する。
【００４７】
このように、音声データよりも処理量が少ない簡易符号化を用いて符号化された予備音声データを同様に多重化しておくことにより、リアルタイム再生が困難になった場合、音声復号化処理の処理量が小さいと考えられる予備音声データを選択し、音声復号化処理を実行することにより、音声／画像データの同期確立を保つことが可能となる。特に、画像復号化処理をハードウェアで実現し、音声復号化処理をソフトウェア処理で実現するシステムにおいてより有効なシステムである。
【００４８】
このように、（実施の形態２）によると、予め多重化データにリアルタイム再生が困難になったときのために、処理量が少ない簡易符号化を用いた予備音声データを音声データと共に多重化しておくことにより、音声復号化部９１０の処理が間に合わなかった場合の音声再生の乱れを最小限に抑えることを可能とする。
【００４９】
（実施の形態３）
図１０はコンピュータで構成される本発明の（実施の形態３）に係る動画像復号化装置のフローチャートを示している。
【００５０】
図１０の動画像復号化装置は、入力された画像データの復号化処理が所定の時間内に完了するかどうかを判定する画像復号判定部としての画像復号判定ステップ１００１と、画像復号化ステップ１００３での直行変換単位を決定する直交変換単位判定部としての直交変換単位判定ステップ１００２と、入力された画像データをマクロブロック単位で復号化を行う画像復号化部としての画像復号ステップ１００３と、前記画像復号化ステップ１００３で出力された復号結果の色変換を行う色変換部としての色変換ステップ１００４と、前記色変換ステップ１００４で出力された色変換結果を表示する画像表示部としての画像表示ステップ１００５とを備えている。
【００５１】
本発明の動画像復号化装置は、（実施の形態１）の画像復号化部２０９または（実施の形態２）の画像復号化部９１１として利用することが可能である。
画像復号化装置に関する実施形態の一連の流れを説明する。
【００５２】
まず、画像復号判定ステップ１００１に画像データをフレーム毎に入力し、入力された画像データが所定の時間内に完了することが可能かどうかを判定する。例えば、内部時計を利用し、画像データが入力された時間と、復号化処理が完了していなければならない時間との差分を算出する。その差分時間が画像復号化処理に割り当てられる時間となるが、その時間がある一定の値よりも小さい場合は、画像復号化処理がその時間内に完了することは困難と判定する。
【００５３】
次に、直交変換単位判定ステップ１００２では、前記画像復号判定ステップ１００１での判定結果に応じて直交変換の処理単位を決定する。ここで、直交変換の一例として、ＩＤＣＴ（逆離散コサイン変換（ ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ ））を想定する。例えば、前記画像復号判定ステップ１００１において所定の時間内に画像復号化処理が完了すると判定された場合は、ＩＤＣＴの処理単位を８×８に設定する。一方、前記画像復号判定ステップ１００１において所定の時間内に画像復号化処理を完了させるのは困難と判定された場合は、ＩＤＣＴの処理単位を４×４に設定する。
【００５４】
次に、画像復号化ステップ１００３では、入力された画像データをマクロブロック単位で復号化を行う。なお、本画像復号化ステップ１００３では、前記直交変換単位判定ステップ１００２で決定されたＩＤＣＴの処理単位を用いて復号化処理を実行する。したがって、画像復号化処理が所定の時間内に完了することが困難と判定された場合はＩＤＣＴの処理単位が削減されるため、画像復号化部の処理量が減少する。なお、ＩＤＣＴの処理単位を削減するのは、全マクロブロックに対して実行しても良い。あるいは、全マクロブロックではなく、規則的にあるマクロブロックに対してのみ、ＩＤＣＴの処理単位を削減しても良い。
【００５５】
例えば、市松模様のようにＩＤＣＴの処理単位を削減した場合を図１１に示す。図１１のように、ＩＤＣＴ処理単位を４×４で削減したマクロブロックを市松模様のように設定することにより、画像復号化部全体の処理量を削減することが可能となる。
【００５６】
最後に、前記画像復号化ステップ１００３で出力された画像復号結果であるＹＵＶデータ（Ｙ−ｓｉｇｎａｌ Ｕ−ｓｉｇｎａｌ Ｖ−ｓｉｇｎａｌ データ）を色変換ステップ１００４でＲＧＢデータ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ データ）に変換し、画像表示ステップ１００５でＲＧＢデータをディスプレイに表示する。
【００５７】
このように、画像１フレームデータ毎に画像復号判定ステップ１００１、ＩＤＣＴ処理単位判定ステップ１００２、画像復号化ステップ１００３、色変換ステップ１００４、画像表示ステップ１００５を繰り返す。
【００５８】
このように（実施の形態３）によると、予め画像復号化処理が所定の時間内に完了するかどうかを画像復号判定ステップ１００１で判定し、判定結果に応じて直交変換単位判定ステップ１００２において直交変換単位を決定し、直交変換単位判定ステップ１００２で決定された直交変換単位を画像復号化ステップ１００３で利用することにより、画像復号化部の処理量が減少し、リアルタイムでの動画像再生が困難になった場合においても動画像の乱れを最小限におさえて再生することが可能となる。
【００５９】
（実施の形態４）
本発明の（実施の形態４）は、（実施の形態３）の直交変換単位判定ステップ１００２の後、画像復号化ステップ１００３の前に画像復号化規則判定ステップ１２０３を備えるものである。
【００６０】
図１２は本発明の（実施の形態４）に係る動画像復号化装置のフローチャートを示している。実施形態の一連の流れを説明する。
図１２の画像復号判定部としての画像復号判定ステップ１２０１では、画像復号化処理が所定の時間内に完了するかどうかを判定する。
【００６１】
直交変換単位判定判定部としての直交変換単位判定ステップ１２０２では、前記画像復号判定ステップ１２０１での判定結果に応じて画像復号化ステップでの直交変換処理単位を決定する。
【００６２】
次に、画像復号化規則判定部としての画像復号化規則判定ステップ１２０３では、画像復号化部としての画像復号化ステップ１２０４の復号化処理を省くための規則を判定する。画像復号単位判定ステップ１２０２で画像復号化処理が所定の時間内に完了することが困難と判定された画像データに関しては、画像復号化規則判定ステップ１２０３での規則に応じて画像復号化ステップ１２０４の復号化処理を省く。
【００６３】
規則的に画像復号化処理を省いた例を図１３に示す。
図１３には、時刻（ｔ−１）秒〜（ｔ＋１）秒のマクロブロックを示す。例えば市松模様のように規則的に画像復号化処理を省く場合、時刻ｔ秒の画像復号化処理を行う場合、マクロブロックＢ（１），Ｂ（３），Ｂ（５），Ｂ（７），Ｂ（９）のみ画像復号化処理を実行し、マクロブロックＢ（２），Ｂ（４），Ｂ（６），Ｂ（８）に関しては前時刻（ｔ−１）秒の値を利用する。同様に、（ｔ＋１）秒の画像復号化処理を行う場合は、マクロブロックＢ（２），Ｂ（４），Ｂ（６），Ｂ（８）のみ画像復号化処理を実行し、マクロブロックＢ（１），Ｂ（３），Ｂ（５），Ｂ（７），Ｂ（９）に関しては、前時刻ｔ秒の値を利用する。このように、規則的に画像復号化処理を省くことにより、画像復号化部全体の処理量を削減することが可能となる。
【００６４】
なお、画像復号化処理の処理量削減に関しては、（実施の形態３）で述べた直交変換の処理単位を削減する方法と両方を用いても良い。
このように（実施の形態４）によると、画像復号判定ステップ１２０１において画像復号処理が所定の時間内に完了するかどうかを判定し、判定結果に応じて直交変換単位を直交変換単位判定ステップ１２０２で判定し、画像復号化規則判定ステップ１２０３において画像復号化ステップ１２０４の実行を規則的に省くことにより、画像復号化ステップ１２０４の全体の処理量を削減することが可能となり、リアルタイムでの動画像再生が困難になった場合においても動画像の乱れを最小限におさえて再生することが可能となる。
【００６５】
（実施の形態５）
本発明の（実施の形態５）は、（実施の形態３）の直交変換単位判定ステップ１００２の後、画像復号化ステップ１００３の前に動きベクトル判定ステップ１４０３を備えるものである。
【００６６】
図１４は本発明の（実施の形態５）に係る動画像復号化装置のフローチャートを示している。実施形態の一連の流れを説明する。
画像復号判定部としての画像復号判定ステップ１４０１では、画像復号化処理が所定の時間内に完了するかどうかを判定する。
【００６７】
直交変換単位判定部としての直交変換単位判定ステップ１４０２では、画像復号判定ステップ１４０１での判定結果に応じて、画像復号化部としての画像復号化ステップ１４０４での直交変換処理単位を決定する。
【００６８】
次に、動きベクトル判定部としての動きベクトル判定ステップ１４０３では、マクロブロック毎の動きベクトルの値を判定する。画像復号判定ステップ１４０１で画像復号化処理が所定の時間内に完了することが困難と判定された画像データに関しては、動きベクトル判定ステップ１４０３では、動きベクトルが小さいと判定されたマクロブロックは前時刻からの動きが少ないと判断し、画像復号化ステップ１４０４での復号化処理を省く。
【００６９】
一方、動きベクトル判定ステップ１４０３で動きベクトルが大きいと判定されたマクロブロックは前時刻からの動きが大きいと判断し、画像復号化ステップ１４０４での復号化処理を実行する。
【００７０】
ここで、マクロブロック単位で画像復号化処理を省いた例を図１５に示す。
図１５には、時刻（ｔ−１）秒〜（ｔ＋１）秒のマクロブロックおよび動きベクトルを示す。時刻ｔ秒の画像復号化処理を行う場合、動きベクトル判定ステップ１４０３により、マクロブロックＢ（１），Ｂ（２），Ｂ（３），Ｂ（７），Ｂ（９）の動きベクトルの値はしきい値以上であり、マクロブロックＢ（４），Ｂ（５），Ｂ（６），Ｂ（８）の動きベクトルの値は閾値以下と判断された場合、マクロブロックＢ（１），Ｂ（２），Ｂ（３），Ｂ（７），Ｂ（９）のみ画像復号化ステップ１４０４を実行し、マクロブロックＢ（４），Ｂ（５），Ｂ（６），Ｂ（８）に関しては前時刻（ｔ−１）秒の値を利用する。同様に、（ｔ＋１）秒の画像復号化処理を行う場合、動きベクトル判定ステップ１４０３により、マクロブロックＢ（２），Ｂ（４），Ｂ（５），Ｂ（７），Ｂ（９）の動きベクトルの値はしきい値以上であり、マクロブロックＢ（１），Ｂ（３），Ｂ（６），Ｂ（８）の動きベクトルの値はしきい値以下と判断された場合、マクロブロックＢ（２），Ｂ（４），Ｂ（５），Ｂ（７），Ｂ（９）のみ画像復号化ステップ１００４を実行し、マクロブロックＢ（１），Ｂ（３），Ｂ（６），Ｂ（８）に関しては前時刻（ｔ）秒の値を利用する。
【００７１】
このように、全てのマクロブロックに対して画像復号化処理を実行するのではなく、動きベクトル判定ステップ１４０３において、動きベクトルが小さいと判定されたマクロブロックに関しては画像復号化処理を省き、前時刻のデータを利用することにより、画像復号化部全体の処理量を削減することが可能となる。
【００７２】
１４０５は（実施の形態４）の色変換ステップ１２０５と同じである。１４０６は（実施の形態４）の画像表示ステップ１２０６と同じである。
なお、画像復号化処理の処理量削減に関しては、（実施の形態３）で述べた直交変換の処理単位を削減する方法と両方を用いても良い。
【００７３】
このように（実施の形態５）によると、動きベクトル判定ステップ１４０３においてマクロブロック毎の動きベクトルから動きが小さいと推測されるマクロブロックに関しては、前時刻のデータを利用し、動きが大きいと推測されるマクロブロックに関してのみ画像復号化処理を実行することによって、画像復号化ステップ１４０４の全体の処理量を削減することが可能となり、リアルタイムでの動画像再生が困難になった場合においても動画像の乱れを最小限におさえて再生することが可能となる。
【００７４】
（実施の形態６）
本発明の（実施の形態６）は、画像復号化ステップの後、色変換ステップの前に、色変換実行判定ステップ１６０３を備えたものである。
【００７５】
図１６は本発明の（実施の形態６）に係る動画像復号化装置のフローチャートを示している。実施形態の一連の流れを説明する。
図１６の色変換実行判定部としての色変換実行判定ステップ１６０３は、画像データに応じて、色変換部としての色変換ステップ１６０４および画像表示部としての画像表示ステップ１６０５を実行するかあるいは省くかを判断する。
【００７６】
色変換実行判定ステップ１６０３での判定方法としては、画像復号判定部としての画像復号判定ステップ１６０１で基準画像データと判定された画像データを色変換ステップ１６０４および画像表示ステップ１６０５を省く対象としてもよい。あるいは、差分画像データであっても、画像復号化部としての画像復号化ステップ１６０２の処理量が大きい場合も存在するため、画像復号化ステップ１６０２の実行時間に応じて色変換ステップ１６０４および画像表示ステップ１６０５を省いてもよい。画像復号化ステップ１６０２、色変換ステップ１６０４、および画像表示ステップ１６０５の実行時間の例を図１７に示す。
【００７７】
画像復号化ステップ１６０２、色変換ステップ１６０４、および画像表示ステップ１６０５一連の処理は、時刻ｔｓから始まり、時刻ｔｅには完了していないといけない。ここで、画像復号化ステップ１６０２は画像データに応じて実行時間は変化するが、色変換ステップ１６０４および画像表示ステップ１６０５に関しては、画像データには依存せず、ほぼ毎回同じ実行時間を要する。したがって、画像復号化ステップ１６０２の制限時間として、画像復号化部制限時刻ｔｌを設定する。図１７に示すように、画像復号化ステップ１６０２が制限時刻ｔｌまでに完了した場合は、色変換ステップ１６０４および画像表示ステップ１６０５を実行する。
【００７８】
一方、図１８に示すように、画像復号化ステップ１６０２を完了した時点で制限時刻ｔｌを超えている場合、色変換ステップ１６０４および画像表示ステップ１６０５を実行すると時刻ｔｅまでに処理が完了しない可能性があるため、その場合は色変換ステップ１６０４および画像表示ステップ１６０５を省き、画像表示を実行しない。
【００７９】
このように、画像復号化ステップ１６０２の実行時間に応じて色変換ステップ１６０４および画像表示ステップ１６０５を省くことにより、一時的に画像データの不連続が発生するが、画像復号化ステップ１６０２の処理の遅延を継承することにはならないため、次の画像データを所定の時間に表示することが可能となる。
【００８０】
このように（実施の形態６）によると、色変換実行判定ステップ１６０３において色変換処理および画像表示を実行するかを判断することにより、リアルタイムでの動画像再生が困難になった場合においても動画像の乱れを最小限におさえて再生することが可能となる。
なお、画像復号化ステップの後、色変換ステップの前に、色変換実行判定ステップ１６０３を備える構成は、（実施の形態３）〜（実施の形態５）の何れにおいても同様に実施できる。
【００８１】
【発明の効果】
以上のように本発明では、ソフトウェア処理で音声画像多重化データの再生を行う場合に、予め予備画像データを画像データと共に多重化しておくことにより、動画像の復号化処理が所定の時間内に完了しなかったときに発生する音声画像の同期の乱れおよび動画像再生の乱れを最小限に抑えることが可能となる。また、画像復号化処理において、画像復号化処理が所定の時間内に完了するかどうかを予め判定し、判定結果に応じて画像復号化部の処理を削減することにより、動画像データのリアルタイム再生を実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の（実施の形態１）に係る音声画像多重化データ生成再生システムの音声画像多重化データ生成装置の構成図
【図２】同実施の形態に係る音声画像多重化データ再生装置の構成図
【図３】同実施の形態に係る音声画像多重化データに含まれる画像データの一例の説明図
【図４】同実施の形態に係る音声画像多重化データの一例の説明図
【図５】同実施の形態に係る音声画像多重化データに含まれる画像データの再生例
【図６】同実施の形態に係る音声画像多重化データに含まれる画像データの表示タイミング例
【図７】本発明の（実施の形態２）に係る音声画像多重化データ生成再生システムの音声画像多重化データ生成装置の構成図
【図８】同実施の形態に係る音声画像多重化データの一例の説明図
【図９】同実施の形態に係る音声画像多重化データ再生装置の構成図
【図１０】本発明の（実施の形態３）に係る動画像復号化装置のフローチャート
【図１１】同実施の形態のマクロブロック単位で規則的に直交変換処理単位を削減する一例の説明図
【図１２】本発明の（実施の形態４）に係る動画像復号化装置のフローチャート
【図１３】同実施の形態のマクロブロック単位で規則的に画像復号化処理を省く一例の説明図
【図１４】本発明の（実施の形態５）に係る動画像復号化装置のフローチャート
【図１５】同実施の形態のマクロブロック単位で動きベクトルに応じて画像復号化処理を省く一例の説明図
【図１６】本発明の（実施の形態６）に係る動画像復号化装置のフローチャート
【図１７】同実施の形態の画像復号化部、色変換部、および画像表示部の実行時間の一例（画像復号化処理が制限時間内に完了した場合）の説明図
【図１８】同実施の形態の画像復号化部、色変換部、および画像表示部の実行時間の一例（画像復号化処理が制限時間内に完了しなかった場合）の説明図
【図１９】音声画像多重化データ生成装置の従来例の構成図
【図２０】従来の音声画像多重化データの一例の説明図
【図２１】音声画像多重化データ再生装置の従来例の構成図
【符号の説明】
１０１，７０１ 音声符号化部
１０２，７０３ 同期情報作成部
１０３，７０４ 画像符号化部
１０４，７０５ 予備画像符号化部
１０５，７０６ 音声データ格納部
１０６，７０８ 同期情報格納部
１０７，７０９ 画像データ格納部
１０８，７１０ 予備画像データ格納部
１０９，７１１ 音声画像多重化部
２０１，９０１ 音声画像多重分離部
２０２，９０２ 音声データ格納部
２０３，９０４ 同期情報格納部
２０４，９０５ 画像データ格納部
２０５，９０６ 予備画像データ格納部
２０６，９１０ 音声復号化部
２０７，９０８ 同期制御部
２０８，９０９ 画像選択部
２０９，９１１ 画像復号化部
７０２ 予備音声符号化部
７０７，９０３ 予備音声データ格納部
９０７ 音声選択部
１００１ 画像復号判定ステップ（画像復号判定部）
１００２ 直交変換単位判定ステップ
１００３ 画像復号化ステップ（画像復号化部）
１００４ 色変換ステップ（色変換部）
１００５ 画像表示ステップ（画像表示部）
１２０１ 画像復号判定ステップ（画像復号判定部）
１２０２ 直交変換単位判定ステップ
１２０３ 画像復号化規則判定ステップ
１２０４ 画像復号化ステップ（画像復号化部）
１２０５ 色変換ステップ（色変換部）
１２０６ 画像表示ステップ（画像表示部）
１４０１ 画像復号判定ステップ（画像復号判定部）
１４０２ 直交変換単位判定ステップ
１４０３ 動きベクトル判定ステップ
１４０４ 画像復号化ステップ（画像復号化部）
１４０５ 色変換ステップ（色変換部）
１４０６ 画像表示ステップ（画像表示部）
１６０１ 画像復号判定ステップ（画像復号判定部）
１６０２ 画像復号化ステップ（画像復号化部）
１６０３ 色変換実行判定ステップ
１６０４ 色変換ステップ（色変換部）
１６０５ 画像表示ステップ（画像表示部）
【発明の属する技術分野】
本発明は、音声画像多重化データ生成装置および音声画像多重化データ再生装置に関するものである。
【０００２】
【従来の技術】
近年、デジタルＡＶ機器では、音声動画像といったマルチメディアデータの録画／再生を実現するマルチメディアデータ多重化技術が必須であり、ＡＳＦ（Ａｄｖａｎｃｅｄ Ｓｔｒｅａｍｉｎｇ Ｆｏｒｍａｔ ）やＭＰＥＧ−４ＭＰ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ
４）など様々な規格が存在する。
【０００３】
マルチメディア多重化技術において、音声／画像データを多重化する音声画像多重化技術では、音声／画像データ１フレーム毎にＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ ）と呼ばれる再生時刻／表示時刻を同期情報として付加して、多重化データを生成する。一方、多重化されたデータを再生する場合は、多重化データを音声／画像データおよび同期情報に多重分離し、同期情報のＰＴＳを元に音声／画像データの再生／表示処理を行うことによって、音声画像同期再生を実現する。
【０００４】
図１９に従来の音声画像多重化データ生成装置、図２０に従来の音声画像多重化データ、図２１に従来の音声画像多重化データ再生装置を示す（例えば、特許文献１など）。
従来の音声画像多重化生成装置は、マイクＭＩから入力された音声データを符号化する音声符号化部１９０１と、符号化された音声データを格納する音声データ格納部１９０４と、カメラＣＡ入力された画像データを符号化する画像符号化部１９０３と、符号化された画像データを格納する画像データ格納部１９０６と、音声データと画像データを同期させるための同期情報を作成する同期情報作成部１９０２と、同期情報を格納する同期情報格納部１９０５と、音声データ格納部１９０４に格納されている音声データ，画像データ格納部１９０６に格納されている画像データ，同期情報格納部１９０５に格納されている同期情報とを多重化する音声画像多重化部１９０７で構成されている。
【０００５】
この従来の音声画像多重化データ生成装置では、符号化された音声データ、画像データそれぞれに同期情報（ＰＴＳ）を付加して多重化を行う。多重化されたデータの例を図２０に示す。
【０００６】
なお、多重化データによって、同期情報が各音声データ／画像データのヘッダとして付加されている場合や、一箇所に全ての音声データ／画像データの同期情報がまとめて格納されている場合など、多重化の方法は様々である。
【０００７】
一方、従来の音声画像多重化データ再生装置は、図２１に示すように、多重化データを音声データ，画像データ，同期情報とに分離する音声画像多重分離部２１０１と、多重分離された音声データを格納する音声データ格納部２１０２と、多重分離された画像データを格納する画像データ格納部２１０４と、多重分離された同期情報を格納する同期情報格納部２１０３と、音声データを復号化する音声復号化部２１０５と、画像データを復号化する画像復号化部２１０７と、音声／画像データの同期情報に基づいて音声復号化部２１０５と画像復号化部２１０７とを起動させる同期制御部２１０６とから構成されている。音声復号化部２１０５で復号化された信号はスピーカＳＰで再生され、画像復号化部２１０７で復号化された信号はディスプレイＤＰで再生される。
【０００８】
このように従来の音声画像多重データ再生装置では、多重分離により得られた同期情報を元に、音声復号化部２１０５、画像復号化部２１０７を実行し、音声データ，画像データの同期を確立して再生を行う。
【特許文献１】
特許第３２９５２０４号
【０００９】
【発明が解決しようとする課題】
音声画像多重化データ再生装置を全てソフトウェア処理で実現する場合に、ＣＰＵの処理能力に限界があるため、リアルタイムでの音声と画像の同期再生が困難になる。
【００１０】
また、複数のアプリケーションが同時に実行される場合、音声画像多重化データ再生装置とは別の装置あるいは状態に遷移することにより、多重分離処理や各復号処理が所定の時間内に完了できずに、リアルタイムでの音声と画像の同期再生が困難になる。
【００１１】
特に、ソフトウェア処理で実現する場合には、画像復号化部２１０７の処理量が多くかかる。リアルタイムでの同期再生が困難になると、画像データの復号処理を中断し、その画像データの表示をしない（間引く）という対策が取られている場合がある。しかし、基本的に画像データは前フレームの画像データの差分画像であるため、画像復号処理が間に合わなかった画像データ１フレームのみ間引くことが出来ない。間引いたとしても、次のフレームの画像データに乱れが発生する。したがって、結果的に次の基準画像までの複数フレームの画像データを間引くことになり、動画像再生の不連続さが顕著となる。
【００１２】
本発明は、ソフトウェア処理で音声画像多重化データの再生を行う場合に、動画像の復号化処理が所定の時間内に完了しなかったときに発生する音声画像の同期の乱れ、および動画像再生の乱れを最小限に抑えることができる音声画像多重化データ生成装置と再生装置、および動画像復号化装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
前記課題を解決するために、本発明の音声画像多重化データ生成装置は、従来の構成に、入力された画像データを、画像符号化部よりも小さいフレームレートで符号化して予備画像データを作成する予備画像符号化部と、予備画像データを格納する予備画像データ格納部を備える。
【００１４】
また、本発明の音声画像多重化データ再生装置は、従来の構成に、多重化されたデータから予備画像データを多重分離し、予備画像データを格納する予備画像データ格納部と、画像データと予備画像データのどちらの復号化を行うかを選択する画像データ選択部を備える。
【００１５】
この音声画像多重化データ生成装置では、通常のフレームレートで符号化された画像データと、より低いフレームレートで符号化された予備画像データの２種類の画像データを多重化する。音声画像多重化データ再生装置では、通常のフレームレートの画像データを復号化している時に、何らかの原因で所定の時間内に画像復号化処理が完了しなかった場合、予備画像として多重化していたフレームレートの低い予備画像データを復号化する。また、画像復号化部が所定の時間内に完了するまで、予備画像データの復号化を継続する。このように、あらかじめフレームレートの低い予備画像データを多重化しておくことにより、リアルタイム再生が困難になった場合は予備画像データの復号化を行うことにより、システムの破綻を防ぎ、また、動画像再生も比較的滑らかに実現することが可能となる。
【００１６】
さらに、本発明の音声画像多重化データ生成装置は、前記音声符号化部と同じ音声入力を持つ予備音声符号化部と、前記予備音声符号化部で符号化された予備音声データを格納する予備音声データ格納部を備える。また、本発明の音声画像多重化データ再生装置は、音声画像多重分離部において多重分離された予備音声データを格納する予備音声データ格納部と、前記音声データと前記予備音声データのうち、どちらの音声データの復号化を行うかを選択する音声選択部を備える。
【００１７】
この構成の音声画像多重化データ生成装置では、通常の符号化方式を用いて符号化された音声データと、処理量が少ない簡易符号化を用いて符号化された予備音声データの２種類の音声データを多重化する。音声画像多重化データ再生装置では、通常の音声データを復号化しているときに、音声復号化処理が間に合わないと判定されたときは予備音声として多重化していた処理量が少ない簡易符号化を用いた予備音声データを復号化する。また、音声復号化部が所定の時間内に完了するまで、予備音声データの復号化を継続する。このように、あらかじめ処理量の少ない予備音声データを多重化しておくことにより、リアルタイム再生が困難になった場合は予備音声データの復号化を行うことにより、システムの破綻を防ぐ。本発明は、画像復号化部がハードウェアで実現され、画像復号化部の遅延はほぼ発生しない代わりに、音声復号化部の遅延が顕著になるシステムにおいてより有効である。
【００１８】
さらに、本発明の動画像復号化装置は、画像データの復号化処理が所定の時間内に完了するかを判定する画像復号判定部と、前記画像復号判定部での判定結果に応じて画像復号処理を部分的に省き、処理量を削減する画像復号化部を備える。
【００１９】
この構成によると、動画像復号化装置では、画像復号判別部により画像復号処理が所定の時間内に完了することが困難と判定された場合は、画像復号部の処理を削減することにより、ソフトウェアによるリアルタイム再生が困難な動画像復号化処理を実現することが可能となる。
【００２０】
【発明の実施の形態】
以下、本発明の音声画像多重化データ生成装置および再生装置、および動画像復号化装置について、図面を参照しながら説明する。
【００２１】
（実施の形態１）
図１〜図５は本発明の（実施の形態１）を示す。
図１は本発明の（実施の形態１）の音声画像多重化データ生成装置を示す。
【００２２】
この音声画像多重化データ生成装置は、フレーム長毎の音声データを入力とし音声データの符号化を行う音声符号化部１０１と、音声符号化部１０１で符号化された音声データを格納する音声データ格納部１０５と、１画面分の画像データを入力とし一定のフレームレートで画像データの符号化を行う画像符号化部１０３と、前記画像符号化部１０３で符号化された画像データを格納する画像データ格納部１０７と、画像符号化部１０３とは異なるフレームレートで画像データの符号化を行う予備画像復号化部１０４と、予備画像符号化部１０４で符号化された予備画像データを格納する予備画像データ格納部１０８と、音声符号化部１０１，画像符号化部１０３，予備画像符号化部１０４で符号化された音声データ，画像データ，予備画像データの同期情報を作成する同期情報作成部１０２と、同期情報作成部１０２で作成された同期情報を格納する同期情報格納部１０６と、音声データ格納部１０５に格納されている音声データ，画像データ格納部１０７に格納されている画像データ，予備画像データ格納部１０８に格納されている予備画像データ，同期情報格納部１０６に格納されている同期情報とを多重化する音声画像多重化部１０９とを備えている。
【００２３】
音声画像多重化データ生成装置に関する実施形態の一連の流れを説明する。
まず、ある一定時間ｔＡ毎に音声データを音声符号化部１０１に入力する。音声符号化部１０１は、入力されたｔＡ分の音声データの符号化を行う。次に、符号化された音声データを音声データ格納部１０５に格納する。
【００２４】
一方、ある一定時間ｔＶ毎に一画面分の画像データを画像符号化部１０３に入力する。画像符号化部１０３は、入力された一画面分の画像データの符号化を行う。音声データと同様に、符号化された画像データを画像データ格納部１０７に格納する。
【００２５】
また、画像データの符号化間隔ｔＶよりも長い符号化間隔ｔＶ’毎に一画面分の画像データを予備画像符号化部１０４に入力する。予備画像符号化部１０４は、入力された一画面分の画像データの符号化を行う。画像符号化部１０３と予備画像符号化部１０４で符号化された画像データおよび予備画像データの出力例を図３に示す。
【００２６】
図３では、前記画像符号化部１０３を３０ｆｐｓで符号化を実行し、前記予備画像符号化部１０４を１５ｆｐｓで実行した結果である。まず、同じ画像データを持つことになる基準画像（図３では「Ｉ」と記す）は前記予備画像符号化部１０４では符号化しない。一方、差分画像（図３では「Ｐ」と記す）に関しては、画像データのフレームレートよりも低いフレームレートで予備画像データを符号化する。図３では、画像データを３０ｆｐｓで符号化を行い、その半分のフレームレートである１５ｆｐｓで予備画像データを符号化すると、予備画像データは基準画像の除いた１４フレームの予備画像データが１秒間に符号化される。ここで、Ｐ２’はＰ２の予備画像、Ｐ４’はＰ４の予備画像、Ｐ２８’はＰ２８の予備画像とする。また、Ｐ２’はＩ１の差分画像とし、Ｐ２と類似した画像を表示、Ｐ２と同じＰＴＳを持つ。Ｐ４’やＰ２８’に関しても同様に、Ｐ４’はＰ２の差分画像、Ｐ４と類似した画像を表示、Ｐ４と同じＰＴＳを持ち、一方のＰ２８’はＰ２６の差分画像、Ｐ２８と同じ画像を表示、Ｐ２８と同じＰＴＳを持つ。
【００２７】
次に、音声符号化部１０１、画像符号化部１０３、および予備画像符号化部１０４で符号化された音声データ、画像データ、および予備画像データの同期情報を同期情報作成部１０２で作成する。この同期情報とは、多重化されたデータを再生するときに音声再生および画像表示する時刻を表し、ＰＴＳと呼ばれるものである。音声データがｔＡ毎、画像データがｔＶ毎、と均一の間隔で符号化が行われた場合は、音声データのＰＴＳは最初が０、以降はｔＡ、２×ｔＡ、３×ｔＡ、とｔＡの倍数となり、画像データのＰＴＳは最初が０、以降は、ｔＶ、２×ｔＶ、３×ｔＶ、とｔＶの倍数となる。このような同期情報と音声データ、画像データ、および予備画像データを関連付けたものを同期情報格納部１０６に格納する。同期情報格納部１０６の同期情報の一例を（表１）に示す。
【００２８】
【表１】
【００２９】
次に、音声画像多重化部１０９では、前記同期情報格納部１０６に格納されている同期情報を元に、音声／画像／予備画像データを多重化する。図４に多重化したデータの例を示す。図４では、各データの先頭に同期情報であるＰＴＳを付加し、予備画像データに関しては、同じＰＴＳを持つ画像データと連続して格納している。
【００３０】
一方、図２は本発明の（実施の形態１）にかかる音声画像多重化データ再生装置の構成を示している。図２の音声画像多重化データ再生装置は、多重化データを入力とし、多重分離を行う音声画像多重分離部２０１と、前記音声画像多重分離部２０１で多重分離された音声データを格納する音声データ格納部２０２と、前記音声画像多重分離部２０１で多重分離された画像データを格納する画像データ格納部２０４と、前記音声画像多重分離部２０１で多重分離された予備画像データを格納する予備画像データ格納部２０５と、前記音声画像多重分離部２０１で多重分離された同期情報を格納する同期情報格納部２０３と、前記音声データ格納部２０２に格納されている音声データを復号化する音声復号化部２０６と、前記画像データ格納部２０４および前記予備画像データ格納部２０５に格納されている画像データあるいは予備画像データの何れかの画像データを復号化するかを選択する画像選択部２０８と、前記画像選択部２０８で選択された画像データを復号化する画像復号化部２０９と、前記同期情報格納部２０３に格納されている同期情報を元に音声復号化部２０６、画像選択部２０８、および画像復号化部２０９を実行し、多重化データを再生する同期制御部２０７とを備えている。
【００３１】
音声画像多重化データ再生装置に関する実施形態の一連の流れを説明する。
まず、多重化されたデータを音声画像多重分離部２０１に入力し、音声データ、画像データ、予備画像データおよび同期情報に分離する。分離された各データは、音声データ格納部２０２、画像データ格納部２０４、予備画像データ格納部２０５、および同期情報格納部２０７に格納される。
【００３２】
前記同期情報格納部２０３に格納されている同期情報は、音声データ、画像データ、および予備画像データと、同期情報であるＰＴＳを関連付けたものである。同期情報の例を（表２）に示す。
【００３３】
【表２】
【００３４】
同期制御部２０７は、前記同期情報を元に、音声／画像データが同期して再生／表示ができるように音声復号化部２０６および画像復号化部２０９を実行させる。なお、画像復号化部２０９に関しては、予め画像データあるいは予備画像データの何れを復号化するかを画像選択部２０８において選択し、選択されたデータに関して、復号化処理を行う。
【００３５】
画像選択部２０８は、基本的には、画像データ格納部２０４に格納されている画像データを選択する。しかし、画像復号化部２０９が所定の時間内に処理が完了しなかった場合は、予備画像データ格納部２０５に格納されている予備画像データを選択して予備画像データを画像復号化部２０９に入力する。
【００３６】
例として、多重分離された画像データが図３に示すようなデータである場合を想定する。画像データＩ１の復号化処理を行ったときに、所定の時間内に完了しなかったとする。本来ならば、Ｉ１の次はＰ１の復号化処理を行わなければならないが、Ｉ１の復号化処理が間に合わなかったため、画像選択部２０８はＰ１を飛ばして予備画像データＰ２’を選択し、画像復号化部２０９に予備画像データＰ２’を入力する。ここで、Ｐ２’はＩ１からの差分画像としているため、Ｐ１の復号化処理を省くことによる弊害はない。したがって、Ｉ１の復号化処理完了後、Ｐ２’の復号化処理を実行する。Ｐ２’の復号化処理も所定の時間内に完了しなかった場合は、画像選択部２０８はＰ３を飛ばして予備画像データＰ４’を選択し、予備画像データＰ４’を画像復号化部２０９に入力する。このように、画像復号化部２０９が所定の時間内に完了しなかった場合は、画像選択部２０８は画像データではなく予備画像データを選択する。そして、画像復号化部２０９が所定の時間内に完了すれば、元通り画像選択部２０８は画像データを選択する。予備画像データＰ２’およびＰ４’が選択された場合に画像表示されるデータを図５に示す。
【００３７】
図５において、実線で示す画像が表示される画像データである。また、図５の画像データを表示した場合のタイミング図を図６に示す。画像復号化部２０９の処理が所定時間に完了しなかったＩ１およびＰ２’に関しては、画像データのフレームレートに一致しないため、部分的に動画像再生が滑らかではなくなるが、画像復号化部２０９が所定時間内に完了した時点で元のフレームレートに回復し、動画像再生の滑らかさも回復する。従来技術では、このようにリアルタイム再生が困難になった場合、画像復号化部の処理の遅延をそのまま継承することになるので、音声／画像データの同期確立が保てない。あるいは、リアルタイム再生が困難になると、次の基準画像データまでに存在する全ての差分画像データの復号化処理を省くため、動画像再生が極端に乱れることになる。
【００３８】
また、リアルタイム再生が困難になる場合というのは、ＣＰＵの処理能力が十分にあれば発生しないというものではない。複数のアプリケーションが同時に実行される場合、ＣＰＵの処理能力が高くても、音声画像多重化処理が中断されることによって、リアルタイム再生が困難になることが発生する。このような背景から、本発明の音声画像多重化データ生成装置および再生装置は、音声画像多重化データ再生装置のフェイルセーフ的な目的としても使用することが可能である。
【００３９】
この（実施の形態１）によると、予め多重化データにリアルタイム再生が困難になったときのために、フレームレートの小さい予備画像データを画像データと共に多重化しておくことにより、画像復号部の処理が間に合わなかった場合の動画像再生の乱れを最小限に抑え、元のフレームレートでの動画像再生に回復させることができる。
【００４０】
（実施の形態２）
図７〜図９は本発明の（実施の形態２）を示す。
この（実施の形態２）は、（実施の形態１）の音声画像多重化データ生成装置に、音声符号化部と同じ音声入力を持つ予備音声符号化部と、前記予備音声符号化部で符号化された予備音声データを格納する予備音声データ格納部を備える。また、（実施の形態１）の音声画像多重化データ再生装置に、音声画像多重分離部により多重分離された予備音声データを格納する予備音声データ格納部と、音声データと予備音声データのうち、どちらの復号化を行うかを選択する音声選択部を備える。
【００４１】
図７は本発明の（実施の形態２）に係る音声画像多重化データ生成装置を示し、７０１，７０３，７０４，７０５，７０６，７０８，７０９，７１０は、それぞれ（実施の形態１）１０１，１０２，１０３，１０４，１０５，１０６，１０７，１０８と同じである。
【００４２】
図７の予備音声符号化部７０２では、音声符号化部７０１と同じ入力音声を用いて予備音声データを符号化する。予備音声符号化部７０２では、音声符号化部７０１よりも処理量の少ない簡易符号化を用いて音声符号化処理を行う。符号化された予備音声データを予備音声データ格納部７０７に格納する。
【００４３】
なお、音声データはフレームを飛ばして再生するとノイズとして聞こえるため、全ての音声データに対応して予備音声データを用意しておく。一例として、音声符号化部としてＡＭＲ符号化処理を、予備音声符号化部としてＡＭＲよりも処理量が少ないＧ．７２６符号化処理を利用し、音声データ格納部にはＡＭＲデータを、予備音声データ格納部にはＧ．７２６データを格納しておく。
【００４４】
音声画像多重化部７１１では、音声／画像／予備音声／予備画像データに同期情報を付加して多重化データを生成する。図８に多重化したデータの例を示す。図８では、各データの先頭に同期情報であるＰＴＳを付加し、予備音声データに関しては、同じＰＴＳを持つ音声データと連続して格納している。
【００４５】
一方、図９は本発明の（実施の形態２）に係る音声画像多重化データ再生装置を示す。９０２，９０４，９０５，９０６，９０９，９１０，９１１は、それぞれ（実施の形態１）の２０２，２０３，２０４，２０５，２０８，２０６，２０９と同じである。
【００４６】
多重化されたデータを音声画像多重分離部９０１に入力し、音声データ、画像データ、予備音声データ、予備画像データ、および同期情報に分離する。
同期制御部９０８で制御されている音声選択部９０７は、基本的には音声データ格納部９０２に格納されている音声データを選択する。しかし、音声復号化部９１０における音声データの復号化処理が所定の時間内に完了することが困難と判断されたときは予備音声データ格納部９０３から予備音声データを選択して、予備音声データを音声復号化部９１０に入力する。その後、音声復号化処理が所定の時間内に完了することが可能と判断された場合は、音声選択部９０７は音声データ格納部９０２から音声データを選択する。前述した例を用いると、通常は音声データ格納部に格納されているＡＭＲデータを選択し、音声復号化を実施し、復号化処理が間に合わないと判断される場合は、予備音声データ格納部９０３に格納されているＧ．７２６データを選択して音声復号化を実施する。
【００４７】
このように、音声データよりも処理量が少ない簡易符号化を用いて符号化された予備音声データを同様に多重化しておくことにより、リアルタイム再生が困難になった場合、音声復号化処理の処理量が小さいと考えられる予備音声データを選択し、音声復号化処理を実行することにより、音声／画像データの同期確立を保つことが可能となる。特に、画像復号化処理をハードウェアで実現し、音声復号化処理をソフトウェア処理で実現するシステムにおいてより有効なシステムである。
【００４８】
このように、（実施の形態２）によると、予め多重化データにリアルタイム再生が困難になったときのために、処理量が少ない簡易符号化を用いた予備音声データを音声データと共に多重化しておくことにより、音声復号化部９１０の処理が間に合わなかった場合の音声再生の乱れを最小限に抑えることを可能とする。
【００４９】
（実施の形態３）
図１０はコンピュータで構成される本発明の（実施の形態３）に係る動画像復号化装置のフローチャートを示している。
【００５０】
図１０の動画像復号化装置は、入力された画像データの復号化処理が所定の時間内に完了するかどうかを判定する画像復号判定部としての画像復号判定ステップ１００１と、画像復号化ステップ１００３での直行変換単位を決定する直交変換単位判定部としての直交変換単位判定ステップ１００２と、入力された画像データをマクロブロック単位で復号化を行う画像復号化部としての画像復号ステップ１００３と、前記画像復号化ステップ１００３で出力された復号結果の色変換を行う色変換部としての色変換ステップ１００４と、前記色変換ステップ１００４で出力された色変換結果を表示する画像表示部としての画像表示ステップ１００５とを備えている。
【００５１】
本発明の動画像復号化装置は、（実施の形態１）の画像復号化部２０９または（実施の形態２）の画像復号化部９１１として利用することが可能である。
画像復号化装置に関する実施形態の一連の流れを説明する。
【００５２】
まず、画像復号判定ステップ１００１に画像データをフレーム毎に入力し、入力された画像データが所定の時間内に完了することが可能かどうかを判定する。例えば、内部時計を利用し、画像データが入力された時間と、復号化処理が完了していなければならない時間との差分を算出する。その差分時間が画像復号化処理に割り当てられる時間となるが、その時間がある一定の値よりも小さい場合は、画像復号化処理がその時間内に完了することは困難と判定する。
【００５３】
次に、直交変換単位判定ステップ１００２では、前記画像復号判定ステップ１００１での判定結果に応じて直交変換の処理単位を決定する。ここで、直交変換の一例として、ＩＤＣＴ（逆離散コサイン変換（ ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ ））を想定する。例えば、前記画像復号判定ステップ１００１において所定の時間内に画像復号化処理が完了すると判定された場合は、ＩＤＣＴの処理単位を８×８に設定する。一方、前記画像復号判定ステップ１００１において所定の時間内に画像復号化処理を完了させるのは困難と判定された場合は、ＩＤＣＴの処理単位を４×４に設定する。
【００５４】
次に、画像復号化ステップ１００３では、入力された画像データをマクロブロック単位で復号化を行う。なお、本画像復号化ステップ１００３では、前記直交変換単位判定ステップ１００２で決定されたＩＤＣＴの処理単位を用いて復号化処理を実行する。したがって、画像復号化処理が所定の時間内に完了することが困難と判定された場合はＩＤＣＴの処理単位が削減されるため、画像復号化部の処理量が減少する。なお、ＩＤＣＴの処理単位を削減するのは、全マクロブロックに対して実行しても良い。あるいは、全マクロブロックではなく、規則的にあるマクロブロックに対してのみ、ＩＤＣＴの処理単位を削減しても良い。
【００５５】
例えば、市松模様のようにＩＤＣＴの処理単位を削減した場合を図１１に示す。図１１のように、ＩＤＣＴ処理単位を４×４で削減したマクロブロックを市松模様のように設定することにより、画像復号化部全体の処理量を削減することが可能となる。
【００５６】
最後に、前記画像復号化ステップ１００３で出力された画像復号結果であるＹＵＶデータ（Ｙ−ｓｉｇｎａｌ Ｕ−ｓｉｇｎａｌ Ｖ−ｓｉｇｎａｌ データ）を色変換ステップ１００４でＲＧＢデータ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ データ）に変換し、画像表示ステップ１００５でＲＧＢデータをディスプレイに表示する。
【００５７】
このように、画像１フレームデータ毎に画像復号判定ステップ１００１、ＩＤＣＴ処理単位判定ステップ１００２、画像復号化ステップ１００３、色変換ステップ１００４、画像表示ステップ１００５を繰り返す。
【００５８】
このように（実施の形態３）によると、予め画像復号化処理が所定の時間内に完了するかどうかを画像復号判定ステップ１００１で判定し、判定結果に応じて直交変換単位判定ステップ１００２において直交変換単位を決定し、直交変換単位判定ステップ１００２で決定された直交変換単位を画像復号化ステップ１００３で利用することにより、画像復号化部の処理量が減少し、リアルタイムでの動画像再生が困難になった場合においても動画像の乱れを最小限におさえて再生することが可能となる。
【００５９】
（実施の形態４）
本発明の（実施の形態４）は、（実施の形態３）の直交変換単位判定ステップ１００２の後、画像復号化ステップ１００３の前に画像復号化規則判定ステップ１２０３を備えるものである。
【００６０】
図１２は本発明の（実施の形態４）に係る動画像復号化装置のフローチャートを示している。実施形態の一連の流れを説明する。
図１２の画像復号判定部としての画像復号判定ステップ１２０１では、画像復号化処理が所定の時間内に完了するかどうかを判定する。
【００６１】
直交変換単位判定判定部としての直交変換単位判定ステップ１２０２では、前記画像復号判定ステップ１２０１での判定結果に応じて画像復号化ステップでの直交変換処理単位を決定する。
【００６２】
次に、画像復号化規則判定部としての画像復号化規則判定ステップ１２０３では、画像復号化部としての画像復号化ステップ１２０４の復号化処理を省くための規則を判定する。画像復号単位判定ステップ１２０２で画像復号化処理が所定の時間内に完了することが困難と判定された画像データに関しては、画像復号化規則判定ステップ１２０３での規則に応じて画像復号化ステップ１２０４の復号化処理を省く。
【００６３】
規則的に画像復号化処理を省いた例を図１３に示す。
図１３には、時刻（ｔ−１）秒〜（ｔ＋１）秒のマクロブロックを示す。例えば市松模様のように規則的に画像復号化処理を省く場合、時刻ｔ秒の画像復号化処理を行う場合、マクロブロックＢ（１），Ｂ（３），Ｂ（５），Ｂ（７），Ｂ（９）のみ画像復号化処理を実行し、マクロブロックＢ（２），Ｂ（４），Ｂ（６），Ｂ（８）に関しては前時刻（ｔ−１）秒の値を利用する。同様に、（ｔ＋１）秒の画像復号化処理を行う場合は、マクロブロックＢ（２），Ｂ（４），Ｂ（６），Ｂ（８）のみ画像復号化処理を実行し、マクロブロックＢ（１），Ｂ（３），Ｂ（５），Ｂ（７），Ｂ（９）に関しては、前時刻ｔ秒の値を利用する。このように、規則的に画像復号化処理を省くことにより、画像復号化部全体の処理量を削減することが可能となる。
【００６４】
なお、画像復号化処理の処理量削減に関しては、（実施の形態３）で述べた直交変換の処理単位を削減する方法と両方を用いても良い。
このように（実施の形態４）によると、画像復号判定ステップ１２０１において画像復号処理が所定の時間内に完了するかどうかを判定し、判定結果に応じて直交変換単位を直交変換単位判定ステップ１２０２で判定し、画像復号化規則判定ステップ１２０３において画像復号化ステップ１２０４の実行を規則的に省くことにより、画像復号化ステップ１２０４の全体の処理量を削減することが可能となり、リアルタイムでの動画像再生が困難になった場合においても動画像の乱れを最小限におさえて再生することが可能となる。
【００６５】
（実施の形態５）
本発明の（実施の形態５）は、（実施の形態３）の直交変換単位判定ステップ１００２の後、画像復号化ステップ１００３の前に動きベクトル判定ステップ１４０３を備えるものである。
【００６６】
図１４は本発明の（実施の形態５）に係る動画像復号化装置のフローチャートを示している。実施形態の一連の流れを説明する。
画像復号判定部としての画像復号判定ステップ１４０１では、画像復号化処理が所定の時間内に完了するかどうかを判定する。
【００６７】
直交変換単位判定部としての直交変換単位判定ステップ１４０２では、画像復号判定ステップ１４０１での判定結果に応じて、画像復号化部としての画像復号化ステップ１４０４での直交変換処理単位を決定する。
【００６８】
次に、動きベクトル判定部としての動きベクトル判定ステップ１４０３では、マクロブロック毎の動きベクトルの値を判定する。画像復号判定ステップ１４０１で画像復号化処理が所定の時間内に完了することが困難と判定された画像データに関しては、動きベクトル判定ステップ１４０３では、動きベクトルが小さいと判定されたマクロブロックは前時刻からの動きが少ないと判断し、画像復号化ステップ１４０４での復号化処理を省く。
【００６９】
一方、動きベクトル判定ステップ１４０３で動きベクトルが大きいと判定されたマクロブロックは前時刻からの動きが大きいと判断し、画像復号化ステップ１４０４での復号化処理を実行する。
【００７０】
ここで、マクロブロック単位で画像復号化処理を省いた例を図１５に示す。
図１５には、時刻（ｔ−１）秒〜（ｔ＋１）秒のマクロブロックおよび動きベクトルを示す。時刻ｔ秒の画像復号化処理を行う場合、動きベクトル判定ステップ１４０３により、マクロブロックＢ（１），Ｂ（２），Ｂ（３），Ｂ（７），Ｂ（９）の動きベクトルの値はしきい値以上であり、マクロブロックＢ（４），Ｂ（５），Ｂ（６），Ｂ（８）の動きベクトルの値は閾値以下と判断された場合、マクロブロックＢ（１），Ｂ（２），Ｂ（３），Ｂ（７），Ｂ（９）のみ画像復号化ステップ１４０４を実行し、マクロブロックＢ（４），Ｂ（５），Ｂ（６），Ｂ（８）に関しては前時刻（ｔ−１）秒の値を利用する。同様に、（ｔ＋１）秒の画像復号化処理を行う場合、動きベクトル判定ステップ１４０３により、マクロブロックＢ（２），Ｂ（４），Ｂ（５），Ｂ（７），Ｂ（９）の動きベクトルの値はしきい値以上であり、マクロブロックＢ（１），Ｂ（３），Ｂ（６），Ｂ（８）の動きベクトルの値はしきい値以下と判断された場合、マクロブロックＢ（２），Ｂ（４），Ｂ（５），Ｂ（７），Ｂ（９）のみ画像復号化ステップ１００４を実行し、マクロブロックＢ（１），Ｂ（３），Ｂ（６），Ｂ（８）に関しては前時刻（ｔ）秒の値を利用する。
【００７１】
このように、全てのマクロブロックに対して画像復号化処理を実行するのではなく、動きベクトル判定ステップ１４０３において、動きベクトルが小さいと判定されたマクロブロックに関しては画像復号化処理を省き、前時刻のデータを利用することにより、画像復号化部全体の処理量を削減することが可能となる。
【００７２】
１４０５は（実施の形態４）の色変換ステップ１２０５と同じである。１４０６は（実施の形態４）の画像表示ステップ１２０６と同じである。
なお、画像復号化処理の処理量削減に関しては、（実施の形態３）で述べた直交変換の処理単位を削減する方法と両方を用いても良い。
【００７３】
このように（実施の形態５）によると、動きベクトル判定ステップ１４０３においてマクロブロック毎の動きベクトルから動きが小さいと推測されるマクロブロックに関しては、前時刻のデータを利用し、動きが大きいと推測されるマクロブロックに関してのみ画像復号化処理を実行することによって、画像復号化ステップ１４０４の全体の処理量を削減することが可能となり、リアルタイムでの動画像再生が困難になった場合においても動画像の乱れを最小限におさえて再生することが可能となる。
【００７４】
（実施の形態６）
本発明の（実施の形態６）は、画像復号化ステップの後、色変換ステップの前に、色変換実行判定ステップ１６０３を備えたものである。
【００７５】
図１６は本発明の（実施の形態６）に係る動画像復号化装置のフローチャートを示している。実施形態の一連の流れを説明する。
図１６の色変換実行判定部としての色変換実行判定ステップ１６０３は、画像データに応じて、色変換部としての色変換ステップ１６０４および画像表示部としての画像表示ステップ１６０５を実行するかあるいは省くかを判断する。
【００７６】
色変換実行判定ステップ１６０３での判定方法としては、画像復号判定部としての画像復号判定ステップ１６０１で基準画像データと判定された画像データを色変換ステップ１６０４および画像表示ステップ１６０５を省く対象としてもよい。あるいは、差分画像データであっても、画像復号化部としての画像復号化ステップ１６０２の処理量が大きい場合も存在するため、画像復号化ステップ１６０２の実行時間に応じて色変換ステップ１６０４および画像表示ステップ１６０５を省いてもよい。画像復号化ステップ１６０２、色変換ステップ１６０４、および画像表示ステップ１６０５の実行時間の例を図１７に示す。
【００７７】
画像復号化ステップ１６０２、色変換ステップ１６０４、および画像表示ステップ１６０５一連の処理は、時刻ｔｓから始まり、時刻ｔｅには完了していないといけない。ここで、画像復号化ステップ１６０２は画像データに応じて実行時間は変化するが、色変換ステップ１６０４および画像表示ステップ１６０５に関しては、画像データには依存せず、ほぼ毎回同じ実行時間を要する。したがって、画像復号化ステップ１６０２の制限時間として、画像復号化部制限時刻ｔｌを設定する。図１７に示すように、画像復号化ステップ１６０２が制限時刻ｔｌまでに完了した場合は、色変換ステップ１６０４および画像表示ステップ１６０５を実行する。
【００７８】
一方、図１８に示すように、画像復号化ステップ１６０２を完了した時点で制限時刻ｔｌを超えている場合、色変換ステップ１６０４および画像表示ステップ１６０５を実行すると時刻ｔｅまでに処理が完了しない可能性があるため、その場合は色変換ステップ１６０４および画像表示ステップ１６０５を省き、画像表示を実行しない。
【００７９】
このように、画像復号化ステップ１６０２の実行時間に応じて色変換ステップ１６０４および画像表示ステップ１６０５を省くことにより、一時的に画像データの不連続が発生するが、画像復号化ステップ１６０２の処理の遅延を継承することにはならないため、次の画像データを所定の時間に表示することが可能となる。
【００８０】
このように（実施の形態６）によると、色変換実行判定ステップ１６０３において色変換処理および画像表示を実行するかを判断することにより、リアルタイムでの動画像再生が困難になった場合においても動画像の乱れを最小限におさえて再生することが可能となる。
なお、画像復号化ステップの後、色変換ステップの前に、色変換実行判定ステップ１６０３を備える構成は、（実施の形態３）〜（実施の形態５）の何れにおいても同様に実施できる。
【００８１】
【発明の効果】
以上のように本発明では、ソフトウェア処理で音声画像多重化データの再生を行う場合に、予め予備画像データを画像データと共に多重化しておくことにより、動画像の復号化処理が所定の時間内に完了しなかったときに発生する音声画像の同期の乱れおよび動画像再生の乱れを最小限に抑えることが可能となる。また、画像復号化処理において、画像復号化処理が所定の時間内に完了するかどうかを予め判定し、判定結果に応じて画像復号化部の処理を削減することにより、動画像データのリアルタイム再生を実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の（実施の形態１）に係る音声画像多重化データ生成再生システムの音声画像多重化データ生成装置の構成図
【図２】同実施の形態に係る音声画像多重化データ再生装置の構成図
【図３】同実施の形態に係る音声画像多重化データに含まれる画像データの一例の説明図
【図４】同実施の形態に係る音声画像多重化データの一例の説明図
【図５】同実施の形態に係る音声画像多重化データに含まれる画像データの再生例
【図６】同実施の形態に係る音声画像多重化データに含まれる画像データの表示タイミング例
【図７】本発明の（実施の形態２）に係る音声画像多重化データ生成再生システムの音声画像多重化データ生成装置の構成図
【図８】同実施の形態に係る音声画像多重化データの一例の説明図
【図９】同実施の形態に係る音声画像多重化データ再生装置の構成図
【図１０】本発明の（実施の形態３）に係る動画像復号化装置のフローチャート
【図１１】同実施の形態のマクロブロック単位で規則的に直交変換処理単位を削減する一例の説明図
【図１２】本発明の（実施の形態４）に係る動画像復号化装置のフローチャート
【図１３】同実施の形態のマクロブロック単位で規則的に画像復号化処理を省く一例の説明図
【図１４】本発明の（実施の形態５）に係る動画像復号化装置のフローチャート
【図１５】同実施の形態のマクロブロック単位で動きベクトルに応じて画像復号化処理を省く一例の説明図
【図１６】本発明の（実施の形態６）に係る動画像復号化装置のフローチャート
【図１７】同実施の形態の画像復号化部、色変換部、および画像表示部の実行時間の一例（画像復号化処理が制限時間内に完了した場合）の説明図
【図１８】同実施の形態の画像復号化部、色変換部、および画像表示部の実行時間の一例（画像復号化処理が制限時間内に完了しなかった場合）の説明図
【図１９】音声画像多重化データ生成装置の従来例の構成図
【図２０】従来の音声画像多重化データの一例の説明図
【図２１】音声画像多重化データ再生装置の従来例の構成図
【符号の説明】
１０１，７０１ 音声符号化部
１０２，７０３ 同期情報作成部
１０３，７０４ 画像符号化部
１０４，７０５ 予備画像符号化部
１０５，７０６ 音声データ格納部
１０６，７０８ 同期情報格納部
１０７，７０９ 画像データ格納部
１０８，７１０ 予備画像データ格納部
１０９，７１１ 音声画像多重化部
２０１，９０１ 音声画像多重分離部
２０２，９０２ 音声データ格納部
２０３，９０４ 同期情報格納部
２０４，９０５ 画像データ格納部
２０５，９０６ 予備画像データ格納部
２０６，９１０ 音声復号化部
２０７，９０８ 同期制御部
２０８，９０９ 画像選択部
２０９，９１１ 画像復号化部
７０２ 予備音声符号化部
７０７，９０３ 予備音声データ格納部
９０７ 音声選択部
１００１ 画像復号判定ステップ（画像復号判定部）
１００２ 直交変換単位判定ステップ
１００３ 画像復号化ステップ（画像復号化部）
１００４ 色変換ステップ（色変換部）
１００５ 画像表示ステップ（画像表示部）
１２０１ 画像復号判定ステップ（画像復号判定部）
１２０２ 直交変換単位判定ステップ
１２０３ 画像復号化規則判定ステップ
１２０４ 画像復号化ステップ（画像復号化部）
１２０５ 色変換ステップ（色変換部）
１２０６ 画像表示ステップ（画像表示部）
１４０１ 画像復号判定ステップ（画像復号判定部）
１４０２ 直交変換単位判定ステップ
１４０３ 動きベクトル判定ステップ
１４０４ 画像復号化ステップ（画像復号化部）
１４０５ 色変換ステップ（色変換部）
１４０６ 画像表示ステップ（画像表示部）
１６０１ 画像復号判定ステップ（画像復号判定部）
１６０２ 画像復号化ステップ（画像復号化部）
１６０３ 色変換実行判定ステップ
１６０４ 色変換ステップ（色変換部）
１６０５ 画像表示ステップ（画像表示部）
Claims (16)
- 音声データおよび画像データを多重化する装置であって、
入力された音声データを符号化する音声符号化部と、
前記音声符号化部で符号化された音声データを格納する音声データ格納部と、
入力された画像データを符号化する画像符号化部と、
前記画像符号化部で符号化された画像データを格納する画像データ格納部と、
前記画像符号化部とは異なるフレームレートで画像データを符号化する予備画像符号化部と、
前記予備画像符号化部で符号化された画像データを格納する予備画像データ格納部と、
多重化されたデータを再生するときに音声データと画像データを同期させるための同期情報を作成する同期情報作成部と、
前記同期情報作成部で作成された同期情報を格納する同期情報格納部と、
前記音声データ格納部に格納されている音声データ，前記画像データ格納部に格納されている画像データ，前記予備画像データ格納部に格納されている予備画像データ，前記同期情報作成部で作成された同期情報を多重化する音声画像多重化部と
を備えた音声画像多重化データ生成装置。 - 前記予備画像符号化部は、前記画像符号化部のフレームレートよりも小さいフレームレートで画像データを符号化する
請求項１記載の音声画像多重化データ生成装置。 - 前記予備画像符号化部は、基準画像データの符号化は行わず、差分画像データの符号化のみを行う
請求項１記載の音声画像多重化データ生成装置。 - 前記音声画像多重化部は、復号化処理を補われる画像データに連続して、復号化処理を補う前記予備画像データを連続して多重化する
請求項１記載の音声画像多重化データ生成装置。 - 前記音声符号化部と同じ音声入力を持つ予備音声符号化部と、
前記予備音声符号化部で符号化された予備音声データを格納する予備音声データ格納部を備え、
前記予備音声符号化部は、前記音声符号化部よりも処理量が少ない簡易符号化を用いて予備音声データを生成する
請求項１記載の音声画像多重化データ生成装置。 - 音声画像データが多重化されたデータを多重分離する装置であって、
入力された多重化データを音声データ，画像データ，予備画像データ，同期情報に多重分離する音声画像多重分離部と、
前記音声画像多重分離部で多重分離された音声データを格納する音声データ格納部と、
前記音声画像多重分離部で多重分離された画像データを格納する画像データ格納部と、
前記音声画像多重分離部で多重分離された予備画像データを格納する予備画像データ格納部と、
前記音声画像多重分離部で多重分離された同期情報を格納する同期情報格納部と、
前記音声データを復号化する音声復号化部と、
前記画像データと前記予備画像データのうちのどちらを復号するかを選択する画像選択部と、
前記画像選択部で選択された画像データを復号化する画像復号化部と、
前記同期情報を元に前記音声復号化部，前記画像選択部，画像復号化部を実行制御して多重化データを再生する同期制御部と
を備えた音声画像多重化データ再生装置。 - 前記画像選択部は、前記同期制御部から画像復号化の要求が発生したときに、前の画像データの復号化が完了している場合は画像データ格納部から画像データを選択して画像復号化部へ前記画像データを入力し、画像復号化部を実行する
請求項６記載の音声画像多重化データ再生装置。 - 前記画像選択部は、前記同期制御部から画像復号化の要求が発生したときに、前の画像データの復号化が完了していない場合は、予備画像データ格納部から予備画像データを選択して画像復号化部へ前記予備画像データを入力し、画像復号化部を実行する
請求項６記載の音声画像多重化データ再生装置。 - 前記音声画像多重分離部で多重分離された予備音声データを格納する予備音声データ格納部と、
前記音声データと前記予備音声データのうちのどちらを復号化するか選択する音声選択部と
を備え、前記音声選択部は、前記同期制御部から音声復号化の要求が発生したときに、音声データの復号化処理が間に合わないと判断されたときは予備音声データ格納部から予備音声データを選択して音声復号化部へ前記予備音声データを入力して音声復号化を実行する
請求項６記載の音声画像多重化データ再生装置。 - 動画像データを復号化する装置であって、
画像復号化処理が所定の時間内に完了するかを判定する画像復号判定部と、
入力された画像データをマクロブロック単位で復号化を行う画像復号化部と、
前記画像復号化部で出力された復号結果の色変換を行う色変換部と、
前記色変換部で出力された色変換結果を表示する画像表示部と
を備え、前記画像復号化部は、前記画像復号判定部の判定結果に応じて画像復号化処理を所定の規則で省略し処理量を削減する
動画像復号化装置。 - 前記画像復号判定部の後、前記画像復号化部の前に直交変換単位判定部を備え、前記画像復号判定部において画像復号処理が所定の時間内に完了することが困難と判定された場合は、前記直交変換単位判定部において直交変換の処理単位を通常より小さい値を設定し、前記画像復号化部の処理を削減する
請求項１０記載の動画像復号化装置。 - 前記画像復号判定部の後、前記画像復号化部の前に画像復号化規則判定部を備え、前記画像復号判定部において画像復号処理が所定の時間内に完了することが困難と判定された場合は、前記画像復号化規則判定部の判定に応じた規則に則ってマクロブロック単位で復号化処理を省き、復号処理を省かれたマクロブロックに関しては、前のフレームと同じ値を用いることを特徴とする
請求項１０記載の動画像復号化装置。 - 前記画像復号判定部の後、前記画像復号化部の前に動きベクトル判定部を備え、前記画像復号判定部において画像復号処理が所定の時間内に完了することが困難と判定された場合は、前記動きベクトル判定部において動きベクトルが小さいと判定されたマクロブロックに対しては復号化処理を省き、動きベクトルが大きいと判定されたマクロブロックに対しては復号化処理を実行し、復号化処理を省いたマクロブロックに関しては、前のフレームと同じ値を用いる
請求項１０記載の動画像復号化装置。 - 前記画像復号化部の後、前記色変換部の前に色変換実行判定部を備え、前記色変換実行判定部においてリアルタイム再生が困難と判定された画像データに関しては、色変換部および画像表示部の処理を省くことによって処理量を削減する
請求項１０記載の動画像復号化装置。 - 多重化されたデータを再生する装置であって、
多重分離された画像データを復号する場合には、請求項１０〜１４記載の何れかの動画像復号化装置を使用することを特徴とする
請求項６〜９のいずれかに記載の音声画像多重化データ再生装置。 - 音声データと画像データとを符号化しこれを多重化して音声画像多重化データを形成し、音声画像多重化データを再生するに際し、
音声画像多重化データ生成工程では、
入力された画像データを画像符号化部で符号化するとともに、予備画像符号化部では前記画像符号化部とは異なるフレームレートで画像データを符号化した予備画像データを作成し、
多重化されたデータを再生するときに音声データと画像データを同期させるための同期情報を作成し、
音声データの符号化信号，画像符号化部で符号化された符号化信号，前記同期情報ならびに前記予備画像データを多重化し、
音声画像多重化データ再生工程では、
音声画像多重化データ生成工程で多重化された多重化データを、音声データ，画像データ，同期情報，予備画像データに多重分離し、
多重分離された前記音声データの復号化処理を実行する音声復号化部と、多重分離された前記画像データの復号化処理を実行する画像復号化部とを、前記同期情報によって再生音声と再生画像とを同期して出力できるようにそれぞれの処理を制御し、前記画像復号化部の処理が間に合わなかった場合には多重分離された前記画像データに代わって予備画像データを前記画像復号化部で復号化し、前記画像復号化部の処理が所定時間内に完了した時点で前記予備画像データに代わって多重分離された前記画像データを前記画像復号化部で復号化して元のフレームレートでの動画像再生に回復させる
音声画像多重化データ生成再生システム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002338673A JP2004173118A (ja) | 2002-11-22 | 2002-11-22 | 音声画像多重化データ生成装置と再生装置および動画像復号化装置 |
| US10/700,461 US20040103446A1 (en) | 2002-11-22 | 2003-11-05 | Audio-video multiplexed data generating apparatus, reproducing apparatus and moving video decoding apparatus |
| CNB2003101199230A CN1270540C (zh) | 2002-11-22 | 2003-11-24 | 声音图像多路复用数据生成装置和重放装置及生成重放方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002338673A JP2004173118A (ja) | 2002-11-22 | 2002-11-22 | 音声画像多重化データ生成装置と再生装置および動画像復号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004173118A true JP2004173118A (ja) | 2004-06-17 |
Family
ID=32321907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002338673A Withdrawn JP2004173118A (ja) | 2002-11-22 | 2002-11-22 | 音声画像多重化データ生成装置と再生装置および動画像復号化装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20040103446A1 (ja) |
| JP (1) | JP2004173118A (ja) |
| CN (1) | CN1270540C (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100638138B1 (ko) | 2005-05-24 | 2006-10-24 | 주식회사 픽스트리 | 비디오/오디오 부호화 및 다중화 기능을 가진 하드웨어장치 및 그 작동 방법 |
| JP2007058541A (ja) * | 2005-08-24 | 2007-03-08 | Matsushita Electric Ind Co Ltd | プロセッサ、処理方法及び処理プログラム |
| JP2007288559A (ja) * | 2006-04-18 | 2007-11-01 | Matsushita Electric Ind Co Ltd | 再生方法および再生装置 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4162629B2 (ja) * | 2004-06-01 | 2008-10-08 | 三洋電機株式会社 | デコーダ装置 |
| CN101273636A (zh) * | 2005-09-27 | 2008-09-24 | 皇家飞利浦电子股份有限公司 | 用于在mhp或ocap广播系统中提供缩减带宽视频的系统和方法 |
| WO2008007905A1 (en) * | 2006-07-12 | 2008-01-17 | Lg Electronics Inc. | Method and apparatus for encoding/decoding signal |
| US8271553B2 (en) * | 2006-10-19 | 2012-09-18 | Lg Electronics Inc. | Encoding method and apparatus and decoding method and apparatus |
| JP5022025B2 (ja) * | 2006-12-27 | 2012-09-12 | インターナショナル・ビジネス・マシーンズ・コーポレーション | コンテンツのデータ・ストリームとメタデータを同期するための方法および装置。 |
| US7705880B2 (en) * | 2007-01-17 | 2010-04-27 | Nice Systems Ltd. | Device, system and method for encoding employing redundancy and switching capabilities |
| WO2009059169A2 (en) * | 2007-10-31 | 2009-05-07 | Richard Crosby | Broadcast television distribution services architecture |
| US9792363B2 (en) * | 2011-02-01 | 2017-10-17 | Vdopia, INC. | Video display method |
| KR102459917B1 (ko) * | 2015-02-23 | 2022-10-27 | 삼성전자주식회사 | 이미지 신호 프로세서와 이를 포함하는 장치들 |
| KR20180068069A (ko) * | 2016-12-13 | 2018-06-21 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
-
2002
- 2002-11-22 JP JP2002338673A patent/JP2004173118A/ja not_active Withdrawn
-
2003
- 2003-11-05 US US10/700,461 patent/US20040103446A1/en not_active Abandoned
- 2003-11-24 CN CNB2003101199230A patent/CN1270540C/zh not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100638138B1 (ko) | 2005-05-24 | 2006-10-24 | 주식회사 픽스트리 | 비디오/오디오 부호화 및 다중화 기능을 가진 하드웨어장치 및 그 작동 방법 |
| US8041180B2 (en) | 2005-05-24 | 2011-10-18 | Pixtree Inc. | Hardware apparatus and method having video/audio encoding and multiplexing functionality |
| JP2007058541A (ja) * | 2005-08-24 | 2007-03-08 | Matsushita Electric Ind Co Ltd | プロセッサ、処理方法及び処理プログラム |
| JP2007288559A (ja) * | 2006-04-18 | 2007-11-01 | Matsushita Electric Ind Co Ltd | 再生方法および再生装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1270540C (zh) | 2006-08-16 |
| US20040103446A1 (en) | 2004-05-27 |
| CN1503571A (zh) | 2004-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100661895B1 (ko) | 영상 데이터 처리 장치 및 처리 방법 | |
| US7844166B2 (en) | Reproduction device, video decoding device, synchronization/reproduction method, program and recording medium | |
| US20080198930A1 (en) | Image information transmission system, image information transmitting apparatus, image information receiving apparatus, image information transmission method, image information transmitting method, and image information receiving method | |
| JP2008500752A (ja) | ビデオデータの適応型復号 | |
| JP2004173118A (ja) | 音声画像多重化データ生成装置と再生装置および動画像復号化装置 | |
| JP2008167061A (ja) | 符号化装置及び符号化方法 | |
| JP2006148825A (ja) | デジタル放送受信装置 | |
| JP2011244328A (ja) | 映像再生装置及び映像再生装置の制御方法 | |
| JP5194343B2 (ja) | 情報再生装置及び情報再生方法 | |
| JP4096915B2 (ja) | デジタル情報再生装置及び方法 | |
| JP6776126B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| JPH08102908A (ja) | 再生装置 | |
| JP4127205B2 (ja) | 画像記録装置 | |
| JP2001231035A (ja) | 復号同期制御装置、復号装置、及び復号同期制御方法 | |
| JP3000949B2 (ja) | 音声・画像同期圧縮再生装置及びその方法 | |
| JP2006339857A (ja) | 復号化装置 | |
| JP2003169296A (ja) | 動画像の再生方法 | |
| JP4867872B2 (ja) | 画像処理装置、この画像処理装置の制御方法、及び、プログラム | |
| JP4703733B2 (ja) | 映像・音声再生装置 | |
| JP2009010714A (ja) | 動画像符号化データ変換装置 | |
| JP2006180091A (ja) | コンテンツ合成装置及び方法 | |
| JP2002185849A (ja) | 出力装置、及びテレシネ表示方法 | |
| JP2005236386A (ja) | 画像処理装置 | |
| JP2016174273A (ja) | 画像処理装置、画像処理システム、及び、プログラム | |
| JP2001186529A (ja) | Ｍｐｅｇデコード回路並列駆動システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051107 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20080728 |