JPWO2007105697A1 - Digital image data processing apparatus and processing method - Google Patents

Digital image data processing apparatus and processing method Download PDF

Info

Publication number
JPWO2007105697A1
JPWO2007105697A1 JP2008505143A JP2008505143A JPWO2007105697A1 JP WO2007105697 A1 JPWO2007105697 A1 JP WO2007105697A1 JP 2008505143 A JP2008505143 A JP 2008505143A JP 2008505143 A JP2008505143 A JP 2008505143A JP WO2007105697 A1 JPWO2007105697 A1 JP WO2007105697A1
Authority
JP
Japan
Prior art keywords
reference frame
frame data
decoding
idr
digital image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008505143A
Other languages
Japanese (ja)
Other versions
JP4869330B2 (en
Inventor
研司 水戸
研司 水戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Priority to JP2008505143A priority Critical patent/JP4869330B2/en
Publication of JPWO2007105697A1 publication Critical patent/JPWO2007105697A1/en
Application granted granted Critical
Publication of JP4869330B2 publication Critical patent/JP4869330B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】再生時刻情報と実際に表示される時刻とのずれを防止しつつ、画像再生までの操作者の待ち時間を低減する。【解決手段】ＥＳＢｕｆｆｅｒ５０がＩＤＲ−ＡＵ及びｎｏｎＩＤＲ−ＡＵを順次蓄積し、切替指示信号が入力されると、ＩＤＲ−ＡＵのうち最新のものを起点としてＨ２６４デコーダ６０が復号化を順次開始する。このようにして順次復号化を行っていき、復号化の進展とともに各ＡＵのＰＴＳから作成した再生時刻が過去側から現在時刻側に徐々に追いついて現在時刻よりも未来になったときに表示を開始させ、通常の復号化シーケースに戻る。An object of the present invention is to reduce an operator's waiting time until image reproduction while preventing a deviation between reproduction time information and time actually displayed. When an ES buffer 50 sequentially accumulates IDR-AU and nonIDR-AU and a switching instruction signal is input, an H264 decoder 60 sequentially starts decoding from the latest IDR-AU. Decoding is performed sequentially in this way, and when the playback time created from the PTS of each AU gradually catches up from the past side to the present time side as the decoding progresses, the display is displayed when the future is later than the present time. Start and return to normal decryption case.

Description

本発明は、符号化データを可変長にてパケット化した複数のデータパケットをデジタル処理するデジタル画像データ処理装置及び処理方法に関するものである。   The present invention relates to a digital image data processing apparatus and processing method for digitally processing a plurality of data packets obtained by packetizing encoded data with a variable length.

例えばデジタル又はインターネット放送受信機を用いて、ビデオデータやオーディオデータをデジタル化して多重伝送するデジタル放送が既に開始されている。このデジタル放送においては、所定の圧縮符号化方式（例えばＭＰＥＧ；Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ方式等）が採用され、複数の番組のデータが、当該符号化方式に対応したストリーム（例えばＭＰＥＧトランスポートストリーム；ＭＰＥＧ−ＴＳ等）に多重化して伝送される。このように多重化しストリームとして伝送されたデータは、これを受信した受信機側において所望のデータが選択的に抽出される。このとき、受信データには、例えば画像フレームごとに時刻情報（再生時刻情報）が連続的に付与されており、この時刻情報を用いて復号装置にデコード処理を行わせることにより、時間順序に沿った整合性を保持しつつ、フレームの復号化及び再生が行われるようになっている。   For example, digital broadcasting for digitizing video data and audio data and multiplex transmission using a digital or Internet broadcast receiver has already been started. In this digital broadcasting, a predetermined compression encoding method (for example, MPEG; Moving Picture Expert Group method) is adopted, and data of a plurality of programs is stream (for example, MPEG transport stream; MPEG) corresponding to the encoding method. -TS etc.) are multiplexed and transmitted. From the data thus multiplexed and transmitted as a stream, desired data is selectively extracted at the receiver side that has received the data. At this time, for example, time information (reproduction time information) is continuously given to the received data for each image frame. By using this time information to cause the decoding device to perform decoding processing, the time data is arranged in time order. The frame is decoded and reproduced while maintaining the consistency.

このような再生時刻情報に関し、従来、復号化のための指示信号により復号化対象を切り替えたときの表示待ち時間を低減するための技術として、例えば特許文献１記載のものが提唱されている。この従来技術では、同一ストリーム内においてチャンネルを切り替えた時の待ち時間をなくすために、一時保存用のバッファーを設けてフレーム群の先頭を保持しておき、上記切り替えの際に当該先頭のフレームから復号化を行うようになっている。   With regard to such reproduction time information, conventionally, for example, a technique described in Patent Document 1 has been proposed as a technique for reducing the display waiting time when the decoding target is switched by an instruction signal for decoding. In this prior art, in order to eliminate the waiting time when the channel is switched in the same stream, a temporary storage buffer is provided to hold the head of the frame group, and from the head frame at the time of the switching, Decryption is performed.

特開平１０−１９０６１７号公報JP-A-10-190617

近年、ブロードバンド化の一層の進展に伴い、携帯電話機やその他の携帯端末等、比較的簡素な構造のデジタル又はインターネット放送受信機を用い、簡易的な動画配信を行うことが計画されている。一般に動画配信を行う場合画像を圧縮して送付する。この場合、動画を構成する各画像はそれ自身で一枚の絵を生成できるＩＤＲピクチャー（基準フレームデータ）と、参照画像を要するｎｏｎＩＤＲピクチャー（非基準フレームデータ）とに分けられる。狭帯域で動画を送ろうとした場合にはＩＤＲピクチャーの挿入間隔が長くなってしまうことが多い。   In recent years, with the further progress of broadbandization, it is planned to perform simple moving image distribution using a digital or Internet broadcast receiver having a relatively simple structure such as a mobile phone or other portable terminals. In general, when moving images are distributed, images are compressed and sent. In this case, each image constituting the moving image is divided into an IDR picture (standard frame data) that can generate one picture by itself and a nonIDR picture (non-standard frame data) that requires a reference image. When trying to send a moving image in a narrow band, the IDR picture insertion interval often becomes long.

この伝送方式では、トータルの伝送量を削減できる一方で、復号化は上記基準フレームデータからしか行うことができない。このため、復号化のための指示信号（例えば簡易動画配信サービスへの切替信号）が上記基準フレームデータと次の基準フレームデータとの間に入力された場合、当該次の基準フレームデータを受信し復号化するまでの間、画像を再生することができず、操作者を長く待たせることとなってその利便性を阻害する。   In this transmission method, the total transmission amount can be reduced, while decoding can be performed only from the reference frame data. For this reason, when an instruction signal for decoding (for example, a switching signal to the simple video distribution service) is input between the reference frame data and the next reference frame data, the next reference frame data is received. Until the image is decoded, the image cannot be reproduced, which makes the operator wait for a long time and hinders the convenience.

このとき、上記従来技術を適用し、表示待ち時間をなくすことも考えられるが、上記従来技術では、非表示の時間を回避することのみに主眼がおかれており、各フレームデータの再生時刻情報と実際の再生時刻との一致については特に配慮されていない。このため、切り替えのタイミングで本来提示すべき画像より過去の映像を出力することになる。例えば地上波デジタルワンセグ放送ではＡＲＩＢ ＴＲ−Ｂ１４によると上記基準フレームデータが約２秒に１回発生するとされているが、このような場合、切り替えのタイミングによって、本来表示するべき時刻に対し最大２秒古い過去の映像を表示するというずれが発生する。   At this time, it is possible to eliminate the display waiting time by applying the above-mentioned conventional technique, but the above-mentioned conventional technique focuses only on avoiding the non-display time, and reproduction time information of each frame data No particular consideration is given to the coincidence between the actual reproduction time and the actual reproduction time. For this reason, a past video is output from the image that should be originally presented at the switching timing. For example, in terrestrial digital one-segment broadcasting, according to ARIB TR-B14, the reference frame data is generated about once every 2 seconds. In such a case, the maximum 2 times of the time to be originally displayed is selected depending on the switching timing. There is a discrepancy in displaying past images that are 2 seconds old.

本発明が解決しようとする課題には、上記に示した問題が一例として挙げられる。   Examples of problems to be solved by the present invention include the problems described above.

上記課題を解決するために、請求項１記載の発明は、符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータとそれ以外の非基準フレームデータとを含む複数のデータパケットのストリームを処理するデジタル画像データ処理装置であって、前記複数のデータパケットに備えられる前記基準フレームデータ及び前記非基準フレームデータを順次蓄積する蓄積手段と、所定の指示信号に応じ、前記蓄積手段に蓄積された最新の前記基準フレームデータを復号化起点に、当該基準フレームデータ及びそれ以降の複数の前記非基準フレームデータの復号化を順次行う復号化手段と、この復号化手段により順次復号化された前記複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻と現在時刻との前後関係に応じて、前記復号化手段で復号化されたフレームデータに基づく表示手段の表示動作の制御を行う制御手段とを有する。   In order to solve the above-mentioned problem, the invention according to claim 1 is characterized in that the encoded frame data is packetized with a variable length and formed as reference frame data that can be a decoding starting point when decoding along the time axis. A digital image data processing apparatus for processing a plurality of data packet streams including other non-reference frame data, and sequentially storing the reference frame data and the non-reference frame data provided in the plurality of data packets. In response to a predetermined instruction signal, the storage means and the latest reference frame data stored in the storage means are used as decoding starting points to sequentially decode the reference frame data and a plurality of non-reference frame data thereafter. A decoding means for performing each of the non-reference frame data sequentially decoded by the decoding means. Depending on the context of the playback time and the current time created from the reproduction time information, and a control unit for controlling the display operation of the display means based on the decoded frame data in the decoding means.

また、請求項６記載の発明は、符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータとそれ以外の非基準フレームデータとを含む複数のデータパケットのストリームを処理するデジタル画像データ処理方法であって、前記複数のデータパケットに備えられる前記基準フレームデータ及び前記非基準フレームデータを順次蓄積する蓄積手順と、所定の指示信号に応じ、前記蓄積された最新の前記基準フレームデータを復号化起点に、当該基準フレームデータ及びそれ以降の複数の前記非基準フレームデータの復号化を順次行う復号化手順と、この復号化手段により順次復号化された前記複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻と現在時刻との前後関係に応じて、前記復号化手段で復号化されたフレームデータに基づく表示動作の制御を行う制御手順とを有する。   The invention according to claim 6 is the reference frame data formed by packetizing the encoded data with a variable length, which can be a decoding starting point when decoding along the time axis, and other non-reference frames A digital image data processing method for processing a plurality of data packet streams including data, a storage procedure for sequentially storing the reference frame data and the non-reference frame data included in the plurality of data packets; A decoding procedure for sequentially decoding the reference frame data and a plurality of non-reference frame data thereafter, starting from the latest stored reference frame data as a decoding start point according to an instruction signal, and the decoding Reproduction created from reproduction time information provided in each of the plurality of non-reference frame data sequentially decoded by the means Time and depending on the context of the current time, and a control procedure for controlling the display operation based on the frame data decoded by said decoding means.

以下、本発明の一実施の形態を図面を参照しつつ説明する。この実施形態は、デジタル画像データ処理装置の一例として、ＭＰＥＧ２システムを用いた地上波デジタル放送の受信機、特に、ＨＤＴＶサービスと簡易動画サービス（例えば映像符号化方式としてＨ．２６４が使用される）を含む放送を受信可能な受信機に適用した場合の実施形態である。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. In this embodiment, as an example of a digital image data processing apparatus, a terrestrial digital broadcast receiver using an MPEG2 system, particularly an HDTV service and a simple moving image service (for example, H.264 is used as a video encoding method). This is an embodiment when applied to a receiver capable of receiving broadcasts including

図１は、本実施形態の受信機の全体機能構成を表す機能ブロック図である。   FIG. 1 is a functional block diagram showing the overall functional configuration of the receiver of this embodiment.

図１において、デジタル画像データ処理装置としてのこの受信機１は、ＲＦ信号を受信するチューナ１０と、受信されたＲＦ信号を例えばＯＦＤＭ復調する復調部２０と、復調部２０からのトランスポートストリーム（ＴＳ）
を一次格納するＴＳＢｕｆｆｅｒ３０と、ＴＳＤｅｍｕｘ（デマルチプレクサ）４０と、有限サイズであって例えばリングバッファーなどで構成されるＥＳＢｕｆｆｅｒ５０（蓄積手段）と、Ｈ．２６４デコーダ６０と、最終的に画像データを出力するビデオ送出器７０と、ＥＳＢｕｆｆｅｒ５０内の簡易動画映像ＥＳについてＩＤＲ−ＡＵを検出するＩＤＲ検出器８０と、ＩＤＲポインタ保持器９０と、ＰＴＳ判定器１１０とを有している。In FIG. 1, the receiver 1 as a digital image data processing apparatus includes a tuner 10 that receives an RF signal, a demodulator 20 that performs OFDM demodulation on the received RF signal, for example, and a transport stream ( TS)
TSBuffer 30 (primary storage), TSD demux (demultiplexer) 40, ES Buffer 50 (accumulation means) having a finite size, for example, a ring buffer, and the like. H.264 decoder 60, video transmitter 70 that finally outputs image data, IDR detector 80 that detects IDR-AU for the simple moving picture ES in ESBuffer 50, IDR pointer holder 90, and PTS determiner 110 And have.

復調部２０は、チューナ１０で受信されたＲＦ信号に対し、ＦＦＴ、デインターリーブ、デマッピング等の公知の手法によりチャネルデコード（復調）を行いＴＳＢｕｆｆｅｒ３０に格納する。   The demodulation unit 20 performs channel decoding (demodulation) on the RF signal received by the tuner 10 by a known method such as FFT, deinterleaving, and demapping, and stores the result in the TSBuffer 30.

ＴＳＤｅｍｕｘ４０は、上記ＴＳＢｕｆｆｅｒ３０からのＴＳパケットを解析し、指定されたＰＩＤのＴＳパケットを抽出し特定のエレメンタリストリーム（ＥＳ）を抜き出し、ＥＳＢｕｆｆｅｒ５０に格納する。また一方、再生時刻情報としてのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を抽出し、対応する上記ＥＳの保持領域を指し示す情報とともにＰＴＳ保持器１００へと出力する。なお、ＴＳＤｅｍｕｘ４０では、簡易動画サービスの映像ＥＳと時刻情報（ＰＣＲ）については常にＤｅｍｕｘ（多重分離）を行っており、常にデータをＥＳＢｕｆｆｅｒ５０へ供給する。   The TSDemux 40 analyzes the TS packet from the TSBuffer 30, extracts a TS packet of the designated PID, extracts a specific elementary stream (ES), and stores it in the ESBuffer 50. On the other hand, a PTS (Presentation Time Stamp) as reproduction time information is extracted and output to the PTS holder 100 together with information indicating the corresponding ES holding area. Note that the TSD demux 40 always performs demux (demultiplexing) on the video ES and time information (PCR) of the simple moving image service, and always supplies data to the ES buffer 50.

ＩＤＲ検出器８０は、ＥＳＢｕｆｆｅｒ５０に時々刻々と格納されるＥＳデータを常に検査し、ＩＤＲ−ＡＵの検出を行う。ＩＤＲ−ＡＵが検出された際には、その領域を指し示す情報をＩＤＲポインタ保持器９０に格納する。   The IDR detector 80 always inspects ES data stored in the ESBuffer 50 from time to time to detect IDR-AU. When the IDR-AU is detected, information indicating the area is stored in the IDR pointer holder 90.

ＩＤＲポインタ保持器９０は、ＩＤＲ検出器８０で検出したＩＤＲ−ＡＵに基づき、最新のＩＤＲ−ＡＵの先頭格納位置を保持する。すなわち、新しいＩＤＲ−ＡＵが検出された場合にはそのＩＤＲ−ＡＵのアドレスに差し替えられる。   The IDR pointer holder 90 holds the head storage position of the latest IDR-AU based on the IDR-AU detected by the IDR detector 80. That is, when a new IDR-AU is detected, the IDR-AU address is replaced.

ＰＴＳ保持器１００は、ＩＤＲポインタ保持器９０と連携し、上記ＰＥＳから抽出されたＰＴＳを、対応するＥＳの領域情報と併せて（関連付けて）保持する。   The PTS holder 100 cooperates with the IDR pointer holder 90 and holds the PTS extracted from the PES together with (associated with) the area information of the corresponding ES.

Ｈ．２６４デコーダ６０は、例えば操作者による操作手段（図示せず）の操作や電波状況の悪化等に基づく切替指示信号（切替要求）によってデコード動作の開始・停止が制御される。すなわち、簡易動画表示を行うための切替指示信号が入力されたら、上記ＩＤＲポインタ保持器９０に格納された情報に基づき、ＥＳＢｕｆｆｅｒ５０のうち対応する領域から１ＡＵごとにデコード（復号化）を行う。なお、このデコードはリソースが許す限りにおいて高速に行っている。なお、ＰＴＳが存在しないアクセスユニットに関しては、Ｈ．２６４の仕様に従いＰＴＳを生成して、ＰＴＳ判定器１１０へ供給する。   H. The H.264 decoder 60 controls the start / stop of the decoding operation by a switching instruction signal (switching request) based on, for example, operation of an operating means (not shown) by an operator or deterioration of radio wave conditions. That is, when a switching instruction signal for displaying a simple moving image is input, decoding (decoding) is performed for each AU from the corresponding area in the ESBuffer 50 based on the information stored in the IDR pointer holder 90. Note that this decoding is performed as fast as the resources allow. For access units that do not have a PTS, H.264 A PTS is generated according to the H.264 specification and supplied to the PTS determination unit 110.

ＰＴＳ判定器１１０は各ＡＵごとにＰＴＳと現在の時刻とを比較し、ＰＴＳが現在の時刻より未来になったら、ビデオ送出器７０にイネーブル信号（ＰＴＳと画像データ）とを送出する。   The PTS determination unit 110 compares the PTS with the current time for each AU, and sends an enable signal (PTS and image data) to the video transmitter 70 when the PTS is later than the current time.

ビデオ送出器７０は、ＰＴＳ判定器１１０からのイネーブル信号に基づき、ＰＴＳが指定した時刻になったらデコード後の画像信号を送出する。   Based on the enable signal from the PTS determiner 110, the video transmitter 70 transmits the decoded image signal when the time specified by the PTS is reached.

図２（ａ）及び図２（ｂ）は、上記構成の受信機１により実行される、簡易動画画像への切替直後のデコード動作の原理を概念的に表す説明図である。   FIGS. 2A and 2B are explanatory diagrams conceptually showing the principle of the decoding operation performed immediately after switching to the simple moving image performed by the receiver 1 having the above configuration.

図２（ａ）は、横軸に時間軸をとった（但し時刻は後述のＰＴＳに対応させるための概念値である）動作挙動タイミングを表す図である。この図２（ａ）において、例えば、時刻１２５において、ＨＤＴＶサービスから簡易動画サービスへの切替信号が入力された場合を考える。   FIG. 2A is a diagram showing operation behavior timing with the time axis on the horizontal axis (however, the time is a conceptual value for corresponding to PTS described later). In FIG. 2A, for example, consider a case where a switching signal from the HDTV service to the simple video service is input at time 125.

図２（ｂ）は、この時刻１２５の時点で、チューナ１０で受信され復調部２０及びＴＳＤｅｍｕｘ４０を経てＥＳＢｕｆｆｅｒ５０に蓄積されたＡＵを、時間軸に沿って下から上へと「Ｐ○」（○は数字）の形式で便宜的に表したものであり、各ＡＵのＰＴＳ（上記時刻概念値で表す）がその横に表されている。この例では、図中の「Ｐ０」がＩＤＲ−ＡＵであり、他の「Ｐ−１」「Ｐ１」‥等がｎｏｎＩＤＲ−ＡＵである。   FIG. 2B shows the AU received by the tuner 10 and accumulated in the ES buffer 50 through the demodulator 20 and the TSD demux 40 at the time 125 as “PＰ” (○ Is a number) for convenience, and each AU's PTS (represented by the above time conceptual value) is represented beside it. In this example, “P0” in the figure is IDR-AU, and the other “P-1,” “P1,” etc. are nonIDR-AU.

前述した簡易動画サービスで映像符号化方式として用いられるＨ．２６４のＡＲＩＢ、ＴＲ−Ｂ１４での運用ではＩＤＲ周期が通常約２秒となっているが、本実施形態では、前述したように、次のＩＤＲ−ＡＵが蓄積されるまで、その時点で一番新しいＩＤＲ−ＡＵ又はこれに関する情報（この例ではＩＤＲポインタ）がＩＤＲポインタ保持器９０で常に保持されている。この時点で一番新しいＩＤＲ−ＡＵは「Ｐ０」であり（図２（ｂ）参照）これが保持されている。したがって、図２（ａ）において、時刻１２５で切替信号が入力された後はＩＤＲ−ＡＵである「Ｐ０」からデコードを開始する。   H. is used as a video encoding method in the simple video service described above. In operation with H.264 ARIB and TR-B14, the IDR cycle is normally about 2 seconds, but in this embodiment, as described above, until the next IDR-AU is accumulated, A new IDR-AU or information related thereto (IDR pointer in this example) is always held in the IDR pointer holder 90. At this time, the newest IDR-AU is “P0” (see FIG. 2B), which is held. Therefore, in FIG. 2A, after the switching signal is input at time 125, decoding is started from “P0” that is IDR-AU.

「Ｐ０」のデコードが完了した時点では少し時間が経過し現在時刻が時刻１２８になっており、これと当該「Ｐ０」のＰＴＳ１１０とを比較した場合、ＰＴＳ１１０は現在時刻１２８よりも古い（過去）であるため、画像表示は行わず、次のＡＵのデコード処理に移行する。   When the decoding of “P0” is completed, a little time has passed and the current time is time 128. When this is compared with the PTS 110 of “P0”, the PTS 110 is older than the current time 128 (past). Therefore, the image display is not performed, and the process proceeds to the next AU decoding process.

次の「Ｐ１」のデコードが完了したときの現在時刻は１３２となっており、この「Ｐ１」のＰＴＳ１２０のほうが過去であるため、上記同様、画像表示が行わない。同様に、「Ｐ２」についてもデコード完了時の現在時刻よりＰＴＳのほうが過去であり画像表示は行わない。しかしながら、Ｐ０→Ｐ１→Ｐ２と、デコード完了時の現在時刻とＰＴＳとの差が徐々に縮まり、デコード処理が追いついてくる挙動となる。   The current time when the decoding of the next “P1” is completed is 132, and since the PTS 120 of “P1” is in the past, image display is not performed as described above. Similarly, for “P2”, the PTS is earlier than the current time when decoding is completed, and no image display is performed. However, P0 → P1 → P2, and the difference between the current time at the completion of decoding and the PTS is gradually reduced, and the decoding process catches up.

そしてついに、「Ｐ３」のデコード完了時の現在時刻は１３７となり、「Ｐ３」のＰＴＳ１４０よりも新しい（未来の）時刻となる。これにより映像表示予約を行って（＝具体的にはイネーブル信号をＰＴＳ判定器１１０からビデオ送出器７０へ発して、詳細は後述）ＰＴＳの表す時刻１４０になったら当該「Ｐ３」ＡＵのフレームを表示させるようにし、以降は通常のデコード処理を行う。   Finally, the current time when the decoding of “P3” is completed is 137, which is a newer (future) time than the PTS 140 of “P3”. As a result, a video display reservation is made (= specifically, an enable signal is sent from the PTS determination unit 110 to the video transmitter 70, and details will be described later). After that, normal decoding processing is performed.

図３は、上記図２に示した挙動を実現するために受信機１全体で実行される制御手順を表すフローチャートである。   FIG. 3 is a flowchart showing a control procedure executed by the entire receiver 1 in order to realize the behavior shown in FIG.

図３において、まず初期状態として、ＨＤＴＶサービスと簡易動画サービスとを含む地上デジタル放送をチューナ１０で受信し、上記復調部２０による復調、Ｈ．２６４デコーダ６０による復号化を経て、ＨＤＴＶサービスによる画像が表示部に表示されている状態で、このフローが起動される。   In FIG. 3, first, as an initial state, a digital terrestrial broadcast including an HDTV service and a simple moving image service is received by the tuner 10 and demodulated by the demodulator 20; This flow is started in a state where an image by the HDTV service is displayed on the display unit after being decoded by the H.264 decoder 60.

まずステップＳ５において、Ｈ．２６４デコーダ６０で、前述の操作手段（図示せず）の操作や電波状況の悪化に基づく切替指示信号が入力されたかどうかを判定する。   First, in step S5, H.D. The H.264 decoder 60 determines whether or not a switching instruction signal based on the operation of the aforementioned operating means (not shown) or the deterioration of the radio wave condition has been input.

切替指示信号が入力されていない場合は判定が満たされずステップＳ１０に移り、ＩＤＲ検出器８０で、ＥＳＢｕｆｆｅｒ５０に新しいＰＥＳデータが格納されたかどうかを判定する。ＴＳＤｅｍｕｘ４０で抽出されＥＳＢｕｆｆｅｒ５０に格納された新しいＰＥＳがあった場合には判定が満たされ、ステップＳ１５に移る。新しいＰＥＳがなかった場合には判定が満たされず、ステップＳ５に戻り同様の手順を繰り返す。   If the switching instruction signal has not been input, the determination is not satisfied and the routine goes to Step S10, where the IDR detector 80 determines whether new PES data is stored in the ESBuffer 50. If there is a new PES extracted by the TSDemux 40 and stored in the ESBuffer 50, the determination is satisfied, and the routine goes to Step S15. If there is no new PES, the determination is not satisfied and the process returns to step S5 and the same procedure is repeated.

ステップＳ１５では、ＩＤＲ検出器８０で、ＥＳＢｕｆｆｅｒ５０に蓄積された新しいＰＥＳデータの解析を行い、続くステップＳ２０においてＩＤＲ−ＡＵが存在するかどうかを判定する。ＩＤＲ−ＡＵが存在しない場合（ｎｏｎＩＤＲ−ＡＵであった場合）は判定が満たされず、ステップＳ１０に戻って同様の手順を繰り返す。ＩＤＲ−ＡＵが存在した場合は、判定が満たされ、ステップＳ２５に移る。   In step S15, the IDR detector 80 analyzes the new PES data stored in the ESBuffer 50, and determines in step S20 whether an IDR-AU exists. If IDR-AU does not exist (if it is nonIDR-AU), the determination is not satisfied, and the process returns to step S10 and the same procedure is repeated. If IDR-AU exists, the determination is satisfied, and the routine goes to Step S25.

ステップＳ２５では、ＩＤＲポインタ保持器９０で、当該検出したＩＤＲ−ＡＵのＥＳＢｕｆｆｅｒにおけるポインタデータの保持（いいかえれば保持していたそれまでの最新ポインタデータの上書き更新）を行うとともに、続くステップＳ３０において、ＰＴＳ保持器１００で、対応するＩＤＲ−ＡＵのＰＴＳを保存し、ステップＳ１０に戻る。   In step S25, the IDR pointer holder 90 holds the pointer data in the ESBuffer of the detected IDR-AU (in other words, overwrites and updates the latest pointer data held so far), and in the subsequent step S30, The PTS of the corresponding IDR-AU is stored in the PTS holder 100, and the process returns to step S10.

一方、前述のステップＳ５において、簡易動画サービスへの切替指示信号が入力されていた場合、Ｈ．２６４デコーダ６０によるこの判定が満たされ、ステップＳ３５へ移る。   On the other hand, if the switching instruction signal to the simple video service is input in the above-described step S5, This determination by the H.264 decoder 60 is satisfied, and the routine goes to Step S35.

ステップＳ３５では、Ｈ．２６４デコーダ６０で、ＩＤＲポインタ保持器９０でポインタデータを保持していたＩＤＲ−ＡＵから順次ＡＵをＥＳＢｕｆｆｅｒ５０より取得し、各ＡＵのデコード処理を開始する（復号化手順）。   In step S35, H.C. The H.264 decoder 60 sequentially acquires AUs from the ESBuffer 50 from the IDR-AU that has held the pointer data in the IDR pointer holder 90, and starts decoding processing of each AU (decoding procedure).

その後、ステップＳ４０において、ＰＴＳ判定器１１０で、上記ステップＳ３５で順次デコードしていくＡＵ（言い換えれば、上記ＩＤＲポインタ保持器９０がポインタデータを保持していたＩＤＲ−ＡＵ及びそれ以降のＡＵ）のＰＴＳをＰＴＳ保持器１００又はＨ．２６４デコーダ６０より取得する。   Thereafter, in step S40, the PTS determination unit 110 sequentially decodes AUs in step S35 (in other words, IDR-AU in which the IDR pointer holder 90 holds pointer data and AUs thereafter). PTS is replaced with PTS holder 100 or H.264. Obtained from the H.264 decoder 60.

そして、ステップＳ４５において、ＰＴＳ判定器１１０で、順次デコードした各ＡＵのＰＴＳと現在時刻とを比較し、ＡＵのＰＴＳが現在時刻より先（未来）の時刻であるかどうかを判定する（比較手順）。ＰＴＳが過去の時刻であった場合、判定が満たされず、ステップＳ３５に戻り、ＰＴＳが映像送出可能な未来の時刻になるまでステップＳ３５のデコード手順とステップＳ４０のＰＴＳ取得手順とを繰り返す。   In step S45, the PTS determination unit 110 compares the PTS of each AU sequentially decoded with the current time, and determines whether the PTS of the AU is ahead (future) time (comparison procedure). ). If the PTS is in the past time, the determination is not satisfied, the process returns to step S35, and the decoding procedure in step S35 and the PTS acquisition procedure in step S40 are repeated until the PTS reaches a future time at which video transmission is possible.

ＰＴＳが未来の時刻（言い換えればこれから画像送出可能な時刻）であれば、ステップＳ５０に移り、ＰＴＳ判定器１１０でビデオ送出器７０に対して映像出力予約を行う（開始手順）。これ以降は、通常と同様のデコードシーケンスへ遷移することとなるので、説明を省略する。   If the PTS is a future time (in other words, a time when an image can be transmitted from now on), the process proceeds to step S50, and the PTS determination unit 110 makes a video output reservation to the video transmitter 70 (start procedure). After this, since the transition to the normal decoding sequence is made, the description is omitted.

以上において、Ｈ．２６４デコーダ６０が、各請求項記載の、所定の指示信号に応じ、蓄積手段に蓄積された最新の基準フレームデータを復号化起点に、当該基準フレームデータ及びそれ以降の複数の非基準フレームデータの復号化を順次行う復号化手段を構成する。   In the above, H.M. The H.264 decoder 60 uses the latest reference frame data stored in the storage means as a decoding starting point in response to a predetermined instruction signal described in each claim, and the reference frame data and a plurality of non-reference frame data thereafter Decoding means for sequentially performing decoding is configured.

また、ＰＴＳ判定器１１０が、復号化手段により順次復号化された複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻と現在時刻との前後関係に応じて、復号化手段で復号化されたフレームデータに基づく表示手段の表示動作の制御を行う制御手段を構成する。このＰＴＳ判定器１１０が実行する図２のステップＳ４５が、複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻と現在時刻を比較する比較手段を構成し、ステップＳ５０が、比較手段比較結果で、再生時刻情報から作成した再生時刻が現在時刻より未来になった場合に、表示手段の表示動作を開始させるための開始手段を構成する。   In addition, the PTS determination unit 110 uses the decoding unit according to the context of the reproduction time and the current time created from the reproduction time information respectively included in the plurality of non-reference frame data sequentially decoded by the decoding unit. Control means for controlling the display operation of the display means based on the decoded frame data is configured. Step S45 of FIG. 2 executed by the PTS determination unit 110 constitutes a comparison unit that compares the reproduction time created from the reproduction time information provided for each of the plurality of non-reference frame data with the current time, and step S50 is a comparison. As a result of the means comparison, when the reproduction time created from the reproduction time information becomes later than the current time, a start means for starting the display operation of the display means is configured.

以上説明したように、本実施形態におけるデジタル画像データ処理装置（この例では受信機）１は、符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータ（この例ではＩＤＲ−ＡＵ）とそれ以外の非基準フレームデータ（この例ではｎｏｎＩＤＲ−ＡＵ）とを含む複数のデータパケット（この例ではＰＥＳパケット）のストリーム（この例ではＴＳストリーム）を処理するデジタル画像データ処理装置１であって、複数のデータパケット（ＰＥＳパケット）に備えられる基準フレームデータＩＤＲ−ＡＵ及び非基準フレームデータｎｏｎＩＤＲ−ＡＵを順次蓄積する蓄積手段（この例ではＥＳＢｕｆｆｅｒ５０）と、所定の指示信号に応じ、蓄積手段５０に蓄積された最新の基準フレームデータＩＤＲ−ＡＵを復号化起点に、当該基準フレームデータＩＤＲ−ＡＵ及びそれ以降の複数の非基準フレームデータｎｏｎＩＤＲ−ＡＵの復号化を順次行う復号化手段（この例ではＨ．２６４デコーダ６０）と、この復号化手段６０により順次復号化された複数の非基準フレームデータｎｏｎＩＤＲ−ＡＵにそれぞれ備えられる再生時刻情報ＰＴＳから作成した再生時刻と現在時刻との前後関係に応じて、復号化手段６０で復号化されたフレームデータ（この例ではＩＤＲ−ＡＵ及びｎｏｎＩＤＲ−ＡＵ）に基づく表示手段の表示動作の制御を行う制御手段（この例ではＰＴＳ判定器１１０）とを有することを特徴とする。   As described above, the digital image data processing apparatus (receiver in this example) 1 according to the present embodiment is formed by packetizing encoded data with a variable length, and performing decoding along the time axis. A stream of a plurality of data packets (in this example, PES packets) including reference frame data (IDR-AU in this example) and other non-reference frame data (in this example, nonIDR-AU) that can be a decoding starting point (this In the example, the digital image data processing apparatus 1 processes a TS stream), and sequentially stores reference frame data IDR-AU and non-reference frame data nonIDR-AU included in a plurality of data packets (PES packets). In this example, it is stored in the storage means 50 in accordance with ESBuffer 50) and a predetermined instruction signal. Decoding means for sequentially decoding the reference frame data IDR-AU and a plurality of non-reference frame data nonIDR-AU thereafter from the latest reference frame data IDR-AU (in this example, H.264 The decoder 60) and the decoding time according to the context of the playback time and the current time created from the playback time information PTS respectively provided in the non-reference frame data nonIDR-AU decoded by the decoding means 60. Control means (PTS determination unit 110 in this example) for controlling the display operation of the display means based on the frame data (IDR-AU and nonIDR-AU in this example) decoded by the conversion means 60 And

簡易動画サービス等、伝送容量に制限のある伝送方式の場合、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータＩＤＲ−ＡＵは、所定の時間間隔をもって送信される場合がある。本実施形態においてはこれに対応し、蓄積手段５０が基準フレームデータＩＤＲ−ＡＵ及び非基準フレームデータｎｏｎＩＤＲ−ＡＵを順次蓄積しておき、所定の指示信号が入力されると、その蓄積された基準フレームデータＩＤＲ−ＡＵのうち最新のものを起点として、復号化手段６０がその基準フレームデータＩＤＲ−ＡＵ及びそれ以降の非基準フレームデータｎｏｎＩＤＲ−ＡＵの復号化を順次開始する。これにより、復号化開始のために入力される上記指示信号が先の基準フレームデータＩＤＲ−ＡＵと次の基準フレームデータＩＤＲ−ＡＵとの間に入力されたとしても、蓄積手段５０に蓄積された先の基準フレームデータＩＤＲ−ＡＵから復号化を行うことができる。   In the case of a transmission method with a limited transmission capacity such as a simple video service, the reference frame data IDR-AU that can be a decoding starting point when performing decoding along the time axis may be transmitted at a predetermined time interval. . In the present embodiment, in response to this, the storage unit 50 sequentially stores the reference frame data IDR-AU and the non-reference frame data nonIDR-AU, and when a predetermined instruction signal is input, the stored reference Starting from the latest frame data IDR-AU, the decoding means 60 sequentially starts decoding the reference frame data IDR-AU and the subsequent non-reference frame data nonIDR-AU. Thus, even if the instruction signal input for starting decoding is input between the previous reference frame data IDR-AU and the next reference frame data IDR-AU, the instruction signal is stored in the storage means 50. Decoding can be performed from the previous reference frame data IDR-AU.

このとき、制御手段１１０は、その順次復号化された各非基準フレームデータｎｏｎＩＤＲ−ＡＵの再生時刻情報ＰＴＳから作成した再生時刻と現在時刻との前後関係に応じて、表示手段による復号化フレームデータの表示制御を行う。これにより、上記のようにして先の基準フレームデータＩＤＲ−ＡＵから順次復号化を行っていき、復号化の進展とともに各フレームデータＡＵの再生時刻が過去側から現在時刻側に徐々に追いついて現在時刻よりも未来になったときに、表示開始させることが可能となる。   At this time, the control unit 110 decodes the decoded frame data by the display unit according to the front-rear relationship between the reproduction time created from the reproduction time information PTS of each non-reference frame data nonIDR-AU that is sequentially decoded and the current time. Display control. As a result, decoding is performed sequentially from the previous reference frame data IDR-AU as described above, and with the progress of decoding, the reproduction time of each frame data AU gradually catches up from the past side to the current time side and now The display can be started when the time is later than the time.

以上のような復号化及び表示制御を行うことにより、所定の時間間隔の基準フレームデータＩＤＲ−ＡＵが受信されるのを待って復号化及び表示を行う通常の場合と異なり、指示信号が先の基準フレームデータＩＤＲ−ＡＵと次の基準フレームデータＩＤＲ−ＡＵとの間に入力されたとしても操作者を長く待たせることなく、速やかに復号化した画像を表示することができる。またこのとき、各フレームＡＵの再生時刻情報と当該フレームＡＵが実際に表示される時刻との間にずれが生じることもなく、正しい時刻に各フレームＡＵを表示させることができる。   By performing the decoding and display control as described above, unlike the normal case where decoding and display are performed after the reference frame data IDR-AU at a predetermined time interval is received, the instruction signal is transmitted in advance. Even if it is input between the reference frame data IDR-AU and the next reference frame data IDR-AU, the decoded image can be displayed promptly without causing the operator to wait for a long time. Further, at this time, each frame AU can be displayed at the correct time without causing a difference between the reproduction time information of each frame AU and the time when the frame AU is actually displayed.

本実施形態のデジタル画像データ処理装置１で実施されるデジタル画像データ処理方法は、符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータ（この例ではＩＤＲ−ＡＵ）とそれ以外の非基準フレームデータ（この例ではｎｏｎＩＤＲ−ＡＵ）とを含む複数のデータパケット（この例ではＰＥＳパケット）のストリーム（この例ではＴＳストリーム）を処理するデジタル画像データ処理方法であって、複数のデータパケット（ＰＥＳパケット）に備えられる基準フレームデータＩＤＲ−ＡＵ及び非基準フレームデータｎｏｎＩＤＲ−ＡＵを順次蓄積する蓄積手順（この例ではＥＳＢｕｆｆｅｒ５０で実行する）と、所定の指示信号に応じ、蓄積手順に蓄積された最新の基準フレームデータＩＤＲ−ＡＵを復号化起点に、当該基準フレームデータＩＤＲ−ＡＵ及びそれ以降の複数の非基準フレームデータｎｏｎＩＤＲ−ＡＵの復号化を順次行う復号化手順（この例ではステップＳ３５の手順）と、この復号化手順Ｓ３５により順次復号化された複数の非基準フレームデータｎｏｎＩＤＲ−ＡＵにそれぞれ備えられる再生時刻情報ＰＴＳから作成した再生時刻と現在時刻との前後関係に応じて、復号化手順Ｓ３５で復号化されたフレームデータ（この例ではＩＤＲ−ＡＵ及びｎｏｎＩＤＲ−ＡＵ）に基づく表示手段の表示動作の制御を行う制御手順（この例ではステップＳ４５及びステップＳ５０の手順）とを有することを特徴とする。   The digital image data processing method implemented by the digital image data processing apparatus 1 according to the present embodiment is formed by packetizing encoded data with a variable length, and serves as a starting point for decoding along the time axis. Stream of a plurality of data packets (PES packets in this example) including possible reference frame data (IDR-AU in this example) and other non-reference frame data (nonIDR-AU in this example) (TS stream in this example) ) Is a digital image data processing method that sequentially stores reference frame data IDR-AU and non-reference frame data nonIDR-AU provided in a plurality of data packets (PES packets) (in this example, ES Buffer 50) Execute) and the maximum stored in the storage procedure according to a predetermined instruction signal. Decoding procedure for sequentially decoding the reference frame data IDR-AU and a plurality of non-reference frame data nonIDR-AU thereafter from the decoding reference frame data IDR-AU (the procedure of step S35 in this example) ) And the decoding procedure according to the context of the playback time and the current time created from the playback time information PTS respectively included in the plurality of non-reference frame data nonIDR-AU decoded sequentially by the decoding procedure S35. A control procedure for controlling the display operation of the display means based on the frame data decoded in S35 (in this example, IDR-AU and nonIDR-AU) (in this example, the procedure in steps S45 and S50). Features.

簡易動画サービス等、伝送容量に制限のある伝送方式の場合、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータＩＤＲ−ＡＵは、所定の時間間隔をもって送信される場合がある。本実施形態においてはこれに対応し、蓄積手順で基準フレームデータＩＤＲ−ＡＵ及び非基準フレームデータｎｏｎＩＤＲ−ＡＵを順次蓄積しておき、所定の指示信号が入力されると、その蓄積された基準フレームデータＩＤＲ−ＡＵのうち最新のものを起点として、復号化手順Ｓ３５でその基準フレームデータＩＤＲ−ＡＵ及びそれ以降の非基準フレームデータｎｏｎＩＤＲ−ＡＵの復号化を順次開始する。これにより、復号化開始のために入力される上記指示信号が先の基準フレームデータＩＤＲ−ＡＵと次の基準フレームデータＩＤＲ−ＡＵとの間に入力されたとしても、蓄積手順で蓄積された先の基準フレームデータＩＤＲ−ＡＵから復号化を行うことができる。   In the case of a transmission method with a limited transmission capacity such as a simple video service, the reference frame data IDR-AU that can be a decoding starting point when performing decoding along the time axis may be transmitted at a predetermined time interval. . In the present embodiment, in response to this, the reference frame data IDR-AU and the non-reference frame data nonIDR-AU are sequentially stored in the storage procedure, and when a predetermined instruction signal is input, the stored reference frame Starting from the latest data IDR-AU, decoding of the reference frame data IDR-AU and the subsequent non-reference frame data nonIDR-AU is sequentially started in the decoding procedure S35. As a result, even if the instruction signal input for starting decoding is input between the previous reference frame data IDR-AU and the next reference frame data IDR-AU, Can be decoded from the reference frame data IDR-AU.

このとき、制御手順Ｓ４５，Ｓ５０で、その順次復号化された各非基準フレームデータｎｏｎＩＤＲ−ＡＵの再生時刻情報ＰＴＳから作成した再生時刻と現在時刻との前後関係に応じて、復号化フレームデータの表示制御を行う。これにより、上記のようにして先の基準フレームデータＩＤＲ−ＡＵから順次復号化を行っていき、復号化の進展とともに各フレームデータＡＵの再生時刻が過去側から現在時刻側に徐々に追いついて現在時刻よりも未来になったときに、表示開始させることが可能となる。   At this time, in the control procedures S45 and S50, the decoded frame data is decoded according to the context of the reproduction time and the current time created from the reproduction time information PTS of the non-reference frame data nonIDR-AU sequentially decoded. Perform display control. As a result, decoding is performed sequentially from the previous reference frame data IDR-AU as described above, and with the progress of decoding, the reproduction time of each frame data AU gradually catches up from the past side to the current time side and now The display can be started when the time is later than the time.

以上のような復号化及び表示制御を行うことにより、所定の時間間隔の基準フレームデータＩＤＲ−ＡＵが受信されるのを待って復号化及び表示を行う通常の場合と異なり、指示信号が先の基準フレームデータＩＤＲ−ＡＵと次の基準フレームデータＩＤＲ−ＡＵとの間に入力されたとしても操作者を長く待たせることなく、速やかに復号化した画像を表示することができる。またこのとき、各フレームＡＵの再生時刻情報と当該フレームＡＵが実際に表示される時刻との間にずれが生じることもなく、正しい時刻に各フレームＡＵを表示させることができる。   By performing the decoding and display control as described above, unlike the normal case where decoding and display are performed after the reference frame data IDR-AU at a predetermined time interval is received, the instruction signal is transmitted in advance. Even if it is input between the reference frame data IDR-AU and the next reference frame data IDR-AU, the decoded image can be displayed promptly without causing the operator to wait for a long time. Further, at this time, each frame AU can be displayed at the correct time without causing a difference between the reproduction time information of each frame AU and the time when the frame AU is actually displayed.

上記実施形態におけるデジタル画像データ処理装置１においては、制御手段１１０は、複数の非基準フレームデータｎｏｎＩＤＲ−ＡＵにそれぞれ備えられる再生時刻情報ＰＴＳから作成した再生時刻と現在時刻を比較する比較手段（この例ではＰＴＳ判定器１１０で実行されるＳ４５の手順）と、この比較手段Ｓ４５の比較結果で、再生時刻情報ＰＴＳから作成した再生時刻が現在時刻より未来になった場合に、表示手段の表示動作を開始させるための開始手段（この例ではＰＴＳ判定器１１０で実行されるＳ５０の手順）とを備えることを特徴とする。   In the digital image data processing apparatus 1 in the above embodiment, the control unit 110 compares the reproduction time created from the reproduction time information PTS provided in each of the plurality of non-reference frame data nonIDR-AU with the current time (this In the example, when the reproduction time created from the reproduction time information PTS is later than the current time based on the comparison result of the comparison means S45 and the comparison result of the comparison means S45, the display operation of the display means is performed. Starting means (in this example, the procedure of S50 executed by the PTS determination unit 110).

これにより、上記のようにして先の基準フレームデータＩＤＲ−ＡＵから順次復号化を行っていくとき、比較手段Ｓ４５で各フレームデータＡＵの再生時刻情報ＰＴＳから作成した再生時刻と現在時刻との比較を行い、復号化の進展とともに各フレームデータＡＵの再生時刻が過去側から現在時刻側に徐々に追いついて現在時刻よりも未来になったときに、開始手段Ｓ５０で表示手段の表示を開始させることができる。   As a result, when decoding is sequentially performed from the previous reference frame data IDR-AU as described above, the comparison between the reproduction time created from the reproduction time information PTS of each frame data AU by the comparison unit S45 and the current time. When the reproduction time of each frame data AU gradually catches up from the past side to the present time side and becomes the future from the present time with the progress of decoding, the start means S50 starts the display of the display means. Can do.

上記実施形態におけるデジタル画像データ処理方法においては、制御手順Ｓ４５，Ｓ５０は、複数の非基準フレームデータｎｏｎＩＤＲ−ＡＵにそれぞれ備えられる再生時刻情報ＰＴＳから作成した再生時刻と現在時刻を比較する比較し、その比較結果で、再生時刻情報ＰＴＳから作成した再生時刻が現在時刻より未来になった場合に、表示動作を開始させることを特徴とする。   In the digital image data processing method in the above embodiment, the control procedures S45 and S50 compare the reproduction time created from the reproduction time information PTS provided in each of the plurality of non-reference frame data nonIDR-AU with the current time, As a result of the comparison, the display operation is started when the reproduction time created from the reproduction time information PTS is later than the current time.

これにより、上記のようにして先の基準フレームデータＩＤＲ−ＡＵから順次復号化を行っていくとき、各フレームデータＡＵの再生時刻情報ＰＴＳと現在時刻との比較を行い、復号化の進展とともに各フレームデータＡＵの再生時刻が過去側から現在時刻側に徐々に追いついて現在時刻よりも未来になったときに、表示手段の表示を開始させることができる。   Thus, when decoding is performed sequentially from the previous reference frame data IDR-AU as described above, the reproduction time information PTS of each frame data AU is compared with the current time, and each time the decoding progresses, When the playback time of the frame data AU gradually catches up from the past side to the current time side and becomes later than the current time, the display of the display means can be started.

上記実施形態におけるデジタル画像データ処理装置１においては、復号化手段６０は、所定の指示信号としての、ＨＤＴＶサービスから簡易動画サービスへの移行切替指示信号が入力されたとき、基準フレームデータＩＤＲ−ＡＵ及び複数の非基準フレームデータｎｏｎＩＤＲ−ＡＵの復号化を順次行うことを特徴とする。   In the digital image data processing apparatus 1 in the above embodiment, the decoding unit 60 receives the reference frame data IDR-AU when a transition switching instruction signal from the HDTV service to the simple video service is input as a predetermined instruction signal. And a plurality of non-reference frame data nonIDR-AU are sequentially decoded.

これにより、操作者がＨＤＴＶの視聴から簡易動画の視聴への切替を意図して対応する操作をしたとき、その操作に基づく指示信号が先の基準フレームデータＩＤＲ−ＡＵと次の基準フレームデータＩＤＲ−ＡＵとの間に入力されたとしても、操作者を長く待たせることなく、復号化した簡易動画の画像を速やかに表示することができる。   Accordingly, when the operator performs a corresponding operation with the intention of switching from viewing the HDTV to viewing a simple video, the instruction signal based on the operation is sent to the previous reference frame data IDR-AU and the next reference frame data IDR. -Even if it inputs between AU, the image of the decoded simple moving image can be promptly displayed, without making an operator wait for a long time.

上記実施形態におけるデジタル画像データ処理方法においては、復号化手順Ｓ３５は、所定の指示信号としての、ＨＤＴＶサービスから簡易動画サービスへの移行切替指示信号が入力されたとき、基準フレームデータＩＤＲ−ＡＵ及び複数の非基準フレームデータｎｏｎＩＤＲ−ＡＵの復号化を順次行うことを特徴とする。   In the digital image data processing method in the above embodiment, the decoding procedure S35 is performed when the transition switching instruction signal from the HDTV service to the simple video service is input as the predetermined instruction signal, and the reference frame data IDR-AU and A plurality of non-reference frame data nonIDR-AU are sequentially decoded.

これにより、操作者がＨＤＴＶの視聴から簡易動画の視聴への切替を意図して対応する操作をしたとき、その操作に基づく指示信号が先の基準フレームデータＩＤＲ−ＡＵと次の基準フレームデータＩＤＲ−ＡＵとの間に入力されたとしても、操作者を長く待たせることなく、復号化した簡易動画の画像を速やかに表示することができる。   Accordingly, when the operator performs a corresponding operation with the intention of switching from viewing the HDTV to viewing a simple video, the instruction signal based on the operation is sent to the previous reference frame data IDR-AU and the next reference frame data IDR. -Even if it inputs between AU, the image of the decoded simple moving image can be promptly displayed, without making an operator wait for a long time.

上記実施形態におけるデジタル画像データ処理装置１においては、蓄積手段５０に順次蓄積される最新の基準フレームデータＩＤＲ−ＡＵの再生時刻情報ＰＴＳを保持する保持手段（この例ではＰＴＳ保持器１００）を有し、復号化手段６０は、保持手段１００で保持された最新の基準フレームデータＩＤＲ−ＡＵの再生時刻情報ＰＴＳから作成した再生時刻に基づき、所定の指示信号に応じ最新の基準フレームデータＩＤＲ−ＡＵ及びそれ以降の複数の非基準フレームデータｎｏｎＩＤＲ−ＡＵの復号化を順次行うことを特徴とする。   The digital image data processing apparatus 1 in the above embodiment has holding means (PTS holder 100 in this example) that holds the reproduction time information PTS of the latest reference frame data IDR-AU sequentially stored in the storage means 50. The decoding unit 60 then updates the latest reference frame data IDR-AU according to a predetermined instruction signal based on the reproduction time created from the reproduction time information PTS of the latest reference frame data IDR-AU held by the holding unit 100. And a plurality of non-reference frame data nonIDR-AU thereafter are sequentially decoded.

蓄積手段５０が基準フレームデータＩＤＲ−ＡＵ及び非基準フレームデータｎｏｎＩＤＲ−ＡＵを順次蓄積するとき、保持手段Ｓ１００が最新の基準フレームＩＤＲ−ＡＵの再生時刻情報ＰＴＳを保持しておき、復号化手段６０がその保持された再生時刻情報ＰＴＳから作成した再生時刻を用いて当該最新の基準フレームデータＩＤＲ−ＡＵより復号化を開始し、さらにそれ以降の非基準フレームデータｎｏｎＩＤＲ−ＡＵの復号化を順次行う。このようにして、復号化開始のために入力される指示信号が先の基準フレームデータＩＤＲ−ＡＵと次の基準フレームデータＩＤＲ−ＡＵとの間に入力されたとしても、蓄積手段５０に蓄積された先の基準フレームデータＩＤＲ−ＡＵから復号化を行うことができる。   When the storage unit 50 sequentially stores the reference frame data IDR-AU and the non-reference frame data nonIDR-AU, the holding unit S100 holds the reproduction time information PTS of the latest reference frame IDR-AU, and the decoding unit 60 Starts decoding from the latest reference frame data IDR-AU using the reproduction time created from the held reproduction time information PTS, and further sequentially decodes the subsequent non-reference frame data nonIDR-AU. . In this way, even if the instruction signal input for starting decoding is input between the previous reference frame data IDR-AU and the next reference frame data IDR-AU, it is stored in the storage means 50. Decoding can be performed from the previous reference frame data IDR-AU.

上記実施形態におけるデジタル画像データ処理方法においては、順次蓄積される最新の基準フレームデータＩＤＲ−ＡＵの再生時刻情報ＰＴＳを保持する保持手順（この例ではステップＳ３０の手順）を有し、復号化手順Ｓ３５は、保持手順Ｓ３０で保持された最新の基準フレームデータＩＤＲ−ＡＵの再生時刻情報ＰＴＳから作成した再生時刻に基づき、所定の指示信号に応じ最新の基準フレームデータＩＤＲ−ＡＵ及びそれ以降の複数の非基準フレームデータｎｏｎＩＤＲ−ＡＵの復号化を順次行うことを特徴とする。   The digital image data processing method in the above embodiment has a holding procedure (in this example, the procedure of step S30) for holding the reproduction time information PTS of the latest reference frame data IDR-AU stored sequentially, and the decoding procedure S35 is based on the reproduction time created from the reproduction time information PTS of the latest reference frame data IDR-AU held in the holding procedure S30, and the latest reference frame data IDR-AU and a plurality of the subsequent reference frame data IDR-AU according to a predetermined instruction signal. The non-reference frame data nonIDR-AU are sequentially decoded.

蓄積手順で基準フレームデータＩＤＲ−ＡＵ及び非基準フレームデータｎｏｎＩＤＲ−ＡＵを順次蓄積するとき、保持手順Ｓ３０で最新の基準フレームＩＤＲ−ＡＵの再生時刻情報ＰＴＳを保持しておき、復号化手順Ｓ３５でその保持された再生時刻情報ＰＴＳから作成した再生時刻を用いて当該最新の基準フレームデータＩＤＲ−ＡＵより復号化を開始し、さらにそれ以降の非基準フレームデータｎｏｎＩＤＲ−ＡＵの復号化を順次行う。このようにして、復号化開始のために入力される指示信号が先の基準フレームデータＩＤＲ−ＡＵと次の基準フレームデータＩＤＲ−ＡＵとの間に入力されたとしても、蓄積された先の基準フレームデータＩＤＲ−ＡＵから復号化を行うことができる。   When the reference frame data IDR-AU and the non-reference frame data nonIDR-AU are sequentially stored in the storing procedure, the reproduction time information PTS of the latest reference frame IDR-AU is stored in the storing procedure S30, and the decoding procedure S35 is performed. Decoding is started from the latest reference frame data IDR-AU using the reproduction time created from the held reproduction time information PTS, and subsequent non-reference frame data nonIDR-AU is sequentially decoded. In this way, even if the instruction signal input for starting decoding is input between the previous reference frame data IDR-AU and the next reference frame data IDR-AU, the stored previous reference Decoding can be performed from the frame data IDR-AU.

上記実施形態におけるデジタル画像データ処理装置１においては、データパケットは、再生時刻情報としてのＰＴＳを備えたＰＥＳヘッダを有するＰＥＳパケットであることを特徴とする。   In the digital image data processing apparatus 1 in the above embodiment, the data packet is a PES packet having a PES header provided with a PTS as reproduction time information.

これにより、ＰＴＳを備えたＰＥＳヘッダをそれぞれ有する複数のＰＥＳパケットストリームのデジタル処理を行う際、復号化のための指示信号が先の基準フレームデータＩＤＲ−ＡＵと次の基準フレームデータＩＤＲ−ＡＵとの間に入力されたとしても、操作者を長く待たせることなく、速やかに復号化した画像を表示することができる。   Accordingly, when digital processing is performed on a plurality of PES packet streams each having a PES header having a PTS, an instruction signal for decoding is transmitted from the previous reference frame data IDR-AU and the next reference frame data IDR-AU. Even if it is input during the period, the decoded image can be displayed promptly without causing the operator to wait for a long time.

上記実施形態におけるデジタル画像データ処理方法においては、データパケットとして、再生時刻情報としてのＰＴＳを備えたＰＥＳヘッダを有するＰＥＳパケットを用いることを特徴とする。   In the digital image data processing method in the above embodiment, a PES packet having a PES header having a PTS as reproduction time information is used as a data packet.

これにより、ＰＴＳを備えたＰＥＳヘッダをそれぞれ有する複数のＰＥＳパケットストリームのデジタル処理を行う際、復号化のための指示信号が先の基準フレームデータＩＤＲ−ＡＵと次の基準フレームデータＩＤＲ−ＡＵとの間に入力されたとしても、操作者を長く待たせることなく、速やかに復号化した画像を表示することができる。   Accordingly, when digital processing is performed on a plurality of PES packet streams each having a PES header having a PTS, an instruction signal for decoding is transmitted from the previous reference frame data IDR-AU and the next reference frame data IDR-AU. Even if it is input during the period, the decoded image can be displayed promptly without causing the operator to wait for a long time.

なお、本実施形態は、上記に限られず、種々の変形が可能である。図４は、そのような変形例の１つにおける動作手順を表す制御フローである。この変形例は、デコードに必要な所要時間が０ではなくある程度の時間を要することを考慮し、その間に次の新しいＩＤＲ−ＡＵが蓄積された場合に対応したものである。この図４は前述の図２に対応する図であり、図２と同等の手順には同一の符号を付し、説明を簡略化又は省略する。   In addition, this embodiment is not restricted above, A various deformation | transformation is possible. FIG. 4 is a control flow showing an operation procedure in one of such modifications. This modification takes into account that the time required for decoding takes some time instead of 0, and corresponds to the case where the next new IDR-AU is accumulated during that time. FIG. 4 is a diagram corresponding to FIG. 2 described above, and the same steps as those in FIG. 2 are denoted by the same reference numerals, and description thereof will be simplified or omitted.

図４において、まず新たに設けたステップＳ１０５で、復号化中にさらに新たに次のＩＤＲ−ＡＵを含むＰＥＳが蓄積されたことを表すＰＥＳ取得フラグを０に初期化する。   In FIG. 4, first, in a newly provided step S105, a PES acquisition flag indicating that PES including the next IDR-AU is further accumulated during decoding is initialized to zero.

その後、ステップＳ５〜図５０は、図２のステップＳ５〜ステップＳ５０とほぼ同様である。但し本変形例では、上記ＰＥＳ取得フラグ＝１となった後に取得した（言い換えれば復号化中にさらに新たに取得した）次のＩＤＲ−ＡＵのＰＴＳをＰＴＳａとし、ＰＥＳ取得フラグ＝０の状態において取得したＩＤＲ−ＡＵのＰＴＳをＰＴＳｂｎとして区別している。すなわち、ステップＳ５において切替指示信号の入力を判定し、判定が満たされない場合はステップＳ１０においてＥＳＢｕｆｆｅｒ５０に新しいＰＥＳデータが格納されたか判定し（ステップＳ１０の判定が満たされない場合はステップＳ１０５に戻る）、新しいＰＥＳがあった場合にはステップＳ１５において新しいＰＥＳデータの解析を行い、ステップＳ２０においてＩＤＲ−ＡＵが存在するかどうかを判定し、ＩＤＲ−ＡＵが存在した場合はステップＳ２５において最新ポインタデータの上書き更新を行う。そしてステップＳ３０に相当するステップＳ３０Ａにおいて、ＰＴＳ保持器１００で、対応するＩＤＲ−ＡＵのＰＴＳ（ＰＴＳｂｎ）を取得し、ステップＳ１０に戻る。   Thereafter, Steps S5 to S50 are substantially the same as Steps S5 to S50 of FIG. However, in this modification, the PTS of the next IDR-AU acquired after the PES acquisition flag = 1 (in other words, newly acquired during decoding) is set as PTSa, and the PES acquisition flag = 0 The acquired PTS of IDR-AU is distinguished as PTSbn. That is, the input of the switching instruction signal is determined in step S5. If the determination is not satisfied, it is determined whether new PES data is stored in the ESBuffer 50 in step S10 (if the determination in step S10 is not satisfied, the process returns to step S105). If there is a new PES, the new PES data is analyzed in step S15, and it is determined in step S20 whether an IDR-AU exists. If an IDR-AU exists, the latest pointer data is overwritten in step S25. Update. In step S30A corresponding to step S30, the PTS holder 100 acquires the corresponding IDR-AU PTS (PTSbn), and the process returns to step S10.

一方、前述のステップＳ５で判定が満たされた場合、前述と同様のステップＳ３５に移り、ＩＤＲポインタ保持器９０でポインタデータを保持していたＩＤＲ−ＡＵから順次ＡＵをＥＳＢｕｆｆｅｒ５０より取得し、各ＡＵのデコード処理を開始する（復号化手順）。   On the other hand, when the determination is satisfied in step S5 described above, the process proceeds to step S35 similar to the above, and the AUs are sequentially acquired from the ESBuffer 50 from the IDR-AU holding the pointer data in the IDR pointer holder 90, and each AU The decoding process is started (decoding procedure).

その後、前述のステップＳ４０に対応するステップＳ４０Ａにおいて、ＰＴＳ判定器１１０で、上記ステップＳ３５で順次デコードしていくＡＵ（言い換えれば、上記ＩＤＲポインタ保持器９０がポインタデータを保持していたＩＤＲ−ＡＵ及びそれ以降のＡＵ）のＰＴＳ（ＰＴＳｂｎ）をＰＴＳ保持器１００又はＨ．２６４デコーダ６０より取得する。   Thereafter, in step S40A corresponding to the above-described step S40, the PTS determination unit 110 sequentially decodes the AU in step S35 (in other words, the IDR-AU in which the IDR pointer holder 90 holds pointer data). And the subsequent AU) PTS (PTSbn) is replaced with the PTS holder 100 or H.264. Obtained from the H.264 decoder 60.

そして、前述のステップＳ４５に対応するステップＳ４５Ａにおいて、ＰＴＳ判定器１１０で、順次デコードした各ＡＵのＰＴＳｂｎと現在時刻とを比較し、ＡＵのＰＴＳｂｎが現在時刻より先（未来）の時刻であるかどうかを判定する（比較手順）。ＰＴＳｂｎが過去の時刻であった場合、判定が満たされず、後述のステップＳ５５に移る。   Then, in step S45A corresponding to step S45 described above, the PTS determination unit 110 compares the PTSbn of each AU sequentially decoded with the current time, and whether the PTSbn of the AU is ahead (future) time from the current time. Judgment is made (comparison procedure). If PTSbn is a past time, the determination is not satisfied, and the routine goes to Step S55 described later.

ＰＴＳｂｎが未来の時刻（言い換えればこれから画像送出可能な時刻）であれば、前述と同様のステップＳ５０に移り、ＰＴＳ判定器１１０でビデオ送出器７０に対して映像出力予約を行う（開始手順）。以降は、通常と同様のデコードシーケンスへ遷移する。   If PTSbn is a future time (in other words, a time when an image can be transmitted from now on), the process proceeds to step S50 as described above, and the PTS determination unit 110 makes a video output reservation to the video transmitter 70 (starting procedure). Thereafter, the process proceeds to a normal decoding sequence.

ステップＳ４５ＡにおいてＰＴＳｂｎが過去の時刻であって判定が満たされなかった場合、ステップＳ５５において、ＩＤＲ検出器８０で、前述のＰＥＳ取得フラグが０であるかどうかを判定する。前述のステップＳ３５における復号化開始の後、復号化中に新たに次のＩＤＲ−ＡＵが蓄積されていない場合はこのフラグは初期値の０のままであるため（後述のステップＳ７５も参照）判定が満たされ、ステップＳ６０に移る。   If PTSbn is a past time in step S45A and the determination is not satisfied, in step S55, the IDR detector 80 determines whether or not the aforementioned PES acquisition flag is 0. If the next IDR-AU is not accumulated during decoding after the start of decoding in step S35 described above, this flag remains at the initial value 0 (see also step S75 described later). Is satisfied, and the routine goes to Step S60.

ステップＳ６０では、前述のステップＳ１０と同様、ＩＤＲ検出器８０で、ＥＳＢｕｆｆｅｒ５０にさらに新しいＰＥＳデータが格納されたかどうかを判定する。ＴＳＤｅｍｕｘ４０で抽出されＥＳＢｕｆｆｅｒ５０に格納された新しいＰＥＳがあった場合には判定が満たされ、ステップＳ６５に移る。新しいＰＥＳがなかった場合には判定が満たされず、前述のステップＳ３５に戻り同様の手順を繰り返す。   In step S60, as in step S10 described above, the IDR detector 80 determines whether or not newer PES data is stored in the ESBuffer 50. If there is a new PES extracted by the TSDemux 40 and stored in the ESBuffer 50, the determination is satisfied, and the routine goes to Step S65. If there is no new PES, the determination is not satisfied, and the same procedure is repeated by returning to the above-described step S35.

ステップＳ６５では、ＩＤＲ検出器８０で、ＥＳＢｕｆｆｅｒ５０に蓄積された新しいＰＥＳデータの解析を行い、続くステップＳ７０においてＩＤＲ−ＡＵが存在するかどうかを判定する。ＩＤＲ−ＡＵが存在しない場合（ｎｏｎＩＤＲ−ＡＵであった場合）は判定が満たされず、ステップＳ５５に戻って同様の手順を繰り返す。ＩＤＲ−ＡＵが存在した場合は、判定が満たされ、ステップＳ７５に移る。   In step S65, the IDR detector 80 analyzes the new PES data accumulated in the ESBuffer 50, and determines in step S70 whether IDR-AU exists. If the IDR-AU does not exist (if it is a nonIDR-AU), the determination is not satisfied, and the same procedure is repeated by returning to step S55. If IDR-AU exists, the determination is satisfied, and the routine goes to Step S75.

ステップＳ７５では、ＰＴＳ保持器１００で、対応するＩＤＲ−ＡＵのＰＴＳ（ＰＴＳａ）を取得するともに、前述のフラグを１とし、ステップＳ８０に移る。ステップＳ８０では、ＰＴＳ判定器１１０で、上記デコードした新たなＩＤＲ−ＡＵのＰＴＳａと現在時刻とを比較し、ＰＴＳａと現在時刻との差が所定のしきい値以下であるか（言い換えればＰＴＳａが現在時刻に十分近いかどうか）を判定する。ＰＴＳａが現在時刻にはまだ遠く上記の差が所定しきい値より大きかった場合、判定が満たされず、前述のステップＳ５５に戻って同様の手順を繰り返す。   In step S75, the PTS holder 100 acquires the corresponding IDR-AU PTS (PTSa), sets the aforementioned flag to 1, and proceeds to step S80. In step S80, the PTS determination unit 110 compares the decoded PTSR of the new IDR-AU with the current time, and determines whether the difference between the PTSa and the current time is equal to or smaller than a predetermined threshold (in other words, PSa is Whether it is close enough to the current time). If PTSa is still far from the current time and the above difference is larger than the predetermined threshold value, the determination is not satisfied, and the same procedure is repeated by returning to step S55 described above.

ＰＴＳａが現在時刻に十分近く上記の差が所定しきい値以下であった場合、判定が満たされ、ステップＳ８５に移って、Ｈ．２６４デコーダ６０で当該ＰＴＳａに対応するＩＤＲ−ＡＵの復号化を行う。その後、前述のステップＳ５０と同様のステップＳ９０に移り、ＰＴＳ判定器１１０でビデオ送出器７０に対して映像出力予約を行う。以降は、通常と同様のデコードシーケンスへ遷移する。   If PTSa is close enough to the current time and the above difference is less than or equal to a predetermined threshold value, the determination is satisfied, and the routine goes to Step S85, where H.P. The H.264 decoder 60 decodes the IDR-AU corresponding to the PTSa. Thereafter, the process proceeds to step S90 similar to step S50 described above, and the PTS determination unit 110 makes a video output reservation to the video transmitter 70. Thereafter, the process proceeds to a normal decoding sequence.

一方、前述のステップＳ５５において、前述のステップＳ３５における復号化開始の後、復号化中に新たに次のＩＤＲ−ＡＵが蓄積されていた場合はステップＳ７５においてフラグが１となっているため判定が満たされず、ステップＳ９５に移る。   On the other hand, in step S55 described above, if the next IDR-AU is newly accumulated during decoding after the decoding start in step S35 described above, the determination is made because the flag is 1 in step S75. If not satisfied, the process proceeds to step S95.

ステップＳ９５では、前述のステップＳ３５においてすでに始めていた、Ｈ．２６４デコーダ６０による最新ＩＤＲ−ＡＵからのデコード処理をそのまま続行する（復号化手順）。   In step S95, the H.P. The decoding process from the latest IDR-AU by the H.264 decoder 60 is continued as it is (decoding procedure).

その後、ステップＳ１００において、上記ステップＳ４０Ａと同様、ＰＴＳ判定器１１０で、上記ステップＳ９５で順次デコードしていくＡＵのＰＴＳｂｎをＰＴＳ保持器１００又はＨ．２６４デコーダ６０より取得する。   Thereafter, in step S100, as in step S40A, the PTS determination unit 110 converts the PTSbn of AU sequentially decoded in step S95 into the PTS holder 100 or H.264. Obtained from the H.264 decoder 60.

そして、ステップＳ１０５において、ＰＴＳ判定器１１０で、順次デコードした各ＡＵのＰＴＳｂｎと現在時刻とを比較し、ＡＵのＰＴＳｂｎが現在時刻より先（未来）の時刻であるかどうかを判定する（比較手順）。ＰＴＳが過去の時刻であった場合、判定が満たされず、上記ステップＳ８０に戻り、同様の手順を繰り返す。   In step S105, the PTS determination unit 110 compares the PTSbn of each AU sequentially decoded and the current time, and determines whether the PTSbn of the AU is ahead (future) time (comparison procedure). ). If the PTS is in the past time, the determination is not satisfied and the process returns to step S80 to repeat the same procedure.

ＰＴＳｂｎが未来の時刻（言い換えればこれから画像送出可能な時刻）であれば、上記ステップＳ５０と同様のステップＳ１１０に移り、ＰＴＳ判定器１１０でビデオ送出器７０に対して映像出力予約を行う（開始手順）。これ以降は、通常と同様のデコードシーケンスへ遷移することとなるので、説明を省略する。   If PTSbn is a future time (in other words, a time when an image can be sent from now on), the process proceeds to step S110 similar to step S50, and the PTS determination unit 110 makes a video output reservation to the video transmitter 70 (start procedure). ). After this, since the transition to the normal decoding sequence is made, the description is omitted.

本変形例のデジタル画像データ処理装置（この例では受信機）１で実施されるデジタル画像データ処理方法は、符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータＩＤＲ−ＡＵとそれ以外の非基準フレームデータｎｏｎＩＤＲ−ＡＵとを含む複数のデータパケット（ＰＥＳパケット）のストリーム（ＴＳストリーム）を処理するデジタル画像データ処理方法であって、複数のデータパケット（ＰＥＳパケット）に備えられる基準フレームデータＩＤＲ−ＡＵ及び非基準フレームデータｎｏｎＩＤＲ−ＡＵを順次蓄積する蓄積手順（ＥＳＢｕｆｆｅｒ５０で実行する）と、所定の指示信号に応じ、蓄積手順に蓄積された最新の基準フレームデータＩＤＲ−ＡＵを復号化起点に、当該基準フレームデータＩＤＲ−ＡＵ及びそれ以降の複数の非基準フレームデータｎｏｎＩＤＲ−ＡＵの復号化を順次行う復号化手順（この例ではステップＳ３５及びステップＳ９５の手順）と、この復号化手順Ｓ３５，Ｓ９５により順次復号化された複数の非基準フレームデータｎｏｎＩＤＲ−ＡＵにそれぞれ備えられる再生時刻情報ＰＴＳから作成した再生時刻と現在時刻との前後関係に応じて、復号化手順Ｓ３５，Ｓ９５で復号化されたフレームデータ（ＩＤＲ−ＡＵ及びｎｏｎＩＤＲ−ＡＵ）に基づく表示手段の表示動作の制御を行う制御手順（この例ではステップＳ４５Ａ、ステップＳ５０、ステップＳ１０５、ステップＳ１１０の手順）とを有することを特徴とする。   The digital image data processing method implemented by the digital image data processing apparatus 1 (receiver in this example) 1 of this modification is formed by packetizing encoded data with variable length and decoding along the time axis. Digital image data processing method for processing a stream (TS stream) of a plurality of data packets (PES packets) including reference frame data IDR-AU that can be a starting point for decoding and other non-reference frame data nonIDR-AU In accordance with an accumulation procedure (executed by ESBuffer 50) for sequentially accumulating reference frame data IDR-AU and non-reference frame data nonIDR-AU provided in a plurality of data packets (PES packets), and a predetermined instruction signal, Decoding the latest reference frame data IDR-AU stored in the storage procedure The starting point is a decoding procedure for sequentially decoding the reference frame data IDR-AU and the subsequent non-reference frame data nonIDR-AU (in this example, steps S35 and S95), and the decoding procedure. Decoding is performed in decoding procedures S35 and S95 in accordance with the context of the reproduction time and the current time created from the reproduction time information PTS provided in each of the plurality of non-reference frame data nonIDR-AU sequentially decoded in S35 and S95. A control procedure (in this example, steps S45A, S50, S105, and S110) for controlling the display operation of the display unit based on the frame data (IDR-AU and nonIDR-AU). Features.

本変形例においては、蓄積手順で基準フレームデータＩＤＲ−ＡＵ及び非基準フレームデータｎｏｎＩＤＲ−ＡＵを順次蓄積しておき、所定の指示信号が入力されると、その蓄積された基準フレームデータＩＤＲ−ＡＵのうち最新のものを起点として、復号化手順Ｓ３５，Ｓ９５でその基準フレームデータＩＤＲ−ＡＵ及びそれ以降の非基準フレームデータｎｏｎＩＤＲ−ＡＵの復号化を順次開始する。これにより、復号化開始のために入力される上記指示信号が先の基準フレームデータＩＤＲ−ＡＵと次の基準フレームデータＩＤＲ−ＡＵとの間に入力されたとしても、蓄積手順で蓄積された先の基準フレームデータＩＤＲ−ＡＵから復号化を行うことができる。   In this modification, the reference frame data IDR-AU and the non-reference frame data nonIDR-AU are sequentially stored in the storage procedure, and when a predetermined instruction signal is input, the stored reference frame data IDR-AU is stored. Of these, starting from the latest one, decoding of the reference frame data IDR-AU and the subsequent non-reference frame data nonIDR-AU is sequentially started in decoding procedures S35 and S95. As a result, even if the instruction signal input for starting decoding is input between the previous reference frame data IDR-AU and the next reference frame data IDR-AU, Can be decoded from the reference frame data IDR-AU.

このとき、制御手順Ｓ４５Ａ，Ｓ５０，Ｓ１０５，Ｓ１１０で、その順次復号化された各非基準フレームデータｎｏｎＩＤＲ−ＡＵの再生時刻情報ＰＴＳｂｎから作成した再生時刻と現在時刻との前後関係に応じて、復号化フレームデータの表示制御を行う。これにより、上記のようにして先の基準フレームデータＩＤＲ−ＡＵから順次復号化を行っていき、復号化の進展とともに各フレームデータＡＵの再生時刻が過去側から現在時刻側に徐々に追いついて現在時刻よりも未来になったときに、表示開始させることが可能となる。   At this time, in the control procedures S45A, S50, S105, and S110, decoding is performed according to the context of the playback time and the current time created from the playback time information PTSbn of each non-reference frame data nonIDR-AU that is sequentially decoded. Display control of framed frame data. As a result, decoding is performed sequentially from the previous reference frame data IDR-AU as described above, and with the progress of decoding, the reproduction time of each frame data AU gradually catches up from the past side to the current time side and now The display can be started when the time is later than the time.

以上のような復号化及び表示制御を行うことにより、所定の時間間隔の基準フレームデータＩＤＲ−ＡＵが受信されるのを待って復号化及び表示を行う通常の場合と異なり、指示信号が先の基準フレームデータＩＤＲ−ＡＵと次の基準フレームデータＩＤＲ−ＡＵとの間に入力されたとしても操作者を長く待たせることなく、速やかに復号化した画像を表示することができる。またこのとき、各フレームＡＵの再生時刻情報ＰＴＳｂｎと当該フレームＡＵが実際に表示される時刻との間にずれが生じることもなく、正しい時刻に各フレームＡＵを表示させることができる。   By performing the decoding and display control as described above, unlike the normal case where decoding and display are performed after the reference frame data IDR-AU at a predetermined time interval is received, the instruction signal is transmitted in advance. Even if it is input between the reference frame data IDR-AU and the next reference frame data IDR-AU, the decoded image can be displayed promptly without causing the operator to wait for a long time. Further, at this time, each frame AU can be displayed at the correct time without causing a difference between the reproduction time information PTSbn of each frame AU and the time when the frame AU is actually displayed.

上記変形例におけるデジタル画像データ処理方法においては、制御手順Ｓ４５Ａ，Ｓ５０，Ｓ１０５，Ｓ１１０は、複数の非基準フレームデータｎｏｎＩＤＲ−ＡＵにそれぞれ備えられる再生時刻情報ＰＴＳｂｎから作成した再生時刻と現在時刻を比較する比較し、その比較結果で、再生時刻情報ＰＴＳｂｎから作成した再生時刻が現在時刻より未来になった場合に、表示動作を開始させることを特徴とする。   In the digital image data processing method according to the modified example, the control procedures S45A, S50, S105, and S110 compare the reproduction time created from the reproduction time information PTSbn provided in each of the plurality of non-reference frame data nonIDR-AU with the current time. The display operation is started when the comparison result shows that the reproduction time created from the reproduction time information PTSbn is later than the current time.

これにより、上記のようにして先の基準フレームデータＩＤＲ−ＡＵから順次復号化を行っていくとき、各フレームデータＡＵの再生時刻情報ＰＴＳｂｎから作成した再生時刻と現在時刻との比較を行い、復号化の進展とともに各フレームデータＡＵの再生時刻が過去側から現在時刻側に徐々に追いついて現在時刻よりも未来になったときに、表示手段の表示を開始させることができる。   Thus, when decoding is performed sequentially from the previous reference frame data IDR-AU as described above, the reproduction time created from the reproduction time information PTSbn of each frame data AU is compared with the current time, and the decoding is performed. When the reproduction time of each frame data AU gradually catches up from the past side to the current time side and becomes later than the current time with the progress of computerization, the display on the display means can be started.

上記実施形態におけるデジタル画像データ処理方法においては、順次蓄積される最新の基準フレームデータＩＤＲ−ＡＵの再生時刻情報ＰＴＳｂｎを保持する保持手順（この例ではステップＳ３０Ａの手順）を有し、復号化手順Ｓ３５，Ｓ９５は、保持手順Ｓ３０Ａで保持された最新の基準フレームデータＩＤＲ−ＡＵの再生時刻情報ＰＴＳｂｎから作成した再生時刻に基づき、所定の指示信号に応じ最新の基準フレームデータＩＤＲ−ＡＵ及びそれ以降の複数の非基準フレームデータｎｏｎＩＤＲ−ＡＵの復号化を順次行うことを特徴とする。   The digital image data processing method in the above embodiment has a holding procedure (in this example, the procedure of step S30A) for holding the reproduction time information PTSbn of the latest reference frame data IDR-AU stored sequentially, and the decoding procedure S35 and S95 are the latest reference frame data IDR-AU and thereafter in accordance with a predetermined instruction signal based on the reproduction time created from the reproduction time information PTSbn of the latest reference frame data IDR-AU held in the holding procedure S30A. The plurality of non-reference frame data nonIDR-AU are sequentially decoded.

蓄積手順で基準フレームデータＩＤＲ−ＡＵ及び非基準フレームデータｎｏｎＩＤＲ−ＡＵを順次蓄積するとき、保持手順Ｓ３０Ａで最新の基準フレームＩＤＲ−ＡＵの再生時刻情報ＰＴＳｂｎを保持しておき、復号化手順Ｓ３５，Ｓ９５でその保持された再生時刻情報ＰＴＳｂｎから作成した再生時刻を用いて当該最新の基準フレームデータＩＤＲ−ＡＵより復号化を開始し、さらにそれ以降の非基準フレームデータｎｏｎＩＤＲ−ＡＵの復号化を順次行う。このようにして、復号化開始のために入力される指示信号が先の基準フレームデータＩＤＲ−ＡＵと次の基準フレームデータＩＤＲ−ＡＵとの間に入力されたとしても、蓄積された先の基準フレームデータＩＤＲ−ＡＵから復号化を行うことができる。   When the reference frame data IDR-AU and the non-reference frame data nonIDR-AU are sequentially stored in the storage procedure, the reproduction procedure information PTSbn of the latest reference frame IDR-AU is stored in the storage procedure S30A, and the decoding procedure S35, In S95, decoding is started from the latest reference frame data IDR-AU using the reproduction time created from the held reproduction time information PTSbn, and the subsequent non-reference frame data nonIDR-AU is sequentially decoded. Do. In this way, even if the instruction signal input for starting decoding is input between the previous reference frame data IDR-AU and the next reference frame data IDR-AU, the stored previous reference Decoding can be performed from the frame data IDR-AU.

また、上記以外に、本変形例によれば、いったんその時点での最新のＩＤＲ−ＡＵよりデコードを開始した後にそのデコード中に次のＩＤＲ−ＡＵが蓄積されたとき、そのままＩＤＲ−ＡＵをデコードし続けるより次の新しいＩＤＲ−ＡＵをデコードしたほうが結果的に早く収束できるような場合には、当該新しいＩＤＲ−ＡＵを用いてデコードを行うことで、より速やかに復号化した画像を表示することができる。   In addition to the above, according to this modified example, when decoding is started from the latest IDR-AU at that time and the next IDR-AU is accumulated during the decoding, the IDR-AU is decoded as it is. If the next new IDR-AU can be converged faster as a result, the decoded image can be displayed more quickly by decoding using the new IDR-AU. Can do.

上記実施形態における受信機１は、符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうるＩＤＲ−ＡＵとそれ以外のｎｏｎＩＤＲ−ＡＵとを含む複数のＰＥＳパケットのＴＳストリームを処理する受信機１であって、複数のＰＥＳパケットに備えられるＩＤＲ−ＡＵ及びｎｏｎＩＤＲ−ＡＵを順次蓄積するＥＳＢｕｆｆｅｒ５０と、所定の指示信号に応じ、ＥＳＢｕｆｆｅｒ５０に蓄積された最新のＩＤＲ−ＡＵを復号化起点に、当該ＩＤＲ−ＡＵ及びそれ以降の複数のｎｏｎＩＤＲ−ＡＵの復号化を順次行うＨ．２６４デコーダ６０と、このＨ．２６４デコーダ６０により順次復号化された複数のｎｏｎＩＤＲ−ＡＵにそれぞれ備えられるＰＴＳから作成した再生時刻と現在時刻との前後関係に応じて、Ｈ．２６４デコーダ６０で復号化されたＩＤＲ−ＡＵ及びｎｏｎＩＤＲ−ＡＵに基づく表示手段の表示動作の制御を行うＰＴＳ判定器１１０とを有することを特徴とする。   The receiver 1 in the above embodiment is formed by packetizing encoded data in a variable length, IDR-AU that can be a decoding starting point when decoding along the time axis, and other nonIDR-AUs Is a receiver 1 that processes TS streams of a plurality of PES packets including an ESBuffer 50 that sequentially stores IDR-AU and nonIDR-AU provided in the plurality of PES packets, and stores in ESBuffer 50 according to a predetermined instruction signal The latest IDR-AU is used as a starting point for decoding, and the IDR-AU and a plurality of nonIDR-AUs thereafter are sequentially decoded. H.264 decoder 60 and the H.264 decoder. In accordance with the context of the playback time and the current time created from the PTS provided in each of the plurality of nonIDR-AUs sequentially decoded by the H.264 decoder 60, the And a PTS determination unit 110 that controls the display operation of the display unit based on the IDR-AU and nonIDR-AU decoded by the H.264 decoder 60.

ＥＳＢｕｆｆｅｒ５０がＩＤＲ−ＡＵ及びｎｏｎＩＤＲ−ＡＵを順次蓄積しておき、所定の指示信号が入力されると、その蓄積されたＩＤＲ−ＡＵのうち最新のものを起点として、Ｈ．２６４デコーダ６０がそのＩＤＲ−ＡＵ及びそれ以降のｎｏｎＩＤＲ−ＡＵの復号化を順次開始する。これにより、復号化開始のために入力される上記指示信号が先のＩＤＲ−ＡＵと次のＩＤＲ−ＡＵとの間に入力されたとしても、ＥＳＢｕｆｆｅｒ５０に蓄積された先のＩＤＲ−ＡＵから復号化を行うことができる。   When the ES Buffer 50 sequentially stores IDR-AU and nonIDR-AU and a predetermined instruction signal is input, the latest one of the stored IDR-AU is used as a starting point. The H.264 decoder 60 sequentially starts decoding the IDR-AU and the subsequent nonIDR-AU. Thus, even if the instruction signal input to start decoding is input between the previous IDR-AU and the next IDR-AU, the decoding is performed from the previous IDR-AU stored in the ESBuffer 50. It can be performed.

このとき、ＰＴＳ判定器１１０は、その順次復号化された各ｎｏｎＩＤＲ−ＡＵのＰＴＳから作成した再生時刻と現在時刻との前後関係に応じて、表示手段による表示制御を行う。これにより、上記のようにして先のＩＤＲ−ＡＵから順次復号化を行っていき、復号化の進展とともに各ＡＵの再生時刻情報が過去側から現在時刻側に徐々に追いついて現在時刻よりも未来になったときに、表示開始させることが可能となる。   At this time, the PTS determination unit 110 performs display control by the display unit in accordance with the front-rear relationship between the reproduction time created from the sequentially decoded PID of each nonIDR-AU and the current time. As a result, the decoding is sequentially performed from the previous IDR-AU as described above, and with the progress of decoding, the reproduction time information of each AU gradually catches up from the past side to the current time side and becomes a future than the current time. When it becomes, it becomes possible to start display.

以上のような復号化及び表示制御を行うことにより、所定の時間間隔のＩＤＲ−ＡＵが受信されるのを待って復号化及び表示を行う通常の場合と異なり、指示信号が先のＩＤＲ−ＡＵと次のＩＤＲ−ＡＵとの間に入力されたとしても操作者を長く待たせることなく、速やかに復号化した画像を表示することができる。またこのとき、各ＡＵのＰＴＳと当該ＡＵが実際に表示される時刻との間にずれが生じることもなく、正しい時刻に各フレームを表示させることができる。   By performing the decoding and display control as described above, the instruction signal is different from the normal case of performing the decoding and display after waiting for reception of IDR-AU at a predetermined time interval. And the next IDR-AU, the decoded image can be displayed promptly without causing the operator to wait for a long time. Further, at this time, each frame can be displayed at the correct time without causing a difference between the PTS of each AU and the time when the AU is actually displayed.

上記実施形態における受信機１で実行するデジタル画像データ処理方法は、符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうるＩＤＲ−ＡＵとそれ以外のｎｏｎＩＤＲ−ＡＵとを含む複数のＰＥＳパケットのＴＳストリームを処理するデジタル画像データ処理方法であって、複数のＰＥＳパケットに備えられるＩＤＲ−ＡＵ及びｎｏｎＩＤＲ−ＡＵを順次蓄積するＥＳＢｕｆｆｅｒ５０の蓄積手順と、所定の指示信号に応じ、ＥＳＢｕｆｆｅｒ５０に蓄積された最新のＩＤＲ−ＡＵを復号化起点に、当該ＩＤＲ−ＡＵ及びそれ以降の複数のｎｏｎＩＤＲ−ＡＵの復号化を順次行うステップＳ３５と、このステップＳ３５により順次復号化された複数のｎｏｎＩＤＲ−ＡＵにそれぞれ備えられるＰＴＳから作成した再生時刻と現在時刻との前後関係に応じて、ステップＳ３５で復号化されたＩＤＲ−ＡＵ及びｎｏｎＩＤＲ−ＡＵに基づく表示手段の表示動作の制御を行うステップＳ４５，Ｓ５０とを有することを特徴とする。   The digital image data processing method executed by the receiver 1 in the above embodiment is formed by packetizing encoded data with a variable length and is an IDR-AU that can be a decoding starting point when decoding along the time axis. Is a digital image data processing method for processing TS streams of a plurality of PES packets including a non-IDR-AU, and an ESBuffer 50 for sequentially storing IDR-AU and nonIDR-AU provided in the plurality of PES packets. In accordance with the procedure and a predetermined instruction signal, the latest IDR-AU accumulated in the ESBuffer 50 is used as a starting point for decoding, and step S35 for sequentially decoding the IDR-AU and a plurality of nonIDR-AUs thereafter Prepared for each of the plurality of nonIDR-AUs decoded sequentially in step S35. And S50 and S50 for controlling the display operation of the display means based on the IDR-AU and nonIDR-AU decoded in step S35 according to the context of the reproduction time created from the PTS and the current time. It is characterized by that.

ＥＳＢｕｆｆｅｒ５０がＩＤＲ−ＡＵ及びｎｏｎＩＤＲ−ＡＵを順次蓄積しておき、所定の指示信号が入力されると、その蓄積されたＩＤＲ−ＡＵのうち最新のものを起点として、ステップＳ３５でそのＩＤＲ−ＡＵ及びそれ以降のｎｏｎＩＤＲ−ＡＵの復号化を順次開始する。これにより、復号化開始のために入力される上記指示信号が先のＩＤＲ−ＡＵと次のＩＤＲ−ＡＵとの間に入力されたとしても、ステップＳ３５で蓄積された先のＩＤＲ−ＡＵから復号化を行うことができる。   The ESBuffer 50 accumulates IDR-AU and nonIDR-AU sequentially, and when a predetermined instruction signal is inputted, the IDR-AU and the IDR-AU are stored in step S35 with the latest IDR-AU being accumulated. Subsequent decoding of nonIDR-AU is sequentially started. As a result, even if the instruction signal input to start decoding is input between the previous IDR-AU and the next IDR-AU, the instruction signal is decoded from the previous IDR-AU stored in step S35. Can be made.

このとき、ステップＳ４５，Ｓ５０で、その順次復号化された各ｎｏｎＩＤＲ−ＡＵのＰＴＳから作成した再生時刻と現在時刻との前後関係に応じて、表示制御を行う。これにより、上記のようにして先のＩＤＲ−ＡＵから順次復号化を行っていき、復号化の進展とともに各ＡＵの再生時刻が過去側から現在時刻側に徐々に追いついて現在時刻よりも未来になったときに、表示開始させることが可能となる。   At this time, in steps S45 and S50, display control is performed in accordance with the context of the reproduction time created from the sequentially decoded nonIDR-AU PTS and the current time. As a result, decoding is performed sequentially from the previous IDR-AU as described above, and with the progress of decoding, the playback time of each AU gradually catches up from the past side to the current time side, and is in the future from the current time. When it becomes, it becomes possible to start display.

以上のような復号化及び表示制御を行うことにより、所定の時間間隔のＩＤＲ−ＡＵが受信されるのを待って復号化及び表示を行う通常の場合と異なり、指示信号が先のＩＤＲ−ＡＵと次のＩＤＲ−ＡＵとの間に入力されたとしても操作者を長く待たせることなく、速やかに復号化した画像を表示することができる。またこのとき、各ＡＵのＰＴＳと当該ＡＵが実際に表示される時刻との間にずれが生じることもなく、正しい時刻に各フレームを表示させることができる。   By performing the decoding and display control as described above, the instruction signal is different from the normal case of performing the decoding and display after waiting for reception of IDR-AU at a predetermined time interval. And the next IDR-AU, the decoded image can be displayed promptly without causing the operator to wait for a long time. Further, at this time, each frame can be displayed at the correct time without causing a difference between the PTS of each AU and the time when the AU is actually displayed.

本発明の一実施形態の受信機の全体機能構成を表す機能ブロック図である。It is a functional block diagram showing the whole functional structure of the receiver of one Embodiment of this invention. 図１に示した受信機により実行される、簡易動画画像への切替直後のデコード動作の原理を概念的に表す説明図である。It is explanatory drawing which represents notionally the principle of the decoding operation immediately after the switch to a simple moving image performed by the receiver shown in FIG. 図２に示した挙動を実現するために受信機全体で実行される制御手順を表すフローチャートである。3 is a flowchart showing a control procedure executed by the entire receiver in order to realize the behavior shown in FIG. 2. デコード中に次の新しいＩＤＲ−ＡＵが蓄積された場合に対応した変形例の受信機全体で実行される制御手順を表すフローチャートである。It is a flowchart showing the control procedure performed with the whole receiver of the modification corresponding to the case where the next new IDR-AU is accumulate | stored during decoding.

符号の説明Explanation of symbols

１ 受信機（デジタル画像処理装置）
５０ ＥＳＢｕｆｆｅｒ（蓄積手段）
６０ Ｈ．２６４デコーダ（復号化手段）
１１０ ＰＴＳ判定器（制御手段）1 Receiver (Digital image processing device)
50 ESBuffer (storage means)
60H. H.264 decoder (decoding means)
110 PTS judging device (control means)

【０００２】
、比較的簡素な構造のデジタル又はインターネット放送受信機を用い、簡易的な動画配信を行うことが計画されている。一般に動画配信を行う場合画像を圧縮して送付する。この場合、動画を構成する各画像はそれ自身で一枚の絵を生成できるＩＤＲピクチャー（基準フレームデータ）と、参照画像を要するｎｏｎＩＤＲピクチャー（非基準フレームデータ）とに分けられる。狭帯域で動画を送ろうとした場合にはＩＤＲピクチャーの挿入間隔が長くなってしまうことが多い。
［０００６］
この伝送方式では、トータルの伝送量を削減できる一方で、復号化は上記基準フレームデータからしか行うことができない。このため、復号化のための指示信号（例えば簡易動画配信サービスへの切替信号）が上記基準フレームデータと次の基準フレームデータとの間に入力された場合、当該次の基準フレームデータを受信し復号化するまでの間、画像を再生することができず、操作者を長く待たせることとなってその利便性を阻害する。
［０００７］
このとき、上記従来技術を適用し、表示待ち時間をなくすことも考えられるが、上記従来技術では、非表示の時間を回避することのみに主眼がおかれており、各フレームデータの再生時刻情報と実際の再生時刻との一致については特に配慮されていない。このため、切り替えのタイミングで本来提示すべき画像より過去の映像を出力することになる。例えば地上波デジタルワンセグ放送ではＡＲＩＢ ＴＲ−Ｂ１４によると上記基準フレームデータが約２秒に１回発生するとされているが、このような場合、切り替えのタイミングによって、本来表示するべき時刻に対し最大２秒古い過去の映像を表示するというずれが発生する。
［０００８］
本発明が解決しようとする課題には、上記に示した問題が一例として挙げられる。
課題を解決するための手段
［０００９］
上記課題を解決するために、請求項１記載の発明は、符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータとそれ以外の非基準フレームデータとを含む複数のデータパケットのストリームを処理するデジタル画像データ処理装置であって、前記複数のデータパケットに備えられる前記基準フレームデータ及び前記非基準フレームデータを順次蓄積する蓄積手段と、所定のデジタルＴＶサービスから簡易動画サービスへの移行切替指示[0002]
It is planned to use a digital or Internet broadcast receiver having a relatively simple structure to perform simple moving image distribution. In general, when moving images are distributed, images are compressed and sent. In this case, each image constituting the moving image is divided into an IDR picture (standard frame data) that can generate one picture by itself and a nonIDR picture (non-standard frame data) that requires a reference image. When trying to send a moving image in a narrow band, the IDR picture insertion interval often becomes long.
[0006]
In this transmission method, the total transmission amount can be reduced, while decoding can be performed only from the reference frame data. For this reason, when an instruction signal for decoding (for example, a switching signal to the simple video distribution service) is input between the reference frame data and the next reference frame data, the next reference frame data is received. Until the image is decoded, the image cannot be reproduced, which makes the operator wait for a long time and hinders the convenience.
[0007]
At this time, it is possible to eliminate the display waiting time by applying the above-mentioned conventional technique, but the above-mentioned conventional technique focuses only on avoiding the non-display time, and reproduction time information of each frame data No particular consideration is given to the coincidence between the actual reproduction time and the actual reproduction time. For this reason, a past video is output from the image that should be originally presented at the switching timing. For example, in terrestrial digital one-segment broadcasting, according to ARIB TR-B14, it is said that the reference frame data is generated about once every two seconds. There is a discrepancy in displaying past images that are 2 seconds old.
[0008]
Examples of problems to be solved by the present invention include the problems described above.
Means for Solving the Problems [0009]
In order to solve the above-mentioned problem, the invention according to claim 1 is characterized in that the encoded frame data is packetized with a variable length and formed as reference frame data that can be a decoding starting point when decoding along the time axis. A digital image data processing apparatus for processing a plurality of data packet streams including other non-reference frame data, and sequentially storing the reference frame data and the non-reference frame data provided in the plurality of data packets. Storage means and instructions for switching from a predetermined digital TV service to a simple video service

【０００３】
信号に応じ、前記蓄積手段に蓄積された最新の前記基準フレームデータを復号化起点に、当該基準フレームデータ及びそれ以降の複数の前記非基準フレームデータの復号化を順次行う復号化手段と、この復号化手段により順次復号化された前記複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻と現在時刻との前後関係に応じて、前記復号化手段で復号化されたフレームデータに基づく表示手段の表示動作の制御を行う制御手段とを有し、前記復号化手段は、前記移行切替指示信号が入力されたとき、前記基準フレームデータ及び前記複数の非基準フレームデータの復号化を順次行い、前記制御手段は、前記複数の非準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻と前記現在時刻を比較する比較手段と、この比較手段の比較結果で、前記再生時刻情報から作成した再生時刻が前記現在時刻より未来になった場合に、前記表示手段の表示動作を開始させるための開始手段とを備える。
［００１０］
また、請求項４記載の発明は、符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータとそれ以外の非基準フレームデータとを含む複数のデータパケットのストリームを処理するデジタル画像データ処理方法であって、前記複数のデータパケットに備えられる前記基準フレームデータ及び前記非基準フレームデータを順次蓄積する蓄積手順と、所定のデジタルＴＶサービスから簡易動画サービスへの移行切替指示信号に応じ、前記蓄積された最新の前記基準フレームデータを復号化起点に、当該基準フレームデータ及びそれ以降の複数の前記非基準フレームデータの復号化を順次行う復号化手順と、この復号化手順により順次復号化された前記複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻と現在時刻との前後関係に応じて、前記復号化手順で復号化されたフレームデータに基づく表示動作の制御を行う制御手順とを有し、前記復号化手順は、前記移行切替指示信号が入力されたとき、前記基準フレームデータ及び前記複数の非基準フレームデータの復号化を順次行い、前記制御手順は、前記複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻と前記現在時刻を比較し、その比較結果で、前記再生時刻情報から作成した再生時刻が前記現在時刻より未来になった場合に、前記表示動作を開始させる。
発明を実施するための最良の形態
［００１１］
以下、本発明の一実施の形態を図面を参照しつつ説明する。この実施形態は、デジタル画像データ処理装置の一例として、ＭＰＥＧ２システムを用いた地上波デジタル放送の受信機、特に、ＨＤＴＶサービスと簡易動画サービス（例えば映像符号化方式としてＨ．２６４が使用される）を含む放送を受信可能な受信機に適用した場合の実施形態である。
［００１２］
図１は、本実施形態の受信機の全体機能構成を表す機能ブロック図である。
［００１３］
図１において、デジタル画像データ処理装置としてのこの受信機１は、ＲＦ信号を受信するチューナ１０と、受信されたＲＦ信号を例えばＯＦＤＭ復調する復調部２０と、復調部２０からのトランスポートストリーム（ＴＳ）を一次格納するＴＳＢｕｆｆｅｒ３０と、ＴＳＤｅｍｕｘ（デマルチプレクサ）４０と、有限サイズ[0003]
Decoding means for sequentially decoding the reference frame data and a plurality of non-reference frame data thereafter, starting from the latest reference frame data stored in the storage means according to a signal; Frame data decoded by the decoding unit in accordance with the context of the reproduction time and the current time created from the reproduction time information provided for each of the plurality of non-reference frame data sequentially decoded by the decoding unit Control means for controlling the display operation of the display means based on the decoding means, and the decoding means decodes the reference frame data and the plurality of non-reference frame data when the transition switching instruction signal is input. And the control means performs the reproduction time created from the reproduction time information provided in each of the plurality of non-quasi-frame data and the current time Comparison means for comparing the display means and a start means for starting a display operation of the display means when a reproduction time created from the reproduction time information is later than the current time as a comparison result of the comparison means. Is provided.
[0010]
According to a fourth aspect of the present invention, reference frame data which is formed by packetizing encoded data in a variable length and can be a starting point for decoding along the time axis and other non-reference frames A digital image data processing method for processing a plurality of data packet streams including data, a storage procedure for sequentially storing the reference frame data and the non-reference frame data included in the plurality of data packets; In response to a transition switching instruction signal from the digital TV service to the simple video service, the reference frame data and a plurality of non-reference frame data thereafter are decoded using the accumulated reference frame data stored as a starting point for decoding. And a sequence of the non-reference frame data sequentially decoded by the decoding procedure. A control procedure for controlling the display operation based on the frame data decoded in the decoding procedure according to the context of the playback time and the current time created from the playback time information provided in each of the data, The decoding procedure sequentially decodes the reference frame data and the plurality of non-reference frame data when the transition switching instruction signal is input, and the control procedure is performed on each of the plurality of non-reference frame data. The playback time created from the playback time information provided is compared with the current time, and the display operation is started when the playback time created from the playback time information is later than the current time as a result of the comparison. .
Best Mode for Carrying Out the Invention [0011]
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. In this embodiment, as an example of a digital image data processing apparatus, a terrestrial digital broadcast receiver using an MPEG2 system, particularly an HDTV service and a simple moving image service (for example, H.264 is used as a video encoding method). This is an embodiment when applied to a receiver capable of receiving broadcasts including
[0012]
FIG. 1 is a functional block diagram showing the overall functional configuration of the receiver of this embodiment.
[0013]
In FIG. 1, the receiver 1 as a digital image data processing apparatus includes a tuner 10 that receives an RF signal, a demodulator 20 that performs OFDM demodulation on the received RF signal, for example, and a transport stream ( TSBuffer 30 for primary storage of TS), TSDemux (demultiplexer) 40, and finite size

Claims (10)

符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータとそれ以外の非基準フレームデータとを含む複数のデータパケットのストリームを処理するデジタル画像データ処理装置であって、
前記複数のデータパケットに備えられる前記基準フレームデータ及び前記非基準フレームデータを順次蓄積する蓄積手段と、
所定の指示信号に応じ、前記蓄積手段に蓄積された最新の前記基準フレームデータを復号化起点に、当該基準フレームデータ及びそれ以降の複数の前記非基準フレームデータの復号化を順次行う復号化手段と、
この復号化手段により順次復号化された前記複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻と現在時刻との前後関係に応じて、前記復号化手段で復号化されたフレームデータに基づく表示手段の表示動作の制御を行う制御手段と
を有することを特徴とするデジタル画像データ処理装置。A stream of a plurality of data packets formed by packetizing encoded data with a variable length and including reference frame data that can be a starting point for decoding along the time axis and other non-reference frame data A digital image data processing apparatus for processing
Storage means for sequentially storing the reference frame data and the non-reference frame data provided in the plurality of data packets;
Decoding means for sequentially decoding the reference frame data and a plurality of non-reference frame data thereafter, starting from the latest reference frame data stored in the storage means in accordance with a predetermined instruction signal When,
The frames decoded by the decoding unit according to the context of the reproduction time and the current time created from the reproduction time information respectively provided in the plurality of non-reference frame data sequentially decoded by the decoding unit A digital image data processing apparatus comprising: control means for controlling display operation of display means based on data. 請求項１記載のデジタル画像データ処理装置において、
前記制御手段は、前記複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻と前記現在時刻を比較する比較手段と、
この比較手段の比較結果で、前記再生時刻情報から作成した再生時刻が前記現在時刻より未来になった場合に、前記表示手段の表示動作を開始させるための開始手段
とを備えることを特徴とするデジタル画像データ処理装置。The digital image data processing apparatus according to claim 1.
The control means includes a comparison means for comparing the current time with a reproduction time created from reproduction time information provided for each of the plurality of non-reference frame data,
And a start means for starting a display operation of the display means when a reproduction time created from the reproduction time information is later than the current time as a comparison result of the comparison means. Digital image data processing device. 請求項２記載のデジタル画像データ処理装置において、
前記復号化手段は、前記所定の指示信号としての、ＨＤＴＶサービスから簡易動画サービスへの移行切替指示信号が入力されたとき、前記基準フレームデータ及び前記複数の非基準フレームデータの復号化を順次行うことを特徴とするデジタル画像データ処理装置。The digital image data processing apparatus according to claim 2, wherein
The decoding means sequentially decodes the reference frame data and the plurality of non-reference frame data when a transition switching instruction signal from the HDTV service to the simple video service is input as the predetermined instruction signal. A digital image data processing apparatus. 請求項１記載のデジタル画像データ処理装置において、
前記蓄積手段に順次蓄積される最新の前記基準フレームデータの再生時刻情報を保持する保持手段を有し、
前記復号化手段は、前記保持手段で保持された前記最新の基準フレームデータの再生時刻情報から作成した再生時刻に基づき、前記所定の指示信号に応じ当該最新の基準フレームデータ及びそれ以降の前記複数の非基準フレームデータの復号化を順次行う
ことを特徴とするデジタル画像データ処理装置。The digital image data processing apparatus according to claim 1.
Holding means for holding reproduction time information of the latest reference frame data sequentially stored in the storage means;
The decoding means, based on the reproduction time created from the reproduction time information of the latest reference frame data held by the holding means, according to the predetermined instruction signal, the latest reference frame data and the plurality of subsequent frames A digital image data processing apparatus for sequentially decoding non-reference frame data. 請求項１記載のデジタル画像データ処理装置において、
前記データパケットは、
前記再生時刻情報としてのＰＴＳを備えたＰＥＳヘッダを有するＰＥＳパケットであることを特徴とするデジタル画像データ処理装置。The digital image data processing apparatus according to claim 1.
The data packet is
A digital image data processing apparatus, wherein the digital image data processing apparatus is a PES packet having a PES header having a PTS as the reproduction time information. 符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータとそれ以外の非基準フレームデータとを含む複数のデータパケットのストリームを処理するデジタル画像データ処理方法であって、
前記複数のデータパケットに備えられる前記基準フレームデータ及び前記非基準フレームデータを順次蓄積する蓄積手順と、
所定の指示信号に応じ、前記蓄積された最新の前記基準フレームデータを復号化起点に、当該基準フレームデータ及びそれ以降の複数の前記非基準フレームデータの復号化を順次行う復号化手順と、
この復号化手段により順次復号化された前記複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻と現在時刻との前後関係に応じて、前記復号化手段で復号化されたフレームデータに基づく表示動作の制御を行う制御手順と
を有することを特徴とするデジタル画像データ処理方法。A stream of a plurality of data packets formed by packetizing encoded data with a variable length and including reference frame data that can be a starting point for decoding along the time axis and other non-reference frame data A digital image data processing method for processing
An accumulation procedure for sequentially accumulating the reference frame data and the non-reference frame data provided in the plurality of data packets;
A decoding procedure for sequentially decoding the reference frame data and the plurality of non-reference frame data thereafter, starting from the latest reference frame data stored in accordance with a predetermined instruction signal,
The frames decoded by the decoding unit according to the context of the reproduction time and the current time created from the reproduction time information respectively provided in the plurality of non-reference frame data sequentially decoded by the decoding unit A digital image data processing method comprising: a control procedure for controlling a display operation based on data. 請求項６記載のデジタル画像データ処理方法において、
前記制御手順は、
前記複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻と前記現在時刻を比較し、
その比較結果で、前記再生時刻情報から作成した再生時刻が前記現在時刻より未来になった場合に、前記表示動作を開始させることを備えることを特徴とするデジタル画像データ処理方法。The digital image data processing method according to claim 6.
The control procedure is:
Compare the playback time created from the playback time information provided in each of the plurality of non-reference frame data and the current time,
A digital image data processing method comprising: starting the display operation when a reproduction time created from the reproduction time information is later than the current time as a result of the comparison. 請求項７記載のデジタル画像データ処理方法において、
前記復号化手順は、前記所定の指示信号としての、ＨＤＴＶサービスから簡易動画サービスへの移行切替指示信号が入力されたとき、前記基準フレームデータ及び前記複数の非基準フレームデータの復号化を順次行うことを特徴とするデジタル画像データ処理方法。The digital image data processing method according to claim 7.
The decoding procedure sequentially decodes the reference frame data and the plurality of non-reference frame data when a transition switching instruction signal from the HDTV service to the simple video service is input as the predetermined instruction signal. And a digital image data processing method. 請求項６記載のデジタル画像データ処理方法において、
前記順次蓄積される最新の前記基準フレームデータの再生時刻情報を保持する保持手順を有し、
前記復号化手順は、前記保持手順で保持された前記最新の基準フレームデータの再生時刻情報から作成された再生時刻に基づき、前記所定の指示信号に応じ当該最新の基準フレームデータ及びそれ以降の前記複数の非基準フレームデータの復号化を順次行う
ことを特徴とするデジタル画像データ処理方法。The digital image data processing method according to claim 6.
A holding procedure for holding reproduction time information of the latest reference frame data that is sequentially stored;
The decoding procedure is based on the reproduction time created from the reproduction time information of the latest reference frame data held in the holding procedure, and the latest reference frame data and the subsequent reference frame data according to the predetermined instruction signal A digital image data processing method characterized by sequentially decoding a plurality of non-reference frame data. 請求項６記載のデジタル画像データ処理方法において、
前記データパケットとして、
前記再生時刻情報としてのＰＴＳを備えたＰＥＳヘッダを有するＰＥＳパケットを用いることを特徴とするデジタル画像データ処理方法。The digital image data processing method according to claim 6.
As the data packet,
A digital image data processing method using a PES packet having a PES header having a PTS as the reproduction time information.
JP2008505143A 2006-03-15 2007-03-12 Digital image data processing apparatus and processing method Expired - Fee Related JP4869330B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008505143A JP4869330B2 (en) 2006-03-15 2007-03-12 Digital image data processing apparatus and processing method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006070528 2006-03-15
JP2006070528 2006-03-15
JP2008505143A JP4869330B2 (en) 2006-03-15 2007-03-12 Digital image data processing apparatus and processing method
PCT/JP2007/054861 WO2007105697A1 (en) 2006-03-15 2007-03-12 Digital image data processing device and processing method

Publications (2)

Publication Number Publication Date
JPWO2007105697A1 true JPWO2007105697A1 (en) 2009-07-30
JP4869330B2 JP4869330B2 (en) 2012-02-08

Family

ID=38509517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008505143A Expired - Fee Related JP4869330B2 (en) 2006-03-15 2007-03-12 Digital image data processing apparatus and processing method

Country Status (2)

Country Link
JP (1) JP4869330B2 (en)
WO (1) WO2007105697A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4866135B2 (en) * 2006-04-19 2012-02-01 パイオニア株式会社 Image processing apparatus and image processing method
JP4799504B2 (en) * 2006-08-10 2011-10-26 キヤノン株式会社 Image decoding apparatus and control method thereof
CN104185031A (en) * 2014-02-26 2014-12-03 无锡天脉聚源传媒科技有限公司 Video absolute time point determination method and device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4261250B2 (en) * 2002-06-04 2009-04-30 パナソニック株式会社 Image data transmission apparatus and method, image data reproduction apparatus and method
JP4158606B2 (en) * 2003-06-06 2008-10-01 カシオ計算機株式会社 Receiver and reception control method
JP2005184219A (en) * 2003-12-17 2005-07-07 Toyota Motor Corp Digital television broadcasting receiver
JP2006345169A (en) * 2005-06-08 2006-12-21 Matsushita Electric Ind Co Ltd Digital television receiving terminal device

Also Published As

Publication number Publication date
JP4869330B2 (en) 2012-02-08
WO2007105697A1 (en) 2007-09-20

Similar Documents

Publication Publication Date Title
US8842175B2 (en) Anticipatory video signal reception and processing
US20100328527A1 (en) Fast Channel Switch Between Digital Television Channels
JP2001204035A (en) Digital video decoding system, method for sequentially displaying a plurality of video programs and method for predicting succeeding channel selected by user
JP2007006405A (en) Digital broadcast receiver
JP2005101859A (en) Television receiver, program guide providing program, and program guide providing method
JP4612791B2 (en) Receiving apparatus and receiving method
JP4869330B2 (en) Digital image data processing apparatus and processing method
US20090019513A1 (en) Method and apparatus for changing channel in digital broadcasting receiver
JP4866135B2 (en) Image processing apparatus and image processing method
US9100672B2 (en) Data transmitting device and data transmitting and receiving system
US8254764B2 (en) Recording apparatus, image reproducing apparatus, and special reproduction method therefor
US8131127B2 (en) Broadcast receiving apparatus and broadcast receiving method
JP2002112193A (en) Transfer control method for coded data and storage reproduction system
JP2007202013A (en) Broadcast receiver and channel selection method
JP5244764B2 (en) Digital broadcast receiving apparatus and program
JP2007267420A (en) Muting method for video signal
KR100710383B1 (en) A Digital Multimedia Broadcasting Terminal and the digital stream data decoding method
JP3885690B2 (en) Digital broadcast receiver
JP2001309255A (en) Receiver of digital tv broadcasting
JP4263510B2 (en) Digital broadcast receiver
JP4552200B2 (en) Digital broadcast receiver
JP2012070344A (en) Digital broadcast reception device and digital broadcast reception method
JP5016335B2 (en) Playback apparatus and playback method
JP2006148969A (en) Muting method for video signal
JP2008252832A (en) Receiver, data stream output apparatus, broadcasting system, control method of receiver, control method of data stream output apparatus, control program and recording medium

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111114

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111115

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141125

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees