JP4736918B2 - Digital playback device or playback program - Google Patents

Digital playback device or playback program Download PDF

Info

Publication number
JP4736918B2
JP4736918B2 JP2006108433A JP2006108433A JP4736918B2 JP 4736918 B2 JP4736918 B2 JP 4736918B2 JP 2006108433 A JP2006108433 A JP 2006108433A JP 2006108433 A JP2006108433 A JP 2006108433A JP 4736918 B2 JP4736918 B2 JP 4736918B2
Authority
JP
Japan
Prior art keywords
video
digital
data
specific data
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006108433A
Other languages
Japanese (ja)
Other versions
JP2007282084A (en
JP2007282084A5 (en
Inventor
健嗣 森本
浩 柏
信彦 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2006108433A priority Critical patent/JP4736918B2/en
Publication of JP2007282084A publication Critical patent/JP2007282084A/en
Publication of JP2007282084A5 publication Critical patent/JP2007282084A5/ja
Application granted granted Critical
Publication of JP4736918B2 publication Critical patent/JP4736918B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明はデジタル化されて伝送される映像や音声といった情報を記録するデジタル記録装置により記録された記録媒体を再生する際の、特にH.264形式で映像信号を記録再生する際に、一連の映像や音声ビットストリームを複数接続し、連続して再生を行うデジタル再生装置に関するものである。   The present invention is particularly useful when playing back a recording medium recorded by a digital recording apparatus that records information such as video and audio that is digitized and transmitted. The present invention relates to a digital playback apparatus that connects a plurality of series of video and audio bitstreams and continuously plays back when recording and playing back video signals in the H.264 format.

近年、デジタル化された映像信号や音声信号をデジタル記録または再生するデジタル再生装置はいくつか実用化、または提案されている(例えば、特許文献1参照。)。
以下に図面を参照しながら、上記した従来のデジタル記録装置の一例について説明する。図9は従来のデジタル記録装置のブロック図を示すものである。図9において、1は記録媒体、2が再生手段であり、3は制御手段、4はシステムデコード手段、118は映像信号切り替えスイッチA、6は映像ストリーム記憶手段、119は映像信号切り替えスイッチB、7は映像デコーダ、8はフレーム記憶手段、9は映像出力端子、10は音声ストリーム記憶手段、11は音声デコーダ、12は音声出力端子である。
In recent years, several digital reproduction apparatuses that digitally record or reproduce digitized video signals and audio signals have been put to practical use or proposed (see, for example, Patent Document 1).
An example of the above-described conventional digital recording apparatus will be described below with reference to the drawings. FIG. 9 shows a block diagram of a conventional digital recording apparatus. In FIG. 9, 1 is a recording medium, 2 is a reproducing means, 3 is a control means, 4 is a system decoding means, 118 is a video signal changeover switch A, 6 is a video stream storage means, 119 is a video signal changeover switch B, 7 is a video decoder, 8 is a frame storage means, 9 is a video output terminal, 10 is an audio stream storage means, 11 is an audio decoder, and 12 is an audio output terminal.

以上のように構成されたデジタル再生装置について、以下その動作について説明する。記録媒体1には、映像や音声といったデジタルビットストリーム信号が所定のフォーマットで記録されている。例えば映像信号はH.264形式で圧縮され、記録媒体を効率的に使用して長時間の記録を可能とする。記録されているデジタルビットストリーム信号は、再生手段2により記録媒体から読み出される。再生手段2はレーザーピックアップや信号等化回路、エラー訂正回路等を含み、記録媒体のアドレスを制御手段3から指示され、読み出したデジタル信号に対してエラー訂正処理等を行った後、再生デジタルビットストリーム信号を得る。次にシステムデコード手段4では映像と音声のデジタルビットストリーム信号の分離を行う。   The operation of the digital playback apparatus configured as described above will be described below. On the recording medium 1, digital bit stream signals such as video and audio are recorded in a predetermined format. For example, the video signal is H.264. It is compressed in the H.264 format, and recording can be performed for a long time using the recording medium efficiently. The recorded digital bit stream signal is read from the recording medium by the reproducing means 2. The reproduction means 2 includes a laser pickup, a signal equalization circuit, an error correction circuit, and the like. The address of the recording medium is instructed from the control means 3, and the read digital signal is subjected to error correction processing and the like. Get stream signal. Next, the system decoding means 4 separates the video and audio digital bit stream signals.

分離された映像ビットストリーム信号は、118の映像信号切り替えスイッチA、映像ストリーム記憶手段6、119の映像信号切り替えスイッチBを経て、映像デコーダ7に入力される。映像デコーダ7ではフレーム記憶手段8にデコードした画像を格納しながら映像ビットストリームを映像信号にデコードして変換し、映像出力端子9から出力する。   The separated video bitstream signal is input to the video decoder 7 through the video signal changeover switch A 118 and the video signal changeover switch B of the video stream storage means 6, 119. The video decoder 7 decodes and converts the video bitstream into a video signal while storing the decoded image in the frame storage means 8 and outputs it from the video output terminal 9.

また、システムデコード手段4により分離された音声ビットストリームは、音声ストリーム記憶手段10に入力され、音声デコーダ11に入力される。音声デコーダでは音声ビットストリーム信号がデコードされ、デコードされた音声信号が音声出力端子12から出力される。   The audio bit stream separated by the system decoding unit 4 is input to the audio stream storage unit 10 and input to the audio decoder 11. In the audio decoder, the audio bit stream signal is decoded, and the decoded audio signal is output from the audio output terminal 12.

記録媒体1には一連の映像、音声信号からなる1本のデジタルビットストリームのみが入っているわけではない。したがって、2本の個別のデジタルビットストリーム信号を連続して再生する場合がある。さらに、同一の1本のデジタルビットストリーム内であっても、異なる2箇所の不連続な区間でビットストリームを連続的に再生する場合もありうる。このような、デジタルビットストリームの不連続な接続点をまたいで接続し、連続に再生を行う場合、まず第1のデジタルビットストリームを、118の映像信号切り替えスイッチAを切り替えて映像ストリーム記憶手段6の一方に順次記憶する。119の映像信号切り替えスイッチBが、映像ストリーム記憶手段6から第1のデジタルビットストリームを映像デコーダに伝送し、デコードされる。118の映像信号切り替えスイッチAは、第1のデジタルビットストリームが再生された後、続いてもう一方の映像ストリーム記憶手段6に切り替わり、第2のデジタルビットストリームを順次再生し記憶する。映像デコーダ7は、制御手段3と連携し、第1のデジタルビットストリームのデコードを終了した直後、119の映像信号切り替えスイッチBを切り替えて、第2のデジタルビットストリームのデコードを開始し、第1及び第2のデジタルビットストリームのデコードを連続して行うことが可能になるというものであった。
特開2002−281458号公報
The recording medium 1 does not contain only one digital bit stream consisting of a series of video and audio signals. Therefore, two individual digital bit stream signals may be reproduced continuously. Furthermore, even within the same digital bit stream, the bit stream may be continuously reproduced in two different discontinuous sections. When such discontinuous connection points of digital bitstreams are connected and reproduced continuously, the first digital bitstream is first switched by switching the video signal selector switch 118 of the video stream storage means 6. One of them is sequentially stored. The video signal selector switch 119 transmits the first digital bit stream from the video stream storage means 6 to the video decoder and is decoded. The video signal changeover switch A 118 switches to the other video stream storage means 6 after the first digital bit stream is reproduced, and sequentially reproduces and stores the second digital bit stream. The video decoder 7 cooperates with the control means 3 and immediately after the decoding of the first digital bit stream is finished, the video decoder 7 switches the 119 video signal changeover switch B to start the decoding of the second digital bit stream. The second digital bit stream can be continuously decoded.
JP 2002-281458 A

しかしながら上記のような構成においては、映像ストリーム記憶手段6を通常の2倍設けなければならない。また、118と119で示した映像信号切り替えスイッチAとBも必要となり、さらにはスイッチの切り替え制御を制御手段3が行わなければならず、通常より多いハードウェア、及び2つのストリームの切り替わり点でスイッチを切り換えるという複雑な制御が要求されている。また、映像ビットストリームの切り替わり点では不連続なストリームをデコードするため、デコード画像にエラーが発生し画像乱れが起きることもあった。   However, in the configuration as described above, the video stream storage means 6 must be provided twice as usual. Also, the video signal change-over switches A and B indicated by 118 and 119 are required, and further, the control means 3 must perform switch change-over control, with more hardware than usual and at the point of switching between the two streams. Complicated control of switching the switch is required. In addition, since a discontinuous stream is decoded at the switching point of the video bitstream, an error occurs in the decoded image and image disturbance may occur.

本発明は上記問題点に鑑み、映像ストリーム記憶手段や映像信号切り替えスイッチの追加なしに、簡便な仕組みで2つの映像ビットストリームの接続点をまたいで連続してデコードを行い、再生画面の乱れを抑えることが可能なデジタル再生装置を提供することを目的とする。   In view of the above problems, the present invention performs continuous decoding across the connection points of two video bitstreams with a simple mechanism without the addition of video stream storage means or video signal changeover switches, and disturbs the playback screen. An object of the present invention is to provide a digital playback device that can be suppressed.

上記問題点を解決するために本発明のデジタル再生装置は、記録媒体に記録された映像または音声デジタルビットストリーム信号を再生する再生手段、再生された映像または音声デジタルビットストリーム信号を映像ビットストリームと音声ビットストリームに分離するシステムデコード手段、映像ビットストリームに特定データを挿入する特定データ挿入手段、映像ビットストリームを一時的に記憶する映像ストリーム記憶手段、映像ビットストリームを映像信号にデコードする映像デコード手段、前記デコードされた映像フレーム信号を記憶するフレーム記憶手段、音声ビットストリームを一時的に記憶する音声ストリーム記憶手段、音声ビットストリームを音声信号にデコードする音声デコード手段、前記再生手段、前記システムデコード手段、前記映像デコード手段、前記音声デコード手段を制御する制御手段から構成されている。   In order to solve the above problems, the digital playback apparatus of the present invention includes a playback means for playing back a video or audio digital bitstream signal recorded on a recording medium, and the reproduced video or audio digital bitstream signal as a video bitstream. System decoding means for separating audio bitstreams, specific data inserting means for inserting specific data into the video bitstream, video stream storage means for temporarily storing the video bitstream, and video decoding means for decoding the video bitstream into a video signal Frame storage means for storing the decoded video frame signal, audio stream storage means for temporarily storing an audio bit stream, audio decoding means for decoding the audio bit stream into an audio signal, the playback means, and the system deco De means, said video decoding means, and a control means for controlling the audio decoding unit.

本デジタル再生装置において、一連の映像、音声ビットストリームを複数接続し、連続して再生する場合、再生信号の接続点に、前記再生手段でダミーデータを挿入し、挿入された前記ダミーデータを前記システムデコード手段で検出し、映像ビットストリーム中に特定データを挿入する。そして映像デコード手段では前記特定データを検出してデコード画像の乱れを抑えて滑らかに接続させる処理を行うように構成したものである。これにより、2つのビットストリームを連続して再生する場合も、少ないハードウェアの追加と簡便なデコード処理により、再生画像の乱れを抑えて滑らかに再生することが可能となる。また、映像ストリームがH.264形式で圧縮された場合において、特にストリームの接続点をまたいだ後にH.264特有のストリーム形式に対する処理を行うことで、再生画像の乱れを抑えることが確実に行える。   In this digital playback device, when a plurality of video and audio bitstreams are connected and played back continuously, dummy data is inserted by the playback means at a playback signal connection point, and the inserted dummy data is inserted into the digital data. It is detected by the system decoding means, and specific data is inserted into the video bit stream. The video decoding means is configured to perform processing for detecting the specific data and suppressing the disturbance of the decoded image so as to connect smoothly. As a result, even when two bit streams are played back continuously, the playback image can be smoothly played back with less disturbance by adding less hardware and a simple decoding process. The video stream is H.264. When compressed in the H.264 format, the H.264 format particularly after straddling the connection point of the stream. By performing processing for a stream format peculiar to H.264, it is possible to reliably suppress disturbance of the reproduced image.

本発明は、記録媒体からH.264で符号化された2つのビットストリームを接続し、連続して再生する際に、ダミーデータを挿入し、ダミーデータを検出して特定NALユニットコードをストリームに埋め込むことで、画像を乱すことなく再生を行うことを可能とする。さらに、ハードウェアの増加や、複雑な処理を行うことなく、簡単に実現することができるという長所を有する。   The present invention provides an H.264 recording medium from a recording medium. When two bitstreams encoded in H.264 are connected and played back continuously, dummy data is inserted, dummy data is detected, and a specific NAL unit code is embedded in the stream for playback without disturbing the image. It is possible to perform. Further, it has an advantage that it can be easily realized without increasing hardware and performing complicated processing.

本発明の第1の発明は、映像及び音声が多重化された複数のデジタルビットストリームを連続して再生する場合、その映像及び音声が多重化された複数のデジタルビットストリームを記録媒体から読み出し、その映像及び音声が多重化された複数のデジタルビットストリームの接続点にダミーデータを挿入するダミーデータ挿入手段と、前記ダミーデータ挿入手段によりダミーデータが挿入された映像及び音声が多重化されたデジタルビットストリームを、映像デジタルビットストリームと音声デジタルビットストリームとに分離する場合に、前記ダミーデータを検出し、その検出したダミーデータに基づき前記映像デジタルビットストリームに接続点を特定する特定データを挿入する特定データ挿入手段と、前記映像デジタルビットストリーム中の特定データを検出する特定データ検出手段と、前記特定データ検出手段で特定データが検出された場合は、前記デジタルビットストリームのデコード処理を初期化する映像デコード手段とを備えることを特徴とするデジタル再生装置であり、前記特定データを前記映像デコード手段で検出することにより、接続された2つのビットストリームの接続点を確実に映像デコーダに伝えるという作用を有する。 The first aspect of the present invention is read from the recording medium when a plurality of digital bit stream the video and audio are multiplexed to be reproduced to continue communicating a plurality of digital bit stream video and audio are multiplexed , Dummy data insertion means for inserting dummy data into connection points of a plurality of digital bit streams in which the video and audio are multiplexed, and the video and audio in which dummy data is inserted by the dummy data insertion means When separating a digital bit stream into a video digital bit stream and an audio digital bit stream, the dummy data is detected, and specific data for specifying a connection point is inserted into the video digital bit stream based on the detected dummy data a specific data insertion means for the digital video bit string Specific data detection means for detecting specific data in the video stream, and video decoding means for initializing decoding processing of the digital bitstream when the specific data is detected by the specific data detection means, The digital playback device has the effect of reliably transmitting the connection point of two connected bit streams to the video decoder by detecting the specific data by the video decoding means.

本発明の第2の発明は、請求項1と同様の構成で、記録媒体に記録された映像デジタルビットストリーム信号がH.264形式で圧縮されていることを特徴とするデジタル再生装置である。 According to a second aspect of the present invention, the video digital bit stream signal recorded on the recording medium has the same configuration as that of the first aspect. The digital reproduction apparatus is characterized by being compressed in the H.264 format.

本発明の第3の発明は、上記請求項1または2と同様の構成であり、特定データ挿入手段によって挿入されるデータが、H.264規格上未定義または将来拡張用のIDを持つNAL(Network Abstraction Layer)ユニットのスタートコードを含むことを特徴とするデジタル再生装置である。 The third invention of the present invention has the same configuration as in the first or second aspect of the invention, and the data inserted by the specific data inserting means is H.264. The digital reproduction apparatus includes a start code of a NAL (Network Abstraction Layer) unit that is undefined in the H.264 standard or has an ID for future expansion.

本発明の第4の発明は、上記請求項1から3のいずれかと同様の構成であり、特定データ挿入手段によって挿入されるデータに、長さNビットのビット列”0”を含むことを特徴とするデジタル再生装置である。 A fourth invention of the present invention has the same configuration as that of any one of the first to third aspects, characterized in that the data inserted by the specific data inserting means includes a bit string “0” having a length of N bits. Digital playback device.

本発明の第5の発明は、上記請求項1から4のいずれかと同様の構成であり、映像ビットストリーム中に挿入された特定データを検出したことを制御手段に通知し、制御手段は次にSPS(Sequence Parameter Set)またはIDRピクチャを検出するまで映像ビットストリームを飛ばしてから、前記接続されたストリームをデコードするように制御することを特徴とするデジタル再生装置である。 According to a fifth aspect of the present invention, there is provided a configuration similar to any one of the first to fourth aspects, and notifies the control means that the specific data inserted in the video bitstream has been detected. The digital playback apparatus is characterized in that the video bit stream is skipped until an SPS (Sequence Parameter Set) or IDR picture is detected, and then the connected stream is controlled to be decoded.

本発明の第6の記載の発明は、映像及び音声が多重化された複数のデジタルビットストリームを連続して再生する場合、その映像及び音声が多重化された複数のデジタルビットストリームを記録媒体から読み出し、その映像及び音声が多重化された複数のデジタルビットストリームの接続点にダミーデータを挿入するダミーデータ挿入ステップと、前記ダミーデータ挿入によりダミーデータが挿入された映像及び音声が多重化されたデジタルビットストリームを、映像デジタルビットストリームと音声デジタルビットストリームとに分離する場合に、前記ダミーデータを検出し、その検出したダミーデータに基づき前記映像デジタルビットストリームに接続点を特定する特定データを挿入する特定データ挿入ステップと、前記映像デジタルビットストリーム中の特定データを検出する特定データ検出ステップと、前記特定データ検出ステップで特定データが検出された場合は、前記デジタルビットストリームのデコード処理を初期化する映像デコードステップを備えるプログラムである。 A sixth invention according to the present invention, when playing with continued communication a plurality of digital bit stream video and audio are multiplexed, the recording medium a plurality of digital bit stream the video and audio are multiplexed A dummy data insertion step of inserting dummy data into connection points of a plurality of digital bitstreams that have been multiplexed and the video and audio are multiplexed, and the video and audio into which dummy data has been inserted by the dummy data insertion are multiplexed When the digital bit stream is separated into a video digital bit stream and an audio digital bit stream, the dummy data is detected, and specific data for specifying a connection point in the video digital bit stream is detected based on the detected dummy data. a specific data insertion step of inserting, the video digital-bi A specific data detection step of detecting the specific data in the preparative stream, wherein when the specific data in a specific data detection step is detected, the program comprising: a video decoding step of initializing a decoding process of the digital bit stream is there.

本発明の第7の発明は、請求項6と同様の構成で、映像デジタルビットストリーム信号がH.264形式であることを特徴とするプログラムである。 According to a seventh aspect of the present invention, the video digital bit stream signal has the same configuration as that of the sixth aspect and the video digital bit stream signal is H.264. A feature and to Help program that 264 is in the form.

本発明の第8の発明は、上記請求項6または7のいずれかと同様の構成であり、特定データ挿入手段によって挿入されるデータが、H.264規格上未定義または将来拡張用のIDを持つNAL(Network Abstraction Layer)ユニットのスタートコードを含むことを特徴とするプログラムである。 The eighth aspect of the present invention has the same configuration as that of any one of the sixth and seventh aspects, and the data inserted by the specific data insertion means is H.264. 264 is a feature and to Help program to include the start code of the NAL (Network Abstraction Layer) unit with an ID for standards on undefined or future expansion.

本発明の第9の発明は、上記請求項6から8のいずれかと同様の構成であり、特定データ挿入手段によって挿入されるデータに、長さNビットのビット列”0”を含むことを特徴とするプログラムである。 A ninth aspect of the present invention has the same configuration as any one of the sixth to eighth aspects, wherein the data inserted by the specific data inserting means includes a bit string “0” having a length of N bits. it is to Help program.

本発明の第10の発明は、上記請求項6から9のいずれかと同様の構成であり、映像ビットストリーム中に挿入された特定データを検出したことを制御手段に通知し、制御手段は次にSPS(Sequence Parameter Set)またはIDRピクチャを検出するまで映像ビットストリームを飛ばしてから、前記接続されたストリームをデコードするように制御することを特徴とするプログラムである。 A tenth aspect of the present invention has the same configuration as any one of the sixth to ninth aspects, and notifies the control means that the specific data inserted in the video bitstream has been detected. after skipping the video bit stream until detecting an SPS (Sequence Parameter Set) or an IDR picture, which is characteristic and to Help program to control to decode the connected streams.

以下、本発明の実施例1について図1から図6を用いて説明する。   Embodiment 1 of the present invention will be described below with reference to FIGS.

(実施の形態1)
図1は実施の形態1のデジタル再生装置のブロック図を示すものである。図1において、1は記録媒体、2が再生手段であり、内部にダミーデータ挿入手段を含む。3は制御手段、4はシステムデコード手段、5は特定データ挿入手段、6は映像ストリーム記憶手段、7は映像デコーダ、8はフレーム記憶手段、9は映像出力端子、10は音声ストリーム記憶手段、11は音声デコーダ、12は音声出力端子である。
(Embodiment 1)
FIG. 1 shows a block diagram of the digital reproducing apparatus according to the first embodiment. In FIG. 1, 1 is a recording medium, 2 is a reproducing means, and includes dummy data inserting means. 3 is control means, 4 is system decoding means, 5 is specific data insertion means, 6 is video stream storage means, 7 is video decoder, 8 is frame storage means, 9 is a video output terminal, 10 is audio stream storage means, 11 Is an audio decoder, and 12 is an audio output terminal.

以上のように構成されたデジタル再生装置について、以下その動作について説明する。記録媒体1には、映像や音声といったデジタルビットストリーム信号が所定のフォーマットで記録されている。例えばMPEG2(Moving Picture Image Coding Experts Group 2)のTS(Transport Stream)といった固定長(188byte)のパケットが記録されている。MPEG2−TSでは、映像と音声のビットストリームを多重化して構成し伝送することができる。さらに、映像信号の符号化方式については、MPEG2方式のみならず、H.264方式(MPEG4−AVCとも称される)方式といった符号化方式で圧縮され、より効率的に記録が可能なストリーム構成も可能となっている。   The operation of the digital playback apparatus configured as described above will be described below. On the recording medium 1, digital bit stream signals such as video and audio are recorded in a predetermined format. For example, a fixed length (188 byte) packet such as a TS (Transport Stream) of MPEG2 (Moving Picture Image Coding Experts Group 2) is recorded. In MPEG2-TS, video and audio bit streams can be multiplexed and configured and transmitted. Furthermore, the video signal encoding method is not limited to the MPEG2 method, but also H.264. A stream structure is also possible which is compressed by an encoding method such as the H.264 method (also referred to as MPEG4-AVC) and can be recorded more efficiently.

上記のような方式により記録されているデジタルビットストリーム信号は、まず再生手段2により記録媒体1から読み出される。再生手段2はレーザーピックアップや信号等化回路、エラー訂正回路等を、またダミーデータ挿入手段を含み、記録媒体のアドレスを制御手段3から指示され、読み出したデジタル信号に対してエラー訂正処理等を行った後、再生デジタルビットストリーム信号を得る。次にシステムデコード手段4では映像と音声のデジタルビットストリーム信号の分離を行う。この際に映像ストリームの接続点に特定データ挿入手段5で生成された特定データが挿入される。   The digital bit stream signal recorded by the above method is first read from the recording medium 1 by the reproducing means 2. The reproduction means 2 includes a laser pickup, a signal equalization circuit, an error correction circuit, etc., and also includes a dummy data insertion means. The address of the recording medium is instructed from the control means 3, and error correction processing is performed on the read digital signal. After doing so, a reproduced digital bitstream signal is obtained. Next, the system decoding means 4 separates the video and audio digital bit stream signals. At this time, the specific data generated by the specific data insertion means 5 is inserted into the connection point of the video stream.

分離された映像ビットストリーム信号は、映像ストリーム記憶手段6を経て、映像デコーダ7に入力される。映像デコーダ7ではフレーム記憶手段8にデコードした画像を格納しながら映像ビットストリームを映像信号にデコードして変換し、映像出力端子9から出力する。   The separated video bit stream signal is input to the video decoder 7 via the video stream storage means 6. The video decoder 7 decodes and converts the video bitstream into a video signal while storing the decoded image in the frame storage means 8 and outputs it from the video output terminal 9.

また、システムデコード手段4により分離された音声ストリームは、音声ストリーム記憶手段10に入力され、音声デコーダ11に入力される。音声デコーダでは音声ビットストリーム信号がデコードされ、デコードされた音声信号が音声出力端子12から出力される。   The audio stream separated by the system decoding unit 4 is input to the audio stream storage unit 10 and input to the audio decoder 11. In the audio decoder, the audio bit stream signal is decoded, and the decoded audio signal is output from the audio output terminal 12.

記録媒体1には一連の映像、音声デジタルビットストリーム信号が1本のみ入っているわけではない。したがって、2本以上の複数のビットストリーム信号を接続し、連続して再生する場合がある。さらに、同一のストリーム内であっても、異なる2箇所の別の区間のビットストリームを接続し、連続して再生する場合もありうる。このような、デジタルビットストリームの接続点をまたいでの再生を行う場合、まず第1のデジタルビットストリームを記録媒体から再生手段2によって再生し、システムデコード手段4に転送する。システムデコード手段4では音声と映像のストリームに分離し、各映像ストリーム記憶手段6、音声ストリーム記憶手段10へ格納する。
次に制御手段3の指示により、再生手段2内のダミーデータ挿入手段でダミーデータを挿入し、システムデコード手段へと転送する。例えばMPEG2−TSのパケット長と同一の188byteのダミーデータを挿入する。システムデコード手段では、前記ダミーデータを、そのパケットIDやパケットID+データ内に記述されたIDといった方法により判別し、検出する。
The recording medium 1 does not contain only one series of video and audio digital bit stream signals. Accordingly, two or more bit stream signals may be connected and reproduced continuously. Furthermore, even within the same stream, bit streams in two different sections may be connected and reproduced continuously. When reproduction is performed across the connection points of the digital bit stream, the first digital bit stream is first reproduced from the recording medium by the reproduction means 2 and transferred to the system decoding means 4. The system decoding means 4 separates the audio and video streams and stores them in each video stream storage means 6 and audio stream storage means 10.
Next, in accordance with an instruction from the control means 3, dummy data is inserted by the dummy data insertion means in the reproduction means 2 and transferred to the system decoding means. For example, 188-byte dummy data that is the same as the packet length of MPEG2-TS is inserted. The system decoding means discriminates and detects the dummy data by a method such as packet ID or packet ID + ID described in the data.

図2にシステムデコード手段4のブロック図を示す。図2において、13は入力端子、14はPID検出手段、15はダミーデータ検出手段、16はTS/PESデコーダ、17は切り替えスイッチ、18は特定データ入力端子、19は切替えスイッチ、20は映像ビットストリーム出力端子、21は音声ビットストリーム出力端子である。MPEG2−TSでは固定長(188バイト)のパケットでデータを伝送し、PID(パケットID)により各種パケットの識別を行う。制御手段3から制御されて、映像ビットストリームのPIDや音声ビットストリームのPIDと比較し、切り替えスイッチ17を制御することで、ストリームを分離することが可能となる。また、ダミーデータとして、再生手段2により固定のPIDを持つパケットを挿入することで、PID検出手段14、ダミーデータ検出手段15で、ダミーデータを検出することができる。PIDのみではダミーデータを特定して検出できない場合には、パケットのデータ部にあらかじめ決められた固定のIDパターンを埋めておくことで、確実にストリームの境界を検出することが可能となる。例えば、通常はスタッフィングの目的でしか用いられない、NULL(ヌル)パケットをダミーデータとし、NULLパケットのPIDと、それに続く特定のパターンをダミーデータとして埋め込んでおくとよい。   FIG. 2 shows a block diagram of the system decoding means 4. In FIG. 2, 13 is an input terminal, 14 is PID detection means, 15 is dummy data detection means, 16 is a TS / PES decoder, 17 is a changeover switch, 18 is a specific data input terminal, 19 is a changeover switch, and 20 is a video bit. A stream output terminal 21 is an audio bit stream output terminal. In MPEG2-TS, data is transmitted in fixed length (188 bytes) packets, and various packets are identified by PID (packet ID). It is possible to separate the streams by controlling the changeover switch 17 under the control of the control means 3 and comparing with the PID of the video bit stream and the PID of the audio bit stream. Further, by inserting a packet having a fixed PID by the reproducing unit 2 as dummy data, the PID detecting unit 14 and the dummy data detecting unit 15 can detect the dummy data. When dummy data cannot be identified and detected only by PID, it is possible to reliably detect a stream boundary by filling a predetermined fixed ID pattern in the data portion of the packet. For example, a NULL packet, which is normally used only for stuffing purposes, may be used as dummy data, and the PID of the NULL packet and a specific pattern subsequent thereto may be embedded as dummy data.

TS/PESデコーダ16ではMPEG2−TSパケットで送られてきたデータから、TS層、PES(Packetized Elementary Stream)層とよばれる伝送のためのヘッダを取り除き、TS/PES内部に格納されたES(Elementary Stream)と呼ばれる、映像、音声のビットストリームを抽出し、切り替えスイッチ17によりそれぞれの出力端子より出力する。   The TS / PES decoder 16 removes the header for transmission called TS layer and PES (Packetized Elementary Stream) layer from the data sent in the MPEG2-TS packet, and ES (Elementary) stored in the TS / PES. Video and audio bit streams called “Stream” are extracted and output from the respective output terminals by the changeover switch 17.

ダミーデータ検出手段15でダミーデータが検出された場合、そのパケットが伝送された箇所でビットストリームが不連続であり、二つのビットストリームが接続された接続点であることを示す。したがって、特定データ挿入手段5、切替えスイッチ19を制御することにより、映像ビットストリーム中に特定データを挿入する。   When dummy data is detected by the dummy data detection means 15, it indicates that the bit stream is discontinuous at the location where the packet is transmitted, and is a connection point where two bit streams are connected. Therefore, the specific data is inserted into the video bitstream by controlling the specific data insertion means 5 and the changeover switch 19.

例えば、映像ビットストリームがH.264で符号化されている場合、ES層は複数のNALユニットから構成されている。このNALユニットには、内部に伝送されるデータの種類によってnal_unit_typeと呼ばれるIDを含むNALヘッダが先頭付近に付加されている。伝送されるデータとは、SPSやPPS(Picture Parameter Set)と呼ばれるような画像シーケンスやピクチャの各種パラメータや、画像シーケンスの先頭のピクチャである、IDR(Instantaneous Decoding Refresh)ピクチャや、アクセス・ユニットの区切りを示す、AU(Access Unit)デリミタや、シーケンスの終了を示すEnd of Sequenceデータ等であったりする。それぞれのデータの内容によってH.264では固有のnal_unit_typeの値が定義されており、NALヘッダ内の上記IDを検出することで、伝送されているデータ種別を判別することが可能である。今回ストリーム接続点に、特定データ挿入手段5によって生成され、挿入されるデータとしては、H.264規格のNALユニットで規定されるデータ形式とし、nal_unit_typeの値としては、将来拡張用、または未定義のものを使用するとよい。これらの値は、現在未使用のため映像ビットストリーム中には存在しないので、確実に接続点を検出することが可能である。映像デコーダ7では、この特定データとして定められたIDを持つNALユニットデータを検出し、接続点を検出することができる。   For example, if the video bitstream is H.264. When encoded in H.264, the ES layer is composed of a plurality of NAL units. In this NAL unit, a NAL header including an ID called nal_unit_type is added near the head depending on the type of data transmitted inside. Data to be transmitted includes various parameters of an image sequence and picture such as SPS and PPS (Picture Parameter Set), an IDR (Instantaneous Decoding Refresh) picture that is the first picture of the image sequence, and an access unit. It may be an AU (Access Unit) delimiter indicating a delimiter, End of Sequence data indicating the end of a sequence, or the like. Depending on the content of each data, H.264 defines a unique nal_unit_type value, and by detecting the ID in the NAL header, it is possible to determine the type of data being transmitted. The data generated and inserted by the specific data insertion means 5 at the stream connection point this time is H.264. The data format is defined by the NAL unit of the H.264 standard, and the value of nal_unit_type may be used for future expansion or undefined. Since these values are not currently used and do not exist in the video bitstream, it is possible to reliably detect connection points. The video decoder 7 can detect NAL unit data having an ID defined as the specific data, and can detect a connection point.

図3にH.264のストリーム構成を簡単に説明する。MPEG2とは異なり、ピクチャではなくスライス単位で、I(Intra)スライス、P(Predictive)スライス、B(Bi−Predictive)スライスといった種類がスライスタイプとして定義される。図3ではピクチャ内のスライスがすべて同一のスライスタイプで示されたビットストリームの例であり、このような場合はIピクチャ、Bピクチャ、Pピクチャというようにピクチャ単位でスライスタイプが固定される。また、Iピクチャと区別し、IDRピクチャという画像シーケンスの先頭のピクチャがあり、参照ピクチャ・バッファの状態やパラメータといった、映像ビットストリームを複号するためのすべての状態をリセットするピクチャが存在する。22はIDRピクチャ、23はBピクチャ、24はPピクチャである。IDRピクチャより前には、25のSPSとしてデコードシーケンスに必要なパラメータ情報、26や28にPPSとしてピクチャデコードに必要なパラメータ情報が伝送される。29のようにIDRピクチャから次のIDRピクチャまでがMPEG2のGOP(Group of Pictures)に相当し、デコード開始時にはシーケンス先頭のIDRピクチャから再生する。   FIG. The H.264 stream configuration will be briefly described. Unlike MPEG2, types such as I (Intra) slice, P (Predictive) slice, and B (Bi-Predictive) slice are defined as slice types in units of slices instead of pictures. FIG. 3 shows an example of a bit stream in which all slices in a picture are indicated by the same slice type. In such a case, the slice type is fixed in units of pictures such as an I picture, a B picture, and a P picture. In addition, there is a picture that is distinguished from an I picture, that is, the head picture of an image sequence called an IDR picture, and there is a picture that resets all states for decoding a video bitstream, such as the state of a reference picture buffer and parameters. 22 is an IDR picture, 23 is a B picture, and 24 is a P picture. Before the IDR picture, parameter information necessary for decoding sequence is transmitted as 25 SPS, and parameter information necessary for picture decoding is transmitted as PPS to 26 and 28. As shown in FIG. 29, an IDR picture to the next IDR picture correspond to MPEG2 GOP (Group of Pictures), and playback starts from the IDR picture at the head of the sequence when decoding is started.

次に図4を用いてダミーデータの挿入の様子を説明する。図4において、ストリームは簡単のためMPEG2−TSの映像ビットストリームのみについて示すものとする。30は映像ビットストリーム1であり、35は映像ビットストリーム2であり、それぞれを接続して再生するものとする。31、33、34、37、38は映像ビットストリーム中のBピクチャデータ、32、39はPピクチャデータ、36はIDRピクチャデータを示している。40から41のMPEG2−TSからなるBピクチャデータで、映像ビットストリーム1が終了し、43のTSデータで映像ビットストリーム2が始まるものとする。これらビットストリーム1と2を接続し、連続して再生する場合に、42に示すようにダミーデータを再生手段2において挿入する。
例えば34のBピクチャは、45のTSヘッダ、46のPESヘッダに続く47のPPS、Bピクチャヘッダ以降の映像ESデータとして伝送されている。しかし、データの伝送単位が188バイト単位であるために、最終TSパケット41では、48に示すように、次のピクチャのESデータが始まることも考えられる。同様に、映像ビットストリーム2の先頭IDRピクチャデータ36では、43から44のMPEG−TSデータで伝送されるが、50からSPS、PPS、IDRピクチャヘッダ、ピクチャデータと伝送される。しかし、先頭TSパケットには49に示すように、直前のピクチャデータの残骸が入っていることが考えられる。これらビットストリーム1、2を単純に接続すると、不要なESデータ48や49等が誤って接続され、映像デコーダに送られてデコードエラーを引き起こしてしまう。
Next, how the dummy data is inserted will be described with reference to FIG. In FIG. 4, only the MPEG2-TS video bit stream is shown for simplicity. Reference numeral 30 denotes a video bit stream 1 and reference numeral 35 denotes a video bit stream 2 which are connected and reproduced. Reference numerals 31, 33, 34, 37, and 38 indicate B picture data in the video bit stream, 32 and 39 indicate P picture data, and 36 indicates IDR picture data. It is assumed that the video bitstream 1 ends with B picture data composed of MPEG2-TS 40 to 41, and the video bitstream 2 starts with 43 TS data. When these bit streams 1 and 2 are connected and reproduced continuously, dummy data is inserted in the reproducing means 2 as shown at 42.
For example, 34 B pictures are transmitted as 45 ES headers, 47 PPSs following 46 PES headers, and video ES data after the B picture headers. However, since the data transmission unit is 188 bytes, the ES data of the next picture may start in the final TS packet 41 as indicated by 48. Similarly, the head IDR picture data 36 of the video bitstream 2 is transmitted as MPEG-TS data 43 to 44, but is transmitted as 50 to SPS, PPS, IDR picture header, and picture data. However, as shown in 49, the first TS packet may contain the remnants of the previous picture data. If these bit streams 1 and 2 are simply connected, unnecessary ES data 48 and 49 are erroneously connected and sent to the video decoder to cause a decoding error.

特に図5に接続点の様子を示す。図5で53はSPS、54はPPS、55はピクチャヘッダ、56はピクチャデータである。57は映像ビットストリーム2のデータである。また58、59,60,61、66、67、68は映像の符号化データである可変長符号VLC(Variable Length Code)であり、図4のように接続された接続点では、ピクチャの一部のデータや、62や65のようなVLCの途中でストリームが切り取られたデータが存在するので、映像デコーダではデコードエラーとなりうる。   In particular, FIG. 5 shows the state of the connection points. In FIG. 5, 53 is SPS, 54 is PPS, 55 is a picture header, and 56 is picture data. Reference numeral 57 denotes data of the video bit stream 2. Reference numerals 58, 59, 60, 61, 66, 67, and 68 are variable length codes VLC (Variable Length Codes) that are encoded video data. At the connection points connected as shown in FIG. Data and data in which a stream is cut off in the middle of VLC, such as 62 and 65, can cause a decoding error in the video decoder.

そこで、ダミーデータを検出したシステムデコード手段4、特定データ挿入手段5では、63、64に示すように、特定のIDを持つNALユニットデータと‘0’データとを挿入する。仮にシームレス再生点に挿入されるNALユニットということで63をSLESS_NALユニットとする。64に示す‘0’データは、例えばデコーダにおけるバッファにおいて映像ビットストリーム1のデータを早く押し出して、デコーダにデータを早く到着させる役割を果たす。
ストリーム接続点ではデコーダは63のSLESS_NALユニットを検出することができるようになる。したがって、ストリーム接続点でSLESS_NALユニットを検出した際には、ビットストリーム1で完結しなかったピクチャを表示することなく、ビットストリーム2のデータのデコードを行えばよい。
このとき、H.264データにおいては、IピクチャといってもIDRピクチャを探してSPSからデコードを開始しないと映像ビットストリーム2のデコードは開始できないため、デコーダがSLESS_NALユニットを検出した場合には、IDRピクチャをサーチしてデコードを開始するように制御手段3が映像デコーダ7を制御する必要がある。
Therefore, the system decoding means 4 and the specific data insertion means 5 that have detected the dummy data insert NAL unit data having a specific ID and '0' data, as indicated by 63 and 64. Assuming that NAL units are inserted at seamless playback points, 63 is a SLESS_NAL unit. The “0” data shown in 64 plays a role of quickly pushing out the data of the video bitstream 1 in a buffer in the decoder, for example, so that the data arrives at the decoder early.
At the stream attachment point, the decoder will be able to detect 63 SLESS_NAL units. Therefore, when the SLESS_NAL unit is detected at the stream connection point, the data of the bit stream 2 may be decoded without displaying a picture not completed in the bit stream 1.
At this time, H.C. In H.264 data, even if it is an I picture, the video bitstream 2 cannot be decoded unless the IDR picture is searched and decoding is started from the SPS. Therefore, when the decoder detects the SLESS_NAL unit, the IDR picture is searched. Therefore, the control means 3 needs to control the video decoder 7 so as to start decoding.

デコード開始時の出画について図6を使用して説明する。図6において、69のPピクチャから続くピクチャ列は、元画像データの表示ピクチャ順序を示している。70、77がIDRピクチャ、71、72、76がBピクチャ、73、75がPピクチャ、74がIピクチャである。また70や77のIDRピクチャがデコード開始ポイントとなる。H.264では、例えば79のように73のPピクチャは70のIDRピクチャを参照してエンコードされている。また80に示すようにIピクチャ74を超えて参照し、エンコードされることも可能である。ただし、78のようにIDRピクチャを超えて参照されることはない。
今、蓄積媒体1上においてI/IDRピクチャの位置情報が、81や82のように記録されており、それぞれ70,74のIDR/Iピクチャの先頭から再生することが可能である場合を想定する。この場合、図6下段に示すように、Iピクチャから再生しようとしても83のように参照画像がないため、再生ができない。したがって、H.264ではIDRピクチャから再生を開始することになる。
The image output at the start of decoding will be described with reference to FIG. In FIG. 6, a picture sequence continuing from 69 P pictures indicates the display picture order of the original image data. 70 and 77 are IDR pictures, 71, 72 and 76 are B pictures, 73 and 75 are P pictures, and 74 are I pictures. In addition, 70 and 77 IDR pictures are decoding start points. H. In H.264, for example, 73 P pictures, such as 79, are encoded with reference to 70 IDR pictures. Further, as shown in 80, it is possible to refer to and encode beyond the I picture 74. However, the IDR picture is not referenced beyond 78.
Now, it is assumed that the position information of the I / IDR picture is recorded as 81 or 82 on the storage medium 1 and can be reproduced from the head of the IDR / I pictures of 70 and 74, respectively. . In this case, as shown in the lower part of FIG. 6, even if an attempt is made to reproduce from an I picture, reproduction is not possible because there is no reference image as in 83. Therefore, H.H. In H.264, reproduction is started from the IDR picture.

仮に図4のビットストリーム2において、36が図6の74に示すようにIピクチャから転送されてきた場合、映像デコーダ7では77のIDRピクチャまで映像ビットストリームデータをスキップしてSPS/PPSから再生を開始する必要がある。   In the bitstream 2 of FIG. 4, if 36 is transferred from the I picture as shown by 74 in FIG. 6, the video decoder 7 skips the video bitstream data up to 77 IDR pictures and plays back from the SPS / PPS. Need to start.

このように、デコーダでビットストリームの接続点でSLESS_NALユニットを検出することにより、接続点を確実に検出することが可能であるため、ビットストリーム1とビットストリーム2を連続して再生した場合に、H.264符号化方式の特徴に即して正しくデコードを行うことで、画像の乱れを抑えることが可能となる。これらデコーダのデコード動作の制御を制御手段3により行う。   In this way, since the decoder can detect the connection point reliably by detecting the SLESS_NAL unit at the connection point of the bit stream, when the bit stream 1 and the bit stream 2 are continuously reproduced, H. By correctly decoding according to the characteristics of the H.264 encoding method, it is possible to suppress image disturbance. The control means 3 controls the decoding operation of these decoders.

なお、ストリームを接続する前後は1ピクチャのみのデータ、例えばIDRピクチャだけを順番に接続して再生する、IDR特殊再生(早送り再生)であってもよい。   Note that IDR special playback (fast-forward playback) in which data of only one picture, for example, only IDR pictures are connected in order and played back before and after connecting the streams may be used.

また、ストリーム接続点にダミーデータを挿入することで、接続点をシステムデコード手段4に伝えたが、例えばダミーデータを使用せずに、ビットストリーム1を再生した後、再生手段2が制御手段3に再生完了割り込み通知を送り、その割り込み通知により、制御手段3がシステムデコード手段4を制御してSLESS_NALユニット等の特定コードを映像ESに挿入し、その後ビットストリーム2を再生する構成としてもよい。   Further, by inserting dummy data at the stream connection point, the connection point is transmitted to the system decoding means 4. For example, after reproducing the bit stream 1 without using the dummy data, the reproduction means 2 controls the control means 3. It is also possible to send a reproduction completion interrupt notification to the control unit 3 and to control the system decoding unit 4 to insert a specific code such as a SLESS_NAL unit into the video ES and to reproduce the bitstream 2 thereafter.

(実施の形態2)
実施の形態2は実施の形態1とほぼ同等の動作を行うもので、図7、図8のフローチャートに示すような再生方法をコンピュータ上で動作可能なプログラムとして実施されるものである。
(Embodiment 2)
The second embodiment performs almost the same operation as that of the first embodiment, and the reproduction method as shown in the flowcharts of FIGS. 7 and 8 is implemented as a program operable on a computer.

詳細な説明は図7、図8を用いて説明する。実施の形態1と同様に、フローチャート101から105に示す再生手段の動作を説明する。101は再生スタートで、1番目のストリームを再生開始する。102によりn番目(開始時はn=1)のストリームの再生処理を行う。103では次に連続してストリーム再生を行うかどうかを判定する。次ストリームを再生しない場合は104に移り、再生を終了する。次に連続してストリーム再生を行う場合は、105のダミーデータ挿入処理を行う。その後、nにn+1の値を入れて、102に戻り、順次n+1番目のストリーム再生処理を行う。   Detailed description will be given with reference to FIGS. Similar to the first embodiment, the operation of the reproducing means shown in the flowcharts 101 to 105 will be described. 101 is a reproduction start, and reproduction of the first stream is started. In step 102, the reproduction process of the n-th stream (n = 1 at the start) is performed. In 103, it is determined whether or not the next stream reproduction is to be performed continuously. When the next stream is not reproduced, the process proceeds to 104 and the reproduction is finished. Next, when performing stream reproduction continuously, 105 dummy data insertion processing is performed. Thereafter, the value of n + 1 is entered in n, and the process returns to 102, and the (n + 1) th stream reproduction process is sequentially performed.

106から110はシステムデコード手段のフローチャートを示す。実施の形態1同様、106の再生開始後、107ではパケットIDによりダミーデータかどうかを判定する。ダミーデータでない場合は、108で映像/音声パケット分離処理を行う。次に109でMPEG2−TSをES化する処理を行い、107に戻る。107においてダミーデータを検出した場合は、110でビデオESにSLESS_NALユニットと’0‘データを挿入し、107に戻る。   106 to 110 show flowcharts of the system decoding means. As in the first embodiment, after the reproduction of 106 is started, it is determined in 107 whether or not it is dummy data based on the packet ID. If it is not dummy data, video / audio packet separation processing is performed at 108. Next, the process of converting the MPEG2-TS into an ES is performed at 109 and the process returns to 107. If dummy data is detected at 107, the SLESS_NAL unit and “0” data are inserted into the video ES at 110, and the process returns to 107.

図8には映像デコーダのフローチャートを111から117に示す。111で再生をスタートし、112でSPS検出処理を行う。SPSが見つかると、113のヘッダデコード処理ではSPS/PPSや各ピクチャのヘッダデコード処理を行う。次に114ではSLESS_NALユニットを検出するかどうか確認する。SLESS_NALユニットを検出した場合は112に戻る。
その後115ではピクチャデコード処理を行う。116は114と同様である。最後に117で出画処理を行い、デコードした画像データを出画する。
FIG. 8 shows a flowchart of the video decoder from 111 to 117. Playback is started at 111 and SPS detection processing is performed at 112. If an SPS is found, the header decoding process 113 performs SPS / PPS and header decoding processing for each picture. Next, in 114, it is confirmed whether or not a SLESS_NAL unit is detected. If a SLESS_NAL unit is detected, the process returns to 112.
In step 115, picture decoding is performed. 116 is the same as 114. Finally, an image output process is performed at 117, and the decoded image data is output.

以上のように実施の形態2は、実施の形態1同様の処理を図7、8で示すフローチャートのような処理に準じて、コンピュータ上で動作可能なプログラムとして実施される。   As described above, the second embodiment is implemented as a program operable on a computer in accordance with the processing similar to the first embodiment according to the processing shown in the flowcharts of FIGS.

なお、実施の形態2では、コンピュータ上で動作可能なプログラムとして実施されるものとしたが、コンピュータ同様に、プログラムとして記述された言語が動作するあらゆる信号処理回路、マイクロコード、電子機器で実施しても同等の処理を実現できるものであればなんら構わない。   In the second embodiment, the program is implemented as a program operable on a computer. However, similar to a computer, the program is implemented by any signal processing circuit, microcode, or electronic device that operates a language described as a program. However, it does not matter as long as an equivalent process can be realized.

また、実施の形態1、実施の形態2において、映像ビットストリームの符号化方式についてH.264方式について記述したが、その他の符号化方式においても同様に、特定データとして各符号化方式のフォーマットの中で将来用、未定義用のデータを利用し、2ストリームの連続再生を行っても良い。   In the first and second embodiments, the video bitstream encoding method is described in H.264. Although the H.264 system has been described, similarly in other encoding systems, data for the future and undefined in the format of each encoding system can be used as specific data, and two streams can be continuously reproduced. good.

本発明の実施の形態1によるデジタル再生装置のブロック図1 is a block diagram of a digital playback apparatus according to Embodiment 1 of the present invention. 本発明の実施の形態1によるデジタル再生装置のシステムデコード手段のブロック図1 is a block diagram of system decoding means of a digital playback device according to Embodiment 1 of the present invention. 本発明の実施の形態1または2によるH.264によって符号化された映像デジタルビットストリームの構成を示した図The H.264 according to Embodiment 1 or 2 of the present invention. The figure which showed the structure of the video digital bit stream encoded by H.264 本発明の実施の形態1による2つのデジタルビットストリームとダミーデータの挿入を示した図The figure which showed insertion of two digital bit streams and dummy data by Embodiment 1 of this invention 本発明の実施の形態1または2によるストリーム接続点の説明図Explanatory drawing of the stream connection point by Embodiment 1 or 2 of this invention 本発明の実施の形態1または2によるH.264によって符号化されたフレーム間参照方法の説明図The H.264 according to Embodiment 1 or 2 of the present invention. Explanatory drawing of the inter-frame reference method encoded by H.264 本発明の実施の形態2による再生手段、システムデコード手段のフローチャートFlowchart of reproducing means and system decoding means according to Embodiment 2 of the present invention 本発明の実施の形態2による映像デコーダのフローチャートFlowchart of video decoder according to embodiment 2 of the present invention デジタル再生装置の従来の実施例のブロック図Block diagram of a conventional embodiment of a digital playback device

符号の説明Explanation of symbols

1 記録媒体
2 再生手段
3 制御手段
4 システムデコード手段
5 特定データ挿入手段
6 映像ストリーム記憶手段
7 映像デコーダ
8 フレーム記憶手段
9 映像出力端子
10 音声ストリーム記憶手段
11 音声デコーダ
12 音声出力端子
13 入力端子
14 PID検出手段
15 ダミーデータ検出手段
16 TS/PESデコーダ
17,19 切り替えスイッチ
18 入力端子
20 映像ビットストリーム出力端子
21 音声ビットストリーム出力端子
22 IDRピクチャデータ
24 Pピクチャデータ
23 Bピクチャデータ
25 SPS
26、28 PPS
27 IDRピクチャデータ
29 デコードシーケンス
30 映像デジタルビットストリーム1
35 映像デジタルビットストリーム2
32、39 Pピクチャデータ
31、33、34、37、38 Bピクチャデータ
40、41、43、44 MPEG2−TSパケットデータ
45、51 TSヘッダ
46、52 PESヘッダ
47 PPS/Bピクチャヘッダ
48、50 SPS/PPS、IDRピクチャヘッダ
49 Bピクチャデータ
53 SPS
54 PPS
55 ピクチャヘッダ
56 スライスヘッダ、マクロブロックデータ
57 Bピクチャデータ
58、59、60、61、66、67、68 VLCデータ
62、65 欠落したVLCデータ
63 SLESS_NALユニットデータ
64 “0”データ
69、73、75 Pピクチャデータ
70,77 IDRピクチャデータ
71、72、76 Bピクチャデータ
74 Iピクチャデータ
78、79、80、83 参照関係を示す矢印
81、82 IDR/Iピクチャ位置情報
118 切り替えスイッチA
119 切り替えスイッチB
DESCRIPTION OF SYMBOLS 1 Recording medium 2 Reproducing means 3 Control means 4 System decoding means 5 Specific data insertion means 6 Video stream memory means 7 Video decoder 8 Frame memory means 9 Video output terminal 10 Audio stream memory means 11 Audio decoder 12 Audio output terminal 13 Input terminal 14 PID detection means 15 Dummy data detection means 16 TS / PES decoder 17, 19 changeover switch 18 input terminal 20 video bitstream output terminal 21 audio bitstream output terminal 22 IDR picture data 24 P picture data 23 B picture data 25 SPS
26, 28 PPS
27 IDR picture data 29 Decoding sequence 30 Video digital bit stream 1
35 Video Digital Bitstream 2
32, 39 P picture data 31, 33, 34, 37, 38 B picture data 40, 41, 43, 44 MPEG2-TS packet data 45, 51 TS header 46, 52 PES header 47 PPS / B picture header 48, 50 SPS / PPS, IDR picture header 49 B picture data 53 SPS
54 PPS
55 Picture header 56 Slice header, macroblock data 57 B picture data 58, 59, 60, 61, 66, 67, 68 VLC data 62, 65 Missing VLC data 63 SLESS_NAL unit data 64 “0” data 69, 73, 75 P picture data 70, 77 IDR picture data 71, 72, 76 B picture data 74 I picture data 78, 79, 80, 83 Arrows indicating reference relationship 81, 82 IDR / I picture position information 118 Changeover switch A
119 changeover switch B

Claims (10)

映像及び音声が多重化された複数のデジタルビットストリームを連続して再生する場合、その映像及び音声が多重化された複数のデジタルビットストリームを記録媒体から読み出し、その映像及び音声が多重化された複数のデジタルビットストリームの接続点にダミーデータを挿入するダミーデータ挿入手段と、
前記ダミーデータ挿入手段によりダミーデータが挿入された映像及び音声が多重化されたデジタルビットストリームを、映像デジタルビットストリームと音声デジタルビットストリームとに分離する場合に、前記ダミーデータを検出し、その検出したダミーデータに基づき前記映像デジタルビットストリームに接続点を特定する特定データを挿入する特定データ挿入手段と、
前記映像デジタルビットストリーム中の特定データを検出する特定データ検出手段と、
前記映像デジタルビットストリームをデコードする映像デコード手段と、
前記特定データ検出手段で特定データが検出された場合は、前記特定データ後の映像デジタルビットストリームにおける最初のシーケンス先頭のデータを検出するまでの映像デジタルビットストリームをスキップするように前記映像デコード手段を制御する制御手段と、
を備えるデジタル再生装置。
When a plurality of digital bitstreams in which video and audio are multiplexed are continuously played back, the plurality of digital bitstreams in which the video and audio are multiplexed are read from the recording medium, and the video and audio are multiplexed. Dummy data insertion means for inserting dummy data at connection points of a plurality of digital bitstreams;
When the digital bit stream multiplexed with video and audio into which dummy data is inserted by the dummy data insertion means is separated into a video digital bit stream and an audio digital bit stream, the dummy data is detected and detected. Specific data insertion means for inserting specific data for specifying a connection point in the video digital bitstream based on the dummy data,
Specific data detection means for detecting specific data in the video digital bitstream;
Video decoding means for decoding the video digital bitstream;
When the specific data is detected by the specific data detection unit, the video decoding unit is set so as to skip the video digital bit stream until the start of the first sequence data in the video digital bit stream after the specific data is detected. Control means for controlling;
A digital playback device comprising:
映像デジタルビットストリーム信号がH.264形式であることを特徴とする、
請求項1に記載のデジタル再生装置。
The video digital bit stream signal is H.264. H.264 format,
The digital playback apparatus according to claim 1.
前記特定データ挿入手段によって映像デジタルビットストリームに挿入される特定データが、H.264規格上未定義または将来拡張用のIDを持つNAL(NetworkAbstractionLayer)ユニットのスタートコードを含むことを特徴とする、
請求項1または2のいずれか一項に記載のデジタル再生装置。
The specific data inserted into the video digital bitstream by the specific data insertion means is H.264. It includes a start code of a NAL (Network Abstraction Layer) unit that is undefined in the H.264 standard or has an ID for future expansion.
Digital reproducing apparatus according to any one of claims 1 or 2.
前記特定データ挿入手段によって映像デジタルビットストリームに挿入される特定データに、長さNビットのビット列“0”を含むことを特徴とする、
請求項1から3のいずれか一項に記載のデジタル再生装置。
The specific data inserted into the video digital bitstream by the specific data insertion means includes a bit string “0” having a length of N bits,
The digital reproduction apparatus according to any one of claims 1 to 3.
前記シーケンス先頭のデータは、SPS(Sequence Parameter Set)またはIDR(Instantaneous Decoding Refresh)ピクチャである、
請求項1から4のいずれか一項に記載のデジタル再生装置。
The data at the head of the sequence is an SPS (Sequence Parameter Set) or IDR (Instantaneous Decoding Refresh) picture.
The digital reproduction apparatus according to any one of claims 1 to 4.
コンピュータに、
映像及び音声が多重化された複数のデジタルビットストリームを連続して再生する場合、その映像及び音声が多重化された複数のデジタルビットストリームを記録媒体から読み出し、その映像及び音声が多重化された複数のデジタルビットストリームの接続点にダミーデータを挿入するダミーデータ挿入ステップと、
前記ダミーデータ挿入によりダミーデータが挿入された映像及び音声が多重化されたデジタルビットストリームを、映像デジタルビットストリームと音声デジタルビットストリームとに分離する場合に、前記ダミーデータを検出し、その検出したダミーデータに基づき前記映像デジタルビットストリームに接続点を特定する特定データを挿入する特定データ挿入ステップと、
前記映像デジタルビットストリーム中の特定データを検出する特定データ検出ステップと、
前記特定データ検出手段で特定データが検出された場合は、前記特定データ後の映像デジタルビットストリームのうち最初のシーケンス先頭のデータを検出するまでの映像デジタルビットストリームをスキップしてデコードする映像デコードステップと、
実行させるためのプログラム。
On the computer,
When a plurality of digital bitstreams in which video and audio are multiplexed are continuously played back, the plurality of digital bitstreams in which the video and audio are multiplexed are read from the recording medium, and the video and audio are multiplexed. A dummy data insertion step of inserting dummy data at connection points of a plurality of digital bitstreams;
When the digital bit stream in which the video and audio into which the dummy data is inserted by the dummy data insertion is multiplexed is separated into the video digital bit stream and the audio digital bit stream, the dummy data is detected and detected. A specific data insertion step of inserting specific data for specifying a connection point in the video digital bitstream based on dummy data;
A specific data detection step of detecting specific data in the video digital bitstream;
A video decoding step of skipping and decoding the video digital bitstream until the first sequence head data is detected in the video digital bitstream after the specific data when the specific data is detected by the specific data detection means; When,
A program for running
映像デジタルビットストリーム信号がH.264形式であることを特徴とする、
請求項6に記載のプログラム。
The video digital bit stream signal is H.264. H.264 format,
The program according to claim 6.
前記特定データ挿入ステップによって映像デジタルビットストリームに挿入されるデータが、H.264規格上未定義または将来拡張用のIDを持つNALユニットのスタートコードを含むことを特徴とする、
請求項6または7のいずれか一項に記載のプログラム。
The data inserted into the video digital bitstream by the specific data insertion step is H.264. It includes a start code of a NAL unit that is undefined in the H.264 standard or has an ID for future expansion.
The program as described in any one of Claim 6 or 7.
前記特定データ挿入ステップによって挿入されるデータに、長さNビットのビット列“0”を含むことを特徴とする、
請求項6から8のいずれか一項に記載のプログラム。
The data inserted by the specific data insertion step includes a bit string “0” having a length of N bits.
The program according to any one of claims 6 to 8.
前記シーケンス先頭のデータは、SPSまたはIDRピクチャである、
請求項6から9のいずれか一項に記載のプログラム。
The data at the top of the sequence is an SPS or IDR picture.
The program according to any one of claims 6 to 9.
JP2006108433A 2006-04-11 2006-04-11 Digital playback device or playback program Expired - Fee Related JP4736918B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006108433A JP4736918B2 (en) 2006-04-11 2006-04-11 Digital playback device or playback program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006108433A JP4736918B2 (en) 2006-04-11 2006-04-11 Digital playback device or playback program

Publications (3)

Publication Number Publication Date
JP2007282084A JP2007282084A (en) 2007-10-25
JP2007282084A5 JP2007282084A5 (en) 2009-05-21
JP4736918B2 true JP4736918B2 (en) 2011-07-27

Family

ID=38683046

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006108433A Expired - Fee Related JP4736918B2 (en) 2006-04-11 2006-04-11 Digital playback device or playback program

Country Status (1)

Country Link
JP (1) JP4736918B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5012626B2 (en) * 2008-04-03 2012-08-29 ソニー株式会社 Information processing apparatus and method, and program
US8767840B2 (en) 2009-02-11 2014-07-01 Taiwan Semiconductor Manufacturing Company, Ltd. Method for detecting errors and recovering video data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003173622A (en) * 2001-12-04 2003-06-20 Matsushita Electric Ind Co Ltd Device and method for decoding coded audio data
WO2005002221A1 (en) * 2003-06-30 2005-01-06 Matsushita Electric Industrial Co., Ltd. Data processing device and data processing method
WO2005106875A1 (en) * 2004-04-28 2005-11-10 Matsushita Electric Industrial Co., Ltd. Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003173622A (en) * 2001-12-04 2003-06-20 Matsushita Electric Ind Co Ltd Device and method for decoding coded audio data
WO2005002221A1 (en) * 2003-06-30 2005-01-06 Matsushita Electric Industrial Co., Ltd. Data processing device and data processing method
WO2005106875A1 (en) * 2004-04-28 2005-11-10 Matsushita Electric Industrial Co., Ltd. Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus

Also Published As

Publication number Publication date
JP2007282084A (en) 2007-10-25

Similar Documents

Publication Publication Date Title
CN1950907B (en) Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus
JP4538908B2 (en) Data conversion apparatus and method
JP3752694B2 (en) COMPRESSED VIDEO SIGNAL EDITING DEVICE, EDITING METHOD, AND DECODING DEVICE
US6628890B1 (en) Digital recording/reproduction apparatus
US6052507A (en) Reproducing apparatus for reproducing signals from a recording medium which stores normal reproduction data and specific reproduction data
JPH08140056A (en) Recording and reproducing device
JP2004007751A (en) Image decoding method and apparatus thereof
US8189665B2 (en) Editing apparatus, editing method, editing program, and editing system
KR100289519B1 (en) Decoding method and decoding apparatus
US7333711B2 (en) Data distribution apparatus and method, and data distribution system
US5987212A (en) Variable-speed recording and reproducing method for digital VCR, using trick play data
JP4262139B2 (en) Signal processing device
JP4736918B2 (en) Digital playback device or playback program
JP2006295910A (en) Error correction apparatus
JPH08289247A (en) Digital signal recording and reproducing device
JP2002010254A (en) Feature point detection method and record reproduction device
JP3792770B2 (en) Recording / playback device
JP3852114B2 (en) Compressed image data transmission method and apparatus
JP3045696B2 (en) Decoding method and apparatus
JP4435733B2 (en) Data processing device
JP3648460B2 (en) Compressed image playback method
JP3456726B2 (en) Compression signal processor
JP2000333105A (en) Image compression data recorder and image compression data recording and reproducing device
JPH08140046A (en) Recording and reproducing device
KR0183812B1 (en) Record and reproduce apparatus of digital video tape for trick play

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090408

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090408

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20090513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110223

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110418

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees