JP3100308B2 - Image and audio information playback system - Google Patents
Image and audio information playback systemInfo
- Publication number
- JP3100308B2 JP3100308B2 JP07081972A JP8197295A JP3100308B2 JP 3100308 B2 JP3100308 B2 JP 3100308B2 JP 07081972 A JP07081972 A JP 07081972A JP 8197295 A JP8197295 A JP 8197295A JP 3100308 B2 JP3100308 B2 JP 3100308B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- reproduced
- audio
- time information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明は、光ディスクやハードデ
イスクなどの記録媒体に圧縮記録された画像及び音声情
報を再生する画像及び音声情報の再生システムに関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image and audio information reproducing system for reproducing image and audio information compressed and recorded on a recording medium such as an optical disk or a hard disk.
【０００２】[0002]
【従来の技術】近年、光ディスクやハードデイスクなど
の記録媒体に画像データと音声データを圧縮処理して記
録しておき、それを伸張処理して再生するという再生シ
ステムが普及しつつある。通常、画像データ処理部と音
声データ処理部では、処理速度に違いがあるため、画像
データと音声データの再生タイミングに違いが発生す
る。したがって、このような再生システムでは、画像デ
ータとそれに対応する音声データの同期をとる必要があ
る。2. Description of the Related Art In recent years, a reproduction system in which image data and audio data are compressed and recorded on a recording medium such as an optical disk or a hard disk, and then decompressed and reproduced is becoming widespread. Normally, there is a difference in the processing speed between the image data processing unit and the audio data processing unit, so that a difference occurs in the reproduction timing of the image data and the audio data. Therefore, in such a reproducing system, it is necessary to synchronize the image data and the corresponding audio data.
【０００３】画像データと音声データとの同期をとる従
来例として、ＭＰＥＧ（Moving Picture Expert Grou
p：ＩＳＯ１１１７２準拠）規格がある。このＭＰＥＧ
規格では、画像データ及び音声データにそれぞれ時刻情
報としてＭＰＥＧ規格で定めるＰＴＳ（Presentation T
ime−Stamps）がついている。ここで、ＰＴＳとは、Ｍ
ＰＥＧ規格（ＩＳＯ１１１７２−１）によれば、３３ビ
ット、９０ｋＨｚで表される情報で、圧縮データ上に記
録され、画像フレームや音声フレームに対して付加され
るものであり、画像フレームを表示すべき時刻情報及び
音声フレームを出力すべき時刻情報である。As a conventional example of synchronizing image data and audio data, a moving picture expert group (MPEG) is used.
p: ISO 11172 compliant) standard. This MPEG
According to the standard, PTS (Presentation T) defined by the MPEG standard as time information for image data and audio data, respectively.
ime-Stamps). Here, the PTS is M
According to the PEG standard (ISO 11172-1), information represented by 33 bits and 90 kHz is recorded on compressed data and added to an image frame or an audio frame, and the image frame should be displayed. Time information and time information at which a voice frame is to be output.
【０００４】現在、ＭＰＥＧ画像デコーダ、ＭＰＥＧ音
声デコーダと呼ばれる専用のＬＳＩのなかには、現在表
示している画像のＰＴＳや現在出力している音声のＰＴ
Ｓを情報として外部へ出力するＬＳＩがあり、画像のＰ
ＴＳと音声のＰＴＳとを比較し、画像を音声に合わせ
る、又は音声を画像に合わせることによって同期が実現
できる。また、ＭＰＥＧ画像デコーダとＭＰＥＧ音声デ
コーダが１チップで構成され、ＬＳＩ自身でＰＴＳを比
較し同期するというものもある。[0004] Currently, dedicated LSIs called MPEG image decoders and MPEG audio decoders include a PTS of a currently displayed image and a PT of currently output audio.
There is an LSI that outputs S as information to the outside, and P
Synchronization can be achieved by comparing the TS with the audio PTS and adjusting the image to the audio or adjusting the audio to the image. Further, there is an apparatus in which an MPEG image decoder and an MPEG audio decoder are formed by one chip, and the PTS is compared and synchronized by the LSI itself.
【０００５】しかし、初期のＬＳＩは、ＭＰＥＧ画像デ
コーダとＭＰＥＧ音声デコーダが独立しており、さら
に、ＰＴＳを出力するものも少なかった。また、現在で
もコストを抑えるなどの理由により、ＰＴＳ情報や同期
に関する機能を持たない画像、音声デコーダが多く存在
する。この場合の同期は、いわゆる「暗黙同期（implic
it synchronization）」と呼ばれる方式に頼っていた。
この「暗黙同期」というのは、特に出力側での補正は行
わず、データの入力速度とデコーダの動作速度の精度に
頼った方法である。[0005] However, in the early LSIs, the MPEG image decoder and the MPEG audio decoder were independent, and few of them output PTS. Even now, there are many image and audio decoders that do not have a function for PTS information and synchronization for reasons such as cost reduction. Synchronization in this case is a so-called “implicit synchronization (implic
it synchronization).
The "implicit synchronization" is a method that does not particularly perform correction on the output side and relies on the accuracy of the data input speed and the operation speed of the decoder.
【０００６】また、その他に同期をとる従来例として
は、例えば特開平６−１２１２７６号公報に開示された
技術がある。この技術を簡単に説明すると、画像データ
と音声データは、それぞれフレームと呼ばれる単位で圧
縮処理されており、それらフレームにはそれぞれフレー
ム番号が記録されている。そして、現在処理中の画像フ
レームと音声フレームとのフレーム番号を比較し、例え
ば音声フレーム番号が画像フレーム番号より大ならば、
音声処理より画像処理が遅くなっていると判断し、画像
の圧縮処理をそのフレームで中断して、次のフレームの
画像圧縮処理を再開するというものである。As another conventional example for achieving synchronization, there is a technique disclosed in, for example, Japanese Patent Laid-Open No. 6-121276. To briefly explain this technique, image data and audio data are each subjected to compression processing in units called frames, and a frame number is recorded in each of the frames. Then, the frame numbers of the currently processed image frame and the audio frame are compared. For example, if the audio frame number is larger than the image frame number,
The image processing is determined to be slower than the audio processing, the image compression processing is interrupted at that frame, and the image compression processing of the next frame is restarted.
【０００７】[0007]
【発明が解決しようとする課題】ところで、上述の「暗
黙同期」方法によれば、画像及び音声情報の再生システ
ムにおいて、画像処理系と音声処理系のクロックのずれ
等様々な要因により、一概に同期しているとは言えな
い。したがって、上述の「暗黙同期」方法に、時刻情報
としてのＰＴＳを監視する手段を取り入れればよいが、
ＬＳＩにデータを入力した後では、時刻情報は失われて
しまうので、ＬＳＩにデータを入力する前に、ＰＴＳを
獲得する必要がある。ＰＴＳを獲得して、その後にデー
タをＬＳＩに入力するわけだが、そのＰＴＳに対応する
画像がどの時点で出力されるか判断するのは困難であ
る。それは、ＭＰＥＧの性質上、データ上のピクチャの
順番と出力されるピクチャの順番とは異なるからであ
る。However, according to the above-mentioned "implicit synchronization" method, in a reproduction system for image and audio information, various factors such as a difference between clocks of an image processing system and a clock of an audio processing system generally cause a problem. It cannot be said that they are synchronized. Therefore, the above-mentioned “implicit synchronization” method may include means for monitoring PTS as time information,
After data is input to the LSI, time information is lost. Therefore, it is necessary to acquire a PTS before inputting data to the LSI. A PTS is acquired, and then data is input to the LSI. However, it is difficult to determine when an image corresponding to the PTS is output. This is because the order of pictures on data is different from the order of pictures to be output due to the nature of MPEG.
【０００８】また、ＰＴＳは、ＭＰＥＧ規格（ＩＳＯ１
１１７２−１、２、３）によれば、最大０．７秒の間隔
でフレームに付加されていればよいと、規定しているの
で、全ての画像フレーム及び音声フレームに必ず付いて
いる訳ではない。したがって、ＰＴＳを監視するだけで
は、ＰＴＳが記録してある間隔以下の精度では同期でき
ない場合があるという問題点がある。[0008] PTS conforms to the MPEG standard (ISO1).
According to 1172-1, 2, 3), it is specified that the frame should be added to the frame at intervals of 0.7 seconds at the maximum, so that it is not always attached to all image frames and audio frames. Absent. Therefore, there is a problem that synchronization may not be achieved with an accuracy less than the interval recorded by the PTS simply by monitoring the PTS.
【０００９】次に、上述の特開平６−１２１２７６号公
報によれば、画像処理をそのフレームで中断し、次のフ
レームの処理を再開するが、このような手法は、ＪＰＥ
Ｇ（Joint Photographic Expert Group ：ＩＳＯ１０９
１８準拠）のようなフレーム単位でデータが完結してい
る方式には適しているが、ＭＰＥＧのようなフレーム間
で予測するといった方式には適さない。なぜならば、Ｉ
ピクチャ（Intra-coded picture ：イントラ符号化画
像）又はＰピクチャ（Predictive-coded picture：前方
予測符号化画像）と呼ばれる画像フレームは、他のＰピ
クチャ及びＢピクチャ（Bidirectionally predictive-c
oded picture：両方向予測符号化画像）のデコード処理
に必要であるので、デコード処理を中断してその画像フ
レームを破棄することはできないからである。Next, according to the above-mentioned Japanese Patent Application Laid-Open No. Hei 6-121276, the image processing is interrupted at that frame and the processing of the next frame is restarted.
G (Joint Photographic Expert Group: ISO109
18 compliant), but not suitable for a method of predicting between frames such as MPEG. Because I
An image frame called a picture (Intra-coded picture: Intra coded picture) or a P picture (Predictive-coded picture: Forward coded picture) is composed of other P pictures and B pictures (Bidirectionally predictive-c).
This is because it is necessary for the decoding process of (odd picture: bidirectionally coded image), and therefore, the decoding process cannot be interrupted to discard the image frame.
【００１０】なお、ここで、Ｉピクチャとは、その１枚
だけで符号化が完結したピクチャであり、通常、静止画
はＩピクチャで構成される。また、Ｐピクチャは、予測
画像として、既に復号化された前のＩピクチャもしくは
Ｐピクチャを利用するピクチャである。さらに、Ｂピク
チャは、予測画像として、既に復号化された前後のＩピ
クチャもしくはＰピクチャを利用するピクチャで、この
Ｂピクチャは、画像データのデータ圧縮率が高いので、
動画ストリームで特に使用される。他に、Ｄピクチャ
（ＤＣ coded picuture ：ＤＣイントラ符号化画像）と
呼ばれる画像フレームがあるが、これは、通常使用しな
い特殊なピクチャである。[0010] Here, the I picture is a picture in which encoding is completed with only one picture, and a still picture is usually composed of I pictures. Further, the P picture is a picture that uses a previously decoded I picture or P picture as a prediction image. Further, a B picture is a picture that uses an I-picture or a P-picture before and after it has already been decoded as a predicted picture. Since the B-picture has a high data compression rate of image data,
Used especially in video streams. In addition, there is an image frame called a D picture (DC coded picture: DC intra coded image), which is a special picture that is not normally used.
【００１１】そこで、本発明は、上記の点に着目してな
されたものであり、１フレーム単位の精度で又は再生す
べき画像データの最小画像再生時間単位の精度で時刻情
報を監視することができ、時刻情報を出力しないデコー
ダを用いても上記精度で画像及び音声の同期をとりつつ
再生することができる画像及び音声情報の再生システム
を得ることを目的とするものである。Therefore, the present invention has been made in view of the above points, and time information can be monitored with an accuracy of one frame unit or an accuracy of a minimum image reproduction time unit of image data to be reproduced. It is an object of the present invention to provide a reproduction system of image and audio information that can be reproduced while synchronizing images and audio with the above-mentioned accuracy even if a decoder that does not output time information is used.
【００１２】[0012]
【００１３】[0013]
【課題を解決するための手段】本発明に係る画像及び音
声情報の再生システムは、上記目的を達成するための手
段として、画像データ及び音声データから獲得される再
生すべき先頭の画像及び音声の時刻情報に基づいて再生
される現在出力中の再生画像及び再生音声の時刻情報を
フレーム単位で算出する時刻情報算出手段と、前記時刻
情報算出手段により算出された現在出力中の再生画像の
時刻情報と再生音声の時刻情報とから再生画像と再生音
声のいずれかが所定量以上進んでいるか否かを判定する
判定手段と、前記判定手段による判定の結果、再生画像
が再生音声より前記所定量以上進んでいる場合に画像再
生を遅延させるとともに、再生画像が再生音声より前記
所定量以上遅れている場合に画像再生を促進させる画像
再生制御手段と、遅延又は促進があってから所定時間を
経過したか否かを判断する手段とを備え、前記画像再生
制御手段が前記所定時間を経過したときのみ次の遅延又
は促進を行うよう構成したものである。According to the present invention, there is provided a video and audio information reproducing system according to the present invention, as a means for achieving the above-mentioned object, of reproducing a leading image and audio to be reproduced obtained from image data and audio data. Time information calculating means for calculating the time information of the currently output reproduced image and reproduced sound reproduced based on the time information on a frame basis; and the time information of the currently output reproduced image calculated by the time information calculating means. Determining means for determining whether any of the reproduced image and the reproduced sound has advanced by a predetermined amount or more from the time information of the reproduced sound and the time information of the reproduced sound; Image reproduction control means for delaying image reproduction when the reproduction is proceeding, and promoting image reproduction when the reproduction image is delayed from the reproduction sound by the predetermined amount or more; Means for determining whether or not a predetermined time has elapsed since the delay or promotion, and wherein the image reproduction control means performs the next delay or promotion only when the predetermined time has elapsed. .
【００１４】また、本発明に係る画像及び音声情報の再
生システムは、上記目的を達成するための手段として、
画像データ及び音声データから獲得される再生すべき先
頭の画像及び音声の時刻情報に基づいて再生される現在
出力中の再生画像及び再生音声の時刻情報をフレーム単
位で算出する時刻情報算出手段と、前記時刻情報算出手
段により算出された現在出力中の再生画像の時刻情報と
再生音声の時刻情報とから再生画像と再生音声のいずれ
かが所定量以上進んでいるか否かを判定する判定手段
と、前記判定手段による判定の結果、再生画像が再生音
声より前記所定量以上進んでいる場合に画像再生を遅延
させるとともに、再生画像が再生音声より前記所定量以
上遅れている場合に画像再生を促進させる画像再生制御
手段とを備え、前記時刻情報算出手段として、再生され
ている画像及び音声のフレーム更新情報と再生画像及び
再生音声のフレームレート情報とに基づいて現在出力中
の再生画像及び再生音声の時刻情報をそれぞれ演算によ
り算出するよう構成されたものである。[0014] Further, the image and audio information reproducing system according to the present invention comprises:
Time information calculating means for calculating the time information of the currently output reproduced image and reproduced sound to be reproduced based on the time information of the first image and audio to be reproduced obtained from the image data and audio data, on a frame basis; Determining means for determining whether any of the reproduced image and the reproduced sound is advanced by a predetermined amount or more from the time information of the reproduced image currently being output and the time information of the reproduced sound calculated by the time information calculating means; As a result of the determination by the determination means, the image playback is delayed when the playback image is ahead of the playback audio by the predetermined amount or more, and the image playback is promoted when the playback image is behind the playback audio by the predetermined amount or more. Image reproduction control means, wherein the time information calculation means includes frame update information of reproduced images and sounds, and frames of reproduced images and sounds. Those configured to calculate by calculating each time information of the reproduced image and reproduced sound being currently output on the basis of the over preparative information.
【００１５】また、本発明に係る画像及び音声情報の再
生システムは、上記目的を達成するための手段として、
画像データ及び音声データから獲得される再生すべき先
頭の画像及び音声の時刻情報に基づいて再生される現在
出力中の再生画像及び再生音声の時刻情報をフレーム単
位で算出する時刻情報算出手段と、前記時刻情報算出手
段により算出された現在出力中の再生画像の時刻情報と
再生音声の時刻情報とから再生画像と再生音声のいずれ
かが所定量以上進んでいるか否かを判定する判定手段
と、前記判定手段による判定の結果、再生画像が再生音
声より前記所定量以上進んでいる場合に画像再生を遅延
させるとともに、再生画像が再生音声より前記所定量以
上遅れている場合に画像再生を促進させる画像再生制御
手段とを備え、前記時刻情報算出手段として、再生され
ている画像のフレーム更新情報と再生画像のフレームレ
ート情報とに基づいて現在出力中の再生画像の時刻情報
を演算により算出するとともに、前記音声データより再
生すべき音声の時刻情報を随時獲得し再生音声の時刻情
報として出力するよう構成されたものである。[0015] In addition, the image and audio information reproducing system according to the present invention has the following features.
Time information calculating means for calculating the time information of the currently output reproduced image and reproduced sound to be reproduced based on the time information of the first image and audio to be reproduced obtained from the image data and audio data, on a frame basis; Determining means for determining whether any of the reproduced image and the reproduced sound is advanced by a predetermined amount or more from the time information of the reproduced image currently being output and the time information of the reproduced sound calculated by the time information calculating means; As a result of the determination by the determination means, the image playback is delayed when the playback image is ahead of the playback audio by the predetermined amount or more, and the image playback is promoted when the playback image is behind the playback audio by the predetermined amount or more. Image reproduction control means, wherein the time information calculation means is based on frame update information of the reproduced image and frame rate information of the reproduced image. The time information of the reproduction image that is currently being output to calculate by calculating, in which is configured to output the time information of speech to be reproduced from the audio data as the time information at any time acquire reproduced sound.
【００１６】また、前記時刻情報算出手段として、前記
音声データより再生すべき音声の時刻情報が獲得できな
かった場合に、再生されている音声のフレーム更新情報
と再生音声のフレームレート情報とに基づいて現在出力
中の再生音声の時刻情報を演算により算出するよう構成
することができる。Further, when the time information of the audio to be reproduced cannot be obtained from the audio data, the time information calculating means may be configured to calculate the time information based on the frame update information of the reproduced audio and the frame rate information of the reproduced audio. Thus, it is possible to calculate the time information of the reproduced sound that is currently being output by calculation.
【００１７】また、前記画像データ及び音声データは、
ＭＰＥＧ規格による圧縮データであり、前記画像及び音
声の時刻情報は、ＰＴＳとすることができる。Further, the image data and the audio data are
It is compressed data according to the MPEG standard, and the time information of the image and the audio can be PTS.
【００１８】また、前記画像再生制御手段として、再生
画像が再生音声より所定量以上進んでいる場合に、両者
の時刻情報が一致するまで画像フレームデータの再生を
一時停止させることにより画像再生を遅延させるよう構
成することができる。The image playback control means delays the image playback by temporarily stopping the playback of the image frame data until the time information of both the playback image and the playback audio advance by a predetermined amount or more. It can be configured to be.
【００１９】また、前記画像再生制御手段として、再生
画像が再生音声より所定量以上進んでいる場合に、画像
フレームデータの再生を１フレーム又１フィールド単位
で遅延させるよう構成することができる。The image reproduction control means may be configured to delay the reproduction of the image frame data by one frame or one field when the reproduced image is advanced by more than a predetermined amount from the reproduced sound.
【００２０】また、前記画像再生制御手段として、画像
フレームデータのピクチャタイプがＢピクチャである場
合に、画像フレームデータの再生を１枚単位でスキップ
させるよう構成することができる。Further, the image reproduction control means may be configured to skip the reproduction of the image frame data in units of one picture when the picture type of the image frame data is a B picture.
【００２１】また、前記画像再生制御手段として、画像
フレームデータの再生がスキップされたことを判断した
場合に、再生画像の時刻情報に補正値を加算するよう構
成することができる。The image reproduction control means may be configured to add a correction value to the time information of the reproduced image when it is determined that the reproduction of the image frame data has been skipped.
【００２２】さらに、前記画像再生制御手段として、画
像フレームデータのピクチャタイプがＩピクチャ又はＰ
ピクチャのときは、画像フレームデータの再生をスキッ
プさせないよう構成することができる。Further, as the image reproduction control means, the picture type of the image frame data is I picture or P picture.
In the case of a picture, it can be configured not to skip the reproduction of the image frame data.
【００２３】[0023]
【００２４】[0024]
【作用】本発明に係る画像及び音声情報の再生システム
においては、時刻情報算出手段により、現在出力中の再
生画像及び再生音声の時刻情報がフレーム単位で算出さ
れ、判定手段により、現在出力中の再生画像の時刻情報
と再生音声の時刻情報との差分が所定値以上あり、かつ
再生画像の時刻情報が再生音声の時刻情報に対して所定
値より大きいと判定された場合には、画像再生制御手段
によって画像再生を遅延させるとともに、他方、再生画
像の時刻情報が再生音声に対し所定値より小さいと判定
された場合には、画像再生制御手段によって画像再生を
促進させるよう制御され、画像再生制御手段により、所
定時間を経過したときのみ次の遅延又は促進が行われる
ので、１フレーム単位の精度で時刻情報を監視すること
ができ、また、時刻情報を出力しないデコーダを用いて
も１画像フレーム単位の精度で画像及び音声の同期を実
現させることができ、また、音声に対して画像を合わせ
る方式を採用したため、音切れもなく同期再生を実行で
き、さらに、画像と音声の同期を徐々にとることがで
き、デコーダの負担が少なく、画像の動きに不自然さが
なくなる。In the image and sound information reproducing system according to the present invention, the time information calculating means calculates the time information of the currently output reproduced image and the reproduced sound in frame units, and the judging means calculates the time information of the currently output reproduced image and sound. If the difference between the time information of the reproduced image and the time information of the reproduced sound is equal to or more than a predetermined value, and it is determined that the time information of the reproduced image is larger than the predetermined value with respect to the time information of the reproduced sound, the image reproduction control is performed. Means for delaying the image reproduction, and, on the other hand, when it is determined that the time information of the reproduced image is smaller than a predetermined value with respect to the reproduced sound, the image reproduction control means controls the image reproduction to be promoted. By the means, the next delay or promotion is performed only when a predetermined time has elapsed, so that the time information can be monitored with an accuracy of one frame unit. Even if a decoder that does not output information is used, synchronization of images and sounds can be realized with the accuracy of one image frame unit. In addition, since a method of matching images with sounds is adopted, synchronous playback is performed without sound interruption. In addition, the image and the sound can be gradually synchronized, so that the burden on the decoder is small and the motion of the image is not unnatural.
【００２５】また、本発明に係る画像及び音声情報の再
生システムにおいては、時刻情報算出手段により、現在
出力中の再生画像及び再生音声の時刻情報がフレーム単
位で算出され、判定手段により、現在出力中の再生画像
の時刻情報と再生音声の時刻情報との差分が所定値以上
あり、かつ再生画像の時刻情報が再生音声の時刻情報に
対し所定値より大きいと判定された場合には、画像再生
制御手段によって画像再生を遅延させるとともに、他
方、再生画像の時刻情報が再生音声に対し所定値より小
さいと判定された場合には、画像再生制御手段によって
画像再生を促進させるよう制御され、時刻情報算出手段
により、再生されている画像及び音声のフレーム更新情
報と再生画像及び再生音声のフレームレート情報とに基
づいて現在出力中の再生画像及び再生音声の時刻情報が
それぞれ演算により算出されるので、１フレーム単位の
精度で時刻情報を監視することができ、また、時刻情報
を出力しないデコーダを用いても１画像フレーム単位の
精度で画像及び音声の同期を実現させることができ、ま
た、音声に対して画像を合わせる方式を採用したため、
音切れもなく同期再生を実行でき、さらに、時刻情報を
出力しないデコーダを用いた場合であっても、現在出力
中の再生画像の時刻情報と再生音声の時刻情報とを確実
に算出することができる。Further, in the image and sound information reproducing system according to the present invention, the time information calculating means calculates the time information of the currently output reproduced image and reproduced sound in frame units, and the judging means calculates the current output time. If it is determined that the difference between the time information of the middle reproduction image and the time information of the reproduction audio is equal to or more than a predetermined value and the time information of the reproduction image is larger than the predetermined value with respect to the time information of the reproduction audio, the image reproduction is performed. The image reproduction is delayed by the control means. On the other hand, when it is determined that the time information of the reproduced image is smaller than a predetermined value for the reproduced sound, the image reproduction control means is controlled to promote the image reproduction, and the time information is controlled. The calculation means is based on the frame update information of the reproduced image and the sound and the frame rate information of the reproduced image and the reproduced sound. Since the time information of the raw image and the time information of the reproduced sound are respectively calculated by the calculation, the time information can be monitored with the accuracy of one frame unit. Can realize synchronization of images and sounds, and also adopted a method of matching images with sounds,
Synchronous playback can be performed without sound interruption, and even when a decoder that does not output time information is used, it is possible to reliably calculate the time information of the playback image currently being output and the time information of the playback audio. it can.
【００２６】また、本発明に係る画像及び音声情報の再
生システムにおいては、時刻情報算出手段により、現在
出力中の再生画像及び再生音声の時刻情報がフレーム単
位で算出され、判定手段により、現在出力中の再生画像
の時刻情報と再生音声の時刻情報との差分が所定値以上
あり、かつ再生画像の時刻情報が再生音声の時刻情報に
対して所定値より大きいと判定された場合には、画像再
生制御手段によって画像再生を遅延させるとともに、他
方、再生画像の時刻情報が再生音声に対し所定値より小
さいと判定された場合には、画像再生制御手段によって
画像再生を促進させるよう制御され、時刻情報算出手段
により、再生されている画像のフレーム更新情報と再生
画像のフレームレート情報とに基づいて現在出力中の再
生画像の時刻情報が演算により算出されるとともに、前
記音声データより再生すべき音声の時刻情報が随時獲得
され再生音声の時刻情報として出力されるので、１フレ
ーム単位の精度で時刻情報を監視することができ、ま
た、時刻情報を出力しないデコーダを用いても１画像フ
レーム単位の精度で画像及び音声の同期を実現させるこ
とができ、また、音声に対して画像を合わせる方式を採
用したため、音切れもなく同期再生を実行でき、さら
に、音声のフレーム更新情報が出力されない場合であっ
ても有効であり、現在出力中の再生音声の時刻情報とを
確実に得ることができる。Further, in the image and audio information reproducing system according to the present invention, the time information calculating means calculates the time information of the reproduced image and the reproduced audio currently being output for each frame, and the judging means calculates the current output time. If it is determined that the difference between the time information of the middle playback image and the time information of the playback audio is equal to or greater than a predetermined value, and that the time information of the playback image is larger than the predetermined value with respect to the time information of the playback audio, The image reproduction is delayed by the reproduction control means, and when it is determined that the time information of the reproduced image is smaller than the predetermined value for the reproduced sound, the image reproduction control means is controlled to promote the image reproduction, The information calculation means calculates the time information of the currently output reproduced image based on the frame update information of the reproduced image and the frame rate information of the reproduced image. The time information of the sound to be reproduced is obtained from the sound data as needed and is output as the time information of the reproduced sound, so that the time information can be monitored with an accuracy of one frame unit. Even if a decoder that does not output time information is used, synchronization of images and sounds can be realized with an accuracy of one image frame unit. In addition, since a method of synchronizing images with sounds is adopted, synchronous playback without sound breaks is achieved. This is effective even when the audio frame update information is not output, and the time information of the currently output reproduced audio can be reliably obtained.
【００２７】また、前記時刻情報算出手段により、前記
音声データより再生すべき音声の時刻情報が獲得できな
かった場合に、再生されている音声のフレーム更新情報
と再生音声のフレームレート情報とに基づいて現在出力
中の再生音声の時刻情報を演算により算出するようにし
たので、音声データより再生すべき音声の時刻情報が獲
得できなかった場合であっても有効であり、現在出力中
の再生音声の時刻情報とを演算によって確実に算出する
ことができる。If the time information calculating means cannot obtain the time information of the audio to be reproduced from the audio data, the time information calculating means calculates the time based on the frame update information of the reproduced audio and the frame rate information of the reproduced audio. The time information of the currently output reproduced voice is calculated by calculation, so that even if the time information of the audio to be reproduced cannot be obtained from the audio data, the present invention is effective. And the time information can be reliably calculated.
【００２８】また、前記画像データ及び音声データをＭ
ＰＥＧ規格による圧縮データとするとともに、前記画像
及び音声の時刻情報をＰＴＳとすることにより、ＭＰＥ
Ｇ規格による圧縮データを採用したものにおいても、Ｍ
ＰＥＧのデコーダ処理に破綻をきたすことなく、同期さ
せることができる。The image data and the audio data are represented by M
In addition to the compressed data according to the PEG standard and the time information of the image and the audio being PTS, the MPE
Even in the case of using compressed data according to the G standard, M
Synchronization can be performed without causing a failure in PEG decoder processing.
【００２９】また、前記画像再生制御手段により、再生
画像の時刻情報が再生音声の時刻情報に対し所定値より
大きい場合に、時刻情報が一致するまで画像フレームデ
ータの再生を一時停止させるようにしたので、画像再生
が進んでいる場合に、画像フレームデータの表示及びデ
コードを時刻情報が一致するまで遅延させて、音声再生
との同期を実現できる。Further, when the time information of the reproduced image is greater than the time information of the reproduced sound by the image reproduction control means, the reproduction of the image frame data is temporarily stopped until the time information matches. Therefore, when the image reproduction is in progress, the display and decoding of the image frame data are delayed until the time information coincides, and synchronization with the audio reproduction can be realized.
【００３０】また、前記画像再生制御手段により、再生
画像の時刻情報が再生音声の時刻情報に対し所定値より
大きい場合に、画像フレームデータの再生を１フレーム
単位又は１フィールド単位で遅延させるようにしたの
で、画像再生が進んでいる場合に、画像フレームデータ
の表示及びデコードを１フレーム単位又は１フィールド
単位でで遅延させて、音声再生との同期を実現できる。The image playback control means may delay the playback of the image frame data by one frame or one field when the time information of the playback image is larger than a predetermined value with respect to the time information of the playback audio. Therefore, when the image reproduction is progressing, the display and the decoding of the image frame data are delayed in units of one frame or one field, so that the synchronization with the sound reproduction can be realized.
【００３１】また、前記画像再生制御手段により、再生
画像の時刻情報が再生音声の時刻情報に対し所定値より
小さい場合であり、かつ画像フレームデータのピクチャ
タイプがＢピクチャである場合は、画像フレームデータ
の再生を１枚単位でスキップさせるようにしたので、画
像再生が遅れている場合に、画像フレームデータの表示
及びデコードを１枚単位でスキップさせて、音声再生と
の同期を実現できる。Further, when the time information of the reproduced image is smaller than a predetermined value with respect to the time information of the reproduced sound and the picture type of the image frame data is a B picture, Since the reproduction of data is skipped one by one, when the image reproduction is delayed, the display and the decoding of the image frame data are skipped one by one, and synchronization with the audio reproduction can be realized.
【００３２】また、前記画像再生制御手段により、画像
フレームデータの再生がスキップされたことを判断した
場合に、再生画像の時刻情報に補正値を加算するように
したので、再生画像のスキップ実行による同期処理時に
も再生画像の時刻情報を適切に補正することができる。When it is determined by the image reproduction control means that the reproduction of the image frame data has been skipped, the correction value is added to the time information of the reproduced image. The time information of the reproduced image can be appropriately corrected even during the synchronization processing.
【００３３】さらに、前記画像再生制御手段により、再
生画像の時刻情報が再生音声の時刻情報に対し所定値よ
り小さい場合であり、かつ画像フレームデータのピクチ
ャタイプがＢピクチャでない場合に、画像再生が促進さ
れるのをパスさせるようにしたので、再生画像が遅れて
いる場合で、画像フレームデータのピクチャタイプがＩ
ピクチャ又はＰピクチャの場合に、ＭＰＥＧの性質に適
合させるべくピクチャデータを破棄せず、かつ画像再生
を促進させることもなく、したがって、デコーダ処理を
中断させることなく、また促進処理時の負荷もかけるこ
とがない。Further, when the time information of the reproduced image is smaller than a predetermined value with respect to the time information of the reproduced audio and the picture type of the image frame data is not a B picture, the image reproduction is performed by the image reproduction control means. In the case where the reproduced image is delayed, the picture type of the image frame data is set to I
In the case of a picture or a P-picture, the picture data is not discarded in order to conform to the properties of MPEG, and the picture reproduction is not promoted. Therefore, the decoder processing is not interrupted and a load is imposed upon the promotion processing. Nothing.
【００３４】[0034]
【実施例】以下、添付図面を参照して本発明の一実施例
について説明する。図１は本発明の実施例に適用する画
像及び音声情報の再生システムの概念を説明するブロッ
ク図である。図１に示す画像及び音声情報の再生システ
ムは、ＣＰＵ（中央演算処理装置）やメモリなどを含む
中央処理部１、画像データ及び音声データが記録された
情報記憶媒体としての光ディスク２、光ディスク２に記
録された情報を読み出すための光ディスク読み出し制御
部３、ローカルバス４、該ローカルバス４を介して入力
される光ディスク読み出し制御部３からの画像データを
処理する画像処理部５、その処理結果を表示する表示装
置６、ローカルバス４を介して入力される光ディスク読
み出し制御部３からの音声データを処理する音声処理部
７、その処理結果を出力するスピーカ８、光ディスク読
み出し制御部３からの画像及び音声データを格納するた
めのバッファメモリ９、ローカルバス４を介して中央処
理部１との間で制御要求等をやり取りする外部システム
１０、この外部システム１０とローカルバス４との間の
インターフェイス機能を果たすバスインターフェイス１
１を備えている。なお、図１では、記録媒体の一例とし
て、光ディスク２を想定しているが、これを、ハードデ
ィスクやフロッピィーディスク又はＲＯＭなどに置き換
えてもよい。An embodiment of the present invention will be described below with reference to the accompanying drawings. FIG. 1 is a block diagram for explaining the concept of a video and audio information reproducing system applied to an embodiment of the present invention. The image and audio information reproduction system shown in FIG. 1 includes a central processing unit 1 including a CPU (Central Processing Unit) and a memory, an optical disk 2 as an information storage medium on which image data and audio data are recorded, and an optical disk 2. An optical disk read control unit 3 for reading recorded information; a local bus 4; an image processing unit 5 for processing image data input from the optical disk read control unit 3 via the local bus 4; Display device 6, an audio processing unit 7 for processing audio data from the optical disk read control unit 3 input via the local bus 4, a speaker 8 for outputting the processing result, images and audio from the optical disk read control unit 3 A buffer memory 9 for storing data and a control request with the central processing unit 1 via the local bus 4 are transmitted. External system 10 to take a bus interface 1 fulfilling an interface function between this external system 10 and the local bus 4
1 is provided. In FIG. 1, the optical disk 2 is assumed as an example of a recording medium, but this may be replaced with a hard disk, a floppy disk, a ROM, or the like.
【００３５】次に、前記構成に係る画像及び音声情報の
再生システムの動作について説明する。外部システム１
０により、バスインターフェイス部１１及びローカルバ
ス４を介して、中央処理部１に対して、画像処理部５と
音声処理部７及び光ディスク読み出し制御部３の制御要
求が出されると、中央処理部１は、この制御要求を受け
て、光ディスク２に記録された情報を光ディスク読み出
し制御部３により読み出し、光ディスク２に記録された
情報の内容を判断する。Next, the operation of the image and audio information reproducing system according to the above configuration will be described. External system 1
0, a request for control of the image processing unit 5, the audio processing unit 7, and the optical disk reading control unit 3 is issued to the central processing unit 1 via the bus interface unit 11 and the local bus 4. In response to this control request, the optical disk reading control unit 3 reads information recorded on the optical disk 2 and determines the content of the information recorded on the optical disk 2.
【００３６】中央処理部１は、光ディスク２に記録され
た情報が画像データであれば、ローカルバス４を介して
画像処理部５にデータを転送し、この画像処理部５によ
る処理結果を表示装置６に表示する。また、光ディスク
２に記録された情報が音声データであれば、ローカルバ
ス４を介して音声処理部７にデータを転送し、この音声
処理部７による処理結果をスピーカ８より出力する。一
方、光ディスク２に記録された情報が画像データや音声
データでない場合、画像データや音声データであっても
直ちに処理する必要がない場合、又はデータの内容を中
央処理部１によって解析する必要がある場合には、バッ
ファメモリ９にデータを格納する。If the information recorded on the optical disk 2 is image data, the central processing unit 1 transfers the data to the image processing unit 5 via the local bus 4 and displays the processing result by the image processing unit 5 on a display device. 6 is displayed. If the information recorded on the optical disc 2 is audio data, the data is transferred to the audio processing unit 7 via the local bus 4, and the processing result by the audio processing unit 7 is output from the speaker 8. On the other hand, if the information recorded on the optical disc 2 is not image data or audio data, even if it is image data or audio data, it is not necessary to immediately process the data, or the contents of the data need to be analyzed by the central processing unit 1 In this case, the data is stored in the buffer memory 9.
【００３７】また、図２は本発明による具体的な画像及
び音声情報の再生システムの実施例を示すブロック図で
ある。なお、図２に示す実施例において、図１と同一の
部分は同一符号を付す。また、図１では記録媒体として
光ディスク２を想定したが、この図２では記録媒体とし
てコンパクトディスク（ＣＤ）１２を採用するととも
に、画像データ及び音声データとして、ＭＰＥＧ規格に
よる圧縮データをそれぞれ採用しており、これに伴い、
図１に示す光ディスク読み出し制御部３、画像処理部
５、音声処理部７に対応するものとして、ＣＤ読み出し
制御部１３、ＭＰＥＧ画像処理部１５、ＭＰＥＧ音声処
理部１７を採用している。FIG. 2 is a block diagram showing an embodiment of a specific image and audio information reproducing system according to the present invention. In the embodiment shown in FIG. 2, the same parts as those in FIG. 1 are denoted by the same reference numerals. In FIG. 1, the optical disk 2 is assumed as a recording medium. In FIG. 2, a compact disk (CD) 12 is employed as a recording medium, and compressed data according to the MPEG standard is employed as image data and audio data. Along with this,
A CD read control unit 13, an MPEG image processing unit 15, and an MPEG audio processing unit 17 are employed as those corresponding to the optical disk read control unit 3, image processing unit 5, and audio processing unit 7 shown in FIG.
【００３８】次に、図２に示す構成に係る画像及び音声
情報の再生システムの動作を、図３に示す音声フレーム
更新情報を受信したときの中央処理部１による音声フレ
ーム処理フローチャート及び図４に示す画像フレーム更
新情報を受信したときの中央処理部１による画像フレー
ム処理フローチャートを参照して説明する。この図３及
び図４に示すフローチャートは、いずれも中央処理部１
による処理を示すものであるが、ここで、ステップＳ３
０１とＳ４０１は、画像データ及び音声データから獲得
される再生すべき先頭の画像及び音声の時刻情報に基づ
いて再生される現在出力中の再生画像及び再生音声の時
刻情報をフレーム単位で算出する時刻情報算出手段を構
成し、また、ステップＳ４０２〜Ｓ４０４は、その時刻
情報算出手段により算出された現在出力中の再生画像の
時刻情報と再生音声の時刻情報との差分が所定値以上あ
り、かつ再生画像の時刻情報が再生音声の時刻情報より
所定値より大きいか否かを判定する判定手段を構成し、
さらに、ステップＳ４０５〜Ｓ４１１は、その判定手段
による判定結果、再生画像の時刻情報が再生音声の時刻
情報に対し所定値より大きい場合に画像再生を遅延させ
るとともに、再生画像の時刻情報が再生音声に対し所定
値より小さい場合に画像再生を促進させ、また、再生画
像の時刻情報が再生音声の時刻情報に対し所定値より小
さい場合であり、かつ画像フレームデータのピクチャタ
イプがＢピクチャである場合は、画像フレームデータの
再生をスキップさせる画像再生制御手段を構成してい
る。Next, the operation of the image and audio information reproducing system according to the configuration shown in FIG. 2 will be described with reference to the flowchart of the audio frame processing by the central processing unit 1 when the audio frame update information shown in FIG. A description will be given with reference to a flowchart of image frame processing by the central processing unit 1 when the image frame update information shown is received. The flowcharts shown in FIG. 3 and FIG.
Shows the processing by step S3.
01 and S401 are the times at which the time information of the currently output reproduced image and reproduced audio to be reproduced based on the time information of the first image and audio to be reproduced acquired from the image data and audio data is calculated in frame units. Steps S402 to S404 are performed when the difference between the time information of the currently output reproduced image and the time information of the reproduced sound calculated by the time information calculating means is equal to or more than a predetermined value, and A determination unit that determines whether the time information of the image is greater than a predetermined value than the time information of the reproduced sound,
Further, in steps S405 to S411, image reproduction is delayed when the time information of the reproduced image is larger than a predetermined value with respect to the time information of the reproduced sound, and the time information of the reproduced image is added to the reproduced sound. On the other hand, when the time information of the reproduced image is smaller than the predetermined value with respect to the time information of the reproduced sound and the picture type of the image frame data is a B picture, And image playback control means for skipping playback of image frame data.
【００３９】まず、外部システム１０により、バスイン
ターフェイス部１１とローカルバス４を介して、中央処
理部１に対して、制御要求が発行されると、中央処理部
１は、この制御要求に基づいてＣＤ読み出し制御部１３
を制御し、読み出された画像圧縮データ及び音声圧縮デ
ータをバッファメモリ９に格納し、バッファメモリ９に
格納された画像圧縮データ及び音声圧縮データより再生
すべき先頭の画像のＰＴＳ及び音声のＰＴＳを獲得す
る。そして、ＭＰＥＧ画像処理部１５及びＭＰＥＧ音声
処理部１７を制御し、表示装置６及びスピーカ８からの
画像と音声の再生を開始する。First, when a control request is issued from the external system 10 to the central processing unit 1 via the bus interface unit 11 and the local bus 4, the central processing unit 1 receives a control request based on the control request. CD read control unit 13
Is stored in the buffer memory 9, and the PTS of the first image to be reproduced and the PTS of the audio to be reproduced from the compressed image data and audio data stored in the buffer memory 9. To win. Then, it controls the MPEG image processing unit 15 and the MPEG audio processing unit 17 to start reproduction of images and audio from the display device 6 and the speaker 8.
【００４０】これに基づき、ＭＰＥＧ画像処理部１５
は、表示している画像が更新された場合、画像フレーム
更新情報をローカルバス４を介して中央処理部１に随時
出力する。同様に、ＭＰＥＧ音声処理部１７は、出力し
ている音声が更新された場合、音声フレーム更新情報を
ローカルバス４を介して中央処理部１に随時出力する。
中央処理部１は、画像フレーム更新情報及び音声フレー
ム更新情報を監視し、ＭＰＥＧ画像処理部１５及びＭＰ
ＥＧ音声処理部１６で獲得される画像フレームレート及
び音声フレームレートの情報から現在出力中の画像のＰ
ＴＳ及び音声のＰＴＳを演算により算出し、算出された
画像及び音声のフレームレートに応じた値を画像及び音
声ＰＴＳに加算する（ステップＳ４０１、Ｓ３０１）。
なお、画像フレームレート及び音声フレームレートの情
報は、ＭＰＥＧ画像処理部１５及びＭＰＥＧ音声処理部
１７から獲得するが、ＣＤ読み出し制御部１３から読み
出された画像圧縮データ及び音声圧縮データから中央処
理部１が直接獲得する方法もある。Based on this, the MPEG image processing unit 15
Outputs the image frame update information to the central processing unit 1 via the local bus 4 as needed when the displayed image is updated. Similarly, when the output audio is updated, the MPEG audio processing unit 17 outputs the audio frame update information to the central processing unit 1 via the local bus 4 as needed.
The central processing unit 1 monitors the image frame update information and the audio frame update information, and
From the information of the image frame rate and the audio frame rate acquired by the EG audio processing unit 16, the P
The PTS of the TS and the audio are calculated by calculation, and a value corresponding to the calculated frame rate of the image and the audio is added to the image and the audio PTS (steps S401 and S301).
The information on the image frame rate and the audio frame rate is obtained from the MPEG image processing unit 15 and the MPEG audio processing unit 17. There is also a way to get 1 directly.
【００４１】ここで、仮に、ＭＰＥＧ画像圧縮データの
フレームレートが２９．９７Ｈｚであるとすると、１回
の画像フレーム更新情報につき３００３を画像ＰＴＳに
加算する。また、ＭＰＥＧ音声圧縮データがレイヤー２
（サンプリング周波数４４．１ｋＨｚ）とすると、１回
の音声フレーム更新情報につき２３５１を音声ＰＴＳに
加算する。そして、現在の音声再生に対して、所定の値
より画像再生が遅れているか、又は進んでいるかを判断
する（ステップＳ４０２〜Ｓ４０４）。Here, assuming that the frame rate of the compressed MPEG image data is 29.97 Hz, 3003 is added to the image PTS per one image frame update information. Also, MPEG audio compression data is layer 2
(Sampling frequency 44.1 kHz), 2351 is added to the audio PTS for one audio frame update information. Then, it is determined whether the image reproduction is delayed or advanced from a predetermined value with respect to the current audio reproduction (steps S402 to S404).
【００４２】なお、上述の所定の値とは、ＡＶ同期誤差
の主観評価実験によれば、「音声が２０ｍｓ先行ないし
５０ｍｓ遅延の範囲でほとんど検知されない」とあるの
で、１〜２画像フレームがよいと考えられるが、遅延等
の命令の処理時間が使用しているデコーダによって違う
場合があるため、システム上の最適値に設定する必要が
ある。よって、本実施例では、ｎ画像フレームとする。
ステップＳ４０３でＹＥＳなら、画像再生制御間隔が所
定時間ｍを超えているか否かを判断する（ステップＳ４
１２）。この画像再生制御間隔とは、後述の遅延、促
進、スキップなどの画像信号の時間軸制御がなされた後
の経過時間を言う。すなわち、所定時間ｍを０．２秒に
設定すれば、１秒間に最大５回、ＮＴＳＣ方式の場合、
最大約６コマに１回の割合でしか時間軸制御が行われな
いようになる。ステップＳ４１２でＹＥＳならば、画像
ＰＴＳと音声ＰＴＳを比較し、いずれが大きいかを判断
する（ステップＳ４０４）。Incidentally, the above-mentioned predetermined value is, according to a subjective evaluation experiment of the AV synchronization error, that "sound is hardly detected in a range of 20 ms ahead or 50 ms delay", so 1-2 image frames are preferable. However, the processing time of the instruction such as the delay may be different depending on the decoder used, so it is necessary to set the processing time to an optimal value on the system. Therefore, in the present embodiment, n image frames are used.
If “YES” in the step S403, it is determined whether or not the image reproduction control interval exceeds a predetermined time m (step S4).
12). The image reproduction control interval refers to the elapsed time after the time axis control of the image signal such as delay, promotion, and skip described later is performed. That is, if the predetermined time m is set to 0.2 seconds, a maximum of 5 times per second, in the case of the NTSC system,
The time axis control is performed only once at a maximum of about six frames. If “YES” in the step S412, the image PTS and the audio PTS are compared, and it is determined which is larger (step S404).
【００４３】上述のＰＴＳの比較による判断結果、画像
ＰＴＳの値が音声ＰＴＳの値より大きい場合、つまり画
像再生が音声再生に対して所定量以上進んでいる場合
は、画像フレームデータの表示及びデコードを遅延させ
る命令をローカルバス４を介してＭＰＥＧ画像処理部１
５に発行する（ステップＳ４０５）。他方、画像ＰＴＳ
の値が音声ＰＴＳの値より大きくない場合、つまり画像
再生が音声再生に対して所定量以上遅れている場合で
は、その時点で、次にデコードすべき画像フレームデー
タのピクチャタイプをローカルバス４を介してＭＰＥＧ
画像処理部１５から獲得し、判断する（ステップＳ４０
６、Ｓ４０７）。As a result of the above PTS comparison, if the value of the image PTS is greater than the value of the audio PTS, that is, if the image reproduction has advanced a predetermined amount or more with respect to the audio reproduction, display and decoding of the image frame data are performed. Command to delay the MPEG image processing unit 1 via the local bus 4
5 (step S405). On the other hand, the image PTS
Is not larger than the value of the audio PTS, that is, when the image reproduction is delayed by a predetermined amount or more with respect to the audio reproduction, the picture type of the image frame data to be decoded next is set to the local bus 4 at that time. Over MPEG
Acquired from the image processing unit 15 and determined (step S40)
6, S407).
【００４４】そして、そのピクチャがＢピクチャか否か
を判断し（ステップＳ４０７）、Ｂピクチャでない場
合、つまりＩピクチャ又はＰピクチャの場合は、画像フ
レームデータの表示を促進させる命令をローカルバス４
を介してＭＰＥＧ画像処理部１５に発行する（ステップ
Ｓ４０８）。他方、Ｂピクチャの場合は、画像フレーム
データのデコードを１枚単位でスキップさせる命令をロ
ーカルバス４を介してＭＰＥＧ画像処理部１５に発行す
る（ステップＳ４１０）。Then, it is determined whether or not the picture is a B picture (step S407). If it is not a B picture, that is, if it is an I picture or a P picture, an instruction to promote the display of image frame data is issued to the local bus 4.
Is issued to the MPEG image processing unit 15 via the server (step S408). On the other hand, in the case of a B picture, an instruction to skip decoding of image frame data in units of one image is issued to the MPEG image processing unit 15 via the local bus 4 (step S410).
【００４５】このように、画像ＰＴＳの値が音声ＰＴＳ
の値より大きくない場合、つまり画像再生が遅れている
場合に、その時点で、次にデコードすべき画像フレーム
データのピクチャタイプで、処理を変える理由は、ＭＰ
ＥＧのように、フレーム間予測方式の場合、Ｉピクチャ
やＰピクチャは、他のピクチャを作成するときに必要と
なるので、デコードをスキップすることはできないため
である。そして、スキップした場合は、スキップしたと
いう情報を確認し（ステップＳ４１１）、その後、補正
値を演算により画像ＰＴＳに反映させる（ステップＳ４
０９）。As described above, when the value of the image PTS is the audio PTS
If the value is not larger than the value of, that is, if the image reproduction is delayed, the reason for changing the processing at that point in time with the picture type of the image frame data to be decoded next is MP
This is because, in the case of the inter-frame prediction method like the EG, an I picture or a P picture is necessary when another picture is created, so that decoding cannot be skipped. Then, in the case of skipping, it is confirmed that information has been skipped (step S411), and thereafter the correction value is reflected on the image PTS by calculation (step S4).
09).
【００４６】ここで、スキップしたという情報とは、Ｌ
ＳＩからのスキップしたという情報や、デコードすべき
ピクチャ数と表示したピクチャ数を所定時間カウントし
てそれを比較することにより得る。また、スキップした
という情報がない場合は、スキップされたと推測される
所定の間隔をおいてから、補正値を演算により画像のＰ
ＴＳに反映させるというものでもよい。なお、上述の画
像フレームデータの表示及びデコードを遅延させる命令
というのは、ＰＴＳが一致するまで一時停止する命令で
もよいし、１フレーム単位で遅延させる命令でもよい
し、１フィールド単位で遅延させる命令でもよい。Here, the information of skipping is L
The information is obtained by counting the number of pictures to be decoded and the number of displayed pictures from the SI for a predetermined period of time and comparing them. If there is no information indicating that the image has been skipped, after a predetermined interval at which it is assumed that the image is skipped, the correction value is calculated to calculate the P value of the image.
The information may be reflected in the TS. Note that the instruction to delay the display and decoding of the image frame data may be an instruction to pause until the PTS matches, an instruction to delay by one frame, or an instruction to delay by one field. May be.
【００４７】また、画像再生が遅れている場合の処理
は、ＬＳＩがＢピクチャの画像フレームデータのデコー
ドを１枚単位でスキップさせる命令を持っていれば、そ
の命令をローカルバス４を介してＭＰＥＧ画像処理部１
５に発行するというものでもよい。また、画像再生が遅
れている場合の処理は、その時点で次にデコードすべき
画像フレームデータのピクチャタイプをローカルバス４
を介してＭＰＥＧ画像処理部１５から獲得し、Ｉピクチ
ャ又はＰピクチャのとき、遅延や促進といった時間軸制
御を行わず、すなわち、ステップＳ４０８で画像再生が
促進されるのをパスさせるようにしてＭＰＥＧの性質に
適合させるべくピクチャデータを破棄せず、また画像再
生を促進させることもなく、したがって、デコーダ処理
を中断させることなく、かつ促進処理時の負荷もかける
ことがなく、同期処理を実行するようにしてもよい。図
５はかかる制御を示すフローチャートであり、図４との
差異はステップＳ４０８を省いたところにある。If the LSI has a command to skip the decoding of the image frame data of the B picture one by one in the case where the reproduction of the image is delayed, the command is transmitted via the local bus 4 to the MPEG. Image processing unit 1
5 may be issued. Further, when the image reproduction is delayed, the picture type of the image frame data to be decoded next at that time is set to the local bus 4.
And from the MPEG image processing unit 15 via I, and in the case of an I picture or a P picture, time axis control such as delay or promotion is not performed. The synchronous processing is performed without discarding the picture data and accelerating the image reproduction so as to conform to the nature of the above, and thus without interrupting the decoder processing and adding a load at the time of the accelerating processing. You may do so. FIG. 5 is a flowchart showing such control. The difference from FIG. 4 is that step S408 is omitted.
【００４８】また、Ｂピクチャの場合に、画像フレーム
データのデコードを１枚単位でスキップさせる命令をロ
ーカルバス４を介してＭＰＥＧ画像処理部１５に発行す
るというものでもよい。また、画像再生が遅れている場
合の処理は、画像フレームデータの表示を促進させる命
令をローカルバス４を介してＭＰＥＧ画像処理部１５に
発行するというものでもよい。In the case of a B picture, an instruction to skip decoding of image frame data one by one may be issued to the MPEG image processing unit 15 via the local bus 4. Further, the processing in the case where the image reproduction is delayed may be such that a command for promoting the display of the image frame data is issued to the MPEG image processing unit 15 via the local bus 4.
【００４９】なお、他の実施例としては、中央処理部１
が音声データより随時ＰＴＳが獲得できる場合では、そ
の値に固定遅延値を加えＰＴＳを更新する。これは、音
声データの場合、画像データのように入力データの順番
と出力の順番が異なることはないので、固定遅延だけ考
えればよいためである。この実施例では、音声フレーム
更新情報を出力しない場合においても有効である。As another embodiment, the central processing unit 1
If the PTS can obtain the PTS from the voice data at any time, the PTS is updated by adding a fixed delay value to the value. This is because, in the case of audio data, the order of input data and the order of output do not differ from the order of image data, so only fixed delay needs to be considered. This embodiment is effective even when the audio frame update information is not output.
【００５０】また、他の実施例としては、中央処理部１
が音声データより間欠的にＰＴＳが獲得できる場合で
は、上述の音声フレーム更新情報による演算と併用し、
音声フレームが更新された時点で、音声データよりＰＴ
Ｓが獲得できなかった場合は、演算によりＰＴＳを更新
し、獲得できた場合、その値に固定遅延値を加え、ＰＴ
Ｓを更新する方法がある。このような方法により、同期
処理を行う。In another embodiment, the central processing unit 1
When the PTS can intermittently acquire the PTS from the audio data, the PTS can be used together with the above-described calculation using the audio frame update information,
When the audio frame is updated, PT
If S cannot be obtained, the PTS is updated by calculation, and if obtained, a fixed delay value is added to the value, and PT
There is a method of updating S. Synchronous processing is performed by such a method.
【００５１】上記図４及び図５の例では、画像再生が音
声再生より遅れているときは、ステップＳ４０７でピク
チャタイプを判断して、処理を変更しているが、より簡
便な手法としては、図６に示すようにステップＳ４０４
でＮＯのとき、ピクチャタイプを判断せずに画像処理部
に促進命令を発行するステップＳ４０８を実行するよう
にしてもよい。図６の方法では、画像再生が音声再生よ
り所定量以上遅れているときは、ピクチャタイプを判断
せずに画像処理部に促進命令を発行しているので、コマ
落ちがなく（全てのコマが時間短縮されて表示され
る）、全てのコマについてデコードが行われる。これに
対して、図４、図５ではＢピクチャでスキップが行われ
るので、コマ落ちがある（表示されないコマがある）
が、その分デコード量が減少するのでデコーダの負担は
軽い。また図５では、促進を行わないのデコーダの負荷
が最も軽くなる。In the examples of FIGS. 4 and 5, when the image reproduction is behind the sound reproduction, the picture type is determined in step S407 and the processing is changed. However, as a simpler method, Step S404 as shown in FIG.
If NO in step S408, step S408 of issuing a prompt to the image processing unit without determining the picture type may be executed. In the method shown in FIG. 6, when the image reproduction is later than the audio reproduction by a predetermined amount or more, since the promotion instruction is issued to the image processing unit without determining the picture type, there is no frame drop (all frames are Decoding is performed for all frames. On the other hand, in FIGS. 4 and 5, skipping is performed in the B picture, so there is a frame drop (some frames are not displayed).
However, the load on the decoder is light because the amount of decoding is reduced accordingly. Also, in FIG. 5, the load of the decoder that does not perform the promotion is the lightest.
【００５２】なお、図４乃至図６において、ステップＳ
４１２はステップＳ４０３とステップＳ１４０４の間に
設けられているが、必ずしもここでなくともよい。ま
た、所定時間ｍを０とすることもできる。すなわち、ス
テップＳ４１２を省区こともできる。In FIGS. 4 to 6, step S
Although 412 is provided between step S403 and step S1404, this is not necessarily required. Further, the predetermined time m can be set to 0. That is, step S412 can be omitted.
【００５３】[0053]
【００５４】[0054]
【発明の効果】以上説明したように、本発明の画像及び
音声情報の再生システムによれば、時刻情報算出手段に
より、現在出力中の再生画像及び再生音声の時刻情報が
フレーム単位で算出され、判定手段により、現在出力中
の再生画像の時刻情報と再生音声の時刻情報との差分が
所定値以上あり、かつ再生画像の時刻情報が再生音声の
時刻情報に対して所定値より大きいと判定された場合に
は、画像再生制御手段によって画像再生を遅延させると
ともに、他方、再生画像の時刻情報が再生音声に対し所
定値より小さいと判定された場合には、画像再生制御手
段によって画像再生を促進させるよう制御され、画像再
生制御手段により、前記所定時間を経過したときのみ次
の遅延又は促進が行われるので、１フレーム単位の精度
で時刻情報を監視することができ、また、時刻情報を出
力しないデコーダを用いても１画像フレーム単位の精度
で画像及び音声の同期を実現させることができ、音声に
対して画像を合わせる方式を採用したため、音切れもな
く同期を実行でき、画像と音声の同期を徐々にとること
ができ、デコーダの負担が少なく、画像の動きに不自然
さがなくなるという効果がある。なお、時刻情報の監視
は上記実施例では１フレーム単位の精度であるが、再生
すべき画像データの最小画像再生時間単位の精度とする
ことができる。As described above, according to the image and audio information reproducing system of the present invention, the time information calculating means calculates the time information of the currently output reproduced image and reproduced audio in frame units. The determining means determines that the difference between the time information of the currently output reproduced image and the time information of the reproduced audio is equal to or greater than a predetermined value, and that the time information of the reproduced image is larger than the predetermined value with respect to the time information of the reproduced audio. In this case, the image reproduction is delayed by the image reproduction control means. On the other hand, if the time information of the reproduced image is determined to be smaller than the predetermined value for the reproduced sound, the image reproduction is promoted by the image reproduction control means. The next delay or promotion is performed only when the predetermined time has elapsed by the image reproduction control means, so that the time information is monitored with an accuracy of one frame unit. In addition, even if a decoder that does not output time information is used, synchronization of images and sounds can be realized with an accuracy of one image frame unit. Synchronization can be performed without any delay, the image and the audio can be gradually synchronized, the load on the decoder is reduced, and the motion of the image is less unnatural. The monitoring of the time information is performed in units of one frame in the above embodiment, but may be performed in units of the minimum image reproduction time of the image data to be reproduced.
【００５５】また、本発明に係る画像及び音声情報の再
生システムによれば、時刻情報算出手段により、現在出
力中の再生画像及び再生音声の時刻情報がフレーム単位
で算出され、判定手段により、現在出力中の再生画像の
時刻情報と再生音声の時刻情報との差分が所定値以上あ
り、かつ再生画像の時刻情報が再生音声の時刻情報に対
して所定値より大きいと判定された場合には、画像再生
制御手段によって画像再生を遅延させるとともに、他
方、再生画像の時刻情報が再生音声に対し所定値より小
さいと判定された場合には、画像再生制御手段によって
画像再生を促進させるよう制御され、時刻情報算出手段
により、再生されている画像及び音声のフレーム更新情
報と再生画像及び再生音声のフレームレート情報とに基
づいて現在出力中の再生画像及び再生音声の時刻情報が
それぞれ演算により算出されるので、１フレーム単位の
精度で時刻情報を監視することができ、また、時刻情報
を出力しないデコーダを用いても１画像フレーム単位の
精度で画像及び音声の同期を実現させることができ、ま
た、音声に対して画像を合わせる方式を採用したため、
音切れもなく同期再生を実行でき、さらに、時刻情報を
出力しないデコーダを用いた場合であっても、現在出力
中の再生画像の時刻情報と再生音声の時刻情報とを確実
に算出することができるという効果がある。Further, according to the image and sound information reproducing system of the present invention, the time information calculating means calculates the time information of the currently output reproduced image and the reproduced sound in frame units. If the difference between the time information of the reproduced image being output and the time information of the reproduced audio is equal to or greater than a predetermined value, and it is determined that the time information of the reproduced image is larger than the predetermined value with respect to the time information of the reproduced audio, While delaying the image playback by the image playback control means, on the other hand, if the time information of the playback image is determined to be smaller than the predetermined value for the playback sound, the image playback control means is controlled to promote the image playback, The time information calculating means outputs the currently output image and audio based on the frame update information and the reproduced image and audio frame rate information. Since the time information of the raw image and the time information of the reproduced sound are respectively calculated by the calculation, the time information can be monitored with the accuracy of one frame unit. Can realize synchronization of images and sounds, and also adopted a method of matching images with sounds,
Synchronous playback can be performed without sound interruption, and even when a decoder that does not output time information is used, it is possible to reliably calculate the time information of the playback image currently being output and the time information of the playback audio. There is an effect that can be.
【００５６】また、本発明に係る画像及び音声情報の再
生システムよれば、時刻情報算出手段により、現在出力
中の再生画像及び再生音声の時刻情報がフレーム単位で
算出され、判定手段により、現在出力中の再生画像の時
刻情報と再生音声の時刻情報との差分が所定値以上あ
り、かつ再生画像の時刻情報が再生音声の時刻情報に対
して所定値より大きいと判定された場合には、画像再生
制御手段によって画像再生を遅延させるとともに、他
方、再生画像の時刻情報が再生音声に対し所定値より小
さいと判定された場合には、画像再生制御手段によって
画像再生を促進させるよう制御され、時刻情報算出手段
により、再生されている画像のフレーム更新情報と再生
画像のフレームレート情報とに基づいて現在出力中の再
生画像の時刻情報が演算により算出されるとともに、前
記音声データより再生すべき音声の時刻情報が随時獲得
され再生音声の時刻情報として出力されるので、１フレ
ーム単位の精度で時刻情報を監視することができ、ま
た、時刻情報を出力しないデコーダを用いても１画像フ
レーム単位の精度で画像及び音声の同期を実現させるこ
とができ、また、音声に対して画像を合わせる方式を採
用したため、音切れもなく同期再生を実行でき、さら
に、音声のフレーム更新情報が出力されない場合であっ
ても有効であり、現在出力中の再生音声の時刻情報とを
確実に得ることができるという効果がある。Further, according to the image and sound information reproducing system of the present invention, the time information calculating means calculates the time information of the reproduced image and the reproduced sound being currently output in frame units, and the judging means calculates the current output time. If it is determined that the difference between the time information of the middle playback image and the time information of the playback audio is equal to or greater than a predetermined value, and that the time information of the playback image is larger than the predetermined value with respect to the time information of the playback audio, The image reproduction is delayed by the reproduction control means, and when it is determined that the time information of the reproduced image is smaller than the predetermined value for the reproduced sound, the image reproduction control means is controlled to promote the image reproduction, The information calculation means calculates the time information of the currently output reproduced image based on the frame update information of the reproduced image and the frame rate information of the reproduced image. And the time information of the sound to be reproduced is obtained from the sound data at any time and output as the time information of the reproduced sound, so that the time information can be monitored with an accuracy of one frame unit. Even if a decoder that does not output information is used, synchronization of images and sounds can be realized with the accuracy of one image frame unit. In addition, since a method of matching images with sounds is adopted, synchronous playback is performed without sound interruption. This is effective even when the audio frame update information is not output, and the time information of the currently output reproduced audio can be obtained reliably.
【００５７】また、時刻情報算出手段により、音声デー
タより再生すべき音声の時刻情報が獲得できなかった場
合に、再生されている音声のフレーム更新情報と再生音
声のフレームレート情報とに基づいて現在出力中の再生
音声の時刻情報を演算により算出するようにしたので、
音声データより再生すべき音声の時刻情報が獲得できな
かった場合であっても有効であり、現在出力中の再生音
声の時刻情報とを演算によって確実に算出することがで
きるという効果がある。When the time information calculating means cannot obtain the time information of the sound to be reproduced from the sound data, the current time is calculated based on the frame update information of the reproduced sound and the frame rate information of the reproduced sound. Since the time information of the reproduced sound being output is calculated by calculation,
This is effective even when the time information of the audio to be reproduced cannot be obtained from the audio data, and has an effect that the time information of the reproduced audio that is currently being output can be reliably calculated.
【００５８】また、画像データ及び音声データをＭＰＥ
Ｇ規格による圧縮データとするとともに、画像及び音声
の時刻情報をＰＴＳとすることにより、ＭＰＥＧ規格に
よる圧縮データを採用したものにおいても、ＭＰＥＧの
デコーダ処理に破綻をきたすことなく、同期させること
ができるという効果がある。Also, the image data and the audio data are
By using compressed data according to the G standard and using PTS as the time information of images and audio, even data employing compressed data according to the MPEG standard can be synchronized without breaking MPEG decoder processing. This has the effect.
【００５９】また、画像再生制御手段により、再生画像
の時刻情報が再生音声の時刻情報に対し所定値より大き
い場合に、時刻情報が一致するまで画像フレームデータ
の再生を一時停止させるようにしたので、画像再生が進
んでいる場合に、画像フレームデータの表示及びデコー
ドを時刻情報が一致するまで遅延させて、音声再生との
同期を実現できるという効果がある。When the time information of the reproduced image is greater than the time information of the reproduced sound by the image reproduction control means, the reproduction of the image frame data is temporarily stopped until the time information matches. When the image reproduction is progressing, there is an effect that the display and the decoding of the image frame data are delayed until the time information coincides, so that the synchronization with the audio reproduction can be realized.
【００６０】また、画像再生制御手段により、再生画像
の時刻情報が再生音声の時刻情報に対し所定値より大き
い場合に、画像フレームデータの再生を１フレーム単位
で遅延させるようにしたので、画像再生が進んでいる場
合に、画像フレームデータの表示及びデコードを１フレ
ーム単位で遅延させて、音声再生との同期を実現できる
という効果がある。When the time information of the reproduced image is greater than the time information of the reproduced sound by the image reproduction control means, the reproduction of the image frame data is delayed by one frame unit. Is advanced, the display and the decoding of the image frame data are delayed in units of one frame, so that there is an effect that the synchronization with the audio reproduction can be realized.
【００６１】また、画像再生制御手段により、再生画像
の時刻情報が再生音声の時刻情報に対し所定値より大き
い場合に、画像フレームデータの再生を１フィールド単
位で遅延させるようにしたので、画像再生が進んでいる
場合に、画像フレームデータの表示及びデコードを１フ
ィールド単位で遅延させて、音声再生との同期を実現で
きるという効果がある。Further, when the time information of the reproduced image is larger than the predetermined value of the time information of the reproduced sound by the image reproduction control means, the reproduction of the image frame data is delayed by one field unit. Is advanced, the display and the decoding of the image frame data are delayed in units of one field, so that there is an effect that the synchronization with the audio reproduction can be realized.
【００６２】また、画像再生制御手段により、再生画像
の時刻情報が再生音声の時刻情報に対し所定値より小さ
い場合であり、かつ画像フレームデータのピクチャタイ
プがＢピクチャである場合は、画像フレームデータの再
生を１枚単位でスキップさせるようにしたので、画像再
生が遅れている場合に、画像フレームデータの表示及び
デコードを１枚単位でスキップさせて、音声再生との同
期を実現できるという効果がある。If the time information of the reproduced image is smaller than a predetermined value with respect to the time information of the reproduced audio and the picture type of the image frame data is a B picture, Is reproduced in units of one frame, so that when image reproduction is delayed, the display and decoding of image frame data can be skipped in units of one frame to achieve synchronization with audio reproduction. is there.
【００６３】また、画像再生制御手段により、画像フレ
ームデータの再生がスキップされたことを判断した場合
に、再生画像の時刻情報に補正値を加算するようにした
ので、再生画像のスキップ実行による同期処理時にも再
生画像の時刻情報を適切に補正することができるという
効果がある。When it is determined by the image reproduction control means that the reproduction of the image frame data has been skipped, the correction value is added to the time information of the reproduced image. There is an effect that time information of a reproduced image can be appropriately corrected even during processing.
【００６４】さらに、画像再生制御手段により、再生画
像の時刻情報が再生音声の時刻情報に対し所定値より小
さい場合であり、かつ画像フレームデータのピクチャタ
イプがＢピクチャでない場合に、画像再生が促進される
のをパスさせるようにしたので、再生画像が遅れている
場合で、画像フレームデータのピクチャタイプがＩピク
チャ又はＰピクチャの場合に、ＭＰＥＧの性質に適合さ
せるべくピクチャデータを破棄せず、また画像再生を促
進させることもなく、したがって、デコーダ処理を中断
させることなく、かつ促進処理時の負荷もかけることが
なく、同期処理を実行できるという効果がある。Further, when the time information of the reproduced image is smaller than a predetermined value with respect to the time information of the reproduced sound and the picture type of the image frame data is not a B picture, the image reproduction is promoted by the image reproduction control means. In the case where the playback image is delayed and the picture type of the image frame data is I picture or P picture, the picture data is not discarded in order to conform to the properties of MPEG. Further, there is an effect that the synchronous processing can be executed without promoting the image reproduction, and thus without interrupting the decoder processing and without imposing a load during the promotion processing.
【図１】本発明の画像及び音声情報の再生システムの好
ましい実施例に適用するシステムの概念を説明するブロ
ック図である。FIG. 1 is a block diagram illustrating the concept of a system applied to a preferred embodiment of a video and audio information reproducing system according to the present invention.
【図２】本発明によるシステムの実施例を示すブロック
図である。FIG. 2 is a block diagram showing an embodiment of a system according to the present invention.
【図３】本発明によるシステムの実施例の動作を示すも
ので、音声フレーム更新信号を受信したときの中央処理
部１の処理のフローチャートである。FIG. 3 is a flowchart showing the operation of the embodiment of the system according to the present invention, which is a process of the central processing unit 1 when receiving an audio frame update signal.
【図４】本発明によるシステムの実施例の動作を示すも
ので、画像フレーム更新信号を受信したときの中央処理
部１の処理のフローチャートである。FIG. 4 is a flowchart showing the operation of the embodiment of the system according to the present invention, which is a process of the central processing unit 1 when an image frame update signal is received.
【図５】本発明によるシステムの他の実施例の動作を示
すもので、画像フレーム更新信号を受信したときの中央
処理部１の処理のフローチャートである。FIG. 5 is a flowchart showing a process of the central processing unit 1 when an image frame update signal is received, showing an operation of another embodiment of the system according to the present invention.
【図６】本発明によるシステムの更に他の実施例の動作
を示すもので、画像フレーム更新信号を受信したときの
中央処理部１の処理のフローチャートである。FIG. 6 is a flowchart showing the operation of the central processing unit 1 when an image frame update signal is received, showing the operation of still another embodiment of the system according to the present invention.
１ 中央処理部（時刻情報演算手段、判定手段、画像再
生制御手段） ２ 光ディスク ３ 光ディスク読み出し制御部 ４ ローカルバス ５ 画像処理部 ６ 表示装置 ７ 音声処理部 ８ スピーカ ９ バッファメモリ １０ 外部システム １１ バスインターフェイス部 １２ コンパクトディスク（ＣＤ） １３ ＣＤ読み出し制御部 １５ ＭＰＥＧ画像処理部 １７ ＭＰＥＧ音声処理部DESCRIPTION OF SYMBOLS 1 Central processing part (time information calculation means, judgment means, image reproduction control means) 2 Optical disk 3 Optical disk reading control part 4 Local bus 5 Image processing part 6 Display device 7 Audio processing part 8 Speaker 9 Buffer memory 10 External system 11 Bus interface Unit 12 Compact disk (CD) 13 CD read control unit 15 MPEG image processing unit 17 MPEG audio processing unit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 七條 俊一 神奈川県横浜市神奈川区守屋町３丁目12 番地 日本ビクター株式会社内 (72)発明者 大塚 伸二 東京都千代田区神田駿河台４丁目６番地 株式会社日立製作所内 (72)発明者 伊藤 保 東京都千代田区神田駿河台４丁目６番地 株式会社日立製作所内 (56)参考文献 特開 平８−212701（ＪＰ，Ａ) 特開 平６−237437（ＪＰ，Ａ) 特開 平７−170490（ＪＰ，Ａ) 特開 平６−121276（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/91 - 5/956 H04N 5/85 H04N 7/24 - 7/68 G11B 20/10 - 20/12 ────────────────────────────────────────────────── ─── Continuing on the front page (72) Inventor Shunichi Shichijo 3-12-12 Moriyacho, Kanagawa-ku, Yokohama-shi, Kanagawa Prefecture Inside of Victor Company of Japan, Ltd. (72) Inventor Shinji Otsuka 4- 6-6 Kanda Surugadai, Chiyoda-ku, Tokyo Inside Hitachi, Ltd. (72) Inventor Tamotsu Ito 4-6, Kanda Surugadai, Chiyoda-ku, Tokyo Inside Hitachi, Ltd. (56) References JP-A-8-212701 (JP, A) JP-A-6-237437 (JP, A) JP-A-7-170490 (JP, A) JP-A-6-121276 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) H04N 5/91-5/956 H04N 5 / 85 H04N 7/24-7/68 G11B 20/10-20/12
Claims (12)
る再生すべき先頭の画像及び音声の時刻情報に基づいて
再生される現在出力中の再生画像及び再生音声の時刻情
報をフレーム単位で算出する時刻情報算出手段と、 前記時刻情報算出手段により算出された現在出力中の再
生画像の時刻情報と再生音声の時刻情報とから再生画像
と再生音声のいずれかが所定量以上進んでいるか否かを
判定する判定手段と、 前記判定手段による判定の結果、再生画像が再生音声よ
り前記所定量以上進んでいる場合に画像再生を遅延させ
るとともに、再生画像が再生音声より前記所定量以上遅
れている場合に画像再生を促進させる画像再生制御手段
と、 前記遅延又は促進があってから所定時間を経過したか否
かを判断する手段とを有し、 前記画像再生制御手段が前記所定時間を経過したときの
み次の遅延又は促進を行うよう構成されている画像及び
音声情報の再生システム。1. A time for calculating time information of a currently output reproduced image and reproduced sound to be reproduced based on time information of a leading image and audio to be reproduced obtained from image data and audio data in units of frames. Information calculating means, and determining whether any of the reproduced image and the reproduced sound is advanced by a predetermined amount or more from the time information of the reproduced image currently being output and the time information of the reproduced sound calculated by the time information calculating means. Determining means for performing, when the result of the determination by the determining means, the reproduced image is delayed by more than the predetermined amount from the reproduced sound, the image reproduction is delayed, and when the reproduced image is delayed by more than the predetermined amount from the reproduced sound, An image reproduction control unit that promotes image reproduction; and a unit that determines whether a predetermined time has elapsed since the delay or the promotion. There playback system of the image and audio information that is configured to perform only the next delay or accelerate upon lapse of the predetermined time.
る画像及び音声のフレーム更新情報と再生画像及び再生
音声のフレームレート情報とに基づいて現在出力中の再
生画像及び再生音声の時刻情報をそれぞれ演算により算
出するものである請求項１記載の画像及び音声情報の再
生システム。2. The time information calculating means according to claim 1, further comprising means for generating time information of the currently output reproduced image and reproduced audio based on frame update information of the reproduced image and audio and frame rate information of the reproduced image and reproduced audio. 2. The image and audio information reproduction system according to claim 1, wherein the reproduction is performed by calculation.
る再生すべき先頭の画像及び音声の時刻情報に基づいて
再生される現在出力中の再生画像及び再生音声の時刻情
報をフレーム単位で算出する時刻情報算出手段と、 前記時刻情報算出手段により算出された現在出力中の再
生画像の時刻情報と再生音声の時刻情報とから再生画像
と再生音声のいずれかが所定量以上進んでいるか否かを
判定する判定手段と、 前記判定手段による判定の結果、再生画像が再生音声よ
り前記所定量以上進んでいる場合に画像再生を遅延させ
るとともに、再生画像が再生音声より前記所定量以上遅
れている場合に画像再生を促進させる画像再生制御手段
とを有し、 前記時刻情報算出手段は、再生されている画像及び音声
のフレーム更新情報と再生画像及び再生音声のフレーム
レート情報とに基づいて現在出力中の再生画像及び再生
音声の時刻情報をそれぞれ演算により算出するものであ
る画像及び音声情報の再生システム。3. A time for calculating time information of a currently output reproduced image and reproduced audio to be reproduced based on time information of a leading image and audio to be reproduced obtained from image data and audio data, in frame units. Information calculating means, and determining whether any of the reproduced image and the reproduced sound is advanced by a predetermined amount or more from the time information of the reproduced image currently being output and the time information of the reproduced sound calculated by the time information calculating means. Determining means for performing, when the result of the determination by the determining means, the reproduced image is delayed by more than the predetermined amount from the reproduced sound, the image reproduction is delayed, and when the reproduced image is delayed by more than the predetermined amount from the reproduced sound, Image reproduction control means for accelerating image reproduction, wherein the time information calculation means includes: frame update information of reproduced images and sounds; reproduced images and reproduced sounds; A reproduction system for image and audio information, wherein time information of a currently output reproduced image and reproduced audio is calculated based on the frame rate information.
る再生すべき先頭の画像及び音声の時刻情報に基づいて
再生される現在出力中の再生画像及び再生音声の時刻情
報をフレーム単位で算出する時刻情報算出手段と、 前記時刻情報算出手段により算出された現在出力中の再
生画像の時刻情報と再生音声の時刻情報とから再生画像
と再生音声のいずれかが所定量以上進んでいるか否かを
判定する判定手段と、 前記判定手段による判定の結果、再生画像が再生音声よ
り前記所定量以上進んでいる場合に画像再生を遅延させ
るとともに、再生画像が再生音声より前記所定量以上遅
れている場合に画像再生を促進させる画像再生制御手段
とを有し、 前記時刻情報算出手段は、再生されている画像のフレー
ム更新情報と再生画像のフレームレート情報とに基づい
て現在出力中の再生画像の時刻情報を演算により算出す
るとともに、前記音声データより再生すべき音声の時刻
情報を随時獲得し再生音声の時刻情報として出力するも
のである画像及び音声情報の再生システム。4. A time for calculating time information of a currently output reproduced image and reproduced sound to be reproduced based on time information of a leading image and audio to be reproduced obtained from image data and audio data, on a frame basis. Information calculating means, and determining whether any of the reproduced image and the reproduced sound is advanced by a predetermined amount or more from the time information of the reproduced image currently being output and the time information of the reproduced sound calculated by the time information calculating means. Determining means for performing, when the result of the determination by the determining means, the reproduced image is delayed by more than the predetermined amount from the reproduced sound, the image reproduction is delayed, and when the reproduced image is delayed by more than the predetermined amount from the reproduced sound, Image reproduction control means for accelerating image reproduction, wherein the time information calculation means includes frame update information of the reproduced image and frame rate information of the reproduced image. Image information and audio information for calculating the time information of the reproduced image that is currently being output based on the above, calculating the time information of the audio to be reproduced from the audio data as needed, and outputting the time information as the reproduced audio time information. Playback system.
る画像のフレーム更新情報と再生画像のフレームレート
情報とに基づいて現在出力中の再生画像の時刻情報を演
算により算出するとともに、前記音声データより再生す
べき音声の時刻情報を随時獲得し再生音声の時刻情報と
して出力するものである請求項１ないし３のいずれか１
つに記載の画像及び音声情報の再生システム。5. The time information calculating means calculates time information of a currently output reproduced image based on frame update information of the reproduced image and frame rate information of the reproduced image, and calculates the audio information. 4. The method according to claim 1, wherein time information of a sound to be reproduced is obtained from the data at any time and output as time information of the reproduced sound.
And a reproduction system for image and sound information.
タより再生すべき音声の時刻情報が獲得できなかった場
合に、再生されている音声のフレーム更新情報と再生音
声のフレームレート情報とに基づいて現在出力中の再生
音声の時刻情報を演算により算出するものである請求項
４又は５記載の画像及び音声情報の再生システム。6. The time information calculating means, based on frame update information of the reproduced sound and frame rate information of the reproduced sound, when time information of the sound to be reproduced cannot be obtained from the audio data. 6. The image and audio information reproducing system according to claim 4, wherein the time information of the currently reproduced audio is calculated by calculation.
ＥＧ(Moving Picture Expert Group) 規格による圧縮デ
ータであり、前記画像及び音声の時刻情報は、ＰＴＳ(P
resentation Time−Stamps) である請求項１ないし６の
いずれか１つに記載の画像及び音声情報の再生システ
ム。7. The image data and audio data are MP
It is compressed data according to the EG (Moving Picture Expert Group) standard, and the time information of the image and audio is PTS (P
resentation time-stamps). The image and audio information reproduction system according to claim 1.
生音声より所定量以上進んでいる場合に、両者の時刻情
報が一致するまで画像フレームデータの再生を一時停止
させることにより画像再生を遅延させるものである請求
項７記載の画像及び音声情報の再生システム。8. The image reproduction control means delays image reproduction by temporarily suspending reproduction of image frame data until the time information of the reproduced image and the reproduced audio signal advance by a predetermined amount or more. The image and audio information reproduction system according to claim 7, wherein the reproduction is performed.
生音声より所定量以上進んでいる場合に、画像フレーム
データの再生を１フレーム又は１フィールド単位で遅延
させるものである請求項７記載の画像及び音声情報の再
生システム。9. The image reproduction control means according to claim 7, wherein the reproduction of the image frame data is delayed by one frame or one field when the reproduced image is advanced by a predetermined amount or more from the reproduced sound. Image and audio information playback system.
再生音声より所定量以上遅れている場合に、画像フレー
ムデータのピクチャタイプがＢピクチャ（Bidirectiona
lly predictive-coded picture：両方向予測符号化画
像）であるときは、画像フレームデータの再生を１枚単
位でスキップさせるものである請求項７ないし９のいず
れか１つに記載の画像及び音声情報の再生システム。10. The image playback control means according to claim 1, wherein the picture type of the image frame data is a B picture (Bidirection
10. The image and audio information according to any one of claims 7 to 9, wherein the reproduction of the image frame data is skipped one by one when the image and the audio information are (lly predictive-coded picture). Reproduction system.
ムデータの再生がスキップされたことを判断した場合
に、再生画像の時刻情報に補正値を加算するものである
請求項１０記載の画像及び音声情報の再生システム。11. The image and sound according to claim 10, wherein said image reproduction control means adds a correction value to time information of the reproduced image when judging that reproduction of the image frame data is skipped. Information reproduction system.
再生音声より所定量以上遅れている場合であっても、画
像フレームデータのピクチャタイプがＩピクチャ又はＰ
ピクチャのときは、前記遅延を実行しないものである請
求項７ないし９のいずれか１つに記載の画像及び音声情
報の再生システム。12. The image playback control means according to claim 1, wherein the picture type of the image frame data is I picture or P picture even if the playback image is delayed by more than a predetermined amount from the playback sound.
10. The image and audio information reproduction system according to claim 7, wherein the delay is not performed for a picture.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07081972A JP3100308B2 (en) | 1995-03-14 | 1995-03-14 | Image and audio information playback system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07081972A JP3100308B2 (en) | 1995-03-14 | 1995-03-14 | Image and audio information playback system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08251543A JPH08251543A (en) | 1996-09-27 |
| JP3100308B2 true JP3100308B2 (en) | 2000-10-16 |
Family
ID=13761414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07081972A Expired - Fee Related JP3100308B2 (en) | 1995-03-14 | 1995-03-14 | Image and audio information playback system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3100308B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7218841B2 (en) | 2000-12-25 | 2007-05-15 | Kabushiki Kaisha Toshiba | Method and apparatus for synchronously reproducing audio and video data |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3063824B2 (en) * | 1996-10-29 | 2000-07-12 | 日本電気株式会社 | Audio / video synchronous playback device |
| JP3106987B2 (en) * | 1997-01-09 | 2000-11-06 | 日本電気株式会社 | Audio / video synchronous playback device |
| JP3159098B2 (en) * | 1997-01-13 | 2001-04-23 | 日本電気株式会社 | Synchronized playback device for image and audio |
| JP3063838B2 (en) * | 1997-10-02 | 2000-07-12 | 日本電気株式会社 | Audio / video synchronous playback apparatus and method |
| JP3104681B2 (en) | 1998-06-10 | 2000-10-30 | 日本電気株式会社 | Audio / video synchronous playback method and apparatus |
| US7158187B2 (en) | 2001-10-18 | 2007-01-02 | Matsushita Electric Industrial Co., Ltd. | Audio video reproduction apparatus, audio video reproduction method, program, and medium |
| KR20060134911A (en) * | 2003-09-02 | 2006-12-28 | 소니 가부시끼 가이샤 | Content reception device, video/audio output timing control method, and content providing system |
| JP4606070B2 (en) * | 2004-06-11 | 2011-01-05 | ソニー株式会社 | Data processing apparatus, data processing method, program, program recording medium, and data recording medium |
| CN101036389B (en) | 2004-09-02 | 2012-05-02 | 索尼株式会社 | Content receiving apparatus, video/audio output timing control method, and content providing system |
| KR100770704B1 (en) | 2005-08-04 | 2007-10-29 | 삼성전자주식회사 | Method and apparatus for picture skip |
| JP2008067179A (en) * | 2006-09-08 | 2008-03-21 | Sharp Corp | Receiver and coded data reproduction method |
-
1995
- 1995-03-14 JP JP07081972A patent/JP3100308B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7218841B2 (en) | 2000-12-25 | 2007-05-15 | Kabushiki Kaisha Toshiba | Method and apparatus for synchronously reproducing audio and video data |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08251543A (en) | 1996-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3106987B2 (en) | Audio / video synchronous playback device | |
| JP3039624B2 (en) | Audio / video synchronous playback device | |
| JP3698376B2 (en) | Synchronous playback device | |
| JP3063838B2 (en) | Audio / video synchronous playback apparatus and method | |
| JP3215087B2 (en) | Audio and video synchronization method and digital video processor | |
| EP0668700B1 (en) | Audio/video decoding system and method | |
| JP3509080B2 (en) | Data playback device | |
| KR100290331B1 (en) | Synchronous playback device for audio-video signals | |
| JP4066058B2 (en) | Programmable audio-video synchronization method and apparatus for multimedia systems | |
| KR100271546B1 (en) | Video and audio data demultiplexer having controlled synchronizing signal | |
| JP3094999B2 (en) | Audio / video synchronous playback device | |
| US8620134B2 (en) | Video and audio reproducing apparatus and video and audio reproducing method for reproducing video images and sound based on video and audio streams | |
| JP3100308B2 (en) | Image and audio information playback system | |
| JP2001359051A (en) | Information processing unit and information processing method, and recording medium | |
| JP3104681B2 (en) | Audio / video synchronous playback method and apparatus | |
| JPH10208453A (en) | Synchronization of audio visual stream synchronized with clock with video display synchronized with different clock | |
| JPH10262208A (en) | Step-out controller and step-out control method | |
| JPH08205146A (en) | Time stamp value computing method in encoding transmission system | |
| JP2002197794A (en) | Method for synchronously reproducing audiovisual data | |
| JP3159098B2 (en) | Synchronized playback device for image and audio | |
| JP3134588B2 (en) | Synchronous playback method of compressed image data and compressed sound data | |
| JPH06233269A (en) | Video/audio synchronization system | |
| JPH10210483A (en) | Dynamic image reproducing device and method thereof | |
| KR100188946B1 (en) | Audio and video coding-delay compensating apparatus and method for mpeg decoder | |
| JP2001008170A (en) | Synchronous reproducing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000627 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |