JP2008011337A - Reproducing apparatus and reproducing method - Google Patents

Reproducing apparatus and reproducing method Download PDF

Info

Publication number
JP2008011337A
JP2008011337A JP2006181289A JP2006181289A JP2008011337A JP 2008011337 A JP2008011337 A JP 2008011337A JP 2006181289 A JP2006181289 A JP 2006181289A JP 2006181289 A JP2006181289 A JP 2006181289A JP 2008011337 A JP2008011337 A JP 2008011337A
Authority
JP
Japan
Prior art keywords
time
moving image
image data
decoding
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006181289A
Other languages
Japanese (ja)
Other versions
JP4579877B2 (en
Inventor
Yukisato Kawamura
幸里 川村
Seinichi Ri
星日 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006181289A priority Critical patent/JP4579877B2/en
Publication of JP2008011337A publication Critical patent/JP2008011337A/en
Application granted granted Critical
Publication of JP4579877B2 publication Critical patent/JP4579877B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To simultaneously reproduce moving images and sound by simple constitution without degrading the moving images. <P>SOLUTION: An estimation part 106a estimates the decoding completion time of unit moving image data on the basis of decoding processing time when decoding processing of a half of the unit moving image data, a comparison part 106b compares the estimated decoding completion time with the reproducing time of sound data to be reproduced simultaneously with the unit moving image data, and when the decoding completion time is longer than the reproducing time as the result of completion, a sound processing time adjusting part 106c adjusts the reproducing time to the decoding completion time. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は再生装置及び再生方法に関し、特に動画像及び音声を同時に再生する再生装置及び再生方法に関する。   The present invention relates to a playback device and a playback method, and more particularly, to a playback device and a playback method for simultaneously playing moving images and audio.

近年、楽曲などの音声データや動画像データは様々な方式で圧縮符号化され、携帯電話やデジタルカメラなどでも利用されている。
図４は、圧縮符号化された音声データ及び動画像データを再生する従来の再生装置の概略構成図である。 In recent years, audio data such as music and moving image data are compression-encoded by various methods, and are also used in mobile phones and digital cameras.
FIG. 4 is a schematic configuration diagram of a conventional reproducing apparatus for reproducing compression-coded audio data and moving image data.

再生装置５００は、制御部５０１、ビデオデコーダ５０２、オーディオデコーダ５０３、表示処理部５０４、音声処理部５０５、同期処理部５０６、ディスプレイ５０７、スピーカ５０８を有する。   The playback apparatus 500 includes a control unit 501, a video decoder 502, an audio decoder 503, a display processing unit 504, an audio processing unit 505, a synchronization processing unit 506, a display 507, and a speaker 508.

ここで、制御部５０１は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などを有し、圧縮符号化された音声データと動画像データとを分離して、動画像データはビデオデコーダ５０２に入力し、音声データはオーディオデコーダ５０３に入力する。   Here, the control unit 501 includes a CPU (Central Processing Unit), an MPU (Micro Processing Unit), and the like, separates the compression-encoded audio data and moving image data, and the moving image data is stored in the video decoder 502. The audio data is input to the audio decoder 503.

ビデオデコーダ５０２は、例えば、ＭＰＥＧ（Motion Picture Experts Group）−２、ＭＰＥＧ−４などの圧縮符号化方式で符号化された動画像データを復号する。復号した動画像データは、表示処理部５０４に入力され、Ｄ／Ａ（Digital / Analogue）変換などが行われる。そして、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）などのディスプレイ５０７に表示される。   The video decoder 502 decodes moving image data encoded by a compression encoding method such as MPEG (Motion Picture Experts Group) -2 or MPEG-4. The decoded moving image data is input to the display processing unit 504 and subjected to D / A (Digital / Analogue) conversion and the like. Then, it is displayed on a display 507 such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence).

オーディオデコーダ５０３は、例えば、ＭＰ３（MPEG-1 Audio Layer-3, MPEG-2 AudioBC(Back word Compatible), ISO(International Organization for Standardization)非標準規格のMPEG-2.5 Audio Layer-3）や、ＡＡＣ（Advanced Audio Coding. MPEG-2 AAC: ISO/IEC(International Electro technical Commission) 13818-7, MPEG-4 AAC: ISO/IEC 1446-3, Subpart 4などとして勧告されている）などに代表される圧縮符号化方式で符号化された音声データを復号する。復号した音声データは、音声処理部５０５にてＤ／Ａ変換やフィルタリングなどが施された後、スピーカ５０８から出力される。   The audio decoder 503 is, for example, MP3 (MPEG-1 Audio Layer-3, MPEG-2 AudioBC (Back word Compatible), ISO (International Organization for Standardization) MPEG-2.5 Audio Layer-3), AAC ( Advanced Audio Coding. MPEG-2 AAC: ISO / IEC (International Electro technical Commission) 13818-7, MPEG-4 AAC: ISO / IEC 1446-3, Subpart 4, etc.) Audio data encoded by the encoding method is decoded. The decoded audio data is output from the speaker 508 after being subjected to D / A conversion, filtering, and the like in the audio processing unit 505.

同期処理部５０６は、動画像データと音声データとの同期処理を行う。従来の同期処理では、同期処理部５０６は、音声データとの同期を行うために、単位時間当たりに表示する画像の処理枚数（あるいは、同義となるが、１枚の画像を表示する時間）を変化することが一般的である（例えば特許文献１参照。）。これは、１フレームあたりの画像出力時間を一定にした場合、音声との同期がとれず、音切れなどが発生してしまうからである。
特開平１０−２００８６０号公報 A synchronization processing unit 506 performs synchronization processing between moving image data and audio data. In the conventional synchronization processing, the synchronization processing unit 506 determines the number of processed images to be displayed per unit time (or synonymously, the time to display one image) in order to synchronize with audio data. It is common to change (for example, refer patent document 1). This is because if the image output time per frame is fixed, synchronization with the sound cannot be achieved, and sound interruption occurs.
Japanese Patent Laid-Open No. 10-200800

しかし、従来のように、音声と同期をとるために動画像の処理枚数などを調整すると、画像の飛びが発生し、視聴者に不快な印象を与えてしまうという問題があった。
本発明はこのような点に鑑みてなされたものであり、動画像を悪化させることなく簡単な構成で音声との同期再生が可能な再生装置を提供することを目的とする。 However, when the number of moving images processed is adjusted in order to synchronize with the sound as in the prior art, there is a problem that image skipping occurs and an unpleasant impression is given to the viewer.
The present invention has been made in view of the above points, and an object of the present invention is to provide a playback apparatus capable of synchronous playback with audio with a simple configuration without deteriorating moving images.

また、本発明の他の目的は、動画像を悪化させることなく簡単な構成で音声との同期再生が可能な再生方法を提供することである。   Another object of the present invention is to provide a playback method capable of synchronous playback with audio with a simple configuration without deteriorating moving images.

本発明では上記問題を解決するために、動画像及び音声を同時に再生する再生装置において、図１に示すように、単位動画像データを半分復号処理した時点での復号処理時間をもとに、単位動画像データの復号完了時間を推定する推定部１０６ａと、推定した復号完了時間と、単位動画像データと同時に再生する音声データの再生時間とを比較する比較部１０６ｂと、比較の結果、復号完了時間が再生時間よりも長い場合、復号完了時間に合わせるように再生時間を調整する音声処理時間調整部１０６ｃと、を有することを特徴とする再生装置１００が提供される。   In the present invention, in order to solve the above-described problem, in a playback apparatus that plays back moving images and audio simultaneously, as shown in FIG. 1, based on the decoding processing time at the time when half decoding processing of unit moving image data is performed, The estimation unit 106a that estimates the decoding completion time of the unit moving image data, the comparison unit 106b that compares the estimated decoding completion time and the reproduction time of the audio data reproduced simultaneously with the unit moving image data, and the decoding result There is provided a playback device 100 including an audio processing time adjustment unit 106c that adjusts the playback time so as to match the decoding completion time when the completion time is longer than the playback time.

上記の構成によれば、推定部１０６ａは単位動画像データを半分復号処理した時点での復号処理時間をもとに、単位動画像データの復号完了時間を推定し、比較部１０６ｂは推定した復号完了時間と、単位動画像データと同時に再生する音声データの再生時間とを比較し、音声処理時間調整部１０６ｃは比較の結果、復号完了時間が再生時間よりも長い場合、復号完了時間に合わせるように再生時間を調整する。   According to the above configuration, the estimation unit 106a estimates the decoding completion time of the unit moving image data based on the decoding processing time when the unit moving image data is half decoded, and the comparison unit 106b performs the estimated decoding. Comparing the completion time with the reproduction time of the audio data reproduced at the same time as the unit moving image data, if the result of the comparison is that the decoding completion time is longer than the reproduction time, the audio processing time adjustment unit 106c matches the decoding completion time. Adjust the playback time.

また、動画像及び音声を同時に再生する再生方法において、単位動画像データを半分復号処理した時点での復号処理時間をもとに、前記単位動画像データの復号完了時間を推定し、推定した前記復号完了時間と、前記単位動画像データに対応した音声データの再生時間とを比較し、比較の結果、前記復号完了時間が前記再生時間よりも長い場合、前記復号完了時間に合わせるように前記再生時間を調整することを特徴とする再生方法が提供される。   Further, in the playback method for simultaneously playing moving images and audio, the decoding completion time of the unit moving image data is estimated based on the decoding processing time when the unit moving image data is half decoded, and the estimated The decoding completion time is compared with the reproduction time of the audio data corresponding to the unit moving image data. As a result of comparison, if the decoding completion time is longer than the reproduction time, the reproduction is performed so as to match the decoding completion time. A playback method characterized by adjusting the time is provided.

上記の方法によれば、単位動画像データを半分復号処理した時点での復号処理時間をもとに、単位動画像データの復号完了時間が推定され、推定された復号完了時間と、単位動画像データに対応した音声データの再生時間とが比較され、比較の結果、復号完了時間が再生時間よりも長い場合、復号完了時間に合わせるように再生時間が調整される。   According to the above method, the decoding completion time of the unit moving image data is estimated based on the decoding processing time when the unit moving image data is half decoded, and the estimated decoding completion time and the unit moving image The reproduction time of the audio data corresponding to the data is compared. If the decoding completion time is longer than the reproduction time as a result of the comparison, the reproduction time is adjusted to match the decoding completion time.

本発明によれば、単位動画像データの復号完了時間が、同時に再生する音声データの再生時間よりも長い場合にも、音切れの発生を防止することができ、簡単な構成で音声データと動画像データとの同期再生が可能になる。また、音声データとの同期のために動画像データの読み飛ばしなどを行わないため、動画像を悪化させることもない。   According to the present invention, even when the decoding completion time of the unit moving image data is longer than the reproduction time of the audio data to be reproduced at the same time, it is possible to prevent occurrence of sound interruption, and the audio data and the moving image can be easily configured. Synchronous playback with image data becomes possible. In addition, since the moving image data is not skipped for synchronization with the audio data, the moving image is not deteriorated.

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、本実施の形態の再生装置の構成図である。
本実施の形態の再生装置１００は、制御部１０１、ビデオデコーダ１０２、オーディオデコーダ１０３、表示処理部１０４、音声処理部１０５、同期処理部１０６、ディスプレイ１０７、スピーカ１０８を有する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a configuration diagram of a playback apparatus according to the present embodiment.
The playback apparatus 100 according to the present embodiment includes a control unit 101, a video decoder 102, an audio decoder 103, a display processing unit 104, an audio processing unit 105, a synchronization processing unit 106, a display 107, and a speaker 108.

制御部１０１は、ＣＰＵまたはＭＰＵなどを有し、圧縮符号化された音声データと動画像データとを分離して、動画像データはビデオデコーダ１０２に入力し、音声データはオーディオデコーダ１０３に入力する。   The control unit 101 includes a CPU or MPU, and separates compression-coded audio data and moving image data. The moving image data is input to the video decoder 102 and the audio data is input to the audio decoder 103. .

ビデオデコーダ１０２は、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４などの圧縮符号化方式で符号化された動画像データを復号する。復号した動画像データは、表示処理部１０４に入力され、Ｄ／Ａ変換などが行われる。そして、ＬＣＤ、有機ＥＬなどのディスプレイ１０７に表示される。   The video decoder 102 decodes moving image data encoded by a compression encoding method such as MPEG-2 or MPEG-4. The decoded moving image data is input to the display processing unit 104 and subjected to D / A conversion or the like. Then, it is displayed on a display 107 such as an LCD or an organic EL.

オーディオデコーダ１０３は、例えば、ＭＰ３や、ＡＡＣなどに代表される圧縮符号化方式で符号化された音声データを復号する。復号した音声データは、音声処理部１０５にてＤ／Ａ変換やフィルタリングなどが施された後、スピーカ１０８から出力される。   The audio decoder 103 decodes audio data encoded by a compression encoding method typified by MP3 or AAC, for example. The decoded audio data is output from the speaker 108 after being subjected to D / A conversion, filtering, and the like in the audio processing unit 105.

同期処理部１０６は、動画像データと音声データとの同期処理を行う。図１に示す本実施の形態の再生装置１００において、同期処理部１０６は、推定部１０６ａ、比較部１０６ｂ、音声処理時間調整部１０６ｃを有している。   The synchronization processing unit 106 performs synchronization processing between moving image data and audio data. In the playback apparatus 100 of the present embodiment shown in FIG. 1, the synchronization processing unit 106 includes an estimation unit 106a, a comparison unit 106b, and an audio processing time adjustment unit 106c.

推定部１０６ａは、単位動画像データを、ビデオデコーダ１０２にて半分復号処理した時点での復号処理時間をもとに、単位動画像データの復号完了時間を推定する。例えば、単位動画像データを１フレームの画像データとすると、半フレームの復号処理が完了した時点で、それまでにかかった復号処理時間を２倍して、さらに、表示処理部１０４でディスプレイ１０７に出力処理する時間などを加えて復号完了時間を算出する。   The estimation unit 106 a estimates the decoding completion time of the unit moving image data based on the decoding processing time when the unit moving image data is half decoded by the video decoder 102. For example, assuming that the unit moving image data is one frame of image data, when the half-frame decoding process is completed, the decoding processing time taken up to that time is doubled, and the display processing unit 104 further displays on the display 107. The decoding completion time is calculated by adding the output processing time and the like.

比較部１０６ｂは、推定部１０６ａで推定した復号完了時間と、単位動画像データと同時に再生する音声データの再生時間とを比較する。
音声処理時間調整部１０６ｃは、比較部１０６ｂでの比較の結果、復号完了時間が再生時間よりも長い場合、復号完了時間に合わせるように再生時間を調整する。例えば、ＰＬＬ（Phase Locked Loop）により、音声処理部１０５での音声出力処理の際のサンプリング周波数を変更したり、音声出力するデータ個数を調整するなどの処理を行わせ、再生時間を引き延ばし、単位動画像データの復号完了時間と合うように調整する。 The comparison unit 106b compares the decoding completion time estimated by the estimation unit 106a with the reproduction time of the audio data reproduced simultaneously with the unit moving image data.
When the decoding completion time is longer than the reproduction time as a result of the comparison by the comparison unit 106b, the audio processing time adjustment unit 106c adjusts the reproduction time to match the decoding completion time. For example, by using PLL (Phase Locked Loop), processing such as changing the sampling frequency at the time of the sound output processing in the sound processing unit 105 or adjusting the number of data to be sound output is performed to extend the reproduction time, Adjustment is made to match the decoding completion time of the moving image data.

以下、このような再生装置１００を用いた本実施の形態の再生方法を説明する。
なお、以下では単位動画像データを、１フレームの動画像データであるとして説明する。 Hereinafter, a reproduction method according to the present embodiment using such a reproduction apparatus 100 will be described.
In the following description, it is assumed that the unit moving image data is one frame of moving image data.

外部から、圧縮符号化された音声データと動画像データが再生装置１００に入力されると、制御部１０１は、音声データと動画像データとを分離して、動画像データはビデオデコーダ１０２に入力し、音声データはオーディオデコーダ１０３に入力する。   When compression-encoded audio data and moving image data are input to the playback apparatus 100 from the outside, the control unit 101 separates the audio data and moving image data and inputs the moving image data to the video decoder 102. The audio data is input to the audio decoder 103.

図２は、動画像データと音声データとの同期再生の様子を示す図である。
図２（Ａ）で示すように、まず、画像復号処理のための事前処理時間Ｔｐｒｅで、復号するフレーム１の動画像データを図示しないバッファに蓄積する。その後、ビデオデコーダ１０２にてフレーム１の動画像データの復号を開始する。 FIG. 2 is a diagram showing a state of synchronous reproduction of moving image data and audio data.
As shown in FIG. 2A, first, moving image data of frame 1 to be decoded is stored in a buffer (not shown) at a preprocessing time Tpre for image decoding processing. Thereafter, the video decoder 102 starts decoding the moving image data of frame 1.

一方、フレーム１の動画像データと同時に再生する音声データは、オーディオデコーダ１０３に入力されて復号された後、音声処理部１０５でＤ／Ａ変換され、動画像データと同期して再生される。   On the other hand, audio data to be reproduced simultaneously with the moving image data of frame 1 is input to the audio decoder 103 and decoded, then D / A converted by the audio processing unit 105 and reproduced in synchronization with the moving image data.

動画像データの復号処理が進み、半フレーム分の復号処理が終了すると、同期処理部１０６はこれを検出する。そして、推定部１０６ａは、半フレーム分の復号処理にかかった復号処理時間Ｔｄｅｃ１をもとに、フレーム１の復号完了時間Ｔ＿ＤＥＣ１を推定する。復号完了時間Ｔ＿ＤＥＣ１は、半フレーム分の復号処理時間Ｔｄｅｃ１を２倍することによって見積もることができる。ただし、前述の事前処理時間Ｔｐｒｅのほか、復号処理後の出力処理などのための事後処理時間Ｔｐｏｓｔを加味し、Ｔ＿ＤＥＣ１＝Ｔｄｅｃ１×２＋Ｔｐｒｅ＋Ｔｐｏｓｔと表すことができる。   When the decoding process of moving image data proceeds and the decoding process for a half frame is completed, the synchronization processing unit 106 detects this. Then, the estimation unit 106a estimates the decoding completion time T_DEC1 of frame 1 based on the decoding processing time Tdec1 required for the decoding processing for a half frame. The decoding completion time T_DEC1 can be estimated by doubling the decoding processing time Tdec1 for half a frame. However, it can be expressed as T_DEC1 = Tdec1 × 2 + Tpre + Tpost by taking into account the post-processing time Tpost for output processing after decoding processing in addition to the above-described pre-processing time Tpre.

比較部１０６ｂは、オーディオデコーダ１０３から、フレーム１の動画像データと同時に再生する音声データの再生時間Ｔ＿ＯＵＴ１の情報を取得し、推定部１０６ａにて推定したフレーム１の動画像データの復号完了時間Ｔ＿ＤＥＣ１と比較する。図２（Ａ）の場合、フレーム１では、動画像データの復号完了時間Ｔ＿ＤＥＣ１と再生時間Ｔ＿ＯＵＴ１は等しい。そのため、音声処理時間調整部１０６ｃは、音声処理部１０５に対して、引き続き同一のサンプリング周波数で、音声再生出力を継続させる。   The comparison unit 106b acquires information on the reproduction time T_OUT1 of the audio data to be reproduced simultaneously with the moving image data of frame 1 from the audio decoder 103, and the decoding completion time T_DEC1 of the moving image data of frame 1 estimated by the estimation unit 106a. Compare with In the case of FIG. 2A, in frame 1, the decoding completion time T_DEC1 of the moving image data is equal to the reproduction time T_OUT1. Therefore, the audio processing time adjustment unit 106c causes the audio processing unit 105 to continue the audio reproduction output at the same sampling frequency.

フレーム１の動画像データの復号処理が完了すると、ビデオデコーダ１０２は、事前処理時間Ｔｐｒｅ経過後にフレーム２の動画像データの復号処理を開始する。そして、半フレーム分の復号処理の終了時に推定部１０６ａは、フレーム２の復号完了時間Ｔ＿ＤＥＣ２を推定する。フレーム１の場合と同様に、復号完了時間Ｔ＿ＤＥＣ２は、Ｔ＿ＤＥＣ２＝Ｔｄｅｃ２×２＋Ｔｐｒｅ＋Ｔｐｏｓｔと表すことができる。   When the decoding process of the moving image data of frame 1 is completed, the video decoder 102 starts the decoding process of the moving image data of frame 2 after the preprocessing time Tpre has elapsed. Then, at the end of the half-frame decoding process, the estimation unit 106a estimates the decoding completion time T_DEC2 of frame 2. As in the case of frame 1, the decoding completion time T_DEC2 can be expressed as T_DEC2 = Tdec2 × 2 + Tpre + Tpost.

そして、比較部１０６ｂは、復号完了時間Ｔ＿ＤＥＣ２と、フレーム２の動画像データと同時に再生する音声データの再生時間Ｔ＿ＯＵＴ２とを比較する。フレーム２の場合、フレーム１と異なり、Ｔ＿ＤＥＣ２＞Ｔ＿ＯＵＴ２となっている。この場合、フレーム２の動画像データの再生が完了する前に、同時に再生すべき音声データの再生が終了してしまう。そして、次のフレームの動画像データの再生が開始するまで音切れが発生し、視聴者に不快感を与えてしまう。   Then, the comparison unit 106b compares the decoding completion time T_DEC2 with the reproduction time T_OUT2 of the audio data reproduced simultaneously with the moving image data of frame 2. In the case of frame 2, unlike frame 1, T_DEC2> T_OUT2. In this case, the reproduction of the audio data to be reproduced at the same time ends before the reproduction of the moving image data of frame 2 is completed. Then, sound interruption occurs until the reproduction of the moving image data of the next frame is started, which causes discomfort to the viewer.

しかし、本実施の形態の再生装置１００において、音声処理時間調整部１０６ｃは、半フレームの復号処理が終了した時点で推定した復号完了時間Ｔ＿ＤＥＣ２が、音声データの再生時間Ｔ＿ＯＵＴ２より長い場合、図２（Ｂ）に示すように、復号完了時間Ｔ＿ＤＥＣ２に合わせるように再生時間Ｔ＿ＯＵＴ２を調整する。具体的には、半フレーム分の復号処理が終了した時刻Ｔ１以降の音声出力に対して、音声処理部１０５でのサンプリング周波数を可変して、再生時間を引き延ばす。これによって、復号完了時間Ｔ＿ＤＥＣ２と等しい、音声の再生時間Ｔ＿ＯＵＴ２ａを得ることができる。なお、サンプリング周波数を可変する代わりに、音声出力するデータ個数を調整するなどして再生時間を引き延ばすようにしてもよい。   However, in the playback apparatus 100 according to the present embodiment, the audio processing time adjustment unit 106c determines that the decoding completion time T_DEC2 estimated at the time when the half-frame decoding processing is completed is longer than the audio data playback time T_OUT2, as shown in FIG. As shown in (B), the playback time T_OUT2 is adjusted to match the decoding completion time T_DEC2. Specifically, for the audio output after time T1 when the decoding process for half a frame is completed, the sampling frequency in the audio processing unit 105 is varied to extend the reproduction time. This makes it possible to obtain an audio playback time T_OUT2a that is equal to the decoding completion time T_DEC2. Instead of changing the sampling frequency, the playback time may be extended by adjusting the number of data to be output.

このように、本実施の形態の再生装置１００によれば、単位動画像データの復号完了時間が、同時に再生する音声データよりも長い場合にも、音切れの発生を防止することができ、簡単な構成で音声データと動画像データとの同期再生が可能になる。また、音声データとの同期のために動画像データの読み飛ばしなどを行わないため、動画像を悪化させることもない。   As described above, according to the playback apparatus 100 of the present embodiment, it is possible to prevent the occurrence of sound interruption even when the decoding completion time of the unit moving image data is longer than the audio data to be played back simultaneously. With this configuration, synchronized playback of audio data and moving image data becomes possible. In addition, since the moving image data is not skipped for synchronization with the audio data, the moving image is not deteriorated.

なお、上記では単位動画像データを、１フレームの動画像データであるとして説明したが、これに限定されない。例えば、ＭＰＥＧ−２では各フレームが、Ｉピクチャ、Ｐピクチャ、Ｂピクチャといったピクチャタイプで区別されるが、これらのピクチャタイプの組であるＧＯＰ（Group Of Pictures）を１つの単位動画像データとしてもよい。   In the above description, the unit moving image data has been described as moving image data of one frame, but the present invention is not limited to this. For example, in MPEG-2, each frame is distinguished by a picture type such as an I picture, a P picture, and a B picture. A GOP (Group Of Pictures) that is a set of these picture types can be used as one unit moving image data. Good.

また、上記のビデオデコーダ１０２、オーディオデコーダ１０３、同期処理部１０６などは、ハードウェアで実装してもよいが、ソフトウェアで実現することも可能である。
その場合、復号処理や同期処理部１０６での処理内容などを記述したプログラムが、制御部１０１の制御のもと実行されることで、上記の再生方法が実現される。 In addition, the video decoder 102, the audio decoder 103, the synchronization processing unit 106, and the like described above may be implemented by hardware, but may be implemented by software.
In that case, the above-described reproduction method is realized by executing a program describing the decryption processing and the processing contents in the synchronization processing unit 106 under the control of the control unit 101.

次に、本実施の形態の再生方法を携帯電話に適用した場合について説明する。
図３は、携帯電話の概略の構成図である。
携帯電話２００は、アンテナ２０１、ベースバンドプロセッサ２０２、マルチメディアプロセッサ２０３、ディスプレイ２０４、スピーカ２０５、ＳＤ（Secure Digital）カード２０６を有している。 Next, a case where the reproduction method of the present embodiment is applied to a mobile phone will be described.
FIG. 3 is a schematic configuration diagram of the mobile phone.
The cellular phone 200 includes an antenna 201, a baseband processor 202, a multimedia processor 203, a display 204, a speaker 205, and an SD (Secure Digital) card 206.

アンテナ２０１は、電波によって、動画像データ及び音声データを含むコンテンツデータを受信する。
ベースバンドプロセッサ２０２は、図１の制御部１０１の機能を有し、圧縮符号化されたコンテンツデータの動画像データと音声データとを分離する。 The antenna 201 receives content data including moving image data and audio data by radio waves.
The baseband processor 202 has the function of the control unit 101 shown in FIG. 1 and separates moving image data and audio data of compression-encoded content data.

マルチメディアプロセッサ２０３は、Ｉ／Ｆ（Interface）２１１、ＳＲＡＭ（Static Random Access Memory）２１２、ビデオデコーダ２１３、オーディオデコーダ２１４、バス２１５、表示処理部２１６、音声処理部２１７、同期処理部２１８を有し、これらが、ＬＳＩ（Large Scale Integrated circuit）化された構成となっている。   The multimedia processor 203 includes an I / F (Interface) 211, an SRAM (Static Random Access Memory) 212, a video decoder 213, an audio decoder 214, a bus 215, a display processing unit 216, an audio processing unit 217, and a synchronization processing unit 218. However, these are configured as an LSI (Large Scale Integrated circuit).

Ｉ／Ｆ２１１は、ベースバンドプロセッサ２０２とマルチメディアプロセッサ２０３との間で情報の入出力を行う。
ＳＲＡＭ２１２は、例えば、複数設けられ、分離した動画像データと音声データを一時記憶する。 The I / F 211 inputs and outputs information between the baseband processor 202 and the multimedia processor 203.
A plurality of SRAMs 212 are provided, for example, and temporarily store the separated moving image data and audio data.

ビデオデコーダ２１３は、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４などの圧縮符号化方式で符号化された動画像データを復号する。
オーディオデコーダ２１４は、例えば、ＭＰ３や、ＡＡＣなどに代表される圧縮符号化方式で符号化された音声データを復号する。 The video decoder 213 decodes moving image data encoded by a compression encoding method such as MPEG-2 or MPEG-4.
The audio decoder 214 decodes audio data encoded by a compression encoding method typified by MP3 or AAC, for example.

バス２１５は、Ｉ／Ｆ２１１、ＳＲＡＭ２１２、ビデオデコーダ２１３、オーディオデコーダ２１４、ＳＤカード２０６を接続し、これらの間で情報を伝達する。
表示処理部２１６は、復号された動画像データに対し、Ｄ／Ａ変換などを行い、ＬＣＤ、有機ＥＬなどのディスプレイ２０４に表示させる。 The bus 215 connects the I / F 211, the SRAM 212, the video decoder 213, the audio decoder 214, and the SD card 206, and transmits information between them.
The display processing unit 216 performs D / A conversion or the like on the decoded moving image data, and displays the data on a display 204 such as an LCD or an organic EL.

音声処理部２１７は、復号された音声データに対し、所定のサンプリング周波数によるＤ／Ａ変換などを行い、スピーカ２０５から出力させる。
同期処理部２１８は、図１に示したような、推定部１０６ａ、比較部１０６ｂ、音声処理時間調整部１０６ｃの機能を有し、動画像データと音声データとの同期処理を行う。 The audio processing unit 217 performs D / A conversion at a predetermined sampling frequency on the decoded audio data, and outputs it from the speaker 205.
The synchronization processing unit 218 has the functions of the estimation unit 106a, the comparison unit 106b, and the audio processing time adjustment unit 106c as shown in FIG. 1, and performs synchronization processing between moving image data and audio data.

以下、携帯電話２００において、コンテンツデータの再生処理について説明する。
アンテナ２０１によって、コンテンツデータを受信すると、コンテンツデータはベースバンドプロセッサ２０２からバス２１５を介してＳＤカード２０６に記録される。再生時には、ＳＤカード２０６に記録されたコンテンツデータは、ベースバンドプロセッサ２０２により、動画像データと音声データに分離されて、マルチメディアプロセッサ２０３内のＳＲＡＭ２１２に一時記憶される。 Hereinafter, content data playback processing in the mobile phone 200 will be described.
When content data is received by the antenna 201, the content data is recorded on the SD card 206 from the baseband processor 202 via the bus 215. During reproduction, the content data recorded on the SD card 206 is separated into moving image data and audio data by the baseband processor 202 and temporarily stored in the SRAM 212 in the multimedia processor 203.

そして、ビデオデコーダ２１３及びオーディオデコーダ２１４は、ＳＲＡＭ２１２に展開されている動画像データ及び音声データの復号処理を行う。復号された動画像データは表示処理部２１６によりアナログ信号に変換されて、ディスプレイ２０４に表示される。また、復号された音声データは、音声処理部２１７によってアナログ信号に変換されてスピーカ２０５から出力される。   Then, the video decoder 213 and the audio decoder 214 perform a decoding process on the moving image data and audio data expanded in the SRAM 212. The decoded moving image data is converted into an analog signal by the display processing unit 216 and displayed on the display 204. The decoded audio data is converted into an analog signal by the audio processing unit 217 and output from the speaker 205.

このとき同期処理部２１８は、図２で示したように、単位動画像データを半分復号処理した時点で、復号完了時間を推定して、その単位動画像データと同時に再生する音声データの再生時間と比較して、復号完了時間が再生時間より長い場合には、再生時間を引き延ばして復号完了時間と一致するようにする。これにより、音声の音切れをなくすことができ、滑らかな動画像と音声との同期再生を実現することができる。   At this time, as shown in FIG. 2, the synchronization processing unit 218 estimates the decoding completion time when the unit moving image data is half-decoded, and reproduces the audio data to be reproduced simultaneously with the unit moving image data. In contrast, if the decoding completion time is longer than the reproduction time, the reproduction time is extended so as to coincide with the decoding completion time. As a result, it is possible to eliminate the sound interruption of the sound, and it is possible to realize the synchronized reproduction of the smooth moving image and the sound.

なお、上記では、本実施の形態の再生装置及び再生方法を携帯電話２００に適用した場合について説明したが、これに限定されない。例えば、図３のような同期処理部２１８を有するマルチメディアプロセッサ２０３を搭載することで、ＰＤＡ（Personal Digital Assistant）などの携帯機器でも実現可能である。また、動画像再生機能がついたミュージックプレイヤ、さらには、デジタルビデオカメラやデジタルスチルカメラなどの撮像装置に適用することも可能である。   Although the case where the playback device and the playback method of the present embodiment are applied to the mobile phone 200 has been described above, the present invention is not limited to this. For example, by installing the multimedia processor 203 having the synchronization processing unit 218 as shown in FIG. 3, it can also be realized by a portable device such as a PDA (Personal Digital Assistant). Further, the present invention can be applied to a music player having a moving image reproduction function, and an imaging apparatus such as a digital video camera or a digital still camera.

（付記１） 動画像及び音声を同時に再生する再生装置において、
単位動画像データを半分復号処理した時点での復号処理時間をもとに、前記単位動画像データの復号完了時間を推定する推定部と、
推定した前記復号完了時間と、前記単位動画像データと同時に再生する音声データの再生時間とを比較する比較部と、
比較の結果、前記復号完了時間が前記再生時間よりも長い場合、前記復号完了時間に合わせるように前記再生時間を調整する音声処理時間調整部と、
を有することを特徴とする再生装置。 (Supplementary Note 1) In a playback device that plays back moving images and audio simultaneously,
Based on the decoding processing time at the time of half decoding the unit moving image data, an estimation unit that estimates the decoding completion time of the unit moving image data;
A comparison unit that compares the estimated decoding completion time with the reproduction time of audio data that is reproduced simultaneously with the unit moving image data;
As a result of comparison, if the decoding completion time is longer than the reproduction time, an audio processing time adjustment unit that adjusts the reproduction time so as to match the decoding completion time;
A playback apparatus comprising:

（付記２） 前記推定部では、前記単位動画像データの半分の復号処理を検出すると、前記復号処理時間を２倍することで、前記復号完了時間を見積もることを特徴とする付記１記載の再生装置。   (Supplementary note 2) The reproduction according to Supplementary note 1, wherein when the decoding unit detects half of the unit moving image data, the estimation unit estimates the decoding completion time by doubling the decoding processing time. apparatus.

（付記３） 前記音声処理時間調整部は、前記音声データの出力の際のサンプリング周波数を可変することによって、前記再生時間を調整することを特徴とする付記１記載の再生装置。   (Additional remark 3) The said audio | voice processing time adjustment part adjusts the said reproduction time by changing the sampling frequency at the time of the output of the said audio | voice data, The reproduction apparatus of Additional remark 1 characterized by the above-mentioned.

（付記４） 前記音声処理時間調整部は、前記音声データの出力の際に出力するデータ個数を調整することで、前記再生時間を調整することを特徴とする付記１記載の再生装置。   (Additional remark 4) The said audio | voice processing time adjustment part adjusts the said reproduction time by adjusting the number of data output at the time of the output of the said audio | voice data, The reproduction apparatus of Additional remark 1 characterized by the above-mentioned.

（付記５） 動画像及び音声を同時に再生する再生方法において、
単位動画像データを半分復号処理した時点での復号処理時間をもとに、前記単位動画像データの復号完了時間を推定し、
推定した前記復号完了時間と、前記単位動画像データに対応した音声データの再生時間とを比較し、
比較の結果、前記復号完了時間が前記再生時間よりも長い場合、前記復号完了時間に合わせるように前記再生時間を調整することを特徴とする再生方法。 (Supplementary Note 5) In a playback method for simultaneously playing moving images and audio,
Based on the decoding processing time when the unit moving image data is half decoded, the decoding completion time of the unit moving image data is estimated,
Comparing the estimated decoding completion time and the reproduction time of audio data corresponding to the unit moving image data,
As a result of comparison, when the decoding completion time is longer than the reproduction time, the reproduction time is adjusted to match the decoding completion time.

（付記６） 前記単位動画像データの半分の復号処理を検出すると、前記復号処理時間を２倍することで、前記復号完了時間を見積もることを特徴とする付記５記載の再生方法。   (Supplementary note 6) The reproduction method according to supplementary note 5, wherein when the decoding processing of half of the unit moving image data is detected, the decoding completion time is estimated by doubling the decoding processing time.

（付記７） 前記音声データの出力の際のサンプリング周波数を可変することによって、前記再生時間を調整することを特徴とする付記５記載の再生方法。
（付記８） 前記音声データの出力の際に出力するデータ個数を調整することで、前記再生時間を調整することを特徴とする付記５記載の再生方法。 (Supplementary note 7) The reproduction method according to supplementary note 5, wherein the reproduction time is adjusted by changing a sampling frequency at the time of outputting the audio data.
(Supplementary note 8) The reproduction method according to supplementary note 5, wherein the reproduction time is adjusted by adjusting the number of data to be output when the audio data is output.

本実施の形態の再生装置の構成図である。It is a block diagram of the reproducing | regenerating apparatus of this Embodiment. 動画像データと音声データとの同期再生の様子を示す図である。It is a figure which shows the mode of the synchronous reproduction of moving image data and audio | voice data. 携帯電話の概略の構成図である。It is a schematic block diagram of a mobile phone. 圧縮符号化された音声データ及び動画像データを再生する従来の再生装置の概略構成図である。It is a schematic block diagram of the conventional reproducing | regenerating apparatus which reproduce | regenerates the audio | voice data and moving image data which were compression-encoded.

符号の説明Explanation of symbols

１００ 再生装置
１０１ 制御部
１０２ ビデオデコーダ
１０３ オーディオデコーダ
１０４ 表示処理部
１０５ 音声処理部
１０６ 同期処理部
１０６ａ 推定部
１０６ｂ 比較部
１０６ｃ 音声処理時間調整部
１０７ ディスプレイ
１０８ スピーカ DESCRIPTION OF SYMBOLS 100 Playback apparatus 101 Control part 102 Video decoder 103 Audio decoder 104 Display processing part 105 Sound processing part 106 Synchronization processing part 106a Estimation part 106b Comparison part 106c Sound processing time adjustment part 107 Display 108 Speaker

Claims (5)

動画像及び音声を同時に再生する再生装置において、
単位動画像データを半分復号処理した時点での復号処理時間をもとに、前記単位動画像データの復号完了時間を推定する推定部と、
推定した前記復号完了時間と、前記単位動画像データと同時に再生する音声データの再生時間とを比較する比較部と、
比較の結果、前記復号完了時間が前記再生時間よりも長い場合、前記復号完了時間に合わせるように前記再生時間を調整する音声処理時間調整部と、
を有することを特徴とする再生装置。 In a playback device that plays back video and audio simultaneously,
Based on the decoding processing time at the time of half decoding the unit moving image data, an estimation unit that estimates the decoding completion time of the unit moving image data;
A comparison unit that compares the estimated decoding completion time with the reproduction time of audio data that is reproduced simultaneously with the unit moving image data;
As a result of comparison, if the decoding completion time is longer than the reproduction time, an audio processing time adjustment unit that adjusts the reproduction time so as to match the decoding completion time;
A playback apparatus comprising: 前記推定部では、前記単位動画像データの半分の復号処理を検出すると、前記復号処理時間を２倍することで、前記復号完了時間を見積もることを特徴とする請求項１記載の再生装置。   2. The playback apparatus according to claim 1, wherein when the decoding unit detects half of the unit moving image data, the estimation unit estimates the decoding completion time by doubling the decoding processing time. 前記音声処理時間調整部は、前記音声データの出力の際のサンプリング周波数を可変することによって、前記再生時間を調整することを特徴とする請求項１記載の再生装置。   The playback apparatus according to claim 1, wherein the sound processing time adjustment unit adjusts the playback time by changing a sampling frequency at the time of outputting the sound data. 前記音声処理時間調整部は、前記音声データの出力の際に出力するデータ個数を調整することで、前記再生時間を調整することを特徴とする請求項１記載の再生装置。   The playback apparatus according to claim 1, wherein the audio processing time adjustment unit adjusts the playback time by adjusting the number of data to be output when the audio data is output. 動画像及び音声を同時に再生する再生方法において、
単位動画像データを半分復号処理した時点での復号処理時間をもとに、前記単位動画像データの復号完了時間を推定し、
推定した前記復号完了時間と、前記単位動画像データに対応した音声データの再生時間とを比較し、
比較の結果、前記復号完了時間が前記再生時間よりも長い場合、前記復号完了時間に合わせるように前記再生時間を調整することを特徴とする再生方法。 In a playback method for simultaneously playing moving images and audio,
Based on the decoding processing time when the unit moving image data is half decoded, the decoding completion time of the unit moving image data is estimated,
Comparing the estimated decoding completion time and the reproduction time of audio data corresponding to the unit moving image data,
As a result of comparison, when the decoding completion time is longer than the reproduction time, the reproduction time is adjusted to match the decoding completion time.
JP2006181289A 2006-06-30 2006-06-30 Playback apparatus and playback method Expired - Fee Related JP4579877B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006181289A JP4579877B2 (en) 2006-06-30 2006-06-30 Playback apparatus and playback method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006181289A JP4579877B2 (en) 2006-06-30 2006-06-30 Playback apparatus and playback method

Publications (2)

Publication Number Publication Date
JP2008011337A true JP2008011337A (en) 2008-01-17
JP4579877B2 JP4579877B2 (en) 2010-11-10

Family

ID=39069109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006181289A Expired - Fee Related JP4579877B2 (en) 2006-06-30 2006-06-30 Playback apparatus and playback method

Country Status (1)

Country Link
JP (1) JP4579877B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010013376A1 (en) * 2008-07-30 2010-02-04 パナソニック株式会社 Digital broadcast reproduction device and digital broadcast reproduction method
WO2014122693A1 (en) * 2013-02-08 2014-08-14 三菱電機株式会社 Client device, server device, and screen transmission system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10308923A (en) * 1997-05-02 1998-11-17 Matsushita Electric Ind Co Ltd Reproduction synchronization device
JP2000078531A (en) * 1998-04-28 2000-03-14 Hitachi Ltd Method and system for editing audio data
JP2005102125A (en) * 2003-08-19 2005-04-14 Canon Inc Image decoding method and image decoding apparatus
JP2005236466A (en) * 2004-02-18 2005-09-02 Sony Corp Information processor and processing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10308923A (en) * 1997-05-02 1998-11-17 Matsushita Electric Ind Co Ltd Reproduction synchronization device
JP2000078531A (en) * 1998-04-28 2000-03-14 Hitachi Ltd Method and system for editing audio data
JP2005102125A (en) * 2003-08-19 2005-04-14 Canon Inc Image decoding method and image decoding apparatus
JP2005236466A (en) * 2004-02-18 2005-09-02 Sony Corp Information processor and processing method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010013376A1 (en) * 2008-07-30 2010-02-04 パナソニック株式会社 Digital broadcast reproduction device and digital broadcast reproduction method
JP2010034995A (en) * 2008-07-30 2010-02-12 Panasonic Corp Apparatus and method for playback of digital broadcast
CN102113339A (en) * 2008-07-30 2011-06-29 松下电器产业株式会社 Digital broadcast reproduction device and digital broadcast reproduction method
WO2014122693A1 (en) * 2013-02-08 2014-08-14 三菱電機株式会社 Client device, server device, and screen transmission system

Also Published As

Publication number Publication date
JP4579877B2 (en) 2010-11-10

Similar Documents

Publication Publication Date Title
US9489980B2 (en) Video/audio synchronization apparatus and video/audio synchronization method
JP4991129B2 (en) Video / audio playback apparatus and video / audio playback method
JP5178375B2 (en) Digital broadcast reproduction apparatus and digital broadcast reproduction method
JP3438223B2 (en) Multiplexing device and multiplexing method, and transmission device and transmission method
US7218841B2 (en) Method and apparatus for synchronously reproducing audio and video data
JP4452136B2 (en) Data synchronized playback device and terminal device
JP4579877B2 (en) Playback apparatus and playback method
KR100651566B1 (en) Multimedia Player Using Output Buffering in Mobile Terminal and Its Control Method
JP2004173118A (en) Device for generating audio and video multiplexed data, reproducing device and moving image decoding device
US20080198921A1 (en) Method and apparatus for reproducing digital broadcasting
JP5605572B2 (en) Display device, communication device, display method, and program recording medium
JP2008141277A (en) Decoding circuit
JP2005101766A (en) Electronic apparatus and method for controlling same
JP2005346781A (en) Device and method for reproducing digital information
US20060257108A1 (en) Multimedia reproduction apparatus
US20090016427A1 (en) Decoding system
JP2006330541A (en) Audio-receiving and reproducing device
JPWO2009063572A1 (en) Portable terminal device and video output method
JP5263967B2 (en) Movie stream processing apparatus and movie stream processing program
JP4850041B2 (en) Video playback system, video playback synchronization method, and video playback terminal
JP2009218934A (en) Video reproducing device and video reproducing method
JP2005051287A (en) Transcoder and recording/reproducing apparatus using the same
JP2003339023A (en) Moving picture reproducing apparatus
JP2006339857A (en) Decoding device
JP4703733B2 (en) Video / audio playback device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100824

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100826

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4579877

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees