JP2008301275A - Video output apparatus and method - Google Patents
Video output apparatus and method Download PDFInfo
- Publication number
- JP2008301275A JP2008301275A JP2007146031A JP2007146031A JP2008301275A JP 2008301275 A JP2008301275 A JP 2008301275A JP 2007146031 A JP2007146031 A JP 2007146031A JP 2007146031 A JP2007146031 A JP 2007146031A JP 2008301275 A JP2008301275 A JP 2008301275A
- Authority
- JP
- Japan
- Prior art keywords
- video
- fields
- frame
- decoding
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
この発明は、3−2プルダウンされた映像ストリームから24p映像信号(フレームレート23.976Hzのプログレッシブ映像信号)を再生して出力する映像再生装置及び映像再生方法の改良に関する。 The present invention relates to an improvement in a video playback apparatus and a video playback method for playing back and outputting a 24p video signal (a progressive video signal having a frame rate of 23.976 Hz) from a 3-2 pulled down video stream.
周知のように、近年では、デジタル記録媒体としてDVD(digital versatile disk)等の光ディスクが普及している。また、現在では、DVDよりもさらに高密度記録を可能とする、HD(high definition)DVDやblue-rayディスク等と称される、ハイビジョン対応の次世代DVD規格も完成している。 As is well known, in recent years, an optical disk such as a DVD (digital versatile disk) has become widespread as a digital recording medium. At present, a high-definition next-generation DVD standard called HD (high definition) DVD, blue-ray disc, etc. that enables higher density recording than DVD has been completed.
そして、この次世代DVD規格では、3−2プルダウンされた映像ストリーム[60i映像信号:フレームレート29.97Hz(フィールドレート59.97Hz)のインターレース映像信号]から、フレームレート23.976Hzのプログレッシブ映像信号を再生して出力する機能を備えることが必須事項として規定されている。 In the next-generation DVD standard, a progressive video signal having a frame rate of 23.976 Hz is generated from a 3-2 pull-down video stream [60i video signal: interlaced video signal having a frame rate of 29.97 Hz (field rate of 59.97 Hz)]. It is stipulated that it has a function to reproduce and output the video.
ところで、この規定は、再生対象となる映像ストリームが完全な3−2プルダウン形式で入力されることを前提としている。すなわち、再生対象となる映像ストリームが不完全な3−2プルダウン形式で入力された場合には、24p映像信号の出力タイミングに遅れや進みが発生する。 By the way, this rule presupposes that a video stream to be reproduced is input in a complete 3-2 pull-down format. That is, when the video stream to be played back is input in an incomplete 3-2 pull-down format, the output timing of the 24p video signal is delayed or advanced.
一方、音声の出力タイミングは、60i映像信号の出力時も24p映像信号の出力時も変わらず同じである。このため、24p映像信号の出力タイミングに遅れや進みが生じるということは、画面に表示される映像が、奏鳴される音声に対して遅れたり進んだりし、映像と音声とが同期しなくなるということになる。 On the other hand, the audio output timing is the same whether the 60i video signal is output or the 24p video signal is output. For this reason, a delay or advance in the output timing of the 24p video signal means that the video displayed on the screen is delayed or advanced with respect to the played sound, and the video and the audio are not synchronized. It will be.
特許文献1には、プルダウンのパターンが乱れてサウンドトラックの同期が失われる場合、発生した出力フレームの数と受信した入力画像フィールドの5/4倍とを比較し、その差異がある程度まで蓄積されていくとき、画面に対して捨てられるべきフレームまたは挿入されるべきフレームを生起させるようにした構成が開示されている。
そこで、この発明は上記事情を考慮してなされたもので、再生対象となる映像ストリームが完全な3−2プルダウン形式になっていない場合でも、24p映像信号を、その出力タイミングに遅れや進みを発生させることなく再生出力して、音声と同期させることを可能とした映像出力装置及び映像出力方法を提供することを目的とする。 Therefore, the present invention has been made in consideration of the above circumstances, and even when the video stream to be reproduced is not in the complete 3-2 pull-down format, the 24p video signal is delayed or advanced in its output timing. An object of the present invention is to provide a video output apparatus and a video output method that can be reproduced and output without being generated and synchronized with audio.
この発明に係る映像出力装置は、3−2プルダウンされた映像ストリームから24p映像信号を再生して出力するものを対象としている。そして、映像ストリームが入力される入力手段と;入力手段に入力された映像ストリームにデコード処理を施してフレーム単位の映像信号を得るデコード手段と;デコード手段でデコード処理が施された映像信号に対して、完全な3−2プルダウンが行なわれている場合に各映像フレームに含まれるフィールド数と、実際のデコード処理後の各映像フレームに含まれるフィールド数との差の総和を計算する演算手段と;演算手段の計算結果に基づいて、デコード処理後の映像フレームの出力タイミングが、本来の出力タイミングに対して遅れているか進んでいるかを判別する判別手段と;判別手段により遅れていると判断された場合、デコード手段によるデコード処理をスキップさせ、判別手段により進んでいると判断された場合、デコード処理後の同一映像フレームを繰り返し出力させる制御手段とを備えるようにしたものである。 The video output device according to the present invention is intended for a device that reproduces and outputs a 24p video signal from a 3-2 pulled-down video stream. An input means for inputting a video stream; a decoding means for obtaining a video signal in units of frames by decoding the video stream input to the input means; and for a video signal subjected to the decoding process by the decoding means Calculating means for calculating the sum of the difference between the number of fields included in each video frame and the number of fields included in each video frame after the actual decoding process when complete 3-2 pulldown is performed; Determining means for determining whether the output timing of the decoded video frame is delayed or advanced with respect to the original output timing based on the calculation result of the calculating means; determined by the determining means to be delayed If the decoding means skips the decoding process and the determining means determines that the process is proceeding, It is obtained as a control means for repeatedly outputting the same video frame after sense.
また、この発明に係る映像出力方法は、3−2プルダウンされた映像ストリームから24p映像信号を再生して出力する方法を対象としている。そして、映像ストリームを入力する第1の工程と;第1の工程で入力された映像ストリームにデコード処理を施してフレーム単位の映像信号を得る第2の工程と;第2の工程でデコード処理が施された映像信号に対して、完全な3−2プルダウンが行なわれている場合に各映像フレームに含まれるフィールド数と、実際のデコード処理後の各映像フレームに含まれるフィールド数との差の総和を計算する第3の工程と;第3の工程で計算された計算結果に基づいて、デコード処理後の映像フレームの出力タイミングが、本来の出力タイミングに対して遅れているか進んでいるかを判別する第4の工程と;第4の工程で遅れていると判断された場合、第2の工程によるデコード処理をスキップさせ、第4の工程で進んでいると判断された場合、デコード処理後の同一映像フレームを繰り返し出力させる第5の工程とを備えるようにしたものである。 The video output method according to the present invention is intended for a method of reproducing and outputting a 24p video signal from a 3-2 pulled down video stream. A first step of inputting a video stream; a second step of performing a decoding process on the video stream input in the first step to obtain a video signal in frame units; and a decoding process in the second step The difference between the number of fields included in each video frame and the number of fields included in each video frame after the actual decoding process when complete 3-2 pulldown is performed on the applied video signal A third step of calculating the sum; and determining whether the output timing of the decoded video frame is delayed or advanced with respect to the original output timing based on the calculation result calculated in the third step The fourth step; and if it is determined that the process is delayed in the fourth step, the decoding process in the second step is skipped, and if it is determined that the process proceeds in the fourth step, It is obtained so as to include a fifth step of repeatedly outputting the same video frame after cord treatment.
上記した発明によれば、デコード処理後の映像信号に対して、完全な3−2プルダウンが行なわれている場合に各映像フレームに含まれるフィールド数と、実際のデコード処理後の各映像フレームに含まれるフィールド数との差の総和を計算し、その計算結果に基づいて、デコード処理後の映像フレームの出力タイミングが、本来の出力タイミングに対して遅れているか進んでいるかを判別する。そして、遅れていると判断された場合、デコード処理をスキップさせ、進んでいると判断された場合、デコード処理後の同一映像フレームを繰り返し出力させるようにしている。再生対象となる映像ストリームが完全な3−2プルダウン形式になっていない場合でも、24p映像信号を、その出力タイミングに遅れや進みを発生させることなく再生出力して、音声と同期させることを可能とすることができる。 According to the above-described invention, when complete 3-2 pulldown is performed on the video signal after the decoding process, the number of fields included in each video frame and the actual video frame after the decoding process are The sum of differences from the number of included fields is calculated, and based on the calculation result, it is determined whether the output timing of the decoded video frame is delayed or advanced with respect to the original output timing. When it is determined that it is delayed, the decoding process is skipped, and when it is determined that it is advanced, the same video frame after the decoding process is repeatedly output. Even when the video stream to be played is not in the complete 3-2 pull-down format, it is possible to play back and output a 24p video signal without causing delay or advance in its output timing and to synchronize with the audio. It can be.
以下、この発明の実施の形態について図面を参照して詳細に説明する。図1は、この実施の形態で説明する光ディスク再生装置の概略を示している。すなわち、HD DVD等の光ディスク11から光ヘッド12を介して読み取られた記録データは、データ処理部13に供給される。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 shows an outline of an optical disk reproducing apparatus described in this embodiment. That is, recording data read from the
このデータ処理部11は、入力されたデータから、VOB(video object)と称されるMPEG(moving picture experts group)−2規格に準拠したプログラムストリームと、その管理情報(title information)とを抽出する。このうち、プログラムストリームには、映像データ、音声データ、字幕情報等に使用される副映像データが、パケット形式で重畳されている。
The
そして、このプログラムストリームは、デマルチプレクサ14に供給される。このデマルチプレクサ14は、入力されたプログラムストリームから、映像パケット、音声パケット及び副映像パケットを分離する。また、このデマルチプレクサ14は、STC(system time clock)管理部15に必要なデータを送り、各部で必要とするSTCを生成させている。
This program stream is supplied to the
上記デマルチプレクサ14で分離された音声パケットは、入力バッファ16に一旦格納された後、音声デコーダ17に供給される。すなわち、この音声デコーダ17は、入力バッファ16に格納された音声パケットを読み出してデコードし、STCが音声パケットに記述された表示時刻(PTS:presentation time stamp)に達したときに、デコードした音声フレームを出力している。
The audio packet separated by the
そして、この音声デコーダ17から出力された音声フレームは、DAC(digital analog converter)18でアナログ化された後、音声出力端子19を介して外部に導出され、図示しないスピーカ等による音声再生に供される。
The audio frame output from the
また、上記デマルチプレクサ14で分離された副映像パケットは、入力バッファ20に一旦格納された後、副映像デコーダ21に供給される。すなわち、この副映像デコーダ21は、デコードプロセス部22、メモリ23及びポストプロセス部24を備えている。このうち、デコードプロセス部22が、入力バッファ20に格納された副映像パケットを読み出してデコードし、デコードした副映像データをフレームバッファ25に格納させる。また、このデコードプロセス部22は、デコードした副映像データに関する表示情報をメモリ23にFIFO(first in first out)形式で書き込んでいる。そして、上記ポストプロセス部24が、メモリ23に格納された表示情報に基づいて、STCが副映像パケットに記述された表示時刻(PTS)から計算したコマンド実行時刻(SP_DCSQ_STM:サブピクチャ表示制御コマンド実行時刻)に達したときに、フレームメモリ25に格納されたデコード後の副映像フレームを出力する。
The sub-video packet separated by the
ただし、副映像データの表示制御コマンドは、フレームレート29.97Hzのタイミングでのみ実行される。このため、24p映像信号の再生時には、29.97Hzのタイミングでデコードした副映像データを、フレームバッファ25を介してフレームレート23.976Hzのタイミングで出力することになる。
However, the sub-picture data display control command is executed only at the timing of the frame rate of 29.97 Hz. For this reason, when reproducing the 24p video signal, the sub-video data decoded at the timing of 29.97 Hz is output through the
また、上記デマルチプレクサ14で分離された映像パケットは、入力バッファ26に一旦格納された後、映像デコーダ27に供給される。すなわち、この映像デコーダ27は、デコードコア部28、メモリ29及びポストプロセス部30を備えている。このうち、デコードコア部28が、入力バッファ26に格納された映像パケットを読み出してデコードし、デコードした映像データをフレームバッファ31に格納させる。また、このデコードコア部28は、デコードした映像データに関する表示情報(display information)をメモリ29にFIFO形式で書き込んでいる。この場合、表示情報としては、図2に示すような6つの項目を備えている。そして、上記ポストプロセス部30は、詳細は後述するが、メモリ29に格納された表示情報に基づいて、STCが映像パケットに記述された表示時刻(PTS)から計算したコマンド実行時刻に達したときに、フレームメモリ31に格納されたデコード後の映像フレームを出力する。
The video packet separated by the
上記副映像デコーダ21から出力される副映像フレームと、上記映像デコーダ27から出力される映像フレームとは、映像ミクサ32に供給されて多重化され、HDMI(high definition multimedia interface)出力部33に供給されてHDMI規格に準拠した伝送形態に変換された後、映像出力端子34を介して外部に導出され、図示しないモニタ等による映像表示に供される。
The sub video frame output from the sub video decoder 21 and the video frame output from the
また、上記データ処理部11で抽出された管理情報には、プログラムストリームに含まれる各エレメンタリーデータの属性情報が記述されている。例えば、映像データに対しては、エンコード方式(MPEG−2、MPEG−4 AVC、SMPTE VC−1等)、再生時間、タイトル、タイトルに含まれる各セルの先頭アドレス情報等が記述される。また、24p表示を実現するために、映像ストリームが24pでエンコードされていることを示すフラグも存在する。
Further, the management information extracted by the
この管理情報は、バッファ35を介してメインプロセッサ36に供給される。このメインプロセッサ36は、光ディスク再生装置の動作を統括的に制御しているもので、ユーザからの操作による各種の要求を受け、その要求内容が反映されるように各部をそれぞれ制御している。例えば、24p映像信号の出力要求を受けた場合、管理情報に映像ストリームが24pでエンコードされていることが示されているならば、副映像デコーダ21、映像デコーダ27、HDMI出力部33に対して、24p映像信号の出力要求を発生する。
This management information is supplied to the
このHDMI出力部33は、フィールドID信号とフィールド同期(sync)信号とを副映像デコーダ21と映像デコーダ27とに対して発生する。これにより、フレームレート29.97Hzの60i映像信号の再生時には、フィールドレート59.94Hzに同期したインターレースの映像信号を発生し、フレームレート23.976Hzの24p映像信号の再生時には、フレームレート23.976Hzに同期したプログレッシブの映像信号を発生する。
The
ここで、3−2プルダウンされた映像ストリームから24p映像信号(フレームレート23.976Hzのプログレッシブ映像信号)を再生する場合に、映像と音声とに同期ずれが発生することについて説明する。 Here, it will be described that when a 24p video signal (progressive video signal with a frame rate of 23.976 Hz) is reproduced from a 3-2 pulled-down video stream, a synchronization shift occurs between video and audio.
図3は、再生対象となる映像ストリームが完全な3−2プルダウン形式で入力されている場合における、24p映像信号への再生動作を示している。この場合、3−2プルダウンされた映像ストリーム(60i映像信号)には、その表示方法を示す上記表示情報(図2参照)の中のpic_structの値(図4参照)が、5→4→6→3(表示順)の繰り返しで正しく記述されている。なお、図3において、Tはトップ、Bはボトムであり、白丸はトップラインを示し、黒丸はボトムラインを示している。すなわち、フィールド数が3の映像フレーム0,2,4,……とフィールド数が2の映像フレーム1,3,5,……とが交互に配列されている。このとき、60i表示タイミングで10フィールド周期と24p映像出力時の4フレーム周期のタイミングとが一致し(フレーム4のタイミング)、映像と音声との同期が保たれるようになる。
FIG. 3 shows a playback operation to a 24p video signal when a video stream to be played is input in a complete 3-2 pull-down format. In this case, in the video stream (60i video signal) pulled down 3-2, the value of pic_struct (see FIG. 4) in the display information (see FIG. 2) indicating the display method is 5 → 4 → 6. → It is described correctly by repeating 3 (display order). In FIG. 3, T is the top, B is the bottom, white circles indicate the top line, and black circles indicate the bottom line. That is, video frames 0, 2, 4,... With a field number of 3 and
これに対し、再生対象となる映像ストリームが完全な3−2プルダウン形式になっていない場合、例えば、図5に示すように、映像ストリーム(60i映像信号)のpic_structの値が、5→4→4→4→……(表示順)と記述されている場合、24p表示タイミングが、60i表示タイミングで1フィールド分遅れてしまうことになる。音声の出力タイミングは、60i映像出力時も24p映像出力時も変わらないので、60i表示タイミングで1フィールド分、映像が音声に対して遅れることになる。 On the other hand, when the video stream to be reproduced is not in the complete 3-2 pull-down format, for example, as shown in FIG. 5, the value of pic_struct of the video stream (60i video signal) is 5 → 4 → When 4 → 4 →... (Display order) is described, the 24p display timing is delayed by one field at the 60i display timing. Since the audio output timing does not change during 60i video output or 24p video output, the video is delayed by one field at the 60i display timing.
また、図6に示すように、映像ストリーム(60i映像信号)のpic_structの値が、5→6→5→6→……(表示順)と記述されている場合、24p表示タイミングが、60i表示タイミングで2フィールド分進むことになる。音声の出力タイミングは、60i映像出力時も24p映像出力時も変わらないので、60i表示タイミングで2フィールド分、映像が音声に対して進むことになる。 Also, as shown in FIG. 6, when the value of pic_struct of the video stream (60i video signal) is described as 5 → 6 → 5 → 6 → ...... (display order), the 24p display timing is 60i display. It will advance 2 fields at the timing. Since the audio output timing does not change when the 60i video is output or when the 24p video is output, the video advances by two fields at the 60i display timing.
そこで、この実施の形態では、上記映像デコーダ27に、再生対象となる映像ストリームが完全な3−2プルダウン形式になっていない場合でも、24p映像信号を、その出力タイミングに遅れや進みを発生させることなく再生出力して、音声と同期させることを可能にするための対策を施している。
Therefore, in this embodiment, the
すなわち、図7に示すように、上記映像デコーダ27のポストプロセス部30は、表示情報解析部37と、3−2プルダウン表示予測部38と、差分器39と、加算器40と、表示制御部41とを含んでいる。このうち、3−2プルダウン表示予測部38と、差分器39と、加算器40とは、24p映像信号の出力時にのみ使われる。
That is, as shown in FIG. 7, the
まず、表示情報解析部37は、メモリ29から映像毎の表示情報を読み出し、その中のdisplay_order情報に基づいて映像フレームの表示の順番(フレームバッファ31からの読み出しの順番)を決定し、決定した順番に応じて表示情報を表示制御部41に供給している。また、この表示情報解析部37は、24p映像信号の出力時に、pic_structの値に基づいて各映像フレームの表示フィールド数を計算し、計算した表示フィールド数を差分器39の一方の入力端に供給している。さらに、この表示情報解析部37は、1番最初に表示される映像フレームの表示フィールド数を3−2プルダウン表示予測部38に供給する。すると、3−2プルダウン表示予測部38は、表示情報解析部37から与えられた表示フィールド数でリセットされる。
First, the display
そして、24p映像信号の出力時には、3−2プルダウン表示予測部38が、リセットされた表示フィールド数を初期値として、完全な3−2プルダウンが行なわれた場合に映像フレームの表示順に得られるフィールド数の予測値(初期値が3であれば、以後2→3→2→3→……といった具合)を、差分器39の他方の入力端に供給している。この差分器39では、各映像フレーム毎にフィールド数と予測値との差分が計算され、その差分値が加算器40に供給されて加算される。このようにして、完全な3−2プルダウンが行なわれた場合の各映像フレームの表示フィールド数と、プログラムストリーム内に存在する実際の各映像フレームの表示フィールド数との差の総和が計算され、その値が表示制御部41に供給される。
When the 24p video signal is output, the 3-2 pull-down
具体的に言えば、図8に示すように、各映像フレーム0,1,2,3,……に対して、3−2プルダウン表示予測部38から得られるフィールド数の予測値が3,2,3,2,……であり、実際の各映像フレームの表示フィールド数が3,2,2,2,……と変化した場合には、その差の総和が0,0,1,1,……と累積される。この場合、24p映像信号の出力タイミングが遅れていることを意味する。
Specifically, as shown in FIG. 8, for each
また、図9に示すように、各映像フレーム0,1,2,3,……に対して、3−2プルダウン表示予測部38から得られるフィールド数の予測値が2,3,2,3,……であり、実際の各映像フレームの表示フィールド数が2,3,3,3,……と変化した場合には、その差の総和が0,0,−1,−1,……と累積される。この場合、24p映像信号の出力タイミングが進んでいることを意味する。
Also, as shown in FIG. 9, for each
そして、上記表示制御部41では、60i映像信号の出力時には、表示情報解析部37から供給された表示情報に含まれるpic_structに基づいて、映像出力を実行する。また、表示制御部41では、24p映像信号の出力時には、pic_structは無視し、24pのフレーム同期信号に基づいて映像出力を実行する。
The
ここで、上記表示制御部41は、加算器40から供給された総和から、映像が音声に対して遅れていると判断した場合には、その総和が予め設定された閾値に達したとき、上記デコードコア部28に対して、デコードスキップ要求を発行する。そして、デコードコア部28は、デコードスキップ要求を受けると、その直後の非参照映像のデコードをスキップする。すなわち、入力バッファ26から読み出した映像パケットをデコードせずに廃棄する。例えば、上記の閾値をフレームレート29.97Hzで2フィールドとした場合では、総和が2になった時点で、デコードコア部28は、2フィールド表示分の非参照映像に対するデコードをスキップする。
Here, when the
また、上記表示制御部41は、加算器40から供給された総和から、映像が音声に対して進んでいると判断した場合には、その総和が予め設定された閾値に達したとき、24p映像信号のフレーム同期信号(23.976Hz)に基づいて、同じ映像フレームを余計にリピート表示させることにより、映像を音声に同期させるように調整する。例えば、上記の閾値をフレームレート29.97Hzで5フィールドとした場合では、総和が5になった時点で、フレームレート23.976Hzで2フレーム期間余計にリピート表示を実行する。つまり、3フレーム期間同じフレームを表示する。
Further, when the
図10〜図15は、上記ポストプロセス部30の処理動作をまとめたフローチャートを示している。図10は、全体的な処理動作を示している。すなわち、処理が開始(ステップS1)されると、ステップS2で、3−2プルダウン映像ストリーム(フレームレート29.97Hz)の入力があり、かつ、24p映像信号の出力要求を受信したか否かが判別される。そして、YESと判断された場合には、ステップS3で、24p映像信号の出力処理が実行され、NOと判断された場合には、ステップS4で、24p映像信号の出力以外の再生処理が実行される。その後、ステップS5で、映像出力の終了要求を受信したか否かが判別され、NOと判断された場合にはステップS2の処理に戻され、YESと判断された場合には、処理が終了(ステップS6)される。
10 to 15 are flowcharts summarizing the processing operation of the
図11は、上記したステップS3で実行される処理の一例を示している。すなわち、上記ステップS2でYESと判断されると、ステップS7で、表示情報が受信されたか否かが判別され、YESと判断された場合には、ステップS8で、メモリ29から表示情報が読み出される。その後、ステップS9で、読み出された表示情報がデコード順で先頭の映像の表示情報か否かが判別され、YESと判断された場合には、ステップS10で、所定の初期化処理(first_decoded_picture=0,previous_picture_skipped=0,加算器40の加算値を0にする等)が行なわれ、NOと判断された場合には、ステップS11で、デコード順で先頭以外の映像の処理が行なわれて、上記ステップS5の処理に移行される。
FIG. 11 shows an example of the process executed in step S3 described above. That is, if YES is determined in step S2, whether or not display information is received is determined in step S7. If YES is determined, the display information is read from the
図12は、上記したステップS11で実行される処理の一例を示している。すなわち、上記ステップS9でNOと判断されると、ステップS12で、表示情報のdisplay_orderが昇順になるように表示情報を並べた後、ステップS13で、表示情報のskipped_flag≠1であるか否かが判別される。そして、YESと判断された場合には、ステップS14で、3−2プルダウン表示予測処理が行なわれ、ステップS15で、差分器39及び加算器40による処理が行なわれ、ステップS16で、表示制御処理が行なわれて、上記ステップS5の処理に移行される。また、上記ステップS13でNOと判断された場合には、ステップS17で、previous_picture_skipped=1にして、上記ステップS5の処理に移行される。
FIG. 12 shows an example of the process executed in step S11 described above. That is, if NO is determined in step S9, display information is arranged so that display_order of the display information is in ascending order in step S12, and then whether or not skipped_flag ≠ 1 of the display information is determined in step S13. Determined. If YES is determined, a 3-2 pull-down display prediction process is performed in step S14, a process by the
図13は、上記したステップS14で実行される処理の一例を示している。すなわち、上記ステップS13でYESと判断されると、ステップS18で、previous_picture_skipped≠1であるか否かが判別され、NOと判断された場合には、上記ステップS15の処理に移行される。また、上記ステップS18でYESと判断された場合には、ステップS19で、現在の表示情報が表示順で先頭の映像のものであるか否かが判別される。そして、YESと判断された場合には、ステップS20で、表示情報のpic_structから表示フィールド数を計算し、その結果を3−2プルダウン表示予測部38に初期値として設定して[predictor=f(pic_struct)]、上記ステップS15の処理に移行される。また、上記ステップS19でNOと判断された場合には、ステップS21で、3−2プルダウンの表示フィールド数の予測値をトグルさせる、つまり、直前の値が“3”なら“2”にし、“2”なら“3”にして(predictor=5−predictor)、上記ステップS15の処理に移行される。
FIG. 13 shows an example of the process executed in step S14 described above. That is, if YES is determined in step S13, it is determined in step S18 whether or not
図14は、上記したステップS15で実行される処理の一例を示している。すなわち、上記ステップS14の後、ステップS22で、表示制御部41から加算分(−5)が設定されたか否かが判別され、NOと判断された場合には、ステップS23で、previous_picture_skipped≠1であるか否かが判別される。そして、YESと判断された場合には、ステップS24で、加算器40にdelta=f(pic_struct)−predictorなるdeltaを設定して、上記ステップS16の処理に移行される。また、上記ステップS23でNOと判断された場合には、ステップS25で、加算器40に閾値として2を設定して、上記ステップS16の処理に移行される。さらに、上記ステップS22でYESと判断された場合には、ステップS26で、加算器40に閾値として−5を設定して、上記ステップS16の処理に移行される。
FIG. 14 shows an example of the process executed in step S15 described above. That is, after step S14, in step S22, it is determined whether or not an addition (−5) is set from the
図15は、上記したステップS16で実行される処理の一例を示している。すなわち、上記ステップS15の後、ステップS27で、表示情報のframe_buffer_numberが示すフレームバッファからフレームを読み出し、ステップS28で、加算器40の値が閾値−2以下になったか否かが判別される。そして、YESと判断された場合には、ステップS29で、現在のフレームを24Hzで1フレーム期間表示し、ステップS30で、デコードスキップ要求をデコードコア部28に対して発光する。また、上記ステップS28でNOと判断された場合には、ステップS31で、加算器40の値が+5以上になったか否かが判別される。そして、YESと判断されは場合には、ステップS32で、現在のフレームを24Hzで1フレーム期間表示し、ステップS33で、加算器40に加算分−5を設定する。さらに、上記ステップS31で、NOと判断された場合には、ステップS34で、現在のフレームを24Hzで1フレーム期間表示する。そして、上記ステップS30、S33またはS34の後、ステップS35で、previous_picture_skipped=0にして、上記ステップS5の処理に移行される。
FIG. 15 shows an example of the process executed in step S16 described above. That is, after step S15, in step S27, a frame is read from the frame buffer indicated by frame_buffer_number of the display information, and in step S28, it is determined whether or not the value of the
図16は、上記デコードコア部28の処理動作をまとめたフローチャートを示している。すなわち、処理が開始(ステップS36)されると、ステップS37で、skip_decode_instruction_flag=0に設定され、ステップS38で、表示制御部41からデコードスキップ要求を受信したか否かが判別され、YESと判断された場合には、ステップS39で、skip_decode_instruction_flag=1に設定される。そして、ステップS39の後、または、ステップS38でNOと判断された場合には、ステップS40で、入力バッファ26から映像パケットが読み出され、ステップS41で、ピクチャ層以上のヘッダに対してデコードが行なわれる。
FIG. 16 shows a flowchart summarizing the processing operations of the
その後、ステップS42で、skip_decode_instruction_flag=1であるか否かが判別され、YESと判断された場合には、ステップS43で、現在の映像は、非参照で、かつ、2フィールド期間表示する映像であるか否かが判別される。そして、YESと判断された場合には、ステップS44で、ピクチャ層より下の階層のデータをデコードせずに破棄し、ステップS45で、skipped_flag=1とし、ステップS46で、skip_decode_instruction_flag=0に設定する。 Thereafter, in step S42, it is determined whether or not skip_decode_instruction_flag = 1. If YES is determined, in step S43, the current video is a video that is not referenced and is displayed for two field periods. Is determined. If YES is determined, the data below the picture layer is discarded without being decoded in step S44, skipped_flag = 1 is set in step S45, and skip_decode_instruction_flag = 0 is set in step S46. .
また、上記ステップS42またはS43でNOと判断された場合には、ステップS47で、ピクチャ層より下の階層のデータをデコードしてフレームバッファ31に書き込み、ステップS48で、skipped_flag=0に設定する。
If NO is determined in step S42 or S43, the data in the layer below the picture layer is decoded and written in the
そして、上記ステップS46またはS48の後、ステップS49で、ピクチャ層以上のヘッダから取得した情報とskipped_flagとをメモリ29に書き込み、ステップS50で、映像出力の終了要求を受信したか否かが判別され、NOと判断された場合にはステップS38の処理に戻され、YESと判断された場合には、処理が終了(ステップS51)される。
Then, after step S46 or S48, in step S49, information acquired from the header above the picture layer and skipped_flag are written in the
なお、この発明は上記した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を種々変形して具体化することができる。また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。 Note that the present invention is not limited to the above-described embodiments as they are, and can be embodied by variously modifying the constituent elements without departing from the scope of the invention in the implementation stage. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements according to different embodiments may be appropriately combined.
11…光ディスク、12…光ヘッド、13…データ処理部、14…デマルチプレクサ、15…STC管理部、16…入力バッファ、17…音声デコーダ、18…DAC、19…音声出力端子、20…入力バッファ、21…副映像デコーダ、22…デコードプロセス部、23…メモリ、24…ポストプロセス部、25…フレームバッファ、26…入力バッファ、27…映像デコーダ、28…デコードコア部、29…メモリ、30…ポストプロセス部、31…フレームバッファ、32…映像ミクサ、33…HDMI出力部、34…映像出力端子、35…バッファ、36…メインプロセッサ、37…表示情報解析部、38…3−2プルダウン表示予測部、39…差分器、40…加算器、41…表示制御部。
DESCRIPTION OF
Claims (8)
前記映像ストリームが入力される入力手段と、
前記入力手段に入力された映像ストリームにデコード処理を施してフレーム単位の映像信号を得るデコード手段と、
前記デコード手段でデコード処理が施された映像信号に対して、完全な3−2プルダウンが行なわれている場合に各映像フレームに含まれるフィールド数と、実際のデコード処理後の各映像フレームに含まれるフィールド数との差の総和を計算する演算手段と、
前記演算手段の計算結果に基づいて、デコード処理後の映像フレームの出力タイミングが、本来の出力タイミングに対して遅れているか進んでいるかを判別する判別手段と、
前記判別手段により遅れていると判断された場合、前記デコード手段によるデコード処理をスキップさせ、前記判別手段により進んでいると判断された場合、デコード処理後の同一映像フレームを繰り返し出力させる制御手段とを具備することを特徴とする映像出力装置。 A video output device that reproduces and outputs a 24p video signal from a 3-2 pulled down video stream,
Input means for inputting the video stream;
Decoding means for performing a decoding process on the video stream input to the input means to obtain a video signal in units of frames;
The number of fields included in each video frame when a complete 3-2 pulldown is performed on the video signal decoded by the decoding means, and included in each video frame after the actual decoding process An arithmetic means for calculating a sum of differences from the number of fields generated;
Based on the calculation result of the calculation means, a determination means for determining whether the output timing of the decoded video frame is delayed or advanced with respect to the original output timing;
Control means for skipping the decoding process by the decoding means when determined to be delayed by the determining means, and for repeatedly outputting the same video frame after the decoding processing when determined to be advanced by the determining means; A video output device comprising:
デコード処理後の各映像フレームに含まれる表示情報に基づいて、完全な3−2プルダウンが行なわれた場合の各映像フレームに含まれるフィールド数を計算する予測手段と、
前記表示情報に基づいて、実際のデコード処理後の各映像フレームに含まれるフィールド数を取得する取得手段と、
前記予測手段で計算されたフィールド数と前記取得手段で取得されたフィールド数との差分を得る差分手段と、
前記差分手段で得られた差分を加算する加算手段とを具備することを特徴とする請求項1記載の映像出力装置。 The computing means is
Predicting means for calculating the number of fields included in each video frame when complete 3-2 pulldown is performed based on display information included in each video frame after decoding processing;
An acquisition means for acquiring the number of fields included in each video frame after the actual decoding process based on the display information;
Difference means for obtaining a difference between the number of fields calculated by the prediction means and the number of fields acquired by the acquisition means;
The video output apparatus according to claim 1, further comprising an adding unit that adds the differences obtained by the difference unit.
前記判別手段が遅れていると判断するための閾値を、フレームレート29.97Hzで2フィールドと設定したとき、前記デコード手段によるデコード処理を2フィールド分スキップさせ、
前記判別手段が進んでいると判断するための閾値を、フレームレート29.97Hzで5フィールドと設定したとき、デコード処理後のフレームレート23.976Hzの映像フレームを3フレーム分繰り返し表示させることを特徴とする請求項3記載の映像出力装置。 The control means includes
When the threshold for determining that the discrimination means is delayed is set to 2 fields at a frame rate of 29.97 Hz, the decoding process by the decoding means is skipped by 2 fields,
When the threshold for determining that the determination means is advanced is set to 5 fields at a frame rate of 29.97 Hz, video frames having a frame rate of 23.976 Hz after decoding are repeatedly displayed for 3 frames. The video output device according to claim 3.
前記映像ストリームを入力する第1の工程と、
前記第1の工程で入力された映像ストリームにデコード処理を施してフレーム単位の映像信号を得る第2の工程と、
前記第2の工程でデコード処理が施された映像信号に対して、完全な3−2プルダウンが行なわれている場合に各映像フレームに含まれるフィールド数と、実際のデコード処理後の各映像フレームに含まれるフィールド数との差の総和を計算する第3の工程と、
前記第3の工程で計算された計算結果に基づいて、デコード処理後の映像フレームの出力タイミングが、本来の出力タイミングに対して遅れているか進んでいるかを判別する第4の工程と、
前記第4の工程で遅れていると判断された場合、前記第2の工程によるデコード処理をスキップさせ、前記第4の工程で進んでいると判断された場合、前記デコード処理後の同一映像フレームを繰り返し出力させる第5の工程とを具備することを特徴とする映像出力方法。 A video output method for reproducing and outputting a 24p video signal from a 3-2 pulled down video stream,
A first step of inputting the video stream;
A second step of performing a decoding process on the video stream input in the first step to obtain a video signal in units of frames;
The number of fields included in each video frame when the video signal subjected to the decoding process in the second step is completely 3-2 pulled down, and each video frame after the actual decoding process A third step of calculating a sum of differences from the number of fields included in
A fourth step of determining whether the output timing of the decoded video frame is delayed or advanced with respect to the original output timing based on the calculation result calculated in the third step;
If it is determined that the process is delayed in the fourth process, the decoding process in the second process is skipped. If it is determined that the process is advanced in the fourth process, the same video frame after the decoding process is performed. And a fifth step of repeatedly outputting the video output method.
前記デコード処理後の各映像フレームに含まれる表示情報に基づいて、完全な3−2プルダウンが行なわれた場合の各映像フレームに含まれるフィールド数を計算する予測工程と、
前記表示情報に基づいて、実際のデコード処理後の各映像フレームに含まれるフィールド数を取得する取得工程と、
前記予測工程で計算されたフィールド数と前記取得工程で取得されたフィールド数との差分を得る差分工程と、
前記差分工程で得られた差分を加算する加算工程とを具備することを特徴とする請求項5記載の映像出力方法。 The third step includes
A prediction step of calculating the number of fields included in each video frame when complete 3-2 pulldown is performed based on display information included in each video frame after the decoding process;
Based on the display information, an acquisition step of acquiring the number of fields included in each video frame after the actual decoding process;
A difference step for obtaining a difference between the number of fields calculated in the prediction step and the number of fields acquired in the acquisition step;
6. The video output method according to claim 5, further comprising an addition step of adding the differences obtained in the difference step.
前記第4の工程で遅れていると判断するための閾値を、フレームレート29.97Hzで2フィールドと設定したとき、前記第2の工程によるデコード処理を2フィールド分スキップさせ、
前記第4の工程で進んでいると判断するための閾値を、フレームレート29.97Hzで5フィールドと設定したとき、デコード処理後のフレームレート23.976Hzの映像フレームを3フレーム分繰り返し表示させることを特徴とする請求項7記載の映像出力方法。 The fifth step includes
When the threshold for determining that it is delayed in the fourth step is set to 2 fields at a frame rate of 29.97 Hz, the decoding process in the second step is skipped by 2 fields,
When the threshold value for determining that the process proceeds in the fourth step is set to 5 fields at a frame rate of 29.97 Hz, video frames having a frame rate of 23.976 Hz after decoding are repeatedly displayed for 3 frames. The video output method according to claim 7.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007146031A JP2008301275A (en) | 2007-05-31 | 2007-05-31 | Video output apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007146031A JP2008301275A (en) | 2007-05-31 | 2007-05-31 | Video output apparatus and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008301275A true JP2008301275A (en) | 2008-12-11 |
Family
ID=40174342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007146031A Pending JP2008301275A (en) | 2007-05-31 | 2007-05-31 | Video output apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008301275A (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001218172A (en) * | 2000-01-31 | 2001-08-10 | Nec Corp | Device and method for converting frame rate in moving picture decoder, its recording medium and integrated circuit device |
JP2005223503A (en) * | 2004-02-04 | 2005-08-18 | Mitsubishi Electric Corp | Video signal processing apparatus and video signal processing method |
JP2006339857A (en) * | 2005-05-31 | 2006-12-14 | Toshiba Corp | Decoding device |
-
2007
- 2007-05-31 JP JP2007146031A patent/JP2008301275A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001218172A (en) * | 2000-01-31 | 2001-08-10 | Nec Corp | Device and method for converting frame rate in moving picture decoder, its recording medium and integrated circuit device |
JP2005223503A (en) * | 2004-02-04 | 2005-08-18 | Mitsubishi Electric Corp | Video signal processing apparatus and video signal processing method |
JP2006339857A (en) * | 2005-05-31 | 2006-12-14 | Toshiba Corp | Decoding device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4790776B2 (en) | Multiplexing device, multiplexing method, reproducing device, reproducing method, recording method, and reproducing system | |
JP4490914B2 (en) | Data processing device | |
JP2010061803A (en) | Audio/video recording apparatus, recording method, playback apparatus, playback method, playback program, and recording program | |
KR101206147B1 (en) | Method and apparatus for authoring a 24p audio/video data stream by supplementing it with additional 50i format data items | |
JP4775208B2 (en) | REPRODUCTION METHOD, REPRODUCTION PROGRAM, AND REPRODUCTION DEVICE | |
JP2008167061A (en) | Encoding device and encoding method | |
JP4954901B2 (en) | Method and apparatus for reproducing a video signal and one or more audio signals related to audio / video data based on a 24 Hz frame frequency video signal | |
JP5194343B2 (en) | Information reproducing apparatus and information reproducing method | |
JP4821511B2 (en) | VIDEO PROCESSING METHOD, VIDEO PROCESSING PROGRAM, VIDEO PROCESSING DEVICE, AND REPRODUCTION METHOD, REPRODUCTION PROGRAM, AND REPRODUCTION DEVICE | |
JP2002354419A (en) | Recording reproducing equipment and method therefor, recording medium and program thereof | |
JP4438849B2 (en) | Time code processing device, time code processing method, program, and video signal reproduction device | |
JP2009507447A (en) | Video playback system at different resolutions | |
JP2008301275A (en) | Video output apparatus and method | |
JP2006352587A (en) | Information processor | |
JP2006157855A (en) | Information recording medium, image coding method, and image decoding method | |
JP4935661B2 (en) | Playback apparatus, playback method, and playback program | |
JPH10164512A (en) | Data-processing synchronization device | |
JP5859100B2 (en) | Image recording device | |
JP2010141717A (en) | Image recording reproducing device | |
JP5201251B2 (en) | Information reproducing apparatus and information reproducing method | |
JPH10262219A (en) | Digital signal reproducing method and device therefor | |
JP4342977B2 (en) | Recording / reproducing apparatus, control method for recording / reproducing apparatus, control program for recording / reproducing apparatus, and recording medium storing control program for recording / reproducing apparatus | |
JP2006129338A (en) | Video recording and reproducing apparatus and recording medium | |
JP2009060502A (en) | Electronic device, output method and program | |
JP2008011071A (en) | Video reproducer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110510 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110927 |