JP2010074558A - Video audio recording reproducing apparatus and video audio reproducing method - Google Patents
Video audio recording reproducing apparatus and video audio reproducing method Download PDFInfo
- Publication number
- JP2010074558A JP2010074558A JP2008239977A JP2008239977A JP2010074558A JP 2010074558 A JP2010074558 A JP 2010074558A JP 2008239977 A JP2008239977 A JP 2008239977A JP 2008239977 A JP2008239977 A JP 2008239977A JP 2010074558 A JP2010074558 A JP 2010074558A
- Authority
- JP
- Japan
- Prior art keywords
- video
- data
- audio
- special effect
- buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、映像データと音声データとを同期させて再生する映像音声記録再生装置及び映像音声再生方法に関する。 The present invention relates to a video / audio recording / reproducing apparatus and a video / audio reproducing method for reproducing video data and audio data in synchronization.
ビデオレコーダのような映像と音声とを再生するシステムでは、ユーザに対して映像と音声とを収録した時点のタイミングで同期させて提示する必要がある。同期がずれると、例えばニュースの場面ではアナウンサーの口の動きと音声とが合わない状態となり(リップシンクずれ現象)、違和感を感じることとなる。 In a system that reproduces video and audio, such as a video recorder, it is necessary to present the video and audio to the user in synchronization with the timing at which the video and audio were recorded. When the synchronization is lost, for example, in the news scene, the voice of the announcer's mouth does not match the voice (lip sync shift phenomenon), and the user feels uncomfortable.
従来は、このような状況を防ぐために、タイムスタンプと呼ばれるユーザに提示すべき時刻情報を映像と音声とに付加し、それを参照して同期させる方式が取られていた。しかし、このためには映像と音声とを時間多重してリファレンスクロックと呼ばれる基準時刻情報を付加する等、複雑な保存形式をとる必要がある。また、業務用途で用いられる保存形式では映像と音声とを別々にフレーム単位で管理しているため、タイムスタンプ方式で同期を取る事が難しい。 Conventionally, in order to prevent such a situation, a method of adding time information called a time stamp to be presented to a user to video and audio and referencing it to synchronize is taken. However, for this purpose, it is necessary to take a complicated storage format such as time-multiplexing video and audio and adding reference time information called a reference clock. Further, in the storage format used for business purposes, since video and audio are separately managed in units of frames, it is difficult to synchronize with a time stamp method.
なお、タイムスタンプを付加せずとも、映像データと音声データとの同期制御を行う発明が提案されている(例えば、特許文献1参照)。しかし、この発明は、映像データと音声データとが符号化多重されたデータを再生する場合に対応しており、映像データと音声データとが別々に管理される形式には対応していない。
以上のように、従来の映像音声記録再生装置では、映像データと音声データとが別々にフレーム単位で管理されている場合、タイムスタンプ方式により両データを同期させて出力することは困難であった。 As described above, in the conventional video / audio recording / reproducing apparatus, when video data and audio data are separately managed in units of frames, it is difficult to output both data in synchronization by the time stamp method. .
そこで、本発明の目的は、映像データと音声データとがフレーム単位で別々に管理されている場合であっても、両データを同期させて出力することが可能な映像音声記録再生装置を提供することにある。 Accordingly, an object of the present invention is to provide a video / audio recording / reproducing apparatus capable of outputting both data in synchronization even when the video data and audio data are separately managed in units of frames. There is.
上記目的を達成するため、本発明に係る映像音声記録再生装置は、映像素材の映像データと音声データとを別々に記録する記録手段と、前記記録手段から前記映像データを指示に従って読み出す映像読出し手段と、前記読み出された映像データを復号化する映像復号化手段と、前記復号化された映像データを指定された第1の遅延時間だけ保持して出力する映像バッファ手段と、前記記録手段から前記音声データを指示に従って読み出す音声読出し手段と、前記読み出された音声データを復号化する音声復号化手段と、前記復号化された音声データを指定された第2の遅延時間だけ保持して出力する音声バッファ手段と、外部から入力される外部同期信号をカウントして前記映像素材のフレーム相当のカウント値を生成するカウント手段と、前記外部同期信号に従って前記映像読出し手段に前記映像データを読み出させると共に前記音声読出し手段に前記音声データを読み出させ、前記映像バッファ手段及び前記音声バッファ手段に対して第1及び第2の遅延時間を指定する制御手段とを具備し、前記制御手段は、前記映像バッファ手段及び前記音声バッファ手段のうち、先にデータが入力されたバッファ手段のデータ入力開始時の前記カウント値を第1のカウント値として保持し、前記映像バッファ手段及び前記音声バッファ手段のうち、後にデータが入力されたバッファ手段のデータ入力開始時の前記カウント値を第2のカウント値として保持し、前記第1のカウント値と前記第2のカウント値とからデータ入力が開始される差分時間を算出し、前記データが先に入力されたバッファ手段の遅延時間を、前記差分時間と、前記映像バッファ手段及び前記音声バッファ手段でデータ伝送過程におけるジッタ量を吸収するためのジッタ吸収時間との和から算出し、前記データが後に入力されたバッファ手段の遅延時間を前記ジッタ吸収時間から算出することで前記第1及び第2の遅延時間を指定することを特徴とする。 In order to achieve the above object, a video / audio recording / reproducing apparatus according to the present invention comprises a recording means for separately recording video data and audio data of a video material, and a video reading means for reading out the video data from the recording means in accordance with an instruction. A video decoding means for decoding the read video data, a video buffer means for holding and outputting the decoded video data for a specified first delay time, and a recording means Voice reading means for reading the voice data in accordance with instructions, voice decoding means for decoding the read voice data, and holding and outputting the decoded voice data for a specified second delay time Audio buffer means for counting, counting means for counting external synchronization signals input from the outside and generating a count value corresponding to the frame of the video material, According to the external synchronization signal, the video reading means reads the video data and the audio reading means reads the audio data, and the video buffer means and the audio buffer means have first and second delays. Control means for designating time, wherein the control means sets the count value at the start of data input of the buffer means to which data has been inputted first among the video buffer means and the audio buffer means as a first value. The count value at the start of data input of the buffer means to which data is input later is held as a second count value among the video buffer means and the audio buffer means, and the first count The difference time at which data input is started is calculated from the value and the second count value, and the data is input first. The delay time of the buffer means is calculated from the sum of the difference time and the jitter absorption time for absorbing the jitter amount in the data transmission process by the video buffer means and the audio buffer means, and the data is input later The first and second delay times are designated by calculating the delay time of the buffer means from the jitter absorption time.
また、本発明に係る映像音声再生方法は、映像素材の映像データと音声データとを別々に記録する記録手段から、外部から入力される外部同期信号に従って前記映像データ及び前記音声データを読み出し、前記外部同期信号をカウントして前記映像素材のフレーム相当のカウント値を生成し、前記映像データを保持する映像バッファ手段及び前記音声データを保持する音声バッファ手段のうち、前記読み出されたデータが先に入力されたバッファ手段のデータ入力開始時の前記カウント値を第1のカウント値として保持し、前記映像バッファ手段及び前記音声バッファ手段のうち、前記読み出されたデータが後に入力されたバッファ手段のデータ入力開始時の前記カウント値を第2のカウント値として保持し、前記第1のカウント値と前記第2のカウント値とからデータ入力が開始される差分時間を算出し、前記データが先に入力されたバッファ手段が当該データを遅延させる遅延時間を、前記差分時間と、前記映像バッファ手段及び前記音声バッファ手段でデータ伝送過程におけるジッタ量を吸収するためのジッタ吸収時間との和から第1の遅延時間として算出し、前記データが後に入力されたバッファ手段が当該データを遅延させる遅延時間を前記ジッタ吸収時間から第2の遅延時間として算出することを特徴とする。 The video / audio reproduction method according to the present invention reads out the video data and the audio data in accordance with an external synchronization signal input from the outside, from a recording means for separately recording video data and audio data of the video material, Out of the video buffer means for holding the video data and the audio buffer means for holding the audio data, the read data is first generated by counting the external synchronization signal to generate a count value corresponding to the frame of the video material. The count value at the start of data input of the buffer means input to the first is held as the first count value, and the read-out data of the video buffer means and the audio buffer means is input later The count value at the start of data input is held as a second count value, and the first count value and the first count value are stored. The difference time at which data input is started is calculated from the count value, and the delay time that the buffer means to which the data has been input first delays the data is defined as the difference time, the video buffer means and the audio buffer. Calculating the first delay time from the sum of the jitter absorption time for absorbing the amount of jitter in the data transmission process by the means, and the buffer means to which the data is input later delays the delay time of the data. The second delay time is calculated from the time.
上記構成による映像音声記録再生装置及び映像音声再生方法では、記録手段に別々に記録される映像データ及び音声データが映像読出し手段及び音声読出し手段によりそれぞれ読み出される。制御手段は、読み出された映像データが映像バッファ手段へ到達する際のカウント値と、読み出された音声データが音声バッファ112へ到達する際のカウント値とを保持する。そして、制御手段は、保持したカウント値に基づいて映像及び音声バッファ手段それぞれの遅延時間を決定するようにしている。これにより、映像データ及び音声データが別々に記録されている場合であっても、映像及び音声バッファ手段の遅延時間を調整することが可能となる。
In the video / audio recording / reproducing apparatus and the video / audio reproducing method configured as described above, video data and audio data separately recorded in the recording unit are read out by the video reading unit and the audio reading unit, respectively. The control means holds a count value when the read video data reaches the video buffer means and a count value when the read audio data reaches the
本発明によれば、映像データと音声データとがフレーム単位で別々に管理されている場合であっても、両データを同期させて出力することが可能な映像音声記録再生装置を提供することができる。 According to the present invention, it is possible to provide a video / audio recording / reproducing apparatus capable of synchronizing and outputting both data even when the video data and the audio data are separately managed in units of frames. it can.
以下、図面を参照しながら本発明に係る映像音声記録再生装置の実施の形態について詳細に説明する。図1は、本発明の一実施形態に係る映像音声記録再生装置10の概観図である。図1における映像音声記録再生装置10には、カメラ20及びマイク21が接続される。カメラ20により撮像された映像及びマイク21により収録された音声は、映像音声記録再生装置10に取り込まれる。取り込まれた映像及び音声は、同期信号発生器30からの外部同期信号に従いフレーム単位で別々に記録媒体11に記録される。また、映像音声記録再生装置10には、モニタ装置40及びアンプ41を介してスピーカー42が接続される。記録媒体11に記録された映像及び音声は、外部同期信号に従って再生され、再生された映像はモニタ装置40に表示され、再生された音声はアンプ41で増幅され、スピーカー42から出力される。
Embodiments of a video / audio recording / reproducing apparatus according to the present invention will be described below in detail with reference to the drawings. FIG. 1 is an overview of a video / audio recording / reproducing
図2は、本発明の一実施形態に係る映像音声記録再生装置10の機能構成を示すブロック図である。図2において、記録媒体11に記録される映像素材の映像データと音声データとは、映像読出し部12及び音声読出し部13によりそれぞれ読み出される。
FIG. 2 is a block diagram showing a functional configuration of the video / audio recording / reproducing
映像読出し部12により読み出された映像データは、映像デコーダ14でデコードされ、映像特殊効果付加部15及び切替部16へ出力される。映像特殊効果付加部15は、受け取った映像データに特殊効果を付加して切替部16へ供給する。ここで、映像データにおける特殊効果とは、文字スーパー重畳や拡大、縮小、回転などといったものである。
The video data read by the
図3は、切替部16の構成を示す模式図である。端末Aは映像特殊効果付加部15と接続し、端末Bはオフとなっており、端末Cは映像デコーダ14と接続し、端末Dは映像バッファ17と接続する。切替部16は、制御部18の指示に従い端末A〜Cを切り替えて映像データを映像バッファ17へ導出する。
FIG. 3 is a schematic diagram illustrating the configuration of the
映像バッファ17は、映像データの入力が開始されると、その旨を制御部18へ通知する。また、映像バッファ17は、制御部18が指定する遅延時間だけ映像データの出力を遅延したのち、この映像データを出力する。
When the input of the video data is started, the
上記音声読出し部13により読み出された音声データは、音声デコーダ19でデコードされ、音声特殊効果付加部110及び切替部111へ出力される。音声特殊効果付加部110は、受け取った音声データに特殊効果を付加して切替部111へ供給する。
The audio data read by the
切替部111は、切替部16と同様の構成をしており、制御部18の指示に従い端末A〜Cを切り替えて音声データを音声バッファ112へ導出する。
The
音声バッファ112は、音声データの入力が開始されると、その旨を制御部18へ通知する。また、音声バッファ112は、制御部18が指定する遅延時間だけ音声データの出力を遅延したのち、この音声データを出力する。
When the input of audio data is started, the
ジッタ吸収部113は、外部同期信号を受け取り、外部同期信号に含まれるジッタを時間的に平滑化して急激な変化を抑える。ジッタ吸収部113は、ジッタを吸収した外部同期信号を制御部18及びフレームカウンタ114へ供給する。また、ジッタ吸収部113は、吸収しきれなかったジッタの量をジッタ量として制御部18へ通知する。フレームカウンタ114は、外部同期信号をカウントして映像素材のフレーム相当のカウント値を生成する。
The jitter absorber 113 receives the external synchronization signal, smooths the jitter included in the external synchronization signal in time, and suppresses a rapid change. The jitter absorber 113 supplies the external synchronization signal that has absorbed the jitter to the
制御部18は、マイクロプロッセッサ等のCPU(Central Processing Unit)から成り、映像音声記録再生装置10における諸制御を行う。
The
制御部18は、外部から再生指示がある場合、映像読出し部12及び音声読出し部13に映像データ及び音声データを同時に読み出させる。
When there is a reproduction instruction from the outside, the
また、制御部18は、映像バッファ17及び音声バッファ112からの通知があるか否かを監視する。制御部18は、映像バッファ17及び音声バッファ112からの通知を受けると、これらの通知を受け取る度にフレームカウンタ114のカウント値を保持部115に保持する。制御部18は、先に入力が開始されたバッファから通知を受けた際のカウント値及び後に入力が開始されたバッファから通知を受けた際のカウント値とから映像と音声との到着時刻の差分時間Tdを算出する。
Further, the
また、制御部18は、映像読出し部12のジッタ量、映像デコーダ14のジッタ量、映像特殊効果付加部15のジッタ量及びジッタ吸収部113からのジッタ量とから映像バッファ17のジッタ吸収時間Tvを算出する。また、制御部18は、音声読出し部13のジッタ量、音声デコーダ19のジッタ量、音声特殊効果付加部110のジッタ量及びジッタ吸収部113からのジッタ量とから音声バッファ112のジッタ吸収時間Taを算出する。そして、制御部18は、ジッタ吸収時間Tv,Taのうち大きい方の値をTjitとする。なお、ジッタ吸収時間を算出する際の読出し部12,13のジッタ量、デコーダ14,19のジッタ量及び特殊効果付加部15,110のジッタ量は、装置の設計時に予め見積もられるジッタ量である。
The
そして、制御部18は、先にデータの入力を開始したバッファに対して、ジッタ吸収時間Tjitに映像と音声との到着時刻の差分時間Tdを加えた時間を遅延時間として指定する。また、制御部18は、後にデータの入力を開始したバッファに対して、ジッタ吸収時間Tjitを遅延時間として指定する。
Then, the
また、制御部18は、映像音声記録再生装置に対して特殊効果をデータに付加する旨の指示又はデータへの特殊効果の付加を停止する旨の指示が入力された場合、バッファ17,112へ導出されるデータのフレーム順序を維持するように切替部16,111を切替制御する。
In addition, when an instruction to add a special effect to data or an instruction to stop adding a special effect to data is input to the audio / video recording / playback apparatus, the
また、制御部18は、映像音声記録再生装置に対して早送り又は逆再生を含む特殊再生が指示された場合、算出したジッタ吸収時間Tjitよりも少ない時間のジッタ吸収時間を用いてバッファ17,112の遅延時間を決定する。
When the special reproduction including fast forward or reverse reproduction is instructed to the video / audio recording / reproducing apparatus, the
さらに、制御部18は、映像音声記録再生装置に対してバッファ17,112からのデータの出力を遅らせる旨の指示が入力された場合、読出し部12,13に記録媒体11に記録されたデータを指示されたフレーム数分だけ重複して読み出させる。
Further, when an instruction to delay the output of data from the
例えば、モニタ装置40に表示される映像が、スピーカー42から出力される音声に対して早い場合、ユーザは映像データの出力を2フレーム分遅らせる旨の指示を映像音声記録再生装置10へ入力する。制御部18は、この指示を受けると、映像読出し部12に映像データを2フレーム分だけ重複して読み出させる。これにより、映像バッファ17から出力される映像データが音声データと比較して2フレーム分だけ遅れ、モニタ装置40に表示される映像とスピーカー42から出力される音声とが同期するようになる。
For example, if the video displayed on the
次に、上記構成における映像音声記録再生装置の処理動作について説明する。図4は、本発明の一実施形態に係る制御部18による処理動作を示すフローチャートである。なお、ここでは、音声データの音声バッファ112への入力が開始されるよりも先に、映像データの映像バッファ17への入力が開始される場合を説明する。
Next, the processing operation of the video / audio recording / reproducing apparatus having the above-described configuration will be described. FIG. 4 is a flowchart showing a processing operation by the
まず、制御部18は、外部から再生指示を受けると、映像データ及び音声データを同時に読み出すよう映像読出し部12及び音声読出し部13へ指示を出す(ステップ4a)。
First, when receiving a reproduction instruction from the outside, the
続いて、制御部18は、先にデータの入力が開始されたバッファからの通知があるか否かを判断する(ステップ4b)。制御部18は、映像バッファ17からの通知を受けると(ステップ4bのYes)、そのときのフレームカウンタ114のカウント値Nvを保持する(ステップ4c)。
Subsequently, the
制御部18は、後にデータの入力が開始されたバッファからの通知があるか否かを判断する(ステップ4d)。制御部18は、音声バッファ112からの通知を受けると(ステップ4dのYes)、そのときのフレームカウンタ114のカウント値Naを保持部115に保持する(ステップ4e)。
The
制御部18は、ジッタ吸収部113からのジッタ量を用いてジッタ吸収時間Tjitを算出すると共に、カウント値Nvとカウント値Nsとの差分から映像と音声との到着時刻の差分時間Tdを算出する(ステップ4f)。制御部18は、ジッタ吸収時間Tjitと差分時間Tdが算出されると、映像バッファ17にジッタ吸収時間Tjit+差分時間Tdを遅延時間として指定すると共に、音声バッファ112にジッタ吸収時間Tjitを遅延時間として指定し(ステップ4g)、処理を終了する。
The
図5〜7は、制御部18による切替部16,111の切替制御を説明する模式図である。なお、ここでは、映像データに対する特殊効果の付加を例に説明する。また、本説明では、映像データに特殊効果を付加することに2フレーム分の処理遅延が発生すると仮定する。
5 to 7 are schematic diagrams for explaining the switching control of the switching
図5は、映像データに特殊効果を付加する際の切替制御を示す。まず、切替部16は、映像デコーダ14からの映像データを映像バッファ17へ導出する。
FIG. 5 shows switching control when a special effect is added to video data. First, the switching
映像読出し部12がフレーム1の映像データを読み出した時点で、映像音声記録再生装置に対して特殊効果を映像データに付加する旨の指示が入力された場合、制御部18は、映像読出し部12及び映像デコーダ14へフレーム2〜5の映像データを倍速で処理するように指示を出す。なお、このときの処理速度の増幅倍数及び増幅した処理速度での処理フレーム数は、特殊効果の付加による処理遅延量によって決定される。映像デコーダ14で倍速処理された映像データは映像バッファ17に保持され、1倍の出力速度で出力される。このため、映像バッファ17における遅延量は一時的に上昇する。
When the
フレーム5の映像データが映像バッファ17に導出されると、制御部18は、切替部16の接続をB端子に切り替え、信号の導出をオフにする。この間、映像バッファ17への映像データの供給が停止する。一方、映像バッファ17からは、通常の出力速度で映像データが出力されるため、映像バッファ17の遅延量は減少し、元の量に戻る。
When the video data of the
制御部18は、切替部16の接続をB端子に切り替えて2フレームが経過すると、切替部16の接続をA端子に切り替える。これにより、フレーム5を境に、特殊効果が付加されたフレーム6’の映像データが映像バッファ17に導出されることとなる。
The
このようにすることで、特殊効果が付加された映像データの出力に切り替える場合であっても、映像バッファ17へ、映像データをそのフレーム構成を乱さずに導出することが可能となる。
In this way, even when switching to the output of video data to which a special effect is added, the video data can be derived to the
図6及び図7は、映像データへの特殊効果の付加を停止する際の切替制御を示す。図6では、映像読出し部12及び映像デコーダ14の処理速度を1倍未満に変更する際の切替制御を示す。まず、切替部16は、映像特殊効果付加部15からの映像データを映像バッファ17へ導出する。
6 and 7 show switching control when stopping the addition of special effects to video data. FIG. 6 shows switching control when the processing speed of the
映像読出し部12がフレーム6の映像データを読み出した時点で、映像音声記録再生装置に対して映像データへの特殊効果の付加を停止する旨の指示が入力された場合、制御部18は、映像読出し部12及び映像デコーダ14へフレーム7,8の映像データを1/2倍で処理するように指示を出す。なお、このときの処理速度の減衰倍数及び減衰した処理速度での処理フレーム数は、特殊効果の付加による処理遅延量によって決まる。
When the
フレーム7’の映像データが映像バッファ17に導出されると、制御部18は、切替部16の接続をC端子に切り替える。これにより、フレーム7’を境に、特殊効果が付加されていないフレーム8の映像データが映像バッファ17に導出されることとなる。
When the video data of the
図7では、映像読出し部12の読出し動作を停止する際の切替制御を示す。まず、切替部16は、映像特殊効果付加部15からの映像データを映像バッファ17へ導出する。
FIG. 7 shows switching control when the reading operation of the
映像読出し部12がフレーム7の映像データを読み出した時点で、映像音声記録再生装置に対して映像データへの特殊効果の付加を停止する旨の指示が入力された場合、制御部18は、映像読出し部12へ読出し動作を停止するように指示を出す。
When the
制御部18は、映像読出し部12の読出し動作を停止させてから2フレームが経過すると、読出し動作を再開させると共に、切替部16の接続を端子Cに切り替える。なお、このとき読出し動作を停止するフレーム数は、特殊効果の付加による処理遅延量によって決まる。これにより、フレーム7’を境に、特殊効果が付加されていないフレーム8の映像データが映像バッファ17に導出されることとなる。
When two frames elapse after the reading operation of the
このようにすることで、映像データへの特殊効果の付加を停止した場合であっても、映像バッファ17へ、映像データをそのフレーム構成を乱さずに導出することが可能となる。
In this way, even when the addition of the special effect to the video data is stopped, the video data can be derived to the
以上のように、上記一実施形態では、映像データが映像バッファ17に到達する際のカウント値と、音声データが音声バッファ112に到達する際のカウント値とから、映像データと音声データとの到達時間の差分を算出する。そして、先にデータが到達したバッファには、この差分時間とジッタ吸収時間との和をバッファの遅延時間とし、後にデータが到達したバッファには、ジッタ吸収時間をバッファの遅延時間とするようにしている。これにより、映像データと音声データとが別々に記録されている場合であっても、フレーム単位でバッファ17,112の遅延時間を調整することが可能となる。
As described above, in the above-described embodiment, the arrival of video data and audio data from the count value when video data reaches the
したがって、本発明によれば、映像データと音声データとがフレーム単位で別々に管理されている場合であっても、タイムスタンプ等の複雑な処理を行わずに、両データを同期させて出力することが可能な映像音声記録再生装置を提供することができる。 Therefore, according to the present invention, even when video data and audio data are separately managed in units of frames, both data are output in synchronization without performing complicated processing such as time stamps. It is possible to provide a video / audio recording / reproducing apparatus capable of performing the above.
また、上記一実施形態では、ジッタ吸収部113で吸収できなかったジッタ量を参照してジッタ吸収時間Tjitを算出するようにしている。従来では、外部同期信号のジッタをシステム全体で見積もり、システム全体のジッタ量を用いてジッタ吸収時間を算出していたため、バッファの遅延時間は無駄に大きなものとなっていた。これに対し、本発明に係る映像音声記録再生装置では、ジッタ吸収部113で吸収できなかったジッタ量を参照してジッタ吸収時間を算出することにより、バッファ17,112に対して必要最低限な遅延時間を設定できるようになっている。したがって、本発明に係る映像音声記録再生装置は、再生処理等の実行処理に対する操作レスポンスを向上することができる。
In the above embodiment, the jitter absorption time Tjit is calculated with reference to the jitter amount that could not be absorbed by the
また、上記一実施形態では、データに特殊効果を付加する際には、読出し部12,13及びデコーダ14,19の処理速度を所定期間だけ増幅させ、バッファ17,112へ導出されるデータのフレーム構造が乱れないように切替部16,111を切り替えるようにしている。また、データへの特殊効果の付加を停止する際には、読出し部12,13及びデコーダ14,19の処理速度を所定期間だけ減衰/停止させ、バッファ17,112へ導出されるデータのフレーム構造が乱れないように切替部16,111を切り替えるようにしている。これにより、データに特殊効果を付加する場合及びデータへの特殊効果の付加を停止する場合であっても、映像と音声の同期を維持したまま再生を継続することができる。したがって、特殊効果を追加した場合であっても、映像と音声との同期を再度取り直す必要がなく、再生を継続したままで特殊効果のオン/オフの効果を確認することができる。
In the above embodiment, when adding special effects to the data, the processing speed of the
また、読出し部12,13及びデコーダ14,19の処理速度を操作することにより、定常状態におけるバッファ17,112の遅延量を一定値に維持することが可能となる。したがって、本発明に係る映像音声記録再生装置は、外部同期信号のジッタに対して映像データ及び音声データの出力が安定することになる。
Further, by operating the processing speeds of the
また、上記一実施形態では、映像音声記録再生装置に対して早送り又は逆再生を含む特殊再生が指示された場合、算出したジッタ吸収時間Tjitよりも少ない時間のジッタ吸収時間を用いてバッファ17,112の遅延時間が決定される。特殊再生の利用時間は、通常再生の利用時間と比較して短時間であると想定できる。そのため、特殊再生では、リップシンクを保つことが必ずしも必要でない。そこで、本発明に係る映像音声記録再生装置は、特殊再生時には、算出値よりも小さいジッタ吸収時間を用いてバッファ17,112の遅延時間を決定することで、特殊再生時における操作レスポンスの向上を実現している。
Further, in the above-described embodiment, when special playback including fast forward or reverse playback is instructed to the video / audio recording / playback apparatus, the
さらに、上記一実施形態では、映像音声記録再生装置に対してバッファ17,112からのデータの出力を遅らせる旨の指示が入力された場合、読出し部12,13に記録媒体11に記録されたデータを指示されたフレーム数分だけ重複して読み出させるようにしている。これにより、バッファ17,112の遅延時間を個別に動的に調整する事が可能である。したがって、モニタ装置40とスピーカー42とが固有の遅延量を有しており、モニタ装置40に表示される映像とスピーカー42から出力される音声とが同期していない場合であっても、映像又は音声のバッファ17,112からの出力を意図的にずらすことにより、モニタ装置40に表示される映像とスピーカー42から出力される音声とを同期させることができる。
Furthermore, in the above-described embodiment, when an instruction to delay the output of data from the
なお、本発明は上記実施形態に限定されるものではない。例えば、上記実施形態では、映像データに対して特殊効果をオン/オフする例について説明したが、音声データに対する特殊効果のオン/オフであっても同様に実施可能である。 The present invention is not limited to the above embodiment. For example, in the above-described embodiment, an example in which the special effect is turned on / off for the video data has been described. However, the special effect for the audio data can be similarly implemented.
また、上記実施形態では、音声データの音声バッファ112への入力が開始されるよりも先に、映像データの映像バッファ17への入力が開始される例を説明したが、映像データの映像バッファ17への入力が開始されるよりも先に、音声データの音声バッファ112への入力が開始される場合であっても同様に実施可能である。
In the above-described embodiment, the example in which the input of the video data to the
さらに、本発明は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。 Furthermore, the present invention can be embodied by modifying the constituent elements without departing from the spirit of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment.
10…映像音声記録再生装置
11…記録媒体
12…映像読出し部
13…音声読出し部
14…映像デコーダ
15…映像特殊効果付加部
16…切替部
17…映像バッファ
18…制御部
19…音声デコーダ
110…音声特殊効果付加部
111…切替部
112…音声バッファ
113…ジッタ吸収部
114…フレームカウンタ
115…保持部
20…カメラ
21…マイク
30…同期信号発生器
40…モニタ装置
41…アンプ
42…スピーカー
DESCRIPTION OF
Claims (16)
前記記録手段から前記映像データを指示に従って読み出す映像読出し手段と、
前記読み出された映像データを復号化する映像復号化手段と、
前記復号化された映像データを指定された第1の遅延時間だけ保持して出力する映像バッファ手段と、
前記記録手段から前記音声データを指示に従って読み出す音声読出し手段と、
前記読み出された音声データを復号化する音声復号化手段と、
前記復号化された音声データを指定された第2の遅延時間だけ保持して出力する音声バッファ手段と、
外部から入力される外部同期信号をカウントして前記映像素材のフレーム相当のカウント値を生成するカウント手段と、
前記外部同期信号に従って前記映像読出し手段に前記映像データを読み出させると共に前記音声読出し手段に前記音声データを読み出させ、前記映像バッファ手段及び前記音声バッファ手段に対して第1及び第2の遅延時間を指定する制御手段と
を具備し、
前記制御手段は、
前記映像バッファ手段及び前記音声バッファ手段のうち、先にデータが入力されたバッファ手段のデータ入力開始時の前記カウント値を第1のカウント値として保持し、
前記映像バッファ手段及び前記音声バッファ手段のうち、後にデータが入力されたバッファ手段のデータ入力開始時の前記カウント値を第2のカウント値として保持し、
前記第1のカウント値と前記第2のカウント値とからデータ入力が開始される差分時間を算出し、
前記データが先に入力されたバッファ手段の遅延時間を、前記差分時間と、前記映像バッファ手段及び前記音声バッファ手段でデータ伝送過程におけるジッタ量を吸収するためのジッタ吸収時間との和から算出し、前記データが後に入力されたバッファ手段の遅延時間を前記ジッタ吸収時間から算出することで前記第1及び第2の遅延時間を指定することを特徴とする映像音声記録再生装置。 Recording means for separately recording video data and audio data of the video material;
Video reading means for reading the video data from the recording means according to an instruction;
Video decoding means for decoding the read video data;
Video buffer means for holding and outputting the decoded video data for a specified first delay time;
Voice reading means for reading the voice data from the recording means according to instructions;
Voice decoding means for decoding the read voice data;
Audio buffer means for holding and outputting the decoded audio data for a specified second delay time;
Count means for counting external synchronization signals input from the outside and generating a count value corresponding to the frame of the video material;
According to the external synchronization signal, the video reading unit reads the video data and the audio reading unit reads the audio data, and the video buffer unit and the audio buffer unit have first and second delays. Control means for designating time,
The control means includes
Of the video buffer means and the audio buffer means, the count value at the start of data input of the buffer means to which data has been input first is held as a first count value,
Of the video buffer means and the audio buffer means, the count value at the start of data input of the buffer means to which data is input later is held as a second count value,
Calculating a difference time at which data input is started from the first count value and the second count value;
The delay time of the buffer means to which the data is input first is calculated from the sum of the difference time and the jitter absorption time for absorbing the jitter amount in the data transmission process by the video buffer means and the audio buffer means. The video / audio recording / reproducing apparatus is characterized in that the first and second delay times are specified by calculating from the jitter absorption time the delay time of the buffer means to which the data is input later.
前記制御手段は、前記ジッタ吸収時間を、標準再生時のジッタ吸収時間よりも低減させて前記第1及び第2の遅延時間を指定することを特徴とする請求項1記載の映像音声記録再生装置。 When special playback including fast forward or reverse playback is instructed,
2. The video / audio recording / reproducing apparatus according to claim 1, wherein the control means designates the first and second delay times by reducing the jitter absorption time from a jitter absorption time during standard reproduction. .
前記外部同期信号のジッタ量を吸収するものであり、吸収できない場合は吸収できないジッタ量を前記制御手段に通知するジッタ吸収手段をさらに具備し、
前記制御手段は、前記通知されたジッタ量を参照して前記ジッタ吸収時間を算出することを特徴とする請求項1記載の映像音声記録再生装置。 When the jitter absorption time is a time for absorbing the jitter amount from the reading of the data recorded in the recording means until the data reaches the buffer means and the jitter amount of the external synchronization signal,
It absorbs the jitter amount of the external synchronization signal, and further comprises a jitter absorption means for notifying the control means of the jitter amount that cannot be absorbed if it cannot be absorbed,
The video / audio recording / reproducing apparatus according to claim 1, wherein the control unit calculates the jitter absorption time with reference to the notified jitter amount.
前記映像復号化手段からの映像データ及び映像特殊効果付加手段からの映像データを受け取り、前記制御手段からの指示に従って前記受け取った映像データを導出する第1の切替手段と
をさらに具備し、
前記制御手段は、前記第1の切替手段を切替制御することを特徴とする請求項1記載の映像音声記録再生装置。 Video special effect adding means for adding a special effect to the decoded video data;
First switching means for receiving the video data from the video decoding means and the video data from the video special effect adding means and deriving the received video data in accordance with an instruction from the control means;
The video / audio recording / reproducing apparatus according to claim 1, wherein the control unit switches and controls the first switching unit.
前記制御手段は、前記特殊効果の付加により発生する予め設定された遅延フレームに応じて前記映像読出し手段及び前記映像復号化手段の処理速度を指定フレーム数の間だけ早め、前記第1の切替手段を切替制御して前記特殊効果の付加による遅延フレームを相殺することを特徴とする請求項4記載の映像音声記録再生装置。 When the addition of the special effect is instructed to the video data when each data is output from the video and audio buffer means,
The control means increases the processing speed of the video reading means and the video decoding means by a specified number of frames in accordance with a preset delay frame generated by adding the special effect, and the first switching means 5. The video / audio recording / reproducing apparatus according to claim 4, wherein the delay frame due to the addition of the special effect is canceled by switching control.
前記制御手段は、前記特殊効果の付加により発生していた予め設定された遅延フレームに応じて前記映像読出し手段及び前記映像復号化手段の処理速度を指定フレーム数の間だけ遅め、前記第1の切替手段を切替制御して前記遅延フレームを相殺することを特徴とする請求項4記載の映像音声記録再生装置。 When it is instructed to stop adding the special effect in the video data when each data is output from the video and audio buffer means,
The control means delays the processing speed of the video reading means and the video decoding means by a specified number of frames according to a preset delay frame generated by the addition of the special effect, and the first 5. The video / audio recording / reproducing apparatus according to claim 4, wherein the switching means is controlled to cancel the delay frame.
前記制御手段は、前記特殊効果の付加により発生していた予め設定された遅延フレームに応じて前記映像読出し手段を指定フレーム数の間だけ停止させ、前記第1の切替手段を切替制御して前記遅延フレームを相殺することを特徴とする請求項4記載の映像音声記録再生装置。 When it is instructed to stop adding the special effect in the video data when each data is output from the video and audio buffer means,
The control means stops the video reading means for a designated number of frames in accordance with a preset delay frame generated by the addition of the special effect, and switches the first switching means to control the switching. 5. The video / audio recording / reproducing apparatus according to claim 4, wherein the delayed frames are canceled out.
前記制御手段は、前記映像読出し手段に前記指定フレーム数分だけ同一の映像データを重複して読み出させることを特徴とする請求項1記載の映像音声記録再生装置。 When there is an instruction to delay the output of the video data by a specified number of frames,
2. The video / audio recording / reproducing apparatus according to claim 1, wherein the control unit causes the video reading unit to repeatedly read the same video data by the designated number of frames.
前記音声復号化手段からの音声データ及び音声特殊効果付加手段からの音声データを受け取り、前記制御手段からの指示に従って前記受け取った音声データを導出する第2の切替手段と
をさらに具備し、
前記制御手段は、前記第2の切替手段を切替制御することを特徴とする請求項1記載の映像音声記録再生装置。 Voice special effect adding means for adding a special effect to the decoded voice data;
A second switching means for receiving the voice data from the voice decoding means and the voice data from the voice special effect adding means, and deriving the received voice data in accordance with an instruction from the control means;
The video / audio recording / reproducing apparatus according to claim 1, wherein the control unit switches and controls the second switching unit.
前記制御手段は、前記特殊効果の付加により発生する予め設定された遅延フレームに応じて前記音声読出し手段及び前記音声復号化手段の処理速度を指定フレーム数の間だけ早め、前記第2の切替手段を切替制御して前記特殊効果の付加による遅延フレームを相殺することを特徴とする請求項9記載の映像音声記録再生装置。 When the addition of the special effect is instructed to the audio data when each data is output from the video and audio buffer means,
The control means increases the processing speed of the voice reading means and the voice decoding means by a specified number of frames in accordance with a preset delay frame generated by the addition of the special effect, and the second switching means The video / audio recording / reproducing apparatus according to claim 9, wherein the delay frame due to the addition of the special effect is canceled by switching control.
前記制御手段は、前記特殊効果の付加により発生していた予め設定された遅延フレームに応じて前記音声読出し手段及び前記音声復号化手段の処理速度を指定フレーム数の間だけ遅め、前記第2の切替手段を切替制御して前記遅延フレームを相殺することを特徴とする請求項9記載の映像音声記録再生装置。 When stopping the addition of the special effect in the audio data when each data is being output from the video and audio buffer means,
The control means delays the processing speed of the voice reading means and the voice decoding means by a specified number of frames according to a preset delay frame generated by the addition of the special effect, and the second The video / audio recording / reproducing apparatus according to claim 9, wherein the delay frame is canceled by switching control of the switching means.
前記制御手段は、前記特殊効果の付加により発生していた予め設定された遅延フレームに応じて前記音声読出し手段を指定フレーム数の間だけ停止させ、前記第2の切替手段を切替制御して前記遅延フレームを相殺することを特徴とする請求項9記載の映像音声記録再生装置。 When stopping the addition of the special effect in the audio data when each data is being output from the video and audio buffer means,
The control means stops the voice reading means for a designated number of frames according to a preset delay frame generated by the addition of the special effect, and controls the second switching means to switch the second switching means. The video / audio recording / reproducing apparatus according to claim 9, wherein the delayed frames are canceled out.
前記制御手段は、前記音声読出し手段に前記指定フレーム数分だけ同一の音声データを重複して読み出させることを特徴とする請求項1記載の映像音声記録再生装置。 When there is an instruction to delay the output of the audio data by a specified number of frames,
2. The video / audio recording / reproducing apparatus according to claim 1, wherein the control unit causes the audio reading unit to repeatedly read the same audio data by the designated number of frames.
前記外部同期信号をカウントして前記映像素材のフレーム相当のカウント値を生成し、
前記映像データを保持する映像バッファ手段及び前記音声データを保持する音声バッファ手段のうち、前記読み出されたデータが先に入力されたバッファ手段のデータ入力開始時の前記カウント値を第1のカウント値として保持し、
前記映像バッファ手段及び前記音声バッファ手段のうち、前記読み出されたデータが後に入力されたバッファ手段のデータ入力開始時の前記カウント値を第2のカウント値として保持し、
前記第1のカウント値と前記第2のカウント値とからデータ入力が開始される差分時間を算出し、
前記データが先に入力されたバッファ手段が当該データを遅延させる遅延時間を、前記差分時間と、前記映像バッファ手段及び前記音声バッファ手段でデータ伝送過程におけるジッタ量を吸収するためのジッタ吸収時間との和から第1の遅延時間として算出し、
前記データが後に入力されたバッファ手段が当該データを遅延させる遅延時間を前記ジッタ吸収時間から第2の遅延時間として算出することを特徴とする映像音声再生方法。 From the recording means for separately recording the video data and the audio data of the video material, the video data and the audio data are read according to the external synchronization signal input from the outside,
Count the external synchronization signal to generate a count value corresponding to the frame of the video material,
Of the video buffer means for holding the video data and the audio buffer means for holding the audio data, the count value at the start of data input of the buffer means to which the read data is input first is set to a first count. Hold as value,
Of the video buffer means and the audio buffer means, the count value at the start of data input of the buffer means to which the read data is input later is held as a second count value,
Calculating a difference time at which data input is started from the first count value and the second count value;
The buffer means to which the data is first input delays the data, the difference time, and the jitter absorption time for absorbing the jitter amount in the data transmission process by the video buffer means and the audio buffer means As the first delay time from the sum of
A video / audio reproduction method, wherein the buffer means to which the data is input later calculates a delay time for delaying the data as a second delay time from the jitter absorption time.
前記ジッタ吸収時間を、標準再生時のジッタ吸収時間よりも低減させて前記第1及び第2の遅延時間を算出することを特徴とする請求項14記載の映像音声再生方法。 When special playback including fast forward or reverse playback is instructed,
15. The video / audio reproduction method according to claim 14, wherein the first and second delay times are calculated by reducing the jitter absorption time from a jitter absorption time during standard reproduction.
前記外部同期信号のジッタを吸収し、吸収できないときは当該吸収できないジッタ量を参照して前記ジッタ吸収時間を算出することを特徴とする請求項14記載の映像音声再生方法。 When the jitter absorption time is a time for absorbing the jitter amount from the reading of the data recorded in the recording means until the data reaches the buffer means and the jitter amount of the external synchronization signal,
15. The video / audio reproduction method according to claim 14, wherein when the jitter of the external synchronization signal is absorbed and cannot be absorbed, the jitter absorption time is calculated with reference to the jitter amount that cannot be absorbed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008239977A JP2010074558A (en) | 2008-09-18 | 2008-09-18 | Video audio recording reproducing apparatus and video audio reproducing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008239977A JP2010074558A (en) | 2008-09-18 | 2008-09-18 | Video audio recording reproducing apparatus and video audio reproducing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010074558A true JP2010074558A (en) | 2010-04-02 |
Family
ID=42205923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008239977A Withdrawn JP2010074558A (en) | 2008-09-18 | 2008-09-18 | Video audio recording reproducing apparatus and video audio reproducing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010074558A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11838673B2 (en) | 2021-12-28 | 2023-12-05 | Roland Corporation | Video processing apparatus, video processing system and video processing method |
-
2008
- 2008-09-18 JP JP2008239977A patent/JP2010074558A/en not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11838673B2 (en) | 2021-12-28 | 2023-12-05 | Roland Corporation | Video processing apparatus, video processing system and video processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10992451B2 (en) | Audio and video playback system and method for playing audio data applied thereto | |
JP3698376B2 (en) | Synchronous playback device | |
JP3053541B2 (en) | Synchronous variable speed playback of digitally recorded audio and video | |
JP2007324829A (en) | Device and method for reproducing physical feeling of vibration | |
JPH0973299A (en) | Mpeg audio reproducing device and mpeg reproducing device | |
KR100490403B1 (en) | Method for controlling buffering of audio stream and apparatus thereof | |
JP2005123789A (en) | Av synchronization system | |
JP2009159373A (en) | Stream multiplexing apparatus, stream multiplexing method and recording medium | |
JP2012105236A (en) | Synchronous control apparatus and synchronous control method | |
JP2007013714A (en) | Information playback apparatus and information playback method | |
JP2010074558A (en) | Video audio recording reproducing apparatus and video audio reproducing method | |
JP4096915B2 (en) | Digital information reproducing apparatus and method | |
JP2013005423A (en) | Video reproducer, video reproduction method and program | |
JP5101668B2 (en) | Digital video recording and playback device | |
JP2006148679A (en) | Data processing device | |
US20070248170A1 (en) | Transmitting Apparatus, Receiving Apparatus, and Reproducing Apparatus | |
JP2011004015A (en) | Playback device and content playback method | |
JP2007049466A (en) | Synchronizing reproducing method and synchronizing reproducing software | |
JP2004312743A (en) | Digital data copying apparatus and method therefor | |
JP2006352587A (en) | Information processor | |
JPH10210483A (en) | Dynamic image reproducing device and method thereof | |
JP2010141414A (en) | Imaging reproducing apparatus | |
WO2018173312A1 (en) | Virtual reality viewing system, reproduction synchronizing method, and virtual reality viewing program | |
JP2003339023A (en) | Moving picture reproducing apparatus | |
JP2006134271A (en) | Reproducing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20111206 |