JP2007043509A - 映像処理装置及び映像処理方法 - Google Patents

Abstract

【課題】 映像信号を入力するフレームレートの揺らぎに影響されることなく、入力された映像信号を、理想とするフレームレートで処理すること。
【解決手段】 入力通知部１０７からタイミング通知部１１４に入力完了が通知されたとき、タイマ１１３の示すシステム時刻Ｔが基準処理時刻ＴＯから許容誤差時間εより早い場合は、タイミング通知部１１４から符号化部１０８に対して処理要求を行わない。システム時刻Ｔが基準処理時刻ＴＯより許容誤差時間εの範囲内で早いか又は遅い場合は、符号化部１０８が基準処理時刻ＴＯをタイムスタンプＴＳとして符号化処理を実行する。システム時刻Ｔが基準処理時刻ＴＯから許容誤差時間εを過ぎても、入力通知部１０７から入力完了が通知されない場合は、符号化部１０８が基準処理時刻ＴＯをタイムスタンプＴＳとして入力バッファ１０６に残っている直前の画像を符号化し、記録する。
【選択図】 図１

Description

本発明は、フレームを単位として映像信号を入力して処理を行い出力する映像処理装置及び映像処理方法に関し、特に、入力と出力の間で同期を取ることなく、理想とするフレームレートから算出された周期に従って出力する映像処理装置及び映像処理方法に関する。

映像と音声を同時に入出力する映像処理装置及び再生装置においては、映像と音声の同期を確立するとともに、装置内の中の入力系と出力系の同期を確立することが重要である。映像と音声の同期が取れていないときは、ビデオを再生したときに違和感があり、入力系と出力系の同期がずれていると、映像の再生品質が悪くなり美しさが損なわれる。

近年、特に高画質の映像が望まれる傾向にあることと、プロセッサが高速化されてきたため、高いフレームレートで映像を処理する映像処理装置及び再生装置が開発されているが、フレームレートが高くなるにつれて装置の中の入力系と出力系の同期を確立することは難しくなる。

また、入力系と出力系のフレームレートが異なる装置もあり、記録又は受信部を入力系とし、表示部を出力系として入力系と出力系が非同期で動作する再生装置において、出力系において画像フレームをスキップまたはホールドし、出力系の動作速度を入力系の動作速度に合致させることで、装置内の入力系と出力系の同期を取らずに正常に映像を再生する再生装置がある(例えば、特許文献１参照)。

特許文献１の再生装置は、図６に示すように、記録系クロック生成部１と、記録又は受信部３と、バッファメモリ５と、復号部７と、復号用メモリ９と、表示系クロック生成部１１と、表示部１３と、モニタ１５と、復号起動制御部１７とを備え、記録系クロック生成部１から生成された記録系クロック２を用いて、記録又は受信部３から読み出された記録データ４をバッファメモリ５に転送し、バッファメモリ５から読み出された被復号画像データ６は復号部７に転送される。

復号部７は、被復号画像データ６を復号部起動パルス１８に従って復号して復号用メモリ９に蓄積し、復号用メモリ９に蓄積された蓄積画像データ８から表示すべき復号画像１０を表示部１３に転送する。表示系クロック生成部１１は、表示系クロック１２を生成して表示部１３に出力する。表示部１３は、表示系クロック１２から表示同期信号１６を生成し、復号画像１０を映像信号に変換して表示画像１４とし、表示同期信号１６に従って表示画像１４をモニタ１５に出力する。

復号起動制御部１７では、表示同期信号１６に従って復号部起動パルス１８を出力するが、記録系クロック２を記録系カウンタ２１でカウントして得られる記録系時刻（Ａ）と、表示同期信号１６のフレームパルスを表示系カウンタ２３でカウントして得られる表示系時刻（Ｃ）とをコンパレータ２５で比較し、表示系時刻（Ｃ）が記録系時刻（Ａ）よりホールド閾値進んだとき、復号部７にホールドパルスを出力し、表示系時刻（Ｃ）が記録系時刻（Ａ）よりスキップ閾値遅れたとき、スキップパルスを出力する。

復号部７は、ホールドパルスを受信すると、復号処理を実行しない。復号処理が実行されないと、復号用メモリ９には直前に出力した蓄積画像データ８が残り、復号部７は、それを復号画像１０として表示部１３に転送してモニタ１５に再出力する。

復号部７は、スキップパルスを受信すると、復号処理した復号画像１０を表示部１３に転送する処理を実行しない。復号画像１０が表示部１３に転送されないと、表示は行われない。

図７は、従来の表示系のフレームレートが記録系のフレームレートより速い場合の記録系と表示系のフレームの転送状態を示した図である。図７において、フレームに付けられた番号は、時間とともにシーケンシャルに変化する映像データを意味する。図７（ａ）に示すように、表示系のフレームレートが記録系のフレームレートより速い場合は、表示系のフレーム表示周期が記録系のフレーム転送周期より短く、表示系時刻（Ｃ）が第９フレームまで進む間に、記録系時刻（Ａ）が第８フレームまで進むため、表示系（Ｃ）は記録系（Ａ）と同期がとれない。

図７（ｂ）に示すように、表示系時刻（Ｃ）の第５フレームを１フレームだけホールドして第５フレームを２度出力すると、その後時間が経過するにつれて表示系時刻（Ｃ）が徐々に記録系時刻（Ａ）に近づき、９フレーム目で記録系時刻（Ａ）と一致する。すなわち、記録系時刻（Ａ）が第８フレームまで進んだときに表示系時刻（Ｃ）も第８フレームまで進むことになり、表示系時刻（Ｃ）と記録系時刻（Ａ）が同期しているように見せることができる。

図８は、従来の表示系のフレームレートが記録系のフレームレートより遅い場合の記録系と表示系のフレームの転送状態を示した図である。図８において、フレームに付けられた番号は、時間とともにシーケンシャルに変化する映像データを意味する。図８（ａ）に示すように、表示系のフレームレートが記録系のフレームレートより遅い場合は、表示系のフレーム表示周期が記録系のフレーム転送周期より長く、表示系時刻（Ｃ）が第８フレームまで進む間に、記録系時刻（Ａ）が第９フレームまで進むので、表示系（Ｃ）は記録系（Ａ）と同期がとれない。

図８（ｂ）に示すように、表示系時刻（Ｃ）の第５フレームを１フレームだけスキップして第５フレームを出力しないようにすると、その後時間が経過するにつれて表示系時刻（Ｃ）が徐々に記録系時刻（Ａ）に近づき、８フレーム目で記録系時刻（Ａ）と一致する。すなわち、記録系時刻（Ａ）が第９フレームまで進んだときに表示系時刻（Ｃ）も第９フレームまで進むことになり、表示系時刻（Ｃ）と記録系時刻（Ａ）が同期しているように見せることができる。
特開平９−３７２０８号公報（図1、図４、図７）

しかしながら、特許文献１は、少なくとも記録データ４が記録又は受信部３に一定の周期で記録又は受信されていなければ、効果を発揮できない。例えば、記録データ４がばらばらに記録又は受信されていれば、図９に示すように、記録又は受信部３から長い周期で記録又は受信されたフレーム１からフレーム３の次に短い周期で記録又は受信されたフレーム４からフレーム６の記録データ４を読み上げたとき、記録系のフレーム転送周期に揺らぎが生じる。

これを特許文献１の再生装置を用いて再生すると、長い周期で記録又は受信されたフレーム１からフレーム３を読み上げるときは、記録系時刻（Ａ）が遅れ、表示系時刻（Ｃ）が記録系時刻（Ａ）よりホールド閾値進んだとき、表示系においてフレーム３がホールドされ、次に、短い周期で記録又は受信されたフレーム４からフレーム６を読み上げるときは、記録系時刻（Ａ）が進み、表示系時刻（Ｃ）が記録系時刻（Ａ）よりスキップ閾値遅れたとき、表示系においてフレーム５がスキップされる。このように、記録データ４を記録又は受信する周期に揺らぎがあると、表示系においてホールドとスキップが繰り返されて有効なフレームデータが失われる。

そこで、記録データ４を一定の周期で記録又は受信するために、映像データを記録又は受信する周期とカメラなどの入力デバイスから映像信号を取り込む周期を同期させようとすると、逆に、映像データを記録又は受信するフレームレートが、映像信号を取り組むフレームレートの精度に影響されることになり、映像信号を取り込むフレームレートが不安定な場合、又は、映像の編集をリアルタイムで行うときのように、フレームによって映像信号を圧縮して符号化処理する時間に違いがある場合などに同じタイミングで映像データを記録又は配信することが難しくなるという問題が生じる。

本発明は、かかる点に鑑みてなされたものであり、映像信号を入力するフレームレートの揺らぎ及び入力された映像信号を処理する時間に影響されることなく、入力された映像信号を理想とするフレームレートで処理して出力することができる映像処理装置及び映像処理方法を提供することを目的とする。

本発明の映像処理装置は、映像データの入力手段と、前記映像データを格納するデータ格納手段と、前記データ格納手段に前記映像データが所定量入力されたとき入力完了を通知する通知手段と、理想とするフレームレートに従って基準周期及び許容誤差時間を算出する算定手段と、前記データ格納手段に格納された前記映像データを処理して出力する処理手段と、前記基準周期から算出した基準処理時刻を前後とした前記許容誤差時間内に前記通知手段から入力完了が通知されたとき、前記処理手段に前記データ格納手段に格納された前記映像データを処理して出力するように要求し、前記基準処理時刻から前記許容誤差時間よりも前に前記通知手段から入力完了が通知されたとき、何も実行せずに次の入力完了をまち、前記基準処理時刻から前記許容誤差時間が過ぎても前記通知手段から入力完了が通知されないとき、直前に出力した映像データを再度出力するよう要求する調整手段と、を備えることを特徴とする。

本発明によれば、映像信号を入力するフレームレートの揺らぎ及び入力された映像信号を処理する時間に影響されず、入力された映像信号を理想とするフレームレートで処理して出力することができるという効果がある。

（実施の形態）
以下、本発明の実施の形態について映像処理装置として処理として記録を行う映像記録装置について図面を参照して詳細に説明する。図１は、本発明の一実施の形態に係る映像記録装置の構成を示すブロック図である。図１に示すように、映像記録装置１０１は、映像を入力する入力系１０２と、入力された映像を記録処理する出力系１０３と、入力系１０２と出力系１０３との間にあって出力系１０３の処理タイミングを一定に維持する調整系１０４とを備える。

入力系１０２は、ビデオカメラなどで撮影された映像を入力する入力部１０５と、入力バッファ１０６と、入力バッファ１０６に１フレーム分の映像信号が格納されたことを通知する入力通知部１０７とを備える。

出力系１０３は、映像信号を圧縮符号化処理して映像データを生成する符号化部１０８と、映像データを格納する出力バッファ１０９と、映像データを記録媒体１１０に記録する記録部１１１とを備える。

調整系１０４は、理想とするフレームレートｆに従って符号化処理の基準周期ＳＳを算出するタイミング算出部１１２と、映像記録装置１０１のシステム時刻Ｔをカウントするタイマ１１３と、基準周期ＳＳに従って出力系１０３の符号化部１０８に符号化処理を要求するタイミング通知部１１４とを備える。

入力系１０２では、入力部１０５から映像信号が入力されて入力バッファ１０６に格納され、入力バッファ１０６に１フレーム分の映像信号が格納されると、入力通知部１０７から調整系１０４のタイミング通知部１１４に入力完了が通知される。その後も、映像信号は継続して入力され、入力バッファ１０６に新しい映像信号が入力されるたびに、入力通知部１０７からタイミング通知部１１４に入力完了が通知される。

調整系１０４のタイミング算出部１１２は、予め以下の式(１)、式(２)に従って、基準周期ＳＳと許容誤差時間εを算出してタイミング通知部１１４に通知する。
基準周期ＳＳ＝１／理想とするフレームレートｆ ・・・（１）
許容誤差時間ε
＝＜基準周期ＳＳ−１フレームの最大符号化処理時間ＴＰｍａｘ
＆
許容誤差時間ε
＝＜基準周期ＳＳ／２ ・・・（２）

タイミング通知部１１４は、始め、入力通知部１０７から映像信号の入力完了を受け、符号化部１０８に対してそのときのタイマ１１３の示すシステム時刻ＴをタイムスタンプＴＳの基準として符号化処理を実行するように要求し、システム時刻Ｔに基準周期ＳＳを加算して、次の基準処理時刻ＴＯを算出する。

入力部１０５から新たに映像信号が入力されてタイミング通知部１１４が入力通知部１０７から入力完了を通知されたとき、タイマ１１３の示すシステム時刻Ｔが基準処理時刻ＴＯから許容誤差時間εより早い場合は、タイミング通知部１１４から符号化部１０８に対して処理要求を行わず、入力バッファ１０６に格納された映像信号を無視する。

タイミング通知部１１４が入力通知部１０７から入力完了を通知されたとき、タイマ１１３の示すシステム時刻Ｔが基準処理時刻ＴＯより許容誤差時間εの範囲内で早いか、又は許容誤差時間εの範囲内で遅い場合は、タイミング通知部１１４から符号化部１０８に対して基準処理時刻ＴＯをタイムスタンプＴＳとして符号化処理を実行するよう要求する。

タイマ１１３の示すシステム時刻Ｔが基準処理時刻ＴＯから許容誤差時間εを過ぎても、入力通知部１０７から入力完了が通知されない場合は、タイミング通知部１１４から符号化部１０８に対して基準処理時刻ＴＯをタイムスタンプＴＳとして入力バッファ１０６に残っている映像データを記録するよう要求する。

出力系１０３の符号化部１０８は、タイミング通知部１１４から符号化処理を要求されたとき、入力バッファ１０６に格納された映像信号を圧縮符号化して映像データを生成し、出力バッファ１０９に格納し、記録部１１１によって出力バッファ１０９に格納された映像データを記録媒体１１０に書き込む。

以上のように構成された映像記録装置１０１の動作について説明する。図２は、本発明の一実施の形態に係る記録装置の動作を説明するフロー図である。図２に示すように、始めに、調整系１０４のタイミング算出部１１２が理想とするフレームレートｆから基準周期ＳＳと許容誤差時間εを算定してタイミング通知部１１４に通知し（ＳＴ２０１）、入力系１０２に対して入力開始を要求する（ＳＴ２０２）。

入力系１０２は、入力開始を受けて入力部１０５から映像信号を入力し、入力バッファ１０６に格納する。１フレーム分の映像信号が入力バッファ１０６に入力されると（ＳＴ１０１；ＹＥＳ）、入力通知部１０７から調整系１０４のタイミング通知部１１４に入力完了を通知する（ＳＴ１０２）。

タイミング通知部１１４は、入力完了を通知されると（ＳＴ２０３；ＹＥＳ）、タイマ１１３の現在のシステム時刻Ｔを基準となるタイムスタンプＴＳとしてセーブし（ＳＴ２０４）、出力系１０３の符号化部１０８に符号化処理を要求し（ＳＴ２０５）、タイムスタンプＴＳに基準周期ＳＳを加算して次の基準処理時刻ＴＯを算出し（ＳＴ２０６）、タイマ１１３のシステム時刻Ｔが基準処理時刻ＴＯ＋許容誤差時間εになるまでの間に入力通知部１０７から入力完了が通知されるのを待つ（ＳＴ２０７；ＮＯ）。

入力系１０２においては、入力部１０５から新たな映像信号が入力され、１フレーム分の映像信号が入力バッファ１０６に格納されると（ＳＴ１０３；ＹＥＳ）、入力通知部１０７から調整系１０４のタイミング通知部１１４に入力完了が通知される（ＳＴ１０４）。

ＳＴ２０７において、入力通知部１０７から入力完了が通知されたときのタイマ１１３のシステム時刻Ｔが、基準処理時刻ＴＯから許容誤差時間εを越えて早い場合は（ＳＴ２０７；ＹＥＳ、ＳＴ２０８；ＹＥＳ、ＳＴ２０９；ＮＯ）、ＳＴ２０７に戻り、入力バッファ１０６に格納されている映像信号を符号化する処理、及び映像データを記録する処理をスキップして、次の入力完了の通知を待つ。

ＳＴ２０７において、入力通知部１０７から入力完了が通知されたときのタイマ１１３のシステム時刻Ｔが、基準処理時刻ＴＯを中心として前後許容誤差時間εの間にあれば（ＳＴ２０７；ＹＥＳ、ＳＴ２０８；ＹＥＳ、ＳＴ２０９；ＹＥＳ）、基準処理時刻ＴＯをタイムスタンプＴＳとしてセーブし（ＳＴ２１０）、出力系１０３の符号化部１０８に符号化処理を要求し（ＳＴ２１１）、現在の基準処理時刻ＴＯに基準周期ＳＳを加算して新たな基準処理時刻ＴＯを算出し（ＳＴ２１２）、ＳＴ２０７に戻って、ＳＴ２０７からＳＴ２１１の処理を繰り返す。

ＳＴ２０７において、タイマ１１３の示すシステム時刻Ｔが基準処理時刻ＴＯから許容誤差時間εを過ぎても、入力通知部１０７から入力完了が通知されない場合は（ＳＴ２０７；ＹＥＳ、ＳＴ２０８；ＮＯ）、タイミング通知部１１４から符号化部１０８に対して基準処理時刻ＴＯをタイムスタンプＴＳとして（ＳＴ２１３）、入力バッファ１０６に残った映像データを符号化し、記録媒体１１０に記録するよう要求し（ＳＴ２１４）、ＳＴ２１２からＳＴ２０７に戻って、ＳＴ２０７からＳＴ２１４の処理を繰り返す。

出力系１０３の符号化部１０８は、タイミング通知部１１４から符号化処理の要求を受けたとき（ＳＴ３０１；ＹＥＳ、ＳＴ３０２；ＹＥＳ）、入力バッファ１０６に蓄積された映像信号を圧縮符号化して映像データを生成して出力バッファ１０９に格納し（ＳＴ３０３）、記録部１１１によって出力バッファ１０９に格納された映像データを記録媒体１１０に書き込む（ＳＴ３０４）。

図３は、本発明の一実施の形態に係る入力系に許容誤差時間の範囲内の揺らぎがある場合の処理を説明するタイム図である。図３において、フレームに付けられた番号は、時間とともにシーケンシャルに変化する映像データを意味し、同じ映像データが格納されるフレームには同じ番号が付けられる。

図３に示すように、始め、入力バッファ１０６にフレーム１が取り込まれると、タイミング通知部１１４に入力完了が通知され、直ちに符号化部１０８に符号化処理が要求される。符号化部１０８では、入力バッファ１０６に格納されたフレーム１に対して圧縮符号化処理を実行し、入力完了が通知されたときのタイマ１１３のシステム時刻ＴをタイムスタンプＴＳとしてフレーム１を記録媒体１１０に記録するが、フレーム１が実際に記録媒体１１０に記録される時刻はｔ１である。タイミング通知部１１４は、フレーム１のタイムスタンプＴＳに基準周期ＳＳを加算して次の基準処理時刻ＴＯを算定する。

次に、フレーム２のように、入力完了が基準処理時刻ＴＯより早くタイミング通知部１１４に通知された場合であっても、入力完了が通知されたときのタイマ１１３のシステム時刻Ｔが基準処理時刻ＴＯから許容誤差時間εの範囲内にあれば、符号化部１０８に符号化処理を要求する。

符号化部１０８では、入力バッファ１０６に格納されたフレーム２に対して圧縮符号化処理を実行し、基準処理時刻ＴＯをタイムスタンプＴＳとしてフレーム２を記録媒体１１０に記録するが、フレーム２が実際に記録媒体１１０に記録される時刻はｔ２である。タイミング通知部１１４は、現在の基準処理時刻ＴＯに基準周期ＳＳを加算して次の基準処理時刻ＴＯを算定する。

次に、フレーム３のように、入力完了が基準処理時刻ＴＯより遅くタイミング通知部１１４に通知された場合であっても、入力完了が通知されたときのタイマ１１３のシステム時刻Ｔが基準処理時刻ＴＯから許容誤差時間εの範囲内にあれば、符号化部１０８に符号化処理を要求する。

符号化部１０８では、入力バッファ１０６に格納されたフレーム３に対して圧縮符号化処理を実行し、基準処理時刻ＴＯをタイムスタンプＴＳとしてフレーム３を記録媒体１１０に記録するが、フレーム３が実際に記録媒体１１０に記録される時刻はｔ３である。タイミング通知部１１４は、現在の基準処理時刻ＴＯに基準周期ＳＳを加算して次の基準処理時刻ＴＯを算定する。

同様の処理を繰り返し、入力完了が通知されたときのタイマ１１３のシステム時刻Ｔが基準処理時刻ＴＯより早い又は遅いが繰り返されるというように入力のフレームレートに揺らぎが生じている場合であっても、許容誤差時間εの範囲内に入力完了が通知されていれば、フレームデータをスキップ又はホールドすることなく順番に記録することができる。

基準処理時刻ＴＯをタイムスタンプＴＳとしてフレームを記録しているので、入力のフレームレートに揺らぎが生じている場合でも、理想とするフレームレートｆから算出された基準周期ＳＳが維持されてフレームデータが記録される。

基準処理時刻ＴＯをタイムスタンプＴＳとして映像データを記録しているので、フレームに記録される映像データによって符号化部１０８における圧縮符号化処理時間が異なっても、理想とするフレームレートｆから算出された基準周期ＳＳが維持されてフレームデータが記録される。

基準処理時刻ＴＯをタイムスタンプＴＳとして映像データを記録しているので、入力のフレームレートに揺らぎが生じている場合でも、フレームによって符号化部１０８における圧縮符号化処理時間が異なっても、タイムスタンプＴＳによって再生を行えば、入力系１０２における入力の揺らぎ及び圧縮符号化処理に要する時間の影響を受けることがなく理想とするフレームレートｆで再生を行うことができる。

図４は、調整系に許容誤差時間を設けない場合の処理を説明するタイム図である。図４において、フレームに付けられた番号は、時間とともにシーケンシャルに変化する映像データを意味し、同じ映像データが格納されるフレームには同じ番号が付けられる。入力系１０２のフレームは、図３と同様の揺らぎをもって入力される。図４に示すように、入力バッファ１０６にフレーム１が取り込まれると、タイミング通知部１１４に入力完了が通知され、直ちに符号化部１０８に符号化処理が要求される。

符号化部１０８では、入力バッファ１０６に格納されたフレーム１の映像信号に対して圧縮符号化処理を実行し、入力完了が通知されたときのタイマ１１３のシステム時刻Ｔをフレーム１のタイムスタンプＴＳとして映像データを記録媒体１１０に記録する。タイミング通知部１１４は、フレーム１のタイムスタンプＴＳに基準周期ＳＳを加算して次の基準処理時刻ＴＯを算定する。

次に、フレーム２のように、基準処理時刻ＴＯより早く入力完了がタイミング通知部１１４に通知されたとき、基準処理時刻ＴＯまで待って符号化部１０８に符号化処理を要求する。符号化部１０８では、入力バッファ１０６に格納されたフレーム２の映像信号に対して圧縮符号化処理を実行し、基準処理時刻ＴＯをフレーム２のタイムスタンプＴＳとして映像データを記録媒体１１０に記録する。タイミング通知部１１４は、現在の基準処理時刻ＴＯに基準周期ＳＳを加算して次の基準処理時刻ＴＯを算定する。

次に、フレーム３のように、基準処理時刻ＴＯより遅く入力完了がタイミング通知部１１４に通知されると、基準処理時刻ＴＯにおいては入力完了が通知されていないので、符号化部１０８に記録のみを要求する。符号化部１０８では、入力バッファ１０６に残された画像を符号化して出力バッファ１０９に出力し、映像データを記録媒体１１０に記録する。許容誤差時間εを設けないで処理を行うと、図３では、記録できていたフレーム３の映像データを失うことになる。

図５は、本発明の一実施の形態に係る入力系に許容誤差時間の範囲を越えた揺らぎがある場合の処理を説明するタイム図である。図５において、フレームに付けられた番号は、時間とともにシーケンシャルに変化する映像データを意味し、同じ映像データが格納されるフレームには同じ番号が付けられる。図５に示すように、始め、入力バッファ１０６にフレーム１が取り込まれると、タイミング通知部１１４に入力完了が通知され、直ちに符号化部１０８に符号化処理が要求される。

符号化部１０８では、入力バッファ１０６に格納されたフレーム１の映像信号に対して圧縮符号化処理を実行し、入力完了が通知されたときのタイマ１１３のシステム時刻ＴをタイムスタンプＴＳとしてフレーム１を記録媒体１１０に記録するが、フレーム１が実際に記録媒体１１０に記録される時刻はｔ１である。タイミング通知部１１４は、フレーム１のタイムスタンプＴＳに基準周期ＳＳを加算して次の基準処理時刻ＴＯを算定する。

次に、フレーム２のように、入力完了が基準処理時刻ＴＯより早くタイミング通知部１１４に通知された場合であって、入力完了が通知されたときのタイマ１１３のシステム時刻Ｔが基準処理時刻ＴＯから許容誤差時間εの範囲外であれば、入力バッファ１０６に格納されたフレーム２の映像信号を圧縮符号化する処理、及び映像データを記録する処理をスキップして、次の入力完了を待ち、フレーム３の入力完了が基準処理時刻ＴＯから許容誤差時間εの範囲内に通知されれば、符号化部１０８に符号化処理を要求する。

符号化部１０８では、入力バッファ１０６に格納されたフレーム３の映像信号に対して圧縮符号化処理を実行し、基準処理時刻ＴＯをタイムスタンプＴＳとしてフレーム３を記録媒体１１０に記録するが、フレーム３が実際に記録媒体１１０に記録される時刻はｔ３である。

許容誤差時間εよりも早く入力完了が通知されたフレーム２の映像信号は、圧縮符号化処理及び記録処理をスキップすることによって、理想とするフレームレートｆを保つことができる。タイミング通知部１１４は、現在の基準処理時刻ＴＯに基準周期ＳＳを加算して次の基準処理時刻ＴＯを算定する。

次に、フレーム４のように、基準処理時刻ＴＯから許容誤差時間ε過ぎても、タイミング通知部１１４に入力完了が通知されないときは、符号化部１０８に記録のみを要求する。

符号化部１０８では、基準処理時刻ＴＯをフレーム３のタイムスタンプＴＳとして出力バッファ１０９に残されたフレーム３を記録媒体１１０に記録するが、フレーム３が実際に記録媒体１１０に記録される時刻はｔ４である。基準処理時刻ＴＯを許容誤差時間ε過ぎてしまっても入力完了が通知されない場合は、入力バッファ１０６に残った画像を符号化し、ホールドして再記録することで、フレーム数の不足を補い、理想とするフレームレートｆを守る。

同様の処理を繰り返し、入力完了が通知されたときのタイマ１１３のシステム時刻Ｔが基準処理時刻ＴＯより許容誤差時間εを超えて早い又は遅いが繰り返されるというように入力のフレームレートに大きな揺らぎが生じている場合であっても、余分な入力フレームをスキップし、不足した出力フレームは入力バッファ１０６に残った画像を再記録することで補い、入力系１０２と出力系１０３の同期を調整系１０４で調整しながらフレームデータを記録することができる。

基準処理時刻ＴＯをタイムスタンプＴＳとして映像データを記録しているので、入力のフレームレートに許容誤差時間εを超える大きな揺らぎが生じている場合でも、理想とするフレームレートｆから算出された基準周期ＳＳが維持されてフレームデータが記録される。

基準処理時刻ＴＯをタイムスタンプＴＳとして映像データを記録しているので、フレームに記録される映像データによって符号化部１０８における圧縮符号化処理時間が異なっても、理想とするフレームレートｆから算出された基準周期ＳＳが維持されてフレームデータが記録される。

基準処理時刻ＴＯをタイムスタンプＴＳとして映像データを記録しているので、入力のフレームレートに大きな揺らぎが生じている場合でも、フレームによって符号化部１０８における圧縮符号化処理時間が異なっても、タイムスタンプＴＳによって再生を行えば、入力系１０２における入力の揺らぎ及び圧縮符号化処理に要する時間の影響を受けることがなく理想とするフレームレートｆで再生を行うことができる。

タイムスタンプＴＳによる再生を行わない場合、映像データは、実際に記録媒体１１０に記録された時刻ｔ１、ｔ２、ｔ３、ｔ４、…に従って再生される。入力のフレームレートに許容誤差時間εを超える大きな揺らぎが生じている場合でも、実際に記録媒体１１０に記録された時刻ｔ１、ｔ２、ｔ３、ｔ４、…は、基準処理時刻ＴＯを中心として許容誤差時間ε＋圧縮符号化処理時間の範囲にあり、実際に記録媒体１１０に記録された時刻ｔ１、ｔ２、ｔ３、ｔ４、…の間隔は、基準周期ＳＳ−２×許容誤差時間εから基準周期ＳＳ＋２×許容誤差時間εの間にあるので、タイムスタンプＴＳによる再生を行わない場合の揺らぎを、理想とするフレームレートｆから−２×許容誤差時間εから＋２×許容誤差時間εの範囲に縮小することができる。

このように、本発明の一実施の形態によれば、映像記録装置１０１は、調整系１０４に理想とするフレームレートｆに従って基準周期ＳＳ及び許容誤差時間εを算出するタイミング算出部１１２と、基準周期ＳＳから算出された基準処理時刻ＴＯの前後許容誤差時間ε内に入力通知部１０７から入力完了が通知されたとき、基準処理時刻ＴＯをタイムスタンプＴＳとして入力された映像データを圧縮符号化処理して記録媒体１１０に記録するよう符号化部１０８に要求し、基準処理時刻ＴＯから許容誤差時間εよりも前に入力通知部１０７から入力完了が通知されたとき、何も行わずに次の入力完了を待ち、基準処理時刻ＴＯから許容誤差時間εが過ぎても入力完了が通知されないとき、基準処理時刻ＴＯをタイムスタンプＴＳとして直前に記録した映像データを再度記録するよう符号化部１０８に要求するタイミング通知部１１４とを設けたので、映像信号を入力する入力系１０２のフレームレートの揺らぎ、及び入力された映像信号の圧縮符号化処理時間に影響されることなく、入力された映像信号を理想とするフレームレートｆで記録媒体１１０に記録することができる。

入力された映像信号を理想とするフレームレートｆで記録媒体１１０に記録することができれば、音声や再生系との同期もとりやすい。

尚、必ず記録部１１１及び記録媒体１１０を備えなければならないというわけではない。例えば、記録部１１１及び記録媒体１１０の代わりにネットワーク等に接続された出力装置を接続して、圧縮符号化処理した映像データを出力バッファ１０９から伝送するような構成にしてもよいし、また、記録部１１１及び記録媒体１１０の先に再生装置などを接続して記録と再生を同時に行うような構成にしてもよい。

尚、理想とするフレームレートｆから基準周期ＳＳを算定して基準処理時刻ＴＯを定めているが、記録部１１１及び記録媒体１１０の代わりにネットワーク等に接続された出力装置を接続した場合、又は記録部１１１及び記録媒体１１０の先に再生装置などを接続した場合などのように、基準周期ＳＳを固定した値としないで、ネットワーク及び再生装置の状態に応じて、必要に応じてそのつど基準周期ＳＳ及びそこから算定される基準処理周期ＴＯを設定する機構を追加してもよい。

尚、許容誤差時間εを大きくすれば揺らぎを吸収しやすくなる。許容誤差時間εについては、式（２）を満たす範囲であれば、自由な値を設定できるが、基準周期ＳＳと同様に必要に応じてそのつど許容誤差時間εを設定する機構を追加してもよい。

尚、タイムスタンプＴＳをつけなくともよい。タイムスタンプＴＳをつけない場合は、図３、及び図５に示すｔ１、ｔ２、ｔ３、ｔ４、…に従ってフレームデータが記録され、タイムスタンプＴＳをつけない場合、及びタイムスタンプＴＳによる再生を行わない場合は、ｔ１、ｔ２、ｔ３、ｔ４、…に従って記録媒体１１０からフレームデータが読み上げられて再生されるので、入力のフレームレートに許容誤差時間εを超える大きな揺らぎが生じている場合、再生時の揺らぎを、理想とするフレームレートｆから−２×許容誤差時間εから＋２×許容誤差時間εの範囲に縮小することができる。

尚、入力部１０５から入力される映像はビデオカメラなどからキャプチャされた画像を想定しているが、ビデオカメラなどからキャプチャされた画像でなくても静止画やグラフィック、復号再生画像、又は編集画像などでもよい。

尚、符号化部１０８では、ＭＰＥＧなどの圧縮符号化処理を想定しているが、他の圧縮方式でもよいし、圧縮符号化処理でなくても、非圧縮方式でもよいし、オーバーレイ処理、ズーム処理、又はフィルタ処理などでもよい。

本発明に係る映像処理装置は、映像信号を入力するフレームレートの揺らぎ及び入力された映像信号を処理する時間に影響されず、入力された映像信号を理想とするフレームレートで処理して出力することができるという効果を有し、フレームを単位として映像信号を入力して処理を行い出力する映像処理装置及び映像処理方法に関し、特に、入力と出力の間で同期を取ることなく、理想とするフレームレートから算出された周期に従って出力する映像処理装置及び映像処理方法に有効であり、具体的には、リアルタイムで入力される映像に対して編集を行う映像編集装置、高フレームレートで高画質のコンテンツ作成を行う映像生成装置などに利用することができる。

本発明の一実施の形態に係る映像記録装置の構成を示すブロック図 本発明の一実施の形態に係る記録装置の動作を説明するフロー図 本発明の一実施の形態に係る入力系に許容誤差時間の範囲内の揺らぎがある場合の処理を説明するタイム図 調整系に許容誤差時間を設けない場合の処理を説明するタイム図 本発明の一実施の形態に係る入力系に許容誤差時間の範囲を越えた揺らぎがある場合の処理を説明するタイム図 従来の再生装置の構成を示すブロック図 従来の表示系のフレームレートが記録系のフレームレートより速い場合の記録系と表示系のフレームの転送状態を示した図 従来の表示系のフレームレートが記録系のフレームレートより遅い場合の記録系と表示系のフレームの転送状態を示した図 従来の入力系に揺らぎがある場合の記録系と表示系のフレームの転送状態を示した図

符号の説明

１０１ 映像記録装置
１０２ 入力系
１０３ 出力系
１０４ 調整系
１０５ 入力部
１０６ 入力バッファ
１０７ 入力通知部
１０８ 符号化部
１０９ 出力バッファ
１１０ 記録媒体
１１１ 記録部
１１２ タイミング算出部
１１３ タイマ
１１４ タイミング通知部

Claims (6)

1. 映像データの入力手段と、
   前記映像データを格納するデータ格納手段と、
   前記データ格納手段に前記映像データが所定量入力されたとき入力完了を通知する通知手段と、
   理想とするフレームレートに従って基準周期及び許容誤差時間を算出する算定手段と、
   前記データ格納手段に格納された前記映像データを処理して出力する処理手段と、
   前記基準周期から算出した基準処理時刻を前後とした前記許容誤差時間内に前記通知手段から入力完了が通知されたとき、前記処理手段に前記データ格納手段に格納された前記映像データを処理して出力するように要求し、前記基準処理時刻から前記許容誤差時間よりも前に前記通知手段から入力完了が通知されたとき、何も実行せずに次の入力完了をまち、前記基準処理時刻から前記許容誤差時間が過ぎても前記通知手段から入力完了が通知されないとき、直前に出力した映像データを再度出力するよう要求する調整手段と、
   を備えることを特徴とする映像処理装置。
2. 前記調整手段は、前記基準処理時刻をタイムスタンプとする情報を付加して出力を要求することを特徴とする請求項１に記載の映像処理装置。
3. 前記算定手段は、前記理想とするフレームレートの逆数に従って前記基準周期を算出し、前記基準周期の半分以下であって前記基準周期から前記データ格納手段に格納された前記映像データの最大処理時間を減算した時間未満の値から前記許容誤差時間を決めることを特徴とする請求項１又は請求項２に記載の映像処理装置。
4. 映像データが入力手段を介してデータ格納手段に所定量格納されたとき入力完了を通知し、前記入力完了が通知された時刻が、理想とするフレームレートに従って算出した基準周期から算定した基準処理時刻を前後として許容誤差時間内であれば、前記データ格納手段に格納された前記映像データを処理して出力し、前記基準処理時刻から前記許容誤差時間よりも前であれば、何も実行せずに次の入力完了をまち、前記基準処理時刻から前記許容誤差時間が過ぎても前記入力完了が通知されなければ、直前に出力した映像データを再度出力することを特徴とする映像処理方法。
5. 前記基準処理時刻をタイムスタンプとする情報を付加して出力することを特徴とする請求項４に記載の映像処理方法。
6. 前記基準周期は、前記理想とするフレームレートの逆数に従って算定され、前記許容誤差時間は、前記基準周期の半分以下であって前記基準周期から前記データ格納手段に格納された前記映像データの最大処理時間を減算した時間未満とすることを特徴とする請求項４又は請求項５に記載の映像処理方法。

Images