JP2007043509A - 映像処理装置及び映像処理方法 - Google Patents
映像処理装置及び映像処理方法 Download PDFInfo
- Publication number
- JP2007043509A JP2007043509A JP2005225895A JP2005225895A JP2007043509A JP 2007043509 A JP2007043509 A JP 2007043509A JP 2005225895 A JP2005225895 A JP 2005225895A JP 2005225895 A JP2005225895 A JP 2005225895A JP 2007043509 A JP2007043509 A JP 2007043509A
- Authority
- JP
- Japan
- Prior art keywords
- time
- input
- processing
- video
- allowable error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】 映像信号を入力するフレームレートの揺らぎに影響されることなく、入力された映像信号を、理想とするフレームレートで処理すること。
【解決手段】 入力通知部107からタイミング通知部114に入力完了が通知されたとき、タイマ113の示すシステム時刻Tが基準処理時刻TOから許容誤差時間εより早い場合は、タイミング通知部114から符号化部108に対して処理要求を行わない。システム時刻Tが基準処理時刻TOより許容誤差時間εの範囲内で早いか又は遅い場合は、符号化部108が基準処理時刻TOをタイムスタンプTSとして符号化処理を実行する。システム時刻Tが基準処理時刻TOから許容誤差時間εを過ぎても、入力通知部107から入力完了が通知されない場合は、符号化部108が基準処理時刻TOをタイムスタンプTSとして入力バッファ106に残っている直前の画像を符号化し、記録する。
【選択図】 図1
【解決手段】 入力通知部107からタイミング通知部114に入力完了が通知されたとき、タイマ113の示すシステム時刻Tが基準処理時刻TOから許容誤差時間εより早い場合は、タイミング通知部114から符号化部108に対して処理要求を行わない。システム時刻Tが基準処理時刻TOより許容誤差時間εの範囲内で早いか又は遅い場合は、符号化部108が基準処理時刻TOをタイムスタンプTSとして符号化処理を実行する。システム時刻Tが基準処理時刻TOから許容誤差時間εを過ぎても、入力通知部107から入力完了が通知されない場合は、符号化部108が基準処理時刻TOをタイムスタンプTSとして入力バッファ106に残っている直前の画像を符号化し、記録する。
【選択図】 図1
Description
本発明は、フレームを単位として映像信号を入力して処理を行い出力する映像処理装置及び映像処理方法に関し、特に、入力と出力の間で同期を取ることなく、理想とするフレームレートから算出された周期に従って出力する映像処理装置及び映像処理方法に関する。
映像と音声を同時に入出力する映像処理装置及び再生装置においては、映像と音声の同期を確立するとともに、装置内の中の入力系と出力系の同期を確立することが重要である。映像と音声の同期が取れていないときは、ビデオを再生したときに違和感があり、入力系と出力系の同期がずれていると、映像の再生品質が悪くなり美しさが損なわれる。
近年、特に高画質の映像が望まれる傾向にあることと、プロセッサが高速化されてきたため、高いフレームレートで映像を処理する映像処理装置及び再生装置が開発されているが、フレームレートが高くなるにつれて装置の中の入力系と出力系の同期を確立することは難しくなる。
また、入力系と出力系のフレームレートが異なる装置もあり、記録又は受信部を入力系とし、表示部を出力系として入力系と出力系が非同期で動作する再生装置において、出力系において画像フレームをスキップまたはホールドし、出力系の動作速度を入力系の動作速度に合致させることで、装置内の入力系と出力系の同期を取らずに正常に映像を再生する再生装置がある(例えば、特許文献1参照)。
特許文献1の再生装置は、図6に示すように、記録系クロック生成部1と、記録又は受信部3と、バッファメモリ5と、復号部7と、復号用メモリ9と、表示系クロック生成部11と、表示部13と、モニタ15と、復号起動制御部17とを備え、記録系クロック生成部1から生成された記録系クロック2を用いて、記録又は受信部3から読み出された記録データ4をバッファメモリ5に転送し、バッファメモリ5から読み出された被復号画像データ6は復号部7に転送される。
復号部7は、被復号画像データ6を復号部起動パルス18に従って復号して復号用メモリ9に蓄積し、復号用メモリ9に蓄積された蓄積画像データ8から表示すべき復号画像10を表示部13に転送する。表示系クロック生成部11は、表示系クロック12を生成して表示部13に出力する。表示部13は、表示系クロック12から表示同期信号16を生成し、復号画像10を映像信号に変換して表示画像14とし、表示同期信号16に従って表示画像14をモニタ15に出力する。
復号起動制御部17では、表示同期信号16に従って復号部起動パルス18を出力するが、記録系クロック2を記録系カウンタ21でカウントして得られる記録系時刻(A)と、表示同期信号16のフレームパルスを表示系カウンタ23でカウントして得られる表示系時刻(C)とをコンパレータ25で比較し、表示系時刻(C)が記録系時刻(A)よりホールド閾値進んだとき、復号部7にホールドパルスを出力し、表示系時刻(C)が記録系時刻(A)よりスキップ閾値遅れたとき、スキップパルスを出力する。
復号部7は、ホールドパルスを受信すると、復号処理を実行しない。復号処理が実行されないと、復号用メモリ9には直前に出力した蓄積画像データ8が残り、復号部7は、それを復号画像10として表示部13に転送してモニタ15に再出力する。
復号部7は、スキップパルスを受信すると、復号処理した復号画像10を表示部13に転送する処理を実行しない。復号画像10が表示部13に転送されないと、表示は行われない。
図7は、従来の表示系のフレームレートが記録系のフレームレートより速い場合の記録系と表示系のフレームの転送状態を示した図である。図7において、フレームに付けられた番号は、時間とともにシーケンシャルに変化する映像データを意味する。図7(a)に示すように、表示系のフレームレートが記録系のフレームレートより速い場合は、表示系のフレーム表示周期が記録系のフレーム転送周期より短く、表示系時刻(C)が第9フレームまで進む間に、記録系時刻(A)が第8フレームまで進むため、表示系(C)は記録系(A)と同期がとれない。
図7(b)に示すように、表示系時刻(C)の第5フレームを1フレームだけホールドして第5フレームを2度出力すると、その後時間が経過するにつれて表示系時刻(C)が徐々に記録系時刻(A)に近づき、9フレーム目で記録系時刻(A)と一致する。すなわち、記録系時刻(A)が第8フレームまで進んだときに表示系時刻(C)も第8フレームまで進むことになり、表示系時刻(C)と記録系時刻(A)が同期しているように見せることができる。
図8は、従来の表示系のフレームレートが記録系のフレームレートより遅い場合の記録系と表示系のフレームの転送状態を示した図である。図8において、フレームに付けられた番号は、時間とともにシーケンシャルに変化する映像データを意味する。図8(a)に示すように、表示系のフレームレートが記録系のフレームレートより遅い場合は、表示系のフレーム表示周期が記録系のフレーム転送周期より長く、表示系時刻(C)が第8フレームまで進む間に、記録系時刻(A)が第9フレームまで進むので、表示系(C)は記録系(A)と同期がとれない。
図8(b)に示すように、表示系時刻(C)の第5フレームを1フレームだけスキップして第5フレームを出力しないようにすると、その後時間が経過するにつれて表示系時刻(C)が徐々に記録系時刻(A)に近づき、8フレーム目で記録系時刻(A)と一致する。すなわち、記録系時刻(A)が第9フレームまで進んだときに表示系時刻(C)も第9フレームまで進むことになり、表示系時刻(C)と記録系時刻(A)が同期しているように見せることができる。
特開平9−37208号公報(図1、図4、図7)
しかしながら、特許文献1は、少なくとも記録データ4が記録又は受信部3に一定の周期で記録又は受信されていなければ、効果を発揮できない。例えば、記録データ4がばらばらに記録又は受信されていれば、図9に示すように、記録又は受信部3から長い周期で記録又は受信されたフレーム1からフレーム3の次に短い周期で記録又は受信されたフレーム4からフレーム6の記録データ4を読み上げたとき、記録系のフレーム転送周期に揺らぎが生じる。
これを特許文献1の再生装置を用いて再生すると、長い周期で記録又は受信されたフレーム1からフレーム3を読み上げるときは、記録系時刻(A)が遅れ、表示系時刻(C)が記録系時刻(A)よりホールド閾値進んだとき、表示系においてフレーム3がホールドされ、次に、短い周期で記録又は受信されたフレーム4からフレーム6を読み上げるときは、記録系時刻(A)が進み、表示系時刻(C)が記録系時刻(A)よりスキップ閾値遅れたとき、表示系においてフレーム5がスキップされる。このように、記録データ4を記録又は受信する周期に揺らぎがあると、表示系においてホールドとスキップが繰り返されて有効なフレームデータが失われる。
そこで、記録データ4を一定の周期で記録又は受信するために、映像データを記録又は受信する周期とカメラなどの入力デバイスから映像信号を取り込む周期を同期させようとすると、逆に、映像データを記録又は受信するフレームレートが、映像信号を取り組むフレームレートの精度に影響されることになり、映像信号を取り込むフレームレートが不安定な場合、又は、映像の編集をリアルタイムで行うときのように、フレームによって映像信号を圧縮して符号化処理する時間に違いがある場合などに同じタイミングで映像データを記録又は配信することが難しくなるという問題が生じる。
本発明は、かかる点に鑑みてなされたものであり、映像信号を入力するフレームレートの揺らぎ及び入力された映像信号を処理する時間に影響されることなく、入力された映像信号を理想とするフレームレートで処理して出力することができる映像処理装置及び映像処理方法を提供することを目的とする。
本発明の映像処理装置は、映像データの入力手段と、前記映像データを格納するデータ格納手段と、前記データ格納手段に前記映像データが所定量入力されたとき入力完了を通知する通知手段と、理想とするフレームレートに従って基準周期及び許容誤差時間を算出する算定手段と、前記データ格納手段に格納された前記映像データを処理して出力する処理手段と、前記基準周期から算出した基準処理時刻を前後とした前記許容誤差時間内に前記通知手段から入力完了が通知されたとき、前記処理手段に前記データ格納手段に格納された前記映像データを処理して出力するように要求し、前記基準処理時刻から前記許容誤差時間よりも前に前記通知手段から入力完了が通知されたとき、何も実行せずに次の入力完了をまち、前記基準処理時刻から前記許容誤差時間が過ぎても前記通知手段から入力完了が通知されないとき、直前に出力した映像データを再度出力するよう要求する調整手段と、を備えることを特徴とする。
本発明によれば、映像信号を入力するフレームレートの揺らぎ及び入力された映像信号を処理する時間に影響されず、入力された映像信号を理想とするフレームレートで処理して出力することができるという効果がある。
(実施の形態)
以下、本発明の実施の形態について映像処理装置として処理として記録を行う映像記録装置について図面を参照して詳細に説明する。図1は、本発明の一実施の形態に係る映像記録装置の構成を示すブロック図である。図1に示すように、映像記録装置101は、映像を入力する入力系102と、入力された映像を記録処理する出力系103と、入力系102と出力系103との間にあって出力系103の処理タイミングを一定に維持する調整系104とを備える。
以下、本発明の実施の形態について映像処理装置として処理として記録を行う映像記録装置について図面を参照して詳細に説明する。図1は、本発明の一実施の形態に係る映像記録装置の構成を示すブロック図である。図1に示すように、映像記録装置101は、映像を入力する入力系102と、入力された映像を記録処理する出力系103と、入力系102と出力系103との間にあって出力系103の処理タイミングを一定に維持する調整系104とを備える。
入力系102は、ビデオカメラなどで撮影された映像を入力する入力部105と、入力バッファ106と、入力バッファ106に1フレーム分の映像信号が格納されたことを通知する入力通知部107とを備える。
出力系103は、映像信号を圧縮符号化処理して映像データを生成する符号化部108と、映像データを格納する出力バッファ109と、映像データを記録媒体110に記録する記録部111とを備える。
調整系104は、理想とするフレームレートfに従って符号化処理の基準周期SSを算出するタイミング算出部112と、映像記録装置101のシステム時刻Tをカウントするタイマ113と、基準周期SSに従って出力系103の符号化部108に符号化処理を要求するタイミング通知部114とを備える。
入力系102では、入力部105から映像信号が入力されて入力バッファ106に格納され、入力バッファ106に1フレーム分の映像信号が格納されると、入力通知部107から調整系104のタイミング通知部114に入力完了が通知される。その後も、映像信号は継続して入力され、入力バッファ106に新しい映像信号が入力されるたびに、入力通知部107からタイミング通知部114に入力完了が通知される。
調整系104のタイミング算出部112は、予め以下の式(1)、式(2)に従って、基準周期SSと許容誤差時間εを算出してタイミング通知部114に通知する。
基準周期SS=1/理想とするフレームレートf ・・・(1)
許容誤差時間ε
=<基準周期SS−1フレームの最大符号化処理時間TPmax
&
許容誤差時間ε
=<基準周期SS/2 ・・・(2)
基準周期SS=1/理想とするフレームレートf ・・・(1)
許容誤差時間ε
=<基準周期SS−1フレームの最大符号化処理時間TPmax
&
許容誤差時間ε
=<基準周期SS/2 ・・・(2)
タイミング通知部114は、始め、入力通知部107から映像信号の入力完了を受け、符号化部108に対してそのときのタイマ113の示すシステム時刻TをタイムスタンプTSの基準として符号化処理を実行するように要求し、システム時刻Tに基準周期SSを加算して、次の基準処理時刻TOを算出する。
入力部105から新たに映像信号が入力されてタイミング通知部114が入力通知部107から入力完了を通知されたとき、タイマ113の示すシステム時刻Tが基準処理時刻TOから許容誤差時間εより早い場合は、タイミング通知部114から符号化部108に対して処理要求を行わず、入力バッファ106に格納された映像信号を無視する。
タイミング通知部114が入力通知部107から入力完了を通知されたとき、タイマ113の示すシステム時刻Tが基準処理時刻TOより許容誤差時間εの範囲内で早いか、又は許容誤差時間εの範囲内で遅い場合は、タイミング通知部114から符号化部108に対して基準処理時刻TOをタイムスタンプTSとして符号化処理を実行するよう要求する。
タイマ113の示すシステム時刻Tが基準処理時刻TOから許容誤差時間εを過ぎても、入力通知部107から入力完了が通知されない場合は、タイミング通知部114から符号化部108に対して基準処理時刻TOをタイムスタンプTSとして入力バッファ106に残っている映像データを記録するよう要求する。
出力系103の符号化部108は、タイミング通知部114から符号化処理を要求されたとき、入力バッファ106に格納された映像信号を圧縮符号化して映像データを生成し、出力バッファ109に格納し、記録部111によって出力バッファ109に格納された映像データを記録媒体110に書き込む。
以上のように構成された映像記録装置101の動作について説明する。図2は、本発明の一実施の形態に係る記録装置の動作を説明するフロー図である。図2に示すように、始めに、調整系104のタイミング算出部112が理想とするフレームレートfから基準周期SSと許容誤差時間εを算定してタイミング通知部114に通知し(ST201)、入力系102に対して入力開始を要求する(ST202)。
入力系102は、入力開始を受けて入力部105から映像信号を入力し、入力バッファ106に格納する。1フレーム分の映像信号が入力バッファ106に入力されると(ST101;YES)、入力通知部107から調整系104のタイミング通知部114に入力完了を通知する(ST102)。
タイミング通知部114は、入力完了を通知されると(ST203;YES)、タイマ113の現在のシステム時刻Tを基準となるタイムスタンプTSとしてセーブし(ST204)、出力系103の符号化部108に符号化処理を要求し(ST205)、タイムスタンプTSに基準周期SSを加算して次の基準処理時刻TOを算出し(ST206)、タイマ113のシステム時刻Tが基準処理時刻TO+許容誤差時間εになるまでの間に入力通知部107から入力完了が通知されるのを待つ(ST207;NO)。
入力系102においては、入力部105から新たな映像信号が入力され、1フレーム分の映像信号が入力バッファ106に格納されると(ST103;YES)、入力通知部107から調整系104のタイミング通知部114に入力完了が通知される(ST104)。
ST207において、入力通知部107から入力完了が通知されたときのタイマ113のシステム時刻Tが、基準処理時刻TOから許容誤差時間εを越えて早い場合は(ST207;YES、ST208;YES、ST209;NO)、ST207に戻り、入力バッファ106に格納されている映像信号を符号化する処理、及び映像データを記録する処理をスキップして、次の入力完了の通知を待つ。
ST207において、入力通知部107から入力完了が通知されたときのタイマ113のシステム時刻Tが、基準処理時刻TOを中心として前後許容誤差時間εの間にあれば(ST207;YES、ST208;YES、ST209;YES)、基準処理時刻TOをタイムスタンプTSとしてセーブし(ST210)、出力系103の符号化部108に符号化処理を要求し(ST211)、現在の基準処理時刻TOに基準周期SSを加算して新たな基準処理時刻TOを算出し(ST212)、ST207に戻って、ST207からST211の処理を繰り返す。
ST207において、タイマ113の示すシステム時刻Tが基準処理時刻TOから許容誤差時間εを過ぎても、入力通知部107から入力完了が通知されない場合は(ST207;YES、ST208;NO)、タイミング通知部114から符号化部108に対して基準処理時刻TOをタイムスタンプTSとして(ST213)、入力バッファ106に残った映像データを符号化し、記録媒体110に記録するよう要求し(ST214)、ST212からST207に戻って、ST207からST214の処理を繰り返す。
出力系103の符号化部108は、タイミング通知部114から符号化処理の要求を受けたとき(ST301;YES、ST302;YES)、入力バッファ106に蓄積された映像信号を圧縮符号化して映像データを生成して出力バッファ109に格納し(ST303)、記録部111によって出力バッファ109に格納された映像データを記録媒体110に書き込む(ST304)。
図3は、本発明の一実施の形態に係る入力系に許容誤差時間の範囲内の揺らぎがある場合の処理を説明するタイム図である。図3において、フレームに付けられた番号は、時間とともにシーケンシャルに変化する映像データを意味し、同じ映像データが格納されるフレームには同じ番号が付けられる。
図3に示すように、始め、入力バッファ106にフレーム1が取り込まれると、タイミング通知部114に入力完了が通知され、直ちに符号化部108に符号化処理が要求される。符号化部108では、入力バッファ106に格納されたフレーム1に対して圧縮符号化処理を実行し、入力完了が通知されたときのタイマ113のシステム時刻TをタイムスタンプTSとしてフレーム1を記録媒体110に記録するが、フレーム1が実際に記録媒体110に記録される時刻はt1である。タイミング通知部114は、フレーム1のタイムスタンプTSに基準周期SSを加算して次の基準処理時刻TOを算定する。
次に、フレーム2のように、入力完了が基準処理時刻TOより早くタイミング通知部114に通知された場合であっても、入力完了が通知されたときのタイマ113のシステム時刻Tが基準処理時刻TOから許容誤差時間εの範囲内にあれば、符号化部108に符号化処理を要求する。
符号化部108では、入力バッファ106に格納されたフレーム2に対して圧縮符号化処理を実行し、基準処理時刻TOをタイムスタンプTSとしてフレーム2を記録媒体110に記録するが、フレーム2が実際に記録媒体110に記録される時刻はt2である。タイミング通知部114は、現在の基準処理時刻TOに基準周期SSを加算して次の基準処理時刻TOを算定する。
次に、フレーム3のように、入力完了が基準処理時刻TOより遅くタイミング通知部114に通知された場合であっても、入力完了が通知されたときのタイマ113のシステム時刻Tが基準処理時刻TOから許容誤差時間εの範囲内にあれば、符号化部108に符号化処理を要求する。
符号化部108では、入力バッファ106に格納されたフレーム3に対して圧縮符号化処理を実行し、基準処理時刻TOをタイムスタンプTSとしてフレーム3を記録媒体110に記録するが、フレーム3が実際に記録媒体110に記録される時刻はt3である。タイミング通知部114は、現在の基準処理時刻TOに基準周期SSを加算して次の基準処理時刻TOを算定する。
同様の処理を繰り返し、入力完了が通知されたときのタイマ113のシステム時刻Tが基準処理時刻TOより早い又は遅いが繰り返されるというように入力のフレームレートに揺らぎが生じている場合であっても、許容誤差時間εの範囲内に入力完了が通知されていれば、フレームデータをスキップ又はホールドすることなく順番に記録することができる。
基準処理時刻TOをタイムスタンプTSとしてフレームを記録しているので、入力のフレームレートに揺らぎが生じている場合でも、理想とするフレームレートfから算出された基準周期SSが維持されてフレームデータが記録される。
基準処理時刻TOをタイムスタンプTSとして映像データを記録しているので、フレームに記録される映像データによって符号化部108における圧縮符号化処理時間が異なっても、理想とするフレームレートfから算出された基準周期SSが維持されてフレームデータが記録される。
基準処理時刻TOをタイムスタンプTSとして映像データを記録しているので、入力のフレームレートに揺らぎが生じている場合でも、フレームによって符号化部108における圧縮符号化処理時間が異なっても、タイムスタンプTSによって再生を行えば、入力系102における入力の揺らぎ及び圧縮符号化処理に要する時間の影響を受けることがなく理想とするフレームレートfで再生を行うことができる。
図4は、調整系に許容誤差時間を設けない場合の処理を説明するタイム図である。図4において、フレームに付けられた番号は、時間とともにシーケンシャルに変化する映像データを意味し、同じ映像データが格納されるフレームには同じ番号が付けられる。入力系102のフレームは、図3と同様の揺らぎをもって入力される。図4に示すように、入力バッファ106にフレーム1が取り込まれると、タイミング通知部114に入力完了が通知され、直ちに符号化部108に符号化処理が要求される。
符号化部108では、入力バッファ106に格納されたフレーム1の映像信号に対して圧縮符号化処理を実行し、入力完了が通知されたときのタイマ113のシステム時刻Tをフレーム1のタイムスタンプTSとして映像データを記録媒体110に記録する。タイミング通知部114は、フレーム1のタイムスタンプTSに基準周期SSを加算して次の基準処理時刻TOを算定する。
次に、フレーム2のように、基準処理時刻TOより早く入力完了がタイミング通知部114に通知されたとき、基準処理時刻TOまで待って符号化部108に符号化処理を要求する。符号化部108では、入力バッファ106に格納されたフレーム2の映像信号に対して圧縮符号化処理を実行し、基準処理時刻TOをフレーム2のタイムスタンプTSとして映像データを記録媒体110に記録する。タイミング通知部114は、現在の基準処理時刻TOに基準周期SSを加算して次の基準処理時刻TOを算定する。
次に、フレーム3のように、基準処理時刻TOより遅く入力完了がタイミング通知部114に通知されると、基準処理時刻TOにおいては入力完了が通知されていないので、符号化部108に記録のみを要求する。符号化部108では、入力バッファ106に残された画像を符号化して出力バッファ109に出力し、映像データを記録媒体110に記録する。許容誤差時間εを設けないで処理を行うと、図3では、記録できていたフレーム3の映像データを失うことになる。
図5は、本発明の一実施の形態に係る入力系に許容誤差時間の範囲を越えた揺らぎがある場合の処理を説明するタイム図である。図5において、フレームに付けられた番号は、時間とともにシーケンシャルに変化する映像データを意味し、同じ映像データが格納されるフレームには同じ番号が付けられる。図5に示すように、始め、入力バッファ106にフレーム1が取り込まれると、タイミング通知部114に入力完了が通知され、直ちに符号化部108に符号化処理が要求される。
符号化部108では、入力バッファ106に格納されたフレーム1の映像信号に対して圧縮符号化処理を実行し、入力完了が通知されたときのタイマ113のシステム時刻TをタイムスタンプTSとしてフレーム1を記録媒体110に記録するが、フレーム1が実際に記録媒体110に記録される時刻はt1である。タイミング通知部114は、フレーム1のタイムスタンプTSに基準周期SSを加算して次の基準処理時刻TOを算定する。
次に、フレーム2のように、入力完了が基準処理時刻TOより早くタイミング通知部114に通知された場合であって、入力完了が通知されたときのタイマ113のシステム時刻Tが基準処理時刻TOから許容誤差時間εの範囲外であれば、入力バッファ106に格納されたフレーム2の映像信号を圧縮符号化する処理、及び映像データを記録する処理をスキップして、次の入力完了を待ち、フレーム3の入力完了が基準処理時刻TOから許容誤差時間εの範囲内に通知されれば、符号化部108に符号化処理を要求する。
符号化部108では、入力バッファ106に格納されたフレーム3の映像信号に対して圧縮符号化処理を実行し、基準処理時刻TOをタイムスタンプTSとしてフレーム3を記録媒体110に記録するが、フレーム3が実際に記録媒体110に記録される時刻はt3である。
許容誤差時間εよりも早く入力完了が通知されたフレーム2の映像信号は、圧縮符号化処理及び記録処理をスキップすることによって、理想とするフレームレートfを保つことができる。タイミング通知部114は、現在の基準処理時刻TOに基準周期SSを加算して次の基準処理時刻TOを算定する。
次に、フレーム4のように、基準処理時刻TOから許容誤差時間ε過ぎても、タイミング通知部114に入力完了が通知されないときは、符号化部108に記録のみを要求する。
符号化部108では、基準処理時刻TOをフレーム3のタイムスタンプTSとして出力バッファ109に残されたフレーム3を記録媒体110に記録するが、フレーム3が実際に記録媒体110に記録される時刻はt4である。基準処理時刻TOを許容誤差時間ε過ぎてしまっても入力完了が通知されない場合は、入力バッファ106に残った画像を符号化し、ホールドして再記録することで、フレーム数の不足を補い、理想とするフレームレートfを守る。
同様の処理を繰り返し、入力完了が通知されたときのタイマ113のシステム時刻Tが基準処理時刻TOより許容誤差時間εを超えて早い又は遅いが繰り返されるというように入力のフレームレートに大きな揺らぎが生じている場合であっても、余分な入力フレームをスキップし、不足した出力フレームは入力バッファ106に残った画像を再記録することで補い、入力系102と出力系103の同期を調整系104で調整しながらフレームデータを記録することができる。
基準処理時刻TOをタイムスタンプTSとして映像データを記録しているので、入力のフレームレートに許容誤差時間εを超える大きな揺らぎが生じている場合でも、理想とするフレームレートfから算出された基準周期SSが維持されてフレームデータが記録される。
基準処理時刻TOをタイムスタンプTSとして映像データを記録しているので、フレームに記録される映像データによって符号化部108における圧縮符号化処理時間が異なっても、理想とするフレームレートfから算出された基準周期SSが維持されてフレームデータが記録される。
基準処理時刻TOをタイムスタンプTSとして映像データを記録しているので、入力のフレームレートに大きな揺らぎが生じている場合でも、フレームによって符号化部108における圧縮符号化処理時間が異なっても、タイムスタンプTSによって再生を行えば、入力系102における入力の揺らぎ及び圧縮符号化処理に要する時間の影響を受けることがなく理想とするフレームレートfで再生を行うことができる。
タイムスタンプTSによる再生を行わない場合、映像データは、実際に記録媒体110に記録された時刻t1、t2、t3、t4、…に従って再生される。入力のフレームレートに許容誤差時間εを超える大きな揺らぎが生じている場合でも、実際に記録媒体110に記録された時刻t1、t2、t3、t4、…は、基準処理時刻TOを中心として許容誤差時間ε+圧縮符号化処理時間の範囲にあり、実際に記録媒体110に記録された時刻t1、t2、t3、t4、…の間隔は、基準周期SS−2×許容誤差時間εから基準周期SS+2×許容誤差時間εの間にあるので、タイムスタンプTSによる再生を行わない場合の揺らぎを、理想とするフレームレートfから−2×許容誤差時間εから+2×許容誤差時間εの範囲に縮小することができる。
このように、本発明の一実施の形態によれば、映像記録装置101は、調整系104に理想とするフレームレートfに従って基準周期SS及び許容誤差時間εを算出するタイミング算出部112と、基準周期SSから算出された基準処理時刻TOの前後許容誤差時間ε内に入力通知部107から入力完了が通知されたとき、基準処理時刻TOをタイムスタンプTSとして入力された映像データを圧縮符号化処理して記録媒体110に記録するよう符号化部108に要求し、基準処理時刻TOから許容誤差時間εよりも前に入力通知部107から入力完了が通知されたとき、何も行わずに次の入力完了を待ち、基準処理時刻TOから許容誤差時間εが過ぎても入力完了が通知されないとき、基準処理時刻TOをタイムスタンプTSとして直前に記録した映像データを再度記録するよう符号化部108に要求するタイミング通知部114とを設けたので、映像信号を入力する入力系102のフレームレートの揺らぎ、及び入力された映像信号の圧縮符号化処理時間に影響されることなく、入力された映像信号を理想とするフレームレートfで記録媒体110に記録することができる。
入力された映像信号を理想とするフレームレートfで記録媒体110に記録することができれば、音声や再生系との同期もとりやすい。
尚、必ず記録部111及び記録媒体110を備えなければならないというわけではない。例えば、記録部111及び記録媒体110の代わりにネットワーク等に接続された出力装置を接続して、圧縮符号化処理した映像データを出力バッファ109から伝送するような構成にしてもよいし、また、記録部111及び記録媒体110の先に再生装置などを接続して記録と再生を同時に行うような構成にしてもよい。
尚、理想とするフレームレートfから基準周期SSを算定して基準処理時刻TOを定めているが、記録部111及び記録媒体110の代わりにネットワーク等に接続された出力装置を接続した場合、又は記録部111及び記録媒体110の先に再生装置などを接続した場合などのように、基準周期SSを固定した値としないで、ネットワーク及び再生装置の状態に応じて、必要に応じてそのつど基準周期SS及びそこから算定される基準処理周期TOを設定する機構を追加してもよい。
尚、許容誤差時間εを大きくすれば揺らぎを吸収しやすくなる。許容誤差時間εについては、式(2)を満たす範囲であれば、自由な値を設定できるが、基準周期SSと同様に必要に応じてそのつど許容誤差時間εを設定する機構を追加してもよい。
尚、タイムスタンプTSをつけなくともよい。タイムスタンプTSをつけない場合は、図3、及び図5に示すt1、t2、t3、t4、…に従ってフレームデータが記録され、タイムスタンプTSをつけない場合、及びタイムスタンプTSによる再生を行わない場合は、t1、t2、t3、t4、…に従って記録媒体110からフレームデータが読み上げられて再生されるので、入力のフレームレートに許容誤差時間εを超える大きな揺らぎが生じている場合、再生時の揺らぎを、理想とするフレームレートfから−2×許容誤差時間εから+2×許容誤差時間εの範囲に縮小することができる。
尚、入力部105から入力される映像はビデオカメラなどからキャプチャされた画像を想定しているが、ビデオカメラなどからキャプチャされた画像でなくても静止画やグラフィック、復号再生画像、又は編集画像などでもよい。
尚、符号化部108では、MPEGなどの圧縮符号化処理を想定しているが、他の圧縮方式でもよいし、圧縮符号化処理でなくても、非圧縮方式でもよいし、オーバーレイ処理、ズーム処理、又はフィルタ処理などでもよい。
本発明に係る映像処理装置は、映像信号を入力するフレームレートの揺らぎ及び入力された映像信号を処理する時間に影響されず、入力された映像信号を理想とするフレームレートで処理して出力することができるという効果を有し、フレームを単位として映像信号を入力して処理を行い出力する映像処理装置及び映像処理方法に関し、特に、入力と出力の間で同期を取ることなく、理想とするフレームレートから算出された周期に従って出力する映像処理装置及び映像処理方法に有効であり、具体的には、リアルタイムで入力される映像に対して編集を行う映像編集装置、高フレームレートで高画質のコンテンツ作成を行う映像生成装置などに利用することができる。
101 映像記録装置
102 入力系
103 出力系
104 調整系
105 入力部
106 入力バッファ
107 入力通知部
108 符号化部
109 出力バッファ
110 記録媒体
111 記録部
112 タイミング算出部
113 タイマ
114 タイミング通知部
102 入力系
103 出力系
104 調整系
105 入力部
106 入力バッファ
107 入力通知部
108 符号化部
109 出力バッファ
110 記録媒体
111 記録部
112 タイミング算出部
113 タイマ
114 タイミング通知部
Claims (6)
- 映像データの入力手段と、
前記映像データを格納するデータ格納手段と、
前記データ格納手段に前記映像データが所定量入力されたとき入力完了を通知する通知手段と、
理想とするフレームレートに従って基準周期及び許容誤差時間を算出する算定手段と、
前記データ格納手段に格納された前記映像データを処理して出力する処理手段と、
前記基準周期から算出した基準処理時刻を前後とした前記許容誤差時間内に前記通知手段から入力完了が通知されたとき、前記処理手段に前記データ格納手段に格納された前記映像データを処理して出力するように要求し、前記基準処理時刻から前記許容誤差時間よりも前に前記通知手段から入力完了が通知されたとき、何も実行せずに次の入力完了をまち、前記基準処理時刻から前記許容誤差時間が過ぎても前記通知手段から入力完了が通知されないとき、直前に出力した映像データを再度出力するよう要求する調整手段と、
を備えることを特徴とする映像処理装置。 - 前記調整手段は、前記基準処理時刻をタイムスタンプとする情報を付加して出力を要求することを特徴とする請求項1に記載の映像処理装置。
- 前記算定手段は、前記理想とするフレームレートの逆数に従って前記基準周期を算出し、前記基準周期の半分以下であって前記基準周期から前記データ格納手段に格納された前記映像データの最大処理時間を減算した時間未満の値から前記許容誤差時間を決めることを特徴とする請求項1又は請求項2に記載の映像処理装置。
- 映像データが入力手段を介してデータ格納手段に所定量格納されたとき入力完了を通知し、前記入力完了が通知された時刻が、理想とするフレームレートに従って算出した基準周期から算定した基準処理時刻を前後として許容誤差時間内であれば、前記データ格納手段に格納された前記映像データを処理して出力し、前記基準処理時刻から前記許容誤差時間よりも前であれば、何も実行せずに次の入力完了をまち、前記基準処理時刻から前記許容誤差時間が過ぎても前記入力完了が通知されなければ、直前に出力した映像データを再度出力することを特徴とする映像処理方法。
- 前記基準処理時刻をタイムスタンプとする情報を付加して出力することを特徴とする請求項4に記載の映像処理方法。
- 前記基準周期は、前記理想とするフレームレートの逆数に従って算定され、前記許容誤差時間は、前記基準周期の半分以下であって前記基準周期から前記データ格納手段に格納された前記映像データの最大処理時間を減算した時間未満とすることを特徴とする請求項4又は請求項5に記載の映像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005225895A JP2007043509A (ja) | 2005-08-03 | 2005-08-03 | 映像処理装置及び映像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005225895A JP2007043509A (ja) | 2005-08-03 | 2005-08-03 | 映像処理装置及び映像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007043509A true JP2007043509A (ja) | 2007-02-15 |
Family
ID=37801067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005225895A Pending JP2007043509A (ja) | 2005-08-03 | 2005-08-03 | 映像処理装置及び映像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007043509A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008129648A1 (ja) * | 2007-04-13 | 2008-10-30 | Mitsubishi Electric Corporation | フレームレート変換装置、フレームレート変換方法及び動画像符号化装置 |
CN113491877A (zh) * | 2020-04-01 | 2021-10-12 | 华为技术有限公司 | 触发信号生成方法及装置 |
-
2005
- 2005-08-03 JP JP2005225895A patent/JP2007043509A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008129648A1 (ja) * | 2007-04-13 | 2008-10-30 | Mitsubishi Electric Corporation | フレームレート変換装置、フレームレート変換方法及び動画像符号化装置 |
JPWO2008129648A1 (ja) * | 2007-04-13 | 2010-07-22 | 三菱電機株式会社 | フレームレート変換装置、フレームレート変換方法及び動画像符号化装置 |
CN113491877A (zh) * | 2020-04-01 | 2021-10-12 | 华为技术有限公司 | 触发信号生成方法及装置 |
CN113491877B (zh) * | 2020-04-01 | 2023-12-08 | 华为技术有限公司 | 触发信号生成方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5011017B2 (ja) | 画像復号化装置 | |
JP2010206593A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2007043509A (ja) | 映像処理装置及び映像処理方法 | |
JP3078991B2 (ja) | 低遅延モード画像復号方法および装置 | |
JP4242581B2 (ja) | データ変換装置 | |
KR101526255B1 (ko) | 전자 기기, 동영상 재생 장치, 동영상 디코딩 방법, 및 기록 매체 | |
JP4289055B2 (ja) | トランスコーダおよびこれを用いた記録再生装置 | |
JP3134672B2 (ja) | 映像信号のコマ送り再生処理装置 | |
JP4147767B2 (ja) | 連続情報の記録方法および記録装置 | |
JP3134588B2 (ja) | 圧縮画像データと圧縮音響データとの同期再生方法 | |
JPH10210483A (ja) | 動画像再生装置及びその方法 | |
JPH11225332A (ja) | 画像復号方法及び画像復号装置 | |
JP3897783B2 (ja) | 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
JP2009010714A (ja) | 動画像符号化データ変換装置 | |
JP2000197063A (ja) | 動画像圧縮符号化装置及び動画像復号装置 | |
JP2005260440A (ja) | 画像音声記録再生装置 | |
JP2824173B2 (ja) | フレームメモリのリフレッシュ方法 | |
JP2001268566A (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記録媒体 | |
JP2004032495A (ja) | 画像処理装置 | |
JPH06113198A (ja) | 編集装置及び編集信号復号化装置 | |
JP2006128887A (ja) | マルチメディアデータ記録装置及びマルチメディアデータ記録方法 | |
JP2013219611A (ja) | 符号化装置および符号化方法、ならびに、復号装置および復号方法 | |
JP2020141207A (ja) | 撮像装置及びその制御方法、並びにプログラム | |
JP2004289484A (ja) | 映像再生装置 | |
JP2007227993A (ja) | トランスコーダ及びトランスコード方法 |