JP2004312195A - スローモーション再生システム及びスローモーション再生装置 - Google Patents

Abstract

【課題】受信側のデコーダの負担を増加させることなく、かつ、記録媒体の容量を増加させることなく滑らかなスローモーション再生を可能にするシステム及びスローモーション再生装置を提供する。
【解決手段】レシーバ５が６０ｉの映像（動画）データを通常速度として再生し、また、映像ソース（カメラ１）がレシーバの６０ｉより高速度の６０ｐで撮像して圧縮する場合、フレームレートデータ置き換え部２−１がパケットヘッダ内のＤＴＳとＰＴＳを２倍にして置き換えた後にＭＰＥＧデコーダ３が圧縮データをデコードする。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、動画をいわゆるコマ落としすることなくスローモーション再生するシステム及びスローモーション再生装置に関する。
【０００２】
【従来の技術】
動画（映像）を記録・再生する場合、その画像データを一定時間内に送るべく、その映像の品質に応じた形式の所定のデータ量を受像（記録）側に送る必要がある。この画像データをデジタル信号として送出する規格として、アメリカ映画・テレビ技術協会（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）のＳＭＰＴＥ２５９Ｍがある。この規格は、オリジナルのアナログ規格の信号タイミングをデジタル化するためのものであり、そのフレーム（コマ）の切り替わりのタイミングは、オリジナルのアナログ信号のタイミングをそのままデジタル化したものと等価である。この規格のデータ形式の場合には、信号の再生クロックが、そのデータのサンプリング周波数となり、結果として、そのクロック周波数でその映像のフレームレート（１秒間の映像フレーム数）が決定される。
【０００３】
また、動画の記録再生は、通常、その記録レートをそのまま再生に使用することが基本的な考え方になっている。したがって、オリジナルの再生フレームレートを半分にするには、同じコマをメモリなどの記憶装置を使用して、２度出力するなどの方法を取るのが一般的である。しかし、この方法では、再生画の滑らかさに欠けるという問題が残る。
【０００４】
そこで、上述のようないわゆるコマ落としではない、滑らかな再生映像を供するスローモーション記録再生装置では、再生フレームレートの整数倍（通常２倍若しくは３倍）の記録レートで記録を行い、再生時にはその映像のフレームレートを１／２倍若しくは１／３倍に下げて再生を行うことにより、記録信号の再生速度を１／２倍若しくは１／３倍にすること、例えば６０ｐ（ｐはプログレッシブ映像）の記録信号を３０ｐで再生する、すなわち３０ｐの信号出力タイミングでの再生を行うことで対応してきた。これは、既存の３０ｐ＝６０ｉ（ｉはインターレース映像）を基本とした設備との互換性を考慮したものであると言える。しかしながら、この方式では、ＳＭＰＴＥ２５９Ｍのデータをそのまま記録媒体に記録する必要があり、また再生時にもそのデータ量をそのまま記録媒体から出力する必要があるので、記録媒体の容量や、再生データの送出ライン上の単位時間当たりの伝送量が大きいという制約が伴う。
【０００５】
このため、業務用器材などにおいては、最終的に得ようとするスローモーション速度の整数倍のフレームレートでの映像信号記録を行い、その再生を所定の速度で行うという方法を取っているが、記録した結果の再生時のクロック周波数や、記録データ量の大きさ、単位時間当たりの多量の再生データ、及びその利用側でのダウンレートを行う装置の必要性など、信号処理上の高速処理にまつわる制約、伝送帯域の制約、設備の経済的問題が存在している。
【０００６】
【特許文献】
なし
【０００７】
【発明が解決しようとする課題】
ところで、近年の動画圧縮技術の向上により、動画の圧縮における映像データの削減と、その結果としての単位時間当たりの伝送データの削減は、様々な効果を生み出している。この伝送データの削減において、そのオリジナルデータのフレームレートの情報（若しくは情報表示タイミング）は、必須の構成要素であり、この情報と、画像データのフレーム単位の送出、さらには、画像メモリを用いることで、様々なフレームレートの送出、利用が可能になっている。
【０００８】
そこで、記録媒体の容量を従来のスローモーション装置（システム）と比較して大幅に削減しながら滑らかなスローモーション再生をする方法として、高速度で撮影した映像データをエンコーダにより圧縮して記録媒体を介して伝送し、受信側ではこれをデコーダにより伸長した後にスローモーション再生をする方法が考えられる。しかしながら、この方法では、受信側のデコーダは、高速度で撮影した映像データを撮影時と同じフレームレートで処理する必要があるので、単位時間当たりのデコード量が多くデコーダが高負荷になるという問題点がある。
【０００９】
本発明は上記従来例の問題点に鑑み、受信側のデコーダの負担をスローモーション再生を実現するために増加させることなく、かつ、記録媒体の容量を増加させることなく滑らかなスローモーション再生が可能なスローモーション再生システム及びスローモーション再生装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は上記目的を達成するために、再生フレームレートの整数倍の速度で撮像された映像データを圧縮したデータに対して付加する撮像フレームレートを、再生フレームレート情報に置き換えた後にデコードするようにしたものである。
【００１１】
すなわち本発明によれば、再生フレームレートの整数倍の速度で撮像された映像データを圧縮するとともに、その圧縮された映像データに対して前記映像データの撮像フレームレート情報を付加する手段を有する第１の装置と、
前記撮像フレームレート情報を再生フレームレート情報に置き換える手段を有する第２の装置とを備えたスローモーション再生システムであって、
前記圧縮された映像データを、前記置き換えられた再生フレームレート情報に基づいてデコードするよう構成された、スローモーション再生システムが提供される。
【００１２】
また本発明によれば、再生フレームレートの整数倍の速度で撮像された映像データを圧縮した圧縮データと、前記映像データの撮像フレームレート情報を含むパケットに基づいてスローモーション再生する装置であって、
前記パケット内の撮像フレームレート情報を再生フレームレート情報に置き換える手段と、
前記パケット内の前記圧縮データを、前記置き換えられた再生フレームレート情報に基づいてデコードするデコード手段とを、
備えたスローモーション再生装置が提供される。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係るスローモーション再生システム及びスローモーション再生装置の第１の実施の形態を示すブロック図である。
【００１４】
＜第１の実施の形態＞
図１は一例として、レシーバ５が６０ｉの映像（動画）データを通常速度として再生し、また、映像ソースがレシーバ５の６０ｉより高速度の６０ｐで撮像される高速度撮像カメラ（以下単にカメラと記す）１の場合のシステムを示している。ここで、カメラ１は６０ｐの撮像データをＭＰＥＧ−２方式で圧縮してＭＰＥＧ−２ ＴＳ（トランスポート・ストリーム）として出力するＭＰＥＧ−２エンコーダ（不図示）を備えている。
【００１５】
ところで、ＭＰＥＧ−２方式では、デコーダ側が圧縮データ（Ｉ、Ｐ、Ｂピクチャ）を正しく復号再生可能なように、復号の時間管理情報であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）と、再生出力の時間管理情報であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）がパケットヘッダに付加される。この場合、カメラ１のエンコーダが付加するＤＴＳとＰＴＳは、６０ｐに対応した３３ビットのフレームレート情報である。
【００１６】
図１において、カメラ１が出力する６０ｐのＭＰＥＧ−２ ＴＳは、フレームレートコンバータ２を経由してＭＰＥＧデコーダ３に印加される。フレームレートコンバータ２はフレームレートデータ置き換え部２−１と、ＦＩＦＯメモリであるＭＰＥＧフレームバッファ２−２と、ＦＩＦＯリード／ライトコントローラ２−３を備え、フレームレートデータ置き換え部２−１は、この例では６０ｐを６０ｉ（３０ｐ）でスローモーション再生するので、パケットヘッダ内のＤＴＳとＰＴＳを２倍にして置き換える。
【００１７】
また、ＤＴＳとＰＴＳを２倍に置き換えただけでは、後段のＭＰＥＧデコーダ３の単位時間当たりの受信データ量が減らず、ＭＰＥＧデコーダ３の処理能力（若しくはＭＰＥＧデコーダ３内の画像バッファ３ａの容量）が足りないので、フレームレートコンバータ２では、ＭＰＥＧフレームバッファ２−２とＦＩＦＯリード／ライトコントローラ２−３により、ＭＰＥＧデコーダ３に印加するデータレートを３０ｐに調整する。したがって、ＭＰＥＧデコーダ３は６０ｐではなく３０ｐのＭＰＥＧ−２ ＴＳをデコードするので、ＭＰＥＧデコーダ３の処理能力（若しくはＭＰＥＧデコーダ３内の画像バッファ３ａの容量）を低減させることができる。
【００１８】
ＭＰＥＧデコーダ３によりデコードされた３０ｐの映像データは、フレームバッファ４内の１フレーム分（２フィールド分）のフレームメモリ４ａに格納され、次いでフレームメモリ４ａからは奇数ラインの第１フィールドが読み出された後に偶数ラインの第２フィールドが読み出されて６０ｉの映像データがレシーバ５に印加される。これによりレシーバ５が６０ｉの映像データを再生すると、元の６０ｐの映像がコマ落としされることなく２倍の再生時間でスローモーション再生される。
【００１９】
＜第２の実施の形態＞
第１の実施の形態では、映像ソースであるカメラ１により撮像されている映像をリアルタイムでスローモーション再生するので、連続再生時間がフレームレートコンバータ２内のＭＰＥＧフレームバッファ２−２の容量により制限される。そこで、高速度撮影した映像を圧縮して大容量の記録媒体に記録し、記録媒体からの読み出しを制御することにより、連続再生時間がＭＰＥＧフレームバッファ２−２の容量により制限されないようにすることができる。
【００２０】
図２は映像ソースの他の例として、９０ｐ又は６０ｐで撮像してＭＰＥＧ−２圧縮して記憶装置１−１に記録するカムコーダ１ａを用いた場合を第２の実施の形態として示している。この場合、フレームレートコンバータ２ａ内のＦＩＦＯリード／ライトコントローラ２−３ａは、ＭＰＥＧフレームバッファ２−２のライト／リードを制御する際に、ＭＰＥＧフレームバッファ２−２がフル状態に近づくとカムコーダ１ａ内の記憶装置１−１からのリードをストップし、ＭＰＥＧフレームバッファ２−２内に余裕ができると記憶装置１−１からのリードを再スタートすることにより、連続再生時間がＭＰＥＧフレームバッファ２−２の容量により制限されないようにすることができる。
【００２１】
＜第３の実施の形態＞
第１、第２の実施の形態では、映像ソース側の撮像速度が１種類の場合について説明したが、第３の実施の形態では、複数種類の場合にもレシーバ５の再生速度に対応するように構成されている。図３は一例として、映像ソースとしてカムコーダ１ａを用いた第２の実施の形態の変形例として第３の実施の形態を示し、カムコーダ１ａ内の記憶装置１−１には９０ｐと６０ｐで撮像してＭＰＥＧ−２圧縮されたＴＳが記録されているものとする。
【００２２】
フレームレートコンバータ２ｂにはフレームレート検出部２−４が追加され、フレームレート検出部２−４は記憶装置１−１から読み出されたＴＳからパケットヘッダ内のＤＴＳとＰＴＳを検出して９０ｐモードか６０ｐモードかを判断する。ＦＩＦＯリード／ライトコントローラ２−３ｂはフレームレートデータ置き換え部２−１に対し、９０ｐモードの場合にはＤＴＳとＰＴＳを３倍に置き換えるように制御し、６０ｐモードの場合にはＤＴＳとＰＴＳを２倍に置き換えるように制御する。これにより、映像ソースが９０ｐ、６０ｐにかかわらずレシーバ５には６０ｉ（＝３０ｐ）の映像が印加される。
【００２３】
＜第４の実施の形態＞
図４は第４の実施の形態として、高速度撮影された映像を通常速度で再生（ノーマル再生）するかスロー再生するかを選択可能にしたシステム構成を示している。まず、スロー再生の場合には、第１〜第３の実施の形態と同様に、映像ソース（図４ではカメラ１）からのデータ（６０ｐのＭＰＥＧ−２ ＴＳ）は、フレームレートデータ置き換え部２−１、ＭＰＥＧフレームバッファ２−２、切替器２−５、ＭＰＥＧデコーダ３、フレームバッファ４内のフレームメモリ４−１、切替器４−３を経由してレシーバ５に送られる。
【００２４】
これに対し、ノーマル再生の場合には、カメラ１からの６０ｐのＭＰＥＧ−２ＴＳは、切替器２−５を経由してＭＰＥＧデコーダ３に送られて６０ｐの映像データにデコードされる。この６０ｐの映像データはフレームバッファ４内の２フレーム分のフレームメモリ４−２に格納された後、フレームメモリ４−２からは前フレームの偶数フィールドと後フレームの奇数フィールドが読み出されてレシーバ５に送られる。すなわち、前フレームの奇数フィールドと後フレームの偶数フィールドが間引かれてレシーバ５により通常速度で再生される。ただし、この実施の形態におけるＭＰＥＧデコーダ３は、６０ｐの処理速度に対応する必要がある。
【００２５】
＜第５の実施の形態＞
図５は第５の実施の形態として、映像ソースとして図４におけるカメラ１の代わりに、ビデオデータレコーダ（ＶＤＲ）１ｂを用いたシステム構成を示している。他の構成は図４の第４の実施の形態と同様である。
【００２６】
＜第６の実施の形態＞
図６は第６の実施の形態として、映像ソースとして図４におけるカメラ１の代わりに、ビデオカセットレコーダ（ＶＣＲ）１ｃを用いたシステム構成を示している。他の構成は図４の第４の実施の形態と同様である。
【００２７】
＜第７の実施の形態＞
第１〜第６の実施の形態では、置き換えを行うフレームレート情報としてＤＴＳとＰＴＳを例にしたが、ＭＰＥＧ−２では画像の表示周期を示す４ビットのＦＲＣ（Ｆｒａｍｅ Ｒａｔｅ Ｃｏｄｅ）が定義されているので、ＭＰＥＧデコーダ３がこのＦＲＣに対応する場合にはＦＲＣを置き換えるようにしてもよい。
【００２８】
＜第８の実施の形態＞
第１〜第７の実施の形態では、フレームレート情報の置き換えなどの処理をハードウエアにより実現する場合について説明したが、ソフトウエアでも実現することができる。この場合には、このソフトウエアをＰＣにロードすることにより、ＰＣ側で滑らかなスローモーション再生を可能にすることができる。
【００２９】
図７は第８の実施の形態として、映像信号入力回路を具備したコンピュータとそのソフトウエアに置き換えた例を示し、図７では、一般に流通している６０ｉのＤＶ方式デジタルビデオカメラ用の編集ソフトウエア１０に、その入力データを与えるためのデータキャプチャと、そのデータをＤＶ方式のデータ形式へ変換するための機能を持った編集ソフトウエア用プラグインソフトウエア２０が示されている。編集ソフトウエア１０はＤＶデータインポート部１１と、編集部１２と、編集部１２により編集された映像データを外部のＤＶＤプレーヤ１ｅに出力して記録するためのＤＶＤオーサリング部１３と、編集部１２により編集された映像データを外部のＶＣＲ１ｃやカムコーダ１ｆに出力して記録するためのＤＶデータ書き出し部１４により構成される。
【００３０】
プラグインソフトウエア２０は、ＭＰＥＧ−２ ＴＳキャプチャ部２１と、フレームレートコンバート部２２と、ＭＰＥＧ−２ ＴＳ−ＰＥＳコンバータ２３とＤＶデータエンコーダ２４により構成される。第１〜第６の実施の形態におけるＭＰＥＧフレームバッファ（ＦＩＦＯメモリ）２−２は、コンピュータ上のメモリ若しくはハードディスクなどの記憶装置に相当する。フレームレートコンバータ２は、コンピュータのメモリ上でのフレームレートデータ検索、及び当該データ入れ替えソフトウエアにより実現することができる。
【００３１】
図２のソース側記憶装置１−１は、ソースデータのキャプチャ機能を持ったコンピュータのハードディスク装置などの記憶装置に相当する。すなわち、第８の実施の形態では、いったんコンピュータに取り込んだデータの利用量を適正に管理することで図２の構成に相当する制御を行うことになる。第４〜第６の実施の形態におけるノーマル再生は、キャプチャしたデータをデコード後に間引くソフトウエアにより実現することができる。
【００３２】
＜第９の実施の形態＞
第１〜第８の実施の形態では、ＮＴＳＣ方式の６０ｉレシーバ５でスローモーション再生するために６０ｐなどで高速度撮影する場合について説明したが、本発明はこれに限定されるものではなく、例えばＰＡＬ方式の５０ｉレシーバでスローモーション再生するために５０ｐなどの整数倍で高速度撮影する場合にも適用することができる。
【００３３】
【発明の効果】
以上説明したように本発明によれば、再生フレームレートの整数倍の速度で撮像された映像データを圧縮したデータに対して付加する撮像フレームレートを再生フレームレート情報に置き換えた後にデコードするようにしたので、受信側のデコーダの負担を増加させることなく、かつ、記録媒体の容量を増加させることなく滑らかなスローモーション再生を可能にすることができる。
【図面の簡単な説明】
【図１】本発明に係るスローモーション再生システム及びスローモーション再生装置の第１の実施の形態を示すブロック図である。
【図２】本発明の第２の実施の形態のスローモーション再生システム及びスローモーション再生装置を示すブロック図である。
【図３】本発明の第３の実施の形態のスローモーション再生システム及びスローモーション再生装置を示すブロック図である。
【図４】本発明の第４の実施の形態のスローモーション再生システム及びスローモーション再生装置を示すブロック図である。
【図５】本発明の第５の実施の形態のスローモーション再生システム及びスローモーション再生装置を示すブロック図である。
【図６】本発明の第６の実施の形態のスローモーション再生システム及びスローモーション再生装置を示すブロック図である。
【図７】本発明の第８の実施の形態のスローモーション再生システム及びスローモーション再生装置を示すブロック図である。
【符号の説明】
１ カメラ
１ａ、１ｆ カムコーダ
１ｂ ビデオデータレコーダ（ＶＤＲ）
１ｃ ビデオカセットレコーダ（ＶＣＲ）
１ｅ ＤＶＤプレーヤ
１−１ 記憶装置
２、２ａ、２ｂ フレームレートコンバータ
２−１ フレームレートデータ置き換え部
２−２ ＭＰＥＧフレームバッファ
２−３、２−３ａ、２−３ｂ ＦＩＦＯリード／ライトコントローラ
２−４ フレームレート検出部
２−５、４−３ 切替器
３ ＭＰＥＧデコーダ
３ａ 画像バッファ
４ フレームバッファ
４ａ、４−１、４−２ フレームメモリ
５ レシーバ
１０ 編集ソフトウエア
１１ ＤＶデータインポート部
１２ 編集部
１３ ＤＶＤオーサリング部
１４ ＤＶデータ書き出し部
２０ プラグインソフトウエア
２１ ＭＰＥＧ−２ ＴＳキャプチャ部
２２ フレームレートコンバート部
２３ ＭＰＥＧ−２ ＴＳ−ＰＥＳコンバータ
２４ ＤＶデータエンコーダ

Claims (2)

1. 再生フレームレートの整数倍の速度で撮像された映像データを圧縮するとともに、その圧縮された映像データに対して前記映像データの撮像フレームレート情報を付加する手段を有する第１の装置と、
   前記撮像フレームレート情報を再生フレームレート情報に置き換える手段を有する第２の装置とを備えたスローモーション再生システムであって、
   前記圧縮された映像データを、前記置き換えられた再生フレームレート情報に基づいてデコードするよう構成された、スローモーション再生システム。
2. 再生フレームレートの整数倍の速度で撮像された映像データを圧縮した圧縮データと、前記映像データの撮像フレームレート情報を含むパケットに基づいてスローモーション再生する装置であって、
   前記パケット内の撮像フレームレート情報を再生フレームレート情報に置き換える手段と、
   前記パケット内の前記圧縮データを、前記置き換えられた再生フレームレート情報に基づいてデコードするデコード手段とを、
   備えたスローモーション再生装置。

Images