JP2005159525A - デジタル再生装置または再生方法 - Google Patents

Abstract

【課題】間欠的にフレームが再生される特殊再生で、再生画面が滑らかに変化するようにする。
【解決手段】記録媒体に記録されたデジタル映像ビットストリーム信号を通常のフレーム周波数より遅く間欠的に再生する特殊再生を行う際に、間欠的に再生された映像デジタルビットストリーム信号に、ダミーピクチャデータを挿入することで、再生された間欠画像の中間ピクチャを補間する画像を生成することができる。これらを通常にデコードすると、滑らかな再生映像信号を得ることができる。
【選択図】図１

Description

本発明は、デジタル映像信号再生装置に関するものである。

デジタル化されて伝送される映像や音声といった情報を光ディスク等の記録媒体に記録するデジタル記録再生装置が実用化されている。これら記録媒体に記録されるデジタル映像ビットストリームは、その記録媒体容量を効率的に利用するために、例えばMPEG2（Motion Picture Expert Group）等により、フレーム内データ圧縮やフレーム間データ圧縮等により圧縮されて記録されることが一般的である。また、デジタル再生装置により、記録された記録媒体を再生する際には通常再生に加えて、通常とは異なる速度での、早送り再生やスロー再生といった特殊再生を行うことがある。

例えば、上記デジタル再生装置において、早送り再生を行う場合、記録媒体に記録されたデータを順次読み飛ばしながら、再生画像を進めていく必要がある。しかし、MPEG2等により圧縮されたデジタル映像ビットストリームにおいては、フレーム内圧縮データのフレームのみ、再生されたデータだけでデコードすることができ、フレーム間圧縮データのフレームは、再生されたデータだけでデコードすることはできない。したがって、フレーム内圧縮画像のみを間欠的に再生することで、早送り再生を行う機器が考案または実用化されている。

しかし、間欠的に再生された画像が再生された場合、早送り再生を行っている場合なのに、その再生速度も視聴者にとってはわからなかったり、画面の変化が乏しいなどにより違和感を生じたりする原因となり、欠点となっていた。この欠点を改善すべく、間欠的に再生された再生フレーム画面の間の映像を補間により生成し、出画画像を滑らかに変化させる再生装置が考案されている（例えば特許文献特開平７−２２２１０６）。

従来の再生装置について、図６を用いて説明する。図６において、８７は画像再生装置、８８は再生処理回路、８９はスイッチ、９０はメモリ、９１はフレーム作成回路、９２はスイッチ、９３は出力端子である。

８７では、例えば記録媒体に記録された画像信号が再生され、８８の再生処理回路で再生画像を得る。通常再生時にはスイッチ８９により、８８で得られた再生画像が出力端子９３からそのまま出力される。また、例えば高速再生画像で、例えばMPEG2−TS（Transport Stream）のようなビットストリームを記録再生する装置においては、高速早送り再生を行う場合、フレーム内の画像データのみでエンコードされたI（Intra）フレームのみを再生して、デコードして出画する。しかし、Iフレームは時間的に離れたフレーム画像であり、再生画像はとびとびの映像が間欠的に出力されることになる。このように、フレームが間欠的に更新されるような画像が８７、８８から再生される場合、８９のスイッチにより出画経路が切り替わる。この場合、再生画像は一旦メモリ９０に蓄えられ、９１のフレーム作成回路によりメモリ９０からのデータを用いて、間欠画像の中間画像が作成され、出力端子９３から出力される。この際に、間欠的に再生されるフレーム画像が、クロスフェードのように徐々に画面が切り替わるような中間画像をフレーム作成回路９１で作成することで、画像が滑らかに切り替わるような再生画像を得ることが可能である。

しかし、この場合には画像再生装置から再生され、再生処理回路８８を通った画像に対して、フレーム作成回路９１やメモリ９０といった追加装置が必要となり、制御システムの複雑化を招いたり、機器コストが大きく上昇したりするという問題があった。
特開平７−２２２１０６号公報（第６頁、第１図）

解決しようとする問題点は、特殊再生等で、再生画像が間欠的に間隔をあけて再生されてしまう点である。

本発明は、間欠的に再生される再生画像に対して、差分情報が０の固定のダミーピクチャデータを挿入するだけで、簡便に低コストで滑らかな再生画像を得ることができることを最も主要な特徴とする。

本発明のデジタル再生装置は、固定のダミーピクチャデータを挿入するという簡便な方法により、低コストで間欠的に再生される再生画像を滑らかに出画することができるという利点がある。

再生画像が間欠的にしか得られない特殊再生時のような場合であっても、固定データを挿入するという簡便な方法により、再生画像を補間することで、滑らかな再生画像を得ることが可能となる。

（実施の形態１）
図１は、本発明装置の実施の形態１のブロック図である。本図を用いて本発明の実施の形態１について説明する。１は記録メディア、２は再生手段、３はマイクロコントローラ、４はストリーム分離手段、５はダミーピクチャデータ挿入手段、６はビデオデコーダ、７は映像や音声データを記憶するためのメモリであるフレーム記憶手段、８はビデオ出力端子、９はオーディオデコーダ、１０は音声出力端子である。

記録メディアに記録された映像や音声信号は、マイクロコントローラ３の指示により再生手段２により再生される。再生されたデータは、例えばMPEG2−TS（Transport Stream）のようなビットストリームであり、４のストリーム分離手段により映像データと音声データに分離される。通常再生時には５のダミーピクチャデータ挿入手段は何もせずに、６のビデオデコーダでフレーム記憶手段７を用いてデコードされ、再生映像信号を得て、ビデオ出力端子８から出力する。

音声データはオーディオデコーダ９によりデコードされ、音声出力端子１０から出力される。

以上のような構成で、例えば高速早送り再生を行う場合、MPEG2−TSでは、再生する画像データとして、フレーム内の画像データのみでエンコードされたI（Intra）フレームのみを選択的に再生して、デコードして出画する。しかし、Iフレームは時間的に離れたフレーム画像であり、再生画像は時間的に離れた映像が、間欠的に出力されることになる。

そこで、本発明の実施の形態１の再生装置では、例えば高速再生時に、再生されたIフレームデータをビデオデコーダ６に入力する前に、ダミーピクチャ挿入手段５により、ダミーデータを挿入し、間欠的に出力された再生画像を補間する。

図２（ａ）において、１１，１３，１５が再生されたＩフレームデータである。これら再生データがビデオデコーダ６に入力される際に、ダミーピクチャ挿入手段５は、マイクロコントローラ３の指示により、各Ｉフレームデータの間にダミーデータ、１２，１４，１６を挿入する。

本例では、ダミーデータ１２，１４，１６は、画像の差分情報が‘０’である、ＭＰＥＧ２のＢ（Bidirectionally Predictive Coded）ピクチャデータの構成をとるものとする。差分情報が‘０’のBピクチャデータは、例えば、画素数に応じたslice_headerと、係数データをもたないEOB（End of macroblock）のみからなるmacroblock列で構成したデータで、画素数に応じた最小限の固定データとして実現できる。あらかじめ、ダミーピクチャ挿入手段５に、マイクロコントローラ３から画素数を指示するまたは画素数に応じた固定データを指示することで、挿入される画像の差分情報が‘０’のBピクチャデータを固定のダミーデータとして図２のように挿入することが可能となる。

図２（ｂ）にはビデオデコーダ６が、フレーム記憶手段７を用いてデコードし、出力端子８から出力する画像データフレームを示している。１７，１９，２１はそれぞれ再生されたIフレームデータ１１，１３，１５をデコードした画像データである。ビデオデコーダ６は、マイクロコントローラ３の指示により、前後両方向予測画像フレームを決定し、Bピクチャデータをデコードする。例えば１４に挿入されたダミーBピクチャデータは、先にデコードされ、フレーム記憶手段７上に記憶されている、１７と１９のIフレームデータを両方向参照フレームとして指示することで、１８の画像として再生される。このとき、１４のダミーBピクチャデータは参照フレームとの差分情報が‘０’であるため、１８に示すように、Iピクチャ１７と１９の画像データの中間画像、すなわち両フレームの画素データの平均値をとった画像となる。つまり、１８に再生される画像は、Iフレームデータ１７と１９の２つの画像が１／２ずつ混合された画像となる。

同様に、ダミーBピクチャデータ１６により再生される画像は２０であり、これはIフレームデータ１９と２１の平均画像となる。同様に２２もダミーBピクチャデータにより再生される。

図２（ｃ）には上記図２（ｂ）でデコードされた再生画像を示す。ビデオデコーダ６は、マイクロコントローラ３の指示により、フレーム記憶手段７上のフレーム画像を順次出力端子８から出力させる。２３，２５，２７は１７，１９，２１のデコード結果であり、２４，２６，２８が、ダミーBピクチャデータにより生成された平均画像である。これら図に示す順番に連続して出力することで、間欠的に再生されたIピクチャデータが、より滑らかに切り替わるような出力画像が得られる。高速再生で、大きく時間の離れた画像データが間欠的に再生されて、画像の内容がまったく異なる場合であっても、再生画像の切り替わりが滑らかに接続されて表示することが可能となる。

図３は図２と同様だが、より画像を滑らかに表示する場合の例である。本例は、ＭＰＥＧ２のデコード順序、出画順序とは異なるが、ビデオデコーダ６をマイクロコントローラ３により制御することで実現できる。

図３（ａ）はビデオデコーダ６に入力される再生Ｉフレームデータ２９，３３，３７と、ダミーピクチャ挿入手段５で挿入されたダミーＢピクチャデータ３０〜３２、３４〜３６、３８〜４０である。

図３（ｂ）はこれら再生データのビデオデコード及び出力順序を示す図である。Ｉフレームデータ２９，３３，３７はデコードされて４３，４７，５１となる。５５もＩフレームデータである。また、ダミーＢピクチャデータ３４，３５，３６がビデオデコーダ６に入力され、まず３４が参照フレームを４３，４７としてデコードされ、フレーム記憶手段７上に保持される。このとき、４１に示すように、４３，４７の平均画像４５がデコードされることになる。

次に入力されるダミーＢピクチャデータ３５は、マイクロコントローラ３により、参照フレームを４３、４５としてデコードすることで、４４の画像を得ることができる。同様に、ダミーＢピクチャ３６は、参照フレームを４５，４７としてデコードすることで、４６の画像を得る。これらの画像は図３（ｃ）に示すように、Ｉフレームデータ４３、４７に相当する、５６，６０のデータに対して、４５に相当する平均画像５８、また、４４に相当する、５６と５８の平均画像５７、４６に相当する５８と６０の平均画像５９の順にデコードされ、図の順に出力することで、５６と６０のＩフレームデータの間を3段階に滑らかに補間した画像データとなる。

まったく同様に、ダミーＢピクチャデータ３８，３９，４０により、Ｉフレームデータ４７と５１の間に、順に４９，４８，５０の画像データを生成し、画像データ６０と６４の間を段階的に６１，６２，６３と補間した画像データを得ることができる。

以上のように、ダミーＢピクチャの枚数を増やすことで、図３（ｃ）に示すように、再生されたＩフレーム画像データ５６，６０，６４，６８の間をより滑らかに補間した画像データを得ることが可能となり、さらに滑らかな高速再生画像を得ることができる。

また、図４（ａ）はさらに滑らかに再生Ｉフレーム画像データ６９と７７の間を補間した場合の図である。この場合、７つのダミーＢピクチャデータを挿入し、順に、７３、７１、７０、７２、７５、７４、７６と生成することでそれぞれ図に示すような滑らかに変化する再生画像を得ることができる。

図４（ｂ）では、例えばダミーＢピクチャの代わりにダミーＰ（Predictive）ピクチャを一部挿入する。ダミーＰピクチャは、差分情報が‘０’である、前方向予測画像データであり、やはり画像サイズに応じたSlice_headerと、係数データをもたないEOB（End of macroblock）のみからなるmacroblock列で小さい固定データとして構成可能である。以上のようなダミーＰピクチャを挿入することで、７９、８０のように、再生Ｉフレームデータ７８と同一の画像を生成し、またダミーＢピクチャにより８１〜８３のような滑らかに変化する画像を経て、またダミーＰピクチャによる、８６と同一の画像８４，８５を出力することで一部の期間のみ画像が変化するような再生画像を得ることも可能である。上記は図４（ｃ）のように再生Ｉピクチャ８６を先に出力してからダミーＰピクチャによる８４，８５を出力してもよい。

また、ダミーＰピクチャを使用せず、マイクロコントローラ３の制御により、フレーム記憶装置６に保持された、再生Ｉフレームデータを連続的に出力することで、図４（ｂ）のような一部期間のみ画像が滑らかに変化する再生画像を得ることもできる。

なお、ダミー画像データはSlice_headerと、係数データをもたないEOB（End of macroblock）のみからなるmacroblock列で構成したが、Slice_headerと、skipped macroblockにより構成されたデータ列にしてもよい。その他、ダミーBピクチャデータの場合は、両方向参照フレームの画像データの中間画像がそのままデコードされる構成であれば、別のダミーデータ構造にしてもよい。またダミーPピクチャデータであれば、参照フレームの画像データがそのままデコードされる構成であれば別のダミーデータ構造にしてもよい。

また、本実施の形態ではMPEG2−TSを例にあげたが、MPEG2−PS（Program Stream）や、Motion−JPEGデータ等の動画データ、あるいはJPEGやBMP（bitmap）データといった静止画データの再生時においても同様の手段により静止画フレームデータ間の補間フレームデータを生成することができ、滑らかに切り替わる再生画像を得ることができる。

また、実施の形態１では、Iフレーム高速再生を行う場合の例について記述したが、再生される画像データがIフレーム高速再生に限定されるわけではなく、IP高速再生の再生フレーム間を補間したり、スローやコマ送り画像の再生画像データを補間して滑らかに変化する再生画像を得ることも可能である。

なお、記録媒体１、再生手段２を用いて再生装置として記述したが、これらがチューナーのような放送受信装置に置き換わって、MPEG2デコーダを持つ装置でデコード画像を滑らかに出力する場合にでも同様に実現できる。

（実施の形態２）
実施の形態２では、装置の構成は実施の形態１とまったく同様で、図１で示される構成を有する。本実施の形態２では、マイクロコントローラ３が、記録媒体等から得たJPEG（Joint Photographic Expert Group）等の静止画画像データをデコードした結果をフレーム記憶手段７に蓄積することができ、これら静止画画像データを切り替えて出力する際に、実施の形態１とまったく同様にダミーBピクチャデータやダミーPピクチャデータを挿入することで、ビデオデコーダ６を用いて滑らかに出力することができる。したがって、MPEG2デコーダを備えた再生装置または再生方法においては、MPEG2ストリームだけではなく、あらゆる静止画像のシーンチェンジにおいてクロスフェードのような効果を実現することができる。

また、本実施の形態ではJPEG 画像データを例にあげたが、Motion−JPEGデータ等の動画データ、あるいはBMP（bitmap）データといった他の静止画データの再生時においても同様の手段により静止画フレームデータ間の補間フレームデータを生成することができ、滑らかに切り替わる再生画像を得ることができる。

なお、記録媒体１、再生手段２を用いて再生装置として記述したが、これらがチューナーのような放送受信装置に置き換わって、MPEG2デコーダを持つ装置でデコード画像を滑らかに出力する場合にでも同様に実現できる。

（実施の形態３）
実施の形態３は、デジタル再生方法として、デコード手順を説明する。デコードの手順のフローチャートを図５に示す。以下、図５のフローチャートの順に、例としてI再生時にダミーBピクチャデータを用いて滑らかな再生画像を得る方法を説明する。

１．まず、I再生を開始する。記録媒体からIピクチャNを再生しデコーダに入力する。

２．次に、IピクチャNをデコードし、メモリに保持する。

３．さらに、実施の形態１，２で示したものとまったく同様な、差分情報が‘０’である固定のダミーBピクチャMをデコードに入力する。

４．ダミーBピクチャMを、前方向予測フレームをN−1、後方予測フレームをNと設定してデコードし、メモリに保持する。

５．次に記録媒体からIピクチャN＋１を再生し、デコーダに入力する。

６．入力されたIピクチャN＋１をデコードし、メモリに保持する。

７．次に差分情報が‘０’であるダミーBピクチャM＋１をデコーダに入力する。

８．さらにダミーBピクチャM＋１を、前方向予測フレームをN、後方予測フレームをN＋１と設定してデコードし、メモリに保持する。

９．デコードした画像を、M、N、M＋１、N＋１の順に等間隔に出力する。出力動作は、デコード期間中にも並行して動作させるものとする。

１０．I再生動作を終了かどうか判定する。

１１．終了であればI再生動作を終了する。継続する場合は、NをN＋２で更新し、MをM＋２で更新して、手順１．に戻り繰り返す。

以上のように、再生されたIピクチャデータの間に、差分情報が‘０’である固定のダミーBピクチャをデコーダに入力し、2枚のIピクチャデータを参照フレームと指示してデコードを行うことで、これらの平均画像をえることができる。したがって、順に出力することで、切り替わりが滑らかなI再生画像を得ることができる。

上記手順では、再生Iピクチャ2フレームとダミーBピクチャ２フレームをデコードし、メモリ上に保持して、手順９．で順次出力するという再生方法を説明したが、デコードでき、出力してもよいタイミングで順次出力してもよい。例えば、手順４の後、ダミーBピクチャMを出画し、その後IピクチャNを出画し、手順８の後、ダミーBピクチャM＋１を出画し、その後IピクチャN＋１を出画してもよい。

また、本実施の形態３についても、ダミーBピクチャのかわりにダミーPピクチャを使用してもよいし、複数のダミーピクチャを挿入してもよい。

また、MPEG2−TS以外に、MPEG2−PS（Program Stream）や、Motion−JPEGデータ等の動画データ、あるいはJPEGやBMP（bitmap）データといった静止画データの再生時においても同様の手段により静止画フレームデータ間の補間フレームデータを生成することができ、滑らかに切り替わる再生画像を得ることができる。

また、例としてIフレーム高速再生を行う場合について記述したが、再生される画像データがIフレーム高速再生に限定されるわけではなく、IP高速再生の再生フレーム間を補間したり、スローやコマ送り画像の再生画像データを補間して滑らかに変化する再生画像を得ることも可能である。

なお、手順に書いた記録媒体は、チューナーのような放送受信装置に置き換えたり、ネットワークのような通信系に置き換えたりして、MPEG2デコーダを備えた状態でデコード画像を滑らかに出力する方法として同様に実現できる。

本発明にかかるデジタル再生装置または再生方法は、簡単な構成で固定のダミーピクチャデータ等を挿入することにより、より滑らかな高速再生画像等を得ることができる。

本発明の実施の形態１または２に於けるデジタル再生装置の実施方法を示した説明図 本発明の実施の形態１または２に於けるデジタル再生装置の再生方法を示した説明図 本発明の実施の形態１または２に於けるデジタル再生装置の再生方法を示した説明図 本発明の実施の形態１または２に於けるデジタル再生装置の出画方法を示した説明図 本発明の実施の形態３に於けるデジタル再生方法を示したフローチャート 従来の再生装置の実施方法を示した説明図

符号の説明

１ 記録媒体
２ 再生手段
３ マイクロコントローラ
４ ストリーム分離手段
５ ダミーピクチャ挿入手段
６ ビデオデコーダ
７ フレーム記憶手段
８ 映像出力端子
９ オーディオデコーダ
１０ 音声出力端子
１１、１３、１５ Iピクチャデータパケット列
１２、１４、１６ ダミーピクチャデータパケット列
１７、１９、２１ Iピクチャデコード画像
１８、２０、２２ ダミーピクチャデータデコード画像
２３、２５、２７ Iピクチャデコード画像
２４、２６、２８ ダミーピクチャデータデコード画像
２９、３３、３７ Iピクチャデータパケット列
３０、３１、３２、３４、３５、３６、３８、３９、４０ ダミーピクチャデータパケット列
４１、４２ ダミーBピクチャの参照フレームへの参照方向
４３、４７、５１、５５ Iピクチャデコード画像
４４、４５、４６、４８、４９、５０、５２、５３、５４ ダミーピクチャデータデコード画像
５６、６０、６４、６８ Iピクチャデコード画素レベル
５７、５８、５９、６１、６２、６３、６５、６６、６７ ダミーピクチャデコード画素レベル
６９、７７、７８、８６、７８、８６ Iピクチャデコード画素レベル
７０、７１、７２、７３、７４、７５、７６、７９、８０、８１、８２、８３、８４、８５ ダミーピクチャデコード画素レベル

Claims (12)

1. 記録媒体からデジタル映像または音声ビットストリーム信号を再生する再生手段と、
   前記デジタル映像ビットストリーム信号を分離するストリーム分離手段と、
   前記デジタル映像ビットストリーム信号にダミーピクチャデータを挿入するダミーピクチャデータ挿入手段と、
   前記デジタル映像ビットストリーム信号をデコードするデコード手段とを備え、
   前記ダミーピクチャデータ挿入手段は、前記記録媒体に記録されたデジタル映像ビットストリーム信号を通常のフレーム周波数より遅く間欠的に再生する特殊再生を行う際に、間欠的に再生された映像デジタルビットストリーム信号に、ダミーピクチャデータを挿入することを特徴とするデジタル再生装置。
2. 前記デジタル映像ビットストリーム信号は、フレーム内圧縮、フレーム間圧縮を行い圧縮されていることを特徴とする請求項１に記載のデジタル再生装置。
3. 前記ダミーピクチャデータが、フレーム間差分が０であることを示すフレーム間圧縮された固定データであることを特徴とする請求項２に記載のデジタル再生装置。
4. 前記ダミーピクチャデータが、フレーム間差分が０であることを示す、前方フレームとの差分を用いてフレーム間圧縮された固定データまたは前後両方のフレームとの差分を用いてフレーム間圧縮された固定データの少なくともいずれかを含むことを特徴とする請求項２に記載のデジタル再生装置。
5. 前記デジタル映像ビットストリーム信号に挿入される第１のダミーピクチャデータにより生成された画像を少なくとも含むフレームに対して、フレーム間差分が０であることを示す、前方または前後両方のフレームとの差分を用いてフレーム間圧縮された固定データの少なくともいずれかを、第２のダミーピクチャデータとして挿入することを特徴とする請求項２に記載のデジタル再生装置。
6. 映像データを保持するメモリをさらに備え、
   前記デコード手段は前記メモリに保持された１枚または複数の静止画像を参照フレームとしてデコードすることを特徴とする請求項１記載のデジタル再生装置。
7. 記録媒体からデジタル映像または音声ビットストリーム信号を再生する第１のステップと、
   前記デジタル映像ビットストリーム信号を分離する第２のステップと、
   前記デジタル映像ビットストリーム信号にダミーピクチャデータを挿入する第３のステップと、
   前記デジタル映像ビットストリーム信号をデコードする第４のステップとを有し、
   前記第３のステップは、前記記録媒体に記録されたデジタル映像ビットストリーム信号を通常のフレーム周波数より遅く間欠的に再生する特殊再生を行う際に、間欠的に再生された映像デジタルビットストリーム信号に、ダミーピクチャデータを挿入することを特徴とするデジタル再生方法。
8. 前記デジタル映像ビットストリーム信号が、フレーム内圧縮、フレーム間圧縮を行い圧縮されていることを特徴とする請求項７に記載のデジタル再生方法。
9. 前記ダミーピクチャデータが、フレーム間差分が０であることを示すフレーム間圧縮された固定データであることを特徴とする請求項８に記載のデジタル再生方法。
10. 前記ダミーピクチャデータが、フレーム間差分が０であることを示す、前方フレームとの差分を用いてフレーム間圧縮された固定データまたは前後両方のフレームとの差分を用いてフレーム間圧縮された固定データの少なくともいずれかを含むことを特徴とする請求項８に記載のデジタル再生方法。
11. 前記デジタル映像ビットストリーム信号に挿入される第１のダミーピクチャデータにより生成された画像を少なくとも含むフレームに対して、フレーム間差分が０であることを示す、前方または前後両方のフレームとの差分を用いてフレーム間圧縮された固定データの少なくともいずれかを、第２のダミーピクチャデータとして挿入することを特徴とする請求項８に記載のデジタル再生方法。
12. 前記第４のステップは、デコードした映像データをメモリに保持し、前記ダミーピクチャデータのデコード時には、前記メモリに保持された１枚または複数の静止画像を参照フレームとしてデコードすることを特徴とする請求項１記載のデジタル再生装置。

Images