図27は、下記の特許文献1に示された従来の光ディスク記録再生装置のブロック図である。図において、40はビデオ信号をディジタル情報に変換するビデオA/D変換器、41は映像情報圧縮手段、69は圧縮された映像情報をフレーム周期の整数倍に等しいセクタ情報に変換するフレームセクタ変換手段、70はエンコーダ、71は記録媒体での符号間干渉を小さくするため所定の変調符号に変換するための変調器、72は上記変調符号に従ってレーザを変調するためのレーザ駆動回路、73はレーザ出力スイッチである。
76は光ディスク、74はレーザ光を出射する光ヘッド、75は光ヘッド74から出射される光ビームをトラッキングするアクチュエータ、78は光ヘッド74を送るトラバースモータ、77は光ディスク76を回転させるディスクモータ、79はモータ駆動回路、80,81はモータ制御回路である。
また、82は光ヘッド74からの再生信号を増幅する再生アンプ、83は記録された変調信号からデータを得る復調器、84はデコーダ、85はフレームセクタ逆変換手段、86は上記圧縮情報を伸長する情報伸長手段、87は伸長された情報をアナログビデオ信号に変換するD/A変換器である。
図23は、ディジタル動画情報を圧縮して伝送・蓄積するために規格化が進められているMPEG方式のデータ配列構造(レイヤ構造)を簡略化して表した図で、59は複数のフレーム情報からなるGOP、60はいくつかのピクチャ(画面)から構成されるGOPレイヤ、61は1画面をいくつかのブロックに分割したスライス、62はいくつかのマクロブロック( MB)から構成されるスライスレイヤ、63は8画素×8画素で構成される
ブロックレイヤである。
図24は、15画面を1GOPとしたときの符号化構造を示した図で、66はフレーム内DCTを行う映像情報であるIピクチャ、68は前方向の動き補償を行うDCT符号化による映像情報であるPピクチャ、67は時間的に前後に位置する上記Iピクチャ61およびPピクチャ68を参照画面として動き補償を行ったDCT符号化が行われるBピクチャである。
図25(a),(b)は、1GOP内の映像データ量を、各GOP間の画質を一定にするために可変構造にした場合と、録画時間を一定にするために固定レートにしたものとを比較した図である。
また、図26(a)は、1GOP当りの画質を同一に保った場合の1GOP当りのデータ量を示した図で、αはデータレートの最高値、βは平均データレートを表わす。また、図26(b)は、各画像(e),(d),(c)において1GOPあたりの画質とデータ量を比較した図である。
次に、従来例の動作を説明する。ディジタル映像情報の圧縮技術が進むにつれ、上記圧縮情報を光ディスクに記録することにより、従来のVTR等に代表されるようなテープ媒体に比べて検索性にすぐれ、きわめて使い勝手の良い映像ファイリング装置を実現することが可能となっている。また、このようなディスクファイル装置は、ディジタル情報を扱うため、アナログビデオ信号を記録する場合に比べてダビング劣化がなく、さらに光記録再生であるため、非接触で信頼性に優れたシステムが実現できる。
従来、このような圧縮動画情報を光ディスクに記録する場合は、図27のブロック回路図に示した光ディスク76に、図23に示したMPEG方式のようなディジタル圧縮動画情報を記録する方法が取られる。このとき、ビデオA/D変換器40でディジタル化された映像情報は、映像情報圧縮手段41によって例えばMPEG等の標準圧縮動画方式で変換される。この圧縮された映像情報は、エンコードされるとともに光ディスクの符号間干渉の影響を小さくするための変調が施されて光ディスク76に記録される。このとき、例えば各GOP単位でのデータ量はほぼ同じ量になるようにし、またフレーム周期の整数倍に等しいセクタに振り分けることによって、GOP単位での編集等が可能となることは明かである。
また、再生時においては、光ディスク76に記録された映像情報を光ヘッド74で再生して再生アンプ82にて増幅し、復調器83およびデコーダ84にてディジタルデータに復元した後、フレームセクタ逆変換手段85にてアドレス,パリティ等のデータを取り除いた純粋な映像元データとして復元する。さらに、情報伸長手段86にて例えばMPEG復号化を行うことで映像信号に再現し、D/A変換器87によってアナログ映像信号に変換されてモニタ等に表示可能となる。
ここで上述したように、ディジタル動画圧縮方法としてMPEG方式を用いると、図24に示したように、フレーム内DCTによる圧縮を行うIピクチャ66と、前方向の動き補償を行うDCT符号化による映像情報であるPピクチャ68と、時間的に前後に位置するIピクチャ66およびPピクチャ68を参照画面として動き補償を行ったDCT符号化が行われるBピクチャ67とがいくつか組合わさった符号化構造を、そのまま光ディスク76内に記録することになる。
これらの情報のうち、Iピクチャ66はフレーム内DCTを行っているため、この情報単独で画像再生を行うことが可能であるが、Pピクチャ68は前方向の動き補償を行っているため、Iピクチャ66を再生した後でなければ画像再生を行うことが出来ず、また、Bピクチャ67は、両方向からの予測画面であるため、前後にあるIピクチャ66またはPピクチャ68を再生した後でなければ再生できない。また、これらの情報のうち、当然両方向予測を行っているBピクチャ67が最もデータ量が少なく、符号化効率も良い。
しかし、このBピクチャ67は単独で再生できないため、Iピクチャ66やPピクチャ68を必要とするが、その分、Bピクチャ67の枚数を増やすと処理回路におけるバッファメモリ量が増えるとともに、データ入力から映像再生までの遅延時間が増大する問題がある。しかし、光ディスク等に代表される蓄積系メディアにおいては、長時間記録のために圧縮効率の良い符号化方式が望まれ、一方、上記映像再生の遅延時間はあまり問題にならないため、図23および図24に示すような符号化方式が適している。
次に、1枚の光ディスクにおいて、どの部分でも画質一定となるように映像データを記録すると、図25(a)に示すような可変レート構造となる。これは、1GOP当りの画質を一定とした場合、図25(a)に示すように、1GOPに必要な映像データ量が変動するからである。これは、例えば、細かい画像の場合Iピクチャに必要とされるデータ量が増大した場合や、動きの早い映像データが連続した場合は、PピクチャやBピクチャにおける圧縮効率があまり高くならないからである。また、当然ではあるが、図26(b)に示すように、1GOP当りのデータ量を増加させると、絵柄によっては異なるものの、画像のS/Nも改善される。
これに対して、光ディスク1枚の記録時間を一定にするためには、図26(b)に示す固定レートで記録するフォーマットが適している。しかし、磁気テープ媒体と異なり、光ディスク媒体を用いた映像記録再生装置の場合は、1パッケージあたりの総データ量が小さいため、高画質を維持しつつできるだけ圧縮効率を高めなければならない。そのためには、図25(a)に示す可変レート方式の方が、光ディスク1枚当りの映像データのファイル効率が良いことはいうまでもない。
そこで、例えば、再生専用の光ディスク装置においては、あらかじめエンコードすることにより、可変レート時における光ディスク1枚全部のデータ量分布を知ることが可能となるため、2回目のエンコード時に全体のデータ分布を調整し、結果的にディスク1枚当りの再生時間を可変レート時においても一定に調整することが可能となる。
実施の形態1.
図1は、ビデオストリームのユーザーデータに、本発明の実施の形態1の制御情報を挿入した場合のデコード方法を示すフローテャートである。図2は本実施の形態1における光ディスク再生装置の構成を示すブロック回路図で、1は光ディスク、2は再生アンプ、3は復調器、4は誤り訂正手段、5はテンポラルリファレンス制御手段、6はバッファ、7は復号化手段、8はD/A変換器、9は再生制御手段、10は光ヘッド制御手段、11は補間情報読み取り制御手段である。また、再生制御手段9は、通常再生か、1/2倍あるいは1/4倍の再生かを示す再生速度要求信号を受け、この信号をテンポラルリファレンス変換制御手段5へ送信する。
テンポラルリファレンス変換制御手段5は、通常再生時にはテンポラルリファレンスの値を1/4倍し該値を処理する。また、1/2倍低速再生時にはテンポラルリファレンスの値を1/2倍し該値を処理する。また1/4倍低速再生時にはテンポラルリファレンスの値をそのままとして処理する。さらに再生制御手段9は再生モードの変更点で復号化手段7にテンポラルリファレンスのリセット/セット処理を行う。
補間情報読み取り手段11は、再生モードとGOP層のユーザ領域に記録してある補間情報フラグ、補間情報開始アドレス、補間情報サイズ、補間情報レートに応じて光ディスク1の特定領域に記録してある補間情報を読み出すために光ヘッド制御手段10を介して光ヘッドを制御する。
図3は通常再生時におけるフローチャートを示す。まず再生が開始されると補間情報があるかを補間情報フラグより調べる。この補間情報がある場合は、通常再生においてはテンポラルリファレンス値が連続でない。そのために補間情報レートを読み取り、テンポラルリファレンスを連続にするような変換を行う。図1を例にとると、テンポラルリファレンス値を1/4倍することで行なえる。
図4は低速再生時におけるフローチャートを示す。まず再生が開始されると上で述べた通常再生時におけるフローにしたがった動作をする。低速再生要求信号が入力されると、まず補間情報があるかどうかを調べる。なければ、通常の低速再生を行う。ある場合はテンポラルリファレンス変換を行う。そして補間情報を読み取り、基本情報とあわせて低速再生用のバッファ上でビデオストリームを構成する。その後本ストリームを復号化手段に送り、デコード、再生する。
図5は本実施の形態1の通常再生用のシステムストリームを示す図である。図において、パックヘッダ(図中、「PH」と略記)12は同期再生用の時間基準参照用の付加情報などが格納されたもので、システムヘッダ(図中、「SH」と略記)13はプログラムの先頭のパックに付加されるものであり、ストリーム全体の概要を記述格納したものである。また、プライベート2パケット(図中、「P2P」と略記)14はパケットデータが格納され、オーディオパケット(図中、「AP」と略記)15はオーディオデータが格納され、キャラクタパケット(図中、「CP」と略記)16は文字データが格納され、ビデオパケット(図中、「VP」と略記)17はビデオデータが格納されている。
プライベート2パケット14には以下の制御情報が格納されており、補間コマ用情報が格納された補間システムストリームの有無を示す情報フラグ(図中、「IF」と略記)18、補間システムストリームを格納したパックのアドレスを示す情報アドレス(図中、「IA」と略記)19、補間システムストリームのを格納したパックの情報の大きさを示す情報サイズ(図中、「IS」と略記)20、補間システムストリームの映像情報のピクチャレートを示す(図中、「PR」と略記)21等が格納されており、それに先立って該パケットの大きさを示すパケット長(図中、「PL」と略記)22、パケットの開始を示すパケット開始コード(図中、「PS」と略記)23とから構成されている。また、パックには1GOPのビデオ情報が格納されており、その開始点にあるパックヘッダ12は光ディスクなどのアクセスの単位であるセクタの先頭に配置されている。
図6は本実施の形態1の低速再生用のシステムストリームを示す図である。図において、プライベート2パケット14にはパケット開始コード23、該低速再生用の映像情報に対応する通常再生用映像情報が含まれているパックの先頭位置を示す戻りアドレス値(図中、「RA」と略記)24、該パケットに格納されている各々のピクチャの格納アドレスを示すピクチャアドレスデータ(図中、「PAD」と略記)25が格納されている。
図7は本実施の形態1の光ディスク1へのストリーム情報の格納配置を示す図である。図においてTOC(table of contents)26は番組つまりタイトルの開始セクタアドレスが書き込まれており、起動直後に読み込みされる領域、27は図1で示した1GOPの映像情報が格納されているパックであり、通常再生用のシステムストリーム情報が記録されている領域、28は低速再生用の映像情報が記録されているパックである。
低速再生用の映像情報が記録されているパックは、図7に示すように光ディスク1上の特定領域に集中して配置する方法や、図7中の28(b)に示すように通常再生用パック情報の後ろに記録する方法、つまり通常再生用パックと低速再生用パックを交互に記録する方法がある。また、図8は通常再生用のビデオストリーム(a)と、補間情報用のストリーム(b),(c)とを示した概念図である。また、図9はコマ数の多いストリームにおいて、どのフィールドを選択して再生するかを示した図である。
次に、実施の形態1の動作を説明する。図1はMPEG規格におけるGOP層中のデータフローチャートである。図中、グループスタートコードはGOPの開始コードを、タイムコードはシーケンスの先頭からの時間を、クローズドGOPフラグはGOP内の画像が他のGOPから独立して再生が可能であることを、ブロークンリンクフラグは先行するGOPデータが編集のためには使用不可能であることを、拡張開始コードはグループ拡張領域のスタートを、グループ拡張データはグループ拡張データを、ユーザデータスタートコードはユーザデータ領域のスタートを、ユーザデータはユーザデータ領域のデータを、ピクチャ層は一枚の画面に共通な属性をそれぞれ示す。
GOPとはGroup of Pictureの略であり、ランダムアクセスの単位となる画面グループの最小単位である。ここで、ユーザデータとはユーザが自由にデータを挿入してもよいとされている領域であり、本実施の形態1においては、この領域に補間情報があるかどうか、つまり補間情報を用いての低速再生が可能か否かを示す補間情報フラグと、補間情報の格納している領域の開始アドレスを示す補間情報開始アドレスを示す補間情報開始アドレスと、そしてその補間情報のサイズを示す補間情報サイズと、補間情報を含めた画像情報がどのくらいのピクチャレートで撮影されたものであるかを示す補間情報レートの4つの領域を定義する。
補間情報は低速再生可能箇所のみに発生するもので、光ディスクに記録されている画像情報全てにわたって本方法で符号化されている必要性はなく、野球、サッカー、ゴルフなどのスポーツ番組において、ボールに追従するシーンなど低速再生の必要性が高い箇所のみの補間情報を光ディスクに記録しておけばよい。よって補間情報の記録領域は、基本情報を記録する領域に比べてかなり低くすることが可能である。これらは、上記プライベート2パケット内の制御情報における情報フラグ18により上記補間情報の有無が記述されているため、プレーヤ内で自動判別することも可能であるほか、映像再生中に上記補間情報の有無を画面表示して操作者に選択させることも可能である。
また、プライベート2パケット内の制御情報において補間情報開始アドレスが記述されているため、瞬時に光ディスク上の補間情報記録領域にアクセスすることが可能になる。また、図5においてプライベート2パケット14内に、戻り先アドレスが記述してあるため、瞬時に元の通常再生映像に復帰することができる。また、図5のプライベートパケット14には、各ピクチャのアドレスが書き込まれているため、データを読み込んだ後、プレーヤのバッファメモリからのデータの読みだしがスムーズに行えるようになった。
ここで、一般的なディジタル画像情報を圧縮符号化する方法は、以下のようになっている。圧縮されたピクチャタイプには、上述のように“I”、“P”、“B”の3つのピクチャタイプがある。低速再生時に使用する補間情報は“B”タイプを用いる。これは2つの理由による。1つめは、Bピクチャタイプは3つのタイプの中でもっとも情報量が少なく補間情報記録領域が少なくできるためである。2つめは、補間情報は低速再生画であるために連続する画面では変化の度合が少なく相関の高いので、“I”,“P”タイプのピクチャを用いなくても高画質を維持できるためである。当然補間情報をデコードする際には、元の通常再生映像データにおけるIピクチャおよびPピクチャを用いて、補間情報のBピクチャをデコードするか、補間情報自身に、Bピクチャのデコードに必要なIピクチャやPピクチャを備えておかなくてはならない。
図8は本実施の形態1における符号化圧縮された画像情報の構成の記録位置を示す図である。図8(a)において、“I”、“P”、“B”はそれぞれMPEG方式で圧縮された画像タイプをあらわす。“I”はIピクチャをあらわし、このIピクチャのみの情報から符号化された画面で、時間方向の冗長度を削減するフレーム間予測を用いずに生成される。“P”はPピクチャをあらわし、IまたはPピクチャからの予測をおこなってできる画面である。一般にPピクチャ内のマクロブロックタイプは、予測メモリを用いないフレーム内予測画面と、予測メモリを用いる順方向フレーム間予測画面の両方を含んでいる。“B”はBピクチャをあらわし、双方向予測によって生成される。画面タイプの下の数字はテンポラル・リファレンスと呼ばれるものでピクチャの再生順を示すものである。
通常のNTSC方式のTV信号の1秒あたりのフレーム数は、ほぼ30フレーム/秒)である。これに対し、本実施の形態1で用いる画像は、例えば毎秒120フレームで撮影されたものや、それと同様のアニメーションなどである。これをTV受像機で扱える30フレーム/秒で符号化すると、再生画像は1/4倍の低速再生になる。そこでこの画像情報を4フレームにつき1フレームの割合で再生すると、通常の速度で再生される。同様に2フレームにつき1フレームの割合で再生すると、1/2倍の低速再生が実現できる。
光ディスクへの情報記録の方法を以下に示す。通常の速度で再生する場合に読みだす画像情報を基本情報、低速再生時にしか読みださない画像情報を補間情報とすると、図7に示すように、基本情報は通常の画像情報を記録するのと同様に、光ディスク1の内周に設けた記録領域27に連続的に記録する。これに対し補間情報は、光ディスク1の外周に設けた記録領域28(b)にまとめて記録する。
本実施の形態1では、基本情報が4枚に1枚の割合であるので、NTSC方式の場合120フレーム/秒で撮影されたものを用いており、1/2倍再生の場合は、補間情報bと基本情報を読み出すことで30フレーム/秒の低速再生が行われ、1/4倍再生の場合は、補間情報aと補間情報bと基本情報を読み出すことで30フレーム/秒の低速再生が行える。
図8は本実施の形態における低速再生の概念図で、ここでは、撮影に用いるカメラのフレームレートは120コマ/secとする。この場合、30コマ/secのモニターでは1/4倍の低速再生画(図8(c))、2枚に1枚の割合で再生を行うと1/2倍の低速再生画(図8(b))、また4枚に1枚の割合で再生を行うと通常再生画となる。
MPEG符号化されたピクチャには、面内符号化画面のIピクチャ、一方向の予測画面を利用するPピクチャ、両方向の予測を利用するBピクチャがある。GOP内のピクチャ数(N)、IまたはPピクチャの現れる周期(M)について、通常はN=15、M=3に選ぶことが一般的になっている。本実施の形態1においては、通常再生時に使用するピクチャについては従来通りのピクチャの配列とし、低速再生時のみに使用する補間情報のピクチャはBタイプを多く用いたストリームとする。B以外のタイプのピクチャを使用すると、通常再生時に読み出さないために、通常再生のピクチャが構成できない場合があるためである。図8中においてはN=60、M=12となる。
また、図8中、網掛けを施していないピクチャは補間情報から得られるピクチャで、通常再生時には用いない。また、高フレームレートで撮影した情報は、フレーム間差分はが常のものに比べて小さくなるために、情報量の少ないBタイプを用いることはディスク容量の面からも有効である。そのため、1GOPあたりのBピクチャタイプの比率は、補間情報におけるBピクチャの占有比>通常再生時のBピクチャの占有比となる。
本実施の形態1の方式で光ディスク1に記録した画像情報を再生する場合、参照値(以下、「テンポラルリファレンス値」という)と呼ばれる画像の再生順をあらわす数字が問題になる。図8(a)の画面タイプの下の数字を例にすると、符号化したビデオストリームのテンポラルリファレンスは1,2,3,4,5・・・と順序よく並んでいるために通常再生できるが、図8(c)の場合は1/4倍の低速再生になる。また、基本情報のみを再生した場合、テンポラルリファレンスは1,5,9,13・・・・・と定数倍はなれたところにあるので、一般のデコーダにかからない場合がある。
一般的な映像再生装置は、秒あたりのコマ数は例えばNTSCだとほぼ30コマ/秒と固定されているために、低速再生の場合はいかに低速に再生しようとも時間分解能は向上せず、ぎくしゃくした再生画しか得られなかった。そこで本実施の形態1では、高速度カメラなどで撮影した秒あたりのコマ数の多い映像素材を符号化し、再生速度に応じて、復号する秒あたりのコマ数を変化させるようにした。
図9は、本実施の形態1における通常再生におけるフィールド再生法を示す図である。通常、テレビジョンにおけるフレームはインターレース再生であり、第1フィールド、第2フィールドで1つのフレームを構成している。図9(a)、(b)は低速再生時の再生フィールドを示す図である。また通常再生時には点線で囲んだフィールドを再生する。よって、点線で囲まれたフィールドが通常システムストリームになり、囲まれていないフィールドは補間システムストリームになる。
このような補間情報は、図7中の28(b)に示すように、補間情報のみを別のデータストリームとして光ディスク上の別の場所に配置することも可能であるが、図28(a)のように、通常再生ストリームの後ろに例えばGOP単位で配置することも可能である。ただし、光ディスク上の同一の場所に配置した場合は、通常再生時において必要バッファメモリの増大や、読みだしレートの向上が必要になってくる。また、光ディスク上の別の場所の補間情報を配置した場合は、補間情報再生時におけるアクセス時間が増大する。
また、図9(a)のフィールド再生方法では、通常再生時にフィールドの時間間隔が一定でなく、画像再生時に再生画がぎくしゃくするのに対して、図9(b)のフィールド再生方法では、通常再生時のフィールドの時間間隔が一定となり、スムーズな再生画が得られる。また、補間情報は画像全般について存在する必要はないため、低速再生の要求頻度の高いところだけに本方式を用いることが可能である。
実施の形態2.
次に、本発明の実施の形態2を説明する。図10は本実施の形態2の映像記録再生方法を示す図で、図10(a)は通常のビデオストリームのGOP内の画面タイプを示す図であり、図10(b)はコマを減らしたビデオストリームのGOP内の画面タイプを示す図である。ここでは通常ビデオストリームにおけるB2、B4、B6の各フレームを削除し、再生時には、削除されたフレーム箇所に直前のフレームB1、B3、B5を連続再生する。この場合、連続再生は再生画をフリーズすることにより実現する。さらに、削除したフレームの情報量を別のフレームに割り当て再符号化することでより高画質が得られ、また、削除したフレーム情報量に相当する記録時間の増大が可能となる。
図11は、本実施の形態2の画面フリーズを実現するためのビデオストリームの構造を示す図である。図において、ピクチャヘッダ(図中、「PCH」と略記)29にはピクチャ情報の開始コードなどが格納され、ピクチャ符号化機能拡張部(図中、「PCEX」と略記)30には符号化の機能拡張された情報が格納され、量子化マトリックス機能拡張部(図中、「QMFEX」と略記)31には量子化マトリックスの機能拡張された情報が格納され、ピクチャ表示機能拡張部(図中、「PDEX」と略記)32にはピクチャ表示の機能拡張された情報が格納され、ピクチャ空間スケーラブル機能拡張部(図中、「PSEX」と略記)33にはピクチャ空間スケーラブルの機能拡張された情報が格納され、ピクチャテンポラルスケーラブル機能拡張部(図中、「PTSEX」と略記)34にはピクチャテンポラルスケーラブルの機能拡張された情報が格納され、スライス層(図中、「SLICE」と略記)35には開始コードを持つ一連のデータ列の中の最少単位であるスライスが格納されている。
さらにピクチャ符号化機能拡張部30中には、トップフィールドが時間的に先に来るかどうかを示すトップフィールドファーストフラグ(図中、「TFF」と略記)37、テレシネ変換のために、第1フィールドを再表示するかどうかを示すリピートファーストフィールドフラグ(図中、「RFF」と略記)38、プログレッシブフォーマットかどうかを示すプログレッシブフレームフラグ(図中、「PF」と略記)39がある。これらはいずれもMPEG規格の中に規定されているものである。この3つのフラグとMPEG規格で規定されているシーケンス拡張部のプログレッシブシーケンスフラグを各種設定を行うことにより、フレームあるいはフィールドの再生を設定できる。図18は実施の形態2のフラグ設定による再生モードを示す図である。
図12は、本実施の形態2のブロック回路図で、ディジタル動画情報を録画した光ディスクを作成する際に、ディジタル映像情報の1秒当りのコマ数を削減した記録映像ファイルを作成することにより、ディジタル映像の圧縮効率を高めるようにしたものである。図において、40はビデオA/D変換器、41は映像情報圧縮手段、90は動ベクトル量を検出する動ベクトル量検出手段、91はコマ落し量判定手段、42はディスクフォーマットエンコーダ、43は変調手段、44は記録データファイル、45はROMディスクマスタリング装置、1は作成ROMディスクである。
図13は、実施の形態2において、動ベクトル量に対してどのようにコマ落しを行うかを示した図で、図13(a)は24コマ/秒と30コマ/秒とを動ベクトル量に応じて切り替えるようにした場合を、図13(b)は30コマ/秒と27コマ/秒と24コマ/秒とを切り替えるようにした場合をそれぞれ示している。
TV画面における1秒当りのコマ数は、NTSC圏やPAL圏によっても異なるが、例えば日本や米国の場合は、30コマ/秒である。TV画面に表示する際のコマ数は、TV方式のフォーマットに対応させる必要があるが、光ディスクに記録する映像データは、必ずしも全てのコマ数をファイルしておく必要はなく、コマ落ちしても目だたない範囲でピクチャ単位のデータを削除することが可能である。この場合、画面表示する際は、複数のピクチャから構成されるGOP単位に設けられたヘッダ部分または、ピクチャデータの先頭部分に設けられたヘッダ部分に、前回の同じ画面を繰り返し再生するフラグを立てることにより、対応可能である。
しかし、元々24コマ/秒でデータが構成されている映画フィルムの場合は別にして、必ずしも1GOP単位におけるピクチャの削減数を一定にすることは、コマ落ちした場合に絵柄によっては目だつ場合がある。そこで、図12に示す実施の形態2では、画面の動きの速さに応じてコマ落ちさせる数を適応的に可変させている。
図19、図20、図21は本実施の形態2の画面フリーズを実現するためのビデオストリームの構造を示す図である。図において、シーケンスヘッダ(図中、「SH」と略記)46はランダムアクセスの頭出しのために使われる、GOP47はピクチャを何枚か集めたものをひとかたまりにしたもの、シーケンスヘッダコード(図中、「SHC」と略記)48はシーケンスヘッダ46に含まれシーケンスヘッダを識別するためのコード、シーケンス拡張部(図中、「SQEX」と略記)49はシーケンスヘッダ46に含まれMPEG1とMPEG2を区別するもの、シーケンス表示拡張部(図中、「SQDP」と略記)50はシーケンスヘッダ46に含まれ表示に関する機能拡張を行うためのフラグなどが格納されたもの、シーケンススケーラブル拡張部(図中、「SQSC」と略記)51はシーケンスヘッダ46に含まれスケーラブル拡張を行うためのフラグなどが格納されたもの、ユーザデータ部(図中、「UD」と略記)52には、ユーザデータ開始部(図中、「UDSC」と略記)53とユーザデータ(図中、「USRDT」と略記)54が格納されている。GOP47内にはGOPヘッダ(図中、「GPH」と略記)55とユーザデータ52とピクチャ層56が格納されている。ピクチャ層56にはピクチャヘッダ(図中、「PCH」と略記)57とスライス層58が格納されている。
図19、図20、図21中のいずれかのユーザデータ部52に、秒あたりのコマ数、どの画面をフリーズするかの情報を書き込んでおくことにより、装置からの再生制御が容易となる。
図22は映像素材のフィールドの削除方法を示す図である。映画素材をテレシネ変換している映像素材の場合、図22(a)に示すように、削除フィールド88を時間的に前のフィールド89で補う。そのとき図9で示した各フラグ設定状態は88aの削除フィールド箇所ではトップフィールドファーストフラグ37が1、リピートファーストフィールド38が1、プログレッシブフレームフラグ39が1となり、88bの削除フィールド箇所ではトップフィールドファーストフラグ37が0、リピートファーストフィールド38が1、プログレッシブフレームフラグ39が1となる。
また、ビデオカメラで撮影した映画(vシネマ)の場合、図22(b)に示すように、削除フィールドを削除し、秒あたり24コマの情報のストリームを構成することができる。そのとき図9で示した各フラグ設定状態は59cの削除フィールド箇所ではトップフィールドファーストフラグ37が0、リピートファーストフィールド38が1、プログレッシブフレームフラグ39が1となり、59dの削除フィールド箇所ではトップフィールドファーストフラグ37が1、リピートファーストフィールド38が1、プログレッシブフレームフラグ39が1となる。
次に、実施の形態2の動作を説明する。図12において、映像情報圧縮手段41にて圧縮された映像報の動ベクトル量を、動ベクトル量検出手段90にて抽出する。一般的に動きベクトルのコードは、動きの少ない方に小さなビット数が割り当てられ、動きの大きい方に大きなビット数が割り当てられるため、動ベクトル量をカウントするだけで、画面ごとの動きの速さを定量的に把握できる。
また、絵柄によっては、画面のほとんどが静止画像に近い場合でも画面の一部が大きく動く場合も考えられるので、このような場合はピクチャ全体の平均レベルではなく、マクロブロック(MB)単位での動きベクトルデータの最大値を、抽出して動ベクトル量とする方が適している。
そのため、動ベクトル量検出回路90にて1GOP当りの動ベクトル量を計数し、この計数値が所定の値を超えたか超えないかで、コマ落し量判定手段91で1GOP当りのコマ落ち数を決定することが可能となる。また、この場合、ディスクフォーマットエンコーダ42にて一旦メモリに蓄積された圧縮映像データのうち、Bピクチャのデータを削除するとともに、1GOP単位で割り当てられているヘッダ情報、または1ピクチャ単位で割り当てられているヘッダ情報を書き換える動作を行う。
これは、IピクチャやPピクチャを削除してしまうと、前後するBピクチャがデコードできなくなり、また、ヘッダに削除したピクチャの情報を書き込むことで、再生時に前後の画面をフリーズさせ、1秒当りのコマ数をTV方式の必要数に合わせることが可能となるからである。
実施の形態2の場合、動ベクトル量が大きい場合は、コマ落ちを少なくし、例えば静止画像に近くて動ベクトル量が小さい場合はコマ落ちを大きくすることで、光ディスクに記録するデータ量を減らすことが可能となる。このような方式では、コマ落ち量が画面の動きに応じて可変されるため、コマ落ちしても人間の目に目だたなくなる。この場合の動ベクトル量の検出は、1GOP内に均等に割り当てられているPピクチャから行うことが望ましく、Bピクチャからも可能であるが、圧縮画像の連続性や両方向データの存在がシステムを複雑にしてしまう恐れがある。
また、コマ落し量判定手段91において、コマ落ち数を、図13(a)に示すように、動ベクトル量の大小に応じてゼロと、1秒当り6コマ(ピクチャ数24コマ/秒)の2種類に設定することも可能であるが、図13(b)に示すように、ゼロから1秒当り6コマの間を多段階に設定することも可能である。フィルム映画等の場合においては、24コマ/秒となっているため、MPEG等の規格においても24コマ/秒からの再生方式等が規定されている。そのため、特に上述の24コマ/秒と30コマ/秒との2段階でコマ落ちを規定すると、システムの構成が簡単になり、極めて実用的である。
なお、図13では、ピクチャ間の動きに反比例してコマ落ち数を段階的に決定したが、実際の人間の目の特性を考慮すると、動きが速すぎて人間の目が追従できる範囲を超えた場合は、逆にコマ落ち数を大きくしても目だたない場合がある。これは、人間の目には図17に示すようなコマ落ちの検知限特性があると予想されるからである。この場合、当然ながら静止画像に近い映像ではコマ落ちは検知されにくい。一方、あまりにも映像の動きが激しく、人間の目の追従が困難な場合においても、当然ながらコマ落ちは検知されにくいからである。図14のデータ変換テーブル92では、このような特性を利用して動ベクトル量の抽出値を補正するようにしたものである。
図14は、上記の人間の特性を考慮しコマ数を可変するブロック回路図で、図12と同一符号はそれぞれ同一部分を示しており、92はデータ変換テーブル、93はコマ落し量判定手段である。図中の変換テーブル92では動ベクトル量が所定の絶対量以下の場合には、動ベクトル量に反比例した数のコマ落ちを行い、上記絶対量以上の場合においては上記動ベクトル量に比例した数のコマ落ちを行うようにしたものである。
図15は、実施の形態2におけるコマ落し前、および光ディスク上に記録されるディジタル圧縮映像データの配列を示した図、図16はコマ数を落として光ディスク上に記録した映像情報データが、再生時に、画面上の表示がどのようになるかを示した図で、図16(a)はコマ落ししていない映像データの表示画面、図16(b)は3画面に1画面コマ落しを行った映像データの表示画面、図16(c)は3画面に2画面コマ落しを行った映像データの表示画面、図16(d)は5画面に1画面コマ落しを行った映像データの表示画面をそれぞれ示している。
図17は、人間の視感特性を示す図で、画像の動きの早さに対して、検知されるコマ落ち数がどの程度までであるかを示している。
実際に光ディスク上に記録される映像情報は、図15(c)に示すような形となる。元々のディジタル圧縮映像データは、図15(a)に示すようなデータ配列をとる。これは、Iピクチャは独自での再生が可能であるが、Pピクチャは時間的に前のIピクチャ、またはPピクチャからの予測画面を必要とし、Bピクチャは前後のIピクチャまたはPピクチャからの予測画面を必要とするからである。したがって、画面の再生順序とは異なり、Iピクチャの次にPピクチャのデータを配置し、その次にBピクチャのデータを配置する構成となっている。
しかし、光ディスク上のデータ配置は、例えば、特殊再生時においてIピクチャとPピクチャのみを再生する場合を考えると、IピクチャとPピクチャが連続して配置されているのが大変都合が良く、図15(c)のように並び替えられる。これは、圧縮後のデータ量は、元の映像信号データ量に比べて充分小さくなっているため、光ディスク再生装置のメモリの並び替えが容易に可能で、上述したデータの配列変換に対して充分に対応可能であるからである。本方式の場合は、さらに動きの速い映像データが連続するGOPの場合においてBピクチャを部分的に削除することで、図15(c)に示すように、よりデータ量が削減され、ファイル効率が向上している。
このようなデータの並び替えとピクチャデータの削減は、例えば図12や図14中に示したディスクフォーマットエンコーダ42によって行われるが、さらに高密度記録を行う際の符号間干渉の除去等を目的として、例えばEFM変調や1−7変調といった変調が施され、記録可能なファイル装置(例えば磁気ディスクや磁気テープ、または光磁気ディスク等)に一旦記録される。このようにして一旦保管されたデータによりROMディスクマスタリング装置45によって例えば原盤が作成され、スタンパによってROMディスク9が大量生産される。当然ではあるが、光ディスクが記録再生装置の場合は以上の動作が記録データファイル7およびROMディスクマスタリング装置を介さずに行われ、直接光ディスクにデータが記録される。
次に、上述した圧縮映像データを光ディスクから読みだして再生し、画面に表示した場合は、図16に示すようになる。図16(a)はコマ落しを許容しない、ピクチャ間にある程度動きがある映像の場合で、エンコード前の映像とピクチャ単位で対応している。これに対して、3画面に1画面のコマ落ちを許容した場合は、図16(b)のようになり、B2,B4,B6ピクチャをコマ落ちさせ、おのおのB1,B3,B5ピクチャをフリーズ(もう一度繰り返して表示)させる。また、さらに3画面に2画面コマ落ちを許容した場合は、Bピクチャのない画面が再生される。図16(c)のような場合は、コマ落ちの状態が人間の目に検知されやすくなっているが、きわめて静止画像に近い場合は、ここまでコマ落ちを許容しても目だたない。
また、図16(d)に示すように、図16(a)と図16(b)の中間である5画面ごとに1コマのコマ落しを許容する場合も考えられ、この場合でもBピクチャがコマ落ちされ、前後のピクチャをフリーズすることで対応可能である。この場合のコマ落ちさせる単位は、例えば図16(d)の場合は5画面でのフリーズの位置を固定させることが人間の目に目だたなくするためには望ましく、フリーズ位置を固定しつつBピクチャのみのコマ落しを行うために、図16(d)に示すように、必ずしも前の画像をフリーズさせるだけでなく、後の画像からのフリーズも行われる。このようなフリーズの制御は、GOPの先頭に設けられたヘッダ部またはピクチャデータでの先頭部分に設けられたヘッダ部において、フラグ等を設けることにより行われる。
ここで、コマ落しを行った映像データを重複表示するための制御情報で重要なのは、まず映像データがインターレスかノンインターレス方式かを見きわめる必要がある。そのための情報は、図19に示すように、複数の映像データをひとまとめにした映像情報単位GOP47が1つないし複数個集まった先頭に記述されるシーケンスヘッダ46におけるユーザデータ52に記述することが望ましい。これは、上記インターレス方式がピクチャ単位に切り替わることは、動き補償等の関係上あまりなく、一度設定すればあまり変えないものであるためである。
また、どのフィールドを重複表示するかの制御命令は、動きのぎこちなさ等を解消するため、画面単位で制御することが望ましく、図20のピクチャ層56の先頭に設けられたユーザデータ領域52に書き込んでおくのがよい。
元々コマ数が少ない映像データを、表示の際にプルアップして所定のフレームレートにする方法としては、フィルムソースの映画素材がよく用いられる。この場合、図22(a)に示すように元々のフィルムをテレビジョン信号にした場合は、3個または2個のフィールドに同じフィルムから作成された映像が生成されている。そのため図のように5枚に1枚のフィールドを重複表示してテレビに再生している。ただし、挿入は、第一フィールドと第2フィールドが数枚おきに交互に挿入されることとなる。このようにすれば映像を重複表示してもなめらかさが保たれた形でフレームレート変換が可能である。元々がテレビジョン信号であったものを、コマ落ちさせた場合においては、フィールド単位で時間的順序があるため、一つ前のフィールドの情報を基に重複表示することとなる。
1 光ディスク、 2 再生アンプ、 3 復調器、 4 誤り訂正手段、 5 テンポラルリファレンス変換制御手段、 6 バッファ、 7 復号化手段、 8 D/A変換器、 9 再生制御手段、 10 光ヘッド制御手段、 11 補間情報読み取り制御手段、 12 パックヘッダ、 13 システムヘッダ、 14 プライベート2パケット、 15 オーディオパケット、 16 プライベートパケット、 17 ビデオパケット、 18 情報フラグ、 19 情報アドレス、 20 情報サイズ、 21 ピクチャレート、 22 パケット長、 23 パケット開始コード、 24 戻りアドレス値、 25 ピクチャアドレスデータ、 26 TOC、 27 通常再生用映像情報、 28 低速再生用映像情報、 29 ピクチャヘッダ、 30 ピクチャ符号化機能拡張部、 31 量子化マトリックス機能拡張部、 32 ピクチャ表示機能拡張部、 33 ピクチャ空間スケーラブル機能拡張部、 34 ピクチャテンポラルスケーラブル機能拡張部、 35 スライス層、 37 トップフィールドファーストフラグ、 38 リピートファーストフィールドフラグ、 39 プログレッシブフレームフラグ、 40 ビデオA/D変換器、 41 映像情報圧縮手段、 42 ディスクフォーマットエンコーダ、 43 変調手段、 44 データストレージ、 45 ROMディスクマスタリング装置、 46 シーケンスヘッダ、 47 GOP、 48 シーケンスヘッダコード、 49 シーケンス拡張部、 50 シーケンス表示拡張部、 51 シーケンススケーラブル拡張部、 52 ユーザデータ部、 53 ユーザデータ開始部、 54 ユーザデータ、 55 GOPヘッダ、 56 ピクチャ層、 57 ピクチャヘッダ、 58 スライス層、 59 GOP、 60 GOPレイヤ、 61 スライス、 62 スライスレイヤ、 63 ブロックレイヤ、 66 Iピクチャ、 67 Bピクチャ、 68 Pピクチャ、 69 フレームセクタ手段、 70 エンコーダ、 71 変調器、 72 レーザ駆動回路、 73 レーザ出力スイッチ、 74 光ヘッド、 75 アクチュエータ、 76 光ディスク、 77 ディスクモータ、 78 トラバースモータ、 79 モータ駆動回路、 80 モータ制御回路、 81 モータ制御回路、 82 再生アンプ、 83 復調器、 84 デコーダ、 85 フレームセクタ逆変換手段、 86 情報伸長手段、 87 D/A変換器、 88 削除フィールド、 89 フィールド、 90 動ベクトル量検出手段、 91 コマ落し量判定手段、 92 データ変換テーブル、 93 コマ落し量判定手段。