JP2005151551A - オーサリングシステム及びその方法 - Google Patents

オーサリングシステム及びその方法 Download PDF

Info

Publication number
JP2005151551A
JP2005151551A JP2004318455A JP2004318455A JP2005151551A JP 2005151551 A JP2005151551 A JP 2005151551A JP 2004318455 A JP2004318455 A JP 2004318455A JP 2004318455 A JP2004318455 A JP 2004318455A JP 2005151551 A JP2005151551 A JP 2005151551A
Authority
JP
Japan
Prior art keywords
video signal
data
picture type
time code
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004318455A
Other languages
English (en)
Other versions
JP3976045B2 (ja
JP2005151551A5 (ja
Inventor
Toshiaki Setogawa
俊明 瀬戸川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004318455A priority Critical patent/JP3976045B2/ja
Publication of JP2005151551A publication Critical patent/JP2005151551A/ja
Publication of JP2005151551A5 publication Critical patent/JP2005151551A5/ja
Application granted granted Critical
Publication of JP3976045B2 publication Critical patent/JP3976045B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract


【課題】フォーマット上若しくは記録媒体上における1再生単位を基準としてアクセスを行うことができるようにする。
【解決手段】デジタルVTR2からの映像信号を遅延する画像遅延装置3と、エディット・リストに登録されている頭出し点のタイムコードデータを基準として得られるタイムコードデータと、当該タイムコードデータの示す映像信号に対応する、予測方向に応じたピクチャタイプを示すピクチャタイプデータとに基いて、デジタルVTR2からの遅延されていないタイムコードデータに対応する映像信号のピクチャタイプを判定し、この判定結果に基いて、エンコードシーケンス指示データを出力するカット判定回路9と、エンコードシーケンス指示データが示すピクチャタイプとなるよう、デジタルVTR2から供給される映像信号に対して予測処理を行う画像タイプ制御部5とを有する。
【選択図】図2

Description

本発明は、例えばディジタル・ビデオ・ディスク等のようなメディアを制作するための、ディジタル映像、音声等のデータのオーサリングシステム等に適用して好適な、符号化方法及びその装置、並びにオーサリングシステムに関する。
ディスク再生機のランダムアクセスには、真の意味でのランダムにアクセスする場合と、より一般的に応用されているところの、CD−DA(ConpactDisk−Didital Audio)以来馴染みの深い「トラック」と呼ばれる単位でのアクセス、あるいは、レーザーディスクでの「チャプター」と呼ばれる単位でのアクセスがある。CDにおいてはトラックとは通常1曲1曲に相当し、また、レーザーディスクにおける「チャプター」は、それぞれのシーンに相当する。また、最近のVIDEO CD(ビデオ・CD)では、トラックの概念をより発展させ、ストリーム全体をPLAY ITEM(プレー・アイテム)と呼ばれる再生単位の部分に分割し、PLAY LIST(プレー・リスト)と呼ばれるリストに記述してあるPLAY ITEMの順番に従って(ディスク上の記録順序とは異なる順番で)再生するPLAYBACK CONTROLと言う新しいランダムアクセスの機構も存在する。
例えば、トラックによるアクセスは概ね次のような仕掛けで実現されている。
1.エンコード時(オーサリングあるいはマスタリングと呼ばれることもある)に、それぞれのトラックの開始点をタイムコードで指定しておく。トラックの番号は、例えば、1番から順番に増えていくとする。
2.エンコードを行なうときに、あるトラック番号で指定されたタイムコードに相当する映像または音声データがディスク上のどこに記録されたかを、そのディスクフォーマットで使用されている絶対番地方式によりディスクアドレスを覚えておく。{CDの場合は、絶対タイムコードが、DVD(Digital Video Disk)の場合にはセクタ・アドレスの使用が予定されている。}
3.全てのトラック開始点について、トラック番号とそのディスクアドレスのペアの情報が出来上がったら、それをTOC(Table Of Contents)としてディスク上の物理的に最初にアクセスされる場所の近傍(通常は、ディスクの最内周)におく。
4.再生機は、このTOCを読み、メモリーなどの記憶しておけば、ユーザーがあるトラックを指定したとき、即座にディスク上の絶対番地が判明するので、 直接その番地へピックアップを進めて、再生すべきトラックの最初のデータを 読むことができる。
DVD再生機においても、これらの機能を継承しトラック(またはチャプター)番号によるランダムアクセスやPLAYBACK CONTROLによるランダムアクセス機能が搭載される予定である。以下の説明での対象は、このように特定された点に対するランダムアクセス機能である。また、説明を簡単にするため、これらの機能を「頭出し機能」、及びランダムアクセスされるディスク上の特定の箇所を「頭出し点」と呼ぶことにする。
ランダムアクセスはGOP(Group Of Picture)で制限されるMPEG2(Moving Picture Engineering Group−2)の映像信号が記録されたディスクなどを再生する際に、ランダムアクセスなどを行ない記録されたストリームの途中から再生する場合でも、通常のビデオを信号とは異なり任意のピクチャから再生が開始できるわけではない。MPEGの画像圧縮の性格上、常にリファレンスピクチャと呼ばれるイントラ・ピクチャ(Iピクチャ)を先に読む必要があるため、GOP単位での頭出しとなる。
一方、通常のMPEG2のエンコーディングにおいては、1GOPは12〜15枚のピクチャ(フレーム)で構成されるのが効率が良いことが分かっている。従って、もし、この1GOP=12〜15ピクチャのルールのみでエンコードしてしまうと、上で述べた再生時の頭出しの可能な点も12〜15ピクチャおきにしか得られないことになる。しかし、ビデオや映画作品のシーンの切れ目などの頭出しの候補となる点は、当たり前ながら、12〜15枚おきに現われることなど有りえなく、全く任意のところに現われるのは自明であろう。
もし、最も手軽に頭出し点を決めるとすれば、作品上の意味の有る切れ目を選ぶのではなく、最も近い場所のGOPの切れ目を選んで頭出し点とする方法がある。(現状のVIDEO CDなどはこの方法である。)しかし、圧縮エンコードの複雑さを厭わなければ、通常12〜15枚のピクチャおきに構成するGOPのルールを、例えば、頭出し点の近傍で崩し、頭出し点をGOPの切れ目に持ってくることは可能である。
ところが、問題はこれだけでは解決していないのである。頭出し点をGOPの区切りにしただけでは、ランダムアクセス後、作品が意図したピクチャから再生が開始される保証はないのである。それは、GOPの中のピクチャの並び方に原因がある。
以上のことについて、図8を参照して詳細に説明する。図8には、一般的なMPEGの画像列の様子について示されている。この図8には、連続した長い画像のうちの途中が切り出されて示されたもので、原画像がどのような種類の画像に圧縮エンコードされて、どのような順番に並べられるのかが、代表的な例が用いられて表されたものである。図8Aには原画像が、図8Bにはエンコーダ出力が、図8Cにはデコーダ入力が、図8Dには再生画像が夫々示されている。
〔GOPは完全には独立していない〕
図8における凡例において、Iピクチャとは、それ自身独立して再生が可能な画像のことであり、Pピクチャとはそれよりも前方(過去)にあるIまたはPピクチャからの予測を使った画像であり、Bピクチャとは、それ自身よりも前方(過去)にあるIまたはPピクチャからの予測と後方(未来)にあるIまたはPピクチャからの予測の両方を使用した画像のことである。なお、I、B、Pに添えられた数字「xx」は原画像における画面の順番を表し、小さい数字が過去を大きい数字が未来を表している。また、実線の矢印は、どの画像からどの画像が予測されているかの関係を示す。
さて、エンコーダに入力された原画像1は、図8Aに示されるように「・・・BBPBBIBBPBBPBBIBB・・・」の順番で順次圧縮エンコードされて行く。前方または後方からの予測は、実線の矢印で示されるように、例えば、I2ピクチャからの前方予測はB3ピクチャ、B4ピクチャとP5ピクチャの3画像に使われ、同時にB3ピクチャ、B4ピクチャには、P5ピクチャからの後方予測も使われる。
圧縮エンコードされた画像データは、図8Bに示されるエンコーダ出力に示されるように、デコード時に便利なように画像の並べ変えが行なわれる。例えば、原画上のI2ピクチャは、図8Bに示される位置に置かれるが、B3ピクチャ、B4ピクチャは、夫々後ろにずれてP5ピクチャの後ろの位置に夫々置かれる。こうすることにより、図8Cのデコーダ入力に示すように、B3ピクチャとB4ピクチャを再生するのに必要なI2ピクチャとP5ピクチャを先にデコードすることができるようになる。なお、図8Bに示すエンコーダ出力において、Iピクチャから次のIピクチャの手前までをGOPと呼んでいる。
さて、ここで注目しなければならないのは、図8Dの再生画像に示されたB0ピクチャとB1ピクチャの再生である。GOPの観点から見れば、このB0とB1ピクチャは、I2と同一のGOP Nに含まれるのだが、その再生のためには、図8Cにおいて実線の矢印で示すように、一つ手前のGOPに含まれるP1ピクチャからの予測が必要となる点である。このことをもって「GOPは完全には独立していない」と言うのである。
さらに、重要なポイントは、原画像の順番で見ると、通常のGOPにおける先頭の画像はB0ピクチャであることである。
〔頭出し再生における問題点〕
次に、GOPは完全に独立でないために起こる問題について図9を参照して説明する。図9は、あるGOP Nの先頭を頭出し点とした場合の問題の様子を示す説明図である。図9Aにはデコーダ入力が、図9Bには再生画像が示されている。今、連続的に圧縮エンコードされたGOPの列があり、デコーダに入力されるものとする。さて、このようなGOP列に対して、再生機が頭出し動作を行なったとする。このときの再生機のピックアップが位置する頭出し点は、GOPNのデコーダ入力で見たときの先頭であるI2ピクチャであるとする。
さて、この時、B0ピクチャとB1ピクチャを再生するためには、I2ピクチャからの後方予測だけではなくP1ピクチャからの前方予測が必要になるが、頭出し点より以前のデータは読みだしていないので、図9Aにおいて破線の矢印で示す、P1ピクチャからの予測は使えなくなってしまう。つまり、連続的に逐次再生をしているときは何の問題もないのだが、ある場所に頭出しをした場合には、「一つ前のGOPの最後のPピクチャからの予測」が使えなくなるため、結果、図9Bに示す再生画像においては、GOP N内の最初にあるいくつかの(この場合、B0とB1の2枚である)Bピクチャは再生することが出来なくなり、再生開始可能点はI2ピクチャからになってしまう。
元々、エンコードの時点では、GOP Nの先頭ピクチャはB0ピクチャであるから、この例の場合は、指定されたGOPデータにピックアップを持って行けたとしても、頭出し点は結果的に2フレーム後ろにずれることになる。
以上説明したように、頭出し再生においてはいくつかの問題がある。この問題点の解決方法としては、次のようなものが考えられる。
〔一見正しそうな解決方法1〕
*頭出し点をGOPの先頭からオフセットさせる。
例えば、トラックの先頭として頭出しをさせたいピクチャをGOP Nの先頭ではなく、最初から後ろにずらしてIピクチャを頭出し点として指定しておき再生開始可能点と一致させておけば良いのではないか、とも思えるが、それでは次の問題が解決していない。
1.GOPの先頭からどのくらいずらしたらよいか一意には決まらないという問題。
MPEG2のルールでは、Bピクチャの枚数(Iピクチャどうしまたは、IピクチャとPピクチャの間隔、MPEG用語を用いればMの数)に制約はない。画質と符号効率から見てBピクチャの枚数は任意に選べることになっている。従って、頭出し点をGOPの先頭からどのくらいずらしたら良いのかエンコードしてみないことには何とも言えない。
元々、頭出し点を作品上の特定の位置に指定したいのでGOPの区切りをずらそうとしたのに、エンコードしてみて実際にGOPを構築してみないと頭出し点が求まらないと言う、いわば「鶏と卵」の関係に陥ってしまう。
2.頭出し点をタイムコードで確認できないという問題
さらに、タイムコードの問題がある。MPEG2では、タイムコードは各ピクチャごとに持つことは出来ない。オプションとしてGOPヘッダをGOPの先頭に配置することが出来、このGOPヘッダにタイムコードを打つことができる。「打つ」とは、GOPヘッドに相当する記録媒体上にタイムコードデータを記録することである。予想されるDVDのフォーマットでも、形は異なるが、やはりGOPごとにタイムコードを打つことが可能である。この場合、タイムコードの値はどうするべきであろうか?
通常の、逐次再生を考えた場合、GOPの構造(どのピクチャが何枚使われているかということ)とは無関係に一意にタイムコードの値を決めるとすれば、極自然に考えて、GOPに含まれるピクチャの中で最初に再生表示されるべきピクチャに対応するタイムコードとなるはずである。図9の例で言えば、データ列の最初から逐次再生されてきたとすれば、B0ピクチャがGOP Nのなかでは一番最初に再生されるべき画像であるから、GOP Nに付随させるべきタイムコードは、B0ピクチャの時間「t=0」の値となる。
そうなると、頭出し可能点がGOP Nにおいて表示順で見ると先頭ではないイントラピクチャI2になってしまうと、それに対応するタイムコードは「t=2」の値であるが、それそのものの値はGOP Nに付随するデータとしてはデータストリーム中には存在しなくなる。元々、タイムコードで指定された頭出し点(この例で言えば、I2ピクチャの「t=2」)であるが、そのタイムコードが最終的にデータとしてストリーム中に存在しないと、頭出し点が正しくエンコードされたかをデータそのものから確認をすることが困難となってしまう。さらに、頭出し点をタイムコードと頭出し点が記録されたディスク上の記録アドレスの対で表し、それをTOCに登録するという従来の「頭出し点検索システム」から見ても、検索される側のデータのアドレスに位置する情報を読み出してみても、それに付随すべきタイムコードが直接的に確認できないのは問題である。
また、GOPに付随しているタイムコードから常に固定値のフレームだけ進んだところを頭出し点とするということは、結果的に問題点1に帰着してしまう。
ここで、以上説明した問題についてまとめる。トラックなどの頭出し点をGOPの中に存在する最初のイントラピクチャにするという方法は、「M」の値を例えば3に固定する、と言う特別な場合には(TOCの問題は「ズレ」があるということで妥協して)実用になるかもしれないが、一般的に見れば「M」の値は任意なので、頭出し点をエンコード時に指定しても、実際に頭出しされる画像を一意に決定するのは困難である、ということになる。
〔一見正しそうな解決方法2〕
*CLOSED GOPを適用する方法
図10は、MPEG2における「CLOSED GOP(クローズド・GOP)」の概念を示す説明図である。図10Aには原画像が、図10Bにはエンコーダ出力が、図10Cにはデコーダ入力が、図10Dには再生画像が夫々示されている。
CLOSED GOPは、GOP内の最初にあるいくつかのBピクチャなどをエンコードする際に、「その一つ前のGOPの最後のI、Pピクチャからの予測」を使用せずに、原画面順で直後のIピクチャのみから予測するようにコーディングする(Only Backward Prediction)ことによりGOPの独立性を確保する考え方である。図10Bのエンコーダ出力で見て、このようなGOP Nは、CLOSED GOPと呼ばれる。今、図10Cに示すように、プレーヤの頭出し点がCLOSED GOPになっていたとすると、デコーダ入力においては、図中、破線の矢印で示す、元々前のGOPからの前方予測を必要としていないので、図10Dに示す再生画像においてもI2ピクチャの直後にある何枚かのBピクチャ(この例では、図10Dに示すB0及びB1である)は、I2ピクチャからの後方予測のみを使用して、理論上は、再生が可能となる。
これは、一見、良さそうな解答であるが、完全な解決にはなっていない。MPEG2においては、CLOSED GOPは、再生時の表示順で見たときに先頭にあるB0ピクチャから再生できる、とは言っているが、再生しなければならないとは言っていないのである。
通常の再生機は、図10の例で言えば、頭出しの直後に、まずI2ピクチャを読みそれをデコードしなければならない。そしてこのI2ピクチャがリファレンスとなり次のデコードが可能になる。この時、次のことが問題となる。
デコードされたI2ピクチャをすぐに表示せずに、B0ピクチャのデコードを待ってからこのGOPにおける表示順に見て最初のピクチャ(B0ピクチャ)から表示するか、それともすぐにI2ピクチャを表示してしまい、時間的に手前のB1ピクチャは飛ばしてしまい、次のB3ピクチャに続けてしまうかは、全くの任意である。(実際に、頭出し点の再生開始点においては、デコードバッファが空であるために、まず、Iピクチャを再生してしまう再生機が多いようである。理由は、制御が簡単になるということと、少なくとも何枚かのBピクチャをデコードする時間は再生画像の表示が出せないため、見た目ではアクセス速度が遅くなったように見えるのを避けるためである。)
従って、エンコード時にトラックなどの頭出し点をCLOSED GOPとしても、再生時には、必ずしもそのGOPにおける表示順に見て先頭のピクチャから再生されるとは限らないのである。但し、そのような再生方法はMPEGで規定されてルールを違反しているわけではない。
このような状況により、現状では、確実に頭出し点を指定するエンコード方法がなく、どのピクチャから頭出し再生をするかは個々の再生機で自由に行われているのである。
本発明はこのような点を考慮してなされたもので、頭出し点の表示画像が一意に決定できるようにすることにより、再生時に安定した読み出しを行うことのできる符号化方法及びその装置並びにオーサリングシステムを提案しようとするものである。
主要な発明の内の1つは、連続する映像信号から、符号化される映像信号のみの符号化情報、符号化される映像信号と当該映像信号の前若しくは後の映像信号との差分の符号化情報、或いは符号化する映像信号と当該映像信号の前後の映像信号との差分の符号化情報の組み合わせからなるグループを生成する符号化方法であって、連続する映像信号を符号化する際に、上記映像信号のフォーマット上における1再生単位、又は記録媒体上における1再生単位の区切り部分が、上記グループ内に含まれるときには、上記区切り部分に対応する映像信号を、当該映像信号のみを用いて符号化すると共に、当該映像信号を上記グループの先頭とする符号化方法である。
上記発明によれば、上記フォーマット上若しくは記録媒体上における1再生単位を基準としてアクセスを行うとき、その先頭部分の情報を高速、且つ、正しく再生する。
上述せる本発明によれば、上記フォーマット上若しくは記録媒体上における1再生単位を基準として、ランダムアクセスを行うことができ、つまり、頭出し点が一意に決定できるようにし、安定した頭出し機能の提供を保証することができるという効果がある。
以下に、図面を参照して本発明の実施の形態について詳細に説明する。
〔本形態の概要〕
例えばDVDのように、デジタル映像及び音声データ等が、相変化型の光ディスク、光磁気ディスク、読み出し専用の光ディスク等のディスク状記録媒体に記録されたメディアにおいては、CDで行なわれているようなトラック・ジャンプによる頭出し、あるいは、VIDEO CDのPLAYBACK CONTROL(PBC)機能と同じくユーザーが指定した特定の場所から再生を開始するランダムアクセス機能がある。本形態では、例えばDVDに記録されるMPEG2の映像信号の圧縮エンコードにおいて、トラック・ジャンプやPLAYBACKCONTROLなどに代表される特定の場所から再生を開始する機能(頭出し再生と呼ぶことにする)を有する再生機のために、エンコードを行なう際に、
1.トラック(もしくはPLAYBACK CONTROLの1再生単位であるPLAY ITEM)の切れ目などの頭出し点では、必ずGOP(GROUPOF PICTURE)の区切りを入れる。
2.かつ、「カットのあるシーケンス」をトラック(もしくはPLAYBACKCONTROLの1再生単位であるPLAY ITEM)の切れ目などの頭出し点に該当するGOPに適用し、その点の前後のピクチャにおいてお互いに前方または後方予測を必要としないコーディングをする。そして、これによって、 頭出し点の画像が必ずイントラピクチャになるようにすることで、どのような 再生機で解釈したとしても、必ず頭出し点のピクチャが一意に決まるようにし、 その結果、安定した頭出し再生を提供できる。
ここで、「区切り」となり得るのは、論理的なフォーマット上における単位間、即ち、論理セクタ、論理トラック、論理ブロック等の境界や、物理セクタの境界等である。論理的な単位の境界としては、例えばCDにおけるトラックやビデオディスクにおけるチャプタ等のような、制作者の意図した単位間の境界がある。また、物理的な単位の境界としては、例えば光ディスク上における物理セクタ等のように、記録媒体そのものの構造であるとことの、光学ピックアップのアクセス単位間の境界がある。
即ち、本形態においては、「カットのあるシーケンス」を応用し、どのような再生機においても、頭出し点の表示画像が一意に決定できるようなエンコードを行なうことにより、安定した頭出し機能の提供を保証するものである。以下、本形態について詳細に説明する。
まず、本形態のベースとなる圧縮エンコードの方法について図1を参照して説明する。図1Aには通常シーケンスが示され、図1Bにはカットシーケンスが示され、図1Cにはエンコーダ出力が示され、図1Dにはデコーダ入力が示され、図1Eには再生された画像が示されている。
図1Aに示されるように、通常のシーケンスにおいては、例えば、P1ピクチャの後ろにはB0ピクチャ、B1ピクチャ、I2ピクチャと続く。しかしながら、本形態においては、それとは別に特別なシーケンスが用いられる。特別なシーケンスでは、図1Bに示されるように、P1ピクチャの後ろがI0ピクチャとされ、そこからB1ピクチャ、B2ピクチャという具合に通常のシーケンスと同じように続けられていく。尚、本形態では、このような形のシーケンスを「カットシーケンス」、または、「カットのあるシーケンス」と呼ぶことにする。
このように、通常では、図1Aに示されるように、「・・・BBPBBIBBP・・・」となるシーケンスは、図1Bに示されるように、カットのあるシーケンスでは「・・・BBPIBBPBB・・・」となり、丁度、図1Bにおいて実線の矢印で示されるカットのところでは、Bピクチャが抜けたように見える。このカットを置くことにより、図1Bから明らかなように、カットの前後のGOPN−1とGOP Nの間には、元々予測が存在しておらず、従ってGOP N−1とGOP Nは夫々完全に独立している。
*頭出し点はカットのあるシーケンスにする
さて、カットのあるシーケンスで構成されたGOPの先頭が、トラックの先頭などの頭出し点であった場合についてみてみる。図1Dに示されるデコーダ入力で見てみると、カットのあるGOPの先頭は、I0ピクチャ(GOP内で、最も最初に表示されるべき画像がイントラピクチャ)であるから、デコードの順番で見ても、図1Eに示される再生された画像における順番で見ても、どちらも先頭の画像となることは明らかである。
ここが、本形態におけるポイントの1つである。トラックやPLAYBACKCONTROL機能など、再生時に特定の場所を頭出し点として指定したい場合には、1.頭出し点に相当する画像が、表示順に見てGOPの先頭となるようにGOP の区切りを決める。
2.かつ、そのGOPは、カットのあるシーケンスにより構成する。
このルールで圧縮エンコードされた画像データにおいては、図1Dにおいて実線の矢印で示される頭出し点から再生を開始しようとする場合、「最初にデコードする画像=最初に表示する画像」の関係があるので、どのような再生機であっても、必ずI0ピクチャからの再生とならざるを得ない。よって、頭出し点は、一意に決定できるのである。さらに、頭出し点の画像に付随するタイムコードは、そのままGOPに付随するタイムコードとして適用できるので、正しい位置に頭出し点が来るようにエンコード出来たかは、エンコード後のタイムコードを見ればよいので、簡単に判定が可能である。
即ち、頭出し点をタイムコードと頭出し点が記録されたディスク上の記録アドレスの対で表し、それをTOCに登録するという従来の「頭出し点検索システム」から見ても、検索される側のデータのアドレスに位置する情報を読み出せば、それに付随すべきタイムコードが直接的に確認できるのである。
〔構成及びその動作の概要〕
図2に、一実施の形態としてのオーサリングシステムの構成例を示す。まず、圧縮エンコードされる対象のマスターテープ(マスターとして用いられるビデオ・テープ・カセット)1は、デジタルVTR2で再生される。マスターテープ1に付随しているところの、各頭出し点がタイムコードで指定されたデータが書き込まれたフレキシブル・ディスク6は、頭出し点読み取り部7にセットされる。読み取られた頭出し点の情報は、さらに、頭出し点修正装置8により、頭出し点のタイムコード値の微調整や追加または削除が可能となっている。以上の手段で決定されたマスターテープ1に対する頭出し点のタイムコードの情報は、カット判定回路9に送られる。また、デジタルVTR2で再生されるマスターテープ1には、あらかじめタイムコードが記録され、そのデジタルVTR2からのタイムコードデータは、カット判定回路9と画像タイプ制御部5に夫々供給されている。
ここで、上記フレキシブル・ディスク6には、図3Aに示すように、カット番号データと、このカット番号データに対応するタイムコードデータとからなる、EDLデータEDLd(エディット・リスト)が記録されている。
カット判定回路9では、入力された頭出し点のタイムコード情報と、VTR2からのタイムコードデータとを比較しつつ、どのような圧縮シーケンス(Iピクチャ、Pピクチャ、Bピクチャの並び方)を組めばよいか判定を行ない、入力されるタイムコードの一つ一つのフレーム番号データとピクチャのシーケンスの対応を準備しておく。例えば、頭出し点のない付近でのシーケンスでは、通常の「・・・BBPBBIBBP・・・」とし、頭出し点の付近では「カットのあるシーケンス」、即ち、「・・・BBPIBBPBB・・・」と言う具合にあらかじめピクチャのタイプのエンコードされる順番を決定するわけである。
マスターテープ1の再生が開始されると、カット判定回路9は、入力されてくるタイムコードデータと、あらかじめ求めておいたシーケンスとの対応をとりながら、そのタイムコードに相当する画像をどのピクチャのタイプで圧縮すればよいかをエンコードシーケンス指示データとして画像タイプ制御部5に送る。一方、デジタルVTR2で再生された映像信号は、画像遅延装置3に送られる。遅延量は操作部4により設定され、それと同じ情報が画像タイプ制御部5にも供給される(遅延量については、後述する)。遅延された映像信号は、画像タイプ制御部5に供給される。
画像タイプ制御部5は、夫々のピクチャタイプに応じて生成された画像の2次元画像情報と、その処理時間に対応して遅延されたタイムコードを、DCT(Discrete Cosign Transform)14に送り出す。DCT10では、画像情報を2次元の画素から周波数成分の情報に変換し、各帯域に分かれた画像周波数成分情報を出力する。また、画像タイプ制御部5は、どの時間の画像がどの程度の情報量を持っていたのかを保存するために、同時に、その処理遅延時間に対応して遅延させたタイムコードデータも出力する。当該タイムコードデータは、量子化器11に供給される。尚、量子化器11の出力は、逆量子化器12と逆DCT13を通じて、量子化の誤差を含んだ2次元画素情報に逆変換され、画像タイプ制御部5にフィードバックされる。これにより、画像タイプ制御部5は、BないしPピクチャのための差分信号を生成する処理、いわゆる予測処理を行うことができる。尚、画像タイプ制御部5では、動き予測やその補償をも行っているが、量子化誤差を含めたフィードバック情報は、これらの処理を適応化するのに重要な情報となる。
量子化器11では、特に重み付け等は行われずに、各帯域毎に均等に量子化するような仮量子化レベルで画像の周波数帯域情報が量子化される。量子化されたビットは、量子化に要した時間に対応するだけ遅延されたタイムコードデータと共に出力される。この結果、時間毎の画像情報量の変化が得られる。以下、この時間毎の画像情報量の変化を示すデータを、ディフィカルティ・データと称する。
さて、量子化レベル制御回路15には、例えば手入力等により、ディフィカルティ・データが供給されており、画像情報量の時間変化を示す情報が与えられている。量子化レベル制御回路15は、入力されているタイムコードデータと、画像情報量の時間変化を示す情報から、どのような重み付け制御が必要かを決定し、量子化レベル重み付け制御信号を、量子化器11に供給する。通常、とくに画質に問題がない場合は、量子化レベル修正装置16は働かない。
量子化器11では、上記量子化レベル重み付け制御信号に従って、各帯域毎に量子化を行い、情報量の削減を行う。量子化されたビットは、量子化に要した時間に対応するだけ遅延されたタイムコードデータと共に、エントロピー符号化器17に供給される。エントロピー符号化器17では、更に、ビット量の圧縮を行うために可逆圧縮手法であるところのエントロピー符号化が行われる。そして、この前段まで固定長ビット列であったものを可変長ビット列に変換する。エントロピー符号化器17からは、可変長符号に変換された最終的な画像符号と、その画像を表示すべき時刻を示した時間情報が、出力レート決定装置18に供給される。
出力レート決定装置18は、上記時間情報に基づき、PES(Packetized Elementary Stream)若しくはPACK等のヘッダ情報を求め、入力された画像符号をパケット化し、これを最終符号出力として、ストリーム出力装置19に供給する。さて、一方では、出力レート決定装置18は、エンコードを始める際に、エンコーダ制御部23から、通常エンコードの指示が与えられている。出力レート決定装置18は、後に画質改善のための編集を可能とするために、最終符号出力の元になった情報であるところの、上記画像符号と時間情報を、ストレージ装置22に、通常エンコードの結果によるというマーキング情報と共に保存する。
さて、最終符号出力は、モニタ用デコーダ21にも送られている。オペレータは、このモニタによって画質を監視することができる。もしも画質に問題があるならば、その部分に相当する画像を表示すべき時刻を示した時間情報を、量子化レベル修正装置16に記録する必要がある。通常エンコードが一通り終了した時点で、画質に問題のある場所がどの「カット」に相当するかは、量子化レベル修正装置16に記録されていた時間情報とカット判定回路9に保存されているタイムコードデータとカットの関係とから、容易に求めることができる。
ここで、画質が問題となる部分に相当する「カット」をエンコーダ制御部23から再度再生し、モニタ用デコーダ21を監視しながら、量子化レベル修正装置16において量子化レベルの重み付けを調整し、画質に問題がない量子化レベルを求める。求めた量子化レベルの重み付け制御値は、その「カット」に相当するタイムコードデータと共に量子化レベル制御回路15に与えておく必要がある。勿論、画質に問題のある部分が複数存在するときには、上記処理を繰り返す必要がある。
量子化レベル制御回路15においては、もともとディフィカルティ・データによって総発生ビット量が既知である。従って、量子化レベル修正装置16により、量子化レベルが修正された結果、新しい総発生ビット量を認識することも可能である。もし、総発生ビット量が予め定められてメディアの総容量を越えてしまうようなことがあれば、今度は、逆に、ビット量を減らしても問題になりにくそうな「カット」を指定し、その部分を上述と同様に再生しながら、量子化レベル修正装置16によって情報量が抑制されるように量子化レベルを調整する。
このようにして、必要な部分の量子化レベルを調整し直すと、エンコーダ制御部23から、対象となる「カット」のみをエンコードさせるように、デジタルVTR2を順次再生させる。エンコードは、通常エンコードと同様に進行する。このとき、エンコーダ制御部23は、エンコードの結果が再エンコードによるものであることを示すため、再エンコードの指定を、出力レート決定装置18とストレージ装置22に対し、夫々与える。これにより、ストレージ装置22には、改善された画質を持つ画像符号及び時間情報が、再エンコードのマーキング情報と共に記録される。
全ての再エンコードが終了すると、ストレージ装置22には、通常若しくは再エンコードによる画像符号及び時間情報の全てが記録されている。出力レート決定装置18は、上記画像符号及び時間情報に基いて、プログラムの先頭から順次パケット化し、最終符号出力としてストリーム出力装置19に供給する。ストリーム出力装置19は、最終符号出力を、出力端子20を介して出力する。
次に、上記オーサリングシステムが決定するエンコードシーケンスについて、図4を参照して説明する。
MPEGにおいては、GOP内のピクチャの枚数をNと呼び、IまたはPピクチャの周期(Iピクチャから次のPピクチャまでのピクチャの枚数)をMと呼んでいる。MPEGにおいては、このNとMに制約はないのであるが、ここでは説明のため、通常シーケンスをN=9、M=3とする。図4においては、四角囲みされたIピクチャは、そこがカットのあるシーケンスの先頭であることを示し、丸囲みされたIピクチャでその他の一般のGOPの先頭を示している。なお、図4は、あくまでも原画像におけるピクチャのエンコード・シーケンスの順番を示しており(図中、I、B、Pの添え数字が原画上で「何番」目のピクチャであるか表している)、GOPの概念をもつエンコーダ出力でのピクチャの順番ではないことに注意されたい。エンコーダ出力においては、既に説明したように、Bピクチャの順番が入れ替わり、GOP単位で見た場合はあくまでもIピクチャが先頭となる。
N=9の場合、カットシーケンスは、そのカットの位置により、図4A〜Jに夫々示すように、カットシーケンス0からカットシーケンス8迄、合計9種類の場合が発生する。しかし、いずれ場合であっても、カットのあるシーケンスの先頭の(四角囲みで示した)Iピクチャの直前のピクチャタイプは必ずPピクチャであることが大きな特長になっている。
〔各シーケンスについて(図4中の波線については後述)〕
カットシーケンス0は、図4Bに示されるように、Iピクチャの位置が、通常シーケンスに比べて前に2枚ずれて「0番」のピクチャがIピクチャとなる。しかし、直前のピクチャはPピクチャであるので、GOPはI0ピクチャから始まり、シーケンスの都合上P9までのN=10となる。その後は通常のシーケンスが続く。
カットシーケンス1は、図4Cに示されるように、Iピクチャの位置が、通常シーケンスに比べて前に1枚ずれて「1番」のピクチャがIピクチャとなり、かつ、直前の「0番」のピクチャは、通常ではBピクチャであるが、Pピクチャとされる。GOPはI1ピクチャから始まり、シーケンスの都合上P10までのN=10となる。その後は通常のシーケンスが続く。なお、直前のGOPは、P0ピクチャまでを含むので、それに限りN=10となる。
カットシーケンス2は、図4Dに示されるように、Iピクチャの位置が、通常シーケンスと同じ位置で「2番」のピクチャがIピクチャとなるが、直前の「0番」と「1番」の2枚のピクチャは、通常ではBピクチャであるが、2枚ともPピクチャとされる。GOPはI2ピクチャから始まり、シーケンスの都合上P11までのN=10となる。その後は通常のシーケンスが続く。なお、直前のGOPは、P0とP1ピクチャまでを含むので、それに限りN=11となる。
カットシーケンス3は、図4Eに示されるように、Iピクチャの位置が、通常シーケンスに比べて後ろに1枚ずれて「3番」のピクチャがIピクチャとされる。ただし、「2番」のピクチャまでは通常のシーケンスが延ばされる。GOPはI3ピクチャから始まり、シーケンスの都合上P12までのN=10となる。その後は通常のシーケンスが続く。なお、直前のGOPは、B0とB1とP2ピクチャまでを含むので、それに限りN=12となる。
カットシーケンス4は、図4Fに示されるように、Iピクチャの位置が、通常シーケンスに比べて後ろに2枚ずれて「4番」のピクチャがIピクチャとされる。ただし、「2番」のピクチャまでは通常のシーケンスが延ばされ、かつ、I4ピクチャの直前の「3番」のピクチャはPピクチャとされる。GOPはI4ピクチャから始まり、シーケンスの都合上P13までのN=10となる。その後は通常のシーケンスが続く。なお、直前のGOPは、B0、B1、P2、P3ピクチャまでを含むので、それに限りN=13となる。
カットシーケンス5は、図4Gに示されるように、Iピクチャの位置が、通常シーケンスに比べて後ろに3枚ずれて「5番」のピクチャがIピクチャとされる。ただし、「2番」のピクチャまでは通常のシーケンスが延ばされ、かつ、I5ピクチャの直前の2枚のうち「3番」はBピクチャ、「4番」のピクチャはPピクチャとされる。GOPはI5ピクチャから始まり、シーケンスの都合上P14までのN=10となる。その後は通常のシーケンスが続く。なお、直前のGOPは、B0、B1、P2、B3、P4ピクチャまでを含むので、それに限りN=13となる。
カットシーケンス6は、図4Hに示されるように、今までのようにIピクチャの位置を後ろにずらすと直前のGOPの長さが長くなり過ぎるので、別のルールとされ、短めの通常シーケンスが置かれ、その後に改めてカットのあるシーケンスが置かれる。B0ピクチャから始まる通常のシーケンスは、P5ピクチャまでのN=6で打ち切られ、その後の「6番」のピクチャがカットのあるシーケンスのIピクチャとされる。GOPはI6ピクチャから始まり、シーケンスの都合上P15までのN=10となる。その後は通常のシーケンスが続く。
カットシーケンス7は、図4Iに示されるように、カットシーケンス6と同様に、単純にIピクチャの位置を後ろにずらすと直前のGOPの長さが長くなり過ぎるので、別のルールとされ、短めの通常シーケンスが置かれ、その後に改めてカットのあるシーケンスが置かれる。B0ピクチャから始まる通常のシーケンスがP5ピクチャまで続けられ、かつ、その後の「6番」にPピクチャが続けられ、ここでN=7でGOPが打ち切られる。その直後の「7番」のピクチャが、カットのあるシーケンスのIピクチャとされる。GOPはI7ピクチャから始まり、シーケンスの都合上P16までのN=10となる。その後は通常のシーケンスが続く。
カットシーケンス8は、図4Jに示されるように、カットシーケンス7と同様に、単純にIピクチャの位置を後ろにずらすと直前のGOPの長さが長くなり過ぎるので、別のルールとされ、短めの通常シーケンスが置かれ、その後に改めてカットのあるシーケンスが置かれる。B0ピクチャから始まる通常のシーケンスがP5ピクチャまで続けられ、かつ、その後の「6番」がBピクチャとされ、「7番」にPピクチャが続けられ、ここでN=8でGOPが打ち切られる。その直後の「8番」のピクチャが、カットのあるシーケンスのIピクチャとされる。GOPはI8ピクチャから始まり、シーケンスの都合上P17までのN=10となる。その後は通常のシーケンスが続く。
以上説明した通常シーケンスデータSd並びにカットシーケンス0〜8までの合計10パターンのシーケンスデータSdは、図2に示したカット判定回路9の内部ROM9aに記憶されている。そして、カット判定回路9は、処理の開始時点においては、通常のシーケンスデータSdを、上記内部ROM9aから内部RAM9bにロードし、以降、処理中のGOPの次のGOPの構成画像中に、頭出し点が有るか否かを判断する。
そして、カット判定回路9は、次のGOP中に頭出し点が無いと判断した場合には通常のシーケンスデータSdを、内部ROM9aから内部RAM9bにロードし、当該シーケンスデータSdを、シーケンスリストデータSLdとして次のGOPの処理で用いる。そして、カット判定回路9は、次のGOP中に頭出し点が有ると判断した場合には、処理中のGOPの最後の構成画像から数えて何枚目に頭出し点が有るかを検出し、その値が“1”枚目なら上記シーケンス0のデータを、“2”枚目なら上記シーケンス1のデータを、・・・・9枚目なら上記シーケンス8のデータを、内部ROM9aから読み出し、当該シーケンスデータSdを、シーケンスリストデータSLdとして内部RAM9bにロードし、次のGOPの処理で用いる。
図3Bに上記シーケンスリストデータSLdの一例が示されている。この図3Bに示されるように、シーケンスリストデータSLdは、アドレスとしての番号に対し、夫々、タイムコードデータ、ピクチャタイプデータが登録されたものである。上記シーケンスデータSdは、このシーケンスリストデータSLd中のピクチャタイプデータに相当する。タイムコードデータは、最も小さい値がフレームであるから、単純にこのフレームの桁のインクリメントを行うことにより、連続的にタイムコードデータを得ることができることはいうまでもない。
つまり、カット判定回路9は、タイムコードデータを例えば2GOP分生成し、生成した2GOP分のタイムコードデータを、シーケンスリストデータSLdに登録する。そして、最初は、通常のシーケンスデータSdを内部ROM9aから読み出し、上記タイムコードデータに対応させて、シーケンスリストデータSLdに登録する。そして、以降は、カット判定回路9は、EDLデータEDLdに登録されている頭出し点のタイムコードデータと同じ値のタイムコードデータが、次のGOPに対応するタイムコードデータ中に含まれているか否かを検出する。含まれていない場合には、カット判定回路9は、次のGOPに対応するタイムコードデータに対応させて、内部ROM9aから読み出した通常のシーケンスデータSdを登録する。含まれている場合には、カット判定回路9が、処理中のGOPの最後の画像から、次のGOPの頭出し点の画像までの枚数を、シーケンスリストデータSLd上で数え、その値に応じて、上述したように、シーケンス0〜8までのデータを選択し、選択したシーケンスデータSdを、内部ROM9aから内部RAM9bにロードし、当該GOPに対する処理において、当該ロードデータを用いるのである。ここで「ロードデータを用いる」とは、カット判定回路9が、画像タイプ制御部5に対し、デジタルVTR2からの画像を、当該画像のタイムコードデータについてシーケンスリストデータSLdに登録されているピクチャタイプデータが示すピクチャタイプで処理することを指示することを意味する。
ここで、再び図2について説明する。カット判定回路9においては、頭出し点読み取り部7に入力される情報と頭出し点修正装置8により追加変更された情報に基づき、どのタイムコードフレームが頭出し点であるか、すなわち、どこにカットを置けばよいかが判明している。従って、カットの近傍では、上述したカットシーケンスのどれを選べばよいかは簡単に求めることが出来る。
カット判定回路9は、画像タイプ制御部5に対し、通常のカットのない部分では、通常シーケンスの順番に、エンコードシーケンス指示データを単純に繰り返し与えておき、カットの近傍では、カットシーケンス0から8のどれかのうち適合するパターンデータを与える。
さて、画像遅延装置3の遅延量について説明する。画像タイプ制御部5では、特別な指示をしない限り、IまたはPピクチャが指示されたら必ずBピクチャが2枚続き、また、Bピクチャが2枚続いたらその次は必ずIまたはPピクチャを置く、と言うルール(すなわち、IまたはPピクチャの周期Mが3ということ)でしかエンコードがされないものとする。但し、あらかじめシーケンスを指定すればそのとおりにエンコードするものとする。
つまり、この基本的な通常シーケンス以外のエンコードをさせたいときには、あらかじめ、通常とは違うことは分かっていればよいわけであるので、画像タイプ制御部5は、遅延のないタイムコードデータとエンコード指示データを必要とする。さて、必要な遅延量であるが、ここで、図4に戻って「波線」部分に注目してみる。この波線は、通常シーケンスの単純ルール、すなわち、「IまたはPピクチャが指示されたら必ずBピクチャが2枚続き、また、Bピクチャが2枚続いたらその次は必ずIまたはPピクチャを置く」というルールが適用されない部分を示している。
この図4から明らかなように、このカットを置くことによる影響は、IまたはPピクチャの周期Mが3の場合は、最大でも3フレームであることが分かるので、画像遅延装置3に対する遅延量の設定値は3フレームとすればよいことが分かる。また、この設定遅延量情報は、同時に画像タイプ制御部5にも入力されている。従って、結果的に、画像タイプ制御部5は、遅延量が既知の遅延映像信号と、遅延のないタイムコードデータとエンコードシーケンス指示データから、通常とは異なるシーケンス(M=3ではないケース)でエンコードしなくてはならないときには、具体的にどの画面から特別なエンコードをすればよいのかを、その1つ前のフレームで知ることが出来ることになる。
〔図2に示したオーサリングシステムにおける主要な動作説明〕
次に、図2に示したオーサリングシステムにおける主要な動作について、図5〜図7を参照して説明する。
ステップS1では、図2に示した頭出し点読み取り部7が、フレキシブル・ディスク6に記録されているEDLデータEDLdを読み込む。頭出し点読み取り部7の読み込んだEDLデータEDLdは、カット判定回路9に供給され、このカット判定回路9のRAMに保持される。
ステップS2では、図2に示したカット判定回路9が、RAMに保持しているEDLデータEDLd中から、最初のカット番号データについて登録されているタイムコードデータを読み取り、以降のNフレーム分のシーケンスリストデータSLdを生成する。例えば2GOP分のタイムコードデータを生成して内部RAM9bに保持すると共に、内部ROM9aから通常のシーケンスデータSd、即ち、ピクチャタイプデータを読み出し、当該ピクチャタイプデータを、内部RAM9bに保持されている先頭のGOP用のタイムコードデータに対応させて登録する。尚、次のGOP用としてシーケンスリストデータSLdに登録されているタイムコードデータに対するピクチャタイプデータの登録は、先頭のGOPの最後の画像について処理を行った後、上述したように、頭出し点の有る無しに応じてシーケンスデータSdを選択してから行われる。
ステップS3では、図2に示したカット判定回路9がエンコードを開始する。
ステップS4では、図2に示したカット判定回路9が、デジタルVTR2からのタイムコードデータを読み取る。
ステップS5では、図2に示したカット判定回路9が、読み取ったタイムコードデータの値と、内部RAM9bに保持されているシーケンスリストデータSLdに登録されているタイムコードデータの値を比較する。
ステップS6では、図2に示したカット判定回路9が、読み取ったタイムコードデータの値が、現在のGOPの最後に相当するタイムコードデータの値に等しいか否かを判断し、「YES」であればステップS7に移行し、「NO」であればステップS9に移行する。
ステップS7では、図2に示したカット判定回路9が、内部RAM9bに保持されているシーケンスリストデータSLd中から、処理中のGOPの最後のタイムコードデータ及びピクチャタイプデータを読み、これをエンコードシーケンス指示データとして、図2に示した画像タイプ制御部5に供給する。画像タイプ制御部5は、エンコードシーケンス指示データとして供給されるタイムコードデータと、ピクチャタイプデータにより、上記タイムコードデータと同じ値のタイムコードデータの示す時間的位置のフレームの映像信号を、上記ピクチャタイプデータが示すピクチャタイプでエンコード処理する。
ステップS8では、図2に示したカット判定回路9が、読み取ったタイムコードデータの値から例えば9フレームまで順次値をインクリメントすると共に、各値が、内部RAM9bに保持されているEDLに登録されているタイムコードデータの値と一致するか否かを検出する。このとき、カット判定回路9は、一致を検出した場合には、次のGOPに頭出し点が含まれることを示すデータと、読み取ったタイムコードから何フレーム目が一致したのかを示すデータを、一致しない場合にはその旨を示すデータを、内部RAM9bに記憶する。
ステップS9では、図2に示したカット判定回路9が、内部RAM9bに保持されているシーケンスリストデータSLdから、現在のタイムコードデータと、ピクチャタイプデータを読み、これらのデータを、エンコードシーケンス指示データとして、図2に示した画像タイプ制御部5に供給する。ここで「現在のタイムコードデータ」とは、シーケンスリストデータSLd上における現在の処理対象画像のタイムコードデータである。
ステップS10では、図2に示したカット判定回路9が、エンコードが終了か否かを判断し、「YES」であれば終了し、「NO」であればステップS11に移行する。ここで、エンコードが終了か否かの判断は、EDLに登録されている頭出し点のタイムコードデータについて全て処理を行ったか否かによって行われる。
ステップS11では、図2に示したカット判定回路9が、内部RAM9bに保持しているデータ、即ち、次のGOPに頭出し点が含まれることを示すデータ、若しくは一致しないことを示すデータに基づき、次のGOPに頭出し点が含まれるか否かを判断し、「YES」であればステップS12に移行し、「NO」であればステップS13に移行する。
ステップS12では、図2に示したカット判定回路9が、内部RAM9bに保持している次のGOPに含まれる頭出し点までのフレーム数データ、即ち、読み取ったタイムコードから何フレーム目が一致したのかを示すデータにより、現時点から数えて何枚目が頭出し点かを検出する。
ステップS13では、図2に示したカット判定回路9が、次のGOPのために、内部ROM9aから通常のシーケンスデータSdを読み出し、当該シーケンスデータSdを、内部RAM9bのシーケンスリストデータSLdに登録する。
ステップS15では、カット判定回路9が、“1”枚目か否かを判断し、「YES」であればステップS16に移行して、内部ROM9aに記憶されている、カットシーケンス0のシーケンスデータSdを選択し、ステップS17に移行して、上記カットシーケンス0のシーケンスデータSdを読み出し、当該データを、内部RAM9bにロードし、再びステップS4に移行する。
ステップS18では、カット判定回路9が、“2”枚目か否かを判断し、「YES」であればステップS19に移行して、内部ROM9aに記憶されている、カットシーケンス1のシーケンスデータSdを選択し、ステップS17に移行して、上記カットシーケンス1のシーケンスデータSdを読み出し、当該データを、内部RAM9bにロードし、再びステップS4に移行する。
ステップS20では、カット判定回路9が、“3”枚目か否かを判断し、「YES」であればステップS21に移行して、内部ROM9aに記憶されている、カットシーケンス2のシーケンスデータSdを選択し、ステップS17に移行して、上記カットシーケンス2のシーケンスデータSdを読み出し、当該データを、内部RAM9bにロードし、再びステップS4に移行する。
ステップS22では、カット判定回路9が、“4”枚目か否かを判断し、「YES」であればステップS23に移行して、内部ROM9aに記憶されている、カットシーケンス3のシーケンスデータSdを選択し、ステップS17に移行して、上記カットシーケンス3のシーケンスデータSdを読み出し、当該データを、内部RAM9bにロードし、再びステップS4に移行する。
ステップS24では、カット判定回路9が、“5”枚目か否かを判断し、「YES」であればステップS25に移行して、内部ROM9aに記憶されている、カットシーケンス4のシーケンスデータSdを選択し、ステップS17に移行して、上記カットシーケンス4のシーケンスデータSdを読み出し、当該データを、内部RAM9bにロードし、再びステップS4に移行する。
ステップS26では、カット判定回路9が、“6”枚目か否かを判断し、「YES」であればステップS27に移行して、内部ROM9aに記憶されている、カットシーケンス5のシーケンスデータSdを選択し、ステップS17に移行して、上記カットシーケンス5のシーケンスデータSdを読み出し、当該データを、内部RAM9bにロードし、再びステップS4に移行する。
ステップS28では、カット判定回路9が、“7”枚目か否かを判断し、「YES」であればステップS29に移行して、内部ROM9aに記憶されている、カットシーケンス6のシーケンスデータSdを選択し、ステップS17に移行して、上記カットシーケンス6のシーケンスデータSdを読み出し、当該データを、内部RAM9bにロードし、再びステップS4に移行する。
ステップS30では、カット判定回路9が、“8”枚目か否かを判断し、「YES」であればステップS31に移行して、内部ROM9aに記憶されている、カットシーケンス7のシーケンスデータSdを選択し、ステップS17に移行して、上記カットシーケンス7のシーケンスデータSdを読み出し、当該データを、内部RAM9bにロードし、再びステップS4に移行する。
ステップS32では、カット判定回路9が、“9”枚目か否かを判断し、「YES」であればステップS33に移行して、内部ROM9aに記憶されている、カットシーケンス8のシーケンスデータSdを選択し、ステップS17に移行して、上記カットシーケンス7のシーケンスデータSdを読み出し、当該データを、内部RAM9bにロードし、再びステップS4に移行する。
〔変形例及び実施の形態から導き出される効果〕
本方式は、MPEGビデオ(もしくは、それに類似するビデオ圧縮)を記録するものの全てに適応可能である。(MMCDであろうがSDであろうが、将来あるであろうMPEGビデオ記録再生機の全て、記録媒体には無関係である。)
あらかじめ指定したタイムコードフレームにおける特定の頭出し点(それがどの理由で頭出し点として指定されたかは問わない)は、エンコードされた画像データの並び方の性格上、確実に一意的に、頭出し点としてアクセスし再生可能となる。
そして、一意に決定できるということは、CDにおけるTOCのように、頭出し点をその画像のタイムコードと記録された媒体上の絶対番地のペアとして記録しても、そのTOCにおける情報と実際に頭出し再生される画像とは矛盾がなくなることが保証される。
従って、伝統的なトラック機構によるアクセスのみならず、PLAYBACKCONTROLなどのようにより複雑なランダムアクセスの機構においても、頭出し点をその画像のタイムコードと記録された媒体上の絶対番地のペアとして取り扱うというルールのもとにおいても、全く同様に適用できる。将来、ゲーム用の動画など、インタラクティブに頭出ししなければならない場合にも応用可能である。
また、図2においては、最適なエンコードが行えるまでN回エンコードを行う、いわゆる2パス以上のシステムを示しているが、いわゆる1パスのシステムでも同様である。1パスのシステムの場合、量子化レベル制御回路15、量子化レベル修正装置16、出力レート決定装置18、ストレージ装置22、モニタ用デコーダ21が不用となる。1パスのシステムの場合、量子化レベルは固定だからである。そして、エントロピー符号化器17の出力は、ストリーム出力装置19に入力される。
実施の形態の説明に供する圧縮エンコードの説明図である。 〔図1A〕 通常シーケンスを示す説明図である。 〔図1B〕 カットシーケンスを示す説明図である。 〔図1C〕 エンコーダ出力を示す説明図である。 〔図1D〕 デコーダ入力を示す説明図である。 〔図1E〕 再生された画像を示す説明図である。 実施の形態を示すオーサリングシステムの構成図である。 図2に示したエディットリストデータ及びシーケンスリストデータの一例を示す説明図である。 〔図3A〕 エディットリストデータの一例を示す説明図である。 〔図3B〕 シーケンスリストデータの一例を示す説明図である。 カットシーケンスの一例を示す説明図である。 〔図4A〕 通常シーケンスの一例を示す説明図である。 〔図4B〕 カットシーケンス0の一例を示す説明図である。 〔図4C〕 カットシーケンス1の一例を示す説明図である。 〔図4D〕 カットシーケンス2の一例を示す説明図である。 〔図4E〕 カットシーケンス3の一例を示す説明図である。 〔図4F〕 カットシーケンス4の一例を示す説明図である。 〔図4G〕 カットシーケンス5の一例を示す説明図である。 〔図4H〕 カットシーケンス6の一例を示す説明図である。 〔図4I〕 カットシーケンス7の一例を示す説明図である。 〔図4J〕 カットシーケンス8の一例を示す説明図である。 図2に示したオーサリングシステムの主要な動作を説明するためのフローチャートである。 図2に示したオーサリングシステムの主要な動作を説明するためのフローチャートである。 図2に示したオーサリングシステムの主要な動作を説明するためのフローチャートである。 従来の技術の説明に供するGOPが完全に独立していないことを説明するための説明図である。 従来の技術の説明に供する頭出し再生における問題点を説明するための説明図である。 CLOSED GOPを適用する方法を説明するための説明図である。
符号の説明
1 マスターテープ(ビデオ・テープ・カセット)
2 デジタルVTR
3 画像遅延装置
4 操作部
5 画像タイプ制御部
6 フレキシブル・ディスク
7 頭出し点読み取り部
8 頭出し点修正装置
9 カット判定回路
9a ROM
Sd シーケンスデータ
9b RAM
EDLd EDLデータ
SLd シーケンスリストデータ
10 DCT
11 量子化器
12 逆量子化器
13 逆DCT
15 量子化レベル制御回路
16 量子化レベル修正装置
17 エントロピー符号化器
18 出力レート決定装置
19 ストリーム出力装置
20 出力端子
21 モニタ用デコーダ
22 ストレージ装置
23 エンコーダ制御部

Claims (13)

  1. 連続する映像信号から、符号化される映像信号のみの符号化情報、符号化される映像信号と当該映像信号の前若しくは後の映像信号との差分の符号化情報、或いは符号化される映像信号と当該映像信号の前後の映像信号との差分の符号化情報の組み合わせからなるグループを生成する符号化方法であって、
    連続する映像信号を符号化する際に、上記映像信号のフォーマット上における1再生単位、又は記録媒体上における1再生単位の区切り部分が、上記グループ内に含まれるときには、上記区切り部分に対応する映像信号を、当該映像信号のみを用いて符号化すると共に、当該映像信号を上記グループの先頭とする符号化方法。
  2. 上記映像信号の区切り部分は、上記符号化された映像信号が上記記録媒体上に記録された際における、ランダムアクセス可能な頭出し点である請求項1記載の符号化方法。
  3. 上記各区切り部分に対応する上記映像信号の時間情報と、上記連続した映像信号の時間情報とを比較することにより、符号化される上記映像信号が上記区切り部分であることが検出される請求項1記載の符号化方法。
  4. 連続する映像信号から、或いは符号化する映像信号のみの第1のピクチャタイプの符号化情報、符号化する映像信号と当該映像信号の前若しくは後の映像信号との差分の第2のピクチャタイプの符号化情報、或いは符号化する映像信号と当該映像信号の前後の映像信号との差分の第3のピクチャタイプの符号化情報の組み合わせからなるグループを生成する符号化方法であって、
    頭出し点のタイムコードデータからなる頭出し点リストデータに登録されているタイムコードデータに基いて、連続するタイムコードデータと、当該タイムコードデータに対応する符号化情報のタイプを示すピクチャタイプデータとからなるシーケンスリストデータを生成するシーケンスリスト生成ステップと、
    上記シーケンスリストを参照することにより、入力される映像信号のタイムコードデータの値に対応するピクチャタイプデータを求め、当該ピクチャタイプデータの示すピクチャタイプとなるように、入力映像信号を符号化するよう指示する符号化指示ステップと、
    上記頭出し点リストに登録されている頭出し点が、次のグループ内に含まれるか否かを検出する検出ステップと、
    上記検出ステップにおいて、上記頭出し点リストに登録されている頭出し点が、次のグループ内に含まれることが検出されないときには、上記シーケンスリストの内容が、少なくとも次のグループ内の先頭の映像信号のピクチャタイプが、上記第2若しくは第3のピクチャタイプであることを示す内容となるように更新し、上記検出ステップにおいて、上記頭出し点リストに登録されている頭出し点が、次のグループ内に含まれることが検出されたときには、次のグループの先頭を上記頭出し点にすると共に、上記シーケンスリストの内容が、少なくとも次のグループ内の先頭の映像信号のピクチャタイプが、上記第1のピクチャタイプであることを示す内容となるように更新するシーケンスリスト更新ステップとを含む符号化方法。
  5. 予測が用いられることなしに符号化される第1のピクチャタイプの映像信号、並びに前方予測または後方予測または両方向予測が用いられて符号化される第2、第3のピクチャタイプの映像信号からなるグループを生成する符号化方法であって、
    頭出し点のタイムコードデータからなる頭出し点リストデータに登録されているタイムコードデータから連続するタイムコードデータを得ると共に、映像信号のピクチャタイプを示すピクチャタイプデータからなり、且つ、上記グループの先頭に対して指定されるピクチャタイプデータが示すピクチャタイプが、上記第2若しくは第3のピクチャタイプとなる第1のシーケンスデータの内容に基いて、上記連続するタイムコードデータについて夫々ピクチャタイプを指定して、少なくとも2グループ分以上のシーケンスリストデータを生成するステップ(ST1)と、
    信号源からの映像信号に付与されているタイムコードデータを読み取るステップ(ST2)と、
    上記シーケンスリストデータを参照することにより、入力される映像信号のタイムコードデータの値に対応するピクチャタイプデータを求め、当該ピクチャタイプデータの示すピクチャタイプとなるように、入力映像信号を符号化するよう指示するステップ(ST3)と、
    上記頭出し点リストに登録されている頭出し点が、次のグループ内に含まれるか否かを検出するステップ(ST4)と、
    上記ステップ(ST4)において、上記頭出し点リストに登録されている頭出し点が、次のグループ内に含まれることが検出されないときには、上記シーケンスリストの内容を、上記第1のシーケンスデータで更新し、上記ステップ(ST4)において、上記頭出し点リストに登録されている頭出し点が、次のグループ内に含まれることが検出されたときには、現時点において処理対象となっている映像信号から上記頭出し点までの映像信号の数を検出し、検出した数だけ先の位置から次のグループとなるシーケンスデータを選択し、当該シーケンスデータにより、上記シーケンスリストの内容を更新するステップ(ST5)とを含む符号化方法。
  6. 信号源からの映像信号を遅延する遅延手段と、
    頭出し点の登録された頭出し点リストデータに登録されている頭出し点のタイムコードデータを基準として得られるタイムコードデータと、当該タイムコードデータの示す映像信号に対応する、予測方向に応じたピクチャタイプを示すピクチャタイプデータとに基いて、上記信号源からの遅延されていないタイムコードデータに対応する映像信号のピクチャタイプを判定し、当該判定結果に基いて、指示データを出力する判定手段と、
    上記判定手段からの指示データが示すピクチャタイプとなるよう、上記遅延手段から供給される映像信号に対して予測処理を行う予測処理手段と、
    上記予測処理手段からの出力に対して符号化処理を施す符号化手段とを有する符号化装置。
  7. 上記判定手段は、上記シーケンスデータの記憶された記憶手段を有し、
    上記シーケンスデータは、
    複数の映像信号からなるグループの先頭の映像信号のピクチャタイプが、前若しくは後ろのグループの映像信号が用いられて予測されて得られるピクチャタイプとなる基準シーケンスデータと、
    複数の映像信号からなるグループの先頭の映像信号のピクチャタイプが、予測処理の行われないピクチャタイプとなり、且つ、当該グループの先頭の位置が、基準となる位置から1つづつずれた、N種類のシーケンスデータとからなり、
    上記判定手段は、
    上記頭出し点リストデータを参照して、現在処理中のグループよりも先のグループ内のタイムコードデータの値と、頭出し点のタイムコードデータの値が一致したときには、基準となる位置から上記頭出し点までの映像信号の数を検出し、当該映像信号の数と同じ数だけ、グループの先頭の位置が基準となる位置からずれているシーケンスデータを選択する請求項6記載の符号化装置。
  8. 信号源からの映像信号を遅延する遅延手段と、
    頭出し点の登録された頭出し点リストデータに登録されている頭出し点のタイムコードデータを基準として得られるタイムコードデータと、当該タイムコードデータの示す映像信号に対応する、予測方向に応じたピクチャタイプを示すピクチャタイプデータとに基いて、上記信号源からの遅延されていないタイムコードデータに対応する映像信号のピクチャタイプを判定し、当該判定結果に基いて、指示データを出力する判定手段と、
    上記判定手段からの指示データが示すピクチャタイプとなるよう、上記遅延手段から供給される映像信号に対して予測処理を行う予測処理手段と、
    上記予測処理手段からの出力に対して符号化処理を施す符号化手段と、
    上記符号化手段からの出力を保持する保持装置と、
    上記保持装置に保持された情報を、記録媒体の記録フォーマットに対応するデータ列に変換して出力する出力装置とを有するオーサリングシステム。
  9. 上記符号化手段は、連続する映像信号から、或いは符号化する映像信号のみの第1のピクチャタイプ、符号化する映像信号と当該映像信号の前若しくは後の映像信号との差分の第2のピクチャタイプ、或いは符号化する映像信号と当該映像信号の前後の映像信号との差分の第3のピクチャタイプの情報を符号化し、
    上記遅延手段における遅延量は、上記第1または第2のピクチャタイプが出現する周期以上であることを特徴とする請求項8記載のオーサリングシステム。
  10. 上記判定手段は、上記シーケンスデータの記憶された記憶手段を有し、
    上記シーケンスデータは、
    複数の映像信号からなるグループの先頭の映像信号のピクチャタイプが、前若しくは後ろのグループの映像信号が用いられて予測されて得られるピクチャタイプとなる基準シーケンスデータと、
    複数の映像信号からなるグループの先頭の映像信号のピクチャタイプが、予測処理の行われないピクチャタイプとなり、且つ、当該グループの先頭の位置が、基準となる位置から1つづつずれた、N種類のシーケンスデータとからなり、
    上記判定手段は、
    上記頭出し点リストデータを参照して、現在処理中のグループよりも先のグループ内のタイムコードデータの値と、頭出し点のタイムコードデータの値が一致したときには、基準となる位置から上記頭出し点までの映像信号の数を検出し、当該映像信号の数と同じ数だけ、グループの先頭の位置が基準となる位置からずれているシーケンスデータを選択する請求項8記載のオーサリングシステム。
  11. 信号源からの映像信号を遅延する遅延手段と、
    頭出し点の登録された頭出し点リストデータに登録されている頭出し点のタイムコードデータを基準として得られるタイムコードデータと、当該タイムコードデータの示す映像信号に対応する、予測方向に応じたピクチャタイプを示すピクチャタイプデータとに基いて、上記信号源からの遅延されていないタイムコードデータに対応する映像信号のピクチャタイプを判定し、当該判定結果に基いて、指示データを出力する判定手段と、
    上記判定手段からの指示データが示すピクチャタイプとなるよう、上記遅延手段から供給される映像信号に対して予測処理を行う予測処理手段と、
    上記予測処理手段からの出力に対して符号化処理を施す符号化手段と、
    上記符号化手段からの出力を、記録媒体の記録フォーマットに対応するデータ列に変換して出力する出力装置とを有するオーサリングシステム。
  12. 上記判定手段は、上記シーケンスデータの記憶された記憶手段を有し、
    上記シーケンスデータは、
    複数の映像信号からなるグループの先頭の映像信号のピクチャタイプが、前若しくは後ろのグループの映像信号が用いられて予測されて得られるピクチャタイプとなる基準シーケンスデータと、
    複数の映像信号からなるグループの先頭の映像信号のピクチャタイプが、予測処理の行われないピクチャタイプとなり、且つ、当該グループの先頭の位置が、基準となる位置から1つづつずれた、N種類のシーケンスデータとからなり、
    上記判定手段は、
    上記頭出し点リストデータを参照して、現在処理中のグループよりも先のグループ内のタイムコードデータの値と、頭出し点のタイムコードデータの値が一致したときには、基準となる位置から上記頭出し点までの映像信号の数を検出し、当該映像信号の数と同じ数だけ、グループの先頭の位置が基準となる位置からずれているシーケンスデータを選択する請求項11記載のオーサリングシステム。
  13. 上記符号化手段は、連続する映像信号から、或いは符号化する映像信号のみの第1のピクチャタイプ、符号化する映像信号と当該映像信号の前若しくは後の映像信号との差分の第2のピクチャタイプ、或いは符号化する映像信号と当該映像信号の前後の映像信号との差分の第3のピクチャタイプの情報を符号化し、
    上記遅延手段における遅延量は、上記第1または第2のピクチャタイプが出現する周期以上であることを特徴とする請求項11記載のオーサリングシステム。
JP2004318455A 2004-11-01 2004-11-01 オーサリングシステム及びその方法 Expired - Fee Related JP3976045B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004318455A JP3976045B2 (ja) 2004-11-01 2004-11-01 オーサリングシステム及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004318455A JP3976045B2 (ja) 2004-11-01 2004-11-01 オーサリングシステム及びその方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP32325995A Division JP3711603B2 (ja) 1995-12-12 1995-12-12 符号化装置及びその方法、並びに記録装置及びその方法

Publications (3)

Publication Number Publication Date
JP2005151551A true JP2005151551A (ja) 2005-06-09
JP2005151551A5 JP2005151551A5 (ja) 2006-05-11
JP3976045B2 JP3976045B2 (ja) 2007-09-12

Family

ID=34698058

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004318455A Expired - Fee Related JP3976045B2 (ja) 2004-11-01 2004-11-01 オーサリングシステム及びその方法

Country Status (1)

Country Link
JP (1) JP3976045B2 (ja)

Also Published As

Publication number Publication date
JP3976045B2 (ja) 2007-09-12

Similar Documents

Publication Publication Date Title
KR100219748B1 (ko) 디스크 매체와 디스크 매체에 있어서의 정보 기록재생 방법 및 장치
JP2010238354A (ja) マルチアングルデータを記録した情報記録媒体、その記録方法及び再生装置
JP3156597B2 (ja) 画像情報復号化再生装置および画像情報復号化再生方法
JP3253530B2 (ja) 動画像記録装置
JP3711603B2 (ja) 符号化装置及びその方法、並びに記録装置及びその方法
JPH11261964A (ja) 動画像記録方法、再生方法および装置
JP3070422B2 (ja) 画像圧縮記録媒体及び画像圧縮記録媒体再生装置
JP3344607B2 (ja) 光ディスク、再生装置および再生方法
JP3976044B2 (ja) 画像処理装置及び方法
JP3976045B2 (ja) オーサリングシステム及びその方法
JP3824622B2 (ja) 光ディスクの再生方法及び再生装置
WO2006088090A1 (ja) エンコード装置、エンコード方法およびエンコードを行うためのコンピュータプログラム
JP3562484B2 (ja) ディスク状データ記録媒体の製造方法
JP3507990B2 (ja) 動画像再生装置及び動画像記録再生装置
JP3384563B2 (ja) 光ディスク、再生装置および再生方法
JP2007282084A (ja) デジタル再生装置または再生プログラム
JP3589241B2 (ja) データ符号化装置および方法、データ復号化装置および方法
JP3370659B1 (ja) 再生装置および再生方法
JP3582530B2 (ja) 記録装置および方法、再生装置および方法
JP3681370B2 (ja) 光ディスクの記録方法及び記録装置、並びに再生方法及び再生装置
JP3384562B2 (ja) 記録装置および記録方法
JP3370660B1 (ja) 記録装置および記録方法
JP3843918B2 (ja) 画像データ再生装置、画像データ記録方法、および、画像データ再生方法
JP3922304B2 (ja) 光ディスク記録方法および光ディスク再生方法
JP3582529B2 (ja) データ符号化装置および方法、データ復号化装置および方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070611

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130629

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees