JP2010016860A - データ伝送装置 - Google Patents

データ伝送装置 Download PDF

Info

Publication number
JP2010016860A
JP2010016860A JP2009206485A JP2009206485A JP2010016860A JP 2010016860 A JP2010016860 A JP 2010016860A JP 2009206485 A JP2009206485 A JP 2009206485A JP 2009206485 A JP2009206485 A JP 2009206485A JP 2010016860 A JP2010016860 A JP 2010016860A
Authority
JP
Japan
Prior art keywords
data
transmission
mode
video
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009206485A
Other languages
English (en)
Other versions
JP4732538B2 (ja
Inventor
Hiroshi Nakano
宏 中野
Yasuo Iwasaki
康夫 岩崎
Yoshihiro Murakami
芳弘 村上
Tetsuya Iwamoto
哲也 岩本
Katsumi Tawara
勝己 田原
Hitoshi Sakamoto
斉 坂本
James Hedley Wilkinson
ウィルキンソン・ジェイムズ・ヘッドリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Sony Corp
Original Assignee
Sony United Kingdom Ltd
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony United Kingdom Ltd, Sony Corp filed Critical Sony United Kingdom Ltd
Priority to JP2009206485A priority Critical patent/JP4732538B2/ja
Publication of JP2010016860A publication Critical patent/JP2010016860A/ja
Application granted granted Critical
Publication of JP4732538B2 publication Critical patent/JP4732538B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

【課題】映像データを伝送する時、伝送すべきデータの目的に合致した伝送形態を実現できるデータ伝送装置を提供する。
【解決手段】シリアル・ディジタル・トランスファ・インタフェース(SDTI)の伝送パケットに含まれるペイロード部に伝送パケットの転送モードを示すデータを挿入し、またこのペイロード部に伝送パケットのタイミングモードを示すデータを挿入する。転送モードとしては非同期転送モードの他に同期転送モードと等時転送モードがある。タイミングモードは、伝送フレームのどのフィールドに同期させて伝送パケットを転送するかを規定するもので、第1フィールドを使用するノーマルモード、第2フィールドを使用するアドバンスドモード、両フィールドを使用するデュアルモードがある。タイミングモードの設定の仕方によっては送受信間のシステム遅延を最小にすることができる。
【選択図】図13

Description

この発明はデータ伝送装置に関する。詳しくは、非同期転送モードとは別の転送モードを規定したり、データを伝送するタイミングを規定することによって、伝送すべきデータの目的に合致した伝送形態を実現できるようにしたものである。
ディジタルデータを伝送する伝送フォーマットとして、SMPTEで規格化されたSMPTE−259M「10-bit 4:2:2 Component and 4fsc Composite Digital Signals −Serial Digital Interface」(以下「SDI(Serial Digital Interface)フォーマット」という)のディジタル信号シリアル伝送フォーマットが知られている。この伝送規格は、ディジタルコンポーネントビデオ信号(D1信号)やディジタルコンポジット信号(D2信号)などを伝送するための規格である。
この伝送フォーマットでは周知のように、オーディオデータやその他のデータをアンシラリーデータ領域に挿入して伝送できる規格となっているが、圧縮されたデータ(映像データ)をアクティブビデオ領域に挿入して伝送するようなフォーマットとはなっていない。
このような圧縮データでも伝送できるように伝送フォーマットを規格化したのは、SMPTE−305M「Serial Data Transport Interface」(以下「SDTIフォーマット」という)である。つまりこれはSDIフォーマットのうちアクティブビデオエリアACVに相当するSDTIフォーマット上のペイロード(Payload)部に、固定長データの他に、圧縮されたビデオデータや、オーディオデータなどの可変長のデータを挿入して伝送できるようにしたものである。
ところで、このSDTIフォーマットは、これらのデータを具体的にどのような形態で伝送するのか、その伝送形式は定められていない。
そこで、この発明はこのような従来の課題を解決したものであって、データ特に、他のデータなどと共に若しくは単独で映像データを伝送するときの伝送形態を規定することによって、伝送目的に合ったデータ伝送を実現できるようにしたものである。
請求の範囲1に記載したこの発明に係るデータ伝送装置では、映像フレーム1ラインの区間を、終了同期符号が挿入される終了同期符号領域と、補助データが挿入される補助データ領域と、開始同期符号が挿入される開始同期符号領域と、映像信号およびまたは音声信号を含むデータが挿入されるペイロード領域とで構成されるシリアル・ディジタル・トランスファ・インタフェースの伝送パケットに変換するエンコーダと、このエンコード出力をシリアル変換するパラレル・シリアル変換器とで構成され、上記エンコーダは、上記ペイロード領域のうち上記データが挿入されるデータブロック領域のデータの種別を示すタイプデータが挿入されるタイプ領域の転送モード領域に、シリアル変換された上記伝送パケットを送信側と受信側とで非同期状態で転送する非同期転送モードの他に、上記送信側と受信側とを同期させた状態で上記伝送パケットを伝送する同期転送モードと、高速伝送や多重伝送を送信側と受信側とで同期させながら行う等時転送モードの何れかを示すデータと上記伝送パケットを上記映像フレームの第1のフィールドを伝送するタイミングで伝送するノーマルタイミングモードか、上記伝送パケットを上記映像フレームの第2のフィールドを伝送するタイミングで伝送するアドバンスタイミングモードか、上記伝送パケットを上記映像フレームの第1および第2のフィールドを伝送するタイミングで伝送するデュアルタイミングモードかを示すデータとを挿入する手段を有するものである。
この発明では、シリアル・ディジタル・トランスファ・インタフェース(SDTI)の伝送パケットに含まれるペイロード部、具体的にはこのペイロード部のデータブロック領域のデータ種別を示すタイプ領域の近傍の領域に伝送パケットの転送モードを示すデータが挿入される。転送モードとしては非同期転送モードの他に同期転送モードと等時転送モードがある。
圧縮されたビデオデータなどを伝送する場合、送信側と受信側とを同期させながらデータを伝送させたり、さらには高速伝送や2チャネルの映像データを多重伝送するときに、送信側と受信側とを同期させながらデータを伝送する必要があるからである。
またSDTIフォーマットの伝送パケットに含まれるペイロード部、具体的にはこのペイロード部のうち、データブロック領域のデータ種別を示すタイプ領域の近傍の領域に、伝送パケットを伝送するときのタイミングモードを示すデータが挿入される。タイミングモードは、同期転送モードと等時転送モードの何れのモードにも設定される。タイミングモードの設定の仕方によっては送受信間のシステム遅延を最小にすることができる。
この発明を適用できるSDTI−CPフォーマットのマッピング例を示す構成図である。 EAVおよびヘッダデータのフォーマットを示す構成図である。 可変長ブロックのフォーマットを示す構成図である。 システムアイテムの構成図である。 タイムコードの構成図である。 メタデータセットの構成図である。 システムアイテムを除くアイテムの構成図である。 SDTI−CPエレメントフレームの構成図である。 MPEG−2ピクチャ編集メタデータの構成図である。 オーディオアイテムのエレメントデータブロックの構成図である。 5フレームシーケンスを示すタイミングチャートである。 オーディオ編集メタデータの構成図である。 転送モードとタイミングモードとの関係を示す図である。 A〜Dは、同期転送モードおよび非同期転送モードとタイミングモードとにおけるコンテント・パッケージの挿入位置関係を示す図である。 A〜Fは、アイソクロナンス転送モードとタイミングモードとにおけるコンテント・パッケージの挿入位置関係を示す図である。 非同期転送モードを説明するためのデータ伝送装置の概要を示す系統図である。 A〜Fは、そのデータ転送を説明するタイミングチャートである。 同期転送モードを説明するためのデータ伝送装置の概要を示す系統図である。 A〜Kは、同期転送モードにおけるノーマルタイミングモードでのデータ転送を説明するタイミングチャートである。 A、Bは、圧縮データとイネープルパルスの関係を示すタイミングチャートである。 A〜Kは、同期転送モードにおけるアドバンスドモードでのデータ転送を説明するタイミングチャートである。 同期転送モードにおけるデュアルタイミングモードを採用したときのデータ伝送装置の概要を示す系統図である。 A〜Hは、同期転送モードにおけるデュアルタイミングモードでのデータ転送を説明するタイミングチャートである。 A〜Cは、アイソクロナンスモードでのデータマッピング例を示す図である。 アイソクロナンスモードにおけるノーマルタイミングモードを採用したときのデータ伝送装置の概要を示す系統図である。 A〜Cは、多重データのデータマッピング例を示す図である。 A〜Tは、アイソクロナンスモードにおけるノーマルタイミングモードでのデータ転送を説明するタイミングチャートである。 A〜Tは、アドバンスドタイミングモードでのデータ転送を説明するタイミングチャート図である。 A、Bは、アドバンスドタイミングモードでのデータマッピング例を示す図である。 SDTI−CPエンコーダの一実施形態を示す要部の系統図である。 A〜Eは、その動作説明に供するデータマッピング例を示す図である。
以下、図面を参照しながら、この発明の実施の形態について説明する。本実施の形態においては、映像や音声の素材等のデータをパッケージ化してそれぞれのアイテム(例えばピクチャアイテム(Picture Item)やオーディオアイテム(Audio Item))を生成すると共に、各アイテムに関する情報やメタデータ等をパッケージ化して1つのアイテム(システムアイテム(System Item))を生成し、これらのアイテムをパッケージ化する。このパッケージ化されたものをコンテント・パッケージと言う。さらに、このコンテントパッケージから伝送パケットを生成して、SMPTE 305M(Society of Motion Picture and Television Engineers 305M)で規格化されたSDTI(シリアルディジタルトランファインターフェイス)を用いて伝送するものである。
このSDTIはSMPTE 259Mで規格化されたSDIフォーマットの伝送パケットに対してアンシラリー領域に各種ヘッダ情報を挿入したものである。
SDIフォーマットについて次に説明する。
このSDIフォーマットは映像1フレームに配置した場合、NTSC525方式のディジタルのビデオ信号は、水平方向に1ライン当たり1716(4+268+4+1440)ワード、垂直方向は525ラインで構成されている。また、PAL625方式のディジタルのビデオ信号は、水平方向に1ライン当たり1728(4+280+4+1440)ワード、垂直方向は625ラインで構成されている。ただし、10ビット/ワードである。
各ラインについて、第1ワードから第4ワードまでの4ワードは、ビデオ信号の領域である1440ワードのアクティブビデオ領域の終了を示し、アクティブビデオ領域と後述するアンシラリデータ領域とを分離するための符号EAV(End of Active Video)を格納する領域として用いられる。
また、各ラインについて、第5ワードから第272ワードまでの268ワードは、アンシラリデータ領域として用いられ、ヘッダ情報等が格納される。第273ワードから第276ワードまでの4ワードは、アクティブビデオ領域の開始を示し、アクティブビデオ領域とアンシラリデータ領域とを分離するための符号SAV(Start of Active Video)を格納する領域として用いられ、第277ワード以降がアクティブビデオ領域とされている。
このアクティブビデオ領域にD1信号やD2信号のディジタルビデオ信号が挿入される。SDTIフォーマットは上述したSDIフォーマットのアクティブビデオ領域をD1信号やD2信号のみならず、圧縮映像データやコンピュータデータなどの各種データを挿入できるように、アクティブビデオ領域と同じ領域にペイロード領域が設けられている。
さらにSDTIフォーマットは、アンシラリーデータ領域に各種ヘッダデータが挿入されるヘッダデータ領域が設けられている。ヘッダデータ領域の詳細は後述する。
SDTIフォーマットのペイロード領域に上述した各種のアイテムを挿入したのもが本発明に係るSDTI−CPフォーマットである。
図1にSDTI−CPフォーマットを映像フレームに配置した例を示す。図1に示すようにペイロード領域にシステムアイテム、ピクチャーアイテム、オーディオアイテム、補助アイテム(オグゥジュアリーアイテム)がこの順序で配置される。なお、図1において、括弧内の数字はPAL625方式のビデオ信号の数値を示しており、括弧がない数字はNTSC525方式のビデオ信号の数値を示している。以下、NTSC方式についてのみ説明する。
終了同期符号EAVの構成を図2を参照して説明する。この符号EAVは、3FFh,000h,000h,XYZh(hは16進表示であることを示しており以下の説明でも同様である)とされている。
「XYZh」は、ビットb9が「1」に設定されると共に、ビットb0,b1が「0」に設定される。ビットb8はフィールドが第1あるいは第2フィールドのいずれであるかを示すフラグであり、ビットb7は垂直ブランキング期間を示すフラグである。またビットb6は、4ワードのデータがEAVであるかSAVであるかを示すフラグである。このビットb6のフラグは、EAVのときに「1」とされると共にSAVのときに「0」となる。またビットb5〜b2は誤り検出訂正を行うためのデータである。
次に、アンシラリデータ領域に含まれるヘッダデータ(Header Data)の構成を同じく図2に示す。ヘッダデータの最初は、ヘッダデータ認識用のデータ「ADF(Ancillary data flag)」として、固定パターン000h,3FFh,3FFhが配されている。この固定パターンに続いて、「DID(Data ID)」および「SDID(Secondary data ID)」が設けられている。このDIDおよびSDIDはアンシラリーデータ部の属性を示す。DIDおよびSDIDはこの属性がユーザアプリケーションであることを示す固定パターン140h,101hが配される。
「Data Count」は、「Line Number-0」から「Header CRC1」までのワード数を示すものであり、ワード数は46ワード(22Eh)とされている。
「Line Number-0,Line Number-1」は、映像フレームのライン番号を示すものであり、NTSC525方式ではこの2ワードによって1から525までのライン番号が示される。また、PAL方式625方式では1から625までのライン番号が示される。
「Line Number-0,Line Number-1」に続いて、「Line Number CRC0,Line Number CRC1」が配されており、この「Line Number CRC0,Line Number CRC1」は、「DID」から「Line Number-1」までの5ワードのデータに対するCRC(cyclic redundancy check codes)であり、伝送エラーのチェックに用いられる。
「Code & AAI(Authorized address identifier)」では、SAVからEAVまでのペイロード領域のワード長がどのような設定とされているか、および送出側や受取側のアドレスがどのようなデータフォーマットとされているか等の情報が示される。
「Destination Address」はデータ受取側(送出先)のアドレスであり、「Source Address」はデータ送出側(送出元)のアドレスである。
「Source Address」に続く「Block Type」は、ペイロード領域がどのような形式とされているか、例えば固定長か可変長かを示すものであり、ペイロード領域が可変長の形式であるときには圧縮データが挿入される。ここで、SDTI−CPフォーマットでは、各アイテムは可変長ブロック(Variable Block)となされている。このため、SDTI−CPフォーマットでの「Block Type」は固定データ1C1hとされる。
「CRC Flag」は、ペイロード領域の最後の2ワードにCRCが置かれているか否かを示すものである。
また、「CRC Flag」に続く「Data extension flag」は、ユーザーデータパケットを拡張しているか否かを示している。
「Data extension flag」に続いて4ワードの「Reserved」領域が設けられる。次の「Header CRC 0,Header CRC 1」は、「Code & AAI」から「Reserved4」までのデータに対するCRC(cyclic redundancy check codes)であり、伝送エラーのチェックに用いられる。次の「Check Sum」は、全ヘッダデータに対するCheck Sumコードであり、伝送エラーのチェックに用いられる。
また、図1のペイロード領域では、ビデオやオーディオ等のアイテムのデータがSDTIフォーマットの可変長ブロックの形式としてパッケージ化される。図3は可変長ブロックのフォーマットを示している。「Separator」および「End Code」は可変長ブロックの開始と終了を示すものであり、「Separator」の値は「309h」、「End Code」の値は「30Ah」に設定されている。
それ以外にもSDTIフォーマットでは、固定長ブロックが定義されている。なおSDTI−CPフォーマットではSDTIフォーマットの可変長ブロック形式で各アイテムが挿入される。
「Data Type」はデータブロック領域に挿入されるデータの種類を示すもので、SDTI−CPフォーマットではデータブロック領域に挿入された各アイテムの種類を示す。
例えばシステムアイテム(System Item)では「04h」、ピクチャアイテム(Picture Item)では「05h」、オーディオアイテム(Audio Item)では「06h」、他のデータであるAUXアイテム(Auxiliary Item)では「07h」とされる。なお、上述したように1ワードは10ビットであり、例えば「04h」に示すように8ビットであるときには、8ビットがビットb7〜b0に相当する。また、ビットb7〜b0の偶数パリティをビットb8として付加すると共に、ビットb8の論理反転データをビットb9として付加することにより10ビットのデータとされる。以下の説明における8ビットのデータも同様にして10ビット化される。
「Word Count」では「Data Block」のワード数を示しており、この「Data Block」が各アイテムのデータである。ここで、各アイテムのデータは、ピクチャ単位例えばフレーム単位でパッケージ化されると共に、NTSC方式では、番組の切り替え位置が10ラインの位置に設定されていることから、NTSC方式では図1に示すように13ライン目からシステムアイテム、ピクチャアイテム、オーディオアイテム、AUXアイテムの順に伝送される。
図4は、システムアイテムの構成を示している。このシステムアイテムはSDTIフォーマットのペイロード領域に挿入される。ペイロード領域の先頭である「Separator」、「Item Type」、「Word Count」に続いて、「System Item Bitmap」、「Content Package Rate」、「Content Package Type」、「Channel Handle」、「Continuity Count」、SMPTE Universal Label」、「Reference Data/Time Stamp」、「Current Data/Time Stamp」、「Package Metadata Set」、「Audio Metadata Set」、「Auxiliary Metadata Set」および「Control Element」で全体が構成され、さらにSDTIフォーマットで定義されたエンドコードが挿入されて構成されている。
1ワードの「System Item Bitmap」のビットb7は、例えばリードソロモン符号等のような誤り検出訂正符号が加えられているか否かを示すフラグであり、「1」とされているときには誤り検出訂正符号が加えられていることを示している。ビットb6は、SMPTE Labelの情報があるか否かを示すフラグである。ここで「1」とされているときには、SMPTE Labelの情報がシステムアイテムに含まれていることを示している。ビットb5およびb4はReference Date/Time stamp、Current Date/Time stampがシステムアイテムにあるか否かを示すフラグである。このReference Date/Time stampでは、例えばコンテントパッケージが最初に作られた時間あるいは日付が示される。またCurrent Date/Time stampでは、コンテントパッケージのデータを最後に修正した時間あるいは日付が示される。
ビットb3はピクチャアイテム、ビットb2はオーディオアイテム、ビットb1はAUXアイテムがシステムアイテムの後にあるか否かを示すフラグであり、「1」とされているときにはアイテムがシステムアイテムの後に存在することが示される。
ビットb0は、コントロールエレメント(Control Element)があるか否かを示すフラグであり、「1」とされているときにはコントロールエレメントが存在することが示される。なお、図示せずもビットb8,b9が上述したように付加されて10ビットのデータとして伝送される。
1ワードの「Content Package Rate」のビットb7〜b6は未定義領域(Reserved)であり、ビットb5〜b1では、1倍速動作における1秒当たりのパッケージ数であるパッケージレート(Package Rate)が示される。ビットb0は1.001フラグであり、フラグが「1」に設定されているときには、例えば毎秒59.94(=60/1.001)フィールドであることが示される。
1ワードの「Content Package Type」のビットb7〜b5は、ストリーム内における、当該ピクチャ単位の位置を識別するための「Stream States」フラグである。この3ビットのフラグによって、以下の8種類の状態が示される。
0:このピクチャ単位が、プリロール(pre-roll)区間、編集区間、ポストロール(post-roll)区間のいずれの区間にも属さない。
1:このピクチャ単位が、プリロール区間に含まれているピクチャであり、この後に編集区間が続く。
2:このピクチャ単位が、編集区間の最初のピクチャ単位である。
3:このピクチャ単位が、編集区間の中間に含まれているピクチャ単位である。
4:このピクチャ単位が、編集区間の最後のピクチャ単位である。
5:このピクチャ単位が、ポストロール区間に含まれているピクチャ単位である。
6:このピクチャ単位が、編集区間の最初、かつ最後のピクチャ単位である(編集区間のピクチャ単位が1つだけの状態)。
7:未定義
ビットb4は未定義領域(Reserved)であり、ビットb3,b2の「Transfer Mode」では、伝送パケットの伝送モードが示される。また、ビットb1,b0の「Timing Mode」で伝送パケットを伝送する際の伝送タイミングモードが示される。ここで、ビットb3,b2で示される値が「0」のときには同期モード(Synchronous mode)、「1」のときには等時性モード(Isochronous mode)、「2」のときは非同期モード(Asynchronous mode)とされる。また、ビットb1,b0で示される値が「0」のときには1フレーム分のコンテントパッケージの伝送を、第1フィールドの所定のラインのタイミングで開始するノーマルタイミングモード(Normal timing mode)、「1」のときには第2フィールドの所定のラインのタイミングで伝送を開始するアドバンスドタイミングモード(Advanced timing mode)、「2」のときは第1および第2フィールドのそれぞれの所定のラインのタイミングで伝送を開始するデュアルタイミングモード(Dual timing mode)とされる。
「Content Package Type」に続く2ワードの「Channel Handle」は、複数の番組のコンテントパッケージが多重化されて伝送される場合に、各番組のコンテントパッケージを判別するためのものであり、ビットH15〜H0の値を識別することで、多重化されているコンテントパッケージをそれぞれ番組毎に分離することができる。
2ワードの「Continuity Count」は、16ビットのモジュロカウンタである。このカウンタは、ピクチャ単位毎にカウントアップされると共に、それぞれのストリームで独自にカウントされる。従って、ストリームスイッチャ等によってストリームの切り替えがあるときには、このカウンタの値が不連続となって、切り替え点(編集点)の検出が可能となる。なお、このカウンタは上述したように16ビットのモジュロカウンタであり65536と非常に大きな値であることから、2つの切り替えられるストリームにおいて、切り替え点でカウンタの値が偶然に一致する確率が限りなく低く、切り替え点の検出のために、実用上充分な精度を提供できる。
「Continuity Count」の後には、上述したSMPTE LabelやReference Date/TimeおよびCurrent Date/Timeを示す「SMPTE Universal Label」、「Reference Date/Time stamp」、「Current Date/Time stamp」領域が設けられる。
そのあとに、「Package Metadata Set」や「Picture Metadata Set」「Audio Metadata Set」「Auxiliary Metadata Set」領域が設けられる。なお、「Picture Metadata Set」「Audio Metadata Set」「Auxiliary Metadata Set」は、対応するアイテムが「System Item Bitmap」のフラグによってコンテントパッケージに内に含まれることが示されたときに設けられる。
上述の「Time stamp」は17バイトが割り当てられており、最初の1バイトで「Time stamp」であることが識別されると共に、残りの16バイトがデータ領域として用いられる。ここで、データ領域の最初の8バイトは、例えばSMPTE12Mとして規格化されたタイムコード(Timecode)を示しており、後の8バイトは無効データである。
8バイトのタイムコードは図5に示すように、「Frame」「Seconds」「Minutes」「Hours」および4バイトの「Binary Group Data」からなる。
「Frame」のビットb5,b4でフレーム番号の十の位、ビットb3〜b0で一の位の値が示される。同様に、「Seconds」「Minutes」「Hours」の各ビットb6〜b0によって秒、分、時が示される。
「Frame」のビットb7はカラーフレームフラグ(Color Frame Flag)であり、第1のカラーフレームであるか第2のカラーフレームであるかが示される。ビットb6はドロップフレームフラグ(Drop Frame Flag)であり、ピクチャアイテムに挿入された映像フレームがドロップフレームであるか否かを示すフラグである。「Seconds」のビットb7は例えばNTSC方式の場合にはフィールド位相(Field Phase)、すなわち第1フィールドであるか第2フィールドであるかが示される。なおPAL方式のときには「Hours」のビットb6でフィールド位相が示される。
「Minutes」のビットb7および「Hours」のビットb7,b6のの3ビットB0〜B3(PAL方式では、「Seconds」「Minutes」「Hours」の各ビットb7の3ビット)によって、「Binary Group Data」の各BG1〜BG8にデータがあるか否かが示される。この「Binary Group Data」では、例えばグレゴリオ暦(Gregorian Calender)やユリウス暦(Julian Calender)での年月日を二桁で表示することができるようになされている。
図6は「Metadata Set」の構成を示しており、1ワードの「Metadata Count」によってセット内の「Metadata Block」の数が示される。なお、「Metadata Set」の値が00hのときには、「Metadata Block」がないことが示されることから、「Metadata Set」は1ワードとなる。
ここで、「Metadata Block」が、番組タイトル等のコンテントパッケージの情報を示す「Package Metadata Set」の場合には、1ワードの「Metadata Type」、2ワードの「Word Count」に続き、情報領域である「Metadata」が設けられている。この「Metadata」のワード数が「Word Count」のビットb15〜b0によって示される。
ビデオやオーディオあるいはAUXデータ等のパッケージ化されているアイテムに関する情報を示す「Picture Metadata Set」「Audio Metadata Set」「Auxiliary Metadata Set」では、更に1ワードの「Element Type」と「Element Number」が設けられており、後述するビデオやオーディオ等のアイテムの「Element Data Block」内の「Element Type」や「Element Number」とリンクするようになされており、「Element Data Block」毎に、メタデータを設定することができる。また、これらの「Metadata Set」の後には「Control Element」領域を設けることができる。
次に、ビデオやオーディオ等の各アイテムのブロックについて図7を用いて説明する。ビデオやオーディオ等の各アイテムのブロック「Item Type」(SDTIフォーマットのデータタイプに相当)は、上述したようにアイテムの種類を示しており、ピクチャアイテムでは「05h」、オーディオアイテムでは「06h」、AUXデータアイテムでは「07h」とされる。「Item Word Count」ではこのブロックの終わりまでのワード数(SDTIフォーマットの「Word Count」に相当)を示している。「Item Word Count」に続く「Item Header」では、「Element Data Block」の数が示される。ここで、「Item Header」は8ビットであることから「Element Data Block」の数は1〜255(0は無効)の範囲となる。この「Item Header」に続く「Element Data Block」がアイテムのデータ領域とされる。
「Element Data Block」は、「Element Type」「Element Word Count」「Element Number」「Element Data」で構成されており、「Element Type」と「Element Word Count」によって、「Element Data」のデータの種類およびデータ量が示される。また、「Element Number」によって何番目の「Element Data Block」であるかが示される。
次に、「Element Data」の構成について説明する。エレメントの一つであるMPEG−2ピクチャエレメントは、いずれかのプロファイル若しくはレベルのMPEG−2ビデオエレメンタリストリーム(V−ES)である。プロファイルおよびレベルは、デコーダーテンプレートドキュメントで定義される。図8は、SDTI−CPエレメントフレームにおけるMPEG−2 V−ESのフォーマット例である。この例は、キー、つまりMPEG−2スタートコードを特定する(SMPTEレコメンデッドプラクティスにしたがった)V−ESビットストリーム例である。MPEG−2 V−ESビットストリームは、単純に図8に示されたようにデータブロックにフォーマットされる。
次に、ピクチャアイテムに対するメタデータ、例えばMPEG−2ピクチャ画像編集メタデータについて説明する。このメタデータは、編集およびエラーメタデータと、圧縮符号化メタデータと、ソース符号化メタデータとの組み合わせである。これらのメタデータは、主として上述したシステムアイテム、さらには補助データアイテムに挿入することができる。
図9は、図4に示すシステムアイテムの「Picture Metadata Set」領域に挿入されるMPEG−2ピクチャ編集メタデータ内に設けられる「Picture Editing Bitmap」領域と、「Picture Coding」領域と、「MPEG User Bitmap」領域を示している。さらに、このMPEG−2ピクチャ編集メタデータには、MPEG−2のプロファイルとレベルを示す「Profile/Level」領域や、SMPTE186−1995で定義されたビデオインデックス情報を設けることも考えられる。
1ワードの「Picture Editing Bitmap」のビットb7およびb6は「Edit flag」であり、編集点情報を示すフラグである。この2ビットのフラグによって、以下の4種類の状態が示される。
00:編集なし
01:編集点が、このフラグが付いているピクチャ単位の前にある(Pre-picture edit)
10:編集点が、このフラグが付いているピクチャ単位の後にある(Post-picture edit)
11:ピクチャ単位が1つだけ挿入され、編集点がこのフラグが付いているピクチャ単位の前と後にある(single frame picture)
つまり、ピクチャアイテムに挿入された映像データ(ピクチャ単位)が、編集点の前にあるか、編集点の後にあるか、さらに2つの編集点に挟まれているかを示すフラグを「Picture Metadata Set」(図4参照)の「Picture Editing Bitmap」領域に挿入する。
ビットb5およびb4は、「Error flag」である。この「Error flag」は、ピクチャが修正できないエラーを含んでいる状態にあるか、ピクチャがコンシールエラーを含んでいる状態にあるか、ピクチャがエラーを含んでいない状態にあるか、さらには未知状態にあるかを示す。ビットb3は、「Picture Coding」がこの「Picture Metadata Set」領域にあるか否かを示すフラグである。ここで、「1」とされているときは、「Picture Coding」が含まれていることを示している。
ビットb2は、「Profile/Level」があるか否かを示すフラグである。ここで、「1」とされているときは、当該「Metadata Block」に「Profile/Level」が含まれている。この「Profile/Level」は、MPEGのプロファイルやレベルを示すMP@MLやHP@HL等を示す。
ビットb1は、「HV Size 」があるか否かを示すフラグである。ここで、「1」とされているときは、当該「Metadata Block」に「HV Size 」が含まれている。ビットb0は、「MPEG User Bitmap」があるか否かを示すフラグである。ここで、「1」とされているときは、当該「Metadata Block」に「MPEG User Bitmap」が含まれている。
1ワードの「Picture Coding」のビットb7には「Closed GOP」が設けられる。この「Closed GOP」は、MPEG圧縮したときのGOP(Group Of Picture)がClosed GOPか否かを示す。
ビットb6には、「Broken Link」が設けられる。この「Broken Link」は、デコーダ側の再生制御に使用されるフラグである。すなわち、MPEGの各ピクチャは、Bピクチャ、Bピクチャ、Iピクチャ・・・のように並んでいるが、編集点があって全く別のストリームをつなげたとき、例えば切り替え後のストリームのBピクチャが切り替え前のストリームのPピクチャを参照してデコードされるというおそれがある。このフラグをセットすることで、デコーダ側で上述したようなデコードがされないようにできる。
ビットb5〜b3には、「Picture Coding Type」が設けられる。この「Picture Coding Type」は、ピクチャがIピクチャであるか、Bピクチャであるか、Pピクチャであるかを示すフラグである。ビットb2〜b0は、未定義領域(Reserved)である。
1ワードの「MPEG User Bitmap」のビットb7には、「History data」が設けられている。この「History data」は、前の世代の符号化に必要であった、例えば量子化ステップ、マクロタイプ、動きベクトル等の符号化データが、例えば「Metadata Block」の「Metadata」内に存在するユーザデータ領域に、History dataとして挿入されているか否かを示すフラグである。ビットb6には、「Anc data」が設けられている。この「Anc data」は、アンシラリ領域に挿入されたデータ(例えば、MPEGの圧縮に必要なデータ等)を、上述のユーザデータ領域に、Anc dataとして挿入されているか否かを示すフラグである。
ビットb5には、「Video index」が設けられている。この「Video index」は、Video index領域内に、Video index情報が挿入されているか否かを示すフラグである。このVideo index情報は15バイトのVideo index領域内に挿入される。この場合、5つのクラス(1.1、1.2、1.3、1.4および1.5の各クラス)毎に挿入位置が決められている。例えば、1.1クラスのVideo index情報は最初の3バイトに挿入される。
ビットb4には、「Picture order」が設けられている。この「Picture order」は、MPEGストリームの各ピクチャの順序を入れ替えたか否かを示すフラグである。なお、MPEGストリームの各ピクチャの順序の入れ替えは、多重化のときに必要となる。
ビットb3,b2には、「Timecode2」、「Timecode1」が設けられている。この「Timecode2」、「Timecode1」は、Timecode2,1の領域に、VITC(Vertical Interval Time Code)、LTC(Longitudinal Time Code)が挿入されているか否かを示すフラグである。ビットb1,b0には、「H−Phase」、「V−Phase」が設けられている。この「H−Phase」、「V−Phase」は、エンコード時にどの水平画素、垂直ラインからエンコードされているか、つまり実際に使われる枠の情報がユーザデータ領域にあるか否かを示すフラグである。
次に、オーディオアイテムについて説明する。オーディオアイテムの「Element Data」は、図10に示すように「Element Data」は「Element Header」「Audio Sample Count」「Stream Valid Flags」「Data Area」で構成される。
1ワードの「Element Header」のビットb7は「FVUCP Valid Flag」であり、AES(Audio Engineering Society)で規格化されたAES−3のフォーマットにおいて定義されているFVUCPが、「Data Area」のAES−3のフォーマットのオーディオデータ(音声データ)で設定されているか否かが示される。ビットb6〜b3は未定義領域(Reserved)であり、ビットb2〜b0で、5フレームシーケンスのシーケンス番号(5−sequence counter)が示される。
ここで、5フレームシーケンスについて説明する。1フレームが525本の走査線で(30/1.001)フレーム/秒のビデオ信号に同期すると共に、サンプリング周波数が48kHzであるオーディオ信号をビデオ信号の各フレームのブロック毎に分割すると、1ビデオフレーム当たりのサンプル数は1601.6サンプル/フレームとなり整数値とならない。このため、5フレームで8008サンプルとなるように1601サンプルのフレームを2フレーム設けると共に1602サンプルのフレームを3フレーム設けるシーケンスが5フレームシーケンスと呼ばれている。
5フレームシーケンスは、図11Aに示す基準フレーム信号に同期して、例えば図11Bに示すようにシーケンス番号1,3,5のフレームが1602サンプル、シーケンス番号2,4のフレームが1601サンプルとされており、このシーケンス番号がビットb2〜b0で示される。
2ワードの「Audio Sample Count」は、図10に示すようにビットc15〜c0を用いた0〜65535の範囲内の16ビットのカウンタであり、各チャネルのサンプル数が示される。なお、エレメント内では全てのチャネルが同じ値を有するものである。
1ワードの「Stream Valid Flags」では、8チャネルの各ストリームが有効であるか否かが示される。ここで、チャネルに意味のあるオーディオデータが含まれている場合には、このチャネルに対応するビットが「1」に設定されると共に、それ以外では「0」に設定されて、ビットが「1」に設定されたチャネルのオーディオデータのみが伝送される。
「Data Area」の「s2〜s0」は8チャネルの各ストリームを識別のためのデータ領域である。「F」はサブフレームの開始を示している。「a23〜a0」は、オーディオデータであり、「P,C,U,V」はチャネルステータスやユーザビット、Validityビット、パリティ等である。
次に、オーディオアイテムに対するメタデータについて説明する。オーディオ編集メタデータ(Audio Editing Metadata)は、編集メタデータやエラーメタデータおよびソースコーディングメタデータの組み合わせである。このオーディオ編集メタデータは、図12に示すように1ワードの「Field/Frame flags」、1ワードの「Audio Editing Bitmap」、1ワードの「CS Valid Bitmap」、および「Channel Status Data」で構成されている。
ここで、有効とされているオーディオのチャネル数は、上述した図10の「Stream Valid Flags」によって判別することができる。また「Stream Valid Flags」のフラグが「1」に設定されている場合には、「Audio Editing Bitmap」が有効となる。
「Audio Editing Bitmap」の「First editing flag」は第1フィールド、「Second editing flag」は第2フィールドでの編集状況に関する情報が示されて、編集点がこのフラグの付いているフィールドの前あるいは後であるか等が示される。「Error flag」では、修正できないようなエラーが発生しているか否か等が示される。
「CS Valid Bitmap」は、n(n=6,14,18あるいは22)バイトの「Channel Status Data」のヘッダであり、データブロック内で24のチャネルステータスワードのどれが存在しているかが示される。ここで、「CS Valid1」は、「Channel Status Data」の0から5バイトまでにデータがあるか否かを示すフラグである。「CS Valid2」〜「CS Valid4」は、「Channel Status Data」の6から13バイト、14から17バイト、18から21バイトまでにデータがあるか否かを示すフラグである。なお、「Channel Status Data」は24バイト分とされており、最後から2番目の22バイトのデータによっては0から21バイトまでにデータがあるか否かが示されると共に、最後の23バイトのデータが、0から22バイトまでのCRCとされる。また、「Filed/Frame flags」でフラグは、8チャネルのオーディオデータに対してフレーム単位あるいはフィールド単位のいすれでデータがパッキングされているかが示される。
汎用のデータフォーマット(General Data Format)では、全てのフリーフォームデータタイプを搬送するために使用される。しかし、このフリーフォームデータタイプには、ITネイチャ(ワードプロセッシングやハイパーテキスト等)などの特別な補助エレメントタイプは含まれない。
SDTI−CPフォーマットは以上のようなデータストリームで構成されている。
さて、この発明では、一定の時間内にリアルタイム伝送を実現するためにデータ転送モードとデータタイミングモードを規定する。この転送モードとタイミングモードとの関係を図13に示す。転送モードには、送信側に情報を周期的に規則正しく転送する同期転送モード(Synchronous Mode)と、情報を周期的ではなくランダムに転送する非同期転送モード(Asochronous Mode)と、リアルタイムで連続的に例えば一定の時間内にデータを転送する等時転送モード(Isochronous Mode)がある。
また、タイミングモードには映像フレームの第1フィールドを伝送するタイミングで、伝送パケットを伝送するノーマルタイミングモード(Normal Timing Mode)と、映像フレームの第2フィールドを伝送するタイミングで伝送パケットを伝送するアドバンスドタイミングモード(Advanced Timing Mode)と、映像フレームの第1フィールドおよび第2フィールドを伝送するタイミングで伝送パケットを伝送するデュアルタイミングモード(Dual Timing Mode)がある。
図13は転送モードとタイミングモードとの関係を示し、図14A〜図14D、図15A〜図15Fは各モードにおける1ピクチャ単位の伝送パケットの配置を示す。
図14Aに示すように、転送モードが同期モードで、タイミングモードがノーマルタイミングモードのときは、基準1倍速で、コンテント・パッケージ(CP)を含む伝送パケットは、各フレームの第1フィールドから配置して転送する。図14Aにおいて、コンテント・パッケージ内に図示されたバーはシステムアイテムの配置位置を示す。以下も同じである。
転送モードが同期モードで、タイミングモードがアドバンスドタイミングモードのときには、コンテント・パッケージを含む伝送パケットは、図14Bに示すように各フレームの第2フィールドから配置して転送する。
転送モードが同期モードで、タイミングモードがデュアルタイミングモードのときには、図14Cに示すようにコンテント・パッケージを含む伝送パケットは各フレームの第1フィールドおよび第2フィールドの領域に配置して転送する。このデュアルタイミングモードでは、525ライン/60フレームの圧縮ビデオデータや、MPEG圧縮をフィールドコーディングによって行った圧縮ビデオデータが転送される。
ノーマルタイミングモードでは第1フィールドの所定のラインから伝送パケットが挿入される。525ライン/60フィールドでは第13ラインにシステムアイテムが挿入される。因みに、625ライン/50フィールドでは第9ラインにシステムアイテムが挿入される。
アドバンスドタイミングモードは、第2フィールドから伝送パケットが挿入される。525ライン/60フィールドでは第276ラインにシステムアイテムが挿入され、625ライン/50フレームでは第322ラインにシステムアイテムが挿入される。
このデュアルタイミングモードでは、525ライン/60フレームにおいては第13ラインと第276ラインにそれぞれシステムアイテムが挿入され、625ライン/50フレームにおいては、第9ラインと第322ラインにシステムアイテムが挿入される。
転送モードが非同期モードであるときは、図14Dに示すようにコンテント・パッケージを含む伝送パケットは任意の領域に配置して転送する。
図15A〜図15Cは転送モードがアイソクロナンス転送モードの説明である。図15Aは転送モードがアイソクロナンスモードで、タイミングモードがノーマルタイミングモードでの伝送パケットの配置例を示す。この例では2倍速で、コンテント・パッケージ(CP)を含む伝送パケットは、各フレームの第1フィールドから配置して転送する。
転送モードがアイソクロナンス転送モードで、タイミングモードがアドバンスドタイミングモードのときには、コンテント・パッケージを含む伝送パケットは、図15Bに示すように各フレームの第2フィールドの領域から配置して転送する。
転送モードがアイソクロナンス転送モードで、タイミングモードがデュアルタイミングモードのときには、図15Cに示すようにコンテント・パッケージを含む伝送パケットは各フレームの第1フィールドおよび第2フィールドの領域に配置して転送する。
1/2倍速のときには、図15D〜図15Fのような配置例となる。転送モードがアイソクロナンスモードで、タイミングモードがノーマルタイミングモードでのコンテント・パッケージを含む伝送パケットは、図15Dのように各フレームの第1フィールドから配置して転送する。
転送モードがアイソクロナンス転送モードで、タイミングモードがアドバンスドタイミングモードのときには、コンテント・パッケージを含む伝送パケットは、図15Eに示すように各フレームの第2フィールドから配置して転送する。
転送モードがアイソクロナンス転送モードで、タイミングモードがデュアルタイミングモードのときには、図15Fに示すようにコンテント・パッケージを含む伝送パケットは各フレームの第1フィールドおよび第2フィールドの領域に配置して転送する。
システムアイテムが挿入されるラインはそれぞれ対応する図14A〜図14Cのタイミングモードと同じラインである。
ここで、1フレーム内で伝送できるデータ量は、最大6.048Mビット(=1440バイト×8ビット×525ライン)であり、一方ビデオデータを各ピクチャレートを同一とする条件の下で、MPEG圧縮するときその平均圧縮レートが50Mbpsであったときには、1フレーム当たり1.66Mビットのデータ量となるから、6.048Mビット/1.66Mビット=3.6倍までのデータを送ることができる。したがってこのアイソクロナンス転送モードでは、上記50Mbpsのデータであれば、3倍速までの高速転送を実現できる。
このような3つの転送モードと3つのタイミングモードをそれぞれ識別するために、SDTIフォーマットで規定される伝送パケット中に含まれるペイロード部のうち、図4で示したようにデータブロック領域のデータ種別を示すタイプ領域(アイテムタイプ領域)の近傍のコンテント・パッケージタイプ領域に、2ビットのデータ(b2,b3)を使用して、上述した転送モードを表すデータを挿入して伝送する。
また、この発明では、SDTIフォーマットに規定される伝送パケット中に含まれるペイロード部のうち、同じく図4で示したようにデータブロック領域のデータ種別を示すタイプ領域の近傍のコンテント・パッケージタイプ領域に、2ビットのデータ(b0,b1)を使用して、上述したタイミングモードを表すデータを挿入して伝送する。
次に上述した伝送パケットを伝送する伝送システムの詳細を説明する。
非同期転送モードでのデータ伝送から説明する。図16はこの非同期転送モードでのデータ伝送システムの概要を示す。
このデータ伝送システムは送信系10と受信系20とで構成される。
送信系10は、伝送すべきデータを蓄積した蓄積手段(データストレージ部)12と、データ転送要求を出すインタフェース(I/Ft)14と、読み出したデータを送信する送信部(Tx)16と、インタフェース14に転送結果を送る制御部(CPU)18とから構成される。
蓄積手段12としては、ノンリニアアクセス可能な記録媒体であるハードディスク装置(HDD装置)や、D−RAMやフラッシュメモリ等の半導体メモリ、さらにはテープ状地場にデータを記録するビデオテープレコーダ(VTR)などを使用することができる。
インタフェース14は、制御部18から受信した伝送指示を示す制御命令を元に、蓄積手段12に対してこの蓄積手段12に蓄積されたデータSbの読み出し指示を出す。送信部16は、蓄積手段12から読み出されたデータSbを上述したSDTI−CPフォーマットの伝送パケットに変換し、さらにシリアル変換して出力する。送信部16の具体的な構成は後述する。
制御部18は、受信系20から送信された転送要求を受信して、インタフェース14に転送指示を示す制御命令を送信する。
受信系20は、データの受信部(Rx)22と、受信したデータを蓄積する蓄積手段24と、受信データを監視し、次のデータを受け付けるためのデータ伝送指示を送る制御部(CPUr)とで構成される。蓄積手段24としては送信系10で使用されているハードディスク装置やVTRなどを使用することができる。
図16に示したデータ伝送システムの動作を次に説明すると、受信部22では、受信したデータをパラレルデータに変換すると共に、パラレルデータから本来のデータと、それ以外のデータ(アンシラリーデータ、システムアイテムデータなど)が分離され、映像データなどの本来のデータはデータ蓄積手段(データストレージ部)24に蓄積されると共に、受信したデータのありなしの情報が制御部26に送られる。制御部26ではこのデータのありなしの情報に基づいて、制御部18に対してデータ伝送の指示を示す制御命令を出す。
図17A〜図17Fは、図16のように構成されたデータ伝送システムにおいて、非同期モードで伝送パケットを送受信するときのタイミングチャートである。
受信系20に設けられた制御部26では、受信部22にデータが入力されていないこと、および受信した全てのデータの転送(ストレージ)が終了していることをそれぞれ確認して、データ転送可能コマンドを送信側制御部18に送る。同時に転送可能コマンドを送出したことを記憶しておく。
転送可能コマンドを受け取った制御部18はインタフェース14にデータ転送指令を出す。この指令を受けてインタフェース14は蓄積手段12に対して5ワードに相当するデータ有効パルスSa(図17A)を送出する。これを受けて蓄積手段12では、データの遅延を考慮して例えば1ワード遅れて5ワード分のデータSb(図17B)を送信部16に出力する。インタフェース14では1ワード遅れたデータ有効パルスSc(図17C)を送信部16に出力する。
送信部16では蓄積手段12から読み出された送信データに、SDTI−CPフォーマットのシステムアイテム、ピクチャアイテム等の領域に上述したデータを挿入して、さらにSDTIフォーマットで定義されたセパレータ、エンドコード等を挿入して、さらにSDIフォーマットで定義されたEAV,SAV等を挿入してSDTI−CPフォーマットの伝送パケットを生成する。図17Dでは、伝送パケットのうち、便宜的にペイロード領域に挿入された送信データを示す。
受信部22では受信した伝送パケットからデータ有効パルスSe(図17F)を生成し、有効データSb(図17E)を蓄積手段24に送って蓄積すると共に、
データ有効パルスSeを制御部26に送り、データの蓄積が終了したことを監視する。データ蓄積が終了すると制御部26から再びデータ転送可能コマンドが送り出される。このように、非同期転送モードでは、受信系20の空いた時間を利用して伝送パケットの送受信が行われる。
図19は転送モードが同期転送モード(基準1倍速)で、タイミングモードがノーマルタイミングモードでのデータ伝送システムを示す。
このデータ伝送システムの受信系10は、ビデオカメラ42と、このビデオカメラ42からの映像信号が供給されて圧縮符号化したビデオデータを生成するエンコーダ40と、この圧縮ビデオデータをSDTI−CPフォーマットの伝送パケットを生成するエンコーダ50とで構成される。
エンコーダ40ではMPEG(Moving Picture Experts Group)エンコーダが使用され、MPEG圧縮ビデオデータが生成される。次のエンコーダ50では、SDTI−CPフォーマットのシステムアイテム、ピクチャアイテム等の領域に上述した圧縮ビデオデータを挿入して、さらにSDTIフォーマットで定義されたセパレータ、エンドコード等を挿入して、さらにSDIフォーマットで定義されたEAV,SAV等を挿入してSDTI−CPフォーマットの伝送パケットを生成する。
受信系20は、SDTI−CPフォーマットの伝送パケットを受信するデコーダ60と、このデコーダ60で分離された圧縮ビデオデータが供給されるMPEGデコーダ70と、デコードされたビデオデータを供給して、その映像をモニタするモニタ手段80と、デコードされたビデオデータを蓄積する蓄積手段82とで構成される。データ蓄積手段82としては図16に示す蓄積手段12,24と同様に、ハードディスク装置や半導体メモリ、ビデオテープレコーダなどを使用することができる。
ビデオカメラ42から出力された映像信号はMPEGエンコーダ40でMPEG圧縮ビデオデータとなされる。圧縮ビデオデータの出力区間を示すイネーブルパルスも生成される。圧縮ビデオデータとイネーブルパルスはエンコーダ50に供給されて、上述したSDTI−CPフォーマットの伝送パケットに変換される。この伝送パケットはシリアル変換されてから転送される。
受信した伝送パケットから圧縮ビデオデータとイネーブルパルスが分離される。圧縮ビデオデータはMPEGエンコーダ70でイネーブルパルスを使用して復元処理が行われる。
このようなデータ送受信モードでは、一定の期間(この例では1映像フレームの期間とする)内に1フレーム分の映像データの送出が完結する必要がある。そして、この映像フレームに同期してデータの処理が行われる必要がある。そのため、送受信系では次のような処理が行われる。
送信系10では例えば局内の基準信号である映像フレーム信号(パルス)(図19A)に同期した処理が行われる。映像フレーム信号は映像フレームの第4ライン目に同期して得られる信号である。ビデオカメラ42からはこの映像フレーム信号に同期して第1フィールドおよび第2フィールドの映像信号が得られる(図19B)。
MPEGエンコーダ40ではデータの圧縮処理をフレーム単位で行うため、このフィールド周期の映像信号を1フィールド遅延させる(図19C)。変換処理のタイミングは第2フィールドに同期して行われる。変換したフレーム映像信号を同時に圧縮符号化する(図19D)。この圧縮符号化は図20Aのように圧縮するブロックによって符号量が相違するので、圧縮データに対応したイネーブルパルス(図19Eおよび図20B)が同時に生成される。MPEGによる圧縮符号化は1フレーム内で完結するので、少なくとも第3映像フレーム期間(パルスF3が得られる期間)までには1フレーム分のデータ圧縮処理が終了する。
MPEG圧縮データとイネーブルパルスは次のSDTI−CPエンコーダ50に供給される。このエンコーダ50でペイロード部に挿入されるSDTI−CPの各アイテムが生成され、さらにこの各アイテムにSDTIフォーマットのヘッダが付加され、これにさらにEAV,ANC,SAVなどが付加されてSDTI−CPフォーマットの伝送パケットが生成される。この伝送パケットが270Mbps等の伝送速度で伝送系(通信ケーブルなど)45に送り出される。
図19Fは便宜的にペイロード領域に挿入される送信データを示すものとする。以下も同様である。伝送系45への伝送パケットの送出は、第3映像フレームパルスF3に同期して送り出される(図19F)。
受信部60では受信した伝送パケットのうち、この例では終了同期符号が挿入されるEAV領域に挿入された垂直ブランキングデータF(図2参照)を抽出して映像フレームパルスを生成し、この映像フレームパルスに同期してMPEGデコーダ70,モニタ80、蓄積手段82が動作するように制御される。
受信部60はSDTI−CPデコーダとして構成されており、SDTI−CPフォーマットの伝送パケットよりペイロード部が分離され、分離されたペイロード部よりシステムアイテムのデータを利用して各アイテムごとに分離されてデコードされる(図19G)。同時にイネーブルパルスもデコードされる(図19H)。このデコード処理も映像フレームパルスに同期して行われる。
その後MPEGデコーダ70でフレーム映像信号とイネーブルパルスがそれぞれデコードされると共に、デコードされたフレーム映像信号から次の映像フレームパルスF5に同期してフィールド単位の映像信号に変換される(図19I、図19J、図19K)。復元されたフィールド単位の映像信号はモニタ80に供給されてビデオカメラ42で撮像した映像がリアルタイム表示されると共に、蓄積手段82に蓄積される。
図21A〜図21Kは転送モードが同期転送モードで、タイミングモードがアドバンスドタイミングモードの場合のデータ送受信におけるタイミングチャートを示す。
この場合、図21A〜図21Eは図19A〜図19Eと同じである。したがってフレームパルスF2が得られる第2映像フレーム期間の後半部の第2フィールド目までにSDTI−CPエンコーダ50でのエンコード処理を終えると共に、処理後の伝送パケットをこの第2フィールド目から伝送系45に送出できる(図21F)。このアドバンスドタイミングモードでは、送信系10において、少なくとも1フィールド分の時間を短縮できる。
一方、受信した伝送パケットはSDTI−CPデコーダ60でデコード処理されるが、この処理もフレームパルスF3が得られる第3映像フレーム期間の第2フィールド目から始めることができる(図21G、図21H)。つまりフレームパルスF3が得られる第3映像フレーム期間の第2フィールド目からSDTI−CPデコードおよびMPEGデコード処理を開始できる(図21I、図21J)。
最終的に出力する元のフィールド単位の映像信号はフレームパルスに同期したものであるから、図21KのようにフレームパルスF4に同期して出力することができる。これによって受信系20でも少なくとも1フィールド分の時間を短縮できるから、このアドバンスドタイミングモードを利用した場合には、伝送システム全体として1フレーム分の送受信時間が短縮され、システムデレイを最小限に抑えることができる。
図22は転送モードが同期転送モードでタイミングモードがデュアルタイミングモードで上述したSDTI−CPフォーマットの伝送パケットを送受信するデータ伝送システムであり、特に525ライン/60フレームのプログレッシブ映像信号を上述した伝送パケットにして送受信するときのデータ伝送システムの構成を示す。
このデータ伝送システムの受信系10は、ビデオカメラ48と、このビデオカメラ48からのプログレッシブ映像信号が供給されて圧縮符号化したビデオデータを生成するエンコーダ46と、この圧縮ビデオデータに付加データを加えてSDTI−CPフォーマットの伝送パケットを生成するエンコーダ50とで構成される。
エンコーダ50ではMPEGエンコーダが使用され、MPEG圧縮ビデオデータが生成される。次のエンコーダ50では、SDTI−CPフォーマットのシステムアイテム、ピクチャアイテム等の領域に上述した圧縮ビデオデータを挿入して、さらにSDTIフォーマットで定義されたセパレータ、エンドコード等を挿入して、さらにSDIフォーマットで定義されたEAV,SAV等を挿入してSDTI−CPフォーマットの伝送パケットを生成する。
受信系20は、SDTI−CPフォーマットの伝送パケットを受信するデコーダ60と、このデコーダ60で分離された圧縮ビデオデータが供給されるMPEGデコーダ72と、デコードされたビデオデータを供給して、その映像をモニタするモニタ手段84と、デコードされたビデオデータを蓄積する蓄積手段82とで構成される。データ蓄積手段82としては図18に示す蓄積手段82と同様に、ハードディスク装置や半導体メモリ、ビデオテープレコーダなどを使用することができる。
ビデオカメラ48から出力されたプログレッシブ映像信号はMPEGエンコーダ46でMPEG圧縮ビデオデータとなされる。圧縮ビデオデータの出力区間を示すイネーブルパルスも生成される。MPEGエンコーダ46ではプログレッシブ映像信号を取り扱うものであるから、フィールド・フレーム変換する処理手段は含まれていない。圧縮ビデオデータとイネーブルパルスはエンコーダ50に供給されて、上述したSDTI−CPフォーマットの伝送パケットに変換される。この伝送パケットはシリアル変換されてから転送される。
受信した伝送パケットから圧縮ビデオデータとイネーブルパルスが分離される。圧縮ビデオデータはMPEGエンコーダ72でイネーブルパルスを使用してプログレッシブ映像信号の復元処理が行われる。MPEGデコーダ72はプログレッシブ映像信号を取り扱うものであるから、フレーム・フィールド変換する処理手段は含まれていない。
このデータ伝送システムにおけるデータ送受信のためのタイミングチャートを図23A〜図23Hに示す。
送信系10では例えば局内の基準信号である映像フレーム信号(パルス)(図23A)に同期した処理が行われる。映像フレーム信号は映像フレームの第4ライン目に同期して得られる信号である。ビデオカメラ48からはプログレッシブ映像信号がフレームパルスに同期して得られる(図23B)。
プログレッシブ映像信号の場合には、図23A〜図23Cのように1映像フレーム期間内には2フレーム分に相当する映像信号が出力される。プログレッシブ映像信号であるので、MPEGエンコーダ46にプログレッシブ映像信号が入力すると同時にデータ圧縮および符号化処理を行うことができる。得られた圧縮データおよびイネーブルパルスを図23C,図23Dに示す。
フレームパルスF1の映像フレーム期間における第1フィールド目に対応したプログレッシブ映像信号(フレーム1)の圧縮データはSDTI−CPエンコーダ50に供給されて、その第2フィールドの期間を利用してSDTI−CPフォーマットの伝送パケットとなされ、第2フィールド目から得られるプログレッシブ映像信号(フレーム2)の圧縮データはSDTI−CPエンコーダ50に供給されて、フレームパルスF2の映像フレーム期間における第1フィールド目を利用してSDTI−CPフォーマットの伝送パケットとなされる(図23E)。
プログレッシブ映像信号(フレーム1およびフレーム2)に対応した伝送パケットは同じフレームパルスF2の映像フレーム期間における第1および第2フィールド(パルス)に同期して伝送され、SDTI−CPデコーダ60でデコード処理される。処理結果のプログレッシブ映像信号とそのときのイネーブルパルスを図23F,図23Gに示す。その後MPEGデコーダ72で元のプログレッシブ映像信号に戻される(図23H)。
このようにデュアルタイミングモードでは、フレームパルスF2における映像フレーム期間で映像をモニタすることができるようになり、上述したタイミングモード中ではデータ伝送システム全体でのシステムデレイが最も少なくなる。
デュアルタイミングモードでの伝送パケットの具体例を図24A〜図24Cに示す。図24Bは各ピクチャアイテムの構成を示すもので、第1フィールド目と第2フィールド目にそれぞれ同期している。したがって第1フィールド目に同期して前半の圧縮ビデオデータ(ピクチャ)が配置されて伝送され、第2フィールド目に同期して後半の圧縮ビデオデータ(ピクチャ)が配置されて伝送される。
続いて、アイソクロナンス転送モード(等時転送モード)について説明する。図25は2台のビデオカメラ42,43の映像信号を多重して一定期間である1映像フレーム期間内に伝送できるようにしたデータ伝送システムの実施形態である。
このデータ伝送システムにおいて送信系10は、2台のビデオカメラ42,43と、それらの映像信号が供給されるMPEGエンコーダ40,41と、これらMPEGエンコーダ40,41からの圧縮ビデオデータが供給されるSDTI−CPフォーマットの伝送パケットに変換するためのエンコーダ50とで構成される。MPEGエンコーダ40,41は同一の構成である。エンコーダ50ではMPEGエンコーダ40,41から出力された2系統の圧縮ビデオデータを多重してSDTI−CPフォーマットの伝送パケットに変換する。
したがって、このエンコーダ50では、SDTI−CPフォーマットの各アイテムを生成し、この各アイテムをペイロード領域に挿入し、さらにアンシラリー領域に上述したヘッダデータなどを挿入し、さらにSDIフォーマットで定義されたEAV,SAVなどを挿入してSDTI−CPフォーマットの伝送パケットを作成する。
2系統の圧縮ビデオデータを多重した伝送パケットの具体例を図26A〜図26Cに示す。図26Bは多重されたピクチャアイテムの構成を示すもので、ビデオカメラ42の圧縮ビデオデータ(ピクチャ)の後に、ビデオカメラ43の圧縮ビデオデータ(ピクチャ)が、それぞれセパレータやエンドコードなどを付加した状態で多重される。そして図26Cに示すように、映像フレームの前半の期間にビデオカメラ42の圧縮ビデオデータ(ピクチャ)が配置され、その後半部にビデオカメラ43の圧縮ビデオデータ(ピクチャ)が配置されて伝送される。
データ伝送システムの受信系20は、SDTI−CPフォーマットの伝送パケットを受信するデコーダ60と、このデコーダ60から出力された圧縮ビデオデータが供給される2台のMPEGデコーダ70,71と、これらMPEGデコーダ70,71から出力された映像データが供給される2台のモニタ手段80,81と、そして映像データを蓄積する蓄積手段82とで構成される。MPEGデコーダ70,71は同一の構成である。デコーダ60ではSDTI−CPフォーマットの伝送パケットから2系統の圧縮ビデオデータに分離する。
このように構成されたデータ伝送システムのデータ送受信のタイミングチャートを図27A〜図27Tに示すが、図27A〜図27Eは図19A〜図19Eと同じであり、図27F〜図27Iも図19A〜図19Eと同じである。
ビデオカメラ42,43からは局内映像フレーム信号に同期して通常の映像信号(インタレース信号)が出力される(図27A、図27B、図27F)。
MPEGエンコーダ40,41ではフィールド・フレーム変換後に2系統の圧縮ビデオデータに変換される(図27C、図27D、図27G、図27H)。同時にイネーブルパルスも出力される(図27E、図27I)。
SDTI−CPエンコーダ50では、2系統の圧縮ビデオデータを多重してSDTI−CPフォーマットの伝送パケットに変換してからシリアル変換されて転送される(図27J)。SDTI−CPデコーダ60では受信したこの伝送パケットから2系統の圧縮ビデオデータとイネーブルパルスに戻される(図27K、図27L、図27P、図27Q)。それぞれの圧縮ビデオデータは対応するMPEGデコーダ70,71に供給されて非圧縮の映像データとイネーブルパルスにデコードされる(図27M、図27N、図27R、図27S)。その後フィールド変換されて2系統の映像信号が得られる。
図28A〜図28Tは、図25のデータ伝送システムを利用したときの、アイソクロナンス転送モードにおけるアドバンスドタイミングモードでのタイミングチャートである。
アドバンスドタイミングモードでは映像フレーム期間の第2フィールド目に同期して伝送パケットを伝送するものであるから、SDTI−CPエンコーダ50での処理タイミングは、図25の場合よりも1映像フィールドだけ前にずらして、この第2フィールド目から2系統からの映像信号のフレーム変換処理、MPEGエンコード処理がそれぞれ同時に行われると共に、そのとき得られる2系統の圧縮ビデオデータを使用して、2系統の圧縮ビデオデータが多重されたSDTI−CPフォーマットの伝送パケットが生成され、そしてこの第2フィールド目に同期してこの伝送パケットを伝送する(図28A〜図28J)。
受信系20での処理も全て1映像フィールドだけ早くなるので、フレームパルスF3の映像フレーム期間の第2フィールド目から、伝送パケットからの2系統の圧縮ビデオデータの分離処理、MPEGデコード処理などが行われ、そして、フレームパルスF4の映像フレーム期間の第1フィールド目からフィールド変換処理を行うことができるから、この第2フィールド目から2系統の映像データを得ることができる(図28K〜図28T)。
このようにアドバンスドタイミングモードではデータ伝送システム系のデレイ時間を少なくできるから、局内スタジオ間でのライブ中継時のデータ伝送などに適用して好適である。
このようなアイソクロナンス転送モードで、アドバンスドタイミングモードのときにおける、2系統の圧縮ビデオデータを多重した伝送パケットの具体例を図29A、図29Bに示す。図29Aは多重されたピクチャアイテムの構成を示すもので、ビデオカメラ42の圧縮ビデオデータ(ピクチャ)の後にビデオカメラ43の圧縮ビデオデータ(ピクチャ)が、それぞれセパレータやエンドコードなどを付加した状態で多重される。そして図29Bに示すように、映像フレームの第2フィールドからビデオカメラ42の圧縮ビデオデータ(ピクチャ)とビデオカメラ43の圧縮ビデオデータ(ピクチャ)が配置されて伝送される。
さて、上述した送信系10に設けられたSDTI−CPエンコーダ50の具体的な構成を図30に示す。
このエンコーダ50は、端子52に供給されたMPEG圧縮ビデオデータが供給されると共に、SDTI−CPフォーマットのペイロード部に挿入されるピクチャアイテムなどの領域にこの圧縮ビデオデータを挿入する第1のフォーマッタ(SDTI−CPフォーマッタ)51と、各アイテムに挿入されるアイテムヘッダや、システムアイテムを出力するCPU53と、アイテムヘッダやシステムアイテムなどを挿入するときのタイミング信号を生成するタイミング信号発生器54と、ペイロード部に挿入されるこれら各アイテムに、SDTIフォーマットで定義された付加データ(セパレータ、エンドコード、ワードカウントなど)を挿入する第2のフォーマッタ(SDTIフォーマッタ)55と、さらにこれらにSDIフォーマットで定義されたEAV,ANC,SAVを挿入して最終的にSDTI−CPフォーマットの伝送パケットを生成する第3のフォーマッタ(SDIフォーマッタ)56と、伝送パケットのパラレルデータをシリアルデータに変換するP/S変換器57とで構成される。
CPU53からのシステムアイテムのデータ長を示す情報やコンテント・パッケージのヘッダの長さ情報などはタイミング発生器54に供給される。タイミング発生器54ではこれら長さ情報からシステムアイテムやピクチャアイテムなどをパッキングするタイミングパルスなどが生成される。
図31A〜図31Eは、SDTI−CPエンコーダ50の処理例を示すタイミングチャートである。
SDTI−CPフォーマッタ51では、端子52より供給されたMPEG圧縮データ(図31A)をピクチャアイテムの領域に挿入する。さらに各アイテムのヘッダ情報を利用して図4や図7に示すアイテムが構成される。そのため、CPU53からはSDTI−CPフォーマットにおけるコンテント・パッケージCPの形態にフォーマット化するのに必要な第1の付加データ、すなわちシステムアイテムと、コンテント・パッケージ用アイテムヘッダ(CPヘッダ)がそれぞれ供給される。
このCPU53からはさらにシステムアイテムの長さを示すデータや、CPヘッダの長さを示すデータがタイミング発生器54に供給され、フィールドパルスVと水平パルスHとに同期したデータ挿入用のイネーブルパルスやタイミングパルス(図31Cはイネーブルパルスのみを示す)が生成される。
これらイネーブルパルスやタイミングパルスに基づいてSDTI−CPフォーマッタ51では、図31Bに示すようなシステムアイテムと、CPヘッダを付加したMPEG圧縮ビデオデータがそれぞれ生成される。
このシステムアイテムや圧縮ビデオデータはSDTIフォーマッタ55で、セパレータ、ワードカウント、エンドコードなどのSDTIフォーマットで定義された第2の付加データが付加されて、図31Dに示すようなSDTIフォーマットとなされたデータが生成される。このSDTIフォーマット用データはさらにSDIフォーマッタ56に供給されて、第3の付加データとして使用されるSDIフォーマットで定義された終了同期符号EAV、補助データANC、開始同期符号SAVなどが付加されてSDTI−CPフォーマットの伝送パケットが生成される。このSDTI−CPフォーマットの伝送パケットがP/S変換器57でパラレル・シリアル変換されて伝送路45に送り出される。図31EはSDTI−CPフォーマットをフレームに展開したときのデータ配置例である。
以上説明したようにこの発明では、SDTIフォーマットの伝送パケットを伝送するデータ伝送装置において、伝送すべきデータが供給される送信部に、ペイロード領域に伝送パケットの転送モードを示すデータを挿入する手段を設けたものである。これによれば、この転送モード領域のデータ内容を検索するだけで伝送パケットの転送モードを判別できる特徴を有する。
またこの発明では、SDTIフォーマットの伝送パケットを伝送するデータ伝送装置において、伝送すべきデータが供給される送信部に、ペイロード領域に伝送パケットのタイミングモードを示すデータを挿入する手段を設けたものである。これによれば、タイミングモード領域のデータ内容を検索するだけで伝送パケットのタイミングモードを判別できる特徴を有する。
この発明は転送モード領域やタイミングモード領域を用意したSDTI−CPフォーマットの伝送パケットを伝送する場合に適用できる。したがって局内でのデータ伝送システムなどに適用して好適である。

Claims (1)

  1. 映像フレーム1ラインの区間を、終了同期符号が挿入される終了同期符号領域と、補助データが挿入される補助データ領域と、開始同期符号が挿入される開始同期符号領域と、映像信号およびまたは音声信号を含むデータが挿入されるペイロード領域とで構成されるシリアル・ディジタル・トランスファ・インタフェースの伝送パケットに変換するエンコーダと、
    このエンコード出力をシリアル変換するパラレル・シリアル変換器とで構成され、
    上記エンコーダは、上記ペイロード領域のうち上記データが挿入されるデータブロック領域のデータの種別を示すタイプデータが挿入されるタイプ領域の転送モード領域に、シリアル変換された上記伝送パケットを送信側と受信側とで非同期状態で転送する非同期転送モードの他に、上記送信側と受信側とを同期させた状態で上記伝送パケットを伝送する同期転送モードと、高速伝送や多重伝送を送信側と受信側とで同期させながら行う等時転送モードの何れかを示すデータと上記伝送パケットを上記映像フレームの第1のフィールドを伝送するタイミングで伝送するノーマルタイミングモードか、上記伝送パケットを上記映像フレームの第2のフィールドを伝送するタイミングで伝送するアドバンスタイミングモードか、上記伝送パケットを上記映像フレームの第1および第2のフィールドを伝送するタイミングで伝送するデュアルタイミングモードかを示すデータとを挿入する手段を有するデータ伝送装置。
JP2009206485A 2009-09-07 2009-09-07 データ伝送装置 Expired - Lifetime JP4732538B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009206485A JP4732538B2 (ja) 2009-09-07 2009-09-07 データ伝送装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009206485A JP4732538B2 (ja) 2009-09-07 2009-09-07 データ伝送装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000613174A Division JP4436573B2 (ja) 1999-04-16 1999-04-16 データ伝送方法およびデータ伝送装置

Publications (2)

Publication Number Publication Date
JP2010016860A true JP2010016860A (ja) 2010-01-21
JP4732538B2 JP4732538B2 (ja) 2011-07-27

Family

ID=41702444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009206485A Expired - Lifetime JP4732538B2 (ja) 2009-09-07 2009-09-07 データ伝送装置

Country Status (1)

Country Link
JP (1) JP4732538B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08256330A (ja) * 1995-03-16 1996-10-01 Sony Corp データ受信装置、データ送受信装置およびこれらを用いたデータ伝送システム
JPH09107525A (ja) * 1995-10-09 1997-04-22 Sony Corp テレビジョン信号処理装置
JPH1169322A (ja) * 1997-08-20 1999-03-09 Victor Co Of Japan Ltd Tvコマーシャル放送チェック用信号挿入方法及びシステム並びにtvコマーシャル放送チェック方法及びシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08256330A (ja) * 1995-03-16 1996-10-01 Sony Corp データ受信装置、データ送受信装置およびこれらを用いたデータ伝送システム
JPH09107525A (ja) * 1995-10-09 1997-04-22 Sony Corp テレビジョン信号処理装置
JPH1169322A (ja) * 1997-08-20 1999-03-09 Victor Co Of Japan Ltd Tvコマーシャル放送チェック用信号挿入方法及びシステム並びにtvコマーシャル放送チェック方法及びシステム

Also Published As

Publication number Publication date
JP4732538B2 (ja) 2011-07-27

Similar Documents

Publication Publication Date Title
JP4668515B2 (ja) マルチメディアコンテンツに同期化されたメタデータ伝送装置及び方法
US6671323B1 (en) Encoding device, encoding method, decoding device, decoding method, coding system and coding method
US8224161B2 (en) After-recording apparatus
US20090252231A1 (en) Encoding system and method, decoding system and method, multiplexing apparatus and method, and display system and method
JP2004508777A (ja) ビデオマテリアルとデータの結合
JPH11205696A (ja) 映像伝送装置及び映像伝送方法
JP4812171B2 (ja) データ受信方法およびデータ受信装置
JP4436573B2 (ja) データ伝送方法およびデータ伝送装置
JP4339524B2 (ja) データ伝送方法、データ伝送装置、データ受信方法、データ受信装置、データ記録方法およびデータ記録装置
JP4387064B2 (ja) データ伝送方法およびデータ伝送装置
US7346054B2 (en) Method and system for co-relating transport packets on different channels using a cyclic redundancy check (CRC)
JP4732538B2 (ja) データ伝送装置
JP2000307647A (ja) データ受信装置
US20080123732A1 (en) Method and system for configuring decoding based on detecting transport stream input rate
JP4122624B2 (ja) データ受信方法およびデータ受信装置
KR100202019B1 (ko) 시스템 부호화기에서의 피시알(pcr) 신호 발생 장치
JP3584460B2 (ja) ビットストリーム変換装置および方法、並びに提供媒体
JP2000307971A (ja) データ受信方法およびデータ受信装置
JPH09270994A (ja) ストリーム制御方式
JP2000228768A (ja) デジタル信号伝送装置および方法、並びに提供媒体
JP2011078068A (ja) 映像伝送方式
JP2000307540A (ja) データ受信装置
JP2009100410A (ja) データ配信装置及びデータ配信システム
JP2000308022A (ja) 再生基準信号生成方法およびデータ受信装置
JP2000307948A (ja) データ送信方法およびデータ送信装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091111

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20091127

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110420

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term