JP2004349986A - 映像処理装置及び映像処理装置の通信方法 - Google Patents
映像処理装置及び映像処理装置の通信方法 Download PDFInfo
- Publication number
- JP2004349986A JP2004349986A JP2003144189A JP2003144189A JP2004349986A JP 2004349986 A JP2004349986 A JP 2004349986A JP 2003144189 A JP2003144189 A JP 2003144189A JP 2003144189 A JP2003144189 A JP 2003144189A JP 2004349986 A JP2004349986 A JP 2004349986A
- Authority
- JP
- Japan
- Prior art keywords
- stream
- mpeg
- usb
- video processing
- iec
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000004891 communication Methods 0.000 title claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 208000033748 Device issues Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Transfer Systems (AREA)
- Television Systems (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【解決手段】ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームをMPEG−4SLストリーム(単一のデータストリームであって、第1の実施の形態で独自に定義したデータストリームである)に変換する機能と、そのMPEG−4SLストリームをUSB2.0のアイソクロナス転送又はバルク転送を用いてホスト20に送信する機能とを有する映像処理装置10を提供する。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを扱う映像処理装置などに関するものである。
【0002】
【従来の技術】
近年、ホスト(パーソナルコンピュータなど)と周辺機器(デジタルビデオカメラなどの映像処理装置を含む)との間を接続する通信システムの一つとしてUSB2.0(非特許文献1参照)が知られている。
【0003】
また、近年、ビジュアルオブジェクト及びオーディオオブジェクトの符号化方式の一つとしてMPEG−4と呼ばれる符号化方式が注目されている(非特許文献2〜4参照)。
【0004】
【非特許文献1】
Universal Serial Bus Specification Revision 2.0, April 27, 2000
【非特許文献2】
ISO/IEC 14496−1:1999, Information technology −− Coding of audio−visual
objects −− Part 1: Systems
【非特許文献3】
ISO/IEC 14496−2:1999, Information technology −− Coding of audio−visual
objects −− Part2: Visual
【非特許文献4】
ISO/IEC 14496−3:1999, Information technology −− Coding of audio−visual
objects −− Part3: Audio
【0005】
【発明が解決しようとする課題】
しかしながら、従来の映像処理装置(特にデジタルビデオカメラ)には、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームをUSB2.0のアイソクロナス転送(Isochronous Transfer)又はバルク転送(Bulk Transfer)を用いて他の装置(ホストなど)に送信できるようにしたものはなかった。さらに、従来の映像処理装置には、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームをUSB2.0のアイソクロナス転送又はバルク転送を用いて他の装置(ホストなど)から受信できるようにしたものもなかった。
【0006】
本発明は、このような課題を解決しようとするものであり、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームをUSB2.0のアイソクロナス転送又はバルク転送を用いて他の装置(ホストなど)に送信することができるようにすることを目的とする。
【0007】
また、本発明は、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームをUSB2.0のアイソクロナス転送又はバルク転送を用いて他の装置(ホストなど)から受信することができるようにすることを目的とする。
【0008】
【課題を解決するための手段】
本発明の映像処理装置は、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを一つのデータストリームに変換する変換手段と、USB2.0のアイソクロナス転送を用いて前記データストリームを他の装置に送信する送信手段を有することを特徴とする。
【0009】
本発明の映像処理装置の通信方法は、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを一つのデータストリームに変換し、USB2.0のアイソクロナス転送を用いて前記データストリームを他の装置に送信することを特徴とする。
【0010】
本発明の他の映像処理装置は、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを一つのデータストリームに変換する変換手段と、USB2.0のバルク転送を用いて前記データストリームを他の装置に送信する送信手段を有することを特徴とする。
【0011】
本発明の他の映像処理装置の通信方法は、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを一つのデータストリームに変換し、USB2.0のバルク転送を用いて前記データストリームを他の装置に送信することを特徴とする。
【0012】
本発明の他の映像処理装置は、他の装置からUSB2.0のアイソクロナス転送を用いて送信された一つのデータストリームを受信する受信手段と、前記データストリームからISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを復元する復元手段とを有することを特徴とする。
【0013】
本発明の他の映像処理装置の通信方法は、他の装置からUSB2.0のアイソクロナス転送を用いて送信された一つのデータストリームを受信し、前記データストリームからISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを復元することを特徴とする。
【0014】
本発明の他の映像処理装置は、他の装置からUSB2.0のバルク転送を用いて送信された一つのデータストリームを受信する受信手段と、前記データストリームからISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを復元する復元手段とを有することを特徴とする。
【0015】
本発明の他の映像処理装置の通信方法は、他の装置からUSB2.0のバルク転送を用いて送信された一つのデータストリームを受信し、前記データストリームからISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを復元することを特徴とする。
【0016】
【発明の実施の形態】
以下、図面を参照し、本発明に好適な実施の形態を説明する。
[第1の実施の形態]
まず、図1を参照し、第1の実施の形態における通信システムの主要な構成要素を説明する。映像処理装置10及びホスト20は、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを扱うことができる装置である。例えば、ISO/IEC 14496−2:1999に準拠したビジュアルオブジェクト、ISO/IEC 14496−3:1999に準拠したオーディオオブジェクト及びISO/IEC 14496−1:1999に準拠したシーンディスクリプション(scene description)のエレメンタリーストリームを扱うことができる装置である。映像処理装置10は、例えばデジタルビデオカメラであり、ホスト20は、例えばパーソナルコンピュータである。
【0017】
また、映像処理装置10及びホスト20は、USB2.0(非特許文献1参照)に準拠したデジタルインターフェース部を用いて互いに通信可能である。映像処理装置10は、USB2.0で定義されたデバイスの機能を有する装置であり、ホスト20は、USB2.0で定義されたホストの機能を有する装置である。
【0018】
映像処理装置10は、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームをMPEG−4SLストリーム(単一のデータストリームであって、第1の実施の形態で独自に定義したデータストリームである)に変換する機能と、そのMPEG−4SLストリームをUSB2.0のアイソクロナス転送(Isochronous Transfer)又はバルク転送(Bulk Transfer)を用いてホスト20に送信する機能を有する。映像処理装置10はさらに、ホスト20からUSB2.0のアイソクロナス転送又はバルク転送を用いて送信されたMPEG−4SLストリームを受信する機能と、受信したMPEG−4SLストリームから一つ又は複数のエレメンタリーストリームを復元する機能とを有する装置である。ホスト20も、映像処理装置10と同様に、これらの機能を有する装置である。
【0019】
次に、図2を参照し、映像処理装置10及びホスト20が備える構成要素を説明する。SLパケット処理部201−1〜Nのそれぞれは、エレメンタリーストリーム1〜Nのそれぞれから複数のSL(Synchronization Layer)パケットを生成する処理と、その逆の処理を行う。Muxパケット処理部202は、各SLパケットから一つのMuxパケットを生成する処理と、その逆の処理を行う。MPEG−4SLストリーム処理部203は、複数のMuxパケットを多重化して一つのMPEG−4SLストリームを生成する処理と、その逆の処理を行う。また、MPEG−4SLストリーム処理部203は、後述するストリームヘッダの生成及び解析を行う。デジタルインターフェース部204は、USB2.0に準拠するものであり、図6〜図9に示す手順に従ってMPEG−4SLストリームの送信又は受信を行う。
【0020】
次に、図3を参照し、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを一つのMPEG−4SLストリームに変換する機能の処理手順を説明する。
【0021】
ステップS301:SLパケット処理部201−1〜Nのそれぞれは、エレメンタリーストリーム1〜Nのそれぞれから複数のSL(Synchronization Layer)パケットを生成し、生成した複数のSLパケットをMuxパケット処理部202に供給する。SLパケットの構成は、ISO/IEC 14496−1:1999に定義されているのでその詳細な説明を省略する。
【0022】
ステップS302:Muxパケット処理部202は、各SLパケットから一つのMuxパケットを生成し、生成したMuxパケットをMPEG−4SLストリーム処理部203に供給する。Muxパケットは、ISO/IEC 14496−1:1999が定義するFlexMuxパケットとは異なるパケットであり、第1の実施の形態で独自に定義したパケットである。Muxパケットの構成については、後で説明する(図5参照)。
【0023】
ステップS303:MPEG−4SLストリーム処理部203は、複数のMuxパケットを多重化して一つのMPEG−4SLストリームを生成する。
【0024】
このように、映像処理装置10及びホスト20は、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームから単一のデータストリームであるMPEG−4SLストリームに変換することができる。言い換えれば、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを単一のデータストリームであるMPEG−4SLストリームに多重化することができる。また、映像処理装置10及びホスト20は、一つ又は複数のエレメンタリーストリームを一つのMPEG−4SLストリームに変換することができるので、一つ又は複数のエレメンタリーストリームを一つのエンドポイント(アイソクロナスエンドポイント又はバルクエンドポイント)から出力することも可能になる。
【0025】
次に、図4を参照し、一つのMPEG−4SLストリームをISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームに復元する機能の処理手順を説明する。
【0026】
ステップS401:MPEG−4SLストリーム処理部204は、一つのMPEG−4SLストリームを複数のMuxパケットに分離し、各MuxパケットをMux処理部203に供給する。
【0027】
ステップS402:Mux処理部203は、各MuxパケットからES_ID及びSLパケットを取り出し、ES_IDを用いてSLパケットの属するエレメンタリーストリームを識別する。そして、Mux処理部203は、各SLパケットをSLパケット処理部201−1〜Nの何れか一つに供給する。ES_IDについては、後で説明する(図5参照)。
【0028】
ステップS403:SLパケット処理部201−1〜Nは、MPEG−4SLストリーム処理部202から得られた複数のSLパケットからエレメンタリーストリーム1〜Nを復元する。
【0029】
このように、映像処理装置10及びホスト20は、一つのMPEG−4SLストリームから一つ又は複数のエレメンタリーストリームを復元することができる。また、映像処理装置10及びホスト20は、一つのMPEG−4SLストリームから一つ又は複数のエレメンタリーストリームを復元することができるので、一つ又は複数のエレメンタリーストリームを一つのエンドポイント(アイソクロナスエンドポイント又はバルクエンドポイント)から入力することも可能になる。
【0030】
次に、図5を参照し、上述のMuxパケットの構成を説明する。図5において、MuxHは、Muxパケットのヘッダであり、MuxPは、Muxパケットのペイロードである。MuxHは、ES_ID(Elementary Stream Identifier)などの付属情報を含む。ES_IDは、Muxパケット内のSLパケットの属するエレメンタリーストリームを識別するための識別子であり、ISO/IEC 14496−1:1999で定義されたES_IDと同じものである。SLHは、SLパケットのヘッダであり、SLPは、SLパケットのペイロードである。第1の実施の形態では、一つのSLパケットのみから一つのMuxパケットを生成するようにする。また、第1の実施の形態では、MPEG−4SLストリームを一つのエレメンタリーストリームから生成する場合であっても、ES_IDを省略しないようにする。このように、各MuxパケットにES_IDを含めることにより、複数のエレメンタリーストリームから得られたSLパケットの多重化及び復元が可能になる。
【0031】
次に、図6を参照し、上述のMPEG−4SLストリームをUSB2.0のアイソクロナスINトランザクション(Isochronous IN Transaction)を用いて転送する手順の一例を説明する。アイソクロナスINトランザクションを使用する場合、MPEG−4SLストリームの送信される方向は、映像処理装置10からホスト20に向かう方向である。図6では、USB2.0のハイスピード(High−speed)を使用する形態を説明する。
【0032】
図6において、INトークン(IN token)は、DATA2、DATA1又はDATA0を映像処理装置10からホスト20に送信することを要求するパケットである。DATA2、DATA1及びDATA0は、映像処理装置10からホスト20にアイソクロナス転送されるデータパケットである。SH(ストリームヘッダ)は、マイクロフレーム(125マイクロ秒)ごとに送信されるヘッダであり、ペイロード#1〜#N(Nは2以上の整数)は、1つのMuxパケットから得られたデータである。
【0033】
図6に示す手順をMuxパケットごとに繰り返すことにより、映像処理装置10はホスト20にMPEG−4SLストリームを送信することができる。
【0034】
このように、第1の実施の形態における通信システムによれば、上述のMPEG−4SLストリームをUSB2.0のアイソクロナスINトランザクションを用いて送信することができる。言い換えれば、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームをUSB2.0のアイソクロナス転送を用いて映像処理装置10からホスト20に送信することができる。
【0035】
次に、図7を参照し、上述のMPEG−4SLストリームをUSB2.0のアイソクロナスOUTトランザクション(Isochronous OUT Transaction)を用いて転送する手順の一例を説明する。アイソクロナスOUTトランザクションを使用する場合、MPEG−4SLストリームの送信される方向は、ホスト20から映像処理装置10に向かう方向である。図7では、USB2.0のハイスピード(High−speed)を使用する形態を説明する。
【0036】
図7において、OUTトークン(OUT token)は、MDATA2、DATA2又はDATA1をホスト20から映像処理装置10に送信することを要求するパケットである。MDATA2、DATA2及びDATA1は、ホスト20から映像処理装置10にアイソクロナス転送されるデータパケットである。SH(ストリームヘッダ)は、マイクロフレーム(125マイクロ秒)ごとに送信されるヘッダであり、ペイロード#1〜#N(Nは2以上の整数)は、1つのMuxパケットから得られたデータである。
【0037】
図7に示す手順をMuxパケットごとに繰り返すことにより、ホスト20は映像処理装置10にMPEG−4SLストリームを送信することができる。
【0038】
このように、第1の実施の形態における通信システムによれば、上述のMPEG−4SLストリームをUSB2.0のアイソクロナスOUTトランザクションを用いて送信することができる。言い換えれば、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームをUSB2.0のアイソクロナス転送を用いてホスト20から映像処理装置10に送信することができる。
【0039】
次に、図8を参照し、上述のMPEG−4SLストリームをUSB2.0のバルクINトランザクション(Bulk IN Transaction)を用いて転送する手順の一例を説明する。バルクINトランザクションを使用する場合、MPEG−4SLストリームの送信される方向は、映像処理装置10からホスト20に向かう方向である。図8では、USB2.0のハイスピード(High−speed)を使用する形態を説明する。
【0040】
図8において、INトークン(IN token)は、DATA0又はDATA1を映像処理装置10からホスト20に送信することを要求するパケットである。DATA0及びDATA1は、映像処理装置10からホスト20にバルク転送されるデータパケットである。SH(ストリームヘッダ)は、マイクロフレーム(125マイクロ秒)ごとに送信されるヘッダであり、ペイロード#1〜#N(Nは2以上の整数、N>M)は、1つのMuxパケットから得られたデータである。
【0041】
図8に示す手順をMuxパケットごとに繰り返すことにより、映像処理装置10はホスト20にMPEG−4SLストリームを送信することができる。
【0042】
このように、第1の実施の形態における通信システムによれば、上述のMPEG−4SLストリームをUSB2.0のバルクINトランザクションを用いて送信することができる。言い換えれば、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームをUSB2.0のバルク転送を用いて映像処理装置10からホスト20に送信することができる。
【0043】
次に、図9を参照し、上述のMPEG−4SLストリームをUSB2.0のバルクOUTトランザクション(Bulk OUT Transaction)を用いて転送する手順の一例を説明する。アイソクロナスOUTトランザクションを使用する場合、MPEG−4SLストリームの送信される方向は、ホスト20から映像処理装置10に向かう方向である。図9では、USB2.0のハイスピード(High−speed)を使用する形態を説明する。
【0044】
図9において、OUTトークン(OUT token)は、DATA0及びDATA1をホスト20から映像処理装置10に送信することを要求するパケットである。DATA0及びDATA1は、ホスト20から映像処理装置10にアイソクロナス送信されるデータパケットである。SH(ストリームヘッダ)は、マイクロフレーム(125マイクロ秒)ごとに転送されるヘッダであり、ペイロード#1〜#N(Nは2以上の整数、N>M)は、1つのMuxパケットから得られたデータである。
【0045】
図9に示す手順をMuxパケットごとに繰り返すことにより、ホスト20は映像処理装置10にMPEG−4SLストリームを送信することができる。
【0046】
このように、第1の実施の形態における通信システムによれば、上述のMPEG−4SLストリームをUSB2.0のバルクOUTトランザクションを用いて送信することができる。言い換えれば、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームをUSB2.0のバルク転送を用いてホスト20から映像処理装置10に送信することができる。
【0047】
次に、図10を参照し、上述のストリームヘッダの構成の一例を説明する。ストリームヘッダは、図6〜図9に示すように、1マイクロフレーム(125マイクロ秒)ごとに送信されるヘッダである。映像処理装置10からホスト20にMPEG−4SLストリームを送信する場合、映像処理装置10がストリームヘッダを生成する。また、ホスト20から映像処理装置10にMPEG−4SLストリームを送信する場合、ホスト20がストリームヘッダを生成する。
【0048】
図10において、bHeader Lengthフィールド(1バイト)は、ストリームヘッダのデータ長(2バイト)を示す値を格納するフィールドである。bmHeaderInfoフィールド(可変長であるが、第1の実施の形態では1バイトとする)は、FID(Frame ID)、EOF(End of Frame)、PTS(Presentation Time Stamp)、SCR(Source Clock Reference)、RES(Reserved)、STI(Still Image)、ERR(Error bit)及びEOH(End of Header)フィールドから構成される。なお、bmHeaderInfoフィールド内の各フィールドのデータ長は1ビットである。
【0049】
ストリームヘッダの後に送信されるペイロードが新しいMuxパケットに切り替わるごとにFIDフィールドには0又は1を格納する。また、映像処理装置10又はホスト20は、ストリームヘッダの後に送信されるペイロードがMuxパケットの最後の部分を含んでいる場合、EOFフィールドには1を格納し、それ以外の場合、EOFフィールドには0を格納する。ホスト20及び映像処理装置10は、FIDフィールド及びEOFフィールドの内容を調べることにより、Muxパケットの切り替わりを検出することができる。
【0050】
PTSフィールドはプレゼンテーションタイムスタンプを格納するフィールドであり、SCRフィールドはソースクロックリファレンスを格納するフィールドであるが、第1の実施の形態ではこれらのフィールドを使用しないのでこれらのフィールドには0を格納する。RESフィールドは将来の使用のために予約されているフィールドであるので、RESフィールドには0を格納する。
【0051】
ストリームヘッダの後に送信されるペイロードが静止画を含む場合、STIフィールドには1を格納し、それ以外の場合、STIフィールドには0を格納する。ストリームヘッダの後に送信されるペイロードに何らかのエラーが生じている場合、ERRフィールドには1を格納し、それ以外の場合、ERRフィールドには0を格納する。EOHフィールドには、ストリームヘッダの終わりを示す値(1)を格納する。
【0052】
上述の説明から明らかなように、第1の実施の形態によれば、映像処理装置10は、一つ又は複数のエレメンタリーストリームをUSB2.0のアイソクロナス転送又はバルク転送を用いてホスト20に送信することができる。ホスト20も、一つ又は複数のエレメンタリーストリームをUSB2.0のアイソクロナス転送又はバルク転送を用いて映像処理装置10に送信することができる。
【0053】
また、第1の実施の形態によれば、映像処理装置10は、一つ又は複数のエレメンタリーストリームをUSB2.0のアイソクロナス転送又はバルク転送を用いてホスト20から受信することができる。ホスト20も、一つ又は複数のエレメンタリーストリームをUSB2.0のアイソクロナス転送又はバルク転送を用いて映像処理装置10から受信することができる。
【0054】
また、第1の実施の形態によれば、映像処理装置10は、一つ又は複数のエレメンタリーストリームを単一のデータストリーム(すなわち、MPEG−4SLストリーム)に変換してからホスト20に送信することができるので、映像処理装置10のエンドポイントの数を1つにすることができる。複数のエレメンタリーストリームを別々のエンドポイントから送信する形態ではエンドポイント間の制御が必要になるが、第1の実施の形態ではそのような制御を不要にすることができる。
【0055】
また、第1の実施の形態によれば、映像処理装置10は、ホスト20から送信された単一のデータストリーム(すなわち、MPEG−4SLストリーム)から一つ又は複数のエレメンタリーストリームに復元することができるので、映像処理装置10のエンドポイントの数を1つにすることができる。複数のエレメンタリーストリームを別々のエンドポイントから送信する形態ではエンドポイント間の制御が必要になるが、第1の実施の形態ではそのような制御を不要にすることができる。
【0056】
また、第1の実施の形態によれば、映像処理装置10は、データ形式の異なる複数のエレメンタリーストリームを1本のデータストリームにより転送することもできる。上述のように、ISO/IEC 14496−2:1999に準拠したビジュアルデータのエレメンタリーストリームと、ISO/IEC 14496−3:1999に準拠したオーディオデータのエレメンタリーストリームとを1本のデータストリームにより転送することも可能である。さらに、これらのエレメンタリーストリームにISO/IEC 14496−1:1999に準拠したシーンディスクリプション(scene description)のエレメンタリーストリームを加えることも可能である。
【0057】
次に、図11を参照し、第1の実施の形態に用いられるMPEG−4SLストリームフォーマットディスクリプタ(MPEG−4 SL Stream Format Descriptor)の構成の一例を説明する。
【0058】
図11において、bNumPacketsフィールドには、MPEG−4 SL Stream Format Descriptorで送付されるパケットの数がセットされる。この数は、後続の配列データの要素数として用いられる。bPacketLengthフィールドは、直後のbPacketフィールドにセットされるパケット・データのバイト長を示す。bPacketフィールドには、転送すべきストリームのMPEG4_Muxパケットがセットされる。bPacketLength及びbPacketフィールドの組は、配列の要素として用いられる。複数個のパケットを送付する場合は、各パケットのデータが記述されたbPacketLength及びbPacketフィールドの組を連続して記述する。
【0059】
なお、bPacketLength及びbPacketフィールドはオプションである。ディスクリプタで送付すべきパケットがない場合には、bNumPacketsフィールドに0をセットし、後続のフィールドを省略することができる。第1の実施の形態のMPEG−4 SL Stream Format Descriptor には、確実に転送すべきストリームのパケットをセットするための配列状のデータ構造が定義される。
【0060】
第1の実施の形態のMPEG−4 SL Stream Format Descriptorにセットされるパケットの配列データは、初期化時あるいは初期化後の任意のタイミングでホスト20に送信すればよい。
【0061】
前述したように、ストリームヘッダには、Errorビット(ERRフィールド)が定義されている。映像処理装置10で何らかのエラーが発生した場合(例えば、エレメンタリーストリームの一つのデータフォーマットが変わった場合)、ERRフィールドの値を1にセットする。上記のように、フォーマットが変化した場合、映像処理装置10は、デジタルインターフェース部204から出力されるペイロードの転送を停止し、ストリームヘッダのみを送信する。一方、ホスト20は、ERRフィールドの内容に基づいてstream error code controlコマンドを発行すれば、エラーの内容を知ることができる。図12にstream error code controlコマンドのデータ構造を示す。
【0062】
stream error code controlは、ビデオ、又は、静止画の転送時にストリームエラーが発生したことを示す。このような場合、デバイスである第1の実施の形態の映像処理装置10は、エラーの発生を報告するために、このコントロールを適切なコードに更新する。第1の実施の形態では、ホスト20は、次に示すイベントの一つが発生したとき、そのエラーを特定するために、このコントロールのGET_CUR requestを送信しなくてはならないようになっている。
(1)ストリームヘッダのError bit がデバイスによって1にセットされた場合。
(2)デバイスが、ソースがStream Error Code Control である、”Stream Error” interrupt信号を発行した場合。
(3)トランザクションのデータステージ、又は、ハンドシェイクステージで、バルクビデオエンドポイントがストールパケットをホスト20に送信した場合。
【0063】
MPEG−4 Systemsデータは、ディスクリプタを用いずにUSBパイプ上でストリームとして転送されてもよい。通常、MPEG−4 Systemsデータをストリームとして転送する場合、基本的にはバルク転送のような信頼性の高い方法で転送される。また、アイソクロナス通信を用いて、MPEG−4 Systemsデータをストリームとして転送しても良い。第1の実施の形態では、アイソクロナス転送で伝送エラーが発生した場合にどのようにリカバリ処理を行うかについては説明しないが、MPEG−4 Systemsデータを定期的に再送するなどのリカバリ処理は、必要に応じて行っても良い。
【0064】
第1の実施の形態では、例えば、MPEG−4 SL Stream Format Descriptorは、MPEG−4 SLデータ・ストリームの特性情報が使用される。映像処理装置10においては、USB IN及びOUTエンドポイントに対応するターミナル及びそれが属するインターフェースは、ひとつ以上のフォーマットに対応するFormat Descriptorをサポートしている。フォーマットを選択するには、ホスト・ソフトウェアは該当するインターフェースにコントロール・リクエストを送付する。MPEG−4 SL Payloadにおいては、付随するFrame Descriptorは定義されなくてもよい。
【0065】
MPEG−4 Systemsでは、原則的に、初期ストリーム構成を示すイニシャル・オブジェクト・ディスクリプタを最初に伝送する必要がある。そのため、ストリームの送信側は、初期化時にMPEG−4 SL Stream Format DescriptorのbInitialObjectDescriptorフィールドにイニシャル・オブジェクト・ディスクリプタをセットして送付する。第1の実施の形態においては、イニシャル・オブジェクト・ディスクリプタにセットされるデータの内容は、ISO/IEC 14496−1:1999の仕様に従う限りは任意であるが、通常下記のデータがセットされる。
・profile_and_level_indication
・ES_Descriptor
・DecoderConfigDescriptor
・DecoderSpecificInfo(データの内容はストリームの符号化形式によって異なる。MPEG−4 Visualの場合は、Visual Object Sequenceデータがセットされる)
・SLConfigDescriptor(SLパケットヘッダのレイアウト解釈のために使用される)
【0066】
通常、イニシャル・オブジェクト・ディスクリプタは、MPEG−4 SL Payload Formatが選択された際の初期化処理時に一度のみ送付し、2回以上は送付されないようになっている。もし、初期化完了後に再度イニシャル・オブジェクト・ディスクリプタが送付されるような場合は、受信側では再送されたイニシャル・オブジェクト・ディスクリプタの内容にしたがって再度初期化処理を行なう。上述のISO/IEC 14496−1:1999において定義されているOD、BIFS等のようなMPEG−4 Systemsストリームは、一般的には、伝送エラーによるデータ喪失が発生しないような方法で伝送される。第1の実施の形態では、そのようなデータストリームは、MPEG−4 SL Stream Format Descriptorにセットすることで、確実に転送することが可能になる。
【0067】
なお、第1の実施の形態では、bInitialObjectDescriptorフィールドはオプションであり、省略することも可能である。この場合、映像処理装置10は、イニシャル・オブジェクト・ディスクリプタを用いずにデフォルトの属性でストリームの初期化を行うようにことが可能である。
【0068】
[第2の実施の形態]
第1の実施の形態では、図6〜図9を参照し、USB2.0のハイスピード(High−speed)を使用して上述のMPEG−4SLストリームを送受信する形態を説明したが、本発明はこのような形態に限定されるものではない。第1の実施の形態は、USB2.0のフルスピード(full−speed)を使用して上述のMPEG−4SLストリームを送受信する形態する形態に変更することも可能である。この場合、上述のストリームヘッダは、例えば、USBフレーム(1ms)ごとに送信される。また、将来、ハイスピード(High−speed)よりも高速な転送タイプが規定された場合にはそれを使用して上述のMPEG−4SLストリームを送受信する形態に変更することも可能である。
【0069】
[第3の実施の形態]
本発明は、現状のUSB2.0を使用する形態に限定されるものではない。本発明は、例えば、USB2.0を拡張した規格に準拠した通信システムを使用する形態、USB2.0と同等の機能を規定した規格に準拠した通信システムを使用する形態などにも適用可能である。
【0070】
[第4の実施の形態]
本発明は、現状のISO/IEC 14496−1:1999に準拠したエレメンタリーストリームを使用する形態に限定されるものではない。本発明は、例えば、ISO/IEC 14496−1:1999を拡張した規格に準拠したエレメンタリーストリームを使用する形態、ISO/IEC 14496−1:1999と同等の機能を規定した規格に準拠したエレメンタリーストリームを使用する形態などにも適用可能である。
【0071】
[他の実施の形態]
本発明は、上述の実施の形態においてのみ実現可能なものではなく、他の形態においても実現可能である。本発明は、例えば、コンピュータによって実行可能なプログラムにおいても実現可能であり、その場合、該プログラム自体が本発明を構成することとなる。プログラムを供給するための記憶媒体としては、ROM、フロッピー(R)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカードなどを用いることができる。
【0072】
【発明の効果】
本発明によれば、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームをUSB2.0のアイソクロナス転送又はバルク転送を用いて他の装置(ホストなど)に送信することができる。
【0073】
また、本発明によれば、ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームをUSB2.0のアイソクロナス転送又はバルク転送を用いて他の装置(ホストなど)から受信することができる。
【図面の簡単な説明】
【図1】第1の実施の形態における通信システムの主要な構成要素を示す図である。
【図2】映像処理装置10及びホスト20が備える構成要素を示す図である。
【図3】ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームをMPEG−4SLストリームに変換する手順を説明する図である。
【図4】MPEG−4SLストリームをISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームに復元する手順を説明する図である。
【図5】Muxパケットの構成を説明する図である。
【図6】USB2.0のアイソクロナスINトランザクション(Isochronous IN Transaction)を用いてMPEG−4SLストリームを転送する手順の一例を示す図である。
【図7】USB2.0のアイソクロナスOUTトランザクション(Isochronous OUT Transaction)を用いてMPEG−4SLストリームを転送する手順の一例を示す図である。
【図8】USB2.0のバルクINトランザクション(Bulk IN Transaction)を用いてMPEG−4SLストリームを転送する手順の一例を示す図である。
【図9】USB2.0のバルクOUTトランザクション(Bulk OUT Transaction)を用いてMPEG−4SLストリームを転送する手順の一例を示す図である。
【図10】ストリームヘッダの構成を説明する図である。
【図11】MPEG−4SLストリームフォーマットディスクリプタの構成の一例を示す図である。
【図12】stream error code controlコマンドのデータ構造を説明する図である。
【符号の説明】
10 映像処理装置
20 ホスト
201 SLパケット処理部
202 Muxパケット処理部
203 MPEG−4SLストリーム処理部
204 デジタルインターフェース部
Claims (8)
- ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを一つのデータストリームに変換する変換手段と、
USB2.0のアイソクロナス転送を用いて前記データストリームを他の装置に送信する送信手段とを有することを特徴とする映像処理装置。 - ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを一つのデータストリームに変換し、
USB2.0のアイソクロナス転送を用いて前記データストリームを他の装置に送信することを特徴とする映像処理装置の通信方法。 - ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを一つのデータストリームに変換する変換手段と、
USB2.0のバルク転送を用いて前記データストリームを他の装置に送信する送信手段とを有することを特徴とする映像処理装置。 - ISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを一つのデータストリームに変換し、
USB2.0のバルク転送を用いて前記データストリームを他の装置に送信することを特徴とする映像処理装置の通信方法。 - 他の装置からUSB2.0のアイソクロナス転送を用いて送信された一つのデータストリームを受信する受信手段と、
前記データストリームからISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを復元する復元手段とを有することを特徴とする映像処理装置。 - 他の装置からUSB2.0のアイソクロナス転送を用いて送信された一つのデータストリームを受信し、
前記データストリームからISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを復元することを特徴とする映像処理装置の通信方法。 - 他の装置からUSB2.0のバルク転送を用いて送信された一つのデータストリームを受信する受信手段と、
前記データストリームからISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを復元する復元手段とを有することを特徴とする映像処理装置。 - 他の装置からUSB2.0のバルク転送を用いて送信された一つのデータストリームを受信し、
前記データストリームからISO/IEC 14496−1:1999に準拠した一つ又は複数のエレメンタリーストリームを復元することを特徴とする映像処理装置の通信方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003144189A JP4845335B2 (ja) | 2003-05-21 | 2003-05-21 | データストリーム送信装置及びデータストリーム受信装置 |
PCT/JP2004/007128 WO2004105397A1 (en) | 2003-05-21 | 2004-05-19 | Video processing apparatus and communication method of video processing apparatus |
US10/891,106 US8578440B2 (en) | 2003-05-21 | 2004-07-15 | Video processing apparatus and method of controlling video processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003144189A JP4845335B2 (ja) | 2003-05-21 | 2003-05-21 | データストリーム送信装置及びデータストリーム受信装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004349986A true JP2004349986A (ja) | 2004-12-09 |
JP2004349986A5 JP2004349986A5 (ja) | 2006-07-06 |
JP4845335B2 JP4845335B2 (ja) | 2011-12-28 |
Family
ID=33475195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003144189A Expired - Fee Related JP4845335B2 (ja) | 2003-05-21 | 2003-05-21 | データストリーム送信装置及びデータストリーム受信装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8578440B2 (ja) |
JP (1) | JP4845335B2 (ja) |
WO (1) | WO2004105397A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060253639A1 (en) * | 2005-05-05 | 2006-11-09 | Aten International Co., Ltd. | Control system for controlling a plurality of target computers through portable computer |
TWI366101B (en) * | 2007-12-31 | 2012-06-11 | High Tech Comp Corp | Method for transmitting audio streams and audio stream transmitting system thereof |
US20100011055A1 (en) * | 2008-07-09 | 2010-01-14 | Chih-Hua Lin | Remote desktop control system using usb cable and method thereof |
US8984157B2 (en) * | 2012-07-18 | 2015-03-17 | International Business Machines Corporation | Network analysis in a file transfer system |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4846794A (en) * | 1987-08-13 | 1989-07-11 | The Cleveland Clinic Foundation | Coiled tubing for intravenous and intra-arterial applications |
US5571135A (en) * | 1993-10-22 | 1996-11-05 | Scimed Life Systems Inc. | Stent delivery apparatus and method |
KR0137701B1 (ko) * | 1994-12-13 | 1998-05-15 | 양승택 | 엠피이지-2(mpeg-2) 시스템의 피이에스(pes) 패킷화 장치 |
US6801575B1 (en) * | 1997-06-09 | 2004-10-05 | Sharp Laboratories Of America, Inc. | Audio/video system with auxiliary data |
US6503271B2 (en) * | 1998-01-09 | 2003-01-07 | Cordis Corporation | Intravascular device with improved radiopacity |
US6351471B1 (en) * | 1998-01-14 | 2002-02-26 | Skystream Networks Inc. | Brandwidth optimization of video program bearing transport streams |
US7809138B2 (en) * | 1999-03-16 | 2010-10-05 | Intertrust Technologies Corporation | Methods and apparatus for persistent control and protection of content |
US6520983B1 (en) * | 1998-03-31 | 2003-02-18 | Scimed Life Systems, Inc. | Stent delivery system |
US6535919B1 (en) * | 1998-06-29 | 2003-03-18 | Canon Kabushiki Kaisha | Verification of image data |
US6245012B1 (en) * | 1999-03-19 | 2001-06-12 | Nmt Medical, Inc. | Free standing filter |
US6934906B1 (en) * | 1999-07-08 | 2005-08-23 | At&T Corp. | Methods and apparatus for integrating external applications into an MPEG-4 scene |
US6939361B1 (en) * | 1999-09-22 | 2005-09-06 | Nmt Medical, Inc. | Guidewire for a free standing intervascular device having an integral stop mechanism |
US6383171B1 (en) * | 1999-10-12 | 2002-05-07 | Allan Will | Methods and devices for protecting a passageway in a body when advancing devices through the passageway |
US6443979B1 (en) * | 1999-12-20 | 2002-09-03 | Advanced Cardiovascular Systems, Inc. | Expandable stent delivery sheath and method of use |
JP2001204032A (ja) * | 2000-01-20 | 2001-07-27 | Nec Corp | Mpeg復号装置 |
US20010047441A1 (en) * | 2000-02-23 | 2001-11-29 | Mark Robertson | Communications system conduit for transferring data |
US7231043B2 (en) * | 2000-06-20 | 2007-06-12 | Canon Kabushiki Kaisha | Data processing apparatus and method, and computer-readable storage medium on which program for executing data processing is stored |
US7204847B1 (en) * | 2000-07-28 | 2007-04-17 | C. R. Bard, Inc. | Implant anchor systems |
US6855154B2 (en) * | 2000-08-11 | 2005-02-15 | University Of Louisville Research Foundation, Inc. | Endovascular aneurysm treatment device and method |
KR100392384B1 (ko) * | 2001-01-13 | 2003-07-22 | 한국전자통신연구원 | 엠펙-2 데이터에 엠펙-4 데이터를 동기화시켜 전송하는장치 및 그 방법 |
US6936059B2 (en) * | 2001-01-16 | 2005-08-30 | Scimed Life Systems, Inc. | Endovascular guidewire filter and methods of use |
WO2002069643A1 (en) * | 2001-02-27 | 2002-09-06 | Koninklijke Philips Electronics N.V. | Method and device for encoding mpeg-4 video data |
EP1383321A4 (en) | 2001-03-29 | 2009-08-05 | Panasonic Corp | AV DATA RECORDING / REPLAYING DEVICE AND METHOD AND RECORDING MEDIUM ON THE DATA BY THE AV DATA RECORDING / REPROCESSING APPARATUS OR APPARATUS. THE PROCEDURE WILL BE RECORDED |
JP2002365350A (ja) * | 2001-06-06 | 2002-12-18 | Fuji Electric Co Ltd | 磁気検出装置 |
US20040022202A1 (en) * | 2002-08-05 | 2004-02-05 | Chih-Lung Yang | Method and apparatus for continuously receiving images from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual images containing information concerning each of said video channels |
EP1280362A3 (en) * | 2001-07-27 | 2004-05-12 | Matsushita Electric Industrial Co., Ltd. | Digital video recording/reproduction apparatus and program therefor |
JP4604422B2 (ja) * | 2001-07-31 | 2011-01-05 | ソニー株式会社 | 通信システム、通信装置及び通信方法 |
US7100187B2 (en) * | 2001-09-06 | 2006-08-29 | Airia Ltd. | Method and system for providing an audio/video in-route entertainment system |
US7037307B2 (en) * | 2001-12-07 | 2006-05-02 | Dennis William G | Automatically deforming surgical snare |
US20070074269A1 (en) * | 2002-02-22 | 2007-03-29 | Hai Hua | Video processing device, video recorder/playback module, and methods for use therewith |
JP2003281071A (ja) * | 2002-03-20 | 2003-10-03 | Seiko Epson Corp | データ転送制御装置、電子機器及びデータ転送制御方法 |
AU2003231886A1 (en) * | 2002-05-13 | 2003-11-11 | Salviac Limited | Retrieval catheter for an embolic filter |
US7166120B2 (en) * | 2002-07-12 | 2007-01-23 | Ev3 Inc. | Catheter with occluding cuff |
US7666216B2 (en) * | 2002-12-24 | 2010-02-23 | Novostent Corporation | Delivery catheter for ribbon-type prosthesis and methods of use |
US7604649B2 (en) * | 2003-04-29 | 2009-10-20 | Rex Medical, L.P. | Distal protection device |
-
2003
- 2003-05-21 JP JP2003144189A patent/JP4845335B2/ja not_active Expired - Fee Related
-
2004
- 2004-05-19 WO PCT/JP2004/007128 patent/WO2004105397A1/en active Application Filing
- 2004-07-15 US US10/891,106 patent/US8578440B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP4845335B2 (ja) | 2011-12-28 |
WO2004105397A1 (en) | 2004-12-02 |
US20040261133A1 (en) | 2004-12-23 |
US8578440B2 (en) | 2013-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8259761B2 (en) | Method and system for managing multimedia traffic over ethernet | |
KR101159335B1 (ko) | 대역 내 제어 정보를 전송하기 위한 전략 | |
JP4042745B2 (ja) | コンテンツ受信器 | |
US8917606B2 (en) | Method of flow control for data transported using isochronous packets over an IEEE 1394-2000 serial bus network | |
US20040260823A1 (en) | Simultaneously transporting multiple MPEG-2 transport streams | |
JP5252292B2 (ja) | インタフェース装置及び電子装置 | |
CN101174254B (zh) | 数字摄像机 | |
US7711877B2 (en) | Image sensing device | |
JP4181688B2 (ja) | データ通信システム及びデータ通信装置 | |
JP4845335B2 (ja) | データストリーム送信装置及びデータストリーム受信装置 | |
KR19990072864A (ko) | 데이터통신시스템,데이터통신방법,데이터통신장치및디지털인터페이스 | |
JP2007502585A (ja) | データ技術領域を送信する装置、システムおよび方法 | |
US7154910B2 (en) | Method for any speed dubbing using isochronous packets on isochronous channels or on asynchronous streams over an IEEE 1394-2000 serial bus network | |
EP2942725A1 (en) | Common interface host and common interface conditional access module | |
JP3837857B2 (ja) | 信号処理回路 | |
JP3814407B2 (ja) | データ通信システム、データ通信装置及びデータ通信方法 | |
JP3547641B2 (ja) | 送信装置、受信装置及びプログラム記録媒体 | |
US20150180777A1 (en) | Data processing apparatus and method | |
JP3943698B2 (ja) | データ通信システム及びデータ通信装置 | |
JP3647366B2 (ja) | データ処理装置、データ処理方法及びコンピュータ読み取り可能な記録媒体 | |
KR100636107B1 (ko) | 실시간 데이터 처리 장치 및 방법 | |
JP4821838B2 (ja) | フォーマット変換装置、フォーマット変換方法、フォーマット変換プログラム、フォーマット変換システム | |
JP2003198658A (ja) | モデムのフロント‐エンド装置および方法 | |
JP2002064511A (ja) | データ通信システム、電子機器及びそれらの制御方法 | |
JPH11261608A (ja) | データ通信システム、データ通信装置、データ通信方法及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060517 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090629 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090825 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111011 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |