JP2002101387A - 再生装置、再生方法、画像処理装置、画像処理方法及び記憶媒体 - Google Patents

再生装置、再生方法、画像処理装置、画像処理方法及び記憶媒体

Info

Publication number
JP2002101387A
JP2002101387A JP2000290407A JP2000290407A JP2002101387A JP 2002101387 A JP2002101387 A JP 2002101387A JP 2000290407 A JP2000290407 A JP 2000290407A JP 2000290407 A JP2000290407 A JP 2000290407A JP 2002101387 A JP2002101387 A JP 2002101387A
Authority
JP
Japan
Prior art keywords
data
digital
moving image
program data
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000290407A
Other languages
English (en)
Other versions
JP4681723B2 (ja
Inventor
Shinji Onishi
慎二 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000290407A priority Critical patent/JP4681723B2/ja
Priority to US09/957,226 priority patent/US20020048447A1/en
Publication of JP2002101387A publication Critical patent/JP2002101387A/ja
Application granted granted Critical
Publication of JP4681723B2 publication Critical patent/JP4681723B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4135Peripherals receiving signals from specially adapted client devices external recorder
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Transfer Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Small-Scale Networks (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

(57)【要約】 【課題】 プログラム情報に従う再生手順にて装置外部
に出力したデータを正確に再生する。 【解決手段】 再生装置は、デジタル動画像データと前
記デジタル動画像データの再生手順を示すプログラムデ
ータとを記録媒体から再生する再生手段と、前記再生手
段により再生されたデジタル動画像データと前記プログ
ラムデータとを装置外部に出力するデジタルインターフ
ェイス手段とを備える構成とした。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は再生装置、再生方
法、画像処理装置、画像処理方法及び記憶媒体に関し、
特には、再生データの出力制御に関する。
【0002】
【従来の技術】従来、画像データや音声データを圧縮符
号化するための種々の技術が考えられている。これらの
圧縮符号化方式のうち、現在、MPEG2方式がDVD
ビデオ等で用いられ、注目されている。特に、MPEG
2におけるトランスポートストリーム(以下、MPEG
2−TS)はストリーム全体がパケットと呼ばれる固定
長のデータ列に分割されており、ネットワークなどを用
いたデータ転送に向いているため、デジタルTV放送で
用いられている。
【0003】また、MPEG2−TSは複数の動画像や
音声のストリームを多重化しているため、近年ではMP
EG2−TSを磁気テープやハードディスク、光磁気デ
ィスク等に記録する技術も提案されている。
【0004】また、音声、画像等のマルチメディアデー
タを再生するシステムにおいて、再生順序や複数のデー
タの同期を規定するための手法として、SMIL(Sync
hronized Multimedia Integration Language)という同
期マルチメディア統合言語がW3C勧告として公開され
ている。これはXML(Extensible Markup Language)
に基づくもので、URI(Uniform Resource Identifie
rs)を用いて目的のファイルを指定することでファイル
の同期再生を行う機能を提供している。
【0005】一方、近年のデジタルAV機器にはデジタ
ルI/Fが搭載される場合が多く、PC等のデジタル機
器に対して、音声データ、動画データはこのデジタルI
/F経由で出力される。
【0006】AV機器に使用されているデジタルI/F
の代表的なものにIEEE1394がある。IEEE1
394ではデータの転送方法として、Asynchronous転送
とIsochronous転送の2つの方法がある。Isochronous転
送では送信チャンネルを指定して転送を行うブロードキ
ャスト転送であり、前記音声データ、動画データなどの
時間依存性のあるリアルタイムデータはIsochronous転
送を用いて転送することによって、等時性を保証したデ
ータ伝送を行うことが出来る。またAsynchronous転送は
基本的に一対一のノード指定型の非同期転送でテキスト
ファイルなどの時間依存性のないデータの転送に適して
おり、確実に転送先にデータを送ることが出来る転送方
法である。
【0007】IEEE1394を使用したMPEG2方
式のデータの伝送規格として、"IEC61883-4:Consumer a
udio/video equipment-Digital interface-Part 4:MPEG
2-TS data transmission"が定められている。これは、
MPEG2−TSを伝送する手法であり、複数の動画デ
ータを一つのチャンネルで伝送することができる。
【0008】図5を用いてMPEG2のデータをIEE
E1394のIsochronous転送を用いて送信するための
パケット構成を説明する。
【0009】図5(A)に示すパケットはSource Packe
tと呼ばれるデータである。MPEG2の動画データは
可変長のデータであるが、そのデータ列を188バイト
毎に区切る。この188バイトのデータはTransport St
ream Packetと呼ばれ、このデータの先頭に4バイトのS
ource Packet Headerを付加した192バイトのデータ
がSource Packetとなる。このSource Packetを8等分し
た各データはData Blockと呼ばれる。
【0010】図5(B)に示すパケットはIsochronous
Packetであり、先頭にデータの属性を示すCommon Isoch
ronous Packet Headerを持ち、続いてMPEG2のデー
タがPayloadとしてセットされる。このPayloadは可変長
であり、0,1,2,4のいずれかの個数のData Block
または、整数個のSource Packetをセットすることがで
きる。
【0011】
【発明が解決しようとする課題】前述のSMILの如き
再生プログラム情報を用いることで、複数のMPEG2
の音声・動画データを同時に再生することが可能とな
る。
【0012】しかし、これらプログラム情報に従い再生
した複数の音声・動画データをデジタルI/F経由で出
力する際、受信側ではどの受信データのどのデータが前
記プログラム情報にて指定されたデータなのかを識別す
る手段がなかった。
【0013】そのため、プログラム情報にて再生された
音声・動画データをデジタルI/F経由でPC等の外部
機器に出力し、再現することができなかった。
【0014】本発明は、以上の点を考慮してなされたも
ので、プログラム情報に従って再生されたデータを装置
外部に出力した場合でも、正確にこれを再現可能とする
ことを目的とする。
【0015】
【課題を解決するための手段】前記の如き目的を達成す
るため、本発明は、デジタル動画像データと前記デジタ
ル動画像データの再生手順を示すプログラムデータとを
記録媒体から再生する再生手段と、前記再生手段により
再生されたデジタル動画像データと前記プログラムデー
タとを装置外部に出力するデジタルインターフェイス手
段とを備える構成とした。
【0016】
【発明の実施の形態】以下、本発明の実施形態について
説明する。
【0017】図1は本発明が適用される再生システムの
構成を示すブロック図である。本形態の再生システム
は、MPEG2−TSの形式で符号化され、光磁気ディ
スクに記録された動画・音声データを再生するものであ
る。また、本形態では、動画・音声データと共に、これ
らのデータの再生手順を制御するための前述の如きプロ
グラム情報も記録されている。
【0018】図1のシステムは、再生装置100とPC
200とから構成され、PC200は再生装置100に
より再生され、出力されるプログラム情報に従う再生動
作の制御機能を持つものである。
【0019】まず、再生装置100の通常の再生動作に
ついて説明する。
【0020】再生回路103は周知の光ピックアップを
備え、ディスク101に記録されている動画・音声デー
タを再生し、バッファメモリ105に出力する。バッフ
ァメモリ105は再生データをデコーダ107.デジタ
ルI/F(以下DIF)111に出力する。デコーダ1
07は再生されたデータをデコードし、出力回路109
に出力する。出力回路109はデコーダ107からの再
生データをアナログ信号に変換し、モニタ等の外部機器
に出力する。
【0021】本形態の再生装置100は、MPEG2−
TS形式で符号化された動画・音声データを再生し、ま
た、ディスク101上には複数の動画・音声データがフ
ァイル形式で記録されている。また、ディスク101に
はプログラム情報も記録されており、再生装置100は
このプログラム情報に従う再生を行うことができる。
【0022】即ち、プログラム情報に従う再生を行う場
合、システム制御回路113は再生回路103を制御し
てディスク101からプログラム情報を再生し、バッフ
ァメモリを介して内蔵するメモリに格納する。
【0023】そして、このプログラム情報に従う手順、
タイミングでディスク101に記録されている動画・音
声データを再生するよう再生回路103を制御する。
【0024】プログラム情報の例を図4に示す。
【0025】本形態では、ディスク101上にvideo1,v
ideo2,video3,video4,video5,video6の6つのMPEG
2動画ファイルが記録されているものとし、これらのフ
ァイルを同期再生するためのプログラム情報をSMIL
を用いて指定した例を図4に示す。
【0026】"<layout>"と"</layout>"に囲まれた部分
では動画データを表示するための領域設定を行ってお
り、画面内に2つの領域を設定している。これらの領域
は以下の再生指定のパートでregionパラメータで"left"
または"right"として指定される。
【0027】"<par>"と"</par>"に囲まれた部分は同時
に並行して再生されることを示し、"<seq>"と"</seq>"
に囲まれた部分は順番に再生されることを示している。
はじめに、最初の"<par>"と"</par>"で囲まれた部分が
同時に再生され、その再生が終了すると2番目の"<par
>"と"</par>"で囲まれた部分が再生され、最後に3番目
の"<par>"と"</par>"で囲まれた部分が再生されてプロ
グラムは終了する。
【0028】最初の"<par>"と"</par>"で囲まれた部分
では"video1"と"video2"が選択されており、"video1"
は"left"の領域にファイルの先頭から1分後の位置から
再生表示を開始するように指定されている。"video2"
は"right"の領域にファイルの先頭から4分後の位置か
ら再生表示を開始するように指定されている。両ファイ
ルはそれぞれ指定された位置から同時に再生を開始
し、"dur"パラメータで指定された再生時間(この場合
は3分間)分のデータを再生して同期再生を終了する。
【0029】2番目と3番目の"<par>"と"</par>"で囲
まれた部分も同様に指定されたファイルの同期再生を行
う。ファイル指定時に"begin"パラメータが指定されて
いない場合は指定ファイルの先頭から再生を行う。
【0030】このように図4のようなプログラム情報を
指定することによって、記録媒体上に保持されている動
画、音声等のデータを変更することなく、容易に編集作
業を行うことができる。
【0031】次に、通常の再生動作により再生されたデ
ータをDIF111を介して出力する際のPC200の
動作について説明する。なお、本形態では、DIF11
1,201はIEEE1394規格に従いデータの送受
信を行う。
【0032】まず、通常再生動作にて指定された動画・
音声ファイルを再生する場合、DIFは再生データをD
IFにて出力するために必要なIsochronousチャネルの
確保を行う。その後、Isochronous転送により再生され
たデータを図5(B)に示した形式でDIF111から
DIF201に出力する。
【0033】DIF201はDIF111から出力され
たデータからCIPヘッダ部分を取り除き、MPEG2
データのみをバッファメモリ203に出力する。バッフ
ァメモリ203は受信されたMPEG2データをデコー
ダ205に出力する。デコーダ205はバッファメモリ
103から出力されたMPEG2データをデコードし、
表示部207に出力する。
【0034】次に、プログラム情報に従って再生された
動画・音声データをDIF111を介してPC200に
転送し、PC200においてプログラム情報に従う再生
を行う場合について説明する。
【0035】まず、システム制御回路113は再生回路
103を制御してディスク101から図4に示したよう
なプログラム情報を再生し、内蔵メモリに格納する。そ
して、システム制御回路113はプログラム情報の内容
を確認し、同時に転送すべき動画・音声データ数を検出
する。
【0036】この検出結果に従い、システム制御回路1
13は再生されたプログラム情報を図1の如く書き替え
る。図1では、各動画データの指定部分に、"position"
エレメントが付加されている。この"position"エレメン
トは後述するように、伝送される1つのIsochronous Pa
cket中に含まれる複数のSource Packetのうち、該当す
る位置を示している。即ち、図1に示すように、video1,
video3,video5は伝送されるIsochronous Packet中の1
番目のSource Packetであることを示し、video2,video
4,video6は2番目のSource Packetであることを示して
いる。
【0037】そして、通常再生時と同様、DIF111
を制御し、DIFにてデータを送信するのに必要なIsoc
hronousチャネルを確保する。チャネルを確保した後、
システム制御回路113はDIF111によりプログラ
ム情報を送信する。この際、必要に応じて送信側DIF
111と受信側DIF201の間でプログラム情報を転
送するための手続きを行った後、Asynchronous転送を用
いてプログラム情報を転送する。
【0038】PC200では、DIF201より受信し
たプログラム情報はバッファメモリ203に記憶され
る。制御回路211はバッファメモリ203にプログラ
ム情報が書き込まれたことを検出すると、そのプログラ
ム情報をメモリ209に格納する。そして、このプログ
ラム情報の内容を解析し、その旨をDIF201を解し
て再生装置100のDIF111に出力する。
【0039】システム制御回路113は図1のプログラ
ム情報を送信した後、PC200がプログラム情報の解
析を終了したことを示す通知がDIF201から送信さ
れたのを待った後、図2に示すプログラム情報に基づい
てデータの再生及び送信を開始する。
【0040】本形態では同時に2つの動画データ(動画
ファイル)の再生を行っており、システム制御回路11
3はDIF111を制御し、これら2種類のファイルに
対して、それぞれSource Packetを作成して1つのIsoch
ronous Packetに前記プログラム情報に基づいた順序で
セットした後データを送信する。図6に図1に基づいて
video1,video2のデータを送信する場合のIsochronous P
acketの構成を示す。先頭にCommon Isochronous Packet
Headerを持ち、それに続いてvideo1のSourcePacket,vi
deo2のSource Packetがセットされる。
【0041】次に、PC200側のDIF201は、先
に受信したプログラム情報に基づいて、受信したIsochr
onous PacketからSource Packetを抽出し、バッファメ
モリ203に出力する。
【0042】制御回路211はバッファメモリ203に
記憶されたデータの内容を検出し、メモリ209に記憶
されたプログラム情報に記述された再生手順にて必要な
データを選択してデコーダ205に出力する。具体的に
は、video 1,video 3,video5のデータが図6に示す前半
のSource Packetとして伝送され、video 2,video 4,vid
eo 6のデータが後半のSource Packetとして伝送される
ので、制御回路211はこれらを検出し、デコーダ20
5に出力する。
【0043】本形態では、再生装置100において、す
でにプログラム情報に従う手順でデータが再生される。
そのため、制御回路211はプログラム情報における"b
egin"エレメントは無視して再生を行う。
【0044】また、"dur"エレメントにて規定される再
生時間を計測し、同一チャネルで連続して送信されてく
るデータの境界を判定する。
【0045】即ち、本形態では、"position 1"としてvi
deo 1,video 3,video 5のデータが連続して転送される
ため、各データの区切りを判別して再生動作を制御する
必要がある。本形態では、video 1,video 3,video 5の
各データの再生時間はそれぞれ3分、2分、2分であ
る。制御回路211は再生装置100よりプログラム情
報による再生データの受信を検出した時点からタイマー
を起動して受信データの時間を計測し、プログラム情報
に記載された時間に従って、受信データの区切りを検出
する。例えば、データの受信を開始して3分経過した時
点で次のvideo 3のデータに切り替わったと判別する。
【0046】デコーダ205は制御回路211により制
御され、バッファメモリ203からの出力データをデコ
ードし、表示部207に出力する。
【0047】このように、本形態によれば、プログラム
情報に従って複数の動画・音声ファイルデータを再生
し、デジタルI/Fを介して転送する際、予めプログラ
ム情報をPC側に転送することで、受信側にて転送され
るデータを検出することができる。
【0048】また、転送する際、1つのIsochronousパ
ケット内に複数のファイルのSourcePacketを多重して転
送しているため、プログラム情報にて複数のファイルを
同時に再生する場合でもこれをデジタルI/Fを介して
転送することができる。
【0049】そのため、デジタルI/Fを介してプログ
ラム情報に従う動画・音声ファイルを転送し、外部機器
にてプログラム情報に従う再生を実現することが可能と
なる。
【0050】なお、本実施形態では、デジタルI/Fに
てプログラム情報を転送する際、図1の如くプログラム
情報を書き替えて転送していたが、図1以外にも、例え
ば、図3に示すように、"<layout>"と"</layout>"に囲
まれた表示領域設定の部分で、表示領域と位置情報を対
応させることも可能である。
【0051】図3のプログラム情報では、その表示領域
ごとにSource Packetの位置を規定している。PC20
0側では、このプログラム情報に従い、1つのIsochron
ousPacket内のSource Packetを検出し、デコードする。
【0052】次に、本発明の第2の実施形態について説
明する。図7は本発明の第2の実施形態としての再生シ
ステムの構成を示す図である。
【0053】図7において、図1と同様の構成について
は同一番号を付してその詳細な説明は省略する。本形態
では、再生装置100によりプログラム情報に従ってデ
ータを再生し、DIF111,201を介して転送する
と共にこれをデコードして表示することに加え、記憶部
213に対してDIF201より受信したデータを記憶
する。
【0054】記憶部213はハードディスク(HDD)
等の大容量記憶媒体により構成され、DIF201より
転送されたデータを記憶する。
【0055】このとき、メモリ209に記憶されている
プログラム情報は、前述の如く再生装置100から転送
された図2もしくは図3に示すプログラム情報である。
しかし、メモリ209に記録されたプログラム情報をそ
のまま使って記憶部213に記憶されたデータを再生し
ても、再生装置100と同様に再生することはできな
い。
【0056】即ち、再生装置100からプログラム情報
に従ってデータを転送する際、既にプログラム情報に従
う手順で再生され、転送される。そのため、プログラム
情報における"being"をそのまま使って記憶部213に
記憶されたデータを再生した場合、正しく再生されな
い。
【0057】そこで、制御回路211は、記憶部213
に対して転送された全てのデータを記憶した後、メモリ
209に記録されたプログラムデータを図5の如く書き
替え、先に記憶している各データと対応付けて記憶部2
13に記憶する。
【0058】具体的には、図8に示すように、"begin"
エレメントを削除したプログラム情報を記憶部213に
記憶する。なお、このとき、各ファイルの名前について
は適宜PC200側で付け替えることも可能である。
【0059】このように、本形態によれば、再生装置に
てプログラム情報に従って再生され、DIFを介して伝
送されたデータを記憶部に記憶し、その後伝送されたプ
ログラム情報に従う再生を行う場合、伝送されたプログ
ラム情報の内容を記憶されたデータの再生手順に従って
書き替えているため、記憶部に記憶したデータをプログ
ラム情報に従って正確に再生することができる。
【0060】次に、本発明の第3の実施形態について説
明する。本形態においても、システムの構成は、図1ま
たは図7の構成と同様であり、また、その通常再生時の
基本的な動作は同じである。
【0061】以下、本形態において、プログラム情報に
従ってデータを再生し、DIFを介してPCに転送する
場合の動作について説明する。
【0062】プログラム情報に従い再生を行う場合、ま
ず、システム制御回路113はDIF111を制御し、
再生データをデジタルI/Fを介して出力するために必
要なIsochronousチャンネルを確保する。そのため、ま
ず、システム制御回路113は、再生回路103により
ディスク101から再生され、バッファメモリ105を
介して供給されるプログラム情報の内容をチェックし、
必要なチャンネル数を調べると共に、その内容を書き替
える。
【0063】図4に示す例では、同時に再生するべき動
画データ(ファイル)の最大数は2であり、これによ
り、必要なチャンネル数を2と設定する。
【0064】IEEE1394のIsochoronous転送では
0〜63までのチャネルがあり、バス上に存在するIR
M(Isochronous Resource Manager)の管理するレジス
タにアクセスすることによってチャネルを確保する。
【0065】システム制御回路113はこのIRMのレ
ジスタを読み込み、未使用チャネルを確認したの後に使
用したチャンネルの値を書き替えてチャネルを確保する
ようDIF111を制御する。本形態の場合は、2つの
チャネル、例えば、チャンネル番号1と2を確保したも
のとする。
【0066】また、システム制御回路113は、再生さ
れたプログラム情報を図9の如く書き替える。即ち、シ
ステム制御回路113は各動画像データの指定部分に"c
h"エレメントを付加する。この"ch"エレメントは送信チ
ャンネルを示しており、video 1,video 3,video 5はチ
ャンネル番号1を、video 2,video 4,video 6はチャン
ネル番号2を使用して転送されることを示している。
【0067】チャンネルを確保した後、システム制御回
路113は図9のように書き替え、バッファメモリ10
5に記憶されていたプログラム情報を読み出し、DIF
111に出力する。DIF111はPC200のDIF
201との間でプログラム情報を転送するために必要な
手続きを行った後、Asynchronous転送を用いてプログラ
ム情報を転送する。
【0068】PC200では、DIF201より受信し
たプログラム情報はバッファメモリ203に記憶され
る。制御回路211はバッファメモリ203にプログラ
ム情報が書き込まれたことを検出すると、そのプログラ
ム情報をメモリ209に格納する。そして、このプログ
ラム情報の内容を解析し、その旨をDIF201を解し
て再生装置100のDIF111に出力する。
【0069】システム制御回路113は図1のプログラ
ム情報を送信した後、PC200がプログラム情報の解
析を終了したことを示す通知がDIF201から送信さ
れたのを待った後、図9に示すプログラム情報に基づい
てデータの再生及び送信を開始する。
【0070】本形態では同時に2つの動画データ(動画
ファイル)の再生を行っており、システム制御回路11
3はDIF111を制御し、これら2つの動画データを
プログラム情報に示された手順に従って1つのSource P
acketを1つのIsochronous Packetにセットした後、デ
ータを送信する。
【0071】次に、PC200側のDIF201は、先
に受信したプログラム情報に基づいて、受信したIsochr
onous PacketからSource Packetを抽出し、バッファメ
モリ203に出力する。
【0072】制御回路211はバッファメモリ203に
記憶されたデータの内容を検出し、メモリ209に記憶
されたプログラム情報に記述された再生手順にて必要な
データを選択してデコーダ205に出力する。具体的に
は、video 1,video 3,video5のデータがチャンネル番号
1で伝送され、video 2,video 4,video 6のデータがチ
ャンネル番号2で伝送されるので、制御回路211はこ
れらを検出し、デコーダ205に出力する。
【0073】本形態では、再生装置100において、す
でにプログラム情報に従う手順でデータが再生される。
そのため、制御回路211はプログラム情報における"b
egin"エレメントは無視して再生を行う。
【0074】また、"dur"エレメントにて規定される再
生時間を計測し、各チャンネルで連続して送信されてく
るデータの境界を判定する。
【0075】即ち、本形態では、チャンネル番号1とし
てvideo 1,video 3,video 5のデータが連続して転送さ
れるため、各データの区切りを判別して再生動作を制御
する必要がある。本形態では、video 1,video 3,video
5の各データの再生時間はそれぞれ3分、2分、2分で
ある。制御回路211は再生装置100よりプログラム
情報による再生データの受信を検出した時点からタイマ
ーを起動して受信データの時間を計測し、プログラム情
報に記載された時間に従って、受信データの区切りを検
出する。例えば、データの受信を開始して3分経過した
時点で次のvideo 3のデータに切り替わったと判別す
る。
【0076】デコーダ205は制御回路211により制
御され、バッファメモリ203からの出力データをデコ
ードし、表示部207に出力する。
【0077】このように、本形態によれば、プログラム
情報に従って複数の動画・音声ファイルデータを再生
し、デジタルI/Fを介して転送する際、予めプログラ
ム情報をPC側に転送することで、受信側にて転送され
るデータを検出することができる。
【0078】また、転送する際、プログラム情報の内容
に従い、同時にデータを転送するために必要なチャンネ
ル数を確保し、これら各チャンネルを利用してプログラ
ム情報に記載された複数の動画データを転送しているた
め、プログラム情報にて複数のファイルを同時に再生す
る場合でもこれをデジタルI/Fを介して転送すること
ができる。
【0079】そのため、デジタルI/Fを介してプログ
ラム情報に従う動画・音声ファイルを転送し、外部機器
にてプログラム情報に従う再生を実現することが可能と
なる。
【0080】なお、本実施形態では、デジタルI/Fに
てプログラム情報を転送する際、図9の如くプログラム
情報を書き替えて転送していたが、図9以外にも、例え
ば、図10に示すように、"<layout>"と"</layout>"に
囲まれた表示領域設定の部分で、表示領域と位置情報を
対応させることも可能である。
【0081】図9のプログラム情報では、その表示領域
ごとにSource Packetの位置を規定している。PC20
0側では、このプログラム情報に従い、各チャンネルに
より転送されるSource Packetを検出し、デコードす
る。
【0082】また、本形態において、転送されたデータ
を図7の記憶部213に記憶し、これをプログラム情報
に従って再生する場合、前述のように、メモリ209に
記録されたプログラム情報をそのまま使って記憶部21
3に記憶されたデータを再生しても、再生装置100と
同様に再生することはできない。
【0083】そこで、本形態においても、制御回路21
1により、記憶部213に対して転送された全てのデー
タを記憶した後、メモリ209に記録されたプログラム
データを図5の如く書き替え、先に記憶している各デー
タと対応付けて記憶部213に記憶することで、再生装
置にてプログラム情報に従って再生され、DIFを介し
て伝送されたデータを記憶部に記憶し、その後伝送され
たプログラム情報に従う再生を行う場合、伝送されたプ
ログラム情報の内容を記憶されたデータの再生手順に従
って書き替えているため、記憶部に記憶したデータをプ
ログラム情報に従って正確に再生することができる。
【0084】本発明は複数の機器(例えば、ホストコン
ピュータ、インタフェース機器、リーダ、プリンタ等)
から構成されるシステムに適用しても1つの機器からな
る装置に適用してもよい。
【0085】また、前述の実施形態の機能を実現するよ
うに各種のデバイスを動作させるように、各種デバイス
と接続された装置或いはシステム内のコンピュータに対
し、前記実施形態の機能を実現するためのソフトウェア
のプログラムコードを供給し、そのシステム或いは装置
のコンピュータ(CPU或いはMPU)に格納されたプ
ログラムに従って各種デバイスを動作させることによっ
て実施したものも、本発明の範疇に含まれる。
【0086】即ち、前述の通常のMPEG2−TSの記
録再生動作、アフレコ音声データの記録再生処理をマイ
クロコンピュータを用いたソフトウェア処理にて実現す
ることも可能である。
【0087】また、この場合、前記ソフトウェアのプロ
グラムコード自体が前述した実施の形態の機能を実現す
ることになり、そのプログラムコード自体、およびその
プログラムコードをコンピュータに供給するための手
段、例えばかかるプログラムコードを格納した記憶媒体
は本発明を構成する。かかるプログラムコードを記憶す
る記憶媒体としては、例えばフロッピー(登録商標)デ
ィスク、ハードディスク、光ディスク、光磁気ディス
ク、CD−ROM、磁気テープ、不揮発性のメモリカー
ド、ROM等を用いることができる。
【0088】また、コンピュータが供給されたプログラ
ムコードを実行することにより、上述の実施の形態で説
明機能が実現されるだけでなく、そのプログラムコード
がコンピュータにおいて稼働しているOS(オペレーテ
ィングシステム)或いは他のアプリケーションソフト等
の共同して上述の実施の形態で示した機能が実現される
場合にもかかるプログラムコードは本発明の実施形態に
含まれることは言うまでもない。
【0089】更に、供給されたプログラムコードがコン
ピュータの機能拡張ボードやコンピュータに接続された
機能拡張ユニットに備わるメモリに格納された後、その
プログラムコードの指示に基づいてその機能拡張ボード
や機能拡張ユニットに備わるCPU等が実際の処理の一
部または全部を行い、その処理によって上述した実施の
形態の機能が実現される場合にも本発明に含まれる。
【0090】
【発明の効果】以上、述べたように本発明によれば、プ
ログラム情報に従うデータを装置外部にて正確に再生す
ることが可能となる。
【図面の簡単な説明】
【図1】本発明が適用される再生システムの構成を示す
ブロック図である。
【図2】図1のシステムにて扱うプログラム情報の様子
を示す図である。
【図3】図1の装置にて扱うプログラム情報の様子を示
す図である。
【図4】図1の装置にて扱うプログラム情報の様子を示
す図である。
【図5】図1の装置により転送されるデータの様子を示
す図である。
【図6】図1の装置により転送されるデータの様子を示
す図である。
【図7】本発明が適用される再生システムの他の構成を
示すブロック図である。
【図8】図7のシステムにて扱うプログラム情報の様子
を示す図である。
【図9】図1または図7のシステムにて扱うプログラム
情報の様子を示す図である。
【図10】図1または図7のシステムにて扱うプログラ
ム情報の様子を示す図である。

Claims (25)

    【特許請求の範囲】
  1. 【請求項1】 デジタル動画像データと前記デジタル動
    画像データの再生手順を示すプログラムデータとを記録
    媒体から再生する再生手段と、 前記再生手段により再生されたデジタル動画像データと
    前記プログラムデータとを装置外部に出力するデジタル
    インターフェイス手段とを備える再生装置。
  2. 【請求項2】 前記デジタル動画像データと前記プログ
    ラムデータとを所定の順序で出力するよう前記デジタル
    インターフェイス手段を制御する制御手段とを備える請
    求項1記載の再生装置。
  3. 【請求項3】 前記制御手段は前記プログラムデータを
    出力した後、前記デジタル動画像データを出力するよう
    前記デジタルインターフェイス手段を制御することを特
    徴とする請求項2記載の再生装置。
  4. 【請求項4】 前記制御手段は更に、前記再生手段によ
    り再生されたプログラムデータに従う手順で前記デジタ
    ル動画像データを再生するよう前記再生手段を制御し、
    前記デジタルインターフェイス手段は前記プログラムデ
    ータに従い再生されたデジタル動画像データを出力する
    ことを特徴とする請求項3記載の再生装置。
  5. 【請求項5】 前記制御手段は前記プログラムデータの
    内容を変更し、前記変更されたプログラムデータを出力
    するよう前記デジタルインターフェイス手段を制御する
    ことを特徴とする請求項3または4記載の再生装置。
  6. 【請求項6】 前記制御手段は前記プログラムデータに
    示された再生手順に従い前記プログラムデータの内容を
    変更することを特徴とする請求項5記載の再生装置。
  7. 【請求項7】 前記再生されたプログラムデータの内容
    に従って前記デジタルインターフェイス手段の出力動作
    を制御する制御手段を備えたことを特徴とする請求項1
    記載の再生装置。
  8. 【請求項8】 前記デジタルインターフェイス手段はI
    EEE1394規格に従う形式でデータを出力し、前記
    制御手段は前記プログラムデータの内容に従い前記デジ
    タルインターフェイス手段による転送チャンネル数を決
    定することを特徴とする請求項7記載の再生装置。
  9. 【請求項9】 前記制御手段は前記デジタル動画像デー
    タの転送チャンネルを示すよう前記プログラムデータの
    内容を変更し、前記デジタルインターフェイス手段は前
    記内容が変更されたプログラムデータを出力することを
    特徴とする請求項8記載の再生装置。
  10. 【請求項10】 前記デジタルインターフェイス手段は
    IEEE1394規格に従う形式でデータを出力し、前
    記制御手段は前記プログラムデータの内容に従い1つの
    アイソクロナスパケット中に含まれるソースパケット数
    を決定することを特徴とする請求項7記載の再生装置。
  11. 【請求項11】 前記制御手段は1つのアイソクロナス
    パケット中の前記デジタル動画像データのソースパケッ
    ト位置を示すよう前記プログラムデータの内容を変更
    し、前記デジタルインターフェイス手段は前記内容が変
    更されたプログラムデータを出力することを特徴とする
    請求項10記載の再生装置。
  12. 【請求項12】 前記デジタル動画像データはMPEG
    2−トランスポートストリームに従う形式のデータであ
    ることを特徴とする請求項1記載の再生装置。
  13. 【請求項13】 前記プログラムデータはSMILに従
    う形式で記述されていることを特徴とする請求項1記載
    の再生装置。
  14. 【請求項14】 前記デジタル動画像データをデコード
    するデコーダと、前記デコードされた動画像データを外
    部機器に出力する出力部とを備える請求項1記載の再生
    装置。
  15. 【請求項15】 再生手順を示すプログラムデータに従
    う手順で再生されたデジタル動画像データと前記プログ
    ラムデータとを入力するデジタルインターフェイス手段
    と、 前記デジタルインターフェイス手段により入力されたデ
    ジタル動画像データを処理する処理手段と、 前記デジタルインターフェイス手段により入力されたプ
    ログラムデータに従って前記処理手段の処理動作を制御
    する制御手段とを備える画像処理装置。
  16. 【請求項16】 前記制御手段は前記プログラムデータ
    に基づいて前記デジタルインターフェイス手段より入力
    されるデジタル動画像データを識別し、この識別結果に
    基づいて前期処理手段の動作を制御することを特徴とす
    る請求項15記載の画像処理装置。
  17. 【請求項17】 前記デジタルインターフェイス手段は
    IEEE1394規格に従う形式でデータを入力し、前
    記制御手段は前記プログラムデータに基づいて1つのア
    イソクロナスパケットに含まれる複数のデジタル動画像
    データを検出することを特徴とする請求項16記載の画
    像処理装置。
  18. 【請求項18】 前記デジタルインターフェイス手段は
    IEEE1394規格に従う形式でデータを入力し、前
    記制御手段は前記プログラムデータに基づいて異なる転
    送チャンネルで転送された複数のデジタル動画像データ
    を検出することを特徴とする請求項16記載の画像処理
    装置。
  19. 【請求項19】 前記デジタル動画像データを記憶媒体
    に記録する記録手段を備え、前記制御手段は前記記録さ
    れたデジタル動画像データに従って前記プログラムデー
    タの内容を変更し、前記変更されたプログラムデータに
    応じて前記記憶媒体に記録された動画像データを再生す
    るよう前記処理手段を制御することを特徴とする請求項
    15記載の画像処理装置。
  20. 【請求項20】 前記デジタル動画像データはMPEG
    2−トランスポートストリームに従う形式のデータであ
    ることを特徴とする請求項15記載の画像処理装置。
  21. 【請求項21】 前記プログラムデータはSMILに従
    う形式で記述されていることを特徴とする請求項15記
    載の画像処理装置。
  22. 【請求項22】 前記処理手段は、前記デジタル動画像
    データをデコードするデコーダと、前記デコードされた
    動画像データを表示デバイスに出力する出力部とを備え
    る請求項15記載の画像処理装置。
  23. 【請求項23】 デジタル動画像データと前記デジタル
    動画像データの再生手順を示すプログラムデータとを記
    録媒体から再生し、 前記再生されたデジタル動画像データと前記プログラム
    データとをデジタルインターフェイス手段により装置外
    部に出力する再生方法。
  24. 【請求項24】 再生手順を示すプログラムデータに従
    う手順で再生されたデジタル動画像データと前記プログ
    ラムデータとをデジタルインターフェイス手段を介して
    入力し、 前記デジタルインターフェイス手段により入力されたプ
    ログラムデータに従って前記デジタルインターフェイス
    手段により入力されたデジタル動画像データを処理する
    画像処理方法。
  25. 【請求項25】 請求項23または請求項24に記載の
    方法をコンピュータを用いて実現するためのプログラム
    を記憶した記憶媒体。
JP2000290407A 2000-09-25 2000-09-25 再生装置、制御方法及び記憶媒体 Expired - Fee Related JP4681723B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000290407A JP4681723B2 (ja) 2000-09-25 2000-09-25 再生装置、制御方法及び記憶媒体
US09/957,226 US20020048447A1 (en) 2000-09-25 2001-09-20 Reproduction apparatus, reproduction method, image processing apparatus, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000290407A JP4681723B2 (ja) 2000-09-25 2000-09-25 再生装置、制御方法及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2002101387A true JP2002101387A (ja) 2002-04-05
JP4681723B2 JP4681723B2 (ja) 2011-05-11

Family

ID=18773643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000290407A Expired - Fee Related JP4681723B2 (ja) 2000-09-25 2000-09-25 再生装置、制御方法及び記憶媒体

Country Status (2)

Country Link
US (1) US20020048447A1 (ja)
JP (1) JP4681723B2 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10106142A (ja) * 1996-09-27 1998-04-24 Sony Corp データデコードシステムおよびデータデコード方法、伝送装置および方法、並びに、受信装置および方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5943444A (en) * 1993-03-31 1999-08-24 Canon Kabushiki Kaisha Image reproducing apparatus
US5561532A (en) * 1993-03-31 1996-10-01 Canon Kabushiki Kaisha Image reproducing apparatus
DE69431226T2 (de) * 1993-09-28 2003-04-17 Canon Kk Bildwiedergabegerät
JP3402914B2 (ja) * 1996-03-27 2003-05-06 キヤノン株式会社 印刷制御装置及び方法
JP3178413B2 (ja) * 1998-04-28 2001-06-18 日本電気株式会社 ディスク記録再生装置およびディスク記録再生方法
JPH11353790A (ja) * 1998-06-08 1999-12-24 Yamaha Corp ディジタルビデオ信号送信装置及び受信装置
EP0984352A2 (en) * 1998-09-01 2000-03-08 Sony Corporation Information processing apparatus and method, and providing medium
US6795092B1 (en) * 1999-02-15 2004-09-21 Canon Kabushiki Kaisha Data processing apparatus and method, and storage medium
JP3166759B2 (ja) * 1999-03-15 2001-05-14 ミノルタ株式会社 画像形成装置および画像形成方法
US6882793B1 (en) * 2000-06-16 2005-04-19 Yesvideo, Inc. Video processing system
JP4250319B2 (ja) * 2000-09-25 2009-04-08 キヤノン株式会社 再生装置、再生方法及び記憶媒体
JP3917363B2 (ja) * 2000-12-12 2007-05-23 株式会社東芝 画像復号化装置及び画像復号化方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10106142A (ja) * 1996-09-27 1998-04-24 Sony Corp データデコードシステムおよびデータデコード方法、伝送装置および方法、並びに、受信装置および方法

Also Published As

Publication number Publication date
JP4681723B2 (ja) 2011-05-11
US20020048447A1 (en) 2002-04-25

Similar Documents

Publication Publication Date Title
TW567468B (en) Recording apparatus, recording method, reproducing apparatus, reproducing method and recording media
KR100694164B1 (ko) 재생 방법 및 그 기록매체
JP4485125B2 (ja) Avデータ記録再生装置及び方法、当該avデータ記録再生装置又は方法で記録されたディスク
JPH11353790A (ja) ディジタルビデオ信号送信装置及び受信装置
KR20000047920A (ko) 데이터 기록 또는 재생 장치, 그의 방법, 그의 시스템 및,기록 매체
US7359621B2 (en) Recording apparatus
JP3898674B2 (ja) Dtvストリーム生成のための情報を貯蔵する情報貯蔵媒体、dtvストリーム変換方法及びその装置
JP3558983B2 (ja) デジタル放送の記録再生装置
JP4284073B2 (ja) Avデータ記録再生装置及び方法、並びに当該avデータ記録再生装置又は方法で記録された記録媒体
JP2004040579A (ja) デジタル放送受信装置、およびデジタル放送同期再生方法
JP2008294638A (ja) 伝送システム、記録装置、伝送方法、記録方法、およびプログラム
JP2004032607A (ja) ディジタル映像再生装置
JP2001086431A (ja) 記録再生装置
JP3529679B2 (ja) 記録再生装置
JP4681723B2 (ja) 再生装置、制御方法及び記憶媒体
US20040151473A1 (en) Audio/video data recording/reproduction apparatus, system, and method, recording medium recorded by them, audio/video data reproduction apparatus, and data structure
JP3901555B2 (ja) Avデータ記録装置及び方法、当該avデータ記録装置又は方法で記録されたディスク、並びに当該ディスクを再生するavデータ再生装置及び方法又はavデータ記録再生装置及び方法
JP4075360B2 (ja) データ転送制御装置及び電子機器
JP4005505B2 (ja) 情報記録媒体のプログラム仕様情報提供方法
JP4207304B2 (ja) 情報入力装置および方法、情報出力装置および方法、並びに記録媒体
JP2001339688A (ja) トランスポートストリーム再生装置
KR100338743B1 (ko) 트릭 재생 데이터 전송 장치 및 방법
KR100431548B1 (ko) 스트림 헤더정보를 이용한 동영상 파일 재생장치
JP4241220B2 (ja) ディジタル記録再生装置及び再生レート制御方法
JP2001016546A (ja) 動画像録画再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090629

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100430

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110201

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110207

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees