JP2004228778A - データの記録、送信または再生に関する方法並びに装置 - Google Patents

データの記録、送信または再生に関する方法並びに装置 Download PDF

Info

Publication number
JP2004228778A
JP2004228778A JP2003012508A JP2003012508A JP2004228778A JP 2004228778 A JP2004228778 A JP 2004228778A JP 2003012508 A JP2003012508 A JP 2003012508A JP 2003012508 A JP2003012508 A JP 2003012508A JP 2004228778 A JP2004228778 A JP 2004228778A
Authority
JP
Japan
Prior art keywords
information
timing
data
signal
viewer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003012508A
Other languages
English (en)
Other versions
JP4158533B2 (ja
JP2004228778A5 (ja
Inventor
Yoichiro Sako
曜一郎 佐古
Motoyuki Takai
基行 高井
Masami Miura
雅美 三浦
Susumu Yabe
進 矢部
Akiko Inoue
亜紀子 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2003012508A priority Critical patent/JP4158533B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN2003801083016A priority patent/CN1735923B/zh
Priority to PCT/JP2003/016729 priority patent/WO2004066265A1/ja
Priority to KR1020057010678A priority patent/KR100994522B1/ko
Priority to CA002512524A priority patent/CA2512524A1/en
Priority to US10/542,086 priority patent/US20060072397A1/en
Priority to EP03768231A priority patent/EP1587060A4/en
Priority to TW093101418A priority patent/TWI278850B/zh
Publication of JP2004228778A publication Critical patent/JP2004228778A/ja
Publication of JP2004228778A5 publication Critical patent/JP2004228778A5/ja
Application granted granted Critical
Publication of JP4158533B2 publication Critical patent/JP4158533B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0686Timers, rhythm indicators or pacing apparatus using electric or electronic means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/40Rhythm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/02Synthesis of acoustic waves
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/04Sound-producing devices
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02Control of operating function, e.g. switching from recording to reproducing
    • G11B19/08Control of operating function, e.g. switching from recording to reproducing by using devices external to the driving mechanisms, e.g. coin-freed switch
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42646Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof

Abstract

【課題】臨場感のあるAVシステムを構築する。
【解決手段】光ディスク41から得られた再生AVデータがRAM50に蓄積される。RAM50から再生スタートのタイミングが制御されたAV信号が出力される。視聴者の呼吸がセンサ61によって計測され、計測された信号がローパスフィルタ62を介してピーク検出回路63に供給され、ピーク値のタイミングが検出される。検出されたピーク値に基づいて、変化点検出回路64は、視聴者の呼吸の吸期から呼期への変化点を検出し、再生スタート信号を生成する。再生スタート信号がRAM50に供給され、RAM50からのAV信号の読み出しのタイミングが再生スタート信号と同期したものに制御される。AV情報のスタートのタイミングを視聴者の生体情報に合わせて制御することによって、実際の演奏や、演技の際の息使いや興奮度などにマッチした状況を再現できる。
【選択図】 図5

Description

【0001】
【発明の属する技術分野】
この発明は、オーディオ情報および映像情報の少なくとも一方のデータを記録、送信、再生するのに適用されるデータの記録、送信または再生に関する方法並びに装置に関する。
【0002】
【従来の技術】
コンサート会場で例えばオーケストラの演奏を聞く時に、聴取者は、指揮者のタクトを注視し、指揮者のタクトに合わせて演奏される曲のスタートタイミングを予測することが経験上知られている。それによって聴取者は、自分の呼吸を整え、演奏される曲を違和感なく聴くことができる。
【0003】
従来、人間の生体のリズムである1/fのゆらぎを元の音楽に対して付加することで、聴き心地の良い音楽に変更する演奏制御装置が提案されている。例えば人間の生体の状況および体調等が刻々変化していることを考慮して、聴取者の日々の生体状態に合ったゆらぎ制御信号を生成し、ゆらぎ制御信号に基づいてオーディオプログラムの演奏テンポを編集する技術が下記の特許文献1に説明されている。
【0004】
【特許文献1】
特開平10−79130号公報
【0005】
【発明が解決しようとする課題】
曲のスタート点のタイミングと、聴取者の生体情報例えば呼吸のタイミングとがずれると、指揮者等の演奏者の呼吸と聴取者の呼吸とのずれが生じ、演奏者の発する情報が聴取者に十分に伝わらず、聴取者が臨場感を十分に感じられなかったり、時には不快感を感じるおそれがあった。上述した特許文献1は、聴取者の健康に関する生体情報を利用して音楽の演奏テンポを制御するもので、再生される曲のタイミングと、聴取者の呼吸を合わせて、臨場感をより感じ易くする点については、何ら開示されていない。
【0006】
したがって、この発明の目的は、曲のタイミングと視聴者の生体情報例えば呼吸との同期をとることによって、臨場感に富んだ再生を可能とするデータの記録、送信または再生に関する方法並びに装置を提供することにある。
【0007】
【課題を解決するための手段】
上述した課題を解決するために、請求項1および10の発明は、受信されたオーディオ情報および映像情報の少なくとも一方のデータを再生するに際し、視聴者の生体情報を観測し、データの再生タイミングを観測された生体情報により指示するデータ再生指示方法および装置である。
【0008】
請求項4および11の発明は、受信されたオーディオ情報および映像情報の少なくとも一方のデータを再生するに際し、視聴者の生体情報を観測し、データの再生タイミングを観測された生体情報により制御し、再生タイミングが制御されたデータを再生するデータ再生方法および装置である。
【0009】
請求項6および12の発明は、オーディオ情報および映像情報の少なくとも一方のデータを送信するに際し、視聴者の生体情報を観測し、データの送信タイミングを観測された生体情報により指示する情報送信指示方法および装置である。
【0010】
請求項7および13の発明は、オーディオ情報および映像情報の少なくとも一方のデータを送信するに際し、視聴者の生体情報を観測し、データの送信タイミングを観測された生体情報により制御し、送信タイミングが制御されたデータを送信する情報送信方法および装置である。
【0011】
請求項8および14の発明は、オーディオ情報および映像情報の少なくとも一方のデータを記録するに際し、視聴者の生体情報を観測し、データの記録タイミングを観測された生体情報により指示するデータ記録指示方法および装置である。
【0012】
請求項9および15の発明は、オーディオ情報および映像情報の少なくとも一方のデータを記録するに際し、視聴者の生体情報を観測し、データの記録タイミングを観測された生体情報により制御し、記録タイミングが制御されたデータを記録するデータ記録方法および装置である。
【0013】
この発明では、視聴者の生体情報に基づいてオーディオ情報および映像情報の少なくとも一方のデータの再生、送信、または記録のタイミングを制御している。それによって、実際の演奏や、演技の際の息づかいまたは興奮度にマッチした状況を視聴者が再現することが容易となり、オーディオ情報および映像情報の少なくとも一方のデータの再生を臨場感に富んだものとできる。
【0014】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。図1は、オーディオ情報および映像情報の少なくとも一方のデータ(AVデータと適宜称する)例えば音楽信号のスタートタイミングと視聴者の生体情報例えば呼吸信号の周期とを同期させた状態を模式的に示している。図1の例では、視聴者が息を吸い終わってから息をはくのをスタートするタイミングと、音楽信号のスタートタイミングとが同期している。このような関係を実現することによって、音楽の演奏者と視聴者の間で呼吸がほぼ同期したものとなる。このことは、演奏会場に居て演奏者の動作に自分の呼吸を合わせるのと同様に、視聴者が自分の呼吸を再生されるAV情報の演奏者または演技者の呼吸と合わせることを可能とする。
【0015】
視聴者の生体情報は、体動、呼吸、心拍、脈の少なくとも一つである。図2は、視聴者の例えば呼吸を検出する構成例を示す。呼吸ガスの流速、流量の計測には、気流の通路に気流速計、気流量計を置く方法が知られている。図2の例では、より安価で簡単な計測を可能とするために、胸郭運動を電気的に検出する方法が使用されている。
【0016】
図2において、参照符号1が呼吸運動に伴う胸部の動きを検出するセンサを示す。例えば呼吸に伴う生体電気インピーダンスの変化から呼吸計測がなされる。この場合、胸部に4個の電極が被着され、外側の一対の電極から電流を通電し、内側の一対の電極から電位を検出するようになされる。他の方法として、呼吸運動に伴う胸部の容積変化を検出するために、胸部にひずみゲージ等のセンサを取付ける方法等も使用できる。
【0017】
センサ1からは、呼吸運動に応じて振幅が変化する検出信号が発生し、この検出信号がローパスフィルタ2に供給され、ノイズ等の不要な信号成分が除去される。センサ1からの信号は、ケーブルが視聴者の動きの邪魔とならないように、ワイヤレスでローパスフィルタ12に伝送されることが好ましい。ローパスフィルタ2の出力信号がピーク検出回路3およびレベル検出回路4に供給される。ピーク検出回路3では、正側のピーク値と負側がそれぞれ検出される。図1Bに示したように、検出信号は、略正弦波であり、その正のピーク値から負のピーク値に至る期間が息を吸う期間(吸期)であり、その負のピーク値から正のピーク値に至る期間が息をはく期間(呼期)である。
【0018】
ピーク検出回路3からの検出信号がレベル検出回路4に供給される。レベル検出回路4は、ピーク値のタイミングの検出信号のレベルが検出され、検出されたレベルを示す信号が出力端子7aに取り出される。出力端子7aから得られる信号は、呼吸の深さを示す信号である。ピーク検出回路3の検出出力が出力端子7bに取り出される。例えば正のピーク値のタイミングと、負のピーク値のタイミングとでそれぞれ発生するパルス信号が検出出力として出力端子7bに取り出される。出力端子7bに得られる検出出力がタイミング信号として使用される。
【0019】
さらに、ピーク検出回路3の出力信号がタイマー5にスタート信号として供給されると共に、カウンタ6に入力され、カウンタ6の出力がタイマー5にストップ信号として供給される。カウンタ6は、n個のピーク信号をカウントすると、タイマー5に対してストップ信号を出力する。したがって、タイマー5からは、n個のピーク値毎に検出信号が発生する。タイマー5が出力する検出信号が出力端子7cに呼吸間隔出力として取り出される。上述したように、出力端子7a、7bおよび7cから呼吸深さ信号、呼吸タイミング信号および呼吸間隔信号がそれぞれ出力される。
【0020】
図3は、生体情報として心拍を計測する構成例を示す。例えば首付近に通電電極を被着し、胸部に検出電極を被着し、高周波定電流を通電する。参照符号11は、検出電極を示し、検出電極11から検出電流が必要に応じて電圧またはインピーダンス変化の信号に変換され、ローパスフィルタ12に対して供給される。検出電極11からの信号は、ワイヤレスでローパスフィルタ12に伝送されることが好ましい。ローパスフィルタ12によってノイズ等の不要な成分が除去される。なお、心臓付近に取り付けた圧力センサを使用して胸郭の動きを検出するようにしても良い。
【0021】
ローパスフィルタ12の出力信号が微分増幅器13に供給される。微分増幅器13によって検出信号を1次微分した信号が得られる。微分信号が最大値検出回路14およびレベル検出回路15に供給される。最大値検出回路14は、最大値のタイミングで発生するパルス信号を発生し、パルス信号がレベル検出回路15に供給される。レベル検出回路15は、パルス信号のタイミングの微分信号のレベルを検出して出力端子18aに出力する。出力端子18aに得られる出力信号が心拍の強さを示す検出信号である。
【0022】
タイマー16のスタート信号として最大値検出回路14の出力が供給される。最大値検出回路14の出力がカウンタ17によってカウントされ、n個の最大値が検出された時にカウンタ17が出力する信号がタイマー16に対してストップ信号として供給される。タイマー16の出力信号が出力端子18bに取り出される。出力端子18bに取り出される検出信号は、心拍周期を示す信号である。
【0023】
他の生体情報例えば脈は、超音波を使用して測定することができる。また、体動を生体情報として使用することができる。測定したい体の1または複数の部位に発光素子(例えば所定の周期で点滅する発光ダイオード)を取り付け、この発光素子を撮影し、2次元の撮影平面上の発光素子の位置を検出することで、体動を計測でき、体動の最大値のタイミングが計測される。この体動の最大値のタイミングと再生のスタートのタイミングとが一致するように、タイミングが制御される。
【0024】
図4は、この発明による再生指示装置の一実施形態を示す。記録メディアから再生され、またはネットワークを介して受信された入力信号が入力端子21に供給される。入力AV信号が復調回路22にて復調され、エラー訂正回路23にてエラー訂正の処理を受ける。入力信号が例えばCD(Compact Disc) の再生信号の場合では、復調回路22がEFM変調方式(Eight to Fourteen Modulation:EFM)の復調を行うもので、エラー訂正回路23がCIRC(Cross Interleaved Reed−Solomon Code)のデコーダである。
【0025】
エラー訂正回路23から得られるAV信号がRAM24に書き込まれる。RAM24の読み出し出力がスイッチ25を介して出力端子26に取り出される。スイッチ25は、再生スタート信号によって指示されるRAM24の読み出しスタート時にオンとされるものである。実際には、RAM24の制御回路に対して再生スタート信号が入力される。スイッチ25は、模式的な構成である。RAM24は、一つの曲の全体を記憶する。容量が大きなストレージの場合には、複数の曲を蓄積しても良い。または、一つの曲に満たない長さのずれ補正用の容量を持つRAMを使用しても良い。
【0026】
視聴者の生体信号例えば呼吸信号が入力端子31から供給され、データ収集部32に供給される。データ収集部32は、生体信号のデータを収集し、次段のデータ分析部33において所定区間の平均値や、最大値、統計データなどの各種処理データを得ることを可能とするものである。例えば一人の視聴者のある程度の長さの時間の生体信号が収集され、分析される。データ分析部33は、例えば図2を参照して説明したような構成を有している。
【0027】
データ分析部33の分析結果(呼吸深さ出力、呼吸タイミング出力、呼吸間隔出力等)のデータがスタート判断部34に入力される。スタート判断部34は、再生をスタートするタイミングを決定し、スタート指示部35を制御する信号を出力する。
【0028】
スタート指示部35は、スタート指示信号をディスプレイおよび/またはスピーカに対して出力する。ディスプレイの簡単なものは、発光ダイオード等の発光素子である。他のものは、画面上に文字を表示するものでも良い。発光素子がスタートのタイミング毎に点灯したり、スタートを示す文字が表示される。視聴者は、このディスプレイを見て、キーボードまたはボタンを操作して再生スタート信号をスタート指示部35から発生させる。再生スタート信号によってスイッチ部25がオンし、RAM24に蓄積されているAVデータの読み出しがスタートされる。スピーカは、再生スタートのタイミングを示す音声情報、ブザー等を再生するものである。音声情報、ブザー等を聞いて視聴者がキーボード、ボタンを押すことによって再生がスタートする。
【0029】
なお、データ分析部33、スタート判断部34およびスタート指示部35の一部または全体を人為的操作を介さずにハードウェア処理またはソフトウェア処理で自動的に行うようにしても良い。
【0030】
次に、図5を参照してこの発明によるデータ再生装置の一実施形態について説明する。参照符号41がAV情報が記録されている光ディスクである。光ディスク41は、ターンテーブルに載せられてスピンドルモータ42によって回転される。スピンドルモータ42は、サーボ部43の制御によって一定線速度(CLV)あるいは一定角速度(CAV)で回転駆動をされる。
【0031】
サーボ部43は、フォーカスエラー信号とトラッキングエラー信号、およびコントローラ(図示しない)からの動作指令に基づき、フォーカス、トラッキング、スレッド、スピンドルの各種サーボドライブ信号を生成し、スピンドルモータ42および光ピックアップ44にこれらの信号を出力している。図示しないが、コントローラは、再生装置の全体を制御するためのもので、ディスプレイ、操作スイッチ等がコントローラに対して接続されている。光ピックアップ44は、光ディスク41の信号面に半導体レーザの光ビームを集光しつつ、光ディスク41上に同心円状あるいはスパイラル状に形成されたトラックをトレースする。光ピックアップ44全体がスレッド機構により移動される。
【0032】
光ピックアップ44の出力は、RFアンプ45を介して同期検出器46に供給され、同期検出器46の出力がアドレス検出回路47に供給される。RFアンプ45からのサーボ信号、同期検出回路46からの検出信号およびアドレス検出回路47からのアドレス信号がサーボ部43に供給される。
【0033】
アドレス検出回路47の出力信号が例えばEFMの復調器48に供給される。復調器48の出力がエラー訂正回路49に供給される。エラー訂正回路49は、エラーを訂正し、必要に応じて訂正できないエラーを補間する。エラー訂正回路49からのAVデータがRAM50に蓄積される。RAM50から再生スタートのタイミングが制御されたAV信号が出力端子51に取り出される。出力AV信号がアンプ、スピーカ、ディスプレイ等の再生機器に対して供給され、AV信号が再生される。
【0034】
参照符号61が光ディスク41から再生されたAV情報を視聴する視聴者の呼吸を計測するためのセンサである。センサ61から有線または無線で検出信号がローパスフィルタ62に供給され、ローパスフィルタ62の出力信号がピーク検出回路63に供給される。ピーク検出回路63によって正負のピーク値のタイミングが検出される。検出された信号が変化点検出回路64に供給される。
【0035】
変化点検出回路64は、視聴者の呼吸の吸期から呼期への変化点を検出し、この変化点のタイミングを有する再生スタート信号を生成するものである。再生スタート信号がRAM50に供給され、RAM50からのAV信号の読み出しのタイミングが再生スタート信号と同期したものに制御される。なお、再生スタートの制御は、曲のスタートタイミングのみならず、各楽章の再生スタートタイミング、曲の中での重要度が高い部分(ハイライト部分)のスタートタイミング等を生体情報に同期させるものでも良い。
【0036】
図6は、上述した再生制御装置の一実施形態のより詳細な構成例を示すものである。アドレス検出回路47(図5参照)から入力端子47aを介して光ディスク41の再生信号が供給される。復調回路48およびエラー訂正回路49によって再生AV信号が得られ、再生AV信号がRAM50に書き込まれる。また、再生AV信号が無音区間検出回路52に供給される。
【0037】
無音区間検出回路52は、オーディオの場合では、スタートタイミング以降の有音区間までの無音区間、曲間の無音区間、楽章間の無音区間を検出するものである。例えば1秒以上の無音区間が検出される。ビデオの場合では、音ではなく画像の無い区間が検出される。無音区間検出回路52は、スタートタイミングから有音区間のスタートタイミングまでの区間を検出し、スタートタイミングを検出した無音区間の長さだけ遅らせ、無音区間の存在によって生体信号との同期がずれることを防止するために設けられている。
【0038】
RAM50の読み出し信号がスイッチ53を介して出力端子51に取り出される。スイッチ53は、再生スタート時にオフからオンに変化するものである。スイッチ53は、AV信号スタート/ストップ部54からのスイッチ制御信号によってそのオン/オフが制御される。
【0039】
入力端子62aには、ローパスフィルタ62によってノイズが除去された呼吸信号が入力される。ピーク検出回路63によって正負のピーク値並びにピーク値の最大値および最小値が検出される。また、入力端子62aからの呼吸信号がゼロクロス検出回路65に供給され、ゼロクロスが検出される。
【0040】
ピーク検出回路63およびゼロクロス検出回路65の検出出力がスタートトリガー生成回路66に供給される。スタートトリガー生成回路66が再生スタートトリガーを発生し、スタートリガーがAV信号スタート/ストップ部54に供給される。AV信号スタート/ストップ部54は、スタートトリガーを受け取ると、無音区間検出回路52から入力される無音から有音に変わるタイミングで、スイッチ53をオンとするスタート信号を出力する。ビデオの場合では、スタートトリガーを受け取ると、画像の無い区間から有る区間に変わるタイミングで、スイッチ53をオンとするスタート信号を出力する。
【0041】
上述したように、スタート信号は、呼吸が吸期から呼期に変化するタイミング、すなわち、吸期のピークのタイミング(図1Bの波形では、負のピーク値)で発生するようにしている。しかしながら、視聴者の個人差、視聴者のその時の体調等によっては、このタイミングと異なるタイミングで再生をスタートした方がより好ましい場合がある。
【0042】
例えば呼期のピークのタイミング、ゼロクロスのタイミングがより好ましいと感じる場合もありうる。この点を考慮して、図6の構成例では、ゼロクロス検出回路65を設け、また、再生システムの全体を制御するコントローラ67によって、スタートトリガーの生成の態様を切り換えることが可能としている。さらに、コントローラ67は、視聴者の操作等で発生した再生ストップの指示をスタート/ストップ部54に対して出力し、AV信号の再生がストップされる。
【0043】
図7は、この発明を記録指示装置、送信指示装置、記録装置、送信装置に適用した場合の構成例を説明するものである。記録および送信の間では、構成が類似しているので、記録または送信の何れかを意味する表記として、記録/送信の表記を使用する。さらに、図7の構成では、記録/送信側で音楽が演奏されており、演奏信号を記録/送信する場合を考慮している。
【0044】
参照符号71で示す入力端子に対して記録/送信/演奏AV信号が入力され、RAM72に蓄積される。RAM72の読み出し出力がスイッチ73を介してAV信号として出力されると共に、エラー訂正用のエンコーダ74に供給される。この出力AV信号は、図示しないアンプを介してスピーカに供給され、演奏会場に直接流されるAV信号である。エンコーダ74の出力信号が変調回路75に供給され、変調回路75で変調された信号が記録/送信回路76に供給される。記録/送信回路76からの記録信号は、光ディスク等のメディア77に記録され、送信信号は、ネットワーク78に対して送出される。
【0045】
参照符号81で示す入力端子には、スイッチ73を介して出力されるAV信号を視聴する視聴者の生体信号例えば呼吸信号が入力される。生体信号がデータ収集部82に供給される。データ分析部83の分析結果(呼吸深さ出力、呼吸タイミング出力、呼吸間隔出力等)のデータがスタート判断部84に入力される。スタート判断部84は、記録/送信/演奏をスタートするタイミングを決定し、スタート指示部85を制御する信号を出力する。
【0046】
スタート指示部85は、スタート指示信号をディスプレイおよび/またはスピーカに対して出力する。ディスプレイの簡単なものは、発光ダイオード等の発光素子である。他のものは、画面上に文字を表示するものでも良い。発光素子がスタートのタイミング毎に点灯したり、スタートを示す文字が表示される。演奏者または記録/送信を管理する者は、このディスプレイを見て、キーボードまたはボタンを操作して記録/送信/演奏スタート信号をスタート指示部85から発生させる。記録/送信/演奏スタート信号によってスイッチ部73がオンし、RAM72に蓄積されているAVデータの読み出しがスタートされる。スピーカは、記録/送信/演奏スタートのタイミングを示す音声情報、ブザー等を再生するものである。ディスプレイを見て、または音声情報、ブザー等を聞いて演奏者/記録/送信を管理する者がキーボード、ボタンを押すことによって記録/送信/演奏がスタートする。
【0047】
なお、データ分析部83、スタート判断部84およびスタート指示部85の一部または全体を人為的操作を介さずにハードウェア処理またはソフトウェア処理で自動的に行うようにしても良い。
【0048】
さらに、図7の構成において、視聴者が送信/記録/演奏場所側に居るものとしているが、受信側の場所に居り、視聴者の生体信号または生体信号に基づいて生成されたスタート信号を受信側から送信側に送信し、送信側がこのスタート信号に同期してAV信号の送信をスタートするようにしても良い。
【0049】
この発明は、上述したこの発明の一実施形態に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば複数の視聴者の各人の生体信号との関係でどのタイミングでスタートすれば良いかを何度かの視聴の結果に基づいて決定し、その視聴者の個人のプロファイル情報として登録するようにしても良い。また、複数の視聴者のプロファイル情報を不揮発性メモリに記憶しておき、視聴者の切り換えを可能としても良い。
【0050】
【発明の効果】
以上の説明から明らかなように、この発明によれば、AV情報の曲、楽章等のスタートのタイミングを視聴者の生体情報に合わせて制御することによって、実際の演奏や、演技の際の息使いや興奮度などにマッチした状況を再現することができ、従来のAVシステムに比較してはるかに臨場感のあるAVシステムを構築することができる。
【図面の簡単な説明】
【図1】この発明における再生スタートタイミングを説明するための略線図である。
【図2】生体信号としての呼吸信号を検出するための構成を示すブロック図である。
【図3】生体信号としての心拍信号を検出するための構成を示すブロック図である。
【図4】この発明による再生指示装置の一実施形態の構成を示すブロック図である。
【図5】この発明による再生装置の一実施形態の構成を示すブロック図である。
【図6】再生装置の一実施形態のより詳細な構成を示すブロック図である。
【図7】この発明による記録/送信および記録/送信指示装置の一実施形態の構成を示すブロック図である。
【符号の説明】
21・・・AV信号の入力端子、24・・・RAM、25・・・スイッチ、31・・・生体信号の入力端子、35・・・スタート指示部、52・・・無音区間検出回路、54・・・AV信号スタート/ストップ部、65・・・ゼロクロス検出回路、66・・・スタートトリガー生成回路、67・・・コントローラ

Claims (15)

  1. 受信されたオーディオ情報および映像情報の少なくとも一方のデータを再生するに際し、視聴者の生体情報を観測し、上記データの再生タイミングを上記観測された生体情報により指示するデータ再生指示方法。
  2. 請求項1において、
    上記生体情報は、体動、呼吸、心拍、脈の少なくとも一つであるデータ再生指示方法。
  3. 請求項1において、
    上記指示は、音声、ブザー、発光素子および表示のいずれかであるデータ再生指示方法。
  4. 受信されたオーディオ情報および映像情報の少なくとも一方のデータを再生するに際し、視聴者の生体情報を観測し、上記データの再生タイミングを上記観測された生体情報により制御し、再生タイミングが制御されたデータを再生するデータ再生方法。
  5. 請求項4において、
    上記生体情報は、体動、呼吸、心拍、脈の少なくとも一つであるデータ再生方法。
  6. オーディオ情報および映像情報の少なくとも一方のデータを送信するに際し、視聴者の生体情報を観測し、上記データの送信タイミングを上記観測された生体情報により指示する情報送信指示方法。
  7. オーディオ情報および映像情報の少なくとも一方のデータを送信するに際し、視聴者の生体情報を観測し、上記データの送信タイミングを上記観測された生体情報により制御し、送信タイミングが制御されたデータを送信する情報送信方法。
  8. オーディオ情報および映像情報の少なくとも一方のデータを記録するに際し、視聴者の生体情報を観測し、上記データの記録タイミングを上記観測された生体情報により指示するデータ記録指示方法。
  9. オーディオ情報および映像情報の少なくとも一方のデータを記録するに際し、視聴者の生体情報を観測し、上記データの記録タイミングを上記観測された生体情報により制御し、記録タイミングが制御されたデータを記録するデータ記録方法。
  10. 受信されたオーディオ情報および映像情報の少なくとも一方のデータを再生するに際し、視聴者の生体情報を観測し、上記データの再生タイミングを上記観測された生体情報により指示するデータ再生指示装置。
  11. 受信されたオーディオ情報および映像情報の少なくとも一方のデータを再生するに際し、視聴者の生体情報を観測し、上記データの再生タイミングを上記観測された生体情報により制御し、再生タイミングが制御されたデータを再生するデータ再生装置。
  12. オーディオ情報および映像情報の少なくとも一方のデータを送信するに際し、視聴者の生体情報を観測し、上記データの送信タイミングを上記観測された生体情報により指示するデータ送信指示装置。
  13. オーディオ情報および映像情報の少なくとも一方のデータを送信するに際し、視聴者の生体情報を観測し、上記データの送信タイミングを上記観測された生体情報により制御し、送信タイミングが制御されたデータを送信するデータ送信装置。
  14. オーディオ情報および映像情報の少なくとも一方のデータを記録するに際し、視聴者の生体情報を観測し、上記データの記録タイミングを上記観測された生体情報により指示するデータ記録指示装置。
  15. オーディオ情報および映像情報の少なくとも一方のデータを記録するに際し、視聴者の生体情報を観測し、上記データの記録タイミングを上記観測された生体情報により制御し、記録タイミングが制御されたデータを記録するデータ記録装置。
JP2003012508A 2003-01-21 2003-01-21 データの記録、送信または再生に関する方法並びに装置 Expired - Fee Related JP4158533B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2003012508A JP4158533B2 (ja) 2003-01-21 2003-01-21 データの記録、送信または再生に関する方法並びに装置
PCT/JP2003/016729 WO2004066265A1 (ja) 2003-01-21 2003-12-25 データの記録、送信または再生に関する方法並びに装置
KR1020057010678A KR100994522B1 (ko) 2003-01-21 2003-12-25 데이터의 기록, 송신 또는 재생을 위한 방법 및 장치
CA002512524A CA2512524A1 (en) 2003-01-21 2003-12-25 Method and device for recording, transmitting, or reproducing data
CN2003801083016A CN1735923B (zh) 2003-01-21 2003-12-25 与数据的记录、发送、或再现有关的方法和装置
US10/542,086 US20060072397A1 (en) 2003-01-21 2003-12-25 Method and device for recording, transmitting, or reproducing data
EP03768231A EP1587060A4 (en) 2003-01-21 2003-12-25 METHOD AND DEVICE FOR RECORDING, TRANSMITTING OR REPRODUCING DATA
TW093101418A TWI278850B (en) 2003-01-21 2004-01-19 Data recording, transmission or regeneration method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003012508A JP4158533B2 (ja) 2003-01-21 2003-01-21 データの記録、送信または再生に関する方法並びに装置

Publications (3)

Publication Number Publication Date
JP2004228778A true JP2004228778A (ja) 2004-08-12
JP2004228778A5 JP2004228778A5 (ja) 2005-06-23
JP4158533B2 JP4158533B2 (ja) 2008-10-01

Family

ID=32767333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003012508A Expired - Fee Related JP4158533B2 (ja) 2003-01-21 2003-01-21 データの記録、送信または再生に関する方法並びに装置

Country Status (8)

Country Link
US (1) US20060072397A1 (ja)
EP (1) EP1587060A4 (ja)
JP (1) JP4158533B2 (ja)
KR (1) KR100994522B1 (ja)
CN (1) CN1735923B (ja)
CA (1) CA2512524A1 (ja)
TW (1) TWI278850B (ja)
WO (1) WO2004066265A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8358906B2 (en) 2004-10-18 2013-01-22 Sony Corporation Content playback method and content playback apparatus
JP2013219585A (ja) * 2012-04-10 2013-10-24 Nippon Telegr & Teleph Corp <Ntt> 再生コンテンツ制御装置とその方法とプログラム
JP2014041686A (ja) * 2013-09-03 2014-03-06 Nippon Telegr & Teleph Corp <Ntt> 再生速度同期装置、再生速度同期方法、及びプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008764A (zh) * 2014-04-30 2014-08-27 小米科技有限责任公司 多媒体信息标记方法及相关装置
CN104090662A (zh) * 2014-07-15 2014-10-08 北京金和软件股份有限公司 一种用呼吸特征控制电子设备界面的方法
JP2018191159A (ja) * 2017-05-08 2018-11-29 山▲崎▼ 薫 動画の配信方法
EP3664459A1 (en) * 2018-12-05 2020-06-10 Nokia Technologies Oy Rendering media content based on a breathing sequence
EP3662953B1 (en) 2018-12-05 2023-11-08 Nokia Technologies Oy Causing a changed breathing sequence based on media content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001224690A (ja) * 1999-12-08 2001-08-21 Takumi Kitazawa 安眠装置及びこれを用いて作成した記録媒体
JP2001344352A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
JP2001350474A (ja) * 2000-06-08 2001-12-21 Yamaha Corp 時系列データの読出制御装置、演奏制御装置および映像再生制御装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2713891A1 (de) * 1977-03-29 1978-10-12 Schweizer Helgi Jon Dr Vorrichtung zur herstellung und anwendung rhythmischer reizstrukturen
US4216462A (en) * 1978-03-06 1980-08-05 General Electric Company Patient monitoring and data processing system
US4883067A (en) * 1987-05-15 1989-11-28 Neurosonics, Inc. Method and apparatus for translating the EEG into music to induce and control various psychological and physiological states and to control a musical instrument
JPS63300772A (ja) * 1987-05-30 1988-12-07 Sogo Igaku Kenkyusho:Kk バイオフィ−ドバック装置
JPH02503996A (ja) * 1987-07-08 1990-11-22 メルテスドルフ,フランク エル フイツトネス・トレーニングを音楽により補助する方法、及びこの方法を実施する装置
IL86582A (en) * 1988-05-31 1993-01-31 Benjamin Gavish Device and method for modulating respiration activity
JPH06342282A (ja) 1993-04-08 1994-12-13 Sony Corp 音楽出力装置
US5704366A (en) * 1994-05-23 1998-01-06 Enact Health Management Systems System for monitoring and reporting medical measurements
US20010044588A1 (en) * 1996-02-22 2001-11-22 Mault James R. Monitoring system
US6018118A (en) * 1998-04-07 2000-01-25 Interval Research Corporation System and method for controlling a music synthesizer
US6230047B1 (en) * 1998-10-15 2001-05-08 Mchugh David Musical listening apparatus with pulse-triggered rhythm
US6212135B1 (en) * 1999-04-05 2001-04-03 Simeon B. Schreiber Assistive breathing device
US6665409B1 (en) * 1999-04-12 2003-12-16 Cirrus Logic, Inc. Methods for surround sound simulation and circuits and systems using the same
JP2000294389A (ja) * 1999-04-12 2000-10-20 Matsushita Electric Ind Co Ltd 照明制御データ編集装置
JP4359968B2 (ja) * 1999-08-19 2009-11-11 ソニー株式会社 通信装置および方法、並びに記録媒体
JP3646600B2 (ja) * 2000-01-11 2005-05-11 ヤマハ株式会社 演奏インターフェイス
US6320968B1 (en) * 2000-06-28 2001-11-20 Esion-Tech, Llc Adaptive noise rejection system and method
WO2002080765A1 (en) * 2001-02-23 2002-10-17 Pulse Metric, Inc. Hemodynamic analysis device and method
US6960715B2 (en) * 2001-08-16 2005-11-01 Humanbeams, Inc. Music instrument system and methods
JP2003111106A (ja) * 2001-09-28 2003-04-11 Toshiba Corp 集中度取得装置並びに集中度を利用した装置及びシステム
JP2003248768A (ja) * 2002-02-26 2003-09-05 Fuji Photo Film Co Ltd 画像評価装置及び方法、画像注文受付装置及び方法
US8672852B2 (en) * 2002-12-13 2014-03-18 Intercure Ltd. Apparatus and method for beneficial modification of biorhythmic activity
US20040225340A1 (en) * 2003-03-10 2004-11-11 Evans James W. Light/breath/meditation device
EP1465159B1 (en) * 2003-03-31 2006-03-22 Alcatel Virtual microphone array
US7713212B2 (en) * 2003-11-03 2010-05-11 Coherence Llc Method and system for consciously synchronizing the breathing cycle with the natural heart rate cycle
KR20070122447A (ko) * 2005-01-10 2007-12-31 아이포인트 리미티드 신체적 워크아웃을 위한 음악적 페이스 메이커

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001224690A (ja) * 1999-12-08 2001-08-21 Takumi Kitazawa 安眠装置及びこれを用いて作成した記録媒体
JP2001344352A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
JP2001350474A (ja) * 2000-06-08 2001-12-21 Yamaha Corp 時系列データの読出制御装置、演奏制御装置および映像再生制御装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8358906B2 (en) 2004-10-18 2013-01-22 Sony Corporation Content playback method and content playback apparatus
USRE47948E1 (en) 2004-10-18 2020-04-14 Sony Corporation Content playback method and content playback apparatus
JP2013219585A (ja) * 2012-04-10 2013-10-24 Nippon Telegr & Teleph Corp <Ntt> 再生コンテンツ制御装置とその方法とプログラム
JP2014041686A (ja) * 2013-09-03 2014-03-06 Nippon Telegr & Teleph Corp <Ntt> 再生速度同期装置、再生速度同期方法、及びプログラム

Also Published As

Publication number Publication date
EP1587060A1 (en) 2005-10-19
EP1587060A4 (en) 2010-10-13
WO2004066265A1 (ja) 2004-08-05
KR20050101161A (ko) 2005-10-20
JP4158533B2 (ja) 2008-10-01
KR100994522B1 (ko) 2010-11-15
TW200425113A (en) 2004-11-16
TWI278850B (en) 2007-04-11
CA2512524A1 (en) 2004-08-05
CN1735923B (zh) 2011-04-06
CN1735923A (zh) 2006-02-15
US20060072397A1 (en) 2006-04-06

Similar Documents

Publication Publication Date Title
US20100194995A1 (en) Data recording medium, data recording method, data recording apparatus, data reproducing method, data reproducing apparatus, data transmitting method, and data transmitting apparatus
JP4069601B2 (ja) 音楽再生装置、音楽再生装置の制御方法
JP4979018B2 (ja) コンピュータプログラム、並びに情報再生装置及び方法
JP2008525055A (ja) オーディオ信号の再生システム及び方法
JPWO2007004541A1 (ja) コンピュータプログラム、並びに情報再生装置及び方法
JP4391091B2 (ja) 情報伝送方法、情報伝送装置、情報記録方法、情報記録装置、情報再生方法、情報再生装置および記録媒体
JP2005056205A (ja) コンテンツ再生装置及びコンテンツ再生方法
JP4158533B2 (ja) データの記録、送信または再生に関する方法並びに装置
WO2006022148A1 (ja) 情報再生装置
JP5381293B2 (ja) 放音制御装置
JP4284504B2 (ja) コンテンツ再生方法、コンテンツ再生装置、コンテンツ配信方法およびコンテンツ配信装置
JP2990994B2 (ja) 再生装置
JP7272360B2 (ja) 符号化装置、符号化方法、復号装置、復号方法、プログラム
JP4348391B2 (ja) オーディオ信号再生装置
JP4317892B2 (ja) オーディオ信号再生装置
JP2019040000A (ja) 聴診トレーニングシステム
JPH0368391B2 (ja)
JP2006004518A (ja) ディスク再生装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041006

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080307

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080624

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080707

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130725

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees