JP2012255869A - 再生速度同期装置及びプログラム - Google Patents
再生速度同期装置及びプログラム Download PDFInfo
- Publication number
- JP2012255869A JP2012255869A JP2011128159A JP2011128159A JP2012255869A JP 2012255869 A JP2012255869 A JP 2012255869A JP 2011128159 A JP2011128159 A JP 2011128159A JP 2011128159 A JP2011128159 A JP 2011128159A JP 2012255869 A JP2012255869 A JP 2012255869A
- Authority
- JP
- Japan
- Prior art keywords
- respiratory
- content
- update interval
- information
- playback speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000029058 respiratory gaseous exchange Effects 0.000 claims abstract description 220
- 238000004364 calculation method Methods 0.000 claims abstract description 82
- 238000000605 extraction Methods 0.000 claims abstract description 56
- 230000008451 emotion Effects 0.000 claims abstract description 44
- 230000002996 emotional effect Effects 0.000 claims abstract description 44
- 230000000241 respiratory effect Effects 0.000 claims description 253
- 238000012545 processing Methods 0.000 claims description 46
- 238000012937 correction Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 238000012886 linear function Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 9
- 238000000034 method Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 23
- 238000005259 measurement Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 238000012986 modification Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 12
- 238000009531 respiratory rate measurement Methods 0.000 description 11
- 230000000737 periodic effect Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 210000001015 abdomen Anatomy 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000003434 inspiratory effect Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 230000008430 psychophysiology Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
【解決手段】鑑賞者の呼吸情報を用い、鑑賞者によって行われた複数回の呼吸に対応する複数個の呼吸周期に対応する情動呼吸周期を抽出し、情動呼吸周期が長いほど長い基本サンプル更新間隔を算出し、基本サンプル更新間隔に対応する時間間隔であるサンプル更新間隔で、時間軸に沿った複数の再生位置にそれぞれ対応するコンテンツ情報に含まれる再生対象のコンテンツ情報を更新し、再生対象のコンテンツ情報を表す再生情報を出力する。
【選択図】図1
Description
本発明はこのような点に鑑みてなされたものであり、鑑賞者の情動や活動度に影響を受ける呼吸に併せてコンテンツの再生速度を適切に制御することが可能な技術を提供することを目的とする。
[用語の定義]
以下のように用語を定義する。
コンテンツ:音楽、音声若しくは朗読、又は、演劇、映画若しくはテレビ番組その他の動画など、鑑賞目的のための音響情報や映像情報を意味する。
コンテンツ情報:コンテンツを構成し、時間軸に沿って順次再生される情報を意味する。
再生位置:時間軸に沿って順次再生される各コンテンツ情報の再生位置、つまり、コンテンツ再生における時間軸上の進行位置を意味する。より具体的には、例えば、フレーム位置、サンプル点、タイムコード、ソングポジションポインターなどが再生位置に対応する。
呼吸目標設定位置:少なくとも一部の再生位置に対応する時間軸上の進行位置を意味する。呼吸目標設定位置の例は少なくとも一部の再生位置である。
基準状態:所定の呼吸状態を意味する。例えば、呼気開始状態、呼気終了状態、吸気開始状態、吸気終了状態などが基準状態に対応する。
呼吸基準位置:呼吸状態が特定の基準状態となる時間軸上の位置を意味する。
再生速度:ある再生位置Aのコンテンツ情報を再生してから次の再生位置Bのコンテンツ情報を再生するまでに要する時間の逆数を意味する。再生テンポやクロック間隔などに読み替え可能な概念である。
設定呼吸周期付きコンテンツ:設定呼吸周期とコンテンツ情報とを含むコンテンツを意味する。設定呼吸周期付きコンテンツの具体例は後述する。
設定呼吸周期付き呼吸目標コンテンツ:目標となる呼吸状態が呼吸目標設定位置に設定された設定呼吸周期付きコンテンツを意味する。設定呼吸周期付き呼吸目標コンテンツの具体例は後述する。
以下に本発明の第1実施形態を説明する。
<構成>
図1に例示するように、第1実施形態の再生速度同期装置1は、入力部11と、設定呼吸周期付きコンテンツ12aを格納する記憶部12と、呼吸計測部13と、呼吸情動成分抽出部14と、基本再生速度演算部15と、コンテンツ再生速度制御部16と、再生部17と、制御部18とを有する。
入力部11は、設定呼吸周期付きコンテンツ12aの入力を受け付ける機能部であり、入力部11の例は、入力ポート、入力インタフェース、読み出し装置、受信装置などである。
本形態の設定呼吸周期付きコンテンツ12aは、設定呼吸周期と時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報とを含むデータ構造からなるデータである。例えば、図4に例示する設定呼吸周期付きコンテンツ12aは、時間軸に沿った各サンプル点τにそれぞれ対応する音程や音の強さを示すMIDIデータであるコンテンツ情報d(τ)との設定呼吸周期sBfとを含む。この例のサンプル点τは0以上の整数であり、値が大きいほど遅い時間に対応する。図4に例示する設定呼吸周期付きコンテンツ12aは、再生対象のサンプル点τが時間軸に沿って順次更新されながら、各再生対象のサンプル点τに対応するコンテンツ情報が順次再生される。この再生対象のサンプル点τの更新周期をサンプル更新間隔と呼び、コンテンツ創作時等に予め定められたサンプル更新間隔の標準設定値をS0とする。p(t)は時刻tの時点で再生されるコンテンツ情報d(τ)に対応するサンプル点τを表し、現時刻t=t1の時点で再生されるコンテンツ情報をd(p(t1))と表す。tは離散的な時刻に対応する整数インデックスであり、「時刻t」とは整数インデックスtに対応する時刻を意味する。簡単のためにtは周期T1で1ずつ増加するものとする。
記憶部12は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどの情報記憶装置である。
呼吸計測部13は、コンテンツの鑑賞者100の呼吸状態を計測し、それによって得られる呼吸情報を出力する周知の装置である。本形態の例では、胸部回りや腹部回りの長さに対応する情報(呼吸レベル)を呼吸情報とし、胸部や腹部に巻き付けられたゴム管の抵抗変化から呼吸を検出する装置(例えば、日本光電製のTR-753Tや、ADInstruments製のMLT1132)を呼吸計測部13とする。この例の呼吸計測部13は、設定されたある任意の周期T1で呼吸レベルV(t)を計測して出力する。V(t)は時刻tでの呼吸レベルを表す。
図2は、呼吸計測部から出力される呼吸レベルV(t)を例示したグラフである。
図2の例では、呼気が開始される時刻である呼気開始時刻(bpe(n-1)等)で呼吸レベルV(t)が極大となり、呼気状態が進むにつれて呼吸レベルV(t)が減少し、吸気が開始される時刻である吸気開始時刻(bpi(n)等)で呼吸レベルV(t)が極小となり、吸気状態が進むにつれて呼吸レベルV(t)が増加し、次の呼気開始時刻(bpe(n)等)で再び呼吸レベルV(t)が極大となる、といった状態が周期的に繰り返される。
呼吸情動成分抽出部14は、例えば、CPU(central processing unit)、メモリ等で構成され、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸情動成分抽出部14は、呼吸計測部13から出力された鑑賞者100の呼吸レベルV(t)(呼吸情報)を用い、鑑賞者100によって行われた複数回の呼吸に対応する複数個の呼吸周期に対応する情動呼吸周期を抽出して出力する。情動呼吸周期は、鑑賞者100の呼吸レベルを中・長期的に計測して得られる周期であり、鑑賞者100の情動や活動度の影響が反映されたものとなる。
Btot(n)=bpe(n)-bpe(n-1) …(1)
図3の例では現時刻t=t1の直前の呼気開始時刻をbpe(n)としているがこれは本発明を限定するものではなく、それよりも過去の呼気開始時刻をbpe(n)としてもよい。
Bf=(Btot(n)+Btot(n-1)+…+Btot(n-N))÷(N+1) …(2)
ただし、Nは所定の正整数であり、nはNよりも大きい。Nの例は4以上の整数である(非特許文献1参照)。この場合、情動呼吸周期Bfは、5回以上の呼吸に対応する5個以上の呼吸周期に対応する。その他、複数個の呼吸周期Btot(n)の平均値の単調増加関数値や、複数個の呼吸周期Btot(n)の平均値に最も近い当該複数個の呼吸周期Btot(n)中の代表値などを情動呼吸周期Bfとしてもよい。
基本再生速度演算部15は、例えば、CPU、メモリ等で構成され、CPUに所定のプログラムが読み込まれることで構成される処理部である。基本再生速度演算部15は、記憶部12に格納された設定呼吸周期付きコンテンツ12aが含む設定呼吸周期sBfと呼吸情動成分抽出部14から出力された情動呼吸周期Bfとを用い、sBf÷S0とBf÷mS0との値が近づくように基本サンプル更新間隔mS0を算出して出力する。設定呼吸周期sBfとサンプル更新間隔の標準設定値S0は定数であるため、基本再生速度演算部15は、情動呼吸周期Bfが長いほど長い基本サンプル更新間隔mS0を算出する。例えば基本再生速度演算部15は、情動呼吸周期Bfに対する一次関数値を基本サンプル更新間隔mS0とする。言い換えると、基本再生速度演算部15は、例えば情動呼吸周期Bfに単調増加一次関数を作用させた結果を基本サンプル更新間隔mS0とする。例えば基本サンプル更新間隔mS0は以下の式に従って得られる。
mS0=S0×(a×(Bf÷sBf-1)+1) …(3)
ただし、aは情動呼吸周期Bfと設定呼吸周期sBfの違いを基本サンプル更新間隔mS0へ反映させる程度を表す調節量であり、例えば0より大きく1以下の任意の定数である。
コンテンツ再生速度制御部16は、例えば、CPU、メモリ等で構成され、CPUに所定のプログラムが読み込まれることで構成される処理部である。コンテンツ再生速度制御部16には、基本再生速度演算部15から出力された基本サンプル更新間隔mS0と、記憶部12に格納された設定呼吸周期付きコンテンツ12aに含まれるコンテンツ情報d(τ)とが入力される。コンテンツ再生速度制御部16は、基本サンプル更新間隔mS0に対応する時間間隔であるサンプル更新間隔で、時間軸に沿った複数のサンプル点τ(再生位置)にそれぞれ対応するコンテンツ情報d(τ)に含まれる再生対象のコンテンツ情報d(τ)を更新し、再生対象のコンテンツ情報d(τ)を表す再生情報r(τ)を順次出力する。本形態のサンプル更新間隔は、基本サンプル更新間隔mS0そのものである。
再生部17は、例えば、アンプ、スピーカー、画像表示装置などから構成される周知の呈示装置である。再生部17は、コンテンツ再生速度制御部16から出力された再生情報r(τ)を入力とし、再生情報r(τ)によって特定される音響情報等のコンテンツを出力する。
制御部18は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。制御部18は、再生速度同期装置1の処理全体を制御する。
次に、本形態の再生速度同期方法を例示する。
図5に例示するように、入力部11に設定呼吸周期付きコンテンツ12aが入力され(ステップS101)、記憶部12に格納される(ステップS102)。
以下に本発明の第2実施形態を説明する。第1実施形態では設定呼吸周期付きコンテンツ12aの再生が開始される前に1つの基本サンプル更新間隔mS0が算出され、基本サンプル更新間隔mS0を更新間隔として再生対象のコンテンツ情報d(τ)が更新されつつ、設定呼吸周期付きコンテンツ12aの再生が行われた。第2実施形態では、設定呼吸周期付きコンテンツ12aの再生開始後、呼吸計測部13での処理、呼吸情動成分抽出部での処理及び基本再生速度演算部での処理が繰り返されることで基本サンプル更新間隔mS0が更新され、更新された基本サンプル更新間隔mS0をサンプル更新間隔として再生対象のコンテンツ情報d(τ)を更新する。以下では第1実施形態との相違点を中心に説明し、第1実施形態と共通する事項については説明を省略する。第1実施形態と共通する事項については第1実施形態と共通の参照番号を用いる。
図1に例示するように、第2実施形態の再生速度同期装置2は、入力部11と、設定呼吸周期付きコンテンツ12aを格納する記憶部12と、呼吸計測部13と、呼吸情動成分抽出部24と、基本再生速度演算部25と、コンテンツ再生速度制御部26と、再生部17と、制御部28とを有する。
第1実施形態と同様であるため説明を省略する。
呼吸情動成分抽出部24は、例えば、CPU、メモリ等で構成され、CPUに所定のプログラムが読み込まれることで構成される処理部である。本形態の呼吸情動成分抽出部24は、現時刻t=t1直前の複数回の呼吸に対応する複数個の呼吸周期に対応する情動呼吸周期Bf(i)を抽出して出力する。iは情動呼吸周期Bf(i)の算出回数を表すために便宜的に付した整数である。情動呼吸周期Bf(i)が更新されるたびにiが1ずつ増加するものとする。
Bf(i)=(Btot(n)+Btot(n-1)+…+Btot(n-N))÷(N+1) …(4)
基本再生速度演算部25は、例えば、CPU、メモリ等で構成され、CPUに所定のプログラムが読み込まれることで構成される処理部である。基本再生速度演算部25は、記憶部12に格納された設定呼吸周期付きコンテンツ12aが含む設定呼吸周期sBfと呼吸情動成分抽出部24から出力された情動呼吸周期Bf(i)とを用い、sBf÷S0とBf(i)÷mS(i)との値が近づくように基本サンプル更新間隔mS(i)を算出して出力する。設定呼吸周期sBfとサンプル更新間隔の標準設定値S0は定数であるため、基本再生速度演算部25は、情動呼吸周期Bf(i)が長いほど長い基本サンプル更新間隔mS(i)を算出する。例えば基本再生速度演算部25は、情動呼吸周期Bf(i)に対する一次関数値を基本サンプル更新間隔mS(i)とする。言い換えると、基本再生速度演算部25は、例えば情動呼吸周期Bf(i)に単調増加一次関数を作用させた結果を基本サンプル更新間隔mS(i)とする。例えば基本サンプル更新間隔mS(i)は以下の式に従って得られる。
mS(i)=S0×(a×(Bf(i)÷sBf-1)+1) …(5)
コンテンツ再生速度制御部26は、例えば、CPU、メモリ等で構成され、CPUに所定のプログラムが読み込まれることで構成される処理部である。基本再生速度演算部25から出力された最新の基本サンプル更新間隔mS(i)と、記憶部12に格納された設定呼吸周期付きコンテンツ12aに含まれるコンテンツ情報d(τ)とが、コンテンツ再生速度制御部26に入力される。コンテンツ再生速度制御部26は、基本サンプル更新間隔mS(i)に対応する時間間隔であるサンプル更新間隔で、時間軸に沿った複数のサンプル点τ(再生位置)にそれぞれ対応するコンテンツ情報d(τ)に含まれる再生対象のコンテンツ情報d(τ)を更新し、再生対象のコンテンツ情報d(τ)を表す再生情報r(τ)を順次出力する。本形態のサンプル更新間隔は、基本サンプル更新間隔mS(i)そのものである。
制御部28は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。制御部28は、再生速度同期装置2の処理全体を制御する。
次に、本形態の再生速度同期方法を例示する。
図6に例示するように、第1実施形態で説明したステップS101−S105の処理が実行された後、基本再生速度演算部25に、設定呼吸周期付きコンテンツ12aが含む設定呼吸周期sBfと呼吸情動成分抽出部24から出力された情動呼吸周期Bf(i)とが入力される。基本再生速度演算部25は、例えば式(5)に従って基本サンプル更新間隔mS(i)を算出して出力する(ステップS206)。
第3実施形態は第1実施形態の変形例である。第3実施形態では、コンテンツ情報と少なくとも一部の再生位置に対応する時間軸上の進行位置である呼吸目標設定位置に対して定められた呼吸状態を特定する呼吸目標情報とを含む呼吸目標コンテンツの再生を行う。呼吸目標設定位置に対して定められた呼吸状態が当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくようにコンテンツのサンプル更新間隔を制御する。本形態の特徴は、第1実施形態で説明した「情動呼吸周期が長いほど長い基本サンプル更新間隔」に基づいて、サンプル更新間隔の制御を行う点である。以下では、第1実施形態との相違点を中心に説明する。
図7に例示するように、第3実施形態の再生速度同期装置3は、入力部11と、設定呼吸周期付き呼吸目標コンテンツ32aを格納する記憶部32と、呼吸計測部13と、呼吸情動成分抽出部14と、呼吸指標抽出部34と、基本再生速度演算部15と、再生速度演算部39と、コンテンツ再生速度制御部36と、再生部17と、制御部38とを有する。
第1実施形態と同様であるため説明を省略する。
本形態の設定呼吸周期付き呼吸目標コンテンツ32aは、設定呼吸周期と、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する時間軸上の位置である呼吸目標設定位置に対して定められた呼吸状態を特定する呼吸目標情報と、再生位置にそれぞれ対応する係数である同期重要度とを含むデータ構造からなるデータである。同期重要度は、それに対応する再生位置に対応する呼吸目標情報の重要度を示す。すなわち同期重要度は、それに対応する再生位置に対応する呼吸目標情報と、その再生位置に対応するコンテンツ情報が再生される時点での鑑賞者100の呼吸と、を同期させる重要度が大きいほど大きな値をとる。本形態の同期重要度は0以上1以下の値に設定されることが望ましい。
例えば、図8に例示する設定呼吸周期付き呼吸目標コンテンツ32aは、設定呼吸周期sBfと、時間軸に沿った各サンプル点τ(再生位置)にそれぞれ対応する音程や音の強さを示すMIDIデータであるコンテンツ情報d(τ)と、呼気運動を開始する時点として望ましいサンプル点である各呼吸目標サンプル点に対して定められた呼気開始状態を特定するための呼吸目標情報Bpe(μ)と、各サンプル点τにそれぞれ対応する係数である同期重要度α(τ)を含むデータ構造からなるデータである。
記憶部32は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどの情報記憶装置である。
呼吸指標抽出部34は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部34は、鑑賞者を計測して得られる呼吸情報から当該鑑賞者の呼吸状態に対応する呼吸指標を抽出し、当該呼吸指標を出力するものである。本形態の例の呼吸指標抽出部34は、呼吸計測部13から出力された呼吸レベルV(t)を入力とし、計測対象となる鑑賞者100の、時刻tからみた直近の未来の呼気開始時刻の予測値pbpe(n)を呼吸指標として出力する。
呼気開始時刻の予測値pbpe(n)は、例えば、現在の時刻t=t1からみた直近の過去の呼吸周期を、時刻t=t1からみた直近の未来の呼吸周期と推定して求めることができる。すなわち、呼気開始時刻の予測値pbpe(n)は、例えば以下のように算出することができる。
pbpe(n)=bpe(n-1)+(bpe(n-1)-bpe(n-2))
=2・bpe(n-1)-bpe(n-2) …(6)
ここでbpe(n-1)は、呼吸レベルV(t1), V(t1-1), V(t1-2),...を用いて算出された時刻t=t1からみた直近の過去の呼気開始時刻を表し、bpe(n-2)は、呼吸レベルV(t1), V(t1-1), V(t1-2),...を用いて算出された呼気開始時刻bpe(n-1)からみた直近の過去の呼気開始時刻を表す。より具体的には、例えば、時刻t=t1からみた直近の呼吸レベルの極大値に対応する時刻をbpe(n-1)とし、呼気開始時刻bpe(n-1)からみた直近の呼吸レベルの極大値に対応する時刻をbpe(n-2)とする(図8参照)。
再生速度演算部39は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部39は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように、各再生位置にそれぞれ対応する各コンテンツ情報を時間軸に沿って順次再生する際のサンプル更新間隔を設定する。言い換えると、再生速度演算部39は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態との相関が高くなるように、コンテンツのサンプル更新間隔を設定する。
S(t1)=α(p(t1)){((pbpe(n)-t1)/(Bpe(m)-p(t1)))-mS0}+mS0 …(7)
この例ではα(p(t1)){((pbpe(n)-t1)/(Bpe(m)-p(t1)))-mS0}が補正値である。同期重要度α(p(t1))が1の場合、時刻t1から時刻pbpe(n)までの間に再生対象のサンプル点がp(t1)からBpe(m)まで更新されるようなサンプル更新間隔S(t1)が算出される。同期重要度α(p(t1))が0以上1未満の場合、同期重要度α(p(t1))が1の場合のものよりも補正値の小さなサンプル更新間隔S(t1)が算出される。同期重要度α(p(t1))が0の場合には第1実施形態と同様にS(t1)=mS0となり、同期重要度α(p(t1))が0よりも大きい場合にはS(t1)≠mS0となる。
コンテンツ再生速度制御部36は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。コンテンツ再生速度制御部36には、再生速度演算部39から出力されたサンプル更新間隔S(t1)と、記憶部32に格納された設定呼吸周期付き呼吸目標コンテンツ32aに含まれるコンテンツ情報d(τ)とが入力される。コンテンツ再生速度制御部36は、サンプル更新間隔S(t1)で再生対象のコンテンツ情報d(τ)を更新し、再生対象のコンテンツ情報d(τ)を表す再生情報r(τ)を順次出力する。
制御部38は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。制御部38は、再生速度同期装置3の処理全体を制御する。
次に、本形態の再生速度同期方法を例示する。
図10に例示するように、第1実施形態で説明したステップS101−S106の処理が実行された後、呼吸指標抽出部34が例えば式(6)に従って呼吸指標pbpe(n)を算出して出力する。さらに再生速度演算部39に、基本再生速度演算部15から出力された基本サンプル更新間隔mS0と、呼吸指標抽出部34から出力された呼吸指標pbpe(n)と、記憶部32に格納された設定呼吸周期付き呼吸目標コンテンツ32aから抽出した呼吸目標サンプル点Bpe(m)、同期重要度α(p(t1))及びサンプル点τ=p(t1)とが入力される。再生速度演算部39は、例えば式(7)に従ってサンプル更新間隔S(t1)を算出して出力する(ステップS306)。
第3実施形態では第1実施形態で説明した基本サンプル更新間隔mS0に基づいてサンプル更新間隔の制御が行われたが、第2実施形態で説明した基本サンプル更新間隔mS(i)に基づいてサンプル更新間隔の制御が行われてもよい。以下では第3実施形態との相違点を中心に説明する。
図7に例示するように、第3実施形態の変形例の再生速度同期装置3’は、再生速度同期装置3の基本再生速度演算部15が基本再生速度演算部25に置換され、再生速度演算部39が再生速度演算部39’に置換されたものである。
[再生速度演算部39’]
再生速度演算部39’は、再生速度演算部39で用いられた基本サンプル更新間隔mS0の代わりに基本再生速度演算部25から出力された基本サンプル更新間隔mS(i)を用いて、サンプル更新間隔S(t1)を算出する。例えば再生速度演算部39は、以下の式に従ってサンプル更新間隔S(t1)を算出する。
S(t1)=α(p(t1)){((pbpe(n)-t1)/(Bpe(m)-p(t1)))-mS(i)}+mS(i) …(8)
図10に例示するように、第3実施形態の変形例の再生速度同期方法では、ステップS106の代わりにステップS206の処理が実行される。また、ステップS306の代わりに、再生速度演算部39’に基本再生速度演算部25から出力された基本サンプル更新間隔mS(i)と、呼吸指標抽出部34から出力された呼吸指標である呼気開始時刻の予測値pbpe(n)と、記憶部32に格納された設定呼吸周期付き呼吸目標コンテンツ32aから抽出した呼吸目標サンプル点Bpe(m)、同期重要度α(p(t1))及びサンプル点τ=p(t1)とが入力される。再生速度演算部39’は、例えば式(8)に従ってサンプル更新間隔S(t1)を算出して出力する(ステップS306’)。その他は第3実施形態と同様である。
第4実施形態は第3実施形態の変形例である。第4実施形態の呼吸目標情報及び呼吸指標は、それぞれ、周期的な呼吸運動の位相を特定するための情報であり、第4実施形態の再生速度演算部は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相との差が小さくなるようにサンプル更新間隔を制御する。本形態の特徴は、第1実施形態で説明した「情動呼吸周期が長いほど長い基本サンプル更新間隔」に基づいて、サンプル更新間隔の制御を行う点である。以下では、第3実施形態との相違点を中心に説明を行う。
図7に例示するように、第4実施形態の再生速度同期装置4は、入力部11と、設定呼吸周期付き呼吸目標コンテンツ42aを格納する記憶部42と、呼吸計測部13と、呼吸情動成分抽出部14と、呼吸指標抽出部44と、基本再生速度演算部15と、再生速度演算部49と、コンテンツ再生速度制御部36と、再生部17と、制御部48とを有する。
第1実施形態と同様であるため説明を省略する。
設定呼吸周期と、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する時間軸上の位置である呼吸目標設定位置に対して定められた呼吸状態を特定する呼吸目標情報と、再生位置にそれぞれ対応する係数である同期重要度とを含むデータ構造からなるデータである。設定呼吸周期付き呼吸目標コンテンツ32aとの相違は、呼吸目標情報が周期的な呼吸運動の位相を特定するための情報である点である。
記憶部42は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどの情報記憶装置である。
呼吸指標抽出部44は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部44は、鑑賞者100を計測して得られる呼吸情報から当該鑑賞者の周期的な呼吸運動の位相を特定するための情報を呼吸指標として抽出し、当該呼吸指標を出力するものである。
図12Aは、第4実施形態の呼吸指標抽出部44が算出する呼吸指標の例を説明するための図である。
1.呼吸計測部13から出力された時刻tにおける呼吸レベルV(t)を相空間の1次元目の値とする。
2.呼吸レベルV(t)を時間遅延フィルターに通して得られる呼吸レベルV(t-γ)を相空間の2次元目の値とする。ここでγは時間遅延フィルターの遅延幅であり、呼吸の場合は200msから800ms程度が望ましい。
3.相空間の直行座標系の点(V(t),V(t-γ))を極座標表示した場合の偏角を、呼吸指標φ(t)として求めて出力する(図12A参照)。
このような値を呼吸指標φ(t)とする場合、予め定められた各サンプル点τにおいて望ましい呼吸指標φ(t)が、当該サンプル点τに対応する呼吸目標情報Φ(τ)(図11参照)として設定呼吸周期付き呼吸目標コンテンツ42aに設定されている。
再生速度演算部49は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部49は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相との差が小さくなるようにサンプル更新間隔S(t1)を算出して出力する。
R(t1)=φ(t1)-Φ(p(t1)) …(9)
If |R(t1)|>π then L(t1)=R(t1)-Sgn(R(t1))・2π else L(t1)=R(t1) …(10)
ただし、Sgn(δ)は符号関数であり、その関数値は、δ<0のときはSgn(δ)=-1となり、δ=0のときはSgn(δ)=0となり、δ>0のときはSgn(δ)=1となる。L(t1)>0の場合、時刻t=t1において鑑賞者100の呼吸が呼吸目標情報の示す呼吸より進んでいることになり、L(t1)<0の場合、時刻t=t1において鑑賞者100の呼吸が呼吸目標情報の示す呼吸より遅れていることになる。図12Bに、呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とL(t1)との関係を例示する。図12BはL(t1)<0の例である。
S(t1)=mS0/{α(p(t1))・C・L(t1)+1} …(11)
CはC>0を満たす任意の定数である。例えば、取り得るすべてのα(τ),L(t)に対してα(p(t))・C・L(t)+1>0となるように定数Cが定められた場合、再生速度演算部49は、鑑賞者の呼吸が呼吸目標情報の示す呼吸より進んでいる場合(L(t1)>0)に、mS0よりも大きなサンプル更新間隔S(t1)を算出し、鑑賞者の呼吸が呼吸目標情報の示す呼吸に同期している場合(L(t1)=0)に、mS0と等しいサンプル更新間隔S(t1)を算出し、鑑賞者の呼吸が呼吸目標情報の示す呼吸より遅れている場合(L(t1)<0)に、mS0よりも小さなサンプル更新間隔S(t1)を算出する。
図10を用いて本形態の再生速度同期方法を例示する。
図10に例示するように、第1実施形態で説明したステップS101−S106の処理が実行された後、呼吸指標抽出部44が前述した呼吸指標φ(t)を算出して出力する。さらに再生速度演算部49に、基本再生速度演算部15から出力された基本サンプル更新間隔mS0と、呼吸指標抽出部44から出力された呼吸指標φ(t)と、記憶部42に格納された設定呼吸周期付き呼吸目標コンテンツ42aから抽出した呼吸目標情報Φ(τ)、同期重要度α(p(t1))及びサンプル点τ=p(t1)とが入力される。再生速度演算部49は、例えば式(11)に従ってサンプル更新間隔S(t1)を算出して出力する(ステップS406)。その後の処理は第3実施形態と同じである。
式(11)の代わりに、以下の式に従ってサンプル更新間隔S(t1)が算出されてもよい。
S(t1)=mS0/{α(p(t1))・D[L(t1)]+1} …(12)
ただし、D[L(t)]はL(t)に関数D[L]を作用させた関数値である。関数D[L]に応じ、鑑賞者100の呼吸に対するコンテンツの再生速度の追従のさせ方を変化させることができる。
図13Aは、以下の式で示される関数を例示した図である。
D[L]=C・L …(13)
この場合の関数値D[L(t)]は、L(t)に対して比例関係にある。この例の場合の処理は、第3実施形態と同一となる。
D[L]=C1*L (L<0) …(14)
D[L]=C2*L (L>=0) …(15)
ただし、C1,C2はC1>C2>0の条件を満たす任意の定数である。この関数D[L]の場合、L(t)>0である場合のL(t)の変化量に対する関数値D[L(t)]の変化量は、L(t)<0である場合のL(t)の変化量に対する関数値D[L(t)]の変化量よりも小さい。この場合、再生速度演算部は、鑑賞者の呼吸の位相が呼吸目標情報の示す呼吸の位相より進んでいる場合(L(t1)>0)のサンプル更新間隔の調整(再生速度を速くする調整)よりも、鑑賞者の呼吸の位相が呼吸目標情報の示す呼吸の位相より遅れている場合(L(t1)<0)のサンプル更新間隔の調整(再生速度を遅くする調整)を強調した処理を行うことになる。すなわち、絶対値が等しいL(t1)に対し、L(t1)<0の場合のS0に対するS(t1)の変化量は、L(t1)>0の場合のS0に対するS(t1)の変化量よりも大きい。
D[L]=SIN(L) …(16)
この関数D[L]の場合、再生速度演算部は、図13Aの関数D[L]を用いる場合に比べ、鑑賞者の呼吸と呼吸目標情報の示す呼吸との位相差が大きくなってもサンプル更新間隔の変化量をさほど増加させないことになる。すなわち、図13B,13Cのように関数値D[L(t)]がL(t)に対して比例関係にない場合、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相との差の変化量に対する再生速度の変化量(サンプル更新間隔の変化量)は、当該呼吸目標設定位置に対応する呼吸目標情報によって特定される位相に対する、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相の相対値(L(t))に依存することになる。
第4実施形態やその変形例1では第1実施形態で説明した基本サンプル更新間隔mS0に基づいてサンプル更新間隔の制御が行われたが、第2実施形態で説明した基本サンプル更新間隔mS(i)に基づいてサンプル更新間隔の制御が行われてもよい。以下では第4実施形態やその変形例1との相違点を中心に説明する。
図7に例示するように、第4実施形態の変形例2の再生速度同期装置4’は、再生速度同期装置4の基本再生速度演算部15が基本再生速度演算部25に置換され、再生速度演算部49が再生速度演算部49’に置換されたものである。
再生速度演算部49’は、再生速度演算部49で用いられた基本サンプル更新間隔mS0の代わりに基本再生速度演算部25から出力された基本サンプル更新間隔mS(i)を用いて、サンプル更新間隔S(t1)を算出する。例えば再生速度演算部49は、以下の式に従ってサンプル更新間隔S(t1)を算出する。
S(t1)=mS(i)/{α(p(t1))・C・L(t1)+1} …(17)
或いは、以下の式に従ってサンプル更新間隔S(t1)が算出されてもよい。
S(t1)=mS(i)/{α(p(t1))・D[L(t1)]+1} …(18)
図10に例示するように、第4実施形態の変形例2の再生速度同期方法では、ステップS106の代わりにステップS206の処理が実行される。また、ステップS406の代わりに、再生速度演算部49’に基本再生速度演算部25から出力された基本サンプル更新間隔mS(i)と、呼吸指標抽出部44から出力された呼吸指標φ(t)と、記憶部42に格納された設定呼吸周期付き呼吸目標コンテンツ42aから抽出した呼吸目標情報Φ(τ)、同期重要度α(p(t1))及びサンプル点τ=p(t1)とが入力される。再生速度演算部49’は、例えば式(17)又は(18)に従ってサンプル更新間隔S(t1)を算出して出力する(ステップS406’)。その他は第4実施形態と同様である。
全実施形態において、鑑賞者によって行われた複数回の呼吸に対応する複数個の呼吸周期に対応する情動呼吸周期が長いほど長い基本サンプル更新間隔に対応するサンプル更新間隔で再生対象のコンテンツ情報を更新することにした。情動呼吸周期は鑑賞者の中長期的な情動や活動状態を反映するものである。よって、全実施形態では、鑑賞者の情動や活動度に影響を受ける呼吸に併せてコンテンツの再生速度を適切に制御することができる。
本発明は上述の実施の形態に限定されるものではない。
例えば、上記の各実施形態やその変形例では、サンプル点に呼吸目標情報や同期重要度が対応付けられたコンテンツを例示した。しかし、呼吸目標情報や同期重要度が何れかの再生位置に対応付けられるのであれば、必ずしも、サンプル点に呼吸目標情報や同期重要度が対応付けられている必要はない。例えば、呼吸目標情報や同期重要度がコンテンツのサンプリング周波数と同じかその(1/自然数)倍の周波数でコンテンツに分布して記録されていても良いし、任意の間隔で記録されていても良い。任意の間隔で記録する際は、例えば、コンテンツ情報の開始点を特定する始点情報と、当該始点情報に対する呼吸目標情報や同期重要度の相対位置を特定する情報とをコンテンツに格納しておけばよい。また、呼吸目標情報や同期重要度は、離散データある必要もなく、アナログ的に記録されていても良い。また、呼吸目標情報や同期重要度は、コンテンツ全体に定義される必要もなく、その一部分にだけに対して定義されていてもよい。
また、上記の各実施形態やその変形例では、コンテンツ情報の具体例として、音程や音の強さを示すMIDIデータを示した。しかし、音楽、音声、映画やテレビ番組等の動画など、鑑賞目的のための音響情報や映像情報を特定するその他のデータがコンテンツ情報であってもよい。また、コンテンツ再生速度制御部は、再生速度が変わっても、音であればピッチや音質を変更しない、映像であればコマ送りや早送りによる映像の乱れを抑える等の処理を含む再生時間制御処理を行うことが望ましい。
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な(non-transitory)記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
Claims (8)
- 鑑賞者の呼吸情報を用い、前記鑑賞者によって行われた複数回の呼吸に対応する複数個の呼吸周期に対応する情動呼吸周期を抽出する呼吸情動成分抽出部と、
前記情動呼吸周期が長いほど長い基本サンプル更新間隔を算出する基本再生速度演算部と、
前記基本サンプル更新間隔に対応する時間間隔であるサンプル更新間隔で、時間軸に沿った複数の再生位置にそれぞれ対応するコンテンツ情報に含まれる再生対象のコンテンツ情報を更新し、前記再生対象のコンテンツ情報を表す再生情報を出力するコンテンツ再生速度制御部と、
を有する再生速度同期装置。 - 請求項1の再生速度同期装置であって、
前記基本サンプル更新間隔は、前記情動呼吸周期に対する一次関数値である、
ことを特徴とする再生速度同期装置。 - 請求項1又は2の再生速度同期装置であって、
前記呼吸情動成分抽出部での処理及び前記基本再生速度演算部での処理が繰り返されることで前記サンプル更新間隔が更新され、
前記コンテンツ再生速度制御部は、更新された前記サンプル更新間隔で、前記再生対象のコンテンツ情報を更新する、
ことを特徴とする再生速度同期装置。 - 請求項1から3の何れかの再生速度同期装置であって、
前記コンテンツ情報と、少なくとも一部の前記再生位置に対応する時間軸上の位置である呼吸目標設定位置に対して定められた呼吸状態を特定する呼吸目標情報と、を含む、呼吸目標コンテンツを格納する記憶部と、
前記呼吸情報から当該鑑賞者の呼吸状態に対応する呼吸指標を抽出する呼吸指標抽出部と、を有し、
前記サンプル更新間隔は、補正値で前記基本サンプル更新間隔を補正することで得られ、
前記補正値は、現時刻から前記呼吸指標に対応する呼吸状態となる時刻までの予測期間を、前記現時刻での前記再生対象のコンテンツ情報に対応する前記再生位置から前記呼吸目標設定位置に対応する前記再生位置までの間に存在する前記再生位置の個数で除することで得られる値と、前記基本サンプル更新間隔と、の間の差分に対応する値である、
ことを特徴とする再生速度同期装置。 - 請求項1から3の何れかの再生速度同期装置であって、
前記コンテンツ情報と、少なくとも一部の前記再生位置に対応する時間軸上の位置である呼吸目標設定位置に対して定められた呼吸状態を特定する呼吸目標情報と、を含む、呼吸目標コンテンツを格納する記憶部と、
前記呼吸情報から当該鑑賞者の呼吸状態に対応する呼吸指標を抽出する呼吸指標抽出部と、を有し、
前記サンプル更新間隔は、補正値で前記基本サンプル更新間隔を補正することで得られ、
前記補正値は、現時刻の前記呼吸指標に対応する呼吸状態と前記呼吸目標設定位置に対して定められた呼吸状態との間の位相差に対応する値である、
ことを特徴とする再生速度同期装置。 - 請求項1から5の何れかの再生速度同期装置であって、
前記情動呼吸周期は、5回以上の呼吸に対応する5個以上の呼吸周期に対応する、
ことを特徴とする再生速度同期装置。 - 請求項1から6の何れかの再生速度同期装置であって、
前記情動呼吸周期は、前記複数個の呼吸周期の平均値に対応する値である、
ことを特徴とする再生速度同期装置。 - 請求項1から7の何れかの再生速度同期装置の各部としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011128159A JP5673371B2 (ja) | 2011-06-08 | 2011-06-08 | 再生速度同期装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011128159A JP5673371B2 (ja) | 2011-06-08 | 2011-06-08 | 再生速度同期装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012255869A true JP2012255869A (ja) | 2012-12-27 |
JP5673371B2 JP5673371B2 (ja) | 2015-02-18 |
Family
ID=47527496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011128159A Active JP5673371B2 (ja) | 2011-06-08 | 2011-06-08 | 再生速度同期装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5673371B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004240252A (ja) * | 2003-02-07 | 2004-08-26 | Kawai Musical Instr Mfg Co Ltd | 楽音生成装置及び方法 |
JP2005056205A (ja) * | 2003-08-05 | 2005-03-03 | Sony Corp | コンテンツ再生装置及びコンテンツ再生方法 |
JP2005074156A (ja) * | 2003-09-03 | 2005-03-24 | Mitsubishi Electric Corp | 呼吸同期装置 |
JP2011059419A (ja) * | 2009-09-10 | 2011-03-24 | Nippon Telegr & Teleph Corp <Ntt> | 再生速度同期装置、再生速度同期方法、呼吸分布付きコンテンツのデータ構造、プログラム及び記録媒体 |
-
2011
- 2011-06-08 JP JP2011128159A patent/JP5673371B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004240252A (ja) * | 2003-02-07 | 2004-08-26 | Kawai Musical Instr Mfg Co Ltd | 楽音生成装置及び方法 |
JP2005056205A (ja) * | 2003-08-05 | 2005-03-03 | Sony Corp | コンテンツ再生装置及びコンテンツ再生方法 |
JP2005074156A (ja) * | 2003-09-03 | 2005-03-24 | Mitsubishi Electric Corp | 呼吸同期装置 |
JP2011059419A (ja) * | 2009-09-10 | 2011-03-24 | Nippon Telegr & Teleph Corp <Ntt> | 再生速度同期装置、再生速度同期方法、呼吸分布付きコンテンツのデータ構造、プログラム及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP5673371B2 (ja) | 2015-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10277941B2 (en) | Method and apparatus for producing full synchronization of a digital file with a live event | |
JP6467887B2 (ja) | 情報提供装置および情報提供方法 | |
US20080168294A1 (en) | Time synchronization of multiple time-based data streams with independent clocks | |
US20160342382A1 (en) | System for Managing Transitions Between Media Content Items | |
EP3929770B1 (en) | Methods, systems, and media for modifying the presentation of video content on a user device based on a consumption of the user device | |
US9116605B2 (en) | System and method for generating event distribution information | |
JP2016057337A (ja) | 採点装置及び採点方法 | |
JP5392907B2 (ja) | 再生速度同期装置、再生速度同期方法、及びプログラム | |
GB2422755A (en) | Audio signal processing | |
JP5314543B2 (ja) | 呼吸誘導装置、呼吸誘導方法、及びプログラム | |
US8761567B2 (en) | Moving image reproducer reproducing moving image in synchronization with musical piece | |
JP5673371B2 (ja) | 再生速度同期装置及びプログラム | |
JP5818261B2 (ja) | 再生コンテンツ制御装置とその方法とプログラム | |
JP5496935B2 (ja) | 呼吸分布更新装置、呼吸分布更新方法、及びプログラム | |
US9823894B2 (en) | Controlling audio tempo based on a target heart rate | |
JP5599498B2 (ja) | 再生速度同期装置、再生速度同期方法、及びプログラム | |
JP6295381B1 (ja) | 表示タイミング決定装置、表示タイミング決定方法、及びプログラム | |
JP5587815B2 (ja) | 呼吸分布付与装置、再生速度同期装置、呼吸分布付与方法、再生速度同期方法、及びプログラム | |
WO2017145800A1 (ja) | 音声解析装置、音声解析方法及びプログラム | |
JP2019105689A (ja) | 影響評価装置、呼吸誘導装置、影響評価方法、及びそれらのプログラム | |
JP5939217B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
JP5510822B2 (ja) | 歌唱情報処理システム | |
Maezawa et al. | Automatic music accompaniment based on audio-visual score following | |
JP5966971B2 (ja) | 情報処理装置及びプログラム | |
WO2020174682A1 (ja) | 属性推定装置、属性推定方法、及びコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130813 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130813 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140430 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5673371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |