JP2003264897A - 音響提示システムと音響取得装置と音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラム - Google Patents

音響提示システムと音響取得装置と音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラム

Info

Publication number
JP2003264897A
JP2003264897A JP2002062385A JP2002062385A JP2003264897A JP 2003264897 A JP2003264897 A JP 2003264897A JP 2002062385 A JP2002062385 A JP 2002062385A JP 2002062385 A JP2002062385 A JP 2002062385A JP 2003264897 A JP2003264897 A JP 2003264897A
Authority
JP
Japan
Prior art keywords
sound
signal
acoustic
output
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002062385A
Other languages
English (en)
Other versions
JP2003264897A5 (ja
JP4518729B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Tetsuhiko Arimitsu
哲彦 有光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002062385A priority Critical patent/JP4518729B2/ja
Publication of JP2003264897A publication Critical patent/JP2003264897A/ja
Publication of JP2003264897A5 publication Critical patent/JP2003264897A5/ja
Application granted granted Critical
Publication of JP4518729B2 publication Critical patent/JP4518729B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Stereophonic System (AREA)
  • Stereophonic Arrangements (AREA)

Abstract

(57)【要約】 【課題】容易に臨場感の高い再生音場を得る。 【解決手段】超指向性マイク等を用いた集音部14によ
って、撮影画像の被写体側から供給された音を取得して
音響信号Saを生成する。撮影方向や被写体までの距離
を位置検出部16で検出して位置情報信号Spを生成す
る。信号Sa,Spに基づいて情報信号WSを生成して音
響取得を行う。音響再生時には信号RSから信号Sa,
Spを分離する。提示制御部50は、音響出力部60の
数や設置位置等に関する設置情報CSaと信号Spに基づ
き提示調整信号CPを生成する。音響出力信号生成部5
2は信号CPと信号Saに基づき、複数の音響出力信号
SAoutを生成すると共に信号SAoutの信号レベルや位相
を制御して、複数の音響出力部60に供給し音響出力を
行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、音響提示システ
ムと音響取得装置と音響再生装置及びその方法並びにコ
ンピュータ読み取り可能な記録媒体と音響提示プログラ
ムに関する。詳しくは、集音手段を用いて特定音源から
の音を取得して音響信号を生成し、特定音源と集音手段
の位置関係を検出して位置情報信号を生成し、音響出力
信号に基づいて音響出力を行う複数の音響出力手段に関
する設置情報と位置検出信号と音響信号に基づいて、複
数の音響出力信号を生成して複数の音響出力手段に供給
するものである。
【0002】
【従来の技術】従来の音響提示システムでは、例えばス
テレオマイクロフォンを用いて右側方向の音響と左側方
向の音響を集音して、左右チャンネルの音響信号を生成
すると共に、再生時には右側に配置されているスピーカ
を右チャネルの音響信号に基づいて駆動し、左側に配置
されているスピーカを左チャネルの音響信号に基づいて
駆動することで、モノラルマイクロフォンを用いる場合
よりも臨場感を高める方法が行われている。
【0003】また、人間の頭蓋骨模型を作り、この模型
の左耳と右耳の内部にマイクを設けて、人間の耳から入
った音を擬似的に集音すると共に、再生時にはヘッドホ
ンを用いる所謂バイノーラルサウンドも実用化されてい
る。
【0004】また、近年では、臨場感をさらに向上させ
るため、前方のスピーカ以外に補助スピーカを設けて、
この補助スピーカから反射音や後方からの音および低周
波数領域の音等を再生可能とする方式、所謂5.1ch
や6.1ch方式のサラウンド方式等も実用化されてい
る。
【0005】さらに、音響信号に対して信号処理を行う
ことで再生音場を再現や、3次元音場を再現することが
行われている。例えば、無響室で集音した音やコンパク
トディスク等に記録された音に、所望の空間でのインパ
ルス応答(音響伝達関数)を畳み込み、所望の空間の特
性を再生音場で再現させる。すなわち、所望の空間の音
源位置で基準音を出力させると共に視聴位置で集音を行
い、音源位置で出力された音と視聴位置で集音された音
との関係から所望の空間のインパルス応答を求めること
ができる。このため、インパルス応答を実現するフィル
タを登録しておき、音の再生時には、この登録されたフ
ィルタを用いるものとすれば、所望の空間の特性を再生
音場で再現できる。また、種々のフィルタを登録して、
選択可能とすれば、種々の再生音場を再現できると共
に、三次元音場を再現することもできる。
【0006】
【発明が解決しようとする課題】ところで、画像と音響
を別々に記録した場合、ビデオカメラの向きに関係なく
音響を記録すると、記録された音響信号に基づく再生音
は方向性を持たなくなってしまい、臨場感に欠けたもの
となってしまう。
【0007】また、このように記録された音響を、臨場
感を高めて再生するためには、画像を見ながら音像の位
置を画像に合わせる操作を人偽的に行わなければなら
ず、簡単に臨場感の高い再生音を得ることができない。
【0008】また、ビデオカメラにマイクロフォンを設
けて画像と音響を記録した場合、図11Aに示すよう
に、所望の被写体OBに合わせてビデオカメラ90の撮
像方向を変更すると、図11Bに示すように、再生画像
がフレーム「Fa」「Fb」「Fc」の順に変更されても
所望の被写体OBの位置を表示画像の中央に保つことが
できる。しかし、所望の被写体に対応する音像も位置Q
mに固定されてしまう。このため、再生時には、表示画
像の背景の動きによって被写体の動きを表現できるが、
音像の位置は固定されてしまい、臨場感の高い再生音場
を得ることができない。
【0009】そこで、この発明では、容易に臨場感の高
い再生音場を得ることができる音響提示システムと音響
取得装置と音響再生装置及びその方法並びにコンピュー
タ読み取り可能な記録媒体と音響提示プログラムを提供
するものである。
【0010】
【課題を解決するための手段】この発明に係る音響提示
システムは、特定音源からの音を取得して音響信号を生
成する集音手段と、前記特定音源と前記集音手段の位置
関係を検出して、検出結果を示す位置情報信号を生成す
る位置検出手段と、前記集音手段で生成された音響信号
に基づいて複数の音響出力信号を生成する音響出力信号
生成手段と、前記音響出力信号に基づいた音響出力を行
う複数の音響出力手段と、前記複数の音響出力手段の設
置情報と前記位置検出信号に基づき、前記音響出力信号
生成手段における前記複数の音響出力信号の生成動作を
制御する提示制御手段とを有するものである。
【0011】また音響取得装置は、特定音源からの音を
取得して音響信号を生成する集音手段と、前記特定音源
と前記集音手段の位置関係を検出して、検出結果を示す
位置情報信号を生成する位置検出手段と、前記集音手段
で生成された音響信号と前記位置検出手段で生成された
位置情報信号に基づいて情報信号を生成する情報信号生
成手段とを有するものである。
【0012】また、音響再生装置は、特定音源からの音
を取得して生成された音響信号に基づいて複数の音響出
力信号を生成する音響出力信号生成手段と、前記音響出
力信号に基づいて音響出力を行う複数の音響出力手段に
関する設置情報と、前記特定音源と前記特定音源からの
音を取得して音響信号を生成する集音手段の位置関係を
示す位置検出信号に基づき、前記音響出力信号生成手段
における前記複数の音響出力信号の生成動作を制御する
提示制御手段とを有するものである。
【0013】次に、この発明に係る音響提示方法は、集
音手段を用いて特定音源からの音を取得して音響信号を
生成し、前記特定音源と前記集音手段の位置関係を検出
して、検出結果を示す位置情報信号を生成し、音響出力
信号に基づいて音響出力を行う複数の音響出力手段に関
する設置情報と前記位置検出信号と前記音響信号に基づ
いて、複数の前記音響出力信号を生成して前記複数の音
響出力手段に供給するものである。
【0014】また、音響取得方法は、環境音を取得して
環境音信号を生成し、前記複数の音響出力手段の設置情
報と前記環境音信号に基づき、環境音重畳信号を生成
し、前記音響出力手段毎に、対応する前記音響出力信号
と前記環境音信号を加算するものである。
【0015】また、音響再生方法は、音響出力信号に基
づいて音響出力を行う複数の音響出力手段に関する設置
情報と、特定音源と前記特定音源からの音を取得して音
響信号を生成する集音手段の位置関係を示す位置検出信
号と、前記集音手段で生成された音響信号に基づいて、
複数の前記音響出力信号を生成するものである。
【0016】さらに、この発明に係るコンピュータ読み
取り可能な記録媒体は、コンピュータに、音響出力信号
に基づいて音響出力を行う複数の音響出力手段に関する
設置情報と、特定音源と前記特定音源からの音を取得し
て音響信号を生成する集音手段の位置関係を示す位置検
出信号から提示調整信号を生成する手順と、前記集音手
段で生成された音響信号と前記提示調整信号に基づい
て、前記複数の音響出力手段に供給する音響出力信号を
生成する手順とを実行させるプログラムを記録したもの
である。
【0017】また、音響提示プログラムは、コンピュー
タに、音響出力信号に基づいて音響出力を行う複数の音
響出力手段に関する設置情報と、特定音源と前記特定音
源からの音を取得して音響信号を生成する集音手段の位
置関係を示す位置検出信号から提示調整信号を生成する
手順と、前記集音手段で生成された音響信号と前記提示
調整信号に基づいて、前記複数の音響出力手段に供給す
る音響出力信号を生成する手順とを実行させるものであ
る。
【0018】この発明においては、超指向性マイクロフ
ォン等を用いた集音手段によって、特定音源例えば撮影
画像の被写体側から供給された音を取得して音響信号が
生成される。また、特定音源と集音手段の位置関係とし
て撮影方向や被写体までの距離が検出されて、検出結果
を示す位置情報信号が生成される。この音響信号と位置
検出信号に基づいて情報信号を生成することで音響取得
が行われる。また情報信号を用いて音響再生を行う場合
には、情報信号から音響信号と位置検出信号が分離され
る。この分離された位置検出信号と音響出力信号に基づ
いて音響出力を行う複数の音響出力手段の数や設置位置
等を示す設置情報に基づき提示調整信号が生成される。
この提示調整信号と音響信号に基づき、複数の音響出力
信号が生成されると共に音響出力信号の信号レベルや位
相が制御されて、複数の音響出力手段に供給される。
【0019】
【発明の実施の形態】以下、図を参照しながら、この発
明の実施の一形態について説明する。図1は、この発明
におけ音響提示システムの全体構成を示している。音響
取得装置10の撮像部12では、撮影画像の画像信号S
vを生成して情報信号生成部18に供給する。
【0020】図2は撮像部12の構成を示している。撮
像レンズ121を通して入射された光は、撮像素子部1
22に入射されて、撮像面上に撮影画像が結像される。
撮像素子部122は固体撮像素子例えばCCDを用いて
構成されており、光電変換によって得られた撮影画像に
基づく信号を後述する駆動部132からの駆動信号RC
に基づいて読み出し、撮影画像の三原色撮像信号Svaを
生成して前処理部123に供給する。
【0021】前処理部123では、撮像信号Svaからノ
イズ成分を除去する処理、例えば相関二重サンプリング
処理を行い、ノイズ除去された撮像信号SvaをA/D変
換部124に供給する。A/D変換部124では、撮像
信号Svaをディジタルの画像信号Svbに変換してフィー
ドバッククランプ部125に供給する。フィードバック
クランプ部125では、ブランキング期間の黒レベル信
号と基準信号との誤差を検出してA/D変換部124に
供給することで、安定した黒レベルで所要の大きさの画
像信号Svbを得ることが出来るように、A/D変換動作
を制御する。補正処理部126では、画像信号Svbに対
してシェーディング補正や撮像素子の欠陥に対する補正
処理等を行う。この補正処理部126で補正処理が行わ
れた画像信号Svbは、プロセス処理部127に供給され
る。
【0022】プロセス処理部127では、補正処理後の
画像信号Svbに対してγ処理、輪郭補償処理、ニー補正
処理等を行う。この信号処理が行われた画像信号Svb
は、画像信号Svとして情報信号生成部18に供給され
る。また、画像信号Svは、モニタ部128に供給され
て、このモニタ部128に画像信号Svに基づく画像が
表示されて、撮影画像の確認が行われる。
【0023】撮像制御部130には、操作部131が接
続されており、操作部131をユーザが操作すると、ユ
ーザの操作に応じた操作信号PSが操作部131から撮
像制御部130に供給される。撮像制御部130では、
この操作信号PSに基づいて各種の制御信号CTを生成
して各部の動作を制御することにより、撮像部12をユ
ーザの操作に応じて動作させる。また、撮像素子部12
2での信号読み出しフレーム周期を設定する制御信号T
Cを生成して駆動部132に供給する。この駆動部13
2では、制御信号TCに基づき駆動信号RCを生成して
撮像素子部122に供給する。
【0024】図1の集音部14は、マイクロフォンを用
いて構成されており、撮像部12の前面や上部等に固定
して設けられている。この集音部14は、特定音源から
の音である撮像部12の撮像方向からの音を集音して例
えばディジタルの音響信号Saを生成して情報信号生成
部18に供給する。この集音部14で用いるマイクロフ
ォンは、狙った音源の音を拾うことができるように超指
向性(鋭指向性)マイクロフォンであるガンマイク等を
用いる。このように超指向性マイクロフォンを用いるこ
とで、不必要な方向からの雑音や音響を簡単に取り除く
ことができる。また、相関利用や複数マイクを用いて各
マイクの遅延量を補正する等の音源分離手法によって、
狙った音源の音を拾うことができる。
【0025】位置検出部16は、特定音源と集音部14
の位置関係、例えば所望の被写体を特定音源として、こ
の所望の被写体を撮影したときの撮像設定情報、すなわ
ち撮像部12の撮像方向や所望の被写体までの距離を検
出して、検出結果を示す位置情報信号Spを生成したの
ち情報信号生成部18に供給する。
【0026】図3は、撮像部12の撮像方向と所望の被
写体までの距離を検出する位置検出部16の構成を示し
ている。角度センサ161は、回転角を測定できるセン
サやジャイロ等を用いて角度を測定するものであり、撮
像部12の撮像方向を検出して角度信号Spaを極座標算
出部163に供給する。例えば基準位置に対する水平方
向の角度(以下「方位角」という)φや、基準位置に対
する上下方向の角度(以下「ピッチ角」という)δを示
す角度信号Spaを生成して極座標算出部163に供給す
る。測距センサ162は、光や超音波等を用いてあるい
は撮像部12における焦点位置に基づいて距離を測定す
るものであり、所望の被写体までの距離LOを検出して
距離信号Spbを極座標算出部163に供給する。極座標
算出部163では、角度信号Spaと距離信号Spbから極
座標を算出し、ディジタルの位置情報信号Spとして情
報信号生成部18に供給する。
【0027】情報信号生成部18では、供給された画像
信号Svや音響信号Saおよび位置情報信号Spに基づい
て情報信号WSを生成して信号記録再生装置20に供給
する。
【0028】信号記録再生装置20は、光や磁気あるい
は半導体素子等を利用する記録媒体を用いて構成されて
おり、供給された情報信号WSを記録媒体に記録する。
また、記録媒体を再生して得られた情報信号RSは、音
響再生装置30の情報信号分離部32に供給される。
【0029】情報信号分離部32は、情報信号RSから
画像信号Svと音響信号Saと位置情報信号Spを分離す
る。さらに、分離された画像信号Svを画像出力部45
に供給すると共に、音響信号Saを音響出力信号生成部
52に供給する。さらに、位置情報信号Spを提示制御
部50に供給する。画像出力部45は、画像信号Svに
基づいて撮像画像の表示を行う。
【0030】提示制御部50は、設置情報供給部501
と調整信号生成部502を有している。設置情報供給部
501は、後述する複数の音響出力部60-1〜60-nが
どのような位置に設けられており、どのようなスピーカ
が用いられているか等を示す設置情報CSaを保持し、
あるいはユーザの操作等によって設置情報CSaを生成
して、この設置情報CSaを調整信号生成部502に供
給する。
【0031】調整信号生成部502は、情報信号分離部
32から供給された位置情報信号Spと設置情報供給部
501から供給された設置情報CSaに基づき提示調整
信号CPを生成して、音響出力信号生成部52に供給す
る。この提示調整信号CPは、各音響出力部60-1〜6
0-nに供給する音響出力信号SAout-1〜SAout-nの信号
レベルや位相を調整して音像の位置や臨場感を制御する
ものである。
【0032】音響出力信号生成部52は、音響信号Sa
に対して提示調整信号CPに基づいた信号レベルの調整
や位相の調整(音響出力信号の出力タイミングの調整)
を行い、音響出力信号SAout-1を生成して音響出力部6
0-1に供給する。同様に、提示調整信号CPに基づいた
信号レベルの調整や位相の調整を行い、音響出力信号S
Aout-2〜SAout-nを生成して音響出力部60-2〜60-n
に供給する。音響出力部60-1〜60-nは、スピーカを
用いて構成されており、供給された音響出力信号SAout
-1〜SAout-nに基づいて音響出力を行う。
【0033】次に動作について説明する。図4は角度情
報に基づいた動作を説明するための図である。図4A
は、聴取位置HPにおいて、左側に位置する音響出力部
60-Lと右側に位置する音響出力部60-Rが、センター
位置MPに対して角度αを有するように設置されている
と設置情報CSaによって示された場合である。ここ
で、位置情報信号Spに基づく角度情報、すなわち角度
信号Spaによって示されたセンター位置MPに対する右
方向の方位角φを正の値、左方向の方位角φを負の値と
したとき、音響信号Saに対して式(1)に基づいた音
圧比となるように信号レベルの調整を行うための提示調
整信号CPを生成して音響出力信号生成部52に供給す
る。 左側の音響出力部の音圧:右側の音響出力部の音圧 =(tanα−tanφ):(tanα+tanφ) ・・・(1)
【0034】音響出力信号生成部52は、音響信号Sa
と提示調整信号CPに基づき、式(1)に応じた音圧比
となるように音響信号Saの信号レベルの割合を調整し
て、音響出力信号SAout-Lと音響出力信号SAout-Rを生
成すると共に、この音響出力信号SAout-Lを音響出力部
60-L、音響出力信号SAout-Rを音響出力部60-Rにそ
れぞれ供給する。
【0035】図4Bは、上側に位置する音響出力部60
-Uと下側に位置する音響出力部60-Dが、センター位置
MPに対して角度βを有するように設置されていると設
置情報CSaによって示された場合である。ここで、角
度信号Spaによって示されたセンター位置MPに対する
下方向のピッチ角δを正の値、上方向のピッチ角δを負
の値としたときには、音響信号Saに対して式(2)に
基づいた音圧比となるように信号レベルの調整を行うた
めの提示調整信号CPを生成して音響出力信号生成部5
2に供給する。 上側の音響出力部の音圧:下側の音響出力部の音圧 =(tanβ−tanδ):(tanβ+tanδ) ・・・(2)
【0036】音響出力信号生成部52は、音響信号Sa
と提示調整信号CPに基づき、式(2)に応じた音圧比
となるように音響信号Saの信号レベルの割合を調整し
て、音響出力信号SAout-Uと音響出力信号SAout-Dを生
成すると共に、この音響出力信号SAout-Uを音響出力部
60-U、音響出力信号SAout-Dを音響出力部60-Dにそ
れぞれ供給する。
【0037】このように、位置情報信号Spで示された
方位角φやピッチ角δに基づいて、左右方向に設置され
た音響出力部や上下方向に設置された音響出力部に供給
する音響出力信号の信号レベルが調整されるので、集音
部14によって撮影方向の音響のみを集音しても、音像
を正しく定位させることができる。すなわち、撮影方向
の音のみを集音しても、音源の移動に合わせて音像を移
動させることができる。
【0038】次に、角度情報と距離情報を用いた動作に
ついて説明する。図5は、左側に位置する音響出力部6
0-Lと右側に位置する音響出力部60-Rがセンター位置
MPと角度αを有するように設置されており、聴取位置
HPと音響出力部60-L,60-Rとの間隔が距離KSで
あることが設置情報CSaによって示された場合であ
る。位置情報信号Spの距離情報すなわち距離信号Spb
によって所望の被写体OBまでが距離LOで、角度信号
Spaによって方位角φが示されたとき、所望の被写体O
Bから音響出力部60-Lまでの距離LSLは式(3)で算
出できる。また、所望の被写体OBから音響出力部60
-Rまでの距離LSRは式(4)で算出できる。 LSL=√(KS2+LO2−2×KS×LO×cos(α+φ)) ・・・(3) LSR=√(KS2+LO2−2×KS×LO×cos(α−φ)) ・・・(4)
【0039】このため、被写体OBから音響出力部60
-Lまでの距離と被写体OBから音響出力部60-Rまでの
距離との距離差DLRは、「DLR=LSL−LSR」となる。
すなわち、距離差DLRだけ音響出力部60-Lから出力さ
れる音は、音響出力部60-Rから出力される音に比べて
遅れたものとなる。
【0040】調整信号生成部502は、距離差DLRを算
出すると共に、この距離差DLRを音速Vauで除算して遅
延時間TLRを算出して、この遅延時間TLRだけ音響出力
信号の出力が時間差を生じるように出力タイミングを調
整することで位相を制御する提示調整信号CPを生成し
て、音響出力信号生成部52に供給する。
【0041】音響出力信号生成部52は、提示調整信号
CPに基づいて音響出力信号SAout-L,SAout-Rの信号
レベルを調整するだけでなく、音響出力信号SAout-Lを
遅延時間TLRだけ音響出力信号SAout-Rよりも遅延させ
て音響出力部60-Lに供給する。
【0042】このように、位置情報信号Spで示された
距離LOに基づいて、左右方向に設置された音響出力部
や上下方向に設置された音響出力部に供給する音響出力
信号の位相を調整することで、集音部14によって撮影
方向の音響のみを集音しても、この集音した音に基づい
て臨場感の高い音響提示を行うことが可能となり、聴取
者は現実感の高い良好な再生音場を得ることができる。
【0043】例えば図6に示すように、撮影画像を表示
する際には表示画像Zaよりも広い画像表示領域Zbを設
け、撮影画像の動き検出を行い被写体の動きに合わせて
表示画像の表示位置を表示位置P1から表示位置P2に移
動させる場合、所望の被写体OBの移動に合わせて音像
を位置Q1から位置Q2に移動させることができるので、
臨場感の高いと共に移動感のある音響提示を行うことが
できる。
【0044】また、所望の被写体を特定音源として、こ
の所望の被写体を撮影したときの撮像設定情報に基づい
て位置情報信号Spを生成しているので、撮影画像を参
照しながら複数の音響出力信号の信号レベルを人的に調
整して、音像の位置を所望の位置とする操作が不要とな
る。すなわち、撮影空間に適した音像の定位を自動的に
行うことができる。
【0045】ところで、上述の実施の形態では、超指向
性マイクロフォンを用いることで、不必要な方向からの
雑音や音響を取り除いている。しかし、自然環境に近い
再生音場を作るためには、超指向性マイクロフォンで集
音した音だけでなく反射音等の間接音や雑音等も再生す
ることが好ましい。
【0046】そこで、第2の実施の形態として、周囲の
環境音も提示できる音響提示システムの構成を図7に示
す。なお、図7において、図1と対応する部分について
は同一符号を付し、詳細な説明は省略する。環境音集音
部15は、図8Aに示す指向特性の無指向性マイクロフ
ォンや図8Bに示す指向特性の前方指向性マイクロフォ
ン等を用いて構成されており、環境音を集音して環境音
信号Ssaを生成したのち情報信号生成部18に供給す
る。ここで、前方指向性マイクロフォンを用いる場合に
は、前方指向性マイクロフォンを撮影者の周囲に複数設
けるものとすれば、環境音をもれなく集音できる。な
お、図8Cの指向特性は超指向性マイクロフォンを示し
ている。
【0047】情報信号生成部18は、供給された画像信
号Svや音響信号Saと位置情報信号Spおよび環境音信
号Ssaに基づいて情報信号WSを生成して信号記録再生
装置20に供給する。
【0048】情報信号分離部32は、情報信号RSから
画像信号Svと音響信号Saと位置情報信号Spおよび環
境音信号Ssaを分離して、画像信号Svを画像出力部4
5、音響信号Saを音響出力信号生成部52、位置情報
信号Spを提示制御部50、環境音信号Ssaを環境音処
理部53に供給する。
【0049】環境音処理部53は、設置情報供給部53
1と環境音信号調整部532を有している。設置情報供
給部531は、いずれの音響出力部60-1〜60-nから
環境音を出力するか、また環境音を出力する音響出力部
では、どのようなスピーカが用いられているか等を示す
設置情報CSbを保持し、あるいはユーザの操作等によ
って設置情報CSbを生成して、設置情報CSbを環境音
信号調整部532に供給する。なお、音響出力部60-1
〜60-kとは別個に、環境音出力のための音響出力部を
有している場合には、この音響出力部に関する情報も設
置情報CSbに含ませる。
【0050】環境音信号調整部532は、設置情報供給
部531から供給された設置情報CSbに基づき、環境
音信号Ssaの信号レベルを使用する音響出力部毎に調整
して、各音響出力部から環境音が出力されたとき、環境
音の音像が実際の音像位置とは異なった方向に定位され
てしまうことを防止する。この環境音信号調整部532
で生成された音響出力部毎の環境音重畳信号Ssbは、信
号加算部54に供給される。
【0051】信号加算部54は、音響出力信号生成部5
2から供給された音響出力信号SAoutと環境音信号調整
部532から供給された環境音重畳信号Ssbを、対応す
る音響出力部60毎に加算して、音響出力信号SBoutと
して音響出力部60に供給する。例えば、特定音源から
の音と環境音を音響出力部60-kから出力する場合、音
響出力信号SAout-kと環境音重畳信号Ssb-kを加算し
て、音響出力信号SBout-kを音響出力部60-kに供給す
る。なお、特定音源から出力された音を前方に位置する
音響出力部から出力し、環境音を後方に位置する音響出
力部から出力する場合には、音響出力信号SAoutを音響
出力信号SBoutとして前方に位置する音響出力部に供給
すると共に、環境音重畳信号Ssbを音響出力信号SBout
として後方に位置する音響出力部に供給する。
【0052】このように、第2の実施の形態によれば、
集音部14によって特定音源からの音のみを集音して、
音像を正しく定位させることができるだけでなく、周囲
の環境音も正しく再生できるので、自然で臨場感の高い
音響提示を行うことが可能となり、聴取者は自然でより
現実感の高い再生音場を得ることができる。
【0053】なお、上述の実施の形態では、情報信号を
生成して記録媒体に記録する構成を示したが、信号記録
再生装置に変えて信号伝送装置を設けるものとし、この
情報信号を伝送する構成としても良い。
【0054】さらに、上述の処理はハードウェアだけで
なくソフトウェアで実現するものとしても良い。この場
合の構成を図9に示す。コンピュータは、図9に示すよ
うにCPU(Central Processing Unit)701を内蔵し
ており、このCPU701にはバス720を介してRO
M702,RAM703,ハード・ディスク・ドライブ
704,入出力インタフェース705が接続されてい
る。さらに、入出力インタフェース705には入力部7
11や記録媒体ドライブ712,通信部713,信号入
力部714,信号出力部715が接続されている。
【0055】外部装置から命令が入力されたり、キーボ
ードやマウス等の操作手段あるいはマイク等の音声入力
手段等を用いて構成された入力部711から命令が入力
されると、この命令が入出力インタフェース705を介
してCPU701に供給される。
【0056】CPU701は、ROM702やRAM7
03あるいはハード・ディスク・ドライブ704に記憶
されているプログラムを実行して、供給された命令に応
じた処理を行う。さらに、ROM702やRAM703
あるいはハード・ディスク・ドライブ704には、上述
の音響提示システムに於ける信号処理をコンピュータで
実行させるための音響提示プログラムを予め記憶させ
て、信号入力部714に入力された信号に基づいて音響
出力信号を生成して、信号出力部715から出力する。
また、記録媒体に音響提示プログラムを記録しておくも
のとし、記録媒体ドライブ712によって、音響プログ
ラムを記録媒体に記録しあるいは記録媒体に記録されて
いる音響プログラムを再生してコンピュータで実行する
ものとしても良い。さらに、通信部713によって、音
響プログラムを有線あるいは無線の伝送路を介して送信
あるいは受信するものとし、受信した音響プログラムを
コンピュータで実行するものとしても良い。
【0057】図10は、音響提示プログラムの全体構成
を示すフローチャートである。ステップST1では、音
響取得を行うか否かを判別して、音響取得を行う場合に
はステップST2に進み、音響取得を行わない場合には
ステップST6に進む。
【0058】ステップST2では、情報信号の生成を行
う。すなわち、信号入力部714に入力された角度信号
Spaや距離信号Spbに基づき極座標計算を行い位置情報
信号Spを生成する。また、この位置情報信号Spと、信
号入力部714に入力された画像信号Svや音響信号Sa
を例えば多重化して1つの情報信号WSを生成する。
【0059】ステップST3では、生成した情報信号を
記録媒体に記録するあるいは外部機器に伝送するように
設定されているか否かを判別する。ここで、情報信号の
記録や伝送を行うように設定されている場合にはステッ
プST4に進み、情報信号の記録や伝送を行わないよう
に設定されている場合にはステップST5に進む。
【0060】ステップST4では、情報信号の記録や伝
送を行いステップST5に進む。ここで、情報信号を記
録する場合には、情報信号を記録媒体ドライブ712に
供給して、記録媒体ドライブ712に装着されている記
録媒体に記録する。また、情報信号を伝送する場合に
は、通信部713を介して情報信号を出力する。
【0061】ステップST5では、音響取得を終了する
か否かを判別する。ここで、入力部711を用いて終了
操作が行われたときにはステップST6に進み、終了操
作が行われていないときにはステップST2に戻り、情
報信号の生成を継続する。ステップST6では、音響再
生を行うか否かを判別して、音響再生を行う場合にはス
テップST7に進み、音響再生を行わない場合にはステ
ップST1に戻る。
【0062】ステップST7では、音響出力信号に基づ
いて音響出力を行う音響出力部の設置情報CSaを設定
する。例えば、入力部711を操作して音響出力部60
の設置位置やどのようなスピーカを用いているか等の設
置情報CSaを入力する。あるいはハード・ディスク・
ドライブ704等に予め記憶されている設置情報CSa
を読み出す。
【0063】ステップST8では、情報信号の分離処理
を行う。すなわち、記録媒体から読み出した情報信号
や、通信部713で受信した情報信号あるいは音響取得
処理で生成された情報信号から、画像信号Svと音響信
号Saと位置情報信号Spを分離してステップST9に進
む。ステップST9では位置情報信号Spと設置情報C
Saに基づき、提示調整信号CPを生成する。
【0064】ステップST10では、音響信号Saと提
示調整信号CPに基づき複数の音響出力信号SAout-1〜
SAout-nを生成して信号出力部715から出力する。
ステップST11では、音響再生を終了するか否かを判
別する。ここで、入力部711を用いて終了操作が行わ
れたときにはステップST1に戻る。また、終了操作が
行われていないときにはステップST10に戻り、音響
出力信号SAout-1〜SAout-nの生成および出力を継続
する。このような処理を行って得られた音響出力信号S
Aoutを音響出力部に供給することで、ソフトウェアによ
っても臨場感の高い音響提示を行える。
【0065】
【発明の効果】この発明によれば、集音手段を用いて特
定音源からの音を取得して音響信号が生成されると共
に、特定音源と集音手段の位置関係から位置情報信号が
生成されて、音響出力信号に基づいて音響出力を行う複
数の音響出力手段の設置情報と位置検出信号と音響信号
に基づいて、複数の音響出力信号が生成されて複数の音
響出力手段に供給される。このため、特定音源の位置に
音像を定位させることが簡単にできると共に、特定音源
の位置が移動したときには音像の位置も移動されて移動
感のある音響提示ができる。
【0066】また、位置情報信号は、集音方向を示す角
度情報や特定音源までの距離情報を有するので、臨場感
の高い音響提示を行うことができる。さらに、特定音源
と集音手段との位置関係として、画像撮影時の撮像設定
情報を用いることにより、撮影空間に適した音像の定位
を人的予測操作等を実行することなく実現できる。
【0067】さらに、環境音を取得して環境音信号が生
成されると共に、複数の音響出力手段の設置情報と環境
音信号に基づき、環境音重畳信号が生成されて、この環
境音重畳信号が、対応する音響出力信号に加算されるの
で、より自然で臨場感の高い音響提示を行うことができ
る。
【図面の簡単な説明】
【図1】音響提示システムの構成を示す図である。
【図2】撮像部の構成を示す図である。
【図3】位置検出部の構成を示す図である。
【図4】角度情報を用いた場合の動作を示す図である。
【図5】角度情報と距離情報を用いた場合の動作を示す
図である。
【図6】音像の位置を示す図である。
【図7】第2の実施の形態の構成を示す図である。
【図8】マイクロフォンの指向特性を示す図である。
【図9】コンピュータを用いた構成を示す図である。
【図10】音響提示プログラムを示すフローチャートで
ある。
【図11】従来の動作を示す図である。
【符号の説明】
10・・・音響取得装置、12・・・撮像部、14・・
・集音部、15・・・環境音集音部、16・・・位置検
出部、18・・・情報信号生成部、20・・・信号記録
再生装置、30・・・音響再生装置、32・・・情報信
号分離部、45・・・画像出力部、50・・・提示制御
部、52・・・音響出力信号生成部、53・・・環境音
処理部、54・・・信号加算部、60・・・音響出力
部、90・・・ビデオカメラ、161・・・角度セン
サ、162・・・測距センサ、163・・・極座標算出
部、501・・・設置情報供給部、502・・・調整信
号生成部、531・・・設置情報供給部、532・・・
環境音信号調整部

Claims (24)

    【特許請求の範囲】
  1. 【請求項1】 特定音源からの音を取得して音響信号を
    生成する集音手段と、 前記特定音源と前記集音手段の位置関係を検出して、検
    出結果を示す位置情報信号を生成する位置検出手段と、 前記集音手段で生成された音響信号に基づいて複数の音
    響出力信号を生成する音響出力信号生成手段と、 前記音響出力信号に基づいた音響出力を行う複数の音響
    出力手段と、 前記複数の音響出力手段の設置情報と前記位置検出信号
    に基づき、前記音響出力信号生成手段における前記複数
    の音響出力信号の生成動作を制御する提示制御手段とを
    有することを特徴とする音響提示システム。
  2. 【請求項2】 前記位置情報信号は、集音方向を示す角
    度情報を有することを特徴とする請求項1記載の音響提
    示システム。
  3. 【請求項3】 前記位置情報信号は、前記特定音源まで
    の距離情報を有することを特徴とする請求項2記載の音
    響提示システム。
  4. 【請求項4】 前記提示制御手段は、前記複数の音響出
    力手段の設置情報と前記位置検出信号に基づき、前記音
    響信号出力手段で生成される複数の音響出力信号の信号
    レベルの割合を制御することを特徴とする請求項1記載
    の音響提示システム。
  5. 【請求項5】 前記提示制御手段は、前記複数の音響出
    力手段の設置情報と前記位置検出信号に基づき、前記音
    響信号出力手段で生成される複数の音響出力信号の位相
    を制御することを特徴とする請求項3記載の音響提示シ
    ステム。
  6. 【請求項6】 画像信号を生成する撮像手段を設け、 前記位置検出手段は、前記特定音源と前記集音手段との
    位置関係として、前記撮像手段での撮像設定情報を用い
    るものとし、前記撮像設定情報に基づいて前記位置情報
    信号を生成することを特徴とする請求項1記載の音響提
    示システム。
  7. 【請求項7】 環境音を取得して環境音信号を生成する
    環境音集音手段と、 前記複数の音響出力手段の設置情報と前記環境音信号に
    基づき、環境音重畳信号を生成する環境音処理手段と、 前記音響出力手段毎に、対応する前記音響出力信号と前
    記環境音信号を加算する信号加算手段とを有することを
    特徴とする請求項1記載の音響提示システム。
  8. 【請求項8】 特定音源からの音を取得して音響信号を
    生成する集音手段と、 前記特定音源と前記集音手段の位置関係を検出して、検
    出結果を示す位置情報信号を生成する位置検出手段と、 前記集音手段で生成された音響信号と前記位置検出手段
    で生成された位置情報信号に基づいて情報信号を生成す
    る情報信号生成手段とを有することを特徴とする音響取
    得装置。
  9. 【請求項9】 画像情報を生成する撮像手段を設け、 前記位置検出手段は、前記特定音源と前記集音手段との
    位置関係として、前記撮像手段での撮像設定情報を用い
    るものとし、前記撮像設定情報に基づいて前記位置情報
    信号を生成することを特徴とする請求項8記載の音響取
    得装置。
  10. 【請求項10】 特定音源からの音を取得して生成され
    た音響信号に基づいて複数の音響出力信号を生成する音
    響出力信号生成手段と、 前記音響出力信号に基づいて音響出力を行う複数の音響
    出力手段に関する設置情報と、前記特定音源と前記特定
    音源からの音を取得して音響信号を生成する集音手段の
    位置関係を示す位置検出信号に基づき、前記音響出力信
    号生成手段における前記複数の音響出力信号の生成動作
    を制御する提示制御手段とを有することを特徴とする音
    響再生装置。
  11. 【請求項11】 環境音を取得して生成された環境音信
    号と前記複数の音響出力手段の設置情報に基づいて環境
    音重畳信号を生成する環境音処理手段と、前記音響出力
    手段毎に、対応する前記音響出力信号と前記環境音信号
    を加算する信号加算手段とを有することを特徴とする請
    求項10記載の音響再生装置。
  12. 【請求項12】 集音手段を用いて特定音源からの音を
    取得して音響信号を生成し、 前記特定音源と前記集音手段の位置関係を検出して、検
    出結果を示す位置情報信号を生成し、 音響出力信号に基づいて音響出力を行う複数の音響出力
    手段に関する設置情報と前記位置検出信号と前記音響信
    号に基づいて、複数の前記音響出力信号を生成して前記
    複数の音響出力手段に供給することを特徴とする音響提
    示方法。
  13. 【請求項13】 前記位置情報信号は、集音方向を示す
    角度情報を有することを特徴とする請求項12記載の音
    響提示方法。
  14. 【請求項14】 前記位置情報信号は、前記特定音源ま
    での距離情報を有することを特徴とする請求項13記載
    の音響提示方法。
  15. 【請求項15】 前記複数の音響出力信号の信号レベル
    の割合を、前記複数の音響出力手段の設置情報と前記位
    置検出信号に基づき制御することを特徴とする請求項1
    2記載の音響提示方法。
  16. 【請求項16】 前記複数の音響出力信号の位相を、前
    記複数の音響出力手段の設置情報と前記位置検出信号に
    基づき制御することを特徴とする請求項14記載の音響
    提示方法。
  17. 【請求項17】 前記特定音源と前記集音手段との位置
    関係として、画像撮影時の撮像設定情報を用いるものと
    し、前記撮像設定情報に基づいて前記位置情報信号を生
    成することを特徴とする請求項12記載の音響提示方
    法。
  18. 【請求項18】 環境音を取得して環境音信号を生成
    し、 前記複数の音響出力手段の設置情報と前記環境音信号に
    基づき、環境音重畳信号を生成し、 前記音響出力手段毎に、対応する前記音響出力信号と前
    記環境音信号を加算することを特徴とする請求項12記
    載の音響提示方法。
  19. 【請求項19】 集音手段を用いて特定音源からの音を
    取得して音響信号を生成し、 前記特定音源と前記集音手段の位置関係を検出して、検
    出結果を示す位置情報信号を生成し、 前記音響信号と前記位置情報信号に基づいて情報信号を
    生成することを特徴とする音響取得方法。
  20. 【請求項20】 前記特定音源と前記集音手段との位置
    関係として、画像撮影時の撮像設定情報を用いるものと
    し、前記撮像設定情報に基づいて前記位置情報信号を生
    成することを特徴とする請求項19記載の音響取得方
    法。
  21. 【請求項21】 音響出力信号に基づいて音響出力を行
    う複数の音響出力手段に関する設置情報と、特定音源と
    前記特定音源からの音を取得して音響信号を生成する集
    音手段の位置関係を示す位置検出信号と、前記集音手段
    で生成された音響信号に基づいて、複数の前記音響出力
    信号を生成することを特徴とする音響再生方法。
  22. 【請求項22】 環境音を取得して生成された環境音信
    号と前記複数の音響出力手段の設置情報に基づいて環境
    音重畳信号を生成し、 前記音響出力手段毎に、対応する前記音響出力信号と前
    記環境音信号を加算することを特徴とする請求項21記
    載の音響再生方法。
  23. 【請求項23】 コンピュータに、 音響出力信号に基づいて音響出力を行う複数の音響出力
    手段に関する設置情報と、特定音源と前記特定音源から
    の音を取得して音響信号を生成する集音手段の位置関係
    を示す位置検出信号から提示調整信号を生成する手順
    と、 前記集音手段で生成された音響信号と前記提示調整信号
    に基づいて、前記複数の音響出力手段に供給する音響出
    力信号を生成する手順とを実行させるためのプログラム
    を記録したことを特徴とするコンピュータ読み取り可能
    な記録媒体。
  24. 【請求項24】 コンピュータに、 音響出力信号に基づいて音響出力を行う複数の音響出力
    手段に関する設置情報と、特定音源と前記特定音源から
    の音を取得して音響信号を生成する集音手段の位置関係
    を示す位置検出信号から提示調整信号を生成する手順
    と、 前記集音手段で生成された音響信号と前記提示調整信号
    に基づいて、前記複数の音響出力手段に供給する音響出
    力信号を生成する手順とを実行させることを特徴とする
    音響提示プログラム。
JP2002062385A 2002-03-07 2002-03-07 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム Expired - Fee Related JP4518729B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002062385A JP4518729B2 (ja) 2002-03-07 2002-03-07 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002062385A JP4518729B2 (ja) 2002-03-07 2002-03-07 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム

Publications (3)

Publication Number Publication Date
JP2003264897A true JP2003264897A (ja) 2003-09-19
JP2003264897A5 JP2003264897A5 (ja) 2005-09-02
JP4518729B2 JP4518729B2 (ja) 2010-08-04

Family

ID=29196187

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002062385A Expired - Fee Related JP4518729B2 (ja) 2002-03-07 2002-03-07 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム

Country Status (1)

Country Link
JP (1) JP4518729B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006066939A (ja) * 2004-08-24 2006-03-09 National Institute Of Information & Communication Technology 音響再現方法及び装置
JP2006201124A (ja) * 2005-01-24 2006-08-03 Hajime Hatano 音源位置検出装置
JP2014112912A (ja) * 2008-04-21 2014-06-19 Snap Networks Inc スピーカー用電気システムとその制御装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10425726B2 (en) 2015-10-26 2019-09-24 Sony Corporation Signal processing device, signal processing method, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006066939A (ja) * 2004-08-24 2006-03-09 National Institute Of Information & Communication Technology 音響再現方法及び装置
JP2006201124A (ja) * 2005-01-24 2006-08-03 Hajime Hatano 音源位置検出装置
JP2014112912A (ja) * 2008-04-21 2014-06-19 Snap Networks Inc スピーカー用電気システムとその制御装置

Also Published As

Publication number Publication date
JP4518729B2 (ja) 2010-08-04

Similar Documents

Publication Publication Date Title
JP6289121B2 (ja) 音響信号処理装置、動画撮影装置およびそれらの制御方法
JP4692095B2 (ja) 記録装置、記録方法、再生装置、再生方法、記録方法のプログラムおよび記録方法のプログラムを記録した記録媒体
JP5801026B2 (ja) 画像音響処理装置及び撮像装置
WO2017064368A1 (en) Distributed audio capture and mixing
JP2006314078A (ja) 撮像装置、音声記録装置および音声記録方法
JP5597956B2 (ja) 音声データ合成装置
KR20100135208A (ko) 마이크로폰 장치, 재생 장치 및 촬상 장치
TW200835376A (en) Acoustic collecting apparatus and acoustic collecting method
JP4010161B2 (ja) 音響提示システムと音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラム。
US10873824B2 (en) Apparatus, system, and method of processing data, and recording medium
US20020071661A1 (en) Audio and video reproduction apparatus
JP4518729B2 (ja) 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム
WO2020059447A1 (ja) 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、音声信号処理システム及び撮影装置
JP3282202B2 (ja) 収録装置、再生装置、収録方法および再生方法、および、信号処理装置
JP5954987B2 (ja) 撮影装置及びその処理方法
WO2010061791A1 (ja) 映像制御装置およびそれを備えた撮像装置、表示装置
JP6821390B2 (ja) 音響処理装置、音響処理方法及びプログラム
JP6274244B2 (ja) 収音再生装置、収音再生プログラム、収音装置及び再生装置
JP2016163181A5 (ja) 信号処理装置、信号処理方法、及びプログラム
JP2023078689A (ja) 音情報収録装置、音情報収録再生システム及び音情報収録方法
JP2020092381A (ja) 音声取得装置、音声取得方法及び音声取得プログラム
JP7111202B2 (ja) 収音制御システム及び収音制御システムの制御方法
US20240098409A1 (en) Head-worn computing device with microphone beam steering
JP3104348B2 (ja) 収録装置、再生装置、収録方法および再生方法、および、信号処理装置
JP3104349B2 (ja) 収録装置、再生装置、収録方法および再生方法、および、信号処理装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050303

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050303

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070402

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070724

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070925

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20071011

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20071214

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090918

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100518

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees