JP2002209300A - 音像定位装置、並びに音像定位装置を用いた会議装置、携帯電話機、音声再生装置、音声記録装置、情報端末装置、ゲーム機、通信および放送システム - Google Patents

音像定位装置、並びに音像定位装置を用いた会議装置、携帯電話機、音声再生装置、音声記録装置、情報端末装置、ゲーム機、通信および放送システム

Info

Publication number
JP2002209300A
JP2002209300A JP2001001667A JP2001001667A JP2002209300A JP 2002209300 A JP2002209300 A JP 2002209300A JP 2001001667 A JP2001001667 A JP 2001001667A JP 2001001667 A JP2001001667 A JP 2001001667A JP 2002209300 A JP2002209300 A JP 2002209300A
Authority
JP
Japan
Prior art keywords
sound image
image localization
signal
sound
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001001667A
Other languages
English (en)
Other versions
JP3435141B2 (ja
Inventor
Kazuhiro Iida
一博 飯田
Kazuhiro Nakamura
一啓 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2001001667A priority Critical patent/JP3435141B2/ja
Publication of JP2002209300A publication Critical patent/JP2002209300A/ja
Application granted granted Critical
Publication of JP3435141B2 publication Critical patent/JP3435141B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 イヤホンを装着したことによる鼓膜位置での
外耳道インパルス応答の変化分を算出することによって
正確な音像定位ができる音像定位装置を提供すること。 【解決手段】 音像定位装置100は、音像を定位させた
い方向を設定する音像方向設定部101と、入力された音
源信号にこの設定された方向に音像定位方向を制御する
頭部インパルス応答とこの音像定位方向に対応したステ
レオイヤホンの挿入による外耳道インパルス応答変化の
補正情報との畳込み処理を行う畳込み演算部104とを備
え、畳込み演算部104が、図示しない耳栓型やインナー
型を含むステレオイヤホンまたはステレオヘッドホンに
出力するようになっている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、設定した任意の3
次元方向に音像を生じさせる音像定位装置に関する。
【0002】
【従来の技術】人間は、楽音等のオーディオ信号(音響
信号)を受聴したとき、その音源の位置を聴覚的に認識
することができる。これは、左右の耳に到達する信号の
特性の差に基づくものである。すなわち、音源が聴取者
の正面から左右にずれた位置にある場合には、左右の耳
に到達する時間にずれが生じる。また、音源が聴取者の
前にある場合と後ろにある場合とでは、その音響特性
(インパルス応答)に差が生じる。これは、頭蓋、耳た
ぶ等の影響によるものである。
【0003】従来、3次元の音像の定位制御を行うため
には、音源からの音波が人の両耳(鼓膜)に到達する経
路を考え、空間伝達関数(空間インパルス応答)と呼ば
れる壁の反射、回折、散乱等の伝達経路と、頭部伝達関
数(頭部インパルス応答)とよばれる頭部や耳介による
反射、回折、共振等の伝達経路についての考察が必要で
あり、現在このような研究が各方面で盛んに行われてい
る。
【0004】この頭部伝達関数を用いて音像を頭外定位
させるという理論については昔から数多くの文献が発表
されており、すでに著名な文献として鹿島出版発行のブ
ラウェルト、森本、後藤らの「空間音響」があり、ま
た、特許2873982号公報(特に、従来の技術の項
目)がある。これらの文献により、以下のことが周知の
事実となっており、図11を用いて従来の音像定位技術に
ついて説明する。
【0005】なお、図11は、従来の音像定位装置の基本
的な原理の例を示しており、図11(a)および図11
(b)は、実空間場で音像を知覚する例、図11(c)
は、音源の代わりに電気信号によって仮想的な音源であ
るスピーカから空間に音波を放射して外耳道に挿入され
る例、並びに、図11(d)は、電気情報信号がイヤホン
を通じて音像を頭外に定位させるために未知の伝達関数
を介して処理する例をそれぞれ示している。
【0006】通常、人間は、図11(a)および図11
(b)のように、両耳受聴により、その音源の位置を知
覚していると言われている。ここで、音源信号Source
(s)から音波が空間を介して放射され、左右両耳の特定
箇所として、外耳道入口または鼓膜前面に装着された小
型マイクまでの空間インパルス応答伝達関数をSpace
(s)、スピーカの伝達関数をSpeaker(s)、および、
イヤホンから外耳道を介し小型マイクまでの外耳道イン
パルス応答伝達関数をEarphone(s)とし、小型マイク
の音圧特性をPressure(s)とすると、実音源またはス
ピーカ入力の電気情報信号I(s)から空間伝播および
外耳道を介し、小型マイクの音圧特性をPressure(s)
は、 Pressure(s)=Space(s)×Source(s) =Space(s)×Speaker(s)×I(s) ・・・(式1)
【0007】一方、イヤホンの音圧レベルPressure
(s)は、図4(d)からも判るように、未知の伝達関
数Unknown(s)と外耳道レスポンス応答伝達関数で表
現することにより、 Pressure(s)=Unknown(s)×Earphone(s)×I(s)・・・(式2) 音源位置からあたかも受聴できるような聴覚上の頭外音
像定位とするために、(式1)と(式2)とを等しくす
ることができ、 Space(s)×Speaker(s)=Unknown(s)×Earphone(s)・・・(式3) を得る。従って、未知の伝達関数はUnknown(s)は、 Unknown(s)=Space(s)×Speaker(s)/Earphone(s)・・・(式4) となる。
【0008】これより、スピーカ伝達関数を含む空間の
実音場インパルス応答を近似した空間インパルス応答伝
達関数と、イヤホンから外耳道に設定した小型マイクま
での外耳道インパルス応答伝達関数を予め測定し、演算
処理すれば未知の伝達関数Unknown(s)を求めることが
可能となる。
【0009】さらに、この未知の伝達関数Unknown(s)
に任意の入力音信号を実時間の畳み込み演算すれば、任
意の場所にその入力された音源を知覚上で定位させるこ
とができる。
【0010】以上のように、上述の音像定位装置では、
音源信号に空間インパルス応答、すなわち、頭部インパ
ルス応答と、外耳道内の任意の1点におけるインパルス
応答を平坦化する逆フィルタを畳込むことにより、音像
を定位させる信号特性を外耳道内の任意の1点に再現す
ることができる。
【0011】
【発明が解決しようとする課題】しかしながら、上述の
ような音像定位装置であっては、外耳道内の任意の1点
における外耳道伝達関数を平坦化しているが、イヤホン
を挿入することによる外耳道伝達関数の補正を鼓膜上で
行っていることにはならない。したがって、イヤホンを
用いた正確な音像定位ができないという問題があった。
【0012】本発明は、このような従来の問題を解決す
るためになされたものであり、イヤホンを装着したこと
による鼓膜位置での外耳道インパルス応答の変化分を求
め、それを補正することにより、正確な音像定位ができ
る音像定位装置を提供することを目的とするものであ
る。
【0013】
【課題を解決するための手段】上記目的を達成するため
に、本発明の音像定位装置は、少なくとも外耳道伝達関
数を用いてステレオイヤホンに出力する音源信号の音像
定位を行う音像定位装置において、前記音源信号の音像
を定位させる方向を設定する設定手段と、前記設定手段
によって設定された前記音像を定位させる方向に対応す
る頭部伝達関数および前記ステレオイヤホンが前記外耳
に装着されることによって変化する前記外耳道伝達関数
の補正情報に基づいて前記ステレオイヤホンに出力する
前記音源信号の音像定位を行う音像定位手段とを備えた
構成を有している。
【0014】この構成により、ステレオイヤホンが外耳
に装着されることによって変化する外耳道伝達関数の補
正情報に基づいてステレオイヤホンに出力する音源信号
の音像定位を行うことができるので、ステレオイヤホン
が装着されることによって外耳道伝達関数の変化量に対
応させた音像定位を行うことができ、正確に音像定位さ
れた音源信号をステレオイヤホンによって受聴させるこ
とができる。
【0015】また、本発明の音像定位装置は、擬似頭を
用いて算出された前記補正情報によって前記音源信号の
音像定位を行う構成を有している。
【0016】この構成により、ステレオイヤホンを装着
したことによって変化した外耳道伝達関数の変化分(補
正量)を容易に算出することができる。
【0017】また、本発明の音像定位装置は、前記音像
定位手段が、前記音源信号の音像定位を行うとき、前記
設定手段によって設定された前記音像を定位させる方向
にかかわらず、何れの方向であっても予め設定された1
種類の前記補正情報を用いる構成を有している。
【0018】この構成により、音像定位手段において音
像定位を行うときに、前記設定手段によって設定された
前記音像を定位させる方向の伝達関数と、前記音像を定
位させる方向にかかわらず、何れの方向であっても予め
設定された1種類の前記補正情報に基づいて音像定位を
行うことができるので、格納しておく補正情報が1種類
で済むため、メモリを小さくすることができる。
【0019】また、本発明の音像定位装置は、前記音像
定位手段が、前記音源信号に前記頭部伝達関数および前
記補正情報を畳み込み演算することによって前記音像定
位を行うこと構成を有している。
【0020】この構成により、音源信号に頭部伝達関数
および補正情報を畳み込み演算することによって音像定
位を行うことができる。
【0021】本発明の音像定位装置を用いた会議装置
は、請求項1乃至3の何れかに記載の音像定位装置を備
え、前記音像定位装置によって、受信した音響信号の音
像定位を行う構成を有している。
【0022】この構成により、音像定位装置により受信
した音響信号の音像定位を制御することができるので、
スピーカを使用せず、ステレオイヤホンによって正確に
音像定位された音声を受聴することができる。また、複
数のスピーカで音響信号を再生する場合には、スピーカ
の中央位置付近で受聴しないと、正確な音像定位が実現
できないが、ステレオイヤホンで再生する場合には、受
聴位置が限定されず、正確な音像定位が実現できる。さ
らに、スピーカを使用しないので、スピーカから出力さ
れた信号がマイクに入力されることによって生ずる音響
エコー障害が発生しないので、快適な会議を行うことが
できる。
【0023】本発明の音像定位装置を用いた携帯電話機
は、請求項1乃至3の何れかに記載の音像定位装置を備
え、前記音像定位装置によって、受信した音響信号の音
像定位を行う構成を有している。
【0024】この構成により、音像定位装置によって受
信した音響信号がマルチチャンネルの音響信号として
も、標準のマルチスピーカの配置で受聴しているかのよ
うにステレオイヤホンに出力することができるので、携
帯電話機で臨場感ある受聴を楽しむことができる。
【0025】本発明の音像定位装置を用いた音声再生装
置は、請求項1乃至3の何れかに記載の音像定位装置
と、少なくとも記録媒体に記録された音響信号および記
録情報信号を検出する信号検出手段とを備え、前記音像
定位装置が、前記信号検出手段によって検出された前記
記録情報信号に基づいて前記記録媒体から読み出した前
記音響信号の音像定位を行う構成を有している。
【0026】この構成により、信号検出手段によって検
出された記録情報信号に基づいて音像定位装置の音像定
位を制御することができるので、信号検出手段によって
複数チャンネルの音響信号であることを検出したとき
は、音像定位装置により適切なマルチスピーカ配置で受
聴しているかのようにステレオイヤホンに音響信号を出
力することができる。したがって、受聴位置を限定せず
に臨場感ある受聴を楽しむことができる。
【0027】本発明の音像定位装置を用いた音声記録装
置は、請求項1乃至3の何れかに記載の音像定位装置
と、2チャンネルを有する記録媒体に記録を行う記録手
段とを備え、前記音像定位装置が、入力された音響信号
の音響効果を保持した状態で前記記録媒体に記録できる
よう音像定位を行う構成を有している。
【0028】この構成により、入力された音響信号の音
響効果を保持した状態で2チャンネルを有する記録媒体
に音像定位された信号を記録することができるので、音
声再生装置によって付加処理を加えなくても正確な音像
定位を施した信号を再生させることができる。また、3
チャンネル以上の音響信号を処理する場合には、音像定
位装置により2チャンネルの信号に処理することができ
るので、記録容量を少なくすることができる。
【0029】本発明の音像定位装置を用いた情報端末装
置は、請求項1乃至3の何れかに記載の音像定位装置
と、少なくとも音響信号および前記音響信号の定位情報
を含むデータを受信する受信手段と、少なくとも記録媒
体に記録された音響信号および前記音響信号の定位情報
を検出する信号検出手段とを備え、前記音像定位装置
が、前記受信手段によって受信した音響情報および前記
信号検出手段によって検出された音響信号の何れか一方
の定位情報に基づいて前記音響信号の音像定位の制御を
行う構成を有している。
【0030】この構成により、音像定位装置により受信
した音響信号および記録媒体に記録された音響信号を最
適な音像定位に制御してステレオイヤホンに出力するこ
とができるので、受聴位置を限定せずに臨場感ある受聴
を楽しむことができる。
【0031】また、本発明の音像定位装置を用いた情報
端末装置は、前記音像定位装置を操作する操作手段を設
けた構成を有している。
【0032】この構成により、利用者が操作手段によっ
て入力された音響信号を好みの音像定位に制御すること
ができる。
【0033】本発明の音像定位装置を用いたゲーム機
は、請求項1乃至3の何れかに記載の音像定位装置と、
少なくとも記録媒体に記録された音響信号および記録情
報信号を検出する信号検出手段と、コントローラとを備
え、前記音像定位装置が、前記信号検出手段によって検
出された前記記録情報信号および前記コントローラの操
作に基づいて前記記録媒体から読み出した前記音響信号
の音像定位を行う構成を有している。
【0034】この構成により、ゲームソフトウェアなど
が記録されている記録媒体にある定位情報および利用者
がコントローラを操作した情報に基づいて音像定位装置
が音響信号の音像定位を制御することができるので、正
確に音像定位をステレオイヤホンに出力することがで
き、受聴位置を限定せずにヴァーチャルな音空間を楽し
むことができる
【0035】本発明の音像定位装置を用いた通信および
放送システムは、請求項1乃至3の何れかに記載の音像
定位装置を備え、前記音像定位装置が、前記音像定位装
置によって入力された音響信号の音像定位を行うととも
に、前記音像定位装置によって音像定位された前記音響
信号を所定の信号形式によって送信する構成を有してい
る。
【0036】この構成により、音像定位された信号を所
定の信号形式によって送信することができるので、送信
された信号を受信する際に付加処理を加えなくても正確
な音像定位を施した信号を再生させることができる。ま
た、3チャンネル以上の音響信号を処理する場合には、
音像定位装置により2チャンネルの信号に処理すること
ができるので、記録容量を少なくすることができる。
【0037】
【発明の実施の形態】以下、本発明の実施の形態を、図
面を用いて説明する。
【0038】〔第1実施形態〕図1〜図4は、本発明に
係る音像定位装置、並びに音像定位装置を用いた会議装
置、携帯電話機、音声再生装置、音声記録装置、情報端
末装置、ゲーム機、通信および放送システムの第1実施
形態を示す図であり、本実施形態は、音像定位装置の実
施形態である。
【0039】まず、構成を説明する。
【0040】図1に示す音像定位装置100は、音像を定
位させたい3次元方向(以下、音像定位方向という)を
設定する音像方向設定部101と、音像方向設定部101によ
って設定された3次元方向に音像を定位する頭部インパ
ルス応答を記憶する頭部インパルス応答記憶部102と、
音像方向設定部101によって設定された3次元方向に対
応したステレオイヤホンの挿入による外耳道インパルス
応答変化の補正情報(以下、単に補正情報という)を記
憶する補正情報記憶部103と、音源信号を入力するとと
もに、この入力された音源信号に頭部インパルス応答と
補正情報との畳込み処理を行う畳込み演算部104とを備
え、畳込み演算部104は、図示しない耳栓型やインナー
型を含むステレオイヤホンまたはステレオヘッドホンに
出力するようになっている。
【0041】音像方向設定部101は、図示しない操作部
を有し、操作者によって3次元における音像定位方向の
設定を行うようになっており、設定された音像定位方向
に基づいて頭部インパルス応答記憶部102および補正情
報記憶103を制御するようになっている。
【0042】頭部インパルス応答記憶部102は、予め測
定された頭部インパルス応答が複数格納されており、音
像方向設定部101によって設定された音像定位方向に基
づいて何れかの頭部インパルス応答を畳込み演算部104
に出力するようになっている。
【0043】補正情報記憶部103には、音像を定位させ
たい方向毎に求めたイヤホン挿入による外耳道インパル
ス応答変化の補正情報、具体的には、各音像定位方向に
対応した補正値(以下、単に補正値といい、算出方法は
後述する)、または、この補正値の方向間平均値(以
下、単に方向間平均値という)若しくは代表値(以下、
単に代表値という)が格納されており、頭部インパルス
応答記憶部102と同様に、音像方向設定部101によって設
定された音像定位方向に基づいて補正値、方向間平均値
および代表値における何れかの値を畳込み演算部104に
出力するようになっている。
【0044】図2に、音像を定位させたい方向毎に求め
たイヤホン挿入による外耳道インパルス応答変化の補正
値(Hc)を示す。図2では、一例として、音像を定位
させたい方向を水平面内にとった場合のイヤホン挿入に
よる外耳道インパルス応答変化の補正値を示している
が、任意の3次元方向に対しても同様の構成が適用でき
ることは言うまでもない。なお、図2は、後述する擬似
頭によって算出した補正値(Hc)である。
【0045】ここで、上述の補正値の算出原理を説明す
る。ただし、ここでは、便宜上、時間領域ではなく周波
数領域で説明する。
【0046】空間rで放射された音源信号sの受聴者の
鼓膜(Ear Drum)での音圧P1は、 P1=S×R×HRTF(ED) =S×R×HRTF(EEC)×H(EC)・・・(式5) ただし、S:音源信号、R:室の伝達関数、HRTF
(ED):鼓膜位置で観測した頭部伝達関数、HRTF
(EEC):外耳道入口で観測した頭部伝達関数、H
(EC):外耳道伝達関数を示す。
【0047】空間rで放射された音源信号sの受聴者の
外耳道入口(Entrance of Ear Canal)での音圧P2は、 P2=S×R×HRTF(EEC) ・・・(式6) また、この音圧P2をステレオイヤホンで再生した場合
の受聴者の鼓膜での音圧P3は、 P3=P2×SIP×H(EC_SIP) ・・・(式7) ただし、SIP:ステレオイヤホンの特性、H(EC_
SIP):ステレオイヤホンを装着した状態での外耳道
伝達関数を示す。
【0048】いま、ステレオイヤホンで音圧P2を再生
したときに、受聴者の鼓膜での音圧すなわち音圧P3が
音圧P1と等しくなる補正値(補正フィルタ)Hcを考
えると、(式5)−(式7)より、 S×R×HRTF(EEC)×H(EC) =S×R×HRTF(EEC)×SIP×H(EC_SIP)×Hc ・・・(式8)
【0049】したがって、 Hc=H(EC)/{SIP×H(EC_SIP)} ・・・(式9)
【0050】この結果、補正値Hcの信号処理を施して
ステレオイヤホンから音圧P2を再生すれば、空間rで
放射された音源信号sの受聴者の鼓膜での音圧P1が再
現できるようになる。
【0051】次に、擬似頭を用いた補正フィルタHcの
算出方法を以下に示す。
【0052】上述のような補正値Hcの算出において、
外耳道伝達関数H(EC)とステレオイヤホンを装着した
状態での外耳道伝達関数H(EC_SIP)を測定する
ことは困難である。そこで、本実施形態では、擬似頭を
用いて測定するようになっている。
【0053】なお、本実施形態において、この測定を行
う擬似頭は、外耳道伝達関数が忠実にシミュレートされ
ていることと、耳介の形状がヒトのそれに類似であるこ
とが望ましいことから、米国Knowles社のKEM
AR(M. D. Burkhard and R. M. Sachs,"Anthropometr
ic manikin for acousric research," J. Acoust. Soc.
Am., Vol.58, No.1, July 1975)を用いている。H(E
C)は、(式10)を用いてHRTF(ED)とHRTF
(EEC)から求めることができる。 H(EC)=HRTF(ED)/HRTF(EEC) ・・・(式10)
【0054】HRTF(ED)は、鼓膜位置に設置した
擬似頭のマイクロホンを用いて測定するようになってお
り、HRTF(EEC)は、擬似頭の外耳道入口にマイ
クロホンを設置して測定するようになっている。また、
H(EC_SIP)は、擬似頭の外耳道入口にステレオ
イヤホンを挿入し、そこから測定用信号を放射して鼓膜
位置に設置したマイクロホンで受音することにより求め
ることができるようになっている。
【0055】なお、図2は、このような方法により算出
された補正値Hcの一例である。また、補正値Hcを逆
フーリエ変換などにより時間領域に変換することによ
り、イヤホン挿入による外耳道インパルス応答変化の補
正値を求めることができるようになっている。
【0056】このように、イヤホンを装着したことによ
る鼓膜位置での外耳道インパルス応答の変化分を容易に
求めることができるようになっており、この変化分によ
って上述のように補正することにより、正確な音像定位
をすることができるようになっている。
【0057】また、図2より補正値Hcの入射方向依存
性は低いことがわかる。これは、外耳道の構造が直径約
7mm、長さ23−27mmの円筒状の管であること
(文献「聴覚と音響心理」境久雄、中山剛編著/197
8/コロナ社参照)からも理解できる。したがって、入
射方向間で平均化あるいは代表化を行うことにより、音
像定位方向にかかわらず、ただ1種類の補正値Hcで構
成することができる。平均化は、例えば、(式11)によ
り行う。なお、図3は、(式11)により平均化した補正
値Hcの一例である。 Hc=ΣHc(i) ・・・(式11) ただし、i:入射方向を示す。
【0058】このようにして算出された補正値Hcまた
はこの補正値Hcの代表値若しくは平均値を逆フーリエ
変換などにより時間領域に変換することにより、全ての
方向について外耳道インパルス応答変化の補正値を測定
することなく、かつ小さな記憶容量で音像を定位するこ
とができるようになっている。
【0059】なお、本実施形態では、受聴器をステレオ
イヤホンとなっているが、ステレオヘッドホンでも全く
同様に適用できることはいうまでもない。
【0060】次に、本実施形態における音像定位装置の
動作を説明する。なお、畳込み演算部104には、音源信
号が入力されているものとする。
【0061】まず、操作者または制御部などの指示によ
って音像方向設定部101が音像を定位させたい3次元方
向を設定すると、音像方向設定部101は、この設定され
た3次元方向設定に対応した頭部インパルス応答を頭部
インパルス応答記憶部102から呼び出し、畳込み演算部1
04に出力させる。また、音像方向設定部101は、この設
定された3次元方向設定に対応した補正値、方向間平均
値または代表値を補正情報記憶部103から呼び出し、畳
込み演算部104に出力させる。
【0062】次いで、畳込み演算部104は、入力された
音源信号と頭部インパルス応答およびイヤホン挿入によ
る外耳道インパルス応答変化の補正情報との畳込み演算
を行い、右耳信号および左耳信号を作成する。
【0063】最後に、この作成された右耳信号および左
耳信号を図示しないステレオイヤホンに出力する。
【0064】以上説明したように、本実施形態によれ
ば、頭部インパルス応答記憶部102に記憶された頭部イ
ンパルス応答と、補正情報記憶部103に記憶されたステ
レオイヤホンが外耳に装着されることによって変化する
外耳道インパルス応答変化の補正情報とに基づいて入力
された音源信号の音像定位を行うことができるので、ス
テレオイヤホンが装着されることによって外耳道伝達関
数の変化量に対応させた音像定位を行うことができ、正
確に音像定位された音源信号をステレオイヤホンに出力
することができる。
【0065】また、本実施形態では、補正値Hcを擬似
頭を用いて算出することができるので、ステレオイヤホ
ンを装着したことによって変化した外耳道インパルス応
答変化を容易に算出することができる。
【0066】また、本実施形態では、補正情報記憶部10
3に記憶された外耳道インパルス応答変化の補正情報
が、音像定位を行う方向に関わらず、算出された補正値
Hcの代表値若しくは平均値を用いることができるの
で、補正情報記憶部の記憶容量を小さくすることができ
る。
【0067】〔第2実施形態〕図4は、本発明に係る音
像定位装置、並びに音像定位装置を用いた会議装置、携
帯電話機、音声再生装置、音声記録装置、情報端末装
置、ゲーム機、通信および放送システムの第2実施形態
を示す図である。
【0068】なお、本実施形態は、複数の遠隔地に各々
設置され、電話公衆網回線などの通信回線により音声お
よび映像を通信することによってテレビ会議などを行う
会議システムに第1実施形態における音像定位装置を適
用した場合の実施形態である。
【0069】まず、構成を説明する。
【0070】図4に示す会議システム200は、映像信号
および音響信号の送受信および出力制御を行う会議装置
201と、音響信号を再生するステレオイヤホン202と、話
者の音声および会場音等の音を収録するマイク203と、
話者または会場を撮像するカメラ204とを備え、会議装
置201は、映像信号または音響信号を含む受信信号を受
信する受信部205と、受信部205によって受信した映像信
号を表示する映像表示部206と、受信部205によって受信
した音響信号の音像定位を制御する音像定位装置207
と、映像表示部206における映像表示の位置制御および
音像定位装置207の音像定位方向を設定する制御部208
と、マイク203およびカメラ204によって入力された音響
信号および映像信号を送信する送信部209とから構成さ
れる。
【0071】受信部205は、通信回線に接続され、受信
信号を受信するとともに、受信した信号を映像信号と音
響信号に分割するようになっている、この分割した映像
信号を映像表示部206に出力、音響信号を音像定位装置2
07に出力するようになっている。
【0072】映像表示部206には、受信部205によって分
割された映像信号が入力されるようになっており、この
映像表示部206は、入力された映像信号を図示しない表
示部に表示するようになっている。また、映像表示部20
6は、制御部208によって表示部に表示された映像の位置
が制御されるようになっている。
【0073】音像定位装置207は、受信部205によって分
割された音響信号が入力されるようになっており、この
音像定位装置207は、制御部208によって設定された音像
定位方向に基づいて、この入力された音響信号の音像定
位を制御するようになっている。また、音像定位装置20
7の動作は、第1実施形態と同様の動作を行うようにな
っており、この制御された信号をステレオイヤホン202
に出力するようになっている。
【0074】制御部208は、図示しない操作部における
操作者の操作に基づいて映像表示部上の映像の位置設定
および音像定位方向の設定を行うようになっており、こ
の各位置設定および設定された音像定位方向に基づいて
映像表示部206および音像定位装置207を制御するように
なっている。
【0075】送信部209は、マイク203から出力された音
響信号およびカメラ204から出力された映像信号が入力
されるようになっており、この送信部209は、通信回線
に接続され、入力された音声信号および映像信号を送信
信号に変換して出力するようになっている。
【0076】次に、本実施形態の受信動作について説明
する。
【0077】なお、本動作は、予め映像表示部上映像の
表示位置およびその映像の位置と音像定位方向が一致す
る音像定位方向が設定されているものとする。
【0078】まず、受信部205が、受信信号を受信する
と、受信部205は、受信した信号を映像信号と音響信号
に分割し、この分割した映像信号および音響信号を映像
表示部206および音像定位装置207にそれぞれ出力する。
【0079】次いで、受信部205から出力された映像信
号は、映像表示部206において表示されるとともに、音
響信号は、音像定位装置207に入力され、設定された3
次元の方向に音像が定位するように制御される。
【0080】次いで、音像定位装置207によって制御さ
れた音響信号は、ステレオイヤホン202によって再生さ
れる。
【0081】このように、本実施形態は受信動作を行う
ようになっており、通常、ステレオイヤホン202を装着
しながら会議を行うようになっているため、相手側の音
声がステレオイヤホン202を介して受聴することができ
るようになっている。
【0082】また、送信動作としては、話者の音声がマ
イク203によって収音されるとともに、話者の映像がカ
メラ204によって撮像されると、この音声信号および映
像信号が送信部209に入力される。次いで、送信部209
は、映像信号と音響信号を通信回線に送信する。
【0083】以上説明したように、本実施形態によれ
ば、制御部208の制御により映像表示部206に表示された
映像の話者方向と、音像定位装置207によって再生され
る音声の音像定位方向が一致するので、自然な会議を行
うことができる。
【0084】また、複数のスピーカで音響信号を再生す
る場合には、スピーカの中央位置付近で受聴しないと、
正確な音像定位が実現できないが、ステレオイヤホンで
再生する場合には、受聴位置が限定されず、正確な音像
定位が実現できる。
【0085】また、スピーカで再生する場合には、スピ
ーカから出力された信号が収音用マイクに入力すること
によって音響エコーが発生するが、ステレオイヤホンを
用いると音響エコーが発生せず、快適な会議ができる。
【0086】〔第3実施形態〕図5は、本発明に係る音
像定位装置、並びに音像定位装置を用いた会議装置、携
帯電話機、音声再生装置、音声記録装置、情報端末装
置、ゲーム機、通信および放送システムの第3実施形態
を示す図である。
【0087】なお、本実施形態は、電話公衆網回線など
の通信回線によって音声を受信、または、受信して蓄積
した音声信号を再生する携帯電話機に第1実施形態にお
ける音像定位装置を適用した場合の実施形態である。
【0088】まず、構成を説明する。
【0089】図5に示す携帯電話機300には、ステレオ
イヤホン301とマイク302が接続されるようになってお
り、ステレオイヤホン301によって携帯電話機300が受信
した音声を受聴することができるとともに、マイク302
によって携帯電話機300を操作する操作者の音声が入力
され、通信回線に送信できるようになっている。
【0090】この携帯電話機300は、音響信号を含む受
信信号を受信する受信部303と、受信部303によって受信
した音響信号を蓄積するメモリ304と、音響信号の音像
定位を制御する音像定位装置305と、受信部303およびメ
モリ304の音像定位装置305への出力制御並びに音像定位
装置305の音像定位方向の設定を行う制御部306と、マイ
ク302から出力された音響信号送信する送信部307とを備
えている。
【0091】受信部303は、通信回線に接続され、受信
信号を受信するとともに、受信した信号から音響信号を
メモリ304および音像定位装置305に出力するようになっ
ている。なお、この出力制御は、制御部306の指示によ
って制御されるようになっている。
【0092】メモリ304には、受信部303から出力された
音響信号が入力されるようになっており、このメモリ30
4は、この入力された音響信号を蓄積するようになって
いる。また、メモリ304は、制御部306の指示に基づいて
この蓄積された音響信号を音像定位装置305に出力する
ようになっている。
【0093】音像定位装置305は、受信部303またはメモ
リ304から出力された音響信号が入力されるようになっ
ており、この音像定位装置305は、制御部306によって設
定された音像定位方向に基づいて、この入力された音響
信号の音像定位を制御するようになっている。また、音
像定位装置305の動作は、第1実施形態と同様の動作を
行うようになっており、制御された信号をステレオイヤ
ホン301に出力するようになっている。
【0094】例えば、5.1chのマルチチャンネルの
音響信号の場合、ステレオイヤホン301によって5.1
ch標準マルチスピーカ配置のそれぞれの方向からそれ
ぞれの音響信号が受聴できるよう制御するようになって
いる。
【0095】また、ステレオの音響信号の場合、ステレ
オイヤホン301によって2つのスピーカの中央で受聴し
ているかのようにするために、L、Rそれぞれの信号が
左右のスピーカ方向から受聴するよう制御するようにな
っている。
【0096】さらに、携帯電話機300を用いた3者会談
などの会議用アプリケーションにおいては、映像通信に
よって取得した画像における話者の方向とステレオイヤ
ホン301によって出力された音声の方向が一致するよう
に制御するようになっている。
【0097】制御部306は、図示しない操作部における
操作者の操作に基づいて受信部303の出力先、メモリ304
に蓄積された音響信号の呼び出し、および、音像定位方
向の設定を行うようになっており、この設定された音像
定位方向に基づいて音像定位装置305を制御するように
なっている。
【0098】送信部307は、マイク302から出力された音
響信号が入力されるようになっており、この送信部307
は、通信回線に接続され、入力された音声信号を送信信
号に変換して出力するようになっている。
【0099】次に、本実施形態の受信動作について説明
する。
【0100】なお、本動作は、予め映像表示の位置設定
および音像定位方向の設定が行われているものとする。
【0101】まず、音声またはステレオの音響信号、
5.1chなどのマルチチャンネルの音響信号などの信
号が受信信号として受信部303に入力されると、受信部3
03は、制御部306の出力指示を判断し、受信した信号を
音響信号にしてメモリ304または音像定位装置305に出力
する。
【0102】メモリ304に出力された場合、メモリ304に
入力された音響信号は蓄積されて動作が終了する。ま
た、音像定位装置305に出力された場合、以下の動作を
行う。なお、メモリ304に蓄積された音響信号が入力さ
れた場合も以下の動作と同様な動作が行われる。
【0103】まず、受信部303(またはメモリ304)から
出力された音響信号が音像定位装置305に入力される
と、音像定位装置305は、入力された音響信号を制御部3
06によって設定された3次元の方向に音像が定位するよ
う制御する。
【0104】次いで、音像定位装置305は、音像定位が
制御された音響信号をステレオイヤホン301に出力する
とともに、ステレオイヤホン301は、入力された音響信
号を再生する。
【0105】このように、本実施形態は受信動作を行う
ようになっており、受信した音響信号若しくはメモリ30
4に蓄積された音響信号または相手側の音声をステレオ
イヤホン301を介して受聴することができるようになっ
ている。
【0106】また、送信動作としては、話者の音声がマ
イク302によって収音されると、この音声信号が送信部3
07に入力される。次いで、送信部307は、映像信号と音
響信号を通信回線に送信する。
【0107】以上説明したように、本実施形態によれ
ば、受信部303が受信したまたはメモリ304に蓄積された
マルチチャンネルの音楽信号をマルチスピーカで受聴し
ているかのようにステレオイヤホン301に出力すること
ができるので、携帯電話機300によって臨場感ある音楽
を楽しむことができる。
【0108】〔第4実施形態〕図6は、本発明に係る音
像定位装置、並びに音像定位装置を用いた会議装置、携
帯電話機、音声再生装置、音声記録装置、情報端末装
置、ゲーム機および放送システムの第4実施形態を示す
図である。
【0109】なお、本実施形態は、CDプレーヤなどの
音声再生装置(オーディオプレーヤ)に第1実施形態に
おける音像定位装置を適用した場合の実施形態である。
【0110】まず、構成を説明する。
【0111】図6に示す音声再生装置400には、映像信
号の表示を行う映像表示装置401および音響信号を再生
するステレオイヤホン402が接続されるとともに、CD
またはDVDなどの図示しない記録媒体から音響信号お
よびチャンネル数などの記録情報を検出する信号検出部
403と、入力された音響信号の音像定位を制御する音像
定位装置404と、信号検出部403によって検出された記録
情報に基づいて音像定位装置404を制御する制御部405と
を備えている。
【0112】信号検出部403は、CDまたはDVDなど
の記録媒体から単チャンネルまたは複数のチャンネルの
音響信号、映像信号および記録媒体に記録されている音
響信号のチャンネル数などの記録情報を検出するように
なっている。また、信号検出部403は、検出した映像信
号を映像表示部401に、音響信号のチャンネル数などの
情報を記録情報信号として制御部405に、および、音響
信号を音像定位装置404に出力するようになっている
【0113】音像定位装置404には、信号検出部403から
出力された音響信号が入力されるようになっており、こ
の音像定位装置404は、制御部405によって設定された音
像定位方向に基づいて入力された音響信号の音像定位を
制御するようになっている。また、音像定位装置404の
動作は、第1実施形態と同様の動作を行うようになって
おり、制御された信号をステレオイヤホン402に出力す
るようになっている。
【0114】例えば、2チャンネルの音響信号の場合、
音像定位装置404は、ステレオイヤホン402によって左右
に配設されたスピーカの中央で受聴するときのように音
像定位方向を設定する。
【0115】また、5チャンネル信号とウーハ信号のよ
うな6チャンネルの音響信号の場合には、ステレオイヤ
ホン402によって前方に3つのスピーカとウーハスピー
カ、後方に2つのスピーカを配設し、その中央で受聴す
るときのように音像定位方向を設定する。
【0116】なお、1チャンネルまたは2チャンネルの
音響信号の場合には、制御部405によって疑似ステレオ
信号や、疑似サラウンド信号を作成するように制御する
ことによって、マルチチャンネルの信号を再生するとと
もに、ステレオイヤホン402によって上述のマルチチャ
ンネルおよびステレオのように受聴できるようにしても
よい。
【0117】制御部405は、入力された記録情報信号に
基づいて最適な音源再生方向(音像定位方向)を決定す
るとともに、この決定された音像定位方向に基づいて音
像定位装置404を制御するようになっている。
【0118】次に、本実施形態の再生動作について説明
する。
【0119】まず、操作者によって任意の記録メディア
が図示しない再生部に挿入し、記録メディアの再生が開
始されると、信号検出部403によって、音響信号、映像
信号および記録情報を検出する。
【0120】次いで、信号検出部403によって検出され
た映像信号は、映像表示部401に出力されて表示される
とともに、検出された記録情報信号は、制御部405に入
力される。また、信号検出部403によって検出された音
響信号は音像定位装置404に出力される。
【0121】次いで、制御部405は、入力された記録情
報信号から、記録されている音響信号に最適な音像定位
方向を決定し、音像定位装置404における音像定位方向
を設定する。
【0122】次いで、音像定位装置404は、信号検出部4
03によって検出された音響信号を各チャンネルの信号毎
に制御部405によって設定された方向に音像が定位する
よう制御する。
【0123】次いで、音像定位装置404は、音像定位が
制御された音響信号をステレオイヤホン402に出力する
とともに、ステレオイヤホン402は、入力された音響信
号を再生する。
【0124】以上説明したように、本実施形態によれ
ば、信号検出部403によって検出された記録情報信号に
よって制御部405の音像定位方向を設定することができ
るとともに、この音像定位方向によって音像定位装置40
4の音像定位を制御することができるので、信号検出部4
03によって複数チャンネルの音響信号であることを検出
したときは、音像定位装置404により適切なマルチスピ
ーカ配置で受聴しているかのようにステレオイヤホンに
出力することができる。したがって、受聴位置を限定せ
ずに臨場感ある受聴を楽しむことができる。また、小型
のオーディオプレーヤを携帯しながら音楽などを受聴す
る場合にも、臨場感ある再生ができる。
【0125】〔第5実施形態〕図7は、本発明に係る音
像定位装置、並びに音像定位装置を用いた会議装置、携
帯電話機、音声再生装置、音声記録装置、情報端末装
置、ゲーム機、通信および放送システムの第5実施形態
を示す図である。
【0126】なお、本実施形態は、音声記録装置(オー
ディオレコーダ)に第1実施形態における音像定位装置
を適用した場合の実施形態である。
【0127】まず、構成を説明する。
【0128】図7に示す音像定位装置500は、入力され
た音響信号の音像定位を制御する音像定位装置501と、
音像定位装置501によって音像定位が制御された音響信
号をCD、DVDまたはハードディスクなどの記録媒体
502に記録する記録部503と、音像定位装置501の音像定
位方向を制御させる制御部504とを備えている。
【0129】音像定位装置501には、外部から音響信号
が入力されるようになっており、この音像定位装置501
は、制御部504によって設定された音像定位方向に基づ
いて、この入力された音響信号の音像定位を制御するよ
うになっている。また、音像定位装置501の動作は、第
1実施形態と同様の動作を行うようになっており、制御
された信号を記録部503に出力するようになっている。
【0130】例えば、マルチチャンネルの信号が入力さ
れた場合は、その信号を受聴するときの最適なスピーカ
配置における中央で受聴することができるように音像定
位方向を設定するようになっている。
【0131】なお、音像定位装置501は、2チャンネル
の信号を生成するとともに、この2チャンネルの信号を
記録部503に出力するようになっている。
【0132】制御部504は、図示しない操作部における
操作者の指示に基づいて音像定位装置501を制御するよ
うになっており、特に、音像定位装置501に入力された
音響信号の音像定位方向を設定するようになっている。
【0133】次に、本実施形態の記録動作について説明
する。
【0134】なお、本動作は、音像定位方向の設定が行
われているものとする。
【0135】まず、音像定位装置501に音響信号が入力
されると、制御部504によって設定された各チャンネル
の音像定位方向にしたがって、音像定位装置501は入力
された音響信号の音像定位方向を制御する。
【0136】次いで、音像定位装置501は、音像定位さ
れた音響信号を記録部503に出力し、次いで、記録部503
は、この音響信号を記録媒体502に書き込む。
【0137】以上説明したように、本実施形態によれ
ば、音像定位装置501によって入力された音響信号を音
像定位することができ、この音像定位された信号を2チ
ャンネルで記録媒体502に記録することができるので、
多チャンネルなどによって生成された音響効果を保持し
た状態で、2チャンネルの記録媒体502に記録すること
ができる。したがって、図示しない音声再生装置によっ
て付加処理を加えなくても正確な音像定位を施した信号
を再生させることができる。
【0138】また、3チャンネル以上の音響信号を処理
する場合には、音像定位装置501により2チャンネルの
信号に処理することができるので、記録容量が少なくす
ることができる。
【0139】〔第6実施形態〕図8は、本発明に係る音
像定位装置、並びに音像定位装置を用いた会議装置、携
帯電話機、音声再生装置、音声記録装置、情報端末装
置、ゲーム機、通信および放送システムの音像定位装置
の第6実施形態を示す図である。
【0140】なお、本実施形態は、パーソナルコンピュ
ータまたは携帯端末装置などの情報端末装置に第1実施
形態における音像定位装置を適用した場合の実施形態で
ある。
【0141】まず、構成を説明する。
【0142】図8に示す情報端末装置600は、インター
ネットなどの通信回線に接続され、映像信号、音響信号
および音響信号のチャンネル数などの定位情報を含む受
信信号を受信する受信部601と、CD、DVD、ハード
ディスクまたはメモリなどの記録媒体602から音響信号
および音響信号のチャンネル数などの定位情報を検出す
る信号検出部603と、受信部601が受信した映像信号およ
び信号検出部603が検出した映像信号を表示する映像表
示部604と、受信部601が受信した音響信号および信号検
出部603が検出した音響信号の音像定位方向を制御する
音像定位装置605と、受信部601が受信した定位情報およ
び信号検出部603が検出した定位情報に基づいて、また
は、キーボード606によって入力された指示に基づいて
音像定位装置の制御を行う制御部607とを備え、音像定
位装置605に接続されたステレオイヤホン608に音像定位
が制御された信号を出力するようになっている。
【0143】受信部601は、通信回線に接続され、受信
信号を受信するとともに、受信した信号を映像信号と音
響信号に分割するようになっており、この分割した映像
信号を映像表示部604に出力、音響信号を音像定位装置6
05に出力、および、定位情報を制御部607に出力するよ
うになっている。
【0144】信号検出部603は、CD、DVD、ハード
ディスクまたはメモリなどの記録媒体602から単チャン
ネルまたは複数のチャンネルの音響信号、映像信号記録
媒体に記録されている音響信号のチャンネル数などの定
位情報を検出するようになっている。また、信号検出部
603は、検出した映像信号を映像表示部604に、音響信号
を音像定位装置605に、および、定位情報を記録情報信
号として制御部607に出力するようになっている。
【0145】映像表示部604には、受信部601から出力さ
れた映像信号が入力されるようになっており、この映像
表示部604は、入力された映像信号を図示しない表示部
に表示するようになっている。
【0146】音像定位装置605は、受信部601から出力さ
れた音響信号が入力されるようになっており、この音像
定位装置605は、制御部607によって設定された音像定位
方向に基づいて、この入力された音響信号の音像定位を
制御するようになっている。また、音像定位装置605の
動作は、第1実施形態と同様の動作を行うようになって
おり、制御された信号をステレオイヤホン608に出力す
るようになっている。
【0147】制御部607には、受信部601から出力された
定位情報および信号検出部603によって検出された定位
情報が入力されるようになっており、この制御部607
は、入力された定位情報に基づいて音像定位装置605の
音像定位方向を設定するようになっている。
【0148】次に、本実施形態の受信動作について説明
する。
【0149】まず、インターネットなどを介して音響情
報、映像情報またはその他の情報を含む受信信号が受信
部601に入力されると、受信部601は、その信号を、音響
信号、映像信号、定位情報信号に分割し、各映像表示部
604、音像定位装置605および制御部607に出力する。
【0150】次いで、映像表示部604は、入力された映
像信号を表示するとともに、制御部607は、入力された
定位情報に基づいて最適な音像定位方向を算出して音像
定位装置605の音像定位方向を設定する。
【0151】次いで、音像定位装置605は、制御部607に
よって設定された音像定位方向に基づいて入力された音
響信号の音像定位を制御し、ステレオイヤホン608に出
力するとともに、ステレオイヤホン608は、入力された
音響信号を再生する。
【0152】次に、記録媒体に記録された情報の再生動
作について説明する。
【0153】まず、記録媒体602に記録されている情報
を信号検出部603が検出すると、信号検出部603は、その
情報を、音響信号、映像信号、定位情報信号としてそれ
ぞれ各映像表示部604、音像定位装置605および制御部60
7に出力する。
【0154】次いで、映像表示部604は、入力された映
像信号を表示するとともに、制御部607は、入力された
定位情報に基づいて最適な音像定位方向を算出して音像
定位装置605の音像定位方向を設定する。
【0155】次いで、音像定位装置605は、制御部607に
よって設定された音像定位方向に基づいて入力された音
響信号の音像定位を制御し、ステレオイヤホン608に出
力するとともに、ステレオイヤホン608は、入力された
音響信号を再生する。
【0156】なお、制御部607は、キーボード606に接続
されており、利用者がキーボード606を介して好みの音
像定位方向を設定することも可能である。
【0157】以上説明したように、本実施形態によれ
ば、音像定位装置605によって受信部601が受信した音響
信号および記録媒体602に記録された音響信号の音像定
位をそれぞれの定位情報に基づいて制御することができ
るので、インターネットなどを通じて入手した信号また
は記録媒体602に記録されている信号に応じてステレオ
イヤホン608によって最適な受聴をすることができ、受
聴位置によらず臨場感ある再生を行うことができる。ま
た、キーボード606によって利用者が好みの音像定位に
することもできる。
【0158】〔第7実施形態〕図9は、本発明に係る音
像定位装置、並びに音像定位装置を用いた会議装置、携
帯電話機、音声再生装置、音声記録装置、情報端末装
置、ゲーム機、通信および放送システムの第7実施形態
を示す図である。
【0159】なお、本実施形態は、ゲーム装置に第1実
施形態における音像定位装置を適用した場合の実施形態
である。
【0160】まず、構成を説明する。
【0161】図9に示すゲーム装置700は、CD、DV
D、メモリまたはハードディスクなどの記録媒体701か
ら音響信号およびチャンネル数などの定位情報を検出す
る信号検出部702と、信号検出部702が検出した映像信号
を表示する映像表示部703と、信号検出部702が検出した
音響信号の音像定位方向を制御する音像定位装置704
と、信号検出部702が検出した定位情報に基づいて、ま
たは、コントローラ705によって入力された指示に基づ
いて音像定位装置704の音像定位方向を設定する制御部7
06とを備え、音像定位装置に接続されたステレオイヤホ
ン707に音像定位が制御された音響信号を出力するよう
になっている。
【0162】信号検出部702は、CD、DVD、ハード
ディスクまたはメモリなどの記録媒体701から単チャン
ネルまたは複数のチャンネルの音響信号、映像信号記録
媒体に記録されている音響信号のチャンネル数などの定
位情報を検出するようになっている。また、信号検出部
702は、検出した映像信号を映像表示部703に、音響信号
を音像定位装置704に、および、定位情報を定位情報信
号として制御部706に出力するようになっている
【0163】映像表示部703には、信号検出部702によっ
て検出された映像信号が入力されるようになっており、
この映像表示部702は、入力された映像信号を表示する
ようになっている。
【0164】音像定位装置704は、信号検出部702によっ
て検出された音響信号が入力されるようになっており、
この音像定位装置704は、制御部706によって設定された
音像定位方向に基づいて、この入力された音響信号の音
像定位を制御するようになっている。また、音像定位装
置704の動作は、第1実施形態と同様の動作を行うよう
になっており、制御された信号をステレオイヤホン707
に出力するようになっている。
【0165】制御部706には、信号検出部702によって検
出された定位情報が入力されるようになっており、この
制御部706は、入力された定位情報に基づいて音像定位
装置704の音像定位方向を設定するようになっている。
また、制御部706には、複数のボタンおよびキーを有す
るコントローラ705が接続されており、利用者がコント
ローラ705によって決定ボタン押下または方向キー押下
の動作を行うと、その動作を示す信号が制御部706に通
知されるようになっている。
【0166】次に、本実施形態の再生動作について説明
する。
【0167】まず、記録媒体701に記録されている情報
を信号検出部702が検出されると、信号検出部702は、そ
の情報を、すなわち、音響信号、映像信号、定位情報信
号としてそれぞれ各映像表示部703、音像定位装置704お
よび制御部706に出力する。
【0168】次いで、映像表示部703は、入力された映
像信号を表示する。
【0169】一方、操作者がコントローラ705のボタン
を操作すると、この操作情報が制御部706に出力され
る。
【0170】次いで、制御部706は、入力された定位情
報およびコントローラ705からの操作情報に基づいて最
適な音像定位方向を算出して音像定位装置704の音像定
位方向を設定する。
【0171】次いで、音像定位装置704は、制御部706に
よって設定された音像定位方向に基づいて音像定位させ
るように信号処理してステレオイヤホン707に出力する
とともに、ステレオイヤホン707は、入力された音響信
号を再生する。
【0172】以上説明したように、本実施形態によれ
ば、ゲームソフトウェアが記録されている記録媒体にあ
る定位情報または利用者がコントローラを操作した情報
に基づいて3次元方向に音像を定位させることができる
とともに、この音像を定位した音響信号をステレオイヤ
ホン707に出力することができるので、スピーカの中央
で受聴するなどの受聴位置によらずに、ソフトウェア開
発者が意図したように正確に音像定位がなされ、ステレ
オイヤホン707によってヴァーチャルな音空間が楽しむ
ことができる。
【0173】〔第8実施形態〕図10は、本発明に係る音
像定位装置、並びに音像定位装置を用いた会議装置、携
帯電話機、音声再生装置、音声記録装置、情報端末装
置、ゲーム機、通信および放送システムの第8実施形態
を示す図である。
【0174】なお、本実施形態は、地上波でのTV放
送、衛星放送、ラジオ放送、ネットワークを用いた音楽
配信を行う放送システムに第1実施形態における音像定
位装置を適用した場合の実施形態である。
【0175】まず、構成を説明する。
【0176】図10に示す放送システム800は、映像信号
および音響信号が入力され、入力された各信号を圧縮す
るとともに所定の形式に符号化するエンコーダ801、802
と、入力された音響信号の音像定位方向を制御する音像
定位装置803と、音像定位装置803の音像定位方向を設定
する制御部804と、各エンコーダ801、802によって所定
の形式に符号化されたデータを送信する送信部805と備
え、地上波でのTV放送、衛星放送、ラジオ放送、ネッ
トワークを用いた音楽配信を行うようになっている。
【0177】映像エンコーダ801には、外部より映像信
号が入力されるようになっており、映像エンコーダ801
は、この入力された映像信号を所定の形式に符号化する
とともに、データ量を圧縮するようになっている。ま
た、映像エンコーダ801は、符号化されたデータを送信
部805に出力するようになっている。
【0178】音響エンコーダ802には、音像定位装置803
によって音響信号の音像定位方向が制御された信号が入
力されるようになっており、音響エンコーダ802は、こ
の入力された音響信号を所定の形式に符号化するととも
に、データ量を圧縮するようになっている。また、音響
エンコーダ802は、符号化されたデータを送信部805に出
力するようになっている。
【0179】なお、映像エンコーダ801および音響エン
コーダ802は、データ量を圧縮しなくてもよい。
【0180】音像定位装置803は、外部からの音響信号
が入力されるようになっており、この音像定位装置803
は、制御部804によって設定された音像定位方向に基づ
いて入力された音響信号の音像定位を制御するようにな
っている。また、音像定位装置803の動作は、第1実施
形態と同様の動作を行うようになっており、制御された
信号を音響エンコーダ802に出力するようになってい
る。
【0181】制御部804は、図示しない操作部における
操作者の操作に基づいて音像定位方向の設定を行うよう
になっており、この設定された音像定位方向に基づいて
音像定位装置803を制御するようになっている。
【0182】例えば、制御部804は、マルチチャンネル
の信号に対しては、その信号を受聴するのに最適なスピ
ーカ配置の中央で音を聞くときのように音像方向を設定
するようになっている。
【0183】送信部805は、各エンコーダ801、802によ
って符号化された各データが入力されるようになってお
り、この送信部805は、例えば、インターネットのよう
なネットワーク、電波、電話回線などを介して入力され
た映像および音響データを外部に送信するようになって
いる。
【0184】以上説明したように、本実施形態によれ
ば、送信部805によって音像定位された信号を所定の信
号形式によって送信することができるので、送信された
信号を受信する際に付加処理を加えなくても正確な音像
定位を施した信号を再生させることができる。また、3
チャンネル以上の音響信号を処理する場合には、音像定
位装置により2チャンネルの信号に処理することができ
るので、記録容量を少なくすることができる。
【0185】
【発明の効果】本発明の音像定位装置は、ステレオイヤ
ホンが外耳に装着されることによって変化する外耳道伝
達関数の補正情報に基づいてステレオイヤホンに出力す
る音源信号の音像定位を行うことができるので、ステレ
オイヤホンが装着されることによって外耳道伝達関数の
変化量に対応させた音像定位を行うことができ、正確に
音像定位された音源信号をステレオイヤホンによって受
聴させることができる。
【図面の簡単な説明】
【図1】本発明に係る音像定位装置、並びに音像定位装
置を用いた会議装置、携帯電話機、音声再生装置、音声
記録装置、情報端末装置、ゲーム機、通信および放送シ
ステムの第1実施形態を示し、かかる音像定位装置の構
成を示すブロック図
【図2】第1実施形態のイヤホン挿入による外耳道イン
パルス応答変化の補正情報記憶部の一例を示す図
【図3】第1実施形態のイヤホン挿入による外耳道イン
パルス応答変化の補正情報記憶部のその他の例を示す図
【図4】本発明に係る音像定位装置、並びに音像定位装
置を用いた会議装置、携帯電話機、音声再生装置、音声
記録装置、情報端末装置、ゲーム機、通信および放送シ
ステムの第2実施形態を示し、かかる会議装置の構成を
示すブロック図
【図5】本発明に係る音像定位装置、並びに音像定位装
置を用いた会議装置、携帯電話機、音声再生装置、音声
記録装置、情報端末装置、ゲーム機、通信および放送シ
ステムの第3実施形態を示し、かかる携帯電話機の構成
を示すブロック図
【図6】本発明に係る音像定位装置、並びに音像定位装
置を用いた会議装置、携帯電話機、音声再生装置、音声
記録装置、情報端末装置、ゲーム機、通信および放送シ
ステムの第4実施形態を示し、かかる音声再生装置の構
成を示すブロック図
【図7】本発明に係る音像定位装置、並びに音像定位装
置を用いた会議装置、携帯電話機、音声再生装置、音声
記録装置、情報端末装置、ゲーム機、通信および放送シ
ステムの第5実施形態を示し、かかる音声記録装置の構
成を示すブロック図
【図8】本発明に係る音像定位装置、並びに音像定位装
置を用いた会議装置、携帯電話機、音声再生装置、音声
記録装置、情報端末装置、ゲーム機、通信および放送シ
ステムの第6実施形態を示し、かかる情報端末装置の構
成を示すブロック図
【図9】本発明に係る音像定位装置、並びに音像定位装
置を用いた会議装置、携帯電話機、音声再生装置、音声
記録装置、情報端末装置、ゲーム機、通信および放送シ
ステムの第7実施形態を示し、かかるゲーム機の構成を
示すブロック図
【図10】本発明に係る音像定位装置、並びに音像定位装
置を用いた会議装置、携帯電話機、音声再生装置、音声
記録装置、情報端末装置、ゲーム機、通信および放送シ
ステムの第8実施形態を示し、かかる放送システムの構
成を示すブロック図
【図11】従来の音像定位装置の原理を示す図
【符号の説明】
100、207、305、404、501、605 音像定位装置 101 音像方向設定部(設定手段) 403、603 信号検出部(信号検出手段) 502 記録部(記録手段) 503、602、701、(記録媒体) 601 受信部(受信手段) 606 キーボード(操作手段) 705 コントローラ

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 少なくとも外耳道伝達関数を用いてステ
    レオイヤホンに出力する音源信号の音像定位を行う音像
    定位装置において、 前記音源信号の音像を定位させる方向を設定する設定手
    段と、 前記設定手段によって設定された前記音像を定位させる
    方向に対応する頭部伝達関数および前記ステレオイヤホ
    ンが前記外耳に装着されることによって変化する前記外
    耳道伝達関数の補正情報に基づいて前記ステレオイヤホ
    ンに出力する前記音源信号の音像定位を行う音像定位手
    段とを備えたことを特徴とする音像定位装置。
  2. 【請求項2】 擬似頭を用いて算出された前記補正情報
    によって前記音源信号の音像定位を行うことを特徴とす
    る請求項1記載の音像定位装置。
  3. 【請求項3】 前記音像定位手段が、前記音源信号の音
    像定位を行うとき、前記設定手段によって設定された前
    記音像を定位させる方向にかかわらず、何れの方向であ
    っても予め設定された1種類の前記補正情報を用いるこ
    とを特徴とする請求項1または2記載の音像定位装置。
  4. 【請求項4】 前記音像定位手段が、前記音源信号に前
    記頭部伝達関数および前記補正情報を畳み込み演算する
    ことによって前記音像定位を行うことを特徴とする請求
    項1乃至3の何れかに記載の音像定位装置。
  5. 【請求項5】 請求項1乃至3の何れかに記載の音像定
    位装置を備え、前記音像定位装置によって、受信した音
    響信号の音像定位を行うことを特徴とする音像定位装置
    を用いた会議装置。
  6. 【請求項6】 請求項1乃至3の何れかに記載の音像定
    位装置を備え、前記音像定位装置によって、受信した音
    響信号の音像定位を行うことを特徴とする音像定位装置
    を用いた携帯電話機。
  7. 【請求項7】 請求項1乃至3の何れかに記載の音像定
    位装置と、 少なくとも記録媒体に記録された音響信号および記録情
    報信号を検出する信号検出手段とを備え、 前記音像定位装置が、前記信号検出手段によって検出さ
    れた前記記録情報信号に基づいて前記記録媒体から読み
    出した前記音響信号の音像定位を行うことを特徴とする
    音像定位装置を用いた音声再生装置。
  8. 【請求項8】 請求項1乃至3の何れかに記載の音像定
    位装置と、 2チャンネルを有する記録媒体に記録を行う記録手段と
    を備え、 前記音像定位装置が、入力された音響信号の音響効果を
    保持した状態で前記記録媒体に記録できるよう音像定位
    を行うことを特徴とする音像定位装置を用いた音声記録
    装置。
  9. 【請求項9】 請求項1乃至3の何れかに記載の音像定
    位装置と、 少なくとも音響信号および前記音響信号の定位情報を含
    むデータを受信する受信手段と、 少なくとも記録媒体に記録された音響信号および前記音
    響信号の定位情報を検出する信号検出手段とを備え、 前記音像定位装置が、前記受信手段によって受信した音
    響情報および前記信号検出手段によって検出された音響
    信号の何れか一方の定位情報に基づいて前記音響信号の
    音像定位の制御を行うことを特徴とする音像定位装置を
    用いた情報端末装置。
  10. 【請求項10】 前記音像定位装置を操作する操作手段を
    設けたことを特徴とする請求項9記載の音像定位装置を
    用いた情報端末装置。
  11. 【請求項11】 請求項1乃至3の何れかに記載の音像定
    位装置と、 少なくとも記録媒体に記録された音響信号および記録情
    報信号を検出する信号検出手段と、 コントローラとを備え、 前記音像定位装置が、前記信号検出手段によって検出さ
    れた前記記録情報信号および前記コントローラの操作に
    基づいて前記記録媒体から読み出した前記音響信号の音
    像定位を行うことを特徴とする音像定位装置を用いたゲ
    ーム機。
  12. 【請求項12】 請求項1乃至3の何れかに記載の音像定
    位装置を備え、 前記音像定位装置が、前記音像定位装置によって入力さ
    れた音響信号の音像定位を行うとともに、前記音像定位
    装置によって音像定位された前記音響信号を所定の信号
    形式によって送信することを特徴とする音像定位装置を
    用いた通信および放送システム。
JP2001001667A 2001-01-09 2001-01-09 音像定位装置、並びに音像定位装置を用いた会議装置、携帯電話機、音声再生装置、音声記録装置、情報端末装置、ゲーム機、通信および放送システム Expired - Lifetime JP3435141B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001001667A JP3435141B2 (ja) 2001-01-09 2001-01-09 音像定位装置、並びに音像定位装置を用いた会議装置、携帯電話機、音声再生装置、音声記録装置、情報端末装置、ゲーム機、通信および放送システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001001667A JP3435141B2 (ja) 2001-01-09 2001-01-09 音像定位装置、並びに音像定位装置を用いた会議装置、携帯電話機、音声再生装置、音声記録装置、情報端末装置、ゲーム機、通信および放送システム

Publications (2)

Publication Number Publication Date
JP2002209300A true JP2002209300A (ja) 2002-07-26
JP3435141B2 JP3435141B2 (ja) 2003-08-11

Family

ID=18870281

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001001667A Expired - Lifetime JP3435141B2 (ja) 2001-01-09 2001-01-09 音像定位装置、並びに音像定位装置を用いた会議装置、携帯電話機、音声再生装置、音声記録装置、情報端末装置、ゲーム機、通信および放送システム

Country Status (1)

Country Link
JP (1) JP3435141B2 (ja)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128854A (ja) * 2002-10-02 2004-04-22 Matsushita Electric Ind Co Ltd 音響再生装置
JP2005094271A (ja) * 2003-09-16 2005-04-07 Nippon Hoso Kyokai <Nhk> 仮想空間音響再生プログラムおよび仮想空間音響再生装置
JP2006237841A (ja) * 2005-02-23 2006-09-07 Oki Electric Ind Co Ltd 音声会議システム及び話者特定用処理装置
JP2006237839A (ja) * 2005-02-23 2006-09-07 Oki Electric Ind Co Ltd 音声会議装置
JP2006279492A (ja) * 2005-03-29 2006-10-12 Tsuken Denki Kogyo Kk 電話会議システム
JP2006325170A (ja) * 2005-05-18 2006-11-30 Haruo Tanmachi 音響信号変換装置
JP2008294619A (ja) * 2007-05-23 2008-12-04 Yamaha Corp 音声通信システム
JP2010147529A (ja) * 2008-12-16 2010-07-01 Sony Corp 情報処理システムおよび情報処理方法
JP2010178373A (ja) * 2010-04-08 2010-08-12 Sony Corp 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2010187401A (ja) * 2010-04-26 2010-08-26 Sony Corp 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
US7826630B2 (en) 2004-06-29 2010-11-02 Sony Corporation Sound image localization apparatus
US8081769B2 (en) 2008-02-15 2011-12-20 Kabushiki Kaisha Toshiba Apparatus for rectifying resonance in the outer-ear canals and method of rectifying
JP2012509632A (ja) * 2008-11-21 2012-04-19 アウロ テクノロジーズ オーディオ信号を変換するためのコンバータ及び方法。
US8280062B2 (en) 2008-12-26 2012-10-02 Kabushiki Kaisha Toshiba Sound corrector, sound measurement device, sound reproducer, sound correction method, and sound measurement method
US8306250B2 (en) 2008-04-10 2012-11-06 Panasonic Corporation Sound reproducing apparatus using in-ear earphone
JP2013009112A (ja) * 2011-06-23 2013-01-10 National Institute Of Advanced Industrial & Technology 収音再生装置、プログラム及び収音再生方法
US8503682B2 (en) 2008-02-27 2013-08-06 Sony Corporation Head-related transfer function convolution method and head-related transfer function convolution device
US8520857B2 (en) 2008-02-15 2013-08-27 Sony Corporation Head-related transfer function measurement method, head-related transfer function convolution method, and head-related transfer function convolution device
US8831231B2 (en) 2010-05-20 2014-09-09 Sony Corporation Audio signal processing device and audio signal processing method
US8873761B2 (en) 2009-06-23 2014-10-28 Sony Corporation Audio signal processing device and audio signal processing method
JP2014222859A (ja) * 2013-05-14 2014-11-27 日本放送協会 音響信号再生装置、音響信号作成装置
US9232336B2 (en) 2010-06-14 2016-01-05 Sony Corporation Head related transfer function generation apparatus, head related transfer function generation method, and sound signal processing apparatus
US9332349B2 (en) 2012-05-01 2016-05-03 Sony Corporation Sound image localization apparatus
WO2018056342A1 (ja) 2016-09-23 2018-03-29 株式会社Jvcケンウッド フィルタ生成装置、フィルタ生成方法、及びプログラム
US10375507B2 (en) 2016-01-26 2019-08-06 JVC Kenwood Corporation Measurement device and measurement method
US10412530B2 (en) 2015-08-20 2019-09-10 Jvckenwood Corporation Out-of-head localization processing apparatus and filter selection method
US11297427B2 (en) 2018-03-22 2022-04-05 Jvckenwood Corporation Processing device, processing method, and program for processing sound pickup signals

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128854A (ja) * 2002-10-02 2004-04-22 Matsushita Electric Ind Co Ltd 音響再生装置
JP2005094271A (ja) * 2003-09-16 2005-04-07 Nippon Hoso Kyokai <Nhk> 仮想空間音響再生プログラムおよび仮想空間音響再生装置
US7826630B2 (en) 2004-06-29 2010-11-02 Sony Corporation Sound image localization apparatus
JP4548147B2 (ja) * 2005-02-23 2010-09-22 沖電気工業株式会社 音声会議システム及び話者特定用処理装置
JP2006237841A (ja) * 2005-02-23 2006-09-07 Oki Electric Ind Co Ltd 音声会議システム及び話者特定用処理装置
JP2006237839A (ja) * 2005-02-23 2006-09-07 Oki Electric Ind Co Ltd 音声会議装置
JP2006279492A (ja) * 2005-03-29 2006-10-12 Tsuken Denki Kogyo Kk 電話会議システム
JP2006325170A (ja) * 2005-05-18 2006-11-30 Haruo Tanmachi 音響信号変換装置
JP2008294619A (ja) * 2007-05-23 2008-12-04 Yamaha Corp 音声通信システム
US8520857B2 (en) 2008-02-15 2013-08-27 Sony Corporation Head-related transfer function measurement method, head-related transfer function convolution method, and head-related transfer function convolution device
US8081769B2 (en) 2008-02-15 2011-12-20 Kabushiki Kaisha Toshiba Apparatus for rectifying resonance in the outer-ear canals and method of rectifying
US8503682B2 (en) 2008-02-27 2013-08-06 Sony Corporation Head-related transfer function convolution method and head-related transfer function convolution device
US9432793B2 (en) 2008-02-27 2016-08-30 Sony Corporation Head-related transfer function convolution method and head-related transfer function convolution device
US8306250B2 (en) 2008-04-10 2012-11-06 Panasonic Corporation Sound reproducing apparatus using in-ear earphone
JP2012509632A (ja) * 2008-11-21 2012-04-19 アウロ テクノロジーズ オーディオ信号を変換するためのコンバータ及び方法。
JP2010147529A (ja) * 2008-12-16 2010-07-01 Sony Corp 情報処理システムおよび情報処理方法
US8644531B2 (en) 2008-12-16 2014-02-04 Sony Corporation Information processing system and information processing method
US8280062B2 (en) 2008-12-26 2012-10-02 Kabushiki Kaisha Toshiba Sound corrector, sound measurement device, sound reproducer, sound correction method, and sound measurement method
US8873761B2 (en) 2009-06-23 2014-10-28 Sony Corporation Audio signal processing device and audio signal processing method
JP2010178373A (ja) * 2010-04-08 2010-08-12 Sony Corp 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2010187401A (ja) * 2010-04-26 2010-08-26 Sony Corp 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
US8831231B2 (en) 2010-05-20 2014-09-09 Sony Corporation Audio signal processing device and audio signal processing method
US9232336B2 (en) 2010-06-14 2016-01-05 Sony Corporation Head related transfer function generation apparatus, head related transfer function generation method, and sound signal processing apparatus
JP2013009112A (ja) * 2011-06-23 2013-01-10 National Institute Of Advanced Industrial & Technology 収音再生装置、プログラム及び収音再生方法
US9332349B2 (en) 2012-05-01 2016-05-03 Sony Corporation Sound image localization apparatus
JP2014222859A (ja) * 2013-05-14 2014-11-27 日本放送協会 音響信号再生装置、音響信号作成装置
US10412530B2 (en) 2015-08-20 2019-09-10 Jvckenwood Corporation Out-of-head localization processing apparatus and filter selection method
US10375507B2 (en) 2016-01-26 2019-08-06 JVC Kenwood Corporation Measurement device and measurement method
WO2018056342A1 (ja) 2016-09-23 2018-03-29 株式会社Jvcケンウッド フィルタ生成装置、フィルタ生成方法、及びプログラム
JP2018050222A (ja) * 2016-09-23 2018-03-29 株式会社Jvcケンウッド フィルタ生成装置、フィルタ生成方法、及びプログラム
US10555108B2 (en) 2016-09-23 2020-02-04 Jvckenwood Corporation Filter generation device, method for generating filter, and program
US11297427B2 (en) 2018-03-22 2022-04-05 Jvckenwood Corporation Processing device, processing method, and program for processing sound pickup signals

Also Published As

Publication number Publication date
JP3435141B2 (ja) 2003-08-11

Similar Documents

Publication Publication Date Title
JP3435141B2 (ja) 音像定位装置、並びに音像定位装置を用いた会議装置、携帯電話機、音声再生装置、音声記録装置、情報端末装置、ゲーム機、通信および放送システム
US7602921B2 (en) Sound image localizer
EP1266541B1 (en) System and method for optimization of three-dimensional audio
JP5325988B2 (ja) 補聴器システムにおいてバイノーラル・ステレオにレンダリングする方法および補聴器システム
US8787602B2 (en) Device for and a method of processing audio data
US6975731B1 (en) System for producing an artificial sound environment
AU2001239516A1 (en) System and method for optimization of three-dimensional audio
KR20060041736A (ko) 음향 재생 장치 및 음향 재생 방법
EP2822301B1 (en) Determination of individual HRTFs
US20190246230A1 (en) Virtual localization of sound
JPH05168097A (ja) 頭外音像定位ステレオ受聴器受聴方法
JP5281695B2 (ja) 音響変換装置
US7050596B2 (en) System and headphone-like rear channel speaker and the method of the same
US6983054B2 (en) Means for compensating rear sound effect
JP6972858B2 (ja) 音響処理装置、プログラム及び方法
Tan Binaural recording methods with analysis on inter-aural time, level, and phase differences

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3435141

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080530

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090530

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100530

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110530

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110530

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120530

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120530

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130530

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130530

Year of fee payment: 10

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term