JP2022057633A - 振動制御装置,振動制御プログラム及び振動制御方法 - Google Patents

振動制御装置,振動制御プログラム及び振動制御方法 Download PDF

Info

Publication number
JP2022057633A
JP2022057633A JP2020165991A JP2020165991A JP2022057633A JP 2022057633 A JP2022057633 A JP 2022057633A JP 2020165991 A JP2020165991 A JP 2020165991A JP 2020165991 A JP2020165991 A JP 2020165991A JP 2022057633 A JP2022057633 A JP 2022057633A
Authority
JP
Japan
Prior art keywords
signal
vibration
energy
waveform
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020165991A
Other languages
English (en)
Other versions
JP7495728B2 (ja
Inventor
雅司 昆陽
Masashi Konyo
公輔 山口
Kosuke Yamaguchi
南 曹
Nan Cao
諭 田所
Satoshi Tadokoro
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tohoku University NUC
Original Assignee
Tohoku University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2020165991A priority Critical patent/JP7495728B2/ja
Application filed by Tohoku University NUC filed Critical Tohoku University NUC
Priority to TW109137466A priority patent/TW202133950A/zh
Priority to PCT/JP2020/040520 priority patent/WO2021085506A1/ja
Priority to KR1020227007563A priority patent/KR20220091459A/ko
Priority to EP20882659.4A priority patent/EP4052809A4/en
Priority to CN202080063178.4A priority patent/CN114424146A/zh
Priority to US17/690,983 priority patent/US20220198891A1/en
Publication of JP2022057633A publication Critical patent/JP2022057633A/ja
Application granted granted Critical
Publication of JP7495728B2 publication Critical patent/JP7495728B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

Figure 2022057633000001
【課題】ヒトが知覚しやすい高周波帯域の振動を生成する。
【解決手段】バイブレーション装置による振動を信号によって制御する振動制御装置であって、信号を所定時間毎に分割する時間分割制御部112と、時間分割制御部112によって分割された所定時間毎に、信号の波形を変換するエネルギー制御部113と、を備え、エネルギー制御部113は、信号の周波数成分のうち特定の周波数帯域の信号についてはエネルギーを調整して波形の変換を行なう一方、特定の周波数帯域以外の信号についてはエネルギーを維持しながら信号とは別の周波数をもつ波形に変換を行なう。
【選択図】図11

Description

本明細書に記載する技術は、振動制御装置,振動制御プログラム及び振動制御方法に関する。
近年、スマートフォンやゲーム機,Virtual Reality(VR)機器,ロボット操縦支援等の分野において、振動フィードバックの高度化が進んでいる。具体的には、幅広い周波数帯域の振動を再現することにより、リアルな触覚を提示できる振動デバイスが開発されている。
Hideto Takenouchi, Nan Cao, Hikaru Nagano, Masashi Konyo, Satoshi Tadokoro、the 2017 IEEE/SICE International Symposium on System Integration「Extracting Haptic Information from High-Frequency Vibratory signals Measured on a Remote Robot to Transmit Collisions with Environments」pp. 968-973、2017年12月 Nan Cao, Hikaru Nagano, Masashi Konyo, Shogo Okamoto, Satoshi Tadokoro「A Pilot Study: Introduction of Time-Domain Segment to Intensity-Based Perception Model of High-Frequency Vibration」、2018年6月 Nan Cao, Hikaru Nagano, Masashi Konyo, Satoshi Tadokoro、the 27th IEEE International Symposium on Robot and Human Interactive Communication「Sound reduction of vibration feedback by perceptually similar modulation」、2018年8月 Sliman Bensmaia, Mark Hollins, Jeffrey Yau, Attention, 「Vibrotactile intensity and frequency information in the Pacinian system: A psychophysical model」、Perception, & Psychophysics, Vol. 67, No. 5, pp 828-84、 2005年7月
しかしながら、例えば300Hz以上の高周波の振動を提示しようとすると、デバイスの問題や知覚感度の問題,聴覚ノイズの問題が発生しうる。高周波帯域では振動子の振幅が小さくなるため、共振を利用するタイプのデバイスでは高周波帯域及び低周波帯域の振動を共に発生させることは容易でない。また、ヒトは200~300Hzをピークにそれ以上の振動周波数に対しては知覚感度が弱くなるため、振動を知覚させるためには十分な振幅が必要となる。更に、周波数が300Hz程度を超えると音として振動が聞こえるようなる。例えば、音楽や映画コンテンツと組み合わせて振動を発生させようとすると、音楽や映画コンテンツの音源を妨げる騒音と認識されるおそれがある。
1つの側面では、本明細書に記載する技術は、ヒトが知覚しやすい高周波帯域の振動を生成することを目的とする。
1つの側面において、バイブレーション装置による振動を信号によって制御する振動制御装置であって、前記信号を所定時間毎に分割する時間分割制御部と、前記時間分割制御部によって分割された前記所定時間毎に、前記信号の波形を変換するエネルギー制御部と、を備え、前記エネルギー制御部は、前記信号の周波数成分のうち特定の周波数帯域の信号についてはエネルギーを調整して前記波形の変換を行なう一方、前記特定の周波数帯域以外の信号についてはエネルギーを維持しながら前記信号とは別の周波数をもつ波形に変換を行なう。
1つの側面として、ヒトが知覚しやすい高周波帯域の振動を生成できる。
実施形態としての振動発生システムの構成例を模式的に示すブロック図である。 図1に示した振動制御装置による変換前後の信号の波形を示すグラフである。 ヒトによる振動の弁別可能性を示すグラフである。 図3に示したグラフで示されている弁別可能性を判断するために実施した強制三選択肢弁別実験で使用した振動のサンプル波形である。 図1に示した振動制御装置によるセグメント毎の変換前後の信号の波形を示すグラフである。 補正エネルギーの計算に用いられる振幅閾値Tを表すグラフである。 補正エネルギーの計算に用いられる指数閾値bを表すグラフである。 図1に示した振動制御装置における窓関数の利用を説明する図である。 図1に示した振動制御装置における低周波と高周波との合成例を説明するグラフである。 図1に示した振動制御装置による変換前後の信号の波形の具体例を示すグラフである。 図1に示した振動制御装置におけるIntensity Segmentation Method(ISM)部の機能構成例を説明するブロック図である。 図1に示した振動制御装置における振動波形の生成処理の第1の実施例を説明するブロック図である。 図11に示したエネルギー制御処理の詳細を説明するブロック図である。 図1に示した振動制御装置における振動波形の生成処理の第2の実施例として、図11に示したエネルギー制御処理における低周波成分の分離処理を説明するブロック図である。 (a)~(c)は波形を強調せずにISMに従い振動を生成する例を説明するグラフである。 (a)~(c)は音源から3000Hz以上の高周波成分を強調して分離する第1の例を説明するグラフである。 (a)~(c)は音源から3000Hz以上の高周波成分を強調して分離する第2の例を説明するグラフである。 (a)~(c)は音源から1000Hz以下の低周波成分を強調して分離する例を説明するグラフである。 図11に示したエネルギー制御処理の第1変形例を説明するブロック図である。 図11に示したエネルギー制御処理の第2変形例を説明するブロック図である。 図11に示したエネルギー合成処理の詳細を説明するブロック図である。 図11に示した補正した振動波形の生成処理の詳細を説明するブロック図である。 図1に示した振動発生システムにおいて複数の振動装置を用いる場合のDACの構成例を示すブロック図である。 図1に示した振動発生システムにおいて単一の振動装置を用いる場合のDACの構成例を示すブロック図である。
以下、図面を参照して実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。
また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の構成要素を含むことができる。以下、図中において、同一の符号を付した部分は特に断らない限り、同一若しくは同様の部分を示す。
〔A〕実施形態
図1は、実施形態としての振動発生システム100の構成例を模式的に示すブロック図である。
振動発生システム100は、振動制御装置1,Digital Analog Converter(DAC)2,高周波バイブレーション31,低周波バイブレーション32,イヤフォーン(L)41及びイヤフォーン(R)42を備える。
DAC2は、Universal Serial Bus(USB)オーディオと称されてもよく、振動制御装置1から入力されたデジタル信号をアナログ信号に変換する。そしで、DAC2は、変換後のアナログ信号を高周波バイブレーション31,低周波バイブレーション32,イヤフォーン(L)41及びイヤフォーン(R)42に出力する。なお、DAC2の後段には、高周波バイブレーション31,低周波バイブレーション32,イヤフォーン(L)41及びイヤフォーン(R)42を駆動させるための不図示の増幅器(別言すれば、アンプ)が設けられてよい。
図1に示す低周波バイブレーション32は、第1のバイブレーション装置の一例であり、所定周波数未満の信号成分による振動を発生させる。図1に示す高周波バイブレーション31は、第2のバイブレーション装置の一例であり、所定周波数以上の信号成分による振動を発生させる。なお、低周波バイブレーション32は振動発生システム100において備えられなくてもよい。その場合には、高周波バイブレーション31から所定周波数未満の信号成分による振動が発生されてもよいし、所定周波数未満の信号成分による振動は振動発生システム100において発生させられなくてもよい。
低周波バイブレーション32から出力される振動の信号成分と、高周波バイブレーション31から出力される信号の信号成分とを分離する所定周波数は、80Hzから400Hzまでの範囲内の周波数であってよい。
イヤフォーン(L)41は、ステレオ音源のうちヒトの左耳に入力される音を発生させる。イヤフォーン(R)42は、ステレオ音源のうちヒトの左耳に入力される音を発生させる。なお、イヤフォーン(L)41及びイヤフォーン(R)42は、振動発生システム100において備えられなくてもよい。また、イヤフォーン(L)41及びイヤフォーン(R)42は、共用されてモノラル音源を発生させてもよい。更に、振動発生システム100においては、イヤフォーン(L)41及びイヤフォーン(R)42の代わりにスピーカが備えられてもよいし、3チャネル以上の音源の出力がされてもよい。
振動制御装置1は、Central Processing Unit(CPU)11,メモリ12及び記憶装置13を備える。
本実施形態の一例における振動制御装置1は、音楽や映画,音声等の音響情報の触覚信号変換を行なってよい。周波数が300~400Hz程度を超えると音として振動が聞こえるようになるため、騒音となる。このため、従来技術における音楽や動画等の振動体感装置では、数百Hz程度でローパスフィルタをかけて、高周波帯域をカットすることが多い。一方、本実施形態の一例における振動制御装置1では、高周波帯域の波形を低周波帯の別の周波数に変換して出力する。
また、本実施形態の一例における振動制御装置1は、ロボットが物体に接触した際に発生する高周波振動をヒトが知覚できる周波数帯に変調してよい。ロボットが物体に接触した際の振動を遠隔操縦者に伝達することで、物体との衝突の強さや摩擦の状況を把握することができる。建設ロボットのような金属筐体を把持するロボットでは、物体に接触した際にヒトが知覚できない帯域の振動が発生することがある。そこで、本実施形態の一例における振動制御装置1では、出力信号の周波数帯を変調する。
更に、本実施形態の一例における振動制御装置1は、バイブレーション装置を含む椅子やスーツ,ヘッドセット等に適用されてよい。
メモリ12は、Read Only Memory(ROM)及びRandom Access Memory(RAM)を含む記憶装置である。
記憶装置13は、データを読み書き可能に記憶する装置であり、例えば、Hard Disk Drive(HDD)やSolid State Drive(SSD),Storage Class Memory(SCM)が用いられてよい。記憶装置13は、生成した教師データや学習モデル等を記憶する。
CPU11は、種々の制御や演算を行なう処理装置であり、メモリ12に格納されたOperating System(OS)やプログラムを実行することにより、種々の機能を実現する。すなわち、CPU11は、図1に示すように、周波数除去制御部111,時間分割制御部112,エネルギー制御部113,信号出力部114として機能してよい。
CPU11は、コンピュータの一例であり、例示的に、振動制御装置1全体の動作を制御する。振動制御装置1全体の動作を制御するための装置は、CPU11に限定されず、例えば、MPUやDSP,ASIC,PLD,FPGA,専用プロセッサのいずれか1つであってもよい。また、振動制御装置1全体の動作を制御するための装置は、CPU,MPU,DSP,ASIC,PLD,FPGA及び専用プロセッサのうちの2種類以上の組み合わせであってもよい。なお、MPUはMicro Processing Unitの略称であり、DSPはDigital Signal Processorの略称であり、ASICはApplication Specific Integrated Circuitの略称である。また、PLDはProgrammable Logic Deviceの略称であり、FPGAはField Programmable Gate Arrayの略称である。
周波数除去制御部111は、所定周波数以下の周波数を有する第1の信号成分を除去する。
時間分割制御部112は、周波数除去制御部111によって除去された第1の信号成分以外の第2の信号成分を所定時間毎に分割する。
エネルギー制御部113は、時間分割制御部112によって分割された所定時間毎に、第2の信号成分のエネルギーを維持しながら第2の信号成分の波形を変換する。
信号出力部114は、エネルギー制御部113による波形の変換後の第2の信号成分に加えて、周波数除去制御部111によって除去された第1の信号成分を出力する。
図2は、図1に示した振動制御装置1による変換前後の信号の波形を示すグラフである。
高周波振動に対するヒトの知覚特性を考慮し、高周波帯域においては波形そのものではなく、ヒトの知覚特性に相関がある振動エネルギーに着目して、同等な振動エネルギーを持つ別の波形に置き換えることで、周波数帯域を変更可能とする。図2に示す例では、符号A1に示す波形が符号A2に示す波形に変換されている。
連続する任意の振動信号に対して、ヒトの知覚特性を考慮した適切な間隔で時分割し、分割したセグメント毎に振動エネルギーに変換することで、ヒトが感じる触覚を同等に保ったまま、或いは、感じにくい高周波帯域を感じられるように、任意の信号波形に変換することを可能にする。
変換後の振動の周波数を適切に選択することで、振動子の応答レンジに合わせて効率的に駆動したり、聴覚ノイズを低下させたり、任意の音源に変換させたりすることが可能になる。
ヒトの振動に対する知覚は1kHz程度までであると言われている。そのため、1kHz以上の振動は無視されることが多い。一方、1kHz以上の振動であっても、その振幅がヒトによって感じられる程度の帯域で変動する振幅変調波の場合は、その包絡線成分を知覚し得ることが知られている。
一方、ヒトの振動の100Hz程度以上の高周波振動に対する知覚特性として、振動エネルギーモデル(例えば、引用文献4を参照)が知られている。このことから、高周波振動エネルギーを保ったまま振幅変調波のキャリア周波数を置き換えても振動を分別できないことが判っている(例えば、引用文献2及び引用文献3を参照)。しかし、振動エネルギーを保ったとしても、上述したように、振動の包絡成分が触覚情報の違いとして知覚できる場合があり、その知覚範囲は調査されていなかった。また、引用文献2では、時分割で振動エネルギーに基づいて信号を変換する方法が考案されているものの、低周波成分を維持する方法については検討されていない。
図3は、ヒトによる振動の弁別可能性を示すグラフである。図4は、図3に示したグラフで示されている弁別可能性を判断するために実施した強制三選択肢弁別実験で使用した振動のサンプル波形である。
従来から知られている振動エネルギーモデル(例えば、引用文献4を参照)を前提とし、振動エネルギーを保ったままで、ヒトの知覚分別特性を調査すると図3に示すグラフが得られる。図4の符号B1にと符号B2とは同じ波形を示しており、図4の符号B3は異なる波形を示している。被験者に対して、図4の符号B1及びB2に示す一定振幅動と符号B3に示す振幅変調刺激とを比較させ、振幅変調波がどれかを答えさせる。図3においては強制三選択肢弁別実験で得られた正答率が、信号検出理論に基づく弁別性能指標であるSensitivity(d’:d-prime)で表されており、d’が1以下になると正答率が約6割を下回ることを意味している。
図3に示すグラフによれば、包絡線成分を弁別可能な周波数の上限値は80~125Hz程度である。また、この周波数上限値以上の包絡成分は保つ必要が無く、振動エネルギーを保ったまま振幅変調波のキャリア周波数を置き換えてれば刺激を分別できないことを示している。
前述のように、振動エネルギーを保ったとしても、エネルギーが低周波域で変動する場合は、その変動が触覚情報の違いとして知覚できる場合があり、その知覚範囲は調査されていなかった。そこで、知覚できる低周波の変動の上限値が80~125Hz程度にあることが発見されたことに基づき、2つの対策(後述する対策[1]及び対策[2]を参照)により低周波成分を維持しながら、振動エネルギーの変換を行なうこととする。
図5は、図1に示した振動制御装置1によるセグメント毎の変換前後の信号の波形を示すグラフである。
ヒトの高周波知覚は、波形そのものよりも振動エネルギーに基づいているため、振動エネルギーを保てば同じ感覚と感じられる。ただし、振動エネルギーの変動が80~125Hz程度以下で起こっている場合は、その振動エネルギーの変動を再現する必要がある。
そこで、本実施形態の一例では、所定の周波数(例えば、80~125Hz程度)以下の振動エネルギーの変動を維持する手段として、例えば、80~200Hz程度の区間で、振動を時分割し、セグメント毎に振動エネルギーを求め、異なりキャリア周波数をもつ振動に置換する。
図5に示す例では、符号C1に示す元の振動信号と、符号C2に示す変換後の信号とにおいて、同じ時間セグメント内で、変換後の信号のエネルギーが元の振動信号のエネルギーと同じになるように変換されている。
時分割の幅(別言すれば、分割幅)は、80~125Hz以下のエネルギー変動が表現できる程度(別言すれば、変動の山が合う程度)に設定されればよい(対策[1])。分割幅の周波数は、80~125Hz以上であってもよいが、分割幅を短くし過ぎると分割幅よりも長い周期の振動エネルギーの推定精度が悪くなる。そこで、下記の対策[2]によって、エネルギーを推定できない振動は波形をそのまま出力する。
また、所定の周波数以下の成分を取り出して、そのまま刺激振動として提示してもよい(対策[2])。なお、所定の周波数は80~125Hz以上であってもよいが、所定の周波数成分以上の成分は、第2信号成分のエネルギー制御部113によって表現されてもよい。これにより、周波数選択に任意性を持たせることができる。ただし、所定の周波数を高周波に設定しすぎると、騒音の問題が発生したり、広帯域のバイブレーション装置が必要になったりするおそれがある。
上記対策[1]及び対策[2]によれば、所定の周波数は、80~400Hz程度であってもよい。400Hzは、騒音問題とバイブレーション装置の性能の観点からの上限である。
所定の周波数の設定には、振動を変換する際のキャリア周波数の選定も関わる。ヒトの知覚感度が良くなる振動周波数のピークは200~250Hzあたりにあることから、感度を高めつつ、騒音にならないキャリア周波数としては、150~400Hz程度が実用的である。キャリア周波数は、分割幅の定数倍であってよい。また、キャリア周波数は異なる周波数を複数用いてもよく、400Hz以上の高周波域を含めてもよい。
また、低周波と高周波とを分ける所定周波数と、エネルギーを計算する分割幅の周波数とは、必ずしも一致させなくてもよい。
引用文献4によれば、ヒトの知覚可能性を向上されるために補正された振動エネルギーである補正エネルギーは、次の式で表せる。
Figure 2022057633000002
Aは、分離された基底信号gの振幅である。Tは、振幅閾値であり、周波数fの信号においてヒトが感じられる最小の振幅である。bは、指数値であり、周波数fの信号における非線形特性である。
図6は、補正エネルギーの計算に用いられる振幅閾値Tを表すグラフである。
図6に示すように、振幅閾値は周波数によって異なり、およそ10~10Hzの範囲では比較的小さな振幅でもヒトが感じることができるが、それ以外の範囲では比較的大きな振幅でなければヒトが感じることができない。
図7は、補正エネルギーの計算に用いられる指数値bを表すグラフである。
図7の指数値bは、従来報告されている400Hz以下の指数値bを線形補間した値を用いる例である。
図8は、図1に示した振動制御装置1における窓関数の利用を説明する図である。
符号D1に示すように、高域信号H(t)が入力される。符号D2に示すように、高域信号H(t)がフレームi,i+1,i+2,・・・毎に信号h,hi+1,hi+2,・・・としてそれぞれフレーム分割される。符号D3に示すように、分割された各フレームの信号hが、複数の基底信号g,g,g・・・に分離される。符号D4に示すように、基底信号g,g,g・・・がもつ周波数f,f,f・・・に基づき、全ての基底信号g,g,g・・・の補正エネルギーを合成したスカラ値E,Ei+1,Ei+2,・・・が出力される。符号D5に示すように、各フレームiで算出された振動エネルギーのスカラ値E,Ei+1,Ei+2,・・・が、同等の振動エネルギーを持つが別のキャリア周波数を持つ振動波形に変換され、その波形の振幅a(t),ai+1(t),ai+2(t),・・・に対して窓関数を用いた窓掛け処理が実施される。符号D6に示すように、1~N番目のフレームについてフレーム合成が行なわれ、振動波形の振幅A(t)が出力される。符号D7に示すように、振幅がA(t)となるようなキャリア周波数をもつ第2振動波形S(t)が出力される。
図9は、図1に示した振動制御装置1における低周波と高周波との合成例を説明するグラフである。
図8の窓関数を利用して高域信号H(t)から生成した符号E1に示す第2振動波形S(t)は、低域信号L(t)をそのまま出力した符号E2に示す第1振動波形S(t)と合成される。これにより、符号E3に示す、合成波形S(t)+S(t)が出力される。
図10は、図1に示した振動制御装置1による変換前後の信号の波形の具体例を示すグラフである。
図10においては、バイオリンの音の変換前の波形(符号F1参照)と変換後の波形(符号F2参照)とが、時間毎の振幅によって表されている。
バイオリンのような高周波振動の音は、従来の触覚振動では聴覚ノイズが大きく発生してしまい、またローパスフィルタをかけるとヒトが認知できる振動が消えてしまう。そこで、波形が時間毎に低周波のキャリア周波数をもつ単一波長となるように、補正エネルギーが算出される。
図11は、図1に示した振動制御装置1におけるISM部101の機能構成例を説明するブロック図である。
ISM部101は、時間分割制御部112,エネルギー制御部113,エネルギー振動変換部114a及び振動生成部114bとして機能する。本実施形態では、ISM部101によって、高周波バイブレーション31による高周波成分を含む振動を信号によって制御する。なお、ヒトの振動エネルギーの知覚特性から、信号X(t)の高周波成分は100Hz程度以上が想定されるが、100Hz未満の低周波成分に対して変換してもよい。これにより低周波成分を強調することができる。本発明のエネルギーの時間分割に基づいて振動を制御する手法を総称してISMと呼ぶ。
時間分割制御部112は、振動の信号X(t)をN個のフレームに時間分割して、時間分割されたi番目のフレームの信号hをエネルギー制御部113に入力する。なお、フレーム数Nは、所定の周期と窓掛け処理のオーバーラップ率とによって決定されてよい。
エネルギー制御部113は、i番目のフレームの信号hについて補正エネルギーeを算出し、算出した補正エネルギーをエネルギー振動変換部114aに入力する。
エネルギー振動変換部114aは、1~N番目のフレームの補正エネルギーe~eのそれぞれを合成した信号A(t)を生成して、第2振動生成部114bに入力する。
振動生成部114bは、合成された信号A(t)に基づき、信号波形S(t)を出力する。
〔B〕動作例
図1に示した振動制御装置1における振動波形の生成処理の第1の実施例を、図12に示すブロック図(ステップS1~S7)に従って説明する。
図12に示す信号除去部111a及び低域通過濾波器111bは、図1に示した周波数除去制御部111に対応する。また、図12に示すエネルギー振動変換部114a,第2振動生成部114b及び第1振動生成部114cは、図1に示した信号出力部114に対応する。
信号除去部111aは、取得された変換前の信号X(t)から所定の周波数以下の成分を除去して高域信号H(t)を生成して、時間分割制御部112に入力する(ステップS1)。
時間分割制御部112は、高域信号H(t)をN個のフレームに時間分割して、時間分割されたi番目のフレームの信号hをエネルギー制御部113に入力する(ステップS2)。なお、フレーム数Nは、所定の周期と窓掛け処理のオーバーラップ率とによって決定されてよい。
エネルギー制御部113は、i番目のフレームの信号hについて補正エネルギーeを算出し、算出した補正エネルギーをエネルギー振動変換部114aに入力する(ステップS3)。
エネルギー振動変換部114aは、1~N番目のフレームの補正エネルギーe~eのそれぞれを合成した信号A(t)を生成して、第2振動生成部114bに入力する(ステップS4)。
第2振動生成部114bは、合成された信号A(t)に基づき、第2振動波形S(t)を出力する(ステップS5)。
一方、低域通過濾波器111bは、取得された変換前の信号X(t)から所定の周波数以下の成分を過濾した低域信号L(t)を第1振動生成部114cに入力する(ステップS6)。
第1振動生成部114cは、低域信号L(t)に基づき、第1振動波形S(t)を出力する(ステップS7)。
次に、図12のステップS3に示したエネルギー制御処理の詳細を、図13に示すブロック図(ステップS11~S14)に従って説明する。
図13に示すように、エネルギー制御部113は、基底信号分離制御部113a,周波数算出部113b,エネルギー補正パラメータ算出部113c及び補正エネルギー算出部113dとして機能する。
基底信号分離制御部113aは、入力信号である時間分割されたi番目のフレームの信号hを複数の基底信号gに分離し、分離されたk番目の基底信号gを周波数算出部113bに入力する(ステップS11)。例えば、短時間フーリエ解析やウェーブレット解析,Empirical Mode Decomposition(EMD)法などによって、信号が分離されてよい。
周波数算出部113bは、例えば離散フーリエ解析やHilbert Spectrum解析などによって、k番目の基底信号gの周波数fを算出し、エネルギー補正パラメータ算出部113cに入力する(ステップS12)。
エネルギー補正パラメータ算出部113cは、周波数fに基づき、図6を用いて説明した指数値b及び振幅閾値Tを算出し、補正エネルギー算出部113dに入力する(ステップS13)。
補正エネルギー算出部113dは、指数値b及び振幅閾値Tに基づき、数1で示した数式に従って、補正エネルギーIpcを基底信号g毎に算出し、全ての基底信号gの補正エネルギーを合算したスカラ値eを出力する(ステップS14)。
次に、図1に示した振動制御装置1における振動波形の生成処理の第2の実施例として、図11に示したエネルギー制御処理における低周波成分の分離処理を、図14に示すブロック図(ステップS101~S105)に従って説明する。
図14に示すように、エネルギー制御部113は、基底信号分離制御部113a,周波数算出部113b,エネルギー補正パラメータ算出部113c及び補正エネルギー算出部113dとして機能するとともに、低周波成分合成部113gへ低周波成分を分離する機能を有してよい。
基底信号分離制御部113aは、入力信号である時間分割されたi番目のフレームの信号hを複数の基底信号gに分離し、分離されたk番目の基底信号gを周波数算出部113bに入力する(ステップS101)。例えば、短時間フーリエ解析やウェーブレット解析,EMD法などによって、信号が分離されてよい。
周波数算出部113bは、例えば離散フーリエ解析やHilbert Spectrum解析などによって、k番目の基底信号gの周波数fを算出し、エネルギー補正パラメータ算出部113cに入力する(ステップS102)。
エネルギー補正パラメータ算出部113cは、周波数fに基づき、図6を用いて説明した指数値b及び振幅閾値Tを算出し、補正エネルギー算出部113dに入力する(ステップS103)。
補正エネルギー算出部113dは、指数値b及び振幅閾値Tに基づき、数1で示した数式に従って、補正エネルギーIpcを基底信号g毎に算出し、全ての基底信号gの補正エネルギーを合算したスカラ値eを出力する(ステップS104)。
低周波成分合成部113gは、基底信号gの周波数fが所定の周波数よりも小さい基底信号を合成し、低周波成分L(t)を生成する(ステップS105)。
複数の周波数帯域の信号を含む音源について、特定の周波数帯域の振動エネルギーを強調して振動として提示したい場合がある。そのような場合に、予め定められた周波数帯域に存在する基底信号のエネルギーを調整して波形の変換を行なう際に適用される変形例としてのエネルギー制御部1131及び1132について、図15~図20を用いて説明する。
図15の(a)~(c)は、波形を強調せずにISMに従い振動を生成する例を説明するグラフである。図15においては、ピアノトリオの楽曲から高周波成分のシンバル(ドラム)の波形に対応する帯域と、ピアノ及びベースの波形に対応する帯域が示されている。図15の(a)~(c)において、横軸は時間[s]を示し、縦軸は周波数[Hz]を示し、濃く表わされているスペクトルはパワーが大きく薄く表わされているスペクトルはパワーが小さいことを示す。
図15の(a)には、音源スペクトルの分布として、破線で示す高周波成分のシンバルの波形と、一点鎖線で示す低周波成分のピアノ及びベースの波形とが示されている。
図15の(b)には、ISMで変換した際のスペクトル分布(200Hz中心)が示されている。図15の(b)においては、ISMの効果で、シンバル、ピアノ及びベースの全てがインテンシティとして抽出されている。
図15の(c)には、インテンシティに基づいて200Hzの周波数をもつ信号に変換せずに、基底信号の代表周波数を用いて信号に変換する例が示されている。これによりどの周波数帯が強調されたかを可視化している。
図16の(a)~(c)は音源から高周波成分を強調して分離する第1の例を説明するグラフである。図16においては、ピアノトリオの楽曲から高周波成分のシンバル(ドラム)を強調して分離する例が示されている。図16の(a)~(c)において、横軸は時間[s]を示し、縦軸は周波数[Hz]を示し、濃く表わされているスペクトルはパワーが大きく薄く表わされているスペクトルはパワーが小さいことを示す。
図16の(a)には、音源スペクトルの分布として、破線で示す高周波成分のシンバルの波形と、一点鎖線で示す低周波成分のピアノ及びベースの波形とが示されている。
図16の(b)には、ISMで変換した際のスペクトル分布(200Hz中心)が示されている。図16の(b)においては、3000Hz以上のインテンシティに限って+20dB(100倍)されている。
図16の(c)には、インテンシティに基づいて200Hzの周波数をもつ信号に変換せずに、基底信号の代表周波数を用いて信号に変換する例が示されている。これによりどの周波数帯が強調されたかを可視化している。図16の(c)においては、シンバルのスペクトルのパワーが大きくなっている。
図17の(a)~(c)は、音源から高周波成分を強調して分離する第2の例を説明するグラフである。図17においては、ピアノトリオの楽曲から高周波成分のシンバル(ドラム)を強調して分離する例が示されている。図17の(a)~(c)において、横軸は時間[s]を示し、縦軸は周波数[Hz]を示し、濃く表わされているスペクトルはパワーが大きく薄く表わされているスペクトルはパワーが小さいことを示す。
図17の(a)には、音源スペクトルの分布として、破線で示す高周波成分のシンバルの波形と、一点鎖線で示す低周波成分のピアノ及びベースの波形とが示されている。
図17の(b)には、ISMで変換した際のスペクトル分布(200Hz中心)が示されている。図17の(b)においては、3000Hz以上のインテンシティが+20dB(100倍)されている一方、1000Hz以下のインテンシティが-10dB(1/10倍)されている。
図17の(c)には、インテンシティに基づいて200Hzの周波数をもつ信号に変換せずに、基底信号の代表周波数を用いて信号に変換する例が示されている。これによりどの周波数帯が強調されたかを可視化している。図17の(c)においては、シンバルのスペクトルのパワーが大きくなっている。
図18の(a)~(c)は、音源から低周波成分を強調して分離する例を説明するグラフである。図18においては、ピアノトリオの楽曲から低周波成分のピアノ及びベースを強調して分離する例が示されている。図18の(a)~(c)において、横軸は時間[s]を示し、縦軸は周波数[Hz]を示し、濃く表わされているスペクトルはパワーが大きく薄く表わされているスペクトルはパワーが小さいことを示す。
図18の(a)には、音源スペクトルの分布として、破線で示す高周波成分のシンバルの波形と、一点鎖線で示す低周波成分のピアノ及びベースの波形とが示されている。
図18の(b)には、ISMで変換した際のスペクトル分布(200Hz中心)が示されている。図18の(b)においては、1000Hz以下のインテンシティが+10dB(10倍)されている。
図18の(c)には、インテンシティに基づいて200Hzの周波数をもつ信号に変換せずに、基底信号の代表周波数を用いて信号に変換する例が示されている。これによりどの周波数帯が強調されたかを可視化している。図18の(c)においては、ピアノ及びベースのスペクトルのパワーが大きくなっている。
図11に示したエネルギー制御処理の第1変形例を、図19に示すブロック図(ステップS41~S45)に従って説明する。
図19に示すように、エネルギー制御部1131は、図13に示した基底信号分離制御部113a,周波数算出部113b,エネルギー補正パラメータ算出部113c及び補正エネルギー算出部113dに加えて、ゲイン算出部113eとして機能する。
基底信号分離制御部113aは、入力信号である時間分割されたi番目のフレームの信号hを複数の基底信号gに分離し、分離されたk番目の基底信号gを周波数算出部113bに入力する(ステップS41)。例えば、短時間フーリエ解析やウェーブレット解析,EMD法などによって、信号が分離されてよい。
周波数算出部113bは、例えば離散フーリエ解析やHilbert Spectrum解析などによって、k番目の基底信号gの周波数fを算出し、エネルギー補正パラメータ算出部113cに入力する(ステップS42)。
エネルギー補正パラメータ算出部113cは、周波数fに基づき、図6を用いて説明した指数値b及び振幅閾値Tを算出し、補正エネルギー算出部113dに入力する(ステップS43)。
ゲイン算出部113eは、算出された基底信号gの周波数fに応じて、予め定められた周波数帯別のゲイン値Gを出力する(ステップS44)。エネルギーを強調したい場合にはG>1に設定され、エネルギーを抑制したい場合には0≦G<1に設定される。強調又は抑制によるエネルギーの調整は、1つの周波数帯域に対して実施されてもよいし、複数の周波数帯域に対して実施されてもよい。また、エネルギーの調整は、エネルギー制御部1131に入力された周波数帯域全体に対して実施されてもよい。
補正エネルギー算出部113dは、分離された基底信号gの振幅Aに対して、以下の数2に示す数式に従って、ゲイン調整した補正エネルギーIpcを基底信号g毎に算出し、全ての基底信号gの補正エネルギーを合算したスカラ値eを出力する(ステップS45)。
Figure 2022057633000003
図11に示したエネルギー制御処理の第2変形例を、図20に示すブロック図(ステップS51~S55)に従って説明する。
図20に示すように、エネルギー制御部1132は、図13に示した基底信号分離制御部113a,周波数算出部113b,エネルギー補正パラメータ算出部113c及び補正エネルギー算出部113dに加えて、ゲイン算出部113e及び信号源識別部113fとして機能する。
基底信号分離制御部113aは、入力信号である時間分割されたi番目のフレームの信号hを複数の基底信号gに分離し、分離されたk番目の基底信号gを周波数算出部113bに入力する(ステップS51)。例えば、短時間フーリエ解析やウェーブレット解析,EMD法などによって、信号が分離されてよい。
周波数算出部113bは、例えば離散フーリエ解析やHilbert Spectrum解析などによって、k番目の基底信号gの周波数fを算出し、エネルギー補正パラメータ算出部113cに入力する(ステップS52)。
エネルギー補正パラメータ算出部113cは、周波数fに基づき、図6を用いて説明した指数値b及び振幅閾値Tを算出し、補正エネルギー算出部113dに入力する(ステップS53)。
信号源識別部113fは、設定された信号特徴に基づき、入力信号h及びhの履歴等から識別候補を推定し、基底信号gがどの信号源に属するかを識別して、識別結果をID(識別子)等で出力する(ステップS54)。信号源識別部113fは、機械学習等によって予め識別器を用意しておいてもよい。例えば、ディープラーニングで多くの楽器の特徴が学習され、現在の入力信号h(又は入力信号hが短すぎる場合には各複数の入力信号hの履歴)にどの楽器が含まれるか候補群(例えば、ピアノ,ベース,ドラム)が推定され、基底信号gがどの楽器に含まれるかが識別されてよい。
ゲイン算出部113eは、信号源識別部113fによって特定されたIDに応じて、予め定められた周波数帯別のゲイン値Gを出力する(ステップS55)。エネルギーを強調したい場合にはG>1に設定され、エネルギーを抑制したい場合には0≦G<1に設定される。強調又は抑制によるエネルギーの調整は、1つの周波数帯域に対して実施されてもよいし、複数の周波数帯域に対して実施されてもよい。また、エネルギーの調整は、エネルギー制御部1132に入力された周波数帯域全体に対して実施されてもよい。
補正エネルギー算出部113dは、分離された基底信号gの振幅Aに対して、数2に示した数式に従って、ゲイン調整した補正エネルギーIpcを基底信号g毎に算出し、全ての基底信号gの補正エネルギーを合算したスカラ値eを出力する(ステップS56)。
次に、図11のステップS4に示したエネルギー合成処理の詳細を、図21に示すブロック図(ステップS21~S23)に従って説明する。
エネルギー振動変換部114aは、エネルギー等価変換部1141a,窓掛け処理部1142a及びフレーム合成部1143aとして機能する。
図21に示すように、エネルギー等価変換部1141aは、各フレームiで算出された振動エネルギーのスカラ値eを、同等の振動エネルギーを持つが別のキャリア周波数を持つ振動波形に変換し、その波形の振幅a(t)を窓掛け処理部1142aに対して出力する(ステップS21)。
窓掛け処理部1142aは、入力された各フレームiの振幅a(t)に対して図8に示した窓関数を用いた窓掛け処理を行ない、処理結果をフレーム合成部1143aに入力する(ステップS22)。
フレーム合成部1143aは、1~N番目のフレームについての窓掛け処理部1142aからの入力についてフレーム合成を行ない、振動波形の振幅A(t)を出力する(ステップS23)。
次に、図11のステップS5に示した補正した振動波形の生成処理の詳細を、図22に示すブロック図(ステップS31及びS32)に従って説明する。
図22に示すように、第2振動生成部114bは、振幅振動変換部1141b及び波形出力部1142bとして機能する。第2振動生成部114bは、入力された信号A(t)を持ち、キャリア周波数を持つ正弦波を出力する。生成される波形は、振動が滑らかに繋がるように位相が制御されてよい。
振幅振動変換部1141bは、入力された振幅A(t)を振動に変換する(ステップS31)。
波形出力部1142bは、振幅がA(t)になるように、キャリア周波数をもつ正弦波S(t)を出力する(ステップS32)。
〔C〕効果
実施形態の一例における振動制御装置1,信号制御プログラム及び信号制御方法によれば、例えば、以下の作用効果を奏することができる。
時間分割制御部112は、バイブレーション装置による振動を制御する信号を所定時間毎に分割する。エネルギー制御部1131,1132は、時間分割制御部112によって分割された所定時間毎に、第2の信号成分の波形を変換する。エネルギー制御部1131,1132は、特定の周波数帯域の信号についてはエネルギーを調整して波形の変換を行なう一方、特定の周波数帯域以外の信号についてはエネルギーを維持しながら波形の変換を行なう。また、エネルギー制御部1131,1132は、特定の信号特徴量に基づいて抽出された信号についてはエネルギーを調整して波形の変換を行なう一方、特定の特徴量で抽出されない信号についてはエネルギーを維持しながら信号とは別の周波数をもつ波形に変換を行なってもよい。これにより、ヒトが知覚しやすい高周波帯域の振動を生成できると共に、任意の信号源に対応する振動を強調又は抑制して出力できる。そして、個人の振動に対する感度や好みに応じたエネルギーの調整を実施できる。また、高周波帯域の振動によって発生する聴覚ノイズの発生を抑止できる。
エネルギー制御部1131,1132は、特定の周波数帯域に応じて定められたゲイン値を、特定の周波数帯域の信号のエネルギーに乗じることによって、調整を行なう。これにより、任意の信号源に対応する振動の強調又は抑制を容易に実施できる。
ゲイン値を周波数だけでなくID等の信号のその他の特徴に基づいて決定してもよい。これにより、特定の信号源に対応する振動の強調又は抑制を容易に実施できる。
時間分割制御部112の所定分割周期の周波数は、80Hzを下限とする任意の値である。これにより、変換対象である高周波帯域の信号成分を効率的に抽出できる。
信号出力部114は、振動に含まれる所定の周波数以下の信号についてエネルギー制御部1131,1132による波形の変換を行わない第1の信号成分と、エネルギー制御部1131,1132により波形を変換する第2の信号成分とを出力する。これにより、変換対象ではない低周波帯域の信号成分はそのままバイブレーション装置に出力することができる。
第1の信号成分と第2の信号成分とを分離する前記所定の周波数は、80Hzから400Hzまでの範囲である。これにより、適切に高周波成分の波形を変換できる。
信号出力部114によって出力された第1の信号成分については、複数のバイブレーション装置のうちの低周波バイブレーション32によって振動が生成される。また、信号出力部114によって出力された第2の信号成分については、複数のバイブレーション装置のうちの高周波バイブレーション31によって振動が生成される。これにより、高周波帯域の振動と低周波帯域の振動とをヒトにリアルに体感させることができる。なお、低周波バイブレーション32は振動発生システム100において備えられなくてもよい。その場合には、高周波バイブレーション31から所定周波数未満の信号成分による振動が発生されてもよいし、所定周波数未満の信号成分による振動は振動発生システム100において発生させられなくてもよい。
〔D〕その他
開示の技術は上述した各実施形態に限定されるものではなく、各実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。各実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
図1に示した振動発生システム100では、高周波バイブレーション31と低周波バイブレーション32とを備えることとしたが、これに限定されるものではない。振動発生システム100に備えられるバイブレーションの数は、種々変更することができる。
図23は、図1に示した振動発生システム100において複数の振動装置310,320を用いる場合のDAC2の構成例を示すブロック図である。
図23に示す例では、図1に示したDAC2は、高域ゲイン調整器21a,低域ゲイン調整器21b,高域用振動装置駆動回路22a及び低域用振動装置駆動回路22bとして機能する。また、図1に示した高周波バイブレーション31及び低周波バイブレーション32は、高域用振動装置310及び低域用振動装置320としてそれぞれ機能する。
高域ゲイン調整器21aは、振動制御装置1から入力された第2振動波形S(t)を、高域用振動装置駆動回路22aを介して、高域用振動装置310に出力する。また、低域ゲイン調整器21bは、振動制御装置1から入力された第1振動波形S(t)を、低域用振動装置駆動回路22bを介して、低域用振動装置320に出力する。
図24は、図1に示した振動発生システム100において単一の振動装置を用いる場合のDACの構成例を示すブロック図である。
図24に示す例では、図1に示したDAC2は、高域ゲイン調整器21a,低域ゲイン調整器21b及び振動装置駆動回路22として機能する。また、図1に示した高周波バイブレーション31及び低周波バイブレーション32は、振動装置30として機能する。
高域ゲイン調整器21a及び低域ゲイン調整器21bは、振動制御装置1から入力された第2振動波形S(t)及び第1振動波形S(t)をそれぞれ、共通の振動装置駆動回路22を介して、共通の振動装置30に出力する。
100 :振動発生システム
1 :振動制御装置
11 :CPU
101 :ISM部
111 :周波数除去制御部
111a :信号除去部
111b :低域通過濾波器
111d :補正エネルギー算出部
112 :時間分割制御部
113,1131,1132:エネルギー制御部
113a :基底信号分離制御部
113b :周波数算出部
113c :エネルギー補正パラメータ算出部
113d :補正エネルギー算出部
113e :ゲイン算出部
113f :信号源識別部
113g :低周波成分合成部
114 :信号出力部
114a :エネルギー振動変換部
114b :第2振動生成部
114c :第1振動生成部
1141a :エネルギー等価変換部
1142a :窓掛け処理部
1143a :フレーム合成部
1141b :振幅振動変換部
1142b :波形出力部
12 :メモリ
13 :記憶装置
2 :DAC
21a :高域ゲイン調整器
21b :低域ゲイン調整器
22 :振動装置駆動回路
22a :高域用振動装置駆動回路
22b :低域用振動装置駆動回路
30 :振動装置
31 :高周波バイブレーション
32 :低周波バイブレーション
310 :高域用振動装置
320 :低域用振動装置

Claims (12)

  1. バイブレーション装置による振動を信号によって制御する振動制御装置であって、
    前記信号を所定時間毎に分割する時間分割制御部と、
    前記時間分割制御部によって分割された前記所定時間毎に、前記信号の波形を変換するエネルギー制御部と、
    を備え、
    前記エネルギー制御部は、前記信号の周波数成分のうち特定の周波数帯域の信号についてはエネルギーを調整して前記波形の変換を行なう一方、前記特定の周波数帯域以外の信号についてはエネルギーを維持しながら前記信号とは別の周波数をもつ波形に変換を行なう、
    振動制御装置。
  2. バイブレーション装置による振動を信号によって制御する振動制御装置であって、
    前記信号を所定時間毎に分割する時間分割制御部と、
    前記時間分割制御部によって分割された前記所定時間毎に、前記信号の波形を変換するエネルギー制御部と、
    を備え、
    前記エネルギー制御部は、前記信号のうち特定の信号特徴量に基づいて抽出された信号についてはエネルギーを調整して前記波形の変換を行なう一方、前記特定の特徴量で抽出されない信号についてはエネルギーを維持しながら前記信号とは別の周波数をもつ波形に変換を行なう、
    振動制御装置。
  3. 前記エネルギー制御部は、前記特定の周波数帯域に応じて定められたゲイン値を、前記特定の周波数帯域の信号のエネルギーに乗じることによって、前記調整を行なう、
    請求項1又は2に記載の振動制御装置。
  4. 前記ゲイン値は、前記特定の周波数帯域毎に定められた識別子に応じて決定される、
    請求項3に記載の振動制御装置。
  5. 前記時間分割制御部の所定の分割周期は、80Hzを下限とする周波数である、
    請求項1~4のいずれか1項に記載の振動制御装置。
  6. 前記振動に含まれる所定の周波数以下の信号について前記エネルギー制御部による波形の変換を行わない第1の信号成分と、前記エネルギー制御部により波形を変換する第2の信号成分とを出力する信号出力部
    を更に備える、請求項1~5のいずれか1項に記載の振動制御装置。
  7. 前記第1の信号成分と前記第2の信号成分とを分離する前記所定の周波数は、80Hzから400Hzまでの範囲である、請求項6に記載の振動制御装置。
  8. 前記信号出力部によって出力された前記第1の信号成分については、複数の前記バイブレーション装置のうちの第1のバイブレーション装置によって振動が生成され、
    前記信号出力部によって出力された前記第2の信号成分については、前記複数のバイブレーション装置のうちの第2のバイブレーション装置によって振動が生成される、
    請求項6又は7に記載の振動制御装置。
  9. バイブレーション装置による振動を信号によって制御するコンピュータに、
    前記信号を所定時間毎に分割し、
    分割された前記所定時間毎に、前記信号の波形を変換する、
    処理を実行させ、
    前記波形を変換する処理は、前記信号の周波数成分のうち特定の周波数帯域の信号についてはエネルギーを調整して行なう一方、前記特定の周波数帯域以外の信号についてはエネルギーを維持しながら前記信号とは別の周波数をもつ波形に変換を行なう、
    振動制御プログラム。
  10. バイブレーション装置による振動を信号によって制御するコンピュータに、
    前記信号を所定時間毎に分割し、
    分割された前記所定時間毎に、前記信号の波形を変換する、
    処理を実行させ、
    前記波形を変換する処理は、前記信号のうち特定の信号特徴量に基づいて抽出された信号についてはエネルギーを調整して前記波形の変換を行なう一方、前記特定の特徴量で抽出されない信号についてはエネルギーを維持しながら前記信号とは別の周波数をもつ波形に変換を行なう、
    振動制御プログラム。
  11. バイブレーション装置による振動を信号によって制御する振動制御方法であって、
    前記信号を所定時間毎に分割し、
    分割された前記所定時間毎に、前記の信号の波形を変換し、
    前記波形を変換する処理は、前記信号の周波数成分のうち特定の周波数帯域の信号についてはエネルギーを調整して行なう一方、前記特定の周波数帯域以外の信号についてはエネルギーを維持しながら前記信号とは別の周波数をもつ波形に変換を行なう、
    振動制御方法。
  12. バイブレーション装置による振動を信号によって制御するコンピュータに、
    前記信号を所定時間毎に分割し、
    分割された前記所定時間毎に、前記信号の波形を変換する、
    処理を実行させ、
    前記波形を変換する処理は、前記信号のうち特定の信号特徴量に基づいて抽出された信号についてはエネルギーを調整して前記波形の変換を行なう一方、前記特定の特徴量で抽出されない信号についてはエネルギーを維持しながら前記信号とは別の周波数をもつ波形に変換を行なう、
    振動制御方法。
JP2020165991A 2019-10-28 2020-09-30 振動制御装置,振動制御プログラム及び振動制御方法 Active JP7495728B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2020165991A JP7495728B2 (ja) 2020-09-30 2020-09-30 振動制御装置,振動制御プログラム及び振動制御方法
PCT/JP2020/040520 WO2021085506A1 (ja) 2019-10-28 2020-10-28 振動制御装置,振動制御プログラム及び振動制御方法
KR1020227007563A KR20220091459A (ko) 2019-10-28 2020-10-28 진동 제어 장치, 진동 제어 프로그램 및 진동 제어 방법
EP20882659.4A EP4052809A4 (en) 2019-10-28 2020-10-28 VIBRATION CONTROL APPARATUS, PROGRAM AND METHOD
TW109137466A TW202133950A (zh) 2019-10-28 2020-10-28 振動控制裝置、振動控制程式及振動控制方法
CN202080063178.4A CN114424146A (zh) 2019-10-28 2020-10-28 振动控制装置、振动控制程序以及振动控制方法
US17/690,983 US20220198891A1 (en) 2019-10-28 2022-03-09 Vibration control apparatus, vibration control program, and vibration control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020165991A JP7495728B2 (ja) 2020-09-30 2020-09-30 振動制御装置,振動制御プログラム及び振動制御方法

Publications (2)

Publication Number Publication Date
JP2022057633A true JP2022057633A (ja) 2022-04-11
JP7495728B2 JP7495728B2 (ja) 2024-06-05

Family

ID=81110519

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020165991A Active JP7495728B2 (ja) 2019-10-28 2020-09-30 振動制御装置,振動制御プログラム及び振動制御方法

Country Status (1)

Country Link
JP (1) JP7495728B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4065769B2 (ja) 2002-11-29 2008-03-26 アルプス電気株式会社 振動発生装置
KR102096146B1 (ko) 2014-09-02 2020-04-28 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
CN109085921A (zh) 2016-09-06 2018-12-25 苹果公司 用于提供触觉反馈的设备、方法和图形用户界面

Also Published As

Publication number Publication date
JP7495728B2 (ja) 2024-06-05

Similar Documents

Publication Publication Date Title
WO2021085506A1 (ja) 振動制御装置,振動制御プログラム及び振動制御方法
JP5957446B2 (ja) 音響処理システム及び方法
US11340704B2 (en) Tactile audio enhancement
US9704505B2 (en) Audio signal processing apparatus and method
JP7055406B2 (ja) 振動制御装置,振動制御プログラム,振動制御方法及び振動制御プログラムを記録したコンピュータ読み取り可能な記録媒体
CN114067827A (zh) 一种音频处理方法、装置及存储介质
US20120300941A1 (en) Apparatus and method for removing vocal signal
US9106993B2 (en) Sound processing apparatus
WO2018193162A2 (en) Audio signal generation for spatial audio mixing
JP7495728B2 (ja) 振動制御装置,振動制御プログラム及び振動制御方法
JP7319608B2 (ja) 振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2008072600A (ja) 音響信号処理装置、音響信号処理プログラム、音響信号処理方法
Mu et al. A timbre matching approach to enhance audio quality of psychoacoustic bass enhancement system
WO2017135350A1 (ja) 記録媒体、音響処理装置および音響処理方法
US9881633B2 (en) Audio signal processing device, audio signal processing method, and audio signal processing program
WO2022254733A1 (ja) 触覚伝達システム,触覚伝達装置,触覚伝達プログラム及び触覚伝達方法
JP6409417B2 (ja) 音響処理装置
JP6337698B2 (ja) 音響処理装置
EP3613043A1 (en) Ambience generation for spatial audio mixing featuring use of original and extended signal
WO2022254732A1 (ja) 振動分配制御装置,振動分配制御プログラム及び振動分配制御方法
WO2021172053A1 (ja) 信号処理装置および方法、並びにプログラム
JP2011239036A (ja) 音声信号変換装置、方法、プログラム、及び記録媒体
Tsai et al. Neural Network-Based Low-Frequency Perception Enhancement Used in Biomedical Hearing Applications
CN116194882A (zh) 使用谱质心来创作沉浸式触觉体验的系统和方法
JP2014222281A (ja) 音響処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230817

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240517

R150 Certificate of patent or registration of utility model

Ref document number: 7495728

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150