JP2005301827A - Acoustic information processor and acoustic information provision method - Google Patents

Acoustic information processor and acoustic information provision method Download PDF

Info

Publication number
JP2005301827A
JP2005301827A JP2004119343A JP2004119343A JP2005301827A JP 2005301827 A JP2005301827 A JP 2005301827A JP 2004119343 A JP2004119343 A JP 2004119343A JP 2004119343 A JP2004119343 A JP 2004119343A JP 2005301827 A JP2005301827 A JP 2005301827A
Authority
JP
Japan
Prior art keywords
information
acoustic information
sound source
sound
tactile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004119343A
Other languages
Japanese (ja)
Other versions
JP4484570B2 (en
Inventor
Shin Takeuchi
伸 竹内
Kazushi Ozawa
一志 小澤
Kazuto Tsuchida
一登 土田
Yasuhiro Konda
泰宏 近多
Senichi Minami
先一 南
Haruichi Uchigata
晴一 内潟
Hitomi Yotsuya
瞳 四津谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TAKAKUWA ART PRINTING CO Ltd
Fujifilm Business Innovation Corp
Original Assignee
TAKAKUWA ART PRINTING CO Ltd
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TAKAKUWA ART PRINTING CO Ltd, Fuji Xerox Co Ltd filed Critical TAKAKUWA ART PRINTING CO Ltd
Priority to JP2004119343A priority Critical patent/JP4484570B2/en
Publication of JP2005301827A publication Critical patent/JP2005301827A/en
Application granted granted Critical
Publication of JP4484570B2 publication Critical patent/JP4484570B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Details Of Audible-Bandwidth Transducers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an acoustic information processor and an acoustic information provision method, capable of providing a state of sound to a user by a tactile sense. <P>SOLUTION: When a recording point comes into an audible area of the sound outputted from a sound source on a virtual space, a acoustic information generation processing part 20 generates acoustic information on the basis of the sound transmitted in the recording point and its state. A tactile sense information generation processing part 22 generates tactile sense information on the basis of the acoustic information transmitted in the recording point, and a distance and a direction between the recording point and the sound source in the virtual space. A presentation portion drive part 24 drives a presentation portion disposed in a tactile sense information presentation device on the basis of the tactile sense information. The user touching the presentation portion by a finger obtains the state of the sound such as rhythm and intensity or the like, and a direction from which the sound is transmitted through the presentation portion, by the tactile sense. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、音響情報の処理装置及び提供方法、特に音響情報をユーザに対して新たな形態にて提供する装置及び方法に関する。   The present invention relates to an apparatus and method for processing acoustic information, and more particularly to an apparatus and method for providing acoustic information to a user in a new form.

従来から楽曲や環境音など様々な音響がコンピュータにより処理され、音出力可能になっている。近年では、複数の音響を合成処理するなどして音響を生成し出力することができる。この従来における音響情報処理の一例を、図５に示した画面表示例を用いて説明する。   Conventionally, various sounds such as music and environmental sounds have been processed by a computer to enable sound output. In recent years, it is possible to generate and output sound by, for example, synthesizing a plurality of sounds. An example of this conventional acoustic information processing will be described using the screen display example shown in FIG.

図５には、画面表示された仮想空間において音響の発信源となる音源２と、各音源２から出力された音響が聞こえる範囲である可聴領域４と、伝達された音響を入力する収録点６とが示されている。図５では、音源２を５箇所に設置している。また、可聴領域４は、各音源２を中心とした円形状で形成されるものとする。   FIG. 5 shows a sound source 2 as a sound transmission source in a virtual space displayed on the screen, an audible area 4 in which a sound output from each sound source 2 can be heard, and a recording point 6 for inputting the transmitted sound. Is shown. In FIG. 5, the sound source 2 is installed in five places. In addition, the audible area 4 is formed in a circular shape centering on each sound source 2.

図５に示したように、収録点６がいずれの可聴領域４にも含まれていないときには、何も聞こえない。ユーザがマウス操作等によって収録点６を例えば可聴領域４ａまで移動させると、その可聴領域４ａの中心に位置する音源２ａから出力される音響が内蔵スピーカもしくは外付けのスピーカから出力される。また、可聴領域４ａと可聴領域４とが重複した領域４ｃに収録点６を移動させると、その各可聴領域４ａ，４ｂの中心に位置する各音源２ａ，２ｂから出力される音響が合成されて出力される。このように、従来においては、１乃至複数の音源から出力される音響を聴覚にて確認できるようにユーザに提供している。   As shown in FIG. 5, when the recording point 6 is not included in any audible area 4, nothing is heard. When the user moves the recording point 6 to, for example, the audible area 4a by operating the mouse or the like, the sound output from the sound source 2a located at the center of the audible area 4a is output from the built-in speaker or an external speaker. Further, when the recording point 6 is moved to a region 4c where the audible region 4a and the audible region 4 overlap, sounds output from the sound sources 2a and 2b located at the centers of the audible regions 4a and 4b are synthesized. Is output. As described above, conventionally, the sound output from one or a plurality of sound sources is provided to the user so that the user can visually confirm the sound.

一方、従来から、情報を触覚にて提供する装置が提案されている。例えば、特許文献１では、音情報に基づき触覚情報を生成することで触覚にて音情報を提供する装置が開示されている。   On the other hand, conventionally, an apparatus that provides information by touch is proposed. For example, Patent Document 1 discloses an apparatus that provides sound information by tactile sensation by generating tactile information based on sound information.

特開２００３−９９１７７号公報JP 2003-99177 A

しかしながら、従来における情報処理装置では、音響の変化や合成した音響の状態を聴覚や視覚にて提供することはできても触覚にて提供していなかった。一方、特許文献１では、音声情報に基づき触覚情報を生成してユーザに情報提供することはできるが、音源と収録点との位置関係に基づき触覚情報を生成することに関しては言及していない。   However, in the conventional information processing apparatus, the change in sound and the state of the synthesized sound can be provided by hearing or vision, but not by tactile sense. On the other hand, Patent Document 1 can generate tactile information based on audio information and provide the information to the user, but does not refer to generating tactile information based on the positional relationship between the sound source and the recording points.

本発明は、以上のような課題を解決するためになされたものであり、その目的は、音響の状態を触覚によりユーザに提供できる音響情報処理装置及び音響情報提供方法を提供することにある。   SUMMARY An advantage of some aspects of the invention is to provide an acoustic information processing apparatus and an acoustic information providing method capable of providing a user with an acoustic state by touch.

以上のような目的を達成するために、本発明に係る音響情報処理装置は、ユーザに対して触覚により情報を提供する呈示部位と、仮想空間における１乃至複数の音源と収録点との位置関係に基づいて、仮想空間における各音源から出力される音響情報が収録点に伝達されたときの音響情報を生成する伝達音響情報生成処理手段と、前記各音源から出力される音響情報と、仮想空間における各音源と収録点との位置関係とに基づいて触覚情報を生成する触覚情報生成処理手段と、前記触覚情報生成処理手段により生成された触覚情報に基づき前記呈示部位を駆動させる駆動手段とを有することを特徴とする。   In order to achieve the above object, the acoustic information processing apparatus according to the present invention provides a positional relationship between a presentation site that provides information to a user by tactile sense, and one or more sound sources and recording points in a virtual space. Based on the transmission sound information generation processing means for generating the sound information when the sound information output from each sound source in the virtual space is transmitted to the recording point, the sound information output from each sound source, and the virtual space Tactile information generation processing means for generating tactile information based on the positional relationship between each sound source and recorded points, and driving means for driving the presentation site based on the tactile information generated by the tactile information generation processing means. It is characterized by having.

また、仮想空間における各音源と収録点との位置関係を画面表示する表示処理手段を有することを特徴とする。   The image processing apparatus further includes display processing means for displaying a positional relationship between each sound source and recording points in the virtual space.

また、仮想空間における各音源と収録点との位置関係は、少なくとも距離及び方向で表されることを特徴とする。   Further, the positional relationship between each sound source and recording points in the virtual space is expressed by at least a distance and a direction.

また、前記触覚情報生成処理手段は、音源と収録点との距離に応じて各音源からの音響情報出力時から遅れて前記呈示部位が駆動されるように触覚情報を生成することを特徴とする。   Further, the tactile information generation processing means generates tactile information so that the presenting part is driven with a delay from the time of output of acoustic information from each sound source according to the distance between the sound source and the recording point. .

また、前記表示処理手段は、音源と収録点との距離に応じて各音源からの音響情報出力時から遅れて収録点に音響情報が到達したことを視認可能に表示することを特徴とする。   Further, the display processing means displays the fact that the acoustic information has arrived at the recording point with a delay from the time when the acoustic information is output from each sound source according to the distance between the sound source and the recording point.

また、前記触覚情報生成処理手段は、音響情報の時間変化に応じて触覚情報を生成することを特徴とする。   Further, the tactile information generation processing means generates tactile information according to the time change of the acoustic information.

また、画面表示された仮想空間における音源又は収録点の位置を変更する操作手段を有することを特徴とする。   In addition, it has an operation means for changing the position of the sound source or the recording point in the virtual space displayed on the screen.

更に、前記触覚情報生成処理手段は、音源又は収録点の位置の変更を反映させて触覚情報を生成することを特徴とする。   Furthermore, the haptic information generation processing means generates haptic information by reflecting a change in the position of a sound source or a recording point.

本発明に係る音響情報提供方法は、ユーザに対して触覚により情報を提供する呈示部位を有する触覚情報呈示装置が接続された情報処理装置において実施され、音響情報をユーザに提供する音響情報提供方法において、仮想空間における１乃至複数の音源と収録点との位置関係に基づいて、仮想空間における各音源から出力される音響情報が収録点に伝達されたときの音響情報を生成する伝達音響情報生成ステップと、前記各音源から出力される音響情報と音響情報を出力した音源と収録点との位置関係に基づいて触覚情報を生成する触覚情報生成ステップと、前記触覚情報生成ステップにより生成された触覚情報に基づき前記呈示部位を駆動させる駆動ステップとを含むことを特徴とする。   The acoustic information providing method according to the present invention is implemented in an information processing apparatus connected to a tactile information presentation device having a presentation site that provides information to a user by tactile sense, and provides acoustic information to the user. Generating acoustic information when acoustic information output from each sound source in the virtual space is transmitted to the recording point based on the positional relationship between one or more sound sources in the virtual space and the recording point A tactile information generation step for generating tactile information based on a step, a sound source output from each sound source, a positional relationship between a sound source that outputs the sound information and a recording point, and a tactile sense generated by the tactile information generation step. And a driving step of driving the presenting part based on the information.

本発明によれば、音響情報をユーザ対して触覚により呈示することができる。これにより、音響の楽しみ方の幅を拡げさせることができる。   According to the present invention, acoustic information can be presented to a user by touch. Thereby, the range of how to enjoy sound can be expanded.

以下、図面に基づいて、本発明の好適な実施の形態について説明する。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.

図１は、本発明に係る音響情報処理装置の一実施の形態を示したハードウェア構成図である。本実施の形態における音響情報処理装置１０は、図１に示したように、ノート型パーソナルコンピュータ等表示画面１２を有する汎用的なコンピュータで実現でき、このコンピュータに触覚情報呈示装置１４を接続して構成される。触覚情報呈示装置１４は、例えば上記特許文献１に開示された触覚情報呈示装置と同じ構成で実現できる。触覚情報呈示装置１４は、端的に言うと既存のマウスに２次元若しくは３次元方向に移動可能な呈示部位１６を搭載した構造を有しており、指が触れられた状態の触呈示部位１６を駆動させることで音響情報等をユーザに対して触覚により提供することができる。   FIG. 1 is a hardware configuration diagram showing an embodiment of an acoustic information processing apparatus according to the present invention. As shown in FIG. 1, the acoustic information processing apparatus 10 according to the present embodiment can be realized by a general-purpose computer having a display screen 12 such as a notebook personal computer. A tactile information presentation apparatus 14 is connected to the computer. Composed. The tactile information presentation device 14 can be realized with the same configuration as the tactile information presentation device disclosed in Patent Document 1, for example. In short, the tactile information presentation device 14 has a structure in which an existing mouse is equipped with a presentation part 16 that can be moved in a two-dimensional or three-dimensional direction, and the tactile presentation part 16 in a state where a finger is touched is provided. By driving, acoustic information and the like can be provided to the user by touch.

図２は、本実施の形態における音響情報処理装置１０のブロック構成図である。音響情報処理装置１０は、音響情報生成処理部２０、触覚情報生成処理部２２、呈示部位駆動部２４、操作受付部２６、位置検出部２８、仮想空間情報管理部３０、音出力処理部３２及び表示処理部３４を有している。また、本実施の形態では、ソース音源記憶部４０及び仮想空間情報記憶部４２を設けており、ソース音源記憶部４０には音響情報が、仮想空間情報記憶部４２には仮想空間に関する情報が予め登録されている。ソース音源記憶部４０に登録される音響情報というのは、仮想空間上における各音源から出力される音響情報である。本実施の形態では、音響情報生成処理部２０が生成する音響情報と区別するために「ソース音源」と称することにする。図５に示した表示画面例を用いて説明すると、仮想空間情報記憶部４２に登録される仮想空間に関する情報には、座標データによって表現される仮想空間と、その仮想空間上に移動可能に設置される各音源２及び収録点６の各位置情報とが含まれている。ソース音源記憶部４０及び仮想空間情報記憶部４２は、ハードディスクドライブ装置等の外部記憶装置で実現する。但し、仮想空間情報のうち音源２及び収録点６の各位置情報は、移動によって適宜更新されると共に高速に実施されるべき触覚情報生成処理等に利用されるため、位置情報を含む一部又は全部の情報は、メモリ等に記憶することが望ましい。また、音響情報及び触覚情報は、音源２及び収録点６の移動に伴い逐次更新されると共に高速に実施されるべき音出力処理等に利用されるため、後述する各記憶部４４，４６は、高速処理に適したメモリ等の記憶装置で実現することが望ましい。   FIG. 2 is a block configuration diagram of the acoustic information processing apparatus 10 according to the present embodiment. The acoustic information processing apparatus 10 includes an acoustic information generation processing unit 20, a tactile information generation processing unit 22, a presentation site driving unit 24, an operation reception unit 26, a position detection unit 28, a virtual space information management unit 30, a sound output processing unit 32, and A display processing unit 34 is included. In the present embodiment, the source sound source storage unit 40 and the virtual space information storage unit 42 are provided. The source sound source storage unit 40 stores acoustic information and the virtual space information storage unit 42 stores information related to the virtual space in advance. It is registered. The acoustic information registered in the source sound source storage unit 40 is acoustic information output from each sound source in the virtual space. In the present embodiment, it is referred to as a “source sound source” in order to distinguish it from the acoustic information generated by the acoustic information generation processing unit 20. If it demonstrates using the example of a display screen shown in FIG. 5, in the information regarding the virtual space registered into the virtual space information memory | storage part 42, the virtual space represented by coordinate data and the movement to the virtual space are installed. Each sound source 2 and each position information of the recording point 6 are included. The source sound source storage unit 40 and the virtual space information storage unit 42 are realized by an external storage device such as a hard disk drive device. However, in the virtual space information, each position information of the sound source 2 and the recording point 6 is updated as needed by movement and is used for tactile information generation processing to be performed at high speed. It is desirable to store all information in a memory or the like. In addition, since the acoustic information and the tactile information are sequentially updated as the sound source 2 and the recording point 6 move, and are used for sound output processing that should be performed at high speed, each storage unit 44 and 46 described later includes It is desirable to implement with a storage device such as a memory suitable for high-speed processing.

音響情報生成処理部２０は、仮想空間情報記憶部４２に記憶された仮想空間情報に基づいて、仮想空間における各音源から出力される音響情報が収録点に伝達されたときの音響情報を生成して音響情報記憶部４４に保存する。触覚情報生成処理部２２は、ソース音源記憶部４０に登録された音響情報と仮想空間情報記憶部４２に記憶された仮想空間情報とに基づいて触覚情報を生成して触覚情報記憶部４６に保存する。呈示部位駆動部２４は、触覚情報記憶部４６に保存された触覚情報に基づき呈示部位１６を駆動させる。この呈示部位１６の駆動パターンを異ならせることで種々の音響情報を異なる触覚にてユーザに呈示できるようになる。ユーザは、操作手段として設けられたマウス兼用の触覚情報呈示装置１４若しくはキーボードを操作することで表示画面上の収録点６、あるいは音源２を移動させることができるが、操作受付部２６は、このユーザ操作の内容を受け付ける。操作内容というのは、主に仮想空間上における収録点６あるいは音源２の位置の変更であり、位置検出部２８は、ユーザ操作に応じて移動した仮想空間上における収録点６あるいは音源２の位置を検出する。仮想空間情報管理部３０は、位置検出部２８が検出した収録点６あるいは音源２の位置に基づき仮想空間情報記憶部４２に設定されている当該移動点の位置情報を更新する。音出力処理部３２は、装置内蔵のスピーカ、あるいは外部接続されたスピーカから音響情報を出力する。表示処理部３４は、ソース音源や音響情報、更に仮想空間情報それぞれから視覚可能な情報を生成して表示画面１２に表示する。なお、図１に示した表示画面１２には、仮想空間情報に基づく表示例を示している。   The acoustic information generation processing unit 20 generates acoustic information when the acoustic information output from each sound source in the virtual space is transmitted to the recording point based on the virtual space information stored in the virtual space information storage unit 42. And stored in the acoustic information storage unit 44. The tactile information generation processing unit 22 generates tactile information based on the acoustic information registered in the source sound source storage unit 40 and the virtual space information stored in the virtual space information storage unit 42 and stores it in the tactile information storage unit 46. To do. The presentation site driving unit 24 drives the presentation site 16 based on the haptic information stored in the haptic information storage unit 46. Different acoustic patterns can be presented to the user with different tactile sensations by varying the driving pattern of the presenting portion 16. The user can move the recording point 6 or the sound source 2 on the display screen by operating the tactile information presentation device 14 also serving as a mouse or a keyboard provided as an operation means. Accept the contents of user operations. The operation content is mainly a change in the position of the recording point 6 or the sound source 2 in the virtual space, and the position detection unit 28 determines the position of the recording point 6 or the sound source 2 in the virtual space moved according to the user operation. Is detected. The virtual space information management unit 30 updates the position information of the moving point set in the virtual space information storage unit 42 based on the position of the recording point 6 or the sound source 2 detected by the position detection unit 28. The sound output processing unit 32 outputs acoustic information from a built-in speaker or an externally connected speaker. The display processing unit 34 generates visible information from each of the source sound source, the acoustic information, and the virtual space information and displays the information on the display screen 12. Note that the display screen 12 shown in FIG. 1 shows a display example based on the virtual space information.

本実施の形態は、ソース音源を収録点６で聞いたときの音響を生成し、その音響を触覚にてユーザに提供することを特徴としている。以下、この特徴的な触覚による呈示処理について図３に示したフローチャートを用いて説明する。本実施の形態では、図５と同様の仮想空間を用いて説明する。   The present embodiment is characterized in that the sound when the source sound source is heard at the recording point 6 is generated and the sound is provided to the user by touch. Hereinafter, this characteristic tactile presentation process will be described with reference to the flowchart shown in FIG. This embodiment will be described using a virtual space similar to FIG.

ユーザは、所定の操作を行うことで仮想空間を表示画面１２に表示する。仮想空間に表示された音源２からは、所定のソース音源が出力されている。図１に示したように、収録点６がいずれの可聴領域４にも含まれていないときにはソース音源は届かないため何も聞こえない。ここで、ユーザがマウス操作等によって収録点６を移動させて、いずれかの可聴領域内、例えば可聴領域４ａに進入させたとする（ステップ１０１，１０２）。このときの音源２ａと可聴領域４ａと収録点６の位置関係を図４（ａ）に示す。音響情報生成処理部２０は、音源２ａから出力される音響情報をソース音源記憶部４０から取得し、更に仮想空間情報、具体的には仮想空間における音源２ａと収録点６の各位置情報を仮想空間情報記憶部４２から取得する（ステップ１０３）。そして、音響情報生成処理部２０は、音源２ａと収録点６の各位置情報に基づいて音源２ａから収録点６までの距離及び方向を求める。なお、ここでの仮想空間は、室内などの狭い空間であって音源２ａと収録点６との距離は近く、音源２から発せられたソース音源が収録点６に届くタイムラグは無視できるものとする。従って、音響情報生成処理部２０は、ソース音源に、ソース音源が伝達されてきた時の音圧等の受信状態に関する情報を付加して音響情報として生成する（ステップ１０４）。そして、生成した音響情報を音響情報記憶部４４に登録する。   The user displays the virtual space on the display screen 12 by performing a predetermined operation. A predetermined source sound source is output from the sound source 2 displayed in the virtual space. As shown in FIG. 1, when the recording point 6 is not included in any audible area 4, the source sound source does not reach and nothing can be heard. Here, it is assumed that the user moves the recording point 6 by operating a mouse or the like and enters the audible area 4a, for example, in any audible area (steps 101 and 102). The positional relationship among the sound source 2a, the audible area 4a, and the recording point 6 at this time is shown in FIG. The acoustic information generation processing unit 20 acquires the acoustic information output from the sound source 2a from the source sound source storage unit 40, and further virtual information on the virtual space, specifically the position information of the sound source 2a and the recording point 6 in the virtual space. Obtained from the spatial information storage unit 42 (step 103). Then, the acoustic information generation processing unit 20 obtains the distance and direction from the sound source 2a to the recording point 6 based on the position information of the sound source 2a and the recording point 6. Note that the virtual space here is a narrow space such as a room, the distance between the sound source 2a and the recording point 6 is short, and the time lag that the source sound source emitted from the sound source 2 reaches the recording point 6 can be ignored. . Accordingly, the acoustic information generation processing unit 20 generates information as acoustic information by adding information on the reception state such as sound pressure when the source sound source is transmitted to the source sound source (step 104). Then, the generated acoustic information is registered in the acoustic information storage unit 44.

触覚情報生成処理部２２でも同様に音源２ａから出力される音響情報をソース音源記憶部４０から取得し、仮想空間における音源２ａと収録点６の各位置情報を仮想空間情報記憶部４２から取得する（ステップ１０３）。そして、触覚情報生成処理部２２は、取得した情報に基づき触覚情報を生成するが（ステップ１０６）、この生成処理について説明する前に、生成された触覚情報に基づき呈示部位駆動部２４により駆動される呈示部位１６の動作について説明する。   Similarly, the tactile information generation processing unit 22 acquires acoustic information output from the sound source 2a from the source sound source storage unit 40, and acquires position information of the sound source 2a and the recording point 6 in the virtual space from the virtual space information storage unit 42. (Step 103). The tactile information generation processing unit 22 generates tactile information based on the acquired information (step 106). Before describing this generation processing, the tactile information generation processing unit 22 is driven by the presentation site driving unit 24 based on the generated tactile information. The operation of the presenting part 16 will be described.

図４（ａ）に示したように、収録点６には、図面右上方向に位置する音源２ａから矢印Ａ方向の音響が伝達されてくる。従って、呈示部位駆動部２４は、図４（ｂ）に示したように触覚情報呈示装置１４に設けられた呈示部位１６を、ニュートラル位置から矢印Ａと同一方向の矢印Ｂ方向に駆動する。この駆動するタイミングを例えばリズムに合わせて矢印Ｂ方向に駆動する。なお、駆動しないタイミングでは、呈示部位１６はニュートラルの位置に戻るように動作する。呈示部位１６への駆動力は音圧によって決める。すなわち、呈示部位１６は、伝達されてきた音圧が強いと強い駆動力で駆動され、音圧が弱いと弱い駆動力で駆動される。このようにして、音圧の強弱を表現する。これにより、ユーザは、音源２から音響が伝達されてくるような触覚を得ることになる。なお、この呈示部位１６の駆動に関する内部処理については、追って説明する。   As shown in FIG. 4A, the sound in the arrow A direction is transmitted to the recording point 6 from the sound source 2a located in the upper right direction of the drawing. Therefore, the presentation part drive unit 24 drives the presentation part 16 provided in the tactile information presentation device 14 in the direction of the arrow B in the same direction as the arrow A from the neutral position, as shown in FIG. The driving timing is driven in the direction of arrow B according to the rhythm, for example. It should be noted that the presentation part 16 operates to return to the neutral position at the timing when it is not driven. The driving force to the presentation site 16 is determined by the sound pressure. That is, the presentation part 16 is driven with a strong driving force when the transmitted sound pressure is strong, and is driven with a weak driving force when the sound pressure is weak. In this way, the sound pressure level is expressed. As a result, the user obtains a tactile sensation in which sound is transmitted from the sound source 2. In addition, the internal process regarding the drive of this presentation site | part 16 is demonstrated later.

以上のように、触覚情報生成処理部２２は、仮想空間情報から得られる音源２ａの方向と音響情報から得られる音圧に基づいて触覚情報を生成し、生成した触覚情報を触覚情報記憶部４６に登録する。そして、前述したように、呈示部位駆動部２４は、生成された触覚情報に基づき呈示部位１６を駆動することで音響情報を触覚にてユーザに提供する（ステップ１０７）。   As described above, the haptic information generation processing unit 22 generates haptic information based on the direction of the sound source 2a obtained from the virtual space information and the sound pressure obtained from the acoustic information, and the generated haptic information is stored in the haptic information storage unit 46. Register with. And as mentioned above, the presentation site | part drive part 24 provides acoustic information to a user by a tactile sense by driving the presentation site | part 16 based on the produced | generated tactile information (step 107).

また、音響情報に基づいて呈示部位１６を駆動することに同時並行して聴覚により音響情報を提供する。すなわち、音出力処理部３２は、音響情報記憶部４４に登録された音響情報に基づいて音響をスピーカから出力する（ステップ１０５）。音出力処理部３２における音出力処理自体は従来と同じでよい。更に、可聴領域４への進入後、音響情報に基づき音源２から波紋が放射状に広がるように表示処理部３４に画面表示させるようにすれば、音響が伝達する様子を視覚にて確認させることができる。波紋が広がるスピードや波の位相の大きさや間隔は、音圧や音響の周波数や振幅等の音響情報又は音響情報の変化に応じて変化させる。   In addition, the acoustic information is provided by hearing simultaneously with the driving of the presentation site 16 based on the acoustic information. That is, the sound output processing unit 32 outputs sound from the speaker based on the sound information registered in the sound information storage unit 44 (step 105). The sound output processing itself in the sound output processing unit 32 may be the same as the conventional one. Further, after entering the audible area 4, if the display processing unit 34 displays the screen so that ripples spread radially from the sound source 2 based on the acoustic information, it is possible to visually confirm how the sound is transmitted. it can. The speed at which the ripples spread and the magnitude and interval of the wave phase are changed in accordance with acoustic information such as sound pressure, acoustic frequency and amplitude, or changes in acoustic information.

以上のようにして、音響情報処理装置１０は、音響情報をユーザに対して触覚により呈示することができる。ユーザは、音響を触覚により感じることができるが、音響を触覚と聴覚の両方で受けることでより楽しむことができる。更に音響に合わせて画面表示を変化させることで視覚を通じて音響を楽しませることができるのでより効果的である。   As described above, the acoustic information processing apparatus 10 can present acoustic information to the user by touch. The user can feel the sound by tactile sensation, but can enjoy more by receiving the sound both by tactile sense and by hearing. Furthermore, since the sound can be enjoyed through vision by changing the screen display according to the sound, it is more effective.

以上の処理（ステップ１０１〜１０７）を繰り返し実行することで、音響情報処理装置１０は、音響情報を触覚により継続して提供することになるが、例えば収録点６が音源２ａに近づく方向に移動されると、音源２と収録点６の距離が近づくため呈示部位１６が駆動される方向は同じＢ方向でも音圧が高くなる分その強く駆動される。これにより、ユーザは、収録点６が音源２ａに近づくという「移動」、換言すると「位置関係の変化」を触覚により得ることになる。   By repeatedly executing the above processing (steps 101 to 107), the acoustic information processing apparatus 10 continuously provides acoustic information by tactile sense. For example, the recording point 6 moves in a direction approaching the sound source 2a. Then, since the distance between the sound source 2 and the recording point 6 approaches, the direction in which the presentation part 16 is driven is driven so strongly that the sound pressure increases even in the same B direction. Thus, the user obtains “movement” that the recording point 6 approaches the sound source 2a, in other words, “change in positional relationship” by tactile sense.

また、例えば収録点６が可聴領域４ｂの方向に動かされて可聴領域４ａと可聴領域４ｂとが重なり合った領域４ｃに移動されたとすると、音響情報生成処理部２０は、音源２ａ，２ｂから出力される各音響情報と、音源２ａ，２ｂと収録点６の各位置情報を仮想空間情報記憶部４２から取得し（ステップ１０３）、音源２ａに関する音響情報と、音源２ｂに関する音響情報とを生成する。単一の可聴領域４のみに含まれている場合には、上記説明したようにソース音源をそのまま音響情報に含めればよいが、複数の可聴領域４に含まれている場合には、各音響情報を合成することで、領域４ｃに位置する収録点６における音響情報を生成する（ステップ１０４）。合わせて触覚情報生成処理部２２でも各音源からの音響情報及び音響情報を出力した音源と収録点との位置関係に基づき触覚情報を生成するため、呈示部位駆動部２４は、収録点６に対して画面右下方向に位置する音源２ａからのソース音源により生成された触覚と、画面左上方向に位置する音源２ｂからのソース音源により生成された触覚とが合成された触覚をユーザに対して提供することになる。また、音出力処理部３２は、音源２ａ，２ｂからの各音響の合成音響をユーザに提供することになる。   For example, if the recording point 6 is moved in the direction of the audible area 4b and moved to the area 4c where the audible area 4a and the audible area 4b overlap, the acoustic information generation processing unit 20 is output from the sound sources 2a and 2b. Are acquired from the virtual space information storage unit 42 (step 103), and acoustic information relating to the sound source 2a and acoustic information relating to the sound source 2b are generated. When the sound source is included only in the single audible area 4, the source sound source may be included in the acoustic information as it is as described above. To generate acoustic information at the recording point 6 located in the region 4c (step 104). At the same time, the tactile information generation processing unit 22 generates tactile information based on the acoustic information from each sound source and the positional relationship between the sound source that outputs the acoustic information and the recording point. Provides the user with a tactile sensation generated by synthesizing a tactile sensation generated by the source sound source from the sound source 2a located in the lower right direction of the screen and a tactile sensation generated by the source sound source from the sound source 2b located in the upper left direction of the screen Will do. In addition, the sound output processing unit 32 provides the user with a synthesized sound of each sound from the sound sources 2a and 2b.

ここで、触覚情報生成処理部２２における生成処理について説明する。触覚情報生成処理部２２は、入力した音響情報及び仮想空間情報に基づいて触覚情報を生成するが、まず、音響情報を音響情報記憶部４４から取り出して、その音響情報に含まれる音響データを周波数分割する。そして、特定周波数帯域の時間変化分を常時検出するようにし、検出された時間変化に応じて呈示部位１６が駆動されるように触覚情報を生成する。駆動するタイミング（駆動パターン）は、時間変化量によって決定する。前述した特定周波数帯域は、予め設定しておくことになるが、例えば、リズムベース音に反応させて呈示部位１６を駆動させたいときには、そのリズムベース音の周波数をサンプリングできるように設定しておく。もちろん、どの帯域を特定周波数帯域とするかは、変更できるようにしておいてもよい。なお、駆動力は、前述したように音響情報に含まれる音圧データによって決定する。   Here, the generation processing in the tactile information generation processing unit 22 will be described. The tactile information generation processing unit 22 generates tactile information based on the input acoustic information and virtual space information. First, the acoustic information is extracted from the acoustic information storage unit 44, and the acoustic data included in the acoustic information is converted to frequency. To divide. Then, the time change of the specific frequency band is always detected, and the tactile information is generated so that the presentation site 16 is driven according to the detected time change. The driving timing (driving pattern) is determined by the amount of time change. The specific frequency band described above is set in advance. For example, when the presentation portion 16 is driven in response to a rhythm base sound, the frequency of the rhythm base sound is set to be sampled. . Of course, it may be possible to change which band is the specific frequency band. The driving force is determined by sound pressure data included in the acoustic information as described above.

以上のようにして音響情報に基づき呈示部位１６の駆動パターン及び駆動力を決定することになるが、本実施の形態では、更に音源２と収録点６との距離に応じて駆動力を調整する。すなわち、触覚情報生成処理部２２は、入力した仮想空間情報から収録点６が含まれている可聴領域４を形成する音源２と収録点６との位置情報を取り出して、音源２と収録点６との距離を求める。そして、その距離に応じて上記決定した駆動力を増減する。より具体的に言うと、音源２と収録点６との距離に応じて音源２からの出力されるソース音源の減衰率を決定し、その減衰率に基づき駆動力を決定する。   As described above, the driving pattern and driving force of the presentation site 16 are determined based on the acoustic information. In the present embodiment, the driving force is further adjusted according to the distance between the sound source 2 and the recording point 6. . That is, the tactile information generation processing unit 22 extracts the position information of the sound source 2 and the recording point 6 that form the audible area 4 including the recording point 6 from the input virtual space information, and the sound source 2 and the recording point 6. Find the distance to. Then, the determined driving force is increased or decreased according to the distance. More specifically, the attenuation rate of the source sound source output from the sound source 2 is determined according to the distance between the sound source 2 and the recording point 6, and the driving force is determined based on the attenuation rate.

次に、本実施の形態では、音源２と収録点６との位置関係によって呈示部位１６を駆動させる方向を決定する必要がある。すなわち、触覚情報生成処理部２２は、取り出した音源２と収録点６の各位置情報に基づき音源２から発せられる音響の収録点６への伝達方向を求める。この方向が呈示部位１６の駆動方向である。なお、複数の可聴領域４に含まれている場合には、前述したように各方向を合成した方向が駆動方向となる。   Next, in this embodiment, it is necessary to determine the direction in which the presentation site 16 is driven based on the positional relationship between the sound source 2 and the recording point 6. That is, the tactile information generation processing unit 22 determines the transmission direction of the sound emitted from the sound source 2 to the recording point 6 based on the extracted position information of the sound source 2 and the recording point 6. This direction is the driving direction of the presentation site 16. When included in a plurality of audible areas 4, the direction in which the directions are combined is the driving direction as described above.

ところで、上記説明では、仮想空間を室内などの狭い空間と仮定したことによって音源２から発せられたソース音源が収録点６に届く際のタイムラグを無視した。ここでは、このタイムラグを考慮した場合について説明する。   By the way, in the above description, since the virtual space is assumed to be a narrow space such as a room, the time lag when the source sound source emitted from the sound source 2 reaches the recording point 6 is ignored. Here, a case where this time lag is taken into account will be described.

例えば、どこかの屋外の広い場所でコンサートが行われた場合を想定してみる。この場合の仮想空間は、屋外の広い場所であり、音源２から発せられた音響が多少遅れて収録点６に到達するものとする。この場合、音響情報生成処理部２０は、仮想空間情報に基づいて音源２と収録点６との距離を求め、その距離に応じた遅れをもって音響情報を生成する。この結果、駆動部呈示部位１６は、ソース音源の出力から遅れをもって呈示部位１６を駆動させる。これにより、ソース音源から音響が発せられたときから遅れて、呈示部位駆動部２４は呈示部位１６を駆動し、音出力処理部３２はスピーカから音響を出力する。   For example, consider a case where a concert is held in a wide outdoor area. The virtual space in this case is a wide outdoor place, and the sound emitted from the sound source 2 reaches the recording point 6 with some delay. In this case, the acoustic information generation processing unit 20 obtains the distance between the sound source 2 and the recording point 6 based on the virtual space information, and generates acoustic information with a delay corresponding to the distance. As a result, the drive unit presentation part 16 drives the presentation part 16 with a delay from the output of the source sound source. Thereby, the presentation part drive part 24 drives the presentation part 16, and the sound output process part 32 outputs a sound from a speaker after the time from which sound was emitted from the source sound source.

但し、ソース音源から音響が発せられたタイミングをユーザが把握できなければ、タイムラグが発生している状態をユーザに認識させることはできない。そのために、表示処理部３４は、音源２からのソース音源の出力タイミングがわかるように画面表示する。これにより、ユーザは、視覚により音源からの音響出力タイミングを認識することができるので、触覚及び聴覚によりタイムラグの発生を認識することができる。   However, if the user cannot grasp the timing when the sound is emitted from the source sound source, the user cannot recognize the time lag. Therefore, the display processing unit 34 displays the screen so that the output timing of the source sound source from the sound source 2 can be known. Thereby, the user can recognize the sound output timing from the sound source visually, and can recognize the occurrence of the time lag by tactile sense and hearing.

なお、タイムラグを考慮した場合と考慮しないで無視した場合とに分けて説明をしたが、処理自体は分ける必要はなく、音源２と収録点６との距離を常に考慮して触覚情報を生成するようにすればよい。仮想空間が室内などの狭い空間の場合には、タイムラグが触覚情報に反映されていても、そのタイムラグは極めて小さいため、ユーザはそのタイムラグを感じ取れないに過ぎない。   In addition, although the explanation was divided into the case where time lag was considered and the case where it was ignored without being considered, the processing itself does not need to be separated, and tactile information is generated by always considering the distance between the sound source 2 and the recording point 6. What should I do? When the virtual space is a narrow space such as a room, even if the time lag is reflected in the tactile information, the time lag is very small and the user can only feel the time lag.

本実施の形態によれば、音響を聴覚及び視覚のみならず、触覚により提示することができるので、音響の楽しみ方の幅を拡大することができる。   According to the present embodiment, since sound can be presented not only by hearing and vision but also by tactile sense, the range of how to enjoy sound can be expanded.

本実施の形態は、以上説明したように、基本的には音源２から出力されるソース音源が収録点６にどのような音圧でどのような方向から伝達されているかと言う音響の状態を触覚により提供するものであるが、音響の状態のみならず仮想空間における各音源と収録点との位置関係に基づく情報も提供するようにしてもよい。例えば、上記においては、収録点６が音源２ａに近づくという「移動」（「位置関係の変化」）を触覚により提供すると説明した。つまり、収録点６の移動に伴う音圧の変化を触覚に反映させることにしたが、仮に音源２との距離を維持したまま音源２の周囲を移動した場合には、移動により位置が変化しているという情報を触覚により提供するようにしてもよい。また、収録点６の移動に限定することなく、音源２を移動させたときでも音源２と収録点６との相対的な位置関係は変化するので、この場合も何らかの駆動パターンによって呈示部位１６を駆動させるようにしてもよい。   In the present embodiment, as described above, basically, the sound state that the source sound source output from the sound source 2 is transmitted to the recording point 6 at what sound pressure and in what direction is described. Although provided by tactile sense, information based on the positional relationship between each sound source and recording points in the virtual space may be provided as well as the acoustic state. For example, in the above description, it has been described that “movement” (“change in positional relationship”) that the recording point 6 approaches the sound source 2a is provided by tactile sense. In other words, the change in sound pressure accompanying the movement of the recording point 6 is reflected in the tactile sense, but if it moves around the sound source 2 while maintaining the distance from the sound source 2, the position changes due to the movement. It may be possible to provide information indicating that the user is in touch. In addition, the relative positional relationship between the sound source 2 and the recording point 6 is changed even when the sound source 2 is moved without being limited to the movement of the recording point 6. You may make it drive.

本発明に係る音響情報処理装置の一実施の形態を示したハードウェア構成図である。It is a hardware block diagram which showed one Embodiment of the acoustic information processing apparatus which concerns on this invention. 本実施の形態おける音響情報処理装置のブロック構成図である。It is a block block diagram of the acoustic information processing apparatus in this Embodiment. 本実施の形態における音響情報を触覚により呈示する処理を示したフローチャートである。It is the flowchart which showed the process which presents the acoustic information in this Embodiment by a tactile sense. 本実施の形態において音源と可聴領域と収録点の各位置関係を示した図である。It is the figure which showed each positional relationship of a sound source, an audible area | region, and a recording point in this Embodiment. 仮想空間上における音源と可聴領域と収録点の各位置関係を示した図である。It is the figure which showed each positional relationship of the sound source in a virtual space, an audible area, and a recording point.

符号の説明Explanation of symbols

１０ 音響情報処理装置、１２ 表示画面、１４ 触覚情報呈示装置、１６ 呈示部位、２０ 音響情報生成処理部、２２ 触覚情報生成処理部、２４ 呈示部位駆動部、２６ 操作受付部、２８ 位置検出部、３０ 仮想空間情報管理部、３２ 音出力処理部、３４ 表示処理部、３６ 音響情報記憶部、４０ ソース音源記憶部、４２ 仮想空間情報記憶部、４４ 音響情報記憶部、４６ 触覚情報記憶部。   DESCRIPTION OF SYMBOLS 10 Acoustic information processing apparatus, 12 Display screen, 14 Tactile information presentation apparatus, 16 Presentation part, 20 Acoustic information generation process part, 22 Tactile information generation process part, 24 Presentation part drive part, 26 Operation reception part, 28 Position detection part, 30 virtual space information management unit, 32 sound output processing unit, 34 display processing unit, 36 acoustic information storage unit, 40 source sound source storage unit, 42 virtual space information storage unit, 44 acoustic information storage unit, 46 tactile information storage unit.

Claims (9)

ユーザに対して触覚により情報を提供する呈示部位と、
仮想空間における１乃至複数の音源と収録点との位置関係に基づいて、仮想空間における各音源から出力される音響情報が収録点に伝達されたときの音響情報を生成する伝達音響情報生成処理手段と、
前記各音源から出力される音響情報と仮想空間における各音源と収録点との位置関係とに基づいて触覚情報を生成する触覚情報生成処理手段と、
前記触覚情報生成処理手段により生成された触覚情報に基づき前記呈示部位を駆動させる駆動手段と、
を有することを特徴とする音響情報処理装置。 A presentation site that provides tactile information to the user;
Based on the positional relationship between one or more sound sources and recording points in the virtual space, a transfer acoustic information generation processing means for generating acoustic information when the acoustic information output from each sound source in the virtual space is transmitted to the recording points When,
Tactile information generation processing means for generating tactile information based on the acoustic information output from each sound source and the positional relationship between each sound source and recording points in virtual space;
Driving means for driving the presentation site based on the haptic information generated by the haptic information generation processing means;
An acoustic information processing apparatus comprising: 請求項１記載の音響情報処理装置において、
仮想空間における各音源と収録点との位置関係を画面表示する表示処理手段を有することを特徴とする音響情報処理装置。 The acoustic information processing apparatus according to claim 1,
An acoustic information processing apparatus comprising display processing means for displaying on screen a positional relationship between each sound source and recording points in a virtual space. 請求項１記載の音響情報処理装置において、
仮想空間における各音源と収録点との位置関係は、少なくとも距離及び方向で表されることを特徴とする音響情報処理装置。 The acoustic information processing apparatus according to claim 1,
An acoustic information processing apparatus characterized in that a positional relationship between each sound source and recording points in a virtual space is expressed by at least a distance and a direction. 請求項１記載の音響情報処理装置において、
前記触覚情報生成処理手段は、音源と収録点との距離に応じて各音源からの音響情報出力時から遅れて前記呈示部位が駆動されるように触覚情報を生成することを特徴とする音響情報処理装置。 The acoustic information processing apparatus according to claim 1,
The tactile information generation processing means generates tactile information so that the presenting part is driven with a delay from the time when the sound information is output from each sound source according to the distance between the sound source and the recording point. Processing equipment. 請求項２記載の音響情報処理装置において、
前記表示処理手段は、音源と収録点との距離に応じて各音源からの音響情報出力時から遅れて収録点に音響情報が到達したことを視認可能に表示することを特徴とする音響情報処理装置。 The acoustic information processing apparatus according to claim 2,
The display processing means visibly displays that the acoustic information has arrived at the recording point with a delay from the output of the acoustic information from each sound source according to the distance between the sound source and the recording point. apparatus. 請求項１記載の音響情報処理装置において、
前記触覚情報生成処理手段は、音響情報の時間変化に応じて触覚情報を生成することを特徴とする音響情報処理装置。 The acoustic information processing apparatus according to claim 1,
The tactile information generation processing means generates tactile information according to a temporal change of the acoustic information. 請求項１記載の音響情報処理装置において、
画面表示された仮想空間における音源又は収録点の位置を変更する操作手段を有することを特徴とする音響情報処理装置。 The acoustic information processing apparatus according to claim 1,
An acoustic information processing apparatus having an operation means for changing a position of a sound source or a recording point in a virtual space displayed on a screen. 請求項７記載の音響情報処理装置において、
前記触覚情報生成処理手段は、音源又は収録点の位置の変更を反映させて触覚情報を生成することを特徴とする音響情報処理装置。 The acoustic information processing apparatus according to claim 7,
The acoustic information processing apparatus, wherein the tactile information generation processing unit generates tactile information by reflecting a change in a position of a sound source or a recording point. ユーザに対して触覚により情報を提供する呈示部位を有する触覚情報呈示装置が接続された情報処理装置において実施され、音響情報をユーザに提供する音響情報提供方法において、
仮想空間における１乃至複数の音源と収録点との位置関係に基づいて、仮想空間における各音源から出力される音響情報が収録点に伝達されたときの音響情報を生成する伝達音響情報生成ステップと、
前記各音源から出力される音響情報と音響情報を出力した音源と収録点との位置関係に基づいて触覚情報を生成する触覚情報生成ステップと、
前記触覚情報生成ステップにより生成された触覚情報に基づき前記呈示部位を駆動させる駆動ステップと、
を含むことを特徴とする音響情報提供方法。
In an acoustic information providing method that is implemented in an information processing apparatus connected to a tactile information presentation device having a presentation site that provides information to a user by tactile sense, and provides acoustic information to the user,
A transmission acoustic information generation step for generating acoustic information when acoustic information output from each sound source in the virtual space is transmitted to the recording point based on the positional relationship between one or more sound sources in the virtual space and the recording point; ,
Tactile information generation step for generating tactile information based on the positional relationship between the sound information output from each sound source and the sound source that outputs the sound information and the recording points;
A driving step of driving the presentation site based on the tactile information generated by the tactile information generation step;
A method for providing acoustic information, comprising:
JP2004119343A 2004-04-14 2004-04-14 Acoustic information processing apparatus and acoustic information providing method Expired - Fee Related JP4484570B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004119343A JP4484570B2 (en) 2004-04-14 2004-04-14 Acoustic information processing apparatus and acoustic information providing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004119343A JP4484570B2 (en) 2004-04-14 2004-04-14 Acoustic information processing apparatus and acoustic information providing method

Publications (2)

Publication Number Publication Date
JP2005301827A true JP2005301827A (en) 2005-10-27
JP4484570B2 JP4484570B2 (en) 2010-06-16

Family

ID=35333255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004119343A Expired - Fee Related JP4484570B2 (en) 2004-04-14 2004-04-14 Acoustic information processing apparatus and acoustic information providing method

Country Status (1)

Country Link
JP (1) JP4484570B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012165283A (en) * 2011-02-08 2012-08-30 Yamaha Corp Signal processing apparatus
JP2015503795A (en) * 2012-01-03 2015-02-02 インテル・コーポレーション Touch screen interaction method and apparatus
WO2017043400A1 (en) * 2015-09-08 2017-03-16 ソニー株式会社 Information processing apparatus, method, and computer program
JP2019121813A (en) * 2017-12-28 2019-07-22 株式会社Ｊｖｃケンウッド Vibration feeling device
JP2020528291A (en) * 2017-07-27 2020-09-24 アルコン インコーポレイティド Control of laser surgical instruments using sensory generators
WO2022264537A1 (en) * 2021-06-15 2022-12-22 ソニーグループ株式会社 Haptic signal generation device, haptic signal generation method, and program

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012165283A (en) * 2011-02-08 2012-08-30 Yamaha Corp Signal processing apparatus
US9002035B2 (en) 2011-02-08 2015-04-07 Yamaha Corporation Graphical audio signal control
JP2015503795A (en) * 2012-01-03 2015-02-02 インテル・コーポレーション Touch screen interaction method and apparatus
US10942573B2 (en) 2015-09-08 2021-03-09 Sony Corporation Information processing device, method, and computer
US10331214B2 (en) 2015-09-08 2019-06-25 Sony Corporation Information processing device, method, and computer program
US10353470B2 (en) 2015-09-08 2019-07-16 Sony Corporation Information processing device, method, and computer
US10838500B2 (en) 2015-09-08 2020-11-17 Sony Corporation Information processing device, method, and computer program
WO2017043400A1 (en) * 2015-09-08 2017-03-16 ソニー株式会社 Information processing apparatus, method, and computer program
US11314333B2 (en) 2015-09-08 2022-04-26 Sony Corporation Information processing device, method, and computer
JP2020528291A (en) * 2017-07-27 2020-09-24 アルコン インコーポレイティド Control of laser surgical instruments using sensory generators
JP7159222B2 (en) 2017-07-27 2022-10-24 アルコン インコーポレイティド Control of Laser Surgical Equipment Using Sensory Generators
JP2019121813A (en) * 2017-12-28 2019-07-22 株式会社Ｊｖｃケンウッド Vibration feeling device
WO2022264537A1 (en) * 2021-06-15 2022-12-22 ソニーグループ株式会社 Haptic signal generation device, haptic signal generation method, and program

Also Published As

Publication number Publication date
JP4484570B2 (en) 2010-06-16

Similar Documents

Publication Publication Date Title
EP3494456B1 (en) Method for audible sound generation with an ultrasonic transducer array
US10152131B2 (en) Systems and methods for multi-pressure interaction on touch-sensitive surfaces
Brewster Nonspeech auditory output
EP2891955B1 (en) In-vehicle gesture interactive spatial audio system
JP6504809B2 (en) System and method for haptically enabled projected user interface
US9645648B2 (en) Audio computer system for interacting within a virtual reality environment
JP2502436B2 (en) Method and system for providing audio information regarding pointer position
JP5100273B2 (en) Audible computer user interface method and apparatus
JPH0721750B2 (en) Method and apparatus for graphical selection of display elements for blind or visually impaired computer users
JP2018507485A (en) Perception in the tactile system
JP2016016372A (en) Vibration generation system, vibration generation device, vibration signal generation program, and vibration generation method
JP2010231609A (en) Tactile presentation device and method
US20170344339A1 (en) Audio feedback for continuous scrolled content
Park et al. A physics-based vibrotactile feedback library for collision events
JP4484570B2 (en) Acoustic information processing apparatus and acoustic information providing method
CN109240413A (en) Screen vocal technique, device, electronic device and storage medium
JPH1040067A (en) Sound control system interlocking with operation of pointing device
Grani et al. Spatial sound and multimodal interaction in immersive environments
JP6433217B2 (en) Volume control device, volume control system, and program
JPH10124295A (en) Method and device for representing access volume, and recording medium
JP2005115291A (en) Audio equipment layout support apparatus, program, and acoustic system
WO2024111646A1 (en) Stereophonic acoustic generation device, stereophonic acoustic reproduction device, stereophonic acoustic generation method, stereophonic acoustic generation program, and recording medium
JPH09190544A (en) Acoustic presentation method for image data
JP6028489B2 (en) Video playback device, video playback method, and program
EP3493025A1 (en) Method and apparatus for operating an actuator in a mobile device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100309

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100323

R150 Certificate of patent or registration of utility model

Ref document number: 4484570

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140402

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees