JP2011188462A - Utterance detector and voice communication system - Google Patents

Utterance detector and voice communication system Download PDF

Info

Publication number
JP2011188462A
JP2011188462A JP2010070881A JP2010070881A JP2011188462A JP 2011188462 A JP2011188462 A JP 2011188462A JP 2010070881 A JP2010070881 A JP 2010070881A JP 2010070881 A JP2010070881 A JP 2010070881A JP 2011188462 A JP2011188462 A JP 2011188462A
Authority
JP
Japan
Prior art keywords
utterance
speaker
acceleration sensor
voice
acceleration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010070881A
Other languages
Japanese (ja)
Other versions
JP5555900B2 (en
Inventor
Tsunemasa Saiki
常正 才木
Yukako Shimooka
由佳子 下岡
Kohei Higuchi
行平 樋口
Kazusuke Maenaka
一介 前中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyogo Prefectural Government
Japan Science and Technology Agency
Original Assignee
Hyogo Prefectural Government
Japan Science and Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyogo Prefectural Government, Japan Science and Technology Agency filed Critical Hyogo Prefectural Government
Priority to JP2010070881A priority Critical patent/JP5555900B2/en
Publication of JP2011188462A publication Critical patent/JP2011188462A/en
Application granted granted Critical
Publication of JP5555900B2 publication Critical patent/JP5555900B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Set Structure (AREA)
  • Telephone Function (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an utterance detector which is smaller than a conventional one, can be attached to a body for a long time or always, and can detect the utterance information of an utterer, and to provide a voice communication system which uses the utterance detector. <P>SOLUTION: The voice communication system 100 includes a pair of the utterance detectors 10 and 20. The utterance detector 10 has an acceleration sensor 11 to detect air vibration excited by the utterance of the utterer, a radio transmitter 12 connected to the acceleration sensor 11, a radio receiver 13, a signal generator 14 connected to the radio receiver 13, and an oscillator 15 connected to the signal generator 14. The utterance detector 20 has an acceleration sensor 21, a radio transmitter 22 connected to the acceleration sensor 21, a radio receiver 23, a signal generator 24 connected to the radio receiver 23, and an oscillator 25 connected to the signal generator 24. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、発話者の発声によって励起された空気振動を検出することが可能な発話検出装置、及び、該発話検出装置を含む音声通信システムに関する。  The present invention relates to an utterance detection device capable of detecting air vibrations excited by the utterance of a speaker, and an audio communication system including the utterance detection device.

従来から、発話者の発声によって励起された空気振動を検出することが可能な装置は公知となっており、例えば、下記特許文献1に示すような音声処理装置がある。該音声処理装置は、気導音マイクで発話者の発声により励起された空気振動を音声信号に変換して出力し、骨伝導音マイクで発声により生ずる身体振動を音声信号に変換して出力し、ノイズレベル判定回路で気導音マイクの出力中のノイズレベルを検知し、それに基づいてゲイン調整回路で気導音マイクの出力の音圧と骨伝導音マイクの出力の音圧を変えることにより、これらの2つの音声信号の音圧比を調整して出力し、音声認識装置でこれら出力された2つの音声信号を加算して音声認識装置に出力するものである。  Conventionally, devices capable of detecting air vibrations excited by a speaker's utterance have been known. For example, there is a speech processing device as shown in Patent Document 1 below. The sound processing device converts air vibrations excited by the voice of the speaker by an air conduction sound microphone into sound signals and outputs them, and converts body vibrations generated by the sound from the bone conduction sound microphones into sound signals and outputs the sound signals. The noise level judgment circuit detects the noise level during the output of the air conduction sound microphone, and the gain adjustment circuit changes the sound pressure of the air conduction sound microphone output and the sound pressure of the bone conduction sound microphone output based on the detected noise level. The sound pressure ratio of these two voice signals is adjusted and output, and the two voice signals output by the voice recognition device are added and output to the voice recognition device.

特開2003−264883号公報JP 2003-264883 A

しかしながら、近年では、しかしながら、近年では、身体に長時間又は常時取り付けることができるように、上記特許文献1の装置よりもさらに小型の装置が望まれている。  However, in recent years, however, a device that is smaller than the device of Patent Document 1 has been desired in recent years so that it can be attached to the body for a long time or at all times.

そこで、本発明の目的は、従来よりも小型で身体に長時間又は常時取り付けることができるとともに、発話者の発声情報を検出することが可能な発話検出装置、及び、該発話検出装置を用いた音声通信システムを提供することである。  Therefore, an object of the present invention is to use an utterance detection device capable of detecting utterance information of a speaker and the utterance detection device, which can be attached to the body for a long time or at all times, and is smaller than conventional ones. It is to provide a voice communication system.

(1) 一局面に従う発話検出装置は、発話者の発声によって励起された空気振動を検出可能な加速度センサと、前記加速度センサが固設され、前記発話者の身体に取り付け可能な取付部材と、を備えているものである。(1) An utterance detection device according to one aspect includes an acceleration sensor capable of detecting air vibrations excited by the utterance of a speaker, an attachment member to which the acceleration sensor is fixed and attachable to the body of the speaker, It is equipped with.

上記(1)の加速度センサは一般的に従来の気導音マイクに比べて非常に小型(例えば、身体内部に取り付け可能な程度)である。つまり、加速度センサに合わせて取付部材も小型のものとすれば、上記(1)の構成の発話検出装置を発話者の身体外部だけでなく身体内部にも取り付けることが可能である。したがって、発話者の身体に長時間又は常時取り付けることができる。また、例えば、上記(1)の構成の発話検出装置を、咽頭部、喉頭部、気道、口腔部、鼻腔部、又は、これらの部位の付近などに取り付けることで、発話者の発声によって励起された空気振動を容易に検出することができる。したがって、該空気振動から発話者の音声情報を検出することが可能である。また、例え、発話者の音声が小さく聞き取りにくいものであっても、本発明に係る装置であれば、該音声を検出することが可能であるので、本発明に係る装置によって得た検出情報を増幅することで、聞き取りやすい音声に変換することも可能である。  The acceleration sensor (1) is generally much smaller than a conventional air conduction microphone (for example, it can be mounted inside the body). In other words, if the attachment member is made small in accordance with the acceleration sensor, the utterance detection device having the configuration (1) can be attached not only outside the body of the speaker but also inside the body. Therefore, it can be attached to the body of the speaker for a long time or at all times. Further, for example, by attaching the utterance detection device having the configuration (1) above to the pharynx, larynx, respiratory tract, oral cavity, nasal cavity, or the vicinity of these parts, it is excited by the utterance of the speaker. Air vibrations can be easily detected. Therefore, it is possible to detect the voice information of the speaker from the air vibration. In addition, even if the voice of the speaker is small and difficult to hear, the apparatus according to the present invention can detect the voice, so the detection information obtained by the apparatus according to the present invention can be obtained. By amplifying it, it is possible to convert it into a voice that is easy to hear.

(2) 上記(1)の発話検出装置においては、前記取付部材が、可撓性を有した長板状部材であり、前記加速度センサが前記長板状部材の一方側の面に貼設されていることが好ましい。(2) In the utterance detection device according to (1), the mounting member is a long plate-like member having flexibility, and the acceleration sensor is attached to one surface of the long plate-like member. It is preferable.

上記(2)の構成の発話検出装置は、例えば、義歯床安定用糊剤などを用いて、長板状部材の他方側の面を前記発話者の内側の歯に沿って貼り付けることが可能である。したがって、発話者の発声によって励起された空気振動を効率よく検出することが可能である。また、上記(2)の構成の発話検出装置は、粘着テープなどを用いて、喉の外表面(皮膚)に貼り付けることが可能である。したがって、発話者の発声によって励起された身体振動(発話時の声帯の振動)を効率よく検出することが可能である。  The utterance detection device having the configuration (2) can be attached to the other side of the long plate-like member along the teeth inside the speaker using, for example, a denture base stabilizing paste. It is. Therefore, it is possible to efficiently detect the air vibration excited by the voice of the speaker. Moreover, the speech detection apparatus having the configuration (2) can be attached to the outer surface (skin) of the throat using an adhesive tape or the like. Therefore, it is possible to efficiently detect the body vibration excited by the utterance of the speaker (the vocal cord vibration during the utterance).

(3) 上記(1)の発話検出装置においては、前記取付部材が、前記発話者の鼻に取り付け可能な部材であり、前記加速度センサが前記取付部材に固設されていることが好ましい。(3) In the utterance detection device according to (1), it is preferable that the attachment member is a member that can be attached to the nose of the speaker, and the acceleration sensor is fixed to the attachment member.

上記(3)の構成の発話検出装置は、発話者の鼻腔部に取り付けることが可能である。したがって、発話者の発声によって励起されて鼻に伝わった身体振動又は鼻腔部内に伝わった空気振動を効率よく検出することが可能である。  The utterance detection device having the configuration (3) can be attached to the nasal cavity of the speaker. Therefore, it is possible to efficiently detect body vibrations transmitted to the nose or air vibrations transmitted into the nasal cavity by being excited by the voice of the speaker.

(4) 上記(1)の発話検出装置においては、前記取付部材が、前記発話者の下顎部に取り付け可能な部材であり、前記加速度センサが前記取付部材に固設されていることが好ましい。(4) In the utterance detection device according to (1), it is preferable that the attachment member is a member that can be attached to the lower jaw of the speaker, and the acceleration sensor is fixed to the attachment member.

上記(4)の構成によれば、下顎に発話検出装置を取り付けているので、発話者の発声によって励起された空気振動又は身体振動を効率よく検出することが可能であるだけでなく、下顎の動作情報をも検出することができる。これにより、発話者の発声が小さいものであっても、空気振動又は身体振動の情報と下顎の動作情報と組み合わせて、どの文字の発声を行っているかを判定することに用いることが可能となる。  According to the configuration of (4) above, since the utterance detection device is attached to the lower jaw, not only can the air vibration or the body vibration excited by the utterance of the speaker be efficiently detected, Operation information can also be detected. Thereby, even if the utterance of the speaker is small, it can be used to determine which character is uttered in combination with the information of air vibration or body vibration and the movement information of the lower jaw. .

(5) 他の局面に従う音声通信システムは、上記(1)〜(4)のうちいずれか1つの発話検出装置を2つ以上有しているものである。なお、前記発話検出装置のそれぞれは、各加速度センサで検出した情報を相互に送受信する送受信部と、前記送受信部で受信した情報を音声に変換し発する音声発生部と、を備えているものである。(5) A voice communication system according to another aspect has two or more utterance detection devices of any one of the above (1) to (4). Each of the utterance detection devices includes a transmission / reception unit that transmits / receives information detected by each acceleration sensor to / from each other, and a voice generation unit that converts information received by the transmission / reception unit into speech and emits it. is there.

上記(5)の構成によれば、相互音声通信をすることができる。  According to the configuration of (5) above, mutual voice communication can be performed.

(6) 他の局面に従う音声通信システムは、上記(1)〜(4)のうちいずれか1つの発話検出装置を2つ以上有しているものである。なお、前記発話検出装置のそれぞれは、各加速度センサで検出した情報を相互に送受信する送受信部と、前記送受信部で受信した情報を音声振動に変換し発する音声振動発生部と、を備えているものである。(6) A voice communication system according to another aspect includes two or more utterance detection devices of any one of the above (1) to (4). Each of the speech detection devices includes a transmission / reception unit that transmits / receives information detected by each acceleration sensor to / from each other, and a voice vibration generation unit that converts information received by the transmission / reception unit into voice vibration and emits the information. Is.

上記(6)の構成によれば、相互音声通信をすることができる。特に、送受信部で受信した情報を音声振動に変換する音声振動変換部を備えているので、この音声振動変換部を発話者の身体のうち耳に該音声振動が届く範囲内に取り付け、該音声振動を直に耳に伝導できるようにすれば、宇宙空間、水中などの発話者の発声が伝わりにくい環境下においても相互音声通信が可能となる。  According to the configuration of (6) above, mutual voice communication can be performed. In particular, since a voice vibration conversion unit that converts information received by the transmission / reception unit into voice vibration is provided, the voice vibration conversion unit is attached within a range where the voice vibration reaches the ear of the body of the speaker, and the voice If the vibration can be conducted directly to the ear, mutual voice communication is possible even in an environment where the utterance of the speaker is difficult to be transmitted, such as in space or underwater.

本発明の実施形態に係る音声通信システムを示した概略構成図である。1 is a schematic configuration diagram showing an audio communication system according to an embodiment of the present invention. 本発明の実施例において用いた、発話検出装置を含む実験装置を示す概略構成図である。It is a schematic block diagram which shows the experimental apparatus containing the speech detection apparatus used in the Example of this invention. 図2に示した発話検出装置を、発話者の下顎の中切歯の前方中央に取り付けた状態を示す模式図である。It is a schematic diagram which shows the state which attached the speech detection apparatus shown in FIG. 2 to the front center of the lower incisor's middle incisor. 本発明の実施例における実験1の結果を示したグラフであって、x軸方向についての発話時の下顎中切歯前部における加速度の時間変化を示したグラフである。It is the graph which showed the result of the experiment 1 in the Example of this invention, Comprising: It is the graph which showed the time change of the acceleration in the mandibular central incisor front part at the time of the utterance about the x-axis direction. 本発明の実施例における実験1の結果を示したグラフであって、y軸方向についての発話時の下顎中切歯前部における加速度の時間変化を示したグラフである。It is the graph which showed the result of the experiment 1 in the Example of this invention, Comprising: It is the graph which showed the time change of the acceleration in the mandibular central incisor front part at the time of the utterance about the y-axis direction. 本発明の実施例における実験1の結果を示したグラフであって、z軸方向についての発話時の下顎中切歯前部における加速度の時間変化を示したグラフである。It is the graph which showed the result of the experiment 1 in the Example of this invention, Comprising: It is the graph which showed the time change of the acceleration in the mandibular central incisor front part at the time of the utterance about z-axis direction. 図4〜図6の所定部分を拡大するとともに合成したグラフである。It is the graph which expanded and compounded the predetermined part of FIGS. 本発明の実施例の実験1における発話時の下顎中切歯の加速度のx軸方向のパワースペクトルを示すグラフである。It is a graph which shows the power spectrum of the x-axis direction of the acceleration of the mandibular central incisor at the time of speech in Experiment 1 of the Example of this invention. 本発明の実施例の実験1における発話時の下顎中切歯の加速度のy軸方向のパワースペクトルを示すグラフである。It is a graph which shows the power spectrum of the y-axis direction of the acceleration of the mandibular central incisor at the time of speech in Experiment 1 of the Example of this invention. 本発明の実施例の実験1における発話時の下顎中切歯の加速度のz軸方向のパワースペクトルを示すグラフである。It is a graph which shows the power spectrum of the z-axis direction of the acceleration of the mandibular central incisor at the time of speech in Experiment 1 of the Example of this invention. 図8のグラフの一部の周波数帯を拡大して示したグラフである。It is the graph which expanded and showed the one part frequency band of the graph of FIG. 図9のグラフの一部の周波数帯を拡大して示したグラフである。It is the graph which expanded and showed the one part frequency band of the graph of FIG. 図10のグラフの一部の周波数帯を拡大して示したグラフである。It is the graph which expanded and showed the one part frequency band of the graph of FIG. 本発明の実施例の実験2におけるリップシンクロナイジングでの下顎中切歯前部の加速度の変化を示したグラフである。It is the graph which showed the change of the acceleration of the mandibular central incisor front part by the lip | synchronizing in the experiment 2 of the Example of this invention. 本発明の実施例の実験2におけるハミングでの下顎中切歯前部の加速度の変化を示したグラフである。It is the graph which showed the change of the acceleration of the mandibular central incisor front part by humming in Experiment 2 of the Example of this invention. 本発明の実施例の実験2におけるリップシンクロナイジングでの下顎中切歯前部の加速度のパワースペクトルを示したグラフである。It is the graph which showed the power spectrum of the acceleration of the mandibular central incisor front part by the lip | synchronizing in the experiment 2 of the Example of this invention. 本発明の実施例の実験2におけるハミングでの下顎中切歯前部の加速度のパワースペクトルを示したグラフである。It is the graph which showed the power spectrum of the acceleration of the mandibular central incisor front part by the humming in Experiment 2 of the Example of this invention. (a)が図2に示した発話検出装置の変形例に係るものの断面図であって、(b)が図2に示した発話検出装置の別の変形例に係るものの断面図である。(A) is sectional drawing of what concerns on the modification of the speech detection apparatus shown in FIG. 2, Comprising: (b) is sectional drawing of what concerns on another modification of the speech detection apparatus shown in FIG.

以下、図1を参照して、本発明の実施形態に係る発話検出装置について説明する。  Hereinafter, an utterance detection apparatus according to an embodiment of the present invention will be described with reference to FIG.

音声通信システム100は、発話者の発声を検出することが可能な、一対の発話検出装置10、20を備えているものである。発話検出装置10、20のそれぞれは、二人の発話者のそれぞれの身体に取り付けて使用することができるようになっており、相互音声通信が可能となっているものである。  The voice communication system 100 includes a pair of utterance detection devices 10 and 20 capable of detecting the utterance of a speaker. Each of the utterance detection devices 10 and 20 can be used by being attached to each body of two utterers, and can perform mutual voice communication.

発話検出装置10は、加速度センサ11と、加速度センサ11に接続されている無線送信器12と、無線受信器13と、無線受信器13に接続されている信号発生器14と、信号発生器14に接続されている振動子(音声振動発生部)15とを有しているものである。また、発話検出装置20は、加速度センサ21と、加速度センサ21に接続されている無線送信器22と、無線受信器23と、無線受信器23に接続されている信号発生器24と、信号発生器24に接続されている振動子25とを有しているものである。  The speech detection apparatus 10 includes an acceleration sensor 11, a wireless transmitter 12 connected to the acceleration sensor 11, a wireless receiver 13, a signal generator 14 connected to the wireless receiver 13, and a signal generator 14. And a vibrator (sound vibration generator) 15 connected to the. The speech detection device 20 includes an acceleration sensor 21, a wireless transmitter 22 connected to the acceleration sensor 21, a wireless receiver 23, a signal generator 24 connected to the wireless receiver 23, and a signal generator. And a vibrator 25 connected to the vessel 24.

加速度センサ11、21のそれぞれは、圧電素子を単板状に加工したユニモルフからなっている。この圧電素子の材料としては、水晶でもよいしチタン酸ジルコン酸鉛(PZT)でもよい。また、加速度センサ11、21のそれぞれは、金属板を介して2枚のユニモルフを張り合わせて用いるバイモルフにより構成してもよい。また、加速度センサ11、21のそれぞれは、x軸、y軸、z軸方向の加速度を計測できる3軸加速度センサであってもよい。また加速度センサ11、21のそれぞれは、発話者の発声により励起された空気振動を検出可能なように身体(例えば、発話者の鼻部と唇部との間、唇部周囲、鼻腔部、下顎部、口腔部、咽頭部、喉頭部、気道、など、空気振動を検出可能な部位)に取付部材(例えば、可撓性を有したプラスチック、又は、所定の形状に形成された金属など)を介して装着できるようになっている。これらのような構成によって、加速度センサ11、21のそれぞれは、発話者の発声により生ずる空気振動を圧電効果により加速度として検知し、これを音声信号として電気信号化し、無線送信器12、22のそれぞれに出力することができるようになっている。ここで、変形例として、加速度センサ11、21のそれぞれは、加速度が錘に作用したときに発生する梁の歪みを、ピエゾ抵抗効果を利用して検出するピエゾ抵抗型のもの、又は、加速度が錘に作用したときの変位を、櫛歯電極などを用いて静電容量の変化で検出する静電容量型のものであってもよい。  Each of the acceleration sensors 11 and 21 is composed of a unimorph obtained by processing a piezoelectric element into a single plate shape. The material of this piezoelectric element may be quartz or lead zirconate titanate (PZT). Further, each of the acceleration sensors 11 and 21 may be constituted by a bimorph that uses two unimorphs bonded together via a metal plate. Each of the acceleration sensors 11 and 21 may be a three-axis acceleration sensor that can measure acceleration in the x-axis, y-axis, and z-axis directions. Further, each of the acceleration sensors 11 and 21 has a body (for example, between the nose and the lip of the speaker, around the lip, the nasal cavity, and the lower jaw so that the air vibration excited by the utterance of the speaker can be detected. A mounting member (for example, a plastic having flexibility or a metal formed in a predetermined shape) on a part, an oral cavity, a pharynx, a larynx, an airway, etc. It can be installed via. With such a configuration, each of the acceleration sensors 11 and 21 detects air vibration caused by the utterance of the speaker as an acceleration by the piezoelectric effect, converts this into an electrical signal as an audio signal, and each of the wireless transmitters 12 and 22 Can be output to. Here, as a modified example, each of the acceleration sensors 11 and 21 is a piezoresistive sensor that detects the distortion of the beam generated when the acceleration acts on the weight using the piezoresistance effect, or the acceleration sensor It may be of a capacitance type that detects displacement when acting on the weight by a change in capacitance using a comb electrode or the like.

無線送信器12は、加速度センサ11から出力された電気信号を無線受信器23に送信するものである。また、無線送信器22は、加速度センサ21から出力された電気信号を無線受信器13に送信するものである。  The wireless transmitter 12 transmits the electrical signal output from the acceleration sensor 11 to the wireless receiver 23. The wireless transmitter 22 transmits an electrical signal output from the acceleration sensor 21 to the wireless receiver 13.

無線受信器13は、無線送信器22から送信された電気信号を受信することができるものであるとともに、該電気信号を信号発生器14に出力するものである。また、無線受信器23は、無線送信器12から送信された電気信号を受信することができるものであるとともに、該電気信号を信号発生器24に出力するものである。  The wireless receiver 13 can receive the electrical signal transmitted from the wireless transmitter 22 and outputs the electrical signal to the signal generator 14. The wireless receiver 23 can receive the electrical signal transmitted from the wireless transmitter 12 and outputs the electrical signal to the signal generator 24.

信号発生器14は、無線受信器13から出力された電気信号を、振動子15を振動させるための振動信号に変換し発生させ、振動子15に出力するものである。また、信号発生器24は、無線受信器23から出力された電気信号を、振動子25を振動させるための振動信号に変換し発生させ、振動子25に出力するものである。  The signal generator 14 converts the electrical signal output from the wireless receiver 13 into a vibration signal for vibrating the vibrator 15, and outputs the vibration signal to the vibrator 15. The signal generator 24 converts the electrical signal output from the wireless receiver 23 into a vibration signal for vibrating the vibrator 25, and outputs the vibration signal to the vibrator 25.

振動子15は、信号発生器14から出力された振動信号によって振動し、骨伝導などによって音声を耳に伝達することが可能なものである。また、振動子25は、信号発生器24から出力された振動信号によって振動し、骨伝導などによって音声を耳に伝達するものである。これら振動子15、25は、磁気回路を有した磁石などからなる駆動部(図示せず)と、コイルなどからなり、該駆動部によって振動する振動部(図示せず)とを備えたものである。  The vibrator 15 vibrates by the vibration signal output from the signal generator 14 and can transmit sound to the ear by bone conduction or the like. The vibrator 25 vibrates by the vibration signal output from the signal generator 24 and transmits sound to the ear by bone conduction or the like. Each of the vibrators 15 and 25 includes a drive unit (not shown) made of a magnet having a magnetic circuit and a vibration unit (not shown) made of a coil and vibrated by the drive unit. is there.

次に、音声通信システム100の動作について説明する。まず、一方の発話者が発話することによって励起された空気振動を検知できるように、発話検出装置10を一方の発話者の身体の所定箇所に取り付ける。同様に、他方の発話者が発話することによって励起された空気振動を検知できるように、発話検出装置20を他方の発話者の身体の所定箇所に取り付ける。そして、一方の発話者が発話することによって励起された空気振動を、加速度センサ11によって加速度として検知し、これを音声信号として電気信号化し、無線送信器12に出力する。次に、上記音声信号が入力された無線送信器12は、発話検出装置20を取り付けた他方の発話者の無線受信器23に上記音声信号を送信する。続いて、上記音声信号を受信した無線受信器23は、受信した音声信号を信号発生器24に出力する。続いて、信号発生器24は、無線受信器23から出力された電気信号を、振動子25を振動させるための振動信号に変換し発生させ、振動子25に出力する。これにより、振動子25が振動し、人の顔又は骨を伝って他方の発話者の耳に到達するので、他方の発話者は、一方の発話者の音声を離れている場所又は音声の伝わりにくい場所で聞くことが可能となる。  Next, the operation of the voice communication system 100 will be described. First, the utterance detection device 10 is attached to a predetermined location on the body of one utterer so that air vibrations excited by one utterer speaking can be detected. Similarly, the utterance detection device 20 is attached to a predetermined portion of the body of the other speaker so that air vibrations excited by the other speaker speaking can be detected. Then, the air vibration excited by one of the speakers speaking is detected as acceleration by the acceleration sensor 11, converted into an electrical signal as a voice signal, and output to the wireless transmitter 12. Next, the wireless transmitter 12 to which the voice signal is input transmits the voice signal to the wireless receiver 23 of the other speaker to which the speech detection device 20 is attached. Subsequently, the wireless receiver 23 that has received the audio signal outputs the received audio signal to the signal generator 24. Subsequently, the signal generator 24 converts the electrical signal output from the wireless receiver 23 into a vibration signal for vibrating the vibrator 25, and outputs the vibration signal to the vibrator 25. As a result, the vibrator 25 vibrates and reaches the other speaker's ear through the face or bone of the person, so that the other speaker is away from the voice of one speaker or the transmission of the voice. It is possible to listen in difficult places.

同様に、他方の発話者が発話した際は、以下のようになる。すなわち、他方の発話者が発話することによって励起された空気振動を、加速度センサ21によって加速度として検知し、これを音声信号として電気信号化し、無線送信器22に出力する。次に、上記音声信号が入力された無線送信器22は、発話検出装置10を取り付けた一方の発話者の無線受信器13に上記音声信号を送信する。続いて、上記音声信号を受信した無線受信器13は、受信した音声信号を信号発生器14に出力する。続いて、信号発生器14は、無線受信器13から出力された電気信号を、振動子15を振動させるための振動信号に変換し発生させ、振動子15に出力する。これにより、振動子15が振動し、人の顔又は骨を伝って一方の発話者の耳に到達するので、一方の発話者は、他方の発話者の音声を離れている場所又は音声の伝わりにくい場所で聞くことが可能となる。  Similarly, when the other speaker speaks, the following occurs. That is, the air vibration excited by the other speaker speaking is detected as acceleration by the acceleration sensor 21, converted into an electrical signal as a voice signal, and output to the wireless transmitter 22. Next, the wireless transmitter 22 to which the voice signal is input transmits the voice signal to the wireless receiver 13 of one speaker to which the speech detection device 10 is attached. Subsequently, the wireless receiver 13 that has received the audio signal outputs the received audio signal to the signal generator 14. Subsequently, the signal generator 14 converts the electrical signal output from the wireless receiver 13 into a vibration signal for vibrating the vibrator 15, and outputs the vibration signal to the vibrator 15. As a result, the vibrator 15 vibrates and reaches the ear of one speaker through a person's face or bone, so that one speaker is away from the voice of the other speaker or the transmission of the voice. It is possible to listen in difficult places.

上記構成の発話検出装置10、20によれば、以下のような効果を奏することができる。すなわち、加速度センサ11、21は一般的に従来の気導音マイクに比べて非常に小型(例えば、身体内部に取り付け可能な程度)である。つまり、加速度センサ11、21に合わせて取付部材も小型のものとすれば、上記構成の発話検出装置を発話者の身体外部だけでなく身体内部にも取り付けることが可能である。したがって、発話者の身体に長時間又は常時取り付けることができる。また、例えば、発話検出装置10、20を、咽頭部、喉頭部、気道、口腔部、鼻腔部、又は、これらの部位の付近などに取り付けることで、発話者の発声によって励起された空気振動を容易に検出することができる。したがって、該空気振動から発話者の音声情報を検出することが可能である。また、例え、発話者の音声が小さく聞き取りにくいものであっても、発話検出装置10、20であれば、該音声を検出することが可能であるので、発話検出装置10、20によって得た検出情報を増幅することで、聞き取りやすい音声に変換することも可能である。  According to the speech detection apparatuses 10 and 20 having the above-described configuration, the following effects can be achieved. That is, the acceleration sensors 11 and 21 are generally very small (for example, can be attached to the inside of the body) compared to a conventional air conduction microphone. That is, if the attachment member is made small in accordance with the acceleration sensors 11 and 21, the speech detection device having the above-described configuration can be attached not only outside the body of the speaker but also inside the body. Therefore, it can be attached to the body of the speaker for a long time or at all times. In addition, for example, by attaching the speech detection devices 10 and 20 to the pharynx, larynx, airway, oral cavity, nasal cavity, or the vicinity of these parts, air vibrations excited by the speech of the speaker can be detected. It can be easily detected. Therefore, it is possible to detect the voice information of the speaker from the air vibration. In addition, even if the speech of the speaker is small and difficult to hear, the speech detection devices 10 and 20 can detect the speech, so that the detection obtained by the speech detection devices 10 and 20 can be detected. By amplifying the information, it is possible to convert it into a voice that is easy to hear.

また、上記構成の音声通信システムによれば、相互音声通信をすることができる。特に、送受信部で受信した情報を音声振動に変換する振動子(音声振動変換部)15、25を備えているので、これら振動子15、25を各発話者の身体のうち耳に該音声振動が届く範囲内に取り付け、該音声振動を直に耳に伝導できるようにすれば、宇宙空間、水中などの発話者の発声が伝わりにくい環境下においても相互音声通信が可能となる。  Moreover, according to the voice communication system having the above-described configuration, mutual voice communication can be performed. In particular, since vibrators (voice vibration converters) 15 and 25 for converting information received by the transmission / reception unit into voice vibrations are provided, the voice vibrations are placed on the ears of the body of each speaker. If it is installed within the range where the voice reaches, and the voice vibration can be transmitted directly to the ear, mutual voice communication is possible even in an environment where the voice of the speaker is difficult to be transmitted, such as in outer space and underwater.

以下、実施例を示しながら、本発明を具体的に説明する。なお、本実施例では、本発明の発話検出装置を用いた実験及びその結果を示す。  Hereinafter, the present invention will be specifically described with reference to examples. In this embodiment, an experiment using the utterance detection device of the present invention and the result thereof are shown.

図2は、本実施例で用いた発話検出装置200を含む実験装置を示す概略搆成図である。発話検出装置200は、プラスチック製であって可撓性の長尺シート状の取付部材30(材質PMMA、長さ90mm、幅7mm、厚み200μm)と、取付部材30の一方の面の略中央に取り付けられた加速度センサ31(Freescale Semiconductor製、型番MMA7360L)と、加速度センサ31に接続された信号線32と、を備えているものである。加速度センサ31は、x軸、y軸、z軸各方向の加速度を計測できる三軸加速度センサである。信号線32は、電源40と、加速度センサで検知した空気振動(加速度)を計測するためのオシロスコープ41とに接続されている。  FIG. 2 is a schematic diagram showing an experimental apparatus including the utterance detection apparatus 200 used in this embodiment. The utterance detection device 200 is made of plastic and has a flexible long sheet-like attachment member 30 (material PMMA, length 90 mm, width 7 mm, thickness 200 μm) and approximately the center of one surface of the attachment member 30. The attached acceleration sensor 31 (manufactured by Freescale Semiconductor, model number MMA7360L) and a signal line 32 connected to the acceleration sensor 31 are provided. The acceleration sensor 31 is a triaxial acceleration sensor that can measure acceleration in the x-axis, y-axis, and z-axis directions. The signal line 32 is connected to a power source 40 and an oscilloscope 41 for measuring air vibration (acceleration) detected by an acceleration sensor.

図3は、図2に示した発話検出装置200を、発話者の下顎の中切歯の前方中央に取り付けた状態を示す模式図である。なお、図3においては、唇、頬などの部位は省略している。また、図3における符号50は下顎、符号51は上顎、符号52は中切歯、符号53は臼歯、符号60は義歯床安定用糊剤を示す。  FIG. 3 is a schematic diagram showing a state in which the utterance detection device 200 shown in FIG. 2 is attached to the front center of the central incisor of the speaker's lower jaw. In FIG. 3, parts such as lips and cheeks are omitted. 3, reference numeral 50 denotes the lower jaw, reference numeral 51 denotes the upper jaw, reference numeral 52 denotes the central incisor, reference numeral 53 denotes the molar, and reference numeral 60 denotes the denture base stabilizing paste.

下記に示す各実験では、図3に示したように、取付部材30の他方の面に義歯床安定用糊剤60(商品名「クッションコレクト」(塩野義製薬(株)製))を厚さ3mm程度で塗布し、発話検出装置200を発話者の下顎の中切歯の前方中央に貼り付けた状態で行った。  In each experiment shown below, as shown in FIG. 3, the denture base stabilizing paste 60 (trade name “Cushion Collect” (manufactured by Shionogi & Co., Ltd.)) is thickened on the other surface of the mounting member 30. It applied in about 3 mm, and performed in the state which affixed the speech detection apparatus 200 on the front center of the lower incisor's central incisor.

(実験1)
被験者(発話者)に、座位の静止状態で日本語母音の5文字「あいうえお」を発話してもらい、加速度センサ31からの出力電圧波形をオシロスコープ41(Tektronix製、DSA70804)で計測し、その電圧波形と加速度センサ31の感度とを基に、x軸、y軸、z軸各方向の時間的な加速度の変化を求めた。
(Experiment 1)
A test subject (speaker) utters five letters “aiueo” of Japanese vowels in a stationary position, measures an output voltage waveform from the acceleration sensor 31 with an oscilloscope 41 (manufactured by Tektronix, DSA 70804), and the voltage Based on the waveform and the sensitivity of the acceleration sensor 31, the temporal change in acceleration in each of the x-axis, y-axis, and z-axis directions was obtained.

(実験1の結果)
x軸、y軸、z軸のそれぞれについて、発話時の下顎の中切歯52前部における加速度の時間変化を示したグラフを順に、図4、図5、図6に示す。ここで、図6に示した「a、i、u、e、o」の発声タイミング(図6における各矢印)は、図4及び図5においても対応している。また、図7は、図4〜図6の所定部分を拡大するとともに合成したグラフである。図4〜図6を見ると、発話前(約1秒まで)の加速度はx軸およびy軸方向ではほぼ0Gであるのに対し、z軸方向では−1G程度であることがわかる。これは、x軸、y軸方向が重力に対してほぼ垂直方向で、z軸方向が重力の逆方向で一致していることを示している。図7のように、発話が始まると加速度は短い時間で激しく増減を繰り返し、図4〜図6の横軸のスケールにおいては、あたかも加速度が幅を持ったように見える。そして、その加速度の幅は一文字毎に変化しており、方向別に見るとz軸、x軸、y軸方向の順に顕著に変化している。更に、それら加速度の幅の中央値を見ると、y軸方向においてはあまり変化していないが、x軸およびz軸方向においては一文字毎に増減を操り返していることがわかる。この変化は、x軸方向よりz軸方向の方が顕著であった。
(Result of Experiment 1)
For each of the x-axis, y-axis, and z-axis, graphs showing the temporal change in acceleration at the front part of the central incisor 52 of the lower jaw during speech are shown in FIG. 4, FIG. 5, and FIG. Here, the utterance timings (“arrows” in FIG. 6) of “a, i, u, e, o” shown in FIG. 6 correspond also in FIGS. FIG. 7 is a graph obtained by enlarging and synthesizing a predetermined portion of FIGS. 4 to 6. 4 to 6, it can be seen that the acceleration before utterance (up to about 1 second) is about 0 G in the x-axis and y-axis directions, but about -1 G in the z-axis direction. This indicates that the x-axis and y-axis directions are substantially perpendicular to the gravity, and the z-axis direction is the opposite direction of gravity. As shown in FIG. 7, when the utterance starts, the acceleration repeatedly increases and decreases sharply in a short time, and on the horizontal axis scales of FIGS. 4 to 6, it appears as if the acceleration has a width. And the width of the acceleration changes for every character, and if it sees according to a direction, it changes notably in order of az axis, x axis, and y axis direction. Further, looking at the median value of the acceleration widths, it can be seen that although there is not much change in the y-axis direction, the increase / decrease is repeated for each character in the x-axis and z-axis directions. This change was more remarkable in the z-axis direction than in the x-axis direction.

更に、詳細に発話時の加速度を検討するために、周波数解析を行った。その結果を図8〜図10に示す。なお、図11〜図13の各グラフは、図8〜図10のグラフの一部の周波数帯をそれぞれ拡大したものである。  Furthermore, frequency analysis was performed to examine the acceleration at the time of speech in detail. The results are shown in FIGS. In addition, each graph of FIGS. 11-13 expands the one part frequency band of the graph of FIGS. 8-10, respectively.

図8〜図13から、x軸、y軸、z軸全ての方向で2Hzから10Hzまでと200Hzから300Hzまでのパワースペクトル密度が高く、この周波数範囲において低周波側と高周波側とで2つのピークがあることがわかった。ここで、x軸、y軸、z軸方向毎のパワースペクトル密度を見ると、低周波(2Hzから10Hz)では、z軸方向のパワースペクトル密度がx軸またはy軸方向のパワースペクトル密度より高く、高周波(200Hzから300Hz)ではx軸、z軸方向のパワースペクトル密度が同程度であり、y軸方向のパワースペクトル密度より高くなった。このパワースペクトル密度が高くなった低周波側のピークについては、単純に被験者が1.5秒間に発話文字数(5文字)と同じだけ顎を動かしたと仮定すると3Hz程度となり、同程度の周波数に相当する。このことから、該低周波成分については顎の動きを検出していることがわかる。このことは、該低周波成分の中でも顎の運動方向と最も一致するz軸方向のパワースペクトルが他の方向のパワースペクトルより高くなっていることからもわかる。ちなみに、x軸方向において、この低周波側のピークより低い1Hzのパワースペクトル密度が高くなっている原因は、上記の理由で顎の動きとは考えにくいので、無意識での被験者の頭部の前後運動と推測している。  From FIG. 8 to FIG. 13, the power spectral density from 2 Hz to 10 Hz and from 200 Hz to 300 Hz is high in all the x-axis, y-axis, and z-axis directions, and there are two peaks on the low-frequency side and high-frequency side in this frequency range. I found out that Here, looking at the power spectrum density for each of the x-axis, y-axis, and z-axis directions, at low frequencies (2 Hz to 10 Hz), the power spectrum density in the z-axis direction is higher than the power spectrum density in the x-axis or y-axis direction. At high frequencies (200 Hz to 300 Hz), the power spectrum density in the x-axis direction and the z-axis direction were similar, and higher than the power spectrum density in the y-axis direction. The peak on the low frequency side where the power spectral density is high is about 3 Hz if the subject simply moves the jaw as much as the number of spoken characters (5 characters) in 1.5 seconds, which corresponds to the same frequency. To do. From this, it is understood that the jaw movement is detected for the low frequency component. This can also be seen from the fact that the power spectrum in the z-axis direction that most closely matches the jaw movement direction among the low frequency components is higher than the power spectrum in other directions. By the way, the reason why the power spectral density of 1 Hz, which is lower than the peak on the low frequency side, is high in the x-axis direction is not considered to be jaw movement for the above reasons. I guess it is exercise.

一方、パワースペクトル密度が高くなった高周波域については、母音「お」及び「え」の第一フォルマント周波数とほぼ一致している。このことから、該高周波成分については発話の音声が骨伝導により下顎50の中切歯52に貼り付けた加速度センサ31に伝わり現れていると考えられ、本加速度センサ31において音声の検出も可能であることがわかった。特に、x軸、z軸方向のパワースペクトル密度が高いことから、音声を検出するには中切歯52のx軸、z軸方向の加速度を計測すれば良いと考えられる。ちなみに、500Hz付近のパワースペクトル密度にも若干低いピークが見られるが、このピークも母音「い」及び「う」の第一フォルマント周波数とほぼ一致している。以上のことより、顎の動きを検出するには中切歯52の上下(z軸)方向の加速度を測定するのが良く、音声を検出するには中切歯52の前後(x軸)又は上下(z軸)方向のそれを測定することが良いことがわかった。すなわち、中切歯52の上下方向の加速度のみを測定すれば、顎の動きと音声という両方の発話検出を1軸の加速度センサのみで効率的に行うことも可能であることがわかった。  On the other hand, the high frequency region where the power spectral density is high is almost identical to the first formant frequency of the vowels “o” and “e”. From this, it is considered that the speech of the high frequency component appears to be transmitted to the acceleration sensor 31 attached to the central incisor 52 of the lower jaw 50 by bone conduction, and the acceleration sensor 31 can detect the voice. I found out. In particular, since the power spectral density in the x-axis and z-axis directions is high, it is considered that the acceleration in the x-axis and z-axis directions of the central incisor 52 may be measured in order to detect sound. Incidentally, a slightly lower peak is also seen in the power spectral density near 500 Hz, and this peak is also almost coincident with the first formant frequencies of the vowels “I” and “U”. From the above, in order to detect the movement of the jaw, it is preferable to measure the acceleration in the vertical (z-axis) direction of the central incisor 52, and to detect the voice, the front and rear (x-axis) of the central incisor 52 or It turned out to be good to measure it in the vertical (z-axis) direction. That is, it has been found that if only the vertical acceleration of the central incisor 52 is measured, it is possible to efficiently detect both chin movement and voice by using only a uniaxial acceleration sensor.

(実験2)
次に、発話者の顎の動きと音声とを個別に検討するため、音声を出さずに口を動作させた(以後、リップシンクロナイジングという)場合と、口を動かさずに音声を出す(以後、ハミングという)場合の中切歯52の上下(z軸)方向の加速度について測定した。ここで、リップシンクロナイジングでの下顎50の中切歯52前部の加速度の変化を図14、ハミングでの下顎50の中切歯52前部の加速度の変化を図15に示す。図14に示したリップシンクロナイジング時の加速度は、被験者に音声を出さずに口を日本語母音「あいうえお」の形にまねてもらい測定した。一方、図15に示したハミング時の加速度は、被験者に口を閉じてもらって顎を動かさずに日本語母音「あいうえお」を発声してもらい測定した。このとき、口を閉じた状態なので、外部には、はっきりとしない籠もった声に聞こえた。
(Experiment 2)
Next, in order to examine the movement of the chin of the speaker and the voice individually, when the mouth is moved without making a voice (hereinafter referred to as lip synchronization), the voice is made without moving the mouth ( The acceleration in the vertical (z-axis) direction of the intermediate incisor 52 in the case of “humming” was measured. Here, FIG. 14 shows a change in the acceleration of the front part of the middle incisor 52 of the lower jaw 50 by lip synchronization, and FIG. 15 shows a change of the acceleration of the front part of the middle incisor 52 of the lower jaw 50 by humming. The acceleration at the time of lip synchronization shown in FIG. 14 was measured by having the subject imitate the mouth of the Japanese vowel “aiueo” without making a voice. On the other hand, the humming acceleration shown in FIG. 15 was measured by having the subject close his mouth and uttering the Japanese vowel “aiueo” without moving his chin. At this time, my mouth was closed, so I could hear an unclear voice in the outside.

図14のリップシンクロナイジングの結果を見ると、上記実験1の通常の発話時の結果とは異なり、加速度が短時間に増減を繰り返さないため、幅を持ったようにはならず、一文字毎に加速度が同調して変化していることがわかる。ちなみに、その大きさの差は最大0.5G程度であった。一方、図15を見ると、上記実験1の結果と同じく、発声があると加速度が短い時間に増減を操り返し、幅をもったようになる。この幅は通常の発話時には0.6G程度であったのに対し、ハミング時では1.6G程度となり、極端に増大している。このことは、口を閉じているため、外部に音声が漏れず、音声が口の中で反響していることが原因であると推測される。また、この幅の中央値においては、上記実験1の通常の発話時の結果と異なり、ほぼ一定となった。  Looking at the result of lip synchronizing shown in FIG. 14, unlike the result of normal speech in Experiment 1 above, the acceleration does not repeat increasing and decreasing in a short time, so it does not seem to have a width, It can be seen that the acceleration changes synchronously. Incidentally, the difference in size was about 0.5 G at the maximum. On the other hand, when FIG. 15 is seen, like the result of the experiment 1 described above, when there is a utterance, the acceleration is repeatedly increased and decreased in a short time and has a width. This width is about 0.6 G at the time of normal speech, and is about 1.6 G at the time of humming, which is extremely increased. This is presumed to be caused by the fact that the mouth is closed and no sound leaks to the outside, and the sound reverberates in the mouth. Further, the median value of the width was almost constant, unlike the result of the normal utterance in Experiment 1.

次に、本実験において得られた、リップシンクロナイジングでの下顎50の中切歯52前部の加速度のパワースペクトルを図16に示し、ハミングでの下顎50の中切歯52前部の加速度のパワースペクトルを図17に示す。リップシンクロナイジング時には、上記実験1(図8〜図13)の結果と同じく低周波(2Hzから10Hz)側のピークが存在しているが、高周波(200Hzから300Hz)側においてはピークが存在せず、上記実験1の結果と異なった。ハミング時には、上記実験1の結果と異なり低周波側のピークがなく、高周波測においてはピークが存在し、上記実験1と同様の結果が得られた。これらのことから、顎が動きにより低周波側のピークが現れ、発声により高周波側のピークが現れていることが明確になった。このことより、中切歯52の上下(x軸)方向の加速度を測定し周波数解析を行うことで、発話、リップシンクロナイジング、ハミングの3つの状態が認識できることがわかった。  Next, FIG. 16 shows the power spectrum of the acceleration of the front of the central incisor 52 of the lower jaw 50 obtained by lip synchronization in this experiment, and the acceleration of the front of the central incisor 52 of the lower jaw 50 by Hamming is shown in FIG. The power spectrum is shown in FIG. At the time of lip synchronization, there is a peak on the low frequency (2 Hz to 10 Hz) side as in the result of Experiment 1 (FIGS. 8 to 13), but there is no peak on the high frequency (200 Hz to 300 Hz) side. However, the result was different from the result of Experiment 1 above. At the time of hamming, unlike the result of Experiment 1, there was no peak on the low frequency side, and there was a peak in high frequency measurement, and the same result as in Experiment 1 was obtained. From these, it became clear that the peak on the low frequency side appeared due to the movement of the jaw, and the peak on the high frequency side appeared due to utterance. From this, it was found that the three states of speech, lip synchronization, and humming can be recognized by measuring the acceleration in the vertical (x-axis) direction of the central incisor 52 and performing frequency analysis.

上記実験1、2から、本発明に係る発話検出装置によって、発話者の発声によって励起された空気振動を効率よく検出することが可能であることがわかる。  From Experiments 1 and 2 above, it can be seen that the air vibration excited by the voice of the speaker can be efficiently detected by the speech detection device according to the present invention.

また、上記実験1、2から、本発明に係る発話検出装置によって、下顎の動作情報(動作変位量)を効率よく検出することができることもわかる。なお、該下顎の動作情報を用いれば、発話者の発声が小さいものであっても、空気振動の情報と下顎の動作情報と組み合わせて、どの文字の発声を行っているかを精度よく判定することも可能となる。すなわち、予め検出した下顎の動作変位量に対応する音声を用意しておき、検出した動作変位量を該音声に変換できるようにしておけば、例えば、発話者が音声を発することができない状態の者であっても、又は、発話者が、宇宙空間、水中などにおいて音声が伝達しにくい環境にいる者であっても、該発話者の意思を検出することが可能となる。したがって、発話検出装置10、20は、発話者の意思を検出するのに用いることができる。  It can also be seen from Experiments 1 and 2 that the utterance detection device according to the present invention can efficiently detect mandibular movement information (motion displacement). If the lower jaw movement information is used, it is possible to accurately determine which character is being spoken in combination with air vibration information and lower jaw movement information even if the speaker's voice is small. Is also possible. That is, if a voice corresponding to the mandibular movement displacement detected in advance is prepared and the detected movement displacement can be converted into the voice, for example, the state where the speaker cannot speak It is possible to detect the intention of a speaker even if the speaker is a speaker or a speaker who is in an environment where it is difficult to transmit sound in outer space or underwater. Therefore, the utterance detection devices 10 and 20 can be used to detect the intention of the speaker.

<変形例>
なお、本発明は、特許請求の範囲を逸脱しない範囲で設計変更できるものであり、上記実施形態及び実施例などに限定されるものではない。例えば、上記実施例に示した発話検出装置200は、粘着テープなどを用いて、下顎の喉に近い部分又は喉の外表面(皮膚)に貼り付けて使用してもよい。このように使用した場合には、発話者の発声によって励起された身体振動(発話時の声帯の振動)を効率よく検出することも可能である。
<Modification>
The present invention can be changed in design without departing from the scope of the claims, and is not limited to the above-described embodiments and examples. For example, the utterance detection device 200 shown in the above embodiment may be used by attaching it to a portion near the throat of the lower jaw or the outer surface (skin) of the throat using an adhesive tape or the like. When used in this way, it is also possible to efficiently detect body vibrations excited by the utterance of the speaker (voice band vibration during utterance).

また、上記実施例では、歯に取り付けることができるものとしたが、この代わりに、取付部材を小さなものとして、発話者の鼻腔部に取り付け可能なものとして、発話者の発声によって励起されて該鼻腔部内に伝わった空気振動を効率よく検出する、又は、発話者の発声によって励起されて鼻に伝わった身体振動を効率よく検出することが可能である。具体的には、図18(a)に示したように、鼻腔部に取り付けることができるように、柔軟性を有したチューブ状部材71と、チューブ状部材71の内壁に一端が固定されている可動板72と、可動板72に取り付けられた加速度センサ73とを備えた発話検出装置70が挙げられる。このような構成の発話検出装置70が鼻腔部に取り付けられていれば、発話者の発声により伝わってきた空気振動又は身体振動、或いは、空気振動及び身体振動の両方によって可動板72が振動することで、加速度センサ73が発話者の発声を検出することができる。なお、図18(b)に示したような発話検出装置80としてもよい。すわなち、図18(a)に示した発話検出装置70について、可動板72の代わりに、先端に、特定周波数を捉えるための錘84を設けた可動板82を用いてもよい。ここで、符合81、83の部位は、図18(a)に示した符合71、73の部位と同様の部位であるので、説明を省略する。なお、図18(b)に示した発話検出装置80が鼻腔部に取り付けられていれば、例えば、錘84を「あ」の発声を捉えることができるように設定しておくことで、発話者が行動していることを検出することも可能である。ここで、図18(b)の変形例として、加速度センサ83を取り外すとともに、錘84に代えて別の加速度センサを可動板82の先端に取り付けることとしてもよい。また、図18(a)、(b)に示した発話検出装置は、他の部位(例えば、咽頭部、喉頭部、気道、口腔部など)にも同様に適用可能である。なお、ここで示した加速度センサには外部との通信手段(図示せず)が接続されており、外部へ検出信号を送信することができるようになっている。  In the above embodiment, it can be attached to the teeth. Instead, the attachment member is small and can be attached to the nasal cavity of the speaker. It is possible to efficiently detect air vibrations transmitted into the nasal cavity, or to efficiently detect body vibrations transmitted to the nose when excited by the voice of the speaker. Specifically, as shown in FIG. 18A, a flexible tubular member 71 and one end are fixed to the inner wall of the tubular member 71 so as to be attached to the nasal cavity. An utterance detection device 70 that includes a movable plate 72 and an acceleration sensor 73 attached to the movable plate 72 is exemplified. If the speech detection device 70 having such a configuration is attached to the nasal cavity, the movable plate 72 vibrates due to air vibration or body vibration transmitted by the voice of the speaker, or both air vibration and body vibration. Thus, the acceleration sensor 73 can detect the utterance of the speaker. Note that the utterance detection device 80 as shown in FIG. In other words, in the utterance detection device 70 shown in FIG. 18A, a movable plate 82 provided with a weight 84 for capturing a specific frequency at the tip may be used instead of the movable plate 72. Here, the reference numerals 81 and 83 are the same as the reference numerals 71 and 73 shown in FIG. If the utterance detection device 80 shown in FIG. 18B is attached to the nasal cavity, for example, by setting the weight 84 so that the utterance of “A” can be captured, It is also possible to detect that is acting. Here, as a modification of FIG. 18B, the acceleration sensor 83 may be removed and another acceleration sensor may be attached to the tip of the movable plate 82 instead of the weight 84. Moreover, the speech detection apparatus shown in FIGS. 18A and 18B can be similarly applied to other parts (for example, pharynx, larynx, airway, oral cavity, and the like). The acceleration sensor shown here is connected to external communication means (not shown) so that a detection signal can be transmitted to the outside.

また、上記実施形態における発話検出装置10、20においては振動子15、25(音声振動発生部)を用いたが、これらの代わりに、単に音声を発声するスピーカー又はイヤホンなど(音声発生部)を用いることとしてもよい。  In the speech detection devices 10 and 20 in the above embodiment, the vibrators 15 and 25 (sound vibration generation unit) are used, but instead of these, a speaker or an earphone or the like (sound generation unit) that simply utters a sound is used. It may be used.

上記実施形態の発話検出装置10においては、無線送信器12と無線受信器13とを別個にしたものを示したが、この代わりに、上記実施形態の発話検出装置20における無線送信器22及び無線受信器23と送受信が可能で、送受信機能が一体となった送受信器を用いてもよい。  In the utterance detection device 10 of the above embodiment, the wireless transmitter 12 and the wireless receiver 13 are separately shown. Instead, the wireless transmitter 22 and the wireless transmitter in the utterance detection device 20 of the above embodiment are shown. A transceiver that can transmit and receive with the receiver 23 and has an integrated transmission and reception function may be used.

上記実施形態及び実施例の発話検出装置は、発話者の顔の内部(例えば、咽頭部、喉頭部、気道、口腔部、鼻腔部、又は、これらの部位の付近など)に埋め込むこととしてもよい。また、取付部材を義歯として、加速度センサを義歯内部に埋め込んだものとしてもよい。  The speech detection device of the above embodiment and examples may be embedded in the inside of a speaker's face (for example, the pharynx, larynx, airway, oral cavity, nasal cavity, or the vicinity thereof). . Further, the attachment member may be a denture, and the acceleration sensor may be embedded in the denture.

上記実施形態では、相互通信可能な音声通信システム100を示したが、例えば、発話検出装置10の加速度センサ11、無線送信器12と、発話検出装置20の無線受信器23、信号発生器24、振動子25との構成だけで、一方向への送信システムとしてもよい。このとき、振動子25の代わりに、音声を発生する音声発生器又は光を発生する光発生器を用いて、発話者が発声していることを検知するとともに、該検知結果を他人に報知するシステムとしてもよい。  In the above embodiment, the voice communication system 100 capable of communicating with each other has been described. For example, the acceleration sensor 11 and the wireless transmitter 12 of the utterance detection device 10, the wireless receiver 23 of the utterance detection device 20, the signal generator 24, Only a configuration with the vibrator 25 may be used as a transmission system in one direction. At this time, instead of the vibrator 25, a sound generator that generates sound or a light generator that generates light is used to detect that the speaker is speaking and notify the detection result to others. It is good also as a system.

また、上記実施形態では、下顎の中切歯付近に加速度センサが位置するように発話検出装置が取り付けられているが、これに限られず、下顎部であれば何れの位置に取り付けられていてもよい。  In the above embodiment, the utterance detection device is attached so that the acceleration sensor is positioned near the central incisor of the lower jaw. However, the present invention is not limited to this, and the lower jaw may be attached at any position. Good.

10、20、70、80、200 発話検出装置
11、21 加速度センサ
12、22 無線送信器
13、23 無線受信器
14、24 信号発生器
15、25 振動子
30 取付部材
31、73 加速度センサ
32 信号線
40 電源
41 オシロスコープ
50 下顎
51 上顎
52 中切歯
53 臼歯
60 義歯床安定用糊剤
71 チューブ状部材
72 可動板
100 音声通信システム
10, 20, 70, 80, 200 Speech detection device 11, 21 Acceleration sensor 12, 22 Wireless transmitter 13, 23 Wireless receiver 14, 24 Signal generator 15, 25 Transducer 30 Mounting member 31, 73 Acceleration sensor 32 Signal Line 40 Power supply 41 Oscilloscope 50 Lower jaw 51 Upper jaw 52 Central incisor 53 Molar 60 Denture base stabilizing paste 71 Tubular member 72 Movable plate 100 Voice communication system

Claims (6)

発話者の発声によって励起された空気振動を検出可能な加速度センサと、
前記加速度センサが固設され、前記発話者の身体に取り付け可能な取付部材と、を備えていることを特徴とする発話検出装置。
An acceleration sensor capable of detecting air vibrations excited by the voice of the speaker;
An utterance detection apparatus, comprising: an acceleration sensor fixedly attached to the body of the speaker.
前記取付部材が、可撓性を有した長板状部材であり、
前記加速度センサが前記長板状部材の一方側の面に貼設されていることを特徴とする請求項1に記載の発話検出装置。
The mounting member is a long plate-like member having flexibility;
The utterance detection device according to claim 1, wherein the acceleration sensor is attached to one surface of the long plate-like member.
前記取付部材が、前記発話者の鼻腔部に取り付け可能な部材であり、
前記加速度センサが前記取付部材に固設されていることを特徴とする請求項1に記載の発話検出装置。
The attachment member is a member attachable to the nasal cavity of the speaker;
The speech detection apparatus according to claim 1, wherein the acceleration sensor is fixed to the attachment member.
前記取付部材が、前記発話者の下顎部位に取り付け可能な部材であり、
前記加速度センサが前記取付部材に固設されていることを特徴とする請求項1に記載の発話検出装置。
The attachment member is a member attachable to the lower jaw part of the speaker,
The speech detection apparatus according to claim 1, wherein the acceleration sensor is fixed to the attachment member.
請求項1〜4のうちいずれか1項に記載の発話検出装置を2つ以上有し、
前記発話検出装置のそれぞれが、
各加速度センサで検出した情報を相互に送受信する送受信部と、
前記送受信部で受信した情報を音声に変換し発する音声発生部と、を備えていることを音声通信システム。
Having two or more utterance detection devices according to any one of claims 1 to 4,
Each of the utterance detection devices
A transmission / reception unit that mutually transmits and receives information detected by each acceleration sensor;
A voice communication system comprising: a voice generation unit that converts information received by the transmission / reception unit into voice and emits it.
請求項1〜4のうちいずれか1項に記載の発話検出装置を2つ以上有し、
前記発話検出装置のそれぞれが、
各加速度センサで検出した情報を相互に送受信する送受信部と、
前記送受信部で受信した情報を音声振動に変換し発する音声振動発生部と、を備えていることを音声通信システム。
Having two or more utterance detection devices according to any one of claims 1 to 4,
Each of the utterance detection devices
A transmission / reception unit that mutually transmits and receives information detected by each acceleration sensor;
An audio communication system comprising: an audio vibration generation unit that converts information received by the transmission / reception unit into audio vibration and emits the information.
JP2010070881A 2010-03-04 2010-03-04 Utterance detection device and voice communication system Expired - Fee Related JP5555900B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010070881A JP5555900B2 (en) 2010-03-04 2010-03-04 Utterance detection device and voice communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010070881A JP5555900B2 (en) 2010-03-04 2010-03-04 Utterance detection device and voice communication system

Publications (2)

Publication Number Publication Date
JP2011188462A true JP2011188462A (en) 2011-09-22
JP5555900B2 JP5555900B2 (en) 2014-07-23

Family

ID=44794164

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010070881A Expired - Fee Related JP5555900B2 (en) 2010-03-04 2010-03-04 Utterance detection device and voice communication system

Country Status (1)

Country Link
JP (1) JP5555900B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210074813A (en) * 2019-12-12 2021-06-22 재단법인 나노기반소프트일렉트로닉스연구단 Method of recognizing sound with improved accuracy and application method thereof
WO2022254834A1 (en) 2021-05-31 2022-12-08 ソニーグループ株式会社 Signal processing device, signal processing method, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264883A (en) * 2002-03-08 2003-09-19 Denso Corp Voice processing apparatus and voice processing method
JP2007003702A (en) * 2005-06-22 2007-01-11 Ntt Docomo Inc Noise eliminator, communication terminal, and noise eliminating method
JP2007096384A (en) * 2005-09-27 2007-04-12 Yamaha Corp Noise elimination apparatus and noise elimination program
WO2009102889A1 (en) * 2008-02-15 2009-08-20 Sonitus Medical, Inc. Headset systems and methods
WO2010009018A1 (en) * 2008-07-17 2010-01-21 Sonitus Medical, Inc. Systems and methods for intra-oral based communications
JP2010502376A (en) * 2006-09-08 2010-01-28 ソニタス メディカル, インコーポレイテッド Method and apparatus for tinnitus treatment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264883A (en) * 2002-03-08 2003-09-19 Denso Corp Voice processing apparatus and voice processing method
JP2007003702A (en) * 2005-06-22 2007-01-11 Ntt Docomo Inc Noise eliminator, communication terminal, and noise eliminating method
JP2007096384A (en) * 2005-09-27 2007-04-12 Yamaha Corp Noise elimination apparatus and noise elimination program
JP2010502376A (en) * 2006-09-08 2010-01-28 ソニタス メディカル, インコーポレイテッド Method and apparatus for tinnitus treatment
WO2009102889A1 (en) * 2008-02-15 2009-08-20 Sonitus Medical, Inc. Headset systems and methods
JP2011515038A (en) * 2008-02-15 2011-05-12 ソニタス メディカル, インコーポレイテッド Headset system and method
WO2010009018A1 (en) * 2008-07-17 2010-01-21 Sonitus Medical, Inc. Systems and methods for intra-oral based communications
JP2011528535A (en) * 2008-07-17 2011-11-17 ソニタス メディカル, インコーポレイテッド System and method for intraoral-based communication

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210074813A (en) * 2019-12-12 2021-06-22 재단법인 나노기반소프트일렉트로닉스연구단 Method of recognizing sound with improved accuracy and application method thereof
KR102343853B1 (en) * 2019-12-12 2021-12-27 재단법인 나노기반소프트일렉트로닉스연구단 Method of recognizing sound with improved accuracy and application method thereof
WO2022254834A1 (en) 2021-05-31 2022-12-08 ソニーグループ株式会社 Signal processing device, signal processing method, and program
DE112022002887T5 (en) 2021-05-31 2024-03-21 Sony Group Corporation Signal processing device, signal processing method and program

Also Published As

Publication number Publication date
JP5555900B2 (en) 2014-07-23

Similar Documents

Publication Publication Date Title
JP3760173B2 (en) Microphone, communication interface system
TWI551155B (en) Bone-conduction pickup transducer for microphonic applications
JP4702795B2 (en) Body conduction sound microphone, signal processing device, communication interface system, sound collection method
US9967643B2 (en) Earphone
US9872113B2 (en) Measurement device and measurement system
JP6352678B2 (en) Ear mold part, artificial head, measuring apparatus using these, and measuring method
WO2014064924A1 (en) Vibration pick-up device, vibration measurement device, measurement system, and measurement method
ATE471554T1 (en) HEAD MOUNTED AUDIO INPUT SYSTEM WITH MULTIPLE SENSORS
US9807520B2 (en) Acoustic device and method of using the same
JP2012152377A (en) Body sound acquisition device and electronic stethoscope with it
JP5555900B2 (en) Utterance detection device and voice communication system
US9263043B2 (en) Stuttering inhibition method and device
JPH09248282A (en) Throat vibration sensor and signal output equipment from organism
JPWO2014203854A1 (en) Method and apparatus for measuring propagation delay characteristics in multipath propagation environment, and external sound perception apparatus
WO2023087572A1 (en) Acoustic apparatus and transfer function determination method therefor
JP2014171126A (en) Measurement device and measurement method
JP2011188463A (en) Utterance detection apparatus and voice communication system
KR20080062089A (en) Neck microphone using an acceleration sensor
JP5774150B2 (en) Measuring apparatus and measuring method
JP5474138B2 (en) Measuring system and measuring method
JP6154434B2 (en) Measuring system and measuring method
JP2998759B1 (en) Vibration detector, self-utterance detector and hearing aid
JP5997003B2 (en) Vibration pickup device and vibration measuring head
CN115086850A (en) TWS earphone testing method and device based on simulated tragus vibration
JP6053707B2 (en) Measuring apparatus and measuring method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130301

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130301

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131007

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140512

R150 Certificate of patent or registration of utility model

Ref document number: 5555900

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees