JP2008197381A - Loudspeaker controller, robot, loudspeaker control method and loudspeaker control program - Google Patents

Loudspeaker controller, robot, loudspeaker control method and loudspeaker control program Download PDF

Info

Publication number
JP2008197381A
JP2008197381A JP2007032480A JP2007032480A JP2008197381A JP 2008197381 A JP2008197381 A JP 2008197381A JP 2007032480 A JP2007032480 A JP 2007032480A JP 2007032480 A JP2007032480 A JP 2007032480A JP 2008197381 A JP2008197381 A JP 2008197381A
Authority
JP
Japan
Prior art keywords
person
speaker
range
volume
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007032480A
Other languages
Japanese (ja)
Inventor
Shinichi Onaka
慎一 大中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2007032480A priority Critical patent/JP2008197381A/en
Publication of JP2008197381A publication Critical patent/JP2008197381A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Toys (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a loudspeaker controller etc. capable of automatically controlling sound output by a loudspeaker so that sound may be suitable for both normal person and hearing-impaired person. <P>SOLUTION: The loudspeaker controller of the embodiment is equipped with: a person recognition means 201 for detecting a position of a first person and a position of a second person; an arrangement calculation means 301 for calculating a range of a position of a second loudspeaker, where the first person is not within the range, and the second person is within the range of directivity of the second loudspeaker 102, based on the positions of the first person and the second person; an operation means 401 which changes a position of the second loudspeaker 102 so that it may be within the range; and a sound volume compensation means 501 for adjusting a sound volume of the first loudspeaker 101 and the second loudspeaker 102 so that the sound volume of the first loudspeaker reaching the first person may be within a predetermined range, and the sound volume of the second loudspeaker 102 reaching the second person may be within a predetermined range. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、スピーカ制御装置およびそれを備えるロボット、スピーカ制御方法、ならびにスピーカ制御プログラムに関する。   The present invention relates to a speaker control device, a robot including the same, a speaker control method, and a speaker control program.

近年、人と音声でコミュケーションを行うパートナー型ロボットが多く開発されている。その中に、難聴者やその介護者に話しかけたり、難聴者やその介護者からの話しかけに応答することを目的として開発されているロボットがある。これは、難聴者と介護者の間のコミュニケーション支援をロボットが行ったり、ロボットと難聴者の間のコミュニケーションを介護者がサポートすることなどが目的である。   In recent years, many partner-type robots have been developed that communicate with people by voice. Among them, there are robots that have been developed for the purpose of talking to the hearing-impaired person or their caregiver or responding to the hearing from the hearing-impaired person or their caregiver. The purpose of this is for the robot to support communication between the hearing impaired and the caregiver, or for the caregiver to support communication between the robot and the hearing impaired.

ロボットがこのような音声コミュニケーションを行う場合、ロボットの発する音の大きさが重要でなる。なぜならば、中年以下で活動度が通常である人とロボットが音声でコミュニケーションを行う場合、ロボットの発する音声が適切で無いと人間が思えば、ロボットの出す音の大きさを自ら変えたり、音が小さければ人間がロボットに近づいたりするだろうが、難聴者の場合には、活動度や興味が低下しているので、ロボットが発する音が大きかったり小さかったりしても、自らそれを適性に修正しようとはしないし、難聴者が移動したりすることはほとんど無い。   When a robot performs such voice communication, the loudness of the sound produced by the robot is important. This is because if a person with a normal activity under middle age and a robot communicate with each other by voice, if the human thinks that the voice produced by the robot is not appropriate, the robot can change the loudness of the sound, If the sound is low, humans may approach the robot, but in the case of the hard of hearing, the degree of activity and interest are decreasing, so even if the sound emitted by the robot is loud or low, it suits itself I don't try to fix it, and the hearing-impaired people rarely move.

また、介護者にしても、ロボットが発する音の音量が難聴者にとって好ましいかどうかはよくわからないので、音量を補正することが難しい。その結果、難聴者とロボットとの音声によるコミュニケーションがうまく成立しない場合が多いことになる。また、難聴者の場合には一般的に聴力が衰えており、一般健聴者に比べ、特許文献3の図5にあるように、高域レベルが平均で10〜20dB低下しているので、それを補償することも考えなければならない。   Even for a caregiver, it is difficult to correct the volume because it is not clear whether the volume of the sound produced by the robot is favorable for the hearing impaired. As a result, voice communication between the hard of hearing and the robot often fails. Further, in the case of a hearing impaired person, the hearing ability is generally weakened, and as shown in FIG. 5 of Patent Document 3, the high frequency level is reduced by 10 to 20 dB on average. We must also consider to compensate.

ロボットの音量を制御する方法としては、特許文献1および特許文献2にあるように、ロボットから相手の人間までの距離を測定し、その距離によって音量を変える方法がある。特許文献1では、相手の人間を識別して、その相手に応じて基準音量を変えるようにしている。特許文献2では、ロボットから人間までの距離に応じて、音の大きさを変えるようにしている。   As a method for controlling the volume of the robot, there is a method of measuring the distance from the robot to the other person and changing the volume according to the distance, as described in Patent Document 1 and Patent Document 2. In Patent Document 1, the other person is identified, and the reference volume is changed according to the other person. In Patent Document 2, the loudness is changed according to the distance from the robot to the human.

また、ロボットではないが、特許文献3および特許文献4がある。特許文献3では、無指向性スピーカと指向性スピーカを同時に使用する。無指向性スピーカからは健聴者向けの通常の音を出し、指向性スピーカからは難聴者向けの高域レベルを強調した音を出すということを特徴としている。特許文献3によると、指向性スピーカは、正面から30度ずれた方向で2KHzの高域が約15dB減衰するので、指向性スピーカの向きを調節することにより、健聴者にも難聴者にも適した音が聞こえることになる。   Moreover, although it is not a robot, there exist patent document 3 and patent document 4. In patent document 3, an omnidirectional speaker and a directional speaker are used simultaneously. The omnidirectional speaker emits a normal sound for a normal hearing person, and the directional speaker emits a sound that emphasizes a high frequency level for a hearing impaired person. According to Patent Document 3, the directional speaker is attenuated by about 15 dB in the high frequency range of 2 KHz in a direction deviated by 30 degrees from the front. Therefore, by adjusting the direction of the directional speaker, it is suitable for both the hearing person and the deaf. You will hear the sound.

また、特許文献4は、指向性スピーカの指向性を調整することができるスピーカ装置である。目的としては、健聴者と難聴者がともに存在するときには指向性を絞り、難聴者だけが存在するときには指向性を広く調整することを想定している。   Patent Document 4 is a speaker device that can adjust the directivity of a directional speaker. As an object, it is assumed that the directivity is narrowed when both the normal hearing person and the deaf person are present, and the directivity is widely adjusted when only the deaf person is present.

また、非特許文献1には、人の顔を検出し識別できるロボットが開示されている。
特開2005−202076号公報 特開2005−335001号公報 特開平10−234094号公報 特開2000−184488号公報 NEC メディア情報研究所 ロボット開発センター、インターネット<http://www.incx.nec.co.jp/robot/robotcenter.html>
Non-Patent Document 1 discloses a robot capable of detecting and identifying a human face.
JP 2005-202076 A JP 2005-335001 A Japanese Patent Laid-Open No. 10-234094 JP 2000-184488 A NEC Media Information Laboratory Robot Development Center, Internet <http://www.incx.nec.co.jp/robot/robotcenter.html>

特許文献1では、相手の人間を識別して、その相手に応じて基準音量を変えるようにしているので、一般健聴者と難聴者のどちらにも対応することが可能となるし、個別難聴者に対する個人適応が可能となる。しかしながら、特許文献1では、ロボットのコミュニケーション相手が、基準音量の異なる複数の人間である場合を考慮していない。したがって、難聴者とその介護者がロボットと音声でコミュニケーションをする場合には、ロボットの発する音が双方ともに適切にはならず、音声コミュニケーションがうまくいかない。   In Patent Document 1, since the other person is identified and the reference volume is changed according to the other person, it is possible to deal with both normal hearing persons and hearing-impaired persons. Personal adaptation to is possible. However, Patent Document 1 does not consider the case where the communication partners of the robot are a plurality of people with different reference volumes. Therefore, when a hearing-impaired person and a caregiver communicate with a robot by voice, both sounds generated by the robot are not appropriate, and voice communication is not successful.

特許文献2では、ロボットから人間までの距離に応じて、音の大きさを変えることが可能となるが、人によってその変化量が変わらないので、一般健聴者か難聴者かどちらかを想定して音量を変えることになる。しかし、これまで述べたように、難聴者であっても耳の聞こえ方は人それぞれであり、個人ごとに基準音量を変えることが望ましい。よって、特許文献2に係る発明は、難聴者を対象とするときには不十分である。   In Patent Document 2, it is possible to change the volume of the sound according to the distance from the robot to the human, but since the amount of change does not change depending on the person, it is assumed whether it is a normal hearing person or a deaf person. Change the volume. However, as described above, even if it is a hearing-impaired person, the way of hearing is different for each person, and it is desirable to change the reference volume for each individual. Therefore, the invention according to Patent Document 2 is insufficient when targeting a hearing impaired person.

特許文献3および特許文献4では、指向性スピーカを利用することを述べているものの、その指向性スピーカをどのようにして難聴者へ向けるか、についてはまったく言及していない。人が自分で向きを変えることを想定しているのかも知れないが、スピーカの位置を人手でいちいち変えるのはかなり煩雑であり(通常の生活でそのようなことをする習慣は無い)、有効に利用されないケースが多いと考えられる。   Patent Document 3 and Patent Document 4 describe using a directional speaker, but do not mention at all how to direct the directional speaker toward a hearing-impaired person. It may be assumed that the person changes his / her own direction, but changing the position of the speaker manually is quite cumbersome (there is no habit of doing that in normal life) and effective It is thought that there are many cases that are not used for

現在開発が進んでいるロボットでは、例えば非特許文献1のように、人の顔を検出し識別できるものがある。そこで、この顔検出・識別機能と組み合わせて、指向性スピーカを難聴者(難聴者)へ向ける方法が考えられる。しかしながら問題はそれほど単純では無い。指向性スピーカを難聴者に向けるにしても、介護者(健聴者)が指向性スピーカの指向範囲からできるだけ離れるようにしなければ、介護者にとって聞きづらい音になってしまう。したがって、難聴者と健聴者の位置関係を認識し、指向性スピーカを難聴者に向けつつも健聴者がその範囲に入らないように、スピーカ(ロボット)の適切な位置と方向を判断して稼動したり、スピーカの方向を変える必要がある。   Among robots that are currently being developed, there are robots that can detect and identify human faces, as in Non-Patent Document 1, for example. Therefore, in combination with the face detection / identification function, a method of directing the directional speaker toward the deaf (deaf) can be considered. However, the problem is not so simple. Even if the directional speaker is directed toward the hearing impaired person, if the caregiver (normal hearing person) is not as far as possible from the directional range of the directional speaker, the sound becomes difficult for the caregiver to hear. Therefore, it recognizes the positional relationship between the hearing-impaired person and the hearing-impaired person, and determines the appropriate position and direction of the speaker (robot) so that the hearing-impaired person does not enter the range while directing the directional speaker toward the hearing-impaired person. Or change the direction of the speaker.

本発明によるスピーカ制御装置は、第一および第二のスピーカを制御する装置であって、第一の人の位置と第二の人の位置とを検出する人物認識手段と、上記人物認識手段により検出された上記第一および第二の人の位置に基づいて、上記第二のスピーカの指向性の範囲内に上記第二の人が入り且つ上記第一の人が入らないような、上記第二のスピーカの位置の範囲を算出する配置算出手段と、上記配置算出手段により算出された上記第二のスピーカの位置の範囲内に入るように、上記第二のスピーカの位置を変更する動作手段と、上記第一の人に到達する上記第一のスピーカの音量が所定の範囲内となり、且つ、上記第二の人に到達する上記第二のスピーカの音量が所定の範囲内となるように、上記第一および第二のスピーカの音量を調整する音量補償手段と、を備えることを特徴とする。   The speaker control device according to the present invention is a device for controlling the first and second speakers, and includes a person recognition unit that detects the position of the first person and the position of the second person, and the person recognition unit. Based on the detected positions of the first and second persons, the second person enters the second speaker and the first person does not enter the directivity range of the second speaker. An arrangement calculating means for calculating the range of the position of the second speaker, and an operating means for changing the position of the second speaker so as to fall within the range of the position of the second speaker calculated by the arrangement calculating means. And the volume of the first speaker reaching the first person is within a predetermined range, and the volume of the second speaker reaching the second person is within a predetermined range. Adjust the volume of the first and second speakers And volume compensation means that, characterized in that it comprises a.

このスピーカ制御装置においては、第一および第二の人の各々の位置が人物認識手段によって検出される。その検出された位置に基づいて、第二のスピーカの位置範囲(存在可能領域)が配置算出手段によって算出される。その存在可能領域は、第二の人が第二のスピーカの指向範囲内に入り且つ第一の人がその範囲内に入らないような領域とされる。そして、その存在可能領域内に入るように、第二のスピーカの位置が動作手段によって変更される。よって、健聴者(第一の人)および難聴者(第二の人)の双方にとって適切になるように、スピーカの発する音を自動で制御することができる。   In this speaker control device, the positions of the first and second people are detected by the person recognition means. Based on the detected position, the position range (possible area) of the second speaker is calculated by the arrangement calculating means. The existence possible area is an area where the second person falls within the pointing range of the second speaker and the first person does not fall within the range. Then, the position of the second speaker is changed by the operating means so as to fall within the possible area. Therefore, the sound emitted from the speaker can be automatically controlled so as to be appropriate for both the normal hearing person (first person) and the hard of hearing person (second person).

また、本発明によるスピーカ制御方法は、第一および第二のスピーカを制御する方法であって、第一の人の位置と第二の人の位置とを検出する人物認識ステップと、上記人物認識ステップにおいて検出された上記第一および第二の人の位置に基づいて、上記第二のスピーカの指向性の範囲内に上記第二の人が入り且つ上記第一の人が入らないような、上記第二のスピーカの位置の範囲を算出する配置算出ステップと、上記配置算出ステップにおいて算出された上記第二のスピーカの位置の範囲内に入るように、上記第二のスピーカの位置を変更する動作ステップと、上記第一の人に到達する上記第一のスピーカの音量が所定の範囲内となり、且つ、上記第二の人に到達する上記第二のスピーカの音量が所定の範囲内となるように、上記第一および第二のスピーカの音量を調整する音量補償ステップと、を含むことを特徴とする。   The speaker control method according to the present invention is a method for controlling the first and second speakers, the person recognition step for detecting the position of the first person and the position of the second person, and the person recognition Based on the positions of the first and second persons detected in the step, the second person enters the directivity range of the second speaker and the first person does not enter, An arrangement calculation step for calculating the range of the position of the second speaker, and the position of the second speaker is changed so as to fall within the range of the position of the second speaker calculated in the arrangement calculation step. The volume of the first speaker reaching the first person is within a predetermined range, and the volume of the second speaker reaching the second person is within a predetermined range. As above And volume compensation step of adjusting the volume of the second speaker beauty, characterized in that it comprises a.

また、本発明によるスピーカ制御プログラムは、第一および第二のスピーカを制御するプログラムであって、第一の人の位置と第二の人の位置とを検出する人物認識ステップと、上記人物認識ステップにおいて検出された上記第一および第二の人の位置に基づいて、上記第二のスピーカの指向性の範囲内に上記第二の人が入り且つ上記第一の人が入らないような、上記第二のスピーカの位置の範囲を算出する配置算出ステップと、上記配置算出ステップにおいて算出された上記第二のスピーカの位置の範囲内に入るように、上記第二のスピーカの位置を変更する動作ステップと、上記第一の人に到達する上記第一のスピーカの音量が所定の範囲内となり、且つ、上記第二の人に到達する上記第二のスピーカの音量が所定の範囲内となるように、上記第一および第二のスピーカの音量を調整する音量補償ステップと、をコンピュータに実行させることを特徴とする。   The speaker control program according to the present invention is a program for controlling the first and second speakers, the person recognition step for detecting the position of the first person and the position of the second person, and the person recognition Based on the positions of the first and second persons detected in the step, the second person enters the directivity range of the second speaker and the first person does not enter, An arrangement calculation step for calculating the range of the position of the second speaker, and the position of the second speaker is changed so as to fall within the range of the position of the second speaker calculated in the arrangement calculation step. The volume of the first speaker reaching the first person is within a predetermined range, and the volume of the second speaker reaching the second person is within a predetermined range. like Wherein the executing and volume compensation step of adjusting the volume of said first and second speakers, to the computer.

これらのスピーカ制御方法およびスピーカ制御プログラムにおいては、第一および第二の人の各々の位置が人物認識ステップにおいて検出される。その検出された位置に基づいて、第二のスピーカの存在可能領域が配置算出ステップにおいて算出される。そして、その存在可能領域内に入るように、第二のスピーカの位置が動作ステップにおいて変更される。よって、健聴者(第一の人)および難聴者(第二の人)の双方にとって適切になるように、スピーカの発する音を自動で制御することができる。   In these speaker control method and speaker control program, the positions of the first and second persons are detected in the person recognition step. Based on the detected position, an area where the second speaker can exist is calculated in the arrangement calculating step. Then, the position of the second speaker is changed in the operation step so as to fall within the possible area. Therefore, the sound emitted from the speaker can be automatically controlled so as to be appropriate for both the normal hearing person (first person) and the hard of hearing person (second person).

本発明によれば、健聴者および難聴者の双方にとって適切になるように、スピーカの発する音を自動で制御することが可能なスピーカ制御装置およびそれを備えるロボット、スピーカ制御方法、ならびにスピーカ制御プログラムが実現される。   ADVANTAGE OF THE INVENTION According to this invention, the speaker control apparatus which can control automatically the sound which a speaker emits so that it may become suitable for both a normal hearing person and a hard-of-hearing person, a robot provided with the same, a speaker control method, and a speaker control program Is realized.

以下、図面を参照しつつ、本発明の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一要素には同一符号を付し、重複する説明を省略する。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the description of the drawings, the same reference numerals are assigned to the same elements, and duplicate descriptions are omitted.

図1は、本発明によるスピーカ制御装置の一実施形態を示すブロック図である。このスピーカ制御装置は、第一のスピーカ101および第二のスピーカ102を制御する装置であって、第一の人の位置と第二の人の位置とを検出する人物認識手段201と、人物認識手段201により検出された第一および第二の人の位置に基づいて、第二のスピーカ102の指向性の範囲内に第二の人が入り且つ第一の人が入らないような、第二のスピーカ102の位置の範囲(存在可能領域)を算出する配置算出手段301と、配置算出手段301により算出された第二のスピーカ102の位置の範囲内に入るように、第二のスピーカ102の位置を変更する動作手段401と、第一の人に到達する第一のスピーカ101の音量が所定の範囲内となり、且つ、第二の人に到達する第二のスピーカ102の音量が所定の範囲内となるように、第一のスピーカ101および第二のスピーカ102の音量を調整する音量補償手段501と、を備えている。本実施形態において、第二の人は難聴者であり、第一の人はその介護者(健聴者)である。   FIG. 1 is a block diagram showing an embodiment of a speaker control apparatus according to the present invention. This speaker control apparatus is an apparatus that controls the first speaker 101 and the second speaker 102, and includes a person recognition unit 201 that detects the position of the first person and the position of the second person, and person recognition. Based on the positions of the first and second persons detected by the means 201, the second person enters the second speaker 102 within the directivity range and the second person does not enter the second person 102. The position calculation means 301 for calculating the position range (possible area) of the second speaker 102 and the second speaker 102 so as to fall within the position range of the second speaker 102 calculated by the position calculation means 301. The volume of the operation means 401 for changing the position and the volume of the first speaker 101 reaching the first person is within a predetermined range, and the volume of the second speaker 102 reaching the second person is within the predetermined range. To be inside , And a volume compensating means 501 for adjusting the volume of the first speaker 101 and the second speaker 102, a. In this embodiment, the second person is a hearing impaired person, and the first person is the caregiver (normal hearing person).

図2は、本実施形態のスピーカ制御装置を備えるロボットの外観を示す正面図である。また、図3は、図2のロボットの電気的構成を示すブロック図である。本実施形態では、ロボットは、例えば、胴体部1、頭部2が連結されることにより構成されている。胴体部1は円筒形であり、平面が上下に来るようになっている。胴体部1の下部には左右にそれぞれ車輪3A、3Bが取り付けられており、それらの車輪は独立に前後に回転することができる。頭部2は、胴体部1に垂直に取り付けられた垂直軸とその垂直軸に対して90度の角度で設置された水平軸に関して決められた範囲で回転することができる。垂直軸は頭部2の中心を通るように設置されており、水平軸は胴体部1と頭部2が正面を向いた状態で頭部2の中心を通りかつ左右方向に水平に設置されている。つまり、頭部2は左右と上下の2自由度で、決められた範囲内で回転することができる。   FIG. 2 is a front view illustrating an appearance of a robot including the speaker control device of the present embodiment. FIG. 3 is a block diagram showing an electrical configuration of the robot shown in FIG. In the present embodiment, the robot is configured by connecting, for example, the body 1 and the head 2. The body portion 1 has a cylindrical shape, and a plane is arranged vertically. Wheels 3A and 3B are attached to the lower part of the body part 1 on the left and right, respectively, and these wheels can rotate back and forth independently. The head 2 can rotate within a predetermined range with respect to a vertical axis that is vertically attached to the body 1 and a horizontal axis that is installed at an angle of 90 degrees with respect to the vertical axis. The vertical axis is installed so as to pass through the center of the head 2, and the horizontal axis is installed horizontally through the center of the head 2 with the body 1 and the head 2 facing the front and horizontally in the left-right direction. Yes. That is, the head 2 can rotate within a predetermined range with two degrees of freedom, left and right and up and down.

胴体部1には、ロボット全体の制御を行うコントローラ10、ロボットの動力源となるバッテリ11、スピーカ12、2つの車輪を動かすためのアクチュエータ14Aと14B、タッチセンサ15が収納されている。   The body unit 1 houses a controller 10 for controlling the entire robot, a battery 11 serving as a power source for the robot, a speaker 12, actuators 14A and 14B for moving two wheels, and a touch sensor 15.

頭部2には、マイクロフォン13、スピーカ16、CCDカメラ21Aと21B、頭部2を回転するためのアクチュエータ22Aと22Bなどが収納されている。頭部2におけるマイクロフォン13は、ユーザからの発話を含む周囲の音声を集音し、得られた音声信号をコントローラ10に送出する。スピーカ16は指向性を持つスピーカである。本実施形態では、スピーカ16の指向性の範囲は固定である。CCDカメラ21Aと21Bは、周囲の状況を撮像し、得られた画像信号を、コントローラ10に送出する。   The head 2 houses a microphone 13, a speaker 16, CCD cameras 21A and 21B, actuators 22A and 22B for rotating the head 2, and the like. The microphone 13 in the head 2 collects surrounding sounds including utterances from the user, and sends the obtained sound signals to the controller 10. The speaker 16 is a directional speaker. In the present embodiment, the directivity range of the speaker 16 is fixed. The CCD cameras 21 </ b> A and 21 </ b> B take an image of the surrounding situation and send the obtained image signal to the controller 10.

胴体部1におけるタッチセンサ15は、人間がタッチセンサに触れたことを検知し、検知したときに接触検知信号をコントローラ10に送出する。   The touch sensor 15 in the body part 1 detects that a human has touched the touch sensor, and sends a contact detection signal to the controller 10 when it is detected.

コントローラ10は、CPU10Aやメモリ10Bを内蔵しており、CPU10Aにおいて、メモリ10Bに記憶された制御プログラムが実行されることにより、各種の処理を行う。   The controller 10 includes a CPU 10A and a memory 10B. The CPU 10A executes various processes by executing a control program stored in the memory 10B.

すなわち、コントローラ10は、マイクロフォン13、CCDカメラ21Aと21B、タッチセンサ15から与えられる音声信号、画像信号、接触検知信号に基づいて、周囲の状況や、ユーザからの指令を判断する。   That is, the controller 10 determines a surrounding situation and a command from the user based on the sound signal, the image signal, and the contact detection signal given from the microphone 13, the CCD cameras 21A and 21B, and the touch sensor 15.

さらに、コントローラ10は、この判断結果などに基づいて、続く行動を決定し、その決定結果に基づいて、アクチュエータ14A、14B、22A、22Bの必要なものを駆動させる。これにより頭部2を上下左右に回転したり、ロボットを移動または回転させるなどの行動を行わせる。また、コントローラ10は、必要に応じて、合成音を生成し、スピーカ12およびスピーカ16に供給して出力させる。   Further, the controller 10 determines a subsequent action based on the determination result and drives the necessary actuators 14A, 14B, 22A, and 22B based on the determination result. As a result, actions such as rotating the head 2 up and down, left and right, and moving or rotating the robot are performed. Moreover, the controller 10 produces | generates a synthetic | combination sound as needed, supplies it to the speaker 12 and the speaker 16, and outputs them.

以上のようにして、ロボットは、周囲の状況などに基づいて行動をとるようになっている。   As described above, the robot takes action based on the surrounding situation.

次に、図4は、図3のコントローラ10の機能的構成例を示すブロック図である。なお、図4に示す機能的構成は、CPU10Aが、メモリ10Bに記憶された制御プログラムを実行することで実現されるようになっている。   Next, FIG. 4 is a block diagram illustrating a functional configuration example of the controller 10 of FIG. The functional configuration shown in FIG. 4 is realized by the CPU 10A executing a control program stored in the memory 10B.

コントローラ10は、人物認識部51A、音声認識部51B、接触認識部51C、行動決定部52、制御部53、音声合成部54、出力部55、配置算出手段56、とから構成されている。   The controller 10 includes a person recognition unit 51A, a voice recognition unit 51B, a contact recognition unit 51C, an action determination unit 52, a control unit 53, a voice synthesis unit 54, an output unit 55, and an arrangement calculation unit 56.

人物認識部51Aは、CCDカメラ21Aおよび21Bから入力される映像に対して画像処理を施し、あらかじめ登録されてある特徴と照合して人の識別を行い、識別した人を健聴者と難聴者に分類し、その情報を配置算出部56へ送出する。このように、本実施形態では、登録されている人が健聴者であるか難聴者であるかを記憶することが前提となっている。これは、登録時に人が指定することによってなされる。人物認識部51Aは、入力がステレオカメラである特性を利用し、その人の位置情報も算出して配置算出部56へ送出する。   The person recognizing unit 51A performs image processing on images input from the CCD cameras 21A and 21B, identifies a person by collating with a pre-registered feature, and identifies the identified person as a normal hearing person and a deaf person. The information is classified and sent to the arrangement calculation unit 56. Thus, in the present embodiment, it is assumed that the registered person is stored as a normal hearing person or a hearing impaired person. This is done by a person specifying at the time of registration. The person recognizing unit 51A uses the characteristic that the input is a stereo camera, calculates the position information of the person, and sends it to the arrangement calculating unit 56.

音声認識部51Bは、マイク13から入力される人間の音声を認識し、認識した結果を行動決定部52へ送出する。認識した結果とは、「おはよう」「こんにちは」などの、人がロボットに対して話しかけた言葉である。行動決定部52が、音声認識部51Bから認識結果を受け取ると、その認識結果に応じた応答をするよう、制御部53と音声合成部54へ指示を送る。たとえば、認識結果が「おはよう」である場合には、制御部53には、頭部2を上下に振る指示を送り、音声合成部54には、「おはようございます」という発話を行う指示を送る。これによって、人がロボットに「おはよう」と話しかけ、ロボットがその言葉を認識すると、ロボットは頭部2を上下に振りながら「おはようございます」という発話を行うことができる。   The voice recognition unit 51 </ b> B recognizes the human voice input from the microphone 13 and sends the recognized result to the action determination unit 52. As a result of recognition and is, such as "Good morning", "Hello", the person is a word that spoke to the robot. When the behavior determination unit 52 receives the recognition result from the speech recognition unit 51B, the behavior determination unit 52 sends an instruction to the control unit 53 and the speech synthesis unit 54 to make a response according to the recognition result. For example, if the recognition result is “good morning”, the control unit 53 is instructed to shake the head 2 up and down, and the voice synthesis unit 54 is instructed to utter “good morning”. . As a result, when a person speaks “good morning” to the robot and the robot recognizes the word, the robot can utter “good morning” while shaking the head 2 up and down.

タッチセンサ15は、人がタッチセンサに触れたときに、その検知情報を接触認識部51Cに送出する。接触認識部51Cは、接触認識情報を行動決定部52に送出する。行動決定部52が接触認識情報を受け取ると、その認識結果に応じた応答をするよう、制御部53と音声合成部54へ指示を送る。たとえば、触られたことに対して喜びを表現することとし、そのために、制御部53に対しては、頭部2を左右に振る指示を送り、音声合成部54へは「わーい」という言葉を発話する指示を送る、というような内容である。   When the person touches the touch sensor, the touch sensor 15 sends the detection information to the contact recognition unit 51C. The contact recognition unit 51C sends the contact recognition information to the action determination unit 52. When the action determination unit 52 receives the contact recognition information, the behavior determination unit 52 sends an instruction to the control unit 53 and the voice synthesis unit 54 to make a response according to the recognition result. For example, to express joy for being touched, an instruction to shake the head 2 from side to side is sent to the control unit 53, and the word “Wai” is given to the speech synthesis unit 54. The content is such that an instruction to speak is sent.

制御部53は、行動決定部52から与えられる動作データに基づいて、アクチュエータ14A、14B、22A、22Bを駆動するための制御信号を生成し、これをアクチュエータ14A、14B、22A、22Bへ送出する。これにより、アクチュエータ14A、14B、22A、22Bは、制御信号にしたがって駆動し、ロボットは動作する。   The control unit 53 generates a control signal for driving the actuators 14A, 14B, 22A, and 22B based on the operation data given from the behavior determining unit 52, and sends this to the actuators 14A, 14B, 22A, and 22B. . As a result, the actuators 14A, 14B, 22A, 22B are driven according to the control signal, and the robot operates.

配置算出部56は、人物認識部51Aから、健聴者と難聴者の位置情報が送られて来ると、スピーカ16の指向性の範囲に難聴者が入り、かつ、健聴者がスピーカ16の指向性の範囲からはずれるような、ロボット自身の位置取りを計算して求める。スピーカ16の指向性の範囲としては、本実施形態ではスピーカの正面から左右30度の範囲より外側を指向性の範囲外とする。特許文献3にあるように、正面から30度において2KHz以上の高域の音が約15dB以上減衰していることから、スピーカの正面から左右30度の範囲より外側を指向性の範囲外とすることは妥当だと考えられる。この指向性の範囲外を示す角度を一般化してθ0と表すことにする。今の例ではθ0=30(deg)である。   When the position information of the normal hearing person and the deaf person is sent from the person recognizing part 51A, the arrangement calculating unit 56 enters the range of directivity of the speaker 16, and the normal person hears the directivity of the speaker 16. Calculate and determine the position of the robot itself that deviates from the range. In the present embodiment, the directivity range of the speaker 16 is outside the directivity range outside the range of 30 degrees left and right from the front of the speaker. As described in Patent Document 3, since the high frequency sound of 2 KHz or more is attenuated by about 15 dB or more at 30 degrees from the front, the outside of the range of 30 degrees from the front of the speaker is outside the directivity range. This is considered reasonable. The angle indicating the outside of the directivity range is generalized and expressed as θ0. In this example, θ0 = 30 (deg).

ロボット、難聴者、健聴者の配置を図5に示した。図5において、点Rがロボットの位置を、点A(XY座標の原点)が難聴者の位置を、点B(X=d、Y=0)が健聴者の位置を示している。難聴者と健聴者の間の距離がd(m)である。ここで、X軸とRAのなす角度をφ、RAとRBのなす角度をθとする。実際には、ロボットから見たときに、難聴者と健聴者の位置が逆転しているケースも存在するが、その場合には、X軸を反転して以下の議論を同様に適用すれば良い。   The arrangement of the robot, the hearing impaired person, and the normal hearing person is shown in FIG. In FIG. 5, the point R indicates the position of the robot, the point A (the origin of the XY coordinates) indicates the position of the hearing impaired person, and the point B (X = d, Y = 0) indicates the position of the normal hearing person. The distance between the hearing impaired person and the normal hearing person is d (m). Here, the angle between the X axis and RA is φ, and the angle between RA and RB is θ. Actually, there are cases where the position of the hearing impaired person and the normal hearing person are reversed when viewed from the robot. In that case, the X-axis is reversed and the following discussion can be applied similarly. .

本実施形態では、ロボットがスピーカ16の正面を難聴者へ向けることとする。図5では、スピーカ16の向きを矢印で示した。これは、指向性スピーカであるものの、正面からずれると音の強さが弱くなってしまうので、正面を向けるのが最も望ましいからである。   In this embodiment, the robot points the front of the speaker 16 toward the hearing impaired person. In FIG. 5, the direction of the speaker 16 is indicated by an arrow. This is because, although it is a directional speaker, the sound intensity becomes weak when it is displaced from the front, and therefore it is most desirable to face the front.

そうすると、このとき、角度θがθ0よりも大きければ、図5に示した配置で、難聴者が指向性スピーカ16の正面に位置し、健聴者が指向性スピーカ16の指向性の範囲外に存在することになる。   Then, at this time, if the angle θ is larger than θ 0, in the arrangement shown in FIG. 5, the hearing impaired person is located in front of the directional speaker 16, and the normal hearing person is outside the directivity range of the directional speaker 16. Will do.

ここで次のように考える。θ=θ0とし一定の値とする。このとき、RAの長さはφの関数となるので、それをr(φ)とする。そうすると、r(φ)の関数形は次式で表される。
r(φ)= d×sin(θ0+φ)/sin(θ0) …(1)
Consider the following. θ = θ0 and a constant value. At this time, since the length of RA is a function of φ, it is set as r (φ). Then, the function form of r (φ) is expressed by the following equation.
r (φ) = d × sin (θ0 + φ) / sin (θ0) (1)

そして、この(1)式で表されるr(φ)は、ロボットと難聴者の間の距離の最大値となることが容易にわかる。したがって、健聴者(B)が指向性の範囲外に存在するためには、ロボット(R)は、難聴者(A)から距離r(φ)より近い場所に位置しなければならない。   It can be easily seen that r (φ) represented by the equation (1) is the maximum distance between the robot and the deaf person. Therefore, in order for the normal hearing person (B) to be out of the directivity range, the robot (R) must be located at a position closer to the distance r (φ) from the hearing impaired person (A).

具体的な数値をいくつか挙げてみる。d=0.5(m)の場合、φ=90(deg)、すなわちロボットが難聴者の正面に位置する場合、r(φ)=0.866(m)である。また、そこから30度ずれた場所を見てみると、φ=120(deg)のときr(φ)=0.5(m)、φ=60(deg)のときr(φ)=1.0(m)である。   Here are some specific numbers. When d = 0.5 (m), φ = 90 (deg), that is, r (φ) = 0.866 (m) when the robot is located in front of the hearing impaired person. Further, when looking at a place shifted by 30 degrees therefrom, r (φ) = 0.5 (m) when φ = 120 (deg), r (φ) = 1. 0 (m).

距離d(m)離れた二人の人間と音声コミュニケーションを行う場合、ロボットの位置取りとしては、60(deg)≦φ≦120(deg)が適当だと考えられる。そこで、配置算出部56が難聴者と健聴者を見つけたとき、二人を結ぶ直線を仮想的に考え、ロボットが難聴者に対して向くようにしたとき、ロボットから難聴者へと向かうベクトルと仮想直線との角度が60度から120度の範囲になる位置にロボットを移動させる。そして、ロボットと難聴者との距離が、式(1)で表される値以下であるような位置にロボットを移動させれば良いことになる。   When performing voice communication with two humans separated by a distance d (m), it is considered that 60 (deg) ≦ φ ≦ 120 (deg) is appropriate as the positioning of the robot. Therefore, when the placement calculation unit 56 finds a hearing impaired person and a normal hearing person, a virtual line that connects the two people is considered, and when the robot faces the hearing impaired person, The robot is moved to a position where the angle with the virtual straight line is in the range of 60 degrees to 120 degrees. Then, the robot may be moved to a position where the distance between the robot and the deaf person is equal to or less than the value represented by the expression (1).

図6にロボットの存在位置を示した。図6のAcdeで示される領域の内部がロボットが存在することが望ましい(指向性スピーカ16の正面に難聴者Aを捉えつつ、健聴者Bが指向性スピーカ16の指向性領域の外にいる)範囲である。ただしロボット(指向性スピーカ16)は難聴者(A)を向く。   FIG. 6 shows the position of the robot. It is desirable that a robot exists inside the area indicated by “Acde” in FIG. 6 (a hearing person B is outside the directional area of the directional speaker 16 while capturing the deaf person A in front of the directional speaker 16). It is a range. However, the robot (directional speaker 16) faces the hearing impaired person (A).

ロボットと難聴者の間の距離を具体的にいくつにするか、任意性がある。本実施形態では、ロボットが難聴者と健聴者を検出した時点でロボットが領域Acdeの外に存在するとき、ロボットがdの位置に移動するように、配置算出部56が行動決定部52へ指示を送り、行動決定部52が制御部53へ指示を送りアクチュエータ14A、14Bを動作させ、ロボットをdの位置に移動させる。また、ロボットが難聴者と健聴者を検出した時点でロボットが領域Acdeの中または境界上に存在するときには、その場でロボットを自転させてロボットと指向性スピーカ16の正面が難聴者に向くようにロボットを回転させる。   The distance between the robot and the deaf person is specific. In the present embodiment, when the robot detects a hearing-impaired person and a normal hearing person, the placement calculation unit 56 instructs the action determination unit 52 so that the robot moves to the position d when the robot is outside the region Acde. The action determination unit 52 sends an instruction to the control unit 53 to operate the actuators 14A and 14B and move the robot to the position d. Further, when the robot detects the deaf and hard-of-hearing people and the robot is present in the area Acde or on the boundary, the robot is rotated on the spot so that the front of the robot and the directional speaker 16 faces the deaf person. Rotate the robot.

また、配置算出部56は、ロボットと難聴者までの距離およびロボットと健聴者までの距離をそれぞれ行動決定部52へ送り、行動決定部はそれらの距離情報を音声合成部54へ送る。   In addition, the arrangement calculation unit 56 sends the distance between the robot and the hearing impaired person and the distance between the robot and the normal hearing person to the action determination unit 52, and the action determination unit sends the distance information to the speech synthesis unit 54.

音声合成部54は、行動決定部52から与えられる文章から合成音声を生成し、出力部55へ供給するが、その際に、難聴者までの距離と健聴者までの距離を参照する。すなわち、音量には基準音量と基準距離が存在し、実際の人までの距離に応じて基準音量から適切な音量を算出して出力する。ここで、本実施形態では、基準音量をD0、基準距離をL0とし、人までの距離をRとするとき、音量は D0×R×R/(L0×L0)で算出される。このようにして、難聴者までの距離と健聴者までの距離を参照して適切な音量が計算され、各々合成音が生成され、出力部55へ送られる。ただし、スピーカ16から出力される音は、2KHz以上の高域を10dBから15dB強調した音である。   The voice synthesizer 54 generates a synthesized voice from the text given from the action determination unit 52 and supplies the synthesized voice to the output unit 55. At that time, the distance to the hearing impaired person and the distance to the normal hearing person are referred to. That is, there are a reference volume and a reference distance, and an appropriate volume is calculated from the reference volume according to the distance to the actual person and output. Here, in this embodiment, when the reference volume is D0, the reference distance is L0, and the distance to the person is R, the volume is calculated as D0 × R × R / (L0 × L0). In this way, appropriate sound volumes are calculated with reference to the distance to the hearing impaired person and the distance to the normal hearing person, and each synthesized sound is generated and sent to the output unit 55. However, the sound output from the speaker 16 is a sound obtained by emphasizing a high range of 2 kHz or higher from 10 dB to 15 dB.

出力部55には、音声合成部54から二つの合成音のディジタルデータが供給されるようになっており、出力部55は、それらのディジタルデータを、アナログの音声信号にD/A変換し、スピーカ12およびスピーカ16に供給して出力させる。   The output unit 55 is supplied with digital data of two synthesized sounds from the voice synthesis unit 54. The output unit 55 performs D / A conversion of the digital data into an analog voice signal, and The signals are supplied to and output from the speakers 12 and 16.

なお、本実施形態では、人を認識し人までの距離を算出する手段として画像認識を利用したが、これは、他の方法、たとえば、超音波タグの技術を利用しても構わない。人までの距離を算出する方法としてレーザレンジファインダを利用しても良い。   In this embodiment, image recognition is used as means for recognizing a person and calculating a distance to the person. However, other methods such as an ultrasonic tag technique may be used. A laser range finder may be used as a method for calculating the distance to a person.

指向性の範囲外を示す角度を30度としたが、これは、指向性スピーカ16の実際の性能に合わせて変えるべきものである。   The angle indicating the directivity range is 30 degrees, but this should be changed in accordance with the actual performance of the directional speaker 16.

また、スピーカ16の指向性の範囲は固定であるとしたが、これはこの限りではない。すなわち、スピーカ16の指向性の範囲は可変でも良い。この場合には、指向性の範囲を変えることが可能となるので、スピーカ16の存在可能位置は本実施形態よりも広くなる。   Further, although the directivity range of the speaker 16 is fixed, this is not limited thereto. That is, the directivity range of the speaker 16 may be variable. In this case, since the directivity range can be changed, the position where the speaker 16 can be present is wider than in the present embodiment.

また、本実施形態では、指向性スピーカ16を難聴者へ向けることを前提にしたが、これは指向性スピーカの指向性の範囲内に難聴者が来るようにしても構わない。   In the present embodiment, it is assumed that the directional speaker 16 is directed toward the hearing impaired person. However, this may be such that the hearing impaired person comes within the directivity range of the directional speaker.

ロボットの好ましい存在領域として、60(deg)≦φ≦120(deg)としたが、実際にはこれに限るものではない。   Although 60 (deg) ≦ φ ≦ 120 (deg) is set as a preferable region where the robot is present, the present invention is not limited to this.

また、ロボットが難聴者と健聴者を検出した時点でロボットが領域Acdeの外に存在するとき、ロボットがdの位置に移動するようにしたが、これもこの限りではない。領域の内部であればどこに移動しても構わない。   Further, when the robot detects the hearing impaired person and the normal hearing person, the robot moves to the position d when the robot is outside the area Acde. However, this is not limited to this. You may move anywhere as long as it is inside the area.

ロボットが適切な場所に移動したのち、人が動く場合がある。配置算出部56は常に人の位置を把握し、ロボットの配置が不適切である場合には、ロボットの配置が適切となるよう、行動決定部52へ指示を送る。   A person may move after the robot has moved to an appropriate location. The arrangement calculation unit 56 always grasps the position of the person, and when the robot arrangement is inappropriate, sends an instruction to the action determination unit 52 so that the robot arrangement is appropriate.

音声合成部54では、指向性スピーカから発する音について、2KHz以上の高域を10dBから15dB強調するとしたが、強調する範囲は2KHz以上に限るものではない。また、強調の度合いも10dBから15dBに限るものではなく、周波数帯ごとに異なる強調の度合いとすることも可能であるし、個別の難聴者(難聴者)ごとに強調の度合いを異なるものにすることもできる。   In the speech synthesizer 54, the high frequency of 2 kHz or higher is emphasized from 10 dB to 15 dB for the sound emitted from the directional speaker, but the range to be emphasized is not limited to 2 kHz or higher. Further, the degree of emphasis is not limited to 10 dB to 15 dB, and it is possible to make the degree of emphasis different for each frequency band, and the degree of emphasis differs for each individual deaf person (deaf person). You can also

また、難聴者にはスピーカ12から到達する通常の音声が届くので、音声合成部54では、スピーカ16から発する音として、このスピーカ12から到達する分を差し引いた音声を発するようにしても良い。   Further, since the normal sound that reaches from the speaker 12 reaches the hearing-impaired person, the sound synthesizer 54 may emit a sound obtained by subtracting the amount that reaches from the speaker 12 as the sound emitted from the speaker 16.

また、音声合成部54では、人までの距離に応じて音量を決めるだけでなく、ロボットを移動させるとともにその移動後の位置から人までの距離に応じて音量を決めるようにしても良い。その場合、音声合成部54が制御部53に対して移動の命令を送る。ただし、移動する範囲は、配置算出部56で算出された範囲とする。たとえば、配置算出部56が決定した位置より近づくことが望ましい場合、このような方法が考えられる。スピーカの最大限界音量が小さい場合には、このようにロボットが人に近づく方法をとらねばならない。   Further, the speech synthesizer 54 may not only determine the volume according to the distance to the person but also move the robot and determine the volume according to the distance from the moved position to the person. In that case, the speech synthesizer 54 sends a movement command to the controller 53. However, the range to be moved is the range calculated by the arrangement calculation unit 56. For example, when it is desirable to approach the position determined by the arrangement calculation unit 56, such a method can be considered. When the maximum limit volume of the speaker is small, the robot must approach the person in this way.

さらには、本実施形態では、ロボットにスピーカを搭載する形態を説明したが、スピーカ12が部屋に置かれていてスピーカ16がロボットに搭載されている場合にも本発明は適用可能である。さらには、ロボットに限らず、スピーカの位置を変えられる仕組みになっているシステムに対しても本発明は適用することが可能である。   Furthermore, in the present embodiment, the form in which the speaker is mounted on the robot has been described. However, the present invention can also be applied to the case where the speaker 12 is placed in a room and the speaker 16 is mounted on the robot. Furthermore, the present invention can be applied not only to a robot but also to a system that can change the position of a speaker.

また、本実施形態では、スピーカ12とスピーカ16を各々一つのスピーカとしたが、実際には、スピーカ12とスピーカ16がそれぞれ複数のスピーカから構成されていても良い。   In the present embodiment, each of the speaker 12 and the speaker 16 is a single speaker. However, in actuality, the speaker 12 and the speaker 16 may each be composed of a plurality of speakers.

次に、図7のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。   Next, the overall operation of the present embodiment will be described in detail with reference to the flowchart of FIG.

ステップS1において、ロボットが難聴者と健聴者を検出する。ステップS2において、ロボットが難聴者と健聴者に対して適切な配置にいるかどうかを判断する。ステップS2において、ロボットが難聴者と健聴者に対して適切な配置にいないと判断された場合、ステップS3において、ロボットを適切な位置に移動する。ステップS2において、ロボットが難聴者と健聴者に対して適切な配置にいると判断された場合、ステップS4において、タッチセンサに触られたこと、あるいは、音声認識をしたかどうかを待ち、ステップS4において、タッチセンサに触られたか、あるいは、音声認識をした場合、ステップS5においてロボットが応答を行う。   In step S1, the robot detects a hearing impaired person and a normal hearing person. In step S2, it is determined whether or not the robot is properly arranged for the hearing impaired person and the normal hearing person. If it is determined in step S2 that the robot is not properly arranged for the hearing impaired person and the normal hearing person, the robot is moved to an appropriate position in step S3. If it is determined in step S2 that the robot is properly positioned with respect to the hearing impaired person and the normal hearing person, in step S4, it is waited whether the touch sensor is touched or voice recognition is performed. When the touch sensor is touched or voice recognition is performed, the robot responds in step S5.

次に、本実施形態の効果について説明する。本実施形態では、難聴者向けに高域を強調した音を難聴者に対して出力し、健聴者向けに通常の音を出力することが可能となるため、ロボットが難聴者やその介護者と好適に音声コミュニケーションを行うことができる。   Next, the effect of this embodiment will be described. In the present embodiment, it is possible to output a sound that emphasizes high frequencies for the hearing impaired to the hearing impaired and to output a normal sound for the hearing impaired. Voice communication can be suitably performed.

また、ロボットが人物の映像を記録しておき、インターネットなどを介して要求されたときに、人物の映像を外部の端末へ送出する機能を持っていても良い。また、本実施の形態では、ロボットにマイクロフォンが装備されているが、ワイアレスマイクを使用する形態も考ええられる。また、ロボットは、赤外線センサを備え、難聴者の体温をチェックする機能を備えていても良い。また、ロボットは、マップ生成機能、自己位置同定機能を備えていても良い。また、ロボットは、タッチセンサを複数備えていても良い。   The robot may have a function of recording a person's video and sending the person's video to an external terminal when requested via the Internet or the like. In the present embodiment, the robot is equipped with a microphone, but a form using a wireless microphone is also conceivable. The robot may include an infrared sensor and a function of checking the body temperature of the hearing impaired person. The robot may have a map generation function and a self-position identification function. The robot may include a plurality of touch sensors.

以上述べたように、本実施形態のスピーカ制御装置において、音量補償手段501(図1参照)は、第一のスピーカ101の位置を算出して動作手段401へ出力し、配置算出手段301により算出された第二のスピーカ102の位置の範囲内で第二のスピーカ102の位置を算出して動作手段401へ出力し、また、第一のスピーカ101の音量と第二のスピーカ102の音量とを変更し、動作手段401は、音量補償手段501から与えられた第一のスピーカ101および第二のスピーカ102の位置に関する情報に従って、第一のスピーカ101および第二のスピーカ102を移動してもよい。   As described above, in the speaker control apparatus according to the present embodiment, the volume compensation unit 501 (see FIG. 1) calculates the position of the first speaker 101, outputs the position to the operation unit 401, and calculates by the arrangement calculation unit 301. The position of the second speaker 102 is calculated within the range of the position of the second speaker 102 and is output to the operating means 401, and the volume of the first speaker 101 and the volume of the second speaker 102 are The operation unit 401 may move the first speaker 101 and the second speaker 102 according to the information regarding the positions of the first speaker 101 and the second speaker 102 given from the volume compensation unit 501. .

配置算出手段301は、人物認識手段201によって検出された第一の人の位置と第二の人の位置とから第二のスピーカ102の位置の範囲を算出するときに、第二のスピーカ102の正面が第二の人の方向を向き、且つ、第二のスピーカ102が第二の人の正面方向から左右に所定の角度範囲内に存在するという前提で、第一の人が第二のスピーカ102の指向性の範囲内に入らないような、第二のスピーカ102の位置の範囲を算出してもよい。   When calculating the range of the position of the second speaker 102 from the position of the first person and the position of the second person detected by the person recognizing means 201, the arrangement calculating unit 301 On the assumption that the front faces the direction of the second person and the second speaker 102 exists in a predetermined angle range from the front direction of the second person to the left and right, the first person is the second speaker. A position range of the second speaker 102 that does not fall within the directivity range of 102 may be calculated.

第二のスピーカ102の指向性の向きが可変であり且つ指向性の範囲が可変であり、配置算出手段301は、第二のスピーカ102の指向性の範囲に第二の人が入り且つ第一の人が入らないような、第二のスピーカ102の位置、指向性の向きおよび指向性の範囲を算出してもよい。   The directionality of the directivity of the second speaker 102 is variable and the range of directivity is variable, and the arrangement calculation unit 301 includes a second person within the directivity range of the second speaker 102 and the first person. The position of the second speaker 102, the direction of directivity, and the range of directivity may be calculated such that no other person enters.

また、本実施形態のスピーカ制御方法は、第一のスピーカ101および第二のスピーカ102を制御する方法であって、第一の人の位置と第二の人の位置とを検出する人物認識ステップと、人物認識ステップにおいて検出された第一および第二の人の位置に基づいて、第二のスピーカ102の指向性の範囲内に第二の人が入り且つ第一の人が入らないような、第二のスピーカ102の位置の範囲を算出する配置算出ステップと、配置算出ステップにおいて算出された第二のスピーカ102の位置の範囲内に入るように、第二のスピーカ102の位置を変更する動作ステップと、第一の人に到達する第一のスピーカ101の音量が所定の範囲内となり、且つ、第二の人に到達する第二のスピーカ102の音量が所定の範囲内となるように、第一のスピーカ101および第二のスピーカ102の音量を調整する音量補償ステップと、を含むものである。   The speaker control method of the present embodiment is a method for controlling the first speaker 101 and the second speaker 102, and a person recognition step for detecting the position of the first person and the position of the second person. Based on the positions of the first and second people detected in the person recognition step, the second person enters the directivity range of the second speaker 102 and the first person does not enter. A position calculating step for calculating the range of the position of the second speaker 102, and the position of the second speaker 102 is changed so as to fall within the range of the position of the second speaker 102 calculated in the position calculating step. The operation step and the volume of the first speaker 101 reaching the first person are within a predetermined range, and the volume of the second speaker 102 reaching the second person is within the predetermined range. ,first And volume compensation step of adjusting the volume of the speaker 101 and the second speaker 102, is intended to include.

また、本実施形態のスピーカ制御プログラムは、上記人物認識ステップと、上記配置算出ステップと、上記動作ステップと、上記音量補償ステップと、をコンピュータに実行させるものである。   The speaker control program according to the present embodiment causes the computer to execute the person recognition step, the arrangement calculation step, the operation step, and the volume compensation step.

本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。   The present invention is not limited to the above embodiment, and various modifications can be made.

本発明によれば、マイクなどの音声入力装置を備え、人を検出する機能を持つ、人とインタラクションするロボットに広く適用できる。さらに、本実施の形態においては、上述した一連の処理を、CPU10A(図3)にプログラムを実行させることにより行うようにしたが、一連の処理は、それ専用のハードウェアによって行うことも可能である。   The present invention can be widely applied to a robot that includes a voice input device such as a microphone and has a function of detecting a person and that interacts with the person. Further, in the present embodiment, the above-described series of processing is performed by causing the CPU 10A (FIG. 3) to execute a program, but the series of processing can also be performed by dedicated hardware. is there.

なお、プログラムは、あらかじめメモリ10B(図3)に記憶させておく他、フロッピー(登録商標)ディスク、CD−ROM、MOディスク、DVD、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。そして、このようなリムーバブル記録媒体を、いわゆるパッケージソフトウェアとして提供し、ロボット(メモリ10B)にインストールするようにすることができる。   The program is stored in advance in the memory 10B (FIG. 3), or temporarily or temporarily stored on a removable recording medium such as a floppy (registered trademark) disk, CD-ROM, MO disk, DVD, magnetic disk, or semiconductor memory. It can be stored permanently (recorded). Such a removable recording medium can be provided as so-called package software and installed in the robot (memory 10B).

また、プログラムは、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、無線で転送したり、LAN、インターネットといったネットワークを介して、有線で転送し、メモリ10Bにインストールすることができる。この場合、プログラムがバージョンアップされたとき等に、そのバージョンアップされたプログラムを、メモリ10Bに、容易にインストールすることができる。   Further, the program can be transferred from a download site wirelessly via a digital satellite broadcasting artificial satellite or wiredly via a network such as a LAN or the Internet, and can be installed in the memory 10B. In this case, when the program is upgraded, the upgraded program can be easily installed in the memory 10B.

ここで、本明細書において、CPU10Aに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理も含むものである。また、プログラムは、1つのCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。   Here, in the present specification, the processing steps for describing a program for causing the CPU 10A to perform various types of processing do not necessarily have to be processed in time series in the order described in the flowchart, but in parallel or individually. This includes processing to be executed. Further, the program may be processed by one CPU, or may be processed in a distributed manner by a plurality of CPUs.

本発明によるスピーカ制御装置の一実施形態を示すブロック図である。It is a block diagram which shows one Embodiment of the speaker control apparatus by this invention. 本実施形態のスピーカ制御装置を備えるロボットの外観を示す正面図である。It is a front view which shows the external appearance of a robot provided with the speaker control apparatus of this embodiment. 図2のロボットの電気的構成を示すブロック図である。FIG. 3 is a block diagram illustrating an electrical configuration of the robot of FIG. 2. 図3のコントローラの機能的構成例を示すブロック図である。FIG. 4 is a block diagram illustrating a functional configuration example of a controller in FIG. 3. 実施形態の動作を説明するための図である。It is a figure for demonstrating the operation | movement of embodiment. 実施形態の動作を説明するための図である。It is a figure for demonstrating the operation | movement of embodiment. 実施形態の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of embodiment.

符号の説明Explanation of symbols

101 第一のスピーカ
102 第二のスピーカ
201 人物認識手段
301 配置算出手段
401 動作手段
501 音量補償手段
1 ロボットの胴体部
2 ロボットの頭部
3A、3B ロボットに取り付けられた車輪
10 コントローラ
10A CPU
10B メモリ
11 バッテリ
12 スピーカ
13 マイクロフォン
14A、14B アクチュエータ
15 タッチセンサ
16 スピーカ
21A、21B CCDカメラ
22A、22B アクチュエータ
51A 人物認識部
51B 音声認識部
51C 接触認識部
52 行動決定部
53 制御部
54 音声合成部
55 出力部
56 配置算出部
DESCRIPTION OF SYMBOLS 101 1st speaker 102 2nd speaker 201 Person recognition means 301 Arrangement calculation means 401 Operation means 501 Volume compensation means 1 Robot body part 2 Robot head part 3A, 3B Wheel 10 attached to robot Controller 10A CPU
10B Memory 11 Battery 12 Speaker 13 Microphone 14A, 14B Actuator 15 Touch sensor 16 Speaker 21A, 21B CCD camera 22A, 22B Actuator 51A Person recognition unit 51B Speech recognition unit 51C Contact recognition unit 52 Action determination unit 53 Control unit 54 Speech synthesis unit 55 Output unit 56 Arrangement calculation unit

Claims (7)

第一および第二のスピーカを制御する装置であって、
第一の人の位置と第二の人の位置とを検出する人物認識手段と、
前記人物認識手段により検出された前記第一および第二の人の位置に基づいて、前記第二のスピーカの指向性の範囲内に前記第二の人が入り且つ前記第一の人が入らないような、前記第二のスピーカの位置の範囲を算出する配置算出手段と、
前記配置算出手段により算出された前記第二のスピーカの位置の範囲内に入るように、前記第二のスピーカの位置を変更する動作手段と、
前記第一の人に到達する前記第一のスピーカの音量が所定の範囲内となり、且つ、前記第二の人に到達する前記第二のスピーカの音量が所定の範囲内となるように、前記第一および第二のスピーカの音量を調整する音量補償手段と、
を備えることを特徴とするスピーカ制御装置。
A device for controlling the first and second speakers,
Person recognition means for detecting the position of the first person and the position of the second person;
Based on the positions of the first and second persons detected by the person recognition means, the second person enters the directivity range of the second speaker and the first person does not enter. An arrangement calculating means for calculating the range of the position of the second speaker,
An operation means for changing the position of the second speaker so as to fall within the range of the position of the second speaker calculated by the arrangement calculating means;
The volume of the first speaker reaching the first person is within a predetermined range, and the volume of the second speaker reaching the second person is within a predetermined range. Volume compensation means for adjusting the volume of the first and second speakers;
A speaker control device comprising:
請求項1に記載のスピーカ制御装置において、
前記音量補償手段は、前記第一のスピーカの位置を算出して前記動作手段へ出力し、前記配置算出手段により算出された前記第二のスピーカの位置の範囲内で第二のスピーカの位置を算出して前記動作手段へ出力し、また、前記第一のスピーカの音量と前記第二のスピーカの音量とを変更し、
前記動作手段は、前記音量補償手段から与えられた前記第一および第二のスピーカの位置に関する情報に従って、前記第一および第二のスピーカを移動するスピーカ制御装置。
The speaker control device according to claim 1,
The volume compensation means calculates the position of the first speaker and outputs the position to the operation means, and determines the position of the second speaker within the range of the position of the second speaker calculated by the arrangement calculation means. Calculate and output to the operating means, and change the volume of the first speaker and the volume of the second speaker,
The operating means moves the first and second speakers in accordance with information about the positions of the first and second speakers given from the volume compensation means.
請求項1または2に記載のスピーカ制御装置において、
前記配置算出手段は、前記人物認識手段によって検出された前記第一の人の位置と前記第二の人の位置とから前記第二のスピーカの位置の範囲を算出するときに、前記第二のスピーカの正面が前記第二の人の方向を向き、且つ、前記第二のスピーカが前記第二の人の正面方向から左右に所定の角度範囲内に存在するという前提で、前記第一の人が前記第二のスピーカの指向性の範囲内に入らないような、前記第二のスピーカの位置の範囲を算出するスピーカ制御装置。
The speaker control device according to claim 1 or 2,
The arrangement calculating means calculates the second speaker position range from the position of the first person and the position of the second person detected by the person recognition means. Assuming that the front of the speaker faces the direction of the second person and that the second speaker exists within a predetermined angular range from the front direction of the second person to the left and right, the first person A speaker control device that calculates a range of the position of the second speaker such that does not fall within the directivity range of the second speaker.
請求項1乃至3いずれかに記載のスピーカ制御装置において、
前記第二のスピーカの指向性の向きが可変であり且つ指向性の範囲が可変であり、
前記配置算出手段は、前記第二のスピーカの指向性の範囲に前記第二の人が入り且つ前記第一の人が入らないような、前記第二のスピーカの位置、指向性の向きおよび指向性の範囲を算出するスピーカ制御装置。
The speaker control device according to any one of claims 1 to 3,
The direction of directivity of the second speaker is variable and the range of directivity is variable,
The arrangement calculating means is arranged such that the position of the second speaker, the direction of the directivity and the directivity so that the second person enters the directivity range of the second speaker and the first person does not enter. Speaker control device for calculating the range of the sex.
請求項1乃至4いずれかに記載のスピーカ制御装置と、
前記スピーカ制御装置によって制御される前記第一および第二のスピーカと、
を備えることを特徴とするロボット。
A speaker control device according to any one of claims 1 to 4;
The first and second speakers controlled by the speaker control device;
A robot characterized by comprising:
第一および第二のスピーカを制御する方法であって、
第一の人の位置と第二の人の位置とを検出する人物認識ステップと、
前記人物認識ステップにおいて検出された前記第一および第二の人の位置に基づいて、前記第二のスピーカの指向性の範囲内に前記第二の人が入り且つ前記第一の人が入らないような、前記第二のスピーカの位置の範囲を算出する配置算出ステップと、
前記配置算出ステップにおいて算出された前記第二のスピーカの位置の範囲内に入るように、前記第二のスピーカの位置を変更する動作ステップと、
前記第一の人に到達する前記第一のスピーカの音量が所定の範囲内となり、且つ、前記第二の人に到達する前記第二のスピーカの音量が所定の範囲内となるように、前記第一および第二のスピーカの音量を調整する音量補償ステップと、
を含むことを特徴とするスピーカ制御方法。
A method for controlling first and second speakers, comprising:
A person recognition step for detecting the position of the first person and the position of the second person;
Based on the positions of the first and second persons detected in the person recognition step, the second person enters the directivity range of the second speaker and the first person does not enter. An arrangement calculating step for calculating the range of the position of the second speaker,
An operation step of changing the position of the second speaker so as to fall within the range of the position of the second speaker calculated in the arrangement calculating step;
The volume of the first speaker reaching the first person is within a predetermined range, and the volume of the second speaker reaching the second person is within a predetermined range. A volume compensation step for adjusting the volume of the first and second speakers;
The speaker control method characterized by including.
第一および第二のスピーカを制御するプログラムであって、
第一の人の位置と第二の人の位置とを検出する人物認識ステップと、
前記人物認識ステップにおいて検出された前記第一および第二の人の位置に基づいて、前記第二のスピーカの指向性の範囲内に前記第二の人が入り且つ前記第一の人が入らないような、前記第二のスピーカの位置の範囲を算出する配置算出ステップと、
前記配置算出ステップにおいて算出された前記第二のスピーカの位置の範囲内に入るように、前記第二のスピーカの位置を変更する動作ステップと、
前記第一の人に到達する前記第一のスピーカの音量が所定の範囲内となり、且つ、前記第二の人に到達する前記第二のスピーカの音量が所定の範囲内となるように、前記第一および第二のスピーカの音量を調整する音量補償ステップと、
をコンピュータに実行させることを特徴とするスピーカ制御プログラム。
A program for controlling the first and second speakers,
A person recognition step for detecting the position of the first person and the position of the second person;
Based on the positions of the first and second persons detected in the person recognition step, the second person enters the directivity range of the second speaker and the first person does not enter. An arrangement calculating step for calculating the range of the position of the second speaker,
An operation step of changing the position of the second speaker so as to fall within the range of the position of the second speaker calculated in the arrangement calculating step;
The volume of the first speaker reaching the first person is within a predetermined range, and the volume of the second speaker reaching the second person is within a predetermined range. A volume compensation step for adjusting the volume of the first and second speakers;
Is executed by a computer.
JP2007032480A 2007-02-13 2007-02-13 Loudspeaker controller, robot, loudspeaker control method and loudspeaker control program Pending JP2008197381A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007032480A JP2008197381A (en) 2007-02-13 2007-02-13 Loudspeaker controller, robot, loudspeaker control method and loudspeaker control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007032480A JP2008197381A (en) 2007-02-13 2007-02-13 Loudspeaker controller, robot, loudspeaker control method and loudspeaker control program

Publications (1)

Publication Number Publication Date
JP2008197381A true JP2008197381A (en) 2008-08-28

Family

ID=39756383

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007032480A Pending JP2008197381A (en) 2007-02-13 2007-02-13 Loudspeaker controller, robot, loudspeaker control method and loudspeaker control program

Country Status (1)

Country Link
JP (1) JP2008197381A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017164871A (en) * 2016-03-18 2017-09-21 株式会社国際電気通信基礎技術研究所 Humanoid robot system
CN114866639A (en) * 2022-04-29 2022-08-05 维沃移动通信有限公司 Electronic equipment, control method and device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017164871A (en) * 2016-03-18 2017-09-21 株式会社国際電気通信基礎技術研究所 Humanoid robot system
CN114866639A (en) * 2022-04-29 2022-08-05 维沃移动通信有限公司 Electronic equipment, control method and device
WO2023207841A1 (en) * 2022-04-29 2023-11-02 维沃移动通信有限公司 Electronic device, and control method and apparatus

Similar Documents

Publication Publication Date Title
TWI840587B (en) Multi-modal user interface
JP5456832B2 (en) Apparatus and method for determining relevance of an input utterance
JP2021520141A (en) Intelligent beam steering in a microphone array
US20120027226A1 (en) System and method for providing focused directional sound in an audio system
JP2009514312A (en) Hearing aid with acoustic tracking means
US11568566B2 (en) Aligning vision-assist device cameras based on physical characteristics of a user
JP2007221300A (en) Robot and control method of robot
JP4622384B2 (en) ROBOT, ROBOT CONTROL DEVICE, ROBOT CONTROL METHOD, AND ROBOT CONTROL PROGRAM
US20200174735A1 (en) Wearable audio device capability demonstration
US12058495B2 (en) Using a camera for hearing device algorithm training
US11438710B2 (en) Contextual guidance for hearing aid
JP2017011699A (en) In situ optimization for hearing aid based on capability
JP2023514462A (en) Hearing aid system that can be integrated into the spectacle frame
JPWO2008001492A1 (en) Robot, robot control method, and robot control program
JP5206151B2 (en) Voice input robot, remote conference support system, and remote conference support method
JP2006243555A (en) Response determination system, robot, event output server, and response determining method
JP2008197381A (en) Loudspeaker controller, robot, loudspeaker control method and loudspeaker control program
JP6719140B1 (en) Neck hanging device
JP2012205242A (en) Electronic device and information transfer system
JP4655572B2 (en) Signal processing method, signal processing apparatus, and robot
CN206711603U (en) Electronic equipment
JP2012232352A (en) Communication robot
JP7118456B2 (en) Neck device
JP2022060288A (en) Control device, robot, control method, and program
JP2024504379A (en) Head-mounted computing device with microphone beam steering