JP2005202578A - Communication device and communication method - Google Patents

Communication device and communication method Download PDF

Info

Publication number
JP2005202578A
JP2005202578A JP2004006792A JP2004006792A JP2005202578A JP 2005202578 A JP2005202578 A JP 2005202578A JP 2004006792 A JP2004006792 A JP 2004006792A JP 2004006792 A JP2004006792 A JP 2004006792A JP 2005202578 A JP2005202578 A JP 2005202578A
Authority
JP
Japan
Prior art keywords
potential energy
communication
unit
distributed
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004006792A
Other languages
Japanese (ja)
Inventor
Miwako Doi
美和子 土井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2004006792A priority Critical patent/JP2005202578A/en
Publication of JP2005202578A publication Critical patent/JP2005202578A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a communication device for quantitatively analyzing surrounding circumstances by using the potential energy of objective equipment or human beings to correspond to various circumstances. <P>SOLUTION: This communication device is constituted of: a distributed sensor information DB111 which stores sensor information from a plurality of sensors by correlating them to sensor classifications or attributes; a distributed environment action processing part 102 for performing recognition processing on the basis of the sensor information stored in the distributed sensor information DB; a potential energy calculating part 104 for calculating the potential energy on the basis of the recognition result of the distributed environment action processing part 102; and a communication control part 105 for performing communication control on the basis of the potential energy calculated by the potential energy calculating part 104. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は分散した多種のセンサなどにより取得したセンサ情報を位置エネルギー関数で統合し、多様なコミュニケーションを実現するコミュニケーション装置に関する。 The present invention relates to a communication apparatus that integrates sensor information acquired by various distributed sensors and the like with a potential energy function to realize various communications.

キーボードやマウスを使って画面上のアイコンやメニューをポインティングすることで操作をおこなうGUI(Graphical User Interface)は、オフィスにおける生産効率向上に大きく貢献した。これに対し、家庭などでキーボードやマウスなどを用いることなく、ジェスチャや自然言語を用いた人間にとって自然な対話を行いたいという要求がある。   The GUI (Graphical User Interface), which operates by pointing icons and menus on the screen using a keyboard and mouse, has greatly contributed to improving production efficiency in the office. On the other hand, there is a demand for natural dialogue for humans using gestures and natural language without using a keyboard or mouse at home.

この要求にこたえるために、自然言語を用いて質問応答を行うシステムやジェスチャを用いたロボットとの対話システムなどが開発されている(例えば、非特許文献1を参照)。   In order to respond to this request, a system that performs a question response using a natural language, a dialogue system with a robot using a gesture, and the like have been developed (for example, see Non-Patent Document 1).

しかし、これらの対話システムでは、あらかじめ何を話すか決めうちになっており、状況に対応した対話が難しい。また、情報家電などのネットワークでつなぐことで情報提供サービスを行うような技術も開発されてきているが、これらも予めどのようなサービスを提供するのか決まっており、機能を組み合わせることで新たなサービス等を生み出すような仕組みはない。   However, in these dialogue systems, it is already decided what to speak, and it is difficult to communicate according to the situation. Further, although also techniques such as provide information services have been developed by connecting a network, such as information appliances, they are also determined whether to provide advance what services, new services by combining function There is no mechanism to create

知能ロボットへの構成論的アプローチ(情報処理学会誌Vo.44、No.11、PP1118-1122)A constructive approach to intelligent robots (Information Processing Society of Japan Vo.44, No.11, PP1118-1122)

上記説明したように、質問文応答などの対話制御に行うシステムでは、話す内容が予め決められており、変化のない応答しかできないという問題がある。また、情報提供サービス等でも予めどのようなサービスを行うようにしているか決まっており、決められた以外の状況に応じたサービス等を生み出すような仕組みはなかった。   As described above, in a system for interactive control such as question response, there is a problem in that the content to be spoken is determined in advance and only a response with no change can be made. In addition, a fixed or is to perform also in advance what services information providing service or the like, there was no mechanism that creates the service according to the situation other than that determined like.

本発明は、上記問題を解決するものであって、対象の位置エネルギーを用いて周囲状況を定量的に解析することで、さまざまな状況に対応できるコミュニケーション装置を提供することを目的とする。   The present invention solves the above problem, and an object of the present invention is to provide a communication device that can cope with various situations by quantitatively analyzing the surrounding situation using the potential energy of the target.

上記目的を達成するために、本発明に係るコミュニケーション装置は、複数センサからのセンサ情報をセンサ種別や属性により対応させて記憶する分散センサ記憶部と、前記分散センサ記憶部に記憶されているセンサ情報に基づき認識処理を行う分散環境行動処理部と、前記分散環境行動処理部の認識結果に基づいて位置エネルギーを算出する位置エネルギー算出部と、前記位置エネルギー算出部が算出される位置エネルギーをもとにコミュニケーション制御を行うコミュニケーション制御部とを備えることを特徴とする。   In order to achieve the above object, a communication device according to the present invention includes a distributed sensor storage unit that stores sensor information from a plurality of sensors in association with sensor types and attributes, and a sensor stored in the distributed sensor storage unit. A distributed environment behavior processing unit that performs recognition processing based on information; a potential energy calculation unit that calculates potential energy based on a recognition result of the distributed environment behavior processing unit; and a potential energy that is calculated by the potential energy calculation unit. And a communication control unit for performing communication control.

また、本発明に係るコミュニケーション方法は、分散センサ記憶部により複数センサからのセンサ情報をセンサ種別や属性により対応させて記憶し、分散環境行動処理部により前記分散センサ記憶部に記憶されているセンサ情報に基づき認識処理を行い、位置エネルギー算出部により前記分散環境行動処理部の認識結果に基づいて位置エネルギーを算出し、コミュニケーション制御部により前記位置エネルギーをもとにコミュニケーション制御を行うことを特徴とする。   In the communication method according to the present invention, the sensor information from a plurality of sensors is stored in correspondence with the sensor type and attribute by the distributed sensor storage unit, and the sensor stored in the distributed sensor storage unit by the distributed environment action processing unit is stored. A recognition process is performed based on information, a potential energy is calculated based on a recognition result of the distributed environment behavior processing unit by a potential energy calculation unit, and communication control is performed based on the potential energy by a communication control unit. To do.

本発明によれば、対象となる機器やヒトの位置エネルギーを用いて周囲状況を定量的に解析することで、種々の状況に対応し、更に新規センサや機器の導入に対しても逐次適応することができる。   According to the present invention, it is possible to deal with various situations by quantitatively analyzing the surrounding situation using the target device and human potential energy, and further adapts sequentially to the introduction of new sensors and devices. be able to.

本発明の実施の形態について図面を用いて説明する。図1は実施の形態のコミュニケーション装置の構成概略を示したブロック図である。
本実施の形態のコミュニケーション装置は、RF(Radio Frequency)タグ、光センサ、あるいはマイクロフォン(以下マイクと称する)、カメラなどの複数の分散するセンサから構成されるセンサ入力部101と、センサ入力部101から入力されたセンサ情報とその認識結果とを格納する分散環境行動DB(DataBase)110と、センサ入力部101からの情報を音声認識、画像認識、あるいは無線の強度による位置同定などの種々の処理をおこなう分散環境行動処理部102と、センサ入力部101からのセンサ情報あるいは分散環境行動DB110に格納された情報をもとに、位置エネルギーを算出する位置エネルギー算出部104と、コミュニケーション効果時間によりコミュニケーションを評価するコミュニケーション評価部103と、分散環境行動DB110に格納された情報および位置エネルギー算出部104で算出された位置エネルギーをもとに、コミュニケーション制御を行うコミュニケーション制御部105と、コミュニケーション制御部105の制御に基づきユーザに提示するコミュニケーションの生成を行うコミュニケーション生成部106と、コミュニケーション生成部106の生成結果を、ロボットが提示できるメディアに変換する表現メディア変換部107と、表現メディア変換部107の変換結果を提示するコミュニケーション提示部108とから構成されている。
Embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of a communication apparatus according to an embodiment.
The communication apparatus according to the present embodiment includes a sensor input unit 101 including a plurality of distributed sensors such as an RF (Radio Frequency) tag, an optical sensor, a microphone (hereinafter referred to as a microphone), and a camera, and a sensor input unit 101. Distributed environment action DB (DataBase) 110 that stores sensor information input from the sensor and its recognition result, and various processes such as voice recognition, image recognition, or position identification based on wireless strength for information from the sensor input unit 101 Communicates with the distributed energy behavior processing unit 102, the potential energy calculation unit 104 that calculates the potential energy based on the sensor information from the sensor input unit 101 or the information stored in the distributed environment behavior DB 110, and the communication effect time. Community to evaluate Based on the information stored in the communication evaluation unit 103, the information stored in the distributed environment behavior DB 110 and the potential energy calculated by the potential energy calculation unit 104, the communication control unit 105 that performs communication control, and the control of the communication control unit 105 A communication generation unit 106 that generates a communication to be presented to the user, an expression media conversion unit 107 that converts a generation result of the communication generation unit 106 into media that can be presented by the robot, and a conversion result of the expression media conversion unit 107 are presented. The communication presentation part 108 is comprised.

図2は、家庭にセンサ入力部101が複数設置されている様子を示している。家庭に設置されるセンサとしては煙センサ、温度センサ、歪センサ、圧力センサなど種々のものがあるが、ここでは、説明に用いるRFタグ及び光センサ等を用いる位置センサ、カメラ、及びマイクのみを記している。   FIG. 2 shows a state in which a plurality of sensor input units 101 are installed in the home. There are various sensors such as smoke sensors, temperature sensors, strain sensors, pressure sensors, etc. installed in homes. Here, only position sensors, cameras, and microphones using RF tags and optical sensors used for explanation are used. It is written.

例えば、1Fの浴室には見守り役のロボットA(201)、2Fの居間には話し相手のロボットB(202)、外部には番犬の役目を果たすロボットC(203)がいる。これらロボットA〜C(201〜203)には、移動する際に必要な障害物を検出するための超音波センサや赤外線センサなどの種々のセンサがついているが、ここでは説明に用いるカメラ、マイク等のセンサのみ記している。   For example, in the bathroom on the first floor, there is a watching robot A (201), in the living room on the second floor, there is a robot B (202) as a talking partner, and on the outside there is a robot C (203) serving as a watchdog. These robots A to C (201 to 203) are provided with various sensors such as an ultrasonic sensor and an infrared sensor for detecting an obstacle necessary for movement. Only such sensors are shown.

いずれのロボットにも、ヒトの顔かどうか、あるいは見分けた顔で個人認証したり、あるいは顔向きを検出したり、あるいは動物体があるかどうかなどの状況を識別するためカメラ(動画カメラ)2012、2022、2032がついている。カメラ2012、2022、2032は、すべておなじ規格である必要はない。例えば、ロボットC201は監視することが目的であるので、カメラ2032は夜間でも使用できる赤外線カメラ、あるいは高速に移動する動物体を見分けるための60枚/秒以上での撮影ができる高速度撮影カメラを用いることも可能である(通常のカメラは30枚/秒程度)。また、ロボットA(201)やロボットB(203)は、ヒトと対話することが目的なので、ステレオタイプカメラ(2眼)にして距離を見分けるとともに、2眼にすることで、対応するヒトからみると2つの目との対話になるので、安心できるようにすることもある。あるいは、ロボットA201のように子守が役目の場合には、子供と対応するので、耐水性があるカメラなどを用いるようにしてもよい。一つのロボットが複数のカメラを有して、例えば昼間は高照度なので、通常のカメラ、夜間は低照度なので、赤外線カメラと使いわけることも可能である。さらに、カメラの解像度についてもロボット毎に高解像度カメラ、あるいは低解像度カメラにするといった使い分けすることも可能である。省電のために、赤外センサなどと組み合わせて動きがあるときのみ撮像するようにした監視カメラ等を用いるようにしてもよい。このような使い分けなどは、家庭の部屋に設置されているカメラ1011−Bやカメラ1013−Bについても同様である。   Each robot has a camera (video camera) 2012 for identifying the situation such as whether it is a human face, personal authentication with a recognized face, detection of face orientation, or whether there is a moving object. 2022 and 2032 are attached. The cameras 2012, 2022, and 2032 need not all be the same standard. For example, since the robot C201 is intended for monitoring, the camera 2032 is an infrared camera that can be used at night, or a high-speed shooting camera that can shoot at 60 frames / second or more for distinguishing moving objects moving at high speed. It is also possible to use it (a normal camera has about 30 frames / second). In addition, since robot A (201) and robot B (203) are for the purpose of interacting with humans, a stereotype camera (two eyes) is used to distinguish distances, and by using two eyes, the corresponding humans can see. Because it is a dialogue between the two eyes, there are times when it can be relieved. Alternatively, when a lullaby is a role like the robot A201, it corresponds to a child, so a water-resistant camera or the like may be used. One robot has a plurality of cameras. For example, since it has high illuminance during the daytime, it can be used as an ordinary camera, and at night, it can be used as an infrared camera. Further, the resolution of the camera can be properly used for each robot, such as a high resolution camera or a low resolution camera. In order to save power, a surveillance camera or the like that captures an image only when there is movement may be used in combination with an infrared sensor or the like. Such proper use is the same for the camera 1011 -B and the camera 1013 -B installed in the home room.

例えば、居間に設置されたカメラ1013−Aが撮像した結果は、センサ入力部101からのセンサ情報として、センサの精度とともに蓄積する分散環境行動DB110のうちの分散センサ情報DB111に蓄積される。分散センサ情報DB111に蓄積される情報形式は図3のようになる。   For example, the result captured by the camera 1013 -A installed in the living room is stored as sensor information from the sensor input unit 101 in the distributed sensor information DB 111 of the distributed environment behavior DB 110 that is stored together with the accuracy of the sensor. The information format stored in the distributed sensor information DB 111 is as shown in FIG.

カメラやマイク、その他のセンサすべてに関して、一意に定まっている機械(MAC)アドレスなどのセンサID、センサ名、センサの性能や機能などを参照するときに必要となるので、カタログ参照DBでのID、センサが設置されている場所、センサが取得するデータ種類、データの次元、データの精度、センサデータ取得のサンプリングレート、記録開始日時、取得データの単位、取得したデータのラベルとが冒頭に記述されている。データの精度やデータの単位は、データの次元に応じて記述されている。   For all cameras, microphones, and other sensors, this is necessary when referring to a unique sensor ID (such as a machine (MAC) address), sensor name, sensor performance, or function. , The location where the sensor is installed, the type of data acquired by the sensor, the dimension of the data, the accuracy of the data, the sampling rate for sensor data acquisition, the recording start date and time, the unit of the acquired data, and the label of the acquired data are described at the beginning Has been. The accuracy of data and the unit of data are described according to the dimension of the data.

続いて<body>と</body>にはさまれた部分にデータ本体が記述されている。この場合、カメラが撮像したデータはたとえば、30フレーム/秒の画像データである。通常のビデオカメラであれば、画像は640画素x480画素の2次元データである。しかし、1枚のフレームは1つのまとまりであるので、データの次元としては1次元で、サンプリングレートは1/30となっている。個々のデータは、たとえば<body>に記述されているように、MPEG2(Motion Picture Expert Group)で圧縮されたファイルとなっており、そのファイル名とそれぞれのファイルの末尾でのタイムスタンプが記述されている。   Next, the data body is described in the part between <body> and </ body>. In this case, the data captured by the camera is, for example, image data of 30 frames / second. In the case of a normal video camera, the image is two-dimensional data of 640 pixels × 480 pixels. However, since one frame is a single unit, the data dimension is one dimension and the sampling rate is 1/30. Each data is a file compressed by MPEG2 (Motion Picture Expert Group) as described in <body>, for example, and the file name and the time stamp at the end of each file are described. ing.

ここでは、例えばMPEG2ファイルで蓄積しているが、必ずしもこれに限られる必要はない。例えば、MotionJPEG、JPEG2000、avi、MPEG1、MPEG4、あるいはDVなど種々の動画像対応フォーマットがあり、どのようなフォーマットでも適用できる。   Here, for example, it is stored as an MPEG2 file, but it is not necessarily limited to this. For example, there are various moving image compatible formats such as Motion JPEG, JPEG2000, avi, MPEG1, MPEG4, and DV, and any format can be applied.

ところで、精度は1次元であるので、<accurate-x>のみが記述されていて、ここでは1.0となっている。つまり、カメラを設定したときの状態で撮像が行われていることを示している。この精度は、例えば照度不足なのにフラッシュが使えない、直射日光が直接降り注ぎ逆光になっている、あるいは充電不足等、カメラがカタログ値とおりの性能で撮像できないときには、この精度は1.0より小さな値となる。   By the way, since the accuracy is one-dimensional, only <accurate-x> is described, and is 1.0 here. That is, it shows that the image is being taken in the state when the camera is set. This accuracy is less than 1.0 when the camera cannot capture images with the performance of the catalog value, such as when the illumination is insufficient but the flash cannot be used, direct sunlight falls directly into the backlight, or charging is insufficient. It becomes.

また、ロボットA〜C(201〜203)には、ヒトの声で個人認証したり、あるいは動物体などあるかどうかなどの状況を識別するためのマイク2013、2023、2033がついている。マイクついてもカメラと同様に、同一規格のマイクを用いる必要はない。   In addition, the robots A to C (201 to 203) are provided with microphones 2013, 2023, and 2033 for personal identification with a human voice or for identifying the situation such as the presence of a moving object. As with the camera, there is no need to use the same standard microphone.

例えば、2本のマイクを用いることで指向性を高めたマイクアレイを用いて、ある一定範囲の音だけ集音するようにしてもよい。あるいは、省電のために、赤外センサなどと組み合わせて動きがあるときのみ集音するようにした集音マイクを用いることも可能である。このような使い分けなどは、家庭の部屋に設置されているマイク1011−Cやマイク1013−Cについても同様である。 For example, only a certain range of sounds may be collected by using a microphone array with enhanced directivity by using two microphones. Alternatively, in order to save power, it is also possible to use a sound collection microphone that collects sound only when there is movement in combination with an infrared sensor or the like. Such proper use is the same for the microphone 1011 -C and the microphone 1013 -C installed in the home room.

例えば、居間に設置されたマイク1013−Cが集音した結果は、センサ入力部101からのセンサ情報として、センサの精度とともに蓄積する分散環境行動DB110のうちの分散センサ情報DB111に蓄積される。分散センサ情報DB111に蓄積される情報形式は図4のようになる。   For example, the result of sound collection by the microphone 1013 -C installed in the living room is stored as sensor information from the sensor input unit 101 in the distributed sensor information DB 111 in the distributed environment action DB 110 that is stored together with the accuracy of the sensor. The information format stored in the distributed sensor information DB 111 is as shown in FIG.

図4の情報形式は、図3の情報形式と同様である。異なっている点は、上述したカメラの場合は、MPEGファイル等であったのに、ここでは音データのフォーマットであるwav形式となっている。例として、wavフォーマットになっているが、かならずしもこれに限られる必要はない。例えばMPEGフォーマット(MP3)など、動画像と同様にどのようなフォーマットであってもよい。   The information format of FIG. 4 is the same as the information format of FIG. The difference is that in the case of the above-described camera, although it was an MPEG file or the like, here it is in the wav format which is the format of the sound data. As an example, the wav format is used, but it is not necessarily limited to this. For example, any format such as MPEG format (MP3) may be used as in the case of moving images.

精度は、1次元であるので<accurate-x>のみが記述されていて、ここでは1.0となっている。つまりマイクを設定したときの状態で集音が行われていることを示している。この精度は、例えば充電不足など、マイクがカタログ値とおりの性能で撮像できないときには、この精度は1.0より小さな値になる。   Since the accuracy is one-dimensional, only <accurate-x> is described, and is 1.0 here. In other words, it indicates that sound is being collected when the microphone is set. This accuracy is a value smaller than 1.0 when the microphone cannot capture images with the performance as in the catalog value, such as insufficient charging.

センサとしては、図2にカメラやマイク以外に位置センサ1011−A、1012−A、1013−Aが設置されている。位置センサにはいろいろな形式があるが、ここでは、例えばロボットA〜C(201〜203)、あるいはヒトA〜Dは、RFIDなどの無線タグを持っており、その微弱電波を位置センサ1011−A、1012−A、1013−Aが検知する方式とする。無線タグにも自ら電波を発するアクティブ方式と、自ら電波を発せず、位置センサのゲートに近づいたときに電磁誘導により電波を発生するパッシブ方式とがある。ここでは、アクティブ方式の無線タグをロボットA〜C(201〜203)、あるいはヒトA〜Dのそれぞれが身に付けているとする。ヒトの場合には、たとえば、室内履きなどに無線タグを付けておけば、本人は付けていることを意識せず、負担に感じることはない。但し、室内履きを必ずしも履かないこともあるので、その場合には、ヒトの位置の確信度として、1.0より低い値となる。   As sensors, position sensors 1011 -A, 1012 -A, and 1013 -A are installed in FIG. 2 in addition to the camera and the microphone. There are various types of position sensors. Here, for example, the robots A to C (201 to 203) or the humans A to D have radio tags such as RFID, and the position sensor 1011- A, 1012-A, and 1013-A detect. There are an active method for emitting radio waves to the wireless tag and a passive method for generating radio waves by electromagnetic induction when the radio tag approaches the gate of the position sensor without emitting radio waves by itself. Here, it is assumed that each of the robots A to C (201 to 203) or the humans A to D wears an active wireless tag. In the case of a human being, for example, if a wireless tag is attached to indoor wear, the person is not conscious of wearing it and does not feel burdened. However, since indoor footwear may not necessarily be worn, in that case, the human position certainty is a value lower than 1.0.

居間にある位置センサ1013−Aが検知した結果は、センサ入力部101からのセンサ情報として、センサの精度とともに蓄積する分散環境行動DB110のうちの分散センサ情報DB111に蓄積される。分散センサ情報DB111に蓄積される情報形式は図5のようになる。   The result detected by the position sensor 1013 -A in the living room is accumulated as sensor information from the sensor input unit 101 in the distributed sensor information DB 111 of the distributed environment behavior DB 110 that is accumulated together with the accuracy of the sensor. The information format stored in the distributed sensor information DB 111 is as shown in FIG.

図5の情報形式は、図3または図4の情報形式とほぼ同様である。異なっている点は、データ2次元であることと、データが音や画像のように大容量ではないので直接<body>内に記述されていることである。   The information format of FIG. 5 is almost the same as the information format of FIG. 3 or FIG. The difference is that the data is two-dimensional, and that the data is not as large as a sound or an image, so it is described directly in <body>.

データとしては、電波を検知した無線タグの番号とそのときの電波強度の2種になっている。無線タグ番号はここでは、わかりやすくするために、ヒトAが付けている無線タグの番号は「XXXヒトA」、ロボットB(202)が付けている無線タグ番号は「XXXロボB」と記述している。一方の電波強度は、位置センサが取得する電波強度を0〜255までの256段階で正規化した時の値となっている。但し、255を表す電波強度が一番強く、最も近い場所に存在し、それに対して低い値ほど遠くなる。電波強度は距離の二乗に反比例するので、256段階は線形ではなく、大きな値ほど範囲が狭く、小さい値ほど広い範囲が含まれる。   There are two types of data: the number of the wireless tag that detected the radio wave and the radio wave intensity at that time. In order to make the wireless tag number easy to understand, the wireless tag number assigned by human A is described as “XXX human A”, and the wireless tag number provided by robot B (202) is described as “XXX robot B”. doing. One radio wave intensity is a value obtained by normalizing the radio wave intensity acquired by the position sensor in 256 levels from 0 to 255. However, the radio wave intensity representing 255 is the strongest and exists in the nearest place, and the lower the value, the farther away. Since the radio wave intensity is inversely proportional to the square of the distance, the 256 levels are not linear, and the range is narrower as the value is larger, and the wider range is included as the value is smaller.

図2のように居間にヒトA〜CとロボットB(202)と複数の無線タグが存在する場合、位置センサ1013−Aはすべての無線タグを同時に検知している訳ではなく、順次検知している。よって、図5に示すように、検知した結果は時系列に記述されている。この場合、ヒトBやヒトCは位置センサ1013−Aより遠いところにいるので、電波が弱いために必ず電波が届くわけではない。そのため検知されない場合もあり、図5に示されているように、ヒトAやロボットB(202)が検知される回数の方が多い。また、場合によっては、図5にあるように外にいるロボットC(203)が検知されてしまうこともある。従って、検知した無線タグIDに関しての、精度は1.0以下である。ここでは、このセンサの精度は0.8となっている。   As shown in FIG. 2, when there are humans A to C, the robot B (202), and a plurality of wireless tags in the living room, the position sensor 1013-A does not detect all the wireless tags at the same time, but sequentially detects them. ing. Therefore, as shown in FIG. 5, the detected results are described in time series. In this case, since the human B and the human C are located far from the position sensor 1013-A, the radio waves do not necessarily reach because the radio waves are weak. Therefore, it may not be detected, and as shown in FIG. 5, the number of times human A or robot B (202) is detected is larger. In some cases, the robot C (203) outside may be detected as shown in FIG. Therefore, the accuracy with respect to the detected wireless tag ID is 1.0 or less. Here, the accuracy of this sensor is 0.8.

無線タグは、例えばカタログで通信距離10mとなっているときには、最低10mは検知可能ということである。最低10mということは、10m以上電波が届くということであり、事実上40mまで検知可能な場合もある。さらに、実際には、アンテナ取り付け向きなどの電波の届く距離には、個体差がある。そこで、y軸(2次元データのうちの2番目のデータ)の範囲としては、例えば、8〜40mとなっている。最低が8mとなっているのは、10mが最低といっても実際に居間にすえつけた時に計測したデータで最低が8mとなったことを示している。   For example, when the wireless tag has a communication distance of 10 m in the catalog, it can be detected at least 10 m. The minimum 10 m means that radio waves reach 10 m or more, and there are cases where detection is practically possible up to 40 m. Furthermore, in practice, there are individual differences in the distance that radio waves reach such as the direction of antenna attachment. Therefore, the range of the y-axis (second data of the two-dimensional data) is, for example, 8 to 40 m. The minimum of 8 m indicates that even if 10 m is the minimum, the minimum is 8 m in the data measured when the living room was actually installed.

電波強度Iは Radio wave intensity I is

Figure 2005202578
Figure 2005202578

kは係数
rが距離
但し、この場合電波強度Iは256段階となっている。
さらに、位置センサは温度や部屋にいる人数などによって電波の届き方が変動することを考慮して、ここでは距離に関する精度0.6としている。
ここでは、特に触れないが、他のセンサ情報に関しても図3〜図5と同様に、分散センサ情報DB111に蓄積されている。
分散環境行動処理部102は、逐次分散センサ情報DB111に蓄積される情報を読み出し、ヒトとモノの情報にわけ、また適切な認識処理を行い、センサ情報の精度をもとに、位置エネルギー算出部104の算出した位置エネルギーとあわせて、モノにかかわる位置や姿勢、モノの状態(移動中など)を分散環境情報DB112に、ヒトにかかわる位置や姿勢、歩行や安静などの基本的な動作情報を分散状態情報DB113へ書き込む。
k is a distance with a coefficient r. In this case, the radio wave intensity I has 256 levels.
Further, the position sensor is assumed to have a distance accuracy of 0.6 here in consideration of fluctuations in the way radio waves reach depending on the temperature and the number of people in the room.
Here, although not particularly mentioned, other sensor information is also stored in the distributed sensor information DB 111 as in FIGS.
The distributed environment behavior processing unit 102 sequentially reads information stored in the distributed sensor information DB 111, divides the information into human and thing information, performs appropriate recognition processing, and based on the accuracy of the sensor information, the potential energy calculation unit In addition to the calculated potential energy of 104, the position and posture related to the object, the state of the object (moving, etc.) in the distributed environment information DB 112, the basic movement information such as the position and posture related to humans, walking and rest Write to the distributed state information DB 113.

さらに、分散センサ情報DB111と分散状態情報DB112、分散状態情報DB113の情報を読み出し、適切な認識処理を行い、読み出したセンサ精度や位置エネルギーを基に、位置エネルギー算出部104の算出した位置エネルギーとあわせて、睡眠や食事、TV視聴、入浴、料理などの行動を分散行動情報DB114に書き込む。   Further, the information of the distributed sensor information DB 111, the distributed state information DB 112, and the distributed state information DB 113 is read out, and appropriate recognition processing is performed. Based on the read sensor accuracy and potential energy, the potential energy calculated by the potential energy calculation unit 104 and In addition, actions such as sleeping, eating, watching TV, bathing, cooking, etc. are written in the distributed action information DB 114.

さらに、分散センサ情報DB111と分散状態情報DB112、分散状態情報DB113、分散行動情報DB114の情報を読み出し、適切な認識処理を行い、読み出したセンサ精度や位置エネルギーを基に、位置エネルギー算出部104の算出した位置エネルギーとあわせて、ヒトが例えば、TVを視聴している場合には、ヒトがTVサービスを利用していることをヒトとサービスのインタラクションDB115に、ヒトが皿をしまったといったヒトとモノの関わりをヒトとモノのインタラクションDB116に、家族が話しているといったヒトとヒトの関わりをインタラクションDB117に書き込んでいく。   Further, the information of the distributed sensor information DB 111, the distributed state information DB 112, the distributed state information DB 113, and the distributed behavior information DB 114 is read out, and appropriate recognition processing is performed. Based on the read sensor accuracy and potential energy, the potential energy calculation unit 104 In combination with the calculated potential energy, for example, when a human is watching TV, the fact that the human is using the TV service is stored in the interaction DB 115 of the human and the service. The relationship between things is written in the interaction DB 116 between people and things, and the relationship between people such as a family talking is written in the interaction DB 117.

以下に、図3、図4、図5に例示した分散センサ情報をもとに、どのように位置エネルギーを算出しつつ、分散環境行動DB110に対して編集を行っていくかを説明する。図6に示したように、分散環境行動処理部102は、存在するヒトが家人かどうかを認証する個人認証部1021と、その動作を認識するための動作認識部1024と、行動を認識するための行動認識部1045と、状況を認識するための状況認識部1046と、モノやサービスなどの環境を認識するための環境認識部1047と、さらにこれらのもととなる認識処理を行う画像認識部1022と、音声認識部1023から構成されている。   Hereinafter, how to edit the distributed environment behavior DB 110 while calculating the potential energy based on the distributed sensor information illustrated in FIGS. 3, 4, and 5 will be described. As shown in FIG. 6, the distributed environment behavior processing unit 102 recognizes whether or not a person is an resident, a personal authentication unit 1021, a motion recognition unit 1024 for recognizing the motion, and a behavior recognition. Action recognition unit 1045, a situation recognition unit 1046 for recognizing a situation, an environment recognition unit 1047 for recognizing an environment such as an object or a service, and an image recognition unit for performing recognition processing based on these 1022 and a voice recognition unit 1023.

図5から、位置センサにより、ヒトA、ヒトB、ロボットB(202)が検知されていることがわかる。
「XXXヒトA 200」
「XXXヒトB
10」
「XXXロボB 100」
この情報に基づき、位置エネルギー算出部104は、位置エネルギーを算出する。
位置エネルギーは
From FIG. 5, it can be seen that human A, human B, and robot B (202) are detected by the position sensor.
"XXX Human A 200"
"XXX Human B
Ten"
"XXX Robo B 100"
Based on this information, the potential energy calculation unit 104 calculates potential energy.
The potential energy is

Figure 2005202578
Figure 2005202578

とあらわされる。
Fは位置エネルギー関数であり、適切な関数が選択され、x,y,zは3次元空間での座標値、θ,φ,γは姿勢を示す角度(yaw,row,pitch)、tは時刻、pr1,pr2,,,,,,,prnはユーザの嗜好や趣味などを表すN個(定式化する都合上、N個としているが、これに限られない。)のパラメータである。
It is expressed.
F is a potential energy function, an appropriate function is selected, x, y, z are coordinate values in a three-dimensional space, θ, φ, γ are angles (yaw, row, pitch) indicating postures, and t is a time , Prn are N parameters representing the user's preferences and hobbies (the number is N for convenience of formulation, but is not limited thereto).

位置エネルギー関数の形式には、いくつかある。
例えば、ある地点に存在するか否かは二項分布としてとらえることができる。ある地点に存在する生起確率pはきわめて小さいが、ある地点n箇所は人間の一生という長さで考えれば、十分大きくなり、npは有限となる。
There are several forms of potential energy function.
For example, whether or not it exists at a certain point can be regarded as a binomial distribution. The occurrence probability p existing at a certain point is extremely small, but if there are n points at a certain point in terms of the lifetime of a human being, it becomes sufficiently large and np becomes finite.

np=λ
とおくと、二項分布は確率関数としてポアソン分布となる。
np = λ
The binomial distribution is a Poisson distribution as a probability function.

Figure 2005202578
Figure 2005202578

ここで、   here,

Figure 2005202578
Figure 2005202578

および   and

Figure 2005202578
Figure 2005202578

従って、位置センサが検出した位置を中心としたポアソン分布関数として表現すると、図7に示したように、センサの位置をもとに、部屋の中の座標値に換算した位置エネルギーを算出することができる。図7に示したポアソン分布関数は3次元形状になっている。   Therefore, when expressed as a Poisson distribution function centered on the position detected by the position sensor, the potential energy converted into the coordinate value in the room is calculated based on the position of the sensor as shown in FIG. Can do. The Poisson distribution function shown in FIG. 7 has a three-dimensional shape.

あるいは、図8に示すように楕円関数   Alternatively, as shown in FIG.

Figure 2005202578
Figure 2005202578

であらわすことも可能である。
図7、図8とも了解性をよくするために、x,yの座標値のみを使って3次元空間(座標値2自由度)内で表示しているが、実際には、[数2]に表されているように、N+8次元空間(座標値3自由度、姿勢3自由度、時刻1自由度、プロファイルN自由度)での関数となっている。
It is also possible to express.
In order to improve comprehension in both FIG. 7 and FIG. 8, only the coordinate values of x and y are used and displayed in a three-dimensional space (coordinate value 2 degrees of freedom). As shown in the above, the function is an N + 8-dimensional space (coordinate value 3 degrees of freedom, posture 3 degrees of freedom, time 1 degree of freedom, profile N degrees of freedom).

また、ヒトやロボットと同様にTVや洗濯機などの機器も位置エネルギーをもっている。例えば、TVスピーカー2032は音を提示するが、音は最も単純には、指向性なく全方位に広がるので、その位置エネルギーは、図9に示されるように点線で示した球形となる。   Similarly to humans and robots, devices such as TVs and washing machines have potential energy. For example, although the TV speaker 2032 presents a sound, the sound spreads in all directions without directivity, so that its potential energy is a sphere indicated by a dotted line as shown in FIG.

ここでは、TVに2つのスピーカーがあるので、位置エネルギーは2つの球で表されている。他方、TV画面は2031は映像を提示し、視角があるので、全方位ではない。ここでは指向性のある電磁界放射パターンとして扱っている(図9にある一点鎖線)。   Here, since the TV has two speakers, the potential energy is represented by two spheres. On the other hand, the TV screen 2031 presents video and has a viewing angle, so it is not omnidirectional. Here, it is treated as an electromagnetic field radiation pattern having directivity (the chain line in FIG. 9).

図10はヒトやロボットに関して算出された位置エネルギーと、機器に関して算出された位置エネルギーとを合わせて表示したものである。
コミュニケーション制御部105は、ヒトとロボットに関する位置エネルギーFと、機器に関する位置エネルギーFとの重なり(内積)を算定する。
FIG. 10 shows the potential energy calculated for the human or the robot and the potential energy calculated for the device.
The communication control unit 105, calculates the potential energy F p for human and robot, overlap between the potential energy F a related equipment (inner product).

ヒトと機器との間の内積は、   The inner product between the human and the device is

Figure 2005202578
Figure 2005202578

ヒトとヒトの間の内積は、   The inner product between humans is

Figure 2005202578
Figure 2005202578

で表される。
以下、この内積により、コミュニケーション制御部105と、コミュニケーション評価部103がどのように動作するかを説明する。処理の流れを図11に示して説明する。
It is represented by
Hereinafter, how the communication control unit 105 and the communication evaluation unit 103 operate based on the inner product will be described. The flow of processing will be described with reference to FIG.

ステップS101は、上述した位置エネルギーの算出を行うものである。次に、位置エネルギーを算出した個数を割り出し、それぞれヒトNpと機器Naに設定する(ステップS102)。   Step S101 calculates the potential energy described above. Next, the calculated number of potential energies is determined and set to human Np and device Na, respectively (step S102).

次に算出したすべてのヒトと機器について、位置エネルギーの内積を算出し、制御や評価を行えるように、ヒトiと機器j、ヒトi以外の別のヒトkとについて処理を行う。それぞれのパラメータを、ステップS103にて初期化する。iとjは1に、kはi以外なので、i+1に設定する。   Next, the inner product of potential energies is calculated for all the calculated humans and devices, and processing is performed on human i, device j, and another human k other than human i so that control and evaluation can be performed. Each parameter is initialized in step S103. Since i and j are 1 and k is other than i, i + 1 is set.

ヒトiと機器jの位置エネルギー間の内積ijCtlを算出する(ステップS104)。内積の算出は上述したとおりである。算出したヒトiと機器jの内積ijCtlが正であれば、ヒトiと機器jとの間にコミュニケーションが発生するので、まず、ステップS105で判定を行う。 The inner product ijC tl between the potential energy of the human i and the device j is calculated (step S104). The calculation of the inner product is as described above. If the calculated inner product ijC tl of the human i and the device j is positive, communication occurs between the human i and the device j, so a determination is first made in step S105.

S105において正であれば、後にコミュニケーション評価を行うために、その時tl時の内積値ijCtl(ヒトiと機器jとのtl時の内積)を記憶する(ステップS106)。正であれば、ヒトiと機器jとの間にコミュニケーションが発生するので、そのためには、機器jサービスがONになる必要がある。ONであるかどうかをステップS107で判断する。 If the result is positive in S105, the inner product value ijC tl (the inner product at the time of tl of the human i and the device j) at that time tl is stored for later communication evaluation (step S106). If it is positive, communication occurs between the human i and the device j. For this purpose, the device j service needs to be turned on. Whether or not it is ON is determined in step S107.

ヒトiと機器jサービスとの間のコミュニケーションがいつ、どのような状態で開始したかを後のコミュニケーション評価に遣うために、機器jサービスをONにしたときのサービスON時ijTon=tlを記憶する(ステップS108)。 Stores ijT on = tl when the service is turned on when the device j service is turned on , in order to send the communication evaluation between the human i and the device j service when and in what state the communication started. (Step S108).

すべての機器jサービスについて、内積を算出するために、jがNaになるまでインクリメントする(ステップS109、S110)。
すでに、ヒトがサービスに興味を失った、あるいは別の場所に移動した場合には、内積が0になる、あるいは内積が小さくなる。別の場所に移動して内積が0になる場合には、ユーザが誰もいないのに、テレビがついたままにならないようにするために、サービスを終了する必要がある。
In order to calculate the inner product for all the device j services, increment until j becomes Na (steps S109 and S110).
If the person has already lost interest in the service or moved to another location, the inner product becomes zero or the inner product becomes smaller. When moving to another location and the inner product becomes 0, it is necessary to terminate the service in order to prevent the TV from staying on when there is no user.

つまり、機器jサービスがONであれば(ステップS107)、内積が前回と変動しているかどうかをステップS115で算出する。
つまり、現在tl時の内積値ijCtlと前回の内積値ijCtl−1との差分
ijEtl=ijCtl−ijCtl−1
をとる。
この差分ijEtlをまず、ステップS116で機器jサービスのヒトiへの効果として記憶する。ステップS117でijEtl<0かどうかを調べる。ijEtlが0あるいはそれ以下であれば、ユーザが別の場所に移動した、あるいは興味を失ったことになるので、機器jサービスをOFFにする(ステップS118)。さらに、いつサービスをOFFにしたかをサービスOFF時ijToff=tlとして記憶する。
That is, if the device j service is ON (step S107), it is calculated in step S115 whether the inner product has changed from the previous time.
In other words, the difference between the current and the inner product value ijC tl and the last of the inner product value ijC tl-1 at the time of tl ijE tl = ijC tl -ijC tl -1
Take.
The difference ijE tl is first stored as an effect on the human i of the device j service in step S116. In step S117, it is checked whether ijE tl <0. If ijE tl is 0 or less, it means that the user has moved to another place or lost interest, so the device j service is turned off (step S118). Further, the time when the service is turned off is stored as ijT off = tl when the service is turned off .

次に、機器jサービスがユーザiに対して、どの程度効果があったかを算定する指標のひとつとして、機器jサービスのサービス効果時間ijToff−ijTonを算出し記憶する(ステップS119)。 Next, the service effect time ijT off -ijT on of the device j service is calculated and stored as one index for calculating how much the device j service is effective for the user i (step S119).

以上の方法により、ユーザがいなくなったときに、サービスをOFFにすることが可能である。
あるいは内積の差分ijEtlが0以下かどうかを判定するのではなく、予め設定した閾値以下になったら、サービスのレベルを変更するようにするようにしてもよい。その場合には、ステップS117の前に、図12に示すように、ステップS127でijEtl<αかどうかを判定する。
With the above method, the service can be turned off when the user disappears.
Alternatively, instead of determining whether the inner product difference ijE tl is equal to or smaller than 0, the service level may be changed when the difference is equal to or smaller than a preset threshold value. In that case, before step S117, as shown in FIG. 12, it is determined whether ijE tl <α in step S127.

これにより、予め設定した閾値以下になったら、機器jサービスのレベルを一段落とす(ステップS128)、例えば、TVの音を小さくするといったことが可能である。 As a result, when the threshold value falls below a preset threshold value, the level of the device j service is reduced to one paragraph (step S128), for example, the sound of the TV can be reduced.

上述したように
ヒトと機械との間の位置エネルギーの内積によるものについて説明してきたが、同様にヒト同士についても位置エネルギーの内積を算出し、その変化を記憶することで、コミュニケーションの履歴を記録することができる。
As described above, we have explained what is based on the inner product of potential energy between humans and machines. Similarly, we calculate the inner product of potential energy for humans and store the changes to record the communication history. can do.

ステップS111では、ヒトiとヒトkの位置エネルギー間の内積ikCtlを算出する。ヒトiとヒトkの内積ikCtlは正かどうかを判定し(ステップS112)、正であれば、コミュニケーションがあるということで、現在tl時の内積値ikCtl(ヒトiとkとのtl時の内積)を記憶する(ステップS120)。 In step S111, an inner product ikC tl between potential energies of human i and human k is calculated. It is determined whether or not the inner product ikC tl of the human i and the human k is positive (step S112), and if it is positive, it means that there is communication, so that the inner product value ikC tl at the time of the current tl Is stored (step S120).

前回の内積ikCtl−1が0であれば(ステップS121)、tl時にコミュニケーションが開始したと判定できるので、コミュニケーション開始時ikTonをtlとして記憶する(ステップS122)。 If the previous inner product ikC tl-1 is 0 (step S121), it can be determined that communication has started at tl, so ikT on at the start of communication is stored as tl (step S122).

ヒトと機械とのコミュニケーションと同様に、現在tl時の内積値ikCtlと前回の内積値ikCtl−1との差分ikEtl=ikCtl−ikCtl-1をとる(ステップS123)。 Like the communication between humans and machines, taking the current differential ikE tl = ikC tl -ikC tl- 1 with the inner product value IKC tl and the last inner product value IKC tl-1 at the time tl (step S123).

ikEtlを機器jサービスのヒトiへの効果として記憶する(ステップS124)。
差分ikEtlが0になれば、コミュニケーションが終了したとみなせるので(ステップS125)、ヒトiとkのコミュニケーション効果時間tl−ikTonを算出し記憶する(ステップS126)。以上をすべてのヒトに対して繰り返していく。
ikE tl is stored as an effect on the human i of the device j service (step S124).
If the difference ikE tl becomes 0, it can be considered that the communication has ended (step S125), so the communication effect time tl-ikT on between the human i and k is calculated and stored (step S126). The above is repeated for all humans.

以上のコミュニケーション効果時間をもとに、コミュニケーション評価部103は評価を行う。
図1の場合には、TVの前にはヒトは1名である。この場合には、コミュニケーション評価部103が記憶しているTVサービス効果時間は例えば、
Te=ijToff−ijTon
とする。
これに対して、例えば、図13のように、TVの前にヒトが2名いる場合であると、コミュニケーション評価部103が記憶しているTVサービス効果時間は見かけ上ではあるが、例えば、
Based on the above communication effect time, the communication evaluation unit 103 performs evaluation.
In the case of FIG. 1, there is one person in front of the TV. In this case, the TV service effect time stored in the communication evaluation unit 103 is, for example,
Te = ijT off -ijT on
And
On the other hand, for example, as shown in FIG. 13, when there are two people in front of the TV, the TV service effect time stored in the communication evaluation unit 103 is apparent,

Te=(ijToff−ijTon)+(kjToff−kjTonTe = (ijT off −ijT on ) + (kjT off −kjT on )

とほぼ2倍の効果があることになる。
これにヒト同士のコミュニケーション効果時間
Ce=tl−ikTon
もあるので、全体の効果時間は
Total=Te+Ce
となる。
この結果をもとに、例えば、コミュニケーション制御部は、効果時間を大きくするための制御を行うことについて説明する。コミュニケーション評価部103にてサービス効果時間またはコミュニケーション効果時間が少ないと判断した場合には、コミュニケーション制御部105において上記効果時間を大きくするために、分散環境行動処理部102により認識されている他の家族(例えばヒトA)を呼びに行くように制御する。例えば、コミュニケーション生成部106において、家族を呼んでくる音声情報を生成し、表現メディアで変換部107によりロボット(例えばロボットB)でも出力できる音声合成を行い、ロボットに備えたスピーカーにより家族に呼びかけることができる。
It will be almost twice as effective.
In addition, communication effect time between humans Ce = tl-ikT on
So, the total effect time is Total = Te + Ce
It becomes.
Based on this result, for example, the communication control unit will be described performing control for increasing the effect time. When the communication evaluation unit 103 determines that the service effect time or the communication effect time is short, another family recognized by the distributed environment behavior processing unit 102 in order to increase the effect time in the communication control unit 105 (For example, human A) is controlled to call. For example, the communication generation unit 106 generates voice information that calls the family, performs speech synthesis that can be output by a robot (for example, robot B) by the conversion unit 107 using expression media, and calls the family using a speaker provided in the robot. Can do.

従って、上記構成から対象となる機器又はヒトの位置エネルギーを用いて周囲状況を定量的に解析することで、種々の状況に対応し、更に新規センサや機器の導入に対しても逐次適応することができる。   Therefore, by analyzing the surrounding situation quantitatively using the potential energy of the target device or human being from the above configuration, it is possible to cope with various situations and further adapt sequentially to the introduction of new sensors and devices. Can do.

本発明の実施の形態のコミュニケーション装置の概略構成を示すブロック図。The block diagram which shows schematic structure of the communication apparatus of embodiment of this invention. 本発明の実施の形態の実施概要図。The implementation outline figure of embodiment of this invention. カメラの分散センサ情報DBの記述例を示す図。The figure which shows the example of a description of the distributed sensor information DB of a camera. マイクの分散センサ情報DBの記述例を示す図。The figure which shows the example of description of the dispersion | distribution sensor information DB of a microphone. 位置センサの分散センサ情報DBの記述例を示す図。The figure which shows the example of description of the distributed sensor information DB of a position sensor. 分散環境行動処理部の詳細構成を示すブロック図。The block diagram which shows the detailed structure of a distributed environment action process part. 算出された位置エネルギーの例を示す図。The figure which shows the example of the calculated potential energy. 算出された位置エネルギーの例を示す図。The figure which shows the example of the calculated potential energy. 算出された位置エネルギーの例を示す図。The figure which shows the example of the calculated potential energy. 算出された位置エネルギーの例を示す図。The figure which shows the example of the calculated potential energy. コミュニケーション評価部の処理フロー図。The processing flow figure of a communication evaluation part. コミュニケーション評価部の処理フロー図。The processing flow figure of a communication evaluation part. 本発明の実施の形態の他の実施概要図。The other implementation outline figure of embodiment of this invention.

符号の説明Explanation of symbols

101・・・センサ入力部
102・・・分散環境行動処理部
103・・・コミュニケーション評価部
104・・・位置エネルギー算出部
105・・・コミュニケーション制御部
106・・・コミュニケーション生成部
107・・・表現メディア変換部
108・・・コミュニケーション提示部
110・・・分散環境行動DB
111・・・分散センサ情報DB
112・・・分散状態情報DB(モノ)
113・・・分散状態情報DB(ヒト)
114・・・分散行動情報DB
115・・・ヒトとサービスのインタラクションDB
116・・・ヒトとモノのインタラクションDB
117・・・ヒトとヒトのインタラクションDB
1011−A、1012−A、1013−A・・・位置センサ
1011−B、1013−B・・・カメラ
1011−C、1013−C・・・マイク
1021・・・個人認証部
1022・・・画像認識部
1023・・・音声認識部
1024・・・動作認識部
1025・・・行動認識部
1026・・・状況認識部
1027・・・環境認識部
201、202、203・・・ロボット
2011、2021、2031・・・スピーカー
2012、2022、2032・・・カメラ
2013、2023、2033・・・マイク
204・・・TV
2041・・・TV画面
2042・・・TVスピーカー
DESCRIPTION OF SYMBOLS 101 ... Sensor input part 102 ... Distributed environment action processing part 103 ... Communication evaluation part 104 ... Position energy calculation part 105 ... Communication control part 106 ... Communication generation part 107 ... Expression Media conversion unit 108 ... communication presentation unit 110 ... distributed environment action DB
111 ... distributed sensor information DB
112 ... Distributed state information DB (thing)
113 ... Distributed state information DB (human)
114 ... distributed action information DB
115 ... Interaction DB of people and services
116 ... Interaction DB of people and things
117 ... Human-human interaction DB
1011-A, 1012-A, 1013-A ... Position sensors 1011-B, 1013-B ... Cameras 1011-C, 1013-C ... Microphone 1021 ... Personal authentication unit 1022 ... Image Recognition unit 1023 ... Voice recognition unit 1024 ... Motion recognition unit 1025 ... Action recognition unit 1026 ... Situation recognition unit 1027 ... Environment recognition units 201, 202, 203 ... Robots 2011, 2021, 2031 ... Speakers 2012, 2022, 2032 ... Cameras 2013, 2023, 2033 ... Microphone 204 ... TV
2041 ... TV screen 2042 ... TV speaker

Claims (6)

複数センサからのセンサ情報をセンサ種別や属性により対応させて記憶する分散センサ記憶部と、前記分散センサ記憶部に記憶されているセンサ情報に基づき認識処理を行う分散環境行動処理部と、前記分散環境行動処理部の認識結果に基づいて位置エネルギーを算出する位置エネルギー算出部と、前記位置エネルギー算出部が算出される位置エネルギーをもとにコミュニケーション制御を行うコミュニケーション制御部とを備えることを特徴とするコミュニケーション装置。   A distributed sensor storage unit that stores sensor information from a plurality of sensors in association with sensor types and attributes, a distributed environment behavior processing unit that performs recognition processing based on sensor information stored in the distributed sensor storage unit, and the distributed A potential energy calculation unit that calculates potential energy based on a recognition result of an environmental action processing unit, and a communication control unit that performs communication control based on the potential energy calculated by the potential energy calculation unit, Communication device. 前記位置エネルギー算出部は、前記分散環境行動処理部の認識結果として検知された対象の位置エネルギーを算出することを特徴とする請求項1記載のコミュニケーション装置。   The communication device according to claim 1, wherein the potential energy calculation unit calculates the potential energy of a target detected as a recognition result of the distributed environment action processing unit. 前記コミュニケーション制御部は、前記分散環境行動処理部の認識結果として検知された第1の対象の位置エネルギーと、認識結果として検知された第2の対象の位置エネルギーとの内積値に基づいてコミュニケーション制御を行うことを特徴とした請求項1記載のコミュニケーション装置。   The communication control unit performs communication control based on an inner product value of the potential energy of the first target detected as the recognition result of the distributed environment action processing unit and the potential energy of the second target detected as the recognition result. The communication device according to claim 1, wherein: 前記第1の対象と第2の対象との位置エネルギー内積値の時間差分に基づいて、前記コミュニケーション制御部の制御効果を評価するコミュニケーション評価部を具備することを特徴とする請求項3記載のコミュニケーション装置。   The communication according to claim 3, further comprising a communication evaluation unit that evaluates a control effect of the communication control unit based on a time difference between inner potential values of potential energy of the first object and the second object. apparatus. 前記コミュニケーション評価部の評価結果に基づいて、前記コミュニケーション制御を行うことを特徴とする請求項4記載のコミュニケーション装置。   The communication apparatus according to claim 4, wherein the communication control is performed based on an evaluation result of the communication evaluation unit. 分散センサ記憶部により複数センサからのセンサ情報をセンサ種別や属性により対応させて記憶し、分散環境行動処理部により前記分散センサ記憶部に記憶されているセンサ情報に基づき認識処理を行い、位置エネルギー算出部により前記分散環境行動処理部の認識結果に基づいて位置エネルギーを算出し、コミュニケーション制御部により前記位置エネルギーをもとにコミュニケーション制御を行うことを特徴とするコミュニケーション方法。   Sensor information from a plurality of sensors is stored in correspondence with sensor types and attributes by the distributed sensor storage unit, and recognition processing is performed based on the sensor information stored in the distributed sensor storage unit by the distributed environment behavior processing unit. A communication method, wherein a calculation unit calculates potential energy based on a recognition result of the distributed environment action processing unit, and a communication control unit performs communication control based on the position energy.
JP2004006792A 2004-01-14 2004-01-14 Communication device and communication method Pending JP2005202578A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004006792A JP2005202578A (en) 2004-01-14 2004-01-14 Communication device and communication method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004006792A JP2005202578A (en) 2004-01-14 2004-01-14 Communication device and communication method

Publications (1)

Publication Number Publication Date
JP2005202578A true JP2005202578A (en) 2005-07-28

Family

ID=34820654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004006792A Pending JP2005202578A (en) 2004-01-14 2004-01-14 Communication device and communication method

Country Status (1)

Country Link
JP (1) JP2005202578A (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009544075A (en) * 2006-07-10 2009-12-10 アクセンチュア グローバル サービスィズ ゲーエムベーハー Mobile personal service platform to provide feedback
JP2009303415A (en) * 2008-06-16 2009-12-24 Nec System Technologies Ltd Equipment discriminator, program and method
JP2019075152A (en) * 2007-09-24 2019-05-16 アップル インコーポレイテッドApple Inc. Embedded authentication system in electronic device
US10521579B2 (en) 2017-09-09 2019-12-31 Apple Inc. Implementation of biometric authentication
US10748153B2 (en) 2014-05-29 2020-08-18 Apple Inc. User interface for payments
US10749967B2 (en) 2016-05-19 2020-08-18 Apple Inc. User interface for remote authorization
US10803281B2 (en) 2013-09-09 2020-10-13 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US10872256B2 (en) 2017-09-09 2020-12-22 Apple Inc. Implementation of biometric authentication
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
US11200309B2 (en) 2011-09-29 2021-12-14 Apple Inc. Authentication with secondary approver
US11209961B2 (en) 2012-05-18 2021-12-28 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US11676373B2 (en) 2008-01-03 2023-06-13 Apple Inc. Personal computing device control using face detection and recognition

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009544075A (en) * 2006-07-10 2009-12-10 アクセンチュア グローバル サービスィズ ゲーエムベーハー Mobile personal service platform to provide feedback
US8442578B2 (en) 2006-07-10 2013-05-14 Accenture Global Services Limited Mobile personal services platform for providing feedback
US10956550B2 (en) 2007-09-24 2021-03-23 Apple Inc. Embedded authentication systems in an electronic device
JP2019075152A (en) * 2007-09-24 2019-05-16 アップル インコーポレイテッドApple Inc. Embedded authentication system in electronic device
US11468155B2 (en) 2007-09-24 2022-10-11 Apple Inc. Embedded authentication systems in an electronic device
US11676373B2 (en) 2008-01-03 2023-06-13 Apple Inc. Personal computing device control using face detection and recognition
JP2009303415A (en) * 2008-06-16 2009-12-24 Nec System Technologies Ltd Equipment discriminator, program and method
US11200309B2 (en) 2011-09-29 2021-12-14 Apple Inc. Authentication with secondary approver
US11755712B2 (en) 2011-09-29 2023-09-12 Apple Inc. Authentication with secondary approver
US11209961B2 (en) 2012-05-18 2021-12-28 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US11494046B2 (en) 2013-09-09 2022-11-08 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs
US10803281B2 (en) 2013-09-09 2020-10-13 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US11768575B2 (en) 2013-09-09 2023-09-26 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs
US11287942B2 (en) 2013-09-09 2022-03-29 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces
US10796309B2 (en) 2014-05-29 2020-10-06 Apple Inc. User interface for payments
US10748153B2 (en) 2014-05-29 2020-08-18 Apple Inc. User interface for payments
US11836725B2 (en) 2014-05-29 2023-12-05 Apple Inc. User interface for payments
US10977651B2 (en) 2014-05-29 2021-04-13 Apple Inc. User interface for payments
US10902424B2 (en) 2014-05-29 2021-01-26 Apple Inc. User interface for payments
US10749967B2 (en) 2016-05-19 2020-08-18 Apple Inc. User interface for remote authorization
US11206309B2 (en) 2016-05-19 2021-12-21 Apple Inc. User interface for remote authorization
US11765163B2 (en) 2017-09-09 2023-09-19 Apple Inc. Implementation of biometric authentication
US11393258B2 (en) 2017-09-09 2022-07-19 Apple Inc. Implementation of biometric authentication
US10783227B2 (en) 2017-09-09 2020-09-22 Apple Inc. Implementation of biometric authentication
US11386189B2 (en) 2017-09-09 2022-07-12 Apple Inc. Implementation of biometric authentication
US10872256B2 (en) 2017-09-09 2020-12-22 Apple Inc. Implementation of biometric authentication
US10521579B2 (en) 2017-09-09 2019-12-31 Apple Inc. Implementation of biometric authentication
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
US11928200B2 (en) 2018-06-03 2024-03-12 Apple Inc. Implementation of biometric authentication
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11619991B2 (en) 2018-09-28 2023-04-04 Apple Inc. Device control using gaze information
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US11809784B2 (en) 2018-09-28 2023-11-07 Apple Inc. Audio assisted enrollment

Similar Documents

Publication Publication Date Title
US10628714B2 (en) Entity-tracking computing system
US11412108B1 (en) Object recognition techniques
US11561519B2 (en) Systems and methods of gestural interaction in a pervasive computing environment
US11561621B2 (en) Multi media computing or entertainment system for responding to user presence and activity
US10776672B2 (en) Sensor fusion for monitoring an object-of-interest in a region
US9965865B1 (en) Image data segmentation using depth data
US11481571B2 (en) Automated localized machine learning training
US11010601B2 (en) Intelligent assistant device communicating non-verbal cues
US7801332B2 (en) Controlling a system based on user behavioral signals detected from a 3D captured image stream
US9201499B1 (en) Object tracking in a 3-dimensional environment
JP2021525477A (en) Audio / video device with viewer
JP2005202578A (en) Communication device and communication method
JP2018523424A (en) monitoring
US9703371B1 (en) Obtaining input from a virtual user interface
Pauwels et al. Sensor networks for ambient intelligence
WO2003092291A1 (en) Object detection device, object detection server, and object detection method
KR102481486B1 (en) Method and apparatus for providing audio
KR101634355B1 (en) Apparatus and Method for detecting a motion
EP3383030B1 (en) Osd information generation camera, osd information synthesis terminal (20), and osd information sharing system comprising same
EP3398029B1 (en) Intelligent smart room control system
Xiang et al. Remote safety monitoring for elderly persons based on omni-vision analysis
CN109986553B (en) Active interaction robot, system, method and storage device
JP2005199373A (en) Communication device and communication method
JPWO2020021861A1 (en) Information processing equipment, information processing system, information processing method and information processing program
JP2021033359A (en) Emotion estimation device, emotion estimation method, program, information presentation device, information presentation method and emotion estimation system

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070817

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071207