JP2005202578A - Communication device and communication method - Google Patents
Communication device and communication method Download PDFInfo
- Publication number
- JP2005202578A JP2005202578A JP2004006792A JP2004006792A JP2005202578A JP 2005202578 A JP2005202578 A JP 2005202578A JP 2004006792 A JP2004006792 A JP 2004006792A JP 2004006792 A JP2004006792 A JP 2004006792A JP 2005202578 A JP2005202578 A JP 2005202578A
- Authority
- JP
- Japan
- Prior art keywords
- potential energy
- communication
- unit
- distributed
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は分散した多種のセンサなどにより取得したセンサ情報を位置エネルギー関数で統合し、多様なコミュニケーションを実現するコミュニケーション装置に関する。 The present invention relates to a communication apparatus that integrates sensor information acquired by various distributed sensors and the like with a potential energy function to realize various communications.
キーボードやマウスを使って画面上のアイコンやメニューをポインティングすることで操作をおこなうGUI(Graphical User Interface)は、オフィスにおける生産効率向上に大きく貢献した。これに対し、家庭などでキーボードやマウスなどを用いることなく、ジェスチャや自然言語を用いた人間にとって自然な対話を行いたいという要求がある。 The GUI (Graphical User Interface), which operates by pointing icons and menus on the screen using a keyboard and mouse, has greatly contributed to improving production efficiency in the office. On the other hand, there is a demand for natural dialogue for humans using gestures and natural language without using a keyboard or mouse at home.
この要求にこたえるために、自然言語を用いて質問応答を行うシステムやジェスチャを用いたロボットとの対話システムなどが開発されている(例えば、非特許文献1を参照)。 In order to respond to this request, a system that performs a question response using a natural language, a dialogue system with a robot using a gesture, and the like have been developed (for example, see Non-Patent Document 1).
しかし、これらの対話システムでは、あらかじめ何を話すか決めうちになっており、状況に対応した対話が難しい。また、情報家電などのネットワークでつなぐことで情報提供サービスを行うような技術も開発されてきているが、これらも予めどのようなサービスを提供するのか決まっており、機能を組み合わせることで新たなサービス等を生み出すような仕組みはない。 However, in these dialogue systems, it is already decided what to speak, and it is difficult to communicate according to the situation. Further, although also techniques such as provide information services have been developed by connecting a network, such as information appliances, they are also determined whether to provide advance what services, new services by combining function There is no mechanism to create
上記説明したように、質問文応答などの対話制御に行うシステムでは、話す内容が予め決められており、変化のない応答しかできないという問題がある。また、情報提供サービス等でも予めどのようなサービスを行うようにしているか決まっており、決められた以外の状況に応じたサービス等を生み出すような仕組みはなかった。 As described above, in a system for interactive control such as question response, there is a problem in that the content to be spoken is determined in advance and only a response with no change can be made. In addition, a fixed or is to perform also in advance what services information providing service or the like, there was no mechanism that creates the service according to the situation other than that determined like.
本発明は、上記問題を解決するものであって、対象の位置エネルギーを用いて周囲状況を定量的に解析することで、さまざまな状況に対応できるコミュニケーション装置を提供することを目的とする。 The present invention solves the above problem, and an object of the present invention is to provide a communication device that can cope with various situations by quantitatively analyzing the surrounding situation using the potential energy of the target.
上記目的を達成するために、本発明に係るコミュニケーション装置は、複数センサからのセンサ情報をセンサ種別や属性により対応させて記憶する分散センサ記憶部と、前記分散センサ記憶部に記憶されているセンサ情報に基づき認識処理を行う分散環境行動処理部と、前記分散環境行動処理部の認識結果に基づいて位置エネルギーを算出する位置エネルギー算出部と、前記位置エネルギー算出部が算出される位置エネルギーをもとにコミュニケーション制御を行うコミュニケーション制御部とを備えることを特徴とする。 In order to achieve the above object, a communication device according to the present invention includes a distributed sensor storage unit that stores sensor information from a plurality of sensors in association with sensor types and attributes, and a sensor stored in the distributed sensor storage unit. A distributed environment behavior processing unit that performs recognition processing based on information; a potential energy calculation unit that calculates potential energy based on a recognition result of the distributed environment behavior processing unit; and a potential energy that is calculated by the potential energy calculation unit. And a communication control unit for performing communication control.
また、本発明に係るコミュニケーション方法は、分散センサ記憶部により複数センサからのセンサ情報をセンサ種別や属性により対応させて記憶し、分散環境行動処理部により前記分散センサ記憶部に記憶されているセンサ情報に基づき認識処理を行い、位置エネルギー算出部により前記分散環境行動処理部の認識結果に基づいて位置エネルギーを算出し、コミュニケーション制御部により前記位置エネルギーをもとにコミュニケーション制御を行うことを特徴とする。 In the communication method according to the present invention, the sensor information from a plurality of sensors is stored in correspondence with the sensor type and attribute by the distributed sensor storage unit, and the sensor stored in the distributed sensor storage unit by the distributed environment action processing unit is stored. A recognition process is performed based on information, a potential energy is calculated based on a recognition result of the distributed environment behavior processing unit by a potential energy calculation unit, and communication control is performed based on the potential energy by a communication control unit. To do.
本発明によれば、対象となる機器やヒトの位置エネルギーを用いて周囲状況を定量的に解析することで、種々の状況に対応し、更に新規センサや機器の導入に対しても逐次適応することができる。 According to the present invention, it is possible to deal with various situations by quantitatively analyzing the surrounding situation using the target device and human potential energy, and further adapts sequentially to the introduction of new sensors and devices. be able to.
本発明の実施の形態について図面を用いて説明する。図1は実施の形態のコミュニケーション装置の構成概略を示したブロック図である。
本実施の形態のコミュニケーション装置は、RF(Radio Frequency)タグ、光センサ、あるいはマイクロフォン(以下マイクと称する)、カメラなどの複数の分散するセンサから構成されるセンサ入力部101と、センサ入力部101から入力されたセンサ情報とその認識結果とを格納する分散環境行動DB(DataBase)110と、センサ入力部101からの情報を音声認識、画像認識、あるいは無線の強度による位置同定などの種々の処理をおこなう分散環境行動処理部102と、センサ入力部101からのセンサ情報あるいは分散環境行動DB110に格納された情報をもとに、位置エネルギーを算出する位置エネルギー算出部104と、コミュニケーション効果時間によりコミュニケーションを評価するコミュニケーション評価部103と、分散環境行動DB110に格納された情報および位置エネルギー算出部104で算出された位置エネルギーをもとに、コミュニケーション制御を行うコミュニケーション制御部105と、コミュニケーション制御部105の制御に基づきユーザに提示するコミュニケーションの生成を行うコミュニケーション生成部106と、コミュニケーション生成部106の生成結果を、ロボットが提示できるメディアに変換する表現メディア変換部107と、表現メディア変換部107の変換結果を提示するコミュニケーション提示部108とから構成されている。
Embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of a communication apparatus according to an embodiment.
The communication apparatus according to the present embodiment includes a
図2は、家庭にセンサ入力部101が複数設置されている様子を示している。家庭に設置されるセンサとしては煙センサ、温度センサ、歪センサ、圧力センサなど種々のものがあるが、ここでは、説明に用いるRFタグ及び光センサ等を用いる位置センサ、カメラ、及びマイクのみを記している。
FIG. 2 shows a state in which a plurality of
例えば、1Fの浴室には見守り役のロボットA(201)、2Fの居間には話し相手のロボットB(202)、外部には番犬の役目を果たすロボットC(203)がいる。これらロボットA〜C(201〜203)には、移動する際に必要な障害物を検出するための超音波センサや赤外線センサなどの種々のセンサがついているが、ここでは説明に用いるカメラ、マイク等のセンサのみ記している。 For example, in the bathroom on the first floor, there is a watching robot A (201), in the living room on the second floor, there is a robot B (202) as a talking partner, and on the outside there is a robot C (203) serving as a watchdog. These robots A to C (201 to 203) are provided with various sensors such as an ultrasonic sensor and an infrared sensor for detecting an obstacle necessary for movement. Only such sensors are shown.
いずれのロボットにも、ヒトの顔かどうか、あるいは見分けた顔で個人認証したり、あるいは顔向きを検出したり、あるいは動物体があるかどうかなどの状況を識別するためカメラ(動画カメラ)2012、2022、2032がついている。カメラ2012、2022、2032は、すべておなじ規格である必要はない。例えば、ロボットC201は監視することが目的であるので、カメラ2032は夜間でも使用できる赤外線カメラ、あるいは高速に移動する動物体を見分けるための60枚/秒以上での撮影ができる高速度撮影カメラを用いることも可能である(通常のカメラは30枚/秒程度)。また、ロボットA(201)やロボットB(203)は、ヒトと対話することが目的なので、ステレオタイプカメラ(2眼)にして距離を見分けるとともに、2眼にすることで、対応するヒトからみると2つの目との対話になるので、安心できるようにすることもある。あるいは、ロボットA201のように子守が役目の場合には、子供と対応するので、耐水性があるカメラなどを用いるようにしてもよい。一つのロボットが複数のカメラを有して、例えば昼間は高照度なので、通常のカメラ、夜間は低照度なので、赤外線カメラと使いわけることも可能である。さらに、カメラの解像度についてもロボット毎に高解像度カメラ、あるいは低解像度カメラにするといった使い分けすることも可能である。省電のために、赤外センサなどと組み合わせて動きがあるときのみ撮像するようにした監視カメラ等を用いるようにしてもよい。このような使い分けなどは、家庭の部屋に設置されているカメラ1011−Bやカメラ1013−Bについても同様である。
Each robot has a camera (video camera) 2012 for identifying the situation such as whether it is a human face, personal authentication with a recognized face, detection of face orientation, or whether there is a moving object. 2022 and 2032 are attached. The
例えば、居間に設置されたカメラ1013−Aが撮像した結果は、センサ入力部101からのセンサ情報として、センサの精度とともに蓄積する分散環境行動DB110のうちの分散センサ情報DB111に蓄積される。分散センサ情報DB111に蓄積される情報形式は図3のようになる。
For example, the result captured by the camera 1013 -A installed in the living room is stored as sensor information from the
カメラやマイク、その他のセンサすべてに関して、一意に定まっている機械(MAC)アドレスなどのセンサID、センサ名、センサの性能や機能などを参照するときに必要となるので、カタログ参照DBでのID、センサが設置されている場所、センサが取得するデータ種類、データの次元、データの精度、センサデータ取得のサンプリングレート、記録開始日時、取得データの単位、取得したデータのラベルとが冒頭に記述されている。データの精度やデータの単位は、データの次元に応じて記述されている。 For all cameras, microphones, and other sensors, this is necessary when referring to a unique sensor ID (such as a machine (MAC) address), sensor name, sensor performance, or function. , The location where the sensor is installed, the type of data acquired by the sensor, the dimension of the data, the accuracy of the data, the sampling rate for sensor data acquisition, the recording start date and time, the unit of the acquired data, and the label of the acquired data are described at the beginning Has been. The accuracy of data and the unit of data are described according to the dimension of the data.
続いて<body>と</body>にはさまれた部分にデータ本体が記述されている。この場合、カメラが撮像したデータはたとえば、30フレーム/秒の画像データである。通常のビデオカメラであれば、画像は640画素x480画素の2次元データである。しかし、1枚のフレームは1つのまとまりであるので、データの次元としては1次元で、サンプリングレートは1/30となっている。個々のデータは、たとえば<body>に記述されているように、MPEG2(Motion Picture Expert Group)で圧縮されたファイルとなっており、そのファイル名とそれぞれのファイルの末尾でのタイムスタンプが記述されている。 Next, the data body is described in the part between <body> and </ body>. In this case, the data captured by the camera is, for example, image data of 30 frames / second. In the case of a normal video camera, the image is two-dimensional data of 640 pixels × 480 pixels. However, since one frame is a single unit, the data dimension is one dimension and the sampling rate is 1/30. Each data is a file compressed by MPEG2 (Motion Picture Expert Group) as described in <body>, for example, and the file name and the time stamp at the end of each file are described. ing.
ここでは、例えばMPEG2ファイルで蓄積しているが、必ずしもこれに限られる必要はない。例えば、MotionJPEG、JPEG2000、avi、MPEG1、MPEG4、あるいはDVなど種々の動画像対応フォーマットがあり、どのようなフォーマットでも適用できる。 Here, for example, it is stored as an MPEG2 file, but it is not necessarily limited to this. For example, there are various moving image compatible formats such as Motion JPEG, JPEG2000, avi, MPEG1, MPEG4, and DV, and any format can be applied.
ところで、精度は1次元であるので、<accurate-x>のみが記述されていて、ここでは1.0となっている。つまり、カメラを設定したときの状態で撮像が行われていることを示している。この精度は、例えば照度不足なのにフラッシュが使えない、直射日光が直接降り注ぎ逆光になっている、あるいは充電不足等、カメラがカタログ値とおりの性能で撮像できないときには、この精度は1.0より小さな値となる。 By the way, since the accuracy is one-dimensional, only <accurate-x> is described, and is 1.0 here. That is, it shows that the image is being taken in the state when the camera is set. This accuracy is less than 1.0 when the camera cannot capture images with the performance of the catalog value, such as when the illumination is insufficient but the flash cannot be used, direct sunlight falls directly into the backlight, or charging is insufficient. It becomes.
また、ロボットA〜C(201〜203)には、ヒトの声で個人認証したり、あるいは動物体などあるかどうかなどの状況を識別するためのマイク2013、2023、2033がついている。マイクついてもカメラと同様に、同一規格のマイクを用いる必要はない。
In addition, the robots A to C (201 to 203) are provided with
例えば、2本のマイクを用いることで指向性を高めたマイクアレイを用いて、ある一定範囲の音だけ集音するようにしてもよい。あるいは、省電のために、赤外センサなどと組み合わせて動きがあるときのみ集音するようにした集音マイクを用いることも可能である。このような使い分けなどは、家庭の部屋に設置されているマイク1011−Cやマイク1013−Cについても同様である。 For example, only a certain range of sounds may be collected by using a microphone array with enhanced directivity by using two microphones. Alternatively, in order to save power, it is also possible to use a sound collection microphone that collects sound only when there is movement in combination with an infrared sensor or the like. Such proper use is the same for the microphone 1011 -C and the microphone 1013 -C installed in the home room.
例えば、居間に設置されたマイク1013−Cが集音した結果は、センサ入力部101からのセンサ情報として、センサの精度とともに蓄積する分散環境行動DB110のうちの分散センサ情報DB111に蓄積される。分散センサ情報DB111に蓄積される情報形式は図4のようになる。
For example, the result of sound collection by the microphone 1013 -C installed in the living room is stored as sensor information from the
図4の情報形式は、図3の情報形式と同様である。異なっている点は、上述したカメラの場合は、MPEGファイル等であったのに、ここでは音データのフォーマットであるwav形式となっている。例として、wavフォーマットになっているが、かならずしもこれに限られる必要はない。例えばMPEGフォーマット(MP3)など、動画像と同様にどのようなフォーマットであってもよい。 The information format of FIG. 4 is the same as the information format of FIG. The difference is that in the case of the above-described camera, although it was an MPEG file or the like, here it is in the wav format which is the format of the sound data. As an example, the wav format is used, but it is not necessarily limited to this. For example, any format such as MPEG format (MP3) may be used as in the case of moving images.
精度は、1次元であるので<accurate-x>のみが記述されていて、ここでは1.0となっている。つまりマイクを設定したときの状態で集音が行われていることを示している。この精度は、例えば充電不足など、マイクがカタログ値とおりの性能で撮像できないときには、この精度は1.0より小さな値になる。 Since the accuracy is one-dimensional, only <accurate-x> is described, and is 1.0 here. In other words, it indicates that sound is being collected when the microphone is set. This accuracy is a value smaller than 1.0 when the microphone cannot capture images with the performance as in the catalog value, such as insufficient charging.
センサとしては、図2にカメラやマイク以外に位置センサ1011−A、1012−A、1013−Aが設置されている。位置センサにはいろいろな形式があるが、ここでは、例えばロボットA〜C(201〜203)、あるいはヒトA〜Dは、RFIDなどの無線タグを持っており、その微弱電波を位置センサ1011−A、1012−A、1013−Aが検知する方式とする。無線タグにも自ら電波を発するアクティブ方式と、自ら電波を発せず、位置センサのゲートに近づいたときに電磁誘導により電波を発生するパッシブ方式とがある。ここでは、アクティブ方式の無線タグをロボットA〜C(201〜203)、あるいはヒトA〜Dのそれぞれが身に付けているとする。ヒトの場合には、たとえば、室内履きなどに無線タグを付けておけば、本人は付けていることを意識せず、負担に感じることはない。但し、室内履きを必ずしも履かないこともあるので、その場合には、ヒトの位置の確信度として、1.0より低い値となる。 As sensors, position sensors 1011 -A, 1012 -A, and 1013 -A are installed in FIG. 2 in addition to the camera and the microphone. There are various types of position sensors. Here, for example, the robots A to C (201 to 203) or the humans A to D have radio tags such as RFID, and the position sensor 1011- A, 1012-A, and 1013-A detect. There are an active method for emitting radio waves to the wireless tag and a passive method for generating radio waves by electromagnetic induction when the radio tag approaches the gate of the position sensor without emitting radio waves by itself. Here, it is assumed that each of the robots A to C (201 to 203) or the humans A to D wears an active wireless tag. In the case of a human being, for example, if a wireless tag is attached to indoor wear, the person is not conscious of wearing it and does not feel burdened. However, since indoor footwear may not necessarily be worn, in that case, the human position certainty is a value lower than 1.0.
居間にある位置センサ1013−Aが検知した結果は、センサ入力部101からのセンサ情報として、センサの精度とともに蓄積する分散環境行動DB110のうちの分散センサ情報DB111に蓄積される。分散センサ情報DB111に蓄積される情報形式は図5のようになる。
The result detected by the position sensor 1013 -A in the living room is accumulated as sensor information from the
図5の情報形式は、図3または図4の情報形式とほぼ同様である。異なっている点は、データ2次元であることと、データが音や画像のように大容量ではないので直接<body>内に記述されていることである。 The information format of FIG. 5 is almost the same as the information format of FIG. 3 or FIG. The difference is that the data is two-dimensional, and that the data is not as large as a sound or an image, so it is described directly in <body>.
データとしては、電波を検知した無線タグの番号とそのときの電波強度の2種になっている。無線タグ番号はここでは、わかりやすくするために、ヒトAが付けている無線タグの番号は「XXXヒトA」、ロボットB(202)が付けている無線タグ番号は「XXXロボB」と記述している。一方の電波強度は、位置センサが取得する電波強度を0〜255までの256段階で正規化した時の値となっている。但し、255を表す電波強度が一番強く、最も近い場所に存在し、それに対して低い値ほど遠くなる。電波強度は距離の二乗に反比例するので、256段階は線形ではなく、大きな値ほど範囲が狭く、小さい値ほど広い範囲が含まれる。 There are two types of data: the number of the wireless tag that detected the radio wave and the radio wave intensity at that time. In order to make the wireless tag number easy to understand, the wireless tag number assigned by human A is described as “XXX human A”, and the wireless tag number provided by robot B (202) is described as “XXX robot B”. doing. One radio wave intensity is a value obtained by normalizing the radio wave intensity acquired by the position sensor in 256 levels from 0 to 255. However, the radio wave intensity representing 255 is the strongest and exists in the nearest place, and the lower the value, the farther away. Since the radio wave intensity is inversely proportional to the square of the distance, the 256 levels are not linear, and the range is narrower as the value is larger, and the wider range is included as the value is smaller.
図2のように居間にヒトA〜CとロボットB(202)と複数の無線タグが存在する場合、位置センサ1013−Aはすべての無線タグを同時に検知している訳ではなく、順次検知している。よって、図5に示すように、検知した結果は時系列に記述されている。この場合、ヒトBやヒトCは位置センサ1013−Aより遠いところにいるので、電波が弱いために必ず電波が届くわけではない。そのため検知されない場合もあり、図5に示されているように、ヒトAやロボットB(202)が検知される回数の方が多い。また、場合によっては、図5にあるように外にいるロボットC(203)が検知されてしまうこともある。従って、検知した無線タグIDに関しての、精度は1.0以下である。ここでは、このセンサの精度は0.8となっている。 As shown in FIG. 2, when there are humans A to C, the robot B (202), and a plurality of wireless tags in the living room, the position sensor 1013-A does not detect all the wireless tags at the same time, but sequentially detects them. ing. Therefore, as shown in FIG. 5, the detected results are described in time series. In this case, since the human B and the human C are located far from the position sensor 1013-A, the radio waves do not necessarily reach because the radio waves are weak. Therefore, it may not be detected, and as shown in FIG. 5, the number of times human A or robot B (202) is detected is larger. In some cases, the robot C (203) outside may be detected as shown in FIG. Therefore, the accuracy with respect to the detected wireless tag ID is 1.0 or less. Here, the accuracy of this sensor is 0.8.
無線タグは、例えばカタログで通信距離10mとなっているときには、最低10mは検知可能ということである。最低10mということは、10m以上電波が届くということであり、事実上40mまで検知可能な場合もある。さらに、実際には、アンテナ取り付け向きなどの電波の届く距離には、個体差がある。そこで、y軸(2次元データのうちの2番目のデータ)の範囲としては、例えば、8〜40mとなっている。最低が8mとなっているのは、10mが最低といっても実際に居間にすえつけた時に計測したデータで最低が8mとなったことを示している。 For example, when the wireless tag has a communication distance of 10 m in the catalog, it can be detected at least 10 m. The minimum 10 m means that radio waves reach 10 m or more, and there are cases where detection is practically possible up to 40 m. Furthermore, in practice, there are individual differences in the distance that radio waves reach such as the direction of antenna attachment. Therefore, the range of the y-axis (second data of the two-dimensional data) is, for example, 8 to 40 m. The minimum of 8 m indicates that even if 10 m is the minimum, the minimum is 8 m in the data measured when the living room was actually installed.
電波強度Iは Radio wave intensity I is
kは係数
rが距離
但し、この場合電波強度Iは256段階となっている。
さらに、位置センサは温度や部屋にいる人数などによって電波の届き方が変動することを考慮して、ここでは距離に関する精度0.6としている。
ここでは、特に触れないが、他のセンサ情報に関しても図3〜図5と同様に、分散センサ情報DB111に蓄積されている。
分散環境行動処理部102は、逐次分散センサ情報DB111に蓄積される情報を読み出し、ヒトとモノの情報にわけ、また適切な認識処理を行い、センサ情報の精度をもとに、位置エネルギー算出部104の算出した位置エネルギーとあわせて、モノにかかわる位置や姿勢、モノの状態(移動中など)を分散環境情報DB112に、ヒトにかかわる位置や姿勢、歩行や安静などの基本的な動作情報を分散状態情報DB113へ書き込む。
k is a distance with a coefficient r. In this case, the radio wave intensity I has 256 levels.
Further, the position sensor is assumed to have a distance accuracy of 0.6 here in consideration of fluctuations in the way radio waves reach depending on the temperature and the number of people in the room.
Here, although not particularly mentioned, other sensor information is also stored in the distributed
The distributed environment
さらに、分散センサ情報DB111と分散状態情報DB112、分散状態情報DB113の情報を読み出し、適切な認識処理を行い、読み出したセンサ精度や位置エネルギーを基に、位置エネルギー算出部104の算出した位置エネルギーとあわせて、睡眠や食事、TV視聴、入浴、料理などの行動を分散行動情報DB114に書き込む。
Further, the information of the distributed
さらに、分散センサ情報DB111と分散状態情報DB112、分散状態情報DB113、分散行動情報DB114の情報を読み出し、適切な認識処理を行い、読み出したセンサ精度や位置エネルギーを基に、位置エネルギー算出部104の算出した位置エネルギーとあわせて、ヒトが例えば、TVを視聴している場合には、ヒトがTVサービスを利用していることをヒトとサービスのインタラクションDB115に、ヒトが皿をしまったといったヒトとモノの関わりをヒトとモノのインタラクションDB116に、家族が話しているといったヒトとヒトの関わりをインタラクションDB117に書き込んでいく。
Further, the information of the distributed
以下に、図3、図4、図5に例示した分散センサ情報をもとに、どのように位置エネルギーを算出しつつ、分散環境行動DB110に対して編集を行っていくかを説明する。図6に示したように、分散環境行動処理部102は、存在するヒトが家人かどうかを認証する個人認証部1021と、その動作を認識するための動作認識部1024と、行動を認識するための行動認識部1045と、状況を認識するための状況認識部1046と、モノやサービスなどの環境を認識するための環境認識部1047と、さらにこれらのもととなる認識処理を行う画像認識部1022と、音声認識部1023から構成されている。
Hereinafter, how to edit the distributed
図5から、位置センサにより、ヒトA、ヒトB、ロボットB(202)が検知されていることがわかる。
「XXXヒトA 200」
「XXXヒトB
10」
「XXXロボB 100」
この情報に基づき、位置エネルギー算出部104は、位置エネルギーを算出する。
位置エネルギーは
From FIG. 5, it can be seen that human A, human B, and robot B (202) are detected by the position sensor.
"
"XXX Human B
Ten"
"
Based on this information, the potential
The potential energy is
とあらわされる。
Fは位置エネルギー関数であり、適切な関数が選択され、x,y,zは3次元空間での座標値、θ,φ,γは姿勢を示す角度(yaw,row,pitch)、tは時刻、pr1,pr2,,,,,,,prnはユーザの嗜好や趣味などを表すN個(定式化する都合上、N個としているが、これに限られない。)のパラメータである。
It is expressed.
F is a potential energy function, an appropriate function is selected, x, y, z are coordinate values in a three-dimensional space, θ, φ, γ are angles (yaw, row, pitch) indicating postures, and t is a time , Prn are N parameters representing the user's preferences and hobbies (the number is N for convenience of formulation, but is not limited thereto).
位置エネルギー関数の形式には、いくつかある。
例えば、ある地点に存在するか否かは二項分布としてとらえることができる。ある地点に存在する生起確率pはきわめて小さいが、ある地点n箇所は人間の一生という長さで考えれば、十分大きくなり、npは有限となる。
There are several forms of potential energy function.
For example, whether or not it exists at a certain point can be regarded as a binomial distribution. The occurrence probability p existing at a certain point is extremely small, but if there are n points at a certain point in terms of the lifetime of a human being, it becomes sufficiently large and np becomes finite.
np=λ
とおくと、二項分布は確率関数としてポアソン分布となる。
np = λ
The binomial distribution is a Poisson distribution as a probability function.
ここで、 here,
および and
従って、位置センサが検出した位置を中心としたポアソン分布関数として表現すると、図7に示したように、センサの位置をもとに、部屋の中の座標値に換算した位置エネルギーを算出することができる。図7に示したポアソン分布関数は3次元形状になっている。 Therefore, when expressed as a Poisson distribution function centered on the position detected by the position sensor, the potential energy converted into the coordinate value in the room is calculated based on the position of the sensor as shown in FIG. Can do. The Poisson distribution function shown in FIG. 7 has a three-dimensional shape.
あるいは、図8に示すように楕円関数 Alternatively, as shown in FIG.
であらわすことも可能である。
図7、図8とも了解性をよくするために、x,yの座標値のみを使って3次元空間(座標値2自由度)内で表示しているが、実際には、[数2]に表されているように、N+8次元空間(座標値3自由度、姿勢3自由度、時刻1自由度、プロファイルN自由度)での関数となっている。
It is also possible to express.
In order to improve comprehension in both FIG. 7 and FIG. 8, only the coordinate values of x and y are used and displayed in a three-dimensional space (coordinate value 2 degrees of freedom). As shown in the above, the function is an N + 8-dimensional space (coordinate value 3 degrees of freedom, posture 3 degrees of freedom,
また、ヒトやロボットと同様にTVや洗濯機などの機器も位置エネルギーをもっている。例えば、TVスピーカー2032は音を提示するが、音は最も単純には、指向性なく全方位に広がるので、その位置エネルギーは、図9に示されるように点線で示した球形となる。
Similarly to humans and robots, devices such as TVs and washing machines have potential energy. For example, although the
ここでは、TVに2つのスピーカーがあるので、位置エネルギーは2つの球で表されている。他方、TV画面は2031は映像を提示し、視角があるので、全方位ではない。ここでは指向性のある電磁界放射パターンとして扱っている(図9にある一点鎖線)。
Here, since the TV has two speakers, the potential energy is represented by two spheres. On the other hand, the
図10はヒトやロボットに関して算出された位置エネルギーと、機器に関して算出された位置エネルギーとを合わせて表示したものである。
コミュニケーション制御部105は、ヒトとロボットに関する位置エネルギーFpと、機器に関する位置エネルギーFaとの重なり(内積)を算定する。
FIG. 10 shows the potential energy calculated for the human or the robot and the potential energy calculated for the device.
The
ヒトと機器との間の内積は、 The inner product between the human and the device is
ヒトとヒトの間の内積は、 The inner product between humans is
で表される。
以下、この内積により、コミュニケーション制御部105と、コミュニケーション評価部103がどのように動作するかを説明する。処理の流れを図11に示して説明する。
It is represented by
Hereinafter, how the
ステップS101は、上述した位置エネルギーの算出を行うものである。次に、位置エネルギーを算出した個数を割り出し、それぞれヒトNpと機器Naに設定する(ステップS102)。 Step S101 calculates the potential energy described above. Next, the calculated number of potential energies is determined and set to human Np and device Na, respectively (step S102).
次に算出したすべてのヒトと機器について、位置エネルギーの内積を算出し、制御や評価を行えるように、ヒトiと機器j、ヒトi以外の別のヒトkとについて処理を行う。それぞれのパラメータを、ステップS103にて初期化する。iとjは1に、kはi以外なので、i+1に設定する。 Next, the inner product of potential energies is calculated for all the calculated humans and devices, and processing is performed on human i, device j, and another human k other than human i so that control and evaluation can be performed. Each parameter is initialized in step S103. Since i and j are 1 and k is other than i, i + 1 is set.
ヒトiと機器jの位置エネルギー間の内積ijCtlを算出する(ステップS104)。内積の算出は上述したとおりである。算出したヒトiと機器jの内積ijCtlが正であれば、ヒトiと機器jとの間にコミュニケーションが発生するので、まず、ステップS105で判定を行う。 The inner product ijC tl between the potential energy of the human i and the device j is calculated (step S104). The calculation of the inner product is as described above. If the calculated inner product ijC tl of the human i and the device j is positive, communication occurs between the human i and the device j, so a determination is first made in step S105.
S105において正であれば、後にコミュニケーション評価を行うために、その時tl時の内積値ijCtl(ヒトiと機器jとのtl時の内積)を記憶する(ステップS106)。正であれば、ヒトiと機器jとの間にコミュニケーションが発生するので、そのためには、機器jサービスがONになる必要がある。ONであるかどうかをステップS107で判断する。 If the result is positive in S105, the inner product value ijC tl (the inner product at the time of tl of the human i and the device j) at that time tl is stored for later communication evaluation (step S106). If it is positive, communication occurs between the human i and the device j. For this purpose, the device j service needs to be turned on. Whether or not it is ON is determined in step S107.
ヒトiと機器jサービスとの間のコミュニケーションがいつ、どのような状態で開始したかを後のコミュニケーション評価に遣うために、機器jサービスをONにしたときのサービスON時ijTon=tlを記憶する(ステップS108)。 Stores ijT on = tl when the service is turned on when the device j service is turned on , in order to send the communication evaluation between the human i and the device j service when and in what state the communication started. (Step S108).
すべての機器jサービスについて、内積を算出するために、jがNaになるまでインクリメントする(ステップS109、S110)。
すでに、ヒトがサービスに興味を失った、あるいは別の場所に移動した場合には、内積が0になる、あるいは内積が小さくなる。別の場所に移動して内積が0になる場合には、ユーザが誰もいないのに、テレビがついたままにならないようにするために、サービスを終了する必要がある。
In order to calculate the inner product for all the device j services, increment until j becomes Na (steps S109 and S110).
If the person has already lost interest in the service or moved to another location, the inner product becomes zero or the inner product becomes smaller. When moving to another location and the inner product becomes 0, it is necessary to terminate the service in order to prevent the TV from staying on when there is no user.
つまり、機器jサービスがONであれば(ステップS107)、内積が前回と変動しているかどうかをステップS115で算出する。
つまり、現在tl時の内積値ijCtlと前回の内積値ijCtl−1との差分
ijEtl=ijCtl−ijCtl−1
をとる。
この差分ijEtlをまず、ステップS116で機器jサービスのヒトiへの効果として記憶する。ステップS117でijEtl<0かどうかを調べる。ijEtlが0あるいはそれ以下であれば、ユーザが別の場所に移動した、あるいは興味を失ったことになるので、機器jサービスをOFFにする(ステップS118)。さらに、いつサービスをOFFにしたかをサービスOFF時ijToff=tlとして記憶する。
That is, if the device j service is ON (step S107), it is calculated in step S115 whether the inner product has changed from the previous time.
In other words, the difference between the current and the inner product value ijC tl and the last of the inner product value ijC tl-1 at the time of tl ijE tl = ijC tl -ijC tl -1
Take.
The difference ijE tl is first stored as an effect on the human i of the device j service in step S116. In step S117, it is checked whether ijE tl <0. If ijE tl is 0 or less, it means that the user has moved to another place or lost interest, so the device j service is turned off (step S118). Further, the time when the service is turned off is stored as ijT off = tl when the service is turned off .
次に、機器jサービスがユーザiに対して、どの程度効果があったかを算定する指標のひとつとして、機器jサービスのサービス効果時間ijToff−ijTonを算出し記憶する(ステップS119)。 Next, the service effect time ijT off -ijT on of the device j service is calculated and stored as one index for calculating how much the device j service is effective for the user i (step S119).
以上の方法により、ユーザがいなくなったときに、サービスをOFFにすることが可能である。
あるいは内積の差分ijEtlが0以下かどうかを判定するのではなく、予め設定した閾値以下になったら、サービスのレベルを変更するようにするようにしてもよい。その場合には、ステップS117の前に、図12に示すように、ステップS127でijEtl<αかどうかを判定する。
With the above method, the service can be turned off when the user disappears.
Alternatively, instead of determining whether the inner product difference ijE tl is equal to or smaller than 0, the service level may be changed when the difference is equal to or smaller than a preset threshold value. In that case, before step S117, as shown in FIG. 12, it is determined whether ijE tl <α in step S127.
これにより、予め設定した閾値以下になったら、機器jサービスのレベルを一段落とす(ステップS128)、例えば、TVの音を小さくするといったことが可能である。 As a result, when the threshold value falls below a preset threshold value, the level of the device j service is reduced to one paragraph (step S128), for example, the sound of the TV can be reduced.
上述したように
ヒトと機械との間の位置エネルギーの内積によるものについて説明してきたが、同様にヒト同士についても位置エネルギーの内積を算出し、その変化を記憶することで、コミュニケーションの履歴を記録することができる。
As described above, we have explained what is based on the inner product of potential energy between humans and machines. Similarly, we calculate the inner product of potential energy for humans and store the changes to record the communication history. can do.
ステップS111では、ヒトiとヒトkの位置エネルギー間の内積ikCtlを算出する。ヒトiとヒトkの内積ikCtlは正かどうかを判定し(ステップS112)、正であれば、コミュニケーションがあるということで、現在tl時の内積値ikCtl(ヒトiとkとのtl時の内積)を記憶する(ステップS120)。 In step S111, an inner product ikC tl between potential energies of human i and human k is calculated. It is determined whether or not the inner product ikC tl of the human i and the human k is positive (step S112), and if it is positive, it means that there is communication, so that the inner product value ikC tl at the time of the current tl Is stored (step S120).
前回の内積ikCtl−1が0であれば(ステップS121)、tl時にコミュニケーションが開始したと判定できるので、コミュニケーション開始時ikTonをtlとして記憶する(ステップS122)。 If the previous inner product ikC tl-1 is 0 (step S121), it can be determined that communication has started at tl, so ikT on at the start of communication is stored as tl (step S122).
ヒトと機械とのコミュニケーションと同様に、現在tl時の内積値ikCtlと前回の内積値ikCtl−1との差分ikEtl=ikCtl−ikCtl-1をとる(ステップS123)。 Like the communication between humans and machines, taking the current differential ikE tl = ikC tl -ikC tl- 1 with the inner product value IKC tl and the last inner product value IKC tl-1 at the time tl (step S123).
ikEtlを機器jサービスのヒトiへの効果として記憶する(ステップS124)。
差分ikEtlが0になれば、コミュニケーションが終了したとみなせるので(ステップS125)、ヒトiとkのコミュニケーション効果時間tl−ikTonを算出し記憶する(ステップS126)。以上をすべてのヒトに対して繰り返していく。
ikE tl is stored as an effect on the human i of the device j service (step S124).
If the difference ikE tl becomes 0, it can be considered that the communication has ended (step S125), so the communication effect time tl-ikT on between the human i and k is calculated and stored (step S126). The above is repeated for all humans.
以上のコミュニケーション効果時間をもとに、コミュニケーション評価部103は評価を行う。
図1の場合には、TVの前にはヒトは1名である。この場合には、コミュニケーション評価部103が記憶しているTVサービス効果時間は例えば、
Te=ijToff−ijTon
とする。
これに対して、例えば、図13のように、TVの前にヒトが2名いる場合であると、コミュニケーション評価部103が記憶しているTVサービス効果時間は見かけ上ではあるが、例えば、
Based on the above communication effect time, the
In the case of FIG. 1, there is one person in front of the TV. In this case, the TV service effect time stored in the
Te = ijT off -ijT on
And
On the other hand, for example, as shown in FIG. 13, when there are two people in front of the TV, the TV service effect time stored in the
Te=(ijToff−ijTon)+(kjToff−kjTon) Te = (ijT off −ijT on ) + (kjT off −kjT on )
とほぼ2倍の効果があることになる。
これにヒト同士のコミュニケーション効果時間
Ce=tl−ikTon
もあるので、全体の効果時間は
Total=Te+Ce
となる。
この結果をもとに、例えば、コミュニケーション制御部は、効果時間を大きくするための制御を行うことについて説明する。コミュニケーション評価部103にてサービス効果時間またはコミュニケーション効果時間が少ないと判断した場合には、コミュニケーション制御部105において上記効果時間を大きくするために、分散環境行動処理部102により認識されている他の家族(例えばヒトA)を呼びに行くように制御する。例えば、コミュニケーション生成部106において、家族を呼んでくる音声情報を生成し、表現メディアで変換部107によりロボット(例えばロボットB)でも出力できる音声合成を行い、ロボットに備えたスピーカーにより家族に呼びかけることができる。
It will be almost twice as effective.
In addition, communication effect time between humans Ce = tl-ikT on
So, the total effect time is Total = Te + Ce
It becomes.
Based on this result, for example, the communication control unit will be described performing control for increasing the effect time. When the
従って、上記構成から対象となる機器又はヒトの位置エネルギーを用いて周囲状況を定量的に解析することで、種々の状況に対応し、更に新規センサや機器の導入に対しても逐次適応することができる。 Therefore, by analyzing the surrounding situation quantitatively using the potential energy of the target device or human being from the above configuration, it is possible to cope with various situations and further adapt sequentially to the introduction of new sensors and devices. Can do.
101・・・センサ入力部
102・・・分散環境行動処理部
103・・・コミュニケーション評価部
104・・・位置エネルギー算出部
105・・・コミュニケーション制御部
106・・・コミュニケーション生成部
107・・・表現メディア変換部
108・・・コミュニケーション提示部
110・・・分散環境行動DB
111・・・分散センサ情報DB
112・・・分散状態情報DB(モノ)
113・・・分散状態情報DB(ヒト)
114・・・分散行動情報DB
115・・・ヒトとサービスのインタラクションDB
116・・・ヒトとモノのインタラクションDB
117・・・ヒトとヒトのインタラクションDB
1011−A、1012−A、1013−A・・・位置センサ
1011−B、1013−B・・・カメラ
1011−C、1013−C・・・マイク
1021・・・個人認証部
1022・・・画像認識部
1023・・・音声認識部
1024・・・動作認識部
1025・・・行動認識部
1026・・・状況認識部
1027・・・環境認識部
201、202、203・・・ロボット
2011、2021、2031・・・スピーカー
2012、2022、2032・・・カメラ
2013、2023、2033・・・マイク
204・・・TV
2041・・・TV画面
2042・・・TVスピーカー
DESCRIPTION OF
111 ... distributed sensor information DB
112 ... Distributed state information DB (thing)
113 ... Distributed state information DB (human)
114 ... distributed action information DB
115 ... Interaction DB of people and services
116 ... Interaction DB of people and things
117 ... Human-human interaction DB
1011-A, 1012-A, 1013-A ... Position sensors 1011-B, 1013-B ... Cameras 1011-C, 1013-C ...
2041 ...
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004006792A JP2005202578A (en) | 2004-01-14 | 2004-01-14 | Communication device and communication method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004006792A JP2005202578A (en) | 2004-01-14 | 2004-01-14 | Communication device and communication method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005202578A true JP2005202578A (en) | 2005-07-28 |
Family
ID=34820654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004006792A Pending JP2005202578A (en) | 2004-01-14 | 2004-01-14 | Communication device and communication method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005202578A (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009544075A (en) * | 2006-07-10 | 2009-12-10 | アクセンチュア グローバル サービスィズ ゲーエムベーハー | Mobile personal service platform to provide feedback |
JP2009303415A (en) * | 2008-06-16 | 2009-12-24 | Nec System Technologies Ltd | Equipment discriminator, program and method |
JP2019075152A (en) * | 2007-09-24 | 2019-05-16 | アップル インコーポレイテッドApple Inc. | Embedded authentication system in electronic device |
US10521579B2 (en) | 2017-09-09 | 2019-12-31 | Apple Inc. | Implementation of biometric authentication |
US10748153B2 (en) | 2014-05-29 | 2020-08-18 | Apple Inc. | User interface for payments |
US10749967B2 (en) | 2016-05-19 | 2020-08-18 | Apple Inc. | User interface for remote authorization |
US10803281B2 (en) | 2013-09-09 | 2020-10-13 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs |
US10860096B2 (en) | 2018-09-28 | 2020-12-08 | Apple Inc. | Device control using gaze information |
US10872256B2 (en) | 2017-09-09 | 2020-12-22 | Apple Inc. | Implementation of biometric authentication |
US11100349B2 (en) | 2018-09-28 | 2021-08-24 | Apple Inc. | Audio assisted enrollment |
US11170085B2 (en) | 2018-06-03 | 2021-11-09 | Apple Inc. | Implementation of biometric authentication |
US11200309B2 (en) | 2011-09-29 | 2021-12-14 | Apple Inc. | Authentication with secondary approver |
US11209961B2 (en) | 2012-05-18 | 2021-12-28 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs |
US11676373B2 (en) | 2008-01-03 | 2023-06-13 | Apple Inc. | Personal computing device control using face detection and recognition |
-
2004
- 2004-01-14 JP JP2004006792A patent/JP2005202578A/en active Pending
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009544075A (en) * | 2006-07-10 | 2009-12-10 | アクセンチュア グローバル サービスィズ ゲーエムベーハー | Mobile personal service platform to provide feedback |
US8442578B2 (en) | 2006-07-10 | 2013-05-14 | Accenture Global Services Limited | Mobile personal services platform for providing feedback |
US10956550B2 (en) | 2007-09-24 | 2021-03-23 | Apple Inc. | Embedded authentication systems in an electronic device |
JP2019075152A (en) * | 2007-09-24 | 2019-05-16 | アップル インコーポレイテッドApple Inc. | Embedded authentication system in electronic device |
US11468155B2 (en) | 2007-09-24 | 2022-10-11 | Apple Inc. | Embedded authentication systems in an electronic device |
US11676373B2 (en) | 2008-01-03 | 2023-06-13 | Apple Inc. | Personal computing device control using face detection and recognition |
JP2009303415A (en) * | 2008-06-16 | 2009-12-24 | Nec System Technologies Ltd | Equipment discriminator, program and method |
US11200309B2 (en) | 2011-09-29 | 2021-12-14 | Apple Inc. | Authentication with secondary approver |
US11755712B2 (en) | 2011-09-29 | 2023-09-12 | Apple Inc. | Authentication with secondary approver |
US11209961B2 (en) | 2012-05-18 | 2021-12-28 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs |
US11494046B2 (en) | 2013-09-09 | 2022-11-08 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs |
US10803281B2 (en) | 2013-09-09 | 2020-10-13 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs |
US11768575B2 (en) | 2013-09-09 | 2023-09-26 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs |
US11287942B2 (en) | 2013-09-09 | 2022-03-29 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces |
US10796309B2 (en) | 2014-05-29 | 2020-10-06 | Apple Inc. | User interface for payments |
US10748153B2 (en) | 2014-05-29 | 2020-08-18 | Apple Inc. | User interface for payments |
US11836725B2 (en) | 2014-05-29 | 2023-12-05 | Apple Inc. | User interface for payments |
US10977651B2 (en) | 2014-05-29 | 2021-04-13 | Apple Inc. | User interface for payments |
US10902424B2 (en) | 2014-05-29 | 2021-01-26 | Apple Inc. | User interface for payments |
US10749967B2 (en) | 2016-05-19 | 2020-08-18 | Apple Inc. | User interface for remote authorization |
US11206309B2 (en) | 2016-05-19 | 2021-12-21 | Apple Inc. | User interface for remote authorization |
US11765163B2 (en) | 2017-09-09 | 2023-09-19 | Apple Inc. | Implementation of biometric authentication |
US11393258B2 (en) | 2017-09-09 | 2022-07-19 | Apple Inc. | Implementation of biometric authentication |
US10783227B2 (en) | 2017-09-09 | 2020-09-22 | Apple Inc. | Implementation of biometric authentication |
US11386189B2 (en) | 2017-09-09 | 2022-07-12 | Apple Inc. | Implementation of biometric authentication |
US10872256B2 (en) | 2017-09-09 | 2020-12-22 | Apple Inc. | Implementation of biometric authentication |
US10521579B2 (en) | 2017-09-09 | 2019-12-31 | Apple Inc. | Implementation of biometric authentication |
US11170085B2 (en) | 2018-06-03 | 2021-11-09 | Apple Inc. | Implementation of biometric authentication |
US11928200B2 (en) | 2018-06-03 | 2024-03-12 | Apple Inc. | Implementation of biometric authentication |
US10860096B2 (en) | 2018-09-28 | 2020-12-08 | Apple Inc. | Device control using gaze information |
US11619991B2 (en) | 2018-09-28 | 2023-04-04 | Apple Inc. | Device control using gaze information |
US11100349B2 (en) | 2018-09-28 | 2021-08-24 | Apple Inc. | Audio assisted enrollment |
US11809784B2 (en) | 2018-09-28 | 2023-11-07 | Apple Inc. | Audio assisted enrollment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10628714B2 (en) | Entity-tracking computing system | |
US11412108B1 (en) | Object recognition techniques | |
US11561519B2 (en) | Systems and methods of gestural interaction in a pervasive computing environment | |
US11561621B2 (en) | Multi media computing or entertainment system for responding to user presence and activity | |
US10776672B2 (en) | Sensor fusion for monitoring an object-of-interest in a region | |
US9965865B1 (en) | Image data segmentation using depth data | |
US11481571B2 (en) | Automated localized machine learning training | |
US11010601B2 (en) | Intelligent assistant device communicating non-verbal cues | |
US7801332B2 (en) | Controlling a system based on user behavioral signals detected from a 3D captured image stream | |
US9201499B1 (en) | Object tracking in a 3-dimensional environment | |
JP2021525477A (en) | Audio / video device with viewer | |
JP2005202578A (en) | Communication device and communication method | |
JP2018523424A (en) | monitoring | |
US9703371B1 (en) | Obtaining input from a virtual user interface | |
Pauwels et al. | Sensor networks for ambient intelligence | |
WO2003092291A1 (en) | Object detection device, object detection server, and object detection method | |
KR102481486B1 (en) | Method and apparatus for providing audio | |
KR101634355B1 (en) | Apparatus and Method for detecting a motion | |
EP3383030B1 (en) | Osd information generation camera, osd information synthesis terminal (20), and osd information sharing system comprising same | |
EP3398029B1 (en) | Intelligent smart room control system | |
Xiang et al. | Remote safety monitoring for elderly persons based on omni-vision analysis | |
CN109986553B (en) | Active interaction robot, system, method and storage device | |
JP2005199373A (en) | Communication device and communication method | |
JPWO2020021861A1 (en) | Information processing equipment, information processing system, information processing method and information processing program | |
JP2021033359A (en) | Emotion estimation device, emotion estimation method, program, information presentation device, information presentation method and emotion estimation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070817 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071207 |