JP2010271978A - Behavior estimating device - Google Patents
Behavior estimating device Download PDFInfo
- Publication number
- JP2010271978A JP2010271978A JP2009123900A JP2009123900A JP2010271978A JP 2010271978 A JP2010271978 A JP 2010271978A JP 2009123900 A JP2009123900 A JP 2009123900A JP 2009123900 A JP2009123900 A JP 2009123900A JP 2010271978 A JP2010271978 A JP 2010271978A
- Authority
- JP
- Japan
- Prior art keywords
- behavior
- camera
- detection device
- wearer
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Alarm Systems (AREA)
Abstract
Description
本発明は、特定人物の行動を推定するための行動推定装置に関するものである。 The present invention relates to a behavior estimation device for estimating the behavior of a specific person.
センシングデバイスを用いた研究で現在最も盛んな分野の１つは、日常行動の推定である。この日常行動の推定とは、特定の人物が現在何をしているかを決定することである。この推定が正しく行われるようになると、日常生活を行う上での支援などが可能になる。ここで、本発明の推定の対象となる行動としては、例えば「薬を飲む」、「お茶を作る」、「コーヒーを作る」、「歯磨きをする」などの主に手により行われるものである。 One of the most active fields of research using sensing devices is the estimation of daily activities. This estimation of daily behavior is to determine what a particular person is currently doing. If this estimation is performed correctly, it will be possible to support daily life. Here, the actions subject to the estimation of the present invention are mainly performed by hand such as “drinking medicine”, “making tea”, “making coffee”, “paying teeth”, etc. .
従来、人物の行動を認識するための技術は、例えば非特許文献１〜非特許文献４などに開示されている。
非特許文献１には、手首や腰などに加速度センサを装着し、この加速度センサの出力波形に基づいて「歩く」、「自転車をこぐ」、「歯を磨く」などの20種類の人物の行動を認識する技術が開示されている。
Conventionally, techniques for recognizing a person's action are disclosed in Non-Patent Document 1 to Non-Patent Document 4, for example.
In Non-Patent Document 1, 20 types of human activities such as “walking”, “biking a bicycle”, “brushing teeth”, etc. based on the output waveform of the acceleration sensor are mounted on the wrist or waist. A technique for recognizing is disclosed.
非特許文献２には、行動を推定する人物にマイクと加速度センサとを装着し、のこぎり引きやドリルを使用した工作作業を認識する技術が開示されている。
非特許文献３には、画像処理のアプローチから、環境（部屋の天井など）に設置したカメラで得られた人物の映像を用いて人物の動作を認識する技術が開示されている。
非特許文献４には、環境内の生活用品や物品にセンサやRFIDタグを添付し、このRFIDタグを使用して生活用品や物品の利用を検知することで行動の認識を行う技術が開示されている。
Non-Patent Document 2 discloses a technique for recognizing a work operation using a saw and a drill by attaching a microphone and an acceleration sensor to a person whose behavior is to be estimated.
Non-Patent Document 3 discloses a technique for recognizing a person's movement using an image of a person obtained by a camera installed in an environment (such as a ceiling of a room) from an image processing approach.
Non-Patent Document 4 discloses a technique for recognizing behavior by attaching a sensor or RFID tag to a daily life item or article in the environment and detecting the use of the daily item or article using the RFID tag. ing.
上述した非特許文献１や非特許文献２に開示されている技術で認識できる行動は、その行動に含まれる音が特徴的なものや、その行動を行う際の身体の部位の動きが特徴的なもののみに限られる。これらの従来の技術で認識可能な行動は、例えば、ドリルを使う工作作業や、歩行の行動などである。これらの従来の技術では、音や手の特徴的な動作を含まない行動を認識することは難しかった。 The actions that can be recognized by the techniques disclosed in Non-Patent Document 1 and Non-Patent Document 2 described above are characterized by the sounds included in the actions and the movements of the body parts when performing the actions. Limited to Actions that can be recognized by these conventional techniques include, for example, work using a drill and walking action. In these conventional techniques, it is difficult to recognize an action that does not include a sound or a characteristic action of the hand.
また、非特許文献３に開示されているように、人物をカメラで撮影して生活行動を認識するためには、環境のさまざまな部屋に大量のカメラを設置しなければならない。このため、非特許文献３に開示されている技術で行動を認識する場合は、コストが高くなる。しかも、人物を常にカメラで撮影しておかなければならないために、プライバシーを侵害するおそれもある。 In addition, as disclosed in Non-Patent Document 3, in order to recognize a living behavior by photographing a person with a camera, a large number of cameras must be installed in various rooms in the environment. For this reason, when an action is recognized by the technique disclosed in Non-Patent Document 3, the cost increases. In addition, since people must always be photographed with a camera, privacy may be infringed.
非特許文献４に開示されている手法を採る場合、環境内にあるさまざまな大量の物品にセンサやRFIDタグを添付しなければならない。このため、非特許文献４に開示されている技術で行動を認識するためには、コストが高くなる。また、このような行動推定は、教師信号を用いて学習により行われることが多い。この教師信号を作成するためには、環境に設置されたカメラの映像を見て行うことが多く、このため、環境に設置したカメラが必要になる。 When the method disclosed in Non-Patent Document 4 is adopted, sensors and RFID tags must be attached to various mass items in the environment. For this reason, in order to recognize action with the technique currently disclosed by the nonpatent literature 4, cost becomes high. Such behavior estimation is often performed by learning using a teacher signal. In order to create the teacher signal, it is often performed by watching a video image of a camera installed in the environment. For this reason, a camera installed in the environment is required.
本発明はこのような問題を解消するためになされたもので、特定人物が手を使用する行動を低いコストで推定することができる行動推定装置を提供することを目的とする。 The present invention has been made to solve such a problem, and an object of the present invention is to provide an action estimation apparatus that can estimate an action of a specific person using a hand at a low cost.
この目的を達成するために、本発明に係る行動推定装置は、腕輪型の検出装置と、前記検出装置に設けられたカメラ、加速度センサ、照度センサ、マイク、方位センサなどの各種センサ群と、前記検出装置に設けられて前記センサ群のセンサデータを無線通信によって送信する無線通信装置と、前記無線通信を介して受信した前記センサデータに基づいて、前記検出装置を装着した装着者の行動を推定するホストコンピュータとを備えた行動推定装置であって、前記カメラは、前記装着者の指先側を指向して撮影するものである。 In order to achieve this object, a behavior estimation device according to the present invention includes a bracelet type detection device, and various sensor groups such as a camera, an acceleration sensor, an illuminance sensor, a microphone, and a direction sensor provided in the detection device, A wireless communication device that is provided in the detection device and transmits sensor data of the sensor group by wireless communication, and a behavior of a wearer wearing the detection device based on the sensor data received via the wireless communication A behavior estimation apparatus including a host computer for estimation, wherein the camera is directed toward the wearer's fingertip side.
本発明においては、検出装置を装着した人物が手に持つ物品や手の周辺近傍に位置している物品などをカメラによって撮影することができる。カメラによって撮像された物品などは、カメラの撮像データに基づいて特定することができる。 In the present invention, an article held in the hand of a person wearing the detection device or an article located near the periphery of the hand can be photographed by the camera. Articles and the like imaged by the camera can be specified based on the imaging data of the camera.
このため、本発明によれば、前記人物が行動する上で使用している物品や、前記人物が行動を起こす動機付けとなるような物品などを判別できるから、前記人物の行動を推定することができる。また、本発明においては、行動を推定するに当たって対象となる人物に腕輪型の検出装置を装着するだけで実施できるから、環境に多数のセンサノードやカメラを設置する必要はなく、従来の技術を採る場合に較べてコストを低く抑えることができる。
したがって、本発明によれば、特定の人物が手を使用する行動を低いコストで推定することが可能な行動推定装置を提供することができる。
For this reason, according to the present invention, it is possible to discriminate articles used for the person to act, articles that motivate the person to act, etc., so that the person's action is estimated. Can do. In addition, in the present invention, since it is possible to carry out the estimation of the behavior by simply attaching a bracelet type detection device to the target person, it is not necessary to install a large number of sensor nodes and cameras in the environment, and the conventional technology is used. Cost can be kept low compared with the case of adopting.
Therefore, according to the present invention, it is possible to provide an action estimation apparatus that can estimate an action of a specific person using a hand at a low cost.
以下、本発明に係る行動推定装置の一実施例を図１〜図４によって詳細に説明する。
図１に示す手１は、行動を推定する対象となる人物のものである。以下においては、この人物を単に装着者という。この手１には、本発明に係る行動推定装置２（図３参照）の一部を構成する腕輪型検出装置３が装着されている。前記行動推定装置２は、前記腕輪型検出装置３と、この腕輪型検出装置３に無線通信によって接続されたホストコンピュータ４（図３参照）とを備えている。
Hereinafter, an embodiment of the behavior estimation apparatus according to the present invention will be described in detail with reference to FIGS.
A hand 1 shown in FIG. 1 is that of a person whose behavior is to be estimated. In the following, this person is simply referred to as the wearer. The hand 1 is equipped with a bracelet type detection device 3 constituting a part of the behavior estimation device 2 (see FIG. 3) according to the present invention. The behavior estimation device 2 includes the bracelet type detection device 3 and a host computer 4 (see FIG. 3) connected to the bracelet type detection device 3 by wireless communication.
前記腕輪型検出装置３（以下、単に検出装置３という）は、図１に示すように、装着者の手１（手首１ａより指先側の部分）を挿入可能な環状に形成された腕輪部５と、この腕輪部５に設けられた検出部ケース６と、この検出部ケース６の内部に設けられた検出装置本体７（図３参照）と、前記検出装置本体７に給電するためのバッテリー（図示せず）とから構成されている。このバッテリーは、前記腕輪部５に取付けたり、後述する検出部ケース６の内部に収納することができる。 As shown in FIG. 1, the bracelet type detection device 3 (hereinafter simply referred to as the detection device 3) has a bracelet portion 5 formed in an annular shape into which a wearer's hand 1 (a part closer to the fingertip than the wrist 1 a) can be inserted. A detection unit case 6 provided in the bracelet unit 5, a detection device main body 7 (see FIG. 3) provided in the detection unit case 6, and a battery for supplying power to the detection device main body 7 (see FIG. 3). (Not shown). This battery can be attached to the bracelet 5 or housed in the detector case 6 described later.
前記腕輪部５は、この実施例においては円環状に形成されている。腕輪部５を形成する材料は、プラスチック、合成ゴム、金属などを使用することができる。腕輪部５は、これを装着する装着者に不快感を与えない程度で手首１ａに密着する（容易に動くことができない）ように形成することが望ましい。また、腕輪部５は、いわゆる時計バンドと同一の構造に形成することもできる。 The bracelet portion 5 is formed in an annular shape in this embodiment. As a material for forming the bracelet portion 5, plastic, synthetic rubber, metal, or the like can be used. It is desirable that the bracelet portion 5 is formed so as to be in close contact with the wrist 1a (it cannot move easily) without causing discomfort to the wearer wearing the bracelet. Moreover, the bracelet part 5 can also be formed in the same structure as what is called a watch band.
図１に示す検出部ケース６は、外形がかまぼこ状を呈する形状に形成されている。なお、検出部ケース６の形状は、この実施例に示す形状に限定されることはなく、適宜変更することができる。この実施例による検出部ケース６は、平坦な端面６ａが円環状の腕輪部５の軸線方向を指向する状態で腕輪部５の外周部分に設けられている。また、この検出部ケース６は、図１および図２に示すように、前記腕輪部５を装着者の手首１ａに装着した状態で手首１ａの内側（掌側）となる位置に配置されている。図２に示す腕輪型検出装置３は、検出部ケース６の形状が異なる他は図１に示した腕輪型検出装置３と同一の構成が採られている。図２に示した検出部ケース６は、平面視長方形の板状に形成されている。 The detection part case 6 shown in FIG. 1 is formed in the shape where the external shape exhibits a semi-cylindrical shape. In addition, the shape of the detection part case 6 is not limited to the shape shown in this Example, It can change suitably. The detector case 6 according to this embodiment is provided on the outer peripheral portion of the bracelet part 5 with the flat end face 6 a pointing in the axial direction of the annular bracelet part 5. Further, as shown in FIGS. 1 and 2, the detection unit case 6 is disposed at a position on the inner side (palm side) of the wrist 1a in a state where the bracelet unit 5 is mounted on the wrist 1a of the wearer. . The bracelet type detection device 3 shown in FIG. 2 has the same configuration as the bracelet type detection device 3 shown in FIG. 1 except that the shape of the detection unit case 6 is different. The detection unit case 6 shown in FIG. 2 is formed in a rectangular plate shape in plan view.
前記検出装置本体７は、図３に示すように、カメラ１１と、マイク１２と、加速度センサ１３などのセンサ群と、これらの電子部品に接続されたセンサデータ前処理部１４と、無線通信部１５と、データ保存部１６などによって構成されている。
前記カメラ１１は、撮影素子（図示せず）を使用して撮像データを生成可能なものであり、前記検出部ケース６の一方の端面６ａ（指先１ｂ側を指向する端面）に設けられたレンズ１７（図１参照）を通して撮影する構成が採られている。
As shown in FIG. 3, the detection device body 7 includes a camera 11, a microphone 12, a sensor group such as an acceleration sensor 13, a sensor data preprocessing unit 14 connected to these electronic components, and a wireless communication unit. 15 and a data storage unit 16 and the like.
The camera 11 can generate imaging data using an imaging element (not shown), and is a lens provided on one end surface 6a of the detection unit case 6 (an end surface facing the fingertip 1b side). 17 (see FIG. 1) is used.
すなわち、このカメラ１１は、図２に示すように、装着者の手首１ａから指先１ｂ側を指向して撮影するものである。また、このカメラ１１は、図２中に示す２本の二点鎖線で挟まれた領域内を撮影できる構成が採られている。すなわち、このカメラ１１は、装着者の掌１ｃおよび掌１ｃの周辺近傍を手首１ａ側から指に遮られることがない状態で撮影することになる。このため、装着者が手１で把持した物品（図示せず）や、装着者の手１の周辺近傍に位置している物品（図示せず）などをカメラ１１によって撮影することができる。 That is, as shown in FIG. 2, the camera 11 is intended to shoot from the wearer's wrist 1a toward the fingertip 1b. Further, the camera 11 has a configuration capable of photographing the inside of an area sandwiched between two two-dot chain lines shown in FIG. That is, the camera 11 takes a picture of the wearer's palm 1c and the vicinity of the palm 1c without being blocked by a finger from the wrist 1a side. Therefore, an article (not shown) gripped by the wearer with the hand 1 or an article (not shown) located near the periphery of the wearer's hand 1 can be taken by the camera 11.
前記マイク１２は、図１に示すように、前記レンズ１７と隣接する位置に設けられている。このマイク１２は、装着者が手１で物品を把持するときに生じる音や、その物品から生じる音、装着者あるいは他の人物の音声などを録音することができるものである。
前記加速度センサ１３は、装着者の手１の移動を検出するためのものである。検出装置本体７には、加速度センサ１３の他に、例えば、装着者の手１の周辺の照度を検出するための照度センサや、手１の移動する方向を検出するための方位センサなどを装備することができる。
As shown in FIG. 1, the microphone 12 is provided at a position adjacent to the lens 17. The microphone 12 can record sound generated when the wearer holds the article with the hand 1, sound generated from the article, voice of the wearer or another person, and the like.
The acceleration sensor 13 is for detecting movement of the wearer's hand 1. In addition to the acceleration sensor 13, the detection device body 7 is equipped with, for example, an illuminance sensor for detecting the illuminance around the wearer's hand 1 and an orientation sensor for detecting the direction in which the hand 1 moves. can do.
前記カメラ１１の撮像データと、マイク１２の録音データと、加速度センサ１３やその他のセンサの検出データは、センサデータ前処理部１４に送られる。この実施例においては、前記撮像データと、録音データと、各センサの検出データとによって、請求項１記載の発明でいうセンサデータが構成されている。カメラ１１やマイク１２から取得できるセンサデータは、大容量であり、また、装着者のプライバシー情報を多く含んでいる。 The imaging data of the camera 11, the recording data of the microphone 12, and the detection data of the acceleration sensor 13 and other sensors are sent to the sensor data preprocessing unit 14. In this embodiment, the imaging data, the sound recording data, and the detection data of each sensor constitute sensor data as referred to in the first aspect of the invention. The sensor data that can be acquired from the camera 11 or the microphone 12 has a large capacity and includes a lot of privacy information of the wearer.
前記センサデータ前処理部１４は、上述したセンサデータのデータサイズを小さくしたり、情報量を削ることでプライバシー情報を復元不可能にしたり、圧縮したり、暗号化したりする。なお、センサデータ前処理部１４としては、これらの処理を行わない構成を採ることもできる。ここで、センサデータ前処理部１４で行われる一般的な処理について説明する。画像データは、その画像をヒストグラムなどに変換することでデータ量を削減できる。音声データや加速度データなどの波形データは、高速フーリエ変換を適用し、そのフーリエ係数のみを抽出することでデータ量を削減できる。 The sensor data preprocessing unit 14 makes the privacy information unrecoverable, compresses, or encrypts the data by reducing the data size of the sensor data described above or reducing the amount of information. The sensor data pre-processing unit 14 may be configured not to perform these processes. Here, a general process performed by the sensor data preprocessing unit 14 will be described. The amount of image data can be reduced by converting the image into a histogram or the like. Waveform data such as voice data and acceleration data can be reduced in data amount by applying fast Fourier transform and extracting only the Fourier coefficients.
また、このセンサデータ前処理部１４は、上述したように処理したデータを無線通信部１５に送る。無線通信部１５は、無線通信（例えばWiFiなど）によりホストコンピュータ４に前記データを送信する。この実施例においては、この無線通信部１５によって本発明でいう無線通信装置が構成されている。 Further, the sensor data preprocessing unit 14 sends the data processed as described above to the wireless communication unit 15. The wireless communication unit 15 transmits the data to the host computer 4 by wireless communication (for example, WiFi). In this embodiment, the wireless communication unit 15 constitutes a wireless communication device according to the present invention.
さらに、前記センサデータ前処理部１４は、処理前もしくは処理後の前記データをデータ保存部１６に送信し、そのデータをデータ保存部１６に保存させる。データ保存部１６は、受信したデータを自身の記憶領域やフラッシュメモリーカード（図示せず）などに保存する構成が採られている。なお、このデータは、後述するように教師信号の作成に用いることができる。 Further, the sensor data preprocessing unit 14 transmits the data before or after the processing to the data storage unit 16 and causes the data storage unit 16 to store the data. The data storage unit 16 is configured to store the received data in its own storage area or a flash memory card (not shown). This data can be used to create a teacher signal as will be described later.
上述したカメラ１１によって撮影された映像は、教師信号の作成にも利用することができる。通常、教師信号の作成は、非特許文献４に開示されているように、環境に設置されたカメラで撮影した映像を見ながら行われる。しかし、この実施例による行動推定装置２によれば、腕輪型検出装置３のカメラ１１により撮影された撮像データを見ながら教師信号を作成することができる。教師信号の作成は、例えば、図４に示すように、カメラ１１が撮影した画像２１（映像）をディスプレイ装置（図示せず）に表示させ、この画像２１を見ながら、いつの期間にどの行動をしたかを入力することにより行う。図４において、符号２２は再生スイッチを示し、２３は一時停止スイッチ、２４は各種データ表示部を示す。 The video imaged by the camera 11 described above can also be used to create a teacher signal. Usually, the teacher signal is created while watching a video taken by a camera installed in the environment, as disclosed in Non-Patent Document 4. However, according to the behavior estimation apparatus 2 according to this embodiment, it is possible to create a teacher signal while viewing image data captured by the camera 11 of the bracelet type detection apparatus 3. For example, as shown in FIG. 4, the teacher signal is generated by displaying an image 21 (video) taken by the camera 11 on a display device (not shown) and observing the image 21 to determine which action during which period. This is done by entering what you did. In FIG. 4, reference numeral 22 denotes a reproduction switch, 23 denotes a pause switch, and 24 denotes various data display units.
前記ホストコンピュータ４は、前記無線通信を介して受信したデータ（撮像データ、録音データ、各センサの検出データ）から特徴抽出を行ない、その後、装着者の行動推定を行う。この行動を推定する方法は、非特許文献１や非特許文献４に開示されているように、一般的な学習器を用いて行う。例えば、行動推定を行うに当たっては、決定木や隠れマルコフモデルなどを用いることができる。 The host computer 4 performs feature extraction from data (imaging data, recording data, detection data of each sensor) received via the wireless communication, and then performs a wearer's behavior estimation. The method for estimating the behavior is performed using a general learning device as disclosed in Non-Patent Document 1 and Non-Patent Document 4. For example, a decision tree, a hidden Markov model, or the like can be used for estimating the behavior.
このように構成された行動推定装置２においては、検出装置３を装着した人物が手で把持する物品や、手の周辺近傍に位置している物品などをカメラ１１によって撮影することができる。カメラ１１によって撮影された物品などは、カメラ１１の撮像データに基づいて特定することができる。 In the behavior estimation device 2 configured as described above, an object that is worn by a person wearing the detection device 3 or an object positioned near the periphery of the hand can be photographed by the camera 11. Articles and the like photographed by the camera 11 can be specified based on the imaging data of the camera 11.
このようにカメラ１１を用いることによって、装着者が手１で持っている物品の情報（例えば色や印刷されているロゴなど）を取得できるため、音や手の特徴的な動きを含まない行動でも認識することができる。例えば、お茶を淹れる行動やコーヒーを作る行動、植物に水を与える行動などの音や動きに特徴のない行動であっても、その行動に利用されている物品の視覚的な情報を利用することで行動を認識できるようになる。 By using the camera 11 in this way, information on an article held by the wearer 1 with the hand 1 (for example, a color or a printed logo) can be acquired. But it can be recognized. For example, even if the behavior is not characterized by sounds or movements, such as making tea, making coffee, or giving water to plants, use the visual information of the goods used in the behavior It becomes possible to recognize the action.
したがって、この実施例によれば、装着者が行動する上で使用している物品や、装着者が行動を起こす動機付けとなるような物品などを判別できるから、装着者の行動を簡単に推定することができる。また、この実施例においては、行動を推定するに当たって対象となる人物に腕輪型検出装置３を装着するだけで実施できるから、環境に多数のセンサノードやカメラを設置する必要はなく、従来の技術を採る場合に較べてコストを低く抑えることができる。
この結果、この実施例によれば、特定の人物が手を使用する行動を低いコストで推定することが可能な行動推定装置を提供することができる。
Therefore, according to this embodiment, it is possible to discriminate articles that are used for the wearer to behave, and articles that are motivated for the wearer to act, so that the behavior of the wearer can be easily estimated. can do. Further, in this embodiment, since it is possible to carry out the estimation of the behavior simply by attaching the bracelet type detection device 3 to the target person, there is no need to install a large number of sensor nodes and cameras in the environment. The cost can be kept low compared with the case of adopting.
As a result, according to this embodiment, it is possible to provide an action estimation device that can estimate an action in which a specific person uses a hand at a low cost.
この実施例による前記検出装置３は、前記装着者の手首１ａに装着可能に形成され、前記カメラ１１は、前記検出装置３における前記手首１ａの内側と対応する部位に配設されている。このため、この実施例によれば、前記装着者の掌１ｃおよびその周辺近傍をカメラ１１によって撮影することができるから、装着者が持つ物品や、装着者が手１を近付けた物品などを指に遮られることがない状態で撮影することができる。
したがって、この実施例によれば、装着者の行動を推定するための物品等を確実に撮影できるから、より一層正確に前記装着者の行動を推定することができる。
The detection device 3 according to this embodiment is formed so as to be attachable to the wrist 1a of the wearer, and the camera 11 is disposed in a portion corresponding to the inside of the wrist 1a in the detection device 3. Therefore, according to this embodiment, the wearer's palm 1c and the vicinity thereof can be photographed by the camera 11, so that the wearer can point the article held by the wearer or the article close to the hand 1 by the wearer. It is possible to take a picture without being interrupted by the light.
Therefore, according to this embodiment, it is possible to reliably photograph an article or the like for estimating the wearer's behavior, and thus it is possible to estimate the wearer's behavior more accurately.
１…手、２…行動推定装置、３…腕輪型検出装置、４…ホストコンピュータ、５…腕輪部、６…検出部ケース、７…検出装置本体、１１…カメラ、１２…マイク、１３…加速度センサ、１５…無線通信部、１６…データ保存部。 DESCRIPTION OF SYMBOLS 1 ... Hand, 2 ... Action estimation apparatus, 3 ... Bracelet type detection apparatus, 4 ... Host computer, 5 ... Bracelet part, 6 ... Detection part case, 7 ... Detection apparatus main body, 11 ... Camera, 12 ... Microphone, 13 ... Acceleration Sensor, 15 ... wireless communication unit, 16 ... data storage unit.
Claims (2)
前記検出装置に設けられたカメラを含む複数のセンサからなるセンサ群と、
前記検出装置に設けられて前記センサ群のセンサデータを無線通信によって送信する無線通信装置と、
前記無線通信を介して受信した前記センサデータに基づいて、前記検出装置を装着した装着者の行動を推定するホストコンピュータとを備えた行動推定装置であって、
前記カメラは、前記装着者の指先側を指向して撮像するものであることを特徴とする行動推定装置。 A bracelet type detection device;
A sensor group comprising a plurality of sensors including a camera provided in the detection device;
A wireless communication device that is provided in the detection device and transmits sensor data of the sensor group by wireless communication;
A behavior estimation device comprising: a host computer that estimates the behavior of a wearer wearing the detection device based on the sensor data received via the wireless communication;
The behavior estimation apparatus according to claim 1, wherein the camera directs and images the wearer's fingertip side.
前記カメラは、前記検出装置における前記手首の内側と対応する部位に配設されている行動推定装置。 The behavior estimation device according to claim 1, wherein the detection device is formed to be attachable to a wrist of the wearer,
The camera is a behavior estimation device arranged at a portion corresponding to the inside of the wrist in the detection device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009123900A JP2010271978A (en) | 2009-05-22 | 2009-05-22 | Behavior estimating device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009123900A JP2010271978A (en) | 2009-05-22 | 2009-05-22 | Behavior estimating device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010271978A true JP2010271978A (en) | 2010-12-02 |
Family
ID=43419941
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009123900A Pending JP2010271978A (en) | 2009-05-22 | 2009-05-22 | Behavior estimating device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010271978A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015135674A (en) * | 2014-01-03 | 2015-07-27 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | User-directed personal information assistant |
| WO2017113793A1 (en) * | 2015-12-31 | 2017-07-06 | 北京体基科技有限公司 | Method and apparatus for determining area of finger in image, and a wrist-type device |
| CN108307303A (en) * | 2017-01-12 | 2018-07-20 | 深圳市润安科技发展有限公司 | A kind of method and device of community's correction personnel activity's information inquiry |
| CN108305448A (en) * | 2017-01-12 | 2018-07-20 | 深圳市润安科技发展有限公司 | A kind of method and device of community's correction personnel's early warning |
| JPWO2018131311A1 (en) * | 2017-01-10 | 2019-11-07 | 日本電気株式会社 | Sensing system, sensor node device, sensor measurement value processing method, and program |
| JP2020080093A (en) * | 2018-11-14 | 2020-05-28 | Ｒ−ｅ株式会社 | Wearing article design information search system |
| CN111990983A (en) * | 2020-08-31 | 2020-11-27 | 平安国际智慧城市科技股份有限公司 | Heart rate monitoring method, intelligent pen, terminal and storage medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11198075A (en) * | 1998-01-08 | 1999-07-27 | Mitsubishi Electric Corp | Behavior support system |
| JP2005301583A (en) * | 2004-04-09 | 2005-10-27 | Nara Institute Of Science & Technology | Typing input device |
| WO2008047872A1 (en) * | 2006-10-20 | 2008-04-24 | Hitachi, Ltd. | Manipulator |
-
2009
- 2009-05-22 JP JP2009123900A patent/JP2010271978A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11198075A (en) * | 1998-01-08 | 1999-07-27 | Mitsubishi Electric Corp | Behavior support system |
| JP2005301583A (en) * | 2004-04-09 | 2005-10-27 | Nara Institute Of Science & Technology | Typing input device |
| WO2008047872A1 (en) * | 2006-10-20 | 2008-04-24 | Hitachi, Ltd. | Manipulator |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015135674A (en) * | 2014-01-03 | 2015-07-27 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | User-directed personal information assistant |
| WO2017113793A1 (en) * | 2015-12-31 | 2017-07-06 | 北京体基科技有限公司 | Method and apparatus for determining area of finger in image, and a wrist-type device |
| JPWO2018131311A1 (en) * | 2017-01-10 | 2019-11-07 | 日本電気株式会社 | Sensing system, sensor node device, sensor measurement value processing method, and program |
| US11514277B2 (en) | 2017-01-10 | 2022-11-29 | Nec Corporation | Sensing system, sensor node device, sensor measurement value processing method, and program |
| JP7206915B2 (en) | 2017-01-10 | 2023-01-18 | 日本電気株式会社 | SENSING SYSTEM, SENSOR NODE DEVICE, SENSOR MEASURED VALUE PROCESSING METHOD AND PROGRAM |
| CN108307303A (en) * | 2017-01-12 | 2018-07-20 | 深圳市润安科技发展有限公司 | A kind of method and device of community's correction personnel activity's information inquiry |
| CN108305448A (en) * | 2017-01-12 | 2018-07-20 | 深圳市润安科技发展有限公司 | A kind of method and device of community's correction personnel's early warning |
| JP2020080093A (en) * | 2018-11-14 | 2020-05-28 | Ｒ−ｅ株式会社 | Wearing article design information search system |
| CN111990983A (en) * | 2020-08-31 | 2020-11-27 | 平安国际智慧城市科技股份有限公司 | Heart rate monitoring method, intelligent pen, terminal and storage medium |
| CN111990983B (en) * | 2020-08-31 | 2023-08-22 | 深圳平安智慧医健科技有限公司 | Heart rate monitoring method, intelligent pen, terminal and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10498944B2 (en) | Wearable apparatus with wide viewing angle image sensor | |
| US11861069B2 (en) | Gesture operated wrist mounted camera system | |
| JP2010271978A (en) | Behavior estimating device | |
| Bedri et al. | Fitbyte: Automatic diet monitoring in unconstrained situations using multimodal sensing on eyeglasses | |
| CN104820488B (en) | User's directional type personal information assistant | |
| CN103581550B (en) | Data storage device and storage medium | |
| US7633527B2 (en) | Attention detection | |
| CN112926423B (en) | Pinch gesture detection and recognition method, device and system | |
| EP2899609B1 (en) | System and method for name recollection | |
| CN104919396B (en) | Shaken hands in head mounted display using body | |
| Maekawa et al. | WristSense: wrist-worn sensor device with camera for daily activity recognition | |
| US20150213306A1 (en) | Apparatus, method and system for automatically detecting questionable persons | |
| Morerio et al. | Hand detection in first person vision | |
| JP2015092646A (en) | Information processing device, control method, and program | |
| WO2013179883A1 (en) | Electronic apparatus and garment | |
| Lim et al. | Bodytrak: Inferring full-body poses from body silhouettes using a miniature camera on a wristband | |
| CN105427228B (en) | Photo watermark handling method and device | |
| Ward et al. | Towards recognising collaborative activities using multiple on-body sensors | |
| CN210078765U (en) | Motion capture recognition and evaluation device based on wearable sensor | |
| JP2007127536A (en) | Posture detecting system, and light emitter | |
| KR102526771B1 (en) | Hybrid Human Fall Detection Method and System using Wearable Accelerometer and Video-Based Pose Data | |
| Nouisser et al. | Deep learning and kinect skeleton-based approach for fall prediction of elderly physically disabled | |
| Ijjina | Human fall detection using temporal templates and convolutional neural networks | |
| JPH1023319A (en) | Image pickup device | |
| Tavakolizadeh et al. | Traceband: locating missing items by visual remembrance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Effective date: 20111012 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20111111 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20111111 |
|
| A977 | Report on retrieval |
Effective date: 20121031 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
| A131 | Notification of reasons for refusal |
Effective date: 20121106 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
| A521 | Written amendment |
Effective date: 20121226 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130514 |