JP2017138930A - Terminal, system, program, and method for determining user state of own terminal by using information from other terminal - Google Patents

Terminal, system, program, and method for determining user state of own terminal by using information from other terminal Download PDF

Info

Publication number
JP2017138930A
JP2017138930A JP2016021328A JP2016021328A JP2017138930A JP 2017138930 A JP2017138930 A JP 2017138930A JP 2016021328 A JP2016021328 A JP 2016021328A JP 2016021328 A JP2016021328 A JP 2016021328A JP 2017138930 A JP2017138930 A JP 2017138930A
Authority
JP
Japan
Prior art keywords
terminal
user
terminals
user state
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016021328A
Other languages
Japanese (ja)
Other versions
JP6501404B2 (en
Inventor
淳 松野
Atsushi Matsuno
淳 松野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2016021328A priority Critical patent/JP6501404B2/en
Publication of JP2017138930A publication Critical patent/JP2017138930A/en
Application granted granted Critical
Publication of JP6501404B2 publication Critical patent/JP6501404B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)
  • Telephone Function (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a terminal capable of determining a user state determined by sensor information of an own terminal by using a user state determined by sensor information of the other terminal.SOLUTION: A terminal for receiving sensor information from the other terminal having various sensors comprises: user state rule storage means for associating a user state in accordance with the sensor information; user state determination means for determining the user state corresponding to the sensor information by using the user state rule storage means; terminal grouping means for grouping terminals on the basis of a predetermined condition; and representative state determination means for determining a representative state based on all the user states of the terminals in each group. The user state determination means determines the user state corresponding to the sensor information measured by various sensors of an own terminal by using user state rule storage means. The terminal further comprises user state correction means for correcting the user state of the own terminal to the representative state of the group.SELECTED DRAWING: Figure 2

Description

本発明は、自端末を操作するユーザにおけるユーザ状態を判定する技術に関する。   The present invention relates to a technique for determining a user state of a user who operates a terminal.

近年、ユーザが所持するスマートフォンや携帯端末には、多種のセンサが搭載されてきている。スマートフォンに搭載されるセンサとしては、例えばGPS(Global Positioning System)センサ、加速度センサ、地磁気センサ、気圧センサ、温度センサなどがある。特に加速度センサを用いて、ユーザの行動状態を判定する技術がある(例えば特許文献1参照)。行動状態としては、例えば歩行状態か、走行状態か、電車移動かを判定することができる。この技術によれば、演算におけるフィルタリングの工夫によって、行動認識の精度を向上させている。
また、スマートフォンに搭載されるマイクを用いて、周辺音から、食事中や会議中のようなそのユーザの行動状態も判定することができる。
更に、スマートフォンと通信可能なウェアラブルデバイス(装着型端末)に搭載される生体検出センサとして、心拍センサ、体温センサ、血圧センサ、皮膚筋電センサ、マイクもある。例えば心拍センサによれば、ユーザの精神状態までも判定することができる。
In recent years, a variety of sensors have been mounted on smartphones and mobile terminals possessed by users. Examples of sensors mounted on a smartphone include a GPS (Global Positioning System) sensor, an acceleration sensor, a geomagnetic sensor, an atmospheric pressure sensor, and a temperature sensor. In particular, there is a technique for determining a user's action state using an acceleration sensor (see, for example, Patent Document 1). As an action state, for example, it can be determined whether it is a walking state, a running state, or a train movement. According to this technique, the accuracy of action recognition is improved by means of filtering in the calculation.
Moreover, the user's action state, such as during a meal or during a meeting, can also be determined from surrounding sounds using a microphone mounted on the smartphone.
Furthermore, there are a heart rate sensor, a body temperature sensor, a blood pressure sensor, a skin myoelectric sensor, and a microphone as a living body detection sensor mounted on a wearable device (wearable terminal) that can communicate with a smartphone. For example, the heart rate sensor can determine even the mental state of the user.

特開2010−198595号公報JP 2010-198595 A

Stefan Dembach, et al., “Simple and Complex Activity Recognition Through Smart Phones”, 11th International Conference on Intelligent Environments, 2012.Stefan Dembach, et al., “Simple and Complex Activity Recognition Through Smart Phones”, 11th International Conference on Intelligent Environments, 2012. Koji Yatani and Khai N.Truong, “BodyScope: A Wearable Acoustic Sensor for Activity Recognition”, 14th ACM International Conference on Ubiquitous Computing, 2012.Koji Yatani and Khai N. Truong, “BodyScope: A Wearable Acoustic Sensor for Activity Recognition”, 14th ACM International Conference on Ubiquitous Computing, 2012. Jongyonn Choi, et al., “Using Heart Rate Monitors to Detect Mental Stress”, the Sixth International Workshop on Wearable and Implantable Body Sensor Networks, 2009.Jongyonn Choi, et al., “Using Heart Rate Monitors to Detect Mental Stress”, the Sixth International Workshop on Wearable and Implantable Body Sensor Networks, 2009.

前述したような従来技術によれば、そのユーザが所持するスマートフォンのセンサ情報によって、ユーザの行動状態を判定することができる。
しかしながら、センサによって計測されるセンサ情報は、わずかな周辺環境の変化に応じて、非常に過敏且つ微妙に反応しやすい。そのようなセンサ情報から判定されたユーザ状態は、急激に変化したり、全く変化しなかったりする。そのために、判定されたユーザ状態自体の信憑性に欠けるという問題があった。
According to the conventional technology as described above, a user's action state can be determined based on sensor information of a smartphone possessed by the user.
However, sensor information measured by the sensor is very sensitive and sensitive to changes in response to slight changes in the surrounding environment. The user state determined from such sensor information may change rapidly or not at all. For this reason, there is a problem that the determined user state itself lacks credibility.

これに対し、本願の発明者らは、他のユーザが所持する他端末における情報を用いて、自らのユーザ状態を判定することはできないか?と考えた。特に、そのユーザと同じような行動を取るであろう他のユーザが所持する端末の情報を用いることができれば、ユーザ状態を高い精度で判定することができるのではないか?と考えた。   On the other hand, can the inventors of the present application determine their own user status using information in other terminals owned by other users? I thought. In particular, if information on a terminal possessed by another user who will take the same action as that user can be used, the user state can be determined with high accuracy. I thought.

そこで、本発明は、他端末からの情報を用いて自端末のユーザ状態を判定することができる端末、システム、プログラム及び方法を提供することを目的とする。   Then, an object of this invention is to provide the terminal, system, program, and method which can determine the user state of an own terminal using the information from another terminal.

本発明によれば、各種センサを有する他端末から、センサ情報を受信する端末であって、
センサ情報に応じてユーザ状態を対応付けたユーザ状態ルール記憶手段と、
ユーザ状態ルール記憶手段を用いて、センサ情報に応じたユーザ状態を判定するユーザ状態判定手段と、
端末を、所定条件に基づいてグループ化する端末グループ化手段と、
グループ毎に、当該グループ内の端末の全てのユーザ状態に基づく代表状態を決定する代表状態決定手段と
を有することを特徴とする。
According to the present invention, a terminal that receives sensor information from another terminal having various sensors,
User state rule storage means for associating user states according to sensor information;
User state determination means for determining a user state according to the sensor information using the user state rule storage means;
Terminal grouping means for grouping terminals based on a predetermined condition;
Each group has a representative state determining means for determining a representative state based on all user states of the terminals in the group.

本発明の端末における他の実施形態によれば、
ユーザ状態判定手段は、ユーザ状態ルール記憶手段を用いて、自端末の各種センサによって計測されたセンサ情報に応じたユーザ状態を判定し、
自端末のユーザ状態を、当該グループの代表状態に訂正するユーザ状態訂正手段を更に有することも好ましい。
According to another embodiment of the terminal of the present invention,
The user state determination means determines the user state according to the sensor information measured by the various sensors of the own terminal using the user state rule storage means,
It is also preferable to further have a user status correcting means for correcting the user status of the terminal itself to the representative status of the group.

本発明の端末における他の実施形態によれば、
代表状態決定手段は、グループ内の全てのユーザ状態毎の数によって代表状態を決定することも好ましい。
According to another embodiment of the terminal of the present invention,
It is also preferable that the representative state determination unit determines the representative state based on the number of all user states in the group.

本発明の端末における他の実施形態によれば、
他端末から、更に端末識別子を受信し、
他ユーザの電話番号、メールアドレス及び/又はソーシャルネットワーク識別子を含むアドレス情報を記憶するアドレス情報記憶手段を更に有し、
端末グループ化手段は、所定条件として、自端末のアドレス情報に該当する他端末のみをグループ化することも好ましい。
According to another embodiment of the terminal of the present invention,
Receive terminal identifiers from other terminals,
Address information storage means for storing address information including other users' phone numbers, email addresses and / or social network identifiers;
It is also preferable that the terminal grouping means group only other terminals corresponding to the address information of the own terminal as a predetermined condition.

本発明の端末における他の実施形態によれば、
ユーザ状態判定手段は、センサ情報に応じたユーザ状態に対する認識確率を更に算出し、
代表状態決定手段は、ユーザ状態毎にグループ内の全ての認識確率の総積に基づいて代表状態を算出することも好ましい。
According to another embodiment of the terminal of the present invention,
The user state determination means further calculates a recognition probability for the user state according to the sensor information,
It is also preferable that the representative state determination unit calculates the representative state based on the total product of all recognition probabilities in the group for each user state.

本発明によれば、各種センサを有する複数の他端末から、センサ情報から判定されたユーザ状態を受信する端末であって、
端末を、所定条件に基づいてグループ化する端末グループ化手段と、
グループ毎に、当該グループ内の端末の全てのユーザ状態に基づく代表状態を決定する代表状態決定手段と
を有することを特徴とする端末。
According to the present invention, a terminal that receives a user state determined from sensor information from a plurality of other terminals having various sensors,
Terminal grouping means for grouping terminals based on a predetermined condition;
A terminal comprising: a representative state determining unit that determines a representative state based on all user states of the terminals in the group for each group.

本発明によれば、自端末と、各種センサを有する他端末との間で通信可能なシステムであって、
他端末は、
各種センサによって計測したセンサ情報を、自端末へ送信するセンサ情報送信手段を有し、
自端末は、
センサ情報に応じてユーザ状態を対応付けたユーザ状態ルール記憶手段と、
ユーザ状態ルール記憶手段を用いて、センサ情報に応じたユーザ状態を判定するユーザ状態判定手段と、
端末を、所定条件に基づいてグループ化する端末グループ化手段と、
グループ毎に、当該グループ内の端末の全てのユーザ状態に基づく代表状態を決定する代表状態決定手段と
を有することを特徴とする。
According to the present invention, it is a system capable of communicating between its own terminal and other terminals having various sensors,
Other terminals
It has sensor information transmitting means for transmitting sensor information measured by various sensors to its own terminal,
The terminal itself
User state rule storage means for associating user states according to sensor information;
User state determination means for determining a user state according to the sensor information using the user state rule storage means;
Terminal grouping means for grouping terminals based on a predetermined condition;
Each group has a representative state determining means for determining a representative state based on all user states of the terminals in the group.

本発明によれば、自端末と、各種センサを有する他端末との間で通信可能なシステムであって、
他端末は、
センサ情報に応じてユーザ状態を対応付けたユーザ状態ルール記憶手段と、
ユーザ状態ルール記憶手段を用いて、センサ情報に応じたユーザ状態を判定するユーザ状態判定手段と、
ユーザ状態を、自端末へ送信するユーザ状態送信手段と
を有し、
自端末は、
端末を、所定条件に基づいてグループ化する端末グループ化手段と、
グループ毎に、当該グループ内の端末の全てのユーザ状態に基づく代表状態を決定する代表状態決定手段と
を有することを特徴とする。
According to the present invention, it is a system capable of communicating between its own terminal and other terminals having various sensors,
Other terminals
User state rule storage means for associating user states according to sensor information;
User state determination means for determining a user state according to the sensor information using the user state rule storage means;
User status transmission means for transmitting the user status to the own terminal;
The terminal itself
Terminal grouping means for grouping terminals based on a predetermined condition;
Each group has a representative state determining means for determining a representative state based on all user states of the terminals in the group.

本発明のシステムにおける他の実施形態によれば、
自端末と他端末との間は、近距離無線通信によって接続され、
自端末の端末グループ化手段は、所定条件として、近距離無線によって通信可能な複数の端末をグループ化することも好ましい。
According to another embodiment of the system of the present invention,
Your terminal and other terminals are connected by short-range wireless communication,
The terminal grouping means of the own terminal preferably groups a plurality of terminals that can communicate by short-range wireless as a predetermined condition.

本発明のシステムにおける他の実施形態によれば、
自端末は、近距離無線通信によって所定受信強度以上の電波で受信した他端末についてのみ、グループ化することも好ましい。
According to another embodiment of the system of the present invention,
It is also preferable for the own terminal to group only other terminals received by radio waves having a predetermined reception strength or higher by short-range wireless communication.

本発明によれば、各種センサを有する他端末から、センサ情報を受信する端末に搭載されたコンピュータを機能させるプログラムであって、
センサ情報に応じてユーザ状態を対応付けたユーザ状態ルール記憶手段と、
ユーザ状態ルール記憶手段を用いて、センサ情報に応じたユーザ状態を判定するユーザ状態判定手段と、
端末を、所定条件に基づいてグループ化する端末グループ化手段と、
グループ毎に、当該グループ内の端末の全てのユーザ状態に基づく代表状態を決定する代表状態決定手段と
してコンピュータを機能させることを特徴とする。
According to the present invention, from another terminal having various sensors, a program for causing a computer mounted on a terminal that receives sensor information to function,
User state rule storage means for associating user states according to sensor information;
User state determination means for determining a user state according to the sensor information using the user state rule storage means;
Terminal grouping means for grouping terminals based on a predetermined condition;
For each group, the computer is caused to function as a representative state determination unit that determines a representative state based on all user states of the terminals in the group.

本発明によれば、各種センサを有する複数の他端末から、センサ情報から判定されたユーザ状態を受信する端末に搭載されたコンピュータを機能させるプログラムであって、
端末を、所定条件に基づいてグループ化する端末グループ化手段と、
グループ毎に、当該グループ内の端末の全てのユーザ状態に基づく代表状態を決定する代表状態決定手段と
してコンピュータを機能させることを特徴とする。
According to the present invention, from a plurality of other terminals having various sensors, a program for causing a computer mounted on a terminal to receive a user state determined from sensor information to function,
Terminal grouping means for grouping terminals based on a predetermined condition;
For each group, the computer is caused to function as a representative state determination unit that determines a representative state based on all user states of the terminals in the group.

本発明によれば、自端末と、各種センサを有する他端末との間で通信可能なシステムのユーザ状態判定方法であって、
自端末は、センサ情報に応じてユーザ状態を対応付けたユーザ状態ルール記憶部を有し、
他端末が、各種センサによって計測したセンサ情報を、自端末へ送信する第1のステップと、
自端末が、ユーザ状態ルール記憶部を用いて、センサ情報に応じたユーザ状態を判定する第2のステップと、
自端末が、端末を、所定条件に基づいてグループ化する第3のステップと、
自端末が、グループ毎に、当該グループ内の端末の全てのユーザ状態に基づく代表状態を決定する第4のステップと
を有することを特徴とする。
According to the present invention, there is provided a user state determination method for a system capable of communicating between its own terminal and another terminal having various sensors,
The own terminal has a user state rule storage unit that associates user states according to sensor information,
A first step in which the other terminal transmits sensor information measured by various sensors to the own terminal;
A second step in which the own terminal uses the user state rule storage unit to determine the user state according to the sensor information;
A third step in which the terminal groups the terminals based on a predetermined condition;
The own terminal has, for each group, a fourth step of determining a representative state based on all user states of the terminals in the group.

本発明によれば、自端末と、各種センサを有する他端末との間で通信可能なシステムのユーザ状態判定方法であって、
他端末は、センサ情報に応じてユーザ状態を対応付けたユーザ状態ルール記憶部を有し、
他端末が、ユーザ状態ルール記憶部を用いて、センサ情報に応じたユーザ状態を判定する第1のステップと、
他端末が、前記ユーザ状態を、自端末へ送信する第2のステップと、
自端末が、端末を、所定条件に基づいてグループ化する第3のステップと、
自端末が、グループ毎に、当該グループ内の端末の全てのユーザ状態に基づく代表状態を決定する第4のステップと
を有することを特徴とする。
According to the present invention, there is provided a user state determination method for a system capable of communicating between its own terminal and another terminal having various sensors,
The other terminal has a user state rule storage unit that associates the user state according to the sensor information,
A first step in which the other terminal uses the user state rule storage unit to determine the user state according to the sensor information;
A second step in which the other terminal transmits the user status to the own terminal;
A third step in which the terminal groups the terminals based on a predetermined condition;
The own terminal has, for each group, a fourth step of determining a representative state based on all user states of the terminals in the group.

本発明の端末、システム、プログラム及び方法によれば、他端末からの情報を用いて自端末のユーザ状態を判定することができる。   According to the terminal, the system, the program, and the method of the present invention, it is possible to determine the user state of the own terminal using information from another terminal.

本発明におけるシステム構成図である。It is a system configuration diagram in the present invention. 本発明における端末単体の機能構成図である。It is a function block diagram of the terminal single-piece | unit in this invention. 本発明のシステムにおける端末の機能構成図である。It is a function block diagram of the terminal in the system of this invention. 本発明のセンサ情報記憶部における記憶情報を表す説明図である。It is explanatory drawing showing the memory | storage information in the sensor information storage part of this invention. 本発明におけるユーザ状態ルール記憶部の記憶情報を表す説明図である。It is explanatory drawing showing the memory | storage information of the user state rule memory | storage part in this invention. 端末毎に各時刻で判定されたユーザ状態及び認識確率を表す説明図である。It is explanatory drawing showing the user state and recognition probability which were determined at each time for every terminal. 本発明のアドレス情報記憶部における記憶情報を表す説明図である。It is explanatory drawing showing the memory | storage information in the address information storage part of this invention. 本発明の端末識別子記憶部における記憶情報を表す説明図である。It is explanatory drawing showing the memory | storage information in the terminal identifier memory | storage part of this invention. ユーザ状態の多数決によって代表状態の決定を表す説明図である。It is explanatory drawing showing the determination of a representative state by the majority decision of a user state. ユーザ状態の認識確率の総積によって代表状態の決定を表す説明図である。It is explanatory drawing showing determination of a representative state by the total product of the recognition probability of a user state.

以下、本発明の実施の形態について、図面を用いて詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1は、本発明におけるシステム構成図である。   FIG. 1 is a system configuration diagram according to the present invention.

図1のシステムによれば、端末1はそれぞれ、各ユーザによって所持されるスマートフォンや携帯端末を想定するが、勿論、固定端末であってもよい。各端末1は、少なくとも1つ以上のセンサを搭載したものである。センサは、例えば以下のようなものであって、そのセンサ情報及び組み合わせによって判定できるユーザ状態も異なる。
例えばGPSセンサ、加速度センサ、地磁気センサ、気圧センサ、気温センサ、マイクを用いて、ユーザの「行動状態」を判定することができる。
例えば心拍センサ、血圧センサ、皮膚筋電センサ、体温センサを用いて、ユーザの「精神状態」を判定することができる。
According to the system of FIG. 1, each terminal 1 is assumed to be a smartphone or a portable terminal possessed by each user, but may be a fixed terminal as a matter of course. Each terminal 1 is equipped with at least one sensor. The sensor is as follows, for example, and the user state that can be determined is different depending on the sensor information and the combination.
For example, the user's “behavioral state” can be determined using a GPS sensor, an acceleration sensor, a geomagnetic sensor, an atmospheric pressure sensor, an air temperature sensor, and a microphone.
For example, the “mental state” of the user can be determined using a heart rate sensor, a blood pressure sensor, a skin myoelectric sensor, or a body temperature sensor.

各端末の通信インタフェースは、携帯電話網のような広域ネットワークを介して、又は、近距離無線を介して、他端末と通信する。近距離無線としては、例えばBluetooth(登録商標)やZigbee(登録商標)であってもよいし、無線LAN(Local Area Network)であってもよい。端末同士が近距離無線で通信できるということは、それら端末は、ほぼ同じ場所に滞在していることを意味する。   The communication interface of each terminal communicates with other terminals via a wide area network such as a mobile phone network or via short-range wireless. As the short-range wireless, for example, Bluetooth (registered trademark) or Zigbee (registered trademark) may be used, or a wireless LAN (Local Area Network) may be used. That terminals can communicate with each other by short-range wireless means that these terminals are staying at almost the same place.

ここで、本発明によれば、自端末におけるユーザ状態を判定するために、以下の2つの実施形態がある。
<他端末から「センサ情報」を受信する第1の実施形態>
<他端末から「ユーザ状態」を受信する第2の実施形態>
Here, according to the present invention, there are the following two embodiments for determining the user state in the terminal itself.
<First Embodiment for Receiving “Sensor Information” from Other Terminals>
<Second Embodiment for Receiving “User Status” from Other Terminal>

<他端末から「センサ情報」を受信する実施形態>
図2は、本発明における端末単体の機能構成図である。
図2によれば、他端末から「センサ情報」を受信することによって、自端末におけるユーザ状態を判定しようとするものである。端末1は、センサ情報記憶部111と、ユーザ状態ルール記憶部112と、ユーザ状態判定部113とを有する。これら機能構成部は、端末1に搭載されたコンピュータを機能させるプログラムを実行することによって実現できる。
<Embodiment for Receiving “Sensor Information” from Other Terminals>
FIG. 2 is a functional configuration diagram of a single terminal in the present invention.
According to FIG. 2, by receiving “sensor information” from another terminal, the user state in the own terminal is to be determined. The terminal 1 includes a sensor information storage unit 111, a user state rule storage unit 112, and a user state determination unit 113. These functional components can be realized by executing a program that causes a computer mounted on the terminal 1 to function.

図2によれば、端末は、センサ情報を送受信するために、センサ情報送信部124を更に有する。センサ情報送信部124は、各種センサによって計測したセンサ情報を、他端末へ送信する。このとき、センサ情報と共に、その端末を特定する端末識別子も送信するものであってもよい。端末識別子としては、勿論、物理アドレスやIPアドレスであってもよいし、電話番号やメールアドレス、アプリケーションレベルのアカウントであってもよい。   According to FIG. 2, the terminal further includes a sensor information transmission unit 124 for transmitting and receiving sensor information. The sensor information transmission unit 124 transmits sensor information measured by various sensors to other terminals. At this time, a terminal identifier that identifies the terminal may be transmitted together with the sensor information. Of course, the terminal identifier may be a physical address or an IP address, or may be a telephone number, a mail address, or an application level account.

<他端末から「ユーザ状態」を受信する第2の実施形態>
図3は、本発明のシステムにおける端末の機能構成図である。
図3によれば、他端末から「ユーザ状態」を受信することによって、自端末におけるユーザ状態を判定しようとするものである。そのために、他端末が、センサ情報記憶部111と、ユーザ状態ルール記憶部112と、ユーザ状態判定部113とを有する。これら機能構成部は、自端末及び/又は他端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
<Second Embodiment for Receiving “User Status” from Other Terminal>
FIG. 3 is a functional block diagram of a terminal in the system of the present invention.
According to FIG. 3, the user status at the own terminal is determined by receiving “user status” from another terminal. For this purpose, the other terminal includes a sensor information storage unit 111, a user state rule storage unit 112, and a user state determination unit 113. These functional components are realized by executing a program that causes a computer installed in the terminal and / or another terminal to function.

[センサ情報記憶部111]
センサ情報記憶部111は、各種センサによって計測されたセンサ情報を記憶する。
[Sensor information storage unit 111]
The sensor information storage unit 111 stores sensor information measured by various sensors.

図4は、本発明のセンサ情報記憶部における記憶情報を表す説明図である。
図4によれば、自端末のセンサ情報に限られず、他端末のセンサ情報も記憶するものであってもよい。端末識別子毎に、計測されたセンサ情報を記憶したものであり、計測不明な場合、nullとして記憶するものであってもよい。
FIG. 4 is an explanatory diagram showing stored information in the sensor information storage unit of the present invention.
According to FIG. 4, the sensor information of other terminals may be stored without being limited to the sensor information of the own terminal. The measured sensor information is stored for each terminal identifier, and may be stored as null when measurement is unknown.

[ユーザ状態ルール記憶部112]
ユーザ状態ルール記憶部112は、センサ情報に応じて「ユーザ状態」を対応付けたものである。
[User state rule storage unit 112]
The user state rule storage unit 112 associates “user state” according to the sensor information.

図5は、本発明におけるユーザ状態ルール記憶部の記憶情報を表す説明図である。
図5によれば、ユーザ状態としての「行動状態」「精神状態」毎に、各種センサのセンサ情報が登録されている。図5のようにセンサ情報の値のみならず、例えば、ユーザ状態毎に、各センサから収集された時間経過に対するセンサ情報の変化パターンを記憶したものであってもよい。例えば加速度センサであれば、ユーザ状態毎の加速度変化パターンである。マイクであれば、ユーザ状態毎の特定周波数の変化パターンである。心拍センサであれば、ユーザ状態毎の心拍数の変化パターンであってもよい。
FIG. 5 is an explanatory diagram showing the storage information of the user state rule storage unit in the present invention.
According to FIG. 5, sensor information of various sensors is registered for each “behavioral state” and “mental state” as the user state. As shown in FIG. 5, not only the value of sensor information but also a change pattern of sensor information with respect to time collected from each sensor may be stored for each user state. For example, if it is an acceleration sensor, it is an acceleration change pattern for every user state. If it is a microphone, it is the change pattern of the specific frequency for every user state. If it is a heart rate sensor, the change pattern of the heart rate for every user state may be sufficient.

[ユーザ状態判定部113]
ユーザ状態判定部113は、ユーザ状態ルール記憶部112を用いて、センサ情報に応じた「ユーザ状態」を判定する。ユーザ状態判定部113は、最も簡易な方法として、ユーザ状態ルール記憶部112を用いて、センサ情報に対するパターンマッチングによってユーザ状態を検索するものであってもよい。例えば端末から取得されたセンサ情報と、ユーザ状態ルール記憶部112のセンサ情報とをベクトル空間に展開し、最も類似するユーザ状態を選択することができる。
[User state determination unit 113]
The user state determination unit 113 uses the user state rule storage unit 112 to determine “user state” corresponding to the sensor information. As the simplest method, the user state determination unit 113 may use the user state rule storage unit 112 to search for a user state by pattern matching with respect to sensor information. For example, the sensor information acquired from the terminal and the sensor information in the user state rule storage unit 112 can be developed in a vector space, and the most similar user state can be selected.

また、ユーザ状態判定部113に、機械学習エンジンを適用したものであってもよい。機械学習エンジンは、ユーザ状態毎に、過去の各種センサ情報を教師データとして構築されたものである。例えば加速度や音データの特徴量と、ユーザ行動の正解データから形成される学習データとを用いて、サポートベクタマシンなどの機械学習アルゴリズムによって、「歩行」「立位」「座位」などの行動状態を付与する既存技術もある(例えば非特許文献1及び2参照)。また、心拍データから「ストレス」「平常」の精神状態を付与する既存技術もある(例えば非特許文献3参照)。   In addition, a machine learning engine may be applied to the user state determination unit 113. The machine learning engine is constructed by using various past sensor information as teacher data for each user state. For example, behavioral states such as “walking”, “standing”, and “sitting” using machine learning algorithms such as support vector machines using feature values of acceleration and sound data and learning data formed from correct data of user behavior There is also an existing technique for providing (see, for example, Non-Patent Documents 1 and 2). In addition, there is an existing technique that gives a mental state of “stress” and “normal” from heartbeat data (see, for example, Non-Patent Document 3).

図6は、端末毎に各時刻で判定されたユーザ状態及び認識確率を表す説明図である。   FIG. 6 is an explanatory diagram showing user states and recognition probabilities determined at each time for each terminal.

ユーザ状態判定部113は、センサ情報に応じた各ユーザ状態に対する認識確率を算出するものであってもよい。認識確率は、例えばユーザ状態ルール記憶部112に記憶されたユーザ状態毎のセンサ情報群に対する類似度であってもよい。また、ニューラルネットワークのようなパターン認識方法に基づいてユーザ状態を認識している場合、認識結果のみならず、その結果の信頼度に基づく誤認識率も算出することができる。   The user state determination unit 113 may calculate a recognition probability for each user state according to the sensor information. The recognition probability may be, for example, the similarity to the sensor information group for each user state stored in the user state rule storage unit 112. Further, when the user state is recognized based on a pattern recognition method such as a neural network, not only the recognition result but also the misrecognition rate based on the reliability of the result can be calculated.

図2によれば、自端末1bは、ユーザ状態判定部113によって、自端末及び他端末の各種センサによって計測されたセンサ情報に応じたユーザ状態を判定することができる。
一方で、図3によれば、他端末1aのユーザ状態判定部113によって判定されたユーザ状態が、ネットワークを介して自端末1bへ送信される。この場合、自端末1bは、他端末のユーザ状態を判定する必要がない。
According to FIG. 2, the own terminal 1 b can determine the user state according to the sensor information measured by the various sensors of the own terminal and other terminals by the user state determination unit 113.
On the other hand, according to FIG. 3, the user state determined by the user state determination unit 113 of the other terminal 1a is transmitted to the own terminal 1b via the network. In this case, the own terminal 1b does not need to determine the user state of the other terminal.

図2及び図3によれば更に、端末1は、アドレス情報記憶部120と、端末グループ化部121と、代表状態決定部122と、ユーザ状態訂正部123とを有する。これら機能構成部は、端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、ユーザ状態判定方法としても理解できる。   2 and 3, the terminal 1 further includes an address information storage unit 120, a terminal grouping unit 121, a representative state determination unit 122, and a user state correction unit 123. These functional components are realized by executing a program that causes a computer installed in the terminal to function. Moreover, the flow of processing of these functional components can be understood as a user state determination method.

図6は、本発明の端末識別子に対するユーザ状態及び認識確率を表す説明図である。   FIG. 6 is an explanatory diagram showing the user status and recognition probability for the terminal identifier of the present invention.

図6によれば、端末1a、1b、1c、1dについて、時刻2015/10/20 13:05の時点におけるユーザ状態及び認識確率を表す。ここで、端末1bを自端末として、そのユーザのユーザ状態を判定したいとする。このとき、例えば端末1a、1c、1dを、他端末とすることができる。自端末1bは、他端末からセンサ情報(及び端末識別子)又はユーザ状態を受信する。   According to FIG. 6, the user status and the recognition probability at the time of the time 2015/10/20 13:05 are represented for the terminals 1a, 1b, 1c, and 1d. Here, it is assumed that the terminal 1b is the own terminal and the user state of the user is to be determined. At this time, for example, the terminals 1a, 1c, and 1d can be other terminals. The own terminal 1b receives sensor information (and a terminal identifier) or a user state from another terminal.

[アドレス情報記憶部120]
アドレス情報記憶部120は、自端末におけるアドレス情報を記憶する。
[Address information storage unit 120]
The address information storage unit 120 stores address information in its own terminal.

図7は、本発明のアドレス情報記憶部における記憶情報を表す説明図である。
図7によれば、自端末のアドレス情報と、他端末のアドレス情報とを記憶したものである。アドレス情報とは、当該端末1のユーザからみた知人関係を持つ他のユーザのアドレスであって、例えば電話番号やメールアドレスである。勿論、例えばTwitter(登録商標)やFacebook(登録商標)、LINE(登録商標)のようなSNS(Social Network Service)のアカウント(ソーシャルネットワーク識別子)であってもよい。これらアカウントに基づくメッセージ送受信履歴は、API(Application Programming Interface)を介してサーバから取得することもできる。
FIG. 7 is an explanatory diagram showing stored information in the address information storage unit of the present invention.
According to FIG. 7, the address information of the own terminal and the address information of other terminals are stored. The address information is an address of another user having an acquaintance relationship viewed from the user of the terminal 1, and is, for example, a telephone number or a mail address. Of course, it may be an SNS (Social Network Service) account (social network identifier) such as Twitter (registered trademark), Facebook (registered trademark), or LINE (registered trademark). The message transmission / reception history based on these accounts can also be acquired from the server via an API (Application Programming Interface).

尚、SNSの場合、自端末のユーザアカウントに対して、「友達」「フォロー・フォロワー」関係にある他のユーザアカウントを記憶する。このとき、アカウント毎に、特定のスポット(地図上の位置範囲)に存在するか否かをチェックイン情報として記憶するものであってもよい。端末同士が、広域ネットワークを介してSNSサーバにアクセスすることによって、他端末が同じスポットに位置することを知ることができる。   In the case of SNS, other user accounts having a relationship of “friends” and “follow followers” are stored for the user account of the terminal. At this time, for each account, it may be stored as check-in information whether or not it exists in a specific spot (position range on the map). The terminals can know that other terminals are located at the same spot by accessing the SNS server via the wide area network.

また、アドレス情報は、電話アプリケーションの通話履歴、メールアプリケーションのメール送受信履歴も含む。これによって、アドレス情報は、過去に何らかの知人関係を記録したものとなる。知人関係が突然にして極端に変化するとは想定しづらいために、比較的長期間(例えば1日に1回程度の頻度)で更新されるものであってもよい。   The address information also includes a telephone application call history and a mail application mail transmission / reception history. Thus, the address information is a record of some acquaintance relationship in the past. Since it is difficult to assume that the acquaintance relationship suddenly changes drastically, it may be updated for a relatively long period (for example, about once a day).

図7によれば、自端末1b(電話番号BBB-BBBB-BBBB、メールアドレスbbb@bbb.bbb)に対して、他端末として、電話番号AAA-AAAA-AAAA、CCC-CCCC-CCCCと、メールアドレスddd@ddd.ddd、eee@eee.eeeとが対応付けられている。   According to FIG. 7, with respect to own terminal 1b (phone number BBB-BBBB-BBBB, mail address bbb@bbb.bbb), as other terminals, telephone numbers AAA-AAAA-AAAA, CCC-CCCC-CCCC and mail Addresses ddd@ddd.ddd and eee@eee.eee are associated with each other.

[端末グループ化部121]
端末グループ化部121は、複数の端末を、所定条件に基づいてグループ化する。所定条件のグループ化としては、以下のような様々なグループ化が可能となる。
(1)判定対象端末のアドレス情報に含まれる他端末のグループ化
(2)SNSのチェックイン機能によって同じ場所に滞在する他端末のグループ化
(3)近距離無線で通信可能な他端末のグループ化
(4)上記3つのうち、2つ以上の組み合わせによるグループ化
[Terminal grouping unit 121]
The terminal grouping unit 121 groups a plurality of terminals based on a predetermined condition. As the grouping of the predetermined conditions, the following various groupings are possible.
(1) Grouping of other terminals included in the address information of the determination target terminal (2) Grouping of other terminals staying at the same place by the SNS check-in function (3) Group of other terminals communicable by short-range radio (4) Of the above three, group by combining two or more

(1)判定対象端末のアドレス情報に含まれる他端末のグループ化
所定条件として、自端末(判定対象端末)のアドレス情報に該当する他端末をグループ化する。このとき、アドレス情報に登録されたユーザプロファイルに基づくものであってもよい。ユーザプロファイルとは、例えばユーザ属性であって、例えば同一企業に属しているユーザ同士や、住所が同一市内であるユーザ同士を、グループ化することもできる。アドレス情報を、例えばfacebookのアカウントとした場合、「友達」「フォロー・フォロワー」関係に基づいて、アカウントをグループ化することができる。このようなユーザ同士は、無関係なユーザ同士に比べて同一行動をとる可能性が高いと言えるが、グループ化に使用するアドレス情報の種類やユーザ状態を判定する対象の日時、曜日によっては、同一行動をとる可能性が期待するほど高くなく、判定精度が落ちる場合もある。従って、端末同士が近距離にいる等の他の条件とのAND条件として設定すると、なお精度が向上し好ましい。
(1) Grouping of other terminals included in address information of determination target terminal As a predetermined condition, other terminals corresponding to the address information of the own terminal (determination target terminal) are grouped. At this time, it may be based on a user profile registered in the address information. The user profile is, for example, a user attribute, and for example, users belonging to the same company or users having addresses in the same city can be grouped. If the address information is, for example, a Facebook account, the accounts can be grouped based on the "friend" and "follow follower" relationships. It can be said that such users are more likely to take the same action than unrelated users, but the same depending on the type of address information used for grouping, the date and time of the target for determining the user status, and the day of the week The possibility of taking action is not as high as expected, and the determination accuracy may be reduced. Therefore, it is preferable to set it as an AND condition with other conditions such as the terminals being close to each other because accuracy is improved.

(2)SNSのチェックイン機能によって同じ場所に滞在する他端末のグループ化
例えばSNSによれば、店舗側がスポットを設定することによって、そのスポットの位置範囲に属する端末は、ユーザ操作に応じてチェックイン機能を実行することができる。そして、そのユーザがそのスポットに滞在していることが、SNSによって拡散されることとなる。このとき、同じスポットに滞在している端末同士をグループ化することができる。具体的にはSNSに依存するが、同一スポットに滞在する端末同士のアカウントを、APIによって知ることができるサービス機能が提供される必要がある。
(2) Grouping of other terminals staying at the same place by the check-in function of SNS For example, according to SNS, when a store side sets a spot, terminals belonging to the position range of the spot are checked according to a user operation. In-function can be executed. Then, the fact that the user is staying at the spot is diffused by the SNS. At this time, terminals staying at the same spot can be grouped. Specifically, although it depends on the SNS, it is necessary to provide a service function that allows the API to know the accounts of terminals staying in the same spot.

(3)近距離無線で通信可能な他端末のグループ化
所定条件として、近距離無線によって通信可能な位置に基づくものであってもよい。近距離無線で通信可能な端末同士をグループとして構成する。ここでは、周辺端末の端末識別子も認識する必要無く、単に近距離無線で通信できた端末をグループ化している。
このとき、近距離無線によって所定時間内(例えば開始から3分間)に通信可能となった他端末のみをグループ化するものであってもよい。
また、近距離無線によって所定件数内(例えば開始から5件)に通信可能となった他端末のみをグループ化するものであってもよい。
(3) Grouping of other terminals communicable by short-range wireless The predetermined condition may be based on a position communicable by short-range wireless. Terminals communicable by short-range wireless are configured as a group. Here, terminals that can be communicated by short-range wireless communication are grouped without having to recognize terminal identifiers of peripheral terminals.
At this time, only other terminals that can communicate within a predetermined time (for example, 3 minutes from the start) by short-range wireless may be grouped.
Alternatively, only other terminals that can communicate within a predetermined number (for example, five from the start) by short-range wireless may be grouped.

(4)上記3つのうち、2つ以上の組み合わせによるグループ化
例えば、自端末のアドレス情報(1)に含まれ、近距離無線で通信可能(3)な他端末のグループ化とすることもできる。何らかの知人関係があって且つ同一場所に存在する端末群のみをグループ化することができる。近距離無線で通信できた周辺端末の電話番号又はメールアドレスが、自端末のアドレス情報として登録されている場合にのみ、同一グループであると判定することができる。
(4) Grouping by a combination of two or more of the above three For example, it is possible to group other terminals that are included in the address information (1) of the own terminal and are communicable by short-range radio (3) . Only terminals having some kind of acquaintance and existing in the same place can be grouped. Only when the telephone number or e-mail address of the peripheral terminal that has been able to communicate by short-range wireless communication is registered as the address information of the own terminal, it can be determined that they are in the same group.

端末グループ化部121は、端末識別子記憶部を、オプション的に更に有するものであってもよい。   The terminal grouping unit 121 may optionally further include a terminal identifier storage unit.

図8は、本発明の端末識別子記憶部における記憶情報を表す説明図である。   FIG. 8 is an explanatory diagram showing stored information in the terminal identifier storage unit of the present invention.

端末識別子記憶部は、端末をグループ化するために、1つ以上の他端末から受信した端末識別子を記憶する。これは、通信可能な端末の端末識別子であって、広域ネットワーク又は近距離無線のいずれを介して取得されたものである。尚、前述した(3)のように、近距離無線で通信可能となった端末のみでグループ化する場合、端末識別子を記憶する必要もない。   The terminal identifier storage unit stores terminal identifiers received from one or more other terminals in order to group terminals. This is a terminal identifier of a communicable terminal, which is obtained via either a wide area network or a short-range wireless. In addition, as described in (3) above, when grouping is performed only by terminals that are communicable by short-range wireless communication, it is not necessary to store terminal identifiers.

端末識別子記憶部は、例えば近距離無線通信を用いる場合、所定受信強度以上の電波で受信した周辺端末についてのみ、周辺端末識別子を記憶するものであってもよい。受信強度としては、RSSI(Received Signal Strength Indication)を用いる。端末間距離が近いほどRSSIが高くなるために、所定受信強度以上の電波で受信した周辺端末は、所定距離範囲に位置していると判定することができる。例えば、半径3m以内の周辺端末が同一場所に位置するとみなす場合、電波到達距離3mに対応するRSSIを、所定受信強度として設定する。   For example, in the case of using short-range wireless communication, the terminal identifier storage unit may store the peripheral terminal identifier only for the peripheral terminal that has received the radio wave having a predetermined reception strength or higher. As the reception strength, RSSI (Received Signal Strength Indication) is used. Since the RSSI increases as the distance between the terminals is shorter, it is possible to determine that a peripheral terminal that receives a radio wave with a predetermined reception strength or higher is located within a predetermined distance range. For example, when it is considered that peripheral terminals within a radius of 3 m are located at the same place, RSSI corresponding to the radio wave arrival distance 3 m is set as the predetermined reception strength.

[代表状態決定部122]
代表状態決定部122は、グループ毎に、当該グループ内の端末の全てのユーザ状態に基づく代表状態を決定する。グループの代表状態を、そのグループ内のユーザのユーザ状態であると決定する。
例えば広域ネットワークを介して通信可能な端末のユーザ同士をグループとした場合、知人関係の有るユーザ同士が、同一のユーザ状態にあると判定する。
また、例えば近距離無線を介して通信可能な端末のユーザ同士をグループとした場合、同一場所に滞在するとして、同一のユーザ状態にあると判定する。
[Representative state determination unit 122]
The representative state determination unit 122 determines a representative state based on all user states of the terminals in the group for each group. The representative state of the group is determined to be the user state of the users in the group.
For example, when users of terminals that can communicate via a wide area network are grouped, it is determined that users having an acquaintance relationship are in the same user state.
Further, for example, when users of terminals that can communicate via short-range wireless are grouped together, it is determined that they are in the same user state as staying in the same place.

代表状態は、グループ内の全てのユーザ状態毎の数によって代表状態を決定する。例えば、最初に所定閾値の数に達したユーザ状態を、その代表状態として決定するものであってもよい。それ以外に、例えば「多数決方式」「認識確率総積方式」のいずれかの実施形態によって決定されるものであってもよい。   The representative state is determined by the number of all user states in the group. For example, the user state that first reaches the predetermined threshold number may be determined as the representative state. In addition, for example, it may be determined by any one of the “majority decision method” and the “recognition probability total product method”.

<多数決方式>
代表状態は、例えば、グループ内の全てのユーザ状態の多数決によって決定されるものであってもよい。
<Majority method>
The representative state may be determined by, for example, a majority vote of all user states in the group.

図9は、ユーザ状態の多数決によって代表状態の決定を表す説明図である。   FIG. 9 is an explanatory diagram showing determination of the representative state by majority decision of the user state.

図9によれば、アドレス情報記憶部120には、ユーザの端末1bに対して、AAA-AAAA-AAA、CCC-CCCC-CCCC、ddd@ddd.ddd、eee@eee.eeeが登録されている。また、端末識別子記憶部には、ユーザの端末1bに対して、2015/10/20 13:05には、近距離無線で通信可能な端末識別子1a、1c、1dが登録されている。ごの場合、ユーザの端末1bに対するグループは、アドレス情報と端末識別子との∩となる、端末1a、1c、1dとなる。一方で、端末1eは、端末1bと何らかの知人関係があるが、同一場所に滞在していないと判定される。即ち、端末1a、1c、1dは、端末1bと何らかの知人関係があり、同一場所に滞在していると判定される。
ユーザの端末iに対するアドレス登録(知人関係)集合 :Hi
ユーザの端末iに対して時刻tにおける近距離通信(同一場所)集合:Uit
ユーザの端末iのグループ :Hi∩Uit
According to FIG. 9, AAA-AAAA-AAA, CCC-CCCC-CCCC, ddd@ddd.ddd, eee@eee.eee are registered in the address information storage unit 120 for the user terminal 1b. . In the terminal identifier storage unit, terminal identifiers 1a, 1c, and 1d that can be communicated by short-range wireless are registered on 2015/10/20 13:05 with respect to the user terminal 1b. In this case, the group for the user terminal 1b is the terminal 1a, 1c, or 1d, which is a trap between the address information and the terminal identifier. On the other hand, the terminal 1e has some acquaintance relationship with the terminal 1b, but is determined not to stay in the same place. That is, it is determined that the terminals 1a, 1c, and 1d have some acquaintance relationship with the terminal 1b and stay in the same place.
Address registration (acquaintance relationship) set for user terminal i: Hi
Near field communication (same place) set at time t for user terminal i: Uit
User's terminal i group: Hi∩Uit

ユーザiの時刻tにおける認識結果を、以下のように表す。
it m:上位m番目のユーザ状態
it m:そのユーザ状態に対応する認識確率
it m={lit m,pit m}:認識結果
it={Rit ,Rit ,Rit ,・・・,Rit } (s:ユーザ状態数)
The recognition result of user i at time t is expressed as follows.
l it m : upper m-th user state p it m : recognition probability corresponding to the user state R it m = {l it m , p it m }: recognition result R it = {R it 1 , R it 2 , R it 3 ,..., R it s } (s: number of user states)

上位1番目のユーザ状態のみを用いた多数決によって、以下のユーザ状態lを認識結果とする。
max(Σi=1 n'f(i,l)/n) (n’:ユーザ集合に含まれるユーザ数)
f(i,l)= if lit 1=1 then 1、otherwise 0 を満たすユーザ状態l
By majority vote using only the top first user state, the following user state l is set as a recognition result.
max (Σ i = 1 n ′ f (i, l) / n) (n ′: number of users included in user set)
User state l satisfying f (i, l) = if l it 1 = 1 then 1, otherwise 0

図9によれば、時刻2015/10/20 13:00〜13:10におけるユーザ1a、1b、1c、1dの最上位の認識結果は、行動状態については「視聴」「会話」「食事」「会話」であり、精神状態については「ストレス」「平常」「ストレス」「ストレス」である。多数決から、代表状態は、行動状態について「会話」であり、精神状態について「ストレス」であると認識される。   According to FIG. 9, the highest level recognition results of the users 1a, 1b, 1c, and 1d at the times 2015/10/20 13:00 to 13:10 are “viewing”, “conversation”, “meal”, “ Conversation ”, and mental states are“ stress ”,“ normal ”,“ stress ”, and“ stress ”. From the majority decision, the representative state is recognized as “conversation” for the behavioral state and “stress” for the mental state.

<認識確率総積方式>
代表状態は、例えば、ユーザ状態毎にグループ内の全ての認識確率の総積に基づくものであってもよい。
<Recognition probability total product method>
The representative state may be based on the total product of all recognition probabilities in the group for each user state, for example.

図10は、ユーザ状態の認識確率の総積によって代表状態の決定を表す説明図である。   FIG. 10 is an explanatory diagram illustrating the determination of the representative state by the total product of the user state recognition probabilities.

全ての認識結果に含まれるユーザ状態及び認識確率を用いて、以下を満たすユーザ状態lを認識結果としてもよい。
max(Πi=1 n’Σm=1 sg(i,l)
g(i,l)= if lit m=1 then lit m×pit m、otherwise 0 を満たすユーザ状態l
同一グループに属する複数のユーザについて、ユーザ状態毎に認識確率を総積し、最も認識確率の総積が高いユーザ状態を、代表状態とする。
Using the user states and recognition probabilities included in all recognition results, a user state 1 satisfying the following may be used as the recognition result.
max (Π i = 1 n ' Σ m = 1 s g (i, l)
g (i, l) = if l it m = 1 then l it m × p it m , user state l satisfying otherwise 0
For a plurality of users belonging to the same group, the total recognition probability is summed for each user state, and the user state having the highest total recognition probability is defined as the representative state.

図10によれば、ユーザの端末1bに基づくグループについて、行動状態毎に又は精神状態毎に、認識確率を総積する。尚、図6で認識されていないユーザ状態は、認識確率0.1として算出した。
行動状態「視聴」 :0.6×0.4×0.3×0.4=0.0288
行動状態「会話」 :0.3×0.6×0.3×0.6=0.0075
行動状態「食事」 :0.1×0.1×0.6×0.1=0.0006
精神状態「ストレス」:0.7×0.3×0.6×0.6=0.0756
精神状態「悲しみ」 :0.2×0.1×0.3×0.1=0.0006
精神状態「興奮」 :0.1×0.1×0.1×0.3=0.0003
精神状態「平常」 :0.1×0.6×0.1×0.1=0.0006
ここでは、代表状態は、行動状態「視聴」及び精神状態「ストレス」となる。この点で、多数決方式と比較して、選択される代表状態が異なる。
According to FIG. 10, the recognition probabilities are totalized for each behavioral state or for each mental state for the group based on the terminal 1b of the user. Note that the user status that is not recognized in FIG. 6 is calculated as a recognition probability of 0.1.
Action state “viewing”: 0.6 × 0.4 × 0.3 × 0.4 = 0.0288
Action state "Conversation": 0.3 x 0.6 x 0.3 x 0.6 = 0.0075
Behavioral state “meal”: 0.1 × 0.1 × 0.6 × 0.1 = 0.006
Mental condition “stress”: 0.7 × 0.3 × 0.6 × 0.6 = 0.0756
Mental state "sorrow": 0.2 x 0.1 x 0.3 x 0.1 = 0.0006
Mental state "excitement": 0.1 x 0.1 x 0.1 x 0.3 = 0.0003
Mental state “normal”: 0.1 × 0.6 × 0.1 × 0.1 = 0.006
Here, the representative state is the action state “viewing” and the mental state “stress”. In this regard, the representative state to be selected is different compared to the majority method.

[ユーザ状態訂正部123]
ユーザ状態訂正部123は、自端末のユーザ状態を、当該グループの代表状態に訂正する。これによって、当該ユーザと同じような行動を取るであろう他のユーザが所持する端末のセンサ情報を用いて、高い精度のユーザ状態に訂正することができる。訂正されたユーザ状態は、アプリケーションへ出力され、様々な用途に利用される。
[User status correction unit 123]
The user status correction unit 123 corrects the user status of the terminal itself to the representative status of the group. Accordingly, it is possible to correct the user state with high accuracy by using sensor information of a terminal possessed by another user who will take the same action as the user. The corrected user state is output to the application and used for various purposes.

以上、詳細に説明したように、本発明の端末、システム、プログラム及び方法によれば、他端末からの情報を用いて自端末のユーザ状態を判定することができる。特に、そのユーザと同じような行動を取るであろう他のユーザが所持する他端末から、「センサ情報」又は「ユーザ状態」を受信することによって、当該自端末のユーザ状態を判定することができる。また、自端末を所持するユーザのユーザ状態は、知人関係にある他端末を所持する他のユーザと同じような状態にあるものとして決定する。特に、自端末のセンサ情報のみで推定されたユーザ状態を、他端末のセンサ情報に基づいて推定したユーザ状態によって訂正することもできる。   As described above in detail, according to the terminal, system, program, and method of the present invention, it is possible to determine the user status of the own terminal using information from another terminal. In particular, by receiving “sensor information” or “user status” from another terminal possessed by another user who will take the same action as that user, the user status of the terminal can be determined. it can. In addition, the user state of the user who owns the terminal is determined as being in the same state as other users who have other terminals that have an acquaintance relationship. In particular, the user state estimated only from the sensor information of the own terminal can be corrected by the user state estimated based on the sensor information of other terminals.

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。   Various changes, modifications, and omissions of the above-described various embodiments of the present invention can be easily made by those skilled in the art. The above description is merely an example, and is not intended to be restrictive. The invention is limited only as defined in the following claims and the equivalents thereto.

1 端末
111 センサ情報記憶部
112 ユーザ状態ルール記憶部
113 ユーザ状態判定部
120 アドレス情報記憶部
121 端末グループ化部
122 代表状態決定部
123 ユーザ状態訂正部
124 センサ情報送信部
DESCRIPTION OF SYMBOLS 1 Terminal 111 Sensor information storage part 112 User state rule storage part 113 User state determination part 120 Address information storage part 121 Terminal grouping part 122 Representative state determination part 123 User state correction part 124 Sensor information transmission part

Claims (14)

各種センサを有する他端末から、センサ情報を受信する端末であって、
センサ情報に応じてユーザ状態を対応付けたユーザ状態ルール記憶手段と、
前記ユーザ状態ルール記憶手段を用いて、前記センサ情報に応じたユーザ状態を判定するユーザ状態判定手段と、
前記端末を、所定条件に基づいてグループ化する端末グループ化手段と、
グループ毎に、当該グループ内の端末の全ての前記ユーザ状態に基づく代表状態を決定する代表状態決定手段と
を有することを特徴とする端末。
A terminal that receives sensor information from another terminal having various sensors,
User state rule storage means for associating user states according to sensor information;
User state determination means for determining a user state according to the sensor information using the user state rule storage means;
Terminal grouping means for grouping the terminals based on a predetermined condition;
A terminal having a representative state determining unit that determines a representative state based on all the user states of the terminals in the group for each group.
前記ユーザ状態判定手段は、前記ユーザ状態ルール記憶手段を用いて、自端末の各種センサによって計測された前記センサ情報に応じたユーザ状態を判定し、
自端末の前記ユーザ状態を、当該グループの代表状態に訂正するユーザ状態訂正手段を更に有することを特徴とする請求項1に記載の端末。
The user state determination unit determines a user state according to the sensor information measured by various sensors of the terminal using the user state rule storage unit,
The terminal according to claim 1, further comprising user status correction means for correcting the user status of the terminal itself to a representative status of the group.
前記代表状態決定手段は、グループ内の全ての前記ユーザ状態毎の数によって代表状態を決定する
ことを特徴とする請求項1又は2に記載の端末。
The terminal according to claim 1, wherein the representative state determination unit determines a representative state based on the number of all the user states in the group.
前記他端末から、更に端末識別子を受信し、
他ユーザの電話番号、メールアドレス及び/又はソーシャルネットワーク識別子を含むアドレス情報を記憶するアドレス情報記憶手段を更に有し、
前記端末グループ化手段は、前記所定条件として、自端末の前記アドレス情報に該当する他端末のみをグループ化する
ことを特徴とする請求項1から3のいずれか1項に記載の端末。
A terminal identifier is further received from the other terminal,
Address information storage means for storing address information including other users' phone numbers, email addresses and / or social network identifiers;
The terminal according to any one of claims 1 to 3, wherein the terminal grouping unit groups only other terminals corresponding to the address information of the terminal as the predetermined condition.
前記ユーザ状態判定手段は、前記センサ情報に応じた前記ユーザ状態に対する認識確率を更に算出し、
前記代表状態決定手段は、前記ユーザ状態毎にグループ内の全ての前記認識確率の総積に基づいて代表状態を算出する
ことを特徴とする請求項1から4のいずれか1項に記載の端末。
The user state determination means further calculates a recognition probability for the user state according to the sensor information,
5. The terminal according to claim 1, wherein the representative state determination unit calculates a representative state based on a total product of all the recognition probabilities in the group for each user state. .
各種センサを有する複数の他端末から、センサ情報から判定されたユーザ状態を受信する端末であって、
前記端末を、所定条件に基づいてグループ化する端末グループ化手段と、
グループ毎に、当該グループ内の端末の全ての前記ユーザ状態に基づく代表状態を決定する代表状態決定手段と
を有することを特徴とする端末。
A terminal that receives a user state determined from sensor information from a plurality of other terminals having various sensors,
Terminal grouping means for grouping the terminals based on a predetermined condition;
A terminal having a representative state determining unit that determines a representative state based on all the user states of the terminals in the group for each group.
自端末と、各種センサを有する他端末との間で通信可能なシステムであって、
前記他端末は、
各種センサによって計測したセンサ情報を、前記自端末へ送信するセンサ情報送信手段を有し、
前記自端末は、
センサ情報に応じてユーザ状態を対応付けたユーザ状態ルール記憶手段と、
前記ユーザ状態ルール記憶手段を用いて、前記センサ情報に応じたユーザ状態を判定するユーザ状態判定手段と、
前記端末を、所定条件に基づいてグループ化する端末グループ化手段と、
グループ毎に、当該グループ内の端末の全ての前記ユーザ状態に基づく代表状態を決定する代表状態決定手段と
を有することを特徴とするシステム。
It is a system that can communicate between its own terminal and other terminals having various sensors,
The other terminal is
Having sensor information transmitting means for transmitting sensor information measured by various sensors to the terminal;
The terminal itself
User state rule storage means for associating user states according to sensor information;
User state determination means for determining a user state according to the sensor information using the user state rule storage means;
Terminal grouping means for grouping the terminals based on a predetermined condition;
The system comprising: a representative state determining unit that determines a representative state based on all the user states of the terminals in the group for each group.
自端末と、各種センサを有する他端末との間で通信可能なシステムであって、
前記他端末は、
センサ情報に応じてユーザ状態を対応付けたユーザ状態ルール記憶手段と、
前記ユーザ状態ルール記憶手段を用いて、前記センサ情報に応じたユーザ状態を判定するユーザ状態判定手段と、
前記ユーザ状態を、自端末へ送信するユーザ状態送信手段と
を有し、
前記自端末は、
前記端末を、所定条件に基づいてグループ化する端末グループ化手段と、
グループ毎に、当該グループ内の端末の全ての前記ユーザ状態に基づく代表状態を決定する代表状態決定手段と
を有することを特徴とするシステム。
It is a system that can communicate between its own terminal and other terminals having various sensors,
The other terminal is
User state rule storage means for associating user states according to sensor information;
User state determination means for determining a user state according to the sensor information using the user state rule storage means;
User status transmitting means for transmitting the user status to the terminal;
The terminal itself
Terminal grouping means for grouping the terminals based on a predetermined condition;
The system comprising: a representative state determining unit that determines a representative state based on all the user states of the terminals in the group for each group.
前記自端末と前記他端末との間は、近距離無線通信によって接続され、
前記自端末の前記端末グループ化手段は、前記所定条件として、近距離無線によって通信可能な複数の端末をグループ化する
ことを特徴とする請求項7又は8に記載のシステム。
The own terminal and the other terminal are connected by short-range wireless communication,
The system according to claim 7 or 8, wherein the terminal grouping unit of the own terminal groups a plurality of terminals communicable by short-range wireless as the predetermined condition.
前記自端末は、前記近距離無線通信によって所定受信強度以上の電波で受信した他端末についてのみ、グループ化する
ことを特徴とする請求項9に記載のシステム。
The system according to claim 9, wherein the own terminal groups only other terminals received by radio waves having a predetermined reception strength or higher by the short-range wireless communication.
各種センサを有する他端末から、センサ情報を受信する端末に搭載されたコンピュータを機能させるプログラムであって、
センサ情報に応じてユーザ状態を対応付けたユーザ状態ルール記憶手段と、
前記ユーザ状態ルール記憶手段を用いて、前記センサ情報に応じたユーザ状態を判定するユーザ状態判定手段と、
前記端末を、所定条件に基づいてグループ化する端末グループ化手段と、
グループ毎に、当該グループ内の端末の全ての前記ユーザ状態に基づく代表状態を決定する代表状態決定手段と
してコンピュータを機能させることを特徴とする端末用のプログラム。
A program for causing a computer mounted on a terminal to receive sensor information from another terminal having various sensors to function.
User state rule storage means for associating user states according to sensor information;
User state determination means for determining a user state according to the sensor information using the user state rule storage means;
Terminal grouping means for grouping the terminals based on a predetermined condition;
A program for a terminal, which causes a computer to function as representative state determination means for determining a representative state based on all the user states of the terminals in the group for each group.
各種センサを有する複数の他端末から、センサ情報から判定されたユーザ状態を受信する端末に搭載されたコンピュータを機能させるプログラムであって、
前記端末を、所定条件に基づいてグループ化する端末グループ化手段と、
グループ毎に、当該グループ内の端末の全ての前記ユーザ状態に基づく代表状態を決定する代表状態決定手段と
してコンピュータを機能させることを特徴とする端末用のプログラム。
A program for causing a computer mounted on a terminal to receive a user state determined from sensor information from a plurality of other terminals having various sensors,
Terminal grouping means for grouping the terminals based on a predetermined condition;
A program for a terminal, which causes a computer to function as representative state determination means for determining a representative state based on all the user states of the terminals in the group for each group.
自端末と、各種センサを有する他端末との間で通信可能なシステムのユーザ状態判定方法であって、
前記自端末は、センサ情報に応じてユーザ状態を対応付けたユーザ状態ルール記憶部を有し、
前記他端末が、各種センサによって計測したセンサ情報を、前記自端末へ送信する第1のステップと、
前記自端末が、前記ユーザ状態ルール記憶部を用いて、前記センサ情報に応じたユーザ状態を判定する第2のステップと、
前記自端末が、前記端末を、所定条件に基づいてグループ化する第3のステップと、
前記自端末が、グループ毎に、当該グループ内の端末の全ての前記ユーザ状態に基づく代表状態を決定する第4のステップと
を有することを特徴とするユーザ状態判定方法。
A user status determination method for a system capable of communicating between its own terminal and another terminal having various sensors,
The own terminal has a user state rule storage unit that associates a user state according to sensor information;
A first step in which the other terminal transmits sensor information measured by various sensors to the terminal;
A second step in which the terminal itself determines a user state according to the sensor information using the user state rule storage unit;
A third step in which the terminal groups the terminals based on a predetermined condition;
The self-terminal includes a fourth step of determining, for each group, a representative state based on all the user states of the terminals in the group.
自端末と、各種センサを有する他端末との間で通信可能なシステムのユーザ状態判定方法であって、
前記他端末は、センサ情報に応じてユーザ状態を対応付けたユーザ状態ルール記憶部を有し、
前記他端末が、前記ユーザ状態ルール記憶部を用いて、前記センサ情報に応じたユーザ状態を判定する第1のステップと、
前記他端末が、前記ユーザ状態を、自端末へ送信する第2のステップと、
前記自端末が、前記端末を、所定条件に基づいてグループ化する第3のステップと、
前記自端末が、グループ毎に、当該グループ内の端末の全ての前記ユーザ状態に基づく代表状態を決定する第4のステップと
を有することを特徴とするユーザ状態判定方法。
A user status determination method for a system capable of communicating between its own terminal and another terminal having various sensors,
The other terminal has a user state rule storage unit that associates a user state according to sensor information,
The other terminal uses the user state rule storage unit to determine a user state according to the sensor information; and
A second step in which the other terminal transmits the user status to the terminal;
A third step in which the terminal groups the terminals based on a predetermined condition;
The self-terminal includes a fourth step of determining, for each group, a representative state based on all the user states of the terminals in the group.
JP2016021328A 2016-02-05 2016-02-05 Terminal, system, program and method for determining user state of own terminal using information from other terminals Active JP6501404B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016021328A JP6501404B2 (en) 2016-02-05 2016-02-05 Terminal, system, program and method for determining user state of own terminal using information from other terminals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016021328A JP6501404B2 (en) 2016-02-05 2016-02-05 Terminal, system, program and method for determining user state of own terminal using information from other terminals

Publications (2)

Publication Number Publication Date
JP2017138930A true JP2017138930A (en) 2017-08-10
JP6501404B2 JP6501404B2 (en) 2019-04-17

Family

ID=59565037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016021328A Active JP6501404B2 (en) 2016-02-05 2016-02-05 Terminal, system, program and method for determining user state of own terminal using information from other terminals

Country Status (1)

Country Link
JP (1) JP6501404B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020013270A (en) * 2018-07-17 2020-01-23 Zホールディングス株式会社 Device, method, and program for processing information
WO2022102215A1 (en) * 2020-11-10 2022-05-19 ゼネリックソリューション株式会社 Sales support device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081443A (en) * 2009-10-02 2011-04-21 Ricoh Co Ltd Communication device, method and program
JP2014134922A (en) * 2013-01-09 2014-07-24 Sony Corp Information processing apparatus, information processing method, and program
WO2015178078A1 (en) * 2014-05-22 2015-11-26 ソニー株式会社 Information processing device, information processing method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081443A (en) * 2009-10-02 2011-04-21 Ricoh Co Ltd Communication device, method and program
JP2014134922A (en) * 2013-01-09 2014-07-24 Sony Corp Information processing apparatus, information processing method, and program
WO2015178078A1 (en) * 2014-05-22 2015-11-26 ソニー株式会社 Information processing device, information processing method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020013270A (en) * 2018-07-17 2020-01-23 Zホールディングス株式会社 Device, method, and program for processing information
WO2022102215A1 (en) * 2020-11-10 2022-05-19 ゼネリックソリューション株式会社 Sales support device

Also Published As

Publication number Publication date
JP6501404B2 (en) 2019-04-17

Similar Documents

Publication Publication Date Title
JP2017134689A (en) Management server, system, program, and method for determining user state of each terminal
US11128979B2 (en) Inferring user availability for a communication
US9002331B2 (en) System and method for managing mobile communications
US11570601B2 (en) Methods and systems for establishing and maintaining presence information of neighboring bluetooth devices
CN103069779B (en) Utilize the telecommunication management of object equipment user probability on the scene
KR101605366B1 (en) Grouping ambient-location updates
JP6062251B2 (en) Information processing apparatus, information processing method, portable terminal, and server
KR101603682B1 (en) Routine estimation
CN106062710A (en) Performing actions associated with individual presence
EP2810426A2 (en) A system and method for identifying and analyzing personal context of a user
KR20150114576A (en) Routine deviation notification
KR101690620B1 (en) Pattern labeling
CN107211055B (en) Procedure for real-time data exchange between subscribers in a telephone call
US10306421B2 (en) Wearable device notification framework
US10015234B2 (en) Method and system for providing information via an intelligent user interface
CN106055960A (en) Unlocking control method and terminal equipment
US20180165589A1 (en) Wearable device control with inferred insights
JP6501404B2 (en) Terminal, system, program and method for determining user state of own terminal using information from other terminals
US11057492B2 (en) Selective information sharing between users of a social network
CN111819831B (en) Message receiving notification method and electronic device supporting same
US20210185477A1 (en) Delivering information to users in proximity to a communication device
CN110992196A (en) Social relationship establishing method and system, terminal device and server
CN105874443A (en) Method and apparatus for communicating between companion devices
JP2021028793A (en) Watching system and watching program
JP7450483B2 (en) Output device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190318

R150 Certificate of patent or registration of utility model

Ref document number: 6501404

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150