JP2020064376A - Information processing system and program - Google Patents
Information processing system and program Download PDFInfo
- Publication number
- JP2020064376A JP2020064376A JP2018194644A JP2018194644A JP2020064376A JP 2020064376 A JP2020064376 A JP 2020064376A JP 2018194644 A JP2018194644 A JP 2018194644A JP 2018194644 A JP2018194644 A JP 2018194644A JP 2020064376 A JP2020064376 A JP 2020064376A
- Authority
- JP
- Japan
- Prior art keywords
- action
- user
- factor
- processing system
- detection unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 93
- 230000009471 action Effects 0.000 claims description 169
- 230000006399 behavior Effects 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 6
- 230000008921 facial expression Effects 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Toys (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、情報処理システムおよびプログラムに関する。 The present invention relates to an information processing system and a program.
特許文献１には、筺体と、スピーカとを備えるコミュニケーションロボットが、特定の音素を含む音を発する動作を実行する処理が開示されている。 Patent Document 1 discloses a process in which a communication robot including a housing and a speaker executes an operation of emitting a sound including a specific phoneme.
ユーザが興味を示す対象物の特定にあたっては、対象となる対象物をユーザに提示し、ユーザからの回答を得ることで、ユーザが対象物に対して興味があるか否かの判断を行える。具体的には、たとえば、スマートフォンやタブレット、ＰＣ等にて、対象物を提示し、これに対して行われる「いいね」等の操作に基づき、ユーザが対象物に対して興味があるか否かの判断を行える。
ところで、この場合は、ユーザの興味があるか否かの判断の対象となる対象物の範囲が、ユーザに提示される対象物に限られてしまう。
本発明の目的は、ユーザが興味を示す対象物をより広い範囲に亘って特定できるようにすることにある。
In identifying the target object that the user is interested in, it is possible to judge whether the user is interested in the target object by presenting the target object to the user and obtaining an answer from the user. Specifically, for example, whether or not the user is interested in the target object based on an operation such as presenting the target object on a smartphone, a tablet, a PC, etc. and performing a "like" or the like performed on the target object. You can make a decision.
By the way, in this case, the range of the target object for determining whether or not the user is interested is limited to the target object presented to the user.
An object of the present invention is to allow a user to specify an object of interest over a wider range.
本発明が適用される情報処理システムは、ユーザが興味を示したことを示す所作を検出する所作検出手段と、ユーザの前記所作が検出された際の当該ユーザの周辺の状況についての情報である周辺状況情報を取得する状況情報取得手段と、を備える情報処理システムである。
ここで、前記状況情報取得手段により取得された前記周辺状況情報から、前記ユーザの前記所作の要因を検出する要因検出手段を更に備えることを特徴とすることができる。
また、前記要因検出手段は、前記所作が検出された際に前記ユーザの周辺にて起きた事象を、前記所作の要因として検出することを特徴とすることができる。
また、前記要因検出手段は、前記所作が検出された際に前記ユーザの視線の先にて起きた事象を、前記所作の要因として検出することを特徴とすることができる。
また、前記要因検出手段は、前記所作が検出された際に前記ユーザの周囲にてなされていた放送を、前記所作の要因として検出することを特徴とすることができる。
また、前記ユーザの位置情報を取得する位置情報取得手段と、前記状況情報取得手段は、前記周辺状況情報として、前記位置情報により特定される位置の周辺にて実行されるイベントについての情報を取得し、前記要因検出手段は、前記所作が検出された際に前記ユーザの周辺にて実行されているイベントを、前記所作の要因として検出することを特徴とすることができる。
The information processing system to which the present invention is applied is an action detection unit that detects an action indicating that the user has shown an interest, and information about the situation around the user when the action of the user is detected. An information processing system comprising: a situation information acquisition unit that acquires surrounding situation information.
Here, it can be characterized by further comprising factor detection means for detecting a factor of the behavior of the user from the surrounding situation information acquired by the situation information acquisition means.
Further, the factor detection means may detect an event that has occurred in the vicinity of the user when the action is detected, as a factor of the action.
Further, the factor detection means may be characterized by detecting, as a factor of the action, an event that occurred in front of the line of sight of the user when the action was detected.
Further, the factor detecting means may be characterized by detecting, as a factor of the action, a broadcast being performed around the user when the action is detected.
In addition, the position information acquisition unit that acquires the position information of the user and the situation information acquisition unit obtain, as the surrounding situation information, information about an event executed around the position specified by the position information. However, the factor detection means may detect an event executed in the vicinity of the user when the action is detected as a factor of the action.
また、前記要因検出手段は、前記所作が検出された際に前記ユーザの周囲に位置する人物を、前記所作の要因として検出することを特徴とすることができる。
また、前記要因検出手段は、前記所作検出手段が設けられている機器以外にて起きた事象の中から、前記所作の要因を検出することを特徴とすることができる。
また、前記所作検出手段は、ユーザが興味を示したことを示す前記所作として、ユーザが特定の方向を予め定められた時間を超えて見る動作を検出することを特徴とすることができる。
また、前記所作検出手段は、ユーザが興味を示したことを示す前記所作として、予め定められた内容の音声を発する動作を検出することを特徴とすることができる。
また、前記所作検出手段は、ユーザが興味を示したことを示す前記所作として、ユーザが一方向に向かって移動する動作を検出することを特徴とすることができる。
また、前記所作検出手段は、ユーザが興味を示したことを示す前記所作として、ユーザの顔の表情の変化を検出することを特徴とすることができる。
また、前記所作検出手段は、ユーザが興味を示したことを示す前記所作として、ユーザが特定の機器に触れる動作を検出することを特徴とすることができる。
また、前記所作検出手段は、ユーザが興味を示したことを示す前記所作として、同意又は反同意の何れかを示す動きを検出することを特徴とすることができる。
Further, the factor detecting means may detect a person located around the user as a factor of the action when the action is detected.
Further, the factor detection means may be characterized by detecting a factor of the action from among events that have occurred in devices other than the device in which the action detection means is provided.
Further, the behavior detecting means may be characterized in that, as the behavior indicating that the user has shown an interest, the behavior detecting means detects a motion in which the user looks at a specific direction for a predetermined time or longer.
Further, the action detection means may be characterized by detecting an action of emitting a voice having a predetermined content as the action indicating that the user has shown an interest.
Further, the behavior detecting means may detect a movement of the user moving in one direction as the behavior indicating that the user has shown an interest.
Further, the behavior detecting means may be characterized by detecting a change in the facial expression of the user as the behavior indicating that the user has shown an interest.
Further, the behavior detecting means may be characterized by detecting a motion of the user touching a specific device as the behavior indicating that the user has shown an interest.
The action detecting means may be characterized by detecting, as the action indicating that the user has shown an interest, a motion indicating either consent or disagreement.
また、本発明をプログラムとして捉えた場合、本発明が適用されるプログラムは、ユーザが興味を示したことを示す所作を検出する所作検出機能と、ユーザの前記所作が検出された際の当該ユーザの周辺の状況についての情報である周辺状況情報を取得する状況情報取得機能と、をコンピュータに実現させるためのプログラムである。 Further, when the present invention is regarded as a program, the program to which the present invention is applied includes an action detection function for detecting an action indicating that the user has shown an interest, and the user when the action of the user is detected. Is a program for causing a computer to realize a situation information acquisition function for obtaining the surrounding situation information which is information about the surrounding situation of the.
本発明によれば、ユーザが興味を示す対象物をより広い範囲に亘って特定できる。 According to the present invention, it is possible to specify an object that the user is interested in over a wider range.
以下、添付図面を参照して、本発明の実施の形態について説明する。
図１は、情報処理システム１の全体構成を示した図である。
情報処理システム１には、情報処理装置の一例としての管理サーバ３００が設けられている。さらに、情報処理システム１には、各家庭や各施設の各々に設置された室内機器２００が設けられている。
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
FIG. 1 is a diagram showing the overall configuration of the information processing system 1.
The information processing system 1 is provided with a
図２（室内機器２００を説明する図）に示すように、本実施形態の室内機器２００は、いわゆるロボットを模した機器であり、符号２Ａで示すように、人の顔を模した部分を有する。
より具体的には、室内機器２００には、液晶ディスプレイなどにより構成された表示装置２０１が設けられており、本実施形態では、この表示装置２０１に、人の顔に相当する画像が表示されることで、人の顔を模した部分が表示される。
As shown in FIG. 2 (a diagram illustrating the indoor device 200), the
More specifically, the
さらに、本実施形態の室内機器２００は、表示装置２０１を下方から支持する胴体部分２０２、および、この胴体部分２０２に取り付けられた腕部分２０３を有する。
さらに、この腕部分２０３を動かすためのモータ（不図示）が、胴体部分２０２の内部に設けられている。また、胴体部分２０２には、互いに異なる色の光を出射する複数の光源２０４が設けられている。
Further, the
Further, a motor (not shown) for moving the
さらに、室内機器２００には、上下方向へ移動可能に設けられた頭部２０８、この頭部２０８を上方へ付勢するコイルスプリング（不図示）、および、この頭部２０８が下降したことを検出するセンサ２０５Ｓが設けられている。
さらに、室内機器２００には、室内機器２００が設置された居室内の状況を撮影する撮影手段の一例としてのカメラ２０５Ｃが設けられている。また、室内機器２００には、この居室内の音を取得する音手段の一例としてのマイク２０５Ｍが設けられている。また、室内機器２００には、室内機器２００の位置情報を取得するＧＰＳ（Global Positioning System）（不図示）が設けられている。
室内機器２００の各々は、インターネットなどの通信回線４００（図１参照）を通じて管理サーバ３００に接続される。
Further, in the
Further, the
Each of the
図３は、管理サーバ３００のハードウエアの構成を示した図である。
管理サーバ３００は、コンピュータ装置により構成され、管理サーバ３００には、ＣＰＵ（Central Processing Unit）３０１、ＲＡＭ（Random Access Memory）３０２、ＲＯＭ（Read Only Memory）３０３が設けられている。また、ハードディスク装置などにより構成される記憶装置３０４が設けられている。さらに、管理サーバ３００には、外部との通信を行うための通信インタフェース（通信Ｉ／Ｆ）３０５が設けられている。
FIG. 3 is a diagram showing a hardware configuration of the
The
ＣＰＵ３０１によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータが読取可能な記録媒体に記憶した状態で、管理サーバ３００へ提供しうる。
また、ＣＰＵ３０１によって実行されるプログラムは、インターネットなどの通信手段を用いて管理サーバ３００へダウンロードしてもよい。
The program executed by the
The program executed by the
図４は、管理サーバ３００のＣＰＵ３０１等により実現される機能部を示した図である。
図４に示すように、管理サーバ３００は、所作検出部３２１、状況情報取得部３２２、要因検出部３２３、位置情報取得部３２４を備える。
ここで、所作検出部３２１、状況情報取得部３２２、要因検出部３２３、位置情報取得部３２４は、管理サーバ３００のＣＰＵ３０１が、記憶装置３０４等に格納されているプログラムを実行することで実現される。
FIG. 4 is a diagram showing functional units realized by the
As illustrated in FIG. 4, the
Here, the
所作検出手段の一例としての所作検出部３２１は、ユーザが対象物に対して興味を示したことを示す所作（動作）を検出する。
より具体的には、所作検出部３２１は、室内機器２００に設けられたカメラ２０５Ｃにより得られたユーザの映像や、室内機器２００に設けられたマイク２０５Ｍにより得られた音（ユーザの音声を含む音）を解析して、ユーザが特定の対象物に対して興味を示したことを示す所作（動作）を検出する。
The
More specifically, the
付言すると、所作検出部３２１は、室内機器２００に設けられたカメラ２０５Ｃにより得られた映像や、室内機器２００に設けられたマイク２０５Ｍにより得られた音などを解析し、ユーザが、予め定められた特定の動作を行ったかを判断する。
そして、所作検出部３２１は、ユーザがこの特定の動作を行ったと判断した場合、ユーザが上記の所作を行ったと判断する。付言すると、所作検出部３２１は、ユーザがこの特定の動作を行ったと判断した場合、この特定の動作を、ユーザが興味を示したことを示す所作として検出する。
In addition, the
Then, when the
状況情報取得手段の一例としての状況情報取得部３２２は、ユーザの上記の所作が検出された際の、このユーザの周辺の状況についての情報である周辺状況情報を取得する。
より具体的には、本実施形態では、状況情報取得部３２２は、室内機器２００に設けられたカメラ２０５Ｃにより得られた映像であって、ユーザの上記の所作が検出された際の映像や、室内機器２００に設けられたマイク２０５Ｍにより得られた音であって、ユーザの上記の所作が検出された際の音を、周辺状況情報として取得する。
The situation
More specifically, in the present embodiment, the status
要因検出手段の一例としての要因検出部３２３は、状況情報取得部３２２により取得された周辺状況情報（映像や音）から、ユーザの上記の所作の要因を検出する。付言すると、要因検出部３２３は、カメラ２０５Ｃにより得られた映像や、マイク２０５Ｍにより得られた音などを解析して、ユーザの上記の所作の要因を検出する。
位置情報取得手段の一例としての位置情報取得部３２４は、ユーザの各々の位置情報を取得する。具体的には、位置情報取得部３２４は、例えば、室内機器２００から送信されてくる位置情報（室内機器２００に設けられたＧＰＳにより得られた位置情報）を受信して、この室内機器２００のカメラ２０５Ｃに写るユーザの位置情報を取得する。
The
The position
図５は、本実施形態の情報処理システム１にて実行される処理の流れの一例を示したフローチャートである。
本実施形態では、所作検出部３２１が、カメラ２０５Ｃにより取得された映像やマイク２０５Ｍにより得られた音などを解析し、ユーザが予め定められた動作を行ったか否かを判断する（ステップＳ１０１）。
付言すると、所作検出部３２１は、カメラ２０５Ｃにより取得される映像やマイク２０５Ｍにより取得される音を監視し、ユーザが予め定められた動作を行ったか否かを判断する。
FIG. 5 is a flowchart showing an example of the flow of processing executed in the information processing system 1 of this embodiment.
In the present embodiment, the
In addition, the
そして、所作検出部３２１は、ユーザが予め定められた動作を行ったと判断した場合、ユーザが対象物に対して興味を示したことを示す所作（以下、単に「所作」と称する。）を行ったと判断する。付言すると、所作検出部３２１は、所作を検出する（ステップＳ１０２）。
言い換えると、本実施形態では、所作検出部３２１は、ユーザが予め定められた動作を行った場合に、ユーザが対象物に対して興味を示したことを示す所作を検出する。
When the
In other words, in the present embodiment, the
次いで、本実施形態では、状況情報取得部３２２が、ユーザの上記所作が検出された際の、このユーザの周辺の状況についての情報である周辺状況情報を取得する（ステップＳ１０３）。
具体的には、状況情報取得部３２２は、カメラ２０５Ｃにより得られた映像であって、ユーザの上記の所作が検出された際にこのカメラ２０５Ｃにより得られた映像を、周辺状況情報として取得する。
また、状況情報取得部３２２は、マイク２０５Ｍにより得られた音であって、ユーザの上記の所作が検出された際にこのマイク２０５Ｍにより得られた音を、周辺状況情報として取得する。
Next, in the present embodiment, the situation
Specifically, the situation
In addition, the situation
より具体的には、状況情報取得部３２２は、例えば、ユーザの上記の所作が検出されたタイミングから過去に予め定められた時間だけ遡ったときを始まりとして、この所作が検出されてから予め定められた時間が経過するまでの間における、映像（カメラ２０５Ｃにより得られた映像）や音（マイク２０５Ｍにより得られた音）を取得する。
More specifically, the situation
その後、本実施形態では、要因検出部３２３が、状況情報取得部３２２により取得された周辺状況情報から、ユーザの所作の要因を検出する（ステップＳ１０４）。
より具体的には、要因検出部３２３は、状況情報取得部３２２により取得された上記の映像や音から、ユーザの所作の要因を検出する。
これにより、本実施形態では、ユーザが興味を持った対象物を特定できるようになる。
Then, in the present embodiment, the
More specifically, the
As a result, in the present embodiment, the target object that the user is interested in can be specified.
ここで、ユーザが興味を示す対象物の特定にあたっては、例えば、対象となる対象物の各々をユーザに提示し、ユーザからの回答を得ることで、提示された対象物に対してユーザの興味があるか否かの判断を行える。
具体的には、たとえば、スマートフォンやタブレット、ＰＣ等にて、対象物を提示し、これに対して行われる「いいね」等の操作に基づき、ユーザが対象物に対して興味があるか否かの判断を行える。
Here, when the target object in which the user is interested is specified, for example, each target object is presented to the user, and the user's interest in the presented target object is obtained by obtaining a response from the user. It is possible to judge whether or not there is.
Specifically, for example, whether or not the user is interested in the target object based on an operation such as presenting the target object on a smartphone, a tablet, a PC, etc. and performing a "like" or the like on the target object. You can make a decision.
ところで、この場合は、ユーザが興味を抱いているか否かの判断の対象となる対象物の範囲が、ユーザに提示される対象物に限られてしまう。
これに対し、本実施形態では、所作がユーザにより行われた際に（所作が検出された際に）、ユーザの周囲にて起きた事象の全てが、ユーザが興味を示した対象物の候補となる。
この場合、対象物をユーザに提示して、ユーザが興味を抱いている対象物を特定する場合に比べ、ユーザが興味を示す対象物をより広い範囲に亘って特定できるようになる。
By the way, in this case, the range of the target object for determining whether or not the user is interested is limited to the target object presented to the user.
On the other hand, in the present embodiment, when the action is performed by the user (when the action is detected), all of the events that occur around the user are candidates for the target object to which the user is interested. Becomes
In this case, compared to the case where the target object is presented to the user and the target object in which the user is interested, the target object in which the user is interested can be specified over a wider range.
ここで、本実施形態では、上記のとおり、所作検出部３２１が、ユーザが対象物に対して興味を示したことを示す所作を検出する。より具体的には、所作検出部３２１は、予め定められたユーザの動作を検出して、この所作を検出する。
ここで、所作検出部３２１は、ユーザが興味を示したことを示す上記の所作として、例えば、ユーザが特定の方向を予め定められた時間（例えば、３秒）を超えて見る動作を検出する。
Here, in the present embodiment, as described above, the
Here, the
より具体的には、所作検出部３２１は、カメラ２０５Ｃにより得られた映像を解析し、この映像に含まれるユーザが、特定の方向を予め定められた時間を超えて見る動作を検出する。
ユーザが対象物に対して興味を抱いている場合、ユーザがこの対象物を凝視することも多く、ユーザが特定の方向を予め定められた時間を超えて見る動作を行った場合、ユーザが特定の対象物に対して興味を抱いていることが想定される。
More specifically, the
When the user is interested in the target object, the user often gazes at the target object, and when the user performs an operation of looking in a specific direction for a predetermined time, the user specifies It is assumed that they have an interest in the object.
なお、ユーザの他の動作を、上記の所作として検出してもよい。
例えば、所作検出部３２１は、ユーザが興味を示したことを示す所作として、予め定められた内容の音声を発するユーザの動作を検出してもよい。
具体的には、所作検出部３２１は、「すごい」、「面白い」、「つまらない」などの音声を発するユーザの動作を、上記の所作として検出してもよい。
Note that other actions of the user may be detected as the above-mentioned action.
For example, the
Specifically, the
より具体的には、所作検出部３２１は、マイク２０５Ｍにて得られた音を解析することで、「すごい」、「面白い」、「つまらない」などの音声を発するユーザの動作を検出し、この動作を上記の所作として検出する。
ここで、ユーザがテレビなどを視聴している際に、「すごい」、「面白い」、「つまらない」などの音声をユーザが発することがあり、このような音声が発せられた場合、ユーザが、テレビ等にて放映されている放映内容に、興味を抱いていることが想定できる。
More specifically, the
Here, when the user is watching TV, etc., the user may make a sound such as “great”, “interesting”, or “boring”. If such a sound is made, the user It can be assumed that you are interested in the broadcast contents that are being broadcast on TV and the like.
また、その他に、所作検出部３２１は、ユーザが興味を示したことを示す所作として、ユーザが一方向に向かって移動する動作を検出してもよい。
より具体的には、所作検出部３２１は、カメラ２０５Ｃにより得られた映像に含まれるユーザが、一方向に向かって移動している場合に、この移動する動作を検出し、この動作を、所作として検出してもよい。
In addition, the
More specifically, the
ユーザが何かしらの対象物に興味を抱いた場合、例えば、図６（ユーザの動きを上方から見た場合の図）に示すように、ユーザが、対象物に向かって（一方向に向かって）移動することが想定される。
この場合、ユーザのこの動きを検出すれば、ユーザが、特定の対象物に興味を抱いていることを実質的に検出できるようになる。
When the user is interested in some object, for example, as shown in FIG. 6 (a diagram when the user's movement is viewed from above), the user faces the object (in one direction). It is supposed to move.
In this case, by detecting this movement of the user, it becomes possible to substantially detect that the user is interested in a specific object.
また、その他に、所作検出部３２１は、ユーザが興味を示したことを示す所作として、ユーザの顔の表情の変化を検出してもよい。
より具体的には、所作検出部３２１は、ユーザの顔の表情の変化として、例えば、顔が、無表情の状態から、笑った顔や怒った顔になったことを検出する。
ユーザが何かしらの対象物に興味を抱いた場合、ユーザの顔の表情が変化することが想定される。この場合、ユーザの顔の変化を検出するようにすれば、ユーザが、特定の対象物に興味を抱いたことを実質的に検出できるようになる。
In addition, the
More specifically, the
When the user becomes interested in some object, it is assumed that the facial expression of the user changes. In this case, if the change of the user's face is detected, it becomes possible to substantially detect that the user has an interest in a specific target object.
また、その他に、所作検出部３２１は、ユーザが興味を示したことを示す所作として、ユーザが室内機器２００に触れる動作を検出してもよい。より具体的には、所作検出部３２１は、例えば、ユーザが、室内機器２００の頭部２０８（図２参照）を撫でる動作を検出してもよい。
In addition, the
例えば、「興味を抱く対象物がある場合には、室内機器２００の頭部２０８を撫でてください」を旨とするメッセージをユーザに予め通知している場合において、ユーザが、室内機器２００の頭部２０８を撫でた場合、このユーザは、特定の対象物に興味を抱いていることになる。
この場合、ユーザが室内機器２００の頭部２０８を撫でた（触った）ことを検出するようにすれば、ユーザが特定の対象物に興味を抱いたことを検出できるようになる。
For example, in the case where the user has previously been notified with a message to the effect that “Please stroke the
In this case, if it is detected that the user has stroked (touched) the
なお、ユーザが室内機器２００の頭部２０８を撫でたか否かは、室内機器２００に設けられたセンサ２０５Ｓからの出力に基づき判断できる。
本実施形態では、頭部２０８が下降すると、センサ２０５Ｓがこの頭部２０８を検出するようになっており、センサ２０５Ｓが頭部２０８を検出した場合には、ユーザが頭部２０８を撫でたことになる。
Whether or not the user has stroked the
In the present embodiment, the
また、所作検出部３２１は、ユーザが興味を示したことを示す所作として、同意又は反同意の何れかを示すユーザの動きを検出してもよい。
より具体的には、この場合、所作検出部３２１は、ユーザが興味を示したことを示す所作として、図７（ユーザの動きを示した図）の矢印７Ａで示すような、ユーザが頭部２０８を縦に動かす動作（うなずく動作）、又は、矢印７Ｂで示すような、ユーザが頭部２０８を横に動かす動作（否定することを示す動作）の何れかを検出する。
Further, the
More specifically, in this case, the
ユーザが何かしらの対象物に興味を抱いた場合、ユーザは、うなずいたり、頭を横に振ったりすることがある。
ユーザの、このうなずきや、頭を横に振る動きを検出すれば、ユーザが、特定の対象物に対して興味を抱いていることを実質的に検出できるようになる。
なお、ユーザのうなずきや、頭を横に振る動作は、カメラ２０５Ｃにより取得された映像を解析することで検出できる。
When the user becomes interested in some object, the user may nod or shake his head.
By detecting the nod of the user and the motion of shaking the head sideways, it becomes possible to substantially detect that the user is interested in a specific object.
It should be noted that the nod of the user and the action of shaking the head sideways can be detected by analyzing the image acquired by the
次に、要因検出部３２３による、所作の要因の検出処理について説明する。
要因検出部３２３は、所作検出部３２１によって所作（予め定められ動作）が検出された場合、この所作の要因の検出処理を行う。
具体的には、要因検出部３２３は、例えば、所作検出部３２１により所作が検出された際にこのユーザの周辺にて起きた事象を、所作の要因として検出する。
例えば、要因検出部３２３は、所作検出部３２１により所作が検出された際に、テレビに映っている映像が変化した場合には（カメラ２０５Ｃにより得られた映像に映っているテレビにおける放送内容が変化した場合には）、この映像の変化や、変化後の映像を、所作の要因として検出する。
Next, the process of detecting the cause of the action by the
When the
Specifically, the
For example, when the
また、その他に、要因検出部３２３は、例えば、ユーザの視線の先にて起きた事象を、所作の要因として検出してもよい。
具体的には、要因検出部３２３は、例えば、所作検出部３２１により所作が検出された際に、図８（ユーザの居室の状態を示した図）に示すように、ユーザの視線の先にテレビがあった場合、このテレビ自体や、このテレビにて放送されている放送内容を、所作の要因として検出する。
また、要因検出部３２３は、例えば、所作検出部３２１により所作が検出された際に、ユーザの視線の先に、人や犬などの動物がいた場合、この人や動物を、所作の要因として検出する。
In addition to this, the
Specifically, for example, when the
In addition, for example, when an action is detected by the
このように、ユーザの視線の先にて起きた事象を、所作の要因として検出する場合は、所作の要因を絞り込める。
上記のように、ユーザの周辺にて起きた事象を、所作の要因として検出する場合、ユーザの周囲にて起きた全ての事象が、ユーザの所作の要因の候補となり、この所作の要因を絞り込みにくくなる。
これに対し、ユーザの視線の先にて起きた事象を、所作の要因として検出する場合、所作の要因の候補が減り、所作の要因を絞り込める。
In this way, when an event that occurs in front of the user's line of sight is detected as a cause of the action, the cause of the action can be narrowed down.
As described above, when detecting an event that occurs in the vicinity of the user as a cause of the action, all the events that occur in the vicinity of the user become candidates for the cause of the action of the user and narrow down the cause of the action. It gets harder.
On the other hand, when an event that occurs in front of the user's line of sight is detected as a cause of the action, the number of candidates for the action factor decreases, and the cause of the action can be narrowed down.
また、その他に、要因検出部３２３は、例えば、所作が検出された際にユーザの周囲にてなされていた放送を、所作の要因として検出してもよい。
例えば、要因検出部３２３は、所作が検出された際にテレビがオンされ、番組が放送されている場合（カメラ２０５Ｃにより得られた映像に、オンされたテレビが映り番組が放送されている場合）、この放送（番組）を所作の要因として検出してもよい。
Further, in addition, the
For example, when the action is detected, the
また、要因検出部３２３は、テレビに限らず、ラジオがついている場合には、このラジオによる放送（番組）を所作の要因として検出してもよい。
さらに、この場合、要因検出部３２３は、これらの放送についての情報（番組名や放送内容についての情報）を、インターネットなどを通じて、取得してもよい。
Further, the
Further, in this case, the
また、その他に、要因検出部３２３は、例えば、所作が検出された際にユーザの周辺にて実行されているイベントを、所作の要因として検出してもよい。
ここで、この検出処理を行う場合は、まず、状況情報取得部３２２が、周辺状況情報として、ユーザの周辺にて実行されるイベントについての情報を取得する。
Further, in addition, the
Here, in the case of performing this detection processing, first, the situation
より具体的には、本実施形態では、上記のとおり、位置情報取得部３２４により、ユーザの位置情報（室内機器２００の位置情報）が取得されるが、状況情報取得部３２２は、この位置情報により特定される位置の周辺にて実行されるイベントについての情報を、インターネットなどを通じて取得する。
付言すると、状況情報取得部３２２は、所作を行ったユーザの位置情報により特定される位置の周辺にて実行されるイベントについての情報を、インターネットなどを通じて取得する。
More specifically, in the present embodiment, as described above, the position
In addition, the situation
そして、要因検出部３２３は、取得されたこのイベントについての情報により特定されるイベントを、所作の要因として検出する。
この場合、所作が検出された際にユーザの周辺にて実行されている、花火大会などのイベントが、所作の要因として検出されることになる。
ここで、例えば、ユーザの自宅の窓の外で花火大会などがあることも想定され、本実施形態では、この花火大会なども所作の要因として検出できるようになる。付言すると、室内機器２００のカメラ２０５Ｃに写らない事象についても、所作の要因として検出できるようになる。
Then, the
In this case, an event such as a fireworks display, which is executed in the vicinity of the user when the action is detected, is detected as the factor of the action.
Here, for example, it is assumed that there is a fireworks display outside the window of the user's home, and in the present embodiment, this fireworks display can be detected as a factor of the operation. In addition, it is possible to detect an event that is not captured by the
また、その他に、要因検出部３２３は、ユーザの所作が検出された際にこのユーザの周囲に位置する人物を、所作の要因として検出してもよい。
より具体的には、要因検出部３２３は、カメラ２０５Ｃにより得られた映像を解析した結果、例えば、ユーザの所作が検出された際に、このユーザと同じ部屋に、ユーザ以外の人物がいる場合、この人物を所作の要因として検出してもよい。
In addition, the
More specifically, when the
さらに、本実施形態では、要因検出部３２３は、所作検出部３２１が設けられている機器以外にて起きた事象の中から、所作の要因を検出する構成となっている。
具体的には、本実施形態では、所作検出部３２１が管理サーバ３００に設けられているが、要因検出部３２３は、この管理サーバ３００以外にて起きた事象の中から、所作の要因を検出するようになっている。
Furthermore, in the present embodiment, the
Specifically, in the present embodiment, the
ここで、比較例として、タブレット端末に設けられたタッチパネルに対するユーザの選択操作を、上記の所作として捉え、この所作があった場合には、この選択操作により選択された対象物（タブレット端末の表示画面に表示されている表示物）を所作の要因として捉える態様も考えられる。 Here, as a comparative example, the user's selection operation on the touch panel provided on the tablet terminal is regarded as the above-mentioned operation, and if there is this operation, the object selected by this selection operation (display of the tablet terminal). A mode in which the display object displayed on the screen) is considered as a factor of the operation is also considered.
この場合、タッチパネル等が所作検出部３２１となり、要因検出部３２３は、この所作検出部３２１が設けられているタブレット端末にて起きた事象の中から、所作の要因を検出することになる。
具体的には、この場合、要因検出部３２３は、タブレット端末に表示された表示物（ユーザによる選択操作があった表示物）を、所作の要因として検出することになる。
In this case, the touch panel or the like serves as the
Specifically, in this case, the
ところで、この場合は、検出される、所作の要因が、タブレット端末に表示された表示物のみに限られることになる。付言すると、検出される、所作の要因が、タブレット端末にて起きた事象のみに限られることになる。
これに対し、本実施形態のように、所作検出部３２１が設けられている機器以外にて起きた事象の中から、所作の要因を検出する構成であると、より広い候補の中から、所作の要因を検出できるようになる。
By the way, in this case, the cause of the detected action is limited to only the display object displayed on the tablet terminal. In addition, the factor of the detected action is limited to the event that occurred in the tablet terminal.
On the other hand, as in the present embodiment, if the configuration is such that the cause of the action is detected from the events that occurred in devices other than the device in which the
１…情報処理システム、２００…室内機器、３００…管理サーバ、３２１…所作検出部、３２２…状況情報取得部、３２３…要因検出部、３２４…位置情報取得部 DESCRIPTION OF SYMBOLS 1 ... Information processing system, 200 ... Indoor equipment, 300 ... Management server, 321 ... Action detection part, 322 ... Situation information acquisition part, 323 ... Factor detection part, 324 ... Position information acquisition part
Claims (15)
ユーザの前記所作が検出された際の当該ユーザの周辺の状況についての情報である周辺状況情報を取得する状況情報取得手段と、
を備える情報処理システム。 An action detection means for detecting an action indicating that the user has shown an interest,
Status information acquisition means for acquiring surrounding status information which is information about the surroundings of the user when the behavior of the user is detected,
An information processing system including.
前記状況情報取得手段は、前記周辺状況情報として、前記位置情報により特定される位置の周辺にて実行されるイベントについての情報を取得し、
前記要因検出手段は、前記所作が検出された際に前記ユーザの周辺にて実行されているイベントを、前記所作の要因として検出する請求項２に記載の情報処理システム。 Position information acquisition means for acquiring the position information of the user,
The status information acquisition unit acquires, as the peripheral status information, information about an event executed in the vicinity of the position specified by the position information,
The information processing system according to claim 2, wherein the factor detection unit detects, as a factor of the action, an event executed in the vicinity of the user when the action is detected.
ユーザの前記所作が検出された際の当該ユーザの周辺の状況についての情報である周辺状況情報を取得する状況情報取得機能と、
をコンピュータに実現させるためのプログラム。 An action detection function that detects an action indicating that the user has shown an interest,
A situation information acquisition function that obtains surrounding situation information that is information about the situation around the user when the user's behavior is detected,
A program that makes a computer realize.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018194644A JP7182990B2 (en) | 2018-10-15 | 2018-10-15 | Information processing system and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018194644A JP7182990B2 (en) | 2018-10-15 | 2018-10-15 | Information processing system and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020064376A true JP2020064376A (en) | 2020-04-23 |
| JP7182990B2 JP7182990B2 (en) | 2022-12-05 |
Family
ID=70388321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018194644A Active JP7182990B2 (en) | 2018-10-15 | 2018-10-15 | Information processing system and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7182990B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022254693A1 (en) * | 2021-06-04 | 2022-12-08 | 日産自動車株式会社 | Operation detection device and operation detection method |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11265398A (en) * | 1998-03-18 | 1999-09-28 | Fujitsu Ltd | Information providing system and recording medium recording control program for the system |
| JP2001292478A (en) * | 2000-04-06 | 2001-10-19 | Daihatsu Motor Co Ltd | Information edit device and information terminal communicating with information management unit managing the information edit device |
| JP2004280673A (en) * | 2003-03-18 | 2004-10-07 | Takenaka Komuten Co Ltd | Information providing device |
| JP2007088803A (en) * | 2005-09-22 | 2007-04-05 | Hitachi Ltd | Information processor |
| JP2009061547A (en) * | 2007-09-06 | 2009-03-26 | Olympus Corp | Robot control system, robot, program, and information storage medium |
| JP2010130448A (en) * | 2008-11-28 | 2010-06-10 | Ntt Docomo Inc | Event detection server and event detection method |
| JP2015066625A (en) * | 2013-09-27 | 2015-04-13 | 株式会社国際電気通信基礎技術研究所 | Attention object estimation system, robot, and control program |
| US20150179141A1 (en) * | 2013-12-23 | 2015-06-25 | Motorola Mobility Llc | Portable Electronic Device Controlling Diffuse Light Source to Emit Light Approximating Color of Object of User Interest |
| JP2015135674A (en) * | 2014-01-03 | 2015-07-27 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | User-directed personal information assistant |
| JP6298563B1 (en) * | 2017-06-30 | 2018-03-20 | 株式会社コロプラ | Program and method for providing virtual space by head mounted device, and information processing apparatus for executing the program |
-
2018
- 2018-10-15 JP JP2018194644A patent/JP7182990B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11265398A (en) * | 1998-03-18 | 1999-09-28 | Fujitsu Ltd | Information providing system and recording medium recording control program for the system |
| JP2001292478A (en) * | 2000-04-06 | 2001-10-19 | Daihatsu Motor Co Ltd | Information edit device and information terminal communicating with information management unit managing the information edit device |
| JP2004280673A (en) * | 2003-03-18 | 2004-10-07 | Takenaka Komuten Co Ltd | Information providing device |
| JP2007088803A (en) * | 2005-09-22 | 2007-04-05 | Hitachi Ltd | Information processor |
| JP2009061547A (en) * | 2007-09-06 | 2009-03-26 | Olympus Corp | Robot control system, robot, program, and information storage medium |
| JP2010130448A (en) * | 2008-11-28 | 2010-06-10 | Ntt Docomo Inc | Event detection server and event detection method |
| JP2015066625A (en) * | 2013-09-27 | 2015-04-13 | 株式会社国際電気通信基礎技術研究所 | Attention object estimation system, robot, and control program |
| US20150179141A1 (en) * | 2013-12-23 | 2015-06-25 | Motorola Mobility Llc | Portable Electronic Device Controlling Diffuse Light Source to Emit Light Approximating Color of Object of User Interest |
| JP2015135674A (en) * | 2014-01-03 | 2015-07-27 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | User-directed personal information assistant |
| JP6298563B1 (en) * | 2017-06-30 | 2018-03-20 | 株式会社コロプラ | Program and method for providing virtual space by head mounted device, and information processing apparatus for executing the program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022254693A1 (en) * | 2021-06-04 | 2022-12-08 | 日産自動車株式会社 | Operation detection device and operation detection method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7182990B2 (en) | 2022-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9363361B2 (en) | Conduct and context relationships in mobile devices | |
| US9024844B2 (en) | Recognition of image on external display | |
| US9661214B2 (en) | Depth determination using camera focus | |
| EP3075142A1 (en) | Shift camera focus based on speaker position | |
| CN105009031A (en) | Context-aware augmented reality object commands | |
| CN103620620A (en) | Using spatial information in device interaction | |
| US10127002B2 (en) | Method for real-time multimedia interface management | |
| US11836764B2 (en) | Media collection navigation with opt-out interstitial | |
| US20180025050A1 (en) | Methods and systems to detect disengagement of user from an ongoing | |
| CN107409131B (en) | Techniques for seamless data streaming experience | |
| US11182600B2 (en) | Automatic selection of event video content | |
| US10997400B2 (en) | Interest maintaining system and server | |
| KR20140052263A (en) | Contents service system, method and apparatus for service contents in the system | |
| CN112822529A (en) | Electronic device and control method thereof | |
| US9400575B1 (en) | Finger detection for element selection | |
| US10425769B2 (en) | Media navigation recommendations | |
| US20150325210A1 (en) | Method for real-time multimedia interface management | |
| JP2020064376A (en) | Information processing system and program | |
| US20190033603A1 (en) | Lighting stand type multimedia device | |
| CN113591515B (en) | Concentration degree processing method, device and storage medium | |
| CN112333518A (en) | Function configuration method and device for video and electronic equipment | |
| US11375275B2 (en) | Method and system for using lip sequences to control operations of a device | |
| CN111919250B (en) | Intelligent assistant device for conveying non-language prompt | |
| US20150295783A1 (en) | Method for real-time multimedia interface management sensor data | |
| US11928379B2 (en) | Information orientation and display in extended reality environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210615 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221122 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7182990 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |