JP2008046801A - Interest trend information output device, interest trend information output method and program - Google Patents
Interest trend information output device, interest trend information output method and program Download PDFInfo
- Publication number
- JP2008046801A JP2008046801A JP2006220969A JP2006220969A JP2008046801A JP 2008046801 A JP2008046801 A JP 2008046801A JP 2006220969 A JP2006220969 A JP 2006220969A JP 2006220969 A JP2006220969 A JP 2006220969A JP 2008046801 A JP2008046801 A JP 2008046801A
- Authority
- JP
- Japan
- Prior art keywords
- information
- interest tendency
- acquirer
- interest
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 62
- 230000033001 locomotion Effects 0.000 claims abstract description 126
- 230000009471 action Effects 0.000 claims description 141
- 230000006870 function Effects 0.000 description 125
- 230000006399 behavior Effects 0.000 description 90
- 230000008569 process Effects 0.000 description 27
- 230000008859 change Effects 0.000 description 24
- 239000003550 marker Substances 0.000 description 23
- 210000003128 head Anatomy 0.000 description 18
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 210000000707 wrist Anatomy 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 239000004065 semiconductor Substances 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 6
- 230000035508 accumulation Effects 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 210000001747 pupil Anatomy 0.000 description 6
- 230000004424 eye movement Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000000556 factor analysis Methods 0.000 description 4
- 208000008918 voyeurism Diseases 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000001028 reflection method Methods 0.000 description 3
- 235000002673 Dioscorea communis Nutrition 0.000 description 2
- 241000544230 Dioscorea communis Species 0.000 description 2
- 241001469893 Oxyzygonectes dovii Species 0.000 description 2
- 208000035753 Periorbital contusion Diseases 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 240000007320 Pinus strobus Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- QBWCMBCROVPCKQ-UHFFFAOYSA-N chlorous acid Chemical compound OCl=O QBWCMBCROVPCKQ-UHFFFAOYSA-N 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000009133 cooperative interaction Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 244000144985 peep Species 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Landscapes
- Position Input By Displaying (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、情報提供者から情報を取得する情報取得者の興味傾向に関する情報である興味傾向情報を出力する興味傾向情報出力装置等に関する。 The present invention relates to an interest tendency information output device that outputs interest tendency information that is information related to an interest tendency of an information acquirer who acquires information from an information provider.
従来、人々の興味関心の傾向を判別するための研究がなされている。例えば、ウェブのブックマーク履歴からユーザの興味傾向を判別する研究が行われている。また、実世界環境では、非言語行動としてのユーザの滞在位置を分析したり、ミーティング等の特定環境での定型的行動を検出したりすることによって、ユーザの興味対象を推察する試み等がなされている(例えば、非特許文献1〜4参照)。
情報取得活動の行為形態は、情報取得の客体から3つに分類することができる。第1は、物から情報を取得する形態である。第2は、人から情報を直接取得する形態である。第3は、物と人との両方から情報を取得する形態である。ここで、物には、例えば、文字や図画等が表示されている。また、第3の形態としては、例えば、販売員が顧客に物を販売する状況や、医者が患者に検査結果等を示しながら病状や治療方針について説明する状況、講師が聞き手に対して図画等を示しながら授業やプレゼンを行う状況等がある。そのような情報取得の第3の行為形態において、情報取得者の興味傾向を取得したいという要請がある。例えば、情報取得者である顧客等の興味傾向を取得することによって、営業活動等の方針を決定したり、営業活動等の改善を行ったりすることができるからである。 The action form of the information acquisition activity can be classified into three types from the object of information acquisition. The first is a form of acquiring information from an object. The second is a form in which information is directly acquired from a person. The third is a form in which information is acquired from both an object and a person. Here, for example, characters and drawings are displayed on the object. In addition, as a third form, for example, a situation in which a salesperson sells an item to a customer, a situation in which a doctor explains a medical condition or a treatment policy while showing a test result etc. to a patient, an instructor gives drawings to a listener, etc. There are situations where classes and presentations are given while showing. In such a third mode of information acquisition, there is a request to acquire an interest tendency of an information acquirer. This is because, for example, by acquiring an interest tendency of a customer who is an information acquirer, it is possible to determine a policy such as a sales activity or to improve a sales activity.
上記非特許文献1,2では、上述の第2の情報取得の形態についてユーザの興味対象を分析することが記載されているが、上述の第3の情報取得の形態についてユーザの興味対象を分析することは記載されていない。また、上記非特許文献3,4では、ユーザの滞在位置等の分析を行うことによって、上述の第1の情報取得の形態についてユーザの興味対象を分析することが記載されているが、上述の第3の情報取得の形態についてユーザの興味対象を分析することは記載されていない。
In the above
本発明は、上記のような状況においてなされたものであり、情報提供者が情報取得者に対面して説明対象物に関連する情報を提供しており、情報取得者が説明対象物に直接アクセス可能な状況において、情報取得者の興味傾向を示す情報である興味傾向情報を適切に取得し、出力することができる興味傾向情報出力装置等を提供することを目的とする。 The present invention has been made in the situation as described above, and the information provider faces the information acquirer and provides information related to the explanation object, and the information acquirer can directly access the explanation object. An object of the present invention is to provide an interest tendency information output device and the like that can appropriately acquire and output interest tendency information that is information indicating an interest tendency of an information acquirer.
上記目的を達成するため、本発明による興味傾向情報出力装置は、情報提供者が情報取得者に対面して説明対象物に関連する情報を提供している状況であり、かつ、前記情報取得者が前記説明対象物に直接アクセス可能な状況における、前記情報取得者の動きを示す情報であり、前記情報取得者の視線に関する情報と、前記情報取得者のうなずきを検出可能な情報とを少なくとも含む情報であるモーション情報を受け付けるモーション情報受付部と、前記情報取得者の発した音声に関する情報である音声情報を受け付ける音声情報受付部と、前記モーション情報受付部が受け付けたモーション情報と、前記音声情報受付部が受け付けた音声情報とから、前記情報取得者の興味傾向に関する情報である興味傾向情報を生成する興味傾向情報生成部と、前記興味傾向情報生成部が生成した興味傾向情報を出力する興味傾向情報出力部と、を備えたものである。 In order to achieve the above object, an interest tendency information output device according to the present invention is a situation in which an information provider provides information related to an explanation object facing an information acquirer, and the information acquirer Is information indicating the movement of the information acquirer in a situation where the explanation object can be directly accessed, and includes at least information regarding the line of sight of the information acquirer and information capable of detecting the nod of the information acquirer A motion information reception unit that receives motion information, a voice information reception unit that receives voice information that is information related to a voice uttered by the information acquirer, motion information received by the motion information reception unit, and the voice information reception Interest trend information generation that generates interest tendency information that is information related to the interest tendency of the information acquirer from the voice information received by the department When, and interest trend information output unit for outputting an interest trend information which the interested trend information generating unit has generated, those having a.
このような構成により、上記のような状況における情報取得者の興味傾向を取得することができる。特に、情報取得者の音声情報、視線に関する情報、うなずきを検出可能な情報を少なくとも受け付けて、それらの情報をもとに興味傾向情報を生成するため、より多くの情報を用いて興味傾向情報の生成を行うこととなり、より適切な興味傾向情報の生成が可能となる。 With such a configuration, the interest tendency of the information acquirer in the above situation can be acquired. In particular, since at least the voice information of the information acquirer, the information about the line of sight, and the information capable of detecting nodding are received and the interest tendency information is generated based on the information, the interest tendency information Therefore, more appropriate interest tendency information can be generated.
また、本発明による興味傾向情報出力装置では、前記興味傾向情報生成部は、情報取得者が情報の取得時に行う行動である情報取得行動の発生の条件を示す情報である条件情報が記憶される条件情報記憶手段と、前記条件情報記憶手段で記憶されている条件情報を用いて、前記モーション情報及び前記音声情報から情報取得行動の発生を検出し、検出した情報取得行動に関する情報である情報取得行動情報を生成する情報取得行動情報生成手段と、前記情報取得行動情報生成手段で生成された情報取得行動情報を用いて興味傾向情報を生成する興味傾向情報生成手段と、を備えていてもよい。 In the interest tendency information output device according to the present invention, the interest tendency information generation unit stores condition information that is information indicating a condition of occurrence of an information acquisition action, which is an action performed by an information acquirer when acquiring information. Using the condition information storage means and the condition information stored in the condition information storage means, the occurrence of an information acquisition action is detected from the motion information and the sound information, and information acquisition relating to the detected information acquisition action is acquired. Information acquisition behavior information generation means for generating behavior information, and interest tendency information generation means for generating interest tendency information using the information acquisition behavior information generated by the information acquisition behavior information generation means may be provided. .
このような構成により、モーション情報から情報取得行動という情報取得時に行われる定型の行動を検出し、その検出された情報取得行動を用いて興味傾向情報を生成することができる。情報取得行動の種類や条件情報を適切に設定することにより、より適切な興味傾向情報の生成を行うことができる。 With such a configuration, it is possible to detect a typical behavior performed at the time of information acquisition, which is information acquisition behavior, from the motion information, and generate interest tendency information using the detected information acquisition behavior. By appropriately setting the type of information acquisition action and condition information, it is possible to generate more appropriate interest tendency information.
また、本発明による興味傾向情報出力装置では、前記興味傾向情報生成部は、情報取得行動情報の示す値を引数とする関数を示す情報である関数情報が1以上記憶される関数情報記憶手段をさらに具備し、前記興味傾向情報生成手段は、前記関数情報記憶手段で記憶されている1以上の関数情報の示す関数に、前記情報取得行動情報生成手段で生成された情報取得行動情報の示す値を代入することにより興味傾向情報を生成してもよい。 In the interest tendency information output device according to the present invention, the interest tendency information generation unit may include function information storage means for storing one or more function information that is information indicating a function having the value indicated by the information acquisition action information as an argument. Further, the interest tendency information generation means includes a value indicated by the information acquisition action information generated by the information acquisition action information generation means in a function indicated by the one or more function information stored in the function information storage means. Interesting trend information may be generated by substituting.
このような構成により、関数情報を用いることによって、検出された情報取得行動から興味傾向情報を生成することができる。関数情報を適切に設定することにより、より適切な興味傾向情報の生成を行うことができる。 With such a configuration, the interest tendency information can be generated from the detected information acquisition behavior by using the function information. By setting the function information appropriately, it is possible to generate more appropriate interest tendency information.
また、本発明による興味傾向情報出力装置では、前記興味傾向情報は、前記情報取得者の興味傾向の種類を示す情報を含んでいてもよい。
このような構成により、出力された興味傾向情報によって、情報取得者の興味傾向の種類がどのようなものであるのかについて知ることができる。
In the interest tendency information output device according to the present invention, the interest tendency information may include information indicating a type of interest tendency of the information acquirer.
With such a configuration, it is possible to know what type of interest tendency of the information acquirer is based on the output interest tendency information.
また、本発明による興味傾向情報出力装置では、前記興味傾向情報は、前記情報取得者の所定の種類の興味傾向の程度を示す情報を含んでいてもよい。
このような構成により、出力された興味傾向情報によって、情報取得者の所定の種類の興味傾向の程度がどれぐらいであるのかについて知ることができる。
In the interest tendency information output device according to the present invention, the interest tendency information may include information indicating a degree of a predetermined type of interest tendency of the information acquirer.
With such a configuration, it is possible to know how much a certain type of interest tendency of the information acquirer is based on the output interest tendency information.
本発明による興味傾向情報出力装置等によれば、情報提供者が情報取得者に対面して説明対象物に関連する情報を提供している状況であり、かつ、情報取得者が説明対象物に直接アクセス可能な状況における情報取得者の興味傾向を取得することができる。特に、情報取得者の音声情報、視線に関する情報、うなずきを検出可能な情報を少なくとも受け付けて、それらの情報をもとに興味傾向情報を生成するため、より多くの情報を用いて興味傾向情報の生成を行うこととなり、より適切な興味傾向情報の生成が可能となる。また、その興味傾向情報を用いることにより、例えば、情報取得者としての顧客等の興味傾向に基づいた営業活動等の方針の決定や、営業活動等の改善等を行うことができる。 According to the interest tendency information output device and the like according to the present invention, the information provider is in a situation where the information provider faces the information acquirer and provides information related to the explanation object, and the information acquirer is the explanation object. It is possible to acquire an interest tendency of an information acquirer in a situation where direct access is possible. In particular, since at least the voice information of the information acquirer, the information about the line of sight, and the information capable of detecting nodding are received and the interest tendency information is generated based on the information, the interest tendency information Therefore, more appropriate interest tendency information can be generated. Further, by using the interest tendency information, for example, it is possible to determine a policy such as a sales activity based on an interest tendency of a customer as an information acquirer, improve a sales activity, or the like.
以下、本発明による興味傾向情報出力装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。 Hereinafter, an interest tendency information output device according to the present invention will be described using embodiments. In the following embodiments, components and steps denoted by the same reference numerals are the same or equivalent, and repetitive description may be omitted.
(実施の形態1)
本発明の実施の形態1による興味傾向情報出力装置について、図面を参照しながら説明する。
図1は、本実施の形態による興味傾向情報出力装置1の構成を示すブロック図である。図1において、本実施の形態による興味傾向情報出力装置1は、モーション情報受付部11と、モーション情報蓄積部12と、音声情報受付部13と、音声情報蓄積部14と、興味傾向情報生成部15と、興味傾向情報出力部16とを備える。
(Embodiment 1)
An interest tendency information output apparatus according to
FIG. 1 is a block diagram showing a configuration of an interest tendency
モーション情報受付部11は、モーション情報を受け付ける。ここで、モーション情報とは、情報取得者の動きを示す情報である。このモーション情報は、情報提供者が情報取得者に対面して説明対象物に関連する情報を提供している状況であり、かつ、情報取得者が説明対象物に直接アクセス可能な状況における、情報取得者の動きを示す情報である。情報提供者は、例えば、顧客に商品やサービス等について説明する販売員、生徒を教える教師、患者に症状や治療方針等について説明する医師、広報活動を行う広報担当者、セミナー等での講師等である。情報提供者から情報を提供される情報取得者は、例えば、顧客、生徒、患者、広報を聞く人、セミナー等への参加者等である。説明対象物は、例えば、販売員が顧客に説明している商品(例えば、家電製品や自動車、衣服等)であってもよく、販売員が顧客に説明しているサービス(例えば、旅行や保険、教育等)について記載されているパンフレットや書類であってもよく、医者が患者への説明で用いている検査結果(例えば、X線写真や内視鏡写真、血液検査の結果等)や治療方針を示す図表等であってもよく、講師が聞き手へのプレゼンや授業で用いている資料(例えば、板書や図画、配付資料等)であってもかまわない。情報取得者が説明対象物に直接アクセス可能であるとは、例えば、情報取得者が、その説明対象物に直接触れることができることでもよく、その説明対象物を直接見ることができることでもよく、その説明対象物の音等を直接聞くことができることでもよく、その説明対象物の臭いを直接嗅ぐことができることでもかまわない。 The motion information reception unit 11 receives motion information. Here, the motion information is information indicating the movement of the information acquirer. This motion information is information acquisition in a situation where the information provider faces the information acquirer and provides information related to the explanatory object, and the information acquirer can directly access the explanatory object. It is information which shows a person's movement. Information providers include, for example, sales staff explaining products and services to customers, teachers teaching students, doctors explaining symptoms and treatment policies to patients, public relations personnel conducting public relations activities, lecturers at seminars, etc. It is. The information acquirer who receives information from the information provider is, for example, a customer, a student, a patient, a person who hears public information, a participant in a seminar, or the like. The explanation object may be, for example, a product (for example, home appliances, automobiles, clothes, etc.) that the salesperson explains to the customer, or a service that the salesperson explains to the customer (for example, travel or insurance) , Education, etc.), which may be pamphlets or documents that are described by doctors in the explanation to patients (for example, X-rays, endoscopy, blood test results, etc.) and treatment It may be a chart or the like showing a policy, or it may be a material used by a lecturer to give a presentation to a listener or a class (for example, a board, a drawing, a handout, etc.). That the information acquirer can directly access the explanation object means that, for example, the information acquirer can directly touch the explanation object, or can directly see the explanation object. It may be possible to directly hear the sound or the like of the target object, or it may be possible to directly smell the explanation target object.
モーション情報は、情報取得者の行動に関する情報(以下、「行動情報」と呼ぶこともある)と、情報取得者の視線に関する情報(以下、「視線情報」と呼ぶこともある)とを少なくとも含むものとする。 The motion information includes at least information related to the behavior of the information acquirer (hereinafter also referred to as “behavior information”) and information related to the information acquirer's line of sight (hereinafter also referred to as “line of sight information”). Shall be.
行動情報は、情報取得者のうなずきを検出可能な情報を少なくとも含むものとする。行動情報は、それらの情報に加えて、情報取得者の位置に関する情報を含んでいてもよく、情報取得者の手の動きを示す情報を含んでいてもよく、情報取得者の頭の動きを示す情報を含んでいてもよく、情報取得者の胴体の動きを示す情報を含んでいてもよく、情報取得者のその他の部分の動きを示す情報を含んでいてもかまわない。 The behavior information includes at least information that can detect the nod of the information acquirer. In addition to such information, the behavior information may include information on the position of the information acquirer, may include information indicating the movement of the information acquirer's hand, and May be included, information indicating the movement of the body of the information acquirer may be included, and information indicating the movement of other parts of the information acquirer may be included.
行動情報は、例えば、モーションキャプチャシステムによって取得されてもよく、環境側に設置したカメラで情報取得者を撮影した動画を解析することによって取得されてもよく、その他の方法によって取得されてもかまわない。モーションキャプチャシステムとは、被験者の体に光を反射する所定のマーカを付け、1以上のカメラを用いることによって被験者を撮影し、そのマーカの位置を算出することによって被験者の体の動きを検出するものである。なお、反射式のマーカではなく、自ら発光するアクティブ式のマーカを用いてもよい。また、光学式のマーカではなく、磁気マーカを用いてもよい。このように、モーションキャプチャシステムは、被験者の動きを検出することができるものであれば、その種類を問わない。行動情報がモーションキャプチャシステムによって取得される場合には、行動情報は、例えば、各マーカの3次元座標系における位置を示す時系列のデータである。情報取得者を撮影して動画を解析するとは、情報取得者の動画を撮影し、その撮影した動画から、肌色検出、差分抽出、またはパターンマッチング等の技術を用いて情報取得者の画像領域を特定し、その特定した画像領域から情報取得者の手の動きや頭の動き等を抽出することである。また、行動情報を取得するその他の方法としては、例えば、被験者の体の1以上の部分に加速度センサを付け、その加速度センサによって被験者の体の動きを検出する方法等がある。また、行動情報を取得する上記の2以上の方法を組み合わせてもよい。行動情報を取得する方法については従来から知られており、その詳細な説明は省略する。 The behavior information may be acquired by, for example, a motion capture system, may be acquired by analyzing a video shot of the information acquirer with a camera installed on the environment side, or may be acquired by other methods. Absent. The motion capture system attaches a predetermined marker that reflects light to the subject's body, images the subject by using one or more cameras, and detects the movement of the subject's body by calculating the position of the marker. Is. Instead of the reflective marker, an active marker that emits light itself may be used. Moreover, you may use a magnetic marker instead of an optical marker. Thus, the motion capture system may be of any type as long as it can detect the movement of the subject. When the behavior information is acquired by the motion capture system, the behavior information is, for example, time-series data indicating the position of each marker in the three-dimensional coordinate system. To shoot an information acquirer and analyze a video, shoot the information acquirer's video, and use the techniques such as skin color detection, difference extraction, or pattern matching to capture the information acquirer's image area. It is to identify and extract the information acquisition person's hand movement, head movement, and the like from the identified image area. As another method for acquiring behavior information, for example, there is a method in which an acceleration sensor is attached to one or more parts of the subject's body, and the motion of the subject's body is detected by the acceleration sensor. Moreover, you may combine said 2 or more method of acquiring action information. The method for acquiring the behavior information has been conventionally known, and detailed description thereof will be omitted.
また、行動情報には、前述のように、情報取得者の位置を示す情報が含まれてもいてよい。情報取得者の位置を示す情報は、例えば、GPS(Global Positioning System)によって取得されてもよく、LPS(Local Positioning System)によって取得されてもよく、非接触方式のサーモセンサを用いて取得されてもよく、レーザレンジファインダを用いて取得されてもよく、その他の技術を用いて取得されてもかまわない。LPSとは、例えば、アクティブRFIDを用いたり、地磁気センサと加速度センサとを有する自律航法型の位置測位センサを用いたりすることによって、基準点からの座標値を算出することができる装置である。非接触方式のサーモセンサとは、赤外線等を用いることにより物体の温度を検出することができる装置である。したがって、その装置によって人の存在を検出することができ、2以上のサーモセンサを用いることにより、人の高精度な位置検出が可能となる。レーザレンジファインダとは、出射したレーザ光の反射光から、三角測量の原理を利用して距離を検出する装置である。情報取得者の位置を示す情報を取得するその他の方法としては、例えば、上述のモーションキャプチャシステムを用いて位置を取得する方法がある。 Further, as described above, the behavior information may include information indicating the position of the information acquirer. The information indicating the position of the information acquirer may be acquired by, for example, GPS (Global Positioning System), may be acquired by LPS (Local Positioning System), or acquired using a non-contact type thermo sensor. Alternatively, it may be acquired using a laser range finder, or may be acquired using other techniques. The LPS is a device that can calculate a coordinate value from a reference point by using, for example, an active RFID or an autonomous navigation type position measurement sensor having a geomagnetic sensor and an acceleration sensor. A non-contact type thermosensor is a device that can detect the temperature of an object by using infrared rays or the like. Therefore, the presence of a person can be detected by the apparatus, and the position of a person can be detected with high accuracy by using two or more thermosensors. A laser range finder is a device that detects the distance from the reflected light of emitted laser light using the principle of triangulation. As another method of acquiring information indicating the position of the information acquirer, for example, there is a method of acquiring a position using the above-described motion capture system.
視線情報は、情報取得者の視線の向きを示す情報を含んでいてもよく、情報取得者の視線の向きを情報取得者の頭の向きで近似する場合には、情報取得者の頭の向きを示す情報を含んでいてもよく、情報取得者の視線が遮られたこと、すなわち情報取得者が瞬きをしたことを示す情報を含んでいてもよく、情報取得者のその他の視線に関する情報を含んでいてもかまわない。ここで、被験者が立位である場合には、一般に顔の正面の向きの90度の範囲内に視線があることが知られているため、情報取得者の視線の向きを情報取得者の頭の向きで近似することも可能である。視線情報は、例えば、アイカメラによって取得されてもよく、情報取得者を環境側に設置したカメラで撮影した動画を解析することによって取得されてもよく、その他の方法によって取得されてもかまわない。アイカメラとは、被験者の眼球運動を測定する装置である。アイカメラは、例えば、リンバストラッキング法(強膜反射法)、角膜反射法、画像処理法等を用いて被験者の眼球運動を測定する。画像処理法とは、瞳孔中心を検出して視線方向を抽出する方法であり、被験者への負担がほとんどない。情報取得者を撮影した動画を解析するとは、情報取得者の目の位置をパターンマッチング等の技術を用いて特定し、上記の画像処理法と同様の方法や、白目と黒目の領域を比較する方法等によって視線方向を抽出することである。また、視線情報を取得するその他の方法としては、垂直眼電図(vertical EOG:electroculograph)を用いて瞬目を検出する方法や、被験者の頭部に加速度センサを付け、その加速度センサによって被験者の頭の動きを検出する方法、被験者の頭部に指向性と収束性を有する光線を出力する発光部を付け、その発光部からの光を環境側に設置した検出部で検出することによって被験者の頭の動きを検出する方法、被験者の頭部にウェアラブルカメラをつけて被験者の視線方向等の画像を撮影し、その画像を解析することによって被験者の頭の動きを検出する方法等がある。また、視線情報を取得する上記の2以上の方法を組み合わせてもよい。また、視線情報が被験者の視線の方向を示す情報である場合に、局所座標系(被験者の頭部に設定される視野座標系)の情報を視線情報として用いてもよく、あるいは、局所座標系の値をモーションキャプチャシステム等のデータと同じ座標系である世界座標系に変換した情報を視線情報として用いてもよい。視線情報を取得する方法については従来から知られており、その詳細な説明は省略する。 The line-of-sight information may include information indicating the direction of the information acquirer's line of sight, and when the direction of the information acquirer's line of sight is approximated by the direction of the information acquirer's head, the direction of the information acquirer's head May also include information indicating that the information acquirer's line of sight has been blocked, i.e., the information acquirer has blinked. It may be included. Here, when the subject is standing, it is generally known that the line of sight is in the range of 90 degrees of the front direction of the face. It is also possible to approximate by the direction of. The line-of-sight information may be acquired by, for example, an eye camera, may be acquired by analyzing a video shot with a camera installed on the environment side, or may be acquired by other methods. . An eye camera is a device that measures the eye movement of a subject. The eye camera measures the eye movement of the subject using, for example, a Limbus tracking method (scleral reflection method), a corneal reflection method, an image processing method, or the like. The image processing method is a method of detecting the center of the pupil and extracting the line-of-sight direction, and there is almost no burden on the subject. Analyzing a video taken by an information acquirer specifies the position of the information acquirer's eyes using a technique such as pattern matching, and compares the same method as the above image processing method or the white eye and black eye regions. It is to extract the viewing direction by a method or the like. In addition, as another method of acquiring line-of-sight information, a method of detecting blinks using a vertical electrooculogram (vertical EOG), an accelerometer on the subject's head, and the subject's head using the acceleration sensor A method for detecting head movement, a light-emitting unit that outputs light having directivity and convergence on the subject's head, and detecting the light from the light-emitting unit by the detection unit installed on the environment side There are a method for detecting head movement, a method for detecting the movement of the subject's head by attaching a wearable camera to the subject's head, taking an image of the subject's line of sight, and analyzing the image. In addition, the above two or more methods for acquiring line-of-sight information may be combined. In addition, when the line-of-sight information is information indicating the direction of the subject's line of sight, information in the local coordinate system (the visual field coordinate system set on the subject's head) may be used as the line-of-sight information, or the local coordinate system Information obtained by converting the value of into the world coordinate system that is the same coordinate system as the data of the motion capture system or the like may be used as line-of-sight information. A method for obtaining the line-of-sight information has been conventionally known, and a detailed description thereof will be omitted.
モーション情報受付部11は、例えば、入力デバイス(例えば、キーボードやマウス、タッチパネル等)から入力された情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体(例えば、光ディスクや磁気ディスク、半導体メモリ等)から読み出された情報を受け付けてもかまわない。なお、モーション情報受付部11は、受け付けを行うためのデバイス(例えば、モデムやネットワークカード等)を含んでいてもよく、あるいは含んでいなくてもよい。また、モーション情報受付部11は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。本実施の形態では、モーション情報受付部11は、図1で示されるように、アイカメラによって取得された視線情報と、モーションキャプチャシステムによって取得された行動情報とを受け付けるものとする。 For example, the motion information receiving unit 11 may receive information input from an input device (for example, a keyboard, a mouse, a touch panel, etc.), or may receive information transmitted via a wired or wireless communication line. In many cases, information read from a predetermined recording medium (for example, an optical disk, a magnetic disk, a semiconductor memory, etc.) may be accepted. Note that the motion information reception unit 11 may or may not include a device (for example, a modem or a network card) for reception. The motion information receiving unit 11 may be realized by hardware, or may be realized by software such as a driver that drives a predetermined device. In the present embodiment, as shown in FIG. 1, the motion information receiving unit 11 receives line-of-sight information acquired by an eye camera and behavior information acquired by a motion capture system.
モーション情報蓄積部12は、モーション情報受付部11が受け付けたモーション情報を所定の記録媒体に蓄積する。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、モーション情報蓄積部12が有していてもよく、あるいはモーション情報蓄積部12の外部に存在してもよい。本実施の形態では、モーション情報蓄積部12がその記録媒体を有するものとする。また、この記録媒体は、モーション情報を一時的に記憶するものであってもよく、そうでなくてもよい。
The motion
音声情報受付部13は、音声情報を受け付ける。ここで、音声情報とは、情報取得者の発した音声に関する情報である。この音声情報は、情報取得者の発した言葉を識別可能なものであってもよく、あるいは、情報取得者の発した音声の強弱のみを識別可能なものであってもよい。後者の場合には、情報取得者がどのような言葉を発したのかについては、音声の強弱から推測することはできても、明確にはわからないことになる。音声情報は、例えば、情報取得者の発した音声のみを含んでいてもよく、あるいは、情報取得者の音声以外の環境音を含んでいてもよい。後者の場合には、情報取得者の環境音を除去することによって情報取得者の音声のみを抽出してもよい。音声情報は、例えば、通常のマイクロフォンによって取得されてもよく、骨伝導マイクによって取得されてもよく、スロート(咽喉)マイクによって取得されてもかまわない。骨伝導マイクやスロートマイクを用いて音声情報を取得する場合には、環境音を含まない音声情報の取得が可能となる。音声情報受付部13は、例えば、音声デバイス(例えば、マイクロフォン等)から入力された情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体(例えば、光ディスクや磁気ディスク、半導体メモリ等)から読み出された情報を受け付けてもかまわない。なお、音声情報受付部13は、受け付けを行うためのデバイス(例えば、モデムやネットワークカード等)を含んでいてもよく、あるいは含んでいなくてもよい。また、音声情報受付部13は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。本実施の形態では、音声情報受付部13は、図1で示されるように、マイクロフォンによって取得された情報取得者のみの音声を示す音声情報を受け付けるものとする。
The voice
音声情報蓄積部14は、音声情報受付部13が受け付けた音声情報を所定の記録媒体に蓄積する。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、音声情報蓄積部14が有していてもよく、あるいは音声情報蓄積部14の外部に存在してもよい。本実施の形態では、音声情報蓄積部14がその記録媒体を有するものとする。また、この記録媒体は、音声情報を一時的に記憶するものであってもよく、そうでなくてもよい。
The audio
興味傾向情報生成部15は、モーション情報受付部11が受け付けたモーション情報と、音声情報受付部13が受け付けた音声情報とから、興味傾向情報を生成する。ここで、興味傾向情報とは、情報取得者の興味傾向に関する情報である。興味傾向情報は、例えば、情報取得者の興味傾向の種類を示す情報を含んでいてもよく、情報取得者の所定の種類の興味傾向の程度を示す情報を含んでいてもよく、情報取得者の興味傾向の種類を示す情報と、その興味傾向の程度を示す情報とを含んでいてもかまわない。興味傾向の種類や、その程度については後述する。
The interest tendency
図1で示されるように、興味傾向情報生成部15は、条件情報記憶手段21と、情報取得行動情報生成手段22と、関数情報記憶手段23と、興味傾向情報生成手段24とを備える。
As shown in FIG. 1, the interest tendency
条件情報記憶手段21では、条件情報が記憶される。ここで、条件情報とは、情報取得行動の発生の条件を示す情報である。情報取得行動とは、情報取得者が情報の取得時に行う行動である。したがって、条件情報によって、情報取得行動という定型の行動の発生条件が示されることになる。 The condition information storage means 21 stores condition information. Here, the condition information is information indicating a condition for occurrence of the information acquisition action. An information acquisition action is an action performed by an information acquirer when acquiring information. Therefore, the condition information indicates a condition for generating a standard action called information acquisition action.
まず、情報取得行動について説明する。情報取得行動は、例えば、発話、注視、視線移動、瞬目、うなずき、指差し、覗き込み等の情報取得時の行動である。これら以外の行動が情報取得行動に含まれてもよい。「発話」とは、被験者が言葉を発することであり、被験者による自発的な音声の発生だけでなく、被験者による相づちや応答も含まれる。発話には、回数と時間がある。すなわち、沈黙と沈黙とで区切られる連続した音声が1つの発話であり、その連続した音声の時間が1つの発話の時間である。「注視」とは、被験者が所定の時間以上、一点あるいはその付近を見ていることである。注視にも、回数と時間がある。すなわち、注視の状態が開始されてから終了するまでが1つの注視であり、その注視の状態が連続している時間が注視の時間である。「視線移動」とは、注視と注視との間の被験者の視線が移動していることである。「瞬目」とは、被験者が瞬きをすることである。「うなずき」とは、被験者が頭部を前後に振ることによって相手に了解や承諾等の意思表示をすることである。「指差し」とは、被験者が情報の説明等のために、手を用いることによって所定の物を指し示すことである。「覗き込み」とは、所定の物に顔を近づけてよく見ることである。なお、上述の情報取得行動のうち、発話以外の情報取得行動は、いわゆる「非言語行動」と呼ばれる情報取得行動である。 First, information acquisition behavior will be described. The information acquisition behavior is an action at the time of information acquisition, such as speech, gaze, line of sight movement, blink, nodding, pointing, peeping, and the like. Actions other than these may be included in the information acquisition action. “Speech” means that a subject speaks a word, and includes not only spontaneous speech generated by the subject but also a response and response by the subject. An utterance has a number of times and time. That is, a continuous voice divided by silence and silence is one utterance, and the continuous voice time is one utterance time. “Gaze” means that the subject looks at one point or the vicinity thereof for a predetermined time or more. There are also times and times for gaze. That is, one gaze is from the start to the end of the gaze state, and the time during which the gaze state continues is the gaze time. “Gaze movement” is the movement of the subject's line of sight between gazes. “Blink” means that the subject blinks. “Nodding” means that the subject shows his / her intention such as consent or consent by shaking his / her head back and forth. “Pointing” means that the subject points to a predetermined object by using his / her hand for explaining information. “Peeping” is to look closely with a face close to a predetermined object. Of the above-described information acquisition behaviors, information acquisition behaviors other than speech are information acquisition behaviors called so-called “non-language behaviors”.
次に、上述の各情報取得行動の発生の条件の一例について説明する。
[発話]
被験者の発した音声情報のレベル、すなわち、音声情報の示す音声の大きさが所定のしきい値以上であることが、発話の発生条件となる。ここで、音声情報のレベルが所定のしきい値以上となってからしきい値以下となるまでが1つの発話であり、その間の時間が1つの発話の時間である。
Next, an example of the conditions for occurrence of each of the information acquisition actions described above will be described.
[Speech]
The speech generation condition is that the level of the voice information uttered by the subject, that is, the volume of the voice indicated by the voice information is equal to or greater than a predetermined threshold. Here, a period from the time when the level of the voice information is equal to or higher than a predetermined threshold value to a value equal to or lower than the threshold value is one utterance.
[注視]
視線情報や行動情報によって示される、被験者の視線方向の変化や被験者の頭の向きの変化が所定の時間以上、ある一定の範囲内であることが、被験者が何かに注視している条件となる。例えば、被験者の視線方向の変化が5度未満である状態が0.5秒以上継続したことが、注視の発生条件となる。ここで、被験者の視線方向の変化や頭の向きの変化の変化が、所定の時間以上、ある一定の範囲内であることが継続している一続きの状態が1つの注視であり、その状態の時間が1つの注視の時間である。
[Gaze]
The condition that the subject is gazing at something that the change in the subject's gaze direction or the change in the subject's head direction indicated by the gaze information or behavior information is within a certain range for a predetermined time or more Become. For example, a gaze generation condition is that the state where the change in the gaze direction of the subject is less than 5 degrees continues for 0.5 seconds or more. Here, one gaze is a continuous state in which the change in the subject's line-of-sight direction or the change in the head direction continues within a certain range for a predetermined time or more, and that state Is one gaze time.
また、注視の検出においては、何を注視しているのかを検出してもよい。被験者が何を注視しているのかについては、例えば、被験者による注視が検出された時点における、被験者が見ている画像よって判断してもよく、被験者の位置によって判断してもよく、被験者の姿勢によって判断してもかまわない。被験者が見ている画像によって被験者が何を注視しているのかについて判断する場合には、例えば、被験者がウェアラブルカメラを装着しているのであれば、そのウェアラブルカメラによって撮影された画像を解析し、肌色検出やパターンマッチング等の技術を用いて、その画像から人の顔が検出できたときには、人を注視していることを検出し、それ以外のときには人以外のものを注視していることを検出してもよい。また、説明対象物等の環境側に光を反射するマーカや自ら発光するマーカを配置しておき、被験者の装着しているウェアラブルカメラによって撮影された画像を解析することによって、環境側のマーカが検出された場合に、そのマーカに応じて、注視している物等を検出してもよい。また、被験者の位置によって被験者が何を注視しているのかについて判断する場合には、例えば、その位置があらかじめ設定されている物(例えば、商品やパネル等)の近くに被験者が存在し、また、被験者がその物の方を向いていることが検出されたときには、物を注視していることを検出し、それ以外のときには人を注視していることを検出してもよい。また、被験者の姿勢によって被験者が何を注視しているのかについて判断する場合には、例えば、物やパネルが下の方に置かれているのであれば、被験者の姿勢が直立していることが検出されたときには、人を注視していることを検出し、被験者の姿勢が前かがみであることが検出されたときには、人以外のものを注視していることを検出してもよい。また、被験者が非接触方式のサーモセンサを装着している場合には、その非接触方式のサーモセンサによって被験者の注視している方向に人間の体温程度の温度が検知された場合には、被験者が人を注視していることを検出し、それ以外の温度が検知された場合には、被験者が人以外を注視していることを検出してもよい。なお、被験者が人を注視していると判断された場合には、その被験者が情報提供者を注視していると推定してもよい。 In addition, in the detection of gaze, what is being watched may be detected. What the subject is gazing at may be determined from, for example, the image that the subject is viewing at the time when the gazing by the subject is detected, may be determined from the position of the subject, and the posture of the subject You may judge by. When determining what the subject is gazing at based on the image the subject is looking at, for example, if the subject is wearing a wearable camera, analyze the image taken by the wearable camera, Using techniques such as skin color detection and pattern matching, when a person's face can be detected from the image, it is detected that the person is gazing, and otherwise, the person other than the person is gazing. It may be detected. Also, by placing a marker that reflects light on the environment side such as an explanatory object or a marker that emits light by itself and analyzing an image captured by a wearable camera worn by the subject, the marker on the environment side When detected, an object or the like being watched may be detected according to the marker. Further, when determining what the subject is gazing at based on the position of the subject, for example, the subject exists near an object (for example, a product or a panel) whose position is set in advance, When it is detected that the subject is facing the object, it may be detected that the subject is gazing, and at other times, it may be detected that the person is gazing. Moreover, when judging what the subject is gazing at according to the posture of the subject, for example, if an object or panel is placed on the lower side, the posture of the subject may be upright. When it is detected, it may be detected that the person is gazing, and when it is detected that the posture of the subject is leaning forward, it may be detected that the person other than the person is gazing. In addition, when the subject wears a non-contact type thermo sensor, if the temperature of the human body temperature is detected in the direction in which the subject is gazing with the non-contact type thermo sensor, the subject May detect that the subject is gazing at a person, and if a temperature other than that is detected, it may be detected that the subject is gazing at a person other than the person. If it is determined that the subject is watching the person, it may be estimated that the subject is watching the information provider.
[視線移動]
前述のように、検出された被験者の注視と注視との間が、視線移動となる。したがって、被験者の注視の回数が増えるごとに、被験者の視線移動の回数も増えることになる。
[Gaze movement]
As described above, the line of sight movement is between the detected gaze of the subject. Therefore, as the number of times that the subject gazes increases, the number of times the subject moves the line of sight also increases.
[瞬目]
被験者の視線情報をアイカメラによって取得している場合には、一定時間以内(例えば、0.4秒以内等)の瞳孔径の未検出のあることが、瞬目の発生条件となる。また、被験者の垂直眼電図を測定している場合には、従来から知られている方法を用いることにより、瞬目の発生を検出できる。被験者の目の領域をカメラによって撮影している場合には、一定時間以内の白目と黒目の領域の未検出のあることが、瞬目の発生条件となる。
[Blink]
When the eye-gaze information of the subject is acquired by the eye camera, the occurrence of the blink is that the pupil diameter is not detected within a certain time (for example, within 0.4 seconds). Moreover, when measuring the vertical electrooculogram of a subject, the occurrence of blinks can be detected by using a conventionally known method. When the eye area of the subject is photographed by the camera, the undetected areas of the white eye and the black eye within a certain time are the generation conditions of the blink.
[うなずき]
被験者の姿勢をモーションキャプチャシステム等によって取得している場合には、被験者の頭部の前後方向の角度が、一定時間以内に所定の角度以上変化したことが、うなずきの発生条件となる。また、被験者がウェアラブルカメラを装着しており、被験者の視線方向の画像を撮影している場合には、そのウェアラブルカメラによって撮影された画像の変化を解析し、一定時間以内に、被験者が頭を前方に倒す方向に画像が変化したことが、うなずきの発生条件となる。
[nod]
When the posture of the subject is acquired by a motion capture system or the like, the nod occurrence condition is that the angle in the front-rear direction of the subject's head has changed by a predetermined angle or more within a predetermined time. In addition, when the subject wears a wearable camera and takes an image of the subject's line of sight, the change in the image taken by the wearable camera is analyzed, and within a certain time, the subject A nod occurrence condition is that the image has changed in the direction of tilting forward.
[指差し]
被験者の体の各位置をモーションキャプチャシステム等によって取得している場合には、被験者の腕が一定以上伸びたことが、指差しの発生条件となる。また、被験者が手首の付近に加速度センサを付けている場合には、その加速度センサによって腕が伸びる方向に手首が移動したことが検出されたことが、指差しの発生条件となる。
[Pointing]
When each position of the subject's body is acquired by a motion capture system or the like, the finger's occurrence condition is that the subject's arm is stretched by a certain amount or more. When the subject has an acceleration sensor in the vicinity of the wrist, the detection of the movement of the wrist in the direction in which the arm extends by the acceleration sensor is a pointing generation condition.
[覗き込み]
被験者の体の各位置をモーションキャプチャシステム等によって取得している場合には、被験者の顔の位置が、あらかじめ設定されている物等の位置からの一定の距離以内となったことが、覗き込みの発生条件となる。また、腰を曲げて前かがみで下方を見ている姿勢によって覗き込みが発生したと見なす場合には、被験者が腰を曲げて前かがみで下方を見ている姿勢を一定の時間以上していることを、覗き込みの発生条件としてもよい。
[Peep]
When each position of the subject's body is acquired by a motion capture system, etc., it can be seen that the position of the subject's face is within a certain distance from the position of a preset object, etc. It becomes the generation condition of. In addition, if it is considered that peeping has occurred due to a posture where the hip is bent and looking downward with a forward bending, it is necessary that the subject bends the waist and looks downward with a forward bending for a certain period of time. It is good also as conditions for occurrence of peeping.
なお、上述の情報取得行動の発生の条件は一例であって、情報取得行動の発生を適切に検出することができるのであれば、上記以外の条件を設定してもよい。また、上記以外の情報取得行動の発生も検出する場合には、その情報取得行動の発生を適切に検出することができる条件が設定されているものとする。 Note that the above-described conditions for occurrence of the information acquisition behavior are examples, and other conditions may be set as long as the occurrence of the information acquisition behavior can be appropriately detected. In addition, when the occurrence of an information acquisition action other than the above is also detected, it is assumed that a condition for appropriately detecting the occurrence of the information acquisition action is set.
また、条件情報記憶手段21は、所定の記録媒体(例えば、半導体メモリや磁気ディスク、光ディスク等)によって実現される。条件情報記憶手段21に条件情報が記憶される過程は問わない。例えば、記録媒体を介して条件情報が条件情報記憶手段21で記憶されるようになってもよく、通信回線等を介して送信された条件情報が条件情報記憶手段21で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された条件情報が条件情報記憶手段21で記憶されるようになってもよい。条件情報記憶手段21での記憶は、外部のストレージデバイス等から読み出した条件情報のRAM等における一時的な記憶でもよく、あるいは、そうでなくてもよい。
The condition information storage means 21 is realized by a predetermined recording medium (for example, a semiconductor memory, a magnetic disk, an optical disk, etc.). The process in which the condition information is stored in the condition information storage means 21 does not matter. For example, the condition information may be stored in the condition
情報取得行動情報生成手段22は、条件情報記憶手段21で記憶されている条件情報を用いて、モーション情報及び音声情報から情報取得行動の発生を検出する。そして、情報取得行動情報生成手段22は、その検出した情報取得行動に関する情報である情報取得行動情報を生成する。情報取得行動情報は、例えば、情報取得行動ごとに、その情報取得行動の発生回数と、発生時間とを示す情報である。情報取得行動情報の発生回数や発生時間は、累計の情報であってもよく、単位時間あたりの情報であってもよい。情報取得行動の発生を検出する具体的な方法については後述する。
The information acquisition action information generation unit 22 detects the occurrence of the information acquisition action from the motion information and audio information using the condition information stored in the condition
関数情報記憶手段23では、関数情報が1以上記憶される。関数情報とは、情報取得行動情報の示す値を引数とする関数を示す情報である。関数情報は、興味傾向の種類ごとに設定される。したがって、関数情報記憶手段23では、通常、興味傾向の種類の数だけの関数情報が記憶されることになる。この関数情報の示す関数に情報取得行動情報の示す値を代入した関数の値が興味傾向の程度を示す情報となる。
The function
なお、関数情報記憶手段23は、所定の記録媒体(例えば、半導体メモリや磁気ディスク、光ディスク等)によって実現される。関数情報記憶手段23に関数情報が記憶される過程は問わない。例えば、記録媒体を介して関数情報が関数情報記憶手段23で記憶されるようになってもよく、通信回線等を介して送信された関数情報が関数情報記憶手段23で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された関数情報が関数情報記憶手段23で記憶されるようになってもかまわない。関数情報記憶手段23での記憶は、外部のストレージデバイス等から読み出した関数情報のRAM等における一時的な記憶でもよく、あるいは、そうでなくてもよい。
The function information storage means 23 is realized by a predetermined recording medium (for example, a semiconductor memory, a magnetic disk, an optical disk, etc.). The process in which the function information is stored in the function information storage means 23 does not matter. For example, the function information may be stored in the function
興味傾向情報生成手段24は、情報取得行動情報生成手段22で生成された情報取得行動情報を用いて興味傾向情報を生成する。すなわち、興味傾向情報生成手段24は、関数情報記憶手段23で記憶されている1以上の関数情報の示す関数に、情報取得行動情報生成手段22で生成された情報取得行動情報の示す値を代入することにより興味傾向情報を生成する。
The interest tendency
なお、モーション情報蓄積部12が有する記録媒体と、音声情報蓄積部14が有する記録媒体と、条件情報記憶手段21と、関数情報記憶手段23とのうち、任意の2以上の記録媒体は、同一の記録媒体によって実現されてもよく、異なる記録媒体によって実現されてもよい。前者の場合には、例えば、その記録媒体のうち、条件情報を記憶している領域が条件情報記憶手段21となる。
Of the recording medium included in the motion
興味傾向情報出力部16は、興味傾向情報生成部15が生成した興味傾向情報を出力する。ここで、この出力は、例えば、表示デバイス(例えば、CRTや液晶ディスプレイ等)への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、スピーカによる音声出力でもよく、記録媒体への蓄積でもかまわない。なお、興味傾向情報出力部16は、出力を行うデバイス(例えば、表示デバイスやプリンタ等)を含んでいてもよく、あるいは含んでいなくてもよい。また、興味傾向情報出力部16は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。本実施の形態では、興味傾向情報出力部16は、興味傾向情報をディスプレイに表示するものとする。
The interest tendency
次に、本実施の形態による興味傾向情報出力装置1の動作について、フローチャートを用いて説明する。図2は、本実施の形態による興味傾向情報出力装置1の全体動作を示すフローチャートである。
Next, the operation of the interest tendency
(ステップS101)興味傾向情報生成部15は、興味傾向情報を生成するかどうか判断する。そして、興味傾向情報を生成する場合には、ステップS102に進み、そうでない場合には、ステップS105に進む。ここで、興味傾向情報生成部15は、所定のイベント(例えば、モーション情報と音声情報との一連の蓄積が終了したことや、興味傾向情報を生成する旨の指示が受け付けられたこと等)をトリガーとして興味傾向情報を生成すると判断してもよく、所定の期間ごとに興味傾向情報を生成すると判断してもよく、その他のタイミングで興味傾向情報を生成すると判断してもかまわない。
(Step S101) The interest tendency
(ステップS102)興味傾向情報生成部15は、モーション情報と音声情報とに基づいて、情報取得行動情報を生成する。この情報取得行動情報を生成する処理の詳細については、図3のフローチャートを用いて後述する。
(Step S102) The interest tendency
(ステップS103)興味傾向情報生成部15は、ステップS102で生成した情報取得行動情報に基づいて、興味傾向情報を生成する。この興味傾向情報を生成する処理の詳細については、図4のフローチャートを用いて後述する。
(ステップS104)興味傾向情報出力部16は、興味傾向情報生成部15が生成した興味傾向情報を出力する。そして、ステップS101に戻る。
(Step S103) The interest tendency
(Step S104) The interest tendency
(ステップS105)モーション情報受付部11は、モーション情報を受け付けたかどうか判断する。なお、モーション情報が行動情報と視線情報とを含む場合には、そのいずれか一方を少なくとも受け付けた場合に、モーション情報を受け付けたと判断してもよい。そして、受け付けた場合には、ステップS106に進み、そうでない場合には、ステップS107に進む。 (Step S105) The motion information reception unit 11 determines whether motion information has been received. When the motion information includes behavior information and line-of-sight information, it may be determined that the motion information has been received when at least one of them is received. If accepted, the process proceeds to step S106, and if not, the process proceeds to step S107.
(ステップS106)モーション情報蓄積部12は、モーション情報受付部11が受け付けたモーション情報を所定の記録媒体に蓄積する。そして、ステップS101に戻る。
(Step S106) The motion
(ステップS107)音声情報受付部13は、音声情報を受け付けたかどうか判断する。そして、音声情報を受け付けた場合には、ステップS108に進み、そうでない場合には、ステップS101に戻る。
(ステップS108)音声情報蓄積部14は、音声情報受付部13が受け付けた音声情報を所定の記録媒体に蓄積する。そして、ステップS101に戻る。
なお、図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
(Step S107) The voice
(Step S108) The voice
In the flowchart of FIG. 2, the process is terminated by powering off or a process termination interrupt.
図3は、図2のフローチャートにおける情報取得行動情報の生成処理(ステップS102)の詳細を示すフローチャートである。
(ステップS201)情報取得行動情報生成手段22は、カウンタiを1に設定する。
FIG. 3 is a flowchart showing details of the information acquisition behavior information generation process (step S102) in the flowchart of FIG.
(Step S201) The information acquisition action information generation means 22 sets a counter i to 1.
(ステップS202)情報取得行動情報生成手段22は、条件情報記憶手段21から、i番目の条件情報を読み出す。
(ステップS203)情報取得行動情報生成手段22は、モーション情報蓄積部12が蓄積したモーション情報と、音声情報蓄積部14が蓄積した音声情報とを適宜参照し、ステップS202で読み出した条件情報が満たされるかどうか判断する。そして、満たされる場合にはステップS204に進み、そうでない場合には、ステップS206に進む。
(Step S <b> 202) The information acquisition action information generation unit 22 reads the i-th condition information from the condition
(Step S203) The information acquisition action information generation means 22 appropriately refers to the motion information accumulated by the motion
(ステップS204)情報取得行動情報生成手段22は、i番目の条件情報に対応する情報取得行動情報を生成する。
(ステップS205)情報取得行動情報生成手段22は、生成した情報取得行動情報を図示しない記録媒体に一時記憶する。
(Step S204) The information acquisition action information generation unit 22 generates information acquisition action information corresponding to the i-th condition information.
(Step S205) The information acquisition behavior information generation means 22 temporarily stores the generated information acquisition behavior information in a recording medium (not shown).
(ステップS206)情報取得行動情報生成手段22は、カウンタiを1だけインクリメントする。
(ステップS207)情報取得行動情報生成手段22は、条件情報記憶手段21にi番目の条件情報が存在するかどうか判断する。そして、存在する場合には、ステップS202に戻り、存在しない場合には、情報取得行動情報を生成する一連の処理は終了となり、図1のフローチャートのステップS103に進む。
(Step S206) The information acquisition action information generation means 22 increments the counter i by 1.
(Step S207) The information acquisition action information generation means 22 determines whether or not the i-th condition information exists in the condition information storage means 21. And when it exists, it returns to step S202, and when it does not exist, a series of processes which produce | generate information acquisition action information are complete | finished, and it progresses to step S103 of the flowchart of FIG.
なお、図3の一連の処理が終了した後に、ステップS205で言及した図示しない記録媒体で一時記憶されている情報取得行動情報を用いて、後述する興味傾向情報生成手段24による興味傾向情報の生成処理が行われる。 In addition, after a series of processes of FIG. 3 are complete | finished, the production | generation of the interest tendency information by the interest tendency information generation means 24 mentioned later using the information acquisition action information temporarily stored with the recording medium which is not illustrated mentioned at step S205 is performed. Processing is performed.
図4は、図2のフローチャートにおける興味傾向情報の生成処理(ステップS103)の詳細を示すフローチャートである。
(ステップS301)興味傾向情報生成手段24は、カウンタiを1に設定する。
FIG. 4 is a flowchart showing details of the interest tendency information generation process (step S103) in the flowchart of FIG.
(Step S301) The interest tendency information generation means 24 sets the counter i to 1.
(ステップS302)興味傾向情報生成手段24は、関数情報記憶手段23から、i番目の種類の興味傾向に対応する関数情報を読み出す。
(ステップS303)興味傾向情報生成手段24は、情報取得行動情報生成手段22が生成した情報取得行動情報の示す値を、ステップS302で読み出した関数情報の示す関数に代入することにより、その関数の値を算出する。
(Step S <b> 302) The interest tendency
(Step S303) The interest tendency information generation means 24 substitutes the value indicated by the information acquisition action information generated by the information acquisition action information generation means 22 into the function indicated by the function information read in Step S302, thereby Calculate the value.
(ステップS304)興味傾向情報生成手段24は、その算出した関数の値を図示しない記録媒体に一時記憶する。この場合に、興味傾向のi番目の種類を識別する情報に対応付けて一時記憶することが好ましい。
(ステップS305)興味傾向情報生成手段24は、カウンタiを1だけインクリメントする。
(Step S304) The interest tendency information generation means 24 temporarily stores the calculated function value in a recording medium (not shown). In this case, it is preferable to temporarily store the information in association with information identifying the i-th type of interest tendency.
(Step S305) The interest tendency information generation means 24 increments the counter i by 1.
(ステップS306)興味傾向情報生成手段24は、i番目の種類の興味傾向が存在するかどうか、すなわち、関数情報記憶手段23にi番目の種類の興味傾向に対応する関数情報が存在するかどうか判断する。そして、存在する場合には、ステップS302に戻り、存在しない場合には、ステップS307に進む。 (Step S306) The interest tendency information generation means 24 determines whether or not there is an i-th type of interest tendency, that is, whether or not function information corresponding to the i-th type of interest tendency exists in the function information storage means 23. to decide. And when it exists, it returns to step S302, and when it does not exist, it progresses to step S307.
(ステップS307)興味傾向情報生成手段24は、ステップS304で言及した図示しない記録媒体で一時記憶されている関数の値を用いて興味傾向情報を構成する。そして、興味傾向情報を生成する一連の処理は終了となり、図1のフローチャートのステップS104に進む。なお、その関数の値をそのまま興味傾向情報とする場合には、このステップS307の処理がなくてもよい。 (Step S307) The interest tendency information generating means 24 constructs the interest tendency information using the value of the function temporarily stored in the recording medium (not shown) mentioned in Step S304. Then, the series of processing for generating the interest tendency information ends, and the process proceeds to step S104 in the flowchart of FIG. If the value of the function is used as the interest tendency information as it is, the processing in step S307 may be omitted.
次に、本実施の形態による興味傾向情報出力装置1の動作について、具体例を用いて説明する。この具体例では、情報提供者が店員であり、情報提供者から情報の提供を受ける情報取得者が、店の顧客であるとする。また、この具体例では、情報取得行動として、発話、注視、瞬目、うなずき、指差しのみを検出するものとする。情報取得者は、説明対象物としての商品を直接見ることができる状況にいるものとする。
Next, the operation of the interest tendency
また、この具体例では、情報取得者の行動情報をモーションキャプチャシステムによって取得し、情報取得者の視線情報をアイカメラによって取得し、行動情報と視線情報とを含むモーション情報と、音声情報とから、発話、注視、瞬目、うなずき、指差しの情報取得行動を検出して、興味傾向情報を生成する場合について説明する。モーションキャプチャシステムとしては、例えば、Vicon Peak社製V612を用いてもよい。そのモーションキャプチャシステムでは、12台の赤外線ストロボ付き赤外線カメラと、直径25mmの再帰性反射素材の表面を持つ球形パッシブマーカとが用いられ、各マーカの位置を60Hzの時間分解能と、約1mmの空間分解能で記録できる。アイカメラとしては、ナックイメージテクノロジー社製のEMR−8Bを用いてもよい。そのアイカメラでは、瞳孔角膜反射方式により、眼球運動を30Hzの時間分解能と、約0.1度の精度で記録できる。 Further, in this specific example, the behavior information of the information acquirer is acquired by the motion capture system, the line of sight information of the information acquirer is acquired by the eye camera, and the motion information including the behavior information and the line of sight information is obtained from the audio information. A case where interest tendency information is generated by detecting information acquisition behavior of speech, gaze, blink, nod, and pointing will be described. As a motion capture system, for example, V612 manufactured by Vicon Peak may be used. The motion capture system uses 12 infrared cameras with infrared strobes and a spherical passive marker having a surface of a retroreflective material with a diameter of 25 mm. The position of each marker is set to a temporal resolution of 60 Hz and a space of about 1 mm. Can be recorded with resolution. As the eye camera, EMR-8B manufactured by NAC Image Technology may be used. In the eye camera, the eye movement can be recorded with a temporal resolution of 30 Hz and an accuracy of about 0.1 degree by the pupil cornea reflection method.
図5は、情報取得者が装着している装置等について説明するための図である。図5で示されるように、情報取得者は、マイクロフォンを装着しており、そのマイクロフォンによって情報取得者の発した音声が取得される。また、情報取得者は、アイカメラを装着しており、そのアイカメラによって情報取得者の視線方向が取得される。また、情報取得者は、体の複数の部分にモーションキャプチャシステムで位置を検出するためのマーカが取り付けられている。 FIG. 5 is a diagram for explaining a device or the like worn by the information acquirer. As shown in FIG. 5, the information acquirer wears a microphone, and a voice uttered by the information acquirer is acquired by the microphone. The information acquirer wears an eye camera, and the eye direction of the information acquirer is acquired by the eye camera. In addition, the information acquirer is provided with markers for detecting positions with a motion capture system on a plurality of parts of the body.
マイクロフォンによって取得された音声情報、アイカメラによって取得された視線情報、モーションキャプチャシステムによって取得された行動情報は、それぞれ、有線または無線の通信によって興味傾向情報出力装置1に渡される。そして、視線情報と、行動情報とはモーション情報受付部11で受け付けられ(ステップS105)、モーション情報蓄積部12によって蓄積される(ステップS106)。また、音声情報は音声情報受付部13で受け付けられ(ステップS107)、音声情報蓄積部14によって蓄積される(ステップS108)。この具体例では、店員が情報取得者である顧客への対応をしている10分間のモーション情報と音声情報とがモーション情報蓄積部12と、音声情報蓄積部14とにおいてそれぞれ蓄積されたとする。
The voice information acquired by the microphone, the line-of-sight information acquired by the eye camera, and the behavior information acquired by the motion capture system are respectively passed to the interest tendency
図6は、モーション情報蓄積部12が蓄積したモーション情報と、音声情報蓄積部14が蓄積した音声情報との一例を示す図である。図6で示されるように、時系列の音声情報と、モーション情報とが所定の記録媒体(図示せず)において記憶されている。音声情報は、前述のように、少なくとも音声レベルを知ることができる情報であればよく、情報取得者の発した言葉の内容までわからない情報であってもよい。視線情報は、情報取得者の視野における画素位置を示す情報であるとする。行動情報は、モーションキャプチャシステムによって取得された、各マーカの3次元直交座標系における位置を示す情報である。
FIG. 6 is a diagram illustrating an example of motion information accumulated by the motion
図7は、条件情報記憶手段21で記憶されている条件情報の一例を示す図である。図7で示されるように、条件情報では、情報取得行動と、その情報取得行動の発生の条件とが対応付けられている。例えば、情報取得行動「発話」については、音声情報のレベルがしきい値S1以上であることが、発生の条件として設定されている。その他の情報取得行動についても同様である。
FIG. 7 is a diagram illustrating an example of the condition information stored in the condition
モーション情報と、音声情報とが蓄積された後に、ユーザが図示しない入力デバイスを操作することにより、興味傾向情報を出力する指示が興味傾向情報出力装置1で受け付けられたとする。すると、興味傾向情報生成部15は、興味傾向情報を生成するタイミングであると判断し(ステップS101)、情報取得行動情報を生成し(ステップS102)、興味傾向情報を生成する(ステップS103)。以下、情報取得行動情報の生成処理と、興味傾向情報の生成処理について詳細に説明する。
It is assumed that after the motion information and the voice information are accumulated, an instruction to output the interest tendency information is received by the interest tendency
まず、情報取得行動情報の生成処理について説明する。情報取得行動情報生成手段22は、まず、条件情報記憶手段21で記憶されている図7で示される条件情報から、1番目の条件情報、すなわち情報取得行動「発話」に関する条件情報を読み出す(ステップS201,S202)。 First, the process of generating information acquisition behavior information will be described. First, the information acquisition action information generation means 22 reads the first condition information, that is, the condition information related to the information acquisition action “utterance”, from the condition information shown in FIG. 7 stored in the condition information storage means 21 (step) S201, S202).
また、情報取得行動情報生成手段22は、音声情報蓄積部14が有する図示しない記録媒体から音声情報を読み出す。その音声情報の一部が図8で示されるものであったとする。すると、情報取得行動情報生成手段22は、読み出した音声情報と、条件情報の示すしきい値S1とを比較し、音声情報が条件情報を満たすかどうか判断する(ステップS203)。この場合には、図8で示されるように、条件情報を満たす音声情報の領域が存在するため、情報取得行動情報生成手段22は、条件を満たすと判断し、図8で示されるように、音声情報の示す音声レベルがしきい値S1となる時間t1,t2,t3,t4等を取得する。そして、図8では、時間t1から時間t2までが1つの発話であり、その発話の時間は、時間(t2−t1)となる。このようにして、情報取得行動情報生成手段22は、音声情報から発話の回数と、発話の合計時間とを算出する。この具体例では、発話の回数が47回であり、発話の合計時間が482秒であったとする。すると、情報取得行動情報生成手段22は、それらの発話の回数と、発話の合計時間とを音声情報の時間600秒(=10分)で割った値、すなわち、単位時間(1秒)あたりの発話の回数「0.078」と、単位時間あたりの発話の時間「0.803」とを算出する。これらが情報取得行動情報となる(ステップS204)。情報取得行動情報生成手段22は、その生成した情報取得行動情報を情報取得行動情報生成手段22が有する図示しない記録媒体において一時的に記憶する(ステップS205)。図9の1番目と2番目のレコードによって、そのようにして一時記憶された情報取得行動情報が示される。
Moreover, the information acquisition action information generation means 22 reads audio | voice information from the recording medium which the audio | voice
次に、情報取得行動情報生成手段22は、条件情報記憶手段21で記憶されている図7で示される条件情報から、2番目の条件情報、すなわち情報取得行動「注視」に関する条件情報を読み出す(ステップS206,S207,S202)。 Next, the information acquisition action information generation means 22 reads the second condition information, that is, the condition information related to the information acquisition action “gazing” from the condition information shown in FIG. 7 stored in the condition information storage means 21 ( Steps S206, S207, S202).
また、情報取得行動情報生成手段22は、モーション情報蓄積部12が有する図示しない記録媒体からモーション情報に含まれる視線情報を読み出す。その視線情報は、図6で示されるように、視線の位置に対応するピクセルの座標を示す情報である。情報取得行動情報生成手段22は、その視線の位置に対応するピクセルの座標値のうち、時間的に隣接する2個の座標値の距離を求めることにより、視線の位置の変化量を算出する。例えば、あるサンプリング点での座標値が(10,20)であり、次のサンプリング点での座標値が(14,23)である場合には、視線の位置の変化量は「5」ピクセルとなる。
Moreover, the information acquisition action information generation means 22 reads the line-of-sight information included in the motion information from a recording medium (not shown) included in the motion
図10は、そのようにして算出された視線の位置の変化量の時間変化の一部を示す図である。図10において、しきい値S2は、条件情報で設定されている視線方向の変化量「5度」に対応するピクセルの変化量である。また、図10において、時間t3から時間t4までの間の変化量の値が記載されていないが、これは、その間において視線情報を取得することができなかったこと、すなわち、瞳孔径を検出することができなかったことが原因である。 FIG. 10 is a diagram showing a part of the temporal change in the amount of change in the position of the line of sight calculated as described above. In FIG. 10, the threshold value S <b> 2 is a pixel change amount corresponding to the change amount “5 degrees” in the line-of-sight direction set in the condition information. Further, in FIG. 10, the value of the change amount from time t3 to time t4 is not described, but this means that the line-of-sight information could not be acquired during that time, that is, the pupil diameter was detected. The reason is that they could not.
情報取得行動情報生成手段22は、算出した視線の位置の変化量と、しきい値S2とを比較し、視線の位置の変化量がしきい値S2未満である状態が0.5秒以上継続している箇所があるかどうか判断する(ステップS203)。ここでは、時間(t2−t1)が0.5秒以上であり、その条件を満たしていたとすると、情報取得行動情報生成手段22は、条件を満たすと判断し、その条件を満たす箇所の個数、すなわち、注視の回数と、その条件を満たす箇所の合計時間、すなわち、注視の合計時間とを算出する。この具体例では、注視の回数が289回であり、注視の合計時間が466秒であったとする。すると、情報取得行動情報生成手段22は、それらの注視の回数と、注視の合計時間とを、視線情報の時間600秒で割った値、すなわち、単位時間あたりの注視の回数「0.482」と、単位時間あたりの注視の時間「0.777」とを算出する。これらが情報取得行動情報となる(ステップS204)。情報取得行動情報生成手段22は、その生成した情報取得行動情報を情報取得行動情報生成手段22が有する図示しない記録媒体において一時的に記憶する(ステップS205)。図9の3番目と4番目のレコードによって、そのようにして一時記憶された情報取得行動情報が示される。 The information acquisition behavior information generation unit 22 compares the calculated change amount of the line of sight with the threshold value S2, and the state where the change amount of the line of sight is less than the threshold value S2 continues for 0.5 seconds or more. It is determined whether or not there is a part that is being performed (step S203). Here, if the time (t2-t1) is 0.5 seconds or more and the condition is satisfied, the information acquisition behavior information generation unit 22 determines that the condition is satisfied, and the number of locations satisfying the condition, That is, the number of times of gaze and the total time of locations that satisfy the condition, that is, the total time of gaze are calculated. In this specific example, it is assumed that the number of gazes is 289 and the total gaze time is 466 seconds. Then, the information acquisition behavior information generation means 22 is a value obtained by dividing the number of gazes and the total gaze time by the time of gaze information of 600 seconds, that is, the number of gazes per unit time “0.482”. And a gaze time “0.777” per unit time is calculated. These become information acquisition action information (step S204). The information acquisition behavior information generation unit 22 temporarily stores the generated information acquisition behavior information in a recording medium (not shown) included in the information acquisition behavior information generation unit 22 (step S205). The third and fourth records in FIG. 9 indicate the information acquisition action information temporarily stored as described above.
次に、情報取得行動情報生成手段22は、条件情報記憶手段21で記憶されている図7で示される条件情報から、3番目の条件情報、すなわち情報取得行動「瞬目」に関する条件情報を読み出す(ステップS206,S207,S202)。
Next, the information acquisition action information generation unit 22 reads out the third condition information, that is, the condition information related to the information acquisition action “blink”, from the condition information shown in FIG. 7 stored in the condition
また、情報取得行動情報生成手段22は、注視に関する条件判断のときと同様に、視線情報から視線の位置の変化量を算出する。この視線の位置の変化量は、注視に関する条件判断で用いた情報を保持しておき、それを用いてもよく、あるいは、再度算出してもよい。 Further, the information acquisition action information generation unit 22 calculates the amount of change in the position of the line of sight from the line-of-sight information, as in the case of the condition determination regarding gaze. The amount of change in the position of the line of sight may be stored using information used in the condition determination regarding gaze, and may be used or calculated again.
前述のように、図10において、時間t3から時間t4までが瞳孔径を検出することができなかった時間である。情報取得行動情報生成手段22は、瞳孔径を検出することができなかった時間が0.4秒以内である箇所があるかどうか判断する(ステップS203)。ここでは、時間(t4−t3)が0.4秒以内であり、その条件を満たしていたとすると、情報取得行動情報生成手段22は、条件を満たすと判断し、その条件を満たす箇所の個数、すなわち、瞬目の回数を算出する。この具体例では、瞬目の回数が215回であったとする。すると、情報取得行動情報生成手段22は、それらの瞬目の回数を、視線情報の時間600秒で割った値、すなわち、単位時間あたりの瞬目の回数「0.358」を算出する。これらが情報取得行動情報となる(ステップS204)。情報取得行動情報生成手段22は、その生成した情報取得行動情報を情報取得行動情報生成手段22が有する図示しない記録媒体において一時的に記憶する(ステップS205)。図9の5番目のレコードによって、そのようにして一時記憶された情報取得行動情報が示される。 As described above, in FIG. 10, the period from time t3 to time t4 is the time when the pupil diameter could not be detected. The information acquisition action information generation unit 22 determines whether there is a part where the pupil diameter cannot be detected within 0.4 seconds (step S203). Here, if the time (t4-t3) is within 0.4 seconds and the condition is satisfied, the information acquisition behavior information generation unit 22 determines that the condition is satisfied, and the number of locations that satisfy the condition, That is, the number of blinks is calculated. In this specific example, it is assumed that the number of blinks is 215. Then, the information acquisition action information generation unit 22 calculates a value obtained by dividing the number of blinks by the time of eye-gaze information 600 seconds, that is, the number of blinks “0.358” per unit time. These become information acquisition action information (step S204). The information acquisition behavior information generation unit 22 temporarily stores the generated information acquisition behavior information in a recording medium (not shown) included in the information acquisition behavior information generation unit 22 (step S205). The fifth record in FIG. 9 shows the information acquisition action information temporarily stored in this way.
次に、情報取得行動情報生成手段22は、条件情報記憶手段21で記憶されている図7で示される条件情報から、4番目の条件情報、すなわち情報取得行動「うなずき」に関する条件情報を読み出す(ステップS206,S207,S202)。 Next, the information acquisition action information generation means 22 reads out the fourth condition information, that is, the condition information related to the information acquisition action “nodding” from the condition information shown in FIG. 7 stored in the condition information storage means 21 ( Steps S206, S207, S202).
また、情報取得行動情報生成手段22は、モーション情報蓄積部12が有する図示しない記録媒体からモーション情報に含まれる行動情報を読み出す。その行動情報は、図6で示されるように、各マーカの位置に対応する座標を示す情報である。情報取得行動情報生成手段22は、その各マーカの位置に対応する座標値を用いて、頭部の前後方向の角度を算出する。この方法は従来から知られているため、その詳細な説明は省略する。
The information acquisition action information generation unit 22 reads action information included in the motion information from a recording medium (not shown) included in the motion
図11は、そのようにして算出された頭部の角度の時間変化の一部を示す図である。図11において、おじぎをするときには頭部の角度がゆっくりと大きく変化しているのに対し、うなずきのときには頭部の角度が速く小さく変化していることがわかる。 FIG. 11 is a diagram showing a part of the temporal change of the head angle calculated as described above. In FIG. 11, it can be seen that the angle of the head slowly changes greatly when bowing, whereas the angle of the head changes quickly and small when nodding.
情報取得行動情報生成手段22は、算出した頭部の角度の時間変化に基づいて、頭部の前後方向の角度が0.3秒以内に5度以上変化した箇所があるかどうか判断する(ステップS203)。ここでは、図11で示されるように、情報取得者がうなずいた時点において、その条件を満たしていたとすると、情報取得行動情報生成手段22は、条件を満たしていると判断し、その条件を満たす箇所の個数、すなわち、うなずきの回数を算出する。この具体例では、うなずきの回数が271回であったとする。すると、情報取得行動情報生成手段22は、そのうなずきの回数を行動情報の時間600秒で割った値、すなわち、単位時間あたりのうなずきの回数「0.452」を算出する。これが情報取得行動情報となる(ステップS204)。情報取得行動情報生成手段22は、その生成した情報取得行動情報を情報取得行動情報生成手段22が有する図示しない記録媒体において一時的に記憶する(ステップS205)。図9の6番目のレコードによって、そのようにして一時記憶された情報取得行動情報が示される。 The information acquisition action information generation means 22 determines whether there is a portion where the angle in the front-rear direction of the head has changed by 5 degrees or more within 0.3 seconds based on the time change of the calculated head angle (step) S203). Here, as shown in FIG. 11, when the information acquirer nodds, assuming that the condition is satisfied, the information acquisition action information generation unit 22 determines that the condition is satisfied and satisfies the condition. The number of locations, that is, the number of nods is calculated. In this specific example, it is assumed that the number of nods is 271. Then, the information acquisition action information generation unit 22 calculates a value obtained by dividing the number of nods by the time 600 seconds of action information, that is, the number of nods “0.452” per unit time. This is information acquisition action information (step S204). The information acquisition behavior information generation unit 22 temporarily stores the generated information acquisition behavior information in a recording medium (not shown) included in the information acquisition behavior information generation unit 22 (step S205). The information acquisition action information temporarily stored in this manner is indicated by the sixth record in FIG.
次に、情報取得行動情報生成手段22は、条件情報記憶手段21で記憶されている図7で示される条件情報から、5番目の条件情報、すなわち情報取得行動「指差し」に関する条件情報を読み出す(ステップS206,S207,S202)。
Next, the information acquisition action information generation unit 22 reads out the fifth condition information, that is, the condition information related to the information acquisition action “pointing”, from the condition information shown in FIG. 7 stored in the condition
また、情報取得行動情報生成手段22は、モーション情報蓄積部12が有する図示しない記録媒体からモーション情報に含まれる行動情報を読み出す。その行動情報は、図6で示されるように、各マーカの位置に対応する座標を示す情報である。情報取得行動情報生成手段22は、その各マーカの位置に対応する座標値を用いて、情報取得者の肩のマーカから手首のマーカまでの距離を算出する。この方法は従来から知られているため、その詳細な説明は省略する。
The information acquisition action information generation unit 22 reads action information included in the motion information from a recording medium (not shown) included in the motion
図12は、そのようにして算出された肩と手首の距離の時間変化の一部を示す図である。図12において、maxは、肩と手首の距離の最大値である。この最大値maxは、算出された肩と手首の距離の最大値であってもよく、あらかじめ情報取得者の肩のマーカから手首のマーカまでの実際に測定した最大値であってもよい。 FIG. 12 is a diagram showing a part of the temporal change of the distance between the shoulder and the wrist calculated as described above. In FIG. 12, max is the maximum value of the distance between the shoulder and the wrist. The maximum value max may be the calculated maximum value of the distance between the shoulder and the wrist, or may be the maximum value actually measured in advance from the shoulder marker of the information acquirer to the wrist marker.
情報取得行動情報生成手段22は、算出した肩と手首の距離の時間変化と、その最大値maxに0.9を掛けたしきい値とを比較し、肩と手首の距離が最大値maxに0.9を掛けたしきい値以上である箇所があるかどうか判断する(ステップS203)。ここでは、図12で示されるように、その条件を満たしていたとすると、情報取得行動情報生成手段22は、条件を満たしていると判断し、その条件を満たす箇所の個数、すなわち、指差しの回数を算出する。この具体例では、指差しの回数が51回であったとする。すると、情報取得行動情報生成手段22は、その指差しの回数を行動情報の時間600秒で割った値、すなわち、単位時間あたりの指差しの回数「0.085」を算出する。これが情報取得行動情報となる(ステップS204)。情報取得行動情報生成手段22は、その生成した情報取得行動情報を情報取得行動情報生成手段22が有する図示しない記録媒体において一時的に記憶する(ステップS205)。図9の7番目のレコードによって、そのようにして一時記憶された情報取得行動情報が示される。 The information acquisition action information generation means 22 compares the calculated change in the distance between the shoulder and the wrist with the threshold value obtained by multiplying the maximum value max by 0.9, and the distance between the shoulder and the wrist reaches the maximum value max. It is determined whether or not there is a portion that is equal to or greater than the threshold value multiplied by 0.9 (step S203). Here, as shown in FIG. 12, if the condition is satisfied, the information acquisition action information generation unit 22 determines that the condition is satisfied, and the number of points satisfying the condition, Calculate the number of times. In this specific example, it is assumed that the number of times of pointing is 51 times. Then, the information acquisition behavior information generation means 22 calculates a value obtained by dividing the number of pointing by the time 600 seconds of the behavior information, that is, the number of pointing “0.085” per unit time. This is information acquisition action information (step S204). The information acquisition behavior information generation unit 22 temporarily stores the generated information acquisition behavior information in a recording medium (not shown) included in the information acquisition behavior information generation unit 22 (step S205). The information acquisition action information temporarily stored in this way is indicated by the seventh record in FIG.
このようにして、情報取得行動情報生成手段22は、すべての条件情報を用いて情報取得行動情報を作成すると、情報取得行動情報の作成は終了となる(ステップS206,S207)。この具体例において、情報取得行動情報生成手段22が生成し、図示しない記録媒体において一時的に記憶された情報取得行動情報は、図9で示されるものである。 In this way, when the information acquisition action information generation unit 22 generates information acquisition action information using all the condition information, the creation of the information acquisition action information is ended (steps S206 and S207). In this specific example, the information acquisition action information generated by the information acquisition action information generation means 22 and temporarily stored in a recording medium (not shown) is as shown in FIG.
図13は、関数情報記憶手段23で記憶されている関数情報の一例を示す図である。図13で示されるように、関数情報記憶手段23では、興味傾向の種類に対応付けられて、4個の関数情報が記憶されている。関数情報における係数aN,bN,cN,dN,eN,fN,gN(Nは1から4までの整数)は、あらかじめ値が決定されているものとする。なお、いずれかの係数の値は、0であってもよい。
FIG. 13 is a diagram illustrating an example of function information stored in the function
ここで、図13で示される興味傾向の種類について説明する。
積極型興味傾向とは、情報取得者(顧客)が説明対象物に関する情報取得のために積極的に働きかけている興味傾向である。情報取得者の指差しが頻繁である場合に、積極型興味傾向である可能性の高いことが発明者らの分析によってわかっている。
Here, the types of interest tendencies shown in FIG. 13 will be described.
The positive interest tendency is an interest tendency in which an information acquirer (customer) is actively working to acquire information on an explanation object. It is known from the inventors' analysis that there is a high possibility of an active interest tendency when the information acquirer frequently points.
協調コミュニケーション型興味傾向とは、情報取得者(顧客)と情報提供者との協調的なインタラクションによって情報取得が行われる興味傾向である。情報取得者の発話時間が長く、発話回数が多い場合に、協調コミュニケーション型興味傾向である可能性の高いことが発明者らの分析によってわかっている。発話によって情報取得や対話の円滑化を図っていると考えられる。 The cooperative communication type interest tendency is an interest tendency in which information acquisition is performed by cooperative interaction between an information acquirer (customer) and an information provider. The analysis by the inventors has shown that there is a high possibility of a cooperative communication type interest tendency when the utterance time of the information acquirer is long and the number of utterances is large. It is considered that information acquisition and dialogue are facilitated by utterances.
情報取得優先型興味傾向とは、情報取得者(顧客)が情報提供者とのインタラクションを重視しておらず、両者間のコミュニケーションが適切に行われていない状況で情報取得が行われる興味傾向である。情報取得者の注視が頻繁である場合に、情報取得優先型興味傾向である可能性の高いことが発明者らの分析によってわかっている。 The information acquisition priority type interest tendency is an interest tendency in which information acquisition is performed in a situation where the information acquirer (customer) does not attach importance to the interaction with the information provider and communication between the two is not properly performed. is there. The inventors' analysis shows that there is a high possibility of an information acquisition priority type interest tendency when the information acquirer frequently watches.
消極型興味傾向とは、情報提供者が情報取得者(顧客)に強く働きかけている情報取得の興味傾向である。情報取得者のうなずき回数等といった情報提供者への弱い、すなわち、発話ほどの積極性のない応答が多い場合に、消極型興味傾向である可能性の高いことが発明者らの分析によってわかっている。情報提供者への弱い応答を維持しつつも、情報提供者とは独立に説明対象物へのアクセスを行っていると考えられる。 The negative interest tendency is an interest tendency of information acquisition in which the information provider strongly works with the information acquirer (customer). Analysis by the inventors has shown that there is a high possibility of a negative interest tendency when there are many responses to information providers such as the number of nods of information acquirers that are weak, that is, responses that are not as aggressive as utterances. . While maintaining a weak response to the information provider, it is considered that the object to be explained is accessed independently of the information provider.
また、図13で示される関数情報で用いられるA,B,C,D,E,F,Gは、情報取得行動情報の示す値であり、それぞれ次のようになっている。Aは、単位時間あたりの発話の回数である。Bは、単位時間あたりの発話の時間である。Cは、単位時間あたりの注視の回数である。Dは、単位時間あたりの注視の時間である。Eは、単位時間あたりの瞬目の回数である。Fは、単位時間あたりのうなずきの回数である。Gは、単位時間あたりの指差しの回数である。 Further, A, B, C, D, E, F, and G used in the function information shown in FIG. 13 are values indicated by the information acquisition action information, and are as follows. A is the number of utterances per unit time. B is an utterance time per unit time. C is the number of gazes per unit time. D is a gaze time per unit time. E is the number of blinks per unit time. F is the number of nods per unit time. G is the number of pointing points per unit time.
次に、興味傾向情報の生成処理について説明する。興味傾向情報生成手段24は、まず、関数情報記憶手段23で記憶されている図13で示される関数情報から、1番目の種類の興味傾向、すなわち、積極型興味傾向に対応する関数情報を読み出す(ステップS301,S302)。そして、興味傾向情報生成手段24は、図9で示される情報取得行動情報から、各情報取得行動情報の示す値を読み出し、その値を読み出した関数情報の示す関数に代入することによって、関数の値を算出する(ステップS303)。ここでは、関数の値が「0.75」であったとする。興味傾向情報生成手段24は、その算出した関数の値を興味傾向情報生成手段24が有する図示しない記録媒体において一時的に記憶する(ステップS304)。図14の1番目のレコードによって、そのようにして一時記憶された関数の値が示される。 Next, an interest tendency information generation process will be described. The interest tendency information generation means 24 first reads out the function information corresponding to the first type of interest tendency, that is, the positive interest tendency, from the function information shown in FIG. 13 stored in the function information storage means 23. (Steps S301 and S302). Then, the interest tendency information generation means 24 reads the value indicated by each information acquisition action information from the information acquisition action information shown in FIG. 9, and substitutes the value into the function indicated by the read function information, thereby A value is calculated (step S303). Here, it is assumed that the value of the function is “0.75”. The interest tendency information generation means 24 temporarily stores the calculated function value in a recording medium (not shown) included in the interest tendency information generation means 24 (step S304). The first record in FIG. 14 shows the value of the function temporarily stored in this way.
次に、興味傾向情報生成手段24は、関数情報記憶手段23で記憶されている図13で示される関数情報から、2番目の種類の興味傾向、すなわち、協調コミュニケーション型興味傾向に対応する関数情報を読み出す(ステップS305,S306,S302)。そして、興味傾向情報生成手段24は、図9で示される情報取得行動情報から、各情報取得行動情報の示す値を読み出し、その値を読み出した関数情報の示す関数に代入することによって、関数の値を算出する(ステップS303)。ここでは、関数の値が「0.63」であったとする。興味傾向情報生成手段24は、その算出した関数の値を興味傾向情報生成手段24が有する図示しない記録媒体において一時的に記憶する(ステップS304)。図14の2番目のレコードによって、そのようにして一時記憶された関数の値が示される。 Next, the interest tendency information generation means 24 functions information corresponding to the second type of interest tendency, that is, the cooperative communication type interest tendency, from the function information shown in FIG. 13 stored in the function information storage means 23. Is read out (steps S305, S306, S302). Then, the interest tendency information generation means 24 reads the value indicated by each information acquisition action information from the information acquisition action information shown in FIG. 9, and substitutes the value into the function indicated by the read function information, thereby A value is calculated (step S303). Here, it is assumed that the value of the function is “0.63”. The interest tendency information generation means 24 temporarily stores the calculated function value in a recording medium (not shown) included in the interest tendency information generation means 24 (step S304). The value of the function temporarily stored in this way is indicated by the second record in FIG.
次に、興味傾向情報生成手段24は、関数情報記憶手段23で記憶されている図13で示される関数情報から、3番目の種類の興味傾向、すなわち、情報取得優先型興味傾向に対応する関数情報を読み出す(ステップS305,S306,S302)。そして、興味傾向情報生成手段24は、図9で示される情報取得行動情報から、各情報取得行動情報の示す値を読み出し、その値を読み出した関数情報の示す関数に代入することによって、関数の値を算出する(ステップS303)。ここでは、関数の値が「0.24」であったとする。興味傾向情報生成手段24は、その算出した関数の値を興味傾向情報生成手段24が有する図示しない記録媒体において一時的に記憶する(ステップS304)。図14の3番目のレコードによって、そのようにして一時記憶された関数の値が示される。 Next, the interest tendency information generating means 24 functions from the function information shown in FIG. 13 stored in the function information storage means 23 to the third type of interest tendency, that is, a function corresponding to the information acquisition priority type interest tendency. Information is read (steps S305, S306, S302). Then, the interest tendency information generation means 24 reads the value indicated by each information acquisition action information from the information acquisition action information shown in FIG. 9, and substitutes the value into the function indicated by the read function information, thereby A value is calculated (step S303). Here, it is assumed that the value of the function is “0.24”. The interest tendency information generation means 24 temporarily stores the calculated function value in a recording medium (not shown) included in the interest tendency information generation means 24 (step S304). The third record in FIG. 14 shows the value of the function temporarily stored in this way.
次に、興味傾向情報生成手段24は、関数情報記憶手段23で記憶されている図13で示される関数情報から、4番目の種類の興味傾向、すなわち、消極型興味傾向に対応する関数情報を読み出す(ステップS305,S306,S302)。そして、興味傾向情報生成手段24は、図9で示される情報取得行動情報から、各情報取得行動情報の示す値を読み出し、その値を読み出した関数情報の示す関数に代入することによって、関数の値を算出する(ステップS303)。ここでは、関数の値が「0.54」であったとする。興味傾向情報生成手段24は、その算出した関数の値を興味傾向情報生成手段24が有する図示しない記録媒体において一時的に記憶する(ステップS304)。図14の4番目のレコードによって、そのようにして一時記憶された関数の値が示される。 Next, the interest tendency information generation means 24 obtains function information corresponding to the fourth type of interest tendency, that is, the negative interest tendency, from the function information shown in FIG. 13 stored in the function information storage means 23. Read (steps S305, S306, S302). Then, the interest tendency information generation means 24 reads the value indicated by each information acquisition action information from the information acquisition action information shown in FIG. 9, and substitutes the value into the function indicated by the read function information, thereby A value is calculated (step S303). Here, it is assumed that the value of the function is “0.54”. The interest tendency information generation means 24 temporarily stores the calculated function value in a recording medium (not shown) included in the interest tendency information generation means 24 (step S304). The fourth record in FIG. 14 shows the value of the function temporarily stored in this way.
このようにして、興味傾向情報生成手段24は、すべての種類の興味傾向に対応する関数情報を用いて関数の値を算出すると(ステップS305,S306)、それらを用いて、興味傾向情報を生成する(ステップS307)。この具体例では、興味傾向情報生成手段24は、図14で示される興味傾向の種類を示す情報と、その程度を示す情報(ここでは、関数の値をパーセント表示した情報)とを対応付けた情報を興味傾向情報として構成する。図15は、興味傾向情報生成手段24が構成した興味傾向情報を示す図である。
In this way, when the interest tendency
興味傾向情報出力部16は、興味傾向情報生成手段24が構成した図15で示される興味傾向情報をディスプレイに出力する。その結果、ディスプレイに図15で示される興味傾向情報が表示され、ユーザは、その興味傾向情報を見ることによって、情報取得者(顧客)の興味傾向が主に積極型興味傾向であることを知ることができる。
The interest tendency
ここで、図13で示されるように、興味傾向の種類と、対応する関数情報とを決定する方法について説明する。まず、複数の情報取得者が説明対象物に関する情報を取得する実験を行い、それらの情報取得者のモーション情報等を取得し、すでに説明した方法等を用いることによって情報取得行動情報を生成する。なお、モーション情報等を取得する情報取得者の数は、後述する因子負荷量を適切に算出することができる程度に多いことが好ましい。発明者らは、22人の情報取得者からモーション情報等を取得して、以下の因子分析を行った。 Here, as shown in FIG. 13, a method of determining the type of interest tendency and the corresponding function information will be described. First, an experiment is performed in which a plurality of information acquirers acquire information about an object to be explained, motion information and the like of those information acquirers are acquired, and information acquisition action information is generated by using the method described above. In addition, it is preferable that the number of information acquirers who acquire motion information or the like is large enough to appropriately calculate a factor load described later. The inventors acquired motion information and the like from 22 information acquirers and performed the following factor analysis.
そのようにして生成された情報取得行動情報について因子分析手法を用いることによって、多変量データである情報取得行動情報から共通因子を探り出す。その結果、その因子を用いることにより、興味傾向を複数の因子ごとのグループに分けることができる。そのグループに名称を付けたものが、上述の積極型興味傾向等である。 By using a factor analysis method for the information acquisition behavior information generated in this way, a common factor is searched from the information acquisition behavior information which is multivariate data. As a result, the interest tendency can be divided into groups for each of a plurality of factors by using the factors. The name given to the group is the above-mentioned positive interest tendency and the like.
次に、その求めた因子(例えば、積極性因子、協調性因子等の興味傾向の各種類に対応する因子)ごとの、情報取得行動情報の因子負荷量を算出する。その因子負荷量の算出において、バリマックス回転による因子分析等を行ってもよい。例えば、積極性因子の場合、情報取得行動情報「指差しの回数」の因子負荷量が高く、情報取得行動情報「発話の回数」の因子負荷量は低いと言う実験結果が得られている。次に、その因子ごとに因子負荷量の平均や因子負荷量の標準偏差等の統計量を算出し、その統計量を用いて関数情報の示す関数の各係数値を設定する。この方法は、従来からすでに知られており、その詳細な説明は省略する。このような因子ごとの各情報取得行動情報の因子負荷量を用いることによって、因子負荷量の大きい情報取得行動情報が関数値により大きく寄与するように関数情報の示す関数の各係数値を設定することができる。このようにして、関数情報を決定することができる。 Next, a factor load amount of the information acquisition action information is calculated for each of the obtained factors (for example, factors corresponding to each type of interest tendency such as a positive factor and a cooperative factor). In calculating the factor loading, factor analysis by varimax rotation or the like may be performed. For example, in the case of an aggressive factor, an experimental result has been obtained that the factor loading of the information acquisition action information “number of pointing” is high and the factor loading of the information acquisition action information “number of utterances” is low. Next, for each factor, a statistic such as an average factor load and a standard deviation of the factor load is calculated, and each coefficient value of the function indicated by the function information is set using the statistic. This method is already known from the past, and a detailed description thereof will be omitted. By using the factor load amount of each information acquisition action information for each factor, each coefficient value of the function indicated by the function information is set so that the information acquisition action information having a large factor load amount greatly contributes to the function value. be able to. In this way, function information can be determined.
なお、この具体例では、興味傾向の種類と、その程度とを示す情報である興味傾向情報を出力する場合について説明したが、前述のように、出力される興味傾向情報は、最も程度の高い興味傾向の種類を示す情報であってもよい。上記具体例の場合には、興味傾向情報「積極型興味傾向」が出力されることになる。このような出力がなされることにより、ユーザは、どの種類の興味傾向が最も支配的であったのかについて知ることができる。また、出力される興味傾向情報は、ある種類の興味傾向に対応する程度を示す情報であってもよい。上記具体例の場合には、積極型興味傾向に対応する関数情報のみが関数情報記憶手段23で記憶されており、その関数情報を用いて算出された積極型興味傾向の程度「75%」が出力されることになる。このような出力がなされることにより、ユーザは、情報取得者である顧客の興味傾向が積極型興味傾向である程度を知ることができる。 In this specific example, the case where the interest tendency information that is the information indicating the type and the degree of the interest tendency is output has been described. However, as described above, the interest tendency information to be output is the highest degree. It may be information indicating the type of interest tendency. In the case of the above specific example, the interest tendency information “positive interest tendency” is output. By making such an output, the user can know what kind of interest tendency is most dominant. Further, the output interest tendency information may be information indicating a degree corresponding to a certain type of interest tendency. In the case of the above specific example, only the function information corresponding to the active interest tendency is stored in the function information storage means 23, and the degree of active interest tendency “75%” calculated using the function information is Will be output. By performing such an output, the user can know to some extent that the interest tendency of the customer who is the information acquirer is the positive interest tendency.
また、この具体例では、一連のモーション情報と音声情報を蓄積した後に、興味傾向情報を生成する場合について説明したが、モーション情報と音声情報の蓄積と、興味傾向情報の生成とをリアルタイムで並行して行ってもよい。その場合には、例えば、所定の時間区切り(例えば、1分等)ごとに、興味傾向情報を生成してもよい。その生成された興味傾向情報を情報提供者が装着しているヘッドマウントディスプレイや、イヤホン等に出力し、情報提供者がリアルタイムで興味傾向情報のフィードバックを受けることによって、情報提供者による情報の提供行為に興味傾向情報を活用するようにしてもよい。例えば、店員である情報提供者に示された興味傾向情報の種類が「消極型興味傾向」である場合には、顧客が商品やサービスを購入する見込みがないと判断し、その顧客に対する商品説明等を早期に切り上げるようにしてもよい。 Also, in this specific example, the case where interest trend information is generated after accumulating a series of motion information and audio information has been described. However, accumulation of motion information and audio information and generation of interest trend information are performed in parallel in real time. You may do it. In that case, for example, the interest tendency information may be generated at predetermined time intervals (for example, 1 minute). Providing information by the information provider by outputting the generated interest trend information to the head mounted display or earphone worn by the information provider and receiving feedback on the interest trend information in real time. You may make it utilize interest tendency information for an action. For example, if the type of interest tendency information shown to the information provider who is the store clerk is "reactive interest tendency", it is determined that the customer is unlikely to purchase the product or service, and the product description for the customer Etc. may be rounded up early.
また、この具体例では、情報取得行動情報が単位時間あたりの情報である場合について説明したが、それは一例であって、情報取得行動情報は、単位時間あたりの情報でなくてもよい。例えば、図9で示される測定値をそのまま情報取得行動情報として用いてもよい。 In this specific example, the case where the information acquisition behavior information is information per unit time has been described. However, this is an example, and the information acquisition behavior information may not be information per unit time. For example, the measurement values shown in FIG. 9 may be used as information acquisition behavior information as they are.
また、この具体例では、関数情報の示す関数が、情報取得行動情報の示す値の1次の多項式である場合について説明したが、関数情報の示す関数は、興味傾向の種類に対応する値を適切に算出できるものであれば、この具体例で説明した関数に限定されず、その他の関数であってもよい。また、対応する興味傾向の種類ごとに、関数の形が異なってもよい。 Further, in this specific example, the case where the function indicated by the function information is a first-order polynomial of the value indicated by the information acquisition action information has been described. However, the function indicated by the function information indicates a value corresponding to the type of interest tendency. As long as it can be calculated appropriately, it is not limited to the function described in this specific example, and other functions may be used. Moreover, the form of a function may differ for every kind of corresponding interest tendency.
また、この具体例では、情報取得行動として、単に「注視」を検出する場合について説明したが、前述のように、情報取得行動として、「情報提供者への注視」や、「説明対象物への注視」を検出するようにしてもよい。その場合には、情報取得者は、例えば、ウェアラブルカメラを装着しており、そのウェアラブルカメラによって情報取得者の視線方向の画像を撮影していてもよい。また、情報取得行動「情報提供者への注視」に対応する条件は、例えば、ウェアラブルカメラによって撮影された画像によって、人物の顔領域が特定されており、かつ、眼球運動の変化が5度未満である状態が0.5秒以上継続することであってもよい。ここで、人物の顔領域の特定は、前述のように、例えば、肌色検出や、パターンマッチング等の技術を用いることにより行うことができる。また、情報取得行動「説明対象物への注視」に対応する条件は、例えば、ウェアラブルカメラによって撮影された画像に説明対象物の画像が含まれており、かつ、眼球運動の変化が5度未満である状態が0.5秒以上継続することであってもよい。ここで、撮影された画像に説明対象物の画像が含まれているかどうかの判断は、前述のように、例えば、説明対象物に所定のマーカが付いている場合には、そのマーカが撮影された画像に含まれているかどうかで判断してもよく、パターンマッチング等の技術を用いることによって判断してもよい。このように、単に「注視」を検出するだけでなく、「情報提供者への注視」や、「説明対象物への注視」を検出することによって、精度の高い興味傾向の分析を行うことができることは言うまでもない。 In this specific example, the case of simply detecting “gazing” as the information acquisition behavior has been described. However, as described above, as the information acquisition behavior, “gazing at the information provider” or “to the explanation object” May be detected. In this case, the information acquirer may be wearing a wearable camera, for example, and may take an image in the line of sight of the information acquirer with the wearable camera. In addition, the condition corresponding to the information acquisition action “gazing at the information provider” is, for example, that the face area of a person is specified by an image taken by a wearable camera, and the change in eye movement is less than 5 degrees. This state may be continued for 0.5 seconds or longer. Here, as described above, the face area of a person can be specified by using a technique such as skin color detection or pattern matching. In addition, the condition corresponding to the information acquisition action “gazing at the explanation object” includes, for example, the image of the explanation object included in the image taken by the wearable camera, and the change of the eye movement is less than 5 degrees. This state may be continued for 0.5 seconds or longer. Here, as described above, for example, when a predetermined marker is attached to the explanation object, the determination is made as to whether or not the image of the explanation object is included in the photographed image. It may be determined whether the image is included in the image, or may be determined by using a technique such as pattern matching. In this way, it is possible not only to detect “gaze” but also to analyze interest trends with high accuracy by detecting “gaze to information providers” and “gaze to explanation objects”. Needless to say, you can.
また、上述のようにして出力された興味傾向情報を用いて、情報取得者の興味傾向を複数のクラスタに分類してもよい。例えば、複数の情報取得者からモーション情報等を取得して因子分析を行った場合と同様に、複数の情報取得者に関する各興味傾向の種類と、その程度を示す情報とを用いて、複数の情報取得者に関する興味傾向情報を、複数のクラスタに分類する。その分類したクラスタの興味傾向情報の傾向をパターンとして保持し、ある情報取得者に関する興味傾向情報を生成し、出力した後に、その興味傾向情報がどのクラスタのパターンにマッチするのかを判断することによって、その情報取得者の興味傾向のクラスタ分けを行ってもよい。 Further, the interest tendency of the information acquirer may be classified into a plurality of clusters using the interest tendency information output as described above. For example, as in the case where factor analysis is performed by acquiring motion information and the like from a plurality of information acquirers, a plurality of types of interest tendencies regarding the plurality of information acquirers and information indicating the degree thereof are used. Interest tendency information about the information acquirer is classified into a plurality of clusters. By holding the trend of the interest trend information of the classified cluster as a pattern, generating the interest trend information about a certain information acquirer, outputting it, and determining which cluster pattern the interest trend information matches The information acquisition person's interest tendency may be clustered.
また、この具体例で用いた図6、図8〜図12、図14、図15の具体的なデータは、本実施の形態による興味傾向情報出力装置1の動作の詳細を説明するために示したものであり、実際に被験者から取得したデータではない。
Further, the specific data of FIGS. 6, 8 to 12, 14, and 15 used in this specific example are shown to explain the details of the operation of the interest tendency
以上のように、本実施の形態による興味傾向情報出力装置1では、情報取得者に関するモーション情報、及び音声情報を用いることにより、興味傾向情報を生成し、出力することができる。したがって、今まで実現することができなかった、物と人との両方から情報を取得する形態における情報取得者の興味傾向を適切に示す興味傾向情報を生成し、出力することができる。また、その興味傾向情報を用いることにより、情報取得者の興味傾向がどのようなものであるのかについて知ることができ、それを用いることによって、過去の興味傾向の分析を行うことができ、また、将来の接客等に活用することができ、よりよい情報の提供を実現することができる。
As described above, the interest tendency
なお、上記実施の形態では、興味傾向情報生成部15が関数情報記憶手段23を備え、関数情報を用いて興味傾向情報を生成する場合について説明したが、興味傾向情報生成部15は、関数情報を用いないで興味傾向情報を生成してもよい。例えば、興味傾向情報生成手段24は、各興味傾向の種類が支配的であるための条件を示す情報(例えば、情報取得行動情報のしきい値に関する条件を示す情報等)を用いて、情報取得行動情報生成手段22が生成した情報取得行動情報から支配的である興味傾向の種類を特定してもよい。興味傾向情報生成部15が関数情報を用いないで興味傾向情報を生成する場合には、興味傾向情報生成部15は、関数情報記憶手段23を備えなくてもよい。
In the above embodiment, the case where the interest trend
また、上記実施の形態では、興味傾向情報生成部15が、まず情報取得行動情報を生成し、その生成した情報取得行動情報を用いて興味傾向情報を生成する場合について説明したが、興味傾向情報生成部15は、情報取得行動情報を生成しないで興味傾向情報を生成してもよい。例えば、興味傾向情報生成部15は、各興味傾向の種類が支配的であるための条件を示す情報(例えば、積極型興味傾向が支配的である条件は、1分に5回以上の割合で指差しが行われること等)を用いて、情報取得行動情報生成手段22が生成した情報取得行動情報から支配的である興味傾向の種類を特定してもよい。興味傾向情報生成部15が関数情報を用いないで興味傾向情報を生成する場合には、興味傾向情報生成部15は、条件情報記憶手段21、情報取得行動情報生成手段22、関数情報記憶手段23を備えなくてもよい。
Moreover, in the said embodiment, although the interest tendency
また、上記実施の形態において、情報取得者の種類に応じて、用いる関数情報を変更するようにしてもよい。ここで、情報取得者の種類とは、例えば、店の客、生徒、患者等である。例えば、店の客用の関数情報と、生徒用の関数情報と、患者用の関数情報とが関数情報記憶手段23で記憶されており、興味傾向情報生成手段24は、情報取得者の種類に応じた関数情報を読み出して使用してもよい。なお、情報取得者の種類は、ユーザの手入力等によって興味傾向情報出力装置1に入力されてもよく、あるいは、音声情報やモーション情報等から抽出されてもよい。
Moreover, in the said embodiment, you may make it change the function information to be used according to the kind of information acquirer. Here, the type of information acquirer is, for example, a store customer, a student, a patient, or the like. For example, function information for store customers, function information for students, and function information for patients are stored in the function information storage means 23, and the interest tendency information generation means 24 determines the type of information acquirer. The corresponding function information may be read and used. Note that the type of the information acquirer may be input to the interest tendency
また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。 In the above embodiment, each process or each function may be realized by centralized processing by a single device or a single system, or may be distributedly processed by a plurality of devices or a plurality of systems. It may be realized by doing.
また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現される。なお、上記実施の形態における興味傾向情報出力装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、情報提供者が情報取得者に対面して説明対象物に関連する情報を提供している状況であり、かつ、前記情報取得者が前記説明対象物に直接アクセス可能な状況における、前記情報取得者の動きを示す情報であり、前記情報取得者の視線に関する情報と、前記情報取得者のうなずきを検出可能な情報とを少なくとも含む情報であるモーション情報を受け付けるモーション情報受付ステップと、前記情報取得者の発した音声に関する情報である音声情報を受け付ける音声情報受付ステップと、前記モーション情報受付ステップで受け付けたモーション情報と、前記音声情報受付ステップで受け付けた音声情報とから、前記情報取得者の興味傾向に関する情報である興味傾向情報を生成する興味傾向情報生成ステップと、前記興味傾向情報生成ステップで生成した興味傾向情報を出力する興味傾向情報出力ステップと、を実行させるためのものである。 In the above embodiment, each component may be configured by dedicated hardware, or a component that can be realized by software may be realized by executing a program. For example, each component is realized by a program execution unit such as a CPU reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory. In addition, the software which implement | achieves the interest tendency information output apparatus in the said embodiment is the following programs. In other words, this program is a situation where the information provider provides the computer with information related to the explanation object facing the information acquirer, and the information acquirer can directly access the explanation object. Motion information that is information indicating the movement of the information acquirer in a difficult situation and that receives motion information that is information including at least information relating to the line of sight of the information acquirer and information capable of detecting the nod of the information acquirer A reception step, a voice information reception step for receiving voice information that is information related to a voice uttered by the information acquirer, a motion information received in the motion information reception step, and a voice information received in the voice information reception step. Interest trend information that generates interest trend information that is information related to the interest trend of the information acquirer A generation step, and interest trend information output step of outputting the generated interest trend information by the interested trend information generating step is for to run.
また、そのプログラムでは、前記興味傾向情報生成ステップが、条件情報記憶手段で記憶されている、情報取得者が情報の取得時に行う行動である情報取得行動の発生の条件を示す情報である条件情報を用いて、前記モーション情報及び前記音声情報から情報取得行動の発生を検出し、検出した情報取得行動に関する情報である情報取得行動情報を生成する情報取得行動情報生成ステップと、前記情報取得行動情報生成ステップで生成された情報取得行動情報を用いて興味傾向情報を生成する興味傾向情報生成ステップと、を含んでいてもよい。 In the program, the interest tendency information generating step is condition information that is stored in the condition information storage means and is information indicating a condition for occurrence of an information acquisition action that is an action performed by the information acquirer when acquiring information The information acquisition action information generation step of detecting the occurrence of the information acquisition action from the motion information and the audio information and generating information acquisition action information that is information related to the detected information acquisition action, and the information acquisition action information An interest tendency information generation step of generating interest tendency information using the information acquisition action information generated in the generation step.
さらに、そのプログラムでは、前記興味傾向情報生成ステップにおいて、関数情報記憶手段で記憶されている、情報取得行動情報の示す値を引数とする関数を示す情報である1以上の関数情報の示す関数に、前記情報取得行動情報生成ステップで生成された情報取得行動情報の示す値を代入することにより興味傾向情報を生成してもよい。 Further, in the program, in the interest tendency information generating step, a function indicated by one or more function information, which is information indicating a function stored in the function information storage means and having a value indicated by the information acquisition action information as an argument. The interest tendency information may be generated by substituting the value indicated by the information acquisition behavior information generated in the information acquisition behavior information generation step.
なお、上記プログラムにおいて、情報を出力する出力ステップや、情報を受け付ける受付ステップ等では、ハードウェアでしか行われない処理、例えば、出力ステップにおけるモデムやインターフェースカード等で行われる処理は少なくとも含まれない。 In the above program, the output step for outputting information, the accepting step for receiving information, etc. do not include at least processing performed only by hardware, for example, processing performed by a modem or an interface card in the output step. .
また、このプログラムは、サーバ等からダウンロードされることによって実行されてもよく、所定の記録媒体(例えば、CD−ROM等の光ディスクや磁気ディスク、半導体メモリ等)に記録されたプログラムが読み出されることによって実行されてもよい。 Further, this program may be executed by being downloaded from a server or the like, and a program recorded on a predetermined recording medium (for example, an optical disc such as a CD-ROM, a magnetic disc, a semiconductor memory, etc.) is read out. May be executed by
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。 Further, the computer that executes this program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.
図16は、上記プログラムを実行して、上記実施の形態による興味傾向情報出力装置1を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現される。
FIG. 16 is a schematic diagram showing an example of the external appearance of a computer that executes the program and realizes the interest tendency
図16において、コンピュータシステム100は、CD−ROM(Compact Disk Read Only Memory)ドライブ105、FD(Flexible Disk)ドライブ106を含むコンピュータ101と、キーボード102と、マウス103と、モニタ104とを備える。
In FIG. 16, a
図17は、コンピュータシステムを示す図である。図17において、コンピュータ101は、CD−ROMドライブ105、FDドライブ106に加えて、CPU(Central Processing Unit)111と、ブートアッププログラム等のプログラムを記憶するためのROM(Read Only Memory)112と、CPU111に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するRAM(Random Access Memory)113と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク114と、CPU111、ROM112等を相互に接続するバス115とを備える。なお、コンピュータ101は、LANへの接続を提供する図示しないネットワークカードを含んでいてもよい。
FIG. 17 is a diagram illustrating a computer system. 17, in addition to the CD-
コンピュータシステム100に、上記実施の形態による興味傾向情報出力装置1の機能を実行させるプログラムは、CD−ROM121、またはFD122に記憶されて、CD−ROMドライブ105、またはFDドライブ106に挿入され、ハードディスク114に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ101に送信され、ハードディスク114に記憶されてもよい。プログラムは実行の際にRAM113にロードされる。なお、プログラムは、CD−ROM121やFD122、またはネットワークから直接、ロードされてもよい。
A program for causing the
プログラムは、コンピュータ101に、上記実施の形態による興味傾向情報出力装置1の機能を実行させるオペレーティングシステム(OS)、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム100がどのように動作するのかについては周知であり、詳細な説明は省略する。
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
The program does not necessarily include an operating system (OS), a third party program, or the like that causes the
Further, the present invention is not limited to the above-described embodiment, and various modifications are possible, and it goes without saying that these are also included in the scope of the present invention.
以上より、本発明による興味傾向情報出力装置等によれば、情報取得者のモーション情報等を用いて、情報取得者の興味傾向情報を生成し、出力することができ、興味傾向情報を生成して出力するシステム等として有用である。 As described above, according to the interest tendency information output device and the like according to the present invention, it is possible to generate and output the interest trend information of the information acquirer using the motion information of the information acquirer, and to generate the interest trend information. This is useful as an output system.
1 興味傾向情報出力装置
11 モーション情報受付部
12 モーション情報蓄積部
13 音声情報受付部
14 音声情報蓄積部
15 興味傾向情報生成部
16 興味傾向情報出力部
21 条件情報記憶手段
22 情報取得行動情報生成手段
23 関数情報記憶手段
24 興味傾向情報生成手段
DESCRIPTION OF
Claims (5)
前記情報取得者の発した音声に関する情報である音声情報を受け付ける音声情報受付部と、
前記モーション情報受付部が受け付けたモーション情報と、前記音声情報受付部が受け付けた音声情報とから、前記情報取得者の興味傾向に関する情報である興味傾向情報を生成する興味傾向情報生成部と、
前記興味傾向情報生成部が生成した興味傾向情報を出力する興味傾向情報出力部と、を具備する興味傾向情報出力装置。 The information provider is in a situation where the information provider faces the information acquirer and provides information related to the explanatory object, and the information acquirer can directly access the explanatory object. A motion information reception unit that receives motion information that is information indicating movement, and that includes at least information on the line of sight of the information acquirer and information capable of detecting the nod of the information acquirer;
A voice information receiving unit that receives voice information that is information related to the voice issued by the information acquirer;
An interest tendency information generating unit that generates interest tendency information that is information related to the interest tendency of the information acquirer from the motion information received by the motion information receiving unit and the voice information received by the voice information receiving unit;
An interest tendency information output device comprising: an interest tendency information output unit that outputs the interest tendency information generated by the interest tendency information generation unit.
情報取得者が情報の取得時に行う行動である情報取得行動の発生の条件を示す情報である条件情報が記憶される条件情報記憶手段と、
前記条件情報記憶手段で記憶されている条件情報を用いて、前記モーション情報及び前記音声情報から情報取得行動の発生を検出し、検出した情報取得行動に関する情報である情報取得行動情報を生成する情報取得行動情報生成手段と、
前記情報取得行動情報生成手段で生成された情報取得行動情報を用いて興味傾向情報を生成する興味傾向情報生成手段と、を具備する、請求項1記載の興味傾向情報出力装置。 The interest tendency information generation unit
Condition information storage means for storing condition information, which is information indicating conditions for occurrence of an information acquisition action, which is an action performed by an information acquirer when acquiring information;
Information that detects the occurrence of information acquisition behavior from the motion information and the audio information using the condition information stored in the condition information storage means, and generates information acquisition behavior information that is information relating to the detected information acquisition behavior Acquisition action information generation means;
The interest tendency information output device according to claim 1, further comprising: interest tendency information generation means for generating interest tendency information using the information acquisition action information generated by the information acquisition action information generation means.
情報取得行動情報の示す値を引数とする関数を示す情報である関数情報が1以上記憶される関数情報記憶手段をさらに具備し、
前記興味傾向情報生成手段は、前記関数情報記憶手段で記憶されている1以上の関数情報の示す関数に、前記情報取得行動情報生成手段で生成された情報取得行動情報の示す値を代入することにより興味傾向情報を生成する、請求項2記載の興味傾向情報出力装置。 The interest tendency information generation unit
Further comprising function information storage means for storing one or more function information, which is information indicating a function having the value indicated by the information acquisition action information as an argument,
The interest tendency information generation means substitutes a value indicated by the information acquisition action information generated by the information acquisition action information generation means into a function indicated by one or more function information stored in the function information storage means. The interest tendency information output device according to claim 2, wherein the interest tendency information is generated by:
前記情報取得者の発した音声に関する情報である音声情報を受け付ける音声情報受付ステップと、
前記モーション情報受付ステップで受け付けたモーション情報と、前記音声情報受付ステップで受け付けた音声情報とから、前記情報取得者の興味傾向に関する情報である興味傾向情報を生成する興味傾向情報生成ステップと、
前記興味傾向情報生成ステップで生成した興味傾向情報を出力する興味傾向情報出力ステップと、を具備する興味傾向情報出力方法。 The information provider is in a situation where the information provider faces the information acquirer and provides information related to the explanatory object, and the information acquirer can directly access the explanatory object. A motion information reception step for receiving motion information, which is information indicating movement, and is information including at least information relating to the line of sight of the information acquirer and information capable of detecting the nod of the information acquirer;
A voice information receiving step for receiving voice information which is information related to the voice issued by the information acquirer;
An interest tendency information generating step for generating interest tendency information, which is information related to the interest tendency of the information acquirer, from the motion information received in the motion information reception step and the voice information received in the voice information reception step;
An interest tendency information output method comprising: an interest tendency information output step of outputting the interest tendency information generated in the interest tendency information generation step.
情報提供者が情報取得者に対面して説明対象物に関連する情報を提供している状況であり、かつ、前記情報取得者が前記説明対象物に直接アクセス可能な状況における、前記情報取得者の動きを示す情報であり、前記情報取得者の視線に関する情報と、前記情報取得者のうなずきを検出可能な情報とを少なくとも含む情報であるモーション情報を受け付けるモーション情報受付ステップと、
前記情報取得者の発した音声に関する情報である音声情報を受け付ける音声情報受付ステップと、
前記モーション情報受付ステップで受け付けたモーション情報と、前記音声情報受付ステップで受け付けた音声情報とから、前記情報取得者の興味傾向に関する情報である興味傾向情報を生成する興味傾向情報生成ステップと、
前記興味傾向情報生成ステップで生成した興味傾向情報を出力する興味傾向情報出力ステップと、を実行させるためのプログラム。 On the computer,
The information provider is in a situation where the information provider faces the information acquirer and provides information related to the explanatory object, and the information acquirer can directly access the explanatory object. A motion information reception step for receiving motion information, which is information indicating movement, and is information including at least information relating to the line of sight of the information acquirer and information capable of detecting the nod of the information acquirer;
A voice information receiving step for receiving voice information which is information related to the voice issued by the information acquirer;
An interest tendency information generating step for generating interest tendency information, which is information related to the interest tendency of the information acquirer, from the motion information received in the motion information reception step and the voice information received in the voice information reception step;
An interest tendency information output step for outputting the interest tendency information generated in the interest tendency information generation step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006220969A JP4868360B2 (en) | 2006-08-14 | 2006-08-14 | Interest trend information output device, interest trend information output method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006220969A JP4868360B2 (en) | 2006-08-14 | 2006-08-14 | Interest trend information output device, interest trend information output method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008046801A true JP2008046801A (en) | 2008-02-28 |
JP4868360B2 JP4868360B2 (en) | 2012-02-01 |
Family
ID=39180503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006220969A Expired - Fee Related JP4868360B2 (en) | 2006-08-14 | 2006-08-14 | Interest trend information output device, interest trend information output method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4868360B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010271927A (en) * | 2009-05-21 | 2010-12-02 | Kanto Auto Works Ltd | Work determination system, work determination method, and recording medium recording the same |
JP2012230705A (en) * | 2012-07-21 | 2012-11-22 | Keiko Takeda | Sales system of digital art and sales system for providing digital art by utilizing digital photo frames or the like |
JP2013153349A (en) * | 2012-01-25 | 2013-08-08 | Nippon Hoso Kyokai <Nhk> | Viewing state recognition apparatus and viewing state recognition program |
KR101724999B1 (en) * | 2016-04-01 | 2017-04-07 | 주식회사 포켓메모리 | Virtual shopping system comprising virtual shopping terminal and virtual shopping server |
KR20170131774A (en) * | 2016-05-20 | 2017-11-30 | 전자부품연구원 | System for analysis of behavior semantic in service area and method thereof |
CN109065035A (en) * | 2018-09-06 | 2018-12-21 | 珠海格力电器股份有限公司 | information interaction method and device |
JP2019153303A (en) * | 2018-03-01 | 2019-09-12 | 学校法人玉川学園 | Information processing device, information processing method, and program |
JPWO2022004567A1 (en) * | 2020-07-02 | 2022-01-06 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000315259A (en) * | 1999-05-06 | 2000-11-14 | Sharp Corp | Database creating device and recording medium in which database creation program is recorded |
JP2001350904A (en) * | 2000-06-07 | 2001-12-21 | Canon Inc | Electronic equipment and electronic equipment system for business |
JP2004280673A (en) * | 2003-03-18 | 2004-10-07 | Takenaka Komuten Co Ltd | Information providing device |
JP2005142975A (en) * | 2003-11-10 | 2005-06-02 | Nippon Telegr & Teleph Corp <Ntt> | Audience reaction information collection system and its method, user terminal and audience reaction information providing apparatus used in the audience reaction information collection system, and audience reaction information creation program used to obtain the user terminal and the audience reaction information providing apparatus |
-
2006
- 2006-08-14 JP JP2006220969A patent/JP4868360B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000315259A (en) * | 1999-05-06 | 2000-11-14 | Sharp Corp | Database creating device and recording medium in which database creation program is recorded |
JP2001350904A (en) * | 2000-06-07 | 2001-12-21 | Canon Inc | Electronic equipment and electronic equipment system for business |
JP2004280673A (en) * | 2003-03-18 | 2004-10-07 | Takenaka Komuten Co Ltd | Information providing device |
JP2005142975A (en) * | 2003-11-10 | 2005-06-02 | Nippon Telegr & Teleph Corp <Ntt> | Audience reaction information collection system and its method, user terminal and audience reaction information providing apparatus used in the audience reaction information collection system, and audience reaction information creation program used to obtain the user terminal and the audience reaction information providing apparatus |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010271927A (en) * | 2009-05-21 | 2010-12-02 | Kanto Auto Works Ltd | Work determination system, work determination method, and recording medium recording the same |
JP2013153349A (en) * | 2012-01-25 | 2013-08-08 | Nippon Hoso Kyokai <Nhk> | Viewing state recognition apparatus and viewing state recognition program |
JP2012230705A (en) * | 2012-07-21 | 2012-11-22 | Keiko Takeda | Sales system of digital art and sales system for providing digital art by utilizing digital photo frames or the like |
KR101724999B1 (en) * | 2016-04-01 | 2017-04-07 | 주식회사 포켓메모리 | Virtual shopping system comprising virtual shopping terminal and virtual shopping server |
KR20170131774A (en) * | 2016-05-20 | 2017-11-30 | 전자부품연구원 | System for analysis of behavior semantic in service area and method thereof |
KR102118336B1 (en) * | 2016-05-20 | 2020-06-04 | 전자부품연구원 | System for analysis of behavior semantic in service area and method thereof |
JP2019153303A (en) * | 2018-03-01 | 2019-09-12 | 学校法人玉川学園 | Information processing device, information processing method, and program |
JP7321437B2 (en) | 2018-03-01 | 2023-08-07 | 学校法人玉川学園 | Information processing device, information processing method, and program |
CN109065035A (en) * | 2018-09-06 | 2018-12-21 | 珠海格力电器股份有限公司 | information interaction method and device |
JPWO2022004567A1 (en) * | 2020-07-02 | 2022-01-06 | ||
WO2022004567A1 (en) * | 2020-07-02 | 2022-01-06 | パナソニックIpマネジメント株式会社 | Communication analysis system, and communication analysis method |
JP7369942B2 (en) | 2020-07-02 | 2023-10-27 | パナソニックIpマネジメント株式会社 | Communication analysis system and communication analysis method |
Also Published As
Publication number | Publication date |
---|---|
JP4868360B2 (en) | 2012-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4868360B2 (en) | Interest trend information output device, interest trend information output method, and program | |
US9953214B2 (en) | Real time eye tracking for human computer interaction | |
JP4716119B2 (en) | INTERACTION INFORMATION OUTPUT DEVICE, INTERACTION INFORMATION OUTPUT METHOD, AND PROGRAM | |
JP7233927B2 (en) | A head-mounted display system configured to exchange biometric information | |
EP1691670B1 (en) | Method and apparatus for calibration-free eye tracking | |
US20170097679A1 (en) | System and method for content provision using gaze analysis | |
US20100060713A1 (en) | System and Method for Enhancing Noverbal Aspects of Communication | |
Poppe et al. | AMAB: Automated measurement and analysis of body motion | |
US7760910B2 (en) | Evaluation of visual stimuli using existing viewing data | |
US20140099623A1 (en) | Social graphs based on user bioresponse data | |
CN109643152B (en) | Face and eye tracking and face animation using face sensors within a head-mounted display | |
Sundstedt et al. | Visual attention and gaze behavior in games: An object-based approach | |
JP2007006427A (en) | Video monitor | |
WO2018127782A1 (en) | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command | |
US10824223B2 (en) | Determination apparatus and determination method | |
US20170365084A1 (en) | Image generating apparatus and image generating method | |
Orlosky et al. | Using eye tracked virtual reality to classify understanding of vocabulary in recall tasks | |
JP2008046802A (en) | Interaction information output device, interaction information output method and program | |
Burlingham et al. | Motor “laziness” constrains fixation selection in real-world tasks | |
US20220409110A1 (en) | Inferring cognitive load based on gait | |
Hwang et al. | A rapport and gait monitoring system using a single head-worn IMU during walk and talk | |
Hynes et al. | An evaluation of lower facial micro expressions as an implicit QoE metric for an augmented reality procedure assistance application | |
JP7452558B2 (en) | Processing equipment, processing method and program | |
Galdi et al. | Eye movement analysis in Biometrics | |
Peters et al. | Modelling user attention for human-agent interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090511 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110608 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111028 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111108 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141125 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |