JP2020071858A - Parameter estimation program, device, and method - Google Patents

Parameter estimation program, device, and method Download PDF

Info

Publication number
JP2020071858A
JP2020071858A JP2019041710A JP2019041710A JP2020071858A JP 2020071858 A JP2020071858 A JP 2020071858A JP 2019041710 A JP2019041710 A JP 2019041710A JP 2019041710 A JP2019041710 A JP 2019041710A JP 2020071858 A JP2020071858 A JP 2020071858A
Authority
JP
Japan
Prior art keywords
parameter
terminal
distribution
momentum
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019041710A
Other languages
Japanese (ja)
Inventor
佐藤 輝幸
Teruyuki Sato
輝幸 佐藤
上村 拓也
Takuya Kamimura
拓也 上村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2020071858A publication Critical patent/JP2020071858A/en
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

To estimate parameters for evaluating interest level in real time with respect to terminal posture changes.SOLUTION: An information processing terminal 16 calculates the cumulative distribution of the terminal momentum observed in the first period regarding the terminal momentum of the terminal and determines a temporary value of the parameter for evaluating the degree of interest of the terminal operator from the default rank in the cumulative distribution. A new distribution of the terminal momentum observed during the second period is calculated. Comparing the centroid of the cumulative distribution with the centroid of the new distribution, and depending on the result of the comparison, the default rank in the cumulative distribution is corrected, and the parameter is updated.SELECTED DRAWING: Figure 11

Description

本発明は、パラメータ推定プログラム、装置、及び方法に関する。   The present invention relates to a parameter estimation program, device and method.

従来、速度等の運動量の分布を用いて、所望の推定値の計算を行う技術がある。   Conventionally, there is a technique of calculating a desired estimated value using a distribution of momentum such as speed.

例えば、速度情報の分布を用いた超音波診断装置に関する技術がある。この超音波診断装置は、速度情報の分布を、所定期間に亘って検出し、速度情報を用いて、所定期間における流速に基づく特徴量を計算し、特徴量を所定の形態で表示する。   For example, there is a technique relating to an ultrasonic diagnostic apparatus using the distribution of velocity information. This ultrasonic diagnostic apparatus detects a distribution of velocity information over a predetermined period, calculates a feature amount based on a flow velocity in the predetermined period using the velocity information, and displays the feature amount in a predetermined form.

また、炉心性能計算で求まる熱出力分布を用いた入口冷却材流量を推定する方法に関する技術がある。この方法では、燃料チャンネル内における気泡速度の水平方向分布を考慮して重み値を補正する。   Further, there is a technique related to a method for estimating the inlet coolant flow rate using the heat output distribution obtained by the core performance calculation. In this method, the weight value is corrected in consideration of the horizontal distribution of the bubble velocity in the fuel channel.

また、スマートフォンやタブレットなどのモバイル端末を用い、ECサイトで欲しいものを購入する際、顧客が実際の購買行動に至るまでを支援する技術がある。   Further, there is a technology that assists the customer in actual purchasing behavior when purchasing what he / she wants at an EC site using a mobile terminal such as a smartphone or a tablet.

例えば、端末を操作する操作者の表示中のコンテンツに対する関心度を評価する技術がある。この技術では、情報処理端末の運動量を取得し、コンテンツの表示期間のうち運動量が平均運動量以下の期間の長さに基づいて、コンテンツに対する関心度を評価する。   For example, there is a technique of evaluating the degree of interest in the content being displayed by the operator who operates the terminal. In this technique, the amount of exercise of the information processing terminal is acquired, and the degree of interest in the content is evaluated based on the length of the period during which the amount of exercise is less than or equal to the average amount of exercise in the display period of the content.

また、検出した姿勢に応じて、電気機器の操作対象項目を設定する技術がある。この技術では、姿勢変化を検出し、一定時間立つと姿勢変化と判定している。   In addition, there is a technique for setting an operation target item of an electric device according to the detected posture. In this technique, a posture change is detected, and it is determined that the posture has changed when a person stands for a certain period of time.

また、傾きセンサなどを用いて、携帯端末の傾きを検出する技術がある。この技術では、傾きの変位にしたがって、携帯端末の表示部に表示されるオブジェクトの処理をし、操作時の誤操作を抑制している。   In addition, there is a technique for detecting the tilt of a mobile terminal using a tilt sensor or the like. In this technique, the object displayed on the display unit of the mobile terminal is processed according to the displacement of the tilt, and an erroneous operation at the time of operation is suppressed.

また、コンテンツにアクセスする情報処理端末から取得する情報に基づいて、コンテンツに対する情報処理端末を利用するユーザの関心度及び困惑度を算出する技術がある。この技術では、ウェッブサイトの滞在時間及び端末操作によって関心度を算出している。また、操作パターンによって困惑度を算出している。   In addition, there is a technique of calculating the degree of interest and the degree of confusion of a user who uses the information processing terminal for the content, based on information acquired from the information processing terminal that accesses the content. In this technique, the degree of interest is calculated by the staying time of the website and the terminal operation. Also, the degree of confusion is calculated based on the operation pattern.

特開2012−176232号公報JP2012-176232A 特開2002−267787号公報JP 2002-267787 A 特開2018−036912号公報JP, 2008-036912, A 特開2008−64849号公報JP, 2008-64849, A 特開2016−57461号公報JP, 2016-57461, A 特開2007−309803号公報JP, 2007-309803, A 国際公開番号WO2014/185444号公報International publication number WO2014 / 185444 特開2016−103269号公報JP, 2016-103269, A 特開2009−100366号公報JP, 2009-100366, A 特開2018−41327号公報JP, 2018-41327, A 特開2018−67158号公報JP, 2018-67158, A 特開2007−226371号公報JP, 2007-226371, A 特開2015−149051号公報JP, 2005-149051, A 特開2018−126374号公報JP, 2008-126374, A

しかし、従来の技術においては、ユーザの端末の持ち方などの変化に伴い、端末の姿勢に変化が生じてしまうと、関心度を評価するために必要なパラメータを推定し直す必要があり、即座に関心度を評価することが困難であるという問題があった。   However, in the conventional technology, when the posture of the terminal changes due to a change in the way the user holds the terminal, it is necessary to re-estimate the parameters required to evaluate the degree of interest. There was a problem that it was difficult to evaluate the degree of interest.

本発明は、一つの側面として、端末の姿勢変化に対してリアルタイムに関心度を評価するためのパラメータを推定することを目的とする。   One aspect of the present invention is to estimate a parameter for evaluating the degree of interest in real time with respect to a change in the attitude of a terminal.

一つの態様として、第1の期間に観測された端末の端末運動量の第1分布を求め、前記第1分布における既定の順位に相当する端末運動量から、前記端末の操作者の関心度を評価するためのパラメータの暫定値を定める。前記第1の期間よりも後の期間となる第2の期間に観測された前記端末運動量の第2分布を求める。前記第1分布の重心と前記第2分布の重心とを比較し、前記比較の結果に応じて、前記第1分布における既定の順位を補正し、前記パラメータを更新する。   As one aspect, a first distribution of terminal momentum of the terminal observed in the first period is obtained, and the degree of interest of the operator of the terminal is evaluated from the terminal momentum corresponding to a predetermined rank in the first distribution. The provisional values of the parameters for A second distribution of the terminal momentum observed during a second period, which is a period after the first period, is obtained. The center of gravity of the first distribution and the center of gravity of the second distribution are compared, the predetermined rank in the first distribution is corrected, and the parameters are updated according to the result of the comparison.

一つの側面として、端末の姿勢変化に対してリアルタイムに関心度を評価するためのパラメータを推定することができる、という効果を有する。   As one aspect, there is an effect that it is possible to estimate a parameter for evaluating the degree of interest in real time with respect to the attitude change of the terminal.

関心度評価における信頼度のグラフの一例を示すである。It is an example of a graph of reliability in interest level evaluation. 本発明の第1の実施形態に係る関心度評価システムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the interest degree evaluation system which concerns on the 1st Embodiment of this invention. 端末運動量からのパラメータの定め方の一例を示す図である。It is a figure which shows an example of how to determine the parameter from a terminal momentum. 端末運動量の低い領域に分布重心がある場合のパラメータの定め方の一例を示す図である。It is a figure which shows an example of how to determine a parameter when a distribution centroid exists in the area | region with low terminal momentum. 分布同士の重心距離を用いて比較する場合の一例を示す図である。It is a figure which shows an example at the time of comparing using the gravity center distance of distributions. 端末運動量の度数分布のデータ構造の例を示す図である。It is a figure which shows the example of a data structure of frequency distribution of terminal momentum. 第1の実施形態の情報処理端末として機能するコンピュータの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the computer which functions as an information processing terminal of 1st Embodiment. コンテンツサーバとして機能するコンピュータの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the computer which functions as a content server. 本発明の第1の実施形態に係る関心度評価処理の一例を示すフローチャートである。It is a flow chart which shows an example of interest degree evaluation processing concerning a 1st embodiment of the present invention. パラメータ推定部の処理の一例を示すフローチャートである。It is a flow chart which shows an example of processing of a parameter estimating part. 本発明の第1の実施形態の手法の実験結果の一例を示すグラフである。It is a graph which shows an example of the experimental result of the method of the 1st Embodiment of this invention. 姿勢変化が生じていない時の端末運動量と姿勢とをクラスタリングした場合の一例を示す図である。It is a figure which shows an example at the time of clustering the terminal momentum and posture when a posture change has not occurred. 姿勢変化が生じた時の端末運動量と姿勢とをクラスタリングした場合の一例を示す図である。It is a figure which shows an example in the case of clustering the terminal momentum and posture when a posture change occurs. 体幹運動を姿勢ベクトルの揺らぎの大きさで定量化した場合の一例を示す図である。It is a figure which shows an example at the time of quantifying a trunk movement by the magnitude of the fluctuation of a posture vector. 姿勢ベクトルの各々から換算運動量を求める場合の一例を示す図である。It is a figure which shows an example at the time of calculating | requiring conversion momentum from each of posture vector. 姿勢変化を考慮しない場合に用いるパラメータのタイムチャートの一例を示す図である。It is a figure which shows an example of the time chart of the parameter used when not considering a posture change. 図17は、姿勢変化を考慮した場合に用いるパラメータのタイムチャートの一例を示す図である。FIG. 17 is a diagram showing an example of a time chart of parameters used when the posture change is considered. 本発明の第2の実施形態に係る関心度評価システムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the interest degree evaluation system which concerns on the 2nd Embodiment of this invention. 短期間パラメータ推定部の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of a short term parameter estimation part. 長期間パラメータ推定部の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of a long term parameter estimation part. 第2の実施形態の情報処理端末として機能するコンピュータの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the computer which functions as an information processing terminal of 2nd Embodiment. 本発明の第2の実施形態に係る関心度評価処理の一例を示すフローチャートである。It is a flow chart which shows an example of interest degree evaluation processing concerning a 2nd embodiment of the present invention. 長期間パラメータ推定部の処理の一例を示すフローチャートである。It is a flow chart which shows an example of processing of a long-term parameter estimating part. 姿勢変化判定部の処理の一例を示すフローチャートである。It is a flow chart which shows an example of processing of a posture change judgment part. パラメータ統合部の処理の一例を示すフローチャートである。It is a flow chart which shows an example of processing of a parameter integration part. 本発明の第2の実施形態の手法の実験結果の一例を示すグラフである。It is a graph which shows an example of the experimental result of the method of the 2nd Embodiment of this invention.

本発明の各実施形態を説明する前に、まず前提となる背景を説明する。   Before describing each embodiment of the present invention, a background of the premise will be described first.

近年パソコンだけでなくスマートフォン(以下、スマホと記載する)やタブレットなどのスマートデバイスの端末で情報を検索し、欲しい情報を入手するというスタイルも多くなってきている。このような利用シーンでユーザの関心度が検出できれば、マーケティング効果のみならず新たなサービスが可能となる。ECサイトにおけるWeb接客を代表的な例として、個人個人の嗜好に合わせてOne To Oneで施策を打っていくことが、注目されている。この場合、Webページにアクセスしたという情報だけでなく、実際にその内容に関心を持ったか、関心を持ったのはページのどこなのか、までを知ることができれば、顧客情報として重要な情報となりうる。そしてそのようなデータと購買データが集まれば、どういった人が購入し、またペルソナを仮定した時にどのような施策をうてばいいのかを示唆してくれるようになる。   In recent years, not only personal computers but also smartphones (hereinafter referred to as smartphones) and smart device terminals such as tablets are used to search for information and obtain the desired information. If the degree of interest of the user can be detected in such a usage scene, not only the marketing effect but also a new service becomes possible. Taking Web service on EC sites as a typical example, it is drawing attention to implement measures by One To One according to individual tastes. In this case, if it is possible to know not only the information that the Web page was accessed but also the actual interest in the content and where on the page it was interested, it becomes important information as customer information. sell. And when such data and purchasing data are gathered, it will suggest what kind of person should buy and what kind of measures should be taken when assuming a persona.

このような背景において、端末を注視するのに端末の運動を加味して関心度を評価する手法がある(特許文献3参照)。   Against this background, there is a method of evaluating the degree of interest in consideration of the movement of the terminal when gazing at the terminal (see Patent Document 3).

この手法では、関心度評価に基づく情報提供をリアルタイムに行っている。この手法では、関心のあるコンテンツを閲覧しているときは、ユーザは画面を注視すべく端末を固定するため、端末運動が抑えられることに着目している。この手法では、単位時間当たりの端末運動が一定レベル以下で所定時間続いたときを関心があるものとし、端末運動の大きなところでは関心度を下げるように信頼度の重み付けをするモデル式を定めている。端末運動のベースライン値はユーザ個人の操作の癖に依存するものであるため、個人毎に信頼度の重み付けを制御することで、個人に合せた関心度評価が可能になる。   In this method, information is provided in real time based on interest level evaluation. In this method, when the user is browsing the content of interest, the user fixes the terminal so as to gaze at the screen, so that the terminal movement is suppressed. In this method, it is assumed that the user is interested when the terminal motion per unit time is below a certain level and continues for a predetermined time, and a model formula for weighting the reliability is set so as to reduce the interest in a large terminal motion. There is. Since the baseline value of the terminal exercise depends on the habit of individual operation of the user, by controlling the weighting of the reliability for each individual, it is possible to evaluate the interest level according to the individual.

また、関心度評価にあたり個人の操作の癖を検出する手法がある。この手法では、端末運動量に関するパラメータを推定するために、ある期間の端末運動量のみならず、姿勢情報や操作情報など次元を付加して求めることで、ノイズとなる情報を除去し精度よく関心度を求めている。ただしこの手法は、あとから分析を通じて個人特性を評価することを主眼においている。Webサイトを現時点で訪問しているユーザの心理に合わせて適切な働きかけを行うサービスを実現するためにはリアルタイムな関心度評価が必要である。しかし、この手法は、姿勢変化中の端末運動量の影響を小さくするため、所定時間(例えば、40秒などの比較的長期間)において検出された端末運動量のクラスタリングを行う必要があり、リアルタイムな関心度評価に対応できていなかった。そのため、この手法では、最初の学習期間のパラメータ推定値がなく、姿勢変化が生じた場合の関心度評価の追従が難しい、という問題があった。   In addition, there is a method of detecting the habit of individual operation in the evaluation of interest level. In this method, in order to estimate the parameters related to terminal momentum, not only the terminal momentum for a certain period but also dimensions such as posture information and operation information are added to obtain information that becomes noise, and the degree of interest is accurately determined. Seeking However, this method focuses on evaluating individual characteristics through analysis later. Real-time interest level evaluation is necessary to realize a service that appropriately works according to the psychology of a user who is visiting a website at the present time. However, in this method, in order to reduce the influence of the terminal momentum during posture change, it is necessary to perform clustering of the terminal momentums detected in a predetermined time (for example, a relatively long period such as 40 seconds), and the real-time interest It was not able to correspond to the degree evaluation. Therefore, this method has a problem that there is no parameter estimation value in the first learning period, and it is difficult to follow the interest degree evaluation when a posture change occurs.

このようなリアルタイムな評価を行うために必要なパラメータ推定手法に関し、従来技術の開示において主に2つ手法が挙げられる。一つはパラメトリック推定であり、最尤推定法がその代表的な手法である。最尤推定は、事後確率を最大化する推定方法で、このためには確率モデルが既知である必要がある。特許文献4や特許文献5は、それぞれ音声認識、話者分離にパラメトリック推定を用いる例である。   Regarding the parameter estimation method necessary for performing such real-time evaluation, there are mainly two methods in the disclosure of the related art. One is parametric estimation, and the maximum likelihood estimation method is a typical method. Maximum-likelihood estimation is an estimation method that maximizes posterior probability, and for this purpose a probabilistic model must be known. Patent Document 4 and Patent Document 5 are examples in which parametric estimation is used for speech recognition and speaker separation, respectively.

もう一つはノンパラメトリック推定手法で、推定したい確率密度関数の形が予め定められておらず、データに依存して決まるものである。ヒストグラムを用いた手法は、ノンパラメトリック推定の最も簡単な手法のひとつである。ノンパラメトリック推定を用いた技術として、例えば、ジャイロセンサのデータを用いた移動体の自律航法において、ヒストグラムのマッチングによって回転方向や並進方向の変位量を求めることが挙げられる(特許文献6〜8)。   The other is a nonparametric estimation method, in which the shape of the probability density function to be estimated is not predetermined but is determined depending on the data. The method using the histogram is one of the simplest methods for nonparametric estimation. As a technique using non-parametric estimation, for example, in autonomous navigation of a moving body using data of a gyro sensor, it is possible to obtain a displacement amount in a rotation direction or a translation direction by matching histograms (Patent Documents 6 to 8). ..

ところが、特許文献4及び特許文献5のようなパラメトリック推定手法は、手に持った時の端末の運動をいくつかの信号発生源で表すような確率密度関数のモデル化は難しいことから、関心度評価には適用ができないものである。また特許文献6〜8の手法も、比較対象となる分布が必要であり、関心度評価の用途に向かないものである。つまりどちらにしても参照するデータが必要で、初めて訪れたWebページを閲覧する際、最初の区間で個人の操作の癖に合せて関心度を把握するのはこれまで困難だった。   However, in the parametric estimation methods as disclosed in Patent Documents 4 and 5, it is difficult to model a probability density function that represents the motion of a terminal when held in a hand by some signal sources. It cannot be applied to evaluation. Further, the methods of Patent Documents 6 to 8 also require distributions to be compared and are not suitable for use in interest degree evaluation. In other words, in any case, the data to be referred to is required, and it has been difficult to grasp the degree of interest according to the habit of individual operation in the first section when browsing the first visited Web page.

本発明の各実施形態は、以上の点に鑑み、個人の操作の癖に関する、関心度評価に用いるパラメータの推定値を逐次的に更新する方法を提供するものである。   In view of the above points, each embodiment of the present invention provides a method for sequentially updating the estimated value of the parameter used for evaluation of interest regarding the habit of individual operation.

本発明の各実施形態の前提となる関心度評価の原理について簡単に説明する。   The principle of interest level evaluation, which is the premise of each embodiment of the present invention, will be briefly described.

関心度は、例えば以下(1)式により計算する。   The interest level is calculated by the following equation (1), for example.

関心度=Σ(操作種係数×操作時間×信頼度) ・・・(1) Degree of interest = Σ (operation type coefficient × operation time × reliability) (1)

操作種係数は、端末の操作面に対するタッチ状態を解析することで算出されたスクロール速度や、端末運動量の検出において検出されたセンサ値等に基づいて定められる係数であり、適宜、着目する操作に応じて定めればよい。操作時間は、単位時間のうちのユーザの操作種毎の操作時間である。信頼度は、注視状態、及び非注視状態に基づいて定められる値である。注視状態、及び非注視状態は、ユーザが関心を持ってスマホの画面を注視しているときは、端末の動きが小さくなるという原理に基づくものである。なお、関心度の算出に、操作時間に加えて無操作時間を用いてもよい。   The operation type coefficient is a coefficient that is determined based on the scroll speed calculated by analyzing the touch state on the operation surface of the terminal, the sensor value detected in the detection of the terminal momentum, and the like It may be determined according to The operation time is the operation time for each operation type of the user within the unit time. The reliability is a value determined based on the gaze state and the non-gaze state. The gaze state and the non-gaze state are based on the principle that the movement of the terminal becomes small when the user is gazing at the screen of the smartphone with interest. Note that the non-operation time may be used in addition to the operation time for calculating the interest level.

信頼度については、図1に示すように、端末運動量が大きくなるほど低下する信頼度の曲線を考える。この信頼度の曲線において、個人特性パラメータは2つのパラメータで表すことができる。図1の信頼度のグラフに示すように、ひとつは、信頼度を最大値から低下させ始める端末運動量のパラメータPthであり、もうひとつは、信頼度を最小値(例えば、0)にする端末運動量のパラメータPである。 As for the reliability, as shown in FIG. 1, consider a reliability curve that decreases as the terminal momentum increases. In this reliability curve, the individual characteristic parameter can be represented by two parameters. As shown in the reliability graph of FIG. 1, one is a terminal momentum parameter P th that starts to decrease the reliability from the maximum value, and the other is a terminal that sets the reliability to the minimum value (for example, 0). The momentum parameter P 0 .

上記のクラスタリングを用いた手法においては、パラメータPthは、注視状態における平均的な端末運動量を表すもので、例えば、分布が最も集中するクラスタの平均的な端末運動量とみなしていた。よって信頼度も高いものとして扱うことができる。Pは、非注視状態における平均的な端末運動量を表すものである。 In the method using clustering described above, the parameter P th represents the average terminal momentum in the gaze state, and is considered to be, for example, the average terminal momentum of the cluster in which the distribution is most concentrated. Therefore, it can be treated as having high reliability. P 0 represents the average terminal momentum in the non-gaze state.

クラスタリング手法では、端末運動量を、注視中、非注視中に分別するのに、運動量のみならず姿勢や端末操作といった情報を加え次元を増やしてクラスタリングすることで、パラメータPthの推定精度を上げている。クラスタリングによって得られたパラメータPthを適用して関心度を評価することで、時系列のなかで関心度がどこで高まったかが、ユーザによる差異を補償して関心度の上下が分かるようになる。ただし、この手法はあとから分析するときに使えても、リアルタイムに関心度を評価しそれに応じてユーザにフィードバックするような使い方が困難であった。 In the clustering method, in order to classify the terminal momentum during the gazing and the non-gazing, by adding not only the momentum but also information such as the posture and the terminal operation to increase the dimension and perform clustering, the estimation accuracy of the parameter P th is improved. There is. By evaluating the degree of interest by applying the parameter P th obtained by the clustering, it becomes possible to understand where the degree of interest has increased in the time series by compensating for the difference between the users and to know the upper and lower sides of the degree of interest. However, even if this method can be used for later analysis, it was difficult to evaluate the degree of interest in real time and give feedback to the user accordingly.

一方、クラスタリング手法により、ユーザの端末操作における特定の目的であるタスク(文章を読む、画像を見る等)を行っている場合、ある区間において、パラメータが変化するような結果を示すことがわかっている。クラスタ分析で推定されたパラメータPthはタスクの性質によっても変化するものであるし、また同じタスクの中でもクラスタを分析するタイミングによってもパラメータPthは変化するものである。このようなパラメータPthの特性に対して、関心度の有り無しが明確になるようにパラメータが定められる。 On the other hand, by using the clustering method, it was found that when a task (reading a sentence, looking at an image, etc.), which is a specific purpose of the user's terminal operation, is performed, the results show that the parameters change in a certain section. There is. Cluster analysis parameters P th estimated in those to those changes by the nature of the task, also a parameter P th by the timing analyzing the cluster among the same task changes. With respect to such characteristics of the parameter P th , the parameters are determined so that it is clear whether or not there is a degree of interest.

リアルタイムに関心度を評価する場合であっても、評価の対象とする区間の長さの差こそあれ、あるタスクのある区間に観測された端末運動量からパラメータを推定し、パラメータPthを閾値として注視の有無を区別することは同様である。その区間がショートタームかロングタームかの違いこそあれ、ある区間観測された端末運動量のデータについて区分けができ、区分けしたデータを元に関心度が上下すれば、リアルタイムに関心度を評価することが可能になると考えられる。このため、リアルタイムには、注視に関するパラメータPthが定まれば、パラメータPthより大きな運動量が観測された場合は、都度計算している関心度を下げればよい。非注視に関するパラメータPを求めることは必須ではないため、実時間ではパラメータPthを求めればよいことになる。 Even when the degree of interest is evaluated in real time, there is a difference in the length of the section to be evaluated, a parameter is estimated from the terminal momentum observed in a certain section of a certain task, and the parameter P th is set as a threshold value. Distinguishing whether or not there is a gaze is similar. Regardless of whether the section is a short term or a long term, it is possible to divide the data of the terminal momentum observed in a certain section, and if the interest level rises or falls based on the divided data, the interest level can be evaluated in real time. It will be possible. Therefore, the real-time, if the parameter P th regarding gaze is determined, if a large momentum than parameter P th is observed, it lowered the interest that each time calculated. Since it is not essential to obtain the parameter P 0 regarding non-gaze, it is sufficient to obtain the parameter P th in real time.

そこで本発明の第1の実施形態では、リアルタイムに関心度を評価するためのパラメータPthを、端末運動量の分布に基づいて推定する。 Therefore, in the first embodiment of the present invention, the parameter P th for evaluating the interest level in real time is estimated based on the distribution of the terminal momentum.

以下、図面を参照して本発明の第1の実施形態の一例を詳細に説明する。   Hereinafter, an example of the first embodiment of the present invention will be described in detail with reference to the drawings.

<第1の実施形態>
図2に示すように、第1の実施形態に係る関心度評価システム10は、コンテンツサーバ12と、情報処理端末16(以下、単に「端末」と記載する場合もある)とを備える。コンテンツサーバ12と、情報処理端末16とは、インターネット等のネットワーク14を介して接続される。なお、情報処理端末16がパラメータ推定装置の一例である。
<First Embodiment>
As shown in FIG. 2, the interest level evaluation system 10 according to the first embodiment includes a content server 12 and an information processing terminal 16 (hereinafter, sometimes simply referred to as “terminal”). The content server 12 and the information processing terminal 16 are connected via a network 14 such as the Internet. The information processing terminal 16 is an example of the parameter estimation device.

コンテンツサーバ12は、情報処理端末16からのコンテンツの要求信号に応じて、コンテンツを情報処理端末16へ送信する。   The content server 12 transmits the content to the information processing terminal 16 in response to the content request signal from the information processing terminal 16.

情報処理端末16は、通信部18と、制御部20と、表示部22と、ユーザ操作検出部24と、端末運動量検出部26と、タッチ状態解析部28と、を備えている。また、情報処理端末16は、第一分布算出部30と、第二分布算出部32と、比較部34と、パラメータ更新部36と、関心度評価部38とを備えている。   The information processing terminal 16 includes a communication unit 18, a control unit 20, a display unit 22, a user operation detection unit 24, a terminal exercise amount detection unit 26, and a touch state analysis unit 28. In addition, the information processing terminal 16 includes a first distribution calculating unit 30, a second distribution calculating unit 32, a comparing unit 34, a parameter updating unit 36, and an interest degree evaluating unit 38.

通信部18は、コンテンツサーバ12との間で情報の送受信を行う。例えば、通信部18は、コンテンツサーバ12から送信されたコンテンツを受信する。また、通信部18は、後述する制御部20によって出力されたコンテンツの要求信号をコンテンツサーバ12へ送信する。   The communication unit 18 sends and receives information to and from the content server 12. For example, the communication unit 18 receives the content transmitted from the content server 12. The communication unit 18 also transmits a content request signal output by the control unit 20 described later to the content server 12.

制御部20は、通信部18によって受信されたコンテンツが表示されるように、後述する表示部22を制御する。   The control unit 20 controls the display unit 22 described below so that the content received by the communication unit 18 is displayed.

表示部22は、例えばLiquid Crystal Display(LCD)、Organic Electroluminescence Display(OELD)等のディスプレイによって実現される。表示部22では、ユーザのタッチなどの入力操作などに応じて画面変化が発生する。表示部22は、制御部20による制御に応じてコンテンツを提示する。   The display unit 22 is realized by a display such as a Liquid Crystal Display (LCD) or an Organic Electroluminescence Display (OELD). On the display unit 22, a screen change occurs according to an input operation such as a touch of the user. The display unit 22 presents the content under the control of the control unit 20.

ユーザ操作検出部24は、情報処理端末16にコンテンツを表示している間に、表示部22に重畳されたタッチパネルからユーザによる操作の入力を受け付け、ユーザによる入力操作の種別、及び入力操作の有無を検出する。具体的には、ユーザ操作検出部24は、ユーザによるタップ、フリック、スワイプ、ピンチなどの入力操作の種別を検出する。また、ユーザ操作検出部24は、入力操作の種別から画面をスクロールさせるスクロール操作を検出する。そして、ユーザ操作検出部24は、単位時間のうちの操作の操作時間を計測する。   The user operation detection unit 24 receives an operation input by the user from the touch panel superimposed on the display unit 22 while displaying the content on the information processing terminal 16, determines the type of the input operation by the user, and the presence / absence of the input operation. To detect. Specifically, the user operation detection unit 24 detects the type of input operation such as tap, flick, swipe, and pinch by the user. The user operation detection unit 24 also detects a scroll operation for scrolling the screen based on the type of input operation. Then, the user operation detection unit 24 measures the operation time of the operation in the unit time.

端末運動量検出部26は、所定のサンプル間隔毎に端末の運動に係るセンサ値を端末運動量として検出する。第1の実施形態では、端末運動量検出部26は、9軸センサによって実現される態様を説明する。9軸センサは、3軸の角速度センサ、3軸の加速度センサ、及び3軸の地磁気センサの3種類のセンサから構成されるジャイロセンサである。但し、端末運動量検出部26のジャイロセンサは、上記の3種類のうちの1種類以上のセンサによって実現してもよい。   The terminal momentum detection unit 26 detects a sensor value related to the movement of the terminal as the terminal momentum at predetermined sample intervals. In the first embodiment, a mode in which the terminal momentum detecting unit 26 is realized by a 9-axis sensor will be described. The 9-axis sensor is a gyro sensor including three types of sensors, namely, a 3-axis angular velocity sensor, a 3-axis acceleration sensor, and a 3-axis geomagnetic sensor. However, the gyro sensor of the terminal momentum detection unit 26 may be realized by one or more types of the above three types of sensors.

タッチ状態解析部28は、タッチパネルをタッチ中か否かのタッチ状態とタッチの操作種に応じた操作状態を検出する。タッチの操作種とは、ズームやスクロールなどであり、それぞれの操作による操作状態、例えば、タッチ開始、タッチ継続中、LEAVE(タッチ終了などの非タッチ状態)、スクロール位置、及びスクロール速度を検出する。   The touch state analysis unit 28 detects a touch state indicating whether or not the touch panel is being touched and an operation state corresponding to the operation type of the touch. The touch operation type includes zooming and scrolling, and detects the operation state by each operation, for example, touch start, touch continuing, LEAVE (non-touch state such as touch end), scroll position, and scroll speed. ..

ここで、第1の実施形態におけるパラメータPthの推定方法の前提及び原理について説明する。 Here, the premise and principle of the estimation method of the parameter P th in the first embodiment will be described.

まず典型的なパラメータPthの推定方法を説明する。図3に示すように、あるタスクのある区間に観測された端末運動量の中央値を求め、中央値をパラメータPthとして、パラメータPthより端末運動量が小さい区間を注視区間、パラメータPthより端末運動量が大きい区間を非注視区間とする。このようにパラメータPthを推定することである区間で観測された端末運動量の大小に応じて都度計算される関心度が上下することは達成できる。 First, a typical method of estimating the parameter P th will be described. As shown in FIG. 3, the median value of the terminal momentum observed in a certain section of a certain task is obtained, the median value is set as a parameter P th , the section in which the terminal momentum is smaller than the parameter P th is a gaze section, and the terminal is set from the parameter P th A section with a large amount of exercise is defined as a non-gaze section. In this way, estimating the parameter P th can increase or decrease the degree of interest calculated each time according to the magnitude of the terminal momentum observed in a certain section.

この手法が先のクラスタリング手法と異なるのは、次元が1次元の情報を区別するのに、端末運動量を小さい順又は大きい順にソートしたときの順位を用いてパラメータPthを推定していることにある。1次元情報でクラスタリングするのは分別が難しいケースがありうるが、順位で分別する手法は必ず解が存在する。その代わり、この手法は、端末運動量の分布がある程度均等にばらける前提の手法である。分布が偏るケースでは、クラスタに含まれる要素数に自由度があるクラスタリング手法がうまく作用する。そして現実にそのようなケースはしばしばみられる。そのようなケースに分布に基づく推定手法を適用して、ソートした時の順位で分別をすると不具合が発生することがある。例えば、図4に示すような分布である。注視の区間が多く端末運動量の低い領域に分布重心がある場合、中央値をパラメータPthにしてしまうと評価結果が厳しくなりすぎてしまい、関心度の評価の閾値としては不適切であることがわかっている。このようなケースでは中央値のパラメータPthより端末運動量が大きいパラメータP′thへとシフトする補正をすることで、推定値を緩くする必要がある。 This method is different from the previous clustering method in that the parameter P th is estimated by using the rank when the terminal momentums are sorted in ascending or descending order in order to distinguish information whose dimension is one-dimensional. is there. Although there may be a case where it is difficult to classify by clustering with one-dimensional information, there is always a solution in the method of classifying by rank. Instead, this method is a method based on the assumption that the distribution of terminal momentum varies to some extent. In the case where the distribution is biased, a clustering method that has flexibility in the number of elements included in the cluster works well. And in reality such cases are often seen. If a distribution-based estimation method is applied to such a case and classification is performed in order of sorting, a problem may occur. For example, the distribution is as shown in FIG. If the distribution centroid is in a region with many gaze sections and low terminal momentum, the evaluation result becomes too strict if the median value is set to the parameter P th , which may be inappropriate as a threshold for evaluation of interest. know. In such a case, it is necessary to loosen the estimated value by performing a correction to shift to a parameter P ′ th having a larger terminal momentum than the median parameter P th .

また、注視中とみなすパラメータPthの推定値が得られているとき、分布が不変とするなら以後観測される端末運動量から求まるパラメータPthが、注視中の端末運動量と推定されたパラメータPthを下回ることはないことがわかっている。逆に下回るとしたら、下回った端末運動量が本来の注視の閾値であり、それまでのパラメータPthの推定値を補正するように更新する必要がある。この状態を検出するにあたっては、リアルタイムの時系列データであれば、それまでに観測された端末運動量の累積度数分布と、新たに観測された端末運動量の度数分布との変化に着目する。このような変化が繰り返されれば、累積度数分布が変化していることになる。端末運動量の低い領域に分布の重心がある場合というのはこのような結果発生する。 Further, when the estimated value of the parameter P th regarded as in gaze is obtained, the parameter P th which is obtained from a terminal momentum observed thereafter if distribution is unchanged, was estimated to terminal momentum in gaze parameter P th We know that it will never fall below. On the contrary, if it falls below, the lowered terminal momentum is the original gaze threshold value, and it is necessary to update so as to correct the estimated value of the parameter P th so far. In detecting this state, in the case of real-time time-series data, attention is paid to changes in the cumulative frequency distribution of the terminal momentums observed up to that time and the newly observed frequency distribution of the terminal momentums. If such a change is repeated, it means that the cumulative frequency distribution has changed. The case where the center of gravity of the distribution exists in the region where the terminal momentum is low occurs as a result.

以上の前提を踏まえてユーザのパラメータPthをリアルタイムで推定する原理を説明する。まずリアルタイムにパラメータPthの推定値を更新する仕組みとして、それまでに観測された端末運動量を、大きさの順に並べたときの既定の順位(例えば中央値とする)でパラメータPthの推定値を定める。そして、端末運動量の度数分布において注視中か否かの閾値となる端末運動量の中央値に変化が見られた場合に、変化の度合いに応じて既定の順位を補正する。上記で説明したように、分布に変化がなければ、既定の順位により定まるパラメータPthは、注視中の端末運動量の下限と捉えることができる。つまり、新たな度数分布における端末運動量の中央値が、それまでの累積度数分布の端末運動量の中央値(パラメータPth)を下回るような場合には、注視中の端末運動量について新たな下限となる変化が発見されたことを意味する。具体的には、新たな下限となる変化は、それまでに観測された端末運動量の累積度数分布と、新たに観測された端末運動量の度数分布とを、図5に示すように例えば分布同士の重心を用いて比較することで検出する。新たに観測された端末運動量の度数分布における重心が、それまでに観測された端末運動量の累積度数分布の重心を下回っているとき、推定してきた中央値のパラメータPthが大きく補正されることになる。もっとも、補正の影響があまりに大きいと不適切な値に向かってパラメータPthの変化に拍車がかかってしまう。そこで、既定の順位をどの程度ずらすかを示す変数として補正位Δiを導入し、分布の重心距離が大きいほど大きくずらす補正をしてパラメータPthの推定値を定めるようにする。補正位Δiは、分布の変化がそれほど大きくなければ小さな値に収まるように設計する。なお、以上の説明では、分り易さのため、既定の順位を中央値としたが、これは一例であり、一般化して、所定のパーセンタイルに相当する順位を既定の順位として定めてもよい。 Based on the above assumptions, the principle of estimating the user parameter P th in real time will be described. First as a mechanism for updating the parameter estimates P th in real time, estimated values of the parameters P th in the default order (e.g., the median) when the terminal momentum observed so far, were arranged in the order of magnitude Determine. Then, when there is a change in the median value of the terminal momentum, which is the threshold value of whether or not the user is watching, in the frequency distribution of the terminal momentum, the predetermined rank is corrected according to the degree of change. As described above, if the distribution does not change, the parameter P th determined by the predetermined rank can be regarded as the lower limit of the terminal momentum during gazing. That is, when the median value of the terminal momentum in the new frequency distribution is lower than the median value of the terminal momentum (parameter P th ) in the cumulative frequency distribution up to that point, a new lower limit is set for the terminal momentum during gazing. Means that a change has been discovered. Specifically, the new lower limit change is, for example, between the cumulative frequency distribution of the terminal momentums observed up to that time and the newly observed frequency distribution of the terminal momentums, as shown in FIG. It is detected by comparing using the center of gravity. When the centroid in the frequency distribution of the newly observed terminal momentum is lower than the centroid of the cumulative frequency distribution of the terminal momentum observed up to that point, the estimated median parameter P th is significantly corrected. Become. However, if the influence of the correction is too large, the change of the parameter P th will be accelerated toward an inappropriate value. Therefore, the correction position Δi is introduced as a variable indicating how much the predetermined rank is shifted, and the larger the center of gravity of the distribution, the larger the correction is performed to determine the estimated value of the parameter P th . The correction position Δi is designed so as to be within a small value if the change in distribution is not so large. In the above description, the default rank is the median value for ease of understanding, but this is an example, and the rank corresponding to a predetermined percentile may be defined as the default rank.

以上のパラメータPthの推定方法の原理を踏まえて以下の各処理について説明する。 Each of the following processes will be described based on the principle of the method of estimating the parameter P th .

第一分布算出部30は、端末運動量検出部26で検出した端末運動量に基づいて、第1の期間に観測された端末運動量の累積度数分布を求める。第一分布算出部30は、累積度数分布における既定の順位から、端末の操作者の関心度を評価するための信頼度のパラメータPthの暫定値を定める。第1の実施形態では既定の順位は中央値とする。累積度数分布が第1分布の一例である。また、第一分布算出部30の処理を開始してからリセットするまでの累積の期間が第1の期間の一例である。また、ここでは第1の期間は、後述する第2の期間の直前の期間とする。 The first distribution calculation unit 30 obtains the cumulative frequency distribution of the terminal momentums observed in the first period based on the terminal momentums detected by the terminal momentum detection unit 26. The first distribution calculation unit 30 determines a provisional value of the reliability parameter P th for evaluating the degree of interest of the operator of the terminal from the predetermined rank in the cumulative frequency distribution. In the first embodiment, the default rank is the median value. The cumulative frequency distribution is an example of the first distribution. The cumulative period from the start of the process of the first distribution calculation unit 30 to the reset is an example of the first period. Further, here, the first period is a period immediately before a second period described later.

第一分布算出部30は、最初に、端末運動量検出部26からの端末運動量の入力を待ち、既定のサンプル数が集まったところで処理を開始する。第1の実施形態では度数分布の比較を行うため、最低でも5サンプル程度の端末運動量のサンプルを得て処理を始めることがよい。例えば100ms毎に端末運動量を取得するのであれば、500ms毎に処理を行うように設計する。10サンプルで1秒である。このようなブロック処理では遅延が生じるが、それが1秒程度であればユーザの操作感には違和感を大きく与えないとされる。1秒以内に収まる程度の範囲で適切なブロック長とサンプル間隔を既定し、必要なサンプル数を決めればよい。そして必要なサンプル数が揃ったところで、それらの端末運動量の累積度数分布を求める。第1の実施形態では5サンプル毎に処理して累積度数分布を求める。つまり、単位時間は0.5秒であり、0.5秒毎に第1の期間が累積していくものとする。第一分布算出部30は、処理が初回であれば、初回の度数分布の中央値をパラメータPthの初期値として設定する。第一分布算出部30は、処理が2回目以降であれば、第1の期間に観測されている端末運動量で累積度数分布を更新し、更新した累積度数分布の中央値でパラメータPthの暫定値を設定し、累積度数分布を比較部34に出力する。なお、新たに観測された端末運動量を加えたうえで累積度数分布を更新し、更新した累積度数分布の中央値でパラメータPthの暫定値を設定し、累積度数分布を比較部34に出力するようにしてもよい。この場合には、第1の期間における累積の期間のうちの直近の単位時間が第2の期間となる。また、新たな度数分布は第二分布算出部32で算出しているため、初回は第二分布算出部32で算出したものを用いればよい。 The first distribution calculating unit 30 first waits for the input of the terminal momentum from the terminal momentum detecting unit 26, and starts the process when a predetermined number of samples are collected. Since the frequency distributions are compared in the first embodiment, it is preferable to start processing after obtaining a sample of terminal momentum of at least about 5 samples. For example, if the terminal exercise amount is acquired every 100 ms, the process is designed to be performed every 500 ms. One sample takes 10 seconds. A delay occurs in such block processing, but if it is about 1 second, it is considered that the user's operational feeling does not feel awkward. It suffices to set an appropriate block length and sample interval within a range of fitting within 1 second and determine the required number of samples. Then, when the required number of samples are prepared, the cumulative frequency distribution of these terminal momentums is obtained. In the first embodiment, the cumulative frequency distribution is obtained by processing every 5 samples. That is, the unit time is 0.5 seconds, and the first period is accumulated every 0.5 seconds. If the process is the first time, the first distribution calculation unit 30 sets the median value of the first frequency distribution as the initial value of the parameter P th . If the process is the second or later, the first distribution calculation unit 30 updates the cumulative frequency distribution with the terminal momentum observed in the first period, and the provisional value of the parameter P th is the median of the updated cumulative frequency distribution. A value is set and the cumulative frequency distribution is output to the comparison unit 34. Note that the cumulative frequency distribution is updated after adding the newly observed terminal momentum, the provisional value of the parameter P th is set by the median of the updated cumulative frequency distribution, and the cumulative frequency distribution is output to the comparison unit 34. You may do it. In this case, the latest unit time of the cumulative period in the first period is the second period. Further, since the new frequency distribution is calculated by the second distribution calculation unit 32, the one calculated by the second distribution calculation unit 32 may be used for the first time.

図6に端末運動量の度数分布のデータ構造の例を示す。このデータ構造には、観測された端末運動量(ジャイロセンサのデータの3軸の値の2乗和)が、それぞれの階級の範囲にあるときに、度数が計数されていく。パラメータPthの暫定値は、最初は補正位Δiを0として、この度数分布の中央値の含まれる階級の階級代表値を選択する。ここで階級代表値とは、例えば階級の範囲を示す下位の境界値と上位の境界値との相乗平均と定める。以降、パラメータPthは、ヒストグラムの度数総数$sumOfFreqを求め、($sumOfFreq+Δi)/2の順位の観測値が含まれる階級の階級代表値を、パラメータPthの暫定値とする。なお、昇順又は降順で端末運動量を並べたときのパーセンタイルの順位でパラメータPthの暫定値を設定してもよい。例えば、累積度数分布のサンプル数が20あり、昇順で並べたときの40パーセンタイルであれば8番目に小さい端末運動量をパラメータPthの暫定値とする。 FIG. 6 shows an example of the data structure of the frequency distribution of terminal momentum. In this data structure, the frequency is counted when the observed terminal momentum (sum of squares of values of three axes of gyro sensor data) is within each class range. As for the provisional value of the parameter P th, the correction position Δi is initially set to 0, and the class representative value of the class including the median of this frequency distribution is selected. Here, the class representative value is defined as, for example, the geometric mean of the lower boundary value and the upper boundary value indicating the range of the class. After that, as the parameter P th , the histogram total number $ sumOfFreq is obtained, and the class representative value of the class including the observed value of the order of ($ sumOfFreq + Δi) / 2 is set as the provisional value of the parameter P th . Note that the provisional value of the parameter P th may be set in the order of percentiles when the terminal momentums are arranged in ascending or descending order. For example, if there are 20 samples in the cumulative frequency distribution and the 40th percentile when arranged in ascending order, the 8th smallest terminal momentum is set as the provisional value of the parameter P th .

第二分布算出部32は、端末運動量検出部26で検出した端末運動量に基づいて、第一分布算出部30の第1の期間よりも後の期間となる第2の期間に観測された端末運動量の新たな度数分布を求める。第1の実施形態では5サンプル毎に累積度数分布を更新しているため、直近に観測された端末運動量が5サンプル得られる毎に新たな度数分布を求める。なお、新たな度数分布が第2分布の一例である。また、直近の5サンプルを観測した期間が第2の期間の一例である。   The second distribution calculating unit 32, based on the terminal momentum detected by the terminal momentum detecting unit 26, the terminal momentum observed in the second period which is a period after the first period of the first distribution calculating unit 30. Find a new frequency distribution for. In the first embodiment, since the cumulative frequency distribution is updated every 5 samples, a new frequency distribution is obtained each time 5 most recently observed terminal momentums are obtained. The new frequency distribution is an example of the second distribution. The period during which the latest 5 samples are observed is an example of the second period.

比較部34は、累積度数分布の重心と新たな度数分布の重心とを比較することにより、累積度数分布における端末運動量の新たな下限となる変化を検出する。第1の実施形態で重心は中央値とする。新たな下限となる変化は、新たな度数分布の重心が、累積度数分布の重心を下回った場合に、新たな下限となる変化が生じたものとして検出する。また、比較部34は、累積度数分布の重心と新たな分布の重心との重心距離を求める。重心距離とは、累積度数分布の重心から新たな度数分布の重心を減算したことによって得られる距離のようなものでもいいが、その代わりに、比をとることでも代用できる。比をとる場合には、累積度数分布の重心に対する新たな度数分布の重心の比とし、分母に累積度数分布の重心をとる。重心の比は、重心から求まる比が1に近いほど重心距離が近いことを意味しており、小さいほど重心距離が離れていることを意味する。重心から求まる比が1より大きい場合は、新たな度数分布の端末運動量からは注視している状態と捉えられないので、考慮しなくてよい。   The comparison unit 34 detects a change that is a new lower limit of the terminal momentum in the cumulative frequency distribution by comparing the centroid of the cumulative frequency distribution with the center of gravity of the new frequency distribution. In the first embodiment, the center of gravity is the median value. The new lower limit change is detected as a new lower limit change when the center of gravity of the new frequency distribution falls below the center of gravity of the cumulative frequency distribution. Further, the comparison unit 34 obtains the center-of-gravity distance between the center of gravity of the cumulative frequency distribution and the center of gravity of the new distribution. The center-of-gravity distance may be a distance obtained by subtracting the center of gravity of a new frequency distribution from the center of gravity of a cumulative frequency distribution, but instead, a ratio may be used instead. When taking the ratio, the ratio of the centroid of the new frequency distribution to the centroid of the cumulative frequency distribution is used, and the centroid of the cumulative frequency distribution is taken as the denominator. The ratio of the center of gravity means that the closer the ratio obtained from the center of gravity is to 1, the closer the center of gravity distance is, and the smaller the ratio is, the farther the center of gravity distance is. If the ratio obtained from the center of gravity is greater than 1, it cannot be considered that the user is gazing from the terminal momentum of the new frequency distribution, and therefore need not be considered.

パラメータ更新部36は、比較部34で新たな下限となる変化を検出した場合に、累積度数分布の重心と新たな度数分布の重心との重心距離に基づいて、累積度数分布の中央値を補正してパラメータPthを更新する。パラメータ更新部36は、比較部34で新たな下限となる変化を検出していない場合は、中央値で定められた暫定値をパラメータPthとして更新する。 When the comparison unit 34 detects a new lower limit change, the parameter updating unit 36 corrects the median of the cumulative frequency distribution based on the distance between the center of gravity of the cumulative frequency distribution and the center of gravity of the new frequency distribution. Then, the parameter P th is updated. When the comparison unit 34 has not detected a new lower limit change, the parameter update unit 36 updates the provisional value defined by the median value as the parameter P th .

パラメータ更新部36の具体的な処理を説明する。パラメータ更新部36は、重心距離に基づいて、以下(2)式により補正位Δi:を計算する。補正位Δi:は補正位Δiに重心距離に応じた重みαを足し合わせた値である。   Specific processing of the parameter updating unit 36 will be described. The parameter updating unit 36 calculates the correction position Δi: by the following equation (2) based on the distance of the center of gravity. The correction position Δi is a value obtained by adding the weight α according to the distance of the center of gravity to the correction position Δi.

Δi:=Δi+α ・・・(2) Δi: = Δi + α (2)

αの値は重心距離に応じた閾値を設けて定めればよい。例えば、0.25を閾値としたとき、重心距離から求まる比が0.25より小さい場合、α=2として、Δi:=Δi+2の計算を行って、補正位として+2の下駄をはかせる補正を行う。そして、累積度数分布において中央値+補正位Δiの順位の端末運動量をパラメータPthの推定値とする。なお、重心距離から求まる値が0.10であれば、α=3として、Δi:=Δi+3などと補正してもよい。 The value of α may be set by providing a threshold value according to the distance of the center of gravity. For example, when the ratio obtained from the center-of-gravity distance is smaller than 0.25 when 0.25 is set as the threshold value, α = 2 is set, Δi: = Δi + 2 is calculated, and a correction of removing +2 as the correction position is performed. To do. Then, the terminal momentum in the order of the median + correction position Δi in the cumulative frequency distribution is used as the estimated value of the parameter P th . If the value obtained from the distance of the center of gravity is 0.10, α = 3 may be set and Δi: = Δi + 3 may be corrected.

関心度評価部38は、タッチ状態解析部28で算出されたスクロール速度、端末運動量検出部26で検出されたセンサ値、ユーザ操作検出部24によって検出された操作時間、及びパラメータ更新部36で更新されたパラメータPthに基づいて、関心度を算出する。関心度評価部38は、上記(1)式に従って単位時間当たりの関心度を算出する。算出手法は前述した通りであるためここでは省略する。 The interest level evaluation unit 38 updates the scroll speed calculated by the touch state analysis unit 28, the sensor value detected by the terminal momentum detection unit 26, the operation time detected by the user operation detection unit 24, and the parameter update unit 36. The degree of interest is calculated based on the calculated parameter P th . The interest level evaluation unit 38 calculates the interest level per unit time according to the above equation (1). Since the calculation method is as described above, it is omitted here.

以上の処理を逐次的に繰り返すわけであるが、状況変化に追従する上では累積度数分布を貯めていく一方でなく、ある程度の時間がきたらリセットして最初から更新をやり直す手法もある。やり直すときは、それまでに更新したパラメータPthの推定値を使うか、先行手法で行っているクラスタリングで推定した値を代わりに用いて進めるなどのやり方が考えられる。 Although the above process is sequentially repeated, there is also a method of accumulating the cumulative frequency distribution in order to follow a situation change, and there is also a method of resetting after a certain amount of time and restarting the update from the beginning. When redoing, it is conceivable to use the estimated value of the parameter P th updated up to that point, or use the value estimated by the clustering performed by the prior method instead and proceed.

情報処理端末16は、例えば、図7に示すコンピュータ50で実現することができる。コンピュータ50はCPU51、一時記憶領域としてのメモリ52、及び不揮発性の記憶部53を備える。また、コンピュータ50は、表示部22、及び表示部22に重畳されたユーザ操作検出部24であるタッチパネル等、及び端末運動量検出部26が接続される入出力interface(I/F)54、及び記録媒体59に対するデータの読み込み及び書き込みを制御するread/write(R/W)部55を備える。また、コンピュータ50は、インターネット等のネットワークに接続されるネットワークI/F56を備える。CPU51、メモリ52、記憶部53、入出力I/F54、R/W部55、及びネットワークI/F56は、バス57を介して互いに接続される。   The information processing terminal 16 can be realized by, for example, the computer 50 shown in FIG. 7. The computer 50 includes a CPU 51, a memory 52 as a temporary storage area, and a non-volatile storage unit 53. Further, the computer 50 includes a display unit 22, a touch panel or the like which is the user operation detection unit 24 superimposed on the display unit 22, an input / output interface (I / F) 54 to which the terminal exercise amount detection unit 26 is connected, and a recording. A read / write (R / W) unit 55 that controls reading and writing of data with respect to the medium 59 is provided. The computer 50 also includes a network I / F 56 connected to a network such as the Internet. The CPU 51, the memory 52, the storage unit 53, the input / output I / F 54, the R / W unit 55, and the network I / F 56 are connected to each other via a bus 57.

記憶部53は、Hard Disk Drive(HDD)、Solid State Drive(SSD)、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部53には、コンピュータ50を情報処理端末16として機能させるための関心度評価プログラム60が記憶されている。関心度評価プログラム60は、通信プロセス62と、制御プロセス63と、ユーザ操作検出プロセス65と、タッチ状態解析プロセス66と、第一分布算出プロセス67と、第二分布算出プロセス68と、比較プロセス69と、パラメータ更新プロセス70と、関心度評価プロセス71とを有する。   The storage unit 53 can be realized by a hard disk drive (HDD), a solid state drive (SSD), a flash memory, or the like. An interest level evaluation program 60 for causing the computer 50 to function as the information processing terminal 16 is stored in the storage unit 53 as a storage medium. The interest level evaluation program 60 includes a communication process 62, a control process 63, a user operation detection process 65, a touch state analysis process 66, a first distribution calculation process 67, a second distribution calculation process 68, and a comparison process 69. And a parameter update process 70 and an interest degree evaluation process 71.

CPU51は、関心度評価プログラム60を記憶部53から読み出してメモリ52に展開し、関心度評価プログラム60が有するプロセスを順次実行する。CPU51は、通信プロセス62を実行することで、図2に示す通信部18として動作する。また、CPU51は、制御プロセス63を実行することで、図2に示す制御部20として動作する。また、CPU51は、ユーザ操作検出プロセス65を実行することで、図2に示すユーザ操作検出部24として動作する。また、CPU51は、タッチ状態解析プロセス66を実行することで、図2に示すタッチ状態解析部28として動作する。また、CPU51は、第一分布算出プロセス67を実行することで、図2に示す第一分布算出部30として動作する。また、CPU51は、第二分布算出プロセス68を実行することで、図2に示す第二分布算出部32として動作する。また、CPU51は、比較プロセス69を実行することで、図2に示す比較部34として動作する。また、CPU51は、パラメータ更新プロセス70を実行することで、図2に示すパラメータ更新部36として動作する。また、CPU51は、関心度評価プロセス71を実行することで、図2に示す関心度評価部38として動作する。これにより、関心度評価プログラム60を実行したコンピュータ50が、情報処理端末16として機能することになる。なお、プログラムを実行するCPU51はハードウェアである。関心度評価プログラム60がパラメータ推定プログラムの一例である。   The CPU 51 reads the interest level evaluation program 60 from the storage unit 53, expands it in the memory 52, and sequentially executes the processes of the interest level evaluation program 60. The CPU 51 operates as the communication unit 18 illustrated in FIG. 2 by executing the communication process 62. Further, the CPU 51 operates as the control unit 20 shown in FIG. 2 by executing the control process 63. Further, the CPU 51 operates as the user operation detection unit 24 shown in FIG. 2 by executing the user operation detection process 65. Further, the CPU 51 operates as the touch state analysis unit 28 shown in FIG. 2 by executing the touch state analysis process 66. Further, the CPU 51 operates as the first distribution calculation unit 30 shown in FIG. 2 by executing the first distribution calculation process 67. Further, the CPU 51 operates as the second distribution calculation unit 32 shown in FIG. 2 by executing the second distribution calculation process 68. Further, the CPU 51 operates as the comparison unit 34 illustrated in FIG. 2 by executing the comparison process 69. Further, the CPU 51 operates as the parameter updating unit 36 shown in FIG. 2 by executing the parameter updating process 70. Further, the CPU 51 operates as the interest level evaluation unit 38 shown in FIG. 2 by executing the interest level evaluation process 71. As a result, the computer 50 that executes the interest level evaluation program 60 functions as the information processing terminal 16. The CPU 51 that executes the program is hardware. The interest level evaluation program 60 is an example of a parameter estimation program.

なお、関心度評価プログラム60により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit(ASIC)等で実現することも可能である。   The function realized by the interest level evaluation program 60 can be realized by, for example, a semiconductor integrated circuit, more specifically, an application specific integrated circuit (ASIC) or the like.

また、コンテンツサーバ12は、例えば、図8に示すコンピュータ80で実現することができる。コンピュータ80はCPU81、一時記憶領域としてのメモリ82、及び不揮発性の記憶部83を備える。また、コンピュータ80は、表示装置及び入力装置等の入出力I/F84、及び記録媒体89に対するデータの読み込み及び書き込みを制御するR/W部85を備える。また、コンピュータ80は、インターネット等のネットワークに接続されるネットワークI/F86を備える。CPU81、メモリ82、記憶部83、入出力I/F84、R/W部85、及びネットワークI/F86は、バス87を介して互いに接続される。   The content server 12 can be realized by, for example, the computer 80 shown in FIG. The computer 80 includes a CPU 81, a memory 82 as a temporary storage area, and a non-volatile storage unit 83. The computer 80 also includes an input / output I / F 84 such as a display device and an input device, and an R / W unit 85 that controls reading and writing of data with respect to the recording medium 89. The computer 80 also includes a network I / F 86 connected to a network such as the Internet. The CPU 81, the memory 82, the storage unit 83, the input / output I / F 84, the R / W unit 85, and the network I / F 86 are connected to each other via a bus 87.

記憶部83は、HDD、SSD、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部83には、コンピュータ80をコンテンツサーバ12として機能させるためのコンテンツ提供プログラム90が記憶されている。また、コンテンツ記憶領域98には、情報処理端末16へ提供可能なコンテンツが予め記憶される。   The storage unit 83 can be realized by an HDD, SSD, flash memory, or the like. A storage unit 83 serving as a storage medium stores a content providing program 90 for causing the computer 80 to function as the content server 12. Further, in the content storage area 98, content that can be provided to the information processing terminal 16 is stored in advance.

なお、コンテンツ提供プログラム90により実現される機能は、例えば半導体集積回路、より詳しくはASIC等で実現することも可能である。   The function realized by the content providing program 90 can also be realized by, for example, a semiconductor integrated circuit, more specifically, an ASIC or the like.

次に、第1の実施形態に係る関心度評価システム10の作用について説明する。関心度評価システム10において、情報処理端末16がコンテンツサーバ12からコンテンツを受信する。そして、情報処理端末16の表示部22に受信したコンテンツが表示され、ユーザ操作検出部24がユーザによる操作の入力を受け付けたときに、情報処理端末16において、図9に示す関心度評価処理が実行される。以下、各処理について詳述する。   Next, the operation of the interest level evaluation system 10 according to the first embodiment will be described. In the interest level evaluation system 10, the information processing terminal 16 receives content from the content server 12. Then, when the received content is displayed on the display unit 22 of the information processing terminal 16 and the user operation detecting unit 24 receives the input of the operation by the user, the information processing terminal 16 performs the interest level evaluation process illustrated in FIG. 9. Executed. Hereinafter, each process will be described in detail.

ステップS100において、ユーザ操作検出部24は、一定時間(ここでは30秒)における単位時間の各々について、入力操作を検出する。具体的には、入力操作の種別、入力操作の時刻、接触位置、各単位時間の操作時間、及び無操作時間を含む操作情報を検出する。   In step S100, the user operation detection unit 24 detects an input operation for each unit time in a fixed time (here, 30 seconds). Specifically, the operation information including the type of the input operation, the time of the input operation, the contact position, the operation time of each unit time, and the non-operation time is detected.

ステップS102において、タッチ状態解析部28は、タッチパネルをタッチ中か否かのタッチ状態とタッチの操作種に応じた操作状態を検出する。操作状態として、タッチ開始、タッチ継続中、LEAVE(タッチ終了などの非タッチ状態)、スクロール位置、及びスクロール速度を検出する。   In step S102, the touch state analysis unit 28 detects a touch state indicating whether or not the touch panel is being touched and an operation state corresponding to the operation type of the touch. As operation states, touch start, touch continuation, LEAVE (non-touch state such as touch end), scroll position, and scroll speed are detected.

ステップS104において、端末運動量検出部26は、パラメータの推定処理を実行する単位時間より短い所定のサンプル間隔毎に端末の運動に係るセンサ値を端末運動量として検出する。センサ値は、3軸の角速度センサ、3軸の加速度センサ、及び3軸の地磁気センサのうちのいずれかのセンサ値とし、所定のサンプル間隔は、例えば、100msとする。   In step S104, the terminal momentum detection unit 26 detects the sensor value related to the terminal motion as the terminal momentum at predetermined sample intervals shorter than the unit time for executing the parameter estimation process. The sensor value is a sensor value of any one of a triaxial angular velocity sensor, a triaxial acceleration sensor, and a triaxial geomagnetic sensor, and the predetermined sample interval is, for example, 100 ms.

ステップS106において、パラメータ更新部36等は、ステップS104で検出した端末運動量に基づいて、端末の操作者の関心度を評価するための信頼度のパラメータPthを更新する。 In step S106, the parameter updating unit 36 and the like update the reliability parameter P th for evaluating the degree of interest of the operator of the terminal based on the terminal momentum detected in step S104.

ステップS108において、関心度評価部38は、ステップS102で検出されたスクロール速度、ステップS104で検出されたセンサ値、ステップS100で検出された操作時間、ステップS106で更新されたパラメータに基づいて、関心度を算出する。   In step S108, the interest level evaluation unit 38 determines the interest based on the scroll speed detected in step S102, the sensor value detected in step S104, the operation time detected in step S100, and the parameter updated in step S106. Calculate the degree.

上記ステップS106の詳細なフローについて図10を参照して説明する。   The detailed flow of step S106 will be described with reference to FIG.

ステップS200で、第一分布算出部30は、ステップS104で新たに検出された端末運動量が必要なサンプル数あるかを判定し、必要なサンプルが集まるまでステップS104に戻って検出を繰り返す。ここでは必要なサンプル数は5とする。   In step S200, the first distribution calculation unit 30 determines whether or not the terminal momentum newly detected in step S104 is the required number of samples, and returns to step S104 and repeats the detection until necessary samples are collected. Here, the required number of samples is five.

ステップS202で、第二分布算出部32は、ステップS102で検出した端末運動量に基づいて、第2の期間に観測された端末運動量の新たな度数分布を求める。   In step S202, the second distribution calculation unit 32 obtains a new frequency distribution of the terminal momentum observed in the second period based on the terminal momentum detected in step S102.

ステップS204で、第一分布算出部30は、初回の処理であるかを判定し、初回の処理であればステップS206へ移行し、初回処理でなければステップS208へ移行する。   In step S204, the first distribution calculation unit 30 determines whether it is the first process, and if it is the first process, the process proceeds to step S206, and if it is not the first process, the process proceeds to step S208.

ステップS206で、第一分布算出部30は、ステップS202で求めた新たな度数分布の中央値を、端末の操作者の関心度を評価するための信頼度のパラメータPthの初期値として設定する。設定後はステップS200に戻って処理を繰り返す。 In step S206, the first distribution calculation unit 30 sets the median value of the new frequency distribution obtained in step S202 as an initial value of the reliability parameter P th for evaluating the degree of interest of the operator of the terminal. .. After the setting, the process returns to step S200 to repeat the process.

ステップS208で、第一分布算出部30は、ステップS102で検出した端末運動量に基づいて、第1の期間に観測された端末運動量の累積度数分布を求める。また、第一分布算出部30は、累積度数分布における中央値を、パラメータPthの暫定値として定める。 In step S208, the first distribution calculation unit 30 obtains the cumulative frequency distribution of the terminal momentums observed in the first period based on the terminal momentums detected in step S102. In addition, the first distribution calculation unit 30 determines the median value in the cumulative frequency distribution as the provisional value of the parameter P th .

ステップS210で、比較部34は、新たな度数分布の重心が、累積度数分布の重心を下回っているかを判定する。下回っていない場合はステップS212へ移行し、下回っている場合は端末運動量の新たな下限となる変化を検出したものとしてステップS214へ移行する。   In step S210, the comparison unit 34 determines whether the centroid of the new frequency distribution is lower than the centroid of the cumulative frequency distribution. If it is not below, the process proceeds to step S212, and if it is below, the process proceeds to step S214 on the assumption that a new lower limit change in the terminal momentum has been detected.

ステップS212で、パラメータ更新部36は、中央値で定められた暫定値をパラメータPthとして更新する。更新後はステップS200に戻って処理を繰り返す。 In step S212, the parameter updating unit 36 updates the provisional value determined by the median value as the parameter P th . After the update, the process returns to step S200 to repeat the process.

ステップS214で、比較部34は、累積度数分布の重心と新たな度数分布の重心との重心距離を求める。   In step S214, the comparison unit 34 obtains the centroid distance between the centroid of the cumulative frequency distribution and the centroid of the new frequency distribution.

ステップS216で、パラメータ更新部36は、累積度数分布の重心と新たな度数分布の重心との重心距離に基づいて、上記(2)式に従って累積度数分布の中央値を補正してパラメータPthを更新する。更新後はステップS200に戻って処理を繰り返す。 In step S216, the parameter updating unit 36 corrects the median value of the cumulative frequency distribution according to the above equation (2) based on the centroid distance between the centroid of the cumulative frequency distribution and the centroid of the new frequency distribution to obtain the parameter P th . Update. After the update, the process returns to step S200 to repeat the process.

[第1の実施形態の実験結果] [Experimental Results of First Embodiment]

図11に第1の実施形態の手法の実験結果の例を示す。図11における機械学習による関心度グラフの結果は、従来の手法で、40秒毎に機械学習を行うことで個人特性の学習を行うことにより得られたパラメータで、関心度を評価したグラフである。黒丸がスクロール座標、白丸が関心度を表している。一方、図11における第1の実施形態の手法による関心度グラフの結果はリアルタイムにパラメータを推定しながら、関心度評価を逐次行った結果である。図11では、それぞれ2パターン検証した結果を左右に示している。機械学習による関心度グラフの結果を正解とみなしたとき、左の結果では50秒付近に相違がみられる以外、概ね一致している。50秒付近は、40秒単位の学習の直後であり、学習が不十分であるため相違していると考えられる。右の結果では34秒付近の関心度が高まった箇所で、ほぼ結果が一致している。これはこの時間が経つと学習結果が反映されていることを示唆している。   FIG. 11 shows an example of the experimental result of the method of the first embodiment. The result of the interest degree graph by machine learning in FIG. 11 is a graph in which the degree of interest is evaluated by the parameters obtained by learning the individual characteristics by performing machine learning every 40 seconds by the conventional method. .. Black circles indicate scroll coordinates, and white circles indicate interest level. On the other hand, the result of the interest level graph according to the method of the first embodiment in FIG. 11 is the result of sequentially performing the interest level evaluation while estimating the parameters in real time. In FIG. 11, the results of two patterns of verification are shown on the left and right. When the result of the interest degree graph by machine learning is regarded as the correct answer, the results on the left are almost the same except that there is a difference in the vicinity of 50 seconds. Around 50 seconds is immediately after learning in units of 40 seconds and is considered to be different because learning is insufficient. In the result on the right, the results are almost the same at the place where the degree of interest increased near 34 seconds. This suggests that the learning results are reflected after this time.

以上説明したように、第1の実施形態に係る関心度評価システムによれば、検出した端末運動量に基づいて、第1の期間に観測された端末運動量の累積度数分布を求める。第2の期間に観測された端末運動量の新たな度数分布を求める。累積度数分布の重心と新たな度数分布の重心とを比較することにより、累積度数分布において端末運動量の新たな下限となる変化を検出し、重心距離を求める。新たな下限となる変化を検出した場合に、累積度数分布の重心と新たな度数分布の重心との重心距離に基づいて、累積度数分布の中央値を補正してパラメータを更新する。更新されたパラメータを用いて、関心度を算出する。これにより、端末の姿勢変化に対してリアルタイムに関心度を評価するためのパラメータを推定し、関心度を評価できる。   As described above, according to the interest level evaluation system according to the first embodiment, the cumulative frequency distribution of the terminal momentum observed in the first period is obtained based on the detected terminal momentum. A new frequency distribution of the terminal momentum observed in the second period is obtained. By comparing the centroid of the cumulative frequency distribution with the centroid of the new frequency distribution, a new lower limit change in terminal momentum in the cumulative frequency distribution is detected, and the centroid distance is obtained. When a new lower limit change is detected, the median of the cumulative frequency distribution is corrected based on the centroid distance between the centroid of the cumulative frequency distribution and the centroid of the new frequency distribution to update the parameters. The degree of interest is calculated using the updated parameters. This makes it possible to estimate the parameter for evaluating the interest level in real time with respect to the change in the attitude of the terminal and evaluate the interest level.

上記第1の実施形態について変形例を説明する。   A modified example of the first embodiment will be described.

上記第1の実施形態では、関心度評価システムは、パラメータを推定し、関心度評価までを行う場合について説明したが、これに限定されるものではない。例えば、パラメータ推定は別装置によって行ってもよい。その場合には、パラメータ推定システムとして、第一分布算出部と、第二分布算出部と、比較部と、パラメータ更新部とによって構成するようにすればよい。この場合、内部の端末運動量検出部、又は外部の端末運動量検出部を備える情報処理端末から端末運動量を受け付けてパラメータを推定し、関心度を評価するための装置に、推定したパラメータを送信するようにすればよい。   In the above-described first embodiment, the interest level evaluation system estimates the parameters and performs the interest level evaluation, but the present invention is not limited to this. For example, parameter estimation may be performed by another device. In that case, the parameter estimation system may be configured by a first distribution calculation unit, a second distribution calculation unit, a comparison unit, and a parameter update unit. In this case, the device estimates the parameters by receiving the terminal momentum from the information processing terminal including the internal terminal momentum detection unit or the external terminal momentum detection unit, and transmits the estimated parameters to the device for evaluating the degree of interest. You can do this.

上記第1の実施形態では、関心度評価システムは、コンテンツサーバと、情報処理端末とを備える場合について説明したが、これに限定されるものではない。例えば、ユーザ情報記憶DBを設け、ユーザ毎のパラメータの推定値、及び関心度を記憶するようにしてもよい。この場合には、ユーザの関心度をコンテンツサーバに送信し、ユーザの関心度に基づいて、コンテンツサーバから情報処理端末に配信するコンテンツを変化させるようにしてもよい。   In the above-described first embodiment, the interest level evaluation system includes the content server and the information processing terminal, but the present invention is not limited to this. For example, a user information storage DB may be provided to store parameter estimated values and interest degrees for each user. In this case, the degree of interest of the user may be transmitted to the content server, and the content delivered from the content server to the information processing terminal may be changed based on the degree of interest of the user.

また、上記第1の実施形態では、情報処理端末にタッチ状態解析部と、第一分布算出部と、第二分布算出部と、比較部と、パラメータ更新部と、関心度評価部とを備える場合を例に説明したが、これに限定されるものではない。例えば、ユーザ情報管理サーバを設け、ユーザ情報管理サーバがタッチ状態解析部と、第一分布算出部と、第二分布算出部と、比較部と、パラメータ更新部と、関心度評価部とを備えるようにしてもよい。この場合には、情報処理端末で、ユーザによる入力操作、及び端末運動量を単位時間毎に検出する。情報処理端末からネットワークを介してユーザ情報管理サーバに検出したデータを送信し、ユーザ情報管理サーバ側で、タッチ状態を解析し、パラメータを推定し、関心度を算出するようにすればよい。   In addition, in the first embodiment, the information processing terminal includes a touch state analysis unit, a first distribution calculation unit, a second distribution calculation unit, a comparison unit, a parameter update unit, and an interest level evaluation unit. The case has been described as an example, but the present invention is not limited to this. For example, a user information management server is provided, and the user information management server includes a touch state analysis unit, a first distribution calculation unit, a second distribution calculation unit, a comparison unit, a parameter update unit, and an interest level evaluation unit. You may do it. In this case, the information processing terminal detects the input operation by the user and the terminal exercise amount every unit time. The detected data may be transmitted from the information processing terminal to the user information management server via the network, and the user information management server may analyze the touch state, estimate the parameters, and calculate the degree of interest.

<第2の実施形態>
次に、本発明の第2の実施形態について説明する。上述した第1の実施形態は、リアルタイムにパラメータを推定することを主眼に置いた手法である。第2の実施形態では、第1の実施形態で用いたパラメータ推定の手法を、短期間パラメータを推定するための短期間パラメータ推定の手法と定義する。また、上記背景で説明したクラスタリング手法を、長期間パラメータを推定するための長期間パラメータ推定の手法と定義する。短期間パラメータが、第1パラメータの一例であり、長期間パラメータが第2パラメータの一例である。
<Second Embodiment>
Next, a second embodiment of the present invention will be described. The above-described first embodiment is a method focused on estimating parameters in real time. In the second embodiment, the parameter estimation method used in the first embodiment is defined as a short-term parameter estimation method for estimating a short-term parameter. Further, the clustering method described in the above background is defined as a long-term parameter estimation method for estimating long-term parameters. The short-term parameter is an example of the first parameter, and the long-term parameter is an example of the second parameter.

以下、第2の実施形態の前提について説明する。   Hereinafter, the premise of the second embodiment will be described.

関心度を求める際の個人の操作の癖に関するパラメータ推定においては、姿勢変化に追従したいという課題がある。姿勢変化が生じるシーンとしては、例えば、座ってスマートフォンの画面を見る、背もたれにもたれる、前のめりになる、机の上に両肘をついて持つ、手に持つ等、体勢を含む姿勢変化に追従する必要がある。   In estimating parameters related to the habit of individual operation when obtaining the interest level, there is a problem of wanting to follow posture changes. Examples of scenes in which the posture changes include following posture changes such as sitting down and looking at the smartphone screen, leaning back, leaning forward, holding both elbows on the desk, holding in the hand. There is.

短期間パラメータ推定の手法は、データ数が十分でないうちにパラメータを推定しようとすると、推定精度の確保が必ずしも十分ではないということが生じ得る場合がある。この手法は10秒程度の時間長では推定精度の確保が必ずしも十分ではないということが生じ得る場合があるため,姿勢情報の変化が頻繁に起こった場合に、精度よくパラメータを推定できない。そこで、時間窓を大きくし十分なデータ数を取得した上でパラメータ推定をしようとすると、姿勢変化が生じた際に、変化に十分に追従できないという課題がある。また、パラメータ推定の時間窓を小さくし姿勢変化に追従したとしても、推定に十分なデータ数が得られていないため、推定精度の劣化につながりうる。   In the short-term parameter estimation method, if the parameters are estimated before the number of data is sufficient, the estimation accuracy may not be sufficiently secured. In this method, it may happen that the estimation accuracy is not sufficiently secured with a time length of about 10 seconds, so that the parameters cannot be estimated accurately when the posture information frequently changes. Therefore, if an attempt is made to estimate parameters after increasing the time window and obtaining a sufficient number of data, there is a problem that when a posture change occurs, the change cannot be sufficiently tracked. Further, even if the time window for parameter estimation is made small and the posture change is followed, a sufficient number of data for estimation cannot be obtained, which may lead to deterioration of estimation accuracy.

図12は、姿勢変化が生じていない時の端末運動量と姿勢とをクラスタリングした場合の一例を示す図である。図13は、姿勢変化が生じた時の端末運動量と姿勢とをクラスタリングした場合の一例を示す図である。図12及び図13のクラスタリングは長期間パラメータ推定の手法によりクラスタリングを行った結果である。図12と図13とを比べると、姿勢が変化することで注視と判定するクラスタが異なってくることがわかる。しかし、図13に示すように、2つのクラスタが1つのクラスタであると判定されて推定精度が下がる恐れがある。また、2つのクラスタがあった場合でも、長期間パラメータ推定の手法では、端末運動量がより小さいクラスタの信頼度が高いと判定されてしまい、姿勢変化の後に生じた端末運動量のクラスタが推定に用いられない恐れもある。   FIG. 12 is a diagram showing an example of a case where the terminal momentum and the posture are clustered when the posture has not changed. FIG. 13 is a diagram showing an example of clustering the terminal momentum and posture when a posture change occurs. The clustering in FIGS. 12 and 13 is the result of clustering performed by the long-term parameter estimation method. Comparing FIG. 12 and FIG. 13, it can be seen that the clusters determined to be gaze differ due to the change in posture. However, as shown in FIG. 13, it is possible that the two clusters are determined to be one cluster and the estimation accuracy is reduced. Even if there are two clusters, the long-term parameter estimation method determines that the cluster with smaller terminal momentum has high reliability, and the cluster of terminal momentum generated after the posture change is used for estimation. There is a fear that it will not be possible.

そこで、第2の実施形態では、姿勢変化への追従と、ある程度の時間長でのパラメータ推定による頑健さとを両立させるべく、短期間パラメータ推定の手法と長期間パラメータ推定の手法とを上手く組み合わせた手法を提案する。   Therefore, in the second embodiment, the method of short-term parameter estimation and the method of long-term parameter estimation are successfully combined in order to achieve both tracking of posture changes and robustness by parameter estimation for a certain length of time. Suggest a method.

まず、姿勢変化に関して前提となる手法を説明する。姿勢変化を高精度に推定する手法については、特許文献7、及び特許文献12〜14に開示がある。特許文献7の技術では、ジャイロセンサのデータを用いた移動体の自律航法での手法であり、ヒストグラムのマッチングによって回転方向や並進方向の変位量を求めている。特許文献12の技術では、歩数計を応用用途として、装着方向に対してロバストな体動検出を、加速度ベクトルを用いて行っている。特許文献12の技術では、腕に装着したゲームコントローラへの応用を用途として、加速度センサとジャイロセンサのデータとの併用により体動と腕回り運動を分離し、姿勢の推定精度を高めている。特許文献14は、ウェアラブルデバイスを装着して交通機関に乗車しているようなケースでの姿勢推定を開示している。特許文献14では、子機となるウェアラブルデバイスと、親機となるスマートデバイスのセンサ2つの併用によって、交通機関の運動と人間の体動を分離している。   First, a method that is premised on a posture change will be described. A method for estimating the posture change with high accuracy is disclosed in Patent Document 7 and Patent Documents 12 to 14. The technique of Patent Document 7 is a method of autonomous navigation of a moving body using data of a gyro sensor, and a displacement amount in a rotation direction or a translation direction is obtained by matching histograms. In the technique of Patent Document 12, a pedometer is used as an application, and body movement detection that is robust in the wearing direction is performed using an acceleration vector. In the technology of Patent Document 12, for application to a game controller mounted on an arm, body motion and arm rotation motion are separated by using data of an acceleration sensor and a gyro sensor to improve posture estimation accuracy. Patent Document 14 discloses posture estimation in a case where a wearable device is mounted and a passenger is on a transportation facility. In Patent Document 14, the wearable device as a slave and the sensor of a smart device as a master are used in combination to separate the motion of the transportation facility from the human motion.

特許文献12〜14は、センサを併用して姿勢の推定精度を高める手法といえる。ターゲットとなるユースケースにおいて、姿勢変化に重畳しノイズ成分になる別の動きを分離することに特徴がある。逆に言えば、ユースケース個々に有効な手法であり、本発明の第2の実施形態のユースケースである関心度評価への適用は難しい。特許文献12〜14の手法を組み合わせようとすると、姿勢変化の検出精度がよくなる分、姿勢推定のたびにパラメータ推定がリセットされてしまい、結果としてパラメータ推定精度が下がってしまうことになる。   It can be said that Patent Documents 12 to 14 are methods that use a sensor together to improve the accuracy of posture estimation. In the target use case, it is characterized by separating another motion that is superimposed on the posture change and becomes a noise component. To put it the other way around, it is an effective method for each use case, and it is difficult to apply it to the interest level evaluation which is the use case of the second embodiment of the present invention. If the methods of Patent Documents 12 to 14 are combined, the accuracy of posture change detection is improved, and the parameter estimation is reset each time the posture is estimated. As a result, the parameter estimation accuracy is reduced.

本発明の第2の実施形態では、以上の点に鑑み、個人の操作の癖に関するパラメータ推定を行うという目的に合わせた姿勢変化の検出の手法を用いることで、姿勢変化に追従しつつ頑健となるような手法を検討した。   In the second embodiment of the present invention, in view of the above points, by using a method for detecting a posture change that matches the purpose of estimating parameters relating to the habit of an individual operation, it is possible to robustly follow the posture change. I examined the method that would become.

次に、第2の実施形態の手法について、姿勢変化の判定の原理、及び姿勢変化に応じたパラメータ推定について説明する。   Next, with respect to the method of the second embodiment, the principle of posture change determination and parameter estimation according to the posture change will be described.

まず、本実施形態の手法における姿勢変化の判定の原理について説明する。   First, the principle of posture change determination in the method of the present embodiment will be described.

関心度評価においては、公知例にあるような加速度センサやジャイロセンサで判明される姿勢の変化が起きたことを検出するよりも、姿勢変化の後に、コンテンツに関心を持って注視をしているか否かを検出することが重要である。たとえ姿勢変化があっても、注視のない一過性の姿勢変化は無視してもかまわない。一過性の姿勢変化の端末運動量は、長期間パラメータ推定におけるクラスタリング処理で除外することができるからである。   In the interest level evaluation, whether the user is paying attention to the content after the posture change, rather than detecting the change in the posture that is known by the acceleration sensor or the gyro sensor as in the known example. It is important to detect whether or not. Even if there is a change in posture, a transient change in posture without gaze can be ignored. This is because the terminal momentum of the transient posture change can be excluded by the clustering process in the long-term parameter estimation.

そこで、本実施形態では、「姿勢が変化した後で注視状態になったか否か」に着眼し、姿勢変化して、注視状態になったかまでを検出する。さらに体幹運動を姿勢ベクトルの揺らぎの大きさで定量化し、姿勢変化候補を検出する。姿勢変化候補が検出された後に注視状態に移行すると、姿勢変化の確定と判定する。   Therefore, in the present embodiment, attention is paid to “whether or not the user is in the gaze state after the posture is changed”, and it is detected whether or not the posture is changed to the gaze state. Further, the trunk movement is quantified by the magnitude of the fluctuation of the posture vector, and the posture change candidate is detected. If the state changes to the gaze state after the posture change candidate is detected, it is determined that the posture change is confirmed.

図14は、体幹運動を姿勢ベクトルの揺らぎの大きさで定量化した場合の一例を示す図である。図14では、姿勢ベクトルの連続した時系列の変化により描かれる半径を表しており、左が半径大の場合、右が半径小の場合である。姿勢ベクトルとは、加速度センサによって得られる重力加速度に基づく3次元の複数のベクトル(重力加速度ベクトルGacc(n))である。複数のベクトルの平均で得られる3次元座標を姿勢ベクトルの姿勢中心と定義する。図14では、左の姿勢ベクトルは、姿勢中心の周囲に大きく揺らぎがあることを示しており、右の姿勢ベクトルは、左の姿勢ベクトルに比べると小さい揺らぎを示している。本実施形態では、この揺らぎが小さい時をもって注視していると判定し、その時の姿勢中心の座標で、姿勢変化が確定したと判定する。また、姿勢変化の判定では、事前に分かっている注視時の端末運動量を参照して判定することで、姿勢変化にむやみに追従することを防ぐ。 FIG. 14 is a diagram showing an example of the case where the trunk movement is quantified by the magnitude of the fluctuation of the posture vector. In FIG. 14, the radius drawn by the continuous time series change of the posture vector is shown. The left is the case where the radius is large and the right is the case where the radius is small. The posture vector is a plurality of three-dimensional vectors (gravitational acceleration vector G acc (n)) based on the acceleration of gravity obtained by the acceleration sensor. The three-dimensional coordinate obtained by averaging a plurality of vectors is defined as the posture center of the posture vector. In FIG. 14, the left posture vector indicates that there is a large fluctuation around the posture center, and the right posture vector indicates a smaller fluctuation than the left posture vector. In the present embodiment, it is determined that the user is gazing when this fluctuation is small, and it is determined that the posture change has been confirmed at the coordinates of the posture center at that time. Further, in the determination of the posture change, it is prevented to follow the posture change unnecessarily by referring to the previously known terminal momentum at the time of gaze.

図15は、姿勢ベクトルの各々から換算運動量を求める場合の一例を示す図である。姿勢ベクトルの揺らぎは時系列ごとの姿勢ベクトルの各々から求められる換算運動量として説明できる。図15に示すように、時系列の姿勢ベクトルを、Gacc(n),Gacc(n+1),Gacc(n+2),Gacc(n+3)とする。これらの姿勢ベクトルには重力加速度以外の加速度が重畳しているため、このような軌跡を描くと捉えることができる。端末を操作しているユーザが静止しているとすると、重畳した加速度は、手に持った運動による加速度を示しているといえる。よって、加速度は、隣接する時刻の姿勢ベクトルの差分で求めることができる。例えば、Δacc(n)=Gacc(n)−Gacc(n−1)と表せる。 FIG. 15 is a diagram showing an example of a case where the converted momentum is obtained from each of the posture vectors. The fluctuation of the posture vector can be explained as a converted momentum obtained from each of the posture vectors for each time series. As shown in FIG. 15, the time-series posture vectors are G acc (n), G acc (n + 1), G acc (n + 2), and G acc (n + 3). Since accelerations other than gravitational accelerations are superimposed on these posture vectors, it can be understood that such a trajectory is drawn. If the user operating the terminal is stationary, it can be said that the superimposed acceleration indicates the acceleration due to the motion held in the hand. Therefore, the acceleration can be obtained by the difference between the posture vectors at the adjacent times. For example, it can be expressed as Δ acc (n) = G acc (n) −G acc (n−1).

ある時刻について隣接する時刻の微小時間Δtを掛け算すると、当該時刻の速度とみなすことができるから、2乗の総和を用いた換算運動量として以下(3)式を求める。   When a certain time is multiplied by the minute time Δt at the adjacent time, it can be regarded as the speed at the time, and therefore the following equation (3) is obtained as the converted momentum using the sum of squares.

換算運動量=Σ(Δacc(k)Δt) ・・・(3) Converted momentum = Σ (Δ acc (k) Δt) 2 (3)

換算運動量を求めるための姿勢ベクトルは、重力加速度センサのデータを用いる。ここで重力加速度センサのデータを用いているのは、ジャイロセンサのデータでは姿勢角の相対的変化は分かっても絶対位置、つまり図14における姿勢中心が特定できない。そのため、ジャイロセンサのデータでは姿勢情報を得られないが、重力加速度センサのデータの場合は、今の姿勢情報と対応付けることができるからである。重力加速度の時間積分で得た換算運動量は、体幹運動であると捉えられる。そのため、換算運動量に対して設定する閾値は、(3)式による換算運動量と、姿勢変化を事前に調べておくことで適切に設定できる。一方、注視しているかを判定するには、ジャイロセンサにより取得した端末運動量を用いればよい。   The data of the gravitational acceleration sensor is used as the posture vector for obtaining the converted momentum. Here, the data of the gravitational acceleration sensor is used, but the absolute position, that is, the posture center in FIG. 14 cannot be specified even if the relative change of the posture angle is known from the data of the gyro sensor. Therefore, the posture information cannot be obtained from the data of the gyro sensor, but the data of the gravitational acceleration sensor can be associated with the current posture information. The converted momentum obtained by time integration of gravitational acceleration is considered to be core movement. Therefore, the threshold value set for the converted exercise amount can be appropriately set by investigating the converted exercise amount by the equation (3) and the posture change in advance. On the other hand, in order to determine whether the user is gazing, the terminal momentum acquired by the gyro sensor may be used.

次に、姿勢変化に応じたパラメータ推定の手法について説明する。   Next, a method of parameter estimation according to a posture change will be described.

短期間パラメータ及び長期間パラメータを併用する場合には、時間軸で定めたサイクルに応じて、一つのサイクルの中で区間を区切り、区間ごとにいずれのパラメータを用いるかを決定する。短期間パラメータの推定精度が安定する区間では短期間パラメータを用い、短期間パラメータの推定精度が安定しない区間では、長期間パラメータを用いるか、短期間パラメータ及び長期間パラメータを補間した補間パラメータを用いる。補間パラメータの求め方は後述する。   When both the short-term parameter and the long-term parameter are used together, a section is divided in one cycle according to the cycle defined on the time axis, and which parameter is used for each section is determined. The short-term parameter is used in the section where the estimation accuracy of the short-term parameter is stable, and the long-term parameter is used or the interpolation parameter obtained by interpolating the short-term parameter and the long-term parameter is used in the section where the estimation accuracy of the short-term parameter is not stable. .. How to obtain the interpolation parameter will be described later.

図16は、姿勢変化を考慮しない場合に用いるパラメータのタイムチャートの一例を示す図である。図17は、姿勢変化を考慮した場合に用いるパラメータのタイムチャートの一例を示す図である。   FIG. 16 is a diagram showing an example of a time chart of parameters used when the posture change is not considered. FIG. 17 is a diagram showing an example of a time chart of parameters used when the posture change is considered.

図16は、短期間パラメータ及び長期間パラメータを併用する場合の基本的な動作を示したタイムチャートである。図16では、STE(Short-term estimation)が短期間パラメータ、LTE(Long-term estimation)が長期間パラメータを表す。図16及び図17の例では、前提として40秒ごとのサイクルで、短期間パラメータ及び長期間パラメータを推定する。短期間パラメータ推定は随時推定を行っているが、40秒ごとに累積度数分布のデータをリセットする。長期間パラメータ推定は、40秒ごとに長期間パラメータが推定される。初回のサイクルの40秒では、最初20秒はパラメータ推定が不十分であるため、関心度評価は行わず、20−40で短期間パラメータによる関心度評価を行う。初回のサイクルの後は、80秒、120秒、と40秒間隔で通常のサイクルを繰り返す。図17に示すように、通常のサイクルである40−80秒の間は、3つの区間に分けてパラメータを決定している。40秒で短期間パラメータがリセットされると、リセット後は、短期間パラメータの推定精度が安定しないため、リセット後の40−50秒の区間の10秒間は、40秒の時点で推定された長期間パラメータを用いる。また、リセット後の50−60秒の区間の10秒間は、ある程度は短期間パラメータが安定してくると考えられるため、補間パラメータを用いる。リセット後の60−80秒の区間は再び短期間パラメータの推定精度が安定するため、短期間パラメータを用いる。   FIG. 16 is a time chart showing a basic operation when a short-term parameter and a long-term parameter are used together. In FIG. 16, STE (Short-term estimation) represents a short-term parameter, and LTE (Long-term estimation) represents a long-term parameter. In the example of FIG. 16 and FIG. 17, as a premise, the short-term parameter and the long-term parameter are estimated in a cycle of 40 seconds. The short-term parameter estimation is performed at any time, but the cumulative frequency distribution data is reset every 40 seconds. In long-term parameter estimation, long-term parameters are estimated every 40 seconds. In 40 seconds of the first cycle, the parameter estimation is insufficient for the first 20 seconds, and thus the interest degree evaluation is not performed, and the interest degree evaluation is performed by the short-term parameter in 20-40. After the first cycle, the normal cycle is repeated at intervals of 80 seconds, 120 seconds, and 40 seconds. As shown in FIG. 17, during the normal cycle of 40 to 80 seconds, the parameters are divided into three sections to determine the parameters. When the short-term parameter is reset in 40 seconds, the estimation accuracy of the short-term parameter is not stable after the reset. Use the period parameter. In addition, the interpolation parameter is used because it is considered that the parameter is stable for a short period of time for 10 seconds in the 50-60 second period after the reset. Since the estimation accuracy of the short-term parameter becomes stable again in the section of 60-80 seconds after the reset, the short-term parameter is used.

図16に示した40秒ごとのサイクルでは、姿勢変化を考慮していないため、姿勢変化に追従することはできない。そこで、姿勢変化に対して頑健な推定結果を採用するために、姿勢変化の確定を契機として、新たなサイクルでパラメータ推定を行うようにする。   In the cycle of every 40 seconds shown in FIG. 16, it is not possible to follow the posture change because the posture change is not taken into consideration. Therefore, in order to adopt a robust estimation result with respect to the posture change, the parameter estimation is performed in a new cycle, triggered by the confirmation of the posture change.

図17のタイムチャートでは、図16で40秒ごとに固定していた長期間パラメータの更新サイクルの区切りを、姿勢変化の確定時点に置き換えたものと同じふるまいになる。図17では、TPCが姿勢変化の確定時点を表す。短期間パラメータ推定については、姿勢変化が確定したタイミングでリセットし、直前に推定した長期間パラメータを用いるように切り替える。このように、姿勢変化の確定を契機にパラメータの更新サイクルを分離する。 In the time chart of FIG. 17, the behavior is the same as that when the delimiter of the long-term parameter update cycle, which is fixed every 40 seconds in FIG. 16, is replaced with the attitude change determination time. In FIG. 17, T PC represents the time when the posture change is determined. The short-term parameter estimation is reset at the timing when the posture change is confirmed, and switched to use the long-term parameter estimated immediately before. In this way, the parameter update cycle is separated upon confirmation of the posture change.

以上が本実施形態のパラメータ推定についての概要である。   The above is the outline of the parameter estimation of the present embodiment.

以下、第2の実施形態の構成の一例について、図面を参照して詳細に説明する。なお、第1の実施形態と同様となる箇所は同一符号を付して説明を省略する。   Hereinafter, an example of the configuration of the second embodiment will be described in detail with reference to the drawings. The same parts as those in the first embodiment are designated by the same reference numerals and the description thereof will be omitted.

図18に示すように、第2の実施形態に係る関心度評価システム210は、コンテンツサーバ12と、情報処理端末216とを備える。   As illustrated in FIG. 18, the interest level evaluation system 210 according to the second embodiment includes a content server 12 and an information processing terminal 216.

情報処理端末216は、通信部18と、制御部20と、表示部22と、ユーザ操作検出部24と、端末運動量検出部226と、タッチ状態解析部28と、端末姿勢検出部227とを備えている。また、情報処理端末216は、短期間パラメータ推定部230と、長期間パラメータ推定部232と、姿勢変化判定部234と、パラメータ統合部236と、関心度評価部38とを備えている。   The information processing terminal 216 includes a communication unit 18, a control unit 20, a display unit 22, a user operation detection unit 24, a terminal exercise amount detection unit 226, a touch state analysis unit 28, and a terminal attitude detection unit 227. ing. Further, the information processing terminal 216 includes a short-term parameter estimation unit 230, a long-term parameter estimation unit 232, a posture change determination unit 234, a parameter integration unit 236, and an interest level evaluation unit 38.

図19は、短期間パラメータ推定部230の構成の一例を示すブロック図である。図20は、長期間パラメータ推定部232の構成の一例を示すブロック図である。図19に示すように、短期間パラメータ推定部230は、第一分布算出部30と、第二分布算出部32と、比較部34と、パラメータ更新部36とを備えている。図20に示すように、長期間パラメータ推定部232は、第一運動量算出部240と、第二運動量算出部242と、パラメータ決定部244とを備えている。   FIG. 19 is a block diagram showing an example of the configuration of the short-term parameter estimation unit 230. FIG. 20 is a block diagram showing an example of the configuration of the long-term parameter estimation unit 232. As shown in FIG. 19, the short-term parameter estimation unit 230 includes a first distribution calculation unit 30, a second distribution calculation unit 32, a comparison unit 34, and a parameter update unit 36. As shown in FIG. 20, the long-term parameter estimation unit 232 includes a first exercise amount calculation unit 240, a second exercise amount calculation unit 242, and a parameter determination unit 244.

端末運動量検出部226は、所定のサンプル間隔毎に端末の運動に係るセンサ値を端末運動量として検出する点は第1の実施形態と同様である。第1の実施形態で用いていたジャイロセンサに加えて、第2の実施形態では、重力加速度センサも備える。端末運動量検出部226は、重力加速度センサによって重力加速度を検出する。   The terminal momentum detection unit 226 is the same as in the first embodiment in that the sensor value related to the movement of the terminal is detected as the terminal momentum at predetermined sample intervals. In addition to the gyro sensor used in the first embodiment, a gravitational acceleration sensor is also provided in the second embodiment. The terminal momentum detection unit 226 detects the gravitational acceleration by the gravitational acceleration sensor.

端末姿勢検出部227は、端末の姿勢を単位時間ごとに検出する。端末姿勢検出部227は、例えば9軸のジャイロセンサから取得したデータから姿勢を求める。データは、重力加速度や方位コンパス、さらには慣性力データとして、3軸角加速度センサの値、又は3軸磁気センサの値を用いる。姿勢は、端末の画面に対する法線方向(z軸)の重力加速度から求められる。   The terminal attitude detection unit 227 detects the attitude of the terminal for each unit time. The terminal attitude detection unit 227 obtains the attitude from data acquired from, for example, a 9-axis gyro sensor. As the data, the value of the triaxial angular acceleration sensor or the value of the triaxial magnetic sensor is used as the gravity acceleration, the azimuth compass, and the inertial force data. The posture is obtained from the gravitational acceleration in the normal direction (z axis) to the screen of the terminal.

短期間パラメータ推定部230は、所定の間隔で短期間パラメータを推定する。所定の間隔は、第1の実施形態の単位時間としていた0.5秒とする。短期間パラメータは、第1の実施形態の第一分布算出部30、第二分布算出部32、比較部34、及びパラメータ更新部36と同様の処理により求められるため詳細な説明は省略する。   The short-term parameter estimation unit 230 estimates short-term parameters at predetermined intervals. The predetermined interval is 0.5 seconds, which is the unit time of the first embodiment. The short-term parameter is obtained by the same processing as that of the first distribution calculating unit 30, the second distribution calculating unit 32, the comparing unit 34, and the parameter updating unit 36 of the first embodiment, and detailed description thereof will be omitted.

長期間パラメータ推定部232は、所定の間隔で長期間パラメータを推定する。本実施形態では、所定の間隔は40秒とする。ここで長期間パラメータは、直近の長期間パラメータと、規定の時間長の長期間パラメータとの2つの長期間パラメータを推定する。規定の時間長は、所定の間隔の倍数で設定すればよい。所定の間隔が40秒であれば、40秒の倍数の200秒等に設定する。直近の長期間パラメータは、直近の40秒間のデータを用いて推定した長期間パラメータである。規定の時間長の長期間パラメータは、最長200秒間のデータを用いて推定した長期間パラメータである。このように、40秒の間隔ごとのデータで直近の長期間パラメータの推定を行うだけでなく、より長いスパンの長期間パラメータの推定も行う。   The long term parameter estimation unit 232 estimates long term parameters at predetermined intervals. In this embodiment, the predetermined interval is 40 seconds. Here, as the long-term parameter, two long-term parameters, that is, a latest long-term parameter and a long-term parameter having a prescribed time length are estimated. The specified time length may be set as a multiple of the predetermined interval. If the predetermined interval is 40 seconds, it is set to a multiple of 40 seconds, such as 200 seconds. The latest long-term parameter is a long-term parameter estimated using the latest 40 seconds of data. The long-term parameter of the specified time length is a long-term parameter estimated using the data for a maximum of 200 seconds. In this way, not only the latest long-term parameter is estimated with the data for every 40 seconds, but also the long-term parameter of a longer span is estimated.

次に、長期間パラメータ推定部232の各部について説明する。以下の各部の処理は、直近の長期間パラメータの推定と、規定の時間長の長期間パラメータの推定とについて、それぞれ行うようにすればよい。なお、前者は端末を操作するユーザの癖が表われ、後者はユーザの注視の度合が表われる。   Next, each unit of the long-term parameter estimation unit 232 will be described. The processes of the following units may be performed for the latest estimation of the long-term parameter and the estimation of the long-term parameter having a prescribed time length. The former shows the habit of the user who operates the terminal, and the latter shows the degree of the user's gaze.

第一運動量算出部240は、単位時間当たりの端末の姿勢に関する端末運動量と、単位時間ごとの端末の姿勢との組み合わせに基づいて、端末運動量を複数のクラスタに類別する。第一運動量算出部240は、端末の操作者のコンテンツに対する注視状態に対応するクラスタを特定する。第一運動量算出部240は、特定した注視状態のクラスタにおける運動量を算出する。また、第一運動量算出部240で用いる端末運動量は、端末運動量検出部226で検出したセンサ値(3軸の角速度センサ、3軸の加速度センサ、及び3軸の地磁気センサのうちのいずれかのセンサ値)の2乗和を求め、単位時間内で積算して対数変換した値とする。   The first momentum calculation unit 240 classifies the terminal momentum into a plurality of clusters based on a combination of the terminal momentum regarding the posture of the terminal per unit time and the posture of the terminal per unit time. The first exercise amount calculation unit 240 identifies the cluster corresponding to the gaze state of the content of the operator of the terminal. The first momentum calculation unit 240 calculates the momentum in the identified cluster in the gaze state. In addition, the terminal momentum used by the first momentum calculation unit 240 is a sensor value detected by the terminal momentum detection unit 226 (a sensor of any one of a triaxial angular velocity sensor, a triaxial acceleration sensor, and a triaxial geomagnetic sensor). The sum of squares of (value) is calculated and integrated within a unit time to obtain a logarithmically converted value.

注視状態のクラスタは、端末の姿勢が一定のときの端末運動量の平均から求める。端末の姿勢と、端末運動量との2次元のクラスタリング処理を行う。本実施形態では、クラスタリングによるクラスタ半径の小さいものを考慮して注視状態のクラスタを類別する。   The gaze state cluster is obtained from the average of the momentum of the terminal when the posture of the terminal is constant. Two-dimensional clustering processing of the posture of the terminal and the momentum of the terminal is performed. In the present embodiment, clusters in the gaze state are classified in consideration of clusters having a small cluster radius.

クラスタリングは、例えば、2次元平面上のユークリッド距離に基づくクラスタ分析により行う。このときクラスタ数は3個以上(例えば5個)で与えて実行することで、特に端末運動量の外れ値(アウトライヤ)を含めないようにする。各クラスタから、最小の端末運動量が小さい順に2つの当該クラスタのクラスタ重心の端末運動量を算出する。注視中のクラスタの類別は、まず、クラスタ重心の端末運動量が小さい2つをクラスタの候補として選択する。次に、クラスタ重心の端末運動量が最小のクラスタについて、当該クラスタのクラスタ重心の端末運動量が予め定めた閾値より大きいかをチェックする。ここでの閾値とは、端末自身がもつジャイロセンサの精度の最小値に相当する。閾値より大きいのであれば、当該クラスタのクラスタ重心を第1の運動量として決定する。閾値未満の場合は、2番目に小さいクラスタのクラスタ重心を第1の運動量に決定する。注視状態では、端末運動量が安定しており、クラスタ半径が小さい場合が多いことから、このような閾値処理によりクラスタ半径の小さなものから第1の運動量を決定できる。   Clustering is performed by, for example, cluster analysis based on Euclidean distance on a two-dimensional plane. At this time, the number of clusters is set to 3 or more (for example, 5) and executed, so that outliers (outliers) of the terminal momentum are not particularly included. From each cluster, the terminal momentums of the cluster centroids of the two relevant clusters are calculated in ascending order of the minimum terminal momentum. To classify the clusters that are being gazed, first, two clusters whose center of gravity of the terminal is small are selected as cluster candidates. Next, for the cluster having the smallest terminal momentum of the cluster center of gravity, it is checked whether the terminal momentum of the cluster center of gravity of the cluster is larger than a predetermined threshold value. The threshold value here corresponds to the minimum accuracy of the gyro sensor of the terminal itself. If it is larger than the threshold, the cluster centroid of the cluster is determined as the first momentum. When it is less than the threshold value, the cluster centroid of the second smallest cluster is determined as the first momentum. Since the terminal momentum is stable and the cluster radius is often small in the gaze state, the first momentum can be determined from the one having the smaller cluster radius by such threshold processing.

第二運動量算出部242は、端末の所定の操作状態に基づいて端末運動量を算出し、算出した端末運動量が、端末の操作者のコンテンツに対する非注視状態に属する端末運動量であるか否かに類別する。類別結果から第2の運動量を算出する。ここで、所定の操作状態は、端末のタッチ状態が非タッチ(LEAVE)であり、かつ、端末の画面がスクロールされている慣性スクロール中の状態とする。なお、第二運動量算出部242で用いる端末運動量は、慣性スクロール中の、端末運動量検出部226で検出したセンサ値の2乗和を積算し対数変換した値とする。   The second momentum calculation unit 242 calculates the terminal momentum based on a predetermined operation state of the terminal, and classifies whether the calculated terminal momentum is a terminal momentum that belongs to a non-gaze state for the content of the operator of the terminal. To do. A second momentum is calculated from the classification result. Here, the predetermined operation state is a state in which the touch state of the terminal is non-touch (LEAVE) and the screen of the terminal is scrolling during inertial scrolling. Note that the terminal momentum used by the second momentum calculation unit 242 is a value obtained by integrating and logarithmically converting the sum of squares of the sensor values detected by the terminal momentum detection unit 226 during inertial scrolling.

第二運動量算出部242における慣性スクロールは、上記状態を検出してから開始し、スクロール位置の変化がなくなり、データ取得が途切れたことを契機に終了とする。タイムスタンプを元に慣性スクロールの開始から終了までの継続長が求まる。第二運動量算出部242は、慣性スクロール中の単位時間当たりの端末運動量の平均の端末運動量を算出する。第二運動量算出部242は、平均の端末運動量が先に求めた第1の運動量より大きいか否かを判定する。第1の運動量より大きい場合は、当該運動量を第2の運動量として決定する。第1の運動量より小さい場合は、第一運動量算出部240におけるクラスタ分析で得られている第1の運動量より大きな運動量をもつクラスタのクラスタ重心の端末運動量の値を第2の運動量として決定する。   The inertial scroll in the second momentum calculation unit 242 is started after detecting the above state, and is ended when the change in the scroll position disappears and the data acquisition is interrupted. Based on the time stamp, the continuation length from the start to the end of inertial scroll is obtained. The second momentum calculation unit 242 calculates the average terminal momentum of the terminal momentum per unit time during the inertial scroll. The second exercise amount calculation unit 242 determines whether or not the average terminal exercise amount is larger than the first exercise amount obtained previously. When it is larger than the first exercise amount, the exercise amount is determined as the second exercise amount. If it is smaller than the first momentum, the value of the terminal momentum of the cluster centroid of the cluster having the larger momentum obtained by the cluster analysis in the first momentum calculation unit 240 is determined as the second momentum.

パラメータ決定部244は、注視状態に対応するクラスタに属する第1の運動量と、非注視状態に属する第2の運動量とに基づいて、端末の操作者の関心度を評価するための長期間パラメータを決定する。   The parameter determination unit 244 sets a long-term parameter for evaluating the degree of interest of the operator of the terminal based on the first momentum belonging to the cluster corresponding to the gaze state and the second momentum belonging to the non-gaze state. decide.

パラメータ決定部244は、パラメータ決定処理において、第一運動量算出部240及び第二運動量算出部242で対数変換して端末運動量を求めている場合であれば、指数計算して線形値に戻す処理を行う。具体例として、第1の運動量、及び第2の運動量について、閾値のパラメータPth、及びPを以下(4)式、及び(5)式のように定める。 In the parameter determination process, the parameter determination unit 244 performs a process of performing exponential calculation and returning to a linear value when logarithmic conversion is performed by the first exercise amount calculation unit 240 and the second exercise amount calculation unit 242 to obtain the terminal exercise amount. To do. As a specific example, threshold parameters P th and P 0 for the first amount of exercise and the second amount of exercise are determined as shown in equations (4) and (5) below.

th=exp(第1の運動量*2+第2の運動量)/3) ・・・(4)
=exp(第2の運動量) ・・・(5)
P th = exp (first momentum * 2 + second momentum) / 3) (4)
P 0 = exp (second momentum) (5)

また、信頼度曲線をPthと傾きΔで定義する場合、その具体例として以下(6)式、及び(7)式のように定める。 Further, when the reliability curve is defined by P th and the slope Δ, specific examples thereof are defined by the following expressions (6) and (7).

th=exp((第1の運動量*2+第2の運動量)/3) ・・・(6)
Δ=(exp(第2の運動量)−Pth)/9 ・・・(7)
P th = exp ((first momentum * 2 + second momentum) / 3) (6)
Δ = (exp (second momentum) −P th ) / 9 (7)

パラメータ決定部244は以上のような変換処理を行い、関心度評価式に用いる信頼度に関する長期間パラメータである閾値Pth、及びPを決定する。 The parameter determination unit 244 performs the conversion processing as described above and determines the thresholds P th and P 0 that are long-term parameters regarding the reliability used in the interest level evaluation formula.

以上が、長期間パラメータ推定部232の各処理部の説明である。   The above is a description of each processing unit of the long-term parameter estimation unit 232.

姿勢変化判定部234は、所定間隔で、重力加速度から求まる姿勢ベクトルの各々に基づいて、上記(3)式に従って、換算運動量を算出する。本実施形態では、所定間隔は1秒とする。重力加速度センサが200ms間隔でデータを取得すると、5つの姿勢ベクトルが集まる。姿勢変化判定部234は、5つの姿勢ベクトルを時間順に差分をとり、上記(3)式の換算運動量を求める。   The posture change determination unit 234 calculates the converted momentum according to the above equation (3) based on each of the posture vectors obtained from the gravitational acceleration at predetermined intervals. In this embodiment, the predetermined interval is 1 second. When the gravitational acceleration sensor acquires data at intervals of 200 ms, five attitude vectors are collected. The posture change determination unit 234 obtains the converted momentum of the above equation (3) by taking the difference between the five posture vectors in time order.

次に、姿勢変化判定部234は、姿勢変化に関する状況を判定する。姿勢変化に関する状況は、姿勢変化が起きていない通常の状況、姿勢変化と捉えられうる姿勢変化候補フェーズにある状況、及び姿勢変化候補フェーズから姿勢変化が確定した状況である。状況の判定のためには、換算運動量に関する第一閾値を設定する。また、端末運動量に関する第二閾値を設定する。姿勢変化判定部234は、換算運動量が予め定めた第一閾値よりも大きい場合に、姿勢変化となりうる状況が生じていると判定し、姿勢変化候補フェーズとする。姿勢変化判定部234は、姿勢変化候補フェーズとなった場合に、端末運動量が予め定めた第二閾値よりも小さい場合に、姿勢変化が確定したと判定する。ここで用いる端末運動量は、長期間パラメータ推定部232の第一運動量算出部240と同様の手法で算出すればよい。   Next, the posture change determination unit 234 determines the situation regarding the posture change. The situation regarding the posture change is a normal situation in which no posture change has occurred, a situation in the posture change candidate phase that can be regarded as a posture change, and a situation in which the posture change is confirmed from the posture change candidate phase. To determine the situation, a first threshold value for the converted momentum is set. In addition, the second threshold value regarding the terminal momentum is set. The posture change determination unit 234 determines that there is a situation in which the posture change may occur when the converted exercise amount is larger than a predetermined first threshold, and sets the posture change candidate phase. The posture change determination unit 234 determines that the posture change has been confirmed when the terminal movement amount is smaller than a predetermined second threshold in the posture change candidate phase. The terminal momentum used here may be calculated by the same method as the first momentum calculator 240 of the long-term parameter estimator 232.

パラメータ統合部236は、姿勢変化に関する状況に基づいて、関心度評価に用いるパラメータを決定し、関心度評価部38に出力する。パラメータ統合部236は、姿勢変化の確定が生じていない場合と、姿勢変化の確定が生じた場合とで、それぞれの場合に応じた処理を行う。姿勢変化の確定が生じていない場合は、40秒のサイクル間で3つの区間に分けて、それぞれの区間でパラメータを決定する。0−10秒の区間を第1区間、10−20秒の区間を第2区間、20−40秒の区間を第3区間とする。採用するパラメータは、上記図16を参照して説明した考え方と同様である。40秒ごとのサイクルで、短期間パラメータ推定部230で観測していた累積度数分布をリセットする。リセット後の0−10秒の第1区間の10秒間は、前の40秒の時点で推定されていた長期間パラメータを用いる。リセット後の10−20秒の第2区間の10秒間は補間パラメータを用いる。リセット後の20−40秒の第3区間は短期間パラメータを用いる。   The parameter integration unit 236 determines a parameter used for the interest degree evaluation based on the situation regarding the posture change, and outputs the parameter to the interest degree evaluation unit 38. The parameter integration unit 236 performs processing according to each case depending on whether the posture change has been confirmed or not. When the posture change has not been confirmed, it is divided into three sections during a cycle of 40 seconds, and the parameters are determined in each section. The section of 0-10 seconds is the first section, the section of 10-20 seconds is the second section, and the section of 20-40 seconds is the third section. The parameters to be adopted are the same as the concept described with reference to FIG. The cumulative frequency distribution observed by the short-term parameter estimation unit 230 is reset every 40 seconds. For 10 seconds in the first section of 0-10 seconds after resetting, the long-term parameter estimated at the previous 40 seconds is used. Interpolation parameters are used for 10 seconds in the second section of 10-20 seconds after reset. The third period of 20-40 seconds after reset uses short-term parameters.

姿勢変化の確定が生じた場合は、姿勢変化の確定時点で、短期間パラメータ推定部230で観測していた累積度数分布をリセットする。姿勢変化の確定の時点から0−10秒の第1区間の10秒間は、姿勢変化の確定時点に推定されていた長期間パラメータを用いる。姿勢変化の確定時点から10−20秒の第2区間の10秒間は補間パラメータを用いる。姿勢変化の確定時点の20−40秒の第3区間は短期間パラメータを用いる。   When the posture change is confirmed, the cumulative frequency distribution observed by the short-term parameter estimation unit 230 is reset when the posture change is confirmed. The long-term parameters estimated at the time of the determination of the posture change are used for 10 seconds in the first section of 0-10 seconds from the time of the determination of the posture change. The interpolation parameter is used for 10 seconds in the second section of 10-20 seconds from the time when the posture change is determined. The short-term parameters are used for the third section of 20-40 seconds at the time when the posture change is determined.

ここで補間パラメータの統合手法について、説明する。   Here, a method of integrating interpolation parameters will be described.

補間パラメータは、以下(8)式に示すように、長期間パラメータと、短期間パラメータとを線形補間したパラメータである。   The interpolation parameter is a parameter obtained by linearly interpolating a long-term parameter and a short-term parameter, as shown in the following equation (8).


・・・(8)

... (8)

^Paveは短期間パラメータ、Paveは長期間パラメータ、tは最新のサイクルの開始からの経過時間を表す。 ^ P ave is a short period of time parameters, P ave is a long period of time parameter, t e represents the elapsed time from the start of the most recent cycle.

情報処理端末216は、例えば、図21に示すコンピュータ280で実現することができる。コンピュータ280はCPU91、一時記憶領域としてのメモリ92、及び不揮発性の記憶部283を備える。また、コンピュータ280は、入出力I/F94、R/W部95、及びネットワークI/F96を備える。CPU91、メモリ92、入出力I/F94、R/W部95、及びネットワークI/F96は、バス97を介して互いに接続される。   The information processing terminal 216 can be realized by, for example, the computer 280 shown in FIG. The computer 280 includes a CPU 91, a memory 92 as a temporary storage area, and a non-volatile storage unit 283. The computer 280 also includes an input / output I / F 94, an R / W unit 95, and a network I / F 96. The CPU 91, the memory 92, the input / output I / F 94, the R / W unit 95, and the network I / F 96 are connected to each other via a bus 97.

記憶部283は、HDD、SSD、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部283には、コンピュータ280を情報処理端末216として機能させるための関心度評価プログラム260が記憶されている。関心度評価プログラム260は、通信プロセス262と、制御プロセス263と、ユーザ操作検出プロセス264と、端末姿勢検出プロセス265と、タッチ状態解析プロセス266とを有する。関心度評価プログラム260は、短期間パラメータ推定プロセス267と、長期間パラメータ推定プロセス268と、姿勢変化判定プロセス269と、パラメータ統合プロセス270と、関心度評価プロセス271とを有する。   The storage unit 283 can be realized by an HDD, SSD, flash memory, or the like. An interest level evaluation program 260 for causing the computer 280 to function as the information processing terminal 216 is stored in the storage unit 283 as a storage medium. The interest level evaluation program 260 has a communication process 262, a control process 263, a user operation detection process 264, a terminal attitude detection process 265, and a touch state analysis process 266. The interest level evaluation program 260 has a short-term parameter estimation process 267, a long-term parameter estimation process 268, a posture change determination process 269, a parameter integration process 270, and an interest level evaluation process 271.

CPU91は、関心度評価プログラム260を記憶部283から読み出してメモリ92に展開し、関心度評価プログラム260が有するプロセスを順次実行する。CPU91は、通信プロセス262を実行することで、図18に示す通信部18として動作する。また、CPU91は、制御プロセス263を実行することで、図18に示す制御部20として動作する。また、CPU91は、ユーザ操作検出プロセス264を実行することで、図18に示すユーザ操作検出部24として動作する。また、CPU91は、端末姿勢検出プロセス265を実行することで、図18に示す端末姿勢検出部227として動作する。また、CPU91は、タッチ状態解析プロセス266を実行することで、図18に示すタッチ状態解析部28として動作する。また、CPU91は、短期間パラメータ推定プロセス267を実行することで、図18に示す短期間パラメータ推定部230として動作する。また、CPU91は、長期間パラメータ推定プロセス268を実行することで、図18に示す長期間パラメータ推定部232として動作する。また、CPU91は、姿勢変化判定プロセス269を実行することで、図18に示す姿勢変化判定部234として動作する。また、CPU91は、パラメータ統合プロセス270を実行することで、図18に示すパラメータ統合部236として動作する。また、CPU91は、関心度評価プロセス271を実行することで、図18に示す関心度評価部38として動作する。   The CPU 91 reads the interest level evaluation program 260 from the storage unit 283, expands it in the memory 92, and sequentially executes the processes of the interest level evaluation program 260. The CPU 91 operates as the communication unit 18 illustrated in FIG. 18 by executing the communication process 262. Further, the CPU 91 operates as the control unit 20 shown in FIG. 18 by executing the control process 263. Further, the CPU 91 operates as the user operation detection unit 24 shown in FIG. 18 by executing the user operation detection process 264. Further, the CPU 91 operates as the terminal attitude detection unit 227 shown in FIG. 18 by executing the terminal attitude detection process 265. Further, the CPU 91 operates as the touch state analysis unit 28 shown in FIG. 18 by executing the touch state analysis process 266. Further, the CPU 91 operates as the short-term parameter estimation unit 230 shown in FIG. 18 by executing the short-term parameter estimation process 267. Further, the CPU 91 operates as the long-term parameter estimation unit 232 shown in FIG. 18 by executing the long-term parameter estimation process 268. Further, the CPU 91 operates as the posture change determination unit 234 shown in FIG. 18 by executing the posture change determination process 269. Further, the CPU 91 operates as the parameter integration unit 236 shown in FIG. 18 by executing the parameter integration process 270. The CPU 91 operates as the interest level evaluation unit 38 shown in FIG. 18 by executing the interest level evaluation process 271.

これにより、関心度評価プログラム260を実行したコンピュータ280が、情報処理端末216として機能することになる。なお、プログラムを実行するCPU91はハードウェアである。   As a result, the computer 280 that executes the interest level evaluation program 260 functions as the information processing terminal 216. The CPU 91 that executes the program is hardware.

なお、関心度評価プログラム260により実現される機能は、例えば半導体集積回路、より詳しくはASIC等で実現することも可能である。   The function realized by the interest level evaluation program 260 can be realized by, for example, a semiconductor integrated circuit, more specifically, an ASIC or the like.

次に、第2の実施形態に係る関心度評価システム210の作用について説明する。なお、第1の実施形態と同様となる箇所については、同一符号を付して説明を省略する。関心度評価システム210において、情報処理端末216がコンテンツサーバ12からコンテンツを受信する。そして、情報処理端末216の表示部22に受信したコンテンツが表示され、ユーザ操作検出部24がユーザによる操作の入力を受け付けたときに、情報処理端末216において、図22に示す関心度評価処理が実行される。以下、各処理について詳述する。ステップS100〜S104、及びS108については第1の実施形態と同様である。また、ステップS2102及びS2104の短期間パラメータの推定及び長期間パラメータの推定は、並列に実行する。   Next, the operation of the interest level evaluation system 210 according to the second embodiment will be described. The same parts as those in the first embodiment are designated by the same reference numerals and the description thereof will be omitted. In the interest level evaluation system 210, the information processing terminal 216 receives content from the content server 12. Then, when the received content is displayed on the display unit 22 of the information processing terminal 216 and the user operation detection unit 24 receives the input of the operation by the user, the interest level evaluation process shown in FIG. Executed. Hereinafter, each process will be described in detail. Steps S100 to S104 and S108 are the same as those in the first embodiment. Also, the short-term parameter estimation and the long-term parameter estimation in steps S2102 and S2104 are executed in parallel.

ステップS102の次に、ステップS2100において、端末姿勢検出部227は、端末の姿勢を単位時間ごとに検出する。   After step S102, in step S2100, the terminal attitude detection unit 227 detects the attitude of the terminal for each unit time.

ステップS2101において、端末運動量検出部226は、重力加速度センサによって重力加速度を検出する。   In step S2101, the terminal momentum detection unit 226 detects the gravitational acceleration by the gravitational acceleration sensor.

ステップS2102において、短期間パラメータ推定部230は、所定の間隔で短期間パラメータを推定する。所定の間隔は、第1の実施形態の単位時間としていた0.5秒とする。   In step S2102, the short-term parameter estimation unit 230 estimates short-term parameters at predetermined intervals. The predetermined interval is 0.5 seconds, which is the unit time of the first embodiment.

ステップS2104において、長期間パラメータ推定部232は、所定の間隔で長期間パラメータを推定する。所定の間隔は40秒とする。ここで推定する長期間パラメータは、直近の長期間パラメータと、規定の時間長の長期間パラメータとの2つの長期間パラメータである。なお、姿勢変化が確定した時点で直近の長期間パラメータを推定するようにしてもよい。   In step S2104, the long-term parameter estimation unit 232 estimates long-term parameters at predetermined intervals. The predetermined interval is 40 seconds. The long-term parameters estimated here are two long-term parameters, the most recent long-term parameter and the long-term parameter having a prescribed time length. Note that the latest long-term parameter may be estimated when the posture change is confirmed.

ステップS2106において、姿勢変化判定部234は、姿勢変化に関する状況を判定する。   In step S2106, the posture change determination unit 234 determines the situation regarding the posture change.

ステップS2108において、パラメータ統合部236は、姿勢変化に関する状況に基づいて、関心度評価に用いるパラメータを決定し、関心度評価部38に出力する。   In step S2108, the parameter integration unit 236 determines the parameter used for the interest degree evaluation based on the situation regarding the posture change, and outputs the parameter to the interest degree evaluation unit 38.

上記ステップS2102は、第1の実施形態の図10のフローと同様に実行すればよい。   The above step S2102 may be executed similarly to the flow of FIG. 10 of the first embodiment.

上記ステップS2104の詳細なフローについて図23を参照して説明する。なお、長期間パラメータは、以下の各ステップの処理を、直近の長期間パラメータと、規定の時間長の長期間パラメータとのそれぞれを求めるように、それぞれについて40秒ごとに実行する。直近の長期間パラメータは、直近の40秒間のデータを用いて推定した長期間パラメータである。規定の時間長の長期間パラメータは、最長200秒間のデータを用いて推定した長期間パラメータである。   The detailed flow of step S2104 will be described with reference to FIG. As for the long-term parameter, the processing of each of the following steps is executed every 40 seconds so that the latest long-term parameter and the long-term parameter of the specified time length are obtained. The latest long-term parameter is a long-term parameter estimated using the latest 40 seconds of data. The long-term parameter of the specified time length is a long-term parameter estimated using the data for a maximum of 200 seconds.

ステップS2200において、第一運動量算出部240は、単位時間当たりの端末の姿勢に関する端末運動量と、単位時間ごとの端末の姿勢との組み合わせに基づいて、端末運動量を複数のクラスタに類別し、注視状態に対応するクラスタを特定する。そして、第一運動量算出部240は、注視状態のクラスタにおける第1の運動量を算出する。   In step S2200, the first momentum calculation unit 240 classifies the terminal momentum into a plurality of clusters based on the combination of the terminal momentum regarding the posture of the terminal per unit time and the posture of the terminal per unit time, and gaze state Specify the cluster corresponding to. Then, the first momentum calculation unit 240 calculates the first momentum in the cluster in the gaze state.

ステップS2202において、第二運動量算出部242は、ステップS2200で求めた注視状態に対応するクラスタに属する第1の運動量と、端末の所定の操作状態における端末運動量とに基づいて、端末運動量を非注視状態であるか否かに類別する。そして、第二運動量算出部242は、類別結果から第2の運動量を算出する。   In step S2202, the second momentum calculation unit 242 does not gaze the terminal momentum based on the first momentum belonging to the cluster corresponding to the gaze state obtained in step S2200 and the terminal momentum in the predetermined operation state of the terminal. Categorize whether or not it is in a state. Then, the second exercise amount calculation unit 242 calculates the second exercise amount from the classification result.

ステップS2204において、パラメータ決定部244は、注視状態に対応するクラスタに属する第1の運動量と、非注視状態に属する第2の運動量とに基づいて、端末の操作者の関心度を評価するための長期間パラメータを決定する。   In step S2204, the parameter determining unit 244 evaluates the degree of interest of the operator of the terminal based on the first momentum belonging to the cluster corresponding to the gaze state and the second momentum belonging to the non-gaze state. Determine long-term parameters.

上記ステップS2106の詳細なフローについて図24を参照して説明する。図24のフローは、姿勢変化判定部234の所定間隔である1秒間隔で実行する。また、初回実行時の姿勢変化候補フェーズはOFFに設定されている。   The detailed flow of step S2106 will be described with reference to FIG. The flow of FIG. 24 is executed at 1 second intervals, which are predetermined intervals of the posture change determination unit 234. Further, the posture change candidate phase at the time of first execution is set to OFF.

ステップS2300において、姿勢変化判定部234は、姿勢変化候補フェーズであるか否かを判定する。姿勢変化候補フェーズであればステップS2308へ移行し、姿勢変化候補フェーズでなければステップS2302へ移行する。   In step S2300, the posture change determination unit 234 determines whether or not it is the posture change candidate phase. If it is the posture change candidate phase, the process proceeds to step S2308, and if it is not the posture change candidate phase, the process proceeds to step S2302.

ステップS2302において、姿勢変化判定部234は、端末運動量の重力加速度に基づいて、上記(3)式に従って、姿勢ベクトルの換算運動量を算出する。   In step S2302, the posture change determination unit 234 calculates the converted momentum of the posture vector according to the above equation (3) based on the gravitational acceleration of the terminal momentum.

ステップS2304において、姿勢変化判定部234は、換算運動量が予め定めた第一閾値よりも大きいか否かを判定する。第一閾値よりも大きければステップS2306へ移行する。第一閾値よりも小さければ処理を終了する。なお、換算運動量が第一閾値よりも大きくなる場合は、ユーザ操作検出部24は、スクロール操作が検出されていない非操作区間であると想定される。注視中ならば姿勢変化は生じず、非操作区間で姿勢変化が生じると考えられるからである。   In step S2304, the posture change determination unit 234 determines whether the converted exercise amount is larger than a predetermined first threshold value. If it is larger than the first threshold value, the process proceeds to step S2306. If it is smaller than the first threshold value, the process ends. When the converted exercise amount is larger than the first threshold, the user operation detection unit 24 is assumed to be a non-operation section in which the scroll operation is not detected. This is because it is considered that the posture does not change during the gazing and the posture changes in the non-operation section.

ステップS2306において、姿勢変化判定部234は、姿勢変化候補フェーズをONに設定し、フェーズカウンタの値を設定して、処理を終了する。フェーズカウンタの値は、例えば10に設定し、マイナスカウントして、0になると姿勢変化候補フェーズをOFFに戻す値である。   In step S2306, the posture change determination unit 234 sets the posture change candidate phase to ON, sets the value of the phase counter, and ends the process. The value of the phase counter is, for example, set to 10 and is a value that counts negatively and returns the posture change candidate phase to OFF when it becomes 0.

ステップS2308において、姿勢変化判定部234は、端末運動量が予め定めた第二閾値よりも小さいか否かを判定する。第二閾値よりも小さければステップS2310へ移行する。第二閾値よりも小さくなければステップS2312へ移行する。   In step S2308, the posture change determination unit 234 determines whether the terminal exercise amount is smaller than a predetermined second threshold value. If it is smaller than the second threshold value, the process proceeds to step S2310. If it is not smaller than the second threshold value, the process proceeds to step S2312.

ステップS2310において、姿勢変化判定部234は、姿勢変化を確定と判定し、ステップS2316へ移行する。   In step S2310, posture change determination section 234 determines that the posture change is confirmed, and proceeds to step S2316.

ステップS2312において、姿勢変化判定部234は、フェーズカウンタの値を、−1とカウントする。   In step S2312, the posture change determination unit 234 counts the value of the phase counter as -1.

ステップS2314において、姿勢変化判定部234は、フェーズカウンタが0より大きいか否かを判定し、フェーズカウンタが0より大きければ処理を終了し、フェーズカウンタが0であればステップS2316へ移行する。   In step S2314, the posture change determination unit 234 determines whether or not the phase counter is greater than 0. If the phase counter is greater than 0, the process ends, and if the phase counter is 0, the process proceeds to step S2316.

ステップS2316において、姿勢変化判定部234は、姿勢変化候補フェーズをOFFに設定して処理を終了する。   In step S2316, posture change determination section 234 sets the posture change candidate phase to OFF and ends the process.

上記ステップS2108の詳細なフローについて図25を参照して説明する。図25のフローは、図24の姿勢変化判定部234の処理後に実行する。また、初回実行時はサイクルが設定されており、サイクルは0−40秒間として、0−10秒を第1区間、10−20秒を第2区間、20−40秒を第3区間とする。また、短期間パラメータが随時与えられ、規定の時間長の長期間パラメータが40秒ごとに与えられているものとする。   The detailed flow of step S2108 will be described with reference to FIG. The flow of FIG. 25 is executed after the processing of the posture change determination unit 234 of FIG. In addition, a cycle is set for the first execution, and the cycle is set to 0-40 seconds, 0-10 seconds is the first section, 10-20 seconds is the second section, and 20-40 seconds is the third section. Further, it is assumed that the short-term parameter is given at any time, and the long-term parameter having a prescribed time length is given every 40 seconds.

ステップS2400において、パラメータ統合部236は、S2106の判定で姿勢変化が確定しているかを判定する。姿勢変化が確定していればステップS2402へ移行し、姿勢変化が確定していなければステップS2406へ移行する。   In step S2400, the parameter integration unit 236 determines whether the posture change is confirmed in the determination of step S2106. If the posture change is confirmed, the process proceeds to step S2402, and if the posture change is not confirmed, the process proceeds to step S2406.

ステップS2402において、パラメータ統合部236は、姿勢変化の確定を契機とした新たなサイクルを開始する。   In step S2402, the parameter integration unit 236 starts a new cycle triggered by the confirmation of the posture change.

ステップS2404において、短期間パラメータ推定の累積度数分布をリセットし、直近の長期間パラメータの推定結果を取得し、ステップS2408へ移行する。以下の各ステップにおいて、直近の長期間パラメータを取得した場合には、当該サイクルでは、直近の長期間パラメータを用いる。取得していなければ規定の時間長の長期間パラメータを用いる。   In step S2404, the cumulative frequency distribution of short-term parameter estimation is reset, the latest long-term parameter estimation result is acquired, and the process proceeds to step S2408. In each of the following steps, when the latest long-term parameter is acquired, the latest long-term parameter is used in the cycle. If not acquired, the long-term parameter with the specified length is used.

ステップS2406において、パラメータ統合部236は、サイクルの第1区間であるかを判定し、第1区間であればステップS2408へ移行し、第1区間でなければステップS2410へ移行する。   In step S2406, the parameter integration unit 236 determines whether it is the first section of the cycle, the process proceeds to step S2408 if it is the first section, and the process proceeds to step S2410 if it is not the first section.

ステップS2408において、パラメータ統合部236は、第1区間であるとして、長期間パラメータを、関心度評価で用いるパラメータとして決定する。   In step S2408, the parameter integration unit 236 determines that the first section is a long-term parameter as a parameter used in the interest degree evaluation.

ステップS2410において、パラメータ統合部236は、サイクルの第2区間であるかを判定し、第2区間であればステップS2412へ移行し、第2区間でなければ第3区間であるとしてステップS2416へ移行する。   In step S2410, the parameter integration unit 236 determines whether it is the second section of the cycle, the process proceeds to step S2412 if it is the second section, and the process proceeds to step S2416 assuming that it is the third section if it is not the second section. To do.

ステップS2412において、パラメータ統合部236は、第2区間であるとして、上記(8)式に従って、補間パラメータを算出する。   In step S2412, the parameter integration unit 236 calculates the interpolation parameter according to the above equation (8) assuming that it is the second section.

ステップS2414において、パラメータ統合部236は、補間パラメータを、関心度評価で用いるパラメータとして決定する。   In step S2414, the parameter integration unit 236 determines the interpolation parameter as the parameter used in the interest degree evaluation.

ステップS2416において、第3区間であるとして短期間パラメータを、関心度評価で用いるパラメータとして決定する。   In step S2416, the short-term parameter as the third section is determined as the parameter used in the interest level evaluation.

ステップS2418において、パラメータ統合部236は、サイクルをリセットするか否かを判定する。リセットする場合にはステップS2420へ移行してサイクルをリセットする。リセットしない場合には処理を終了する。サイクルをリセットするか否かは、サイクルの開始から40秒経過しているかを条件として、40秒経過していればリセットし、40秒経過していなければリセットしない。   In step S2418, the parameter integration unit 236 determines whether to reset the cycle. When resetting, the process proceeds to step S2420 and the cycle is reset. If not reset, the process ends. Whether or not the cycle is reset is determined on the condition that 40 seconds have elapsed from the start of the cycle, and is reset when 40 seconds have elapsed, and is not reset when 40 seconds has not elapsed.

[第2の実施形態の実験結果] [Experimental Results of Second Embodiment]

図26に第2の実施形態の手法の実験結果の例を示す。図26では、時系列における、関心度と、スクロール座標との対応関係を表している。図26上段の機械学習による関心度グラフの結果において、横軸の経過時間200〜250秒の区間が、被験者アンケートを考慮すると関心度が高く検出されるべきところだが、関心度が低くしか検出されない状態が継続している。本実験では操作者が、200〜250秒の直前の区間で操作ミスによりブラウザを閉じてしまい、介助者に手助けされる状況が生じている。そのため、端末の動き、及び姿勢変化は大きくなっている。このような大きな端末の動き、及び姿勢変化が学習データにあったにも関わらず、機械学習の手法では、姿勢変化がないものとして従前のパラメータが継続しがちであり、混入した大きな端末の動きがノイズとして排除されてしまっている。一方で、図26下段の本実施形態の手法による関心度グラフの結果は、経過時間200〜250秒の区間において関心が高く正しく検出されている。   FIG. 26 shows an example of the experimental result of the method of the second embodiment. In FIG. 26, the correspondence relationship between the degree of interest and the scroll coordinates in time series is shown. In the result of the interest degree graph by machine learning in the upper part of FIG. 26, the section of the elapsed time of 200 to 250 seconds on the horizontal axis should be detected with high interest degree in consideration of the subject questionnaire, but only low interest degree is detected. The condition continues. In this experiment, the operator closes the browser due to an operation mistake in the section immediately before 200 to 250 seconds, and a situation arises in which the assistant assists. Therefore, the movement of the terminal and the change in the posture are large. In spite of such large terminal movements and posture changes in the learning data, the machine learning method tends to continue the previous parameters assuming that there is no posture change, and the mixed large terminal movements are likely to continue. Has been excluded as noise. On the other hand, the result of the interest level graph by the method of the present embodiment in the lower part of FIG. 26 shows that the interest is high and is correctly detected in the section of the elapsed time of 200 to 250 seconds.

以上の各実施形態に関し、更に以下の付記を開示する。   With respect to each of the above embodiments, the following supplementary notes are further disclosed.

(付記1)
第1の期間に観測された端末の端末運動量の第1分布を求め、
前記第1分布における既定の順位に相当する端末運動量から、前記端末の操作者の関心度を評価するためのパラメータの暫定値を定め、
前記第1の期間よりも後の期間となる第2の期間に観測された前記端末運動量の第2分布を求め、
前記第1分布の重心と前記第2分布の重心とを比較し、
前記比較の結果に応じて、前記第1分布における既定の順位を補正し、前記パラメータを更新する、
ことを含む処理をコンピュータに実行させるためのパラメータ推定プログラム。
(Appendix 1)
The first distribution of the terminal momentum of the terminals observed in the first period is calculated,
From a terminal momentum corresponding to a predetermined rank in the first distribution, a provisional value of a parameter for evaluating the degree of interest of the operator of the terminal is determined,
A second distribution of the terminal momentum observed in a second period, which is a period after the first period, is obtained,
Comparing the centroid of the first distribution with the centroid of the second distribution,
Correcting the predetermined rank in the first distribution and updating the parameter according to the result of the comparison;
A parameter estimation program for causing a computer to execute processing including the above.

(付記2)
前記既定の順位は、前記第1分布における前記端末運動量を、前記端末運動量の大きさにより昇順又は降順に並べた場合における所定のパーセンタイルに相当する順位である付記1に記載のパラメータ推定プログラム。
(Appendix 2)
The parameter estimation program according to attachment 1, wherein the predetermined rank is a rank corresponding to a predetermined percentile when the terminal momentums in the first distribution are arranged in ascending or descending order according to the magnitude of the terminal momentum.

(付記3)
前記比較において、前記第1分布における前記端末運動量の新たな下限となる変化を検出し、
前記新たな下限となる変化を検出した場合に、前記第1分布と前記第2分布との重心距離に基づいて、前記既定の順位を補正して前記パラメータを更新する付記1又は付記2に記載のパラメータ推定プログラム。
(Appendix 3)
In the comparison, a new lower limit change in the terminal momentum in the first distribution is detected,
The supplementary note 1 or the supplementary note 2 that corrects the predetermined rank and updates the parameter based on the center-of-gravity distance between the first distribution and the second distribution when a change that is the new lower limit is detected. Parameter estimation program.

(付記4)     (Appendix 4)

前記重心は、前記第1分布及び前記第2分布の各々における前記端末運動量の中央値とし、
前記新たな下限となる変化は、前記第2分布の重心が、前記第1分布の重心を下回ったことにより検出する付記3に記載のパラメータ推定プログラム。
The center of gravity is the median of the terminal momentum in each of the first distribution and the second distribution,
4. The parameter estimation program according to attachment 3, wherein the new lower limit change is detected when the center of gravity of the second distribution is lower than the center of gravity of the first distribution.

(付記5)
前記端末運動量は、1秒以内の単位時間より短いサンプル間隔で検出し、前記単位時間毎に前記第1分布、及び前記第2分布を求める付記1〜付記4の何れかに記載のパラメータ推定プログラム。
(Appendix 5)
The parameter estimation program according to any one of appendices 1 to 4, wherein the terminal momentum is detected at a sample interval shorter than a unit time within 1 second, and the first distribution and the second distribution are obtained for each unit time. ..

(付記6)
前記端末のスクロール速度、前記端末運動量、及び前記更新した前記パラメータに基づいて、前記端末の操作者の関心度を評価する付記1〜付記5の何れかに記載のパラメータ推定プログラム。
(Appendix 6)
6. The parameter estimation program according to any one of appendices 1 to 5, which evaluates the degree of interest of the operator of the terminal based on the scroll speed of the terminal, the momentum of the terminal, and the updated parameter.

(付記7)
更新した前記パラメータを第1パラメータとして推定し、
前記端末についての姿勢に関する情報と前記端末運動量との組み合わせによる前記端末運動量を複数に類別したクラスタに基づいて、前記パラメータとして第2パラメータを推定し、
前記端末について検出した重力加速度に関するベクトルである姿勢ベクトルの各々から求まる換算運動量に基づいて、姿勢変化候補が生じたか否かを判定し、
姿勢変化候補であると判定された場合に、前記端末運動量に基づいて、姿勢変化が確定したか否かを判定し、
前記姿勢変化の確定によって定まる各区間に応じて、前記第1パラメータ、前記第2パラメータ、又は前記第1パラメータ及び前記第2パラメータを予め定めた手法で補間した第3のパラメータを、関心度評価に用いるパラメータとして決定する、付記1〜付記6の何れかに記載のパラメータ推定プログラム。
(Appendix 7)
Estimating the updated parameter as the first parameter,
Estimating a second parameter as the parameter, based on a cluster obtained by classifying the terminal momentum based on a combination of information about the posture of the terminal and the terminal momentum,
Based on the converted momentum obtained from each of the posture vector which is a vector related to the gravitational acceleration detected for the terminal, it is determined whether or not a posture change candidate has occurred,
When it is determined to be a posture change candidate, based on the terminal momentum, it is determined whether the posture change is confirmed,
The degree of interest evaluation is performed on the first parameter, the second parameter, or the third parameter obtained by interpolating the first parameter and the second parameter by a predetermined method according to each section determined by the determination of the posture change. 7. The parameter estimation program according to any one of appendices 1 to 6, which is determined as a parameter used for.

(付記8)
前記決定するパラメータは、
前記姿勢変化の確定から所定の時間の区間である第1区間において、前記第2パラメータを採用し、
前記第1区間から所定の時間の区間である第2区間において、前記第3パラメータを採用し、
前記第2区間から所定の時間の区間である第3区間において、前記第1パラメータを採用する付記7に記載のパラメータ推定プログラム。
(Appendix 8)
The parameters to be determined are
In the first section, which is a section of a predetermined time from the determination of the posture change, the second parameter is adopted,
In the second section which is a section of a predetermined time from the first section, the third parameter is adopted,
8. The parameter estimation program according to appendix 7, which employs the first parameter in a third section that is a section of a predetermined time from the second section.

(付記9)
前記換算運動量が予め定めた第一閾値を超えた後、前記端末運動量が予め定めた第二閾値を下回った場合に前記姿勢変化を確定し、
前記姿勢変化が確定したときに、前記第1パラメータを求めるための前記第1分布をリセットして、前記姿勢変化の確定後の前記第1パラメータを更新し、
前記姿勢変化が確定したときに、前記姿勢変化が確定した時点の直近の所定の間隔で観測された前記端末運動量を類別したクラスタから求めた前記第2パラメータを前記決定において採用する付記7又は付記8に記載のパラメータ推定プログラム。
(Appendix 9)
After the converted exercise amount exceeds a predetermined first threshold value, the posture change is confirmed when the terminal exercise amount falls below a predetermined second threshold value,
When the posture change is confirmed, the first distribution for obtaining the first parameter is reset, and the first parameter after the posture change is confirmed is updated.
When the posture change is confirmed, the second parameter obtained from the cluster that classifies the terminal momentum observed at the latest predetermined interval when the posture change is confirmed is adopted in the determination Note 7 or Note 8. The parameter estimation program described in 8.

(付記10)
第1の期間に観測された端末の端末運動量の第1分布を求め、前記第1分布における既定の順位に相当する端末運動量から、前記端末の操作者の関心度を評価するためのパラメータの暫定値を定める第一分布算出部と、
前記第1の期間よりも後の期間となる第2の期間に観測された前記端末運動量の第2分布を求める第二分布算出部と、
前記第1分布の重心と前記第2分布の重心とを比較する比較部と、
前記比較の結果に応じて、前記第1分布における既定の順位を補正し、前記パラメータを更新するパラメータ更新部と、
を含むパラメータ推定装置。
(Appendix 10)
A first distribution of the terminal momentums of the terminals observed in the first period is obtained, and the provisional parameters for evaluating the degree of interest of the operator of the terminal from the terminal momentums corresponding to a predetermined rank in the first distribution. A first distribution calculator that determines the value,
A second distribution calculation unit that obtains a second distribution of the terminal momentum observed in a second period that is a period after the first period,
A comparison unit that compares the center of gravity of the first distribution with the center of gravity of the second distribution;
A parameter updating unit that corrects a predetermined rank in the first distribution according to a result of the comparison and updates the parameter;
A parameter estimation device including.

(付記11)
前記既定の順位は、前記第1分布における前記端末運動量を、前記端末運動量の大きさにより昇順又は降順に並べた場合における所定のパーセンタイルに相当する順位である付記10に記載のパラメータ推定装置。
(Appendix 11)
11. The parameter estimation device according to attachment 10, wherein the predetermined rank is a rank corresponding to a predetermined percentile when the terminal momentums in the first distribution are arranged in ascending or descending order according to the magnitude of the terminal momentum.

(付記12)
前記比較部は、前記比較において、前記第1分布における前記端末運動量の新たな下限となる変化を検出し、
前記パラメータ更新部は、前記新たな下限となる変化を検出した場合に、前記第1分布と前記第2分布との重心距離に基づいて、前記既定の順位を補正して前記パラメータを更新する付記10又は付記11に記載のパラメータ推定装置。
(Appendix 12)
In the comparison, the comparison unit detects a change that is a new lower limit of the terminal momentum in the first distribution,
Note that, when the parameter update unit detects a change that is the new lower limit, the parameter update unit updates the parameter by correcting the predetermined rank based on a center-of-gravity distance between the first distribution and the second distribution. 10 or the parameter estimation device according to attachment 11.

(付記13)
前記比較部において、前記重心は、前記第1分布及び前記第2分布の各々における前記端末運動量の中央値とし、
前記新たな下限となる変化は、前記第2分布の重心が、前記第1分布の重心を下回ったことにより検出する付記12に記載のパラメータ推定装置。
(Appendix 13)
In the comparison unit, the center of gravity is a median value of the terminal momentum in each of the first distribution and the second distribution,
13. The parameter estimation device according to appendix 12, wherein the new lower limit change is detected when the center of gravity of the second distribution is lower than the center of gravity of the first distribution.

(付記14)
前記端末運動量は、端末運動量検出部により、1秒以内の単位時間より短いサンプル間隔で検出し、前記単位時間毎に前記第1分布、及び前記第2分布を求める付記10〜付記13の何れかに記載のパラメータ推定装置。
(Appendix 14)
The terminal momentum is detected by the terminal momentum detection unit at a sample interval shorter than a unit time within 1 second, and the first distribution and the second distribution are calculated for each unit time. The parameter estimation device described in 1.

(付記15)
前記端末のスクロール速度、前記端末運動量、及び前記更新した前記パラメータに基づいて、前記端末の操作者の関心度を評価する関心度評価部を更に含む付記10〜付記14の何れかに記載のパラメータ推定装置。
(Appendix 15)
The parameter according to any one of appendices 10 to 14, further including an interest degree evaluation unit that evaluates an interest degree of an operator of the terminal based on the scroll speed of the terminal, the terminal momentum, and the updated parameter. Estimator.

(付記16)
更新した前記パラメータを第1パラメータとして推定し、
前記端末についての姿勢に関する情報と前記端末運動量との組み合わせによる前記端末運動量を複数に類別したクラスタに基づいて、前記パラメータとして第2パラメータを推定し、
前記端末について検出した重力加速度に関するベクトルである姿勢ベクトルの各々から求まる換算運動量に基づいて、姿勢変化候補が生じたか否かを判定し、
姿勢変化候補であると判定された場合に、前記端末運動量に基づいて、姿勢変化が確定したか否かを判定し、
前記姿勢変化の確定によって定まる各区間に応じて、前記第1パラメータ、前記第2パラメータ、又は前記第1パラメータ及び前記第2パラメータを予め定めた手法で補間した第3のパラメータを、関心度評価に用いるパラメータとして決定する、付記10〜付記15の何れかに記載のパラメータ推定装置。
(Appendix 16)
Estimating the updated parameter as the first parameter,
Estimating a second parameter as the parameter, based on a cluster obtained by classifying the terminal momentum based on a combination of information about the posture of the terminal and the terminal momentum,
Based on the converted momentum obtained from each of the posture vector which is a vector related to the gravitational acceleration detected for the terminal, it is determined whether or not a posture change candidate has occurred,
When it is determined to be a posture change candidate, based on the terminal momentum, it is determined whether the posture change is confirmed,
The degree of interest evaluation is performed on the first parameter, the second parameter, or the third parameter obtained by interpolating the first parameter and the second parameter by a predetermined method according to each section determined by the determination of the posture change. 16. The parameter estimation device according to any one of supplementary notes 10 to 15, which is determined as a parameter used for.

(付記17)
前記換算運動量が予め定めた第一閾値を超えた後、前記端末運動量が予め定めた第二閾値を下回った場合に前記姿勢変化を確定し、
前記姿勢変化が確定したときに、前記第1パラメータを求めるための前記第1分布をリセットして、前記姿勢変化の確定後の前記第1パラメータを更新し、
前記姿勢変化が確定したときに、前記姿勢変化が確定した時点の直近の所定の間隔で観測された前記端末運動量を類別したクラスタから求めた前記第2パラメータを前記決定において採用する付記16に記載のパラメータ推定装置。
(Appendix 17)
After the converted exercise amount exceeds a predetermined first threshold value, the posture change is confirmed when the terminal exercise amount falls below a predetermined second threshold value,
When the posture change is confirmed, the first distribution for obtaining the first parameter is reset, and the first parameter after the posture change is confirmed is updated.
When the posture change is confirmed, the second parameter obtained from a cluster that classifies the terminal momentum observed at a predetermined interval closest to the time when the posture change is confirmed is adopted in the determination Note 16. Parameter estimation device.

(付記18)
前記換算運動量が予め定めた第一閾値を超えた後、前記端末運動量が予め定めた第二閾値を下回った場合に前記姿勢変化を確定し、
前記姿勢変化が確定したときに、前記第1パラメータを求めるための前記第1分布をリセットして、前記姿勢変化の確定後の前記第1パラメータを更新し、
前記姿勢変化が確定したときに、前記姿勢変化が確定した時点の直近の所定の間隔で観測された前記端末運動量を類別したクラスタから求めた前記第2パラメータを前記決定において採用する付記16又は付記17に記載のパラメータ推定装置。
(Appendix 18)
After the converted exercise amount exceeds a predetermined first threshold value, the posture change is confirmed when the terminal exercise amount falls below a predetermined second threshold value,
When the posture change is confirmed, the first distribution for obtaining the first parameter is reset, and the first parameter after the posture change is confirmed is updated.
When the posture change is confirmed, the second parameter obtained from a cluster that classifies the terminal momentum observed at a predetermined interval closest to the time when the posture change is confirmed is adopted in the determination Note 16 or Note 17. The parameter estimation device according to item 17.

(付記19)
第1の期間に観測された端末の端末運動量の第1分布を求め、
前記第1分布における既定の順位に相当する端末運動量から、前記端末の操作者の関心度を評価するためのパラメータの暫定値を定め、
前記第1の期間よりも後の期間となる第2の期間に観測された前記端末運動量の第2分布を求め、
前記第1分布の重心と前記第2分布の重心とを比較し、
前記比較の結果に応じて、前記第1分布における既定の順位を補正し、前記パラメータを更新する、
ことを含む処理をコンピュータが実行することを特徴とするパラメータ推定方法。
(Appendix 19)
The first distribution of the terminal momentum of the terminals observed in the first period is calculated,
From a terminal momentum corresponding to a predetermined rank in the first distribution, a provisional value of a parameter for evaluating the degree of interest of the operator of the terminal is determined,
A second distribution of the terminal momentum observed in a second period, which is a period after the first period, is obtained,
Comparing the centroid of the first distribution with the centroid of the second distribution,
Correcting the predetermined rank in the first distribution and updating the parameter according to the result of the comparison;
A method for estimating parameters, characterized in that a computer executes processing including the above.

(付記20)
前記既定の順位は、前記第1分布における前記端末運動量を、前記端末運動量の大きさにより昇順又は降順に並べた場合における所定のパーセンタイルに相当する順位である付記19に記載のパラメータ推定方法。
(Appendix 20)
20. The parameter estimation method according to Note 19, wherein the predetermined rank is a rank corresponding to a predetermined percentile when the terminal momentums in the first distribution are arranged in ascending or descending order according to the magnitude of the terminal momentum.

(付記21)
前記比較において、前記第1分布における前記端末運動量の新たな下限となる変化を検出し、
前記新たな下限となる変化を検出した場合に、前記第1分布と前記第2分布との重心距離に基づいて、前記既定の順位を補正して前記パラメータを更新する付記19又は付記20に記載のパラメータ推定方法。
(Appendix 21)
In the comparison, a new lower limit change in the terminal momentum in the first distribution is detected,
The supplementary note 19 or the supplementary note 20 that corrects the predetermined rank and updates the parameter based on the center-of-gravity distance between the first distribution and the second distribution when a change that is the new lower limit is detected. Parameter estimation method.

(付記22)
前記重心は、前記第1分布及び前記第2分布の各々における前記端末運動量の中央値とし、
前記新たな下限となる変化は、前記第2分布の重心が、前記第1分布の重心を下回ったことにより検出する付記21に記載のパラメータ推定方法。
(Appendix 22)
The center of gravity is the median of the terminal momentum in each of the first distribution and the second distribution,
22. The parameter estimating method according to appendix 21, wherein the new lower limit change is detected when the center of gravity of the second distribution falls below the center of gravity of the first distribution.

(付記23)
前記端末運動量は、1秒以内の単位時間より短いサンプル間隔で検出し、前記単位時間毎に前記第1分布、及び前記第2分布を求める付記19〜付記22の何れかに記載のパラメータ推定方法。
(Appendix 23)
23. The parameter estimation method according to any one of appendices 19 to 22, wherein the terminal momentum is detected at a sample interval shorter than a unit time within 1 second, and the first distribution and the second distribution are obtained for each unit time. ..

(付記24)
前記端末のスクロール速度、前記端末運動量、及び前記更新した前記パラメータに基づいて、前記端末の操作者の関心度を評価する付記19〜付記23の何れかに記載のパラメータ推定方法。
(Appendix 24)
24. The parameter estimation method according to any one of appendices 19 to 23, wherein the degree of interest of the operator of the terminal is evaluated based on the scroll speed of the terminal, the terminal momentum, and the updated parameter.

(付記25)
更新した前記パラメータを第1パラメータとして推定し、
前記端末についての姿勢に関する情報と前記端末運動量との組み合わせによる前記端末運動量を複数に類別したクラスタに基づいて、前記パラメータとして第2パラメータを推定し、
前記端末について検出した重力加速度に関するベクトルである姿勢ベクトルの各々から求まる換算運動量に基づいて、姿勢変化候補が生じたか否かを判定し、
姿勢変化候補であると判定された場合に、前記端末運動量に基づいて、姿勢変化が確定したか否かを判定し、
前記姿勢変化の確定によって定まる各区間に応じて、前記第1パラメータ、前記第2パラメータ、又は前記第1パラメータ及び前記第2パラメータを予め定めた手法で補間した第3のパラメータを、関心度評価に用いるパラメータとして決定する、付記19〜付記24の何れかに記載のパラメータ推定方法。
(Appendix 25)
Estimating the updated parameter as the first parameter,
Estimating a second parameter as the parameter, based on a cluster obtained by classifying the terminal momentum based on a combination of information about the posture of the terminal and the terminal momentum,
Based on the converted momentum obtained from each of the posture vector which is a vector related to the gravitational acceleration detected for the terminal, it is determined whether or not a posture change candidate has occurred,
When it is determined to be a posture change candidate, based on the terminal momentum, it is determined whether the posture change is confirmed,
The degree of interest evaluation is performed on the first parameter, the second parameter, or the third parameter obtained by interpolating the first parameter and the second parameter by a predetermined method according to each section determined by the determination of the posture change. 25. The parameter estimation method according to any one of appendixes 19 to 24, which is determined as a parameter used for.

(付記26)
前記換算運動量が予め定めた第一閾値を超えた後、前記端末運動量が予め定めた第二閾値を下回った場合に前記姿勢変化を確定し、
前記姿勢変化が確定したときに、前記第1パラメータを求めるための前記第1分布をリセットして、前記姿勢変化の確定後の前記第1パラメータを更新し、
前記姿勢変化が確定したときに、前記姿勢変化が確定した時点の直近の所定の間隔で観測された前記端末運動量を類別したクラスタから求めた前記第2パラメータを前記決定において採用する付記25に記載のパラメータ推定方法。
(Appendix 26)
After the converted exercise amount exceeds a predetermined first threshold value, the posture change is confirmed when the terminal exercise amount falls below a predetermined second threshold value,
When the posture change is confirmed, the first distribution for obtaining the first parameter is reset, and the first parameter after the posture change is confirmed is updated.
When the posture change is confirmed, the second parameter obtained from a cluster that classifies the terminal momentum observed at a predetermined interval closest to the time when the posture change is confirmed is adopted in the determination Note 25. Parameter estimation method.

(付記27)
前記換算運動量が予め定めた第一閾値を超えた後、前記端末運動量が予め定めた第二閾値を下回った場合に前記姿勢変化を確定し、
前記姿勢変化が確定したときに、前記第1パラメータを求めるための前記第1分布をリセットして、前記姿勢変化の確定後の前記第1パラメータを更新し、
前記姿勢変化が確定したときに、前記姿勢変化が確定した時点の直近の所定の間隔で観測された前記端末運動量を類別したクラスタから求めた前記第2パラメータを前記決定において採用する付記25又は付記26に記載のパラメータ推定方法。
(Appendix 27)
After the converted exercise amount exceeds a predetermined first threshold value, the posture change is confirmed when the terminal exercise amount falls below a predetermined second threshold value,
When the posture change is confirmed, the first distribution for obtaining the first parameter is reset, and the first parameter after the posture change is confirmed is updated.
When the posture change is confirmed, the second parameter obtained from a cluster that classifies the terminal momentum observed at a predetermined interval immediately after the posture change is confirmed is adopted in the determination Note 25 or Note 26. The parameter estimation method according to 26.

10、210 関心度評価システム
12 コンテンツサーバ
14 ネットワーク
16、216 情報処理端末
18 通信部
20 制御部
22 表示部
24 ユーザ操作検出部
26、226 端末運動量検出部
28 タッチ状態解析部
30 第一分布算出部
32 第二分布算出部
34 比較部
36 パラメータ更新部
38 関心度評価部
51、81、91 CPU
52、82、92 メモリ
53、83、93 記憶部
59、89、99 記録媒体
60、260 関心度評価プログラム
227 端末姿勢検出部
230 短期間パラメータ推定部
232 長期間パラメータ推定部
234 姿勢変化判定部
236 パラメータ統合部
240 第一運動量算出部
242 第二運動量算出部
244 パラメータ決定部
10, 210 Interest level evaluation system 12 Content server 14 Network 16, 216 Information processing terminal 18 Communication unit 20 Control unit 22 Display unit 24 User operation detection unit 26, 226 Terminal momentum detection unit 28 Touch state analysis unit 30 First distribution calculation unit 32 second distribution calculating unit 34 comparing unit 36 parameter updating unit 38 interest level evaluating units 51, 81, 91 CPU
52, 82, 92 memory 53, 83, 93 storage unit 59, 89, 99 recording medium 60, 260 interest degree evaluation program 227 terminal posture detection unit 230 short-term parameter estimation unit 232 long-term parameter estimation unit 234 posture change determination unit 236 Parameter integration unit 240 First exercise amount calculation unit 242 Second exercise amount calculation unit 244 Parameter determination unit

Claims (11)

第1の期間に観測された端末の端末運動量の第1分布を求め、
前記第1分布における既定の順位に相当する端末運動量から、前記端末の操作者の関心度を評価するためのパラメータの暫定値を定め、
前記第1の期間よりも後の期間となる第2の期間に観測された前記端末運動量の第2分布を求め、
前記第1分布の重心と前記第2分布の重心とを比較し、
前記比較の結果に応じて、前記第1分布における既定の順位を補正し、前記パラメータを更新する、
ことを含む処理をコンピュータに実行させるためのパラメータ推定プログラム。
The first distribution of the terminal momentum of the terminals observed in the first period is calculated,
From a terminal momentum corresponding to a predetermined rank in the first distribution, a provisional value of a parameter for evaluating the degree of interest of the operator of the terminal is determined,
A second distribution of the terminal momentum observed in a second period, which is a period after the first period, is obtained,
Comparing the centroid of the first distribution with the centroid of the second distribution,
Correcting the predetermined rank in the first distribution and updating the parameter according to the result of the comparison;
A parameter estimation program for causing a computer to execute processing including the above.
前記既定の順位は、前記第1分布における前記端末運動量を、前記端末運動量の大きさにより昇順又は降順に並べた場合における所定のパーセンタイルに相当する順位である請求項1に記載のパラメータ推定プログラム。   The parameter estimation program according to claim 1, wherein the predetermined rank is a rank corresponding to a predetermined percentile when the terminal momentums in the first distribution are arranged in ascending or descending order according to the magnitude of the terminal momentum. 前記比較において、前記第1分布における前記端末運動量の新たな下限となる変化を検出し、
前記新たな下限となる変化を検出した場合に、前記第1分布と前記第2分布との重心距離に基づいて、前記既定の順位を補正して前記パラメータを更新する請求項1又は請求項2に記載のパラメータ推定プログラム。
In the comparison, a new lower limit change in the terminal momentum in the first distribution is detected,
3. When the change that is the new lower limit is detected, the predetermined order is corrected and the parameter is updated based on the distance of the center of gravity between the first distribution and the second distribution. Parameter estimation program described in.
前記重心は、前記第1分布及び前記第2分布の各々における前記端末運動量の中央値とし、
前記新たな下限となる変化は、前記第2分布の重心が、前記第1分布の重心を下回ったことにより検出する請求項3に記載のパラメータ推定プログラム。
The center of gravity is the median of the terminal momentum in each of the first distribution and the second distribution,
The parameter estimation program according to claim 3, wherein the new lower limit change is detected when the center of gravity of the second distribution falls below the center of gravity of the first distribution.
前記端末運動量は、1秒以内の単位時間より短いサンプル間隔で検出し、前記単位時間毎に前記第1分布、及び前記第2分布を求める請求項1〜請求項4の何れか1項に記載のパラメータ推定プログラム。   The terminal momentum is detected at a sample interval shorter than a unit time within 1 second, and the first distribution and the second distribution are obtained for each unit time. Parameter estimation program. 前記端末のスクロール速度、前記端末運動量、及び前記更新した前記パラメータに基づいて、前記端末の操作者の関心度を評価する請求項1〜請求項5の何れか1項に記載のパラメータ推定プログラム。   The parameter estimation program according to claim 1, wherein the degree of interest of the operator of the terminal is evaluated based on the scroll speed of the terminal, the momentum of the terminal, and the updated parameter. 更新した前記パラメータを第1パラメータとして推定し、
前記端末についての姿勢に関する情報と前記端末運動量との組み合わせによる前記端末運動量を複数に類別したクラスタに基づいて、前記パラメータとして第2パラメータを推定し、
前記端末について検出した重力加速度に関するベクトルである姿勢ベクトルの各々から求まる換算運動量に基づいて、姿勢変化候補が生じたか否かを判定し、
姿勢変化候補であると判定された場合に、前記端末運動量に基づいて、姿勢変化が確定したか否かを判定し、
前記姿勢変化の確定によって定まる各区間に応じて、前記第1パラメータ、前記第2パラメータ、又は前記第1パラメータ及び前記第2パラメータを予め定めた手法で補間した第3パラメータを、関心度評価に用いるパラメータとして決定する、
請求項1〜請求項6の何れか1項に記載のパラメータ推定プログラム。
Estimating the updated parameter as the first parameter,
Estimating a second parameter as the parameter, based on a cluster obtained by classifying the terminal momentum based on a combination of information about the posture of the terminal and the terminal momentum,
Based on the converted momentum obtained from each of the posture vector which is a vector related to the gravitational acceleration detected for the terminal, it is determined whether or not a posture change candidate has occurred,
When it is determined to be a posture change candidate, based on the terminal momentum, it is determined whether the posture change is confirmed,
According to each section determined by the determination of the posture change, the first parameter, the second parameter, or the third parameter obtained by interpolating the first parameter and the second parameter by a predetermined method is used for the interest degree evaluation. Determined as the parameter to be used,
The parameter estimation program according to any one of claims 1 to 6.
前記決定するパラメータは、
前記姿勢変化の確定から所定の時間の区間である第1区間において、前記第2パラメータを採用し、
前記第1区間から所定の時間の区間である第2区間において、前記第3パラメータを採用し、
前記第2区間から所定の時間の区間である第3区間において、前記第1パラメータを採用する請求項7に記載のパラメータ推定プログラム。
The parameters to be determined are
In the first section, which is a section of a predetermined time from the determination of the posture change, the second parameter is adopted,
In the second section which is a section of a predetermined time from the first section, the third parameter is adopted,
The parameter estimation program according to claim 7, wherein the first parameter is adopted in a third section which is a section of a predetermined time from the second section.
前記換算運動量が予め定めた第一閾値を超えた後、前記端末運動量が予め定めた第二閾値を下回った場合に前記姿勢変化を確定し、
前記姿勢変化が確定したときに、前記第1パラメータを求めるための前記第1分布をリセットして、前記姿勢変化の確定後の前記第1パラメータを更新し、
前記姿勢変化が確定したときに、前記姿勢変化が確定した時点の直近の所定の間隔で観測された前記端末運動量を類別したクラスタから求めた前記第2パラメータを前記決定において採用する請求項7又は請求項8に記載のパラメータ推定プログラム。
After the converted exercise amount exceeds a predetermined first threshold value, the posture change is confirmed when the terminal exercise amount falls below a predetermined second threshold value,
When the posture change is confirmed, the first distribution for obtaining the first parameter is reset, and the first parameter after the posture change is confirmed is updated.
When the posture change is confirmed, the second parameter obtained from a cluster that classifies the terminal momentum observed at a predetermined interval closest to the time when the posture change is confirmed is adopted in the determination. The parameter estimation program according to claim 8.
第1の期間に観測された端末の端末運動量の第1分布を求め、前記第1分布における既定の順位に相当する端末運動量から、前記端末の操作者の関心度を評価するためのパラメータの暫定値を定める第一分布算出部と、
前記第1の期間よりも後の期間となる第2の期間に観測された前記端末運動量の第2分布を求める第二分布算出部と、
前記第1分布の重心と前記第2分布の重心とを比較する比較部と、
前記比較の結果に応じて、前記第1分布における既定の順位を補正し、前記パラメータを更新するパラメータ更新部と、
を含むパラメータ推定装置。
A first distribution of the terminal momentums of the terminals observed in the first period is obtained, and the provisional parameters for evaluating the degree of interest of the operator of the terminal from the terminal momentums corresponding to a predetermined rank in the first distribution. A first distribution calculator that determines the value,
A second distribution calculation unit that obtains a second distribution of the terminal momentum observed in a second period that is a period after the first period,
A comparison unit that compares the center of gravity of the first distribution with the center of gravity of the second distribution;
A parameter updating unit that corrects a predetermined rank in the first distribution according to a result of the comparison and updates the parameter;
A parameter estimation device including.
第1の期間に観測された端末の端末運動量の第1分布を求め、
前記第1分布における既定の順位に相当する端末運動量から、前記端末の操作者の関心度を評価するためのパラメータの暫定値を定め、
前記第1の期間よりも後の期間となる第2の期間に観測された前記端末運動量の第2分布を求め、
前記第1分布の重心と前記第2分布の重心とを比較し、
前記比較の結果に応じて、前記第1分布における既定の順位を補正し、前記パラメータを更新する、
ことを含む処理をコンピュータが実行することを特徴とするパラメータ推定方法。
The first distribution of the terminal momentum of the terminals observed in the first period is calculated,
From a terminal momentum corresponding to a predetermined rank in the first distribution, a provisional value of a parameter for evaluating the degree of interest of the operator of the terminal is determined,
A second distribution of the terminal momentum observed in a second period, which is a period after the first period, is obtained,
Comparing the centroid of the first distribution with the centroid of the second distribution,
Correcting the predetermined rank in the first distribution and updating the parameter according to the result of the comparison;
A method for estimating parameters, characterized in that a computer executes processing including the above.
JP2019041710A 2018-10-29 2019-03-07 Parameter estimation program, device, and method Pending JP2020071858A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018203127 2018-10-29
JP2018203127 2018-10-29

Publications (1)

Publication Number Publication Date
JP2020071858A true JP2020071858A (en) 2020-05-07

Family

ID=70547923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019041710A Pending JP2020071858A (en) 2018-10-29 2019-03-07 Parameter estimation program, device, and method

Country Status (1)

Country Link
JP (1) JP2020071858A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024086587A1 (en) * 2022-10-19 2024-04-25 Lin and Associates, Inc. Loopwatch

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024086587A1 (en) * 2022-10-19 2024-04-25 Lin and Associates, Inc. Loopwatch

Similar Documents

Publication Publication Date Title
CN109891491B (en) Method and apparatus for controlling interactive display
US8781991B2 (en) Emotion recognition apparatus and method
CN107710111B (en) Determining pitch angle for proximity sensitive interaction
EP2769574B1 (en) Tracking activity, velocity, and heading using sensors in mobile devices or other systems
US9524041B2 (en) Touch sensor gesture recognition for operation of mobile devices
EP2864932B1 (en) Fingertip location for gesture input
US20060033701A1 (en) Systems and methods using computer vision and capacitive sensing for cursor control
US20160094705A1 (en) Message Read Confirmation Using Eye Tracking
US8615375B2 (en) Motion determination apparatus and motion determination method
JP6557995B2 (en) Measuring program, measuring apparatus and measuring method
JP6197702B2 (en) Input method, program, and input device
US10078373B2 (en) Method of temporal segmentation of an instrumented gesture, associated device and terminal
EP3289435B1 (en) User interface control using impact gestures
JP6740819B2 (en) Interest level evaluation program, apparatus and method
US20150309681A1 (en) Depth-based mode switching for touchless gestural interfaces
CN111145891A (en) Information processing method and device and electronic equipment
JP2020071858A (en) Parameter estimation program, device, and method
JP2013200683A (en) State tracker, state tracking method, and program
WO2023216613A1 (en) Control method, electronic device and computer storage medium
JP6946930B2 (en) State judgment method, state judgment program and state judgment device
US9927917B2 (en) Model-based touch event location adjustment
KR101639351B1 (en) Wearable input system and method for recognizing motion
CN115291786A (en) False touch judgment method and device based on machine learning and storage medium
KR101993257B1 (en) Apparatus of correcting touch input based on compensation hand vibration
AU2017435839B2 (en) Method and apparatus for analyzing mouse gliding performance