JP2019067214A - Determination program, determination method, terminal device, learning data, and model - Google Patents
Determination program, determination method, terminal device, learning data, and model Download PDFInfo
- Publication number
- JP2019067214A JP2019067214A JP2017193061A JP2017193061A JP2019067214A JP 2019067214 A JP2019067214 A JP 2019067214A JP 2017193061 A JP2017193061 A JP 2017193061A JP 2017193061 A JP2017193061 A JP 2017193061A JP 2019067214 A JP2019067214 A JP 2019067214A
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- user
- sensor information
- tap
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、判定プログラム、判定方法、端末装置、学習データ、及びモデルに関する。 The present invention relates to a determination program, a determination method, a terminal device, learning data, and a model.
従来、端末操作に対するユーザの種々の操作に関する判定を行う技術が提供されている。例えば、端末の使用中、突然の誤操作が生じた場合に、当該誤操作に基づく操作を無効化する技術が提供されている。 Conventionally, techniques have been provided for making determinations regarding various operations of the user with respect to terminal operations. For example, there is provided a technique for invalidating an operation based on an erroneous operation when a sudden erroneous operation occurs during use of a terminal.
しかしながら、上記の従来技術では、例えば、ユーザの操作性の向上を可能にすることができるとは限らない。例えば、ユーザの操作を無効化するだけでは、ユーザは端末操作に所望の動作を行わせるために、端末操作に対して再度の操作を行う必要が生じ、操作を行うユーザの負担となる場合がある。例えば、端末装置が受け付けたダブルタップ等のユーザによる連続する操作（繰返し操作）を、誤操作として無効化した場合、ユーザは再度繰返し操作を行う必要が有り、ユーザの操作の利便性を向上させることが難しい。 However, in the above-mentioned prior art, for example, improvement in the operability of the user can not always be possible. For example, in order to cause the user to perform a desired operation for the terminal operation only by invalidating the user's operation, the terminal operation needs to be performed again, which may be a burden on the user who performs the operation. is there. For example, in the case where a continuous operation (repeated operation) by the user such as a double tap accepted by the terminal device is invalidated as an erroneous operation, the user needs to repeat the operation again, and the convenience of the user's operation is improved. Is difficult.
本願は、上記に鑑みてなされたものであって、ユーザの操作性の向上を可能にする判定プログラム、判定方法、端末装置、学習データ、及びモデルを提供することを目的とする。 This application is made in view of the above, and an object of the present application is to provide a judgment program, a judgment method, a terminal device, learning data, and a model that enable improvement of user's operability.
本願に係る判定プログラムは、端末装置により実行される判定プログラムであって、前記端末装置の画面に対するユーザの所定の操作に関するセンサ情報を取得する取得手順と、前記取得手順により取得された前記センサ情報に基づいて、前記所定の操作に続けて次の操作が行われるかを判定する判定手順と、を端末装置に実行させることを特徴とする。 The determination program according to the present application is a determination program executed by a terminal device, and includes an acquisition procedure for acquiring sensor information on a predetermined operation of a user on a screen of the terminal device, and the sensor information acquired by the acquisition procedure. And a determination procedure of determining whether the next operation is performed following the predetermined operation, and causing the terminal device to execute.
実施形態の一態様によれば、ユーザの操作性の向上を可能にすることができるという効果を奏する。 According to one aspect of the embodiment, it is possible to improve the operability of the user.
以下に、本願に係る判定プログラム、判定方法、端末装置、学習データ、及びモデルを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る判定プログラム、判定方法、端末装置、学習データ、及びモデルが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Hereinafter, a determination program, a determination method, a terminal device, learning data, and an embodiment for implementing a model (hereinafter, referred to as “embodiment”) according to the present application will be described in detail with reference to the drawings. Note that the determination program, the determination method, the terminal device, the learning data, and the model according to the present application are not limited by this embodiment. Moreover, the same code | symbol is attached | subjected to the same site | part in the following each embodiment, and the overlapping description is abbreviate | omitted.
（実施形態）
〔１．判定処理〕
図１を用いて、実施形態に係る判定処理の一例について説明する。図１は、実施形態に係る判定処理の一例を示す図である。図１では、端末装置１０は、端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報に基づいて、所定の操作に続けて次の操作が行われるかを判定する。具体的には、端末装置１０は、ユーザのタップ操作に関するセンサ情報と、ユーザの操作を判定する判定モデル（以下、単に「モデル」ともいう）とを用いて、ユーザのタップ操作がシングルタップの操作であるか、ダブルタップにおける１回目の操作であるかを判定する。なお、モデルの生成に関する生成処理については、図２で説明する。
(Embodiment)
[1. Determination process〕
An example of the determination process according to the embodiment will be described with reference to FIG. FIG. 1 is a diagram illustrating an example of determination processing according to the embodiment. In FIG. 1, the
また、ここでいうタップ操作（タップ）とは、スマートフォン等のタッチパネルを有する装置に対するタップ操作である。例えば、タップ操作（タップ）とは、ユーザが端末装置１０の画面に指先や専用のペン等で短く接触（タッチ）する操作である。また、シングルタップは、ユーザが１回タップを行う操作に対応する。また、ダブルタップは、ユーザが２回連続してタップを行う操作に対応する。例えば、ダブルタップは、ユーザが所定の期間内に２回タップする操作である。例えば、ダブルタップは、あるタップ（１回目のタップ）を行った時点から所定の期間（以下では、「待機期間ＴＭ」とする場合がある）の間に続けて、次のタップ（２回目のタップ）を行う操作である。なお、待機期間ＴＭは、操作の種類やユーザに応じて、例えば１秒や０．５秒等、種々の値に設定可能であってもよい。
Moreover, the tap operation (tap) mentioned here is a tap operation on a device having a touch panel such as a smartphone. For example, the tap operation (tap) is an operation in which the user touches (touches) the screen of the
図１の例では、端末装置１０にサーバ装置５０（図３参照）が提供するコンテンツ（電子書籍）を表示するためのアプリケーション（以下、「電子書籍アプリ」ともいう）がインストール済みであるものとする。図１の例では、端末装置１０にインストールされた電子書籍アプリが起動されており、端末装置１０が電子書籍アプリによりコンテンツを表示する場合を示す。
In the example of FIG. 1, it is assumed that an application (hereinafter, also referred to as an “e-book application”) for displaying the content (e-book) provided by the server device 50 (see FIG. 3) on the
また、図１の例では、ユーザが行ったタップ操作の後に続けて次のタップ操作が行われるかを判定対象とする場合を示す。すなわち、図１の例では、判定対象が、ユーザが行った最初のタップ操作の後に続けて２回目のタップ操作が行われるかである場合を示す。例えば、図１の判定対象は、ユーザの操作がシングルタップであるか、ダブルタップの１回目のタップ操作であるかを判定する場合を示す。なお、判定対象は、上記に限らず、種々の対象（操作）であってもよい。 Further, in the example of FIG. 1, it is determined that the next tap operation is to be performed subsequently to the tap operation performed by the user. That is, in the example of FIG. 1, the case where the determination target is whether or not the second tap operation is performed subsequently to the first tap operation performed by the user is shown. For example, the determination target in FIG. 1 indicates the case where it is determined whether the user's operation is a single tap or a double tap first tap operation. The determination target is not limited to the above, and may be various targets (operations).
〔判定システムの構成〕
まず、図１の説明に先立って、図３に示すように、判定システム１は、端末装置１０と、サーバ装置５０とが含まれる。端末装置１０と、サーバ装置５０とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。図３は、実施形態に係る判定システムの構成例を示す図である。なお、図３に示した判定システム１には、複数台の端末装置１０や、複数台のサーバ装置５０が含まれてもよい。
[Configuration of judgment system]
First, prior to the description of FIG. 1, as illustrated in FIG. 3, the determination system 1 includes a
端末装置１０は、ユーザによって利用される情報処理装置（コンピュータ）である。端末装置１０は、タッチパネルの機能を有する。端末装置１０は、ユーザによる画面の接触をユーザの操作として受け付ける。端末装置１０は、端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報に基づいて、所定の操作に続けて次の操作が行われるかを判定する判定処理を行う。例えば、端末装置１０は、端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報に基づく判定を行う判定装置である。
The
また、端末装置１０は、電子書籍等の種々のコンテンツを画面に表示する表示装置である。例えば、端末装置１０は、判定した結果（判定結果）に応じて画面の表示を変更する表示処理を行う。なお、端末装置１０が行う表示処理は、端末装置１０が行う判定処理に含まれてもよい。また、例えば、端末装置１０は、端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報に基づいてモデルを生成する生成処理を行ってもよい。
The
端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。以下では、端末装置１０をユーザと表記する場合がある。すなわち、以下では、ユーザを端末装置１０と読み替えることもできる。例えば、図１では、端末装置１０がユーザＵ１が利用するスマートフォンである場合を示す。なお、上記のように、「ユーザＵ＊（＊は任意の数値）」と記載した場合、そのユーザはユーザＩＤ「Ｕ＊」により識別されるユーザであることを示す。例えば、「ユーザＵ１」と記載した場合、そのユーザはユーザＩＤ「Ｕ１」により識別されるユーザである。
The
また、端末装置１０は、後述するセンサ部１６を有する。例えば、端末装置１０は、圧力センサやタッチパネルの機能を実現するためにセンサやＧＰＳ（Global Positioning System）センサ等の各種センサにより、各種センサ情報を検知してもよい。また、端末装置１０は、加速度センサの機能を有し、ユーザの端末装置１０の加速度情報（センサ情報）を検知し、取得する。例えば、端末装置１０は、ジャイロセンサ（角速度センサ）を有してもよい。また、端末装置１０は、温度センサや気圧センサ等の種々の機能を有し、温度や気圧等のユーザの置かれている環境情報を検知し、取得可能であってもよい。また、端末装置１０は、心拍センサ等の種々の機能を有し、ユーザの生体情報を検知し、取得可能であってもよい。例えば、端末装置１０を利用するユーザは、端末装置１０と通信可能なウェアラブルデバイスを身に付けることにより、端末装置１０によりユーザ自身のコンテキスト情報を取得可能としてもよい。例えば、端末装置１０を利用するユーザは、端末装置１０と通信可能なリストバンド型のウェアラブルデバイスを身に付けることにより、ユーザ自身の心拍（脈拍）に関する情報を端末装置１０が取得可能としてもよい。
The
サーバ装置５０は、端末装置１０を利用するユーザに各種サービスを提供する情報処理装置である。例えば、サーバ装置５０は、ユーザにコンテンツを提供するサービス（コンテンツ提供サービス）を行う。例えば、サーバ装置５０は、ユーザが利用する端末装置１０に、電子書籍等のコンテンツ情報（電子データ）を提供する。サーバ装置５０は、端末装置１０からの要求に応じて、端末装置１０において表示されるコンテンツを配信する。
The server device 50 is an information processing device that provides various services to the user who uses the
また、サーバ装置５０は、端末装置１０にモデル情報を提供してもよい。例えば、サーバ装置５０は、端末装置１０にユーザの操作に関する判定に用いるモデルを提供してもよい。例えば、サーバ装置５０は、端末装置１０に所定の操作に続けて次の操作が行われるかを判定するモデルＭ１等のモデル情報を提供してもよい。
In addition, the server device 50 may provide the
図１に戻って、ここから判定処理ついて説明する。図１や図２の例では、端末装置１０は、シングルタップを端末装置１０に表示される電子書籍のページを変更する操作として受け付ける。例えば、端末装置１０は、ユーザが端末装置１０の画面の中心よりも左側をシングルタップした場合、端末装置１０に表示される電子書籍のページを１ページ進める操作として受け付ける。例えば、端末装置１０は、ユーザが端末装置１０の画面の中心よりも右側をシングルタップした場合、端末装置１０に表示される電子書籍のページを１ページ戻る操作として受け付ける。
Returning to FIG. 1, the determination process will be described from here. In the example of FIG. 1 and FIG. 2, the
また、例えば、端末装置１０は、ユーザが端末装置１０の画面をダブルタップした場合、ユーザがダブルタップした位置を中心として拡大表示する操作として受け付ける。また、図１及び図２の例では、端末装置１０は、１回目のタップの画面における位置と２回目のタップの画面における位置とが所定の範囲（例えば数ミリメートル等）内である場合に、ユーザの操作がダブルタップであるとして受け付けるものとする。例えば、端末装置１０は、１回目のタップにおいてセンサにより検知された画面中の座標と、２回のタップにおいてセンサにより検知された画面中の座標とが所定の範囲内である場合に、ユーザの操作がダブルタップであるとして受け付けるものとする。
In addition, for example, when the user double-taps the screen of the
例えば、端末装置１０は、１回目のタップの画面における位置と２回目のタップの画面における位置とが所定の範囲外である場合に、ユーザの操作が２回のシングルタップであるとして受け付けるものとする。また、例えば、端末装置１０は、あるタップ（１回目のタップ）を行った時点から待機期間ＴＭ経過後に次のタップ（２回目のタップ）が行われた場合、ユーザの操作が２回のシングルタップであるとして受け付けるものとする。
For example, the
なお、上記の操作は一例であり、種々のユーザ操作に、画面表示の変更等の端末装置１０の処理（挙動）が対応付けられてもよい。また、図１や図２においては、日時を「ｄｔ１１」等の抽象的な符号で図示するが、各日時「ｄｔ＊（＊は任意の数値）」は、具体的な日時であるものとする。例えば、日時ｄｔ１１は、「２０１７年９月２６日２３時２８分４７秒」等の具体的な日時であってもよい。また、図１及び図２においては、端末装置１０の表示やユーザの操作の受け付けに応じて、端末装置１０−１１、１０−１２、１０−２１〜１０−２３等として説明するが、特に区別して説明を行う場合以外は、単に「端末装置１０」とする。
In addition, said operation is an example, and the process (behavior) of the
まず、端末装置１０−１１は、日時ｄｔ１１において、ユーザＵ１のタップ操作を受け付ける（ステップＳ１０）。図１の例では、ページＰＧ１を表示している端末装置１０は、ユーザＵ１が指Ｆ１により画面の左側を１回タップする操作を受け付ける。なお、図１に示すページＰＧ１やページＰＧ２は、コンテンツＣＴ１（図７参照）に含まれるページであるものとする。
First, the terminal device 10-11 receives the tap operation of the user U1 at the date and time dt11 (step S10). In the example of FIG. 1, the
これにより、端末装置１０−１１は、ユーザＵ１のタップ操作に関するセンサ情報ＳＤＴ１１を取得する。例えば、端末装置１０−１１は、センサ部１６（図４参照）に含まれる各種のセンサにより検知されたセンサ情報を含むセンサ情報ＳＤＴ１１を取得する。 Thereby, the terminal device 10-11 acquires sensor information SDT11 regarding the tap operation of the user U1. For example, the terminal device 10-11 acquires sensor information SDT11 including sensor information detected by various sensors included in the sensor unit 16 (see FIG. 4).
例えば、端末装置１０は、圧力センサにより検知された圧力を示す圧力情報を含むセンサ情報ＳＤＴ１１を取得する。例えば、端末装置１０は、ユーザＵ１が画面に接触する圧力を示す圧力情報を含むセンサ情報ＳＤＴ１１を取得する。
For example, the
例えば、端末装置１０は、画面におけるユーザの接触範囲（座標）を検知するセンサにより検知されたユーザが接触する面積（接触面積）を示す面積情報を含むセンサ情報ＳＤＴ１１を取得する。例えば、端末装置１０は、ユーザＵ１による画面の接触面積を示す面積情報を含むセンサ情報ＳＤＴ１１を取得する。
For example, the
例えば、端末装置１０は、端末装置１０の画面への接触を検知するセンサや計時機能（タイマー）等により検知されたユーザの接触時間を示す時間情報を含むセンサ情報ＳＤＴ１１を取得する。例えば、端末装置１０は、ユーザＵ１が端末装置１０の画面への接触から、接触の解除までの時間を示す時間情報を含むセンサ情報ＳＤＴ１１を取得する。
For example, the
例えば、端末装置１０は、上記に限らず、加速度センサ等の種々のセンサにより検知されたセンサ情報を含むセンサ情報ＳＤＴ１１を取得してもよい。
For example, the
センサ情報ＳＤＴ１１を取得した端末装置１０−１１は、センサ情報ＳＤＴ１１をモデルに入力する。例えば、端末装置１０は、センサ情報ＳＤＴ１１を、モデルＭ１に入力する。なお、図１に示すモデルＭ１は、ユーザが行ったタップ操作の後に続けて次のタップ操作が行われるかを判定対象とするモデルである。すなわち、モデルＭ１は、ユーザが行ったタップ操作に関するセンサ情報が入力されると、そのセンサ情報に対応するユーザのタップ操作の後に続けて次のタップ操作が行われるかの判定に用いられるモデルである。
The terminal device 10-11 that has acquired the sensor information SDT11 inputs the sensor information SDT11 to the model. For example, the
また、モデルＭ１が出力するスコアが高い程、センサ情報に対応するユーザのタップ操作の後に続けて次のタップ操作が行われる可能性が高いことを示す。すなわち、モデルＭ１が出力するスコアが高い程、センサ情報に対応するユーザのタップ操作がダブルタップの１回目のタップである可能性が高いことを示す。また、モデルＭ１が出力するスコアが低い程、センサ情報に対応するユーザのタップ操作がシングルタップである可能性が高いことを示す。図１の例では、閾値を「０．６」である場合を示し、端末装置１０は、モデルＭ１が出力するスコアが閾値「０．６」以上である場合、センサ情報に対応するユーザのタップ操作がダブルタップの１回目のタップであると判定する。また、端末装置１０は、モデルＭ１が出力するスコアが閾値「０．６」未満である場合、センサ情報に対応するユーザのタップ操作がシングルタップであると判定する。
Also, it indicates that the higher the score output by the model M1, the higher the possibility that the next tap operation will be performed following the user's tap operation corresponding to the sensor information. That is, it indicates that the higher the score output from the model M1, the higher the possibility that the user's tap operation corresponding to the sensor information is the first double tap. Further, the lower the score output by the model M1, the higher the possibility that the user's tap operation corresponding to the sensor information is a single tap. In the example of FIG. 1, the case where the threshold value is "0.6" is shown, and when the score output by the model M1 is equal to or more than the threshold value "0.6", the
図１の例では、端末装置１０は、処理群ＰＳ１１に示すような処理により、日時ｄｔ１１にユーザＵ１により行われたタップ操作がシングルタップかダブルタップの１回目のタップであるかの可能性を示すスコアを算出する。端末装置１０は、センサ情報ＳＤＴ１１をモデルＭ１に入力する（ステップＳ１１）。具体的には、端末装置１０は、日時ｄｔ１１にユーザＵ１により行われたタップ操作に関する圧力情報や面積情報や時間情報等を含むセンサ情報ＳＤＴ１１をモデルＭ１に入力する。ユーザ情報ＵＤＴ１が入力されたモデルＭ１は、スコアを出力する（ステップＳ１２）。図１の例では、センサ情報ＳＤＴ１１が入力されたモデルＭ１は、スコアＳＣ１１に示すようなスコア「０．２」を出力する。
In the example of FIG. 1, the
そして、端末装置１０は、センサ情報ＳＤＴ１１が入力されたモデルＭ１が出力したスコアに基づいて、センサ情報ＳＤＴ１１に対応するユーザのタップ操作の後に続けて次のタップ操作が行われるかを判定する（ステップＳ１３）。図１の例では、端末装置１０は、センサ情報ＳＤＴ１１が入力されたモデルＭ１が出力したスコア「０．２」に基づいて、結果情報ＲＳ１１に示すように判定する。具体的には、端末装置１０は、モデルＭ１が出力したスコア「０．２」であり閾値「０．６」未満であるため、日時ｄｔ１１におけるユーザのタップ操作の後に続けて次のタップは無いと判定する。すなわち、端末装置１０は、モデルＭ１が出力したスコア「０．２」であり閾値「０．６」未満であるため、日時ｄｔ１１におけるユーザのタップ操作はシングルタップであると判定する。
Then, the
そして、端末装置１０は、判定結果に応じて画面の表示を変更する（ステップＳ１４）。図１の例では、端末装置１０は、日時ｄｔ１１におけるユーザのタップ操作はシングルタップであると判定したため、画面の表示をページＰＧ１の次にページＰＧ２を表示するように変更する。これにより、端末装置１０は、日時ｄｔ１２において、端末装置１０−１２に示すように、画面にページＰＧ２を表示する。
Then, the
このように、端末装置１０は、センサ情報ＳＤＴ１１に対応するタップ操作が行われた日時ｄｔ１１の時点で、そのタップ操作の後に続けて次のタップ操作が行われるかを判定する。すなわち、端末装置１０は、センサ情報ＳＤＴ１１に対応するタップ操作が行われたタイミングで、そのタップ操作の後に続けて次のタップ操作が行われるかを判定する。このように、端末装置１０は、センサ情報ＳＤＴ１１に対応するタップ操作が行われたタイミングで、そのタップ操作が完結した操作（シングルタップ）であるか、次の操作が行われる操作なのかを判定する。そのため、端末装置１０は、ユーザの操作がシングルタップであると判定した場合、待機期間ＴＭの経過を待つことなく、ユーザのシングルタップの操作に応じて画面の表示を変更する。図１の例では、端末装置１０は、日時ｄｔ１１から待機期間ＴＭが経過した日時ｄｔ１５よりも前の日時ｄｔ１２において、端末装置１０−１２に示すように、画面にページＰＧ２を表示することができる。これにより、端末装置１０は、シングルタップの操作を行ったユーザＵ１に、待機期間ＴＭの経過を待つことを強いることなく、ユーザＵ１が望むページの表示を行うことができる。また、端末装置１０は、ユーザが待機期間ＴＭ内に連続してシングルタップの操作を行った場合であっても、センサ情報に基づいて判定することにより、各タップ（シングルタップ）の操作をシングルタップの操作として、対応する処理を行うことができる。したがって、端末装置１０は、ユーザが連続でシングルタップしたい場合に、判定システム１（端末装置１０）側でダブルタップだと判定することによる、誤判定を抑制することができる。これにより、端末装置１０は、ユーザの操作性の向上を可能にすることができる。すなわち、端末装置１０は、ユーザビリティの向上を可能にすることができる。
Thus, the
また、端末装置１０−２１は、日時ｄｔ２１において、ユーザＵ１のタップ操作を受け付ける（ステップＳ２０）。図１の例では、ページＰＧ１を表示している端末装置１０−２１は、ユーザＵ１が指Ｆ１により画面の左側を１回タップする操作を受け付ける。 The terminal device 10-21 receives the tap operation of the user U1 at the date and time dt 21 (step S20). In the example of FIG. 1, the terminal device 10-21 displaying the page PG <b> 1 receives an operation in which the user U <b> 1 taps the left side of the screen once with the finger F <b> 1.
これにより、端末装置１０−２１は、ユーザＵ１のタップ操作に関するセンサ情報ＳＤＴ２１を取得する。例えば、端末装置１０は、センサ部１６（図４参照）に含まれる各種のセンサにより検知されたセンサ情報を含むセンサ情報ＳＤＴ２１を取得する。例えば、端末装置１０は、圧力情報や面積情報や時間情報を含むセンサ情報ＳＤＴ２１を取得する。
Thereby, the terminal device 10-21 acquires sensor information SDT21 regarding the tap operation of the user U1. For example, the
センサ情報ＳＤＴ２１を取得した端末装置１０−２１は、センサ情報ＳＤＴ２１をモデルに入力する。例えば、端末装置１０は、センサ情報ＳＤＴ２１を、モデルＭ１に入力する。
The terminal device 10-21 that has acquired the sensor information SDT21 inputs the sensor information SDT21 to the model. For example, the
図１の例では、端末装置１０は、処理群ＰＳ２１に示すような処理により、日時ｄｔ２１にユーザＵ１により行われたタップ操作がシングルタップかダブルタップの１回目のタップであるかの可能性を示すスコアを算出する。端末装置１０は、センサ情報ＳＤＴ２１をモデルＭ１に入力する（ステップＳ２１）。具体的には、端末装置１０は、日時ｄｔ２１にユーザＵ１により行われたタップ操作に関する圧力情報や面積情報や時間情報等を含むセンサ情報ＳＤＴ２１をモデルＭ１に入力する。ユーザ情報ＵＤＴ１が入力されたモデルＭ１は、スコアを出力する（ステップＳ２２）。図１の例では、センサ情報ＳＤＴ２１が入力されたモデルＭ１は、スコアＳＣ１１に示すようなスコア「０．７」を出力する。
In the example of FIG. 1, the
そして、端末装置１０は、センサ情報ＳＤＴ２１が入力されたモデルＭ１が出力したスコアに基づいて、センサ情報ＳＤＴ２１に対応するユーザのタップ操作の後に続けて次のタップ操作が行われるかを判定する（ステップＳ２３）。図１の例では、端末装置１０は、センサ情報ＳＤＴ２１が入力されたモデルＭ１が出力したスコア「０．７」に基づいて、結果情報ＲＳ２１に示すように判定する。具体的には、端末装置１０は、モデルＭ１が出力したスコア「０．７」であり閾値「０．６」以上であるため、日時ｄｔ２１におけるユーザのタップ操作の後に続けて次のタップが有ると判定する。すなわち、端末装置１０は、モデルＭ１が出力したスコア「０．７」であり閾値「０．６」以上であるため、日時ｄｔ２１におけるユーザのタップ操作はダブルタップの１回目のタップである可能性が高いと判定する。
Then, the
そのため、端末装置１０は、日時ｄｔ２１から待機期間ＴＭが経過するまで、ダブルタップの２回目のタップが行われるのを待つ。図１の例では、端末装置１０は、日時ｄｔ２１から日時ｄｔ２５までの間、ダブルタップの２回目のタップが行われるのを待つ。
Therefore, the
そして、端末装置１０−２２は、日時ｄｔ２１よりも後であり日時ｄｔ２５よりも前の日時ｄｔ２２において、ユーザＵ１のタップ操作を受け付ける（ステップＳ２４）。図１の例では、ページＰＧ１を表示している端末装置１０−２２は、ユーザＵ１が指Ｆ１により画面の左側を再度１回タップする操作を受け付ける。図１の例では、端末装置１０−２２は、日時ｄｔ２１においてタップした位置から所定の範囲内の位置をユーザＵ１が１回タップする操作を受け付ける。そのため、端末装置１０は、日時ｄｔ２１のタップ操作と、日時ｄｔ２２のタップ操作とにより、ユーザＵ１によるダブルタップが行われたと判定する。
Then, the terminal device 10-22 receives the tap operation of the user U1 at the date and time dt22 later than the date and time dt21 and before the date and time dt25 (step S24). In the example of FIG. 1, the terminal device 10-22 displaying the page PG1 receives an operation in which the user U1 taps the left side of the screen once again with the finger F1. In the example of FIG. 1, the terminal device 10-22 receives an operation in which the user U1 taps a position within a predetermined range from the position tapped at the
そして、端末装置１０は、判定結果に応じて画面の表示を変更する（ステップＳ２５）。図１の例では、端末装置１０は、日時ｄｔ２１のタップ操作と、日時ｄｔ２２のタップ操作とは、ダブルタップであると判定したため、画面の表示をページＰＧ１において、ユーザＵ１がダブルタップした位置を中心として拡大表示するように変更する。これにより、端末装置１０は、日時ｄｔ２３において、端末装置１０−２３に示すように、ユーザＵ１がダブルタップした位置付近（ページＰＧ１の左下側）を拡大表示する。
Then, the
このように、端末装置１０は、ユーザの操作がダブルタップの１回目である可能性が高いと判定した場合、ダブルタップの２回目のタップ操作を待機期間ＴＭの間を待つ。そして、端末装置１０は、待機期間ＴＭ内にユーザの操作が２回目のタップ操作を行った場合、ダブルタップに対応する画面の表示に変更する。これにより、端末装置１０は、ユーザの操作がダブルタップである可能性が高い場合、待機期間ＴＭの間、次のタップ操作を待つことにより、ユーザによるダブルタップの操作を適切に受け付けることができる。
As described above, when the
また、端末装置１０は、待機期間ＴＭ内にユーザの操作が２回目のタップ操作が行われなかった場合、ユーザのタップ操作をシングルタップとして、シングルタップに対応する画面の表示に変更する。このように、端末装置１０は、待機期間ＴＭを待つ場合であっても、待機期間ＴＭ内にユーザの操作が２回目のタップ操作が行われなかった場合、ユーザのタップ操作をシングルタップとして、シングルタップに対応する画面の表示に変更する。このように、端末装置１０は、誤操作としてユーザの操作に対応する処理を行わないのではなく、シングルタップかダブルタップのいずれかとして処理を行うことが可能となる。これにより、端末装置１０は、ユーザに何度も操作を行わせることを抑制することが可能となる。したがって、端末装置１０は、ユーザの操作性の向上を可能にすることができる。
In addition, when the second tap operation of the user is not performed within the standby period TM, the
〔１−１．生成処理〕
次に、図２を用いて、実施形態に係る生成処理の一例について説明する。図２は、実施形態に係る生成処理の一例を示す図である。図２では、端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報と正解情報とを含む学習データに基づいてモデルの生成を行う場合を示す。図２の例では、端末装置１０は、端末装置１０の画面に対するユーザのタップ操作に関するセンサ情報と、そのタップ操作がシングルタップかダブルタップの１回目のタップであったかを示す正解情報とを含む学習データに基づいてモデルの生成を行う場合を示す。このように、正解情報が対応付けられたセンサ情報を「学習データ」ともいう。
[1-1. Generation process]
Next, an example of the generation process according to the embodiment will be described with reference to FIG. FIG. 2 is a diagram illustrating an example of a generation process according to the embodiment. FIG. 2 shows a case where a model is generated based on learning data including sensor information and correct answer information regarding a predetermined operation of the user on the screen of the
まず、図２の示す例において、モデルの生成に用いるデータ（学習データ）を収集する場合を説明する。まず、端末装置１０−３１は、日時ｄｔ３１において、ユーザＵ１のタップ操作を受け付ける（ステップＳ３０）。図２の例では、ページＰＧ３１を表示している端末装置１０は、ユーザＵ１が指Ｆ１により画面の左側を１回タップする操作を受け付ける。そして、端末装置１０−３１は、ユーザＵ１のタップ操作に関するセンサ情報ＳＤＴ１０１を取得する。例えば、端末装置１０−３１は、センサ部１６（図４参照）に含まれる各種のセンサにより検知されたセンサ情報を含むセンサ情報ＳＤＴ１０１を取得する。
First, in the example shown in FIG. 2, a case of collecting data (learning data) used to generate a model will be described. First, the terminal device 10-31 receives the tap operation of the user U1 at the date and time dt31 (step S30). In the example of FIG. 2, the
例えば、端末装置１０は、圧力センサにより検知された圧力を示す圧力情報を含むセンサ情報ＳＤＴ１０１を取得する。例えば、端末装置１０は、ユーザＵ１が画面に接触する圧力を示す圧力情報を含むセンサ情報ＳＤＴ１０１を取得する。
For example, the
例えば、端末装置１０は、画面におけるユーザの接触範囲（座標）を検知するセンサにより検知されたユーザが接触する面積（接触面積）を示す面積情報を含むセンサ情報ＳＤＴ１０１を取得する。例えば、端末装置１０は、ユーザＵ１による画面の接触面積を示す面積情報を含むセンサ情報ＳＤＴ１０１を取得する。
For example, the
例えば、端末装置１０は、端末装置１０の画面への接触を検知するセンサや計時機能（タイマー）等により検知されたユーザの接触時間を示す時間情報を含むセンサ情報ＳＤＴ１０１を取得する。例えば、端末装置１０は、ユーザＵ１が端末装置１０の画面への接触から、接触の解除までの時間を示す時間情報を含むセンサ情報ＳＤＴ１０１を取得する。
For example, the
例えば、端末装置１０は、上記に限らず、加速度センサ等の種々のセンサにより検知されたセンサ情報を含むセンサ情報ＳＤＴ１０１を取得してもよい。
For example, the
そして、図２の例では、端末装置１０は、日時ｄｔ３１から待機期間ＴＭが経過した日時ｄｔ３５までの間において、２回目のタップ操作を受付けていない（ステップＳ３１）。そのため、端末装置１０は、センサ情報ＳＤＴ１０１に対応するユーザＵ１のタップ操作をシングルタップと判定する。そして、端末装置１０は、センサ情報ＳＤＴ１０１に対応するタップ操作がシングルタップであることを示す正解情報ＲＤＴ１０１を、センサ情報ＳＤＴ１０１に対応づける。すなわち、端末装置１０は、センサ情報ＳＤＴ１０１に対応するタップ操作には次のタップ操作が無いことを示す正解情報ＲＤＴ１０１を、センサ情報ＳＤＴ１０１に対応づける。
Then, in the example of FIG. 2, the
また、端末装置１０−４１は、日時ｄｔ４１において、ユーザＵ１のタップ操作を受け付ける（ステップＳ４０）。図２の例では、ページＰＧ４１を表示している端末装置１０は、ユーザＵ１が指Ｆ１により画面の右側を１回タップする操作を受け付ける。そして、端末装置１０−４１は、ユーザＵ１のタップ操作に関するセンサ情報ＳＤＴ１０２を取得する。例えば、端末装置１０−４１は、センサ部１６（図４参照）に含まれる各種のセンサにより検知されたセンサ情報を含むセンサ情報ＳＤＴ１０２を取得する。例えば、端末装置１０は、圧力情報や面積情報や時間情報を含むセンサ情報ＳＤＴ１０２を取得する。
The terminal device 10-41 receives the tap operation of the user U1 at the date and time dt 41 (step S40). In the example of FIG. 2, the
そして、端末装置１０−４２は、日時ｄｔ４１よりも後であり日時ｄｔ４５よりも前の日時ｄｔ４２において、ユーザＵ１のタップ操作を受け付ける（ステップＳ４１）。図２の例では、端末装置１０−４２は、ユーザＵ１が指Ｆ１により日時ｄｔ４１においてタップした位置の近傍を再度１回タップする操作を受け付ける。図１の例では、端末装置１０−４２は、日時ｄｔ４１においてタップした位置から所定の範囲内の位置をユーザＵ１が１回タップする操作を受け付ける。そのため、端末装置１０は、日時ｄｔ４１のタップ操作と、日時ｄｔ４２のタップ操作とにより、ユーザＵ１によるダブルタップが行われたと判定する。
Then, the terminal device 10-42 receives the tap operation of the user U1 at the date and time dt42 which is later than the date and time dt41 and which is earlier than the date and time dt45 (step S41). In the example of FIG. 2, the terminal device 10-42 receives an operation of tapping once again the vicinity of the position where the user U 1 taps with the finger F 1 at the date dt 41. In the example of FIG. 1, the terminal device 10-42 receives an operation in which the user U1 taps a position within a predetermined range from the position tapped at the date dt 41 once. Therefore, the
そのため、端末装置１０は、センサ情報ＳＤＴ１０２に対応するユーザＵ１のタップ操作をダブルタップの１回目のタップであると判定する。そして、端末装置１０は、センサ情報ＳＤＴ１０２に対応するタップ操作がダブルタップの１回目のタップであることを示す正解情報ＲＤＴ１０２を、センサ情報ＳＤＴ１０２に対応づける。すなわち、端末装置１０は、センサ情報ＳＤＴ１０２に対応するタップ操作には次のタップ操作が有ることを示す正解情報ＲＤＴ１０２を、センサ情報ＳＤＴ１０２に対応づける。
Therefore, the
また、端末装置１０−５１は、日時ｄｔ５１において、ユーザＵ１のタップ操作を受け付ける（ステップＳ５０）。図２の例では、ページＰＧ５１を表示している端末装置１０は、ユーザＵ１が指Ｆ１により画面の右側を１回タップする操作を受け付ける。そして、端末装置１０−５１は、ユーザＵ１のタップ操作に関するセンサ情報ＳＤＴ１０３を取得する。例えば、端末装置１０−５１は、センサ部１６（図４参照）に含まれる各種のセンサにより検知されたセンサ情報を含むセンサ情報ＳＤＴ１０３を取得する。例えば、端末装置１０は、圧力情報や面積情報や時間情報を含むセンサ情報ＳＤＴ１０３を取得する。
The terminal device 10-51 receives the tap operation of the user U1 at the date and time dt 51 (step S50). In the example of FIG. 2, the
そして、端末装置１０−５２は、日時ｄｔ５１よりも後であり日時ｄｔ５５よりも前の日時ｄｔ５２において、ユーザＵ１のタップ操作を受け付ける（ステップＳ５１）。図２の例では、端末装置１０−５２は、ユーザＵ１が指Ｆ１により日時ｄｔ５１においてタップした位置の遠隔を１回タップする操作を受け付ける。図１の例では、端末装置１０−５２は、日時ｄｔ５１においてタップした位置から所定の範囲外の位置をユーザＵ１が１回タップする操作を受け付ける。そのため、端末装置１０は、日時ｄｔ５１のタップ操作と、日時ｄｔ５２のタップ操作とを、各々異なるユーザＵ１によるシングルタップと判定する。
Then, the terminal device 10-52 receives the tap operation of the user U1 at the date and time dt52 which is later than the date and time dt51 and which is earlier than the date and time dt55 (step S51). In the example of FIG. 2, the terminal device 10-52 receives an operation of tapping once the distance of the position where the user U 1 tapped at the date dt 51 with the finger F 1. In the example of FIG. 1, the terminal device 10-52 receives an operation in which the user U1 taps a position outside the predetermined range from the position tapped at the date dt 51 once. Therefore, the
そのため、端末装置１０は、センサ情報ＳＤＴ１０３に対応するユーザＵ１のタップ操作をシングルタップであると判定する。そして、端末装置１０は、センサ情報ＳＤＴ１０３に対応するタップ操作がシングルタップであることを示す正解情報ＲＤＴ１０３を、センサ情報ＳＤＴ１０３に対応づける。すなわち、端末装置１０は、センサ情報ＳＤＴ１０３に対応するタップ操作には次のタップ操作が無いことを示す正解情報ＲＤＴ１０３を、センサ情報ＳＤＴ１０３に対応づける。なお、端末装置１０は、日時ｄｔ５２におけるタップ操作に関するセンサ情報もシングルに対応するセンサ情報として、学習データに追加してもよい。
Therefore, the
また、端末装置１０は、学習データＬＤ１を取得する（ステップＳ６１）。例えば、端末装置１０は、データＤＴ１０１〜ＤＴ１０４等を含む学習データＬＤ１を取得する。例えば、端末装置１０は、センサ情報ＳＤＴ１０１に正解情報ＲＤＴ１０１が対応付けられたデータＤＴ１０１を取得する。例えば、端末装置１０は、センサ情報ＳＤＴ１０２に正解情報ＲＤＴ１０２が対応付けられたデータＤＴ１０２を取得する。なお、図２の例では、端末装置１０は、上記のような学習データＬＤ１を所定の外部情報処理装置から取得してもよい。なお、上記のように、「データＤＴ＊（＊は任意の数値）」と記載した場合、そのデータはデータＩＤ「ＤＴ＊」により識別されるデータであることを示す。例えば、「データＤＴ１」と記載した場合、そのデータはデータＩＤ「ＤＴ１」により識別されるデータである。
Further, the
そして、端末装置１０は、ステップＳ２１で取得した学習データＬＤ１に含まれる正解情報とユーザ情報との組み合わせを学習データとして追加する（ステップＳ６２）。具体的には、端末装置１０は、学習データＬＤ１を学習データ記憶部１４１に追加する。図２の例では、端末装置１０は、ユーザＵ１がタップ操作を行った際のセンサ情報ＳＤＴ１０１と、そのセンサ情報ＳＤＴ１０１に対応するタップ操作がシングルタップであることを示す正解情報ＲＤＴ１０１を含むデータＤＴ１０１等を学習データ記憶部１４１に追加する。
Then, the
そして、端末装置１０は、学習データに基づいてモデルを生成する（ステップＳ６３）。図２の例では、端末装置１０は、モデル情報記憶部１４２に示すように、モデルＭ１〜Ｍ３等を生成する。上記のように、「モデルＭ＊（＊は任意の数値）」と記載した場合、そのモデルはモデルＩＤ「Ｍ＊」により識別されるモデルであることを示す。例えば、「モデルＭ１」と記載した場合、そのモデルはモデルＩＤ「Ｍ１」により識別されるモデルである。
Then, the
図２中のモデル情報記憶部１４２に示すように、モデルＭ１は対象となる判定対象が「次のタップ（２回目のタップ）」であることを示す。すなわち、モデルＭ１は、端末装置１０の画面に対するユーザのタップ操作に関するセンサ情報が入力された場合に、そのタップ操作に続けて次のタップ操作が行われるかの判定に用いられることを示す。また、モデルＭ１のモデルデータは、モデルデータＭＤＴ１であることを示す。
As shown in the model
例えば、端末装置１０は、学習データ記憶部１４１中のデータＤＴ１０１〜ＤＴ１０４等を学習データ（教師データ）として、学習を行なうことにより、モデルを生成する。例えば、端末装置１０は、ユーザのタップ操作に対応するセンサ情報に関する特徴量を用いて、モデルを生成する。例えば、端末装置１０は、圧力情報や面積情報や時間情報に関する特徴量を用いて、モデルを生成する。このように、端末装置１０は、ユーザのタップ操作に対応する特徴を学習し、そのタップ操作に続けて次のタップ操作が行われるかを判定するモデルを生成する。図２の例では、端末装置１０は、ユーザのタップ操作での圧力情報や面積情報や時間情報等に関する特徴を学習し、そのタップ操作に続けて次のタップ操作が行われるかを判定するモデルを生成する。なお、端末装置１０が学習するユーザに対応する特徴は、端末装置１０の管理者等の人間が端末装置１０に入力してもよいし、端末装置１０に自動的に学習（抽出）させてもよい。
For example, the
例えば、端末装置１０は、学習データＬＤ１を用いてモデルＭ１を生成する。例えば、端末装置１０は、正解情報ＲＤＴ１０１が次のタップ操作が無いこと、すなわちタップ操作がシングルタップであることを示す場合、モデルＭ１にデータＤＴ１０１に含まれるセンサ情報が入力された場合に、モデルＭ１が出力するスコアが「０」に近づくように、学習処理を行う。例えば、端末装置１０は、データＤＴ１０１のセンサ情報ＳＤＴ１０１がモデルＭ１に入力された場合に、モデルＭ１が出力するスコアが「０」に近づくように、学習処理を行う。
For example, the
また、例えば、端末装置１０は、正解情報ＲＤＴ１０２が次のタップ操作が有ること、すなわちタップ操作がダブルタップの１回目のタップであることを示す場合、モデルＭ１にデータＤＴ１０２に含まれるセンサ情報が入力された場合に、モデルＭ１が出力するスコアが「１」に近づくように、学習処理を行う。例えば、端末装置１０は、データＤＴ１０２のセンサ情報ＳＤＴ１０２がモデルＭ１に入力された場合に、モデルＭ１が出力するスコアが「１」に近づくように、学習処理を行う。
Also, for example, when the
なお、モデルの学習手法については、上述した手法に限定されるものではなく、任意の公知技術が適用可能である。なお、各モデルの生成は、機械学習に関する種々の従来技術を適宜用いて行われてもよい。例えば、モデルの生成は、ＳＶＭ（Support Vector Machine）等の教師あり学習の機械学習に関する技術を用いて行われてもよい。また、例えば、モデルの生成は、教師なし学習の機械学習に関する技術を用いて行われてもよい。例えば、モデルの生成は、深層学習（ディープラーニング）の技術を用いて行われてもよい。例えば、モデルの生成は、ＤＮＮ（Deep Neural Network）やＲＮＮ（Recurrent Neural Network）やＣＮＮ（Convolutional Neural Network）等の種々のディープラーニングの技術を適宜用いて行われてもよい。なお、上記モデルの生成に関する記載は例示であり、モデルの生成は、取得可能な情報等に応じて適宜選択された学習手法により行われてもよい。すなわち、端末装置１０は、学習データに含まれるセンサ情報が入力された場合に、正解情報に対応するスコアを出力するようにモデルＭ１を学習可能であれば、どのような手法によりモデルＭ１の生成を行ってもよい。
In addition, about the learning method of a model, it is not limited to the method mentioned above, Arbitrary well-known techniques are applicable. Note that generation of each model may be performed using various conventional techniques related to machine learning as appropriate. For example, model generation may be performed using a technique related to machine learning of supervised learning such as SVM (Support Vector Machine). Also, for example, model generation may be performed using a technique related to machine learning of unsupervised learning. For example, model generation may be performed using deep learning techniques. For example, generation of a model may be performed using various deep learning techniques, such as Deep Neural Network (DNN), Recurrent Neural Network (RNN), Convolutional Neural Network (CNN), etc., as appropriate. In addition, the description regarding the production | generation of the said model is an illustration, and the production | generation of a model may be performed by the learning method suitably selected according to the information etc. which can be acquired. That is, if the
上記のような処理により、端末装置１０は、ユーザの操作がシングルタップであるかダブルタップであるかの判定に用いるモデルＭ１を生成する。例えば、端末装置１０は、モデルＭ１にセンサ情報を入力することにより、入力したセンサ情報に対応するタップ操作の後に次のタップ操作が行われる可能性を示すスコアを、モデルＭ１に出力させる。そして、端末装置１０は、モデルＭ１が出力するスコアに基づいて、入力したセンサ情報に対応するタップ操作がシングルタップであるか、ダブルタップの１回目のタップ操作であるかを判定する。
Through the processing as described above, the
上述したように、端末装置１０は、ユーザ情報と、シングルタップであるかダブルタップの１回目のタップであるかを示す正解情報とセンサ情報とが対応付けられた学習データを用いて学習することにより、あるタップ操作がシングルタップであるかダブルタップの１回目のタップであるかを適切に判定可能にするモデルを生成することができる。したがって、端末装置１０は、上述のように生成したモデルを用いることにより、例えば、あるユーザの操作がシングルタップであるかダブルタップであるかを精度よく判定することができ、ユーザの操作性の向上を可能にすることができる。
As described above, the
〔１−２．モデル〕
図２の例では、端末装置１０がユーザＵ１のタップ操作に関するセンサ情報を用いて、タップ操作に続けて次のタップ操作が行われるかを判定するモデルＭ１を生成する場合を一例として説明したが、モデルの生成については上記に限らず、種々の態様であってもよい。
[1-2. model〕
In the example of FIG. 2, the case where the
〔１−２−１．複数ユーザ〕
例えば、判定システム１においては、サーバ装置５０が複数の端末装置１０から収集したセンサ情報に基づく学習データを用いてモデルを生成してもよい。そして、サーバ装置５０は、複数の端末装置１０から収集したセンサ情報に基づく学習データを用いて生成したモデルを、各端末装置１０へ提供してもよい。例えば、サーバ装置５０は、複数の端末装置１０から収集したセンサ情報に基づく学習データを用いて、ユーザ属性ごとのモデルを生成してもよい。
[1-2-1. Multiple users]
For example, in the determination system 1, the server device 50 may generate a model using learning data based on sensor information collected from a plurality of
例えば、サーバ装置５０は、男性のユーザの操作に関するセンサ情報を用いて、男性用のモデルを生成してもよい。そして、サーバ装置５０は、男性が利用する端末装置１０に高齢者用のモデルを提供してもよい。例えば、サーバ装置５０は、女性のユーザの操作に関するセンサ情報を用いて、女性用のモデルを生成してもよい。そして、サーバ装置５０は、女性が利用する端末装置１０に高齢者用のモデルを提供してもよい。
For example, the server device 50 may generate a model for male using sensor information on the operation of a male user. And the server apparatus 50 may provide the model for elderly people to the
例えば、サーバ装置５０は、高齢者（例えば５０代以上等）のユーザの操作に関するセンサ情報を用いて、高齢者用のモデルを生成してもよい。そして、サーバ装置５０は、高齢者が利用する端末装置１０に高齢者用のモデルを提供してもよい。
For example, the server device 50 may generate a model for elderly people by using sensor information related to the operation of the user of the elderly people (for example, 50 or more). Then, the server device 50 may provide the
〔１−２−２．トリプルタップ等〕
また、端末装置１０は、シングルタップかダブルタップの１回目のタップであるかの判定に限らず、ダブルタップかトリプルタップ（３回連続タップ）の２回目のタップであるかの判定するモデルＭ２を生成してもよい。そして、端末装置１０は、モデルＭ２を用いて、ユーザのタップ操作がダブルタップかトリプルタップの２回目のタップであるかを判定してもよい。また、端末装置１０は、トリプルタップか４回連続タップの３回目のタップであるかの判定するモデルを生成してもよい。
1-2-2. Triple tap etc.]
Further, the
〔１−２−３．タップ操作以外〕
例えば、端末装置１０は、タップ操作に限らず、ユーザの操作であればどのような操作を対象にモデルを生成してもよい。例えば、端末装置１０は、ユーザの所定の操作の後に、ユーザのスワイプ操作が行われるかを判定するモデルＭ３を生成してもよい。そして、端末装置１０は、モデルＭ３を用いて、ユーザの所定の操作の後に、ユーザのスワイプ操作が行われるかを判定してもよい。
1-2-3. Other than tap operation]
For example, the
〔１−３．モデル以外での判定〕
図１の例では、端末装置１０がモデルを用いて判定する場合を示したが、端末装置１０は、モデルを用いることなく、判定処理を行ってもよい。例えば、端末装置１０は、センサ情報に含まれる各種別のセンサ値と、各種別に対応する閾値とを比較することにより、ユーザのタップ操作に続けて、次のタップ操作が行われるかを判定してもよい。なお、ここでいう種別とは、圧力や接触面積や接触時間等のセンサ情報に含まれる情報の種別であるものとする。また、ここでいうセンサ値とは、圧力や接触面積や接触時間等の具体的な数値であるものとする。例えば、圧力のセンサ値はニュートン毎平方メートル（Ｎ／ｍ２）やパスカル（Ｐａ）を単位とする値であり、接触面積のセンサ値は平方メートル（ｍ２）を単位とする値であり、接触時間のセンサ値は秒（ｓ）を単位とする値であってもよい。
[1-3. Judgment other than model]
Although the example in FIG. 1 shows the case where the
例えば、端末装置１０は、センサ情報に含まれる各種別のセンサ値と、各種別に対応する閾値とを比較することにより、ユーザのタップ操作に続けて、次のタップ操作が行われるかを判定してもよい。例えば、端末装置１０は、センサ値のうち、対応する閾値との比較が所定の条件を満たすセンサ値の数が所定数（例えば２や４等）以上である場合、ユーザのタップ操作に続けて、次のタップ操作が行われないと判定してもよい。
For example, the
例えば、端末装置１０は、センサ値のうち、対応する閾値との比較が所定の条件を満たすセンサ値の数が２以上である場合、ユーザのタップ操作に続けて、次のタップ操作が行われないと判定してもよい。例えば、端末装置１０は、種別「圧力」のセンサ値（圧力値）が種別「圧力」の閾値以上であり、種別「接触時間」のセンサ値（時間）が種別「接触時間」の閾値以上である場合、ユーザのタップ操作に続けて、次のタップ操作が行われないと判定してもよい。例えば、端末装置１０は、種別「圧力」のセンサ値（圧力値）が種別「圧力」の閾値以上であり、種別「接触時間」のセンサ値（時間）が種別「接触時間」の閾値以上である場合、ユーザの操作がシングルタップであると判定してもよい。
For example, in the
例えば、端末装置１０は、センサ値のうち、対応する閾値との比較が所定の条件を満たすセンサ値の数が２未満である場合、ユーザのタップ操作に続けて、次のタップ操作が行われると判定してもよい。例えば、端末装置１０は、１つのセンサ値のみが対応する閾値未満である場合、ユーザのタップ操作に続けて、次のタップ操作が行われると判定する。例えば、端末装置１０は、種別「圧力」のセンサ値（圧力値）が種別「圧力」の閾値以上である場合、ユーザの操作がシングルタップではないと判定してもよい。
For example, in the
なお、各センサ値の種別に対応する閾値は、種々の情報を適宜用いて設定されてもよい。例えば、各センサ値の種別に対応する閾値は、ユーザと属性が類似するユーザ群の平均等であってもよい。例えば、各センサ値の種別に対応する閾値は、ユーザに複数回操作を行わせ、その複数回の操作に関するセンサ情報における各センサ値の平均を閾値としてもよい。 The threshold value corresponding to the type of each sensor value may be set using various information as appropriate. For example, the threshold value corresponding to the type of each sensor value may be an average of a group of users whose attributes are similar to the user. For example, the threshold corresponding to the type of each sensor value may be operated by the user a plurality of times, and the average of each sensor value in the sensor information regarding the plurality of operations may be set as the threshold.
例えば、端末装置１０は、画面に「ダブルタップしてください」と表示し、ユーザに数回所定の操作を試行させ、その操作のセンサ情報に基づいて閾値を調整(キャリブレーション)してもよい。また、端末装置１０は、ユーザによる閾値の設定を受け付けてもよい。
For example, the
〔３．端末装置の構成〕
次に、図４を用いて、実施形態に係る端末装置１０の構成について説明する。図４は、実施形態に係る端末装置の構成例を示す図である。図４に示すように、端末装置１０は、通信部１１と、入力部１２と、出力部１３と、記憶部１４と、制御部１５と、センサ部１６とを有する。
[3. Configuration of terminal device]
Next, the configuration of the
（通信部１１）
通信部１１は、例えば、通信回路等によって実現される。そして、通信部１１は、図示しない所定の通信網と有線または無線で接続され、外部の情報処理装置との間で情報の送受信を行う。例えば、通信部１１は、図示しない所定の通信網と有線または無線で接続され、サーバ装置５０との間で情報の送受信を行う。
(Communication unit 11)
The
（入力部１２）
入力部１２は、ユーザから各種操作が入力される。例えば、入力部１２は、タッチパネル機能により表示面（例えば出力部１３）を介してユーザからの各種操作を受け付けてもよい。また、入力部１２は、端末装置１０に設けられたボタンや、端末装置１０に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
(Input unit 12)
The input unit 12 receives various operations from the user. For example, the input unit 12 may receive various operations from the user via the display surface (for example, the output unit 13) by the touch panel function. The input unit 12 may also receive various operations from a button provided on the
入力部１２は、センサ部１６に含まれる各種センサにより実現されるタッチパネルの機能によりタブレット端末等の表示画面を介してユーザから各種操作を受け付ける。すなわち、入力部１２は、端末装置１０の出力部１３を介してユーザから各種操作を受け付ける。例えば、入力部１２は、端末装置１０の出力部１３を介してユーザの指定操作等の操作を受け付ける。言い換えると、入力部１２は、タッチパネルの機能によりユーザの操作を受け付ける受付部として機能する。なお、入力部１２によるユーザの操作の検知方式には、タブレット端末では主に静電容量方式が採用されるが、他の検知方式である抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式など、ユーザの操作を検知できタッチパネルの機能が実現できればどのような方式を採用してもよい。また、端末装置１０は、端末装置１０にボタンが設けられたり、キーボードやマウスが接続されていたりする場合、ボタン等による操作も受け付ける入力部を有してもよい。
The input unit 12 receives various operations from the user via the display screen of a tablet terminal or the like by the function of the touch panel realized by the various sensors included in the sensor unit 16. That is, the input unit 12 receives various operations from the user via the output unit 13 of the
（出力部１３）
出力部１３は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示するための表示装置である。つまり、端末装置１０は、出力部１３である表示画面によりユーザの入力を受け付け、ユーザへの出力も行う。
(Output unit 13)
The output unit 13 is a display screen such as a tablet terminal realized by, for example, a liquid crystal display or an organic EL (Electro-Luminescence) display, and is a display device for displaying various information. That is, the
（記憶部１４）
記憶部１４は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４は、例えば、端末装置１０にインストールされているアプリケーション（例えば電子書籍アプリ）に関する情報、例えばプログラム等を記憶する。また、実施形態に係る記憶部１４は、図４に示すように、学習データ記憶部１４１と、モデル情報記憶部１４２と、コンテンツ情報記憶部１４３とを有する。
(Storage unit 14)
The
（学習データ記憶部１４１）
実施形態に係る学習データ記憶部１４１は、学習データに関する各種情報を記憶する。図５は、実施形態に係る学習データ記憶部の一例を示す図である。例えば、学習データ記憶部１４１は、モデルの生成に用いる教師データを記憶する。図５に示す学習データ記憶部１４１には、「データＩＤ」、「正解情報」、「センサ情報」といった項目が含まれる。「センサ情報」には、ユーザの端末装置１０の画面に対する接触の圧力や面積や時間等の種々の情報が含まれる。なお、「センサ情報」には、ユーザの端末装置１０の画面に対する接触の圧力や面積や時間等に限らず、センサが検知した情報であればどのような情報が記憶されてもよい。
(Learning data storage unit 141)
The learning
「データＩＤ」は、データを識別するための識別情報を示す。例えば、「データＩＤ」は、学習データ（教師データ）として用いられる端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報と正解情報との組合せを識別するための識別情報を示す。例えば、データＩＤ「ＤＴ１０１」により識別されるデータは、図２の例に示した、データＤＴ１０１に対応する。
"Data ID" indicates identification information for identifying data. For example, “data ID” indicates identification information for identifying a combination of sensor information and correct answer information regarding a predetermined operation of the user on the screen of the
「正解情報」は、データＩＤにより識別されるデータに対応する正解情報を示す。例えば、「正解情報」は、データＩＤにより識別されるデータに対応するユーザの実際の行動の種別を示す。例えば、「正解情報」は、データＩＤにより識別されるデータに対応する操作の後に続けてユーザが次のタップ操作を行ったか否かを示す。図５では「正解情報」に「ＲＤＴ１０１」といった概念的な情報が格納される例を示したが、実際には、データＩＤにより識別されるデータに対応する操作の後に続けてユーザが次のタップ操作を行ったか否かを示す情報などが格納される。 The "correct answer information" indicates correct answer information corresponding to the data identified by the data ID. For example, “correct information” indicates the type of the user's actual action corresponding to the data identified by the data ID. For example, “correct information” indicates whether the user has performed the next tap operation following the operation corresponding to the data identified by the data ID. Although FIG. 5 shows an example in which conceptual information such as “RDT 101” is stored in “correct information”, actually, the user taps the next tap following the operation corresponding to the data identified by the data ID. Information indicating whether or not an operation has been performed is stored.
「センサ情報」は、端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報を示す。図５では「センサ情報」に「ＳＤＴ１０１」といった概念的な情報が格納される例を示したが、実際には、対応するユーザの端末装置１０の画面に対する接触の圧力や面積や時間等の種々の情報等、または、その格納場所を示すファイルパス名などが格納される。
“Sensor information” indicates sensor information on a predetermined operation of the user on the screen of the
例えば、図５に示す例において、データＩＤ「ＤＴ１０１」により識別されるデータ（データＤＴ１０１）は、正解情報ＲＤＴ１０１やセンサ情報ＳＤＴ１０１を含むことを示す。データＤＴ１０１の正解情報ＲＤＴ１０１は、センサ情報ＳＤＴ１０１に対応するユーザのタップ操作の後に続けて、次のタップ操作が行われなかったことを示す。すなわち、データＤＴ１０１の正解情報ＲＤＴ１０１は、センサ情報ＳＤＴ１０１に対応するユーザのタップ操作が、シングルタップであったことを示す。 For example, in the example shown in FIG. 5, the data (data DT101) identified by the data ID "DT101" indicates that the correct answer information RDT101 and the sensor information SDT101 are included. The correct answer information RDT 101 of the data DT 101 indicates that the next tap operation has not been performed after the user's tap operation corresponding to the sensor information SDT 101. That is, the correct answer information RDT 101 of the data DT 101 indicates that the user's tap operation corresponding to the sensor information SDT 101 is a single tap.
なお、学習データ記憶部１４１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、学習データ記憶部１４１は、学習データが追加された日時に関する情報を記憶してもよい。また、例えば、学習データ記憶部１４１は、モデルの生成にセンサ情報以外にユーザの属性情報を用いる場合、ユーザの属性等のユーザ情報を記憶してもよい。例えば、学習データ記憶部１４１は、ユーザ情報として、デモグラフィック属性情報やサイコグラフィック属性情報を記憶してもよい。例えば、学習データ記憶部１４１は、氏名、年齢、性別、自宅、勤務地、興味、家族構成、収入、ライフスタイル等の情報を記憶してもよい。例えば、学習データ記憶部１４１は、ユーザ情報として、ユーザのインターネット（ウェブ）上における行動情報を記憶してもよい。例えば、学習データ記憶部１４１は、ユーザ情報として、ユーザがどのような商品を購入したかを示す購入履歴等を記憶してもよい。また、例えば、学習データ記憶部１４１は、ユーザ情報として、ユーザがどのようなコンテンツを閲覧したかを示す閲覧履歴等を記憶してもよい。
The learning
また、例えば、学習データ記憶部１４１は、学習用データをユーザ毎に記憶する場合、ユーザを識別するための識別情報を記憶してもよい。
Also, for example, when storing the learning data for each user, the learning
（モデル情報記憶部１４２）
実施形態に係るモデル情報記憶部１４２は、モデルに関する情報を記憶する。例えば、モデル情報記憶部１４２は、生成処理により生成されたモデル情報（モデルデータ）を記憶する。図６は、実施形態に係るモデル情報記憶部の一例を示す図である。図６に示すモデル情報記憶部１４２は、「モデルＩＤ」、「判定対象」、「モデルデータ」といった項目が含まれる。なお、図６では、モデルＭ１、Ｍ２、Ｍ３のみを図示するが、Ｍ４、Ｍ５等、各判定対象（フラグ付与の対象となる物事）に応じて多数のモデル情報が記憶されてもよい。
(Model information storage unit 142)
The model
「モデルＩＤ」は、モデルを識別するための識別情報を示す。例えば、モデルＩＤ「Ｍ１」により識別されるモデルは、図１や図２の例に示したモデルＭ１に対応する。「判定対象」は、次の操作である２回目のタップが行われるかの判定に用いられるそのフラグの対象を示す。また、「モデルデータ」は、対応付けられた対応するモデルのデータを示す。例えば、「モデルデータ」には、各層におけるノードと、各ノードが採用する関数と、ノードの接続関係と、ノード間の接続に対して設定される接続係数とを含む情報が含まれる。 "Model ID" indicates identification information for identifying a model. For example, the model identified by the model ID “M1” corresponds to the model M1 illustrated in the example of FIGS. 1 and 2. “Determination target” indicates the target of the flag used to determine whether the second operation, which is the next operation, is performed. Also, “model data” indicates data of the corresponding corresponding model. For example, “model data” includes information including nodes in each layer, functions adopted by each node, connection relationships between nodes, and connection coefficients set for connections between nodes.
例えば、図６に示す例において、モデルＩＤ「Ｍ１」により識別されるモデル（モデルＭ１）は、対象となる判定対象が「次のタップ（２回目のタップ）」であることを示す。すなわち、モデルＭ１は、端末装置１０の画面に対するユーザのタップ操作に関するセンサ情報が入力された場合に、そのタップ操作に続けて次のタップ操作が行われるかの判定に用いられることを示す。また、モデルＭ１のモデルデータは、モデルデータＭＤＴ１であることを示す。
For example, in the example illustrated in FIG. 6, the model (model M1) identified by the model ID “M1” indicates that the target determination target is “next tap (second tap)”. That is, the model M1 indicates that, when sensor information related to the tap operation of the user on the screen of the
モデルＭ１（モデルデータＭＤＴ１）は、端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力されたセンサ情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、ユーザが所定の操作に続けて次の操作を行うかの判定に用いられるスコアの値を出力層から出力するよう、コンピュータを機能させるためのモデルである。
The model M1 (model data MDT1) is an input layer to which sensor information regarding a predetermined operation of the user on the screen of the
ここで、モデルＭ１、Ｍ２、Ｍ３等が「ｙ＝ａ１＊ｘ１＋ａ２＊ｘ２＋・・・＋ａｉ＊ｘｉ」で示す回帰モデルで実現されるとする。この場合、例えば、モデルＭ１が含む第１要素は、ｘ１やｘ２等といった入力データ（ｘｉ）に対応する。また、第１要素の重みは、ｘｉに対応する係数ａｉに対応する。ここで、回帰モデルは、入力層と出力層とを有する単純パーセプトロンと見做すことができる。各モデルを単純パーセプトロンと見做した場合、第１要素は、入力層が有するいずれかのノードに対応し、第２要素は、出力層が有するノードと見做すことができる。 Here, it is assumed that the models M1, M2, M3, etc. are realized by the regression model shown by "y = a1 * x1 + a2 * x2 +... + Ai * xi". In this case, for example, the first element included in the model M1 corresponds to input data (xi) such as x1 and x2. Also, the weight of the first element corresponds to the coefficient ai corresponding to xi. Here, the regression model can be regarded as a simple perceptron having an input layer and an output layer. When each model is regarded as a simple perceptron, the first element can correspond to any node of the input layer, and the second element can be regarded as a node of the output layer.
また、モデルＭ１、Ｍ２、Ｍ３等がＤＮＮ等、１つまたは複数の中間層を有するニューラルネットワークで実現されるとする。この場合、例えば、モデルＭ１が含む第１要素は、入力層または中間層が有するいずれかのノードに対応する。また、第２要素は、第１要素と対応するノードから値が伝達されるノードである次段のノードに対応する。また、第１要素の重みは、第１要素と対応するノードから第２要素と対応するノードに伝達される値に対して考慮される重みである接続係数に対応する。 Further, it is assumed that the models M1, M2, M3, etc. are realized by a neural network having one or more intermediate layers such as DNN. In this case, for example, the first element included in the model M1 corresponds to any node that the input layer or the middle layer has. Also, the second element corresponds to the next-stage node that is a node to which a value is transmitted from the node corresponding to the first element. Also, the weight of the first element corresponds to the connection coefficient, which is a weight considered for the value transmitted from the node corresponding to the first element to the node corresponding to the second element.
なお、モデル情報記憶部１４２は、上記に限らず、目的に応じて種々のモデル情報を記憶してもよい。
The model
（コンテンツ情報記憶部１４３）
実施形態に係るコンテンツ情報記憶部１４３は、コンテンツに関する情報を記憶する。例えば、コンテンツ情報記憶部１４３は、電子書籍に関する情報（電子データ）を記憶する。図７は、実施形態に係るコンテンツ情報記憶部の一例を示す図である。図７に示すコンテンツ情報記憶部１４３は、「コンテンツＩＤ」、「内容」、「コンテンツデータ」といった項目が含まれる。なお、図７では、コンテンツＣＴ１、ＣＴ２のみを図示するが、ＣＴ３、ＣＴ４、ＣＴ５等、ユーザがダウンロード等により取得したマンガや雑誌等の多数の電子データ（コンテンツ情報）が記憶されてもよい。
(Content information storage unit 143)
The content
「コンテンツＩＤ」は、コンテンツを識別するための識別情報を示す。例えば、コンテンツＩＤ「ＣＴ１」により識別されるコンテンツは、図１の例に示したページＰＧ１やページＰＧ２等を含むコンテンツ（電子データ）であってもよい。「内容」は、対応するコンテンツの内容を示す。また、「コンテンツデータ」は、対応するコンテンツのデータを示す。図７では「コンテンツデータ」に「コンテンツデータＣＤＴ１」といった概念的な情報が格納される例を示したが、実際には、電子書籍（電子データ）、または、その格納場所を示すファイルパス名などが格納される。 "Content ID" indicates identification information for identifying content. For example, the content identified by the content ID “CT1” may be content (electronic data) including the page PG1 and the page PG2 illustrated in the example of FIG. 1. "Content" indicates the content of the corresponding content. Also, "content data" indicates data of the corresponding content. Although FIG. 7 shows an example in which conceptual information such as “content data CDT1” is stored in “content data”, an electronic book (electronic data) or a file path name indicating the storage location or the like is actually used. Is stored.
例えば、図７に示す例において、コンテンツＩＤ「ＣＴ１」により識別されるコンテンツ（コンテンツＣＴ１）は、内容が「マンガＸ」であることを示す。すなわち、コンテンツＣＴ１は、電子書籍「マンガＸ」であることを示す。また、コンテンツＣＴ１のコンテンツデータは、コンテンツデータＣＤＴ１であることを示す。 For example, in the example shown in FIG. 7, the content (content CT1) identified by the content ID “CT1” indicates that the content is “manga X”. That is, the content CT1 indicates that the electronic book is "manga X". Also, it indicates that the content data of the content CT1 is content data CDT1.
なお、コンテンツ情報記憶部１４３は、上記に限らず、目的に応じて種々のコンテンツに関する情報を記憶してもよい。
The content
（制御部１５）
制御部１５は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、端末装置１０内部の記憶部１４などの記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。例えば、この各種プログラムは、判定処理を行うアプリケーション（例えば電子書籍アプリ）のプログラムが含まれる。また、制御部１５は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。制御部１５は、モデル情報記憶部１４２に記憶されているモデルＭ１等に従った情報処理により、端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力されたセンサ情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、ユーザが所定の操作に続けて次の操作を行うかの判定に用いられるスコアの値を出力層から出力する。
(Control unit 15)
The control unit 15 is a controller, and for example, various programs stored in a storage device such as the
例えば、端末装置１０は、上述した回帰モデルやニューラルネットワーク等、任意の構造を有するモデルを用いて、ユーザが所定の操作に続けて次の操作を行うかの判定に用いられるスコアの算出を行う。具体的には、モデルＭ１、Ｍ２、Ｍ３等は、端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報（すなわち、上述したスコアの算出に用いられる各要素）が入力された場合に、ユーザが所定の操作に続けて次の操作を行うかの判定に用いられるスコア（すなわち、ユーザがフラグに対応する対象と関連する可能性がどの程度であるかを示唆するスコア）を出力するように係数が設定される。情報提供装置１０は、このようなモデルＭ１、Ｍ２、Ｍ３等を用いて、端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報のスコアを算出する。
For example, the
なお、上記例では、モデルＭ１、Ｍ２、Ｍ３等が、端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報が入力された場合に、ユーザが所定の操作に続けて次の操作を行うかの判定に用いられるスコアを出力するモデルである例を示した。しかし、実施形態に係るモデルＭ１、Ｍ２、Ｍ３等は、データの入出力を繰り返すことで得られる結果に基づいて生成されるモデルであってもよい。例えば、モデルは、端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報を入力とし、モデルＭ１が出力するスコアを出力とするよう学習されたモデル（モデルＭ１ｂ)であってもよい。または、モデルは、端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報を入力とし、モデルＭ１ｂの出力値を出力とするよう学習されたモデルであってもよい。
In the above example, when the sensor information regarding the user's predetermined operation on the screen of the
また、端末装置１０がＧＡＮ（Generative Adversarial Networks）を用いた判定処理（判定処理）を行う場合、モデルＭ１、Ｍ２、Ｍ３等は、ＧＡＮの一部を構成するモデルであってもよい。
In addition, when the
図４に示すように、制御部１５は、取得部１５１と、生成部１５２と、判定部１５３と、送信部１５４と、表示部１５５とを有し、以下に説明する判定処理の機能や作用を実現または実行する。なお、制御部１５の内部構成は、図４に示した構成に限られず、後述する判定処理を行う構成であれば他の構成であってもよい。また、制御部１５が有する各処理部の接続関係は、図４に示した接続関係に限られず、他の接続関係であってもよい。
As shown in FIG. 4, the control unit 15 includes an
（取得部１５１）
取得部１５１は、各種情報を取得する。例えば、取得部１５１は、外部の情報処理装置から各種情報を取得する。例えば、取得部１５１は、記憶部１４から各種情報を取得する。取得部１５１は、学習データ記憶部１４１やモデル情報記憶部１４２やコンテンツ情報記憶部１４３から各種情報を取得する。例えば、取得部１５１は、センサ部１６により検知されたセンサ情報を取得する。
(Acquisition unit 151)
The
取得部１５１は、端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報を取得する。例えば、取得部１５１は、ユーザが画面に接触する圧力を示す圧力情報を含むセンサ情報を取得する。例えば、取得部１５１は、画面においてユーザが接触する面積を示す面積情報を含むセンサ情報を取得する。例えば、取得部１５１は、画面においてユーザが接触する位置を示す位置情報を含むセンサ情報を取得する。例えば、取得部１５１は、ユーザによる所定の操作の際の端末装置の加速度情報を含むセンサ情報を取得する。例えば、取得部１５１は、ユーザによる画面への接触から、接触の解除までの時間を示す時間情報を含むセンサ情報を取得する。
The
例えば、取得部１５１は、一の種別の所定の操作に関するセンサ情報を取得する。例えば、取得部１５１は、端末装置１０の画面に対するユーザのタップ操作に関するセンサ情報を取得する。例えば、取得部１５１は、端末装置１０の画面に対するユーザのタップ操作に関するセンサ情報を取得する。
For example, the
図１の例では、取得部１５１は、ユーザＵ１のタップ操作に関するセンサ情報ＳＤＴ１１を取得する。例えば、取得部１５１は、センサ部１６に含まれる各種のセンサにより検知されたセンサ情報を含むセンサ情報ＳＤＴ１１を取得する。
In the example of FIG. 1, the
例えば、取得部１５１は、圧力センサにより検知された圧力を示す圧力情報を含むセンサ情報ＳＤＴ１１を取得する。例えば、取得部１５１は、ユーザＵ１が画面に接触する圧力を示す圧力情報を含むセンサ情報ＳＤＴ１１を取得する。
For example, the
例えば、取得部１５１は、画面におけるユーザの接触範囲（座標）を検知するセンサにより検知されたユーザが接触する面積（接触面積）を示す面積情報を含むセンサ情報ＳＤＴ１１を取得する。例えば、取得部１５１は、ユーザＵ１による画面の接触面積を示す面積情報を含むセンサ情報ＳＤＴ１１を取得する。
For example, the
例えば、取得部１５１は、端末装置１０の画面への接触を検知するセンサや計時機能（タイマー）等により検知されたユーザの接触時間を示す時間情報を含むセンサ情報ＳＤＴ１１を取得する。例えば、取得部１５１は、ユーザＵ１が端末装置１０の画面への接触から、接触の解除までの時間を示す時間情報を含むセンサ情報ＳＤＴ１１を取得する。
For example, the
例えば、取得部１５１は、上記に限らず、加速度センサ等の種々のセンサにより検知されたセンサ情報を含むセンサ情報ＳＤＴ１１を取得してもよい。
For example,
図２の例では、取得部１５１は、ユーザＵ１のタップ操作に関するセンサ情報ＳＤＴ１０１を取得する。例えば、取得部１５１は、センサ部１６に含まれる各種のセンサにより検知されたセンサ情報を含むセンサ情報ＳＤＴ１０１を取得する。
In the example of FIG. 2, the
また、取得部１５１は、学習データＬＤ１を取得する。例えば、取得部１５１は、データＤＴ１０１〜ＤＴ１０４等を含む学習データＬＤ１を取得する。例えば、取得部１５１は、センサ情報ＳＤＴ１０１に正解情報ＲＤＴ１０１が対応付けられたデータＤＴ１０１を取得する。例えば、取得部１５１は、センサ情報ＳＤＴ１０２に正解情報ＲＤＴ１０２が対応付けられたデータＤＴ１０２を取得する。
Further, the
（生成部１５２）
生成部１５２は、種々の生成を行なう。生成部１５２は、各種モデルを生成する。生成部１５２は、種々の学習を行なう。生成部１５２は、学習により判定処理に用いるモデルを生成する。例えば、生成部１５２は、学習データ記憶部１４１に記憶された学習データを用いて、モデル情報記憶部１４２に示すようなモデルを生成する。例えば、生成部１５２は、取得部１３１により取得された学習データに基づいて、所定の操作に続けて次の操作が行われるかの判定に用いられるモデルを生成する。例えば、生成部１５２は、端末装置の画面に対するユーザの所定の操作に関するセンサ情報と、所定の操作に続けて次の操作が行われたかを示す正解情報とを含む学習データに基づいて、所定の操作に続けて次の操作が行われるかの判定用いられるモデルを生成する。
(Generation unit 152)
The generation unit 152 performs various generations. The generation unit 152 generates various models. The generation unit 152 performs various learning. The generation unit 152 generates a model used for determination processing by learning. For example, using the learning data stored in the learning
例えば、生成部１５２は、モデルＭ１、Ｍ２、Ｍ３等を生成し、生成したモデルＭ１、Ｍ２、Ｍ３等をモデル情報記憶部１４２に格納する。なお、生成部１５２は、いかなる学習アルゴリズムを用いてモデルＭ１、Ｍ２、Ｍ３等を生成してもよい。例えば、生成部１５２は、ニューラルネットワーク（neural network）、サポートベクターマシン（ＳＶＭ）、クラスタリング、強化学習等の学習アルゴリズムを用いてモデルＭ１、Ｍ２、Ｍ３等を生成する。一例として、生成部１５２がニューラルネットワークを用いてモデルＭ１、Ｍ２、Ｍ３等を生成する場合、モデルＭ１、Ｍ２、Ｍ３等は、一以上のニューロンを含む入力層と、一以上のニューロンを含む中間層と、一以上のニューロンを含む出力層とを有する。
For example, the generation unit 152 generates the models M1, M2, M3, etc., and stores the generated models M1, M2, M3, etc. in the model
生成部１５２は、モデルを生成し、生成したモデルをモデル情報記憶部１４２に格納する。具体的には、生成部１５２は、端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力されたセンサ情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、ユーザが所定の操作に続けて次の操作を行うかの判定に用いられるスコアの値を出力層から出力するモデルを生成する。
The generation unit 152 generates a model, and stores the generated model in the model
図２の例では、生成部１５２は、モデル情報記憶部１４２に示すように、モデルＭ１等を生成する。例えば、生成部１５２は、学習データ記憶部１４１中のデータＤＴ１０１〜ＤＴ１０４等を学習データ（教師データ）として、学習を行なうことにより、モデルを生成する。例えば、生成部１５２は、ユーザのタップ操作に対応するセンサ情報に関する特徴量を用いて、モデルを生成する。例えば、生成部１５２は、圧力情報や面積情報や時間情報に関する特徴量を用いて、モデルを生成する。このように、生成部１５２は、ユーザのタップ操作に対応する特徴を学習し、そのタップ操作に続けて次のタップ操作が行われるかを判定するモデルを生成する。図２の例では、生成部１５２は、ユーザのタップ操作での圧力情報や面積情報や時間情報等に関する特徴を学習し、そのタップ操作に続けて次のタップ操作が行われるかを判定するモデルを生成する。
In the example of FIG. 2, as illustrated in the model
例えば、生成部１５２は、学習データＬＤ１を用いてモデルＭ１を生成する。例えば、生成部１５２は、正解情報ＲＤＴ１０１が次のタップ操作が無いこと、すなわちタップ操作がシングルタップであることを示す場合、モデルＭ１にデータＤＴ１０１に含まれるセンサ情報が入力された場合に、モデルＭ１が出力するスコアが「０」に近づくように、学習処理を行う。例えば、生成部１５２は、データＤＴ１０１のセンサ情報ＳＤＴ１０１がモデルＭ１に入力された場合に、モデルＭ１が出力するスコアが「０」に近づくように、学習処理を行う。 For example, the generation unit 152 generates the model M1 using the learning data LD1. For example, when the correctness information RDT 101 indicates that there is no next tap operation, that is, when the tap operation is a single tap, the generation unit 152 generates a model when sensor information included in the data DT 101 is input to the model M1. The learning process is performed so that the score output by M1 approaches “0”. For example, when the sensor information SDT101 of the data DT101 is input to the model M1, the generation unit 152 performs learning processing so that the score output from the model M1 approaches “0”.
また、例えば、生成部１５２は、正解情報ＲＤＴ１０２が次のタップ操作が有ること、すなわちタップ操作がダブルタップの１回目のタップであることを示す場合、モデルＭ１にデータＤＴ１０２に含まれるセンサ情報が入力された場合に、モデルＭ１が出力するスコアが「１」に近づくように、学習処理を行う。例えば、生成部１５２は、データＤＴ１０２のセンサ情報ＳＤＴ１０２がモデルＭ１に入力された場合に、モデルＭ１が出力するスコアが「１」に近づくように、学習処理を行う。 Further, for example, when the generation unit 152 indicates that the correct answer information RDT 102 has the next tap operation, that is, the tap operation is the first tap of the double tap, the sensor information included in the data DT102 is included in the model M1. When it is input, learning processing is performed so that the score output by the model M1 approaches "1". For example, when the sensor information SDT 102 of the data DT 102 is input to the model M1, the generation unit 152 performs learning processing so that the score output from the model M1 approaches “1”.
なお、取得部１５１によりモデル情報が外部の情報処理装置から取得される場合、制御部１５は、生成部１５２を有しなくてもよい。
In addition, when model information is acquired from an external information processing apparatus by the
（判定部１５３）
判定部１５３は、種々の情報を判定する。例えば、判定部１５３は、記憶部１４に記憶された各種情報を用いて種々の情報を判定する。判定部１５３は、学習データ記憶部１４１やモデル情報記憶部１４２やコンテンツ情報記憶部１４３に記憶された各種情報を用いて種々の情報を判定する。例えば、判定部１５３は、取得部１５１により取得された各種情報を用いて種々の情報を判定する。
(Judging unit 153)
The
また、判定部１５３は、取得部１５１により取得されたセンサ情報に基づいて、所定の操作に続けて次の操作が行われるかを判定する。例えば、判定部１５３は、センサ情報を入力とするモデルを用いて、所定の操作に続けて次の操作が行われるかを判定する。例えば、判定部１５３は、センサ情報の入力によりモデルが出力するスコアに基づいて、所定の操作に続けて次の操作が行われるかを判定する。例えば、判定部１５３は、センサ情報と所定の閾値との比較に基づいて、所定の操作に続けて次の操作が行われるかを判定する。
Further, based on the sensor information acquired by the
例えば、判定部１５３は、センサ情報に基づいて、所定の操作に続けて、一の種別の次の操作が行われるかを判定する。判定部１５３は、センサ情報に基づいて、タップ操作に続けて、端末装置１０の画面に対するユーザの次のタップ操作が行われるかを判定する。判定部１５３は、センサ情報に基づいて、タップ操作によりユーザにタッチされた画面の位置から所定の範囲内において、タップ操作に続けて、次のタップ操作が行われるかを判定する。例えば、判定部１５３は、センサ情報に基づいて、タップ操作がシングルタップの操作であるか、ダブルタップにおける１回目の操作であるかを判定する。
For example, the
図１の例では、判定部１５３は、センサ情報ＳＤＴ１１が入力されたモデルＭ１が出力したスコアに基づいて、センサ情報ＳＤＴ１１に対応するユーザのタップ操作の後に続けて次のタップ操作が行われるかを判定する。判定部１５３は、センサ情報ＳＤＴ１１が入力されたモデルＭ１が出力したスコア「０．２」に基づいて、結果情報ＲＳ１１に示すように判定する。判定部１５３は、モデルＭ１が出力したスコア「０．２」であり閾値「０．６」未満であるため、日時ｄｔ１１におけるユーザのタップ操作の後に続けて次のタップは無いと判定する。判定部１５３は、モデルＭ１が出力したスコア「０．２」であり閾値「０．６」未満であるため、日時ｄｔ１１におけるユーザのタップ操作はシングルタップであると判定する。
In the example of FIG. 1, the
図１の例では、判定部１５３は、センサ情報ＳＤＴ２１が入力されたモデルＭ１が出力したスコアに基づいて、センサ情報ＳＤＴ２１に対応するユーザのタップ操作の後に続けて次のタップ操作が行われるかを判定する。判定部１５３は、センサ情報ＳＤＴ２１が入力されたモデルＭ１が出力したスコア「０．７」に基づいて、結果情報ＲＳ１１に示すように判定する。判定部１５３は、モデルＭ１が出力したスコア「０．７」であり閾値「０．６」以上であるため、日時ｄｔ２１におけるユーザのタップ操作の後に続けて次のタップが有ると判定する。判定部１５３は、モデルＭ１が出力したスコア「０．７」であり閾値「０．６」以上であるため、日時ｄｔ２１におけるユーザのタップ操作はダブルタップの１回目のタップである可能性が高いと判定する。
In the example of FIG. 1, the
（送信部１５４）
送信部１５４は、外部の情報処理装置へ種々の情報を送信する。送信部１５４は、各種情報を端末装置１０へ送信する。送信部１５４は、記憶部１４に記憶された各種情報を外部の情報処理装置へ送信する。送信部１５４は、各種情報を端末装置１０へ送信する。送信部１５４は、取得部１５１により取得された各種情報を外部の情報処理装置へ送信する。送信部１５４は、判定部１５３により判定された各種情報を外部の情報処理装置へ送信する。送信部１５４は、サーバ装置５０へ各種情報を送信する。送信部１５４は、学習データ記憶部１４１やモデル情報記憶部１４２やコンテンツ情報記憶部１４３に記憶された各種情報をサーバ装置５０へ送信してもよい。
(Transmission unit 154)
The transmission unit 154 transmits various information to an external information processing apparatus. The transmission unit 154 transmits various types of information to the
（表示部１５５）
表示部１５５は、出力部１３を介して各種情報を表示する。例えば、表示部１５５は、電子書籍等のコンテンツを画面に表示する。また、表示部１５５は、判定部１５３による判定結果に応じて、画面の表示を変更する
(Display section 155)
The display unit 155 displays various information via the output unit 13. For example, the display unit 155 displays content such as an electronic book on a screen. Further, the display unit 155 changes the display of the screen according to the determination result by the
図１の例では、表示部１５５は、判定結果に応じて画面の表示を変更する。表示部１５５は、日時ｄｔ１１におけるユーザのタップ操作はシングルタップであると判定したため、画面の表示をページＰＧ１の次にページＰＧ２を表示するように変更する。これにより、表示部１５５は、日時ｄｔ１２において、端末装置１０−１２に示すように、画面にページＰＧ２を表示する。 In the example of FIG. 1, the display unit 155 changes the display of the screen according to the determination result. Since the display unit 155 determines that the user's tap operation at the date and time dt11 is a single tap, the display unit 155 changes the display of the screen to display the page PG2 next to the page PG1. Thereby, the display unit 155 displays the page PG2 on the screen at the date and time dt12 as shown in the terminal device 10-12.
図１の例では、表示部１５５は、判定結果に応じて画面の表示を変更する。表示部１５５は、日時ｄｔ２１のタップ操作と、日時ｄｔ２２のタップ操作とは、ダブルタップであると判定したため、画面の表示をページＰＧ１において、ユーザＵ１がダブルタップした位置を中心として拡大表示するように変更する。これにより、表示部１５５は、日時ｄｔ２３において、端末装置１０−２３に示すように、ユーザＵ１がダブルタップした位置付近（ページＰＧ１の左下側）を拡大表示する。 In the example of FIG. 1, the display unit 155 changes the display of the screen according to the determination result. Since the display unit 155 determines that the tap operation of the date and time dt21 and the tap operation of the date and time dt22 are double taps, the display of the screen is enlarged and displayed on the page PG1 centering on the position where the user U1 double tapped. Change to As a result, as shown in the terminal device 10-23, the display unit 155 magnifies and displays the vicinity of the position where the user U1 double-taps (lower left side of the page PG1) at the date and time dt23.
なお、上述した制御部１５による判定処理等の処理は、所定のアプリケーションにより行われる場合、制御部１５の各部は、例えば、所定のアプリケーションにより実現されてもよい。例えば、制御部１５による判定処理等の処理は、外部の情報処理装置から受信した制御情報により実現されてもよい。 When the processing such as the determination processing by the control unit 15 described above is performed by a predetermined application, each unit of the control unit 15 may be realized by, for example, a predetermined application. For example, processing such as determination processing by the control unit 15 may be realized by control information received from an external information processing apparatus.
（センサ部１６）
センサ部１６は、所定の情報を検知する。例えば、センサ部１６は、端末装置１０に対するユーザの操作に関する種々の情報を検知するセンサを含む。例えば、センサ部１６は、圧力センサを含む。例えば、センサ部１６は、ユーザが画面に接触する圧力を示す圧力情報を検知するセンサを含む。例えば、センサ部１６は、画面におけるユーザの接触範囲（座標）を検知するセンサを含む。例えば、センサ部１６は、画面においてユーザが接触する位置を示す位置情報を検知するセンサを含む。例えば、センサ部１６は、画面においてユーザが接触する面積を示す面積情報を検知するセンサを含む。
(Sensor unit 16)
The sensor unit 16 detects predetermined information. For example, the sensor unit 16 includes a sensor that detects various information related to the user's operation on the
例えば、センサ部１６は、加速度センサを含む。例えば、センサ部１６は、ユーザによる所定の操作の際の端末装置１０の加速度情報を検知するセンサを含む。例えば、センサ部１６は、ユーザによる端末装置１０の画面への接触を検知するセンサやタイマー等を含む。例えば、センサ部１６は、ユーザによる端末装置１０の画面への接触から、接触の解除までの時間を示す時間情報を検知するために用いるセンサを含む。
For example, the sensor unit 16 includes an acceleration sensor. For example, the sensor unit 16 includes a sensor that detects acceleration information of the
また、センサ部１６には、上記に限らず、種々のセンサが含まれてもよい。例えば、センサ部１６は、端末装置１０外の情報を検知するセンサを含んでもよい。例えば、センサ部１６は、ＧＰＳセンサによって実現される。なお、センサ部１６は、複数であってもよい。なお、センサ部１６は、判定処理に用いる情報を検知可能であれば、どのようなセンサであってもよい。例えば、端末装置１０は、カメラ機能により撮像された画像情報を判定処理に用いる場合、センサ部１６としてカメラを有してもよい。また、端末装置１０の位置情報をセンサ情報として取得する場合、通信を行っている基地局の位置情報や、ＷｉＦｉ（登録商標）（Wireless Fidelity）の電波を用いて推定された端末装置１０の位置情報を取得してもよい。
The sensor unit 16 may include various sensors as well as the above. For example, the sensor unit 16 may include a sensor that detects information outside the
なお、センサ部１６における上記の各種情報を検知するセンサは共通のセンサであってもよいし、各々異なるセンサにより実現されてもよい。 The sensor which detects the above-mentioned various information in sensor part 16 may be a common sensor, and may be realized by each different sensor.
〔４．判定処理のフロー〕
次に、図８を用いて、実施形態に係る判定処理の手順について説明する。図８は、実施形態に係る判定処理の一例を示すフローチャートである。
[4. Flow of judgment processing]
Next, the procedure of the determination process according to the embodiment will be described with reference to FIG. FIG. 8 is a flowchart illustrating an example of the determination process according to the embodiment.
図８に示すように、端末装置１０は、端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報を取得する（ステップＳ１０１）。図１の例では、端末装置１０は、ユーザＵ１のタップ操作に関するセンサ情報ＳＤＴ１１やセンサ情報ＳＤＴ２１を取得する。
As shown in FIG. 8, the
そして、端末装置１０は、センサ情報に基づいて、所定の操作に続けて次の操作が行われるかを判定する（ステップＳ１０２）。例えば、端末装置１０は、センサ情報に含まれる各種別のセンサ値と、各種別に対応する閾値とを比較することにより、ユーザのタップ操作に続けて、次のタップ操作が行われるかを判定する。例えば、端末装置１０は、センサ値のうち、対応する閾値との比較が所定の条件を満たすセンサ値の数が所定数（例えば１や３等）以上である場合、ユーザのタップ操作に続けて、次のタップ操作が行われないと判定する。
Then, the
例えば、端末装置１０は、センサ値のうち、対応する閾値との比較が所定の条件を満たすセンサ値の数が２以上である場合、ユーザのタップ操作に続けて、次のタップ操作が行われないと判定してもよい。例えば、端末装置１０は、種別「圧力」のセンサ値（圧力値）が種別「圧力」の閾値以上であり、種別「接触時間」のセンサ値（時間）が種別「接触時間」の閾値以上である場合、ユーザのタップ操作に続けて、次のタップ操作が行われないと判定する。例えば、端末装置１０は、種別「圧力」のセンサ値（圧力値）が種別「圧力」の閾値以上であり、種別「接触時間」のセンサ値（時間）が種別「接触時間」の閾値以上である場合、ユーザの操作がシングルタップであると判定する。
For example, in the
例えば、端末装置１０は、センサ値のうち、対応する閾値との比較が所定の条件を満たすセンサ値の数が２未満である場合、ユーザのタップ操作に続けて、次のタップ操作が行われると判定してもよい。例えば、端末装置１０は、１つのセンサ値のみが対応する閾値未満である場合、ユーザのタップ操作に続けて、次のタップ操作が行われると判定する。例えば、端末装置１０は、種別「圧力」のセンサ値（圧力値）が種別「圧力」の閾値以上である場合、ユーザの操作がシングルタップではないと判定する。
For example, in the
そして、端末装置１０は、判定結果に応じて、画面の表示を変更する（ステップＳ１０３）。例えば、端末装置１０は、ユーザＵ１の操作がシングルタップであると判定した場合、シングルタップの操作に対応する画面の表示に変更する。
Then, the
また、例えば、端末装置１０は、ユーザＵ１の操作がシングルタップではないと判定した場合、所定の待機期間内におけるユーザの操作有無に応じて画面の表示に変更する。例えば、端末装置１０は、ユーザＵ１の操作がシングルタップではないと判定し、所定の待機期間ＴＭ内にユーザが２回目のタップ操作を行った場合、ダブルタップの操作に対応する画面の表示に変更する。例えば、端末装置１０は、ユーザＵ１の操作がシングルタップではないと判定したが、所定の待機期間ＴＭ内にユーザが２回目のタップ操作を行わなかった場合、シングルタップの操作に対応する画面の表示に変更する。
Further, for example, when the
〔５．生成処理のフロー〕
次に、図９を用いて、実施形態に係る判定システム１による生成処理の手順について説明する。図９は、実施形態に係る生成処理の一例を示すフローチャートである。
[5. Flow of generation process]
Next, the procedure of the generation process by the determination system 1 according to the embodiment will be described with reference to FIG. FIG. 9 is a flowchart illustrating an example of the generation process according to the embodiment.
図９に示すように、端末装置１０は、学習データを取得する（ステップＳ２０１）。例えば、端末装置１０は、学習データ記憶部１４１から学習データを取得する。
As shown in FIG. 9, the
その後、端末装置１０は、学習データに基づきモデルを生成する（ステップＳ２０２）。図２の例では、端末装置１０は、学習データ記憶部１４１から学習データを用いてモデルＭ１を生成する。
Thereafter, the
〔６．モデルを用いた判定処理のフロー〕
次に、図１０を用いて、実施形態に係る判定システム１による判定処理の手順について説明する。図１０は、実施形態に係る判定処理の一例を示すフローチャートである。具体的には、図１０は、モデルを用いた判定処理の一例を示すフローチャートである。
[6. Flow of judgment processing using model]
Next, the procedure of the determination process by the determination system 1 according to the embodiment will be described with reference to FIG. FIG. 10 is a flowchart illustrating an example of the determination process according to the embodiment. Specifically, FIG. 10 is a flowchart illustrating an example of determination processing using a model.
図１０に示すように、端末装置１０は、端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報を取得する（ステップＳ３０１）。図１の例では、端末装置１０は、ユーザＵ１のタップ操作に関するセンサ情報ＳＤＴ１１やセンサ情報ＳＤＴ２１を取得する。
As shown in FIG. 10, the
そして、端末装置１０は、センサ情報とモデルを用いて、所定の操作に続けて次の操作が行われるかを判定する（ステップＳ３０２）。例えば、端末装置１０は、学習データ記憶部１４１に記憶されたモデルＭ１を用いて、ユーザＵ１のタップ操作に続けて、次のタップ操作が行われるかを判定する。図１の例では、端末装置１０は、センサ情報ＳＤＴ１１をモデルＭ１に入力し、モデルＭ１が出力したスコアが所定の閾値未満である場合、ユーザＵ１のタップ操作に続けて、次のタップ操作が行われないと判定する。例えば、端末装置１０は、センサ情報ＳＤＴ１１をモデルＭ１に入力し、モデルＭ１が出力したスコアが所定の閾値未満である場合、ユーザＵ１の操作がシングルタップであると判定する。
Then, the
また、図１の例では、端末装置１０は、センサ情報ＳＤＴ２１をモデルＭ１に入力し、モデルＭ１が出力したスコアが所定の閾値以上である場合、ユーザＵ１のタップ操作に続けて、次のタップ操作が行われると判定する。例えば、端末装置１０は、センサ情報ＳＤＴ２１をモデルＭ１に入力し、モデルＭ１が出力したスコアが所定の閾値以上である場合、ユーザＵ１の操作がシングルタップではないと判定する。すなわち、端末装置１０は、センサ情報ＳＤＴ２１をモデルＭ１に入力し、モデルＭ１が出力したスコアが所定の閾値以上である場合、ユーザＵ１の操作がダブルタップの可能性があると判定する。
Further, in the example of FIG. 1, when the
そして、端末装置１０は、判定結果に応じて、画面の表示を変更する（ステップＳ３０３）。例えば、端末装置１０は、ユーザＵ１の操作がシングルタップであると判定した場合、シングルタップの操作に対応する画面の表示に変更する。
Then, the
また、例えば、端末装置１０は、ユーザＵ１の操作がシングルタップではないと判定した場合、所定の期間（待機期間ＴＭ）内におけるユーザの操作有無に応じて画面の表示に変更する。例えば、端末装置１０は、ユーザＵ１の操作がシングルタップではないと判定し、待機期間ＴＭ内にユーザが２回目のタップ操作を行った場合、ダブルタップの操作に対応する画面の表示に変更する。例えば、端末装置１０は、ユーザＵ１の操作がシングルタップではないと判定したが、待機期間ＴＭ内にユーザが２回目のタップ操作を行わなかった場合、シングルタップの操作に対応する画面の表示に変更する。
Further, for example, when the
〔７．シングルタップとダブルタップの判定処理のフロー〕
次に、図１１を用いて、実施形態に係る判定システム１による判定処理の手順について説明する。図１１は、実施形態に係る判定処理の一例を示すフローチャートである。具体的には、図１１は、シングルタップとダブルタップの判定処理の一例を示すフローチャートである。
[7. Flow of judgment processing of single tap and double tap]
Next, the procedure of the determination process by the determination system 1 according to the embodiment will be described with reference to FIG. FIG. 11 is a flowchart illustrating an example of the determination process according to the embodiment. Specifically, FIG. 11 is a flowchart showing an example of determination processing of single tap and double tap.
図１１に示すように、端末装置１０は、ユーザの一のタップ操作に関するセンサ情報を取得する（ステップＳ４０１）。
As illustrated in FIG. 11, the
そして、端末装置１０は、センサ情報が条件を満たすかを判定する（ステップＳ４０２）。例えば、端末装置１０は、センサ情報に含まれる各種別のセンサ値と、各種別に対応する閾値とを比較することにより、センサ情報が条件を満たすかを判定する。例えば、端末装置１０は、センサ値のうち、対応する閾値との比較が所定の条件を満たすセンサ値の数が所定数（例えば１や３等）以上である場合、センサ情報が条件を満たすと判定する。
Then, the
図１１の例では、センサ情報が条件を満たすかを判定に用いる所定数が「２」である場合を一例に説明する。この場合、例えば、端末装置１０は、センサ値のうち、対応する閾値との比較が所定の条件を満たすセンサ値の数が２以上である場合、センサ情報が条件を満たすと判定してもよい。例えば、端末装置１０は、種別「圧力」のセンサ値（圧力値）が種別「圧力」の閾値以上であり、種別「接触面積」のセンサ値が種別「接触面積」の閾値以上である場合、センサ情報が条件を満たすと判定する。
In the example of FIG. 11, the case where the predetermined number used for determination whether sensor information satisfy | fills conditions is "2" is demonstrated to an example. In this case, for example, the
端末装置１０は、センサ情報が条件を満たすと判定した場合（ステップＳ４０２：Ｙｅｓ）、後述するステップＳ４０７、Ｓ４０８の処理を行う。
When the
また、例えば、端末装置１０は、センサ値のうち、対応する閾値との比較が所定の条件を満たすセンサ値の数が２未満である場合、センサ情報が条件を満たさないと判定してもよい。例えば、端末装置１０は、１つのセンサ値のみが対応する閾値未満である場合、ユーザのタップ操作に続けて、センサ情報が条件を満たさないと判定する。例えば、端末装置１０は、種別「接触面積」のセンサ値が種別「接触面積」の閾値以上である場合、センサ情報が条件を満たさないと判定する。
Also, for example, the
端末装置１０は、センサ情報が条件を満たさないと判定した場合（ステップＳ４０２：Ｎｏ）、端末装置１０は、所定の時間（待機時間）内に次のタップ操作が有るかどうかを判定する（ステップＳ４０３）。
If the
また、所定の時間（待機時間）内に次のタップ操作が有った場合（ステップＳ４０３：Ｙｅｓ）、端末装置１０は、ダブルタップの操作が行われたと判定する（ステップＳ４０４）。そして、端末装置１０は、ダブルタップの操作に対応する画面の表示に変更する（ステップＳ４０５）。例えば、端末装置１０は、所定の待機期間ＴＭ内にユーザが２回目のタップ操作を行った場合、ダブルタップの操作に対応する画面の表示に変更する。
When the next tap operation is performed within the predetermined time (standby time) (step S403: Yes), the
また、次のタップ操作が無い場合（ステップＳ４０３：Ｎｏ）、端末装置１０は、一のタップ操作から所定の期間が経過したかどうかを判定する（ステップＳ４０６）。例えば、端末装置１０は、一のタップ操作が行われた時点から待機期間ＴＭの間、次のタップ操作が行われたかを判定する。一のタップ操作から所定の期間が経過していない場合（ステップＳ４０６：Ｎｏ）、端末装置１０は、ステップＳ４０３に戻って処理を繰りかえす。
Moreover, when there is no next tap operation (step S403: No), the
また、一のタップ操作から所定の期間が経過した場合（ステップＳ４０６：Ｙｅｓ）、端末装置１０は、ステップＳ４０７の処理を行う。端末装置１０は、ユーザが一のタップ操作を行った時点から次のタップが行われずに、所定の期間が経過した場合、シングルタップの操作が行われたと判定する（ステップＳ４０７）。そして、端末装置１０は、シンブルタップの操作に対応する画面の表示に変更する（ステップＳ４０８）。
Moreover, when the predetermined period has passed since one tap operation (step S406: Yes), the
例えば、端末装置１０は、センサ情報が条件を満たすと判定した場合（ステップＳ４０２：Ｙｅｓ）や、一のタップ操作から所定の期間が経過した場合（ステップＳ４０６：Ｙｅｓ）、シンブルタップの操作に対応する画面の表示に変更する。
For example, when the
〔８．効果〕
上述してきたように、実施形態に係る端末装置１０は、取得部１５１と、判定部１５３とを有する。取得部１５１は、端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報を取得する。また、判定部１５３は、取得部１５１により取得されたセンサ情報に基づいて、所定の操作に続けて次の操作が行われるかを判定する。
[8. effect〕
As described above, the
このように、実施形態に係る端末装置１０は、端末装置１０の画面に対するユーザの所定の操作に関するセンサ情報に基づいて、所定の操作に続けて次の操作が行われるかを判定することにより、ユーザの操作性の向上を可能にすることができる。例えば、端末装置１０は、所定の操作が行われたタイミングで、その所定の操作が完結した操作であるか、次の操作が行われる操作なのかを判定する。そのため、端末装置１０は、ユーザの所定の操作に続けて次の操作が行われないと判定した場合、待機期間の経過を待つことなく、ユーザの操作に応じて所定の処理（例えば、画面の表示変更等）を行う。このように、端末装置１０は、待機時間を経過する前に判定することができるため、ユーザビリティが向上させることができる。また、端末装置１０は、ユーザが待機期間内に連続して所定の操作を行った場合であっても、センサ情報に基づいて判定することにより、各所定の操作を個別の完結した操作として、対応する処理を行うことができる。したがって、端末装置１０は、ユーザが連続で所定の操作をしたい場合に、他の操作だと判定することによる、誤判定を抑制することができる。
As described above, the
また、実施形態に係る端末装置１０において、取得部１５１は、ユーザが画面に接触する圧力を示す圧力情報を含むセンサ情報を取得する。
In addition, in the
このように、実施形態に係る端末装置１０は、ユーザが画面に接触する圧力を示す圧力情報を含むセンサ情報を取得することにより、ユーザの操作性の向上を可能にすることができる。
Thus, the
また、実施形態に係る端末装置１０において、取得部１５１は、画面においてユーザが接触する面積を示す面積情報を含むセンサ情報を取得する。
In addition, in the
このように、実施形態に係る端末装置１０は、画面においてユーザが接触する面積を示す面積情報を含むセンサ情報を取得することにより、ユーザの操作性の向上を可能にすることができる。
As described above, the
また、実施形態に係る端末装置１０において、取得部１５１は、画面においてユーザが接触する位置を示す位置情報を含むセンサ情報を取得する。
In addition, in the
このように、実施形態に係る端末装置１０は、画面においてユーザが接触する位置を示す位置情報を含むセンサ情報を取得することにより、ユーザの操作性の向上を可能にすることができる。
As described above, the
また、実施形態に係る端末装置１０において、取得部１５１は、ユーザによる所定の操作の際の端末装置の加速度情報を含むセンサ情報を取得する。
In addition, in the
このように、実施形態に係る端末装置１０は、ユーザによる所定の操作の際の端末装置の加速度情報を含むセンサ情報を取得することにより、ユーザの操作性の向上を可能にすることができる。
As described above, the
また、実施形態に係る端末装置１０において、取得部１５１は、ユーザによる画面への接触から、接触の解除までの時間を示す時間情報を含むセンサ情報を取得する。
In addition, in the
このように、実施形態に係る端末装置１０は、ユーザによる画面への接触から、接触の解除までの時間を示す時間情報を含むセンサ情報を取得することにより、ユーザの操作性の向上を可能にすることができる。
Thus, the
また、実施形態に係る端末装置１０において、判定部１５３は、センサ情報を入力とするモデルを用いて、所定の操作に続けて次の操作が行われるかを判定する。
In addition, in the
このように、実施形態に係る端末装置１０は、センサ情報を入力とするモデルを用いて、所定の操作に続けて次の操作が行われるかを判定することにより、ユーザの操作性の向上を可能にすることができる。
As described above, the
また、実施形態に係る端末装置１０において、判定部１５３は、センサ情報の入力によりモデルが出力するスコアに基づいて、所定の操作に続けて次の操作が行われるかを判定する。
In addition, in the
このように、実施形態に係る端末装置１０は、センサ情報の入力によりモデルが出力するスコアに基づいて、所定の操作に続けて次の操作が行われるかを判定することにより、ユーザの操作性の向上を可能にすることができる。
As described above, the
また、実施形態に係る端末装置１０において、判定部１５３は、センサ情報と所定の閾値との比較に基づいて、所定の操作に続けて次の操作が行われるかを判定する。
Further, in the
このように、実施形態に係る端末装置１０は、センサ情報と所定の閾値との比較に基づいて、所定の操作に続けて次の操作が行われるかを判定することにより、ユーザの操作性の向上を可能にすることができる。
As described above, the
また、実施形態に係る端末装置１０は、表示部１５５を有する。表示部１５５は、判定部１５３による判定結果に応じて、画面の表示を変更する。
In addition, the
このように、実施形態に係る端末装置１０は、判定結果に応じて、画面の表示を変更することにより、ユーザの操作性の向上を可能にすることができる。
Thus, the
また、実施形態に係る端末装置１０において、取得部１５１は、一の種別の所定の操作に関するセンサ情報を取得する。判定部１５３は、センサ情報に基づいて、所定の操作に続けて、一の種別の次の操作が行われるかを判定する。
In addition, in the
このように、実施形態に係る端末装置１０は、センサ情報に基づいて、所定の操作に続けて、一の種別の次の操作が行われるかを判定することにより、ユーザの操作性の向上を可能にすることができる。例えば、端末装置１０は、一の種別の操作が行われたタイミングで、その操作が完結した操作であるか、次に同種別の操作が行われる操作なのかを判定する。そのため、端末装置１０は、その操作が完結した操作であるか、続けて同種別の操作が行われる操作なのかを判定する。そのため、端末装置１０は、ユーザの一の種別の操作に続けて同種別の操作が行われないと判定した場合、待機期間の経過を待つことなく、ユーザの操作に応じて所定の処理（例えば、画面の表示変更等）を行う。このように、端末装置１０は、待機時間を経過する前に判定することができるため、ユーザビリティが向上させることができる。また、端末装置１０は、ユーザが待機期間内に連続して同種別の操作を行った場合であっても、センサ情報に基づいて判定することにより、各同種別の操作を個別の完結した操作として、対応する処理を行うことができる。したがって、端末装置１０は、ユーザが連続で同種別の操作をしたい場合に、他の操作だと判定することによる、誤判定を抑制することができる。
As described above, the
また、実施形態に係る端末装置１０において、取得部１５１は、端末装置１０の画面に対するユーザのタップ操作に関するセンサ情報を取得する。判定部１５３は、センサ情報に基づいて、タップ操作に続けて、端末装置１０の画面に対するユーザの次のタップ操作が行われるかを判定する。
In addition, in the
このように、実施形態に係る端末装置１０は、センサ情報に基づいて、タップ操作に続けて、端末装置１０の画面に対するユーザの次のタップ操作が行われるかを判定することにより、ユーザの操作性の向上を可能にすることができる。例えば、端末装置１０は、タップ操作が行われたタイミングで、その操作が完結した操作であるか、次にタップ操作が行われる操作なのかを判定する。そのため、端末装置１０は、その操作が完結した操作であるか、続けてタップ操作が行われる操作なのかを判定する。そのため、端末装置１０は、ユーザのタップ操作に続けてタップ操作が行われないと判定した場合、待機期間の経過を待つことなく、ユーザの操作に応じて所定の処理（例えば、画面の表示変更等）を行う。このように、端末装置１０は、待機時間を経過する前に判定することができるため、ユーザビリティが向上させることができる。また、端末装置１０は、ユーザが待機期間内に連続してタップ操作を行った場合であっても、センサ情報に基づいて判定することにより、各タップ操作を個別の完結した操作として、対応する処理を行うことができる。したがって、端末装置１０は、ユーザが連続でタップ操作をしたい場合に、他の操作だと判定することによる、誤判定を抑制することができる。
As described above, the
また、実施形態に係る端末装置１０において、取得部１５１は、端末装置１０の画面に対するユーザのタップ操作に関するセンサ情報を取得する。判定部１５３は、センサ情報に基づいて、タップ操作によりユーザにタッチされた画面の位置から所定の範囲内において、タップ操作に続けて、次のタップ操作が行われるかを判定する。
In addition, in the
このように、実施形態に係る端末装置１０は、センサ情報に基づいて、タップ操作によりユーザにタッチされた画面の位置から所定の範囲内において、タップ操作に続けて、次のタップ操作が行われるかを判定することにより、ユーザの操作性の向上を可能にすることができる。
Thus, the
また、実施形態に係る端末装置１０において、判定部１５３は、センサ情報に基づいて、タップ操作がシングルタップの操作であるか、ダブルタップにおける１回目の操作であるかを判定する。
In addition, in the
このように、実施形態に係る端末装置１０は、センサ情報に基づいて、タップ操作がシングルタップの操作であるか、ダブルタップにおける１回目の操作であるかを判定することにより、ユーザの操作性の向上を可能にすることができる。例えば、端末装置１０は、１回目のタップ操作が行われたタイミングで、そのタップ操作が完結した操作（シングルタップ）であるか、次の操作が行われる操作なのかを判定する。そのため、端末装置１０は、ユーザの操作がシングルタップであると判定した場合、待機期間の経過を待つことなく、ユーザのシングルタップの操作に応じて所定の処理（例えば、画面の表示変更等）を行う。このように、端末装置１０は、待機時間を経過する前に判定することができるため、ユーザビリティが向上させることができる。また、端末装置１０は、ユーザが待機期間内に連続してシングルタップの操作を行った場合であっても、センサ情報に基づいて判定することにより、各シングルタップの操作をシングルタップの操作として、対応する処理を行うことができる。したがって、端末装置１０は、ユーザが連続でシングルタップしたい場合に、ダブルタップだと判定することによる、誤判定を抑制することができる。
As described above, the
〔９．プログラム〕
上述してきた端末装置１０による処理は、本願に係る判定プログラムにより実現される。例えば、端末装置１０に係る判定部１５３は、端末装置１０が有するＣＰＵやＭＰＵ等によって、判定プログラムがＲＡＭを作業領域として、判定プログラムに係る判定手順が実行されることにより実現される。例えば、端末装置１０に係る判定部１５３は、端末装置１０が有するＣＰＵやＭＰＵ等によって、判定プログラムがＲＡＭを作業領域として、判定プログラムに係る付与手順が実行されることにより実現される。端末装置１０に係る他の処理部も同様に、判定プログラムによる各手順が実行されることにより実現される。例えば、判定プログラムは電子書籍アプリに含まれてもよい。
[9. program〕
The processing by the
なお、本願に係る端末装置１０が実行する処理は、必ずしも全てが判定プログラムによって実現されるものでなくてもよい。例えば、センサ部１６は、端末装置１０における各種のセンサ情報を検知する。このとき、端末装置１０における各種のセンサ情報等は、端末装置１０が有するＯＳ（Operating System）によって検知されてもよい。すなわち、判定プログラム自体が、上述してきたような端末装置１０で実行される処理を実行するのではなく、ＯＳによって取得されたデータ（例えば、端末装置１０が有するセンサや回路等を利用して取得されるデータ）を受け取ったり、検知したりすることにより、上述してきた端末装置１０の処理を実現するようにしてもよい。また、端末装置１０が有するＯＳに判定プログラムが含まれてもよい。
In addition, the process which the
〔１０．ハードウェア構成〕
上述してきた実施形態に係る端末装置１０は、例えば図１２に示すような構成のコンピュータ１０００によって実現される。図１２は、端末装置及びサーバ装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
[10. Hardware configuration]
The
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
The
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定のネットワーク（例えば図３中のネットワークＮ）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定のネットワークＮを介して他の機器へ送信する。
The
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
The
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
The
例えば、コンピュータ１０００が実施形態に係る端末装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムまたはデータ（例えば、モデルＭ１、Ｍ２、Ｍ３等）を実行することにより、制御部１５の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムまたはデータ（例えば、モデルＭ１、Ｍ２、Ｍ３等）を記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定のネットワークを介してこれらのプログラムを取得してもよい。
For example, when the
以上、本願の実施形態および変形例のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 Although some of the embodiments and modifications of the present application have been described above in detail based on the drawings, these are merely examples, and various aspects can be obtained based on the knowledge of those skilled in the art, including the aspects described in the lines of the disclosure of the invention. It is possible to carry out the present invention in other forms that have been modified and improved.
〔１１．その他〕
また、上記各実施形態および変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[11. Other]
In addition, all or part of the processing described as being performed automatically among the processing described in each of the above-described embodiments and modifications may be performed manually, or may be performed manually. All or part of the described processing can also be performed automatically in a known manner. In addition, information including processing procedures, specific names, various data and parameters shown in the above-mentioned documents and drawings can be arbitrarily changed unless otherwise specified. For example, the various information shown in each figure is not limited to the illustrated information.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Further, each component of each device illustrated is functionally conceptual, and does not necessarily have to be physically configured as illustrated. That is, the specific form of the distribution and integration of each device is not limited to the illustrated one, and all or a part thereof may be functionally or physically dispersed in any unit depending on various loads, usage conditions, etc. It can be integrated and configured.
また、上述してきた各実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Moreover, it is possible to combine suitably each embodiment and modification which were mentioned above in the range which does not contradict process content.
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。 In addition, the "section (module, unit)" described above can be read as "means" or "circuit". For example, the acquisition unit can be read as an acquisition unit or an acquisition circuit.
１０ 端末装置
１４１ 学習データ記憶部
１４２ モデル情報記憶部
１４３ コンテンツ情報記憶部
１５ 制御部
１５１ 取得部
１５２ 生成部
１５３ 判定部
１５４ 送信部
１５５ 表示部
１６ センサ部
５０ サーバ装置
10
Claims (18)
前記端末装置の画面に対するユーザの所定の操作に関するセンサ情報を取得する取得手順と、
前記取得手順により取得された前記センサ情報に基づいて、前記所定の操作に続けて次の操作が行われるかを判定する判定手順と、
を端末装置に実行させることを特徴とする判定プログラム。 A determination program executed by a terminal device, wherein
An acquisition procedure for acquiring sensor information on a predetermined operation of a user on the screen of the terminal device;
A determination procedure of determining whether the next operation is performed following the predetermined operation based on the sensor information acquired by the acquisition procedure;
A determination program that causes a terminal device to execute.
前記ユーザが前記画面に接触する圧力を示す圧力情報を含む前記センサ情報を取得する
ことを特徴とする請求項１に記載の判定プログラム。 The acquisition procedure is
The determination program according to claim 1, wherein the sensor information including pressure information indicating a pressure at which the user contacts the screen is acquired.
前記画面において前記ユーザが接触する面積を示す面積情報を含む前記センサ情報を取得する
ことを特徴とする請求項１または請求項２に記載の判定プログラム。 The acquisition procedure is
The determination program according to claim 1 or 2, wherein the sensor information including area information indicating an area touched by the user on the screen is acquired.
前記画面において前記ユーザが接触する位置を示す位置情報を含む前記センサ情報を取得する
ことを特徴とする請求項１〜３のいずれか１項に記載の判定プログラム。 The acquisition procedure is
The determination program according to any one of claims 1 to 3, wherein the sensor information including position information indicating a position where the user touches on the screen is acquired.
前記ユーザによる前記所定の操作の際の前記端末装置の加速度情報を含む前記センサ情報を取得する
ことを特徴とする請求項１〜４のいずれか１項に記載の判定プログラム。 The acquisition procedure is
The determination program according to any one of claims 1 to 4, wherein the sensor information including acceleration information of the terminal device at the time of the predetermined operation by the user is acquired.
前記ユーザによる前記画面への接触から、前記接触の解除までの時間を示す時間情報を含む前記センサ情報を取得する
ことを特徴とする請求項１〜５のいずれか１項に記載の判定プログラム。 The acquisition procedure is
The determination program according to any one of claims 1 to 5, wherein the sensor information including time information indicating a time from the touch on the screen by the user to the release of the touch is acquired.
前記センサ情報を入力とするモデルを用いて、前記所定の操作に続けて前記次の操作が行われるかを判定する
ことを特徴とする請求項１〜６のいずれか１項に記載の判定プログラム。 The determination procedure is
The determination program according to any one of claims 1 to 6, wherein it is determined whether the next operation is performed following the predetermined operation using a model having the sensor information as an input. .
前記センサ情報の入力により前記モデルが出力するスコアに基づいて、前記所定の操作に続けて前記次の操作が行われるかを判定する
ことを特徴とする請求項７に記載の判定プログラム。 The determination procedure is
The determination program according to claim 7, wherein whether or not the next operation is performed following the predetermined operation is determined based on a score output by the model based on the input of the sensor information.
前記センサ情報と所定の閾値との比較に基づいて、前記所定の操作に続けて前記次の操作が行われるかを判定する
ことを特徴とする請求項１〜８のいずれか１項に記載の判定プログラム。 The determination procedure is
The method according to any one of claims 1 to 8, wherein it is determined whether the next operation is performed following the predetermined operation based on a comparison between the sensor information and a predetermined threshold. Judgment program.
を端末装置にさらに実行させることを特徴とする請求項１〜９のいずれか１項に記載の判定プログラム。 A display procedure for changing the display of the screen according to the determination result by the determination procedure;
The determination program according to any one of claims 1 to 9, further causing the terminal device to execute.
一の種別の前記所定の操作に関する前記センサ情報を取得し、
前記判定手順は、
前記センサ情報に基づいて、前記所定の操作に続けて、前記一の種別の前記次の操作が行われるかを判定する
ことを特徴とする請求項１〜１０のいずれか１項に記載の判定プログラム。 The acquisition procedure is
Acquiring the sensor information related to the predetermined operation of one type;
The determination procedure is
The determination according to any one of claims 1 to 10, wherein whether the next operation of the one type is performed is determined following the predetermined operation based on the sensor information. program.
前記端末装置の画面に対するユーザのタップ操作に関する前記センサ情報を取得し、
前記判定手順は、
前記センサ情報に基づいて、前記タップ操作に続けて、前記端末装置の画面に対するユーザの次のタップ操作が行われるかを判定する
ことを特徴とする請求項１１に記載の判定プログラム。 The acquisition procedure is
Acquiring the sensor information related to the tap operation of the user on the screen of the terminal device;
The determination procedure is
The determination program according to claim 11, wherein it is determined, based on the sensor information, whether or not a user's next tap operation on the screen of the terminal device is performed following the tap operation.
前記端末装置の画面に対するユーザのタップ操作に関する前記センサ情報を取得し、
前記判定手順は、
前記センサ情報に基づいて、前記タップ操作により前記ユーザにタッチされた前記画面の位置から所定の範囲内において、前記タップ操作に続けて、前記次のタップ操作が行われるかを判定する
ことを特徴とする請求項１２に記載の判定プログラム。 The acquisition procedure is
Acquiring the sensor information related to the tap operation of the user on the screen of the terminal device;
The determination procedure is
Based on the sensor information, it is determined whether the next tap operation is performed following the tap operation within a predetermined range from the position of the screen touched by the user by the tap operation. The judgment program according to claim 12, wherein the judgment is made.
前記センサ情報に基づいて、前記タップ操作がシングルタップの操作であるか、ダブルタップにおける１回目の操作であるかを判定する
ことを特徴とする請求項１２または請求項１３に記載の判定プログラム。 The determination procedure is
The determination program according to claim 12 or 13, wherein it is determined based on the sensor information whether the tap operation is a single tap operation or a first operation in a double tap.
前記端末装置の画面に対するユーザの所定の操作に関するセンサ情報を取得する取得工程と、
前記取得工程により取得された前記センサ情報に基づいて、前記所定の操作に続けて次の操作が行われるかを判定する判定工程と、
を含むことを特徴とする判定方法。 It is a determination method executed by the terminal device, and
An acquisition step of acquiring sensor information regarding a predetermined operation of a user on the screen of the terminal device;
A determination step of determining whether the next operation is performed following the predetermined operation based on the sensor information acquired in the acquisition step;
A determination method comprising:
前記端末装置の画面に対するユーザの所定の操作に関するセンサ情報を取得する取得部と、
前記取得部により取得された前記センサ情報に基づいて、前記所定の操作に続けて次の操作が行われるかを判定する判定部と、
を備えることを特徴とする端末装置。 A terminal device,
An acquisition unit configured to acquire sensor information on a predetermined operation of a user on a screen of the terminal device;
A determination unit that determines whether the next operation is performed following the predetermined operation based on the sensor information acquired by the acquisition unit;
A terminal device comprising:
入力層と出力層とを有し、前記入力層から前記出力層までのいずれかの層であって前記出力層以外の層に属する第１要素と、前記第１要素と前記第１要素の重みとに基づいて値が算出される第２要素と、前記入力層に入力された前記センサ情報に対し、前記出力層以外の各層に属する各要素を前記第１要素として、前記第１要素と前記第１要素の重みとに基づく演算を行うモデルの前記入力層に入力されることにより、演算結果を示す出力値を前記モデルの前記出力層から出力させ、前記正解情報と前記出力値との比較に基づく学習を行なうよう、
端末装置を機能させるための学習データ。 The learning data includes sensor information on a predetermined operation of the user on the screen of the terminal device, and correct answer information indicating whether the next operation is performed following the predetermined operation,
A first element having an input layer and an output layer, which is any layer from the input layer to the output layer and belongs to a layer other than the output layer, and a weight of the first element and the first element And a second element whose value is calculated based on the first and second elements, each element belonging to each layer other than the output layer for the sensor information input to the input layer as the first element. An output value indicating a calculation result is output from the output layer of the model by being input to the input layer of the model that performs calculation based on the weight of the first element, and comparison between the correct answer information and the output value is performed. To do learning based on
Learning data to make the terminal function.
出力層と、
前記入力層から前記出力層までのいずれかの層であって前記出力層以外の層に属する第１要素と、
前記第１要素と前記第１要素の重みとに基づいて値が算出される第２要素と、を含み、
前記入力層に入力された前記センサ情報に対し、前記出力層以外の各層に属する各要素を前記第１要素として、前記第１要素と前記第１要素の重みとに基づく演算を行うことにより、前記ユーザが前記所定の操作に続けて次の操作を行うかの判定に用いられるスコアの値を前記出力層から出力するよう、
端末装置を機能させるモデル。 An input layer to which sensor information on a predetermined operation of the user on the screen of the terminal device is input;
Output layer,
A first element belonging to any layer from the input layer to the output layer and belonging to a layer other than the output layer;
And a second element whose value is calculated based on the first element and the weight of the first element,
By performing, on the sensor information input to the input layer, each element belonging to each layer other than the output layer as the first element, an operation based on the weight of the first element and the weight of the first element is performed. Outputting from the output layer a score value used to determine whether the user performs the next operation following the predetermined operation;
A model that makes the terminal work.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017193061A JP2019067214A (en) | 2017-10-02 | 2017-10-02 | Determination program, determination method, terminal device, learning data, and model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017193061A JP2019067214A (en) | 2017-10-02 | 2017-10-02 | Determination program, determination method, terminal device, learning data, and model |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019067214A true JP2019067214A (en) | 2019-04-25 |
Family
ID=66340774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017193061A Pending JP2019067214A (en) | 2017-10-02 | 2017-10-02 | Determination program, determination method, terminal device, learning data, and model |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019067214A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021018777A (en) * | 2019-07-24 | 2021-02-15 | キヤノン株式会社 | Electronic device |
| JP2021114022A (en) * | 2020-01-16 | 2021-08-05 | ヤフー株式会社 | Information processing device, information processing method, and information processing program |
| WO2022030800A1 (en) * | 2020-08-03 | 2022-02-10 | 삼성전자 주식회사 | Electronic device for detecting user input and operating method therefor |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5613314B1 (en) * | 2013-11-14 | 2014-10-22 | Ｊｆｅシステムズ株式会社 | Gesture detection device, gesture detection program, gesture recognition device, and gesture recognition program |
| JP2015007946A (en) * | 2013-06-26 | 2015-01-15 | キヤノン株式会社 | Information processing apparatus and control method of the same, program, and recording medium |
| JP2015087806A (en) * | 2013-10-28 | 2015-05-07 | 中西 健一 | Device and program for viewing electronic book |
| JP5906345B1 (en) * | 2015-08-05 | 2016-04-20 | 株式会社Ｃｙｇａｍｅｓ | Program, electronic device, system and control method for predicting touch target based on operation history |
| JP2016531357A (en) * | 2013-08-06 | 2016-10-06 | エルジー エレクトロニクス インコーポレイティド | Mobile terminal and control method thereof |
-
2017
- 2017-10-02 JP JP2017193061A patent/JP2019067214A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015007946A (en) * | 2013-06-26 | 2015-01-15 | キヤノン株式会社 | Information processing apparatus and control method of the same, program, and recording medium |
| JP2016531357A (en) * | 2013-08-06 | 2016-10-06 | エルジー エレクトロニクス インコーポレイティド | Mobile terminal and control method thereof |
| JP2015087806A (en) * | 2013-10-28 | 2015-05-07 | 中西 健一 | Device and program for viewing electronic book |
| JP5613314B1 (en) * | 2013-11-14 | 2014-10-22 | Ｊｆｅシステムズ株式会社 | Gesture detection device, gesture detection program, gesture recognition device, and gesture recognition program |
| JP5906345B1 (en) * | 2015-08-05 | 2016-04-20 | 株式会社Ｃｙｇａｍｅｓ | Program, electronic device, system and control method for predicting touch target based on operation history |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021018777A (en) * | 2019-07-24 | 2021-02-15 | キヤノン株式会社 | Electronic device |
| JP2021114022A (en) * | 2020-01-16 | 2021-08-05 | ヤフー株式会社 | Information processing device, information processing method, and information processing program |
| JP7317730B2 (en) | 2020-01-16 | 2023-07-31 | ヤフー株式会社 | Information processing device, information processing method and information processing program |
| WO2022030800A1 (en) * | 2020-08-03 | 2022-02-10 | 삼성전자 주식회사 | Electronic device for detecting user input and operating method therefor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106454720B (en) | Method for managing geo-fence and electronic device thereof | |
| US20180329488A1 (en) | Audio-visual interaction with user devices | |
| CN104995581B (en) | The gestures detection management of electronic equipment | |
| TWI609279B (en) | Method for personalizing user interface content, computing apparatus and machine-readable storage medium | |
| US10802613B2 (en) | Cross application digital ink repository | |
| KR102481632B1 (en) | Electronic device and method for inputting adaptive touch using display in the electronic device | |
| US9256314B2 (en) | Input data type profiles | |
| WO2014113586A1 (en) | Generating notifications based on user behavior | |
| KR20160088631A (en) | Method for controlling display and an electronic device thereof | |
| CN109416676B (en) | Method for determining role of electronic device and electronic device thereof | |
| US10048837B2 (en) | Target selection on a small form factor display | |
| CN107548568A (en) | The system and method that context for functions of the equipments is found | |
| WO2015099891A1 (en) | Adapting interface based on usage context | |
| CN107710131A (en) | Content-browsing user interface | |
| GB2558050A (en) | Generating a compact video feature representation in a digital medium environment | |
| JP2019067214A (en) | Determination program, determination method, terminal device, learning data, and model | |
| CN107111470A (en) | Browser shows projective technique | |
| JP2015191551A (en) | Electronic device | |
| US10936140B2 (en) | Method and device for displaying response | |
| JP2019008772A (en) | Method and device for inputting characters | |
| KR102526959B1 (en) | Electronic device and method for operating the same | |
| US20160110372A1 (en) | Method and apparatus for providing location-based social search service | |
| CN107609146B (en) | Information display method and device, terminal and server | |
| JP2021119526A (en) | Generation device, generation method, data generation program | |
| US20170139847A1 (en) | Apparatus and method for providing handoff thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200309 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210316 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210514 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210615 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210910 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210910 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210921 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210928 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20211015 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20211019 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220104 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220329 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220405 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220412 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220510 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220510 |