JP2021026528A - プログラム、情報処理方法、及び情報処理装置 - Google Patents

プログラム、情報処理方法、及び情報処理装置 Download PDF

Info

Publication number
JP2021026528A
JP2021026528A JP2019144422A JP2019144422A JP2021026528A JP 2021026528 A JP2021026528 A JP 2021026528A JP 2019144422 A JP2019144422 A JP 2019144422A JP 2019144422 A JP2019144422 A JP 2019144422A JP 2021026528 A JP2021026528 A JP 2021026528A
Authority
JP
Japan
Prior art keywords
user
display screen
time
information processing
series data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2019144422A
Other languages
English (en)
Inventor
晃礼 前東
Akihiro Maehigashi
晃礼 前東
統 新井田
Osamu Araida
統 新井田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2019144422A priority Critical patent/JP2021026528A/ja
Publication of JP2021026528A publication Critical patent/JP2021026528A/ja
Ceased legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

【課題】はじめて装置を利用するユーザであってもその装置の操作における迷いを検出する。【解決手段】表示画面の接触情報に基づいて操作指示を取得するユーザインターフェースを備える情報処理装置1において、接触情報取得部50は、表示画面における接触情報の時系列データを取得する。パターン判定部51は、時系列データがあらかじめ定められた複数のパターンのうちいずれかのパターンに該当するか否かを判定する。ここで、表示制御部52は、時系列データがいずれかのパターンに該当すると判定された場合、操作のガイダンスを示す情報を表示画面に表示させてもよい。【選択図】図2

Description

本発明はプログラム、情報処理方法、及び情報処理装置に関し、特に操作の迷いを検知してガイダンスを提示する技術に関する。
携帯電話機、携帯型オーディオ機器、ディジタルカメラ、車載ナビゲーション等のデバイスを利用するユーザの操作における困惑を検出する技術が提案されている(例えば、特許文献1を参照)。
特開2015−153325号公報
上記の技術では、ユーザが操作に困惑している状態を検出するために事前データの入力と識別が必要となる。このため、デバイスをはじめて利用するユーザではデバイスの操作に困惑しているか否かをすぐに検出することが困難となる。
本発明はこれらの点に鑑みてなされたものであり、はじめて装置を利用するユーザであってもその装置の操作における迷いを検出するための技術を提供することを目的とする。
本発明の第1の態様は、プログラムである。このプログラムは、表示画面の接触情報に基づいて操作指示を取得するユーザインターフェースを備えるコンピュータに、前記表示画面における接触情報の時系列データを取得する機能と、前記時系列データがあらかじめ定められた複数のパターンのうちいずれかのパターンに該当するか否かを判定する機能と、を実現させる。
前記プログラムは、前記コンピュータに、前記コンピュータのユーザが操作中のアプリケーションを特定する機能と、特定されたアプリケーションそれぞれについて、前記時系列データが該当すると判定されたパターン毎に該当した回数を集計する機能と、をさらに実現させてもよい。
前記判定する機能は、前記ユーザによる前記表示画面の接触に関する単位時間あたりの、(1)接触回数に関するパターン、(2)非接触状態の回数に関するパターン、及び(3)前記アプリケーションの動作に影響しない接触である空接触の回数に関するパターンを含む前記複数のパターンのうちいずれかのパターンに該当するか否かを判定してもよい。
前記プログラムは、前記コンピュータに、前記アプリケーションを操作するユーザを識別する機能をさらに実現させてもよく、前記複数のパターンは、単位時間あたりに、複数のユーザが前記表示画面に同時に接触する回数に関するパターンをさらに含んでもよい。
前記プログラムは、前記コンピュータに、前記アプリケーションを操作するユーザの年齢層を判定する機能をさらに実現させてもよく、前記複数のパターンは、所定の年齢層のユーザが単位時間あたりにした前記空接触の回数に関するパターンをさらに含んでもよい。
前記プログラムは、前記コンピュータに、前記時系列データがいずれかの前記パターンに該当すると判定された場合、操作のガイダンスを示す情報を前記表示画面に表示させる機能をさらに実現させてもよい。
前記プログラムは、前記コンピュータに、前記時系列データがいずれかの前記パターンに該当すると判定された場合、前記ガイダンスを示す情報を表示させるか否かの選択を受け付けるためのインタフェースを前記表示画面に表示させる機能をさらに実現させてもよい。
上記のプログラムを提供するため、あるいはプログラムの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。
本発明の第2の態様は、情報処理方法である。この方法において、表示画面の接触情報に基づいて操作指示を取得するユーザインターフェースを備えるコンピュータのプロセッサが、前記表示画面における接触情報の時系列データを取得するステップと、前記時系列データがあらかじめ定められた複数のパターンのうちいずれかのパターンに該当するか否かを判定するステップと、を実行する。
本発明の第3の態様は、表示画面の接触情報に基づいて操作指示を取得するユーザインターフェースを備える情報処理装置である。この装置は、前記表示画面における接触情報の時系列データを取得する接触情報取得部と、前記時系列データがあらかじめ定められた複数のパターンのうちいずれかのパターンに該当するか否かを判定するパターン判定部と、を備える。
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、はじめて装置を利用するユーザであってもその装置の操作における迷いを検出することができる。
実施の形態に係る情報処理装置の概要を説明するための図である。 実施の形態に係る情報処理装置の機能構成を模式的に示す図である。 パターン判定部による過剰タップの判定処理を説明するための図である。 パターン判定部による非連続操作の判定処理を説明するための図である。 パターン判定部による空接触の判定処理を説明するための図である。 表示制御部が表示部3に表示させる選択受付インタフェースの一例を示す図である。 集計部が集計するデータから構成されるグラフの一例を模式的に示す図である。 実施の形態に係る情報処理装置が実行する情報処理の流れを説明するためのフローチャートである。
<実施の形態の概要>
実施の形態に係る情報処理装置は、表示画面が操作部を兼ねるいわゆるタッチスクリーンを備える装置であり、具体例としてはスマートフォンやタブレットPC(Personal Computer)等の計算機である。実施の形態に係る情報処理装置は、情報処理装置が実行するアプリケーションソフトウェア(以下、「アプリ」とう。)の操作におけるユーザの迷い、戸惑い、ないし躓き(以下、単に「迷い」という。)を検出し、何らかのガイダンス情報を表示する。
図1(a)−(b)は、実施の形態に係る情報処理装置1の概要を説明するための図である。具体的には、図1は、ユーザUが、情報処理装置1であるユーザ端末Tにおいて実行されているカレンダーアプリを操作している様子を模式的に示す図である。
上述したように、情報処理装置1は表示画面が操作部を兼ねている。このため、ユーザUは、アプリを操作するために表示画面に、指やスタイラスペン等を表示画面に接触させる。詳細は後述するが、本願の発明者は、ユーザUがアプリの操作に迷いがある場合とそうでない場合とでは、操作のために表示画面に接触するパターンが異なることを見出した。すなわち、情報処理装置1は、ユーザUによる表示画面の接触パターンを解析することにより、ユーザUがアプリの操作に迷いがあるか否かを検出することができることを見出した。
図1(b)は、ユーザUの迷いを検出した場合における情報処理装置1の表示画面の一例を模式的に示す図である。図1(b)に示すように、ユーザUの迷いを検出した場合、情報処理装置1は、ユーザUの操作の手助けとなり得るガイダンスGを表示画面に表示する。これにより、情報処理装置1は、はじめて装置を利用するユーザであってもその装置の操作における迷いを検出することができる。
<実施の形態に係る情報処理装置1の機能構成>
図2は、実施の形態に係る情報処理装置1の機能構成を模式的に示す図である。情報処理装置1は、記憶部2、表示部3、撮像部4、及び制御部5を備える。図2において、矢印は主なデータの流れを示しており、図2に示していないデータの流れがあってもよい。図2において、各機能ブロックはハードウェア(装置)単位の構成ではなく、機能単位の構成を示している。そのため、図2に示す機能ブロックは単一の装置内に実装されてもよく、あるいは複数の装置内に分かれて実装されてもよい。機能ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてもよい。
記憶部2は、情報処理装置1を実現するコンピュータのBIOS(Basic Input Output System)等を格納するROM(Read Only Memory)や情報処理装置1の作業領域となるRAM(Random Access Memory)、OS(Operating System)やアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するHDD(Hard Disk Drive)やSSD(Solid State Drive)等の大容量記憶装置である。
表示部3は、液晶ディスプレイや有機EL(electro-luminescence)ディスプレイでありタッチスクリーンと一体となっている。情報処理装置1が生成した画像情報をユーザUに提示したり、ユーザUが情報処理装置1に対して指示する操作を受け付けたりするためのグラフィカルユーザーインターフェース(Graphical User Interface;以下「GUI」という。)を表示したりする。
撮像部4はCCD(Charged-coupled devices)やCMOS(Complementary metal-oxide-semiconductor)等の既知の固体撮像素子であり、情報処理装置1を操作するユーザUの顔を含む映像を撮像することができる。
制御部5は、情報処理装置1のCPU(Central Processing Unit)やGPU(Graphics Processing Unit)等のプロセッサであり、記憶部2に記憶されたプログラムを実行することによって接触情報取得部50、パターン判定部51、表示制御部52、識別部53、年齢判定部54、特定部55、及び集計部56として機能する。
なお、図2は、情報処理装置1が単一の装置で構成されている場合の例を示している。しかしながら、情報処理装置1は表示画面が操作部を兼ねていればよく、例えばクラウドコンピューティングシステムのように複数のプロセッサやメモリ等の計算リソースによって実現されてもよい。この場合、制御部5を構成する各部は、複数の異なるプロセッサの中の少なくともいずれかのプロセッサがプログラムを実行することによって実現される。
上述したように、情報処理装置1は、表示部3に表示された表示画面の接触情報に基づいて操作指示を取得するGUIを備える計算機である。接触情報取得部50は、表示部3における接触情報の時系列データを取得する。接触情報取得部50が取得する接触情報の種類の具体例は、表示画面におけるタップ操作、スライド操作、ドラッグ操作、ピンチ操作、及びタイプ操作を含む。
パターン判定部51は、接触情報取得部50が取得した時系列データがあらかじめ定められた複数のパターンのうちいずれかのパターンに該当するか否かを判定する。詳細は後述するが、パターン判定部51が判定するパターンは、アプリの操作に迷いを生じている場合に発生しうるパターンである。表示制御部52は、接触情報取得部50が取得した時系列データがいずれかのパターンに該当すると判定された場合、操作のガイダンスGを示す情報を表示部3の表示画面に表示させる。
このように、情報処理装置1は、操作に迷いが生じている場合に特有に生じる接触情報のパターンに基づいてユーザUの操作の迷いを検出する。これにより、情報処理装置1は、情報処理装置1をはじめて利用するユーザUであっても、学習等の何らかの前処理をせずに、情報処理装置1の操作における迷いをすぐに検出することができる。
パターン判定部51は、接触情報取得部50が取得した接触情報の時系列データに基づいて、「過剰タップ」、「非連続操作」、及び「空接触」を含む複数のパターンの迷い操作を判定する。具体的には、「過剰タップ」は、ユーザUによる表示画面の接触に関する単位時間あたりの接触回数に関するパターンである。また、「非連続操作」は、ユーザUによる表示画面の接触に関する単位時間あたりの非接触状態の回数に関するパターンである。「空接触」は、アプリケーションの動作に影響しない接触である空接触の回数に関するパターンである。パターン判定部51は、表示部3における接触情報の時系列データが上述の複数のパターンのうちいずれかのパターンに該当するか否かを判定する。
図3は、パターン判定部51による過剰タップの判定処理を説明するための図である。具体的には、図3は、あるアプリの開始からの経過時間と接触情報との関係を表形式で示す図である。例えば、図3に示す例では、情報処理装置1がアプリを起動してから13分9秒後に、ユーザUは情報処理装置1の表示画面の2回タップし、13分11秒後に1回タップしたことを示している。
ユーザUが操作に迷いがあるとき、ユーザUは試行錯誤的に様々な操作を試みる場合がある。そこで、パターン判定部51は、単位時間あたりのユーザUの接触回数が所定の数より多い場合、すなわち、ユーザUが表示画面に過剰に接触する場合、ユーザUの操作に迷いがあると見なして検出する。例えば、パターン判定部51は、連続する5秒の間に、ユーザUのタップ数が5回以上(すなわち、1秒あたり1回以上)である場合、ユーザUが過剰タップしているとして検出する。
図3に示す例では、アプリが起動した後13分09秒経過してから13分14秒に至るまでの5秒間に合計6回のタップがあったことを示している。したがって、パターン判定部51は、アプリが起動してから13分14秒経過した時点で接触情報の時系列データが過剰タップのパターンであると判定する。
図4は、パターン判定部51による非連続操作の判定処理を説明するための図である。具体的には、図4は、図3と同様に、あるアプリの開始からの経過時間と接触情報との関係を表形式で示す図である。
ユーザUが操作に迷いがあるとき、ユーザUはどのように操作をするかを考える間機器の操作を停止し、その後試行的に触れるという探索的な動作をする場合がある。そこで、パターン判定部51は、単位時間あたりのユーザUの非接触状態の回数が所定の数より多い場合、すなわち、ユーザUが表示画面に触れない状態が断続的に継続する場合、ユーザUの操作に迷いがあると見なして検出する。例えば、パターン判定部51は、連続する5秒の間に、1秒以上5秒未満の間連続して表示画面に触れない状態が3回以上検出されると、ユーザUが非連続操作(探索的操作)をしているとして検出する。言い換えると、パターン判定部は、1秒以上5秒未満の間連続して表示画面に触れない状態が、1回目の検出後の5秒間でさらに2回検出され、合計3回検出すると、ユーザUが非連続操作をしているとして検出する。
図4に示す例では、アプリが起動した後13分09秒12後にユーザUがタップしてから13分11秒33の時点でスライドするまでの2秒21間、ユーザUは情報処理装置1の表示画面に触れてない。また、アプリが起動した後13分11秒33後にユーザUがスライドしてから13分12秒86の時点でドラッグするまでの1秒53間、ユーザUは情報処理装置1の表示画面に触れてない。さらに、アプリが起動した後13分12秒86後にユーザUがドラッグしてから13分15秒16の時点でタップするまでの2秒48間、ユーザUは情報処理装置1の表示画面に触れてない。このように、1秒以上5秒未満の間連続して表示画面に触れない状態が3回検出されたことになるため、パターン判定部51は、アプリが起動してから13分15秒16経過した時点で、ユーザUが非連続操作をしているとして検出する。
図5は、パターン判定部51による空接触の判定処理を説明するための図である。具体的には、図5は、図3及び図4と同様に、あるアプリの開始からの経過時間と接触情報との関係を表形式で示す図である。
ユーザUの操作に迷いがあるとき、ユーザUは情報処理装置1の表示画面に接触するものの、それがアプリの動作に結びつかない接触(すなわち、空接触)をする場合がある。そこで、パターン判定部51は、単位時間あたりのユーザUの空接触の回数が所定の数より多い場合、ユーザUの操作に迷いがあると見なして検出する。例えば、パターン判定部51は、連続する5秒の間に空接触が3回以上生じた場合、ユーザUが空接触をしているとして検出する。
図5は、空接触が発生した箇所を丸で囲って示している。図5に示す例では、アプリが起動した後13分09秒後にユーザUは情報処理装置1の表示をタップしているが、その操作は空接触であった。また、アプリが起動した後13分11秒後にユーザUがしたスライド操作、続く13分13秒後にしたスライド操作も空接触であった。アプリが起動した後13分09秒後の空接触から5秒間の間に空接触が3回発生したため、パターン判定部51は、アプリが起動してから13分13秒経過した時点で、ユーザUが空接触をしているとして検出する。
このように、パターン判定部51は、接触情報取得部50が取得した時系列データが、ユーザUの迷いを示すパターンとしてあらかじめ定められた複数のパターンのうちいずれかのパターンに該当するか否かを判定することができる。
図2の説明に戻る。識別部53は、撮像部4が撮像した映像を解析し、情報処理装置1が実行中のアプリを操作するユーザUを識別する。制御部5は、例えばDNN(Deep Neural Network)等の既知の機械学習技術を用いて作成された人物認識エンジンを利用してユーザUの識別を実現することができる。識別部53は、人物認識エンジンを利用することにより、情報処理装置1が実行中のアプリを操作するユーザUの人数も特定することができる。
複数のユーザUが一つのアプリを同時に操作している場合において、各ユーザUの操作に迷いがあるときは、複数のユーザUが情報処理装置1の表示画面を同時に接触することが起こりうる。そこで、パターン判定部51は、単位時間あたりに、複数のユーザUが表示画面に同時に接触する回数が所定の数以上である場合、それらのユーザUの操作に迷いがあると判定する。例えば、パターン判定部51は、1秒間に2人以上のユーザUが同時に情報処理装置1の表示画面に接触した場合、ユーザUの操作に迷いがあると判定する。これにより、パターン判定部51が、操作に迷いがある複数のユーザUが試行錯誤的にアプリを操作している状況を検出することができる。
年齢判定部54は、アプリを操作するユーザUの年齢層を判定する。年齢判定部54は、例えばDNN等の既知の機械学習技術を用いて作成された年齢層判定エンジンを利用することにより年齢層の判定を実現することができる。一例として、年齢判定部54は、アプリを操作するユーザUの年齢層を、10歳未満、10歳以上20歳未満、20歳以上60歳未満、及び60歳以上の4つの年齢層に分類する。
一般に、幼児や小学校の低学年等の子供のユーザUの方が、それ以外の年齢のユーザUよりも情報処理装置1の操作に不慣れであり、アプリの操作の迷いも生じやすいと考えられる。また、子供のユーザUの操作に迷いが生じた場合に表示制御部52が表示部3に表示させるガイダンスGも、子供向けのガイダンスGとすることが好ましい。
そこで、パターン判定部51は、所定の年齢層のユーザUが単位時間あたりにした空接触の回数が所定の回数以上である場合、そのユーザUの操作に迷いがあると判定する。例えば、パターン判定部51は、識別部53が識別したユーザUのうち年齢判定部54が10歳未満と判定したユーザUが、1秒間に3回以上の空接触操作をすると、子供のユーザUの操作に迷いが生じたと判定する。これにより、パターン判定部51は、子供特有の迷い操作を検出することができる。
上述したように、パターン判定部51がユーザUの操作に迷いがあると判定した場合、表示制御部52は、表示部3に操作のガイダンスGを表示させる。ここで、すべてのユーザUが必ずしもいつもガイダンスGの提示を望んでいるとは限らない。例えば、ユーザUによっては、ガイダンスGに頼らず試行錯誤しながら自身でアプリの操作を覚えることを望むこともあり得る。
そこで、表示制御部52は、接触情報取得部50が取得した時系列データがユーザUの迷いを示すいずれかのパターンに該当すると判定された場合、ガイダンスGを示す情報を表示させるか否かの選択をユーザUから受け付けるためのインタフェースを表示部3の表示画面に表示させてもよい。
図6は、表示制御部52が表示部3に表示させる選択受付インタフェースRの一例を示す図である。図6に示すように、表示制御部52は、ガイダンスGを今回だけ表示するか、ガイダンスGを以後毎回表示するか、又はガイダンスGを表示しないかに関する選択をユーザUから受け付けるための選択受付インタフェースRを表示画面に表示させる。これにより、情報処理装置1は、ユーザUの好みに応じてガイダンスGの表示の有無を切り替えることができる。
以上、ユーザUのアプリの操作に迷いが生じたことをパターン判定部51が判定し、表示制御部52が操作のガイダンスGを表示部3に表示させる場合について説明した。ここで、ユーザUがアプリの操作に迷いが生じるという事実は、アプリの操作性に改善の余地があることを示していると捉えることもできる。言い換えると、ユーザUによる操作の迷いは、アプリの操作性改善のための有用な情報となり得る。
そこで、まず、特定部55は、情報処理装置1のユーザUが操作中のアプリを特定する。続いて、集計部56は、特定部55が特定したアプリそれぞれについて、接触情報取得部50によって取得された時系列データが該当すると判定された迷いを示すパターン毎に、該当した回数を集計する。
図7(a)−(b)は、集計部56が集計するデータから構成されるグラフの一例を模式的に示す図である。具体的には、図7(a)は、あるアプリに関する過剰タップ、非連続操作、空接触等の各操作の迷い検出回数を示すヒストグラムである。また、図7(b)は、図7(a)と同じアプリに関する各操作の迷いが検出された場合に、ガイダンスGが表示された割合(百分率)を示すグラフである。
図7(a)−(b)に示す例では、ユーザUの迷いを示す操作Cは検出回数が多く、一方、操作Eは検出回数は多くないものの、ガイダンスGの表示率が高いことを示している。これらの情報は情報処理装置1と通信ネットワークを介して接続するサーバ(不図示)に送信され、そのサーバを経由して各アプリの作成者の元に届けられる。これにより、アプリの作成者は、取得した情報に基づいてアプリの操作性の改善点を見つけるきっかけとすることができる。
<情報処理装置1が実行する情報処理方法の処理フロー>
図8は、実施の形態に係る情報処理装置1が実行する情報処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば情報処理装置1が起動したときに開始する。
接触情報取得部50は、表示部3の表示画面におけるユーザUからの接触情報の時系列データを取得する(S2)。パターン判定部51は、接触情報取得部50が取得した時系列データがユーザUの操作の迷いを示すあらかじめ定められた複数のパターンのうちいずれかのパターンに該当するか否かを判定する(S4)。
パターン判定部51がユーザUの操作の迷いを示すいずれかのパターンを検出した場合(S6のYes)、表示制御部52は、ガイダンスGを示す情報を表示部3の表示画面に表示させる(S8)。表示制御部52がガイダンスGを示す情報を表示部3の表示画面に表示させるか、パターン判定部51がユーザUの操作の迷いを示すいずれかのパターンを検出しない場合(S6のNo)、本フローチャートにおける処理は終了する。情報処理装置1は、上記の処理を繰り返すことにより、ユーザUの操作の迷いを検出する処理を継続する。
<実施の形態に係る情報処理装置1が奏する効果>
以上説明したように、実施の形態に係る情報処理装置1は、ルールベースによる迷い判定処理に基づいて情報処理装置1の操作におけるユーザUの迷いを検出する。これにより、情報処理装置1は、情報処理装置1をはじめて利用するユーザUであっても、学習等の何らかの前処理をせずに、情報処理装置1の操作における迷いをすぐに検出することができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果をあわせ持つ。
1・・・情報処理装置
2・・・記憶部
3・・・表示部
4・・・撮像部
5・・・制御部
50・・・接触情報取得部
51・・・パターン判定部
52・・・表示制御部
53・・・識別部
54・・・年齢判定部
55・・・特定部
56・・・集計部
T・・・ユーザ端末


Claims (9)

  1. 表示画面の接触情報に基づいて操作指示を取得するユーザインターフェースを備えるコンピュータに、
    前記表示画面における接触情報の時系列データを取得する機能と、
    前記時系列データがあらかじめ定められた複数のパターンのうちいずれかのパターンに該当するか否かを判定する機能と、
    を実現させるプログラム。
  2. 前記コンピュータに、
    前記コンピュータのユーザが操作中のアプリケーションを特定する機能と、
    特定されたアプリケーションそれぞれについて、前記時系列データが該当すると判定されたパターン毎に該当した回数を集計する機能と、
    をさらに実現させる請求項1に記載のプログラム。
  3. 前記判定する機能は、前記ユーザによる前記表示画面の接触に関する単位時間あたりの、(1)接触回数に関するパターン、(2)非接触状態の回数に関するパターン、及び(3)前記アプリケーションの動作に影響しない接触である空接触の回数に関するパターンを含む前記複数のパターンのうちいずれかのパターンに該当するか否かを判定する、
    請求項2に記載のプログラム。
  4. 前記コンピュータに、
    前記アプリケーションを操作するユーザを識別する機能をさらに実現させ、
    前記複数のパターンは、単位時間あたりに、複数のユーザが前記表示画面に同時に接触する回数に関するパターンをさらに含む、
    請求項3に記載のプログラム。
  5. 前記コンピュータに、
    前記アプリケーションを操作するユーザの年齢層を判定する機能をさらに実現させ、
    前記複数のパターンは、所定の年齢層のユーザが単位時間あたりにした前記空接触の回数に関するパターンをさらに含む、
    請求項3又は4に記載のプログラム。
  6. 前記コンピュータに、
    前記時系列データがいずれかの前記パターンに該当すると判定された場合、操作のガイダンスを示す情報を前記表示画面に表示させる機能をさらに実現させる、
    請求項1から5のいずれか1項に記載のプログラム。
  7. 前記コンピュータに、
    前記時系列データがいずれかの前記パターンに該当すると判定された場合、前記ガイダンスを示す情報を表示させるか否かの選択を受け付けるためのインタフェースを前記表示画面に表示させる機能をさらに実現させる、
    請求項6に記載のプログラム。
  8. 表示画面の接触情報に基づいて操作指示を取得するユーザインターフェースを備えるコンピュータのプロセッサが、
    前記表示画面における接触情報の時系列データを取得するステップと、
    前記時系列データがあらかじめ定められた複数のパターンのうちいずれかのパターンに該当するか否かを判定するステップと、
    を実行する情報処理方法。
  9. 表示画面の接触情報に基づいて操作指示を取得するユーザインターフェースを備える情報処理装置であって、
    前記表示画面における接触情報の時系列データを取得する接触情報取得部と、
    前記時系列データがあらかじめ定められた複数のパターンのうちいずれかのパターンに該当するか否かを判定するパターン判定部と、
    を備える情報処理装置。
JP2019144422A 2019-08-06 2019-08-06 プログラム、情報処理方法、及び情報処理装置 Ceased JP2021026528A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019144422A JP2021026528A (ja) 2019-08-06 2019-08-06 プログラム、情報処理方法、及び情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019144422A JP2021026528A (ja) 2019-08-06 2019-08-06 プログラム、情報処理方法、及び情報処理装置

Publications (1)

Publication Number Publication Date
JP2021026528A true JP2021026528A (ja) 2021-02-22

Family

ID=74663139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019144422A Ceased JP2021026528A (ja) 2019-08-06 2019-08-06 プログラム、情報処理方法、及び情報処理装置

Country Status (1)

Country Link
JP (1) JP2021026528A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005196740A (ja) * 2003-11-20 2005-07-21 Mitsubishi Electric Research Laboratories Inc 競合を解決するグラフィックマルチユーザインタフェース及びグラフィックマルチユーザインタフェースの競合を解決する方法
JP2011221985A (ja) * 2010-03-24 2011-11-04 Oki Electric Ind Co Ltd 入力支援装置、入力支援方法、およびプログラム
JP2015153325A (ja) * 2014-02-18 2015-08-24 富士通フロンテック株式会社 情報処理装置、操作支援方法及び操作支援プログラム
US20170323279A1 (en) * 2015-05-12 2017-11-09 A La Carte Media Inc. Kiosks for remote collection of electronic devices for value, and associated mobile application for enhanced diagnostics and services
JP2019079342A (ja) * 2017-10-25 2019-05-23 富士通株式会社 状態判定方法、状態判定プログラム及び状態判定装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005196740A (ja) * 2003-11-20 2005-07-21 Mitsubishi Electric Research Laboratories Inc 競合を解決するグラフィックマルチユーザインタフェース及びグラフィックマルチユーザインタフェースの競合を解決する方法
JP2011221985A (ja) * 2010-03-24 2011-11-04 Oki Electric Ind Co Ltd 入力支援装置、入力支援方法、およびプログラム
JP2015153325A (ja) * 2014-02-18 2015-08-24 富士通フロンテック株式会社 情報処理装置、操作支援方法及び操作支援プログラム
US20170323279A1 (en) * 2015-05-12 2017-11-09 A La Carte Media Inc. Kiosks for remote collection of electronic devices for value, and associated mobile application for enhanced diagnostics and services
JP2019079342A (ja) * 2017-10-25 2019-05-23 富士通株式会社 状態判定方法、状態判定プログラム及び状態判定装置

Similar Documents

Publication Publication Date Title
CN111247536B (zh) 用于搜索相关图像的电子装置及其控制方法
TWI579734B (zh) 3d視覺化技術
US10409366B2 (en) Method and apparatus for controlling display of digital content using eye movement
WO2016091095A1 (zh) 基于终端界面触控操作进行搜索的方法及系统
US10359905B2 (en) Collaboration with 3D data visualizations
US20120165074A1 (en) Effects of gravity on gestures
WO2020029466A1 (zh) 图像处理方法和装置
US10685256B2 (en) Object recognition state indicators
US10275341B2 (en) Mobile application usability testing
US20150373484A1 (en) Electronic apparatus and method of pairing in electronic apparatus
US9684445B2 (en) Mobile gesture reporting and replay with unresponsive gestures identification and analysis
US20160350136A1 (en) Assist layer with automated extraction
US9400575B1 (en) Finger detection for element selection
CN104025007B (zh) 检测第一和第二触摸以将数据文件与图形数据对象相关联
JP5788605B2 (ja) ユーザインタフェース装置、検索方法及びプログラム
JP2014164695A (ja) データ処理装置及びプログラム
US20140152589A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP2021026528A (ja) プログラム、情報処理方法、及び情報処理装置
JP2015503795A (ja) タッチスクリーンのインタラクション方法および装置
JP6662861B2 (ja) ユーザアクションに応答して直接操作の有効化を決定するためのヒットテスト
JP2014160437A (ja) 情報処理装置、プレゼンテーション資料最適化方法及びプログラム
US20180329583A1 (en) Object Insertion
CN111435442A (zh) 文字选取方法、装置、点读设备、电子设备及存储介质
JP2014160416A (ja) 閲覧システム及びプログラム
CN105373300B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220728

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20230425