JP2017502535A5 - - Google Patents

Description

様々な実施形態において、本件開示は、タッチスクリーンのようなタッチ感受性およびスタイラス感知性のデバイス上の直接操作ユーザインターフェースの入力レイテンシを測定するためのシステムおよび方法を対象とする。
よく知られた現実世界との相互作用を模倣するように作成されたデジタルの対象物／制御装置の直接的な物理的操作とは、たとえば直接のタッチ入力、スタイラス入力、空中ジェスチャ入力を可能にする装置や、マウス、トラックパッド、ペンタブレットなどを含む間接入力装置のような、多くのタイプの入力装置に使用される一般的なユーザインターフェースの喩えである。

本件開示の目的のため、ユーザインターフェースにおけるタッチ入力レイテンシとは、物理的タッチまたはスタイラス入力動作に対する画像的、音響的、及び／又は振動的応答がユーザに示されるのに要する時間を指す。
試験は、ユーザが、低タッチ入力レイテンシを好むこと、および、末端間の画像的入力応答レイテンシが５−１０ミリ秒の低さでも確実に知覚できることを示した。

実施形態において、本明細書で開示されるシステムは、タッチスクリーンデバイスの入力レイテンシを測定する。
ここでの用語「入力レイテンシ」は、コンピュータシステムのタッチスクリーン上のタッチ事象と、タッチスクリーンがそのタッチ事象に対する結果としての画像的、音響的、または振動触覚的応答を出すまでの間の時間差を意味する。
本明細書で使用されるように、用語「タッチ事象」および単語「タッチ」は、名詞として使用されるとき、疑似的タッチおよび疑似的タッチ事象、または、センサを使用して同定され得る他の任意のジェスチャを含む。
例えば、デジタルボタンユーザインタフェース制御を含む典型的なタッチスクリーンへの適用において、ユーザが自分の指でデジタルボタンを押すと、例えばそのデジタルボタンユーザインタフェース制御の色彩または外観を変化させることによって、ディスプレイがデジタルボタンが押されたことを示すために変化するであろう。
このデジタルボタンへのユーザのタッチと得られる画像変化との間の時間が、コンピュータシステムの入力レイテンシであり、本明細書で開示されるシステムは、そのようなタッチ入力レイテンシを測定することができる。

図２Ｂを参照すると、別の実施形態において、計算エンジン２０１は、被測定デバイス１０３の一部とすることができ、および回路２１０は第１のセンサに作動的に接続され、第２のセンサは、レイテンシを計算することができるようなデータまたは測定されたレイテンシのような、レイテンシの測定を反映する時間データを出力するように構成される。
この出力部は、レイテンシ測定システム１０２の通信用インターフェース２１０を通じて、被測定デバイス１０３と通信する。
代わりに、計算エンジン２０１は、スマートフォン、タブレットまたはＰＣのような第３のデバイスの一部であってもよく、回路２１０は、そのような時間データを、レイテンシ測定システム１０２の通信用インターフェース２１０を通じて、第３のデバイスに出力するように構成することができる。
この点で、本発明は、デバイス上の複数点において、レイテンシを測定する方法を提供することができる。
この方法は、デバイス上の通信用インターフェースを通じて、タッチ事象が発生した時の第１の時間およびデバイスがタッチ事象に対する応答を出力する時の第２の時間を表す第１のデータを生成する外部の時間データ生成器（例えばシステム１０２）から時間データを受け取ることにより、実現することができ、この時間データは、第１の時間と第２の時間との間のレイテンシの測定値を反映する。
この時間データは次に、デバイスに関するレイテンシを決定するために使用され、このレイテンシは、ディスプレイまたはデバイスの他の出力部によって表示されるか、あるいはそうではない場合、伝達される。
実施形態において、レイテンシ測定システム１０２は、デバイスのコントローラが物理的なタッチ事象として解釈するであろう第１の時間に信号を出力する信号出力器を含み、それによって、模擬的な物理的タッチ事象が、デバイス内で引き起こされる。

図７は、レイテンシ測定システム１０２のユーザがレイテンシ測定システム１０２を備えるタッチスクリーン１０４を、試験装置１０３上の末端間タッチ入力レイテンシを測定するために、手で叩くことが要求されないシステムの変形例を図示する。
この実施形態において、共通ハウジング２０６は、タッチスクリーン１０４上で、タッチスクリーン１０４の上面に直接位置する安定ハウジング７０１の内部に位置する。
堅固なハウジング７０１は、タッチスクリーン１０４によって感知されない材質からできている。
共通ハウジング２０６は、移動可能な離隔手段７０２によって、安定ハウジング７０１に接続される。
この実施形態において、レイテンシ測定システム１０２は、タッチスクリーン１０４の上面に置かれ、次に、試験装置１０３のレイテンシを測定するため、ユーザによってコマンドが出力される。
このコマンドを受信すると、レイテンシ測定システム１０２は、共通ハウジング２０６を移動させる離隔手段７０２を駆動して、それが信頼性がありかつ反復可能な方法で、タッチスクリーン１０４と接触させる。

実施形態において、レイテンシ測定システム１０２のタッチ刺激領域８０１は、接触領域２０７とタッチスクリーン１０４との間の物理的接触が、タッチ入力を生成するそのような特性を備える材料からできている。

被測定デバイス１０３に組み込まれる試験アプリケーションは、入力代理デバイス１００７の動作を記録するため、およびこの動作の表示を画面表示するために提供される。
実施形態において、試験アプリケーションは、空白の白スクリーンを表示し、この表示は単一の黒インクストロークを含む。
実施形態において、試験アプリケーションは、ＣＰＵとＧＰＵに対する負荷がタッチ／スタイラス性能にどのように影響するかを評価するための０および高い「ＳｏＣ負荷」（ＳｏＣ−ｌｏａｄ）模擬状態を有する。
高「ＳｏＣ負荷」状態は、典型的なスマートデバイスのユーザが毎日の使用にわたりマルチタスクを行う、一般に利用可能な／使用された、公開された、および背景技術的な第３者のアプリケーションのセットとして規定され得る。
実施形態において、試験アプリケーションは、被測定デバイスによって規定されるような、ゼロ荷重から最大ＣＰＵ負荷までの、異なるＣＰＵ負荷に対応する複数の「ＳｏＣ負荷」状態を使用する。
この点で、本発明の他の要素と組み合わされる試験アプリケーションは、被測定デバイスが、どの程度良好に追加負荷を扱うかについて測定することができる。
例えば、本発明の他の要素と組み合わされる試験アプリケーションは、レイテンシが追加負荷によって、より長くなるのが、比較的ゆっくりか比較的急であるのかを測定すること、すなわちレイテンシが追加負荷で延長する比率を測定することができる。
この点で、２つより多い負荷状態が、システムによって利用されてもよい。
本発明の他の要素と組み合わされる試験アプリケーションは、例えば短時間および長時間メモリアクセスのような、他の領域のボトルネックからＣＰＵ上の負荷を分離することもできる。
試験アプリケーションは、指／スタイラスの代理デバイス挙動に対する応答として、ＧＰＵ高速化状態（実施形態ではＤｉｒｅｃｔＸまたはオープンＧＬによる高速化）とＣＰＵのみの状態での黒インクストローク（ｂｌａｃｋ ｉｎｋ−ｓｔｒｏｋｅ）との両方の間で切り替えるように構成される。
これらのタイプのモードは一般に、それぞれ、ハードウェア中のレンダリングおよびソフトウェア中のレンダリングとして言及される。

実施形態において、少なくとも１つのグランドトルース（ｇｒｏｕｎｄ−ｔｒｕｔｈ）測定機器１０１１が、グランドトルースを提供するために試験アプリケーションによって生成される黒インクストロークとともに、被測定デバイス１０３に対する指／スタイラス代理デバイスの移動を記録するために利用される。
実施形態において、グランドトルース測定機器１０１１は、高速度カメラを含む。
別の実施形態において、グランドトルース測定機器１０１１は、指／スタイラス代理デバイスに取り付けられた１軸、２軸または３軸の加速度計を含む。
この加速度計は、経時的な指／スタイラス代理デバイスの加速を感知し、このデータは試験アプリケーションに送信され、このアプリケーションによって記録することができる。

関連する実施形態において、被測定デバイスは、追加のアプリケーションによって処理されるＶＧＡ、ＨＤＭＩ、ＤＰ、ＤＶＩ、ＬＶＤＳまたは他の映像信号のような、映像信号を出力する。
映像信号を読み取ることによって、追加アプリケーションは、映像信号中のタイミング及び／又はパケット情報を監視することによって黒インクストロークの形状および位置を決定することができる。
関連する実施形態において、被測定デバイスは、別のデバイスまたはディスプレイに映像信号を出力し、グランドトルース測定機器は、この接続を「タップ」して、その上を通過するデータを、その意図した操作を妨害することなく読み取る。

実施形態において、システムはさらに、ランダムではあるがユーザが編集可能な入力代理デバイスの動作のシーケンスを生成し、モータおよびそれによる指／スタイラス代理デバイスの動作シーケンスを制御し、指／スタイラス代理デバイスの先端の動作を認識／追跡し、および、試験アプリケーションの黒インクストロークと、指／スタイラス代理デバイスの実際の事前に規定された動作シーケンスとの間の空間的および時間的な任意の偏差を測定するコンピューティング装置および管理アプリケーションを含む。

実施形態において、グランドトルース測定機器センサ（これは被測定デバイスのディスプレイの状態を決定するための光学的感知手段であってもよい）は、装置全体の上の固定点に設置され、それによって、デバイストレーに置かれた被測定デバイス全体、指／スタイラス代理デバイス、および試験アプリケーションの黒インクストロークを、指／スタイラス代理デバイスと黒インクストロークとの間の遅延の程度にかかわらず、いつでも見ることが可能である。

実施形態において、ＧＴＭ２センサは、指／スタイラス代理デバイスに対し、直接平行に設置され、それによって、指／スタイラス代理デバイスおよび試験アプリケーションの黒インクストロークの動作間の任意の偏差を、近くで、隠されることなく見ることを可能にする。

実施形態において、指／スタイラス代理のグランドトルース位置は上記の手段のうちの１つによって測定され、
試験アプリケーションにおける黒インクストロークの形状および位置は、ディスプレイケーブルによってデバイスに取り付けられた第２のＧＴＭ２センサによって測定される。
レイテンシは、２つのＧＴＭ２デバイスによって測定されるようなストロークの時点間の時間差として測定される。
関連する実施形態において、ディスプレイケーブルによって被測定デバイスに取り付けられたＧＴＭ２センサは、ケーブルを介する画面表示情報のパッケージングおよび送信によって導入される任意のレイテンシを計算するために較正される。

Claims (6)

1. ユーザ入力を受信し、それに対し応答して画像的出力を提供するタッチ表面を含むデバイス上の複数点のいずれかにおけるレイテンシを測定するためのシステムであって、
   デバイスと分離した本体であって、近位端及び遠位端を有する本体；
   第１の時点でのデバイスに対するタッチ事象の入力を検知するための、本体の遠位端に作動的に取り付けられた少なくとも１つの接触センサ；
   第２の時点でのデバイスからの画像的応答の出力を検知するための少なくとも１つの画像的変化センサであって、応答がタッチ事象に対する反応であるセンサ；
   少なくとも１つの接触センサおよび少なくとも１つの画像的変化センサに作動的に接続された計算エンジンであって、第１の時点と第２の時点との間の時間差を計算するための計算エンジン；および
   デバイスにおけるタッチ事象と画像的応答との間のレイテンシの測定値を同定するように構成された出力部であって、測定値が第１の時点と第２の時点との間の時間差を反映する出力部、
   を含むことを特徴とするシステム。
2. ユーザ入力を受信し、それに対する応答の出力を提供するユーザインターフェースを有するデバイス上の複数の時点でレイテンシを測定する方法であって：
   デバイス上の通信用インターフェースを通じて、タッチ事象が生成された第１の時点とデバイスがタッチ事象に対する応答を出力する第２の時点とを表す第１のデータを生成する外部時間データ生成装置からの時間データを受信する工程であって、時間データが、第１の時点と第２の時点との間のレイテンシの測定値を反映する時間データである工程；
   デバイスに関するレイテンシを決定するために通信用インターフェースを通じて受信された時間データを使用する工程；および
   デバイスのディスプレイ上にレイテンシを表示する工程、
   を含むことを特徴とする方法。
3. タッチ入力を受信し、これに対する応答の出力を提供するユーザインターフェースを含むデバイス上のレイテンシを測定するためのシステムであって：
   デバイスと分離した本体；
   第１の時点でデバイスに対するタッチ事象入力を検知するための本体に作動的に取り付けられた第１のセンサ；
   第２の時点でデバイスからの応答の出力を検知するための第２のセンサであって、応答がタッチ事象に対する反応である第２のセンサ；
   第１の時点と第２の時点との間の時間差を計算するための計算エンジン；および
   デバイスのレイテンシの測定値の表示を出力するように構成された出力デバイスであって、測定値が第１の時点と第２の時点との間の時間差の反映であるデバイス、
   を含むことを特徴とするシステム。
4. 移動の表示は、被測定デバイスに表示されるインクストロークを含む、請求項６６に記載のデバイスのレイテンシを測定するためのシステム。
5. 少なくとも１つの機械的モータは、入力代理デバイスを移動させるように構成されたモータを含み、被測定デバイスに対し入力代理デバイスが移動される、請求項６６に記載のデバイスのレイテンシを測定するためのシステム。
6. 複数のモータは、被測定デバイスに対し様々な角度での入力代理デバイスの配向を提供する、請求項７２に記載のデバイスのレイテンシを測定するためのシステム。