JP2015072534A - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
JP2015072534A
JP2015072534A JP2013206928A JP2013206928A JP2015072534A JP 2015072534 A JP2015072534 A JP 2015072534A JP 2013206928 A JP2013206928 A JP 2013206928A JP 2013206928 A JP2013206928 A JP 2013206928A JP 2015072534 A JP2015072534 A JP 2015072534A
Authority
JP
Japan
Prior art keywords
trajectory
locus
predicted
similar
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013206928A
Other languages
English (en)
Inventor
宏之 水沼
Hiroyuki Mizunuma
宏之 水沼
健太郎 井田
Kentaro Ida
健太郎 井田
由幸 小林
Yoshiyuki Kobayashi
由幸 小林
山野 郁男
Ikuo Yamano
郁男 山野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013206928A priority Critical patent/JP2015072534A/ja
Priority to US14/494,768 priority patent/US20150091832A1/en
Publication of JP2015072534A publication Critical patent/JP2015072534A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position

Abstract

【課題】過去の軌跡情報に基づいて精度の高い軌跡の予測処理を実行する。
【解決手段】入力位置情報に従った軌跡の算出処理を行なうデータ処理部を有し、データ処理部は、入力位置情報に従った軌跡算出が未完了の領域に対する予測軌跡算出処理を実行する。まず、予測軌跡の算出領域の直前軌跡と類似する類似軌跡を軌跡の速度、加速度、角度、角度差分等の特徴量に基づいて過去の軌跡上から複数検出する。さらに、検出した複数の類似軌跡に基づいて各類似軌跡の後続軌跡を推定する。さらに、推定した複数の後続軌跡の平均化処理または重み込み付け加算処理により、予測軌跡を算出する。
【選択図】図10

Description

本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。具体的には、例えばタッチパネル式ディスプレイにおける描画ラインの表示遅れを改善する情報処理装置、および情報処理方法、並びにプログラムに関する。
昨今、タッチパネル型の入力表示装置が多く利用されている。タッチパネル型の入力表示装置は、例えば液晶ディスプレイ等を用いた情報表示処理とともに、ディスプレイ表面に対する指やペンの接触による情報入力も可能とした装置である。
ディスプレイ表面に対する指やペンによる接触位置を検知し、検知位置に応じた処理、例えば描画処理などを可能としている。なお、ペンや指の位置の検出方式としては電磁誘導方式や静電容量方式等、様々な方式がある。
しかし、このような装置において、例えば入力デバイスとしてペンを用いてペンの軌跡に応じた線を描画する場合、ペン先の位置と、ディスプレイ上の表示線の先端位置に「ズレ」が発生することがある。
これは、ペン位置の検出処理から、線の描画処理までの処理時間の遅延等に起因するものであり、高速にペンを移動させた場合により顕著となる。
このズレを解消するための構成を開示した従来技術として、例えば特許文献1(特開平09−190275号公報)がある。特許文献1には、静的なフィルタ(関数)を用いて、処理の終わっていない先の軌跡を予測して描画する構成を開示している。
この開示手法は、描画が完了している軌跡中の最新の軌跡領域を用いて線形近似直線を生成し、生成した線形近似直線を未処理(未描画)部分の軌跡として延長して表示するものである。なお、この方式では、近似の次数設定の変更や、三角関数などを用いることで、近似曲線を生成することも可能となる。
しかし、この開示手法は、未処理領域の直前にある描画軌跡のみを用いた近似処理によって先の軌跡を予測する処理を実行しているにすぎず、例えば、急な速度変化や方向転換などの際には、予測点のオーバーシュートや実際のペン先の位置と予測点の大きな乖離が発生することがある。
特開平09−190275号公報
本開示は、例えば上記問題点に鑑みてなされたものであり、入力デバイスの位置と描画位置との位置ずれを減少させ、より精度の高い描画処理を実現する情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
入力位置情報に従った軌跡の算出処理を行なうデータ処理部を有し、
前記データ処理部は、
入力位置情報に従った軌跡算出が未完了の領域に対する予測軌跡を算出する予測軌跡算出処理を実行し、
前記予測軌跡算出処理として、動的な予測手法を用いて前記予測軌跡を算出する情報処理装置にある。
さらに、本開示の情報処理装置の一実施態様において、前記動的な予測手法は、描画済み軌跡の直前軌跡よりさらに過去の軌跡情報を適用した軌跡予測を行う手法である。
さらに、本開示の情報処理装置の一実施態様において、前記予測軌跡算出処理として、予測軌跡の算出領域の直前軌跡と類似する類似軌跡を過去の軌跡上から複数検出し、検出した複数の類似軌跡に基づいて前記予測軌跡を算出する。
さらに、本開示の情報処理装置の一実施態様において、前記予測軌跡算出処理として、検出される前記複数の類似軌跡に基づき、各類似軌跡の後続軌跡を推定し、推定された複数の後続軌跡の平均化処理または重み込み付け加算処理により、予測軌跡を算出する。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記直前軌跡と類似する類似軌跡の検出処理において、軌跡の特徴量を比較し、前記直前軌跡と類似する特徴量を有する軌跡領域を類似軌跡として選択する。
さらに、本開示の情報処理装置の一実施態様において、前記特徴量は、軌跡の速度、加速度、角度、角度差分の少なくともいずれかを含む。
さらに、本開示の情報処理装置の一実施態様において、前記特徴量は、軌跡の速度、加速度、角度、角度差分の全てを含む。
さらに、本開示の情報処理装置の一実施態様において、前記特徴量は、入力デバイスの筆圧としての圧力値、または圧力値変化量の少なくともいずれかを含む。
さらに、本開示の情報処理装置の一実施態様において、前記特徴量は、軌跡の速度、加速度、角度、角度差分、圧力値の全てを含む。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記直前軌跡と類似する類似軌跡の検出処理において、前記直前軌跡と、比較対象となる過去軌跡の速度と、加速度と、角度と、角度差分との差分の重み付け加算データを特徴量距離データとして算出し、特徴量距離データの小さい過去軌跡を類似軌跡として選択する。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記直前軌跡と類似する類似軌跡の検出処理における特徴量距離データの算出処理において、前記直前軌跡に距離的に近い軌跡を優先選択するように距離に応じた重みを設定した特徴量距離データの算出処理を実行する。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、複数の類似軌跡に基づく各類似軌跡の後続軌跡推定処理において、各類似軌跡の最新位置の速度と、角度と、座標位置の各情報を適用して各類似軌跡対応の後続軌跡の速度と、角度と、座標を推定し、推定した各類似軌跡対応の後続軌跡の座標の平均化処理または重み込み付け加算処理により、予測軌跡を構成する座標を算出する。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、推定した各類似軌跡対応の後続軌跡の座標の重み込み付け加算処理において、前記直前軌跡に対する類似度の高い類似軌跡対応の後続軌跡座標の重みを大きく設定した処理を実行して、予測軌跡を構成する座標を算出する。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、推定した各類似軌跡対応の後続軌跡の座標のばらつき度合いに応じた予測軌跡の信頼度を算出し、信頼度が低いと判定した場合は、予測軌跡の表示部に対する出力を中止する。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記信頼度の指標値として、各類似軌跡対応の後続軌跡の座標の標準偏差を算出する。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、k近傍(kNN:k Nearest Neighbors)法を適用した予測軌跡推定処理を実行する。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記予測軌跡算出処理として、現在表示されている軌跡よりも前に描かれた軌跡の情報に基づいて前記予測軌跡を算出する。
さらに、本開示の第2の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、入力位置情報に従った軌跡の算出処理を行なうデータ処理部を有し、
前記データ処理部が、入力位置情報に従った軌跡算出が未完了の領域に対する予測軌跡を算出する予測軌跡算出処理を実行し、
前記予測軌跡算出処理として、動的な予測手法を用いて前記予測軌跡を算出する情報処理方法にある。
さらに、本開示の第3の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
データ処理部に、入力位置情報に従った軌跡の算出処理を実行させ、
前記データ処理部に、入力位置情報に従った軌跡算出が未完了の領域に対する予測軌跡を算出する予測軌跡算出処理を実行させ、
前記予測軌跡算出処理として、動的な予測手法を用いて前記予測軌跡を算出させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、過去の軌跡情報に基づく精度の高い軌跡の予測処理が実現される。
具体的には、入力位置情報に従った軌跡の算出処理を行なうデータ処理部を有し、データ処理部は、入力位置情報に従った軌跡算出が未完了の領域に対する予測軌跡算出処理を実行する。まず、予測軌跡の算出領域の直前軌跡と類似する類似軌跡を軌跡の速度、加速度、角度、角度差分等の特徴量に基づいて過去の軌跡上から複数検出する。さらに、検出した複数の類似軌跡に基づいて各類似軌跡の後続軌跡を推定する。さらに、推定した複数の後続軌跡の平均化処理または重み込み付け加算処理により、予測軌跡を算出する。
本構成により、過去の軌跡情報に基づく精度の高い軌跡の予測処理が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
入力表示装置に、ペン型の入力デバイスを用いて線分(ライン)を描画する場合の問題点を説明する図である。 予測軌跡の描画処理における予測誤りの発生例について説明する図である。 本開示の情報処理装置の実行する軌跡の予測処理について説明する図である。 本開示の情報処理装置の実行する軌跡の予測処理の概要を説明する図である。 kNN法を適用した予測軌跡の推定と描画処理シーケンスについて説明するフローチャートを示す図である。 kNN法を適用した予測軌跡の推定と描画処理の具体例について説明する図である。 予測軌跡の推定に適用する特徴量について説明する図である。 類似軌跡の抽出処理例について説明する図である。 予測軌跡の信頼度について説明する図である。 標準偏差算出処理と処理結果に応じた処理変更を伴う予測軌跡の算出描画処理のシーケンスについて説明するフローチャートを示す図である。 予測軌跡の決定処理に適用する複数(k本)の補助予測軌跡と補助予測軌跡の各座標位置の標準偏差の一例を示す図である。 各未来フレームU=t+1,t+2,t+3の信頼度の算出例を示す図である。 予測軌跡の具体的な表示制御例について説明する図である。 予測軌跡の具体的な表示制御例について説明する図である。 予測軌跡の信頼度に応じた具体的な表示制御例について説明する図である。 予測軌跡の信頼度に応じた具体的な表示制御例について説明する図である。 表示した予測軌跡を、次の描画フレームでは消去して新たな予測軌跡を描画する処理例について説明する図である。 信頼値指標値が所定のしきい値を下回っていない場合、その予測点に至る直前の予測軌跡を描画しない処理について説明する図である。 状況に応じて予測軌跡の描画をオン/オフ、すなわち表示または非表示の切り替えを行う処理例について説明する図である。 単位時間あたりの入力デバイス圧力値の低下量が規定しきい値[Thp]以上であることの検出処理について説明する図である。 単位時間あたりの入力デバイス移動量が規定しきい値[Thd]未満であることを検出する処理例について説明する図である。 予測軌跡が実軌跡から外れた場合、予測軌跡の表示態様を変更して予測軌跡を目立たなくする制御を行う処理例について説明する図である。 予測軌跡の表示制御の処理シーケンスについて説明するフローチャートを示す図である。 予測軌跡の表示制御の処理シーケンスについて説明するフローチャートを示す図である。 予測軌跡の表示による効果の一例について説明する図である。 本開示の情報処理装置のハードウェア構成例について説明する図である。
以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
1.描画処理における問題点について
2.本開示の情報処理装置の実行する軌跡の予測処理について
3.描画軌跡の座標情報を用いた予測処理例について
3−1.類似判定処理について
3−2.予測軌跡の決定処理について
4.予測軌跡の信頼度に応じた処理例について
5.入力デバイスの圧力(Pressure)検出情報を適用した処理について
6.予測軌跡の算出、描画処理の変形例について
7.予測軌跡の描画態様を制御する実施例について
8.予測軌跡の表示制御の処理シーケンスについて
9.高精度な予測軌跡の表示による効果の一例について
10.本開示の情報処理装置のハードウェア構成例について
11.本開示の構成のまとめ
[1.描画処理における問題点について]
まず、入力表示装置に対してタッチペン等の入力デバイス(入力オブジェクト)を用いて描画を行う場合の問題点について説明する。
図1は、タッチパネル型の入力表示装置10に対して、ペン型の入力デバイス11を用いて線分(ライン)を描画している例を示した図である。
入力デバイス11は矢印方向に順次移動し、入力デバイス11の軌跡に従った軌跡が描画される。すなわち、入力デバイスの軌跡としてのライン(線)が表示される。
しかし、入力デバイス11の移動速度が速い場合、軌跡の描画処理が入力デバイス11の移動速度に追随できず、軌跡線分の表示が遅れる場合が発生する。
図に示す描画済み軌跡21は、入力デバイスの軌跡に従ってディスプレイ上に表示されたラインである。この描画済み軌跡21の最新描画位置22は、入力デバイス11の現在のペン先位置15に一致せず、入力デバイス11の所定時間前の軌跡の位置にある。図に示す描画遅延領域23は既にペンが既に所定の軌跡に従って移動済みの領域であるが、その軌跡に対応したライン(線分)の表示が間に合わず、空白領域となっている。描画処理の遅延によってこのような空白領域が発生する。
このような空白領域を解消するための処理として、前述の[背景技術]の欄で説明した静的フィルタ(関数)を用いた処理がある。これは、例えば図1に示す描画済み軌跡21中の最新描画位置22を含む所定長のライン領域を利用した線形近似等により、その先の線を予測して描画する処理である。
すなわち、前述したように描画済み軌跡の最新の描画部分から線形近似直線を生成して最新描画位置22の先に延長して予測される軌跡に対応するラインを描画するものである。
しかし、このような処理を行なうと、実際のペンの軌跡とは異なる予測軌跡が生成され、誤った軌跡を描画してしまう場合がある。
このような予測誤りの発生例について図2を参照して説明する。
図2には2つの予測誤りの例を示している。
(a)予測誤り例1は、ペンの軌跡が突然カーブし、ペンの進行方向が大きく変動した場合のオーバーシュートによる予測誤りの例である。
描画済みライン31の最新描画位置32において、図に示すペン軌跡34に示すようにペンは急速に進行方向を変化させている。
しかし、前述の静的フィルタ(関数)を用いた予測処理を行なう場合、この予測に用いるデータは、描画済み軌跡31中の最新描画位置32を含む所定長の描画済み軌跡のみとなる。すなわち図に示す近似適用軌跡33のみが予測に適用されるデータとなる。
例えば、この近似適用軌跡33の線方向に応じて伸ばしたラインが予測軌跡35として設定され、表示されることになる。
この結果、図に示すように、実際のペン軌跡34とは全く異なる位置に予測軌跡35が設定される。
図2に示すもう1つの予測誤り例は、(b)予測誤り例2であり、入力デバイスであるペンが突然停止した場合の例である。
描画済み軌跡41の最新描画位置42において、ペンは移動を止め、停止した場合の処理例である。
前述の静的フィルタ(関数)を用いた予測処理を行なう場合、この予測に用いるデータは、描画済み軌跡41中の最新描画位置42を含む所定長の描画済みラインである。図に示す近似適用軌跡43が予測に適用されるデータとなる。
この近似適用軌跡43の線方向に応じて延長したラインが予測軌跡45として設定される。この結果、図に示すように、実際のペン位置より先に予測軌跡45が設定されてしまう。
このように、静的フィルタ(関数)を用いた線分予測処理は、描画済み軌跡の直前の線分を近似処理に適用する処理であるため、ペンの移動態様が近似適用軌跡と異なると、予測結果がペンの実際の軌跡と全く異なる結果となってしまい、誤った予測軌跡が表示されることになる。
[2.本開示の情報処理装置の実行する軌跡の予測処理について]
次に、本開示の情報処理装置の実行する軌跡の予測処理例について説明する。
図3は、本開示の情報処理装置の軌跡予測処理の一例を示す図である。本開示の情報処理装置の処理を適用することで、描画済み軌跡51の最新描画位置52からペン位置54までの予測ラインである予測軌跡53を高精度に推定し表示することが可能となる。この高精度な予測軌跡53の推定および表示処理により、ユーザの感じる遅延感を低減し、違和感のない描画処理が可能となる。
図4は、本開示の情報処理装置の実行する軌跡の予測処理の概要を説明する図である。
本実施例では、描画済み軌跡71の構成情報を適用した学習処理(機械学習)を実行し、学習結果を適用して予測軌跡73を設定して描画処理を行う。
予測軌跡73は、最新描画位置72の先に描画する。
本実施例では、最新描画位置直前の描画済み軌跡の情報のみならず、さらに過去の描画軌跡の情報も用いた学習処理によって予測軌跡を推定する。この処理によって、先に図2を参照して説明したような予測誤りを低減し、高精度な予測を実現する。
本開示の情報処理装置が実行する軌跡の予測処理は、先に説明した従来の固定的な静的フィルタ(関数)を用いた静的予測とは異なる動的予測処理である。
なお、静的予測では、描画済み軌跡の直前の線分を近似処理に適用する処理であり、さらに過去の軌跡情報が予測軌跡に影響を与えない。従って、予測に適用する直前軌跡が一定の場合、予測軌跡は一定の軌跡となる。
一方、動的予測では、描画済み軌跡の直前の線分以外のさらに過去の軌跡情報を参考とした軌跡予測を行うものであり、これらの過去の軌跡が予測軌跡に影響を与える。従って、予測に適用する直前軌跡が一定の場合でも、過去の軌跡が異なれば予測軌跡は異なる軌跡となる。
なお、過去の軌跡には直前軌跡以前の軌跡が含まれ、表示部に表示されていない軌跡も含む。
以下、本実施例において適用する学習処理の一例として、
『k Nearest Neighbors(kNN法),k近傍法』
を適用した学習処理による予測軌跡の推定処理について説明する。
図5は、kNN法を適用した予測軌跡の推定と描画処理シーケンスについて説明するフローチャートを示す図である。
なお、このフローチャートに示す処理は、本開示の情報処理装置のデータ処理部、具体的には、例えばプログラム実行機能を有するCPU等からなるデータ処理部の制御の下で実行される。プログラムは、例えば情報処理装置のメモリに格納される。
まず、図5に示すフローの各ステップの処理について順次説明し、その後、図6を参照して、各ステップの具体的な処理例について説明する。
なお、情報処理装置は、専用ペン(スタイラス)等の入力デバイス(入力オブジェクト)の軌跡に応じた線(ライン)を描画する処理を行なう。
しかし、図1等を参照して説明したように、入力デバイス(専用ペン)の現在位置の直前領域に描画処理の間に合わない描画遅延領域が発生する。図5に示すフローは、この描画遅延領域の入力デバイスの軌跡を推定して推定した軌跡に沿った線(ライン)を予測軌跡として描画する処理のシーケンスである。例えば、図4に示す予測軌跡73の推定描画処理である。
(ステップS101)
まず、ステップS101において、描画済み軌跡から、最新描画軌跡(直前軌跡)と類似する複数個(k個)の軌跡領域(類似軌跡)を検索する。
描画済み軌跡とは、入力デバイスの軌跡解析が完了し、軌跡に応じたラインの描画処理、すなわち表示部に対する出力表示処理が完了した軌跡領域である。
最新描画軌跡(直前軌跡)は、描画済み軌跡中のもっとも新しい軌跡領域であり、描画遅延部に接する軌跡領域である。
直前軌跡は、具体的には、図4に示す最新描画位置72を含む所定長の描画済み領域である。ステップS101では、この最新描画軌跡(直前軌跡)と類似する複数(k個)の軌跡領域(類似軌跡)を、描画済み軌跡から検索する。kは例えば、3,5,10,20,30等、予め規定した数とする。
なお、例えば描画の初期段階等の場合、予め定めたk個の類似軌跡を検索できない場合は、検索された類似軌跡のみを用いた処理を行なうか、あるいは推定処理を中止する構成としてもよい。
(ステップS102)
次に、ステップS102において、ステップS101で検索された複数(k個)の軌跡領域(類似軌跡)の後続軌跡を推定または選択し、これらの複数の後続軌跡を最新描画位置の先に接続する。
最新描画位置は、図4に示す例に示す最新描画位置72に対応する。
(ステップS103)
次に、ステップS103において、接続した複数の後続軌跡の平均軌跡を算出する。
(ステップS104)
最後にステップS104において、ステップS103で算出した平均軌跡を最終決定予測軌跡として、描画する処理を実行する。
図5に示すフローに従った処理の具体例について、図6を参照して説明する。図6には、図4に示すと同様の描画ラインを示している。左から右方向に専用ペン等の入力デバイスが軌跡を描き、軌跡に沿ったラインが描画された例である。
入力デバイスである専用ペンは、描画済み軌跡の最新描画位置81より先に進行しており、最新描画位置81より先に推定軌跡に従った予測軌跡を決定して描画する。なお、図6に示す例において、最終的に設定された予測軌跡は、図6に示す最終決定予測軌跡(Qf)86である。
最終決定予測軌跡(Qf)86は、抽出したk個の類似軌跡に応じて設定されるk個の補助予測軌跡Q1〜Q3を平均化する等の処理によって決定する。
図5の各ステップS101〜S104の処理について、図6を参照して説明する。
(ステップS101)
まず、ステップS101において、描画済み軌跡から、最新描画軌跡(直前軌跡)と類似する複数(k個)の軌跡領域(類似軌跡)を検索する。
図6に示す例を参照してこの処理について説明する。
まず、図6に示す描画済み軌跡80から最新描画軌跡(直前軌跡P)82を抽出する。
さらに、抽出した最新描画軌跡(直前軌跡P)82と類似する軌跡領域を描画済み軌跡から複数(k個)、検索する。
図6に示す例では、k=3として、以下の3つの直前軌跡(P)の類似軌跡(Rn)が検索されたことを示している。
直前軌跡(P)の類似軌跡(R1)83−1、
直前軌跡(P)の類似軌跡(R2)83−2、
直前軌跡(P)の類似軌跡(R3)83−3、
ステップS101の処理は、このように最新描画軌跡(直前軌跡P)82と類似するk個の類似軌跡を描画済み軌跡中から検索する処理である。
(ステップS102)
次に、ステップS102において、ステップS101で検索された複数(k個)の軌跡領域(類似軌跡)の後続軌跡を選択し、選択した複数の後続軌跡を最新描画位置の先に接続する。
図6に示す例を参照してこの処理について説明する。
ステップS101では、図6に示す3つの類似軌跡、すなわち、
直前軌跡(P)の類似軌跡(R1)83−1、
直前軌跡(P)の類似軌跡(R2)83−2、
直前軌跡(P)の類似軌跡(R3)83−3、
これらの類似軌跡を検索した。
ステップS102では、これらの類似軌跡の後続軌跡を選択する。
図6に示す例では、以下の3つの後続軌跡を選択する。
類似軌跡(R1)の後続軌跡(A1)84−1、
類似軌跡(R2)の後続軌跡(A2)84−2、
類似軌跡(R3)の後続軌跡(A3)84−3、
さらに、これら3つの後続軌跡84−1〜3を最新描画位置81の先に接続する。
なお、直前軌跡Pと接続する後続軌跡との角度は、接続する後続軌跡と、その後続軌跡に対応する類似軌跡との接続角度に一致する角度とする。
このようにして、図6に示すように、3つの後続軌跡A1〜A3が、最新描画位置81に接続される。接続された各軌跡は、図6に示すように、以下の3つの補助予測軌跡である。
後続軌跡(A1)対応の補助予測軌跡(Q1)85−1、
後続軌跡(A2)対応の補助予測軌跡(Q2)85−2、
後続軌跡(A3)対応の補助予測軌跡(Q3)85−3、
ステップS102の処理は、このように、ステップS101で検出した類似軌跡の後続軌跡を最新描画位置の先に接続する処理である。
(ステップS103)
次に、ステップS103において、接続した複数の後続軌跡の平均軌跡を算出する。
この処理について、図6を参照して説明する。
図6では、最新描画位置81の先に接続した後続軌跡は、以下の3つの補助予測軌跡である。
後続軌跡(A1)対応の補助予測軌跡(Q1)85−1、
後続軌跡(A2)対応の補助予測軌跡(Q2)85−2、
後続軌跡(A3)対応の補助予測軌跡(Q3)85−3、
ステップS103では、これら3つの補助予測軌跡(Q1〜Q3)85−1〜3の平均軌跡を算出する。
この結果、得られる平均軌跡は、図6に示す最終決定予測軌跡(Qf)86に示す軌跡となる。
(ステップS104)
最後にステップS104において、ステップS103で算出した平均軌跡を最終決定予測ライン(最終決定予測軌跡)として、描画する処理を実行する。
この処理について、図6を参照して説明する。
ステップS104では、ステップS103で算出した平均軌跡、すなわち、図6に示す最終決定予測軌跡(Qf)86を、予測軌跡として描画する処理を実行する。
[3.描画軌跡の座標情報を用いた予測処理例について]
図5に示すフローに従った処理は、情報処理装置の表示部に表示する各画像フレーム(t)に更新された描画軌跡の座標情報(x,y)を用いて実行することが可能である。
以下、この座標情報を用いた予測軌跡の決定処理について説明する。
情報処理装置は、例えば、表示部に表示する各画像フレーム(t)単位で新たに表示される描画軌跡の座標情報(x,y)をメモリに格納する。情報処理装置は、最新描画位置から過去の一定時間の描画軌跡に対応する座標情報をメモリに格納し、この座標情報を用いて、軌跡の類似判定処理や、後続軌跡の接続処理、さらに、接続された後続軌跡の平均値算出による最終的な予測軌跡の決定処理などを実行する。
なお、座標情報(x,y)は、各表示フレーム(t)に対応してメモリに格納する。例えばフレームtに対応する最新の描画軌跡位置を示す座標は(x,y)としてメモリに格納する。次のフレームt+1に対応する最新の描画軌跡位置を示す座標は(xt+1,yt+1)としてメモリに格納する。このように、各フレームに対応付けられた軌跡位置情報としての座標情報がメモリに格納され、この情報を用いて軌跡の類似判定処理等が実行される。
以下、この軌跡座標情報を用いた具体的な処理例について説明する。
(3−1.類似判定処理について)
図5に示すフローを参照して説明したステップS101では、最新描画軌跡(直前軌跡)と、類似する軌跡を描画済み軌跡から検索する処理を行なう。
この類似判定処理において、軌跡の座標情報を用いて軌跡の特徴量を算出し、特徴量を比較して類似度を判定する。
類似判定に適用する特徴量として、例えば以下の特徴量を算出する。
(1)速度:Z1
(2)加速度:Z2
(3)角度:Z3
(4)角度差分:Z4
これらの各特徴量を、描画軌跡に対応する座標情報を用いて算出する。
さらに、最新描画軌跡(直前軌跡)を構成する座標情報から算出した特徴量と、描画済み軌跡を構成する各座標情報から算出した特徴量を比較して、より類似する特徴量を持つ描画済み軌跡の領域を類似軌跡として抽出する。これらの処理によって、例えば、図6に示す類似軌跡(R1〜R3)84−1〜3が抽出される。
各特徴量Z1〜Z4の算出式を以下に示す。
(1)速度:Z1(t)=sqrt{(x−xt−1+(y−yt−1
(2)加速度:Z2(t)=sqrt{(x−xt−1+(y−yt−1}/sqrt{(xt−1−xt−2+(yt−1−yt−2
(3)角度:Z3(t)=atan{(x−xt−1)/(y−yt−1)}
(4)角度差分:Z4(t)=atan{(x−xt−1)/(y−yt−1)}−atan{(xt−1−xt−2)/(yt−1−yt−2)}
なお、
Z1(t)はフレームtにおける速度、
Z2(t)はフレームtにおける加速度、
Z3(t)はフレームtにおける角度、
Z4(t)はフレームtにおける角度差分、
これらを示している。
また、
sqrtは平方根(square root)、
atanはアークタンジェント(arc tangent)
を意味する。
なお、tは、本実施例ではフレーム番号を示すパラメータであるが、フレーム番号ではなくtを時間情報として設定した処理も可能である。
すなわち、以下の説明においてフレームt,フレームuは時間t,時間uと置き換えることが可能である。
上記特徴量Z1〜Z4について、図7を参照して説明する。
図7には描画済み軌跡の一部を示している。
図には、表示部に表示されたフレームt−2〜フレームt+1の各フレーム表示時の描画軌跡の最新位置の座標(xt−2,yt−2)〜(xt+1,yt+1)を示している。すなわち、以下のP1〜P4の4点である。
なお、図7左下に示すように、xは図の水平方向、yは垂直方向に対応する。
P1:フレームt−2において表示された描画軌跡の最新位置座標(xt−2,yt−2
P2:フレームt−1において表示された描画軌跡の最新位置座標(xt−1,yt−1
P3:フレームtにおいて表示された描画軌跡の最新位置座標(x,y
P4:フレームt+1において表示された描画軌跡の最新位置座標(xt+1,yt+1
上述した特徴量Z1(t)〜Z4(t)は、フレームtに対応する座標(x,y)に対応する特徴量として算出される。
フレームt以外の各フレーム対応の座標位置において、同様の特徴量を算出する。
(速度Z1(t)について)
フレームtの最新座標(x,y)に対応する特徴量の1つである速度Z1(t)は、以下の式によって算出する。
速度:Z1(t)=sqrt{(x−xt−1+(y−yt−1
これは、図7に示すP3(x,y)とP2(xt−1,yt−1)との距離Laに相当する。
すなわち、フレームt−1からフレームtまでの間に軌跡の進んだ距離であり、1フレーム間の軌跡の移動速度に対応する。
(加速度Z2(t)について)
フレームtの最新座標(x,y)に対応する特徴量の1つである加速度Z2(t)は、以下の式によって算出する。
加速度:Z2(t)=sqrt{(x−xt−1+(y−yt−1}/sqrt{(xt−1−xt−2+(yt−1−yt−2
これは、図7に示すP3(x,y)とP2(xt−1,yt−1)との距離Laと、P2(xt−1,yt−1)とP1(xt−2,yt−2)との距離Lbとの比率La/Lbに相当する。
すなわち、フレームt−1からフレームtまでの間に軌跡の進んだ距離Laが、フレームt−2からフレームt−1までの間に軌跡の進んだ距離Lbの何倍に相当するかの値であり、現フレーム間の軌跡移動速度と先行フレーム間の軌跡移動速度との倍率に相当する。
なお、加速度を示す特徴量Z2(t)は、上記の例では、後の速度が前の速度の何倍に相当するかを示す速度の倍率として算出したが、後の速度と、前の速度との差分として算出してもよい。
この場合、特徴量Z2(t)は以下の式によって算出する。
加速度:Z2(t)=sqrt{(x−xt−1+(y−yt−1}−sqrt{(xt−1−xt−2+(yt−1−yt−2
これは、図7に示すP3(x,y)とP2(xt−1,yt−1)との距離Laと、P2(xt−1,yt−1)とP1(xt−2,yt−2)との距離Lbとの差分La−Lbに相当する。
(角度Z3(t)について)
フレームtの最新座標(x,y)に対応する特徴量の1つである角度Z3(t)は、以下の式によって算出する。
角度:Z3(t)=atan{(x−xt−1)/(y−yt−1)}
これは、図7に示すP3(x,y)とP2(xt−1,yt−1)を頂点とした線分Laと水平線Wa、垂直線Haとによって構成される三角形において、以下のように展開される。
Z3(t)=atan{(x−xt−1)/(y−yt−1)}
=atan(Wa/Ha)
従って、Z3(t)=atan{(x−xt−1)/(y−yt−1)}
は、図7に示すP3(x,y)とP2(xt−1,yt−1)を頂点とした線分Laと水平線Wa、垂直線Haとによって構成される三角形の頂点P3(x,y)の角度αに相当する。
(角度差分Z4(t)について)
フレームtの最新座標(x,y)に対応する特徴量の1つである角度差分Z4(t)は、以下の式によって算出する。
角度差分:Z4(t)=atan{(x−xt−1)/(y−yt−1)}−atan{(xt−1−xt−2)/(yt−1−yt−2)}
これは、図7に示すP3(x,y)とP2(xt−1,yt−1)を頂点とした線分Laと、水平線Wa、垂直線Haとによって構成される三角形の頂点P3(x,y)の角度α、さらに、
図7に示すP2(xt−1,yt−1)とP1(xt−2,yt−2)を頂点とした線分Lbと、水平線Wb、垂直線Hbとによって構成される三角形の頂点P2(xt−1,yt−1)の角度β、
これらの各度の差分(α−β)に相当する。
これらの4つの特徴量Z1〜Z4を各フレームの最新座標点について、順次取得しメモリに格納しておく。なお、メモリ容量に限界がある場合は、例えば図6に示す最新描画位置81から、過去100フレーム分等、予め規定したフレーム数に対応する座標情報をメモリに格納する設定として、より新しいフレームに対応する座標情報の入力に応じて最も古いフレームの座標情報を削除していくメモリデータの更新を実行してもよい。
なお、メモリ容量が十分な場合は、筆跡対応の軌跡データを過去分も含めて、不揮発性メモリに格納し、情報処理装置の電源をオフとした場合にもメモリに残し、新たな電源ON後に描画を開始した場合に、その過去の蓄積データを利用した類似判定等を行い予測軌跡の推定を行う構成としてもよい。
また、メモリ蓄積データをユーザ識別子(ユーザID)と対応づけて、利用ユーザに応じてユーザ対応の蓄積データを利用した処理を行なう構成としてもよい。
類似軌跡の検索は、メモリに格納された複数フレーム分の軌跡対応の座標情報を用いて上記の特徴量を算出し、特徴量を比較して行う。
なお、比較対象となるのは、直前軌跡の特徴量と、その他の過去の軌跡から得られる特徴量である。
この比較処理によって類似度の高い過去の軌跡領域を、予め決めた個数k個、例えば図6の例では3個、選択する。
類似度の判定式を以下に示す。
D(t,t')=ΣΣ j=1(Z(t−i)−Z(t'−i))
上記が類似度判定式であり、
上記式によって算出される特徴量距離D(t,t')が小さいものほど類似度が高いと判定する。
なお、上記類似度判定式において、
t'は、図6に示す最新描画位置81の座標(xt',yt')の軌跡を更新軌跡として表示したフレーム番号に対応する。すなわち予測軌跡直前の最新軌跡の描画を実行したフレーム番号である。
tは、描画済み軌跡上の任意の位置の座標(x,y)を表示した過去の任意のフレームに対応する。
iは、類似比較の対象とするフレーム区間に相当し、例えば図6に示す直前軌跡82の軌跡の描画に必要となるフレーム数に相当する。
例えば、図6に示す直前軌跡82が5フレームの表示処理によって生成された軌跡である場合、5フレーム分の座標位置の情報を適用した比較処理が実行される。
すなわち、図8に示すように、直前軌跡82が5フレームの表示処理によって生成された軌跡である場合、直前積と類似判定対象とするのは、直前軌跡82より前の描画済み軌跡80から選択されるすべての5フレーム分の軌跡情報となる。
jは、特徴量の種類に応じた係数である。すなわちZ1〜Z4の各係数1〜4に対応する。
wjは、各特徴量Zj=Z1〜Z4各々に対して設定する重みである。この重みは、状況に応じて様々な値を設定可能である。具体的には、すべての重みwj=1とする一率の値としてもよい。
また、例えば表示装置がフルHDの場合の重み設定例として、
速度Z1に対応する重みw1=1、
加速度Z2に対応する重みw2=100、
角度Z3に対応する重みw3=10、
角度差分Z4に対応する重みw4=1000、
上記のような重み設定としてもよい。
上記特徴量距離D(t,t')を算出して、この特徴量距離の小さい順に、予め定めた選択個数、すなわちk個を選択する。選択したk個の領域を類似軌跡とする。このようにして、例えば、図6に示す類似軌跡R1〜R3が選択される。図6の例ではk=3である。
なお、上記各特徴量に設定する重みwjは、その他、例えばより新しいデータに対する重みを大きくする構成としてもよい。すなわち、直前軌跡に距離的に近い軌跡を優先選択するように距離に応じた重みを設定した特徴量距離データの算出を行う構成としてもよい。
より新しいデータに対する重みを大きくして類似度算出を行う場合の特徴量距離D(t,t')の算出式は、以下のように設定される。
D(t,t')
=Σpow(ε,i)Σ j=1(Z(t−i)−Z(t'−i))
ただし、
ε:予め設定した重み減衰率(0.0<ε≦1.0)
pow(ε,i):重み
(より新しい軌跡位置で1.0になり、古いほど小さい値を出力する関数)
上記のように、より新しい軌跡の重みを大きく設定して特徴量距離を算出する設定としてもよい。
(3−2.予測軌跡の決定処理について)
次に、上述した処理によって選択された複数の類似軌跡を用いて予測軌跡を決定する処理について説明する。
図5に示すフローを参照して説明したステップS102〜S104では、ステップS101で選択した複数の類似軌跡を、最新描画位置の先端に接続して、その平均化処理を行なって最終的な予測軌跡を決定する処理を行なっている。
この予測軌跡決定処理について説明する。
予測軌跡を構成する座標(x,y)は、以下の式(予測軌跡座標算出式)に従って算出する。
=(1/k)Σ n=1(n)'
=(1/k)Σ n=1(n)'
なお、上記予測軌跡座標算出式中のuはフレーム番号に相当する。例えば図6に示す最新描画位置81の表示フレームのフレーム番号をtとしたとき、フレーム番号tより後のフレーム番号であり、t<uである。
フレームuは、軌跡の描画が完了していない未来のフレームに相当する。
その他の各パラメータは以下の設定である。
kは、抽出した類似軌跡の個数である。
nは、1〜kの変数である。
(n)'は、n=1〜kの類似軌跡各々に対応する予測線のフレームuにおけるx座標、
(n)'は、n=1〜kの類似軌跡各々に対応する予測線のフレームuにおけるy座標、
上記予測軌跡座標算出式に用いるn=1〜kの類似軌跡各々に対応する予測線のフレームuにおけるx座標:x(n)'、y座標:y(n)'の算出処理について説明する。
まず、前述の処理(図5に示すフローのステップS101)において抽出したk個の類似軌跡の先端位置(最新位置)の速度V(n),角度a(n),座標(x(n)',y(n)')を以下のように算出する。
(1)最新速度:v(n)=sqrt{(x−xt−1+(y−yt−1
(2)最新角度:a(n)=atan{(x−xt−1)/(y−yt−1)}
(3)最新座標:x(n)'=x、y(n)'=y
ただし、nは抽出した類似軌跡の個数(k個)に対応する変数であり、n=1〜kである。
次に、n番目(n=1〜k)の各類似軌跡に応じて予測される将来フレーム(フレームu)における速度:V(n)、角度:a(n)を以下の算出式に従って算出する。
(n)=Vu−1(n)Z(sn+u−t)
(n)=au−1(n)Z(sn+u−t)
ただし、snは、n=1〜kのk個の各類似軌跡のフレーム番号である。
さらに、上記算出式を適用して、n番目(n=1〜k)の各類似軌跡に応じて予測される将来フレーム(フレームu)におけるxy座標:(x(n)',y(n)')を以下の算出式に従って算出する。
(n)'=xu−1(n)'+V(n)cos(a(n))
(n)'=yu−1(n)'+V(n)sin(a(n))
上記式に従って、k個の類似軌跡に対応する将来フレームuにおけるxy座標が算出される。この各座標は、図6に示すk本の補助予測軌跡を構成するxy座標となる。
上記式に従って算出したk個の類似軌跡に対応するフレームuに対応するxy座標(x(n)',y(n)')を適用して、先に説明した予測軌跡座標算出式を用いて、最終的な予測軌跡の構成座標を算出する。
すなわち、前述したように、予測軌跡を構成する座標(x,y)は、以下の式(予測軌跡座標算出式)に従って算出する。
=(1/k)Σ n=1(n)'
=(1/k)Σ n=1(n)'
上記式に従って算出する軌跡が、図6に示す最終決定予測軌跡(Qf)86となる。
なお、上記の軌跡算出式では、すべての類似軌跡に基づいて算出される予測軌跡の構成座標を単純に平均化して最終的な予測軌跡を算出する設定としているが、例えば、類似度の高い類似軌跡の重みを大きくして加算平均を実行して最終的な予測軌跡の座標を算出する構成としてもよい。
この処理について説明する。
以下のように、パラメータを設定する。
:k個の類似点の時刻(またはフレーム)
:k個の類似点の類似順位(最も類似している点=1、最も類似していない点=k)
=pow(β,rn−1):n番目の類似点の重み
(最も類似した点(r=1)で1.0になり、rの値が大きくなるほど小さくなる)
β:予め設定した重み減衰率(0.0<β≦1.0)
上記のパラメータを用いて、予測軌跡を構成する座標(x,y)を、以下の式(予測軌跡座標算出式)に従って算出する。
=(Σ n=1(n)')/(Σ n=1
=(Σ n=1(n)')/(Σ n=1
このように類似度に応じた重み付けを行って予測軌跡の座標を算出する構成としてもよい。
[4.予測軌跡の信頼度に応じた処理例について]
上述したkNN法など、いわゆる機械学習による予測処理を実行すると、「相対的に頻度の少ない軌跡」を描いた場合、予測精度が低下する。
「頻度の少ない軌跡」とは、例えば「急激な方向転換(漢字などに多い)」、「止め」、「連続した曲線」などである。
すなわち、頻繁に出現する軌跡については学習処理による予測精度が高まるが、頻度の少ない軌跡については予測精度が低下する。極端に言えば、直線や比較的滑らかな曲線以外は精度が落ちる。特にこれは、学習の進度が十分でない場合には顕著である。予測の精度が落ちると専用ペン等の入力デバイス位置とは異なった位置に予測軌跡が描画されてしまう確率が高くなる。
このような誤った予測軌跡の描画は、ユーザにとって、かえって迷惑となる場合がある。
従って、予測精度が低いと判定される場合には、予測結果を描画に反映させないことが好ましい。
以下、この処理例について説明する。
まず、図9を参照して予測軌跡の信頼度について説明する。
図9には描画済み軌跡90と、その先端部である直前軌跡91を示している。直前軌跡91の先に予測軌跡が設定される。
上述したkNN法に基づいて、任意の時点においてk本の補助予測軌跡92が計算される。このk本の予測軌跡は、過去の似ているk本の軌跡をそれぞれ表しているため、直線などの単純な軌跡の場合にはk本の軌跡の位置が収束し、逆に急激な軌跡の変化などがあった場合にはk本の軌跡の位置はバラバラになってくる。
複数の補助予測軌跡92が「バラバラになる」ということは、「過去の軌跡の中で、今回の軌跡に近い最適なものの確度が低い。すなわち、k本の平均値を取っても、その値が正解に近い確率が低いということである。そこで、補助予測軌跡k本の各座標位置の標準偏差σを算出し、算出した標準偏差σの大きさに応じた処理を行なう。
具体的には、算出した標準偏差が小さいときにのみ、k本の補助予測軌跡の平均を算出して最終決定予測軌跡の座標位置を決定して描画する。これにより、ユーザが知覚される予測の間違いを軽減することができる。
図9に示す円(補助予測軌跡の標準偏差95U1〜3)は、直前軌跡91の表示フレームtの後の未来フレームU=t+1,t+2,t+3における複数(k個)の補助予測軌跡の座標点の標準偏差の大きさを概念的に示した円である。
円の大きさが大きいほど標準偏差が大きい、すなわち補助予測軌跡のばらつきが大きく、平均値として算出される予定の最終決定予測軌跡が不確かであることを示している。
直前軌跡91の最終位置がフレームtにおいて表示された軌跡の座標位置に対応し、そのあとの小さい円95U1が、未来フレームU=t+1の複数の補助予測軌跡によって算出される複数の予測座標の標準偏差を示している。
次の円95U2が未来フレームU=t+2の複数の補助予測軌跡によって算出される複数の予測座標の標準偏差を示している。
次の円95U3が未来フレームU=t+3の複数の補助予測軌跡によって算出される複数の予測座標の標準偏差を示している。
標準偏差が小さいとき、すなわち予測にばらつきが少ない場合にのみ、k本の補助予測軌跡の平均を算出して最終決定予測軌跡の座標位置を決定して描画する。これにより、ユーザが知覚される予測の間違いを軽減することができる。
この標準偏差算出処理と処理結果に応じた処理変更を伴う予測軌跡の算出描画処理のシーケンスについて、図10に示すフローチャートを参照して説明する。
図10は、先に説明した図5のフローと同様、kNN法を適用した予測軌跡の推定と描画処理シーケンスについて説明するフローチャートを示す図である。
なお、このフローチャートに示す処理は、本開示の情報処理装置のデータ処理部、具体的には、例えばプログラム実行機能を有するCPU等からなるデータ処理部の制御の下で実行される。プログラムは、例えば情報処理装置のメモリに格納される。
(ステップS201)
ステップS201〜S202は、先に説明した図5に示すフローのステップS101〜S102の処理と同様の処理である。
まず、ステップS201において、描画済み軌跡から、最新描画軌跡(直前軌跡)と類似する複数個(k個)の軌跡領域(類似軌跡)を検索する。
描画済み軌跡とは、入力デバイスの軌跡解析が完了し、軌跡に応じたラインの描画処理、すなわち表示部に対する出力表示処理が完了した軌跡領域である。
最新描画軌跡(直前軌跡)は、描画済み軌跡中のもっとも新しい軌跡領域であり、描画遅延部に接する軌跡領域である。
直前軌跡は、具体的には、例えば図4に示す最新描画位置72を含む所定長の描画済み領域である。ステップS201では、この最新描画軌跡(直前軌跡)と類似する複数(k個)の軌跡領域(類似軌跡)を、描画済み軌跡から検索する。kは例えば、3,5,10,20,30等、予め規定した数とする。
(ステップS202)
次に、ステップS202において、ステップS201で検索された複数(k個)の軌跡領域(類似軌跡)の後続軌跡を推定または選択し、これらの複数の後続軌跡を最新描画位置の先に接続する。
最新描画位置は、図4に示す例に示す最新描画位置72に対応する。
(ステップS203)
ステップS203以降は、予測軌跡の標準偏差を考慮した処理となる。
複数の類似軌跡に対応する複数の予測軌跡、すなわち、図9に示すk本の補助予測軌跡について、各未来フレーム単位で標準偏差算出を実行し、算出結果に応じてフレーム単位で処理を行なう。
まず、ステップS203で、最初の未来フレームUをU=t+1として設定する。
フレームtは、直前軌跡の先端の最新描画位置を表示したフレームのフレーム番号である。U=t+1は、最新描画位置の表示フレームtの次のフレームに相当する。
(ステップS204)
ステップS204では、k個の補助予測軌跡のフレームUにおける座標位置の標準偏差σuを算出する。
なお、k個の補助予測軌跡に対応する座標位置は、先に図5のフローを参照して説明した処理と同様の処理として実行する。
ステップS204では、さらに、k個のフレームU対応のk個の座標位置の標準偏差σuを算出する。
(ステップS205)
次に、ステップS205において、フレームU対応の標準偏差σuに基づいて予測軌跡の描画が妥当か否か、すなわち信頼度のある予測軌跡が描画できるか否かの判定処理を行なう。
この信頼度判定は、以下の判定式を適用して実行する。
判定式
σu<αVt
上記式において、
αVtが描画判定閾値に対応する。なお、
α:予め設定した係数
Vt:直前軌跡における描画速度
である。
Vtは、図9における直前軌跡の長さsに相当する。sは、フレームt−1とフレームtの1フレーム間で進んだ軌跡の距離に対応する。
Vtは、直前の1フレームで進んだ軌跡の長さであり、直前軌跡81のスピードに相当する。
係数αは、例えば、高信頼度の場合にのみ描画を許容する設定の場合は、値を小さくし、低信頼度でも描画を許容する場合は、値を大きくするなど、状況に応じて変更可能なパラメータであり、例えばユーザ設定可能な値としてもよい。
上記判定式が成立する場合、すなわち標準偏差σuが閾値より小さい場合は、比較的信頼度の高い予測軌跡が決定できると判断し、ステップS206に進む。
一方、上記判定式が成立しない場合、すなわち標準偏差σuが閾値以上である場合は、信頼度の高い予測軌跡の描画は困難であると判断し、ステップS211に進む。
(ステップS206)
ステップS206では、複数(k個)の補助予測軌跡のフレームU対応のk個の座標の平均座標を算出する。
(ステップS207)
ステップS207では、ステップS206で算出した平均座標をフレームU対応の最終決定予測軌跡の座標として、決定し、予測軌跡の描画処理を実行する。
(ステップS208)
ステップS208では、フリームUの先の描画処理を実行すべき未処理フレームがあるか否かを判定する。
ある場合は、ステップS209に進み、ない場合は処理を終了する。
(ステップS209)
ステップS209では、フレーム番号Uの更新処理を実行する。すなわち、
U=U+1
上記設定のフレーム番号の更新なを実行して、ステップS204以降において、次のフレームの処理を開始する。
すべての未処理フレームの処理が終了すると処理を終了する。
(ステップS211)
ステップS211は、ステップS205の判定処理でNoの判定が行われた場合に実行する処理である。
すなわち、ステップS205において、標準偏差σuが閾値以上であり、信頼度の高い予測軌跡の描画は困難であると判断した場合に実行する。
この場合、ステップS211において、予測処理を終了する決定を行う。あるいは、従来型の静的予測処理に切り替える予測方式変更処理を行なう。
このように、図10に示すフローに従った処理を実行することで、信頼度の高い場合に限って予測軌跡を描画することが可能となり、信頼度の低い予測軌跡を描画することによる誤った予測軌跡の表示を抑制可能となる。
[5.入力デバイスの圧力(Pressure)検出情報を適用した処理について]
例えば入力デバイスとして専用ペンを適用した場合、ペンの表示部に対する圧力を検出し、その圧力に応じた信頼度算出を行い、算出した信頼度に応じた予測軌跡の描画制御を行なうことができる。
なお、入力デバイスの表示部に対する圧力(pressure)値は、例えば、入力デバイス、または、表示部表面に設定された圧力検出センサが検出し、検出値が制御部に入力され、信頼度算出に利用される。
入力デバイスとして専用ペンを利用している場合、ペン入力における特徴として、画面からペンが離れる際、ペンが表示部表面から離れる(リリース)数フレーム前から徐々に、圧力値が減少する。
特に、文字を描画している場合の文字の『はらい』部分を描いているとき等に、圧力値が徐々に減少していく傾向が顕著となる。
前述した実施例では、類似軌跡の判定処理に利用する特徴量として、以下の特徴量を利用していた。
(1)速度:Z1
(2)加速度:Z2
(3)角度:Z3
(4)角度差分:Z4
これらの各特徴量に加え、さらに、入力デバイスの表示部に対する筆圧に相当する圧力(pressure)値:Z5、および圧力値変化量:Z6を追加する。
具体的には、フレームt(または時刻t)における圧力値をpとして、特徴量Z5、Z6を以下のように定義する。
フレームtの圧力値:Z5(t)=p
フレームtの圧力値変化量:Z6(t)=p−pt−1
これらの特徴量Z5、Z6を追加して類似軌跡の判定を行なう。
なお、類似判定後の予測軌跡における筆圧予測を行う場合、予測軌跡上の将来フレームu(または将来時刻t)における予測筆圧(圧力値)puは以下の式で算出可能である。
予測筆圧:p=(1/k)Σ n=1sn+u−t
なお、uはフレーム番号(または時間)
kは、抽出した類似軌跡の個数である。
nは、1〜kの変数である。
snは、n=1〜kのk個の各類似軌跡のフレーム番号(または時間)、
である。
学習処理の特徴量として筆圧に相当する圧力値を導入することで、例えばペンのリリース時の予測の精度が向上する。
[6.予測軌跡の算出、描画処理の変形例について]
次に、上述の実施例を基本処理として、さらに効果を高めることが期待できるいくつかの変形例を以下に説明する。
(6−1)描画オブジェクトの種類に応じて学習パターンを変更する処理
例えば、ユーザが入力する描画オブジェクトの種類に応じて学習パターンを変更する。具体的には、ユーザの描画オブジェクトが絵であるか、文字であるか、さらに、文字である場合、その種類、例えばアルファベット、日本語であるか、漢字であるかひらがなであるか等、文字の種類にに応じて学習パターンを変える。
絵やテキスト等、描く対象毎に形の特徴が異なることを応用して予測処理を実行する。例えば、漢字はアルファベットに比べて直線や鋭角な切り替えし、短い線等が多く、全体的に長い曲線を多用するアルファベットとは特徴が大きく異なっている。
このように、描画オブジェクトの種類に応じて、類似軌跡の抽出や予測軌跡の決定に利用する特徴量を変更することで、より精度の高い処理が可能となる。
(6−2)視線とペン先の相対位置によって予測軌跡の描画態様を変更する処理
予測軌跡を表示部に描画する場合、視線とペン先の相対位置によって予測軌跡の描画態様を変更する処理例について説明する。
例えば入力デバイスとして専用ペンを用いて線を描画する場合、右ききのユーザが右手にペンを持ち、左から右方向に線を描く場合、右手の左側のスペースはよく観察できる。しかし、右から左に線を描く場合、右側のスペースは手にかくれて見えなくなる。
このように見えなくなる部分に予測軌跡を描画してもユーザからは、よく観察できない。従って、このような部分の予測処理は実行しない。あるいは予測フレーム数を減少させるといった対応を行う。
すなわち、左から右方向に線分を描画している場合は予測フレーム数ほ増加させ、右から左方向に線分を描画している場合は、予測を停止または予測フレーム数を減少させる制御を行う、
なお、左ききのユーザの場合は、右ききのユーザの場合の処理と逆の処理を行なうことになる。
(6−3.その他の予測処理との組み合わせを適用した処理例について)
上述した軌跡の予測処理について、その他の予測処理を併せて利用することで、さらにな予測精度を高めることが可能となる。
((a)単語予測処理との併用)
例えば、ユーザの描画オブジェクトが文書である場合、単語予測を行い、単語予測結果を利用して予測の精度を向上させることができる。
例えば、次に書く文字を単語予測によって推定し、推定文字に応じた軌跡を推定して、この推定結果と類似する補助予測軌跡の重みを高めるといった処理を行なう。
((b)動的予測と静的予測との切り替え利用処理)
上述した過去の軌跡から類似軌跡を検索して、予測軌跡を決定する学習処理を適用した処理は、動的予測処理であるが、直前軌跡のみのデータを利用した線形近似等による軌跡推定処理を行なう従来型の静的予測処理も有効な場合がある。
描画アプリの起動時やユーザが変わったときなど、その環境における学習が十分に進んでいない場合には、動的な予測方式では精度が下がる。このような場合には静的な予測方式を採用した予測処理のほうが有効である場合がある。その後、類似軌跡を検索するに十分な描画済み軌跡が得られた場合には動的予測に切り替える。
このように、状況に応じて動的予測と静的予測を切り換えることで、状況に応じた最適予測が可能となる。
((c)文字データベースを考慮した予測との併用)
一般的に文字入力可能な機器では、文字データベース(フォントデータベース)がメモリに格納されている。このような機器では、ユーザの描画軌跡に類似する文字を文字データベースから検索する処理を行なう機能を有しているものが多い。
この機能を利用し、ユーザの書いている文字と類似する文字をデータベースから選択し、選択文字に応じた軌跡を推定して、この推定結果と類似する補助予測軌跡の重みを高めるといった処理を行なう。
((d)文字スケールに依存しない予測処理例)
例えば、ユーザが文字を描く場合、その大きさ(スケール)は時と場合によって異なる。上述した実施例では、類似軌跡の判定において、スケールが異なる場合に、性格な類似判定が困難になる場合がある。
この問題を解消するため、例えばユーザの描いた1つの文字の文字サイズを判定し、判定した文字サイズを予め設定した標準サイズを持つ絶対スケールに変換する処理を実行して、絶対スケールを持つ軌跡を用いた比較処理等を実行する。
なお、スケール変換処理は、例えば拡大処理、縮小処理、補間処理、間引き処理などを組み合わせて実行する。
このような処理を行なうことで、スケールの差に基づく誤判定を減少させることが可能となる。
(6−4.その他の変形例)
予測軌跡をどこまで描画するかについては様々な設定が可能である。例えば、情報処理装置の処理能力に応じた最大の処理を行なう設定としてもよいし、予め規定した実際のペン位置から所定距離、手前の位置までとする設定や、ユーザの希望する範囲にユーザ設定可能な構成としてもよい。
なお、情報処理装置の処理能力(パフォーマンス)をベンチマークして算出して算出結果に応じて予測軌跡の描画範囲を領域する構成としてもよい。
また、情報処理端末の機器種別を判別して予測軌跡の描画範囲を決定する。あるいは文字描画を行うアプリか、絵の描画を実行するアプリか等、実行アプリケーションに応じて、予測軌跡の描画範囲を決定する構成としてもよい。
さらに、過去の描画軌跡を用いた類似判定処理等を行う場合、過去の類似軌跡をその軌跡を描画したユーザの識別子であるユーザIDに対応付けてメモリに格納する構成とし、類似判定や予測軌跡の描画を行なう場合に、同一ユーザの過去の軌跡情報を選択して利用する構成としてもよい。
また、機器の利用に際して、ユーザが右ききであるか左ききであるかを判別、あるいは入力する設定として、利き手情報に応じて予測軌跡の描画設定を変更する構成としてもよい。
ハードウェアの構成から遅延時間を判断し、予測フレーム数を決定する方法としては、例えば、以下の処理が適用できる。
まず、情報処理装置端末の製品番号、端末に用いられているタッチパネルのID、タッチパネルドライバのID、グラフィックチップのIDなどの情報を取得する。
次に、これらのIDと遅延時間との対応データを格納したデータベースと照合して遅延時間を推定し、予測フレーム数を決定する。
なお、この際に参照するデータベースは、情報処理端末内に格納してもよいし、ネットワーク上のサーバに置く構成としてもよい。サーバを利用する場合は、取得したID情報を端末からサーバに送信し、推定遅延時間または予測フレーム数をサーバから受信する。
また、遅延時間を実測して予測フレーム数を決定する構成としてもよい。すなわち、入力デバイスによる入力検出から描画完了までの時間を内部で計測し、計測される時間に基づき予測フレーム数を決定する構成としてもよい。なお、入力デバイスによる入力検出および描画完了の検出は、タッチ検出ドライバ、グラフィックドライバの信号に基づき推定してもよいし、カメラ撮像される画像を基に画像認識することにより推定してもよい。
なお、軌跡予測処理を実行するか否かを入力デバイスに応じて切り替え可能な構成としてもよい。
例えば入力デバイスが専用ペンである場合は、軌跡予測を実行し、入力デバイスが指(タッチ入力)の場合は、軌跡予測を実行しないとする設定としてもよい。
入力デバイスとしてはその他、例えばマウス等もあり、各種の入力デバイスに応じて軌跡予測を実行するかしないかを切り替え可能な構成とすることができる。
また、ユーザ設定によって軌跡予測処理を実行するか否かを設定可能な構成としてもよい。
さらに、予測軌跡と実軌跡との差分を、逐次算出し、差分が予め規定した閾値以上となる場合には、軌跡予測を停止(OFF)とするという制御を実行する構成としてもよい。
また、軌跡予測を実行して、描画アプリケーションを終了する場合には、軌跡予測に適用した学習結果データをアプリの利用ユーザIDに対応付けたログデータとしてメモリに保存する。このような処理を行なうことで、再度、アプリケーションを立ち上げた際に、ユーザIDを入力することで、メモリに保存されたユーザ対応の学習データを利用可能となり、ユーザ対応の学習結果を利用した軌跡予測を即時実行可能となる。
[7.予測軌跡の描画態様を制御する実施例について]
次に、予測軌跡の描画態様を制御する実施例について説明する。
上述したように、本開示の処理では、描画済みの軌跡(実軌跡)から学習により未来の軌跡を予測して、予測軌跡を描画する処理を実行する。
しかし、表示部に表示される予測軌跡は、実際の軌跡からずれてしまう場合もある。このように、実際の軌跡とずれる可能性のある「予測軌跡」を、実軌跡に対応する「描画済み軌跡」と同様の態様で表示すると、ユーザにとってはかえって迷惑となる場合がある。
以下では、このような誤りの可能性のある「予測軌跡」の表示態様を実軌跡である「描画済み軌跡」と異なる態様で表示する実施例について説明する。
予測軌跡の表示制御処理手法について、下記の5つの処理例に分けて、順次説明する。
(処理例1) 実軌跡対応の「描画済み軌跡」を実線として表示し、「予測軌跡」を実線より目立たない様に、色、透過率、太さの少なくともいずれかを変更して表示する。
(処理例2) 1フレームごとに予測軌跡を更新する。すなわち、表示した予測軌跡を、次の描画フレームでは消去して新たな予測軌跡を描画する。
(処理例3) 予測軌跡の信頼度指標値に応じて長さ、色、透過率、太さの少なくともいずれかを変更する。
(処理例4) 状況に応じて予測軌跡の描画をオン/オフ、すなわち表示または非表示の切り替えを行う。
(処理例5) 予測軌跡が実軌跡から外れた場合、予測軌跡の表示態様を変更して予測軌跡を目立たなくする制御を行う。
なお、予測軌跡の決定処理は、先に説明した処理と同様である。以下に説明する表示制御処理例では、先に説明した予測軌跡の推定処理に従って決定した予測軌跡の表示態様を制御する処理を行なう。
図11は、先に説明した図9と同様の図であり、予測軌跡の決定処理に適用する複数(k本)の補助予測軌跡と補助予測軌跡の各座標位置の標準偏差の一例を示す図である。
図11には入力デバイスである専用ペンの実際の軌跡である実軌跡に従って表示された描画済み軌跡100と、前述の実施例、すなわち例えば図5に示すフローに従った処理によって算出された補助予測軌跡103と、補助予測軌跡103の平均軌跡として算出された予測軌跡105を示している。
描画済み軌跡100の先端は座標(x,y)の最新描画位置102であり、最新描画位置102はフレームtにおいて表示された最新描画位置102である。
フレームt−1〜フレームtまでの描画軌跡が長さsの直前軌跡である。
先に説明したようにkNN法に基づいて、任意の時点においてk本の補助予測軌跡103が計算される。k本の予測軌跡は、状況に応じてばらつき具合が異なってくる。複数の補助予測軌跡103のばらつきが大きいということは、「過去の軌跡の中で、今回の軌跡に近い最適なものの確度が低い。すなわち、k本の平均値を取って設定される予測軌跡105が実際の軌跡に等しくなる確率が低いということである。
このばらつきの度合いを示す指標として補助予測軌跡k本の各座標位置の標準偏差σを算出する。図11に示す円(補助予測軌跡の標準偏差104−U1〜U3)は、直前軌跡101の表示フレームtの後の未来フレームU=t+1,t+2,t+3における複数(k個)の補助予測軌跡の座標点の標準偏差の大きさを概念的に示した円である。
円の大きさが大きいほど標準偏差が大きい、すなわち補助予測軌跡のばらつきが大きく、平均値として算出される予定の最終決定予測軌跡が不確かであることを示している。
直前軌跡101の最終位置がフレームtにおいて表示された軌跡の座標位置に対応し、そのあとの小さい円104−U1が、未来フレームU=t+1の複数の補助予測軌跡によって算出される複数の予測座標の標準偏差を示している。
次の円104−U2が未来フレームU=t+2の複数の補助予測軌跡によって算出される複数の予測座標の標準偏差を示している。
次の円104−U3が未来フレームU=t+3の複数の補助予測軌跡によって算出される複数の予測座標の標準偏差を示している。
本実施例では、この標準偏差を予測軌跡対応の信頼度指標値として用い、例えば信頼度指標値に応じた表示制御を実行する。
図12は、各未来フレームU=t+1,t+2,t+3の信頼度の算出例を示す図である。
図12に示すように、フレームtにおいて表示された最新描画位置(x,y)102の先に前述の図5に示すフローに従った処理によって算出された予測軌跡105が描画される。最新描画位置102はフレームtにおいて表示された最新描画位置102である。フレームt−1〜フレームtまでの描画軌跡が長さsの直前軌跡である。
フレームtにおいて表示された最新描画位置(x,y)102の先に前述の図5に示すフローに従った処理によって算出された予測軌跡105が描画される。
予測軌跡は、以下の各点を結ぶ設定で設定される。
未来フレームu=t+1の予測座標(px1,py1)からなる予測点111、
未来フレームu=t+2の予測座標(px2,py2)からなる予測点112、
未来フレームu=t+3の予測座標(px3,py3)からなる予測点113、
これらの各点を結ぶ設定で予測軌跡105が設定され表示される。
この予測軌跡105は、先に図5、図6を参照して説明したように、複数の類似軌跡に応じて算出される補助予測軌跡の平均軌跡として算出された軌跡である。
すなわち、先に図6を参照して説明したように、描画済み軌跡100中から、最新描画位置102までの直前軌跡を含む領域に類似する類似軌跡を複数個(k個)抽出し、この類似軌跡に基づいて設定したk個の補助予測軌跡の平均値が予測軌跡105に設定される。
図11を参照して説明したように、抽出したk本の補助予測軌跡は、所定のばらつきを持つ。このk本の補助予測軌跡のばらつき度合いを標準偏差σとして算出し、これを信頼度指標値として用いる。
例えば、フレームtにおいて表示される最新描画位置(x,y)の先の予測軌跡105上の各点の信頼度指標値(=標準偏差)は、図12に示すような設定となる。
k個の補助予測軌跡対応の座標位置に基づいて算出される標準偏差、すなわち信頼度指標値は、以下のような設定となる。
未来フレームu=t+1の予測座標(px1,py1)からなる予測点111の信頼度指標値:SD[1]=0.08、
未来フレームu=t+2の予測座標(px2,py2)からなる予測点112の信頼度指標値:SD[2]=3.75、
未来フレームu=t+3の予測座標(px3,py3)からなる予測点113の信頼度指標値:SD[3]=8.52、
このように各フレーム対応の信頼度指標値を算出する。
なお、信頼度指標値は、前述したように補助予測軌跡のばらつき度合いを示す標準偏差に対応し、値が小さいほど信頼度が高く、値が大きいと信頼度が低いことを示す値である。
これら、各未来フレームuに対応する予測軌跡の信頼度指標値SD[u]に応じて予測軌跡の表示態様を制御する。
なお、uはフレーム番号として説明するが、uを時間に設定した処理を行なうことも可能である。
この信頼度指標値に応じた表示制御は、具体的には、前述の5つの処理態様、すなわち、以下の5つの処理例のいずれか、または組み合わせとして実行可能である。
(処理例1)実軌跡対応の「描画済み軌跡」を実線として表示し、「予測軌跡」を実線より目立たない様に、色、透過率、太さの少なくともいずれかを変更して表示する。
(処理例2)1フレームごとに予測軌跡を更新する。すなわち、表示した予測軌跡を、次の描画フレームでは消去して新たな予測軌跡を描画する。
(処理例3)予測軌跡の信頼度指標値に応じて長さ、色、透過率、太さの少なくともいずれかを変更する。
(処理例4)状況に応じて予測軌跡の描画をオン/オフ、すなわち表示または非表示の切り替えを行う。
(処理例5)予測軌跡が実軌跡から外れた場合、予測軌跡の表示態様を変更して予測軌跡を目立たなくする制御を行う。
以下、各処理例の具体的態様と効果について説明する。
(処理例1)
処理例1は、実軌跡対応の「描画済み軌跡」を実線として表示し、「予測軌跡」を実線より目立たない様に、色、透過率、太さの少なくともいずれかを変更して表示するものである。
具体的な表示制御例について、図13を参照して説明する。
図13には、以下の各軌跡の表示態様例を示している。
(1)描画済み軌跡(実軌跡対応)
(2)予測軌跡
これらの2つの軌跡について、以下のような表示制御を行う。
(A)表示する色を制御し、(1)描画済み軌跡(実軌跡対応)=黒の実線として表示し、(2)予測軌跡=黒以外(例えば赤)の実線として表示する。
(B)表示する線の透過率を制御し、(1)描画済み軌跡(実軌跡対応)=透過しない黒の実線(透過率0%)として表示し、(2)予測軌跡=透過する黒の実線(例えば透過率50%)として表示する。
(C)表示する線の太さを制御し、(1)描画済み軌跡(実軌跡対応)=黒の実線(太線)として表示し、(2)予測軌跡=黒の実線(細線)として表示する。
例えば、上記(A)〜(C)のいずれか、または組み合わせた表示制御を行う。
具体的な表示例を図14に示す。図14に示す例は、図13(C)の表示制御例に対応する例である。すなわち、表示する線の太さを制御する例であり、(1)描画済み軌跡(実軌跡対応)=黒の実線(太線)として表示し、(2)予測軌跡=黒の実線(細線)として表示した制御例である。
このように、(1)描画済み軌跡(実軌跡対応)と、(2)予測軌跡とを異なる態様で表示する表示制御を行うことで、ユーザ(描画者)は、実軌跡に対応する描画済み軌跡と、予測軌跡とを明確に区別して認識することが可能となり、予測軌跡に惑わされない描画処理が可能となる。
さらに、この(処理例1)の表示制御を発展させて、信頼度に応じて予測軌跡の表示態様を設定としてもよい。
具体的な表示制御例について、図15を参照して説明する。
図15には、図13と同様、以下の各軌跡の表示態様例を示している。
(1)描画済み軌跡(実軌跡対応)
(2)予測軌跡
これらの2つの軌跡について、以下のような表示制御を行う。
(A)表示する色を制御し、(1)描画済み軌跡(実軌跡対応)=黒の実線として表示し、(2)予測軌跡=黒以外の実線として表示する。
さらに、予測軌跡については、信頼度に応じて色を変更する。
例えば信頼度が高い予測軌跡は赤、信頼度が低い予測軌跡は黄色等、信頼度に応じて色を変化させる設定とする。
(B)表示する線の透過率を制御し、(1)描画済み軌跡(実軌跡対応)=透過しない黒の実線(透過率0%)として表示し、(2)予測軌跡=透過する黒の実線として表示する。
さらに、予測軌跡については、信頼度に応じて透過率を変更する。
例えば信頼度が高い予測軌跡は透過率を低く設定し、信頼度が低い予測軌跡は透過率を高く設定する。
(C)表示する線の太さを制御し、(1)描画済み軌跡(実軌跡対応)=黒の実線(太線)として表示し、(2)予測軌跡=描画済み軌跡より細い黒の実線として表示する。
さらに、予測軌跡については、信頼度に応じて太さを変更する。
例えば信頼度が高い予測軌跡は中太線、信頼度が低い予測軌跡は細線等、信頼度に応じて線の太さを変化させる設定とする。
例えば、上記(A)〜(C)のいずれか、または組み合わせた表示制御を行う。
具体的な表示例を図16に示す。図16に示す例は、図15(C)の表示制御例に対応する例である。すなわち、表示する線の太さを制御する例であり、(1)描画済み軌跡(実軌跡対応)=黒の実線(太線)として表示し、(2)予測軌跡=黒の実線として、さらに信頼度が高い予測軌跡は中太線、信頼度が低い予測軌跡は細線として表示した制御例である。
このように、(1)描画済み軌跡(実軌跡対応)と、(2)予測軌跡とを異なる態様とし、さらに、予測軌跡については、その信頼度に応じて異なる表示とする表示制御を行うことで、ユーザ(描画者)は、実軌跡に対応する描画済み軌跡と、予測軌跡とを明確に区別し、さらに予測軌跡の信頼度を確認することが可能となる。
(処理例2)
次に処理例2について説明する。処理例2は、1フレームごとに予測軌跡を更新する。すなわち、表示した予測軌跡を、次の描画フレームでは消去して新たな予測軌跡を描画する処理例である。
具体的な表示例について図17を参照して説明する。
図17には、以下の2つの連続フレームの表示例を示している。
(a)フレームnの表示例
(b)フレームn+1の表示例
(a)に示すフレームnの表示例では、実軌跡に対応する描画済み軌跡100の最新描画位置102から先に予測点1,111、予測点2,112、予測点3,113を結ぶ予測軌跡105が表示されている。なお、この時点の実軌跡は図に示す実軌跡121であるとする。この実軌跡121は表示されていない。
次のフレームである図に示す(b)フレームn+1の表示例では、最新描画位置は、更新され、更新最新描画位置122となる。この位置は、フレームnにおける予測点1,111とほぼ一致する位置となる。
さらに、予測軌跡105の各予測点もそれぞれ更新され、フレームnより先の位置に各予測点が更新予測点1〜3,131〜133として設定され、これらの更新予測点を結ぶように予測軌跡105が表示されることになる。
このように、(処理例2)では毎フレーム毎に予測線を消して、新たな点として再描画する。これにより画面のリフレッシュレートに応じた長さで予測線が更新されていくことになり、毎フレーム毎に確度の高い予測線に置き換えた表示が実現される。
(処理例3)
次に処理例3について説明する。処理例3は、予測軌跡の信頼度指標値に応じて長さ、色、透過率、太さの少なくともいずれかを変更する処理例である。
この(処理例3)は(処理例1)の拡張であり、予測軌跡の信頼度指標値に応じて表示する長さを変更する表示制御を行うものである。
信頼度指標値は、先に図11、図12を参照して説明した補助予測軌跡の標準偏差に相当する値であり、値が小さいほど予測軌跡の信頼度が高く、値がおおきいほど予測軌跡の信頼度が低いことを示す。
信頼度指標値の値が大きい場合は、実際の軌跡から外れている可能性が高い。このような場合は、予測軌跡を表示しない設定とする。
具体的には、先に、図11、図12を参照して説明した各予測点の信頼度指標値(標準偏差)と予め設定したしきい値(信頼度しきい値)を比較し、信頼値指標値が所定のしきい値を下回っていない場合、その予測点に至る直前の予測軌跡を描画しない対応を行う。
この表示制御処理例について、図18を参照して説明する。
図18において、表示予定の予測軌跡105を構成する3つの予測点の信頼度指標値が以下のように算出されたものとする。
(a)予測点1,111の信頼度SD[1]=0.08
(b)予測点2,112の信頼度SD[2]=3.75
(c)予測点3,113の信頼度SD[3]=8.52
なお、上記の信頼度指標値は、先に図11、図12を参照して説明したように、各予測点を算出するために用いた類似軌跡対応の補助予測軌跡の座標位置の標準偏差σに対応し、値が小さいほど信頼度が高いことを意味する。
ここで、予測軌跡の表示、非表示を決定するしきい値は、描画済み軌跡中の直前軌跡の速度、すなわち、図18に示す直前軌跡161の移動速度に応じて変動する値とする。
具体的には、予め規定した定数αに直前軌跡161の移動速度Vtを乗じた値、すなわち、
α×Vt
をしきい値として用いる。
αは、予め設定した係数である。
なお、Vtは、例えば直前軌跡の1フレーム間の移動距離sを適用することが可能である。すなわち、移動速度を1フレーム間の移動距離として定義して、図18に示すフレーム間の軌跡移動距離sを適用し、
α×s
をしきい値としてもよい。
例えば、上記のしきい値α×sと、予測軌跡上の予測点の信頼度指標値(標準偏差)SD[u]を比較する。なお。uは最新描画位置の表示フレームtの表示フレーム以降の未来フレーム番号を意味する。図18では、uは最新描画位置の表示フレームtをt=0として、未来フレーム1,2,3に対応する予測点の信頼度指標値をそれぞれSD[1]、SD[2]、SD[3]として示している。
この各予測点の信頼度指標値と、しきい値α×sとの比較判定式、すなわち、
SD[u]<α×s
上記判定式を用いて、各予測点以降の予測軌跡を表示するか否かを決定する。
上記判定式を満足する場合、すなわち、
予測点の信頼度指標値SD[u]が、しきい値α×sより小さい値である場合、その予測点の信頼度は高いと判定し、その予測点までの予測軌跡を描画し表示する。
一方、予測点の信頼度指標値SD[u]が、しきい値α×sより小さくない値である場合、その予測点の信頼度は低いと判定し、その予測点までの予測軌跡の描画表示を中止する。
例えば、図18に示す各予測点の信頼度指標値を用いた予測軌跡の描画判定は以下のような設定となる。
なお、一例として、
係数α=1.5
直前軌跡の1フレーム間の移動距離s=4.0
上記設定とする。この設定とした場合、図18に示す各予測点の信頼度指標値SD[u]と、しきい値との比較判定式、
SD[u]<α×s
上記比較判定式に各予測点の信頼度指標値を代入し、上記式を満足するか否かを判定する。
予測点1は、信頼度指標値:SD[1]=0.08である。
すなわち、
SD[1]=0.08、
α×s=1.5×4.0=6
であり、
SD[1]=0.08<6.0
上記式が成立し、
SD[u]<α×s
上記判定式を満たす。
また、予測点2は、信頼度指標値:SD[2]=3.75である。
すなわち、
SD[2]=3.75、
α×s=1.5×4.0=6
であり、
SD[2]=3.75<6.0
上記式が成立し、
SD[u]<α×s
上記判定式を満たす。
また、予測点3は、信頼度指標値:SD[3]=8.52である。
すなわち、
SD[3]=8.52、
α×s=1.5×4.0=6
であり、
SD[3]=8.52<6.0
上記式が成立しない。すなわち、
SD[u]<α×s
上記判定式を満たさない。
このように、予測点1と予測点2の信頼度指標値SD[1],SD[2]は、しきい値αs=1.5×4.0=6.0より小さく、
SD[u]<α×s
上記判定式を満足し、信頼度が高いと判定し、これらの各点までの予測軌跡については、描画、表示を実行する。
しかし、予測点3の信頼度指標値SD[3]は、しきい値αs=1.5×4.0=6.0より小さくなく、
SD[u]<α×s
上記判定式を満足せず、信頼度が低いと判定し、この予測点に至る直前の予測軌跡については、描画、表示を実行しないと決定する。
図18に示すように、予測点2,112から予測点3,113に至る予測軌跡は、非表示予測軌跡151となる。
この(処理例3)の処理においては、信頼度の低い予測軌跡は非表示となり、信頼度の高い予測軌跡のみが表示されるので、ユーザ(描画者)は、実軌跡により近い予測軌跡のみを観察した処理が可能となる。
なお、上述の(処理例3)の説明では、
SD[u]<α×s
上記判定式において係数α=1.5等の固定値として説明した。上記判定式を満足し、信頼度が高いと判定した場合は、これらの各点までの予測軌跡については、描画、表示を実行し、上記判定式を満足せず、信頼度が低いと判定した場合は、これらの各点までの予測軌跡の描画、表示を停止する処理例として説明した。
すなわち、上記の処理例は、信頼度依存の表示制御であるが、この他の処理例として、信頼度に関わらず予測軌跡の先端にいくほど予測軌跡を薄く(透過度を高く)して表示する処理や、色をしだいに薄くして表示する処理、あるいは線をより細くして表示する制御を行う構成としてもよい。なお、この制御は、上記の判定式における係数αを予測軌跡の先端に向かうに従って変化させて判定する処理を行なうことでも実現可能である。
(処理例4)
次に処理例4について説明する。処理例4は、状況に応じて予測軌跡の描画をオン/オフ、すなわち表示または非表示の切り替えを行う処理例である。
具体例について、図19以下を参照して説明する。
図19には、この(処理例4)を実行する条件となる2つの検出状態を示している。
例えば図19に示す(A),(B)いずれかの状態が検出された場合に、この(処理例4)に従って予測軌跡のオンオフ制御を実行する。すなわち、以下のような状況検出の場合である。
(A)単位時間あたりの入力デバイス圧力値の低下量が規定しきい値[Thp]以上であることを検出した場合、
(B)単位時間あたりの入力デバイス移動量が規定しきい値[Thd]未満であることを検出した場合、
たとえ萩、上記(A),(B)のような状態を検出した場合に、予測軌跡をオフトする処理を行なう。
上記(A)は、入力デバイス、例えば専用ペンが表示部から離れる動作を行っていることが予測される。このような状態で、予測軌跡を継続表示すると、ユーザの実軌跡が無いにも関わらず、予測軌跡のみが描画されるオーバーシュートが発生する可能性がある。このようなオーバーシュートを防止するため。このような場合は予測軌跡の描画を停止する。
また、上記(B)は、入力デバイス、例えば専用ペンの動きが停止することが予想される。このような状態で、予測軌跡を継続表示すると、上記(A)と同様、ユーザの実軌跡が無いにも関わらず、予測軌跡のみが描画されるオーバーシュートが発生する可能性がある。このようなオーバーシュートを防止するため。このような場合は予測軌跡の描画を停止する。
なお、入力デバイスは専用ペンに限定されるものではなく、例えば指である場合もある。
図19の(A)に対応する具体的な圧力値の変化について図20を参照して説明する。
図20の上段のグラフは、入力デバイスの表示部に対する圧力値(P)の時間推移を示すグラフである。
横軸が時間(t)であり、縦軸が入力デバイスの表示部に対する圧力値(P)を示している。なお、横軸の時間(t)は、表示フレームのフレーム番号に置き換えていもよい。
時間T1〜T5の圧力値(P)の推移は以下の通りである。
時間T1:圧力値=0.53
時間T2:圧力値=0.54
時間T3:圧力値=0.42
時間T4:圧力値=0.30
時間T5:圧力値=0.00
このように時間経過とともに、次第に圧力値が減少している。これは、例えばペンが表示部から徐々に離れている状態であると推定される。
図20の下段のグラフは、上段の圧力値の時間推移でーたに基づいて作成されるグラフであり、単位時間当たりの圧力値の変化量である圧力値差分データの時間推移を示すグラフである。
横軸が時間(t)であり、縦軸が入力デバイスの表示部に対する圧力値の単位時間あたりの差分値である圧力値差分(ΔP)を示している。
例えば、時間T2に示す圧力値差分の値=+0.01は、時間T2の圧力値=0.54とその前の圧力計測時間である時間T1の圧力値=0.53との差分、すなわち、
0.54−0.53=+0.01
上記の差分値を示している。
時間T3の差分値は時間T3の圧力値と時間T2の圧力値との差分、以下、同様である。
時間T1〜T5の圧力値差分(ΔP)の推移は以下の通りである。
時間T1:圧力値差分=0.0
時間T2:圧力値差分=+0.01
時間T3:圧力値差分=−0.12
時間T4:圧力値差分=−0.12
時間T5:圧力値差分=−0.30
ここで、圧力値差分のしきい値[THp]を−0.09とする。
THp=−0.09
である。
各時間において、計測された圧力値差分が上記しきい値(−0.09)より大きな低下量となったときに、予測軌跡の表示を停止(OFF)とする制御を行う。
図20に示す例では、時間T3のタイミングの圧力値差分=−0.12が、しきい値(−0.09)より大きな低下量を示しているので、この時点で、予測軌跡の表示を停止する。
このような予測軌跡の表示停止処理を行なうことで、ユーザの入力デバイスが表示部から離れた以降の予測軌跡を誤って表示してしまうオーバーシュートを防止することが可能となる。
次に、図19の(B)に示す入力デバイスの単位時間あたりの移動量に応じた処理について図21を参照して説明する。
図21に示すグラフは、入力デバイスの表示部における単位時間あたりの移動距離(D)の時間推移を示すグラフである。
横軸が時間(t)であり、縦軸が入力デバイスの表示単位時間あたりの移動距離(D)を示している。なお、横軸の時間(t)は、表示フレームのフレーム番号に置き換えていもよい。
単位時間あたりの移動距離(D)は、例えば1表示フレーム間の移動距離である。
例えば、時間T1に示す移動距離15は、その前のフレーム表示タイミングである時間(T0)から月のフレーム表示時間である時間(T1)までのフレーム間隔の間に入力デバイスの移動した距離に相当する。
時間T1〜T5の単位時間移動距離(D)の推移は以下の通りである。
時間T1:単位時間移動距離=15
時間T2:単位時間移動距離=10
時間T3:単位時間移動距離=3
時間T4:単位時間移動距離=2
時間T5:単位時間移動距離=1
このように時間経過とともに、次第に単位時間移動距離が減少している。これは、例えばペンが表示部上で徐々に停止している状態であると推定される。
ここで、単位時間移動距離のしきい値[THd]を4とする。
THd=4
である。
各時間において、計測された単位時間移動距離が上記しきい値(4)以下となったときに、予測軌跡の表示を停止(OFF)とする制御を行う。
図21に示す例では、時間T3のタイミングの単位時間移動距離=3が、しきい値(4)以下の値を示しているので、この時点で、予測軌跡の表示を停止する。
このような予測軌跡の表示停止処理を行なうことで、ユーザの入力デバイスが表示部上で停止した以降の予測軌跡を誤って表示してしまうオーバーシュートを防止することが可能となる。
(処理例5)
次に処理例5について説明する。処理例5は、予測軌跡が実軌跡から外れた場合、予測軌跡の表示態様を変更して予測軌跡を目立たなくする制御を行う処理例である。
この処理例5の具体例について、図22を参照して説明する。
図22に示す(a)表示例は、通常の表示例である。描画済み軌跡100と予測軌跡105が表示されている。予測軌跡105は予測点1〜3を連結する線として表示される。予測点1〜3は、前述したように複数の類似軌跡から算出される複数の補助予測軌跡の構成座標の平均位置である。
なお、図に示す実軌跡121は、表示部には表示されていない。
図22(b)は、本処理例5を適用した場合の表示例である。図22(b)では、予測軌跡105の表示領域が、表示態様変更領域171として設定され、予測軌跡105が目立たない表示態様に変更される。
これは、予測軌跡の信頼度が低い場合に実行される。
具体的には、例えば、先に説明した信頼度指標値の値を利用した処理を行なう。
予測軌跡105の構成点として設定される予測点1,111〜予測点3,113の各々について、信頼度指標値SD[u]が算出される。この信頼度指標値は、予測点の算出に適用した複数の補助予測軌跡(図11参照)の構成座標の標準偏差(σ)に対応する。
信頼度指標値の値が、所定値以上であり、信頼度が低いと判定された場合、図22(b)に示すように、予測軌跡105の表示領域を表示態様変更領域171として設定して、予測軌跡105が目立たない表示態様に変更する。
このような表示制御を行うことで、実軌跡から離れた誤った予測軌跡をユーザ(描画者)に目立たなく提示することが可能となる。
[8.予測軌跡の表示制御の処理シーケンスについて]
次に、予測軌跡の表示制御の処理シーケンスについて、図23以下のフローチャートを参照して説明する。
図23に示すフローチャートは、表示制御処理の基本シーケンスであり、上述した(処理例1)〜(処理例3)に従った表示制御を実行するシーケンスを説明するフローチャートである。
図24に示すフローチャートは、上述した(処理例1)〜(処理例3)に加え、入力デバイスの圧力値等に応じた予測軌跡の描画制御を実行する表示制御シーケンスを説明するフローチャートである。
なお、これらのフローチャートに示す処理は、本開示の情報処理装置のデータ処理部、具体的には、例えばプログラム実行機能を有するCPU等からなるデータ処理部の制御の下で実行される。プログラムは、例えば情報処理装置のメモリに格納される。
まず、図23に示すフローチャートを参照して上述した(処理例1)〜(処理例3)に従った表示制御を実行するシーケンスについて説明する。
(ステップS301)
まず、ステップS301において、入力デバイスに基づく入力イベントを検出する。具体的はには例えば専用ペンの入力表示部に対するタッチ位置の検出処理である。
この処理は、時間(またはフレーム)=tと、その時間に対応するペンの接触位置座標(x,y)情報の検出処理として行われる。
(ステップS302)
情報処理装置は、ステップS301において入力されたイベント情報を適用して、表示部に対する軌跡を描画することになるが、前述したようにペンの実軌跡に対応する描画処理が間に合わない領域、すなわち、図1を参照して説明した描画遅延領域23が発生する。
この描画遅延領域に予測軌跡を描画するために、過去の描画済み軌跡の軌跡情報を用いた学習処理を行なう。
すなわち、図5〜図8等を参照して説明した処理に従って予測軌跡を推定するための学習処理を行なう。具体的には、図6に示すように、描画済み軌跡80の最新描画位置81を含む直前軌跡82と類似する類似軌跡を描画済み軌跡80から検出する処理等を実行する。
ステップS302では、この類似軌跡検出等の学習処理を実行する。
(ステップS303)
ステップS303では、ステップS302において検出した類似領域を用いた予測軌跡の推定処理を実行する。
なお、予測軌跡の推定処理の手順としては、複数(k個)の類似軌跡に応じて推定される未来フレームuに対応するk個の座標を算出し、これらk個の座標の平均位置をフレームuにおける予測軌跡の構成座標とする処理を行なう。
予測する未来フレームをn点先までとした場合、予測軌跡を構成する座標と、各予測座標の信頼度指標値SDを個別に算出する。すなわち、(x,y0,sd)〜(x,y,sd)を算出する。ここでは、予測未来フレーム番号に対応する変数をiとして、i=0〜nのn+1個の座標位置と信頼度指標値を算出する設定とする。
(ステップS304)
ステップS304〜S308は、予測軌跡の構成座標に対応するi=0〜nの各座標位置について、各座標位置の信頼度指標値に従った処理を繰り返し実行するループ処理となる。
なお、信頼度指標値SDは、先に図12等を参照して説明したように、複数の類似軌跡に基づいて算出される各未来フレームの複数の推定座標の標準偏差σに相当する値である。
(ステップS305)
ステップS305において、予測軌跡の構成座標(x,y)の信頼度指標値SD[i]の値と、しきい値(α×s)との比較を実行する。
なお、先に図18等を参照して説明したように、αは予め設定した係数であり、sは、図18に示すような直前軌跡161における1フレーム間の軌跡移動距離sである。
ステップS305では、
SD[i]<α×s
上記判定式が成立するか否かを判定する。
上記判定式が成立する場合、その予測軌跡の構成座標(x,y)は、算出元となった複数の類似軌跡に従って算出された複数の予測座標位置の標準偏差σが小さい、すなわち、ばらつきが小さいことを意味する。この場合、その予測軌跡の構成座標(x,y)の信頼度は高いと判定し、ステップS306に進む。
一方、上記判定式が成立しない場合、その予測軌跡の構成座標(x,y)は、算出元となった複数の類似軌跡に従って算出された複数の予測座標位置の標準偏差σが大きい、すなわち、ばらつきが大きいことを意味する。この場合、その予測軌跡の構成座標(x,y)の信頼度は低いと判定し、ステップS307に進む。
(ステップS306)
ステップS305において、予測軌跡の構成座標(x,y)の信頼度が高いと判定された場合、ステップS306において、予測軌跡の描画処理を実行する。ここで、予測軌跡は、実軌跡対応の描画す眼未軌跡と異なる態様で描画する。
すなわち、図13、図14を参照して説明したように、色、または透過率、または太さの少なくともいずれかを描画済みの実軌跡と異なる設定とした予測軌跡を描画して表示する。
また、図15、図16を参照して説明したように、さらに、信頼度に応じて、色、または透過率、または太さの少なくともいずれかを変更して表示する構成としてもよい。
なお、予測軌跡は新たなイベントの発生ごとに逐次、更新して表示する。
(ステップS307)
一方、ステップS305において、予測軌跡の構成座標(x,y)の信頼度が低いと判定された場合、ステップS307において、予測軌跡の描画処理を中止する。
この場合、予測軌跡は描画されないことになる。
(ステップS308)
ステップS304〜S308は、予測軌跡の構成座標に対応するi=0〜nの各座標位置について、各座標位置の信頼度指標値に従った処理を繰り返し実行するループ処理となる。
i=0〜nの各座標位置についての処理が全て終了すると、ステップS3409に進む。
(ステップS309)
ステップS309では、次のイベント入力の有無を判定する。
次のイベント入力が検出されない場合は処理を終了する。
次のイベント入力が検出された場合は、ステップS310に進む。
(ステップS310)
ステップS310は、新規の入力イベントに対応する座標情報を取得する。
この処理は、ステップS301と同様、時間(またはフレーム)=tと、その時間に対応するペンの接触位置座標(x,y)情報の検出処理として行われる。
その後、新規入力イベント対応の座標情報に基づいて、ステップS302以下の処理を繰り返す。
次に、図24に示すフローチャートを参照して、前述の(処理例1)〜(処理例3)に加え、入力デバイスの圧力値等に応じた予測軌跡の描画制御を実行する表示制御シーケンスについて説明する。
(ステップS401)
まず、ステップS401において、入力デバイスに基づく入力イベントを検出する。具体的はには例えば専用ペンの入力表示部に対するタッチ位置の検出処理である。
この処理は、時間(またはフレーム)=tと、その時間に対応するペンの接触位置座標(x,y)情報の検出処理、さらに、圧力値pの検出処理として行われる。
(ステップS402)
情報処理装置は、ステップS401において入力されたイベント情報を適用して、表示部に対する軌跡を描画することになるが、前述したようにペンの実軌跡に対応する描画処理が間に合わない領域、すなわち、図1を参照して説明した描画遅延領域23が発生する。
この描画遅延領域に予測軌跡を描画するために、過去の描画済み軌跡の軌跡情報を用いた学習処理を行なう。
すなわち、図5〜図8等を参照して説明した処理に従って予測軌跡を推定するための学習処理を行なう。具体的には、図6に示すように、描画済み軌跡80の最新描画位置81を含む直前軌跡82と類似する類似軌跡を描画済み軌跡80から検出する処理等を実行する。
ステップS402では、この類似軌跡検出等の学習処理を実行する。
(ステップS403)
ステップS403では、ステップS402において検出した類似領域を用いた予測軌跡の推定処理を実行する。
なお、予測軌跡の推定処理の手順としては、複数(k個)の類似軌跡に応じて推定される未来フレームuに対応するk個の座標を算出し、これらk個の座標の平均位置をフレームuにおける予測軌跡の構成座標とする処理を行なう。
予測する未来フレームをn点先までとした場合、予測軌跡を構成する座標と、各予測座標の信頼度指標値SDを個別に算出する。すなわち、(x,y0,sd)〜(x,y,sd)を算出する。ここでは、予測未来フレーム番号に対応する変数をiとして、i=0〜nのn+1個の座標位置と信頼度指標値を算出する設定とする。
(ステップS404)
ステップS404〜S408は、予測軌跡の構成座標に対応するi=0〜nの各座標位置について、各座標位置の信頼度指標値に従った処理を繰り返し実行するループ処理となる。
なお、信頼度指標値SDは、先に図12等を参照して説明したように、複数の類似軌跡に基づいて算出される各未来フレームの複数の推定座標の標準偏差σに相当する値である。
(ステップS405)
ステップS405において、予測軌跡の構成座標(x,y)の信頼度指標値SD[i]の値と、しきい値(α×s)との比較を実行する。
なお、先に図18等を参照して説明したように、αは予め設定した係数であり、sは、図18に示すような直前軌跡161における1フレーム間の軌跡移動距離sである。
ステップS405では、
SD[i]<α×s
上記判定式が成立するか否かを判定する。
上記判定式が成立する場合、その予測軌跡の構成座標(x,y)は、算出元となった複数の類似軌跡に従って算出された複数の予測座標位置の標準偏差σが小さい、すなわち、ばらつきが小さいことを意味する。この場合、その予測軌跡の構成座標(x,y)の信頼度は高いと判定し、ステップS406に進む。
一方、上記判定式が成立しない場合、その予測軌跡の構成座標(x,y)は、算出元となった複数の類似軌跡に従って算出された複数の予測座標位置の標準偏差σが大きい、すなわち、ばらつきが大きいことを意味する。この場合、その予測軌跡の構成座標(x,y)の信頼度は低いと判定し、ステップS407に進む。
(ステップS406)
ステップS405において、予測軌跡の構成座標(x,y)の信頼度が高いと判定された場合、ステップS406において、予測軌跡の描画処理を実行する。ここで、予測軌跡は、実軌跡対応の描画す眼未軌跡と異なる態様で描画する。
すなわち、図13、図14を参照して説明したように、色、または透過率、または太さの少なくともいずれかを描画済みの実軌跡と異なる設定とした予測軌跡を描画して表示する。
また、図15、図16を参照して説明したように、さらに、信頼度に応じて、色、または透過率、または太さの少なくともいずれかを変更して表示する構成としてもよい。
なお、予測軌跡は新たなイベントの発生ごとに逐次、更新して表示する。
(ステップS407)
一方、ステップS405において、予測軌跡の構成座標(x,y)の信頼度が低いと判定された場合、ステップS407において、予測軌跡の描画処理を中止する。
この場合、予測軌跡は描画されないことになる。
あるいは、先に図23を参照して説明したように、予測軌跡を目立たないようにぼかし処理などの表示制御を実行する。
(ステップS408)
ステップS404〜S408は、予測軌跡の構成座標に対応するi=0〜nの各座標位置について、各座標位置の信頼度指標値に従った処理を繰り返し実行するループ処理となる。
i=0〜nの各座標位置についての処理が全て終了すると、ステップS3409に進む。
(ステップS409)
ステップS409では、予測軌跡の描画処理を中止する条件を検出したか否かを判定する。
これは、先に、例えば図19を参照して説明した検出状態(A),(B)の検出があったか否かの判定処理である。
すなわち、以下の状態の検出である。
(A)単位時間あたりの入力デバイス圧力値の低下量が規定しきい値[Thp]以上であることの検出。
(B)単位時間あたりの入力デバイス移動量が規定しきい値[Thd]未満であることの検出。
ステップS409では、例えば上記の(A),(B)のいずれかを検出したか否かを判定する。
検出したと判定した場合は、ステップS409では、S410に進む。
検出しなかった場合は、ステップS411に進む。
(ステップS410)
ステップS409において、上記の(A),(B)のいずれかの状況を検出したと判定した場合、ステップS410において、予測軌跡の描画を中止する。
この処理は、先に図19〜図21を参照して説明した処理に対応する。
この処理の後、ステップS411に進む。
(ステップS411)
ステップS411では、次のイベント入力の有無を判定する。
次のイベント入力が検出されない場合は処理を終了する。
次のイベント入力が検出された場合は、ステップS412に進む。
(ステップS412)
ステップS412は、新規の入力イベントに対応する座標情報を取得する。
この処理は、ステップS401と同様、時間(またはフレーム)=tと、その時間に対応するペンの接触位置座標(x,y)情報、圧力値pの検出処理として行われる。
その後、新規入力イベント対応の座標情報に基づいて、ステップS402以下の処理を繰り返す。
[9.高精度な予測軌跡の表示による効果の一例について]
上述した本開示の処理を適用することで、専用ペン等の入力デバイスの軌跡を高精度に表示することが可能となる。
このような処理を実行する効果の一例について、図25を参照して説明する。
例えば、図25(a)に示すように、ステップS1,S2に従って何らかの文字を描く処理を行なう場合を考える。
ステップS1において、ます、水平ラインL1を書く。
その後、ステップS2において、縦方向のラインL2を書く。
ラインL2は、ほぼラインL1の中心位置を通るラインとして書く必要があるとする。
しかし、例えば、図25(b)に示すように、軌跡描画が遅延してしまうと、図に示す(P1)のように、ユーザが水平ラインL1を書いたのち、所定期間、水平ラインL1の末端の線分が非表示となってしまうことになる。
このような状態で、ユーザが縦方向のラインL2を書き始めようとしても、水平ラインL1の中心位置を正確に把握することができない。したがって、図25(b)の(P2)に示すように、L2の書き出し位置を決定できないといった問題が発生する。
本開示の処理を適用した高精度な予測軌跡の描画を実行することで、このような問題が解決し、ユーザは処理をスムーズに行なうことが可能となる。
[10.本開示の情報処理装置のハードウェア構成例について]
次に、図26を参照して、本開示の情報処理装置のハードウェア構成例について説明する。
図26に示すように、情報処理装置は、入力部301、出力部(表示部)302、センサ303、制御部(CPU等)304、メモリ(RAM)305、メモリ(不揮発性メモリ)306を有する。
入力部301は、例えば、タッチパネル機能を持つ表示部を兼ねた入力部として構成される。ただし、タッチパネル機能は必須ではなく、その他の入力デバイスの動きの検出情報を入力する構成を有するものであればよい。
なお、入力デバイスとしては、専用ペン、さらに、ユーザの指を入力デバイスとして利用することも可能である。その他、ジャイロポインタなどのデバイスの動き情報を入力する構成としてもよい。さらに、入力部301をカメラとして、ユーザの動き(ジェスチャ等)を検出して入力情報とするといった構成としてもよい。
また、一般的なPCに備えられたマウスを入力デバイスとして設定してもよい。
なお、入力部301は、入力デバイスの動き情報を入力する機能に限らず、表示部301の輝度調整、モード設定等の様々な設定を行う入力部等から構成される。
出力部302は、入力部301の検出した入力デバイスの移動情報に応じた軌跡情報を表示する表示部等によって構成される。
例えばタッチパネル型のディスプレイ等である。
センサ303は、例えばタッチぺんの圧力を検出するセンサ、あるいは指の押圧面積を検出するセンサ等、本開示の処理に適用するための情報を入力するセンサである。
制御部304派例えば電子回路によって構成されるCPU等からなり、例えば前述した実施例において説明したフローチャートに従った処理を実行するデータ処理部として機能する。
メモリ305は、例えばRAMであり、実施例において説明したフローチャートに従った処理を実行するためのワークエリア、さらにユーザの利用する入力デバイスの位置情報、データ処理に適用する各種パラメータ等の記憶領域として利用される。
メモリ306は、不揮発性メモリであり、例えば前述した実施例において説明したフローチャートに従った処理を実行させるためのプログラム、さらに、ユーザの描画軌跡等を格納する記憶領域として利用される。
なお、上述した実施例では、予測軌跡算出のための学習処理として、k近傍(kNN:k Nearest Neighbors)法を適用した処理例について説明したが、本開示の予測軌跡推定のための学習処理は、kNNに限らず、その他の手法を適用してもよい。例えば、以下のような手法が適用できる。
Linear Regression法、
Support Vector Regression (SVR)法、
Relevant Vector Regression(RVR)法、
Hidden Markov Model(HMM)法、
さらに、例えば本出願人の先の特許出願である特開2011−118786に記載の予測技術を適用してもよい。
また、本開示の情報処理装置は、軌跡表示を行う表示装置と一体化した構成としてもよいが、表示装置と通信可能な別の構成としてもよい。また、例えば、ネットワークを介してデータ通信可能なサーバとしてもよい。この場合、ユーザの操作する入力デバイスの入力情報をサーバに送信し、サーバにおいて上述した学習処理に基づく予測軌跡の算出を実行する。さらに、サーバは算出結果をユーザ側の表示装置、例えタブレット端末等に送信し、タブレット端末の表示部に予測軌跡を表示するといった処理を実行する。
[11.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 入力位置情報に従った軌跡の算出処理を行なうデータ処理部を有し、
前記データ処理部は、
入力位置情報に従った軌跡算出が未完了の領域に対する予測軌跡を算出する予測軌跡算出処理を実行し、
前記予測軌跡算出処理として、動的な予測手法を用いて前記予測軌跡を算出する情報処理装置。
(2)前記動的な予測手法は、描画済み軌跡の直前軌跡よりさらに過去の軌跡情報を適用した軌跡予測を行う手法である前記(1)に記載の情報処理装置。
(3)前記予測軌跡算出処理として、予測軌跡の算出領域の直前軌跡と類似する類似軌跡を過去の軌跡上から複数検出し、検出した複数の類似軌跡に基づいて前記予測軌跡を算出する前記(1)または(2)に記載の情報処理装置。
(4)前記予測軌跡算出処理として、検出される前記複数の類似軌跡に基づき、各類似軌跡の後続軌跡を推定し、推定された複数の後続軌跡の平均化処理または重み込み付け加算処理により、予測軌跡を算出する前記(3)に記載の情報処理装置。
(5)前記データ処理部は、前記直前軌跡と類似する類似軌跡の検出処理において、軌跡の特徴量を比較し、前記直前軌跡と類似する特徴量を有する軌跡領域を類似軌跡として選択する前記(3)〜(4)いずれかに記載の情報処理装置。
(6)前記特徴量は、軌跡の速度、加速度、角度、角度差分の少なくともいずれかを含む前記(5)に記載の情報処理装置。
(7)前記特徴量は、軌跡の速度、加速度、角度、角度差分の全てを含む前記(5)に記載の情報処理装置。
(8)前記特徴量は、入力デバイスの筆圧としての圧力値、または圧力値変化量の少なくともいずれかを含む前記(5)〜(7)いずれかに記載の情報処理装置。
(9)前記特徴量は、軌跡の速度、加速度、角度、角度差分、圧力値の全てを含む前記(5)〜(8)いずれかに記載の情報処理装置。
(10)前記データ処理部は、前記直前軌跡と類似する類似軌跡の検出処理において、前記直前軌跡と、比較対象となる過去軌跡の速度と、加速度と、角度と、角度差分との差分の重み付け加算データを特徴量距離データとして算出し、特徴量距離データの小さい過去軌跡を類似軌跡として選択する前記(3)〜(9)いずれかに記載の情報処理装置。
(11)前記データ処理部は、前記直前軌跡と類似する類似軌跡の検出処理における特徴量距離データの算出処理において、前記直前軌跡に距離的に近い軌跡を優先選択するように距離に応じた重みを設定した特徴量距離データの算出処理を実行する前記(10)に記載の情報処理装置。
(12)前記データ処理部は、複数の類似軌跡に基づく各類似軌跡の後続軌跡推定処理において、各類似軌跡の最新位置の速度と、角度と、座標位置の各情報を適用して各類似軌跡対応の後続軌跡の速度と、角度と、座標を推定し、推定した各類似軌跡対応の後続軌跡の座標の平均化処理または重み込み付け加算処理により、予測軌跡を構成する座標を算出する前記(4)〜(11)いずれかに記載の情報処理装置。
(13)前記データ処理部は、推定した各類似軌跡対応の後続軌跡の座標の重み込み付け加算処理において、前記直前軌跡に対する類似度の高い類似軌跡対応の後続軌跡座標の重みを大きく設定した処理を実行して、予測軌跡を構成する座標を算出する前記(12)に記載の情報処理装置。
(14)前記データ処理部は、推定した各類似軌跡対応の後続軌跡の座標のばらつき度合いに応じた予測軌跡の信頼度を算出し、信頼度が低いと判定した場合は、予測軌跡の表示部に対する出力を中止する(4)〜(13)いずれかに記載の情報処理装置。
(15)前記データ処理部は、前記信頼度の指標値として、各類似軌跡対応の後続軌跡の座標の標準偏差を算出する前記(14)に記載の情報処理装置。
(16)前記データ処理部は、k近傍(kNN:k Nearest Neighbors)法を適用した予測軌跡推定処理を実行する前記(1)〜(15)いずれかに記載の情報処理装置。
(17)前記データ処理部は、前記予測軌跡算出処理として、現在表示されている軌跡よりも前に描かれた軌跡の情報に基づいて前記予測軌跡を算出する前記(1)〜(16)いずれかに記載の情報処理装置。
(18) 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、入力位置情報に従った軌跡の算出処理を行なうデータ処理部を有し、
前記データ処理部が、入力位置情報に従った軌跡算出が未完了の領域に対する予測軌跡を算出する予測軌跡算出処理を実行し、
前記予測軌跡算出処理として、動的な予測手法を用いて前記予測軌跡を算出する情報処理方法。
(19) 情報処理装置において情報処理を実行させるプログラムであり、
データ処理部に、入力位置情報に従った軌跡の算出処理を実行させ、
前記データ処理部に、入力位置情報に従った軌跡算出が未完了の領域に対する予測軌跡を算出する予測軌跡算出処理を実行させ、
前記予測軌跡算出処理として、動的な予測手法を用いて前記予測軌跡を算出させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、過去の軌跡情報に基づく精度の高い軌跡の予測処理が実現される。
具体的には、入力位置情報に従った軌跡の算出処理を行なうデータ処理部を有し、データ処理部は、入力位置情報に従った軌跡算出が未完了の領域に対する予測軌跡算出処理を実行する。まず、予測軌跡の算出領域の直前軌跡と類似する類似軌跡を軌跡の速度、加速度、角度、角度差分等の特徴量に基づいて過去の軌跡上から複数検出する。さらに、検出した複数の類似軌跡に基づいて各類似軌跡の後続軌跡を推定する。さらに、推定した複数の後続軌跡の平均化処理または重み込み付け加算処理により、予測軌跡を算出する。
本構成により、過去の軌跡情報に基づく精度の高い軌跡の予測処理が実現される。
10 入力表示装置
11 入力デバイス
15 ペン先位置
21 描画済み軌跡
22 最新描画位置
23 描画遅延領域
31 描画済み軌跡
32 最新描画位置
33 近似適用軌跡
34 ペン軌跡
35 予測軌跡
41 描画済み軌跡
42 最新描画位置
43 近似適用軌跡
51 描画済み軌跡
52 最新描画位置
53 予測軌跡
54 ペン位置
71 描画済み記関
72 最新描画位置
73 予測軌跡
80 描画済み軌跡
81 最新描画位置
82 直前軌跡
83 類似軌跡
84 類似軌跡の後続軌跡
85 補助予測軌跡
86 最終決定予測軌跡
90 描画済み軌跡
91 直前軌跡
92 補助予測軌跡
93 最終決定予測軌跡
100 描画済み軌跡
101 直前軌跡
102 最新描画位置
103 補助予測軌跡
104 補助予測軌跡の標準偏差
105 予測軌跡
111〜113 予測点
121 実軌跡
151 非表示予測軌跡
171 表示態様変更領域
301 入力部
302 出力部
303 センサ
304 制御部
305 メモリ(RAM)
306 メモリ(不揮発性メモリ)

Claims (19)

  1. 入力位置情報に従った軌跡の算出処理を行なうデータ処理部を有し、
    前記データ処理部は、
    入力位置情報に従った軌跡算出が未完了の領域に対する予測軌跡を算出する予測軌跡算出処理を実行し、
    前記予測軌跡算出処理として、動的な予測手法を用いて前記予測軌跡を算出する情報処理装置。
  2. 前記動的な予測手法は、描画済み軌跡の直前軌跡よりさらに過去の軌跡情報を適用した軌跡予測を行う手法である請求項1に記載の情報処理装置。
  3. 前記予測軌跡算出処理として、
    予測軌跡の算出領域の直前軌跡と類似する類似軌跡を過去の軌跡上から複数検出し、
    検出した複数の類似軌跡に基づいて前記予測軌跡を算出する請求項1に記載の情報処理装置。
  4. 前記予測軌跡算出処理として、
    検出される前記複数の類似軌跡に基づき、各類似軌跡の後続軌跡を推定し、推定された複数の後続軌跡の平均化処理または重み込み付け加算処理により、予測軌跡を算出する請求項3に記載の情報処理装置。
  5. 前記データ処理部は、
    前記直前軌跡と類似する類似軌跡の検出処理において、
    軌跡の特徴量を比較し、前記直前軌跡と類似する特徴量を有する軌跡領域を類似軌跡として選択する請求項3に記載の情報処理装置。
  6. 前記特徴量は、軌跡の速度、加速度、角度、角度差分の少なくともいずれかを含む請求項5に記載の情報処理装置。
  7. 前記特徴量は、軌跡の速度、加速度、角度、角度差分の全てを含む請求項5に記載の情報処理装置。
  8. 前記特徴量は、入力デバイスの筆圧としての圧力値、または圧力値変化量の少なくともいずれかを含む請求項5に記載の情報処理装置。
  9. 前記特徴量は、軌跡の速度、加速度、角度、角度差分、圧力値の全てを含む請求項5に記載の情報処理装置。
  10. 前記データ処理部は、
    前記直前軌跡と類似する類似軌跡の検出処理において、
    前記直前軌跡と、比較対象となる過去軌跡の速度と、加速度と、角度と、角度差分との差分の重み付け加算データを特徴量距離データとして算出し、特徴量距離データの小さい過去軌跡を類似軌跡として選択する請求項3に記載の情報処理装置。
  11. 前記データ処理部は、
    前記直前軌跡と類似する類似軌跡の検出処理における特徴量距離データの算出処理において、前記直前軌跡に距離的に近い軌跡を優先選択するように距離に応じた重みを設定した特徴量距離データの算出処理を実行する請求項10に記載の情報処理装置。
  12. 前記データ処理部は、
    複数の類似軌跡に基づく各類似軌跡の後続軌跡推定処理において、
    各類似軌跡の最新位置の速度と、角度と、座標位置の各情報を適用して各類似軌跡対応の後続軌跡の速度と、角度と、座標を推定し、
    推定した各類似軌跡対応の後続軌跡の座標の平均化処理または重み込み付け加算処理により、予測軌跡を構成する座標を算出する請求項4に記載の情報処理装置。
  13. 前記データ処理部は、
    推定した各類似軌跡対応の後続軌跡の座標の重み込み付け加算処理において、前記直前軌跡に対する類似度の高い類似軌跡対応の後続軌跡座標の重みを大きく設定した処理を実行して、予測軌跡を構成する座標を算出する請求項12に記載の情報処理装置。
  14. 前記データ処理部は、
    推定した各類似軌跡対応の後続軌跡の座標のばらつき度合いに応じた予測軌跡の信頼度を算出し、
    信頼度が低いと判定した場合は、予測軌跡の表示部に対する出力を中止する請求項12に記載の情報処理装置。
  15. 前記データ処理部は、
    前記信頼度の指標値として、各類似軌跡対応の後続軌跡の座標の標準偏差を算出する請求項14に記載の情報処理装置。
  16. 前記データ処理部は、
    k近傍(kNN:k Nearest Neighbors)法を適用した予測軌跡推定処理を実行する請求項1に記載の情報処理装置。
  17. 前記データ処理部は、
    前記予測軌跡算出処理として、現在表示されている軌跡よりも前に描かれた軌跡の情報に基づいて前記予測軌跡を算出する請求項1に記載の情報処理装置。
  18. 情報処理装置において実行する情報処理方法であり、
    前記情報処理装置は、入力位置情報に従った軌跡の算出処理を行なうデータ処理部を有し、
    前記データ処理部が、入力位置情報に従った軌跡算出が未完了の領域に対する予測軌跡を算出する予測軌跡算出処理を実行し、
    前記予測軌跡算出処理として、動的な予測手法を用いて前記予測軌跡を算出する情報処理方法。
  19. 情報処理装置において情報処理を実行させるプログラムであり、
    データ処理部に、入力位置情報に従った軌跡の算出処理を実行させ、
    前記データ処理部に、入力位置情報に従った軌跡算出が未完了の領域に対する予測軌跡を算出する予測軌跡算出処理を実行させ、
    前記予測軌跡算出処理として、動的な予測手法を用いて前記予測軌跡を算出させるプログラム。
JP2013206928A 2013-10-02 2013-10-02 情報処理装置、および情報処理方法、並びにプログラム Pending JP2015072534A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013206928A JP2015072534A (ja) 2013-10-02 2013-10-02 情報処理装置、および情報処理方法、並びにプログラム
US14/494,768 US20150091832A1 (en) 2013-10-02 2014-09-24 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013206928A JP2015072534A (ja) 2013-10-02 2013-10-02 情報処理装置、および情報処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2015072534A true JP2015072534A (ja) 2015-04-16

Family

ID=52739650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013206928A Pending JP2015072534A (ja) 2013-10-02 2013-10-02 情報処理装置、および情報処理方法、並びにプログラム

Country Status (2)

Country Link
US (1) US20150091832A1 (ja)
JP (1) JP2015072534A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022066874A (ja) * 2020-10-19 2022-05-02 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、情報処理システム、及び制御方法
WO2022164043A1 (ko) * 2021-01-28 2022-08-04 삼성전자 주식회사 터치 입력의 가속도 및/또는 각 가속도를 이용하여 예측 알고리즘의 적용 여부를 판단하는 전자 장치 및 그 제어 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582080B1 (en) * 2014-06-25 2017-02-28 Rithmio, Inc. Methods and apparatus for learning sensor data patterns for gesture-based input
US10739911B2 (en) * 2015-09-30 2020-08-11 Apple Inc. Unified drawing framework
US10338807B2 (en) * 2016-02-23 2019-07-02 Microsoft Technology Licensing, Llc Adaptive ink prediction
GB201618288D0 (en) * 2016-10-28 2016-12-14 Remarkable As Interactive displays
US11106312B2 (en) 2018-03-08 2021-08-31 Flatfrog Laboratories Ab Touch apparatus
JP7369783B2 (ja) * 2019-09-26 2023-10-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、プログラム及び情報処理装置
CN112835455A (zh) * 2019-11-22 2021-05-25 华为技术有限公司 一种预测手写笔绘制点的方法和设备
JP2023512682A (ja) 2020-02-10 2023-03-28 フラットフロッグ ラボラトリーズ アーベー 改良型タッチ検知装置
US10976867B1 (en) * 2020-03-06 2021-04-13 Wacom Co., Ltd. System and method providing pen up positioning assist for a sensor surface
AU2020464369A1 (en) * 2020-08-18 2023-04-20 Razer (Asia-Pacific) Pte. Ltd. Apparatus and method for controlling a pointer on a screen of an electronic device
JP7234312B2 (ja) 2021-08-06 2023-03-07 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、情報処理システム、及び制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4312143B2 (ja) * 2004-10-29 2009-08-12 富士通株式会社 ルール発見プログラム、ルール発見方法およびルール発見装置
US8103444B2 (en) * 2005-12-09 2012-01-24 Electronics And Telecommunications Research Institute System and method for reducing communication load of apparatus for tracking moving object
JP5185785B2 (ja) * 2008-11-19 2013-04-17 オムロンヘルスケア株式会社 健康状態判断装置
FR2945624B1 (fr) * 2009-05-15 2011-06-10 Mbda France Procede et systeme d'estimation d'une trajectoire d'un mobile
CN103492986B (zh) * 2011-02-16 2017-08-15 日本电气株式会社 输入设备、输入方法和记录介质
US8884930B2 (en) * 2012-06-01 2014-11-11 Blackberry Limited Graphical display with optical pen input
US20130346237A1 (en) * 2012-06-20 2013-12-26 Flybuy Technologies, Inc. Systems and methods for facilitating logistics time savings
TWI486837B (zh) * 2012-09-18 2015-06-01 Egalax Empia Technology Inc 基於預測的位置追蹤方法
US20140118315A1 (en) * 2012-10-26 2014-05-01 Livescribe Inc. Interactive Digital Workbook Using Smart Pens

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022066874A (ja) * 2020-10-19 2022-05-02 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、情報処理システム、及び制御方法
US11392240B2 (en) 2020-10-19 2022-07-19 Lenovo (Singapore) Pte. Ltd. Information processing apparatus, information processing system, and control method
WO2022164043A1 (ko) * 2021-01-28 2022-08-04 삼성전자 주식회사 터치 입력의 가속도 및/또는 각 가속도를 이용하여 예측 알고리즘의 적용 여부를 판단하는 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
US20150091832A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
JP2015072534A (ja) 情報処理装置、および情報処理方法、並びにプログラム
US9665276B2 (en) Character deletion during keyboard gesture
US8847978B2 (en) Information processing apparatus, information processing method, and information processing program
US8004503B2 (en) Auto-calibration of a touch screen
US6771280B2 (en) Apparatus and method for data-processing
US20130120282A1 (en) System and Method for Evaluating Gesture Usability
JP2019194892A (ja) 着用可能電子機器のための竜頭入力
KR101126167B1 (ko) 터치 스크린 및 디스플레이 방법
TWI567592B (zh) 手勢辨識方法及穿戴式裝置
US9575578B2 (en) Methods, devices, and computer readable storage device for touchscreen navigation
US10331326B2 (en) Apparatus that controls scrolling operation past an edge of an image based on a type of user input
JP2010176190A (ja) モード設定システム
US20150193040A1 (en) Hover Angle
US9507515B2 (en) System and method for data selection by means of a touch-sensitive surface
CN112835455A (zh) 一种预测手写笔绘制点的方法和设备
WO2015049934A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN104965657A (zh) 触摸控制方法及装置
US8896561B1 (en) Method for making precise gestures with touch devices
KR102198596B1 (ko) 간접 입력의 명확화 기법
US10261608B2 (en) Cursor control method and cursor control system
US9927917B2 (en) Model-based touch event location adjustment
TWI768407B (zh) 預測控制方法、輸入系統及電腦可讀取記錄媒體
US20220121277A1 (en) Contextual zooming
JP4236962B2 (ja) 手書き文字描画装置、手書き文字描画方法、および手書き文字描画方法をコンピュータに実行させるためのプログラム
GB2521467A (en) Enhanced user interaction with a device