JP2012515396A - タッチセンサ式コンピュータ装置および方法 - Google Patents

タッチセンサ式コンピュータ装置および方法 Download PDF

Info

Publication number
JP2012515396A
JP2012515396A JP2011546252A JP2011546252A JP2012515396A JP 2012515396 A JP2012515396 A JP 2012515396A JP 2011546252 A JP2011546252 A JP 2011546252A JP 2011546252 A JP2011546252 A JP 2011546252A JP 2012515396 A JP2012515396 A JP 2012515396A
Authority
JP
Japan
Prior art keywords
touch
sensitive
pim
recording
computer device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011546252A
Other languages
English (en)
Other versions
JP5377665B2 (ja
JP2012515396A5 (ja
Inventor
ペシュニッグ ジョージ
リード ハリス ジョナサン
ジェイ.ハインズ ジョシュア
ボーラー サブリナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2012515396A publication Critical patent/JP2012515396A/ja
Publication of JP2012515396A5 publication Critical patent/JP2012515396A5/ja
Application granted granted Critical
Publication of JP5377665B2 publication Critical patent/JP5377665B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

タッチセンサ式コンピュータ装置および方法を提供する。タッチセンサ式コンピュータ装置は、タッチ入力を受信するように構成されるタッチセンサ式ディスプレイを含むことができる。ジェスチャ認識モジュールをタッチセンサ式ディスプレイにつなぐことができ、タッチ入力を受信するように構成することができる。ジェスチャ認識モジュールはまた、タッチ入力に基づき、また複数の様々な既定のジェスチャから選択することにより、タッチ入力に対応する認識されたジェスチャを判定するように構成することができる。タッチセンサ式コンピュータ装置もまた、PIM(個人情報管理)データベースを含むPIMモジュールを含むことができる。PIMモジュールを、タッチセンサ式ディスプレイ上に表示される選択された項目を、PIMデータベースの複数の様々なPIMスキーマの選択された1つに適用するように構成することができる。PIMスキーマの選択された1つを、認識されたジェスチャに基づき選択することができる。

Description

本発明は、タッチセンサ式コンピュータ装置および方法に関する。
コンピュータ装置のユーザインタフェースは多くの場合、融通が利かずかつ複雑である。ユーザは、タスクを実行し、考えを記録し、情報を整理し、またはコンテンツにアクセスするためには、複数のレイヤ(multiple layers)をナビゲートことが必要である。現在のユーザインタフェースは、柔軟性、および簡単なアナログ記録(analog journal)の持つ利用可能な使い易さが、一般に不足している。その結果ユーザは、多くの場合、ペンおよび紙を、日常生活におけるまとまりのない筆記、スケッチ、メモ取り、および日付の記入のために未だに頼りにしている。ユーザはまた、情報をコピーすること、および/または例えば情報をコンピュータ装置に入力することによる紙ベースのフォーマットからディジタル形式に変換することに時間を費やす場合がある。
タッチセンサ式コンピュータ装置および方法を提供する。タッチセンサ式コンピュータ装置/システムは、タッチ入力を受信するように構成されるタッチセンサ式ディスプレイを含むことができる。ジェスチャ認識モジュールを、タッチセンサ式ディスプレイとつなぐことができ、タッチ入力を受信するように構成することができる。ジェスチャ認識モジュールをまた、タッチ入力に基づいて、また様々な既定の複数のジェスチャから選択することにより、タッチ入力に対応する認識されたジェスチャを判定するように構成することができる。タッチセンサ式コンピュータ装置はまた、PIM(個人情報管理、personal information management)データベースを含むPIMモジュールを含むことができる。PIMモジュールを、タッチセンサ式ディスプレイ上に表示される選択された項目を、PIMデータベースの複数の様々なPIMスキーマの選択された1つに適用するように構成することができる。PIMスキーマの選択された1つを、認識されたジェスチャに基づいて選択することができる。
本「発明の概要」を提供し、以下「発明を実施するための形態」においてさらに記述される概要の抜粋を、簡単な形で紹介する。本「発明の概要」は、特許請求の範囲に記載された主題の重要な特徴または本質的な特徴を特定することは意図しておらず、またこれを使用して、特許請求の範囲に記載された主題の範囲を限定することも意図していない。さらに、特許請求の範囲に記載された主題は、本開示のいずれかで言及される任意またはすべての不利な点を解決する実施を限定することもない。
本開示に準拠した自由形式の対話可能アーキテクチャを示すシステム図である。 図1に示される自由形式の対話可能アーキテクチャを含むことができるコンピュータ装置の略図である。 図2に示されるコンピュータ装置上に選択的に表示される階層的かつ平面に連続して配列された複数の記録ページ(journal page)を示す概略図である。 本開示に準拠した実施例のアーキテクチャ構造の略図である。 コンピュータ装置のタッチ入力を受信および処理する実施例の方法を示すフローチャートである。 コンピュータ装置のタッチ入力を受信および処理する実施例の方法を示すフローチャートである。 コンピュータ装置のタッチ入力を受信および処理する実施例の方法を示すフローチャートである。 コンピュータ装置のタッチ入力を受信および処理する実施例の方法を示すフローチャートである。
図1は、コンピュータ装置12を用いて使用されることができる自由形式の対話可能アーキテクチャ10を示すシステム図である。ある実施例では、アーキテクチャ10は、モジュールを含むことができる。モジュールは、メモリ11に常駐することができるソフトウェアモジュールとすることができる。プロセッサ15を、ソフトウェアを実行するように構成することができる。アーキテクチャ10は、例えば、タッチセンサ式ディスプレイ14の表面18上のタッチ入力16を受信するように構成されることができるタッチセンサ式ディスプレイ14を用いることができる。グラフィカルユーザインタフェース19を、種々の機能を提供するように構成し、ユーザがコンピュータ装置12への入力を提供するのを支援し、ならびに/またはフィードバックおよび情報をユーザに提供することができる。グラフィカルユーザインタフェース19を、ソフトウェアモジュールにGUIモジュール21を介してつなぐことができる。
タッチ入力16を、点線内に大まかに楕円形の形状でここに示す。ジェスチャ認識モジュール20を、タッチセンサ式ディスプレイ14につなぎ、タッチ入力16を受信するように、ならびにタッチ入力16に基づいて、また既定の自由形式の複数のジェスチャから選択することにより、認識されたジェスチャ23を判定するように構成することができる。認識されたジェスチャ23も、点線内に大まかに楕円形の形状で示す。ジェスチャ認識モジュール20を、タッチ入力認識モジュール22の一部として含むことができる。PIM(個人情報管理)モジュール24を、ジャスチャ認識モジュール20につなぐことができる。PIMモジュール24は、PIMデータベース26を含むことができる。PIMモジュール24を、タッチセンサ式ディスプレイ14上に表示される選択された項目28を、PIMデータベース26の様々な複数のPIMスキーマ30の選択された1つに適用するように構成することができる。PIMスキーマ30の選択された1つを、認識されたジェスチャ23に基づいて選択することができる。ある場合では、選択された項目28を適用すると、選択された項目28はまた、大容量記憶装置36に保存することができる。複数のPIMスキーマ30は、予定表項目(calendar item)44、作業項目(task item)46、および連絡先項目(contact item)48の1つまたは複数を含むことができる。他のPIMスキーマ50を含むことができる。注意すべきは、ある場合では、選択された項目28が、ユーザにより行なわれるマーキングを含む時のように、タッチ入力16を、選択された項目28および入力装置17を用いて行なわれるジェスチャの両方を含むことと大まかに考えることができる。この示された実施例におけるタッチ入力16を、選択された項目28が存在している後に行なわれることと考えることができる。選択された項目28は、種々の入力形式からなるとすることができることも理解されよう。
文字認識モジュール52を、認識されるジェスチャ23の認識をした上で、タッチ入力16を用いて含まれることができる英数字文字を認識するように構成することができる。文字認識モジュール52をまた、PIMモジュール24に、英数字文字をPIMデータベース26に検索可能な項目として保存させるように構成することができる。文字認識モジュール52をまた、英数字文字を大容量記憶装置36に保存させるように構成することができる。
ある実施例では、タッチセンサ式ディスプレイ14を、選択された項目28をタッチセンサ式ディプレイ14上に記録ページ(journal page)グラフィック31の範囲内で表示するように構成することができる。述べたように、選択された項目28は、入力装置17を用いて行なわれる、以前のタッチ入力16の結果とすることができる。種々のオブジェクトは、入力装置、例えばペン、またはスタイラス、または指などとしての機能を果たす。その以前のタッチ入力16は、例えばペンまたは鉛筆を用いて、1枚の紙に追加することが可能であり得るものなら何でも良い。例えば、無制限にこのような描画、いたずら書き、メモ、住所、数字などを記すこと。さらに、他の項目に、このような写真または電子文書などを含むことができる。他の項目を、例えば、無制限にコンピュータ装置12に入力し、コンピュータ装置12により生成し、または大容量記憶装置36から取り出すことができる。
コンピュータ装置12は、選択された項目28を、マークアップされた記録ページグラフィックのような選択された記録ページグラフィック31の一部として表示するように構成されるインクレンダリングモジュール32を含むことができる。インクレンダリングモジュール32はまた、ユーザに選択可能な選択肢、例えば線の種類、線の幅および線の色を提供することができる。
データ保持サブシステムを、タッチセンサ式ディスプレイ14に動作可能なようにつなぐことができ、複数の記録ページグラフィックを保持するように構成することができる。複数の記録ページグラフィックは、以下で述べられる階層的かつ平面に連続して配列された複数の記録ページ70とすることができる。アナログ入力モジュールを、データ保持サブシステムに含むことができ、またマークアップされた記録ページグラフィックを大容量記憶装置36に保存させるように構成することができる。ページモジュール33は、追加の記録ページグラフィック31を提供することができ、かつ/または記録ページグラフィック31を順序付けることができる。
コンピュータ装置12はまた、タッチセンサ式ディスプレイ14およびデータ保持サブシステムに動作可能なようにつながれるエージングモジュール40を含むことができる。エージングモジュールは、紙の物理学(paper physics)と呼ぶことができるものを提供することができる。エージングモジュール40を、記録ページグラフィック31の各々をタッチセンサ式ディスプレイ14上に紙の記録の紙のページのように表示するように構成することができる。エージングモジュール40を、記録ページグラフィック31への経時特性(aging characteristics)の表示を選択的に制御するように構成することができる。経時特性を可変的に適用することができる。各記録ページの経時特性は、少なくとも1つのこのような記録ページの経時(age)およびこのような記録ページに関連付く使用量に基づくことができる。ある実施例では、選択された記録ページグラフィック31を、外観を、選択された記録ページグラフィック31の生成からの経過時間、または記録ページグラフィックが最初のタッチ入力16を受信したときからの時間の累積継続時間の一方または両方にしたがって変更するように構成することができる。クロック/カレンダモジュール42は、時間の一定の継続時間を提供することができる。
アーキテクチャ10もまた、種々の他のアプリケーション50を実行するように構成することができる。他のアプリケーション50は、他の既定のジェスチャを認識した上で実行可能にすることができる。ジェスチャ認識を使用し、種々の他のアプリケーション50を実行するか、ジェスチャ認識を使用し、タッチセンサ式ディスプレイ14上の1つまたは複数の選択された項目28を、複数の様々なPIMスキーマ30の選択された1つに適用することに代えて、または加えて、種々のコマンドボタン52を使用することができる。種々の他のアプリケーション50および様々なPIMスキーマ30の適用はまた、検索モジュール54を用いることができる。検索モジュール54を、例えばインターネットなどのコンピュータネットワーク56につなぎ、またはつなぐことができる場合がある。
さらにアーキテクチャ10は、GPSシステム60につながれる、またはつながれることができる場所モジュール58を含むことができる。特定のタッチ入力16を行なったときユーザを探し出した特定の場所を、PIMデータベース26または大容量記憶装置36に保存することができる。入力を行なったときのコンピュータ装置12の場所を、その後、PIMスキーマ30に含まれる項目を思い出すために使用されることができる種々の検索基準の一部として含むことができる。さらに、または代わりに、任意の特定タッチ入力を行なった場所に関する場所を、PIMスキーマ30の一部であるかないかを問わず、使用し、特定の記録ページグラフィック31を探し出すことができる。これは、例えば、ユーザが、旅行中、または会議中など、入力を行なった時にユーザがいた場所を思い出すことができるが、特定の記録ページを見つけることができない場合に、役立つ場合がある。これはユーザが、ユーザが何かを書き留めた、またはスケッチしたときにユーザがいた場所のユーザの記憶に基づく多数の紙の記録の中の特定の1ページを見つけるのを支援することと似ているが、そうでなければ、それを見つけるために紙の記録の大部分またはすべてに目を通すことになるだろう。さらに、または別の方法として、地理的なきっかけ(geographic cues)を使用し、特定の記録ページを見つけることのために、本明細書に記述されるコンピュータ装置12のユーザは、種々の他の知覚によるきっかけ(sensory cues)、例えば、経時およびまたは記録ページグラフィック31の大まかな外観などを使用することができる。本明細書に記述されるアーキテクチャ10、コンピュータ装置12、および方法を、これら知覚によるきっかけを提供するように構成することができる。
図2は、入力装置17および/またはディジタル入力からのアナログ入力を受信し、かつ保存するために使用されることができるコンピュータ装置12の略図である。図3は、階層的かつ平面に連続して配列された複数の記録ページ70を示す概略図である。コンピュータ装置12は、タッチセンサ式ディスプレイ14上の階層的かつ平面に連続して配列された複数の記録ページ70を選択的に表示するように構成されるユーザインタフェース19を含むことができる。1つの記録ページグラフィック31を図2に示す。ユーザインタフェース19を、選択された項目28を、記録ページグラフィック31の選択された1つで、複数のPIMスキーマ30の選択された1つに、タッチセンサ式ディスプレイ14に適用されるタッチ入力16に応答して、適用するように構成することができる。これは、入力装置17を用いて行なわれる認識されたジェスチャ23のような既定の自由形式のジェスチャを認識することで発生する。コンピュータ装置12は、タッチセンサ式ディスプレイ14に適用される各タッチ入力16のための経時の外観特性を制御するように構成されるエージングモジュール40(図1)を含むことができる。記録ページグラフィック31の各々を、タッチセンサ式ディスプレイ14上に、紙の記録の紙のページのように現れるように構成することができる。エージングモジュール40を、選択された記録グラフィック31を、1または複数回後に所定の経時的な状況(temporal conditions)および/または所定の使用状況にしたがう所定のグラフィカルな変更点72とともに再表示するように構成することができる。所定のグラフィカルな変更点72を、述べられるように、記録する経験を高めるための知覚によるきっかけ、および思い出すための補助に含むことができる。
選択された記録ページグラフィック31を、外観を変更するように、すなわち、所定のグラフィカルな変更点72の追加とともに、選択された記録ページグラフィックの生成からの経過時間、または、記録ページグラフィックを、階層的かつ平面に連続して配列された複数の記録ページ70の間で選択していた時間の累積継続時間の一方または両方にしたがって、構成することができる。所定の経時的な状況は、記録ページグラフィックの選択された1つの最初の使用からの継続時間を含み、および所定の使用状況は、記録ページグラフィックの選択された1つにより受ける使用量を含むことができる。
エージングモジュール40を、1つまたは複数の変色(discoloration)の外観、例えば、黄変(yellowing)、染み(smudges)、折り目(crinkles)、しわ(wrinkles)、裂け目(rips)、染み(smudges)、汚れ跡(soil mark)、およびひだ(folds)などを、選択された記録ページグラフィック31に、選択された記録ページグラフィック31としての累積継続時間、およびまたは記録ページグラフィックが、記録ページグラフィック31の選択された1つである間に、コンピュータ装置に行なわれているアナログ入力の累積量にしたがって、追加するように構成することができる。
ある場合は、既定の自由形式のジェスチャ23を認識した上で、ユーザインタフェース19は、複数のオーバレイナビゲーションツール(overlay navigational tools)の1つを、タッチセンサ式ディスプレイ14上に表示させ、ユーザが、実行できる動作、およびその発生を確認することによるコンピュータ装置12の反応をナビゲートするのを支援する。ジェスチャ認識モジュール20を構成し、認識されるジェスチャ23を判定した上で、ジェスチャ認識モジュール20は、タッチセンサ式ディスプレイ14に、選択された項目についてのアプリケーションの確認80を、複数のPIMスキーマの選択された1つのために表示させることができる。事前に選択された時間、例えば、タッチセンサ式ディスプレイ14上で見えるようになってから1秒後、確認80は消えることができる。確認80は、種々の形式、例えば、PIMスキーマに対応する名前付きボックス(a box with a label)をとることができる。ナビゲーション矢印(navigation arrow)82もまた、確認80とともに含むことができる。
ある場合は、階層的かつ平面に連続して配列された複数の記録ページ70を進め、または戻し、または別の方法で逆方向および順方向にスクロールすることができる。ある場合は、これを、場所92の矢印90を用いて示されるように上方向および下方向に、ユーザの指、または他の種類の入力装置を走らせることにより成し遂げることができる。他の有効化(activation)技術を使用することができる。他の有効化技術を、スクロールページジェスチャと呼ぶことができる。
図2は、コンピュータ装置の右側94上にアナログ入力領域、および左側96上に種々の他の機能を示す。これは、一実施例の構成である。ある場合は、両側をアナログ入力用に構成することができる。ある場合は、左側96をアナログ入力用に構成することができ、右側94を他の機能を表示するように構成することができる。左側96のアナログ入力は、左利きの人用に推奨の構成とすることができる(その逆も同様)。コンピュータ装置12は、背(書物の背、spine)を左側96と右側94との間に含むことができる。コンピュータ装置12は、背で、紙の記録と同様に折り畳み可能にすることができる。一実施例のコマンドボタン52を背の上に示す。
図2に示される記録機構の左側96上の種々の他の機能は、本明細書に詳細に述べられるこれらのそばの種々の他の機能を有効にする。種々の機能を、例えば選択可能なアイコンを選択的に表示させることができ、スクロール可能にすることができる。図4は、実施例のアーキテクチャ構造100の略図である。アーキテクチャ構造100は、例えば、種々のPIMスキーマ30、種々の他のアプリケーション50、または他のスキーマを有効にするために選択可能にされることができるアイコンを示す。さらに、表示可能な記録ページグラフィック30の種々のノート、含んでいる種々の各数を、選択されたノートをタッチセンサ式ディスプレイ14上に表示させることができる対応するアイコンを選択することにより、選択することができる。
図5は、コンピュータ装置のタッチ入力を受信および処理する方法200の実施例を示すフローチャートある。方法200を上記システムおよび上記装置を使用し、または他の適切なハードウェアおよび他の適切なソフトウェアを使用し、実施することができる。方法200は、202で、タッチセンサ式ディスプレイにおけるタッチ入力を受信することを含むことができる。タッチ入力は、コンピュータ装置のタッチセンサ式ディスプレイ表面で行なわれる入力装置からとすることができる。204で、方法200はまた、タッチ入力を検索可能なデータベースに保存する要求としてディスプレイ表面で行なわれる所定のジェスチャを認識することを含むことができる。これは、タッチ入力に基づき、また複数の様々な既定のジェスチャから選択することにより、タッチ入力に対応する認識されたジェスチャを判定することを含むことができる。方法200は、タッチセンサ式ディスプレイ上に表示される選択された項目を、認識されたジェスチャに基づき選択される複数のPIMスキーマの選択された1つに適用することを含むことができる。206で、方法200はまた、少なくとも所定のジェスチャを認識した上でタッチ入力を用いて行なわれる英数字文字を認識することも含むことができる。208で、方法200はまた、英数字文字を検索可能なデータベースに、作業項目、予定表項目、および連絡先項目の1つまたは複数として保存することを含むことができる。210で、方法200はまた、記録ページグラフィックをインタフェースの表面上に表示し、紙の記録の紙の記録ページのように現れることを含むことができる。212で、方法200はまた、ペンストローク入力を、記録ページグラフィック上のシミュレーションされた筆記実施マーキング(simulated writing implement marking)として保存することを含むことができる。さらに、214で、方法200はまた、記録ページグラフィックの外観を、事前に選択された経時、および/または使用基準にしたがって変更すること含むことができる。
図6は、図5に示される方法200の実施例のバリエーションを示すフローチャートである。方法200は、216で、追加の記録ページグラフィックを、インタフェースの表面上の入力装置からのスクロールページジャスチャを受信した上で選択的に表示することをさらに含むことができる。ある場合は、追加の記録ページグラフィックは、図3に示される階層的かつ平面に連続して配列された複数の記録ページ70が提供しているものとすることができる。
図7は、図5に示される方法200の他の実施例のバリエーションを示すフローチャートである。外観を変更すること214(図5)は、218で、色を記録ページグラフィックに追加し、記録ページグラフィックに黄変した外観を、記録ページグラフィックが最初のタッチ入力を受信したときからの経過時間にしたがって与えることを含むことができる。
図8は、図5に示される方法200の他の実施例のバリエーションを示すフローチャートである。外観を変更すること214(図5)は、220で、記録グラフィックを表示している時間の累積継続時間および/またはタッチセンサ式ディスプレイ表面上で受信されるタッチ入力の累積回数にしたがって、折り目、染み、しわ、裂け目、および汚れの1つまたは複数として現れるグラフィック特性を、記録ページグラフィックに与えることを含むことができる。
本明細に記述されるコンピュータ装置を本明細において記述されるプログラムを実行するように構成される任意の適切なコンピュータ装置とすることができることを理解されよう。例えば、コンピュータ装置を、メインフレームコンピュータ、パーソナルコンピュータ、ラップトップコンピュータ、PDA(portable data assistant)、コンピュータで使用可能な無線電話、ネットワークコンピュータ装置、改良された携帯電話装置(enhanced mobile telephone device)、または他の適切なコンピュータ装置とすることができ、互いにインターネットなどコンピュータネットワークを介して接続することができる。これらのコンピュータ装置は、プロセッサ、および関連の非揮発性メモリおよび揮発性メモリを一般に含み、かつ揮発性メモリおよびプロセッサの一部に使用する非揮発性メモリ内に記憶されるプログラムを実行するように構成される。本明細書において使用されるように、用語「プログラム」は、本明細書において記述される1つまたは複数のコンピュータ装置により実行される、またはそれらにより適用されるソフトウェアコンポーネント、またはファームウェアコンポーネントを示し、実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコードなどの個体またはグループを包含するように意図されている。コンピュータ可読媒体を、コンピュータ可読媒体上に記憶されるプログラム命令を有しつつ提供することができることを理解されよう。この際、そのプログラム命令は、コンピュータ装置により実行された上で提供され、コンピュータ装置に上記方法を実行させる、または上記システムの操作をもたらす。
本明細書における実施形態は、本発明の範囲を、前述の記述によるというよりむしろ添付された特許請求の範囲によって定義し、ならびに、特許説明の範囲の境界(metes)および限定範囲(bounds)、または特許説明の範囲のこのような境界および限定範囲の等価の中に収まるすべての変更を、特許請求の範囲により包含することを意図するため、例示的であり、限定的でないことを理解されるべきである。

Claims (15)

  1. タッチ入力(16)を受信するように構成されるタッチセンサ式ディスプレイ(14)と、
    前記タッチセンサ式ディスプレイ(14)につながれ、かつ前記タッチ入力(16)を受信し、前記タッチ入力(16)に基づいて、また複数の様々な既定のジェスチャから選択することにより、前記タッチ入力(16)に対応する認識されたジェスチャ(23)を判定するように構成されるジェスチャ認識モジュール(20)と、
    PIM(個人情報管理)データベース(26)を含むPIMモジュール(24)であって、前記タッチセンサ式ディスプレイ(14)上に表示される選択された項目(28)を、前記PIMデータベース(26)の複数の様々なPIMスキーマ(30)の選択された1つに適用するように構成され、前記PIMスキーマ(30)の選択された1つを、前記認識されたジェスチャ(23)に基づいて選択するPIMモジュール(24)と
    を備えたことを特徴とするタッチセンサ式コンピュータ装置(12)。
  2. 前記タッチセンサ式ディスプレイと動作可能なようにつながれ、階層的かつ平面に連続して配列された複数の記録ページを保持するように構成されるデータ保持サブシステムをさらに備え、前記タッチセンサ式ディスプレイを、前記記録ページを選択的に表示するように構成し、前記選択された項目を、前記複数の記録ページの1つにグラフィカルに配置することを特徴とする請求項1に記載のタッチセンサ式コンピュータ装置。
  3. 前記選択された項目を、マークアップされた記録ページグラフィックのような選択された記録ページグラフィックの一部として表示するように構成し、かつアナログ入力モジュールを、前記マークアップされた記録ページグラフィックを、大容量記憶装置に保存させるように構成するインクレンダリングモジュールをさらに備えたことを特徴とする請求項1に記載のタッチセンサ式コンピュータ装置。
  4. 前記タッチセンサ式ディスプレイおよびデータ保持サブシステムと動作可能なようにつながれ、かつ前記複数の記録ページのための経時特性の表示を選択的に制御するように構成されるエージングモジュールをさらに備えたことを特徴とする請求項2に記載のタッチセンサ式コンピュータ装置。
  5. 前記経時特性を、前記複数の記録ページに可変的に適用し、かつ黄変、染み、折り目、しわ、裂け目、ひだ、および汚れ跡を含むグループから選択することを特徴とする請求項4に記載のタッチセンサ式コンピュータ装置。
  6. 前記複数の記録ページの所与の1つのため、前記エージングモジュールを、前記所与の1つの記録ページの経時の少なくとも1つ、および前記所与の1つの記録ページに関連付けられる使用量に基づく、前記所与の1つの記録ページの経時特性を制御するように構成することを特徴とする請求項4に記載のタッチセンサ式コンピュータ装置。
  7. 前記ジェスチャ認識モジュールを、前記認識されたジェスチャを判定した上で、前記ジェスチャ認識モジュールは、前記タッチセンサ式ディスプレイに、前記選択された項目の前記アプリケーションの確認を、前記複数のPIMスキーマの選択された1つのために表示させることができるように構成することを特徴とする請求項1に記載のタッチセンサ式コンピュータ装置。
  8. 前記複数のPIMスキーマは、予定表項目、作業項目、および連絡先項目の1つまたは複数を含むことを特徴とする請求項1に記載のタッチセンサ式コンピュータ装置。
  9. 前記認識されるジェスチャを認識した上で、選択された項目を用いて含まれる英数字文字を認識し、かつ前記PIMモジュールに、前記英数字文字を前記PIMデータベースに、検索可能な項目として保存させるように構成される文字認識モジュールをさらに備えたことを特徴とする請求項1に記載のタッチセンサ式コンピュータ装置。
  10. 階層的かつ平面に連続して配列された複数の記録ページ(70)を選択的に表示するように構成されるタッチセンサ式ディスプレイ(14)と、
    表示された項目(28)を、前記記録ページグラフィック(70)の1つから、複数のPIMスキーマ(30)の選択された1つに、前記タッチセンサ式ディスプレイ(14)に適用されるタッチ入力(16)に応答して適用するように構成されるユーザインタフェース(19)と、
    前記記録ページグラフィック(70)の各々のための経時外観特性を、所定の経時的な状況および所定の使用状況にしたがって制御するように構成されるエージングモジュール(40)と
    を備えたことを特徴とするタッチセンサ式コンピュータ装置(12)。
  11. 前記表示される項目の中で英数字文字を認識し、かつ前記英数字文字を大容量記憶装置に保存するように構成される文字認識モジュールをさらに備えたことを特徴とする請求項10に記載のタッチセンサ式コンピュータ装置。
  12. 前記複数のPIMスキーマは、予定表(calendar)スキーマ、作業(tasks)スキーマ、および連絡先(contacts)スキーマを含むことを特徴とする請求項10に記載のタッチセンサ式コンピュータ装置。
  13. 前記記録ページグラフィックの選択された1つのため、前記所定の経時的な状況は、前記記録ページグラフィックの選択された1つの最初の使用からの継続時間を含み、前記所定の使用状況は、前記記録ページグラフィックの選択された1つにより受ける使用量を含むことを特徴とする請求項10に記載のタッチセンサ式コンピュータ装置。
  14. 前記経時外観特性は、黄変、染み、折り目、しわ、裂け目、ひだ、および汚れ跡を含む前記グループから選択されるグラフィカルな記録ページの表現ことを特徴とする請求項10に記載のタッチセンサ式コンピュータ装置。
  15. 前記ユーザインタフェースを、前記選択された項目についての前記アプリケーションの確認を、前記複数のPIMスキーマの選択された1つのために表示するように構成することを特徴とする請求項10に記載のタッチセンサ式コンピュータ装置。
JP2011546252A 2009-01-19 2009-12-22 タッチセンサ式コンピュータ装置および方法 Active JP5377665B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/356,045 US8319736B2 (en) 2009-01-19 2009-01-19 Touch sensitive computing device and method
US12/356,045 2009-01-19
PCT/US2009/069321 WO2010083012A2 (en) 2009-01-19 2009-12-22 Touch sensitive computing device and method

Publications (3)

Publication Number Publication Date
JP2012515396A true JP2012515396A (ja) 2012-07-05
JP2012515396A5 JP2012515396A5 (ja) 2013-03-28
JP5377665B2 JP5377665B2 (ja) 2013-12-25

Family

ID=42336548

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011546252A Active JP5377665B2 (ja) 2009-01-19 2009-12-22 タッチセンサ式コンピュータ装置および方法

Country Status (7)

Country Link
US (1) US8319736B2 (ja)
EP (1) EP2380075B1 (ja)
JP (1) JP5377665B2 (ja)
KR (1) KR101663849B1 (ja)
CN (1) CN102282533B (ja)
RU (1) RU2011129799A (ja)
WO (1) WO2010083012A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014194630A (ja) * 2013-03-28 2014-10-09 Fujitsu Ltd 表示プログラム、表示装置および表示方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US8677285B2 (en) 2008-02-01 2014-03-18 Wimm Labs, Inc. User interface of a small touch sensitive display for an electronic data and communication device
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US20140160030A1 (en) * 2009-02-09 2014-06-12 Cypress Semiconductor Corporation Sensor system and method for mapping and creating gestures
US9424578B2 (en) 2009-02-24 2016-08-23 Ebay Inc. System and method to provide gesture functions at a device
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
KR20120053430A (ko) * 2010-11-17 2012-05-25 삼성전자주식회사 휴대단말기의 이미지 효과 제공 장치 및 방법
US20120159373A1 (en) * 2010-12-15 2012-06-21 Verizon Patent And Licensing, Inc. System for and method of generating dog ear bookmarks on a touch screen device
JP2012216148A (ja) * 2011-04-01 2012-11-08 Sharp Corp 表示装置、表示方法、コンピュータプログラム及び記録媒体
KR101802759B1 (ko) * 2011-05-30 2017-11-29 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
US10032135B2 (en) 2012-03-19 2018-07-24 Microsoft Technology Licensing, Llc Modern calendar system including free form input electronic calendar surface
US9508056B2 (en) 2012-03-19 2016-11-29 Microsoft Technology Licensing, Llc Electronic note taking features including blank note triggers
US9720574B2 (en) 2012-03-19 2017-08-01 Microsoft Technology Licensing, Llc Personal notes on a calendar item
CN103218075B (zh) * 2013-03-26 2016-12-28 深圳市金立通信设备有限公司 一种触控屏幕的触控监测方法及终端
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
KR102186819B1 (ko) * 2013-08-27 2020-12-07 삼성전자주식회사 노트 기능을 지원하는 모바일 단말기 및 그의 제어 방법
US10942206B2 (en) * 2014-08-04 2021-03-09 Nokia Shanghai Bell Co., Ltd. Variable passive intermodulation load
US10372398B2 (en) 2017-04-04 2019-08-06 Microsoft Technology Licensing, Llc Foldable display device with interactable user interface surface on the external shell
US11182542B2 (en) * 2018-10-29 2021-11-23 Microsoft Technology Licensing, Llc Exposing annotations in a document

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10247988A (ja) * 1997-03-06 1998-09-14 Sharp Corp 通信機能付き情報処理装置
JP2000222522A (ja) * 1999-02-04 2000-08-11 Matsushita Electric Ind Co Ltd 認識処理装置
JP2006122407A (ja) * 2004-10-29 2006-05-18 Konami Co Ltd ゲームプログラム、ゲーム装置及びゲーム方法
JP2006260065A (ja) * 2005-03-16 2006-09-28 Fuji Xerox Co Ltd 文書閲覧装置及び文書閲覧プログラム
JP2011529598A (ja) * 2008-07-31 2011-12-08 サムスン エレクトロニクス カンパニー リミテッド 携帯用端末機におけるパターン認識を用いたユーザインターフェース装置及び方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0667567B1 (en) 1993-12-30 2001-10-17 Xerox Corporation Apparatus and method for supporting the implicit structure of freeform lists, outlines, text, tables, and diagrams in a gesture-based input system and editing system
US6064384A (en) * 1996-08-26 2000-05-16 E-Brook Systems Pte Ltd Computer user interface system and method having book image features
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6952803B1 (en) 1998-12-29 2005-10-04 Xerox Corporation Method and system for transcribing and editing using a structured freeform editor
US6335725B1 (en) * 1999-07-14 2002-01-01 Hewlett-Packard Company Method of partitioning a touch screen for data input
US6459442B1 (en) 1999-09-10 2002-10-01 Xerox Corporation System for applying application behaviors to freeform data
US6859909B1 (en) 2000-03-07 2005-02-22 Microsoft Corporation System and method for annotating web-based documents
US7177473B2 (en) 2000-12-12 2007-02-13 Nuance Communications, Inc. Handwriting data input device with multiple character sets
GB2380583A (en) * 2001-10-04 2003-04-09 Ilam Samson Touch pad/screen for electronic equipment
US20030131059A1 (en) 2002-01-08 2003-07-10 International Business Machines Corporation Method, system, and program for providing information on scheduled events to wireless devices
US7137077B2 (en) 2002-07-30 2006-11-14 Microsoft Corporation Freeform encounter selection tool
US20040119762A1 (en) 2002-12-24 2004-06-24 Fuji Xerox Co., Ltd. Systems and methods for freeform pasting
US20040186729A1 (en) * 2003-03-11 2004-09-23 Samsung Electronics Co., Ltd. Apparatus for and method of inputting Korean vowels
US7262785B2 (en) 2003-08-21 2007-08-28 Microsoft Corporation Ink editing architecture
US7284192B2 (en) 2004-06-24 2007-10-16 Avaya Technology Corp. Architecture for ink annotations on web documents
JP3926353B2 (ja) * 2004-07-30 2007-06-06 東芝テック株式会社 商品販売データ処理装置
US8018431B1 (en) * 2006-03-29 2011-09-13 Amazon Technologies, Inc. Page turner for handheld electronic book reader device
US7864163B2 (en) * 2006-09-06 2011-01-04 Apple Inc. Portable electronic device, method, and graphical user interface for displaying structured electronic documents
KR100861353B1 (ko) 2006-09-11 2008-10-02 엘지전자 주식회사 복합기능을 구비한 네비게이션 시스템 및 그 동작방법
KR101335771B1 (ko) 2007-01-19 2013-12-02 엘지전자 주식회사 터치 스크린을 구비한 전자 기기 및 이를 이용한 정보 입력방법
US7475487B1 (en) * 2008-02-14 2009-01-13 Parchmint, Inc. Height recording album
US20100162165A1 (en) * 2008-12-22 2010-06-24 Apple Inc. User Interface Tools

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10247988A (ja) * 1997-03-06 1998-09-14 Sharp Corp 通信機能付き情報処理装置
JP2000222522A (ja) * 1999-02-04 2000-08-11 Matsushita Electric Ind Co Ltd 認識処理装置
JP2006122407A (ja) * 2004-10-29 2006-05-18 Konami Co Ltd ゲームプログラム、ゲーム装置及びゲーム方法
JP2006260065A (ja) * 2005-03-16 2006-09-28 Fuji Xerox Co Ltd 文書閲覧装置及び文書閲覧プログラム
JP2011529598A (ja) * 2008-07-31 2011-12-08 サムスン エレクトロニクス カンパニー リミテッド 携帯用端末機におけるパターン認識を用いたユーザインターフェース装置及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014194630A (ja) * 2013-03-28 2014-10-09 Fujitsu Ltd 表示プログラム、表示装置および表示方法

Also Published As

Publication number Publication date
WO2010083012A3 (en) 2010-10-14
EP2380075A2 (en) 2011-10-26
CN102282533A (zh) 2011-12-14
RU2011129799A (ru) 2013-01-27
KR20110113616A (ko) 2011-10-17
JP5377665B2 (ja) 2013-12-25
US8319736B2 (en) 2012-11-27
EP2380075B1 (en) 2020-06-10
CN102282533B (zh) 2015-06-17
WO2010083012A2 (en) 2010-07-22
US20100182246A1 (en) 2010-07-22
KR101663849B1 (ko) 2016-10-07
EP2380075A4 (en) 2012-08-22

Similar Documents

Publication Publication Date Title
JP5377665B2 (ja) タッチセンサ式コンピュータ装置および方法
US11681866B2 (en) Device, method, and graphical user interface for editing screenshot images
US9400601B2 (en) Techniques for paging through digital content on touch screen devices
US9026932B1 (en) Edge navigation user interface
Tashman et al. LiquidText: a flexible, multitouch environment to support active reading
CN102625931B (zh) 用于在电子设备中发起活动的用户界面
CN101334706B (zh) 带自增长的文本输入窗
CN108629033B (zh) 电子文本的操纵和显示
US9367208B2 (en) Move icon to reveal textual information
JP5398704B2 (ja) ゾーン関連オブジェクト
US20140189593A1 (en) Electronic device and input method
US20130232439A1 (en) Method and apparatus for turning pages in terminal
Pearson et al. HCI design principles for ereaders
US9256588B1 (en) Transferring content to a substantially similar location in a virtual notebook using a stylus enabled device
US20130268858A1 (en) System and method for providing feedback associated with e-book in mobile device
US20200326841A1 (en) Devices, methods, and systems for performing content manipulation operations
KR20150070431A (ko) 전자책에서 사용자 주석들을 다루는 시스템 및 방법
WO2004031933A1 (en) Method of combining data entry of handwritten symbols with displayed character data
NO336323B1 (no) Systemer, fremgangsmåter og datamaskinlesbare media for å kalle opp en elektronisk-blekk- eller håndskriftsgrensesnitt
JP6092418B2 (ja) 電子機器、方法及びプログラム
TWI510994B (zh) 可攜式電子裝置及控制可攜式電子裝置的方法
JP2004355106A (ja) コンピュータのタッチインタフェース
US9128590B2 (en) Contents display device and contents display method
JP2010026565A (ja) 表示装置及びプログラム
JP5596068B2 (ja) 電子端末および書籍閲覧プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130208

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20130208

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20130226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130619

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130701

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130924

R150 Certificate of patent or registration of utility model

Ref document number: 5377665

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250