JP2016500887A - スマートペンとコンピュータ装置との間の認証接続の確立および保持 - Google Patents

スマートペンとコンピュータ装置との間の認証接続の確立および保持 Download PDF

Info

Publication number
JP2016500887A
JP2016500887A JP2015539785A JP2015539785A JP2016500887A JP 2016500887 A JP2016500887 A JP 2016500887A JP 2015539785 A JP2015539785 A JP 2015539785A JP 2015539785 A JP2015539785 A JP 2015539785A JP 2016500887 A JP2016500887 A JP 2016500887A
Authority
JP
Japan
Prior art keywords
computer
application
smart pen
data
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015539785A
Other languages
English (en)
Inventor
ロバート ブラック デイビッド
ロバート ブラック デイビッド
リード ハレ ブレット
リード ハレ ブレット
Original Assignee
ライブスクライブ インコーポレイテッド
ライブスクライブ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201261719286P priority Critical
Priority to US61/719,286 priority
Application filed by ライブスクライブ インコーポレイテッド, ライブスクライブ インコーポレイテッド filed Critical ライブスクライブ インコーポレイテッド
Priority to PCT/US2013/066587 priority patent/WO2014066621A2/en
Publication of JP2016500887A publication Critical patent/JP2016500887A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44Program or device authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44Program or device authentication
    • G06F21/445Program or device authentication by mutual authentication, e.g. between devices or programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82Protecting input, output or interconnection devices
    • G06F21/83Protecting input, output or interconnection devices input devices, e.g. keyboards, mice or controllers thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for supporting authentication of entities communicating through a packet data network
    • H04L63/083Network architectures or network communication protocols for network security for supporting authentication of entities communicating through a packet data network using passwords
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to network resources
    • H04L63/105Multiple levels of security
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • H04W12/069Authentication using certificates or pre-shared keys
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0384Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2113Multi-level security, e.g. mandatory access control

Abstract

システムおよび方法は、スマートペンとコンピュータ装置との間の接続を確立し、スマートペンからの特定のデータを求めるデータ要求を統制する特権レベルを確立する。スマートペンは、コンピュータ装置から受け取った装置情報に基づき、スマートペンとコンピュータ装置との間に接続を確立すべきか否かを判定する。接続が確立される場合、装置情報に基づき、コンピュータ装置上で実行されるアプリケーションについて特権レベルが確立され、これにより、スマートペンからの特定のデータを求める、アプリケーションからの要求を認めるか拒否するかが判定される。

Description

(関連出願の相互参照)
本出願は、2012年10月26日に出願された米国仮特許出願第61/719,286号の利益を主張するものであり、その開示は全体が参照により本明細書に組み込まれる。
本発明は、ペンベースのコンピュータシステムに関し、特に、記録された書き込み、音声、およびデジタルコンテンツをスマートペン環境において同期させることに関する。
スマートペンは、ユーザの書き込みジェスチャをデジタル処理でキャプチャして、キャプチャしたジェスチャを、様々なアプリケーションで利用可能なデジタル情報に変換する電子機器である。例えば、光学ベースのスマートペンでは、当該スマートペンが、デジタル処理でエンコードされる表面(例えば、ドットパターン)に対する書き込みの間に、ペンの座標を検出し、かつ記録する光学センサを含む。加えて、従来のスマートペンには、埋め込みマイクを含み、当該スマートペンが、書き込みジェスチャのキャプチャと同期して音声をキャプチャすることを可能にするものがある。そして、同期された音声とジェスチャのデータを、再現(replay)することができる。従って、スマートペンは、紙の領域での操作の利便性と、デジタル環境に関連する機能性および柔軟性との両方を提供することにより、豊かなノート取り経験(note taking experience)をユーザに提供することができる。
本発明の実施形態は、スマートペンとコンピュータ装置との間の接続を確立し、かつ、スマートペンからの特定のデータを求めるデータ要求を統制する特権レベルを確立するための、システムおよび方法を提供する。コンピュータ装置の装置情報を求める要求が、スマートペンから送信され、スマートペンは、コンピュータ装置から、要求に関する応答を受け取る。スマートペンは、コンピュータ装置との接続の確立を、スマートペンが、かかる接続を確立すべきか否かを装置情報から判定したかどうかに応じて行うことができる。接続がなされると、要求された装置情報に基づき、コンピュータ装置上で実行されるアプリケーションに対して特権レベルも確立される。特権レベルに基づき、スマートペンは、スマートペンからの特定のデータを求める、アプリケーションからの要求を認めるか拒否するかを判定する。
特定のデータには、例えば、過去のデータ、ジェスチャデータ、位置データ、基本の装置データ、音声データ、またはアカウントデータが含まれてよい。いくつかの実施形態において、特権レベルは、スマートペンからのデータにデータが生成されたままの状態でリアルタイムでアクセスする、スマートペンにより記憶されたジェスチャデータおよび音声データにアクセスする、スマートペンのユーザに関連するアカウント情報にアクセスする、または、スマートペンにより記憶されるデータを修正する、というアプリケーションからの要求を認めるか拒否するかを判定する。一実施形態において、装置情報に基づき、アプリケーションに関連する修飾子(modifier)も特権レベルに対して確立される。修飾子は、特権レベルのアクセスポリシーの1つを変更する。
スマートペンベースのコンピュータ環境の一実施形態の概略図である。 ペンベースのコンピュータシステムにおいて使用するためのスマートペン装置の一実施形態を示す図である。 スマートペン装置の一実施形態によりキャプチャされた、同期された書き込み、音声、およびデジタルコンテンツのデータフィードの一例を示すタイムライン図である。 スマートペン装置とコンピュータ装置との間の認証接続を確立し、かつ保持するための方法の一実施形態を示す相互作用図である。 スマートペン装置と通信を行う際にアプリケーションに割り当てることができる、可能性のあるアクセスレベルの一実施形態を示す表である。 図面は種々の実施形態を説明のみの目的で示す。当業者は、本明細書において説明される構造および方法の代替実施形態が、本明細書に記載される原理から逸脱することなく採用されてよいことを、以下の説明から容易に認識するであろう。
(ペンベースのコンピュータ環境の概要)
図1は、ペンベースのコンピュータ環境100の一実施形態を示す。ペンベースのコンピュータ環境は、音声源102、書き込み面105、スマートペン110、コンピュータ装置115、ネットワーク120、およびクラウドサーバ125を備える。代替実施形態では、異なるまたは追加的な装置、例えば、追加的なスマートペン110、書き込み面105、およびコンピュータ装置115などがあってよい(または、1つまたは複数の装置が無くてもよい)。
スマートペン110は、書き込み面105との対話(例えば、書き込みジェスチャおよび/またはコントロール入力)をデジタル処理でキャプチャし、同時に音声源102から音声をキャプチャする電子機器である。スマートペン110は、直接またはネットワーク120を介して、コンピュータ装置115と通信可能に連結される。キャプチャされた書き込みジェスチャ、コントロール入力、および/または音声は、コンピュータ装置115上で実行される1つまたは複数のアプリケーションでの使用のために、スマートペン110からコンピュータ装置115に(例えば、リアルタイムで、またはその後に)転送されてよい。さらに、デジタルデータおよび/またはコントロール入力は、スマートペン110上で実行されるアプリケーションでの使用のために、コンピュータ装置115からスマートペン110に(リアルタイム、またはオフライン処理で)通信されてよい。クラウドサーバ125は、スマートペン110および/またはコンピュータ装置115による利用が可能な、リモート記憶装置および/またはアプリケーションサービスを提供する。従って、コンピュータ環境100は、紙およびデジタルの両領域におけるユーザ対話を結びつける多様なアプリケーションを可能にする。
一実施形態において、スマートペン110は、ペン(例えば、インクベースのボールペン、インク不使用のスタイラス装置、ディスプレイ上に「デジタルインク」を残留させるスタイラス装置、フェルトペン、鉛筆、または他の書き込み装置)を、埋め込まれたコンピュータ構成要素および種々の入力/出力機能と共に、備える。ユーザは、ユーザが従来のペンで行う様に、スマートペン110を用いて書き込み面105上に書き込むことができる。操作の間、スマートペン110は、書き込み面105上になされる書き込みジェスチャをデジタル処理でキャプチャし、書き込みジェスチャの電子的表現を記憶する。キャプチャされた書き込みジェスチャは、空間成分と時間成分の両方を有する。例えば、一実施形態において、スマートペン110は、種々のサンプル時間でのスマートペン110の書き込み面105に対する位置のサンプル(例えば、座標情報)をキャプチャし、キャプチャした位置情報を、各サンプルのタイミング情報と共に記憶する。キャプチャした書き込みジェスチャには、異なる書き込み面105でキャプチャしたデータ間を区別するために、特定の書き込み面105に関連する識別情報、例えば、特定のノートの特定のページの識別情報などが、さらに含まれてよい。一実施形態において、スマートペン110はまた、ユーザにより選択される、書き込みジェスチャの他の属性をキャプチャする。例えば、インクの色は、スマートペン110上の物理的なキーを押下すること、書き込み面上のプリントされたアイコンをタップすること、コンピュータディスプレイ上のアイコンを選択すること、などにより選択することができる。このインク情報(色、線の幅、線のスタイルなど)はまた、キャプチャしたデータ内にエンコードされてよい。
スマートペン110は、加えて、書き込みジェスチャをキャプチャしながら同時に、音声源102(例えば、環境音)から音声をキャプチャすることができる。スマートペン110は、キャプチャした音声データを、キャプチャした書き込みジェスチャと同期させて記憶する(すなわち、キャプチャしたジェスチャとキャプチャした音声間の相対的タイミングが保存される)。さらに、スマートペン110は、加えて、書き込みジェスチャおよび/または音声をキャプチャしながら同時に、デジタルコンテンツをコンピュータ装置115からキャプチャすることができる。デジタルコンテンツには、例えば、コンピュータ装置115とのユーザ対話、または、コンピュータ装置115上で閲覧されている時間ベースのコンテンツ(例えば、映像)に関連する同期情報(例えば、キューポイント)、が含まれてよい。スマートペン110は、キャプチャした書き込みジェスチャおよび/またはキャプチャした音声データと時間的に同期させた、デジタルコンテンツを記憶する(すなわち、キャプチャしたジェスチャ、音声、およびデジタルコンテンツ間の相対的タイミング情報が保存される)。
同期は、様々な異なる方法で確保されてよい。例えば、一実施形態において、ユニバーサルクロックが異なる装置間の同期に使用される。別の実施形態において、ローカルの装置間の同期が、2つまたはそれ以上の装置間で行われてよい。別の実施形態において、外部のコンテンツを、最初にキャプチャしたデータと結びつけること、また、特定のセッション中にキャプチャされたコンテンツに同期させること、ができる。
一代替実施形態において、音声および/またはデジタルコンテンツは、スマートペン110によってキャプチャされることに代えて、または加えて、代わりにコンピュータ装置115によってキャプチャされてよい。キャプチャした書き込みジェスチャ、音声データ、および/またはデジタルデータの同期は、スマートペン110、コンピュータ装置115、リモートサーバ(例えば、クラウドサーバ125)、または、装置の組み合わせにより行うことができる。さらに、一代替実施形態において、書き込みジェスチャのキャプチャは、スマートペン110の代わりに書き込み面105によって行うことができる。
一実施形態において、スマートペン110は、視覚および/または音声の情報を出力することが可能である。スマートペン110はさらに、異なる入力に応答して種々の出力およびスマートペン110の操作をコントロールする、1つまたは複数のソフトウェアアプリケーションを実行することができる。
一実施形態において、スマートペン110は、さらに、書き込み面105上のテキストまたは他の事前にプリントされたコンテンツを検出することができる。例えば、スマートペン110は、書き込み面105上の特定の単語または画像をタップすることができ、また、次に、スマートペン110は、コンテンツの認識に応じて他の動作を行うことができ、例えば、サウンドを再生する、または、何らかの他の機能を実行することができる。例えば、スマートペン110は、ページ上の単語の翻訳を、翻訳を画面上に表示すること、または、その音声記録を再生することにより、行うことができる(例えば、中国語文字を英語の単語に翻訳する)。
一実施形態において、書き込み面105は、用紙(または、書き込み可能な任意の他の適切な材料)を備え、スマートペン110によって読み込み可能なパターン(例えば、ドットパターン)を用いてエンコードされる。パターンは、書き込み面105に対するスマートペン110の相対的な位置決め(例えば、相対的または絶対的)を、スマートペン110が判定可能であるべく十分に一意的である。別の実施形態において、書き込み面105は、電子ペーパすなわちe−ペーパを備え、または、電子機器(例えば、タブレット)の表示画面を備えてよい。これらの実施形態において、検知は、書き込み面105によって、または、スマートペン110と連動して、全体的に行われてよい。スマートペン110の動きは、例えば、スマートペン装置の光学的検知を介して、スマートペン装置の動き検知を介して、書き込み面105の接触検知を介して、音響検知を介して、基準マーキングを介して、または他の適切な手段により、検知することができる。
ネットワーク120により、スマートペン110、コンピュータ装置115、およびクラウドサーバ125間の通信が可能とされる。ネットワーク120により、スマートペン110は、例えば、スマートペン110、コンピュータ装置115、および/またはクラウドサーバ125間で、キャプチャしたデジタルコンテンツを転送すること、スマートペン110、コンピュータ装置115、および/またはクラウドサーバ125間で、制御信号を通信すること、および/または、スマートペン110、コンピュータ装置115、および/またはクラウドサーバ125間で、種々の他のデータ信号を通信することが可能となり、種々のアプリケーションを有効にされる。ネットワーク120には、例えば、Bluetooth(登録商標)、Wifi、セルラーネットワーク、赤外線通信、音波通信、またはカスタムプロトコルなどの無線通信プロトコルが含まれてよく、および/または、USBまたはEthernet(登録商標)などの有線通信プロトコルが含まれてよい。あるいはまたは加えて、スマートペン110およびコンピュータ装置115は、ネットワーク120を必要としない有線または無線の接続を介して直接通信することができる。
コンピュータ装置115には、例えば、タブレットコンピュータ装置、携帯電話、ラップトップもしくはデスクトップ型のコンピュータ、または他の電子機器(例えば、別のスマートペン110)が含まれてよい。コンピュータ装置115は、スマートペン110と連動して使用可能な1つまたは複数のアプリケーションを実行することができる。例えば、スマートペン110によってキャプチャされたコンテンツは、記憶、再生、編集、および/またはさらなる処理のために、コンピュータシステム115に転送されてよい。加えて、コンピュータ装置115上で利用可能なデータおよび制御信号は、スマートペン110に転送されてよい。さらに、スマートペン110およびコンピュータ装置115上で同時に実行されるアプリケーションは、スマートペン110とコンピュータ装置115との間の、様々な異なるリアルタイムの対話を有効にすることができる。例えば、スマートペン110と書き込み面105との間の対話を使用して、コンピュータ装置115上で実行されるアプリケーションに、入力を与えることができる(または、逆も同様である)。
スマートペン110とコンピュータ装置115との間の通信を有効にするために、スマートペン110およびコンピュータ装置は、お互いに「ペアリング」を確立することができる。ペアリングにより、装置は、お互いを認識し、2つの装置間のデータ転送を承認することができる。一度ペアリングされると、データおよび/または制御信号を、有線または無線手段を通じて、スマートペン110とコンピュータ装置115との間を送信させることができる。
一実施形態において、スマートペン110とコンピュータ装置115の両方は、そのそれぞれのネットワークアダプタにリンクされるTCP/IPネットワークスタックを持つ。装置110、115は従って、直接(TCP)およびブロードキャスト(UDP)のソケットを使用する通信であって、これらのソケットを使用した通信が可能なスマートペン110およびコンピュータ装置115のそれぞれで実行されるアプリケーションとの通信、をサポートする。
クラウドサーバ125には、スマートペン110および/またはコンピュータ装置115にネットワーク120を介して連結されるリモートコンピュータシステムが含まれる。例えば、一実施形態において、クラウドサーバ125は、スマートペン110および/またはコンピュータ装置115によってキャプチャされたデータのためのリモート記憶装置を提供する。さらに、クラウドサーバ125上に記憶されるデータは、種々のアプリケーションとの関係で、スマートペン110および/またはコンピュータ装置115によりアクセスまたは使用が可能である。
(スマートペンシステムの概要)
図2は、スマートペン110の一実施形態を示す。例示の実施形態において、スマートペン110は、マーカ205、撮像システム(imaging system)210、ペンダウンセンサ215、1つまたは複数のマイクロフォン220、スピーカ225、音声ジャック230、ディスプレイ235、I/Oポート240、プロセッサ245、オンボードメモリ250、および電池255を備える。スマートペン110にはまた、電源ボタンまたは音声記録ボタン、および/または、ステータス表示ライト、などのボタンが含まれてよい。代替実施形態において、スマートペン110は、図2に示すものより少ないもしくは追加的な、または異なる構成要素を有することができる。
マーカ205は、任意のインクベースもしくはグラファイトベースのマーキング装置、または、書き込みに使用可能な任意の他の装置を含む、任意の適切なマーキング機構を備える。マーカ205は、感圧素子などのペンダウンセンサ215に連結される。ペンダウンセンサ215は、マーカ205が面に対して押される際に出力を生み出し、それにより、スマートペン110が使用されて面に書き込みがされている時、または、書き込み面105上でのコントロールまたはボタン(例えば、タッピング)と対話している時を検出する。一代替実施形態において、異なるタイプの「マーキング」センサを使用して、ペンがマークをマーキングしている時、または、書き込み面110と対話している時を判定することができる。例えば、ペンアップセンサを使用して、スマートペン110が書き込み面105と対話していない時を検出してもよい。あるいは、スマートペン110は、書き込み面105上のパターンが焦点にある時を(例えば、キャプチャされた画像の高速フーリエ変換に基づき)判定することができ、そして、それに従って、スマートペンが書き込み面105の範囲内にある時を判定することができる。別の代替実施形態において、スマートペン110は、ペンが書き込みしている時、または、書き込み面105上のコントロールと対話している時を示す振動を検出することが可能である。
撮像システム210は、マーカ205近辺の面の領域を撮像するための十分な光学装置およびセンサを備える。撮像システム210を使用して、スマートペン110でなされる手書きおよびジェスチャをキャプチャすることができる。例えば、撮像システム210には、マーカ205の近く全体の書き込み面105を照らす赤外光源が含まれてよく、それにおいて、書き込み面105にはエンコードされたパターンが含まれる。エンコードされたパターンの画像を処理することにより、スマートペン110は、マーカ205が、書き込み面105に関連してどこにあるのかを判定することができる。そして、撮像システム210の撮像アレイにより、マーカ205近辺の面が撮像され、その視野内にある符号化されたパターンの部分がキャプチャされる。
スマートペン110の他の実施形態において、書き込みジェスチャをキャプチャするための適切な代替機構が使用されてよい。例えば、一実施形態において、単語または写真もしくは他の画像の一部などの事前にプリントされたマークを使用して、ページ上の位置が判定される。検出されたマークをデジタル版の文書に相関させることにより、スマートペン110の位置を判定することができる。例えば、一実施形態において、プリントされた新聞に対するスマートペンの位置は、スマートペン110の撮像システム210によってキャプチャされた画像を、クラウドベースのデジタル版の新聞と比較することにより判定することができる。本実施形態において、書き込み面105上のエンコードされたパターンは、必ずしも必要ではなく、なぜなら、ページ上の他のコンテンツを基準点として使用することができるからである。
一実施形態において、撮像システム210によってキャプチャされたデータは、続いて処理され、文字認識などの1つまたは複数のコンテンツ認識アルゴリズムを、受信データに適用することができる。別の実施形態において、撮像システム210を使用して、既に書き込み面105上に存在する書き込まれたコンテンツをスキャンかつキャプチャすることができる。これは、例えば、書き込み面105上の手書きもしくはプリントされたテキスト、画像、またはコントロールを認識するために使用することができる。さらに、撮像システム210をペンダウンセンサ215と組み合わせて使用して、マーカ205が書き込み面105に接触している時を判定してもよい。例えば、スマートペン110は、ユーザが、書き込み面105の特定の場所にあるマーカ205をタップする時を検知することができる。
スマートペン110はさらに、音声をキャプチャするための1つまたは複数のマイクロフォン220を備える。一実施形態において、1つまたは複数のマイクロフォン220は、プロセッサ245、または、信号プロセッサ(不図示)により実行される信号処理ソフトウェアに連結され、これは、マーカ205が書き込み面上を移動する際に発生するノイズ、および/または、スマートペン110が書き込み面に接触するまたは書き込み面から離れる際に発生するノイズを除去するものである。上記で説明したように、キャプチャした音声データは、音声データとキャプチャしたジェスチャとの間の相対的なタイミングを保存する様式で記憶されてよい。
入力/出力(I/O)装置240により、スマートペン110とネットワーク120および/またはコンピュータ装置115との間の通信が可能となる。I/O装置240には、有線および/または無線の通信インターフェース、例えば、Bluetooth(登録商標)、Wi−Fi、赤外線、または超音波のインターフェースなど、が含まれてよい。
スピーカ225、音声ジャック230、およびディスプレイ235は、データ提示のためにスマートペン110のユーザに対して出力を提供する出力装置である。音声ジャック230は、イヤホンに連結され、スピーカ225とは異なり、ユーザの周囲の人の邪魔をせずにユーザが音声出力を聴くことができるようにする。一実施形態において、音声ジャック230はまた、各イヤピースにスピーカとマイクロフォンの両方が含まれる両耳用のヘッドセットの場合は、マイクロフォンジャックとしても機能する。両耳用のヘッドセットを使用することにより、より現実的な音声をキャプチャすることが可能とされ、なぜなら、マイクロフォンがユーザの耳の近辺に配置されるからであり、従って、ユーザが室内で聴いているような音声がキャプチャされる。
ディスプレイ235は、視覚フィードバックを提供するための、有機発光ダイオード(OLED)ディスプレイなどの、任意の適切なディスプレイシステムを備えてよく、スマートペン110は視覚的な出力を提供することができる。使用時、スマートペン110は、これらの出力構成要素のいずれか使用して、音声または視覚フィードバックを通信することができ、データは複数の出力様式を使用して提供される。例えば、スピーカ225および音声ジャック230は、スマートペン110上で実行中のアプリケーションに従って、音声フィードバック(例えば、プロンプト、コマンド、およびシステムステータス)を通信することができ、また、ディスプレイ235は、そのようなアプリケーションによる指示の通りに、語句、静的もしくは動的な画像、またはプロンプトを表示することができる。加えて、スピーカ225および音声ジャック230を使用して、マイクロフォン220を使用して記録してある音声データを再生することもできる。スマートペン110はまた、ユーザに触覚フィードバックを与えてもよい。触覚フィードバックには、例えば、単純な振動通知、または、仮想ボタンもしくは他のプリント/表示されたコントロールと対話する感覚を提供する、スマートペン110のさらに洗練された動き、が含まれてよい。例えば、プリントされたボタン上をタップすることにより、「クリック」音およびボタンが押下されたという感覚を生み出してもよい。
プロセッサ245、オンボードメモリ250(例えば、非一時的なコンピュータ可読記憶媒体)、および電池255(または、任意の他の適切な電源)は、コンピューティング機能がスマートペン110上の少なくとも一部において実行されることを可能にする。プロセッサ245は、入力装置および出力装置、ならびに、上述の他の構成要素に連結され、それにより、スマートペン110上で実行中のアプリケーションがそれらの構成要素を使用できるようにする。その結果、実行可能なアプリケーションは、オンボードメモリ250の非一時的なコンピュータ可読記憶媒体に記憶され、かつ、プロセッサ245により実行されて、本明細書において記載されるスマートペン110に起因する種々の機能を行うことが可能となる。メモリ250はさらに、記録された音声、手書き、およびデジタルコンテンツを、無期限に、またはスマートペン110からコンピュータシステム115またはクラウドサーバ125にオフロードされるまで、記憶することができる。
一実施形態において、プロセッサ245およびオンボードメモリ250には、ファイルシステムまたはアプリケーションメニューを通じてメニュー構造およびナビゲーションをサポートかつ有効にする、1つまたは複数の実行可能アプリケーションが含まれ、アプリケーションまたはアプリケーションの機能を起動することができる。例えば、メニュー項目間のナビゲーションには、ユーザによる発話されたおよび/または書き込まれたコマンドおよび/またはジェスチャ、ならびに、スマートペンコンピュータシステムからの音声および/または視覚フィードバックに関与する、ユーザとスマートペン110との間の対話が含まれる。一実施形態において、ペンコマンドは、「起動ライン」を使用してアクティブにすることができる。例えば、ドットペーパ上で、ユーザは水平な線を右から左に描き、次に、最初の線分上を戻り、この時、ペンはユーザにプロンプトしてコマンドを求める。そして、ユーザは、ラインの上にアクセス対象の所望のコマンドまたはメニュー(例えば、Wi−Fi設定、再生記録、など)を(例えば、ブロック文字を使用して)プリントする。統合文字認識(ICR)を使用して、ペンは、書き込まれたジェスチャを、コマンドまたはデータの入力用のテキストに変換することができる。代替実施形態において、異なるタイプのジェスチャを認識して、起動ラインを有効にすることができる。従って、スマートペン110は、入力を受け取り、様々な様式からメニュー構造をナビゲートすることができる。
(書き込み、音声、およびデジタルのデータストリームの同期)
図3は、スマートペン環境100におけるスマートペン110の操作中に存在する(および、選択的にキャプチャされる)、種々のデータフィードの一例を示す。例えば、一実施形態において、書き込みデータフィード300、音声データフィード305、およびデジタルコンテンツデータフィード315が全て、共通の時間インデックス315に同期している。書き込みデータフィード302は、例えば、特定の書き込み面105に対するスマートペンの位置の座標情報(例えば、「X」および「Y」座標)をエンコードしたデジタルサンプルのシーケンスを表す。加えて、一実施形態において、座標情報には、ペンの角度、ペンの回転、ペンの速度、ペンの加速度、またはスマートペン110の位置、角度、もしくは動きについての他の特徴が含まれてよい。書き込み面105は、時間と共に変化してよく(例えば、ユーザがノートのページを変える、またはノートを切り替える時に)、従って、書き込み面の識別情報も、(例えば、ページ要素「P」として)キャプチャされる。書き込みデータフィード302にはまた、ユーザが書き込みしているか否かを識別する(例えば、ペンアップ/ペンダウンセンサ情報)、または、スマートペン110との他のタイプの対話を識別する、スマートペン110によってキャプチャされる他の情報が含まれてよい。
音声データフィード305は、例えば、特定のサンプル時間においてキャプチャされたデジタル音声サンプルのシーケンスを表す。いくつかの実施形態において、音声データフィード305には、多重音声信号(例えば、ステレオ音声データ)が含まれてよい。デジタルコンテンツデータフィード310は、例えば、コンピュータ装置115上で実行される1つまたは複数のアプリケーションに関連する状態のシーケンスを示す。例えば、デジタルコンテンツデータフィード310には、特定のサンプル時間におけるコンピュータ装置115の状態をそれぞれが表すデジタルサンプルのシーケンスが含まれてよい。状態情報は、例えば、所与の時間においてコンピュータ装置115により表示されているデジタル文書の特定の部分、コンピュータ装置115により再生されている映像の現在の再生フレーム、所与の時間においてコンピュータ装置115により記憶されている入力のセット、などを表すことができる。コンピュータ装置115の状態は、コンピュータ装置115とのユーザ対話に基づき、および/または、書き込みデータフィード302からのコマンドもしくは入力(例えば、ジェスチャコマンド)または音声データフィード305からのコマンドもしくは入力(例えば、音声コマンド)に応答して、時間と共に変化してよい。例えば、書き込みデータフィード302により、コンピュータ装置115の状態に対してリアルタイムの更新を行ってよく、例えば、キャプチャしたままの書き込みデータフィード302をリアルタイムで表示すること、または、書き込みデータフィード302のキャプチャしたジェスチャにより表される入力に基づきコンピュータ装置115の表示を変更することなどができる。図3は1つの代表的な例を提供するが、他の実施形態には、例示するものよりも少ないもしくは追加的なデータフィード(異なるタイプのデータフィードが含まれる)が含まれてよい。
既に述べようたように、データフィード302、305、310のうちの1つまたは複数が、時間インデックス315と相関して、スマートペン110、コンピュータ装置115、クラウドサーバ120、または装置の組み合わせによってキャプチャされてよい。そして、データフィード302、305、310のうちの1つまたは複数は、同期して再現することが可能である。例えば、書き込みデータフィード302は、例えば、キャプチャした書き込みジェスチャの「動画」としてコンピュータ装置115のディスプレイ上に、音声データフィード305と共に再現させることができる。さらに、デジタルコンテンツデータフィード310は、以前記録した状態のシーケンス間をキャプチャしたタイミングに従って、コンピュータ装置115を遷移させる「動画」として、再現させることができる。
別の実施形態においては、ユーザは、様々な異なる方法で、記録データと対話することが可能である。例えば、一実施形態において、ユーザは、以前キャプチャした書き込みに対応する書き込み面105上の特定の場所と対話する(例えば、タップする)ことができる。そして、その特定の場所での書き込みが発生した時に対応する時刻位置を、判定することができる。あるいは、コンピュータ装置115上のスライダナビゲーションツールを使用することにより、または、デジタルコンテンツデータフィード210内の特定の時刻位置に対して一意的な状態に、コンピュータ装置115を置くことにより時刻位置を識別することができる。音声データフィード305、デジタルコンテンツデータフィード310、およびまたは書き込みデータフィードは、識別された時刻位置から開始して再現させることができる。加えて、ユーザは、データフィード302、305、310の内の1つまたは複数を、識別された時刻位置において、修正するべく追加することができる。
(認証接続の確立および保持)
上述のように、データ転送が、スマートペン110コンピュータ装置110との間に(直接またはネットワーク120を介して)生じ、様々な異なる機能を可能とすることができる。一実施形態において、スマートペン110およびコンピュータ装置115は、認証接続を確立かつ保持して、該装置間のデータ転送を可能する。例えば、一実施形態において、装置110、115は、お互いを発見し、暫定的な接続を確立し、お互いのアイデンティティを確認し、信頼関係を確立する。一度確立されると、2つの装置110、115は、その後も自動的にお互いに再発見および再接続することができる。さらに、コンピュータ装置115上で実行される異なるアプリケーションには、認証方法により執行される異なる特権レベルを与えることができ、従って、認証済みのセッション中に、スマートペン110からのアクセスのレベルを変更することが許可される。
図4は、コンピュータ装置115とスマートペン110との間の認証接続を確立するための処理の一例の実施形態を示す。発見段階において、起点装置(コンピュータ装置115、スマートペン110、または両方)が、他の装置からの装置情報を求める要求400を送信することにより通信を初期化する。例えば、一実施形態において、起点装置(スマートペン110またはコンピュータ装置115)が、ブロードキャスト要求パケット(例えば、UDPブロードキャストパケット)を、ネットワーク120を介してローカルサブネットにディスパッチする。何の応答も受信しない場合、起点装置は、パケットの再送信を継続することができる(また、停止基準を満たす場合は、パケットの再送信を停止してもよい)。受信装置(コンピュータ装置115、スマートペン110、または両方であってよい)がネットワーク120に接続され、要求400(例えば、UDPパケット)を受け取ると、受信装置は、応答405を送信することにより応答することができる。例えば、一実施形態において、受信装置は、それ自身の対応するパケット(例えば、UDPパケット)を用いて応答する。このパケットは、明確に起点装置に向けられてよく、また、起点装置に対して受信装置を識別する情報を搬送してよい。図4において、要求400および応答405が、双方向に点線で示され、要求400および応答405が、どちらかの方向または双方向に送信可能であることを表す。
最初の要求400および応答405の後、起点装置と受信装置の両方が、他方の装置との接続を確立するか否かを判定し410、接続を拒否し、または、接続の試みを停止する(例えば、何の応答も受信しない場合)。一実施形態において、判定段階410は、接続の試みを通知するユーザプロンプトを(例えば、スマートペン110またはコンピュータ装置115上に)表示すること、および、ユーザの応答に基づき、接続の試みを受諾するか拒否するかを判定すること、に関与する。
例えば、一実施形態において、コンピュータ装置115(例えば、タブレット)は、ローカルネットワーク120に接続されるスマートペン110についての情報を求めて最初の要求400を行う。同じネットワーク上のスマートペン110の全てが、自らのシリアル番号およびその他の識別情報を持つパケットを、要求側のコンピュータ装置115に送ることにより、要求400に対して応答405を送信する。応答側のスマートペン110のそれぞれについて、コンピュータ装置115は次に、受信した情報を破棄すべきか、受信した情報を維持すべきか、または、スマートペン110との接続確立を試みるか、を判定する410−A。代わりの一実施形態において、スマートペン110は、最初の要求400を行い、応答405を1つまたは複数のコンピュータ装置115から受信し、受信した情報をどのように扱うのかについて判定する410−Bことができる。
認証接続の確立および保持を行う次の段階は、装置のペアリングである。「ペアリング」を確立することにより、スマートペン110およびコンピュータ装置115は、長い認証処理を繰り返すことなく、自動的にお互いに再接続することができる。一実施形態において、ペアリング処理は、ユーザがスマートペン110およびコンピュータ装置115の少なくとも一方を「ペアリングモード」にする時に実行される。スマートペン110またはコンピュータ装置115は、一度ペアリングモードにされると、ブロードキャスト発見要求(例えば、最初の通信を求める要求400)に応答するだけでなく、ペアリング要求にも応答することになる。
一度ペアリングモードになり、かつ、各装置110、115がステップ410にて他方の装置との接続を認めるとみなされると、両方の装置が、ネットワーク120を介してお互いに接続を確立する415。例えば、一実施形態において、コンピュータ装置115は、スマートペン110の特定の開いたソケットに接続を試みる(または、逆も同様である)。追加的な識別情報が、スマートペン110とコンピュータ装置115との間で交換される420。装置110、115は次に、追加的な識別情報に基づき関係を検証する425。例えば、一実施形態において、検証ステップ425には、接続を最終的に確定するために、スマートペン110がペアリングコードをそのディスプレイ上に示すこと、および、ユーザがペアリングコードをコンピュータ装置115に入力することが含まれてよい。あるいは、ペアリングコードが、コンピュータ装置115上に表示され、かつ、スマートペン110上に入力されてもよい。ステップ425にて関係が検証されると、装置はペアリングされる。
装置110、115に記録された私的かつ機密の情報を、未承認の装置またはアプリケーションによる不正な接続から保護するために、ペアリングされた両装置110、115が、接続を(例えば、SSL/TLSを使用して)確保し430、その後に、さらなる情報が交換可能となる。一実施形態において、スマートペン110には既知であって、かつ、コンピュータ装置115上で実行される承認されたアプリケーションに埋め込まれた、証明書を使用して、装置110、115間の接続の通信を検証して接続を確保する430。その後、装置110、115間のバリデーション/ネゴシエーションのやりとりが開始される。
一代替実施形態において、最初のペアリングを、有線接続(例えば、USB、マイクロUSB、またはドッキング用補助具)に限定することができる。これにより、スマートペン110およびコンピュータ装置115は、特に機密の作業環境における、未承認の接続から保護される。有線接続により、確実に、ユーザにより承認されたペンのみが、サーバおよびコンピュータなどのコンピュータ装置115に接続可能とされる。有線のペアリングの最後に、スマートペン110およびコンピュータ装置115の両方が承認されて、お互いに無線接続を確立することができる。
一実施形態において、セキュリティを、高度/生体ユーザ認証方法を使用して向上させることができる。スマートペン110およびコンピュータ装置115が接続を確立すると、スマートペン110は、ユーザにプロンプトしてアイデンティティの検証を求めることができる。例えば、スマートペン110は、ユーザに、パスワードを書き込む、またはプリントされたキーボード上にタイプするように要求してもよい。あるいは、ユーザに、サイン、または、単語を書き出すよう求めてもよい。書き込まれたジェスチャを、記録されたサインまたは以前手書きされたジェスチャと比較して、ユーザのアイデンティティを検証することができる。スマートペン110はまた、アイデンティティを検証する手段として声認証利用してもよい。
一実施形態において、コンピュータ装置115上で実行される異なるアプリケーションが持つアクセス権を、スマートペン110が記憶するデータに制約すること、または、スマートペン110が持つアクセス権を、コンピュータ装置115が記憶するデータに制約することにより、接続された装置間でセキュリティを向上させることができる。一実施形態において、スマートペン110と共に使用するためのアプリケーションを開発したいアプリケーション開発者には、スマートペン110と通信するための接続ツールキット/標準開発キット(SDK)が提供される。開発者にはまた、アプリケーションと共に含まれるべきアプリケーションプログラミングインターフェース(API)トークンが与えられる。バリデーション/ネゴシエーションのやりとりの間、このAPIトークンは、装置110、115間で交換される435(例えば、片方向または双方向の交換)。各トークンは、アプリケーションに対して承認された特定のアクセスレベル特権と共にエンコードされる。アプリケーションがコンピュータ装置115で実行される際、スマートペン110はトークンを検証し440、アプリケーションにアクセスを与える445前に内部的なブラックリストと照合する。ユーザはまた、アプリケーションに、スマートペン110上のデータへのアクセスが与えられる445前に、アプリケーションに対して承認されるアクセスのレベルを検証するようプロンプトされてもよい。アクセス権には、例えば、アプリケーションに、スマートペン110に記憶されるデータへの書き込み/削除アクセス、や、スマートペン110に記憶されるデータへの単純な読み込み/観測アクセスを認めることが含まれる。アクセス権のレベルを検証する追加的な例について、図5を参照して以下で説明する。
認証トークンを、ローカルに記憶して、装置110、115がその後もお互いに自動的に再接続できるようにすること、および、以前検証済みのアプリケーションが、与えられた特権レベルに従ってスマートペン110と通信可能であるようにすることができる。トークンを交換して記憶した後、2つの装置は、お互いに通信して、アプリケーション固有の許可により認められる範囲まで、情報を転送すること450ができる。2つの装置間の接続が閉じると、その後、装置は自由にお互いに再接続する。
装置間の以前のペアリングにより、特定のコンピュータ装置115およびスマートペン110は、その後、自動的な再接続を求めてお互いを探し出すことが可能である。例えば、接続は、特定の事象に応答して自動的に再確立されてよく、例えば、特定の時間間隔が経過したとき、ユーザによってプロンプトされたとき、または、起動事象もしくはネットワーク変更事象に応答して、などである。一実施形態において、ユーザは、コンピュータ装置115上のアプリケーション内のコントロールを起動またはタップすることにより、探索操作を開始することができる。別の実施形態において、ユーザは、スマートペン110を使用して、ペンに適合する書き込み面105上のアイコンをタップすること、または、起動ラインもしくはICRを使用することにより、探索操作を開始することができる。不具合がある場合、(接続がユーザにより明示的に要求されたならば)ユーザは、プロンプトされてよく、または、(接続が既に黙示的にトリガーされているならば)無視される。再接続が成功すると、装置は、以前のペアリングの間に与えられたアクセスに従って、または、ローカルに記憶された認証トークンにおいて指定される特権に従って、ペアリングされる。
一実施形態において、長期間の認証接続が必ずしも望ましいとは限らないシナリオについては、コンピュータ装置115とスマートペン110との間の一時的な接続が代替として確立されてもよい。例えば、スマートペン110は、一回限りまた限定されたアクセスデータ交換の目的で、コンピュータ装置115に接続することができる。このシナリオでは、装置が上述のように発見され、接続が確立される(これは、異なる実施形態においては、ユーザによって明示的に認められても)。しかし、装置は上述のような様式ではペアリングされず、装置110、115間で交換435された認証トークンは、装置110、115上に記憶されない。2つの装置110、115は、従って、その後は自動的に再接続することはできない。
一実施形態において、スマートペン110およびコンピュータ装置115は、インフラストラクチャのネットワーク(例えば、家庭もしくは企業のWi−Fiアクセスポイント、公共のWi−Fiホットスポット、または、モバイルホットスポット)が利用可能でないときでも、接続を確立かつ保持することが可能である。本実施形態において、スマートペン110は、自らの一時的なネットワーク(例えば、アドホックネットワーク)を確立してブロードキャストする。スマートペン110は、アドホックネットワークのアベイラビリティをブロードキャストし、確立されたネットワーク上のトラフィックの聞き取りを開始する。そして、他の装置(例えば、コンピュータ装置115)は、上記で説明した認証済みの接続を確立かつ保持するための方法を使用して、アドホックネットワーク上のスマートペン110に接続することができる。一実施形態において、スマートペン110は、アクセス可能なインフラストラクチャの無線ネットワークが無いことを検出すると、アドホックネットワークを自動的に確立する。
(アクセスレベル特権)
上述のように、異なるアプリケーションには、それぞれの認証トークン内にエンコードされた特権レベルに応じて、スマートペン110の情報への異なるレベルのアクセスが認められる。異なる特権レベルは、スマートペン110に記憶されるデータの読み込み、書き込み、および修正、ならびに、スマートペン110からのリアルタイムのデータの観測、についての異なる特権を提供する。一実施形態において、各特権レベル内の修飾子が、所与のアプリケーションの特定の特権をさらに微調整する。
図5は、認証トークンにエンコードすることができる、可能性のある特権レベルの表500の一例の実施形態を示す。図5の表では、それぞれ上位の特権レベルが、下位レベルで許可される同じ特権に加えて、1つまたは複数の追加的な特権を、アプリケーションに認める。
例えば、レベル0(505)は、最下位特権レベルである。レベル0(505)に割り当てられるアプリケーションは、スマートペン110が接続されているときに、リアルタイムの書き込みジェスチャを観測することのみが認められるが、過去のデータにはアクセスできない。例えば、レベル0(505)に割り当てられるアプリケーションは、ペンアップ/ペンダウンセンサからのデータ、ジェスチャデータ、位置情報、およびスマートペン110に関する他の基本データ、を受け取ることができる。
レベル1(510)に割り当てられるアプリケーションは、レベル0(505)から同じ特権が与えられており、また、スマートペン110との現在接続されているセッション中に(偶発的に切断されてその後再接続した場合の、スマートペン110が「接続されて」いたはずの期間中を含む)、ペン110により記憶された書き込みジェスチャデータにクエリを行うことが追加的に許可された、アプリケーションである。しかし、レベル1に割り当てられるアプリケーションは、現在の接続が確立される間の以前のセッションからのデータにはアクセスできない。
レベル2(515)に割り当てられるアプリケーションには、該アプリケーションにとって既知の書き込み面105(例えば、ノートの特定のページ)に関連する、スマートペン110により記憶された任意の書き込みジェスチャデータに、クエリを行うことが認められる。例えば、レベル2(515)に割り当てられるアプリケーションは、アプリケーションとスマートペン110が接続していた間に書き込みがされた、任意の書き込み面105からの書き込みジェスチャデータにアクセスすることができ、何らかの書き込みジェスチャデータが現在のセッション中にキャプチャされたものではない場合もアクセスできる。
レベル3(520)に割り当てられるアプリケーションには、書き込みジェスチャデータと共に音声データにクエリを行うことおよび転送すること、ならびに、記録セッションを開始すること、が認められる。従って、アプリケーションは、任意の音声記録および音声記録に関連するペンストロークへのアクセスおよびダウンロードを行う許可を得る。
レベル15(525)に割り当てられるアプリケーションは、最高の特権レベルを与える管理者特権レベルである。レベル15に割り当てられるアプリケーションは、ジェスチャデータおよび音声データの読み込み、スマートペン110のユーザに関連するアカウント情報へのアクセス、および、スマートペン110の他の構成情報の読み込みまたは修正、を行うことができる。
修飾子をアクセスレベルに適用して、特権構造に追加的な柔軟性を与えることができる。修飾子は、所与のアプリケーションについて有効にされると、認証トークン上にエンコードされた特定の特権レベルにより既に許可されたものの上位に、1つまたは複数の追加的な特権を付与する。例えば、修飾子A(530)は、スマートペン110内の書き込みジェスチャデータおよび音声データにメタデータを追加する能力を含む書き込み能力560を、アプリケーションに与える。他の修飾子を、種々の実施形態における認証トークンへのエンコードに利用可能とすることもできる。例えば、一実施形態において、追加的な修飾子により、記憶されたデジタルデータ(例えば、デジタルコンテンツデータフィード310からの)へのアクセスを有効またな無効にする。
(追加の実施形態)
実施形態についての上記の説明は、例示の目的で提示されたものであり、包括的であることも、開示される正確な形式に本発明を限定することも、意図されない。当該技術を有する者は、上記の開示に照らして、多くの修正および変更が可能であることを理解することができる。
本説明のある部分では、情報に対する操作のアルゴリズムおよび象徴的な表現の観点から、実施形態を説明する。これらのアルゴリズム的な説明および表現は、データ処理技術を有する者により共通に使用されて、彼らの作業の内容が他の技術を有する者に効果的に伝達される。これらの操作は、機能的、コンピュータ的、または論理的に説明されるが、コンピュータプログラムもしくは等価の電気回路、またはマイクロコード、などにより実装されることが理解される。さらに、操作についてのこれらの構成を、普遍性を失うことなくモジュールとして、言及することは、時には好都合であることも証明された。説明した操作および関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組み合わせにおいて具現化されてよい。
本明細書に記載されるステップ、操作、または処理のいずれも、1つまたは複数のハードウェアまたはソフトウェアモジュールを用いて、単独で、または他の装置との組み合わせで、実行または実装することができる。一実施形態において、ソフトウェアモジュールは、記載されるステップ、操作、または処理のいずれかまたは全てを実行するための、コンピュータプロセッサにより実行可能であるコンピュータプログラム命令を含有する、非一時的コンピュータ可読媒体を備えるコンピュータプログラム製品を用いて実装される。
実施形態はまた、本明細書に記載される操作を実行するための装置にも関係してよい。この装置は、必要とされる目的のために特別に構築されてよく、および/または、コンピュータ内に記憶されるコンピュータプログラムにより選択的に起動または再構成される汎用コンピュータ装置を備えてよい。かかるコンピュータプログラムは、電子的な命令を記憶するのに適した、かつ、コンピュータシステムバスに連結される任意のタイプの有形の媒体を含む、有形のコンピュータ可読記憶媒体に記憶されてよい。さらに、明細書において言及される任意のコンピュータシステムは、単一のプロセッサを含んでよく、または、増大する計算能力のためのマルチプロセッサ設計を採用するアーキテクチャであってよい。
最後に、明細書内で使用される言語は、主に読みやすさおよび教示の目的で選択されたものであり、発明の主題の輪郭を描くことまたは境界線を描くことのために選択されてはいないものとする。従って、本発明の範囲は、本詳細な説明によって制限されるのではなく、むしろ、本明細書に基づく応用に由来する任意の請求項により制限されることが意図される。従って、本発明の実施形態の開示では、以下の請求項において記載される本発明の範囲を、非制限的に、例証することが意図される。

Claims (20)

  1. コンピュータ装置についての装置情報を求めてスマートペンから要求を送信するステップと、
    前記スマートペンが、前記送信した要求に関して前記コンピュータ装置から応答を受け取るステップと、
    前記応答に基づき、前記スマートペンと前記コンピュータ装置との間に無線接続を確立すべきか否かを判定するステップと、
    無線接続を確立すべきであるという判定に応答して、無線接続を確立するステップと、
    前記装置情報に基づき前記コンピュータ装置上で実行されるアプリケーションの特権レベルを確立するステップであって、前記特権レベルは所定の特権レベルのセットから選択され、前記所定の特権レベルのセットのそれぞれが、異なるアクセスポリシーを確立する、ステップと
    前記特権レベルに基づき、前記スマートペンからの特定のデータを求める、前記アプリケーションからの要求を認めるか拒否するかを判定するステップと
    を含むことを特徴とするコンピュータに実装される方法。
  2. 前記無線接続の喪失を検出するステップと、
    前記無線接続を自動的に再確立するステップと
    さらに含むことを特徴とする請求項1に記載のコンピュータに実装される方法。
  3. 前記特定のデータが、過去のデータ、ジェスチャデータ、位置データ、基本の装置データ、音声データ、およびアカウントデータのうちの少なくとも1つを含むことを特徴とする請求項1に記載のコンピュータに実装される方法。
  4. 前記特権レベルを確立するステップが、
    前記コンピュータ装置との間で認証トークンを交換するステップであって、前記認証トークンは、前記特権レベルに関する情報を含む、ステップ、を含むことを特徴とする請求項1に記載のコンピュータに実装される方法。
  5. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
    前記特権レベルに基づき、スマートペンからのデータに、データが生成されたままの状態で、リアルタイムでアクセスするという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含むことを特徴とする請求項1に記載のコンピュータに実装される方法。
  6. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
    前記特権レベルに基づき、前記スマートペンにより記憶されたジェスチャデータおよび音声データにアクセスするという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含むことを特徴とする請求項1に記載のコンピュータに実装される方法。
  7. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
    前記特権レベルに基づき、前記スマートペンのユーザに関連するアカウント情報にアクセスするという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含むことを特徴とする請求項1に記載のコンピュータに実装される方法。
  8. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
    前記特権レベルに基づき、前記スマートペンにより記憶されるデータを修正するという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含むことを特徴とする請求項1に記載のコンピュータに実装される方法。
  9. 前記特権レベルを確立するステップが、
    前記装置情報に基づき、前記アプリケーションに関連する修飾子を確立するステップであって、前記修飾子は、前記所定の特権レベルのセットから選択された特権レベルのアクセスポリシーの1つを変更する、ステップ、を含むことを特徴とする請求項1に記載のコンピュータに実装される方法。
  10. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
    前記修飾子に基づき、前記スマートペンにより記憶されたデータにメタデータを追加するという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含むことを特徴とする請求項9に記載のコンピュータに実装される方法。
  11. スマートペン装置内に統合されるプロセッサと、
    前記スマートペン装置内に統合されるジェスチャキャプチャシステムであって、前記プロセッサに連結され、かつ、書き込みデータをキャプチャするためのものであるジェスチャキャプチャシステム、と、
    コンピュータプログラムコードを記憶し、かつ、前記スマートペン装置内に統合される、非一時的コンピュータ可読記憶媒体と
    を備えることを特徴とするスマートペン装置であって、
    前記コンピュータプログラムコードは、前記プロセッサにより実行されるべく構成され、前記コンピュータプログラムコードは、
    コンピュータ装置についての装置情報求めてスマートペンから要求を送信するステップと、
    前記スマートペンが、前記送信した要求に関して前記コンピュータ装置から応答を受け取るステップと、
    前記応答に基づき、前記スマートペンと前記コンピュータ装置との間に無線接続を確立すべきか否かを判定するステップと、
    無線接続を確立すべきであるという判定に応答して、無線接続を確立するステップと、
    前記装置情報に基づき前記コンピュータ装置上で実行されるアプリケーションの特権レベルを確立するステップであって、前記特権レベルは所定の特権レベルのセットから選択され、前記所定の特権レベルのセットのそれぞれが、異なるアクセスポリシーを確立する、ステップと
    前記特権レベルに基づき、前記スマートペンからの特定のデータを求める、前記アプリケーションからの要求を認めるか拒否するかを判定するステップと
    のための命令を含む、コンピュータプログラムコードである
    をことを特徴とするスマートペン装置。
  12. 前記無線接続の喪失を検出するステップと、
    前記無線接続を自動的に再確立するステップと
    をさらに含むことを特徴とする請求項10に記載のスマートペン装置。
  13. 前記特定のデータが、過去のデータ、ジェスチャデータ、位置データ、基本の装置データ、音声データ、およびアカウントデータのうちの少なくとも1つを含むことを特徴とする請求項11に記載のスマートペン装置。
  14. 前記特権レベルを確立するステップが、
    前記コンピュータ装置との間で認証トークンを交換するステップであって、前記認証トークンは、前記特権レベルに関する情報を含む、ステップ、を含むことを特徴とする請求項11に記載のスマートペン装置。
  15. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
    前記特権レベルに基づき、スマートペンからのデータに、データが生成されたままの状態で、リアルタイムでアクセスするという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含むことを特徴とする請求項11に記載のスマートペン装置。
  16. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
    前記特権レベルに基づき、前記スマートペンにより記憶されたジェスチャデータおよび音声データにアクセスするという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含む
    ことを特徴とする請求項11に記載のスマートペン装置。
  17. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
    前記特権レベルに基づき、前記スマートペンのユーザに関連するアカウント情報にアクセスするという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含むことを特徴とする請求項11に記載のスマートペン装置。
  18. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
    前記特権レベルに基づき、前記スマートペンにより記憶されるデータを修正するという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含むことを特徴とする請求項11に記載のスマートペン装置。
  19. 前記特権レベルを確立するステップが、
    前記装置情報に基づき、前記アプリケーションに関連する修飾子を確立するステップであって、 前記修飾子は、前記所定の特権レベルのセットから選択された特権レベルのアクセスポリシーの1つを変更する、ステップ、を含むことを特徴とする請求項11に記載のスマートペン装置。
  20. 前記アプリケーションからの要求を認めるか拒否するかを判定するステップが、
    前記修飾子に基づき、前記スマートペンにより記憶されたデータにメタデータを追加するという、前記アプリケーションからの要求を認めるか拒否するかを判定するステップを含むことを特徴とする請求項19に記載のスマートペン装置。
JP2015539785A 2012-10-26 2013-10-24 スマートペンとコンピュータ装置との間の認証接続の確立および保持 Pending JP2016500887A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US201261719286P true 2012-10-26 2012-10-26
US61/719,286 2012-10-26
PCT/US2013/066587 WO2014066621A2 (en) 2012-10-26 2013-10-24 Establishing and maintaining an authenticated connection between a smart pen and a computing device

Publications (1)

Publication Number Publication Date
JP2016500887A true JP2016500887A (ja) 2016-01-14

Family

ID=50545476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015539785A Pending JP2016500887A (ja) 2012-10-26 2013-10-24 スマートペンとコンピュータ装置との間の認証接続の確立および保持

Country Status (3)

Country Link
US (3) US20140123214A1 (ja)
JP (1) JP2016500887A (ja)
WO (1) WO2014066621A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10649547B2 (en) 2018-03-13 2020-05-12 Seiko Epson Corporation Image projection system, pointing element, and method for controlling image projection system

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198097B2 (en) 2011-04-26 2019-02-05 Sentons Inc. Detecting touch input force
US9477350B2 (en) 2011-04-26 2016-10-25 Sentons Inc. Method and apparatus for active ultrasonic touch devices
KR101850680B1 (ko) 2011-11-18 2018-04-20 센톤스 아이엔씨. 터치 입력 힘 검출
US9639213B2 (en) 2011-04-26 2017-05-02 Sentons Inc. Using multiple signals to detect touch input
KR102070612B1 (ko) 2011-11-18 2020-01-30 센톤스 아이엔씨. 국소형 햅틱 피드백
US9189109B2 (en) 2012-07-18 2015-11-17 Sentons Inc. Detection of type of object used to provide a touch contact input
US9459715B1 (en) 2013-09-20 2016-10-04 Sentons Inc. Using spectral control in detecting touch input
GB2527285B (en) * 2014-06-11 2021-05-26 Advanced Risc Mach Ltd Resource access control using a validation token
US20160078449A1 (en) * 2014-09-11 2016-03-17 Bank Of America Corporation Two-Way Interactive Support
CN107111390B (zh) 2015-01-04 2021-04-16 微软技术许可有限责任公司 用于有源触控笔与数字化仪的通信的方法和系统
EP3534245B1 (en) * 2015-02-09 2020-11-18 Wacom Co., Ltd. Communication method, communication system, sensor controller, and stylus
US9667635B2 (en) * 2015-03-26 2017-05-30 Cisco Technology, Inc. Creating three-party trust relationships for internet of things applications
US10506068B2 (en) * 2015-04-06 2019-12-10 Microsoft Technology Licensing, Llc Cloud-based cross-device digital pen pairing
US9924019B2 (en) 2015-05-15 2018-03-20 Microsoft Technology Licensing, Llc Automatic device pairing
US10048811B2 (en) * 2015-09-18 2018-08-14 Sentons Inc. Detecting touch input provided by signal transmitting stylus
US10671190B2 (en) 2015-10-02 2020-06-02 Microsoft Technology Licensing, Llc Stylus pen with dynamic protocol selection for communication with a digitizer
US10242235B2 (en) * 2016-09-27 2019-03-26 International Business Machines Corporation Authentication of a smart pen and computing device
US10908741B2 (en) 2016-11-10 2021-02-02 Sentons Inc. Touch input detection along device sidewall
US10248652B1 (en) 2016-12-09 2019-04-02 Google Llc Visual writing aid tool for a mobile writing device
US10296144B2 (en) 2016-12-12 2019-05-21 Sentons Inc. Touch input detection with shared receivers
US10126877B1 (en) 2017-02-01 2018-11-13 Sentons Inc. Update of reference data for touch input detection
US10585522B2 (en) 2017-02-27 2020-03-10 Sentons Inc. Detection of non-touch inputs using a signature
US10877575B2 (en) 2017-03-06 2020-12-29 Microsoft Technology Licensing, Llc Change of active user of a stylus pen with a multi user-interactive display
US20190073064A1 (en) 2017-08-14 2019-03-07 Sentons Inc. Piezoresistive sensor
US10719148B2 (en) 2018-07-10 2020-07-21 Microsoft Technology Licensing, Llc Coupling a pen device to a companion device based on pen proximity

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207841A (ja) * 1997-01-22 1998-08-07 Mitsubishi Electric Corp ペン入力パーソナル情報端末装置
KR20070085366A (ko) * 2004-10-12 2007-08-27 아노토 아베 전자펜으로부터의 정보의 보안 관리 방법 및 시스템
WO2008150912A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Organization of user generated content captured by a smart pen computing system
WO2008150911A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Pen-based method for cyclical creation, transfer and enhancement of multi-modal information between paper and digital domains
US8091792B2 (en) * 2007-09-21 2012-01-10 Silverbrook Research Pty Ltd Coding pattern comprising direction codes
US9058067B2 (en) * 2008-04-03 2015-06-16 Livescribe Digital bookclip
US8498229B2 (en) * 2008-12-30 2013-07-30 Intel Corporation Reduced power state network processing
SA4248B1 (ar) * 2010-07-06 2015-08-10 راكان خالد يوسف الخلف جهاز، نظام وطريقة لتسجيل وتوثيق التواقيع المخطوطة باليد

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10649547B2 (en) 2018-03-13 2020-05-12 Seiko Epson Corporation Image projection system, pointing element, and method for controlling image projection system

Also Published As

Publication number Publication date
US20170126658A1 (en) 2017-05-04
WO2014066621A3 (en) 2014-06-19
WO2014066621A2 (en) 2014-05-01
US20160117515A1 (en) 2016-04-28
US20140123214A1 (en) 2014-05-01

Similar Documents

Publication Publication Date Title
US20170126658A1 (en) Establishing and Maintaining an Authenticated Connection Between a Smart Pen and a Computing Device
US10346122B1 (en) Systems and methods for a supplemental display screen
AU2015207842B2 (en) Method and apparatus for sharing data
US9319402B2 (en) Digital handshake for authentication of devices
KR101688168B1 (ko) 이동 단말기 및 그 제어방법
US10313885B2 (en) System and method for authentication in distributed computing environment
CN107750466B (zh) 使用经同步的提示信号配对附近设备
TWI509420B (zh) 使用生物識別資料之裝置間之無線配對及通訊
US8429407B2 (en) Digital handshake between devices
US10244565B2 (en) Systems and methods for a supplemental display screen
US9910632B1 (en) Systems and methods for a supplemental display screen
CN104838352A (zh) 在多表面装置中的动作初始化
US20150128292A1 (en) Method and system for displaying content including security information
US20120124481A1 (en) Interacting with a device
KR20150068002A (ko) 휴대기기, 디바이스 및 그 제어방법
US20140118314A1 (en) Multiple-User Collaboration with a Smart Pen System
TW201535142A (zh) 使用機器可讀取代碼來對於裝置進行認證和配對
JP2015533002A (ja) 書き込みのメモとデジタルコンテンツの相関
US20140118294A1 (en) Display processor and display processing method
US20200314640A1 (en) Methods for authenticating a user of an electronic device
US10860702B2 (en) Biometric authentication of electronic signatures
KR20200136753A (ko) 외부 전자 장치를 통해 화면 공유 서비스를 제공하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
WO2019113943A1 (zh) 书写笔迹的处理方法及相关设备
JP2010152712A (ja) 生体認証機能付きメモリー装置