JP2017514232A - 双方向ディスプレイスクリーン用の圧力、回転およびスタイラス機能 - Google Patents

双方向ディスプレイスクリーン用の圧力、回転およびスタイラス機能 Download PDF

Info

Publication number
JP2017514232A
JP2017514232A JP2016563449A JP2016563449A JP2017514232A JP 2017514232 A JP2017514232 A JP 2017514232A JP 2016563449 A JP2016563449 A JP 2016563449A JP 2016563449 A JP2016563449 A JP 2016563449A JP 2017514232 A JP2017514232 A JP 2017514232A
Authority
JP
Japan
Prior art keywords
light
display
processor
front surface
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016563449A
Other languages
English (en)
Other versions
JP2017514232A5 (ja
Inventor
ジョン・マイケル・ウィルワス
エフゲニー・ペトロヴィチ・グーセフ
ラッセル・ウェイン・グルールケ
クーシド・シェド・アラム
ジャセック・マイタン
リンダ・ステーシー・アイリッシュ
エフゲニー・ユーリイ・ポリアコフ
トーマス・ゴードン・ブラウン
サミール・クマール・グプタ
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2017514232A publication Critical patent/JP2017514232A/ja
Publication of JP2017514232A5 publication Critical patent/JP2017514232A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本開示は、電子双方向ディスプレイによるタッチおよびジェスチャの認識に関するシステム、方法、および装置を提供する。双方向ディスプレイは、表示エリアを含む前面と、前面に近接し、その後方に配置された平面導光体と、光源と、第１の平面導光体と結合された少なくとも１つの感光素子とを有する。平面導光体は、散乱光を受信するように構成され、受信される散乱光は、光源によって放射された光と、前面と光学的に接触しているオブジェクトとの間の相互作用からもたらされる。感光素子は、受信された散乱光の少なくとも一部を検出し、画像データをプロセッサに出力するように構成される。プロセッサは、画像データから、オブジェクトの接触圧力および回転方向のうちの１つまたは両方を認識するように構成される。

Description

関連出願の相互参照
本開示は、２０１４年４月２８日に出願された「ＰＲＥＳＳＵＲＥ， ＲＯＴＡＴＩＯＮ ＡＮＤ ＳＴＹＬＵＳ ＦＵＮＣＴＩＯＮＡＬＩＴＹ ＦＯＲ ＩＮＴＥＲＡＣＴＩＶＥ ＤＩＳＰＬＡＹ ＳＣＲＥＥＮＳ」と題する米国仮特許出願第６１／９８５３２５号（代理人整理番号ＱＵＡＬＰ２５０ＰＵＳ／１４４４６４Ｐ１）、および２０１４年９月３０日に出願された「ＰＲＥＳＳＵＲＥ， ＲＯＴＡＴＩＯＮ ＡＮＤ ＳＴＹＬＵＳ ＦＵＮＣＴＩＯＮＡＬＩＴＹ ＦＯＲ ＩＮＴＥＲＡＣＴＩＶＥ ＤＩＳＰＬＡＹ ＳＣＲＥＥＮＳ」と題する米国特許出願第１４／５０２７２６号（代理人整理番号ＱＵＡＬＰ２５０ＵＳ／１４４４６４）の優先権を主張する。これらの先願の開示は、本開示の一部と見なされ、参照により本開示に組み込まれる。
本開示は、デバイスにタッチ応答能力を与えるための技法に関し、より詳細には、ディスプレイとのタッチ相互作用の特定の特性に応答して制御されるユーザ入力／出力インターフェースを提供する双方向ディスプレイに関する。
本発明の譲受人は、ディスプレイスクリーン、特に大型のディスプレイスクリーンにマルチタッチ機能を与えるための光学ベースの技法を開発した。たとえば、すべての目的でその全体が参照により本出願に組み込まれる、特許出願第６１／９４７９７１号「ＬＡＲＧＥ ＡＲＥＡ ＩＮＴＥＲＡＣＴＩＶＥ ＤＩＳＰＬＡＹ ＳＣＲＥＥＮ」（特許文献１）は、ユーザのタッチおよび／または複数の同時タッチに応答して制御されるユーザ入力／出力インターフェースを提供する双方向ディスプレイを含む、大型ディスプレイスクリーンを有するデバイスにタッチ応答能力を与えるための技法を開示する。投影容量性タッチ（ＰＣＴ）および他の光学方法などの他の手法に対するこれらの技法の利点は、少数の構成要素による大型へのスケーラビリティ、電磁干渉および周囲の光への感度の減少、およびディスプレイカバーガラスとフレームとの間のエアギャップを回避することができるフラットベゼルを含む。
米国特許出願第６１／９４７９７１号 特許出願第１３／４８０３７７号
本開示のシステム、方法、およびデバイスは、それぞれ、いくつかの発明的な態様を有し、それらの態様はいずれも、本明細書に開示される望ましい属性に単独で関与するものではない。
本開示に記載される主題の１つの発明的な態様は、表示エリアを含む前面と、前面に近接し、その後方に配置された平面導光体と、可視光および赤外光のうちの１つまたは両方を放射する光源と、第１の平面導光体と結合され、表示エリアの外縁の外側に、または外縁に近接して配置された少なくとも１つの感光素子とを有する、双方向ディスプレイを含む装置に実装することができる。平面導光体は、散乱光を受信するように構成され、受信される散乱光は、光源によって放射された光と、前面と光学的に接触しているオブジェクトとの間の相互作用からもたらされる。感光素子は、受信された散乱光の少なくとも一部を検出し、画像データをプロセッサに出力するように構成される。プロセッサは、画像データから、オブジェクトの接触圧力および回転方向のうちの１つまたは両方を認識するように構成される。
いくつかの実装形態によれば、装置は、表示エリアを含む前面と、前面に近接し、その後方に配置された平面導光体と、可視光および赤外光のうちの１つまたは両方を放射する光源と、第１の平面導光体と結合され、表示エリアの外縁の外側に、または外縁に近接して配置された少なくとも１つの感光素子とを有する、双方向ディスプレイを含む。平面導光体は、光を受信するように構成され、受信される光は、前面と光学的に接触しているオブジェクトによる光源によって放射された光の散乱、およびオブジェクトによって放射された光のうちの１つまたは両方からもたらされる。感光素子は、受信された光の少なくとも一部を検出し、画像データをプロセッサに出力するように構成される。プロセッサは、画像データから、オブジェクトの接触圧力および回転方向のうちの１つまたは両方を認識するように構成される。
いくつかの例では、光源は前面に実質的に直交する方向に光を放射することができる。光源は、液晶カラーディスプレイもしくはフィールドシーケンシャルカラーディスプレイのバックライト、反射型ディスプレイのフロントライト、または放射型ディスプレイからの光として構成されるか、またはそれを含む場合がある。
いくつかの例では、オブジェクトは、パッシブスタイラス、またはユーザの付属器官もしくは指であり得る。
いくつかの例では、オブジェクトはパッシブスタイラスであり得る。受信される光は、パッシブスタイラスのペン先による光源によって放射された光の散乱からもたらされる場合がある。ペン先は、圧力下で変形するエラストマ特性および拡散反射面を有する場合がある。プロセッサは、画像データから、パッシブスタイラスの位置、接触圧力、および角度方向のうちの１つまたは複数を認識するように構成される場合がある。プロセッサは、画像データから、パッシブスタイラスの位置、接触圧力、および角度方向の各々を認識するように構成される場合がある。
いくつかの例では、オブジェクトはペン先を含むアクティブスタイラスであり得る。受信される光は、ペン先を通ってアクティブスタイラスによって放射された光からもたらされる場合がある。ペン先は、圧力下で変形するエラストマ特性を有する場合がある。ペン先は、実質的に等方的に、ペン先を通ってアクティブスタイラスによって放射された光を散乱させるように構成される場合がある。
いくつかの例では、オブジェクトは圧力下で変形するエラストマ特性を有する場合があり、検出された光の画像データは、オブジェクトと前面との間に印加された接触圧力に関する特性情報を含む場合がある。プロセッサは、特性情報から複数の接点についての個々の接触圧力を認識し区別するように構成される場合がある。
いくつかの例では、感光素子は、感光検出器アレイまたはカメラを含む場合がある。感光素子は、平面導光体の平面内または平面の後方に配置することができる。
いくつかの例では、プロセッサは、スタイラスタッチと指の両方による同時またはほぼ同時のタッチを認識し区別するように構成される場合がある。
いくつかの例では、感光素子は、光軸を有するレンズを含むカメラであり得るし、カメラは、光軸が前面にほぼ平行になるように配置される。
いくつかの実装形態によれば、電子ディスプレイは、表示エリアを含む前面と、前面に近接し、その後方に配置された平面導光体と、可視光および赤外光のうちの１つまたは両方を放射する光源と、第１の平面導光体と結合され、表示エリアの外縁の外側に、または外縁に近接して配置された少なくとも１つの感光素子とを有する。平面導光体は、散乱光を受信するように構成され、受信される散乱光は、光源によって放射された光と、前面と光学的に接触しているオブジェクトとの間の相互作用からもたらされる。感光素子は、受信された散乱光の少なくとも一部を検出し、画像データをプロセッサに出力するように構成される。
いくつかの例では、プロセッサは、画像データから、オブジェクトの接触圧力および回転方向のうちの１つまたは両方を認識するように構成される場合がある。いくつかの例では、プロセッサは、画像データから、オブジェクトの位置、接触圧力、および角度方向の各々を認識するように構成される場合がある。
いくつかの例では、オブジェクトは圧力下で変形するエラストマ特性を有する場合があり、検出された光の画像データは、オブジェクトと前面との間に印加された接触圧力に関する特性情報を含む。
いくつかの例では、オブジェクトはパッシブスタイラスであり得るし、受信される散乱光は、光源によって放射された光とパッシブスタイラスのペン先との間の相互作用からもたらされる場合があり、ペン先はエラストマ特性および拡散反射面を有する場合がある。
いくつかの実装形態によれば、装置は、表示エリアを含む前面と、可視光および赤外光のうちの１つまたは両方を放射する光源と、表示エリアの外縁の外側に、または外縁に近接して配置された少なくとも１つの感光素子と、前面に近接し、その後方に配置され、少なくとも１つの感光素子と結合された、光を受信するための手段とを有する、双方向ディスプレイを含み、受信される光は、光源から放射された光と、前面と光学的に接触しているオブジェクトとの間の相互作用、およびオブジェクトによって放射された光のうちの１つまたは両方からもたらされる。感光素子は、受信された光の少なくとも一部を検出し、画像データをプロセッサに出力するように構成される。プロセッサは、画像データから、オブジェクトの接触圧力および回転方向のうちの１つまたは両方を認識するように構成される。
いくつかの実装形態によれば、方法は、感光素子により、受信された光を検出することであって、受信された光は、光源から放射された光と双方向ディスプレイのディスプレイカバーガラスの前面と少なくとも部分的に光学的に接触しているオブジェクトとの間の相互作用、およびオブジェクトによって放射された光のうちの１つまたは両方からもたらされる、検出することと、感光素子からプロセッサに画像データを出力することと、プロセッサにより、画像データから、オブジェクトの接触圧力および回転方向のうちの１つまたは両方を認識することとを含む。
いくつかの例では、プロセッサは、画像データから、オブジェクトの位置の決定を行うように構成される場合がある。
いくつかの例では、プロセッサは、感光素子に対するオブジェクトの方位角および距離を測定すること、複数の感光素子に対するオブジェクトの方位角を測定すること、および複数の感光素子に対するオブジェクトの距離を測定することのうちの１つまたは複数により、決定を行うように構成される場合がある。
本明細書に記載される主題の１つまたは複数の実装形態の詳細が、添付の図面および下記の説明に記載される。他の特徴、態様、および利点は、説明、図面および特許請求の範囲から明らかになるであろう。以下の図の相対寸法は、縮尺どおりに描かれていない場合があることに留意されたい。様々な図面における同様の参照番号および名称は、同様の要素を示す。
一実装形態による、双方向ディスプレイの簡略化されたブロック図である。 一実装形態による、双方向ディスプレイの横断立面図である。 オブジェクトから散乱する光が平面導光体とどのように相互作用することができるかを示す図である。 検出された光の画像データが接触圧力に関する情報をどのように含むことができるかを示す図である。 一実装形態による、検出された光の画像データが回転方向情報をどのように含むことができるかを示す図である。 万華鏡効果の一例を示す図である。 本開示の技法を使用して取得される画像の一例を示す図である。 一実装形態による、検出された光の画像データが回転方向情報を取得するためにどのように使用され得るかを示す図である。 いくつかの実装形態による、平面導光体とのパッシブスタイラスの相互作用の例を示す図である。 いくつかの実装形態による、平面導光体とのアクティブスタイラスの相互作用の例を示す図である。 アクティブスタイラスの例示的な一実装形態を示す図である。 アクティブスタイラスのさらなる例示的な実装形態を示す図である。 アクティブスタイラスのまたさらなる例示的な実装形態を示す図である。 スタイラスのペン先が放物線のような形状を有する例示的な一実装形態を示す図である。 変形可能なペン先を有するアクティブスタイラスの例示的な実装形態を示す図である。 いくつかの実装形態において、２つの感光素子の各々に対するタッチ位置の方位角座標がタッチ位置のＸ−Ｙ座標を取得するためにどのように使用され得るかを示す図である。 いくつかの実装形態において、４つの感光素子の各々に対するタッチ位置の距離座標がタッチ位置のＸ−Ｙ座標を取得するためにどのように使用され得るかを示す図である。 画像データから、双方向ディスプレイと接触しているオブジェクトの接触圧力および回転方向のうちの１つまたは両方を認識するためのプロセスフロー図である。
以下の説明は、本開示の発明的な態様を記載する目的のためのいくつかの実装形態を対象とする。しかしながら、本明細書内の教示が数多くの異なる方法において適用できることは、当業者なら容易に認識されよう。記載される実装形態は、動いている（たとえば、ビデオ）か、静止している（たとえば、静止画像）かにかかわらず、また文字であるか、絵であるか、写真であるかにかかわらず、画像を表示するように構成することができる任意のデバイスまたはシステムに実装することができる。より詳細には、記載される実装形態は、限定はしないが、モバイル電話、マルチメディアインターネット対応携帯電話、モバイルテレビジョン受像機、ワイヤレスデバイス、スマートフォン、Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイス、携帯情報端末（ＰＤＡ）、ワイヤレス電子メール受信機、ハンドヘルドコンピュータまたはポータブルコンピュータ、ネットブック、ノートブック、スマートブック、タブレット、プリンタ、複写機、スキャナ、ファクシミリデバイス、ＧＰＳ受信機／ナビゲータ、カメラ、ＭＰ３プレーヤ、カムコーダ、ゲームコンソール、腕時計、時計、電卓、テレビジョンモニタ、フラットパネルディスプレイ、電子読取りデバイス（すなわち、電子ブックリーダー）、コンピュータモニタ、（走行距離計ディスプレイおよび速度計ディスプレイなどを含む）自動車用ディスプレイ、コックピット制御機器および／またはディスプレイ、（車両内の後方ビューカメラのディスプレイなどの）カメラビューディスプレイ、電子写真、電子広告板または電子看板、プロジェクタ、建築物、電子レンジ、冷蔵庫、ステレオシステム、カセットレコーダまたはカセットプレーヤ、ＤＶＤプレーヤ、ＣＤプレーヤ、ＶＣＲ、ラジオ、ポータブルメモリチップ、洗濯機、乾燥機、洗濯／乾燥機、駐車メータ、（電気機械システム（ＥＭＳ）、マイクロ電気機械システム（ＭＥＭＳ）、および非ＭＥＭＳアプリケーションなどにおける）パッケージング、美的構造（たとえば、宝石上の画像の表示）、ならびに様々なＥＭＳデバイスなどの、様々な電子デバイスに含まれるか、またはそれらに関連付けられる場合があると考えられる。本明細書内の教示は、限定はしないが、電子スイッチングデバイス、無線周波数フィルタ、センサ、加速度計、ジャイロスコープ、動き検知デバイス、磁気計、家庭用電子機器用の慣性部品、家庭用電化製品の部品、バラクタ、液晶デバイス、電気泳動デバイス、駆動方式、製造プロセス、および電子試験機器などの、非表示の適用例において使用することもできる。したがって、それらの教示は、単に図に示されている実装形態に限定されるものではなく、代わりに、当業者には容易に明らかになるように、広範囲にわたる適用性を有している。
ディスプレイとのタッチ相互作用の特定の特性に応答して制御される、ユーザ入力／出力インターフェースを提供する双方向電子ディスプレイを提供するための新しい技法が、本明細書において下記に記載される。特性は、ディスプレイのコスト、サイズ、および複雑さに少し追加する光学技法を使用して決定される。様々な実装形態では、双方向ディスプレイは、ユーザのタッチの接触圧力および角度方向のうちの１つまたは複数に応答するように構成される。双方向ディスプレイは、人間の指のタッチ、またはアクティブスタイラスもしくはパッシブスタイラスによって行われるタッチのいずれかまたは両方に応答することができる。
本開示に記載される主題の特定の実装形態は、以下の潜在的な利点のうちの１つまたは複数を実現するために実施することができる。従来技術に比べて、本開示の技法は、より強固で多様なユーザインターフェースを可能にする。たとえば、いくつかの実装形態では、双方向ディスプレイ上の複数の同時タッチの位置および特性を区別することができる。開示される技法により、双方向ディスプレイが、それとともにタッチが印加される力または圧力（「接触圧力」）およびタッチの角度方向などの、ディスプレイとのタッチ相互作用の特定の特性を検出し、それに応答することが可能になる。タッチの位置に加えて、ユーザのタッチの接触圧力および角度方向に対する応答性は、いくつかのアプリケーションに望ましい高度ユーザインターフェースを提供する。いくつかの実装形態では、たとえば、接触圧力情報は、描画プログラムまたはお絵描きプログラム、楽器シミュレーション、およびゲームなどの、双方向ディスプレイ上で動作するソフトウェアアプリケーションに関連して使用することができる。いくつかの実装形態では、双方向ディスプレイは、指タッチの回転方向を検出し、それに応答するように構成される。回転方向情報は、たとえば、ユーザがモバイルデバイスをどのように保持しているかに応じて、縦方向から横方向に表示方向を回転するために、かつゲームおよび他のアプリケーションのために使用することができる。回転方向情報は、複数のユーザを区別するために、かつ／またはスクリーン上のオブジェクトと連携するための新しいジェスチャの認識を可能にするために使用することもできる。いくつかの実装形態では、双方向ディスプレイは、アクティブ（発光）スタイラスまたはパッシブ（光反射）スタイラスであり得るスタイラスペンを用いて動作可能である。
本開示に記載される主題の１つの発明的な態様は、たとえば、ディスプレイカバーガラスの平面内に、またはその平面の後方に各々が取り付けられるカメラなどの１つまたは複数の感光素子を含む、双方向ディスプレイに実装することができる。感光素子は、そこからタッチまたは複数の同時タッチの位置、接触圧力、および／または角度方向が決定され得る、画像データを出力することができる。
いくつかの実装形態によれば、装置または電子デバイスは、装置のユーザに入力／出力（Ｉ／Ｏ）インターフェースを提供するために、双方向ディスプレイと協働することができる。双方向ディスプレイは、表示エリアを含む前面を有する。電子デバイスは双方向ディスプレイを含むか、または双方向ディスプレイに電気的もしくはワイヤレスに結合される場合がある。装置は、プロセッサと、平面導光体と、光源と、１つまたは複数の感光素子、光検出器アレイ、またはカメラとを含む場合がある。平面導光体は、前面に近接し、前面の後方に配置することができる。いくつかの実装形態では、平面導光体は、モバイルデバイスのコンピュータモニタ、テレビジョンなどのディスプレイ層とユーザとの間に配置されるように、ディスプレイ層に近接し、それと平行に配置されたカバーガラスまたはレンズを含む場合がある。「平面導光体」という用語のより良い理解は、その用語が本明細書および特許請求の範囲において使用されるので、本発明の譲受人に譲渡され、その開示がすべての目的でその全体が参照により本出願に組み込まれる、特許出願第１３／４８０，３７７号「ＦＵＬＬ ＲＡＮＧＥ ＧＥＳＴＵＲＥ ＳＹＳＴＥＭ」（特許文献２）を参照することによって得ることができる。
１つまたは複数のカメラは、表示エリアの外縁に近接して配置することができる。本システム内のカメラは、本発明の譲受人に譲渡され、その開示がすべての目的でその全体が参照により本出願に組み込まれる、特許出願第６１／９４７９７１号「ＬＡＲＧＥ ＡＲＥＡ ＩＮＴＥＲＡＣＴＩＶＥ ＤＩＳＰＬＡＹ ＳＣＲＥＥＮ」（特許文献１）に記載されたように、タッチ位置の検知の二重目的のために使用することができる。ユーザの指、スタイラス、または撮像されるべき他のユーザ制御オブジェクトなどのオブジェクトが、双方向ディスプレイの前面と接触するとき、オブジェクトから散乱する光は、平面導光体内で内部全反射（ＴＩＲ）を受ける場合がある。ＴＩＲを受けた光の少なくとも一部は、１つまたは複数のカメラに到達することができる。カメラは、そのようなＴＩＲを受けた光を検出し、検出されたＴＩＲを受けた光を表す画像データをプロセッサに出力することができる。（特殊なアルゴリズムを使用する）プロセッサは、画像データから、ユーザタッチのインスタンスおよび位置を認識することができ、ユーザタッチに応答して、双方向ディスプレイおよび電子デバイスのうちの１つまたは両方を制御することができる。
図１は、一実装形態による、双方向ディスプレイの簡略化されたブロック図を示す。双方向ディスプレイ１００は、表示エリア１０１を含む前面１６７（図２）を有するディスプレイカバーガラス１６５（図２）を含む。電子ディスプレイ１００は、光を検出するように構成された少なくとも１つの感光素子１３３を含む。本明細書において下記でさらに詳細に説明されるように、感光素子１３３は、オブジェクト１５０が前面１６７と少なくとも部分的に光学的に接触しているときに、オブジェクト１５０（図２）との光の相互作用からもたらされる散乱光を検出することができる。
感光素子１３３は、プロセッサ１００４に画像データを出力することができる。いくつかの実装形態では、たとえば、感光素子１３３は、プロセッサ１００４に指紋画像データを出力することができる。いくつかの実装形態では、さらなる例として、感光素子１３３は、アクティブスタイラスまたはパッシブスタイラスの特徴を表す画像データを出力することができる。プロセッサ１００４は、感光素子１３３と、かつ双方向ディスプレイ１００の他の要素と通信可能に結合することができる。いくつかの実装形態では、プロセッサ１００４は、電子ディスプレイ１００の一体部品であり得る。他の実装形態では、図１によって示唆されるように、プロセッサ１００４は電子ディスプレイ１００とは別に構成される場合がある。いくつかの実装形態では、プロセッサは、たとえば、リモートサーバ内に離れて位置する場合がある。
いくつかの実装形態では、プロセッサ１００４は、画像データから、オブジェクトの接触圧力および回転方向のうちの１つまたは両方を認識するように構成される場合がある。いくつかの実装形態では、本出願と並行出願され、その開示がすべての目的でその全体が参照により本出願に組み込まれる、「ＤＩＳＰＬＡＹ−ＩＮＴＥＧＲＡＴＥＤ ＵＳＥＲ−ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ， ＳＥＣＵＲＩＴＹ ＡＮＤ ＦＩＮＧＥＲＰＲＩＮＴ ＳＹＳＴＥＭ」と題する特許出願に開示されたように、画像データは指紋画像データを含み、プロセッサ１００４は、感光素子１３３から受信された指紋画像データを既知の指紋画像データおよび／または認可されたユーザの指紋画像データと比較するように構成される場合がある。
いくつかの実装形態では、オブジェクトは、圧力下で変形するエラストマ特性を有する。たとえば、オブジェクトは、人間の指、または変形可能なペン先を有するスタイラスであり得るし、ペン先はゴムまたはプラスチックなどのエラストマ表面材料を有する。そのような実装形態では、検出された光の画像データは、オブジェクトと前面１６７との間に印加された接触圧力に関する特性情報を含む場合があり、プロセッサ１００４は、特性情報から、複数の接点についての個々の接触圧力を認識し区別するように構成される場合がある。
いくつかの実装形態では、プロセッサ１００４は、スタイラスタッチと指の両方による同時またはほぼ同時のタッチを認識し区別するように構成される場合がある。
図２は、一実装形態による、双方向ディスプレイの横断立面図を示す。双方向ディスプレイ１００は、（本明細書では「カバーレンズ」または「カバーガラス」と呼ばれる場合もあり、たとえば、モバイルデバイス、モニタ、またはテレビジョン上のディスプレイの上に配置することができる）第１の平面導光体１６５を含む。第１の平面導光体１６５は、双方向ディスプレイ１００の前面１６７に近接し、その後方に配置することができる。図示された実装形態では、（本明細書では「光源」と呼ばれる場合もある）バックライト１３５は、第１の平面導光体１６５の後方に配置される。ディスプレイ層１４５は、第１の平面導光体１６５とバックライト１３５との間に配置することができる。図示された実装形態では、バックライト１３５は、前面１６７に実質的に直交する方向に光１４２を放射するように構成される。光１４２は、可視光および／または赤外光を含む場合がある。
図示された実装形態では、光源１３５は、バックライトとして構成される（すなわち、光源１３５は、ディスプレイ層１４５が光源１３５と第１の平面導光体１６５との間に配置されるように、ディスプレイ層１４５の「後方」にある）。しかしながら、他の実装形態では、光源１３５は、フロントライトとして構成される場合がある（すなわち、光源１３５は、光源１３５がディスプレイ層１４５と第１の平面導光体１６５との間に配置されるように、ディスプレイ層１４５の「上方」にあり得る）。より一般的には、光源１３５は、液晶カラーディスプレイまたはフィールドシーケンシャルカラーディスプレイのバックライト、反射ディスプレイ（たとえば、干渉変調器（ＩＭＯＤ）ディスプレイ）のフロントライト、放射型ディスプレイ（たとえば、有機発光ダイオードディスプレイ）によって放射された光、または可視光を通さないカバーガラス１６５のアートワークエリアを通って下方に放射された赤外光であり得るか、またはそれらを含む場合があることが諒解されよう。
いくつかの実装形態では、光源１３５は、外部発光素子１３１から受信された光を、前面１６７に直交する実質的な成分を有する方向に反射する光転向構成を組み込む、第２の平面導光体として構成される場合がある。発光素子１３１は、たとえば、発光ダイオード（ＬＥＤ）であり得る。いくつかの実装形態では、発光素子１３１は、光源１３５の周囲に配置される複数のＬＥＤを含む場合がある。発光素子１３１は、赤外、赤、青、緑、もしくは別の色、または色の組合せ、または白の光を放射することができる。
上記に示されたように、双方向ディスプレイ１００は、少なくとも１つの感光素子１３３を含む。感光素子は、たとえば、レンズ、ピンホール、または回折格子を有する２次元ピクセルアレイ（「カメラ」）を含む場合がある。いくつかの実装形態では、感光素子１３３は、レンズ、ピンホール、または回折格子を有する、第１の平面導光体１６５の面内方向に沿って位置合わせされた、１次元ピクセルアレイ（「１Ｄカメラ」）として構成される場合がある。
いくつかの実装形態では、感光素子１３３のうちの少なくとも１つは、ビデオグラフィックスアレイ（ＶＧＡ）マイクロカメラである。いくつかの実装形態では、ＶＧＡマイクロカメラは、直径約５００μｍのレンズを含み、直径４ｍｍ未満のセンサパッケージに含まれる場合がある。結果として、感光素子１３３は、双方向ディスプレイ１００のスタック高にはっきりと加わることなく、第１の平面導光体１６５と同一平面構成内に位置する場合がある。
次に図２の詳細（Ｄｅｔａｉｌ）Ａを参照すると、光１４２は第１の平面導光体１６５を通過し、オブジェクト１５０と相互作用することができる。オブジェクト１５０は、第１の平面導光体１６５の上面と少なくとも部分的に光学的に接触している。オブジェクト１５０は、ユーザの指または他の付属器官、あるいは、スタイラス、または可視光カメラもしくはＩＲ光カメラによって検出可能なバーコード識別子もしくは暗号透かしを含む文書もしくは電子的に表示された画像などの、撮像されるべき表面を有する別のオブジェクトであり得る。散乱光１４６は、オブジェクト１５０との光１４２の相互作用からもたらされる。散乱光１４６の一部は、光線追跡１４６（０）によって示されたように、第１の平面導光体１６５によって内部反射されることなく、感光素子１３３に進み、感光素子１３３によって検出することができる。散乱光１４６の少なくとも一部は、ＴＩＲを受けることができる。たとえば、光線追跡１４６（１）によって示されたように、散乱光の一部は、感光素子１３３によって検出される前に、一度だけ内部反射を受ける場合がある。散乱光の一部は、感光素子１３３によって検出される前に、２回、３回、またはそれ以上の内部反射を受ける場合があることが諒解されよう。感光素子１３３は、検出された光の画像データをプロセッサ１００４（図１）に出力することができる。
さらに図２の詳細Ａを参照すると、感光素子１３３は、光軸１３４を有するレンズ１３２を含むカメラであり得ることに留意されたい。いくつかの実装形態では、感光素子１３３は、光軸１３４が前面１６７とほぼ平行になるように配置することができる。
図３は、オブジェクトから散乱する光が平面導光体とどのように相互作用することができるかを示す。図示された例では、オブジェクト１５０（１）は前面１６７と光学的に接触していない。結果として、オブジェクト１５０（１）の表面に入射する光１４２（１）は散乱し、散乱光１４６（１）は、第１の平面導光体１６５を通って屈折する。図示された例では、オブジェクト１５０（２）は前面１６７と光学的に接触しており、この接触の結果として、オブジェクト１５０（２）からの散乱光１４６（２）は、第１の平面導光体１６５内でＴＩＲを受け、１つまたは複数の感光素子（図示せず）に向かって誘導され、それらによって検出される場合がある。
オブジェクト１５０が、人間の指、またはエラストマ性状を有する人工の材料もしくは構成などの圧力下で変形するエラストマ特性を有する場合、検出された光の画像データは、オブジェクト１５０が前面と接触する力または圧力（「接触圧力」）に関する情報を含む場合がある。図４は、検出された光の画像データが接触圧力に関する情報をどのように含むことができるかを示す。人間の肌の突起構造（または人工物の表面粗さ）のせいで、タッチが最小接触圧力で平面導光体１６５に印加されると（詳細Ｂ）、オブジェクト１５０の表面の比較的小さい部分のみが、実際にガラスと光学的に接触することができる。カバーガラスによって取り込まれる散乱光の強度は、接触面積に比例する。接触圧力が増大するにつれて（詳細Ｃ）、エアギャップが除去されるか、またはそのサイズが低減されるので、接触面積も増大し、取り込まれる散乱光の強度がそれに応じて高まる場合がある。加えて、印加される接触圧力がより大きくなるにつれて（詳細Ｄ）、指またはエラストマオブジェクトのソフトチップまたはパッドが圧縮され、前面と接触しているオブジェクト領域のサイズが増大する。結果として、感光素子１３３によって出力された画像データ内で、より広い「ドット」を観察することができる。いくつかの実装形態では、信号強度レベルおよび／または観察されたドットのサイズを含む、感光素子１３３によって出力された画像データは、オブジェクト１５０によって印加された接触圧力を決定するために使用される。プロセッサ１００４によって実行されるコンピュータアルゴリズムは、信号の強度および／またはドットのサイズを使用して、カメラ画像を解釈して１つまたは複数の接点に印加された圧力を決定することができる。
いくつかの実装形態では、接触圧力は、複数の指の接点について個別に決定することができる。
図５は、一実装形態による、検出された光の画像データが回転方向情報をどのように含むことができるかを示す。図示された実装形態では、双方向ディスプレイ５００は、以下の方式で回転方向検知能力を提供するように構成される。双方向ディスプレイ５００は、（本明細書では「カバーレンズ」または「カバーガラス」と呼ばれる場合もあり、たとえば、モバイルデバイス、モニタ、またはテレビジョン上のディスプレイの上に配置することができる）第１の平面導光体５６５と、光源またはバックライト５３５と、平面導光体５６５の外縁のまわりに位置する１つまたは複数の感光素子５３３とを含む。感光素子５３３は、レンズ、ピンホール、または回折格子を有する２次元ピクセルアレイを含む場合がある。
第１の平面導光体５６５は、双方向ディスプレイ５００の前面５６７に近接し、その後方に配置することができる。図示された実装形態では、（本明細書では「バックライト」と呼ばれる場合もある）光源５３５は、第１の平面導光体４６５の後方に配置される。ディスプレイ層５４５は、第１の平面導光体５６５と光源５３５との間に配置することができる。
光源５３５は、前面５６７に直交する実質的な成分を有する方向に可視光および／または赤外光を放射することができ、液晶カラーディスプレイまたはフィールドシーケンシャルカラーディスプレイ、反射型ディスプレイ（たとえば、干渉変調器（ＩＭＯＤ）ディスプレイ）のフロントライト、放射型ディスプレイ（たとえば、有機発光ダイオードディスプレイ）からの光として構成されるか、それらを含む場合がある。
さらに図５を参照すると、光源５３５からの光５４２は、前面５６７と接触しているオブジェクト５５０の表面と相互作用することができる。オブジェクト５５０の表面の一部分が前面５６７と光学的に接触する状態になると、それは光５４６を導光体の中に散乱させ、光５４６は誘導され、次いで１つまたは複数の感光素子５３３によって検出される。感光素子５３３は、検出された光の画像データをプロセッサ（図示せず）に出力することができる。いくつかの実装形態では、プロセッサは、双方向ディスプレイ５００の一体部分であり得るが、必ずしもそうとは限らない。他の構成では、プロセッサは、たとえば、リモートサーバ内に離れて位置する場合がある。
オブジェクト５５０が人間の指もしくは親指、または同様の形状の人工物である場合、それは、図５のビューＡ〜Ａにおいて観察され得るように、１よりも多少大きい長さ対幅のアスペクト比を有する卵形の領域において前面５６７と接触する。結果として、本明細書において下記でより詳細に記載されるように、オブジェクト５５０の方向とのカメラの相対方向に依存する、カメラでの透視画像における卵形のスキュー角を識別することができる。
次に図５の詳細Ｅを参照すると、光５４２は第１の平面導光体５６５を通過し、オブジェクト５５０と相互作用することができる。オブジェクト５５０は、第１の平面導光体５６５の上面５６７と少なくとも部分的に光学的に接触している。散乱光５４６は、オブジェクト５５０との光５４２の相互作用からもたらされる。散乱光５４６の一部は、光線追跡５４６（０）によって示されたように、平面導光体５６５内で内部反射されることなく、感光素子５３３に進み、感光素子５３３によって検出することができる。散乱ＩＲ光５４６の少なくとも一部は、ＴＩＲを受けることができる。たとえば、光線追跡５４６（１）によって示されたように、散乱光の一部は、感光素子５３３によって検出される前に、一度だけ内部反射を受ける場合がある。
散乱光の一部は、感光素子５３３によって検出される前に、２回、３回、またはそれ以上の内部反射を受ける場合があることが諒解されよう。結果として、オブジェクト５５０の画像の複数の不連続反射を、感光素子５３３によって検出することができる。これらの複数の不連続反射の発生は、本明細書では万華鏡効果と呼ばれる場合がある。
図６は、万華鏡効果の一例を示す。より詳細には、図６は、感光素子５３３の視野６１０内で合わせられた複数の画像の各々が、それぞれの仮想オブジェクトの位置に関連付けることができる異なる角度において、オブジェクト５５０から散乱する光にどのように対応するかを示す。たとえば、画像ｉ５５０は、オブジェクト５５０の直接画像に対応する。画像ｉｖ１は１回の内部反射を受けた光線からもたらされ、仮想オブジェクトの位置ｖ１に対応する。画像ｉｖ２は２回の内部反射を受けた光線からもたらされ、仮想オブジェクトの位置ｖ２に対応する。明確に図示するために、図６では３つの画像ｉ５５０、ｉｖ１、およびｉｖ２のみが描写されるが、通常、はるかに多くの数の画像が万華鏡効果からもたらされると予想することができる。
図７は、本開示の技法を使用して取得される画像の一例を示す。オブジェクト５５０の卵形の接触領域の検出可能なスキュー角αの存在が留意されるべきである。検出されたスキュー角αは、オブジェクト５５０の回転方向と相関され得ると考えられる。たとえば、プロセッサ１００４によって実行されるコンピュータアルゴリズムは、画像データを解釈してオブジェクト５５０の回転方向を決定することができる。いくつかの実装形態では、プロセッサ１００４は、撮像された卵形内の優勢なスキュー角を決定し、それをオブジェクト５５０の回転方向と相関させることができる。図８は、一実装形態による、検出された光の画像データが回転方向情報を取得するためにどのように使用され得るかを示す。プロセッサ１００４はまた、検知された回転方向を使用して、回転ジェスチャに応答し、および／またはディスプレイのビューを回転させることができる。
図９は、いくつかの実装形態による、平面導光体とのパッシブスタイラスの相互作用の例を示す。本明細書において下記でより詳細に記載されるように、スタイラス９８０は、「変形可能なペン先」とともに構成される場合がある。本明細書において上記に記載された実装形態と同様に、双方向ディスプレイは、平面導光体５６５と、光源（図示せず）と、平面導光体５６５の外縁のまわりに位置する１つまたは複数の感光素子（図示せず）とを含む場合がある。平面導光体５６５は、たとえば、モバイルデバイス、モニタ、またはテレビジョン上のディスプレイの上に配置されたカバーガラス（または「カバーレンズ」）として構成される場合がある。
感光素子は、レンズ、ピンホール、もしくは回折格子を有する２次元ピクセルアレイ（「カメラ」）、レンズ、ピンホール、もしくは回折格子を有する平面導光体５６５の面内方向に沿って位置合わせされた１次元ピクセルアレイ（「１Ｄカメラ」）、または個別の光検出器を含む場合がある。
光源は、可視光および／または赤外光を放射し、液晶カラーディスプレイまたはフィールドシーケンシャルカラーディスプレイ、反射型ディスプレイ（たとえば、干渉変調器（ＩＭＯＤ）ディスプレイ）のフロントライト、放射型ディスプレイ（たとえば、有機発光ダイオードディスプレイ）からの光として構成されるか、またはそれらを含む場合がある。
図示された実装形態では、スタイラス９８０は「パッシブ」スタイラスとして構成され、それは、図９に関して記載されるタッチ認識技法が、スタイラス９８０から受動的に反射または散乱する光に主に依存し、スタイラス９８０がそれ自体の光源を含むことを必要としないことを意味する。スタイラス９８０は、伝統的な筆記用具に類似する物差しまたはペンの形状をしたデバイスとして構成される場合があり、ペン先９８１を含む場合がある。ペン先９８１は、圧力下で変形するエラストマ特性を有するように構成される場合があり、表面に当たる光を拡散的に散乱させるように構成された表面を含む場合がある。変形可能なペン先は、スタイラスと導光体との間の光学的な接触を改善するように構成される場合がある。
さらに図９を参照すると、詳細Ｆを詳細Ｇと比較することによって、本開示の技法のより良い理解を得ることができる。光９４６がペン先９８１によって反射されて平面導光体５６５内でＴＩＲを受けるために、そのような光は、臨界角θよりも大きい角度で平面導光体５６５に入らなければならない。詳細Ｆは、ペン先９８１が平面導光体５６５と光学的に接触していない例を示し、詳細Ｇは、ペン先９８１が平面導光体５６５と光学的に接触している例を示す。詳細Ｆにおいて、光９４２がペン先９８１と相互作用すると、相互作用からもたらされた散乱光９４６Ｆは、それが平面導光体５６５に入るときにかなりの量の屈折を受ける。結果として、そのような光のほとんどまたはすべてが臨界角θ（ガラスまたはプラスチック／エアインターフェースの場合ほぼ４２度）よりも小さい角度で平面導光体５６５に入り、したがってＴＩＲを受けないが、カメラ（図示せず）または光検出器（図示せず）などの感光素子に向かって誘導されるのではなく、代わりに平面導光体５６５から出る。しかしながら、詳細Ｇに示されたように、ペン先９８１が平面導光体と光学的に接触していると、ペン先９８１から散乱する光９４６Ｇは、ほとんどまたはまったく屈折に遭遇せず、光９４６Ｇの少なくともかなりの部分が平面導光体５６５内でＴＩＲを受け、平面導光体５６５は光を感光素子に誘導することができる。
エラストマ特性を有する変形可能なペン先としてペン先９８１を構成することによって、検出される散乱光の量においてかなりの増加を達成することができる。さらに、スタイラス９８０は、変形可能なペン先９８１とともに、図２〜図４に関して上述されたように、接触圧力の検知が必要な構成において使用することができる。
ＴＩＲを受けた光の少なくとも一部は、１つまたは複数の感光素子に到達することができる。感光素子は、そのようなＴＩＲを受けた光を検出し、検出されたＴＩＲを受けた光を表す画像データをプロセッサに出力することができる。プロセッサは、画像データから、スタイラスタッチのインスタンスおよび位置を認識することができ、スタイラスタッチに応答して、双方向ディスプレイおよび電子デバイスのうちの１つまたは両方を制御することができる。
いくつかの実装形態では、ペン先９８１は、その形状が、平面導光体５６５の前面５６７と接触すると、前面５６７の巨視的表面幾何形状および巨視的表面幾何形状に適合するように、何らかの最小レベルの変形性を提供するように構成される場合がある。
いくつかの実装形態では、ペン先９８１は、外面の近くまたは外面にエラストマ層を含む。代替または追加として、平面導光体５６５の前面５６７は、エラストマ層を含む場合がある。いくつかの実装形態では、エラストマ層は、５ミクロンから１０００ミクロンの範囲の厚さを有する場合がある。エラストマ層は、ペン先９８１の本体が形成されるより固い材料の表面に配置することができる。いくつかの実装形態では、ペン先９８１の本体は、エラストマ材料から構成される場合もある。
いくつかの実装形態では、たとえば、スタイラスタッチからもたらされるカメラによって取り込まれる画像のサイズが、指タッチからもたらされるそれと異なる場合があるので、プロセッサは、指ではなくスタイラスが導光体５６５に接触したことを認識するように構成される場合がある。たとえば、ペン先９８１は、拡大された卵形ではなく、小さくて明るいドットとして見える場合がある。いくつかの実装形態では、ペン先９８１は、カメラによって検出され得る特定の形状（たとえば、星形）であり得る。
いくつかの実装形態では、プロセッサは、スタイラスタッチと指の両方による同時またはほぼ同時のタッチを認識し区別するように構成される場合がある。
図１０は、いくつかの実装形態による、平面導光体とのアクティブスタイラスの相互作用の例を示す。図示された実装形態では、双方向ディスプレイは、光源１０８２を含み、変形可能なペン先１０８１とともに構成され得るスタイラス１０８０からのタッチを検出し、それに応答するように構成される場合がある。本明細書において上記に記載された実装形態と同様に、双方向ディスプレイは、平面導光体５６５と、１つまたは複数の感光素子（図示せず）とを含む場合がある。感光素子は、たとえば、平面導光体５６５の外縁のまわりに位置する場合がある。平面導光体５６５は、たとえば、モバイルデバイス、モニタ、またはテレビジョン上のディスプレイの上に配置されたカバーガラス（または「カバーレンズ」）として構成される場合がある。
感光素子は、レンズ、ピンホール、もしくは回折格子を有する２次元ピクセルアレイ（「カメラ」）、レンズ、ピンホール、もしくは回折格子を有する平面導光体５６５の面内方向に沿って位置合わせされた１次元ピクセルアレイ（「１Ｄカメラ」）、または個別の光検出器を含む場合がある。
図示された実装形態では、スタイラス１０８０は「アクティブ」スタイラスとして構成され、それは、図１０に関して記載されるタッチ認識技法が、スタイラス１０８０の光源１０８２によって放射される光に主に依存し、双方向ディスプレイがそれ自体の光源を含むことを必要としないことを意味する。いくつかの実装形態では、光源１０８２は、発光ダイオード（ＬＥＤ）であり得るか、それを含む場合がある。スタイラス１０８０は、物差しまたはペンの形状をしたデバイスとして構成される場合があり、ペン先１０８１を含む。ペン先１０８１は、光源１０８２によって放射される光に対して少なくとも部分的に透明であり得る。より詳細には、ペン先１０８１は、広範囲の角度にわたって光源１０８２によって放射される光を拡散的に通すと考えられる。結果として、双方向ディスプレイの拡散層が導光体５６５に光を「向ける」必要がない場合がある。
いくつかの実装形態では、ペン先１０８１は、圧力下で変形するエラストマ特性を有するように構成される場合がある。変形可能なペン先は、スタイラスと導光体との間の光学的な接触を改善するように構成される場合がある。これにより、拡散した光がペン先１０８１から平面導光体５６５の中に伝搬するように、拡散した光の方向性を保持する光結合が可能になる。ペン先１０８１から放射された光の大きい角度範囲は、カバーガラス／エアインターフェースに関連付けられた臨界角を超える角度を含む場合がある。そのような光は、内部全反射のおかげで導光体の中に捕捉される。この光の一部は、スタイラス機能を可能にする周辺センサによって収集される。
さらに図１０を参照すると、詳細Ｈを詳細Ｉと比較することによって、本開示の技法のより良い理解を得ることができる。ペン先１０８１から出る光が平面導光体５６５内でＴＩＲを受けるために、そのような光は、臨界角θよりも大きい角度で平面導光体５６５に入らなければならない。詳細Ｈは、ペン先１０８１が平面導光体５６５と光学的に接触していない例を示し、詳細Ｉは、ペン先１０８１が平面導光体５６５と光学的に接触している例を示す。詳細Ｈにおいて、ペン先１０８１から出る光１０４６（Ｈ）は、平面導光体５６５に入るときに、かなりの量の屈折を受ける。結果として、そのような光のほとんどまたはすべてが臨界角θ（ガラスまたはプラスチック／エアインターフェースの場合ほぼ４２度）よりも小さい角度で平面導光体５６５に入り、したがってＴＩＲを受けないが、カメラ（図示せず）または光検出器（図示せず）などの感光素子に向かって誘導されるのではなく、代わりに平面導光体５６５から出る。しかしながら、詳細Ｉに示されたように、ペン先１０８１が平面導光体と光学的に接触していると、光１０４６Ｉは、ほとんどまたはまったく屈折に遭遇せず、光１０４６Ｉの少なくともかなりの部分が平面導光体５６５内でＴＩＲを受け、平面導光体５６５は光を感光素子に誘導することができる。
エラストマ特性を有する変形可能なペン先としてペン先１０８１を構成することによって、検出される光１０４６の量においてかなりの増加を達成することができる。さらに、スタイラス１０８０は、変形可能なペン先１０８１とともに、図２〜図４に関して上述されたように、接触圧力の検知が必要な構成において使用することができる。
ＴＩＲを受けた光の少なくとも一部は、１つまたは複数の感光素子に到達することができる。感光素子は、そのようなＴＩＲを受けた光を検出し、検出されたＴＩＲを受けた光を表す画像データをプロセッサに出力することができる。適切なアルゴリズムを使用して、プロセッサは、画像データから、スタイラスタッチのインスタンスおよび位置を認識することができ、スタイラスタッチに応答して、双方向ディスプレイおよび電子デバイスのうちの１つまたは両方を制御することができる。
いくつかの実装形態では、ペン先１０８１は、その形状が、平面導光体５６５の前面５６７と接触すると、前面５６７の巨視的表面幾何形状および巨視的表面幾何形状に適合するように、何らかの最小レベルの変形性を提供するように構成される場合がある。
図１１は、アクティブスタイラスの例示的な一実装形態を示す。図示された実装形態では、スタイラス１０８０は、ペン先１０８１と光源１０８２とを含む。上述されたように、ペン先１０８１は、その形状が、平面導光体５６５の前面５６７と接触すると、導光体表面の巨視的表面幾何形状および巨視的表面幾何形状に適合するように、何らかの最小レベルの変形性を有すると考えられる。いくつかの実装形態では、光源１０８２はＩＲのＬＥＤであり得る。そのような実装形態では、ペン先１０８１は、赤外光に対して実質的に透明な材料から形成することができると考えられる。いくつかの実装形態では、材料は、たとえばシリコーンであり得る。
いくつかの実装形態では、ペン先１０８１は、外面の近くまたは外面にエラストマ層を含む。エラストマ層は、ペン先１０８１の本体を形成するより固い材料の表面上にある、５〜１０マイクロメートル、多くても１０００ミクロンの薄さの材料の薄い層であり得る。ペン先１０８１の本体は、より厚い体積のエラストマ材料から主に構成される場合もある。
図１２は、アクティブスタイラスのさらなる例示的な実装形態を示す。図示された実装形態では、ディスプレイの導光体またはカバーガラスの中に光が捕捉される効率を上げ、臨界角よりも小さい角度で導光体の中に通る光の量を低減する構成が考えられる。下記で詳述されるように、図１２に示された構成は、そのような無くなる光の量を低減する。
次に図１２の詳細Ｊを参照すると、ペン先１２８１Ｊの中央部が第１の反射体１２８４として構成される実装形態が示される。臨界角よりも小さい角度で光源１２８２から放射された光は、第１の反射体１２８４に当たり、スタイラス１２８０の中に後方反射される。図示された実装形態では、第１の反射体はピラミッドの形状を有するが、第１の反射体１２８４は他の形状を有する場合があり、代替として平坦であり得る。第２の反射体１２８６は、ペン先１２８１Ｊから出て導光体５６５の中に捕捉される第２の機会を求めて、第１の反射体１２８４から反射された光を導光体５６５に向けて後ろに戻すように構成される場合がある。
次に図１２の詳細Ｋを参照すると、ペン先１２８１Ｊの中央部がペン先１２８１Ｋの中央のピラミッドの形状の空隙１２８３（または「エアギャップ」）とともに構成される実装形態が示される。臨界角よりも小さい角度で光源１２８２から放射された光は、エアギャップ１２８３のおかげでスタイラス１２８０Ｋの中に後方内部全反射される。このようにして、光は再循環され、ペン先１２８１Ｋから出て導光体５６５の中に捕捉される第２の機会を有する。
次に図１２の詳細Ｌを参照すると、回折微細構造１２８８がペン先１２８１Ｌの下部にエンボス加工される実装形態が示される。回折微細構造１２８８の当たる光源１２８２から放射された光は、特定の方向に、この場合臨界角よりも大きい角度である方向に回折する。いくつかの実装形態では、光源１２８２によって放射された光は、平行および／または単色であり得る。代替実装形態（図示せず）では、回折微細構造１２８８はホログラフィックフィルムと交換することができる。
図１３は、アクティブスタイラスのまたさらなる例示的な実装形態を示す。図示された実装形態では、スタイラス内部の光源によって放射された光は、レンズによって集束する。結果として、導光体またはカバーガラスとのスタイラス接点はより小さくなることができ、それにより、より良好な空間解像度が可能になる。その上、光の発散を増やすこと（光学系の場合小さいｆ番号）によって、より多くの光が臨界角を超える角度で利用可能になり得るし、結果として導光体５６５内でＴＩＲを受けることができる。
図１３の詳細Ｍを参照すると、スタイラス１３８０Ｍはレンズ１３８７を含む。レンズ１３８７は、光源１３８２Ｍから放射された光を、導光体５６５と接触しているペン先１３８１の点に向かって集束させるように構成される場合がある。代替実装形態では、図１３の詳細Ｎを参照すると、スタイラス１３８０Ｎは、負レンズ（または「発散」レンズ）１３８９と、コリメート光の光源１３８２Ｎとを含む。
図１４は、スタイラスのペン先が放物線のような形状を有する例示的な一実装形態を示す。図示された実装形態では、ペン先１４８１は、光源１４８２によって放射された光の集光器として働くことができる。図１４に示されたスタイラスのペン先の幾何形状の場合、光源１４８２からの光がペン先１４８１の光の入口１４８１ａに最初に入射することを観察することができる。ペン先に入る光は、ペン先１４８１のより狭い端部１４８１ｂに到達するまで、側壁に反射する。狭いペン先の端部１４８１ｂは光の入口１４８１ａよりも小さい面積を有するので、既知のエタンデュ性状の結果として放射角はより大きくなる。結果として、ペン先１４８１と接触している導光体５６５に中に捕捉される光の量を増やすことができる。その上、より小さいスタイラスの接触点が考えられ得るので、空間解像度を向上させることができる。
図１０に関して上述されたように、本開示の技法のいくつかの実装形態では、アクティブスタイラスは、ペン先を通って光源から放射された光を拡散的に通すように構成された変形可能なペン先を含む。ペン先の拡散性の特徴の結果として、ペン先を通って放射された光は、実質的に等方的に分散される場合がある。
図１５は、変形可能なペン先を有するアクティブスタイラスの例示的な実装形態を示す。そのような実装形態の特徴および利点は、図１５の詳細Ｐを最初に参照することによってより良く理解することができ、図１５の詳細Ｐは、拡散性のペン先がない場合、アクティブスタイラス１５８０Ｐを傾けると、導光体５６５の中への光の放射が傾きに対応する方向に偏ることを示す。
次に図１５の詳細Ｑを参照すると、スタイラスの傾きにかかわらず光を等方的に散乱させるように構成され得る拡散性のペン先１５８１をアクティブスタイラス１５８０Ｑが含むことを観察することができる。いくつかの実装形態では、光源１５８２から入射しペン先を貫通する光は、最小の吸収でペン先１５８１によって等方的に散乱する場合がある。透明または反射性の粒子とともに組み込まれた透明プラスチック材料は、このタイプの散乱を達成することができる。結果として、スタイラスが傾けられたとき（詳細Ｒ）でも、少なくともほぼ等方的に、光はペン先１５８１から出る。結果として、導光体５６５内のすべての「面内」方向に等しく光を捕捉することができ、感光素子は、スタイラスがスクリーンに直交して保持されるかのように光を検出する。
上記で示されたように、プロセッサ１００４は、画像データから、ユーザタッチのインスタンスおよび位置を認識するために、１つまたは複数のアルゴリズムを実行することができる。加えて、プロセッサ１００４は、画像データから、ユーザタッチまたはアクティブスタイラスもしくはパッシブスタイラスの位置、接触圧力、および角度方向のうちの１つまたは複数を認識するために、１つまたは複数のアルゴリズムを実行することができる。
たとえば、いくつかの実装形態では、プロセッサ１００４は、少なくとも１つの感光素子から受信された画像データを分析することによって、ユーザタッチまたはアクティブスタイラスもしくはパッシブスタイラスの位置（「タッチ位置」）を決定することを含むアルゴリズムを実行することができる。いくつかの実装形態では、再び図６を参照すると、視野６１０内のそれぞれの画像ｉ５５０、ｉｖ１、およびｉｖ２のＹ−Ｚ座標は、タッチ位置を決定するために使用することができる。タッチ位置は、最初に、感光素子に対する方位角および感光素子からの分離距離（「レンジ」）に関して測定することができる。
より詳細には、それぞれの画像のＹ軸位置は、タッチ位置の方位角に量的に関係する場合がある。たとえば、感光素子がピクセル画像データのアレイを出力する場合、たとえば、どのピクセルがピークの光強度を出力しているかを識別することによって、タッチ位置の中央に対応するピクセルを決定することができる。識別されたピクセルは、たとえば、レンズシステムなどの感光素子の光学特性を考慮に入れて、タッチ位置の方位角にマッピングすることができる。
さらに図６を参照すると、アルゴリズムは、感光素子の光学特性を考慮に入れて、万華鏡画像ｉ５５０、ｉｖ１、およびｉｖ２の間のＺ軸分離をタッチ位置の距離にマッピングすることができる。
必要な場合、アルゴリズムは、上記で取得された（方位、距離）座標から（Ｘ，Ｙ）座標への座標変換を実行することもできる。
さらなる例として、いくつかの実装形態では、プロセッサ１００４は、２つ以上の感光素子の出力を使用してタッチ位置を決定することを含むアルゴリズムを実行することができる。図１６は、いくつかの実装形態において、２つの感光素子の各々に対するタッチ位置の方位角座標がタッチ位置のＸ−Ｙ座標を取得するためにどのように使用され得るかを示す。感光素子が（図示された）２−Ｄカメラであるか、または（ライン走査カメラと等価な）１−Ｄプロットを出力するかにかかわらず、たとえば、どのピクセルがピークの光強度を出力しているかを識別することによって、各感光素子に関するタッチ位置の方位角座標に対応するピクセルを決定することができる。識別されたピクセルは、たとえば、レンズシステムなどのそれぞれの感光素子の光学特性を考慮に入れて、タッチ位置の方位角にマッピングすることができる。既知の三角測量技法を使用して、わずか２つの感光素子のそれぞれの方位角座標から、タッチ位置のＸ−Ｙ座標を計算的に決定することができる。
３つ以上の感光素子からの方位角座標データが利用可能である場合、より正確なタッチ位置を決定するために適合技法を適用することができる。
またさらなる例として、いくつかの実装形態では、プロセッサ１００４は、３つ以上の感光素子による距離情報出力を使用してタッチ位置を決定することを含むアルゴリズムを実行することができる。図１７は、いくつかの実装形態において、４つの感光素子の各々に対するタッチ位置の距離座標がタッチ位置のＸ−Ｙ座標を取得するためにどのように使用され得るかを示す図である。距離情報は、上述されたように、信号レベルまたは万華鏡画像間のＺ軸分離の分析によって決定することができる。
図１８は、いくつかの実装形態による、画像データから、双方向ディスプレイと接触しているオブジェクトの接触圧力および回転方向のうちの１つまたは両方を認識するためのプロセスフロー図を示す。双方向ディスプレイは、プロセス１８００を実行するように構成される場合がある。いくつかの実装形態では、感光素子１３３を含む双方向ディスプレイ１００は、プロセッサ１００４と協働してプロセス１８００を実行するように構成される場合がある。プロセス１８００は、ブロック１８０１において、受信された光を感光素子で検出することから始まる場合がある。いくつかの実装形態では、受信される光は、光源によって放射された光と、双方向ディスプレイ１００のディスプレイカバーガラスの前面と少なくとも部分的に光学的に接触しているオブジェクトとの間の相互作用からもたらされる場合がある。代替または追加として、受信される光は、たとえば、オブジェクトがアクティブスタイラスである場合、オブジェクトによって放射される場合がある。
ブロック１８０３において、感光素子はプロセッサに画像データを出力することができる。ブロック１８０５において、プロセッサは、画像データから、オブジェクトの接触圧力および回転方向のうちの１つまたは両方を認識することができる。
このように、双方向ディスプレイが、双方向ディスプレイとのタッチ相互作用の特定の特性を検出し、それに応答することを可能にするための改善された技法が開示されている。上述された実装形態のうちのいくつかまたはすべてにおいて、以下の技法のうちの１つまたは複数を実施することができる。光結合への導光体の上面に、フィルムまたは表面処理を適用することができる。代替または追加として、システムの感度を向上させるために、照明光の強度に変調を適用することができる。いくつかの実装形態では、レーザーによって生成される光などのコヒーレント光を照明光に使用することができる。得られたスペックルパターンは、システムの感度を向上させるために使用することができる。いくつかの実装形態では、カメラ画像は、鮮明化アルゴリズム、幾何形状変換またはひずみ補正、（多重反射が特定の空間周波数範囲内にあるときに背景の光およびノイズを除去する）空間周波数フィルタリング、（重複多重反射を分離する）デコンボリューションアルゴリズム、または（多重反射を使用して高解像度画像を構築する）超解像アルゴリズムを使用して、高度化することができる。これらのアルゴリズムは、初期タッチしきい値をユーザにとって「よりソフト」にするために使用することができる。
本開示に記載された実装形態に対する様々な修正は、当業者には容易に明らかであり得るし、本明細書において定義された一般原理は、本開示の趣旨または範囲から逸脱することなく、他の実装形態に適用することができる。したがって、特許請求の範囲は、本明細書に示された実装形態に限定されるものではなく、本開示、本明細書において開示された原理および新規の特徴と一致する最も広い範囲を与えられるべきである。
本明細書において使用される、項目のリスト「のうちの少なくとも１つ」を参照する語句は、単一のメンバを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃを包含するものである。
本明細書において開示された実装形態に関して記載された様々な例示的な論理、論理ブロック、モジュール、回路、およびアルゴリズムプロセスは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装することができる。ハードウェアとソフトウェアの互換性は、概して機能の観点から記載され、上述された様々な例示的な構成要素、ブロック、モジュール、回路、およびプロセスにおいて例示されている。そのような機能がハードウェアに実装されるか、またはソフトウェアに実装されるかは、特定の適用例およびシステム全体に課される設計制約に依存する。
本明細書において開示された態様に関して記載された様々な例示的な論理、論理ブロック、モジュール、および回路を実装するために使用されるハードウェアおよびデータ処理装置は、汎用のシングルチップもしくはマルチチップのプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、または、本明細書に記載された機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行することができる。汎用プロセッサは、マイクロプロセッサ、または任意の従来のプロセッサ、コントローラ、マイクロコントローラ、もしくは状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装することができる。いくつかの実装形態では、特定のプロセスおよび方法は、所与の機能に特有の回路によって実行することができる。
１つまたは複数の態様では、記載された機能は、本明細書において開示された構造およびそれらの構造的等価物を含む、ハードウェア、デジタル電子回路、コンピュータソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装することができる。本明細書に記載された主題の実装形態はまた、１つまたは複数のコンピュータプログラムとして、すなわち、データ処理装置によって実行されるか、またはデータ処理装置の動作を制御するために、コンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の１つまたは複数のモジュールとして、実装することができる。
ソフトウェアに実装される場合、機能は、１つまたは複数の命令またはコードとして、非一時的媒体などのコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信される場合がある。本明細書において開示された方法またはアルゴリズムのプロセスは、コンピュータ可読媒体上に存在することができるプロセッサ実行可能ソフトウェアモジュールにおいて実装することができる。コンピュータ可読媒体は、ある場所から別の場所にコンピュータプログラムを転送することを可能にすることができる任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の入手可能な媒体であり得る。限定ではなく例として、非一時的媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または、命令もしくはデータ構造の形式で、所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体が含まれ得る。また、任意の接続はコンピュータ可読媒体と適切に呼ぶことができる。本明細書において使用される、ディスク（ｄｉｓｋ）およびディスク（ｄｉｓｃ）は、コンパクトディスク（ＣＤ）（ｄｉｓｃ）、レーザーディスク（登録商標）（ｄｉｓｃ）、光ディスク（ｄｉｓｃ）、デジタル多用途ディスク（ＤＶＤ）（ｄｉｓｃ）、フロッピーディスク（登録商標）（ｄｉｓｋ）、およびブルーレイディスク（登録商標）（ｄｉｓｃ）を含み、ディスク（ｄｉｓｋ）は、通常、データを磁気的に再生し、ディスク（ｄｉｓｃ）は、データをレーザーで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。加えて、方法またはアルゴリズムの動作は、コンピュータプログラム製品に組み込まれ得る機械可読媒体およびコンピュータ可読媒体上に、コードおよび命令の１つまたは任意の組合せまたはセットとして存在することができる。
加えて、図の説明を簡単にするために、「上位」、「下位」という用語が使用されることがあり、適切に向けられたページ上の図の向きに対応する相対的位置を示し、実装されたデバイスの適切な向きを反映しない場合があることを、当業者は容易に諒解されよう。
別々の実装形態との関連で本明細書に記載されたいくつかの特徴は、単一の実装形態において組み合わせて実装することもできる。逆に、単一の実装形態との関連で記載された様々な特徴も、複数の実装形態において別々に実装することができるか、または任意の適切な部分的組合せにおいて実装することができる。その上、特徴は、いくつかの組合せにおいて役割を果たすものとして上述され、さらには最初にそのようなものとして特許請求される場合があるが、特許請求される組合せからの１つまたは複数の特徴は、場合によっては組合せから削除することができ、特許請求される組合せは、部分的組合せまたは部分的組合せの変形形態を対象とする場合がある。
同様に、動作は、特定の順序で図面に描写されているが、これは、そのような動作が示された特定の順序で、または順番に実行されることを必要とするか、または、所望の結果を達成するためにすべての図示された動作が実行されることを必要とするものと理解されるべきではない。さらに、図面は、１つまたは複数の例示的なプロセスをフロー図の形態で概略的に描写する場合がある。しかしながら、概略的に示された例示的なプロセスには、描写されていない他の動作を組み込むことができる。たとえば、図示された動作のうちのいずれかの前に、後に、いずれかと同時に、またはいずれかの間に、１つまたは複数の追加動作を実行することができる。特定の状況では、マルチタスク処理および並列処理が有利な場合がある。その上、上述された実装形態における様々なシステム構成要素の分離は、すべての実装形態においてそのような分離を必要とするものとして理解されるべきでなく、記載されたプログラム構成要素およびシステムは、一般に、単一のソフトウェア製品の中に一緒に統合され得るか、または複数のソフトウェア製品の中にパッケージ化され得ることを理解されたい。加えて、他の実装形態も以下の特許請求の範囲の範囲内にある。場合によっては、特許請求の範囲に記載されているアクションは、異なる順序で実行され得るが、その場合でも望ましい結果を達成することができる。
１００ 双方向ディスプレイ
１０１ 表示エリア
１３１ 外部発光素子
１３２ レンズ
１３３ 感光素子
１３４ 光軸
１３５ 光源
１４２ 光
１４２（１） 光
１４５ ディスプレイ層
１４６ 散乱光
１４６（０） 光線追跡
１４６（１） 光線追跡
１４６（１） 散乱光
１４６（２） 散乱光
１５０ オブジェクト
１５０（１） オブジェクト
１５０（２） オブジェクト
１６５ 平面導光体
１６７ 前面
５００ 双方向ディスプレイ
５３３ 感光素子
５３５ 光源
５４２ 光
５４５ ディスプレイ層
５４６ 散乱光
５４６（０） 光線追跡
５４６（１） 光線追跡
５５０ オブジェクト
５６５ 平面導光体
５６７ 前面
６１０ 視野
９４２ 光
９４６ 散乱光
９４６Ｆ 散乱光
９４６Ｇ 散乱光
９８０ スタイラス
９８１ ペン先
１００４ プロセッサ
１０４６Ｈ 光
１０４６Ｉ 光
１０８０ スタイラス
１０８１ ペン先
１０８２ 光源
１２８０Ｊ スタイラス
１２８０Ｋ スタイラス
１２８１Ｊ ペン先
１２８１Ｋ ペン先
１２８１Ｌ ペン先
１２８２ 光源
１２８３ エアギャップ
１２８４ 第１の反射体
１２８６ 第２の反射体
１２８８ 回折微細構造
１３８０Ｍ スタイラス
１３８０Ｎ スタイラス
１３８１ ペン先
１３８２Ｍ 光源
１３８２Ｎ 光源
１３８７ レンズ
１３８９ 負レンズ
１４８１ ペン先
１４８１ａ 光の入口
１４８１ｂ ペン先の端部
１４８２ 光源
１５８０Ｐ アクティブスタイラス
１５８０Ｑ アクティブスタイラス
１５８１ ペン先
１５８２ 光源
１８００ プロセス
１８０１ ブロック
１８０３ ブロック
１８０５ ブロック

Claims (30)

  1. 表示エリアを含む前面を有する双方向ディスプレイと、
    前記前面に近接し、その後方に配置された平面導光体と、
    可視光または赤外光のうちの１つまたは両方を放射する光源と、
    前記第１の平面導光体と結合され、前記表示エリアの外縁の外側に、または外縁に近接して配置された少なくとも１つの感光素子と
    を備え、
    前記平面導光体が光を受信するように構成され、前記受信された光が、前記前面と光学的に接触しているオブジェクトによる、前記光源によって放射された光の散乱、および前記オブジェクトによって放射された光のうちの１つまたは両方からもたらされ、
    前記感光素子が、前記受信された光の少なくとも一部を検出し、画像データをプロセッサに出力するように構成され、
    前記プロセッサが、前記画像データから、前記オブジェクトの接触圧力および回転方向のうちの１つまたは両方を認識するように構成されている、
    装置。
  2. 前記光源が、前記前面に実質的に直交する方向に光を放射する、請求項１に記載の装置。
  3. 前記光源が、液晶カラーディスプレイもしくはフィールドシーケンシャルカラーディスプレイのバックライト、反射型ディスプレイのフロントライト、または放射型ディスプレイからの光として構成されているか、またはそれを含む、請求項２に記載の装置。
  4. 前記オブジェクトが、パッシブスタイラス、またはユーザの付属器官もしくは指である、請求項１に記載の装置。
  5. 前記オブジェクトがパッシブスタイラスであり、
    前記受信された光が、前記パッシブスタイラスのペン先による前記光源によって放射された光の散乱からもたらされ、
    前記ペン先が、圧力下で変形するエラストマ特性および拡散反射面を有する、
    請求項１に記載の装置。
  6. 前記プロセッサが、前記画像データから、前記パッシブスタイラスの位置、接触圧力、および角度方向のうちの１つまたは複数を認識するように構成されている、請求項５に記載の装置。
  7. 前記プロセッサが、前記画像データから、前記パッシブスタイラスの位置、接触圧力、および角度方向の各々を認識するように構成されている、請求項５に記載の装置。
  8. 前記オブジェクトが、ペン先を含むアクティブスタイラスであり、
    前記受信された光が、前記ペン先を通って前記アクティブスタイラスによって放射された光からもたらされ、
    前記ペン先が、圧力下で変形するエラストマ特性を有する、
    請求項１に記載の装置。
  9. 前記ペン先が、実質的に等方的に、前記ペン先を通って前記アクティブスタイラスによって放射された前記光を散乱させるように構成されている、請求項８に記載の装置。
  10. 前記オブジェクトが、圧力下で変形するエラストマ特性を有し、前記検出された光の画像データが、前記オブジェクトと前記前面との間に印加された接触圧力に関する特性情報を含む、請求項１に記載の装置。
  11. 前記プロセッサが、前記特性情報から複数の接点についての個々の接触圧力を認識し区別するように構成されている、請求項１０に記載の装置。
  12. 前記感光素子が、感光検出器アレイまたはカメラを含む、請求項１に記載の装置。
  13. 前記感光素子が、前記平面導光体の平面内または平面の後方に配置されている、請求項１２に記載の装置。
  14. 前記プロセッサが、スタイラスタッチと指の両方による同時またはほぼ同時のタッチを認識し区別するように構成されている、請求項１に記載の装置。
  15. 前記感光素子が光軸を有するレンズを含むカメラであり、前記光軸が前記前面にほぼ平行になるように前記カメラが配置される、請求項１に記載の装置。
  16. 表示エリアを含む前面を有する電子ディスプレイと、
    前記前面に近接し、その後方に配置された平面導光体と、
    可視光または赤外光のうちの１つまたは両方を放射する光源と、
    前記第１の平面導光体と結合され、前記表示エリアの外縁の外側に、または外縁に近接して配置された少なくとも１つの感光素子と
    を備え、
    前記平面導光体が散乱光を受信するように構成され、前記受信された散乱光が、前記光源によって放射された光と、前記前面と光学的に接触しているオブジェクトとの間の相互作用からもたらされ、
    前記感光素子が、前記受信された散乱光の少なくとも一部を検出し、画像データをプロセッサに出力するように構成され、
    前記光源が、前記前面に実質的に直交する方向に光を放射する、
    装置。
  17. 前記プロセッサが、前記画像データから、前記オブジェクトの接触圧力および回転方向のうちの１つまたは両方を認識するように構成されている、請求項１６に記載の装置。
  18. 前記プロセッサが、前記画像データから、前記オブジェクトの位置、接触圧力、および角度方向の各々を認識するように構成されている、請求項１７に記載の装置。
  19. 前記光源が、液晶カラーディスプレイもしくはフィールドシーケンシャルカラーディスプレイのバックライト、反射型ディスプレイのフロントライト、または放射型ディスプレイからの光として構成されているか、またはそれを含む、請求項１６に記載の装置。
  20. 前記オブジェクトが、圧力下で変形するエラストマ特性を有し、前記検出された光の画像データが、前記オブジェクトと前記前面との間に印加された接触圧力に関する特性情報を含む、請求項１６に記載の装置。
  21. 前記オブジェクトがパッシブスタイラスであり、
    前記受信された散乱光が、前記光源によって放射された光と前記パッシブスタイラスのペン先との間の相互作用からもたらされ、
    前記ペン先が、エラストマ特性および拡散反射面を有する、
    請求項１６に記載の装置。
  22. 表示エリアを含む前面を有する双方向ディスプレイと、
    可視光および赤外光の一方または両方を放射する光源と、
    前記表示エリアの外縁の外側に、または外縁に近接して配置された少なくとも１つの感光素子と、
    前記前面に近接し、その後方に配置され、前記少なくとも１つの感光素子と結合された、光を受信するための手段であって、前記受信された光が、前記光源によって放射された光と、前記前面と光学的に接触しているオブジェクトとの間の相互作用、および前記オブジェクトによって放射された光のうちの１つまたは両方からもたらされる、手段と
    を備え、
    前記感光素子が、前記受信された光の少なくとも一部を検出し、画像データをプロセッサに出力するように構成され、
    前記プロセッサが、前記画像データから、前記オブジェクトの接触圧力および回転方向のうちの１つまたは両方を認識するように構成されている、
    装置。
  23. 前記光源が、前記前面に実質的に直交する方向に光を放射する、請求項２２に記載の装置。
  24. 前記光源が、液晶カラーディスプレイもしくはフィールドシーケンシャルカラーディスプレイのバックライト、反射型ディスプレイのフロントライト、または放射型ディスプレイからの光として構成されるか、またはそれを含む、請求項２３に記載の装置。
  25. 感光素子により、受信された光を検出するステップであって、前記受信された光が、前記光源によって放射された光と、双方向ディスプレイのディスプレイカバーガラスの前面と少なくとも部分的に光学的に接触しているオブジェクトとの間の相互作用、および前記オブジェクトから放射された光のうちの１つまたは両方からもたらされる、ステップと、
    前記感光素子からプロセッサに画像データを出力するステップと、
    プロセッサにより、前記画像データから、前記オブジェクトの接触圧力および回転方向のうちの１つまたは両方を認識するステップと
    を含む、方法。
  26. 前記光源が、前記前面に実質的に直交する方向に光を放射する、請求項２５に記載の方法。
  27. 前記光源が、液晶カラーディスプレイもしくはフィールドシーケンシャルカラーディスプレイのバックライト、反射型ディスプレイのフロントライト、または放射型ディスプレイからの光として構成されるか、またはそれを含む、請求項２５に記載の方法。
  28. 前記プロセッサが、前記画像データから、前記オブジェクトの位置、接触圧力、および角度方向の各々を認識するように構成される、請求項２５に記載の方法。
  29. 前記プロセッサが、前記画像データから、前記オブジェクトの位置の決定を行うように構成される、請求項２５に記載の方法。
  30. 前記プロセッサが、
    前記感光素子に対する前記オブジェクトの方位角および距離を測定すること、
    複数の感光素子に対する前記オブジェクトの方位角を測定すること、および
    複数の感光素子に対する前記オブジェクトの距離を測定すること
    のうちの１つまたは複数により、前記決定を行うように構成される、
    請求項２９に記載の方法。
JP2016563449A 2014-04-28 2015-03-18 双方向ディスプレイスクリーン用の圧力、回転およびスタイラス機能 Pending JP2017514232A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461985325P 2014-04-28 2014-04-28
US61/985,325 2014-04-28
US14/502,726 2014-09-30
US14/502,726 US9582117B2 (en) 2014-04-28 2014-09-30 Pressure, rotation and stylus functionality for interactive display screens
PCT/US2015/021245 WO2015167683A1 (en) 2014-04-28 2015-03-18 Pressure, rotation and stylus functionality for interactive display screens

Publications (2)

Publication Number Publication Date
JP2017514232A true JP2017514232A (ja) 2017-06-01
JP2017514232A5 JP2017514232A5 (ja) 2018-04-12

Family

ID=54334776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016563449A Pending JP2017514232A (ja) 2014-04-28 2015-03-18 双方向ディスプレイスクリーン用の圧力、回転およびスタイラス機能

Country Status (7)

Country Link
US (1) US9582117B2 (ja)
EP (1) EP3137978A1 (ja)
JP (1) JP2017514232A (ja)
KR (1) KR20160146735A (ja)
CN (1) CN106462296A (ja)
BR (1) BR112016024940A2 (ja)
WO (1) WO2015167683A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10116868B2 (en) 2014-04-28 2018-10-30 Qualcomm Incorporated Display-integrated user-classification, security and fingerprint system
US9582117B2 (en) 2014-04-28 2017-02-28 Qualcomm Incorporated Pressure, rotation and stylus functionality for interactive display screens
DE112015004010T5 (de) * 2014-09-02 2017-06-14 Rapt Ip Limited Instrumentenerfassung mit einer optischen berührungsempfindlichen Vorrichtung
US9965101B2 (en) 2014-09-02 2018-05-08 Rapt Ip Limited Instrument detection with an optical touch sensitive device
US10108301B2 (en) 2014-09-02 2018-10-23 Rapt Ip Limited Instrument detection with an optical touch sensitive device, with associating contacts with active instruments
KR102299365B1 (ko) * 2014-11-03 2021-09-07 삼성전자주식회사 스페클을 이용한 인증 장치, 이를 포함하는 인증 시스템 및 스페클을 이용한 인증 방법
KR102495467B1 (ko) * 2016-12-07 2023-02-06 플라트프로그 라보라토리즈 에이비 개선된 터치 장치
US10635195B2 (en) * 2017-02-28 2020-04-28 International Business Machines Corporation Controlling displayed content using stylus rotation
US11169641B2 (en) 2018-01-23 2021-11-09 Beechrock Limited Compliant stylus interaction with touch sensitive surface
US10983611B2 (en) * 2018-06-06 2021-04-20 Beechrock Limited Stylus with a control
KR102260868B1 (ko) 2019-12-12 2021-06-07 금오공과대학교 산학협력단 제스처 기반 모드 선택 기능을 갖는 전자 장치, 그 방법 및 기록매체
CN113220140B (zh) * 2020-01-21 2023-10-13 京东方科技集团股份有限公司 一种交互笔、感应屏、交互系统及定位方法
JP2023512682A (ja) 2020-02-10 2023-03-28 フラットフロッグ ラボラトリーズ アーベー 改良型タッチ検知装置
US11749014B2 (en) * 2020-08-13 2023-09-05 Novatek Microelectronics Corp. Optical fingerprint sensing apparatus, driver apparatus thereof and operation method
US11983363B1 (en) * 2023-02-09 2024-05-14 Primax Electronics Ltd. User gesture behavior simulation system and user gesture behavior simulation method applied thereto

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003532216A (ja) * 2000-05-01 2003-10-28 トゥルバート、デビッド、ジェイ． ヒューマン・マシーンインターフェイス
US20070201042A1 (en) * 2003-09-12 2007-08-30 Eliasson Jonas O P System And Method Of Determining A Position Of A Radiation Emitting Element
JP2011530123A (ja) * 2008-08-07 2011-12-15 ドラム，オウエン 光学タッチセンサー式デバイスにおけるマルチタッチ事象を検出する方法および装置
US20120249477A1 (en) * 2011-03-30 2012-10-04 Smart Technologies Ulc Interactive input system and method
JP2013508804A (ja) * 2009-10-19 2013-03-07 フラットフロッグ ラボラトリーズ アーベー 接触面上の１つまたは複数の対象を表す接触データの抽出
JP2014021790A (ja) * 2012-07-19 2014-02-03 Sharp Corp 座標入力装置、座標検出方法、及び座標入力システム

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69407628T2 (de) 1993-02-01 1998-08-27 Matsushita Electric Ind Co Ltd Wellenleiter-Bildübertragungsvorrichtung und Vorrichtung zur Identifikation von Fingerabdrücken
GB9516441D0 (en) 1995-08-10 1995-10-11 Philips Electronics Uk Ltd Light pen input systems
DE19535803A1 (de) 1995-09-26 1997-03-27 Computer Ges Konstanz Abtastvorrichtung zur optischen Abtastung von Objekten mit Oberflächenstruktur
JP3559754B2 (ja) 2000-07-25 2004-09-02 Ｎｅｃエレクトロニクス株式会社 指紋認証装置
US6956608B1 (en) 2000-08-11 2005-10-18 Identix Incorporated Fingerprint imaging device including an optical plate having microreflectors
US20020131624A1 (en) 2000-08-11 2002-09-19 Yury Shapiro Fingerprint imaging device with fake finger detection
US20030028872A1 (en) 2001-08-03 2003-02-06 Rajko Milovanovic System and method for real-time non-participatory user recognition and content provisioning
JP4186440B2 (ja) 2001-08-07 2008-11-26 オムロン株式会社 車両搭載機器の制御システム、携帯電話機、及び車両搭載機器の制御方法
EP1493124B1 (en) 2002-03-13 2006-07-26 O-Pen ApS A touch pad and a method of operating the touch pad
US7313255B2 (en) 2003-05-19 2007-12-25 Avago Technologies Ecbu Ip Pte Ltd System and method for optically detecting a click event
US7671351B2 (en) 2003-09-05 2010-03-02 Authentec, Inc. Finger sensor using optical dispersion sensing and associated methods
KR100575144B1 (ko) 2004-03-10 2006-04-28 씨큐트로닉스 (주) 모바일기기용 광학 지문입력 장치
EP1728219A1 (de) 2004-03-19 2006-12-06 Roger Marcel Humbel Alles-schlüssel bzw. einstell software liste in handy (pass-partout) für funk-fahrrad-schlüsser, autos, häuser, rfid-tags mit zulassungs- und zahlungsverkehrs-funktion all in one remote key
US20060001654A1 (en) * 2004-06-30 2006-01-05 National Semiconductor Corporation Apparatus and method for performing data entry with light based touch screen displays
GB2417858B (en) 2004-08-16 2009-03-04 Anwar Sharif Bajwa Access control device and arrangement using mobile phones or handheld wireless communicators for automatic wireless access with secure codes and biometrics da
CN100568250C (zh) 2004-11-12 2009-12-09 皇家飞利浦电子股份有限公司 用于提供用户识别和认证的用户接口及其方法
US8077929B2 (en) 2006-02-22 2011-12-13 Wasatch Photonics, Inc. Ambient light rejection filter
JP4599320B2 (ja) 2006-03-13 2010-12-15 富士通株式会社 指紋認証装置、生体指判定装置および生体指判定方法
US7969426B2 (en) 2006-10-31 2011-06-28 Hewlett-Packard Development Company, L.P. Light sensitive display interface for computing devices
CN101652797B (zh) 2007-04-04 2013-04-03 索尼株式会社 生物学验证系统
EP1988489B1 (en) 2007-05-04 2021-02-17 STMicroelectronics (Research & Development) Limited Biometric sensor apparatus and method
JP4823985B2 (ja) 2007-08-07 2011-11-24 株式会社日立製作所 生体認証装置及び情報端末
US8120762B2 (en) * 2007-11-30 2012-02-21 Nokia Corporation Light guide and optical sensing module input device and method for making same
CN102089736B (zh) * 2008-07-15 2015-07-08 伊斯奇里因特菲斯技术股份有限公司 用于数据处理系统的控制面
EP2336859A4 (en) 2008-08-29 2011-08-31 Sharp Kk COORDINATE DETECTOR, ELECTRONIC DEVICE, DISPLAY DEVICE, AND LIGHT RECEIVING UNIT
US8605960B2 (en) 2009-03-02 2013-12-10 Avago Technologies General Ip (Singapore) Pte. Ltd. Fingerprint sensing device
US9336428B2 (en) 2009-10-30 2016-05-10 Synaptics Incorporated Integrated fingerprint sensor and display
US8436833B2 (en) * 2009-11-25 2013-05-07 Corning Incorporated Methods and apparatus for sensing touch events on a display
US20120019481A1 (en) * 2010-07-26 2012-01-26 Po-Sheng Lai Controller of Contact Sensing Type Using Optical Principle for Controlling a Pointer on a Display Screen
US10725564B2 (en) 2011-10-28 2020-07-28 Wacom Co., Ltd. Differential sensing in an active stylus
TWI533231B (zh) 2012-01-17 2016-05-11 蘋果公司 具有用於耦合電極及畫素感測軌跡之畫素感測電路之手指感測器及其相關方法
JP2013175142A (ja) 2012-01-27 2013-09-05 Sharp Corp 座標入力装置、及び座標入力システム
US20130265137A1 (en) 2012-04-02 2013-10-10 Validity Sensors, Inc. Integratable fingerprint sensor packagings
US9880653B2 (en) 2012-04-30 2018-01-30 Corning Incorporated Pressure-sensing touch system utilizing total-internal reflection
US9726803B2 (en) 2012-05-24 2017-08-08 Qualcomm Incorporated Full range gesture system
US9557846B2 (en) * 2012-10-04 2017-01-31 Corning Incorporated Pressure-sensing touch system utilizing optical and capacitive systems
US9285923B2 (en) * 2012-12-19 2016-03-15 Sharp Laboratories Of America, Inc. Touch sensitive display system
US9811214B2 (en) * 2013-03-15 2017-11-07 Tactual Labs Co. Fast multi-touch noise reduction
US9582117B2 (en) 2014-04-28 2017-02-28 Qualcomm Incorporated Pressure, rotation and stylus functionality for interactive display screens
US10116868B2 (en) 2014-04-28 2018-10-30 Qualcomm Incorporated Display-integrated user-classification, security and fingerprint system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003532216A (ja) * 2000-05-01 2003-10-28 トゥルバート、デビッド、ジェイ． ヒューマン・マシーンインターフェイス
US20070201042A1 (en) * 2003-09-12 2007-08-30 Eliasson Jonas O P System And Method Of Determining A Position Of A Radiation Emitting Element
JP2011530123A (ja) * 2008-08-07 2011-12-15 ドラム，オウエン 光学タッチセンサー式デバイスにおけるマルチタッチ事象を検出する方法および装置
JP2013508804A (ja) * 2009-10-19 2013-03-07 フラットフロッグ ラボラトリーズ アーベー 接触面上の１つまたは複数の対象を表す接触データの抽出
US20120249477A1 (en) * 2011-03-30 2012-10-04 Smart Technologies Ulc Interactive input system and method
JP2014021790A (ja) * 2012-07-19 2014-02-03 Sharp Corp 座標入力装置、座標検出方法、及び座標入力システム

Also Published As

Publication number Publication date
EP3137978A1 (en) 2017-03-08
BR112016024940A2 (pt) 2017-08-15
US9582117B2 (en) 2017-02-28
US20150309662A1 (en) 2015-10-29
KR20160146735A (ko) 2016-12-21
WO2015167683A1 (en) 2015-11-05
CN106462296A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
US9582117B2 (en) Pressure, rotation and stylus functionality for interactive display screens
JP6623171B2 (ja) ディスプレイに統合されるユーザ分類、セキュリティおよび指紋システム
US10534436B2 (en) Multi-modal gesture based interactive system and method using one single sensing system
CN101971123B (zh) 具有可切换漫射体的交互式表面计算机
US8339378B2 (en) Interactive input system with multi-angle reflector
US10324563B2 (en) Identifying a target touch region of a touch-sensitive surface based on an image
TWI536227B (zh) 光學觸控偵測
US8836645B2 (en) Touch input interpretation
CN106030481B (zh) 大面积交互式显示屏
US10379680B2 (en) Displaying an object indicator
US10664090B2 (en) Touch region projection onto touch-sensitive surface
Yoo et al. Symmetrisense: Enabling near-surface interactivity on glossy surfaces using a single commodity smartphone

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20180301

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190712