JP2017507428A - 大面積インタラクティブディスプレイ画面 - Google Patents

大面積インタラクティブディスプレイ画面 Download PDF

Info

Publication number
JP2017507428A
JP2017507428A JP2016553826A JP2016553826A JP2017507428A JP 2017507428 A JP2017507428 A JP 2017507428A JP 2016553826 A JP2016553826 A JP 2016553826A JP 2016553826 A JP2016553826 A JP 2016553826A JP 2017507428 A JP2017507428 A JP 2017507428A
Authority
JP
Japan
Prior art keywords
camera
light
output
processor
light guide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016553826A
Other languages
English (en)
Other versions
JP2017507428A5 (ja
Inventor
ジョン・マイケル・ウィルワス
ラッセル・ウェイン・グルールク
クーシド・シェド・アラム
カリン・ミトコフ・アタナッソフ
ヴィカス・ラマチャンドラ
ハシブ・アハメド・シディックイ
ジェームズ・ウィルソン・ナッシュ
ロバート・ミッチェル・クレイマン
アルブレヒト・ヨハネス・リンドナー
エヴゲニー・ペトロヴィチ・グーセフ
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2017507428A publication Critical patent/JP2017507428A/ja
Publication of JP2017507428A5 publication Critical patent/JP2017507428A5/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

表示エリアを含む前面を有するカバーガラスを含む、インタラクティブディスプレイが、電子デバイスのユーザに入力/出力(I/O)インターフェースを提供する。装置が、プロセッサと、光源と、表示エリアの周辺外側に配置され、カバーガラスと同一平面をなすか、またはその後方にあるカメラとを含む。カメラは、インタラクティブディスプレイから出力される光と物体との相互作用の結果として生じる散乱光を受光し、出力された光が、物体からカバーガラスによって受光され、カメラに向けられる。プロセッサは、カメラによって出力される画像データから、カメラの光軸に対する物体の方位角、およびカメラからの物体の距離を特定する。

Description

関連出願の相互参照
本開示は、2014年3月4日に出願された「LARGE AREA INTERACTIVE DISPLAY SCREEN」と題する米国仮特許出願第61/947,971号(代理人整理番号第QUALP241PUS/143621P1)および2015年2月19日に出願された「LARGE AREA INTERACTIVE DISPLAY SCREEN」と題する米国特許出願第14/626,679号(代理人整理番号第QUALP241US/143621)の優先権を主張する。これらの先願の開示は、本開示の一部と見なされ、参照により本開示に組み込まれる。
本開示は、大きなディスプレイ画面を備えるデバイスにタッチ応答能力を与えるための技法に関し、より詳細には、ユーザのタッチまたは複数の同時タッチに応答して制御される、ユー入力/出力インターフェースを提供するインタラクティブディスプレイに関する。
従来のマルチタッチシステムを大型(>24インチ対角線)ディスプレイに拡大するのは難しい。大部分のスマートフォンの場合に使用される投影型キャパシタンスは、酸化インジウムスズ電極の高い抵抗率(高い抵抗率は、RC時定数および信号対雑音レベルを劣化させる場合がある)および処理コストに起因して、サイズが制限されてきた。影検出または漏れ内部全反射(FTIR: frustrated total internal reflection)に基づく光学的手法は、多数の構成要素に起因して、大型ディスプレイまで十分に拡大しない。
既存のカメラ利用光学タッチシステムは2つの主な不都合があり、それにより、コンシューマエレクトロニクスにおける適用が制限される。第1に、カメラは通常、ディスプレイの表面越しに見ているので、カメラはディスプレイの外側周囲に著しいベゼル高を追加する。最新のフラット画面デバイスの設計は、見た目に美しい平坦なベゼルを好む。第2に、これらのシステムは、カメラの横からの視野角に起因して、遮蔽およびゴーストタッチの影響を受けやすく、それにより、物体を確実に検出することができる場所、および検出することができる物体の量が制限される。
本開示のシステム、方法、およびデバイスはそれぞれ、いくつかの革新的な態様を有し、それらの態様はいずれも、本明細書に開示された所望の属性に単独で関与するものではない。
本開示において説明される主題の1つの革新的な態様は、ディスプレイカバーガラスの平面内に、またはその平面の後方にそれぞれ取り付けられる1つまたは複数のカメラを含むインタラクティブディスプレイにおいて実現することができる。カメラは、IR感知、VGAマイクロカメラとすることができ、1つのタッチ、または同時の複数のタッチの場所を特定することができる画像データを出力することができる。開示される技法は、タッチの場所を正確に特定できるようにし、2つ以上のタッチが同時に生じているときに遮蔽の影響を最小限に抑えながら、ディスプレイの外側周囲に著しいベゼル高を追加するのを避ける。
いくつかの実装形態によれば、装置または電子デバイスが、装置のユーザに入力/出力(I/O)インターフェースを提供するために、インタラクティブディスプレイと協働することができる。インタラクティブディスプレイは、表示エリアを含む前面を有するカバーガラスを含む。電子デバイスはインタラクティブディスプレイを含む場合があるか、またはインタラクティブディスプレイに電気的に、またはワイヤレスで結合される場合がある。装置は、プロセッサと、光源と、カバーガラスと同一平面をなすか、またはその後方にある、表示エリアの周辺外側に配置される1つまたは複数のカメラとを含むことができる。ユーザの指または手で握った物体のような物体が、ディスプレイの前面と接触するとき、物体から散乱された光のうちの少なくともある量が、カバーガラスによって受光され、カメラに向けられる場合がある。カメラは、そのような光を検出し、プロセッサに、検出された光の画像データを出力することができる。プロセッサは、画像データから、カメラの光軸に対する物体の方位角、およびカメラからの物体の距離の一方または両方を特定することができる。
いくつかの実装形態によれば、装置が、インタラクティブディスプレイと、プロセッサと、光源と、少なくとも1つのカメラとを含む。インタラクティブディスプレイは、表示エリアを含む前面を有するカバーガラスを含み、電子デバイスのユーザに入力/出力(I/O)インターフェースを提供する。光源は、可視光または赤外光の一方または両方を放射する。少なくとも1つのカメラは、表示エリアの周辺外側に配置され、カバーガラスと同一平面をなすか、またはその後方にある。カメラは、インタラクティブディスプレイから出力される光と物体との相互作用の結果として生じる散乱光を受光するように構成され、散乱光のうちの少なくともある量が、物体からカバーガラスによって受光され、カメラに向けられる。プロセッサは、カメラによって出力される画像データから、カメラの光軸に対する物体の方位角、およびカメラからの物体の距離の一方または両方を特定するように構成される。
いくつかの例では、プロセッサは、カメラの光軸に対する物体の方位角、およびカメラからの物体の距離の両方を特定するように構成することができる。
いくつかの例では、カバーガラスは、前面に隣接して配置される第1の平面導光路を含むことができ、第1の平面導光路は、散乱光を受光するように構成され、受光された散乱光のうちのある量は、第1の平面導光路内で内部全反射(TIR)を受ける。光転向構成は、第1の平面導光路の後方に配置される第2の平面導光路を含むことができ、出力される光は、第2の平面導光路が光源から放射された光を前面に直交する実質的な成分を有する方向に反射することの結果として生じることができる。光源は、第2の平面導光路と光学的に結合することができる。インタラクティブディスプレイは、第1の平面導光路と第2の平面導光路との間に配置することができる。第1の平面導光路は前面の前方に配置することができ、第2の平面導光路は第1の平面導光路の後方に配置することができ、出力される光は、第2の平面導光路が光源から放射された光を前面に直交する実質的な成分を有する方向に反射することの結果として生じることができる。第2の平面導光路は、インタラクティブディスプレイのフロントライトとして機能することができる。
いくつかの例では、出力される光は、インタラクティブディスプレイの上方のエリアを照明することができる。
いくつかの例では、プロセッサは、インタラクティブディスプレイおよび電子デバイスの一方または両方を制御するように構成することができる。
いくつかの例では、光源は赤外光源とすることができ、インタラクティブディスプレイは液晶ディスプレイである。
いくつかの例では、プロセッサは、カメラによって受光された複数の万華鏡反射の、カメラによって出力される画像データを解析することによって、カメラからのタッチの距離を特定するように構成することができる。プロセッサは、複数の万華鏡反射のうちの2つ以上の間の空間分離を解析することによって距離を特定するように構成することができる。
いくつかの例では、プロセッサは、カメラによって受光された少なくとも1つの万華鏡反射の、カメラによって出力される画像データを解析することによって、カメラの光軸に対するタッチの方位角を特定するように構成することができる。
いくつかの例では、少なくとも1つのカメラは2つ以上のカメラを含み、プロセッサは、カメラによって出力される、画像データの三角測量によってタッチの方位角を特定するように構成される。
いくつかの例では、表示エリアは、24インチを超える対角線寸法を有することができる。
いくつかの実装形態によれば、方法が、プロセッサを用いて、少なくとも1つのカメラの出力からユーザタッチの場所を特定することと、ユーザタッチの場所を特定するのに応答して、プロセッサを用いて、電子デバイスのための入力/出力(I/O)インターフェースを提供する電子デバイスおよびインタラクティブディスプレイの一方または両方を制御することとを含む。インタラクティブディスプレイは、表示エリアを含む前面を有するカバーガラスを含み、カメラは表示エリアの周辺外側に配置され、カバーガラスと同一平面をなすか、またはその後方にあり、カメラの出力は、カメラを用いて、散乱光を受光することの結果として生じ、散乱光は、インタラクティブディスプレイから出力される光と物体との相互作用から生じ、散乱光の少なくともある量は、カバーガラスによって受光され、カメラに向けられ、その場所は、カメラによって出力される画像データから、プロセッサがカメラの光軸に対する物体の方位角およびカメラからの物体の距離を特定することによって特定される。
いくつかの例では、ユーザタッチの場所を特定することは、カメラによって受光された複数の万華鏡反射の、カメラによって出力される画像データを解析することを含むことができる。カメラからの物体の距離を特定することは、複数の万華鏡反射のうちの2つ以上の間の空間分離を解析することを含むことができる。方位角を特定することは、カメラによって受光された少なくとも1つの万華鏡反射の、カメラによって出力される画像データを解析することを含むことができる。
いくつかの実装形態によれば、装置が、表示エリアを含む前面を有するカバーガラスを含み、電子デバイスのユーザに入力/出力(I/O)インターフェースを提供するインタラクティブディスプレイと、プロセッサと、可視光および赤外光の一方または両方を放射する光源と、表示エリアの周辺外側に配置され、カバーガラスと同一平面をなすか、またはその後方にある、光を検出するための少なくとも1つの手段とを含み、前記光検出手段は、インタラクティブディスプレイから出力される光と物体との相互作用の結果として生じる散乱光を受光するように構成され、散乱光のうちの少なくともある量は、物体からカバーガラスによって受光され、光検出手段に向けられ、光検出手段は、受光された散乱光に対応する画像データをプロセッサに出力するように構成される。プロセッサは、画像データから、光検出手段の光軸に対する物体の方位角、および光検出手段からの物体の距離を特定するように構成される。
いくつかの例では、カバーガラスは、前面に隣接して配置される第1の平面導光路を含むことができ、第1の平面導光路は、散乱光を受光するように構成され、受光された散乱光のうちのある量は、第1の平面導光路内で内部全反射(TIR)を受ける。光転向構成は、第1の平面導光路の後方に配置される第2の平面導光路を含むことができ、出力される光は、第2の平面導光路が光源から放射された光を前面に直交する実質的な成分を有する方向に反射することの結果として生じることができる。
いくつかの例では、プロセッサは、インタラクティブディスプレイおよび電子デバイスの一方または両方を制御するように構成することができる。
いくつかの実装形態によれば、非一時的コンピュータ可読媒体が、その上にソフトウェアを記憶しており、ソフトウェアはプロセッサによって実行可能な命令を含み、命令は、プロセッサに、少なくとも1つのカメラの出力からユーザタッチの場所を特定させ、ユーザタッチの特定された場所に応答して、電子デバイス、および電子デバイスのための入力/出力(I/O)インターフェースを提供するインタラクティブディスプレイの一方または両方を制御させる。インタラクティブディスプレイは、表示エリアを含む前面を有するカバーガラスを含む。カメラは、表示エリアの周辺外側に配置され、カバーガラスと同一平面をなすか、またはその後方にある。カメラの出力は、カメラを用いて、散乱光を受光することの結果として生じ、散乱光は、インタラクティブディスプレイから出力される光と物体との相互作用の結果として生じ、散乱光のうちの少なくともある量が、カバーガラスによって受光され、カメラに向けられる。その場所は、カメラによって出力される画像データから、プロセッサがカメラの光軸に対する物体の方位角、およびカメラからの物体の距離を特定することによって特定される。
いくつかの例では、命令は、プロセッサに、カメラによって受光された複数の万華鏡反射の、カメラによって出力される画像データを解析することによって、ユーザタッチの場所を特定させることができる。命令は、プロセッサに、複数の万華鏡反射のうちの2つ以上の間の空間分離を解析することによって、カメラからの物体の距離を特定させることができる。
いくつかの例では、命令は、プロセッサに、カメラによって受光された少なくとも1つの万華鏡反射の、カメラによって出力される画像データを解析することによって、方位角を特定させることができる。
本明細書において説明される主題の1つまたは複数の実装形態の詳細は、添付の図面および以下の説明に記載されている。他の特徴、態様および利点は、説明、図面および特許請求の範囲から明らかになるであろう。以下の図の相対寸法は、縮尺どおりに描かれていない場合があることに留意されたい。種々の図面における同様の参照番号および名称は、同様の要素を示す。
一態様による、インタラクティブディスプレイの簡略化されたブロック図である。 一実装形態による、インタラクティブディスプレイの断面立面図である。 万華鏡効果の一例を示す図である。 ユーザタッチに応答して、電子デバイスおよび/またはインタラクティブディスプレイを制御するためのプロセスフロー図である。 いくつかの実装形態による、少なくとも1つのカメラの出力からユーザタッチの場所を特定するためのプロセスフロー図である。 万華鏡画像データの例を示す図である。 万華鏡反射画像分離とレンジ距離との間の関係を示す図である。 いくつかの実装形態による、万華鏡反射画像からレンジ情報を得る態様を示す図である。 いくつかの実装形態による、カメラからのユーザタッチのレンジ距離を特定するためのプロセスフロー図である。 マルチタッチ実装形態のための場所情報を得る態様を示す図である。 マルチタッチ実装形態において画像データを処理するためのプロセスフロー図である。 一実装形態による、インタラクティブディスプレイの平面図である。 少なくとも2つのカメラを使用してタッチの場所情報を得る態様を示す図である。 別の実装形態による、インタラクティブディスプレイの断面立面図である。 ディスプレイ表示エリア下方に位置するカメラを含むインタラクティブディスプレイの一例を示す図である。 さらに別の実装形態による、インタラクティブディスプレイの一例を示す図である。
以下の説明は、本開示の革新的な態様を説明する目的のための特定の実装形態に向けられている。しかしながら本明細書における教示は、数多くの異なる方法において適用することができることは当業者には容易に認識されよう。説明される実装形態は、動いている(たとえば、映像)か静止している(たとえば、静止画像)かにかかわらず、また文字であるか、絵であるか、写真であるかにかかわらず、画像を表示するように構成することができる任意のデバイスまたはシステムにおいて実現することができる。より詳細には、説明される実装形態は、限定はしないが、モバイル電話、マルチメディアインターネットに対応可能な携帯電話、モバイルテレビ受像機、ワイヤレスデバイス、スマートフォン、Bluetooth(登録商標)デバイス、個人情報端末(PDA)、ワイヤレス電子メール受信機、ハンドヘルドコンピュータまたはポータブルコンピュータ、ネットブック、ノートブック、スマートブック、タブレット、プリンタ、複写機、スキャナ、ファクシミリデバイス、GPS受信機/ナビゲータ、カメラ、MP3プレーヤ、カムコーダ、ゲームコンソール、腕時計、時計、計算機、テレビモニタ、フラットパネルディスプレイ、電子読取りデバイス(電子書籍端末など)、コンピュータモニタ、自動車用ディスプレイ(走行距離計ディスプレイおよび速度計ディスプレイなどを含む)、コックピット制御機器および/またはディスプレイ、カメラ視野ディスプレイ(車両における後方視野カメラの表示など)、電子写真、街頭ビジョンまたは電子看板、映写機、建築構造、電子レンジ、冷蔵庫、ステレオシステム、カセットレコーダまたはプレーヤ、DVDプレーヤ、CDプレーヤ、VCR、ラジオ、ポータブルメモリチップ、洗濯機、乾燥機、洗濯/乾燥機、駐車メータ、パッケージ構造(電気機械システム(EMS)、マイクロエレクトロメカニカルシステム(MEMS)、および非MEMSアプリケーションにおけるものなど)、美的構造(たとえば、宝石上への画像の表示)、ならびに種々のEMSデバイスなどの種々の電子デバイスに含まれる場合があるか、またはそれらの電子デバイスに関連付けられる場合があると考えられる。本明細書の教示は、限定はしないが、電子スイッチングデバイス、無線周波数フィルタ、センサ、加速度計、ジャイロスコープ、動作検知デバイス、磁気計、家庭用電子機器用の慣性構成要素、家庭用電化製品の部品、バラクタ、液晶デバイス、電気泳動デバイス、駆動方式、製造プロセス、および電子試験機器などの非表示の適用例において使用することもできる。したがって、それらの教示には、単に図に示されている実装形態に限定されることを意図するものではなく、代わりに、当業者には容易に明らかになるように、広範囲にわたる適用例を有している。
本明細書において以下に説明されるのは、ディスプレイとのタッチ相互作用の特定の特性に応答して制御される、ユーザ入力/出力インターフェースを提供するインタラクティブ電子ディスプレイを提供するための新たな技法である。それらの特性は、カメラに対するタッチの方位角および距離に関するユーザタッチの場所情報を含むことができ、ディスプレイのコスト、サイズおよび複雑さをほとんど加えない光学的技法を用いて特定される。
本開示において説明される主題の特定の実装形態は、以下の潜在的な利点のうちの1つまたは複数を実現するために実施することができる。従来技術に比べて、本明細書において開示される技法によれば、インタラクティブディスプレイを大面積ディスプレイ画面とすることができるにもかかわらず、ディスプレイと同一平面をなすか、またはその後方に配置される単一のカメラからの画像データを用いて、インタラクティブディスプレイ上のタッチ場所を特定できるようになる。本明細書において開示される技法の結果として、非常に小さく、かつ安価なカメラを用いて、ディスプレイの前面と光学的に接触している物体の場所を正確に特定することができる。
本開示において説明される主題の1つの革新的な態様は、表示エリアを含む前面を有するカバーガラスと、光源と、光転向構成と、少なくとも1つのカメラとを含む、インタラクティブディスプレイの1つの構成において実現することができる。カメラは、表示エリアの周辺外側に配置され、カバーガラスと同一平面をなすか、またはその後方にあり、インタラクティブディスプレイから出力される光と物体の相互作用の結果として生じる散乱光を受光し、出力される光は、光源から光転向構成によって受光され、光転向構成によって、表示エリアに対して実質的に直交する方向に方向転換する。カメラは、IR感知、VGAマイクロカメラとすることができ、1つのタッチ、または同時の複数のタッチの場所を特定することができる画像データを出力することができる。開示される技法は、タッチの場所を正確に特定できるようにし、2つ以上のタッチが同時に生じているときに遮蔽の影響を最小限に抑えながら、ディスプレイの外側周囲に著しいベゼル高を追加するのを避ける。
いくつかの実装形態によれば、装置または電子デバイスが、装置のユーザに入力/出力(I/O)インターフェースを提供するために、インタラクティブディスプレイと協働することができる。インタラクティブディスプレイは、表示エリアを含む前面を有する。電子デバイスはインタラクティブディスプレイを含む場合があるか、またはインタラクティブディスプレイに電気的に、またはワイヤレスで結合される場合がある。装置は、プロセッサと、第1の平面導光路と、赤外(IR)光源と、1つまたは複数のIRカメラとを含むことができる。第1の平面導光路は、前面に隣接して、前面の後方に配置することができる。第2の平面導光路は、第1の平面導光路の後方に配置することができる。いくつかの実装形態では、IR光源は、平面導光路の周辺外側に配置することができ、第2の平面導光路の入力と光学的に結合することができる。第2の平面導光路は、IR光放射源から受光された光を、ディスプレイの上方のエリアを照明するように反射することによって、反射光を、前面に対して直交する実質的な成分を有する方向に出力する第1の光転向構成を含むことができる。ユーザの指または手で握った物体のような物体が、ディスプレイの前面と接触するとき、物体から散乱されたIR光は、第1の平面導光路内で内部全反射(TIR)を受ける場合がある。TIRを受けたIR光のうちの少なくともある量が、IRカメラのうちの1つまたは複数に達する場合がある。カメラは、そのようなTIRを受けた光を検出し、プロセッサに、検出された、TIRを受けた光の画像データを出力することができる。プロセッサは、画像データから、ユーザタッチの事実および場所を認識することができ、ユーザタッチに応答して、インタラクティブディスプレイおよび電子デバイスの一方または両方を制御することができる。本明細書および特許請求の範囲において用いられるときに、「平面導光路」という用語のさらに深い理解は、本発明の譲受人に譲渡され、その開示が、すべての目的のために、参照することによってその全体が本出願に組み込まれる特許出願第13/480,377号「FULL RANGE GESTURE SYSTEM」を参照することによって得ることができる。
図1は、一態様による、インタラクティブディスプレイの簡略化されたブロック図を示す。インタラクティブディスプレイ100は、前面167(図2)とともに、表示エリア101を含むディスプレイカバーガラス165(図2)を含む。電子ディスプレイ100は、光を検出するように構成される少なくとも1つの感光素子133を含む。感光素子133は、たとえば、レンズ、ピンホールまたは回折格子を備える2次元ピクセルアレイ(「カメラ」)を含むことができる。本明細書において後にさらに詳細に説明されるように、感光素子133は、物体150が前面167と少なくとも部分的に光学的に接触しているときに、光と物体150(図2)との相互作用の結果として生じる散乱光を検出することができる。
感光素子133は、プロセッサ1004に、画像データを出力することができる。いくつかの実装形態では、たとえば、感光素子133は、カメラであることができ、またはカメラを含み、プロセッサ1004にいくつかの画像ピクセルのための2値化画像データを出力することができる。プロセッサ1004は、感光素子133と、そしてインタラクティブディスプレイ100の他の要素と通信可能に結合される場合がある。いくつかの実装形態では、プロセッサ1004は、電子ディスプレイ100の一体部品とすることができる。他の実装形態では、図1において示唆されるように、プロセッサ1004は電子ディスプレイ100とは別に構成することができる。いくつかの実装形態では、プロセッサ1004は、たとえば、遠隔サーバ内に、遠隔して位置することができる。いくつかの実装形態では、プロセッサ1004は、電子デバイス1005と通信可能に結合することができる。プロセッサ1004は、画像データから、ユーザタッチの事実および場所を認識するように構成され、ユーザタッチに応答して、インタラクティブディスプレイ100および電子デバイス1005の一方または両方を制御することができる。
図2は、一実装形態による、インタラクティブディスプレイの断面立面図を示す。例示される実装形態では、インタラクティブディスプレイ100は、第1の平面導光路165(本明細書において、「カバーレンズ」または「カバーガラス」と呼ばれる場合もあり、たとえば、モバイルデバイス、モニタまたはテレビ上にディスプレイにわたって配置することができる)を含む。第1の平面導光路165は、インタラクティブディスプレイ100の前面167に隣接し、その後方に配置することができる。第2の平面導光路135(本明細書において、「バックライト」と呼ばれる場合もある)は、第1の平面導光路165の後方に配置することができる。例示される実装形態では、ディスプレイ層145が、第1の平面導光路165と第2の平面導光路135との間に配置される。図2の詳細Aに示されるように、バックライト135は、前面167に実質的に直交する方向に光142を放射するように構成される。光142は、可視光および/または赤外光を含むことができる。
例示される実装形態では、光源135は、バックライトとして構成される(すなわち、光源135は、ディスプレイ層145が光源135と第1の平面導光路165との間に配置されるように、ディスプレイ層145の「後方」にある)。しかしながら、他の実装形態では、光源135は、フロントライトとして構成することができる(すなわち、光源135は、光源135がディスプレイ層145と第1の平面導光路165との間に配置されるように、ディスプレイ層145の「上方に」存在することができる)。より一般的には、光源135は、液晶またはフィールドシーケンシャルカラーディスプレイのバックライト、反射ディスプレイ(たとえば、干渉変調器(IMOD)ディスプレイ)のフロントライト、放射ディスプレイ(たとえば、有機発光ダイオードディスプレイ)によって放射される光、または可視光を通さないカバーガラス165のアートワークエリアを下方から通り抜けて放射される赤外光とすることができるか、またはそれらを含むことができることは理解されよう。
例示される実装形態では、インタラクティブディスプレイ100は、光源131と、感光素子133とを含む。光源131は、たとえば、発光ダイオード(LED)とすることができる。いくつかの実装形態では、光源131は、赤外光、赤色、青色、緑色または別の色、または色の組合せ、または白色光を放射することができる1つまたは複数のIR光源を含む。いくつかの実装形態では、光源131は、第2の平面導光路135の周辺部周囲に配置される複数のIR LEDを含む。複数のIR LEDが、インタラクティブディスプレイ100のバックライトの一部を構成する可視LEDと混在することができる。
ここで、図2の詳細Aを参照すると、感光素子133は、光軸134を有するレンズ132を含む、カメラとすることができるか、またはカメラを含むことができることに留意されたい。いくつかの実装形態では、感光素子133は、光軸134が前面167と概ね平行であるように配置することができる。カメラ133は、いくつかの実装形態では、ビデオグラフィックスアレイ(VGA)マイクロカメラとすることができるか、またはそのようなカメラを含むことができる。カメラは、白黒カメラとすることができ、実質的にIR光のみを受光するように適切にフィルタリングすることができる。いくつかの実装形態では、VGAマイクロカメラは、約500μm径のレンズを含むことができ、4mm未満のセンサパッケージ内に収容される場合がある。結果として、カメラ133は、インタラクティブディスプレイ100のスタック高に目に見えて加わることなく、第1の平面導光路165と同一平面構成内に位置することができる。
上記のように、いくつかの実装形態では、光源131は、第2の平面導光路135の周辺付近に配置することができる。そのような実装形態では、第2の平面導光路135は、光源131から受光される光を、前面に対して直交する実質的な成分を有する方向に反射する光転向構成を含むことができる。光源131が配置される場所にかかわらず、図2の詳細Aを引き続き参照すると、光142は第1の平面導光路165を通り抜けることができ、物体150と相互作用することができる。物体150は、第1の平面導光路165の上面と少なくとも部分的に光学的に接触している。物体150は、ユーザの指もしくは他の付属物、またはたとえば、スタイラスのような手で握った物体とすることができる。反射光142と物体150との相互作用が、散乱光146を生成することができる。散乱光146のうちのある量は、光線追跡146(0)によって示されるように、平面導光路165によって内部反射されることなく、カメラ133に進み、カメラ133によって検出することができる。散乱光146のうちの少なくともある量が、TIRを受ける場合がある。たとえば、光線追跡146(1)によって示されるように、散乱光のうちのある量が、カメラ133によって検出される前に、一度だけ内部反射を受ける場合がある。散乱光のうちのある量は、カメラ133によって検出される前に、2回、3回またはそれ以上内部反射を受ける場合があることが理解されよう。カメラ133は、検出されたIR光の画像データをプロセッサ1004(図1)に出力することができる。
プロセッサ1004は、カメラ133の出力から、ユーザタッチの事実および場所、より詳細には、物体150の場所を認識することができる。本明細書において後に説明されるように、カメラ133の光軸に対する方位角、およびカメラ133からの距離またはレンジの両方を特定するのに、1つのカメラ133で十分な場合がある。
図2の詳細Aを引き続き参照すると、2つの光線追跡146(0)および146(1)が示されるが、物体150の画像の複数の個別の反射がカメラ133によって検出される場合があることは理解されよう。これは、本明細書において、万華鏡効果と呼ばれる場合がある。図3は、万華鏡効果の一例を示す。より詳細には、図3は、カメラ133の視野の中央に1本の指でタッチした場合のカメラ133からの一例の画像を示す。図示される例では、タッチの直接の画像は場所301にある。場所301の上方および下方にある明るいマークは、物体150とカメラ133との間で1回または複数回の内部反射を受けた光線から生じる。物体150の場所とカメラ133との間の距離は、垂直(Y)軸に沿った万華鏡反射の回数および空間分離を解析することによって特定することができる。この解析は、画像データに関する離散フーリエ変換を実行することによって行うことができる。タッチへの方位角は、検出された光が水平(X)軸内に位置する場所によって特定することができる。
図4は、ユーザタッチに応答して、電子デバイスおよび/またはインタラクティブディスプレイを制御するためのプロセスフロー図を示す。インタラクティブディスプレイに組み込まれるか、またはインタラクティブディスプレイと通信可能に結合されるプロセッサを、プロセス400を実行するように構成することができる。いくつかの実装形態では、カメラ133を含むインタラクティブディスプレイ100を、プロセッサ1004と協働してプロセス400を実行するように構成することができる。プロセス400は、ブロック410において、ユーザタッチの場所を特定することから開始することができる。その場所は、カメラの出力から、プロセッサが、カメラの光軸に対する物体の方位角、およびカメラからの物体の距離の一方または両方を特定することによって特定される。インタラクティブディスプレイが表示エリアを含む前面を有するカバーガラスを含む場合、カメラの出力は、光源からの光を光転向構成の中に放射することの結果として生じることができ、光源は表示エリアの周辺外側に配置される。放射された光は、光転向構成によって、表示エリアに実質的に直交する方向に反射することができる。カメラは、物体と反射光の相互作用の結果として生じる散乱光を受光し、対応する画像データをプロセッサに出力することができる。
ブロック420において、プロセッサは、ユーザタッチに応答して、電子デバイスおよびインタラクティブディスプレイの一方または両方を制御することができる。
図5は、いくつかの実装形態による、少なくとも1つのカメラの出力からユーザタッチの場所を特定するためのプロセスフロー図を示す。プロセス410は、ブロック411において、カメラの光軸に対するタッチの方位角を特定することから開始することができる。いくつかの実装形態では、方位角は、カメラによって出力される画像データ内で、タッチの中心場所に隣接するピクセル場所を識別することによって特定することができる。たとえば、画像データのラインスキャンに沿ったピーク光強度に対応するピクセル場所を識別することができる。いくつかの実装形態では、識別されたピクセル場所は、カメラに関連付けられる任意のレンズ系の特性を考慮に入れて、カメラの光軸に対する角度にマッピングすることができる。
プロセス410は、ブロック412において、タッチとカメラとの間のレンジ距離を特定することによって継続することができる。レンジは、反射の回数、分離または頻度のような万華鏡反射の1つまたは複数のパラメータを特徴付けるために画像データを解析することによって特定することができる。特徴付けられたパラメータは、レンジ距離にマッピングすることができる。
オプションで、そのプロセスは、ブロック413において、(方位角、レンジ)座標から直交(x,y)座標への座標変換を実行することによって継続することができる。
図6は、万華鏡画像データの例を示す。例6(a)は、カメラから5cmの距離、およびカメラの光軸に対して-20度の方位角に位置するタッチの結果として生じる万華鏡反射画像を示す。例6(b)は、カメラから20cmの距離、および光軸に対して+5度の方位角に位置するタッチの結果として生じる万華鏡反射画像を示す。
カメラ光軸からY軸方向における反射画像のオフセット距離は、方位角に容易にマッピングできることは理解されよう。反射画像間の分離距離も同様に、タッチからカメラまでのレンジ距離にマッピングすることができる。図示される例6(a)では、反射画像間の35ピクセル分離がタッチとカメラとの間の5cm距離にマッピングされたのに対して、図示される例6(b)では、反射画像間の15ピクセル分離が、タッチとカメラとの間の20cm距離にマッピングされた。
図7は、万華鏡反射画像分離とレンジ距離との間の関係を示す。より詳細には、図7は、カメラ133の視野710内に合わせられたそれぞれ複数の画像が、それぞれの仮想物体位置に関連付けることができる異なる角度において物体150から散乱する光にいかに対応するかを示す。たとえば、画像i150は、物体150の直接画像に対応する。画像iv1は1回の内部反射を受けた光線からの結果として生じ、仮想物体位置v1に対応する。画像iv2は、2回の内部反射を受けた光線からの結果として生じ、仮想物体位置v2に対応する。明確に例示するために、図7(a)および図7(b)のそれぞれにおいて、3つの画像i150、iv1およびiv2のみが示されるが、通常、はるかに多くの数の画像が、万華鏡効果からの結果として生じると予想することができる。
例7(a)と例7(b)とを比較すると、タッチ150(a)の場所がタッチ150(b)の場所よりカメラ133に近い場合、例7(a)内の万華鏡反射画像間の分離距離は、例7(b)内の万華鏡反射画像間の分離距離より長いことが観察できる。結果として、タッチとカメラとの間のレンジ距離は、タッチの結果として生じる万華鏡反射画像間の分離距離を測定することによって、定量的に得ることができる。
図8は、いくつかの実装形態による、万華鏡反射画像からレンジ情報を得る態様を示す。図9は、いくつかの実装形態による、カメラからのユーザタッチのレンジ距離を特定するためのプロセスフロー図を示す。最初に図8を参照すると、詳細Bは、領域601内に位置する万華鏡反射画像の一例を示す。領域601は、ユーザのタッチ事実に関連する画像データを含む、ピクセルの列の数を含むことができる。領域601外のピクセルは、ユーザのタッチに関連しない。
ここで図9を参照すると、ユーザのタッチのレンジ距離を特定するための方法900が示される。画像データの所与のフレームの場合に、そのフレームはピクセルの行および列を含み、その方法は、ブロック910において、タッチに関連する画像データを含むピクセルの列を識別することによって開始することができる。図8に示される例では、そのような列は、領域601内に含まれる列である。いくつかの実装形態では、最も高い平均強度を有する列が選択される場合がある。いくつかの実装形態では、2つ以上の隣接する列にわたって平均をとることができる。図8の詳細Cに示されるように、領域601内のZ軸に沿った画像強度は著しく変化する場合がある。
再び図9を参照すると、その方法は、ブロック920において、図8の詳細Cに示される強度データに関するフーリエ変換を実行することによって継続することができる。図8の詳細Dに示される、結果として生じるフーリエ領域プロットは、万華鏡反射画像の特性周波数を容易にもたらすことができる。より詳細には、フーリエ領域プロット内の第1の最大値が生じる周波数は、万華鏡反射画像の特性周波数に対応することがわかる。したがって、方法900は、ブロック930において、第1の最大値を特定することをもくろむ。特定された特性周波数は、図9のブロック940において、カメラからのタッチのレンジ距離を特定するためにさらに用いることができる。たとえば、レンジ距離「d」は、2fD/Δに等しい場合があり、fはカメラの焦点距離であり、Dは第1の平面導光路の厚さであり、Δは隣接する万華鏡反射画像間の距離である。
いくつかの実装形態では、特に、複数の同時の、または概ね同時のタッチを検出し、区別することが望ましい実装形態(「マルチタッチ」実装形態)の場合に、タッチ場所特定の精度および信頼性を改善するための技法が考えられる。マルチタッチ実装形態は、複数の画像強度ピークの検出および場所特定を必要とする。ここで開示される技法は、任意の個々のピークの形状が非対称である可能性が高いにもかかわらず、正確、かつ信頼性の高いタッチ場所特定を提供し、その技法は、検出される物体の特性および物体の配置特性に頼る。
図10は、マルチタッチ実装形態のための場所情報を得る態様を示す。図11は、マルチタッチ実装形態において画像データを処理するためのプロセスフロー図を示す。最初に図10を参照すると、詳細Eは、ピクセルの列または行に沿った位置の関数としての画像強度データのプロット1010を示す。示される強度ピーク1011および1012はそれぞれ、各タッチの場所を表すことができる。ここで図11を参照すると、方法1100は、ブロック1110において、強度レベルの第1のプロットを受信し、インデックスカウンタ「i」を1に設定することから開始することができる。受信された強度レベルの第1のプロットは、図10の詳細Eにおけるプロット1010として示される形のデータを含む。
図11を再び参照すると、方法1100は、ブロック1120において、第i(第1)のプロット内の最大強度の場所を見つけることによって継続することができる。図10の示される例では、詳細E、プロット1010は第1のプロットを表し、最大強度はピーク1011において生じるのを目にすることができる。
再び図11を参照すると、方法1100は、ブロック1130において、プロット(i)の下側包絡線を示す強度レベルの第2のプロット(プロット(i+1))を生成することによって継続することができる。本明細書において、および特許請求の範囲において用いられるときに、「下側包絡線」という用語は、最大強度位置から離れていくときに決して増加せず、常に、先行する曲線(プロット(i))以下である関数を示す。したがって、ここで図10の詳細Fを参照すると、プロット1020が第2のプロットを表す。第2のプロット1020は、第1のプロット1010の(破線)部分を除外しており、それは、破線部分が下側包絡線値より大きな強度を有するためである。結果として、強度ピーク1012に関連する強度データ、および先に定義された下側包絡線を超える他の強度値が、第2のプロット1020から除外される。
再び図11を参照すると、方法1100は、ブロック1140において、プロット(i+1)およびプロット(i)との間の差を示すプロット(i+2)を生成することによって継続することができる。結果として生じる差曲線(プロット(i+2))の例が、図10の詳細Gにおいて第3のプロット1030として示される。強度ピーク1012の場所に対応する場所において異なる差ピーク1032が生じることが観察できる。示される例では、差ピーク1032に関連しない第3のプロット1030の部分は低レベル雑音に対応する。
再び図11を参照すると、方法1100は、ブロック1150において、プロット(i+2)が基本的に雑音のみに関連するか否かの判断を行うことによって継続することができる。ブロック1150における判断が、プロット(i+2)が基本的に雑音のみに関連するという場合には、その方法は中止することができる(ブロック1170)。一方、ブロック1150における判断が、プロット(i+2)のうちの少なくともある部分が雑音に関連しないという場合には、インデックスiをi+2に設定することができ(ブロック1160)、そのプロセスは1120〜1150を繰り返すことができる。
再び図10を参照すると、第3のプロット1030は雑音に関連しないデータ(すなわち、差ピーク1032)を含むことを理解されたい。したがって、第3のプロット1030に適用されるようなブロック1150に従って行われた判断は、インデックスi=i+2にリセットし(ブロック1160)、プロセスブロック1120〜1150を繰り返すこととすることができる。より詳細には、図10を引き続き参照すると、方法1100のブロック1120および1130を実行することによって、第4の(実線)プロット1040を生成することができる。したがって、先に定義された下側包絡線を用いて、第4のプロット1040は、第3のプロット1030の(破線)部分を除外する。
第3のプロット1030と第4のプロット1040との間の(ブロック1140に従って)計算された差は、図10の詳細Jにおける第5のプロット1050として表される。第5のプロット1050は基本的に雑音のみに関連することは理解されよう。したがって、第5のプロット1050に適用されるようなブロック1150に従って行われる判断は、方法1100を中止することとすることができる(ブロック1170)。
方法1100は、マルチタッチ入力を高い信頼性で、正確に識別し、その場所を特定することが示された。例示を明確にするために、図10に示される強度プロットは単一の軸に沿っているが、先に開示された技法は、2D輪郭に適用することができる。上記の方法は非パラメトリックと見なすことができるが、それは、たとえば、ガウス混合モデルにおいて必要とされる場合があるような、位置および分散のようなパラメータの関数としてのピークの形状を仮定する必要がないためである。結果として、上記の方法はロバストであり、ほとんど調整を必要としない。最大値発見および減算について、演算が簡単であるので、計算効率も得られる。また、上記の方法は、並列コードにおいて実現することもできる。
図12は、一実装形態による、インタラクティブディスプレイの平面図を示す。例示される実装形態では、少なくとも2つのカメラ133を設けることができ、タッチのより正確な場所特定を提供することができ、および/または2つ以上のタッチ(T1およびT2)が同時に生じているときに、遮蔽の影響を最小限に抑えることができる。
図13は、少なくとも2つのカメラを使用してタッチの場所情報を得る態様を示す。例示される実装形態では、それぞれカメラ133(1)およびカメラ133(2)は、それぞれの万華鏡反射画像1301(1)および1301(2)を含む、2D画像データを出力する。カメラ133(1)は光軸134(1)を有し、カメラ133(2)は光軸134(2)を有する。本明細書において先に開示された技法を用いて、各光軸に対するタッチの方位角を得ることができる。たとえば、いくつかの実装形態では、それぞれの方位角Az(1)おAz(2)を特定するために、それぞれの1D信号強度プロット1302(1)および1302(2)を生成することができる。その後、それぞれの方位角Az(1)およびAz(2)の特定を用いて、画像データの三角測量によって、タッチの場所を特定することができる。例示される実装形態では、2つのカメラが示されるが、本開示によれば、3つ以上のカメラを含む実装形態も考えられる。
図14は、別の実装形態による、インタラクティブディスプレイの断面立面図を示す。例示される実装形態では、電子ディスプレイ1400が、第1の平面導光路165の平面下に位置するカメラ133を含む。たとえば、第1の平面導光路165のエッジに隣接してプリズムまたは他の光転向構成(図示せず)を配置することができる。プリズムまたは他の光転向構成は、散乱IR光146の方向をカメラ133に向かって変更することができる。
図15は、ディスプレイ表示エリア下方に位置するカメラを含むインタラクティブディスプレイの一例を示す。例示される実装形態では、カメラ1533はマイクロレンズ1532に光学的に結合される。プリズム1536がディスプレイ表示エリアのエッジに、かつマイクロレンズ1532に隣接して配置される。平面(斜視)図において観察される場合があるように、ディスプレイ表示エリアの1つまたは複数のエッジに隣接してアートワーク1537を配置することができる。いくつかの実装形態では、プリズム1536、マイクロレンズ1532およびカメラ1533は、アートワーク1537の後方に配置することができる。たとえば、例示される実装形態では、場所1538(1)および1538(2)は2つの選択された場所を示し、その後方に、プリズム1536、マイクロレンズ1532およびカメラ1533のそれぞれの構成を配置することができる。
図16は、さらに別の実装形態による、インタラクティブディスプレイの一例を示す。例示される実装形態では、第2の平面導光路135は第1の平面導光路165とディスプレイ層145との間に配置される。そのような実装形態では、第2の平面導光路135はフロントライトとして機能できることは理解されよう。ディスプレイ層145は、反射型ディスプレイとすることができる。たとえば、ディスプレイ層145は、干渉変調器(IMOD)のアレイを含むことができる。いくつかの実装形態では、第2の平面導光路135は、実質的に透明なマイクロスフィアに基づくプラスチックフロントライト材料を含むことができる。
したがって、インタラクティブディスプレイが、インタラクティブディスプレイとのタッチ相互作用の特定の特性を検出し、応答できるようにするための改善された技法が開示された。
本明細書で使用されるとき、項目のリストのうちの「少なくとも1つ」を指す語句は、単一の部材を含む、それらの項目の任意の組合せを指す。一例として、「a、b、またはcのうちの少なくとも1つ」は、a、b、c、a-b、a-c、b-c、およびa-b-cを包含することを意図している。
本明細書において開示される実装形態に関連して説明した種々の例示的なロジック、論理ブロック、モジュール、回路およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェアまたは両方の組合せとして実現することができる。ハードウェアおよびソフトウェアの互換性が、概して機能の観点から説明されており、上記の種々の例示的な構成要素、ブロック、モジュール、回路およびプロセスにおいて例示されてきた。そのような機能がハードウェアにおいて実現されるか、ソフトウェアにおいて実現されるかは、システム全体に課される特定の適用例および設計制約によって決まる。
本明細書において開示された態様に関連して説明された種々の例示的なロジック、論理ブロック、モジュール、および回路を実現するために使用されるハードウェアおよびデータ処理装置は、汎用のシングルチップもしくはマルチチッププロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、ディスクリートゲートもしくはトランジスタロジック、ディスクリートハードウェア構成要素、または、本明細書において説明された機能を実行するように設計されたそれらの任意の組合せを用いて実現または実行することができる。汎用プロセッサはマイクロプロセッサとすることができるか、または任意の従来のプロセッサ、コントローラ、マイクロコントローラもしくはステートマシンとすることができる。また、プロセッサは、コンピューティングデバイスの組合せ、たとえば、DSPおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと一体化した1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実現することもできる。いくつかの実装形態では、特定のプロセスおよび方法は、所定の機能に特有の回路構成で実行することができる。
1つまたは複数の態様では、説明された機能は、本明細書において開示された構造およびそれらの構造的等価物を含む、ハードウェア、デジタル電子回路構成、コンピュータソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実現することができる。また、本明細書において説明される主題の実装形態は、1つまたは複数のコンピュータプログラムとして、すなわち、データ処理装置によって実行するか、またはデータ処理装置の動作を制御するための、コンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして、実現することができる。
それらの機能は、ソフトウェアにおいて実現される場合、1つまたは複数の命令またはコードとして、非一時的媒体などのコンピュータ可読媒体上に記憶することができるか、コンピュータ可読媒体を介して送信することができる。本明細書において開示された方法またはアルゴリズムのプロセスは、コンピュータ可読媒体上に存在する場合があるプロセッサ実行可能ソフトウェアモジュールにおいて実施することができる。コンピュータ可読媒体は、ある場所から別の場所にコンピュータプログラムを転送できるようにする任意の媒体を含む、コンピュータ記憶媒体と通信媒体との両方を含む。記憶媒体は、コンピュータによってアクセスされる場合がある任意の入手可能な媒体とすることができる。限定ではなく例として、非一時的媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または、命令もしくはデータ構造の形式で所望のプログラムコードを記憶するために使用される場合があり、コンピュータによってアクセスされる場合がある任意の他の媒体を含むことができる。また、任意の接続もコンピュータ可読媒体と適切に呼ぶことができる。本明細書において使用されるときに、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)(disc)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(DVD)(disc)、フロッピー(登録商標)ディスク(disk)、およびブルーレイディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。さらに、方法またはアルゴリズムの動作は、コードおよび命令のうちの1つまたは任意の組合せまたはセットとして、コンピュータプログラム製品に組み込まれる場合がある機械可読媒体およびコンピュータ可読媒体上に存在することができる。
本開示において説明された実施形態に対する種々の変更形態は、当業者には容易に明らかになる場合があり、本明細書において規定された一般原理は、本開示の趣旨または範囲から逸脱することなく、他の実施形態に適用することができる。したがって、特許請求の範囲は、本明細書において示されている実装形態に限定されることを意図するものではなく、本開示、本明細書において開示されている原理および新規の特徴と一致する最も広い範囲を与えられるべきである。さらに、図を説明しやすくするために、「上側の」、「下側の」という用語が用いられることがあり、適切に向けられたページ上の図の向きに対応する相対的位置を示しており、実現されたときのデバイスの適切な向きを反映しない場合があることは、当業者は容易に理解されよう。
本明細書において別々の実装形態との関連で説明されたいくつかの特徴は、単一の実装形態において組み合わせて実現することもできる。逆に、単一の実装形態との関連で説明されている種々の特徴も、複数の実装形態において、別々に実現することができるか、または任意の適切な部分的組合せにおいて実現することができる。さらに、特徴は、特定の組合せにおいて役割を果たすものとしてこれまで説明され、さらには最初にそのようなものとして特許請求される場合があるが、特許請求される組合せからの1つまたは複数の特徴は、場合によっては組合せから削除することができ、また、特許請求される組合せは、部分的組合せまたは部分的組合せの変形形態を対象とする場合もある。
同様に、動作は、特定の順序において図面に示されているが、これは、そのような動作が図示された特定の順序において、または順次に実行されることを必要とするか、または、所望の結果を達成するためにすべての示された動作が実行されることを必要とするものと理解されるべきではない。さらに、図面は、1つまたは複数のプロセス例をフロー図の形態で概略的に示す場合がある。しかしながら、概略的に示されているプロセス例には、図に示されていない他の動作を組み込むことができる。たとえば、例示される任意の動作の前に、後に、動作と同時に、またはこれらの動作間に、1つまたは複数の追加動作を実行することができる。特定の状況では、マルチタスク処理および並列処理が有利な場合がある。さらに、先に説明した実装形態における種々のシステム構成要素の分割は、すべての実装形態においてそのように分割する必要があるものと理解すべきではなく、説明されるプログラムコンポーネントおよびシステムは、一般に、単一のソフトウェア製品内に合わせて統合することができるか、または複数のソフトウェア製品の中にパッケージすることができることを理解されたい。さらに、他の実装形態も以下の特許請求の範囲内にある。場合によっては、特許請求の範囲において列挙される動作は、異なる順序において実行することができ、それでも望ましい結果を達成することができる。
100 インタラクティブディスプレイ
101 表示エリア
131 光源
132 レンズ
133 感光素子、カメラ
133(1) カメラ
133(2) カメラ
134 光軸
134(1) 光軸
134(2) 光軸
135 第2の平面導光路、バックライト、光源
142 光
145 ディスプレイ層
146 散乱光
146(0) 光線追跡
146(1) 光線追跡
150 物体
150(a) タッチ
150(b) タッチ
165 カバーガラス、第1の平面導光路
167 前面
301 場所
601 領域
710 視野
1004 プロセッサ
1005 電子デバイス
1010 画像強度のプロット
1011 強度ピーク
1012 強度ピーク
1020 第2のプロット
1030 第3のプロット
1032 差ピーク
1040 第4のプロット
1050 第5のプロット
1301(1) 万華鏡反射画像
1301(2) 万華鏡反射画像
1400 電子ディスプレイ
1532 マイクロレンズ
1533 カメラ
1536 プリズム
1537 アートワーク
1538(1) 場所
1538(2) 場所
Az(1) 方位角
Az(2) 方位角

Claims (28)

  1. 表示エリアを含む前面を有するカバーガラスを含み、電子デバイスのユーザのための入力/出力(I/O)インターフェースを提供する、インタラクティブディスプレイと、
    プロセッサと、
    可視光または赤外光の一方または両方を放射する光源と、
    前記表示エリアの周辺外側に配置され、前記カバーガラスと同一平面をなすか、またはその後方にある少なくとも1つのカメラとを備え、
    前記カメラは、前記インタラクティブディスプレイから出力される光と物体との相互作用の結果として生じる散乱光を受光するように構成され、前記散乱光のうちの少なくともある量が、前記物体から前記カバーガラスによって受光され、前記カメラに向けられ、
    前記プロセッサは、前記カメラによって出力される画像データから、前記カメラの光軸に対する前記物体の方位角、および前記カメラからの前記物体の距離の一方または両方を特定するように構成される、装置。
  2. 前記プロセッサは、前記カメラの光軸に対する前記物体の方位角、および前記カメラからの前記物体の距離の両方を特定するように構成される、請求項1に記載の装置。
  3. 前記カバーガラスは、前記前面に隣接して配置される第1の平面導光路を含み、前記第1の平面導光路は、前記散乱光を受光するように構成され、前記受光された散乱光のうちのある量は、前記第1の平面導光路内で内部全反射(TIR)を受ける、請求項1に記載の装置。
  4. 光転向構成が、
    前記第1の平面導光路の後方に配置される第2の平面導光路を含み、
    前記出力される光は、前記第2の平面導光路が前記光源から放射された光を前記前面に直交する実質的な成分を有する方向に反射することの結果として生じる、請求項3に記載の装置。
  5. 前記光源は前記第2の平面導光路に光学的に結合される、請求項4に記載の装置。
  6. 前記インタラクティブディスプレイは、前記第1の平面導光路と前記第2の平面導光路との間に配置される、請求項4に記載の装置。
  7. 前記第1の平面導光路は前記前面の前方に配置され、前記第2の平面導光路は前記第1の平面導光路の後方に配置され、
    前記出力される光は、前記第2の平面導光路が前記光源から放射された光を前記前面に直交する実質的な成分を有する方向に反射することの結果として生じる、請求項4に記載の装置。
  8. 前記第2の平面導光路は前記インタラクティブディスプレイのフロントライトとして機能する、請求項7に記載の装置。
  9. 前記出力される光は、前記インタラクティブディスプレイの上方のエリアを照明する、請求項1に記載の装置。
  10. 前記プロセッサは、前記インタラクティブディスプレイおよび前記電子デバイスの一方または両方を制御するように構成される、請求項1に記載の装置。
  11. 前記光源は赤外光源であり、前記インタラクティブディスプレイは液晶ディスプレイである、請求項1に記載の装置。
  12. 前記プロセッサは、前記カメラによって受光された複数の万華鏡反射の、前記カメラによって出力される画像データを解析することによって、前記カメラからのタッチの前記距離を特定するように構成される、請求項1に記載の装置。
  13. 前記プロセッサは、前記複数の万華鏡反射のうちの2つ以上の間の空間分離を解析することによって前記距離を特定するように構成される、請求項12に記載の装置。
  14. 前記プロセッサは、前記カメラによって出力される、前記カメラによって受光された少なくとも1つの万華鏡反射の画像データを解析することによって、前記カメラの光軸に対するタッチの前記方位角を特定するように構成される、請求項1に記載の装置。
  15. 前記少なくとも1つのカメラは2つ以上のカメラを含み、前記プロセッサは、前記カメラによって出力される、画像データの三角測量によってタッチの前記方位角を特定するように構成される、請求項1に記載の装置。
  16. 前記表示エリアは24インチを超える対角線寸法を有する、請求項1に記載の装置。
  17. プロセッサを用いて、少なくとも1つのカメラの出力からユーザタッチの場所を特定するステップと、
    前記ユーザタッチの前記場所を特定するのに応答して、前記プロセッサを用いて、電子デバイス、および前記電子デバイスのための入力/出力(I/O)インターフェースを提供するインタラクティブディスプレイの一方または両方を制御するステップとを含み、
    前記インタラクティブディスプレイは、表示エリアを含む前面を有するカバーガラスを含み、
    前記カメラは、前記表示エリアの周辺外側に配置され、前記カバーガラスと同一平面をなすか、またはその後方にあり、
    前記カメラの前記出力は、前記カメラを用いて、散乱光を受光することの結果として生じ、前記散乱光は前記インタラクティブディスプレイから出力される光と物体との相互作用の結果として生じ、前記散乱光のうちの少なくともある量が、前記カバーガラスによって受光され、前記カメラに向けられ、
    前記場所は、前記プロセッサが、前記カメラによって出力される画像データから、前記カメラの光軸に対する前記物体の方位角、および前記カメラからの前記物体の距離を特定することによって特定される、方法。
  18. 前記ユーザタッチの前記場所を特定するステップは、前記カメラによって受光された複数の万華鏡反射の、前記カメラによって出力される画像データを解析するステップを含む、請求項17に記載の方法。
  19. 前記カメラからの前記物体の距離を特定するステップは、前記複数の万華鏡反射のうちの2つ以上の間の空間分離を解析するステップを含む、請求項18に記載の方法。
  20. 前記方位角を特定するステップは、前記カメラによって受光された少なくとも1つの万華鏡反射の、前記カメラによって出力される画像データを解析するステップを含む、請求項19に記載の方法。
  21. 表示エリアを含む前面を有するカバーガラスを含み、電子デバイスのユーザのための入力/出力(I/O)インターフェースを提供する、インタラクティブディスプレイと、
    プロセッサと、
    可視光および赤外光の一方または両方を放射する光源と、
    前記表示エリアの周辺外側に配置され、前記カバーガラスと同一平面をなすか、またはその後方にある、光を検出するための少なくとも1つの手段とを備え、前記光を検出する手段は、前記インタラクティブディスプレイから出力される光と物体との相互作用の結果として生じる散乱光を受光するように構成され、前記散乱光のうちのある量は、前記物体から前記カバーガラスによって受光され、前記光を検出する手段に向けられ、前記光を検出する手段は、前記受光された散乱光に対応する画像データを前記プロセッサに出力するように構成され、
    前記プロセッサは、前記画像データから、前記光検出手段の光軸に対する前記物体の方位角、および前記光検出手段からの前記物体の距離を特定するように構成される、装置。
  22. 前記カバーガラスは、
    前記前面に隣接して配置される第1の平面導光路を含み、前記第1の平面導光路は、散乱光を受光するように構成され、前記受光された散乱光のうちのある量は、前記第1の平面導光路内で内部全反射(TIR)を受ける、請求項21に記載の装置。
  23. 光転向構成が、
    前記第1の平面導光路の後方に配置される第2の平面導光路を含み、
    前記出力される光は、前記第2の平面導光路が前記光源から放射された光を前記前面に直交する実質的な成分を有する方向に反射することの結果として生じる、請求項22に記載の装置。
  24. 前記プロセッサは、前記インタラクティブディスプレイおよび前記電子デバイスの一方または両方を制御するように構成される、請求項21に記載の装置。
  25. ソフトウェアを記憶している非一時的コンピュータ可読記録媒体であって、前記ソフトウェアはプロセッサによって実行可能な命令を含み、前記命令は、前記プロセッサに、
    少なくとも1つのカメラの出力からユーザタッチの場所を特定させ、
    前記ユーザタッチの前記特定された場所に応答して、電子デバイスと、前記電子デバイスのための入力/出力(I/O)インターフェースを提供するインタラクティブディスプレイの一方または両方を制御させ、
    前記インタラクティブディスプレイは、表示エリアを含む前面を有するカバーガラスを含み、
    前記カメラは、前記表示エリアの周辺外側に配置され、前記カバーガラスと同一平面をなすか、またはその後方にあり、
    前記カメラの前記出力は、前記カメラを用いて、散乱光を受光することの結果として生じ、前記散乱光は、前記インタラクティブディスプレイから出力される光と物体との相互作用の結果として生じ、前記散乱光のうちの少なくともある量が、前記カバーガラスによって受光され、前記カメラに向けられ、
    前記場所は、前記プロセッサが、前記カメラによって出力される画像データから、前記カメラの光軸に対する前記物体の方位角、および前記カメラからの前記物体の距離を特定することによって特定される、非一時的コンピュータ可読記録媒体。
  26. 前記命令は、前記プロセッサに、前記カメラによって受光された複数の万華鏡反射の、前記カメラによって出力される画像データを解析することによって、前記ユーザタッチの前記場所を特定させる、請求項25に記載のコンピュータ可読記録媒体。
  27. 前記命令は、前記プロセッサに、前記複数の万華鏡反射のうちの2つ以上の間の空間分離を解析することによって、前記カメラからの前記物体の距離を特定させる、請求項26に記載のコンピュータ可読記録媒体。
  28. 前記命令は、前記プロセッサに、前記カメラによって受光された少なくとも1つの万華鏡反射の、前記カメラによって出力される画像データを解析することによって、前記方位角を特定させる、請求項25に記載のコンピュータ可読記録媒体。
JP2016553826A 2014-03-04 2015-02-20 大面積インタラクティブディスプレイ画面 Pending JP2017507428A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461947971P 2014-03-04 2014-03-04
US61/947,971 2014-03-04
US14/626,679 2015-02-19
US14/626,679 US9921688B2 (en) 2014-03-04 2015-02-19 Large area interactive display screen
PCT/US2015/016800 WO2015134207A1 (en) 2014-03-04 2015-02-20 Large area interactive display screen

Publications (2)

Publication Number Publication Date
JP2017507428A true JP2017507428A (ja) 2017-03-16
JP2017507428A5 JP2017507428A5 (ja) 2018-06-07

Family

ID=54017371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016553826A Pending JP2017507428A (ja) 2014-03-04 2015-02-20 大面積インタラクティブディスプレイ画面

Country Status (7)

Country Link
US (1) US9921688B2 (ja)
EP (1) EP3114547A1 (ja)
JP (1) JP2017507428A (ja)
KR (1) KR20160130267A (ja)
CN (1) CN106030481B (ja)
CA (1) CA2937555A1 (ja)
WO (1) WO2015134207A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9454235B2 (en) 2014-12-26 2016-09-27 Seungman KIM Electronic apparatus having a sensing unit to input a user command and a method thereof
KR101656802B1 (ko) * 2015-05-12 2016-09-12 현대자동차주식회사 제스처 입력 장치 및 이를 포함하는 차량
US10254881B2 (en) 2015-06-29 2019-04-09 Qualcomm Incorporated Ultrasonic touch sensor-based virtual button
US10157305B2 (en) 2015-10-19 2018-12-18 Qualcomm Incorporated Cover-glass optical isolation for optical touch and fingerprint sensing
US10169637B2 (en) 2015-10-19 2019-01-01 Qualcomm Incorporated On-screen optical fingerprint capture for user authentication
KR101786550B1 (ko) * 2016-04-28 2017-10-18 한국광기술원 유의미한 터치신호 보강 및 중복 터치에 따른 신호가림 현상을 감소시키는 중대형 적외선 터치스크린 시스템
KR20180001055A (ko) * 2016-06-24 2018-01-04 삼성전자주식회사 지문 센서를 포함하는 전자 장치 및 이의 운용 방법
US11516374B2 (en) 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
US11153513B2 (en) 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
US11076080B2 (en) 2019-12-05 2021-07-27 Synaptics Incorporated Under-display image sensor for eye tracking
US11379081B2 (en) * 2020-08-17 2022-07-05 Dynascan Technology Corp. Touch system and method of operating the same

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005026930A2 (en) * 2003-09-12 2005-03-24 O-Pen Aps A system and method of determining a position of a radiation emitting element
JP2010026966A (ja) * 2008-07-24 2010-02-04 Epson Imaging Devices Corp 照明装置、座標入力装置、電気光学装置及び電子機器
EP2325735A2 (en) * 2009-11-23 2011-05-25 Samsung Electronics Co., Ltd. Multi-touch detecting apparatus and method for LCD display apparatus
JP2011204223A (ja) * 2010-03-24 2011-10-13 Samsung Electronics Co Ltd タッチ感知表示装置
US20120249477A1 (en) * 2011-03-30 2012-10-04 Smart Technologies Ulc Interactive input system and method
JP2014021790A (ja) * 2012-07-19 2014-02-03 Sharp Corp 座標入力装置、座標検出方法、及び座標入力システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7859519B2 (en) 2000-05-01 2010-12-28 Tulbert David J Human-machine interface
US6803906B1 (en) * 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US8339379B2 (en) * 2004-04-29 2012-12-25 Neonode Inc. Light-based touch screen
GB2395289A (en) * 2002-11-11 2004-05-19 Qinetiq Ltd Structured light generator
US7705835B2 (en) 2005-03-28 2010-04-27 Adam Eikman Photonic touch screen apparatus and method of use
US9268413B2 (en) 2008-07-07 2016-02-23 Rpx Clearinghouse Llc Multi-touch touchscreen incorporating pen tracking
KR100910024B1 (ko) * 2008-10-13 2009-07-30 호감테크놀로지(주) 선형 적외선 발광체를 이용한 카메라 방식의 터치 스크린
GB2473239B (en) 2009-09-04 2014-07-09 Cambridge Display Tech Ltd Touch screen display device
JP4842363B2 (ja) * 2009-11-17 2011-12-21 シャープ株式会社 ポインティング装置および電子機器
TWI409679B (zh) * 2010-06-04 2013-09-21 Au Optronics Corp 光學式觸控面板及觸控顯示裝置及其觸控輸入方法
JP5631176B2 (ja) 2010-11-29 2014-11-26 キヤノン株式会社 固体撮像素子及びカメラ
KR101973168B1 (ko) * 2012-08-24 2019-04-29 삼성디스플레이 주식회사 멀티 터치 및 터치 힘을 인식하는 터치 표시장치 및 그 구동 방법
US9285623B2 (en) 2012-10-04 2016-03-15 Corning Incorporated Touch screen systems with interface layer

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005026930A2 (en) * 2003-09-12 2005-03-24 O-Pen Aps A system and method of determining a position of a radiation emitting element
JP2010026966A (ja) * 2008-07-24 2010-02-04 Epson Imaging Devices Corp 照明装置、座標入力装置、電気光学装置及び電子機器
EP2325735A2 (en) * 2009-11-23 2011-05-25 Samsung Electronics Co., Ltd. Multi-touch detecting apparatus and method for LCD display apparatus
JP2011204223A (ja) * 2010-03-24 2011-10-13 Samsung Electronics Co Ltd タッチ感知表示装置
US20120249477A1 (en) * 2011-03-30 2012-10-04 Smart Technologies Ulc Interactive input system and method
JP2014021790A (ja) * 2012-07-19 2014-02-03 Sharp Corp 座標入力装置、座標検出方法、及び座標入力システム

Also Published As

Publication number Publication date
KR20160130267A (ko) 2016-11-10
US9921688B2 (en) 2018-03-20
CN106030481A (zh) 2016-10-12
US20150253931A1 (en) 2015-09-10
CN106030481B (zh) 2020-02-21
EP3114547A1 (en) 2017-01-11
WO2015134207A1 (en) 2015-09-11
CA2937555A1 (en) 2015-09-11

Similar Documents

Publication Publication Date Title
CN106030481B (zh) 大面积交互式显示屏
JP6623171B2 (ja) ディスプレイに統合されるユーザ分類、セキュリティおよび指紋システム
US8682030B2 (en) Interactive display
US9582117B2 (en) Pressure, rotation and stylus functionality for interactive display screens
US8775971B2 (en) Touch display scroll control
US20150083917A1 (en) Infrared light director for gesture or scene sensing fsc display
US20100141589A1 (en) Touch input interpretation
US20150084928A1 (en) Touch-enabled field sequential color display using in-cell light sensors
US20150084994A1 (en) Touch-enabled field-sequential color (fsc) display using a light guide with light turning features
US10379680B2 (en) Displaying an object indicator
US20120127084A1 (en) Variable light diffusion in interactive display device
US10664090B2 (en) Touch region projection onto touch-sensitive surface
US20170188081A1 (en) Method and apparatus for interacting with display screen
US20170220142A1 (en) Identification of an object on a touch-sensitive surface
US10877597B2 (en) Unintended touch rejection
US20150365659A1 (en) Display apparatus and multi view providing method thereof
Huang et al. Camera free 3-dimensional virtual touch display with multi-user identification
KR102136739B1 (ko) 디스플레이 유닛 상의 입력 위치를 검출하는 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180419

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180419

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180719

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181005