JP2017518566A - モバイルプラットフォームにおける空中および表面マルチタッチ検出 - Google Patents

モバイルプラットフォームにおける空中および表面マルチタッチ検出 Download PDF

Info

Publication number
JP2017518566A
JP2017518566A JP2016564326A JP2016564326A JP2017518566A JP 2017518566 A JP2017518566 A JP 2017518566A JP 2016564326 A JP2016564326 A JP 2016564326A JP 2016564326 A JP2016564326 A JP 2016564326A JP 2017518566 A JP2017518566 A JP 2017518566A
Authority
JP
Japan
Prior art keywords
depth map
reconstructed depth
light
reconstructed
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2016564326A
Other languages
English (en)
Other versions
JP2017518566A5 (ja
Inventor
ヘ−ジョン・ソ
ジョン・マイケル・ウィルワス
ジャセック・マイタン
エフゲニー・ペトロヴィチ・グーセフ
ババク・アリャン
シークアン・クイ
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2017518566A publication Critical patent/JP2017518566A/ja
Publication of JP2017518566A5 publication Critical patent/JP2017518566A5/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

電子デバイスとのユーザ相互作用を認識するためのシステム、方法、および装置が提供される。システム、方法、および装置の実装形態は、表面ジェスチャおよび空中ジェスチャの認識と、指先または他のオブジェクトの識別とを含む。いくつかの実装形態では、低解像度画像が信号から生成され得るように、検出領域におけるまたはその上でのオブジェクトとデバイスとの相互作用を示す信号を受信するように構成された複数の検出器を含むデバイスが提供される。デバイスは、信号から低解像度画像データを取得し、低解像度画像データから第1の再構成された深度マップを取得するように構成される。第1の再構成された深度マップは、低解像度画像よりも高い解像度を有し得る。デバイスは、第1の再構成された深度マップから第2の再構成された深度マップを取得するようにさらに構成される。第2の再構成された深度マップは、改善された境界およびオブジェクト内のより少ない雑音を提供し得る。

Description

優先権主張
本出願は、すべての目的でそれらの全体が参照により本明細書に組み込まれる、2014年4月28日に出願された米国仮特許出願第61/985,423号、および2014年11月18日に出願された米国特許出願第14/546,303号の優先権の利益を主張する。
本開示は、一般に、ディスプレイデバイスを含む、電子デバイスとともに使用するのに好適な入力システムに関する。より詳細には、本開示は、表面ジェスチャおよび空中ジェスチャならびに指先を認識することが可能な入力システムに関する。
投影型静電容量(PCT)は、現在、高い画像鮮明性および入力精度を有するモバイルディスプレイにおいて最も広く使用されているタッチ技術である。しかしながら、PCTには、電力消費、応答時間および製造費という制限により増大するという問題がある。加えて、この技術は一般に、システムを応答させるために、ユーザがスクリーンをタッチすることを必要とする。近年、スマートフォンおよびタブレットのタッチスクリーンを超える、より自然なユーザインターフェースを作成しようとして、カメラベースのジェスチャ認識技術が進化している。しかしながら、ジェスチャ認識技術は、高速応答、認識精度、および雑音に対するロバストネスを含む、電力、性能、費用および使いやすさの問題という制約により、モバイルデバイスにおいて主流になっていない。さらに、カメラは、スクリーンの近くにデッドゾーンがある制限された視界を有する。その結果、ジェスチャがスクリーンに近づくにつれて、カメラベースのジェスチャ認識性能が低下する。
米国特許出願第14/051,044号 米国特許出願第13/480,377号
本開示のシステム、方法およびデバイスはそれぞれ、いくつかの発明的態様を有し、それらの態様のうちのどれ1つとして、本明細書で開示する望ましい属性に単独で関与することはない。
本開示で説明する主題の1つの発明的態様は、電子デバイスのユーザのためのインターフェースであって、検出領域を含む前面(front surface)を有するインターフェースと、検出領域におけるまたはその上でのオブジェクトとデバイスとの相互作用を検出し、画像が信号から生成され得るように、相互作用を示す信号を出力するように構成された複数の検出器と、信号から画像データを取得し、第1の再構成された深度マップを取得するために、線形回帰モデルを画像データに適用し、第2の再構成された深度マップを取得するために、訓練された非線形回帰モデルを第1の再構成された深度マップに適用するように構成されたプロセッサとを含む装置において実装され得る。いくつかの実装形態では、第1の再構成された深度マップは、画像の解像度よりも高い解像度を有する。
いくつかの実装形態では、装置は、光を放射するように構成された1つまたは複数の発光源を含み得る。複数の検出器は、信号がオブジェクトと1つまたは複数の発光源から放射された光との相互作用を示すように、光検出器とすることができる。いくつかの実装形態では、装置は、インターフェースの前面に実質的に平行に配設された平面光ガイドであって、1つまたは複数の発光源から受信された放射光を反射することによって、前面と直交する実質的な成分を有する方向で反射光を出力するように構成された第1の光転向構成と、相互作用から生じた光を複数の検出器の方へ方向変換する第2の光転向構成とを含む平面光ガイドを含み得る。
第2の再構成された深度マップは、画像の解像度よりも少なくとも3倍大きい解像度を有し得る。いくつかの実装形態では、第2の再構成された深度マップは、第1の再構成された深度マップと同じ解像度を有する。プロセッサは、第2の再構成された深度マップから、ユーザジェスチャのインスタンスを認識するように構成され得る。いくつかの実装形態では、インターフェースはインタラクティブディスプレイであり、プロセッサは、ユーザジェスチャに応答して、インタラクティブディスプレイおよび電子デバイスの一方または両方を制御するように構成される。本明細書で開示する装置の様々な実装形態は、飛行時間深度カメラを含まない。
いくつかの実装形態では、画像データを取得することは、画像のベクトル化を含むことができる。いくつかの実装形態では、第1の再構成された深度マップを取得することは、第1の再構成された深度マップ行列を取得するために、学習された重み行列をベクトル化された画像データに適用することを含む。いくつかの実装形態では、非線形回帰モデルを第1の再構成された深度マップに適用することは、ピクセルごとに深度マップ値を決定するために、第1の再構成された深度マップのピクセルごとにマルチピクセルパッチ特徴を抽出することを含む。
いくつかの実装形態では、オブジェクトは手である。そのような実装形態では、プロセッサは、手の指先のロケーションを決定するために、訓練された分類モデルを第2の再構成された深度マップに適用するように構成され得る。ロケーションは、並進および深度ロケーション情報を含み得る。いくつかの実装形態では、オブジェクトはスタイラスとすることができる。
本開示で説明する主題の別の発明的態様は、検出領域を含む前面を有する電子デバイスのユーザのためのインターフェースと、検出領域におけるまたはその上でのオブジェクトとデバイスとの相互作用を示す信号を受信するように構成された複数の検出器であって、画像が信号から生成され得る、複数の検出器と、信号から画像データを取得することと、画像データから第1の再構成された深度マップを取得することであって、第1の再構成された深度マップが画像よりも高い解像度を有する、取得することと、第2の再構成された深度マップを取得するために、訓練された非線形回帰モデルを第1の再構成された深度マップに適用することとを行うように構成されたプロセッサとを含む装置において実装され得る。
本開示で説明する主題の別の発明的態様は、デバイスの検出領域の周囲に沿って配置された複数の検出器から画像データを取得するステップであって、画像データが、検出領域におけるまたはその上でのオブジェクトとデバイスとの相互作用を示す、ステップと、画像データから第1の再構成された深度マップを取得するステップと、第1の再構成された深度マップから第2の再構成された深度マップを取得するステップとを含む方法において実装され得る。第1の再構成された深度マップは、複数の検出器から取得された画像データよりも高い解像度を有し得る。
いくつかの実装形態では、第1の再構成された深度マップを取得するステップは、学習された重み行列をベクトル化された画像データに適用するステップを含む。方法は、重み行列を学習するステップをさらに含むことができる。重み行列を学習するステップは、複数のオブジェクトジェスチャおよび位置についての高解像度深度マップと低解像度画像のペアの訓練セットデータを取得するステップを含むことができる。いくつかの実装形態では、第2の再構成された深度マップを取得するステップは、非線形回帰モデルを第1の再構成された深度マップに適用するステップを含む。非線形回帰モデルを第1の再構成された深度マップに適用するステップは、ピクセルごとに深度マップ値を決定するために、第1の再構成された深度マップのピクセルごとにマルチピクセルパッチ特徴を抽出するステップを含み得る。
いくつかの実装形態では、オブジェクトは手であり得る。方法は、手の指先のロケーションを決定するために、訓練された分類モデルを第2の再構成された深度マップに適用するステップをさらに含むことができる。そのようなロケーションは、並進および深度ロケーション情報を含み得る。
本明細書で説明する主題の1つまたは複数の実装形態の詳細は、添付の図面および以下の説明に記載されている。他の特徴、態様、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。以下の図の相対的な寸法は、縮尺通りに描かれていない場合があることに留意されたい。
空中ジェスチャおよび表面ジェスチャの検出用に構成されたモバイル電子デバイスの概略図の一例である。 低解像度画像データを生成するように構成されたデバイスの一例の図である。 低解像度画像データを生成するように構成されたデバイスの一例の図である。 低解像度画像データを生成するように構成されたデバイスの一例の図である。 低解像度画像データを生成するように構成されたデバイスの一例の図である。 低解像度画像データを生成するように構成されたデバイスの一例を示す図である。 低解像度画像データから高解像度の再構成された深度マップを取得するためのプロセスを示す流れ図の一例である。 低解像度画像データから第1の再構成された深度マップを取得するためのプロセスを示す流れ図の一例である。 第1の再構成された深度マップから第2の再構成された深度マップを取得するためのプロセスを示す流れ図の一例である。 デバイスの表面からの様々な距離(0mm、20mm、40mm、60mm、80mmおよび100mm)における3本指ジェスチャの低解像度画像の一例を示す図である。 線形回帰モデルを取得するためのプロセスを示す流れ図の一例である。 非線形回帰モデルを取得するためのプロセスを示す流れ図の一例である。 再構成された深度マップおよび複数のピクセルパッチの概略図の一例である。 低解像度画像データから指先ロケーション情報を取得するためのプロセスを示す流れ図の一例である。 指先検出の異なる段階からの画像の一例を示す図である。 非線形分類モデルを取得するためのプロセスを示す流れ図の一例である。 一実装形態による、インタラクティブディスプレイを有する電子デバイスのブロック図の一例である。
様々な図面における同様の参照番号および名称は、同様の要素を示す。
以下の説明は、本開示の発明的態様について説明する目的で、特定の実装形態を対象とする。しかしながら、本明細書の教示が多数の異なる方法で適用され得ることを、当業者は容易に認識されよう。説明する実装形態は、(ディスプレイのためのタッチ入力以外の目的でタッチ入力を利用するデバイスを含む)タッチ入力インターフェースを利用する任意のデバイス、装置、またはシステムにおいて実装され得る。加えて、説明する実装形態は、限定はしないが、携帯電話、マルチメディアインターネット対応セルラー電話、モバイルテレビジョン受信機、ワイヤレスデバイス、スマートフォン、Bluetooth(登録商標)デバイス、携帯情報端末(PDA)、ワイヤレス電子メール受信機、ハンドヘルドコンピュータまたはポータブルコンピュータ、ネットブック、ノートブック、スマートブック、タブレット、プリンタ、複写機、スキャナ、ファクシミリデバイス、全地球測位システム(GPS)受信機/ナビゲータ、カメラ、デジタルメディアプレーヤ(MP3プレーヤなど)、カムコーダ、ゲームコンソール、腕時計、時計、計算機、テレビジョンモニタ、フラットパネルディスプレイ、電子読取りデバイス(たとえば、電子リーダー)、コンピュータモニタ、自動車用ディスプレイ(走行距離計ディスプレイおよび速度計ディスプレイなどを含む)、コックピット制御機器および/またはディスプレイ、カメラ視野ディスプレイ(車両における後方視野カメラのディスプレイなど)、電子写真、電子掲示板または電子看板、プロジェクター、建築構造物、電子レンジ、冷蔵庫、ステレオシステム、カセットレコーダまたはプレーヤ、DVDプレーヤ、CDプレーヤ、VCR、ラジオ、ポータブルメモリチップ、洗濯機、乾燥機、洗濯/乾燥機、パーキングメータ、および美的構造物(宝石または衣服上の画像の表示など)などの様々な電子デバイスに含まれるか、またはそれらの電子デバイスに関連付けられる場合があることが企図される。したがって、教示は、単に図に示されている実装形態に限定されるものではなく、その代わりに、当業者には容易に明らかになるように、広範囲にわたる適用性を有する。
本明細書で説明する実装形態は、デバイスのインターフェースにおけるまたはその上のオブジェクトを検知するように構成された、タッチ入力デバイスなどの装置に関する。装置は、検出領域におけるまたはその上でのオブジェクトとデバイスとの相互作用を検出し、相互作用を示す信号を出力するように構成された検出器を含む。装置は、信号から低解像度画像データを取得し、低解像度画像データから正確な高解像度の再構成された深度マップ(accurate high resolution reconstructed depth map)を取得するように構成されたプロセッサを含むことができる。いくつかの実装形態では、指先などのオブジェクトが識別され得る。プロセッサは、高解像度深度マップおよびオブジェクト識別からユーザジェスチャのインスタンスを認識するようにさらに構成され得る。
本開示で説明する主題の特定の実装形態は、以下の潜在的な利点のうちの1つまたは複数を実現するために実装され得る。いくつかの実装形態では、ユーザ相互作用の深度マップ情報は、かさばる高価なハードウェアをデバイスに組み込むことなしに、電子デバイスによって取得され得る。高い精度を有する深度マップが生成され、複数の指先検出およびジェスチャ認識を容易にし得る。正確な指先または他のオブジェクトの検出は、低電力消費で実行され得る。いくつかの実装形態では、装置は、代替のジェスチャ認識技術がアクセス不可能な領域を含む検出領域の任意の部分におけるまたはその上の指先またはジェスチャを検出することができる。たとえば、装置は、カメラの円錐視野のせいでカメラベースのジェスチャ認識技術にとってはデッドゾーンである領域内のジェスチャを検出することができる。さらに、本開示で説明する主題の実装形態は、電子デバイスの表面におけるならびに電子デバイスの上の指先またはジェスチャを検出し得る。
図1は、空中ジェスチャおよび表面ジェスチャの検出用に構成されたモバイル電子デバイスの概略図の一例を示す。モバイル電子デバイス1は、検出領域3を含む第1の表面2を含む。図1の例では、検出領域3は、モバイル電子デバイス1のインタラクティブディスプレイである。プロセッサ(図示せず)は、ユーザ入力に少なくとも部分的に応答して、インタラクティブディスプレイの出力を制御するように構成され得る。ユーザ入力のうちの少なくともいくつかは、ジェスチャによって行われてもよく、ジェスチャは、手または指などのユーザの付属器官、ハンドヘルドオブジェクトのスタイラスなどの大まかな動きを含む。図1の例では、手7が示されている。
モバイル電子デバイス1は、表面(タッチ)ジェスチャ認識と空中(非接触)ジェスチャ認識の両方のために構成され得る。図1の例の(体積を表す)領域5は、ジェスチャを認識するように構成されたモバイル電子デバイス1の第1の表面2の上のz方向に距離を延長する。領域5は、カメラベースのジェスチャ認識にとってはデッドゾーンである領域6を含む。したがって、モバイル電子デバイス1は、現在のカメラベースのジェスチャ認識システムがジェスチャを認識しない領域6内のジェスチャを認識することが可能である。手または他のオブジェクトの形状および深度情報は、ジェスチャを認識するために、表現語彙(expression vocabulary)と比較され得る。
本明細書で開示する装置および方法は、たとえば、採用されるセンサーシステムに応じてかつ認識または追跡されている特徴に応じて、(たとえば、モバイル電子デバイスのインタラクティブディスプレイの)表面から最大で約20〜40cmまたはそれ以上のz方向認識距離または深度を有することができる。たとえば、(指先ベースのジェスチャに対する)指先検出および追跡の場合、最大で約10〜15cmまたはそれ以上のz方向認識距離または深度が可能である。たとえば、ハンドスワイプジェスチャに対する掌または手全体の検出および追跡の場合、最大で30cmまたはそれ以上のz方向認識距離または深度が可能である。図1を参照しながら上記で説明したように、装置および方法は、(表面における)0cmから認識距離までのデバイスを覆う体積全体における任意のオブジェクトを認識することが可能であり得る。
しかしながら、装置および方法は、たとえば、PCTシステムを含む、任意のz方向能力を有するセンサーシステムとともに採用され得ることに留意されたい。さらに、実装形態は、表面専用センサーシステムとともに採用され得る。
本明細書で開示する装置および方法は、低解像度画像データを使用する。低解像度画像データは、任意の特定のセンサーデータに限定されず、フォトダイオード、フォトトランジスタ、電荷結合素子(CCD)アレイ、相補型金属酸化物半導体(CMOS)アレイ、あるいは検出された可視光、赤外(IR)光および/または紫外(UV)光の特性を表す信号を出力するように動作可能な他の好適なデバイスから生成された画像データを含み得る。さらに、低解像度画像データは、いくつかの実装形態では、静電容量検知機構を含む非光センサー(non-light sensor)から生成され得る。いくつかの実装形態では、センサーシステムは、検出領域の1つまたは複数の縁部に沿ってセンサーを有する平面検出領域を含む。そのようなシステムの例について、図2A〜図2Dおよび図3に関して以下で説明する。
深度マップが再構成され得る低解像度画像データは、深度マップ画像データではないことに留意されたい。一部の深度情報はデータにおいて暗黙的である場合がある(たとえば、信号強度は表面からの距離と相関する場合がある)が、低解像度画像データは距離情報自体を含まない。したがって、本明細書で開示する方法は、深度マップデータ(たとえば、単眼画像から生成された初期深度マップ)がバイラテラルフィルタリングなどの技法を使用して改善される様々な方法とは異なる。さらに、いくつかの実装形態では、低解像度画像データの解像度は、バイラテラルフィルタリング技法が使用し得る解像度よりもかなり低い場合がある。そのような技法は、たとえば、少なくとも100×100の解像度を有する画像を採用し得る。本明細書で開示する方法および装置は、100×100またはそれ以上の解像度の画像から再構成された深度マップを取得するために実装され得るが、いくつかの実装形態では、本明細書で説明する装置および方法で使用される低解像度画像データは、50×50未満であるかまたは30×30未満でさえあり得る。
取得される画像の解像度は、デバイスのサイズおよびアスペクト比に依存し得る。たとえば、約1.8のアスペクト比を有するデバイスの場合、低解像度画像の解像度は、いくつかの実装形態では、100×100未満、100×55未満、60×33未満、または40×22未満であり得る。
解像度はまた、ピッチ、すなわち、ピクセル間の中心間距離の点で特徴づけられ得、より大きいピッチは、より小さい解像度に対応する。たとえば、111mm×51mmの寸法を有するモバイルフォンなどのデバイスの場合、3mmのピッチは37×17の解像度に対応する。適切なピッチは、認識されるべきオブジェクトのサイズに基づいて選択され得る。たとえば、指認識の場合、5mmのピッチが適切であり得る。3mm、1mm、0.5mmまたはそれ以下のピッチは、たとえば、スタイラスの検出に適切であり得る。
本明細書で開示する方法および装置は、上記で説明したものよりも高い解像度および小さいピッチを有する低解像度データを使用して実装され得ることが理解されよう。たとえば、より大きいスクリーンを有するデバイスは、200×200またはそれ以上の解像度を有し得る。任意の解像度またはピッチについて、本明細書で開示する方法および装置は、より高い解像度の再構成された深度マップを取得するために実装され得る。
図2A〜図2Dは、低解像度画像データを生成するように構成されたデバイスの一例を示す。図2Aおよび図2Bは、一実装形態による、光ガイド35、発光源31、および光センサー33を含む構成30の立面図および斜視図をそれぞれ示す。光ガイド35の側面または縁部の一部分のみに沿って図示しているが、源は光ガイド35の縁部に沿って配設された発光源31のアレイを含み得ることを理解されたい。図2Cは、図2BのC-Cに平行な線から見た光ガイドの断面図の一例を示し、図2Dは、図2BのD-Dに平行な線から見た光ガイドの断面図の一例を示す。図2Aおよび図2Bを参照すると、光ガイド35は、インタラクティブディスプレイ12の前面の上に、かつ前面に実質的に平行に配設され得る。図示した実装形態では、光ガイド35の外周は、インタラクティブディスプレイ12の外周と実質的に同一の広がりをもつ。様々な実装形態によれば、光ガイド35の外周は、インタラクティブディスプレイ12の外周と同一の広がりをもつか、またはそれよりも大きく完全に包み込むことができる。発光源31および光センサー33は、光ガイド35の周囲に近接して周囲の外に配設され得る。発光源31は、光ガイド35の入力と光学的に結合され得、インタラクティブディスプレイ12の前面に平行な実質的な成分を有する方向で、光を光ガイド35の方へ放射するように構成され得る。他の実装形態では、複数の発光源31は、光ガイド35の縁部に沿って配設され、短い持続時間の間、各々が光ガイド内の列状または行状の領域を順次照明する。光センサー33は、光ガイド35の出力と光学的に結合され得、インタラクティブディスプレイ12の前面に平行な実質的な成分を有する方向で、光ガイド35から出力された光を検出するように構成され得る。
図示した実装形態では、2つの光センサー33が設けられているが、図3を参照しながら以下でさらに説明するように、他の実装形態では、より多くの光センサーが設けられてもよい。光センサー33は、フォトダイオード、フォトトランジスタ、電荷結合素子(CCD)アレイ、相補型金属酸化物半導体(CMOS)アレイ、あるいは検出された可視光、赤外(IR)光および/または紫外(UV)光の特性を表す信号を出力するように動作可能な他の好適なデバイスなどの感光性要素を含み得る。光センサー33は、検出された光の1つまたは複数の特性を表す信号を出力し得る。たとえば、特性は、強度、指向性、周波数、振幅、振幅変調、および/または他の性質を含み得る。
図示した実装形態では、光センサー33は、光ガイド35の周囲に配設される。しかしながら、代替構成は、本開示の企図内にある。たとえば、光センサー33は、光ガイド35から遠く離れていてもよく、その場合、光センサー33によって検出された光は、たとえば、1つまたは複数の光ファイバなどの追加の光学要素によって、光ガイド35から送信されてもよい。
一実装形態では、発光源31は、主に赤外光を放射するように構成された1つまたは複数の発光ダイオード(LED)であり得る。しかしながら、任意のタイプの光源が使用され得る。たとえば、発光源31は、1つまたは複数の有機発光デバイス(「OLED」)、レーザー(たとえば、ダイオードレーザーまたは他のレーザー源)、熱陰極または冷陰極蛍光ランプ、白熱光源またはハロゲン光源を含み得る。図示した実装形態では、発光源31は、光ガイド35の周囲に配設される。しかしながら、代替構成は、本開示の企図内にある。たとえば、発光源31は、光ガイド35から遠く離れていてもよく、発光源31によって生成された光は、たとえば、1つまたは複数の光ファイバ、反射器などの追加の光学要素によって、光ガイド35に送信されてもよい。図示した実装形態では、1つの発光源31が設けられているが、他の実装形態では、2つ以上の発光源が設けられてもよい。
図2Cは、図2BのC-Cに平行な線から見た光ガイド35の断面図の一例を示す。説明を明確にするために、インタラクティブディスプレイ12は図2Cから省略されている。光ガイド35は、インタラクティブディスプレイ12の前面上に、または前面の上に近接して配設された、実質的に透明で比較的薄いオーバーレイを含み得る。一実装形態では、たとえば、光ガイド35は、数十または数百平方センチメートルのおおよその範囲における平面領域を有するとともに、約0.5mmの厚さであってもよい。光ガイド35は、実質的に平坦で平行な表面であり得る前面37および後面39を有する、ガラスまたはプラスチックなどの透明材料からなる薄板を含み得る。
透明材料は、1よりも大きい屈折率を有し得る。たとえば、屈折率は、約1.4から1.6の範囲内であり得る。透明材料の屈折率は、「α」未満の角度で前面37と交差する光線は前面37を通過するが、前面37に対して「α」よりも大きい入射角を有する光線は内部全反射(TIR)を受けるように、前面37の法線に対する臨界角「α」を決定する。
図示した実装形態では、光ガイド35は、前面37と直交する実質的な成分を有する方向で発光源31から受信された放射光41を反射する光転向構成を含む。より詳細には、反射光42の少なくともかなりの部分は、臨界角「α」未満である法線に対する角度で前面37と交差する。その結果、そのような反射光42はTIRを受けず、その代わりに、前面37を通って送信され得る。反射光42は多種多様な角度で前面37を通って送信され得ることが諒解されよう。
一実装形態では、光ガイドは、いくつかの反射性微細構造36を含む光転向構成を有し得る。微細構造36は、様々な実装形態では、すべて同一であるか、または異なる形状、サイズ、構造などを有することができる。微細構造36は、反射光42の少なくともかなりの部分が臨界角「α」未満である法線に対する角度で前面37と交差するように、放射光41を方向変換し得る。
図2Dは、図2BのD-Dに平行な線から見た光ガイドの断面図の一例を示す。説明を明確にするために、インタラクティブディスプレイ12は図2Dから省略されている。図2Dに示すように、オブジェクト50が反射光42と交差するとき、相互作用から生じた散乱光44は光ガイド35の方へ向けられ得る。光ガイド35は、図示のように、いくつかの反射性微細構造66を含む光転向構成を含み得る。反射性微細構造66は、反射性微細構造36と同様に構成されるか、または同じ物理的要素であり得るが、必ずしもそうであるとは限らない。いくつかの実装形態では、反射性微細構造66は、光を光センサー33の方へ反射するように構成されるが、反射性微細構造36は、光源31から光を反射し、光ガイドから反射光を放出するように構成される。反射性微細構造66および反射性微細構造36が特定の配向を有する場合、反射性微細構造66および反射性微細構造36は、いくつかの実装形態では、互いにほぼ直交し得ることを理解されたい。
図2Dに示すように、オブジェクト50が反射光42と交差するとき、相互作用から生じた散乱光44は光ガイド35の方へ向けられ得る。光ガイド35は、散乱光44を収集するように構成され得る。光ガイド35は、光ガイド35によって収集された散乱光44を光センサー33のうちの1つまたは複数の方へ方向変換する光転向構成を含む。方向変換された収集された散乱光46は、インタラクティブディスプレイ12の前面に平行な実質的な成分を有する方向に転向される場合がある。より詳細には、方向変換された収集された散乱光46の少なくともかなりの部分は、臨界角「α」よりも大きい法線に対する角度のみで前面37および後面39と交差し、したがって、TIRを受ける。その結果、そのような方向変換された収集された散乱光46は、前面37または後面39を通過せず、その代わりに、光センサー33のうちの1つまたは複数に達する。光センサー33の各々は、方向変換された収集された散乱光46の1つまたは複数の特性を検出し、検出された特性を表す信号をプロセッサに出力するように構成され得る。たとえば、特性は、強度、指向性、周波数、振幅、振幅変調、および/または他の性質を含み得る。
図3は、低解像度画像データを生成するように構成されたデバイスの別の例を示す。図3の例のデバイスは、光ガイド35、光ガイド35の対向する縁部55および57に沿って分散された複数の光センサー33、および縁部55および57と直交する光ガイドの縁部59に沿って分散された複数の光源31を含む。放射トラフ(emission trough)51および収集トラフ(collection trough)53も図3の例に示されている。放射トラフ51は、光ガイド35の前面を通って光源31から光を向ける場合がある、図2Cに示す反射性微細構造36などの光転向特徴である。収集トラフ53は、オブジェクトからの光を光センサー33に向ける場合がある、図2Dに示す反射性微細構造66などの光転向特徴である。図3の例では、減衰を考慮するために、光源31によって放射された光が減衰するにつれてトラフの間隔がより近くなるように、放射トラフ51が離間している。いくつかの実装形態では、x座標情報を順次提供するために光源31が順次オンにされ得、対応するy座標情報は、各y座標における光センサー33のペアによって提供される。本明細書で提供する本開示を用いて実装され得る時系列測定を採用する装置および方法は、2013年10月10日に出願され、参照により本明細書に組み込まれる、米国特許出願第14/051,044号、「Infrared Touch And Hover System Using Time-Sequential Measurements」に記載されている。図3の例では、21×11の解像度を提供するために、縁部55および57の各々に沿って21個の光センサー33があり、縁部59に沿って11個の光源31がある。
図4は、低解像度画像データから高解像度の再構成された深度マップを取得するためのプロセスを示す流れ図の一例を示す。いくつかの実装形態によるプロセスの概要は、図5および図6を参照しながら以下でさらに説明する特定の実装形態の例とともに図4で与えられている。プロセス60は、複数の検出器から低解像度画像データを取得するブロック62で開始する。本明細書で説明する装置および方法は、低解像度画像データを生成することができる任意のシステムを用いて実装され得る。図2A〜図2Dおよび図3を参照しながら上記で説明したデバイスは、そのようなシステムの例である。さらなる例は、いずれもそれらの全体が参照により本明細書に組み込まれる、2012年5月23日に出願された米国特許出願第13/480,377号、「Full Range Gesture System」、および2013年10月10日に出願された米国特許出願第14/051,044号、「Infrared Touch And Hover System Using Time-Sequential Measurements」で提供されている。
いくつかの実装形態では、低解像度画像データは、画像内のx-yロケーションにおける画像特性を識別する情報を含み得る。図7は、デバイスの表面からの様々な距離(0mm、20mm、40mm、60mm、80mmおよび100mm)における3本指ジェスチャの低解像度画像92の一例を示す。オブジェクト深度は、(グレースケール画像におけるより暗いトーンおよびより明るいトーンとして見られる)色によって表される。図7の例では、低解像度画像は、21×11の解像度を有する。
プロセス60は、低解像度画像データから第1の再構成された深度マップを取得するブロック64で継続する。再構成された深度マップは、デバイスの表面からのオブジェクト表面の距離に関する情報を含む。ブロック64は、低解像度画像データをアップスケールし、低解像度画像データから顕著なオブジェクト構造を取り出すことができ、第1の再構成された深度マップは、低解像度画像データに対応する低解像度画像よりも高い解像度を有する。いくつかの実装形態では、第1の再構成された深度マップは、最終的な所望の解像度に対応する解像度を有する。様々な実装形態によれば、第1の再構成された深度マップは、低解像度画像よりも少なくとも約1.5倍から少なくとも約6倍大きい解像度を有し得る。たとえば、第1の再構成された深度マップは、低解像度画像よりも少なくとも約3倍または4倍大きい解像度を有し得る。ブロック64は、連続した低解像度画像に対応する再構成された深度マップのセットを取得することを伴うことができる。
ブロック64は、学習された回帰モデルをブロック62において取得された低解像度画像データに適用することを伴い得る。図5を参照しながら以下でさらに説明するように、いくつかの実装形態では、学習された線形回帰モデルが適用される。やはり以下でさらに説明する図8は、ブロック64において適用され得る線形回帰モデルを学習する一例を提供する。図7は、低解像度画像92に対応する第1の再構成された深度マップ94の一例を示す。低解像度画像92を生成するために使用される低解像度画像データから再構成された、第1の再構成された深度マップ94は、131×61の解像度を有する。
図4に戻ると、プロセスは、第1の再構成された深度マップから第2の再構成された深度マップを取得することによって、ブロック66で継続する。第2の再構成された深度マップは、改善された境界およびオブジェクト内のより少ない雑音を提供し得る。ブロック66は、第2の再構成された深度マップを取得するために、訓練された非線形回帰モデルを第1の再構成された深度マップに適用することを伴い得る。たとえば、ランダムフォレストモデル、ニューラルネットワークモデル、ディープラーニングモデル、サポートベクターマシンモデルまたは他の適切なモデルが適用され得る。図6は、訓練された非線形回帰モデルを適用する一例を提供し、図9は、ブロック66において適用され得る非線形回帰モデルを訓練する一例を提供する。ブロック64と同様に、ブロック66は、連続した低解像度画像に対応する再構成された深度マップのセットを取得することを伴うことができる。
いくつかの実装形態では、比較的単純な訓練された非線形回帰モデルが適用され得る。一例では、ニューラルネットワーク回帰の入力層は、入力層のサイズが25であるように、第1の再構成された深度マップからの5×5のパッチを含み得る。サイズ5の隠れ層は、単一の深度マップ値を出力するために使用され得る。
図7は、第1の再構成された深度マップ94から再構成された、デバイスの表面からの様々な距離における第2の再構成された深度マップ96の一例を示す。第2の再構成された深度マップ96は、第1の再構成された深度マップ94と同じ131×61の解像度を有するが、改善された精度を有する。これは、第1の再構成された深度マップ94および第2の再構成された深度マップ96を、飛行時間カメラから生成されたグランドトゥルース深度マップ98と比較することによってわかる。第1の再構成された深度マップ94は第2の再構成された深度マップ96よりも一様ではなく、観測された手の中の深度値にいくらかの不正確なばらつきがある。比較からわかるように、第2の再構成された深度マップ96は、第1の再構成された深度マップ94よりもグランドトゥルース深度マップ98に類似している。プロセス60は、正確な再構成された深度マップを生成するための高価でかさばり、電力を消費するハードウェアなしで、低品質画像の欠陥を効果的に克服することができる。図5は、低解像度画像データから第1の再構成された深度マップを取得するためのプロセスを示す流れ図の一例を示す。プロセス70は、入力として低解像度画像を取得するブロック72で開始する。上記で説明したように、低解像度画像の例は図7に示されている。プロセス70は、画像ベクトル(image vector)を取得するために低解像度画像74をベクトル化するブロック74で継続し得る。画像ベクトルは、入力画像についての検出器から受信された信号(たとえば、フォトダイオードからの電流)を表す値を含む。いくつかの実装形態では、たとえば、低解像度画像データがベクトル形式で提供される場合、ブロック72および74は実行されなくてもよい。プロセス70は、スケーリング重み行列Wを画像ベクトルに適用するブロック76で継続する。スケーリング重み行列Wは、以下で説明する訓練から取得された、低解像度画像と飛行時間カメラデータから生成された高解像度深度マップとの間の学習された線形関係を表す。その結果が、スケーリングされた画像ベクトルである。スケーリングされた画像ベクトルは、グレースケール深度マップ値を表す0から1の値を含み得る。プロセス70は、第1の再構成された深度マップ(R1)を取得するために、スケーリングされた画像ベクトルをベク
トル化解除する(de-vectorize)ことによって、ブロック78で継続し得る。ブロック78は、連続した低解像度画像に対応する第1の再構成された深度マップのセットを取得することを伴うことができる。上記で説明したように、第1の再構成された深度マップの例は図7に示されている。
図6は、第1の再構成された深度マップから第2の再構成された深度マップを取得するためのプロセスを示す流れ図の一例を示す。上記で説明したように、これは、非線形回帰モデルを第1の再構成された深度マップに適用することを伴うことができる。非線形回帰モデルは、上記で説明したように取得され得る。プロセス80は、第1の再構成された深度マップのピクセルnについての特徴を抽出することによって、ブロック82で開始する。いくつかの実装形態では、非線形回帰モデルの特徴は、マルチピクセルパッチとすることができる。たとえば、特徴は7×7のピクセルパッチであり得る。マルチピクセルパッチは、ピクセルnに集中する場合がある。プロセス80は、ピクセルnについての回帰値を決定するために、訓練された非線形回帰モデルをピクセルnに適用するブロック84で継続する。プロセス80は、第1の再構成された深度マップのすべてのピクセルにわたってブロック82および84を実行することによって、ブロック86で継続する。いくつかの実装形態では、ブロック86は、スライディングウィンドウまたはラスタ走査技法を伴い得るが、他の技法も適用され得ることが理解されよう。第1の再構成された深度マップのすべてのピクセルにわたって、ピクセルごとにブロック82および84を適用することは、第1の再構成された深度マップと同じ解像度の改善された深度マップをもたらす。プロセス80は、ブロック84において取得された回帰値から第2の再構成された深度マップを取得することによって、ブロック88で継続する。ブロック88は、連続した低解像度画像に対応する第2の再構成された深度マップのセットを取得することを伴うことができる。上記で説明したように、第2の再構成された深度マップの例は図7に示されている。
図4〜図6を参照しながら上記で説明したプロセスは、学習されたまたは訓練された線形回帰モデルおよび非線形回帰モデルを適用することを伴う。いくつかの実装形態では、モデルは、オブジェクトの深度マップとオブジェクトの対応するセンサー画像の深度マップのペアを含む訓練セットを使用して学習または訓練され得る。訓練セットデータは、並進ロケーション、回転配向、および深度(センサー表面からの距離)を含む、様々なジェスチャおよび位置におけるオブジェクトについての低解像度センサー画像および深度マップを取得することによって取得され得る。たとえば、訓練セットデータは、様々なジェスチャ、並進、回転、および深度における手の深度マップおよび手の対応するセンサー画像の深度マップを含み得る。
図8は、線形回帰モデルを取得するためのプロセスを示す流れ図の一例を示す。取得された線形回帰モデルは、本明細書で説明する装置の動作において適用され得る。プロセス100は、複数のオブジェクトジェスチャおよび位置についての高解像度深度マップ(グランドトゥルース)と低解像度画像のペアの(サイズmの)訓練セットデータを取得することによって、ブロック102で開始する。深度マップは、飛行時間カメラ、光学モデリングまたはそれらの組合せなどの任意の適切な方法によって取得され得る。センサー画像は、デバイス自体(各低解像度画像が値の行列であり、そのような値が、たとえば、所与のx座標における光源が順次フラッシュされたときの特定のy座標に対応する-所与の光センサー33における散乱光強度を示す-電流である、図3のデバイスなど)、光学モデリングまたはそれらの組合せから取得され得る。大量の訓練セットを効率的に取得するために、光学シミュレータが採用され得る。一例では、様々な手ジェスチャの深度マップの第1のセットは、飛行時間カメラから取得され得る。深度マップの第1のセットの表面までの距離(深度値)を回転、並進および変更し、結果として生じる深度マップを光学シミュレーションを使用して決定することによって、数万の深度マップがさらに取得され得る。同様に、光学シミュレーションは、当該のシステム構成によって取得されたセンサー画像をシミュレートする数万の低解像度センサー画像を生成するために採用され得る。Zemax光学設計プログラムなどの様々な市販の光学シミュレータが使用され得る。訓練セットデータを生成する際、システムは、データを収集するために使用されるカメラまたは他のデバイスがアクセス不可能な任意の領域の外からのみデータが収集されるように較正され得る。たとえば、飛行時間カメラから正確な深度情報を取得することは、カメラから15cm未満の距離では困難または不可能であり得る。したがって、カメラは、様々な手ジェスチャの正確な深度マップを取得するために、デバイス表面として指定された平面から15cmよりも大きい距離に配置され得る。
プロセス100は、低解像度行列Cおよび高解像度行列Dを取得するために訓練セットデータをベクトル化することによって、ブロック104で継続する。行列Cはm個のベクトルを含み、各ベクトルは訓練低解像度画像のうちの1つのベクトル化であり、訓練低解像度画像は、訓練セットデータ中の低解像度画像のすべて(またはサブセット)についてのセンサーシステムから受信またはシミュレートされた信号を表す値を含み得る。行列Dもm個のベクトルを含み、各ベクトルは訓練高解像度画像のうちの1つのベクトル化であり、訓練高解像度画像は、訓練セットデータ中の高解像度深度マップ画像のすべて(またはサブセット)についての0から1のグレースケール深度マップ値を含み得る。プロセス100は、スケーリング重み行列Wを学習すると決定するために線形回帰を実行することによって、ブロック106で継続し、D=W×Cである。Wは、図4および図5に関して上記で説明した装置の動作中に適用され得る、低解像度画像と高解像度深度マップとの間の線形関係を表す。
図9は、非線形回帰モデルを取得するためのプロセスを示す流れ図の一例を示す。取得された非線形回帰モデルは、本明細書で説明する装置の動作において適用され得る。プロセス110は、訓練セットデータから第1の再構成された深度マップを取得することによって、ブロック112で開始する。訓練セットデータは、図8のブロック102に関して上記で説明したように取得され得る。いくつかの実装形態では、ブロック112は、R1=W×Cから第1の再構成された深度マップ行列R1を取得することを含み、行列Cおよび行列Wは、図8のブロック106および108に関して上記で説明したように決定される。次いで、R1行列は、m個の低解像度画像に対応するm個の第1の再構成された深度マップ(R11-m)を取得するためにベクトル化解除され得る。いくつかの実装形態では、第1の再構成された深度マップは、低解像度画像よりも高い解像度を有する。その結果、低解像度センサー画像のデータセット全体がアップスケールされる。
プロセス110は、第1の再構成された深度マップから特徴を抽出することによって、ブロック114で継続する。いくつかの実装形態では、複数のマルチピクセルパッチは、第1の再構成された深度マップの各々からランダムに選択される。図10は、再構成された深度マップ120および複数のピクセルパッチ122の概略図の一例を示す。各ピクセルパッチ122は、白の四角によって表される。様々な実装形態によれば、パッチは重複することが許可されてもよく、許可されなくてもよい。特徴は、訓練セットデータ深度マップから決定された、パッチの中心ロケーションに対応するピクセルのグランドトゥルース深度マップ値で標示され得る。図10は、訓練セット深度マップ124の中心点126の概略図の一例を示す。訓練セット深度マップ124は、再構成された深度マップ120のグランドトゥルース画像であり、中心点126は、マルチピクセルパッチ122に対応する。
使用される場合、マルチピクセルパッチは、多次元特徴ベクトルを形成するためにベクトル化され得る。たとえば、7×7のパッチは、49次元特徴ベクトルを形成する。次いで、所与のR1i行列からのパッチ特徴ベクトルのすべては、訓練を実行するために連結され得る。これは、すべてのm個の第1の再構成された深度マップ(R11-m)に対して実行され得る。
図9に戻ると、プロセスは、再構成された深度マップ特徴とグランドトゥルースラベルとの間の相関を決定する非線形回帰モデルを学習するために機械学習を実行することによって、ブロック116で継続する。様々な実装形態によれば、ランダムフォレストモデリング、ニューラルネットワークモデリングまたは他の非線形回帰技法が採用され得る。いくつかの実装形態では、たとえば、ランダム決定木は、情報利得を最大化する基準を用いて構築される。モデルが訓練される特徴の数は、各第1の再構成された深度マップから抽出されたパッチの数および第1の再構成された深度マップの数に依存する。たとえば、訓練セットが20,000個の第1の再構成された深度マップに対応する20,000個の低解像度画像を含む場合、200個のマルチピクセルパッチが各第1の再構成された深度マップからランダムに抽出され、モデルは4百万個(20,000の200倍)の特徴において訓練され得る。モデルが学習されると、モデルは、図4および図6を参照しながら上記で説明したように適用され得る。
本明細書で説明する主題の別の態様は、指先ロケーションを識別するように構成された装置である。ロケーション情報は、並進(x,y)および深度(z)情報を含むことができる。図11は、低解像度画像データから指先ロケーション情報(fingertip location information)を取得するためのプロセスを示す流れ図の一例を示す。プロセス130は、低解像度画像データから再構成された深度マップを取得するブロック132で開始する。ブロック132において使用され得る再構成された深度マップを取得する方法は、図4〜図10を参照しながら上記で説明したとおりである。たとえば、いくつかの実装形態では、図4のブロック66において取得された第2の再構成された深度マップがブロック132において使用され得る。いくつかの他の実装形態では、たとえば、ブロック66が実行されない場合、ブロック64において取得された第1の再構成された深度マップが使用され得る。
プロセス130は、掌領域を識別するために再構成された深度マップに対してセグメント化を任意選択で実行し、探索空間を減らすことによって、ブロック134で継続する。プロセスは、探索空間内のピクセルを指先か指先ではないかのいずれかとして分類するために訓練された非線形分類モデルを適用することによって、ブロック136で継続する。採用され得る分類モデルの例は、ランダムフォレスト分類モデルおよびニューラルネットワーク分類モデルを含む。いくつかの実装形態では、分類モデルの特徴は、図10に関して上記で説明したマルチピクセルパッチとすることができる。ブロック136において適用され得る訓練された非線形分類モデルを取得することについて、図13を参照しながら以下で説明する。
一例では、ニューラルネットワーク分類の入力層は、入力層のサイズが225であるように、第2の再構成された深度マップからの15×15のパッチを含み得る。サイズ5の隠れ層が使用され得、出力層は指先または指先ではないという2つの出力を有する。
プロセス130は、指先として分類された識別されたピクセルの境界を定義することによって、ブロック138で継続する。境界を適切に定義するために、任意の適切な技法が実行され得る。いくつかの実装形態では、たとえば、指先に分類されたピクセルのブロブ(blob)の重心を決定し、バウンディングボックスを描くために、ブロブ解析が実行される。プロセス130は、指先を識別することによって、ブロック140で継続する。いくつかの実装形態では、たとえば、フレームのシーケンスは上記で説明したように分析され得、類似度はフレームにわたって一致する。
図11のプロセスによって取得され得る情報は、x座標、y座標およびz座標を含む指先ロケーション、ならびに指先のサイズおよび識別情報を含む。
図12は、指先検出の異なる段階からの画像の一例を示す。画像160は、本明細書で開示するセンサーシステムを使用して生成され得る手ジェスチャの低解像度画像の一例である。画像162および164は、それぞれ、訓練されたランダムフォレスト回帰モデルを使用して上記で説明したように取得された低解像度センサー画像160の第1の再構成された深度マップおよび第2の再構成された深度マップを示す。画像166は、訓練されたランダムフォレスト分類モデルを使用して上記で説明したように取得された指先として分類されたピクセルを示す。画像168は、境界ボックスとともに示された検出された指先を示す。
図13は、非線形分類モデルを取得するためのプロセスを示す流れ図の一例を示す。取得された非線形分類モデルは、本明細書で説明する装置の動作において適用され得る。プロセス150は、訓練セットデータから再構成された深度マップを取得することによって、ブロック152で開始する。訓練セットデータは、図8のブロック102に関して上記で説明したように取得され得、飛行時間カメラから取られた様々なジェスチャおよび位置における手の深度マップを含み得る。各深度マップの指先は、適切に標示される。訓練セットを効率的に生成するために、ジェスチャのセットの深度マップの指先は、指先ラベリングを含む深度マップ情報で標示され得る。次いで、ジェスチャの異なる並進および回転について、指先ラベルを含むさらなる深度マップがシミュレータから取得され得る。
いくつかの実装形態では、ブロック152は、学習された非線形回帰モデルを、図8に関して説明した訓練セットデータから取得された第1の再構成された深度マップに適用することによって、第2の再構成された深度マップを取得することを含む。学習された非線形回帰モデルは、図9に関して説明したように取得され得る。
プロセス150は、再構成された深度マップから特徴を抽出することによって、ブロック154で継続する。いくつかの実装形態では、複数のマルチピクセルパッチは、正例(positive example)については指先ロケーションにおいて、負例(negative example)については指先ロケーションだけに限られたランダム位置において抽出される。特徴は、対応するグランドトゥルース深度マップに基づいて、指先/指先ではないとして適切に標示される。プロセス150は、非線形分類モデルを学習するために機械学習を実行することによって、ブロック156で継続する。
図14は、一実装形態による、インタラクティブディスプレイを有する電子デバイスのブロック図の一例を示す。たとえば、パーソナル電子デバイス(PED)であり得る装置200は、インタラクティブディスプレイ202およびプロセッサ204を含み得る。インタラクティブディスプレイ202はタッチスクリーンディスプレイであり得るが、必ずしもそうであるとは限らない。プロセッサ204は、ユーザ入力に少なくとも部分的に応答して、インタラクティブディスプレイ202の出力を制御するように構成され得る。ユーザ入力のうちの少なくともいくつかは、ジェスチャによって行われてもよく、ジェスチャは、手または指などのユーザの付属器官、またはハンドヘルドオブジェクトなどの大まかな動きを含む。ジェスチャは、インタラクティブディスプレイ202に対して広範囲の距離に位置し得る。たとえば、ジェスチャは、インタラクティブディスプレイ202に近接させてもよく、さらにはインタラクティブディスプレイ202と直接物理的に接触していてもよい。代替的に、ジェスチャは、かなりの距離、インタラクティブディスプレイ202から最大で約500mmで行われ得る。
構成230(その例については、本明細書では上記で説明および例示した)は、インタラクティブディスプレイ202の前面にわたって、前面に実質的に平行に配設され得る。一実装形態では、構成230は実質的に透明であり得る。構成230は、ユーザジェスチャに応答して、1つまたは複数の信号を出力し得る。信号経路211を介して構成230によって出力された信号は、再構成された深度マップを取得し、指先ロケーションを識別し、ユーザジェスチャのインスタンスを認識するために、本明細書で説明するプロセッサ204によって分析され得る。いくつかの実装形態では、プロセッサ204は次いで、ユーザジェスチャに応答して、信号経路213を介してインタラクティブディスプレイ202に送られた信号によってインタラクティブディスプレイ202を制御し得る。
本明細書で開示する実装形態に関して説明する様々な例示的な論理、論理ブロック、モジュール、回路およびアルゴリズムプロセスは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得る。ハードウェアとソフトウェアの互換性について、概して機能に関して説明し、上記で説明した様々な例示的な構成要素、ブロック、モジュール、回路およびプロセスにおいて例示した。そのような機能がハードウェアにおいて実装されるか、ソフトウェアにおいて実装されるかは、特定の適用例および全体的なシステムに課される設計制約に依存する。
本明細書で開示する態様に関して説明する様々な例示的な論理、論理ブロック、モジュールおよび回路を実装するために使用されるハードウェアおよびデータ処理装置は、汎用シングルチップもしくはマルチチッププロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、または本明細書で説明する機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサは、マイクロプロセッサ、または任意の従来のプロセッサ、コントローラ、マイクロコントローラ、もしくは状態機械であってもよい。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携した1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装され得る。いくつかの実装形態では、特定のプロセスおよび方法は、所与の機能に特有の回路によって実行され得る。
1つまたは複数の態様では、説明する機能は、本明細書で開示する構造およびそれらの構造的等価物を含む、ハードウェア、デジタル電子回路、コンピュータソフトウェア、ファームウェアにおいて、またはそれらの任意の組合せにおいて実装され得る。本明細書で説明する主題の実装形態はまた、1つまたは複数のコンピュータプログラム、すなわち、データ処理装置によって実行するか、またはデータ処理装置の動作を制御するための、コンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実装され得る。
ソフトウェアにおいて実装される場合、機能は、1つまたは複数の命令またはコードとして非一時的媒体などのコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され得る。本明細書で開示する方法またはアルゴリズムのプロセスは、コンピュータ可読媒体上に存在し得るプロセッサ実行可能ソフトウェアモジュールにおいて実装され得る。コンピュータ可読媒体は、ある場所から別の場所にコンピュータプログラムを転送することが可能であり得る任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされる場合がある任意の利用可能な媒体であり得る。限定ではなく例として、非一時的媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用される場合があり、コンピュータによってアクセスされる場合がある任意の他の媒体を含み得る。また、いかなる接続もコンピュータ可読媒体と適切に呼ぶことができる。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザーディスク(登録商標)、光ディスク、デジタル多用途ディスク(DVD)、フロッピー(登録商標)ディスク、およびブルーレイ(登録商標)ディスクを含み、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)はレーザーを用いてデータを光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。加えて、方法またはアルゴリズムの動作は、コードおよび命令のうちの1つまたは任意の組合せまたはセットとして、コンピュータプログラム製品に組み込まれ得る機械可読媒体およびコンピュータ可読媒体上に存在し得る。
本開示で説明する実装形態に対する様々な修正は、当業者には容易に明らかであり得、本明細書で定義する一般原理は、本開示の趣旨または範囲から逸脱することなく他の実装形態に適用され得る。したがって、特許請求の範囲は、本明細書において示されている実装形態に限定されるものではなく、本開示、本明細書で開示する原理および新規の特徴と一致する最も広い範囲を与えられるべきである。加えて、「上側の」および「下側の」という用語は、図の説明を簡単にするために使用されることがあり、適切に配向されたページ上の図の配向に対応する相対位置を示しており、実装されたときのデバイスの正しい配向を反映しない場合があることを、当業者は容易に諒解されよう。
別個の実装形態の文脈で本明細書で説明する特定の特徴はまた、単一の実装形態において組み合わせて実装され得る。逆に、単一の実装形態の文脈で説明する様々な特徴はまた、複数の実装形態において別々にまたは任意の適切な副組合せで実装され得る。さらに、特徴は、上記では特定の組合せで作用するものとして説明されており、さらには最初にそのようなものとして特許請求される場合があるが、特許請求される組合せからの1つまたは複数の特徴は、場合によっては、組合せから削除することができ、特許請求される組合せは、副組合せまたは副組合せの変形形態を対象とする場合がある。
同様に、動作は特定の順序で図面に示されているが、これは、そのような動作が示された特定の順序でまたは順次に実行されること、または望ましい結果を達成するためにすべての図示の動作が実行されることを必要とするものとして解釈されるべきではない。さらに、図面は、1つまたは複数の例示的なプロセスを流れ図の形態で概略的に示す場合がある。しかしながら、概略的に示された例示的なプロセスには、図示されていない他の動作を組み込むことができる。たとえば、図示した動作のうちの任意の動作の前、後、任意の動作と同時に、またはこれらの動作の間に、1つまたは複数の追加の動作を実行することができる。特定の状況では、マルチタスキングおよび並列処理が有利である場合がある。さらに、上記で説明した実装形態における様々なシステム構成要素の分離は、すべての実装形態においてそのような分離を必要とするものとして理解されるべきではなく、説明するプログラム構成要素およびシステムは、一般に、単一のソフトウェア製品の中にまとめて統合することができるか、または複数のソフトウェア製品にパッケージ化することができることを理解されたい。加えて、他の実装形態は、以下の特許請求の範囲内にある。場合によっては、特許請求の範囲に記載されているアクションは、異なる順序で実行することができ、依然として望ましい結果を達成することができる。
1 モバイル電子デバイス
2 第1の表面
3 検出領域
5 領域
6 領域
7 手
12 インタラクティブディスプレイ
30 構成
31 発光源、光源
33 光センサー
35 光ガイド
36 反射性微細構造、微細構造
37 前面
39 後面
41 放射光
42 反射光
46 散乱光
50 オブジェクト
51 放射トラフ
53 収集トラフ
55 縁部
57 縁部
59 縁部
60 プロセス
70 プロセス
80 プロセス
92 低解像度画像
94 第1の再構成された深度マップ
96 第2の再構成された深度マップ
98 グランドトゥルース深度マップ
100 プロセス
110 プロセス
120 再構成された深度マップ
122 ピクセルパッチ、マルチピクセルパッチ
124 訓練セット深度マップ
126 中心点
130 プロセス
150 プロセス
160 画像、低解像度センサー画像
162 画像
164 画像
166 画像
168 画像
200 装置
202 インタラクティブディスプレイ
204 プロセッサ
211 信号経路
213 信号経路
230 構成

Claims (29)

  1. 検出領域を含む前面を有する電子デバイスのユーザのためのインターフェースと、
    前記検出領域におけるまたはその上でのオブジェクトと前記電子デバイスとの相互作用を検出し、前記相互作用を示す信号を出力するように構成された複数の検出器であって、画像が前記信号から生成され得る、複数の検出器と、
    プロセッサであって、
    前記信号から画像データを取得することと、
    第1の再構成された深度マップを取得するために、線形回帰モデルを前記画像データに適用することであって、前記第1の再構成された深度マップが前記画像よりも高い解像度を有する、適用することと、
    第2の再構成された深度マップを取得するために、訓練された非線形回帰モデルを前記第1の再構成された深度マップに適用することと
    を行うように構成されたプロセッサと
    を備える装置。
  2. 光を放射するように構成された1つまたは複数の発光源をさらに備え、前記複数の検出器が光検出器であり、前記信号が前記オブジェクトと前記1つまたは複数の発光源から放射された光との相互作用を示す、請求項1に記載の装置。
  3. 前記インターフェースの前記前面に実質的に平行に配設された平面光ガイドであって、
    1つまたは複数の発光源から受信された放射光を反射することによって、前記前面と直交する実質的な成分を有する方向で反射光を出力するように構成された第1の光転向構成と、
    前記相互作用から生じた光を前記複数の検出器の方へ方向変換する第2の光転向構成と
    を含む平面光ガイド
    をさらに備える、請求項1に記載の装置。
  4. 前記第2の再構成された深度マップが、前記画像の前記解像度よりも少なくとも3倍大きい解像度を有する、請求項1に記載の装置。
  5. 前記第2の再構成された深度マップが、前記第1の再構成された深度マップと同じ解像度を有する、請求項1に記載の装置。
  6. 前記プロセッサが、前記第2の再構成された深度マップから、ユーザジェスチャのインスタンスを認識するように構成される、請求項1に記載の装置。
  7. 前記インターフェースがインタラクティブディスプレイであり、前記プロセッサが、前記ユーザジェスチャに応答して、前記インタラクティブディスプレイおよび前記電子デバイスの一方または両方を制御するように構成される、請求項6に記載の装置。
  8. 飛行時間深度カメラを有しない、請求項1に記載の装置。
  9. 画像データを取得することが、前記画像のベクトル化を含む、請求項1に記載の装置。
  10. 第1の再構成された深度マップを取得することが、第1の再構成された深度マップ行列を取得するために、学習された重み行列をベクトル化された画像データに適用することを含む、請求項1に記載の装置。
  11. 非線形回帰モデルを前記第1の再構成された深度マップに適用することが、ピクセルごとに深度マップ値を決定するために、前記第1の再構成された深度マップのピクセルごとにマルチピクセルパッチ特徴を抽出することを含む、請求項1に記載の装置。
  12. 前記オブジェクトが手である、請求項1に記載の装置。
  13. 前記プロセッサが、前記手の指先のロケーションを決定するために、訓練された分類モデルを前記第2の再構成された深度マップに適用するように構成される、請求項12に記載の装置。
  14. 前記ロケーションが、並進および深度ロケーション情報を含む、請求項13に記載の装置。
  15. 前記オブジェクトがスタイラスである、請求項1に記載の装置。
  16. 検出領域を含む前面を有する電子デバイスのユーザのためのインターフェースと、
    前記検出領域におけるまたはその上でのオブジェクトと前記電子デバイスとの相互作用を示す信号を受信するように構成された複数の検出器であって、画像が前記信号から生成され得る、複数の検出器と、
    プロセッサであって、
    前記信号から画像データを取得することと、
    前記画像データから第1の再構成された深度マップを取得することであって、前記第1の再構成された深度マップが前記画像よりも高い解像度を有する、取得することと、
    第2の再構成された深度マップを取得するために、訓練された非線形回帰モデルを前記第1の再構成された深度マップに適用することと
    を行うように構成されたプロセッサと
    を備える装置。
  17. 光を放射するように構成された1つまたは複数の発光源をさらに備え、前記複数の検出器が光検出器であり、前記信号が前記オブジェクトと前記1つまたは複数の発光源から放射された光との相互作用を示す、請求項16に記載の装置。
  18. 前記インターフェースの前記前面に実質的に平行に配設された平面光ガイドであって、
    1つまたは複数の発光源から受信された放射光を反射することによって、前記前面と直交する実質的な成分を有する方向で反射光を出力するように構成された第1の光転向構成と、
    前記相互作用から生じた光を前記複数の検出器の方へ方向変換する第2の光転向構成と
    を含む平面光ガイド
    をさらに備える、請求項16に記載の装置。
  19. デバイスの検出領域の周囲に沿って配置された複数の検出器から画像データを取得するステップであって、前記画像データが、前記検出領域におけるまたはその上でのオブジェクトと前記デバイスとの相互作用を示す、ステップと、
    前記画像データから第1の再構成された深度マップを取得するステップであって、前記第1の再構成された深度マップが前記画像よりも高い解像度を有する、ステップと、
    前記第1の再構成された深度マップから第2の再構成された深度マップを取得するステップと
    を含む方法。
  20. 前記第1の再構成された深度マップを取得するステップが、学習された重み行列をベクトル化された画像データに適用するステップを含む、請求項19に記載の方法。
  21. 前記重み行列を学習するステップをさらに含む、請求項20に記載の方法。
  22. 前記重み行列を学習するステップが、複数のオブジェクトジェスチャおよび位置についての深度マップと画像のペアの訓練セットデータを取得するステップを含み、前記深度マップの前記解像度が、前記画像の前記解像度よりも高い、請求項21に記載の方法。
  23. 前記第2の再構成された深度マップを取得するステップが、非線形回帰モデルを前記第1の再構成された深度マップに適用するステップを含む、請求項19に記載の方法。
  24. 前記非線形回帰モデルを前記第1の再構成された深度マップに適用するステップが、ピクセルごとに深度マップ値を決定するために、前記第1の再構成された深度マップのピクセルごとにマルチピクセルパッチ特徴を抽出するステップを含む、請求項23に記載の方法。
  25. 前記非線形回帰モデルを学習するステップをさらに含む、請求項24に記載の方法。
  26. 前記第2の再構成された深度マップが、前記画像の前記解像度よりも少なくとも3倍大きい解像度を有する、請求項19に記載の方法。
  27. 前記オブジェクトが手である、請求項19に記載の方法。
  28. 前記手の指先のロケーションを決定するために、訓練された分類モデルを前記第2の再構成された深度マップに適用するステップをさらに含む、請求項27に記載の方法。
  29. 前記ロケーションが、並進および深度ロケーション情報を含む、請求項28に記載の方法。
JP2016564326A 2014-04-28 2015-04-01 モバイルプラットフォームにおける空中および表面マルチタッチ検出 Ceased JP2017518566A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461985423P 2014-04-28 2014-04-28
US61/985,423 2014-04-28
US14/546,303 2014-11-18
US14/546,303 US20150309663A1 (en) 2014-04-28 2014-11-18 Flexible air and surface multi-touch detection in mobile platform
PCT/US2015/023920 WO2015167742A1 (en) 2014-04-28 2015-04-01 Air and surface multi-touch detection in mobile platform

Publications (2)

Publication Number Publication Date
JP2017518566A true JP2017518566A (ja) 2017-07-06
JP2017518566A5 JP2017518566A5 (ja) 2018-04-26

Family

ID=54334777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016564326A Ceased JP2017518566A (ja) 2014-04-28 2015-04-01 モバイルプラットフォームにおける空中および表面マルチタッチ検出

Country Status (7)

Country Link
US (1) US20150309663A1 (ja)
EP (1) EP3137979A1 (ja)
JP (1) JP2017518566A (ja)
KR (1) KR20160146716A (ja)
CN (1) CN106255944A (ja)
BR (1) BR112016025033A2 (ja)
WO (1) WO2015167742A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729096A (zh) * 2013-12-25 2014-04-16 京东方科技集团股份有限公司 交互识别系统以及显示装置
US11263432B2 (en) * 2015-02-06 2022-03-01 Veridium Ip Limited Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US9424458B1 (en) * 2015-02-06 2016-08-23 Hoyos Labs Ip Ltd. Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
CN114564143A (zh) * 2015-10-14 2022-05-31 麦克赛尔株式会社 终端装置
US10185400B2 (en) * 2016-01-11 2019-01-22 Antimatter Research, Inc. Gesture control device with fingertip identification
US10096158B2 (en) * 2016-03-24 2018-10-09 Ford Global Technologies, Llc Method and system for virtual sensor data generation with depth ground truth annotation
US10139961B2 (en) * 2016-08-18 2018-11-27 Microsoft Technology Licensing, Llc Touch detection using feature-vector dictionary
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
US10181089B2 (en) 2016-12-19 2019-01-15 Sony Corporation Using pattern recognition to reduce noise in a 3D map
US10178370B2 (en) 2016-12-19 2019-01-08 Sony Corporation Using multiple cameras to stitch a consolidated 3D depth map
US10444908B2 (en) * 2016-12-31 2019-10-15 Innoventions, Inc. Virtual touchpads for wearable and portable devices
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) * 2017-03-02 2020-10-06 Sony Corporation 3D depth map
US10979687B2 (en) 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
CN108268134B (zh) * 2017-12-30 2021-06-15 广州正峰电子科技有限公司 拿放商品的手势识别装置及方法
US10740876B1 (en) * 2018-01-23 2020-08-11 Facebook Technologies, Llc Systems and methods for generating defocus blur effects
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
US10345506B1 (en) * 2018-07-16 2019-07-09 Shenzhen Guangjian Technology Co., Ltd. Light projecting method and device
CN109360197B (zh) * 2018-09-30 2021-07-09 北京达佳互联信息技术有限公司 图像的处理方法、装置、电子设备及存储介质
CN113791699A (zh) * 2021-09-17 2021-12-14 联想(北京)有限公司 一种电子设备操纵方法以及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004505393A (ja) * 2000-08-09 2004-02-19 ダイナミック　ディジタル　デプス　リサーチ　プロプライエタリー　リミテッド イメージ変換および符号化技術
US20130082980A1 (en) * 2011-09-29 2013-04-04 Qualcomm Mems Technolgies, Inc. Optical touch device with pixilated light-turning features
CN103049914A (zh) * 2012-12-19 2013-04-17 香港应用科技研究院有限公司 基于边界的高分辨率深度图生成
US20130251192A1 (en) * 2012-03-20 2013-09-26 Microsoft Corporation Estimated pose correction
US20130314312A1 (en) * 2012-05-24 2013-11-28 Qualcomm Mems Technologies, Inc. Full range gesture system
WO2014047207A1 (en) * 2012-09-21 2014-03-27 Amazon Technologies, Inc. Display integrated camera array

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) * 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
US8013845B2 (en) * 2005-12-30 2011-09-06 Flatfrog Laboratories Ab Optical touch pad with multilayer waveguide
CA2627999C (en) * 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US20090245696A1 (en) * 2008-03-31 2009-10-01 Sharp Laboratories Of America, Inc. Method and apparatus for building compound-eye seeing displays
US8248410B2 (en) * 2008-12-09 2012-08-21 Seiko Epson Corporation Synthesizing detailed depth maps from images
US8730212B2 (en) * 2009-08-21 2014-05-20 Microsoft Corporation Illuminator for touch- and object-sensitive display
CN201654675U (zh) * 2009-11-10 2010-11-24 北京思比科微电子技术有限公司 基于深度检测的身体识别控制装置
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
CN101964111B (zh) * 2010-09-27 2011-11-30 山东大学 基于超分辨率的视线跟踪精度提升方法
US9535537B2 (en) * 2010-11-18 2017-01-03 Microsoft Technology Licensing, Llc Hover detection in an interactive display device
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
FR2978855B1 (fr) * 2011-08-04 2013-09-27 Commissariat Energie Atomique Procede et dispositif de calcul d'une carte de profondeur a partir d'une unique image
US8619082B1 (en) * 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
RU2012145349A (ru) * 2012-10-24 2014-05-10 ЭлЭсАй Корпорейшн Способ и устройство обработки изображений для устранения артефактов глубины

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004505393A (ja) * 2000-08-09 2004-02-19 ダイナミック　ディジタル　デプス　リサーチ　プロプライエタリー　リミテッド イメージ変換および符号化技術
US20130082980A1 (en) * 2011-09-29 2013-04-04 Qualcomm Mems Technolgies, Inc. Optical touch device with pixilated light-turning features
US20130251192A1 (en) * 2012-03-20 2013-09-26 Microsoft Corporation Estimated pose correction
US20130314312A1 (en) * 2012-05-24 2013-11-28 Qualcomm Mems Technologies, Inc. Full range gesture system
WO2014047207A1 (en) * 2012-09-21 2014-03-27 Amazon Technologies, Inc. Display integrated camera array
CN103049914A (zh) * 2012-12-19 2013-04-17 香港应用科技研究院有限公司 基于边界的高分辨率深度图生成

Also Published As

Publication number Publication date
WO2015167742A1 (en) 2015-11-05
CN106255944A (zh) 2016-12-21
BR112016025033A2 (pt) 2017-08-15
US20150309663A1 (en) 2015-10-29
KR20160146716A (ko) 2016-12-21
EP3137979A1 (en) 2017-03-08

Similar Documents

Publication Publication Date Title
JP2017518566A (ja) モバイルプラットフォームにおける空中および表面マルチタッチ検出
US10001845B2 (en) 3D silhouette sensing system
EP2898399B1 (en) Display integrated camera array
US9245193B2 (en) Dynamic selection of surfaces in real world for projection of information thereon
US9582117B2 (en) Pressure, rotation and stylus functionality for interactive display screens
CN104350509B (zh) 快速姿势检测器
KR101097309B1 (ko) 터치 동작 인식 방법 및 장치
EP3080684B1 (en) Object detection in optical sensor systems
CN108140116A (zh) 用于用户认证的屏幕上光学指纹捕获
US9652083B2 (en) Integrated near field sensor for display devices
US20170344104A1 (en) Object tracking for device input
Sharma et al. Air-swipe gesture recognition using OpenCV in Android devices
CN113220125A (zh) 手指交互方法、装置、电子设备及计算机存储介质
Ravoor et al. Detection of multiple points of contact on an imaging touch-screen
US9946917B2 (en) Efficient determination of biometric attribute for fast rejection of enrolled templates and other applications
Mendoza-Morales et al. Illumination-invariant hand gesture recognition
Adams Using Gesture Recognition to Navigate Google Chrome
Irri et al. A study of ambient light-independent multi-touch acquisition and interaction methods for in-cell optical touchscreens
CN103885645A (zh) 手势判断装置、其操作方法与手势判断方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190412

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190422

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20190902