JP2013239198A

JP2013239198A - オプティカルパラメータに基づくオブジェクトの学習及び認識のための方法及び装置

Info

Publication number: JP2013239198A
Application number: JP2013146548A
Authority: JP
Inventors: b f van de wijdeven Sander; デヴェイデフェンサンダービーエフファン; Lashina Tatiana; タチアナラシナ
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2006-06-28
Filing date: 2013-07-12
Publication date: 2013-11-28
Also published as: JP5320289B2; US8237685B2; CN101479691B; CN101479691A; WO2008007276A2; US20100060896A1; WO2008007276A3; JP2009543173A; EP2041642A2

Abstract

【課題】光学特性に基づいてオブジェクトの材料を決定する方法、デバイス及びコンピュータプログラムが開示されている。
【解決手段】
より詳細には、複数の光源（L_i, i=1〜N）及びセンサ（S_j, j=1〜M）を外周に含むタッチスクリーン上で動作可能な方法は、各光源からタッチスクリーンの境界内のオブジェクトへ光を出力するステップと、オブジェクトから各光源及び各センサまでの距離を決定するステップと、各センサで、出力された光の存在を検出するステップと、各センサで、オブジェクトの反射率n2を決定するステップと、決定した反射率に基づいて、オブジェクトの材料を決定するステップとを有する。
【選択図】図３

Description

この出願は、一部継続出願であり、２００５年３月１０日付でUS Patent Officeに提出され、Ｎｏ．６０／６６０，３６６で示された、"System and Method for Detecting the Location, Size and Shape of Multiple Object that Interact with a Touch Screen Display"というタイトルの先の特許出願の提出日の、35 USC 120に従う利益を享受し、この先の出願の内容は、ここに参照により組み込まれる。

この発明は、オブジェクトの認識の分野、より詳細には、オブジェクトのオプティカルパラメータに基づくオブジェクト認識システムに関する。

タッチスクリーンは、コンピュータ駆動システムに対するマンマシンインタフェースを提供するためのポインティングセンサとして一般に用いられている。概して、オプティカルタッチスクリーンについて、多くの赤外光学放射体（即ち、トランスミッタ）及び検出器（即ち、レシーバ）が、複数の交差光路（intersecting light path）を生成するためにディスプレイスクリーンの外周に設けられている。ユーザがディスプレイスクリーンをタッチする場合には、ユーザの指は、外周に配置されたトランスミッタ／レシーバの組のうちの特定の１つの光伝送をブロックする。ブロックされた組の識別に基づいて、タッチスクリーンシステムは、遮断の位置（単一のポイントのインタラクション）を決定することができる。斯様なスクリーンによれば、特定の選択は、メニューオプション又はボタンになり得る、選択物が表示されたスクリーンの領域をタッチすることにより、ユーザにより選択される。直交する光ビームのこの使用は、広く用いられる一方で、オブジェクトの形状及びサイズを効果的に検出することができない。また、直交する光ビームの使用は、複数のオブジェクト又は複数のポイントを検出することもできない。

２００５年３月１０日付でUS Patent Officeに提出された、"System and Method for Detecting the Location, Size and Shape of Multiple Object that Interact with a Touch Screen Display"というタイトルの米国特許出願公開第６０／６６０，３６６号明細書は、タッチスクリーン内の複数のオブジェクト、これらの位置、サイズ及び形状を検出するために光学放射体及びセンサを用いたタッチスクリーンを開示している。この検出方法は、オブジェクトにより投影された影の検出に基づいており、全てのＬＥＤ放射体のオンとオフとを順次切り替えて、次に全ての影ポリゴン（shadow-polygon）の交差を計算している。

参照した特許出願に記載された方法は、影の検出に基づくオブジェクトの検出を提供している。このアプローチは、スクリーン上のオブジェクトの存在を決定している。スクリーン上のオブジェクトの認識を得るための他の方法は、反射率及び透過率のようなオブジェクトのオプティカルパラメータを決定することを含んでいる。さらにまた、反射率及び透過率の光学特性は、異なる材料の他の同様の形状のオブジェクトを区別するために用いられ得る他の情報を提供している。

それ故、検出されるオブジェクトの決定を補助するために光学特性を利用する方法及び装置が産業において必要である。

光学特性に基づいてオブジェクトの材料を決定する方法、デバイス及びコンピュータプログラムが開示されている。より詳細には、その外周に複数の光源（L_i, i=1〜N）及びセンサ（S_j, j=1〜M）を含むタッチスクリーン上で動作可能な方法は、各光源からタッチスクリーンの境界内のオブジェクトへ光を出力するステップと、オブジェクトから各光源及び各センサまでの距離を決定するステップと、各センサで、順次出力された光の存在を検出するステップと、各センサで、オブジェクトの反射率ｎ_２を決定するステップと、決定した反射率に基づいて、オブジェクト材料を決定するステップとを有する。

従来のマルチタッチオブジェクション認識装置を示すものである。図１に示されたオブジェクト認識装置の範囲内での反射パラメータの例を示すものである。図１に示されたオブジェクト認識装置の範囲内での反射パラメータの例を示すものである。図１に示されたオブジェクト認識装置の範囲内での反射パラメータの例を示すものである。本発明の原理に従ってオブジェクトを認識するための配列を示すものである。本発明の原理に従ってタッチスクリーンオブジェクト認識装置の情報を処理するための例となるプロセスのフローチャートを示すものである。ここで示された処理を実行するための例となるシステムを示すものである。

本発明の利点は、添付図面と組み合わせて取り込まれる以下の説明を参照することにより良く理解され得る。

これらの図面は、単に本発明の概念を例示する目的のためのものであり、本発明の限定の定義として示されるものではないことが理解されるべきである。この中に図面に示され、添付した詳細な説明に記載された実施形態は、一例の実施形態として用いられるべきであり、本発明を実行する唯一の態様として構成されるべきではない。また、使用する参照文字でできる限り補完された同一の参照符号は、同様のエレメントを識別するために用いられる。

図１は、ディスプレイ領域105並びにディスプレイ領域105の外周に交互に配置された光源（L）110，120，130，・・・180及びセンサ（S）115，125，135，145，・・・185を含む従来のマルチタッチスクリーン装置を示している。全ての光源及びセンサは、ラベルにより識別されていないが、光源及びセンサがディスプレイ領域105（例えば、S₁₁，L₁₅）の全周に沿って組み込まれることが当業者により認識されるだろう。好ましくは、光源110，120，130，・・・180は、発光ダイオード（ＬＥＤ）である。

また、ハッチ領域として示される部分は、光源L₀，110から放出される光がカバーする、ディスプレイ領域105内の領域である。この図において、センサS₅，175及びS₆〜S₁₁は、それぞれ、光源L₀，110が放出した光を検出することができる。ポイントC₂，185及びC₃は、ディスプレイエリア105の角に関連付けられたポイントを表している。光のカバー範囲（light coverage）及びセンサ受信（sensor reception）は、光源L₀〜L₁₅のそれぞれについて決定されてもよく、ここで詳細に示す必要はない。加えて、妨げられていない光のカバーパターンが、各光源に関する各センサについての参照を確立するキャリブレーションデータを取得するために用いられてもよい。

図２Ａ〜２Ｃは、オブジェクトがディスプレイ領域105とともに配置される場合におけるカバー範囲及びセンサ受信の例を示している。図２Ａは、光源L₀，110により放出された光を１００パーセント吸収するオブジェクト210がディスプレイ領域105に含まれる場合を示している。この場合において、センサS₆，225及びS₇，235は、光源L0，110に関するオブジェクト210の影の完全に範囲内であり、それ故、いかなる光も受信又は検出しない。さらに、センサS₀，115，S₁，125，S₃，135及びS₄，145は、光がオブジェクトにより反射されないので（即ち、全吸収）、オブジェクト120からのいかなる光も検出しないが、その一方で、まるでオブジェクト210がディスプレイ領域105内にないかのように、センサS₅，175及び他のセンサは光源L₀，110から放出された同一の量の光を検出する。

図２Ｂは、ディスプレイ領域105に含まれたオブジェクト210が部分的に光を吸収し、部分的に透過可能である場合を示している。この場合において、センサS₆，225及びS₇，235は、光源L₀，110により放出された光の一部の量を検出することができる。他のセンサは、前述したように、光源110からの光を検出する。図２Ｃは、オブジェクト210の表面に達する光の１００パーセントよりも少ない光が吸収され、残りが反射される場合を示している。これは、通常は検出されない（領域250）一部の光を検出するセンサS₀，115，S₁，125，S₂，135及びS₃，145を導く。十分理解されるように、センサにより検出された光のレベルは、オブジェクトとセンサとの距離、オブジェクトの形状、他のオブジェクトにより引き起こされる反射等のような多くのファクタに依存するだろう。

図３は、本発明の原理の簡略化した例を示している。この簡略化した例においては、光を部分的に吸収し、部分的に反射している矩形オブジェクト310が、タッチスクリーン100の面に含まれている。光がタッチスクリーン100の２次元平面において伝播すると仮定すると、ＬＥＤL₀，110から放出された光は、センサS2，135がオブジェクトによる反射の一部を検出できるように、オブジェクト310（obj1）により反射される。スネルの法則n₁sinα=n₂sinβによれば、角度αは、ＬＥＤL₀，110及びセンサS₂，135の座標として決定され、オブジェクト310の位置及び形状と同様に識別される。"System and Method for Detecting the Location, Size and Shape of Multiple Object that Interact with a Touch Screen Display"というタイトルの米国特許出願で記載されるようなオブジェクト領域検出方法を用いて、ＬＥＤL₀，110とオブジェクト310とセンサS₂との間における反射及び距離l₁及びl₂を引き起こすオブジェクト表面のオリエンテーション（orientation）が決定され得る。

非偏光に関するフレネル方程式は、

として表されてもよく、ここで、I_rは、オブジェクト310から反射された後の光強度であり、I_iは、オブジェクト310のオブジェクト表面に達する直前の光強度であり、n₁は、１に近い反射率であり、n₂は、オブジェクト310の反射率である。

光強度I_r及びI_iを決定するために、距離につれてＬＥＤL₀により放出された光強度の減少L_il0は、

のように決定されてもよい。

同様に、強度I_rを持つ反射Rのポイントと強度I_rS2を持つ及びセンサS₂，135との間を移動する際の光減衰は、

のように決定されてもよい。

I_i及びI_rの知見を持つことで、オブジェクト310の反射率n₂が決定されてもよい。加えて、様々な材料の反射率が決定されてもよく、様々な材料の反射率が、オブジェクト310の特定の材料を決定するためにアクセスされ得るデータベース（例えば、ルックアップテーブル）に格納されてもよい。

本発明の一実施形態において、光は、それぞれの光源L₀〜L₁₅により順次出力される。１又はそれ以上のセンサS₀〜S₁₁は、方程式１〜３について述べたように、光の変化の程度を受信する。それ故、対応する光源から出力された各光について、決定は、検出されるオブジェクトの反射率n₂で行われてもよい。本発明の一態様において、反射率n₂は、各光源に関連付けられてもよい。そして、最終反射率n₂は、それぞれの蓄積した反射率から決定されてもよい。他の態様において、最終反射率n₂は、それぞれの決定した反射率から決定されてもよい。例えば、最終反射率n₂は、それぞれの決定した反射率の平均として決定されてもよい。代わりに、最終反射率n₂は、既知のヒストグラムの態様を用いて決定されてもよい。

そして、材料が構成される物質は、反射率n₂と材料との相関に基づいて決定されてもよい。この相関情報は、予め決定されたデータベースに格納されてもよく、ここに含まれる情報が経験的に決定されてもよい。

図４は、本発明の原理に従った例となるプロセスのフローチャートを示している。この例となるプロセスにおいて、ブロック410では、最初の／次の光源が、予め決められた時間に光を出力するために選択される。ブロック420では、光強度が各センサで取得及び測定される。ブロック430では、反射率は、方程式１〜３で述べたような幾何学に基づいて、各センサについて決定される。ブロック440では、決定は、それ以上の光源が処理される必要があるかについて行われる。応答が肯定的なものである場合には、処理は、次の光源を選択するためにブロック410に続く。しかしながら、応答が否定的なものである場合には、その後、反射率は、ブロック450で、全てのセンサ及び全ての光源の間で相互に関連付けられる。ブロック460では、最終反射率が決定され、ブロック470では、材料が、決定した最終反射率に基づいて決定される。

本発明の一態様において、オプティカルパラメータ測定の出力は、検出したオブジェクトの形状を微調整するために用いられ得る。例えば、オブジェクトの材料が決定され又は外部から与えられ、及び、凸形状が形状検出プロセスにより計算される場合には、
計算は、オブジェクトが空洞であるか（hollow）又は大きいものであるか（massive）を決定するために実行され得る。

図５は、ここで示された処理を実行するための例となるシステム500を示している。この例となるシステムにおいて、プロセッサ510は、メモリ520と接続されている。さらに、プロセッサ510は、センサ520及び光源530と接続されている。プロセッサ510は、受信した光強度に関する情報を供するそれぞれの光源530及びセンサ520のオン／オフ状態を制御する。受信した情報を処理した後、処理情報は、ディスプレイユニット550又は他の処理システムに供されてもよい。

本発明の一実施形態において、汎用又は専用のコンピュータシステム等の１又はそれ以上の制御ユニット又はプロセッサは、コンピュータ命令を装置に実行させるために、及びオブジェクトにより反射及び／又は出力された光に応答するために利用されてもよい。コンピュータ命令は、有形的表現媒体上に格納されるコンピュータプロダクトにおいて供されてもよく、ネットワーク上でダウンロードされてもよい。コンピュータ命令は、メモリ５２０に格納されてもよい。

本発明の他の態様において、プロセッサは、専用の論理回路又は集積回路等のハードウェア構成であってもよい。例えば、プロセッサは、プログラム可能アレー論理（ＰＡＬ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のグループ専用のハードウェアから選択されてもよく、既知の入力に応答して既知の出力を供するソフトウェア命令又はコードを含むために"プログラムされた"ハードウェアであってもよい。一態様において、ハードウェア回路が、本発明を実行するためのソフトウェア命令の代わりに、又は組み合わせて用いられてもよい。また、要素は、暗号化された論理動作を用いて示される、又はハードウェア実行可能なコードを実行することにより動作を実行するように動作可能な別個のハードウェア要素として実装されてもよい。メモリは、プロセッサの外部であるＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はＲＡＭ等のいかなる半導体メモリであってもよく、及び／又は、プロセッサとともに統合される、即ち、キャッシュであってもよい。

これらの好ましい実施形態に適用されるような本発明の基本となる新規な特徴が示され、説明され、及び指摘される一方で、開示されたデバイスの形式及び詳細、並びにこれらの動作についての様々な省略及び置換並びに説明された装置についての変更は、本発明の精神から離れることなく当業者により行われることが理解されるだろう。同一の結果を達成するために実質的に同一の態様において実質的に同一の機能を実行するこれらの要素の全ての組み合わせが本発明の範囲内であることが明確に表される。また、一の述べた実施形態から他へのエレメントの置換は、完全に意図されて予期される。

Claims

複数の光源及びセンサを外周に含むタッチスクリーンの境界内の光学特性に基づいて、オブジェクトの材料を決定する方法であって、
各光源から前記タッチスクリーンの前記境界内のオブジェクトへ光を出力するステップと、
前記オブジェクトから各光源及び各センサまでの距離を決定するステップと、
各センサで、順次出力された光の存在を検出するステップと、
各センサで、前記オブジェクトの反射率を決定するステップと、
決定した前記反射率に基づいて、前記オブジェクトの材料を決定するステップとを有する、方法。
各光源から出力された光に関する各センサでの光強度キャリブレーションデータの組を決定するステップを更に有する、請求項１に記載の方法。
各センサで、出力された光の存在を検出するステップは、
順次出力した各光源に関する各センサでの前記光強度を測定するステップと、
順次出力した各光源に関する各センサでの測定した前記光強度を、前記キャリブレーションデータと比較するステップとを有する、請求項２に記載の方法。
各光源を順次オンにするステップを有し、当該ステップは、Ｎ個の光源のそれぞれを予め決められた順に予め決められた長さの時間の間オンにするステップを有する、請求項１に記載の方法。
前記決定した反射率に基づいて前記オブジェクトの材料を決定するステップは、
各光源に対する各センサが決定した反射率に基づいて、一次反射率を決定するステップと、
前記一次反射率のそれぞれに基づいて、最終反射率を決定するステップと、
前記最終反射率を、反射率及び材料の予め決定されたデータベースと相関をとることにより、材料オブジェクトを決定するステップを有する、請求項１に記載の方法。
前記一次反射率及び前記最終反射率を決定するステップは、平均及びヒストグラムからなるグループから選択される、請求項５に記載の方法。
前記決定した反射率に基づいて、前記オブジェクトの材料を決定するステップは、
前記決定した反射率のそれぞれに基づいて最終反射率を決定するステップと、
前記最終反射率を、反射率及び材料の予め決定されたデータベースと相関をとることにより、材料オブジェクトを決定するステップを有する、請求項１に記載の方法。
前記一次反射率及び前記最終反射率を決定するステップは、平均及びヒストグラムからなるグループから選択される、請求項７に記載の方法。
複数の光源及び複数のセンサを外周に含むタッチスクリーンの境界内の光学特性に基づいて、オブジェクトの材料を決定するデバイスであって、
メモリと通信するプロセッサを有し、
前記プロセッサは、
各光源から前記タッチスクリーンの前記境界内のオブジェクトへ光を出力するステップと、
前記オブジェクトから各光源及び各センサまでの距離を決定するステップと、
各センサで、順次出力された光の存在を検出するステップと、
各センサで、前記オブジェクトの反射率を決定するステップと、
決定した前記反射率に基づいて、前記オブジェクトの材料を決定するステップとを実行する、デバイス。
前記プロセッサは、
各光源から出力された光に関する各センサでの光強度キャリブレーションデータの組を決定するステップを更に実行する、請求項９に記載のデバイス。
各センサで、出力された光の存在を検出するステップは、
順次出力した各光源に関する各センサでの前記光強度を測定するステップと、
順次出力した各光源に関する各センサでの測定した前記光強度を、前記キャリブレーションデータと比較するステップとを更に有する、請求項１０に記載のデバイス。
各光源を順次オンにするステップを有し、当該ステップは、Ｎ個の光源のそれぞれを予め決められた順に予め決められた光の時間の間オンにするステップを有する、請求項９に記載のデバイス。
前記決定した反射率に基づいて前記オブジェクトの材料を決定するステップは、
各光源に対する各センサが決定した反射率に基づいて、一次反射率を決定するステップと、
前記一次反射率のそれぞれに基づいて、最終反射率を決定するステップと、
前記最終反射率を、反射率及び材料の予め決定されたデータベースと相関をとることにより、材料オブジェクトを決定するステップを有する、請求項９に記載のデバイス。
前記一次反射率及び前記最終反射率を決定するステップは、平均及びヒストグラムからなるグループから選択される、請求項１３に記載のデバイス。
前記決定した反射率に基づいて、前記オブジェクトの材料を決定するステップは、
前記決定した反射率のそれぞれに基づいて最終反射率を決定するステップと、
前記最終反射率を、反射率及び材料の予め決定されたデータベースと相関をとることにより、材料オブジェクトを決定するステップを有する、請求項９に記載のデバイス。
前記一次反射率及び前記最終反射率を決定するステップは、平均及びヒストグラムからなるグループから選択される、請求項１５に記載のデバイス。
複数の光源及び複数のセンサを外周に含むタッチスクリーンの境界内の光学特性に基づいて、オブジェクトの材料を決定するコンピュータシステムに命令を供するコンピュータプログラムであって、
前記コンピュータシステムをロードするときの命令は、
各光源から前記タッチスクリーンの前記境界内のオブジェクトへ光を出力するステップと、
前記オブジェクトから各光源及び各センサまでの距離を決定するステップと、
各センサで、順次出力された光の存在を検出するステップと、
各センサで、前記オブジェクトの反射率を決定するステップと、
決定した前記反射率に基づいて、前記オブジェクトの材料を決定するステップとを、前記コンピュータシステムに実行させる、コンピュータプログラム。
前記命令は、
各光源から出力された光に関する各センサでの光強度キャリブレーションデータの組を決定するステップを前記コンピュータに更に実行させる、請求項１７に記載のコンピュータプログラム。
各センサで、出力された光の存在を検出するステップは、
順次出力した各光源に関する各センサでの前記光強度を測定するステップと、
順次出力した各光源に関する各センサでの測定した前記光強度を、前記キャリブレーションデータと比較するステップとを更に有する、請求項１８に記載のコンピュータプログラム。
各光源を順次オンにするステップを有し、当該ステップは、Ｎ個の光源のそれぞれを予め決められた順に予め決められた長さの時間の間オンにするステップを有する、請求項１７に記載のコンピュータプログラム。
前記決定した反射率に基づいて前記オブジェクトの材料を決定するステップは、
各光源に対する各センサが決定した反射率に基づいて、一次反射率を決定するステップと、
前記一次反射率のそれぞれに基づいて、最終反射率を決定するステップと、
前記最終反射率を、反射率及び材料の予め決定されたデータベースと相関をとることにより、材料オブジェクトを決定するステップを有する、請求項１７に記載のコンピュータプログラム。
前記一次反射率及び前記最終反射率を決定するステップは、平均及びヒストグラムからなるグループから選択される、請求項２１に記載のコンピュータプログラム。
前記決定した反射率に基づいて、前記オブジェクトの材料を決定するステップは、
前記決定した反射率のそれぞれに基づいて最終反射率を決定するステップと、
前記最終反射率を、反射率及び材料の予め決定されたデータベースと相関をとることにより、材料オブジェクトを決定するステップを有する、請求項１７に記載のコンピュータプログラム。
前記一次反射率及び前記最終反射率を決定するステップは、平均及びヒストグラムからなるグループから選択される、請求項２３に記載のコンピュータプログラム。