JP2004252965A

JP2004252965A - 電子装置

Info

Publication number: JP2004252965A
Application number: JP2004020105A
Authority: JP
Inventors: Izhak Baharav; バハラフイジャク; Russell M Iimura; エム．イイムララッセル; Xuemei Zhang; ジャーンシェメイ; Dietrich W Vook; ダブリュー．ブークディートリッヒ; Ramakrishna Kakarala; カカラーララマクリシュナ
Original assignee: Agilent Technologies Inc
Current assignee: Agilent Technologies Inc
Priority date: 2003-02-19
Filing date: 2004-01-28
Publication date: 2004-09-09
Also published as: US20040160420A1; US7176905B2; EP1450243A2; EP1450243A3

Abstract

【課題】比較的狭い領域で実装可能な画像基盤のデータ入力システムを備える電子装置。
【解決手段】電子装置は、入力領域（１５）を有する接触面（１４）を備えたウィンドウ（１２）と、前記入力領域（１５）において参照可能な複数の標識（１６）と、前記入力領域（１５）の画像に対応する画像信号を生成するべく構成及び配列された画像センサ（１８）と、前記画像センサ（１８）に接続され、該画像センサ（１８）によって生成される画像信号と、前記入力領域の画像の区域と前記入力標識（１６）の位置間の写像に基づいて入力信号を生成するべく動作可能なデータ入力プロセッサ（２０）とを有する。
【選択図】図１

Description

本発明は概して電子装置に関し、特に画像基盤データ入力システムを備えた電子装置に関する。

種々の携帯型電子装置の数が急増している。既に開発済みの多数の携帯型装置の中には、携帯電話、双方向ラジオ、コードレス電話、ハンドヘルドコンピュータ（例：携帯情報端末）、ハンドヘルドオーディオプレーヤ（例：ＭＰ３プレーヤ）などがある。様々な携帯型電子装置の機能を１つの装置に組み込むという最近の傾向に加え、製造業者は、携帯型電子装置に、益々多くの追加機能を内蔵しようとしている。例えば、最近携帯電話にカメラが内蔵された。

携帯型電子装置にたいしては、既に様々なデータ入力方式が多数開発されている。例えば、携帯電話には、通常、それぞれのキーに１つの数字と３つ又は４つの文字が割り当てられた英数字キーパッドが含まれている。数字をダイアルする場合には、ユーザーは、所望の数字が割り当てられているキーを押すだけでよい。一方、文字を入力する場合には、ユーザーは、所望の文字が携帯電話の表示画面に現れるまで、その所望の文字に対応するキーを１回以上押さなければならない。携帯型電子装置の中には、出力を表示し、且つタッチ入力を受け付けるタッチスクリーンディスプレイを含むものも存在している。ソフトウェアを使用し、ボタン又はキーを表すアイコンをタッチスクリーンディスプレイ上に表示可能である。ユーザーは、所望の機能に対応するボタンを表示しているタッチスクリーンディスプレイ領域に接触することにより、該所望の機能を起動することができる。

本発明の目的は、機器搭載型の画像センサ機能等を利用し、比較的狭い領域で実装可能な、画像に基づいた即ち画像基盤の、データ入力システムを備える電子装置を提供することである。

本発明の一態様の電子装置は、ウィンドウ、複数の標識、画像センサ、及びデータ入力プロセッサを含む。ウィンドウは、入力領域を有する接触面を備えている。複数の標識が接触面の入力領域で視認される。画像センサは、入力領域の画像に対応する画像信号を生成するべく構築されかつ配列されている。データ入力プロセッサは、画像センサに接続されており、画像センサが生成した画像信号と、入力領域の画像の区域と入力標識の位置との間の写像とに基づいて入力信号を生成するべく動作可能である。

本発明のその他の特徴と利点については、添付の図面及び特許請求の範囲を含む以下の説明から明らかになるであろう。

以下の説明においては、同様の参照符号を使用して同様の要素を同定している。又、添付の図面は、模範的な実施例の主要な特徴を図式的に示すことを目的とするものである。これらの図面は、実際の実施例のすべての特徴や表示要素の相対的な寸法を示すことを目的とするものではなく、又、その縮尺も正確ではない。

図１に示すように、本発明の一実施例では、電子装置用のデータ入力システム１０は、入力領域１５を有する接触面１４を備えたウィンドウ１２、入力領域１５内において参照可能な複数の標識１６、画像センサ１８、及びデータ入力プロセッサ２０を備える。標識１６はデータ入力キー（例えば、数字キー、英数字キー、又は電子装置の特定の機能を制御するキーなどのその他の入力キー）に類似したものであってよい。これらの標識１６は、接触面１４上に付けられた印として実装可能である。或いは、この代わりに、ウィンドウ１２の別の面上につけられ該ウィンドウ１２を通して視認可能な印として標識１６を実装することも可能である。実施例の中には、ウィンドウ１２が目標波長範囲内の光（例えば、可視光又は赤外光）に対して実質的に透明であり、画像センサ１８が、この目標波長範囲内の光を検出するものも存在する。画像センサ１８は、入力領域の画像に対応する画像信号を生成するべく構築及び配列されている。データ入力プロセッサ２０は、画像センサ１８に接続されており、画像センサ１８によって生成された画像信号と、入力領域の画像の区域と表示されている標識の位置との間の写像とに基づいて、入力信号２２を生成するべく動作する。この入力信号２２は、装置エレクトロニクス２４に供給され、装置エレクトロニクス２４は、この入力信号２２に対し、従来の方法によって応答する。

実施例の中には、画像センサ１８の視野が入力領域を包含できるほどに十分大きなものも存在する。これらの実施例の中の一例では、従来の小型カメラモジュールとして画像センサ１８が実装され、その焦点は、所望シーンの画像をすべて捕獲するのに十分な距離（例：１メートル以上）接触面１４を超えた位置にある。これらの実施例においては、標識１６には合焦しておらず、したがって、捕獲される画像の品質に与える標識の影響は、無いに等しい。実施例の中には、ウィンドウ１２が画像センサ１８の視野の内外に（例えば、蝶番により、或いは溝内で）移動可能なものも存在する。

動作に際しては、ユーザーは、物体（例：指２６やペン状の器具）を入力領域の１つの区域に接触させる。画像センサ１８は、入力領域１５の画像を捕獲し、画像信号をデータ入力プロセッサ２０に送信する。データ入力プロセッサ２０は、詳細に後述する１つ又は複数の画像処理法を使用して入力領域画像を処理し、いくつかの実施例においては、画像センサ１８によって捕獲される画像が合焦していないにも拘らず、接触している区域の位置を決定するべく動作する。データ入力プロセッサ２０は、接触している区域の位置と入力標識の位置との間の対応に基づいて、ユーザーによって選択された確率が最も高そうな標識（以下「推定選択標識」と呼称する。）となる標識１６を示す信号を装置エレクトロニクス２４に送信するべく動作する。装置エレクトロニクス２４は、これに対し、従来の方法で応答を生成する。例えば、装置エレクトロニクス２４は、ディスプレイ画面上に対応する数字又は文字を表示することにより、数字又は英数字入力に対して応答する。携帯電話に内蔵されている場合には、装置エレクトロニクス２４は、携帯電話の呼を発することにより、「呼び出し」入力ボタンに応答する。

図２及び図３を参照すれば、模範的な一実装において、標識１６は、携帯電話のキーパッドのキーに類似している。そして、ユーザーが指２６を接触面の入力領域１５内の１つの区域に接触させた場合に、画像センサ１８によって捕獲される入力領域画像内の画素強度の差に基づいて、接触している接触面１４の位置とその他の入力領域区域とを区別することができる。例えば、図示の実施例においては、指２６の接触区域によって周辺光が遮断され、画像センサ１８に到達しなくなる。この結果、入力領域１５の接触している区域２８は、入力領域１５のその他の区域に比べて暗くなる。

実施例の中には、次のような「重心」の算出に基づいて、データプロセッサ２０が、推定選択標識を決定するものも存在する。即ち、まず、入力領域１５内の画素の値（例：グレーレベルの値）を画像センサ１８から取得する。次いで、しきい値に基づいて、それらの画素値を２つのグループに分ける。例えば、グレーレベルの画素値の場合には、１２８未満の値を有する画素は、「黒」画素グループに割り当て、１２８以上の値を有する画素は、「白」画素グループに割り当てる。実験によって、最も正確な結果を提供するしきい値を決定することができる。接触している区域２８の重心に対応するｘ_cm、ｙ_cm座標は、次のように算出する。

ここで、ｘ_nとｙ_nは、ｎ番目の黒画素のｘ、ｙ座標であり、Ｎ_BlackPixelsは黒画素の数で、ｎ＝１，２，３、・・・、Ｎ_BlackPixelsである。次いで、データプロセッサ２０は、重心の座標（ｘ_cm，ｙ_cm）を標識１６の画素位置と比較し、選択された標識に対応する確率が最も高そうな標識１６を決定する。例えば、実施例の中には、それぞれの標識１６の中心座標と算出した重心座標（ｘ_cm，ｙ_cm）間の距離を算出し、最も短い距離に対応している標識を推定選択標識として選択するものが存在する。尚、この標識の中心座標と入力画像領域間の写像は、例えば、事前生成されたルックアップテーブル内に保存しておけばよい。

実施例の中には、データプロセッサ２０が、次のような「端部（縁）検出」プロセスに基づいて、推定選択標識を決定するものも存在する。即ち、まず、入力領域１５内の画素値（例：グレーレベル値）を画像センサ１８から取得する。次いで、水平（ｘ座標）及び垂直（ｙ座標）方向の勾配の値（ｇ_x（ｘ），ｇ_y（ｙ））を次のように算出する。

ここで、Ｉ（ｘ，ｙ）は、画素位置（ｘ，ｙ）における画素値である。この水平及び垂直方向の勾配値のピークを使用し、接触領域２８の左、右、上、下の端部を検出可能である。ユーザにより選択された確率が最も高そうな接触区域（以下「推定選択区域」と称する。）を表す画素の座標は、検出した勾配のピークに基づいて算出することができる。例えば、実施例の中には、代表画素のｘ座標を２つの水平方向の勾配のピークの中間に配置し、代表画素のｙ座標を２つの垂直方向の勾配のピークの中間に配置するものが存在する。又、実施例の中には、算出した水平及び垂直方向の勾配のピークに対する代表ピーク値の位置を実験によって決定することができるものも存在する。次いで、データプロセッサ２０は、この代表画素の座標を標識１６の画素位置と比較し、選択された標識に対応する確率が最も高そうな選択標識（以下「推定選択標識」と称する。）となる標識１６を決定する。例えば、実施例の中には、それぞれの標識１６の中心座標と算出した代表画素座標間の距離を算出し、最も短い距離に対応している標識を推定選択標識として選択するものが存在する。尚、この標識の中心座標と入力画像領域間の写像（対応）は、例えば、事前生成されたルックアップテーブルに保存しておけばよい。

実施例の中には、トレーニングアルゴリズムを使用し、推定選択標識を同定するものも存在する。これらの実施例においては、まず、それぞれの標識を順番に選択するように、ユーザーに対して要求する。そして、それぞれの標識ごとに、重心又は代表画素（或いは、これらの両方）のｘ及びｙ座標を前述のように算出する。次いで、これらの座標をルックアップテーブルに保存する。このトレーニングセッションが完了すれば、保存されているそれらの座標を使用し、推定選択標識を決定することができる。例えば、実施例の中には、それぞれの標識１６に関連する保存されている座標と算出した重心又は代表画素の座標（或いは、これらの両方）間の距離を算出し、最も短い距離に対応している標識を推定選択標識として選択するものが存在する。

実施例の中には、前述の推定選択標識を同定する方法の中の複数のものを組み合わせて使用可能なものも存在する。

データ入力システム１０は、実際にキーを押す動作ではなく、光学的な技法に基づいて、選択された標識を決定しているため、入力領域１５は、大部分の従来の電子装置のキーに基づいたデータ入力システムに比べて大幅に小さな区域で実装可能である。例えば、実装の中には、それぞれの標識１６が２ｍｍｘ２ｍｍ（即ち、４平方ミリメートル）程度の入力領域１５内の区域しか占有しないものも存在する。図示の実施例においては、標識１６は、指２６と接触面１４間の接触区域２８に比べ、格段に小さい。この結果、接触区域２８は、同時に複数の標識１６に対応する領域と重複する。しかし、この場合にも、前述のデータ入力処理法の１つを使用して特定の標識を同定することが可能である。

図４に示されているように、実施例の中には、標識１６が、コンピュータのキーボードのキーに対応しているものが存在する。これらの実施例においては、１つ又は複数の前述の技法を単独で（或いは、組み合わせて）使用し、推定選択標識を決定することができる。実施例の中には、入力領域１５の全体を画像化するべく、それぞれが入力領域１５の個々の区域の画像を捕獲するように構成された複数の画像センサ１８を必要とするものも存在している。

図５Ａ、図５Ｂ、図６Ａ、及び図６Ｂを参照すれば、実施例の中には、ウィンドウ１２の接触面１４が、ユーザーを触覚によって入力領域１５の様々な区域に案内する１つ又は複数の案内用の形状を含んでいるものが存在する。例えば、図５Ａ及び図５Ｂの実施例には、接触面１４内に複数の識別可能な凹部３０が含まれている。それぞれの凹部３０は、個々の標識に対応する位置に中心を有している。一方、図６Ａ及び図６Ｂの実施例には、入力領域１５の中心に位置した単一の隆起３２が含まれている。尚、その他の案内用の形状を実装することも可能である。

図７Ａ及び図７Ｂを参照すれば、実施例の中には、データ入力システム１０が光源３４（例：発光ダイオード）を含んでいるものも存在する。図７Ａの実施例においては、光源３４は、ウィンドウ１２を通して接触面１４を照射するべく構成されている。この実施例においては、光は、物体（例：指の先端）が接触面１４と接触している区域を除いて、ウィンドウ１２を透過する。そして、反射した光が、画像センサ１８によって捕獲される。一方、図７Ｂの実施例においては、光源３４は、ウィンドウ１２の端部内に光を注入するべく構成されている。光学素子３６（例：円柱レンズ）を使用すれば、ウィンドウ１２内に均一に光を注入することができる。この注入された光は、物体（例：指の先端）が接触面１４と接触している区域を除いて、全反射によってウィンドウ１２内に維持される。物体が接触面１４と接触すると、接触区域内の全反射が損なわれ、注入光は、接触区域から画像センサ１８に向かうことになる。推定選択標識を同定する前述の方法は、これら図７Ａ及び図７Ｂの実施例においても使用可能である。但し、この場合には、画像センサ１８によって捕獲される画像において、物体と接触面１４間の接触区域が入力領域１５のその他の区域よりも明るくなるという事実を反映させるべく、それらの方法に変更を加える必要がある。

図７Ａ及び図７Ｂのそれぞれの実施例は、その他の光学素子を含むこともできる。例えば、光源から狭い波長範囲内の光を放射するようにし、その狭い波長範囲内の光を選択的に検出可能なフィルタを画像センサ１８に含めることができる。このようにすれば、画像センサ１８によって捕獲される入力領域画像内のコントラストを向上させることができる。

図８を参照すれば、一実装において、データ入力システム１０は、アンテナ４４、受信機４６、周波数シンセサイザ４８、及び送信機５０を備える無線通信システム４２を含む携帯電話４０に内蔵可能である。この携帯電話４０は、音声／データシステム５２、メモリ５４、ディスプレイ５６、バッテリ電源５８、及び携帯電話４０の動作を制御するコントローラ６０を有することもできる。無線通信システム４２は、従来の無線プロトコル（例：従来のアナログセルラープロトコルやＷＡＰなどのデジタル無線プロトコル）に従って無線ネットワークと通信リンクを確立するべく構成されている。

図９を参照すれば、実施例の中には、データ入力システム１０をハンドヘルドコンピュータ７０（例：携帯情報端末）に内蔵可能なものも存在する。ハンドヘルドコンピュータ７０には、グラフィカルユーザーインターフェイスを表示する画面７２が含まれており、このＧＵＩは、ハンドヘルドコンピュータ７０の動作を制御するための１つ又は複数のユーザーオプションを提示することができる。ハンドヘルドコンピュータ７０は、オーディオ出力装置（例：ヘッドフォン）の入力ジャックに接続するための出力ポート７４と、コンピュータ又はその他のハードウェアシステムに接続するためのケーブルポート７６を有している。又、ハンドヘルドコンピュータ７０には、例えば、ＩｒＤＡ（ＩｎｆｒａｒｅｄＤａｔａＡｓｓｏｃｉａｔｉｏｎ）ポートなどの無線通信ポート７８も含まれており、ハンドヘルドコンピュータ７０は、これを介して、その他の類似構成の装置と無線通信することができる。実施例の中には、この無線通信ポート７８の代わりに（或いは、これに加えて）ＲＦアンテナ８０を含むものも存在する。

その他の実施例も、特許請求の範囲に属している。

例えば、前述の物体と接触面１４間の接触区域を同定する模範的な方法は、その他の周知の画像処理法によって変更又は置換可能である。

実施例の中には、データ入力プロセッサ２０を画像センサ１８又は装置エレクトロニクス２４に内蔵可能なものも存在する。

実施例の中には、データ入力システム１０をデジタルオーディオプレーヤ、ＣＤプレーヤ、ＭＣＤプレーヤ、ゲームパッド、コードレス電話、ポケットベル、ラップトップコンピュータ、又はその他の携帯型又は非携帯型の電子装置に内蔵可能なものも存在する。

本明細書において説明したこれらのシステム及び方法は、特定のハードウェア又はソフトウェア構成に限定されるものではなく、デジタル電子回路や、コンピュータハードウェア、ファームウェア、又はソフトウェアを含むあらゆる演算又は処理環境において実装可能である。

以上詳述したように、本発明の実施可能領域の広さに鑑み、以下に本発明の実施態様の一部を開示して本発明の実施を行なう場合の参考に供する。なお、本発明の範囲を限定するためではないが、本発明の実施を臨む者の理解を容易にするために、対応する事項につき上記実施例での参照番号を付記した。

（実施態様１）：電子装置であって、入力領域（１５）を有する接触面（１４）を備えたウィンドウ（１２）と、前記接触面（１４）の前記入力領域（１５）において参照可能な複数の標識（１６）と、前記入力領域（１５）の画像に対応する画像信号を生成するべく構成及び配列された画像センサ（１８）と、前記画像センサ（１８）に接続され、該画像センサ（１８）によって生成される画像信号と、前記入力領域の画像の区域と前記入力標識（１６）の位置間の写像に基づいて、入力信号を生成するべく動作可能なデータ入力プロセッサ（２０）と、を有することを特徴とする電子装置。

（実施態様２）：前記複数の入力標識（１６）は、携帯電話のキー又はコンピュータのキーボードのキーに類似していることを特徴とする実施態様１に記載の電子装置。

（実施態様３）：前記複数の入力標識（１６）は、前記接触面上のマークに対応していることを特徴とする実施態様１に記載の電子装置。

（実施態様４）前記ウィンドウ（１２）は、少なくとも１つの案内用の形状（３０、３２）を有していることを特徴とする実施態様１に記載の電子装置。

（実施態様５）：前記ウィンドウ（１２）は、前記画像センサ（１８）の視野の内外に移動可能であることを特徴とする実施態様１に記載の電子装置。

（実施態様６）：前記画像センサ（１８）は、前記ウィンドウ（１２）を越えてシーンの画像を捕獲するべく動作可能なカメラモジュールを有することを特徴とする実施態様１に記載の電子装置。

（実施態様７）：前記データ入力プロセッサ（２０）は、前記入力領域（１５）内の接触している位置の座標を算出するべく動作可能であることを特徴とする実施態様１に記載の電子装置。

（実施態様８）：光源（３４）を更に有する実施態様１に記載の電子装置。

（実施態様９）：前記光源（３４）は、前記ウィンドウ（１２）を通して前記接触面（１４）を照射するべく動作可能であることを特徴とする実施態様８に記載の電子装置。

（実施態様１０）：前記光源（３４）は、前記ウィンドウ（１２）の端部内に光を注入するべく動作可能であり、該注入された光は、全反射によって維持されることを特徴とする実施態様８に記載の電子装置。

データ入力システムの入力領域内でウィンドウの接触面上に配設された複数の標識から１つを選択するプロセスにおける指を示す図である。携帯電話キーパッドのキーを表す複数の標識を格納する入力領域を示す図である。図２の入力領域上に重なった指の先端の影を示す図である。ハンドヘルドコンピュータのキーボードのキーを表す複数の標識を格納する入力領域を示す図である。複数の凹部を有する接触面を備えたウィンドウを示す平面図である。図５Ａのウィンドウの５Ｂ−５Ｂ断面を示す側面図である。中央の隆起を有する接触面を備えたウィンドウを示す平面図である。図６Ａのウィンドウの６Ｂ−６Ｂ断面を示す側面図である。図１のデータ入力システムと、ウィンドウを通して接触面を照射する光源を示す図である。図１のデータ入力システムと、ウィンドウの端部に光を注入する光源を示す図である。図１のデータ入力システムを内蔵する携帯電話のブロック図である。図１のデータ入力システムを内蔵するハンドヘルドコンピュータのブロック図である。

符号の説明

１２ウィンドウ
１４接触面
１５入力領域
１６標識
１８画像センサ
２０データ入力プロセッサ
２４装置エレクトロニクス
３０、３２案内用の形状
３４光源
３６光学素子（円柱レンズ）
４０携帯電話
７０ハンドヘルドコンピュータ

Claims

入力領域を有する接触面を備えたウィンドウと、
前記入力領域において参照可能な複数の標識と、
前記入力領域の画像に対応する画像信号を生成するべく構成及び配列された画像センサと、
前記画像センサに接続され、前記画像信号と、前記入力領域の画像の区域と前記入力標識の位置との間の写像に基づいて、入力信号を生成するべく動作可能なデータ入力プロセッサと、
を有する電子装置。