JP2014199491A - 電子機器および電子機器の制御方法 - Google Patents

Abstract

【課題】画像表示を行う多種多様のアプリケーションに対して柔軟に適応できるようにした電子機器および電子機器の制御方法を提供する。【解決手段】表示情報を出力する表示面と操作情報を入力するセンサ面を一体に有したセンサ付表示デバイス１００と、センサ面で感知された信号をもとに三次元情報（ＲＡＷ−Ｄ）を生成し出力するデータ転送手段２００と、データ転送手段が出力した前記三次元情報をもとにセンサ面の複数の感知点における三次元のイメージデータを生成し、生成したイメージデータをもとにセンサ面上を操作した導体の操作内容を解析する処理機能を有したアプリケーション動作デバイス３００とを具備する。【選択図】図１

Description

この発明の実施形態は携行可能な電子機器および同電子機器の制御方法に関する。

携帯電話、タブレット、パーソナルデジタルアシスタント（ＰＤＡ）、及び小型の携帯用パーソナルコンピュータなどが普及している。これら電子機器は、表示パネルと一体となった操作入力パネルを有する。

操作入力パネルは、ユーザが表示面上に触れたとき、触れた位置を、例えば静電容量の変化として検出する。検出信号は、操作入力パネルのために専用に設計され、集積回路（ＩＣ）化されたタッチ信号処理ＩＣに入力される。タッチ信号処理ＩＣは、前記検出信号を予め用意した計算アルゴリズムで処理し、ユーザが触れた位置を座標データに変換して出力している。

特開２０１２−４８２９５号公報

製造技術の進歩とともに、表示パネルの解像度は高解像度化し、また表示パネルの大型化も進んでいる。表示パネルの高解像度化や大型化に伴い、操作入力パネルの位置検出精度も高精細化が要求されている。また、アプリケーションによっては、操作入力パネルの操作入力に対するデータ処理速度も高速化が要求されている。また、アプリケーションを容易に変更できる方式の装置が要望されている。

そこでこの発明に係る一実施形態では、多様のアプリケーションに対して柔軟に適応できるようにし、アプリケーションに対する入力情報も豊富にすることができる電子機器および電子機器の制御方法を提供することを目的とする。

一実施形態に係る電子機器は、表示情報を出力する表示面と操作情報を入力するセンサ面を一体に有したセンサ付表示デバイスと、前記センサ面で感知された信号をもとに三次元情報を生成し出力するデータ転送手段と、前記データ転送手段が出力した前記三次元情報をもとに前記センサ面の複数の感知点における三次元のイメージデータを生成するイメージ生成手段と、前記イメージ生成手段が生成したイメージデータをもとに前記センサ面上を操作した導体の操作内容を解析する処理手段と、を具備する。

タッチデータを三次元解析することで様々な機能の付与やアプリケーションとの連携が可能となる。更にタッチデータを高性能なアプリケーションプロセッサで解析することにより、高速、高解像度の解析が行えると共に多機能やアプリケーションとの連携が可能である。

一実施形態による電子機器のブロック構成図である。 表示面又は表示パネルと操作面又は操作入力パネルを一体に有したセンサ一体型表示デバイスを説明するために示した断面図である。 操作入力パネルから出力される信号からタッチ検出信号を得るための原理を説明するために示す説明図である。 操作入力パネルのセンサ構成部品とその駆動方法を説明するために示した斜視図である。 図１に示すデータ転送デバイスのブロック構成例及びアプリケーション動作デバイスの各種アプリケーションにより実現される機能の幾つかの例をブロック化して示す図である。 図１及び図４のドライブから出力される表示用の信号とセンサ用検出電極の駆動信号との出力タイミングの例を示す図である。 センサ用検出電極の駆動信号の出力と共通電極との駆動状態を説明するために示した模式図である。 操作入力が無い場合のセンサ出力の生データ（検出データ）をグラフ化した一例を示す模式図である。 操作入力が有った場合のセンサ出力の生データ（検出データ）をグラフ化した一例を示す模式図である。 本実施形態に係る携帯端末の使用例を説明するための図である。 本実施形態に係る携帯端末の使用例を説明するためのフローチャートである。 本実施形態に係る携帯端末の具体的な使用例（その１）を説明するためのフローチャートである。 本実施形態に係る携帯端末の具体的な使用例（その１）を説明するためのフローチャートである。 本実施形態に係る携帯端末の具体的な使用例（その２）を説明するためのフローチャートである。 本実施形態に係る携帯端末の具体的な使用例（その２）を説明するためのフローチャートである。 本実施形態に係る携帯端末の具体的な使用例（その３）を説明するための操作説明図である。 本実施形態に係る携帯端末の具体的な使用例（その４）を説明するための操作説明図である。 本実施形態に係る携帯端末の具体的な使用例（その５）を説明するための操作説明図である。

以下、実施の形態について図面を参照して説明する。
図１には、一実施形態が適用された携帯端末１を示している。携帯端末１は、表示情報を出力する表示面と操作情報を入力するセンサ面を一体に有したセンサ一体型表示デバイス１００と、上記センサ面で感知された信号をもとに三次元情報（ＲＡＷ−Ｄ）を生成し出力するデータ転送デバイス２００と、データ転送デバイスが出力した三次元情報（ＲＡＷ−Ｄ）をもとに上記センサ面の複数の感知点における三次元のイメージデータを生し、生成したイメージデータをもとに上記センサ面上を操作した導体の操作内容を解析する処理機能を有したアプリケーション動作デバイス３００とを備えた電子機器を構成している。

センサ一体型表示デバイス１００は、表示面（又は表示パネル）と操作面（又は操作入力パネル）を一体に有し、そのために表示素子構成部品１１０、及びセンサ構成部品１５０を有する。

このセンサ一体型表示デバイス１００には、後述するドライバ２１０から表示用信号（又は画素信号）が供給される。そしてドライバ２１０からゲート信号が供給されると、表示素子構成部品１１０の画素に対して画素信号Ｓｉｇｘが書き込まれる。この画素信号Ｓｉｇｘに応じて、画素電極と共通電極間の電圧が決まり、この電圧により電極間の液晶分子が変位し、液晶分子の変位に応じた輝度が得られる。

センサ一体型表示デバイス１００の呼び名は、これに限定されるものではなく、入力センサ一体型表示部、ユーザインターフェースなどと称してもよい。

表示素子構成部品１１０は、液晶表示パネル、ＬＥＤ、有機ＥＬなどの発光素子による表示部を採用してもよい。表示素子構成部品１１０は、単純にディスプレイと称されてもよい。センサ構成部品１５０は、静電容量変化検知方式、光量変化検知方式などがあり、何れが採用されてもよい。センサ構成部品１５０はタッチ入力を検出するためのパネルと称されてもよい。

センサ一体型表示デバイス１００は、データ転送デバイス２００を介してアプリケーション動作デバイス３００に接続される。

データ転送デバイス２００は、ドライバ２１０、センサ検出器２５０を有する。ドライバ２１０は、基本的には、アプリケーション動作デバイス３００から転送されてくるグラフィックデータを表示素子構成部品１１０に入力する。また、センサ信号検出器２５０は、センサ構成部品１５０から出力されるセンサ信号Ｒｘを検出する。

ドライバ２１０とセンサ信号検出器２５０は、相互に同期動作するもので、同期制御は、アプリケーション動作デバイス３００の制御に基づいている。

アプリケーション動作デバイス３００は、携帯電話等の電子機器内に組み込まれている、たとえば半導体集積回路（ＬＳＩ）であって、ＯＳ等のソフトウエアによってＷｅｂブラウジングやマルチメディア処理などの複数の機能処理を複合的に実行する役割を持つものである。これらアプリケーションプロセッサは、高速な演算処理を行うもので、デュアルコア、あるいはＱｕａｄ−Ｃｏｒｅのものであってもよい。動作速度としてたとえば５００ＭＨｚ以上、より好ましくは１ＧＨｚのものが好適である。

ドライバ２１０は、アプリケーションに基づいて、表示構成素子構成部品１１０に表示信号（グラフィックスデータがアナログ変換された信号）Ｓｉｇｘを供給する。さらにドライバ２１０は、センサ信号検出器２５０からのタイミング信号に基づいて、センサ構成部品１５０をアクセスするためのセンサ駆動信号Ｔｘを出力する。このセンサ駆動信号Ｔｘに同期して読み出されたセンサ信号Ｒｘは、センサ構成部品１５０から読み出されて、センサ信号検出器２５０に入力する。

センサ信号検出器２５０は、センサ信号をスライスし、ノイズ除去し、生の読み取りイメージデータ（３次元イメージデータと称することができる）としてアプリケーション動作デバイス３００に入力する。この実施形態では上記センサ信号検出器２５０から出力される生の読み取りイメージデータをロウデータ（ＲＡＷ−Ｄ）若しくは符号を除いたロウデータと呼称する。

センサ構成部品１５０が容量検出方式である場合、イメージデータは、単純に座標を表す２次元データではなく、容量の大きさに応じて異なる多値（２ビット以上の例えば３値−７値）を持つことができる。したがって、このイメージデータは、物理量と座標を含む３次元データと称することができる。対象物となる導体（例えばユーザの指先）とタッチパネルとの遠近（近接度）に応じて容量の変化があるので、この変化を物理量の変化として捕らえることができる。

上記したようにデータ転送デバイス２００のセンサ信号検出器２５０が、イメージデータを直接、アプリケーション動作デバイス３００に提供する理由は以下の理由に基づいている。

まずアプリケーション動作デバイス３００は、その高速演算機能を活かして、イメージデータを各種の用途に用いることができる。

アプリケーション動作デバイス３００においては、ユーザからの種々の要望に応じて、新しい種々のアプリケーションが格納される。新しいアプリケーションは、データ処理内容に応じて、イメージデータの処理方法、読み出しタイミング、読み出しフォーマット、読み出し領域または、読み出し密度などの変化や切換えを望む場合がある。

このような場合、従来の装置のように座標データのみを受け取ると、その取得情報量が制約される。しかし、この装置のように生の３次元イメージデータを解析すると、例えば座標位置情報のほかに、導体の近接度に応じた遠近情報も得ることができる。

さらに、アプリケーションによる各種機能の拡張性を得るために、データ転送デバイス２００は、アプリケーションによる制御に基づく各種の動作に追従できることが望ましい。そこで、データ転送デバイス２００は、できるだけシンプルな機能として、アプリケーションによる制御に応じて、センサ信号の読み取りタイミング、読み取り領域、読み取り密度などを任意に切換え可能な構造としている。この点は、後でも説明する。

アプリケーション動作デバイス３００は、この実施形態の場合、無線機インターフェース（図１参照）を備えたベースバンドエンジンを搭載して多種のアプリケーションの処理を可能にした、所謂、アプリケーションプロセッサと称される単一の半導体集積回路により構成されており、上記した無線機インターフェース以外に、例えばカメラ機能インターフェースなどをも含むことができる。さらにアプリケーション動作デバイス３００には、センサ信号検出器２５０から受けたロウデータ（ＲＡＷ−Ｄ）をもとに、センサ構成部品１５０のセンサ面の複数の感知点における三次元イメージデータを生成するイメージデータ生成処理部（Ｐ１）と、このイメージデータ生成処理部で生成されたイメージデータをもとに上記センサ面上を操作した導体の操作内容を認識するイメージ解析処理部（Ｐ２）と、このイメージ解析処理部で認識した操作内容に従うアプリケーションを実行する各種のアプリケーション実行部（Ｐｓ）が含まれる。

図２Ａには、表示素子構成部品１１０とセンサ構成部品１５０とが一体となった、センサ一体型表示デバイス１００、つまり表示パネルと操作入力パネルが一体化した表示装置の断面構造を示している。

薄膜トランジスタ（ＴＦＴ）基板１１上に、共通電極１３、さらに絶縁層を介して画素電極１２が形成され、画素基板１０が構成されている。画素基板１０対して、液晶層３０を挟んで、対向基板２０が画素基板１０と平行に配置されている。対向基板２０は、液晶層側から順次カラーフィルタ２２、ガラス基板２３、センサ用検出電極２４、偏光板２５が配置されて構成されている。

共通電極１３は、表示用の共通駆動電極でもあるが、センサ用駆動電極（或いはセンサの共通駆動電極）としても機能する。

図２Ｂは、共通電極とセンサ用検出電極の交差点付近に、導体、例えばユーザの指先が近接した場合であって、この交差点からセンサ用検出電極を介して読み出した電圧がＶ０からＶ１に変化した様子を示している。指を接触していない状態では、交差点の容量（第１容量素子とする）に対する充放電に伴って第１容量素子の容量値に応じた電流が流れる。このときの第１容量素子の他端の電位波形は、例えば図２Ｂの波形Ｖ０のようになる。センサ用検出電極にユーザの指先が近接すると、指によって形成される第２容量素子が第１容量素子に直列に追加された形となる。この状態では、第１容量素子と第２容量素子とに対する充放電に伴って、それぞれ電流が流れる。このときの第１容量素子の他端の電位波形は、例えば図４の波形Ｖ１のようになり、これが検出回路２０によって検出される。このとき、第１容量素子の他端の電位は、第１容量素子と第２容量素子とを流れる電流の値によって定まる分圧電位となる。このため、波形Ｖ１は、非接触状態での波形Ｖ０よりも小さい値となる。したがって、このセンサ信号Ｒｘと閾値Ｖｔｈと比較することにより、センサに接触しているか否かを判断することが可能となる。

図３は、操作入力パネルのセンサ構成部品とその駆動方法を説明するために示した斜視図であり、センサ用検出電極２４と共通電極２１との配置関係を示している。図３に示す例は一例であり、このようなタイプに限定されるものではない。

図４には再度、センサ一体表示デバイス１００、データ転送デバイス２００及びアプリケーション動作デバイス３００を示している。

ここでは、データ転送デバイス２００とアプリケーション動作デバイス３００の内部構成例をさらに示している。

データ転送デバイス２００は、大きく分けてドライバ２１０と、センサ信号検出器２５０を有する。ドライバ２１０、センサ信号検出器２５０の名称は、これに限定されるものではなく、表示器ドライバＩＣ，タッチＩＣと称されてもよい。ブロックは別々に示されているが、一体に構成され、１チップとしてされてもよい。

ドライバ２１０は、アプリケーション動作デバイス３００から表示用データを受け取る。表示用データは、時分割されておりブランキング期間を備える。表示用データは、バッファとしてのビデオランダムアクセスメモリ（ＶＲＡＭ）２１１を介して、タイミング回路及びデジタルアナログ変換器２１２に入力される。本システムでは、ＶＲＡＭ２１１は、１フレーム以下の容量であってもよい。

アナログ量としての表示用データＳｉｇｘは、出力増幅器２１３で増幅されて、表示素子に書き込むためにセンサ一体型表示デバイス１００に入力される。タイミング回路及びデジタルアナログ変換器２１２で検出されたブランキング検出信号は、センサ信号検出器２５０のタイミング制御器２５１に入力する。このタイミング制御器２５１は、ドライバ２１０内に設けられてもよい、また同期化回路と称されてもよい。

タイミング制御器２５１は、前記表示用信号のブランキング期間にセンサをアクセスするためのセンサクセスパルスを生成する。このセンサクセスパルスは、出力増幅器２１４で増幅されてセンサ一体型表示デバイス１００に入力される。

駆動信号Ｔｘがセンサ用検出電極を駆動することにより、センサ信号Ｒｘがセンサ一体型表示デバイス１００から出力される。センサ信号Ｒｘは、センサ信号検出器２５０内の積分回路２５２に入力する。センサ信号Ｒｘは、積分回路２５２で基準電圧（閾値）Ｖｒｅｆと比較され、基準電位以上のレベルのセンサ信号Ｒｘは、コンデンサで積分され、積分出力が出力され、そして検出単位期間ごとにスイッチによりリセットされ、Ｒｘのアナログ出力を得ることができる。積分回路２５２の出力は、サンプルホールド及びアナログデジタル変換器２５３に入力され、デジタル化される。デジタル化された検出データは、デジタルフィルタ２５４を介して生のデータとして、アプリケーション動作デバイス３００に入力する。

検出データは、操作入力の検出データ及び操作入力の非検出データの両方を含む３次元データ（多値のデータ）である。プレゼンス検出器２５５は、例えばアプリケーション動作デバイスがスリープモードにあり、操作面上のタッチ座標の検出が行われていないときに機能する。プレゼンス検出器２５５は、何か接近物があるような場合、接近物を感知し、スリープモードを解除することができる。

アプリケーション動作デバイス３００は、検出データを受け取り解析し、解析結果に応じた前記表示用データを出力することができる、また、システムの動作機能を切り替えることができる。

アプリケーション動作デバイス３００は、各種のアプリケーションを展開して装置の動作手順の設定、機能切り替え、表示用信号の生成、切り替えなどを実行することができる。センサ信号検出器２５０から出力されたセンサ出力（ロウデータ）を用いて、座標演算処理を行い操作位置の解析を行うことができる。このセンサ出力は、イメージデータとして捉えられるので、アプリケーションにより３次元イメージデータが構築されることもできる。３次元イメージデータの登録処理、消去処理、確認処理なども実行できる。登録イメージデータと、取得したイメージデータを比較することにより、動作機能のロック及びロック解除を実行することもできる。

またセンサ信号を取得する場合、アプリケーション動作デバイス３００は、タイミング制御器２５１から出力されるセンサ検出用電極へのアクセスパルスの周波数変更、アクセスパルスの出力タイミングを行うこともできる。これにより、アプリケーション動作デバイスは、センサ構成部品１５０のアクセス領域の切換え、アクセス速度の設定を行うことができる。

また、アプリケーション動作デバイス３００は、センサ出力信号のサンプリング密度、センサ出力信号に対する付加データの追加なども実行することができる。

図５Ａには、データ転送デバイス２００から出力される時分割の表示用データＳｉｇｘと、センサ駆動信号Ｔｘ（Ｔｘ１−Ｔｘｎ）のタイミングチャートの一例を示している。図５Ｂは、共通電極とセンサ用検出電極とを含むセンサ構成部品１５０を、共通電圧Ｖｃｏｍとセンサ駆動信号Ｔｘとが２次元スキャンを行う様子を模式的に示している。共通電圧Ｖｃｏｍは、共通電極１３に対して順次印加される。また共通電極１３には、任意の期間にセンサ出力を得るための駆動信号Ｔｘが与えられる。

アプリケーション動作デバイス３００から、表示用データＳｉｇｘとセンサ駆動信号Ｔｘとは、同じバスを介して時分割によりドライバ２１０に入力してもよい。タイミング回路及びデジタルアナログ変換器２１２で、表示用データＳｉｇｘとセンサ駆動信号Ｔｘが分離されてもよい。センサ駆動信号Ｔｘは、タイミング制御器２５１、増幅器２１４を介して先に説明した共通電極１３に供給される。タイミング制御器２５１からセンサ駆動信号Ｔｘを出力するタイミング、周波数などはアプリケーション動作デバイス３００の指令により変更することができる。またタイミング制御器２５１は、センサ信号検出器２５０の積分回路２５２に対してリセットタイミング信号を供給し、サンプルホールド及アナログデジタル変換器２５３、デジタルフィルタ２５４にクロックを供給することができる。

図６には、センサ出力の生データの例であり、操作入力が検出されていないときのデータをグラフ化した模式図を示している。

図７には、センサ出力の生データの例であり、操作入力が検出されたときのデータをグラフ化した模式図を示している。

図８には、アプリケーション動作デバイス３００において、センサ信号検出器２５０から入力されたロウデータ（ＲＡＷ−Ｄ）をもとに生成した三次元イメージデータにより、マルチタッチインタフェース機能を含んだ多種多様なアプリケーション動作機能を実現した具体例を示している。図８に示す例では、ロウデータ（ＲＡＷ−Ｄ）をもとに生成した三次元イメージデータにより、例えば操作者（ユーザ）の耳の形状（Ｉａ）、操作者が大人の場合、子供の場合のそれぞれの掌の形状（Ｉｂ）、特定のジェスチャーと操作の組み合わせ（Ｉｃ）、複数本の指タッチによる操作（Ｉｄ）、指の腹がセンサ面に触れた状態（Ｉｅ）、指の先がセンサ面に触れた状態（Ｉｆ）、など、センサ面上における、多種多様な操作内容の認識が可能である。これら認識が可能な操作内容の三次元イメージデータをアプリケーション機能とともに登録しておくことにより、イメージ照合による多種多様な制御が可能となる。

例えば、操作者が耳を携帯端末１のセンサ面に当てることにより、耳の形状（Ｉａ参照）を認識して、操作者の真贋判定やその他の機能制御が可能である。真贋判定では、操作者の耳であることを認識して、携帯端末１の機能ロックを解除することが可能となる。機能制御では、操作者がセンサ面に耳を当てることで通話に入ることを認識して動作モードを通話モード（受話状態）に切り替える、機能の自動切替制御が可能となる。

また、掌サイズを認識する（Ｉｂ参照）ことで、世代別アプリケーションの選択的な提供、ユーザ別アプリケーションの選択的な提供、操作者を特定した機器またはアプリケーションの使用許可または使用禁止などが可能になる。

また、特定のジェスチャーと操作の組み合わせ（Ｉｃ参照）では、例えばピースサインの２本の指で操作面を２回連続タッチすると、カメラアプリケーションが起動してカメラ撮影を可能にし、３回連続タッチすると、音楽プレーヤが起動して音楽再生を可能にする。

また、複数本の指を使い分け（Ｉｄ参照）、例えば親指でスクロール操作を行い、人差指でタップ操作を行い、小指でズーム操作を行うことが操作機能の切替なしで可能となる。

また、指の腹のタッチ（Ｉｅ参照）と、爪を立てた指先のタッチ（Ｉｆ参照）とを区別して認識し、それぞれ別のアプリケーションを起動することも可能である。

図９には、携帯端末１における、上記した各種の操作内容の認識による、ロック解除例を示している。この例では、耳の形状で認証が得られた場合（ＳＢ３１）と、掌の形状で認証が得られた場合（ＳＢ３２）と、指先の形状で認証が得られた場合（ＳＢ３３）とを対象に、そのオア条件、若しくはいずれかのアンド条件で、携帯端末１の機能ロックを選択的に解除（ＳＢ３４）し、携帯端末１の使用を可能（ＳＢ３５）にしている。このロック解除手段により、セキュリティレベルに合わせた使い勝手のよい認証機能が実現可能である。

これらの認証に用いられる三次元イメージデータの登録処理は、例えばイメージの登録画面、音声ガイダンスの双方若しくはいずれかによる操作案内で円滑に実施可能である。

アプリケーション動作デバイス３００には、上記した三次元イメージデータに基づく各種操作内容に従うアプリケーション機能を実現するためのイメージの登録処理、並びに認証処理を実現するための処理手順が予め用意されている。

図１０および図１１には、耳の形状（Ｉａ参照）を認識して携帯端末１の機能ロックを選択的に解除する登録並びに認証の処理手順を示している。

図１０に登録シーケンスの一例を示している。この登録シーケンスでは、携帯端末１を所有するユーザの耳の三次元イメージデータをアプリケーション動作デバイス３００上で動作するアプリケーションに登録し（Ｓ１１〜Ｓ１３）、さらに登録した耳の三次元イメージデータを用いて機能の選択を行い（Ｓ１４）、ロック解除（Ｓ１４Ａ）を登録して、耳形状による認証の登録処理を完了する。なおロック解除でなくその他の機能（Ｓ１４Ｂ）を用いてもよい。

図１１にロック解除シーケンスの一例を示している。ロック解除シーケンスでは、携帯端末１を所有するユーザがセンサ構成部品１５０のセンサ面に耳を当てることにより生成された耳の三次元イメージデータが、耳の三次元イメージデータを予め登録したアプリケーション内で照合され（Ｓ２１〜Ｓ２２）、登録判定し（Ｓ２３）、特徴が一致した判定により、耳の三次元イメージデータを予め登録したアプリケーションのロックが解除される（Ｓ２３Ａ〜Ｓ２４）。なおロック解除でなくその他の機能（Ｓ２３Ｂ）を用いてもよい。 図１２および図１３には、複数本の指を使い分けた操作入力（Ｉｄ参照）を可能にする登録並びに操作の処理手順を示している。

図１２に登録シーケンスの一例を示している。この登録シーケンスでは、センサ面の操作に用いる指それぞれの形状を三次元イメージデータで予め登録しておく。例えば、親指でスクロール操作を行い、人差指でタップ操作を行い、小指でズーム操作を行う場合、先ずセンサ面に親指を触れて親指の三次元イメージデータを登録し（Ｓ３１〜Ｓ３３）、続いて登録した親指の操作機能（スクロール操作機能）を登録する（Ｓ３４Ａ〜Ｓ３５）。さらに続いて人差指の三次元イメージデータ、並びに同人差指の操作機能（タップ操作機能（Ｓ３４Ｂ〜Ｓ３５））を登録した後、小指の三次元イメージデータ、並びに同小指の操作機能（ズーム操作機能（Ｓ３４Ｃ〜Ｓ３５））を登録する。

図１３に操作シーケンスの一例を示している。この操作シーケンスでは、センサ面に触れた指のイメージデータと登録された指のイメージデータとが照合され（Ｓ４３）、親指でのスクロール操作（Ｓ４３Ａ〜Ｓ４４）と、人差指でのタップ操作（Ｓ４３Ｂ〜Ｓ４４）と、小指でのズーム操作（Ｓ４３Ｃ〜Ｓ４４）とをそれぞれ、機能選択を行うことなく可能にしている。

図１４には、センサ面の２カ所を別々にタッチしてアプリケーション機能を切り替える操作例を示している。例えば左手の親指で描画の線種機能を選択し、右手の人差指で描画部分をタッチすることで、人差指の描画部分の線種を変えることができ、左手の親指で描画の色指定を選択し、右手の人差指で描画部分をタッチすることで、人差指の描画部分の色を変えることができ、左手の親指で描画の部分取消を選択し、右手の人差指で描画部分をタッチすることで、人差指の描画部分を消しゴムで消すことができる。このように複数本の指操作による機能切替を可能にしたことで操作性に優れたタッチ操作機能が提供できる。

図１５には、特定形状のイメージデータを予め登録しておき、ロック解除時の認証用パターンとして使用する例を示している。例えばスタンプのような特定形状のイメージデータを予め登録しておくことで、当該形状のスタンプイメージを用いたロック解除の認証手続が可能である。

図１６には、数フレーム分のイメージデータを予め登録しておき、ゼスチャーとして使用する例を示している。例えば人差指の原全体でセンサ面を画面の上方向にスライド操作することによりロックを解除し、その逆方向にスライド操作することによりスリープ状態にする機能制御が可能である。

また、図１６に示す機能の応用として、例えば操作方向に応じた前曲方向、次曲方向への選曲操作、音楽プレーヤの起動、停止など、様々な機能切替、機能選択が可能である。これらの操作は必ずしもセンサ面に導体となる指をタッチした状態で行う必要はなく、ロウデータ（ＲＡＷ−Ｄ）に基づく三次元イメージデータにより感知が可能となるようにセンサ面の感知レベルを調整することで、センサ面上において非接触で（例えば鞄の外側から）操作可能である。

ここでは本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。さらにまた、請求項の各構成要素において、構成要素を分割して表現した場合、或いは複数を合わせて表現した場合、或いはこれらを組み合わせて表現した場合であっても本発明の範疇である。また請求項を方法、ステップ、或いはプログラムとして表現した場合であっても本発明の装置を適用したものである。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１・・・携帯端末（電子機器）、１００・・・センサ一体型表示デバイス、２００・・・データ転送デバイス、２１０・・・ドライバ、２５０・・・センサ信号検出器、３００・・・アプリケーション動作デバイス、ＲＡＷ−Ｄ・・・ロウデータ（生の読み取りイメージデータ ＝ 三次元イメージデータ）、Ｐ１・・・イメージデータ生成処理部、Ｐ２・・・イメージ解析処理部。

Claims (11)

1. 表示情報を出力する表示面と操作情報を入力するセンサ面を一体に有したセンサ付表示デバイスと、
   前記センサ面で感知された信号をもとに三次元情報を生成し出力するデータ転送手段と、
   前記データ転送手段が出力した前記三次元情報をもとに前記センサ面の複数の感知点における三次元のイメージデータを生成するイメージ生成手段と、
   前記イメージ生成手段が生成したイメージデータをもとに前記センサ面上を操作した導体の操作内容を解析する処理手段と、
   を具備したことを特徴とする電子機器。
2. 前記三次元情報は前記センサ面に対する導体の近接度を表す操作情報である請求項１に記載の電子機器。
3. 前記データ転送手段は前記表示面に表示情報を表示する表示駆動タイミングに同期して前記三次元情報を前記イメージ生成手段に転送する請求項１に記載の電子機器。
4. 前記イメージ生成手段および前記座標演算処理手段は、それぞれ、複数種のアプリケーションの処理を可能にし、ベースバンドエンジンを有した半導体集積回路により構成されたアプリケーション動作デバイス内に設けられていることを特徴とする請求項１に記載の電子機器。
5. 前記イメージ生成手段は前記表示面に表示情報を表示する表示駆動タイミングに同期して前記センサ面の全感知点の前記三次元情報をもとに前記イメージデータを生成する請求項１に記載の電子機器。
6. 前記処理手段は前記解析した操作内容に対応付けられたアプリケーション処理を起動するアプリケーション処理手段を具備する請求項１に記載の電子機器。
7. 前記処理手段は前記センサ面上を操作した操作者の人体の特定部位のイメージを認識する操作入力認識処理手段を具備する請求項１に記載の電子機器。
8. 前記処理手段は前記センサ面上を操作した操作者の身体的特徴若しくは行動的特徴による生体認証を行う生体認証処理手段を具備する請求項１に記載の電子機器。
9. 表示情報を出力する表示面と操作情報を入力するセンサ面を一体に有したセンサ付表示デバイスを有する電子機器の制御方法であって、
   前記センサ面で感知された信号をもとに生成された三次元情報を取得し、
   前記取得した三次元情報をもとに前記センサ面の複数の感知点における三次元のイメージデータを生成し、
   前記生成したイメージデータをもとに前記センサ面上を操作した導体の操作内容を認識し、
   前記認識した操作内容に従いアプリケーション動作を制御することを特徴とした電子機器の制御方法。
10. 前記三次元情報は、前記操作面に対する導体の近接度を表す操作情報である請求項９に記載の電子機器の制御方法。
11. 前記三次元情報は、前記表示面に表示情報を表示する表示駆動タイミングに同期したブロック転送により取得される請求項９または１０に記載の電子機器の制御方法。

Images