JP2011008424A - 電子機器、動作モード設定方法、およびプログラム - Google Patents

電子機器、動作モード設定方法、およびプログラム Download PDF

Info

Publication number
JP2011008424A
JP2011008424A JP2009150103A JP2009150103A JP2011008424A JP 2011008424 A JP2011008424 A JP 2011008424A JP 2009150103 A JP2009150103 A JP 2009150103A JP 2009150103 A JP2009150103 A JP 2009150103A JP 2011008424 A JP2011008424 A JP 2011008424A
Authority
JP
Japan
Prior art keywords
electronic device
display screen
operation mode
contact
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009150103A
Other languages
English (en)
Inventor
Masatsune Terauchi
真恒 寺内
Masahiro Chiba
雅裕 千葉
Yusuke Miki
裕介 三木
Hitoshi Naoe
仁志 直江
Yusuke Yamada
雄介 山田
Kenji Mameta
憲治 豆田
Minehiro Konya
峰弘 紺矢
Masashi Higashimoto
雅至 東本
Hiroyoshi Toda
浩義 戸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2009150103A priority Critical patent/JP2011008424A/ja
Publication of JP2011008424A publication Critical patent/JP2011008424A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザにとって直感的な操作を実現可能な電子機器を得る。
【解決手段】電子機器1300は、液晶パネルの表示画面上の物体を、当該表示画面を介してスキャンする表示装置103と、スキャンにより得られたデータのうち物体の形状を示す形状データに基づいて、電子機器1300の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定する設定部314とを備える。
【選択図】図24

Description

本発明は、電子機器、当該電子機器の動作モード設定方法、および当該電子機器を制御するプログラムに関する。特に、タッチ入力を受け付ける電子機器、当該電子機器の動作モード設定方法、および当該電子機器を制御するプログラムに関する。
従来、ノート型のパーソナルコンピュータは、通常、タッチパッドが備えられている。ユーザは、タッチパッド上で指を滑らせることにより、画面に表示されたマウスカーソルを移動させることができる。
特許文献1には、上記タッチパッドを備えたノート型のパーソナルコンピュータとして、当該タッチパッドの背面に液晶表示パネルを備えた携帯型パーソナルコンピュータが開示されている。当該携帯型パーソナルコンピュータは、機能ボタンを備えている。
当該機能ボタンが操作されたとき、携帯型パーソナルコンピュータは、液晶表示パネルに機能を選択するためのメニューを表示する。ユーザが当該メニューの中からたとえばテンキーボタンを選択すると、携帯型パーソナルコンピュータは、テンキーを上記液晶パネルに表示する。ユーザは、タッチパッドを介して当該テンキーを操作することにより、演算を携帯型パーソナルコンピュータに実行させることができる。一方、機能ボタンが操作されていないときには、ユーザは、タッチパッドを介して、従来と同様の入力を行なうことができる。たとえば、ユーザは、マウスカーソルの移動を行なうことができる。
特許文献2には、上記タッチパッドを備えたノート型のパーソナルコンピュータとして、タッチパネル式の携帯情報処理装置が開示されている。当該携帯情報処理装置は、タッチパネルへの接触面積を検出する。また、携帯情報処理装置は、当該検出されたタッチ面積と予め設定された面積で表されるパラメータとに基づき、タッチペンでタッチされたか、あるいは指でタッチされたかを判別する。携帯情報処理装置は、指でタッチされたと判断した場合、入力座標データ(たとえばテンキー)を指で入力可能な大きさで表示する。
また、従来、タッチパネルやデジタイザといった座標入力装置が知られている。
特許文献3には、上記座標入力装置として、タッチパネルの機能とデジタイザの機能とを備えた構成が開示されている。より詳しくは、特許文献3の座標入力装置は、2つの光走査検出部が、当該座標入力装置の入力板への指示位置を検出するタッチパネルを構成する。また、2つの振動センサが、入力板に印加された振動に基づいて、高精度に座標値を獲得するデジタイザを構成する。
座標入力の行われた状態では、座標入力装置は、一方の光走査検出部のみを駆動して、入力板に近接あるいは接触する物体の大きさを検出する。検出された大きさが所定の値よりも小さい(指先程度の大きさ)場合は、座標入力装置は、タッチ入力があったものと判定して、2つの光走査検出部を駆動してタッチ入力の座標値を獲得する。一方、検出された大きさが所定の値よりも大きい(握り拳以上の大きさ)場合は、座標入力装置は、ペン入力が行われていると判断し、2つの振動センサにより座標検出を行なう。
特開2000−339097号公報 特開平9−231006号公報 特開平10−254623号公報
しかしながら、特許文献1の携帯型パーソナルコンピュータでは、上述した機能ボタンを備える必要がある。また、携帯型パーソナルコンピュータは、少なくとも機能ボタンのオン・オフによって動作モードが切り換えるため、ユーザは、携帯型パーソナルコンピュータの動作モードが、どの動作モードであるのかを意識する必要がある。
また、特許文献2の携帯情報処理装置では、たとえばユーザが指でタッチする場合、ユーザは、入力座標データをタッチする操作(タッチ入力操作)しか行なえない。また、ユーザがタッチペンでタッチする場合であっても、ユーザは、タッチ入力操作しか行なえない。
また、特許文献3の座標入力装置は、検出した物体の大きさのみに着目して処理を行なうため、指の接触のさせ方に応じた処理を行なうことはできない。つまり、ユーザがどのような姿勢で指を接触させようが、座標入力装置が実行する処理は異なることはない。さらに、ユーザがタッチペンを用いている場合であっても、手の掌が近接あるいは接触していないときには、座標入力装置は、指によるタッチ入力と判断してしまう。
本願発明は、上記問題点に鑑みなされたものであって、その目的は、ユーザにとって直感的な操作を実現可能な電子機器、当該電子機器の動作モード設定方法、およびプログラムを提供することにある。
本発明のある局面に従うと、電子機器は、第1表示画面を備えた電子機器であって、第1表示画面上の物体を、当該第1表示画面を介してスキャンするスキャン手段と、スキャンにより得られたデータのうち物体の形状を示す形状データに基づいて、電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定する設定手段とを備える。
好ましくは、物体が第1表示画面に接触した状態における第1表示画面と物体とのなす角度、または当該接触した状態における第1表示画面の法線と物体とのなす角度を接触角度とすると、電子機器は、形状データに基づいて接触角度を検出する角度検出手段をさらに備える。設定手段は、接触角度に基づいて動作モードを設定する。
好ましくは、形状データは、第1表示画面における物体が接触している接触領域の形状を示した第1要素データと、接触領域の近傍領域の形状を示した第2要素データとを含む。接触領域と近傍領域とを合わせた領域を検出領域とすると、電子機器は、形状データに基づいて、検出領域と接触領域とを検出する領域検出手段をさらに備える。角度検出手段は、少なくとも、検出領域を示したデータと接触領域を示した第1要素データとに基づいて、接触角度を検出する。
好ましくは、電子機器は、第1表示画面を含んだ表示装置をさらに備える。表示装置は、当該表示装置の内部に、第1表示画面から当該表示装置の外部に光を照射する光源を含む。スキャン手段は、光源から照射される光を用いてスキャンを行なう。スキャンにより得られたデータは、光のうち物体による反射光に基づいた電圧値または電力値を示したデータである。検出領域は、電圧値または電力値が第1閾値よりも高い領域であり、接触領域は、電圧値または電力値が第1閾値よりも大きい第2閾値よりも高い領域である。角度検出手段は、検出領域を示したデータ、接触領域を示した第1要素データ、第1閾値、および第2閾値に基づいて、接触角度を検出する。
好ましくは、スキャン手段は、外部光源から電子機器に対して照射される散乱光を用いてスキャンを行なう。スキャンにより得られたデータは、散乱光に基づいた電圧値または電力値を示したデータである。検出領域は、電圧値または電力値が第1閾値よりも低い領域である。接触領域は、電圧値または電力値が第1閾値よりも小さい第2閾値よりも低い領域である。角度検出手段は、検出領域を示したデータ、接触領域を示した第1要素データ、第1閾値、および第2閾値に基づいて、接触角度を検出する。
好ましくは、電子機器は、第1表示画面を含んだ表示装置と、表示装置の外部に第1表示画面に対して光を照射する光源とをさらに備える。スキャン手段は、光源から照射される光を用いてスキャンを行なう。スキャンにより得られたデータは、光に基づいた電圧値または電力値を示したデータである。検出領域は、電圧値または電力値が第1閾値よりも低い領域である。接触領域は、電圧値または電力値が第1閾値よりも小さい第2閾値よりも低い領域である。記角度検出手段は、検出領域を示したデータ、接触領域を示した第1要素データ、第1閾値、および第2閾値に基づいて、接触角度を検出する。
好ましくは、電子機器は、接触領域の中心点と、検出領域のうち中心点から最も離れた点との距離を算出する距離算出手段をさらに備える。角度検出手段は、検出領域を示したデータと接触領域を示した第1要素データとに基づくデータである上記算出された距離、第1閾値、および第2閾値に基づいて接触角度を検出する。
好ましくは、第1表示画面における直交座標系の座標軸をX軸とY軸とし、物体と第1表示画面とが接触している状態において、第1表示画面に向かって物体が指している方向を接触方向とすると、電子機器は、形状データに基づいて、接触方向が、X軸の正方向の成分を有する第1方向およびX軸の負方向の成分を有する第2方向のいずれかの方向であるかを判断する方向判断手段をさらに備える。設定手段は、判断結果に基づいて、電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定する。
好ましくは、第1表示画面における直交座標系の座標軸をX軸とY軸とし、物体と第1表示画面とが接触している状態において、第1表示画面に向かって物体が指している方向を接触方向とすると、電子機器は、形状データに基づいて、接触方向が、X軸の正方向の成分を有する第1方向およびX軸の負方向の成分を有する第2方向のいずれかの方向であるかを判断する方向判断手段をさらに備える。設定手段は、接触角度と判断結果とに基づいて、電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定する。
好ましくは、電子機器は、第1表示画面を含んだ表示装置と、第1表示画面に対する外部光源による散乱光の入射光量が、予め定められた値よりも大きいかを判断する光量判断手段とをさらに備える。表示装置は、当該表示装置の内部に、第1表示画面から当該表示装置の外部に光を照射する光源を含む。スキャン手段は、入射光量が予め定められた値よりも大きいと判断された場合、散乱光を用いてスキャンを行い、入射光量が予め定められた値よりも大きくないと判断された場合、表示装置の外部に光を照射する光源から照射される光を用いたスキャンを行なう。
好ましくは、電子機器は、第1表示画面を含んだ表示装置と、第1表示画面に対する外部光源からの散乱光の入射光量が、予め定められた値よりも大きいか否かを判断する光量判断手段と、物体が第1表示画面に接触している状態において、散乱光によって物体が第1表示画面上に形成する影の本数を、スキャンにより得られたデータに基づいて測定する本数測定手段と、影の本数が、予め定められた値よりも多いか否かを判断する本数判断手段と、表示装置の外部に第1表示画面に対して光を照射する第1光源とをさらに備える。表示装置は、当該表示装置の内部に、第1表示画面から当該表示装置の外部に光を照射する第2光源を含む。スキャン手段は、入射光量が予め定められた値よりも大きいと判断された場合、影の本数が予め定められた値よりも多いと判断されたとき、第1光源から照射される光を用いたスキャンを行い、影の本数が当該予め定められた値よりも多くないと判断されたとき、散乱光を用いてスキャンを行い、入射光量が予め定められた値よりも大きくないと判断された場合、第2光源から照射される光を用いたスキャンを行なう。
好ましくは、複数の動作モードは、第1表示画面に対する物体の接触をポインタ操作として処理する第1動作モードと、第1表示画面に対する物体の接触をタッチ操作として処理する第2動作モードとを含む。設定手段は、接触角度が予め定められた第1範囲内の角度である場合には、電子機器の動作モードを第1動作モードに設定し、接触角度が予め定められた第2範囲内の角度である場合には、電子機器の動作モードを第2動作モードに設定する。
好ましくは、接触角度が、第1範囲内の角度から第2範囲内の角度へと連続的に遷移した場合、設定手段は、電子機器の動作モードを、当該接触角度の連続的な遷移を、当該遷移する直前のポインタの位置に表示されていた画像をクリックするクリック操作として処理する動作モードに設定する。
好ましくは、電子機器は、時間を計測するタイマをさらに備える。接触角度が、第1範囲内の角度から第2範囲内の角度へと連続的に遷移した場合、当該遷移後一定時間内における第1表示画面における物体の接触領域の位置の変動が、予め定められた範囲内であるとき、設定手段は、電子機器の動作モードを、当該接触角度の連続的な遷移を当該遷移する直前のポインタの位置に表示されていた画像をクリックするクリック操作として処理する動作モードに設定する。
好ましくは、遷移後一定時間における、第1表示画面における物体の接触領域の位置の変動が、予め定められた範囲外であるとき、設定手段は、電子機器の動作モードを、接触領域の位置の変動を、当該接触角度の連続的な遷移を当該遷移する直前のポインタの位置に表示されていた画像をドラッグするドラッグ操作として処理する動作モードに設定する。
好ましくは、電子機器は、データ入力用の複数の操作キーを第1表示画面に表示させる表示制御手段をさらに備える。各操作キーには、複数の文字が予め割り当てられている。物体が、複数の操作キーのうちの1つの操作キーが表示された表示領域に接触した場合、設定手段は、当該1つの操作キーに割り当てられた複数の文字のうち、物体の接触角度に応じた文字を入力候補として扱う動作モードに設定する。電子機器は、物体が表示領域から離れたことに基づき、入力候補を確定文字として処理する入力処理手段をさらに備える。
好ましくは、電子機器は、第1オペレーティングシステムと第2オペレーティングシステムとを実行する。複数の動作モードは、第1表示画面に対する物体の接触を第1オペレーティングシステムに対する操作として処理する第1動作モードと、第1表示画面に対する物体の接触を第2オペレーティングシステムに対する操作として処理する第2動作モードとを含む。設定手段は、接触角度が予め定められた第1範囲内の角度である場合には、電子機器の動作モードを第1動作モードに設定し、接触角度が予め定められた第2範囲内の角度である場合には、電子機器の動作モードを第2動作モードに設定する。
好ましくは、電子機器は、第1表示画面を含むディスプレイと複数の入力キーを含む入力キー群とを備えた入力装置である。ディスプレイと入力キー群とは、X軸と当該X軸に垂直なY軸とで規定される平面上に配されている。ディスプレイは、入力キー群よりもY軸負方向側に配されている。複数の入力キーのうち少なくとも1つの入力キーには、当該入力キーに割り当てられた文字が表示されている。Y軸負方向側からY軸正方向側に向かって、当該文字が正立している。
好ましくは、電子機器は、各々にディスプレイを備える複数の外部端末との間で通信を行なう通信手段をさらに備える。通信手段は、接触角度に基づいて設定された動作モードにおいて通信対象として規定された外部装置に対して、制御コマンドを送信する。
好ましくは、電子機器は、第1表示画面を含むディスプレイである。電子機器は、第1表示画面にソフトウェアキーボードを示したキーボード画像を表示させる表示制御手段をさらに備える。
好ましくは、電子機器は、第1表示画面を含むディスプレイと、複数の入力キーを含む入力キー群を備えたキーボードとをさらに備えている。キーボードが第1表示画面上に載置されている。
好ましくは、電子機器は、第1表示画面を含む第1ディスプレイと複数の入力キーを含む入力キー群とを含む入力装置と、第2表示画面を含む第2ディスプレイとをさらに備える。第1ディスプレイと入力キー群とは、X軸と当該X軸に垂直なY軸とで規定される平面上に配されている。第1ディスプレイは、入力キー群よりもY軸負方向側に配されている。第2ディスプレイは、入力キー群よりもY軸正方向側に配されている。複数の入力キーのうち少なくとも1つの入力キーには、当該入力キーに割り当てられた文字が表示されている。Y軸負方向側からY軸正方向側に向かって、当該文字が正立している。
好ましくは、電子機器は、第1表示画面および第2表示画面の各々に画像を表示させる表示制御手段をさらに備える。電子機器は、第1オペレーティングシステムと第2オペレーティングシステムとを実行する。表示制御手段は、第1表示画面に、第1オペレーティングシステムに基づく画像を表示させ、第2表示画面に、第2オペレーティングシステムに基づく画像を表示させる。
好ましくは、電子機器は、グラフィックソフトウェアを格納した記憶装置をさらに備えている。表示制御手段は、グラフィックソフトウェアの実行時のユーザインターフェイス画面を、第1表示画面と第2表示画面とに表示させる。複数の動作モードは、第1表示画面に対する物体の接触を第2表示画面におけるポインタ操作として処理する第1動作モードと、第1表示画面に対する物体の接触を第2表示画面におけるタッチ操作として処理する第2動作モードとを含む。設定手段は、接触角度が予め定められた第1範囲内の角度である場合には、電子機器の動作モードを第1動作モードに設定し、接触角度が予め定められた第2範囲内の角度である場合には、電子機器の動作モードを第2動作モードに設定する。
好ましくは、タッチ操作が、ユーザインターフェイス画面における描画領域に対する操作である場合、表示制御手段は、タッチ操作に基づいた描画処理を行なう。
好ましくは、電子機器は、アプリケーションソフトウェアを格納した記憶装置をさらに備えている。表示制御手段は、アプリケーションソフトウェアの実行時のユーザインターフェイス画面を第2表示画面に表示させるとともに、アプリケーションソフトウェアの実行時に予め定められた処理を受け付けた場合、ユーザインターフェイス画面に応じた印刷イメージを第1表示画面に表示させる。複数の動作モードは、第1表示画面に対する物体の接触を第2表示画面におけるポインタ操作として処理する第1動作モードと、第1表示画面に対する物体の接触を第1表示画面におけるタッチ操作として処理する第2動作モードとを含む。設定手段は、接触角度が予め定められた第1範囲内の角度である場合には、電子機器の動作モードを第1動作モードに設定し、接触角度が予め定められた第2範囲内の角度である場合には、電子機器の動作モードを第2動作モードに設定する。
好ましくは、電子機器は、ウェブブラウザのソフトウェアを格納した記憶装置をさらに備えている。表示制御手段は、ウェブブラウザの起動に基づき、予め設定されたポータルサイトを第1表示画面に表示させる。複数の動作モードは、第1表示画面に対する物体の接触を第2表示画面におけるポインタ操作として処理する第1動作モードと、第1表示画面に対する物体の接触を第1表示画面におけるタッチ操作として処理する第2動作モードとである。設定手段は、接触角度が予め定められた第1範囲内の角度である場合には、電子機器の動作モードを第1動作モードに設定し、接触角度が予め定められた第2範囲内の角度である場合には、電子機器の動作モードを第2動作モードに設定する。
好ましくは、接触角度が予め定められた第2範囲内の角度である場合、表示制御手段は、ポータルサイトにおけるリンク先を示す画像がタッチ操作によって選択されたことに基づき、当該リンク先を示す画像により特定されるリンク先のウェブサイトを第2表示画面に表示させる。
好ましくは、第2表示画面にポータルサイトとは異なるウェブサイトが表示されている状態において、接触角度が予め定められた第1範囲内の角度である場合、表示制御手段は、第1表示画面に表示されるサイトを、ポータルサイトから第2表示画面に表示されているウェブサイトに切り換える。
好ましくは、電子機器は、メディアプレーヤのソフトウェアを格納した記憶装置をさらに備えている。表示制御手段は、メディアプレーヤの起動に基づき、映像を表示するための表示領域を第2表示画面に設定する処理を行なうとともに、映像の表示を制御するためのソフトウェアキーを含む画像を第1表示画面に表示させる。複数の動作モードは、第1表示画面に対する物体の接触を第2表示画面におけるポインタ操作として処理する第1動作モードと、第1表示画面に対する物体の接触を第1表示画面におけるタッチ操作として処理する第2動作モードとである。設定手段は、接触角度が予め定められた第1範囲内の角度である場合には、電子機器の動作モードを第1動作モードに設定し、接触角度が予め定められた第2範囲内の角度である場合には、電子機器の動作モードを第2動作モードに設定する。
好ましくは、電子機器は、当該電子機器とは異なる複数の電化製品を示した画像データと、各電化製品の動作を制御するアプリケーションソフトウェアとを格納した記憶装置をさらに備えている。表示制御手段は、アプリケーションソフトウェアを起動した場合、画像データに基づき第2表示画面に複数の電化製品を示す画像を表示させる。複数の動作モードは、第1表示画面に対する物体の接触を第2表示画面におけるポインタ操作として処理する第1動作モードと、第1表示画面に対する物体の接触を第1表示画面におけるタッチ操作として処理する第2動作モードとを含む。設定手段は、接触角度が予め定められた第1範囲内の角度である場合には、電子機器の動作モードを第1動作モードに設定し、接触角度が予め定められた第2範囲内の角度である場合には、電子機器の動作モードを第2動作モードに設定する。第1動作モードでは、ポインタ操作が予め定められた時間より短い場合、ポインタ操作をクリック操作として処理する。表示制御手段は、第2表示画面においてクリック操作により選択された電化製品の動作を制御するためのソフトウェアキーを含む画像を第1表示画面に表示させる。
本発明の他の局面に従うと、電子機器は、表示画面を備えた電子機器であって、指紋を示した基準画像を予め格納した記憶装置と、表示画面上の指を、当該表示画面を介してスキャンするスキャン手段と、指を表示画面に投影したときの指先が指す方向を指先方向とすると、基準画像における指紋の領域に対する、指先方向におけるスキャンされた指の指紋の領域の割合を算出する割合算出手段と、算出された割合に基づいて、電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定する設定手段とを備える。
好ましくは、基準画像は、指の第1関節より先の部分を第1表示画面に平行な状態で当該第1表示画面に接触させた場合においてスキャンを行なうことにより得られる画像である。
本発明のさらに他の局面に従うと、電子機器は、多点入力が可能な静電容量方式のタッチパネルを備えた電子機器であって、タッチパネルに指が接触した際の容量の変化を検出する検出手段と、検出結果に基づいて、タッチパネル上における、指が接触している領域と当該指が当該タッチパネルに近接している領域との形状を算出する算出手段と、算出された形状に基づいて、電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定する設定手段とを備える。
本発明のさらに他の局面に従うと、動作モード設定方法は、表示画面を備えた電子機器における動作モード設定方法であって、表示画面上の物体を、当該表示画面を介してスキャンするステップと、スキャンにより得られたデータのうち物体の形状を示す形状データに基づいて、電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定するステップとを備える。
本発明のさらに他の局面に従うと、動作モード設定方法は、表示画面を備えた電子機器における動作モード設定方法であって、電子機器は、指紋を示した基準画像を予め格納しており、動作モード設定方法は、表示画面上の指を、当該表示画面を介してスキャンするステップと、指を表示画面に投影したときの指先が指す方向を指先方向とすると、基準画像における指紋の領域に対する、指先方向におけるスキャンされた指の指紋の領域の割合を算出するステップと、算出された割合に基づいて、電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定するステップとを備える。
本発明のさらに他の局面に従うと、動作モード設定方法は、電子機器における動作モード設定方法であって、電子機器は、多点入力が可能な静電容量方式のタッチパネルを備え、動作モード設定方法は、タッチパネルに指が接触した際の容量の変化を検出するステップと、検出結果に基づいて、タッチパネル上における、指が接触している領域と当該指が当該タッチパネルに近接している領域との形状を算出するステップと、算出された形状に基づいて、電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定するステップとを備える。
本発明のさらに他の局面に従うと、プログラムは、表示画面を備えた電子機器における動作モードを制御するプログラムであって、プログラムは、表示画面上の物体を、当該表示画面を介してスキャンするステップと、スキャンにより得られたデータのうち物体の形状を示す形状データに基づいて、電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定するステップとを、電子機器に実行させる。
本発明のさらに他の局面に従うと、プログラムは、表示画面を備えた電子機器における動作モードを制御するプログラムであって、電子機器は、指紋を示した基準画像を予め格納しており、プログラムは、表示画面上の指を、当該表示画面を介してスキャンするステップと、指を表示画面に投影したときの指先が指す方向を指先方向とすると、基準画像における指紋の領域に対する、指先方向におけるスキャンされた指の指紋の領域の割合を算出するステップと、算出された割合に基づいて、電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定するステップとを、電子機器に実行させる。
本発明のさらに他の局面に従うと、プログラムは、電子機器における動作モードを制御するプログラムであって、電子機器は、多点入力が可能な静電容量方式のタッチパネルを備え、プログラムは、タッチパネルに指が接触した際の容量の変化を検出するステップと、検出結果に基づいて、タッチパネル上における、指が接触している領域と当該指が当該タッチパネルに近接している領域との形状を算出するステップと、算出された形状に基づいて、電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定するステップとを、電子機器に実行させる。
ユーザにとって直感的な操作を実現可能となる。
電子機器の外観を示した図である。 電子機器のハードウェア構成を表わすブロック図である。 電子機器の液晶パネルの構成と、当該液晶パネルの周辺回路とを示した図である。 液晶パネルとバックライトとの断面図である。 光センサ回路を動作させる際のタイミングチャートを示した図である。 液晶パネルとバックライトとの断面図であって、スキャンの際にフォトダイオードがバックライトからの光を受光する構成を示した図である。 コマンドの概略構成を示した図である。 種別「000」のコマンドを説明するための図である。 種別「001」のコマンドを説明するための図である。 種別「010」のコマンドを説明するための図である。 種別「011」のコマンドを説明するための図である。 種別「100」のコマンドを説明するための図である。 種別「101」のコマンドを説明するための図である。 応答データの概略構成を示した図である。 指をスキャンすることにより得られた画像を示した図である。 他の光センサ内蔵液晶パネルの回路図である。 スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。 電子機器の変形例のハードウェア構成を表わすブロック図である。 液晶パネルに対してユーザの指を寝かした状態で、指を液晶パネルの表示画面に接触させた場合を示した図である。 液晶パネルに対してユーザの指を立てた状態で、指を液晶パネルの表示画面に接触させた場合を示した図である。 図19の状態で指が液晶パネルの表示画面に接触した場合における「ポインタ操作」を具体的に示した図である。 図20の状態で指が液晶パネルの表示画面に接触した場合における「タッチ操作」を具体的に示した図である。 ポインタ操作とタッチ操作とを、1つの図において説明した図である。 電子機器のブロックを示した図である。 電子機器で実行される処理の流れを示したフローチャートである。 接触角度に関する閾値を3つ設けた場合における、電子機器の処理の流れを示したフローチャートである。 電子機器で実行される処理の流れを図26よりも詳しく示したフローチャートである。 電子機器で実行される処理の流れを図27よりも詳しく示したフローチャートである。 図28のフローチャートで示した処理の一部を説明するための図である。 液晶パネル240に内蔵された赤外線(内部光)を照射する光源を用いてスキャンを行った際に得られるスキャン画像を説明するための図である。 赤外線を用いてスキャンした場合であって、接触角度θ1で指を液晶パネルの表示画面に接触させた場合における、接触領域と検出領域とを説明するための図である。 赤外線を用いてスキャンした場合であって、接触角度θ2で指を液晶パネルの表示画面に接触させた場合における、上記接触領域と上記検出領域とを説明するための図である。 指の接触角度を説明するための図である。 具体的な接触角度θの検出方法の一例を説明するための図である。 散乱光である外部光を用いてスキャンを行った際に得られるスキャン画像を説明するための図である。 電子機器の外観を示した図である。 図36の光源からの光を用いてスキャンを行った際に得られるスキャン画像を説明するための図である。 方向判断部を用いた場合の、電子機器の処理を説明するための図である。 検出した接触角度θと方向判断部による判断結果を用いた構成を説明するための図である。 電子機器によるスキャン方法の選択処理の流れを示したフローチャートである。 電子機器における新たな処理を説明するための図である。 図27および図28のフローチャートで示した処理の一部を説明するための図である。 電子機器における、さらに新たな処理を説明するための図である。 入力処理部を用いた場合における電子機器の処理を示した図である。 電子機器で行なわれる処理の流れを示したフローチャートである。 電子機器の変形例の外観を示した図である。 ユーザの指の操作を示した図である。 電子機器に対するユーザ操作を説明するための図である。 電子機器における処理を説明するための図である。 電子機器における他の処理を説明するための図である。 電子機器におけるさらに他の処理を説明するための図である。 電子機器におけるさらに他の処理を説明するための図である。 電子機器におけるさらに他の処理を説明するための図である。 電子機器の外観を示した図である。 指が接触角度θ1で液晶パネルの表示画面に接触した場合における「ポインタ操作」を示した図である。 指が接触角度θ2で液晶パネルの表示画面に接触した場合における「タッチ操作」を示した図である。 電子機器の外観を示した図である。 指が接触角度θ1で液晶パネルの表示画面に接触した場合における「ポインタ操作」を示した図である。 指が接触角度θ2で液晶パネルの表示画面に接触した場合における「タッチ操作」を示した図である。 電子機器を含んだ通信システムの構成を示した図である。 電子機器の外観を示した図である。 従来のパーソナルコンピュータの構成を示した図であって、図61と比較するための比較図である。 指を、液晶パネルの表示画面に対して寝かせた状態で接触させた場合を説明するための図である。 指を、図63(a)よりも少し立てた状態で表示画面に接触させた場合を説明するための図である。 指を、図64(a)よりも少し立てた状態で表示画面に接触させた場合を説明するための図である。 指を、図65(a)よりも少し立てた状態で表示画面に接触させた場合を説明するための図である。 電子機器のブロックを示した図である。 液晶パネルに内蔵された赤外線(内部光)を照射する光源を用いてスキャンを行った際に得られるスキャン画像を説明するための図である。 液晶パネルに内蔵された赤外線を照射する光源を用いてスキャンを行った際に得られるスキャン画像を説明するための図である。 電子機器のブロックを示した図である。 電子機器の外観を示した図である。 カメラにより撮影された画像を示した図である。 電子機器のブロックを示した図である。 立体表示装置における接触角度θの算出手法を説明するための図である。
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
<<光センサ液晶を備えた電子機器について>>
光センサ液晶を備えた電子機器の概要について、以下説明する。なお、以下では、電子機器が2画面を備える場合を例に挙げて説明するが、これに限定されるものではない。たとえば、後述するように、電子機器は、1画面であってもよい。
<1.電子機器の外観>
図1は、本実施の形態に係る電子機器100の外観を示した図である。図1を参照して、電子機器100は、第1の筐体100Aと第2の筐体100Bとを含む。
第1の筐体100Aと第2の筐体100Bとは、ヒンジ100Cにより折畳み可能に接続されている。第1の筐体100Aは、光センサ内蔵液晶パネル140を備える。第2の筐体100Bは、光センサ内蔵液晶パネル240を備える。このように、電子機器100は、光センサ内蔵液晶パネルを2つ備える。
ユーザが電子機器100を使用する際には、操作キー177よりも液晶パネル240が、ユーザ側に配される。なお、以下では、説明の便宜上、液晶パネル240と操作キー177とは、X軸と当該X軸に垂直なY軸とで規定される平面上に配されているとして説明する。
液晶パネル240は、操作キー177よりもY軸負方向側に配されている。液晶パネル140は、操作キー177よりもY軸正方向側に配されている。より詳しくは、電子機器100が開いた状態(つまり、折り畳んだ状態ではない状態)において、液晶パネル140は、操作キー177よりもY軸正方向側に配されている。さらに詳しくは、第1の筐体100Aと第2の筐体100Bとのなす角度が略90度以上の状態において、液晶パネル140は、操作キー177よりもY軸正方向側に配されている。また、液晶パネル140は、当該状態において、操作キー177に対して液晶パネル240とは反対側に配されているともいえる。操作キー177における複数の入力キーのうち少なくとも1つの入力キーには、当該入力キーに割り当てられた文字が表示されている。たとえば、当該文字として、アルファベットやカナが表示されている。また、Y軸負方向側からY軸正方向側に向かって、上記文字が正立している。たとえば、操作キー177がQWERTY方式のキーボードである場合、Y軸負方向からY軸正方向に、「Z」を示した入力キー、「A」を示した入力キー、「Q」を示した入力キーが、当該順に配されている。
なお、電子機器100は、PDA(Personal Digital Assistant)、ノート型のパーソナルコンピュータ、携帯型電話機、電子辞書などの表示機能を有する携帯型デバイスとして構成される。
<2.ハードウェア構成について>
次に、図2を参照して、電子機器100の具体的構成の一態様について説明する。図2は、電子機器100のハードウェア構成を表わすブロック図である。
電子機器100は、第1ユニット1001と、第2ユニット1002とを含む。第2ユニット1002は、電子機器100から着脱可能に第1ユニット1001に接続されている。第1ユニット1001は、本体装置101と、表示装置102とを含む。第2ユニット1002は、表示装置103と、本体装置104とを含む。
第1の筐体100Aは、表示装置102を含む。第2の筐体100Bは、本体装置101を含む。また、第2の筐体100Bは、第2ユニット1002を含む。
(第1ユニットについて)
本体装置101は、CPU(Central Processing Unit)110と、RAM(Random Access Memory)171と、ROM(Read-Only Memory)172と、メモリカードリーダライタ173と、外部通信部174と、マイク175と、スピーカ176と、操作キー177と、電源スイッチ191と、電源回路192と、電源検出部193と、USB(Universal Serial Bus)コネクタ194と、アンテナ195と、LAN(Local Area Network)コネクタ196とを含む。各構成要素(110,171〜177,193)は、相互にデータバスDB1によって接続されている。メモリカードリーダライタ173には、メモリカード1731が装着される。
CPU110は、プログラムを実行する。操作キー177は、電子機器100の使用者による指示の入力を受ける。RAM171は、CPU110によるプログラムの実行により生成されたデータ、または操作キー177を介して入力されたデータを揮発的に格納する。ROM172は、データを不揮発的に格納する。また、ROM172は、EPROM(Erasable Programmable Read-Only Memory)やフラッシュメモリなどのデータの書込みおよび消去が可能なROMである。
外部通信部174は、他の電子機器と通信を行なう。具体的には、外部通信部174は、USBコネクタ194を介して、たとえば第2ユニット1002と通信を行なう。また、外部通信部174は、アンテナ195を介して、たとえば第2ユニット1002と無線通信を行なう。さらに、外部通信部174は、LANコネクタ196を介して、他の電子機器との間で有線通信を行なう。
なお、本体装置101は、Bluetooth(登録商標)以外の無線通信により、他の電子機器と通信を行なってもよい。たとえば、外部通信部174は、図示しない無線LANアンテナを介して、LANに接続された他の電子機器との間で無線通信を行なってもよい。あるいは、図示しない赤外線ポートを介して、他の電子機器との間で無線通信を行なってもよい。
電源スイッチ191は、電子機器100を起動させるためのスイッチである。
電源スイッチ191がオンすると、電源回路192は、電源検出部193を介して、データバスDB1に接続されている各構成要素と表示装置102とに電力を供給する。また、電源スイッチ191がオンすると、電源回路192は、電源検出部193を介することなく、外部通信部174に電力を供給する。
電源検出部193は、電源回路192からの出力を検出する。また、電源検出部193は、当該検出した出力に関する情報(たとえば、電圧値や電流値)を、CPU110に送る。
USBコネクタ194は、第1ユニット1001を第2ユニット1002に接続するために用いられる。なお、本体装置101は、USBコネクタ194に加えて他のUSBコネクタを備えていてもよい。
第1ユニット1001は、USBコネクタ194を介して、第2ユニット1002にデータを送信する。また、第1ユニット1001は、USBコネクタ194を介して、第2ユニット1002からデータを受信する。さらに、第1ユニット1001は、USBコネクタ194を介して、第2ユニット1002に電力を供給する。
アンテナ195は、第1ユニット1001と、他の通信装置(たとえば第2ユニット1002)との間における、Bluetooth(登録商標)の規格に沿った通信に用いられる。LANコネクタ196は、電子機器100をLANに接続するために用いられる。
表示装置102は、ドライバ130と、光センサ内蔵液晶パネル140(以下、液晶パネル140と称する)と、内部IF178と、バックライト179と、画像処理エンジン180とを含む。
ドライバ130は、液晶パネル140およびバックライト179を駆動するための駆動回路である。ドライバ130に含まれる各種の駆動回路については、後述する。
液晶パネル140は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル140は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行なうことができる。液晶パネル140の詳細については、後述する。
内部IF(Interface)178は、本体装置101と表示装置102との間で、データの遣り取りを仲介する。
バックライト179は、液晶パネル140の裏面に配置された光源である。バックライト179は、当該裏面に対して均一な光を照射する。
画像処理エンジン180は、ドライバ130を介して液晶パネル140の動作を制御する。ここで、当該制御は、内部IF178を介して本体装置101から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン180は、液晶パネル140から出力されるデータを処理し、処理したデータを内部IF178を介して本体装置101に送る。さらに、画像処理エンジン180は、ドライバ制御部181と、タイマ182と、信号処理部183とを含む。
ドライバ制御部181は、ドライバ130に対して制御信号を送ることによりドライバ130の動作を制御する。また、ドライバ制御部181は、本体装置101から送られてくるコマンドを解析する。そして、ドライバ制御部181は、当該解析の結果に基づいた制御信号をドライバ130に送る。ドライバ130の動作の詳細については、後述する。
タイマ182は、時刻情報を生成し、信号処理部183に対して時刻情報を送る。
信号処理部183は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部183は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部183は、当該デジタルデータに対して、本体装置101から送られてくるコマンドの内容に応じたデータ処理を行なう。そして、信号処理部183は、上記データ処理を行なった後のデータと、タイマ182から取得した時刻情報とを含んだデータ(以下、応答データと称する)を本体装置101に送る。また、信号処理部183は、後述するスキャンデータを連続して複数格納できるRAM(図示せず)を備えている。
上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する(図7,図8,および図14)。
なお、タイマ182は、必ずしも画像処理エンジン180に備えられている必要はない。たとえば、タイマ182は、表示装置102内における、画像処理エンジン180の外部に備えられていてもよい。あるいは、タイマ182は、本体装置101に備えられていてもよい。また、マイク175およびスピーカ176は、電子機器100が常に備える構成ではなく、電子機器100の実施例によっては、マイク175およびスピーカ176のいずれかあるいは両方を有さない構成であってもよい。
ここで、表示装置102は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル140の周辺機器を当該液晶パネル140のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、液晶パネル140のガラス基板上に一体形成されている。なお、表示装置102が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、上記ガラス基板以外の基板に構成されていてもよい。
(第2ユニットについて)
第2ユニット1002は、第1ユニット1001から電力の供給を受ける。具体的には、後述するUSBコネクタ294と第1ユニット1001のUSBコネクタ194とを接続することにより、第2ユニット1002は、第1ユニット1001の電源回路192から電力の供給を受ける。
本体装置104は、CPU210と、RAM271と、ROM272と、外部通信部274と、電源検出部293と、USBコネクタ294と、アンテナ295と、信号強度検出部297とを含む。各構成要素(210,271,272,274,293)は、相互にデータバスDB2によって接続されている。
CPU210は、プログラムを実行する。RAM271は、CPU210によるプログラムの実行により生成されたデータを揮発的に格納する。ROM272は、データを不揮発的に格納する。また、ROM272は、EPROM(Erasable Programmable Read-Only Memory)やフラッシュメモリなどのデータの書込みおよび消去が可能なROMである。
外部通信部274は、他の電子機器との間で通信を行なう。具体的には、外部通信部274は、USBコネクタ294を介して、たとえば第1ユニット1001と通信を行なう。また、外部通信部274は、アンテナ295を介して、たとえば第1ユニット1001と通信を行なう。
なお、本体装置104は、Bluetooth(登録商標)以外の無線通信により、他の電子機器(たとえば、第1ユニット1001)と通信を行なってもよい。たとえば、外部通信部274は、図示しない赤外線ポートを介して、他の電子機器との間で無線通信を行なってもよい。
信号強度検出部297は、アンテナ295を介して受信した信号についての強度を検出する。そして、信号強度検出部297は、検出した強度を外部通信部274に送る。
USBコネクタ294は、第2ユニット1002を第1ユニット1001に接続するために用いられる。
第2ユニット1002は、USBコネクタ294を介して、第1ユニット1001にデータを送信する。また、第2ユニット1002は、USBコネクタ294を介して、第1ユニット1001からデータを受信する。さらに、第2ユニット1002は、上述したように、USBコネクタ294を介して、第1ユニット1001から電力の供給を受ける。なお、第2ユニット1002は、第1ユニット1001から供給された電力を、図示しないバッテリに蓄電する。
アンテナ295は、第2ユニット1002と、たとえば第1ユニット1001との間における、Bluetooth(登録商標)の規格に沿った通信に用いられる。
電源検出部293は、USBコネクタ294を介して給電された電力を検出する。また、電源検出部293は、当該検出した電力についての情報を、CPU210に送る。
また、本体装置104は、赤外線通信を行なう機能を備えていてもよい。
表示装置103は、ドライバ230と、光センサ内蔵液晶パネル240(以下、「液晶パネル240」と称する)と、内部IF278と、バックライト279と、画像処理エンジン280とを含む。画像処理エンジン280は、ドライバ制御部281と、タイマ282と、信号処理部283とを含む。
表示装置103は、表示装置102と同様な構成を有する。つまり、ドライバ230、液晶パネル240、内部IF278、バックライト279、および画像処理エンジン280は、表示装置102における、ドライバ130、液晶パネル140、内部IF178、バックライト179、画像処理エンジン180と同じ構成をそれぞれ有する。ドライバ制御部281、タイマ282、および信号処理部283は、表示装置102における、ドライバ制御部181、タイマ182、信号処理部183と同じ構成をそれぞれ有する。したがって、表示装置103に含まれる各機能ブロックについての説明は、繰り返さない。
ところで、電子機器100における処理は、各ハードウェアおよびCPU110により実行されるソフトウェアによって実現される。このようなソフトウェアは、ROM172に予め記憶されている場合がある。また、ソフトウェアは、メモリカード1731その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ173その他の読取装置によりその記憶媒体から読み取られて、あるいは、外部通信部174または通信IF(図示せず)を介してダウンロードされた後、ROM172に一旦格納される。そのソフトウェアは、CPU110によってROM172から読み出され、RAM171に実行可能なプログラムの形式で格納される。CPU110は、そのプログラムを実行する。
図2に示される電子機器100の本体装置101を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、RAM171、ROM172、メモリカード1731その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器100の本体装置101のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、記憶媒体としては、メモリカードに限られず、CD−ROM、FD(Flexible Disk)、ハードディスク、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを除く)、光カード、マスクROM、EPROM、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
<3.光センサ内蔵液晶パネルの構成および駆動について>
次に、液晶パネル140の構成と、当該液晶パネル140の周辺回路の構成とについて説明する。図3は、液晶パネル140の構成と、当該液晶パネル140の周辺回路とを示した図である。
図3を参照して、液晶パネル140は、画素回路141と、光センサ回路144と、走査信号線Giと、データ信号線SRjと、データ信号線SGjと、データ信号線SBjと、センサ信号線SSjと、センサ信号線SDjと、読出信号線RWiと、リセット信号線RSiとを含む。なお、iは、1≦i≦mを満たす自然数であり、jは1≦j≦nを満たす自然数である。
また、図2に示した表示装置102のドライバ130は、液晶パネル140の周辺回路として、走査信号線駆動回路131と、データ信号線駆動回路132と、光センサ駆動回路133と、スイッチ134と、アンプ135とを含む。
走査信号線駆動回路131は、図2に示すドライバ制御部181から制御信号TC1を受ける。そして、走査信号線駆動回路131は、制御信号TC1に基づき、各走査信号線(G1〜Gm)に対して、走査信号線G1から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路131は、単位時間毎に走査信号線(G1〜Gm)の中から1つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するTFT(Thin Film Transistor)142のゲートをターンオンできるだけの電圧(以下、ハイレベル電圧)を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
データ信号線駆動回路132は、図2に示すドライバ制御部181から画像データ(DR,DG,DB)を受ける。そして、データ信号線駆動回路132は、3n個のデータ信号線(SR1〜SRn,SG1〜SGn,SB1〜SBn)に対して、上記単位時間毎に、1行分の画像データに対応する電圧を順次印加する。
なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
画素回路141は、1つの画素の輝度(透過率)を設定するための回路である。また、画素回路141は、マトリクス状にm×n個配されている。より詳しくは、画素回路141は、図3の縦方向にm個、横方向にn個配されている。
画素回路141は、Rサブピクセル回路141rと、Gサブピクセル回路141gと、Bサブピクセル回路141bとからなる。これら3つの回路(141r,141g,141b)は、それぞれ、TFT142と、画素電極と対向電極とからなる1組の電極対143と、図示しないコンデンサとを含む。
なお、n型のトランジスタとp型のトランジスタとを作れるCMOS(Complementary Metal Oxide Semiconductor)を実現できること、キャリア(電子または正孔)の移動速度がアモルファスシリコン薄膜トランジスタ(a-Si TFT)に比べて数百倍早いことなどから、表示装置102では、TFT142として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、TFT142は、n型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT142がp型チャネルの電界効果トランジスタであってもよい。
Rサブピクセル回路141r内のTFT142のソースはデータ信号線SRjに接続されている。また、当該TFT142のゲートは走査信号線Giに接続されている。さらに、当該TFT142のドレインは、電極対143の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Gサブピクセル回路141gおよびBサブピクセル回路141bについても、各TFT142のソースが接続されるデータ信号線が異なる以外は、Rサブピクセル回路141rと同じ構成である。このため、これら2つの回路(141g,141b)についての説明は、繰り返さない。
ここで、画素回路141における輝度の設定について説明する。まず、走査信号線Giに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、TFT142のゲートがターンオンする。このようにTFT142のゲートがターンオンした状態で、各データ信号線(SRj,SGj,SBj)に対して、それぞれ指定された電圧(1画素分の画像データに対応する電圧)を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ(補助容量)によって、次のフレーム期間において走査信号線Giが選択されるまで保持される。
光センサ駆動回路133は、図2に示すドライバ制御部181から制御信号TC2を受ける。
そして、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎にリセット信号線(RS1〜RSm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDRを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧VSSRを印加したままとする。たとえば、電圧VDDRを0Vに、電圧VSSRを−5Vに設定すればよい。
また、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎に読出信号線(RW1〜RWm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDを印加する。なお、選択されていない読出信号線に対しては、上記電圧VSSRを印加したままとする。たとえば、VDDの値を8Vに設定すればよい。
なお、電圧VDDRを印加するタイミング、および電圧VDDを印加するタイミングについては、後述する。
光センサ回路144は、フォトダイオード145と、コンデンサ146と、TFT147とを含む。なお、以下では、TFT147がn型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT147がp型チャネルの電界効果トランジスタであってもよい。
フォトダイオード145のアノードは、リセット信号線RSiに接続されている。一方、フォトダイオード145のカソードは、コンデンサ146の一方の電極に接続されている。また、コンデンサ146の他方の電極は、読出信号線RWiに接続されている。なお、以下では、フォトダイオード145とコンデンサ146との接続点をノードNと称する。
TFT147のゲートは、ノードNに接続されている。また、TFT147のドレインは、センサ信号線SDjに接続されている。さらに、TFT147のソースは、センサ信号線SSjに接続されている。光センサ回路144を用いたセンシングの詳細については、後述する。
スイッチ134は、センサ信号線(SD1〜SDn)に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ134の切り換え動作は、光センサ駆動回路133により行われる。なお、スイッチ134が導通状態となった場合にセンサ信号線(SD1〜SDn)に印加される電圧については、後述する。
アンプ135は、各センサ信号線(SS1〜SSn)から出力された電圧を増幅する。なお、増幅された電圧は、図2に示した信号処理部183に送られる。
なお、画素回路141を用いて画像を液晶パネル140に表示させるタイミングと、光センサ回路144を用いてセンシングするタイミングとについては、画像処理エンジン180が制御する。
図4は、液晶パネル140とバックライト179との断面図である。図4を参照して、液晶パネル140は、アクティブマトリクス基板151Aと、対向基板151Bと、液晶層152とを含む。対向基板151Bは、アクティブマトリクス基板151Aに対向して配されている。液晶層152は、アクティブマトリクス基板151Aと対向基板151Bとに挟まれている。バックライト179は、アクティブマトリクス基板151Aに関し液晶層152と反対側に配されている。
アクティブマトリクス基板151Aは、偏光フィルタ161と、ガラス基板162と、電極対143を構成する画素電極143aと、フォトダイオード145と、データ信号線157と、配向膜164とを含む。さらに、図4には示していないが、アクティブマトリクス基板151Aは、図3に示した、コンデンサ146と、TFT147と、TFT142と、走査信号線Giとを含む。
また、アクティブマトリクス基板151Aにおいては、バックライト179側から、偏光フィルタ161、ガラス基板162、画素電極143a、および配向膜164が、この順に配されている。フォトダイオード145とデータ信号線157とは、ガラス基板162の液晶層152側に形成されている。
対向基板151Bは、偏光フィルタ161と、ガラス基板162と、遮光膜163と、カラーフィルタ(153r,153g,153b)と、電極対143を構成する対向電極143bと、配向膜164とを含む。
また、対向基板151Bにおいては、液晶層152側から、配向膜164、対向電極143b、カラーフィルタ(153r,153g,153b)、ガラス基板162、および偏光フィルタ161が、この順に配されている。遮光膜163は、カラーフィルタ(153r,153g,153b)と同一の層に形成されている。
カラーフィルタ153rは、赤色の波長の光を透過させるフィルタである。カラーフィルタ153gは、緑色の波長の光を透過させるフィルタである。カラーフィルタ153bは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード145は、カラーフィルタ153bに対向する位置に配されている。
液晶パネル140は、外光やバックライト179などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、液晶パネル140は、画素電極143aと対向電極143bとの間に電圧を印加することにより液晶層152の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ161を配置している。
なお、フォトダイオード145の位置は、上記の位置に限定されるものではなく、カラーフィルタ153rに対向する位置やカラーフィルタ153gに対向する位置に設けることも可能である。
ここで、光センサ回路144の動作について説明する。図5は、光センサ回路144を動作させる際のタイミングチャートを示した図である。図5において、電圧VINTは、光センサ回路144内のノードNにおける電位を示している。また、電圧VPIXは、図3に示したセンサ信号線SSjからの出力電圧であって、アンプ135によって増幅される前の電圧を示している。
以下では、光センサ回路144をリセットするためのリセット期間と、光センサ回路144を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
まず、リセット期間について説明する。リセット期間においては、リセット信号線RSiに印加する電圧を、ローレベル(電圧VSSR)からハイレベル(電圧VDDR)へと瞬間的に切り換える。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。このように、リセット信号線RSiに上記ハイレベルの電圧を印加することにより、フォトダイオード145の順方向(アノード側からカソード側)に電流が流れ始める。その結果、ノードNの電位である電圧VINTは、以下の式(1)で示す値となる。なお、式(1)では、フォトダイオード145における順方向の電圧降下量をVfとしている。
VINT=VSSR+|VDDR−VSSR|−Vf … (1)
それゆえ、ノードNの電位は、図5に示すとおり、電圧VDDRよりもVfだけ小さな値となる。
ここで、電圧VINTは、TFT147のゲートをターンオンさせる閾値以下であるため、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。また、コンデンサ146の電極間には、上記電圧VINT分の差が生じる。このため、コンデンサ146には、当該差に応じた電荷が蓄積される。
次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線RSiに印加する電圧は、ハイレベル(電圧VDDR)からローレベル(電圧VSSR)へと瞬間的に切り換わる。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。
このように、リセット信号線RSiに印加する電圧をローレベルに変化させることにより、ノードNの電位は、リセット信号線RSiの電圧および読出信号線RWiの電圧よりも高くなる。このため、フォトダイオード145においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード145は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード145が受光すると、フォトダイオード145のカソード側からアノード側へと電流が流れ始める。その結果、図5に示すとおり、ノードNの電位(つまり、電圧VINT)は時間の経過とともに低くなる。
なお、このように電圧VINTが低下し続けるため、TFT147のゲートはターンオンした状態にはならない。それゆえ、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。
次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線RSiに印加する電圧をローレベル(電圧VSSR)のままとする。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)からハイレベル(電圧VDD)へと瞬間的に切り換わる。ここで、電圧VDDは、電圧VDDRよりも高い値である。
このように、読出信号線RWiにハイレベルの電圧を瞬間的に印加することにより、図5に示すとおり、コンデンサ146を介してノードNの電位が引き上げられる。なお、ノードNの電位の上昇幅は、読出信号線RWiに印加する電圧に応じた値となる。ここで、ノードNの電位(つまり、電圧VINT)が、TFT147のゲートをターンオンさせる閾値以上まで引き上げられるため、TFT147のゲートがターンオンする。
この際、TFT147のドレイン側に接続されたセンサ信号線SDj(図3参照)に予め一定電圧を印加しておけば、TFT147のソース側に接続されたセンサ信号線SSjからは、図5のVPIXのグラフに示すとおり、ノードNの電位に応じた電圧が出力される。
ここで、フォトダイオード145が受光する光の量(以下、受光量と称する)が少ないと、図5のVINTのグラフに示す直線の傾きが緩やかになる。その結果、電圧VPIXは、受光量が多い場合に比べて高くなる。このように、光センサ回路144は、フォトダイオード145の受光量に応じて、センサ信号線SSjに出力する電圧の値を変化させる。
ところで、上記においては、m×n個存在する光センサ回路のうち、1つの光センサ回路144に着目して、その動作を説明した。以下では、液晶パネル140における各光センサ回路の動作について説明する。
まず、光センサ駆動回路133は、n個のセンサ信号線(SD1〜SDn)の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路133は、リセット信号線RS1に対して、通常よりもハイレベルな電圧VDDRを印加する。なお、他のリセット信号線(RS2〜RSm)および読出信号線(RW1〜RWm)については、ローレベルの電圧を印加したままの状態とする。これにより、図3における1行目のn個の光センサ回路が、上述したリセット期間に入る。その後、1行目のn個の光センサ回路は、センシング期間に入る。さらに、その後、1行目のn個の光センサ回路は、読出期間に入る。
なお、n個のセンサ信号線(SD1〜SDn)の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
1行目のn個の光センサ回路の読出期間が終了すると、光センサ駆動回路133は、リセット信号線RS2に対して、通常よりもハイレベルな電圧VDDRを印加する。つまり、2行目のn個の光センサ回路のリセット期間に入る。リセット期間が終了すると、2行目のn個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
以降は、上述した処理が、順に、3行目のn個の光センサ回路、4行目のn個の光センサ回路、…m行目のn個の光センサ回路に対して行われる。その結果、センサ信号線(SS1〜SSn)からは、1行目のセンシング結果、2行目のセンシング結果、…、m行目のセンシング結果が、この順に出力される。
なお、表示装置102においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果が液晶パネル140から出力される。このため、以下では、液晶パネル140から出力される1行目からm行目までのm行分の電圧に関するデータに対して、信号処理部183が上述したデータ処理を行なった後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物(たとえば、ユーザの指)をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。
また、上記においては、m×n個の光センサ回路全てを用いてスキャンを行なう構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル140の表面の一部の領域に関してスキャンを行なうことも構成としてもよい。
以下では、電子機器100が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー177を介した入力などに基づく本体装置101から送られてくるコマンドにより行われるものとする。なお、液晶パネル140の表面の一部の領域に関してスキャンを行なう場合、画像処理エンジン180が、スキャン対象領域の設定を行なう。なお、当該領域の設定を、操作キー177を介してユーザが指定できる構成としてもよい。
このように、液晶パネル140の表面の一部の領域に関してスキャンを行なう場合には、画像の表示に関し、以下のような利用の態様がある。1つ目は、上記一部の領域(以下、スキャン領域と称する)以外の表面の領域において、画像を表示させる態様である。2つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置101から画像処理エンジン180に送られてくるコマンドに基づく。
図6は、液晶パネル140とバックライト179との断面図であって、スキャンの際にフォトダイオード145がバックライト179からの光を受光する構成を示した図である。
図6を参照して、ユーザの指900が液晶パネル140の表面に接触している場合、バックライト179から発せられた光の一部は、当該接触している領域ではユーザの指900(略平面)にて反射される。そして、フォトダイオード145は、当該反射された光を受光する。
また、指900が接触していない領域においても、バックライト179から発せられた光の一部は、ユーザの指900にて反射される。この場合においても、フォトダイオード145は、当該反射された光を受光する。ただし、当該領域においては液晶パネル140の表面に指900が接触していないため、指900が接触している領域よりも、フォトダイオード145の受光量は少なくなる。なお、バックライト179から発せられた光が、より遠方で反射した場合は、フォトダイオード145での受光量が、より少なくなる。このため、ユーザの指900などが、液晶パネル140に接触していない場合あるいは接近していない場合には、受光量が極めて低くなるか、あるいは指900で反射した光を受光できない。
ここで、バックライト179を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路144は、ユーザの指900により反射した光の光量に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179の点灯と消灯とを制御することにより、液晶パネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、液晶パネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
以上により、表示装置102は、指900によって光が反射されることにより得られる像(以下、反射像とも称する)をスキャンすることができる。
なお、指900以外のスキャン対象物としては、スタイラスなどが挙げられる。
ところで、本実施の形態においては、電子機器100の表示装置として液晶パネルを例に挙げて説明しているが、液晶パネルの代わりに有機EL(Electro-Luminescence)パネルなどの他のパネルを用いてもよい。
<4.データについて>
次に、第1ユニット1001と第2ユニット1002との間でやり取りされるコマンド、および第1ユニット1001内の本体装置101と表示装置102との間でやり取りされるコマンドについて説明する。
図7は、コマンドの概略構成を示した図である。図7を参照して、コマンドは、ヘッダDA01と、第1フィールドDA02と、第2フィールドDA03と、第3フィールドDA04と、第4フィールドDA05と、第5フィールドDA06と、予備のデータ領域DA07とを含む。
図8は、種別「000」のコマンド(つまり、センシングコマンド)を説明するための図である。CPU110は、種別「000」のコマンド(以下、「第1コマンド」と称する)を、第1ユニット1001の本体装置101から第2ユニット1002に送る。あるいは、CPU110は、第1コマンドを、本体装置101から表示装置102に送る。なお、以下においては、CPU110が第1コマンドを第1ユニット1001の本体装置101から第2ユニット1002に送る場合を例に挙げて説明する。
CPU110は、ヘッダDA01に、コマンドの種別(「000」)、コマンドの送信先等を書き込む。CPU110は、第1フィールドDA02に、番号が「1」のタイミングの値を書き込む。CPU110は、第2フィールドDA03に、番号が「2」のデータ種別の値を書き込む。CPU110は、第3フィールドDA04に、番号が「3」の読取方式の値を書き込む。CPU110は、第4フィールドDA05に、番号が「4」の画像階調の値を書き込む。CPU110は、第5フィールドDA06に、番号が「5」の解像度の値を書き込む。
第1フィールドDA02に「00」が設定された第1コマンドは、画像処理エンジン280に対して、そのときのスキャンデータの送信を要求する。つまり、センシング第1コマンドは、当該第1コマンドを画像処理エンジン280が受信した後に、液晶パネル240の光センサ回路を用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、第1フィールドDA02に「01」が設定された第1コマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、第1フィールドDA02に「10」が設定された第1コマンドは、一定周期毎にスキャンデータの送信を要求する。
第2フィールドDA03に「001」が設定された第1コマンドは、部分画像における中心座標の座標値の送信を要求する。また、第2フィールドDA03に「010」が設定された第1コマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、第2フィールドDA03に「100」が設定された第1コマンドは、全体画像の送信を要求する。
ここで、「全体画像」とは、m×n個の光センサ回路を用いてスキャンした際に、各光センサ回路から出力される電圧に基づいて、画像処理エンジン280により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。
なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、液晶パネル240の表面の一部の領域に関してスキャンを行なう構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。
第3フィールドDA04に「00」が設定されたセンシング第1コマンドは、バックライト279を点灯してスキャンすることを要求する。また、第3フィールドDA04に「01」が設定された第1コマンドは、バックライト279を消灯してスキャンすることを要求する。なお、バックライト279を消灯してスキャンする構成については後述する(図17)。さらに、第3フィールドDA04に「10」が設定された第1コマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト279を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切り換えて、スキャン対象物のスキャンを行なうことを指す。
第4フィールドDA05に「00」が設定された第1コマンドは、白黒の2値の画像データを要求する。また、第4フィールドDA05に「01」が設定された第1コマンドは、多階調の画像データを要求する。さらに、第4フィールドDA05に「10」が設定された第1コマンドは、RGBのカラーの画像データを要求する。
第5フィールドDA06に「0」が設定された第1コマンドは、解像度の高い画像データを要求する。また、第5フィールドDA06に「1」が設定された第1コマンドは、解像度の低い画像データを要求する。
また、上記第1コマンドには、図8に示したデータ以外に、スキャンを行なう領域(光センサ回路144を駆動する画素の領域)の指定、スキャンを行なうタイミング、バックライト179の点灯のタイミングなどが記述されている。
なお、画像処理エンジン280は、第1コマンドの内容を解析し、当該解析の結果に従ったデータ(つまり、応答データ)を本体装置101に送り返す。
図9は、種別「001」のコマンド(以下、「第2コマンド」と称する)を説明するための図である。CPU110は、第2コマンドを、第1ユニット1001の本体装置101から第2ユニット1002に送る。
CPU110は、ヘッダDA01に、コマンドの種別(「001」)、コマンドの送信先等を書き込む。CPU110は、第1フィールドDA02に、番号が「1」の表示要求の値を書き込む。CPU110は、第2フィールドDA03に、番号が「2」の個数/種類に関する情報を書き込む。CPU110は、第3フィールドDA04に、番号が「3」の表示範囲の値を書き込む。CPU110は、第4フィールドDA05に、番号が「4」の画像データに関する情報を書き込む。
第1フィールドDA02に「001」が設定された第2コマンドは、液晶パネル240(サブ画面)に画像を表示させることを画像処理エンジン280に対して要求する。また、第1フィールドDA02に「010」が設定された第2コマンドは、液晶パネル240にアイコンを表示させることを画像処理エンジン280に対して要求する。さらに、第1フィールドDA02に「011」が設定された第2コマンドは、液晶パネル240に手書領域を表示させることを画像処理エンジン280に対して要求する。
第2フィールドDA03には、液晶パネル240に表示させる画像の個数、および手書言語の種類を指定する番号が格納される。画像処理エンジン280は、当該画像の個数、または言語の種類に応じた処理を行なう。
第3フィールドDA04に「01」が設定された第2コマンドは、液晶パネル240における表示範囲を座標にて指定することを、画像処理エンジン280に対して要求する。また、第3フィールドDA04に「10」が設定された第2コマンドは、液晶パネル240における表示範囲を表示領域の全体にすることを、画像処理エンジン280に対して要求する。
第4フィールドDA05には、液晶パネル240に表示させる画像データと、当該画像データを表示する位置情報とが格納される。画像処理エンジン280は、当該位置情報で特定される位置に当該画像データを表示する処理を行なう。
図10は、種別「010」のコマンド(以下、「第3コマンド」と称する)を説明するための図である。CPU110は、第3コマンドを、第1ユニット1001の本体装置101から第2ユニット1002に送る。あるいは、CPU210は、第3コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
CPU110,210は、ヘッダDA01に、コマンドの種別(「001」)、コマンドの送信先等を書き込む。CPU110,210は、第1フィールドDA02に、番号が「1」のOS(Operating System)処理要求の値を書き込む。CPU110,210は、第2フィールドDA03に、番号が「2」のOS情報の値を書き込む。
第1フィールドDA02に「01」または「10」が設定された第3コマンドは、第2ユニット1002から第1ユニット1001に送信される。
第1フィールドDA02に「01」が設定された第3コマンドは、第1ユニット1001に対して、当該第1ユニット1001(メイン装置)のOSの種類を示した情報の送信を要求する。また、第1フィールドDA02に「10」が設定された第3コマンドは、第1ユニット1001に対して、OS情報にて指定されたOSの起動を要求する。
第2フィールドDA03に「000」、「001」、または「010」が設定された第3コマンドは、第2ユニット1002から第1ユニット1001に送信される。
第2フィールドDA03に「000」が設定された第3コマンドは、第1ユニット1001におけるOSの起動を要求しない。また、第2フィールドDA03に「001」が設定された第3コマンドは、第2ユニット1002が第1OSの起動を選択したことを示す。さらに、第2フィールドDA03に「010」が設定された第3コマンドは、第2ユニット1002が第2OSの起動を選択したことを示す。
図11は、種別「011」のコマンド(以下、「第4コマンド」と称する)を説明するための図である。CPU210は、第4コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
CPU210は、ヘッダDA01に、コマンドの種別(「011」)、コマンドの送信先等を書き込む。CPU210は、第1フィールドDA02に、番号が「1」の起動アプリに関する情報を書き込む。CPU210は、第2フィールドDA03に、番号が「2」の起動時情報を書き込む。
第1フィールドDA02には、第1ユニット1001において起動させるアプリを指定する情報が格納される。第2フィールドDA03には、起動設定時に用いる情報、および起動後に用いる情報が格納される。
図12は、種別「100」のコマンド(以下、「第5コマンド」と称する)を説明するための図である。CPU210は、第5コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
CPU210は、ヘッダDA01に、コマンドの種別(「100」)、コマンドの送信先等を書き込む。CPU210は、第1フィールドDA02に、番号が「1」の受信要求に関する情報を書き込む。CPU210は、第2フィールドDA03に、番号が「2」の個数に関する情報を書き込む。CPU210は、第3フィールドDA04に、番号が「3」のファイルに関する情報を書き込む。
第1フィールドDA02に「01」が設定された第5コマンドは、第1ユニット1001に対してファイルの受信を要求する。また、第2フィールドDA03には、第2ユニット1002が第1ユニット1001に送信するファイルの個数が格納される。さらに、第3フィールドDA04には、第2ユニット1002が第1ユニット1001に送信するファイルが格納される。
図13は、種別「101」のコマンド(以下、「第6コマンド」と称する)を説明するための図である。CPU110は、第6コマンドを、第1ユニット1001の本体装置101から第2ユニット1002に送る。あるいは、CPU210は、第6コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
CPU110,210は、ヘッダDA01に、コマンドの種別(「101」)、コマンドの送信先等を書き込む。CPU110,210は、第1フィールドDA02に、番号が「1」の通信種別の値を書き込む。CPU110,210は、第2フィールドDA03に、番号が「2」の接続先の値を書き込む。CPU110,210は、第3フィールドDA04に、番号が「3」の転送先の値を書き込む。CPU110,210は、第4フィールドDA05に、番号が「4」の信号強度の取得タイミングの値を書き込む。
第1フィールドDA02に「001」が設定された第6コマンドは、相手側の装置に対して赤外線通信を行なうことを要求する。また、第1フィールドDA02に「010」が設定された第6コマンドは、相手側の装置に対してBluetooth(登録商標)による無線通信を行なうことを要求する。さらに、第1フィールドDA02に「011」が設定された第6コマンドは、相手側の装置に対してLAN通信を行なうことを要求する。
第2フィールドDA03に「000」が設定された第6コマンドは、通信の接続先を指定する情報を有していないことを示す。
また、第2フィールドDA03に「001」が設定された第6コマンドは、第1ユニット1001によって、当該第1ユニット1001の接続先の装置に送信される。そのような第6コマンドは、第1ユニット1001が接続する装置に関する情報の送信を要求する。
さらに、第2フィールドDA03に「010」が設定された第6コマンドは、第2ユニット1002によって、当該第2ユニット1002の接続先の第1ユニット1001に送信される。そのような第6コマンドは、第2ユニット1002が接続する第1ユニット1001に関する情報の送信を要求する。
また、第2フィールドDA03に「011」が設定された第6コマンドは、第2ユニット1002によって、当該第2ユニット1002の接続先の第1ユニット1001に送信される。そのような第6コマンドは、第2ユニット1002に関する情報を接続先の機器情報として設定することを要求する。
さらに、第2フィールドDA03に「100」が設定された第6コマンドは、第1ユニット1001によって、当該第1ユニット1001の接続先の装置(たとえば、第2ユニット1002)に送信される。そのような第6コマンドは、第1ユニット1001に関する情報を接続先の機器情報として設定することを要求する。
第3フィールドDA04に「000」が設定された第6コマンドは、データ(たとえば、ファイル)の転送先を指定する情報を有していないことを示す。
また、第3フィールドDA04に「001」が設定された第6コマンドは、第1ユニット1001によって、データ転送先の装置に送信される。そのような第6コマンドは、データ転送先の装置に関する情報の送信を要求する。
さらに、第3フィールドDA04に「010」が設定された第6コマンドは、第2ユニット1002によって、データ転送先の第1ユニット1001に送信される。そのような第6コマンドは、データ転送先の第1ユニット1001に関する情報の送信を要求する。
また、第3フィールドDA04に「011」が設定された第6コマンドは、第2ユニット1002によって、データ転送先の第1ユニット1001に送信される。そのような第6コマンドは、第2ユニット1002に関する情報をデータ転送元の機器情報として設定することを要求する。
さらに、第3フィールドDA04に「100」が設定された第6コマンドは、第1ユニット1001によって、データ転送先の装置(たとえば、第2ユニット1002)に送信される。そのような第6コマンドは、第1ユニット1001に関する情報をデータ転送元の機器情報として設定することを要求する。
第4フィールドDA05に「00」、「01」、「10」、または「11」が設定された第6コマンドは、第1ユニット1001によって、第2ユニット1002に送信される。
第4フィールドDA05に「00」が設定された第6コマンドは、第2ユニット1002に対して、信号強度を示したデータの送信を要求しない。また、第4フィールドDA05に「01」が設定された第6コマンドは、信号強度検出部297に対して、そのときの信号強度を示したデータの送信を要求する。さらに、第4フィールドDA05に「10」が設定された第6コマンドは、信号強度に変化があったときの信号強度を示したデータの送信を要求する。また、第4フィールドDA05に「11」が設定された第6コマンドは、一定周期毎に信号強度を示したデータの送信を要求する。
図14は、応答データの概略構成を示した図である。応答データは、第1コマンド(センシングコマンド)の内容に応じたデータである。
第1コマンドが本体装置101から第2ユニット1002に送信された場合、CPU210は、応答データを、表示装置103から第1ユニット1001に送信する。また、第1コマンドが本体装置101から第1ユニット1001の表示装置102に送信された場合、画像処理エンジン180は、応答データを、画像処理エンジン180から本体装置101に送信する。なお、以下では、第1コマンドが本体装置101から第2ユニット1002に送信された場合を例に挙げて説明する。
図14を参照して、応答データは、ヘッダのデータ領域DA11と、座標を示すデータ領域DA12と、時刻を示すデータ領域DA13と、画像を示すデータ領域DA14とを含む。ここで、座標を示すデータ領域DA12には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン280のタイマ282から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン280により処理がされた後の画像データ(つまり、スキャンデータ)が書き込まれる。
図15は、指900をスキャンすることにより得られた画像(つまり、スキャン画像)を示した図である。図15を参照して、太実線で囲まれた領域W1の画像が全体画像であり、破線で囲まれた領域P1の画像が部分画像である。また、太線で示した十字の中心点C1が、中心座標となる。
本実施の形態では、矩形の領域であって、かつセンサ信号線SSjからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素(つまり、予め定められた階調または予め定められた輝度以上の画素)全てを含む領域を、部分画像の領域としている。
また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点(つまり図心)との距離とに基づき、重み付け処理を行なうことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。
ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。
第1コマンドのデータ種別を示すデータ領域に「001」が設定されている場合には、画像処理エンジン280は、座標を示すデータ領域DA12に上記中心座標の値を書き込む。この場合、画像処理エンジン280は、画像を示すデータ領域DA14には画像データを書き込まない。画像処理エンジン280は、上記中心座標の値の書込みを行なった後、当該中心座標の値を含む応答データを本体装置104に送る。本体装置104は、当該中心座標の値を含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「001」が設定されている場合には、第1コマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。
また、第1コマンドのデータ種別を示すデータ領域に「010」が設定されている場合には、画像処理エンジン280は、画像を示すデータ領域DA14に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン280は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン280は、上記スキャン結果が変化した部分画像の画像データの書込みを行なった後、当該部分画像の画像データを含む応答データを本体装置104に送る。本体装置104は、当該部分画像の画像データを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「010」が設定されている場合には、第1コマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。
なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指900などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。
また、第1コマンドのデータ種別を示すデータ領域に「011」が設定されている場合には、画像処理エンジン280は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン280は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体装置104に送る。本体装置104は、当該中心座標の値と当該部分画像の画像データとを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「011」が設定されている場合には、第1コマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。
また、第1コマンドのデータ種別を示すデータ領域に「100」が設定されている場合には、画像処理エンジン280は、図14に示した応答データの画像を示すデータ領域DA14に、全体画像の画像データを書き込む。この場合、画像処理エンジン280は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン280は、上記全体画像の画像データの書込みを行なった後、当該全体画像の画像データを含む応答データを本体装置104に送る。本体装置104は、当該全体画像の画像データを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「100」が設定されている場合には、第1コマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。
また、第1コマンドのデータ種別を示すデータ領域に「101」が設定されている場合には、画像処理エンジン280は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14に全体画像の画像データを書き込む。その後、画像処理エンジン280は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体装置104に送る。本体装置104は、当該中心座標の値と当該全体画像の画像データとを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「101」が設定されている場合には、第1コマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。
<5.構成の第1の変形例について>
ところで、液晶パネル140の構成は、図3に示した構成に限定されるものではない。以下では、図3とは異なる態様の液晶パネルについて説明する。
図16は、上記異なる態様である光センサ内蔵液晶パネル140Aの回路図である。図16を参照して、光センサ内蔵液晶パネル140A(以下、液晶パネル140Aと称する)は、1画素内に3つの光センサ回路(144r,144g,144b)を含んでいる。このように液晶パネル140Aが1画素内に3つの光センサ回路(144r,144g,144b)を備える点において、液晶パネル140Aは、1画素内に1つの光センサ回路を備える液晶パネル140と異なる。なお、光センサ回路144の構成と、3つの各光センサ回路(144r,144g,144b)との構成は同じである。
また、1画素内における3つのフォトダイオード(145r,145g,145b)は、それぞれ、カラーフィルタ153r、カラーフィルタ153g、カラーフィルタ153bに対向する位置に配されている。それゆえ、フォトダイオード145rは赤色の光を受光し、フォトダイオード145gは緑色の光を受光し、フォトダイオード145bは青色の光を受光する。
また、液晶パネル140は1画素内において1つの光センサ回路144しか含まないため、1画素内に配設されるTFT147用のデータ信号線は、センサ信号線SSjとセンサ信号線SDjとの2本であった。しかしながら、液晶パネル140Aは1画素内において3つの光センサ回路(144r,144g,144b)を含むため、1画素内に配設されるTFT(147r,147g,147b)用のデータ信号線は6本となる。
具体的には、カラーフィルタ153rに対向する位置に配されたフォトダイオード145rのカソードに接続されたTFT147rに対応して、センサ信号線SSRjとセンサ信号線SDRjとが配設される。また、カラーフィルタ153gに対向する位置に配されたフォトダイオード145gのカソードに接続されたTFT147gに対応して、センサ信号線SSGjとセンサ信号線SDGjとが配設される。さらに、カラーフィルタ153bに対向する位置に配されたフォトダイオード145bのカソードに接続されたTFT147bに対応して、センサ信号線SSBjとセンサ信号線SDBjとが配設される。
このような液晶パネル140Aにおいては、バックライト179から照射された白色光は、3つのカラーフィルタ(153r,153g,153b)を透過し、液晶パネル140Aの表面では、赤、緑、および青とが混ざり白色光となる。ここで、スキャン対象物により白色光が反射されると、スキャン対象物の表面の色素に白色光の一部が吸収され、また一部が反射される。そして、反射された光は、再度、3つのカラーフィルタ(153r,153g,153b)を透過する。
この際、カラーフィルタ153rは赤色の波長の光を透過し、フォトダイオード145rは、当該赤色の波長の光を受光する。また、カラーフィルタ153gは緑色の波長の光を透過し、フォトダイオード145gは、当該緑色の波長の光を受光する。また、カラーフィルタ153bは青色の波長の光を透過し、フォトダイオード145bは、当該青色の波長の光を受光する。つまり、スキャン対象物によって反射された光は3つのカラーフィルタ(153r,153g,153b)によって3原色(R,G,B)に色分解され、各フォトダイオード(145r,145g,145b)は、それぞれに対応した色の光を受光する。
スキャン対象物の表面の色素に白色光の一部が吸収されると、各フォトダイオード(145r,145g,145b)の受光量が各フォトダイオード(145r,145g,145b)で異なることになる。このため、センサ信号線SSRjとセンサ信号線SSGjとセンサ信号線SSBjとの出力電圧は互いに異なる。
それゆえ、各出力電圧に応じて、Rの階調とGの階調とBの階調とを画像処理エンジン180が決定することにより、画像処理エンジン180はRGBのカラー画像を本体装置101へ送ることができる。
以上述べたように、電子機器100が液晶パネル140Aを備えた構成とすることにより、スキャン対象物をカラーでスキャンできることになる。
次に、図17を参照して、前述のスキャンの方法(つまり、図6における反射像をスキャンする方法)とは異なるスキャンの方法について説明する。
図17は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。同図に示すとおり、外光の一部は、指900によって遮られる。それゆえ、指900と接触している液晶パネル140の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指900の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。
ここで、バックライト179を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路144は、液晶パネル140の表面に対する指900の位置に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179を点灯と消灯とを制御することにより、液晶パネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、液晶パネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
以上により、表示装置102は、指900によって外光が遮られることにより得られる像(以下、影像とも称する)をスキャンすることができる。
さらに、表示装置102を、バックライト179を点灯させてスキャンを行なった後に、バックライト179を消灯させて再度スキャンを行なう構成としてもよい。あるいは、表示装置102を、バックライト179を消灯させてスキャンを行なった後に、バックライト179を点灯させて再度スキャンを行なう構成としてもよい。
この場合には、2つのスキャン方式を併用することになるため、2つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。
<6.表示装置について>
表示装置103の動作は、表示装置102の動作と同様、本体装置101からのコマンド(たとえば、第1コマンド)に応じて制御される。表示装置103は表示装置102と同様な構成を有する。それゆえ、表示装置103が表示装置102と同じコマンドを本体装置101から受付けた場合、表示装置103は表示装置102と同様の動作を行なう。このため、表示装置103の構成や動作についての説明は繰り返さない。
なお、本体装置101は、表示装置102と表示装置103とに対して、命令が異なるコマンドを送ることができる。この場合、表示装置102と表示装置103とは別々の動作を行なう。また、本体装置101は、表示装置102および表示装置103のいずれかに対して、コマンドを送ってもよい。この場合、一方の表示装置のみがコマンドに応じた動作を行なう。また、本体装置101が、表示装置102と表示装置103とに命令が同じコマンドを送ってもよい。この場合、表示装置102と表示装置103とは、同じ動作を行なう。
なお、表示装置102の液晶パネル140のサイズと表示装置103の液晶パネル240のサイズとは、同じであってもよいし又は異なっていてもよい。また、液晶パネル140の解像度と液晶パネル240の解像度とは、同じであってもよいし又は異なっていてもよい。
<7.構成の第2の変形例について>
本実施の形態では、電子機器100が、液晶パネル140と液晶パネル240といったそれぞれに光センサを内蔵した液晶パネルを備える構成について説明するが、一方の液晶パネルのみが光センサを内蔵している構成であってもよい。
図18は、電子機器1300のハードウェア構成を表すブロック図である。電子機器1300は、電子機器100と同様、第1の筐体100Aと、第2の筐体100Bとを含む。また、図18を参照して、電子機器1300は、第1ユニット1001Aと、第2ユニット1002とを含む。第1ユニット1001Aは、本体装置101と、表示装置102Aとを含む。第2ユニット1002は、本体装置104と、表示装置103とを含む。
表示装置102Aは、光センサを内蔵しない液晶パネル(つまり、表示機能のみを有する液晶パネル)を含む。電子機器1300は、第1ユニット1001Aが光センサを内蔵しない液晶パネルを含む点で、第1ユニット1001が光センサを内蔵した液晶パネル240を含む電子機器100と異なる。このような電子機器1300は、第2ユニット1002の表示装置103を用いて上述したセンシングを行なう。
また、第1ユニット1001は、光センサを内蔵した液晶パネル140の代わりに、たとえば抵抗膜方式や静電容量方式のタッチパネルを備えてもよい。
また、本実施の形態では、表示装置102がタイマ182を備え、表示装置103がタイマ282を備える構成として説明するが、表示装置102と表示装置103とが1つのタイマを共有する構成としてもよい。
また、本実施の形態では、電子機器100を折畳型の機器として説明するが、電子機器100は必ずしも折畳型に限定されるものではない。たとえば、電子機器100は、第1の筐体100Aが第2の筐体100Bに対してスライドする構成のスライド式の機器であってもよい。
本実施の形態に係る電子機器100は、上記のように構成されているため、第2ユニット1002が、USBコネクタ194,294を介して第1ユニット1001に着脱自在になっている。
そして、本実施の形態に係る電子機器100は、たとえば電源投入時において、以下のような機能を発揮することができる。まず、ユーザが第1ユニット1001の電源スイッチ191を押下すると、第1ユニット1001は電源回路192からの電力を利用することによってBIOS(Basic Input/Output System)を起動させる。
第2ユニット1002は、USBコネクタ194,294を介して第1ユニット1001から電力を取得する。第2ユニット1002は、当該電力を利用することによって、第1ユニット1001との間でデータを送受信することができる。このとき、第2ユニット1002のCPU210は、USBコネクタ194,294からの電力を使用することによって、液晶パネル240にOS(Operation System)の種類を選択可能に表示させることができる。
ユーザは、液晶パネル240を介して、起動したいOSを選択する。CPU210は、ユーザの選択に応じ、USBコネクタ194,294を介して第1ユニット1001へと、起動すべきOSを指定するコマンド(たとえば、図10に示す「第1のOS」コマンド)を送信する。第1ユニット1001は、当該コマンドに応じて、OSを起動する。
また、たとえば、第2ユニット1002は、アンテナ295を介して外部の携帯電話などとの間でデータの送受信を行なう。第2ユニット1002のCPU210は、アンテナ295を介して、外部の携帯電話から写真画像データや対応するサムネイルデータを取得して、当該写真画像データや対応するサムネイルデータをRAM271などに格納する。CPU210は、RAM271からサムネイルデータを読み出して、液晶パネル240に写真のサムネイル画像を選択可能に表示させる。
そして、外部からの選択命令に応じて、CPU210は、液晶パネル240に写真画像を表示させる。あるいは、CPU210は、USBコネクタ294を介して、写真画像を液晶パネル140あるいは表示装置102Aに表示させる。
ところで、上記においては、スキャンの一方法として、バックライト179を用いてスキャンを行なう場合について説明した。しかしながら、スキャンの方法としては、さらに以下の方法が挙げられる。まず、赤外線を照射する光源を、液晶パネル140,240に内蔵しておく。たとえば、電子機器100を、1つの画素に対応付けて、1つの光源を備える構成とする。そして、電子機器100が、当該赤外線の照射のオン・オフを制御することにより、スキャンを行なう。つまり、電子機器100は、バックライト179から光(たとえば白色光)を照射する代わりに、赤外線を照射することにより、バックライト179からの光を用いたスキャンと同様の制御を行なう。このような方法によっても、バックライト179を用いた場合と同様な効果を得ることができる。
<8.電子機器100のハードウェア構成>
電子機器100における処理は、各ハードウェアおよびCPU110,210により実行されるソフトウェアによって実現される。このようなソフトウェアは、RAM171あるいはハードディスク(図示せず)に予め記憶されている場合がある。また、ソフトウェアは、メモリカード1731あるいはDVD−ROM(図示せず)その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ173などの読取装置によりその記憶媒体から読み取られて、あるいは、通信IF8180を介してダウンロードされた後、RAM171やハードディスクに一旦格納される。そのソフトウェアは、CPU110によってRAM171やハードディスクから読み出される。CPU110は、そのプログラムを実行する。
電子機器100の本体装置101,104を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、RAM171あるいはハードディスク、メモリカード1731その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。
なお、記録媒体としては、メモリカード、DVD-ROM、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード、光カード、マスクROM、EPROM(Electronically Programmable Read-Only Memory)、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
<<第1の具体的な実現例(2画面)>>
以下では、説明の便宜上、電子機器1300(図18参照)を用いた場合を例に挙げて、具体的な実現例を説明する。なお、電子機器100を用いた場合も電子機器1300を用いた場合と同様であるため、説明は繰り返さない。
<1.電子機器1300の動作概要>
電子機器1300の動作概要について、図19から23を参照して説明する。電子機器1300は、液晶パネル240の表示画面に物体が接触したことを検出した場合、電子機器1300の動作モードを、当該物体の接触角度に応じた動作モードに設定する。以下では、上記物体が、ユーザの指である場合を例に挙げて説明する。なお、上記物体は、指に限定されるものではなく、たとえばスタイラスペンや筆記具であってもよい。
図19は、液晶パネル240に対してユーザの指900を寝かした状態で、当該指900を当該液晶パネル240の表示画面に接触させた場合を示した図である。図19(a)は、ユーザの指900を寝かした状態で接触させた場合の斜視図である。図19(b)は、図19(a)のXIX−XIX線矢視断面図である。図19(c)は、指900を寝かした状態で得られるスキャン画像を示した図である。
電子機器1300は、図19の状態で指900が液晶パネル240の表示画面に接触したことを検知した場合、電子機器1300の動作モードを、指900の接触をポインタ操作として処理する動作モードに設定する。なお、「ポインタ操作」とは、マウスカーソルを動かす操作をいう。より詳しくは、電子機器1300は、図19の状態で指900が液晶パネル240の表示画面に接触したことを検知した場合、連続して座標入力を受け付けるとともに、当該入力に従ってマウスカーソルの表示位置を変更する。
図20は、液晶パネル240に対してユーザの指900を立てた状態で、当該指900を当該液晶パネル240の表示画面に接触させた場合を示した図である。図20(a)は、ユーザの指900を立てた状態で接触させた場合の斜視図である。図20(b)は、図20(a)のXX−XX線矢視断面図である。図20(c)は、指900を立てた状態で得られるスキャン画像を示した図である。
電子機器1300は、図20の状態で指900が液晶パネル240の表示画面に接触したことを検知した場合、電子機器1300の動作モードを、指900の接触をタッチ操作として処理する動作モードに設定する。なお、「タッチ操作」とは、たとえば、画面に表示されているオブジェクト(たとえばボタン)を選択する操作をいう。
より詳しくは、電子機器1300は、図20の状態で指900が液晶パネル240の表示画面に接触したことを検知した場合、電子機器1300は、指900が接触した領域に対応付けられた画像を特定するとともに、当該画像が示す処理を実行する。たとえば、電子機器1300は、文書作成プログラムで作成されたファイルの上書き保存を示すアイコン(画像)に図20の状態で指900が接触した場合、当該ファイルの上書き保存を実行する。
このように、電子機器1300は、液晶パネル240の表示画面に対する指900の接触角度に応じて、電子機器1300の動作モードを、当該接触をポインタ操作として処理する動作モードおよびタッチ操作として処理する動作モードのうちのいずれかの動作モードに設定する。つまり、電子機器1300は、電子機器1300の動作モードを、指900の接触角度に応じた動作モードに設定する。
図21は、図19の状態で指900が液晶パネル240の表示画面に接触した場合における「ポインタ操作」を具体的に示した図である。図21(a)は、指900の移動を示した図である。図21(b)は、マウスカーソルの移動を説明するための図である。
図21(a)を参照して、ユーザが、予め定められた第1の範囲内の接触角度(以下、「接触角度θ1」と称する)で矢印2101に示すように、指900を液晶パネル240の表示画面上で移動させたとする。ここで、「接触角度」とは、指900が液晶パネル240の表示画面に接触した状態における当該表示画面の法線と指900とのなす角度をいう。また、「第1の範囲」とは、たとえば、45度以上90度以下である。なお、「接触角度」を、指900が液晶パネル240の表示画面に接触した状態における当該表示画面と指900とのなす角度と定義してもよい。
ここで、ユーザが、上述したように指900を矢印2101に示すように移動させた場合、電子機器1300は、図21(b)に示すとおり、表示装置102Aの表示画面に表示していたマウスカーソル2103を、当該移動に基づき矢印2102の方向に移動する。
図22は、図20の状態で指900が液晶パネル240の表示画面に接触した場合における「タッチ操作」を具体的に示した図である。図22(a)は、指900の移動を示した図である。図21(b)は、タッチ操作に伴う処理を説明するための図である。
図22(a)を参照して、ユーザが、指900を矢印2201の方向に移動させて、予め定められた第2の範囲内の接触角度(以下、「接触角度θ2」と称する)で液晶パネル240の表示画面に指900を接触させたとする。「第2の範囲」とは、たとえば、0度以上45未満である。
ここで、ユーザが、当該接触角度θ2でボタンアイコン2202に指900を接触させる動作を行なった場合、電子機器1300は、図22(b)に示すとおり、ボタンアイコン2202の選択に伴った処理を実行する。
図23は、上記ポインタ操作と上記タッチ操作とを、1つの図において説明した図である。図23を参照して、ユーザが、液晶パネル240の表示画面上において、接触角度θ1で指900を矢印2301の方向に移動させた場合、電子機器1300は、表示装置102Aに表示させているマウスカーソル2303を、矢印2302の方向に移動させる。
一方、ユーザが、接触角度θ2で指900を液晶パネル240の表示画面に接触させた場合、電子機器1300は、液晶パネル240に表示されている画像の選択に伴う処理を行なう。たとえば、電子機器1300は、液晶パネル240にウェブサイトを表示している場合、選択された画像がリンク先画像を特定する画像である場合には、表示している画像を当該リンク先の画像に切り換える。
以上の構成により、ユーザは、液晶パネル240を用いることにより、当該液晶パネル240を介した入力を、ポインタ操作とするのか、あるいはタッチ操作とするのかを即座に切り換えることができる。このように、電子機器1300は、ユーザにとって直感的な操作を実現可能となる。
また、ユーザは、操作の切り換えの際などにおいて、メイン画面である、表示装置102Aの表示画面に指900を接触させる必要もない。さらに、電子機器1300を用いることにより、ユーザは、電子機器1300が載置された机の作業面と平行な面において、作業を行なうことができる。したがって、電子機器1300は、ユーザにとって使い勝手がよい。
なお、上記においては、ポインタ操作とタッチ操作との例を挙げて説明したが、当該操作に限定されるものではない。また、上記においては、電子機器1300は、液晶パネル240の表示画面に対する指900の接触角度に応じて動作モードを設定する構成であるとして説明した。しかしながら、電子機器1300は、必ずしも接触角度を用いる必要はない。以下では、まず、電子機器1300が接触角度を用いる構成について、より詳しく説明する。次いで、電子機器1300が接触角度を用いる構成について説明する。
<2.機能ブロック>
図24は、電子機器1300のブロックを示した図である。図24を参照して、電子機器1300は、表示装置102Aと、表示装置103と、記憶装置390と、制御部300とを備えている。記憶装置390は、たとえば、RAM171、ROM172、RAM271、ROM272である。制御部300は、データ取得部310と、領域検出部311と、距離算出部312と、角度検出部313と、設定部314と、方向判断部315と、光量判断部316と、本数測定部317と、本数判断部318と、入力処理部319と、表示制御部320とを備えている。
表示装置103は、上述したように、液晶パネル240を含む。つまり、表示装置103は、液晶パネル240の表示画面上の指900を、当該表示画面を介してスキャンする。
データ取得部310は、表示装置103に対して上記スキャンの実行を指示する。また、データ取得部310は、表示装置103から、上記スキャンにより得られスキャンデータを取得する。
ここで、上記スキャンデータのうち指900の形状を示すデータを「形状データ」とする。当該形状データは、液晶パネル240の表示画面における指900が接触している接触領域の形状を示した第1要素データと、当該接触領域の近傍領域の形状を示した第2要素データとを含んでいる。以下では、接触領域と近傍領域とを合わせた領域を「検出領域」とする。なお、接触領域、近傍領域、および検出領域の具体例については、後述する(図30等)。
領域検出部311は、上記形状データに基づいて、上記検出領域と上記接触領域とを検出する。距離算出部312は、上記接触領域の中心点と、上記検出領域のうち当該中心点から最も離れた点との距離を算出する。
角度検出部313は、上記形状データに基づいて接触角度を検出する。より詳しくは、角度検出部313は、少なくとも、上記検出領域を示したデータと上記接触領域を示した上記第1要素データとに基づいて、接触角度を検出する。さらに詳しくは、角度検出部313は、上記検出領域を示したデータと上記接触領域を示した上記第1要素データとに基づくデータである上記算出された距離と、後述する第1閾値(δpn)および第2閾値(p(xpk)− δppk)(図34参照)とに基づいて接触角度を検出する。角度検出部313の具体的な接触角度の検出方法については、後述する。
設定部314は、上記スキャンデータのうち指900の形状を示す上記形状データに基づいて、電子機器1300の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定する。設定部314は、たとえば、電子機器1300の動作モードを、液晶パネル240の表示画面への接触を「ポインタ操作」として受け付ける動作モード、あるいは当該接触を「タッチ操作」として受け付ける動作モードに設定する。より詳しくは、設定部314は、角度検出部313によって検出された接触角度に基づいて、電子機器1300の動作モードを設定する。
表示制御部320は、表示装置102Aおよび表示装置103に、各種の画像を表示さる。たとえば、表示制御部320は、ウェブサイトを表示装置102A、103に表示させる。
方向判断部315については、後述する「<6.指の方向>」の箇所で説明する。光量判断部316と本数測定部317と本数判断部318とについては、後述する「<7.スキャン方式の選択>」の箇所で説明する。入力処理部319については、後述する「<9.文字入力>」の箇所で説明する。
<3.制御構造>
(1)電子機器1300の制御構造について説明する。図25は、電子機器1300で実行される処理の流れを示したフローチャートである。
図25を参照して、電子機器1300は、ステップS2において、指900が液晶パネル240の表示画面に接触したか否かを検出する。電子機器1300は、指900が表示画面に接触したと判断した場合(ステップS2においてYES)、ステップS4において、当該表示画面に対する指900の接触角度が予め定められた閾値θth以上であるか否かを判断する。
閾値θthは、たとえば、上述した第1の範囲と第2の範囲とを区分する値である。上述した例では、閾値θthは、45度である。一方、電子機器1300は、指900が表示画面に接触していないと判断した場合(ステップS2においてNO)、処理をステップS2に戻す。
電子機器1300は、指900の接触角度θが閾値θth以上である場合(ステップS4においてYES)、ステップS6において、電子機器1300の動作モードを、指900の接触をポインタ操作として処理する動作モードに設定する。つまり、電子機器1300は、ポインタ操作を実行する。一方、電子機器1300は、指900の接触角度θが閾値θth未満である場合(ステップS4においてNO)、ステップS8において、電子機器1300の動作モードを、指900の接触をタッチ操作として処理する動作モードに設定する。つまり、電子機器1300は、タッチ操作を実行する。
このように、電子機器1300は、接触角度θを検出し、検出結果に応じた処理を実行する。
図26は、接触角度に関する閾値を3つ設けた場合における、電子機器1300の処理の流れを示したフローチャートである。図26を参照して、電子機器1300は、ステップS12において、指900が液晶パネル240の表示画面に接触したか否かを検出する。電子機器1300は、指900が表示画面に接触したと判断した場合(ステップS12においてYES)、ステップS14において、当該表示画面に対する指900の接触角度θが予め定められた閾値α以上であるか否かを判断する。一方、電子機器1300は、指900が表示画面に接触していないと判断した場合(ステップS2においてNO)、処理をステップS12に戻す。
電子機器1300は、指900の接触角度θが閾値α以上である場合(ステップS14においてYES)、ステップS16において、電子機器1300の動作モードを操作Aを実行する動作モードに設定する。一方、電子機器1300は、指900の接触角度θが閾値α未満である場合(ステップS14においてNO)、ステップS18において、当該表示画面に対する指900の接触角度θが予め定められた閾値β以上であるか否かを判断する。なお、β<αである。
電子機器1300は、指900の接触角度θが閾値β以上である場合(ステップS18においてYES)、ステップS20において、電子機器1300の動作モードを操作Bを実行する動作モードに設定する。一方、電子機器1300は、指900の接触角度θが閾値β未満である場合(ステップS18においてNO)、ステップS22において、当該表示画面に対する指900の接触角度θが予め定められた閾値γ以上であるか否かを判断する。なお、γ<βである。
電子機器1300は、指900の接触角度θが閾値γ以上である場合(ステップS22においてYES)、ステップS24において、電子機器1300の動作モードを、操作Cを実行する動作モードに設定する。一方、電子機器1300は、指900の接触角度θが閾値γ未満である場合(ステップS22においてNO)、ステップS26において、電子機器1300の動作モードを、操作Dを実行する動作モードに設定する。
このように、電子機器1300は、接触角度に関する閾値を2つ以上設定しておくことにより、指900の接触を3つ以上の異なる操作として処理することも可能である。
(2)図27は、電子機器1300で実行される処理の流れを図26よりも詳しく示したフローチャートである。図27を参照して、電子機器1300は、ステップS102において、指900が液晶パネル240の表示画面に接触したか否かを検出する。電子機器1300は、指900が表示画面に接触したと判断した場合(ステップS102においてYES)、ステップS104において、当該表示画面に対する指900の接触角度が予め定められた閾値θth以上であるか否かを判断する。
電子機器1300は、指900の接触角度θが閾値θth以上である場合(ステップS104においてYES)、ステップS106においてポインタ操作を実行する。一方、電子機器1300は、指900の接触角度θが閾値θth未満である場合(ステップS104においてNO)、ステップS112においてタッチ操作を実行する。ここでは、閾値θthをステップS104、S110、S116において共通な値としているが、たとえば、ステップS104では45度、ステップS110では、より小さな30度、ステップS116では、より大きな60度といったように、別々の閾値θthを用いてもよい。このように別々の閾値θthを用いることにより、電子機器1300は、「一旦、操作モードが確定すると、より大きな変化が行なわなければ異なる操作モードに移行できなくする」といったことが可能となる。なお、上述した処理については、図25に基づいて述べた処理と同じである。
電子機器1300は、ステップS108において、指900が液晶パネル240の表示画面から離れたか否かを検出する。電子機器1300は、指900が表示画面から離れたと判断した場合(ステップS108においてYES)、処理をステップS102に戻す。一方、電子機器1300は、指900が表示画面から離れていないと判断した場合(ステップS108においてNO)、ステップS110において、当該表示画面に対する指900の接触角度が予め定められた閾値θth以上であるか否かを判断する。
電子機器1300は、指900の接触角度θが閾値θth以上である場合(ステップS110においてYES)、処理をステップS106に戻す。一方、電子機器1300は、指900の接触角度θが閾値θth未満である場合(ステップS110においてNO)、処理をステップS112に進める。
電子機器1300は、ステップS114において、指900が液晶パネル240の表示画面から離れたか否かを検出する。電子機器1300は、指900が表示画面から離れたと判断した場合(ステップS114においてYES)、処理をステップS102に戻す。一方、電子機器1300は、指900が表示画面から離れていないと判断した場合(ステップS114においてNO)、ステップS116において、当該表示画面に対する指900の接触角度が予め定められた閾値θth以上であるか否かを判断する。
電子機器1300は、指900の接触角度θが閾値θth以上である場合(ステップS116においてYES)、処理をステップS106に進める。一方、電子機器1300は、指900の接触角度θが閾値θth未満である場合(ステップS116においてNO)、処理をステップS112に戻す。
(3)図28は、電子機器1300で実行される処理の流れを図27よりも詳しく示したフローチャートである。図28は、図27よりも実用的な処理の流れを示したフローチャートである。
図28を参照して、電子機器1300は、ステップS202において、指900が液晶パネル240の表示画面に接触したか否かを検出する。電子機器1300は、指900が表示画面に接触したと判断した場合(ステップS202においてYES)、ステップS204において、タイマ282をリセット(t=0)し、当該タイマ282を用いて時間の測定を開始する。電子機器1300は、ステップS206において、当該表示画面に対する指900の接触角度が予め定められた閾値θth以上であるか否かを判断する。
電子機器1300は、指900の接触角度θが閾値θth以上である場合(ステップS206においてYES)、ステップS208においてポインタ操作を実行する。詳しくは、電子機器1300の制御部300は、ポインタを指900の移動量および移動方向に応じて移動させる。一方、電子機器1300は、指900の接触角度θが閾値θth未満である場合(ステップS206においてNO)、ステップS218においてタッチ操作を実行する。詳しくは、表示装置103は、指900が接触した座標を制御部300に対して出力するが、当該時点においては、制御部300は、タッチ操作を確定させることない。
電子機器1300は、ステップS210において、指900が液晶パネル240の表示画面から離れたか否かを検出する。電子機器1300は、指900が表示画面から離れたと判断した場合(ステップS210においてYES)、ステップS214において、計測時間tが予め定められた閾値Tth以上であるか否かを判断する。
電子機器1300は、計測時間tが予め定められた閾値Tth以上であると判断した場合(ステップS214においてYes)、処理をステップS202に戻す。一方、電子機器1300は、計測時間tが予め定められた閾値Tth未満であると判断した場合(ステップS214においてNo)、ステップS216において、ポインタ確定処理を行なう。ポインタ確定処理とは、ここでは、クリック操作を受け付けた際に実行される処理である。つまり、電子機器1300は、電子機器1300の動作モードを、指900の接触をクリック操作として処理する動作モードに設定する。
電子機器1300は、指900が表示画面から離れていないと判断した場合(ステップS210においてNO)、ステップS212において、当該表示画面に対する指900の接触角度が予め定められた閾値θth以上であるか否かを判断する。電子機器1300は、指900の接触角度θが閾値θth以上である場合(ステップS212においてYES)、処理をステップS208に戻す。一方、電子機器1300は、指900の接触角度θが閾値θth未満である場合(ステップS212においてNO)、処理をステップS218に進める。
電子機器1300は、ステップS220において、指900が液晶パネル240の表示画面から離れたか否かを検出する。電子機器1300は、指900が表示画面から離れたと判断した場合(ステップS220においてYES)、ステップS224において、計測時間tが予め定められた閾値Tth以上であるか否かを判断する。
電子機器1300は、計測時間tが予め定められた閾値Tth以上であると判断した場合(ステップS224においてYes)、処理をステップS202に戻す。一方、電子機器1300は、計測時間tが予め定められた閾値Tth未満であると判断した場合(ステップS224においてNo)、ステップS226において、タッチ確定処理を行なう。タッチ確定処理とは、ここでは、電子機器1300のオペレーシングシステムやアプリケーションソフトに対する座標値の出力処理である。たとえば、当該座標に対応する位置にアイコンが表示されている場合、タッチ確定処理は、クリック操作を受け付けた際に実行される処理と同じとなる。
電子機器1300は、指900が表示画面から離れていないと判断した場合(ステップS220においてNO)、ステップS222において、当該表示画面に対する指900の接触角度が予め定められた閾値θth以上であるか否かを判断する。電子機器1300は、指900の接触角度θが閾値θth以上である場合(ステップS222においてYES)、処理をステップS208に進める。一方、電子機器1300は、指900の接触角度θが閾値θth未満である場合(ステップS222においてNO)、処理をステップS218に戻す。
<4.経過時間に応じた処理>
図29は、図28のフローチャートで示した処理の一部を説明するための図である。図29(a)は、接触角度θが閾値θth以上である場合を説明するための図である。図29(b)は、接触角度θが閾値θth未満である場合を説明するための図である。
図29(a)を参照して、状態Aは、指900が液晶パネル240の表示画面に接触していない状態を示している。つまり、当該状態Aは、図28において、ステップS202においてNOと判断された場合を示している。状態Bは、指900が、閾値θth以上の接触角度θ1で表示画面と接触した状態を示している。つまり、当該状態Bは、図28におけるステップS208の状態を示している。状態Cは、時間の測定を開始してから上記閾値Tth未満で指900を表示画面から離した状態を示している。つまり、状態Cは、図28のステップS214でNOと判断された状態を示している。
当該状態Cに遷移すると、電子機器1300は、上述したように、ユーザの操作をクリック操作と判断する。なお、時間の測定を開始してから上記閾値Tth以上経過した後にユーザが指900を表示画面から離した場合には、電子機器1300は、ユーザの操作をポインタ操作の中断と判断する。
図29(b)を参照して、状態Aは、指900が液晶パネル240の表示画面に接触していない状態を示している。つまり、当該状態Aは、図28において、ステップS202においてNOと判断された場合を示している。状態Bは、指900が、閾値θth未満の接触角度θ2で表示画面と接触した状態を示している。つまり、当該状態Bは、図28におけるステップS218の状態を示している。状態Cは、時間の測定を開始してから上記閾値Tth未満で指900を表示画面から離した状態を示している。つまり、状態Cは、図28のステップS224でNOと判断された状態を示している。
当該状態Cに遷移すると、電子機器1300は、上述したように、ユーザの操作をタッチ操作(キータッチ操作)と判断する。なお、時間の測定を開始してから上記閾値Tth以上経過した後にユーザが指900を表示画面から離した場合には、電子機器1300は、ユーザの操作をタッチ操作の中断と判断する。
以上のように、電子機器1300は、液晶パネル240の表示画面に対する指900の接触時には、接触角度θに応じて、ユーザの操作がポインタ操作かタッチ操作かを判断する。その後、電子機器1300は、指900が当該表示画面に非接触となるまでの時間を計測する。計測した時間が閾値Tth未満であれば、電子機器1300は、ポインタ操作時にはユーザの操作がポインタ位置でのクリック操作であると判断し、タッチ操作時にはユーザの操作がキー(ボタン等)タッチ操作であると判断する。
なお、上記の構成を適用すれば、ダブルクリック(2度押し&離し)やタップ(2度押し/2度目は離さず)によるドラッグ操作(クリックボタンを押したままマウスを動かす操作)も実現できる。
<5.接触角度の検出方法>
接触角度の具体的な検出方法について、3つのスキャン方式に基づき説明する。
(1)内部光利用方式
図30は、上述したように、液晶パネル240に内蔵された赤外線(内部光)を照射する光源を用いてスキャンを行った際に得られるスキャン画像(スキャンデータに基づく画像)を説明するための図である。図30(a)は、指900を液晶パネル240の表示画面に接触させた状態を示した図である。ここで、図30(a)の液晶パネル240の図は、図30(b)のXXX−XXX線矢視断面図である。図30(b)は、図30(a)の状態で指900が表示画面に接触したときに得られるスキャン画像の全体像を示した図である。
図30を参照して、指900が液晶パネル240の表示画面に接触した場合、電子機器1300の領域検出部311は、スキャンデータ(形状データ)に基づき、接触領域3001と検出領域3002とを検出する。領域検出部311は、接触領域3001と検出領域3002との差分領域である近傍領域も検出する。各領域の具体的な検出方法は、後述する(図34)。
なお、図30(a)、(b)において、白色の部分が接触領域3001となる。また、指900が表示画面から浮いている状態の箇所は、指900と表示画面との距離に応じた色(白と黒との中間色(グレー))となる。その他の箇所については、黒色(均一)となる。なお、検出可能範囲3003は、指900により反射した上記赤外線に基づく電圧が一定値(検出下限値)以下とならない範囲である。「検出可能範囲」とは、言い換えれば、指900で反射した赤外線を予め定められた光量以上検出できる範囲である。検出可能範囲3003は、たとえば、0〜3cmである。また、図30(b)では、説明の便宜上、矢視方向を液晶パネル240の表示画面の短手方向としている。
図31は、赤外線を用いてスキャンした場合であって、接触角度θ1で指900を液晶パネル240の表示画面に接触させた場合における、上記接触領域と上記検出領域とを説明するための図である。
図31(a)は、接触角度θ1で指900を液晶パネル240の表示画面に接触させた状態を示した図である。より詳しくは、図31(a)は、図30(a)における接触角度θをθ1とした図である。図31(b)は、図31(a)の状態の際に得られる受光電圧を示した図である。すなわち、図31(b)は、指900を赤外線を用いてスキャンした際に、表示装置103の液晶パネル240から出力される電圧を、液晶パネル240の表示画面上の位置と対応付けて示したグラフである。より詳しくは、図31(b)は、図31(a)に対応する表示画面上の位置での電圧を示した図である。
図31を参照して、指900の接触角度θ1は閾値θth以上であるため、接触領域3101および検出領域3102は、後述する図32の場合に比べて広くなる。なお、電圧δpnは、検出下限値である。検出可能範囲3103は、検出された電圧が電圧δpn以上となる範囲である。
図32は、赤外線を用いてスキャンした場合であって、接触角度θ2で指900を液晶パネル240の表示画面に接触させた場合における、上記接触領域と上記検出領域とを説明するための図である。
図32(a)は、接触角度θ2で指900を液晶パネル240の表示画面に接触させた状態を示した図である。より詳しくは、図32(a)は、図30(a)における接触角度θをθ2とした図である。図32(b)は、図32(a)の状態の際に得られる受光電圧を示した図である。すなわち、図32(b)は、指900を赤外線を用いてスキャンした際に、表示装置103の液晶パネル240から出力される電圧を、液晶パネル240の表示画面上の位置と対応付けて示したグラフである。より詳しくは、図32(b)は、図32(a)の断面図に対応する表示画面上の位置での電圧を示した図である。
図32を参照して、指900の接触角度θ2は閾値θth未満であるため、接触領域3201および検出領域3202は、それぞれ図31の場合の接触領域3101および検出領域3102に比べて狭くなる。なお、検出可能範囲3203は、検出された電圧が電圧δpn以上となる範囲である。つまり、検出可能範囲3203は、図31の検出可能範囲3201と同じ範囲である。
以上のことから、表示画面に対する指900の接触角度θが小さくなるにつれ、接触領域および検出領域は狭くなる。電子機器1300は、このような現象を利用して、接触角度を検出する。具体的な接触角度の検出方法を説明する前に、指900の接触角度について、より詳しく説明する。
図33は、指900の接触角度を説明するための図である。図33を参照して、本来、指900の接触角度は、指900の重心線Lgから求めるべきである。つまり、本来、指900の接触角度は、厳密には、角度θではなく角度λである。しかしながら、赤外線は指900の表面で反射するため、電子機器1300は、重心線を検出することはできない。なお、「重心線」とは、指900の伸びている方向に対して垂直な断面の重心を連ねた線である。
そこで、角度λの代わりに図33に示した角度τを用いることも考えられる。しかしながら、指900の押圧(指圧)が高まると、接触領域3001が拡大する。このため、角度τは、指900の押圧に応じて変化してしまう。このため、角度τを用いることは難しい。
以上により、電子機器1300は、接触領域3001の中心と、検出可能範囲3003の最大値(検出下限値δpnに対応する距離)とを用いて接触角度(つまり、角度θ)を算出する。このような算出方法を採ることにより、指900の指圧に依存することなく接触角度θを算出できるため、接触角度θの算出が容易となる。また、ユーザが指900の傾きを変化させた場合、接触角度θの変化を精度良く検出することができる。
図34は、具体的な接触角度θの検出方法の一例を説明するための図である。また、図34の電圧を示すグラフは、図31(b)の電圧を示すグラフと同じである。図34を参照して、電子機器1300は、接触角度θを、以下の式(2)を用いて算出する。
θ = arctan((Xn_max − (Xp_max + Xp_min) / 2) / (p(Xpk) − δppk − δpn)) … (2)
ここで、p(Xpk)は、受光電圧p(X)の最大値である。また、δppkは、予め定めれた値である。また、接触領域3401は、位置Xp_maxと位置Xp_minとの間の領域である。また、検出領域3402は、位置Xn_maxと位置Xn_minとの間の領域である。
なお、受光電圧p(x)は、光センサの検出電圧v(x)から、キャリブレーション値calを差し引いた値である。キャリブレーション値は、光センサ毎に異なる値であってもよい。
また、指がタッチパッドの周辺に近接している場合には、位置Xn_maxが光センサの配置された領域内に存在しない場合がありえる。このような場合には、電子機器1300は、検出下限値の電圧δpnを高めたり、赤外線の照度を下げる処理を行なえばよい。
なお、上記では、電圧p(x)をアナログ量として説明しているが、電圧p(x)として、アナログ量をAD変換することによって得られる、量子化されたデジタル値を用いてもよい。また、2値化されている場合には、検出領域3402に対して微小な範囲内の密度であっても構わない。すなわち、図15に示すように、スキャン画像が、白と黒との2値に変換されている場合、以下のように、処理を行なってもよい。
電子機器1300は、ある輝度を境界にして画像を白か黒かに変換する場合、たとえば、25個(5個×5個)のピクセルの中に、どれだけ白のピクセルまたは黒のピクセルが存在するか(すなわち密度)によって、当該5×5の領域の輝度を測定することができる。電子機器1300は、当該輝度を、上記5×5の領域における中心のピクセルの輝度として扱う。また、当該中心のピクセルに隣接するピクセルについても、当該中心のピクセルと同様の処理により輝度を求める。
しかしながら、当該隣接するピクセルでは、20個(4個×5個)のピクセルが、当該中心のピクセルと重複するため、得られる輝度は、画像がぼやける輝度となる。このため、上記輝度を求めるための領域を大きくすると、画像として十分な解像度が得られなくなる。それゆえ、上記輝度を求めるための領域を微小とする必要がある。また、上記輝度を求めるための領域が小さすぎると、輝度の分解度が低くなる。このため、上記輝度を求めるための領域は、適切なサイズにする必要がある。
また、別の例として、電子機器1300は、2値に変換する際に、受光電圧に応じる方法とすることもできる。電子機器1300は、たとえば、2値に変換する際に、第2閾値(p(xpk) − δppk)については、単純に閾値に応じて2値に変換し、第1閾値(δpn)については、境界をエッジ抽出して2値に変換する。電子機器1300は、当該画像から、第2閾値について、中心点を求めたり、第1閾値について、位置Xn_maxを求めることができる。
また、図34においては、受光電圧を用いて接触角度θを検出する方法を説明したが、受光電圧の代わりに受光電力を用いて接触角度θを算出してもよい。また、式(2)において、p(Xpk)、δppk、およびδpnの代わりに、それぞれ、p(Xpk)の平方根、δppkの平方根、およびδpnの平方根を用いてもよい。
あるいは、図74に示すとおり、液晶パネル240の表示面(以下、「液晶面」と称する)にマイクロレンズアレー740を配置した立体表示液晶においては、液晶面に対して垂直な軸から例として±η度の入射角をもって光(情報)を検出する。この入射角±ηは、立体表示液晶の表示出力の際にマイクロレンズ741によって付与される視差角±ηに等しい。視差角±ηは、1つのマイクロレンズ741に対して、たとえば2つの液晶画素が配置されている。一方の画素が左目用の表示を行い、他方の画素が右目用の表示を行い、それぞれが目749に向かって異なる角度で表示出力を行なう。このような液晶画素とマイクロレンズ741が平面上に配列されて画面全体が立体的に表示される。なお、図74は、立体表示装置における上記接触角度θの算出手法を説明するための図である。以下では、一例として、1つのマイクロレンズ741に、2つのフォトダイオード145が対応して配置され、立体表示のための視差角が±3度、合計6度の場合の構成について説明する。
この場合、隣接する光センサーの一方は、軸に関して−3度の傾きを有しており、他方は軸に関して+3度の傾きを有しているような状態と考えることができる。つまり、2つの光センサは、相対的に6度の傾きを持つ。より詳しく説明すると以下のとおりである。一方の光センサが、入射角3度でマイクロレンズ741に入射した光を検知するのに対し、他方の光センサは、入射角−3度で当該マイクロレンズ741に入射した光であって、一方の光センサと他方の光センサとが受光する光の入射角は、6度の相違がある。
そして、−3度の傾きをもって検出された情報と、+3度の傾きをもって検出された情報とを用いると、同じ指900の点としてX軸上に2点が得られる。そこで、電子機器1300は、液晶面から当該指900の点までの距離p(X)が得られた2点の距離の差に比例することを利用して、当該距離p(X)を求めてもよい。
具体的には、Xn_maxにおける指900と液晶面との距離をp(Xn_max)とすると、Xn_max + p(Xn_max)×tan(η)の位置と、Xn_max + p(Xn_max)×tan(−η)の位置とに指900の同じ点を検出することができる。電子機器1300は、X軸上に同じ反射量の2点(上記2つの位置)を探し出す。当該2点を、それぞれをX1、X2とすると、距離p(X)は、{(|X1−X2|)/2}/tan(η)となる。
電子機器1300は、Xn_maxにおける指900と液晶面との距離だけではなく、各位置Xにおける指900と液晶面との距離を求める。この場合、図34の縦軸を電圧p(x)の代わりに距離p(x)として、検出される距離p(x)のグラフは、図34とは特性が逆のグラフとなる。すなわち、接触領域の距離は、非接触領域や接触領域を除いた検出領域(つまり近傍領域)よりも短くなる。なお、検出領域は、距離p(x)が予め定められた閾値Dth1よりも短い領域となる。また、接触領域は、距離p(x)が閾値Dth2よりも短い領域となる(閾値Dth1>閾値Dth2)。このようなグラフに基づけば、電子機器1300は、図34に説明したのと同様に上記接触角度θを求めることができる。
このように、電子機器1300は、2つの異なる入射角(η、−η)でマイクロレンズ741に入射した光を、それぞれ、隣接する光センサで検知する。電子機器1300は、指900の表面の領域(微小領域)と液晶面との距離を、当該領域毎に、当該領域に対応する液晶面上における2つの点同士の距離と、上記2つの入射角(η、−η)とから算出する。なお、入射角は、マイクロレンズ741の特性により予め決定される角度である。電子機器1300は、上記距離の算出後、上記第1閾値に相当する閾値と、上記第2閾値に相当する閾値と、上記接触領域の中心点と上記検出領域のうち当該中心点から最も離れた点との距離とに基づき、上記接触角度θを算出する。
また、指900は、液晶パネル240の表示画面の長手方向あるいは短手方向と平行な状態で接触するとは限らない。このため、接触角度θを算出する場合、上記長手方向に対応する受光電圧p(x)と、上記短手方向に対応する受光電圧p(x)とをも用いて、接触角度θを算出してもよい。
なお、上記の「<2.機能ブロック>」において述べたように、「δpn」が第1閾値であり、「p(xpk)− δppk」が第2閾値である。また、距離算出部312が算出する距離Diは、以下の式(3)であらわされる。
Di = Xn_max − (Xp_max − Xp_min)/2 … (3)
(2)外部光(散乱光)利用方式
図35は、散乱光である外部光(図17参照)を用いてスキャンを行った際に得られるスキャン画像(スキャンデータに基づく画像)を説明するための図である。図35(a)は、指900を液晶パネル240の表示画面に接触させた状態を示した図である。ここで、図35(a)の液晶パネル240の図は、図35(b)のXXXV−XXXV線矢視断面図である。図35(b)は、図35(a)の状態で指900が表示画面に接触したときに得られるスキャン画像の全体像を示した図である。
図35を参照して、指900が液晶パネル240の表示画面に接触した場合、電子機器1300の領域検出部311は、スキャンデータ(形状データ)に基づき、接触領域3501と検出領域3502とを検出する。領域検出部311は、接触領域3501と検出領域3502との差分領域である近傍領域も検出する。
なお、図35(a)、(b)において、黒色の部分が接触領域3501となる。また、指900が表示画面から浮いている状態の箇所は、指900と表示画面との距離に応じた色(白と黒との中間色(グレー))となる。その他の箇所については、白色となる。なお、検出可能範囲3503は、たとえば、0〜1cmである。
また、検出される電圧p(x)のグラフは、図34とは特性が逆のグラフとなる。すなわち、接触領域の電圧は、非接触領域や接触領域を除いた検出領域(つまり近傍領域)よりも低くなる。この場合、検出領域は、電圧が予め定められた閾値よりも低い領域となる。また、接触領域は、電圧が当該予め定められた閾値よりも小さい閾値よりも低い領域となる。なお、後述する、外部光(直接)利用方式でも同様である。
(3)外部光(直接)利用方式
図36は、電子機器1300Aの外観を示した図である。図36を参照して、電子機器1300Aは、電子機器1300の構成に光源3601と光源3602とをさらに備えた構成である。電子機器1300Aは、光源3601、3602のオン・オフを制御する。
光源3601および光源3602は、液晶パネル240の表示画面に対して、光を照射する。以下では、光源3601、3602から照射される光(直接光)を用いてスキャンを行なう方式について説明する。
また、以下では、電子機器1300は、図6および図30に示したスキャン方式、および図17および図35に示したスキャン方式も実行可能な構成として説明する。なお、当該方式を用いる場合には、上述した散乱光は必ずしも必要ではない。
図37は、図36の光源3601、3602からの光を用いてスキャンを行った際に得られるスキャン画像(スキャンデータに基づく画像)を説明するための図である。図37(a)は、指900を液晶パネル240の表示画面に接触させた状態を示した図である。ここで、図37(a)の液晶パネル240の図は、図37(b)のXXXVII−XXXVII線矢視断面図である。図37(b)は、図37(a)の状態で指900が表示画面に接触したときに得られるスキャン画像の全体像を示した図である。
図37を参照して、指900が液晶パネル240の表示画面に接触した場合、電子機器1300Aの領域検出部311は、スキャンデータ(形状データ)に基づき、接触領域3701と検出領域3702とを検出する。領域検出部311は、接触領域3701と検出領域3702との差分領域である近傍領域も検出する。ここで、検出領域3702は、散乱光による指900の影である。なお、検出可能範囲3703は、たとえば、0〜1cmである。
さらに、電子機器1300Aは、光源3601による指900の影3704と、光源3602による指900の影3705とを検出する。電子機器1300Aは、影3704および影3705の少なくとも1つを用いて、接触角度θを算出する。以下、接触角度θの算出方法について説明する。
電子機器1300Aは、影3704と液晶パネル240の表示画面の長手方向の辺とがなす角度φ1を用いて、接触角度θを算出する。具体的には、電子機器1300Aは、以下の式(4)により接触角度θを算出する。
θ = (π − φ1)/2 … (4)
また、以下のように接触角度を求めてもよい。電子機器1300Aは、影3704と影3705とがなす角度φ2を算出する。そして、電子機器1300Aは、以下の式(5)により接触角度θを算出する。
θ = (π − φ2)/2 … (5)
このようなスキャン方式を用いることにより、電子機器1300Aは、散乱光を照射する光源がないとき、散乱光の照度が小さいときであっても、指900の接触角度θを算出することが可能となる。
<6.指の方向>
次に、電子機器1300が方向判断部315を用いて処理を行なう構成について説明する(図24参照)。以下では、液晶パネル240の表示画面における直交座標系の座標軸をX軸とY軸とする。また、説明の便宜上、X軸は、当該表示画面の長手方向の軸とし、Y軸は、当該表示画面の短手方向の軸とする。なお、X軸を上記長手方向の軸とし、Y軸を上記短手方向の軸としてもよい。さらに、指900と当該表示画面とが接触している状態において、当該表示画面に向かって指900が指している方向を「接触方向」とする。
方向判断部315は、上述した形状データに基づいて、上記接触方向が、X軸の正方向の成分を有する第1方向およびX軸の負方向の成分を有する第2方向のいずれかの方向であるかを判断する。
設定部314は、方向判断部315の判断結果に基づいて、電子機器1300の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定する。上記接触方向がX軸の正方向の成分を有する第1方向である場合、設定部314は、たとえば、電子機器1300の動作モードを、上記接触をポインタ操作として処理する動作モードに設定する。一方、上記接触方向がX軸の負方向の成分を有する第2方向である場合、設定部314は、たとえば、電子機器1300の動作モードを、上記接触をタッチ操作として処理する動作モードに設定する。
図38は、方向判断部315を用いた場合の、電子機器1300の処理を説明するための図である。図38(a)は、指900を接触角度θ2で液晶パネル240の表示画面に接触させた場合と、指901を接触角度θ1で当該表示画面に接触させた状態を示した図である。図38(b)は、指900を接触角度θ1で液晶パネル240の表示画面に接触させた場合と、指901を接触角度θ2で当該表示画面に接触させた状態を示した図である。
図38(a)を参照して、指900を接触角度θ2で液晶パネル240の表示画面に接触させた場合には、指900の接触方向がX軸の負方向の成分を有する第2方向であるため、電子機器1300は、動作モードを、当該接触をタッチ操作として処理する動作モードに設定する。また、指901を接触角度θ1で液晶パネル240の表示画面に接触させた場合には、指901の接触方向がX軸の正方向の成分を有する第1方向であるため、電子機器1300は、動作モードを、当該接触をポインタ操作として処理する動作モードに設定する。
図38(b)を参照して、指900を接触角度θ1で液晶パネル240の表示画面に接触させた場合には、指900の接触方向がX軸の負方向の成分を有する第2方向であるため、電子機器1300は、動作モードを、当該接触をタッチ操作として処理する動作モードに設定する。また、指901を接触角度θ2で液晶パネル240の表示画面に接触させた場合には、指901の接触方向がX軸の正方向の成分を有する第1方向であるため、電子機器1300は、動作モードを、当該接触をポインタ操作として処理する動作モードに設定する。
このように、方向判断部315を用いる場合には、接触角度θに関わらず、電子機器1300は、指900、901の接触方向に基づき、電子機器1300の動作モードを設定する。
また、ユーザは、たとえば、左手の指(図38では指901)をポインタ操作に用い、右手の指(図38では指900)をタッチ操作に用いることができる。また、ユーザは、指900と指901とを用いることにより、同時にポインタ操作とタッチ操作とを行なうことができる。
ところで、上記においては、設定部314が、方向判断部315による判断結果に基づいて動作モードに設定する構成について説明した。しかしながら、設定部314の構成はこのような構成に限定されず、設定部314を以下のような構成としてもよい。すなわち、設定部314は、検出した接触角度θと方向判断部315の判断結果とに基づいて、電子機器1300の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定する。以下、具体例を挙げて説明する。
図39は、検出した接触角度θと方向判断部315による判断結果を用いた構成を説明するための図である。図39(a)は、指900を接触角度θ1で液晶パネル240の表示画面に接触させた場合と、指901を接触角度θ1で当該表示画面に接触させた状態を示した図である。図39(b)は、指900を接触角度θ2で液晶パネル240の表示画面に接触させた場合と、指901を接触角度θ2で当該表示画面に接触させた状態を示した図である。
図39(a)を参照して、指900の接触角度と指901の接触角度とがともにθ1(第1の範囲)であるにもかかわらず、指900の接触方向と指901の接触方向とが異なるため、電子機器1300は、指900が接触している場合と指901が接触している場合とで異なる動作モードで動作する。
たとえば、電子機器1300は、指900を接触角度θ1で表示画面に接触させた場合には、指900の接触方向が上記第2方向であるため、電子機器1300は、動作モードを、当該接触を表示装置102A(メイン画面)におけるポインタ操作として処理する動作モードに設定する。一方、電子機器1300は、指901を接触角度θ1で表示画面に接触させた場合には、指901の接触方向が上記第1方向であるため、電子機器1300は、動作モードを、当該接触を表示装置103(サブ画面)におけるポインタ操作として処理する動作モードに設定する。
次に、図39(b)を参照して、指900の接触角度と指901の接触角度とがともにθ2(第2の範囲)であるにもかかわらず、指900の接触方向と指901の接触方向とが異なるため、電子機器1300は、指900が接触している場合と指901が接触している場合とで異なる動作モードで動作する。
たとえば、電子機器1300は、指900を接触角度θ2で表示画面に接触させた場合には、指900の接触方向が上記第2方向であるため、電子機器1300は、動作モードを、当該接触を表示装置102A(メイン画面)におけるタッチ操作として処理する動作モードに設定する。一方、電子機器1300は、指901を接触角度θ2で表示画面に接触させた場合には、指901の接触方向が上記第1方向であるため、電子機器1300は、動作モードを、当該接触を表示装置103(サブ画面)におけるタッチ操作として処理する動作モードに設定する。
以上のとおり、電子機器1300は、指900(右手の指)の接触角度θが閾値θth以上の場合、指900の接触角度θが閾値θth未満の場合、指901(左手の指)の接触角度θが閾値θth以上の場合、および指901の接触角度θが閾値θth未満の状態といった4つの場合で互いに異なる処理を行なう。
したがって、ユーザは、指900,901の接触方向と接触角度とを調整することにより、電子機器1300の動作モードをユーザの所望する動作モードに設定することができる。
<7.スキャン方式の選択>
電子機器1300Aが使用される環境によっては、電子機器1300が図30に示したスキャン方式を実行することが、接触角度θを精度良く検出する観点から好ましい場合がある。あるいは、電子機器1300Aが図35に示したスキャン方式を実行することが、同様な観点から好ましい場合がある。さらには、電子機器1300Aが図37に示したスキャン方式を実行することが、同様な観点から好ましい場合がある。
そこで、電子機器1300A(図36参照)が、図30に示したスキャン方式、図35に示したスキャン方式、および図37に示したスキャン方式のうちから最適なスキャン方法を選択する構成について説明する。
電子機器1300Aは、スキャン方式を選択する場合、光量判断部316と本数測定部317と本数判断部318とを用いる(図24参照)。
光量判断部316は、液晶パネル240の表示画面に対する上記散乱光の入射光量が、予め定められた値よりも大きいか否かを判断する。
本数測定部317は、指900が液晶パネル240の表示画面に接触している状態において、上記散乱光によって指900が当該表示画面上に形成する影の本数を、上記スキャンにより得られたデータに基づいて測定する。
本数判断部318は、本数測定部317により測定された上記影の本数が、予め定められた値よりも多いか否かを判断する。
上記入射光量が上記予め定められた値よりも大きいと判断された場合に、影の本数が予め定められた値よりも多いと判断されると、表示装置103は、光源3601、3602から照射される光を用いたスキャンを行なう。一方、上記の場合において影の本数が当該予め定められた値よりも多くないと判断されると、表示装置103は、上記散乱光を用いてスキャンを行なう。
また、上記入射光量が予め定められた値よりも大きくないと判断された場合、表示装置103は、表示装置103に内蔵された上記赤外線を照射する光源(たとえば、赤外線LED)から照射される赤外光を用いたスキャンを行なう。
図40は、電子機器1300Aによるスキャン方法の選択処理の流れを示したフローチャートである。図40を参照して、電子機器1300Aは、ステップS302において、赤外線LEDをオフ状態に設定する。ステップS304において、電子機器1300Aは、散乱光の入射光量を測定する。ステップS306において、電子機器1300Aは、測定した入射光量が予め定められた値(規定値)以上であるか否かを判断する。
電子機器1300Aは、入射光量が規定値以上であると判断した場合には(ステップS306においてYES)、ステップS312において、赤外線LEDをオン状態に設定する。つまり、電子機器1300Aは、赤外線を照射する。一方、電子機器1300Aは、入射光量が規定値未満であると判断した場合には(ステップS306においてNO)、ステップS308において、赤外線LEDをオン状態に設定する。そして、電子機器1300Aは、ステップS310において、内部反射光方式(図30に示したスキャン方式)を選択する。
電子機器1300Aは、ステップS314において、スキャンデータに基づき、最も暗い場所(すなわち、電圧が低い位置)を特定する(図35(b)参照)。つまり、電子機器1300Aは、接触領域における電圧が最も低い点(以下、「接触点」と称する)を特定する。ステップS316において、電子機器1300Aは、上記接触点から出ている影の本数を測定する。すなわち、電子機器1300Aは、上記散乱光によって指900が当該表示画面上に形成する影の本数を、上記スキャンデータに基づいて測定する。
ステップS318において、電子機器1300Aは、測定した影の本数が、上記予め定められた値(規定値)以上であるか否かを判断する。電子機器1300Aは、影の本数が規定値以上であると判断した場合(ステップS318においてYes)、ステップS324において、赤外線LEDをオフ状態に設定する。つまり、電子機器1300Aは、赤外線の照射を停止する。そして、電子機器1300Aは、ステップS326において、光源3601、3602を用いた外部入射光方式を選択する(図37に示したスキャン方式)。
一方、電子機器1300Aは、影の本数が規定値未満であると判断した場合(ステップS318においてNo)、ステップS320において、赤外線LEDをオフ状態に設定する。そして、電子機器1300Aは、上記散乱光を用いた外部入射光方式を選択する(図35に示したスキャン方式)。
なお、電子機器1300Aは、上記3つの方式を用いて連続したスキャンを行い、各方式において検出された各スキャンデータのバラつき(偏差)が少ない方式を選択する構成としてもよい。
また、上記においては、電子機器1300Aが3つのスキャン方式から1つのスキャン方式を選択する構成を例に挙げて説明したが、これに限定されるものではない。電子機器1300Aが、2つのスキャン方式から1つのスキャン方式を選択する構成であってもよい。たとえば、電子機器1300Aの構成を、以下のような構成としてもよい。
すなわち、電子機器1300Aは、入射光量が予め定められた値よりも大きいと判断した場合、散乱光を用いてスキャンを行い、入射光量が当該予め定められた値よりも大きくないと判断した場合、上記赤外線LEDから照射される光を用いたスキャンを行なう。つまり、電子機器1300Aの構成を、図30に示したスキャン方式および図35に示したスキャン方式から1つのスキャン方式を選択する構成としてもよい。
<8.クリック処理・ドラッグ処理>
(1)図41は、電子機器1300における新たな処理を説明するための図である。図41(a)は、図41(b)に対する比較図である。図41(b)は、液晶パネル240の表示画面に対する指900の接触角度θを変化させた場合を示した図である。ここでは、図41(b)に関する処理が上記新たな処理に該当する。
図41(a)を参照して、指900が接触角度θ2で液晶パネル240の表示画面に接触した場合(状態Aから状態Bに遷移した場合)、上述したように、電子機器1300は、電子機器1300の動作モードを、当該接触をタッチ操作として処理する動作モードに設定する。
図41(b)を参照して、ユーザが指900を接触角度θ1で液晶パネル240の表示画面に接触させた場合(状態A)、上述しように、ポインタ操作が実行される。さらに、上記接触を維持したまま、ユーザが指900を立てることにより指900の接触角度を接触角度θ2とすると(状態B)、電子機器1300は、クリック操作と判断し、クリック処理を実行する。
このように、直前の操作がポインタ操作である場合、電子機器1300は、接触角度θ2での接触をクリック操作と判断する。一方、直前の操作がなければ、電子機器1300は、接触角度θ2での接触をタッチ操作と判断する。
上記のような構成により、ユーザは、寝かした指900を立てることによって、電子機器1300の処理をポインタ操作からクリック操作へと移行させることができる。
(2)図42は、図27および図28のフローチャートで示した処理の一部を説明するための図である。図42(a)は、図28のフローチャートで示した処理の一部を説明するための図である。図42(b)は、図27のフローチャートで示した処理の一部を説明するための図である。
図42(a)を参照して、状態Aは、図28のステップS208の状態を示している。また、状態Bは、電子機器1300が、図28のステップS214でYESと判断した後、ステップS202でNOと判断した状態を示している。つまり、状態Bは、ポインタ操作として、閾値Tth以上にわたりユーザが指900を表示画面に接触させていた直後の状態を示した図である。さらに、状態Cは、図28のステップS208の状態を示している。状態Dは、電子機器1300が、図28のステップS214でNOと判断した後、ステップS216の処理(クリック操作)を実行する状態を示した図である。
図42(b)を参照して、状態Aは、図27のステップS106の状態を示している。また、状態Bは、電子機器1300が、図27のステップS108でYESと判断した後、ステップS102でNOと判断した状態を示している。つまり、状態Bは、ポインタ操作が行なわれた後、ユーザが指900を表示画面から離した状態を示した図である。状態Cは、状態Bの後、電子機器1300が、ステップS104でNOと判断した後、ステップS112の処理を実行している状態を示した図である。
(3)図43は、電子機器1300における、さらに新たな処理を説明するための図である。図43(a)は、図43(b)に対する比較図である。図43(b)は、液晶パネル240の表示画面に対する指900の接触角度θを変化させた後、指900を当該表示画面上で滑らせた場合を示した図である。ここでは、図43(b)に関する処理が上記新たな処理に該当する。
図43(a)を参照して、ユーザが指900を接触角度θ1で液晶パネル240の表示画面に接触させた場合(状態A)、上述しように、ポインタ操作が実行される。さらに、上記接触を維持したまま、ユーザが指900を立てることにより指900の接触角度を接触角度θ2とする(状態B)。さらに、当該接触状態を保ったまま一定時間が経過すると(状態C)、電子機器1300は、クリック操作と判断し、クリック処理を実行する。つまり、図43(a)は、図41(b)の処理を、より詳しく示したものでもある。
図43(b)を参照して、状態Aと状態Bとは、それぞれ図43(a)の状態Aと状態Bと同じである。ここで、図43(b)に示す状態Bの後、ユーザが指900を当該表示画面上で滑らせた場合(状態C)、電子機器1300は、ユーザの操作をクリック操作ではなくドラッグ操作であると判断する。
このように、電子機器1300は、指900を寝かした状態から指900を立て、さらに指900を表示画面上で移動させた場合、ドラッグ処理を実行する。
<9.文字入力>
次に、電子機器1300が入力処理部319を用いて処理を行なう構成について説明する(図24参照)。図44は、入力処理部319を用いた場合における電子機器1300の処理を示した図である。図44(a)は、液晶パネル240に表示される画像を示した図である。図44(b)は、液晶パネル240の表示画面と指900との接触の状態を複数示した図である。
図44を参照して、表示制御部320は、データ入力用の複数の操作キーを液晶パネル240の表示画面に表示させる。電子機器1300は、上記各操作キーに、複数の文字が予め割り当てている。
設定部314は、指900が、上記複数の操作キーのうちの1つの操作キーが表示された表示領域に接触した場合、当該1つの操作キーに割り当てられた複数の文字のうち、指900の接触角度に応じた文字を入力候補として扱う動作モードに電子機器1300の動作モードを設定する。
入力処理部319は、指900が上記表示領域から離れたことに基づき、上記入力候補を確定文字として処理する。以下、具体的に説明する。
指900がアイコン(操作キー)4401に接触した場合、図44(b)に示すとおり、電子機器1300は、当該アイコン4401に割り当てられた複数の文字(たとえば、D、E、F、d、e、f)のうち、指900の接触角度に応じた文字(たとえば、E)を入力候補として扱う動作モードに電子機器1300の動作モードを設定する。そして、入力処理部319は、指900が上記接触角度で表示領域から離れたことに基づき、上記入力候補を確定文字として処理する。
このような構成とすることにより、ユーザは、まず、指900で操作キーを選択し、その後、指900の傾きを変化させることにより、ユーザにとって所望の文字(数字、記号含む)を電子機器1300に入力することができる。
なお、表示制御部320は、入力文字が確定するまで、接触角度に応じた文字を液晶パネル240の表示画面に逐次表示する。これにより、ユーザは、現在ユーザ自身が選択している文字を視認することが可能となる。
<10.OS選択>
次に、電子機器1300が、メイン装置側(第1ユニット1001A)のOS(以下、「メインOS」と称する)と、サブ装置側(第2ユニット1002)のOS(以下、「サブOS」と称する)とを備える場合に、電子機器1300が実行可能な処理の例を説明する。
電子機器1300は、液晶パネル240の表示画面に対する指900の接触角度に基づいて、指900の接触による入力指示が、メインOSに対する指示か、あるいはサブOSに対する指示であるのかを判断する。
図45は、電子機器1300で行なわれる処理の流れを示したフローチャートである。図45を参照して、電子機器1300は、ステップS402において、指900が液晶パネル240の表示画面に接触したか否かを検出する。
電子機器1300は、指900が表示画面に接触したと判断した場合(ステップS402においてYES)、ステップS404において、当該表示画面に対する指900の接触角度が予め定められた閾値θth以上であるか否かを判断する。
電子機器1300は、指900の接触角度θが閾値θth以上である場合(ステップS404においてYES)、ステップS406において、電子機器1300の動作モードを、当該接触をメインOSに対する操作として処理する動作モードに設定する。一方、電子機器1300は、指900の接触角度θが閾値θth未満である場合(ステップS404においてNO)、ステップS408において、電子機器1300の動作モードを、当該接触をサブOSに対する操作として処理する動作モードに設定する。
このような構成により、ユーザは、複数のOSに対する指示を、1つのユーザ入力用のインターフェイスで行なうことが可能となる。
また、ポインタ操作をメインOSが担い、タッチ操作をサブOSが担う構成とすることもできる。上記においては、2つのOSが存在している例を挙げて説明したが、これに限定されるものではない。たとえば、接触角度に応じて、3つ以上のOSに対して1つの上記インターフェイスから個別に指示を入力する構成としてもよい。
また、2つのOSが一方のユニット(たとえば、第1ユニット1001A)に搭載されている場合にも、上述した処理を適用可能である。また、2つのOSが両ユニット(1001A、1002)で共通に動作する構成であっても、上述した処理を適用可能である。
また、メインOSとサブOSとは、同じ種類のOSであってもよいし、互いに異なる種類のOSであってもよい。
<11.電子機器の変形例>
図46は、電子機器1300の変形例の外観を示した図である。図46を参照して、電子機器4600は、表示装置102Aと、表示装置103Aと、操作キー177とを含む。表示装置103Aは、液晶パネル240を含む。電子機器4600は、液晶パネル240の表示画面のサイズが電子機器1300の液晶パネル240のサイズよりも大きい点で、電子機器1300とは異なる。
図47は、ユーザの指900の操作を示した図である。図21(a)は、接触角度θ1で指900の移動を示した図である。図21(b)は、接触角度θ2で指900の移動を示した図である。
図47(a)を参照して、ユーザが、接触角度θ1で矢印4701に示すように、指900を液晶パネル240の表示画面上で移動させたとする。この場合、電子機器4600は、たとえば、表示装置102Aの表示画面に表示していたマウスカーソルを、当該移動に基づき矢印2102の方向に移動する。つまり、電子機器4600は、ポインタ操作を実行する。
図47(b)を参照して、ユーザが、指900を矢印4702の方向に移動させて、接触角度θ2で液晶パネル240の表示画面に指900を接触させたとする。この場合、電子機器4600は、タッチ操作を実行する。
なお、電子機器4600が、接触角度θに応じてポインタ操作とタッチ操作との間で操作を切り換える構成ではなく、電子機器4600が、接触角度θに応じて、メインOSへの指示とサブOSに対する指示との間で操作を切り換える構成の場合には、電子機器4600は、以下の処理を行なう。
ユーザが、接触角度θ1で指900を液晶パネル240の表示画面上で移動させたとする。この場合、電子機器4600は、電子機器4600の動作モードを、当該接触をメインOSに対する操作として処理する動作モードに設定する。一方、ユーザが、接触角度θ2で指900を液晶パネル240の表示画面上で移動させたとする。この場合、電子機器4600は、電子機器4600の動作モードを、当該接触をサブOSに対する操作として処理する動作モードに設定する。
図48は、電子機器4600に対するユーザ操作を説明するための図である。図48を参照して、ユーザが指900(たとえば右手の指)を接触角度θ1で液晶パネル240の表示画面に接触させるととも、矢印4801の方向に指900を移動させた場合、電子機器4600は、表示装置102Aのマウスカーソル4806を矢印4805の方向に移動する。
また、ユーザが指901(たとえば左手の指)を接触角度θ2で液晶パネル240の表示画面に接触させるととも、矢印4802の方向に指900を移動させた場合、電子機器4600は、液晶パネル240に表示した複数の操作キー(ソフトウェアキー)のうち、指901が接触した箇所に対応する操作キー4803に対するタッチ操作を実行する。
さらに、指900,901の代わりに、たとえばペン4810を接触角度θ1で液晶パネル240の表示画面に接触させるととも、矢印4804の方向にペン4810を移動させた場合、電子機器4600は、表示装置102Aのマウスカーソル4806を矢印4804に応じた方向に移動する。
以上のように、電子機器4600は、電子機器1300と同様な処理を実行する。
ところで、電子機器4600の液晶パネル240の表示画面は、電子機器1300の液晶パネル240の表示画面よりも広い。また、電子機器4600の液晶パネル240の表示画面は、表示装置102Aの表示画面と同じ程度の広さを有している。電子機器4600がこのような構成を採る場合、電子機器4600は、以下のような利点を有する。
人が机の上で、本を読んだり、あるいはノートに文字を書く場合には、本の紙面やノートン紙面は、机と平行かつ人体に近い部分に置かれることになる。したがって、電子機器4600のように液晶パネル240が操作キー177よりも手前(ユーザ側)に配置されることにより、電子機器を用いない場合(上述した、本を読んだり、あるいはノートに文字を書く場合)に近い使い勝手を実現することができる。
また、電子機器4600を、液晶パネルを操作キー177の下部の位置にスライドさせて、液晶パネル240の表示画面の全部または一部が操作キー177によって視認不可能に配することができる構成としてもよい。
<12.イラスト描画>
図49は、電子機器4600における処理を説明するための図である。電子機器4600の記憶装置390はグラフィックソフトウェアを格納している。図49を参照して、表示制御部320は、上記グラフィックソフトウェアの実行時のユーザインターフェイス画面を、表示装置102Aの表示画面と液晶パネル240の表示画面とに表示させる。より詳しくは、表示装置102Aの表示画面において、上記ユーザインターフェイス画面がアクティブになった場合に、表示制御部320は、液晶パネル240の表示画面に上記ユーザインターフェイス画面を表示する。
ユーザが指900を接触角度θ2で液晶パネル240の表示画面に接触させた場合、電子機器4600は、電子機器4600の動作モードを、当該接触を液晶パネル240におけるタッチ操作として処理する動作モードに設定する。この場合、表示制御部320は、表示装置102Aの表示画面に、タッチ操作に基づいた描画処理を行なう。これにより、タッチ操作による軌跡4901に基づいた画像4903が、表示装置102Aの表示画面に描画される。より詳しくは、タッチ操作が、ユーザインターフェイス画面における描画領域に対する操作である場合、表示制御部320は、当該タッチ操作に基づいた描画処理を、少なくとも表示装置102Aの表示画面に行なう。
なお、図49は、タッチ操作に基づいた描画処理を、液晶パネル240の表示画面および表示装置102Aの表示画面に行なっている場合を示した図である。
また、接触時間が予め定められた時間よりも短い場合には、電子機器4600は、描画処理をせずに、接触した位置に表示されているオブジェクト(たとえば、テキストや図形)を選択されたオブジェクトとして処理する。この場合、電子機器4600は、表示装置102Aに表示されている当該オブジェクトと同じオブジェクトについても、選択されたオブジェクトとして処理する。
さらに、当該オブジェクトが選択された状態において、操作キー177によりユーザが文字を入力した場合、当該文字が当該オブジェクト内に表示される。これにより、ユーザは、たとえばオブジェクトがテキストである場合、当該テキストに対して文字の追加入力や文字の上書き入力ができる。
一方、ユーザがたとえば指901を接触角度θ1で液晶パネル240の表示画面に接触させた場合、電子機器4600は、電子機器4600の動作モードを、当該接触を表示装置102Aの表示画面におけるポインタ操作として処理する動作モードに設定する。具体的には、ユーザが、接触角度θ1で矢印4902に示すように、指901を液晶パネル240の表示画面上で移動させたとする。この場合、電子機器4600は、たとえば、表示装置102Aの表示画面に表示していたマウスカーソル4905を、当該移動に基づき矢印4904の方向に移動する。つまり、電子機器4600は、ポインタ操作を実行する。
<13.プリントイメージ>
図50は、電子機器4600における他の処理を説明するための図である。電子機器4600の記憶装置390はアプリケーションソフトウェアを格納している。図50を参照して、表示制御部320は、上記アプリケーションソフトウェアの実行時のユーザインターフェイス画面を表示装置102Aの表示画面に表示させるとともに、当該アプリケーションソフトウェアの実行時に予め定められた処理を受け付けた場合、当該ユーザインターフェイス画面に応じた印刷イメージを液晶パネル240の表示画面に表示させる。より詳しくは、電子機器4600は、表示装置102Aの表示画面においてアクティブな状態となっているアプリケーションのプリントイメージを液晶パネル240の表示画面に表示する。
ユーザが指900を接触角度θ2で液晶パネル240の表示画面に接触させた場合、電子機器4600は、電子機器4600の動作モードを、当該接触を液晶パネル240におけるタッチ操作として処理する動作モードに設定する。この場合、電子機器4600は、表示されたオブジェクトの中から、タッチ位置に応じたオブジェクトを選択する処理を行なう。
たとえば、電子機器4600は、メニューボタン5010に含まれるオブジェクト5011、5012、5013の一つを選択する処理を行なった場合、当該選択されたオブジェクトに対応付けて規定された処理を実行する。
また、電子機器4600は、オブジェクトであるテキストを選択する処理を行なった場合、操作キー177によりユーザが文字を入力すると、当該文字が当該オブジェクト内に表示される。これにより、ユーザは、たとえばオブジェクトがテキストである場合、当該テキストに対して文字の追加入力や文字の上書き入力ができる。
一方、ユーザがたとえば指901を接触角度θ1で液晶パネル240の表示画面に接触させた場合、電子機器4600は、電子機器4600の動作モードを、当該接触を表示装置102Aの表示画面におけるポインタ操作として処理する動作モードに設定する。具体的には、ユーザが、接触角度θ1で矢印5002に示すように、指901を液晶パネル240の表示画面上で移動させたとする。この場合、電子機器4600は、たとえば、表示装置102Aの表示画面に表示していたマウスカーソル5004を、当該移動に基づき矢印5003の方向に移動する。つまり、電子機器4600は、ポインタ操作を実行する。
<14.ポータルサイト>
図51は、電子機器4600におけるさらに他の処理を説明するための図である。図51(a)は、表示装置102Aの表示画面と液晶パネル240の表示画面とに表示される表示画像の一例を示した図である。図51(b)は、表示装置102Aの表示画面と液晶パネル240の表示画面とに表示される表示画像の他の例を示した図である。
電子機器4600の記憶装置390はウェブブラウザのソフトウェアを格納している。図51を参照して、表示制御部320は、上記ウェブブラウザの起動に基づき、予め設定されたポータルサイトを液晶パネル240の表示画面に表示させる。なお、「ポータルサイト」とは、ウェブブラウザのソフトウェアを起動させたときに、最初に表示されるサイトである。
ユーザが指900を接触角度θ2で液晶パネル240の表示画面に接触させた場合、電子機器4600は、電子機器4600の動作モードを、当該接触を液晶パネル240におけるタッチ操作として処理する動作モードに設定する。この場合、表示制御部320は、ポータルサイトにおけるリンク先を示す画像がタッチ操作によって選択されたことに基づき、図51(a)に示すとおり、当該リンク先を示す画像により特定されるリンク先のウェブサイトを表示装置102Aの表示画面に表示させる。
一方、ユーザがたとえば指901を接触角度θ1で液晶パネル240の表示画面に接触させた場合、電子機器4600は、電子機器4600の動作モードを、当該接触を表示装置102Aの表示画面におけるポインタ操作として処理する動作モードに設定する。つまり、電子機器4600は、マウスカーソル5102の移動を行なう。なお、マウスカーソル5102は、図51(b)に示すとおり、矢印5111の方向に応じた方向に移動する。
この場合には、表示制御部320は、液晶パネル240の表示画面を、上記ポータルサイトから、図51(b)に示すとおり、表示装置102Aの表示画面においてアクティブとなっている画像(たとえば、ウェブサイト)に切り換える。より詳しくは、表示制御部320は、液晶パネル240の表示画面を、上記ポータルサイトから、上記アクティブとなっている画像の縮小画像に切り換える。また、ユーザが指901を表示画面から離すなどしてポインタ操作を中止すると、表示制御部320は、再び、液晶パネル240の表示画面に上記ポータルサイトを表示させる。なお、ポインタ操作時においては、液晶パネル240の表示画面と指900との接触時間に基づいて、クリック操作を行なう(図42(a)参照)。
さらに、図51(b)に示したように、指901を接触角度θ1で液晶パネル240の表示画面に接触にさせた状態において、ユーザが他方の指900を接触角度θ2で液晶パネル240の表示画面に接触させた場合、電子機器4600は、以下の処理を行なう。すなわち、タッチ位置がリンク先を特定する画像(オブジェクト)である場合、電子機器4600は、表示装置102Aの表示画面においてアクティブになっているウインドウに表示する画像を、元の画像から、上記リンク先の画像に切り換える。
このように、電子機器4600は、液晶パネル240の表示画面におけるユーザ操作によって、表示装置102Aの表示画面におけるポインタ操作と、タッチ操作に基づく当該表示画面における画面切り換え処理とを実行できる。また、液晶パネル240の表示画面におけるユーザ操作によって、表示装置102Aのアクティブな状態のウインドウを、液晶パネル240の表示画面に表示可能にもなる。
また、上述したように、電子機器1300は、液晶パネル240に表示されたリンク先を示す画像(オブジェクト)に指900が接触角度θ2で接触することにより(つまり、タッチ操作)、リンク際のサイトの画面を表示装置102Aの表示画面に表示する。また、液晶パネル240の表示画面は、表示装置102Aの表示画面よりも小さい。このため、ユーザが指900を接触させる領域が狭いほど、ユーザは、接触させる指900を立てざるを得ない。したがって、ユーザは、液晶パネル240の表示画面において、オブジェクトを指900で選択する場合、無意識のうちに指900を立てることになる。このように、電子機器1300は、ユーザが直感的な操作を行なうことができる点から、ユーザにとって利便性の高い機器であるといえる。
<15.メディアプレーヤ>
図52は、電子機器4600におけるさらに他の処理を説明するための図である。電子機器4600の記憶装置390はメディアプレーヤのソフトウェアを格納している。図52を参照して、表示制御部320は、上記メディアプレーヤの起動に基づき、映像を表示するための表示領域を表示装置102Aの表示画面に設定する処理を行なう。さらに、表示制御部320は、当該映像の表示を制御するためのソフトウェアキーを含む画像(以下、「コントローラ画像」とも称する)を液晶パネル240の表示画面に表示させる。
ユーザが指900を接触角度θ2で液晶パネル240の表示画面に接触させた場合、電子機器4600は、電子機器4600の動作モードを、当該接触を液晶パネル240におけるタッチ操作として処理する動作モードに設定する。この場合、電子機器4600は、たとえば、上記ソフトウェアキーであるボタン(画像)5205が矢印5201方向のタッチ操作によって選択されたことに基づき、当該ボタン5205に対応付けられた処理を実行する。図52の場合、電子機器4600は、表示装置102Aに表示されており映像の早送り処理を実行する。その他、電子機器4600は、タッチ位置に応じて、再生、停止、番組表からの録画予約、録画済番組の表示を実行する。
なお、ユーザが指900を接触角度θ2で液晶パネル240の表示画面に接触させている場合には、電子機器4600は、マウスカーソル5203は非表示としてもよい。
一方、ユーザがたとえば指901を接触角度θ1で液晶パネル240の表示画面に接触させた場合、電子機器4600は、電子機器4600の動作モードを、当該接触を表示装置102Aの表示画面におけるポインタ操作として処理する動作モードに設定する。つまり、電子機器4600は、マウスカーソル5203の移動を行なう。なお、マウスカーソル5203は、たとえば矢印5202の方向に応じた方向に移動する。この場合、たとえばマウスカーソル5203が映像中の人物の位置に移動すると、表示制御部320は、映像データに予め付加された付加情報に基づき、当該人物を紹介する画像を表示装置102Aの表示画面に表示させる。たとえば、表示制御部320は、当該人物の名前などを表示画面に表示させる。
なお、映像データに、WebコンテンツやWebリンクが含まれていてもよい。この場合、電子機器4600は、マウスカーソル5203の移動により、WebコンテンツやWebリンクを表示することができる。また、上記コントローラ画像は、ネットワーク上に存在するWebページによって実現してもよい。
以上のように、電子機器4600が、液晶パネル240の表示画面に表示されたコントローラ画像を用いて、表示装置102Aに表示される映像の表示制御などを行なうことにより、ユーザは、直感的かつ容易な操作が可能となる。
<16.コントローラ>
図53は、電子機器4600におけるさらに他の処理を説明するための図である。電子機器4600の記憶装置390は、当該電子機器4600とは異なる複数の電化製品を示した画像データと、各電化製品の動作を制御するアプリケーションソフトウェアとを格納している。図53を参照して、表示制御部320は、上記アプリケーションソフトウェアを起動した場合、上記画像データに基づき表示装置102Aの表示画面に当該複数の電化製品を示す画像を表示させる。
ユーザがたとえば指901を接触角度θ1で液晶パネル240の表示画面に接触させた場合、電子機器4600は、電子機器4600の動作モードを、当該接触を表示装置102Aの表示画面におけるポインタ操作として処理する動作モードに設定する。つまり、電子機器4600は、マウスカーソル5303の移動を行なう。なお、マウスカーソル5303は、たとえば矢印5302の方向に応じた方向に移動する。
ここで、ポインタ操作が予め定められた時間より短い場合、電子機器4600は、ポインタ操作をクリック操作として処理する。たとえばマウスカーソル5303がエアコン画像5304上に位置している場合、当該処理により、電子機器4600はエアコン画像5304を選択する。なお、これに限らず、電子機器4600を、一定時間マウスカーソル5303がエアコン画像5304上に位置している場合、エアコン画像5304を選択する構成としてもよい。
表示制御部320は、表示装置102Aの表示画面において上記クリック操作などにより選択された電化製品の動作を制御するためのソフトウェアキーを含む画像を液晶パネル240の表示画面に表示させる。たとえばエアコン画像5304が選択された場合、表示制御部320、液晶パネル240の表示画面に、エアコンのコントローラ画像を表示させる。
ここで、ユーザが指900を接触角度θ2で液晶パネル240の表示画面に接触させた場合、電子機器4600は、電子機器4600の動作モードを、当該接触を液晶パネル240におけるタッチ操作として処理する動作モードに設定する。この場合、電子機器4600は、たとえば、上記ソフトウェアキーであるボタンが、矢印5301方向のタッチ操作によって選択されたことに基づき、当該ボタンに対応付けられた処理を実行する。
また、温度設定を行なう場合には、電子機器4600の構成を以下のようにしてもよい。すなわち、ユーザが、指900を接触角度θ2で液晶パネル240の表示画面(詳しくは、温度設定のオブジェクトの上)に接触させた状態で、指900を当該表示画面上で滑らせることにより、電子機器4600は、滑らした量および滑らした方向に応じて温度を調整する。
また、上記コントローラ画像は、ネットワーク上に存在するWebページによって実現してもよい。
このように、電子機器4600は、複数の電化製品の制御を、液晶パネル240の表示画面において実行することが可能となる。つまり、電子機器4600は、複数の電化製品を制御するリモートコントローラとしての機能を果たす。
<<第2の具体的な実現例(1画面)>>
<1.基本構成>
上記の「<<第1の具体的な実現例(2画面)>>」においては、2つの表示画面を備えた電子機器1300、1300A、4600について説明した。以下では、上述した接触角度に応じた動作モードの切り換え処理を実行する、1つの表示画面を備える電子機器について説明する。
図54は、電子機器5400の外観を示した図である。図54を参照して、電子機器5400は、液晶パネル240を備える。電子機器5400は、第2ユニット1002(図18参照)と同様な構成を有する。したがって、以下では、電子機器5400のハードウェア構成等については、説明を繰り返さない。なお、電子機器5400は、ハードウェアのキーボード(操作キー)を備えていない。
図55は、指900が接触角度θ1で液晶パネル240の表示画面に接触した場合における「ポインタ操作」を示した図である。図55(a)は、指900の移動を示した図である。図55(b)は、マウスカーソルの移動を説明するための図である。
図55(a)を参照して、ユーザが、接触角度θ1で矢印5501に示すように、指900を液晶パネル240の表示画面上で移動させたとする。この場合、電子機器5400は、図55(b)に示すとおり、液晶パネル240の表示画面に表示していたマウスカーソル5503を、当該移動に基づき矢印5502の方向に移動する。
図56は、指900が接触角度θ2で液晶パネル240の表示画面に接触した場合における「タッチ操作」を示した図である。図56(a)は、指900の移動を示した図である。図56(b)は、タッチ操作に伴う処理を説明するための図である。
図56(a)を参照して、ユーザが、指900を矢印5601の方向に移動させて、接触角度θ2で液晶パネル240の表示画面に指900を接触させたとする。この場合、電子機器5400は、図56(b)に示すとおり、ボタンアイコン5601の選択に伴った処理を実行する。なお、同図は、電子機器5400がラーメンの注文数を「6」とする処理を示している。
<2.液晶付きハードウェアキーボード>
図57は、電子機器5700の外観を示した図である。図57を参照して、電子機器5700は、液晶パネル240と、ハードウェアである操作キー177Aとを備える。電子機器5700は、操作キー177Aを備える点以外は、第2ユニット1002(図18参照)と同様な構成を有する。なお、操作キーは、複数の入力キーを含む。
また、ユーザが電子機器5700を使用する際には、操作キー177Aよりも液晶パネル240が、ユーザ側に配される。なお、以下では、説明の便宜上、液晶パネル240と操作キー177Aとは、X軸と当該X軸に垂直なY軸とで規定される平面上に配されているとして説明する。
液晶パネル240は、操作キー177AよりもY軸負方向側に配されている。操作キー177Aにおける複数の入力キーのうち少なくとも1つの入力キーには、当該入力キーに割り当てられた文字が表示されている。たとえば、当該文字として、アルファベットやカナが表示されている。また、Y軸負方向側からY軸正方向側に向かって、上記文字が正立している。たとえば、操作キー177AがQWERTY方式のキーボードである場合、Y軸負方向からY軸正方向に、「Z」を示した入力キー、「A」を示した入力キー、「Q」を示した入力キーが、当該順に配されている。
また、電子機器5700は、たとえば、液晶パネル240の表示画面にソフトウェアキーボードを示したキーボード画像を表示させる。
図58は、指900が接触角度θ1で液晶パネル240の表示画面に接触した場合における「ポインタ操作」を示した図である。図58(a)は、指900の移動を示した図である。図58(b)は、マウスカーソルの移動を説明するための図である。
図58(a)を参照して、ユーザが、接触角度θ1で矢印5801に示すように、指900を液晶パネル240の表示画面上で移動させたとする。この場合、電子機器5700は、図58(b)に示すとおり、液晶パネル240の表示画面に表示していたマウスカーソル5803を、当該移動に基づき矢印5802の方向に移動する。
図59は、指900が接触角度θ2で液晶パネル240の表示画面に接触した場合における「タッチ操作」を示した図である。図59(a)は、指900の移動を示した図である。図59(b)は、タッチ操作に伴う処理を説明するための図である。
図59(a)を参照して、ユーザが、指900を矢印5901の方向に移動させて、接触角度θ2で液晶パネル240の表示画面に指900を接触させたとする。この場合、電子機器5700は、図59(b)に示すとおり、オブジェクトの選択に伴った処理を実行する。なお、同図は、電子機器5700が画面の一部をスクロールする処理を示している。
図60は、電子機器5700を含んだ通信システムの構成を示した図である。図60を参照して、通信システム6000は、電子機器5700と、3つの電子機器6001、6002、6003とを備えている。
電子機器5700は、外部通信部274(図18参照)によって、3つの電子機器6001、6002、6003と通信可能である。電子機器6001、6002、6003は、それぞれ表示装置を備えている。電子機器6001、6002、6003は、ハードウェアの操作キー(キーボード)を備えていない点を除けば、通常のパーソナルコンピュータと同様なハードウェア構成を有する。
通信システム6000においては、入力装置である電子機器5700を用いて、3つの電子機器6001、6002、6003に、ユーザにより入力された指示(制御コマンド)を送信する。その際、電子機器5700は、指900の接触角度θに応じて、上記指示の送信先を決定する。具体的に説明すると、以下のとおりである。
指900の接触角度θが閾値A以上である場合、電子機器5700は、当該接触による入力指示を電子機器6001に送信する。指900の接触角度θが閾値A未満かつ閾値B以上である場合(ただし、A>B)、電子機器5700は、当該接触による入力指示を電子機器6002に送信する。指900の接触角度θが閾値B未満である場合、電子機器5700は、当該接触による入力指示を電子機器6003に送信する。
つまり、外部通信部274は、接触角度θに基づいて設定された動作モードにおいて通信対象として規定された電子機器に対して、制御コマンドを送信する。
このような構成により、ユーザは、電子機器6001、6002、6003のうち、指900の接触角度に応じた電子機器に対して操作を行なうことができる。それゆえ、ユーザは、複数の電子機器6001、6002、6003を、1つの入力装置(電子機器5700)により操作することできる。
なお、電子機器6001、6002、6003は、OSを備えていない単なるディスプレイであってもよい。また、電子機器5700と電子機器6001、6002、6003との通信は、図60に示すとおり無線による通信であってもよいし、あるいは有線による通信であってもよい。
さらに、たとえば、指900の接触角度θが閾値C以下である場合(ただし、B>C)、電子機器5700は、当該接触による入力指示を電子機器5700への指示として処理してもよい。
<3.表示画面上にキーボードを配置する構成>
図61は、電子機器6100の外観を示した図である。図61を参照して、電子機器6100は、キーボード6101と、ケーブル6102と、表示装置6103とを備えている。
キーボード6101は、複数の入力キーを含む入力キー群を備えた、ハードウェアのキーボードである。ケーブル6102は、通信用ケーブルである。キーボード6101は、表示装置6103の表示画面上に載置されている。具体的には、キーボード6101は、ユーザが電子機器6100を使用する際に、奥側となる位置に載置されている。キーボード6101と、表示装置6103とは、ケーブル6102により、通信可能に接続されている。
表示装置6103は、液晶パネル240を備えている。表示装置6103は、入力装置であるキーボード6101から入力指示を受け付ける点を除けば、電子機器5400(図54参照)と同様な構成を有している。したがって、表示装置6103のハードウェア構成等については、説明を繰り返さない。
電子機器6100は、画像6120の向きがキーボード6101側となるように、当該画像6120を液晶パネル240の表示画面に表示させる。当該画像6120としては、たとえば文書ファイルなどが挙げられる。
電子機器6100においても、上述した接触角度に応じた動作モードの切り換え処理を実行する。図61を参照して、たとえば、ユーザが接触角度θ1で指900を液晶パネル240の表示画面上で移動させたとする。この場合、電子機器6100は、液晶パネル240の表示画面に表示していたマウスカーソル6112を、当該移動に基づき、たとえば矢印6110の方向に移動する。また、ユーザが、指900を矢印6111の方向に移動させて、接触角度θ2で液晶パネル240の表示画面に指900を接触させたとする。この場合、電子機器6100は、タッチ操作としてオブジェクトの選択に伴った処理(たとえば、文書の選択)を実行する。
なお、電子機器6100は、スキャンによりキーボード6101が載置された領域を判定するとともに、当該領域を除いた領域に上記画像6120を表示する構成とすることが好ましい。
図62は、従来のパーソナルコンピュータの構成を示した図であって、図61と比較するための比較図である。図62を参照して、パーソナルコンピュータ6200は、キーボード6201と、ディスプレイ6202と、マウス6203とを備えている。また、パーソナルコンピュータ6200は、書類6299とともに、机の上に載置されている。また、書類6299は、キーボード6201よりもユーザ側に載置されている。
図61の電子機器6100は、画像6120をキーボード6101の手前(ユーザ側)に表示する。このため、電子機器6100のユーザは、画像6102に対する操作を行なう場合、図62のように書類を机の上において作業を実行しているのと同様な感覚で、操作を行なうことができる。
<<他の変形例>>
<1.指紋の利用>
次に、指紋を用いて、上述した動作モードの設定を行なう電子機器6700(図67参照)の構成について説明する。まず、指900の接触角度と、当該指900の接触状態で得られるスキャン画像との対応について説明する。
図63は、指900を、液晶パネル240の表示画面に対して寝かせた状態で接触させた場合を説明するための図である。図63(a)は、指900を液晶パネル240の表示画面に接触させた状態を示した図である。また、図63(a)の液晶パネル240の図は、図63(b)のLXIII−LXIII線矢視断面図である。図63(b)は、図63(a)の状態で指900が表示画面に接触したときに得られるスキャン画像の全体像を示した図である。つまり、図63(b)は、指900の指紋画像である。図63(a)に示すとおり指900を寝かしているため、電子機器6700は、図63(b)に示すとおり、指先の指紋の略全てをスキャンできる。
図64は、指900を、図63(a)よりも少し立てた状態で表示画面に接触させた場合を説明するための図である。図64(a)は、指900を液晶パネル240の表示画面に接触させた状態を示した図である。また、図64(a)の液晶パネル240の図は、図64(b)のLXIV−LXIV線矢視断面図である。図64(b)は、図64(a)の状態で指900が表示画面に接触したときに得られるスキャン画像の全体像を示した図である。図64(a)に示すとおり指900を少し立てているため、電子機器6700は、図64(b)に示すとおり、指先の指紋の一部(ここでは、80%とする)をスキャンできる。
図65は、指900を、図64(a)よりも少し立てた状態で表示画面に接触させた場合を説明するための図である。図65(a)は、指900を液晶パネル240の表示画面に接触させた状態を示した図である。また、図65(a)の液晶パネル240の図は、図65(b)のLXV−LXV線矢視断面図である。図65(b)は、図65(a)の状態で指900が表示画面に接触したときに得られるスキャン画像の全体像を示した図である。図65(a)に示すとおり図64(a)よりも指900をさらに少し立てているため、電子機器6700は、図65(b)に示すとおり、図64(b)よりも狭い範囲(ここでは、指先の指紋の60%とする)をスキャンできる。
図66は、指900を、図65(a)よりも少し立てた状態で表示画面に接触させた場合を説明するための図である。図66(a)は、指900を液晶パネル240の表示画面に接触させた状態を示した図である。また、図66(a)の液晶パネル240の図は、図66(b)のLXVI−LXVI線矢視断面図である。図66(b)は、図66(a)の状態で指900が表示画面に接触したときに得られるスキャン画像の全体像を示した図である。図66(a)に示すとおり図65(a)よりも指900をさらに少し立てているため、電子機器6700は、図66(b)に示すとおり、図65(b)よりも狭い範囲(ここでは、指先の指紋の50%とする)をスキャンできる。
以上のように、ユーザが指900を立てるにしたがって、電子機器6700がスキャンできるユーザの指紋の範囲は変化する。電子機器6700は、当該現象を利用して、電子機器6700の動作モードを切り換える。
図67は、電子機器6700のブロックを示した図である。図67を参照して、電子機器6700は、表示装置102Aと、表示装置103と、制御部300Aと、記憶装置390とを備える。制御部300Aは、データ取得部310と、設定部314と、方向判断部315と、入力処理部319と、表示制御部320と、割合算出部330とを備えている。
記憶装置390は、指紋を示した基準画像を予め格納している。基準画像は、指900の第1関節より先の部分を液晶パネル240の表示画面に平行な状態で当該表示画面に接触させた場合において上記スキャンを行なうことにより得られる画像である。なお、以下では、指900を液晶パネル240の表示画面に投影したときの指先が指す方向を、「指先方向」と称する。
割合算出部330は、上記基準画像における指紋の領域に対する、上記指先方向におけるスキャンされた指の指紋の領域の割合を算出する。具体的には、割合算出部330は、たとえば図63(b)、64(b)、図65(b)、および図66(b)に示したように、100%、80%、60%、50%といった割合を算出する。
設定部314は、上記算出された割合に基づいて、電子機器6700の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定する。たとえば、設定部314は、上記割合が80パーセント以上の場合は、電子機器6700の動作モードを、指900の接触をポインタ操作として処理する動作モードに設定する。また、設定部314は、上記割合が80パーセント未満の場合は、電子機器6700の動作モードを、指900の接触をタッチ操作として処理する動作モードに設定する。
このように、電子機器6700は、指紋を利用するため、電子機器1300のように接触角度θを算出する必要がなくなる。
なお、基準画像は、ユーザの指紋を予めスキャンすることにより得られた指紋画像とすることが好ましい。上記割合の算出において電子機器6700が精度の高い結果を得ることができるためである。
<2.接触角度を検出しない他の構成>
次に、上記指紋を用いる構成と同様に接触角度θを検出しない他の構成について説明する。
図68は、液晶パネル240に内蔵された赤外線(内部光)を照射する光源を用いてスキャンを行った際に得られるスキャン画像を説明するための図である。図68(a)は、指900を液晶パネル240の表示画面に接触角度θ1で接触させた状態を示した図である。ここで、図68(a)の液晶パネル240の図は、図68(b)のLXVIII−LXVIII線矢視断面図である。図68(b)は、図68(a)の状態で指900が表示画面に接触したときに得られるスキャン画像の全体像を示した図である。
図68を参照して、白色の部分が接触領域6801となる。また、指900が表示画面から浮いている状態の箇所(検出領域6802)は、指900と表示画面との距離に応じた色(白と黒との中間色(グレー))となる。その他の箇所については、黒色(均一)となる。なお、検出可能範囲6803は、たとえば、0〜3cmである。
図68(b)に示すとおり、接触領域6801の形状は、楕円形状となる。また、指900が寝た状態で液晶パネル240の表示画面に接触しているため、指先方向が楕円の長軸方向となる。
図69は、液晶パネル240に内蔵された赤外線を照射する光源を用いてスキャンを行った際に得られるスキャン画像を説明するための図である。図69(a)は、指900を液晶パネル240の表示画面に接触角度θ2で接触させた状態を示した図である。ここで、図69(a)の液晶パネル240の図は、図69(b)のLXIV−LXIV線矢視断面図である。図69(b)は、図69(a)の状態で指900が表示画面に接触したときに得られるスキャン画像の全体像を示した図である。
図69を参照して、白色の部分が接触領域6901となる。また、指900が表示画面から浮いている状態の箇所(検出領域6902)は、指900と表示画面との距離に応じた色(白と黒との中間色(グレー))となる。その他の箇所については、黒色(均一)となる。なお、検出可能範囲6903は、たとえば、0〜3cmである。
図69(b)に示すとおり、接触領域6901の形状は、楕円形状となる。また、図69(a)に示すとおり、指900は、図68(a)の状態よりも立った状態である。このため、図69(b)に示す楕円の長軸の長さは、図68(b)における楕円の長軸の長さよりも短くなる。
また、図69(b)および図68(b)からも分かるように、指900を寝かした状態から指900を立てた状態に指900を遷移させた場合、長軸の長さの変化量に比べ、短軸の長さの変化量は少ない。
以上のように、指900の接触角度θに応じて、接触領域6801,6901の楕円形状は変化する。そこで、楕円形状の変化に基づいて動作モードを切り換える電子機器の構成について説明する。
図70は、電子機器7000のブロックを示した図である。図70を参照して、電子機器7000は、表示装置102Aと、表示装置103と、制御部300Bと、記憶装置390とを備えている。制御部300Bは、データ取得部310と、設定部314と、方向判断部315と、光量判断部316と、本数測定部317と、本数判断部318と、入力処理部319と、表示制御部320と、特定部340とを備えている。
特定部340は、スキャンデータに基づいて、指900が接触している液晶パネル240の表示画面における接触領域の形状を特定する。
設定部314は、特定された接触領域の形状に基づいて、電子機器7000の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定する。より詳しくは、設定部314は、上記特定された形状を楕円形状として処理するとともに、当該楕円の長軸の長さと短軸の長さとに基づいて、電子機器7000の動作モードを設定する。さらに詳しく説明すると以下のとおりである。
設定部314は、比較データとして、楕円の短軸の長さと長軸の長さに関するデータを記憶装置390に予め記憶している。さらに、当該データは、動作モードと対応付けがなされている。そして、設定部314は、設定部314が算出した長軸の長さと短軸の長さとを上記データを比較処理することにより、動作モードを設定する。
また、設定部314を、たとえば、上記長軸の長さと上記短軸の長さとの比に基づいて、電子機器7000の動作モードを設定する構成としてもよい。
<3.カメラで撮影する方式>
次に、カメラで撮影した指900の画像を用いて、上記接触角度θを検出する構成について説明する。
図71は、電子機器1300Bの外観を示した図である。図71を参照して、電子機器1300Bは、電子機器1300にカメラ6901を備えた構成である。カメラ6901は、表示装置102Aの側面に取り付けられている。制御部300は、カメラ6901を制御する。カメラ6901は、液晶パネル240の表示画面を含む画像を撮影する。
図72は、カメラ6901により撮影された画像を示した図である。なお、カメラ6901は、電子機器1300Bが起動中(つまり、電源が投入された状態)、連続して画像を撮影してもよい。あるいは、電子機器1300Bが起動中であって、電子機器1300Bがスリープ状態以外において、連続して画像を撮影してもよい。あるいは、電子機器1300Bは、液晶パネル240の表示画面に指900などの物体が接触したことをトリガーとして撮影を行なってもよい。
制御部300は、カメラ6901によって撮影された画像に基づいて、指900の接触角度θを検出する。より詳しくは、電子機器1300Bの記憶装置390は、接触角度を示す情報に対応付けられた基準画像を複数、予め格納している。制御部300は、画像を撮影した場合、当該画像が上記基準画像のいずれに近いかを判断する。さらに、制御部300は、撮影した画像に近いと判断した基準画像に対応付けられた接触角度を、指900の接触角度と判断する。接触角度θを判断した後の電子機器1300Bの処理は、電子機器1300の処理と同じであるため、説明を繰り返さない。
また、基準画像に対して接触角度を示す情報が対応付けられている必要は必ずしもなく、接触角度を示す情報以外の識別情報が対応付けられていてもよい。この場合、制御部300が、撮影した画像に近いと判断した基準画像に対応付けられた識別情報に基づき、複数の動作モードから1つの動作モードを選択すればよい。
<4.静電容量方式>
上記においては、各電子機器1300、1300A、1300B、4600が、それぞれ光センサ内蔵液晶パネル240を利用する構成について説明した。以下では、光センサ内蔵液晶パネル240の代わりに、電子機器が静電容量方式のタッチパネルを備える構成について説明する。
図73は、電子機器7300のブロックを示した図である。図73を参照して、電子機器7300は、表示装置102Aと、表示装置103Bと、制御部300Cと、記憶装置390とを備えている。表示装置103Bは、多点入力が可能な静電容量方式のタッチパネルである。
制御部300Cは、容量変化検出部351と、形状算出部352と、距離算出部312と、角度検出部313と、設定部314と、方向判断部315と、入力処理部319と、表示制御部320とを備えている。
容量変化検出部351は、上記タッチパネルに指が接触した際の容量の変化を検出する。
形状算出部352は、容量変化検出部351による検出結果に基づいて、タッチパネル上における、指900が接触している領域と当該指900が当該タッチパネルに近接している領域との形状を算出する。
設定部314は、形状算出部352により算出された形状に基づいて、電子機器7300の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定する。より詳しくは、設定部314は、距離算出部312による算出結果および角度検出部313による検出結果に基づいて、電子機器7300の動作モードを設定する(図34参照)。
このように、電子機器7300は、他の電子機器1300、1300A、1300B、4600と同様に、液晶パネル240の表示画面に指900が接触したことを検出した場合、電子機器7300の動作モードを、当該指900の接触角度に応じた動作モードに設定することができる。
<<その他>>
(1)上記においては、様々な適用例を挙げて説明したが、どの機能をON・OFFできるかを電子機器において設定可能としておけば、上述した機能を1つの電子機器で実現できる。
(2)各電子機器1300、1300A、1300B、4600は、表示装置102Aの代わりに表示装置102を備える構成としてもよい。
(3)ユーザは、各電子機器1300A、1300B、4600、5700、6100、6700、7000、7300を用いることにより、当該各電子機器が載置された机の作業面と平行な面において、作業を行なうことができる。したがって、当該各電子機器は、ユーザにとって使い勝手がよい。
(4)今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
100 電子機器、100A 筐体、100B 筐体、101 本体装置、102 表示装置、102A 表示装置、103 表示装置、103A 表示装置、103B 表示装置、104 本体装置、140 液晶パネル、177 操作キー、177A 操作キー、240 液晶パネル、274 外部通信部、300 制御部、300A 制御部、300B 制御部、300C 制御部、310 データ取得部、311 領域検出部、312 距離算出部、313 角度検出部、314 設定部、315 方向判断部、316 光量判断部、317 本数測定部、318 本数判断部、319 入力処理部、320 表示制御部、330 割合算出部、340 特定部、351 容量変化検出部、352 形状算出部、390 記憶装置、900 指、901 指、1300 電子機器、1300A 電子機器、1300B 電子機器、3001 接触領域、3002 検出領域、3101 接触領域、3102 検出領域、3201 接触領域、3202 検出領域、3401 接触領域、3402 検出領域、3501 接触領域、3502 検出領域、3601 光源、3602 光源、3701 接触領域、3702 検出領域、3704 影、3705 影、4600 電子機器、4810 ペン、5400 電子機器、5700 電子機器、6000 通信システム、6001 電子機器、6002 電子機器、6003 電子機器、6100 電子機器、6101 キーボード、6103 表示装置、6700 電子機器、6801 接触領域、6802 検出領域、6901 接触領域、6901 カメラ、6902 検出領域、7000 電子機器。

Claims (40)

  1. 第1表示画面を備えた電子機器であって、
    前記第1表示画面上の物体を、当該第1表示画面を介してスキャンするスキャン手段と、
    前記スキャンにより得られたデータのうち前記物体の形状を示す形状データに基づいて、前記電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定する設定手段とを備える、電子機器。
  2. 前記物体が前記第1表示画面に接触した状態における前記第1表示画面と前記物体とのなす角度、または当該接触した状態における前記第1表示画面の法線と前記物体とのなす角度を接触角度とすると、
    前記電子機器は、
    前記形状データに基づいて前記接触角度を検出する角度検出手段をさらに備え、
    前記設定手段は、前記接触角度に基づいて前記動作モードを設定する、請求項1に記載の電子機器。
  3. 前記形状データは、前記第1表示画面における前記物体が接触している接触領域の形状を示した第1要素データと、前記接触領域の近傍領域の形状を示した第2要素データとを含み、
    前記接触領域と前記近傍領域とを合わせた領域を検出領域とすると、
    前記電子機器は、
    前記形状データに基づいて、前記検出領域と前記接触領域とを検出する領域検出手段をさらに備え、
    前記角度検出手段は、少なくとも、前記検出領域を示したデータと前記接触領域を示した前記第1要素データとに基づいて、前記接触角度を検出する、請求項2に記載の電子機器。
  4. 前記電子機器は、前記第1表示画面を含んだ表示装置をさらに備え、
    前記表示装置は、当該表示装置の内部に、前記第1表示画面から当該表示装置の外部に光を照射する光源を含み、
    前記スキャン手段は、前記光源から照射される光を用いて前記スキャンを行なうものであり、
    前記スキャンにより得られたデータは、前記光のうち前記物体による反射光に基づいた電圧値または電力値を示したデータであって、
    前記検出領域は、前記電圧値または電力値が第1閾値よりも高い領域であり、
    前記接触領域は、前記電圧値または電力値が前記第1閾値よりも大きい第2閾値よりも高い領域であり、
    前記角度検出手段は、前記検出領域を示したデータ、前記接触領域を示した前記第1要素データ、前記第1閾値、および前記第2閾値に基づいて、前記接触角度を検出する、請求項3に記載の電子機器。
  5. 前記スキャン手段は、外部光源から前記電子機器に対して照射される散乱光を用いて前記スキャンを行なうものであり、
    前記スキャンにより得られたデータは、前記散乱光に基づいた電圧値または電力値を示したデータであって、
    前記検出領域は、前記電圧値または電力値が第1閾値よりも低い領域であり、
    前記接触領域は、前記電圧値または電力値が前記第1閾値よりも小さい第2閾値よりも低い領域であり、
    前記角度検出手段は、前記検出領域を示したデータ、前記接触領域を示した前記第1要素データ、前記第1閾値、および前記第2閾値に基づいて、前記接触角度を検出する、請求項3に記載の電子機器。
  6. 前記電子機器は、
    前記第1表示画面を含んだ表示装置と、
    前記表示装置の外部に前記第1表示画面に対して光を照射する光源とをさらに備え、
    前記スキャン手段は、前記光源から照射される光を用いて前記スキャンを行なうものであり、
    前記スキャンにより得られたデータは、前記光に基づいた電圧値または電力値を示したデータであって、
    前記検出領域は、前記電圧値または電力値が第1閾値よりも低い領域であり、
    前記接触領域は、前記電圧値または電力値が前記第1閾値よりも小さい第2閾値よりも低い領域であり、
    前記角度検出手段は、前記検出領域を示したデータ、前記接触領域を示した前記第1要素データ、前記第1閾値、および前記第2閾値に基づいて、前記接触角度を検出する、請求項3に記載の電子機器。
  7. 前記電子機器は、
    前記接触領域の中心点と、前記検出領域のうち前記中心点から最も離れた点との距離を算出する距離算出手段をさらに備え、
    前記角度検出手段は、前記検出領域を示したデータと前記接触領域を示した前記第1要素データとに基づくデータである前記算出された距離、前記第1閾値、および前記第2閾値に基づいて前記接触角度を検出する、請求項4から6のいずれか1項に記載の電子機器。
  8. 前記第1表示画面における直交座標系の座標軸をX軸とY軸とし、
    前記物体と前記第1表示画面とが接触している状態において、前記第1表示画面に向かって前記物体が指している方向を接触方向とすると、
    前記電子機器は、
    前記形状データに基づいて、前記接触方向が、前記X軸の正方向の成分を有する第1方向および前記X軸の負方向の成分を有する第2方向のいずれかの方向であるかを判断する方向判断手段をさらに備え、
    前記設定手段は、前記判断結果に基づいて、前記電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定する、請求項1に記載の電子機器。
  9. 前記第1表示画面における直交座標系の座標軸をX軸とY軸とし、
    前記物体と前記第1表示画面とが接触している状態において、前記第1表示画面に向かって前記物体が指している方向を接触方向とすると、
    前記電子機器は、
    前記形状データに基づいて、前記接触方向が、前記X軸の正方向の成分を有する第1方向および前記X軸の負方向の成分を有する第2方向のいずれかの方向であるかを判断する方向判断手段をさらに備え、
    前記設定手段は、前記接触角度と前記判断結果とに基づいて、前記電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定する、請求項2から7のいずれか1項に記載の電子機器。
  10. 前記電子機器は、
    前記第1表示画面を含んだ表示装置と、
    前記第1表示画面に対する外部光源による散乱光の入射光量が、予め定められた値よりも大きいかを判断する光量判断手段とをさらに備え、
    前記表示装置は、当該表示装置の内部に、前記第1表示画面から当該表示装置の外部に光を照射する光源を含み、
    前記スキャン手段は、
    前記入射光量が前記予め定められた値よりも大きいと判断された場合、前記散乱光を用いて前記スキャンを行い、前記入射光量が前記予め定められた値よりも大きくないと判断された場合、前記表示装置の外部に光を照射する光源から照射される光を用いた前記スキャンを行なう、請求項1から5のいずれか1項に記載の電子機器。
  11. 前記電子機器は、
    前記第1表示画面を含んだ表示装置と、
    前記第1表示画面に対する外部光源からの散乱光の入射光量が、予め定められた値よりも大きいか否かを判断する光量判断手段と、
    前記物体が前記第1表示画面に接触している状態において、前記散乱光によって前記物体が前記第1表示画面上に形成する影の本数を、前記スキャンにより得られたデータに基づいて測定する本数測定手段と、
    前記影の本数が、予め定められた値よりも多いか否かを判断する本数判断手段と、
    前記表示装置の外部に前記第1表示画面に対して光を照射する第1光源とをさらに備え、
    前記表示装置は、当該表示装置の内部に、前記第1表示画面から当該表示装置の外部に光を照射する第2光源を含み、
    前記スキャン手段は、
    前記入射光量が前記予め定められた値よりも大きいと判断された場合、前記影の本数が予め定められた値よりも多いと判断されたとき、前記第1光源から照射される光を用いた前記スキャンを行い、前記影の本数が当該予め定められた値よりも多くないと判断されたとき、前記散乱光を用いて前記スキャンを行い、
    前記入射光量が前記予め定められた値よりも大きくないと判断された場合、前記第2光源から照射される光を用いた前記スキャンを行なう、請求項1から6のいずれか1項に記載の電子機器。
  12. 前記複数の動作モードは、前記第1表示画面に対する前記物体の接触をポインタ操作として処理する第1動作モードと、前記第1表示画面に対する前記物体の接触をタッチ操作として処理する第2動作モードとを含み、
    前記設定手段は、前記接触角度が予め定められた第1範囲内の角度である場合には、電子機器の動作モードを前記第1動作モードに設定し、前記接触角度が予め定められた第2範囲内の角度である場合には、電子機器の動作モードを前記第2動作モードに設定する、請求項2から7のいずれか1項に記載の電子機器。
  13. 前記接触角度が、前記第1範囲内の角度から前記第2範囲内の角度へと連続的に遷移した場合、前記設定手段は、前記電子機器の動作モードを、当該接触角度の連続的な遷移を、当該遷移する直前のポインタの位置に表示されていた画像をクリックするクリック操作として処理する動作モードに設定する、請求項12に記載の電子機器。
  14. 前記電子機器は、時間を計測するタイマをさらに備え、
    前記接触角度が、前記第1範囲内の角度から前記第2範囲内の角度へと連続的に遷移した場合、当該遷移後一定時間内における前記第1表示画面における前記物体の接触領域の位置の変動が、予め定められた範囲内であるとき、前記設定手段は、前記電子機器の動作モードを、当該接触角度の連続的な遷移を当該遷移する直前のポインタの位置に表示されていた画像をクリックするクリック操作として処理する動作モードに設定する、請求項12に記載の電子機器。
  15. 前記遷移後一定時間における、前記第1表示画面における前記物体の接触領域の位置の変動が、前記予め定められた範囲外であるとき、前記設定手段は、前記電子機器の動作モードを、前記接触領域の位置の変動を、当該接触角度の連続的な遷移を当該遷移する直前のポインタの位置に表示されていた画像をドラッグするドラッグ操作として処理する動作モードに設定する、請求項14に記載の電子機器。
  16. 前記電子機器は、
    データ入力用の複数の操作キーを前記第1表示画面に表示させる表示制御手段をさらに備え、
    前記各操作キーには、複数の文字が予め割り当てられており、
    前記物体が、前記複数の操作キーのうちの1つの操作キーが表示された表示領域に接触した場合、前記設定手段は、当該1つの操作キーに割り当てられた複数の文字のうち、前記物体の前記接触角度に応じた文字を入力候補として扱う動作モードに設定し、
    前記電子機器は、
    前記物体が前記表示領域から離れたことに基づき、前記入力候補を確定文字として処理する入力処理手段をさらに備える、請求項2から7のいずれか1項に記載の電子機器。
  17. 前記電子機器は、第1オペレーティングシステムと第2オペレーティングシステムとを実行し、
    前記複数の動作モードは、前記第1表示画面に対する前記物体の接触を前記第1オペレーティングシステムに対する操作として処理する第1動作モードと、前記第1表示画面に対する前記物体の接触を前記第2オペレーティングシステムに対する操作として処理する第2動作モードとを含み、
    前記設定手段は、前記接触角度が予め定められた第1範囲内の角度である場合には、電子機器の動作モードを前記第1動作モードに設定し、前記接触角度が予め定められた第2範囲内の角度である場合には、電子機器の動作モードを前記第2動作モードに設定する、請求項2から7のいずれか1項に記載の電子機器。
  18. 前記電子機器は、
    前記第1表示画面を含むディスプレイと複数の入力キーを含む入力キー群とを備えた入力装置であり、
    前記ディスプレイと前記入力キー群とは、X軸と当該X軸に垂直なY軸とで規定される平面上に配されており、
    前記ディスプレイは、前記入力キー群よりもY軸負方向側に配されており、
    前記複数の入力キーのうち少なくとも1つの入力キーには、当該入力キーに割り当てられた文字が表示されており、
    前記Y軸負方向側から前記Y軸正方向側に向かって、前記文字が正立している、請求項2から7のいずれか1項に記載の電子機器。
  19. 前記電子機器は、
    各々にディスプレイを備える複数の外部端末との間で通信を行なう通信手段をさらに備え、
    前記通信手段は、前記接触角度に基づいて設定された前記動作モードにおいて通信対象として規定された前記外部装置に対して、制御コマンドを送信する、請求項18に記載の電子機器。
  20. 前記電子機器は、
    前記第1表示画面を含むディスプレイであり、
    前記第1表示画面にソフトウェアキーボードを示したキーボード画像を表示させる表示制御手段をさらに備える、請求項2から7のいずれか1項に記載の電子機器。
  21. 前記電子機器は、前記第1表示画面を含むディスプレイと、複数の入力キーを含む入力キー群を備えたキーボードとをさらに備えており、
    前記キーボードが前記第1表示画面上に載置されている、請求項2から7のいずれか1項に記載の電子機器。
  22. 前記電子機器は、
    前記第1表示画面を含む第1ディスプレイと複数の入力キーを含む入力キー群とを含む入力装置と、
    第2表示画面を含む第2ディスプレイとをさらに備え、
    前記第1ディスプレイと前記入力キー群とは、X軸と当該X軸に垂直なY軸とで規定される平面上に配されており、
    前記第1ディスプレイは、前記入力キー群よりもY軸負方向側に配されており、
    前記第2ディスプレイは、前記入力キー群よりもY軸正方向側に配されており、
    前記複数の入力キーのうち少なくとも1つの入力キーには、当該入力キーに割り当てられた文字が表示されており、
    前記Y軸負方向側から前記Y軸正方向側に向かって、前記文字が正立している、請求項2から7のいずれか1項に記載の電子機器。
  23. 前記電子機器は、
    前記第1表示画面および前記第2表示画面の各々に画像を表示させる表示制御手段をさらに備え、
    第1オペレーティングシステムと第2オペレーティングシステムとを実行し、
    前記表示制御手段は、前記第1表示画面に、前記第1オペレーティングシステムに基づく画像を表示させ、前記第2表示画面に、前記第2オペレーティングシステムに基づく画像を表示させる、請求項22に記載の電子機器。
  24. 前記電子機器は、グラフィックソフトウェアを格納した記憶装置をさらに備えており、
    前記表示制御手段は、前記グラフィックソフトウェアの実行時のユーザインターフェイス画面を、前記第1表示画面と前記第2表示画面とに表示させ、
    前記複数の動作モードは、前記第1表示画面に対する前記物体の接触を前記第2表示画面におけるポインタ操作として処理する第1動作モードと、前記第1表示画面に対する前記物体の接触を前記第2表示画面におけるタッチ操作として処理する第2動作モードとを含み、
    前記設定手段は、前記接触角度が予め定められた第1範囲内の角度である場合には、電子機器の動作モードを前記第1動作モードに設定し、前記接触角度が予め定められた第2範囲内の角度である場合には、電子機器の動作モードを前記第2動作モードに設定する、請求項22に記載の電子機器。
  25. 前記タッチ操作が、前記ユーザインターフェイス画面における描画領域に対する操作である場合、前記表示制御手段は、前記タッチ操作に基づいた描画処理を行なう、請求項24に記載の電子機器。
  26. 前記電子機器は、アプリケーションソフトウェアを格納した記憶装置をさらに備えており、
    前記表示制御手段は、前記アプリケーションソフトウェアの実行時のユーザインターフェイス画面を前記第2表示画面に表示させるとともに、前記アプリケーションソフトウェアの実行時に予め定められた処理を受け付けた場合、前記ユーザインターフェイス画面に応じた印刷イメージを前記第1表示画面に表示させ、
    前記複数の動作モードは、前記第1表示画面に対する前記物体の接触を前記第2表示画面におけるポインタ操作として処理する第1動作モードと、前記第1表示画面に対する前記物体の接触を前記第1表示画面におけるタッチ操作として処理する第2動作モードとを含み、
    前記設定手段は、前記接触角度が予め定められた第1範囲内の角度である場合には、電子機器の動作モードを前記第1動作モードに設定し、前記接触角度が予め定められた第2範囲内の角度である場合には、電子機器の動作モードを前記第2動作モードに設定する、請求項22に記載の電子機器。
  27. 前記電子機器は、ウェブブラウザのソフトウェアを格納した記憶装置をさらに備えており、
    前記表示制御手段は、前記ウェブブラウザの起動に基づき、予め設定されたポータルサイトを前記第1表示画面に表示させ、
    前記複数の動作モードは、前記第1表示画面に対する前記物体の接触を前記第2表示画面におけるポインタ操作として処理する第1動作モードと、前記第1表示画面に対する前記物体の接触を前記第1表示画面におけるタッチ操作として処理する第2動作モードとであり、
    前記設定手段は、前記接触角度が予め定められた第1範囲内の角度である場合には、電子機器の動作モードを前記第1動作モードに設定し、前記接触角度が予め定められた第2範囲内の角度である場合には、電子機器の動作モードを前記第2動作モードに設定する、請求項22に記載の電子機器。
  28. 前記接触角度が予め定められた第2範囲内の角度である場合、前記表示制御手段は、前記ポータルサイトにおけるリンク先を示す画像が前記タッチ操作によって選択されたことに基づき、当該リンク先を示す画像により特定されるリンク先のウェブサイトを前記第2表示画面に表示させる、請求項27に記載の電子機器。
  29. 前記第2表示画面に前記ポータルサイトとは異なるウェブサイトが表示されている状態において、前記接触角度が予め定められた第1範囲内の角度である場合、前記表示制御手段は、前記第1表示画面に表示されるサイトを、前記ポータルサイトから前記第2表示画面に表示されている前記ウェブサイトに切り換える、請求項27または28に記載の電子機器。
  30. 前記電子機器は、メディアプレーヤのソフトウェアを格納した記憶装置をさらに備えており、
    前記表示制御手段は、前記メディアプレーヤの起動に基づき、映像を表示するための表示領域を前記第2表示画面に設定する処理を行なうとともに、前記映像の表示を制御するためのソフトウェアキーを含む画像を前記第1表示画面に表示させ、
    前記複数の動作モードは、前記第1表示画面に対する前記物体の接触を前記第2表示画面におけるポインタ操作として処理する第1動作モードと、前記第1表示画面に対する前記物体の接触を前記第1表示画面におけるタッチ操作として処理する第2動作モードとであり、
    前記設定手段は、前記接触角度が予め定められた第1範囲内の角度である場合には、電子機器の動作モードを前記第1動作モードに設定し、前記接触角度が予め定められた第2範囲内の角度である場合には、電子機器の動作モードを前記第2動作モードに設定する、請求項22に記載の電子機器。
  31. 前記電子機器は、当該電子機器とは異なる複数の電化製品を示した画像データと、各電化製品の動作を制御するアプリケーションソフトウェアとを格納した記憶装置をさらに備えており、
    前記表示制御手段は、前記アプリケーションソフトウェアを起動した場合、前記画像データに基づき前記第2表示画面に前記複数の電化製品を示す画像を表示させ、
    前記複数の動作モードは、前記第1表示画面に対する前記物体の接触を前記第2表示画面におけるポインタ操作として処理する第1動作モードと、前記第1表示画面に対する前記物体の接触を前記第1表示画面におけるタッチ操作として処理する第2動作モードとを含み、
    前記設定手段は、前記接触角度が予め定められた第1範囲内の角度である場合には、電子機器の動作モードを前記第1動作モードに設定し、前記接触角度が予め定められた第2範囲内の角度である場合には、電子機器の動作モードを前記第2動作モードに設定し、
    前記第1動作モードでは、前記ポインタ操作が予め定められた時間より短い場合、前記ポインタ操作をクリック操作として処理し、
    前記表示制御手段は、前記第2表示画面において前記クリック操作により選択された前記電化製品の動作を制御するためのソフトウェアキーを含む画像を前記第1表示画面に表示させる、請求項22に記載の電子機器。
  32. 表示画面を備えた電子機器であって、
    指紋を示した基準画像を予め格納した記憶装置と、
    前記表示画面上の指を、当該表示画面を介してスキャンするスキャン手段と、
    前記指を前記表示画面に投影したときの指先が指す方向を指先方向とすると、前記基準画像における指紋の領域に対する、前記指先方向における前記スキャンされた指の指紋の領域の割合を算出する割合算出手段と、
    前記算出された割合に基づいて、前記電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定する設定手段とを備える、電子機器。
  33. 前記基準画像は、前記指の第1関節より先の部分を前記第1表示画面に平行な状態で当該第1表示画面に接触させた場合において前記スキャンを行なうことにより得られる画像である、請求項32に記載の電子機器。
  34. 多点入力が可能な静電容量方式のタッチパネルを備えた電子機器であって、
    前記タッチパネルに指が接触した際の容量の変化を検出する検出手段と、
    前記検出結果に基づいて、前記タッチパネル上における、指が接触している領域と当該指が当該タッチパネルに近接している領域との形状を算出する算出手段と、
    前記算出された形状に基づいて、前記電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定する設定手段とを備える、電子機器。
  35. 表示画面を備えた電子機器における動作モード設定方法であって、
    前記表示画面上の物体を、当該表示画面を介してスキャンするステップと、
    前記スキャンにより得られたデータのうち前記物体の形状を示す形状データに基づいて、前記電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定するステップとを備える、動作モード設定方法。
  36. 表示画面を備えた電子機器における動作モード設定方法であって、
    前記電子機器は、指紋を示した基準画像を予め格納しており、
    前記動作モード設定方法は、
    前記表示画面上の指を、当該表示画面を介してスキャンするステップと、
    前記指を前記表示画面に投影したときの指先が指す方向を指先方向とすると、前記基準画像における指紋の領域に対する、前記指先方向における前記スキャンされた指の指紋の領域の割合を算出するステップと、
    前記算出された割合に基づいて、前記電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定するステップとを備える、動作モード設定方法。
  37. 電子機器における動作モード設定方法であって、
    前記電子機器は、多点入力が可能な静電容量方式のタッチパネルを備え、
    前記動作モード設定方法は、
    前記タッチパネルに指が接触した際の容量の変化を検出するステップと、
    前記検出結果に基づいて、前記タッチパネル上における、指が接触している領域と当該指が当該タッチパネルに近接している領域との形状を算出するステップと、
    前記算出された形状に基づいて、前記電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定するステップとを備える、動作モード設定方法。
  38. 表示画面を備えた電子機器における動作モードを制御するプログラムであって、
    前記プログラムは、
    前記表示画面上の物体を、当該表示画面を介してスキャンするステップと、
    前記スキャンにより得られたデータのうち前記物体の形状を示す形状データに基づいて、前記電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定するステップとを、前記電子機器に実行させるプログラム。
  39. 表示画面を備えた電子機器における動作モードを制御するプログラムであって、
    前記電子機器は、指紋を示した基準画像を予め格納しており、
    前記プログラムは、
    前記表示画面上の指を、当該表示画面を介してスキャンするステップと、
    前記指を前記表示画面に投影したときの指先が指す方向を指先方向とすると、前記基準画像における指紋の領域に対する、前記指先方向における前記スキャンされた指の指紋の領域の割合を算出するステップと、
    前記算出された割合に基づいて、前記電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定するステップとを、前記電子機器に実行させるプログラム。
  40. 電子機器における動作モードを制御するプログラムであって、
    前記電子機器は、多点入力が可能な静電容量方式のタッチパネルを備え、
    前記プログラムは、
    前記タッチパネルに指が接触した際の容量の変化を検出するステップと、
    前記検出結果に基づいて、前記タッチパネル上における、指が接触している領域と当該指が当該タッチパネルに近接している領域との形状を算出するステップと、
    前記算出された形状に基づいて、前記電子機器の動作モードを、複数の動作モードのうちのいずれかの動作モードに設定するステップとを、前記電子機器に実行させるプログラム。
JP2009150103A 2009-06-24 2009-06-24 電子機器、動作モード設定方法、およびプログラム Withdrawn JP2011008424A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009150103A JP2011008424A (ja) 2009-06-24 2009-06-24 電子機器、動作モード設定方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009150103A JP2011008424A (ja) 2009-06-24 2009-06-24 電子機器、動作モード設定方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2011008424A true JP2011008424A (ja) 2011-01-13

Family

ID=43565029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009150103A Withdrawn JP2011008424A (ja) 2009-06-24 2009-06-24 電子機器、動作モード設定方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP2011008424A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013127755A (ja) * 2011-12-19 2013-06-27 Sharp Corp タッチパネル制御装置、タッチパネルシステム、および電子機器
JP2014142737A (ja) * 2013-01-23 2014-08-07 Fujitsu Ltd 入力プログラム、入力装置および入力方法
JP2014157402A (ja) * 2013-02-14 2014-08-28 Nec Casio Mobile Communications Ltd 表示装置、電子機器、表示方法及びプログラム
JP2014216006A (ja) * 2013-04-22 2014-11-17 富士ゼロックス株式会社 ユーザの入力を受け付けるシステム、プログラムおよび方法
KR20150047577A (ko) * 2012-08-27 2015-05-04 마이크로칩 테크놀로지 저머니 Ⅱ 게엠베하 운트 콤파니 카게 손 자세 제어에 의한 입력 디바이스
KR20150130431A (ko) * 2013-03-15 2015-11-23 퀄컴 인코포레이티드 제스처들을 이용한 터치 입력들의 향상
US10359889B2 (en) 2012-05-29 2019-07-23 Sony Corporation Terminal device, information processing method, and storage medium
CN111221383A (zh) * 2019-12-31 2020-06-02 联想(北京)有限公司 一种电子设备
JP2020140428A (ja) * 2019-02-28 2020-09-03 レノボ・シンガポール・プライベート・リミテッド 情報処理装置
WO2022169526A1 (en) * 2021-02-03 2022-08-11 Hewlett-Packard Development Company, L.P. User interface controls selections

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013127755A (ja) * 2011-12-19 2013-06-27 Sharp Corp タッチパネル制御装置、タッチパネルシステム、および電子機器
US10359889B2 (en) 2012-05-29 2019-07-23 Sony Corporation Terminal device, information processing method, and storage medium
JP2018055718A (ja) * 2012-08-27 2018-04-05 マイクロチップ テクノロジー ジャーマニー ゲーエムベーハー 手姿勢制御を伴う入力デバイス
KR102137687B1 (ko) * 2012-08-27 2020-07-27 마이크로칩 테크놀로지 저머니 게엠베하 손 자세 제어에 의한 입력 디바이스
KR20150047577A (ko) * 2012-08-27 2015-05-04 마이크로칩 테크놀로지 저머니 Ⅱ 게엠베하 운트 콤파니 카게 손 자세 제어에 의한 입력 디바이스
JP2015531139A (ja) * 2012-08-27 2015-10-29 マイクロチップ テクノロジー ジャーマニー ツー ゲーエムベーハー ウント コンパニー カーゲー 手姿勢制御を伴う入力デバイス
JP2014142737A (ja) * 2013-01-23 2014-08-07 Fujitsu Ltd 入力プログラム、入力装置および入力方法
JP2014157402A (ja) * 2013-02-14 2014-08-28 Nec Casio Mobile Communications Ltd 表示装置、電子機器、表示方法及びプログラム
KR20150130431A (ko) * 2013-03-15 2015-11-23 퀄컴 인코포레이티드 제스처들을 이용한 터치 입력들의 향상
JP2016511487A (ja) * 2013-03-15 2016-04-14 クアルコム,インコーポレイテッド ジェスチャによるタッチ入力の向上
KR102194272B1 (ko) * 2013-03-15 2020-12-22 퀄컴 인코포레이티드 제스처들을 이용한 터치 입력들의 향상
JP2014216006A (ja) * 2013-04-22 2014-11-17 富士ゼロックス株式会社 ユーザの入力を受け付けるシステム、プログラムおよび方法
JP2020140428A (ja) * 2019-02-28 2020-09-03 レノボ・シンガポール・プライベート・リミテッド 情報処理装置
CN111221383A (zh) * 2019-12-31 2020-06-02 联想(北京)有限公司 一种电子设备
WO2022169526A1 (en) * 2021-02-03 2022-08-11 Hewlett-Packard Development Company, L.P. User interface controls selections

Similar Documents

Publication Publication Date Title
JP5540344B2 (ja) 電子機器、メニューの選択方法、メニューの選択プログラム
JP2011008424A (ja) 電子機器、動作モード設定方法、およびプログラム
JP5278948B2 (ja) オブジェクト表示装置、オブジェクト表示方法、およびオブジェクト表示プログラム
JP5240773B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP5322163B2 (ja) 表示装置、表示方法、および表示プログラム
JP2010134625A (ja) 電子機器、表示制御方法、およびプログラム
JP5303785B2 (ja) 表示装置、表示方法、および表示プログラム
JP5526397B2 (ja) コンテンツ表示装置、コンテンツ表示方法、およびコンテンツ表示プログラム
JP5526400B2 (ja) 電子機器、情報処理システム、電子機器の制御方法および電子機器の制御プログラム
JP5707029B2 (ja) 電子機器、電子機器の制御方法および電子機器の制御プログラム
JP5344555B2 (ja) オブジェクト表示装置、オブジェクト表示方法、およびオブジェクト表示プログラム
JP5126895B2 (ja) 電子機器、および表示制御方法
JP5334171B2 (ja) 電子機器、および表示制御方法
JP5110594B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP5380729B2 (ja) 電子機器、表示制御方法、およびプログラム
JP5617120B2 (ja) 電子機器、表示制御方法、およびプログラム
JP2010204729A (ja) テキスト表示装置、テキスト表示方法、およびテキスト表示プログラム
JP2010134699A (ja) 入力装置、入力方法、および入力プログラム
JP2011008425A (ja) 電子機器、動作モード設定方法、およびプログラム
JP5322161B2 (ja) 電子機器、情報処理システム、電子機器の制御方法および電子機器の制御プログラム
WO2010103888A1 (ja) コンテンツ表示装置、コンテンツ表示方法、およびコンテンツ表示プログラムを記録するコンピュータ読取可能な記録媒体
JP5289889B2 (ja) 表示装置、表示装置の制御方法、表示装置を制御するためのプログラム
JP5257892B2 (ja) 電子機器、画面切替方法および画面切替プログラム
JP2010108373A (ja) 電子機器、アプリケーションプログラム、情報処理端末およびその制御プログラム
JP2010117768A (ja) 電子機器、その制御方法およびその制御プログラム

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20120904