JP2013117890A - 電子機器及び電子機器の操作方法 - Google Patents

電子機器及び電子機器の操作方法 Download PDF

Info

Publication number
JP2013117890A
JP2013117890A JP2011265436A JP2011265436A JP2013117890A JP 2013117890 A JP2013117890 A JP 2013117890A JP 2011265436 A JP2011265436 A JP 2011265436A JP 2011265436 A JP2011265436 A JP 2011265436A JP 2013117890 A JP2013117890 A JP 2013117890A
Authority
JP
Japan
Prior art keywords
electronic device
light
display unit
type
light receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011265436A
Other languages
English (en)
Inventor
Seishi Nakada
征志 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011265436A priority Critical patent/JP2013117890A/ja
Priority to US13/673,511 priority patent/US20130176283A1/en
Priority to CN2012104907837A priority patent/CN103135924A/zh
Publication of JP2013117890A publication Critical patent/JP2013117890A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04103Manufacturing, i.e. details related to manufacturing processes specially suited for touch sensitive devices

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Electroluminescent Light Sources (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

【課題】タッチパネル方式を採用するに当たって、操作性をより向上させることができる電子機器及び当該電子機器の操作方法を提供する。
【解決手段】携帯電話機、PDA、音楽再生機器、ゲーム機、電子書籍機器等の携帯情報端末、ATM、駅券売機など、表示部を備える電子機器において、表示部の表示面上に位置する操作体の種類を光学的に識別する。そして、この識別した操作体の種類に応じて表示部に対する操作の内容を制御するようにすることで、操作性をより向上させる。
【選択図】図3

Description

本開示は、電子機器及び電子機器の操作方法に関し、特に、表示部を備える電子機器及び当該電子機器の操作方法に関する。
表示部を備える電子機器、例えば、携帯電話機、PDA(Personal Digital Assistants)等の携帯情報端末、銀行等に設置されているATM(Automatic Teller Machine)、駅等に設置されている券売機などでは、操作ボタン等を含む操作部に代えてタッチパネルを用いることで、操作性の向上を図っている。
タッチパネルとしては、操作する操作体の観点から分類すると、指によって操作する方式のもの(例えば、特許文献1参照)や、タッチペンなどの専用の操作体を用いて操作する方式のもの(例えば、特許文献2参照)などが知られている。
特開2010−26710号公報 特開2008−98763号公報
上述したいずれの方式のタッチパネルにあっても、指やタッチペンなどの操作体が接触する画面上の位置を単に検知するものに過ぎず、操作の多様性の点で難がある。これに対し、操作する操作体の種類を光学的に識別し、その識別した操作体の種類に応じて表示部に対する操作の内容で制御できれば、操作の多様性につながり、操作性をより向上させることができる。
そこで、本開示は、タッチパネル方式を採用するに当たって、操作性をより向上させることができる電子機器及び当該電子機器の操作方法を提供することを目的とする。
本開示の電子機器は、
表示部と、
前記表示部の表示面上に位置する操作体の種類を光学的に識別する識別部と、
前記識別部が識別した前記操作体の種類に応じて前記表示部に対する操作の内容を制御する制御部と
を備える。
また、本開示の電子機器の操作方法は、
表示部を備える電子機器において、
表示部の表示面上に位置する操作体の種類を光学的に識別し、
その識別した前記操作体の種類に応じて前記表示部に対する操作の内容を制御するようにする。
本開示の電子機器またはその操作方法において、表示部の表示面上に位置する操作体の種類を光学的に識別することで、操作体の種類をより確実に識別できる。そして、その識別結果に応じて表示部に対する操作内容を制御することで、操作体による操作の過程で操作内容を所望の内容に切り替えることができる。
本開示によれば、操作する操作体の表示面上の位置情報を取得するだけでなく、操作体の種類に応じて表示部に対する操作内容を操作体による操作の過程で切り替えることができるため、操作性をより向上させることができる。
本開示の実施形態に係る携帯型音楽再生機器の外観の概略を示す斜視図である。 実施例1に係る表示部における発光素子及び受光素子のレイアウトの一例を示す平面図である。 図2のA−A´線に沿った矢視断面を示す断面図である。 実施例1に係る制御系の構成の一例を示すブロック図である。 実施例1に係る制御系による制御の下で実行される処理手順を示すフローチャートである。 有機EL素子の出力分光とフォトダイオードの感度特性の例(A)、及び、爪と皮膚の反射率の例(B)をそれぞれ示す図である。 皮膚に光が当たったときの出力例(A)、及び、爪に光が当たったときの出力例(B)をそれぞれ示す図である。 表示部に対する操作内容の具体例の説明図であり、(A)は皮膚でタッチした場合を、(B)は爪でタッチした場合をそれぞれ表わしている。 音楽再生機器における使用例の説明図であり、(A)は皮膚での操作例を、(B)は爪での操作例をそれぞれ表わしている。 ペイントソフトにおける使用例の説明図であり、(A)は実線描画の場合を、(B)は破線描画の場合をそれぞれ表わしている。 発光素子及び受光素子の他のレイアウト例1を示す断面図である。 発光素子及び受光素子の他のレイアウト例2を示す断面図である。 発光素子及び受光素子の他のレイアウト例3を示す平面図である。 発光素子及び受光素子の他のレイアウト例4を示す平面図ある。 実施例2に係る表示部周辺の構成例を示す概略斜視図である。 実施例2に係る制御系の構成の一例を示すブロック図である。 実施例3に係るボールペン式タッチペンの構成例を示す正面図である。 実施例3の場合の表示部に対する操作内容の具体例を示す図である。 従来のタッチパネル式の電子機器における作業例を示す図である。 実施例3の場合の作業例を示す図である。 実施例4に係る表示部周辺の構成例を示す概略斜視図である。 実施形態に係る表示部の製造方法の一例を示す製造工程図である。 有機EL素子からの直接光の反射率測定への影響について説明する図である。 実施形態に係る表示部の製造方法の他の例を示す製造工程図(その1)である。 実施形態に係る表示部の製造方法の他の例を示す製造工程図(その2)である。
以下、本開示の技術を実施するための形態(以下、「実施形態」と記述する)について図面を用いて詳細に説明する。本開示は実施形態に限定されるものではなく、実施形態における種々の条件や数値などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
1.本開示の電子機器及び電子機器の操作方法、全般に関する説明
2.実施形態に係る電子機器
2−1.実施例1
2−2.実施例2
2−3.実施例3
2−4.実施例4
2−5.製造方法
3.変形例
4.本開示の構成
<1.本開示の電子機器及び電子機器の操作方法、全般に関する説明>
本開示の電子機器は、表示部を備える電子機器である。表示部を備える電子機器としては、パーソナルコンピュータ(PC)や、携帯電話機、PDA(Personal Digital Assistants)、音楽再生機器、タブレットPC、ゲーム機、電子書籍機器等の携帯情報端末を例示することができる。更に、これら携帯情報端末に限らず、銀行等に設置されているATM(Automatic Teller Machine)や、駅等に設置されている券売機なども、表示部を備える電子機器として例示することができる。
本開示の電子機器の表示部としては、モノクロ表示対応の表示部であってもよいし、カラー表示対応の表示部であってもよい。カラー表示対応の場合は、カラー画像を形成する単位となる1つの画素(単位画素)は、複数の副画素(サブピクセル)から構成されることになる。より具体的には、カラー表示対応の表示部では、1つの画素は、例えば、赤色(Red;R)を表示する副画素、緑色(Green;G)を表示する副画素、青色(Blue;B)を表示する副画素の3つの副画素から構成される。
但し、1つの画素としては、RGBの3原色の副画素の組み合わせに限られるものではなく、RGBの3原色の副画素に更に1色あるいは複数色の副画素を加えて1つの画素を構成することも可能である。より具体的には、例えば、輝度向上のために白色(White;W)を表示する副画素を加えて1つの画素を構成したり、色再現範囲を拡大するために補色を表示する少なくとも1つの副画素を加えて1つの画素を構成したりすることも可能である。
本開示の電子機器は、表示部の表示面上で各種の操作を行うことができる構成となっている。表示面上での操作を可能にするために、本開示の電子機器は、表示部の表示面上に位置する操作体の種類を光学的に識別する識別部と、当該識別部が識別した操作体の種類に応じて表示部に対する操作の内容を制御する制御部とを備える。
ここで言う「操作体」とは、電子機器のユーザーが表示面上で操作を行う際に用いる物体のことである。電子機器のユーザーが指で操作を行う場合は当該指が操作体ということになる。指による操作には、爪の部位で操作する場合や、指の腹(指先の内側)などの皮膚の部位で操作する場合や、指の側面側の爪と皮膚の境界の部位で操作する場合などが考えられる。
人の指は、その部位によって光の反射率が異なる。具体的には、爪の部位と、指の腹などの皮膚の部位と、指の側面側の部位とで光の反射率が異なる。また、同じ爪の部位であっても、例えば、マニキュアを塗った場合と塗らない場合、あるいは、塗るマニキュアの色や種類などによっても光の反射率が異なる。
表示部の表示面上に位置する操作体の種類を光学的に識別する識別部において、「操作体の種類」とは、操作体が例えば指の場合には、操作する指の部位、即ち、爪の部位(爪部)/皮膚の部位(皮膚部)/側面側の部位(側面部)ということになる。また、爪の部位に特化した場合には、マニキュアを塗った爪であるか、塗っていない爪であるか、あるいは、塗るマニキュアの色や種類などが「操作体の種類」ということになる。
ここでは、操作体が指の場合を例に挙げたが、反射率が異なる複数の部位を持つ専用の操作体、例えば3芯のボールペン形式で、芯体毎に先端部の反射率が異なる専用のペンなどを用いることもできる。
以上の観点からすると、識別部は、表示部の表示面上に位置する操作体からの反射光を基に操作体の種類を識別する構成であることが望ましい。ここで、「表示部の表示面上に位置する」とは、操作体が表示部の表示面に接触した状態や、表示面に対して所定の距離以内に近接した状態を言う。
識別部は、表示部内に設けられた発光素子の照射光量と、発光素子から発せられ、操作体で反射された光を受光する、表示部内に設けられた受光素子の入射光量とに基づいて、操作体の種類を識別する構成とすることができる。具体的には、発光素子の照射光量と受光素子の入射光量とに基づいて操作体の反射率を算出し、この算出した操作体の反射率を基に当該操作体の種類を識別することができる。
表示部内に設けられる発光素子としては、表示部の画素の発光素子を用いることができる。この場合、発光素子が発する光は可視光となる。表示部がカラー表示対応の場合は、例えばR,G,Bの各色光となる。表示部内に設けられる発光素子としては、表示部の画素の発光素子に限られるものではなく、赤外光などの可視光以外の光を発する発光素子であってもよい。
表示部内に設けられる発光素子が、画素の発光素子である場合には、当該発光素子は自発光素子であるのが望ましい。発光素子が自発光素子であることで、表示部をフラットパネル型(平面型)の表示部とすることができるため、特に、携帯情報端末への搭載が可能となる。また、画素に専用の発光素子を設けなくても、操作体の操作位置を検出するための光を画素単位で得ることができる。自発光素子としては、有機EL(エレクトロルミネッセンス)素子、LED(発光ダイオード)素子、プラズマ素子などを例示することができる。
自発光素子として有機EL素子を用いて成る有機ELパネル(表示装置)は、次のような特長を持っている。すなわち、有機EL素子は、10V以下の印加電圧で駆動できるために低消費電力である。また、有機EL素子は、自発光素子であるために画像の視認性が高く、しかも、応答速度が数μsec程度と非常に高速であるために動画表示時の残像が発生しない。
有機EL素子を逆バイアス状態にすることにより、当該有機EL素子を受光素子として用いることができる。従って、自発光素子として有機EL素子を用いる場合には、受光素子としても有機EL素子を用いるのが好ましい。このようにすることで、発光素子及び受光素子を共に同じプロセスにて、同じ配線層やトランジスタ層に形成することができるため、製造コストの低減を図る上で有利となる。但し、受光素子として用いる有機EL素子は、光電変換可能な有機膜を用いる素子の一例であり、有機EL素子に限られるものではない。
受光素子は、発光素子に対応して設ける、好ましくは、同じ色の画素間に設けるのが望ましい。このようにすることで、発光素子から画素単位で発せられる、操作体の操作位置を検出するための光を画素単位で受光することができるために、操作体の操作位置を画素単位で検出することができる。また、受光素子への光伝搬路の周囲に遮光壁を設けるようにすることもできる。これにより、発光素子からの直接光が受光素子に入らないように遮光することができるため、当該直接光が操作体の反射率を測定する上での障害となることはない。
画素の発光素子と受光素子とについては、同一の半導体基板上に形成する構成とすることができる。また、受光素子としては、例えばフォトダイオード、具体的には、当該受光素子が形成される半導体基板において、配線層が配される側と反対側から光を取り込む裏面照射型センサ構造のフォトダイオードや、表面側から光を取り込む表面照射型センサ構造のフォトダイオードを用いることができる。受光素子については、形成される半導体基板の深さ方向における形成位置を変えることによって、カラーフィルタを用いなくても色分離を行うことができる。受光素子を同一の深さ位置に形成して、カラーフィルタによって色分離を行うようにすることもできる。
操作体の種類を光学的に識別する構成によれば、表示部上にタッチパネルが設けられていなくても、タッチパネルのような感覚で操作を行うことができる。特に、操作体が例えば指の場合には、爪や皮膚を使い分けた操作が可能になり、また、ペイントソフトなどを使用する際に、色の切り替えなどが直感的な動作で可能となるため、ノートなどの記録媒体に絵や文字を書くような感覚で表示部にて描画できる。従って、音楽再生機器、携帯電話機、パーソナルコンピュータ、タブレットPC、ゲーム機などの幅広い電子機器における操作性、使用性を格段に向上させることができる。
また、電子機器の表示部を、受光素子を有する表示パネル構造とすることで、タッチパネルとしての用途だけでなく、外光の状況も取得する、といった用途も考えられる。つまり、周辺が明るい環境か、暗い環境かなどを表示部自体が判別できる。これにより、周辺の明るさに合わせて、表示部の輝度を変えるようにすることができる。例えば、周辺光量が相対的に明るい場合は、表示部の輝度も明るくし、周辺光量が相対的に暗い場合は表示部の輝度も暗くするように制御を行うことが可能となる。特に、受光素子が画素に対応して設けられている場合は、表示部の表示画面全体で輝度を判別できるため、画面に当っている的確な照度判別によって輝度調整が可能となる。
操作体の種類を光学的に識別する構成に加えて、表示部の表示面上にタッチパネルを配した構成とし、当該タッチパネルによって操作体によって操作されたことを検知する構成とすることもできる。また、操作体によってタッチパネルが操作されたときの音を検知する集音器を設けて、音の周波数成分を基に操作体の種類を識別する手法を、光学的な識別の手法と併用する構成とすることもできる。あるいは、表示部の表示面に流す微弱電流の変化を基に操作体の種類を識別する手法を、光学的な識別の手法と併用する構成とすることもできる。
<2.実施形態に係る電子機器>
以下に、本開示の実施形態に係る電子機器、即ち、表示部を備え、当該表示部の表示面上で各種の操作を行うことができる構成の電子機器の具体例について説明する。
図1は、本開示の実施形態に係る電子機器、例えば、携帯型音楽再生機器の外観の概略を示す斜視図である。図1に示すように、本開示の実施形態に係る音楽再生機器10は、正面及び背面が共に略長方形状に形成された扁平形状の本体部11を有している。本体部11の正面側には、例えば長方形状の情報表示面12Aを有する表示部12が設けられている。
表示部12の情報表示面12Aには、1又は複数の表示子を有する表示画面や所定の情報をリスト化して示す表示画面等のように、種々の構成の表示画面を表示し得るようになっている。また、表示部12の情報表示面12Aには、種々の表示画面を単独で表示し、また、特定の表示画面上に他の表示画面や1又は複数の表示子等の他の情報を重畳させて表示することもできるようになっている。
そして、本実施形態に係る音楽再生機器10にあっては、表示部12から直接、即ち、情報表示面12A上で、タッチパネル的に各種の操作を行うことができるようになっている。より具体的には、本実施形態に係る音楽再生機器10は、例えば、情報表示面12A上にタッチパネルが設けられていなくても、タッチパネルのような感覚で操作を行うことができるようになっている。
特に、本実施形態に係る音楽再生機器10は、操作に当って、情報表示面12A上に位置する操作体の種類を光学的に識別し、その識別した操作体の種類に応じて表示部12に対する操作の内容を制御することを特徴としている。その詳細については後述する。
本体部11の正面の下側には、再生の開始及び停止を指示するための再生/停止ボタン13と、ホームメニュー画面を表示するためのホームボタン14とが配置されている。更に、本体部11の一方の側面には、音量を調節するための音量調節ボタン15が設けられている。
上述したような携帯型の音楽再生機器など、表示部を有する電子機器において、表示部の表示面上に位置する操作体の種類を光学的に識別し、その識別した操作体の種類に応じて表示部に対する操作の内容を制御する具体的な実施例について以下に説明する。
[2−1.実施例1]
図2は、実施例1に係る表示部における発光素子及び受光素子のレイアウトの一例を示す平面図である。実施例1に係る表示部12では、発光素子として例えば有機EL素子を用い、受光素子として例えばフォトダイオードを用い、RGBの副画素(以下、単に「画素」と呼ぶ場合もある)が色毎にストライプ状に配列された表示パネルの構成となっている。
RGBの有機EL素子21R,21G,21Bがストライプ状に配列されて成る画素配列において、入射光を光電変換して光量を検知可能なフォトダイオード22は、有機EL素子21R,21G,21Bの各々に対応して設けられている。より具体的には、フォトダイオード22は、同じ色の画素(有機EL素子)間に設けられている。
図3に、図2のA−A´線に沿った矢視断面の構造を示す。図3において、半導体基板23にはフォトダイオード22及び配線層24が形成されている。この半導体基板23において、配線層24が形成されている側を表面とするとき、フォトダイオード22は、配線層24が配される側と反対側、即ち、裏面側に配されて半導体基板23の裏面側から光を取り込む、所謂、裏面照射型センサ構造となっている。
半導体基板23の上には、素子形成層25が設けられている。この素子形成層25の半導体基板23と反対側には、R,G,Bの有機EL素子21R,21G,21Bが形成され、半導体基板23側には、有機EL素子21R,21G,21Bの電極を含む配線層26が形成されている。そして、素子形成層25の光出射面側には、透明な保護膜27が設けられている。
上記構成の実施例1に係る表示部12において、有機EL素子21R,21G,21Bから発せられる光は、図1の表示部12の情報表示面12Aに画像などを表示する表示光として用いられるとともに、情報表示面12A上に位置する操作体を検知する検知光としても用いられる。
すなわち、有機EL素子21R,21G,21Bから発せられる光は、情報表示面12A上に位置する操作体にも照射される。そして、操作体で反射された光は、フォトダイオード22に入射する。ここで、有機EL素子21R,21G,21Bによる光の照射光量と、フォトダイオード22に入射する光の入射光量とが同一のデバイス内でわかる。従って、これらの光量から操作体の反射率(即ち、フォトダイオード22への入射光量/有機EL素子21R,21G,21Bの照射光量)を算出することができる。
ここでは、操作体が指の場合を例に挙げる。指によって表示部12の情報表示面12Aを操作することで、特に図3に示すように、指によってフォトダイオード22の上方が覆われることになるため、フォトダイオード22に対する外光の影響が受けにくくなる。また、指はその部位によって反射率が異なる。具体的には、爪の部位(爪部)と、指の腹などの皮膚の部位(皮膚部)と、指の側面側の部位(側面部)とで光の反射率が異なる。従って、指の部位毎の反射率の違いによって、表示部12に対する操作の内容を制御することが可能となる。
(制御系の構成)
図4は、操作体の反射率を基に操作内容を制御する実施例1に係る制御系の構成の一例を示すブロック図である。
本例に係る制御系40Aは、AD変換部41、識別部42、メモリ部43、及び、制御部44を有し、フォトダイオード22の出力信号に基づいて制御部44による制御の下に表示部12の操作内容の制御を行う構成となっている。
AD変換部41は、フォトダイオード22から与えられるアナログ信号をデジタル信号に変換して識別部42に与える。識別部42は、AD変換部41から与えられるデジタル値に基づいて、表示部12の情報表示面12A上の指のタッチ位置や物体(爪や皮膚等)を識別する。
ここで、表示部12の情報表示面12Aに指がタッチしているか否かをフォトダイオード22の出力を基に判別するには、外光の影響を考慮する必要がある。例えば、明るい日中に野外で使用する場合など、外光もフォトダイオード22に入射される。タッチしているか否かは、外光が入射するかどうかで判別する。つまり、指がタッチしている部分は外光が遮られ、有機EL素子21R,21G,21Bからの反射が主成分となる。
図2や図3に示したように、例えば緑の有機EL素子21Gに挟まれたフォトダイオード22には、緑色の光が主に入射する。赤や青に関しても同様のことが言える。つまり、有機EL素子21R,21G,21Bの各々の隣接する2つの画素に挟まれた各フォトダイオード22は、指タッチ時の表示部12のRGB発光比率に応じた出力となる。
図2及び図3に示すように、同色の有機EL素子21R,21G,21Bの間にフォトダイオード22を配置することで、フォトダイオード22自体にはカラーフィルタを設けなくとも、反射されてくる光の波長依存性を見ることができる。
具体的なフォトダイオード22の出力比率は、
出力比率=有機EL素子のRGB発光比率×フォトダイオードのRGB感度比率×各色反射率波長依存
となる。
ここで、有機EL素子21R,21G,21Bの発光輝度は、そのデバイス自体が意図的に発光させる輝度値であるため既知である。フォトダイオード22の分光特性も設計可能なものであるため既知である。操作体の反射部の各色波長依存性は、物体によって変動するため事前に範囲を持ったパラメータとして予め保持しておく必要がある。このパラメータは、メモリ部43に予め記憶・保持される。
また、反射体の識別をより正確に行うには、電子機器のユーザーが事前に自分の指の爪や皮膚の反射率を個別に電子機器に読み取らせて登録しておくようにすることもできる。その際の反射率の情報は、メモリ部43に記憶・保持される。
そのようにすることにより、反射率の個人差やマニキュアを塗った爪であっても対応可能となる。例えば、全ての指の爪に異なる反射率のマニキュアを塗ることで、個別の指で操作内容を変えることも可能である。また、セキュリティ用途として、反射率の個人差を利用して、事前に登録された反射率のユーザーしか電子機器を使用できないようにすることもできる。
識別部42は、メモリ部43の記憶情報を参照しつつ操作体のタッチ位置とタッチ物体の識別処理を行い、その識別結果を制御部44に送る。制御部44は、マイクロプロセッサなどによって構成され、識別部42から与えられる識別結果を基に表示部12に対する操作内容を制御し、その操作内容に応じた情報を表示部12の情報表示面12A上に表示させる。
(操作方法)
続いて、上記構成の実施例1に係る制御系40Aによる制御の下で実行される処理手順(即ち、本開示の操作方法の処理手順)について、図5のフローチャートに沿って説明する。
先ず、表示部12の情報表示面12Aが操作体、本例の場合は指によってタッチされているか否かを、例えば先述したように、フォトダイオード22に外光が入射するか否かによって判定し(ステップS11)、タッチされていると判定した場合は、反射率計測の精度を上げるために操作体がタッチしている部位の発光輝度を上げる処理を行う(ステップS12)。但し、この発光輝度を上げる処理については任意である。すなわち、当該処理を行なってもよいし、行わなくてもよい。発光輝度を上げても、指で覆われているため、ユーザーの目に入ってくる情報にはならない。
次に、フォトダイオード22の出力を基に指の反射率を測定し(ステップS13)、次いで、その測定結果を基にメモリ部43を参照する(ステップS14)。そして、表示部12の情報表示面12Aにタッチしている指の部位の反射率が皮膚の反射率であるか、爪の反射率であるか、もしくは、それ以外の反射率であるかを判定する(ステップS15,S16)。
そして、ステップS15において、情報表示面12Aにタッチしている指の部位が皮膚部であると判定した場合、即ち、測定した反射率がメモリ部43に記憶されている皮膚の反射率と類似している場合は、操作Aを実行する(ステップS17)。ステップS16において、情報表示面12Aにタッチしている指の部位が爪部であると判定した場合、即ち、測定した反射率がメモリ部43に記憶されている爪の反射率と類似している場合は、操作Bを実行する(ステップS18)。
ステップS15,S16において、情報表示面12Aにタッチしている指の部位が皮膚部でも、爪部でもないと判定した場合は、操作Cを実行する(ステップS19)。ここでは、皮膚部でも、爪部でもないと判定した場合に操作Cを実行するとしたが、何も実行せずに本処理を終了するようにしてもよい。操作A〜Cの各操作内容は、事前に登録された動作内容となる。その操作内容の具体例については後述する。
ここで、有機EL素子21R,21G,21Bの出力分光とフォトダイオード22の感度特性の例、爪と皮膚の反射率の例、皮膚及び爪に光が当たったときの出力例について、図6及び図7を用いて説明する。
図6において、(A)は有機EL素子21R,21G,21Bの出力分光とフォトダイオード22の感度特性の例を示し、(B)は爪と皮膚の反射率の例を示している。また、図7において、(A)は皮膚に光が当たったときの色毎の出力例を示し、(B)は爪に光が当たったときの色毎の出力例を示している。
先ず、図6(A)において、有機EL素子21R,21G,21Bの発光部分の分光特性が点線である仮定する。それに対して、図6(A)において、フォトダイオード22の感度特性が実線であるとする。更に、図6(B)において、本実施形態に係る電子機器10を使用するユーザーの皮膚の反射率が実線であり、爪の反射率が点線であるとする。
指がタッチした部分を、図6(A)の点線で示す出力と同等に発光させた場合、青色発光の画素に挟まれたフォトダイオードにおける出力は、青色発光(図6(A)の点線)と対象物質の反射率(図6(B))の掛け算したものに、更に、フォトダイオード22の分光特性(図6(A)の実線)を掛け合わせたものとなる。緑色発光、赤色発光の画素に挟まれたフォトダイオードについても同様である。
この結果、皮膚に光が当たった場合の出力は図7(A)の出力の積分値、爪に光が当たった場合の出力は図7(B)の出力の積分値となる。これら積分値の比率は次の通りである。
皮膚 R:G:B = 3.7:3.6:1.6
爪 R:G:B = 4.9:6.0:3.1
この結果の場合、皮膚に比べ爪の方が緑色の占める割合が大きくなることが分かり、このような条件のときに爪がタッチしたと識別する(この比率はあくまで参考例である)。また、比率だけでなく反射光の絶対値で検出するようにしてもよい。
尚、皮膚や爪の特性には個人差があるため、ある程度幅を持って登録しておくか、使用前にユーザー自身がどのような出力特性になるかを事前に電子機器に登録しておくなどの手法が考えられる。
(操作内容の具体例について)
次に、先述した操作A,Bなどの表示部12に対する操作内容の具体例について、図8乃至図10を用いて説明する。
ここでは、一例として、操作体が指のときに、図6(B)に示すように、反射率が相対的に低い皮膚と、反射率が相対的に高い爪との反射率の違いによって操作内容を変える場合を例に挙げて説明する。
図8に示すように、ユーザーが表示部12の情報表示面12Aに皮膚部でタッチした場合(A)は「操作A」を実行し、爪部でタッチした場合(B)は「操作B」を実行する。操作Aと操作Bの具体例を図9に示す。
図9は、音楽再生機器における使用例を示している。選曲の際に、皮膚で操作した場合(A)には、アーティスト(歌手)を選定する画面が表示され、爪で操作した場合(B)には曲名を選定する画面が表示される。従来は、歌手名を探すか、曲名を探すかといった動作は、他の操作によるモードの切り替えが必要だった。しかし、本実施形態に係る操作方法を適用することでモードの切り替えは、例えば指の皮膚か爪かなど、反射率の異なる物質によって実現でき、より直感的な操作が可能となる。
図10は、ペイントソフトの使用時の例を示している。ここで、「ペイントソフト」とは、コンピュータ上で描画する2次元コンピュータグラフィックス用のグラフィックソフトウェアである。皮膚で操作した場合(A)には、皮膚がなぞる軌跡をたどって実線が描画され、爪で操作した場合(B)には、爪がなぞる軌跡をたどって破線が描画される。
尚、この例では、実線の描画(A)と破線の描画(B)の場合を例示しているが、これは一例に過ぎない。例えば、皮膚で操作した場合には、皮膚がなぞる軌跡をたどって黒線を描画し、爪で操作した場合には、爪がなぞる軌跡をたどって赤線を描画するような動作内容など、様々な動作内容とすることができる。
(発光素子と受光素子の他のレイアウト例について)
発光素子である有機EL素子21(21R,21G,21B)と、受光素子であるフォトダイオード22のレイアウトに関し、図2及び図3の例では単純に、同じ色の画素(有機EL素子21)間にフォトダイオード22を配するレイアウト構造を採っていた。当該レイアウト構造以外に、以下に説明するようなレイアウト構造を採ることもできる。
・他のレイアウト例1
例えば、図11に示すように、フォトダイオード22上にカラーフィルタ30を設けて色分離をより正確に行うレイアウト構造とすることもできる。図2及び図3の例では、緑色の有機EL素子21Gに挟まれたフォトダイオード22に入ってくる操作体からの反射光は、緑色の波長が主成分であることを前提としている。他の有機EL素子21R,21Bからの混色成分の影響をさらに除外するには、フォトダイオード22上にカラーフィルタ30を設けて(図11の例の場合、緑色用のカラーフィルタ)、緑色以外の光を吸収させることで、色分離をより確実に行うことができる。
・他のレイアウト例2
また、図12に示すように、半導体基板23の深さ方向におけるフォトダイオード22の形成位置を色別に変えるレイアウト構造とすることもできる。長波長(赤色)側の光ほど、半導体基板23の奥まで到達して光電変換されるために、赤色のフォトダイオード22Rについては半導体基板23の基板表面から深い位置に形成する。また、緑色のフォトダイオード22Gについては赤色のフォトダイオード22Rよりも浅い位置に形成し、青色のフォトダイオード22Bについては半導体基板23の基板表面付近に形成する。
一例として、赤色のフォトダイオード22Rについては基板表面から1.5μm〜2.0μm程度の区間の深さ位置に形成するのが好ましい。緑色のフォトダイオード22Gについては基板表面から0.7μm〜1.4μm程度の区間の深さ位置に形成するのが好ましい。青色のフォトダイオード22Bについては基板表面から0μm〜0.6μm程度の区間の深さ位置に形成するのが好ましい。
このように、半導体基板23の深さ方向におけるフォトダイオード22(22R,22G,22B)の形成位置を色別に変えるレイアウト構造とすることにより、カラーフィルタ30を設けなくても簡易的に特定色のみの検波を行うことができる。その結果、他の波長による混色を防ぎ、物質の検出判定精度を向上させることができる。
・他のレイアウト例3
以上説明したレイアウト構造ではいずれも、同じ色の画素(有機EL素子21)間に、各色に対応してフォトダイオード22を配するレイアウト構造となっていた。これに対して、図13に示すように、フォトダイオード22として各色に対応したR,G,Bのフォトダイオード22R,22G,22Bを単位として同じ色の画素(有機EL素子21)間に配置するレイアウト構造とすることもできる。
このように、R,G,Bのフォトダイオード22R,22G,22Bを単位として同じ色の画素間に配置するレイアウト構造とすることにより、より細かい出力分析を行うことができる。
・他のレイアウト例4
以上説明したレイアウト構造ではいずれも、波長依存を見るレイアウト構造となっていた。これに対して、波長依存を見ずに、反射する絶対量だけを検波するのであれば、図14に示すように、R,G,Bの副画素が行列状に配置されて成る画素アレイ部の一部分にのみフォトダイオード22を設けるレイアウト構造とすることもできる。また、発光させる光はR,G,Bの各色光に限らずその他の光、例えば、赤外光などの可視光以外の光を用いても良いものとする。
上述したように、本実施例に係る表示部12、即ち、フォトダイオード22を搭載した有機ELパネルによれば、情報表示面12A上にタッチパネルが設けられていなくても、タッチパネルのような感覚で操作を行うことができる。特に、爪や皮膚を使い分けた操作が可能になり、また、ペイントソフトなどを使用する際に、色の切り替えなどが直感的な動作で可能となり、ノートなどの記録媒体に絵や文字を書くような感覚で表示部12にて描画することが可能となるため、操作性を格段に向上させることができる。
[2−2.実施例2]
図15は、実施例2に係る表示部周辺の構成例を示す概略斜視図である。
実施例1では、フォトダイオード22を搭載した有機ELパネル(即ち、表示部12)により、操作体の接触位置の検出や接触物体の検知を光学的に行う構成を採っていた。これに対して、本実施例2では、図11に示すように、表示部12、即ち、フォトダイオード22を搭載した有機ELパネルの上にタッチパネル50を重ねて配置した構成を採っている。
タッチパネル50の構成については特に限定するものではない。具体的には、タッチパネル50として、静電容量方式のタッチパネル、抵抗膜方式のタッチパネル、あるいは、音響波照合方式(Acoustic Pulse Recognition)のタッチパネルなどといった周知の構成のタッチパネルを用いることができる。
図16は、タッチパネル50を併用した実施例2に係る制御系の構成の一例を示すブロック図である。
実施例2に係る制御系40Bは、実施例1に係る制御系40Aの構成、即ち、AD変換部41、識別部42、メモリ部43、及び、制御部44に加えて、新たにAD変換部45を有する構成となっている。タッチパネル50は、操作体が接触(タッチ)すると、それを検知して接触位置を示す信号を出力する。AD変換部45は、タッチパネル50から出力されるアナログ信号をデジタル値に変換して制御部44に供給する。
上記の構成の実施例2に係る制御系40Bにおいて、制御部44は、タッチパネル50から与えられる信号を基に、操作体による操作が行われていることを確認すると、識別部42から操作体の接触物が何であるかの情報を得る。識別部42は、フォトダイオード22からの物体情報を基に、メモリ部43に登録してある反射率情報を参照して、操作体が例えば指の場合、接触物が皮膚部か爪部か、もしくは、その他の部位かを識別して制御部44へ渡す。
制御部44は、識別部42から得られた情報を基に操作内容を決定して、その操作内容に応じた情報を表示部12の情報表示面12Aに表示させる。制御部44が操作体による操作が行われていることを確認した以降の動作フローについては、例えば、前述した図5のフローと同様である。
[2−3.実施例3]
実施例1,2では、操作体が指の場合を例に挙げたが、操作体としては、指に限られるものではなく、任意の物体を用いることができる。実施例3では、操作体として、所謂、3芯式のボールペン形式の操作体(以下、「ボールペン式タッチペン」と呼ぶ)を用いる場合を例に挙げて説明する。
図17は、実施例3に係るボールペン式タッチペンの構成例を示す正面図である。ボールペン式タッチペン60は、空洞状の本体部61を有している。本体部61の内部には、例えば3本の芯体(図示せず)が、本体部61の長手方向に沿って移動可能に収納されている。一方、本体部61の上端部の周壁部には、3本の芯体に対応する3個の操作子62,63,64が、本体部61の長手方向に沿って摺動可能に取り付けられている。
3個の操作子62,63,64の各々と、3本の芯体の各々とは、周知の機構によって連動可能な構成となっている。すなわち、3個の操作子62,63,64の各々が本体部61の長手方向に沿って摺動するときに、これに連動して3本の芯体の各々が本体部61の長手方向に沿って移動し、各々の先端部が本体部61の先端から突出するようになっている。
また、3本の芯体の各々の先端(ペン先)には、反射率の異なる反射体(反射物質)65A,65B,65Cが装着されている。ここでは、一例として、反射体65Aの反射率を10%、反射体65Bの反射率を30%、反射体65Cの反射率を50%とする。
一方、実施例3に係る制御系としては、例えば、実施例1に係る制御系40Aと同じ構成(図4参照)の制御系を用いることができる。そして、図4のメモリ部43には、各反射率に対応した操作内容、即ち、各反射率のときにどのような動作をするかを事前に登録しておくようにする。
表示部12に対する操作内容の具体例を図18に示す。例えば、反射率10%のペン先でタッチされたときには黒実線を描き、反射率30%のペン先でタッチされたときには黒破線を描き、反射率50%のペン先でタッチされた時には赤点線を描く、などといったように表示部12の情報表示面12Aに対する描画制御を行うことが考えられる。
ここで、従来のタッチパネル式の電子機器における作業例について図19を用いて説明する。図19には、実線のS字と破線のS字を描くときの作業例を示している。従来は、先ず実線で線を描き(A)、しかる後、破線に切り替えるために“MENU”をタッチし(B)、情報表示面12Aに線種選択画面を表示する。次に、線種選択画面にて破線を選択し(C)、しかる後、破線のS字を描画する(D)。
このように、従来は、電子機器内で色や線の種類を選択した後に例えば線を引いたりすることで任意の描画を実現していた。しかし、線種などを選択する動作などで手間がかかり、また、通常の紙のノートに色線を引くときの動作とかけ離れているため、操作が直感的ではなかった。
これに対して、実施例3に係るボールペン式タッチペン60を用いて操作を行うことで、ペン先の反射率をボールペン式に変えるだけでよいため、図20に示すように、実線を引く作業(A)と、破線を引く作業(B)の2つの作業で済む。これにより、従来のノートに線を引くのと同様に、ペン先の反射率を変えるという直感的な操作が可能となる。
[2−4.実施例4]
図21は、実施例4に係る表示部周辺の構成例を示す概略斜視図である。
実施例4では、タッチパネル50を操作体で操作した際に、表示部12、即ち、フォトダイオード22を搭載した有機ELパネルを通して伝達される音を検知する、マイクロフォンなどの集音器70を併用する構成を採っている。集音器70は、タッチパネル50を操作体で操作したときに、有機ELパネルを通して伝達される音を検知する上では、当該有機ELパネルと一体的に形成されているのが好ましい。
集音器70は、タッチパネル50を操作体で操作する際に、操作体がタッチパネル50に接触したときの音によって接触物体を識別するのに用いられる。操作体が例えば指の場合には、爪部で操作したときは皮膚部で操作したときに比べて高周波側の音として集音器70によって検出される。皮膚部で操作したときは爪部で操作したときに比べて低周波側の音として集音器70によって検出される。
従って、タッチパネル50が操作されたときに集音器70で検出した音の周波数成分を読み取り、この周波数成分を基に、事前にメモリ部に登録しておいた操作内容を参照することにより、操作体が爪か、皮膚か、もしくは、それ以外かを識別することができる。具体的には、図5のフローチャートにおいて、ステップS15,S16の判定処理における反射率を音の周波数成分に置き換えることで、上記の識別を行うことができる。
ここで、事前に操作内容を登録しておくメモリ部は、図4のメモリ部43に相当する。そして、このメモリ部には、検出した音の周波数成分に対応した操作内容、即ち、各周波数成分のときにどのような動作をするかを事前に登録しておくようにする。
上述したように、集音器70で検出した音の周波数成分に基づく操作体の種類の識別を、実施例1〜3の光学的な識別と併用することにより、操作体の種類の識別精度をより向上させることができる。
[2−5.製造方法]
本実施形態に係る表示部12、即ち、フォトダイオード22を搭載した有機ELパネルは、任意の製造方法で作製可能である。
(製造方法の一例)
その製造方法の一例を、図22の製造工程図を用いて説明する。先ず、シリコン基板などの半導体基板23に周知の手法を用いてフォトダイオード22を作製する(工程1)。このときのイオンインプラの濃度やエネルギーによって、半導体基板23の深さ方向におけるフォトダイオード22の形成位置を任意に決めることができる。
次に、フォトダイオード22を駆動し、フォトダイオード22から信号を読み出すためのトランジスタや配線(図3の配線層24に相当)を形成する(工程2)。次に、パッシベーション膜81を形成し、更に、支持基板82を接合(接着)し(工程3)、次いで、半導体基板23を裏返す(工程4)。
次に、半導体基板23の裏面側を、バックグラインドやCMP(Chemical Mechanical Polishing:化学的機械研磨)などで研磨してフォトダイオード22の近傍まで削り取る(工程5)。ここまでの工程によって、フォトダイオード22に関わる部分が作製されたことになる。
次に、有機EL素子21(21R,21G,21B)の駆動に関わるトランジスタや有機EL素子21の下部電極を含む配線(図3の配線層26に相当)を形成し(工程6)、次いで、有機EL素子21の有機層(有機EL材料)211、上部電極212を形成し、更に、上部電極212の上に保護膜27を形成する(工程7)。上述した一連の工程により、図3に示すように、上部側が有機EL素子21の形成層となり、下部側がフォトダイオード22の形成層となる。
上述した製造方法の場合には、有機EL素子21とフォトダイオード22とを個別に作製するため、個別に最適化されたプロセスを適用することができる。もちろん、個別ではなく、同じ配線層やトランジスタ層にこれらを形成するようにしてもよい。
尚、フォトダイオード22として、本実施形態では裏面照射型センサ構造のフォトダイオードを用いるようにしている。フォトダイオード22が裏面照射型センサ構造のフォトダイオードであることで、上述した一連の工程から明らかなように、有機EL素子21とフォトダイオード22とを、個別に最適化されたプロセスを適用して作製することができる利点がある。
裏面照射型センサ構造のフォトダイオードの製造方法としては例えば特開2011−138927号公報に記載の周知の製造方法を、有機EL素子の製造方法としては例えば特開2006−338916号公報に記載の周知の製造方法を用いることができる。
(有機EL素子からの直接光の反射率測定への影響について)
ところで、図3に示す表示部12の構造の場合、図23(A)に示すように、有機EL素子21(21G)から発せられる光が直接フォトダイオード22に入り込み、反射率を測定する上での障害となることが想定される。
そこで、図23(B)に示すように、フォトダイオード22の上方の光伝搬路28の有機EL素子21(21G)との間、好ましくは、光伝搬路28の周囲を覆うように金属等から成る遮光壁29を形成するようにする。
このようにすることで、有機EL素子21からの直接光がフォトダイオード22に入らないように遮光することができるため、当該直接光が反射率を測定する上での障害となるのを未然に防ぐことができる。また、光伝搬路28の周囲を覆うように遮光壁29を形成することで、フォトダイオード22を挟む有機EL素子21Gからの直接光だけでなく、当該有機EL素子21Gに隣接する他の色の有機EL素子21R,21Bからの直接光についても遮光することによって混色を防止することができる。
(製造方法の他の例)
このように遮光壁29を形成する場合の製造方法について製造方法の他の例として、図24及び図25の製造工程図を用いて説明する。
先述した製造方法の製造工程図(図22参照)において説明した工程6までのプロセスについては同様であり、以下に、それ以降のプロセスについて説明する。先ず、図24において、有機EL素子21の有機層(有機EL材料)211、上部電極212を形成し(工程7)、次いで、ドライエッチングによりフォトダイオード22上を開口させる(工程8)。
次に、金属を選択成長させるシード層83を形成する(工程9)。シード層83は、例えば窒化チタン膜などである。成膜方法としては、スパッタや化学気相成長(CVD)、原子層蒸着(ALD)などがある。
続いて、図25において、側壁以外のシード層83をエッチング(例えば、反応性イオンエッチング(RIE))によって除去し、側壁部分のシード層83Aのみを残す(工程10)。次に、アルミニウムの選択CVDによってシード層83Aの表面のみにアルミニウムを堆積して金属反射膜84(図23の遮光壁29に相当)を形成する(工程11)。
シード層83の形成〜金属遮光膜84の形成までの製造方法としては、例えば特開2009−99700号公報に記載の周知の製造方法を用いることができる。
次に、樹脂などを塗布することによって光伝搬路28を埋めて平坦化し(工程12)、次いで、保護膜27を形成する(工程13)。上述した一連の工程により、図23(B)に示すように、遮光壁29(金属遮光膜84)を有し、当該遮光壁29によって有機EL素子21から発せられる光が直接フォトダイオード22に入り込むのを阻止する構造を持つデバイス構造が完成する。
<3.変形例>
上記実施形態では、操作体の種類、操作体が例えば指の場合には、爪部/皮膚部/側面部などを検出するのに反射率や音を用いるとしたが、その検出方法には種々あり、反射率や音に限られるものではない。他の検出方法として、例えば、表示部12の情報表示面12Aに微弱電流を流し、当該微弱電流の変化によって操作体の種類を検出する方法を例示することができる。
この検出方法において、操作体が例えば指の場合、爪の方が皮膚に比べて抵抗が高いため微弱電流の変化量が少ない。例えば実施例2との組合せにより、タッチパネル50で指タッチがあるか否かを判断した後、微弱電流の変化があるしきい値以上か否かを判定することによって、操作体の種類が爪か皮膚かを識別することができる。この場合は、しきい値については、反射率の場合と同様に、事前にある範囲でメモリ部に登録しておいてもよいし、ユーザーが使用前に登録するようにしてもよい。
このように、表示部12の情報表示面12Aに流す微弱電流の変化に基づく操作体の種類の識別を、実施例1〜3の光学的な識別と併用することにより、操作体の種類の識別精度をより向上させることができる。
また、上記実施形態では、受光素子としてフォトダイオード、特に、裏面照射型センサ構造のフォトダイオードを用いるとしたが、これに限られるものではなく、例えば、光電変換可能な有機膜を用いる素子を用いることができる。光電変換可能な有機膜を用いる素子としては、例えば、逆バイアス状態で用いる有機EL素子を例示することができる。
従って、画素の発光素子として有機EL素子を用いる場合には、受光素子としても有機EL素子を用いるのが好ましい。このようにすることで、発光素子及び受光素子を共に同じプロセスにて、同じ配線層やトランジスタ層に形成することができるため、製造コストの低減を図る上で有利となる。
<4.本開示の構成>
尚、本開示は以下のような構成を採ることができる。
(1)表示部と、
前記表示部の表示面上に位置する操作体の種類を光学的に識別する識別部と、
前記識別部が識別した前記操作体の種類に応じて前記表示部に対する操作の内容を制御する制御部と
を備える電子機器。
(2)前記識別部は、前記操作体からの反射光を基に当該操作体の種類を識別する
前記(1)に記載の電子機器。
(3)前記識別部は、
前記表示部内に設けられた発光素子から発せられる光の照射光量と、前記発光素子から発せられ、前記操作体で反射された光を受光する、前記表示部内に設けられた受光素子の入射光量とに基づいて前記操作体の反射率を算出し、この算出した前記操作体の反射率を基に当該操作体の種類を識別する
前記(2)に記載の電子機器。
(4)前記発光素子は、前記表示部の画素の発光素子である
前記(3)に記載の電子機器。
(5)前記発光素子は、可視光以外の光を発する
前記(3)に記載の電子機器。
(6)前記画素の発光素子は、自発光素子である
前記(4)に記載の電子機器。
(7)前記自発光素子は、有機エレクトロルミネッセンス素子である
前記(6)に記載の電子機器。
(8)前記受光素子は、光電変換可能な有機膜を用いる素子である
前記(7)に記載の電子機器。
(9)前記受光素子は、前記画素に対応して設けられている
前記(4)に記載の電子機器。
(10)前記受光素子は、同じ色の前記画素間に設けられている
前記(9)に記載の電子機器。
(11)前記受光素子への光伝搬路の周囲が遮光壁によって覆われている
前記(9)または前記(10)に記載の電子機器。
(12)前記発光素子と前記受光素子とが同一の半導体基板上に形成されている
前記(3)に記載の電子機器。
(13)前記受光素子は、フォトダイオードである
前記(3)に記載の電子機器。
(14)前記受光素子は、当該受光素子の上に配されるカラーフィルタによって色分離されている
前記(3)、前記(9)から前記(13)のいずれかに記載の電子機器。
(15)前記受光素子は、形成される半導体基板の深さ方向における形成位置によって色分離されている
前記(3)、前記(9)から前記(13)のいずれかに記載の電子機器。
(16)前記表示部の表示面上に配されたタッチパネルを有する
前記(1)から前記(15)のいずれかに記載の電子機器。
(17)前記識別部は、前記操作体によって前記タッチパネルが操作されたときに前記操作体の種類の識別を行う
前記(16)に記載の電子機器。
(18)前記操作体によって前記タッチパネルが操作されたときの音を検知する集音器を有し、
前記識別部は、光学的な識別に加えて、前記集音器が検出した音の周波数成分を基に前記操作体の種類を識別する
前記(16)に記載の電子機器。
(19)前記操作体は、反射率の異なるペン先を有するタッチペンである
前記(1)に記載の電子機器。
(20)表示部を備える電子機器の操作に当って、
前記表示部の表示面上に位置する操作体の種類を光学的に識別し、
その識別した前記操作体の種類に応じて前記表示部に対する操作の内容を制御する
電子機器の操作方法。
10・・・音楽再生機器、11・・・本体部、12・・・表示部、12A・・・情報表示面、13・・・再生/停止ボタン、14・・・ホームボタン、15・・・音量調節ボタン、21R,21G,21B・・・有機EL素子、22・・・フォトダイオード、23・・・半導体基板、24,26・・・配線層、25・・・素子形成層、27・・・保護膜、28・・・光伝搬路、29・・・遮光壁、30・・・カラーフィルタ、40A,40B・・・制御系、41,45・・・AD変換部、42・・・識別部、43・・・メモリ部、44・・・制御部、50・・・タッチパネル、60・・・ボールペン式タッチペン、61・・・本体部、62,63,64・・・操作子、65A,65B,65C・・・反射体、70・・・集音器

Claims (20)

  1. 表示部と、
    前記表示部の表示面上に位置する操作体の種類を光学的に識別する識別部と、
    前記識別部が識別した前記操作体の種類に応じて前記表示部に対する操作の内容を制御する制御部と
    を備える電子機器。
  2. 前記識別部は、前記操作体からの反射光を基に当該操作体の種類を識別する
    請求項1に記載の電子機器。
  3. 前記識別部は、
    前記表示部内に設けられた発光素子から発せられる光の照射光量と、前記発光素子から発せられ、前記操作体で反射された光を受光する、前記表示部内に設けられた受光素子の入射光量とに基づいて前記操作体の反射率を算出し、この算出した前記操作体の反射率を基に当該操作体の種類を識別する
    請求項2に記載の電子機器。
  4. 前記発光素子は、前記表示部の画素の発光素子である
    請求項3に記載の電子機器。
  5. 前記発光素子は、可視光以外の光を発する
    請求項3に記載の電子機器。
  6. 前記画素の発光素子は、自発光素子である
    請求項4に記載の電子機器。
  7. 前記自発光素子は、有機エレクトロルミネッセンス素子である
    請求項6に記載の電子機器。
  8. 前記受光素子は、光電変換可能な有機膜を用いる素子である
    請求項7に記載の電子機器。
  9. 前記受光素子は、前記画素に対応して設けられている
    請求項4に記載の電子機器。
  10. 前記受光素子は、同じ色の前記画素間に設けられている
    請求項9に記載の電子機器。
  11. 前記受光素子への光伝搬路の周囲が遮光壁によって覆われている
    請求項9に記載の電子機器。
  12. 前記発光素子と前記受光素子とが同一の半導体基板上に形成されている
    請求項3に記載の電子機器。
  13. 前記受光素子は、フォトダイオードである
    請求項3に記載の電子機器。
  14. 前記受光素子は、当該受光素子の上に配されるカラーフィルタによって色分離されている
    請求項3に記載の電子機器。
  15. 前記受光素子は、形成される半導体基板の深さ方向における形成位置によって色分離されている
    請求項3に記載の電子機器。
  16. 前記表示部の表示面上に配されたタッチパネルを有する
    請求項1に記載の電子機器。
  17. 前記識別部は、前記操作体によって前記タッチパネルが操作されたときに前記操作体の種類の識別を行う
    請求項16に記載の電子機器。
  18. 前記操作体によって前記タッチパネルが操作されたときの音を検知する集音器を有し、
    前記識別部は、光学的な識別に加えて、前記集音器が検出した音の周波数成分を基に前記操作体の種類を識別する
    請求項16に記載の電子機器。
  19. 前記操作体は、反射率の異なるペン先を有するタッチペンである
    請求項1に記載の電子機器。
  20. 表示部を備える電子機器の操作に当って、
    前記表示部の表示面上に位置する操作体の種類を光学的に識別し、
    その識別した前記操作体の種類に応じて前記表示部に対する操作の内容を制御する
    電子機器の操作方法。
JP2011265436A 2011-12-05 2011-12-05 電子機器及び電子機器の操作方法 Pending JP2013117890A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011265436A JP2013117890A (ja) 2011-12-05 2011-12-05 電子機器及び電子機器の操作方法
US13/673,511 US20130176283A1 (en) 2011-12-05 2012-11-09 Electronic apparatus, and method of operating electronic apparatus
CN2012104907837A CN103135924A (zh) 2011-12-05 2012-11-27 电子设备以及操作电子设备的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011265436A JP2013117890A (ja) 2011-12-05 2011-12-05 電子機器及び電子機器の操作方法

Publications (1)

Publication Number Publication Date
JP2013117890A true JP2013117890A (ja) 2013-06-13

Family

ID=48495810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011265436A Pending JP2013117890A (ja) 2011-12-05 2011-12-05 電子機器及び電子機器の操作方法

Country Status (3)

Country Link
US (1) US20130176283A1 (ja)
JP (1) JP2013117890A (ja)
CN (1) CN103135924A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014219841A (ja) * 2013-05-08 2014-11-20 住友電工ネットワークス株式会社 操作入力装置および操作入力プログラム
JP2016105264A (ja) * 2014-11-19 2016-06-09 セイコーエプソン株式会社 表示装置、表示制御方法および表示システム
WO2021059069A1 (ja) * 2019-09-27 2021-04-01 株式会社半導体エネルギー研究所 電子機器

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9122966B2 (en) 2012-09-07 2015-09-01 Lawrence F. Glaser Communication device
US11593776B2 (en) 2012-09-07 2023-02-28 Studebaker & Brackett PC Communication device to sense one or more biometric characteristics of a user
KR102140134B1 (ko) * 2013-09-25 2020-07-31 삼성전자주식회사 전자장치의 화면 표시장치 및 방법
CN104777972B (zh) * 2014-01-14 2018-08-10 联想(北京)有限公司 一种交互方法及电子设备
CN103996382B (zh) * 2014-05-07 2016-04-20 成都京东方光电科技有限公司 提高rgbw图像饱和度的方法及系统
US9671896B2 (en) * 2014-11-18 2017-06-06 Toshiba Tec Kabushiki Kaisha Interface system, object for operation input, operation input supporting method
US10607573B2 (en) 2015-09-28 2020-03-31 Apple Inc. Electronic device display with extended active area
CN105912109A (zh) * 2016-04-06 2016-08-31 众景视界(北京)科技有限公司 头戴式可视设备的屏幕自动开关装置和头戴式可视设备
KR20180085288A (ko) * 2017-01-18 2018-07-26 삼성전자주식회사 지문 인식 기능을 가지는 전자 장치
CN106959757B (zh) * 2017-03-28 2021-03-23 京东方科技集团股份有限公司 一种显示面板及显示设备
CN107392171B (zh) * 2017-08-01 2020-08-07 京东方科技集团股份有限公司 显示基板、显示面板及显示装置
CN110112199B (zh) * 2018-08-10 2021-04-16 友达光电股份有限公司 影像感测显示装置以及影像处理方法
CN109031762A (zh) * 2018-08-23 2018-12-18 合肥京东方光电科技有限公司 显示面板及其驱动方法、显示装置
CN211180476U (zh) * 2018-12-07 2020-08-04 鸿富锦精密工业(深圳)有限公司 液晶显示装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8269746B2 (en) * 2006-11-27 2012-09-18 Microsoft Corporation Communication with a touch screen
US7777732B2 (en) * 2007-01-03 2010-08-17 Apple Inc. Multi-event input system
US20090141004A1 (en) * 2007-12-03 2009-06-04 Semiconductor Energy Laboratory Co., Ltd. Display device and method for manufacturing the same
JP5014971B2 (ja) * 2007-12-19 2012-08-29 ソニーモバイルディスプレイ株式会社 ディスプレイ装置
US20090256810A1 (en) * 2008-04-15 2009-10-15 Sony Ericsson Mobile Communications Ab Touch screen display
US20090295760A1 (en) * 2008-06-02 2009-12-03 Sony Ericsson Mobile Communications Ab Touch screen display
KR20100059698A (ko) * 2008-11-25 2010-06-04 삼성전자주식회사 유저인터페이스 제공 장치, 제공방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체
US20130003079A1 (en) * 2011-06-29 2013-01-03 Holcombe Wayne T Proximity sensor calibration

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014219841A (ja) * 2013-05-08 2014-11-20 住友電工ネットワークス株式会社 操作入力装置および操作入力プログラム
JP2016105264A (ja) * 2014-11-19 2016-06-09 セイコーエプソン株式会社 表示装置、表示制御方法および表示システム
WO2021059069A1 (ja) * 2019-09-27 2021-04-01 株式会社半導体エネルギー研究所 電子機器
US11804064B2 (en) 2019-09-27 2023-10-31 Semiconductor Energy Laboratory Co., Ltd. Electronic device

Also Published As

Publication number Publication date
US20130176283A1 (en) 2013-07-11
CN103135924A (zh) 2013-06-05

Similar Documents

Publication Publication Date Title
JP2013117890A (ja) 電子機器及び電子機器の操作方法
US9367151B2 (en) Touch pad with symbols based on mode
US9870065B2 (en) Information display apparatus with proximity detection performance and information display method using the same
EP2387745B1 (en) Touch-sensitive display
CN108153376B (zh) 显示设备
JP5540344B2 (ja) 電子機器、メニューの選択方法、メニューの選択プログラム
TW200843366A (en) Multimodal adaptive user interface for a portable electronic device
KR101690111B1 (ko) 듀얼 구성 컴퓨터
JP2004038927A (ja) ディスプレイ及びタッチスクリーン
CN110874117B (zh) 手持装置的操作方法、手持装置以及计算机可读取记录介质
CN101395565A (zh) 带有基于模式的符号的触摸板
US20150128081A1 (en) Customized Smart Phone Buttons
CN106471456A (zh) 具有多层触敏表面的装置
JP2011008424A (ja) 電子機器、動作モード設定方法、およびプログラム
US8451226B2 (en) User input device with optical tracking engine that operates through transparent substrate
JP2010204945A (ja) 入力装置、及び入力方法
JP2010218241A (ja) 電子機器、表示制御方法、およびプログラム
KR20150057837A (ko) 무선마우스 시스템 및 이의 동작 방법