JP2014006759A - 情報処理装置および方法、並びに、光電変換装置 - Google Patents

情報処理装置および方法、並びに、光電変換装置 Download PDF

Info

Publication number
JP2014006759A
JP2014006759A JP2012142695A JP2012142695A JP2014006759A JP 2014006759 A JP2014006759 A JP 2014006759A JP 2012142695 A JP2012142695 A JP 2012142695A JP 2012142695 A JP2012142695 A JP 2012142695A JP 2014006759 A JP2014006759 A JP 2014006759A
Authority
JP
Japan
Prior art keywords
light
photoelectric conversion
unit
propagation path
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012142695A
Other languages
English (en)
Inventor
Seishi Nakada
征志 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012142695A priority Critical patent/JP2014006759A/ja
Priority to US13/922,014 priority patent/US9124753B2/en
Priority to CN201310242947.9A priority patent/CN103512655B/zh
Publication of JP2014006759A publication Critical patent/JP2014006759A/ja
Priority to US14/801,644 priority patent/US9485479B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Radiation Pyrometers (AREA)
  • Television Receiver Circuits (AREA)

Abstract

【課題】素子数の増大を抑制しながら、複数の受光部において受光した光を、互いに独立して光電変換することができるようにする。
【解決手段】本開示の情報処理装置は、光を伝搬する光伝搬路と、前記複数の光伝搬路のそれぞれを伝搬した光を、光電変換領域の互いに異なる部分領域において光電変換する光電変換素子と、前記光電変換素子において得られる、各光伝搬路を伝搬した光に対応する電気信号を用いて、照度若しくは色温度を推定する推定部とを備える。本開示は情報処理装置および方法、並びに光電変換装置に適用することができる。
【選択図】図2

Description

本開示は、情報処理装置および方法、並びに、光電変換装置に関し、特に、素子数の増大を抑制しながら、複数の受光部において受光した光を、互いに独立して光電変換することができるようにした情報処理装置および方法、並びに、光電変換装置に関する。
携帯電話やテレビをはじめとする各種電子機器に照度センサや色温度センサが搭載されるようになってきている(例えば、特許文献1および特許文献2参照)。こういった電子機器は、機器が使用されている周辺の環境(明るさや照明の色温度)を推定することで、例えば表示画面(液晶や有機EL)の明るさや色を調整したりすることができる。周辺が明るければ、ディスプレイも明るくし、暗ければディスプレイも暗くするといった動作である。こうすることで、人間が快適に感じられる明るさにディスプレイ輝度などを調整することができる。
このような照度センサには光電変換可能な素子として、フォトダイオードや有機光電変換膜などを有する素子が用いることができる(例えば、特許文献3および特許文献4参照)。こういった素子を用いて、光電変換後の出力値から照度や色温度を推定し、上述したような動作を行うことができる。
特開2011−166491号公報 特開2011−59543号公報 特開2008−103368号公報 特開2011−29453号公報
しかしながら、このようなセンサを設けるためには、そのセンサの数だけ光電変換を行う素子を設けなければならなかった。そのため、装置の小型化が困難になる恐れがあるだけでなく、コストや消費電力が増大する恐れもあった。
本開示は、このような状況に鑑みてなされたものであり、素子数の増大を抑制しながら、複数の受光部において受光した光を、互いに独立して光電変換することができるようにすることを目的とする。
本開示の一側面は、光を伝搬する複数の光伝搬路と、前記複数の光伝搬路のそれぞれを伝搬した光を、光電変換領域の互いに異なる部分領域において光電変換する光電変換素子と、前記光電変換素子において得られる、各光伝搬路を伝搬した光に対応する電気信号を用いて、照度若しくは色温度を推定する推定部とを備える情報処理装置である。
前記推定部により推定された前記照度若しくは前記色温度に基づいて、処理の実行を制御する制御部をさらに備えることができる。
前記推定部により推定された前記照度若しくは前記色温度に基づいて、ユーザ操作を受け付ける操作受付部をさらに備え、前記制御部は、前記操作受付部により受け付けられた前記ユーザ操作に従って、前記処理の実行を制御することができる。
前記推定部により推定された前記照度若しくは前記色温度に基づいて、位置を検出する検出部をさらに備え、前記制御部は、前記検出部により検出された位置に従って、前記処理の実行を制御することができる。
情報を表示する表示部をさらに備え、前記制御部は、前記推定部により推定された前記照度若しくは前記色温度に基づいて、前記表示部の輝度を制御することができる。
前記制御部は、前記推定部により推定された前記照度若しくは前記色温度の時間的変化に基づいて、前記処理の実行を制御することができる。
発光する発光部をさらに備え、前記光伝搬路は、前記発光部より出力される光を、光電変換する光とは逆方向に伝搬することができる。
本開示の一側面は、また、情報処理装置の情報処理方法であって、前記情報処理装置が、光を伝搬する複数の光伝搬路のそれぞれを伝搬した光を、光電変換領域の互いに異なる部分領域において光電変換し、得られた、各光伝搬路を伝搬した光に対応する電気信号を用いて、照度若しくは色温度を推定する情報処理方法である。
本開示の他の側面は、光を伝搬する光伝搬路と、光電変換領域の一部の領域において、前記光伝搬路を伝搬した光を光電変換し、前記光電変換領域の他の領域において、前記光伝搬路を伝搬していない光を光電変換する光電変換素子と、前記光電変換領域の前記一部の領域において得られる、前記光伝搬路を伝搬した光に対応する電気信号を用いて、照度若しくは色温度を推定する推定部とを備える情報処理装置である。
前記光電変換領域全体を、光電変換する光の光路を除く周辺に対して遮光するモジュールをさらに備えることができる。
前記一部の領域と前記他の領域とを互いに遮光する遮光板をさらに備えることができる。
前記光電変換素子は、前記一部の領域において得られる電気信号を読み出す第1の読み出し部と、前記他の領域において得られる電気信号を読み出す、前記第1の読み出し部とは独立して動作する第2の読み出し部とを備えることができる。
前記他の領域において得られる、前記光伝搬路を伝搬していない光に対応する電気信号を用いて、画像データを生成する画像データ生成部をさらに備えることができる。
本開示の他の側面は、また、情報処理装置の情報処理方法において、前記情報処理装置は、光電変換素子の光電変換領域の一部の領域において、光伝搬路を伝搬した光を光電変換し、得られた電気信号を用いて照度若しくは色温度を推定し、前記光電変換領域の他の領域において、光伝搬路を伝搬していない光を光電変換する情報処理方法である。
本開示のさらに他の側面は、光を伝搬する複数の光伝搬路と、前記複数の光伝搬路のそれぞれを伝搬した光を、光電変換領域の互いに異なる部分領域において光電変換する光電変換素子とを備える光電変換装置である。
前記光伝搬路は、所定の物質よりなり、前記光は、前記物質内部を伝搬することができる。
前記光伝搬路は、石英ガラスよりなる光ファイバであるようにすることができる。
本開示のさらに他の側面は、光を伝搬する光伝搬路と、光電変換領域の一部の領域において、前記光伝搬路を伝搬した光を光電変換し、前記光電変換領域の他の領域において、前記光伝搬路を伝搬していない光を光電変換する光電変換素子とを備える光電変換装置である。
前記光伝搬路は、所定の物質よりなり、前記光は、前記物質内部を伝搬することができる。
前記光伝搬路は、石英ガラスよりなる光ファイバであるようにすることができる。
本開示の一側面においては、光を伝搬する複数の光伝搬路のそれぞれを伝搬した光が、光電変換領域の互いに異なる部分領域において光電変換され、得られた、各光伝搬路を伝搬した光に対応する電気信号を用いて、照度若しくは色温度が推定される。
本開示の他の側面においては、光電変換素子の光電変換領域の一部の領域において、光伝搬路を伝搬した光が光電変換され、得られた電気信号を用いて照度若しくは色温度が推定され、光電変換領域の他の領域において、光伝搬路を伝搬していない光が光電変換される。
本開示のさらに他の側面においては、複数の光伝搬路のそれぞれを光が伝搬され、その複数の光伝搬路のそれぞれを伝搬した光が、光電変換領域の互いに異なる部分領域において光電変換される。
本開示のさらに他の側面においては、光伝搬路を光が伝搬され、光電変換領域の一部の領域において、その光伝搬路を伝搬した光が光電変換され、光電変換領域の他の領域において、その光伝搬路を伝搬していない光が光電変換される。
本開示によれば、入射光を光電変換することができる。特に、素子数の増大を抑制しながら、複数の受光部において受光した光を、互いに独立して光電変換することができる。
一般的な電子機器の主な構成例を示す図である。 本技術を適用した光電変換装置の主な構成例を示す図である。 光電変換部の主な構成例を示す図である。 光電変換部の他の構成例を示す図である。 光電変換装置の他の構成例を示す図である。 本技術を適用した電子機器の主な構成例を示すブロック図である。 本技術を適用した光電変換装置の他の構成例を示す図である。 本技術を適用した電子機器の他の構成例を示す図である。 センサへの光の照射の様子を説明する図である。 電子機器の主な構成例を示すブロック図である。 照度計測処理の流れの例を説明するフローチャートである。 ディスプレイ輝度制御処理の流れの例を説明するフローチャートである。 実行制御処理の流れの例を説明するフローチャートである。 状況変化の検出の様子の例を説明する図である。 環境検出の様子の例を説明する図である。 制御処理の流れの例を説明するフローチャートである。 本技術を適用した光電変換装置のさらに他の構成例を示す図である。 光伝搬路の設置例を説明する図である。 射出瞳補正の例を説明する図である。 テレビジョン受像機に本技術を適用する場合の例を説明する図である。 ゲーム機に本技術を適用する場合の例を説明する図である。
以下、本技術を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(光電変換装置・電子機器)
2.第2の実施の形態(光電変換装置・電子機器)
3.第3の実施の形態(応用例)
<1.第1の実施の形態>
[センサ付き電子機器]
携帯電話やテレビをはじめとする各種電子機器は、機器が使用されている周辺の環境(明るさや照明の色温度)を推定することで、例えば表示画面(液晶や有機EL)の明るさや色を調整したりすることができる。例えば、周辺が明るければ、ディスプレイも明るくし、暗ければディスプレイも暗くするといった動作制御が可能になる。こうすることで、人間が快適に感じられる明るさにディスプレイ輝度などを調整することができる。
[光電変換装置と情報処理装置]
そこでこのような電子機器には、例えば、図1に示されるように、フォトダイオードや有機光電変換膜などを有する素子等により構成される照度センサ等の各種センサが設けられる。
このとき、一般的には、図1Aに示されるように、1つのセンサは、1光学系を介して供給される光を光電変換する。つまり、センサは、検出した照度や色温度等を、1の検出結果として出力する。
電子機器の内部は、例えば、図1Bのように構成される。光電変換素子は、レンズ系や光学フィルタを介して入射した入射光を光電変換し、A/D変換部は、その電気信号をデジタルデータ化し、クランプ部は、黒レベルを減算する。演算部は、センサがR,G,Bなどの複数色を有するものである場合、人間の視感度特性に近くなるように各々にゲインをかけたり、各値の加算/減算などを行ったりして、照度や色温度を求めるための数値に変換する。照度/色温度推定部は、演算部から得られた数値情報から、照度や色温度を推定する。電子機器はこの推定結果に基づいて、例えばディスプレイ輝度の調整等の処理の実行を制御する。
このようなセンサを新たに設ける場合、そのセンサの数だけ光電変換を行う素子を設けなければならなかった。そのため、装置の小型化が困難になったり、コストや消費電力が増大したりする恐れがあった。また、信頼性が低減する恐れもあった。
例えば、このようなセンシングを用いた機器制御機能をさらに向上させるために、より多様なセンシングを行うことが考えられる。さらに、それらのセンサとは別に、写真撮影用のカメラや、状態通知用のLED(Light Emitting Diode)(電話機の場合は着信などを知らせる点灯部)等を設ける場合も考えられる。
また、より正確にセンシングを行う等のために、複数のセンサを設ける場合も考えられる。例えば、筺体の複数の位置に照度センサを設け、それぞれの位置の照度を計測するようにする方法が考えられる。例えば、各位置の照度に基づいて、ディスプレイの明るさ制御を行うことにより、特異点に基づく制御を抑制することができ、より適切な制御を行うことができる。
しかしながら、このように素子数を増大させるほど、上述したように、設計の難易度が高くなり、部品数が増大するため、装置の小型化がより困難になり、コストや消費電力がより増大し、信頼性がより低減する恐れがあった。
そこで、光電変換装置において、光を伝搬する光伝搬路と、光電変換領域の一部の領域において、その光伝搬路を伝搬した光を光電変換し、光電変換領域の他の領域において、その光伝搬路を伝搬していない光を光電変換する光電変換素子とを備えるようにする。
光電変換装置とは、光を電気信号に変換する機能を有する装置である。例えば、被写体の画像を電気信号化(デジタルデータ化)する撮像装置を含む。また、光量を測定する照度センサや、光の色温度を測定する色温度センサ等の光学センサも含む。さらに、例えば、そのような撮像機能や光学センサを利用した任意の電子機器(情報処理装置とも称する)も含む、
光伝搬路は、光電変換装置の1の受光部において受光された光を光電変換素子まで伝搬させる素子である。
光電変換素子は、例えば、フォトダイオードや有機光電変換膜等によって、光を電気信号に変換する素子である。光電変換領域は、光電変換素子の光が照射される受光面の内、光を電気信号に変換する領域、すなわち、フォトダイオードや有機光電変換膜等が形成される領域である。
この光電変換領域は、光を電気信号に変換する互いに独立した構成(単位)である画素を複数有する。つまり、この光電変換領域の画素数は、2画素以上であれば任意である。上述したように、光電変換素子は、光電変換領域の一部の領域において、光伝搬路を伝搬した光を光電変換し、光電変換領域の他の領域において、光伝搬路を伝搬していない光を光電変換する。換言するに、光電変換素子は、光伝搬路を伝搬した光、および、光伝搬路を伝搬していない光を、それぞれ、互いに異なる1若しくは複数の画素において光電変換する。
このようにすることにより、1の光電変換素子によって、複数の受光部において受光された光を、互いに独立に電気信号化することができる。したがって、光電変換素子を受光部の数だけ設ける必要がない。つまり、その場合と比べて素子数を低減させることができる。したがって、光電変換装置の小型化の困難性の増大を抑制し、コストや消費電力の増大を抑制することができる。また、信頼性の低減を抑制することもできる。
なお、光電変換装置に、このような構成を複数設けるようにしてもよい。つまり、光電変換素子が複数設けられるようにしてもよい。その場合であっても、光電変換装置は、光電変換素子の数よりも多くの受光部において受光された光を光電変換することができるので、素子数の増大を抑制し、上述した効果を有する。
なお、上述した光伝搬路が所定の物質よりなり、光がその物質内部を伝搬するようにしてもよい。つまり、受光部において受光された光が、光伝搬路を形成する物質の内部を伝搬するようにしてもよい。例えば、光伝搬路を、石英ガラスよりなる光ファイバとして実現するようにしもよい。
光伝搬路は、受光部において受光された光を光電変換領域まで誘導する光路であり、その構成は任意であるが、当然、その構成も簡易である方が望ましい。したがって、光伝搬路は、例えば、鏡やプリズムを用いて実現するよりも、光ファイバを用いて実現する方が、より簡易な構成とすることができる。つまり、素子数の増大を抑制することができ、上述した効果を得ることができる。また、光伝搬路の設計もより容易になる。
以上のような光電変換装置の構成に加え、光電変換領域の一部の領域において得られる、光伝搬路を伝搬した光に対応する電気信号を用いて、照度若しくは色温度を推定する推定部とを備える情報処理装置としてもよい。
光電変換装置において光電変換された電気信号は、どのように利用しても良い。例えば、光伝搬路を伝搬した光を光電変換して得られる電気信号を光学センサ出力としてもよい。光学センサとは、例えば、照度や色温度等の光学的特徴を検出するセンサである。つまり、光学センサには、受光部において受光された光の照度を検出する照度センサや、受光部において受光された光の色温度を検出する色温度センサを含む。もちろん、これら以外の光学的特徴を検出するセンサであってもよい。
例えば、1の光伝搬路が1本の光ファイバで形成される場合、光が内部で反射を繰り返すため、一般的に「画像」の伝搬は困難である。つまり、このような光伝搬路を伝搬した光を複数の画素で光電変換したとしても、受光部において受光された光における「画像」を再現することは困難である。
しかしながら、例えば、照度や色温度等といった光学的特徴であれば検出は容易である。そこで、上述したように、光電変換された電気信号から光学的特徴を推定する推定部を備え、その推定結果を光学センサ出力として出力するようにしてもよい。このようにすることにより、情報処理装置(電子機器)は、素子数の増大を抑制することができる。つまり、情報処理装置は、装置の小型化を容易にし、かつ、コストおよび消費電力の増大並びに信頼性の低減を抑制しながら、光伝搬路を伝搬していない光に対応する電気信号とともに、光学センサ出力(推定結果)も得ることができる。
なお、上述した情報処理装置において、光電変換領域全体を、光電変換する光の光路を除く周辺に対して遮光するモジュールをさらに備えるようにしてもよい。つまり、受光部から光電変換素子までの光路を、その外部に対して遮光するようにしてもよい。このようにすることにより、光の伝搬における損失を抑制することができ、光電変換の効率を向上させることができる。
さらに、光電変換領域の一部の領域と他の領域とを互いに遮光する遮光板をさらに備えるようにしてもよい。上述したように、光電変換領域の一部の領域においては、光伝搬路を伝搬した光が光電変換され、他の領域においては、光伝搬路を伝搬していない光が光電変換される。つまり、この一部の領域と他の領域とでは、互いに異なる受光部において受光された光が光電変換される。したがって、遮光板によってこれらの領域間を遮光し、これらの光が他方の領域に侵入しないように(混ざらないように)することにより、各光の光電変換結果をより正確に得ることができる。
光電変換素子が、一部の領域において得られる電気信号を読み出す第1の読み出し部と、他の領域において得られる電気信号を読み出す、第1の読み出し部とは独立して動作する第2の読み出し部とを備えるようにしてもよい。つまり、一部の領域と他の領域とで、光電変換結果(電気信号)の読み出しを互いに独立させるようにしてもよい。このようにすることにより、各領域の電気信号の読み出しを、他の領域に対して独立に行うことができ、その読み出しタイミングや読み出し方法等の自由度を向上させることができる。
また、情報処理装置が、その第1の読み出し部により、一部の領域から読み出された電気信号をA/D変換する第1のA/D変換部と、第2の読み出し部により、他の領域から読み出された電気信号をA/D変換する第2のA/D変換部とをさらに備えるようにしてもよい。このようにすることにより、各領域から読み出される電気信号を、デジタルデータとして出力させることができる。
前記他の領域において得られる、前記光伝搬路を伝搬していない光に対応する電気信号を用いて、画像データを生成する画像データ生成部をさらに備えることができる。光伝搬路を伝搬していない光は、受光部からたとえばレンズや鏡などを介して「画像」として光電変換素子まで誘導される。つまり、他の領域において得られる電気信号は、受光部において受光された光における「画像」に相当する。したがって、他の領域において得られた電気信号から、所定のフォーマットの画像データを得る画像データ生成部を設けることにより、他の領域から読みだされる電気信号を画像データとして出力させることができる。
なお、以上に説明した情報処理装置の構成を方法(情報処理方法)として実現するようにしてもよい。
[光電変換装置]
より具体的な例について説明する。本技術を適用した光電変換装置の一部の構成例を図2に示す。図2において、光電変換装置100は、複数の受光部において受光した光を互いに独立して光電変換する光電変換装置の一態様である。
図2に示されるように、光電変換装置100は、光電変換部101、光学系103、光学系104、および光伝搬路105を有する。
光電変換部101は、光を電気信号に変換する光電変換素子の一態様であり、光が照射される受光面に、光を電気信号に変換する光電変換領域を有する。この光電変換領域は、フォトダイオードや有機光電変換膜等が形成される領域である。この光電変換領域は、撮像部101Aとセンサ部101Bの2つの領域に分けられる。
撮像部101Aは、それぞれがフォトダイオードや有機光電変換膜等を有する画素構成群(複数画素)よりなり、光学系103の受光部において受光された光を光電変換する。
センサ部101Bは、それぞれがフォトダイオードや有機光電変換膜等を有する画素構成群(複数画素)よりなり、光学系104を介して入射され、光伝搬路105を伝搬する入射光を光電変換する。
光学系103は、例えば、レンズや絞り等の光学部品により構成され、光学系103に対応する受光部において受光された光に対して光学的な作用を施す。光学系104は、光学系103と同様に、例えばレンズや絞り等の光学部品により構成され、光学系104に対応する受光部において受光された光に対して光学的な作用を施す。なお、光学系103に対応する受光部と、光学系104に対応する受光部は、互いに異なる。光伝搬路105は、光学系104に対応する受光部において受光され、光学系104を介して誘導された光を、光電変換部101のセンサ部101Bまで伝搬させる。光伝搬路105は、例えば、内部において光を伝搬させる物質により構成される。例えば、石英ガラス等よりなる光ファイバ等の、損失率の低い素材が望ましい。
光学系104に対応する受光部において受光された光は、光学系104および光伝搬路105を介し、光電変換部101のセンサ部101Bまで伝搬する。このように光伝搬路105を設けることにより、光電変換部101の位置に対して、光学系104に対応する受光部をより任意の位置に、より容易に設けることができる。例えば、光学系104に対応する受光部を光電変換部101から離れた位置に設けることもできるし、光電変換部101の向きと異なる向きに設けることもできる。また、その場合の光路の設計が容易である。
また、光学系103に対応する受光部において受光された光は、光学系103を介して、光伝搬路105を伝搬せずに、光電変換部101の撮像部101Aに入射する。つまり、光学系104に対応する受光部は、光電変換部101の位置からだけでなく、光学系103に対応する受光部の位置からも、任意の位置に、より容易に設けることができる。例えば、光学系104に対応する受光部を、光学系103に対応する受光部から離れた位置に設けることもできるし、光学系103に対応する受光部の向きと異なる向きに設けることもできる。また、その場合の光路の設計が容易である。
換言するに、光電変換部101は、任意の位置や向きの複数の受光部において受光された光を光電変換することができる。つまり、光電変換部101の位置の自由度(設計の自由度)を向上させることができる。つまり、光電変換装置100の設計がより容易になるので、装置の小型化がより容易になる。
また、光電変換部101は、1のシリコン基板に形成される1の素子である。つまり、複数の受光部において受光された光が、1の素子により光電変換される。したがって、受光部毎に光電変換を行う素子を設ける必要がなく、素子数の増大を抑制することができる。これにより、装置の小型化が容易になり、コストや消費電力の増大も抑制することができる。また、信頼性の低減も抑制することができる。
また、上述したように、光学系103に対応する受光部において受光された光は撮像部101Aにおいて光電変換され、光学系104に対応する受光部において受光された光はセンサ部101Bにおいて光電変換される。つまり、光電変換部101は、互いに異なる受光部において受光された光を、光電変換領域の互いに異なる部分領域において光電変換する。したがって、光電変換部101は、両光を互いに独立して光電変換することができる。
なお、光学系103に対応する受光部から撮像部101Aまでの光路は、光学系103に対応する受光部において受光された光による画像が歪まないようにすることが優先されて形成される。つまり、撮像部101Aにおいて光電変換されて得られた電気信号を用いて、光学系103に対応する受光部の先の被写体の画像に対応する画像データを得ることができる。したがって、撮像部101Aは、被写体の撮像用に用いることができる。
これに対して、光伝搬路105を伝搬する光は、光伝搬路105内部において反射を繰り返す。したがって、この伝搬において、光学系104に対応する受光部において受光された光による画像の維持は困難である。つまり、センサ部101Bにおいて光電変換されて得られた電気信号を用いて、光学系104に対応する受光部の先の被写体の画像に対応する画像データを得ることは困難である。しかしながら、センサ部101Bにおいて光電変換されて得られた電気信号を用いて、光学系104に対応する受光部近傍の、照度や色温度等の光学的特徴を検出することはできる。つまり、センサ部101Bは、光学的特徴の検出(センサ)用に用いることができる。
このように、光電変換部101は、各受光部において得られた光を互いに独立して光電変換することができるので、それぞれを互いに異なる用途に用いることもできる。その場合であっても素子数の増大を抑制することができる。なお、以下においては、上述した用途例を用いて説明するが、以上に説明した用途例は一例であり、これに限らない。撮像部101Aにおいて得られる電気信号を、他の用途(例えば、光学的特徴の検出(センサ)用)に用いるようにしてももちろんよい。また、センサ部101Bにおいて得られる電気信号を、他の用途(例えば、撮像用)に用いるようにしてもよい。
図3は、光電変換部101の一部の構成例を示す図である。図3に示されるように、光電変換部101の撮像部101Aは、複数の画素よりなる画素アレイ部111、カラムADC112、CPU113、TG114、およびDSP115を有する。
画素アレイ部111において、光学系103に対応する受光部において受光された光が光電変換され、電荷として蓄積される。その蓄積された電荷は、CPU113により制御されるTG114の制御に従って、カラムADC112により電気信号として読み出され、デジタルデータに変換される。CPU113は、その他に、DSP115等も制御する。カラムADC112は、カラム毎に比較部121およびカウンタ122を有し、カラム毎に読み出された電気信号をA/D変換する。
これに対して、光電変換部101のセンサ部101Bは、複数の画素よりなる画素アレイ部131、カラムADC132、CPU133、TG134、およびDSP135を有する。画素アレイ部131において、光学系104に対応する受光部において受光された光が光電変換され、電荷として蓄積される。その蓄積された電荷は、CPU133により制御されるTG134の制御に従って、カラムADC132により電気信号として読み出され、デジタルデータに変換される。CPU133は、その他に、DSP135等も制御する。カラムADC132は、カラム毎に比較部121およびカウンタ122を有し、カラム毎に読み出された電気信号をA/D変換する。
つまり、撮像部101Aとセンサ部101Bの電気信号は、それぞれ、互いに独立して駆動する構成により、互いに異なるデータとして読み出される。
このように、1の光電変換部101を用いて撮像部101Aおよびセンサ部101Bを形成することにより、素子数の増大を抑制しながら、より多様なセンシングを行うことができる。したがって、回路規模やコストの増大を抑制することができる。これにより、小型化の実現も容易にすることができる。また、消費電力の増大も抑制することができる。
なお、図4に示されるように、撮像部101Aとセンサ部101Bとが、1の画素アレイ部141として構成され、1系統の読み出し構成(カラムADC142、CPU143、TG144、およびDSP145)により、画素アレイ部141に蓄積された電荷に対応する電気信号が読みだされるようにしてもよい。つまり、この場合、撮像部101Aにおいて光電変換されて蓄積された電荷と、センサ部101Bにおいて光電変換されて蓄積された電荷は、ともに、CPU143により制御されるTG144の制御に従って、カラムADC142により電気信号として読み出され、デジタルデータに変換される。CPU143は、その他に、DSP145等も制御する。
つまり、撮像部101Aの出力とセンサ部101Bの出力とが1の画像データとしてまとめられて出力されるようにしてもよい。この場合、撮像部101Aの出力とセンサ部101Bの出力は、画素位置によって識別することができるので、例えば、後段の画像処理において、1の画像データを、撮像部101Aの出力とセンサ部101Bの出力とに容易に分離することができる。
なお、照度や色温度等の光学的特徴を検出するセンサ部101Bには光伝搬路105(例えば光ファイバ)を通して光が伝搬される。このため、センサ部101Bの領域は光伝搬路105(例えば光ファイバ)の太さのみを確保すれば良く、幅のあるレンズなどを配置しなくても良い。このため、センサ部101Bを、光学系103を有する撮像部101Aの真横に配置することが容易に可能となる。
なお、撮像部101Aおよびセンサ部101Bが形成される光電変換領域は、光学系103若しくは光伝搬路105からの光路を除く周囲に対して遮光するようにしてもよい。図5は、そのように光電変換素子を遮光したモジュール素子の構成例を示す図である。
図5に示されるように、撮像部101Aおよびセンサ部101Bが形成される光電変換領域は、光を透過させない(遮光性の高い)素材よりなるモジュール素子151により覆われ、その外部に対して遮光されている。モジュール素子151には、光学系103と光伝搬路105が形成され、光学系103を透過した光と、光伝搬路105を伝搬した光のみが、モジュール素子151の内部に入射するようになされている。つまり、これらの光が主に撮像部101Aおよびセンサ部101Bに入射する(撮像部101Aおよびセンサ部101Bに入射する光は、これらの光が支配的となる)。
また、図5に示されるように、モジュール素子151内において、撮像部101Aとセンサ部101Bとの間を、光を透過させない(遮光性の高い)素材よりなる遮光板152により遮光するようにしてもよい。
このようにすることにより、光電変換装置100は、光学系103を介してモジュール素子151内部に入射した光がセンサ部101Bに入射したり、光伝搬路105を伝搬してモジュール素子151内部に入射した光が撮像部101Aに入射したりするのを抑制することができる。
つまり、大型化せずに、単一の光電変換基板で、撮像用途と照度/色温度検出用途の複数用途での仕様が可能となる。さらに、撮像用途と照度/色温度検出用途の画素が分断された位置にあるため、駆動回路を個別に有することで、必要最小限のセンサ駆動で動作が可能となり、撮像素子全体を照度検出に用いる場合に比べ、低消費電力化に寄与することができる。
[電子機器]
図3に示されるように、撮像部101Aの出力と、センサ部101Bの出力とを、互いに独立に読み出す場合、後段の処理も、例えば、図6に示されるように、それぞれについて独立に行われる。
図6は、光電変換装置100を用いた情報処理装置の一態様である電子機器の主な構成例を示すブロック図である。図6の上段は、センサ部101Bの出力を処理する処理部である。図6の下段は、撮像部101Aの出力を処理する処理部である。
光学系104を介して入射した光は、光伝搬路105を伝搬して、センサ部101Bに照射される。センサ部101Bは、その光を電気信号に変換し、さらにそのアナログの電気信号をデジタル値へ変換する。クランプ部163は、センサ部101Bの出力の黒レベルを減算する。さらに、センサ部101BがR,G,Bなどの複数色を有するものである場合、演算部164は、人間の視感度特性に近くなるように各々にゲインをかけたり、各値の加算/減算などを行ったりして、照度や色温度を求めるための数値に変換する。照度/色温度推定部165は、演算部164から得られた数値情報から、照度や色温度などといった所望の値を推定する。
光学系103を介して入射した光は、光学フィルタ171を介して、光伝搬路105を伝搬せずに、撮像部101Aに照射される。撮像部101Aは、その光を電気信号に変換し、アナログの電気信号をデジタル値へ変換する。クランプ部174は、撮像部101Aの出力の黒レベルを減算する。デモザイク部175は、各画素に色を作るための信号を補完(例えばRed画素部にGやBの信号を補完)し、リニアマトリックス部176は、それらのR,G,B情報を用いて色再現性を向上させる。ガンマ補正部177は、人間の視感度や、ディスプレイに表示した時に最適な値になるようにγを調整する。輝度クロマ信号生成部178は、輝度成分、クロマ成分を生成する。ビデオインタフェース179は、輝度成分やクロマ成分を出力する。
このように、電子機器160は、撮像部101Aの出力、および、センサ部101Bの出力のいずれも、容易に画像処理することができる。
<2.第2の実施の形態>
[光電変換装置と情報処理装置]
以上においては、複数用途で用いる例を示したが、これ以外にも、光伝搬路105(例えば光ファイバ)を用いることで、1つのセンサで複数箇所のセンサ出力を得ることができるようにしてもよい。
例えば、特開平7−35611号公報に記載の方法の場合、複数のファイバ線を用いてはいるが、光学系が1つしかなく、得られるデータも1箇所の光量のみであった。また、特開2002−214039号公報には、複数箇所に光ファイバ線を設け、複数箇所の光量を個別に得ることができることが記載されているが、この技術の場合、個々の光ファイバ線の光量を得るにはシャッタなどで、対象外のファイバ線を遮光する必要があった。つまり、全てのファイバ線の光量を得たい場合、順次、個別に遮光On/Offを繰り返していく必要があり、1回のセンサ出力で全てのファイバ線の出力を得ることができないため、高速動作が困難になる恐れがあった。さらに、シャッタ部をファイバ線毎に個別に設ける必要があり、シャッタ部自体のコストや体積が増大する恐れがあった。
そこで、光電変換装置において、光を伝搬する複数の光伝搬路と、前記複数の光伝搬路のそれぞれを伝搬した光を、光電変換領域の互いに異なる部分領域において光電変換する光電変換素子とを備えるようにする。
第1の実施の形態と異なる点は、光伝搬路を複数備え、光電変換素子が、各光伝搬路を伝搬した光を光電変換することである。つまり、光電変換素子が、任意の位置および向きに設けられた複数の受光部において受光された光を、互いに独立に光電変換することができるようになる。したがって、素子数の増大が抑制されるとともに、設計を容易にすることができる。つまり、光電変換装置の小型化を容易にし、コストや消費電力の増大を抑制することができる。また、信頼性の低減を抑制することもできる。
第1の実施の形態の場合と同様に、各光伝搬路は、所定の物質よりなり、光がその物質内部を伝搬するようにしてもよい。例えば、光伝搬路を、石英ガラスよりなる光ファイバとして実現するようにしもよい。
以上のような光電変換装置の構成に加え、各光伝搬路を伝搬した光に対応する電気信号を用いて、照度若しくは色温度を推定する推定部とを備える情報処理装置としてもよい。
第1の実施の形態の場合と同様に、光電変換装置において光電変換された電気信号は、どのように利用しても良い。例えば、各光伝搬路を伝搬した光を光電変換して得られる電気信号を光学センサ出力としてもよい。このようにすることにより、情報処理装置(電子機器)は、素子数の増大を抑制することができる。つまり、情報処理装置は、装置の小型化を容易にし、かつ、コストおよび消費電力の増大並びに信頼性の低減を抑制しながら、複数の光学センサ出力(推定結果)を得ることができる。
なお、情報処理装置が、上述した推定部により推定された照度や色温度等の光学的特徴に基づいて、処理の実行を制御する制御部をさらに備えるようにしてもよい。これにより、情報処理装置は、装置周辺の光学的環境に応じた処理を行うことができる。
また、推定部により推定された照度や色温度等の光学的特徴に基づいて、ユーザ操作を受け付ける操作受付部をさらに備え、制御部が、操作受付部により受け付けられたユーザ操作に従って、処理の実行を制御するようにしてもよい。
例えば、ユーザが、受光部が複数設けられた筐体を指でなぞると、その指により受光部が一時的に遮光される。つまり、ユーザ操作によって、各受光部において受光する光の光学的特徴が変化する。操作受付部は、この変化を検出して解析することにより、ユーザ操作を特定し、その操作に対応する指示(命令)を特定する。制御部は、その指示に従って、所定の処理の実行を制御する。この所定の処理は、任意である。例えば、電源をオンしたり、オフしたりしてもよいし、アプリケーションを起動したり、終了したりしてもよい。また、例えば、情報処理装置が携帯電話機の場合、通話を開始したり終了したりしてもよい。
このようにすることにより情報処理装置は、センサ出力を用いて、ユーザ操作を受け付け、その操作に対応する制御を行うことができる。
また、推定部により推定された照度や色温度等の光学的特徴に基づいて、位置を検出する検出部をさらに備え、制御部が、検出部により検出された位置に応じて、処理の実行を制御するようにしてもよい。例えば、検出部は、検出された照度や色温度等から、情報処理装置周辺の光学的環境を特定し、その光学的環境から、情報処理装置がどの部屋(空間)に存在するか等、その位置の検出をする。制御部は、その検出された位置に応じた処理の制御を行う。このようにすることにより、情報処理装置は、その位置に応じた処理の実行を制御することができる。この処理は、任意である。
また、推定された光学的特徴の変化から、検出部は、位置の変化を検出することもできる。制御部は、その位置の変化に基づいて、処理の実行を制御することもできる。例えば、制御部は、検出部が検出した受光部において受光される光の色温度を、各部屋の照明の色温度との比較することにより、情報処理装置が位置する部屋を特定し、その位置に応じた処理を実行する。このようにすることにより、情報処理装置の位置に応じた制御が可能となる。さらに、制御部が、推定部により推定された照度や色温度等の光学的特徴の時間的変化に基づいて、処理の実行を制御するようにしてもよい。例えば、情報処理装置(電子機器)が鞄等に収納されると、複数の受光部において受光される光の光学的特徴が所定のパターンで変化する。検出部は、このパターンを特定することにより、筐体が鞄等に収納されたことを検出する。制御部は、例えばディスプレイをオフする等の、その状態変化に応じた処理を実行する。このようにすることにより、状況変化に応じた制御が可能になる。
さらに、情報を表示する表示部をさらに備え、制御部が、推定部により推定された照度や色温度等の光学的特徴に基づいて、表示部の輝度を制御するようにしてもよい。このようにすることにより、例えば、情報処理装置(電子機器)周辺の明るさ等に応じて、表示部の輝度を調整することができ、ユーザにより見やすい表示を実現することができる。
また、発光する発光部をさらに備え、光伝搬路が、その発光部より出力される光を、光電変換する光とは逆方向に伝搬するようにしてもよい。このようにすることにより、受光部から光を発光させることもでき、受光部を、メッセージ出力部(表示部)としても利用することができる。つまり、素子数を増大させずに、機能を増大させることができる。
なお、以上に説明した情報処理装置の構成を方法(情報処理方法)として実現するようにしてもよい。
[光電変換装置]
より具体的な例について説明する。図7は、本技術を適用した光電変換装置の他の構成例を示す図である。図7Aの例の場合、光電変換装置180は、1のセンサ部181と、そのセンサ部181に対して設けられた複数の光伝搬路105を有する。図7Aにおいては、光伝搬路105−1乃至光伝搬路105−6の6の光伝搬路が示されているが、この光伝搬路の数は任意である。また、以下において、光伝搬路105−1乃至光伝搬路105−6を互いに区別して説明する必要が無い場合、単に光伝搬路105と称する。つまり、これら光伝搬路105−1乃至光伝搬路105−6は、それぞれ、図2等を参照して説明した光伝搬路105と同様のものである。
図7Aに示されるように、各光伝搬路105を伝搬した光は、センサ部181の光電変換領域の互いに異なる部分領域に照射されるようになされている。センサ部181は、光を光電変換する光電変換素子の一態様であり、光が照射される受光面に、光を電気信号に変換する光電変換領域を有する。この光電変換領域は、フォトダイオードや有機光電変換膜等が形成される領域である。センサ部181は、この光電変換領域の互いに異なる部分領域(位置)において、各光伝搬路105を伝搬した光を光電変換する。
つまり、センサ部181は、図2の光電変換部101と同様の素子であるが、各光伝搬路105を伝搬した光のみを光電変換する。上述したように、光伝搬路105を伝搬した光から画像を得ることは困難である場合が多い。したがって、以下において、センサ部181は、光電変換により得られる電気信号を、光学的特徴の検出(センサ)に用いるものとする。ただし、上述したように、センサ部181において得られる電気信号の用途は、これに限定されるものではなく、任意である。
センサ部181の画素アレイは、図7Bに示されるように、複数の部分領域(図7Bの例の場合、部分領域181−1乃至部分領域181−9の9領域)に分割され、その部分領域毎に独立して電荷の読み出しが可能である。各光伝搬路105を伝搬した光は、この部分領域群の、互いに異なる部分領域に照射される。なお、この部分領域の数は、光伝搬路105の数以上であれば、任意である。なお、図4の場合と同様に、全部分領域の電荷(電気信号)が、1系統の読み出し部により1群のデータとして読み出されるようにしてもよい。その場合であっても、画素の座標に基づいて、各部分領域のデータを識別することができるので、後段の処理部において、そのデータを部分領域毎のデータに容易に分離することができる。
なお、図2の場合と同様に、光伝搬路105を設けることにより、光を受光する位置の自由度が向上する。つまり、センサ部181は、任意の複数の位置の照度若しくは色温度を計測することができる。例えば、センサ部181は、光電変換装置180の筺体の、センサ部181から離れた複数の位置において受光された光を光電変換することができる。また、それらの受光位置が互いに離れていてもよい。つまり、光伝搬路105−1乃至光伝搬路105−6のそれぞれが伝搬する光の光源は、互いに同一のものでなくてもよい。
また、図5の場合と同様に、図8Aに示されるように、センサ部181の光電変換領域を、光を透過させない(遮光性の高い)素材よりなるモジュール素子185により覆い、各光伝搬路105からの光路を除く周囲に対して遮光するようにしてもよい。また、図5の場合と同様に、各光伝搬路105を伝搬した光が照射される部分領域同士を、遮光板186−1、遮光板186−2、および遮光板186−3により、互いに遮光するようにしてもよい。
[電子機器]
光伝搬路105の、センサ部181とは反対側の端(すなわち受光部)は、例えば光電変換装置180、若しくは、光電変換装置180の構成を有する情報処理装置(電子機器)の任意の位置に設けることができる。例えば、図8Bに示されるように、光電変換装置180の構成を有する電子機器190の筺体191の、正面191−1に設けられたディスプレイ193の周囲を囲むように、受光部であるセンサ開口192−1乃至センサ開口192−6を設けるようにしてもよい。この場合、センサ部181を含むモジュール素子185は、任意の位置に設けることができる。例えば、図8Cの、筺体191の横面からみた断面図に示されるように、筺体191内部の背面側に、モジュール素子185を設けるようにすることもできる。
このように、受光部であるセンサ開口192を任意の位置に設けることができるので、電子機器190の設計自由度が向上し、小型化に寄与することができる。さらに、複数箇所にセンサ開口192を有することで、特定のセンサ開口(受光部)だけに局所的な直射光が入射しても、他のセンサ開口が影響を受けない。この際、全ての出力を平均化したり、もしくは直射光による飛び値を除外したりすることで、局所的な外光の影響を受けない照度/色温度センサを実現することができる。
従来の場合、図9Aに示されるように、1センサに1の受光部において受光された光が照射されるので、1のセンサ出力(例えば照度出力)しか得ることができなかったが、光電変換装置180の場合、センサ部181には、図9に示されるように、複数の受光部において受光された複数の光が、互いに異なる領域(領域195−1乃至領域195−6)に照射されるので、複数のセンサ出力(例えば照度出力)を同時に得ることができる。
図10は、光電変換装置180の構成を有する電子機器190の主な構成例を示すブロック図である。図10に示されるように、電子機器190は、制御部201、入力部211、表示部212、出力部213、記憶部214、通信部215、ドライブ216、および照度/色温度計測部231を有する。
制御部201は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random Access Memory)等を有し、その他の各部を制御し、光電変換装置180の各処理部の制御に関する処理を行う。例えば、制御部201のCPUは、ROMに記憶されているプログラムに従って各種の処理を実行する。また、CPUは、記憶部214からRAMにロードされたプログラムに従って各種の処理を実行する。RAMにはまた、CPUが各種の処理を実行する上において必要なデータなども適宜記憶される。
制御部201には、キーボード、マウス、タッチパネルなどよりなる入力部211が接続されている。制御部201にはまた、CRT(Cathode Ray Tube)ディスプレイ、LCD(Liquid Crystal Display)、有機ELディスプレイ(OELD(Organic ElectroLuminescence Display))等のディスプレイ等よりなる表示部212や、スピーカや出力端子などよりなる出力部213も接続されている。
制御部201にはさらに、フラッシュメモリ等SSD(Solid State Drive)やハードディスクなどよりなる記憶部214も接続されている。制御部201にはまた、有線LAN(Local Area Network)や無線LANのインタフェースやモデムなどよりなる通信部215も接続されている。通信部215は、インターネットを含むネットワークを介しての通信処理を行う。
制御部201にはさらに、必要に応じてドライブ216が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア221がそのドライブ216に適宜装着される。そして、そのドライブ216を介してリムーバブルメディア221から読み出されたコンピュータプログラムが、必要に応じて記憶部214にインストールされる。
照度/色温度計測部231は、制御部201の制御に従って、照度若しくは色温度の計測に関する処理を行う。図10に示されるように、照度/色温度計測部231は、上述したセンサ開口192、光伝搬路105、およびセンサ部181の他に、クランプ部242、領域別演算部243、および照度/色温度推定部244を有する。
センサ部181は、各光伝搬路105を伝搬した光を、光電変換領域の互いに異なる部分領域において光電変換し、A/D変換し、それらを結合(連結)して、光電変換領域全体に対応する1のデータとして出力する。
クランプ部242は、センサ部181から供給されるデジタルの画像データの黒レベルを減算する。
領域別演算部243は、クランプ部242から供給される画像データを、各光伝搬路105を伝搬した光を光電変換する部分領域毎に分割する。つまり、領域別演算部243は、1の画像データを座標に基づいて複数の部分領域毎に分割することにより、各光伝搬路105を伝搬した光毎の輝度データを生成する。例えば、領域別演算部243は、分割した部分領域毎に代表値を算出する。例えば、領域別演算部243は、各部分領域について、輝度値の平均値を算出し、その平均値をその部分領域の代表値とする。仮に、出力がR,G,B信号であった場合は、例えば「照度=ωGreen+αBlue+σRed」のように代表値を演算するようにしても良い(ω、α、σは任意の数字であり正、負の値の両方がとれるものである)。その他の演算方法を用いても良い。
照度/色温度推定部244は、その光毎の輝度データを用いて、照度若しくは色温度を推定する。照度若しくは色温度を推定するには、これら複数の値を平均化しても良いし、前述したように飛び値(例えば平均値の2倍以上の箇所など)を除外して、その後で平均化しても良いし、重点的に輝度を得たい領域(例えば電子機器のディスプレイ近く)の値に対して重み付けを行った上で、各値を合算しても良い。照度/色温度推定部244は、求めた照度若しくは色温度の推定値を制御部201に供給する。なお、照度/色温度推定部244が、平均も合算も行わずに個々の出力をそのまま制御部201へ信号として出力しても良い。
図11のフローチャートを参照して、照度/色温度計測部231により実行される照度/色温度計測処理の流れの例を説明する。
処理が開始されると、センサ部181は、ステップS201において、各センサ開口において受光し、各光伝搬路105を介して供給された光を、光電変換領域の、それぞれの部分領域において光電変換する。
ステップS202において、センサ部181は、ステップS201の処理により得られたアナログ信号をA/D変換し、得られた各部分領域に対応するデジタルデータを互いに結合(連結)し、光電変換領域全体のデータとして出力する。
ステップS203において、クランプ部242は、ステップS202の処理により得られたデジタル値から黒レベルを減算する。
ステップS204において、領域別演算部243は、ステップS203の処理により得られたデジタル値を、部分領域毎に分割する。また、領域別演算部243は、得られた各部分領域のデータに対して、必要に応じて所定の信号処理を行い、例えば、部分領域毎の代表値を算出する。
ステップS205において、照度/色温度推定部244は、ステップS204において得られた部分領域毎のデータを用いて、照度/若しくは色温度の推定を行う。この処理により得られた情報は、制御部201に供給される。
このように、照度/色温度計測部231は、複数のセンサ開口からの光について、照度若しくは色温度を容易に計測することができる。
制御部201は、照度/色温度計測部231を制御し、以上のように照度若しくは色温度を計測させるだけでなく、得られた照度若しくは色温度に基づいて、電子機器190の各部の制御を行う。
例えば、制御部201は、得られた照度若しくは色温度に基づいて、ディスプレイ193の輝度を調整する。このような輝度調整処理の流れの例を、図12のフローチャートを参照して説明する。
ステップS221において、制御部201は、照度/色温度計測部231から照度(若しくは色温度)を取得する。
ステップS222において、制御部201は、ディスプレイ193に近い側の値ほど重みが増すように重み付けを行う(例えば図8Bのセンサ開口2,5の出力に対して2倍の重み付けを行う)。
ステップS223において、制御部201は、これらの値を合算し、ディスプレイ193の最適輝度値を推定する。推定方法は、例えば、得られた値に応じて、最適な輝度値を事前にメモリに保存しておくなどである。
ステップS224において、制御部201は、表示部212を制御し、ステップS223の処理により得られた輝度値を、表示部212のディスプレイ193の輝度に反映させる。
このように、制御部201は、複数のセンサ開口において得られた光に基づいて、ディスプレイ193の輝度を、容易、かつ、より適切に制御することができる。
ディスプレイ輝度をコントロールする他の実施例としては、例えば電子機器190の位置毎の照度情報に基づき、ディスプレイ自体も位置毎に明るさを変えることも考えられる。例えば、得られた照度の値が大きいセンサに近い箇所ほど、ディスプレイ輝度を上げるなどである。有機ELディスプレイであれば、電流で個々の画素をコントロールする。また、液晶の場合は、複数あるバックライトを位置毎に明るさを変えるなどすれば、これを実現できる。
さらに、ディスプレイ輝度コントロール以外に、ユーザインタフェースとしても使用することができる。例えば、図8Bの電子機器190において、センサ開口192−1,2,3が順に明から暗に照度が変わった場合、センサ開口192が指でなぞられたと判定し、電子機器190で特定の操作を実行する(例えば電話機であれば電話を切るなどを行う)。
このような入力受付処理の流れの例を、図13のフローチャートを参照して説明する。
処理が開始されると、ステップS241において、制御部201は、照度/色温度計測部231から照度(若しくは色温度)を取得する。
ステップS242において、制御部201は、このデータを時系列に取得し、複数ある各センサの時間的変化を得る。
ステップS243において、制御部201は、この時間的変化のパターンを、メモリ内に事前に登録されたパターンと比較する。
ステップS244において、制御部201は、ステップS243の比較において両者が一致したか否かを判定する。一致したと判定された場合、処理は、ステップS245に進む。
ステップS245において、制御部201は、その時間的変化のパターンに応じた特定の操作(処理)を実行する。ステップS245の処理が終了すると、この入力受付処理が終了する。
また、ステップS244において、両者が一致しないと判定された場合、ステップS245の処理は省略され、この入力受付処理が終了する。
以上のように、制御部201は、複数のセンサ開口において得られた光に基づいて、ユーザ操作を、容易に受け付けることができる。
また、指でなぞる以外に、電子機器をカバンやポケットに入れる動作を判定し、例えば電源を切るなどの操作を実行させても良い。カバンやポケットに入れる際は、照度が急激に低下する。さらに、図8Bのセンサ開口192でいえば、座標的に連続的に暗くなる。
この様子の例を図14に示す。例えば電子機器190下面からポケットに入れる場合、センサ開口192−3、6→センサ開口192−2,5→センサ開口192−1、4の順に急激に暗くなる。こういった特定の推定パターンを事前に登録しておき、操作を実行(電源を切るなど)するようにしてもよい。
従来の図1に示すような単点のセンサでは、このような制御を実現することができない。例えば、カバンの中に電子機器を入れた時と、部屋の電気を消して真っ暗にした時とで、得られる信号パターンが同じである。つまり、カバンに入れられたかどうかの判別には使用することができない。
また、照度に限らず、色温度を用いても良い。図15にその例を示す。照明器具の色温度が部屋によって異なる場合、事前に自宅の各部屋の色温度を電子機器190に登録しておく。色温度の登録は、電子機器190の持っている色画素(例えばR,G,B画素)の出力を各部屋で得る。
例えば、図15の部屋Aでは色温度が3200Kであり、赤側の波長の光が強くなる。そこれに対して、部屋Bでは色温度が6500Kであり、青側の波長の光が強くなる。つまり、例えば各部屋のR/G、B/Gの感度比を事前にメモリ内に登録しておくことで、センサから得られた出力の感度比と比較することで、ユーザがいる部屋(電子機器190が位置する部屋)を特定することができる(電子機器190−1乃至電子機器190−3の各場合の位置を識別することができる)。
また、部屋Aと部屋Bの光が両方入る場所にいる場合、本技術の多点センサを用いれば、電子機器190がどちらの部屋に向いているかを判別することができる。図15の中央の例の場合、電子機器190の先端部分のセンサ出力は6500Kの時の感度比と類似し、電子機器190の下部部分のセンサ出力は3200Kの時の感度比と類似する。つまり、電子機器190は部屋Bの方向を向いていることが分かる。
電子機器190のある場所や、向きが分かることで、例えばその部屋に適したアプリケーションを自動的に画面に表示させることができる。
このような制御処理の流れの例を図16のフローチャートを参照して説明する。
処理が開始されると、ステップS261において、制御部201は、照度/色温度計測部231から、部分領域毎の色温度(若しくは照度)を取得する。
ステップS262において、制御部201は、領域毎の色温度のパターンを、メモリ内に事前に登録されたパターンと比較する。
ステップS263において、制御部201は、ステップS243の比較において両者が一致したか否かを判定する。一致していないと判定された場合、この制御処理が終了する。
また、ステップS263において、両者が一致したと判定された場合、処理は、ステップS264に進む。ステップS264において、制御部201は、その一致した色温度のパターンに基づいて、現在の電子機器190の位置が台所であるか否かを判定する。
台所であると判定された場合、処理はステップS265に進む。ステップS265において、制御部201は、表示部212を制御し、ディスプレイ193に、例えば料理レシピアプリケーションにより生成される画像を表示させる(つまり、制御部201は、現在位置(台所)に応じた情報をディスプレイ193に表示させる)。
ステップS265の処理が終了すると、この制御処理が終了する。また、ステップS264において、電子機器190の現在位置が台所でないと判定された場合、処理は、ステップS266に進む。
ステップS266において、制御部201は、ステップS263の処理において一致した色温度のパターンに基づいて、現在の電子機器190の位置がリビングであるか否かを判定する。
リビングであると判定された場合、処理はステップS267に進む。ステップS267において、制御部201は、表示部212を制御し、ディスプレイ193に、例えばテレビ操作アプリケーションにより生成される画像を表示させる(つまり、制御部201は、現在位置(リビング)に応じた情報をディスプレイ193に表示させる)。
ステップS267の処理が終了すると、この制御処理が終了する。また、ステップS266において、電子機器190の現在位置がリビングでないと判定された場合、処理は、ステップS268に進む。
ステップS268において、制御部201は、ステップS263の処理において一致した色温度のパターンに基づいて、現在の電子機器190の位置が子供部屋であるか否かを判定する。
子供部屋であると判定された場合、処理はステップS269に進む。ステップS269において、制御部201は、表示部212を制御し、ディスプレイ193に、例えば勉強用/ゲーム用アプリケーションにより生成される画像を表示させる(つまり、制御部201は、現在位置(子供部屋)に応じた情報をディスプレイ193に表示させる)。
ステップS269の処理が終了すると、この制御処理が終了する。また、ステップS268において、電子機器190の現在位置が子供部屋でもないと判定された場合、この制御処理が終了する。
以上のように、制御部201は、複数のセンサ開口において得られた光の色温度に基づいて、ディスプレイ193の表示を、より容易かつ正確に制御することができる。例えば、従来のGPSなどは室内では電波が入りにくく、また階が異なる部屋までは判別できなかったが、本技術を適用することにより、GPSも用いずに、より容易かつ正確に制御することができる。もちろん、照度に基づいて同様の制御を行うようにすることもできる。
[発光素子]
以上において説明したモジュール素子185の中に発光素子を設けても良い。光伝搬路105(例えば光ファイバ)は、外部から光を取り込むこともできれば、外部に光を放出することもできる。これを利用し、モジュール素子185内に受光素子だけでなく、図17に示されるように、発光素子261も設けるようにしてもよい。
この場合、制御部201は、通常の受光(センサ部181による光電変換)の際、発光素子261が切られた状態で用い、特定の状況下になった場合のみ発光素子261を発光させるようにしても良い。例えば、電子機器190が携帯電話機である場合、電話の着信時に発光素子261を発光させる。そうすると、図8Bのセンサ開口(受光部)192が発光し、ユーザが光で着信状態を知ることが出来る。また、図17の発光素子261を全て発光させず、一部だけを発光させて一部の光伝搬路105のみを光らせるようにしても良い。
例えば、この際に他の光伝搬路105は受光用として用いても良い。つまり、1つのモジュール素子185で発光と受光を同時に行うことができるようにしてもよい。この際、発光素子261の光がセンサ部181の受光中の光電変換領域に直接漏れこまないように、例えば発光素子261(の発光部分)と光伝搬路105を可能な限り近づけ、センサ部181方向へ散乱しないようにしても良いし(例えば、図18C)、発光素子261の光がセンサ部181の受光面(光電変換領域の光電変換を行う部分)に入らないように遮光しても良い。こうすることにより、例えば発光素子261で発光させた光を、発光用の光伝搬路105とセンサ開口192を介して対象物に当て、その反射光を受光用のセンサ開口192(受光部)と光伝搬路105を介してセンサ部181において検出(光電変換)することができる。例えば、暗い場所で電子機器を扱う際に、例えば図8Bのセンサ開口192−1,4を赤外発光させる。そして、センサ開口192−2,3,5,6は受光用として用い、センサ部181から出力を得る。こうすることで、暗い場所であっても、前述したように光(赤外)の変化を検知することができ、特定動作(電源を切るなど)を実行させることができる。
[伝送路]
以上のように本技術においては、光が、センサ開口192(受光部)からセンサ部181まで、光伝搬路105を介して伝搬されるが、それ以外の光学系は任意である。例えば、光伝搬路105とセンサ部181の受光面の関係も多くのパターンが想定される。
図18Aの例の場合、光伝搬路105とセンサ部181上面(光電変換領域)を接触、もしくは近接させて、光伝搬路105から出る光が、センサ部181上面の特定の領域に漏れなく照射されるようにしたものである。こうすることで、他の光伝搬路105の光が照射される領域への光の漏れを抑制することができる。つまり、各光伝搬路105を伝搬された光が混ざり合うことを抑制することができる。したがって、センサ部181は、各光伝搬路105を伝搬された光を、互いに独立に光電変換することができる。
また、光伝搬路105を含む光学系は全波長透過でなくてもよく、光伝搬路105によって光の透過特性が異なるものを用いても良い。こうすることで、例えばセンサ部181にカラーフィルタを適用しなくても、光伝搬路で色特性を得ることができる。
図18Bの例では、光伝搬路105毎に高さを変えている。光伝搬路105毎に得られた信号値から重み付けをする例を前述したが、重み付けは入射する光を制限することでも実施することができる。光伝搬路105がセンサ部181の光電変換領域から遠いほど、光は散乱し、センサ部181の出力が低くなる。つまり、センサ部181の光電変換領域に近い光伝搬路105に重み付けがなされることとなる。このように、光伝搬路105とセンサ部181との距離によって重み付けを与えるようにしてもよい。
また、図18Cに示されるように、発光素子261を併用するようにしてもよい。さらに、図18Dに示されるように、光伝搬路105の出力部にレンズ271を配置して、集光するようにしてもよい。レンズ271を配置することで、光伝搬路105から光が散乱するのを抑制することができる。すなわち、光伝搬路105を伝搬した光を、効率よくセンサ部181の光電変換領域の、その光伝搬路105に対応する所定の部分に集光させることができる。
なお、センサ開口192等の受光部(系の中で最初に光を受ける部分)と光伝搬路105との間の設計も任意である。
また、センサ部181の光電変換領域の構成において、射出瞳補正を施すようにしても良い。射出瞳補正の例は特開2010−232595号公報などに記載されている。センサ部181の光電変換領域においては、オンチップレンズ(OnChipLens)、カラーフィルタ、およびフォトダイオード等が形成される。射出瞳補正は、光電変換領域に入射する光の入射角を想定し、そのオンチップレンズやカラーフィルタの位置(フォトダイオード等の光電変換を行う素子に対する位置)を座標毎に変えるものである。
一般的な瞳補正の場合、図19Cに示されるように、センサ部181の中心から外側に向けて徐々に瞳補正量が変化するように、オンチップレンズやカラーフィルタ等の位置補正が行われる。しかしながら、本技術の場合、図19Aに示されるように、同一センサ部181の光電変換領域の複数の部分(領域195−1乃至領域195−6)に、互いに異なる光伝搬路105を伝搬した光(互いに独立した光)が照射される。したがって、これに合わせて、図19Bに示されるように、光伝搬路105毎に射出瞳補正を最適化するようにしても良い。つまり、図19Aに示されるように、領域195−1乃至領域195−6のそれぞれの中心から外側に向けて瞳補正量が変化するように、オンチップレンズやカラーフィルタ等の位置補正が行われるようにしてもよい。こうすることで、光の損失(Loss)を低減し、高S/Nのセンサ特性を得ることが可能となる。
<3.第3の実施の形態>
[多用途]
以上においては、照度検知および色温度検知について説明したが、これに限らず、例えば、赤外検知等、光量に関するものであればどのような情報の検知にも利用することができる。また、センサは、R,G,Bのベイヤ配列に限らず、クリアビット配列など他の配列であっても良いし、カラーフィルタを設けずに、フォトダイオードで直接受光しても良い。
光伝搬路105も全波長透過だけでなく、特定の波長領域を通すものであっても良い。また、光伝搬路105の両端ともにレンズやフィルタ(赤外カットフィルタなど)を含む多くの光学系が任意の設計ができるものであり、これによって、光伝搬路105とセンサ部101Bやセンサ部181との距離も任意となる。なお、図17を参照して説明した発光素子261は、LEDでも有機ELでもよく、任意の発光素子を適用することができる。
また、電子機器160や電子機器190として説明した情報処理装置も任意の装置としてよい。例えば、携帯電話機であってもよいし、図20のようなテレビジョン受像機300であっても良いし、ゲーム機やコンピュータ、照明器具、エアコン(エアコンディショナ)など、光電変換装置100または光電変換装置180を用いた光学的特徴のセンシングを行うことができるものであればどのような装置であってもよい。また、その光学的特徴の検出結果を利用して任意の制御を行うようにしてもよい。
例えば、図20Aに示されるようなテレビジョン受像機300において、フラットパネル部の表示画面横の、電源スイッチの下等に、センサ部(本技術を適用した光電変換装置100または光電変換装置180の、1以上の光伝搬路105に対応する受光部)を設けるようにしてもよい(図20B)。テレビジョン受像機300が、このセンサ部を照度センサとして用い、検出された照度に応じて、表示画面の輝度を制御するようにしてもよい。また、テレビジョン受像機300が、このセンサ部をユーザセンサとして用い、テレビジョン受像機300の前のユーザが動くことによる光学的特徴の変化を検出し、その検出結果に基づいてユーザの存在の有無を判定し、例えばユーザが不在の場合、表示画面をオフする等の、その判定結果に応じた制御を行うようにしてもよい。
テレビジョン受像機300に光電変換装置100を適用することにより、例えば、撮像部を設けるとともに、このようなセンサ部を任意の位置に容易に設けることができる。また、テレビジョン受像機300に光電変換装置180を適用することにより、容易に、このようなセンサ部を任意の位置に複数設けることができる。
また、ゲーム機やコンピュータの場合、光電変換装置100または光電変換装置180は、例えば、ディスプレイ輝度の調整に利用したり、ユーザインタフェースとして利用したりすることができる。照明器具の場合、光電変換装置100または光電変換装置180は、例えば、部屋の明るさに応じた照明の明るさ制御に利用することができる。また、エアコンの場合、光電変換装置100または光電変換装置180は、例えば、人が居るかどうかを判別して機能のOn/Offなどを切り替えるなどの制御に利用することができる。いずれの場合でも、以上に説明した光電変換装置180のような本技術の多点センサを適用することにより、センシングの精度を向上させ、さらに多くの機能を持たせることができる。また、例えば、図21に示されるセンサモジュール410のように、センサ部のみを、例えばゲーム機400の周辺機器として独立させてもよい。
センサモジュール410は球面状の筺体を有し、その筺体表面には、複数の受光部412が、互いに異なる方向を向くように設けられている。各受光部412において受光した光は、それぞれの光伝搬路413を伝搬して、内部(例えば底部)に設けられたセンサ411で光電変換され、照度や色温度等が計測される。この計測結果は、ゲーム機400に供給され、利用される。
例えば、ユーザが、このセンサモジュール410の筺体を握る、若しくは、なぞる等の操作を行うと、各受光部412において受光される光の照度や色温度等が変化する。センサ411は、このような変化を検出し、その変化に関する情報をゲーム機400に供給する。ゲーム機400は、その変化に関する情報を、ユーザ指示として受け付ける。つまり、この場合、センサモジュール410は、ユーザインタフェースとして利用される。センサモジュール410の場合、各受光部が、球面状の筺体表面に配置されるため、各受光部412間の距離は短いが、その向きが互いに異なるようにすることができ、それぞれにおいて互いに独立性の高い情報を得ることができる。
つまり、例えば図8Bに示される電子機器190のインタフェースと同様の機能を有するものの、その電子機器190の場合よりも小型のインタフェースを実現することができる。本技術は、光伝搬路105を利用するため、どのような形状の曲面であっても、容易に受光部を設けることができる。
なお、携帯電話機などで、筺体のディスプレイが設けられる面を表面とする場合の裏面に写真撮影用の撮像レンズを設け、光電変換可能な素子もその裏面に向け、表面には照度センサ開口部(受光部)を設け、光伝搬路により裏面側のセンサに光を伝搬させることもできる。つまり、異なる向きに受光部を設けることも容易に実現することができる。
以上のように、本技術を用いることで、照度や色温度、赤外など撮像以外の用途で用いるセンサのレイアウト設計自由度が格段に向上させることができる。例えば図2に示したように、撮像部101Aとセンサ部101Bを画素領域が分かれた状態で同一基板内に設けることができる。これはレンズよりも光ファイバの方が細線化に向いているためである。同一基板内に設けることで、モジュールが小型化でき、携帯電話機などの電子機器の小型化に寄与することができる。
また、本技術を用いることで、図7のように複数の場所から伝搬された光の照度を検出することが出来、図8のような電子機器において、電子機器内の複数箇所の照度を得ることができる。つまり、外光などで局所的に1つの受光部に強い光が入っても、他のセンサ出力を参照することで、この局所的な光の影響を除外したり、低減したりすることができる。つまり、照度や色温度値を、局所光に惑わされることなく得ることができ、最適なディスプレイ輝度、色に設定することを可能とする。
さらに、図8のように場所毎の照度を得られるため、特定の場所に重み付けをした上で照度を算出することができ、ディスプレイ輝度を、これらの場所毎に応じた最適輝度に設定することができる。最適輝度に設定することで、必要以上に明るい設定になるのを防ぎ、ディスプレイの消費電力を下げることができる。また、最適輝度に設定することで、眼の視認性が良い輝度設定にすることも出来る。
また、本技術は、ユーザインタフェースとしても用いることができ、明るさの時間的変化を得ることで、特定の動作を実行させるようにすることができる。これにより、電子機器の操作性を向上させることが可能となる。
また、本技術を用いることで、一般的な照度センサでは為し得なかったポケットに入れられたか否か、カバンに入れられたか否か、などの判別を行うことができる。また、どの部屋にいるか、などといったことも判別することができ、電子機器の操作性や利便性を向上させることができる。
さらに、図17に示されるように光伝搬路を発光用としても併用することができる。図17の場合、発光素子261が例えば4つであっても、散乱した光が光伝搬路105−1乃至光伝搬路105−6に入射するため、例えば図8の電子機器の6つの箇所(センサ開口192−1乃至センサ開口192−6)を光らせることができる。つまり、少ない発光素子で多くの発光部(センサ開口192)を設けることができる。
また、一部のセンサ開口を光らせて、その反射を他のセンサ開口で受光することで、暗い場所においても、インタフェースなどに用いることができる。
本技術は、照度、色温度検知に限らず赤外検知など、多くの用途に応用可能である。
以上に説明した各装置は、それぞれ、上述した以外の構成を含むようにしてももちろんよい。また、1つの装置としてだけでなく、複数の装置よりなるシステムとして構成されるようにしてもよい。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
この記録媒体は、例えば、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア(例えば、図10のリムーバブルメディア221)により構成される。このリムーバブルメディアには、磁気ディスク(フレキシブルディスクを含む)や光ディスク(CD-ROMやDVDを含む)が含まれる。さらに、光磁気ディスク(MD(Mini Disc)を含む)や半導体メモリ等も含まれる。また、上述した記録媒体は、このようなリムーバブルメディアだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されている制御部(例えば、図10の制御部201)のROMや、記憶部(例えば、図10の記憶部214)に含まれるハードディスクなどにより構成されるようにしてもよい。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、以上において、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は以下のような構成も取ることができる。
(1) 光を伝搬する複数の光伝搬路と、
前記複数の光伝搬路のそれぞれを伝搬した光を、光電変換領域の互いに異なる部分領域において光電変換する光電変換素子と、
前記光電変換素子において得られる、各光伝搬路を伝搬した光に対応する電気信号を用いて、照度若しくは色温度を推定する推定部と
を備える情報処理装置。
(2) 前記推定部により推定された前記照度若しくは前記色温度に基づいて、処理の実行を制御する制御部をさらに備える
前記(1)に記載の情報処理装置。
(3) 前記推定部により推定された前記照度若しくは前記色温度に基づいて、ユーザ操作を受け付ける操作受付部をさらに備え、
前記制御部は、前記操作受付部により受け付けられた前記ユーザ操作に従って、前記処理の実行を制御する
前記(2)に記載の情報処理装置。
(4) 前記推定部により推定された前記照度若しくは前記色温度に基づいて、位置を検出する検出部をさらに備え、
前記制御部は、前記操作受付部により受け付けられた前記ユーザ操作に従って、前記処理の実行を制御する
前記(2)に記載の情報処理装置。
(5) 情報を表示する表示部をさらに備え、
前記制御部は、前記推定部により推定された前記照度若しくは前記色温度に基づいて、前記表示部の輝度を制御する
前記(2)に記載の情報処理装置。
(6) 前記制御部は、前記推定部により推定された前記照度若しくは前記色温度の時間的変化に基づいて、前記処理の実行を制御する
前記(2)に記載の情報処理装置。
(7) 発光する発光部をさらに備え、
前記光伝搬路は、前記発光部より出力される光を、光電変換する光とは逆方向に伝搬する
前記(1)に記載の情報処理装置。
(8) 情報処理装置の情報処理方法において、
前記情報処理装置は、
光を伝搬する複数の光伝搬路のそれぞれを伝搬した光を、光電変換領域の互いに異なる部分領域において光電変換し、
得られた、各光伝搬路を伝搬した光に対応する電気信号を用いて、照度若しくは色温度を推定する
情報処理方法。
(9) 光を伝搬する光伝搬路と、
光電変換領域の一部の領域において、前記光伝搬路を伝搬した光を光電変換し、前記光電変換領域の他の領域において、前記光伝搬路を伝搬していない光を光電変換する光電変換素子と、
前記光電変換領域の前記一部の領域において得られる、前記光伝搬路を伝搬した光に対応する電気信号を用いて、照度若しくは色温度を推定する推定部と
を備える情報処理装置。
(10) 前記光電変換領域全体を、光電変換する光の光路を除く周辺に対して遮光するモジュールをさらに備える
前記(9)に記載の情報処理装置。
(11) 前記一部の領域と前記他の領域とを互いに遮光する遮光板をさらに備える
前記(10)に記載の情報処理装置。
(12) 前記光電変換素子は、
前記一部の領域において得られる電気信号を読み出す第1の読み出し部と、
前記他の領域において得られる電気信号を読み出す、前記第1の読み出し部とは独立して動作する第2の読み出し部と
を備える前記(9)に記載の情報処理装置。
(13) 前記他の領域において得られる、前記光伝搬路を伝搬していない光に対応する電気信号を用いて、画像データを生成する画像データ生成部をさらに備える
前記(9)に記載の情報処理装置。
(14) 情報処理装置の情報処理方法において、
前記情報処理装置は、
光電変換素子の光電変換領域の一部の領域において、光伝搬路を伝搬した光を光電変換し、
得られた電気信号を用いて照度若しくは色温度を推定し、
前記光電変換領域の他の領域において、光伝搬路を伝搬していない光を光電変換する
情報処理方法。
(15) 光を伝搬する複数の光伝搬路と、
前記複数の光伝搬路のそれぞれを伝搬した光を、光電変換領域の互いに異なる部分領域において光電変換する光電変換素子と
を備える光電変換装置。
(16) 前記光伝搬路は、所定の物質よりなり、
前記光は、前記物質内部を伝搬する
前記(15)に記載の光電変換装置。
(17) 前記光伝搬路は、石英ガラスよりなる光ファイバである
前記(16)に記載の光電変換装置。
(18) 光を伝搬する光伝搬路と、
光電変換領域の一部の領域において、前記光伝搬路を伝搬した光を光電変換し、前記光電変換領域の他の領域において、前記光伝搬路を伝搬していない光を光電変換する光電変換素子と
を備える光電変換装置。
(19) 前記光伝搬路は、所定の物質よりなり、
前記光は、前記物質内部を伝搬する
前記(18)に記載の光電変換装置。
(20) 前記光伝搬路は、石英ガラスよりなる光ファイバである
前記(19)に記載の光電変換装置。
100 光電変換装置, 101 光電変換部, 103 光学系, 104 光学系, 105 光伝搬路, 111 画素アレイ部, 112 カラムADC, 113 CPU, 131 画素アレイ部, 132 カラムADC, 133 CPU, 151 モジュール素子, 152 遮光板, 160 電子機器, 165 照度/色温度推定部, 178 輝度クロマ信号生成部, 180 光電変換装置, 181 センサ部, 185 モジュール素子, 190 電子機器, 191 筺体, 192 センサ開口, 201 制御部, 231 照度/色温度計測部, 242 クランプ部, 243 領域別演算部, 244 照度/色温度推定部, 261 発光素子, 300 テレビジョン受像機, 400 ゲーム機, 410 センサモジュール, 411 センサ, 412 受光部, 413 光伝搬路

Claims (20)

  1. 光を伝搬する複数の光伝搬路と、
    前記複数の光伝搬路のそれぞれを伝搬した光を、光電変換領域の互いに異なる部分領域において光電変換する光電変換素子と、
    前記光電変換素子において得られる、各光伝搬路を伝搬した光に対応する電気信号を用いて、照度若しくは色温度を推定する推定部と
    を備える情報処理装置。
  2. 前記推定部により推定された前記照度若しくは前記色温度に基づいて、処理の実行を制御する制御部をさらに備える
    請求項1に記載の情報処理装置。
  3. 前記推定部により推定された前記照度若しくは前記色温度に基づいて、ユーザ操作を受け付ける操作受付部をさらに備え、
    前記制御部は、前記操作受付部により受け付けられた前記ユーザ操作に従って、前記処理の実行を制御する
    請求項2に記載の情報処理装置。
  4. 前記推定部により推定された前記照度若しくは前記色温度に基づいて、位置を検出する検出部をさらに備え、
    前記制御部は、前記操作受付部により受け付けられた前記ユーザ操作に従って、前記処理の実行を制御する
    請求項2に記載の情報処理装置。
  5. 情報を表示する表示部をさらに備え、
    前記制御部は、前記推定部により推定された前記照度若しくは前記色温度に基づいて、前記表示部の輝度を制御する
    請求項2に記載の情報処理装置。
  6. 前記制御部は、前記推定部により推定された前記照度若しくは前記色温度の時間的変化に基づいて、前記処理の実行を制御する
    請求項2に記載の情報処理装置。
  7. 発光する発光部をさらに備え、
    前記光伝搬路は、前記発光部より出力される光を、光電変換する光とは逆方向に伝搬する
    請求項1に記載の情報処理装置。
  8. 情報処理装置の情報処理方法において、
    前記情報処理装置は、
    光を伝搬する複数の光伝搬路のそれぞれを伝搬した光を、光電変換領域の互いに異なる部分領域において光電変換し、
    得られた、各光伝搬路を伝搬した光に対応する電気信号を用いて、照度若しくは色温度を推定する
    情報処理方法。
  9. 光を伝搬する光伝搬路と、
    光電変換領域の一部の領域において、前記光伝搬路を伝搬した光を光電変換し、前記光電変換領域の他の領域において、前記光伝搬路を伝搬していない光を光電変換する光電変換素子と、
    前記光電変換領域の前記一部の領域において得られる、前記光伝搬路を伝搬した光に対応する電気信号を用いて、照度若しくは色温度を推定する推定部と
    を備える情報処理装置。
  10. 前記光電変換領域全体を、光電変換する光の光路を除く周辺に対して遮光するモジュールをさらに備える
    請求項9に記載の情報処理装置。
  11. 前記一部の領域と前記他の領域とを互いに遮光する遮光板をさらに備える
    請求項10に記載の情報処理装置。
  12. 前記光電変換素子は、
    前記一部の領域において得られる電気信号を読み出す第1の読み出し部と、
    前記他の領域において得られる電気信号を読み出す、前記第1の読み出し部とは独立して動作する第2の読み出し部と
    を備える請求項9に記載の情報処理装置。
  13. 前記他の領域において得られる、前記光伝搬路を伝搬していない光に対応する電気信号を用いて、画像データを生成する画像データ生成部をさらに備える
    請求項9に記載の情報処理装置。
  14. 情報処理装置の情報処理方法において、
    前記情報処理装置は、
    光電変換素子の光電変換領域の一部の領域において、光伝搬路を伝搬した光を光電変換し、
    得られた電気信号を用いて照度若しくは色温度を推定し、
    前記光電変換領域の他の領域において、光伝搬路を伝搬していない光を光電変換する
    情報処理方法。
  15. 光を伝搬する複数の光伝搬路と、
    前記複数の光伝搬路のそれぞれを伝搬した光を、光電変換領域の互いに異なる部分領域において光電変換する光電変換素子と
    を備える光電変換装置。
  16. 前記光伝搬路は、所定の物質よりなり、
    前記光は、前記物質内部を伝搬する
    請求項15に記載の光電変換装置。
  17. 前記光伝搬路は、石英ガラスよりなる光ファイバである
    請求項16に記載の光電変換装置。
  18. 光を伝搬する光伝搬路と、
    光電変換領域の一部の領域において、前記光伝搬路を伝搬した光を光電変換し、前記光電変換領域の他の領域において、前記光伝搬路を伝搬していない光を光電変換する光電変換素子と
    を備える光電変換装置。
  19. 前記光伝搬路は、所定の物質よりなり、
    前記光は、前記物質内部を伝搬する
    請求項18に記載の光電変換装置。
  20. 前記光伝搬路は、石英ガラスよりなる光ファイバである
    請求項19に記載の光電変換装置。
JP2012142695A 2012-06-26 2012-06-26 情報処理装置および方法、並びに、光電変換装置 Pending JP2014006759A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012142695A JP2014006759A (ja) 2012-06-26 2012-06-26 情報処理装置および方法、並びに、光電変換装置
US13/922,014 US9124753B2 (en) 2012-06-26 2013-06-19 Information processing apparatus and method, and photoelectric conversion apparatus
CN201310242947.9A CN103512655B (zh) 2012-06-26 2013-06-19 信息处理装置和方法、以及光电转换装置
US14/801,644 US9485479B2 (en) 2012-06-26 2015-07-16 Information processing apparatus and method, and photoelectric conversion apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012142695A JP2014006759A (ja) 2012-06-26 2012-06-26 情報処理装置および方法、並びに、光電変換装置

Publications (1)

Publication Number Publication Date
JP2014006759A true JP2014006759A (ja) 2014-01-16

Family

ID=49774041

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012142695A Pending JP2014006759A (ja) 2012-06-26 2012-06-26 情報処理装置および方法、並びに、光電変換装置

Country Status (3)

Country Link
US (2) US9124753B2 (ja)
JP (1) JP2014006759A (ja)
CN (1) CN103512655B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017521820A (ja) * 2014-06-02 2017-08-03 アップル インコーポレイテッド 適応的スペクトル特性を有するディスプレイ
JP2020504953A (ja) * 2017-05-03 2020-02-13 オッポ広東移動通信有限公司 カメラアセンブリおよびモバイル電子装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102246296B1 (ko) * 2014-12-19 2021-04-30 삼성디스플레이 주식회사 표시 장치
CN108449956A (zh) * 2015-11-30 2018-08-24 Jsr株式会社 光学滤波器、环境光传感器及传感器模块
KR102504308B1 (ko) * 2016-03-02 2023-02-28 삼성전자주식회사 디스플레이의 밝기를 제어하는 방법, 전자 장치 및 컴퓨터 판독가능 기록매체
KR20180024299A (ko) * 2016-08-29 2018-03-08 삼성전자주식회사 조도를 측정하는 방법 및 그 전자 장치
EP4068753A4 (en) * 2019-11-29 2022-12-28 Sony Semiconductor Solutions Corporation ELECTRONIC DEVICE
CN111207826A (zh) * 2020-01-12 2020-05-29 东莞锐视光电科技有限公司 一种色温和照度可调的光源系统及其调整方法
CN114244927B (zh) * 2021-12-06 2024-04-19 维沃移动通信有限公司 电子设备、控制方法及控制装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI318072B (en) * 2005-11-03 2009-12-01 Innolux Display Corp Method of updating luminance of light emitting elements according to ambient light intensity sensed by lmage capturing units of a portable electronic device
US20080303918A1 (en) * 2007-06-11 2008-12-11 Micron Technology, Inc. Color correcting for ambient light
US7852475B2 (en) * 2007-08-13 2010-12-14 Jds Uniphase Corporation Scanning spectrometer with multiple photodetectors
CN102445268A (zh) * 2010-09-30 2012-05-09 富士迈半导体精密工业(上海)有限公司 光能测量装置
CN102213615B (zh) * 2011-04-01 2013-05-08 中国兵器工业第二〇五研究所 Led光学参数综合测试装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017521820A (ja) * 2014-06-02 2017-08-03 アップル インコーポレイテッド 適応的スペクトル特性を有するディスプレイ
US10475363B2 (en) 2014-06-02 2019-11-12 Apple Inc. Displays with adaptive spectral characteristics
US10923013B2 (en) 2014-06-02 2021-02-16 Apple Inc. Displays with adaptive spectral characteristics
JP2020504953A (ja) * 2017-05-03 2020-02-13 オッポ広東移動通信有限公司 カメラアセンブリおよびモバイル電子装置

Also Published As

Publication number Publication date
US9485479B2 (en) 2016-11-01
US20130342518A1 (en) 2013-12-26
CN103512655A (zh) 2014-01-15
CN103512655B (zh) 2017-03-01
US9124753B2 (en) 2015-09-01
US20150326770A1 (en) 2015-11-12

Similar Documents

Publication Publication Date Title
JP2014006759A (ja) 情報処理装置および方法、並びに、光電変換装置
JP6602914B2 (ja) 照明源として構成されるディスプレイデバイス
CN112333335B (zh) 一种环境光和接近检测方法、拍摄方法、终端及计算机存储介质
JP5786254B2 (ja) 端末デバイス中の発光デバイスを制御するための方法と装置、ならびに端末デバイス
KR101977711B1 (ko) 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
US20120092541A1 (en) Method and apparatus for ambient light measurement system
US11546531B2 (en) Camera assembly, image acquisition method, and mobile terminal
US11262235B2 (en) Light intensity detecting device, screen member and mobile terminal
JP2022511143A (ja) 環境光検出方法、環境光検出装置、端末装置及び記憶媒体
EP3919971A1 (en) Display assembly and manufacturing method thereof, electronic device
US9194741B2 (en) Device having light intensity measurement in presence of shadows
US20120313908A1 (en) Device and method of adjusting electromagnetic radiation transmitted by an optical element
TW201427418A (zh) 感測裝置以及感測方法
CN111345019B (zh) 一种环境光检测的方法及终端
JP7450070B2 (ja) 画素ユニット、光電センサ、撮像モジュール及び電子機器
KR102412278B1 (ko) 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치
JP6286944B2 (ja) 情報処理装置、撮像装置、情報処理方法、およびプログラム
JP2013251826A (ja) 移動体通信機および撮像システム
CN113959429B (zh) 基于图像传感技术的室内可见光定位系统及其方法
KR20100131189A (ko) 이미지센서 및 이를 이용한 조도 측정 방법
WO2020137967A1 (ja) 光学センサおよびそれを搭載した電子機器
KR20230167688A (ko) 광원 및 조도 감지가 가능한 클램쉘 타입 전자 장치
KR20240066632A (ko) 이미지 센서를 이용한 주변 광 감지
CN117330179A (zh) 光学传感器的校准方法、装置、设备及存储介质
CN116132784A (zh) 图像处理方法、装置及存储介质