JP2017091574A - 空間および時間内のイベントのキャプチャ - Google Patents

空間および時間内のイベントのキャプチャ Download PDF

Info

Publication number
JP2017091574A
JP2017091574A JP2017012055A JP2017012055A JP2017091574A JP 2017091574 A JP2017091574 A JP 2017091574A JP 2017012055 A JP2017012055 A JP 2017012055A JP 2017012055 A JP2017012055 A JP 2017012055A JP 2017091574 A JP2017091574 A JP 2017091574A
Authority
JP
Japan
Prior art keywords
image
light
electrode
embodiments include
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017012055A
Other languages
English (en)
Other versions
JP6261151B2 (ja
Inventor
ハートレイ サージェント、エドワード
hartley sargent Edward
ハートレイ サージェント、エドワード
ジャン ヤング リー、ジェス
Jess Jan Young Lee
ジャン ヤング リー、ジェス
ティアン、フイ
Hui Tian
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InVisage Technologies Inc
Original Assignee
InVisage Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InVisage Technologies Inc filed Critical InVisage Technologies Inc
Publication of JP2017091574A publication Critical patent/JP2017091574A/ja
Application granted granted Critical
Publication of JP6261151B2 publication Critical patent/JP6261151B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/04Optical or mechanical part supplementary adjustable parts
    • G01J1/0407Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
    • G01J1/0418Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings using attenuators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14618Containers
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/42Wire connectors; Manufacturing methods related thereto
    • H01L2224/47Structure, shape, material or disposition of the wire connectors after the connecting process
    • H01L2224/48Structure, shape, material or disposition of the wire connectors after the connecting process of an individual wire connector
    • H01L2224/4805Shape
    • H01L2224/4809Loop shape
    • H01L2224/48091Arched

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • User Interface Of Digital Computer (AREA)
  • Light Receiving Elements (AREA)
  • Image Input (AREA)

Abstract

【課題】あらゆる外部干渉を実質的に抑制する。【解決手段】画像化システムは、焦点面アレイと、第1の実質的透過バンドおよび第2の実質的透過バンドを有する光学フィルタと、アクティブ照明器とを備え、第1の時間間隔中に、焦点面アレイは第1の画像を取得し、第2の時間間隔中に、アクティブ照明器は電源が入れられ、焦点面アレイは第2の画像を取得し、第3の画像は第2の画像から第1の画像を減算することによって生成されるように構成され、表示システムは第1の画像および該第3の画像を組み合わせた画像を表示する。【選択図】 図7

Description

本発明は概して、光学および電子デバイス、システムおよび方法、およびデバイスおよびシステムを作成しかつ使用する方法に関する。
本明細書に記載したシステムおよび方法は、以下の図面を参照して理解することができる。
演算、通信、ゲーム、インターフェイス接続などで使用することができる単一面演算デバイスの一実施形態を示す図。 演算、通信、ゲーム、インターフェイス接続などで使用することができる二重面演算デバイスの一実施形態を示す図。 図1または図2の演算デバイスで使用することができるカメラ・モジュールの一実施形態を示す図。 図1または図2の演算デバイスで使用することができる光センサの一実施形態を示す図。 ジェスチャ認識の方法の実施形態を示す図。 ジェスチャ認識の方法の実施形態を示す図。 光感知動作との外部干渉を少なくするための3電極差分レイアウト・システムの一実施形態を示す図。 光感知動作中の外部干渉からのコモン・モード・ノイズを少なくするための3電極ツイスト・ペア・レイアウト・システムの一実施形態を示す図。 変調周波数ではない外部ノイズを少なくするために、電極に加えられた信号に時間変調バイアスをかける一実施形態を示す図。 様々な画像化応用例で使用することができる、フィルタの透過率スペクトルの一実施形態を示す図。 ノイズ出力を少なくするために、各画素内で利用することができる回路の例示的な略図を示す図。 シリコン内で実施することができるフォトゲート/ピニング・ダイオード記憶の回路の例示的な略図を示す図。
図1は、演算、通信、ゲーム、インターフェイス接続などで使用することができる単一面演算デバイス100の一実施形態を示す。単一面演算デバイス100は図では、周辺領域101および表示領域103を備える。ボタンまたはタッチパッドなどの、タッチ・ベース・インターフェイス・デバイス117は、単一面演算デバイス100と相互作用する際に使用することができる。
第1のカメラ・モジュール113の例は図では、単一面演算デバイス100の周辺領域101内に置かれ、図3を参照して、以下により詳細に説明される。例示的な光センサ115A、115Bはまた図では、単一面演算デバイス100の周辺領域101内に置かれ、図4を参照して、以下により詳細に説明される。第2のカメラ・モジュール105の一例は図では、単一面演算デバイス100の表示領域103内に置かれ、図3を参照して、以下により詳細に説明される。
光センサ107A、107Bの例は図では、単一面演算デバイス100の表示領域103内に置かれ、図4を参照して、以下により詳細に説明される。(構造化または非構造化させることができる)第1の光学照明源111の一例は図では、単一面演算デバイス100の周辺領域101内に置かれる。第2の光学照明源109の一例は図では、表示領域103に置かれる。
実施形態では、表示領域103は、タッチスクリーン・ディスプレイであってもよい。実施形態では、単一面演算デバイス100は、タブレット・コンピュータであってもよい。実施形態では、単一面演算デバイス100は、携帯電話機であってもよい。
図2は、演算、通信、ゲーム、インターフェイス接続などで使用することができる二重面演算デバイス200の一実施形態を示す。二重面演算デバイス200は図では、第1の平面210の第1の周辺領域201Aおよび第1の表示領域203Aと、第2の平面230の第2の周辺領域201Bおよび第2の表示領域203Bと、第1の平面210の第1のタッチ・ベース・インターフェイス・デバイス217Aと、第2の平面230の第2のタッチ・ベース・インターフェイス・デバイス217Bとを備える。例示的なタッチ・ベース・インターフェイス・デバイス217A、217Bは、二重面演算デバイス200と相互作用する際に使用することができるボタンまたはタッチパッドであってもよい。第2の表示領域203Bはまた、様々な実施形態では、入力領域であってもよい。
二重面演算デバイス200はまた図では、第1の周辺領域201A内の第1のカメラ・モジュール213A、および第2の周辺領域201B内の第2のカメラ・モジュール213Bの例を備える。カメラ・モジュール213A、213Bは、図3を参照して、以下により詳細に記載される。図示するように、カメラ・モジュール213A、213Bは、二重面演算デバイス200の周辺領域201A、201B内に置かれる。合計2つのカメラ・モジュールが示されているが、当業者は、より多いまたはより少ない光センサを利用することができることが分かるだろう。
光センサ215A、215B、215C、215Dのいくつかの例は図では、二重面演算デバイス200の周辺領域201A、201B内に置かれる。合計4つの光センサが示されているが、当業者は、より多いまたはより少ない光センサを利用することができることが分かるだろう。光センサ215A、215B、215C、215Dの例が、図4を参照して、以下により詳細に記載される。図示するように、光センサ215A、215B、215C、215Dは、二重面演算デバイス200の周辺領域201A、201B内に置かれる。
二重面演算デバイス200はまた図では、第1の表示領域203A内の第1のカメラ・モジュール205A、および第2の表示領域203B内の第2のカメラ・モジュール205Bの例を備える。カメラ・モジュール205A、205Bは、図3を参照して、以下により詳細に記載される。図示するように、カメラ・モジュール205A、205Bは、二重面演算デバイス200の表示領域203A、203B内に置かれる。また図では、光センサ207A、207B、207C、207Dの例が、二重面演算デバイス200の表示領域203A、203B内に置かれる。合計4つの光センサが示されているが、当業者は、より多いまたはより少ない光センサを利用することができることが分かるだろう。光センサ207A、207B、207C、207Dの例が、図4を参照して、以下により詳細に記載される。例示的な光学照明源211A、211Bは図では、周辺領域201A、201B内に置かれ、他の例示的な光学照明源209A、209Bは図では、表示領域203A、203Bの一方の中に置かれ、また、以下に図4を参照して記載する。当業者は、図示または記載したもの以外の、様々な数および位置の記載した要素を実施することができることが分かるだろう。
実施形態では、二重面演算デバイス200は、ラップトップ・コンピュータであってもよい。実施形態では、二重面演算デバイス200は、携帯電話機であってもよい。
次に図3を参照すると、図1または図2の演算デバイスで使用することができるカメラ・モジュール300の一実施形態が、示される。カメラ・モジュール300は、図1のカメラ・モジュール113、または図2のカメラ・モジュール213A、213Bに対応することができる。図3に示すように、カメラ・モジュール300は、基板301、画像センサ303、およびボンド・ワイヤ305を備える。ホルダ307が、基板の上に位置決めされている。光学フィルタ309は図では、ホルダ307の一部に取り付けられている。バレル311は、レンズ313、またはレンズのシステムを保持する。
図4は、図1または図2の演算デバイスで使用することができる光センサ400の一実施形態を示す。光センサ400は、図1の光センサ115A、115B、または図2の光センサ215A、215B、215C、215Dに対応することができる。光センサ400は、図では、図1の周辺領域101または表示領域103のいずれかまたは両方の一部に対応する可能性がある基板401を備える。基板401はまた、図2の周辺領域201A、201B、または表示領域203A、203Bのいずれかまたは両方の一部に対応することができる。光センサ400は、また図では、光吸収材料405を通してバイアスを提供し、光電子を収集するために使用される電極403A、403Bを備える。封入材料407、または封入材料のスタックが、光吸収材料405上に示されている。任意選択では、封入材料407は、光吸収材料405から光電子にバイアスを与えること、および光電子を収集することのうちの少なくとも一つのための導電性封入材料を含むことができる。
図1の単一面演算デバイス100、または図2の二重面演算デバイス200のいずれかの要素を、互いに接続、あるいは結合させることができる。演算デバイスの実施形態は、プロセッサを含むことができる。演算、画像処理、デジタル信号処理、データの記憶、(有線または無線接続を通した)データの通信、デバイスへの電力の提供、およびデバイスの制御を達成する、機能ブロックおよび物理的に個別の構成要素のうちの少なくとも一方を含むことができる。図1のデバイスに含まれるプロセッサと通信しているデバイスは、表示領域103、タッチ・ベース・インターフェイス・デバイス117、カメラ・モジュール105、113、光センサ115A、115B、107A、107B、および光学照明源109、111を備えることができる。同様に、通信は図2にも適用することができる。
図5は、ジェスチャ認識の方法の一実施形態を示す。方法は、(1つまたは複数の)カメラ・モジュールの少なくとも1つのそれぞれから少なくとも2つの画像の場合にストリームを取得することを含む動作501と、光センサの少なくとも1つのそれぞれから少なくとも2つの信号の場合にストリームを取得することも含む動作507を含んでいる。方法はさらに、動作503および509では、画像および信号のうちの少なくとも一方をプロセッサに伝送することを含む。方法はさらに、動作505では、プロセッサを使用した画像および信号の組合せに基づくジェスチャの意味およびタイミングの推定を含む。
図6は、ジェスチャ認識の方法の一実施形態を示す。方法は、カメラ・モジュールの少なくとも1つのそれぞれから少なくとも2つの画像の場合にはストリームを取得することを含む動作601と、また、タッチ・ベース・インターフェイス・デバイスの少なくとも1つのそれぞれから少なくとも2つの信号の場合にはストリームを取得することをも含む動作607とを含む。方法はさらに、動作603および609で、画像および信号のうちの少なくとも一方をプロセッサに伝送することを含む。方法はさらに、動作605で、プロセッサを使用して、画像および信号の組合せに基づいて、ジェスチャの意味およびタイミングの推定を含む。
実施形態では、それぞれいずれも周辺および表示または表示/入力領域のうちのいずれか一方内にある、(1)タッチ・ベース・インターフェイス・デバイス、(2)カメラ・モジュール、(3)光センサの少なくとも1つによって受信された信号を利用することができ、単一でまたは一緒に使用して、デバイスのユーザによって示されるジェスチャの存在およびタイプを判断することができる。
図5を再び参照すると、実施形態では、複数の画像の場合にストリームが、カメラ・モジュールの少なくとも1つのそれぞれから取得される。光センサの少なくとも1つのそれぞれから少なくとも2つの信号の場合にストリームがまた、取得される。実施形態では、ストリームは、異なるクラスの周辺デバイスから同期して取得することができる。実施形態では、いつそれぞれがその他に対して、例えば、いくつかの会議基準時点に対して取得されたのかを示す公知のタイム・スタンプでストリームを取得することができる。実施形態では、ストリームはプロセッサに伝送される。プロセッサは、画像および信号の組合せに基づいて、ジェスチャの意味、およびタイミングの推定を演算する。
実施形態では、少なくとも1つのカメラ・モジュールは、約40°を超える広視野を有する。実施形態では、少なくとも1つのカメラ・モジュールは、魚眼レンズを利用する。実施形態では、少なくとも1つの画像センサは、その中心でより高い解像度を、その周辺でより低い解像度を達成する。実施形態では、少なくとも1つの画像センサは、その中心近くでより小さい画素を、その周辺でより大きい画素を使用する。
実施形態では、近接物体の部分的反射および部分的散乱とのうちの少なくともいずれか一方と組み合わされ、かつ少なくとも1つの光学モジュールまたは光センサを使用した光感知と組み合わされた、少なくとも1つの光源を介したアクティブ照明を物体の近接を検出するために組み合わせることができる。実施形態では、このような近接に関する情報を使用して、デバイスの電力消費を少なくすることができる。実施形態では、電力消費は、ディスプレイなどの電力消費構成要素を減光または電源を切ることによって少なくすることができる。
実施形態では、少なくとも1つの光源が、赤外線光を発することができる。実施形態では、少なくとも1つの光源が、約700nmから約1100nmの間の近赤外の赤外線光を発することができる。実施形態では、少なくとも1つの光源が、約1100nmから約1700nm波長の間の短波長赤外の赤外線を発することができる。実施形態では、光源によって発せられた光は、デバイスのユーザには実質的には見えない。
実施形態では、少なくとも1つの光源が、構造化光画像を投影することができる。実施形態では、画像化と組み合わされた空間的構造化照明を利用して、画像化システムに対する物体の相対的距離を推定することができる。
実施形態では、少なくとも2つのレンズ・システムを利用して、モノリシックに集積した単一画像センサ集積回路の2つの個別の領域上に、シーンまたはシーンの複数の部分を画像化することができ、画像センサ集積回路を使用してこのように取得された光のパターンを使用して、画像センサ・システムに対する物体の相対的または絶対的距離を推定するのを助けることができる。
実施形態では、少なくとも2つのレンズ・システムを利用して、単一のカメラ・システム内に格納された2つの個別の画像センサ集積回路の上にシーンまたはシーンの部分を画像化することができ、画像センサ集積回路を使用してこのように取得された光のパターンを使用して、画像センサ・システムに対する物体の相対的または絶対的距離を推定するのを助けることができる。
実施形態では、少なくとも2つのレンズ・システムを利用して、別個のカメラ・システムまたはサブシステム内に格納された2つの個別の画像センサ集積回路の上にシーンまたはシーンの複数の部分を画像化することができ、画像センサ集積回路を使用してこのように取得された光のパターンを使用して、画像センサ・システムまたはサブシステムに対する物体の相対的または絶対的距離を推定するのを支援することができる。
実施形態では、少なくとも2つの光学システムがそこからシーンを認識する、注視または斜視の異なる角度を使用して、画像センサ・システムに対する物体の相対的または絶対的距離を推定するのを支援することができる。
実施形態では、図1の周辺領域101内に置かれた光センサ115A、115B、および図1の表示領域103内に置かれた光センサ107A、107Bなどの光センサのうちの少なくとも一方を、単一で、または互いに組み合わせて使用すること、およびカメラ・モジュールと組み合わせて使用することのうちの少なくとも一方を行なって、シーンに関する情報を取得することができる。実施形態では、光センサは、シーンの特定の領域から特定の光センサの上に光を案内するのを支援するレンズを利用することができる。実施形態では、光センサは、光遮断ハウジングなどの開口用システムを利用して、シーンからの光がその上で特定の光センサに入射する限られた角度範囲を規定することができる。実施形態では、特定の光センサは、開口の支援により、特定の入射角錐内から光を感知する役割を有する。
実施形態では、画像センサ・システムに対する物体の相対的または絶対的距離を推定するのを支援するために、少なくとも2つの光学システムがシーンを認識するところの注視または斜視の異なる角度を使用することができる。
実施形態では、少なくとも2つの光センサからの光検出器の時間系列を使用して、物体の方向および速度を推定することができる。実施形態では、少なくとも2つの光センサからの光検出器の時間系列を使用して、ジェスチャが演算デバイスのユーザによって行われたことを確認することができる。実施形態では、少なくとも2つの光センサからの光検出器の時間系列を使用して、演算デバイスのユーザによって行われたジェスチャを分類することができる。実施形態では、ジェスチャの分類と、分類されたジェスチャの場合において推定された実行に関する情報は、処理ユニットを含む、演算デバイス内の他のシステムまたはサブシステムに伝送することができる。
実施形態では、光センサは、演算デバイスの表示領域、例えば、図1の光センサ107A、107B内に一体化させることができる。実施形態では、表示領域内に光センサを組み込むことは、ユーザへ視覚的情報を伝送する際にディスプレイの動作を実質的に変更することなく達成することができる。実施形態では、ディスプレイは、約400nmから約650nmの範囲の可視波長を主に使用して、ユーザに視覚的情報を伝送することができ、光センサは、約650nmより長い波長の赤外線光を主に使用して、シーンに関する視覚的情報を取得することができる。実施形態では、主に可視波長領域内で動作する「表示平面」は、主に赤外線スペクトル領域内で動作する「光感知平面」の前で、ユーザの近くにある可能性がある。
実施形態では、第1のタイプの構造化光を利用することができ、第2のタイプの構造化光も利用することができ、少なくとも2つの構造化光照明からの情報を有用に組み合わせて、いずれかの隔離された構造化光画像に含まれる情報を超えるシーンに関する情報を確認することができる。
実施形態では、第1のタイプの構造化光を利用して、シーンを照らすことができ、第1の照明角度を提供する第1の源から第1のタイプの構造化光を表現することができ、第2のタイプの構造化光を利用して、シーンを照らすことができ、第2の照明角度を提供する第2の源から第2のタイプの構造化光を表現することができる。
実施形態では、第1のタイプの構造化光、および第1の照明角度は、第1の感知角度を提供する第1の画像センサを使用して、かつ、第2の感知角度を提供する第2の画像センサを使用して感知することができる。
実施形態では、第1のパターンを有する構造化光は、第1の源から表現することができ、第2のパターンを有する構造化光は、第2の源から表現することができる。
実施形態では、第1のパターンを有する構造化光は、第1の期間中に源から表現することができ、第2のパターンを有する構造化光は、第2の期間中に源から表現することができる。
実施形態では、第1の波長の構造化光を使用して、第1の照明角度を有する第1の源からシーンを照らすことができ、第2の波長の構造化光を使用して、第2の照明角度を有する第2の源からシーンを照らすことができる。
実施形態では、第1の波長の構造化光は、第1のパターンを使用してシーンを照らすために用いることができ、第2のパターンを使用してシーンを照らすために第2の波長の構造化光を用いることができる。実施形態では、第1の画像センサは、第1の波長において強い応答、第2の波長において弱い応答でシーンを感知することができ、第2の画像センサは、第2の波長において強い応答、第1の波長において弱い応答でシーンを感知することができる。実施形態では、画像センサは、第1の波長において強い応答、および第2の波長において弱い応答を有する第1のクラスの画素と、第2の波長において強い応答、および第1の波長において弱い応答を有する第2のクラスの画素とからなっていてもよい。
実施形態は、第1の帯域通過スペクトル領域、第1の帯域遮断スペクトル領域、および第2の帯域通過スペクトル領域を有するフィルタを利用する画像センサ・システムを含む。実施形態は、可視スペクトル領域に対応する第1の帯域通過領域、赤外線の第1の部分に対応する第1の帯域遮断スペクトル領域、および赤外線の第2の部分に対応する第2の帯域通過スペクトル領域を含む。実施形態は、第1の期間を使用して、可視波長シーンを最初に検出すること、第2の期間中に第2の帯域通過領域内のアクティブ照明を使用して、可視波長シーンとアクティブ照明を行った赤外線シーンの合計を検出すること、2つの期間中に取得された画像間の差を使用して、最初にアクティブ照明を行った赤外線シーンを推測することを含む。実施形態は、第2の期間中に構造化光を使用することを含む。実施形態は、赤外線構造化光を使用することを含む。実施形態は、構造化光画像を使用して、シーンに関する深度情報を推測すること、構造化光画像に基づいて取得された深度に関する情報を使用して可視画像にタグ付けする、または操作することを含む。
実施形態では、推測されたジェスチャとしては、1サムアップ、2サムアップ、フィンガ・スワイプ、2フィンガ・スワイプ、3フィンガ・スワイプ、4フィンガ・スワイプ、サム・プラス・1フィンガ・スワイプ、サム・プラス・2フィンガ・スワイプなどを挙げることができる。実施形態では、推測されたジェスチャは、第1の方向における第1の桁の動き、および実質的に反対方向の第2の桁の囲碁器を含むことができる。推測されたジェスチャは、ティックルを含むことができる。
物体に入射する光の強度の感知は、いくつかの応用例で利用することができる。このような応用例は、物体自体の発光強度を適切に選択することができるような、物体に入射する周囲光レベルの推定を含む。携帯電話、携帯情報端末、スマートフォンなどの携帯デバイスにおいて、電池寿命、したがって、電力消費の低減は重要である。同時に、LCDまたは画素化LEDに基づくものなどのディスプレイの使用などによる、情報の視覚的表示も必要となる可能性がある。このような視覚的情報が表示される強度は、シーンの周囲照明に少なくとも部分的に左右される。例えば、極めて明るい周囲照明では、普通は、ディスプレイの視覚的印象または画像が背景光レベルの上で明らかに見えるために、より多くの光強度をディスプレイによって発する必要がある。周囲照明がより弱い場合、ディスプレイからより低レベルの光を発することによって、より小さい電池電力を消費することが実現可能である。
その結果、表示領域の近くで、またはその中で光レベルを感知することが興味深い。光感知の既存の方法は、しばしば小さな領域の、単一の、または極めて少ない光センサを含むことがある。これは、特に、関心のあるデバイスの周囲照明が、空間的に不均質である場合に、周囲照明レベルの推定の際の望ましくない異常または誤差につながる可能性がある。例えば、物体を遮るが、または部分的に遮ることによる影は、1つまたはいくつかの感知要素を遮る場合に、真の平均照明状態において望ましいものより小さい表示強度につながる可能性がある。
実施形態は、光レベルの判断を正確に可能にする、1つまたは複数のセンサの実現を含む。実施形態は、解像度処理した光吸収材料を使用して実現された少なくとも1つのセンサを含む。実施形態は、コロイド量子ドット・フィルムが、一次光吸収要素を構成するセンサを含む。実施形態は、センサに作用する光レベルに関する信号の伝達のためのシステムを含み、システムは、受動センサと、変換の際に使用される電気信号の変調を利用する能動電子機器との間を信号が進むときに、信号内のノイズの存在を減少させるか、または緩和させる。実施形態は、(1)光吸収感知要素、(2)感知要素に作用する光強度に関する信号の伝達用の電気相互接続、および(3)光吸収感知要素から離れており、かつ電気相互接続を介して光吸収感知要素に接続される回路を備え、電気相互接続は感知した信号の低ノイズ伝達を達成する、システムを含む。実施形態は、相互接続の長さが、1センチより大きい長さであるシステムを含む。実施形態は、相互接続が、特殊な遮蔽は必要としないが、実用的に有用な信号対ノイズ・レベルを達成するシステムを含む。
実施形態は、演算デバイスの表示領域を照らす平均色温度を推定するために、単一でまたは組み合わせて利用されるセンサ、またはセンサ・システムを含む。実施形態は、通常の入射に対して約±20°より大きい、通常の入射に対して約±30°より大きい、または通常の入射に対して約±40°より大きい広い角度範囲から光を受け入れるセンサ、またはセンサ・システムを含む。実施形態は、少なくとも2つのタイプの光学フィルタを含むセンサ、またはセンサ・システムを含み、第1のタイプは第1のスペクトル・バンドを主に通過し、第2のタイプは第2のスペクトル・バンドを主に通過する。実施形態は、表示領域、または表示領域に近接した領域を照らす色温度を推定するために、少なくとも2つのタイプの光学フィルタを利用する少なくとも2つのセンサから情報を使用することを含む。
実施形態は、少なくとも2つのタイプのセンサを利用するシステムを含む。実施形態は、第1の光感知材料で構成された第1のタイプ、および第2の光感知材料で構成された第2のタイプを含む。実施形態は、第1のスペクトル・バンド内の光を吸収、および変換するように構成された第1の光感知材料、および第2のスペクトル・バンド内の光を変換するように構成された第2の光感知材料を含む。実施形態は、第1の平均直径を有する複数のナノ粒子を利用する第1の光感知材料、および第2の平均直径を有する複数のナノ粒子を利用する第2の光感知材料を含む。実施形態は、約1nmから約2nmまでの範囲の第1の直径、および約2nmより大きい第2の直径を含む。
実施形態は、インクジェット印刷を伴う演算デバイス内に、またはその上に光感知材料を組み込む方法を含む。実施形態は、ノズルを使用して、規定の領域上に光感知材料を塗布することを含む。実施形態は、電極を使用して一次光感知領域を画定することを含む。実施形態は、第1の電極を画定すること、第2の電極を画定すること、第1および第2の電極と電気接続した光感知領域を画定することを伴う演算デバイス内に、またはその上に一体化された光感知デバイスを製造する方法を含む。実施形態は、第1の電極を画定すること、光感知領域を画定すること、および第2の電極を画定することを伴う演算デバイス内に、またはその上に一体化された光感知デバイスを製造する方法を含み、光感知領域は、第1および第2の電極と電気接続している。
実施形態は、インクジェット印刷を使用する演算デバイス内に、またはその上に少なくとも2つのタイプのセンサを一体化させることを含む。実施形態は、第1のスペクトル・バンド内の光を吸収、および変換するように構成された第1の光感知材料を含む第1のリザーバを使用すること、および第2のスペクトル・バンド内の光を吸収、および変換するように構成された第2の光感知材料を含む第2のリザーバを使用することを含む。
実施形態は、あらゆる外部干渉を実質的に抑制するために、差分または変調シグナリングを使用することを含む。実施形態は、暗い背景ノイズを減算することを含む。
実施形態は、図7に示す差分システムを含む。図7は、光感知動作との外部干渉を少なくするための3電極差分レイアウト・システム700の一実施形態を示す。3電極差分レイアウト・システム700は図では、3つの電極701、703、705全てを覆う光感知材料を含む。遮光材料707(ブラック)は、第1の電極701および第2の電極703を使用して電気的にアクセスされる領域内で光が光感知材料に作用するのを防ぐ。実質的に透明な材料709(クリア)は、第2の電極703と第3の電極705を使用して電気的にアクセスされる実質的に個別の領域内で光が光感知材料に作用するのを可能にする。クリアで覆われた電極対およびブラックで覆われた電極対に流れる電流の差は、光電流に等しい、すなわち、このような差はいかなる暗電流も含んでいないが、その代わり、あらゆる暗オフセットが実質的に取り除かれた状態で、光強度に比例する。
実施形態は、以下のように、3電極システムの使用を含む。各電極は、金属ワイヤからなる。光吸収材料は、金属ワイヤと電気接続することができる。実施形態は、空気、水、湿度、塵、および汚れなどの周囲環境状態から光吸収材料を保護する実質的に透明な材料を使用して、光吸収材料を封入することを含む。3本の電極の中間は、電圧Vにバイアスすることができ、典型的な電圧の例は約0Vである。2本の外側の電極は、電圧Vにバイアスすることができ、典型的な値は約3Vである。実施形態は、光感知材料上の光の入射を実質的に防ぐか、または減少させる遮光材料を使用して、デバイスの一部を覆うことを含む。
遮光材料は、1対の電極が光をほとんどまたは全く受けないことを保証する。この対は、暗電極対、または基準電極対と呼ばれる。他の電極対の上での透明な材料の使用は、光が入射する場合に、光感知材料に実質的に入射することを保証する。この対は、明電極対と呼ばれる。
明電極対と暗電極対に流れる電流の差は、光電流に等しい、すなわち、差はいかなる暗電流も含んでいないが、その代わり、あらゆる暗オフセットが実質的に取り除かれた状態で、光強度に比例する。
実施形態では、これらの電極はツイスト・ペアの形で配線される。このように、外部源からのコモン・モード・ノイズは、減少または緩和される。図8を参照すると、ツイスト・ペア・レイアウト800を有する電極801、803、805では、ツイスト・ペア構成の平面類似物の使用は、外部源からのコモン・モード・ノイズの減少または緩和につながる。
別の実施形態では、遮光層が必要とされないように、バイアスを使用することができる。3本の電極は、3つの電圧V、V、およびVにバイアスすることができる。1実施例では、V=6V、V=3V、V=0Vである。6Vと3Vの間の光センサ、および0Vと3Vの間の光センサは、6Vと0Vの間の値を得た場合に、反対方向の電流を生成する。得られる差分信号はその後、ツイスト・ペアの方法で転送される。
実施形態では、電極レイアウト自体をツイストして、センサ内部のノイズ抵抗をさらに改善することができる。この場合、電極が別の電極とクロス・オーバすることができるアーキテクチャが使用される。
実施形態では、電気バイアス変調を利用することができる。交流バイアスを、1対の電極間で使用することができる。流れる光電流は、時間変化する電気バイアスの一時的漸進的変化を実質的に模擬する。読み出し法は、低ノイズ電気信号を発生させるためにフィルタリングすることを含む。バイアスの一時的変化は、正弦曲線、四角形、または周期的プロフィールを含む。例えば、図9を参照すると、時間変調バイアス900の実施形態では、変調周波数ではない外部ノイズを少なくするために、信号901が電極に加えられる。時間内で信号を変調することにより、変調周波数ではない外部ノイズを拒否することが可能になる。
実施形態は、信号対ノイズ・レベルのさらなる改善を達成するために、差分レイアウト法を変調法と組み合わせることを含む。
実施形態は、異なる形状、サイズ、およびスペクトル応答(例えば、異なる色に対する感度)を有するいくつかのセンサを利用することを含む。実施形態は、マルチ・レベル出力信号を発生させることを含む。実施形態は、入射光のスペクトルおよび特性に関する情報のうちの少なくとも一方を再構築するために、適切な回路およびアルゴリズムを使用して信号を処理することを含む。
開示する主題の利点は、より長い距離にわたる光強度に関する正確な情報の転送を含む。利点は、結果として、より低いレベルの光の検出を含む。利点は、より幅広い範囲の可能な光レベルを感知することを含む。利点は、より幅広い範囲の温度にわたる成功した光強度の判断を含み、利点は、特に、暗基準が本明細書に記載された差分方法を使用して減算された場合に、推定される。
実施形態は、第1の電極、第2の電極、および第3の電極を備えた光センサを含む。光吸収半導体は、第1、第2、および第3の電極それぞれと電気接続している。遮光材料は、第2と第3の電極の間にある光吸収半導体の一部分上への光の入射を実質的に減衰させ、電気バイアスが第2の電極と第1および第3の電極の間に加えられ、第2の電極に流れる電流が、センサ上に入射する光に関連している。
実施形態は、第1の電極、第2の電極、および電極と電気接続している光吸収半導体を備えた光センサを含み、時間変化する電気バイアスが第1と第2の電極の間に加えられ、電極間を流れる電流は、時間変化する電気バイアスのプロフィールにしたがってフィルタリングされ、その結果得られる電流の成分は、センサに入射する光に関連している。
実施形態は、上記実施形態を含み、第1、第2、および第3の電極は、金、白金、パラジウム、銀、マグネシウム、マンガン、タングステン、チタン、窒化チタン、二酸化チタン、チタン酸窒化物、アルミニウム、カルシウム、および鉛のリストから選択された材料からなる。
実施形態は、上記実施形態を含み、光吸収半導体は、PbS、PbSe、PbTe、SnS、SnSe、SnTe、CdS、CdSe、CdTe、Bi2S3、In2S3、In2S3、In2Te3、ZnS、ZnSe、ZnTe、Si、Ge、GaAs、ポリピロール、ペンタセン、ポリフェニレンビニレン、ポリヘキシルチオフェン、およびフェニル−C61−酪酸メチルエステルのリストからとった材料を含む。
実施形態は、上記実施形態を含み、バイアス電圧は、約0.1Vより大きく、約10Vより小さい。実施形態は、上記実施形態を含み、電極は、約1μmから約20μmの間の距離だけ互いに離間されている。
実施形態は、上記実施形態を含み、バイアスおよび読取の際に使用される光感知領域と能動回路の間の距離は、約1cmより大きく、約30cmより小さい。
画像化などを介したシーンに関する視覚的情報のキャプチャは、ある範囲の応用例の領域で望ましい。場合により、画像化システムと興味のあるシーンの間にある媒体の光学性状は、光吸収、光散乱、または両方を示すことがある。場合により、光吸収および光拡散のうちの少なくとも一方は、第2のスペクトル範囲と比較して、第1のスペクトル範囲でより強く起こることがある。場合により、強い吸収または拡散する第1のスペクトル範囲は、約470nmから約630nmまでの可視スペクトル範囲の一部または全てを含み、より弱く吸収または拡散する第2のスペクトル範囲は、約650nmから約24μmまでの波長範囲に広がる赤外線の部分を含むことがある。
実施形態では、画質は、約650nmの波長より長い波長に対する感度を有する画像センサ・アレイを提供することによって良くすることができる。
実施形態では、画像化システムは、2つのモード、可視波長画像化用の第1のモード、および赤外線画像化用の第2のモードで動作することができる。実施形態では、第1のモードは、画像センサ上へのある赤外線波長の光の入射を実質的に遮断するフィルタを利用することができる。
次に図10を参照すると、様々な画像化応用例で使用することができる、フィルタの透過率スペクトル1000の一実施形態が示されている。可視スペクトル領域1001内の波長は、実質的に伝達されて、可視波長画像化が可能になる。約750nmから約1450nmまでの赤外線バンド1003内、また、約1600nmを超える領域1007内の波長は、実質的に遮断されて、周囲赤外線照明に関連する画像の効果が小さくなる。約1450nmから約1600nmまでの赤外線バンド1005内の波長は、実質的に伝達されて、このバンド内の主なスペクトル出力を有するアクティブな照明源に電源が入れられた場合に、赤外線波長画像化が可能になる。
実施形態では、画像化システムは、2つのモード、可視波長画像化用の第1のモード、および赤外線画像化用の第2のモードで動作することができる。実施形態では、システムは、第1の赤外線スペクトル・バンド上への光の入射を実質的に遮断する、および第2の赤外線スペクトル・バンド上への光の入射を実質的に通過させる、2つのモードそれぞれで定位置にある光学フィルタを利用することができる。実施形態では、遮断される第1の赤外線スペクトル・バンドは、約700nmから約1450nmまで広がることがある。実施形態では、実質的に遮断されない第2の赤外線スペクトル・バンドは、約1450nmで始まることがある。実施形態では、実質的に遮断されない第2の赤外線スペクトル・バンドは、約1600nmで終わることがある。実施形態では、赤外線画像化用の第2のモードでは、実質的に遮断されない第2の赤外線スペクトル・バンド内の出力を含むアクティブ照明を、利用することができる。実施形態では、実質的可視波長画像は、第1のモードで画像キャプチャにより取得することができる。実施形態では、実質的にアクティブ赤外線照明された画像は、第2のモードで画像キャプチャにより取得することができる。実施形態では、実質的にアクティブ赤外線照明された画像は、第1のモード中に取得された画像の減算の支援の下で、第2のモードで画像キャプチャにより取得することができる。実施形態では、第1のモードと第2のモードの間の周期的な時間内の交代を利用することができる。実施形態では、非赤外線照明とアクティブ赤外線照明の間の周期的な時間内の交代を利用することができる。実施形態では、実質的可視波長画像の報告と実質的にアクティブ赤外線照明された画像の報告の間の周期的な時間内の交代を利用することができる。実施形態では、オーバーレイ法で、可視波長画像および赤外線波長画像に関する情報を表示する合成画像を生成することができる。実施形態では、オーバーレイ法で、可視波長画像を示すために青などの第1の可視波長色を使用し、アクティブ赤外線照明された画像を示すために赤などの第2の可視波長色を使用した合成画像を生成することができる。
画像センサ内では、非ゼロ、不均一画像は、照明がない状態でも(暗闇でも)存在することがある。暗画像は、照明画像の表現の際に歪みおよびノイズにつながる可能性がある。
実施形態では、暗闇に存在する信号を示す画像を取得することができる。実施形態では、画像は、照明画像と暗画像の間の差を示す画像化システムの出力で表現することができる。実施形態では、暗画像は、光に対する画像センサの感度を小さくするように電気バイアスを使用することによって取得することができる。実施形態では、画像センサ・システムは、実質的な暗画像を取得するために、第1のバイアス・スキームで第1の時間間隔を利用し、明画像を取得するために、第2のバイアス・スキームで第2の時間間隔を利用することができる。実施形態では、画像センサ・システムは、メモリ内に実質的な暗画像を記憶することができ、明画像と実質的な暗画像の間の差を示す画像を表現する際に、記憶した実質的な暗画像を使用することができる。実施形態は、方法を使用して、歪みを少なくすること、およびノイズを少なくすることを含む。
実施形態では、リセットの後に存在する信号を示す第1の画像を取得することができ、集積時間の後に存在する信号を示す第2の画像を取得することができ、2つの画像間の差を示す画像を表現することができる。実施形態では、メモリを利用して、入力画像の2つのうちの少なくとも1つを記憶することができる。実施形態では、得られた差の画像は、相関二重サンプリング・ノイズと一致する一時的ノイズ特徴を提供することができる。実施形態では、sqrt(kTC)ノイズによって加えられるものよりかなり小さい等価一時ノイズを有する画像を表現することができる。
実施形態は、ユーザに暗減算画像を迅速に表現するために、暗画像および明画像の高速読み出し、メモリへの高速アクセス、および高速画像処理を含む。
実施形態は、画像が取得されることを示すユーザと、画像の取得に関連する集積期間の間の間隔が約1秒未満であるカメラ・システムを含む。実施形態は、画像センサとプロセッサの間のメモリ要素を含むカメラ・システムを含む。
実施形態は、ショット間の時間が約1秒未満である、カメラ・システムを含む。
実施形態は、第1の画像が取得され、メモリ内に記憶され、第2の画像が取得され、プロセッサを使用して、第1の画像および第2の画像からの情報を利用する画像を生成するカメラ・システムを含む。実施形態は、第1の画像および第2の画像からの情報を組み合わせることによって、高い動的範囲で画像を生成することを含む。実施形態は、第1の焦点を有する第1の画像と、第2の焦点を有する第2の画像と、第1の画像および第2の画像からより高い等価深度の焦点を有する画像を生成することを含む。
より熱い物体は普通、より冷たい物体より、より短い波長でより高いスペクトル出力密度を発する。したがって、第2のバンドでの出力に対する第1のバンドでの出力の比に基づいて、シーン内で画像化された物体の相対温度に関する情報を抽出することができる。
実施形態では、画像センサは、主に第1のスペクトル・バンド内の光を感知するように構成された第1のセットの画素、および主に第2のスペクトル・バンド内の光を感知するように構成された第2のセットの画素を含むことができる。実施形態では、第1および第2のセットの近接画素からの情報を組み合わせて、推定画像を報告することができる。実施形態では、第1および第2のセットの近接画素からの信号の比を提供する推定画像を報告することができる。
実施形態では、画像センサは、物体温度を推定する手段を含むことができ、さらに、可視波長画像を取得する手段を含むことができる。実施形態では、画像処理を使用して、可視波長画像の上の推定相対物体温度を示す画像を疑似着色することができる。
実施形態では、画像センサは、約2μm×2μm未満の直線寸法を有する少なくとも1つの画素を含むことができる。
実施形態では、画像センサは、第1のスペクトル・バンドで感知を行う第1の層、および第2のスペクトル・バンドで感知を行う第2の層を含むことができる。
実施形態では、可視画像を使用して、シーンのユーザになじみのある表示を表現することができ、赤外線画像は、温度または色素などに関する追加情報を提供することができ、または霧、もや、煙、または繊維などの拡散および可視吸収媒体を通した透過のうちの少なくとも一方を可能にすることができる。
場合により、単一の画像センサを使用して、可視および赤外線画像の両方を取得することが望ましいことがある。場合により、可視および赤外線画像の間の登録は、したがって、実質的に簡単にレンダリングされる。
実施形態では、画像センサは、単一のクラスの光吸収光感知材料を利用することができ、またこの上のパターン化層を利用することができるものであり、このパターン化層は、これを通した光のスペクトル選択透過に貢献し、フィルタとしても知られる。実施形態では、光吸収光感知材料は、可視スペクトル領域と赤外線スペクトル領域の少なくとも一部の両方の上で、高い量子効率光感知を行うことができる。実施形態では、パターン化層は、単一の画像センサ回路上で、可視波長画素領域と、赤外線波長画素領域との両方を可能にすることができる。
実施形態では、画像センサは、2つのクラスの光吸収光感知材料、第1の範囲の波長を吸収および感知するように構成された第1の材料、および第2の範囲の波長を吸収および感知するように構成された第2の材料を利用することができる。第1および第2の範囲は、少なくとも部分に重なっていてもよく、または重なっていなくてもよい。
実施形態では、2つのクラスの光吸収光感知材料は、画像センサの異なる領域内に配置することができる。実施形態では、リソグラフィおよびエッチングを利用して、どの領域がどの光吸収光感知材料を使用して覆われるのかを規定することができる。実施形態では、インクジェット印刷を利用して、どの領域がどの光吸収光感知材料を使用して覆われるのかを規定することができる。
実施形態では、2つのクラスの光吸収光感知材料を、互いの上に垂直に積み重ねることができる。実施形態では、底部層は赤外線および可視光の両方を感知することができ、上部層は主に可視光を感知することができる。
実施形態では、感光デバイスは、第1の電極、第1の光吸収光感知材料、第2の光吸収光感知材料、および第2の電極を備えることができる。実施形態では、第1の電気バイアスを、第1と第2の電極の間に提供することができ、それによって、光キャリアが主に第1の光吸収光感知材料から効率的に収集される。実施形態では、第2の電気バイアスを、第1と第2の電極の間に提供することができ、それによって、光キャリアが主に第2の光吸収光感知材料から効率的に収集される。実施形態では、第1の電気バイアスは、主に第1の波長の光に対する感度につながることがある。実施形態では、第2の電気バイアスは、主に第2の波長の光に対する感度につながることがある。実施形態では、第1の波長の光は赤外線であってもよく、第2の波長の光は可視であってもよい。実施形態では、第1のセットの画素は第1のバイアスを備えることができ、第2のセットの画素は第2のバイアスを備えることができ、第1のセットの画素は主に第1の波長の光に応答し、第2のセットの画素は主に第2の波長の光に応答することが保証される。
実施形態では、第1の電気バイアスを第1の期間中に提供することができ、第2の電気バイアスを第2の期間中に提供することができ、それによって、第1の期間中に取得された画像は、主に第1の波長の光に関する情報を提供し、第2の期間中に取得された画像は、主に第2の波長の光に関する情報を提供する。実施形態では、2つの期間中に取得された情報を、単一の画像に組み合わせることができる。実施形態では、疑似着色を使用して、単一の報告画像内で、2つの期間それぞれの間に取得された情報を示すことができる。
実施形態では、焦点面アレイは、所与のバイアスで実質的に横に均一なスペクトル応答を有し、またバイアスに左右されるスペクトル応答を有する、実質的に横に空間的に均一なフィルムからなっていてもよい。実施形態では、空間的に不均一なバイアスを加えることもでき、例えば、異なる画素領域はフィルムに異なるようにバイアスをかけることができる。実施形態では、所与の空間的に依存したバイアス構成では、異なる画素は異なるスペクトル応答を提供することができる。実施形態では、第1のクラスの画素は、主に可視波長の光に応答し、第2のクラスの画素は、主に赤外線波長の光に応答することがある。実施形態では、第1のクラスの画素は、主に青などの1つの可視波長色に応答し、第2のクラスの画素は、主に緑などの特有の可視波長色に応答し、第3のクラスの画素は、主に赤などの特有の可視波長色に応答することがある。
実施形態では、画像センサは、読出集積回路、第1のクラスの少なくとも1つの画素電極、第2のクラスの少なくとも1つの画素電極、感光性材料の第1の層、および感光性材料の第2の層を備えることができる。実施形態では、画像センサは、第1の画素電極クラスに第1のバイアスを加えること、および第2の画素電極クラスに第2のバイアスを加えることを利用することができる。
実施形態では、第1の画素電極クラスに対応するこれらの画素領域は、第1のスペクトル応答を呈することができ、第2の画素電極クラスに対応するこれらの画素領域は、第2のスペクトル応答を呈することができ、第1および第2のスペクトル応答は、かなり異なる。実施形態では、第1のスペクトル応答は実質的に、可視波長領域に限られることがある。実施形態では、第2のスペクトル応答は実質的に、可視波長領域に限られてよい。実施形態では、第2のスペクトル応答は実質的に、可視波長領域の部分、および赤外線スペクトル領域の部分の両方を含むことができる。
実施形態では、低い暗電流と組み合わせられた、高い量子効率を有する画像センサを製造することが望ましいことがある。
実施形態では、デバイスは、第1の電極、第1の選択的スペーサ、光吸収材料、第2の選択的スペーサ、および第2の電極からなっていてもよい。
実施形態では、第1の電極を使用して、電子を抽出することができる。実施形態では、第1の選択的スペーサを使用して、電子の抽出を容易にするが、正孔の注入を遮断することができる。実施形態では、第1の選択的スペーサは、電子輸送層であってもよい。実施形態では、光吸収材料としては、半導体ナノ粒子を挙げることができる。実施形態では、第2の選択的スペーサを使用して、正孔の抽出を容易にするが、電子の注入を遮断することができる。実施形態では、第2の選択的スペーサは、正孔輸送層であってもよい。
実施形態では、第1の選択的スペーサだけを利用することができる。実施形態では、第1の選択的スペーサは、TiO2、ZnO、ZnSのリストから選ぶことができる。実施形態では、第2の選択的スペーサは、NiOであってもよい。実施形態では、第1および第2の電極は、同じ材料を使用して作ることができる。実施形態では、第1の電極は、TiN、W、Al、Cuのリストから選ぶことができる。実施形態では、第2の電極は、ZnO、Al:ZnO、ITO、MoO3、Pedot、Pedot:PSSのリストから選ぶことができる。
実施形態では、光キャリアを蓄積するための第1の間隔中に、および光キャリアを回路内の別のノードに転送するための第2の間隔中に光感知要素を構成することができる、画像センサを実施することが望ましいことがある。
実施形態は、第1の電極、光感知材料、遮断層、および第2の電極を備えるデバイスを含む。
実施形態は、光キャリアが第1の遮断層に向かって輸送されるように、集積期間として知られる第1の間隔中にデバイスに電気バイアスをかけることを含み、光キャリアは、集積期間の間に遮断層とのインターフェイスの近くに記憶される。
実施形態は、記憶した光キャリアが回路内の別のノード内で転送期間中に抽出されるように、転送期間として既知の第2の間隔中にデバイスに電気バイアスをかけることを含む。
実施形態は、TiN、W、Al、Cuのリストから選んだ第1の電極を含む。実施形態では、第2の電極は、ZnO、Al:ZnO、ITO、MoO3、Pedot、Pedot:PSSのリストから選ぶことができる。実施形態では、遮断層は、HfO2、Al2O3、NiO、TiO2、ZnOのリストから選ぶことができる。
実施形態では、集積期間中のバイアス極性は、転送期間中のものと反対であってもよい。実施形態では、集積期間中のバイアス極性は、転送期間中のものと同じであってもよい。実施形態では、転送期間中のバイアスの振幅は、集積期間中のものより大きくてもよい。
実施形態は、感光性材料がシリコン・トランジスタのゲートとして働く光センサを含む。実施形態は、トランジスタに結合されたゲート電極、感光性材料、第2の電極を備えたデバイスを含む。実施形態は、ゲート電極と感光性材料との間のインターフェイスでの光電子の蓄積を含む。実施形態は、トランジスタのチャネル内に正孔を蓄積させる光電子の蓄積を含む。実施形態は、照明の結果として、光電子の変化の結果による、トランジスタ内の電流の流れの変化を含む。実施形態は、感光層内の光電流の流れの変化の全ての電子/秒に対して1000個の電子/秒より大きい、トランジスタ内の電流の流れの変化を含む。実施形態は、トランジスタ電流対衝突した光子の転送曲線が、光子フルエンスへのほぼ直線の依存性を有し、圧縮および改善された動的範囲につながる飽和挙動を含む。実施形態は、リセット期間中にゲートを通した電流の流れにつながる、トランジスタ上のノードにバイアスを加えることによって、感光層の電荷をリセットすることを含む。
実施形態は、上記画像センサ、カメラ・システム、製造方法、アルゴリズム、および演算デバイスの組合せを含み、少なくとも1つの画像センサは、グローバル電子シャッタ・モードで動作することが可能である。
実施形態では、少なくとも2つの画像センサ、または画像センサ領域はそれぞれ、グローバル・シャッタ・モードで動作することができ、個別の波長の、異なる角度からの、または異なる構造化光を利用した画像を実質的に同期して取得することができる。
実施形態は、アナログ・ドメイン内で相関二重サンプリングを実施することを含む。実施形態は、各画素内に含まれる回路を使用してそのように行うことを含む。図11は、ノイズ出力を少なくするために、各画素内で利用することができる回路1100の例示的な略図を示す。実施形態では、第1のコンデンサ1101(C)および第2のコンデンサ1103(C)は、図示するように組み合わせて利用される。実施形態では、ノイズ出力は、比C/Cにしたがって少なくなる。
図12は、シリコン内で実施することができるフォトゲート/ピニング・ダイオード記憶の回路1200の例示的な略図を示す。実施形態では、シリコン内のフォトゲート/ピニング・ダイオード記憶は、図示するように実施される。実施形態では、記憶ピニング・ダイオードは、リセット中に完全に空乏化される。実施形態では、(実施形態では、量子ドット・フィルムなどの光センサの容量に対応する)Cは、一定のバイアスを受ける。
実施形態では、光感知は、読出集積回路と一体化され、これを使用して読み出される光感知材料の使用により可能になる。この例示的な実施形態は、両方とも、2010年6月8日に出願した、「Stable, Sensitive Photodetectors and Image Sensors Made Therefrom Including Circuits for Enhanced Image Performance」という名称の、米国仮特許出願第61/352,409号、および「Stable, Sensitive Photodetectors and Image Sensors Made Therefrom Including Processes and Materials for Enhanced Image Performance」という名称の、米国仮特許出願第61/352,410号に記載されており、これらを全体的に本明細書に援用する。
手順および装置の様々な例は、様々な実施形態の構造の一般的な理解を行うことを意図したものであり、本明細書に記載された構造、機構、および材料を利用する可能性がある装置および方法の要素および特性全てを完全に記載することを意図したものではない。本明細書における開示した主題の読取および理解に基づいて、当業者は、様々な実施形態の他の組合せおよび置換を簡単に考えることができる。追加の組合せ、および置換は全て、本発明の範囲内である。
開示の要約は、読み手が技術的開示の性質を迅速に確認することを可能にするために提供されるものである。要約は、特許請求の範囲を解釈または限定するために使用されるものではないとの理解で提出される。加えて、前述の詳細な説明では、様々な特性が、開示を簡素化する目的で、単一の実施形態で互いにグループ化されていることが分かる。この開示の方法は、特許請求の範囲を限定するものとして解釈されないものとする。したがって、以下の特許請求の範囲は、本明細書において詳細な説明内に組み込まれ、各特許請求の範囲は個別の実施形態として独立している。

Claims (5)

  1. 画像化システムであって、
    焦点面アレイと、
    第1の実質的透過バンドおよび第2の実質的透過バンドを有する光学フィルタと、
    アクティブ照明器と
    を備え、
    第1の時間間隔中に、該焦点面アレイは第1の画像を取得し、第2の時間間隔中に、該アクティブ照明器は電源が入れられ、該焦点面アレイは第2の画像を取得し、第3の画像は該第2の画像から該第1の画像を減算することによって生成されるように構成され、表示システムは該第1の画像および該第3の画像を組み合わせた画像を表示する、画像化システム。
  2. 前記第3の画像は、アクティブ照明されていない背景画像が除去されている、アクティブ照明されたシーンの画像を表す、請求項1に記載の画像化システム。
  3. 照明器は、構造化光を使用する、請求項1に記載の画像化システム。
  4. 前記構造化光は、波長が赤外である、請求項1に記載の画像化システム。
  5. 前記第3の画像は、前記シーンにおける深度情報を含む、請求項1に記載の画像化システム。
JP2017012055A 2011-10-10 2017-01-26 空間および時間内のイベントのキャプチャ Active JP6261151B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161545203P 2011-10-10 2011-10-10
US61/545,203 2011-10-10

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014535813A Division JP2014531080A (ja) 2011-10-10 2012-10-10 空間および時間内のイベントのキャプチャ

Publications (2)

Publication Number Publication Date
JP2017091574A true JP2017091574A (ja) 2017-05-25
JP6261151B2 JP6261151B2 (ja) 2018-01-17

Family

ID=48042101

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014535813A Pending JP2014531080A (ja) 2011-10-10 2012-10-10 空間および時間内のイベントのキャプチャ
JP2017012055A Active JP6261151B2 (ja) 2011-10-10 2017-01-26 空間および時間内のイベントのキャプチャ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014535813A Pending JP2014531080A (ja) 2011-10-10 2012-10-10 空間および時間内のイベントのキャプチャ

Country Status (6)

Country Link
US (1) US20130089237A1 (ja)
EP (1) EP2766792A4 (ja)
JP (2) JP2014531080A (ja)
KR (1) KR101991237B1 (ja)
CN (1) CN104137027B (ja)
WO (1) WO2013055777A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9162144B2 (en) * 2011-12-05 2015-10-20 Microsoft Technology Licensing, Llc Portable device pairing with a tracking system
US9208753B2 (en) 2012-09-17 2015-12-08 Elwha Llc Unauthorized viewer detection system and method
WO2014093334A2 (en) 2012-12-10 2014-06-19 Invisage Technologies, Inc. Capture of scenes and events in space and time
US9746926B2 (en) * 2012-12-26 2017-08-29 Intel Corporation Techniques for gesture-based initiation of inter-device wireless connections
WO2015188146A2 (en) * 2014-06-05 2015-12-10 Edward Hartley Sargent Sensors and systems for the capture of scenes and events in space and time
US9692968B2 (en) 2014-07-31 2017-06-27 Invisage Technologies, Inc. Multi-mode power-efficient light and gesture sensing in image sensors
US9531979B2 (en) * 2014-12-30 2016-12-27 Stmicroelectronics (Grenoble 2) Sas IC image sensor device with twisted pixel lines and related methods
US9881966B2 (en) 2015-07-17 2018-01-30 International Business Machines Corporation Three-dimensional integrated multispectral imaging sensor
US9842868B2 (en) * 2015-10-26 2017-12-12 Sensors Unlimited, Inc. Quantum efficiency (QE) restricted infrared focal plane arrays
CN105511631B (zh) * 2016-01-19 2018-08-07 北京小米移动软件有限公司 手势识别方法及装置
CN107664534B (zh) * 2016-07-27 2019-12-13 上海新微技术研发中心有限公司 温度传感器封装结构
CN106599812A (zh) * 2016-12-05 2017-04-26 苏州维盟韵联网络科技有限公司 一种用于智能家居系统的3d动态手势识别方法
CN108389875A (zh) 2017-02-03 2018-08-10 松下知识产权经营株式会社 摄像装置
JP6975896B2 (ja) 2017-02-03 2021-12-01 パナソニックIpマネジメント株式会社 撮像装置の制御方法及び撮像装置
CN108389870A (zh) * 2017-02-03 2018-08-10 松下知识产权经营株式会社 摄像装置
WO2020105361A1 (ja) 2018-11-19 2020-05-28 パナソニックIpマネジメント株式会社 撮像装置及び撮像システム
CN113345919B (zh) * 2021-05-25 2023-07-04 深圳市华星光电半导体显示技术有限公司 显示面板及其制作方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010504522A (ja) * 2006-09-21 2010-02-12 トムソン ライセンシング 3次元モデル取得のための方法及びシステム
JP2010039912A (ja) * 2008-08-07 2010-02-18 Sony Corp 静脈パターン取得装置、静脈パターン取得方法および静脈テンプレート

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7809214B2 (en) * 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Device and a method for identifying movement patterns
JP2009042796A (ja) * 2005-11-25 2009-02-26 Panasonic Corp ジェスチャー入力装置および方法
EP2432015A1 (en) * 2007-04-18 2012-03-21 Invisage Technologies, Inc. Materials, systems and methods for optoelectronic devices
US8723795B2 (en) * 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US8971565B2 (en) * 2008-05-29 2015-03-03 Hie-D Technologies, Llc Human interface electronic device
US8345920B2 (en) * 2008-06-20 2013-01-01 Northrop Grumman Systems Corporation Gesture recognition interface system with a light-diffusive screen
US20100123665A1 (en) * 2008-11-14 2010-05-20 Jorgen Birkler Displays for Mobile Devices that Detect User Inputs Using Touch and Tracking of User Input Objects
JP5177075B2 (ja) * 2009-02-12 2013-04-03 ソニー株式会社 動作認識装置、動作認識方法、プログラム
EP2427857B1 (en) * 2009-05-04 2016-09-14 Oblong Industries, Inc. Gesture-based control systems including the representation, manipulation, and exchange of data
JP2010277197A (ja) * 2009-05-26 2010-12-09 Sony Corp 情報処理装置、情報処理方法およびプログラム
KR101688655B1 (ko) * 2009-12-03 2016-12-21 엘지전자 주식회사 사용자의 프레전스 검출에 의한 제스쳐 인식 장치의 전력 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010504522A (ja) * 2006-09-21 2010-02-12 トムソン ライセンシング 3次元モデル取得のための方法及びシステム
JP2010039912A (ja) * 2008-08-07 2010-02-18 Sony Corp 静脈パターン取得装置、静脈パターン取得方法および静脈テンプレート

Also Published As

Publication number Publication date
CN104137027B (zh) 2018-04-17
KR20140081867A (ko) 2014-07-01
WO2013055777A1 (en) 2013-04-18
EP2766792A1 (en) 2014-08-20
JP2014531080A (ja) 2014-11-20
EP2766792A4 (en) 2016-03-30
JP6261151B2 (ja) 2018-01-17
US20130089237A1 (en) 2013-04-11
KR101991237B1 (ko) 2019-06-20
CN104137027A (zh) 2014-11-05

Similar Documents

Publication Publication Date Title
JP6261151B2 (ja) 空間および時間内のイベントのキャプチャ
US10924703B2 (en) Sensors and systems for the capture of scenes and events in space and time
US9979886B2 (en) Multi-mode power-efficient light and gesture sensing in image sensors
US10681296B2 (en) Scaling down pixel sizes in image sensors
US10341571B2 (en) Image sensors with electronic shutter
US9898117B2 (en) Sensors and systems for the capture of scenes and events in space and time
US10685999B2 (en) Multi-terminal optoelectronic devices for light detection
US20170264836A1 (en) Image sensors with electronic shutter
US10529769B2 (en) Method of manufacturing a color image sensor having an optically sensitive material with multiple thicknesses
US20160037093A1 (en) Image sensors with electronic shutter

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170822

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20171023

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20171023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171211

R150 Certificate of patent or registration of utility model

Ref document number: 6261151

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250