JP2022545334A - カメラのための光源 - Google Patents

カメラのための光源 Download PDF

Info

Publication number
JP2022545334A
JP2022545334A JP2022505340A JP2022505340A JP2022545334A JP 2022545334 A JP2022545334 A JP 2022545334A JP 2022505340 A JP2022505340 A JP 2022505340A JP 2022505340 A JP2022505340 A JP 2022505340A JP 2022545334 A JP2022545334 A JP 2022545334A
Authority
JP
Japan
Prior art keywords
light
camera
camera assembly
display
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022505340A
Other languages
English (en)
Other versions
JPWO2021034369A5 (ja
Inventor
ボネフ、ボイヤン・イワノフ
ミエンコ、マレク
Original Assignee
シナプティクス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シナプティクス インコーポレイテッド filed Critical シナプティクス インコーポレイテッド
Publication of JP2022545334A publication Critical patent/JP2022545334A/ja
Publication of JPWO2021034369A5 publication Critical patent/JPWO2021034369A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

デバイスは、第１方向で第１表面を透過する可視光を検出するように構成された１以上の光センサを備える第１カメラを備える。当該デバイスは、第１表面を通して、第１方向とは逆の第２方向に、赤外（ＩＲ）光を発するように構成された光源を更に備える。当該デバイスは、ＩＲ光の反射を検出するように構成された第２カメラを更に含む。【選択図】図２

Description

本実施形態は、一般には、カメラのための光源に関する。
スマートフォン、タブレット、ラップトップ、及び、その他のコンピューティングシステムといったいくつかの電子機器は、カメラとディスプレイを含む。カメラは多くの場合、デバイスのうちの環境への視界が遮蔽されない領域に配置される。よって、ディスプレイと同じ表面に統合される場合、カメラは、ディスプレイの周囲の大きくて見栄えの悪い黒い縁の内に、又は、ノッチ若しくは切り欠きの内部に、ディスプレイに隣接して配置される場合がある。
この要約は、以下の詳細な説明において更に説明される概念の選択を、簡略な態様で紹介するために提供される。この要約は、請求された主題のキーとなる特徴、又は、必須の特徴を特定することを意図したものではなく、請求された主題の範囲を制限することを意図したものでもない。
本開示の革新的な一側面は、第１方向で第１表面を透過する可視光を検出するように構成された１以上の光センサを備える第１カメラを備えるデバイスとして実装され得る。当該デバイスは、第１表面を通して、第１方向とは逆の第２方向に、赤外（ｉｎｆｒａｒｅｄ）（ＩＲ）光を発するように構成された光源を更に備える場合がある。当該デバイスは、ＩＲ光の反射を検出するように構成された第２カメラを更に備える場合がある。
本開示の革新的な他の側面は、カメラアセンブリとして実装され得る。当該カメラアセンブリは、レンズと、第１方向でレンズを透過する可視光を検出するように構成された１以上の光センサと、を備える場合がある。当該カメラアセンブリは、第１方向とは逆の第２方向でレンズを通して光を発するように構成された光源を更に備える場合がある。
本開示の革新的な他の側面は、カメラアセンブリとして実装され得る。当該カメラアセンブリは、第１方向でこのカメラアセンブリの第１表面を透過する可視光又は赤外（ＩＲ）光を検出するように構成された１以上の光センサを備える場合がある。当該カメラアセンブリは、第１表面を通して、第１方向とは逆の第２方向に、光を発するように構成された光源を更に備える場合がある。当該カメラアセンブリは、光を第１表面へ指向するように構成された光ガイドを更に備え、第１表面が光ガイドの少なくとも一部を備える場合がある。
本実施形態は、例として示されており、添付の図面の図によって限定されることを意図するものではない。
図１は、いくつかの実施形態に係る、例示的な電子システムを示す図である。
図２は、いくつかの実施形態に係る、例示的なカメラアセンブリを示す図である。
図３Ａは、いくつかの実施形態に係る、例示的なカメラアセンブリを示す図である。
図３Ｂは、いくつかの実施形態に係る、例示的なカメラアセンブリを示す図である。
図３Ｃは、いくつかの実施形態に係る、例示的なカメラアセンブリを示す図である。
図３Ｄは、いくつかの実施形態に係る、例示的なカメラアセンブリを示す図である。
図３Ｅは、いくつかの実施形態に係る、例示的なカメラアセンブリを示す図である。
図３Ｆは、いくつかの実施形態に係る、例示的なカメラアセンブリを示す図である。
図３Ｇは、いくつかの実施形態に係る、例示的なカメラアセンブリを示す図である。
図４Ａは、いくつかの実施形態に係る、例示的な電子システムを示す図である。 図４Ｂは、いくつかの実施形態に係る、例示的な電子システムを示す図である。 図４Ｃは、いくつかの実施形態に係る、例示的な電子システムを示す図である。 図４Ｄは、いくつかの実施形態に係る、例示的な電子システムを示す図である。 図４Ｅは、いくつかの実施形態に係る、例示的な電子システムを示す図である。 図４Ｆは、いくつかの実施形態に係る、例示的な電子システムを示す図である。 図４Ｇは、いくつかの実施形態に係る、例示的な電子システムを示す図である。 図４Ｈは、いくつかの実施形態に係る、例示的な電子システムを示す図である。 図４Ｉは、いくつかの実施形態に係る、例示的な電子システムを示す図である。 図４Ｊは、いくつかの実施形態に係る、例示的な電子システムを示す図である。 図４Ｋは、いくつかの実施形態に係る、例示的な電子システムを示す図である。
図５は、いくつかの実施形態に係る、例示的な電子システムの断面図である。
図６は、いくつかの実施形態に係る、例示的な電子システムの断面図である。
図７は、いくつかの実施形態に係る、例示的な電子システムの断面図である。
図８は、いくつかの実施形態に係る、例示的な電子システムの断面図である。
図９は、いくつかの実施形態に係る、ディスプレイの下方に配置されたカメラによって撮影された例示的な画像を示す図である。
図１０は、いくつかの実施形態に係る、例示的な画像処理システムのブロック図である。
図１１Ａは、フィルタリング前の例示的な画像を示す図である。
図１１Ｂは、フィルタリング後の例示的な画像を示す図である。
以下の説明では、本開示の十分な理解を提供するために、具体的なコンポーネント、回路、及び、処理の例のような、多くの具体的な詳細が示される。本明細書で使われる「結合された」という言葉は、直接に接続されている、又は、仲介する１以上のコンポーネント又は回路を介して接続されていることを意味する。更に、以下の説明において、及び、説明を目的として、本開示の態様の十分な理解を提供するために、特定の命名法が用いられる。しかし、例示的な実施形態を実施するために、これらの具体的な詳細が必要でない場合があることが当業者には明らかであろう。他の例では、本開示が不明確になることを避けるために、周知の回路及びデバイスがブロック図の形式で示される。以下の詳細な説明のいくつかの部分は、過程、論理ブロック、処理、及び、コンピュータのメモリ内のデータビットへの操作を他の記号で表現したもの、という形で提示されている。回路素子又はソフトウェアブロック間の相互接続は、バス又は単一の信号線として示される場合がある。バスのそれぞれは、代替的に単一の信号線であってもよく、単一の信号線のそれぞれは、代替的にバスであっても良く、単一の信号線又はバスは、コンポーネント間の通信のための無数の物理的又は論理的なメカニズムのうちの任意の１以上を表し得る。
後述の議論から明らかなように、特にそうでないと述べられていない場合には、本出願を通して、「アクセスする」、「受信する」、「送信する」、「用いる」、「選択する」、「決定する」、「正規化する」、「乗算する」、「平均する」、「モニタする」、「比較する」、「適用する」、「更新する」、「計測する」、「導出する」、等のような表現を用いて行われる議論は、コンピュータシステム（又は同様の電子計算デバイス）のアクション及び処理を参照していると認められる。これらのコンピュータシステム（又は同様の電子計算デバイス）は、コンピュータシステムのレジスタ及びメモリ内の物理的な（電子的な）量として示されるデータを、コンピュータシステムのメモリまたはレジスタ、又は他のそのような情報ストレージ、伝送器、又は表示デバイス内の物理量として同様に示される他のデータに操作及び変換する。
本明細書で説明されている技術は、特定の方法で実施されると特に記載されない限り、ハードウェア、ソフトウェア、ファームウェア、又は、それらの任意の組み合わせで実施され得る。モジュール又はコンポーネントとして説明されている任意の構成は、集積ロジックデバイスにまとめて実装されるか、又は、個別に分離されているが相互運用が可能なロジックデバイスとして実装される場合もある。ソフトウェアで実装される場合、本技術は、実行されたときに上述の１以上の方法を実現する命令を含む、コンピュータ読取り可能な非一時的記憶媒体によって少なくとも部分的に実現される場合がある。コンピュータ読取り可能な非一時的記憶媒体は、コンピュータプログラム製品の一部を形成する場合がある。なお、コンピュータプログラム製品は、梱包材を含む場合がある。
非一時的なプロセッサ読取り可能な記憶媒体は、同期ダイナミックランダムアクセスメモリ（ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）（ＳＤＲＡＭ）のようなランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）（ＲＡＭ）、リードオンリーメモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）（ＮＶＲＡＭ）、電子的消去可能プログラマブルリードオンリーメモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）（ＥＥＰＲＯＭ）、フラッシュメモリ、他の既知の記憶媒体等、を備える場合がある。本技術は追加的に、あるいは代替的に、少なくとも一部が、コードを命令又はデータ構造の形で伝達または通信し、かつ、コンピュータ又は他のプロセッサによってアクセス、読取り、及び／又は、実行が可能な、プロセッサ読取り可能な通信媒体によって実現され得る。
本明細書で開示される実施形態に関して説明される様々な例示的な論理ブロック、モジュール、回路、及び、命令は、１以上のプロセッサによって実行され得る。本明細書で用いられる「プロセッサ」という言葉は、任意の汎用プロセッサ、従来のプロセッサ、コントローラ、マイクロコントローラ、及び／又は、メモリに記憶された１以上のソフトウェアプログラムのスクリプト又は命令を実行可能な状態機械、を示す場合がある。
図１は、いくつかの実施形態に係る、例示的な電子システム１００を示す。電子システム１００は、ディスプレイ１０６と、カメラ１０２及びカメラ１０４を備える場合がある。
ディスプレイ１０６は、表示ピクセル及び／又は表示サブピクセルの間に孔又はギャップを含む、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）（ＯＬＥＤ）ディスプレイ、又は、マイクロ発光ダイオード（ｍｉｃｒｏ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）（マイクロＬＥＤ）ディスプレイといった多孔性ディスプレイを含む場合がある。
カメラ１０２及びカメラ１０４はそれぞれ、能動型のピクセルセンサ又は光センサのアレイ（例えば、フォトダイオード、相補的金属酸化物半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ）（ＣＭＯＳ）の画像センサアレイ、電荷結合素子（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）（ＣＣＤ）のアレイ）、及び／又は、可視スペクトル、ＩＲスペクトル（ＮＩＲ又は短波ＩＲ）、若しくは、紫外線スペクトルの光の波長を検出可能な他の任意のセンサ）を備える場合がある。いくつかの実施形態では、カメラ１０２及びカメラ１０４はそれぞれ、ＮＩＲ光を検出するように構成される場合がある。他の実施形態では、二個のカメラ１０２及びカメラ１０４のうちの一個は、可視光（例えば、光の赤色、緑色、青色（ＲＧＢ）の成分）を検出するように構成され（“ＲＧＢカメラ”）、他方のカメラはＮＩＲ光を検出するように構成される場合がある。更に、いくつかの実施形態では、カメラ１０２及びカメラ１０４はそれぞれ、深度感知をサポートするように構成される場合がある。例えば、カメラ１０２及びカメラ１０４はそれぞれ、カメラの視野（ｆｉｅｌｄ－ｏｆ－ｖｉｅｗ）（ＦＯＶ）内の物体又は光景の画像を撮影するように構成される場合がある。当該画像は組み合わされ、組み合わされた画像から物体又は光景の深度情報が抽出される場合がある。深度感知の解像度は、カメラ１０２及びカメラ１０４間を分離する距離に依存する場合がある。言い換えると、当該分離する距離が大きいほど、カメラ１０２及びカメラ１０４によって撮影された画像から導出できる深度情報の量が大きくなる。
いくつかの実施形態では、カメラ１０２及びカメラ１０４の一方又は両方は、ディスプレイ１０６の背後に配置される場合がある。例えば、カメラ１０２がディスプレイ１０６の背後に配置される場合、カメラのＦＯＶはディスプレイ１０６の表示ピクセル及び／又は表示サブピクセルによって、部分的に遮蔽され得る。その結果、光がディスプレイ１０６を通過するとき、光の一部はピクセル及び／又はサブピクセルによって遮られ、一方で残りの光がカメラ１０２によって検出され得る。カメラ１０２は、この残りの光を画像に取り込み得るが、当該画像は、遮蔽によるノイズ、歪み、または干渉を含み得る。いくつかの実施形態では、画像が深度検知および／または他の画像処理に適するように、このノイズまたは干渉をフィルタリングにより除去するために、ニューラルネットワークモデルが用いられる場合がある。他の利点の中でも、ディスプレイ１０６の背後にカメラ１０２を配置することは、ディスプレイ１０６のベゼルにおける見苦しい黒い縁、切り欠き、又は、ノッチを不要にし得る。同様に、電子システム１００の画面対本体比が高められる場合があり、電子システム１００は、ベゼルの無いディスプレイをサポートし得る。
いくつかの実施形態では、アンダーディスプレイカメラは、物体または光景の画像を撮影するために光源を必要とする場合がある。本開示の態様は、アンダーディスプレイカメラなどのカメラ、又は、カメラアセンブリ内蔵のカメラのために光を発するように構成されたカメラアセンブリ（図１では図示せず）を提供する。以下で更に説明するように、カメラアセンブリは、レンズ、カメラ、および光源を備える場合がある。更に、カメラアセンブリは、ディスプレイ１０６と隣接して配置される場合がある。いくつかの実施形態では、カメラアセンブリは、光源からレンズを通して放射された光を反射するように構成された反射器をさらに備える場合がある。他の実施形態では、カメラアセンブリは、光源によって発された光をカメラアセンブリの第１表面を通して指向するように構成された光ガイドをさらに備える場合がある。
図２は、いくつかの実施形態に係る、例示的なカメラアセンブリ２００を示す。カメラアセンブリ２００は、光源２１０、反射器２１６、レンズ２１２、カメラ２１４、フィルタ２１８、近接センサ２５４、及び、ハウジング２０８を備える場合がある。
光源２１０は、ハウジング２０８内、レンズ２１２の側に配置される。光源２１０は、ＬＥＤ、垂直共振器型面発光レーザー（ｖｅｒｔｉｃａｌ－ｃａｖｉｔｙ ｓｕｒｆａｃｅ－ｅｍｉｔｔｉｎｇ ｌａｓｅｒ）（ＶＣＳＥＬ）、レーザーダイオード、又は、ＮＩＲまたは短波赤外（ｓｈｏｒｔ－ｗａｖｅ ｉｎｆｒａｒｅｄ）（ＳＷＩＲ）を含むＩＲスペクトル（しかしこれらに限定されない）の光の波長を放射し得る他の光源を備える場合がある。
反射器２１６は、光源２１０によって発されたＩＲ光をカメラ２１４から離れる方向に反射し、可視光をレンズ２１２からカメラ２１４に伝達するように構成される。いくつかの実施形態では、反射器２１６は、反射板、ダイクロイック反射器、及び／又は、ダイクロイックミラーを含み得る。他の実施形態では、反射器２１６は、ビームスプリッタを備える場合がある。
レンズ２１２は、可視光及び／又はＩＲ光を透過するように構成された光学レンズまたはレンズの組立体である。より詳しくは、レンズ２１２は、内向き方向（または、第１方向）でカメラアセンブリ２００の外側からカメラ２１４へ可視光２２２を透過するように構成される場合がある。いくつかの態様では、レンズ２１２は、可視光２２２をカメラ２１４に合焦するように構成される場合がある。レンズ２１２はまた、光源２１０によって放出され、反射器２１６によって反射されたＩＲ光２２０を透過するように構成される場合がある。図２に示すように、ＩＲ光２２０は、可視光２２２の方向とは逆方向に、又は、カメラアセンブリ２００から離れる外向き方向（または、第２方向）に、伝搬する場合がある。
カメラ２１４は、能動型のピクセルセンサ又は光センサのアレイ（例えば、フォトダイオード、ＣＭＯＳイメージセンサアレイ、ＣＣＤアレイ、及び／又は、可視スペクトル、ＩＲスペクトル、若しくは、ＵＶスペクトルの光の波長を検出可能な他の任意のセンサ）を備える場合がある。いくつかの実施形態では、カメラ２１４は、ＲＧＢカメラである場合がある。更に、カメラ２１４は、光源２１０がＩＲ光２２０を発する間に、可視光２２２を検出するように構成される場合がある。さらにその上、カメラ２１４は、物体または光景が近景又は遠景のいずれでもイメージングされる広範囲イメージングを実行するように構成される場合がある。
フィルタ２１８は、カメラ２１４とレンズ２１２との間に配置される。フィルタ２１８は、ＩＲカットフィルタを含む場合がある。フィルタ２１８は、ＩＲ光がカメラ２１４に干渉しないように、光のＩＲ波長（例えば、中赤外波長、ＮＩＲ、又は、ＳＷＩＲ）を反射及び／又は遮断するように構成される場合がある。
近接センサ２５４は、ハウジング２０８の内部に、光源２１０に近接して配置される。近接センサ２５４は、能動型のピクセルセンサまたは光センサのアレイ（例えば、フォトダイオード、ＣＭＯＳイメージセンサアレイ、ＣＣＤアレイ、及び／又は、可視スペクトル、ＩＲスペクトル、若しくは、ＵＶスペクトルの光の波長を検出可能な他の任意のセンサ）を備える場合がある。更に、近接センサ２５４は、光源２１０によって発されたＩＲ光２２０の反射を検出するように構成される。
ハウジング２０８は、レンズ２１２を囲むと共に、光源２１０、反射器２１６、フィルタ２１８、及び、カメラ２１４を取り囲む構造を備える場合がある。図２に示すように、第１表面２５８は、ハウジング２０８の上部、レンズ２１２の上部、及び、レンズ２１２の側面の一部によって形成される。更に、長さＬ１は、第１表面２５８におけるハウジング２０８の上部から、カメラ２１４の近くのハウジング２０８の基部までを計測した、ハウジング２０８の長さである。いくつかの実施形態では、ハウジング２０８の長さＬ１を最小化することが有利であり得る。
いくつかの実施形態では、作動中に、光源２１０は、ＩＲ（例えば、ＮＩＲまたはＳＷＩＲ）光２２０を発する場合がある。ＩＲ光２２０は、反射器２１６で反射し、カメラアセンブリ２００から離れる外向き方向（または第２方向）でレンズ２１２を透過する。ＩＲ光２２０は、カメラアセンブリ２００及びカメラ２１４の前の光景を照らす場合がある。光景内の物体は、ＩＲ光２２０の少なくとも一部を、カメラアセンブリ２００と、カメラアセンブリ２００に近接して配置されたディスプレイと、に戻る方向に反射する場合がある。反射されたＩＲ光２２０の一部は、ディスプレイ内のピクセル及び／又はサブピクセルによって遮られる一方、反射されたＩＲ光２２０の残りは、表示ピクセル及び／又は表示サブピクセルの間の孔を通過する。反射され、孔を通過したＩＲ光２２０は、反射されたＩＲ光２２０を検出するように構成されたカメラ（「ＩＲカメラ」）によって検出され得る。各ＩＲカメラは、検出されたＩＲ光２２０を画像に撮影する場合がある。当該撮影された画像は、深度感知に適している場合がある。
他の実施形態では、作動中に、光源２１０は、ＩＲ（例えば、ＮＩＲまたはＳＷＩＲ）光２２０を発する場合がある。ＩＲ光２２０は、反射器２１６で反射し、カメラアセンブリ２００から離れる外向き方向でレンズ２１２を透過する。ＩＲ光２２０は、カメラアセンブリ２００及びカメラ２１４の前の光景を照らす場合がある。光景内の物体は、ＩＲ光２２０の少なくとも一部を、カメラアセンブリ２００に戻る方向に反射する場合がある。反射されたＩＲ光２２０は、レンズ２１２を透過し、反射器２１６で反射し、近接センサ２５４によって検出され得る。このように、カメラアセンブリ２００は、例えば、ユーザの存在を検出するために、ＩＲ光を放出可能、及び、感知可能である場合がある。
図３Ａは、いくつかの実施形態に係る、例示的なカメラアセンブリ３００Ａを示す。カメラアセンブリ３００Ａは、光源３１０、光ガイド３２４、ハウジング３０８、レンズ３１２、フィルタ３１８、及び、カメラ３１４を備える場合がある。
光源３１０は、光ガイド３２４と結合され、ＩＲ光３２０を発するように構成される場合がある。光源３１０は、ＬＥＤ、ＶＣＳＥＬ、レーザーダイオード、又は、可視スペクトル及び／又はＮＩＲ若しくはＳＷＩＲを含む（しかしこれらに限定されない）ＩＲスペクトルの光の波長を放出可能な他の光源を含む場合がある。
光ガイド３２４は、光源３１０によって発されたＩＲ光３２０を、カメラアセンブリ３００Ａから外向き方向（又は第２方向）に指向するように構成される場合がある。いくつかの実施形態では、光ガイド３２４は、透明なポリカーボネートなどの透明な材料を含む場合がある。さらに、光ガイド３２４は、光を反射するように構成される場合がある。例えば、いくつかの実施形態では、光ガイド３２４は、光ガイド３２４の内面（ハウジング３０８の外面を含み得る）がハウジング３０８の内面の屈折率よりも大きい屈折率を有するところ、光を反射するように構成される場合がある。他の例として、光ガイド３２４は、光ガイド３２４の内面（ハウジング３０８の外面を含み得る）が反射面を含み、ハウジング３０８の内面が黒ずんだ表面、又は、可視光若しくはＩＲ（例えば、ＮＩＲ及び／又はＳＷＩＲ）光を吸収可能な表面を含むところ、光を反射するように構成される場合がある。いくつかの実施形態では、光ガイド３２４は、光ファイバーを含む場合があり、他の実施形態では、光ガイド３２４は、ミラー及び／又は反射器を含む場合がある。更に、光ガイド３２４は、（例えば、成形体を介して）ハウジング３０８と結合される場合がある。
レンズ３１２は、内向き方向（または第１方向）で、可視光３２２をカメラアセンブリ３００Ａの外側からカメラ３１４に伝達するように構成された光学レンズ又はレンズの組立体である。いくつかの態様では、レンズ３１２は、可視光３２２をカメラ３１４に合焦するように構成される場合がある。いくつかの実施形態では、レンズ３１２は、アクリルを含む場合がある。
カメラ３１４は、能動型のピクセルセンサ又は光センサのアレイ（例えば、フォトダイオード、ＣＭＯＳイメージセンサアレイ、ＣＣＤアレイ、及び／又は、可視スペクトル、ＩＲスペクトル（例えば、ＮＩＲ又はＳＷＩＲ）、若しくは、紫外線スペクトルの波長の光を検出可能な他の任意のセンサ）を備える場合がある。いくつかの実施形態では、カメラ３１４はＲＧＢカメラを含む場合がある。更に、カメラ３１４は、光源３１０がＩＲ光３２０を発している間に可視光３２２を検出するように構成される場合がある。更に、カメラ３１４は、物体又は光景が近景又は遠景のいずれでもイメージングされる広範囲イメージングを実行するように構成される場合がある。
フィルタ３１８は、カメラ３１４とレンズ３１２との間に配置される。フィルタ３１８は、ＩＲカットフィルタを含む場合がある。フィルタ３１８は、ＩＲ光がカメラ３１４に干渉しないように、光のＩＲ波長（例えば、中赤外波長、ＮＩＲ、又は、ＳＷＩＲの光）を反射及び／又は遮断するように構成される場合がある。
ハウジング３０８は、レンズ３１２を囲み、フィルタ３１８及びカメラ３１４を取り囲む場合がある。上述のとおり、ハウジング３０８の内面（例えば、カメラ３１４に面する壁）は、黒ずんだ表面、又は、可視光若しくはＩＲ（例えば、ＮＩＲ及び／又はＳＷＩＲ）光を吸収可能な表面を含む場合がある。図３Ａに示すように、第１表面３５８は、ハウジング３０８の上部、レンズ３１２の上部、及び、光ガイド３２４の側面によって形成される。更に、長さＬ１は、第１表面３５８におけるハウジング３０８の上部から、カメラ３１４の近くのハウジング３０８の基部までを計測した、ハウジング３０８の長さである。いくつかの実施形態では、ハウジング３０８の長さＬ１を最小化することが有利であり得る。
作動中に、光源３１０は、光ガイド３２４及び第１表面３５８を通って指向されるＩＲ（例えば、ＮＩＲまたはＳＷＩＲ）光３２０を発する場合がある。ＩＲ光３２０は、カメラアセンブリ３００Ａ及びカメラ３１４の前の光景を照らす場合がある。光景内の物体は、ＩＲ光３２０の少なくとも一部を、カメラアセンブリ３００Ａと、カメラアセンブリ３００Ａに近接して配置されたディスプレイと、に戻る方向に反射する場合がある。反射されたＩＲ光３２０の一部は、表示ピクセル及び／又は表示サブピクセルの間の孔を通過し、ディスプレイの背後に配置されたＩＲカメラによって検出され得る。各ＩＲカメラは、検出されたＩＲ光を画像に撮影する場合がある。当該撮影された画像は、深度感知に適している場合がある。
図３Ａを参照して、いくつかの実施形態では、光源３１０は、ＩＲ（例えば、ＮＩＲ又はＳＷＩＲ）光３２０を発するように構成される場合があり、カメラ３１４は、ＩＲ光３２０及び／又は可視光３２２を検出するように構成される場合がある。更に、いくつかの実施形態では、光源３１０は、カメラ３１４がＩＲ光３２０及び／又は可視光３２２を検出する間に、ＩＲ光３２０を発するように構成される場合がある。例えば、イメージング中に、光源３１０は、光ガイド３２４及び第１表面３５８を通ってカメラアセンブリ３００Ａの前面にガイドされる、ＩＲ光３２０を発する場合がある。ＩＲ光３２０の一部は、カメラアセンブリ３００Ａの前の物体又は造作物で反射し、レンズ３１２を透過してカメラ３１４に到達する場合がある。このように、カメラアセンブリ３００Ａは、イメージングのためにＩＲ光を放出可能、かつ、感知可能である場合がある。
他の実施形態では、光源３１０は、可視光を発するように構成される場合がある。イメージング中に、光源３１０は、光ガイド３２４および第１表面３５８を通ってカメラアセンブリ３００Ａの前面にガイドされる可視光を発する場合がある。可視光の一部は、カメラアセンブリ３００Ａの前の物体または造作物で反射し、そして、レンズ３１２を通過してカメラ３１４に到達する場合がある。このように、カメラアセンブリ３００Ａは、イメージングのために可視光を放出可能、かつ、感知可能である場合がある。
図３Ｂは、いくつかの実施形態に係る、例示的なカメラアセンブリ３００Ｂを示す。カメラアセンブリ３００Ｂは、図３Ａを参照して上記で説明されたカメラアセンブリ３００Ａの一実施形態であり得る。図３Ｂに示すように、カメラアセンブリ３００Ｂは２個の光源３１０を備えるが、いくつかの実施形態では、カメラアセンブリ３００Ｂは２個より多い光源を備える場合がある。各光源３１０は、光ガイド３２４に結合される場合がある。更に、各光源３１０は、ＬＥＤ、ＶＣＳＥＬ、レーザーダイオード、又は、ＮＩＲ若しくはＳＷＩＲを含むがこれに限定されないＩＲスペクトルの光の波長を放出可能な他の光源を含む場合がある。作動中、各光源３１０は、光ガイド３２４を通ってカメラアセンブリ３００Ｂの前面に向かって伝搬するＩＲ光３２０を発する場合がある。図２及び図３Ａを参照して上記で説明されたように、ＩＲ（例えば、ＮＩＲ又はＳＷＩＲ）光３２０は、カメラアセンブリ３００Ｂの前の物体又は造作物で反射し、深度感知及び画像処理のために、アンダーディスプレイＩＲカメラによって検出される場合がある。
図３Ｃは、いくつかの実施形態に係る、例示的なカメラアセンブリ３００Ｃを示す。カメラアセンブリ３００Ｃは、図３Ａ及び／又は図３Ｂを参照して上記で説明されたカメラアセンブリ３００Ａ及び／又はカメラアセンブリ３００Ｂの一実施形態であり得る。図３Ｃに示すように、カメラアセンブリ３００Ｃは可視スペクトルまたはＩＲ（例えば、ＮＩＲ又はＳＷＩＲ）スペクトルの光の波長を検出可能なカメラ３１４を備える。更に、カメラアセンブリ３００Ｃは、可視スペクトルまたはＩＲ（例えば、ＮＩＲ又はＳＷＩＲ）スペクトルの光の波長を放出可能な光源３１０を備える。
図３Ｃに示すように、カメラアセンブリ３００Ｃはまた、光ガイド３２４を備える。光ガイド３２４は、拡散面３２６を備える。拡散面３２６は、光源３１０によって発された光３２０（例えば、可視光、ＮＩＲ光、又は、ＳＷＩＲ光）を拡散し、広げ、又は、散乱するように構成される場合がある。拡散面３２６は、ハウジング３０８の周りにリングを形成する第１表面３５８の一部を含む場合がある。更に、拡散面３２６は、光ガイド３２４の一部を含む場合がある。例えば、拡散面３２６は、成形を介して光ガイド３２４と統合される場合がある。いくつかの実施形態では、拡散面３２６は、ある粗さを有する回折格子を含む場合がある。より詳細には、回折格子は、多数の微細な溝、スリット、又は、隆起を含み得る。いくつかの実施形態では、溝、スリット、及び／又は、隆起は、ランダムに配置される場合がある。あるいは、それらは、パターンを形成するために、平行又は均一な態様で配置される場合がある。このように、拡散面３２６は、光３２０の、均一な照明プロファイル、又は、調整された照明パターンを提供するように構成される場合がある。
図３Ｄは、いくつかの実施形態に係る、例示的なカメラアセンブリ３００Ｄを示す。カメラアセンブリ３００Ｄは、図３Ａ、図３Ｂ、及び／又は、図３Ｃを参照して上記で説明されたカメラアセンブリ３００Ａ、カメラアセンブリ３００Ｂ、及び／又は、カメラアセンブリ３００Ｃの一実施形態であり得る。図３Ｄに示すように、光ガイド３２４は、レンズ及び／又はマイクロレンズ３２８（「マイクロレンズ３２８」）を含む。いくつかの実施形態では、複数のマイクロレンズ３２８は、ハウジング３０８の周りにリングを形成する第１表面３５８の一部に統合（例えば、成形）される場合がある。マイクロレンズ３２８は、光源３１０によって発されるＩＲ光３２０を拡散及び／又は回折するように構成される場合がある。
図３Ｅは、いくつかの実施形態に係る、例示的なカメラアセンブリ３００Ｅを示す。カメラアセンブリ３００Ｅは、図３Ａ－図３Ｄを参照して上記で説明されたカメラアセンブリ３００Ａ、カメラアセンブリ３００Ｂ、カメラアセンブリ３００Ｃ、及び／又は、カメラアセンブリ３００Ｄの一実施形態であり得る。図３Ｅに示すように、光ガイド３２４は、ハウジング３０８の両側に配置された、２個のマイクロレンズ３３０を含む。いくつかの実施形態では、２個よりも多いマイクロレンズ３３０が、ハウジング３０８の各側面に、ハウジング３０８の周りにリングを形成する光ガイド３２４の表面に沿って配置され得る。マイクロレンズ３３０は、光源３１０によって発された光を拡散及び／又は回折するように構成される場合がある。
図３Ｆは、いくつかの実施形態に係る、例示的なカメラアセンブリ３００Ｆを示す。カメラアセンブリ３００Ｆは、図３Ａ－図３Ｅを参照して上記で説明されたカメラアセンブリ３００Ａ、カメラアセンブリ３００Ｂ、カメラアセンブリ３００Ｃ、カメラアセンブリ３００Ｄ、及び／又は、カメラアセンブリ３００Ｅの一実施形態であり得る。いくつかの実施形態では、カメラアセンブリ３００Ｆは、環境光センサ３５２を備える場合がある。環境光センサ３５２は、カメラアセンブリ３００Ｆの前の環境光の量を検出するように構成される場合がある。感知中、カメラアセンブリ３００Ｆの前の環境光３５０は、光ガイド３２４を通って環境光センサ３５２にガイドされ得る。そのため、カメラアセンブリ３００Ｆは、例えば、カメラアセンブリ３００Ｆに結合されたディスプレイスクリーンの輝度を調節するために、環境光を測定可能である場合がある。
図３Ｇは、いくつかの実施形態に係る、例示的なカメラアセンブリ３００Ｇを示す。カメラアセンブリ３００Ｇは、図３Ａ－図３Ｆを参照して上記で説明されたカメラアセンブリ３００Ａ、カメラアセンブリ３００Ｂ、カメラアセンブリ３００Ｃ、カメラアセンブリ３００Ｄ、カメラアセンブリ３００Ｅ、及び／又は、カメラアセンブリ３００Ｆの一実施形態であり得る。
図３Ｇに示すように、カメラアセンブリ３００Ｇは、光を反射するように構成される場合がある光ガイド３２４を備える。いくつかの実施形態では、光ガイド３２４は、光ガイド３２４の内面が、ハウジング３０８の内面の屈折率よりも大きい屈折率を有するところ、光を反射するように構成され得る。更に、いくつかの実施形態では、光ガイド３２４の内面が反射面を含む一方、ハウジング３０８の内面が、黒ずんだ表面、又は、可視光若しくはＩＲ光（例えば、ＮＩＲ光及び／又はＳＷＩＲ光）を吸収可能な表面を含むところ、光を反射するように構成される場合がある。
いくつかの実施形態では、カメラアセンブリ３００Ｇは、近接センサ３５４を備える場合がある。近接センサ３５４は、光源３１０によって発されたＩＲ（例えば、ＮＩＲ又はＳＷＩＲ）光３２０を検出するように構成される場合がある。感知中、光源３１０は、光ガイド３２４を通ってカメラアセンブリ３００Ｇの前面にガイドされ得るＩＲ光３２０を発する場合がある（簡単にするために、発されたＩＲ光３２０は図示されていない）。ＩＲ光３２０の一部は、カメラアセンブリ３００Ｇの前の物体又は造作物で反射し、光ガイド３２４を通って近接センサ３５４に戻るように伝搬する場合がある。そのため、カメラアセンブリ３００Ｇは、例えばユーザの存在を検出するために、ＩＲ光を放出可能、及び、感知可能である場合がある。
図４Ａ－４Ｋは、いくつかの実施形態に係る、例示的な電子システム４００Ａ－４００Ｋを示す。電子システム４００Ａ－４００Ｋはそれぞれ、カメラアセンブリ４３２と、カメラ４０２及び／又はカメラ４０４と、ディスプレイ４０６と、を備える。カメラアセンブリ４３２は、図２及び図３Ａ－３Ｇのカメラアセンブリ２００、及び／又は、カメラアセンブリ３００Ａ－３００Ｇの一実施形態であり得る。カメラ４０２及びカメラ４０４はそれぞれ、図１のカメラ１０２及び／又はカメラ１０４の一実施形態であり得る。更に、カメラ４０２及び４０４はそれぞれ、ディスプレイ４０６の下に配置され、深度感知のために画像を撮影するように構成される場合がある。
図４Ａに示すように、カメラアセンブリ４３２は、電子システム４００Ａの角の近くに配置される。また、カメラ４０２及びカメラ４０４は、長軸に沿って、電子システム４００Ａの端部の近辺に配置される。
作動中、ＩＲ（例えば、ＮＩＲ又はＳＷＩＲ）光は、カメラアセンブリ４３２の光源によって放出され、カメラアセンブリ４３２の前方の光景を照らす場合がある。光景内の物体は、ＩＲ光の少なくとも一部を、カメラアセンブリ４３２およびディスプレイ４０６に向かって戻る方向に反射する場合がある。反射されたＩＲ光の一部は、ディスプレイ４０６のピクセル及び／又はサブピクセル間の孔を通過し、ディスプレイ４０６の背後に配置されたＩＲカメラ４０２及びＩＲカメラ４０４によって検出され得る。カメラ４０２及びカメラ４０４のそれぞれは、検出されたＩＲ光を画像に撮影する場合があり、撮影された画像は、深度感知に適している場合がある。
図４Ｂでは、カメラアセンブリ４３２は、電子システム４００Ｂの角の近くに配置される。また、カメラ４０２及びカメラ４０４は、長軸に沿って、電子システム４００Ｂの中央領域近辺に配置される。図１を参照して上記で論じたように、２台のカメラ間の距離は、深度感知の解像度に影響を与える。言い換えると、カメラ間の距離が大きいほど、カメラによって撮影された画像から取得可能な深度情報の量が多くなる。図４Ａと比べて、図４Ｂのカメラ４０２及びカメラ４０４は、より短い距離で隔たれている。その結果、図４Ａのカメラ４０２及びカメラ４０４は、図４Ｂのカメラ４０２及びカメラ４０４よりも高い解像度の深度感知をサポートし得る。
図４Ｃは、電子システム４００Ｃの角の近くに配置されたカメラアセンブリ４３２と、短軸に沿って電子システム４００Ｃの中央領域近辺に配置されたカメラ４０２及びカメラ４０４と、を示す。図４Ｄは、短軸に沿って、電子システム４００Ｄの角の近くに配置されたカメラアセンブリ４３２と、電子システム４００Ｄの上部に配置されたカメラ４０２及びカメラ４０４と、を示す。
図４Ｅは、電子システム４００Ｅの一端の近辺に配置されたカメラアセンブリ４３２を示す。カメラ４０２及びカメラ４０４は、カメラアセンブリ４３２と一列に並んで長軸に沿って配置される。図４Ｆでは、カメラアセンブリ４３２は、電子システム４００Ｆの一端の近辺に配置される。カメラ４０２及びカメラ４０４は、カメラアセンブリ４３２と一列に並んで長軸に沿って配置される。図４Ｅと異なり、図４Ｆのカメラ４０２及びカメラ４０４は、より短い距離で隔たれている。その結果、図４Ｅのカメラ４０２及びカメラ４０４は、図４Ｆのカメラ４０２及びカメラ４０４よりも高い解像度の深度感知をサポートし得る。
図４Ｇは、電子システム４００Ｇの一端の近辺に配置されたカメラアセンブリ４３２を示す。カメラ４０２及びカメラ４０４は、短軸に沿って電子システム４００Ｇの中央領域近辺に配置される。
図４Ｈは、電子システム４００Ｈの一端の近辺に配置されたカメラアセンブリ４３２と、電子システム４００Ｈの他端の近辺に配置されたカメラ４０２と、を示す。いくつかの実施形態では、カメラアセンブリ４３２及びカメラ４０２の両方が、深度感知のための画像を撮影するように構成される場合がある。
図４Ｉは、電子システム４００Ｉの一端の近辺に配置されたカメラアセンブリ４３２と、電子システム４００Ｉの中央領域の近辺に配置されたカメラ４０２と、を示す。いくつかの実施形態では、カメラアセンブリ４３２及びカメラ４０２の両方が、深度感知のための画像を撮影するように構成される場合がある。
図４Ｊは、電子システム４００Ｊの一つの角の近辺に配置されたカメラアセンブリ４３２と、電子システム４００Ｊの端部の近辺に配置されたカメラ４０２と、を示す。いくつかの実施形態では、カメラアセンブリ４３２及びカメラ４０２の両方が、深度感知のための画像を撮影するように構成される場合がある。
図４Ｋは、電子システム４００Ｋの一つの角の近辺に配置されたカメラアセンブリ４３２と、電子システム４００Ｋの中央領域近辺に配置されたカメラ４０２と、を示す。いくつかの実施形態では、カメラアセンブリ４３２及びカメラ４０２の両方が、深度感知のための画像を撮影するように構成される場合がある。
図５は、いくつかの実施形態に係る、例示的な電子システム５００の断面を示す。電子システム５００は、図１及び図４Ａ－４Ｇの電子システム１００及び／又は電子システム４００Ａ－４００Ｇの一実施形態であり得る。図５に示すように、電子システム５００は、カメラアセンブリ５３２、ディスプレイ層５０６、及び、モジュール５４０を備える。カメラアセンブリ５３２は、図２及び図４Ａ－４Ｇのカメラアセンブリ２００及び／又はカメラアセンブリ４３２の一実施形態であり得る。モジュール５４０は、カメラ５０２及びカメラ５０４を備える。カメラ５０２及びカメラ５０４はそれぞれ、図１及び図４Ａ－４Ｇのカメラ１０２、カメラ１０４、カメラ４０２、及び／又は、カメラ４０４の一実施形態であり得る。
カメラアセンブリ５３２は、光源５１０、反射器５１６、レンズ５１２、カメラ５１４、フィルタ５１８、及び、ハウジング５０８を備える。更に、長さＬ１は、第１表面５５８におけるハウジング５０８の上部から、カメラ５１４の近くのハウジング５０８の基部までを計測した、ハウジング５０８の長さである。いくつかの実施形態では、ハウジング５０８の長さＬ１を最小化することが有利であり得る。長さＬ１は、（ディスプレイ層５０６およびモジュール５４０の長さにわたる）長さＬ２よりも短く見えるが、Ｌ１は長さＬ２と比べて短い、等しい、又は、長い、といったほぼ任意の長さであり得る。加えて、カメラアセンブリ５３２は、ディスプレイ層５０６及びモジュール５４０に隣接して示されているが、実際の実装では、コンポーネント（図示せず）が、カメラアセンブリ５３２をディスプレイ層５０６及びモジュール５４０から分離する場合がある。
ディスプレイ層５０６は、ＯＬＥＤディスプレイまたはマイクロＬＥＤディスプレイといった多孔性ディスプレイの複数の層を含む場合がある。図５に示すように、ディスプレイ層５０６は、ディスプレイ表面５３６及び発光層５３８を含む場合がある。いくつかの実施形態では、発光層５３８は、複数の表示ピクセル及び／又は表示サブピクセルを含み、各表示ピクセル及び／又は表示サブピクセルの間に穴、ギャップ、又は、空のスペースを有する場合がある。
モジュール５４０は、ディスプレイ層５０６の下に配置され、カメラ５０２及びカメラ５０４と、対応するレンズ５４２と、を備える場合がある。カメラ５０２及びカメラ５０４は、物体または光景が近景又は遠景のいずれでもイメージングされる広範囲イメージングを実行するように構成されたＩＲのＣＭＯＳセンサを備える場合がある。カメラ５０２及びカメラ５０４は、指、手、及び、頭といった物体を迅速に感知するように更に構成される場合がある。更に、カメラ５０２及びカメラ５０４はそれぞれ、深度感知のために画像を撮影するように構成される場合がある。深度感知の解像度は、カメラ５０２とカメラ５０４の間の距離である分離Ｄに依存し得る。言い換えれば、距離Ｄが大きいほど、カメラ５０２及びカメラ５０４によって撮影された画像から導出可能な深度情報の量は大きくなる。
作動中に、光源５１０は、ＩＲ（例えば、ＮＩＲまたはＳＷＩＲ）光５２０を発する場合がある。ＩＲ光５２０は、反射器５１６で反射し、レンズ５１２を透過する。ＩＲ光５２０は、カメラアセンブリ５３２と、カメラ５０２及びカメラ５０４と、の前の光景を照らす場合がある。光景内の物体は、ＩＲ光５２０の少なくとも一部を、ディスプレイ層５０６に戻る方向に、例えば、反射光５２０（Ｒ）（１）及び反射光５２０（Ｒ）（２）として反射する場合がある。反射光５２０（Ｒ）（１）及び反射光５２０（Ｒ）（２）の一部は、発光層５３８内の表示ピクセル及び／又は表示サブピクセルによって遮られる一方、反射光５２０（Ｒ）（１）及び反射光５２０（Ｒ）（２）の残りは、表示ピクセル及び／又は表示サブピクセルの間の孔を通過する場合がある。孔とレンズ５４２を通過した反射光５２０（Ｒ）（１）及び反射光５２０（Ｒ）（２）は、カメラ５０２及びカメラ５０４によってそれぞれ検出され得る。カメラ５０２及びカメラ５０４のそれぞれは、これら反射されたＩＲ光をそれぞれに別々の画像として撮影する場合がある。これらの撮影された画像は、深度感知のために組み合わせられる場合がある。
図６は、いくつかの実施形態に係る、例示的な電子システム６００の断面を示す。電子システム６００は、図４Ｈ－４Ｋの電子システム４００Ｈ－４００Ｋのうちのいずれかの一実施形態であり得る。図６に示すように、電子システム６００は、カメラアセンブリ６３２、ディスプレイ層６０６、及び、モジュール６４０を備える。カメラアセンブリ６３２は、図２、図４Ａ－４Ｋ、及び、図５のカメラアセンブリ２００、カメラアセンブリ４３２、及び／又は、カメラアセンブリ５３２の一実施形態であり得る。ディスプレイ層６０６は、図５のディスプレイ層５０６の一実施形態であり得る。図６に示すように、モジュール６４０は、カメラ６０４を備える。カメラ６０４は、図１、図４Ａ－４Ｋ、及び、図５のカメラ１０２、カメラ１０４、カメラ４０２、カメラ４０４、カメラ５０２、及び／又は、カメラ５０４の一実施形態であり得る。
作動中に、光源６１０は、ＩＲ（例えば、ＮＩＲまたはＳＷＩＲ）光６２０を発する場合がある。ＩＲ光６２０は、反射器６１６で反射し、レンズ６１２を透過する。ＩＲ光６２０は、カメラアセンブリ６３２とカメラ６０４の前の光景を照らす場合がある。光景内の物体は、ＩＲ光６２０の少なくとも一部を、ディスプレイ層６０６に戻る方向に、例えば、反射光６２０（Ｒ）として反射する場合がある。反射光６２０（Ｒ）の一部は、ディスプレイ層６０６とレンズ６４２とを透過し、カメラ６０４によって検出され、画像として撮影される場合がある。いくつかの実施形態では、光源６１０がＩＲ光６２０を放出するのと実質的に同時に、カメラ６１４は、光景内の物体で反射する（例えば、太陽又は他の光源からの）可視光６２２を検出し、当該可視光６２２を画像に撮影する場合がある。カメラ６１４及びカメラ６０４よって撮影された画像は、深度感知のために組み合わせられる場合がある。
図７は、いくつかの実施形態に係る、例示的な電子システム７００の断面を示す。電子システム７００は、図１及び図４Ａ－４Ｇの電子システム１００、及び／又は、電子システム４００Ａ－４００Ｇの一実施形態であり得る。図７に示すように、電子システム７００は、カメラアセンブリ７３２、ディスプレイ層７０６、及び、モジュール７４０を備える。カメラアセンブリ７３２は、図３Ａ－３Ｇにおける、カメラアセンブリ３００Ａ、及び／又は、カメラアセンブリ３００Ｂ－３００Ｇのいずれかの一実施形態であり得る。ディスプレイ層７０６は、図５及び図６のディスプレイ層５０６及び／又はディスプレイ層６０６の一実施形態であり得る。更に、モジュール７４０は、図５のモジュール５４０の一実施形態であり得る。
カメラアセンブリ７３２は、光源７１０、光ガイド７２４、レンズ７１２、カメラ７１４、フィルタ７１８、及び、ハウジング７０８を備える。いくつかの実施形態では、カメラアセンブリ７３２は、図３Ｂ－３Ｇに示すように、追加的な光源、散乱面、マイクロレンズ、環境光センサ、及び／又は、近接センサを更に備える場合がある。
長さＬ１は、第１表面７５８におけるハウジング７０８の上部から、カメラ７１４の近くのハウジング７０８の基部までを計測した、ハウジング７０８の長さである。いくつかの実施形態では、ハウジング７０８の長さＬ１を最小化することが有利であり得る。更に、長さＬ１は、（ディスプレイ層７０６およびモジュール７４０の長さにわたる）長さＬ２よりも短く見えるが、Ｌ１は長さＬ２と比べて短い、等しい、又は、長い、といったほぼ任意の長さであり得る。加えて、カメラアセンブリ７３２は、ディスプレイ層７０６及びモジュール７４０に隣接して示されているが、実際の実装では、コンポーネント（図示せず）が、カメラアセンブリ７３２をディスプレイ層７０６及びモジュール７４０から分離する場合がある。
作動中に、光源７１０は、ＩＲ（例えば、ＮＩＲまたはＳＷＩＲ）光７２０を発する場合がある。ＩＲ光７２０は、光ガイド７２４と第１表面７５８を通って指向される場合がある。ＩＲ光７２０は、カメラ７０２、カメラ７０４、及び、カメラ７１４の前の光景を照らす場合がある。光景内の物体は、ＩＲ光７２０の少なくとも一部を、ディスプレイ層７０６に戻る方向に、例えば、反射されたＩＲ光７２０（Ｒ）（１）及びＩＲ光７２０（Ｒ）（２）として反射する場合がある。反射されたＩＲ光７２０（Ｒ）（１）及びＩＲ光７２０（Ｒ）（２）の一部は、ディスプレイ層７０６とレンズ７４２とを透過し、カメラ７０２及びカメラ７０４によってそれぞれに検出される場合がある。カメラ７０２及びカメラ７０４は、これらのＩＲ光をそれぞれに別々の画像として撮影する場合があり、これらの画像は、深度感知のために組み合わせられる場合がある。
図８は、いくつかの実施形態に係る、例示的な電子システム８００の断面を示す。電子システム８００は、図４Ｈ－４Ｋの電子システム４００Ｈ－４００Ｋのうちの任意のものの一実施形態であり得る。図８に示すように、電子システム８００は、カメラアセンブリ８３２、ディスプレイ層８０６、及び、モジュール８４０を備える。カメラアセンブリ８３２は、図３Ａ－３Ｇの、カメラアセンブリ３００Ａ、及び／又は、カメラアセンブリ３００Ｂ－カメラアセンブリ３００Ｇの一実施形態であり得る。ディスプレイ層８０６は、図５－７のディスプレイ層５０６、ディスプレイ層６０６、及び／又は、ディスプレイ層７０６の一実施形態であり得る。更に、モジュール８４０は、カメラ８０４を備える。カメラ８０４は、図１、図４Ａ－４Ｋ、及び、図５－７のカメラ１０２、カメラ１０４、カメラ４０２、カメラ４０４、カメラ５０２、カメラ５０４、カメラ６０４、カメラ７０２、及び／又は、カメラ７０４の一実施形態であり得る。いくつかの実施形態では、カメラ８０４は、ＩＲ（例えば、ＮＩＲ又はＳＷＩＲ）光を検出するように構成される場合があり、フィルタ８１８はカメラ８０４を可視光からシールドする場合がある。
作動中に、光源８１０は、光ガイド８２４及び第１表面８５８を通って指向されるＩＲ（例えば、ＮＩＲまたはＳＷＩＲ）光８２０を発する場合がある。ＩＲ光８２０は、カメラ８０４及びカメラ８１４の前の光景を照らす場合がある。光景内の物体は、ＩＲ光８２０の少なくとも一部を、カメラアセンブリ８００及びディスプレイ層８０６に戻る方向に、例えば、反射されたＩＲ光８２０（Ｒ）（１）及びＩＲ光８２０（Ｒ）（２）として反射する場合がある。反射光８２０（Ｒ）（１）の一部は、ディスプレイ層８０６とレンズ８４２とを透過し、カメラ８０４によって検出され、画像として撮影される場合がある。更に、反射光８２０（Ｒ）（２）の一部は、カメラ８１４へ向かってレンズ８１２及びフィルタ８１８を透過する場合があり、当該カメラ８１４は、反射光８２０（Ｒ）（２）を画像として撮影する場合がある。カメラ８０４及びカメラ８１４によって撮影された画像は、深度感知のために組み合わせられる場合がある。
いくつかの実施形態では、カメラ８１４は可視光を検出するように構成される場合があり、フィルタ８１８はカメラ８１４をＩＲ光からシールドする場合がある。作動中に、光源８１０は、光ガイド８２４及び第１表面８５８を通って指向されるＩＲ（例えば、ＮＩＲまたはＳＷＩＲ）光８２０を発する場合がある。ＩＲ光８２０は、カメラ８０４及びカメラ８１４の前の光景を照らす場合がある。光景内の物体は、ＩＲ光８２０（Ｒ）（１）の少なくとも一部を、例えば、反射光８２０（Ｒ）（１）として、ディスプレイ層８０６に戻る方向に反射する場合がある。反射光８２０（Ｒ）（１）の一部は、ディスプレイ層８０６とレンズ８４２とを透過し、カメラ８０４によって検出され、画像として撮影される場合がある。いくつかの実施形態では、光源８１０がＩＲ光８２０を放出するのと実質的に同時に、カメラ８１４は、光景内の物体で反射する（例えば、太陽又は他の光源からの）可視光８２２を検出し、当該可視光８２２を画像に撮影する場合がある。カメラ８１４及びカメラ８０４よって撮影された各画像は、深度感知のために組み合わせられる場合がある。
図９は、いくつかの実施形態に係る、ディスプレイの下に配置されたカメラによって撮影された例示的な画像９００を示す。画像９００は、例えば、図１、図４Ａ－４Ｋ、図５－８のカメラ１０２、カメラ１０４、カメラ４０２、カメラ４０４、カメラ５０２、カメラ５０４、カメラ６０４、カメラ７０２、カメラ７０４、又は、カメラ８０４といった、多孔性ディスプレイの背後または下に配置されたカメラによって撮影され得る。図９に示すように、画像９００は、暗線及び明点のグリッド、又は、「スクリーンドア効果」を含む。暗線は、表示ピクセル及び／又は表示サブピクセルのパターンに対応する。暗線は、表示ピクセル及び／又は表示サブピクセルが、光の一部がディスプレイを通過することを妨げることにより生成される。一方、明点は、表示ピクセル及び／又は表示サブピクセル間のギャップ又は孔に対応する。明点は、下にあるカメラに向かってディスプレイの孔又はギャップを通過する光によって生成される。
いくつかの実施形態では、アンダーディスプレイカメラによって撮影された画像は、スクリーンドアの複数の層（又はスクリーンドアの積層体）を通してアンダーディスプレイカメラが同時にイメージングしているかのように現れるグリッド、又は、スクリーンドア効果を含む場合がある。ここで、スクリーンドアの各層は異なるピッチ（例えば、孔のサイズ又は密度）を有する。このような実施形態では、光は、スクリーンドア層の表示ピクセル及び／又は表示サブピクセルの間の孔又はギャップを通過する場合がある。更に、光の各点は水平方向及び垂直方向の異なる位置に拡散される（例えば、点像分布関数として）。また、ＩＲ光の各点は画像にわたって同様の方法で拡散され、これは大きな歪みをもたらす場合がある。
図９に示すように、画像９００の一部は、ディスプレイの表示ピクセル及び／又は表示サブピクセルによって不明瞭になっている。言い換えれば、表示ピクセル及び／又は表示サブピクセルは、感知に利用可能な光の量を低減し、アンダーディスプレイカメラのＦＯＶを事実上遮る場合がある。そのため、いくつかの実施形態では、スクリーンドア効果、歪み、又は他のアーティファクトを除去するために、撮影された画像をフィルタリング又は較正される場合がある。
図１０は、いくつかの実施形態に係る、画像処理システム１０００のブロック図である。画像処理システム１０００は、デバイスインタフェース１０１０、プロセッサ１０２０、及び、メモリ１０３０を備える。本明細書での議論の目的で、図１０のプロセッサ１０２０は、デバイスインタフェース１０１０及びメモリ１０３０と結合されるものとして示されている。実際の実施形態では、デバイスインタフェース１０１０、プロセッサ１０２０、及び／又は、メモリ１０３０は、１以上のバス（簡略化のために図示せず）を用いて一緒に接続される場合がある。いくつかの実施形態では、画像処理システム１０００は、図１、図４Ａ－４Ｋ、及び、図５－８を参照して説明された電子システム１００、電子システム４００Ａ－４００Ｋ、及び／又は、電子システム５００－８００の、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）（ＡＳＩＣ）、又は、他の集積回路（ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）（ＩＣ）であってもよい。
デバイスインタフェース１０１０は、１以上のカメラ、カメラアセンブリ、及び／又は、ディスプレイを含む（しかしこれらに限定されない）入力デバイスに信号を送信し、入力デバイスから信号を受信する場合がある。いくつかの実施形態では、デバイスインタフェース１０１０は、ディスプレイインタフェース１０１２を備える場合がある。ディスプレイインタフェース１０１２は、ディスプレイと通信するために、及び／又は、画像処理システム１０００のユーザに視覚的なインタフェースを提供するために使用される場合がある。いくつかの実施形態では、デバイスインタフェース１０１０は、ＲＧＢカメラインタフェース１０１４と、ＩＲカメラインタフェース１０１６及びＩＲカメラインタフェース１０１８と、を更に備える場合がある。ＲＧＢカメラインタフェース１０１４と、ＩＲカメラインタフェース１０１６及びＩＲカメラインタフェース１０１８と、はそれぞれに異なるカメラと通信するために用いられる場合がある。例えば、ＲＧＢカメラインタフェース１０１４は、物体又は光景の画像を撮影するために、起動信号をカメラ５１４又はカメラ７１４に送信し、これらのカメラからセンサ情報を受信する場合がある。更に、ＩＲカメラインタフェース１０１６及びＩＲカメラインタフェース１０１８は、物体及び／又は光景のＩＲ画像を撮影するために、例えば、カメラ５０２、カメラ５０４、カメラ７０２、又は、カメラ７０４に起動信号を送信し、これらのカメラからセンサ情報を受信する場合がある。
メモリ１０３０は、カメラインタフェース１０１４、カメラインタフェース１０１６、及び／又はカメラインタフェース１０１８を介して受信した画像を記憶するための画像バッファ１０３２を備える場合がある。メモリ１０３０はまた、少なくとも次のＳＷモジュールを記憶し得る、非一時的なコンピュータ読取り可能な媒体（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ハードドライブ等といった、１以上の不揮発性メモリ素子）を備える場合がある。
●ＩＲカメラインタフェース１０１６及び／又はＩＲカメラインタフェース１０１８（又は、アンダーディスプレイカメラと通信する他のインタフェース）を介して受信した画像をフィルタリングする画像フィルタリングＳＷモジュール１０３４であり、画像フィルタリングＳＷモジュール１０３４は更に以下を備える：
〇ＩＲカメラインタフェース１０１６及び／又はＩＲカメラインタフェース１０１８を介して受信した画像からノイズをフィルタリング、低減、又は、除去するニューラルネットワークモデル１０３５と、
●（ｉ）ＩＲカメラインタフェース１０１６及びＩＲカメラインタフェース１０１８の両方、又は、（ｉｉ）ＲＧＢカメラインタフェース１０１４と、ＩＲカメラインタフェース１０１６又はＩＲカメラインタフェース１０１８のいずれか、を介して受信した画像を組み合わせ、例えば立体視を用いて画像から深度情報を抽出する、深度マップＳＷモジュール（又は、深度マップジェネレータ）１０３６。
各ソフトウェアモジュールは、プロセッサ１０２０によって実行されると、対応する機能を画像処理システム１０００に実行させる命令を含む。
例えば、プロセッサ１０２０は、画像フィルタリングＳＷモジュール１０３４を実行して、ＩＲカメラインタフェース１０１６及び／又はＩＲカメラインタフェース１０１８を介して受信した画像をフィルタリングする場合がある。画像フィルタリングＳＷモジュール１０３４を実行する際に、プロセッサ１０２０は、ニューラルネットワークモデル１０３５を用いて、ＩＲカメラインタフェース１０１６及び／又はＩＲカメラインタフェース１０１８を介して受信した画像から（スクリーンドア効果のような）ノイズをフィルタリング、低減、又は、除去する場合がある。プロセッサ１０２０は、更に、深度マップＳＷモジュール１０３６を実行して、フィルタリングされた画像内の物体又は造作物の深度情報を決定する場合がある。例えば、深度マップジェネレータは、立体視を用いてフィルタリングされた画像を組み合わせて、当該組み合わされ、フィルタリングされた画像から深度情報を抽出する場合がある。深度マップジェネレータは、抽出された深度情報に少なくとも部分的に基づいて、物体又は造作物の深度マップを更に生成する場合がある。更に、プロセッサ１０２０は、深度情報に少なくとも部分的に基づいて、画像内の対象、物体、又は、造作物を認証する場合がある。
図９及び図１０を参照して上記で説明したように、アンダーディスプレイカメラによって撮影された画像は、スクリーンドア効果、又は、他のノイズ、歪み、若しくは、干渉を含み得る。本開示の態様は、光（例えば、ＩＲ、ＮＩＲ、又は、ＳＷＩＲの反射光）がディスプレイを通過し、光の一部がディスプレイのピクセル及び／又はサブピクセルによって遮蔽され、一方で残りの光がピクセル及び／又はサブピクセル間の孔を通過してアンダーディスプレイカメラによって画像に撮影される、スクリーンドア効果が発生することを認識している。深度検知又は他の応用を容易にするために、画像フィルタは、ニューラルネットワークモデルを用いて画像からスクリーンドア効果をフィルタリングにより除去する場合がある。
図１１Ａは、フィルタリング前の、アンダーディスプレイカメラによって撮影された例示的な画像１１１０を示している。図１０を参照して、画像１１１０は、アンダーディスプレイＩＲカメラから、例えば、ＩＲカメラインタフェース１０１６に送信される場合がある。ＩＲカメラインタフェース１０１６は、記憶するために、例示的な画像１１１０を画像バッファ１０３２に送信する場合がある。図１１Ａに示すように、画像１１１０は、スクリーンドア効果によって不明瞭になっている。深度検知又は他の応用をサポートするために、画像フィルタリングＳＷモジュール１０３４は、例示的な画像１１１０をフィルタリングして、歪みを取り除く場合がある。
図１１Ｂは、フィルタリング後の、例示的な画像１１２０を示す。例示的な画像１１２０は、図１１Ａの例示的な画像１１１０のフィルタ後バージョンであり得る。図１０を参照して、画像バッファ１０３２は、例示的な画像１１１０を画像フィルタリングＳＷモジュール１０３４に送信する場合がある。画像フィルタリングＳＷモジュール１０３４は、ニューラルネットワークモデル１０３５を用いて、例示的な画像１１１０からスクリーンドア効果をフィルタリングにより除去する場合がある。図１１Ｂに示すように、フィルタリングされた画像１１２０は人物をより明確に表しており、深度検知又は他の応用に適している場合がある。
いくつかの実施形態では、ニューラルネットワークモデル１０３５は、撮影された画像からスクリーンドア効果又は他のノイズをフィルタリングにより除去するように学習されたＣＮＮを含む場合がある。言い換えれば、ＣＮＮは、不明瞭な物体又は光景の画像から、元の物体若しくは光景の画像、又は、物体又は光景が明確な画像を推測するように学習される場合がある。いくつかの実施形態では、ＣＮＮは、元の物体又は光景の画像を少なくとも１つと、物体又は光景の不明瞭な画像を少なくとも１つと、を受信し、処理することによって学習され得る。いくつかの実施形態では、ＣＮＮの代わりに、又はＣＮＮに加えて、点像分布逆関数変換を用いて画像をフィルタリングする場合がある。このように、画像フィルタリングＳＷモジュール１０３４は、ニューラルネットワークモデル１０３５及び／又は点像分布逆関数変換を用いて、アンダーディスプレイＩＲカメラからの画像をフィルタリングする場合がある。
いくつかの撮影画像（例えば、不明瞭にされた、又は、フィルタリングされた画像）及び画像コンテンツ（例えば、深度情報、深度マップ、又は、識別された人物、物体、若しくは光景）は、図１、図４Ａ－４Ｋ、及び、図５－８の電子システム１００、電子システム４００Ａ－４００Ｋ、及び／又は、電子システム５００－８００上の安全なリポジトリ（例えば、信頼された環境）に記憶される場合がある。安全なリポジトリは、信頼される環境内にあるアプリケーション及び／又はハードウェアのみが安全なリポジトリに記憶されたデータにアクセスし得るように、電子システムの他の部分から仮想的及び／又は物理的に分離されている場合がある。いくつかの態様では、安全なリポジトリは、少なくとも部分的に、メモリ１０３０内に形成される場合がある。よって、特定の撮影画像と画像コンテンツは、メモリ１０３０のうちの安全なリポジトリ内（例えば、画像バッファ１０３２内）に記憶される場合がある。
いくつかの実施形態では、ニューラルネットワークモデル１０３５は、少なくとも部分的に、図１、図４Ａ－４Ｋ、及び、図５－８の電子システム１００、電子システム４００Ａ－４００Ｋ、及び／又は、電子システム５００－８００内の、信頼される環境内に存在し得る。ニューラルネットワークモデル１０３５を信頼される環境内に置くことにより、ニューラルネットワークモデル１０３５は、保護された撮影画像及び画像コンテンツによって（例えば、ＣＮＮを用いた）機械学習が実行可能となる。
当業者は、様々な異なる任意のテクノロジー及び技術を用いて、情報及び信号が表し得ることを理解するであろう。例えば、上述の説明を通して参照され得るデータ、命令、コマンド、情報、信号、ビット、記号、及び、チップは、電圧、電流、電磁波、磁界又は磁性粒子、光場又は光粒子、あるいは、これらの任意の組合せによって表し得る。
さらに、当業者は、本明細書で開示された態様に関連して説明された様々な例示的な論理ブロック、モジュール、回路、及び、アルゴリズムのステップが、電気的なハードウェア、コンピュータソフトウェア、又は、両者の組合せとして実装し得ることを理解しよう。このハードウェアとソフトウェアの交換可能性を明確に図示するために、例示的な様々なコンポーネント、ブロック、モジュール、回路、及び、ステップが、一般に、その機能の観点で上述のように説明されてきた。このような機能がハードウェア又はソフトウェアの何れで実装されるかは、システム全体に要求される特定のアプリケーションとデザイン上の制約に依存する。当業者は説明された機能を特定のアプリケーション毎に様々な方法で実装し得るが、そのような実装上の決定が、本開示の範囲からの逸脱を引き起こすと解釈されてはならない。
本明細書で開示された態様に関連して説明された方法、手順、又はアルゴリズムは、ハードウェアにより直接的に、プロセッサによって実行されるソフトウェアモジュールにより、あるいは、両者の組合せにより、具体化され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、又は、当技術分野において既知の他の形式の記憶媒体に常駐し得る。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。あるいは、記憶媒体はプロセッサに統合されてもよい。
前述の明細書では、その具体的な例を参照して実施形態が説明されてきた。しかしながら、添付の特許請求の範囲に提示されているように、本開示のより広い範囲を逸脱することなく、それらに対して様々な変形や変更が成し得ることは明らかであろう。したがって、明細書及び図面は、限定的な意味ではなく例示的な意味で解釈される。

Claims (24)

  1. 第１方向で第１表面を透過する可視光を検出するように構成された１以上の光センサを備える第１カメラと、
    前記第１表面を通して、前記第１方向とは逆の第２方向に、赤外（ＩＲ）光を発するように構成された光源と、
    前記ＩＲ光の反射を検出するように構成された第２カメラと、
    を備える、
    デバイス。
  2. ディスプレイを更に備え、
    前記第２カメラが前記ディスプレイの背後に配置され、前記ディスプレイを透過する前記ＩＲ光の前記反射を検出するように構成された、
    請求項１のデバイス。
  3. 前記第１表面が、前記可視光を前記１以上の光センサに合焦するように構成されたレンズを含む、
    請求項１のデバイス。
  4. 前記ＩＲ光を前記１以上の光センサから離れる方向に反射する一方、前記可視光を前記１以上の光センサへと伝達するダイクロイック反射器を更に備える、
    請求項１のデバイス。
  5. 前記ＩＲ光を前記第１表面へ指向するように構成された光ガイドを更に備え、
    前記第１表面が前記光ガイドの少なくとも一部を含む、
    請求項１のデバイス。
  6. 前記光ガイドの前記一部が、前記第１表面から発された前記ＩＲ光を拡散するように構成された拡散面を備える、
    請求項５のデバイス。
  7. 前記光ガイドの前記一部が、前記第１表面から発された前記ＩＲ光を拡散するように構成されたマイクロレンズを備える、
    請求項５のデバイス。
  8. 前記光ガイドが、前記第１表面から発された環境光を環境光センサへ指向するように更に構成されている、
    請求項５のデバイス。
  9. 前記光ガイドが、前記第１表面から発された前記ＩＲ光の反射を近接センサへ指向するように更に構成されている、
    請求項５のデバイス。
  10. 検出された前記ＩＲ光の前記反射に少なくとも部分的に基づいて、前記第２カメラの視野内の１以上の物体についての深度情報を生成するように構成された深度マップ生成器を更に備える、
    請求項２のデバイス。
  11. 前記深度情報が、検出された前記ＩＲ光の前記反射と、検出された前記可視光と、に基づく、
    請求項１０のデバイス。
  12. 前記光源によって発された前記ＩＲ光の前記反射を検出するように構成された第３カメラを更に備え、
    前記深度情報が、前記第２カメラ及び前記第３カメラのそれぞれによって検出された前記ＩＲ光の前記反射に基づく、
    請求項１０のデバイス。
  13. 前記第３カメラが前記ディスプレイの背後に配置されている、
    請求項１２のデバイス。
  14. レンズと、
    第１方向で前記レンズを透過する可視光を検出するように構成された１以上の光センサと、
    前記レンズを通して、前記第１方向とは逆の第２方向に、光を発するように構成された光源と、
    を備える、
    カメラアセンブリ。
  15. 前記レンズが、前記可視光を前記１以上の光センサに合焦するように構成されている、
    請求項１４のカメラアセンブリ。
  16. 前記光源により発された前記光が近赤外（ＮＩＲ）光を含む、
    請求項１４のカメラアセンブリ。
  17. 前記可視光を前記１以上の光センサに伝達し、一方で前記ＮＩＲ光を前記レンズへ反射するように構成された反射板を更に備える、
    請求項１６のカメラアセンブリ。
  18. 前記可視光を前記１以上の光センサへと伝達し、一方で前記ＮＩＲ光を前記１以上の光センサから離れる方向に反射するダイクロイック反射器を更に備える、
    請求項１６のカメラアセンブリ。
  19. 前記光源によって発された前記ＮＩＲ光の反射を検出するように構成された近接センサを更に備える、
    請求項１６のカメラアセンブリ。
  20. カメラアセンブリであって、
    第１方向で前記カメラアセンブリの第１表面を透過する可視光又は赤外（ＩＲ）光を検出するように構成された１以上の光センサと、
    前記第１表面を通して、前記第１方向とは逆の第２方向に、光を発するように構成された光源と、
    前記光を前記第１表面へ指向するように構成された光ガイドと
    を備え、
    前記第１表面が前記光ガイドの少なくとも一部を含む、
    カメラアセンブリ。
  21. 前記光源により発された前記光が近赤外（ＮＩＲ）光を含み、
    前記光ガイドの前記一部が、前記第１表面から発された前記ＮＩＲ光を拡散するように構成される、
    請求項２０のカメラアセンブリ。
  22. 前記光源によって発された前記光が前記可視光を含み、
    前記光ガイドの前記一部が前記第１表面から発された前記可視光を拡散するように構成される、
    請求項２０のカメラアセンブリ。
  23. 前記光源によって発された前記光が近赤外（ＮＩＲ）光を含み、
    前記光ガイドの前記一部が前記第１表面から発された前記ＮＩＲ光を拡散するように構成された拡散器又は複数のマイクロレンズを備える、
    請求項２０のカメラアセンブリ。
  24. 前記光源によって発された前記光が前記可視光を含み、
    前記光ガイドの前記一部が前記第１表面から発された前記可視光を拡散するように構成された拡散器又は複数のマイクロレンズを備える、
    請求項２０のカメラアセンブリ。
JP2022505340A 2019-08-19 2020-06-02 カメラのための光源 Pending JP2022545334A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/544,488 US11153513B2 (en) 2019-08-19 2019-08-19 Light source for camera
US16/544,488 2019-08-19
PCT/US2020/035761 WO2021034369A1 (en) 2019-08-19 2020-06-02 Light source for camera

Publications (2)

Publication Number Publication Date
JP2022545334A true JP2022545334A (ja) 2022-10-27
JPWO2021034369A5 JPWO2021034369A5 (ja) 2023-06-01

Family

ID=74645456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022505340A Pending JP2022545334A (ja) 2019-08-19 2020-06-02 カメラのための光源

Country Status (5)

Country Link
US (1) US11153513B2 (ja)
JP (1) JP2022545334A (ja)
KR (1) KR20220047638A (ja)
CN (1) CN114402255A (ja)
WO (1) WO2021034369A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110661972B (zh) * 2019-09-27 2021-02-23 维沃移动通信有限公司 图像处理方法、装置、电子设备和介质
KR20220017649A (ko) * 2020-08-05 2022-02-14 삼성전자주식회사 이미지 센서를 포함하는 전자 장치
US11825182B2 (en) * 2020-10-12 2023-11-21 Waymo Llc Camera module with IR LEDs for uniform illumination
KR20220078283A (ko) * 2020-12-03 2022-06-10 삼성전자주식회사 뉴럴 네트워크 프로세서를 구비하는 이미지 처리 장치 및 이의 동작 방법

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07246184A (ja) 1994-03-09 1995-09-26 Fuji Photo Optical Co Ltd 面順次式撮像装置
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
US7239909B2 (en) 2000-01-19 2007-07-03 Luminetx Technologies Corp. Imaging system using diffuse infrared light
WO2004096014A2 (en) 2003-04-28 2004-11-11 University Of Rochester Metrics to predict subjective impact of eye's wave aberration
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
EP1889111A2 (en) * 2005-05-25 2008-02-20 Massachusetts Institute of Technology Multifocal imaging systems and methods
WO2007138543A2 (en) 2006-05-25 2007-12-06 Udayan Kanade Display with gaps for capturing images
US7714923B2 (en) 2006-11-02 2010-05-11 Eastman Kodak Company Integrated display and capture apparatus
WO2011036813A1 (ja) 2009-09-28 2011-03-31 株式会社 東芝 立体映像表示方法及び立体映像表示装置
WO2011047214A2 (en) 2009-10-14 2011-04-21 Optimum Technologies, Inc. Portable retinal camera and image acquisition method
CN102812712B (zh) 2010-03-24 2015-04-08 富士胶片株式会社 图像处理设备和图像处理方法
US9091903B2 (en) 2010-07-29 2015-07-28 Logitech Europe S.A. Optimized movable IR filter in cameras
US20120032875A1 (en) * 2010-08-05 2012-02-09 Microvision, Inc. Scanned Image Projection System Employing Beam Folding Apparatus
KR101680762B1 (ko) 2010-10-29 2016-11-29 삼성전자주식회사 3ｄ 카메라용 빔스플리터 및 상기 빔스플리터를 채용한 3차원 영상 획득 장치
KR101632311B1 (ko) 2010-12-30 2016-06-22 삼성전자주식회사 패널 형태의 면 카메라, 이를 적용한 광 터치스크린 및 디스플레이 장치
KR20120080845A (ko) 2011-01-10 2012-07-18 삼성전자주식회사 광 감지 기능을 구비한 ｏｌｅｄ 디스플레이 장치
WO2012103554A2 (en) 2011-01-28 2012-08-02 Windy Place, Inc. Lighting and power devices and modules
EP2692133B1 (en) 2011-03-31 2019-01-16 SMART Technologies ULC Video conferencing display device
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US8878794B2 (en) 2011-09-27 2014-11-04 Z124 State of screen info: easel
US8937646B1 (en) 2011-10-05 2015-01-20 Amazon Technologies, Inc. Stereo imaging using disparate imaging devices
US10848731B2 (en) 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US10116919B2 (en) 2012-11-14 2018-10-30 Thomson Licensing Method and arrangement for estimating at least one cross-channel colour mapping model from an set of tuples of corresponding colours relative to at least two images
CN106663183B (zh) 2013-11-27 2020-04-24 深圳市汇顶科技股份有限公司 眼睛跟踪及用户反应探测
US9154697B2 (en) 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view
US9921688B2 (en) 2014-03-04 2018-03-20 Qualcomm Incorporated Large area interactive display screen
US9454699B2 (en) 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
CN105093541A (zh) 2014-05-22 2015-11-25 华为技术有限公司 显示装置
CN105094307A (zh) 2014-05-23 2015-11-25 宇龙计算机通信科技(深圳)有限公司 一种具有前置摄像头的移动设备
US9638511B2 (en) 2014-08-08 2017-05-02 The Board Of Trustees Of The University Of Illinois Smart phone attachment for 3-D optical coherence tomography imaging
US9377623B2 (en) 2014-08-11 2016-06-28 Microsoft Technology Licensing, Llc Waveguide eye tracking employing volume Bragg grating
KR101930657B1 (ko) * 2014-10-24 2018-12-18 유센스, 인코퍼레이티드 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법
KR102309411B1 (ko) 2014-10-27 2021-10-06 엘지전자 주식회사 휴대 전자기기
US9791924B2 (en) * 2014-12-23 2017-10-17 Mediatek Inc. Eye tracking with mobile device in a head-mounted display
US10148918B1 (en) 2015-04-06 2018-12-04 Position Imaging, Inc. Modular shelving systems for package tracking
WO2016168378A1 (en) 2015-04-13 2016-10-20 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
KR102483838B1 (ko) 2015-04-19 2023-01-02 포토내이션 리미티드 Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처
CN107004130B (zh) * 2015-06-18 2020-08-28 深圳市汇顶科技股份有限公司 用于屏幕上指纹感应的屏幕下光学传感器模块
US10237473B2 (en) 2015-09-04 2019-03-19 Apple Inc. Depth map calculation in a stereo camera system
EP3353630B1 (en) 2015-09-24 2021-05-26 Tobii AB Eye-tracking enabled wearable devices
US10523855B2 (en) * 2015-09-24 2019-12-31 Intel Corporation Infrared and visible light dual sensor imaging system
US10152121B2 (en) 2016-01-06 2018-12-11 Facebook Technologies, Llc Eye tracking through illumination by head-mounted displays
US10229316B2 (en) * 2016-01-29 2019-03-12 Synaptics Incorporated Compound collimating system using apertures and collimators
US10217439B2 (en) 2016-02-04 2019-02-26 Apple Inc. Electronic device with ambient light sensor system
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
CN109076147B (zh) 2016-03-23 2021-03-02 徐鹤菲 支持近红外光与可见光成像的复合成像系统和移动终端
US10311560B2 (en) 2016-09-07 2019-06-04 Huazhong University Of Science And Technology Method and system for estimating blur kernel size
US20180077430A1 (en) 2016-09-09 2018-03-15 Barrie Hansen Cloned Video Streaming
US20180157908A1 (en) 2016-12-01 2018-06-07 Varjo Technologies Oy Gaze-tracking system and method of tracking user's gaze
US10120442B2 (en) 2016-12-21 2018-11-06 Oculus Vr, Llc Eye tracking using a light field camera on a head-mounted display
US10958841B2 (en) 2017-01-06 2021-03-23 Intel Corporation Integrated image sensor and display pixel
KR20180082698A (ko) 2017-01-10 2018-07-19 삼성디스플레이 주식회사 표시 장치 및 그의 구동 방법
US10872272B2 (en) 2017-04-13 2020-12-22 L'oreal System and method using machine learning for iris tracking, measurement, and simulation
US10567630B2 (en) 2017-05-12 2020-02-18 Microsoft Technology Licensing, Llc Image capture using a hinged device with multiple cameras
JP2018195985A (ja) 2017-05-17 2018-12-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
WO2019006749A1 (zh) 2017-07-07 2019-01-10 华为技术有限公司 一种具有摄像头的终端和拍摄方法
AU2017430168A1 (en) 2017-09-01 2020-02-20 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
US10609355B2 (en) 2017-10-27 2020-03-31 Motorola Mobility Llc Dynamically adjusting sampling of a real-time depth map
US10911656B2 (en) 2017-11-21 2021-02-02 Microsoft Technology Licensing, Llc Optical isolation systems for displays
CN107888726A (zh) * 2017-11-22 2018-04-06 广东欧珀移动通信有限公司 显示屏组件及电子设备
US11514325B2 (en) 2018-03-21 2022-11-29 The Regents Of The University Of California Method and system for phase recovery and holographic image reconstruction using a neural network
US10636340B2 (en) 2018-04-16 2020-04-28 Facebook Technologies, Llc Display with gaze-adaptive resolution enhancement
US10776672B2 (en) 2018-04-25 2020-09-15 Avigilon Corporation Sensor fusion for monitoring an object-of-interest in a region
US10491885B1 (en) 2018-06-13 2019-11-26 Luminar Technologies, Inc. Post-processing by lidar system guided by camera information
US10606349B1 (en) 2018-06-22 2020-03-31 Facebook Technologies, Llc Infrared transparent backlight device for eye tracking applications
CN109188711B (zh) 2018-09-17 2020-11-03 深圳奥比中光科技有限公司 屏下光学系统、衍射光学元件的设计方法及电子设备
US11589031B2 (en) * 2018-09-26 2023-02-21 Google Llc Active stereo depth prediction based on coarse matching
CN109407758A (zh) * 2018-09-28 2019-03-01 深圳阜时科技有限公司 一种设备
CN209167945U (zh) * 2018-09-28 2019-07-26 深圳阜时科技有限公司 一种设备
US11301665B2 (en) * 2019-02-20 2022-04-12 Novatek Microelectronics Corp. Fingerprint and proximity sensing apparatus and sensing process thereof
US11516374B2 (en) 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor

Also Published As

Publication number Publication date
WO2021034369A1 (en) 2021-02-25
KR20220047638A (ko) 2022-04-18
US11153513B2 (en) 2021-10-19
CN114402255A (zh) 2022-04-26
US20210058568A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
JP2022545334A (ja) カメラのための光源
JP7281681B2 (ja) 撮像システム
US11575843B2 (en) Image sensor modules including primary high-resolution imagers and secondary imagers
US11516374B2 (en) Under-display image sensor
US11804509B2 (en) Fingerprint detection apparatus and electronic device
US10282582B2 (en) Finger biometric sensor for generating three dimensional fingerprint ridge data and related methods
US11405535B2 (en) Quad color filter array camera sensor configurations
JP7314976B2 (ja) 撮像装置及び撮像方法
US10885299B2 (en) Electronic device including pin hole array mask above optical image sensor and laterally adjacent light source and related methods
US11239275B2 (en) Electronic device including processing circuitry for sensing images from spaced apart sub-arrays and related methods
US9928420B2 (en) Depth imaging system based on stereo vision and infrared radiation
CN109074495A (zh) 改善用于屏上指纹感测的屏下光学传感器模块的光学感测性能
KR20120046042A (ko) 전기 신호를 이용하여 선택적으로 가시광선과 적외선을 투과하는 필터
US11335129B2 (en) Fingerprint identification apparatus and electronic device
TW201727536A (zh) 反射式指紋辨識系統
CN108886571A (zh) 具有改善的自动对焦性能的成像设备
US10609361B2 (en) Imaging systems with depth detection
TW201909035A (zh) 具有輔助光源之指紋辨識裝置以及使用其之行動裝置
KR101460686B1 (ko) 홀로그램 처리기능을 가지는 스캔 장치 및 스캔 방법
US20180350866A1 (en) Image sensor configured for dual mode operation
JP2018136859A (ja) 生体情報取得システム
KR20220049599A (ko) 관통 디스플레이 분광기로 구성된 방출형 디스플레이

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230523

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240528