JP2023066374A - イメージセンサ、映像獲得装置、及びそれらを含む電子装置 - Google Patents

イメージセンサ、映像獲得装置、及びそれらを含む電子装置 Download PDF

Info

Publication number
JP2023066374A
JP2023066374A JP2022152207A JP2022152207A JP2023066374A JP 2023066374 A JP2023066374 A JP 2023066374A JP 2022152207 A JP2022152207 A JP 2022152207A JP 2022152207 A JP2022152207 A JP 2022152207A JP 2023066374 A JP2023066374 A JP 2023066374A
Authority
JP
Japan
Prior art keywords
counter
image sensor
period
image
pulse signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022152207A
Other languages
English (en)
Inventor
▲てい▼ 祐 金
Jung-Woo Kim
丙 壹 閔
Byeongil Min
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2023066374A publication Critical patent/JP2023066374A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M1/00—Design features of general application
    • G06M1/08—Design features of general application for actuating the drive
    • G06M1/10—Design features of general application for actuating the drive by electric or magnetic means
    • G06M1/101—Design features of general application for actuating the drive by electric or magnetic means by electro-optical means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
    • H01L31/101—Devices sensitive to infrared, visible or ultraviolet radiation
    • H01L31/102—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier
    • H01L31/107—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier the potential barrier working in avalanche mode, e.g. avalanche photodiodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】イメージセンサ、映像獲得装置、及びそれらを含む電子装置を提供する。【解決手段】多数のピクセルを含み、それぞれのピクセルは、フォトダイオードと、フォトダイオードに入射されたフォトンによって生成された電気信号を基に、パルス信号を生成するパルス生成器と、パルス信号の数をカウンティングして出力するカウンタと、を含み、該パルス信号の周期は、イメージセンサの周辺照度によって変調されるイメージセンサである。【選択図】図５

Description

本発明は、イメージセンサ、映像獲得装置、及びそれらを含む電子装置に関する。
イメージセンサは、被写体から入射される光を受光し、受光された光を光電変換し、電気的信号を生成する装置である。
該イメージセンサは、カラー表現のために、通常、赤色光、緑色光、青色光を選択的に透過させるフィルタ要素のアレイからなるカラーフィルタを使用し、各フィルタ要素を透過した光の量をセンシングした後、映像処理を介し、被写体に係わるカラー映像を形成する。
該イメージセンサは、解像度（resolution）、速度（frame rate）、低照度イメージング（low light imaging）そして高いダイナミックレンジ（ＨＤＲ：high dynamic range）のような特性が段階的に向上されている。該ＨＤＲと該速度とを同時に向上させるために、新たなイメージング方式が提案され、最近、フォトンカウンティングイメージング（photon counting imaging）技術を適用したイメージセンサが公知されている。
該フォトンカウンティングイメージングは、ピクセルに入射する光子（photon）を、迅速なフォトダイオード、例えば、単光子アバランシェダイオード（ＳＰＡＤ：single-photon avalanche diode）を利用し、時間軸において、一定時間の間、入射する光子の数をカウンティングし、ピクセル別に光量を測定し、二次元映像を具現する。
本発明が解決しようとする課題は、イメージセンサ、映像獲得装置、及びそれらを含む電子装置を提供することである。
一実施形態によるフォトンカウンティングを利用したイメージセンサは、多数のピクセルを含み、それぞれのピクセルは、フォトダイオードと、前記フォトダイオードに入射されたフォトンによって生成された電気信号を基に、パルス信号を生成するパルス生成器と、前記パルス信号の数をカウンティングして出力するカウンタと、を含み、前記パルス信号の周期は、前記イメージセンサの周辺照度によって変調される。
他の実施形態による映像獲得装置は、多数のピクセルを含むピクセルアレイと、それぞれのピクセルとそれぞれ接続され、前記ピクセルに入射されたフォトンによって生成された電気信号を基に、パルス信号を生成するパルス生成器と、それぞれのパルス生成器とそれぞれ接続され、前記パルス信号の数をカウンティングして出力するカウンタと、それぞれのカウンタの出力値を利用して映像信号を生成するイメージセンサ制御部と、を含み、前記イメージセンサ制御部は、周辺照度により、前記パルス信号の周期を変調させる。
さらに他の実施形態による前記映像獲得装置を含む電子装置を提供する。
一実施形態によるイメージセンサは、ピクセル内カウンタの容量または大きさを固定させ、パルス周期可変、サブフレーム技法を利用し、カウンタサイズより大きい値をカウンティングすることができる。
また、カウンタの大きさを小さくすることにより、ピクセルサイズを低減させ、フレームレートを向上させることができる。
前述の映像獲得装置は、多様な電子装置にも採用される。
一実施形態による映像獲得装置の概略的なブロック図である。 図１に図示されたイメージセンサの詳細ブロック図である。 図２に図示されたイメージセンサの回路図である。 従来技術によるイメージセンサのピクセル構造について説明するための図である。 他の実施形態によるイメージセンサのパルス信号の周期を変調させることについて説明するための図面である。 さらに他の実施形態によるイメージセンサのパルス信号の周期を変調させることについて説明するための図面である。 さらに他の実施形態による映像獲得装置の概略的なブロック図である。 さらに他の実施形態によるイメージセンサのパルス信号の周期を変調させる方法について説明するためのフローチャートである。 さらに他の実施形態によるイメージセンサのパルス信号の周期を変調させる方法について説明するためのフローチャートである。 さらに他の実施形態による電子装置の概略的な構造を示すブロック図である。 図１０の電子装置に具備されるカメラモジュールを概略的に図示したブロック図である。 本実施形態による映像獲得装置が適用された電子装置の多様な例示図である。 本実施形態による映像獲得装置が適用された電子装置の多様な例示図である。 本実施形態による映像獲得装置が適用された電子装置の多様な例示図である。 本実施形態による映像獲得装置が適用された電子装置の多様な例示図である。 本実施形態による映像獲得装置が適用された電子装置の多様な例示図である。 本実施形態による映像獲得装置が適用された電子装置の多様な例示図である。 本実施形態による映像獲得装置が適用された電子装置の多様な例示図である。 本実施形態による映像獲得装置が適用された電子装置の多様な例示図である。 本実施形態による映像獲得装置が適用された電子装置の多様な例示図である。 本実施形態による映像獲得装置が適用された電子装置の多様な例示図である。
以下、添付された図面を参照し、本実施形態について詳細に説明する。説明される実施形態は、単に例示的なものに過ぎず、そのような実施形態から、多様な変形が可能である。以下の図面において、同一参照符号は、同一構成要素を称し、図面上において、各構成要素の大きさは、説明の明瞭性と便宜さとから誇張されてもいる。
以下において、「上部」や「上」と記載されたところは、接触して真上にあるものだけではなく、非接触で上にあるものも含む。
第１、第２のような用語は、多様な構成要素についての説明に使用されうるが、１つの構成要素を他の構成要素から区別する目的のみに使用される。そのような用語は、構成要素の物質または構造が異なることを限定するものではない。
単数の表現は、文脈上明白に異なって意味しない限り、複数の表現を含む。また、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含むものでもあるということを意味する。
また、明細書に記載された「…部」、「モジュール」というような用語は、少なくとも１つの機能や動作を処理する単位を意味し、それらは、ハードウェアまたはソフトウェアによって具現されるか、あるいはハードウェアとソフトウェアとの結合によっても具現されうる。
「前記」の用語、及びそれと類似した指示用語の使用は、単数及び複数のいずれにも該当しうる。
方法を構成する段階は、説明された順に行わなければならないという明白な言及がなければ、適当な順序で実行されうる。また、全ての例示的な用語（例えば、など）の使用は、単に技術的思想について詳細に説明するためのものであり、請求項によって限定されない以上、そのような用語により、権利範囲が限定されるものではない。
本実施形態において、単光子アバランシェダイオード（ＳＰＡＤ：single-photon avalanche diode）は、素子の非常に高い利得（gain）特性でもって、単光子（single photon）を検出するほどに効率が極度に高い次世代半導体光素子を意味する。該ＳＰＡＤは、素子の降伏電圧（breakdown voltage）より高い電圧をかけたとき、非常に大きい電場（electric field）により、自由電子（carrier）が加速され、原子と強い衝突を起こし、それにより、原子に拘束されている電子が放出され、自由電子の数が急速に増加する衝撃イオン化（impact ionization）現象が起こる。それを、アバランシェ増幅（avalanche multiplication）と言い、該効果により、外部からイメージセンサに照射された光子（photon）によって生成される自由電子の数が非常に大きく増加する。すなわち、周辺環境が非常に暗いか、あるいは非常にも遠くから光が照射され、イメージセンサに非常に微細なレベルの光子だけ入るとしても、該光子を増幅し、非常に多くの光子が入るように認識することができる。
フォトンカウンティング（光子計数）を利用したイメージングは、画素（pixel）に入射する光子を、ＳＰＡＤを利用し、時間軸で一定時間の間、入射するフォトンの数をカウンティングし、画素別光量を測定し、二次元映像を具現するのである。
従来のイメージセンサは、入射するフォトンを、一定時間の間、ＦＤ（floating diffusion）に蓄積し、生じた電圧変化を外部のリードアウト回路に伝送し、二次元映像を具現する。一方、フォトンカウンティングを利用したイメージセンサは、画素単位において、デジタル情報に変換することができる。
フォトンカウンティングイメージングのためのピクセルは、高速フォトダイオード、パルス生成器及びカウンタ回路を含む。個別ピクセルは、独立して動作し、フォトンが入射されれば、高速フォトダイオードにおいて、電流の流れが生じ、パルス生成器からデジタルパルスが出力される。該パルスは、後端のカウンタを利用し、連続して数を累積させる。従って、与えられた時間内において、パルスの出力をカウンティングすれば、入射されるフォトン量に比例するデジタル値を得ることになり、二次元映像を具現することができる。フォトンカウンティングイメージングの長所は、既存のイメージセンサ対比で、高速撮影と、高いダイナミックレンジ（ＨＤＲ：high dynamic range）とを具現することができ、１２０ｄＢ以上のダイナミックレンジを具現することができる。しかしながら、照度により、パルス数の変化が多く、カウンタの大きさを選定し難いという問題点がある。すなわち、低度においては、パルス数が少なく、その照度においては、パルス数が多くなり、正常動作のために大きいメモリを有するカウンタが必要である。
本実施形態において、ピクセル内カウンタの容量または大きさを固定させても、周辺照度により、パルス周期を変調させることにより、高照度時にも、カウンタサイズよりも大きい値をカウンティングすることができる。また、サブフレームそれぞれにつき、順次にパルス周期を変調させることにより、ピクセルサイズを低減させ、フレームレートを向上させることができる。
本実施形態において、用語である「ピクセル」または「画素」は、光を受光するフォトダイオードだけを称するか、あるいはピクセル中に具現されている構成要素または直接回路を称する意味に使用される。例えば、１つのピクセルを具現するフォトダイオード、パルス生成器、カウンタを共に称するものとしても使用される。
本実施形態において、用語「イメージセンサ」は、光を感知し、電気信号に変換する光電変換素子を称するものとして使用される。従って、ピクセルまたはピクセルアレイ、あるいはピクセル及びピクセル回路を共に称するものとして使用される。
図１は、一実施形態による映像獲得装置の概略的なブロック図である。
図１を参照すれば、映像獲得装置１００は、ピクセルアレイ２００とイメージセンサ制御部３００とを含む。
ピクセルアレイ２００には、多数のピクセル２１０が、所定数、例えば、Ｍ×Ｎ個が配列される。それぞれのピクセルは、独立して駆動されうる。図１に図示されていないが、ピクセルアレイ２００の周辺回路、垂直走査回路、水平走査回路、判読回路、出力回路、制御回路を含むものでもある。多数のピクセル２１０と周辺回路は、それぞれ互いに異なるレイヤにも配される。例えば、多数のピクセル２１０が配されたレイヤは、リードアウト回路のチップレイヤ上にも積層される。一実施形態において、ピクセル２１０は、ＳＰＡＤであり、単一光子をカウンティングするので、ノイズが少なく、高いダイナミックレンジを有することができる。
それぞれのピクセル２１０は、フォトダイオード、パルス生成器、カウンタを含む。一実施形態において、該パルス生成器は、フォトダイオードに入射されたフォトンによって生成された電気信号を基に、パルス信号を生成する。一実施形態において、該パルス生成器は、周辺照度により、パルス信号の周期が変調されうる。例えば、周辺照度が高照度である場合、パルス信号の周期を増大させることができる。該カウンタは、一定時間にパルス生成器で出力されたパルス信号の数をカウンティングして出力する。ピクセル２１０の構造と詳細動作は、図２及び図３を参照して後述する。
イメージセンサ制御部３００は、ピクセルアレイ２００から出力された出力値を利用し、映像信号を生成する。ここで、該出力値は、それぞれのピクセルのカウンタのカウンティング値と、パルス信号の周期と、を含む。イメージセンサ制御部３００は、周辺照度により、ピクセル２１０のパルス生成器を制御し、パルス信号の周期を変調させることができる。例えば、周辺照度値が臨界値以上である場合、事前に定められたパルス信号の周期を、所定の時間ほど増大させることができる。ここで、該所定の時間は、任意に決定することができる値であり、周辺照度、すなわち、入射される光量の大きさによって異なるように決定することができる値である。また、イメージセンサ制御部３００は、ピクセルアレイ２００から出力されたカウンティング値が臨界値以上である場合、パルス生成器のパルス信号の周期を増大させることができる。
イメージセンサ制御部３００は、映像信号を生成するために、１つのフレーム周期を、複数個のサブフレーム周期に分割することができる。そして、それぞれのサブフレーム時間に係わるカウンタの出力値と、カウンタの容量とを比較し、該比較結果により、パルス信号の周期を変調させることもできる。また、イメージセンサ制御部３００は、カウンタ出力値とカウンタ容量とを比較し、サブフレームに係わるパルス信号の周期を順次に増大させることもできる。該カウンタ容量は、カウンタのビット数によって決定されうる値である。ここで、それぞれのサブフレーム内のパルス周期は、同一であるが、該サブフレーム間のパルス周期は、異なってもいる。
図２は、図１に図示されたピクセル２１０の詳細ブロック図である。
図２を参照すれば、ピクセル２１０は、フォトダイオード２１１、パルス生成器２１２及びカウンタ２１３を含む。ピクセル２１０は、フォトダイオード２１１に入射されたフォトンによって誘導されたトリガパルスを利用し、一定時間、すなわち、露出期間の間、入射されたフォトンの数をカウンティングすることにより、光量をセンシングすることができる。
フォトダイオード２１１は、ガイガーモード（Geiger mode）で動作するＡＰＤ（Avalanche Photo Diode）またはＳＰＡＤでもある。該ガイガーモードは、ＡＰＤにおいて、単一光子を検出するために、逆電圧を降伏電圧より大きく印加することを意味する。該ガイガーモードにおいては、増幅層に印加する電場の強度が大きいために、少量の光子を吸収しても、アバランシェ電流の降伏現象が生じることになり、大きい電流パルスが出力されるので、単一光子の検出が可能である。
パルス生成器２１２は、フォトダイオード２１１に入射されたフォトンによって生成された電気信号を基に、パルス信号を生成する。パルス生成器２１２は、光子の受光頻度による頻度でもってパルスを発生させる。ここで、該パルス信号の周期は、周辺照度によっても変調される。該周辺照度が高照度である場合、例えば、該パルス信号の周期を一定時間増大させることができる。
カウンタ２１３は、パルス信号の数をカウンティングして出力する。カウンタ２１３で出力されたカウンティング値またはカウンティング結果値は、ピクセル値になる。ここで、該カウンティング値は、フレーム周期内に入力された光子の数の総和である。カウンタ２１３は、カウンティング値を一時的に保存していて、外部制御信号により、カウンティング値を出力する。
図２に図示されていないが、映像信号生成部（図示せず）は、カウンタ２１３の出力値、すなわち、ピクセル値を利用して映像信号を生成する。
図３は、図２に図示されたピクセル２１０の回路図である。
図２と共に参照すれば、ピクセル２１０は、フォトダイオード２１１を含む。また、フォトダイオード２１１は、ＳＰＡＤでもある。フォトダイオード２１１のカソード電極は、動作電圧Ｖｏｐに接続され、アノード電極は、ＮＭＯＳトランジスタ、及びパルス生成器２１２の入力側と接続される。Ｎ ＭＯＳトランジスタのゲート電極は、バイアス電圧Ｖｂｉａｓと接続される。
パルス生成器２１２は、インバータ回路でもある。パルス生成器２１２の出力は、カウンタ２１３に接続される。
カウンタ２１３は、ｎビット、例えば、８ないし１２ビットでもある。カウンタの大きさは、それに限定されるものではなく、ピクセルサイズ、またはイメージセンサの応用により、多様な大きさのカウンタを使用することができるということは、言うまでもない。また、一実施形態において、周辺照度により、すなわち、高照度である場合、または入射されるフォトンの数が多い場合にも、カウンタの大きさを増大させず、パルス信号の周期を増大させ、フォトンの数をカウンティングすることにより、カウンタオーバーフローを防止することができる。カウンタ２１３は、同期式カウンタまたは非同期式カウンタでもあり、非同期式リプルカウンタでもある。カウンタ２１３は、Ｄフリップフロップ回路でもある。
図３を参照すれば、ＳＰＡＤ２１１のカソード電極に、動作電圧Ｖｏｐとして、降伏電圧より大きい逆バイアス電圧が印加されれば、単一フォトンの入射によって生成されるキャリアがアバランシェ増幅を起こし、大きい電流がＳＰＡＤ ２１１を介し、パルス生成器２１２の入力側に印加される。
パルス生成器２１２は、入力側に印加された電気信号をパルス信号として生成する。ここで、パルス生成器２１２は、インバータ回路でもある。一実施形態において、パルス生成器２１２は、周辺照度により、パルス信号の周期が変調または可変されうる。例えば、ＳＰＡＤ ２１１から出力された電気信号と、周辺照度値に相応する制御信号値とが所定の論理回路に入力され、パルス信号の周期を変調させることができる。例えば、周辺照度が高い場合、一定長の制御信号が入力されれば、パルス生成器２１２は、パルス信号の周期を当該長さほど増大させることができる。また、パルス生成器２１２は、外部制御回路の制御信号、または外部の照度センサの出力信号が供給され、パルス信号の周期を変調させることもできる。
ＮＭＯＳトランジスタのゲート電極にバイアス電圧を印加し、ＮＭＯＳトランジスタをオン／オフ制御し、ＳＰＡＤ ２１１で生じた電流がパルス生成器２１２に伝達されることを制御する。ここで、ＮＭＯＳトランジスタと図示されているが、それに限定されるものではなく、多様なバイアス電圧印加回路を適用することができるということは、言うまでもない。
図３に図示されていないが、ＳＡＰＤ２１１で生じたアバランシェ増幅による過剰電流（excess current）を制限するための焼入れ回路（quenching circuit）をさらに含むものでもある。ＳＰＡＤに印加される逆電圧が大きいほど、熱的電子が励起状態にある確率と、トンネリング確率とが上昇することになり、光子の吸収なしも、アバランシェ電流が生じる暗電流（dark current）が増大することになる。該アバランシェ電流の発生時、過剰電流が流れうる。従って、焼入れ回路を介し、アバランシェ電流の持続的な流れを抑制することができる。
図４を参照すれば、パルス生成器２１２のパルス信号のタイミング及び周期が図示されている。Ｐｔ１は、第１フレームまたは第１サブフレームのパルス周期であり、Ｐｔ２は、第２フレームまたは第２サブフレームのパルス周期（pulse period）である。図４に図示されているように、フォトダイオード２１１に光が入射されれば、パルス生成器２１２は、パルス信号の周期（Ｐｔ）の間、単一光子によって生じたパルス信号を生成する。そして、待機時間後、次の周期の間、単一光子によって生じたパルス信号を生成する。ここで、低照度時（low light condition）は、入射するフォトンの数が少なく、フォトン入射のインターバルが増大し、図４に図示された待機時間が長くなることになり、カウンタ２１３の容量が超過することがない。しかしながら、高照度時（high light condition）には、待機時間が短くなるか、あるいはなくなることになり、カウンタ容量を超過してしまうという問題点がある。
図５を参照すれば、パルス生成器２１２のパルス信号のタイミング及び周期が図示されている。Ｐｔ１は、第１フレームまたは第１サブフレームのパルス周期であり、Ｐｔ２は、第２フレームまたは第２サブフレームのパルス周期である。図示されているように、第１パルス信号の周期Ｐｔ１より第２パルス信号の周期Ｐｔ２がより長くなる。すなわち、パルス信号の周期が長くなれば、１つのフレーム時間またはサブフレーム時間の間、カウンティングされる回数が減ることになり、カウンタ２１３の容量を超過しない。
図６は、さらに他の実施形態によるイメージセンサのパルス信号の周期を変調させることについて説明するための図面である。
図６を参照すれば、１つのフレームを複数個のサブフレーム（サブフレーム１ないしｎ）に分割する。ここで、サブフレームの周期は、１００μｓであり、カウンタは、１０ビットであり、カウンタ容量（capacity）は、２＾１０であり、１，０２４である。それぞれの基本パルス周期Ｐｔは、５０ｎｓである。第１サブフレームないし第Ｎサブフレームそれぞれの追加（additional）パルス周期（variable）は、互いに異なってもいる。図示されているように、第１サブフレームのパルス信号の周期Ｐｔ１は、５０ｎｓであり、第２サブフレームのパルス信号の周期Ｐｔ２は、６０ｎｓであり、第３サブフレームのパルス信号の周期Ｐｔ３は、１００ｎｓであり、第ｎサブフレームのパルス信号の周期Ｐｔｎは、１５０ｎｓである。ここで、基本パルス信号の周期Ｐｔは、５０ｎｓと同一であり、第２サブフレームないし第ｎサブフレームまで追加周期（variable）が１０ｎｓ、５０ｎｓ、１００ｎｓと漸進的に増大する。それぞれの追加周期は、周辺照度値または光量によって可変しうる。一実施形態において、周辺照度が高照度である場合、それぞれのサブフレームのパルス信号の周期、すなわち、追加周期を増大させることができる。ここで、サブフレームの周期、カウンタ容量、基本パルス信号の周期、追加周期は、例示的なものであり、イメージセンサの仕様または応用により、多様に設定されうるということは、言うまでもない。
それぞれのサブフレームに係わるカウンタの最大予想出力値とカウンタ容量とを比較し、カウンタの最大予想出力値がカウンタ容量より大きい場合、サブフレームに係わるパルス信号の周期を増大させることができる。
第２サブフレームに係わるカウンタの最大予想出力値が１，６６６であり、また、１０ビットカウンタは、１，０２４の容量を有する。従って、カウンタの最大予想出力値がカウンタ容量より大きいために、第３サブフレームに係わるパルス信号の周期を５０ｎｓ増大させる。また、第ｎサブフレームに係わるカウンタの最大予想出力値が６６６である場合、カウンタ容量である１，０２４より小さいので、第ｎフレームまでのカウンタ出力値、及びパルス信号の周期を利用し、映像信号を生成する。
一実施形態において、フォトンカウンティングによるイメージングは、１つのフレームを複数個のサブフレームに分けてシーケンスを始める。カウンタの出力値（カウンティング値）と周期情報とを利用し、映像信号を生成する。サブフレームごとに生じる２種情報、すなわち、カウンティング値と周期とを基に、順次に周期を増大させ、カウンタ値がカウンタ容量を超過しないサブフレームまでシーケンスを進目、１つのフレーム情報を獲得する。該サブフレームのカウンティング値と周期変調情報とを利用し、映像を生成する。
一実施形態において、周辺照度を測定または判断することは、フレームをサブフレームで分け、それぞれのサブフレームに係わるカウンティング値がカウンタ容量を超過するか否かということを判断すると説明したが、それに限定されるものではなく、順次に入力されるいくつのサブフレームのカウンティング値を考慮し、パルス信号の周期を増大させるか否かということを決定することもできる。
図７は、さらに他の実施形態による映像獲得装置の概略的なブロック図である。
図７を参照すれば、映像獲得装置は、イメージセンサ２００、イメージセンサ制御部３００及び照度センサ４００を含む。一実施形態において、イメージセンサ制御部３００は、周辺照度が高照度である場合、すなわち、周辺照度値が臨界値以上である場合、イメージセンサ２００のフレームに係わるパルス信号の周期を増大させる。照度センサ４００は、周辺照度を測定し、測定された照度値をイメージセンサ制御部３００に提供する。イメージセンサ制御部３００は、照度センサ４００から提供された照度値が臨界値以上である場合、イメージセンサ２００のパルス生成器に対し、パルス信号の周期を増大させることができる。ここで、照度センサ４００のセンシング値がイメージセンサ制御部３００に提供されるように説明されているが、それに限定されるものではなく、照度センサ４００のセンシング信号が、パルス生成器の入力側に提供されるようにも具現されるということは、言うまでもない。
図８は、さらに他の実施形態によるイメージセンサのパルス信号の周期を変調させる方法について説明するためのフローチャートである。
図８を参照すれば、段階８００において、イメージセンサの周辺照度を判断する。
段階８０２において、照度値が臨界値より大きいが否かということを判断する。段階８０４において、照度が臨界値より大きい場合、パルス信号の周期を増大させる。段階８０６において、カウンタのカウンティング値を出力し、段階８０８において、映像信号を生成する。
段階８０２において、照度値が臨界値より大きくない場合、段階８０６において、カウンタのカウンティング値を出力し、段階８０８において、映像信号を生成する。
一実施形態において、高照度時、カウンタの容量を超過しないように、パルスの周期を増大させ、１つのフレーム時間の間、カウンティングされる回数を減らし、設計されたカウンタ容量でもってフォトンカウンティングを行うことができる。
図９は、さらに他の実施形態によるイメージセンサのパルス信号の周期を変調させる方法について説明するためのフローチャートである。
図９を参照すれば、段階９００において、１つのフレームは、複数個のサブフレームに分割され、第１サブフレームにつき、可変周期は、Ｏｎｓである。
段階９０２において、第１サブフレームに係わるカウンタのカウンティング値、すなわち、第１サブフレームのフレーム周期内にある、複数個のパルス信号の周期内においてカウンティングされた光子の数の総和が、カウンタ容量を超過するか否かということを判断する。段階９０２において、カウンティング値がカウンタ容量より大きい場合、段階９０４において、パルス信号の周期を増大させる。
段階９０６において、次の第ｎサブフレームについて増大化されたパルス信号の周期の間、第ｎサブフレームのカウンティング値がカウンタ容量より大きいか否かということを判断する。
段階９０８において、カウンティング値がカウンタ容量より大きい場合、段階９１０及び段階９０４において、次の（ｎ＋１）サブフレームにつき、パルス信号の周期を増大させる。ここで、段階９０４におけるパルス信号の周期は、それぞれのフレームにつき、漸進的に増大されうる。従って、サブフレーム間のパルス信号の周期は、互いに異なってもいる。
段階９０８において、カウンティング値がカウンタ容量より小さい場合、段階９１２において、現在までのサブフレームに係わるカウンタ出力値、及びパルス信号の周期を利用し、映像信号を生成する。
本実施形態は、低照度及び高照度におけるフォトンカウンティングのために、カウンタの大きさを大きくせず、ピクセル内カウンタの大きさを固定させ、パルス信号の周期を可変させ、サブフレームに分けて処理することにより、カウンタサイズより大きい値をカウンティングすることができる。
また、カウンタの大きさを小さくすることにより、ピクセルサイズを低減させ、フレームレートを向上させることができる。
前述の映像獲得装置１００は、多様な高性能光学装置または高性能電子装置にも採用される。そのような電子装置は、例えば、スマートフォン（smartphone）、携帯電話、セルラフォン、ＰＤＡ（Personal Digital Assistant）、ラップトップ（laptop）、ＰＣ（Personal Computer）、多様な携帯用機器、家電製品、保安カメラ、医療用カメラ、自動車、事物インターネット（ＩｏＴ：internet of things）機器、その他モバイルまたは非モバイルのコンピューティング装置でもあるが、それらに制限されるものではない。
該電子装置は、映像獲得装置１００以外にも、そこに具備されたイメージセンサを制御するプロセッサ、例えば、アプリケーションプロセッサ（ＡＰ：application processor）をさらに含むものでもあり、プロセッサを介し、オペレーティングシステムまたは応用プログラムを駆動し、多数のハードウェア構成要素またはソフトウェア構成要素を制御することができ、各種データ処理及び演算を行うことができる。該プロセッサは、ＧＰＵ（Graphic Processing Unit）及び／またはイメージ信号プロセッサ（image signal processor）をさらに含むものでもある。該プロセッサに、該イメージ信号プロセッサが含まれる場合、イメージセンサによって獲得されたイメージ（または、映像）を、プロセッサを利用し、保存及び／または出力することができる。
図１０は、一実施形態による電子装置の概略的な構造を示すブロック図である。図１０を参照すれば、ネットワーク環境ＥＤ００において電子装置ＥＤ０１は、第１ネットワークＥＤ９８（近距離無線通信ネットワークなど）を介し、他の電子装置ＥＤ０２と通信するか、あるいは第２ネットワークＥＤ９９（遠距離無線通信ネットワークなど）を介し、さらに他の電子装置ＥＤ０４及び／またはサーバＥＤ０８と通信することができる。電子装置ＥＤ０１は、サーバＥＤ０８を介し、電子装置ＥＤ０４と通信することができる。電子装置ＥＤ０１は、プロセッサＥＤ２０、メモリＥＤ３０、入力装置ＥＤ５０、音響出力装置ＥＤ５５、表示装置ＥＤ６０、オーディオモジュールＥＤ７０、センサモジュールＥＤ７６、インターフェースＥＤ７７、ハブティックモジュールＥＤ７９、カメラモジュールＥＤ８０、電力管理モジュールＥＤ８８、バッテリＥＤ８９、通信モジュールＥＤ９０、加入者識別モジュールＥＤ９６及び／またはアンテナモジュールＥＤ９７を含むものでもある。電子装置ＥＤ０１には、該構成要素のうち一部（表示装置ＥＤ６０など）が省略されるか、あるいは他の構成要素が追加されうる。該構成要素のうち一部は、１つの統合された回路によっても具現される。例えば、センサモジュールＥＤ７６（指紋センサ、虹彩センサ、照度センサなど）は、表示装置ＥＤ６０（ディスプレイなど）に埋め込まれても具現される。また、イメージセンサ２００に分光機能が含まれる場合、センサモジュールの一部機能（カラーセンサ、照度センサ）が別途のセンサモジュールではなく、イメージセンサ２００自体によっても具現される。
プロセッサＥＤ２０は、ソフトウェア（プログラムＥＤ４０）などを実行し、プロセッサＥＤ２０に連結された電子装置ＥＤ０１のうち、１または複数個の他の構成要素（ハードウェア構成要素、ソフトウェア構成要素など）を制御することができ、多様なデータ処理または演算を行うことができる。該データ処理または該演算の一部として、プロセッサＥＤ２０は、他の構成要素（センサモジュールＥＤ７６、通信モジュールＥＤ９０など）から受信された命令及び／またはデータを、揮発性メモリＥＤ３２にロードし、揮発性メモリＥＤ３２に保存された命令及び／またはデータを処理し、結果データを不揮発性メモリＥＤ３４に保存することができる。プロセッサＥＤ２０は、メインプロセッサＥＤ２１（中央処理装置、アプリケーションプロセッサなど）、及びそれと独立し、あるいは共に運用可能な補助プロセッサＥＤ２３（グラフィック処理装置、イメージシグナルプロセッサ、センサハブプロセッサ、コミュニケーションプロセッサなど）を含むものでもある。補助プロセッサＥＤ２３は、メインプロセッサＥＤ２１より電力を少なく使用し、特化された機能を遂行することができる。
補助プロセッサＥＤ２３は、メインヘプロセッサＥＤ２１がインアクティブ状態（スリープ状態）にある間、メインプロセッサＥＤ２１の代わりを行い、またはメインプロセッサＥＤ２１がアクティブ状態（アプリケーション実行状態）にある間、メインプロセッサＥＤ２１と共に、電子装置ＥＤ０１の構成要素のうち一部構成要素（表示装置ＥＤ６０、センサモジュールＥＤ７６、通信モジュールＥＤ９０など）と係わる機能及び／または状態を制御することができる。補助プロセッサＥＤ２３（イメージシグナルプロセッサ、コミュニケーションプロセッサなど）は、機能的に関連ある他の構成要素（カメラモジュールＥＤ８０、通信モジュールＥＤ９０など）の一部としても具現される。
メモリＥＤ３０は、電子装置ＥＤ０１の構成要素（プロセッサＥＤ２０、センサモジュールＥＤ７６など）が必要とする多様なデータを保存することができる。該データは、例えば、ソフトウェア（プログラムＥＤ４０など）、及びそれと係わる命令に係わる入力データ及び／または出力データを含むものでもある。メモリＥＤ３０は、揮発性メモリＥＤ３２及び／または不揮発性メモリＥＤ３４を含むものでもある。不揮発性メモリＥＤ３４は、電子装置ＥＤ０１内に固定装着された内蔵メモリＥＤ３６と、脱着可能な外装メモリＥＤ３８とを含むものでもある。
プログラムＥＤ４０は、メモリＥＤ３０にソフトウェアとして保存され、オペレーティングシステムＥＤ４２、ミドルウェアＥＤ４４及び／またはアプリケーションＥＤ４６を含むものでもある。
入力装置ＥＤ５０は、電子装置ＥＤ０１の構成要素（プロセッサＥＤ２０など）に使用される命令及び／またはデータを、電子装置ＥＤ０１の外部（ユーザなど）から受信しうる。入力装置ＥＤ５０は、マイク、マウス、キーボード及び／またはデジタルペン（スタイラスペンなど）を含むものでもある。
音響出力装置ＥＤ５５は、音響信号を、電子装置ＥＤ０１の外部に出力しうる。音響出力装置ＥＤ５５は、スピーカ及び／またはレシーバを含むものでもある。該スピーカは、マルチメディア再生または録音再生のように、一般的な用途にも使用され、該レシーバは、着信電話を受信するためにも使用される。該レシーバは、該スピーカの一部に結合されているか、あるいは独立した別途の装置としても具現される。
表示装置ＥＤ６０は、電子装置ＥＤ０１の外部に情報を視覚的に提供することができる。表示装置ＥＤ６０は、ディスプレイ、ホログラム装置またはプロジェクタ、及び当該装置を制御するための制御回路を含むものでもある。表示装置ＥＤ６０は、タッチを感知するように設定されたタッチ回路（touch circuitry）、及び／またはタッチによって生じる力の強度を測定するように設定されたセンサ回路（圧力センサなど）を含むものでもある。
オーディオモジュールＥＤ７０は、音を電気信号に変換させるか、あるいは反対に電気信号を音に変換させることができる。オーディオモジュールＥＤ７０は、入力装置ＥＤ５０を介して音を獲得するか、あるいは音響出力装置ＥＤ５５及び／または電子装置ＥＤ０１と直接または無線で連結された他の電子装置（電子装置ＥＤ０２など）のスピーカ及び／またはヘッドホーンを介して音を出力することができる。
センサモジュールＥＤ７６は、電子装置ＥＤ０１の作動状態（電力、温度など）、または外部の環境状態（ユーザ状態など）を感知し、感知された状態に対応する電気信号及び／またはデータ値を生成することができる。センサモジュールＥＤ７６は、ジェスチャセンサ、ジャイロセンサ、気圧センサ、マグネチックセンサ、加速度センサ、グリップセンサ、近接センサ、カラーセンサ、ＩＲ（infrared）センサ、生体センサ、温度センサ、湿度センサ及び／または照度センサを含むものでもある。
インターフェースＥＤ７７は、電子装置ＥＤ０１が、他の電子装置（電子装置ＥＤ０２など）と直接または無線で連結されるために使用されうる１または複数の指定されたプロトコルを支援することができる。インターフェースＥＤ７７は、ＨＤＭＩ（High Definition Multimedia Interface）、ＵＳＢ（Universal Serial Bus）インターフェース、ＳＤカードインターフェース及び／またはオーディオインターフェースを含むものでもある。
連結端子ＥＤ７８は、電子装置ＥＤ０１が、他の電子装置（電子装置ＥＤ０２など）と物理的に連結されうるコネクタを含むものでもある。連結端子ＥＤ７８は、ＨＤＭＩコネクタ、ＵＳＢコネクタ、ＳＤカードコネクタ及び／またはオーディオコネクタ（ヘッドホーンコネクタなど）を含むものでもある。
ハブティックモジュールＥＤ７９は、電気的信号を、ユーザが触覚または運動感覚を介して認知することができる機械的な刺激（振動、動きなど）、または電気的な刺激に変換することができる。ハブティックモジュールＥＤ７９は、モータ、圧電素子及び／または電気刺激装置を含むものでもある。
カメラモジュールＥＤ８０は、静止映像及び動画を撮影することができる。カメラモジュールＥＤ８０は、前述の映像獲得装置１００を含むものでもあり、さらなるレンズアセンブリ、イメージシグナルプロセッサ及び／またはフラッシュを含むものでもある。カメラモジュールＥＤ８０に含まれたレンズアセンブリは、イメージ撮影の対象である被写体から放出される光を収集することができる。
電力管理モジュールＥＤ８８は、電子装置ＥＤ０１に供給される電力を管理することができる。電力管理モジュールＥＤ８８は、ＰＭＩＣ（Power Management Integrated Circuit）の一部としても具現される。
バッテリＥＤ８９は、電子装置ＥＤ０１の構成要素に電力を供給することができる。バッテリＥＤ８９は、再充電不可能な一次電池、再充電可能な二次次電池、及び／または燃料電池を含むものでもある。
通信モジュールＥＤ９０は、電子装置ＥＤ０１と、他の電子装置（電子装置ＥＤ０２、電子装置ＥＤ０４、サーバＥＤ０８など）との直接（有線）通信チャンネル及び／または無線通信チャンネルの樹立、及び樹立された通信チャンネルを介する通信遂行を支援することができる。通信モジュールＥＤ９０は、プロセッサＥＤ２０（アプリケーションプロセッサなど）と独立して運用され、直接通信及び／または無線通信を支援する、１または複数のコミュニケーションプロセッサを含むものでもある。通信モジュールＥＤ９０は、無線通信モジュールＥＤ９２（セルラ通信モジュール、近距離無線通信モジュール、ＧＮＳＳ（Global Navigation Satellite System）通信モジュール）及び／または有線通信モジュールＥＤ９４（ＬＡＮ（Local Area Network）通信モジュール、電力線通信モジュールなど）を含むものでもある。それら通信モジュールのうち、当該通信モジュールは、第１ネットワークＥＤ９８（ブルートゥース、Ｗｉ－Ｆｉ（wireless fidelity） directまたはＩｒＤＡ（Infrared Data Association）のような近距離通信ネットワーク）、または第２ネットワークＥＤ９９（セルラネットワーク、インターネットまたはコンピュータネットワーク（ＬＡＮ、ＷＡＮ（Wide Area Network）など）のような遠距離通信ネットワーク）を介し、他の電子装置と通信することができる。そのようなさまざまな種類の通信モジュールは、１つの構成要素（単一チップなど）に統合されるか、あるいは互いに別途の複数の構成要素（複数チップ）によっても具現される。無線通信モジュールＥＤ９２は、加入者識別モジュールＥＤ９６に保存された加入者情報（国際モバイル加入者識別子（ＩＭＳＩ）など）を利用し、第１ネットワークＥＤ９８及び／または第２ネットワークＥＤ９９のような通信ネットワーク内において、電子装置ＥＤ０１を確認及び認証することができる。
アンテナモジュールＥＤ９７は、信号及び／または電力を、外部（他の電子装置など）に送信するか、あるいは外部から受信することができる。アンテナは、基板（ＰＣＢ（Printed Circuit Board）など）上に形成された導電性パターンによってなる放射体を含むものでもある。アンテナモジュールＥＤ９７は、１または複数のアンテナを含むものでもある。複数のアンテナが含まれた場合、通信モジュールＥＤ９０により、複数のアンテナのうち、第１ネットワークＥＤ９８及び／または第２ネットワークＥＤ９９のような通信ネットワークで使用される通信方式に適するアンテナが選択されうる。選択されたアンテナを介し、通信モジュールＥＤ９０と、他の電子装置との間において、信号及び／または電力が送信されたり受信されたりもする。アンテナ以外に、他の部品（ＲＦＩＣ（Radio Frequency Integrated Circuit）など）がアンテナモジュールＥＤ９７の一部としても含まれる。
構成要素のうち一部は、周辺機器間の通信方式（バス、ＧＰＩＯ（General Purpose Input and Output）、ＳＰＩ（Serial Peripheral Interface）、ＭＩＰＩ（Mobile Industry Processor Interface）など）を介して互いに連結され、信号（命令、データなど）を相互交換することができる。
命令またはデータは、第２ネットワークＥＤ９９に連結されたサーバＥＤ０８を介し、電子装置ＥＤ０１と外部の電子装置ＥＤ０４との間において、送信または受信されうる。他の電子装置ＥＤ０２，ＥＤ０４は、電子装置ＥＤ０１と同一であるか、あるいは異なる種類の装置でもある。電子装置ＥＤ０１で実行される動作の全部または一部は、他の電子装置ＥＤ０２，ＥＤ０４，およびサーバＥＤ０８のうち、１または複数の装置においても実行される。例えば、電子装置ＥＤ０１が、ある機能やサービスを遂行しなければならないとき、該機能または該サービスを自主的に実行させる代わりに、１または複数の他の電子装置に、その機能またはそのサービスの一部または全体を遂行するように要請することができる。該要請を受信した１または複数の他の電子装置は、要請と係わる追加機能またはサービスを実行し、その実行の結果を、電子装置ＥＤ０１に伝達することができる。そのために、クラウドコンピューティング技術、分散コンピューティング技術及び／またはクライアント・サーバコンピューティング技術が利用されうる。
図１１は、図１０の電子装置に具備されるカメラモジュールＥＤ８０を概略的に例示したブロック図である。カメラモジュールＥＤ８０は、前述の映像獲得装置１００を含むものでもあり、あるいはそこから変形された構造を有することができる。図１１を参照すれば、カメラモジュールＥＤ８０は、レンズアセンブリＣＭ１０、フラッシュＣＭ２０、イメージセンサＣＭ３０、イメージスタビライザＣＭ４０、メモリＣＭ５０（バッファメモリなど）及び／またはイメージシグナルプロセッサＣＭ６０を含むものでもある。
イメージセンサＣＭ３０は、図１ないし図３を参照して説明したイメージセンサであり、フォトンカウンティングを利用する。従って、イメージセンサＣＭ３０のピクセルサイズを最小化させながら、ＨＤＲと高いフレームレートとを具現することができる。一実施形態によるイメージセンサＣＭ３０のピクセルは、ＳＰＡＤを含み、ピクセルに入射されたフォトンによって生成された電気信号を基に、パルス信号を生成し、該パルス信号の数をカウンティングして出力するカウンタを含み、該パルス信号の周期は、イメージセンサＣＭ３０の周辺照度によっても変調される。従って、イメージセンサＣＭ３０は、ピクセルの大きさを小さくすることができ、フレームレートを向上させることができる。
レンズアセンブリＣＭ１０は、イメージ撮影の対象である被写体から放出される光を収集することができる。カメラモジュールＥＤ８０は、複数のレンズアセンブリＣＭ１０を含むこともでき、そのような場合、カメラモジュールＥＤ８０は、デュアルカメラ、３６０°カメラまたは球形カメラ（spherical camera）にもなる。複数のレンズアセンブリＣＭ１０のうち一部は、同一レンズ属性（画角、焦点距離、自動焦点、Ｆナンバー（Ｆ number）、光学ズームなど）を有するか、あるいは他のレンズ属性を有することができる。レンズアセンブリＣＭ１０は、広角レンズまたは望遠レンズを含むものでもある。
レンズアセンブリＣＭ１０は、イメージセンサＣＭ３０に具備されるイメージセンサが被写体の光学像を形成するようにも構成され、かつ／あるいはフォーカス制御されうる。
フラッシュＣＭ２０は、被写体から放出または反射される光を強化させるために使用される光を放出することができる。フラッシュＣＭ２０は、１または複数の発光ダイオード（ＲＧＢ（Red-Green-Blue）ＬＥＤ、White ＬＥＤ、Infrared ＬＥＤ、Ultraviolet ＬＥＤなど）及び／またはキセノンランプを含むものでもある。
イメージスタビライザＣＭ４０は、カメラモジュールＥＤ８０、またはそれを含む電子装置ＣＭ８０の動きに反応し、レンズアセンブリＣＭ１０に含まれた１または複数個のレンズまたはイメージセンサ２００を特定方向に動かすか、あるいはイメージセンサ２００の動作特性を制御（リードアウト（read-out）タイミングの調整など）し、動きによる否定的な影響が補償されるようにすることができる。イメージスタビライザＣＭ４０は、カメラモジュールＥＤ８０の内部または外部に配されたジャイロセンサ（図示せず）または加速度センサ（図示せず）を利用し、カメラモジュールＥＤ８０または電子装置ＥＤ０１の動きを感知することができる。イメージスタビライザＣＭ４０は、光学式によっても具現される。
メモリＣＭ５０は、イメージセンサ２００を介して獲得されたイメージの一部データまたは全体データが、次のイメージ処理作業のために保存することができる。例えば、複数のイメージが高速に獲得される場合、獲得された原本データ（ベイヤーパターン（Bayer-patterned）データ、高解像度データなど）は、メモリＣＭ５０に保存して、低解像度イメージのみをディスプレイした後、選択された（ユーザ選択など）イメージの原本データがイメージシグナルプロセッサＣＭ６０に伝達されるようにするのにも使用される。メモリＣＭ５０は、電子装置ＥＤ０１のメモリＥＤ３０に統合されているか、あるいは独立して運用される別途のメモリとしても構成される。
イメージシグナルプロセッサＣＭ６０は、イメージセンサＣＭ３０を介して獲得されたイメージ、またはメモリＣＭ５０に保存されたイメージデータにつき、イメージ処理を行うことができる。
該イメージ処理は、それ以外にも、デプスマップ（depth map）生成、三次元モデリング、パノラマ生成、特徴点抽出、イメージ合成及び／またはイメージ補償（ノイズ低減、解像度調整、明るさ調整、ブラーリング（blurring）、シャープニング（sharpening）、ソフトニング（softening）など）を含むものでもある。イメージシグナルプロセッサＣＭ６０は、カメラモジュールＥＤ８０に含まれた構成要素（イメージセンサＣＭ３０など）に対する制御（露出時間制御またはリードアウトタイミング制御など）を行うことができる。イメージシグナルプロセッサＣＭ６０によって処理されたイメージは、追加処理のために、メモリＣＭ５０にさらに保存されるか、あるいはカメラモジュールＥＤ８０の外部構成要素（メモリＥＤ３０、表示装置ＥＤ６０、電子装置ＥＤ０２、電子装置ＥＤ０４、サーバＥＤ０８など）にも提供される。イメージシグナルプロセッサＣＭ６０は、プロセッサＥＤ２０に統合されるか、あるいはプロセッサＥＤ２０と独立して運用される別途のプロセッサによっても構成される。イメージシグナルプロセッサＣＭ６０がプロセッサＥＤ２０と別途のプロセッサによって構成された場合、イメージシグナルプロセッサＣＭ６０によって処理されたイメージは、プロセッサＥＤ２０により、追加のイメージ処理を経た後、表示装置ＥＤ６０を介しても表示される。
電子装置ＥＤ０１は、それぞれ異なる属性または機能を有する複数のカメラモジュールＥＤ８０を含むものでもある。そのような場合、複数のカメラモジュールＥＤ８０のうち一つは、広角カメラであり、他の一つは、望遠カメラでもある。類似して、複数のカメラモジュールＥＤ８０のうち一つは、前面カメラであり、他の一つは、背面カメラでもある。
図１２ないし図２１は、一実施形態による映像獲得装置１００が適用された電子装置の多様な例を示す。
一実施形態による映像獲得装置は、図１２に図示されたモバイルフォンまたはスマートフォン５１００ｍ、図１３に図示されたタブレットまたはスマートタブレット５２００、図１４に図示されたデジタルカメラまたはカムコーダ５３００、図１５に図示されたノート型パソコン５４００にまたは、図１９に図示されたテレビまたはスマートテレビ５５００などにも適用される。例えば、スマートフォン５１００ｍまたはスマートタブレット５２００は、高解像度イメージセンサがそれぞれ搭載された複数の高解像度カメラを含むものでもある。高解像度カメラを利用し、映像内被写体のデプス情報を抽出するか、映像のアウトフォーカシングを調節するか、あるいは映像内被写体を自動的に識別することができる。
また、映像獲得装置１００は、図１７に図示されたスマート冷蔵庫５６００、図１８に図示された保安カメラ５７００、図１９に図示されたロボット５８００、図２０に図示された医療用カメラ５９００などにも適用される。例えば、スマート冷蔵庫５６００は、映像獲得装置１００を利用し、冷蔵庫内にある飲食物を自動的に認識し、特定飲食物の存在いかん、入庫または出庫された飲食物の種類などを、スマートフォンを介し、ユーザに知らせることができる。保安カメラ５７００は、超解像度映像を提供することができ、高感度を利用し、暗い環境においても、映像内の事物または人を認識可能にすることができる。ロボット５８００は、人が直接近付くことができない災害現場または産業現場に投入され、高解像度映像を提供することができる。医療用カメラ５９００は、診断または手術のための高解像度映像を提供することができ、視野を動的に調節することができる。
また、映像獲得装置１００は、図２１に図示されているように、車両６０００にも適用される。車両６０００は、多様な位置に配された複数の車両用カメラ６０１０，６０２０，６０３０，６０４０を含むものでもあり、それぞれの車両用カメラ６０１０，６０２０，６０３０，６０４０は、本実施形態による映像獲得装置１００を含むものでもある。車両６０００は、複数の車両用カメラ６０１０，６０２０，６０３０，６０４０を利用し、車両６０００内部または周辺に係わる多様な情報を運転者に提供することができ、映像内の事物または人を自動的に認識し、自律走行に必要な情報を提供することができる。
前述のイメージセンサ、映像獲得装置、及びそれらを含む電子装置が、たとえ図面に図示された実施形態を参照して説明されたにしても、それらは、例示的なものに過ぎず、当該分野において当業者であるならば、それらから多様な変形、及び均等な他の実施形態が可能であるという点を理解するであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。権利範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、権利範囲に含まれたものであると解釈されなければならないのである。
１００ 映像獲得装置
２００ イメージセンサ（ピクセルアレイ）
２１０ ピクセル
２１１ フォトダイオード
２１２ パルス生成器
２１３ カウンタ
３００ イメージセンサ制御部
４００ 照度センサ

Claims (20)

  1. フォトンカウンティングを利用したイメージセンサにおいて、
    前記イメージセンサは、多数のピクセルを含み、それぞれのピクセルは、
    フォトダイオードと、
    前記フォトダイオードに入射されたフォトンによって生成された電気信号を基に、パルス信号を生成するパルス生成器と、
    前記パルス信号の数をカウンティングして出力するカウンタと、を含み、
    前記パルス信号の周期は、前記イメージセンサの周辺照度によって変調される、イメージセンサ。
  2. 前記フォトダイオードは、
    ＳＰＡＤ（Single Photon Avalanche Diode）である、請求項１に記載のイメージセンサ。
  3. 前記周辺照度が臨界値以上である場合、前記パルス信号の周期が事前に一定長ほど増大される、請求項１に記載のイメージセンサ。
  4. 前記カウンタでカウンティングされた値が臨界値以上である場合、前記パルス信号の周期が事前に一定長ほど増大される、請求項１に記載のイメージセンサ。
  5. 多数のピクセルを含むピクセルアレイと、
    それぞれのピクセルとそれぞれ接続され、前記ピクセルに入射されたフォトンによって生成された電気信号を基に、パルス信号を生成するパルス生成器と、
    それぞれのパルス生成器とそれぞれ接続され、前記パルス信号の数をカウンティングして出力するカウンタと、
    それぞれのカウンタの出力値を利用して映像信号を生成するイメージセンサ制御部と、を含み、
    前記イメージセンサ制御部は、
    周辺照度により、前記パルス信号の周期を変調させる、映像獲得装置。
  6. 前記イメージセンサ制御部は、
    前記カウンタの出力値が臨界値以上である場合、前記パルス信号の周期を事前に一定長ほど増大させる、請求項５に記載の映像獲得装置。
  7. 前記周辺照度を感知する照度センサをさらに含み、
    前記イメージセンサ制御部は、
    前記照度センサから感知された照度値が臨界値以上である場合、前記パルス信号の周期を事前に一定長ほど増大させる、請求項５に記載の映像獲得装置。
  8. 前記イメージセンサ制御部は、
    前記映像信号を生成するためのフレームを複数のサブフレームに分割する、請求項５に記載の映像獲得装置。
  9. 前記イメージセンサ制御部は、
    それぞれのサブフレームに係わる前記カウンタの出力値と前記カウンタの容量とを比較し、前記比較結果により、前記パルス信号の周期を変調させる、請求項８に記載の映像獲得装置。
  10. 前記イメージセンサ制御部は、
    第１サブフレームに係わる前記カウンタの出力値が前記カウンタの容量より大きい場合、第２サブフレームに係わる前記パルス信号の周期を第１時間ほど増大させる、請求項８に記載の映像獲得装置。
  11. 前記イメージセンサ制御部は、
    前記第２サブフレームに係わる前記カウンタの出力値が前記カウンタの容量より大きい場合、第３サブフレームに係わる前記パルス信号の周期を、前記第１時間より長い第２時間ほど増大させる、請求項１０に記載の映像獲得装置。
  12. 前記イメージセンサ制御部は、
    前記第３サブフレームに係わる前記カウンタの出力値が前記カウンタの容量より小さい場合、前記第１サブフレームないし前記第３サブフレームに係わるカウンタのそれぞれの出力値、及びそれぞれのパルス信号の周期を利用し、前記映像信号を生成する、請求項１１に記載の映像獲得装置。
  13. 前記ピクセルは、
    ＳＰＡＤ（Single Photon Avalanche Diode）である、請求項５に記載の映像獲得装置。
  14. 前記イメージセンサ制御部は、
    １つのフレームを複数個のサブフレームに分割し、
    それぞれのサブフレームごとに順次にフォトンカウンティング動作を遂行する、請求項５に記載の映像獲得装置。
  15. 前記イメージセンサ制御部は、
    それぞれのサブフレームにつき、順次に前記パルス信号の周期を変調させる、請求項１４に記載の映像獲得装置。
  16. それぞれのサブフレームにつき、前記カウンタの出力値が前記カウンタの容量を超過していないサブフレームまで、前記フォトンカウンティング動作を遂行する、請求項１５に記載の映像獲得装置。
  17. それぞれのサブフレーム内の前記パルス信号の周期は、同一である、請求項１５に記載の映像獲得装置。
  18. それぞれのサブフレーム間の前記パルス信号の周期が異なる、請求項１５に記載の映像獲得装置。
  19. 前記ピクセルアレイ、前記パルス生成器及び前記カウンタは、ピクセル内に配され、前記イメージセンサ制御部は、ピクセル外部に配された、請求項５に記載の映像獲得装置。
  20. 請求項５ないし１９のうちいずれか１項に記載の映像獲得装置を含む電子装置。
JP2022152207A 2021-10-28 2022-09-26 イメージセンサ、映像獲得装置、及びそれらを含む電子装置 Pending JP2023066374A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210145863A KR20230061032A (ko) 2021-10-28 2021-10-28 이미지 센서, 영상 획득 장치 및 이를 포함하는 전자 장치
KR10-2021-0145863 2021-10-28

Publications (1)

Publication Number Publication Date
JP2023066374A true JP2023066374A (ja) 2023-05-15

Family

ID=83508877

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022152207A Pending JP2023066374A (ja) 2021-10-28 2022-09-26 イメージセンサ、映像獲得装置、及びそれらを含む電子装置

Country Status (5)

Country Link
US (1) US20230139967A1 (ja)
EP (1) EP4175311A1 (ja)
JP (1) JP2023066374A (ja)
KR (1) KR20230061032A (ja)
CN (1) CN116055904A (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9210350B2 (en) * 2013-12-09 2015-12-08 Omnivision Technologies, Inc. Low power imaging system with single photon avalanche diode photon counters and ghost image reduction
JP2019075440A (ja) * 2017-10-13 2019-05-16 キヤノン株式会社 光検出装置、撮像装置、及び撮像システム
EP3732501A4 (en) * 2018-02-13 2021-08-25 Sense Photonics, Inc. PROCESSES AND SYSTEMS FOR HIGH-RESOLUTION FLASH LIDAR WITH LARGE RANGE
JP7193926B2 (ja) * 2018-04-23 2022-12-21 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP7321713B2 (ja) * 2019-01-30 2023-08-07 キヤノン株式会社 光電変換装置、撮像システム、移動体
US11784195B2 (en) * 2021-01-07 2023-10-10 Canon Kabushiki Kaisha Photoelectric conversion apparatus and photodetection system
KR20230128061A (ko) * 2021-01-07 2023-09-01 캐논 가부시끼가이샤 광전변환장치, 광 검출 시스템, 및 이동체
TW202312679A (zh) * 2021-09-08 2023-03-16 日商佳能股份有限公司 光電轉換裝置和光電轉換系統
JP2023061646A (ja) * 2021-10-20 2023-05-02 キヤノン株式会社 光電変換装置、光電変換システム、移動体、機器

Also Published As

Publication number Publication date
US20230139967A1 (en) 2023-05-04
CN116055904A (zh) 2023-05-02
EP4175311A1 (en) 2023-05-03
KR20230061032A (ko) 2023-05-08

Similar Documents

Publication Publication Date Title
US10750097B2 (en) Varying exposure time of pixels in photo sensor using motion prediction
US9257461B2 (en) Image device including dynamic vision sensor, ambient light sensor and proximity sensor function
US11310447B2 (en) Image sensor controlling a conversion gain, imaging device having the same, and method of operating the same
US11736823B2 (en) Integrated high-speed image sensor and operation method thereof
US20230239576A1 (en) Method, apparatus, and storage medium for providing slow shutter
EP3993405A2 (en) Integrated image sensor with internal feedback and operation method thereof
US20230122998A1 (en) Electronic device synchronizing lens driving information and images
JP2023066374A (ja) イメージセンサ、映像獲得装置、及びそれらを含む電子装置
US12010444B2 (en) Image sensor, image acquisition apparatus, and electronic apparatus including the image acquisition apparatus for synchronization and serialization of generated pulses
US11997401B2 (en) Image sensor, image acquisition apparatus, and electronic apparatus with improved performance
US20220311940A1 (en) Electronic apparatus including camera and control method thereof
WO2022002174A1 (zh) 图像传感器、3d摄像头、图像传感器的控制方法
CN117280705A (zh) 电子装置及其图像捕获方法
KR20220059904A (ko) 집적 고속 영상 센서 및 그 작동 방법
US20240178248A1 (en) Image sensor including multi-spectral filter and electronic device including the image sensor
US20220357425A1 (en) LiDAR DEVICE AND ELECTRONIC APPARATUS INCLUDING THE SAME
US20240007732A1 (en) Electronic device including plurality of cameras
US20240089609A1 (en) Image processing method and electronic device therefor
US20230396889A1 (en) Image capturing method for electronic device, and electronic device therefor
US20240063246A1 (en) Image sensor using method of driving hybrid shutter and image processing apparatus including the same
KR20220059905A (ko) 내부 피드백을 갖는 집적 영상 센서 및 그 작동 방법
US20230325995A1 (en) Method and apparatus for acquiring image using multispectral sensor
US20240244333A1 (en) Apparatus and method for obtaining image employing color separation lens array
KR20220101998A (ko) 자동 초점 조절이 가능한 전자 장치 및 그 동작 방법