JP2018207446A - 固体撮像素子，当該固体撮像素子を用いた観察装置，固体撮像素子の駆動方法及び駆動用プログラム - Google Patents

固体撮像素子，当該固体撮像素子を用いた観察装置，固体撮像素子の駆動方法及び駆動用プログラム Download PDF

Info

Publication number
JP2018207446A
JP2018207446A JP2017114268A JP2017114268A JP2018207446A JP 2018207446 A JP2018207446 A JP 2018207446A JP 2017114268 A JP2017114268 A JP 2017114268A JP 2017114268 A JP2017114268 A JP 2017114268A JP 2018207446 A JP2018207446 A JP 2018207446A
Authority
JP
Japan
Prior art keywords
light receiving
receiving element
unit
solid
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017114268A
Other languages
English (en)
Inventor
幸治 青田
Koji Aota
幸治 青田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2017114268A priority Critical patent/JP2018207446A/ja
Priority to US15/992,142 priority patent/US10616508B2/en
Priority to CN201810568449.6A priority patent/CN109040536B/zh
Publication of JP2018207446A publication Critical patent/JP2018207446A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/095—Refractive optical elements
    • G02B27/0955—Lenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】高画質な画像データを高速に取得するのと同時に観察対象物に関する距離データを取得し得る構造の固体撮像素子を提供することである。【解決手段】固体撮像素子１１は、受光面に設けられたレンズ１０３と、レンズを介して対象物から入射する光を受光する第１の受光素子１０１と、第１の受光素子の下層に設けられレンズ及び第１の受光素子を介して対象物から入射する光を受光して対象物までの距離に関する情報を取得する第２の受光素子１０２とが積層構造を成して一単位の受光部１００が形成されており、受光部が２次元に配列して形成されている。【選択図】図３

Description

この発明は、所望の対象物を観察する観察装置において適用される固体撮像素子，当該固体撮像素子を用いた観察装置，固体撮像素子の駆動方法及び駆動用プログラムに関するものである。
従来、撮像光学系及び固体撮像素子等を含む撮像ユニットを用いて所望の対象物を観察する観察装置については、種々の形態のものが実用化されている。例えば、近年においては、撮像ユニットを用いて培養器内の細胞等の試料を透過照明によって観察する観察装置等についての提案がなされており、また実用化されている。
この種の従来の観察装置は、例えば培養器内の細胞等の試料（観察対象物）の全体を自動的に走査する機能を備えるほか、当該試料（観察対象物）の所望の部位を任意に拡大観察する機能等を有して構成されている。
従来の観察装置を用いて所望の観察対象物の観察を行う場合、撮像ユニットは、撮像光学系によって観察対象物の光学像を形成し、この光学像を固体撮像素子の結像面上に結像させ、当該固体撮像素子が光電変換処理を行うことによって、上記観察対象物の画像データを生成する。
また、従来の観察装置における撮像ユニットにおいては、観察対象物の光学像を形成するのに際して自動焦点調節動作（以下、ＡＦ動作という）を行う。このＡＦ動作は、例えば、撮像光学系を光軸に沿う方向へと移動させながら、固体撮像素子により取得される画像データに基づく画像の最大コントラストを検出して合焦状態を検出するいわゆるコントラスト検出方式のＡＦ動作が一般に採用されている。
しかしながら、上記コントラスト検出方式のＡＦ動作は、高精度な合焦結果を得ることができる一方、ＡＦ動作に時間がかかるという問題点がある。例えば、観察対象物全体を走査して撮像する場合、走査及び撮像の対象とする全エリアを分割し、各エリア毎にＡＦ動作及び撮像動作を繰り返すことになる。したがって、観察対象物全体のＡＦ動作及び撮像動作を完了するまでには膨大な時間がかかってしまうことになる。
一方、近年の観察装置においては、撮像ユニットに含まれる固体撮像素子を用いて取得することのできる情報としては、一般的な通常のカラー画像情報だけではなく、特殊光観察（例えば蛍光観察や赤外光観察等）の画像情報や、所望の観察対象物までの距離情報（距離データ等を同時に取得することができるようにした観察装置が、種々提案されている。
例えば、観察装置の撮像ユニットに含まれる固体撮像素子として、次に示すような形態の固体撮像素子を採用することによって、例えば距離データ等を取得するようにした観察装置が、例えば特開２０１６−５２０５４号公報等によって提案されている。
上記特開２０１６−５２０５４号公報等によって開示されている観察装置は、例えば、固体撮像素子の受光平面内に２次元配列（a two-dimensional array）の複数の受光素子のうち、一部を除く略全領域に位相差検出方式若しくは瞳分割方式の焦点検出が可能な受光素子を配置すると共に、一部の領域には、ＴＯＦ(Time Of Flight)方式の距離画像センサー（ダイレクトに距離データを取得し得る素子）を配置する形態の固体撮像素子を採用している。
特開２０１６−５２０５４号公報
ところが、上記特開２０１６−５２０５４号公報等によって開示されている観察装置は、受光平面内の一部領域にＴＯＦ方式の距離画像センサーを配置しているために、その部分の画像データを取得することができないという問題点があり、これに起因して画質を劣化させる要因になるという問題点がある。また、画像データを取得できない領域については画素補間処理等が必要となることから、画像データ生成時の信号処理が増加すると共に処理が複雑化してしまうという問題点もある。
さらに、受光平面内の一部領域にＴＯＦ方式の距離画像センサーを用いる場合、これを作用させるためには、所望の観察対象に対して照明光の照射を所定のタイミングで行う必要がある。しかし、例えば培養器内の細胞等の試料を観察対象物とする場合、観察対象物への照明光の照射は、細胞等の試料（観察対象物）に悪影響を及ぼす場合もある。したがって、このことを考慮すると、観察対象物への照明光の照射時間は極力短時間に抑えたいという要望がある。
さらにまた、位相差検出方式若しくは瞳分割方式の焦点検出が可能な受光素子では、画像形成用受光素子をも兼ねることから、画像データの読み出しのタイミングの制御が必要になる。さらに、ＴＯＦ方式の距離画像センサーに対する照明光のオンオフタイミングの制御と、当該距離画像センサーのデータ読み出しタイミングの制御等を同時に行う必要がある。したがって、これら種々の制御が複雑になってしまうという問題点がある。
本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、取得される画像データの画質を劣化させることなく高画質な画像データを高速に取得することができると共に、所望の観察対象物に関する距離データを同時に取得することができるようにした固体撮像素子，当該固体撮像素子を用いた観察装置，固体撮像素子の駆動方法及び駆動用プログラムを提供することである。
上記目的を達成するために、本発明の一態様の固体撮像素子は、受光面に設けられたレンズと、前記レンズを介して対象物から入射する光を受光する第１の受光素子と、前記第１の受光素子の下層に設けられ、前記レンズ及び前記第１の受光素子を介して前記対象物から入射する光を受光して対象物までの距離に関する情報を取得する第２の受光素子とが積層構造を成して一単位の受光部が形成されており、前記受光部が２次元に配列して形成されている。
本発明の一態様の観察装置は、受光面に設けられたレンズと、前記レンズを介して対象物から入射する光を受光する第１の受光素子と、前記第１の受光素子の下層に設けられ前記レンズ及び前記第１の受光素子を介して前記対象物から入射する光を受光して対象物までの距離に関する情報を取得する第２の受光素子とが積層構造を成して一単位の受光部が形成されており、前記受光部が２次元に配列して形成されている固体撮像素子と、前記固体撮像素子の受光面に観察対象物の光学像を結像させる撮像光学系とを有する撮像ユニットと、観察対象物に照明光を照射する照明ユニットと、前記撮像ユニットによって取得された画像信号に基づいて観察対象物の画像を表示する表示ユニットと、前記撮像ユニット，前記照明ユニット，前記表示ユニットを駆動制御する制御部を有するコントロールユニットとを具備する。
本発明の一態様の固体撮像素子の駆動方法は、レンズと第１の受光素子と第２の受光素子とを積層構造で形成した受光部を２次元に配列して形成した固体撮像素子の駆動方法であって、前記第１の受光素子からの信号読出処理の終了後に、前記第２の受光素子の信号読出処理を実行する。
本発明の一態様の固体撮像素子の駆動用プログラムは、レンズと第１の受光素子と第２の受光素子とを積層構造で形成した受光部を２次元に配列して形成した固体撮像素子の駆動用プログラムであって、垂直同期信号を発生させる手順と、前記垂直同期信号に同期させて前記第１の受光素子及び第１照明部の駆動制御を開始させる手順と、前記第１の受光素子及び前記第１照明部の駆動制御の開始から所定時間の経過後に、前記第１の受光素子及び前記第１照明部の駆動を停止させる手順と、前記第１の受光素子及び前記第１照明部の駆動停止後に、前記第２の受光素子及び第２の照明部の駆動制御を開始させる手順と、前記第２の受光素子及び前記第２照明部の駆動制御の開始から所定時間の経過後に、前記第２の受光素子及び前記第２照明部の駆動を停止させる手順とをコンピュータに実行させる。
本発明によれば、取得される画像データの画質を劣化させることなく高画質な画像データを高速に取得することができると共に、所望の観察対象物に関する距離データを同時に取得することができるようにした固体撮像素子，当該固体撮像素子を用いた観察装置，固体撮像素子の駆動方法及び駆動用プログラムを提供することができる。
本発明の一実施形態の固体撮像素子を用いた観察装置の概略構成を示すブロック構成図 本発明の一実施形態の固体撮像素子における受光面の一部を拡大して示す平面図 本発明の一実施形態の固体撮像素子を構成する受光部の一単位を取り出して概念的に示す要部分解斜視図 本発明の一実施形態の固体撮像素子における受光面の一部を拡大して示し、図２の［４］−［４］線に沿う断面図 本発明の一実施形態の固体撮像素子において、第１変形例の受光部を適用した固体撮像素子の受光面の一部を拡大して示す平面図 本発明の一実施形態の固体撮像素子において、第１変形例の受光部の一単位を取り出して概念的に示す要部分解斜視図 本発明の一実施形態の固体撮像素子において、第２変形例の受光部を適用した固体撮像素子の受光面の一部を拡大して示す平面図 本発明の一実施形態の固体撮像素子において、第２変形例の受光部の一単位を取り出して概念的に示す要部分解斜視図 本発明の一実施形態の固体撮像素子において、第３変形例の受光部を適用した固体撮像素子の受光面の一部を拡大して示す平面図 本発明の一実施形態の固体撮像素子において、第３変形例の受光部の一単位を取り出して概念的に示す要部分解斜視図 本発明の一実施形態の固体撮像素子において、第４変形例の受光部を適用した固体撮像素子の受光面の一部を拡大して示す平面図 本発明の一実施形態の固体撮像素子において、第４変形例の受光部の一単位を取り出して概念的に示す要部分解斜視図 本発明の一実施形態の固体撮像素子において、第５変形例の受光部の一単位を取り出して概念的に示す要部分解斜視図 本発明の一実施形態の固体撮像素子の電気的な構成の概略を示すブロック構成図 本発明の一実施形態の固体撮像素子の電気的な構成についての別の変形例を示すブロック構成図 本発明の一実施形態の固体撮像素子の作用を示すタイミングチャート 本発明の一実施形態の固体撮像素子の第２作用例を示すタイミングチャート 本発明の一実施形態の固体撮像素子の第３作用例を示すタイミングチャート
以下、図示の実施の形態によって本発明を説明する。以下の説明に用いる各図面は模式的に示すものであり、各構成要素を図面上で認識できる程度の大きさで示すために、各部材の寸法関係や縮尺等を各構成要素毎に異ならせて示している場合がある。したがって、本発明は、各図面に記載された各構成要素の数量や各構成要素の形状や各構成要素の大きさの比率や各構成要素の相対的な位置関係等に関して、図示の形態のみに限定されるものではない。
［一実施形態］
本発明の一実施形態は、例えば、撮像光学系及び固体撮像素子等を含む撮像ユニットを用いて培養器内の細胞等の試料を透過照明によって観察する観察装置を例示するものである。
なお、本実施形態の観察装置においては、透過照明によって観察対象物を観察するように構成した照明ユニットを例示するが、照明ユニットの形態としては、この形態（透過照明）に限定されるものではない。他の形態の照明ユニットとしては、例えば、反射照明等によって観察対象物を照明する形態のものを適用するようにしてもよい。
まず、本発明の固体撮像素子の詳細構成を説明する前に、本発明の固体撮像素子を用いた観察装置の概略構成を、図１を用いて以下に説明する。図１は、本発明の一実施形態の固体撮像素子を用いた観察装置の概略構成を示すブロック構成図である。
図１に示すように、本実施形態の固体撮像素子１１を用いた観察装置１は、撮像ユニット１０と、コントロールユニット２０と、照明ユニット３０と、表示ユニット４０と、培養器５０を含む駆動ユニット等によって主に構成されている。
撮像ユニット１０は、観察を対象とする観察対象物の光学像を電気信号に変換して画像データを出力する構成ユニットである。この撮像ユニット１０は、固体撮像素子（solid state image sensor）１１と、撮像光学系１２と、レンズ駆動部１３と、撮像ユニット駆動部１４等によって主に構成されている。
固体撮像素子１１は、観察対象物の光学像を受けて、この光学像を電気信号に変換し、観察対象物に基く画像信号を生成すると同時に、観察対象物までの距離情報（距離データ）等の各種情報を取得するための光電変換素子である。なお、当該固体撮像素子１１は、本発明の主要部であり、その詳細な構成については後述する。
撮像光学系１２は、複数の光学レンズ及びこれら複数の光学レンズを保持するレンズ鏡筒等によって構成され、観察対象物の光学像を形成するための構成ユニットである。この撮像光学系１２によって形成された観察対象物の光学像は、固体撮像素子１１の所定の結像面上に結像する。
レンズ駆動部１３は、撮像光学系１２を駆動する駆動機構及び駆動源等を含んで構成される構成ユニットである。例えば、レンズ駆動部１３は、撮像光学系１２を、その光軸に沿う方向に進退移動させることによって焦点調節動作を行う。ここで行われる焦点調節動作は、例えば、固体撮像素子１１から出力される情報に基づいて後述するコントロールユニット２０の制御部２１によって制御される。
撮像ユニット駆動部１４は、撮像ユニット１０を観察対象物に対して所定の平面内で移動させるための駆動機構及び駆動源等を含んで構成される構成ユニットである。この撮像ユニット駆動部１４は、コントロールユニット２０の制御部２１によって駆動制御がなされる。なお、当該撮像ユニット駆動部１４自体は、本発明に直接関連しない部分であるので、その詳細構成は省略する。
コントロールユニット２０は、観察装置１の各構成ユニットを統括的に制御する構成ユニットである。このコントロールユニット２０は、制御部２１と、信号読出部２２と、画像処理部２３と、信号解析部２４と、計数部２５と、外部インターフェース部（外部ＩＦ部）２６等によって主に構成されている。
制御部２１は、本観察装置１の各構成ユニットをそれぞれ制御する制御回路である。
信号読出部２２は、撮像ユニット１０の固体撮像素子１１からの出力信号（光電変換された電気信号）を読み出す信号読出処理を行う回路部である。この信号読出部２２によって読み出された信号は、画像処理部２３や信号解析部２４へと出力されて、それぞれの各所において所定の信号処理が施される。
画像処理部２３は、信号読出部２２からの出力信号を受けて、各種の画像信号処理、例えば表示用画像データや記録用画像データ等のほか、計数処理用画像データ等を生成する処理を施す回路部である。この画像処理部２３において生成された画像データは、表示ユニット４０，計数部２５等へと出力されて、それぞれの各所において所定の処理が行われる。また、画像処理部２３において生成された画像データのうちの一部は、外部インターフェース部２６を介して当該コントロールユニット２０に接続される外部装置（不図示）へと出力される。
信号解析部２４は、信号読出部２２からの出力信号を受けて、各種のデータ解析処理を行って各種の情報データを生成する回路部である。この信号解析部２４においては、例えば、固体撮像素子１１により生成される画像信号から得られる距離情報（距離データ）や画像の位相差情報（フォーカスデータ）等に基づいて観察対象物の合焦状態の検出等を行って自動焦点調節処理（ＡＦ処理）に用いる情報を算出したり、画像の輝度等の検出を行って自動露出調節処理（ＡＥ処理）や自動ホワイトバランス調整処理に用いられる情報を算出する。
計数部２５は、画像処理部２３によって生成された計数処理用画像データに基づいて、観察対象物についての計数処理を行う回路部である。
本実施形態の観察装置１においては、観察対象物として、例えば培養器内の細胞等の試料としている。そして、上記計数部２５は、具体的には、当該細胞等の試料の計数処理を行うことを想定している。
外部インターフェース部（図１において「外部ＩＦ部」と略記している）２６は、当該コントロールユニット２０に接続される外部装置（不図示）との接続を確保するための接続回路を含む接続ユニットである。
外部ＩＦ部２６に接続される外部装置としては、例えば、画像処理部２３によって生成された記録用画像データを記録するデータ記録装置（ストレージ装置；不図示）等がある。この場合、画像処理部２３によって生成された記録用画像データは、外部ＩＦ部２６を介して当該コントロールユニット２０に接続された外部装置であるデータ記録装置（不図示）へと出力される。そして、当該データ記録装置は、受信した記録用画像データを所定の記憶領域に記録する。
照明ユニット３０は、観察対象物に照明光を照射する光源を備えた構成ユニットである。照明ユニット３０は、第１照明部３１と、第２照明部３２と、照明光反射板３３等によって主に構成されている。
第１照明部３１は、観察対象物を照明するための照明光のうち、第１の照明光を出射する照明部材及びその照明回路を含む構成部である。ここで、第１の照明光は、例えば、固体撮像素子１１によって生成される画像信号のうち観察対象物の通常画像データを形成するのに寄与する照明光である（詳細は後述する）。
第２照明部３２は、観察対象物を照明するための照明光のうち、第２の照明光
を出射する照明部材及びその照明回路を含む構成部である。ここで、第２の照明光は、例えば、固体撮像素子１１によって生成される画像信号のうち観察対象物までの距離に関する情報若しくは特殊画像データ（赤外線画像や蛍光画像データ等）を形成するのに寄与する照明光である（詳細は後述する）。
照明光反射板３３は、第１照明部３１，第２照明部３２のそれぞれから出射された照明光を観察対象物へ向けて反射させる構成物である。この照明光反射板３３は、照明光を反射しやすい反射面を有して構成されている。そして、当該照明光反射板３３によって反射された照明光は、観察対象物を照明すると共に、当該観察対象物を透過した後は撮像ユニット１０の固体撮像素子１１の受光面へと入射する。
なお、図１においては、照明ユニット３０を独立した構成ユニットとして図示しているが、この形態に限られることはない。例えば、照明ユニット３０を撮像ユニット１０に含めて構成するようにしてもよい。
また、上記照明光反射板３３については、照明光源の構成によっては不要とすることができる。例えば、第２受光素子１０２に対応する第２照明部３２として、ＴＯＦ式距離画像センサーに適合する照明を用いる場合には照明光反射板３３を用いることなく、所定の機能、即ち距離情報検出機能を実現できる。
表示ユニット４０は、撮像ユニット１０によって取得した画像データに基づいて観察対象物の画像を表示する構成ユニットである。表示ユニット４０は、表示パネルとその駆動回路及び表示用画像データの入力回路（不図示）等によって構成される構成ユニットである。当該表示ユニット４０は、コントロールユニット２０と電気的に接続されている。そして、当該表示ユニット４０は、画像処理部２３によって生成された表示用画像データを受けて観察対象物の画像を表示パネル（不図示）を用いて表示する。
培養器５０は、観察対象物としての試料５１を内部に収納し、外気との閉鎖空間を形成する容器である。この培養器５０は、照明光を透過させ得るように、ガラス若しくは樹脂製部材を用いた透明部材によって形成されている。なお、培養器５０は、従来一般に用いられている通常形態のものを適用し得る。
観察装置１に関するその他の構成は、従来一般的な形態のものと同様であるものとして、他の部位の構成の説明及び図示は省略する。
このように構成された観察装置１の撮像ユニット１０において、本実施形態の固体撮像素子１１が適用されている。
次に、本実施形態の固体撮像素子１１の詳細構成について、図２〜図４を用いて以下に説明する。
図２〜図４は、本発明の一実施形態の固体撮像素子の構成を概念的に示す図である。このうち図２は、本発明の一実施形態の固体撮像素子における受光面の一部を拡大して示す平面図である。図３は、本発明の一実施形態の固体撮像素子を構成する受光部の一単位を取り出して概念的に示す要部分解斜視図である。図４は、本発明の一実施形態の固体撮像素子における受光面の一部を拡大して示す断面図である。なお、図４は、図２の［４］−［４］線に沿う断面を示している。
本実施形態の固体撮像素子１１は、上述したように、観察対象物の光学像を受けて、観察対象物の画像信号を生成すると同時に、観察対象物までの距離データ等の各種情報を取得する光電変換素子である。
固体撮像素子１１は、図２に示すように、複数の受光部１００を２次元に配列して形成されている。ここで、複数の受光部１００が配列される２次元平面は、図２，図３に示すＸ軸及びＹ軸を含むＸＹ平面に平行な面である。この２次元平面を、以下受光面というものとする。また、図３に示すように、上記ＸＹ平面（受光面）に対して直交する軸を符号Ｚで示し、このＺ軸をマイクロレンズ１０３の光軸というものとする。
本実施形態の固体撮像素子１１における一単位の受光部１００は、第１受光素子１０１と、第２受光素子１０２と、マイクロレンズ１０３と、配線１０４及び回路基板等によって主に構成されている。
そして、本実施形態の固体撮像素子１１を構成する上記一単位の受光部１００のそれぞれは、図３，図４に示すように、上層からマイクロレンズ１０３，第１受光素子１０１，第２受光素子１０２の順に、積層構造を成すように構成されている。
マイクロレンズ１０３は、受光面に設けられるいわゆるオンチップマイクロレンズである。マイクロレンズ１０３は、観察対象物からの光を入射させて、当該観察対象物の光学像を所定の結像面上に結像させる光学部材である。このマイクロレンズ１０３の下層部分には、第１受光素子１０１が設けられている。
第１受光素子１０１は、マイクロレンズ１０３を介して入射する観察対象物からの光を受光して通常画像データを取得する通常画像情報取得用の受光素子（電気部品）である。この第１受光素子１０１は、例えば、光を検出して電荷を発生させるフォトダイオード等が適用されている。なお、本実施形態においては、第１受光素子１０１は単一の受光面によって形成した例を示している。当該第１受光素子１０１の下層部分には、第２受光素子１０２が設けられている。
第２受光素子１０２は、マイクロレンズ１０３及び第１受光素子１０１を介して入射する観察対象物からの光を受けて、当該観察対象物までの距離に関する距離データを取得する距離画像検出用の受光素子（電気部品）である。この第２受光素子１０２は、ＴＯＦ(Time of Flight)法によって距離計測を行う距離画像センサー（ＴＯＦ式距離画像センサーという）である。
ここで、ＴＯＦ式距離画像センサーは、照明光が観察対象物によって反射した後に入射する光の位相の変化、あるいは光の飛行に伴う遅れ時間に反応する受光素子によってダイレクトに距離データを計測し取得する素子（センサー）である。
なお、本実施形態においては、第２受光素子１０２は２分割された受光面によって形成されている例を示している。この場合において、第２受光素子１０２の２分割された受光面のそれぞれは、各長辺が受光面上における垂直方向（Ｙ方向）に平行となるように配置されている例を示している。
そして、当該第２受光素子１０２の下層部分には、図示を省略しているが、例えば信号処理回路や一時メモリ等を実装する回路基板が配設されている。そして、図４に示すように、例えば隣接する受光素子同士の間の空間等には、配線１０４等が配設されている。
なお、図２において、第２受光素子１０２は斜線（ハッチング）を付して示される領域部分である。即ち、図２における斜線（ハッチング）表記は、部材の断面を示すものではなく、単に第２受光素子１０２の配置領域を明示するために用いている。
このように構成された上記受光部１００は、上述したように、上層からマイクロレンズ１０３，第１受光素子１０１，第２受光素子１０２の順に、積層構造を成すように構成されている。このことから、第２受光素子１０２には、第１受光素子１０１を透過した光が入射する構成となっている。そのために、第２受光素子１０２への入射光量は、第１受光素子１０１への入射光量に比べて減少する。したがって、これを補うために、第２受光素子１０２の受光面積は、第１受光素子１０１の受光面積よりも大きく設定されている。
なお、図２では、第２受光素子１０２の受光面積を第１受光素子１０１の受光面積よりも大きく設定しているが、第１の受光素子と第２の受光素子とを同じ大きさで構成しても問題はない。
なお、本実施形態の固体撮像素子１１において、第1受光素子１０１および第２受光素子１０２は、列毎に信号を逐次読み出すローリングシャッタ機能を用いても良いし、全ての素子（画素）からの信号を同時に一括して読み出すことの出来るグローバルシャッタ機能を用いても良い。また、第１受光素子と第２受光素子とで異なる読出し機能を選択しても良い。
ここで、上述の一実施形態の固体撮像素子１１における受光部の構成についての各種の変形例を以下に示す。
［第１変形例］
上述の一実施形態においては、受光部１００における第１受光素子１０１を単一の受光面によって形成した例を示している。これに対し、以下に示す第１変形例では、第１受光素子を複数の分割された受光素子で構成する例を示す。
図５，図６は、本発明の一実施形態の固体撮像素子において、受光部に関する第１変形例を示す図である。図５は、第１変形例の受光部を適用した固体撮像素子１１Ａの受光面の一部を拡大して示す平面図である（図２に相当）。図６は、第１変形例の受光部の一単位を取り出して概念的に示す要部分解斜視図である（図３に相当）。
この第１変形例における受光部１００Ａは、第１受光素子１０１Ａを４つに分割した受光素子１０１Ａａ，１０１Ａｂ，１０１Ａｃ，１０１Ａｄを有して構成されている。その他の構成は、上記一実施形態と同様である。
このような構成とした場合、第１受光素子１０１Ａの複数の受光素子（１０１Ａａ，１０１Ａｂ，１０１Ａｃ，１０１Ａｄ）は、それぞれが異なる位相の光学像を表す異なる画像データを生成することができる。
したがって、この構成によれば、第１受光素子１０１Ａは、複数の受光素子（１０１Ａａ，１０１Ａｂ，１０１Ａｃ，１０１Ａｄ）によって取得された複数の画像データに基づいて、位相差検出を行うことによるフォーカスに関するフォーカスデータを生成することができると同時に、上記複数の画像データの加算処理を行うことにより通常の一つの画像データをも生成することができる。
［第２変形例］
上述の一実施形態においては、受光部１００における第２受光素子１０２を２分割された受光面によって形成し、各受光面の各長辺が受光面上における垂直方向（Ｙ方向）に平行となるように配置した例を示している。これに対し、以下に示す第２変形例では、第２受光素子の各受光面の配置が異なる例示である。
図７，図８は、本発明の一実施形態の固体撮像素子において、受光部に関する第２変形例を示す図である。図７は、第２変形例の受光部を適用した固体撮像素子１１Ｂの受光面の一部を拡大して示す平面図である（図２に相当）。図８は、第２変形例の受光部の一単位を取り出して概念的に示す要部分解斜視図である（図３に相当）。
この第２変形例における受光部１００Ｂは、第２受光素子１０２Ｂを２分割された受光面によって形成している点は上述の一実施形態と同様である。第２変形例においては、各受光面の各長辺を受光面上における水平方向（Ｘ方向）に平行となるように配置している点が異なる。
なお、第１受光素子１０１Ａは、４つに分割した受光素子１０１Ａａ，１０１Ａｂ，１０１Ａｃ，１０１Ａｄを有して構成した点は上述の第１変形例と同様である。その他の構成は、上記一実施形態と同様である。
このような構成とした場合の効果は、上述の第１変形例と同様である。
［第３変形例］
上述の一実施形態及び第１，第２変形例においては、受光部における第２受光素子を２分割された受光面によって形成した例を示している。これに対し、以下に示す第３変形例では、第２受光素子を単一の受光面として構成した例示である。
図９，図１０は、本発明の一実施形態の固体撮像素子において、受光部に関する第３変形例を示す図である。図９は、第３変形例の受光部を適用した固体撮像素子１１Ｃの受光面の一部を拡大して示す平面図である（図２に相当）。図１０は、第３変形例の受光部の一単位を取り出して概念的に示す要部分解斜視図である（図３に相当）。
この第３変形例における受光部１００Ｃは、第２受光素子１０２Ｃを単一の受光面によって形成している点において、上述の一実施形態及び第１，第２変形例と異なる。
なお、第１受光素子１０１Ａは、４つに分割した受光素子１０１Ａａ，１０１Ａｂ，１０１Ａｃ，１０１Ａｄを有して構成した点は上述の第１，第２変形例と同様である。その他の構成は、上記一実施形態と同様である。
このような構成とした場合、第２受光素子１０２Ｃの受光面積をより大きく確保することができる。したがって、これにより、第２受光素子１０２Ｃによって得られるデータ（例えば距離データ）の精度を高めることができる。その他の効果は、上述の第１，第２変形例と同様である。
［第４変形例］
上述の第３変形例においては、一単位の受光部における第２受光素子を単一の受光面によって形成した例を示している。これに対し、以下に示す第４変形例では、４つのマイクロレンズ及び４つの第１受光素子に対して単一の受光面からなる第２受光素子を設けて一単位の受光部として構成した例示である。
図１１，図１２は、本発明の一実施形態の固体撮像素子において、受光部に関する第４変形例を示す図である。図１１は、第４変形例の受光部を適用した固体撮像素子１１Ｄの受光面の一部を拡大して示す平面図である（図２に相当）。図１２は、第４変形例の受光部の一単位を取り出して概念的に示す要部分解斜視図である（図３に相当）。
この第４変形例における一単位の受光部１００Ｄは、４つのマイクロレンズ１０３と、４つの第１受光素子１０１Ａと、１つの第２受光素子１０２Ｄ等によって構成されている。
この場合において、４つのマイクロレンズ１０３は、上述の一実施形態及び上記各変形例のマイクロレンズ１０３と同形態のものが適用されている。また、４つの第１受光素子１０１Ａは、上述の各変形例の第１受光素子１０１Ａと同形態のものが適用されている。
そして、第４変形例において、第２受光素子１０２Ｄは、単一の受光面によって構成されている。この第２受光素子１０２Ｄは、上記４つのマイクロレンズ１０３及び上記４つの第１受光素子１０１Ａを覆う受光面積を有して構成されている。その他の構成は、上記一実施形態と同様である。
このような構成とした場合、第２受光素子１０２Ｄの受光面積を、さらに大きく確保することができる。
［第５変形例］
上述の一実施形態及び各変形例においては、第２受光素子としてＴＯＦ式距離画像センサーを適用する例を示しているが、第２受光素子は、上述の例に限らず、他の受光素子を適用しても良い。
例えば、図１３に示す第５変形例では、第２受光素子１０２Ｅとして、第１受光素子１０１Ａと同様のフォトダイオードを適用し、加えて、第１受光素子１０１Ａと第２受光素子１０２Ｅとの間には、所定の波長領域の光のみを通過させるカラーフィルタ１０５を設けて構成している。この場合において、上記カラーフィルタ１０５は、例えば吸収フィルタ（Barrier Filter）等とする。
そして、これに対応させて、照明ユニット３０の第２照明部３２（図１３では不図示）としては、観察対象物に対して励起光を照射する照明を適用している。
このような構成とすることにより、第１受光素子１０１Ａを用いて通常観察を行うのと同時に、第２受光素子１０２Ｅを用いた特殊観察（上記の例では蛍光観察）を行うことができる。
なお、上記カラーフィルタ１０５及び第２照明部３２を適宜変更することによって、他の形態の特殊観察を行うことができる。例えば、特定の波長領域の光のみ（例えば赤外光若しくは紫外光等）を透過させるカラーフィルタ１０５を適用し、これに対応する照明光を照射する第２照明部３２とすればよい。
また、上述の一実施形態及び各変形例においては、第１受光素子によって得られる通常画像はモノクロ画像であるが、マイクロレンズ１０３と第１受光素子１０１Ａとの間にカラーフィルタを設けることにより、カラー画像を取得し得る構成としてもよい。この構成におけるカラーフィルタは、カラー画像を取得可能に構成される従来の固体撮像素子と同様構成であるので、図示及び詳細説明は省略する。
なお、上記一実施形態及び上記各変形例における固体撮像素子は、２次元配列される複数の受光部のうちの全部を、上記各例で示す形態の受光部として適用する形態としてもよいし、そのほかの形態として、複数の受光部のうちの一部に各例の受光部を適用して構成する形態としてもよい。例えば、カラーフィルタの配置の一部をクリア(透明)にしてもよい。
次に、本発明の一実施形態の固体撮像素子の電気的な構成の概略を、図１４を用いて以下に説明する。図１４は、本発明の一実施形態の固体撮像素子の電気的な構成の概略を示すブロック構成図である。
上記一実施形態の固体撮像素子１１は、上述したように、コントロールユニット２０の制御部２１によって駆動制御される。
上記制御部２１は、図１４に示すタイミングコントローラ１１４を介して第１水平垂直ドライバ１１１及び第２水平垂直ドライバ１１２の動作タイミングを制御して、第１受光素子１０１及び第２水平垂直ドライバ１１２を駆動する。この場合において、第１受光素子１０１は第１水平垂直ドライバ１１１によって、第２受光素子１０２は第２水平垂直ドライバ１１２によってそれぞれ駆動制御される。そして、第１受光素子１０１及び第２受光素子１０２からの各出力信号（アナログ画像信号）はＡＤ変換部１１５へと出力される。
また、上記制御部２１は、図１４に示すタイミングコントローラ１１４を介してＡＤ変換部１１５の動作タイミングを制御している。ＡＤ変換部１１５は、第１受光素子１０１及び第２受光素子１０２からの各出力信号（アナログ画像信号）を受けて、デジタル画像信号へと変換する回路部である。このＡＤ変換部１１５において生成されたデジタル画像信号は、信号読出部２２へと出力される。これを受けて、信号読出部２２は、入力されたデジタル画像信号についてデータの並び替え処理等を行った後、画像処理部２３（図１参照）へと出力する。
そして、上記制御部２１は、図１４に示すタイミングコントローラ１１４を介して照明ユニット３０の動作タイミングも制御している。
タイミングコントローラ１１４は、第１受光素子１０１，第２受光素子１０２，ＡＤ変換部１１５，照明ユニット３０のそれぞれを駆動するのに必要なタイミングパルスを出力する回路部である。タイミングコントローラ１１４から出力されるタイミングパルスは、発振素子１１３から一定のタイミングで出力されるパルス信号を参照して予め設定されているタイミングで出力される。
なお、上記の各例では、上記照明ユニット３０を固体撮像素子１１に含めて構成しているが、この形態に限ることはない。即ち、照明ユニット３０の動作タイミングが確実かつ正確に制御することができる構成であれば、照明ユニット３０を別ユニットとして構成してもよい。
上述の図１４の構成例では、信号読出部２２を一つ設け、この一つの信号読出部２２に対して、第１受光素子１０１及び第２受光素子１０２から出力される全ての画像信号を出力するように構成している。
詳細は後述するが、本実施形態の固体撮像素子１１においては、一方の受光素子の駆動期間には他方の受光素子は被駆動状態とする駆動制御が行われる。このことから、図１４の構成例の固体撮像素子１１では、信号読出部２２は略常時駆動されている状態である。
これに対し、別の形態として、図１５に示す構成例が考えられる。図１５は、本発明の一実施形態の固体撮像素子の電気的な構成についての別の変形例を示すブロック構成図である。
図１５に示す別の変形例においては、第１受光素子１０１の出力信号のみを扱う第１信号読出部２２ａと、第２受光素子１０２の出力信号のみを扱う第２信号読出部２２ｂとを、設けて構成している。その他の構成は、図１４に示す形態と同様である。
このように、第１受光素子１０１と第２受光素子１０２との出力回路を別個に構成することにより、第１受光素子１０１と第２受光素子１０２とで、出力信号の形態が異なる場合であっても、信号読出部をそれぞれに適した形態とすることができ回路構成を簡素化することができる。
例えば、第１信号読出部２２ａは、第１受光素子１０１（通常画像センサー）に対応した通常の画像信号に適合した読み出し回路構成とし、第２信号読出部２２ｂは、第２受光素子１０２（ＴＯＦ式距離画像センサー）に対応した距離画像信号に適合した読み出し回路構成とすることで、それぞれの信号読出部の回路構成を簡素化できる。
さらに、各信号読出部２２ａ，２２ｂは、対応する各受光素子１０１，１０２の駆動タイミングに合わせて駆動させればよい。したがって、各受光素子１０１，１０２の非駆動期間には、各信号読出部２２ａ，２２ｂも非駆動状態とすることができる。したがって、図１４に示す構成例に比べて低消費電力化に寄与することができる。
なお、図１４，図１５で示す構成例では、タイミングコントローラ１１４及びＡＤ変換部１１５は、１つに統合して構成した例を示しているが、この形態に限ることはない。例えば、第１受光素子と第２受光素子とのそれぞれに対応させたタイミングコントローラ及びＡＤ変換部を設けて構成してもよい。
このように構成された上記一実施形態の固体撮像素子１１の作用を、図１６を用いて以下に説明する。図１６は、本実施形態の固体撮像素子の作用を示すタイミングチャートの一例である。
まず、当該固体撮像素子１１が適用された装置が動作可能な通電状態にあるとき、コントロールユニット２０の制御部２１下で、タイミングコントローラ１１４は所定のタイミングで垂直同期信号（Vertical Synchronization）ＶＤを発生させる（図１６（Ａ）−（１））。
これを受けて、制御部２１は、照明ユニット３０の第１照明部３１の駆動制御を開始する（図１６（Ｂ）−（１））。
これと同時に、制御部２１は、第１水平垂直ドライバ１１１を介して第１受光素子１０１の駆動制御を開始すると共に、ＡＤ変換部１１５，信号読出部２２を駆動制御して、第１受光素子１０１の出力信号の信号読出制御を実行する（図１６（Ｄ）−（１））。
この場合において、第１照明部３１の駆動制御は、予め設定された所定の期間（図１６の点灯期間Ａ）だけ行われる（図１６（Ｂ）−（２））。同様に、第１受光素子１０１の駆動制御も、予め設定された所定の期間（図１６の撮像期間）だけ行われる（図１６（Ｄ）−（２））。なお、第１照明部３１の点灯期間Ａの間は、第２照明部３２は非駆動状態にあり消灯状態にある（図１６の消灯期間Ｂ）。
所定の点灯期間Ａ及び所定の撮像期間が経過したら、制御部２１は、第１照明部３１を制御して駆動を停止する（図１６（Ｂ）−（３））と共に、第２照明部３２の駆動制御を開始する（図１６（Ｃ）−（３））。
同時に、第１受光素子１０１を制御して駆動を停止すると共に、第２受光素子１０２，の駆動制御を開始して、第２受光素子１０２の出力信号の信号読出制御を実行する（図１６（Ｅ）−（３））。なお、ＡＤ変換部１１５，信号読出部２２の駆動制御は引き続き行われている。
この場合において、第２照明部３２の駆動制御は、予め設定された所定の期間（図１６の点灯期間Ｂ）だけ行われる（図１６（Ｃ）−（４））。第２照明部３２の点灯期間Ｂの間は、第１照明部３１は非点灯状態になる（図１６の消灯期間Ａ）。
同様に、第２受光素子１０２の駆動制御も、予め設定された所定の期間である第２撮像期間（本実施形態において第２撮像期間は図１６のフォーカス期間が相当する）だけ行われる（図１６（Ｅ）−（４））。このフォーカス期間の間、第１受光素子１０１は非駆動状態にある。
所定の点灯期間Ｂ及び所定のフォーカス期間が経過したら、制御部２１は、第２照明部３２を制御して駆動を停止するのと同時に、第２受光素子１０２，ＡＤ変換部１１５，信号読出部２２を制御して駆動を停止する。
その後、再度の垂直同期信号ＶＤを待って（図１６の（Ａ）−（５））、同様の動作、即ち第１照明部３１の駆動制御の開始（図１６の（Ｂ）−（５））と、ＡＤ変換部１１５の駆動制御と、信号読出部２２の駆動制御（図１６の（Ｄ）−（５））を行う。以後、同様の作用を繰り返す。
上述の図１６に示す第１作用例では、第１受光素子１０１の出力信号を読み出した後に第２受光素子１０２の出力信号を読み出すような作用としているが、この例示に限られることはない。
例えば、図１７に示す第２作用例のように、タイミング信号を受けた後、まず先に、第２受光素子１０２の出力信号を読み出した後、第１受光素子１０１の出力信号を読み出すような作用としてもよい。
図１７においては、タイミングコントローラ１１４から垂直同期信号ＶＤが発生する（図１７（Ａ）−（１））と、これを受けて、制御部２１は、照明ユニット３０の第１照明部３１を制御して駆動を停止する（駆動中の場合；図１７（Ｂ））と共に、第２照明部３２の駆動制御を開始する（図１７（Ｃ））。
同時に、制御部２１は、第２受光素子１０２の駆動制御を開始し、ＡＤ変換部１１５，信号読出部２２を駆動制御して、第２受光素子１０２の出力信号の信号読出制御を実行する（図１７（Ｅ））。
このとき、第２照明部３２は、予め設定された所定の期間（図１７の点灯期間Ｂ）だけ駆動制御される（図１７（Ｂ））。同様に、第２受光素子１０２も、予め設定された所定の期間（図１７のフォーカス期間）だけ駆動制御される（図１７（Ｅ））。第２照明部３２の点灯期間Ｂの間は、第１照明部３１は消灯状態にある（図１７の消灯期間Ａ）。
所定の点灯期間Ｂ及び所定のフォーカス期間の経過後、制御部２１は、第２照明部３２の駆動を停止する（図１７（Ｃ））と共に、第１照明部３１の駆動制御を開始する（図１７（Ｂ）−（３））。
同時に、第２受光素子１０２を制御して駆動を停止すると共に、第１受光素子１０１の駆動制御を開始して、第１受光素子１０１の出力信号の信号読出制御を実行する（図１７（Ｄ）（３））。
このとき、第１照明部３１の駆動制御は、予め設定された所定の期間（図１７の点灯期間Ａ）だけ行われる（図１７（Ｂ）−（４））。第１照明部３１の点灯期間Ａの間は、第２照明部３２は非点灯状態になる（図１７の消灯期間Ｂ）。
同様に、第１受光素子１０１の駆動制御も、予め設定された所定の期間（図１７の撮像期間）だけ行われる（図１７（Ｄ））。この撮像期間の間、第２受光素子１０２は非駆動状態にある。
所定の点灯期間Ａ及び所定の撮像期間の経過後、制御部２１は、第１照明部３１の駆動を停止すると同時に、第１受光素子１０１を制御して駆動を停止する。
その後、再度の垂直同期信号ＶＤを待って（図１７の（Ａ）−（５））、同様の動作、即ち第２照明部３２の駆動制御の開始（図１７の（Ｂ））と、ＡＤ変換部１１５の駆動制御と、信号読出部２２の駆動制御（図１７の（Ｅ））を行う。以後、同様の作用を繰り返す。
他方、上述の図１６，図１７に示す各作用例では、第１受光素子１０１の出力信号と第２受光素子１０２の出力信号とを交互に読み出すような作用としているが、これらの例示に限られることはない。
例えば、図１８に示す第３作用例のように、第２受光素子１０２の出力信号を読み出しを、複数回の第１受光素子１０１の出力信号を読み出しの後に間欠的に行うような作用としてもよい。
図１８において、タイミングコントローラ１１４から垂直同期信号ＶＤが発生する（図１８（Ａ）−（１））と、これを受けて、制御部２１は、照明ユニット３０の第１照明部３１を制御して駆動制御を開始する（図１８（Ｂ）。このとき、第２照明部３２の駆動は停止している（図１８（Ｃ））。
同時に、制御部２１は、第１受光素子１０１の駆動制御を開始し、ＡＤ変換部１１５，信号読出部２２を駆動制御して、第１受光素子１０１の出力信号の信号読出制御を実行する（図１８（Ｄ））。
このとき、第１照明部３１は、予め設定された所定の期間（図１８の点灯期間Ａ）だけ駆動制御される（図１８（Ｂ）−（２））。同様に、第１受光素子１０１も、予め設定された所定の期間（図１８の撮像期間）だけ駆動制御される（図１８（Ｄ））。第１照明部３１の点灯期間Ａの間は、第２照明部３２は消灯状態にある（図１８の消灯期間Ｂ）。
所定の点灯期間Ａ及び所定の撮像期間の経過後、制御部２１は、第１照明部３１の駆動を停止する（図１８（Ｂ）−（３））と共に、第２照明部３２の駆動制御を開始する（図１８（Ｃ））。
同時に、第１受光素子１０１を制御して駆動を停止する（図１８（Ｄ））と共に、第２受光素子１０２の駆動制御を開始して、第２受光素子１０２の出力信号の信号読出制御を実行する（図１８（Ｅ））。
このとき、第２照明部３２の駆動制御は、予め設定された点灯期間Ｂだけ行われる（図１８（Ｃ））。第２照明部３２の点灯期間Ｂの間は、第１照明部３１は非点灯状態になる（消灯期間Ａ１；図１８の（Ｂ）−（４））。
同様に、第２受光素子１０２の駆動制御も、予め設定された所定の期間（図１８のフォーカス期間）だけ行われる（図１８（Ｅ））。このフォーカス期間の間、第１受光素子１０１は非駆動状態にある。
所定の点灯期間Ｂ及び所定のフォーカス期間の経過後、制御部２１は、第２照明部３２の駆動を停止すると同時に、第２受光素子１０２を制御して駆動を停止する。
その後、再度の垂直同期信号ＶＤを待って（図１８の（Ａ）−（５））、第１照明部３１の駆動制御の開始（図１８の（Ｂ））と、ＡＤ変換部１１５の駆動制御と、信号読出部２２の駆動制御（図１８の（Ｄ））を行う。
第１照明部３１は、予め設定された点灯期間Ａだけ駆動制御される（図１８（Ｂ））。同様に、第１受光素子１０１も、予め設定された撮像期間だけ駆動制御される（図１８（Ｄ））。第１照明部３１の点灯期間Ａの間は、第２照明部３２は消灯状態にある（図１８の消灯期間Ｂ）。
所定の点灯期間Ａ及び所定の撮像期間の経過後、制御部２１は、第１照明部３１の駆動を停止する（図１８（Ｂ）−（６））と共に、第１受光素子１０１を制御して駆動を停止する（図１８（Ｄ））。そして、予め設定された消灯期間Ａ２（図１８の（Ｂ）−（７））の経過後、再度の垂直同期信号ＶＤを待って（図１８の（Ａ）−（８））、第１照明部３１の駆動制御の開始（図１８の（Ｂ））と、ＡＤ変換部１１５の駆動制御と、信号読出部２２の駆動制御（図１８の（Ｄ））を行う。
このように、第１受光素子１０１の駆動制御を、予め決められた複数回（図１８に示す作用例では４回）繰り返した後、
制御部２１は、第１照明部３１の駆動を停止する（図１８（Ｂ）−（９））と共に、第２照明部３２の駆動制御を開始する（図１８（Ｃ））。
同時に、第１受光素子１０１を制御して駆動を停止する（図１８（Ｄ））と共に、第２受光素子１０２の駆動制御を開始して、第２受光素子１０２の出力信号の信号読出制御を実行する（図１８（Ｅ））。
所定の点灯期間Ｂ及び所定のフォーカス期間の経過後、制御部２１は、第２照明部３２の駆動を停止すると同時に、第２受光素子１０２を制御して駆動を停止する。
その後、再度の垂直同期信号ＶＤを待って（図１８の（Ａ）−（１０））、以下同様の作用を繰り返す。
以上説明したように上記一実施形態によれば、固体撮像素子１１は、受光面に設けられたマイクロレンズ１０３と、マイクロレンズ１０３を介して観察対象物から入射する光を受光して通常画像データを取得する通常画像取得用の第１受光素子１０１（フォトダイオード）と、第１受光素子１０１の下層に設けられマイクロレンズ１０３及び第１受光素子１０１を介して観察対象物から入射する光を受光して観察対象物までの距離に関する情報を取得する距離画像検出用の第２受光素子１０２（ＴＯＦ式距離画像センサー）とを積層構造を成して一単位の受光部１００が形成され、この受光部１００が２次元に配列して形成されている。
この構成により、本実施形態の固体撮像素子１１は、通常画像データと距離画像データとを同時に取得することができる。したがって、通常画像データに基づいて観察対象物の判別を行うことができると同時に、観察対象物までの距離データを取得することができる。
また、第２受光素子１０２の受光面積は、第１受光素子１０１の受光面積よりも大きく設定したので、第１受光素子１０１を透過した光を受ける第２受光素子１０２の受光量を確保することができ、よって、高精度な距離画像データを取得することができる。
第１受光素子１０１及び第２受光素子１０２によって光電変換された電気信号を読み出す信号読出部２２は、第１受光素子１０１又は第２受光素子１０２のいずれか一方の信号読出処理の終了後に、第１受光素子１０１又は第２受光素子１０２のいずれか他方の信号読出処理を実行するように構成している。
つまり、第１受光素子１０１による通常画像データの信号読出処理の終了後におけるブランキング期間中に、第２受光素子１０２による距離画像データの信号読出処理を実行するようにしたので、距離データ取得のための駆動期間を特別に設ける必要がない。したがって、処理の高速化に寄与すると共に、省電力化に寄与することができる。
第１受光素子１０１又は第２受光素子１０２の信号読出処理や、照明ユニット３０の照明制御は、垂直同期信号ＶＤに同期させて行うように構成している。これにより、常に正確なタイミングで信号読出処理や照明制御を実行できる。
照明ユニット３０は、第１受光素子１０１に対応する第１照明部３１と、第２受光素子１０２に対応する第２照明部３２とを有して構成している。そして、第１照明部３１と第２照明部３２とは、それぞれが異なる波長の照明光を照射するように構成している。ここで、例えば第１照明部３１は通常光を照射し、第２照明部３２は特殊光（例えば蛍光や赤外光等）を照射する。これにより、第１受光素子１０１によって通常画像データを取得することができると共に、第２受光素子１０２によって蛍光画像データ，赤外光画像データ等を同時に取得することができる。
また、第１受光素子１０１Ａは、少なくとも一部が分割された複数の受光素子（１０１Ａａ，１０１Ａｂ，１０１Ａｃ，１０１Ａｄ）を有して形成されている。これにより、当該第１受光素子１０１Ａは、分割された複数の受光素子（１０１Ａａ，１０１Ａｂ，１０１Ａｃ，１０１Ａｄ）がそれぞれ位相の異なる画像データを取得して、フォーカスに関するフォーカスデータをも生成することができる。
したがって、第１受光素子１０１Ａによって取得されたフォーカスデータと、第２受光素子１０２によって取得された距離画像データとを用いることで、より正確で高速な焦点調節動作を実現できる。
本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施することができることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。この発明は、添付のクレームによって限定される以外にはそれの特定の実施態様によって制約されない。
本発明は、光学像を受けて光電変換を行う固体撮像素子を含んで構成される各種の電子機器、例えばデジタルカメラ，ビデオカメラ，ムービーカメラ，携帯電話，スマートフォン，電子手帳，電子辞書，携帯情報端末，パーソナルコンピュータ，タブレット型端末機器，ゲーム機器，テレビジョン受像器，時計，ＧＰＳ（Global Positioning System）を利用したナビゲーション機器等の撮像機能付き電子機器のほか、望遠鏡，双眼鏡，単眼鏡，顕微鏡，試料観察装置等の観察用電子機器等に対して適用することができる。
さらに、本発明は、内視鏡，顕微鏡のような産業用若しくは医療用の観察装置等のほかにも、監視カメラや車載用カメラ等の撮像観察装置に対しても同様に適用することができる。
１……観察装置
１０……撮像ユニット
１１，１１Ａ，１１Ｂ，１１Ｃ，１１Ｄ……固体撮像素子
１２……撮像光学系
１３……レンズ駆動部
１４……撮像ユニット駆動部
２０……コントロールユニット
２１……制御部
２２……信号読出部
２２ａ……第１信号読出部
２２ｂ……第２信号読出部
２３……画像処理部
２４……信号解析部
２５……計数部
２６……外部インターフェース部
３０……照明ユニット
３１……第１照明部
３２……第２照明部
３３……照明光反射板
４０……表示ユニット
５０……培養器
５１……試料
１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ……受光部
１０１，１０１Ａ……第１受光素子
１０１Ａａ，１０１Ａｂ，１０１Ａｃ，１０１Ａｄ……複数の受光素子
１０２，１０２Ｂ，１０２Ｃ，１０２Ｄ，１０２Ｅ……第２受光素子
１０３……マイクロレンズ
１０４……配線
１０５……カラーフィルタ
１１１……第１水平垂直ドライバ
１１２……第２水平垂直ドライバ
１１３……発振素子
１１４……タイミングコントローラ
１１５……ＡＤ変換部

Claims (15)

  1. 受光面に設けられたレンズと、
    前記レンズを介して対象物から入射する光を受光する第１の受光素子と、
    前記第１の受光素子の下層に設けられ、前記レンズ及び前記第１の受光素子を介して前記対象物から入射する光を受光して対象物までの距離に関する情報を取得する第２の受光素子と、
    が積層構造を成して一単位の受光部が形成されており、
    前記受光部が２次元に配列して形成されていることを特徴とする固体撮像素子。
  2. 前記第１の受光素子は、光を検出して電荷を発生させるフォトダイオードであり、
    前記第２の受光素子は、ＴＯＦ(Time of Flight)法によって距離計測を行うＴＯＦ式距離画像センサーである
    ことを特徴とする請求項１に記載の固体撮像素子。
  3. 前記第２の受光素子は、前記第１の受光素子よりも受光面積が大きいことを特徴とする請求項１に記載の固体撮像素子。
  4. 光電変換された電気信号を読み出す信号読出部を、さらに有し、
    前記信号読出部は、前記第１の受光素子又は前記第２の受光素子のいずれか一方の信号読出処理の終了後に、前記第１の受光素子又は前記第２の受光素子のいずれか他方の信号読出処理を実行することを特徴とする請求項１に記載の固体撮像素子。
  5. 前記第１の受光素子又は前記第２の受光素子のいずれか一方の信号読出処理は、垂直同期信号に同期して行われることを特徴とする請求項４に記載の固体撮像素子。
  6. 対象物を照射する照明部を、さらに有し、
    上記照明部は、垂直同期信号に同期して照明制御を行うことを特徴とする請求項１に記載の固体撮像素子。
  7. 前記照明部は、前記第１の受光素子と前記第２の受光素子とのそれぞれに対して異なる波長の照明光を照射することを特徴とする請求項６に記載の固体撮像素子。
  8. 前記第１の受光素子は、入射光量に応じた電荷量に関する出力を行い、
    前記第１の受光素子のうちの少なくとも一部は、分割された複数の受光素子を有し、
    前記第１の受光素子のうちの前記分割された複数の受光素子は、フォーカスに関するフォーカスデータを生成することを特徴とする請求項１に記載の固体撮像素子。
  9. 前記第２の受光素子のうちの少なくとも一部は、対象物までの距離に応じた光の飛行時間に関する出力を行い、対象物までの距離に関する距離データを生成することを特徴とする請求項１に記載の固体撮像素子。
  10. 前記第１の受光素子又は前記第２の受光素子からの出力に基づいてデータ解析を行う解析部を、さらに有し、
    前記解析部は、前記フォーカスデータに基づいて対象物までの距離を算出することを特徴とする請求項８に記載の固体撮像素子。
  11. 前記第１の受光素子又は前記第２の受光素子からの出力に基づいてデータ解析を行う解析部を、さらに有し、
    前記解析部は、前記距離データに基づいて対象物までの距離を算出することを特徴とする請求項９に記載の固体撮像素子。
  12. 前記第１の受光素子は、グローバルシャッタ機能を有することを特徴とする請求項１に記載の固体撮像素子。
  13. 受光面に設けられたレンズと、前記レンズを介して対象物から入射する光を受光する第１の受光素子と、前記第１の受光素子の下層に設けられ前記レンズ及び前記第１の受光素子を介して前記対象物から入射する光を受光して対象物までの距離に関する情報を取得する第２の受光素子とが積層構造を成して一単位の受光部が形成されており、前記受光部が２次元に配列して形成されている固体撮像素子と、前記固体撮像素子の受光面に観察対象物の光学像を結像させる撮像光学系と、を有する撮像ユニットと、
    観察対象物に照明光を照射する照明ユニットと、
    前記撮像ユニットによって取得された画像信号に基づいて観察対象物の画像を表示する表示ユニットと、
    前記撮像ユニット，前記照明ユニット，前記表示ユニットをそれぞれ駆動制御する制御部を有するコントロールユニットと、
    を具備して構成される観察装置。
  14. レンズと第１の受光素子と第２の受光素子とを積層構造で形成した受光部を２次元に配列して形成した固体撮像素子の駆動方法であって、
    前記第１の受光素子からの信号読出処理の終了後に、前記第２の受光素子の信号読出処理を実行することを特徴とする固体撮像素子の駆動方法。
  15. レンズと第１の受光素子と第２の受光素子とを積層構造で形成した受光部を２次元に配列して形成した固体撮像素子の駆動用プログラムであって、
    垂直同期信号を発生させる手順と、
    前記垂直同期信号に同期させて前記第１の受光素子及び第１照明部の駆動制御を開始させる手順と、
    前記第１の受光素子及び前記第１照明部の駆動制御の開始から所定時間の経過後に、前記第１の受光素子及び前記第１照明部の駆動を停止させる手順と、
    前記第１の受光素子及び前記第１照明部の駆動停止後に、前記第２の受光素子及び第２の照明部の駆動制御を開始させる手順と、
    前記第２の受光素子及び前記第２照明部の駆動制御の開始から所定時間の経過後に、前記第２の受光素子及び前記第２照明部の駆動を停止させる手順と、
    をコンピュータに実行させるための固体撮像素子の駆動用プログラム。
JP2017114268A 2017-06-09 2017-06-09 固体撮像素子，当該固体撮像素子を用いた観察装置，固体撮像素子の駆動方法及び駆動用プログラム Pending JP2018207446A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017114268A JP2018207446A (ja) 2017-06-09 2017-06-09 固体撮像素子，当該固体撮像素子を用いた観察装置，固体撮像素子の駆動方法及び駆動用プログラム
US15/992,142 US10616508B2 (en) 2017-06-09 2018-05-29 Solid state imaging sensor, observation apparatus using solid state image sensor, method for driving image pickup section, and recording medium for recording program for driving image pickup section
CN201810568449.6A CN109040536B (zh) 2017-06-09 2018-06-05 固体摄像元件、观察装置、摄像部的驱动方法和记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017114268A JP2018207446A (ja) 2017-06-09 2017-06-09 固体撮像素子，当該固体撮像素子を用いた観察装置，固体撮像素子の駆動方法及び駆動用プログラム

Publications (1)

Publication Number Publication Date
JP2018207446A true JP2018207446A (ja) 2018-12-27

Family

ID=64563772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017114268A Pending JP2018207446A (ja) 2017-06-09 2017-06-09 固体撮像素子，当該固体撮像素子を用いた観察装置，固体撮像素子の駆動方法及び駆動用プログラム

Country Status (3)

Country Link
US (1) US10616508B2 (ja)
JP (1) JP2018207446A (ja)
CN (1) CN109040536B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6805448B2 (ja) * 2019-04-23 2020-12-23 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像システム、移動体、制御方法、及びプログラム
JP6841366B2 (ja) * 2019-08-30 2021-03-10 Toto株式会社 便座装置及び排泄物検知装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9264676B2 (en) * 2012-01-06 2016-02-16 Microsoft Technology Licensing, Llc Broadband imager
US8569700B2 (en) * 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
JP6452354B2 (ja) 2014-09-01 2019-01-16 キヤノン株式会社 撮像装置
US9826214B2 (en) * 2014-09-08 2017-11-21 Microsoft Technology Licensing, Llc. Variable resolution pixel
US9437633B2 (en) * 2014-11-06 2016-09-06 Taiwan Semiconductor Manufacturing Company, Ltd. Depth sensing pixel, composite pixel image sensor and method of making the composite pixel image sensor
JP6688165B2 (ja) * 2016-06-10 2020-04-28 キヤノン株式会社 撮像装置及び撮像システム
JP2018036102A (ja) * 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
US10129377B2 (en) * 2017-01-04 2018-11-13 Essential Products, Inc. Integrated structure including image capture and depth sensing components
US10271037B2 (en) * 2017-01-20 2019-04-23 Semiconductor Components Industries, Llc Image sensors with hybrid three-dimensional imaging

Also Published As

Publication number Publication date
CN109040536A (zh) 2018-12-18
US20180359433A1 (en) 2018-12-13
US10616508B2 (en) 2020-04-07
CN109040536B (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
US9798129B2 (en) Microscope system and method for deciding stitched area
JP2002369049A (ja) 画像検出装置と絞り装置
KR102053316B1 (ko) 디지털 촬영장치
US9632303B2 (en) Optical microscope, and autofocus device for optical microscope
JP2006163094A (ja) デジタル一眼レフカメラ
JP2008141666A (ja) 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法
JP2014150412A (ja) 画像取得装置及び撮像装置
US20190049710A1 (en) Image forming apparatus, image forming method, image forming system, and recording medium
JP2012138891A (ja) 撮像装置
JP4786207B2 (ja) 顕微鏡システム
CN1847905A (zh) 对焦检测设备和用于对焦检测的信号处理方法
CN109040536B (zh) 固体摄像元件、观察装置、摄像部的驱动方法和记录介质
JP2006126652A (ja) 撮像装置
KR102068744B1 (ko) 초점 검출장치
JP2023535916A (ja) 深度データ測定機器及び構造化光投影ユニット
JP2014165778A (ja) 固体撮像素子、撮像装置及び焦点検出装置
JP6380986B2 (ja) 撮影装置および方法
JP2013122494A (ja) 焦点検出装置およびカメラ
US7912364B2 (en) Optical observation apparatus and image-pickup apparatus
JP2012128098A (ja) 撮像装置
CN112285915B (zh) 增强现实组件以及显微镜
US20240177442A1 (en) Highly efficient active illumination imaging systems and methods
US20150124074A1 (en) Image acquisition apparatus and image acquisition method
JP2004294270A (ja) レンズアレイ装置、撮像装置、及び、輝度分布測定装置
JP2015159541A (ja) 画像取得装置及び撮像装置