CN108174059A - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN108174059A
CN108174059A CN201710838701.6A CN201710838701A CN108174059A CN 108174059 A CN108174059 A CN 108174059A CN 201710838701 A CN201710838701 A CN 201710838701A CN 108174059 A CN108174059 A CN 108174059A
Authority
CN
China
Prior art keywords
mentioned
light
subject
image
photographing element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710838701.6A
Other languages
English (en)
Other versions
CN108174059B (zh
Inventor
鸣海建治
西胁青儿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN108174059A publication Critical patent/CN108174059A/zh
Application granted granted Critical
Publication of CN108174059B publication Critical patent/CN108174059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J9/00—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J9/00—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
    • G01J9/02—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength by interferometric methods
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G03B11/04—Hoods or caps for eliminating unwanted light from lenses, viewfinders or focusing aids
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/06—Swinging lens about normal to the optical axis
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/08—Swing backs
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14629—Reflectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J9/00—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
    • G01J9/02—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength by interferometric methods
    • G01J2009/028—Types
    • G01J2009/0284—Michelson

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

摄像装置具备摄像元件、光学系统、控制电路和信号处理电路。摄像元件包括至少在第1方向上交替地排列有多个透光区域及多个遮光区域的遮光膜、对置于上述遮光膜而配置的光检测器、和配置在上述遮光膜及上述光检测器之间的光耦合层。上述光耦合层包括当规定的波长的光入射到上述多个透光区域中时使上述光的一部分在上述第1方向上传输的光栅。信号处理电路从在由上述摄像元件取得的运动图像中包含的多个帧中，提取上述被摄体的上述像的位置在上述第1方向上相互不同的2个帧。

Description

摄像装置
技术领域
本公开涉及利用光的干涉现象取得与被摄体的光学特性关联的信息的摄像装置。
背景技术
光是电磁波，除了波长及强度以外，还通过偏光及干涉性等的特性被赋予特征。其中，作为利用光的干涉性测量被摄体的方法，例如可以举出“光学の原理”(東海大学出版会，p.482，M.ボルン等)中表示的使用迈克尔逊干涉仪的方法。
发明内容
有关本公开的一技术方案的摄像装置，其特征在于，具备：摄像元件，包括：包括多个透光区域及多个遮光区域的遮光膜，上述多个透光区域及上述多个遮光区域至少在第1方向上交替地配置；与上述遮光膜对置配置、具有摄像面、并且包括在上述摄像面上二维排列的多个第1像素及多个第2像素的光检测器，上述多个第1像素分别与上述多个透光区域中的1个对置，上述多个第2像素分别与上述多个遮光区域中的1个对置；以及配置在上述遮光膜及上述光检测器之间的光耦合层，该光耦合层包括当规定的波长的光入射到上述多个透光区域时使上述光的第1部分在上述第1方向上传输的光栅，并且使与上述第1部分不同的上述光的第2部分透过；光学系统，在上述摄像面上形成被摄体的像；控制电路，使上述摄像元件取得运动图像；以及信号处理电路，从在由上述摄像元件取得的上述运动图像中包含的多个帧中提取上述第1方向上的上述被摄体的上述像的位置不同的2个帧。
上述包含性或具体性的技术方案也可以由系统、方法、集成电路、计算机程序或记录介质实现。或者，也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
附图说明
图1是示意地表示有关研究例的摄像装置的图。
图2A是沿着光入射的方向的面中的摄像元件的剖面图。
图2B是从光入射的一侧观察摄像元件的平面图。
图2C表示具有条状图案的遮光膜的一例。
图2D表示具有其他图案的遮光膜9的一例。
图3表示从运动图像的取得到得到光学分布图像的、每个帧的图像的流程。
图4A是表示研究例中的4个透光区域中的入射光与处于其下方的多个像素的位置关系的剖面图。
图4B表示入射光的相位差与检测信号的关系的解析结果。
图5A是示意地表示第1实施方式的摄像装置的图。
图5B是说明当被摄体移动时被摄体的像在摄像元件上移动的状态的图。
图5C是说明当被摄体移动时被摄体的像在摄像元件上移动的状态的另一图。
图5D是用来说明合成处理的一例的图。
图5E是示意地表示本实施方式的摄像装置的变形例的图。
图6A表示在图5A所示的实施方式中，从运动图像的取得到得到光学分布图像的、每个帧的图像的流程。
图6B表示在图5E所示的实施方式中，从运动图像的取得到得到光学分布图像的、每个帧的图像的流程。
图7是表示在本实施例中使用的结构的示意图。
图8A表示从运算部输出的第1帧的运算图像。
图8B表示从运算部输出的第2帧的运算图像。
图8C表示从运算部输出的第3帧的运算图像。
图8D表示从运算部输出的第4帧的运算图像。
图8E表示从运算部输出的第5帧的运算图像。
图8F表示从图像合成部的输出图像。
图9是有关第2实施方式的摄像装置的示意图。
图10A表示致动器使透镜光学系统在与光轴正交的面内移动的结构例。
图10B表示代替致动器而将光路调整器配置在被摄体与摄像元件之间的结构例。
图11表示将半反射镜配置在被摄体与2个摄像元件之间的结构例。
图12A是示意地表示作为第1以往例的迈克尔逊干涉仪的结构的图。
图12B是示意地示出表示由光检测器检测的光的强度的电信号的时间变化的例子的图。
图13是用来说明光的干涉现象的图。
图14A表示以波长λ0为中心、波长的展宽是零的光。
图14B表示相干长度为无限大。
图14C表示以波长λ0为中心、波长的展宽为Δλ的光。
图14D表示相干长度σ0为λ0 2/Δλ的光。
图14E表示将中心波长λ0及波长的展宽Δλ的光替换并表现为波长λ0－Δλ/2及λ0+Δλ/2的2个光。
图15A表示第2以往例的光检测系统的示意性的剖面图。
图15B是表示图15A所示的光检测系统中的光源的振荡与来自光检测器的检测信号的关系的说明图。
具体实施方式
(作为本公开的基础的认识)
在说明本公开的实施方式之前，说明对于测量光的干涉性或相位的以往的方法进行了详细研究的结果。
图12A是示意地表示作为第1以往例的迈克尔逊干涉仪200的结构的图。如图12A所示，从光源30射出的光31被第1透镜光学系统35a聚光而成为平行光32。另外，在图中仅表示了平行光32的光轴。作为该平行光32的一部分的光32a透过半反射镜33而朝向第1反射镜34a。被第1反射镜34a反射的光32b作为光32c被半反射镜33进一步反射而朝向第2透镜光学系统35b。光32c穿过第2透镜光学系统35b，作为光32d向位于第2透镜光学系统35b的焦平面的光检测器36入射。另一方面，作为平行光32的另一部分的光32A被半反射镜33反射而朝向第2反射镜34A。被第2反射镜34A反射后的光32B朝向半反射镜33，透过半反射镜33，作为光32C朝向第2透镜光学系统35b。光32C穿过第2透镜光学系统35b，作为光32D，以与光32d重叠的形式向光检测器36入射。光检测器36检测光32d与光32D干涉而发生的光。第2反射镜34A构成为，位置沿着反射面的法线方向(箭头A)变化。随着第2反射镜34A的移位，光32D相对于光32d的相对的相位发生变化。
图12B是示意地示出表示由光检测器36检测的光的强度的电信号的时间变化的例子的图。图12B表示由迈克尔逊干涉仪200进行的光的干涉性及相位的评价方法。图12B中的纵轴表示从光检测器36输出的信号的强度，横轴表示时间。如果使第2反射镜34A的位置随着时间变化，则如图12B所示，信号强度在从a到b的范围中变化。这里，将(b－a)/(b+a)的值称作干涉中的对比度(contrast)。通过对比度的值定义光31的干涉性(相干性)的程度。
在将第2反射镜34A固定、在半反射镜33与第1反射镜34a之间配置了透明的被摄体37的情况下，与使第2反射镜34A的位置变化的情况相同的原理也成立。即，在从图像传感器等的光检测器36输出的信号的强度中，与被摄体37的形状对应的强度差被表现为空间上的分布，形成所谓的干涉条纹。通过测量该干涉条纹的形状或间隔，能够计测被摄体37的形状或相位信息。
为了一次测量干涉条纹的空间上的分布，也有将光检测器36作为多个检测器的集合体而按照每个检测器检测入射的光的量的情况。将构成多个检测器的集合体的各个光检测器也称作像素。
图13是用来说明光的干涉现象的图。图13示意地表示从光源30射出的沿Z方向传输的光的某个时刻t0时的状况。如图13所示，从光源30依次输出波列38a、38b等的多个波列。波列的长度σ0被称作相干长度。在1个波列内，波列连续，波长也均匀。如果波列不同，则相位的相关性消失。例如，在波列38a中相位是δ0，在波列38b中相位是δ0’，δ0≠δ0’。也有如果波列不同则波长也不同的情况。例如，在波列38a中波长是λ0，在波列38b中波长是λ0’，λ0≠λ0’。
首先，说明在图12A所示的结构中调整第2反射镜34A的位置、使图13的波列38a中的部分38A与部分38A’干涉的情况。部分38A内的波与部分38A’内的波波长相等，波的相位差也在时间上稳定。因而，干涉后的光的明暗(干涉光的振幅的大小)也在时间上稳定。即，如图13的左下部分所示，干涉光39a对应于相位差的量(反射镜34A的移位)而看起来较亮(左下部分的上段)或看起来较暗(左下部分的下段)。将该状态称作相干。
接着，说明使波列38a的部分38A与波列38b的部分38B干涉的情况。在此情况下，部分38A内的波与部分38B内的波的波长相等不能保证，这2个波的相位差也在时间上随机性地变化。结果，干涉后的光的明暗(干涉光的振幅的大小)在时间上随机性地变化。该变化例如是飞秒单位的速度。因而，如图13的右下部分所示，干涉光39b以高速反复明暗，在人的眼中仅能看到平均性的明亮度。将该状态称作不相干。激光其波列较长，相干长度是几m到几百m左右，是相干光的典型的例子。另一方面，太阳光其波列较短，相干长度是1μm左右，是不相干的光的典型的例子。在图12A那样的结构中使光干涉的情况下，如果使用如激光那样相干长度较长的光，则在相同的波列内干涉的概率变高。结果，对比度提高，接近于1。另一方面，如果使用如太阳光那样相干长度较短的光，则在不同的波列间干涉的概率变高(即，在相同的波列间干涉的概率变低)。结果，对比度下降，接近于0。
图14A至图14E表示中心波长的光的波长的展宽(纵模宽)与相干长度的关系。图14A表示以波长λ0为中心、波长的展宽是零的光。在此情况下，图14B所示，相干长度为无限大。图14C表示以波长λ0为中心、波长的展宽(半值全宽)为Δλ的光。在此情况下，如图14D所示，相干长度σ0为λ0 2/Δλ。纵模宽和相干长度处于傅立叶变换的关系。这被称作维纳－辛钦(Wiener–Khinchin)定理。该定理可以如以下这样说明。
图14E表示将中心波长λ0及波长的展宽Δλ的光替换表现为波长λ0－Δλ/2及λ0+Δλ/2的2个光27、28。通过光27与光28干涉而发生的拍频的周期是λ0 2/Δλ。输送波的波长是光27和光28的波长的平均值λ0。在拍频的周期内，光的振动波形均匀而连续。另一方面，不同周期的光的振动波形失去连续性，相位的相关性也消失。即，拍频的周期λ0 2/Δλ相当于相干长度。太阳光不相干是因为波长的展宽(纵模宽)Δλ较大。如果设中心波长λ0为550nm，设波长的展宽Δλ为300nm，则相干长度σ0为λ0 2/Δλ＝1.0μm。
接着，将在“近赤外生体分光法の展望―1μm波長域の可能性”(近红外生物体分光法的展望——1μm波长域的可能性)(第14回医用近赤外線分光法研究会，P.139－144，西村吾郎)中公开的光检测系统作为第2以往例进行说明。该光检测系统将光的强度分布按照光的每个传输距离测量。
图15A表示第2以往例的光检测系统300的示意性的剖面图。光源42射出激光。如图15A所示，从光源42射出的波长λ0的光43向被摄体44照射。结果，在被摄体44的表面或内部发生的散射光45a、45b、45c被透镜光学系统47聚光，作为像48b被成像在透镜光学系统47的像面位置。对应于像48b，在透镜的物侧存在实质性的物体48a。在像面位置也配置有光检测器50。光检测器50是多个检测器(即像素)的集合体，按照每个像素检测入射的光的光量。从光源42的发光被控制器41控制。由光检测器50检测出的光量作为检测信号被运算电路51处理。控制器41及运算电路51被计算机52一起控制。
图15B是表示图15A所示的光检测系统300中的光源42的振荡与来自光检测器50的检测信号的关系的说明图。图15B中的纵轴表示光源42的振荡强度或光检测器50的检测强度，横轴表示经过时间。光源42在控制器41的控制下振荡出脉冲43a。由该脉冲43a带来的光43在被摄体44的内部中散射，被光检测器50接收，作为信号53被检测到。信号53的时间宽度在由散射带来的光路长的偏差的影响下与原来的脉冲43a的时间宽度相比变宽。信号53中的开头的输出53a是由被摄体44的表面反射的光45a所带来的信号成分。输出53a之后的从时间t0到t1的期间的输出53b，是由在被摄体44的内部中散射、散射距离较短的光45b所带来的信号成分。输出53b之后的从时间t1到t2的期间的输出53c，是由散射距离较长的光45c所带来的信号成分。通过计算机52的控制，运算电路51将检测信号53进行时间分割，能够将输出53a、53b、53c分离而检测。光以输出53a、53b、53c的顺序从被摄体44的较浅侧穿过较深侧。因而，能够将深度不同的信息分离而分析。
根据本申请发明者的研究，为了使用作为第1以往例的迈克尔逊干涉仪200测量干涉性(相干)的程度或相位，需要来自第2反射镜34A的光32B、32C。因此，结构变得复杂。此外，由于干涉光路存在于规定的空间中，所以容易受到周围环境的变化(例如空气对流或振动)的影响。
另一方面，根据本申请发明者的研究，在作为第2以往例的光检测系统300中，在时间分割宽度上有极限。因而，在测量时难以充分确保深度方向的解析力。例如，如果设时间分割宽度为300ps，则深度解析力为90mm左右。因此，第2以往例的光检测系统300不适于生物体那样的拥有比较小的构造的对象的诊断或检查。
接着，在对本公开的实施方式叙述之前，说明作为本申请发明者为了解决以往例的课题而研究的形态的研究例。
(研究例)
图1是示意地表示有关研究例的摄像装置100的图。摄像装置100具备光源2、透镜光学系统7、摄像元件13、信号处理电路17和控制电路1。信号处理电路17具有运动图像取得部14、插补处理部15和运算部16。
光源2以一定的相干长度的光3对被摄体4进行照射。例如，光源2可以是发出作为相干光的代表的激光的激光源。光源2既可以连续地发光一定的强度的光，也可以发出单一的脉冲光。光源2发出的光的波长是任意的。但是，在被摄体4是生物体的情况下，光源2的波长可以设定为例如约650nm以上约950nm以下。该波长范围包含在从红色到近红外线的波长范围中。在本说明书中，不仅是可视光，关于红外线及紫外线也包含在“光”的概念中。
透镜光学系统7例如是聚光透镜，光源2向被摄体4照射光，将在被摄体4的表面或内部发生的散射光5a、5A聚光。聚光后的光作为像8b被成像在透镜光学系统7的像面位置。对应于像8b，在透镜的物侧存在实质性的物体8a。在图1所示的例子中，透镜光学系统7具备1个透镜。透镜光学系统7也可以是多个透镜的集合体。
摄像元件13被配置在透镜光学系统7的像面位置。摄像元件13检测透镜光学系统7聚光的散射光5a、5A。摄像元件13的详细的构造后述。
信号处理电路17响应于来自控制电路1的控制信号，对从摄像元件13中包含的光检测器输出的电信号进行处理，输出与来自被摄体4的反射光的相干关联的信号或数据。这样的信号或数据可以是例如表示入射光的相干的程度的2维分布的图像数据。
运动图像取得部14取得摄像元件13中包含的光检测器检测到的光量的信号作为检测图像，作为包含多个帧的检测图像的运动图像而向插补处理部15送出。另外，在本说明书中，有时将表示图像的信号简称作“图像”。运动图像取得部14相当于信号处理电路17的输入接口。
插补处理部15通过插补而求出各帧的检测图像中包含的欠测像素的光量。插补处理部15得到作为插补后的检测图像的插补图像，向运算部16送出。关于插补处理的详细情况后述。
运算部16进行插补图像的运算处理，得到作为运算处理后的图像的光学分布图像。插补处理部15及运算部16例如可以是数字信号处理器(DSP)等的图像处理电路。
控制电路1通过执行例如记录在存储器中的程序，控制由摄像元件13进行的光的检测、由运算部16进行的运算处理、光源2的发光光量、点亮时刻、连续点亮时间、发光波长、相干长度等的至少1个。控制电路1例如可以是中央运算处理装置(CPU)或微型计算机等的集成电路。控制电路1、运动图像取得部14、插补处理部15及运算部16也可以由合并的电路实现。控制电路1、运动图像取得部14、插补处理部15及运算部16也可以由计算机上的程序实现。
另外，摄像装置100也可以具备显示运算部16运算处理后的结果的未图示的显示器(显示部)。显示部也可以显示运算处理后的图像(即光学分布图像)。显示部也可以将基于运算处理后的图像计算出的结果(例如光量的平均值、方差、为规定值以上或以下的光量的区域的面积等)作为数值显示。显示部也可以显示将数值变换为指标后的信息(例如“标准”和“异常”，“○”、“△”和“×”等)。
图2A是沿着光入射的方向的面中的摄像元件13的剖面图。图2B是从光入射的一侧观察摄像元件13的平面图(包括后述的遮光膜9的XY面的平面图)。图2A表示包含图2B的由虚线包括的区域的与XZ面平行的截面。如图2B所示，将图2A所示的截面构造作为一个单位构造，该单位构造在XY面内周期性地排列。另外，在图2A、图2B中，为了说明的方便，表示了正交的3个轴(X轴、Y轴、Z轴)。关于其他的图也使用同样的坐标轴。
摄像元件13依次具备光检测器10、光耦合层12和遮光膜9。在图2A的例子中，它们在Z方向上层叠。此外，在图2A的例子中，遮光膜9上依次具备透明基板9b和带通滤波器9p。在摄像元件13中，将排列有多个像素的面设为“摄像面”。
光检测器10在光检测器10的面内方向(XY面内)具备包括第1像素10a、第2像素10A的多个像素。光检测器10从光入射的一侧，具备微透镜11a、11A、透明膜10c、配线等的金属膜10d、由Si或有机膜等形成的感光部。处于金属膜10d之间的感光部相当于像素10a、10A。多个微透镜11a、11A配置为，使1个微透镜对置于1个像素。由微透镜11a、11A聚光并向金属膜10d的间隙入射的光被第1像素10a、第2像素10A检测。
光耦合层12配置在光检测器10上，在光检测器10的面垂直方向(Z轴方向)上，依次具备第1透明层12c、第2透明层12b及第3透明层12a。第1透明层12c及第3透明层12a例如可以由SiO2等形成。第2透明层12b例如可以由Ta2O5等形成。
第2透明层12b折射率比第1透明层12c及第3透明层12a高。光耦合层12也可以具备依次还重复具有作为高折射率透明层的第2透明层12b和作为低折射率透明层的第1透明层12c的构造。在图2A中表示了合计6次重复的构造。作为高折射率透明层的第2透明层12b被作为低折射率透明层的第1透明层12c、第3透明层12a夹着。因而，第2透明层12b作为波导层发挥功能。在第2透明层12b与第1透明层12c、第3透明层12a的界面上遍及整面形成有作为间距Λ的直线光栅的光栅12d。光栅的栅格向量与光耦合层12的面内方向(XY面)上的X轴平行。光栅12d的XZ截面形状也被依次转印到层叠的第2透明层12b及第1透明层12c上。在第2透明层12b、第1透明层12c的成膜在层叠方向上具有较高的指向性的情况下，通过使光栅的XZ截面为S字或V字状，容易维持形状的转印性。
另外，光栅12d只要至少在第2透明层12b的一部分上具备就可以。通过第2透明层12b具备光栅12d，入射光能够与作为在第2透明层12b中传输的光的波导光耦合。
光耦合层12与光检测器10之间的间隙优选的是尽可能窄。光耦合层12与光检测器10也可以密接。在光耦合层12与光检测器10之间的间隙(包括排列有微透镜11a、11A的空间)中也可以填充粘接剂等的透明介质。在填充透明介质的情况下，为了得到由微透镜11a、11A带来的透镜效果，在微透镜11a、11A的构成材料中，使用与填充的透明介质相比具有足够大的折射率的材料。
遮光膜9具有二维排列有多个遮光区域9A和多个透光区域9a的构造。在图2A的例子中，在后述的透明基板9b上，通过将例如由铝(Al)等形成的金属反射膜布图，形成有遮光区域9A及透光区域9a。在本说明书中，有时将多个遮光区域9A的集合体称作“遮光区域群”、将多个透光区域9a的集合体称作“透光区域群”。
图2A中的透光区域9a对应于图2B中的透光区域9a1、9a2、9a3、9a4等。图2A中的遮光区域9A对应于图2B中的遮光区域9A1、9A2、9A3、9A4等。即，遮光膜9具有在遮光膜9的面内方向(XY面内)上排列的多个遮光区域9A和多个透光区域9a。多个遮光区域9A与多个第2像素10A分别对置。多个透光区域9a与多个第1像素10a分别对置。在本说明书中，有时将第1像素10a的集合体称作“第1像素群”、将第2像素10A的集合体称作“第2像素群”。
另外，也可以是2个以上的第1像素10a与1个透光区域对置。同样，也可以是2个以上的第2像素10A与1个遮光区域对置。本公开也包含这样的形态。
在图2B所示的例子中，多个遮光区域9A1、9A2、9A3、9A4形成棋盘格图案。这些遮光区域9A1、9A2、9A3、9A4也可以形成棋盘格图案以外的图案。
图2C表示具有条状图案的遮光膜9的一例。图2D表示具有其他图案的遮光膜9的一例。这些图案只要至少在光耦合层12中的光的波导方向上交替地配置有透光区域9a及遮光区域9A就可以。即，只要不是仅配置有透光区域9a或仅配置有遮光区域9A就可以。
透明基板9b配置在遮光膜9的光入射侧。透明基板9b可以由例如SiO2等的材料形成。带通滤波器9p配置在透明基板9b的光入射侧。带通滤波器9p仅有选择地使入射的光5中的波长λ0附近的光透过。
向摄像元件13入射的光5经过带通滤波器9p及透明基板9b，作为光6A、6a而达到形成有反射膜的遮光区域9A及反射膜被除去的透光区域9a。光6A被遮光区域9A遮光。光6a透过透光区域9a，向光耦合层12入射。入射到光耦合层12中的光6a经过第3透明层12a而向第2透明层12b入射。在第2透明层12b的上下的界面中形成有光栅。如果满足以下的(式1)，则发生波导光6b。
sinθ＝N-λ0/Λ (式1)
这里，N是波导光6b的有效折射率。θ是相对于入射面(XY面)的法线的入射角度。在图2A中，光垂直于入射面而入射(θ＝0°)。在此情况下，波导光6b在XY面内沿X方向传输。即，经过透光区域9a入射到光耦合层12中的光被向在X方向上邻接的遮光区域9A的方向引导。
透过第2透明层12b而向下层入射的光的成分向处于下层侧的全部的第2透明层12b入射。由此，在与(式1)相同的条件下发生波导光6c。波导光在全部的第2透明层12b中发生，但在图2A中，仅将在2个层中发生的波导光作为代表表示。在下层侧发生的波导光6c也同样在XY面内沿X方向传输。波导光6b、6c一边相对于波导面(XY面)的法线以角度θ(在图2A的例子中θ＝0°)沿上下方向放射光，一边进行传输。该放射光6B1、6C1在遮光区域9A的正下方，朝向上方(反射膜侧)的成分被遮光区域9A反射，成为沿着反射面(XY面)的法线朝向下方的光6B2。光6B1、6C1、6B2对于第2透明层12b满足(式1)。因而，其一部分再次成为波导光6b、6c。该波导光6b、6c也生成新的放射光6B1、6C1。这些过程被反复进行。作为整体，在透光区域9a的正下方，没有成为波导光的成分透过光耦合层12，作为透过光6d向微透镜11a入射。结果，没有成为波导光的成分被第1像素10a检测到。实际上，在波导后最终放射的成分也加入到没有成为波导光的成分中。但是，在本说明书中，将这样的成分也作为没有成为波导光的成分处置。在遮光区域9A的正下方，成为了波导光的成分被放射，作为放射光6D向微透镜11A入射。结果，成为了波导光的成分被第2像素10A检测到。
透光区域9a也是摄像元件13的开口部分。经由透光区域9a，光向正下方的像素和左右的(即在X方向上邻接的)像素分支，分别被检测到。
运动图像取得部14取得构成光检测器10的第1像素10a及/或第2像素10A检测到的光量的信号作为检测图像。运动图像是包含检测时刻不同的多个帧的检测图像的图像群。
设与图2B所示的透光区域9a1、9a2、9a3、9a4对置的第1像素10a中的各检测光量分别为q1、q2、q3、q4。设与图2B所示的遮光区域9A1、9A2、9A3、9A4对置的第2像素10A中的各检测光量分别为Q1、Q2、Q3、Q4。q1至q4表示没有成为波导光的光的检测光量。Q1至Q4表示成为了波导光的光的检测光量。在透光区域9a1的正下方的第1像素10a中，没有检测到成为了波导光的光的光量。另一方面，在遮光区域9A2的正下方的第2像素10A中，没有检测到没有成为波导光的光的光量。在本说明书中，将没有检测到光量的像素称作“欠测像素”。有将实际检测到光量的像素(即，欠测像素以外的像素)称作“实测像素”的情况。关于成为了波导光的光，第2像素10A是实测像素，第1像素10a是欠测像素。关于没有成为波导光的光(透过光)，第1像素10a是实测像素，第2像素10A是欠测像素。
在插补处理部15中，通过插补求出各帧的检测图像的欠测像素中的光量。在插补中，可以使用由位于该欠测像素的附近的实测像素检测到的光量。例如，只要使用位于以该欠测像素为中心在X方向及Z或Y方向上邻接的实测区域的正下方的像素的光量就可以。从更正确地进行插补的观点来说，优选的是使用光耦合层中的在光的波导方向(在本研究例中是X方向)上邻接的像素的光量。其理由是因为，在波导方向上邻接的像素与正交于波导方向的方向(即，波导更少或没有波导的方向)相比，检测光量的相关性更高。
作为插补的计算方法，例如可以使用邻接的2个像素的光量的平均值。例如，关于透光区域9a1的正下方的第1像素10a，定义成为波导光的光的检测光量Q0＝(Q1+Q2)/2。同样，关于遮光区域9A2的正下方的第2像素10A，定义没有成为波导光的光的检测光量q0＝(q1+q2)/2。
通过将该定义对全部的区域应用，能够在构成光检测器10的全部的像素中，定义没有成为波导光的光的检测光量和成为了波导光的光的检测光量。
运算部16按照各帧的每个插补图像，基于上述那样的定义，使用插补后的没有成为波导光的光的检测光量和成为了波导光的光的检测光量，进行生成表示相干的程度的分布的光学分布图像等的运算处理。运算部16通过将按照每个像素计算出了这2个检测光量的比的值(或各光量相对于它们的光量和的比的值)的值分配给各像素，生成光学分布图像。
图3表示从运动图像的取得到得到光学分布图像的、每个帧的图像的流程(flow)。运动图像由多个帧的检测图像构成。1帧的检测图像包括表示从第1像素群检测到的光(即，没有成为波导光的光)的检测光量的分布的图像、及/或表示从第2像素群检测到的光(即，成为了波导光的光)的检测光量的分布的图像。
使用1帧的检测图像生成1帧的插补图像。1帧的插补图像包括对来自第1像素群的检测图像的欠测像素进行了插补的图像、及/或对来自第2像素群的检测图像的欠测像素进行了插补的图像。
使用1帧的插补图像生成1帧的光学分布图像。1帧的光学分布图像包括通过对来自第1像素群及第2像素群的插补图像进行后述的运算而得到的图像。
图4A是表示研究例中的4个透光区域9a中的入射光与处于其下方的多个像素的位置关系的剖面图。在图4A中，假设在向左侧的2个透光区域9a入射的光与向右侧的2个透光区域9a入射的光之间有相位差。
图4B表示了表示入射光的相位差与检测信号的关系的解析结果。在解析中，设透光区域9a及遮光区域9A的X方向的宽度W为5.6μm，光栅的Z方向的深度为0.2μm，第2透明层12b为Ta2O5膜，其Z方向的厚度t1为0.34μm，第1透明层12c为SiO2膜，其Z方向的厚度t2为0.22μm。
设遮光区域9A的正下方的像素为第2像素10A，设处于遮光区域9A的两旁的透光区域9a的正下方的像素为第1像素10a、10a’。设第2像素10A、第1像素10a、第1像素10a的检测光量分别为P1、P0’、P0”。即，P0’及P0”表示来自属于第1像素群的像素的信号，P1表示来自属于第2像素群的像素的信号。
考虑像素的位置相对于入射光的位置的X方向的对称性，设P0＝(P0’+P0”)/2，将检测信号用P1/(P1+P0)定义。本解析在TE模式(S偏光)的入射光入射的条件下进行。
根据图4B所示的解析结果，随着相位差的增大，检测信号下降。因此可知，基于检测信号的大小，能够计测入射光的相位差的程度。因而，通过按照每个像素求出检测信号P1/(P1+P0)，能够生成表示相干的2维分布的图像(即光学分布图像)。另外，也可以代替P1/(P1+P0)，而计算P1/P0或它们的倒数作为光学分布图像的各像素的信号值。这里虽然没有详细说明，但也能够利用相位的随机性而计测相干的差异。
但是，在本研究例的摄像装置13中，可知在空间上相位急剧变化的光入射的情况下，难以正确地求出欠测像素中的检测光量。因此，在研究例的摄像装置13中，有生成的光学分布图像包含具有误差的像素的课题。
鉴于这样的课题，本申请发明者想到了能够将相位差或相干的程度作为光学分布图像精密地计测的新的摄像装置。本公开的一技术方案的概要如下所示。
有关本公开的一技术方案的摄像装置，具备：摄像元件、光学系统、控制电路、信号处理电路。摄像元件包括：包括多个透光区域及多个遮光区域的遮光膜，上述多个透光区域及上述多个遮光区域至少在第1方向上交替地配置；与上述遮光膜对置配置、具有摄像面、并且包括在上述摄像面上二维排列的多个第1像素及多个第2像素的光检测器，上述多个第1像素分别与上述多个透光区域中的1个对置，上述多个第2像素分别与上述多个遮光区域中的1个对置；以及配置在上述遮光膜及上述光检测器之间的光耦合层，该光耦合层包括当规定的波长的光入射到上述多个透光区域时使上述光的第1部分在上述第1方向上传输的光栅，并且使与上述第1部分不同的上述光的第2部分透过。光学系统在上述摄像面上形成被摄体的像。控制电路使上述摄像元件取得运动图像。信号处理电路从在由上述摄像元件取得的上述运动图像中包含的多个帧中提取上述第1方向上的上述被摄体的上述像的位置不同的2个帧。
通过这样的结构，能够互补地利用从多个帧提取的2个帧的图像信号，生成误差较少的合成图像。这样的合成图像可以是表示入射光的相位差或相干的程度的2维分布的图像数据。
以下，说明本公开的更具体的实施方式。另外，以下说明的实施方式都是表示包含性或具体性的例子的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置等是一例，并非用于限定本公开。此外，关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素而进行说明。
(第1实施方式)
本实施方式的摄像装置与研究例同样，可以主要用于生物体组织的检查。在本实施方式的说明中，主要对与研究例不同的要素详细地说明。对于与研究例共用的构成要素赋予相同的标号。
图5A是示意地表示第1实施方式的摄像装置120的图。除了在研究例的说明中表示的要素以外，摄像装置120还具备图像处理电路22。图像处理电路22是信号处理电路17的构成要素之一，包括图像位置计算部23和图像合成部24。图像位置计算部23及图像合成部24的动作受控制电路20控制。控制电路20通过向光源2、运动图像取得部14、插补处理部15、图像位置计算部23、图像合成部24、运算部16分别发送控制信号，来控制这些要素。
图5B是说明当被摄体4移动时被摄体4的像8b在摄像元件13上移动的状态的图。图5C是说明当被摄体4移动时被摄体4的像8b在摄像元件13上移动的状态的另一图。与图5B相比，在图5C中，被摄体4的位置更向纸面的下方移动。如果由透镜光学系统7将来自被摄体4的散射光聚光，则被摄体4的像8b的位置如图5C所示，向纸面的上方移动。即，随着被摄体4的移动，在摄像元件13上，被摄体4的像8b移动到不同的位置而成像。
假设被摄体4的像8b的移动方向为包含入射到光耦合层12中的光被波导的方向(即X方向)的方向。如果被摄体4的像8b的移动距离是在X方向上、摄像元件13上的位置移动W以上的距离，则能够进行更正确的插补。被摄体4的像8b的移动距离也可以是W的约奇数倍的距离。
图像位置计算部23求出被摄体4的像8b的位置不同的2个以上的插补图像中的、像8b的偏移的方向及大小。作为求出偏移的方法，既可以根据被摄体4的移动量计算，也可以比较多个插补图像的类似部位来计算。
图像合成部24将被摄体4的像8b的位置不同的2个以上的插补图像对位以使偏移消失后，将这些插补图像合成，输出1个合成图像。此时，图像合成部24在多个插补图像之间将各像素的光量值比较，基于规定的基准，按照每个像素决定准确度更高的光量值。将这样得到的图像称作“合成图像”。按照每个像素的合成方法的一例如下所述。在以下的说明中，说明从2个插补图像得到1个合成图像的方法的例子。但是，本公开并不限定于这样的例子，例如也可以通过将3个以上的插补图像比较来生成1个合成图像。
图5D是用来说明合成处理的一例的图。图5D的上段示意地表示通过2个不同的帧中的一方得到的2个插补图像的一部分。图5D的中段示意地表示通过2个不同的帧中的另一方得到的2个插补图像的一部分。图5D的下段示意地表示2个合成图像的一部分。这些图都表示相同的像素区域。通过各次的摄像得到的2个插补图像是关于入射光中的透过光成分(没有成为波导光的成分)P0的图像、以及关于成为了波导光的成分P1的图像。在图5D的上段及中段，对实测像素赋予了标记P0(1)、P1(1)、P0(2)、P1(2)，将欠测像素用空白表示。P0(1)及P1(1)分别表示通过一方的帧从第1像素群及第2像素群得到的光量值(实测值)。P0(2)及P1(2)分别表示通过另一方的帧从第1像素群及第2像素群得到的光量值(实测值)。另外，如果像素不同则光量值也可能不同，但在图5D中，对全部的像素赋予了相同的标记。在这些图像中，欠测像素的光量值是该像素的左右的实测像素的光量值的平均值(插补值)。
在图5D的例子中，另一方的帧中的被摄体4的像8b的位置从一方的帧中的被摄体4的像8b的位置在X方向上偏移了1像素。结果，在通过另一方的帧得到的2个图像中的一方中是实测像素的像素，在另一方的图像中是欠测像素。在这样的情况下，对于合成图像中的该像素，优先地分配实测像素的光量值。这样的合成方法在例如2个检测图像的X方向上的偏移为宽度W的奇数倍时是有效的。
另外，在通过2个不同的帧得到的2个插补图像的任何一个中某像素是实测像素的情况下，只要使用这些实测像素的光量值的平均值作为合成图像中的该像素的光量值就可以。在2个检测图像的任何一个中、某像素是欠测像素的情况下也同样，只要使用这些欠测像素的光量值的平均值作为合成图像中的该像素的光量值就可以。
(动作)
接着，对第1实施方式的动作进行说明。
首先，控制电路20控制运动图像取得部14及插补处理部15，从摄像元件13取得运动图像。控制电路20对构成运动图像的各帧的检测图像进行插补处理。该插补处理与上述研究例中的插补处理相同。插补处理的结果，得到表示入射光的透过光成分(没有成为波导光的成分)及波导光成分的各自的分布的2个图像信号(将这些图像信号也称作“检测图像”)。将各个插补图像(插补后的检测图像)向图像处理电路22发送，向图像处理电路22内的存储器(未图示)记录。
控制电路20控制图像位置计算部23及图像合成部24，从保持在存储器中的全部帧的插补图像中提取2帧(或其以上)的插补图像，进行对位及合成处理。由此，从图像合成部24输出1个合成图像。提取的插补图像也可以随机性地选择。提取的插补图像既可以选择连续的2帧以上的图像，也可以按照每规定帧的间隔来选择2帧以上的图像。此外，也可以根据图像位置计算部23的计算结果，选择被摄体的像在光耦合层中的光的波导方向上移位了奇数个像素的插补图像。这里，在合成图像的各像素的光量值中，优先地使用2帧的插补图像的该像素中的实测像素的光量值。因而，即使有在上述的插补处理中不能正确地插补的欠测像素，在合成图像中，该像素的光量值也有可能被替换为另一方的帧中的实测像素的光量值。结果，在合成图像中，与检测图像相比欠测像素在全像素中所占的比例减少。换言之，某个像素成为欠测像素的概率减少。这样的合成图像对入射光中的没有成为波导光的成分(上述的信号P0)及成为了波导光的成分(上述的信号P1)分别生成。
运算部16基于由图像处理电路22生成的2个合成图像，进行与研究例同样的运算处理。即，运算部16对于各像素，生成以P1/(P1+P0)、或P1/P0、或它们的倒数为像素值的光学分布图像。由此，能够生成更正确的光学分布图像，能够将相位差或相干的程度作为图像精密地计测。
在本实施方式中，将图像处理电路22配置在运算部16的前段，根据插补的2帧的检测图像得到合成图像。但是，也可以将图像处理电路22配置在运算部16的后段，根据运算出的2帧的光学分布图像生成合成的新的光学分布图像。
图5E是示意地表示本实施方式的摄像装置140的变形例的图。在该例中，在图像的合成之前，对2个帧分别由运算部16生成光学分布图像。各光学分布图像通过使用从第1像素群的信号用插补处理得到的图像信号(表示没有成为波导光的光的检测光量)、和从第2像素群的信号用插补处理得到的图像信号(表示成为了波导光的光的检测光量)的运算来生成。第1像素群中的欠测像素和第2像素群中的欠测像素处于相互互补的关系。因而，在运算处理后的图像中，不能如参照图5A说明那样定义欠测像素。
作为这样的情况下的合成方法，例如只要将设想为由插补带来的误差更大的像素群的欠测像素定义为欠测像素就可以。在其以外，例如只要将相位差更大或更小(或相干更小或更大)而检测到的像素作为被正确地检测到的像素在构成合成后的光学分布图像的像素中采用就可以。
图6A表示在图5A所示的实施方式中，从运动图像的取得到得到光学分布图像的每个帧的图像的流程(flow)。使用1帧的检测图像生成1帧的插补图像的工序与研究例相同。从多个帧的插补图像中提取2帧(或其以上)的插补图像而得到合成图像。将1帧的合成图像运算处理，生成1帧的光学分布图像。
图6B表示在图5E所示的实施方式的变形例中，从运动图像的取得到得到光学分布图像的每个帧的图像的流程(flow)。使用1帧的检测图像生成1帧的插补图像、从1帧的插补图像生成1帧的运算图像(运算后的检测图像)的工序与研究例相同。在研究例中，运算图像表示光学分布图像。从多个帧的运算图像提取2帧(或其以上)的运算图像并合成，生成1帧的光学分布图像。在该形态中，合成图像表示光学分布图像。
(实施例)
接着，对为了确认本公开的实施方式的效果而实施的实施例进行说明。
图7是表示在本实施例中使用的摄像装置的结构的示意图。比摄像元件13靠后段的要素与图5E所示的本实施方式的变形例中的要素是同样的。在本实施例中，将相位差试样25作为被摄体，检测透过了相位差试样25的光。
作为光源2而使用波长850nm的激光二极管，通过准直透镜(未图示)射出平行光。相位差试样25是在厚度1mm的石英玻璃上形成有台阶的结构，台阶的高度是700nm。台阶与Y方向(即从纸面的近前侧到里侧的方向)平行而直线地形成。如果跨越该台阶而照射平行光，则透过了相位差试样25的光成为以台阶为边界具有急剧的相位差的光。
在透镜光学系统7中，使用倍率为1倍的焦阑透镜，在摄像元件13上形成相位差试样的像。摄像元件13中包含的光栅的栅格向量的方向是X方向。即，入射到光耦合层中的光的波导方向是X方向。
为了使被摄体移动而设置了致动器21。作为致动器21而使用能够在X方向上移动的微动台。微动台及相位差试样25和摄像元件13被固接，通过台的移动，摄像元件13也移动。
摄像元件13的结构与图2A及图2B所示的结构是同样的。与由参照图4A说明的解析表示的结构同样，使光耦合层12的X方向的宽度W为5.6μm，使光栅的Z方向的深度为0.2μm，使高折射率透明层(第2透明层)为Ta2O5膜，使其Z方向的厚度t1为0.34μm，使第1透明层12c为SiO2膜，使其Z方向的厚度t2为0.22μm。
将相位差试样25调整为规定的初始位置，由运动图像取得部14从第1像素群及第2像素群取得第1帧的检测图像。取得范围是包括台阶的像的部分的16×16像素的范围。
由插补处理部15对来自各个像素群的图像进行插补处理。欠测像素的插补的方法与在研究例中叙述的方法是同样的。即，将X方向的两旁的实测像素的光量值平均而求出。
在运算部16中，使用来自插补后的两方的像素群的图像进行运算处理。在运算处理中，使用上述P1/(P1+P0)的计算式，按照每个像素计算出检测值。然后，将与相位差对应的检测值作为光学分布图像的亮度值输出。在显示图像时，相位差越大，使亮度值越低。
图8A表示从运算部16输出的第1帧的运算图像。相位差试样25的台阶的像出现在第8列(朝上的箭头)。可知在该列的左右，相位不同的光入射到摄像元件中。亮度值较低的像素仅在第8列中能看到。因此，可知入射光的相位以第8列为边界急剧地(约1像素的宽度的范围内)变化。
观察图8A中的第8列可知，尽管入射光的相位变化的边界在Y方向上连续地存在，但第偶数行的像素亮度值较高，即相位差被检测为较小。追溯到运算前的图像而调查其原因。结果可知，在该实施例中，第2像素群的欠测像素的插补误差被较大地反映到运算结果中。第8列的第偶数行的像素是第2像素群的欠测像素。所以，将作为相位差较小的区域的两旁(即第7列和第9列)的像素的光量值平均化，计算了这些欠测像素的光量值。这成为运算后的图像中的误差的重要原因。
接着，使作为致动器21的微动台移动，使相位差试样25在X方向上向左方移动了摄像元件13的1像素的宽度(5.6μm)。这相当于使摄像元件13上的相位差试样25的像的位置移动了。在该状态下，从第1像素群及第2像素群取得第2帧的检测图像，实施与第1帧同样的插补处理和运算处理。
图8B是表示从运算部16输出的第2帧的运算图像。由于使相位差试样25向右移动了1像素的量，所以台阶的像出现在第9列(朝上的箭头)中。与第1帧的图像不同的是，在第9列的第奇数行的像素中亮度值较高，即相位差被检测为较小。本实施例的遮光区域群以图2B所示那样的棋盘格图案状存在。因而，第9列的第奇数行与第8列的第偶数行同样，相当于第2像素群的欠测像素。与第1帧的运算后的图像同样，可知在第2帧中第2像素群的欠测像素的插补误差也被较大地反映到运算结果中。
进而同样，使微动台移动任意的距离，取得从第3帧到第5帧的运算图像。
图8C表示从运算部16输出的第3帧的运算图像。由于亮度值稍低的列出现在第9列及第10列，所以可以考虑台阶的像存在于第9列与第10列的中间(朝上的箭头)。
图8D表示从运算部16输出的第4帧的运算图像。图8E表示从运算部16输出的第5帧的运算图像。如果根据亮度值变低的列推测，则可以考虑台阶的像在第4帧及第5帧中分别存在于第10列及第11列(朝上的箭头)。
从图8A至图8E所示的运算图像(即，运算后的检测图像)中，提取在合成中使用的2个运算图像。提取的图像只要进行选择以使在2个帧中可能发生插补误差的像素(或能够正确地检测光量的像素)成为互补的概率变高就可以。
在本实施例中，透光区域及遮光区域的配置分别是棋盘格图案状。即，相对于光耦合层12中的光的波导方向(即X方向)，透光区域和遮光区域被交替地配置。因而，如果选择在2个帧之间被摄体的像的移动量相差1像素的宽度W的约奇数倍的状态的图像，则容易从2帧的运算图像生成正确的光学分布图像。
在本实施例的5帧的运算图像中，台阶的像的移动量相差1像素的宽度W的约奇数倍的状态的2帧的运算图像的组合存在多个。这里，假设提取第1帧(图8A)和第2帧(图8B)的运算图像。也可以除了第1帧及第2帧以外还提取其他帧的运算图像而用于合成。
另外，选择并提取台阶的像的移动量相差1像素的宽度W的约奇数倍的状态的运算图像并不是必须的。这是因为，即使是随机性地选择并提取运算图像的情况，也是提取出的运算图像的数量越增加则包含希望的状态的运算图像的概率越高。
这里，说明使用图像处理电路22从第1帧及第2帧的运算图像生成光学分布图像的工序的一例。
在图像位置计算部23中，求出了第1帧及第2帧的像的偏移量。在本实施例中，焦阑透镜的倍率是1倍，已知使相位差试样向右方移动了摄像元件13的1像素的量。因而，第1帧及第2帧的像的偏移在X方向上是1像素。
另外，在相位差试样的移动量不清楚的情况下，也能够根据亮度值变低的列(这相当于运算图像的特征量)的位置，推测出第1帧和第2帧的像的偏移在X方向上是1像素。
在图像合成部24中，使第1帧的图像向右移位1像素的量，与第2帧的图像合成。这里，使用将更大地检测到相位差的像素看作是正确地检测到的像素来加以采用的合成方法。
图8F表示来自图像合成部24的输出图像(即光学分布图像)。在台阶的像存在的第9列(图中的朝上的箭头)中，亮度连续地变低而显示。换言之，在本实施例的光学分布图像中，正确地检测出了入射光的相位变化的边界在Y方向上连续地存在的状态。
如以上叙述那样，本实施方式的摄像装置120、140由第1像素群及/或第2像素群构成，以取得包含在光耦合层12的波导方向上被摄体的像的位置不同的2帧的检测图像的运动图像。因而，即使有在欠测像素中没有正确地求出检测光量的情况，也能够将相位差或相干的程度作为光学分布图像精密地计测。
在实际的摄像环境中，被摄体的移动方向或移动量是随机性的。因而，并不一定是在2帧之间被摄体的像沿X方向移动W的约奇数倍。即使这样，只要增加所取得的检测图像的帧数，能够取得被摄体的像在X方向上相差W的约奇数倍的2帧的检测图像的概率就会变高。如果从插补及运算后的图像群提取包含这样的2帧的图像并合成，则能够得到上述的效果。
如果被摄体的移动方向是随机性(或不能预测的方向)，则事实上可以考虑为被摄体的像拥有包含X方向的成分而移动。这是因为，被摄体的像不拥有包含X方向的成分而移动，仅为被摄体的像在与Y方向完全一致的方向上移动的情况。被摄体的像在与Y方向完全一致的方向上移动的概率远比被摄体的像在不与Y方向一致的方向上移动的概率低。
在实际的摄像环境中，也可以想到被摄体大致静止的状况。在这样的状况下，被摄体及摄像装置也可能因设置场所的振动及/或空气流的影响而分别微小地(例如以微米以上的量级)运动。因而，只要不是在精密防振台之上设置被摄体及摄像装置等的特殊的状况，即使被摄体是大致静止的状态，也能够得到上述的效果。
(第2实施方式)
在本实施方式的说明中，主要对与第1实施方式不同的要素详细地说明。对于与第1实施方式共通的要素赋予相同的标号。
图9是有关第2实施方式的摄像装置160的示意图。除了在第1实施方式的说明中表示的要素以外，摄像装置160还具备致动器101。致动器101的动作受控制电路20控制。
致动器101例如可以用压电元件(压电性元件)或线性致动器实现。在致动器101例如由线性致动器实现的情况下，致动器101可以具备电气马达和齿条及小齿轮。在本说明书中，如压电元件那样将电压变换为力的元件也包含在“致动器”的概念中。致动器101机械地连接在摄像元件13上。致动器101在与光学系统7的光轴(图4A中的单点划线)正交的面内使摄像元件13的位置微小地移动。摄像元件13的移动方向是入射到光耦合层12中的光被波导的方向(即X方向)。
如果摄像元件13的移动距离是在摄像元件13的摄像面上形成的被摄体4的像8b的位置在X方向上移动W以上的距离，则能够进行更正确的插补。摄像元件13的移动距离也可以是W的约奇数倍的距离。
通过沿着与光轴正交的面使摄像元件13的位置移动，即使被摄体4及摄像装置160处于大致静止状态，成像在摄像元件13上的像8b与摄像元件13的相对的位置关系也变化。像8b是通过将来自被摄体4的散射光聚光而形成的像。在本说明书中，将该位置关系的变化称作“被摄体与摄像元件的光学位置关系变化”。即，通过摄像元件13的移动，被摄体4和摄像元件13的光学位置关系成为不同的状态。另外，摄像元件13的移动方向也可以是在XY面上从X方向倾斜的方向。在此情况下，由于摄像元件13与被摄体4的像的相对的位置关系在X方向上变化，所以也能得到本实施方式的效果。
图像位置计算部23求出光学位置关系不同的2个以上的检测图像中的、像8b的偏移的方向及大小。作为求出偏移的方法，在运动图像的取得过程中被摄体4发生了移动的情况下，也可以对多个检测图像的类似部位进行比较来计算，在被摄体4及摄像装置160处于大致静止状态的情况下，也可以根据摄像元件13的移动量来计算。
图像合成部24在将光学位置关系不同的2个以上的插补图像对位以使偏移消失后，将这些插补图像合成，输出1个合成图像。
(动作)
接着，对第2实施方式的动作进行说明。
控制电路20控制运动图像取得部14及插补处理部15，从摄像元件13取得运动图像。控制电路20对构成运动图像的各帧的检测图像进行插补处理。各个插补图像(插补后的检测图像)被发送给图像处理电路22，被图像处理电路22内的存储器(未图示)保持。
这里，在取得某个帧的时刻与取得下个帧的时刻之间，控制电路20控制致动器101而使摄像元件13移动。结果，被摄体4和摄像元件13的光学位置关系变化。
帧间的摄像元件13的移动量例如也可以在X方向(即光耦合层12的波导方向)上为W。摄像元件13也可以按照帧取得的每个时刻而往复移动。摄像元件13也可以跨越多个帧的取得时间而线性地移动。
也可以根据被摄体4的移动量或移动方向来动态地控制摄像元件13的移动量。例如，致动器101使摄像元件13静止，取得由多个帧的检测图像构成的运动图像。通过由图像位置计算部23计算检测图像的位置偏移，能够推测被摄体4的移动量及移动方向。在通过被摄体4的移动，被摄体4的像8b在X方向上移动了W的约奇数倍的情况下，致动器101使摄像元件13为静止的原状。在被摄体4的像8b在X方向上移动了W的约偶数倍的情况下，在被摄体的像8b沿Y方向移动的情况下、或在被摄体4的像8b大致静止的情况下，致动器101使摄像元件13沿X方向移动W的约奇数倍。如果进行这样的动作，则能够避免摄像元件13的不需要的移动。因而，能够使摄像装置160的耗电变低。
控制电路20控制图像位置计算部23和图像合成部24，从保持在存储器中的全部帧的插补图像中提取2帧(或其以上)的插补图像。然后，控制电路20将这些插补图像对位。由此，控制电路20得到1个合成图像。
通过设为这样的实施方式，即使是在运动图像的取得过程中被摄体4及摄像装置160处于大致静止状态的情况、或被摄体的像8的移动方向是与光耦合层12的波导方向正交的方向(即Y方向)的情况，也能够取得在光耦合层12的波导方向上光学位置关系不同的至少2帧的检测图像。因而，能够将相位差或相干的程度作为光学分布图像精密地计测。
在本实施方式中，致动器101使摄像元件13的位置变化，但本公开并不限定于这样的结构。只要是能够取得图像中的被摄体4的位置在与光耦合层12中的光的波导方向对应的方向上移位的2个图像信号的结构就可以。以下，说明其他的结构例。
图10A表示致动器101使透镜光学系统7在与光轴(图中的单点划线)正交的面内移动的结构例。在这样的结构中，也能够随着透镜光学系统7的移动而使摄像元件13上的像的位置变化。因而，能够使被摄体4与摄像元件13的光学位置关系不同。致动器101也可以不是使光学系统7的整体，而通过使构成光学系统7的一部分的透镜移动来使像移动。
图10B表示代替致动器101而将光路调整器26配置在被摄体4与摄像元件13之间的结构例。如该例那样，也可以是将光路调整器26驱动而使光线的方向同样地变化的结构。在这样的结构中，也能够随着光线的方向的变化使摄像元件13上的像的位置在光耦合层的波导方向上移动。因而，能够使被摄体4与摄像元件13的光学位置关系变化。摄像元件13上的像的位置的变化也可以在光耦合层的波导方向上偏移W的奇数倍。作为光路调整器26，例如可以使用声光学元件或电光学调制元件等、通过从外部的电气性的驱动而使折射率变化的光学元件。
在本实施方式中，表示了使用1个摄像元件13在不同的时刻取得光学位置关系不同的2帧的图像的结构。但是，也可以构成为，能够在相同的时刻取得光学位置关系不同的2帧的图像。
图11表示将半反射镜27配置在被摄体4与2个摄像元件13之间的结构例。图11的结构在将来自被摄体4的光用半反射镜27分支、使其向2个摄像元件13入射这一点上与上述实施方式不同。也可以代替半反射镜而使用分束器。在图11所示的例子中，“光学系统”除了透镜光学系统7以外还包括半反射镜27。2个摄像元件13及半反射镜27配置为，使来自被摄体4的一点的光线向2个摄像元件13的一方中的多个透光区域的1个入射，并且向2个摄像元件13的另一方中的多个遮光区域的1个入射。例如，关于具有相同的构造的2个摄像元件13，分别设光耦合层的波导方向为X方向。此时，各构成要素可以配置为，使得形成在各摄像元件13的摄像面上的被摄体4的像在匹配了像素的位置的状态下的比较中，在X方向上偏移W的奇数倍。根据这样的结构，能够原样应用上述的信号处理。
第1帧的检测图像从2个摄像元件13的一方取得。第2帧的检测图像从2个摄像元件13的另一方取得。如果使用这样的结构，则在2帧的检测图像的取得中没有时间上的制约，也能够同时取得检测图像。2个摄像元件13不需要具备相同的构造，例如像素数等也可以不同。在像素数不同的情况下，也能够通过信号处理应用与上述合成处理同样的处理。
如以上这样，本公开包含以下的项目所记载的摄像装置。
[项目1]
有关本公开的项目1的摄像装置具备：摄像元件，包括：包括多个透光区域及多个遮光区域的遮光膜，上述多个透光区域及上述多个遮光区域至少在第1方向上交替地配置；与上述遮光膜对置配置、具有摄像面、并且包括在上述摄像面上二维排列的多个第1像素及多个第2像素的光检测器，上述多个第1像素分别与上述多个透光区域中的1个对置，上述多个第2像素分别与上述多个遮光区域中的1个对置；以及配置在上述遮光膜及上述光检测器之间的光耦合层，该光耦合层包括当规定的波长的光入射到上述多个透光区域时使上述光的第1部分在上述第1方向上传输的光栅，并且使与上述第1部分不同的上述光的第2部分透过；光学系统，在上述摄像面上形成被摄体的像；控制电路，使上述摄像元件取得运动图像；以及信号处理电路，从在由上述摄像元件取得的上述运动图像中包含的多个帧中提取上述第1方向上的上述被摄体的上述像的位置不同的2个帧。
[项目2]
在项目1所记载的摄像装置中，在上述第1方向上，上述多个透光区域中的各个透光区域的宽度与上述多个遮光区域中的各个遮光区域的宽度相同；上述信号处理电路从上述多个帧中，提取上述第1方向上的上述被摄体的上述像的位置相差上述宽度的奇数倍的2个帧。
[项目3]
在项目1或2所记载的摄像装置中，上述多个透光区域及上述多个遮光区域还在与上述第1方向正交的第2方向上交替地配置。
[项目4]
在项目1～3中任一项所记载的摄像装置中，还具备致动器，上述致动器通过上述控制电路而被控制，使从由上述摄像元件及上述光学系统构成的群中选择的至少一个的位置在上述第1方向上变化；上述控制电路还基于上述运动图像判断上述被摄体是否静止；当判断为上述被摄体静止时，当从由上述摄像元件及上述光学系统构成的群中选择的上述至少一个的位置是第1位置时，上述控制电路使上述摄像元件取得上述被摄体的第1像，上述控制电路使上述致动器将从由上述摄像元件及上述光学系统构成的群中选择的上述至少一个的位置变化为与上述第1位置不同的第2位置，并且上述控制电路使上述摄像元件取得上述被摄体的第2像。
[项目5]
在项目1～3中任一项所记载的摄像装置中，还具备光路调整器，上述光路调整器配置在上述摄像元件与上述被摄体之间，并通过上述控制电路而被控制，并且通过使从上述被摄体朝向上述摄像元件的光的路径在上述第1方向上变化，从而使上述摄像面中的上述像的位置在上述第1方向上变化；上述控制电路还基于上述运动图像判断上述被摄体是否静止；当判断为上述被摄体静止时，当上述摄像面中的上述像的位置是第1位置时，上述控制电路使上述摄像元件取得上述被摄体的第1像，上述控制电路使上述光路调整器将上述摄像面中的上述像的位置变化为与上述第1位置不同的第2位置，并且上述控制电路使上述摄像元件取得上述被摄体的第2像。
[项目6]
在项目1～5中任一项所记载的摄像装置中，上述信号处理电路还通过将上述2个帧合成而生成1个帧。
[项目7]
在项目1～6中任一项所记载的摄像装置中，上述光耦合层包括：第1低折射率层；高折射率层，配置在上述第1低折射率层上，包括上述光栅；以及第2低折射率层，配置在上述高折射率层上；上述高折射率层具有比上述第1低折射率层及上述第2低折射率层高的折射率。
在本公开中，电路、单元、装置、部件或部的全部或一部分、或框图的功能块的全部或一部分也可以由半导体装置、半导体集成电路(IC)、或包括LSI(1arge scaleintegration：大规模集成电路)的一个或多个电子电路执行。LSI或1C既可以集成在一个芯片上，也可以将多个芯片组合而构成。例如，也可以将存储元件以外的功能块集成到一个芯片中。这里称作LSI或IC，但根据集成的程度而称呼方式变化，也可以被称作系统LSI、VLSI(very large scale integration：超大规模集成电路)、或ULSI(ultra large scaleintegration：特大规模集成电路)。也可以以相同的目的使用在LSI的制造后能够编程的Field Programmable Gate Array(FPGA：现场可编程门阵列)、或能够进行LSI内部的接合关系的再构成或LSI内部的电路划分的设置的可重构逻辑器件(reconfigurable logicdevice)。
进而，电路、单元、装置、部件或部的全部或一部分的功能或操作可以通过软件处理来执行。在此情况下，软件被记录到一个或多个ROM、光盘、硬盘驱动器等的非暂时性记录介质中，当软件被处理装置(processor)执行时，由该软件确定的功能被处理装置(processor)及周边装置执行。系统或装置也可以具备记录有软件的一个或多个非暂时性记录介质、处理装置(processor)及需要的硬件设备例如接口。
标号说明
100、120、140、160摄像装置
1控制电路
2光源
3光
4被摄体
5a、5A散射光
7透镜光学系统
8a实质性的物体
8b像
9光耦合层
9a透光区域
9A遮光区域
10光检测器
11a、11A微透镜
12光耦合层
13摄像元件
14运动图像取得部
15插补处理部
16运算部
17信号处理电路
20控制电路
21、101致动器
22图像处理电路
23图像位置计算部
24图像合成部
25相位差试样

Claims (7)

1.一种摄像装置，其特征在于，具备：
摄像元件，包括：
包括多个透光区域及多个遮光区域的遮光膜，上述多个透光区域及上述多个遮光区域至少在第1方向上交替地配置；
与上述遮光膜对置配置、具有摄像面、并且包括在上述摄像面上二维排列的多个第1像素及多个第2像素的光检测器，上述多个第1像素分别与上述多个透光区域中的1个对置，上述多个第2像素分别与上述多个遮光区域中的1个对置；以及
配置在上述遮光膜及上述光检测器之间的光耦合层，该光耦合层包括当规定的波长的光入射到上述多个透光区域时使上述光的第1部分在上述第1方向上传输的光栅，并且使与上述第1部分不同的上述光的第2部分透过；
光学系统，在上述摄像面上形成被摄体的像；
控制电路，使上述摄像元件取得运动图像；以及
信号处理电路，从在由上述摄像元件取得的上述运动图像中包含的多个帧中提取不同的2个帧。
2.如权利要求1所述的摄像装置，其特征在于，
在上述第1方向上，上述多个透光区域中的各个透光区域的宽度与上述多个遮光区域中的各个遮光区域的宽度相同；
上述信号处理电路从上述多个帧中，提取上述第1方向上的上述被摄体的上述像的位置相差上述宽度的奇数倍的2个帧。
3.如权利要求1所述的摄像装置，其特征在于，
上述多个透光区域及上述多个遮光区域还在与上述第1方向正交的第2方向上交替地配置。
4.如权利要求1所述的摄像装置，其特征在于，
还具备致动器，上述致动器通过上述控制电路而被控制，使从由上述摄像元件及上述光学系统构成的群中选择的至少一个的位置在上述第1方向上变化；
上述控制电路还基于上述运动图像判断上述被摄体是否静止；
当判断为上述被摄体静止时，
当从由上述摄像元件及上述光学系统构成的群中选择的上述至少一个的位置是第1位置时，上述控制电路使上述摄像元件取得上述被摄体的第1像，
上述控制电路使上述致动器将从由上述摄像元件及上述光学系统构成的群中选择的上述至少一个的位置变化为与上述第1位置不同的第2位置，并且
上述控制电路使上述摄像元件取得上述被摄体的第2像。
5.如权利要求1所述的摄像装置，其特征在于，
还具备光路调整器，上述光路调整器配置在上述摄像元件与上述被摄体之间，并通过上述控制电路而被控制，并且通过使从上述被摄体朝向上述摄像元件的光的路径在上述第1方向上变化，从而使上述摄像面中的上述像的位置在上述第1方向上变化；
上述控制电路还基于上述运动图像判断上述被摄体是否静止；
当判断为上述被摄体静止时，
当上述摄像面中的上述像的位置是第1位置时，上述控制电路使上述摄像元件取得上述被摄体的第1像，
上述控制电路使上述光路调整器将上述摄像面中的上述像的位置变化为与上述第1位置不同的第2位置，并且
上述控制电路使上述摄像元件取得上述被摄体的第2像。
6.如权利要求1所述的摄像装置，其特征在于，
上述信号处理电路还通过将上述2个帧合成而生成1个帧。
7.如权利要求1所述的摄像装置，其特征在于，
上述光耦合层包括：
第1低折射率层；
高折射率层，配置在上述第1低折射率层上，包括上述光栅；以及
第2低折射率层，配置在上述高折射率层上；
上述高折射率层具有比上述第1低折射率层及上述第2低折射率层高的折射率。
CN201710838701.6A 2016-12-08 2017-09-18 摄像装置 Active CN108174059B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-238792 2016-12-08
JP2016238792 2016-12-08

Publications (2)

Publication Number Publication Date
CN108174059A true CN108174059A (zh) 2018-06-15
CN108174059B CN108174059B (zh) 2021-04-13

Family

ID=62487945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710838701.6A Active CN108174059B (zh) 2016-12-08 2017-09-18 摄像装置

Country Status (3)

Country Link
US (1) US10412319B2 (zh)
JP (1) JP6975913B2 (zh)
CN (1) CN108174059B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108169175B (zh) 2016-12-08 2022-07-26 松下知识产权经营株式会社 光检测系统
CN108168715B (zh) * 2016-12-08 2021-02-19 松下知识产权经营株式会社 光检测装置
CN211857087U (zh) * 2020-02-24 2020-11-03 宁波激智科技股份有限公司 一种减干涉准直膜

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030063204A1 (en) * 2001-08-31 2003-04-03 Canon Kabushiki Kaisha Image pickup apparatus
CN1825907A (zh) * 2005-02-23 2006-08-30 株式会社东芝 设有聚光性微型透镜的固体拍摄装置及采用其的相机装置
CN101931755A (zh) * 2010-07-06 2010-12-29 上海洪剑智能科技有限公司 一种人脸识别用的调制光滤光装置和滤光方法
US20120105843A1 (en) * 2010-10-27 2012-05-03 Hideaki Hirai Spectral image acquiring apparatus
US20120120383A1 (en) * 2009-05-15 2012-05-17 Nikon Corporation Distance measuring device and imaging device
CN103314571A (zh) * 2011-11-30 2013-09-18 松下电器产业株式会社 摄像装置
CN104468882A (zh) * 2013-09-18 2015-03-25 宏达国际电子股份有限公司 可携式电子装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6524772B1 (en) * 2001-08-30 2003-02-25 United Microelectronics Corp. Method of manufacturing phase grating image sensor
US8400537B2 (en) * 2008-11-13 2013-03-19 Omnivision Technologies, Inc. Image sensors having gratings for color separation
US8792027B2 (en) * 2010-01-06 2014-07-29 Panasonic Corporation Solid-state image pickup device, imaging device, and dispersing element
WO2012052900A1 (en) * 2010-10-19 2012-04-26 Koninklijke Philips Electronics N.V. Differential phase-contrast imaging
JP5776332B2 (ja) 2011-05-27 2015-09-09 富士通株式会社 地図処理方法及びプログラム、並びにロボットシステム
JP2013034095A (ja) 2011-08-02 2013-02-14 Nikon Corp 撮像装置およびアダプタユニット
JP2013088557A (ja) * 2011-10-17 2013-05-13 Toshiba Corp 固体撮像装置、及び固体撮像装置の製造方法
JP2013098503A (ja) * 2011-11-07 2013-05-20 Toshiba Corp 固体撮像素子
JP2014171799A (ja) * 2013-03-12 2014-09-22 Canon Inc Ｘ線撮像装置及びｘ線撮像システム
WO2014199572A1 (ja) * 2013-06-13 2014-12-18 パナソニックＩｐマネジメント株式会社 光取り込みシートおよび光取り込みロッド、ならびにそれらを用いた受光装置、発光装置および光ファイバー用増幅器
CN109893084A (zh) * 2014-06-20 2019-06-18 拉姆伯斯公司 用于有透镜和无透镜的光学感测的系统和方法
CN106248224B (zh) * 2015-06-09 2020-04-14 松下知识产权经营株式会社 光检测装置以及光检测系统
JP6706814B2 (ja) * 2016-03-30 2020-06-10 パナソニックＩｐマネジメント株式会社 光検出装置および光検出システム
US10084101B2 (en) * 2016-11-07 2018-09-25 Infineon Technologies Ag Graded-index structure for optical systems
CN108169175B (zh) * 2016-12-08 2022-07-26 松下知识产权经营株式会社 光检测系统
CN108168715B (zh) * 2016-12-08 2021-02-19 松下知识产权经营株式会社 光检测装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030063204A1 (en) * 2001-08-31 2003-04-03 Canon Kabushiki Kaisha Image pickup apparatus
CN1825907A (zh) * 2005-02-23 2006-08-30 株式会社东芝 设有聚光性微型透镜的固体拍摄装置及采用其的相机装置
US20120120383A1 (en) * 2009-05-15 2012-05-17 Nikon Corporation Distance measuring device and imaging device
CN101931755A (zh) * 2010-07-06 2010-12-29 上海洪剑智能科技有限公司 一种人脸识别用的调制光滤光装置和滤光方法
US20120105843A1 (en) * 2010-10-27 2012-05-03 Hideaki Hirai Spectral image acquiring apparatus
CN103314571A (zh) * 2011-11-30 2013-09-18 松下电器产业株式会社 摄像装置
CN104468882A (zh) * 2013-09-18 2015-03-25 宏达国际电子股份有限公司 可携式电子装置

Also Published As

Publication number Publication date
CN108174059B (zh) 2021-04-13
JP6975913B2 (ja) 2021-12-01
US10412319B2 (en) 2019-09-10
JP2018098785A (ja) 2018-06-21
US20180167563A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
CN103328921B (zh) 单镜头全视场反射相显微镜
JP6706814B2 (ja) 光検出装置および光検出システム
CN104160241B (zh) 利用高维亮度信息的条纹图像的相位分布分析方法、装置及其程序
JP6473942B2 (ja) 光検出装置、および光検出システム
CN103733144B (zh) 散射样品的3d成像方法
JP7012235B2 (ja) 光検出システム
CN108174059A (zh) 摄像装置
JP6762810B2 (ja) 画像処理装置および画像処理方法
JP6646830B2 (ja) 光検出装置および光検出システム
CN110207609A (zh) 基于多种光谱的主动光的三维成像方法、装置及存储介质
Liu et al. High resolution diffuse optical tomography using short range indirect subsurface imaging
CN106361269A (zh) 光检测装置以及光检测方法
US10605586B2 (en) Photo-detection apparatus including light-shielding film, optically-coupled layer, photodetector, and optical system
KR102231835B1 (ko) 단층촬영 검사 장치 및 방법
CN109496262A (zh) 全场干涉成像系统和全场干涉成像方法
Osten et al. New light sources and sensors for active optical 3D inspection
Laurenzis et al. Approaches to solve inverse problems for optical sensing around corners
Sabarad Correlating Displacement Sensors and In-Situ Optical Imaging for the Layer Management in a Laser Powder Bed Fusion Process
Moldaschl et al. Impurity detection in polymer parts for the semiconductor manufacturing industry
Quinten et al. Imaging Methods
JP2019191175A (ja) イメージング装置及び方法
Lee et al. Automatic industrial inspection of optical thin film using parallel spectral domain optical coherence tomography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant