CN105794195B - 图像形成系统、图像形成方法以及拍摄元件 - Google Patents

图像形成系统、图像形成方法以及拍摄元件 Download PDF

Info

Publication number
CN105794195B
CN105794195B CN201580002897.4A CN201580002897A CN105794195B CN 105794195 B CN105794195 B CN 105794195B CN 201580002897 A CN201580002897 A CN 201580002897A CN 105794195 B CN105794195 B CN 105794195B
Authority
CN
China
Prior art keywords
pixel
image
pixel value
subject
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580002897.4A
Other languages
English (en)
Other versions
CN105794195A (zh
Inventor
足立安比古
佐藤佳州
本村秀人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN105794195A publication Critical patent/CN105794195A/zh
Application granted granted Critical
Publication of CN105794195B publication Critical patent/CN105794195B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0008—Microscopes having a simple construction, e.g. portable microscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本公开的图像形成系统(1000)具有图像获取装置(100)、图像形成电路(140)和图像处理电路(150)。图像获取装置(100)具有从多个不同的照射方向依次照射被拍摄对象与拍摄元件一体化而成的模块中的被拍摄对象的照明系统(30a)。图像获取装置(100)获取与多个不同的照射方向对应的多个图像。图像形成电路(140)通过将多个图像合成，而形成分辨能力比多个图像的每一个都高的被拍摄对象的高分辨能力图像。图像处理电路(150)检测起因于位于与被拍摄对象相比离拍摄元件的拍摄面较远的位置的异物的噪声，并除去噪声。

Description

图像形成系统、图像形成方法以及拍摄元件
技术领域
本公开涉及图像形成系统、图像形成方法、拍摄元件以及程序。
背景技术
以往，为了观察生物体组织等中的微构造而使用了光学显微镜。光学显微镜利用透射观察对象后的光或者反射后的光。观察者观察利用透镜放大后的像。
另一方面，提出了不使用透镜的图像化系统。专利文献1公开了用于将细胞试样图像化的无透镜的图像化系统(图1)。在该系统中，保持有试样的支持器被配置在图像化传感器阵列上。通过从支持器上的试样的上方照射，透射了试样的光入射至图像化传感器阵列。
近年来，利用CIS(Contact Image Sensing；接触式图像感测)方式观察微构造的技术受到注目。在基于CIS方式的情况下，观察对象与图像传感器的拍摄面接近地配置。作为图像传感器，一般地，使用多个光电变换部在拍摄面内排列成行以及列状的2维图像传感器。光电变换部典型地是形成在半导体层或半导体基板的光电二极管，接受入射光从而生成电荷。
图像传感器包含各自包括1个光电变换部的多个单位区域(单位像素单元)。由图像传感器获取的图像包括展现由各单位像素单元的光电变换部获取的像素值的多个像素而构成。因此，2维图像传感器的分辨能力(分辨能力)通常与拍摄面上的光电变换部的排列间距相关。在本说明书中，有时将由光电变换部的排列间距确定的分辨能力称为图像传感器的“固有分辨能力”。各个光电变换部的排列间距变短至可见光的波长左右，因此，难以进一步提高固有分辨能力。
提出了实现超过图像传感器的固有分辨能力的分辨能力的技术。专利文献2公开了下述技术：使用使被拍摄对象的成像位置移动而得的多个图像来形成该被拍摄对象的图像。
现有技术文献
专利文献
专利文献1：日本特表2013-508775号公报
专利文献2：日本特开昭62-137037号公报
专利文献3：日本特开2003-304395号公报
发明内容
本公开的非限定性地例示的一个方式是：能够使实现超过图像传感器的固有分辨能力的分辨能力的高分辨能力化技术的实用性提高的图像形成系统。本公开的一个方式的附加性的好处以及有利的点根据本说明书以及附图变得明确。该好处和/或有利的点可以通过本说明书以及附图中公开的各种方式以及特征来独立地提供，为了得到其1个以上，无需全部的方式以及特征。
本公开的一个方式所涉及的图像形成系统具备：图像获取装置，其具有照明系统，该照明系统构成为：以被拍摄对象为基准，从多个不同的照射方向依次照射将所述被拍摄对象与拍摄元件一体化而成的模块中的所述被拍摄对象，所述图像获取装置获取与所述多个不同的照射方向对应的多个图像；图像形成装置，其通过将所述多个图像合成而形成分辨能力比所述多个图像的各个都高的所述被拍摄对象的高分辨能力图像；以及图像处理装置，其构成为：检测起因于位于与所述被拍摄对象相比离所述拍摄元件的拍摄面较远的位置的异物的噪声，并且除去所述噪声。
此外，这些总括性或具体的方式既可以通过装置、方法、集成电路、计算机程序或计算机可读的存储介质实现，也可以通过装置、系统、方法、集成电路、计算机程序以及计算机可读的存储介质的任意的组合实现。计算机可读的存储介质例如包含CD-ROM(CompactDisc-Read Only Memory)等非易失性的存储介质。
根据本公开，实现超过图像传感器的固有分辨能力的分辨能力的高分辨能力化技术的实用性提高。
附图说明
图1A是示意性地示出被拍摄对象2的一部分的俯视图。
图1B是提取与图1A所示的区域的拍摄相关的光电二极管而示意性地示出的俯视图。
图2A是示意性地示出透射被拍摄对象2而入射至光电二极管4p的光线的方向的截面图。
图2B是示意性地示出透射被拍摄对象2而入射至光电二极管4p的光线的方向的截面图。
图2C是示意性地示出由6个光电二极管4p获取的6个像素Pa的图。
图3A是示意性地示出使光线从与第1照射方向不同的照射方向入射的状态的截面图。
图3B是示意性地示出使光线从与第1照射方向不同的照射方向入射的状态的截面图。
图3C是示意性地示出照明光从第2照射方向照射的情况下获取的6 个像素Pb的图。
图4A是示意性地示出使光线从与第1照射方向以及第2照射方向不同的照射方向入射的状态的截面图。
图4B是示意性地示出使光线从与第1照射方向以及第2照射方向不同的照射方向入射的状态的截面图。
图4C是示意性地示出照明光从第3照射方向照射的情况下获取的6 个像素Pc的图。
图5A是示意性地示出使光线从与第1照射方向、第2照射方向以及第3照射方向不同的照射方向入射的状态的截面图。
图5B是示意性地示出照明光从第4照射方向照射的情况下获取的6 个像素Pd的图。
图6是示出由4张子图像Sa、Sb、Sc以及Sd合成的高分辨能力图像 HR的图。
图7A是用于说明与图像传感器4的拍摄面垂直的法线N和朝向光电二极管4p行进的光线所成的角的算出方法的示意的截面图。
图7B是示意性地示出调整成通过被拍摄对象2的相邻的2个区域后的光线分别入射至不同的光电二极管的照射方向的截面图。
图8A是示意性地示出模块的截面构造的一例的图。
图8B是示出从图像传感器4侧观察图8A所示的模块10时的外观的一例的俯视图。
图9是用于说明模块的制作方法的一例的图。
图10A是示出子图像的获取时的照射角度的例子的截面图。
图10B是示出以与图10A所示的照射角度不同的照射角度照射被拍摄对象的方法的例子的截面图。
图11是示出本公开的实施方式的图像形成系统1000的构成的一例的概要图。
图12A是示出图像获取装置100的例示的外观的立体图。
图12B是示出在图12A所示的图像获取装置100中关闭了盖部120的状态的立体图。
图12C是示意性地示出插座(socket)130相对于图像获取装置100 的载物台32的装填方法的一例的图。
图13A是示意性地示出改变照射方向的方法的一例的图。
图13B是示意性地示出使载物台32相对于基准面倾斜角度θ时的、入射至被拍摄对象的光线的方向的变化的图。
图14A是示意性地示出照明系统的构成的其他例的图。
图14B是示意性地示出照明系统的构成的又一例的图。
图14C是示意性地示出照明系统的构成的又一例的图。
图15A是示出本公开的实施方式的例示的图像形成方法的概要的图。
图15B是示出本公开的实施方式的其他例示的图像形成方法的概要的图。
图16是示出本公开的实施方式的图像形成方法的一例的详细的流程图。
图17A是示意性地示出从第1照射方向照射时的、被拍摄对象2中照明光透射的区域和由图像传感器4获取的像之间的关系的图。
图17B是示意性地示出从第2照射方向照射时的、被拍摄对象2中照明光透射的区域和由图像传感器4获取的像之间的关系的图。
图17C是示意性地示出将图17A所示的子图像Sad和图17B所示的子图像Sbd合成后的状态的图。
图17D是示意性地示出将通过从4个方向的照射得到的4个子图像合成而形成的高分辨能力图像HRd中的、噪声的表现方式的图。
图18A是示意性地示出在相对于光电二极管4p的表面在与被拍摄对象2不同的距离存在垃圾D时获取的子图像的例子的图。
图18B是示意性地示出照明光从与图18A所示的子图像的获取时不同的照射方向照射的情况下所获取的子图像的例子的图。
图19A是示意性地示出能够应用于起因于垃圾D的暗像素的图形的检测的过滤器的例子的图。
图19B是示意性地示出能够应用于起因于垃圾D的暗像素的图形的检测的过滤器的例子的图。
图20A是示意性地示出使用过滤器Fa提取的5个像素的像素值的范围的例子和使用过滤器Fb提取的4个像素的像素值的范围的例子的图。
图20B是示意性地示出使用过滤器Fa提取的5个像素的像素值的范围的其他例和使用过滤器Fb提取的4个像素的像素值的范围的其他例的图。
图21是示意性地示出从与第1～第4照射方向都不同的第5照射方向 R5照射时的、被拍摄对象2中照明光透射的区域与由图像传感器4获取的像之间的关系的图。
图22是示意性地示出除去了噪声的高分辨能力图像的例子的图。
图23A是将照明光从第1照射方向照射的情况下得到的子图像Sf与示意性地示出包含于该子图像Sf的像素的像素值Br的柱状图配合地表示的图。
图23B是将从图23A所示的状态将照射方向改变为第2照射方向时得到的子图像Sg和示意性地示出包含于该子图像Sg的像素的像素值Br的柱状图配合地表示的图。
图23C是将参照图23A说明的像素Pf5以及Pf6的像素值Vf5以及 Vf6、和参照图23B说明的像素Pg1～Pg3的像素值Vg1～Vg3配合地表示的图。
图24A是示出利用了过滤器的噪声检测处理与噪声除去处理的组合的一例的流程图。
图24B是示出利用了过滤器的噪声检测处理与噪声除去处理的组合的其他的一例的流程图。
图24C是示出利用了过滤器的噪声检测处理与噪声除去处理的组合的又一例的流程图。
图24D是示出利用了过滤器的噪声检测处理与噪声除去处理的组合的又一例的流程图。
图25是示出CCD图像传感器的截面构造和被拍摄对象的相对的透射率Td的分布的例子的图。
图26是示出背面照射型CMOS图像传感器的截面构造和被拍摄对象的相对的透射率Td的分布的例子的图。
图27是示出背面照射型CMOS图像传感器的截面构造和被拍摄对象的相对的透射率Td的分布的例子的图。
图28是示出光电变换膜层叠型图像传感器的截面构造和被拍摄对象的相对的透射率Td的分布的例子的图。
具体实施方式
<高分辨能力图像形成的原理>
在本公开的实施方式中，使用通过改变照明光的照射方向执行多次拍摄而得到的多个图像，来形成分辨能力比这些多个图像的每一个高的图像 (以下，称为“高分辨能力图像”)。首先，参照图1A～图6，说明高分辨能力图像形成的原理。在此，例示CCD(ChargeCoupled Device；电荷耦合器件)图像传感器来进行说明。此外，在以下的说明中，存在下述情况：实质上具有相同功能的构成要素以共同的参照符号表示，并省略说明。
参照图1A以及图1B。图1A是示意性地示出被拍摄对象的一部分的俯视图。图1A所示的被拍摄对象2例如是生物组织的薄片(典型地，具有几十μm以下的厚度)。在被拍摄对象2的图像的获取时，被拍摄对象 2与图像传感器的拍摄面接近地配置。从图像传感器的光电变换部(在此为光电二极管)的表面到被拍摄对象2为止的距离典型地为1mm以下，例如可以设定为1μm左右。
图1B是提取图像传感器的光电二极管中的与图1A所示的区域的拍摄相关的光电二极管而示意性地示出的俯视图。在此要说明的例子中，示出形成于图像传感器4的光电二极管4p中的、6个光电二极管。此外，为了参考，在图1B中，图示了表示相互正交的x方向、y方向以及z方向的箭头。z方向示出拍摄面的法线方向。在图1B中，在xy面内，也图示了表示u方向的箭头，u方向是从x轴朝向y轴旋转了45°的方向。在其他的附图中，有时也图示了表示x方向、y方向、z方向或u方向的箭头。
图像传感器4中的光电二极管4p以外的构成要素被遮光层覆盖。图 1B中，带阴影线的区域表示被遮光层覆盖的区域。CCD图像传感器的拍摄面上的1个光电二极管的受光面的面积(S2)比包含该光电二极管的单位区域即单位像素单元的面积(S1)小。受光面积S2相对于单位像素单元的面积S1的比率(S2/S1)被称为“开口率”。在此，设开口率为25％进行说明。
图2A以及图2B示意性地示出透射被拍摄对象2而入射至光电二极管 4p的光线的方向。图2A以及图2B示出使光线从与拍摄面垂直的方向(第 1照射方向)入射的状态。如在图2A以及图2B中示意性地所示那样，在此，在被拍摄对象2与图像传感器4之间未配置成像用的透镜，被拍摄对象2的图像使用透射被拍摄对象2的实质上平行的光线而获取。但是，也可以在被拍摄对象2与图像传感器4之间配置透镜。
图2C示意性地示出照明光从第1照射方向照射的情况下所获取的图像Sa(第1子图像Sa)。如图2C所示，第1子图像Sa包括由6个光电二极管4p获取的6个像素Pa而构成。像素Pa各自具有表示入射至各个光电二极管4p的光的量的值(像素值)。
如图2A以及图2B所示，当从与拍摄面垂直的方向照射被拍摄对象2 时，透射被拍摄对象2的整体中的、位于光电二极管4p的正上的区域后的光入射至光电二极管4p。在该例中，第1子图像Sa具有被拍摄对象2 的整体中的区域A1、A2、A3、A4、A5以及A6(参照图1A)的信息。此外，透射不位于光电二极管4p的正上的区域后的光不入射至光电二极管4p。因此，在第1子图像Sa中，被拍摄对象2的整体中的除了区域A1、 A2、A3、A4、A5以及A6以外的区域的信息是缺失的。
图3A以及图3B示出从与第1照射方向不同的照射方向使光线入射的状态。图3A以及图3B所示的光线相对于z方向向x方向倾斜。此时，透射被拍摄对象2的整体中的、与位于光电二极管4p的正上的区域不同的区域后的光入射至光电二极管4p。
图3C示意性地示出照明光从图3A以及图3B所示的照射方向(第2 照射方向)照射的情况下获取的图像Sb(第2子图像Sb)。如图3C所示，第2子图像Sb也包括由6个光电二极管4p获取的6个像素而构成。其中，构成第2子图像Sb的像素Pb具有与被拍摄对象2的整体中的不同于区域 A1、A2、A3、A4、A5以及A6的区域B1、B2、B3、B4、B5以及B6(参照图1A)相关的像素值。换言之，第2子图像Sb不具有被拍摄对象2的整体中的区域A1、A2、A3、A4、A5以及A6的信息，取而代之具有区域 B1、B2、B3、B4、B5以及B6的信息。在此，例如区域B1是被拍摄对象 2中与区域A1的右侧相邻的区域(参照图1A)。
通过将图2A以及图2B与图3A以及图3B进行比较而可以理解，通过适当地改变照射方向，能够使透射被拍摄对象2的不同的区域后的光线入射至光电二极管4p。结果，第1子图像Sa与第2子图像Sb能够包含与被拍摄对象2中不同的位置对应的像素信息。
图4A以及图4B示出使光线从与第1照射方向以及第2照射方向不同的照射方向入射的状态。图4A以及图4B所示的光线相对于z方向向y方向倾斜。
图4C示意性地示出照明光从图4A以及图4B所示的照射方向(第3 照射方向)照射的情况下获取的图像Sc(第3子图像Sc)。如图4C所示，第3子图像Sc包含由6个光电二极管4p获取的6个像素Pc而构成。如图所示，第3子图像Sc具有被拍摄对象2的整体中的图1A所示的区域 C1、C2、C3、C4、C5以及C6的信息。在此，例如区域C1是被拍摄对象2中与区域A1的上侧相邻的区域(参照图1A)。
图5A示出使光线从与第1照射方向、第2照射方向以及第3照射方向不同的照射方向入射的状态。图5A所示的光线相对于z方向，在xy面内向与x轴成45°的角的方向倾斜。
图5B示意性地示出照明光从图5A所示的照射方向(第4照射方向) 照射的情况下获取的图像Sd(第4子图像Sd)。如图5B所示，第4子图像Sd包含由6个光电二极管4p获取的6个像素Pd而构成。第4子图像 Sd具有被拍摄对象2的整体中的图1A所示的区域D1、D2、D3、D4、D5 以及D6的信息。在此，例如区域D1是与区域C1的右侧相邻的区域(参照图1A)。这样，子图像Sa、Sb、Sc以及Sd的各个包含由被拍摄对象2 的不同的部分构成的像。
图6示出由4张子图像Sa、Sb、Sc以及Sd合成的高分辨能力图像 HR。如图6所示，高分辨能力图像HR的像素数或像素密度为4张子图像 Sa、Sb、Sc以及Sd的各个的像素数或像素密度的4倍。
例如，着眼于被拍摄对象2中的图1A所示的区域A1、B1、C1以及 D1的区块。从至此为止的说明可知，图6所示的子图像Sa的像素Pa1不具有上述的区块整体的信息而具有区域A1的信息。因此，子图像Sa可以说是区域B1、C1以及D1的信息缺失的图像。
但是，通过使用具有与被拍摄对象2中不同的位置对应的像素信息的子图像Sb、Sc以及Sd，如图6所示，可以补全在子图像Sa中所缺失的信息，形成具有区块整体的信息的高分辨能力图像HR。相对于各个子图像的分辨能力与图像传感器4的固有分辨能力相等这一情况，在该例中，可以得到图像传感器4的固有分辨能力的4倍的分辨能力。高分辨能力化(超分辨能力)的程度依赖于图像传感器的开口率。在该例中，图像传感器4的开口率为25％，因此，利用从不同的4个方向的光照射可以达成最大4倍的高分辨能力化。当N为2以上的整数时，若图像传感器4的开口率近似地与1/N相等，则可以实现最大N倍的高分辨能力化。
这样，通过以被拍摄对象为基准从多个不同的照射方向依次照射平行光来进行被拍摄对象的拍摄，可以使从拍摄体进行“空间性”采样的像素信息增加。通过将得到的多个子图像合成，可以形成分辨能力比多个子图像的每一个都高的高分辨能力图像。当然，照射方向不限定于参照图2A～图 5B说明的照射方向。
此外，在上述的例子中，图6所示的子图像Sa、Sb、Sc以及Sd具有被拍摄对象2中的相互不同的区域的像素信息，不具有重复。但是，在不同的子图像间也可以具有重复。
在上述的例子中，通过被拍摄对象2中相邻的2个区域后的光线都入射至同一光电二极管。以下，一边参照图7A，一边说明这样的照射方向的算出方法的一例。
图7A是用于说明与图像传感器4的拍摄面垂直的法线N和朝向光电二极管4p行进的光线所成的角的算出方法的示意性的截面图。在此，图示出图像传感器4所具有的光电二极管4p中的沿x方向排列的3个光电二极管4pb、4pa以及4pc。在图7A例示的构成中，图像传感器4具有覆盖这些光电二极管的透明层4T，被拍摄对象2配置在该透明层4T上。典型地，透明层4T的表面与光电二极管4p的表面平行。
如图所示，在用照明光从与拍摄面4A垂直的方向照射被拍摄对象2 的情况下，通过被拍摄对象2中的区域2a后的光入射至位于区域2a的正下的光电二极管4pa。区域2a的x方向上的宽度和光电二极管4p的x方向上的宽度相同。
在图7A中，也一并图示出在照射方向倾斜了角度θ的状态下透射了被拍摄对象2的光。以下，有时将通过使照明光通过被拍摄对象而得到的光称为“变换光”。在图示的例子中，在使照射方向倾斜了角度θ的情况下，通过被拍摄对象2中的与区域2a相邻的区域2b后的光入射至光电二极管 4pa。表示照射方向的角度θ可以通过以下的方式算出。在此，为了简单，将位于2个光电二极管间的部分(被遮光层覆盖的部分)的x方向上的宽度设为与各光电二极管的x方向上的宽度相同。换言之，在此，连结沿x 方向相邻的2个光电二极管的中心彼此的排列间距Ptc为光电二极管的x 方向上的宽度的2倍。此外，区域2b的x方向上的宽度与光电二极管4p 的x方向上的宽度相同。
着眼于图7A中的由以黑圆点示出的3个点A、B以及C形成的三角形ABC。在此，点A、B以及C分别是区域2b的中心、光电二极管4pa 的中心以及光电二极管4pa与光电二极管4pc的中间点。将透明层4T的厚度设为Tt，如果忽略被拍摄对象2以及光电二极管4p的厚度，则角θ作为边AB与边AC所成的角，被求取为θ＝arctan((Ptc/2)/Tt)。这样，用于子图像的获取时的照射方向可以通过例如几何学的计算来决定。
照射方向不限定于：通过被拍摄对象2中相邻的2个区域后的光线都入射至同一光电二极管那样的方向。例如，如图7B所示，也可以将照射方向调整成：通过被拍摄对象2的相邻的2个区域后的光线分别入射至不同的光电二极管。
在图7B所示的例子中，当使照射方向从与拍摄面4A垂直的方向倾斜了角度θ’时，通过被拍摄对象2的区域2b后的光入射至与光电二极管4pa 相邻的光电二极管4pb。如果着眼于由上述的点A以及C、光电二极管4pb 的中心点B’形成的三角形AB’C，则可以根据θ’＝arctan((3Ptc/2)/Tt) 的关系求出角θ’。
根据图7A以及图7B可知，入射至所着眼的光电二极管的光是通过被拍摄对象2中的哪个区域后的光，是由所着眼的光电二极管、被拍摄对象以及光源等的配置决定的。因此，基于图像传感器4(或者下述的模块)、下述的图像获取装置的构造，可以获知各光电二极管的输出与被拍摄对象 2中的各区域的配置之间的对应。
在本公开的图像形成系统中，例如，利用在不同的2个照射方向之间由同一光电二极管获取的像素值，来执行噪声的检测。或者，可以利用在不同的2个照射方向的一个方向上由某光电二极管获取的像素值和在另一个方向上由与该光电二极管相邻的其他光电二极管获取的像素值，执行噪声的检测。在噪声的检测中所利用的像素值的对应典型地，在多个子图像的获取之间是固定的。即，图像形成系统典型地，在设定了是利用在不同的2个照射方向之间由同一光电二极管获取的像素值、或者是利用由相邻的2个光电二极管获取的像素值的状态下工作。即，根据利用怎样的像素值的组而使用适当的照射方向。在下述的具体例子中，利用在不同的2个照射方向之间由同一光电二极管获取的像素值，执行噪声的检测。此时，选择通过被拍摄对象2中相邻的2个区域后的光线都入射至同一光电二极管那样的照射方向。在下述的该具体例中，利用记叙有表示照射方向的信息和应在噪声检测中使用的像素值的对应的表。
<模块>
在基于参照图1A～图6说明的原理的高分辨能力图像的形成中，子图像的获取在被拍摄对象2与图像传感器4的拍摄面接近地配置的状态下执行。在本公开的实施方式中，使用具有被拍摄对象2以及图像传感器4一体化的构造的模块来进行子图像的获取。以下，参照附图，对模块的构成的一例以及模块的制作方法的一例进行说明。
图8A示意性地示出模块的截面构造的一例。在图8A所示的模块10 中，由封入剂6覆盖的被拍摄对象2配置在图像传感器4的拍摄面4A上。此外，在图8A所示的示意性的截面中，被拍摄对象2与拍摄面4A接触，但也可以在拍摄面4A与被拍摄对象2之间夹着有封入剂6。
在图示的例子中，透明板(典型地是玻璃板)8配置在被拍摄对象2 上。即，在图8A例示的构成中，被拍摄对象2被夹在图像传感器4与透明板8之间。若模块10具有透明板8，则操作性提高，因此是有益的。作为透明板8，例如，能够使用普通的载片玻璃(slide glass)。此外，在图中，示意性地表示了各要素，各要素的实际的大小以及形状不一定与图中显现的大小以及形状一致。以下，在参照的其它附图中也是同样的。
在图8A所例示的构成中，图像传感器4固定于具有1个以上的电极的封装件5。图8B示出从图像传感器4侧观察图8A所示的模块10时的外观的一例。如图8A以及图8B所示，封装件5在与透明板8相反侧的面具有背面电极5B。该背面电极5B经由形成于封装件5的未图示的布线图形与图像传感器4电连接。即，经由背面电极5B，能够取出图像传感器4 的输出。在本说明书中，有时为了方便而将封装件与图像传感器一体化的构造物称为“传感器单元”。
参照图9，对模块10的制作方法的一例进行说明。在此，作为被拍摄对象2，例示出生物组织的薄片(组织切片)。具有生物组织的薄片作为被拍摄对象2的模块10可以被利用于病理诊断。
首先，如图9所示，将组织切片A02载置于透明板8。透明板8可以是用于由光学显微镜进行的试样的观察的载片玻璃。以下，作为透明板8，例示了载片玻璃。载片玻璃典型地，具有厚度为1mm、长边方向的长度为 76mm、短边方向的长度为26mm的尺寸。接下来，将组织切片A02按各透明板8浸渍于染色液Ss，据此，将组织切片A02染色。接下来，向透明板8上供给封入剂6，据此，通过将组织切片A02染色而得到的被拍摄对象2被封入剂6覆盖。封入剂6具有保护被拍摄对象2的功能。接下来，将传感器单元7在被拍摄对象2上配置成：图像传感器4的拍摄面与被拍摄对象2对置。这样，得到模块10。
模块10按各个拍摄的对象制作。例如在病理诊断的场景下，从1个检体准备多个(例如5～20张)组织切片。因此，将从同一检体获得的组织切片作为被拍摄对象2而具备的模块10可以被制作多个。如果对这些多个模块10的每一个进行多个子图像的获取，则可以形成与多个模块10的每一个对应的高分辨能力图像。
如图8A所示，模块10与用于由光学显微镜进行的观察的显微镜用标本不同，具备获取被拍摄对象2的图像的图像传感器4。也可以将这样的模块称为“电子显微镜用标本”。如图8A所示，通过使用具有被拍摄对象2 以及传感器单元7一体化的构造的模块10，可以得到能够固定被拍摄对象 2与图像传感器4之间的配置这一优点。此外，传感器单元7中的封装件5 根据需要设置即可，也可以通过将被拍摄对象2与图像传感器4一体化来制作模块。换言之，在被拍摄对象2的拍摄中使用的模块可以是不具有封装件5的构成。
当使用模块10执行被拍摄对象2的图像的获取时，经由透明板8向被拍摄对象2照射照明光。透射被拍摄对象2的光入射至图像传感器4。由此，得到被拍摄对象2的图像。一边改变光源与被拍摄对象的相对的配置，一边依次执行拍摄，据此能够在照射时改变角度而获取多个不同的图像。例如，如图10A所示，在图像传感器4的正上方配置光源310。然后，若在使准直后的光CL从图像传感器4的拍摄面4A的法线方向向被拍摄对象2照射的状态下进行拍摄，则得到与图2C所示的子图像Sa同样的子图像。另外，如图10B所示，在使模块10倾斜的状态下使得准直后的光CL 向被拍摄对象2照射而进行拍摄的话，则得到与图3C所示的子图像Sb(或者图4C所示的子图像Sc)同样的子图像。这样，一边使模块10相对于光源的姿势变化，一边依次执行拍摄，由此可以应用参照图1A～图6说明的原理来得到高分辨能力图像。
<本发明者所发现的问题>
在与图像传感器接近地配置被拍摄对象来进行拍摄的情况下，有时在被拍摄对象与光源之间配置透明的构造物。例如，如果是利用模块10的情况，在拍摄时，在被拍摄对象2与光源之间会存在透明板8。透明板8使模块10的处理(handling)容易，有助于拍摄时的操作性的提高。另一方面，例如，有时会在模块10的透明板8中的照明光入射侧的面上附着头发、灰尘、被拍摄对象的碎片(例如组织切片的碎片)等垃圾。若在透明的构造物的、与被拍摄对象相反侧的表面存在这样的垃圾或者污渍、或损伤等，则由于这些使得照射光的一部分散射、衍射。在本说明书中，有时将垃圾或者污渍、或损伤等统称为“异物”。
例如若在透明的构造物的表面上存在垃圾，则有时用于获取被拍摄对象的像的相对于图像传感器的光电变换部的光量不足。结果，在所形成的高分辨能力图像上产生起因于垃圾的存在的噪声。换言之，若在透明的构造物的表面上存在垃圾等，则难以在高分辨能力图像中再现被拍摄对象的正确的像。
在这种情况下，若在除去垃圾之后再次执行子图像的拍摄，则可以得到再现了被拍摄对象的正确的像的高分辨能力图像。但是，应用参照图1A～图6说明的原理时，需要再次执行与多个照射方向对应的多次拍摄。因此，拍摄的再次执行是不现实的。
此外，专利文献3公开了：使用红外线进行图像的获取，利用得到的图像检测膜上的垃圾的膜扫描仪。但是，专利文献3中公开的技术中，除了使用可见光的图像的获取所用的光源之外还需要红外线光源，因此装置复杂化。
本发明者鉴于上述情况而反复研究，提出了可以提高实现超过图像传感器的固有分辨能力的分辨能力的高分辨能力化技术的实用性的图像形成系统。
在详细地说明本公开的实施方式之前，首先，说明本公开的实施方式的概要。
作为本公开的一个方式的图像形成系统具备：图像获取装置、图像形成装置以及图像处理装置。图像获取装置具有照明系统，所述照明系统构成为:以被拍摄对象为基准从多个不同的照射方向依次照射将被拍摄对象与拍摄元件一体化了的模块中的被拍摄对象。图像获取装置获取与多个不同的照射方向对应的多个图像。图像形成装置将多个图像合成，据此形成分辨能力比多个图像的每一个都高的被拍摄对象的高分辨能力图像。图像处理装置构成为：检测起因于位于与被拍摄对象相比离拍摄元件的拍摄面较远的位置的异物的噪声，并除去噪声。噪声可以基于：构成多个图像中的1个图像的像素中的某个像素的像素值与构成多个图像中的另1个图像的像素中的与某个像素对应的像素的像素值之差来检测。
在某个方式中，图像处理装置通过比较多个图像中的1个与多个图像中的另1个来检测噪声。例如，可以通过将构成多个图像中的1个图像的各像素的像素值与对应于这些各像素的、构成多个图像中的另1个图像的各像素的像素值分别进行比较，来执行噪声的检测。
在某个方式中，图像处理装置基于由高分辨能力图像中接近的多个像素构成的像素区块中的像素间的像素值的变化的大小来检测噪声。
在某个方式中，图像处理装置利用根据包含噪声的像素以外的像素的像素值算出的像素值来置换包含噪声的像素的像素值，据此除去噪声。
在某个方式中，根据包含噪声的像素以外的像素的像素值算出的像素值，是使用高分辨能力图像中的、包含噪声的像素的附近的像素的像素值算出的像素值。
在某个方式中，图像处理装置利用在来自与对应于构成高分辨能力图像的多个图像的各个图像的多个不同的照射方向都不同的照射方向的照射下所获取的图像的像素置换包含噪声的像素，据此除去噪声。
在某个方式中，图像处理装置对包含噪声的像素的像素值加上不包含异物的像以及被拍摄对象的像中的任一个的像素的像素值与包含异物的像并且不包含被拍摄对象的像的像素的像素值之差，据此除去噪声。
在某个方式中，照明系统具有：1个以上的光源、构成为能够拆装自如地装填模块的载物台以及构成为能够改变载物台的姿势的载物台驱动机构。
在某个方式中，照明系统具有射出相互不同的波长范围(wavelength region)的光的多个光源。
在某个方式中，照明系统具有配置在与多个不同的照射方向对应的不同的位置且依次射出照明光的多个光源。
在某个方式中，照明系统包括使载物台的姿势以及1个以上的光源的朝向的至少一方变化的测角(gonio)机构。
作为本公开的其他的一个方式的图像形成方法包括：获取多个图像的步骤、形成被拍摄对象的高分辨能力图像的步骤、检测噪声的步骤以及除去噪声的步骤。在获取多个图像的步骤中，从多个不同的照射方向依次利用照明光照射以使得透射被拍摄对象后的照明光入射至拍摄元件的方式将被拍摄对象与拍摄元件一体化了的模块，据此获取与多个不同的照射方向对应的多个图像。模块中的拍摄元件可以配置于透射被拍摄对象后的照明光入射的位置。在形成被拍摄对象的高分辨能力图像的步骤中，通过将多个图像合成，来形成分辨能力比多个图像的每一个都高的被拍摄对象的高分辨能力图像。在检测噪声的步骤中，检测起因于位于与被拍摄对象相比离拍摄元件的拍摄面较远的位置的异物的噪声。噪声可以基于构成多个图像中的1个的像素中的某个像素的像素值与构成多个图像中的另1个的像素中的、与某个像素对应的像素的像素值之差来检测。噪声的检测可以在高分辨能力图像的形成前执行，也可以在高分辨能力图像的形成后执行。在除去噪声的步骤中，利用其它的像素值置换包含噪声的像素的像素值，据此除去噪声。
在某个方式中，在检测噪声的步骤中，通过比较多个图像中的1个和多个图像中的另1个来检测噪声。例如，也可以通过将构成多个图像中的 1个的各像素的像素值与对应于这些各像素的、构成多个图像中的另1个的各像素的像素值分别进行比较，来执行噪声的检测。
在某个方式中，在检测噪声的步骤中，基于由高分辨能力图像中接近的多个像素构成的像素区块中的像素间的像素值的变化的大小，来检测噪声。
在某个方式中，其它的像素值是根据包含噪声的像素以外的像素的像素值算出的像素值。
在某个方式中，根据包含噪声的像素以外的像素的像素值算出的像素值，是使用高分辨能力图像中的、包含噪声的像素的附近的像素的像素值算出的像素值。
在某个方式中，其它的像素值是下述图像中含有的像素的像素值，该图像是在来自与对应于构成高分辨能力图像的多个图像的各个的多个不同的照射方向都不同的照射方向的照射下所获取的图像。
在某个方式中，其它的像素值是通过对包含噪声的像素的像素值加上不包含异物的像以及被拍摄对象的像的任一个的像素的像素值与包含异物的像并且不包含被拍摄对象的像的像素的像素值之差而得到的像素值。
作为本公开的另一个方式的程序包含：用于使1个以上的处理器执行包括形成被拍摄对象的高分辨能力图像的步骤和除去噪声的步骤的处理的命令。在形成被拍摄对象的高分辨能力图像的步骤中，将通过从多个不同的照射方向依次照射被拍摄对象而获取的、各自包含由被拍摄对象的不同的部分构成的像的多个图像合成，据此形成分辨能力比多个图像的每一个都高的被拍摄对象的高分辨能力图像。在除去噪声的步骤中，从高分辨能力图像，除去起因于位于与被拍摄对象相比离拍摄元件的拍摄面较远的位置的异物的噪声。
作为本公开的又一个方式的拍摄元件是用于具备图像获取装置、图像形成装置和图像处理装置的图像形成系统的拍摄元件。图像获取装置具有以被拍摄对象为基准从多个不同的照射方向依次照射被拍摄对象的照明系统，利用配置于透射被拍摄对象后的照明光入射的位置的拍摄元件获取与多个不同的照射方向对应的多个图像。图像形成装置通过将多个图像合成，来形成分辨能力比多个图像的每一个都高的被拍摄对象的高分辨能力图像。图像处理装置检测起因于位于与被拍摄对象相比离拍摄元件的拍摄面较远的位置的异物的噪声，并除去噪声。噪声可以基于构成多个图像中的 1个图像的像素中的某个像素的像素值与构成多个图像中的另1个图像的像素中的、与某个像素对应的像素的像素值之差来检测。拍摄元件能够相对于图像获取装置拆装，在安装于图像获取装置的状态下在照明光入射侧的面具备能够配置被拍摄对象的被拍摄对象支承部。
以下，一边参照附图，一边详细地说明本公开的实施方式。此外，以下要说明的实施方式均表示总括性或具体的例子。在以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置以及连接方式、步骤、步骤的顺序等只是一例，并不旨在限定本公开。另外，以下的实施方式中的构成要素中的、未记载于表示最上位概念的独立权利要求的构成要素，作为任意的构成要素被说明。
<图像形成系统>
图11示出本公开的实施方式的图像形成系统的构成的一例的概要。图 11所示的图像形成系统1000具有：图像获取装置(数字变换器)100、图像形成装置140、图像处理装置150。如以下会详细地说明的那样，图像形成装置140通过合成由图像获取装置100获取的多个图像(子图像)而形成被拍摄对象2的高分辨能力图像。图像处理装置150检测位于与被拍摄对象2相比离图像传感器4的拍摄面较远的位置的异物所引起的噪声，并除去噪声。图像处理装置150例如检测高分辨能力图像中的噪声，从高分辨能力图像除去所检测的噪声。
在图11所示的例子中，图像形成装置140以及图像处理装置150构成信息处理装置200的一部分。另外，在图示的例子中，信息处理装置200 包括：进行图像获取装置100的工作的控制的控制装置170和存储器160。图像形成装置140以及图像处理装置150的工作的例子在以下叙述。
信息处理装置200可以由通用或专用的计算机来实现。信息处理装置 200可以与图像获取装置100一体，也可以是与图像获取装置100不同的另外的装置。信息处理装置200无需配置于与图像获取装置100相同的场所。例如，可以将信息处理装置200配置于与图像获取装置100不同的场所，经由因特网等网络而将它们连接。
图像形成装置140、图像处理装置150以及控制装置170可以是分别独立的装置。图像形成装置140、图像处理装置150以及控制装置170中的至少1个也可以构成为：经由因特网等网络而与信息处理装置200和/ 或图像获取装置100连接。
或者，图像形成装置140、图像处理装置150以及控制装置170的各自的一部分或整体可以由1个以上的处理器(计算机)实现。例如，图像形成装置140以及图像处理装置150中的至少一方可以由DSP(digital signal processor；数字信号处理器)或FPGA(FieldProgrammable Gate Array；现场可编程门阵列)之类的处理电路实现。图像形成装置140、图像处理装置150以及控制装置170中的2个以上也可以由单一的处理器(计算机)实现。
在图11例示的构成中，存储器160中可以保存用于控制图像获取装置 100、图像形成装置140以及图像处理装置150中的至少1个的计算机程序等。例如，在图像形成装置140是通用的处理器(计算机)的情况下，图像形成装置140从存储器160读出计算机程序。通过使图像形成装置140 执行程序所记述的处理，可以形成高分辨能力图像。同样地，在图像处理装置150为通用的处理器(计算机)的情况下，通过读出存储器160中保存的计算机程序以及执行该程序，图像处理装置150可以检测以及除去噪声。计算机程序也可以保存于可与信息处理装置连接的公知的外部存储装置或公知的存储介质。存储器160中也可以保存与多个照射方向相关的信息的列表。
存储器160的例子是RAM。存储器160不限定于RAM，可以使用公知的存储装置。图像形成装置140、图像处理装置150以及控制装置170 中的至少任意一个可以包含存储器，可以利用该存储器来实现存储器160 的功能。
图11所示的图像获取装置100具有照明系统30a，照明系统30a包括：生成照明光的光源31、构成为可拆装自如地装填模块10的载物台32以及构成为能够改变载物台32的姿势的载物台驱动机构33。图11示意地示出在载物台32装填模块10后的状态。模块10不是图像获取装置100中必须的构成要素。
如图所示，模块10以传感器单元7所具有的图像传感器4的拍摄面 4A(例如参照图10A)与光源31对置的方式装填于载物台32。此时，被拍摄对象2位于光源31与图像传感器4之间。换言之，在模块10与载物台32连接了的状态下，传感器单元7(也可以称为图像传感器4)配置于透射被拍摄对象2后的光入射的位置。在该例子中，在接收从光源31发出的、通过被拍摄对象后的光的拍摄面4A载置有被拍摄对象2，图像传感器 4的拍摄面4A作为被拍摄对象支承部7S发挥功能。当然，在模块10与载物台32连接了的状态下的、传感器单元7以及被拍摄对象2的配置，不限定于图11所示的例子。例如，也可以使得传感器单元7以及被拍摄对象 2的配置相对于图11所示的配置逆转。即，也可以使得光源31与图像传感器4的拍摄面4A对置地，在光源31的上方配置模块10。只要传感器单元7中的图像传感器4配置于透射被拍摄对象2后的光入射的位置，就可以获取用于形成高分辨能力图像的多个图像。本说明书中的“支承”不限定于从下方支承。
照明系统30a通过例如使得载物台32的姿势变化，而使以被拍摄对象 2为基准的照射方向变化。照明系统30a的构成的详细以及工作的例子在下面进行说明。本说明书中的“姿势”的变化广义地包含相对于基准面的倾斜的变化、相对于基准方位的旋转角度的变化以及相对于基准点的位置的变化等。
从以被拍摄对象2为基准的多个不同的照射方向依次利用由光源31 生成的照明光照射被拍摄对象2。通过改变照射方向来照射被拍摄对象2，可以利用传感器单元7的图像传感器4获取对应于多个不同的照射方向而不同的多个图像。此外，与各照射方向对应地从传感器单元7获取的信息也可以不是图像(子图像)自身。即，按各照射方向获取与图像传感器4 所包含的各光电二极管对应的像素值即可，无需按各照射方向形成子图像。使用所获得的多个图像中包含的像素值，可以形成高分辨能力图像。
接下来，参照图12A～图13B，对改变以被拍摄对象为基准的照明光的照射方向的方法的一例进行说明。
图12A以及图12B示出图像获取装置100的例示的外观。在图12A 例示的构成中，图像获取装置100具有：包含光源31以及载物台32的主体110和能够开闭地与主体110连接的盖部120。通过关闭盖部120，能够在图像获取装置100的内部形成暗室(参照图12B)。
在图示的例子中，用于保持模块10的插座130连接于载物台32上。插座130可以固定于载物台32，也可以构成为能够相对于载物台32拆装。在此，例示了插座130能够相对于载物台32拆装的构成。插座130例如包括：构成为模块10能够拆装的下部基材132和形成了开口部Ap的上部基材134。在图12A所例示的构成中，插座130通过在下部基材132与上部基材134之间夹着模块10而保持模块10。
下部基材132可以具有电连接部，电连接部具有用于与模块10的传感器单元7电连接的电接点。在被拍摄对象的图像的获取时，以使得传感器单元7中的图像传感器4的拍摄面与光源31对置的方式将模块10载置于下部基材132。此时，电连接部的电接点与传感器单元7的背面电极5B(参照图8A以及图8B)接触，由此模块10的传感器单元7与下部基材132 的电连接部被电连接。
图12C示出插座130相对于图像获取装置100的载物台32的装填方法的一例。在图12C例示的构成中，插座130具有从底面突出的电极136。该电极136可以是下部基材132的电连接部的一部分。另外，在图12C所示的例子中，图像获取装置100的载物台32具有设置了插孔36的安装部 34。如图12C所示，例如保持有模块10的状态的插座130以插座130的电极136插入插孔36的方式装填于载物台32。由此，保持于插座130的模块10中的传感器单元7和图像获取装置100之间的电连接被确立。
载物台32可以具有在装填了保持模块10的插座130的状态下接受传感器单元7的输出、即图像传感器4的输出的电路。在本公开的实施方式中，图像获取装置100以插座130具有的电连接部作为媒介从模块10中的图像传感器4获取表示被拍摄对象2的图像的信息(图像信号或者图像数据(各像素的像素值))。也即是，图像获取装置100当从某个照射方向进行了照射时，获取从图像传感器4的光电二极管输出的第1多个像素值，当从另外的某个照射方向进行了照射时，获取从图像传感器4的光电二极管输出的第2多个像素值。
此外，在使用多个模块10进行多个被拍摄对象的拍摄的情况下，可以准备与模块10相同数量的插座130，通过更换安装保持有模块10的状态的插座130来改变拍摄的对象。或者，也可以保持在载物台32安装了1 个插座130的状态不变而更换安装模块10，由此改变拍摄的对象。这样，在本公开的实施方式中，模块10相对于图像获取装置100的固定不是永久的。换言之，在本公开的实施方式中，对被拍摄对象进行拍摄的传感器单元7(也可以称为图像传感器4)可以相对于图像获取装置100拆装。
如图12C所示，通过将插座130装填于载物台32，可以使得插座130 的底面与安装部34的顶面紧贴。由此，插座130相对于载物台32的配置被固定。因此，在载物台32的姿势的变化前后，能够使得载物台32与保持于插座130的模块10的配置保持为一定。典型地，在插座130装填于载物台32的状态下，模块10的透明板8的主面与载物台32基本是平行的。
图13A示出改变照射方向的方法的一例。如图所示，对保持于插座130 的模块10照射从光源31射出的照明光CL。照明光CL经由设置于插座 130的开口部Ap，入射至模块10的被拍摄对象2。透射被拍摄对象2后的光入射至模块10的传感器单元7的拍摄面。从光源31射出的光典型地是准直后的光。但是，在入射至被拍摄对象的光可被视为实质上是平行光的情况下，从光源31射出的光也可以不是准直后的光。
如参照图11所说明的那样，图像获取装置100具有载物台驱动机构 33。载物台驱动机构33包括测角机构、旋转机构等，使载物台32相对于主体110的倾斜和/或关于通过载物台32的中心的轴的旋转角变化。在图 13A例示的构成中，载物台驱动机构33具有使载物台32的姿势变化的测角机构33g。载物台驱动机构33也可以具有：能够使载物台32在基准面(典型地为水平面)内平行移动的滑动机构。
通过使载物台驱动机构33工作，能够使载物台32的姿势变化。在此，保持有模块10的状态的插座130安装于载物台32，因此，通过使载物台 32的姿势变化，能够使模块10的姿势变化。例如，在载物台32相对于基准面不倾斜时的照明光的入射方向被设为是图像传感器的拍摄面的法线方向。在此，载物台32相对于基准面的倾斜和模块10相对于基准面的倾斜 (也可以称为透明板8的倾斜)之间的关系(例如，平行)，在载物台32 的姿势的变化前后被保持为一定。因此，如图13B所示，若使载物台32 相对于基准面倾斜角度θ，则入射至被拍摄对象的光线的方向也倾斜角度θ。此外，图13B中，虚线N表示图像传感器的拍摄面的法线。
这样，通过使模块10的姿势与载物台32一起变化，能够以被拍摄对象2为基准从多个不同的照射方向依次将照明光照射至被拍摄对象。因此，能够利用模块10的传感器单元7获取与以被拍摄对象2为基准的多个不同的照射方向对应的多个图像。以被拍摄对象2为基准的照射方向例如能够由：图像传感器的拍摄面的法线N与朝向被拍摄对象2的入射光线所成的角(图13B所示的天顶角θ)以及设定在拍摄面上的基准方位与入射光线朝向拍摄面的射影所成的角(方位角)的组来表示。
图14A是表示照明系统的构成的其他例。在图14A例示的构成中，照明系统30b的光源31由多个光源31x、31y以及31z构成。光源31x、31y 以及31z配置于与相互不同的照射方向对应的位置。从光源31x、31y以及 31z顺次射出照明光，由此，能够从以被拍摄对象2为基准的多个不同的照射方向依次照射被拍摄对象2。此外，图14A所示的构成只不过是例子，照明系统具有的光源的数量不限定于3个。
图14B示出照明系统的构成的又一其他例。在图14B例示的构成中，照明系统30c包括使光源31中的发光部的朝向变化的测角机构31g。如图所示，通过使光源31的朝向变化，也能够从以被拍摄对象2为基准的多个不同的照射方向依次照射被拍摄对象2。照明系统30c也可以与测角机构 31g一起或者取代测角机构31g，而包括使关于通过载物台32的中心的轴的光源31的旋转角变化的旋转机构、能够使光源31平行移动的滑动机构等。也可以通过使载物台32的姿势的变化与光源31的移动组合来使照射方向变化。
光源31包括例如LED芯片。光源31也可以包含各自在不同的波长范围具有峰值的多个LED芯片。例如，在图14C例示的照明系统30d中，光源31包含：射出蓝色的光的LED芯片31B、射出红色的光的LED芯片31R以及射出绿色的光的LED芯片31G。在使得多个发光元件接近(例如100μm左右)地配置的情况下，可以将这些的一组视为点光源。
使用射出相互不同的颜色的光的多个发光元件，例如，按各个照射方向将不同的颜色的光时间序列地照射，由此能够获取关于各个颜色的多个子图像。例如，可以获取蓝色子图像的集合(set)、红色子图像的集合、以及绿色子图像的集合。只要使用所获取的子图像的集合，就能够形成彩色的高分辨能力图像。例如在病理诊断的场景下，通过利用彩色的高分辨能力图像，能够得到关于有无病变等更多的有益的信息。使用白色LED 芯片作为光源31并且在光路上配置滤色器，由此，也可以时间序列地得到相互不同的颜色的照明光。另外，作为图像传感器4，也可以使用彩色拍摄用的图像传感器。但是，从抑制入射至图像传感器4的光电变换部的光量的降低的观点出发，较有利的是，不配置滤色器的构成。
光源31不限定于LED，也可以是白炽灯、激光元件、光纤激光器、放电管等。从光源31射出的光不限定于可见光，也可以是紫外线、红外线等。光源31所具有的发光元件的数量以及配置也可以任意地设定。
<图像形成方法>
图15A示出本公开的实施方式的例示的图像形成方法的概要。本公开的实施方式的图像形成方法大致包括：获取多个图像(子图像)的步骤、形成被拍摄对象的高分辨能力图像的步骤、检测噪声的步骤。本公开的实施方式的图像形成方法还可以包含除去噪声的步骤。在图15A所示的例子中，在步骤S10中，利用照明光从多个不同的照射方向依次照射模块，由此获取与多个不同的照射方向对应的多个图像。步骤S10中的多个图像的获取指的是表示子图像的多个像素值的获取，可以不必包含子图像的形成的步骤。
在本公开的实施方式中，使用以使得透射被拍摄对象后的光入射至图像传感器的方式将被拍摄对象与传感器单元一体化而成的模块。在步骤 S12中，通过将多个图像合成来形成被拍摄对象的高分辨能力图像。在步骤S14中，检测此时得到的高分辨能力图像中的噪声。在本公开的实施方式中，执行起因于位于与被拍摄对象相比离传感器单元的拍摄面较远的位置的异物的噪声的检测。在步骤S16中，除去所检测到的噪声。具体而言，通过利用其它的像素值置换包含噪声的像素的像素值，来除去高分辨能力图像中的噪声。用于执行这些各步骤的程序保存于例如存储器160。
图15A所示的步骤以及它们的顺序只不过是一例。如图15B所示，噪声的检测以及噪声的除去也可以在高分辨能力图像的形成前执行。也即是，也可以：在对应于多个不同的照射方向而获取的多个图像的各个中，执行噪声的检测以及除去，通过将噪声除去后的多个图像合成，而得到高分辨能力图像。在图15B所示的例子中，在步骤S11中，获取与多个不同的照射方向对应的多个图像(子图像)，在步骤S13以及步骤S15中，分别执行各子图像中的噪声的检测以及检测到的噪声的除去。与步骤S10同样地，步骤S11中的多个图像的获取指的是表示子图像的多个像素值的获取，可以不必包含子图像的形成的步骤。之后，在步骤S17中，通过将多个图像合成，来形成被拍摄对象的高分辨能力图像。
此外，上述的各步骤不需要连续地执行，例如，也可以在2个步骤间插入其他的步骤。上述的各步骤中的2个以上的步骤也可以并行地执行。
图16示出本公开的实施方式的图像形成方法的一例的详细情况。首先，在步骤S18中，在图像获取装置100(例如参照图11)内配置被拍摄对象2。在此，在装填于图像获取装置100的载物台32的插座130固定模块10。
接下来，在步骤S20中，进行初始化。例如，将1代入用于识别照射方向以及子图像的索引(index)i(i为整数)。
接下来，在步骤S22中，获取以被拍摄对象2为基准的第1个(i＝1) 照射方向的信息。表示照射方向的信息可以记述在用于控制图像形成系统 1000(参照图11)中的工作的程序中，也可以例如以列表(或表格)的形式保存于存储器160。如在下文详细地说明的那样，只要知道照射方向，就能够适当地决定在噪声的检测中应使用的像素值的组。因此，在某个方式中，存储器160(参照图11)保存将与照射方向相关的信息和应取像素值的差的像素的组相关联的表格。
表示照射方向的信息可以是以传感器单元7的拍摄面的法线方向为基准的照射角度(例如，图7A所示的角度θ或者图7B所示的角度θ’)的值。以下，基于参照图1A～图6说明的原理，说明通过来自4个方向的照射进行4倍的高分辨能力化的例子。在此处说明的例子中，第1个照射方向被设定为参照图2A以及图2B说明的第1照射方向。即，该例中，在步骤 S22中，获取表示相对于传感器单元7的拍摄面的照射角度为0°这一情况的信息。
当然，第1个照射方向不限定于参照图2A以及图2B说明的第1照射方向。第1个照射方向可以是不同于与传感器单元7的拍摄面垂直的方向的方向。此时获取的有关照射方向的信息与上述的索引i的值一起以表格的形式例如暂时地保存于存储器160的工作区。
接下来，在步骤S24中，执行第1个子图像的获取。在照射之前，控制装置170使载物台驱动机构33工作，由此相对于被拍摄对象2的照射方向被改变。之后，利用来自预定的照射方向的照明光照射被拍摄对象2，由此获取表示第1个子图像的多个像素值。所获取的子图像的数据(典型地为像素值)例如以与索引i的值相关联的状态暂时地保存于存储器160。
接下来，根据需要，在步骤S26中，执行所获取的子图像的各像素的亮度的标准化。当从相对于传感器单元7的拍摄面倾斜的方向照射被拍摄对象2时，透射被拍摄对象2后的光在到达拍摄面为止行进的距离，比从拍摄面的法线方向照射被拍摄对象2的情况下大。因此，由于模块内的吸收、散射等的影响，与从拍摄面的法线方向照射被拍摄对象2时得到的子图像相比较，从相对于拍摄面倾斜的方向照射被拍摄对象2时得到的子图像有时整体上会变暗。通过对所获取的子图像进行亮度的标准化，可以降低子图像间的整体的亮度的偏差。在本说明书中，“标准化”指的是：使得标准化的对象的图像所含的多个像素的像素值的和与成为基准的图像所含的多个像素的像素值的和相等地，使各像素的像素值为常数倍的处理。
接下来，在步骤S28中，对索引i的值进行更新。典型地，使i增加。
接下来，在步骤S30中，判定预定的张数的子图像的获取是否完成。例如，执行是否是i>N(N为2以上的整数)的判定。在此处说明的例子中，通过来自4个方向的照射进行4倍的高分辨能力化，因此，判定是否是i>4(N＝4)。若i为N以下，则处理返回步骤S22，改变照射方向而再度执行子图像的获取。
若处理返回步骤S22，则获取第2个(i＝2)照射方向的信息。第2个照射方向例如是参照图3A以及图3B说明的第2照射方向。即，在该例中，在后续于步骤S22的步骤S24中，将照射方向改变为相对于拍摄面4A的法线N沿x方向倾斜的方向。具体而言，在第2个子图像的获取时，执行来自图7A所示那样的角度θ的方向的照射。
在步骤S22中所获取的与照射方向相关的信息(例如角度θ的值与倾斜的方向)与索引i的值(也即是，i＝2)一起以表格的形式例如暂时地保存于存储器160的工作区。另外，在步骤S24中所获取的子图像的数据(典型地为像素值)以与索引i的值相关联的状态暂时地保存于存储器160。照射方向的信息可以是以传感器单元7的拍摄面的法线方向为基准的角度的大小，也可以是与对应于i的值小1的照射方向的信息的照射角度之差。
此外，只要知道不同的2个照射方向之间的关系(例如，一方的照射方向相对于另一方的照射方向沿哪个方向按何种程度倾斜)，就可以决定一方的子图像中的哪个像素值与另一方的子图像中的哪个像素值相关联地用于噪声检测即可。因此，除了与照射方向相关的信息之外，还可以向表格中进一步追加应在噪声检测中使用的像素值的对应。
在步骤S24执行后，执行上述的步骤S26～S30。若处理再次返回步骤 S22，则获取第3个(i＝3)照射方向的信息。第3个照射方向例如是参照图4A以及图4B说明的第3照射方向。该情况下，在照射方向改变为相对于拍摄面4A的法线N沿y方向倾斜的方向的状态下执行第3个子图像的获取。在此，与第3个照射方向相关的信息、第3个子图像的数据以及应用于噪声检测的像素值的对应以表格的形式暂时地保存于存储器160的工作区。应用于噪声检测的像素值的对应可以是第1个子图像与第3个子图像之间的对应，也可以是第2个子图像与第3个子图像之间的对应。
之后，再次执行上述的步骤S26～S30。在该时刻，仍不是i>N，因此，处理返回步骤S22。在步骤S22中，获取第4个(i＝4)照射方向的信息。第4个照射方向例如是参照图5A以及图5B说明的第4照射方向。在该情况下，在照射方向改变为相对于拍摄面4A的法线N沿u方向倾斜的方向的状态下，执行第4个子图像的获取，与第4个照射方向相关的信息、第 4个子图像的数据以及应在噪声检测中使用的像素值的对应，以表格的形式暂时地保存于存储器160的工作区。
之后，再次执行上述的步骤S26～S30。在步骤S30中，若判定为i比 N大，则处理进行到步骤S32。在步骤S32中，通过应用参照图1A～图6 说明的原理，来形成高分辨能力图像。在此，图像形成装置140从存储器 160读出子图像的数据并且使用所获取的多个子图像来形成高分辨能力图像。高分辨能力图像所含的像素值的数量比步骤S24中得到的像素值的数量多。
接下来，在步骤S34中，检测高分辨能力图像所含的噪声。如上所述，在此检测的噪声是起因于位于与被拍摄对象2相比离传感器单元7的拍摄面较远的位置的异物的噪声。在此，图像处理装置150接受由图像形成装置140形成的高分辨能力图像的数据，基于下述的噪声检测的原理来检测噪声。
在噪声的检测中，例如，通过参照保存于存储器160中的表格，来特定应取得像素值的差的像素的组。如上述的例子地，在从第1照射方向 (i＝1)～第4照射方向(i＝4)4个方向进行照射的情况下，在2个照射方向之间使用由同一光电二极管得到的2个像素值的至少1个即可。因此，在上述的表格中，作为应在噪声检测中使用的像素值的对应，例如，从4个照射方向中的某个照射方向进行照射而由某个光电二极管得到的像素值和从其他的某个照射方向进行照射而由某个光电二极管得到的像素值，相关联。
因此，在此，在2个照射方向之间利用由同一光电二极管得到的2个像素值的差来执行噪声的检测。例如，如果在第1照射方向与第2照射方向之间利用由同一光电二极管得到的2个像素值的差，则能够检测沿着x 方向的噪声。同样地，如果在第1照射方向与第3照射方向之间利用由同一光电二极管得到的2个像素值的差，则能够检测沿着y方向的噪声，如果在第1照射方向与第4照射方向之间利用由同一光电二极管得到的2个像素值的差，则能够检测沿着u方向的噪声。在噪声的检测后，例如，包含噪声的像素的坐标值暂时地保存于存储器160。
在高分辨能力图像的形成之前每次获取子图像时检测噪声的情况下，也能够通过参照上述的表格，根据照射方向适当地决定应取得像素值的差的像素的组。此外，应在噪声检测中使用的像素值的对应不一定必须以表格的形式来记述。例如，也可以将使得应在噪声检测中使用的像素值相对应的关系式保存于存储器160。例如，当将位于第i个子图像中的第j行第 k列的像素的像素值表示为V(i)j,k时，可以将表示V(i)j,k与V(i+1) j,k的对应的式子保存于存储器160。此外，j＝1，2，…，J且k＝1，2，…， K(J以及K为2以上的整数)。例如在第1照射方向与第2照射方向之间(也即是，i＝1)，将表示V(i)j,k与V(i+1)j,k的对应的式子在j＝1 至j＝(J-1)的范围内使用，由此能够执行沿x方向的噪声的检测。
接下来，在步骤S36中，除去检测出的噪声。在此，图像处理装置150 执行噪声除去的处理。包含噪声的像素的位置可以在步骤S34中根据保存于存储器160的坐标值特定。噪声除去方法的具体例在以后说明。
接下来，在步骤S38中，除去噪声后的高分辨能力图像输出至显示器等显示装置。或者，除去噪声后的高分辨能力图像的数据输出至具有与图像形成系统1000的连接的其他设备。步骤S38根据需要执行即可。
<噪声检测的原理>
接下来，说明本公开的实施方式中使用的噪声检测的原理。如果理解高分辨能力图像中的噪声的表现方式，则容易理解本公开的实施方式中使用的噪声检测的原理。因此，在此，首先对高分辨能力图像中的噪声的表现方式的例子进行说明，之后，对噪声检测的方法的具体例进行说明。以下，例示出通过从4个方向进行照射来实现4倍的分辨能力的情况。
图17A示意性地示出：从上述的第1照射方向(参照图2A以及图2B) 照射时的、被拍摄对象2中照明光透射的区域与由图像传感器4获取的像之间的关系。在图17A所示的例子中，图像传感器4具有覆盖光电二极管 4p的光入射面的透明层4T。被拍摄对象2在被封入剂6覆盖的状态下位于该透明层4T上。也即是，在该例中，透明层4T的顶面形成拍摄面4A，透明层4T的顶面作为被拍摄对象支承部7S(参照图11)发挥功能。此外，在图17A所示的例子中，在透明板8的与被拍摄对象2相反侧的表面上存在垃圾D。当从与图像传感器4的拍摄面4A垂直的方向观察时，垃圾D 与被拍摄对象2的一部分重叠。
在图17A中，以箭头R1示意性地示出第1照射方向。在此，第1照射方向R1与z方向平行。图17A中的影线部分示意性地示出：照明光中的入射至被拍摄对象2中位于光电二极管4p的正上的区域的部分和变换光中的入射至光电二极管4p的部分。换言之，影线部分示出照明光中的有助于子图像的形成的部分。此外，在此，为了说明上的方便，使图示的透明板8的厚度比实际上小，图中的各部分的大小的比率与实际的模块不同。对于下述的图17B、图21、图23A～图23C也是同样的。
如图17A所示，当从第1照射方向R1照射时，透射被拍摄对象2中的位于光电二极管4p的正上的区域后的光入射至光电二极管4p。例如，透射被拍摄对象2中的位于光电二极管4px的正上的区域A1后的光(与第1照射方向R1对应的第1变换光中的一部分)入射至图17A所示的光电二极管4px。从第1照射方向R1照射了照明光的情况下得到的子图像 Sad的像素Pa1具有区域A1的信息。同样地，图17A所示的像素Pa2以及Pa3分别具有：被拍摄对象2中的、位于光电二极管4py的正上的区域 A2以及位于光电二极管4pz的正上的区域A3的信息。
在图示的例中，当从与图像传感器4的拍摄面4A垂直的方向观察时，垃圾D与被拍摄对象2的区域A8以及A9重叠。因此，位于区域A8的正下的光电二极管4ps接受透射垃圾D以及被拍摄对象2的区域A8双方后的光。此时，入射至光电二极管4ps的光的量，与透明板8上不存在垃圾 D的情况相比较降低。因此，从第1照射方向R1照射照明光的情况下得到的子图像Sad所含的像素中的、与位于区域A8的正下的光电二极管4ps 对应的像素Pa8的像素值，比透明板8上不存在垃圾D的情况下得到的像素值小。也即是，此时得到的像素Pa8的像素值比表示区域A8的像的像素值小。同样地，子图像Sad所含的像素中的、与位于区域A9的正下的光电二极管4pt对应的像素Pa9的像素值，比表示区域A9的像的像素值小。
与位于同垃圾D重叠的位置的光电二极管4ps以及4pt对应的像素 Pa8以及Pa9的像素值，一般与表示被拍摄对象的像的其他的像素Pa1、 Pa2以及Pa3的像素值相比相对地小。结果，当在透明板8上存在垃圾D 的状态下进行拍摄时，如图17A示意性地示出那样，与表示被拍摄对象的像的像素相比相对地暗的像素(以下，有时称为“暗像素”)在子图像中产生。
图17B示意性地示出：从上述的第2照射方向(参照图3A以及图3B) 照射时的、被拍摄对象2中照明光所透射的区域与由图像传感器4获取的像之间的关系。在图17B中，以箭头R2示意性地示出第2照射方向。
在图示的例子中，透射被拍摄对象2中的在区域A1的右侧相邻的区域B1后的光(与第2照射方向R2对应的第2变换光中的一部分)入射至光电二极管4px。在从第2照射方向R2照射了照明光的情况下得到的子图像Sbd的像素Pb1具有区域B1的信息。
着眼于在被拍摄对象2的区域A8的右侧相邻的区域B8。该区域B8 位于图像传感器4的遮光层上，因此，通过来自第1照射方向R1的照射，得不到区域B8的像。但是，如图17B所示，通过从相对于拍摄面4A的法线倾斜的方向照射被拍摄对象2，能够使透射被拍摄对象2中的位于图像传感器4的遮光层上的区域后的光入射至光电二极管。在图示的例中，透射在被拍摄对象2的区域A8的右侧相邻的区域B8后的光(与第2照射方向R2对应的第2变换光中的另外一部分)入射至光电二极管4ps。
在该例中，透射在被拍摄对象2的区域A9的右侧相邻的区域B9后的光入射至位于光电二极管4ps的右侧的光电二极管4pt。因此，与光电二极管4ps对应的像素Pb8以及与光电二极管4pt对应的像素Pb9分别具有被拍摄对象2的区域B8以及区域B9的信息。
如图所示，在该例中，在光电二极管4py以及光电二极管4pz与未图示的光源之间，夹着垃圾D。因此，在该例中，光电二极管4py接受透射垃圾D和被拍摄对象2的区域B2后的光，光电二极管4pz接受透射垃圾 D和被拍摄对象2的区域B3后的光。入射至光电二极管4py以及光电二极管4pz的光的量与不存在垃圾D的情况下相比较降低，因此，在从第2 照射方向R2照射照明光的情况下，得不到被拍摄对象2中在区域A2的右侧相邻的区域B2以及在区域A3的右侧相邻的区域B3的正确的像。如图 17B所示，从第2照射方向R2照射照明光的情况下得到的子图像Sbd中的、与光电二极管4py对应的像素Pb2以及与光电二极管4pz对应的像素 Pb3，是暗像素。
在此应着眼的是：当相对于光电二极管4p的表面按与被拍摄对象2 不同的距离存在垃圾D时，当使照射方向变化时，提示暗像素的光电二极管也伴随着照射方向的变化而变化。因此，通过比较图17A与图17B可知，暗像素显现的位置在各子图像之间是不同的。
换言之，在从相互不同的2个照射方向照射了照明光的情况下，由同一光电二极管获取的2个像素中的一方可以是表示被拍摄对象2的像的像素、另一方可以是暗像素。例如，图17A所示的子图像Sad中的像素Pa2 所示的像素值以及图17B所示的子图像Sbd中的像素Pb2所示的像素值，都基于从光电二极管4py的输出来决定。子图像Sad中的像素Pa2是表示被拍摄对象2的区域A2的像的像素，与此相对，子图像Sbd中的像素Pb2 是比子图像Sad的像素Pa2相对地暗的暗像素。
因此，通过至少求取某个子图像所含的像素中的1个(在该例中为像素Pa2)的像素值与其他的某个子图像所含的像素中的与上述的某个子图像的该像素对应的像素(在该例中为像素Pb2)的像素值之差，能够检测起因于位于与被拍摄对象2相比离传感器单元7的拍摄面较远的位置的异物的噪声。如以下示出具体例所说明的那样，例如，也可以通过相互不同的2个子图像间的比较，检测起因于相对于光电二极管4p的表面处于与被拍摄对象2不同的距离的异物的噪声。
在上述的例子中，求取通过从第1照射方向R1照射被拍摄对象2而得的子图像Sad所含的像素Pa2的像素值与通过从第2照射方向R2照射被拍摄对象2而得的子图像Sbd所含的像素Pb2的像素值之差。以下，说明确定用于计算像素值的差的2个像素的方法的一例。
如参照图7A以及图7B所进行的说明可知，如果获取被拍摄对象2 的像的图像传感器4在不同的照射方向之间是相同的，则透射被拍摄对象 2的哪个区域后的光入射至哪个光电二极管，是由照明光的照射方向决定的。因此，例如，在从拍摄面4A的法线方向和相对于拍摄面4A的法线N 倾斜了如图7A所示那样的角度θ的方向进行照射的情况下，求出在2个照射方向之间由同一光电二极管得到的2个像素值的差即可。另外，例如，在从拍摄面4A的法线方向和相对于拍摄面4A的法线N倾斜了图7B所示那样的角度θ’的方向(从拍摄面4A的法线方向顺时针地旋转了角度θ’的方向)进行照射的情况下，求出在一方的照射方向上由某个光电二极管得到的像素值和在另一方的照射方向上由与该光电二极管相邻的光电二极管 (在该例中为沿着x方向在左侧相邻)得到的像素值的差即可。因此，例如，通过在存储器160(参照图11)中，将与照射方向相关的信息(例如照射角度θ的值)和应取得像素值的差的像素的组相关联地以表格的形式预先进行保存，在暗像素的检测时，能够确定适当的像素的组。
图17C示意性地示出图17A所示的子图像Sad和图17B所示的子图像Sbd合成后的状态。从图17A与图17B的比较可知，在该例中，向从第1照射方向R1照射时透射被拍摄对象2的某个区域后的光所入射的光电二极管，入射从第2照射方向R2照射时透射被拍摄对象2中的与该区域相邻的区域后的光。因此，在高分辨能力图像的形成中，如图17C所示，各像素排列成：子图像Sad中的与某个光电二极管(例如光电二极管4px) 对应的像素(例如像素Pa1)和子图像Sbd中的与该光电二极管对应的像素(例如像素Pb1)相邻。
如上述那样，当相对于光电二极管4p的表面按与被拍摄对象2不同的距离存在垃圾D时，如果使照射方向变化，接收透射垃圾D后的光的光电二极管也伴随着照射方向的变化而变化。典型地，在从某个照射方向照射了照明光的情况下接收透射垃圾D后的光的光电二极管，在其他的照射方向下获取被拍摄对象2的像、或者接收不透射垃圾D也不透射被拍摄对象2的光。因此，当使用在透明板8上存在垃圾D的状态下所获取的多个子图像来形成高分辨能力图像时，暗像素被表示被拍摄对象2的像的像素或由于照明光透射透明板8而未显示任何的像的像素分离。即，如图17C 示意性地所示，暗像素在高分辨能力图像中不会连续地出现，而是分散地出现。
在该例中，从沿着图17A以及图17B的x方向实现2倍的分辨能力那样的第1以及第2照射方向照射照明光而分别获取子图像Sad以及Sbd。因此，在2个暗像素之间，夹着表示被拍摄对象2的像的1个像素(参照图17C)。此外，根据照射方向的设定或高分辨能力化的倍率的不同，有时也在2个暗像素之间夹着表示被拍摄对象2的像的2个以上的像素。
这样，在高分辨能力图像中，暗像素以被表示被拍摄对象2的像的像素或不表示任何的像的像素分离的状态显现。这表示：若高分辨能力图像包含暗像素，则在暗像素的附近产生像素值的急剧的变化。因此，通过利用高分辨能力图像中的像素值的急剧的变化来检测分散的暗像素的存在，也可以检测起因于相对于光电二极管4p的表面位于与被拍摄对象2不同的距离的异物的噪声。
此外，从图17C可知，在子图像Sad以及子图像Sbd的合成图像中，包含源自子图像Sad中的暗像素的噪声的区域Na和包含源自子图像Sbd 中的暗像素的噪声的区域Nb出现在相互分离的场所。即，当对应于多个照射方向而获取的子图像包含暗像素时，与多个照射方向对应地分散于高分辨能力图像中的多个区域地产生噪声。该情况，不限于图17A以及图17B 所示的x方向，在其他的方向上也是同样的。因此，例如，在通过从4个方向的照射来实现4倍的分辨能力的情况下，在高分辨能力图像中，在与从4个方向的照射对应的4个区域产生噪声。图17D示意性地示出：将通过从4个方向的照射得到的4个子图像合成而形成的高分辨能力图像HRd 中的、噪声的表现方式。在图17D中，利用粗的虚线示意性地示出包含噪声的区域。此外，因照射方向的设定的不同，有时也得到不包含暗像素的子图像。
如图17A以及图17B所示，在该例中，利用在透明板8与图像传感器 4之间配置了被拍摄对象2的模块来获取子图像。模块中的透明板8越厚，并且，相对于图像传感器4的拍摄面4A的法线的照射方向的倾斜越大，则高分辨能力图像中产生噪声的区域的间隔扩大得越多。也即是，即便透明板8上的垃圾D是1个，噪声也会在高分辨能力图像中的宽的范围中产生。根据本公开的实施方式，能够检测以及除去这样的噪声。本公开的技术在高分辨能力图像的形成中特别有用。
<噪声检测的方法的具体例>
如参照图17A～图17D所说明的那样，子图像中的暗像素的位置伴随着照射方向的变化而变化。在使用载片玻璃作为透明板8的情况下，从光电二极管4p的表面到垃圾D为止的距离为1mm左右，这一距离与从光电二极管4p的表面到被拍摄对象2的距离(典型地为几μm)相比较，大至 1000倍左右。因此，即便照射方向略微变化，子图像内的暗像素的位置也较大地变化。与此相对，在本公开的实施方式中，被拍摄对象2与光电二极管4p的表面接近地配置，因此，子图像内的被拍摄对象2的像的位置相对于照射方向的变化几乎不变化。
参照图18A以及图18B。图18A示出当相对于光电二极管4p的表面按与被拍摄对象2不同的距离存在垃圾D时所获取的子图像的例子。在图 18A所示的例子中，垃圾D的像DP与被拍摄对象2的像2P重叠。图18B 示出从与图18A所示的子图像的获取时不同的照射方向照射了照明光的情况下获取的子图像的例子。当使照射方向变化时，如图18B示意性地所示，子图像中的像DP的位置变化。与此相对，被拍摄对象2的像2P几乎不移动。如参照图1A～图6所说明的那样，子图像的各个典型地具有被拍摄对象2中的相互不同的区域的像素信息。因此，若以像素为单位进行比较，则图18A所示的被拍摄对象2的像2P与图18B所示的被拍摄对象2的像 2P是相互不同的像。但是，如图18A以及图18B示意性地所示，从整体上看，关于被拍摄对象2，在相互不同的照射方向之间得到大致相同的像。
在从上述的第1～第4照射方向照射照明光而获取了多个子图像的情况下，设为：例如，在这些照射方向中的2个照射方向，由某光电二极管获取的像都为被拍摄对象2的像。此时，在一方的照射方向获取的像是被拍摄对象2的某个区域的像，在另一方的照射方向下所获取的像是被拍摄对象2中的、位于该区域的附近的区域的像。即，当由某光电二极管获取的像都是被拍摄对象2的像时，在一方的照射方向下获取的子图像中的与该光电二极管对应的像素的像素值和在另一方的照射方向下获取的子图像中的与该光电二极管对应的像素的像素值之差的绝对值，接近于0。与此相对，在这些中的一方的像素是暗像素的情况下，2个子图像间的像素的像素值之差的绝对值示出更大的值。也即是，如果对由同一光电二极管获取的像素值彼此的差与预先设定的阈值进行比较，则能够找出暗像素。
例如，设为：当从某个照射方向照射了照明光时图像传感器4所具有的光电二极管中的某个光电二极管的输出(在此为像素值)为Pv1，当从其他的某个照射方向照射了照明光时该光电二极管的输出(在此为像素值) 为Pv2。设预先设定的阈值为ε。如果Pv1<Pv2且|Pv1-Pv2|>ε，则能够判断为像素值Pv1是包含噪声的像素的像素值。另外，如果Pv1>Pv2且 |Pv1-Pv2|>ε，则能够判断为像素值Pv2是包含噪声的像素的像素值。取代像素值Pv1和Pv2的差，也可以应用除法。本公开的“差”运算也可以包含通过“除法”进行的运算。
此外，高分辨能力图像中的噪声有时也表现为与其他的像素相比较明亮的像素(以下，有时称为“亮像素”)的图形。例如，如果Pv1>Pv2且 |Pv1-Pv2|>ε，则能够判断为像素值Pv1是亮像素的像素值。另外，如果 Pv1<Pv2且|Pv1-Pv2|>ε，则能够判断为像素值Pv2是亮像素的像素值。
因照射方向的设定的不同，如图7B所示，透射被拍摄对象2的某个区域后的光所入射的光电二极管和透射位于该区域的附近的区域后的光所入射的光电二极管有时不同。该情况下，表示这些区域的像的像素的位置在2个子图像之间是不同的。这样，获取被拍摄对象2的某个区域的像的光电二极管和获取位于该区域的附近的区域的像的光电二极管在2个子图像之间不同的情况下，使用根据照射方向计算的偏移量使一方的子图像移位后求取像素值的差即可。
这样，通过计算某个子图像中的像素的像素值与对应于该像素的、其他的子图像中的像素的像素值之间的差，可以检测噪声。在子图像间对应的像素值的差的计算，针对由在子图像间对应的2个像素构成的组中的至少1个执行即可。“在子图像间对应的2个像素”典型地，是在不同的照射方向之间由共同的光电二极管获取了像素值的2个像素。也可以通过计算或者比较某个子图像中的各像素的像素值与对应于这些各像素的、其他的子图像中的各像素的像素值之间的差，来检测噪声。对于子图像所含的所有的像素比较子图像间的像素值，与比较相互不同的2个子图像是相同的。
或者，也可以基于由高分辨能力图像所具有的多个像素构成的像素区块中的像素间的像素值的变化，来检测噪声。换言之，也可以从高分辨能力图像提取与不同的照射方向对应地得到的像素值Pv1以及Pv2，来执行上述的比较。即，也可以执行：是否Pv1<Pv2且|Pv1-Pv2|>ε或者是否 Pv1>Pv2且|Pv1-Pv2|>ε的判定。
“像素区块”是高分辨能力图像中的包含多个像素的一个分区，包含从多个子图像的各个分别提取的1个以上的像素。此外，如参照图17C所说明的那样，在实现例如4倍的高分辨能力化的高分辨能力图像的形成中，某个子图像中的与某个光电二极管对应的像素和其他的某个子图像中的与该光电二极管对应的像素，在上下左右或倾斜地相邻地排列。因此，求出像素区块中的像素间的像素值的变化，可以说与比较子图像间对应的2个像素的像素值是基本上相同的。
以下，说明下述例子：基于高分辨能力图像中由3行3列的像素的排列构成的像素区块中的像素间的像素值的变化，来检测噪声。
再次参照图17D。如已经说明的那样，当使用在透明板8上存在垃圾 D的状态下获取的多个子图像来形成高分辨能力图像时，暗像素在高分辨能力图像中分散地出现。例如，如果是使用在从上述的第1～第4照射方向照射了照明光的情况下所获取的子图像来实现4倍的高分辨能力的情况，则如图17D中粗的虚线所示那样，出现在2个暗像素之间夹着表示被拍摄对象2的像的1个像素的图形。通过检测这种暗像素的图形，可以检测高分辨能力图像中的噪声。
图19A以及图19B示意性地示出：能够应用于起因于垃圾D的暗像素的图形的检测的过滤器的例子。图19A所示的过滤器Fa用于提取3行 3列的像素区块中的中央的像素的像素值以及该像素的附近4个像素值。图19B所示的过滤器Fb用于从像素区块中的中央的像素的附近8个像素中提取除了中央的像素及该附近4个像素之外的4个像素的像素值。在本说明书中，某像素的“附近4个”指的是在该像素的上下左右相邻的4个像素的组。另外，某像素的“附近8个”指的是由在该像素的上下左右相邻的 4个像素和在该像素的斜向方向相邻的4个像素构成的组。换言之，某像素的“附近8个”是以该像素为中心的3行3列的像素的排列中的除了中心的像素之外的8个像素。
例如，考虑下述情况：在图17D所示的高分辨能力图像HRd中，对于由表示被拍摄对象2的像的像素构成的像素区块应用了图19A所示的过滤器Fa。此时，表示被拍摄对象2的像的5个像素被提取。另外，考虑对该像素区块应用了图19B所示的过滤器Fb的情况。此时，表示被拍摄对象2的像的4个像素被提取。
图20A示出：使用过滤器Fa提取的5个像素的像素值的范围的例子和使用过滤器Fb提取的4个像素的像素值的范围的例子。图20A中，横轴表示像素值Br。像素值Br例如由0～255的灰度值表示。图20A中，线段La以及Lb分别示意性地示出：使用过滤器Fa提取的5个像素的像素值的范围以及使用过滤器Fb提取的4个像素的像素值的范围。
在对于由表示被拍摄对象2的像的像素构成的像素区块应用了过滤器 Fa以及过滤器Fb中的任意一个过滤器的情况下，表示被拍摄对象2的像的像素都被提取。因此，在由这些过滤器提取的像素之间的像素值Br的差比较小。典型地，如图20A所例示那样，通过由过滤器Fa提取的像素的像素值的最大值Mxa以及最小值mna规定的线段La和通过由过滤器Fb提取的像素的像素值的最大值Mxb以及最小值mnb规定的线段Lb具有重叠。
接下来，考虑下述情况：在图17D所示的高分辨能力图像HRd中，对于位于粗的虚线的内侧的像素区块应用了过滤器Fa。此时，表示被拍摄对象2的像的5个像素被提取。另外，考虑对于位于粗的虚线的内侧的像素区块应用了过滤器Fb的情况。该情况下，4个暗像素被提取。因此，由过滤器Fb提取的像素的像素值与由过滤器Fa提取的像素的像素值相比较，较小。
图20B示出：使用过滤器Fa提取的5个像素的像素值的范围的其他例和使用过滤器Fb提取的4个像素的像素值的范围的其他例。在图17D 所示的高分辨能力图像HRd中，对于位于粗的虚线的内侧的像素区块应用过滤器Fa以及过滤器Fb的情况下，得到图20B所示那样的图表。在图 20B所示的例子中，线段La和线段Lb不具有重叠。反过来说，如图20B 所示，在对应于过滤器Fa的线段La和对应于过滤器Fb的线段Lb之间不存在重叠这一情况，表示分散的暗像素的图形在高分辨能力图像中出现。
在图20B所示的例子中，Mxb<mna成立，因此，如果Mxb<mna成立，则能够判断为在应用了过滤器Fa以及过滤器Fb的像素区块中含有噪声。此外，高分辨能力图像中的噪声，有时也作为比其他的像素明亮的像素的图形出现。在该情况下，Mxa<mnb成立。根据以上可知，在Mxb<mna 或Mxa<mnb成立的情况下，能够判断为像素区块中含有噪声。
此外，用于检测分散的暗像素的图形或分散的亮像素的图形的过滤器不限定于图19A所示的过滤器Fa以及图19B所示的过滤器Fb。用于检测特定的图形的过滤器可以根据照射方向的设定等来适当选择。另外，像素区块的大小也不限定于3行3列。当设n为自然数时，像素区块的大小也可以是(2n+1)行(2n+1)列。此时，能够使用例如具有(2n+1)行(2n+1) 列的大小的过滤器。当设指定过滤器中位于左上的像素的坐标值为(1，1) 时，例如，能够使用提取构成像素区块的像素中的坐标值为(2m+1，2m’+1) 以外的像素的像素值的过滤器和提取构成像素区块的像素中的坐标值为 (2m+1，2m’+1)的像素的像素值的过滤器的组。在此，m以及m’分别是0以上且n以下的整数。
此外，如图18B所例示的那样，在某子图像中表示垃圾D的像的像素位于与表示被拍摄对象2的像的像素分离的位置的情况下，在高分辨能力图像中，也在与被拍摄对象2的像分离的位置出现垃圾D的像。某子图像中的表示垃圾D的像的像素的位置，可以基于例如子图像间的像素的像素值的比较来特定。如果能够特定某子图像中的表示垃圾D的像的像素的位置，则容易特定其他的子图像中的、表示垃圾D的像的像素或暗像素的位置。例如，也可以执行：以与被拍摄对象2的像孤立地出现的垃圾D的像为模板图像的模板匹配、或者使用局部特征量的特征量匹配。另外，在本公开的技术中，相对于照明方向的变化的垃圾D的像的移动方向是预先知道的。例如，若使照射方向向x轴方向倾斜，则子图像中的垃圾D的像的位置也沿着x轴方向移动(参照图17A以及图17B)。因此，如果一边相对于使照射方向向x轴方向倾斜而得到的相互不同的2个子图像中的一方使另一方沿x轴方向移动，一边计算它们之间的相似度，则可以认为在2 个子图像之间在被拍摄对象的像重叠处，相互相关函数(相似度)变为极大。这样，通过查找2个子图像间的相似度的极大，也可以特定被拍摄对象的像的位置或垃圾D的像的位置。
<噪声除去方法的具体例>
接下来，说明噪声除去方法的具体例。在利用噪声检测的处理检测出噪声之后，从高分辨能力图像除去噪声，由此可以在高分辨能力图像中再现被拍摄对象的更正确的像。具体而言，利用根据包含噪声的像素以外的像素的像素值算出的像素值置换包含噪声的像素(在此，表示垃圾D的像的像素)的像素值，由此除去起因于位于相对于光电二极管4p的表面与被拍摄对象2不同的距离的异物的噪声。
(噪声除去方法的第1例)
高分辨能力图像中的包含噪声的像素的位置在噪声检测的处理中是已知的。例如，如果是使用上述的过滤器Fa以及过滤器Fb的组执行了噪声检测的处理的情况，则位于Mxb<mna或Mxa<mnb成立的像素区块的角部的4个像素是包含噪声的像素。以下，构成图像的像素的排列中位于第 j行第k列的像素的像素值以Vj,k来表示。
例如，利用高分辨能力图像所含的像素中的、不包含噪声的像素的像素值的平均值置换包含噪声的这些像素的像素值，由此，能够从高分辨能力图像中除去噪声。即，如果设包含噪声的像素的像素值以及噪声除去后的像素值分别为Vp,q以及V’p,q，设不包含噪声的像素的数目为W，则能够利用以下的式(1)求取像素值V’p,q。
V’p,q＝(Σ’Vp,q)/(J×K-W) (1)
式(1)中，分子的“Σ’”表示涉及到像素阵列所含的像素中的、不包含噪声的像素的和，分母的“×”表示相乘。此外，在包含噪声的像素的位置按各个子图像求取的情况下，也可以按各个子图像执行噪声除去的处理。
(噪声除去方法的第2例)
可以利用使用包含噪声的像素的附近的像素的像素值所算出的像素值来置换包含噪声的像素的像素值。例如，也可以：求出在包含噪声的像素的上下相邻的2个像素的像素值的平均和在包含噪声的像素的左右相邻的 2个像素的像素值的平均，将它们的平均值与包含噪声的像素的像素值置换。即，也可以通过将包含噪声的像素的像素值Vp,q置换为由以下的式(2) 算出的像素值V’p,q来除去噪声。
V’p,q＝(Vp-1,q+Vp+1,q+Vp,q-1+Vp,q+1)/4 (2)
这样，也可以使用包含噪声的像素的附近的像素对包含噪声的像素进行插补。平均值的算出中使用的像素例如可以是包含噪声的像素的附近4 个像素，也可以是附近8个像素。或者，也可以应用最近邻(nearest neighbor)法、双线性(BiLinear)法、双三次(BiCubic)法等从包含噪声的像素的附近的像素的像素值推定包含噪声的像素的像素值。
(噪声除去方法的第3例)
另外，例如，也可以：利用照明光从与对应于构成高分辨能力图像的多个子图像中的各个子图像的多个照射方向都不同的照射方向进行照射，进一步进行其他的子图像的获取，利用该子图像的像素置换(补充)包含噪声的像素，由此除去噪声。
再次参照图17B。例如，在从图17B所示的照射方向照射了照明光的情况下，在被拍摄对象2中的区域B2和B3与未图示的光源之间夹着垃圾 D，因此，得不到表示区域B2和B3的正确的像。在图17B所示的例中，子图像Sbd中的像素Pb2和Pb3是暗像素。
在此，如图21所示，通过从与上述的第1～第4照射方向都不同的第 5照射方向R5照射被拍摄对象2，来获取第5子图像Se。在从图21所示的第5照射方向R5照射照明光的情况下，照射光入射至被拍摄对象2的区域B2和B3中的双方，透射区域B2和B3后的光入射至光电二极管4p。因此，此时得到的子图像Se中包含的像素Pe2和Pe3分别表示被拍摄对象2的区域B2的像以及被拍摄对象2的区域B3的像。因此，通过利用图 21所示的子图像Se中的像素Pe2以及Pe3分别置换图17B所示的子图像 Sbd中的像素Pb2以及Pb3，能够完全地再现被拍摄对象2的区域B2以及B3的像。
即，如以下的式(3)所示，作为在高分辨能力图像中与子图像Sbd 的像素Pb2对应的像素的像素值V’2，使用子图像Se的像素Pe2的像素值Ve2来代替像素Pb2的像素值Vb2即可。同样地，如以下的式(4)所示，作为在高分辨能力图像中与子图像Sbd的像素Pb3对应的像素的像素值V’3，使用子图像Se的像素Pe3的像素值Ve3来代替像素Pb3的像素值Vb3即可。
V’2＝Ve2 (3)
V’3＝Ve3 (4)
这样，根据本公开的实施方式，对于在从某照射方向的照射中无法获取的被拍摄对象2的某区域的像，可以通过从其他的照射方向的照射来获取。通过利用此时得到的像，可以在高分辨能力图像中再现被拍摄对象的更正确的像。
例如，基于图18A以及图18B所示的子图像和在从与获取这些子图像时的照射方向不同的照射方向照射了照明光的情况下获取的子图像，可以形成如图22所示那样的无噪声的高分辨能力图像。在图22所例示的高分辨能力图像HR1中，除去了图18A以及图18B所示的垃圾D的像DP，并且完整地再现被拍摄对象2的像。此外，图18A以及图18B所示的子图像的分辨能力与图像传感器4的固有分辨能力相等，图22所示的高分辨能力图像HR1的分辨能力比图像传感器4的固有分辨能力高。
(噪声除去方法的第4例)
如以下说明那样，也可以通过将包含噪声的像素的像素值置换为补正后的像素值来除去噪声。
图23A示出从上述的第1照射方向(参照图2A以及图2B)照射照明光的情况下得到的子图像的另外一例。在图23A所示的例中，作为被拍摄对象2的一部分的区域A5以及A6分别位于光电二极管4ps以及4pt的正上，在被拍摄对象2的区域A5以及A6的上方存在垃圾D。此外，在该例中，被拍摄对象2不具有与位于光电二极管4ps以及4pt的左侧的光电二极管4px、4py以及4pz的重叠，另外，垃圾D不具有与光电二极管4px、 4py以及4pz的重叠。
在图23A中，将作为在从第1照射方向照射了照明光的情况下得到的子图像的其他的一例的子图像Sf和示意性地示出包含于该子图像Sf的像素的像素值Br的柱状图相配合地在1张图中示出。如图23A中的上侧所示，在光电二极管4px、4py以及4pz的上方，被拍摄对象2以及垃圾D 都不存在。透射透明板8后的照明光直接入射至光电二极管4px、4py以及4pz。因此，与光电二极管4px、4py以及4pz对应的像素Pf1、Pf2以及Pf3示出比较高的像素值。如图23A中的下侧所示，像素Pf1～Pf3所示的像素值Vf1～Vf3是基本一样的比较高的值。另一方面，与光电二极管4ps 以及4pt对应的像素Pf5以及Pf6是暗像素，像素Pf5以及Pf6所示的像素值Vf5以及Vf6比像素值Vf1～Vf3小。
在图23A所示的例子中，垃圾D夹在于被拍摄对象2的区域A5与未图示的光源之间，因此，入射至区域A5的光的量与不存在垃圾D的情况相比较是降低的。但是，并非从光源朝向光电二极管4ps行进的所有的光都被垃圾D遮蔽，因此，从光源朝向区域A5行进的光的至少一部分会入射至区域A5。入射至区域A5的光的至少一部分入射至光电二极管4ps。因此，由光电二极管4ps获取的像素Pf5包含与区域A5相关的信息。这样，虽说由于在透明板8上存在垃圾D，但是与位于同垃圾D重叠的位置的区域A5相关的信息并非全部丢失。对于由光电二极管4pt获取的像素 Pf6也是同样。
图23B示出：从图23A所示的状态，将照射方向改变为上述的第2照射方向(参照图3A以及图3B)时得到的子图像的一例。在图23B中，也将此时得到的子图像Sg和示意性地示出该子图像Sg所包含的像素的像素值Br的柱状图相配合地在1张图中示出。
在图23B所示的状态下，未透射垃圾D而透射了被拍摄对象的光入射至光电二极管4ps以及光电二极管4pt。但是，在此，向光电二极管4ps 以及光电二极管4pt中分别入射了：透射被拍摄对象2中在区域A5的右侧相邻的区域B5后的光以及透射在区域A6的右侧相邻的区域B6后的光。也即是，因从第2照射方向进行照射，得不到区域A5以及区域A6的像。与光电二极管4ps以及光电二极管4pt对应的像素Pg5以及Pg6分别表示区域B5以及区域B6的像，而不表示被拍摄对象2的区域A5以及区域 A6的像。因此，在示于图23B的下侧的柱状图中，省略了像素Pg5以及 Pg6的像素值的图示。
在图23B所示的状态下，在光电二极管4px与未图示的光源之间，未夹着垃圾D以及被拍摄对象2这双方，透射了透明板8后的照明光直接入射至光电二极管4px。因此，与光电二极管4px对应的像素Pg1，与图23A 所示的子图像Sf中的像素Pf1同样，示出比较高的像素值Vg1。
与此相对，由于在光电二极管4py和4pz与未图示的光源之间，夹着垃圾D，因此，光电二极管4py和4pz接收透射了垃圾D的光。因此，入射至光电二极管4py和4pz的光的量比入射至光电二极管4px的光的量小。与光电二极管4py和4pz对应的像素Pg2和Pg3分别表示比像素值Vg1 低的像素值Vg2和Vg3。在该例中，Vg1>Vg2>Vg3。像素Pg2以及Pg3 可以说是表示垃圾D的像的像素。
图23C将参照图23A说明的像素Pf5以及Pf6的像素值Vf5以及Vf6 和参照图23B说明的像素Pg1～Pg3的像素值Vg1～Vg3相配合地示出。如参照图23A所说明的那样，像素Pf5以及Pf6分别包含与被拍摄对象2的区域A5以及A6相关的信息。但是，由于透射了垃圾D的光入射至区域 A5以及A6，因此，像素Pf5以及Pf6示出比不存在垃圾D时得到的本来的像素值低的像素值。因此，可以认为：如果对像素Pf5以及Pf6所示的像素值Vf5以及Vf6加上与因透射垃圾D而造成的光量的降低量相当的像素值，则能够再现抵消了垃圾D的影响的本来的像素值。
与因透射垃圾D而降低了的光量相当的像素值能够如以下那样估算。如参照图23B所说明的那样，在从第2照射方向照射了照明光的情况下，光电二极管4px接收直接透射了透明板8的光。也即是，由光电二极管4px 获取的像素Pg1是不包含垃圾D的像也不包含被拍摄对象2的像的像素。另一方面，光电二极管4py以及4pz在从第2照射方向照射了照明光的情况下，接收透射垃圾D但未入射至被拍摄对象2的光。也即是，像素Pg2 以及Pg3是包含垃圾D的像并且不包含被拍摄对象2的像的像素。如以上可知，像素Pg1所示的像素值Vg1与像素Pg2所示的像素值Vg2的差d12 以及像素Pg1所示的像素值Vg1与像素Pg3所示的像素值Vg3的差d23，能够称为是反映了因照明光透射垃圾D而造成的光量的降低量的值。
例如，在从第1照射方向照射了照明光的情况下朝向光电二极管4ps 的光，透射垃圾D中的某个区域。如图23C所示，在从第2照射方向照射了照明光的情况下朝向光电二极管4py的光也透射垃圾D中的该区域。因此，可以说：如果将像素值的差d12加到在从第1照射方向照射了照明光的情况下得到的像素Pf5的像素值Vf5，则能够抵消因垃圾D造成的光量的降低量。即，通过将像素Pf5的像素值Vf5置换为利用以下的式(5)求得的像素值Vf’5，可以再现区域A5的本来的像。
Vf’5＝Vf5+d12＝Vf5+(Vg1-Vg2) (5)
同样地，如果将像素Pg1所示的像素值Vg1与像素Pg3所示的像素值 Vg3的差d23加到在从第1照射方向照射了照明光的情况下得到的像素Pf6 的像素值Vf6，则可以抵消因垃圾D导致的光量的降低量。即，将像素Pf6 的像素值Vf6置换为由以下的式(6)求出的像素值Vf’6即可。
Vf’6＝Vf6+d23＝Vf6+(Vg1-Vg3) (6)
此外，作为要从不包含垃圾D的像也不包括被拍摄对象2的像的像素的像素值减去的像素值，并非必须使用接收在不同的照射方向之间透射了垃圾D中的同一区域的光的光电二极管所对应的像素值。例如，在该例中，从第1照射方向照射了照明光的情况下入射至光电二极管4pt的光与从第 2照射方向照射了照明光的情况下入射至光电二极管4pz的光，透射垃圾 D的相同区域。因此，使用从像素值Vg1减去与光电二极管4pz对应的像素Pg3的像素值Vg3而得的值d23，来求出像素值Vf’6。但是，通过对像素值Vf6加上差d12也可以再现与区域A6的像应表示的本来的像素值接近的像素值。
在使用了参照图1A～图6说明的原理的高分辨能力化中，利用照明光从包含来自斜向方向的照射的多个照射方向照射被拍摄对象，由此来进行拍摄。因此，典型地，在高分辨能力化的过程中，得到不包含垃圾D的像也不包括被拍摄对象2的像的像素的像素值(在此为Vg1)和包含垃圾D 的像且不包含被拍摄对象2的像的像素的像素值(在此为Vg2以及Vg3)。根据该第4例，由于在噪声的除去中活用(有效利用)不表示被拍摄对象的像的像素的像素值，因此，无需改变照射方向而多余地执行拍摄。
这样，通过对包含噪声的像素的像素值(例如Vf5)加上不包含垃圾 D的像也不包括被拍摄对象2的像的像素的像素值(例如Vg1)与包含垃圾D的像且不包含被拍摄对象2的像的像素的像素值(例如Vg2)之差，可以除去噪声。此外，如果子图像不包含暗像素，则无需进行用于抵消入射至光电二极管的光量的降低量的这样的补正。因此，有时像素值的补正也不对于所有子图像执行。
此外，如上述那样，从光电二极管4p的表面到被拍摄对象2为止的距离为1μm左右，相对于此，透明板8(在此为载片玻璃)的厚度典型地为1mm左右。即，实际上，透明板8具有与图23C中由箭头Th示意性地示出的厚度相比极其大的厚度。因此，即使将照射方向稍稍改变，也会使得子图像中表示垃圾D的像的像素的位置较大地变化。也即是，若透明板8具有大的厚度，则容易将表示垃圾D的像的像素与表示被拍摄对象2 的像的像素分离，因此是有利的。
子图像所含的像素中的哪个像素是包含垃圾D的像并且不包含被拍摄对象2的像的像素(例如像素Pg2以及Pg3)，例如，可以通过应用上述的噪声检测方法来判定。尤其是，若透明板8具有大的厚度，则与参照图 17C以及图17D所说明的暗像素的图形同样的、表示垃圾D的像的像素的图形，明显地呈现在与表示被拍摄对象2的像的像素分离的位置，因此是有利的。不包含垃圾D的像也不包含被拍摄对象2的像的像素(例如像素 Pg1)，在子图像或高分辨能力图像中的周缘部一样地示出高的像素值，因此，可以容易地检测。
除了上述的例子之外，也可以将包含噪声的像素的像素值置换为高分辨能力图像中相邻的其他的像素的像素值。也即是，在利用照明光从某照射方向进行了照射时，由通过被拍摄对象的某区域后的光所入射的光电二极管所得到的像素值包含噪声的情况下，作为表示该区域的像的像素值，也可以采用：在利用照明光从其他的某照射方向进行了照射时，由通过被拍摄对象中与该区域相邻的区域后的光所入射的光电二极管得到的像素值。
上述的噪声除去方法也可以相互组合。例如，也可以将像素的像素值的推定和补充进行组合来使用。
(噪声检测处理以及噪声除去处理的组合的具体例)
图24A是示出利用了过滤器的噪声检测处理和噪声除去处理的组合的一例的流程图。以下，为了简便，以已经获取了构成高分辨能力图像的多个子图像的情况为例进行说明。这些图像组例如暂时地保存于存储器160 (参照图11)。
在图24A所示的例子中，在利用了过滤器的噪声检测处理后，应用上述的噪声除去方法的第1例。首先，在步骤S42中，使用多个子图像来形成高分辨能力图像。在该阶段中，高分辨能力图像包含起因于相对于光电二极管4p的表面处于与被拍摄对象2不同的距离的异物的噪声。
接下来，在步骤S44中，进行用于指定像素的坐标的变量j以及k的初始化。j以及k是取整数值的变量，在此，向j以及k中分别代入1。
接下来，在步骤S46中，通过对高分辨能力图像中的像素区块应用过滤器，而算出Mxa、mna、Mxb以及mnb。例如，向3行3列的像素区块应用上述的过滤器Fa以及Fb。
接下来，在步骤S48中，判定Mxb<mna或Mxa<mnb是否成立。在 Mxb<mna或Mxa<mnb成立的情况下，处理进入步骤S49。在Mxb<mna 以及Mxa<mnb都不成立的情况下，跳过步骤S49，处理进入步骤S52。
在Mxb<mna或Mxa<mnb成立的情况下，能够判断为位于像素区块的角部的4个像素是包含噪声的像素，因此，在步骤S49中，将与包含噪声的像素的坐标值相关的信息保存于例如存储器160。例如，将此时的j 以及k的值保存于存储器160。
接下来，在步骤S52中使变量j增加，在步骤S54中，进行是否是j> (J-2)的判定。在此，J是高分辨能力图像所含的像素的行的数目。如果 j≤(J-2)，则处理返回步骤S46。如果j>(J-2)，则处理进入步骤S56，向j代入1，并且使k增加。之后，在步骤S58中，进行是否为k>(K-2) 的判定。在此，K是高分辨能力图像所含的像素的列的数目。如果k≤(K-2)，则处理返回步骤S46。即，对于高分辨能力图像中的像素区块的全部，执行包含噪声的像素的检测的处理。如果k>(K-2)，则处理进入步骤S51。
在步骤S51中，将包含噪声的像素的像素值置换为由不包含噪声的像素的像素值算出的像素值。包含噪声的像素的位置能够根据保存于存储器 160中的j以及k的值来判定。在此，将包含噪声的像素的像素值Vp,q一并置换为由上述的式(1)求出的像素值V’p,q。之后，处理进入步骤S38，噪声除去后的高分辨能力图像根据需要被输出至外部装置等。
图24B是示出利用了过滤器的噪声检测处理和噪声除去处理的组合的另一例的流程图。在图24B所示的例中，噪声除去处理中应用上述的第2 例。以下，对于与参照图24A说明的处理相同的步骤的说明不再重复。
在图24B所示的例子中，在步骤S48中，当判定为Mxb<mna或 Mxa<mnb成立时，处理进入步骤S60。在步骤S60中，将坐标值为(j，k)、 (j+2，k)、(j，k+2)以及(j+2，k+2)这4个像素的像素值置换为其它的像素值。在该例中，以使用包含噪声的像素的附近的像素的像素值算出的像素值来置换包含噪声的像素的像素值。例如对于坐标值为(j，k) 的像素，将该像素的像素值置换为该像素的4个附近的像素的像素值的平均。换言之，置换为由上述的式(2)求出的像素值。此外，在由于像素区块位于高分辨能力图像中的周缘部而得不到包含噪声的像素的附近4个像素中的几个的情况下，作为缺失的像素的像素值，例如使用0即可。
之后，处理进入步骤S52，对于高分辨能力图像中的所有像素区块，执行包含噪声的像素的检测以及置换的处理。若在步骤S58中判定为k> (K-2)，则处理进入步骤S38，一系列的处理结束。
图24C是表示利用了过滤器的噪声检测处理和噪声除去处理的组合的又一例的流程图。在图24C所示的例中，对于噪声除去处理，应用上述的第3例。在此，为了简单，以除了构成高分辨能力图像的多个子图像之外还已经获取了包含噪声的像素的置换用的子图像的情况为例，进行说明。包含噪声的像素的置换用的子图像暂时地保存于例如存储器160(参照图 11)。包含噪声的像素的置换用的子图像的张数不限定于1张，也可以是多张。
在图24C所示的例中，在步骤S48中，若判定为Mxb<mna或 Mxa<mnb成立，则处理进入步骤S50。在步骤S50中，将坐标值为(j，k)、 (j+2，k)、(j，k+2)以及(j+2，k+2)这4个像素的像素值置换为其它的像素值。在此，将包含噪声的这些像素置换为表示被拍摄对象的预定的区域的像的不包含噪声的像素。不包含噪声的像素是从与构成高分辨能力图像的子图像的获取时不同的照射方向照射了照明光的情况下获取的图像中所包含的像素。
以后的处理与图24B所示的例子同样。即，对于高分辨能力图像中的像素区块的全部，执行包含噪声的像素的检测以及置换的处理。
图24D是示出利用过滤器的噪声检测处理和噪声除去处理的组合的又一其他例的流程图。在图24D所示的例子中，在噪声除去处理中应用了上述的第4例。
在图24D所示的例子中，在步骤S48中，当判定为Mxb<mna或 Mxa<mnb成立时，处理进入步骤S70。在步骤S70中，将坐标值为(j，k)、 (j+2，k)、(j，k+2)以及(j+2，k+2)的4个像素的像素值置换为其它的像素值。在该例中，将包含噪声的像素的像素值置换为补正后的像素值。具体而言，对包含噪声的像素的像素值加上：不包含异物的像也不包含被拍摄对象的像的像素的像素值与包含异物的像并且不包含被拍摄对象的像的像素的像素值之差d。差d在高分辨能力图像的形成的步骤S42之前或之后预先求出即可。步骤S70之后的处理与图24B以及图24C所示的例子是同样的。
<用于模块的图像传感器>
此外，在本公开的实施方式中，图像传感器4不限定于CCD图像传感器，也可以是CMOS(Complementary Metal-Oxide Semiconductor；互补金属氧化物半导体)图像传感器或其它的图像传感器(作为一例，为下述的光电变换膜层叠型图像传感器)。CCD图像传感器以及CMOS图像传感器可以是表面照射型或背面照射型中的任意一种。以下，对于图像传感器的元件构造和入射至图像传感器的光电二极管或光电变换膜的光的关系进行说明。
图25示出CCD图像传感器的截面构造和被拍摄对象的相对的透射率 Td的分布的例子。如图25所示，CCD图像传感器大致具有：基板80、基板80上的绝缘层82、配置在绝缘层82内的布线84。在基板80形成有多个光电二极管88。在布线84上形成有遮光层(在图25中未图示)。在此，省略晶体管等的图示。在以下的附图中，也省略晶体管等的图示。此外，大致地，表面照射型CMOS图像传感器中的光电二极管附近的截面构造与CCD图像传感器中的光电二极管附近的截面构造几乎同样。因此，在此，省略表面照射型CMOS图像传感器的截面构造的图示以及说明。
如图25所示，在照明光从拍摄面的法线方向入射的情况下，透射被拍摄对象中的、位于光电二极管88的正上的区域R1后的光入射至光电二极管88。另一方面，透射被拍摄对象中的、位于布线84上的遮光层的正上的区域R2后的光入射至图像传感器的遮光区域(形成有遮光膜的区域)。因此，在从拍摄面的法线方向进行照射的情况下，得到示出被拍摄对象中的位于光电二极管88的正上的区域R1的图像。
为了获取表示处于遮光膜的正上的区域的图像，以使得透射区域R2 后的光入射至光电二极管88地从相对于拍摄面的法线方向倾斜的方向进行照射即可。此时，因照射方向的不同，有时透射区域R2后的光中的一部分会被布线84遮挡。在图示的例子中，通过由阴影线表示的部分的光线不会到达光电二极管88。因此，在倾斜入射中，像素值有时会降低一些。但是，并非透射光的全部被遮挡，因此，可以使用此时得到的子图像形成高分辨能力图像。
图26以及图27示出背面照射型CMOS图像传感器的截面构造和被拍摄对象的相对的透射率Td的分布的例子。如图26所示，在背面照射型 CMOS图像传感器中，即便在倾斜入射的情况下，透射光也不会被布线84 遮挡。但是，透射了被拍摄对象中的、与想进行拍摄的区域不同的其他的区域的光(图26以及下述的图27中，为以粗箭头BA示意性地示出的光)，入射至基板80，由此产生噪声，子图像的品质有可能劣化。这种劣化，如图27所示，可以通过在基板的形成了光电二极管的区域以外的区域上形成遮光层90来抑制。
图28示出具有由有机材料或无机材料形成的光电变换膜的图像传感器(以下，称为“光电变换膜层叠型图像传感器”)的截面构造和被拍摄对象的相对的透射率Td的分布的例子。
如图28所示，光电变换膜层叠型图像传感器大致具有：基板80、设置有多个像素电极的绝缘层82、绝缘层82上的光电变换膜94、光电变换膜94上的透明电极96。如图所示，在光电变换膜层叠型图像传感器中，取代形成在半导体基板的光电二极管，在基板80(例如半导体基板)上形成进行光电变换的光电变换膜94。光电变换膜94以及透明电极96典型地在拍摄面的整体的范围形成。在此，省略了保护光电变换膜94的保护膜的图示。
在光电变换膜层叠型图像传感器中，由光电变换膜94中的入射光的光电变换产生的电荷(电子或空穴)通过像素电极92聚集。由此，得到表示入射至光电变换膜94的光的量的值。因此，可以说，在光电变换膜层叠型图像传感器中，在拍摄面，包含1个像素电极92的单位区域与1个单位像素单元相当。在光电变换膜层叠型图像传感器中，即便在与背面照射型 CMOS图像传感器同样地倾斜入射的情况下，透射光也不会被布线遮挡。
如参照图1A～图6所说明的那样，在高分辨能力图像的形成中，使用表示由被拍摄对象的不同的部分构成的像的多个子图像。然而，在典型的光电变换膜层叠型图像传感器中，在拍摄面的整体的范围形成光电变换膜 94，因此在例如垂直入射的情况下，也可以利用透射被拍摄对象的预期的区域以外的区域后的光在光电变换膜94中产生光电变换。若此时产生的多余的电子或空穴被吸引到像素电极92，则有可能得不到适当的子图像。因此，将在像素电极92与透明电极96重叠的区域(图28中影线化的区域) 中产生的电荷选择性地吸引到像素电极92是有益的。
在图28所例示的构成中，与像素电极92的各个对应地在像素内设置有虚设电极98。在获取被拍摄对象的像时，向像素电极92与虚设电极98 之间，赋予适当的电位差。由此，能够将像素电极92与透明电极96重叠的区域以外的区域中产生的电荷吸引到虚设电极98，而将像素电极92与透明电极96重叠的区域中产生的电荷选择性地吸引到像素电极92。此外，通过透明电极96或光电变换膜94的图形化，也可以得到同样的效果。在这种构成中，可以说，光电变换膜94中的具有与像素电极92的重叠的区域(图28中影线化的区域)与CCD图像传感器以及CMOS图像传感器中的光电二极管(光电变换部)相当。因此，像素电极92的面积S3相对于单位像素单元的面积S1的比率(S3/S1)与“开口率”相当。
如已经说明的那样，当N为2以上的整数时，若图像传感器4的开口率近似地等于1/N，则可以实现最大N倍的高分辨能力化。换言之，开口率越小对于高分辨能力化越有利。在光电变换膜层叠型图像传感器中，通过调整像素电极92的面积S3，可以调整与开口率相当的比率(S3/S1)。该比率(S3/S1)例如被设定在10％～50％的范围内。比率(S3/S1)处于上述的范围内的光电变换膜层叠型图像传感器可以用于超分辨能力。
此外，从图25以及图27可知，CCD图像传感器以及背面照射型CMOS 图像传感器中与被拍摄对象对置的表面不是平坦的。例如，在CCD图像传感器中，其表面存在台阶差。另外，在背面照射型CMOS图像传感器中，在用于形成高分辨能力图像的子图像的获取中，需要在拍摄面上设置图形化的遮光层，与被拍摄对象对置的表面不是平坦的。
与此相对，从图28可知，光电变换膜层叠型图像传感器的拍摄面是基本平坦的面。因此，即便在拍摄面上配置了被拍摄对象的情况下，基本不产生起因于拍摄面的形状的被拍摄对象的变形。换言之，通过使用光电变换膜层叠型图像传感器获取子图像，可以观察被拍摄对象的更详细的构造。
本说明书中说明的上述各种方式只要不产生矛盾就可以相互组合。
产业上的可利用性
根据本公开的实施方式，能够检测以及除去起因于相对于光电变换部的表面处于与被拍摄对象不同的距离的异物的噪声。本公开的技术在高分辨能力图像的形成中是特别有用的。根据本公开的实施方式，可以提高实现超过图像传感器的固有分辨能力的分辨能力的高分辨能力化技术的实用性。高分辨能力图像提供在例如病理诊断的场景中有益的信息。
符号的说明
2被拍摄对象；7传感器单元；8透明板；10模块；30a照明系统； 31光源；32载物台；33载物台驱动机构；100图像获取装置；140图像形成装置；150图像处理装置；1000图像形成系统

Claims (12)

1.一种图像形成系统，
所述图像形成系统包括图像获取装置、图像处理电路以及图像形成电路，
所述图像获取装置具有照明系统，所述照明系统从第1方向朝向模块中的被拍摄对象射出第1照明光，在射出所述第1照明光之后，从与所述第1方向不同的第2方向朝向所述被拍摄对象射出第2照明光，所述模块是包含多个光电变换部的拍摄元件和所述被拍摄对象一体化而成的模块，所述被拍摄对象包含第1部分以及与所述第1部分相邻的第2部分，
所述多个光电变换部，基于所述第1照明光通过所述被拍摄对象而得到的第1变换光来获取包含第1像素值的第1多个像素值，基于所述第2照明光通过所述被拍摄对象而得到的第2变换光来获取包含第2像素值的第2多个像素值，
所述多个光电变换部包含第1光电变换部和第2光电变换部，
所述第1光电变换部，基于所述第1照明光中的一部分通过所述第1部分而得到的所述第1变换光中的一部分，输出所述第1像素值，
所述第2光电变换部，基于所述第2照明光中的一部分通过所述第2部分而得到的所述第2变换光中的一部分，输出所述第2像素值，
所述第1光电变换部和所述第2光电变换部为同一光电变换部或者在所述拍摄元件中相邻，
所述图像形成电路基于所述第1多个像素值以及所述第2多个像素值来生成图像，
所述生成的图像的像素值的数量比所述第1多个像素值的数量多，并且，所述生成的图像的像素值的数量比所述第2多个像素值的数量多，
所述图像处理电路判定所述第1像素值与所述第2像素值之间的差的绝对值是否比预先设定的阈值大，
在所述第1像素值与所述第2像素值之间的差的绝对值比预先设定的阈值大、并且所述第1像素值比所述第2像素值小的情况下，所述图像处理电路判定为所述第1像素值是包含噪声的像素的像素值，
在所述第1像素值与所述第2像素值之间的差的绝对值比预先设定的阈值大、并且所述第1像素值比所述第2像素值大的情况下，所述图像处理电路判定为所述第2像素值是包含噪声的像素的像素值，
所述图像处理电路利用其它的像素值置换被判定为包含噪声的像素的像素的像素值。
2.根据权利要求1所述的图像形成系统，
所述其它的像素值是根据除了被判定为包含噪声的像素的像素以外的像素的像素值来算出的像素值。
3.根据权利要求2所述的图像形成系统，
所述其它的像素值是使用所述图像中的附近4个像素的像素值或附近8个像素的像素值来算出的像素值，所述附近4个像素是由与被判定为包含噪声的像素的像素在上下左右相邻的4个像素构成的组，所述附近8个像素是由与被判定为包含噪声的像素的像素在上下左右相邻的4个像素和与被判定为所述包含噪声的像素的像素在斜向方向相邻的4个像素构成的组。
4.根据权利要求1所述的图像形成系统，
所述其它的像素值是第3多个像素值中的1个，所述第3多个像素值是从与所述第1方向以及所述第2方向中的任一个都不同的第3方向照射所述被拍摄对象时从所述多个光电变换部输出的像素值。
5.根据权利要求1所述的图像形成系统，
所述包含噪声的像素是包含起因于异物的噪声的像素，所述异物位于与所述被拍摄对象相比离所述拍摄元件的拍摄面远的位置，
所述其它的像素值是通过对被判定为所述包含噪声的像素的像素的像素值加上下述差而得到的像素值，该差是不包含所述异物的像也不包含所述被拍摄对象的像的像素的像素值与包含所述异物的像且不包含所述被拍摄对象的像的像素的像素值之差。
6.根据权利要求1至5中任意一项所述的图像形成系统，
所述图像处理电路，基于构成所述图像的一个分区的、具有多个像素的像素区块中的像素间的像素值的变化的大小，检测所述图像所包含的像素中的所述包含噪声的像素的像素值，
所述像素区块是高分辨能力图像中的像素区块。
7.根据权利要求1至5中任意一项所述的图像形成系统，
所述照明系统具有：1个以上的光源、载物台以及能够改变所述载物台的姿势的载物台驱动机构，所述模块相对于所述载物台拆装自如。
8.根据权利要求7所述的图像形成系统，
所述照明系统具有射出相互不同的波长范围的光的多个光源。
9.根据权利要求7所述的图像形成系统，
所述照明系统具有多个光源，所述多个光源配置在与所述多个不同的照射方向对应的不同的位置且依次射出包含所述第1照明光以及所述第2照明光的多个照明光。
10.根据权利要求7所述的图像形成系统，
所述照明系统包括测角机构，所述测角机构使所述载物台的姿势以及所述1个以上的光源的朝向中的至少一方变化。
11.一种图像形成方法，
包括：
步骤一：
从第1方向以第1照明光照射模块中的被拍摄对象，在照射所述第1照明光之后，从与所述第1方向不同的第2方向以第2照明光照射所述被拍摄对象，由此，基于所述第1照明光通过所述被拍摄对象而得到的第1变换光来获取包含第1像素值的第1多个像素值，并且，基于所述第2照明光通过所述被拍摄对象而得到的第2变换光来获取包含第2像素值的第2多个像素值，所述模块是包含多个光电变换部的拍摄元件和所述被拍摄对象一体化而成的模块，所述被拍摄对象包含第1部分以及与所述第1部分相邻的第2部分，
所述多个光电变换部包括第1光电变换部和第2光电变换部，
所述第1光电变换部，基于所述第1照明光中的一部分通过所述第1部分而得到的所述第1变换光中的一部分，输出所述第1像素值，
所述第2光电变换部，基于所述第2照明光中的一部分通过所述第2部分而得到的所述第2变换光中的一部分，输出所述第2像素值，
所述第1光电变换部与所述第2光电变换部是同一光电变换部或在所述拍摄元件中相邻；
步骤二：
基于所述第1多个像素值以及所述第2多个像素值，生成包含数量比所述第1多个像素值的数量多的像素值、并且包含数量比所述第2多个像素值的数量多的像素值的图像；
步骤三：
判定所述第1像素值与所述第2像素值之间的差的绝对值是否比预先设定的阈值大，
在所述第1像素值与所述第2像素值之间的差的绝对值比预先设定的阈值大、并且所述第1像素值比所述第2像素值小的情况下，判定为所述第1像素值是包含噪声的像素的像素值，
在所述第1像素值与所述第2像素值之间的差的绝对值比预先设定的阈值大、并且所述第1像素值比所述第2像素值大的情况下，判定为所述第2像素值是包含噪声的像素的像素值，
利用其它的像素值置换被判定为包含噪声的像素的像素的像素值。
12.一种拍摄元件，是用于包括图像获取装置、图像处理电路以及图像形成电路的图像形成系统中的包含多个光电变换部的拍摄元件，
所述图像获取装置具有照明系统，所述照明系统从第1方向朝向包含第1部分以及与所述第1部分相邻的第2部分的被拍摄对象射出第1照明光，在所述第1照明光的射出之后，从与所述第1方向不同的第2方向朝向所述被拍摄对象射出第2照明光，利用配置于透射所述被拍摄对象后的光入射的位置的所述拍摄元件中的所述多个光电变换部，基于所述第1照明光通过所述被拍摄对象而得到的第1变换光，获取包含第1像素值的第1多个像素值，并且，基于所述第2照明光通过所述被拍摄对象而得到的第2变换光，获取包含第2像素值的第2多个像素值，
所述多个光电变换部包括第1光电变换部和第2光电变换部，
所述第1光电变换部，基于所述第1照明光中的一部分通过所述第1部分而得到的所述第1变换光中的一部分，输出所述第1像素值，
所述第2光电变换部，基于所述第2照明光中的一部分通过所述第2部分而得到的所述第2变换光中的一部分，输出所述第2像素值，
所述第1光电变换部和所述第2光电变换部是同一光电变换部或在所述拍摄元件中相邻，
所述图像形成电路，基于所述第1多个像素值以及所述第2多个像素值，生成包含数量比所述第1多个像素值的数量多的像素值、并且包含数量比所述第2多个像素值的数量多的像素值的图像，
所述图像处理电路判定所述第1像素值与所述第2像素值之间的差的绝对值是否比预先设定的阈值大，
在所述第1像素值与所述第2像素值之间的差的绝对值比预先设定的阈值大、并且所述第1像素值比所述第2像素值小的情况下，所述图像处理电路判定为所述第1像素值是包含噪声的像素的像素值，
在所述第1像素值与所述第2像素值之间的差的绝对值比预先设定的阈值大、并且所述第1像素值比所述第2像素值大的情况下，所述图像处理电路判定为所述第2像素值是包含噪声的像素的像素值，
所述图像处理电路利用其它的像素值置换被判定为包含噪声的像素的像素的像素值，
所述拍摄元件，能够相对于所述图像获取装置拆装，在安装于所述图像获取装置的状态下，在所述第1变换光或所述第2变换光入射侧的面，具备能够配置所述被拍摄对象的被拍摄对象支承部。
CN201580002897.4A 2014-10-27 2015-09-16 图像形成系统、图像形成方法以及拍摄元件 Expired - Fee Related CN105794195B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014-218151 2014-10-27
JP2014218151 2014-10-27
JP2015-144005 2015-07-21
JP2015144005 2015-07-21
PCT/JP2015/004719 WO2016067508A1 (ja) 2014-10-27 2015-09-16 画像形成システム、画像形成方法、撮像素子、およびプログラム

Publications (2)

Publication Number Publication Date
CN105794195A CN105794195A (zh) 2016-07-20
CN105794195B true CN105794195B (zh) 2020-02-07

Family

ID=55856878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580002897.4A Expired - Fee Related CN105794195B (zh) 2014-10-27 2015-09-16 图像形成系统、图像形成方法以及拍摄元件

Country Status (5)

Country Link
US (1) US10284797B2 (zh)
EP (1) EP3214831B1 (zh)
JP (1) JP6631886B2 (zh)
CN (1) CN105794195B (zh)
WO (1) WO2016067508A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105829867A (zh) * 2014-11-27 2016-08-03 松下知识产权经营株式会社 图像取得装置、图像形成系统和图像形成方法
JP2016214512A (ja) * 2015-05-19 2016-12-22 株式会社東芝 センサ
JP6785429B2 (ja) * 2015-12-03 2020-11-18 パナソニックＩｐマネジメント株式会社 撮像装置
CN106950687B (zh) * 2016-01-06 2021-01-01 松下知识产权经营株式会社 图像生成系统以及图像生成方法
DE102016108079A1 (de) * 2016-05-02 2017-11-02 Carl Zeiss Microscopy Gmbh Artefaktreduktion bei der winkelselektiven beleuchtung
JP6807546B2 (ja) * 2016-11-15 2021-01-06 パナソニックＩｐマネジメント株式会社 画像形成装置
US10638061B2 (en) * 2018-09-18 2020-04-28 Analog Devices Global Unlimited Company Active-pixel image sensor
WO2020065442A1 (ja) * 2018-09-28 2020-04-02 株式会社半導体エネルギー研究所 画像処理方法、プログラム、及び撮像装置
JP2021005805A (ja) * 2019-06-26 2021-01-14 パナソニックＩｐマネジメント株式会社 光電センサ、レーザ樹脂溶着における樹脂透過率の測定方法、レーザ樹脂溶着方法、レーザ加工装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061100A (en) * 1997-09-30 2000-05-09 The University Of British Columbia Noise reduction for video signals
WO2004072624A1 (ja) * 2003-02-13 2004-08-26 Hamamatsu Photonics K.K. 蛍光相関分光解析装置
CN101340540A (zh) * 2007-07-05 2009-01-07 株式会社日立制作所 图像显示装置、图像信号处理装置和图像信号处理方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62137037A (ja) 1985-12-11 1987-06-19 株式会社東芝 Ｘ線撮影装置
JPH04316478A (ja) * 1991-04-12 1992-11-06 Nec Corp 生物試料観察装置、システムおよび方法
JPH06311879A (ja) * 1993-03-15 1994-11-08 Nec Corp バイオセンサ
CN1212104A (zh) * 1996-12-26 1999-03-24 索尼公司 高分辨率图像捕获装置及其方法
JP2000295639A (ja) * 1999-04-08 2000-10-20 Nikon Corp 固体撮像素子検査用照明装置及びそれに用いる調整工具
JP2003304395A (ja) 2002-04-09 2003-10-24 Canon Inc 画像処理装置及びフィルムスキャナ
US20090152475A1 (en) * 2006-01-20 2009-06-18 Sumitomo Electric Industries, Ltd. Analyzer, Authenticity Judging Device, Authenticity Judging Method, and Underground Searching Method
EP2003877B1 (en) * 2006-03-31 2015-05-06 Nikon Corporation Image processing method
WO2008137746A1 (en) * 2007-05-04 2008-11-13 Aperio Technologies, Inc. Rapid microscope scanner for volume image acquisition
JP5110289B2 (ja) * 2008-03-24 2012-12-26 株式会社メガチップス ノイズ低減装置およびデジタルカメラ
JP5593602B2 (ja) * 2008-09-24 2014-09-24 ソニー株式会社 撮像素子および撮像装置
US9492129B2 (en) * 2008-10-27 2016-11-15 Dental Imaging Technologies Corporation Triggering of intraoral X-ray sensor using pixel array sub-sampling
WO2011021235A1 (ja) * 2009-08-18 2011-02-24 富士通株式会社 画像処理方法および画像処理装置
EP3671176B1 (en) 2009-10-20 2022-04-13 The Regents of the University of California Incoherent lensfree cell holography and microscopy on a chip
US9743020B2 (en) * 2010-03-23 2017-08-22 California Institute Of Technology Super resolution optofluidic microscopes for 2D and 3D imaging
DE102010026205A1 (de) * 2010-07-06 2012-01-12 Carl Zeiss Microlmaging Gmbh Mikroskop, insbesondere Fluoreszenzmikroskop, dichroitischer Strahlteiler und dessen Verwendung
US9426429B2 (en) * 2010-10-26 2016-08-23 California Institute Of Technology Scanning projective lensless microscope system
US8866063B2 (en) * 2011-03-31 2014-10-21 The Regents Of The University Of California Lens-free wide-field super-resolution imaging device
SG11201503293VA (en) * 2012-10-30 2015-05-28 California Inst Of Techn Fourier ptychographic imaging systems, devices, and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061100A (en) * 1997-09-30 2000-05-09 The University Of British Columbia Noise reduction for video signals
WO2004072624A1 (ja) * 2003-02-13 2004-08-26 Hamamatsu Photonics K.K. 蛍光相関分光解析装置
CN101340540A (zh) * 2007-07-05 2009-01-07 株式会社日立制作所 图像显示装置、图像信号处理装置和图像信号处理方法

Also Published As

Publication number Publication date
EP3214831A4 (en) 2017-11-01
WO2016067508A1 (ja) 2016-05-06
JPWO2016067508A1 (ja) 2017-09-07
JP6631886B2 (ja) 2020-01-15
US10284797B2 (en) 2019-05-07
US20160330389A1 (en) 2016-11-10
EP3214831B1 (en) 2019-11-06
CN105794195A (zh) 2016-07-20
EP3214831A1 (en) 2017-09-06

Similar Documents

Publication Publication Date Title
CN105794195B (zh) 图像形成系统、图像形成方法以及拍摄元件
US10838192B2 (en) Method and device for high-resolution color imaging using merged images from holographic and lens-based devices
US9088729B2 (en) Imaging apparatus and method of controlling same
JP6307770B2 (ja) 撮像素子
CN108989649A (zh) 具有自动聚焦的纤薄多孔径成像系统及其使用方法
JP2015127738A (ja) 顕微鏡システムおよびその制御方法
US20120288157A1 (en) Image processing apparatus, image processing method, and image processing program
US11269171B2 (en) Spectrally-resolved scanning microscope
US11106026B2 (en) Scanning microscope for 3D imaging using MSIA
JP6004245B1 (ja) 画像取得装置、画像形成システムおよび画像形成方法
JP2017500796A (ja) 電子回路用ギャップを伴う新規イメージングセンサを持つスキャンイメージングシステム
WO2007055082A1 (ja) 共焦点顕微鏡装置
US9774771B2 (en) Preparation, transparent plate, method for producing preparation, slide glass, imaging apparatus, imaging method, preparation producing apparatus, and preparation component set
US20170146790A1 (en) Image acquisition device and image formation system
US20130162801A1 (en) Microscope
CN106483338A (zh) 图像输出装置、图像发送装置、图像接收装置、图像输出方法
JP6257294B2 (ja) 顕微鏡装置
JP2006053351A (ja) 立体画像撮像装置
WO2003063078A1 (fr) Dispositif d&#39;imagerie
KR20060102378A (ko) 카메라 모듈용 필터 검사장치 및 그 검사방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200207

CF01 Termination of patent right due to non-payment of annual fee