CN105829867A - 图像取得装置、图像形成系统和图像形成方法 - Google Patents

图像取得装置、图像形成系统和图像形成方法 Download PDF

Info

Publication number
CN105829867A
CN105829867A CN201580002651.7A CN201580002651A CN105829867A CN 105829867 A CN105829867 A CN 105829867A CN 201580002651 A CN201580002651 A CN 201580002651A CN 105829867 A CN105829867 A CN 105829867A
Authority
CN
China
Prior art keywords
illumination
image
preliminary image
subject
preliminary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580002651.7A
Other languages
English (en)
Inventor
佐藤太
佐藤太一
泽田好秀
足立安比古
本村秀人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN105829867A publication Critical patent/CN105829867A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/59—Transmissivity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0008—Microscopes having a simple construction, e.g. portable microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/086—Condensers for transillumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/49—Scattering, i.e. diffuse reflection within a body or fluid
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/066—Modifiable path; multiple paths in one sample
    • G01N2201/0662—Comparing measurements on two or more paths in one sample

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本公开提供一种图像取得装置、图像形成系统和图像形成方法。图像取得装置包括照明系统和照射方向确定部。照明系统从以被拍摄对象为基准的多个不同的照射方向向以使得透过了被拍摄对象的照明光入射到拍摄元件的方式将被拍摄对象和拍摄元件一体化而成的模块依次照射被拍摄对象。模块取得与多个不同的照射方向相应的多个图像。照射方向确定部在根据多个不同的照射方向取得多个图像之前，基于第一预备图像与第二预备图像之间的差异来确定多个不同的照射方向。第一预备图像是在使用来自第一照射方向的第一照明光照射被拍摄对象时所取得的图像，第二预备图像是在使用来自第二照射方向的第二照明光照射被拍摄对象时所取得的图像。

Description

图像取得装置、图像形成系统和图像形成方法
技术领域
本公开涉及图像取得装置、图像形成系统和图像形成方法。
背景技术
以往，为了观察生物组织等中的微观结构，使用了光学显微镜。光学显微镜利用透过观察对象的光或者反射的光。观察者观察通过透镜放大了的像。也已知有拍摄由显微镜的透镜放大了的像并将其显示在显示器上的数字显微镜。通过利用数字显微镜，能够进行多人的同时观察、远程的观察等。
近年来，通过ClS(ContactImageSensing：接触式图像传感)方式观察微观结构的技术受到关注。在采用ClS方式的情况下，观察对象靠近图像传感器的拍摄面来配置。作为图像传感器，一般使用在拍摄面内呈行状和列状排列有多个光电转换部的二维图像传感器。光电转换部典型地是形成在半导体层或半导体衬底的光电二极管，接受入射光来生成电荷。
由图像传感器取得的图像用多个像素来规定。各像素由包含一个光电转换部的单位区域划分而成。因此，二维图像传感器的分辨率(析像度)通常依赖于拍摄面上的光电转换部的排列节距(pitch)。在本说明书中，有时将由光电转换部的排列节距确定的分辨率称为图像传感器的“固有分辨率”。由于各个光电转换部的排列节距短到了可见光的波长程度，因此会难以使固有分辨率进一步提高。
已提出了实现图像传感器的超过固有分辨率的分辨率的技术。专利文献1公开了使用使被拍摄对象的成像位置位移而得到的多个图像来形成该被拍摄对象的图像的技术。
在先技术文献
专利文献1：日本特开昭62－137037号公报
发明内容
本公开提供能够使实现图像传感器的超过固有分辨率的分辨率的高分辨率化技术的实用性提高的图像取得装置、图像形成系统以及图像形成方法。
作为本公开的示例的实施方式，提供以下实施方式。
一种图像取得装置，包括：照明系统，其从多个不同的照射方向向被拍摄对象和拍摄元件一体化而成的模块的所述被拍摄对象依次进行光照射，所述模块的所述被拍摄对象和所述拍摄元件一体化为使得透过了所述被拍摄对象的照明光入射到所述拍摄元件，所述拍摄元件取得与所述多个不同的照射方向相应的多个图像；和照射方向确定部，其在与所述多个不同的照射方向相应地由所述拍摄元件取得所述多个图像之前，基于在使用来自第一照射方向的第一照明光照射所述被拍摄对象时由所述拍摄元件所取得的第一预备图像、和在使用来自第二照射方向的第二照明光照射所述被拍摄对象时由所述拍摄元件所取得的第二预备图像之间的差异，确定所述多个不同的照射方向。
再者，这些总括的或具体的方式可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质来实现，也可以由系统、方法、集成电路、计算机程序或记录介质的任意组合来实现。
根据本公开，实现图像传感器的超过固有分辨率的分辨率的高分辨率化技术的实用性提高。
附图说明
图1A是示意地表示被拍摄对象2的一部分的俯视图。
图1B是抽出与图1A所示的区域的拍摄有关的光电二极管来示意地进行表示的俯视图。
图2A是示意地表示透过被拍摄对象2而入射到光电二极管4p的光线的方向的剖视图。
图2B是示意地表示透过被拍摄对象2入射到光电二极管4p的光线的方向的剖视图。
图2C是示意地表示由6个光电二极管4p取得的6个像素Pa的图。
图3A是示意地表示从与图2A和图2B所示的照射方向不同的照射方向使光线入射的状态的剖视图。
图3B是示意地表示从与图2A和图2B所示的照射方向不同的照射方向使光线入射的状态的剖视图。
图3C是示意地表示在图3A和图3B所示的照射方向之下所取得的6个像素Pb的图。
图4A是示意地表示从与图2A和图2B所示的照射方向以及图3A和图3B所示的照射方向不同的照射方向使光线入射的状态的剖视图。
图4B是示意地表示从与图2A和图2B所示的照射方向以及图3A和图3B所示的照射方向不同的照射方向使光线入射的状态的剖视图。
图4C是示意地表示在图4A和图4B所示的照射方向之下所取得的6个像素Pc的图。
图5A是示意地表示从与图2A和图2B所示的照射方向、图3A和图3B所示的照射方向、以及图4A和图4B所示的照射方向不同的照射方向使光线入射的状态的剖视图。
图5B是示意地表示在图5A所示的照射方向之下所取得的6个像素Pd的图。
图6是表示由4张子图像Sa、Sb、Sc以及Sd合成的高分辨率图像HR的图。
图7是示意地表示以透过了被拍摄对象2的相邻的两个区域的光线分别入射到不同的光电二极管的方式进行了调整的照射方向的剖视图。
图8A是示意地表示模块的剖面结构的一例的图。
图8B是表示从图像传感器4侧观察图8A所示的模块10时的外观的一例的俯视图。
图9是用于说明模块的制作方法的一例的图。
图10A是表示取得子图像时的照射角度的例子的剖视图。
图10B是表示以与图10A所示的照射角度不同的照射角度照射被拍摄对象的方法的例子的剖视图。
图11A是表示被拍摄对象2的配置与照射方向的关系的一例的示意放大剖视图。
图11B是表示在距图像传感器4的拍摄面4A更远的位置配置了被拍摄对象2的模块中的透过了被拍摄对象2的照明光与光电二极管4p之间的关系的示意放大剖视图。
图11C是表示被拍摄对象2的配置与照射方向的关系的另一例的示意放大剖视图。
图12是表示本公开的实施方式的图像取得装置的构成的一例的概略图。
图13A是表示图像取得装置100a的示例的外观的立体图。
图13B是表示在图13A所示的图像取得装置100a中关闭了盖部120的状态的立体图。
图13C是示意地表示对于图像取得装置100a的载物台32的插座130的装填方法的一例的图。
图14A是示意地表示变更照射方向的方法的一例的图。
图14B是示意地表示相对于基准面使载物台32倾斜了角度θ时的向被拍摄对象入射的光线的方向的变化的图。
图15是表示本公开的实施方式的示例的图像形成方法的概要的图。
图16A是示意地表示照明光的照射方向与被拍摄对象2之中照明光所透过的区域的关系的一例的剖视图。
图16B是示意地表示从图16A所示的状态使第二照射方向变化时的照明光的照射方向与被拍摄对象2之中照明光所透过的区域的关系的一例的剖视图。
图16C是示意地表示在从图16B所示的第一照射方向DR1的照射之下所取得的第一预备图像PS1的图。
图16D是示意地表示在从图16B所示的第二照射方向DR2的照射之下所取得的第二预备图像PS2的图。
图16E是示意地表示在从图16A所示的第二照射方向DR2的照射之下所取得的第二预备图像S22的图。
图17A是示意地表示照明光的照射方向与被拍摄对象2之中照明光所透过的区域的关系的另一例的剖视图。
图17B是表示使得透过了图17A所示的被拍摄对象2的区域B1的光分别入射到光电二极管4pa和光电二极管4pb的第一照射方向DR1和第二照射方向DR2的图。
图18是表示本公开的实施方式的图像形成系统的一例的框图。
图19是表示图像形成系统500的工作的一例的流程图。
图20是表示本公开的实施方式的图像形成系统的另一例的框图。
图21是表示图像形成系统500的工作的另一例的流程图。
图22是示意地表示具体例2中的第一照射方向DR1和第二照射方向DR2的一例的图。
图23A是示意地表示由在从图22所示的第二照射方向的照射之下所取得的第二预备图像生成的位移图像PS32的图。
图23B是示意地表示由在从与图22所示的第二照射方向DR2不同的照射方向的照射之下所取得的第二预备图像生成的位移图像PS42的图。
图24是表示本公开的实施方式的图像形成系统的又一例的框图。
图25是示意地表示具体例3中的第一照射方向DR1和第二照射方向DR2的一例的图。
图26是表示图像形成系统500的工作的又一例的流程图。
图27是表示本公开的实施方式的图像形成系统的又一例的框图。
图28是表示图像形成系统500的工作的又一例的流程图。
图29是表示本公开的实施方式的图像形成系统的又一例的框图。
图30是表示图像形成系统500的工作的又一例的流程图。
图31是示意地表示照明光的照射方向与被拍摄对象2之中照明光所透过的区域的关系的一例的剖视图。
图32是示意地表示照明光的照射方向与被拍摄对象2之中照明光所透过的区域的关系的另一例的剖视图。
图33是示意地表示照明光的照射方向与被拍摄对象2之中照明光所透过的区域的关系的又一例的剖视图。
图34是表示本公开的实施方式的图像形成系统的又一例的框图。
图35是表示图像形成系统500的工作的又一例的流程图。
图36是表示CCD图像传感器的剖面构造和被拍摄对象的相对的透射率Td的分布的例子的图。
图37A是表示背面照射型CMOS图像传感器的剖面构造和被拍摄对象的相对的透射率Td的分布的例子的图。
图37B是表示背面照射型CMOS图像传感器的剖面构造和被拍摄对象的相对的透射率Td的分布的例子的图。
图38是表示光电转换膜层叠型图像传感器的剖面构造和被拍摄对象的相对的透射率Td的分布的例子的图。
标号说明
2：被拍摄对象
7：拍摄元件
8：透明板
10：模块
30：照明系统
31：光源
32：载物台
33：载物台驱动机构
40a～40f：照射方向确定部
100a～100f：图像取得装置
150：图像处理装置
500：图像形成系统
具体实施方式
<高分辨率图像形成的原理>
在本公开的实施方式中，使用通过改变照明光的照射方向来执行多次拍摄而得到的多个图像，形成分辨率比这些多个图像的每个图像都高的图像(以下，称为“高分辨率图像”)。首先，参照图1A～图6，说明高分辨率图像形成的原理。在此，以CCD(ChargeCoupLedDevice：电荷耦合器件)图像传感器为例来进行说明。再者，在以下的说明中，实质上具有相同的功能的构成要素有时用共同的参照标号来表示而省略说明。
参照图1A和图1B。图1A是示意地表示被拍摄对象的一部分的俯视图。图1A所示的被拍摄对象2例如是生物组织的薄片(典型地，具有数十微米以下的厚度)。在取得被拍摄对象2的图像时，被拍摄对象2靠近图像传感器的拍摄面来配置。从图像传感器的拍摄面到被拍摄对象2为止的距离典型地为1mm以下，例如可设定为1μm左右。
图1B是抽出图像传感器的光电二极管之中与图1A所示的区域的拍摄有关的光电二极管来示意地进行表示的俯视图。这里说明的例子中，示出了形成于图像传感器4的光电二极管4p中的6个光电二极管。再者，为了参考，在图1B中，图示了表示相互正交的x方向、y方向以及z方向的箭头。z方向表示了拍摄面的法线方向。在图1B中还图示了表示在xy面内从x轴向y轴转动了45°的方向即u方向的箭头。有时在其他的附图中也图示表示x方向、y方向、z方向或u方向的箭头。
图像传感器4中的光电二极管4p以外的构成要素被遮光层覆盖。在图1B中，画阴影的区域表示被遮光层覆盖的区域。CCD图像传感器的拍摄面上的1个光电二极管的受光面的面积(S2)比包含该光电二极管的单位区域的面积(S1)小。受光面积S2相对于像素的面积S1的比率(S2/S1)被称为“开口率”。在此，设开口率为25％来进行说明。
图2A和图2B示意地表示透过被拍摄对象2而向光电二极管4p入射的光线的方向。图2A和图2B表示从相对于拍摄面垂直的方向使光线入射的状态。如在图2A和图2B中示意地表示那样，在此，在被拍摄对象2与图像传感器4之间未配置用于成像的透镜，被拍摄对象2的图像是使用透射被拍摄对象2的实质上平行的光线来取得。
图2C示意地表示在图2A和图2B所示的照射方向之下所取得的图像Sa(第一子图像Sa)。如图2C所示，第一子图像Sa由通过6个光电二极管4p所取得的6个像素Pa构成。像素Pa分别具有表示入射到各个光电二极管4p的光量的值(像素值)。
如图2A和图2B所示，在从与拍摄面垂直的方向照射了被拍摄对象2时，透过了被拍摄对象2的整体之中位于光电二极管4p的正上方的区域的光入射到光电二极管4p。在该例中，第一子图像Sa具有被拍摄对象2的整体之中的区域A1、A2、A3、A4、A5以及A6(参照图1A)的信息。再者，透过了不位于光电二极管4p的正上方的区域的光不入射到光电二极管4p。因此，在第一子图像Sa中，缺少了被拍摄对象2的整体之中的区域A1、A2、A3、A4、A5以及A6以外的区域的信息。
图3A和图3B示出了从与图2A和图2B所示的照射方向不同的照射方向使光线入射的状态。图3A和图3B所示的光线为相对于z方向而向x方向倾斜。此时，透过了被拍摄对象2的整体之中的与位于光电二极管4p的正上方的区域不同的区域的光入射到光电二极管4p。
图3C示意地表示在图3A和图3B所示的照射方向之下所取得的图像Sb(第二子图像Sb)。如图3C所示，第二子图像Sb也由通过6个光电二极管4p所取得的6个像素构成。但是，构成第二子图像Sb的像素Pb具有与被拍摄对象2的整体中的不同于区域A1、A2、A3、A4、A5以及A6的区域B1、B2、B3、B4、B5以及B6(参照图1A)有关的像素值。换句话说，第二子图像Sb不具有被拍摄对象2的整体中的区域A1、A2、A3、A4、A5以及A6的信息，而是替代地具有区域B1、B2、B3、B4、B5以及B6的信息。在此，例如区域B1是在被拍摄对象2中与区域A1的右侧相邻的区域(参照图1A)。
如通过比较图2A及图2B、和图3A及图3B可理解的那样，通过适当地变更照射方向，能够使透过了被拍摄对象2的不同区域的光线向光电二极管4p入射。其结果是，第一子图像Sa和第二子图像Sb能够包含与在被拍摄对象2中不同的位置对应的像素信息。
图4A和图4B表示了从与图2A和图2B所示的照射方向以及图3A和图3B所示的照射方向不同的照射方向使光线入射的状态。图4A和图4B所示的光线为相对于z方向而向y方向倾斜。
图4C示意地表示在图4A和图4B所示的照射方向之下所取得的图像Sc(第三子图像Sc)。如图4C所示，第三子图像Sc由通过6个光电二极管4p所取得的6个像素Pc构成。如图示那样，第三子图像Sc具有被拍摄对象2的整体中的图1A所示的区域C1、C2、C3、C4、C5以及C6的信息。在此，例如区域C1是在被拍摄对象2中与区域A1的上侧相邻的区域(参照图1A)。
图5A示出了从与图2A和图2B所示的照射方向、图3A和图3B所示的照射方向、以及图4A和图4B所示的照射方向不同的照射方向使光线入射的状态。图5A所示的光线为相对于z方向而向在xy面内与x轴形成45°角的方向倾斜。
图5B示意地表示在图5A所示的照射方向之下所取得的图像Sd(第四子图像Sd)。如图5B所示，第四子图像Sd由通过6个光电二极管4p所取得的6个像素Pd构成。第四子图像Sd具有被拍摄对象2的整体之中图1A所示的区域D1、D2、D3、D4、D5以及D6的信息。在此，例如区域D1是与区域C1的右侧相邻的区域(参照图1A)。如此，子图像Sa、Sb、Sc以及Sd分别包含有由被拍摄对象2的不同的部分构成的像。
图6示出了由4张子图像Sa、Sb、Sc以及Sd合成的高分辨率图像HR。如图6所示，高分辨率图像HR的像素数或像素密度是4张子图像Sa、Sb、Sc以及Sd各自的像素数或像素密度的4倍。
例如，着眼于被拍摄对象2中的图1A所示的区域A1、B1、C1以及D1的块。从至此的说明可知，图6所示的子图像Sa的像素Pa1不是具有上述的块整体的信息，而是仅具有区域A1的信息。因此，子图像Sa能够称为缺少了区域B1、C1以及D1的信息的图像。
但是，通过使用具有与被拍摄对象2中不同的位置对应的像素信息的子图像Sb、Sc以及Sd，能够如图6所示那样将子图像Sa中缺少的信息补充完整，形成具有块整体的信息的高分辨率图像HR。每个子图像的分辨率等于图像传感器4的固有分辨率，相对于此，在该例中能得到图像传感器4的固有分辨率的4倍的分辨率。高分辨率化(超析像)的程度依赖于图像传感器的开口率。在该例中，图像传感器4的开口率为25％，因此，通过从不同的四个方向的光照射，达到了最大4倍的高分辨率化。在将N设为2以上的整数时，如果图像传感器4的开口率近似地等于1/N，则能够实现最大N倍的高分辨率化。
如此，通过将被拍摄对象作为基准，从多个不同的照射方向依次照射平行光来进行被拍摄对象的拍摄，能够使从被拍摄对象“在空间上”采样到的像素信息增加。通过合成所得到的多个子图像，能够形成分辨率比多个子图像的每个子图像高的高分辨率图像。当然，照射方向并不限于参照图2A～图5B来说明的照射方向。
再者，在上述的例子中，图6所示的子图像Sa、Sb、Sc以及Sd具有被拍摄对象2中的互不相同的区域的像素信息，而不具有重叠的像素信息。但是，也可以具有在不同的子图像间重叠的像素信息。另外，在上述的例子中，经过了在被拍摄对象2中相邻的两个区域的光线均入射到同一光电二极管。但是，照射方向的设定并不限于该例。例如，也可以如图7所示那样，调整照射方向以使经过了被拍摄对象2的相邻的两个区域的光线分别入射到不同的光电二极管。
<模块>
在基于参照图1A～图6说明过的原理的高分辨率图像的形成中，对于子图像的取得，在被拍摄对象2靠近图像传感器4的拍摄面而配置的状态下执行。在本公开的实施方式中，使用具有被拍摄对象2和图像传感器4被一体化的构造的模块来进行子图像的取得。以下，参照附图，说明模块的构成的一例以及模块的制作方法的一例。
图8A示意地表示模块的剖面构造的一例。在图8A所示的模块10中，被封入剂6覆盖的被拍摄对象2配置在图像传感器4的拍摄面4A上。在图示的例子中，透明板(典型地为玻璃板)8配置在被拍摄对象2上。即，在图8A中示例的构成中，被拍摄对象2被夹持在图像传感器4和透明板8之间。当模块10具有透明板8时，操作性提高，因此是有益的。作为透明板8，例如可使用一般的载玻片。再者，在图中示意地表示各要素，各要素中的实际的大小以及形状未必与图中出现的大小以及形状一致。以下，在参照的其他附图中也是同样的。
在图8A中示例的构成中，图像传感器4固定于封装5。图8B表示从图像传感器4侧观察图8A所示的模块10时的外观的一例。如图8A和图8B所示，在封装5的与透明板8相反侧的面具有背面电极5B。该背面电极5B经由形成于封装5的未图示的布线图案与图像传感器4电连接。即，能够经由背面电极5B取出图像传感器4的输出。在本说明书中，将封装和图像传感器被一体化的构造物称为“拍摄元件”。
参照图9，说明模块10的制作方法的一例。在此，作为被拍摄对象2，示例生物组织的薄片(组织切片)。具有生物组织的薄片来作为被拍摄对象2的模块10可以用于病理诊断。
首先，如图9所示，将组织切片AO2载置于透明板8。透明板8可以是在由光学显微镜进行的试样的观察中使用的载玻片。以下，作为透明板8，示例载玻片。接着，通过将组织切片AO2连同透明板8浸渍到染色液Ss中，对组织切片AO2进行染色。接着，通过在透明板8上施予封入剂6，用封入剂6覆盖通过对组织切片AO2进行染色而得到的被拍摄对象2。封入剂6具有保护被拍摄对象2的功能。接着，将拍摄元件7配置在被拍摄对象2上以使得图像传感器4的拍摄面与被拍摄对象2相对(对置)。如此能得到模块10。
模块10按每个拍摄的对象进行制作。例如，在病理诊断的场合下，从一个样本准备多个(例如5～20张)组织切片。因而，可以制作具有由同一样本得到的组织切片来作为被拍摄对象2的多个模块10。对于这些多个模块10的每个模块，如果进行多个子图像的取得，则能够实现与多个模块10的每个模块对应的高分辨率图像的形成。
如图8A所示，模块10与在由光学显微镜进行的观察中使用的切片不同，具备取得被拍摄对象2的图像的图像传感器4。也可以将这种模块称作“电子切片”。如图8A所示，通过使用具有被拍摄对象2和拍摄元件7被一体化的构造的模块10，得到能够固定被拍摄对象2与图像传感器4之间的配置这一优点。
在使用模块10来执行被拍摄对象2的图像的取得时，经由透明板8向被拍摄对象2照射照明光。透过了被拍摄对象2的照明光入射到图像传感器4。由此，得到被拍摄对象2的图像。通过一边改变光源和被拍摄对象的相对的配置，一边依次执行拍摄，能够在照射时改变角度来取得多个不同的图像。例如，如图10A所示，在图像传感器4的正上方配置光源310。并且，如果在从图像传感器4的拍摄面4A的法线方向向被拍摄对象2照射了准直(collimate)的光CL的状态下进行拍摄，则能得到与图2C所示的子图像Sa同样的子图像。另外，如果在如图10B所示那样使模块10倾斜的状态下向被拍摄对象2照射准直的光CL来进行拍摄，则能得到与图3C所示的子图像Sb(或者图4C所示的子图像Sc)同样的子图像。如此，通过一边使相对于光源的模块10的姿势变化，一边依次执行拍摄，能够应用参照图1A～图6说明过的原理来得到高分辨率图像。
<本发明人的见解>
如参照图1A～图6进行了说明的那样，在多个子图像的取得中，从使得能得到适合于高分辨率图像的形成的子图像的适当的照射方向进行照射。但是，很难预先知道在被拍摄对象2中光线经过的区域与透射光线入射的光电二极管之间的相对的配置。因此，一般而言难以确定在多个子图像的取得中使用的多个照射方向。即使对于某一个模块能够确定多个照射方向，也如以下说明的那样，对于其他的模块，这些多个照射方向也未必适合。也就是说，当在多个模块间使照明光的照射方向共用时，有时会无法适当地形成高分辨率图像。
图11A示意地表示被拍摄对象2的配置和照射方向的关系的一例。在图11A中，同时图示了用虚线的箭头DRa表示的照射方向和用实线的箭头DRb表示的照射方向这两个照射方向。再者，如从参照图1A～图6说明的原理明确的那样，在实际的拍摄时，从由箭头DRa表示的方向进行的照明光的照射和从由箭头DRb表示的方向进行的照明光的照射不同时执行，而是依次执行。
在图11A所示的例子中，图像传感器4具有覆盖光电二极管4p的光入射面的透明层4T。被拍摄对象2在被封入剂6覆盖的状态下位于该透明层4T上。在图11A中，用箭头d1示意地表示拍摄面4A与被拍摄对象2的间隔。
如图所示，在从由箭头DRa表示的照射方向照射了被拍摄对象2时，透过了被拍摄对象2之中位于光电二极管4p的正上方的区域A1的光入射到光电二极管4p。即，此时取得与参照图2C说明过的子图像Sa同样的子图像。在从由箭头DRb表示的照射方向照射了被拍摄对象2时，透过了被拍摄对象2之中沿着图的x方向与区域A1相邻的区域B1的光入射到光电二极管4p。此时，取得与参照图3C说明过的子图像Sb同样的子图像。因此，通过使用这两个子图像，针对图的x方向实现两倍的高分辨率化(参照图1A和图6)。
图11B示意地表示在距图像传感器4的拍摄面4A更远的位置配置有被拍摄对象2的模块中的透过了被拍摄对象2的照明光与光电二极管4p之间的关系。在图11B所示的例子中，拍摄面4A与被拍摄对象2的间隔d2比图11A所示的例子中的间隔d1大。如此，在多个模块之间，有时拍摄面4A与被拍摄对象2的间隔会产生不匀。这种不匀可以认为是由于例如在制作模块时封入剂6(参照图9)进入拍摄面4A与被拍摄对象2之间而产生的。根据本发明人的研究，拍摄面4A与被拍摄对象2的间隔可能具有2～8μm左右的范围的变动。
在图11B所示的例子中，在从由箭头DRa表示的照射方向照射了被拍摄对象2时，与图11A所示的例子同样地，透过了被拍摄对象2之中区域A1的光入射到光电二极管4p。此时，取得与参照图2C说明过的子图像Sa同样的子图像。另一方面，在从由箭头DRb表示的照射方向照射了被拍摄对象2时，与参照图11A说明过的例子不同，透过了被拍摄对象2之中与区域B1不同的区域的光入射到光电二极管4p。再者，在图示的例子中，透过了区域B1的光不会入射到图像传感器4的任何光电二极管4p。换句话说，即使从由箭头DRb表示的照射方向照射被拍摄对象2，也无法取得具有被拍摄对象2中的区域B1的信息的子图像。在该例中，通过从由箭头DRb表示的照射方向的照射，无法得到用于形成高分辨率图像的子图像。因此，不能形成高分辨率图像。
图11C示意地表示被拍摄对象2的配置和照射方向的关系的另一例。在图11C所示的例子中，拍摄面4A与被拍摄对象2的间隔d3比图11A所示的例子中的间隔d1大，且比图11B所示的例子中的间隔d2小。在该例中，在从由箭头DRb表示的照射方向照射了被拍摄对象2时，透过了区域B1之中的一部分的光和透过了与区域B1不同的区域的光入射到光电二极管4p。在此时所得到的子图像中，缺少了区域B1的信息的一部分。因此，使用在从由箭头DRa表示的照射方向照射了被拍摄对象2时所得到的子图像、和在从由箭头DRb表示的照射方向照射了被拍摄对象2时所得到的子图像，也无法形成适当的高分辨率图像。
如从图11A～图11C可知，针对某模块所设定的多个照射方向，作为用于在另一模块中取得多个子图像的照射方向未必适合。也就是说，当将针对某模块所设定的多个照射方向直接应用于另一模块中的多个子图像的取得时，有时由根据这些多个照射方向取得到的多个子图像无法形成适当的高分辨率图像。再有，在多个模块间被拍摄对象2的厚度存在不匀的情况下，也有可能发生与上述同样的现象。
本发明人鉴于上述问题反复进行研究，发现了能够使实现图像传感器的超过固有分辨率的分辨率的高分辨率化技术的实用性提高的图像取得装置(数字转换器(digitizer))、图像形成系统以及图像形成方法。
在详细地说明本公开的实施方式之前，首先说明本公开的实施方式的概要。作为本公开的一种技术方案的图像取得装置具备照明系统和照射方向确定部。照明系统从以被拍摄对象为基准的多个不同的照射方向向以使得透过了被拍摄对象的照明光入射到拍摄元件的方式将被拍摄对象和拍摄元件一体化而成的模块依次照射被拍摄对象。该模块构成为由拍摄元件取得与以被拍摄对象为基准的多个不同的照射方向相应的多个图像。照射方向确定部在与多个不同的照射方向相应地由拍摄元件取得多个图像之前，基于第一预备图像与第二预备图像之间的差异来确定多个不同的照射方向。第一预备图像是在从第一照射方向用第一照明光照射被拍摄对象时由拍摄元件取得的图像。第二预备图像是在从第二照射方向用第二照明光照射被拍摄对象时由拍摄元件取得的图像。
在某技术方案中，照射方向确定部基于以使得第一预备图像与第二预备图像之间的差异变为小于预定水平的方式选择出的第一照射方向和第二照射方向来确定多个不同的照射方向。
在某技术方案中，照明系统使第一照射方向和第二照射方向中的至少一方变化。拍摄元件与第一照射方向和第二照射方向中的至少一方的变化相应地取得一个以上的第一预备图像和一个以上的第二预备图像。照射方向确定部从分别由第一预备图像和第二预备图像构成的一个以上不同的图像集合中确定第一预备图像与第二预备图像之间存在的差异比预定水平小的图像集合，基于与该图像集合对应的第一照射方向和第二照射方向来确定多个不同的照射方向。
在某技术方案中，照明系统使第一照射方向和第二照射方向中的至少一方变化。拍摄元件与第一照射方向和第二照射方向中的至少一方的变化相应地取得一个以上的第一预备图像和一个以上的第二预备图像。照射方向确定部从分别由第一预备图像和第二预备图像构成的预先设定的个数的不同的图像集合中确定第一预备图像与第二预备图像之间存在的差异为最小的图像集合，基于与该图像集合对应的第一照射方向和第二照射方向来确定多个不同的照射方向。
在某技术方案中，第一照射方向和第二照射方向处于以被拍摄对象为基准而对称的关系。
在某技术方案中，差异是由第一预备图像中的像素的辉度和第二预备图像中的像素的辉度规定的量。
在某技术方案中，照射方向确定部通过比较构成第一预备图像的多个像素的辉度和构成第二预备图像的多个像素的辉度，算出第一预备图像与第二预备图像之间存在的差异。
在某技术方案中，照射方向确定部在修正了第一预备图像和第二预备图像中的至少一方的像素的辉度后，算出第一预备图像与第二预备图像之间存在的差异。
在某技术方案中，照射方向确定部取得表示被拍摄对象相对于拍摄元件的高度的位置信息，根据位置信息来确定多个不同的照射方向。
在某技术方案中，照明系统具有构成为以能够自由拆装的方式装填模块的载物台和构成为能够变更载物台的姿势的载物台驱动机构。
作为本公开的另一种技术方案的图像形成系统包括：上述任一技术方案中所记载的图像取得装置；和图像处理装置，其通过合成与多个不同的照射方向相应地取得的多个图像，形成分辨率比多个图像的每个图像都高的被拍摄对象的高分辨率图像。
作为本公开的又一种技术方案的图像形成方法包括：取得被拍摄对象的第一预备图像的工序；取得被拍摄对象的第二预备图像的工序；确定以被拍摄对象为基准的多个不同的照射方向的工序；取得与多个不同的照射方向相应的多个图像的工序；以及形成被拍摄对象的高分辨率图像的工序。在取得第一预备图像的工序中，通过使用第一照明光从第一照射方向照射以使得透过了被拍摄对象的照明光入射到拍摄元件的方式将被拍摄对象和拍摄元件一体化而成的模块，取得第一预备图像。在取得第二预备图像的工序中，通过使用第二照明光从第二照射方向照射模块，取得第二预备图像。在确定以被拍摄对象为基准的多个不同的照射方向的工序中，基于第一预备图像与第二预备图像之间的差异来确定多个不同的照射方向。在取得与多个不同的照射方向相应的多个图像的工序中，通过从多个不同的照射方向依次使用照明光照射被拍摄对象，取得与多个不同的照射方向相应的多个图像。在形成被拍摄对象的高分辨率图像的工序中，通过合成多个图像，形成分辨率比多个图像的每个图像都高的被拍摄对象的高分辨率图像。
在某技术方案中，对于取得第一预备图像的工序，改变第一照射方向来多次执行该工序。
在某技术方案中，对于取得第二预备图像的工序，改变第二照射方向来多次执行该工序。
在某技术方案中，第一照射方向和第二照射方向存在以被拍摄对象作为基准而对称的关系。
在某技术方案中，在确定多个不同的照射方向的工序中，基于使得第一预备图像与第二预备图像之间的差异比预定水平小的第一照射方向和第二照射方向，确定多个不同的照射方向。
在某技术方案中，在确定多个不同的照射方向的工序中，基于使得第一预备图像与第二预备图像之间存在的差异变为最小的第一照射方向和第二照射方向，确定多个不同的照射方向。
在某技术方案中，差异是由第一预备图像中的像素的辉度和第二预备图像中的像素的辉度规定的量。
在某技术方案中，确定多个不同的照射方向的工序包括对构成第一预备图像的多个像素的辉度和构成第二预备图像的多个像素的辉度进行比较的工序。
某技术方案的图像形成方法为，在取得第二预备图像的工序与确定多个不同的照射方向的工序之间包括修正第二预备图像中的像素的辉度的工序。
以下，参照附图详细地说明本公开的实施方式。再有，以下说明的实施方式均表示总括的或具体的例子。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置以及连接方式、步骤、步骤的顺序等为一例，并不是意在限定本发明。另外，关于以下的实施方式的构成要素中，表示最上位概念的独立权利要求中未记载的构成要素，作为任意的构成要素进行说明。
<图像取得装置>
图12表示本公开的实施方式的图像取得装置的构成的一例的概要。图12所示的图像取得装置100a具有照明系统30。在图12中示例的构成中，照明系统30包括生成照明光的光源31、构成为以能够自由拆装的方式装填模块10的载物台32、以及构成为能够变更载物台32的姿势的载物台驱动机构33。图12示意地示出了在载物台32装填有模块10的状态。但是，省略了模块10中的封入剂6和透明板8的图示。模块10不是图像取得装置100a所必需的构成要素。
模块10具有在连接于载物台32的状态下使得透过了被拍摄对象2的照明光入射到拍摄元件7的配置。照明系统30通过例如使载物台32的姿势变化而使以被拍摄对象2为基准的照射方向变化。本说明书中的“姿势”的变化广泛地包含相对于基准面的倾斜的变化、相对于基准方位的转动角度的变化、以及相对于基准点的位置的变化等。从以被拍摄对象2为基准的多个不同的照射方向，用由光源31生成的照明光依次照射被拍摄对象2。照明系统30的构成的详细情况以及工作的例子将在后面叙述。通过改变照射方向来照射被拍摄对象2，从而与多个不同的照射方向相应地，由拍摄元件7取得不同的多个图像(子图像)。使用所得到的多个图像，能够形成高分辨率图像。
图12所示的图像取得装置100a具有照射方向确定部40a。该照射方向确定部40a确定由拍摄元件7取得多个子图像时的多个不同的照射方向。在本公开的实施方式中，在由照射方向确定部所确定的多个不同的照射方向下执行子图像的取得。换句话说，本公开的实施方式中的子图像是与由照射方向确定部所确定的多个不同的照射方向对应的多个不同的图像。如后面详细地说明的那样，在本公开的实施方式中，在多个子图像取得之前，进行一个以上的第一预备图像的取得和一个以上的第二预备图像的取得。照射方向确定部40a基于第一预备图像与第二预备图像之间的差异来确定取得多个子图像时的多个不同的照射方向。照射方向确定部40a的构成以及工作的具体例将在后面叙述。
接着，参照图13A～图14B来说明变更以被拍摄对象为基准的照明光的照射方向的方法的一例。
图13A和图13B表示图像取得装置100a的示例的外观。在图13A示例的构成中，图像取得装置100a具有包括光源31及载物台32的主体110、和以能够开闭方式连结于主体110的盖部120。通过关闭盖部120，能够在图像取得装置100a的内部形成暗室(参照图13B)。
在图示的例子中，在载物台32上连接有用于保持模块10的插座130。插座130既可以固定于载物台32，也可以构成为相对于载物台32可拆装。在此，示例出插座130构成为相对于载物台32可拆装的结构。插座130例如包括构成为可拆装模块10的下部基材132和形成有开口部Ap的上部基材134。在图13A示例的构成中，插座130通过在下部基材132与上部基材134之间夹持模块10来保持模块10。
下部基材132可以具有电连接部，该电连接部具有用于与模块10的拍摄元件7电连接的电接点。在取得被拍摄对象的图像时，模块10被载置于下部基材132，以使得拍摄元件7的拍摄面与光源31相对。此时，通过电连接部的电接点和拍摄元件7的背面电极5B(参照图8A和图8B)相接触，模块10的拍摄元件7和下部基材132的电连接部被电连接。
图13C表示图像取得装置100a的对载物台32装填插座130的装填方法的一例。在图13C示例的构成中，插座130具有从底面突出的电极136。该电极136可以是下部基材132的电连接部的一部分。另外，在图13C所示的例子中，图像取得装置100a的载物台32具有设有插口(jack)36的安装部34。如图13C所示，例如保持有模块10的状态的插座130以使得插座130的电极136被插入到插口36的方式装填到载物台32。由此，保持于插座130的模块10中的拍摄元件7与图像取得装置100a之间的电连接得以确立。载物台32可以具有在装填有保持模块10的插座130的状态下接受图像传感器4的输出的电路。在本公开的实施方式中，图像取得装置100a将插座130具有的电连接部作为媒介，取得表示被拍摄对象2的图像的信息(图像信号或者图像数据)。
再有，也可以在使用多个模块10进行多个被拍摄对象的拍摄的情况下，准备与模块10相同数目的插座130，通过更换保持有模块10的状态的插座130来变更拍摄的对象。或者，也可以通过在载物台32安装有一个插座130的状态下更换模块10来变更拍摄的对象。
如图13C所示，通过在载物台32装填插座130，能够使插座130的底面与安装部34的上表面贴紧。由此，相对于载物台32的插座130的配置被固定。因此，能够在载物台32的姿势变化的前后将载物台32和保持于插座130的模块10的配置维持为恒定。典型地，在载物台32装填有插座130的状态下，模块10的透明板8的主面和载物台32大致平行。
图14A表示变更照射方向的方法的一例。如图所示，向保持于插座130的模块10照射从光源31射出的照明光CL。照明光CL经由设置于插座130的开口部Ap入射到模块10的被拍摄对象。透过了被拍摄对象的光入射到模块10的拍摄元件7的拍摄面。
从光源31射出的光典型地是准直校准(collimate)后的光。但是，在视为向被拍摄对象入射的光实质上为平行光的情况下，从光源31射出的光也可以不是准直校准后的光。
光源31包括例如LED芯片。光源31也可以包括分别在不同的波段具有峰值的多个LED芯片。例如，光源31也可以包括射出蓝色光的LED芯片、射出红色光的LED芯片、以及射出绿色光的LED芯片。在靠近(例如100μm左右)地配置了多个发光元件的情况下，能够将这些发光元件视为点光源。
通过使用射出互不相同的颜色的光的多个发光元件，例如在每个照射方向上按时间顺序照射不同颜色的光，能够取得针对各种颜色的多个子图像。例如，也可以取得蓝色子图像集合(set)、红色子图像集合、以及绿色子图像集合。当使用所取得的子图像集合时，则能够形成彩色的高分辨率图像。在例如病理诊断的场合下，通过利用彩色的高分辨率图像，能够得到与病变的有无等有关的更多的有益信息。也可以通过使用白色LED芯片作为光源31，且在光路上配置滤色器，按时间顺序得到互不相同的颜色的照明光。另外，作为图像传感器4，也可以使用彩色拍摄用的图像传感器。但是，从抑制入射到图像传感器4的光电转换部的光量的降低的观点来看，不配置滤色器的构成是有利的。
光源31并不限于LED，也可以是白炽灯、激光元件、光纤激光器、放电管等。从光源31射出的光并不限于可见光，也可以是紫外线、红外线等。光源31具有的发光元件的数量以及配置也可以任意地设定。
如图12和图14A所示，图像取得装置100a具有载物台驱动机构33。载物台驱动机构33包括测角(gonio)机构、转动机构等，使载物台32相对于主体110的倾斜和/或与经过载物台32的中心的轴有关的转动角变化。载物台驱动机构33也可以包括能够使载物台32在基准面(典型地为水平面)内平行移动的滑动机构。
通过使载物台驱动机构33工作，能够使载物台32的姿势变化。在此，保持有模块10的状态的插座130被安装于载物台32，因此通过使载物台32的姿势变化，能够使模块10的姿势变化。例如，设为载物台32相对于基准面不倾斜时的照明光的入射方向为图像传感器的拍摄面的法线方向。在此，载物台32相对于基准面的倾斜与模块10相对于基准面的倾斜(也可以称为透明板8的倾斜)之间的关系(例如平行)在载物台32的姿势变化的前后被维持为恒定。因而，如图14B所示，当相对于基准面使载物台32倾斜角度θ时，向被拍摄对象入射的光线的方向也倾斜角度θ。再有，在图14B中，虚线N表示图像传感器的拍摄面的法线。
如此，通过与载物台32一同地使模块10的姿势变化，能够将被拍摄对象2作为基准从多个不同的照射方向依次向被拍摄对象照射照明光。因此，能够由模块10的拍摄元件7取得与将被拍摄对象2作为基准的多个不同的照射方向相应的多个图像。将被拍摄对象2作为基准的照射方向能够由例如图像传感器的拍摄面的法线N和向被拍摄对象2入射的入射光线所构成的角(图14B所示的顶角θ)、以及在拍摄面上设定的基准方位和入射光线向拍摄面的投影所构成的角(方位角)的组来表示。
再有，通过使光源31在图像取得装置100a内移动，或使配置于互不相同的部位的多个光源依次点亮，也能够从多个不同的照射方向照射被拍摄对象2。例如，也可以通过沿着连结光源31和被拍摄对象2的方向而使光源31移动来变更照射方向。也可以通过组合载物台32的姿势的变化和光源31的移动来使照射方向变化。
<图像形成方法>
图15表示本公开的实施方式的示例的图像形成方法的概要。图15中示例的图像形成方法概略地包括取得第一预备图像的工序(S2)、取得第二预备图像的工序(S4)、基于第一预备图像与第二预备图像之间的差异来确定多个照射方向的工序(S6)、取得与多个照射方向相应的多个图像的工序(S8)、通过合成多个图像来形成高分辨率图像的工序(S10)。
第一预备图像和第二预备图像分别是通过用照明光从第一照射方向和第二照射方向照射被拍摄对象和拍摄元件一体化而成的模块(例如参照图8A和图8B说明过的模块10)来取得的被拍摄对象的图像。如后面参照具体例详细地说明的那样，可以改变第一照射方向来多次执行第一预备图像的取得。另外，也可以改变第二照射方向来多次执行第二预备图像的取得。第一照射方向并不限于单一的方向，可包含多个方向。因此，第一预备图像的数量并不限于一个。同样地，第二照射方向并不限于单一的方向，可包含多个方向。第二预备图像的数量也不限于一个。第一预备图像的取得和第二预备图像的取得的顺序并不限于图15所示例的顺序。
在取得了第一预备图像和第二预备图像后，基于这些图像间的差异，确定用于形成高分辨率图像的子图像的取得时的多个照射方向。本说明书中的第一预备图像与第二预备图像之间的“差异”，广泛地包括在由某一个第一预备图像和某一个第二预备图像构成的图像集合中从该图像集合所包含的第一预备图像和第二预备图像计算的表示两个图像间的相似性的值。
对于构成某图像集合的第一预备图像和第二预备图像的各图像，着眼于包含多个像素的图像块。作为第一预备图像和第二预备图像之间的“差异”，也可以使用这些图像块之间的像素的辉度差的绝对值的和(SumofAbsoluteDifference:绝对差之和)或像素的辉度差的平方和(SumofSquaredDifference：平方差之和)。或者，在模板匹配(TemplateMatching)中使用的归一化互相关系数(NormalizedCross－Correlation)、零均值归一化互相关系数(Zero-meansNormalizedCross－Correlation)等也可以作为第一预备图像和第二预备图像之间的“差异”来使用。
如后面详细地说明那样，基于第一预备图像与第二预备图像之间的差异所确定的多个照射方向可以是与被拍摄对象相对于拍摄元件的高度相应的照射方向。在本说明书中，被拍摄对象相对于拍摄元件的高度表示从被拍摄对象的厚度方向的中心部到拍摄面为止的距离。在本公开的实施方式中，只要能够基于第一预备图像与第二预备图像之间的差异来确定被拍摄对象相对于拍摄元件的高度的大体标准，就足够了。既不需要求出从被拍摄对象的厚度方向的中心部到拍摄面为止的严格的距离，也不需要针对与拍摄元件的拍摄面平行的面内的被拍摄对象的所有部分，确定被拍摄对象相对于拍摄元件的高度。再有，取得被拍摄对象的图像时的拍摄元件的配置并不限于如拍摄面为水平这样的配置。因此，本说明书中的“高度”表示沿着拍摄元件的拍摄面的法线方向测得的长度，并不限于沿着铅直方向测得的长度。
在多个照射方向确定后，取得多个子图像。详细地说，通过从基于第一预备图像与第二预备图像之间的差异所确定的多个照射方向依次照射照明光，取得与这些多个照射方向相应的多个图像(子图像)。
在取得了与多个照射方向相应的多个图像后，通过合成多个图像，形成分辨率比多个图像的每个图像都高的被拍摄对象的高分辨率图像。为了形成高分辨率图像，可以应用参照图1A～图6说明过的原理。根据本公开的实施方式，能够切实地取得能在高分辨率图像的形成中使用的子图像。再有，上述的各工序不需要连续地执行。
<在多个照射方向的确定中使用的原理>
接着，参照图16A～图17B，说明本公开的实施方式的在多个照射方向的确定中使用的原理。如参照图15说明的那样，在本公开的实施方式中，在多个子图像取得之前执行预备的拍摄。在该预备的拍摄中，取得一个以上的第一预备图像和一个以上的第二预备图像。第一预备图像是在用来自第一照射方向的照明光进行照射时由拍摄元件所取得的图像。第二预备图像是在用来自第二照射方向的照明光进行照射时由拍摄元件所取得的图像。如以下详细地说明那样，在本公开的实施方式中的预备的拍摄中，执行使得透过了被拍摄对象2中的同一区域的光入射到互不相同的光电二极管的第一照射方向和第二照射方向的搜索。以下，为了简化，示例针对图的x方向实现两倍的高分辨率化的情况。以下说明的原理，在图像传感器的与拍摄面平行的面内实现N倍的高分辨率化的情况下也同样适用。
图16A示意地表示照明光的照射方向和被拍摄对象2中照明光透射的区域的关系的一例。在图16A中，同时图示了用实线的箭头DR1表示的第一照射方向和用实线的箭头DR2表示的第二照射方向这两个照射方向。再有，这不过是为了便于说明，并不是同时执行从第一照射方向的照射以及从第二照射方向的照射。在其他的附图中，也有时将多个照射方向表示在一个图中。
在图16A所示的例子中，被拍摄对象2的区域A1位于光电二极管4pa的正上方，被拍摄对象2的区域A2位于与光电二极管4pa相邻的光电二极管4pb的正上方。在此，着眼于被拍摄对象2中位于区域A1与区域A2之间的区域B1。
在图示的例子中，在从第一照射方向DR1照射时，透过了被拍摄对象2的区域B1的光入射到光电二极管4pa。即，在从第一照射方向DR1进行的照射下所取得的第一预备图像所包含的多个像素的辉度(像素值)中与光电二极管4pa对应的像素的辉度表示透过了被拍摄对象2的区域B1的光量。另一方面，在图示的例子中，在从第二照射方向DR2照射时，透过了区域A1的一部分的光和透过了区域B1的一部分的光入射到与光电二极管4pa相邻的光电二极管4pb。因此，此时在从第二照射方向DR2进行的照射下所取得的第二预备图像所包含的多个像素的辉度中与光电二极管4pb对应的像素的辉度和与光电二极管4pa对应的像素的辉度不同。
接着，设为使第二照射方向变化，再次进行了第二预备图像的取得(参照图16B)。在该例中，图16B所示的照射角度θ22小于图16A所示的照射角度θ21。在图16B所示的第二照射方向DR2下进行照射时，透过了被拍摄对象2的区域B1的光入射到光电二极管4pb。即，此时所得到的第二预备图像所包含的多个像素的辉度中与光电二极管4pb对应的像素的辉度和第一预备图像所包含的多个像素的辉度中与光电二极管4pa对应的像素的辉度大致相同。也就是说，可以说是：在从第一照射方向进行的照射之下透过了被拍摄对象2的某区域的光入射到某光电二极管(在此是光电二极管4pa)、且在从第二照射方向进行的照射之下透过了被拍摄对象2的该区域的光入射到与该光电二极管相邻的光电二极管(在此是光电二极管4pb)时，由这些光电二极管所得到的像素值之间的差极小。
图16C和图16D分别示意地表示在从图16B所示的第一照射方向DR1进行的照射之下所取得的第一预备图像PS1和在从图16B所示的第二照射方向DR2进行的照射之下所取得的第二预备图像PS2。图16C中的像素Ppa和图16D中的像素Ppb分别表示与光电二极管4pa以及光电二极管4pb对应的像素。
在该例中，与光电二极管4pa对应的像素Ppa的辉度和与光电二极管4pb对应的像素Ppb的辉度大致相同。但是，具有区域B1的信息的像素Ppa以及像素Ppb的位置在第一预备图像PS1和第二预备图像PS2之间仅偏移了一个像素量。从图16C和图16D可知，在该例中，第一预备图像PS1的辉度分布、和使第二预备图像PS2沿着图的左右方向位移了一个像素量的图像的辉度分布大致一致。在本说明书中，“辉度分布”是指表示各像素的亮度的像素值的空间配置。
图16E示意地表示在从图16A所示的第二照射方向DR2进行的照射之下所取得的第二预备图像PS22。图16E中的像素Ppb表示与光电二极管4pb对应的像素。从图16E和图16C的比较可知，当在从第一照射方向进行的照射之下入射到光电二极管4pa的光、和在从第二照射方向进行的照射之下入射到光电二极管4pb的光这两者不是透过了被拍摄对象2的区域B1的情况下，与光电二极管4pa对应的像素Ppa的辉度和与光电二极管4pb对应的像素Ppb的辉度没有成为大致相同。
参照图17A。图17A示意地表示照明光的照射方向和被拍摄对象2中照明光透射的区域的关系的另一例。图17A示出了如下的情况：使用被拍摄对象2位于与图16A和图16B所示的例子相比离图像传感器4的拍摄面4A更远处的模块，从图16B所示的第一照射方向DR1以及图16B所示的第二照射方向DR2进行了照射。
在图示的例子中，在从第一照射方向DR1进行了照射时，透过了被拍摄对象2的与区域B1不同的区域的光入射到光电二极管4pa。另外，在从第二照射方向DR2进行了照射时，透过了被拍摄对象2中与来自第一照射方向DR1的照明光经过的区域不同且与被拍摄对象2的区域B1不同的区域的光入射到与光电二极管4pa相邻的光电二极管4pb。因此，在该例中，与光电二极管4pa对应的像素的辉度和与光电二极管4pb对应的像素的辉度不同。如此，使得由相邻的两个光电二极管得到的像素值间的差变为极小的第一照射方向和第二照射方向的组合可能按每个模块而不同。
图17B示出使得透过了图17A所示的被拍摄对象2的区域B1的光分别入射到光电二极管4pa以及光电二极管4pb的第一照射方向DR1和第二照射方向DR2。在此，图17B所示的照射角度θ23小于图17A所示的照射角度θ22。
如图所示，当适当地调整第一照射方向和/或第二照射方向时，则能够使得来自第一照射方向的照明光和来自第二照射方向的照明光入射到被拍摄对象2中的同一区域(在此是区域B1)。另外，能够使得透过了被拍摄对象2中的同一区域的光分别入射到彼此相邻的光电二极管(在此是光电二极管4pa和光电二极管4pb)。此时，由彼此相邻的光电二极管得到的像素值之间的差极小。换言之，通过一边改变照射方向一边进行第一预备图像和第二预备图像的拍摄，求出使得由彼此相邻的光电二极管得到的像素值之间的差变为极小的第一照射方向和第二照射方向的组合，从而能够在取得子图像之前了解被拍摄对象2中光线经过的区域与透射光线入射的光电二极管之间的相对的大体配置。
如此，通过比较第一预备图像和第二预备图像，能够在取得子图像之前了解被拍摄对象2中光线经过的区域与透射光线入射的光电二极管之间的相对的大体配置。当知道了被拍摄对象2中光线经过的区域与透射光线入射的光电二极管之间的相对的大体配置时，则能够例如按几何学算出适于多个子图像的取得的多个照射方向。
如此，根据本公开的实施方式，能够在取得多个子图像之前，确定适于多个子图像的取得的多个照射方向。另外，如果按每个模块应用上述的方法，则在多个模块之间被拍摄对象相对于拍摄元件的高度存在不匀(偏差)的情况下，也能够按每个模块算出适于多个子图像的取得的多个照射方向。由此，能够实现高分辨率图像的更可靠的形成。
另外，从图16B和图17B的比较可知，使得由彼此相邻的光电二极管得到的像素值之间的差变为极小的第一照射方向和第二照射方向的组合可能根据被拍摄对象相对于拍摄元件的高度而不同。如果将其加以利用，则通过找到使得由彼此相邻的光电二极管得到的像素值之间的差变为极小的第一照射方向和第二照射方向的组合，也能够得到表示拍摄面与被拍摄对象的间隔的位置信息或表示被拍摄对象相对于拍摄元件的高度的位置信息。也可以利用这种位置信息，按每个模块确定与被拍摄对象的高度相应的适当的照射方向。再有，只要能够在用于取得多个子图像的多个照射方向的确定中求出图16B所示的照射角度θ22即可，不必算出表示被拍摄对象相对于拍摄元件的高度的位置。
<图像形成系统>
以下，参照附图说明本公开的实施方式的图像形成系统以及图像取得装置的构成的具体例。
图18表示本公开的实施方式的图像形成系统的一例。图18所示的图像形成系统500具有图像取得装置100a和图像处理装置150。在图18中，省略了照明系统30的图示。
图像处理装置150可以通过通用或专用的计算机(或者通用或专用的处理器)来实现。图像处理装置150既可以与图像取得装置100a成为一体，也可以是与图像取得装置100a不同的单独的装置。图像处理装置150不需要配置在与图像取得装置100a相同的场所。例如，也可以在与图像取得装置100a不同的场所配置图像处理装置150，经由互联网等网络将这些装置连接在一起。
在图18示例的构成中，图像处理装置150具有子图像取得部152和高分辨率图像形成部154。在图18所示的图像形成系统500中，由图像取得装置100a取得到的子图像的数据被发送到图像处理装置150。图像处理装置150的子图像取得部152取得子图像的数据。图像处理装置150的高分辨率图像形成部154使用参照图1A～图6说明过的原理来合成多个子图像，形成分辨率比子图像的每个图像都高的被拍摄对象的高分辨率图像。
图像处理装置150可以具有作为供给用于控制图像取得装置100a的各部分的工作的各种指令的控制装置的功能。在此，以图像处理装置150具备供给用于控制图像取得装置100a的各部分的工作的各种指令的控制装置156的构成为例来进行说明。当然，也可以实现具有使得图像处理装置150和控制装置156为单独的装置的构成的系统。例如，也可以经由互联网等网络连接控制装置156和图像处理装置150。也可以是如下构成：设置于与控制装置156不同的场所的图像处理装置150接收由图像取得装置100a取得到的子图像的数据，执行高分辨率图像的形成。
<照射方向确定部的构成和工作的具体例1>
在图18示例的构成中，图像取得装置100a具有照射方向确定部40a和存储器50。照射方向确定部40a的整体或一部分可以由数字信号处理器(digitalsignalprocessor(DSP))、ASIC(applicationspecificintegratedcircuit：专用集成电路)、ASSP(ApplicationSpecificStandardProduce：专用标准产品)、FPGA(FieldProgrammableGateArray：现场可编程门阵列)、微型计算机等构成。在图示的例子中，照射方向确定部40a包括第一预备图像取得部102、第二预备图像取得部104、比较对象像素值算出部106a、差异算出部108、判定部110以及照射方向算出部112。这些部件既可以分别是单独的处理器，也可以在一个处理器中包含这些两个以上部件。
存储器50的例子为RAM。存储器50并不限于RAM，可使用公知的存储装置。照射方向确定部40a也可以是其一部分具有存储器50的构成。在存储器50中存储例如表示第一照射方向DR1和第二照射方向DR2(例如参照图16A)的信息。如下的表1示出表示第一照射方向DR1的信息和表示第二照射方向DR2的信息的一例。
[表1]
ID 第一照射角度 第二照射角度
1 -5° 5°
2 -10° 10°
3 -15° 15°
4 -20° 20°
5 -25° 25°
6 -30° 30°
7 -35° 35°
在此，表示第一照射方向DR1的第一照射角度值和表示第二照射方向DR2的第二照射角度值被存储在存储器50中。表1所示的第一照射角度值和第二照射角度值例如与图14B所示的角度θ的大小相对应。在表1中，第一列所示的ID是用于识别第一照射角度和第二照射角度的组的索引(index)。第一照射角度和第二照射角度的组的数量、第一照射角度值和第二照射角度值等可以任意地设定。在表1所示的列表中，第一照射角度值和第二照射角度值分别以5°的步长来设定。另外，在表1所示的列表中，同一ID中的第二照射角度值是第一照射角度值乘以-1而得到的值。
图19表示图像形成系统500的工作的一例。在图19所示的例子中，首先在步骤S12中，判定在存储器50所存储的第一照射角度和第二照射角度的列表中是否存在与尚未被选择的ID对应的第一照射角度值和第二照射角度值。在此，由于第一照射角度值和第二照射角度值的取得尚未进行，因此处理进入步骤S14。是否存在与尚未被选择的ID对应的第一照射角度值和第二照射角度值的判定，可以由例如第一预备图像取得部102或第二预备图像取得部104来执行。
接着，在步骤S14中，由第一预备图像取得部102和第二预备图像取得部104从存储器50中分别读出表示第一照射方向DR1的信息以及表示第二照射方向DR2的信息。在此，作为第一照射角度值，读出-5°，作为第二照射角度值，读出5°。从表1可知，在该例中，第一照射方向DR1和第二照射方向DR2处于以被拍摄对象为基准而对称的关系。
接着，在步骤S16中，基于由第一预备图像取得部102进行的控制，取得第一预备图像。第一预备图像的取得，在以被拍摄对象为基准的照射方向为-5°的状态下执行。在此，在由照明系统30(例如参照图14A)的载物台驱动机构33变更了载物台32的倾斜后，用照明光照射被拍摄对象。表示此时所取得的第一预备图像的信息被暂时地存储在存储器50中。
接着，在步骤S18中，基于由第二预备图像取得部104进行的控制，取得第二预备图像。此时，变更载物台32的倾斜，以使得以被拍摄对象为基准的照射方向变为5°。然后，执行被拍摄对象的拍摄。表示所取得的第二预备图像的信息被暂时地存储在存储器50中。
接着，在步骤S20中，由比较对象像素值取得部106a取得比较对象像素值。在此，进行使得透过了被拍摄对象2中位于彼此相邻的两个光电二极管的正上方的两个区域之间的区域的光入射到这些光电二极管的第一照射方向和第二照射方向的搜索。因而，在进行第一预备图像中的像素的辉度和第二预备图像中的像素的辉度的比较的情况下，不是比较在这些预备图像内处于相同位置的像素彼此的辉度，而是比较处于某位置的像素的辉度和从该位置偏移了一个像素量的像素的辉度(参照图16C和图16D)。在此，说明对与光电二极管4pa对应的像素Ppa的辉度和与光电二极管4pb对应的像素Ppb的辉度进行比较的例子。也就是说，在此，比较对象像素值取得部106a取得与光电二极管4pa相邻的光电二极管4pb所对应的像素Ppb的辉度。
接着，在步骤S22中，由差异算出部108算出第一预备图像与第二预备图像之间的差异。例如，作为第一预备图像与第二预备图像之间的差异，算出第一预备图像中的像素的辉度与第二预备图像中的像素的辉度之差的绝对值。在此，为了简化，说明算出与光电二极管4pa对应的像素Ppa的辉度、和由比较对象像素值取得部106a所取得到的与光电二极管4pb对应的像素Ppb的辉度之差的绝对值的例子。当然，也可以从第一预备图像和第二预备图像中分别选择两个以上的像素，并进行像素的辉度的比较。例如，也可以针对由第一预备图像中的一个像素和与该像素对应的第二预备图像中的一个像素构成的多个像素的组，分别算出像素间的辉度之差的绝对值，将这些值的平均值用作第一预备图像与第二预备图像之间的差异。
接着，在步骤S24中，由判定部110判定在步骤S22中所算出的差异是否为预定水平以上。在第一预备图像与第二预备图像之间的差异小于预先设定的预定水平的情况下，能够判断为在从第一照射方向进行的照射之下透过了被拍摄对象2的区域B1的光入射到光电二极管4pa、且在从第二照射方向进行的照射之下透过了被拍摄对象2的区域B1的光入射到光电二极管4pb。如果知道使得第一预备图像与第二预备图像之间的差异小于预定水平的第一照射方向和第二照射方向的组合，则能够知道被拍摄对象2中光线经过的区域与透射光线入射的光电二极管之间的相对的大体配置。
用于判定的水平可以适当地设定。例如，也可以使用被拍摄对象相对于拍摄元件的高度已知的模块来确定用于判定的水平。当使用被拍摄对象相对于拍摄元件的高度已知的模块时，则能够求出在从第一照射方向进行的照射之下透过了被拍摄对象2的区域B1的光、和在从第二照射方向进行的照射之下透过了被拍摄对象2的区域B1的光分别入射到彼此相邻的光电二极管时的第一预备图像与第二预备图像之间的差异的大小。也可以将该差异的大小作为用于判定的水平来利用。
在判定为第一预备图像与第二预备图像之间的差异小于预定水平的情况下，处理进入步骤S26。另一方面，在判定为第一预备图像与第二预备图像之间的差异为预定水平以上的情况下，处理返回到步骤S12。
当处理返回到步骤S12时，再次执行以下判定：在存储器50所存储的第一照射角度和第二照射角度的列表中是否存在与尚未被选择的ID对应的第一照射角度值和第二照射角度值。在此，由于表1所示的ID为2～7的第一照射角度值和第二照射角度值的取得尚未进行，因此处理进入步骤S14。然后，在步骤S14中，分别从存储器50中读出表示第一照射方向DR1的信息以及表示第二照射方向DR2的信息。在该例中，读出ID为2的第一照射角度值以及第二照射角度值。在取得第一照射角度值和第二照射角度值后，再次执行上述的步骤S16～步骤S24。在步骤S16中，在以被拍摄对象为基准的照射方向被照明系统30变更为-10°的状态下，执行第一预备图像的取得。另外，在步骤S18中，在以被拍摄对象为基准的照射方向被照明系统30变更为10°的状态下，执行第二预备图像的取得。当在步骤S24中判定为重新取得到的第一预备图像与第二预备图像之间的差异为预定水平以上时，处理返回到步骤S12，反复进行步骤S12～S24的处理。在列表中所包含的第一照射角度和第二照射角度之中不存在与尚未被选择的ID对应的第一照射角度以及第二照射角度的情况下，不再进行第一照射角度值以及第二照射角度值的取得，处理结束。在该情况下，无法确定适于子图像的取得的多个照射方向，因此例如对图像取得装置100a的使用者执行错误的通知、催促列表的更新的信息的显示等。
在步骤S26中，基于使得第一预备图像与第二预备图像之间的差异小于预定水平的第一照射方向和第二照射方向，由照射方向算出部112算出在子图像的取得中使用的多个照射方向。表示所算出的多个照射方向的信息被保存在存储器50中，将在后述的子图像取得的步骤中被使用。多个照射方向可以使用表示被拍摄对象相对于拍摄元件的高度的位置信息、光电二极管的排列节距等来算出。由此，确定多个照射方向。确定了多个照射方向的状态是指通过例如表示多个照射方向的信息(例如多个照射角度的值)被保存到存储器等中而能够指定多个照射方向的状态。再有，在子图像的取得中使用的多个照射方向并不限于从在第一预备图像的取得中使用的第一照射方向和在第二预备图像的取得中使用的第二照射方向中选择的照射方向，可以是与这些照射方向不同的方向。
接着，在步骤S28中，取得与由照射方向算出部112所算出的多个照射方向相应的多个子图像(参照图2A～图5B)。接着，在步骤S30中，使用所取得的多个子图像，执行被拍摄对象的高分辨率图像的形成(参照图6)。
在图19所示的例子中，由拍摄元件根据第一照射方向和第二照射方向的变化来取得一个以上的第一预备图像和一个以上的第二预备图像。由此，能够构成分别具有第一预备图像和第二预备图像的一个以上的不同的图像集合。照射方向确定部40a从这些的图像集合中确定第一预备图像与第二预备图像之间的差异小于预定水平的图像集合。另外，照射方向确定部40a基于与该图像集合对应的第一照射方向和第二照射方向来确定多个不同的照射方向。
根据本公开的实施方式，能够与各个模块相应地确定适于子图像的取得的多个照射方向。通过在与各个模块相应的适当的照射方向之下取得子图像，能够实现适当的高分辨率图像的形成。因此，根据本公开的实施方式，实现图像传感器的超过固有分辨率的分辨率的高分辨率化技术的实用性提高。
再有，在图19所示的例子中，当找到使得第一预备图像与第二预备图像之间的差异小于预定水平的第一照射方向和第二照射方向后，中止第一照射方向和第二照射方向的搜索。但是，也可以确定使得第一预备图像与第二预备图像之间的差异变为小于预定水平的多个第一照射方向以及第二照射方向的组，利用多个第一照射方向以及第二照射方向来确定多个不同的照射方向。
<照射方向确定部的构成和工作的具体例2>
图20表示本公开的实施方式的图像形成系统的另一例。图20所示的图像取得装置100b具有的照射方向确定部40b与照射方向确定部40a(参照图18)的不同点是，照射方向确定部40b具有辉度标准化部105b和比较对象图像生成部106b，来取代比较对象像素值算出部106a。
图21表示图像形成系统500的工作的另一例。在以下说明的例子中，进行第一预备图像的辉度分布和第二预备图像的辉度分布之间的比较。换句话说，通过对构成第一预备图像的多个像素的辉度和构成第二预备图像的多个像素的辉度进行比较，确定在子图像的取得中使用的多个不同的照射方向。
在以下说明的例子中，第一预备图像的取得的次数是一次。而对于第二预备图像的取得，改变第二照射方向来多次执行。因此，在此，在存储器50中存储有表示第二照射方向DR2的信息。下列的表2示出表示第二照射方向DR2的信息的一例。
[表2]
ID 第二照射角度
1 5°
2 10°
3 15°
4 20°
5 25°
6 30°
7 35°
首先，在步骤S16中取得第一预备图像。在此，第一预备图像的取得是在以被拍摄对象为基准的照射方向为0°的状态下执行。表示此时所取得的第一预备图像的信息被暂时存储在存储器50中。
接着，在步骤S32中，判定在存储器50所存储的第二照射角度的列表中是否存在与尚未被选择的ID对应的第二照射角度值。在此，由于第二照射角度值的取得尚未进行，因此处理进入步骤S34。
接着，在步骤S34中，由第二预备图像取得部104从存储器50中读出表示第二照射方向DR2的信息。在此，作为第二照射角度的值，读出5°。
接着，在步骤S18中，取得第二预备图像。此时，在以被拍摄对象为基准的照射方向为5°的状态下，执行第二预备图像的取得。表示所取得的第二预备图像的信息被暂时地存储在存储器50中。
接着，在步骤S36中，由辉度标准化部105b对所取得的第二预备图像实施辉度标准化。在本说明书中，“辉度标准化”意味着如下处理：使各像素的辉度以常数倍进行加倍，以使得辉度标准化的对象的图像所包含的多个像素的辉度之和变为与成为基准的图像所包含的多个像素的辉度之和相等。
在此说明的例子中，相对于第一照射方向DR1与拍摄元件的拍摄面的法线方向平行，从表2可知，第二照射方向DR2相对于拍摄元件的拍摄面的法线方向而倾斜。即，与从第一照射方向DR1进行了照射时相比，从第二照射方向DR2进行了照射时，透过了被拍摄对象的光前进至到达拍摄面为止的距离要大。因而，有时由于模块内的吸收、散射等的影响，与第一预备图像相比，第二预备图像会整体地变暗。当第一预备图像整体的辉度的大小与第二预备图像整体的辉度的大小之间的差较大时，有可能会导致无法准确地评价第一预备图像与第二预备图像之间的差异的大小。
在图21所示的例子中，对第二预备图像进行辉度标准化。由此，第二预备图像中的各像素的辉度能够被修正为适当的大小。因此，能够进行第一预备图像与第二预备图像之间的差异的大小的更准确的评价。
接着，在步骤S38中，由比较对象图像生成部106b生成使第二预备图像位移了预定的像素数后的图像(以下，有时仅称为“位移图像”)。在该例中，生成使辉度标准化后的第二预备图像位移了一个像素量后的图像。
参照图22。图22示意地表示具体例2中的第一照射方向DR1和第二照射方向DR2的一例。在图22所示的例子中，在从第一照射方向DR1进行了照射时，透过了被拍摄对象2中位于光电二极管4pa的正上方的区域A1的光入射到光电二极管4pa。另外，在从第二照射方向DR2进行了照射时，透过了被拍摄对象2中的区域A1的光入射到与光电二极管4pa相邻的光电二极管4pb。因此，在从如图22所示的第一照射方向DR1以及第二照射方向DR2的照射之下，能得到与图16C所示的第一预备图像PS1同样的第一预备图像、和与图16D所示的第二预备图像PS2同样的第二预备图像。相对于此，在使得透过了被拍摄对象2中的区域A1以外的区域的光入射到光电二极管4pb的第二照射方向DR2之下，能得到与图16E所示的第二预备图像PS22同样的第二预备图像。
图23A示意地表示由在图22所示的从第二照射方向DR2进行的照射之下所取得的第二预备图像而生成的位移图像PS32。图23B示意地表示由在从与图22所示的第二照射方向DR2不同的照射方向进行的照射之下所取得的第二预备图像而生成的位移图像PS42。从图23A和图16C的比较可知，当在从第一照射方向进行的照射之下透过了被拍摄对象2的某区域的光入射到某光电二极管、且在从第二照射方向进行的照射之下透过了被拍摄对象2的该区域的光入射到与该光电二极管相邻的光电二极管时，第一预备图像的辉度分布和由第二预备图像生成的位移图像的辉度分布大致一致。相对于此，从图23B和图16C的比较可知，由在其他的第二照射方向之下所取得的第二预备图像而生成的位移图像的辉度分布与第一预备图像的辉度分布不同。因此，可以说当在从第一照射方向进行的照射之下透过了被拍摄对象2的某区域的光入射到某光电二极管入射、且在从第二照射方向进行的照射之下透过了被拍摄对象2的该区域的光入射到与该光电二极管相邻的光电二极管时，第一预备图像与第二预备图像之间的差异极小。因此，与参照图16A～图17B说明过的例子同样地，通过求出使得第一预备图像与第二预备图像之间的差变为极小的第一照射方向和第二照射方向的组合，能够在取得子图像之前了解被拍摄对象2中光线经过的区域与透射光线入射的光电二极管之间的相对的大体配置。
接着，在步骤S22(图21)中，算出第一预备图像与第二预备图像之间的差异。例如，针对各像素算出第一预备图像中的像素的辉度与由第二预备图像所生成的位移图像中的像素的辉度之差的绝对值，将这些绝对值的和作为第一预备图像与第二预备图像之间的差异。或者，也可以将通过针对各像素算出第一预备图像中的像素的辉度与由第二预备图像所生成的位移图像中的像素的辉度之差的平方，并将这些合计而求出的方差作为第一预备图像与第二预备图像之间的差异。
接着，在步骤S24中，判定在步骤S22中所算出的差异是否为预定水平以上。在第一预备图像与第二预备图像之间的差异小于预定水平的情况下，如参照图22～图23B说明过的那样，能够判断为在从第一照射方向进行的照射之下透过了被拍摄对象2的某区域的光入射到某光电二极管、且在从第二照射方向进行的照射之下透过了被拍摄对象2的该区域的光入射到与该光电二极管相邻的光电二极管。因此，从此时的第一照射方向和第二照射方向的组合，能够了解被拍摄对象2中光线经过的区域与透射光线入射的光电二极管之间的相对的大体配置。如此，也可以通过生成使第一预备图像和第二预备图像中的任一方位移了预定的像素数后的图像，并进行该图像和另一图像的比较，来比较第一预备图像和第二预备图像。
在判定为第一预备图像与第二预备图像之间的差异小于预定水平的情况下，处理进入步骤S26。以后的处理与参照图19说明过的处理是同样的，因此省略说明。另一方面，在判定为第一预备图像与第二预备图像之间的差异为预定水平以上的情况下，处理返回到步骤S32。然后，反复进行上述的步骤S34～S24，直到找到使得第一预备图像与第二预备图像之间的差异变为小于预定水平的第一照射方向和第二照射方向的组合为止。在即使对表2所示的列表中所包含的全部的第二照射角度进行评价，也没有找到使得第一预备图像与第二预备图像之间的差异变为小于预定水平的第一照射方向和第二照射方向的组合的情况下，结束处理。
在上述的具体例2中，第一预备图像的取得为一次，进行一个第一预备图像与相应于多个第二照射方向所取得的第二预备图像之间的比较。因此，与针对第一照射方向和第二照射方向这两者进行多次拍摄的情况相比，能够缩短多个照射方向的确定所需要的处理的时间。再有，也可以在进行了多个第二预备图像的取得后取得第一预备图像。
另外，在上述的具体例2中，在第二预备图像的辉度标准化之后，算出第一预备图像与第二预备图像之间存在的差异。由此，能够进行第一预备图像与第二预备图像之间的差异的大小的更准确的评价。实施辉度标准化的对象能够根据第一照射方向和第二照射方向的设定而适当地设定。辉度标准化也可以对第一预备图像和第二预备图像中的任一方或两方执行。辉度标准化只要在辉度标准化的对象的取得和多个不同的照射方向的确定之间执行即可。
<照射方向确定部的构成和工作的具体例3>
图24表示本公开的实施方式的图像形成系统的又一例。图24所示的图像取得装置100c具有的照射方向确定部40c与照射方向确定部40b(参照图20)的不同点是，照射方向确定40c不具有辉度标准化部105b，而具有连接于比较对象图像生成部106c的位移量保持部107c。位移量保持部107c能够通过公知的存储元件来实现。位移量保持部107c也可以是存储器50的一部分。
在以下说明的照射方向确定部的工作的例子中，第一预备图像的取得和第二预备图像的取得各进行一次。下列的表3表示存储在存储器50中的表示第一照射方向DR1的信息和表示第二照射方向DR2的信息的一例。在该例中，第一照射方向DR1和第二照射方向DR2处于以被拍摄对象为基准而对称的关系。
[表3]
ID 第一照射角度 第二照射角度
1 -30° 30°
在上述的具体例2中，通过生成使第一预备图像和第二预备图像中的任一方位移了一个像素量后的位移图像，并进行该位移图像和另一个图像的比较，由此对第一预备图像和第二预备图像进行比较。但是，在位移图像生成中，表示使所取得的图像位移了几个像素量的位移量并不限于一个。如以下说明的那样，也可以使用第一预备图像和第二预备图像之中的任一方，生成位移量不同的多个位移图像，并进行这些位移图像与另一图像之间的比较。
图25示意地表示具体例3中的第一照射方向DR1和第二照射方向DR2的一例。在图25所示的例子中，在从第一照射方向DR1进行的照射之下，透过了被拍摄对象2中位于光电二极管4pa的正上方的区域A1的光入射到与光电二极管4pa的左侧相邻的光电二极管4pc。另外，在从第二照射方向DR2进行的照射之下，透过了被拍摄对象2中的区域A1的光入射到与光电二极管4pa的右侧相邻的光电二极管4pb。因此，在如图25所示的第一照射方向DR1和第二照射方向DR2之下，第一预备图像的辉度分布、和使第二预备图像沿着图的左右方向位移了两个像素量后的图像的辉度分布大致一致。即，有可能在将位移量设定为一以外的值时，存在第一预备图像与第二预备图像之间的差异成为极小的情况。通过固定第1照射方向DR1和第2照射方向DR2，求出使得第一预备图像与第二预备图像之间的差成为极小的位移量，能够在取得子图像之前了解被拍摄对象2中光线经过的区域与透射光线入射的光电二极管之间的相对的大体配置。
图26表示图像形成系统500的工作的又一例。首先，在步骤S14中，分别从存储器50中读出表示第一照射方向DR1的信息和表示第二照射方向DR2的信息。在此，作为第一照射角度的值，读出-30°，作为第二照射角度的值，读出30°。
接着，在步骤S16中，取得第一预备图像。在此，第一预备图像的取得是在以被拍摄对象为基准的照射方向为-30°的状态下执行。表示此时所取得的第一预备图像的信息被暂时存储在存储器50中。
接着，在步骤S18中，取得第二预备图像。此时，在以被拍摄对象为基准的照射方向为30°的状态下，执行第二预备图像的取得。表示所取得的第二预备图像的信息被暂时地存储在存储器50中。
接着，在步骤S40中，由比较对象图像生成部106c从位移量保持部107c中读出位移量。在此，位移量的初始值设定为1。
接着，在步骤S38中，由比较对象图像生成部106c生成使第一预备图像和第二预备图像中的任一方位移了一个像素量的位移图像。在此，说明由第二预备图像生成位移图像的例子。
接着，在步骤S22中，算出第一预备图像和位移图像之间的差异。
接着，在步骤S24中，判定所算出的差异是否为预定水平以上。在判定为第一预备图像和位移图像之间的差异小于预定水平的情况下，处理进入步骤S26。步骤S26以后的处理与参照图19说明过的处理是同样的。
在判定为第一预备图像与第二预备图像之间的差异为预定水平以上的情况下，处理进入到步骤S42。在步骤S42中，由比较对象图像生成部106c更新位移量(典型为增量)。例如，位移量增加1，位移量被设定为2。
在步骤S42后，处理返回到步骤S38。在步骤S38中，生成使第二预备图像位移了两个像素量的位移图像。然后，在步骤S22中，算出新生成的位移图像与第一预备图像之间的差异。进而，在步骤S24中，判定所算出的差异是否为预定水平以上。即，在该例中，改变位移量，执行第一预备图像和位移图像之间的差异的评价，直到使得第一预备图像和位移图像之间的差异变为极小的位移量被找到为止。再有，位移量的更新的次数可以适当地设定。另外，位移量的初始值并不限于1，例如也可以是0。
在上述的具体例3中，第一预备图像的取得和第二预备图像的取得都是一次。因此，能够进一步缩短多个照射方向的确定所需要的处理的时间。也可以在进行了第二预备图像取得之后取得第一预备图像。
<照射方向确定部的构成和工作的具体例4>
图27表示本公开的实施方式的图像形成系统的又一例。图27所示的图像取得装置100d具有的照射方向确定部40d与照射方向确定部40b(参照图20)的不同点是，照射方向确定部40d具有差异保持部111d来取代判定部110。差异保持部111d能够通过公知的存储元件来实现。差异保持部111d也可以是存储器50的一部分。
在上述的具体例1～3中，当判定为第一预备图像与第二预备图像之间的差异小于预定水平时，不再执行差异的算出。在以下说明的例子中，进行一个以上的第一预备图像的取得和一个以上的第二预备图像的取得，准备分别由第一预备图像和第二预备图像构成的预先设定的个数的不同的图像集合。然后，算出各图像集合中的第一预备图像与第二预备图像之间存在的差异，在这些的图像集合间进行差异的评价。在以下说明的例子中，从多个图像集合中确定差异为最小的图像集合。根据与参照图22～图23B说明过的理由同样的理由，可以认为是使得第一预备图像与第二预备图像之间存在的差异尽量小的第一照射方向和第二照射方向的组合适合于在子图像的取得中使用的多个照射方向的算出。因此，在以下说明的例子中，在确定了差异为最小的图像集合之后，基于与该图像集合对应的第一照射方向和第二照射方向，确定在子图像的取得中使用的多个不同的照射方向。
图28表示图像形成系统500的工作的又一例。在此，在存储器50中存储有与上述的表2同样的表示第二照射方向DR2的信息的列表。
首先，在步骤S16中，取得第一预备图像。取得第一预备图像时，以被拍摄对象为基准的照射方向例如为0°。表示此时所取得的第一预备图像的信息被暂时存储在存储器50中。
接着，在步骤S32中，判定在存储器50所存储的第二照射角度的列表中是否存在尚未被选择的第二照射角度值。在此，由于第二照射角度值的取得尚未进行，因此处理进入步骤S34。
图28所示的步骤S34～步骤S38为止的处理与参照图21说明过的具体例2中的处理是同样的，因此省略说明。在步骤S38执行后，在步骤S22中算出第一预备图像与第二预备图像之间的差异。在此所算出的差异是与由在第一照射角度为0°之下所取得的第一预备图像和在第二照射角度为5°之下所取得的第二预备图像构成的图像集合对应的差异。在该例中，在算出差异后，表示所算出的差异的信息被暂时存储在差异保持部111d中。
然后，处理返回到步骤S32，反复进行步骤S34～步骤S22的处理。即，针对由在第一照射角度为0°之下所取得的第一预备图像和改变第二照射角度而取得的第二预备图像构成的多个图像集合的全部，算出第一预备图像与第二预备图像之间的差异。再有，可以将表2的第一列所示的ID作为用于识别各图像集合的索引来加以利用。当针对存储于存储器50中的列表所包含的全部ID，第一预备图像与第二预备图像之间的差异的算出结束后，处理进入步骤S44。
在步骤S44中，由照射方向算出部112d从存储于差异保持部111d中的差异的数据中确定最小的差异。换句话说，在步骤S44中，照射方向算出部112d确定给予最小的差异的图像集合。
接着，在步骤S26中，由照射方向算出部112d基于与给予最小的差异的图像集合对应的第一照射方向以及第二照射方向，算出在子图像的取得中使用的多个不同的照射方向。以后的处理与参照图19说明过的处理是同样的。如此，也可以从多个图像集合中抽出第一预备图像与第二预备图像之间存在的差异为最小的图像集合，基于与该图像集合对应的第一照射方向和第二照射方向，确定在子图像的取得中使用的多个不同的照射方向。
<照射方向确定部的构成和工作的具体例5>
图29表示本公开的实施方式的图像形成系统的又一例。图29所示的图像取得装置100e具有的照射方向确定部40e与照射方向确定部40b(参照图20)的不同点是，照射方向确定部40e还具有预备图像保持部101e。预备图像保持部101e可以通过公知的存储元件来实现。预备图像保持部101e也可以是存储器50的一部分。
例如，在上述的具体例2中，每次算出第一预备图像与第二预备图像之间存在的差异时，改变第二照射角度来执行第二预备图像的取得。换句话说，对于按照各ID所取得的第二预备图像的每一个，在第一预备图像与第二预备图像之间存在的差异的算出中仅使用一次。但是，如以下说明的那样，也可以将与互不相同的照射角度相应地取得的第一预备图像和/或第二预备图像在互不相同的ID间使用两次以上。
图30表示图像形成系统500的工作的又一例。在图30所示的例子中，首先在步骤S12中，判定在存储器50所存储的第一照射角度和第二照射角度的列表中是否存在与尚未被选择的ID对应的第一照射角度值和第二照射角度值。在此，由于第一照射角度值和第二照射角度值的取得尚未进行，因此处理进入步骤S14。如下的表4表示存储在存储器50中的表示第一照射方向DR1的信息和表示第二照射方向DR2的信息的一例。在该例中，一部分的照射角度值在多个ID间共用。另外，一部分的照射角度值在第一照射角度与第二照射角度之间共用。
[表4]
ID 第一照射角度 第二照射角度
1 0° 5°
2 5° 15°
3 0° 15°
4 -20° 0°
5 -20° 5°
6 -20° 15°
接着，在步骤S14中，分别从存储器50中读出表示第一照射方向DR1的信息和表示第二照射方向DR2的信息。在此，作为第一照射角度值，读出0°，作为第二照射角度值，读出5°。
接着，在步骤S46中，由第一预备图像取得部102判定在预备图像保持部101e中是否保存有在照射角度为0°之下所取得的预备图像(第一预备图像或第二预备图像)的数据。在该时点，第一预备图像的取得和第二预备图像的取得都尚未进行。因而，处理进入步骤S16。在步骤S16中，在第一照射角度为0°之下取得第一预备图像。表示此时所取得的第一预备图像的信息被暂时存储在预备图像保持部101e中。另一方面，在预备图像保持部101e中已经存储有在照射角度为0°之下所取得的预备图像的数据的情况下，步骤S16中的第一预备图像的取得的处理被跳过。
接着，在步骤S48中，由第二预备图像取得部104判定在预备图像保持部101e中是否保存有在照射角度为5°之下所取得的预备图像的数据。在该时点，在预备图像保持部101e中仅保存有在照射角度为0°之下所取得的第一预备图像的数据。因而，处理进入步骤S18。在步骤S18中，在第二照射角度为5°之下取得第二预备图像。表示此时所取得的第二预备图像的信息被暂时存储在预备图像保持部101e中。另一方面，在预备图像保持部101e中已经存储有在照射角度为5°之下所取得的预备图像的数据的情况下，步骤S18中的第二预备图像的取得的处理被跳过。
接着，在步骤S38中，由第二预备图像生成位移图像。然后，在步骤S22中，算出第一预备图像与第二预备图像之间的差异。根据需要，在算出差异之前，由辉度标准化部105b进行辉度标准化。在此，利用保存在预备图像保持部101e中的第一预备图像的数据和在步骤S38中所生成的位移图像的数据，算出第一预备图像与第二预备图像之间的差异。
接着，在步骤S24中，判定在步骤S22中所算出的差异是否为预定水平以上。在判定为第一预备图像与第二预备图像之间的差异小于预定水平的情况下，处理进入步骤S26。另一方面，在判定为第一预备图像与第二预备图像之间的差异为预定水平以上的情况下，处理返回到步骤S12。
当处理返回到步骤S12时，再次执行以下判定：是否存在与尚未被选择的ID对应的第一照射角度值和第二照射角度值。在此，由于表4所示的ID为2～6的第一照射角度值和第二照射角度值的取得尚未进行，因此处理进入步骤S14。
接着，在步骤S14中，读出ID为2的第一照射角度值以及第二照射角度值。即，在此，作为第一照射角度值，读出5°，作为第二照射角度值，读出15°。
接着，在步骤S46中，判定在预备图像保持101e中是否保存有在照射角度为5°之下所取得的预备图像的数据。在该例中，在照射角度为5°之下所取得的第二预备图像的数据被保存在预备图像保持部101e中。因此，在此步骤S16被跳过，不执行第一预备图像的取得。
接着，在步骤S48中，判定在预备图像保持101e中是否保存有在照射角度为15°之下所取得的预备图像的数据。在该例中，在预备图像保持部101e中既未保存有在照射角度为15°之下所取得的第一预备图像的数据、也未保存有在照射角度为15°之下所取得的第二预备图像的数据。因此，处理进入步骤S18。然后，在步骤S18中，在第二照射角度为15°之下取得第二预备图像。表示此时所取得的第二预备图像的信息被暂时存储在预备图像保持部101e中。
接着，在步骤S38中，由在第二照射角度为15°之下所取得的第二预备图像来生成位移图像。
接着，在步骤S22中，算出第一预备图像与第二预备图像之间的差异。此时，保存于预备图像保持部101e中的在照射角度为5°之下所取得的第二预备图像的数据作为在照射角度为5°之下所取得的第一预备图像的数据来使用。即，在此，利用保存于预备图像保持部101e中的在照射角度为5°之下所取得的第二预备图像的数据、和由在第二照射角度为15°之下所取得的第二预备图像所生成的位移图像，算出差异。如此，在图30所示的例子中，在第一照射角度和第二照射角度的列表中存在多个同一角度的值的情况下，利用已经取得的预备图像的数据，算出第一预备图像与第二预备图像之间的差异。由此，与按照不同的ID进行第一预备图像和第二预备图像的拍摄的情况相比，能够降低拍摄的次数。
接着，在步骤S24中，判定在步骤S22中所算出的差异是否为预定水平以上。在判定为第一预备图像与第二预备图像之间的差异为预定水平以上的情况下，处理返回到步骤S12。
当处理返回到步骤S12时，再次执行是否存在与尚未被选择的ID对应的第一照射角度值以及第二照射角度值的判定，处理进入步骤S14。
接着，在步骤S14中，读出ID为3的第一照射角度的值以及第二照射角度的值。即，在此，作为第一照射角度的值，读出0°，作为第二照射角度的值，读出15°。
接着，在步骤S46中，判定在预备图像保持101e中是否保存有在照射角度为0°之下所取得的预备图像的数据。在该例中，在照射角度为0°之下所取得的第一预备图像的数据被保存在预备图像保持部101e中。因此，在此步骤S16被跳过。
另外，在步骤S48中，判定在预备图像保持101e中是否保存有在照射角度为15°之下所取得的预备图像的数据。在该例中，在照射角度为15°之下所取得的第二预备图像的数据被保存在预备图像保持部101e中。因此，在此步骤S18也被跳过。
然后，在步骤S38中，由保存于预备图像保持部101e中的在第二照射角度为15°之下所取得的第二预备图像来生成位移图像，在步骤S22中，算出第一预备图像与第二预备图像之间的差异。此时，利用保存于预备图像保持部101e中的在照射角度为0°之下所取得的第一预备图像的数据和在步骤S38中所生成的位移图像，算出差异。
如此，在利用已经取得的预备图像的数据来算出第一预备图像与第二预备图像之间的差异的情况下，按不同的照射方向，各进行一次拍摄即可。由此，能够缩短拍摄所需要的时间，缩短多个照射方向的确定所需要的处理的时间。再有，在存储器50具有预备图像保持部101e的功能的情况下，通过与图20所示的照射方向确定部40b同样的构成，也能够实现参照图30说明过的工作。
<在多个照射方向的确定中使用的原理的另一例>
接着，参照图31～图33，说明可应用于本公开的实施方式中的多个照射方向的确定的原理的另一例。在以下说明的例子中，概括来说，通过从拍摄元件的拍摄面的法线方向照射被拍摄对象来取得第一预备图像，并且由所取得的第一预备图像来生成位移图像。另外，一边改变照射方向(第二照射方向)一边拍摄，取得多个第二预备图像。由此，能够构成与多个第二照射方向对应的多个图像集合。然后，针对各图像集合，求出由第一预备图像与第二预备图像之间的相似度以及位移图像与第二预备图像之间的相似度所计算的评价函数的值。基于针对各图像集合所求出的评价函数的值，确定在子图像的取得中使用的多个照射方向。以下，为了简化，示例针对x方向实现两倍的高分辨率化的情况。
图31示意地表示从图像传感器4的拍摄面4A的法线方向照射了被拍摄对象的状态。在图31所示的状态下，透过了被拍摄对象2中的区域A1的光线入射到光电二极管4pa，透过了被拍摄对象2中的区域A2的光线入射到沿着x方向与光电二极管4pa相邻的光电二极管4pb。在图31所示的照射方向DRa之下由光电二极管4pa取得的像素的辉度表示透过了被拍摄对象2的区域A1的光量。另外，在图31所示的照射方向DRa之下由光电二极管4pb取得的像素的辉度表示透过了被拍摄对象2的区域A2的光量。此时，当将图像传感器4的拍摄面4A的法线N(在图31中未图示)和向被拍摄对象2的入射光线所形成的角设为“「”时，「＝0。以下，将在图31所示的照射方向DRa之下由光电二极管4pa取得的像素的辉度和由光电二极管4pb取得的像素的辉度分别记载为Xa0和Xb0。
图32示意地表示在从图31所示的状态使拍摄面4A的法线N和向被拍摄对象2的入射光线所形成的角度「增大时的照明光的照射方向与被拍摄对象2中的照明光透射的区域的关系的一例。在图32所示的照射方向DRb之下，透过了被拍摄对象2中的区域A1的一部分和位于区域A1与区域A2之间的区域B1的一部分的光线入射到光电二极管4pa。在此，如果将拍摄面4A的法线N和向被拍摄对象2的入射光线所形成的角的大小设为「b(「b＞0)，将由光电二极管4pa取得的像素的辉度设为Xa「b，则辉度Xa「b表示透过了被拍摄对象2中由图32中粗线的矩形表示的区域Kb的光量。区域Kb包含区域A1的一部分，不包含区域A2。因而，辉度Xa「b一般而言表示与上述的辉度Xb0相比更接近于辉度Xa0的值。再有，在此设为对在「≠0的状态下进行拍摄时所得到的辉度的值实施了辉度标准化。在以下的说明中也是同样的。
图33示意地表示在从图32所示的状态使角度「进一步增大时的照明光的照射方向与被拍摄对象2中照明光透射的区域的关系的一例。在图33所示的照射方向DRc之下，透过了被拍摄对象2中的区域B1的一部分和区域A2的一部分的光线入射到光电二极管4pa。如果将拍摄面4A的法线N和向被拍摄对象2的入射光线所形成的角的大小设为「c(「c＞「b)，将由光电二极管4pa取得的像素的辉度设为Xa「c，则辉度Xa「c表示透过了被拍摄对象2中由图33中粗线的矩形表示的区域Kc的光量。区域Kc包含区域A2的一部分，不包含区域A1。因而，辉度Xa「c一般而言表示与辉度Xa0相比更接近于辉度Xb0的值。
当从图33所示的状态使角度「进一步增大时，在某角度下透过了被拍摄对象2中的区域A2的光线入射到光电二极管4pa。此时，由光电二极管4pa取得的像素的辉度的值与辉度Xb0大致一致。也就是说，此时所得到的被拍摄对象2的图像的辉度分布可以说与使在图31所示的照射方向DRa之下所取得的图像位移了一个像素量的图像的辉度分布一致。如从参照图1A～图6说明过的原理明确的那样，即使在使得由光电二极管4pa取得的像素的辉度的值与辉度Xb0大致一致的照射方向之下取得被拍摄对象2的图像，此时所得到的图像对于高分辨率化来说也是没有用的。其原因是，在参照图1A～图6说明过的原理中，使用包含由被拍摄对象2的不同的部分构成的像的多个子图像来形成高分辨率图像。
由以上可以认为，适于子图像的取得的照射方向存在于图31所示的照射方向、和使得由光电二极管4pa取得的像素的辉度的值与辉度Xb0大致一致的照射方向之间。特别是，如果能够找到使得透过了被拍摄对象2的位于区域A1和区域A2之间的区域B1的光线入射到光电二极管4pa(或者光电二极管4pb)的照射方向，则是有益的。换句话说，找到使得能够取得与在从拍摄面4A的法线方向的照射方向之下所取得的被拍摄对象2的图像、和使在从拍摄面4A的法线方向的照射方向之下所取得的被拍摄对象的图像向-x方向位移了一个像素的图像都不同的图像的照射方向即可。以下，说明搜索这种照射方向的方法的具体例。
定义以下的两个函数E0(「)和Es(「)。
E0(「)＝Σ’(Xi 0－Xi(「))2…(1)
Es(「)＝Σ’(Xi s－Xi(「))2…(2)
在式(1)和式(2)中，下标的i是指定所取得的图像中包含的像素的索引(i＝1、2、…、M，M为整数)。在式(1)中，Xi 0表示在从拍摄面4A的法线方向的照射方向之下所取得的第i个像素的辉度的值。在式(1)和式(2)中，Xi(「)表示从拍摄面4A的法线方向倾斜了角度「的照射方向之下所取得的第i个像素的辉度的值。Xi 0和Xi(「)是由第i个光电二极管所取得的像素的辉度的值。在式(2)中，Xi s表示使在从拍摄面4A的法线方向的照射方向之下所取得的图像向-x方向位移了一个像素量的图像(位移图像)所包含的像素之中的第i个像素的辉度的值。Xi s是由第(i+1)个光电二极管所取得的像素的辉度的值，在此，Xi s与Xi+1 0大致相等。再有，该位移图像不具有第M个像素。
式(1)和式(2)中的和Σ’表示与索引i有关的求和。该求和是在针对多个像素进行评价的情况下执行的。和是例如在i＝1～(M－1)的整个范围内取得的。也可以仅针对代表性的像素求出和。在仅针对某个被固定的索引i的像素进行评价的情况下，不需要求取与i有关的和。
式(1)的函数E0(「)的值可以说表示在从拍摄面4A的法线方向的照射方向之下所取得的被拍摄对象的图像、和在从拍摄面4A的法线方向倾斜了角度「的照射方向之下所取得的被拍摄对象的图像之间的相似度。另一方面，式(2)的函数Es(「)的值可以说表示使在从拍摄面4A的法线方向的照射方向之下所取得的被拍摄对象的图像向-x方向位移了一个像素的画像、和在从拍摄面4A的法线方向倾斜了角度「的照射方向之下所取得的被拍摄对象的图像之间的相似度。特别是，在Es(0)＝0，另外，在使得由光电二极管4pa所取得的像素的辉度的值与辉度Xb0大致一致的照射方向之下，Es(「)大致为0。
接着，使用上述的函数E0(「)和Es(「)来定义如下的评价函数F(「)。
F(「)＝(E0(「)Es(「))/(E0(「)+Es(「))…(3)
使用式(3)计算的F(「)的值是第一预备图像和第二预备图像之间的“差异”的一例。在此，函数E0(「)和Es(「)可以认为，当一方取较大的值时，与其对应地，另一方取较小的值。由此可以认为，在表示使得能够取得与在从拍摄面4A的法线方向的照射方向之下所取得的被拍摄对象2的图像、和使在从拍摄面4A的法线方向的照射方向之下所取得的被拍摄对象的图像向-x方向位移了一个像素的图像都不同的图像的照射方向的角度「的情况下，上述的函数F(「)变为极大。也就是说，通过求出使得F(「)取极大值的角度「，能够找到适于子图像的取得的照射方向。如此，通过求出使得F(「)取极大值的角度「，能够在取得子图像之前了解被拍摄对象2中光线经过的区域与透射光线入射的光电二极管之间的相对的大体配置。
<照射方向确定部的构成和工作的具体例6>
图34表示本公开的实施方式的图像形成系统的又一例。图34所示的图像取得装置100f具有的照射方向确定部40f与照射方向确定部40b(参照图20)的不同点是，照射方向确定40f不具有比较对象图像生成部106b，而具有连接于第一预备图像取得部102的比较对象图像生成部106f。另外，具有差异保持部111d来取代判定部110。
图35表示图像形成系统500的工作的另一例。在以下说明的例子中，利用参照图31～图33说明过的原理，确定多个照射方向。在以下说明的例子中，与参照图21说明过的具体例2的处理同样地，第一预备图像的取得的次数为一次。另外，对于第二预备图像的取得，改变第二照射方向来多次执行该取得。在此，在存储器50中存储有表示第二照射方向DR2的信息。如下的表5示出表示第二照射方向DR2的信息的一例。
[表5]
ID 第二照射角度
1 2°
2 4°
3 6°
4 8°
5 10°
6 12°
7 14°
首先，在步骤S16中，取得第一预备图像。在此，第一预备图像的取得是在以被拍摄对象为基准的照射方向为0°的状态下执行的。表示此时所取得的第一预备图像的信息被暂时存储在存储器50中。
接着，在步骤S50中，由比较对象图像生成部106f生成使第一预备图像向-x方向位移了一个像素量的位移图像。
接着，在步骤S32中，判定在存储器50所存储的第二照射角度的列表中是否存在与尚未被选择的ID对应的第二照射角度值。在此，由于第二照射角度值的取得尚未进行，因此处理进入步骤S34。
接着，在步骤S34中，由第二预备图像取得部104从存储器50中读出表示第二照射方向DR2的信息。在此，作为第二照射角度值，读出2°。
接着，在步骤S18中，取得第二预备图像。此时，在以被拍摄对象为基准的照射方向为2°的状态下，执行第二预备图像的取得。表示所取得的第二预备图像的信息被暂时地存储在存储器50中。
接着，在步骤S36中，由辉度标准化部105b对所取得到的第二预备图像实施辉度标准化。
接着，在步骤S52中，使用上述的式(3)来计算评价函数F(「)的值。评价函数F(「)的值的计算由例如差异算出部108f来执行。计算结果与此时的ID(也即是照射角度)相关联地暂时存储到差异保持部111d中。
然后，处理返回到步骤S32，反复进行上述的步骤S32～S52。当针对存储于存储器50中的第二照射角度的列表所包含的全部ID，得到评价函数F(「)的值后，处理进入步骤S54。
接着，在步骤S54中，进行存储于差异保持部111d的评价函数F(「)的值的比较，确定给予评价函数F(「)的极大值的ID。评价函数F(「)的值的比较由例如照射方向算出部112来执行。如参照图31～图33说明过的那样，可以说使得F(「)取极大值的角度“「”表示适于子图像的取得的照射方向。
接着，在步骤S56中，基于给予评价函数F(「)的极大值的ID，由照射方向算出部112确定或算出在子图像的取得中使用的多个照射方向。表示多个照射方向的信息被保存在存储器50中，将在后述的取得子图像的步骤中被使用。
以后的处理与参照图19说明过的处理是同样的。例如，以照射角度0°和给予评价函数F(「)的极大值的ID的照射角度，分别进行子图像的取得，使用这些子图像进行高分辨率图像的形成。
该具体例中的第二照射角度可任意地设定。在针对x方向进行N倍的高分辨率化的情况下，在拍摄元件的拍摄面的法线方向、和使得由光电二极管4pa所取得的像素的辉度的值与辉度Xb0大致一致的照射方向之间，对于至少N个不同的照射方向求出评价函数F(「)的值即可。N个不同的照射方向能够使用从拍摄面到光源为止的距离和光电二极管的排列节距等来算出。也可以关于拍摄元件的拍摄面的法线方向对称地设定N个不同的照射方向。N个不同的照射方向的间隔不需要为等间隔。对于y方向或者u方向等，也与上述的例子同样地，能够确定适于子图像的取得的照射方向。因此，当然也能够在与图像传感器的拍摄面平行的面内进行N倍的高分辨率化。
<在模块中使用的图像传感器>
再有，在本公开的实施方式中，图像传感器4并不限于CCD图像传感器，也可以是CMOS(ComplementaryMetal－OxideSemiconductor：互补金属氧化物半导体)图像传感器、或其他的图像传感器(作为一例，可列举出后述的光电转换膜层叠型图像传感器)。CCD图像传感器和CMOS图像传感器也可以是表面照射型和背面照射型中的任意一种。以下，说明图像传感器的元件结构和向图像传感器的光电二极管入射的光的关系。
图36表示CCD图像传感器的剖面结构和被拍摄对象的相对的透射率Td的分布的例子。如图36所示，CCD图像传感器概要地具有衬底80、衬底80上的绝缘层82、和配置在绝缘层82内的布线84。在衬底80形成有多个光电二极管88。在布线84上，形成遮光层(在图36中未图示)。在此，省略了晶体管等的图示。在以下的附图中也省略晶体管等的图示。再有，概括地说，表面照射型CMOS图像传感器中的光电二极管附近的剖面结构与CCD图像传感器中的光电二极管附近的剖面结构大致是同样的。因而，在此省略表面照射型CMOS图像传感器的剖面结构的图示以及说明。
如图36所示，在照明光从拍摄面的法线方向入射的情况下，透过了被拍摄对象中的位于光电二极管88的正上方的区域R1的照射光入射到光电二极管88。另一方面，透过了被拍摄对象中位于布线84上的遮光层的正上方的区域R2的照射光入射到图像传感器的遮光(形成有遮光膜的区域)。因此，在从拍摄面的法线方向进行照射的情况下，可得到表示被拍摄对象中位于光电二极管88的正上方的区域R1的图像。
为了取得表示位于遮光膜的正上方的区域的图像，从相对于拍摄面的法线方向倾斜了的方向进行照射以使得透过了区域R2的光入射到光电二极管88即可。此时，有时根据照射方向，透过了区域R2的光中的一部分会被布线84遮住。在图示的例子中，经过由阴影线表示的部分的光线没有到达光电二极管88。因而，在倾斜入射时，有时像素值会低一些。但是，并不是透射光的全部被遮住，因此能够使用此时所得到的子图像进行高分辨率图像的形成。
图37A和图37B表示背面照射型CMOS图像传感器的剖面结构和被拍摄对象的相对的透射率Td的分布的例子。如图37A所示，在背面照射型CMOS图像传感器中，在倾斜入射的情况下，也不存在透射光被布线84遮住的情况。但是，会由于透过了被拍摄对象中的与要拍摄的区域不同的其他区域的光(在图37A和后述的图37B中是用粗箭头BA示意地表示的光)入射到衬底80而产生噪声，有可能导致子图像的品质劣化。这种劣化能够如图37B所示那样通过在衬底形成有光电二极管的区域以外的区域上形成遮光层90来降低。
图38表示具备用有机材料或无机材料形成的光电转换膜的图像传感器(以下，称为“光电转换膜层叠型图像传感器”)的剖面结构和被拍摄对象的相对的透射率Td的分布的例子。
如图38所示，光电转换膜层叠型图像传感器概要地具有衬底80、设置有多个像素电极的绝缘层82、绝缘层82上的光电转换膜94、和光电转换膜94上的透明电极96。如图所示，在光电转换膜层叠型图像传感器中，在衬底80(例如半导体衬底)上形成有进行光电转换的光电转换膜94，来取代形成在半导体衬底中的光电二极管。光电转换膜94和透明电极96典型地形成于拍摄面的整体。在此，省略了保护光电转换膜94的保护膜的图示。
在光电转换膜层叠型图像传感器中，通过光电转换膜94中的入射光的光电转换而产生的电荷(电子或空穴)被像素电极92聚集。由此，可得到表示入射到光电转换膜94的光量的值。因此，可以说在光电转换膜层叠型图像传感器中，在拍摄面中，包含一个像素电极92的单位区域相当于一个像素。在光电转换膜层叠型图像传感器中，与背面照射型CMOS图像传感器同样地，在倾斜入射的情况下也不会存在透射光被布线遮住的情况。
如参照图1A～图6说明过的那样，在高分辨率图像的形成中，使用表示由被拍摄对象的不同的部分构成的像的多个子图像。然而，在典型的光电转换膜层叠型图像传感器中，遍及拍摄面的整体而形成有光电转换膜94，因此在例如垂直入射的情况下，也可能因透过了被拍摄对象的所希望的区域以外的区域的光而在光电转换膜94中发生光电转换。当此时产生的多余的电子或空穴被吸引到像素电极92时，有可能导致无法得到适当的子图像。因此，将在像素电极92和透明电极96重叠的区域(在图38中为网点的区域)中产生的电荷选择性地吸引到像素电极92是有益的。
在图38中示例的构成中，与各像素电极92对应地，在像素内设置有虚设电极98。在取得被拍摄对象的像时，在像素电极92与虚设电极98之间施予适当的电位差。由此，能够将在像素电极92和透明电极96重叠的区域以外的区域中产生的电荷吸引到虚设电极98，将在像素电极92和透明电极96重叠的区域中产生的电荷选择性地吸引到像素电极92。再有，通过透明电极96或光电转换膜94的图案化(形成图案)，也能够得到同样的效果。在这种构成中，可以说像素电极92的面积S3相对于像素的面积S1的比率(S3/S1)相当于“开口率”。
如已经说明过的那样，在将N设为2以上的整数时，如果图像传感器4的开口率近似地等于1/N，则能够实现最大N倍的高分辨率化。换句话说，开口率小的一方有利于高分辨率化。在光电转换膜层叠型图像传感器中，通过调整像素电极92的面积S3，能够调整与开口率相当的比率(S3/S1)。该比率(S3/S1)可设定为例如10％～50％的范围。比率(S3/S1)处于上述范围内的光电转换膜层叠型图像传感器可以在超析像中使用。
再有，从图36和图37B可知，在CCD图像传感器和表面照射型CMOS图像传感器中，与被拍摄对象相对的表面不平坦。例如，在CCD图像传感器中，该表面存在台阶(高低差)。另外，在背面照射型CMOS图像传感器中，要取得用于形成高分辨率图像的子图像，需要在拍摄面上设置图案化的遮光层，与被拍摄对象相对的表面不平坦。
相对于此，从图38可知，光电转换膜层叠型图像传感器的拍摄面是大致平坦的表面。因此，即使在拍摄面上配置了被拍摄对象的情况下，也几乎不会产生由拍摄面的形状引起的被拍摄对象的变形。换句话说，通过使用光电转换膜层叠型图像传感器来取得子图像，能够观察被拍摄对象的更详细的构造。
在本说明书中说明的上述各种技术方案只要不产生矛盾，就可以互相组合。
产业上的可利用性
根据本公开的实施方式，提供能够使实现图像传感器的超过固有分辨率的分辨率的高分辨率化技术的应用变得容易的图像取得装置、图像形成方法以及图像形成系统中的至少任一种。高分辨率图像能在例如病理诊断的场合下提供有益的信息。

Claims (20)

1.一种图像取得装置，包括：
照明系统，其从多个不同的照射方向向被拍摄对象和拍摄元件一体化而成的模块的所述被拍摄对象依次进行光照射，所述模块的所述被拍摄对象和所述拍摄元件一体化为使得透过了所述被拍摄对象的照明光入射到所述拍摄元件，所述拍摄元件取得与所述多个不同的照射方向相应的多个图像；和
照射方向确定部，其在与所述多个不同的照射方向相应地由所述拍摄元件取得所述多个图像之前，基于在使用来自第一照射方向的第一照明光照射所述被拍摄对象时由所述拍摄元件所取得的第一预备图像、和在使用来自第二照射方向的第二照明光照射所述被拍摄对象时由所述拍摄元件所取得的第二预备图像之间的差异，确定所述多个不同的照射方向。
2.根据权利要求1所述的图像取得装置，
所述照射方向确定部构成为：基于以使得所述第一预备图像与所述第二预备图像之间的差异变为比预定水平小的方式所选择出的所述第一照射方向和所述第二照射方向，来确定所述多个不同的照射方向。
3.根据权利要求2所述的图像取得装置，
所述照明系统使所述第一照射方向和所述第二照射方向中的至少一方变化，
所述拍摄元件与所述第一照射方向和所述第二照射方向中的所述至少一方的变化相应地取得一个以上的所述第一预备图像和一个以上的所述第二预备图像，
所述照射方向确定部构成为：从分别由所述第一预备图像和所述第二预备图像构成的一个以上的不同的图像集合中确定所述第一预备图像与所述第二预备图像之间存在的差异比所述预定水平小的图像集合，基于与该图像集合对应的所述第一照射方向和所述第二照射方向来确定所述多个不同的照射方向。
4.根据权利要求1或2所述的图像取得装置，
所述照明系统使所述第一照射方向和所述第二照射方向中的至少一方变化，
所述拍摄元件与所述第一照射方向和所述第二照射方向中的所述至少一方的变化相应地取得一个以上的所述第一预备图像和一个以上的所述第二预备图像，
所述照射方向确定部构成为：从分别由所述第一预备图像和所述第二预备图像构成的预先设定的个数的不同的图像集合中确定所述第一预备图像与所述第二预备图像之间存在的差异为最小的图像集合，基于与该图像集合对应的所述第一照射方向和所述第二照射方向来确定所述多个不同的照射方向。
5.根据权利要求1～4的任一项所述的图像取得装置，
所述第一照射方向和所述第二照射方向处于以所述被拍摄对象为基准而对称的关系。
6.根据权利要求1～5的任一项所述的图像取得装置，
所述差异是由所述第一预备图像中的像素的辉度和所述第二预备图像中的像素的辉度规定的量。
7.根据权利要求1～6的任一项所述的图像取得装置，
所述照射方向确定部通过比较构成所述第一预备图像的多个像素的辉度和构成所述第二预备图像的多个像素的辉度，算出所述第一预备图像与所述第二预备图像之间存在的差异。
8.根据权利要求6或7所述的图像取得装置，
所述照射方向确定部在修正了所述第一预备图像和所述第二预备图像中的至少一方的像素的辉度后，算出所述第一预备图像与所述第二预备图像之间存在的差异。
9.根据权利要求1～8的任一项所述的图像取得装置，
所述照射方向确定部构成为：取得表示所述被拍摄对象相对于所述拍摄元件的高度的位置信息，根据所述位置信息来确定所述多个不同的照射方向。
10.根据权利要求1～9的任一项所述的图像取得装置，
所述照明系统具有构成为以能够自由拆装的方式装填所述模块的载物台和构成为能够变更所述载物台的姿势的载物台驱动机构。
11.一种图像形成系统，包括：
根据权利要求1～10的任一项所述的图像取得装置；和
图像处理装置，其通过合成与所述多个不同的照射方向相应地取得的所述多个图像，形成分辨率比所述多个图像的每个图像都高的所述被拍摄对象的高分辨率图像。
12.一种图像形成方法，包括：
通过使用第一照明光从第一照射方向照射以使得透过了被拍摄对象的照明光入射到拍摄元件的方式将所述被拍摄对象和所述拍摄元件一体化而成的模块，取得所述被拍摄对象的第一预备图像的工序；
通过使用第二照明光从第二照射方向照射所述模块，取得所述被拍摄对象的第二预备图像的工序；
基于所述第一预备图像与所述第二预备图像之间的差异，确定以所述被拍摄对象为基准的多个不同的照射方向的工序；
通过从所述多个不同的照射方向依次使用所述照明光照射所述被拍摄对象，取得与所述多个不同的照射方向相应的多个图像的工序；以及
通过合成所述多个图像，形成分辨率比所述多个图像的每个图像都高的所述被拍摄对象的高分辨率图像的工序。
13.根据权利要求12所述的图像形成方法，
对于取得所述第一预备图像的工序，改变所述第一照射方向来多次执行该工序。
14.根据权利要求13所述的图像形成方法，
对于取得所述第二预备图像的工序，改变所述第二照射方向来多次执行该工序。
15.根据权利要求12所述的图像形成方法，
所述第一照射方向和所述第二照射方向处于以所述被拍摄对象为基准而对称的关系。
16.根据权利要求12～15的任一项所述的图像形成方法，
在确定所述多个不同的照射方向的工序中，基于使得所述第一预备图像与所述第二预备图像之间的差异变为比预定水平小的所述第一照射方向和所述第二照射方向，来确定所述多个不同的照射方向。
17.根据权利要求12～15的任一项所述的图像形成方法，
在确定所述多个不同的照射方向的工序中，基于使得所述第一预备图像与所述第二预备图像之间存在的差异变为最小的所述第一照射方向和所述第二照射方向，来确定所述多个不同的照射方向。
18.根据权利要求12～17的任一项所述的图像形成方法，
所述差异是由所述第一预备图像中的像素的辉度和所述第二预备图像中的像素的辉度规定的量。
19.根据权利要求12～18的任一项所述的图像形成方法，
确定所述多个不同的照射方向的工序包括对构成所述第一预备图像的多个像素的辉度和构成所述第二预备图像的多个像素的辉度进行比较的工序。
20.根据权利要求12～19的任一项所述的图像形成方法，
在取得所述第二预备图像的工序与确定所述多个不同的照射方向的工序之间，包括修正所述第二预备图像中的像素的辉度的工序。
CN201580002651.7A 2014-11-27 2015-11-05 图像取得装置、图像形成系统和图像形成方法 Pending CN105829867A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-239443 2014-11-27
JP2014239443 2014-11-27
PCT/JP2015/005545 WO2016084310A1 (ja) 2014-11-27 2015-11-05 画像取得装置、画像形成システムおよび画像形成方法

Publications (1)

Publication Number Publication Date
CN105829867A true CN105829867A (zh) 2016-08-03

Family

ID=56073909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580002651.7A Pending CN105829867A (zh) 2014-11-27 2015-11-05 图像取得装置、图像形成系统和图像形成方法

Country Status (6)

Country Link
US (1) US10241315B2 (zh)
EP (1) EP3225975A4 (zh)
JP (1) JP6004245B1 (zh)
CN (1) CN105829867A (zh)
AU (1) AU2015351876B2 (zh)
WO (1) WO2016084310A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016214512A (ja) * 2015-05-19 2016-12-22 株式会社東芝 センサ
KR102278879B1 (ko) * 2016-01-27 2021-07-19 주식회사 히타치하이테크 계측 장치, 방법 및 표시 장치
CN113454511B (zh) * 2018-12-21 2023-11-14 斯科皮奥实验室有限公司 显微图像的压缩获取

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6104495A (en) * 1997-05-28 2000-08-15 Micronas Intermetall Gmbh Measuring apparatus
CN1908717A (zh) * 2005-08-05 2007-02-07 宇东电浆科技股份有限公司 具有光学路径调整机构的光机组件
CN101048801A (zh) * 2004-11-08 2007-10-03 松下电器产业株式会社 法线信息估计装置、注册图像群制作装置、图像对照装置以及法线信息估计方法
CN102809567A (zh) * 2011-06-01 2012-12-05 大日本网屏制造株式会社 图像获取装置，图案检查装置及图像获取方法
WO2013019640A1 (en) * 2011-07-29 2013-02-07 The Regents Of The University Of California Lensfree holographic microscopy using wetting films
CN105308949A (zh) * 2013-06-06 2016-02-03 松下知识产权经营株式会社 图像获取装置、图像获取方法以及程序

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4411489A (en) * 1976-08-23 1983-10-25 Mcgrew Steve P System for synthesizing strip-multiplexed holograms
US4806776A (en) * 1980-03-10 1989-02-21 Kley Victor B Electrical illumination and detecting apparatus
JPS62137037A (ja) 1985-12-11 1987-06-19 株式会社東芝 Ｘ線撮影装置
EP0889644A4 (en) * 1996-12-26 1999-12-01 Sony Corp HIGH RESOLUTION IMAGE ACQUISITION DEVICE AND IMAGE CAPTURE METHOD
JPH1175099A (ja) * 1997-08-28 1999-03-16 Canon Electron Inc 撮像装置及び光学装置
JP2002118799A (ja) * 2000-05-10 2002-04-19 Canon Inc 画像表示装置、画像表示システムおよび画像表示素子
TW200520225A (en) * 2003-10-24 2005-06-16 Matsushita Electric Ind Co Ltd Pixel arranging apparatus, solid-state image sensing apparatus, and camera
JP4255819B2 (ja) * 2003-12-11 2009-04-15 パナソニック株式会社 信号処理方法および画像取得装置
CN101427563B (zh) * 2006-04-21 2011-08-10 松下电器产业株式会社 复眼方式的照相机模块
EP2189102A4 (en) * 2007-08-13 2015-02-18 Olympus Medical Systems Corp BODY INTERIOR OBSERVATION SYSTEM, AND BODY INTERIOR OBSERVATION METHOD
JP2010051538A (ja) * 2008-08-28 2010-03-11 Panasonic Corp 撮像装置
TWI390960B (zh) * 2008-10-15 2013-03-21 Realtek Semiconductor Corp 影像處理裝置與影像處理方法
JP5237874B2 (ja) * 2009-04-24 2013-07-17 株式会社日立ハイテクノロジーズ 欠陥検査方法および欠陥検査装置
CN105974571B (zh) * 2009-10-28 2019-05-28 阿兰蒂克微科学股份有限公司 显微成像
US8509492B2 (en) * 2010-01-07 2013-08-13 De La Rue North America Inc. Detection of color shifting elements using sequenced illumination
DE102011004584A1 (de) * 2011-02-23 2012-08-23 Krones Aktiengesellschaft Verfahren und Vorrichtung zum Erkennen von Blasen und/oder Falten auf etikettierten Behältern
JP6156787B2 (ja) * 2012-07-25 2017-07-05 パナソニックＩｐマネジメント株式会社 撮影観察装置
CN104768452A (zh) * 2012-12-04 2015-07-08 皇家飞利浦有限公司 用于获得生物的生命体征信息的设备及方法
US9560284B2 (en) * 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
EP2957215B1 (en) * 2013-02-15 2020-05-06 Panasonic Intellectual Property Management Co., Ltd. Image processing device and endoscope
WO2014196202A1 (ja) * 2013-06-07 2014-12-11 パナソニックＩｐマネジメント株式会社 画像取得装置、画像取得方法、およびプログラム
JP6408259B2 (ja) * 2014-06-09 2018-10-17 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6627083B2 (ja) * 2014-08-22 2020-01-08 パナソニックＩｐマネジメント株式会社 画像取得装置および画像形成システム
CN105794195B (zh) * 2014-10-27 2020-02-07 松下知识产权经营株式会社 图像形成系统、图像形成方法以及拍摄元件

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6104495A (en) * 1997-05-28 2000-08-15 Micronas Intermetall Gmbh Measuring apparatus
CN101048801A (zh) * 2004-11-08 2007-10-03 松下电器产业株式会社 法线信息估计装置、注册图像群制作装置、图像对照装置以及法线信息估计方法
CN1908717A (zh) * 2005-08-05 2007-02-07 宇东电浆科技股份有限公司 具有光学路径调整机构的光机组件
CN102809567A (zh) * 2011-06-01 2012-12-05 大日本网屏制造株式会社 图像获取装置，图案检查装置及图像获取方法
WO2013019640A1 (en) * 2011-07-29 2013-02-07 The Regents Of The University Of California Lensfree holographic microscopy using wetting films
CN105308949A (zh) * 2013-06-06 2016-02-03 松下知识产权经营株式会社 图像获取装置、图像获取方法以及程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RUSSELL C. HARDIE 等: "Joint MAP Registration and High-Resolution Image Estimation Using a Sequence of Undersampled Images", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
WAHEB BISHARA 等: "Lensfree on-chip microscopy over a wide field-of-view using pixel super-resolution", 《OPTICS EXPRESS》 *

Also Published As

Publication number Publication date
WO2016084310A1 (ja) 2016-06-02
EP3225975A1 (en) 2017-10-04
AU2015351876B2 (en) 2017-11-23
AU2015351876A1 (en) 2016-08-18
EP3225975A4 (en) 2017-11-29
US20160341947A1 (en) 2016-11-24
US10241315B2 (en) 2019-03-26
JP6004245B1 (ja) 2016-10-05
JPWO2016084310A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
JP5789766B2 (ja) 画像取得装置、画像取得方法、およびプログラム
JP2024038437A (ja) 蛍光観察装置及び蛍光観察方法
DE102007031230B3 (de) Dokumentenerfassungssystem und Dokumentenerfassungsverfahren
US10284797B2 (en) Image generating system, image generation method, imaging element, and recording medium
US11269171B2 (en) Spectrally-resolved scanning microscope
US10418399B2 (en) Lens-free imaging system comprising a diode, a diaphragm, and a diffuser between the diode and the diaphragm
US20190049710A1 (en) Image forming apparatus, image forming method, image forming system, and recording medium
US11106026B2 (en) Scanning microscope for 3D imaging using MSIA
JP2009260411A (ja) 撮像装置
DE112018001633T5 (de) Mehrkamera-Bilderfassung zum Messen der Beleuchtung
CN105829867A (zh) 图像取得装置、图像形成系统和图像形成方法
CN109076155A (zh) 用于对人的脸部进行照明的方法和光电子照明装置、相机和移动终端
EP3524967A1 (en) Image inspection device and lighting device
JP6627083B2 (ja) 画像取得装置および画像形成システム
US10048485B2 (en) Image output device, image transmission device, image reception device, image output method, and non-transitory recording medium
KR102014171B1 (ko) 유기발광소자의 혼색 불량 검출장치 및 검출방법
JP2022509219A (ja) ハイブリッドｘ線及び光検出器
JP2021044694A (ja) 蛍光撮影装置
RU100347U1 (ru) Устройство для сканирования объектов
CN114930136A (zh) 确定多透镜摄像系统拍摄的图像的波长偏差的方法和装置
KR20220083702A (ko) 서브픽셀 라인 스캐닝
US8827161B2 (en) Optimized illumination for an omniscanner
DE102005049378A1 (de) Automatisches Mikroskop

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160803

WD01 Invention patent application deemed withdrawn after publication