CN106950687A - 图像生成系统以及图像生成方法 - Google Patents

图像生成系统以及图像生成方法 Download PDF

Info

Publication number
CN106950687A
CN106950687A CN201611012217.XA CN201611012217A CN106950687A CN 106950687 A CN106950687 A CN 106950687A CN 201611012217 A CN201611012217 A CN 201611012217A CN 106950687 A CN106950687 A CN 106950687A
Authority
CN
China
Prior art keywords
image
focal plane
luminaire
pixel
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611012217.XA
Other languages
English (en)
Other versions
CN106950687B (zh
Inventor
加藤弓子
泽田好秀
岩崎正宏
向川康博
久保寻之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN106950687A publication Critical patent/CN106950687A/zh
Application granted granted Critical
Publication of CN106950687B publication Critical patent/CN106950687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/086—Condensers for transillumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/955—Computational photography systems, e.g. light-field imaging systems for lensless imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及图像生成系统以及图像生成方法，生成位于多个照明器(101)和图像传感器(102)之间的假想的焦平面上的对象物的合焦图像的图像生成系统(10)，(b)对构成合焦图像的多个像素，分别执行以下的(c)～(f)，(c)对多个照明器(101)的位置，分别执行以下的(d)～(f)，(d)计算对象点的位置，所述对象点是连接焦平面上的像素的位置和照明器的位置的直线与图像传感器(102)的受光面交叉的交点，(e)基于对象点的位置，计算基于该照明器的拍摄图像中的对象点的辉度值，(f)将对象点的辉度值适用于像素的辉度值，(g)使用多个像素各自的辉度值的适用结果，生成焦平面上的对象物的合焦图像。

Description

图像生成系统以及图像生成方法
技术领域
本公开涉及无透镜显微镜的基于利用多个光源的多个拍摄图像来生成假想的合焦面上的对象物的图像的技术。
背景技术
不对培养细胞实施染色而希望连续地观察该培养细胞的要求，属于治疗用细胞的产生、药效的试验等将培养细胞用于医疗、产业的很多领域。然而，由于细胞大多都是几乎无色透明的，因此在基于透射光的光学显微镜下的拍摄中，难以获知培养细胞的立体构造。
在专利文献1中，示出了如下方法：为了评价细胞的断面形状，根据与物镜平行、且相对于对象物而言焦点的高度位置不同的许多图像(即，一边使焦点在对象物的高度方向上挪动一边进行拍摄而得到的许多图像)，生成与物镜不平行的面的合焦图像(虚拟断面图像)。
可是，对于培养细胞的连续观察，在用于维持培养细胞用的湿润环境的恒温箱这样的有限空间内进行。为了在这样的湿润的有限空间内进行观察，专利文献2公开了不使用透镜就能够观察微小细胞的无透镜显微镜。公开了使通过从多个不同的位置进行照射的照明而拍摄到的多个图像进行重叠(Ptychography，叠层成像)来提高分辨率的方法。
现有技术文献
专利文献1：日本特开2013-101512号公报
专利文献2：美国专利申请公开第2014/0133702号说明书
发明内容
然而，在专利文献1的方法中，在进行了拍摄之后从各高度位置的图像中切取部分图像，使所切取出的部分图像接合，因此在部分图像的接合处产生不连续。其结果是，虚拟断面图像的画质因不连续而发生劣化。另外，如果为了降低因不连续导致的画质劣化而对不连续部分实施模糊处理，则虚拟断面图像的清晰度会降低。
因此，本公开提供一种能够使用多个拍摄图像生成假想的焦平面上的对象物的高画质的合焦图像的图像生成系统等。
本公开的一个技术方案涉及的图像生成系统，具备多个照明器、载置对象物的图像传感器和至少一个控制电路，生成位于所述多个照明器与所述图像传感器之间的假想的焦平面上的所述对象物的合焦图像，所述多个照明器依次对所述对象物进行照明，每当所述多个照明器对所述对象物进行照明时，所述图像传感器取得所述对象物的拍摄图像，所述至少一个控制电路，(a)取得位于所述多个照明器与所述图像传感器之间的所述焦平面的信息，(b)对构成所述合焦图像的多个像素，分别执行以下的(c)～(f)，(c)对所述多个照明器的位置，分别执行以下的(d)～(f)，(d)计算对象点的位置，所述对象点是连接所述焦平面上的所述像素的位置和所述照明器的位置的直线与所述图像传感器的受光面交叉的交点，(e)基于所述图像传感器的受光面上的所述对象点的位置，计算从所述照明器的位置对所述对象物进行照明时所取得的拍摄图像中的所述对象点的辉度值，(f)将所述对象点的辉度值适用于所述像素的辉度值，(g)使用所述多个像素各自的辉度值的适用结果，生成所述焦平面上的所述对象物的合焦图像，(h)输出所述生成的所述对象物的合焦图像。
另外，本公开的一个技术方案涉及的图像生成系统，具备多个照明器、载置对象物的图像传感器和至少一个控制电路，生成位于所述多个照明器与所述图像传感器之间的假想的焦平面上的所述对象物的合焦图像，所述多个照明器依次对所述对象物进行照明，每当所述多个照明器对所述对象物进行照明时，所述图像传感器取得所述对象物的拍摄图像，所述至少一个控制电路，(a)取得位于所述多个照明器与所述图像传感器之间的所述焦平面的信息，(b)对多个所述拍摄图像，分别执行以下的(c)～(f)，(c)取得与所述拍摄图像对应的照明器的位置信息，(d)对所述拍摄图像所包含的多个第1像素，分别执行以下的(e)～(f)，(e)计算连接所述图像传感器的受光面上的所述第1像素的位置和所述照明器的位置的直线与所述焦平面交叉的交点的位置，(f)对构成所述合焦图像的多个第2像素所包含的与所述焦平面上的交点的位置对应的一个以上的第2像素的辉度值，适用所述第1像素的辉度值，(g)使用所述多个第2像素的辉度值的适用结果，生成所述焦平面上的所述对象物的合焦图像，(h)输出所述生成的所述对象物的合焦图像。
此外，这些总括性或具体的技术方案既可以通过装置、方法、集成电路、计算机程序或计算机可读取的记录介质来实现，也可以通过装置、系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM(Compact Disc-Read Only Memory，光盘只读存储器)等非易失性记录介质。
根据本公开，能够使用多个拍摄图像生成假想的焦平面上的对象物的高画质的合焦图像。从本说明书及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种实施方式及特征而得到，无需为了获得一个以上益处和/或优点而实施所有的实施方式及特征。
附图说明
图1是表示实施方式1涉及的图像生成系统的功能结构的一例的框图。
图2是示意性表示实施方式1涉及的照明器的构造的一例的图。
图3是示意性表示实施方式1涉及的照明器的构造的一例的图。
图4是示意性表示实施方式1涉及的照明器的构造的一例的图。
图5是说明实施方式1涉及的照明器所包含的针孔(pinhole)应满足的大小条件的示意图。
图6是表示实施方式1涉及的存储部存储的内容的一例的图。
图7是表示实施方式1涉及的图像生成系统的工作的一例的流程图。
图8是表示坐标与焦平面的关系的一例的示意图。
图9是表示实施方式1涉及的拍摄装置的工作的一例的流程图。
图10是表示实施方式1涉及的重新聚焦处理部的工作的一例的流程图。
图11是说明实施方式1涉及的重新聚焦(refocus)处理的具体例子的示意图。
图12是说明实施方式1涉及的重新聚焦处理的具体例子的示意图。
图13是说明实施方式1涉及的重新聚焦处理的具体例子的示意图。
图14是说明实施方式1涉及的重新聚焦处理的具体例子的示意图。
图15是说明实施方式1涉及的重新聚焦处理的具体例子的示意图。
图16是表示实施方式1的变形例1涉及的重新聚焦处理部的工作的一例的流程图。
图17是表示实施方式1的变形例2涉及的重新聚焦处理部的工作的一例的流程图。
图18是说明实施方式1的变形例2涉及的重新聚焦处理的具体例子的示意图。
图19是说明实施方式1的变形例2涉及的重新聚焦处理的具体例子的示意图。
图20是说明实施方式1的变形例2涉及的重新聚焦处理的具体例子的示意图。
图21是说明实施方式1的变形例2涉及的重新聚焦处理的具体例子的示意图。
图22是表示实施方式2涉及的图像生成系统的功能结构的一例的框图。
图23是示意性表示实施方式2中的照明位置的范围的一例的图。
图24是将透镜的焦距和景深的关系、与进行重新聚焦时的点光源的配置和景深的关系进行关联来表示的示意图。
图25是表示实施方式2涉及的图像生成系统的工作的一例的流程图。
图26是表示实施方式2的变形例涉及的图像生成系统的功能结构的一例的框图。
图27是表示实施方式2的变形例涉及的图像生成系统的工作的一例的流程图。
图28是表示实施方式3涉及的图像生成系统的功能结构的一例的框图。
图29是表示实施方式3涉及的胚信息表的一例的图。
图30是表示实施方式3涉及的焦平面确定部的工作的一例的流程图。
图31是表示实施方式3的变形例涉及的图像生成系统的功能结构的一例的框图。
图32是表示实施方式3的变形例涉及的细胞位置判定部的详细的功能结构的一例的框图。
图33是表示实施方式3的变形例涉及的焦平面确定部的工作的一例的流程图。
图34是表示实施方式3的变形例涉及的与由焦平面确定部进行的细胞配置的确定有关的处理的流程图。
图35A是4细胞期的胚的三维模型的侧视图。
图35B是4细胞期的胚的三维模型的侧视图。
图35C是4细胞期的胚的三维模型的俯视图。
图35D是4细胞期的胚的三维模型的立体图。
图36A是4细胞期的胚的三维模型的断面图。
图36B是4细胞期的胚的三维模型的断面图。
图37是4细胞期的胚的三维模型的立体图。
图38是4细胞期的胚的三维模型的断面图。
具体实施方式
本公开的一个技术方案涉及的合焦图像生成系统，具备多个照明器、载置对象物的图像传感器和至少一个控制电路，生成位于所述多个照明器与所述图像传感器之间的假想的焦平面上的所述对象物的合焦图像，所述多个照明器依次对所述对象物进行照明，每当所述多个照明器对所述对象物进行照明时，所述图像传感器取得所述对象物的拍摄图像，所述至少一个控制电路，(a)取得位于所述多个照明器与所述图像传感器之间的所述焦平面的信息，(b)对构成所述合焦图像的多个像素，分别执行以下的(c)～(f)，(c)对所述多个照明器的位置，分别执行以下的(d)～(f)，(d)计算对象点的位置，所述对象点是连接所述焦平面上的所述像素的位置和所述照明器的位置的直线与所述图像传感器的受光面交叉的交点，(e)基于所述图像传感器的受光面上的所述对象点的位置，计算从所述照明器的位置对所述对象物进行照明时所取得的拍摄图像中的所述对象点的辉度值，(f)将所述对象点的辉度值适用于所述像素的辉度值，(g)使用所述多个像素各自的辉度值的适用结果，生成所述焦平面上的所述对象物的合焦图像，(h)输出所述生成的所述对象物的合焦图像。
根据本技术方案，能够将连接焦平面上的像素的位置和照明器的位置的直线与图像传感器的受光面交叉的交点即对象点的辉度值适用于该像素的辉度值。因此，能够在假想的焦平面上的合焦图像的各像素上反映与该像素对应的多个拍摄图像的辉度值，能够生成对象物的高画质的合焦图像。
本公开的一个技术方案涉及的合焦图像生成系统，具备多个照明器、载置对象物的图像传感器和至少一个控制电路，生成位于所述多个照明器与所述图像传感器之间的假想的焦平面上的所述对象物的合焦图像，所述多个照明器依次对所述对象物进行照明，每当所述多个照明器对所述对象物进行照明时，所述图像传感器取得所述对象物的拍摄图像，所述至少一个控制电路，(a)取得位于所述多个照明器与所述图像传感器之间的所述焦平面的信息，(b)对多个所述拍摄图像，分别执行以下的(c)～(f)，(c)取得与所述拍摄图像对应的照明器的位置信息，(d)对所述拍摄图像所包含的多个第1像素，分别执行以下的(e)～(f)，(e)计算连接所述图像传感器的受光面上的所述第1像素的位置和所述照明器的位置的直线与所述焦平面交叉的交点的位置，(f)对构成所述合焦图像的多个第2像素所包含的与所述焦平面上的交点的位置对应的一个以上的第2像素的辉度值，适用所述第1像素的辉度值，(g)使用所述多个第2像素的辉度值的适用结果，生成所述焦平面上的所述对象物的合焦图像，(h)输出所述生成的所述对象物的合焦图像。
根据本技术方案，能够对与连接图像传感器的受光面上的第1像素的位置和照明器的位置的直线与焦平面交叉的交点的位置对应的合焦图像的一个以上的第2像素的辉度值，适用拍摄图像的第1像素的辉度值。因此，能够将拍摄图像的各像素的辉度值反映于合焦图像的像素的辉度值，能够生成对象物的高画质的合焦图像。
例如，也可以，所述多个照明器分别具备：光源；和遮光板，其位于所述光源与所述对象物之间，并具有针孔，通过所述光源经由所述针孔对所述对象物照射漫射光。
根据本技术方案，能够从光源经由针孔对对象物照射漫射光。因此，能够防止表示从照明器照射的光的多条光线发生交错，能够使对象物的拍摄图像的画质提高，也能够使合焦图像的画质提高。
例如，也可以，所述图像生成系统还具备显示器，所述显示器对从所述至少一个控制电路输出的所述合焦图像进行显示。
根据本技术方案，能够显示合焦图像。
例如，也可以，进一步，基于所述焦平面的信息，确定照明位置的范围，所述多个照明器中的与所述照明位置的范围对应的照明器依次对所述对象物进行照明。
根据本技术方案，能够基于焦平面的信息来确定照明位置的范围，通过与所确定出的照明位置的范围对应的照明器依次对对象物进行照明。因此，能够使用与焦平面上的合焦图像的生成相适合的照明器来拍摄对象物，能够缩短拍摄时间。
此外，这些总括性或具体的技术方案既可以通过装置、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过装置、方法、集成电路、计算机程序或记录介质的任意组合来实现。
以下，参照附图对本公开的一个技术方案涉及的合焦图像生成系统进行具体说明。
此外，以下说明的实施方式都表示总括性或具体的例子。以下的实施方式中示出的数值、形状、构成要素、构成要素的配置以及连接形态、步骤、步骤的顺序等是一例，并非限定权利要求的意思。另外，关于以下的实施方式中的构成要素中的未记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素进行说明。
(实施方式1)
在实施方式1中，多个照明器依次对位于图像传感器上的对象物进行照明，使用通过在每次照明时拍摄对象物而得到的多个拍摄图像，生成位于多个照明器与图像传感器之间的假想的焦平面上的对象物的图像。以下，将该使用多个拍摄图像生成的图像也称为合焦图像。
[图像生成系统的构成]
图1是实施方式1涉及的图像生成系统的功能框图。图1所示的图像生成系统10具备拍摄装置100A、图像生成装置100B、存储部120和显示部150。图像生成系统10还可以具有：存储有预定的焦平面的信息的第1记录部111、记录重新聚焦(refocus)处理完的像素的信息的第2记录部121、和受理用于指定焦平面的指定信息的输入的输入部112。
[拍摄装置的构成]
首先，对拍摄装置100A的构成进行说明。拍摄装置100A具备多个照明器101、图像传感器102和拍摄控制部103。拍摄装置100A取得对象物的拍摄图像(photographicimage)。在此，拍摄装置100A不具有聚焦透镜。通常，聚焦透镜具有多个透镜以及反射镜，在光轴方向上具有一定以上的长度。因此，例如，对于在培养细胞的恒温箱内配置具有聚焦透镜的拍摄装置，实际上是很难的。另外，培养细胞的环境需要高湿度。透镜和反射镜的材料难以在高湿度环境下进行利用。因此，在进行细胞培养的环境下，具有聚焦透镜的拍摄装置是不适合的。因此，通过不具有聚焦透镜的拍摄装置，例如即使在恒温箱内部、且进行细胞培养的环境下，也能够观察细胞。
对象物例如是配置在图像传感器102上的多个半透明的物质。多个物质以三维重叠的方式排布。物质的具体例子是细胞。
多个照明器101分别是输出平行光的照明器或者输出漫射光的照明器。多个照明器101包括第1照明器和第2照明器。第1照明器和第2照明器分别照射不交错的光。即，表示从第1照明器照射的第1光的多条第1光线互不相交。另外，表示从第2照明器照射的第2光的多条第2光线也互不相交。因此，在从第1照明器和第2照明器的某一方照射了光的情况下，来自第1照明器和第2照明器的该一方的光从单个方向到达图像传感器102所包含的一个像素。也就是说，不会是光从2个以上的方向到达一个像素。
以下，将这样的照明称为非交错照明。非交错照明例如能够通过平行光或来自点光源的漫射光来实现。多个照明器101依次照射光。多个照明器101配置在互不相同的位置，从互不相同的方向对对象物照射光。
图像传感器102具有多个像素。图像传感器102的各像素配置于受光面，取得从多个照明器101照射的光的强度。图像传感器102基于由各像素取得的光的强度来取得拍摄图像。图像传感器102将取得的图像例如输出给存储部120。
图像传感器102的例子是CMOS(Complementary Metal-Oxide Semiconductor，互补金属氧化物半导体)图像传感器或者CCD(Charge Coupled Device)图像传感器。
拍摄控制部103控制由多个照明器101进行的光的照射和由图像传感器102进行的拍摄。具体而言，拍摄控制部103按照多个照明器101照射光的顺序，控制多个照明器101照射光的时间间隔。拍摄控制部103由包括CPU(Central Processing Unit，中央处理单元)、RAM(Random Access Memory，随机存取存储器)、ROM(Read-Only Memory，只读存储器)等的计算机系统(未图示)构成。拍摄控制部103的构成要素的一部分或者全部的功能可以通过CPU将RAM用作工作用的存储器并执行ROM所记录的程序来实现。另外，拍摄控制部103的构成要素的一部分或者全部的功能也可以通过专用的硬件电路来实现。
从相对于图像传感器102的受光面配置在互不相同的位置的多个照明器101照射的光，相对于受光面以不同的入射角入射。在多个照明器101照射平行光的情况下，多个照明器101照射相对于图像传感器102的受光面的入射角互不相同的平行光。例如，如图2所示，平行光通过使从LED光源101A经由形成于遮光板101B的针孔101C射出的光通过准直透镜(collimator lens)101D进行折射来得到。
图3是说明多个照明器101的构造的一例的示意图。在图3的多个照明器101的例子中，照射平行光的多个光源101E相对于图像传感器102的受光面以不同的角度进行固定。在图3的例子中，多个光源101E配置于覆盖图像传感器102的半球101F的内面。从多个光源101E到达图像传感器102的受光面的光向受光面的入射角互不相同。
图4是说明多个照明器101的构造的另一例的示意图。在图4的多个照明器101的例子中，多个虚拟点光源101G朝向图像传感器102侧地配置在与图像传感器102的受光面平行的平面101H上的不同位置。来自多个虚拟点光源101G的光相对于图像传感器102的受光面的各像素从不同的方向入射。多个虚拟点光源101G分别例如通过在LED光源101A的附近配置具有针孔101C的遮光板101B来实现。针孔101C的大小通过图像传感器102的像素间距、图像传感器102与针孔101C的距离、生成合焦图像的点距图像传感器102的距离来限制。
图5是说明针孔应满足的大小的条件的示意图。在此，d1表示针孔101C的直径。h1表示从图像传感器102的受光面到针孔101C为止的距离。h2表示从图像传感器102的受光面到合焦点101J(即，合焦图像中的任意像素的位于焦平面上的点)为止的距离。d2表示从针孔101C透过合焦点到达图像传感器102的受光面的光的扩展直径。p表示图像传感器102的像素间距。
此时，理想的是，从针孔101C射出的光通过合焦点101J到达图像传感器102的受光面的一个点。即，希望从针孔101C射出的光通过合焦点101J只到达图像传感器102的一个像素。因此，希望d2为不超过图像传感器的像素间距p的大小。也就是说，如以下的式1所示，d2<p是用于实现非交错照明的条件。
d1应满足的条件能够通过将该式1进行变形来表示为以下的式2。
例如，在像素间距p为0.001mm、从图像传感器102的受光面到针孔101C为止的距离h1为2mm、从图像传感器102到合焦点101J为止的距离h2为0.1mm的情况下，希望针孔的直径d1小于0.19mm。
[图像生成装置的构成]
接着，对图像生成装置100B的构成进行说明。图像生成装置100B通过至少一个控制电路来实现。如图1所示，图像生成装置100B具备焦平面确定部110、重新聚焦处理部130和图像生成部140。
焦平面确定部110例如通过控制电路或者处理器来实现，确定位于多个照明器101与图像传感器102之间的假想的焦平面。具体而言，焦平面确定部110例如基于记录在第1记录部111中的预定的焦平面的信息来确定焦平面。另外，例如，焦平面确定部110也可以按照经由输入部112从外部输入的信息来确定焦平面。
存储部120例如通过半导体存储器或者硬盘驱动器等来实现，将由图像传感器102拍摄到的图像与在该拍摄中使用的照明器的位置信息一起进行存储。
图6表示存储部120存储的内容的一例。按由拍摄部100拍摄到的各图像文件，存储有在该图像文件的取得时所使用的照明器的位置信息。在图6的例子中，照明器的位置信息表示相对于图像传感器102的相对的位置。以下，将该照明器的位置信息也称为照明位置信息。照明位置信息是与图像文件的文件ID一起存储的，照明位置信息通过文件ID与图像数据关联。此外，照明位置信息也可以记录在图像文件的一部分(例如头信息)中。
重新聚焦处理部130例如通过控制电路或者处理器来实现，根据多个图像、多个照明器101的位置信息、和假想的焦平面的信息，计算构成该焦平面上的合焦图像的各像素的光的强度。后面叙述该重新聚焦处理的详细情况。
图像生成部140例如通过控制电路或者处理器来实现，根据由重新聚焦处理部130计算出的各像素的辉度值来生成焦平面上的合焦图像。
显示部150通过显示器来实现，显示由图像生成部140生成的合焦图像。
[图像生成系统的工作]
接着，对如上述那样构成的图像生成系统10的工作进行说明。图7是表示实施方式1涉及的图像生成系统10的工作的一例的流程图。图8是表示坐标与焦平面的关系的一例的示意图。
(步骤S1100)
首先，拍摄部100依次使用多个照明器101对对象物进行照明，拍摄该对象物的多个图像。具体而言，每当多个照明器101分别对对象物进行照明时，拍摄部100通过对到达了图像传感器102的受光面的光的强度进行记录，由此取得对象物的图像。所取得的图像与拍摄时对对象物进行了照明的照明器的位置信息一起存储于存储部120。在此，多个照明器101的位置相对于图像传感器102是固定的，多个照明器101各自的位置信息被预先确定。后面叙述拍摄处理的详细情况。
(步骤S1200)
焦平面确定部110确定焦平面。具体而言，焦平面确定部110确定焦平面相对于图像传感器102的位置以及倾斜(角度)。例如，焦平面确定部110可以基于存储在第1记录部111中的预定的焦平面的信息来确定焦平面。或者，焦平面确定部110也可以基于通过输入部112从用户受理的指定焦平面的指定信息来确定焦平面。
焦平面相当于可生成合焦图像的假想的面。也就是说，焦平面上的对象物的合焦图像所包含的多个像素与焦平面上的多个点一一对应。
例如，焦平面确定部110使用焦平面的角度以及位置来确定焦平面。焦平面的角度以及位置例如通过图8所示的xyz空间来定义。
在图8中，xy平面与图像传感器102的受光面一致。z轴与图像传感器102的受光面正交。此时，焦平面的角度以在以图像传感器102的受光面的中心为原点的xyz空间中相对于x轴以及y轴的角度来定义。焦平面的位置由焦平面的中心点的坐标来定义。
(步骤S1300)
重新聚焦处理部130基于多个拍摄图像、多个照明器101的位置信息、和焦平面的信息，进行重新聚焦处理，求出焦平面上的各点的辉度。后面叙述重新聚焦处理的详细情况。
(步骤S1400)
图像生成部140基于通过步骤S1300进行的重新聚焦处理的结果，生成能够向显示器等输出的图像数据。图像生成部140将生成的图像数据输出给显示部150。
(步骤S1500)
显示部150显示通过步骤S1400生成的图像。
[拍摄处理]
在此说明步骤S1100的拍摄部100的工作的详细情况。图9是表示拍摄装置100A的工作的一例的流程图。
(步骤S1110)
拍摄控制部103参照预定的多个照明位置、或者通过未图示的外部输入而指定的多个照明位置的列表(以下，称为照明位置列表)，判定被从各照明位置进行了照明的对象物的拍摄是否已结束。
在此，在基于从照明位置列表所包含的全部照明位置进行的照明的拍摄结束的情况下(步骤S1110：是)，进入步骤S1200。另一方面，在基于从照明位置列表内的任一个照明位置进行的照明的拍摄未结束的情况下(步骤S1110：否)，进入步骤S1120。
(步骤S1120)
拍摄控制部103从照明位置列表所包含的多个照明位置中选择尚未进行照明的照明位置，向多个照明器101输出控制信号。在照明位置列表中，各照明位置例如由按各照明位置分配的编号来表示。或者，各照明位置例如通过图8所示的xyz空间中的坐标值来表示。照明位置的选择例如按列表的升序来进行。
(步骤S1130)
多个照明器101按照通过步骤S1120从拍摄控制部103输出的控制信号，开始向对象物的照明。也就是说，位于通过步骤S1120选择出的照明位置的照明器开始照射光。
(步骤S1140)
在由照明器对对象物进行照明的期间，图像传感器102取得通过从该照明器透过了对象物的光而形成的图像。
(步骤S1150)
然后，拍摄控制部103向多个照明器101输出控制信号，停止向对象物的照明。此外，照明的停止也可以不按照来自拍摄控制部103的控制信号来进行。例如，多个照明器101也可以对从开始照明起的时间长度进行计时，在计时得到的时间长度超过了预定的时间长度之后主动停止照明。或者，也可以，在步骤S1140中图像传感器102结束了图像的取得之后，图像传感器102将用于停止照明的控制信号输出给多个照明器101。
(步骤S1160)
接着，拍摄控制部103将通过步骤S1140取得的图像和在步骤S1130中使用的照明器的位置信息输出给存储部120。并且，存储部120将图像数据和照明位置的信息进行关联并存储。在步骤S1160之后，返回到步骤S1110。
通过反复进行从步骤S1110到步骤S1160的处理，从照明位置列表所包含的全部照明位置的照明器依次对对象物照射光，每当对对象物照射光时取得图像。
[重新聚焦处理]
进一步，说明步骤S1300的重新聚焦处理部130的工作的详细情况。图10是表示实施方式1涉及的重新聚焦处理部130的工作的一例的流程图。图11～图15是说明重新聚焦处理的计算方法的具体例子的示意图。
以下，参照图11～图15对图10的各步骤进行说明。
(步骤S1310)
重新聚焦处理部130从焦平面确定部110取得通过步骤S1200确定的焦平面的信息。
焦平面的信息例如包含焦平面的中心的坐标值和表示焦平面的倾斜的值。焦平面的倾斜例如由焦平面与xz平面的交线和x轴所成的角度来表示。另外，例如，焦平面的倾斜由焦平面与yz平面的交线和y轴所成的角度来表示。焦平面的中心的坐标值是与合焦图像的中心的像素对应的焦平面上的点的坐标值。
图11表示拍摄部100以及对象物1000的xz平面上的断面图的一例。对象物1000位于照明器101a、101b和图像传感器102之间，并且位于图像传感器102上。重新聚焦处理部130取得焦平面1100的信息。
(步骤S1320)
重新聚焦处理部130判定对于合焦图像所包含的全部像素是否结束了重新聚焦处理。在此，重新聚焦处理是指从步骤S1320到步骤S1390的处理。
在对于合焦图像所包含的全部像素都结束了重新聚焦处理的情况下(步骤S1320：是)，重新聚焦处理部130结束重新聚焦处理(进入步骤S1400)。
在对于合焦图像所包含的任一个像素未结束重新聚焦处理的情况下(步骤S1320：否)，重新聚焦处理部130继续进行重新聚焦处理(进入步骤S1330)。
合焦图像包含多个像素。合焦图像所包含的多个像素与焦平面上的多个点一一对应。图12表示与合焦图像所包含的多个像素对应的、焦平面1100上的多个点1102a～1102e。此外，图12所示的焦平面1100上的多个点1102a～1102e是对象物1000上的点，但焦平面1100上的多个点1102a～1102e也可以不是对象物1000上或者通过对象物1000的面上的点。除对象物1000上或者通过对象物1000的面上的点以外的点也可以与合焦图像的像素对应。
(步骤S1330)
重新聚焦处理部130从合焦图像所包含的多个像素中选择一个像素。在此被选的一个像素是合焦图像所包含的多个像素中的尚未执行重新聚焦处理的像素。此外，合焦图像的像素值的初始值为0。
例如，在图1所示的第2记录部121中，存储有合焦图像中的已经执行了重新聚焦处理的像素的信息。在后述的步骤S1390的处理之后，重新聚焦处理部130将进行了重新聚焦处理的像素的信息记录于第2记录部121。重新聚焦处理部130参照记录在第2记录部121中的像素的信息，选择尚未执行重新聚焦处理的像素。以下，如图13所示，对选择了与点1102a对应的像素的情况进行说明。另外，将与点1102a对应的像素也表述为选择像素。
(步骤S1340)
重新聚焦处理部130判定对全部照明位置的加法运算处理是否已结束。
在此，在对全部照明位置的加法运算处理已结束的情况下(步骤S1340：是)，重新聚焦处理部130的处理返回到步骤S1320。
另一方面，在对任一个照明位置的加法运算处理未结束的情况下(步骤S1340：否)，重新聚焦处理部130继续进行加法运算处理(进入步骤S1350)。在此，加法运算处理是指从步骤S1340到步骤S1390的处理。
(步骤S1350)
重新聚焦处理部130从已用于拍摄的全部照明位置中选择尚未结束加法运算处理的照明位置。
(步骤S1360)
重新聚焦处理部130计算经过所选择出的照明位置和焦平面上的选择像素的位置的直线与图像传感器102的受光面交叉的点的位置。
图14表示经过照明器101a的位置和对应于选择像素的点1102a的直线1200与图像传感器102的受光面交叉的交点1103a。以下，将交点1103a也表述为进行加法运算处理的对象的点即对象点。在此，图14所示的照明器101a的位置例如与图4所示的多个虚拟点光源101G的某一个光源的位置、或图3所示的多个平行光的光源101E中的一个光源的位置对应。更具体而言，图14所示的照明器101a是正交于光源101E的表面且经过点1102a的直线与光源101E的平面交叉的交点。
图像传感器102的受光面上的对象点例如由图8所示的xy平面上的坐标值来表示。
(步骤S1370)
重新聚焦处理部130从存储部120中取得与所选择出的照明位置对应的图像。也就是说，重新聚焦处理部130从存储部120中取得使用位于所选择出的照明位置的照明器拍摄到的图像。具体而言，重新聚焦处理部130按照图6所示的照明位置信息与图像的对应关系，取得存储部120所存储的图像。例如，重新聚焦处理部130取得与图13所示的照明器101a的位置对应的图像。
(步骤S1380)
重新聚焦处理部130确定通过步骤S1360计算出的图像传感器102上的对象点的拍摄图像中的位置。具体而言，重新聚焦处理部130以拍摄图像的像素的排列为基准来确定拍摄图像中的对象点的位置。
在拍摄图像中的对象点的位置位于多个像素的中间位置的情况下，重新聚焦处理部130通过使用与对象点的位置相邻的多个像素的辉度值进行插值处理，由此计算拍摄图像中的对象点的辉度值。具体而言，重新聚焦处理部130例如求出与对象点相邻的多个像素(例如4个像素)的各个像素与对象点的距离，对各像素的辉度值乘以对象点与各像素的距离之比并进行加法运算，由此求出拍摄图像中的对象点的辉度值。
图15是用于说明步骤S1380中的计算对象点的辉度值的示意图。在图15中，与对象点相邻的4个像素即像素A～像素D与对象点的距离分别表示为a、b、c以及d。该情况下，对象点的辉度值Lt通过以下的式3来求出。
在此，La、Lb、Lc以及Ld分别表示像素A、像素B、像素C以及像素D的辉度值。
(步骤S1390)
重新聚焦处理部130对合焦图像上的选择像素的辉度值加上通过步骤S1380计算出的对象点的辉度值。
通过反复进行从步骤S1340到步骤S1390的处理，对于全部照明位置，对选择像素的辉度值加上所拍摄到的图像中的对象点的辉度值而得到的结果被计算为选择像素的辉度值。
通过这样的加法运算处理，对于焦平面上的各点，由透过了该点的来自多个方向的光形成的多个图像被重叠于合焦图像的一个像素。
在图14中，从照明器101a照射的光透过与选择像素对应的焦平面1100上的点1102a到达图像传感器102的受光面上的对象点(交点1103a)。因此，在通过照明器101a拍摄到的图像中的对象点(交点1103a)的位置，包含焦平面1100上的点1102a处的图像。
另外，在图14中，从照明器101b照射的光透过与选择像素对应的焦平面1100上的点1102a到达图像传感器102的受光面上的对象点(交点1103b)。因此，在通过照明器101b拍摄到的图像中的对象点(交点1103b)的位置，包含焦平面1100上的点1102a处的图像。
通过对这样的对象点(交点1103a)处的图像(辉度值)以及对象点(交点1103b)处的图像(辉度值)进行加法运算，由来自多个方向的光形成的多个图像被重叠于合焦图像的选择像素。
[效果]
如上所述，根据本实施方式涉及的图像生成系统，能够将连接焦平面上的像素的位置和照明器的位置的直线与图像传感器102的受光面交叉的交点即对象点的辉度值适用于该像素的辉度值。因此，能够在假想的的焦平面上的合焦图像的各像素上反映与该像素对应的多个拍摄图像的辉度值，能够生成对象物的高画质的合焦图像。
(实施方式1的变形例1)
接着，对实施方式1的变形例1进行说明。在上述实施方式1中，在图10的步骤S1350中选择了照明位置，而在本变形例中选择拍摄图像。以下，以与实施方式1不同之处为中心来说明实施方式1的变形例1。
图16是表示实施方式1的变形例1涉及的重新聚焦处理部的工作的一例的流程图。在图16中，取代图10中的步骤S1340～步骤S1390而执行步骤S1341～步骤S1390。此外，在图16中，对与图10实质上相同的步骤标注相同的标号，适当省略说明。
在图16中，在全部拍摄图像都被用于加法运算处理的情况下(步骤S1341：是)，返回到步骤S1320。另一方面，在拍摄图像的任一个未被用于加法运算处理的情况下(步骤S1341：否)，进入步骤S1351。重新聚焦处理部130选择存储部120所存储的拍摄图像中的一个拍摄图像(步骤S1351)。在此，选择尚未被用于加法运算处理的拍摄图像。
重新聚焦处理部130从存储部120中取得与通过步骤S1351选择出的拍摄图像对应的照明位置信息(步骤S1359)。然后，除了没有通过步骤S1370取得图像的工作之外，与图10所示的工作相同。
如上所述，根据本变形例涉及的图像生成系统，即使将照明位置的选择替换为拍摄图像的选择，也能够与实施方式1同样地，对合焦图像的各像素适用与该像素对应的多个拍摄图像的辉度值，能够生成对象物的高画质的合焦图像。
(实施方式1的变形例2)
接着，对实施方式1的变形例2进行说明。在上述实施方式1中，在图10的步骤S1320以及步骤S1330中，依次选择了合焦图像内的像素，而在本变形例中，依次选择拍摄图像内的像素。也就是说，在本变形例中，与上述实施方式1不同之处在于：首先选择拍摄图像内的像素，然后确定与该选择出的像素对应的焦平面上的点。在与如此确定出的焦平面上的点对应的合焦图像内的像素上反映拍摄图像内被选择出的像素的辉度值。以下，以与实施方式1不同之处为中心来说明实施方式1的变形例2。
图17是表示实施方式1的变形例2涉及的重新聚焦处理部的工作的一例的流程图。在图17中，对与图10实质上相同的步骤标注相同的标号，适当省略说明。
(步骤S1322)
重新聚焦处理部130判定对于通过步骤S1100拍摄到的全部图像是否结束了重新聚焦处理。重新聚焦处理是指从步骤S1322到步骤S1392的处理。在对于全部图像都已经结束了重新聚焦处理的情况下(步骤S1322：是)，重新聚焦处理部130进入步骤S1400。在对于通过步骤S1100拍摄到的图像的任一个图像未结束重新聚焦处理的情况下(步骤S1322：否)，进入步骤S1332。
(步骤S1332)
重新聚焦处理部130从存储在存储部120中的通过步骤S1100拍摄到的图像中选择一个拍摄图像(步骤S1332)。在此被选择的一个拍摄图像是尚未进行重新聚焦处理的图像。以下，将通过步骤S1332选择出的一个图像称为选择图像。
(步骤S1333)
重新聚焦处理部130取得与选择图像对应的照明位置信息。例如，重新聚焦处理部130参照图6所示的图像与照明位置信息的对应关系来取得照明位置信息。在此，对取得了照明器101a的位置信息的情况进行说明。
(步骤S1342)
重新聚焦处理部130对于选择图像的全部像素判定是否结束了加法运算处理(步骤S1342)。在此，在对于选择图像的全部像素都结束了加法运算处理的情况下(步骤S1342：是)，结束加法运算处理并返回到步骤S1322。另一方面，在对于选择图像的任一个像素未结束加法运算处理的情况下(步骤S1342：否)，进入步骤S1352。加法运算处理是指从步骤S1342到步骤S1392的处理。
(步骤S1352)
重新聚焦处理部130对选择图像中的一个像素进行选择。在此被选择的一个像素是尚未进行加法运算处理的像素。
图18中示出与选择图像所包含的多个像素对应的受光面上的多个点1302a～1302e。在此，如图19所示，对从选择图像中选择出与受光面上的点1302a对应的像素的情况进行说明。此外，以后，将通过步骤S1352选择出的像素也表述为加法运算像素。
(步骤S1372)
如图19所示，重新聚焦处理部130计算连接受光面上的点1302a和照明器101a的位置的直线与焦平面1100交叉的交点1303a的位置。以下，将交点1303a也表述为加法运算点。
(步骤S1382)
重新聚焦处理部130对与焦平面上的加法运算点(交点1303a)对应的合焦图像内的一个以上的像素的辉度值加上与受光面上的点1302a对应的选择图像内的加法运算像素的辉度值。
例如，在合焦图像中，在交点1303a的位置与任何像素(整数像素)的位置都不一致的情况下，重新聚焦处理部130分别计算用于加到在合焦图像上与交点1303a相邻的多个像素上的辉度值。具体而言，重新聚焦处理部130以合焦图像的像素的排列为基准，确定与通过步骤S1372计算出的焦平面上的加法运算点(交点1303a)对应的合焦图像内的位置。
例如，如图20那样将在合焦图像中被4个像素(像素A～像素D)包围的位置确定为加法运算点的位置。该情况下，重新聚焦处理部130计算在合焦图像中与加法运算点相邻的各像素(像素A～像素D)和加法运算点之间的距离。重新聚焦处理部130使用所计算出的距离和加法运算像素的辉度值，计算用于加到与加法运算点相邻的各像素上的辉度值。例如，重新聚焦处理部130以使得在合焦图像内与加法运算点相邻的像素和加法运算点之间的距离相对越大的像素则辉度值就相对越大的方式，计算用于加到各像素上的辉度值。具体而言，重新聚焦处理部130例如根据以下的式4来计算用于加到像素A上的辉度值La。
在此，a是合焦图像中的像素A与加法运算点之间的距离。b是合焦图像中的像素B与加法运算点之间的距离。c是合焦图像中的像素C与加法运算点之间的距离。d是像素D与加法运算点之间的距离。L是拍摄图像所包含的加法运算像素的辉度值。
(步骤S1392)
重新聚焦处理部130对合焦图像中的一个以上的像素的辉度值加上通过步骤S1382计算出的辉度值。
通过反复进行从步骤S1342到步骤S3192的处理，能够使选择图像中的全部像素的辉度值反映于合焦图像的像素的辉度值。
进一步，通过反复进行从步骤S1322到步骤S1392，对全部拍摄图像中的全部像素进行加法运算处理，能够生成焦平面上的合焦图像。
参照图21来说明图17的流程图中的各步骤的具体例子。在此，对图像传感器102以及焦平面等满足以下条件的情况进行说明。图像传感器102的受光面的长边(即与x轴平行的边)的长度为6mm，受光面的短边(即与y轴平行的边)的长度为4mm。焦平面相对于x轴的倾斜为30度。焦平面相对于y轴的倾斜为0度。焦平面的面积与图像传感器102的受光面的面积相同。即，焦平面是6mm×4mm的矩形的平面。焦平面的一个短边如图21那样位于yz平面上，与y轴平行地延伸。焦平面的另一个短边位于xy平面上，x坐标在约5.2mm的位置，与y轴平行地延伸。焦平面的中心的坐标(x，y，z)为(2.6，2，1.5)。
在此，设为：通过步骤S1332选择了图像，通过步骤S1333取得了与图像对应的照明位置(7.5，2，10)，通过步骤S1352选择了加法运算像素(1.7，2，0)。该情况下，在步骤S1372中，计算经过加法运算像素(1.7，2，0)和照明位置(7.5，2.0，10)的直线与焦平面交叉的交点即加法运算点的坐标(2.6，2，1.5)。然后，在步骤S1382中，对合焦图像中的加法运算点的附近的像素的辉度值分配加法运算像素的辉度值并进行加法运算。
如上所述，根据本变形例涉及的图像生成系统，能够对与连接图像传感器102的受光面上的第1像素的位置和照明器的位置的直线与焦平面交叉的交点的位置对应的合焦图像的一个以上的第2像素的辉度值适用拍摄图像的第1像素的辉度值。因此，能够将拍摄图像的各像素的辉度值反映于合焦图像的像素的辉度值，能够生成对象物的高画质的合焦图像。
(实施方式2)
接着，对实施方式2进行说明。在实施方式2中，与实施方式1不同之处在于：根据所确定出的焦平面适应性地确定照明位置，使用位于所确定出的照明位置的照明器来拍摄对象物。以下，以与实施方式1不同之处为中心来说明实施方式2。
[图像生成系统的构成]
图22是表示实施方式2涉及的图像生成系统20的功能结构的框图。在图22中，对与图1实质上相同的构成要素标注相同的标号，适当省略说明。
图像生成系统20具备拍摄装置200A、图像生成装置200B、存储部120和显示部150。
[拍摄装置的构成]
拍摄装置200A具备多个照明器101、按各像素记录光的强度的图像传感器102、和拍摄控制部203。
拍摄控制部203按照从后述的照明范围确定部211取得的照明范围信息，控制多个照明器101以及图像传感器102的工作。具体而言，拍摄控制部203从位于不同位置的多个照明器101依次照射光。并且，每当从多个照明器101的任一个照明器照射光时，使图像传感器102拍摄对象物的图像。
拍摄控制部203也可以与实施方式1的拍摄控制部103同样地，例如由包括CPU、RAM、ROM等的计算机系统(未图示)构成。拍摄控制部203的构成要素的一部分或者全部的功能可以通过CPU将RAM用作工作用的存储器并执行ROM所记录的程序来实现。另外，拍摄控制部203的构成要素的一部分或者全部的功能也可以通过专用的硬件电路来实现。
[图像生成装置的构成]
图像生成装置200B具备焦平面确定部210、照明范围确定部211、重新聚焦处理部130和图像生成部140。
焦平面确定部210例如通过控制电路或者处理器来实现，确定位于多个照明器101和图像传感器102之间的假想的焦平面。具体而言，焦平面确定部210基于预定的焦平面的信息来确定焦平面。另外，例如，焦平面确定部210也可以按照从外部输入的信息来确定焦平面。
照明范围确定部211确定与由焦平面确定部210确定出的焦平面对应的照明位置。在此，参照图23以及图24来说明确定照明位置的具体例子。
图23是示意性表示实施方式2中的照明位置的确定方法的说明图。图24是将透镜的焦距和景深的关系、与进行重新聚焦时的点光源的配置和景深的关系进行关联来表示的示意图。图24的(a)示出透镜的焦距和景深的关系，图24的(b)示出进行重新聚焦时的点光源的配置和景深的关系。
在图24中，f表示透镜的焦距。s表示被拍摄对象距离。t表示从透镜到成像面的距离。F表示F值。ε表示焦深的1/2。δ表示弥散圆直径。Sn表示近点距离。Sf表示远点距离。Dn表示前景深。Df表示后景深。
因重新聚焦得到的景深由照明位置的分布范围的面积来确定。在图24的(b)中，由虚线表示的照明位置的分布范围与图24的(a)的透镜直径对应。在图24的(a)所示的透镜的情况下，在被拍摄对象(Subject)表面反射的光通过透镜并在焦平面(Focal Plane)上成像。景深(Depth of Field)是前景深Dn与后景深Df之和。在本公开中，由于是透过光的拍摄下的重新聚焦，所以与图24的(a)的被拍摄对象的位置相当的是焦平面。在图24的(b)中，图像传感器相比于焦平面位于左侧。在本实施方式中，在相比于点光源的排列位于图中右侧的位置，实际上什么也没有，但通过作为弥散圆而设定图像传感器的像素间距，能够计算景深。
例如，图23所示的用于生成焦平面的合焦图像所需要的照明位置的范围，如图24所示，与平行于焦平面地设置的透镜的大小对应。若使用透镜，则为了观测放置于焦点位置的被拍摄对象，需要在与拍摄对象相距5mm的位置放置的直径10mm的透镜直径的情况下的照明位置的范围，由如下的圆来表示。也就是说，照明位置的范围如图23那样由与焦平面平行、与焦平面相距5mm、且以经过焦平面中心的焦平面的法线与平行于焦平面的平面交叉的交点为中心的直径10mm的圆来表示。在实际的点光源的配置平面或者曲面(例如，图3所示的曲面、图4所示的平面)上，配置在对该照明位置的范围进行了映射的区域内的照明器的位置成为与由焦平面确定部210确定出的焦平面相适合的照明位置。
[图像生成系统的工作]
接着，对如上述那样构成的图像生成系统20的工作进行说明。
图25是表示实施方式2涉及的图像生成系统20的工作的一例的流程图。在图25中，对与图7实质上相同的步骤标注相同的标号，适当省略说明。
如图25所示，首先，焦平面确定部210确定焦平面(步骤S1200)。
照明范围确定部211确定与通过步骤S1200确定出的焦平面对应的照明位置的范围(步骤S2200)。
拍摄装置200A依次使用多个照明器101中的与通过步骤S2200确定出的照明位置的范围对应的照明器，对对象物进行照明。并且，每当照明器对对象物进行照明时，拍摄装置200A通过对到达了图像传感器102的受光面的光的强度进行记录，由此取得对象物的图像。所取得的图像与拍摄时对对象物进行了照明的照明器的位置信息一起存储于存储部120(步骤S2300)。具体而言，拍摄装置200A的拍摄控制部203基于通过步骤S2200确定出的照明位置的范围，从多个照明器101中选择包含在所确定出的照明位置的范围内的2个以上的照明器。并且，拍摄控制部203按预定的顺序使所选择出的2个以上的照明器照射光，使图像传感器102进行拍摄。拍摄装置200A通过反复进行对对象物的照明和对象物的拍摄，使用所确定出的照明位置的范围内的照明器来取得对象物的图像。这之后的工作基本上与实施方式1的图7同样，因此省略说明。
[效果]
如上所述，根据本实施方式涉及的图像生成系统，能够基于焦平面的信息来确定照明位置的范围，通过与所确定出的照明位置的范围对应的照明器依次对对象物进行照明。因此，能够使用与焦平面上的合焦图像的生成相适合的照明器来拍摄对象物，能够缩短拍摄时间。
(实施方式2的变形例)
接着，对实施方式2的变形例进行说明。在本变形例中，与实施方式2不同之处在于：使用预先取得的引导图像(pilot image)来确定对象区域，基于该对象区域来确定照明位置的范围。以下，以与实施方式2不同之处为中心来说明实施方式2的变形例。
[图像生成系统的构成]
图26是表示实施方式2的变形例涉及的图像生成系统30的功能结构的框图。在图26中，对与图22实质上相同的构成要素标注相同的标号，适当省略说明。
图像生成系统30具备拍摄装置200A、图像生成装置300B、存储部320和显示部150。
拍摄装置200A具备多个照明器101、图像传感器102和拍摄控制部203。在本变形例中，拍摄装置200A在依次使用与所确定出的照明位置的范围对应的照明器来拍摄对象物之前，通过使用预定的照明器拍摄对象物来取得引导图像。引导图像被存储于存储部320，并显示于显示部150。图像生成装置300B具备焦平面确定部210、照明范围确定部311、对象区域确定部312、处理范围切取部313、重新聚焦处理部230和图像生成部140。
对象区域确定部312基于通过外部输入而指定的区域或者通过预定的方法而指定的区域，确定引导图像内的对象区域。
照明范围确定部311基于由焦平面确定部210确定出的焦平面以及由对象区域确定部312确定出的对象区域，确定照明位置的范围。
存储部320将由图像传感器102拍摄到的图像与在该图像的拍摄中使用的照明器的位置信息一起进行存储。进而，存储部320将在由预定的照明器进行照明时所拍摄到的图像存储为引导图像。该引导图像被输出到对象区域确定部212。
处理范围切取部313从存储部320所存储的多个图像中分别切取与由对象区域确定部312确定出的对象区域对应的区域。并且，处理范围切取部313将所切取出的图像与照明位置信息一起输出给重新聚焦处理部230。
[图像生成系统的工作]
接着，对如上述那样构成的图像生成系统30的工作进行说明。
图27是表示图像生成系统30的工作的一例的流程图。如图27所示，首先，拍摄部200的拍摄控制部203使用位于预定的照明器位置(例如，坐标(0，0)的照明器对对象物进行照明，通过检测到达了图像传感器102的受光面的光的强度来取得引导图像。引导图像被存储于存储部320(步骤S2010)。存储部320将通过步骤S2010拍摄到的引导图像输出到显示部150，显示部150显示引导图像(步骤S2020)。
用户对通过步骤S2020显示的引导图像指定想要生成合焦图像的区域。对象区域确定部212基于用户指定的区域来确定对象区域(步骤S2030)。
此外，在本变形例中，显示引导图像并受理用户对引导图像的区域的指定输入，但不限定于此。例如，对象区域确定部312也可以对引导图像进行对象物的识别处理，基于识别结果来确定对象区域。对象物的识别处理例如基于预定的颜色和/或轮廓等特征来进行。在通过对象物的识别处理提取出了多个区域的情况下，对象区域确定部312例如可以基于图像中的区域的位置从所提取出的多个区域中选择至少一个区域来作为对象区域，也可以将所提取出的多个区域全部确定为对象区域。
焦平面确定部210确定焦平面(步骤S2100)。照明范围确定部311基于通过步骤S2030确定出的对象区域和通过步骤S2100确定出的焦平面，确定照明位置的范围(步骤S2210)。具体而言，照明范围确定部211取代使用图23中的焦平面的中心而使用对象区域的中心来确定照明位置的范围。之后的步骤与图25实质上相同，因此省略说明。
[效果]
如上所述，根据本变形例涉及的图像生成系统30，能够除焦平面之外还基于对象区域来确定照明位置的范围，能够进一步缩短拍摄时间。
(实施方式3)
接着，对实施方式3进行说明。实施方式3与实施方式1不同之处在于：基于对象物的状态来确定焦平面。例如，在本实施方式中，在如受精卵或初期胚那样对象物的状态随着培养时间发生变化的情况下，基于与培养时间对应的对象物的状态来确定焦平面的数量以及角度。以下，以与实施方式1不同之处为中心来说明实施方式3。
[图像生成系统的构成]
图28是表示实施方式3涉及的图像生成系统40的功能结构的框图。在图28中，对与图1实质上相同的构成要素标注相同的标号，适当省略说明。
图像生成系统40具备拍摄装置100A、图像生成装置400B、存储部120和显示部150。图像生成装置400B具备焦平面确定部410、胚信息表420、计时部430、重新聚焦处理部130和图像生成部140。
在胚信息表420中记录有培养时间和与该培养时间对应的胚的状态以及焦平面的信息。图29表示胚信息表420的一例。在图29的例子中，在胚信息表420中，按培养时间记录有胚的状态和焦平面的数量。
计时部430对从开始对象物培养的时刻起的经过时间(即培养时间)进行计测。
焦平面确定部410从胚信息表420中取得与由计时部430计测到的培养时间对应的焦平面的数量。并且，焦平面确定部410在图像传感器102与多个照明器101之间确定与取得的数量相同数量的焦平面。具体而言，焦平面确定部410确定从胚信息表420得到的数量的以外部输入的角度或者预定的角度倾斜的焦平面。在对象物为初期胚的情况下，例如确定互相平行的多个焦平面。因为初期胚的大小约为100μm，所以以使得与从胚信息表420得到的数量相同数量的焦平面对100μm的高度进行等分的方式，确定焦平面之间的距离。例如，在焦平面的数量为2的情况下，2个焦平面之间的距离被确定为33μm。
[图像生成系统的工作]
接着，对如上述那样构成的图像生成系统40的工作进行说明。
图像生成系统40的工作除了步骤S1200的确定焦平面的工作之外，与实施方式1的图7实质上相同，因此仅说明步骤S1200的详细情况，关于其他的工作省略说明。
图30是表示实施方式3涉及的焦平面确定部410的工作的一例的流程图。
首先，焦平面确定部410从计时部430取得培养时间(步骤S1210)。接着，焦平面确定部410参照胚信息表420，取得与通过步骤S1210取得的培养时间对应的焦平面的数量(步骤S1220)。焦平面确定部410基于通过步骤S1220取得的焦平面的数量，确定各焦平面的中心的高度(即如图8那样定义的xyz空间中的z坐标值)(步骤S1230)。在本实施方式中，在生成多个焦平面的各焦平面上的合焦图像时，考虑到用户易于理解，全部焦平面都平行配置。此外，多个焦平面的角度、配置不限于此。
进一步，焦平面确定部410基于经由未图示的输入单元输入的焦平面的倾斜的信息、或预定的焦平面的倾斜的信息，确定焦平面的相对于x轴的角度和相对于y轴的角度(步骤S1240)。以通过步骤S1230确定出的焦平面的中心位置为旋转中心，以通过步骤S1240确定出的角度倾斜地假想配置各焦平面，由此确定焦平面(步骤S1250)。
[效果]
如上所述，根据本实施方式涉及的图像生成系统40，能够根据对象物的状态来确定焦平面的数量，能够生成适合于观察对象物的合焦图像。
(实施方式3的变形例)
在实施方式3的变形例中，与上述实施方式3不同之处在于：首先，在与图像传感器的受光面平行的焦平面上生成合焦图像，根据生成的合焦图像中的对象物(例如细胞)的立体的配置，自动地确定其他焦平面。以下，以与实施方式3不同之处为中心来说明实施方式3的变形例。
图31是表示实施方式3的变形例涉及的图像生成系统50的功能结构的框图。此外，在图31中，拍摄装置100A与图28相同，因此省略其记载。另外，在图31中，对与图28实质上相同的构成要素标注相同的标号，适当省略说明。
图像生成装置500B具备焦平面确定部510、胚信息表420、计时部430、重新聚焦处理部530和图像生成部540。焦平面确定部510具备水平面确定部511、细胞位置判定部513和位置倾斜确定部514。
水平面确定部511参照胚信息表420，确定与从计时部430取得的培养时间对应的焦平面的数量。水平面确定部511基于所确定出的焦平面的数量，确定用于确定焦平面的位置和倾斜的、与图像传感器102的受光面平行的水平面的数量和该水平面在z轴上的位置。
细胞位置判定部513对图像生成部540生成的与受光面平行的水平面上的合焦图像和根据三维模型生成的断面图像进行比较，根据比较结果来判定三维坐标上的细胞的配置。
在此，参照图32对细胞位置判定部513的详细结构进行说明。
图32是表示细胞位置判定部513的详细的功能结构的框图。细胞位置判定部513具备3D模型数据库(DB)521、旋转处理部522、2D化处理部523、比较部524和存储部525。
3D模型数据库521保持有对象物的状态(在此为初期胚的各细胞期的三维模型)。初期胚的三维模型示出在球状的胚膜中包含有与细胞期对应的数量的大致球状的细胞的状态。
旋转处理部522使3D模型数据库521所保持的三维模型以预定的角度进行旋转。
2D化处理部523使用旋转处理部522进行了旋转后的三维模型，生成由水平面确定部511确定出的水平面上的断面图像。
比较部524对图像生成部540生成的水平面上的合焦图像与2D化处理部523根据三维模型生成的断面图像进行比较。一边改变旋转处理部522中的旋转角度一边反复进行该比较。其结果是，求出表示合焦图像与断面图像的差异的值变为比预定的阈值小的旋转角度。
存储部525存储表示比较部524进行了比较的2个图像的差异的值变为比阈值小的、旋转处理部522中的旋转角度。
位置倾斜确定部514基于细胞位置判定部513判定出的三维坐标上的细胞的配置和水平面确定部511确定出的焦平面的数量，确定各焦平面的中心点在z轴上的位置和各焦平面相对于x轴以及y轴倾斜的值。
重新聚焦处理部530对于由拍摄部100拍摄到的多个图像，进行对由水平面确定部511确定出的平面或由位置倾斜确定部514确定出的焦平面的重新聚焦处理。
图像生成部540使用重新聚焦处理部530生成的各像素的辉度值来生成合焦图像。
[图像生成系统的工作]
接着，对如上述那样构成的图像生成系统50的工作进行说明。
图像生成系统50的工作除步骤S1200之外与实施方式1的图7实质上相同，因此仅说明步骤S1200的详细情况，关于其他工作省略说明。
图33是表示实施方式3的变形例涉及的焦平面确定部510的工作的一例的流程图。
首先，焦平面确定部510的水平面确定部511从计时部430取得培养时间(步骤S1210)。接着，水平面确定部511参照胚信息表420，取得与通过步骤S1210取得的培养时间对应的焦平面的数量(步骤S1220)。水平面确定部511确定与通过步骤S1220取得的焦平面的数量相同数量的水平面各自的z轴位置(步骤S1231)。在本变形例中，通过将根据三维模型生成的多个断面图像与多个水平面上的合焦图像进行比较，确定用于图像生成系统50输出的合焦图像的焦平面的角度。在图29所示的胚信息表中，作为焦平面的数量，对原核期胚和2细胞期胚记录有“1”。因此，在步骤S1231中，确定与参照胚信息表420得到的焦平面的数量相同数量的水平面的z轴位置。
此外，水平面的数量也可以与焦平面的数量不一致。该情况下，在胚信息表420中除了焦平面的数量之外还记录有用于判定细胞配置的水平面的数量即可。另外，也可以如实施方式2的变形例那样取得引导图像，并基于引导图像的状态来确定水平面的数量。
因为初期胚的大小为直径约100μm，所以水平面的z轴位置例如被确定成使得100μm的高度被与从胚信息表420得到的数量相同数量的水平面等分。胚沉浸在培养液中，与图像传感器102的受光面上接触。因此，例如在水平面的数量为2个的情况下，2个水平面的z轴位置为33μm和66μm。
重新聚焦处理部530对通过步骤S1231确定出的z轴位置处的水平面进行重新聚焦处理。图像生成部540使用重新聚焦处理部530计算出的各像素的辉度值来生成合焦图像(步骤S1232)。
细胞位置判定部513将通过步骤S1232生成的合焦图像与根据初期胚的三维模型生成的断面图像进行比较，由此确定细胞的配置和从适合于观察初期胚的细胞的配置(以下，称为基准位置)起的初期胚的旋转角度(步骤S1241)。后面叙述步骤S1241的详细情况。
位置倾斜确定部514基于通过步骤S1241确定出的细胞的配置和旋转角度，以使焦平面与基准位置处的水平面一致的方式确定焦平面的角度(步骤S1242)。例如，将以通过步骤S1241判定出的旋转角度的反向的旋转角度使拍摄时的坐标上的水平面旋转而得到的平面的角度确定为焦平面的角度。
接着，位置倾斜确定部514确定与通过步骤S1220水平面确定部511取得的数量相同数量的焦平面在z轴上的位置。z轴位置例如被确定为使得对对象物整体的z轴方向的大小进行等分。
位置倾斜确定部514使用通过步骤S1242确定出的角度和z轴位置来确定全部焦平面(步骤S1250)。
在本变形例中，全部焦平面作为互相平行的焦平面进行了说明，但也可以以不同的角度进行配置。例如，多个焦平面也可以以某坐标点为中心点对称地配置。也可以：根据从图像传感器正上方拍摄的拍摄结果，确定图像传感器的受光面上的胚的中心点，由于胚的直径约为100μm，因此使用从图像传感器的受光面上的胚的中心点向z轴方向偏移50μm的高度位置作为旋转中心来配置焦平面。
接着，参照图34对图33的步骤S1241的详细情况进行说明。图34是表示与实施方式3的变形例涉及的由焦平面确定部510确定细胞配置有关的处理的流程图。
细胞位置判定部513的旋转处理部522从水平面确定部511取得初期胚的状态、水平面的数量、水平面的z轴位置的信息(步骤S12411)。旋转处理部522针对3D模型数据库521所保持的模型中的、与通过步骤S12411取得的胚的状态的信息对应的三维模型的全部，判定是否进行了比较处理(步骤S12412)。比较处理是指从步骤S12413到步骤S12418的一系列的处理。
在此，在对于与胚的状态的信息对应的三维模型全都进行了比较处理的情况下(步骤S12412：是)，进入步骤S1242。另一方面，在对于与胚的状态的信息对应的三维模型的某一个尚未进行比较处理的情况下(步骤S12412：否)，进入步骤S12413。
选择与通过步骤S12411取得的胚的状态的信息对应的三维模型中的一个三维模型(步骤S12413)。在此被选择的三维模型是尚未进行比较处理的三维模型。
三维模型按胚的各状态，以三维方式来表现胚中的细胞的配置。三维模型以能够旋转的状态进行保持，不旋转的基准位置被设定成使与xy平面即受光面平行的平面上的细胞的断面成为最适合观察细胞的断面。图35A～图35D表示4细胞期的胚的三维模型的一例。在图35A～图35D的三维模型中，在z轴方向上的低的位置处2个细胞(第1细胞3501和第2细胞3502)并排，在高的位置处2个细胞(第3细胞3503和第4细胞3504)并排。连接第1细胞3501和第2细胞3502的中心点的直线与连接第3细胞3503和第4细胞3504的中心点的直线在映射到xy平面上的情况下正交。当俯视三维模型时成为图35D那样。
图36A以及图36B是图35A的断面线XXVIII以及图35B的断面线XXIX处的三维模型的断面图。在与xy平面平行的面上并排的2个细胞的对(pair)在z轴方向上成为2层。在该例子中，经过第1细胞3501以及第2细胞3502的中心点的直线和经过第3细胞3503以及第4细胞3504的中心点的直线位于歪斜的位置。图35A～图36B示出了基准位置时的三维模型。也就是说，将第1细胞3501和第2细胞3502在与xy平面平行的平面上并排、且第3细胞3503和第4细胞3504在与xy平面平行的平面上并排的位置设为基准位置。
接着，旋转处理部522针对预定的旋转角度的全部，判定是否对通过步骤S12413选择出的三维模型的断面图像与通过步骤S1232生成的水平面上的合焦图像进行了比较(步骤S12414)。在此，在针对旋转角度全都进行了比较的情况下(步骤S12414：是)，返回到步骤S12412。另一方面，在针对预定的旋转角度的某一个未进行比较的情况下(步骤S12414：否)，进入步骤S12415。
旋转处理部522以预定的旋转角度中的尚未进行比较处理的旋转角度，使通过步骤S12413选择出的三维模型进行旋转(步骤S12415)。
2D化处理部523针对通过步骤S12415旋转后的三维模型，生成通过步骤S1231确定出的一个以上的平面上的断面图像(步骤S12416)。图37是表示使图35D所示的基准位置时的三维模型以与x轴平行并经过胚的中心的轴为旋转中心进行了旋转的结果的三维模型的立体图。在图中由虚线所示的平面上生成断面图像。如图38所示，在断面图像中，左下的细胞的轮廓清楚，在z轴上位于最高的位置处的细胞未出现，中间的2个细胞的轮廓模糊。2D化处理部523针对旋转后的三维模型，基于指定的平面和景深来生成断面图像。在此使用的景深等于图像生成系统50的景深。
比较部524对通过步骤S1232生成的水平面上的合焦图像和通过步骤S12416生成的断面图像进行比较，判定表示其差异的值是否比存储部525所存储的值小(步骤S12417)。在此，在表示差异的值为存储部525所存储的值以上的情况下(步骤S12417：否)，返回到步骤S12414。另一方面，在表示差异的值小于存储部525所存储的值的情况下(步骤S12417：是)，进入步骤S12418。此外，在存储部525中，作为初始值，例如预先存储有表示差异的值的上限值。
存储部525存储表示合焦图像与断面图像的差异的值和在步骤S12415中的三维模型的旋转中使用的旋转角度(步骤S12418)。也就是说，存储部525所存储的值被更新为表示通过步骤S1232生成的水平面上的合焦图像与通过步骤S12416生成的断面图像的差异的值。然后，返回到步骤S12414。
通过反复进行从步骤S12414到步骤S12418的比较处理，能够求出通过步骤S1232生成的合焦图像(即根据拍摄图像生成的水平面上的合焦图像)与从基准位置起旋转了多少度后的三维模型的断面图像接近。
[效果]
如上所述，根据本变形例涉及的图像生成系统50，能够根据作为对象物的初期胚中的细胞的配置来确定焦平面的位置以及角度。因此，能够生成适合于观察初期胚的合焦图像。
(其他实施方式)
以上，基于实施方式对一个或多个技术方案涉及的图像生成系统进行了说明，但本公开不限定于该实施方式。在不脱离本公开的主旨的范围内，在本实施方式中实施本领域技术人员能想到的各种变形而得到的方式、或组合不同实施方式中的构成要素而构成的方式也可以包含在一个或多个技术方案的范围内。
此外，在上述实施方式3及其变形例中，计时部430将从培养开始起的经过时间计测为培养时间，但也可以计测受精后的经过时间。该情况下，胚信息表不是保持培养时间而是保持从受精起的经过时间的信息即可。
本公开能够广泛利用于生成培养中的细胞或胚等细胞簇的图像的装置，当在恒温箱内拍摄对象物时有用。
标号的说明
10、20、30、40、50 图像生成系统
100A、200A 拍摄装置
100B、200B、300B、400B、500B 图像生成装置
101 多个照明器
101a、101b 照明器
101A LED 光源
101B 遮光板
101C 针孔
101D 准直透镜
101E 光源
101F 半球
101G 虚拟点光源
101H 平面
101J 合焦点
102 图像传感器
103、203 拍摄控制部
110、210、410、510 焦平面确定部
111 第1记录部
112 输入部
120、320、525 存储部
121 第2记录部
130、230、530 重新聚焦处理部
140、540 图像生成部
150 显示部
211、311 照明范围确定部
212、312 对象区域确定部
213、313 处理范围切取部
420 胚信息表
430 计时部
511 水平面确定部
513 细胞位置判定部
514 位置倾斜确定部
521 3D 模型数据库
522 旋转处理部
523 2D 化处理部
524 比较部
1000 对象物
1100 焦平面
1102a、1102b、1102c、1102d、1102e、1302a、1302b、1302c、1302d、1302e 点
1103a、1103b 交点
1303a 交点
3501、3502、3503、3504 细胞

Claims (9)

1.一种图像生成系统，具备多个照明器、载置对象物的图像传感器和至少一个控制电路，生成位于所述多个照明器与所述图像传感器之间的假想的焦平面上的所述对象物的合焦图像，
所述多个照明器依次对所述对象物进行照明，
每当所述多个照明器对所述对象物进行照明时，所述图像传感器取得所述对象物的拍摄图像，
所述至少一个控制电路，
(a)取得位于所述多个照明器与所述图像传感器之间的所述焦平面的信息，
(b)对构成所述合焦图像的多个像素，分别执行以下的(c)～(f)，
(c)对所述多个照明器的位置，分别执行以下的(d)～(f)，
(d)计算对象点的位置，所述对象点是连接所述焦平面上的所述像素的位置和所述照明器的位置的直线与所述图像传感器的受光面交叉的交点，
(e)基于所述图像传感器的受光面上的所述对象点的位置，计算从所述照明器的位置对所述对象物进行照明时所取得的拍摄图像中的所述对象点的辉度值，
(f)将所述对象点的辉度值适用于所述像素的辉度值，
(g)使用所述多个像素各自的辉度值的适用结果，生成所述焦平面上的所述对象物的合焦图像，
(h)输出所述生成的所述对象物的合焦图像。
2.一种图像生成系统，具备多个照明器、载置对象物的图像传感器和至少一个控制电路，生成位于所述多个照明器与所述图像传感器之间的假想的焦平面上的所述对象物的合焦图像，
所述多个照明器依次对所述对象物进行照明，
每当所述多个照明器对所述对象物进行照明时，所述图像传感器取得所述对象物的拍摄图像，
所述至少一个控制电路，
(a)取得位于所述多个照明器与所述图像传感器之间的所述焦平面的信息，
(b)对多个所述拍摄图像，分别执行以下的(c)～(f)，
(c)取得与所述拍摄图像对应的照明器的位置信息，
(d)对所述拍摄图像所包含的多个第1像素，分别执行以下的(e)～(f)，
(e)计算连接所述图像传感器的受光面上的所述第1像素的位置和所述照明器的位置的直线与所述焦平面交叉的交点的位置，
(f)对构成所述合焦图像的多个第2像素所包含的与所述焦平面上的交点的位置对应的一个以上的第2像素的辉度值，适用所述第1像素的辉度值，
(g)使用所述多个第2像素的辉度值的适用结果，生成所述焦平面上的所述对象物的合焦图像，
(h)输出所述生成的所述对象物的合焦图像。
3.根据权利要求1或2所述的图像生成系统，
所述多个照明器分别具备：
光源；和
遮光板，其位于所述光源与所述对象物之间，并具有针孔，
通过所述光源经由所述针孔对所述对象物照射漫射光。
4.根据权利要求1～3中任一项所述的图像生成系统，
所述图像生成系统还具备显示器，
所述显示器对从所述至少一个控制电路输出的所述合焦图像进行显示。
5.根据权利要求1～4中任一项所述的图像生成系统，
进一步，
基于所述焦平面的信息，确定照明位置的范围，
所述多个照明器中的与所述照明位置的范围对应的照明器依次对所述对象物进行照明。
6.一种图像生成方法，生成位于所述图像传感器上的对象物的合焦图像，所述合焦图像是位于多个照明器与图像传感器之间的假想的焦平面上的图像，所述图像生成方法包括：
(b1)取得通过所述多个照明器依次对所述对象物进行照明而拍摄到的所述对象物的多个拍摄图像；
(b2)取得位于所述多个照明器与所述图像传感器之间的所述焦平面的信息；
(b3)对构成所述合焦图像的多个像素，分别执行以下的(b4)～(b7)；
(b4)对所述多个照明器的位置，分别执行以下的(b5)～(b7)；
(b5)计算对象点的位置，所述对象点是连接所述焦平面上的所述像素的位置和所述照明器的位置的直线与所述图像传感器的受光面交叉的交点；
(b6)基于所述图像传感器的受光面上的所述对象点的位置，计算从所述照明器的位置对所述对象物进行照明时所取得的拍摄图像中的所述对象点的辉度值；
(b7)将所述对象点的辉度值适用于所述像素的辉度值；
(b8)使用所述多个像素各自的辉度值的适用结果，生成所述焦平面上的所述对象物的合焦图像；以及
(b9)输出所述生成的所述对象物的合焦图像，
所述(b1)～(b9)的至少一个通过控制电路来执行。
7.一种图像生成方法，生成位于所述图像传感器上的对象物的合焦图像，所述合焦图像是位于多个照明器与图像传感器之间的假想的焦平面上的图像，所述图像生成方法包括：
(b1)取得通过所述多个照明器依次对所述对象物进行照明而拍摄到的所述对象物的多个拍摄图像；
(b2)取得位于所述多个照明器与所述图像传感器之间的所述焦平面的信息；
(b3)对所述多个拍摄图像，分别执行以下的(b4)～(b7)；
(b4)取得与所述拍摄图像对应的照明器的位置信息；
(b5)对所述拍摄图像所包含的多个第1像素，分别执行以下的(b6)～(b7)；
(b6)计算连接所述图像传感器的受光面上的所述第1像素的位置和所述照明器的位置的直线与所述焦平面交叉的交点的位置；
(b7)对构成所述合焦图像的多个第2像素所包含的与所述焦平面上的交点的位置对应的一个以上的第2像素的辉度值，适用所述第1像素的辉度值；
(b8)使用所述多个第2像素的辉度值的适用结果，生成所述焦平面上的所述对象物的合焦图像；以及
(b9)输出所述生成的所述对象物的合焦图像，
所述(b1)～(b9)的至少一个通过控制电路来执行。
8.根据权利要求6或7所述的图像生成方法，还包括：
(a1)通过所述多个照明器依次对位于所述图像传感器上的所述对象物进行照明；和
(a2)每当通过所述多个照明器对所述对象物进行照明时，通过所述图像传感器取得所述对象物的拍摄图像，
在所述(b1)中，取得由所述图像传感器取得的所述对象物的多个拍摄图像。
9.根据权利要求6～8中任一项所述的图像生成方法，
所述对象物是细胞。
CN201611012217.XA 2016-01-06 2016-11-17 图像生成系统以及图像生成方法 Active CN106950687B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016001390 2016-01-06
JP2016-001390 2016-01-06

Publications (2)

Publication Number Publication Date
CN106950687A true CN106950687A (zh) 2017-07-14
CN106950687B CN106950687B (zh) 2021-01-01

Family

ID=59235508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611012217.XA Active CN106950687B (zh) 2016-01-06 2016-11-17 图像生成系统以及图像生成方法

Country Status (2)

Country Link
US (1) US10168523B2 (zh)
CN (1) CN106950687B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019106945A1 (ja) * 2017-11-28 2020-12-17 パナソニックＩｐマネジメント株式会社 培養状態判定装置、培養状態判定方法及びプログラム
JP7409014B2 (ja) * 2019-10-31 2024-01-09 富士フイルムビジネスイノベーション株式会社 表示装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202005011807U1 (de) * 2005-07-25 2005-12-22 Carl Mahr Holding Gmbh Dunkelfeld-Beleuchtungseinrichtung
CN102802520A (zh) * 2009-06-17 2012-11-28 3形状股份有限公司 聚焦扫描设备
CN104040243A (zh) * 2012-01-12 2014-09-10 奥林巴斯株式会社 照明装置
CN104503070A (zh) * 2014-12-10 2015-04-08 上海交通大学 一种基于压缩感知的宽视场显微成像系统及方法
CN105007392A (zh) * 2014-04-25 2015-10-28 松下知识产权经营株式会社 图像形成装置、图像形成方法、图像形成系统
US20150331228A1 (en) * 2014-05-13 2015-11-19 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2910123B1 (fr) * 2006-12-19 2009-01-23 Phosylab Sarl Procede optico-informatique de mesure 3d de la surface exterieure d'un objet en relief par projection de franges et utilisation d'une methode a decalage de phase, systeme correspondant
US9643184B2 (en) * 2010-10-26 2017-05-09 California Institute Of Technology e-Petri dishes, devices, and systems having a light detector for sampling a sequence of sub-pixel shifted projection images
US9569664B2 (en) 2010-10-26 2017-02-14 California Institute Of Technology Methods for rapid distinction between debris and growing cells
US9605941B2 (en) * 2011-01-06 2017-03-28 The Regents Of The University Of California Lens-free tomographic imaging devices and methods
US8866063B2 (en) * 2011-03-31 2014-10-21 The Regents Of The University Of California Lens-free wide-field super-resolution imaging device
JP5891719B2 (ja) 2011-11-08 2016-03-23 大日本印刷株式会社 細胞断面解析装置、細胞断面解析方法、及び細胞断面解析プログラム
EP2833637A1 (en) * 2013-07-31 2015-02-04 Thomson Licensing Method for processing a current image of an image sequence, and corresponding computer program and processing device
WO2016067508A1 (ja) * 2014-10-27 2016-05-06 パナソニックＩｐマネジメント株式会社 画像形成システム、画像形成方法、撮像素子、およびプログラム
US20170168285A1 (en) * 2015-12-14 2017-06-15 The Regents Of The University Of California Systems and methods for image reconstruction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202005011807U1 (de) * 2005-07-25 2005-12-22 Carl Mahr Holding Gmbh Dunkelfeld-Beleuchtungseinrichtung
CN102802520A (zh) * 2009-06-17 2012-11-28 3形状股份有限公司 聚焦扫描设备
CN104040243A (zh) * 2012-01-12 2014-09-10 奥林巴斯株式会社 照明装置
CN105007392A (zh) * 2014-04-25 2015-10-28 松下知识产权经营株式会社 图像形成装置、图像形成方法、图像形成系统
US20150331228A1 (en) * 2014-05-13 2015-11-19 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
CN104503070A (zh) * 2014-12-10 2015-04-08 上海交通大学 一种基于压缩感知的宽视场显微成像系统及方法

Also Published As

Publication number Publication date
CN106950687B (zh) 2021-01-01
US20170192219A1 (en) 2017-07-06
US10168523B2 (en) 2019-01-01

Similar Documents

Publication Publication Date Title
JP6765057B2 (ja) 画像生成装置、画像生成方法およびプログラム
US7253832B2 (en) Shape extraction system and 3-D (three dimension) information acquisition system using the same
CN107205113A (zh) 图像生成装置、图像生成方法及程序
JP6739061B2 (ja) 画像生成装置、画像生成方法及びプログラム
CN108463992A (zh) 多孔径成像装置、成像系统及用于检测目标区域的方法
WO2018144930A1 (en) Three-dimensional scanning device and methods
US20230262188A1 (en) Background display system
JP2024019210A (ja) 撮像装置、画像生成方法およびコンピュータプログラム
CN107194881A (zh) 一种基于光度立体的去除图像反光装置及方法
JP6394960B2 (ja) 画像形成装置および画像形成方法
CN106950687A (zh) 图像生成系统以及图像生成方法
CN107228625A (zh) 三维重建方法、装置及设备
US8184364B2 (en) Illuminator for a 3-D optical microscope
CN108206944A (zh) 评价发散光式散斑投射器的投影清晰度的方法和系统
JP6767689B2 (ja) 画像生成システム及び画像生成方法
CN110248056A (zh) 图像检查装置
JP2018146959A (ja) 画像生成装置及び画像生成方法
US10241315B2 (en) Image acquisition device, image forming system, and image forming method
WO2023104929A1 (en) Intraoral scanner, intraoral scanning system, method for performing intraoral scans and computer program product
KR101987922B1 (ko) 라이트 셀의 능동적 제어를 통한 자동 이미지 캡쳐 시스템
KR20170057713A (ko) 플로팅 홀로그램 장치 및 플로팅 홀로그램 구현 방법
JP3639869B2 (ja) 対象物表面の色を再現した立体画像を作成する立体観察装置および方法
TW556119B (en) Exhibiting method for 3D model in transparent object, transparent object exhibiting 3D model, and the ordering system
FR2963836A1 (fr) Boite a lumiere pour la capture d’images d’un objet et sa visualisation animee
JPH08323948A (ja) 木目化粧材およびその製造方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant