CN105247852B - 图像获取装置、图像获取方法以及记录介质 - Google Patents

图像获取装置、图像获取方法以及记录介质 Download PDF

Info

Publication number
CN105247852B
CN105247852B CN201480031057.6A CN201480031057A CN105247852B CN 105247852 B CN105247852 B CN 105247852B CN 201480031057 A CN201480031057 A CN 201480031057A CN 105247852 B CN105247852 B CN 105247852B
Authority
CN
China
Prior art keywords
subject
light
illumination
image
photographing element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480031057.6A
Other languages
English (en)
Other versions
CN105247852A (zh
Inventor
足立安比古
泽田好秀
佐藤佳州
本村秀人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN105247852A publication Critical patent/CN105247852A/zh
Application granted granted Critical
Publication of CN105247852B publication Critical patent/CN105247852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Facsimile Heads (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本公开的实施方式具备：照明系统，以被摄体为基准从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体；摄像元件，被配置在透过了被摄体的所述照明光所入射的位置，根据所述不同的照射方向来获取不同的多个图像；图像处理部，基于所述多个图像来形成分辨率比所述多个图像的各个图像有提升的所述被摄体的高分辨率图像；存储器，保存针对所述多个照射方向的各个照射方向来表示通过所述摄像元件的各像素中所含的多个子像素的上表面的光线入射至所述像素的光电变换部的比例的数据。图像处理部将构成所述多个图像的各个图像的像素值的与所述多个照射方向相应的组设为向量，基于从所述存储器读出的所述数据来形成被摄体的高分辨率图像。

Description

图像获取装置、图像获取方法以及记录介质
技术领域
本申请涉及图像获取装置、图像获取方法以及程序。
背景技术
对于摄像装置所使用的摄像元件，采用的是多个光电变换部在摄像面内被排列为行以及列状的二维图像传感器。光电变换部典型的是形成于半导体层或者半导体基板的光电二极管，接受入射光来生成电荷。二维图像传感器的分辨率(resolution)依赖于摄像面上的光电变换部的排列间距或者排列密度。各个光电变换部的排列间距已短至可见光的波长程度，因此使得分辨率进一步提升极为困难。
由摄像元件获取的图像通过多个像素来规定。各像素通过包含一个光电变换部的单位区域来划分。在摄像面上，由于存在布线所占有的区域，因此一个光电变换部的受光面积S2小于一个像素的面积S1。受光面积S2相对于像素的面积S1的比率(S2/S1)被称作“开口率”。开口率(S2/S1)例如可取25％左右的值。若开口率小，则用于光电变换的入射光量少，因此摄像元件所输出的像素信号的质量下降。如果采用以与摄像面对置的方式配置微透镜阵列，各个微透镜与各个光电变换部对置来进行聚光的构成，则实际上能够有效地扩大受光面积S2，提高开口率(S2/S1)以接近于1。但是，即便如此提高开口率(S2/S1)，像素的排列间距以及排列密度也不会增加，因此分辨率不变化。
专利文献1公开了基于超分辨率技术的高分辨率化。其中，为了在这种高分辨率化中进行去卷积的恢复，需要求出点扩展函数(Point Spread Function：PSF)。例如，实际决定PSF时需要利用点状的光源，提出了使用量子点、荧光珠来求出PSF的方案。
在先专利文献
专利文献
专利文献1：日本特开2006-140885号公报
发明内容
发明要解决的课题
准确地求出PSF较为困难。此外，PSF的大小与摄影倍率成比例，因此PSF的测定误差与摄影倍率成比例地增大，其结果导致高分辨率图像的画质与分辨率成比例地劣化。
用于解决课题的手段
本公开的一形态的图像获取装置具备：照明系统，其以被摄体为基准而从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体；摄像元件，其被配置在透过了所述被摄体的所述照明光所入射的位置，并根据所述不同的照射方向来获取不同的多个图像；图像处理部，其基于所述多个图像来形成分辨率比所述多个图像的各个图像有提升的所述被摄体的高分辨率图像；和存储器，其保存针对所述多个照射方向的各个照射方向来表示通过所述摄像元件的各像素中所含的多个子像素的上表面的光线入射至所述像素的光电变换部的比例的数据，所述图像处理部将构成所述多个图像的各个图像的像素值的、与所述多个照射方向相应的组设为向量，基于从所述存储器读出的所述数据来形成所述被摄体的高分辨率图像。
本公开的一形态的图像获取方法被设定为包括：以被摄体为基准而从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体的步骤；利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像装置，根据所述不同的照射方向来获取不同的多个图像的步骤；基于所述多个图像来形成分辨率比所述多个图像的各个图像有提升的所述被摄体的高分辨率图像的步骤；和在存储器中保存针对所述多个照射方向的各个照射方向来表示通过所述摄像元件的各像素中所含的多个子像素的上表面的光线入射至所述像素的光电变换部的比例的数据的步骤，将构成所述多个图像的各个图像的像素值的、与所述多个照射方向相应的组设为向量，基于从所述存储器读出的所述数据，将以所述比例为系数的矩阵的逆矩阵与所述像素值的向量进行运算，来形成所述被摄体的高分辨率图像。
本公开的一形态的图像获取装置具备：照明装置、摄像元件和计算机，所述计算机被设定为：利用所述照明装置，以被摄体为基准而从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体，利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像装置，根据所述不同的照射方向来获取不同的多个图像，基于所述多个图像来形成分辨率比所述多个图像的各个图像有提升的所述被摄体的高分辨率图像，在存储器中保存针对所述多个照射方向的各个照射方向来表示通过所述摄像元件的各像素中所含的多个子像素的上表面的光线入射至所述像素的光电变换部的比例的数据，所述图像处理部将构成所述多个图像的各个图像的像素值的、与所述多个照射方向相应的组设为向量，基于从所述存储器读出的所述数据，将以所述比例为系数的矩阵的逆矩阵与所述像素值的向量进行运算，来形成所述被摄体的高分辨率图像。
本公开的一形态的程序是具备照明装置、摄像元件和计算机的图像获取装置用的程序，该程序被构成为：利用所述照明装置，以被摄体为基准而从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体，利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像装置，根据所述不同的照射方向来获取不同的多个图像，基于所述多个图像来形成分辨率比所述多个图像的各个图像有提升的所述被摄体的高分辨率图像，在存储器中保存针对所述多个照射方向的各个照射方向来表示通过所述摄像元件的各像素中所含的多个子像素的上表面的光线入射至所述像素的光电变换部的比例的数据，所述图像处理部将构成所述多个图像的各个图像的像素值的、与所述多个照射方向相应的组设为向量，基于从所述存储器读出的所述数据，将以所述比例为系数的矩阵的逆矩阵与所述像素值的向量进行运算，来形成所述被摄体的高分辨率图像。
本公开的一形态的图像获取装置具备：光源，其向被摄体照射光，并且姿势以及位置被固定；倾斜机构，其使所述被摄体倾斜为多个倾斜角度；摄像元件，其被配置在透过了所述被摄体的所述光所入射的位置，并且利用所述倾斜机构而与所述被摄体一体地倾斜，根据所述多个倾斜角度来获取多个图像；图像处理部，其基于所述多个图像来形成分辨率比所述多个图像的各个图像有提升的所述被摄体的高分辨率图像；和存储器，其针对所述多个倾斜角度的各个倾斜角度来表示通过所述摄像元件的各像素中所含的多个子像素的上表面的光线入射至所述像素的光电变换部的比例的数据，所述图像处理部将构成所述多个图像的各个图像的像素值的、与所述多个倾斜角度相应的组设为向量，并基于从所述存储器读出的所述数据来形成所述被摄体的高分辨率图像。
发明效果
根据本公开的实施方式，能够通过对由一个摄像元件获得的多个低分辨率图像进行合成来实现高分辨率化。
附图说明
图1是示意性地表示摄像元件中的光电二极管的排列例的俯视图。
图2是示意性地表示摄像元件中的一个像素和开口区域的关系的俯视图。
图3是示意性地表示摄像元件中的一个像素和开口区域的关系的剖视图。
图4A是用于说明本公开的图像获取装置的构成以及动作的剖视图。
图4B是用于说明本公开的图像获取装置的构成以及动作的剖视图。
图5A是表示本公开的图像获取装置中的照明的示例的图。
图5B是表示本公开的图像获取装置中的照明的示例的图。
图5C是表示本公开的图像获取装置中的照明的示例的图。
图6是表示本公开的图像获取装置中的照明的其他示例的图。
图7是表示本公开之中的摄像元件中的光线入射的示例的剖视图。
图8是表示本公开之中的摄像元件中的光线入射的其他示例的剖视图。
图9是表示本公开之中的摄像元件中的光线入射的进一步的其他示例的剖视图。
图10是表示本公开之中的摄像元件中的光线入射的进一步的其他示例的剖视图。
图11是表示本公开之中的摄像元件中的通过了被摄体的光线入射的示例的剖视图。
图12A是表示针对照射方向J1～J4的各个照射方向而通过拍摄获得的光电二极管40的输出值A1～A4和透过率S1～S4的关系的表格。
图12B是表示针对N个像素且针对照射方向J1～J4的各个照射方向而通过拍摄获得的光电二极管40的输出值和透过率S1～S4的关系的表格。
图13A是表示针对照射方向J1～J5的各个照射方向而通过拍摄获得的光电二极管40的输出值A1～A5和透过率S1～S4的关系的表格。
图13B是表示针对N个像素且针对照射方向J1～J5的各个照射方向而通过拍摄获得的光电二极管40的输出值和透过率S1～S4的关系的表格。
图14是表示针对照射方向J1～J3的各个照射方向而通过拍摄获得的光电二极管40的输出值A1～A3和透过率S1～S2的关系的表格。
图15是对图14的表格所示的关系进行规定的条件式。
图16是在横轴为S1、纵轴为S2的二维坐标平面上绘制了由图15的3个条件式所表示的3条直线的图表。
图17是表示第一实施方式所涉及的图像获取装置的简要构成的框图。
图18是表示第一实施方式所涉及的图像获取装置中的光源的位置偏离所引起的光线入射位置的误差的剖视图。
图19是表示第一实施方式所涉及的图像获取装置中的从点光源射出的光束的扩展所引起的光线入射位置的偏移的剖视图。
图20是表示可设为利用了矩阵的运算的对象的计算范围的示例的图。
图21是表示设有遮光部的摄像元件的一例的立体图。
图22是表示设有遮光部的摄像元件的一例的剖视图。
图23是表示第一实施方式所涉及的图像获取装置的动作的流程图。
图24是表示第二实施方式所涉及的图像获取装置的简要构成的框图。
图25是表示第二实施方式所涉及的图像获取装置的动作的流程图。
图26是表示用于获取放大率为2倍的高分辨率图像的放大图像2801的获取方法的图。
图27是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的改变例的图。
图28是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的其他改变例的图。
图29是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图30是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图31是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图32是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图33是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图34是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图35是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图36是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图37是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图38是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图39是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
具体实施方式
在说明本公开的图像获取装置的实施方式之前，首先说明摄像元件的基本构成例。
图1是示意性地表示作为摄像元件113的一例的CCD图像传感器的摄像面的一部分的俯视图。如图1所示，在摄像面上多个光电二极管(光电变换部)40被排列成行以及列状。在图1中，一个像素50由虚线的矩形区域来表示。在摄像面上，多个像素50密集地排列成行以及列状。
入射至各光电二极管40的光在光电二极管40内生成电荷。所生成的电荷的量根据入射至该光电二极管40的光的量而变化。各光电二极管40所生成的电荷在沿着纵向延伸的垂直电荷转移路径44上移动，在垂直电荷转移路径44上被依次转移后移动至水平电荷转移路径46。接下来，电荷在沿着横向延伸的水平电荷转移路径46上转移，从水平电荷转移路径46的一端作为像素信号而输出至摄像元件113的外部。在电荷转移路径44、46上排列有未图示的转移电极。其中，本公开的图像获取装置所使用的摄像元件113的构成并不限于上述示例。电可以取代CCD图像传感器而使用MOS型图像传感器。
摄像面内的光电二极管40的排列间距无需在垂直方向以及水平方向上一致。在本说明书中，为了简化说明，假设光电二极管40的排列间距在垂直方向以及水平方向上相等，均具有大小K[μm]。
图2是示意性地表示一个像素50和该像素50中所含的光电二极管40的俯视图。该示例中的各像素的尺寸为K[μm]×K[μm]。此外，光电二极管40的尺寸(受光区域的尺寸)为P[μm]×P[μm]。因此，一个像素的面积用S1＝K×K来表示，一个光电二极管40的面积用S2＝P×P来表示。此外，根据本实施方式，分辨率不是根据像素间距来决定的，而是根据光电二极管40的尺寸(受光区域的尺寸)来决定的。但是，如果考虑到使用于照明的可见光的波长，则本实施方式中的光电二极管40的尺寸P可设定为0.1μm以上。
在本公开的图像获取装置中，未设置与各个光电二极管40对应的微透镜。因而，各像素50之中光电二极管40的受光区域(P×P的区域)以外的区域为“遮光区域”，入射至遮光区域的光不被光电变换，不形成像素信号。由P[μm]×P[μm]所表示的受光区域也可以称作“开口区域”。各个像素50中的光电二极管40的位置、形状以及大小并不限定于图2所示的示例。
像素区域以及光电二极管在摄像面上典型地具有矩形的形状。在此情况下，若将n、m设为实数，则能够由(1/n)来表示摄像面内的水平方向上的光电二极管的尺寸相对于像素区域的尺寸的比率，由(1/m)来表示摄像面内的垂直方向上的光电二极管的尺寸相对于像素区域的尺寸的比率。此时，开口率由(1/n)×(1/m)来表示。n、m均可为2以上的实数。
图3是示意性地表示摄像元件113中所含的一个像素50的剖面构成的示例的剖视图。如图3所示，摄像元件具备：半导体基板400、形成于半导体基板400的表面的光电二极管(PD)40、被支承于半导体基板400的布线层402、覆盖布线层402的遮光层42、和覆盖半导体基板400的光入射侧面的透明层406。在图3中，示出与单一的像素对应的部分的剖面，因此仅图示出一个光电二极管40，但实际上在一个半导体基板400形成有多个光电二极管40。另外，在摄像元件113为CCD图像传感器的情况下，在半导体基板400中，在布线层402的下部形成有作为垂直或者水平电荷转移路径发挥功能的杂质扩散层(未图示)。布线层402与排列在电荷转移路径上的未图示的电极连接。另外，在摄像元件113为MOS型图像传感器的情况下，在半导体基板400以像素为单位而形成有MOS型晶体管(未图示)。MOS型晶体管作为用于读出对应的光电二极管40的电荷的开关元件来发挥功能。
摄像元件113中的光电二极管40以外的构成要素由遮光层42来覆盖。在图3的示例中，由遮光层42覆盖的区域被涂黑。
可使用于本实施方式的摄像元件的构成并不限定于上述示例，也可以为背面照射型的CCD图像传感器或者背面照射型的MOS型图像传感器。
接下来，参照图4A以及图4B来说明本公开的图像获取装置的简要构成例。图4A以及图4B分别是示意性地表示本公开的图像获取装置的简要构成例的剖视图。
图示的图像获取装置具备：照明装置111，其以被摄体30为基准而从多个不同的光源方向(照射方向)依次射出照明光，以该照明光来照射被摄体30；和摄像元件113，其被配置在透过了被摄体30的照明光所入射的位置，并根据不同的照射方向来获取不同的多个图像。此外，该图像获取装置还具备：图像处理部12，其基于根据不同的照射方向而获取到的多个图像来形成高分辨率图像。该图像处理部12能够形成分辨率(resolution)比从摄像元件113获得的多个图像的各个图像高的所述被摄体的高分辨率图像。图像处理部12可由通用或者专用的计算机来实现。
在摄像元件113获取第1图像时(图4A)，照明装置111使照明光相对于被摄体30而从第1方向入射。此外，在摄像元件113获取第2图像时(图4B)，照明装置111使照明光相对于被摄体30而从第2方向入射。图4A以及图4B所示的光线之中入射至遮光层42的光线不被利用在图像的获取中。换言之，从照明装置111射出的光之中仅通过入射至光电二极管40的光线来获取各图像。
如果光线相对于被摄体30的入射方向差异较大，则存在入射至光电二极管40的光线透过被摄体30的区域不同的情况。但是，在本实施方式的图像获取装置中，在摄像元件113获取多个图像的期间，调整多个照射方向，使得通过了被摄体30的同一部分的光线中的至少一部分有时也入射至摄像元件113的光电变换部。另外，本公开的图像获取装置可拍摄的被摄体30是至少一部分包含可透过光线的区域的物体。被摄体30可为包含厚度为几μm的病理标本的载片。被摄体30的形状并不限定为板状，也可以为粉末、液体。摄像面的法线方向上的被摄体30的尺寸例如为2μm以下。
接下来，参照图5A、图5B以及图5C来说明照明装置111的第1构成例。
第1构成例中的照明装置111具有多个光源(照明光源)10a、10b、10c。这些光源10a、10b、10c被配置在与多个不同的照射方向对应的不同位置，且依次点亮。例如，在光源10a点亮时，如图5A所示，从光源10a射出光，以该光来照射被摄体30。在图5A～5C中，虽然示出了来自光源10a、10b、10c的光发散，但实际上从光源10a、10b、10c至摄像元件113为止的距离足够长，可以认为实质上平行的光入射至被摄体30以及摄像元件113。此外，也可以通过未图示的镜头等的光学系统，使得从光源10a、10b、10c辐射的光汇聚成平行光或者接近平行光的光。因此，光源10a、10b、10c既可以为点光源也可以为面光源。被摄体30被放置在摄像元件113的上表面上。摄像元件113的上表面在图5A中由虚线来表示，作为被摄体支承部112来发挥功能。
首先，如果在以来自光源10a的光照射了被摄体30的状态下进行摄像元件113的摄像，则接下来例如光源10b点亮，光源10a以及光源10c变为熄灭状态。此时，如图5B所示，从光源10b射出光，以该光来照射被摄体30。如果在以来自光源10b的光照射了被摄体30的状态下进行摄像元件113的摄像，则接下来光源10c点亮，光源10a以及光源10b变为熄灭状态。此时，如图5C所示，从光源10c射出光，以该光来照射被摄体30。在该状态下，还进行摄像元件113的摄像。
在图5A～5C的示例中，从3个不同的照射方向照射被摄体30，每次均要进行摄像，因此获取合计3张图像。照明装置111所具有的光源的个数并不限定为3个。此外，发光波长不同的多个光源电可以在同一照射方向上靠近配置。例如，若预先在图5A的光源10a的位置及其附近配置红色、绿色以及蓝色的光源(RGB光源)，则在图5A所示的状态下依次照射红色、绿色以及蓝色的光，从而可以获取3张图像。若能够获取这3张图像，则只是重叠这3张图像便能够获得全彩色图像。这样的图像为时间连续的彩色图像。在此情况下，如果使RGB光源同时点亮，则这些光源整体上可作为一个白色光源来发挥功能。此外，如果在摄像元件配置有滤色器，则作为光源也可以使用白色光源。
另外，照明装置111所具有的光源的波长并不限定于可见光域，也可以为红外或者紫外。此外，从各光源既可以射出白色的光，也可以射出蓝绿色、品红色、黄色等的光。
接下来，参照图6。图6示意性地表示照明装置111的第2构成例。图6的构成例中的照明装置111具有被支承为能移动的至少一个光源10。通过使该光源10移动，能够从多个照射方向中所含的任意方向射出光，并以该光来照射被摄体30。
另外，在图5A～5C的示例中，光源10a、10b、10c也无需被固定在特定位置，可以被支承为能移动。进而，也可以经由反射镜等的驱动光学系统来变更从被固定的一个光源10射出的光束的光路，由此使得从不同的方向入射至被摄体30。
在图5A～5C的示例以及图6的示例中，虽然照射方向在与附图的纸面平行的面内发生变化，但照射方向也可以是相对于该面而倾斜的方向。其中，以下，为了简化说明，针对摄像面上的一维方向上的放大(高分辨率化)来进行说明。在要放大的倍率为n(n为2以上的整数)倍时，可使用至少n2个光源数。
另外，照明光的“照射方向”由光源以及与被摄体(摄像面)的相对配置关系来决定。将以摄像面为基准而入射至摄像面的照明光的光线的方向定义为“照射方向”。在将摄像面上的水平方向设为X轴、将垂直方向设为Y轴、将摄像面的法线方向设为Z轴时，照射方向可由XYZ坐标内的向量来确定。照射方向是任意的，照射方向的数目也是任意的。
与摄像面垂直的“照射方向”可由向量(0，0，1)来表现。如果将从摄像面至被摄体为止的距离设为L，则16种照射方向θ1～θ16例如分别可由(0，0，L)、(K/4，0，L)、(2K/4，0，L)、(3K/4，0，L)、(0，K/4，L)、(K/4，K/4，L)、(2K/4，K/4，L)、(3K/4，K/4，L)、(0，2K/4，L)、(K/4，2K/4，L)、(2K/4，2K/4，L)、(3K/4，2K/4，L)、(0，3K/4，L)、(K/4，3K/4，L)、(2K/4，3K/4，L)、(3K/4，3K/4，L)的向量来表现。也可以是同一图像可取的其他角度。
接下来，参照图7～图9来说明照明光的入射方向。在这些图中，记载了入射至所关注的光电二极管40的光。
首先，参照图7。为了说明高分辨率化的原理，认为在摄像元件113的各像素中包含多个子像素。多个子像素区域的个数不是摄像元件113的构造所固有的，可依赖于在拍摄时改变照射方向所进行的光照射的次数来设定。在图7的示例中，在1个像素50中包含4个子像素50a、50b、50c、50d。由于在一个像素中包含一个光电二极管40，因此在通常的拍摄中，无法从被摄体30单独地获取与子像素50a、50b、50c、50d对应的细小区域的信息。即，在本说明书中，“摄像元件的各像素中所含的多个子像素”是将分配给摄像元件的各个光电二极管的1个像素的区域划分为多个的部分。
被摄体30在拍摄时可配置为与摄像元件113的上表面48相接或者靠近上表面48。因而，摄像元件113的上表面48可作为被摄体支承部(被摄体支承面)来发挥功能。将子像素50a、50b、50c、50d之中位于摄像元件113的上表面48的面定义为“子像素的上表面”。
在图7的示例中，在1个像素50中4个子像素50a、50b、50c、50d沿着图7的X轴方向而排列，但子像素的排列图案是任意的。子像素可根据摄像面的扩展而呈二维排列。在此，为了简化说明，认为由沿着X轴方向呈一维配置的4个子图像来构成各像素，此外试着仅关注于一个像素。
接下来，参照图8～图10来研究根据照明光的入射方向(照射方向)而通过了子像素50a、50b、50c、50d的各个上表面的光线以何种比例入射至光电二极管40。在图示的状态下，被摄体30未被放置在摄像元件113上。
图8所示的照明光垂直地入射至摄像面。这样的照明例如可通过以从图5A的光源10a射出的光来照射摄像元件113而实现。此时，通过了子像素50a、50b、50c、50d的各个上表面的光线分别以1/2、1、1/2、0的比例入射至光电二极管40。例如，如果将通过子像素50b的上表面并入射至光电二极管40的光的量设为基准值1，则通过子像素50a的上表面并入射至光电二极管40的光的量为1/2。通过了子像素50c的上表面的光的一半虽然入射至光电二极管40，但剩余的一半却入射至遮光膜42。通过了子像素50d的上表面的所有光并未入射至光电二极管40，而是入射至遮光膜42。规定上述“比例”的数值“1/2、1、1/2、0”终归为一例，既可以由利用3以上的整数的分数来表现，也可以由小数来表现。该“比例”在摄像装置113具有不同构造的情况例如开口率不同的情况下可变化。
接下来，参照图9。图9所示的照明光相对于摄像面而倾斜地入射。这样的照明例如可通过以从图5C的光源10c射出的光来照射摄像元件113而实现。在该示例中，通过了子像素50a、50b、50c、50d的各个上表面的光线分别以1、1/2、0、0的比例入射至光电二极管40。
接下来，参照图10。图10所示的照明光从与图9的示例相反的照射方向相对于摄像面而倾斜地入射。这样的照明例如可通过以从图5B的光源10b射出的光来照射摄像元件113而实现。在该示例中，通过了子像素50a、50b、50c、50d的各个上表面的光线分别以0、0、1/2、1的比例入射至光电二极管40。
通过调整照射方向，能够从多个任意方向而向摄像元件113入射光。并且，能够根据多个照射方向来求出上述“比例”。如果摄像元件113的构造已知，则可通过计算、计算机仿真来决定该“比例”，此外也可以利用校正用样本而通过实际测量来决定。
图11示出将被摄体30配置在摄像元件113的上表面48上，并以来自与摄像面垂直的照射方向的光来照射被摄体30的状态。将被摄体30之中与子像素50a、50b、50c、50d的各个上表面对置的部分称作被摄体30的子像素部分S1～S4。此外，将子像素部分S1～S4的光透过率分别表现为S1～S4。被摄体30的透过率S1～S4依赖于被摄体30的组织或者构造，相当于被摄体30的高清晰图像中的像素信息。分别透过被摄体30的子像素部分S1～S4并入射至光电二极管40的光的量，可在透过率S1～S4上乘以上述“比例”所得的值来表现。在规定“比例”的数值分别为1/2、1、1/2、0的情况下，分别透过子像素部分S1～S4并入射至光电二极管40的光的量为S1/2、S2、S3/2、0。即，光电二极管40的输出具有与S1/2+S2+S3/2对应的大小。
这样，在一个光电二极管40中可入射分别透过了被摄体30中的子像素部分S1～S4的光线，因此在该光电二极管40的输出值上卷积有子像素部分S1～S4的信息(透过率)。因此，也可以将上述的例如“1/2、1、1/2、0”这样的数集称作“卷积比例”。这样的数集能够作为向量来处理。
针对不同的照射方向进行被摄体30的拍摄，如果获取多个光电二极管40的输出值以成为透过率S1～S4的数目以上的独立向量集，则能够通过运算来决定透过率S1～S4。
图12A是表示针对照射方向J1～J4的各个照射方向而通过拍摄获得的光电二极管40的输出值A1～A4和透过率S1～S4的关系的表格。如果将j设为1～4，则能够将A1～A4的集合记载为Aj。Aj为向量。
将图12A的表格所示的由4行4列的数值构成的矩阵表现为矩阵Mi j。在此，i等于分配给1个像素的子像素的个数。能够用Si来表现由作为未知数的透过率S1～S4构成的向量。此时，Mi jSi＝Aj的式子成立。
Mi jSi＝Aj的式子是针对所有像素而成立的。在此，与所关注的像素相关的子像素包含周围，如果关注所有像素，则成为整体的联立方程式。如果像素的个数为N个，则如图12B的表格所示，能够扩张矩阵，成为Mij kSi＝Aj k。图12B的N是成为运算对象的图像的像素数，j是对N个像素中所含的像素进行确定的1以上且N以下的数，k为刚才的j。
如果确定了矩阵Mij k，则对于通过拍摄所获得的向量Aj k来运算矩阵Mij k的逆矩阵而能够求出向量Si。
在上述的方法中，为了获得倍率n的高分辨率图像，从n2个不同的光源位置向被摄体照射光，获得n2张图像。在此情况下，需要事前针对由矩阵Mi j的数值所表现的“卷积比例”进行校正。
另一方面，作为其他的方法，存在通过增加光源来自动地校正的方法。
一般而言，矩阵Mi j的数值存在误差，在进行用于求出向量Si的逆矩阵运算时，若对该误差进行评价，则能够求出更接近真值的解，来进行装置的校正。以下，对该点进行说明。
在从与倍率n相同数目的n个光源向被摄体照射光的情况下(图12A、图12B)，无法通过计算来求出矩阵Mi j的数值中可含的误差或进行其校正。但是，在倍率为n时，如果准备多于n2个的光源、具体为((n+1)×(n+1)-1)个以上的光源，则无需关于矩阵Mi j的数值的事前校正。
为了抑制矩阵Mi j的数值的误差所引起的影响，例如如图13A、图13B的表格所示那样增加一个照射方向来进行拍摄即可。以下，为了简化说明，关于倍率n为2的情况来说明此点。即，说明将子像素数设为2个并从不同的3个照射方向J1、J2、J3向被摄体照射照明光的示例。
图14的表格示出该情况下的“比例”的数值例。未知数为S1以及S2。以来自照射方向J1的照明光进行拍摄时所获得的像素值为A1，以来自照射方向J2的照明光进行拍摄时所获得的像素值为A2，以来自照射方向J3的照明光进行拍摄时所获得的像素值为A3。在A1、A2、A3中输入通过拍摄所测定出的具体数值。
图15示出在S1、S2、A1、A2、以及A3之间成立的3个联立方程式。式中的S1以及S2的系数等于图14所示的“比例”的数值。为了求出2个未知数S1以及S2，理想上存在2个联立方程式即可。但是，如图15所示那样利用3个联立方程式，从而即便是图14所示的“比例”的数值存在误差的情况，也能够求出接近真值的解。
图16是在横轴为S1、纵轴为S2的二维坐标平面上绘制了由图15的3个式子所表示的3条直线的图表。如果图14所示的“比例”不存在误差，则图16的3条直线相交于1点，该一点的坐标相当于要求出的解。但是，由于误差，在图16的图表中观测到3个交点。这3个交点应该位于真值的附近。因而，也可以将被3条直线包围的三角形区域的中央的点选择为3个联立方程式的解。解也可以作为与3条直线的距离的平方和为最小的点来求出。如此决定出的解为S1以及S2的估计值。如图16所示，能够将从估计出的解至3条直线为止的距离定义为“误差”。
根据本公开，被摄体30的像通过透过被摄体30的实质上平行的光线(例如发散角度为1/100弧度以下)来获取。无需在被摄体30与摄像元件113之间配置用于成像的透镜，被摄体30可配置为靠近摄像元件113。从摄像元件113的摄像面至被摄体30为止的距离典型的为100μm以下，例如可设定为1μm左右。
例如，通过来自不同的25个方向的光照射可以实现最大5倍的高分辨率化。在将N设为2以上的整数时，如果从N＾2个不同方向照射光来进行拍摄，则可以实现最大N倍的高分辨率化。针对某被摄体30进行N倍的高分辨率化，对应于各像素包含N＾2个子像素的情形。在照明装置111中，例如从配置在5行5列的位置处的25个光源向被摄体30依次照射光并获取25张低分辨率图像的情况下，对应于各像素包含5行5列的子像素的情形。
根据本公开的摄像装置，在改变照明光的方向的同时获取多个低分辨率图像的期间，优选被摄体30不移动或变形。
如以上说明可知，适当设定照射被摄体30的光的方向较为重要。此外，被摄体30以及摄像元件113可由遮挡外部光的壁面来包围，使得至少在拍摄时用于照明的光以外的光不入射至被摄体30。
以下，更详细地说明本公开的实施方式。
(第一实施方式)
参照图17来说明本公开的第一实施方式所涉及的图像获取装置。图17是本实施方式中的图像获取装置的框图。如图17所示，图像获取装置1具备：摄像处理部11，其具有照明功能以及摄像功能；图像处理部12，其根据由摄像处理部11获得的低分辨率图像来生成高分辨率图像并输出；和存储装置13，其存储光源位置信息以及低分辨率图像。
摄像处理部11具备：照明装置111、被摄体支承部112和摄像元件113。照明装置111具有前述的构成，能够从多个方向向被摄体照射给定照度的平行光(例如发散角度为1/100弧度以下)。该被摄体支承部112支承被摄体，使得从摄像元件113的摄像面至被摄体为止的距离为10mm以下(典型的是1mm以下)。
本实施方式的照明装置111具有LED作为光源。照明装置111具有RGB的3色的LED，分别配置在多个位置。作为光源，也可以取代LED而利用白炽灯、激光二极管、光纤激光器。在利用白炽灯的情况下，可以使用将从白炽灯辐射的光变换为平行光的透镜或者反射镜。光源可以发出红外光、紫外光。也可以在光路上配置有用于对从光源辐射的光的波长进行变换或者过滤的滤色器。在本实施方式中，在25处的不同光源位置配置有25组的光源。
照明装置111既可以如图5A～5C所示那样具有多个光源，也可以如图6所示那样具有被支承为能移动的光源以使入射至被摄体的光的方向变化。
被摄体支承部112是在拍摄中支承被摄体的部件，可以为摄像元件113的上表面。也可以具有保持这些部件的机构以使在拍摄中被摄体的位置不发生变化。被摄体支承部112可构成为在摄像元件113上几乎无间隙地配置被摄体30。
图18是表示配置在摄像元件113上的被摄体30和光源10的配置关系的图。
光源10和被摄体30的间隔D例如可设定为1m以上。为了抑制图像的模糊，从摄像元件113的摄像面至被摄体30为止的距离L被设定为100μm(＝1×10-4m)以下，例如被设定为1μm(＝1×10-6m)。在D＝1m、L＝1×10-6m的情况下，关于从光源10射出并通过被摄体30的位置A的光线，如果光源10的位置在水平横向上偏离Xm，则该光线在摄像面上入射至偏移了ΔXm的位置。由于存在ΔX/X＝D/L的关系，因此为了将ΔX抑制在0.1μm(＝1×10-7m)以下，只要将X抑制在0.1m以下即可。在调整光源10的位置时，将光源10的位置偏离X设为0.1m(＝10cm)以下较为容易。在利用像素间距K为1μm左右的摄像元件113的情况下，如果将从摄像元件113至光源10为止的距离设定为1m左右，则即便光源的位置偏离X发生几cm左右，也不会给画质带来不良影响。此外，鉴于上述内容，在特定的照射方向上配置红色、绿色以及蓝色的光源(RGB光源)的情况下，如果这些多个光源接近而处于0.1m(＝10cm)以下的范围，则也能够将它们作为一个光源来处理。
本实施方式中的摄像元件113例如具有约4800×3600像素的构成。在此情况下，像素间距K作为一例，可设定为1.3μm左右。此外，从摄像面至摄像元件上表面为止的距离、即从摄像面至被摄体为止的距离L作为一例，可设定为约1.3μm。在本实施方式中，假设摄像元件113的开口率为25％。另外，开口率并不限定于25％。
图19是夸大绘制了从一个光源10射出的光线的入射角度的分布的图。在位于光源10的正下方的区域，垂直地入射了光线。另一方面，在位于摄像面的端部的区域，倾斜地入射了光线。考虑从摄像面至光源10为止的距离D被设定为约1m的情况。从摄像元件的中央至端部为止的距离C最大也只不过为10mm(＝1×10-2m)。此外，L＝1×10-6m。本来，应从光源垂直地入射光，但却在摄像面的端部倾斜地入射光，因此其入射位置相对于垂直入射时的入射位置而偏移Δx。在上述的数值例中，由于C/D＝Δx/L的关系成立，因此Δx＝(LC)/D＝(1×10-6×1×10-2)/1＝1×10-8＝10nm。即，入射至光电二极管的光线通过被摄体的区域的位置根据是摄像元件的中央还是端部而只在比Δx＝10nm小的范围内发生偏移。如果设像素间距K为1μm(＝1×10-6m)，则Δx＝10nm(＝1×10-8m)比像素间距K小2位数。因而，只要从摄像面至光源10为止的距离D考虑摄像面的尺寸而被设定为适当的大小，便可认为以被摄体为基准的照射方向相对于相同的光源不论被摄体的位置如何均为一定。
再次参照图17。本实施方式中的图像处理部12具备：照明条件调整部121、图像信息获取部122、估计运算部123和图像构成处理部124。这些部件也可以由实现图像处理部12的计算机的功能块来构成，各构成要素可由计算机程序来实现。存储装置13具有光源位置信息服务器131和低分辨率图像服务器132。存储装置13可为硬盘、半导体存储器或者光记录介质，也可以为经由因特网等数字网络而与图像处理部12连接的数据服务器。
图像处理部12的照明条件调整部121对照明装置111中的光源的位置、明亮度、光照射间隔、照度等的照明条件进行调整。图像信息获取部122在照明装置111的照明条件被适当设定的状态下控制摄像元件113，根据所点亮的光源的切换而使摄像元件113进行拍摄。图像信息获取部122从摄像元件113接受摄像元件113获取到的图像(低分辨率图像)的数据。此外，从照明条件调整部121获取与接受的图像数据建立关联地规定照明条件的信息(照射方向、发光强度、照度、波长等)。
光源位置信息服务器131将从图像信息获取部122获得的表示光源位置的信息作为位置数据库来保存。此外，光源位置信息服务器131保存有图13所示的矩阵的数据库。在通过后述的估计运算部123对矩阵的数值进行了调整的情况下，每次均要重写该数据库。
低分辨率图像服务器132将经由图像信息获取部122获得的低分辨率图像的数据、和表示在获取各低分辨率图像时被使用的照明条件的信息作为图像数据库来保存。如果后述的图像构成处理结束，则低分辨率图像的数据也可以从图像数据库中删除。
图像处理部12中的估计运算部123响应于从图像信息获取部122获得的表示摄像结束的信号，从存储装置13的光源位置信息服务器131以及低分辨率图像服务器132获得光源位置信息以及低分辨率图像。然后，进行基于前述原理的运算来估计高分辨率图像，判断估计的妥当性。在此，在估计妥当的情况下，输出高分辨率图像，否则，变更光源位置信息。在进行估计动作时，估计运算部123参照光源位置信息服务器131的数据库，获取规定矩阵的数值的上述“比例”，基于摄像元件113的输出来估计高分辨率图像。此时，如前所述，求出估计值以及误差。在误差超过了基准值(例如5％)的情况下，也可以进行将“比例”的数值从初始值修正为其他值的处理。误差的比率例如可由误差/|(S1、S2、…、S25)|×100来表示。
利用该误差同时也进行实验装置的校正，从而能够提高下次以后的实验的精度。关于具体的校正方法，例如在绘制图16那样的估计值和3条直线的情况下，进行平行移动来修正使得3条直线均通过估计值，由此来施加校正，从而能够消除误差。
然后，评价误差并求解其逆矩阵。条件式一般变得非常复杂。但是，在计算上，关于以所有像素的矩形块来进行计算所求出的高分辨率图像的某像素，受到较大影响的像素被限制在极其有限的范围的像素。如图20所示，例如若以像素12×12个的矩形块为单位来进行计算，则能够降低计算成本而快速地计算。
在以摄像区的整体来执行估计运算部123的计算的情况下，也可以设置防止来自被摄体范围外部的光的入射的遮光部。为了防止从被摄体未位于的区域照射光，也可以如图21所示那样在被摄体支承部上配置限制摄像范围的遮光区域。此外，也可以如图22所示那样在摄像元件113的侧面配置遮光部件。
图像构成处理部124基于从估计运算部123送来的认可妥当性的图像信息来构成高分辨率图像，实施颜色修正、去马赛克处理、灰度修正(γ修正)、YC分离处理、重叠部分的修正等修正。高分辨率图像被显示于未图示的显示器，或者经由输出部而输出至图像获取装置1的外部。从输出部输出的高分辨率图像可被记录于未图示的记录介质，或者被显示于其他显示器。
低分辨率图像服务器132保存由图像信息获取部122获取到的低分辨率图像的数据。在估计运算部123中构成图像时，从该低分辨率图像服务器132的数据库中获得必要的低分辨率图像的数据。如果图像构成处理结束，则从低分辨率图像服务器132中可将不必要的数据删除。
根据本实施方式，如果将照射方向的数目设为((n+1)×(n+1)-1)个以上，则能够获得n×n倍像素的高分辨率图像。因此，根据本公开的图像获取装置，能够在不利用焦点对准花费时间的显微镜的情况下获得所有面积的高倍率的图像，因此即便被摄体是具有微细组织的病理标本，也能够在短时间内获得高倍率的图像数据。
接下来，参照图23来说明上述实施方式所涉及的图像获取装置1的动作。图23是表示图像获取装置1中的图像获取的流程的流程图。
在图23中，首先将被摄体配置于被摄体支承部112(S201)。这里的被摄体为病理检体。取代病理检体，例如也可以是厚度为几μm左右且在拍摄中形态不变化的透光性的试样(细胞、剥离出的组织等)。也可以使载玻片上下翻转，在摄像元件上表面载置盖玻片32，并在其上载置样本的状态下进行拍摄。
接下来，为了获取低分辨率图像，顺序点亮25个光源并进行图像获取。具体而言，定义i＝1(S202)，仅点亮第i个光源(S203)。进行第i个光源的对比度调整，并获取图像(S204)。将获取到的图像的数据保存至存储装置内的图像缓冲器(S205)。
定义i＝i+1(S206)，判断i是否超过了图像获取次数即N＝25次(S207)。直至i超过25次为止，反复执行图像获取。
在判断出满足i＞N(S207)的情况下(“是”)，进行图像构成处理。具体而言，创建为了根据各低分辨率图像并通过运算来构成高分辨率图像而需要的像素条件式(S208)，进行像素估计运算(S210)。进行误差判定，在判断出误差低于基准值的情况下，输出所获得的高分辨率图像(S212)。在判断出误差为基准值以上的情况下，在进行了存储装置所存储的数值的修正的基础上，重新创建像素条件式(S208)。
在上述的流程中，为了简化说明，说明了从一个光源位置获得1张低分辨率图像的示例，但本公开的实施方式并不限定于该示例。在一个光源位置配置了RGB的3个LED光源的情况下，也可以从一个光源位置获取RGB的3种低分辨率图像。由此，如果获取全彩色的低分辨率图像，则最终能够获得全彩色的高分辨率图像。
在上述的示例中，虽然将不同的照射方向的数目设定为25个，但照射方向的数目也可以设得少于或多于25个。
(第二实施方式)
图24表示本发明的第二实施方式所涉及的图像获取装置的框图。本实施方式中的图像获取装置1与第一实施方式中的图像获取装置不同点在于，图像处理部12还具备在校正光源位置时决定光源位置的光源位置决定部125。因而，在本实施方式中，可以调节光源位置。
接下来，参照图25来说明本实施方式所特有的动作。
在步骤S210中未判断出误差低于基准值的情况下(“否”)，对误差最大的光源位置信息进行修正(S211)。然后，根据需要，从修正后的光源位置向被摄体照射光来重新获得低分辨率图像(S203)。
(第三实施方式)
在本实施方式中，不通过求解逆矩阵来求出作为高分辨率图像的向量Sj。取而代之，利用一般的超分辨率处理来生成高分辨率图像。为了利用逆矩阵来进行高分辨率化，在将高分辨率图像的图像尺寸设为w×h时需要求出wh×wh的矩阵的逆矩阵。因而，若图像尺寸增加，则陷入计算困难的状态。另一方面，超分辨率处理可以实现实时性的计算。因此，具有即便在运算能力低的计算机中也易于实现的优点。
在本实施方式的超分辨率处理中，利用以下的数学式1所示的维纳滤波器来进行频域内的运算。
[数学式1]
H(Y)＝H(D)-1H(X)
[数学式2]
在此，Y为以下说明的放大图像，X为想要求取的高分辨率图像，D为卷积比例。H(.)表示向频域的变换，H(D)-1示出在数学式2中。数学式2的式子的右边的分母中的Γ为表示SN比的参数。
参照图26来说明Y的示例。图26表示用于获取放大率为2倍的高分辨率图像的放大图像2801的获取方法。另外，Y对应于放大图像2801。
为了获取放大率为2倍的放大图像2801，需要来自4个方向的光的照射。在图26中，低分辨率图像2802表示从正上方照射时所获得的低分辨率图像。低分辨率图像2803表示使照明仅在X轴方向上移动不同距离时所获取到的低分辨率图像。低分辨率图像2804表示使照明仅在Y轴方向上移动不同距离时所获取到的低分辨率图像。低分辨率图像2805表示在X轴和Y轴的等分线方向上移动并拍摄到的低分辨率图像。
如以上，在本实施方式中，通过利用维纳滤波器来进行频域内的运算，由此来实现超分辨率处理。超分辨率处理并不限定于该示例。能够利用任意的处理方法。例如，作为超分辨率处理，也能够利用数学式3以及数学式4的更新式来求出。
[数学式3]
E＝(Y-D*X)2
[数学式4]
数学式3的式子是通过用Xij t对数学式4的式子进行微分来获得的。在此，Xij t表示第t次的重复运算时的图像X的第(i，j)个像素值。λ表示更新时的参数。也能够利用考虑图像中的噪声而在数学式3的式子中加入L2范数、L1范数后的价值函数。
根据本实施方式，能够实时性地获取高分辨率图像。此外，与利用逆矩阵的高分辨率化同样，也能够以图20所示的受限的范围内的像素来实施超分辨率处理。进而，也可以将图像分割为小区域，在各小区域内实施也包含逆矩阵运算在内的不同的高分辨率化处理。此时，在对象物体不存在于图像上的小区域等无需高分辨率处理的场所，也可以不实施高分辨率处理。高分辨率图像的获取方法的计算速度、精度不同。因而，在背景附近的不重要的区域内，进行重视速度的运算，在摄影对象反映到整个小区域时，实施精度良好的处理，从而能够重点地让使用者想观看的区域变为高分辨率。
(改变例)
图27示意性地表示具备以能装卸的方式保持被摄体以及摄像元件(以下称作“摄像对象”)140的保持装置的改变例的构成。摄像对象140可以为被摄体和摄像元件被一体化的“切片”。在该示例中，“照明角度调整部”具有使摄像对象140的姿势发生变化的机构。该机构包含能够在正交的铅垂面内使被摄体的朝向旋转的两个角度机构120。角度机构120的角度中心150位于摄像对象140中的被摄体的中央部。在该改变例中，由于角度机构120能够使照明光的照射方向发生变化，因此光源10P也可以被固定。在该改变例中，光源10P被构成为发出平行光。另外，如图28所示，该改变例的图像获取装置也可以具有多个平行光光源10P。
在此，在固定光源10P且使摄影对象140移动的情况下，与固定摄影对象140且使光源10P移动的情况相比，摄影时间变短，在该点上优选。这是由于摄影对象140和光源10P的距离L1与构成摄影对象140的被摄体和摄像元件的距离L2相比非常大，因此需要与之成比例地大幅移动光源10P。摄影时间变短，从而即便是来自被摄体以秒为单位地随时间变化的例如生物试样的发光，也能够获得适当的图像。
图29示出使被摄体的姿势发生变化的机构具备角度机构120和旋转机构122的改变例的构成。通过组合角度机构120所执行的铅垂面内的摄像对象140的旋转、和旋转机构122所执行的绕着铅垂轴的摄像对象140的旋转，从而能够从任意的照射方向向摄像对象140入射照明光。点150位于角度中心以及旋转中心。另外，如图30所示，该改变例的图像获取装置也可以具有多个平行光光源10P。
图31示出提升从光源辐射的光的平行度而使平行光入射至被摄体的光学系统的一例。在该示例中，对从光源射出的发散光进行校准的透镜130被搭载于XY移动机构(移动台)124。摄像对象140与移动台124一起在水平面内的X轴以及/或者Y轴的方向上移动任意距离。
图32示出针对在水平面内的希望的方向上移动了希望的距离的摄像对象140倾斜地入射照明光的样态。即便光源10a的位置被固定，也能通过调整摄像对象140的位置来控制照明光的照射方向。另外，如图33所示，该改变例的图像获取装置也可以具有多个光源。如此，在具有多个光源10a、10b、10c时，也可以不具备使摄像对象140移动的机构，如图34所示，也可以具备XY移动机构(移动台)124。如图35、图36以及图37所示，通过使所点亮的光源10a、10b、10c的位置以及摄像对象140的位置当中的一者或两者发生变化，从而能够以希望的入射角度将照明光入射至摄像对象140。
图38示意性地表示两个角度机构120支承平行光光源10P的改变例的构成。图39示意性地表示角度机构120以及旋转机构122支承平行光光源10P的改变例的构成。
在这些改变例中，或者使用发出平行光的光源，或者使用提高光源所发出的光的平行度的光学系统。但是，本公开的实施方式并不限定于这些示例。如前所述，在光源和被摄体的间隔足够大时，实质上可以说成平行的光入射至被摄体。
在本公开的实施方式中，在摄像面内，光电二极管的垂直方向尺寸相对于像素区域的垂直方向尺寸而由1/s来表示，且该光电二极管的水平方向尺寸相对于像素区域的水平方向尺寸而由1/t来表示。在此，s以及t均为实数，并不限定为整数。开口率由(1/s)×(1/t)来表示。在本公开的实施方式中，例如，以相对于摄像面内的垂直方向而照射角度为a种的不同的照射方向，将照明光入射至被摄体来分别进行拍摄。此外，以相对于摄像面内的水平方向而照射角度为b种的不同的照射方向，将照明光入射至被摄体来分别进行拍摄。在此，a以及b是满足a≥s且b≥t的整数。根据本公开的实施方式，获取每“a×b”的低分辨率图像，基于这些低分解图像可获得分辨率增加至“a×b”倍的图像。另外，摄像元件的开口率即(1/s)×(1/t)与a×b之积为1以上。
本公开的图像获取装置也可以具备包含使被摄体以及摄像元件一体地倾斜的倾斜机构的照明系统。在此情况下，即便光源的位置被固定，也能通过倾斜机构使被摄体以及摄像元件旋转来使以被摄体为基准时的照射方向发生变化。根据这种照明系统，能够使被摄体以及摄像元件一体地倾斜，并以被摄体为基准而从多个不同的照射方向依次射出照明光。
本公开的一形态的图像获取方法包括：以被摄体为基准而从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体的步骤；利用配置在透过了所述被摄体的所述照明光所入射的位置处的摄像装置，根据所述不同的照射方向来获取不同的多个图像的步骤；和基于所述多个图像来形成分辨率比所述多个图像的各个图像高的所述被摄体的高分辨率图像的步骤。
此外，本公开的图像获取装置也可以构成为具备上述的照明装置以及摄像元件、和通用的计算机，该计算机利用照明装置以被摄体为基准而从多个不同的照射方向依次射出照明光并以照明光来照射所述被摄体，利用配置在透过了被摄体的所述照明光所入射的位置处的摄像装置并根据所述不同的照射方向来获取不同的多个图像，并基于所述多个图像来形成分辨率比所述多个图像的各个图像高的所述被摄体的高分辨率图像。这样的动作可通过记录介质所记录的计算机程序来执行。
在利用向被摄体照射光且姿势以及位置被固定的光源的情况下，如果存在使被摄体倾斜为多个倾斜角度的倾斜机构，则能够通过倾斜机构使得配置在透过了被摄体的光所入射的位置处的摄像元件和被摄体一体地倾斜，从而根据多个倾斜角度来获取多个图像。
产业上的可利用性
本公开所涉及的图像获取装置、图像获取方法以及图像处理程序能够节省焦点调整的工夫，获取高倍率的图像。
符号说明
1 图像获取装置
10 光源
11 摄像处理部
12 图像处理部
13 存储装置
30 被摄体
40 光电二极管
42 遮光膜
44 垂直电荷转移路径
46 水平电荷转移路径
50 像素
111 照明
112 被摄体支承部
113 摄像元件
121 照明条件调整部
122 图像信息获取部
123 估计运算部
124 图像构成处理部
125 光源位置决定部
131 光源位置信息服务器
132 低分辨率图像服务器
400 半导体基板
402 布线层
406 透明层

Claims (38)

1.一种图像获取装置，具备：
照明系统，其以被摄体为基准而从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体；
摄像元件，其被配置在透过了所述被摄体的所述照明光所入射的位置，并根据所述不同的照射方向来获取不同的多个图像；
图像处理部，其基于所述多个图像来形成分辨率比所述多个图像的各个图像有提升的所述被摄体的高分辨率图像；和
存储器，其保存针对所述多个照射方向的各个照射方向来表示通过所述摄像元件的各像素中所含的多个子像素的上表面的光线之中、入射至所述像素的光电变换部的光线的比例的数据，
所述图像处理部将构成所述多个图像的各个图像的像素值的、与所述多个照射方向相应的组设为向量，基于从所述存储器读出的所述数据来形成所述被摄体的高分辨率图像。
2.根据权利要求1所述的图像获取装置，其中，
所述图像处理部将构成所述多个图像的各个图像的像素值的、与所述多个照射方向相应的组设为向量，基于从所述存储器读出的所述数据，将以所述比例为系数的矩阵的逆矩阵与所述像素值的向量进行运算，来形成所述被摄体的高分辨率图像。
3.根据权利要求1所述的图像获取装置，其中，
所述图像处理部将构成所述多个图像的各个图像的像素值的、与所述多个照射方向相应的组设为向量，通过超分辨率处理来形成所述被摄体的高分辨率图像。
4.根据权利要求1所述的图像获取装置，其中，
所述被摄体被配置为靠近所述摄像元件，
所述被摄体与所述摄像元件以透镜不介于其间的状态来对置。
5.根据权利要求4所述的图像获取装置，其中，
从所述摄像元件的摄像面至所述被摄体为止的距离为100μm以下。
6.根据权利要求1～5中任一项所述的图像获取装置，其中，
所述多个图像分别包含由所述被摄体的不同部分构成的像。
7.根据权利要求1～5中任一项所述的图像获取装置，其中，
所述被摄体被固定于所述摄像元件，
所述图像获取装置具备以能装卸的方式保持所述摄像元件的保持装置。
8.根据权利要求1所述的图像获取装置，其中，
将a以及b设为2以上的整数，
以相对于所述摄像元件的摄像面内的垂直方向而照射角度为a种的不同的照射方向，将所述照明光入射至所述被摄体来分别进行拍摄，
以相对于所述摄像面内的水平方向而照射角度为b种的不同的照射方向，将所述照明光入射至所述被摄体来分别进行拍摄，
所述摄像元件的开口率与a×b之积为1以上。
9.根据权利要求1～5中任一项所述的图像获取装置，其中，
所述照明系统能够射出波段不同的光。
10.根据权利要求1～5中任一项所述的图像获取装置，其中，
所述照明系统具有依次移动至与所述多个不同的照射方向对应的不同的位置来射出所述照明光的光源。
11.根据权利要求1～5中任一项所述的图像获取装置，其中，
所述照明系统具有被配置在与所述多个不同的照射方向对应的不同的位置且依次射出所述照明光的多个光源。
12.根据权利要求1～5中任一项所述的图像获取装置，其中，
所述照明系统包含使所述被摄体以及所述摄像元件一体地倾斜的倾斜机构，通过使所述被摄体以及所述摄像元件一体地倾斜，从而以所述被摄体为基准而从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体。
13.根据权利要求12所述的图像获取装置，其中，
所述照明系统具有使所述被摄体的姿势以及位置当中的至少一者发生变化的机构。
14.根据权利要求13所述的图像获取装置，其中，
所述机构包含角度机构以及移动台当中的至少一者。
15.根据权利要求13所述的图像获取装置，其中，
所述机构具有提高所述照明光的平行度的光学系统。
16.根据权利要求12所述的图像获取装置，其中，
所述照明系统具有提高所述照明光的平行度的光学系统。
17.一种图像获取方法，包括：
以被摄体为基准而从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体的步骤；
利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像元件，根据所述不同的照射方向来获取不同的多个图像的步骤；
基于所述多个图像来形成分辨率比所述多个图像的各个图像有提升的所述被摄体的高分辨率图像的步骤；和
在存储器中保存针对所述多个照射方向的各个照射方向来表示通过所述摄像元件的各像素中所含的多个子像素的上表面的光线之中、入射至所述像素的光电变换部的光线的比例的数据的步骤，
将构成所述多个图像的各个图像的像素值的、与所述多个照射方向相应的组设为向量，基于从所述存储器读出的所述数据，将以所述比例为系数的矩阵的逆矩阵与所述像素值的向量进行运算，来形成所述被摄体的高分辨率图像。
18.一种图像获取装置，具备照明装置、摄像元件和计算机，
所述计算机被设定为：
利用所述照明装置，以被摄体为基准而从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体，
利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像元件，根据所述不同的照射方向来获取不同的多个图像，
基于所述多个图像来形成分辨率比所述多个图像的各个图像有提升的所述被摄体的高分辨率图像，
在存储器中保存针对所述多个照射方向的各个照射方向来表示通过所述摄像元件的各像素中所含的多个子像素的上表面的光线之中、入射至所述像素的光电变换部的光线的比例的数据，
将构成所述多个图像的各个图像的像素值的、与所述多个照射方向相应的组设为向量，基于从所述存储器读出的所述数据，将以所述比例为系数的矩阵的逆矩阵与所述像素值的向量进行运算，来形成所述被摄体的高分辨率图像。
19.一种计算机可读取的记录介质，记录有具备照明装置、摄像元件和计算机的图像获取装置用的程序，该程序使计算机执行以下步骤：
利用所述照明装置，以被摄体为基准而从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体，
利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像元件，根据所述不同的照射方向来获取不同的多个图像，
基于所述多个图像来形成分辨率比所述多个图像的各个图像有提升的所述被摄体的高分辨率图像，
在存储器中保存针对所述多个照射方向的各个照射方向来表示通过所述摄像元件的各像素中所含的多个子像素的上表面的光线之中、入射至所述像素的光电变换部的光线的比例的数据，
将构成所述多个图像的各个图像的像素值的、与所述多个照射方向相应的组设为向量，基于从所述存储器读出的所述数据，将以所述比例为系数的矩阵的逆矩阵与所述像素值的向量进行运算，来形成所述被摄体的高分辨率图像。
20.一种图像获取装置，具备：
照明系统，其以被摄体为基准而从多于n2个的多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体，其中n为2以上的整数；
摄像元件，其被配置在透过了所述被摄体的所述照明光所入射的位置，并根据所述不同的照射方向来获取不同的多个图像；
图像处理部，其基于所述多个图像来形成与所述多个图像的各个图像相比而分辨率为n倍的所述被摄体的高分辨率图像；和
存储器，其保存针对所述多个照射方向的各个照射方向来表示通过所述摄像元件的各像素中所含的多个子像素的上表面的光线之中、入射至所述像素的光电变换部的光线的比例的数据，
所述图像处理部将构成所述多个图像的各个图像的像素值的、与所述多个照射方向相应的组设为向量，基于从所述存储器读出的所述数据，将以所述比例为系数的矩阵的逆矩阵与所述像素值的向量进行运算，来形成所述被摄体的高分辨率图像。
21.根据权利要求20所述的图像获取装置，其中，
在所述图像获取装置中，在不利用校正用的马赛克滤色器的情况下，能够在每次获取高分辨率图像时自动地校正：针对所述多个照射方向的各个照射方向来表示通过所述摄像元件的各像素中所含的所述多个子像素的上表面的光线之中、入射至所述像素的光电变换部的光线的比例的数据。
22.根据权利要求20或21所述的图像获取装置，其中，
所述照明系统能够射出波段不同的光。
23.根据权利要求20或21所述的图像获取装置，其中，
所述照明系统具有依次移动至与所述多个不同的照射方向对应的不同的位置来射出所述照明光的光源。
24.根据权利要求20或21所述的图像获取装置，其中，
所述照明系统具有被配置在与所述多个不同的照射方向对应的不同的位置且依次射出所述照明光的多个光源。
25.根据权利要求20或21所述的图像获取装置，其中，
所述照明系统包含使所述被摄体以及所述摄像元件一体地倾斜的倾斜机构，通过使所述被摄体以及所述摄像元件一体地倾斜，从而以所述被摄体为基准而从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体。
26.一种图像获取方法，包括：
以被摄体为基准而从多于n2个的多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体的步骤，其中n为2以上的整数；
利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像元件，根据所述不同的照射方向来获取不同的多个图像的步骤；
基于所述多个图像来形成与所述多个图像的各个图像相比而分辨率为n倍的所述被摄体的高分辨率图像的步骤；和
在存储器中保存针对所述多个照射方向的各个照射方向来表示通过所述摄像元件的各像素中所含的多个子像素的上表面的光线之中、入射至所述像素的光电变换部的光线的比例的数据的步骤，
将构成所述多个图像的各个图像的像素值的、与所述多个照射方向相应的组设为向量，基于从所述存储器读出的所述数据，将以所述比例为系数的矩阵的逆矩阵与所述像素值的向量进行运算，来形成所述被摄体的高分辨率图像。
27.一种图像获取装置，具备照明装置、摄像元件和计算机，
所述计算机被设定为：
利用所述照明装置，以被摄体为基准而从多于n2个的多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体，其中n为2以上的整数，
利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像元件，根据所述不同的照射方向来获取不同的多个图像，
基于所述多个图像来形成与所述多个图像的各个图像相比而分辨率为n倍的所述被摄体的高分辨率图像，
在存储器中保存针对所述多个照射方向的各个照射方向来表示通过所述摄像元件的各像素中所含的多个子像素的上表面的光线之中、入射至所述像素的光电变换部的光线的比例的数据，
将构成所述多个图像的各个图像的像素值的、与所述多个照射方向相应的组设为向量，基于从所述存储器读出的所述数据，将以所述比例为系数的矩阵的逆矩阵与所述像素值的向量进行运算，来形成所述被摄体的高分辨率图像。
28.一种计算机可读取的记录介质，记录有具备照明装置、摄像元件和计算机的图像获取装置用的程序，该程序使计算机执行以下步骤：
利用所述照明装置，以被摄体为基准而从多于n2个的多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体，其中n为2以上的整数，
利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像元件，根据所述不同的照射方向来获取不同的多个图像，
基于所述多个图像来形成与所述多个图像的各个图像相比而分辨率为n倍的所述被摄体的高分辨率图像，
在存储器中保存针对所述多个照射方向的各个照射方向来表示通过所述摄像元件的各像素中所含的多个子像素的上表面的光线之中、入射至所述像素的光电变换部的光线的比例的数据，
将构成所述多个图像的各个图像的像素值的、与所述多个照射方向相应的组设为向量，基于从所述存储器读出的所述数据，将以所述比例为系数的矩阵的逆矩阵与所述像素值的向量进行运算，来形成所述被摄体的高分辨率图像。
29.一种图像获取装置，具备：
光源，其向被摄体照射光，并且姿势以及位置被固定；
倾斜机构，其使所述被摄体倾斜为多个倾斜角度；
摄像元件，其被配置在透过了所述被摄体的所述光所入射的位置，并且通过所述倾斜机构而与所述被摄体一体地倾斜，根据所述多个倾斜角度来获取不同的多个图像；
图像处理部，其基于所述多个图像来形成分辨率比所述多个图像的各个图像有提升的所述被摄体的高分辨率图像；和
存储器，其针对所述多个倾斜角度的各个倾斜角度来表示通过所述摄像元件的各像素中所含的多个子像素的上表面的光线之中、入射至所述像素的光电变换部的光线的比例的数据，
所述图像处理部将构成所述多个图像的各个图像的像素值的、与所述多个倾斜角度相应的组设为向量，并基于从所述存储器读出的所述数据来形成所述被摄体的高分辨率图像。
30.根据权利要求29所述的图像获取装置，其中，
所述被摄体被配置为靠近所述摄像元件，
所述被摄体与所述摄像元件以透镜不介于其间的状态来对置。
31.根据权利要求30所述的图像获取装置，其中，
从所述摄像元件的摄像面至所述被摄体为止的距离为100μm以下。
32.根据权利要求29～31中任一项所述的图像获取装置，其中，
所述多个图像分别包含由所述被摄体的不同部分构成的像。
33.根据权利要求29～31中任一项所述的图像获取装置，其中，
所述被摄体被固定于所述摄像元件，
所述图像获取装置具备以能装卸的方式保持所述摄像元件的保持装置。
34.根据权利要求29～31中任一项所述的图像获取装置，其中，
所述倾斜机构包含角度机构或者移动台当中的至少一者。
35.根据权利要求29～31中任一项所述的图像获取装置，其中，
所述倾斜机构具有提高所述光的平行度的光学系统。
36.根据权利要求29～31中任一项所述的图像获取装置，其中，
所述光源具有提高所述光的平行度的光学系统。
37.一种图像获取方法，包括：
使被摄体倾斜为多个倾斜角度，并且从被固定的光源向所述被摄体照射照明光的步骤；
利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像元件，根据所述多个倾斜角度来获取不同的多个图像的步骤；和
合成所述多个图像，来形成分辨率比所述多个图像的各个图像高的所述被摄体的高分辨率图像的步骤，
基于针对所述多个倾斜角度的各个倾斜角度来表示通过所述摄像元件的各像素中所含的多个子像素的上表面的光线之中、入射至所述像素的光电变换部的光线的比例的数据，形成所述被摄体的高分辨率图像。
38.一种计算机可读取的记录介质，记录有程序，使计算机执行以下步骤：
使被摄体倾斜为多个倾斜角度，并且从被固定的光源向所述被摄体照射照明光的步骤；
利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像元件，根据不同的照射方向来获取不同的多个图像的步骤；和
合成所述多个图像，来形成分辨率比所述多个图像的各个图像高的所述被摄体的高分辨率图像的步骤，
基于针对所述多个倾斜角度的各个倾斜角度来表示通过所述摄像元件的各像素中所含的多个子像素的上表面的光线之中、入射至所述像素的光电变换部的光线的比例的数据，形成所述被摄体的高分辨率图像。
CN201480031057.6A 2013-06-07 2014-06-05 图像获取装置、图像获取方法以及记录介质 Active CN105247852B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013121112 2013-06-07
JP2013-121112 2013-06-07
PCT/JP2014/002985 WO2014196202A1 (ja) 2013-06-07 2014-06-05 画像取得装置、画像取得方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN105247852A CN105247852A (zh) 2016-01-13
CN105247852B true CN105247852B (zh) 2019-03-08

Family

ID=52007859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480031057.6A Active CN105247852B (zh) 2013-06-07 2014-06-05 图像获取装置、图像获取方法以及记录介质

Country Status (5)

Country Link
US (1) US9438793B2 (zh)
EP (1) EP3007432B1 (zh)
JP (2) JP5789765B2 (zh)
CN (1) CN105247852B (zh)
WO (1) WO2014196202A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6627083B2 (ja) * 2014-08-22 2020-01-08 パナソニックＩｐマネジメント株式会社 画像取得装置および画像形成システム
AU2015351876B2 (en) * 2014-11-27 2017-11-23 Panasonic Intellectual Property Management Co., Ltd. Image acquisition device, image formation system, and image formation method
US9710715B2 (en) * 2014-12-26 2017-07-18 Ricoh Company, Ltd. Image processing system, image processing device, and image processing method
JP6624369B2 (ja) * 2015-01-23 2019-12-25 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、画像表示装置およびコンピュータプログラム
JP2017098831A (ja) * 2015-11-26 2017-06-01 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、偏光制御ユニット、撮像システムおよびプログラム
US10607316B2 (en) * 2016-07-22 2020-03-31 Panasonic Intellectual Property Management Co., Ltd. Image generating apparatus and image generating method
JP7026333B2 (ja) * 2017-03-01 2022-02-28 パナソニックＩｐマネジメント株式会社 画像生成装置及び画像生成方法
CN109539978B (zh) * 2017-09-22 2021-06-25 沈机（上海）智能系统研发设计有限公司 图像检测系统、图像检测装置以及图像检测方法
JP6835020B2 (ja) * 2018-03-15 2021-02-24 オムロン株式会社 画像処理システム、画像処理装置、画像処理プログラム
EP3585047B1 (de) * 2018-06-20 2021-03-24 ZKW Group GmbH Verfahren und vorrichtung zur erstellung von hochkontrastbildern
US10638061B2 (en) * 2018-09-18 2020-04-28 Analog Devices Global Unlimited Company Active-pixel image sensor
CN109981946A (zh) * 2019-03-11 2019-07-05 歌尔股份有限公司 一种摄像头、摄像头控制方法和装置
WO2024014353A1 (ja) * 2022-07-11 2024-01-18 株式会社ジャパンディスプレイ 検出装置
US11950000B2 (en) * 2022-09-07 2024-04-02 Microsoft Technology Licensing, Llc Resolution enhancement in spatial-frequency space

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1212104A (zh) * 1996-12-26 1999-03-24 索尼公司 高分辨率图像捕获装置及其方法
JP2000295639A (ja) * 1999-04-08 2000-10-20 Nikon Corp 固体撮像素子検査用照明装置及びそれに用いる調整工具
CN101447018A (zh) * 2007-11-27 2009-06-03 索尼株式会社 摄像设备及其方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316434A (ja) * 1992-05-12 1993-11-26 Olympus Optical Co Ltd 高分解能撮像装置
JPH1132256A (ja) * 1997-07-09 1999-02-02 Sony Corp 撮像装置
JP2001136350A (ja) * 1999-11-02 2001-05-18 Seiko Epson Corp 画像入力装置、画像入力システム、および画像入力方法、並びにそのための記録媒体
JP2003319146A (ja) * 2002-04-22 2003-11-07 Pentax Corp フィルムスキャナ
US6895076B2 (en) * 2003-06-03 2005-05-17 Ge Medical Systems Global Technology Company, Llc Methods and apparatus for multiple image acquisition on a digital detector
JP4172416B2 (ja) * 2004-04-22 2008-10-29 国立大学法人東京工業大学 超解像処理に適するサブピクセルモーション画像を撮影するための移動決定方法及びそれを用いた撮像装置、並びに移動方向の評価方法
JP4311668B2 (ja) 2004-11-15 2009-08-12 オリンパス株式会社 撮像装置と撮像システムおよび画像の撮影方法
JP5497386B2 (ja) * 2009-09-11 2014-05-21 浜松ホトニクス株式会社 画像取得装置
US20120092480A1 (en) * 2010-05-28 2012-04-19 Putman Matthew C Unique digital imaging method employing known background
JP5738564B2 (ja) * 2010-09-30 2015-06-24 オリンパス株式会社 画像処理システム
EP2633267A4 (en) * 2010-10-26 2014-07-23 California Inst Of Techn MICROSCOPE SYSTEM WITHOUT PROJECTION LENS AND SCAN
JP2012185384A (ja) * 2011-03-07 2012-09-27 Nikon Corp 撮像装置
KR101854188B1 (ko) * 2011-10-25 2018-05-08 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
JP5350532B2 (ja) * 2011-12-27 2013-11-27 キヤノン株式会社 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1212104A (zh) * 1996-12-26 1999-03-24 索尼公司 高分辨率图像捕获装置及其方法
JP2000295639A (ja) * 1999-04-08 2000-10-20 Nikon Corp 固体撮像素子検査用照明装置及びそれに用いる調整工具
CN101447018A (zh) * 2007-11-27 2009-06-03 索尼株式会社 摄像设备及其方法

Also Published As

Publication number Publication date
US9438793B2 (en) 2016-09-06
JP6265153B2 (ja) 2018-01-24
EP3007432A1 (en) 2016-04-13
US20150163405A1 (en) 2015-06-11
JPWO2014196202A1 (ja) 2017-02-23
CN105247852A (zh) 2016-01-13
WO2014196202A1 (ja) 2014-12-11
JP2015146590A (ja) 2015-08-13
EP3007432B1 (en) 2020-01-01
JP5789765B2 (ja) 2015-10-07
EP3007432A4 (en) 2016-06-08

Similar Documents

Publication Publication Date Title
CN105247852B (zh) 图像获取装置、图像获取方法以及记录介质
JP6307770B2 (ja) 撮像素子
US10838192B2 (en) Method and device for high-resolution color imaging using merged images from holographic and lens-based devices
US9088729B2 (en) Imaging apparatus and method of controlling same
CN103501416B (zh) 成像系统
US9046680B2 (en) Scanning illumination microscope
JP2013516640A (ja) 顕微鏡センサ
CN102313980A (zh) 信息处理装置、镜台波动校正方法和程序
CN109477954A (zh) 具有相位调制元件的scape显微术和图像重构
US20190075247A1 (en) System for generating a synthetic 2d image with an enhanced depth of field of a biological sample
JP6083833B2 (ja) 画像解像度が向上した赤外線検出器
WO2020157681A2 (en) Calibration of a light-field imaging system
US20100303385A1 (en) Unique digital imaging method employing known background
JP6035612B2 (ja) 光記録媒体及び光情報再生方法
Oberdörster et al. Correcting distortion and braiding of micro-images from multi-aperture imaging systems
de La Barrière et al. Compact multichannel infrared camera integrated in an operational detector dewar cooler assembly
JP2021047162A (ja) 外観検査装置、外観検査装置の較正方法
WO2023218073A1 (fr) Procédé de correction globale de la netteté d'une image, et systeme associe
CN102203590A (zh) 表面检查装置
Oberdörster et al. Resolution and sensitivity of wafer-level multi-aperture cameras
Liang et al. Computational label-free microscope through a custom-built high-throughput objective lens and Fourier ptychography
WO2020169853A1 (es) Sistema de captura de imágenes de microescala
JPH11183147A (ja) 光学測定装置および光学測定方法
Georgiev et al. Introduction to the JEI Focal Track Presentations

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant