CN106910224B - 宽视场高分辨显微成像中像感器阵列标定方法 - Google Patents

宽视场高分辨显微成像中像感器阵列标定方法 Download PDF

Info

Publication number
CN106910224B
CN106910224B CN201710108792.8A CN201710108792A CN106910224B CN 106910224 B CN106910224 B CN 106910224B CN 201710108792 A CN201710108792 A CN 201710108792A CN 106910224 B CN106910224 B CN 106910224B
Authority
CN
China
Prior art keywords
image sensor
visual field
sensor array
plane
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710108792.8A
Other languages
English (en)
Other versions
CN106910224A (zh
Inventor
戴琼海
范静涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201710108792.8A priority Critical patent/CN106910224B/zh
Publication of CN106910224A publication Critical patent/CN106910224A/zh
Priority to US15/862,106 priority patent/US10254529B2/en
Application granted granted Critical
Publication of CN106910224B publication Critical patent/CN106910224B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/13306—Circuit arrangements or driving methods for the control of single liquid crystal cells
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/13306—Circuit arrangements or driving methods for the control of single liquid crystal cells
    • G02F1/13312—Circuits comprising photodetectors for purposes other than feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/136—Liquid crystal cells structurally associated with a semi-conducting layer or substrate, e.g. cells forming part of an integrated circuit
    • G02F1/1362—Active matrix addressed cells
    • G02F1/136277—Active matrix addressed cells formed on a semiconductor substrate, e.g. of silicon
    • G02F1/136281—Active matrix addressed cells formed on a semiconductor substrate, e.g. of silicon having a transmissive semiconductor substrate
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2203/00—Function characteristic
    • G02F2203/12—Function characteristic spatial light modulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image

Landscapes

  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Nonlinear Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种宽视场高分辨显微成像中像感器阵列标定方法，包括：对像感器阵列进行渐晕效应标定与校正，以使像感器阵列中所有子视场像感器以相同辐射出度的场景时获得的各像素具有相同的灰度值；使用空间光调制器对时空联合结构进行光编码，以建立多个特征点在图像空间与物理空间之间的对应关系；对时空联合结构进行光解码，以获取多个特征点在图像平面的像素坐标和多个特征点在空间光调制器平面的物理坐标；根据多个特征点在图像平面的像素坐标和多个特征点在空间光调制器平面的物理坐标得到单应性关系，并根据单应性关系得到全局坐标映射。本发明具有如下优点：满足获取宽视场、高分辨、实时性显微图像的需求。

Description

宽视场高分辨显微成像中像感器阵列标定方法
技术领域
本发明属于结构光编码、计算摄像、显微成像领域，具体涉及一种宽视场高分辨显微成像中像感器阵列标定方法。
背景技术
随着显微生物学的发展，人们对显微成像技术的要求日益提高。获取宽视场、高分辨、实时性的显微图像，是开深入展很多显微生物学研究的先决条件。例如对于癌症的研究，观察癌细胞的增殖过程需要高分辨图像，而观察癌细胞的转移则依赖与宽视场。再者观察神经元上信号的快速传递，则要求高速实时地获取显微图像。
通过一系列物镜组，可以将显微镜目镜看到的像转换为宽视场曲面中间像，像感器阵列对曲面像进行分视场采集可以获取子视场高分辨图像。将众多高分辨子图拼实时地接成宽视场高分辨大图，则依赖于显微视场下像中像感器阵列的标定。
与传统宏观场景成像条件不同，显微视场下的相机阵列标定更具挑战性。首先显微物镜浅景深的限制，使得标定物不能通过变换姿态获取三维信息；其次包含曲面像多级物镜成像系统，使得逐级标定难以实施。因此，亟需一种应用于宽视场高分辨显微视场下相机阵列标定方法，以满足获取宽视场、高分辨、实时性显微图像的需求。
发明内容
本发明旨在至少解决上述技术问题之一。
为此，本发明的目的在于提出一种宽视场高分辨显微成像中像感器阵列标定方法，满足获取宽视场、高分辨、实时性显微图像的需求。
为了实现上述目的，本发明的实施例公开了一种宽视场高分辨显微成像中像感器阵列标定方法，包括以下步骤：S1：对像感器阵列进行渐晕效应标定与校正，以使所述像感器阵列中所有子视场像感器以相同辐射出度的场景时获得的各像素具有相同的灰度值；S2：使用空间光调制器对时空联合结构进行光编码，以建立多个特征点在图像空间与物理空间之间的对应关系；S3：对所述时空联合结构进行光解码，以获取所述多个特征点在图像平面的像素坐标和所述多个特征点在空间光调制器平面的物理坐标；S4：根据所述多个特征点在图像平面的像素坐标和所述多个特征点在空间光调制器平面的物理坐标得到单应性关系，并根据所述单应性关系得到全局坐标映射。
进一步地，通过以下公式对像感器阵列进行渐晕效应标定与校正：
Pix'(x,y)＝f(f-1(Pix(x,y))·S(Dis(x,y)))
其中，Pix'(x,y)为校正后灰度，Pix(x,y)为原始灰度，f为相机响应函数，S(Dis(x,y))为离心距离相关的补偿系数。
进一步地，所述空间光调制器包括胶片、DMD、LCD和LCOS。
进一步地，步骤S3进一步包括：提取所述多个特征点在图像平面的像素坐标，以及根据编码方式解码得到所述多个特征点在空间光调制器平面的物理坐标。
进一步地，所述包括S4进一步包括：在求取每个子视场像感器平面到空间光调制器平面的单应性矩阵后，利用各自的单应性矩阵，可以建立任意物理位置到子视场图像像素位置的映射；根据总体物理视场对应的总像素数，获取总图的每个像素对应的物理尺度，从而建立任意物理位置到总视场图像像素位置的映射；将所述子视场图像像素位置的映射和所述总视场图像像素位置的映射融合为总视场图像像素位置到子视场图像像素位置的映射。
根据本发明实施例的宽视场高分辨显微成像中像感器阵列标定方法，满足获取宽视场、高分辨、实时性显微图像的需求
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明实施例的宽视场高分辨显微成像中像感器阵列标定方法的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
以下结合附图描述本发明。
图1是本发明实施例的宽视场高分辨显微成像中像感器阵列标定方法的流程图。如图1所示，
S1：对像感器阵列进行渐晕效应标定与校正，以使像感器阵列中所有子视场像感器以相同辐射出度的场景时获得的各像素具有相同的灰度值。
具体的，使同一像感器拍摄相同辐射出度的场景时，可获得各像素灰度值的一致性。考虑相机响应非线性的渐晕校正模型可表述为如下形式：
Pix'(x,y)＝f(f-1(Pix(x,y))·S(Dis(x,y)))
其中Pix'(x,y)为校正后灰度，Pix(x,y)为原始灰度，f为相机响应函数，S(Dis(x,y))为离心距离相关的补偿系数。
S2：使用空间光调制器对时空联合结构进行光编码，以建立多个特征点在图像空间与物理空间之间的对应关系。
具体地，空间光调制器可以主动控制下，通过调制光场的某个参量，例如通过调制光场的振幅，通过折射率调制相位，通过偏振面的旋转调制偏振态等，从而将一定的信息写入光波中，达到光波调制的目的。
在本发明的一个实施例中，空间光调制器包括胶片、数据微镜装置(DigitalMicromirror Device，DMD)、液晶显示器(Liquid Crystal Display，LCD)、硅基液晶(Liquid Crystal on Silicon，LCOS)等。面以LCD的分色二进制时空联合强度编码进行举例说明。本领域人员可以理解，使用胶片、DMD和LCOS同样可以完成时空联合强度编码。
首先对相关术语进行如下约定：
LCD亚像素单元：LCD面板在显微观察下，可以看到原本的一个像素由R、G、B三个亚像素单元构成，每个亚像素单元被相机拍摄后会在图像上成为一个区域。
区域(Region)：每个LCD亚像素单元在拍摄图像中成像的范围称为区域。区域具有颜色、位置等属性。
区域属性：Region＝{color(R/G/B)，pixelcount，center(u，v)，code(code_x，code_y)，x，y}，分别指区域对应亚像素单元种类(红/绿/蓝)，区域包含像素数，区域中心的图像坐标，区域对应LCD亚像素单元的行列编号，区域对应LCD亚像素单元的物理坐标。
该方法编码原则为由位置到强度编码，根据LCD亚像素单元所在位置的行列编号，制定强度编码方案。编码方案中对RGB三种亚像素区域分开编码，根据亚像素单元所在位置的行列编号的二进制0/1，生成多组行列分离强度编码图像。
步骤201，区域识别编码。LCD分别显示3张纯红、纯绿、纯蓝图像，用作红、绿、蓝三种区域识别。
步骤202，坐标到阶码的拆分。定义LCD屏幕从左到右为x方向，从上到下为y方向。则每个亚像素单元都有其物理坐标(x,y)以及所在行列编号(y’行，x’列)。将行列编号转换为二进制数，即为该亚像素单元阶码code_x，code_y。根据LCD标定面板的分辨率，假设至少需要m为和n位二进制阶码才能表示全部亚像素单元的列编号和行编号，则code_x，code_y分别为m位和n位。
步骤203，阶码到图像的生成。R/G/B区域列编码：需要m幅图，每幅图的某列全暗或全红/绿/蓝。具体来说，对于第i幅图的第j列，若j二进制数(code_x)的第i位为1，则该列全红/绿/蓝，反之，该列全暗。
R/G/B区域行编码：需要n幅图，每幅图的某行全暗或全红/绿/蓝。具体来说，对于第i幅图的第j行，若j二进制数(code_y)的第i位为1，则该行全红/绿/蓝，反之，该行全暗。
S3：对时空联合结构进行光解码，以获取多个特征点在图像平面的像素坐标和多个特征点在空间光调制器平面的物理坐标。
具体地，下面以LCD的分色二进制时空联合强度解码进行举例说明。本领域人员可以理解，使用胶片、DMD和LCOS同样可以完成时空联合强度解码。
步骤301，图像预处理。理想状态下，拍摄的图像中LCD的GAP区与设定为暗的亚像素区的灰度值为CV0，设定为亮的亚像素区的灰度值为CV1。实际拍摄时，由于噪声、畸变等因素影响，图像的灰度值并不与理想状态完全吻合。需要对依次图像进行如下预处理：1)自适应二值化，将GAP区与设定为暗的亚像素区的灰度值置为0，设定为亮的亚像素区的灰度值置为1。2)膨胀腐蚀与腐蚀膨胀，清除GAP区与设定为暗的亚像素区的0值和设定为亮的亚像素区的1值。3)剔除图像边缘未完整包括LCD亚像素单元的区域。
步骤302，区域表征、识别、计数与中心提取，目标是求取特征点在图像平面的像素坐标。
将每个LCD亚像素单元成像后的图像区域称为Region＝{color(R/G/B)，pixelcount，center(center_u，center_v)，code(code_x，code_y)，x，y}，它的各项属性含义参见步骤S3。通过三幅区域识别编码图像，何以知道Region对应于红色、绿色还是蓝色亚像素单元，从而获取color值。统计区域内像素数即为pixelcount。区域内全部像素x坐标值得均值为区域的center_u，区域内全部像素y坐标值得均值为区域的center_v。
这里的center_u与center_v即为特征点在图像平面的像素坐标。
步骤303，阶码识别与物理坐标提取。
除去3张区域识别图像，将拍摄到的编码图像分为6组，分别为R/G/B的行/列编码图像。以n幅R区域行编码为例，通过对这n幅图像进行解码，可以获取任意color＝R的区域的行编号阶码。具体来说，按编码拍摄顺序，读取该区域在n幅图(已经过二值化等预处理)中灰度值0/1，将这样的0/1值依次串写为n位二进制数即为该区域的行编号阶码code_y。用同样的方法对其余5组图进行解码，则可获取每个区域的行、列编号阶码code_y、code_x。
至此，已经解码出每个区域的color(R/G/B)，pixelcount，center(center_u，center_v)，code(code_x，code_y)属性，并且假设LCD亚像素单元尺寸长×宽为aμm*bμm，因此可以求解区域对应的物理坐标x，y。令code_x’，code_y’分别为code_x，code_y对应的十进制数，则：
y＝code_y'*aμm
其中，x与y即为特征点在空间光调制器平面的物理坐标。
S4：根据多个特征点在图像平面的像素坐标和多个特征点在空间光调制器平面的物理坐标得到单应性关系，并根据单应性关系得到全局坐标映射。
具体地，在计算机视觉中，平面的单应性被定义为一个平面到另外一个平面的投影映射。因此一个二维平面上的点映射到摄像机成像仪上的映射就是平面单应性的例子。若将点Q到成像仪上的点q表示为齐次坐标，即
则这种映射可以用矩阵相乘的方式表示：
其中s为任意尺度的比例，目的是使得单应性定义到该尺度比例。H有两部分组成：用于定位观察的物体平面的物理变换和使用摄像机内参数矩阵的投影。
物理变换包括旋转变换R和部分平移变换t，可表示为：
W＝[R t]
其中R为3*3矩阵，t为三维列矢量。相机内参矩阵用M表示，则单应性关系可重写为：
由于的研究目标为空间光调制器平面上到像感器平面的二维映射，则上述公式中的可简化为平面坐标中即令Z＝0。将旋转矩阵写为列向量形式R＝[r1 r2 r3]，则
故最终的单应性矩阵可表示为：
单应性矩阵H为3*3矩阵。一般地，求解H需要两个平面四对独立的对应点。在步骤S3中获取了足够多的对应点(center_u，center_u)和(x，y)。带入平面单应性模型，即可求取单应性矩阵H。鲁棒地求取单应性矩阵算法包括RANSAC等。
在求取每个子视场像感器平面到空间光调制器平面的单应性矩阵后，利用各自的单应性矩阵，可以建立任意物理位置到子视场图像像素位置的映射map1。另一方面，可以根据总体物理视场对应的总像素数，获取总图的每个像素对应的物理尺度；从而建立任意物理位置到总视场图像像素位置的映射map2。借助物理位置的唯一性，可以将map1和map2融合为总视场图像像素位置到子视场图像像素位置的映射map，也就完成了显微视场相机阵列的标定。这一映射表表明了总视场每个像素置对应于哪些子视场的像素位置。根据映射表，通过子视场内像素差值和子视场间重叠区域像素加权叠加，即可完整地拼接出总的宽视场高分辨显微视场图像。
另外，本发明实施例的宽视场高分辨显微成像中像感器阵列标定方法的其它构成以及作用对于本领域的技术人员而言都是已知的，为了减少冗余，不做赘述。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (5)

1.一种宽视场高分辨显微成像中像感器阵列标定方法，其特征在于，包括以下步骤：
S1：对像感器阵列进行渐晕效应标定与校正，以使所述像感器阵列中所有子视场像感器以相同辐射出度的场景时获得的各像素具有相同的灰度值；
S2：使用空间光调制器对时空联合结构进行光编码，以建立多个特征点在图像空间与物理空间之间的对应关系；
S3：对所述时空联合结构进行光解码，以获取所述多个特征点在图像平面的像素坐标和所述多个特征点在空间光调制器平面的物理坐标；
S4：根据所述多个特征点在图像平面的像素坐标和所述多个特征点在空间光调制器平面的物理坐标得到单应性关系，并根据所述单应性关系得到全局坐标映射。
2.根据权利要求1所述的宽视场高分辨显微成像中像感器阵列标定方法，其特征在于，通过以下公式对像感器阵列进行渐晕效应标定与校正：
Pix'(x,y)＝f(f-1(Pix(x,y))·S(Dis(x,y)))
其中，Pix'(x,y)为校正后灰度，Pix(x,y)为原始灰度，f为相机响应函数，S(Dis(x,y))为离心距离相关的补偿系数。
3.根据权利要求1所述的宽视场高分辨显微成像中像感器阵列标定方法，其特征在于，所述空间光调制器包括胶片、DMD、LCD和LCOS。
4.根据权利要求1所述的宽视场高分辨显微成像中像感器阵列标定方法，其特征在于，步骤S3进一步包括：
提取所述多个特征点在图像平面的像素坐标，以及根据编码方式解码得到所述多个特征点在空间光调制器平面的物理坐标。
5.根据权利要求1所述的宽视场高分辨显微成像中像感器阵列标定方法，其特征在于，所述步骤 S4进一步包括：
在求取每个子视场像感器平面到空间光调制器平面的单应性矩阵后，利用各自的单应性矩阵，建立任意物理位置到子视场图像像素位置的映射；
根据总体物理视场对应的总像素数，获取总图的每个像素对应的物理尺度，从而建立任意物理位置到总视场图像像素位置的映射；
将所述子视场图像像素位置的映射和所述总视场图像像素位置的映射融合为总视场图像像素位置到子视场图像像素位置的映射。
CN201710108792.8A 2017-02-27 2017-02-27 宽视场高分辨显微成像中像感器阵列标定方法 Expired - Fee Related CN106910224B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710108792.8A CN106910224B (zh) 2017-02-27 2017-02-27 宽视场高分辨显微成像中像感器阵列标定方法
US15/862,106 US10254529B2 (en) 2017-02-27 2018-01-04 Method and apparatus for calibrating image sensor array in microscopic imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710108792.8A CN106910224B (zh) 2017-02-27 2017-02-27 宽视场高分辨显微成像中像感器阵列标定方法

Publications (2)

Publication Number Publication Date
CN106910224A CN106910224A (zh) 2017-06-30
CN106910224B true CN106910224B (zh) 2019-11-22

Family

ID=59209219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710108792.8A Expired - Fee Related CN106910224B (zh) 2017-02-27 2017-02-27 宽视场高分辨显微成像中像感器阵列标定方法

Country Status (2)

Country Link
US (1) US10254529B2 (zh)
CN (1) CN106910224B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108055487B (zh) * 2017-12-19 2020-02-21 清华大学 像感器阵列不均匀性的一致校正方法及系统
CN109142272B (zh) * 2018-07-28 2020-06-09 华中科技大学 提高光电传感阵列测量折射率过程中数据处理精度的方法
JP2022532725A (ja) * 2019-05-12 2022-07-19 マジック アイ インコーポレイテッド ３次元深度マップデータの２次元画像上へのマッピング
CN110611748B (zh) * 2019-09-10 2022-06-10 北方信息控制研究院集团有限公司 一种显微视场相机阵列成像一致性校正方法
CN110827362A (zh) * 2019-11-05 2020-02-21 天津理工大学 一种基于多项式相机响应函数与渐晕效应补偿的光度标定方法
CN111123496B (zh) * 2020-01-19 2020-11-06 西安交通大学 基于希尔伯特变换的结构照明快速三维彩色显微成像方法
CN111246190B (zh) * 2020-01-21 2021-12-07 北京中科核安科技有限公司 基于核辐射定位仪的图像处理方法、装置及电子设备
CN113420581A (zh) * 2020-10-19 2021-09-21 杨宏伟 书面文档图像的校正方法、装置、电子设备及可读介质
CN112295109B (zh) * 2020-10-20 2022-04-01 北京理工大学 一种治疗光控制方法和使用其的光动力治疗装置
CN114636992A (zh) * 2020-12-15 2022-06-17 深圳市灵明光子科技有限公司 相机校准方法、相机及计算机可读存储介质
CN113327211B (zh) * 2021-07-28 2021-11-02 清华大学 大视场高分辨光场显微系统校正方法和装置
US20230128689A1 (en) * 2021-10-27 2023-04-27 Objectvideo Labs, Llc Extrinsic camera calibration using calibration object

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103841327A (zh) * 2014-02-26 2014-06-04 中国科学院自动化研究所 一种基于原始图像的四维光场解码预处理方法
CN104539832A (zh) * 2014-12-31 2015-04-22 上海理工大学 混合式光场成像系统
CN104749745A (zh) * 2015-04-17 2015-07-01 张家港中贺自动化科技有限公司 一种大视场高分辨光学系统
JP2016065813A (ja) * 2014-09-25 2016-04-28 Ｊｆｅスチール株式会社 磁気センサアレイ校正方法および磁気センサアレイ校正装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5777736A (en) * 1996-07-19 1998-07-07 Science Applications International Corporation High etendue imaging fourier transform spectrometer
WO2001071410A2 (en) * 2000-03-17 2001-09-27 Zograph, Llc High acuity lens system
US9443322B2 (en) * 2013-09-09 2016-09-13 Mediatek Singapore Pte. Ltd. Method and associated apparatus for correcting color artifact of image
JP2017507680A (ja) * 2013-12-23 2017-03-23 キャンプレックス インコーポレイテッド 手術可視化システム
WO2016090336A1 (en) * 2014-12-05 2016-06-09 Camplex, Inc. Surgical visualization systems and displays

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103841327A (zh) * 2014-02-26 2014-06-04 中国科学院自动化研究所 一种基于原始图像的四维光场解码预处理方法
JP2016065813A (ja) * 2014-09-25 2016-04-28 Ｊｆｅスチール株式会社 磁気センサアレイ校正方法および磁気センサアレイ校正装置
CN104539832A (zh) * 2014-12-31 2015-04-22 上海理工大学 混合式光场成像系统
CN104749745A (zh) * 2015-04-17 2015-07-01 张家港中贺自动化科技有限公司 一种大视场高分辨光学系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于面结构光投影的回转式三维测量系统研究与开发;王建兵;《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》;20070615;全文 *

Also Published As

Publication number Publication date
US20180246312A1 (en) 2018-08-30
US10254529B2 (en) 2019-04-09
CN106910224A (zh) 2017-06-30

Similar Documents

Publication Publication Date Title
CN106910224B (zh) 宽视场高分辨显微成像中像感器阵列标定方法
CN110660023B (zh) 一种基于图像语义分割的视频拼接方法
CN108122191B (zh) 鱼眼图像拼接成全景图像和全景视频的方法及装置
US20220044442A1 (en) Bi-level optimization-based infrared and visible light fusion method
CN108921781A (zh) 一种基于深度的光场拼接方法
CN101394573B (zh) 一种基于特征匹配的全景图生成方法及系统
CN106683045A (zh) 一种基于双目像机的全景图像拼接方法
CN113963044B (zh) 一种基于rgbd相机的货物箱智能装载方法及系统
CN108765333B (zh) 一种基于深度卷积神经网络的深度图完善方法
CN109063748A (zh) 基于数据增强的目标检测方法
CN110111248A (zh) 一种基于特征点的图像拼接方法、虚拟现实系统、照相机
CN107561704A (zh) 头戴式显示装置和驱动该头戴式显示装置的方法
CN108154514A (zh) 图像处理方法、装置及设备
CN113902657A (zh) 图像拼接方法、装置和电子设备
CN105869115B (zh) 一种基于kinect2.0的深度图像超分辨率方法
CN106910208A (zh) 一种存在运动目标的场景图像拼接方法
CN105894443A (zh) 一种基于改进的surf算法的实时视频拼接方法
JP4965967B2 (ja) 映像表示システムの調整システム
CN110490797A (zh) 一种基于双流深层卷积网络的深度图像超分辨率重建方法
Shen et al. Distortion-tolerant monocular depth estimation on omnidirectional images using dual-cubemap
CN109428987A (zh) 一种头戴式全景360度立体摄像装置及摄像处理方法
CN116091314A (zh) 一种基于多尺度深度单应性的红外图像拼接方法
CN108805921A (zh) 图像获取系统及方法
CN113506275B (zh) 一种基于全景城市图像处理方法
CN113298177B (zh) 夜间图像着色方法、装置、介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191122