CN110611748A - 一种显微视场相机阵列成像一致性校正方法 - Google Patents

一种显微视场相机阵列成像一致性校正方法 Download PDF

Info

Publication number
CN110611748A
CN110611748A CN201910853406.7A CN201910853406A CN110611748A CN 110611748 A CN110611748 A CN 110611748A CN 201910853406 A CN201910853406 A CN 201910853406A CN 110611748 A CN110611748 A CN 110611748A
Authority
CN
China
Prior art keywords
image
pixel
illumination
mask
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910853406.7A
Other languages
English (en)
Other versions
CN110611748B (zh
Inventor
鲍家坤
高天成
陈诚
刘思培
张志虎
侯海婷
曹玲玲
袁鸯
宋春林
童安玲
王娟
杨磊
邹媛媛
李金龙
纪恩怀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northern Information Control Research Institute Group Co Ltd
Original Assignee
Northern Information Control Research Institute Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northern Information Control Research Institute Group Co Ltd filed Critical Northern Information Control Research Institute Group Co Ltd
Priority to CN201910853406.7A priority Critical patent/CN110611748B/zh
Publication of CN110611748A publication Critical patent/CN110611748A/zh
Application granted granted Critical
Publication of CN110611748B publication Critical patent/CN110611748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明的目的在于提供一种显微视场相机阵列成像一致性校正方法，包括以下步骤：步骤1，建立图像一致性校正模型；步骤2，测定相机响应函数；步骤3，测定渐晕校正系数；步骤4，测定照明校正系数；步骤5，图像全局一致性校正。

Description

一种显微视场相机阵列成像一致性校正方法
技术领域
本发明涉及一种数字图像处理技术，特别是一种显微视场相机阵列成像一致性校正方法。
背景技术
显微成像技术是生命科学的关注重点，在肿瘤和神经研究中，人们对于宽视场、高分辨、实时的显微成像需求迫切。例如在研究肿瘤转移机理时，需要在跨尺度范围内动态观测厘米级的生物样本和微米/亚微米级的细胞活动。最新的脑科学研究需要在厘米级视场内，动态观测百万神经元的连接活动。因此人们迫切需要能够同时具备宽视场、高分辨和实时成像功能的显微成像仪器。
利用相机阵列进行显微视场成像，实现分视场采集与全视场图像融合，是解决上述需求的有效方案。由于样本照明范围大、像感器数量与相机镜头数量多，不同分视场图像间非一致性严重。因此，为融合生成高质量的宽视场显微图像，需要对各分视场图像进行一致性校正。
发明内容
本发明的目的在于提供一种显微视场相机阵列成像一致性校正方法。
实现本发明目的的技术方案为：一种显微视场相机阵列成像一致性校正方法，包括以下步骤：
步骤1，建立图像一致性校正模型；
步骤2，测定相机响应函数；
步骤3，测定渐晕校正系数；
步骤4，测定照明校正系数；
步骤5，图像全局一致性校正。
进一步地，步骤1所述的图像一致性校正模型为
G'(u,v)＝F(F-1(G(u,v))·α1(d1(u,v))·α2(d2(u,v)))
其中，G'(u,v)为校正后灰度值，G(u,v)为原始灰度值，F为相对曝光量—灰度值响应函数，α1(d1(u,v))为分视场图像离心距离相关的渐晕校正系数，α2(d2(u,v))为总视场图像离心距离相关的照明校正系数。
进一步地，步骤2所述的相机响应函数g(z)为：
g(zij)＝lnEi+lnΔtj
其中，zij为第j次曝光下像素i的灰度值，zij为第j次曝光下像素i的灰度值，Ei为像素i对应物方点的相对曝光量，Δtj为第j次拍摄的曝光时间。
进一步地，步骤3中关闭显微成像系统照明光源，以拍摄的均匀自发光物体图像为模板，以不受渐晕影响的中心区域平均灰度值作为理想灰度，做逐像素渐晕校正，具体过程为：
步骤301，打开显微成像系统照明光源，拍摄高反射率表面均匀样本，过曝图像，对过曝图像进行二值化和边界处理形成Mask，其中Mask为1区域表示分视场成像区域，Mask为0区域表示未成像区域；
步骤302，关闭显微成像系统照明光源，同一曝光时间多次拍摄标准面光源不过曝图像；
步骤303，对不过曝图像求取平均和中值滤波且进行时空平滑，并与该分视场对应Mask相乘，得到带掩模的渐晕图像MVI；
步骤304，对MVI逐像素计算分视场渐晕校正系数VCF：
其中，(u,v)为像素坐标，为MVI各自分视场中心区域平均灰度，F为相对曝光量—灰度值响应函数。
进一步地，步骤4中打开显微成像系统照明光源，以拍摄的表面平整反光均匀的物体图像为模板，以照明均匀的总视场中心区域平均灰度值作为理想灰度，做逐像素照明校正，具体包括：
步骤401，打开显微成像系统照明光源，拍摄高反射率表面均匀样本，过曝图像，对过曝图像进行二值化和边界处理形成Mask，其中Mask为1区域表示分视场成像区域，Mask为0区域表示未成像区域；
步骤402，打开显微成像系统照明光源，同一曝光时间下多次拍摄表面平整反光均匀的物体的不过曝图像；
步骤403，对不过曝图像求取平均和中值滤波且进行时空平滑，并与该分视场对应Mask相乘，得到带掩模的照明图像MII；
步骤404，对MII逐像素计算照明校正系数ICF：
其中，为MII总视场中心区域平均灰度，F为相对曝光量—灰度值响应函数。
进一步地，步骤5中所述图像全局一致性校正函数为：
P'(u,v)＝F(F-1(P(u,v))·VCF(u,v)·ICF(u,v))
其中，P'(u,v)为校正后灰度值，P(u,v)为原始灰度值，F为相对曝光量—灰度值响应函数，VCF(u,v)为渐晕校正系数，ICF(u,v)为照明校正系数。
本发明将相机响应非一致、渐晕效应和照明光源不均匀三种因素耦合在一起共同造成了图像的非一致，建立包含三种因素的校正模型，并设计相应的模型参数测定方法。
下面结合说明书附图对本发明做进一步描述。
附图说明
图1为本发的明方法流程图。
图2为显微视场相机阵列成像的光路示意图。
图3为本发明造成图像非一致的因素示意图。
具体实施方式
如图1所示，根据本发明实施例的显微视场相机阵列成像一致性校正方法的整体流程图，包括以下步骤：
步骤S1，建立图像一致性校正模型；
步骤S2，测定相机响应函数；
步骤S3，测定渐晕校正系数；
步骤S4，测定照明校正系数；
步骤S5，图像全局一致性校正。
具体的
步骤S1，建立图像一致性校正模型。图2为显微视场相机阵列成像的光路示意图，光源经过匀光镜扩束和反射镜折转，经过主物镜的一部分照射到样本上。样本的反射光经过主物镜放大和反射镜折转成中间像。该中间像通过相机场景阵列由像感器阵列成像。如图3所示，造成图像非一致的因素包含三个方面。一是照射到样本表面的光源呈现中间向四周衰减的趋势；二是相机阵列每个分视场相机镜头的渐晕效应；三是不同相机各自的响应函数差异。充分考虑上述三种因素，建立的图像一致性校正模型为：
G'(u,v)＝F(F-1(G(u,v))·α1(d1(u,v))·α2(d2(u,v)))
其中G'(u,v)为校正后灰度值，G(u,v)为原始灰度值，F为“相对曝光量—灰度值”响应函数，α1(d1(u,v))为分视场图像离心距离相关的渐晕校正系数，α2(d2(u,v))为总视场图像离心距离相关的照明校正系数。该模型的含义为：图像的原始灰度值通过响应函数的逆函数转换为相对曝光量，该相对曝光量值乘以渐晕校正系数和照明校正系数成为理想相对曝光量，最后再通过响应函数将理想相对曝光量转换为理想灰度值。
步骤S2，测定相机响应函数。数字相机成像过程可以看作场景曝光量到图像灰度值的映射。这一过程包括场景光线进入透镜，图像传感器将曝光时间内入射的光子转换成电子形成模拟信号，经输出放大器形成电压信号，再由模数转换器转换为数字信号，最终映射为图像灰度值。
由场景相对曝光量到图像灰度的映射关系可以表示为如下数学模型：
z＝f(EΔt)
式中z为像素灰度值，E为像素对应物方相对曝光量值，Δt为相机曝光时间。我们对上式两边取对数并考虑同一场景不同曝光条件下多次拍摄，可以得到：
g(zij)＝lnEi+lnΔtj
其中，g(·)＝lnf-1(·)(f(·)为单调递增函数，其逆函数存在)通常被称为相机响应函数，zij为第j次曝光下像素i的灰度值，Ei为像素i对应物方点的相对曝光量，Δtj为第j次拍摄的曝光时间。
利用同一场景多次不同曝光下的低动态范围图像，可以Debevec等人提出的算法求取相机响应函数。该算法优化的最小平方代价函数为：
其中
对待优化变量g(·)与E分别求偏导，并令偏导数为0。对不同曝光下覆盖0～255灰度阶的足够多采样点，运用上述优化方法，可构造出联合超定方程组，对该超定方程组采用SVD分解，即可求取覆盖0～255灰度阶的相机响应函数g(z)。为保证不同采样点的计算结果，能在统一到同一坐标系内，我们对每个采样点都进行“相对曝光量(h)—灰度值(z)”的统计。其中灰度z为采样点的灰度值，相对曝光量h＝H/Hnormal，其中H＝EΔt为绝对曝光量，Hnormal为灰度128对应的绝对曝光量。“相对曝光量(h)—灰度值(z)”响应函数F与g的关系为g(z)＝lnF-1(z)。
步骤3，测定渐晕校正系数。测定渐晕校正系数时，需要关闭显微成像系统照明光源，拍摄标准面光源。此时拍摄物体自发光，不受系统照明不均匀影响。渐晕校正思路是以拍摄的均匀自发光物体图像为模板，以不受渐晕影响的中心区域平均灰度值作为理想灰度，做逐像素渐晕校正。注意到，需要通过“相对曝光量—灰度值”响应函数的逆函数将灰度值转换为相对曝光量，再进行校正系数计算。
步骤301，获取成像区域掩模图像。打开显微成像系统照明光源，拍摄高反射率表面均匀样本(例如表面银反射镜)过曝图像。对过曝图像进行二值化和边界处理，形成Mask。由于本系统中成像区域小于像感器区域，Mask为1区域表示分视场成像区域，Mask为0区域表示未成像区域。
步骤302，获取渐晕模板图像。关闭显微成像系统照明光源，同一曝光时间多次拍摄标准面光源不过曝图像。对拍摄图像求取平均和中值滤波，进行时空平滑，并与该分视场对应Mask相乘，得到带掩模的渐晕图像MVI(Masked Vignetting Image)。
步骤303，逐像素计算渐晕校正系数。对MVI逐像素计算分视场渐晕校正系数VCF(Vignetting Correction Factor),VCF的计算公式为：
其中，(u,v)为像素坐标，为MVI各自分视场中心区域平均灰度，F为步骤S2中求取的“相对曝光量—灰度值”响应函数。
步骤S4，测定照明校正系数。测定照明补偿系数时，需要打开显微成像系统照明光源，拍摄表面平整反光均匀的物体，例如表面银反射镜。照明校正思路是以拍摄的表面平整反光均匀的物体图像为模板，以照明均匀的总视场中心区域平均灰度值作为理想灰度，做逐像素照明校正。注意到，需要通过“相对曝光量—灰度值”响应函数的逆函数将灰度值转换为相对曝光量，再进行校正系数计算。
步骤401，获取照明模板图像。打开显微成像系统照明光源，同一曝光时间下，多次拍摄表面平整反光均匀的物体的不过曝图像。对拍摄图像求取平均和中值滤波，进行时空平滑，并与该分视场对应Mask相乘，得到带掩模的照明图像MII(Masked IlluminationImage)。
步骤402，逐像素计算照明校正系数。对MII逐像素计算照明校正系数ICF(Illumination Correction Factor),的计算公式为：
其中为MII总视场中心区域平均灰度，F为步骤S2中求取的“相对曝光量—灰度值”响应函数。
步骤S5，图像全局一致性校正。通过步骤S1，建立了显微视场相机阵列成像的图像一致性校正模型；通过步骤S2～S3，测定了该模型中的全部校正参数。因此对于每个相机拍摄图像的每个像素都可以进行离散化的逐像素校正，即：
P'(u,v)＝F(F-1(P(u,v))·VCF(u,v)·ICF(u,v))
其中，P'(u,v)为校正后灰度值,P(u,v)为原始灰度值，F为“相对曝光量—灰度值”响应函数，VCF(u,v)为渐晕校正系数，ICF(u,v)为照明校正系数。经过校正，相机阵列拍摄到的图像具有非常良好的一致性，不受镜头渐晕、照明不均匀以及相机响应函数差异的影响。

Claims (6)

1.一种显微视场相机阵列成像一致性校正方法，其特征在于，包括以下步骤：
步骤1，建立图像一致性校正模型；
步骤2，测定相机响应函数；
步骤3，测定渐晕校正系数；
步骤4，测定照明校正系数；
步骤5，图像全局一致性校正。
2.根据权利要求1所述的方法，其特征在于，步骤1所述的图像一致性校正模型为
G'(u,v)＝F(F-1(G(u,v))·α1(d1(u,v))·α2(d2(u,v)))
其中，G'(u,v)为校正后灰度值，G(u,v)为原始灰度值，F为相对曝光量—灰度值响应函数，α1(d1(u,v))为分视场图像离心距离相关的渐晕校正系数，α2(d2(u,v))为总视场图像离心距离相关的照明校正系数。
3.根据权利要求1所述的方法，其特征在于，步骤2所述的相机响应函数g(z)为：
g(zij)＝ln Ei+ln Δtj
其中，zij为第j次曝光下像素i的灰度值，zij为第j次曝光下像素i的灰度值，Ei为像素i对应物方点的相对曝光量，Δtj为第j次拍摄的曝光时间。
4.根据权利要求1所述的方法，其特征在于，步骤3中关闭显微成像系统照明光源，以拍摄的均匀自发光物体图像为模板，以不受渐晕影响的中心区域平均灰度值作为理想灰度，做逐像素渐晕校正，具体过程为：
步骤301，打开显微成像系统照明光源，拍摄高反射率表面均匀样本，过曝图像，对过曝图像进行二值化和边界处理形成Mask，其中Mask为1区域表示分视场成像区域，Mask为0区域表示未成像区域；
步骤302，关闭显微成像系统照明光源，同一曝光时间多次拍摄标准面光源不过曝图像；
步骤303，对不过曝图像求取平均和中值滤波且进行时空平滑，并与该分视场对应Mask相乘，得到带掩模的渐晕图像MVI；
步骤304，对MVI逐像素计算分视场渐晕校正系数VCF：
其中，(u,v)为像素坐标，为MVI各自分视场中心区域平均灰度，F为相对曝光量—灰度值响应函数。
5.根据权利要求1所述的方法，其特征在于，步骤4中打开显微成像系统照明光源，以拍摄的表面平整反光均匀的物体图像为模板，以照明均匀的总视场中心区域平均灰度值作为理想灰度，做逐像素照明校正，具体包括：
步骤401，打开显微成像系统照明光源，拍摄高反射率表面均匀样本，过曝图像，对过曝图像进行二值化和边界处理形成Mask，其中Mask为1区域表示分视场成像区域，Mask为0区域表示未成像区域；
步骤402，打开显微成像系统照明光源，同一曝光时间下多次拍摄表面平整反光均匀的物体的不过曝图像；
步骤403，对不过曝图像求取平均和中值滤波且进行时空平滑，并与该分视场对应Mask相乘，得到带掩模的照明图像MII；
步骤404，对MII逐像素计算照明校正系数ICF：
其中，为MII总视场中心区域平均灰度，F为相对曝光量—灰度值响应函数。
6.根据权利要求1所述的方法，其特征在于，步骤5中所述图像全局一致性校正函数为：
P'(u,v)＝F(F-1(P(u,v))·VCF(u,v)·ICF(u,v))
其中，P'(u,v)为校正后灰度值，P(u,v)为原始灰度值，F为相对曝光量—灰度值响应函数，VCF(u,v)为渐晕校正系数，ICF(u,v)为照明校正系数。
CN201910853406.7A 2019-09-10 2019-09-10 一种显微视场相机阵列成像一致性校正方法 Active CN110611748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910853406.7A CN110611748B (zh) 2019-09-10 2019-09-10 一种显微视场相机阵列成像一致性校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910853406.7A CN110611748B (zh) 2019-09-10 2019-09-10 一种显微视场相机阵列成像一致性校正方法

Publications (2)

Publication Number Publication Date
CN110611748A true CN110611748A (zh) 2019-12-24
CN110611748B CN110611748B (zh) 2022-06-10

Family

ID=68891137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910853406.7A Active CN110611748B (zh) 2019-09-10 2019-09-10 一种显微视场相机阵列成像一致性校正方法

Country Status (1)

Country Link
CN (1) CN110611748B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260573A (zh) * 2020-01-13 2020-06-09 浙江未来技术研究院(嘉兴) 一种手术显微成像中渐晕现象的消除方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004019126A2 (en) * 2002-08-21 2004-03-04 Alpha Innotech Corporation Method and apparatus for extending signal range
KR20170036378A (ko) * 2015-09-24 2017-04-03 삼성전자주식회사 렌즈 쉐이딩 정정 회로 및 이를 포함하는 장치들
CN106910224A (zh) * 2017-02-27 2017-06-30 清华大学 宽视场高分辨显微成像中像感器阵列标定方法
CN108055487A (zh) * 2017-12-19 2018-05-18 清华大学 像感器阵列不均匀性的一致校正方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004019126A2 (en) * 2002-08-21 2004-03-04 Alpha Innotech Corporation Method and apparatus for extending signal range
KR20170036378A (ko) * 2015-09-24 2017-04-03 삼성전자주식회사 렌즈 쉐이딩 정정 회로 및 이를 포함하는 장치들
CN106910224A (zh) * 2017-02-27 2017-06-30 清华大学 宽视场高分辨显微成像中像感器阵列标定方法
CN108055487A (zh) * 2017-12-19 2018-05-18 清华大学 像感器阵列不均匀性的一致校正方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
丁莹 等: "视觉系统光学渐晕效应非线性补偿方法", 《清华大学学报（自然科学版）》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260573A (zh) * 2020-01-13 2020-06-09 浙江未来技术研究院(嘉兴) 一种手术显微成像中渐晕现象的消除方法
CN111260573B (zh) * 2020-01-13 2023-06-02 浙江未来技术研究院(嘉兴) 一种手术显微成像中渐晕现象的消除方法

Also Published As

Publication number Publication date
CN110611748B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
NO316849B1 (no) Adaptiv ikke-uniform kompensasjonsalgoritme
EP1447977A1 (en) Vignetting compensation
CN108056785B (zh) 一种平板探测器增益校正模板的更新方法
CN107835337A (zh) 黑白面阵ccd相机平场校正方法及系统
Kordecki et al. Practical vignetting correction method for digital camera with measurement of surface luminance distribution
CA2252057C (en) Method for determining pressure
CN102254315B (zh) 双数字相机大气能见度观测法
JPH11501487A (ja) 補正ユニットを有する画像ピックアップ装置を含むｘ線検査装置
CN105571827B (zh) 一种日冕仪平场测量和光强标定的装置与方法
CN112200848B (zh) 低光照弱对比复杂环境下的深度相机视觉增强方法及系统
CN102577355A (zh) 预测图像采集系统的缺陷的方法及其相关系统
CN110611748B (zh) 一种显微视场相机阵列成像一致性校正方法
CN118333914B (zh) 一种高动态范围的光场数据白图像校正方法、系统及介质
JP2018151832A (ja) 情報処理装置、情報処理方法、および、プログラム
CN108055487B (zh) 像感器阵列不均匀性的一致校正方法及系统
CN117097997A (zh) 一种反向图像信号处理的噪声图像合成方法
CN116934833A (zh) 基于双目视觉水下结构病害检测方法、设备及介质
CN115022610B (zh) 一种线阵相机平场校正方法
CN111932478A (zh) 一种非制冷红外焦平面的自适应非均匀校正方法
CN112866596B (zh) 基于cmos传感器的抗强光三维捕捉方法及系统
CN111788824A (zh) 图像处理装置、成像装置以及图像处理方法
CN110749550B (zh) 一种基于深度学习的天文光谱仪像质补偿方法及系统
Kordecki et al. Fast vignetting reduction method for digital still camera
CN108830904B (zh) 一种参数优化的相机响应曲线定标方法
CN107909559B (zh) 基于相机高低位数据的图像去噪融合方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant