CN109559275A - 一种尿液分析仪显微镜图像拼接方法 - Google Patents

一种尿液分析仪显微镜图像拼接方法 Download PDF

Info

Publication number
CN109559275A
CN109559275A CN201811321489.7A CN201811321489A CN109559275A CN 109559275 A CN109559275 A CN 109559275A CN 201811321489 A CN201811321489 A CN 201811321489A CN 109559275 A CN109559275 A CN 109559275A
Authority
CN
China
Prior art keywords
image
field
vision
images
overlay region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811321489.7A
Other languages
English (en)
Inventor
方国军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mindray Bio Medical Electronics Co Ltd
Original Assignee
Suzhou Mairui Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Mairui Technology Co Ltd filed Critical Suzhou Mairui Technology Co Ltd
Priority to CN201811321489.7A priority Critical patent/CN109559275A/zh
Publication of CN109559275A publication Critical patent/CN109559275A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing

Abstract

本发明涉及一种尿液分析仪显微镜图像拼接方法,包括选取尿液样本拍摄区域,将尿液样本拍摄区域分为多个视野区,控制驱动装置至多个视野区预定位置,获取摄像拍摄的多张图像,对多张图像进行拼接处理以获取计数图,对计数图中有形成分进行识别、计数,输出统计结果,将不同视野的相邻图像拼接成一幅完整的计数图,可以消除不同视野的重叠区和边缘有形成分不完整的状况,降低检测结果偏差。

Description

一种尿液分析仪显微镜图像拼接方法
技术领域
本发明涉及医疗器械技术领域,特别是涉及一种尿液分析仪显微镜图像自动拼接方法。
背景技术
现代医疗临床检验实验室中,广泛应用显微镜系统对计数池聚焦平面的样本细胞颗粒进行图像采集、识别以及最后输出结果。由于样本细胞颗粒分布在整个计数池平面内,而受显微镜视野范围所限,显微镜不能一次性拍摄到完整的计数池平面,只是整个计数池的很小一部分区域,为了完成整个计数池平面区域的拍摄,现有的尿液分析仪控制软件需要控制电机转动完成计数池平面的移动,从而完成各个视野的拍摄。
但由于各视野照片独立计数,如果各个视野中有重叠的拍照区域则会对该重叠区域的样本有形成分进行重复识别计数;而且由于有形成分的分布特点和视野大小所限,不可避免的会出现所拍摄的图像中出现边缘有形成分不完整的形态,从而不能准确识别该部分不完整形态的有形成分;当样本浓度较低时,重复计数或者压边不完整少计数均会导致统计结果出现偏差,从而影响医生的诊断。
发明内容
针对现有的尿液分析仪显微镜拍摄方案不能很好地解决显微镜视野区图像中重叠和有形成分压边不完整的问题,本发明提供一种尿液分析仪显微镜图像拼接方法及尿液分析仪,将不同视野的相邻图像拼接成一幅完整的计数图以消除不同视野的重叠区域和边缘有形成分不完整的状况,降低检测结果偏差。
该尿液分析仪显微镜图像拼接方法,其特征在于,所述方法包括如下步骤:
选取尿液样本拍摄区域,将所述尿液样本拍摄区域分为多个视野区;控制驱动装置至所述多个视野区预定位置,获取摄像装置拍摄的多张图像;对所述多张图像进行拼接处理以获取计数图;对所述计数图中有形成分进行识别、计数,输出统计结果。
在一实施例中,所述多张图像中相邻图像产生第一重叠区,依据所述第一重叠区对所述多张图像进行拼接处理。在一实施例中,所述第一重叠区分别占所述相邻图像面积的10%-50%。
在一实施例中,所述多个视野区包括M*N个视野区,控制所述驱动装置沿第一方向运动,所述驱动装置驱动摄像装置拍摄N个视野区以获取N张图像,进而拍摄M行N个视野区以获取M*N张图像,所述M*N张图像中相邻图像产生所述第一重叠区;将所述同一行N张图像进行拼接,获得M张第一拼接图像,将所述M张第一拼接图像进行拼接,以获得所述计数图。
在一实施例中,所述多个视野区包括M*N个视野区,控制所述驱动装置沿第二方向运动,所述驱动装置驱动摄像装置拍摄N个视野区以获取N张图像,进而拍摄M列N个视野区以获取M*N张图像,所述M*N张图像中相邻图像产生所述第一重叠区;将所述同一列N张图像进行拼接,获得M张第二拼接图像,将所述M张第二拼接图像进行拼接,以获得所述计数图。
在一实施例中,对所述多张图像进行拼接处理的方法还包括如下步骤:
图像预处理,对所述多张图像中相邻图像进行预处理,消除所述相邻图像位置偏移;
图像配准,计算所述相邻图像第二重叠区,所述第一重叠区包含所述第二重叠区,根据所述第二重叠区对所述相邻图像进行拼接,获得拼接后图像;
图像融合,对所述拼接后图像的第二重叠区进行图像融合,消除所述第二重叠区的拼接痕迹。在一实施例中,计算所述相邻图像第二重叠区的方法包括如下步骤:
选择所述相邻图像中一张图像作为参数图像,另一张图像作为待拼接图像;
在所述参数图像的第一重叠区中选取模板图像;
将所述模板图像在相邻的待拼接图像中移动,搜索所述待拼接图像中与所述模板图像最相近区域,进行配准拼接,得到所述相邻图像的第二重叠区。
根据本申请的一方面,在一实施例中,提供了一种尿液分析仪,包括,显微镜,所述显微镜包括用于承载被测尿液样本的载物台以及用于放大被测样本的物镜;摄像装置,所述摄像装置设置于所述物镜上方,用于拍摄经所述物镜放大后视野区有形成分,获得多张图像;驱动装置,所述驱动装置用于驱动所述摄像装置按照预设路径移动到预定位置;样本信息处理装置,所述样本信息处理装置按照如权利要求6、7中任一项所述对多张图像进行拼接处理的方法对所述被测尿液样本中有形成分进行拼接、计数、输出。
在一实施例中,所述样本信息处理装置包括控制模块,所述控制模块获取所述摄像装置按照所述预设路径在所述预设位置拍摄的多张图像信息,按照如权利要求6、7中任一项所述拼接处理方法对所述多张图像进行拼接,获取计数图。
在一实施例中,所述样本信息处理装置还包括结果输出模块,所述结果输出模块对所述计数图中有形成分进行识别、计数,并输出统计结果。
在一实施例中,所述控制模块对所述多张图像进行拼接处理前需获取基准图像信息,所述基准图像信息为驱动所述摄像装置对所述载物台上计数池中尿液样本的拍摄区域的第一个视野区拍摄所得。
根据本申请的一方面,在一实施例中,提供了一种尿液分析仪显微镜图像拼接故障分析方法,其特征在于,所述故障分析方法包括如下步骤:尿液分析仪显微镜按照如权利要求1-7任一项所述拼接方法获得显微镜视野区图像;当所述显微镜未能按照预设路径在多个视野区预定位置进行拍摄时,多个视野区图像无法进行完整拼接;分析所述尿液分析仪显微镜发生故障拍摄的具体信息,提示用户进行故障处理。
根据本申请的另一方面,在一实施例中,提供了一种非易失性计算机可读存储介质,其上存储有计算机应用程序,其特征在于:所述计算机应用程序被处理器执行时实现如权利要求6、7中任一项所述的对多张视野区图像进行拼接处理的方法的步骤。
本发明通过对尿液样本中的有形成分进行识别、统计前运用图像拼接方法将不同显微镜视野区拍摄的相邻图像拼接成一幅完整的、无视野重叠及压边不完整的计数图,在不更改硬件设备不增加成本的前提下解决了不同显微镜视野区的重叠区域以及边缘有形成分不完整所带来的有形成分计数结果偏差的问题,提高了检测结果准确性。
附图说明
图1所示为一种实施例中尿液分析仪显微镜图像拼接方法中选取的计数池拍摄区域;
图2所示为一种实施例中将尿液样本拍摄区域沿第一方向划分为2N个视野区;
图3所示为一种实施例中将尿液样本拍摄区域沿第二方向划分为2N个视野区;
图4所示为一种实施例中图像拼接过程中插值算法示意图;
图5所示为一种实施例中尿液分析仪样本检验流程图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。而本申请所说“连接”、“联接”,如无特别说明,均包括直接和间接连接(联接)。本申请中所说的“计数图”是指对计数池拍摄区域的各个视野区进行拍摄后,将各个视野区的图像重新进行拼接所得到的整个计数池拍摄区域的样本中有形成分完整、无重复的图像;本申请中所说的“预设路径”及“预设位置”是指步进电机在X轴或者Y轴方向运行规定的步数,以保证相邻图像之间产生重叠,从而驱动摄像装置拍摄出各个视野区具有重叠区的图像。
实施例一
本发明实施例提供了一种尿液分析仪显微镜图像拼接方法,包括,选取尿液样本拍摄区域,将所述尿液样本拍摄区域分为多个视野区;控制驱动装置至所述多个视野区预定位置,获取摄像装置拍摄的多张图像;对所述多张图像进行拼接处理以获取计数图;对所述计数图中有形成分进行识别、计数,输出统计结果。其中有形成分包括,上皮、管型、结晶、细胞和细菌。
首先获取尿液样本,将尿液样本通过尿液提供装置输入置于显微镜载物台上的计数池,计数池内腔充满待测尿液样本后关闭尿液提供装置的进样阀,待测尿液样本静止并且依靠重力的作用使细胞等有形成分沉降到计数池下玻片上,且均匀分布在计数池中,从而使细胞等有形成分具有一致的显微镜物镜对焦平面。
请参阅图1,在一种实施例中,采用自动调焦的方式选取计数池中尿液样本拍摄区域,分别在计数池腔体或表面刻蚀标记图案,一般在计数池腔体或表面的第一侧设定第一标记图案101、第二侧设定第二标记图案102;优选地理想样本拍摄区域为距离第一标记图案101处0.2-0.6㎝,距离第二标记图案102处0.2-0.6㎝,距离计数池平面上、下边界处0.2-0.6㎝,所获得的理想拍摄区域103可以避开边界区域光照不均、阴影现象以及标定物的干扰,同时能够保证可拍摄区域面积足够大。计数池腔体或表面刻蚀的标记图案形状可以是如图井字图案,也可以是其他图形、符号、文字或其组合。在对视野进行拍照前,先根据默认焦距对标记图案进行拍照,根据图像清晰度值和清晰度标定曲线比较,计算出焦距变化量,根据标记图案和被测物之间的距离是稳定的这一关系,再间接计算被测物的实际焦距,进而在该实际焦距上进行拍照,然后对图像清晰度进行评价,实现显微镜的自动调焦。采用自动调焦的方式选取计数池中尿液样本的拍摄区域,可以避开人工操作的不一致性,简化操作流程,特别是对于一些操作经验较少的检验人员,自动调焦的方式更为适用,在其他实施例中,理想拍摄区域103的选择还可以是非自动调焦模式。
选好尿液样本的拍摄区域103后,将拍摄区域103分为多个视野区,控制驱动装置至多个视野区的预定位置,获取摄像装置拍摄的多张图像;然后对多张图像进行拼接处理以获取计数图;通过对尿液样本中的有形成分进行识别、统计前运用图像拼接方法将不同显微镜视野区拍摄的相邻图像拼接成一幅完整的、无视野重叠及压边不完整的计数图,在不更改硬件设备不增加成本的前提下解决了不同显微镜视野区的重叠区域以及边缘有形成分不完整所带来的有形成分计数结果偏差的问题,提高了检测结果准确性。
在其中一个实施例中,多张图像中相邻图像产生第一重叠区,依据第一重叠区对多张图像进行拼接处理。
在其中一个实施例中,第一重叠区分别占相邻图像的10%-50%。
在其中一个实施例中,多个视野区包括M*N个视野区,控制驱动装置沿第一方向运动,驱动装置驱动摄像装置拍摄N个视野区以获取N张图像,进而拍摄M行N个视野区以获取M*N张图像,M*N张图像中相邻图像产生第一重叠区;将同一行N张图像进行拼接,获得M张第一拼接图像,将M张第一拼接图像进行拼接,以获得计数图。
其中第一方向是指沿着X轴方向进行运动,第一拼接图像是指将驱动装置沿着X轴方向运动,摄像装置所拍摄的图像进行拼接所获得的每一行的拼接图像。
更进一步地,请参阅图2,为兼顾整个尿液样本的检验速度以及统计量的要求,将拍摄区域平均分为两行,每行N个视野区,共2N个显微镜视野区,并按顺序进行编号;从拍摄区域的起始视野区位置开始拍摄,即2N个显微镜视野区的左起编号为01的视野区坐标位置,根据编号顺序依次完成2N个视野区的拍摄,并对各个视野所拍摄的图像进行编号。例如,第一行第一幅图像标注为1011,第一行第二幅图像标注为1012,以此类推,第一行最后一幅图像标注为101N;第二行第一幅图像标注为1021,以此类推,第二行最后一幅图像标注为102N。拍摄视野区图像时,控制摄像装置野区拍摄位置使相邻视野区拍摄的图像产生第一重叠区,优选地,第一重叠区分别占相邻视野区图像面积的20%。参考图2中,图像1011的右侧边和图像1012的左侧边有第一重叠区,图像1011的下侧边和图像1021的上侧边也有第一重叠区,其余视野区所拍摄图像类似。
其中,控制显微镜视野区拍摄位置即控制驱动装置驱动摄像装置至2N个视野区的拍摄预定位置,本申请中的驱动装置为步进电机,也可以选用直流电机或多级齿轮机构等其他驱动装置;拍摄的预定位置取决于步进电机至每个视野区拍摄位置所运行的步数,本申请中摄像装置对相邻显微镜视野区沿X轴进行拍摄时,步进电机没有从一个视野区到相邻视野区运行规定的步数。
本实施例中当步进电机从编号01的视野区起始坐标位置开始启动,同时摄像装置在起始坐标位置对编号01的视野区开始摄像,获取图像1011,起始坐标位置可以人工指定,也可以通过获取标记图案的位置,自动偏移计算;紧接着步进电机运行至编号02的视野区,摄像装置对02号视野区进行摄像,获取图像1012,但步进电机并没有运行完从编号01视野区到编号02视野区所需要的规定步数,即步进电机运行160步刚好从01视野区运行至02视野区,显微镜视野宽度为160步,但本实施例中,步进电机实际运行的步数少于160步。
例如,步进电机从编号01的视野区起始坐标(0,0),按照20%的重叠区域计算,第二个视野区坐标为(0+160*0.8,0),即(128,0)。
当步进电机从编号01的视野区起始坐标处开始依次沿X轴运行时,摄像装置在此位置拍摄下第一张图像即基准图像1011,步进电机继续运行128步,摄像装置在步进电机运行128步后,开始拍摄第二张图像1012,此时获取的第二张图像中同时包含编号01视野区和编号02视野区图像,即第一重叠区;依次获取第三张图像,第三张图像1013中同时包含编号02视野区和编号03视野区图像,直到拍完第一行的最后一个视野区图像,由于步进电机从起始坐标位置开始至第二视野区时错步运行,所以依次运行至第一行最后一个视野区编号N时,会没有拍到部分视野区图像,但在整体计数时不会对最后计数结果产生大的影响。
同理,在拍摄第二行视野区图像时,按照第一行步进电机的运行规律,摄像装置对依次编号的视野区进行拍摄;不同的是,在拍摄完第一行后,步进电机运行至第二行的起始坐标位置,摄像装置开始拍摄图像1021,紧接着拍摄1022图像时,从第二行第一个视野区至第二个视野区,步进电机在X轴方向运行了128步,同时保证从第一行至第二行Y轴方向有重叠,即运行了120*0.8步,步进电机在Y轴方向的错步运行,使得第一行视野区与第二行视野区所获得的拍摄图像在Y轴方向也可以产生第一重叠区。
按照上述规律依次拍摄完2N个视野区,获得2N张视野区图像。将同一行N张图像进行拼接,获得2张第一拼接图像,将2张第一拼接图像进行拼接,获得计数图,所得的计数图中消除了不同视野图像的重叠区和边缘细胞等有形成分压边不完整的情况,提高了检验结果的准确性。
在另一种实施例中,多个视野区包括M*N个视野区,控制驱动装置沿第二方向运动,驱动装置驱动摄像装置拍摄N个视野区以获取N张图像,进而拍摄M列N个视野区以获取M*N张图像,M*N张图像中相邻图像产生所述第一重叠区;将同一列N张图像进行拼接,获得M张第二拼接图像,将所述M张第二拼接图像进行拼接,以获得所述计数图;
其中第二方向是指沿着Y轴方向进行运动,第二拼接图像是指将驱动装置沿着Y轴方向运动,摄像装置所拍摄的图像进行拼接所获得的每一列的拼接图像。
请参阅图3,兼顾整个尿液样本的检验速度以及统计量的要求,将拍摄区域平均分为2列,每列N个视野区,共2N个显微镜视野区,并按顺序进行编号;从拍摄区域的起始视野区位置开始拍摄,即2N个显微镜视野区的编号为01的视野区起始坐标位置,根据编号顺序依次完成2N个视野区的拍摄,并对各个视野所拍摄的图像进行编号。拍摄视野区图像时,控制显微镜视野区拍摄位置使相邻视野区拍摄的图像产生第一重叠区,优选地,第一重叠区分别占相邻视野区图像面积的20%,参考图3中,图像1011的下侧边和图像1012的上侧边有第一重叠区,图像1011的下侧边和图像1021的上侧边也有第一重叠区,其余视野区所拍摄图像类似。
其中,控制显微镜视野区拍摄位置即控制驱动装置驱动摄像装置至至2N个视野区的拍摄预定位置,本申请中的驱动装置为步进电机,当然也可以选用直流电机或多级齿轮机构等其他驱动装置;拍摄的预定位置取决于步进电机至每个视野区拍摄位置所运行的步数,本申请中摄像装置对相邻显微镜视野区沿Y轴进行拍摄时,步进电机没有从一个视野区到相邻视野区运行规定的步数。
本实施例中当步进电机从编号01的视野区起始坐标位置开始启动,同时摄像装置在起始坐标位置对编号01的视野区开始摄像,获取图像1011,起始坐标位置可以人工指定,也可以通过获取标记图案的位置,自动偏移计算;紧接着步进电机运行至编号02的视野区,摄像装置对02号视野区进行摄像,获取图像1012,但步进电机并没有运行完从编号01视野区到编号02视野区所需要的规定步数,即步进电机运行120步刚好从01视野区运行至02视野区,显微镜视野宽度为120步,但本实施例中,步进电机实际运行的步数少于120步。
例如,步进电机从编号01的视野区起始坐标(0,0),按照20%的重叠区域计算,第二个视野区坐标为(0,0+120*0.8),即(0,96)。
当步进电机从编号01的视野区起始坐标处开始依次沿Y轴运行时,摄像装置在此位置拍摄下第一张图像即基准图像1011,步进电机继续运行96步,摄像装置在步进电机运行96步后,开始拍摄第二张图像1012,此时获取的第二张图像中同时包含编号01视野区和编号02视野区图像,即第一重叠区;由于步进电机从起始坐标位置开始至第二个视野区时错步运行,所以依次运行至第2列最后一个视野区编号N′时,会没有拍到部分视野区图像,在整体计数时不会对最后计数结果产生大的影响。
同理,在拍摄第二列视野区图像时,按照第一列步进电机的运行规律,摄像装置对依次编号的视野区进行拍摄;不同的是,在拍摄完第一列后,步进电机运行在X轴方向运行128步至第二列的起始坐标位置即编号01′的视野区,摄像装置开始拍摄图像1021,步进电机在X轴方向也错步运行,使得第一列视野区与第二列视野区所获得的拍摄图像在X轴方向也可以产生第一重叠区。
按照上述规律依次拍摄完2N个视野区,获得2N张视野区图像。将同一列N张图像进行拼接,获得2张第二拼接图像,将2张第二拼接图像进行拼接,获得计数图,所得的计数图中消除了不同视野图像的重叠区和边缘细胞等有形成分压边不完整的情况,提高了检验结果的准确性。
在一种实施例中,请参考图2,摄像装置还可以沿X轴拍摄完第一行视野区图像后,紧接着拍摄N′编号的视野区图像,从右往左依次完成第二行图像拍摄,同时保证相邻视野区图像产生第一重叠区。
请参考图3,在另一种实施例中,摄像装置还可以沿Y轴拍摄完第一列视野区图像后,紧接着拍摄N′编号的视野区图像,从下往上依次完成第二列图像拍摄,同时保证相邻视野区图像产生第一重叠区。
在其他实施例中,摄像装置可以在保证相邻视野区图像产生第一重叠区的同时,拍摄顺序还可以沿其他路径进行拍摄。
在一种实施例中,对多张图像进行拼接处理的方法包括如下步骤:首先对图像进行预处理,即对多张图像中相邻图像进行预处理,消除相邻图像的位置偏移。由于计数池的安装精度难免会在X、Y方向移动使相邻图像之间出现微小的水平偏移,这些微小的偏移会对图像配准造成一定的干扰,本申请中通过数字图像变换校正算法来还原到图像原始状态。数字图现象变换校正算法有很多,由于图像只有平移和旋转两种状态,所以本申请中选择刚体变化即可满足要求,其变换模型如(1.1)所示:
在二维图像的坐标空间描述中,点(x,y)经过刚体变换后与坐标(x′,y′)关系表示如(1.2)所示:
在式(1.2)中θ代表图像间刚体变换的角度,a1、a2为水平方向的平移量。
当两张图像变换到相同坐标系后,并不是所有的点都能准确地映射到新坐标的网格中,从而造成一些空洞的点,如图4中P点,本申请中采用插值算法来解决,如(1.3)所示。
请参阅图4,当将待拼接图像坐标点映射到新的坐标系网络后,如果坐标值为非整数,则说明改点是一个空洞点,,选取该空洞点P周围四个最近的像素点分别为A、B、C、D,其坐标分别为(i,j)、(i+1,j)、(i+1,j-1)、(i,j-1),对应的灰度值分别是g(A)、g(B)、g(C)、g(D),选取该空洞点在AB、CD点连线上的交叉点E和F,E和F的灰度值分别为g(E)和g(F),则:
则P(x,y)点的灰度值g(x,y)为:
g(x,y)=(y-j)[g(F)-g(E)]+g(E) (1.4)
得到P点的灰度值后,即可知该点在新的坐标系中映射的具体坐标值。
对多张图像进行拼接处理的方法还包括图像配准,计算出相邻图像的第二重叠区区,第二重叠区包含于第一重叠区,根据第二重叠区对相邻图像进行拼接,获得拼接后图像。找出两幅不同视角方位的图像的相同部分,进行最佳匹配处理的过程是图像拼接技术的关键技术,是决定图像拼接是否成功的关键所在,本申请中采用归一化算法进行配准,该方法利用特征点领域像素灰度值的相关系数,其定义如下(1.5)所示:
其中Sij为某处搜索匹配的子区域,T为模板图像,m,n表示模板T内的特征点领域,D(i,j)表示具体匹配坐标(i,j)点灰度值的相关系数。对其进行归一化得出:
R(i,j)表示(i,j)点的匹配归一化系数值,当R(i,j)=1,代表该匹配区域和模板完全一致,这是最理想的状态,因此模板配准需要搜索完整个待拼接区域,然后取出R(i,j)取最大值的子区域作为配准的拼接区域。在归一化方法中模板窗口大小的选择非常关键,太小则误匹配率提升,太大则计算时间加长,本文结合实际情况选取窗口大小为50㎜*50㎜。
在其中一种实施例中,计算相邻图像第二重叠区的方法包括,选择相邻图像中一张图像作为参数图像,另一张图像作为待拼接图像,在参数图像的第一重叠区中选取模板图像,将模板图像在相邻拼接图像中移动,搜索待拼接图像中与模板图像最相近区域,进行配准拼接,得到相邻图像的第二重叠区。
本申请中图像配准过程中模板图像T选择的方法为:选取两张产生第一重叠区的图像,其中一张图像作为基准图像,即参数图像,另一张图像作为搜索图像即待拼接图像,在基准图像中选取一个固定目标,然后利用该目标在待拼接图像中移动,直到搜索出与其最相似的区域,实现最优匹配。该固定目标在本申请中即模板图像T,该模板的选择是配准成功与否的关键,为了实现最佳匹配,在图像的预计重叠区域里面选择图像信息最为丰富的区域作为模板,选择过程中采用数字图像的平方梯度算法来实现,即(1.7)所示。
T(i,j)值越大说明该图像信息越丰富,所以在目标区域选择该值最大的区域作为模板图像T。
对多张图像进行拼接处理的方法还包括图像融合,对拼接后图像进行图像融合,以消除拼接痕迹,使拼接后图像平滑自然。
两张不同视野下拍摄的图像配准拼接后会在拼接重叠区域留下较为明显的缝合痕迹,这样会干扰后续对重叠区细胞等有形成分的分割识别,因此需要对拼接图像通过融合处理使其平滑自然过渡,从而得到无缝的拼接图像,本申请中采用加权平均算法如(1.8)所示,来完成拼接区域图像的融合,除此之外还可以采用较为简单的平均值法,直接取具有第一重叠区的两张图像的重叠区各个像素灰度值进行平均。
其中,I(x,y)表示拼接融合后重叠区(x,y)点像素灰度值,I1和I2表示两张配准图像,且有第一重叠区域。M和N区域为重叠区域相似像素点。μ表示加权系数,x1、x2是重叠区域x的小值和最大值,融合过程中当图像从左到右的过渡过程中μ的取值变化为0→1的变化,实现了图像拼接区域的自然过渡。
当对所有图像拼接融合处理结束后,原来拍摄的M*N张图像拼接融合成一张完整的计数图,该计数图中所有的细胞均是完整的无重复,反应的是整个计数池平面内的全景,该图像拼接方法在不更改硬件设备、不增加成本的前提下,将不同显微镜视野区拍摄的相邻图像拼接成一幅完整的、无视野重叠及压边不完整的计数图,解决了不同显微镜视野区的重叠区域以及边缘有形成分不完整所带来的有形成分计数结果偏差的问题,为后续细胞颗粒等有形成分的正确分割、识别、计数提供了很好的前置基础,提高了检测结果准确性。
实施例二
本实施例提供了一种尿液分析仪,包括:显微镜,用于承载被测样本的载物台以及用于放大被测样本的物镜;摄像装置,设置于物镜上方,用于拍摄经物镜放大后的视野区有形成分,获得多张图像;驱动装置,用于驱动摄像装置按照预设路径移动到预定位置;样本信息处理装置,用于按照对多张图像进行拼接处理的方法对被测尿液样本中的有形成分进行拼接、计数、输出。该尿液分析仪能够在对尿液样本中的有形成分进行识别、统计前,运用图像拼接方法将不同显微镜视野区拍摄的相邻图像拼接成一幅完整的、无视野重叠及压边不完整的计数图,在不更改硬件设备、不增加成本的前提下,解决了不同显微镜视野区的重叠区域以及边缘有形成分不完整所带来的有形成分计数结果偏差的问题,提高了检测结果准确性。
在其中一个实施例中,样本信息处理装置包括控制模块,控制模块获取摄像装置按照预设路径在预设位置拍摄的多张图像信息,按照本申请中图像拼接处理方法步骤,包括图像预处理、图像配准、图像融合对多张图形进行拼接,获取计数图,所得计数图中消除了不同视野图像的重叠区和边缘细胞等有形成分压边不完整的情况,提高了检验结果的准确性。
在其中一个实施例中,样本信息处理装置还包括结果输出模块,结果输出模块对计数图中有形成分进行分割、识别、计数,并输出统计结果。
在其中一个实施例中,控制模块对多张图像进行拼接处理前需要获取基准图像信息,基准图像信息为驱动摄像装置对载物台上计数池中尿液样本的拍摄区域的第一个视野区拍摄所得。
尿液分析仪还包括尿液提供装置,用于将被测尿液样本输入并置于显微镜载物台上的计数池内;在一种实施例中,尿液提供装置包括进样泵、进样通道,获取被测尿液样本后,进样泵工作,打开进样通道,确定被测尿液样本经过进样通道充满计数池内腔时,进样泵停止工作;被测尿液样本依靠自身重力作用使有形成分沉降至计数池中,从而使有形成分具有一致的显微镜对焦平面。
实施例三
本实施例提供了一种尿液分析仪显微镜图像拼接故障分析方法,如图3所示为本申请中尿液样本检验流程,首先启动尿液分析仪,利用尿液提供装置将尿液样本灌注于计数池中,待样本依靠自身重力作用沉降结束后;摄像装置按照预设路径运行至预设位置开始拍摄多张视野区图像,首先拍摄基准图像,然后移动到下一个拍摄视野区进行拍摄,所得图像进行编号并保存,直到拍完所有视野区获得对应图像,该多张视野区图像中相邻两张图像中具有第一重叠区;当摄像装置完成所有视野区拍摄后,样本信息处理装置中的控制模块提取相邻的两张具有第一重叠区的图像进行自动拼接,拼接过程正常,所有图像完成拼接;样本信息处理装置中的结果输出模块将会被启动对有形成分进行分割、识别,并输出结果;输出的分析结果将等待用户审核,用户审核完成后输出检验报告,整个检验过程结束。
如果摄像装置未能按照预设路径在多个视野区预定位置进行拍摄时,多个视野区的图像无法进行完整拼接,即拼接不正常时,尿液分析仪将会提示图像异常,结束样本检验流程,并提醒用户进行故障处理。一般故障包括:基准图像的预设拍摄位置偏差、拍摄参数设置偏差及电机故障等。
实施例四
本实施例提供了一种非易失性计算机可读存储介质,其上存储有计算机应用程序,该计算机应用程序被处理器执行时实现对多张视野区图像进行拼接处理的方法的步骤。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明的保护范围应以所附权利要求为准。

Claims (13)

1.一种尿液分析仪显微镜图像拼接方法,其特征在于,所述方法包括如下步骤:
选取尿液样本拍摄区域,将所述尿液样本拍摄区域分为多个视野区;
控制驱动装置至所述多个视野区预定位置,获取摄像装置拍摄的多张图像;对所述多张图像进行拼接处理以获取计数图;
对所述计数图中有形成分进行识别、计数,输出统计结果。
2.根据权利要求1所述的尿液分析仪显微镜图像拼接方法,其特征在于,所述多张图像中相邻图像产生第一重叠区,依据所述第一重叠区对所述多张图像进行拼接处理。
3.根据权利要求2所述的尿液分析仪显微镜图像拼接方法,其特征在于,所述第一重叠区分别占所述相邻图像面积的10%-50%。
4.根据权利要求2所述的尿液分析仪显微镜图像拼接方法,其特征在于,所述多个视野区包括M*N个视野区,控制所述驱动装置沿第一方向运动,所述驱动装置驱动摄像装置拍摄N个视野区以获取N张图像,进而拍摄M行N个视野区以获取M*N张图像,所述M*N张图像中相邻图像产生所述第一重叠区;
将所述同一行N张图像进行拼接,获得M张第一拼接图像,将所述M张第一拼接图像进行拼接,以获得所述计数图。
5.根据权利要求2所述的尿液分析仪显微镜图像拼接方法,其特征在于,所述多个视野区包括M*N个视野区,控制所述驱动装置沿第二方向运动,所述驱动装置驱动摄像装置拍摄N个视野区以获取N张图像,进而拍摄M列N个视野区以获取M*N张图像,所述M*N张图像中相邻图像产生所述第一重叠区;
将所述同一列N张图像进行拼接,获得M张第二拼接图像,将所述M张第二拼接图像进行拼接,以获得所述计数图。
6.根据权利要求2所述的尿液分析仪显微镜图像拼接方法,其特征在于,对所述多张图像进行拼接处理的方法还包括如下步骤:
图像预处理,对所述多张图像中相邻图像进行预处理,消除所述相邻图像位置偏移;
图像配准,计算所述相邻图像的第二重叠区,所述第一重叠区包含所述第二重叠区,根据所述第二重叠区对所述相邻图像进行拼接,获得拼接后图像;
图像融合,对所述拼接后图像进行图像融合,消除拼接痕迹。
7.根据权利要求6所述的尿液分析仪显微镜图像拼接方法,其特征在于,计算所述相邻图像第二重叠区的方法包括如下步骤:
选择所述相邻图像中一张图像作为参数图像,另一张图像作为待拼接图像;在所述参数图像的第一重叠区中选取模板图像;
将所述模板图像在相邻待拼接图像中移动,搜索所述待拼接图像中与所述模板图像最相近区域,进行配准拼接,得到所述相邻图像的第二重叠区。
8.一种尿液分析仪,其特征在于,包括:
显微镜,所述显微镜包括用于承载被测尿液样本的载物台以及用于放大被测样本的物镜;
摄像装置,所述摄像装置设置于所述物镜上方,用于拍摄经所述物镜放大后的视野区有形成分,获得多张图像;
驱动装置,所述驱动装置用于驱动所述摄像装置按照预设路径移动到预定位置;
样本信息处理装置,所述样本信息处理装置按照如权利要求6、7中任一项所述对多张图像进行拼接处理的方法对所述被测尿液样本中有形成分进行拼接、计数、输出。
9.根据权利要求8所述的尿液分析仪,其特征在于,所述样本信息处理装置包括控制模块,所述控制模块获取所述摄像装置按照所述预设路径在所述预设位置拍摄的多张图像信息,按照如权利要求6、7中任一项所述拼接处理方法对所述多张图像进行拼接,获取计数图。
10.根据权利要求9所述的尿液分析仪,其特征在于,所述样本信息处理装置还包括结果输出模块,所述结果输出模块对所述计数图中有形成分进行识别、计数,并输出统计结果。
11.根据权利要求9所述的尿液分析仪,其特征在于,所述控制模块对所述多张图像进行拼接处理前需获取基准图像信息,所述基准图像信息为驱动所述摄像装置对所述载物台上计数池中尿液样本的拍摄区域的第一个视野区拍摄所得。
12.一种尿液分析仪显微镜图像拼接故障分析方法,其特征在于,所述故障分析方法包括如下步骤:
所述尿液分析仪摄像装置按照如权利要求1-7任一项所述拼接方法获得多张视野区图像;
当所述摄像装置未能按照预设路径在多个视野区预定位置进行拍摄时,所述多个视野区的图像无法进行完整拼接;
分析所述尿液分析仪发生故障拍摄的具体信息,提示用户进行故障处理。
13.一种非易失性计算机可读存储介质,其上存储有计算机应用程序,其特征在于:所述计算机应用程序被处理器执行时实现如权利要求6、7中任一项所述的对多张视野区图像进行拼接处理的方法的步骤。
CN201811321489.7A 2018-11-07 2018-11-07 一种尿液分析仪显微镜图像拼接方法 Pending CN109559275A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811321489.7A CN109559275A (zh) 2018-11-07 2018-11-07 一种尿液分析仪显微镜图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811321489.7A CN109559275A (zh) 2018-11-07 2018-11-07 一种尿液分析仪显微镜图像拼接方法

Publications (1)

Publication Number Publication Date
CN109559275A true CN109559275A (zh) 2019-04-02

Family

ID=65865850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811321489.7A Pending CN109559275A (zh) 2018-11-07 2018-11-07 一种尿液分析仪显微镜图像拼接方法

Country Status (1)

Country Link
CN (1) CN109559275A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110208190A (zh) * 2019-07-17 2019-09-06 四川沃文特生物技术有限公司 一种用于显微镜镜检追踪的方法及系统
CN110288528A (zh) * 2019-06-25 2019-09-27 山东大学 一种面向微纳级视觉观测的图像拼接系统及方法
CN110807732A (zh) * 2019-10-11 2020-02-18 武汉兰丁医学高科技有限公司 用于显微图像全景拼接系统及方法
CN110824691A (zh) * 2019-11-14 2020-02-21 武汉兰丁医学高科技有限公司 基于手机的细胞微型显微图像采集装置及图像识别方法
CN111505816A (zh) * 2020-04-09 2020-08-07 揽华智慧医疗科技(江苏)有限公司 高通量电子显微镜成像方法及系统
CN112102308A (zh) * 2020-09-25 2020-12-18 研祥智能科技股份有限公司 图像拼接方法及系统、产品缺陷检测方法及系统
CN112710590A (zh) * 2019-10-25 2021-04-27 苏州迈瑞科技有限公司 尿液检测方法、尿液检测设备及计算机可读存储介质
CN112825622A (zh) * 2020-08-31 2021-05-21 深圳迈瑞生物医疗电子股份有限公司 样本图像拍摄方法以及样本图像拍摄设备
CN112903675A (zh) * 2019-11-15 2021-06-04 苏州迈瑞科技有限公司 样本分析仪和样本分析仪的细胞图像处理方法
CN113138190A (zh) * 2020-01-17 2021-07-20 苏州迈瑞科技有限公司 尿液样本检测设备和检测方法
WO2022247945A1 (zh) * 2021-05-28 2022-12-01 上海睿钰生物科技有限公司 计数板及应用、用于分析待测样本中微粒的方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996379A (zh) * 2006-10-25 2007-07-11 麦克奥迪实业集团有限公司 一种全自动显微图像的拼接、存储和浏览方法
US20110115896A1 (en) * 2009-11-19 2011-05-19 Drexel University High-speed and large-scale microscope imaging
CN106709868A (zh) * 2016-12-14 2017-05-24 云南电网有限责任公司电力科学研究院 一种图像拼接方法及装置
CN106780320A (zh) * 2016-11-16 2017-05-31 王冠楠 一种利用裂隙灯进行眼底全景图成像的方法
CN107093166A (zh) * 2017-04-01 2017-08-25 华东师范大学 低重合率显微图像的无缝拼接方法
CN107680041A (zh) * 2017-09-26 2018-02-09 电子科技大学 一种用于大范围显微成像区域的图像获取及拼接方法
CN107958442A (zh) * 2017-12-07 2018-04-24 中国科学院自动化研究所 多幅显微图像拼接中的灰度校正方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996379A (zh) * 2006-10-25 2007-07-11 麦克奥迪实业集团有限公司 一种全自动显微图像的拼接、存储和浏览方法
US20110115896A1 (en) * 2009-11-19 2011-05-19 Drexel University High-speed and large-scale microscope imaging
CN106780320A (zh) * 2016-11-16 2017-05-31 王冠楠 一种利用裂隙灯进行眼底全景图成像的方法
CN106709868A (zh) * 2016-12-14 2017-05-24 云南电网有限责任公司电力科学研究院 一种图像拼接方法及装置
CN107093166A (zh) * 2017-04-01 2017-08-25 华东师范大学 低重合率显微图像的无缝拼接方法
CN107680041A (zh) * 2017-09-26 2018-02-09 电子科技大学 一种用于大范围显微成像区域的图像获取及拼接方法
CN107958442A (zh) * 2017-12-07 2018-04-24 中国科学院自动化研究所 多幅显微图像拼接中的灰度校正方法及装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288528A (zh) * 2019-06-25 2019-09-27 山东大学 一种面向微纳级视觉观测的图像拼接系统及方法
CN110208190A (zh) * 2019-07-17 2019-09-06 四川沃文特生物技术有限公司 一种用于显微镜镜检追踪的方法及系统
CN110807732A (zh) * 2019-10-11 2020-02-18 武汉兰丁医学高科技有限公司 用于显微图像全景拼接系统及方法
CN110807732B (zh) * 2019-10-11 2023-08-29 武汉兰丁智能医学股份有限公司 用于显微图像全景拼接系统及方法
CN112710590A (zh) * 2019-10-25 2021-04-27 苏州迈瑞科技有限公司 尿液检测方法、尿液检测设备及计算机可读存储介质
CN110824691A (zh) * 2019-11-14 2020-02-21 武汉兰丁医学高科技有限公司 基于手机的细胞微型显微图像采集装置及图像识别方法
CN110824691B (zh) * 2019-11-14 2022-04-05 武汉兰丁智能医学股份有限公司 基于手机的细胞微型显微图像采集装置的图像拼接方法
CN112903675A (zh) * 2019-11-15 2021-06-04 苏州迈瑞科技有限公司 样本分析仪和样本分析仪的细胞图像处理方法
CN113138190A (zh) * 2020-01-17 2021-07-20 苏州迈瑞科技有限公司 尿液样本检测设备和检测方法
CN111505816A (zh) * 2020-04-09 2020-08-07 揽华智慧医疗科技(江苏)有限公司 高通量电子显微镜成像方法及系统
CN111505816B (zh) * 2020-04-09 2022-05-31 揽华智慧医疗科技(江苏)有限公司 高通量电子显微镜成像方法及系统
CN112825622A (zh) * 2020-08-31 2021-05-21 深圳迈瑞生物医疗电子股份有限公司 样本图像拍摄方法以及样本图像拍摄设备
CN112825622B (zh) * 2020-08-31 2022-09-02 深圳迈瑞生物医疗电子股份有限公司 样本图像拍摄方法以及样本图像拍摄设备
CN112102308A (zh) * 2020-09-25 2020-12-18 研祥智能科技股份有限公司 图像拼接方法及系统、产品缺陷检测方法及系统
CN112102308B (zh) * 2020-09-25 2024-01-12 研祥智能科技股份有限公司 图像拼接方法及系统、产品缺陷检测方法及系统
WO2022247945A1 (zh) * 2021-05-28 2022-12-01 上海睿钰生物科技有限公司 计数板及应用、用于分析待测样本中微粒的方法及系统

Similar Documents

Publication Publication Date Title
CN109559275A (zh) 一种尿液分析仪显微镜图像拼接方法
JP4937850B2 (ja) 顕微鏡システム、そのvs画像生成方法、プログラム
US10178321B2 (en) Machine vision inspection system and method for obtaining an image with an extended depth of field
US10444486B2 (en) Systems and methods for detection of blank fields in digital microscopes
JP5996334B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
CN111626936B (zh) 一种显微图像的快速全景拼接方法及系统
CN106461928B (zh) 图像处理装置、摄像装置、显微镜系统以及图像处理方法
US20180137689A1 (en) Methods and Software For Creating a 3D Image From Images of Multiple Histological Sections and for Mapping Anatomical Information From a Reference Atlas to a Histological Image
CA2826372C (en) Fast auto-focus in microscopic imaging
US20170031146A1 (en) Imaging Assemblies With Rapid Sample Auto-Focusing
US8780191B2 (en) Virtual microscope system
US8314837B2 (en) System and method for imaging with enhanced depth of field
CN105190686A (zh) 多重获取载玻片成像中的引用
JP2006292999A (ja) スライド画像データ作成装置およびスライド画像データ
CN110146974A (zh) 一种智能生物显微镜
JP6120675B2 (ja) 顕微鏡システム、画像生成方法及びプログラム
CN106873142B (zh) 一种结核杆菌检测仪的高质量图像获取装置及方法
JP4878815B2 (ja) 顕微鏡装置
CN108603998A (zh) 多光谱轨迹的数字成像的自动聚焦方法和系统
CN106501917A (zh) 一种镜头辅助调焦方法和装置
CN105939474B (zh) 用于测试摄像头的测试设备和测试方法
JP2013174823A (ja) 画像処理装置、顕微鏡システム、及び画像処理方法
US9406118B2 (en) Stain image color correcting apparatus, method, and system
US10656406B2 (en) Image processing device, imaging device, microscope system, image processing method, and computer-readable recording medium
CN112835191A (zh) 显微镜和处理显微图像的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231225

Address after: 518057 the 1-4 floor of MINDRAY building, science and technology south twelve Road, Nanshan District high tech Industrial Park, Shenzhen, Guangdong.

Applicant after: SHENZHEN MINDRAY BIO-MEDICAL ELECTRONICS Co.,Ltd.

Address before: 215000 unit 501, building 2, No. 218, Sangtian street, Suzhou Industrial Park, Jiangsu Province

Applicant before: SUZHOU MAIRUI TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right