CN113125434A - 图像分析系统和控制拍摄样本图像的方法 - Google Patents

图像分析系统和控制拍摄样本图像的方法 Download PDF

Info

Publication number
CN113125434A
CN113125434A CN202010232109.3A CN202010232109A CN113125434A CN 113125434 A CN113125434 A CN 113125434A CN 202010232109 A CN202010232109 A CN 202010232109A CN 113125434 A CN113125434 A CN 113125434A
Authority
CN
China
Prior art keywords
image
smear
objective lens
information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010232109.3A
Other languages
English (en)
Inventor
祁欢
唐玉坤
邢圆
叶波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mindray Bio Medical Electronics Co Ltd
Original Assignee
Shenzhen Mindray Bio Medical Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mindray Bio Medical Electronics Co Ltd filed Critical Shenzhen Mindray Bio Medical Electronics Co Ltd
Publication of CN113125434A publication Critical patent/CN113125434A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00Sampling; Preparing specimens for investigation
    • G01N1/28Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/2813Producing thin layers of samples on a substrate, e.g. smearing, spinning-on
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Abstract

本发明提供了图像分析系统和控制拍摄样本图像的方法,系统包括成像装置、移动装置和图像分析装置,其中成像装置包括物镜和摄像单元,其中摄像单元拍摄涂片上待测样本以得到第一图像,获取第一图像的第一图像信息;摄像单元拍摄涂片上视野内区域以得到第二图像,获取第二图像的第二图像信息;移动装置用于驱动涂片和/或物镜运动;图像分析装置用于:对第一和第二图像信息进行分析,确定第二图像在第一图像上的对应位置;基于该对应位置确定涂片和/或物镜运动到目标运动位置所需的运动信息。本发明通过确定第二图像与第一图像的对应关系来识别拍摄第二图像时的实际视野位置,从而控制涂片移动到目标运动位置,方法简单、定位准确。

Description

图像分析系统和控制拍摄样本图像的方法
技术领域
本发明涉及图像分析系统领域,更具体地,涉及图像分析系统和控制拍摄样本图像的方法。
背景技术
当前的图像分析系统(例如,血细胞数字图像分析系统)进行细胞分析的流程如下:用低倍物镜(例如,10倍)拍摄目标细胞的图像,以定位细胞(例如,白细胞),然后使用高倍物镜(例如,100倍)对低倍物镜定位到的细胞逐个拍摄图像。然而,在用高倍物镜拍摄完一个细胞,控制涂片运动以用高倍物镜拍摄另一个细胞时,由于电机失步或者螺纹间距不同等机械问题,会固有地存在定位不准确的问题,导致涂片未能准确地移动到目标运动位置,从而未能拍摄到目标细胞的问题。
发明内容
为了解决上述问题而提出了本发明。根据本发明的一方面,提供了一种图像分析系统,所述图像分析系统包括成像装置、移动装置和图像分析装置,其中:所述成像装置包括物镜和摄像单元,其中所述摄像单元拍摄涂片上待测样本以得到第一图像,获取所述第一图像的第一图像信息;所述摄像单元拍摄所述涂片上视野内区域以得到第二图像,获取所述第二图像的第二图像信息;所述移动装置用于驱动所述涂片和/或物镜,使所述涂片和/或物镜运动;所述图像分析装置用于:对所述第一图像信息和所述第二图像信息进行分析,确定所述第二图像在所述第一图像上的对应位置;基于所述对应位置,确定所述涂片和/或物镜运动到目标运动位置所需的运动信息。
根据本发明的另一方面,提供了一种样本分析系统,包括血液分析装置、涂片制备装置、图像分析装置和控制装置,所述图像分析装置包括如上所述的图像分析系统。
根据本发明的又一方面,提供了一种用于图像分析系统控制拍摄样本图像的方法,所述方法包括:拍摄涂片上待测样本以得到第一图像,获取所述第一图像的第一图像信息;拍摄所述涂片上视野内区域以得到第二图像,获取所述第二图像的第二图像信息;对所述第一图像信息和所述第二图像信息进行分析,确定所述第二图像在所述第一图像上的对应位置;基于所述对应位置,确定所述涂片和/或物镜运动到目标运动位置所需的运动信息。
根据本发明的再一方面,提供了一种计算机可读存储介质,包含计算机可执行指令,所述计算机可执行指令在由处理器执行时,能够执行上述方法。
本发明的实施例的图像分析系统和控制拍摄样本图像的方法,通过确定第二图像与第一图像的对应关系来识别拍摄第二图像时的实际视野位置,从而控制涂片移动到目标运动位置,方法简单、定位准确,且采用现有系统即可实现,无需额外增加装置。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出了根据本发明的一个实施例的图像分析系统的示意性结构框图;
图2示出了根据本发明的一个实施例的示例性第一图像;
图3示出了根据本发明的一个实施例的示例性第二图像;
图4示出了根据本发明的一个实施例的采用滑动窗口法对第一图像和第二图像进行分析的示意图;
图5示出了根据本发明的一个实施例的示例性积分图像,其中示出了滑动窗口的四个顶点的坐标;
图6示出了根据本发明的一个实施例的滑动窗口部分位于第一图像之外时,对第一图像和第二图像进行分析的示意图;
图7示出了根据本发明的一个实施例的用于图像分析系统控制拍摄样本图像的方法的步骤流程图;
图8示出了根据本发明的一个实施例的样本分析系统的结构示意图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
为了解决上述问题,本发明的实施例提供了一种图像分析系统和控制拍摄样本图像的方法,该图像分析系统包括成像装置、移动装置和图像分析装置,其中:所述成像装置包括物镜和摄像单元,其中所述摄像单元拍摄涂片上待测样本以得到第一图像,获取所述第一图像的第一图像信息;所述摄像单元拍摄所述涂片上视野内区域以得到第二图像,获取所述第二图像的第二图像信息;所述移动装置用于驱动所述涂片和/或物镜,使所述涂片和/或物镜运动;所述图像分析装置用于:对所述第一图像信息和所述第二图像信息进行分析,确定所述第二图像在所述第一图像上的对应位置;基于所述对应位置,确定所述涂片和/或物镜运动到目标运动位置所需的运动信息。
本发明的实施例的图像分析系统和控制拍摄样本图像的方法,通过确定第二图像与第一图像的对应关系来识别拍摄第二图像时的实际视野位置,从而控制涂片运动到目标运动位置,方法简单、定位准确,且采用现有系统即可实现,无需额外增加装置。
下面结合具体实施例来详细描述本发明的方案。
实施例一
本实施例提供了一种图像分析系统。参考图1,图1示出了根据本发明的一个实施例的图像分析系统10的示意性结构框图。如图1所示,图像分析系统10可以包括成像装置100、图像分析装置200和移动装置300。其中,成像装置100用于拍摄涂片上涂抹的待测样本的图像;图像分析装置200用于对待测样本(例如,样本中的细胞)的图像进行分析;移动装置300用于驱动涂片和/或成像装置100的物镜,使涂片和/或物镜运动,以便拍摄涂片上特定区域的待测样本中的目标细胞的图像。应理解,移动装置300可以只驱动涂片运动,还可以只驱动物镜运动,或者同时驱动涂片和物镜,使二者同时运动,本发明对此不作限定。其中,当移动装置300同时驱动涂片和物镜时,其可以包括第一移动装置和第二移动装置,分别用于驱动涂片和物镜。
示例性地,待测样本可以为血液样本等,本发明对此不作限定。示例性地,待测样本中可以包含各种细胞,例如白细胞、中性粒细胞、红细胞等,本发明对此不作限定。
其中,成像装置100可以包括物镜单元110和摄像单元120。其中,物镜单元110可以包括第一物镜和第二物镜。示例性地,第一物镜可以为低倍物镜,例如10倍物镜,第二物镜可以为高倍物镜,例如100倍物镜。物镜单元110还可以包括第三物镜等,第三物镜可以为例如40倍物镜。应理解,上述低倍物镜和高倍物镜是相对而言的,并不特指某些倍数的物镜为低倍物镜,或某些倍数的物镜为高倍物镜。其中,摄像单元120可以包括本领域公知的任何相机、摄像头等,例如CCD相机、CMOS相机等,本发明对此不作限定。
其中,成像装置100安装好物镜时,摄像单元120拍摄涂片上待测样本中以得到第一图像,获取第一图像的第一图像信息;然后摄像单元120拍摄涂片上视野内区域以得到第二图像,获取第二图像的第二图像信息。示例性地,摄像单元120还可以获取想要拍摄的对应于第一图像上的某个区域的视野位置,本文中称为目标拍摄位置。示例性地,图像信息可以包括图像的特征信息、像素信息等信息。
示例性地,第一图像和第二图像可以用不同的物镜拍摄得到,例如第一图像用第一物镜(例如,10倍物镜)拍摄得到,第二图像用第二物镜(例如,100倍物镜)拍摄得到,例如使用低倍物镜拍摄涂片上待测样本以得到第一图像(低倍镜图像),然后使用高倍物镜逐个拍摄待测样本中的细胞以得到多个第二图像(高倍镜图像)。示例性地,例如对于某拍摄对象,第一次拍摄得到的第一图像不清晰,要重新拍摄以得到第二图像时,第一图像和第二图像也可以用同一物镜先后两次拍摄得到,例如用同一高倍物镜(例如,100倍物镜)先后两次拍摄得到,还可以用同一低倍物镜(例如,10倍物镜)先后两次拍摄得到,本发明对此不作限定。
在第一图像采用低倍物镜(例如,10倍物镜)拍摄得到、第二图像采用高倍物镜(例如,100倍物镜)拍摄得到的示例中,低倍物镜的视野为整个涂片上的所有待测样本,因此第一图像上可以包括所有细胞,如图2所示,示出了第一图像上的细胞为白细胞;高倍物镜的视野为涂片上的某个小区域,因此第二图像可以包括一个细胞,当两个或三个细胞距离较近时,也可以包括两个或三个细胞,还可以不包括细胞,如图3示出了包括两个细胞的情况。
示例性地,例如当摄像单元120拍摄完一细胞,需要拍摄下一细胞时,或者发现所拍摄的细胞的图像不清楚,需要重新拍摄时,图像分析装置200可以利用图像配准的方法确定涂片和/或物镜运动到相应的目标运动位置所需的运动信息,以便运动到目标运动位置后进行重新拍摄。其中,目标运动位置即为用户想要拍摄某对象的清晰图像时需要将涂片和/或物镜运动到的位置。示例性地,移动装置300可以只驱动涂片运动,也可以只驱动物镜运动,还可以驱动二者同时运动,本发明对此不作限定。其中,在移动装置300同时驱动涂片和物镜二者运动的情形中,移动装置300可以包括第一移动装置和第二移动装置,分别用于驱动涂片运动和驱动物镜运动。
本文均以移动装置300只驱动涂片运动为例进行说明,此时图像分析装置200可以利用图像配准的方法确定涂片运动到目标运动位置所需的运动信息,从而引导涂片的运动。其中,目标运动位置为想要拍摄目标拍摄位置的图像时,涂片需要运动到的位置。
具体地,图像分析装置200利用图像配准的方法确定涂片运动到目标运动位置所需的运动信息可以包括:图像分析装置200可以对第一图像信息和第二图像信息进行分析,确定第二图像在第一图像上的对应位置,基于该对应位置,确定涂片运动到该目标运动位置所需的运动信息。其中,第二图像在第一图像上的对应位置即为第二图像对应于第一图像上的哪块区域。
在一个实施例中,运动信息可以包括涂片运动的方向和运动的距离等。其中,运动的距离可以为运动步数的形式等。应理解,运动信息还可以包括其他关于涂片运动的信息,本发明对此不作限定。
在一个实施例中,图像分析装置200可以基于第二图像在第一图像上的对应位置和第一图像上的目标拍摄位置,确定涂片运动到目标运动位置所需的运动信息。具体地,图像分析装置200可以获取该对应位置的坐标和目标拍摄位置的坐标,将该对应位置的坐标和目标拍摄位置的坐标相减得到坐标差,并将该坐标差转换成涂片所需的运动信息。示例性地,对应位置的坐标和目标运动位置的坐标均可以用例如移动装置的移动步数表示,并且本文中涉及的其他位置的坐标和距离也可以用移动装置的移动步数表示。
其中,由于第二图像在第一图像上的对应位置为一个小区域,因此示例性地,可以选取该对应位置上的某个特殊点的坐标作为对应位置的坐标,例如对应位置的左上角的点、右上角的点、左下角的点、右下角的点、中心点等,本发明对此不作限定。优选地,可以选取对应位置的中心点的坐标作为对应位置的坐标。
示例性地,可以采用图像配准算法对第一图像信息和第二图像信息进行分析,确定第二图像在第一图像上的对应位置。示例性地,图像配准算法可以包括基于灰度和模板的配准算法,其中基于模板的配准算法可以称为模板匹配法(Blocking Matching),其是根据已知模板图像到另一幅图像中寻找与模板图像相似的子图像;基于灰度的匹配算法也可以称为相关匹配算法,用空间二维滑动模板进行匹配。示例性地,基于模板的配准算法可以包括例如平均绝对差算法(MAD)、绝对误差和算法(SAD)、误差平方和算法(SSD)等。示例性地,图像配准算法还可以包括基于特征的配准算法,其首先提取图像的特征,再生成特征描述子,最后根据特征描述子的相似程度对两幅图像的特征之间进行匹配。示例性地,图像的特征主要可以分为点、线(边缘)、区域(面)等特征,也可以分为局部特征和全局特征,其中主要采用点特征和边缘特征。示例性地,基于点特征的配准算法可以包括例如Harris、Moravec、KLT、Harr-like、HOG、LBP、SIFT、SURF、BRIEF、SUSAN、FAST、CENSUS、FREAK、BRISK、ORB、光流法、A-KAZE等算法,基于边缘特征的配准算法可以包括例如LoG算子、Robert算子、Sobel算子、Prewitt算子、Canny算子等,本发明对此不作限定。应理解,还可以采用其他方法确定第二图像在第一图像上的对应位置,本发明对此不作限定。
其中,采用图像配准算法确定第二图像在第一图像上的对应位置的一种示例性方法将在后面详细介绍。
在一个实施例中,当涂片根据该运动信息运动到位后,图像分析装置200还可以确定涂片是否运动到该目标运动位置。
示例性地,图像分析装置200可采用上述确定对应位置的方法来确定涂片是否运动到目标运动位置。具体地,当涂片运动到位后,摄像单元120可以再次拍摄涂片上当前视野内区域以得到另一第二图像(本文中称为当前第二图像),获取该当前第二图像的图像信息(本文中称为当前第二图像信息),例如像素信息、特征信息等;然后图像分析装置200对该当前第二图像信息与第一图像信息进行分析,确定当前第二图像在第一图像上的对应位置(本文中称为当前对应位置),并基于该当前对应位置和第一图像上的目标拍摄位置,确定涂片是否运动到目标运动位置。示例性地,可采用上述任何一种图像配准算法来确定当前第二图像在第一图像上的当前对应位置,即当前第二图像对应于第一图像上的哪块区域。具体地,如果所确定的当前对应位置与目标拍摄位置重合或基本重合,则可以确定涂片已运动到目标运动位置,否则涂片没有运动到目标运动位置。应理解,还可以采用其他方法确定当前第二图像在第一图像上的当前对应位置,本发明对此不作限定。其中,采用图像配准算法确定当前第二图像在第一图像上的当前对应位置的一种示例性方法将在后面将详细介绍。
在确定涂片没有运动到目标运动位置时,图像分析装置200可以基于当前对应位置和目标拍摄位置再次确定将涂片运动到目标运动位置所需的运动信息(本文中称为当前运动信息)。具体地,可以获取该当前对应位置和目标拍摄位置两者的坐标,将目标拍摄位置的坐标与当前对应位置的坐标相减得到坐标差(本文中称为当前坐标差),并将该当前坐标差转换成涂片运动到目标运动位置所需的当前运动信息,例如,当前的运动方向和运动距离等。示例性地,可以选取当前对应位置上的某个特殊点的坐标作为当前对应位置的坐标,例如当前对应位置的左上角的点、右上角的点、左下角的点、右下角的点、中心点等,本发明对此不作限定。优选地,可以选取当前对应位置的中心点的坐标作为当前对应位置的坐标。
当涂片根据该当前运动信息运动到位后,图像分析装置200再次确定涂片是否运动到目标运动位置。该过程与上述确定涂片是否运动到目标运动位置的过程类似,在此不再赘述。如果确定涂片还是没有运动到目标运动位置,则重复上述过程,图像分析装置200更新涂片运动到目标运动位置所需的当前运动信息,直到涂片根据经更新的当前运动信息运动到目标运动位置为止。其中,图像分析装置200确定经更新的当前运动信息的过程与上述确定运动信息、当前运动信息的过程类似,在此不再赘述。
在一个实施例中,图像分析系统10还包括报警装置400,用于在达到某些条件时发出报警信息。示例性地,报警信息可以包括声音警报、图形警报、文字警报等,本发明对此不作限定。
在一个实施例中,图像分析装置200可以获取更新当前运动信息的次数,并且当更新当前运动信息的次数大于等于预设的更新次数阈值时,说明系统出现故障,则通知报警装置400发出报警信息。示例性地,预设的更新次数阈值可以由用户根据需要进行设置,例如为3次、4次、5次等,本发明对此不作限定。
在一个实施例中,如果经多次更新当前运动信息后涂片仍未运动到目标运动位置,则图像分析装置200可以获取更新当前运动信息与涂片运动的过程所花费的总时间,并且如果该总时间超过预设的总时间阈值,说明系统出现故障,则通知报警装置400发出报警信息。示例性地,预设的总时间阈值可以由用户根据需要进行设置,例如为3s、5s、10s等,本发明对此不作限定。
在一个实施例中,如果图像分析装置200确定涂片没有运动到目标运动位置,则计算当前对应位置和目标拍摄位置之间的距离,如果该距离大于预设的距离阈值,说明系统出现故障,则通知报警装置400发出报警信息。示例性地,预设的距离阈值可以由用户根据需要进行设置,例如1mm、2mm、3mm等,本发明对此不作限定。
在一个实施例中,图像分析装置200可以获取多个目标拍摄位置和与其相对应的多个当前对应位置,计算多个目标拍摄位置中的每个目标拍摄位置与其相对应的当前对应位置之间的多个距离,如果多个距离中大于预设的距离阈值的距离的个数超过预设的数量阈值,说明系统出现故障,则通知报警装置400发出报警信息。示例性地,预设的数量阈值可以由用户根据需要进行设置,例如3个、4个、5个等,本发明对此不作限定。
在另一实施例中,在涂片根据运动信息向目标运动位置运动过程中,图像分析装置200可以实时更新涂片运动到目标运动位置所需的运动信息(本文中称为实时运动信息),以使得涂片根据实时运动信息能够更快、更准确地到达目标运动位置。
具体地,在涂片根据运动信息向目标运动位置运动过程中,摄像单元120可以实时拍摄涂片上视野内区域以得到多个第二图像(本文中称为实时第二图像),获取该实时第二图像的图像信息(本文中称为实时第二图像信息),例如像素信息、特征信息等。图像分析装置200可以对实时第二图像信息与第一图像的第一图像信息进行分析,确定该实时第二图像在第一图像上的对应位置(本文中称为实时对应位置)。示例性地,可采用上述任何一种图像配准算法来确定实时第二图像在第一图像上的实时对应位置,即实时第二图像当前对应于第一图像上的哪块区域,本发明对此不作限定。应理解,还可以采用其他方法确定实时第二图像在第一图像上的实时对应位置,本发明对此不作限定。其中,采用图像配准算法确定实时第二图像在第一图像上的实时对应位置的一种示例性方法将在后面将详细介绍。
然后,图像分析装置200可以基于实时对应位置,实时更新涂片运动到目标运动位置所需的实时运动信息,直到涂片根据经更新的实时运动信息运动到目标运动位置为止。示例性地,图像分析装置200可以基于实时对应位置与第一图像上的目标拍摄位置,来实时更新涂片运动到目标运动位置所需的实时运动信息。具体地,图像分析装置200可以获取实时对应位置与目标拍摄位置二者的坐标,将二者的坐标相减得到坐标差(本文中称为实时坐标差),并将该实时坐标差转换为涂片的实时运动信息,从而实时更新实时运动信息,例如实时运动方向和实时运动距离等,使涂片根据经更新的实时运动信息运动,从而更快、更准确地将涂片引导运动到目标运动位置。
示例性地,在涂片向目标运动位置运动过程中,如果摄像单元120拍摄实时第二图像、图像分析装置200根据实时第二图像在第一图像上的对应位置更新实时运动信息的次数超过预设的实时次数阈值,则通知报警装置400发出报警信息。示例性地,预设的实时次数阈值可以由用户根据需要进行设置,例如2次、3次、4次、5次等,本发明对此不作限定。
在一个实施例中,在涂片没有在预设的时间阈值内运动到目标运动位置时,报警装置400发出报警信息。示例性地,预设的时间阈值可以由用户根据实际需要进行设置,例如为3s、5s、10s等,本发明对此不作限定。
在一个实施例中,采用图像配准算法来确定第二图像在第一图像上的对应位置、当前第二图像在第一图像上的当前对应位置以及实时第二图像在第一图像上的实时对应位置的过程是相似的,以下以采用图像配准算法对第二图像信息与第一图像信息进行分析,确定第二图像在第一图像上的对应位置为例进行说明。
在一个实施例中,图像分析装置200可以提取第一图像信息与第二图像信息中的像素信息或特征信息,基于像素信息或特征信息确定第二图像在第一图像上的对应位置。应理解,图像分析装置200还可以基于其他方法确定第二图像在第一图像上的对应位置,例如基于域变换的方法等,本发明对此不作限定。
示例性地,基于像素信息确定第二图像在第一图像上的对应位置时,图像分析装置200可以利用第一图像与第二图像两者的像素信息建立相似性度量指标,并基于该相似性度量指标确定第二图像在第一图像上的对应位置。
为了提高相似性度量指标的区分度,可以基于第二图像与第一图像两者的像素平均值来建立相似性度量指标。示例性地,可以采用如下公式来建立相似性度量指标γ:
Figure BDA0002429584860000111
其中,x、y分别为像素点的坐标,f(x,y)为第一图像上某区域中的各个像素点的像素值,
Figure BDA0002429584860000112
为第一图像上该区域中的所有像素点的平均像素值,g(x,y)为第二图像上各个像素点的像素值,
Figure BDA0002429584860000113
为第二图像上所有像素点的平均像素值。应理解,也可以用f(x,y)、
Figure BDA0002429584860000114
表示第二图像,用g(x,y)、
Figure BDA0002429584860000115
表示第一图像,本发明对此不作限定。本发明的该公式能够提高相似性度量指标的区分度,将第二图像在第一图像中进行更好的区分。
在一个实施例中,图像分析装置200可以采用滑动窗口法对第一图像和第二图像进行分析,确定相似性度量指标的值,从而确定第二图像在第一图像上的对应位置。
其中,采用滑动窗口法对第一图像和第二图像进行分析之前,图像分析装置200需要对第一图像和第二图像进行预处理。
示例性地,预处理可以包括对第一图像和/或第二图像重采样,以使第一图像和第二图像的分辨率相同,即使得两图像上每像素所代表的尺寸相同。其中,重采样可以包括上采样和下采样。示例性地,可以保持第一图像的分辨率不变,将第二图像下采样为与第一图像的分辨率相同,或者可以保持第二图像的分辨率不变,将第一图像上采样为与第二图像的分辨率相同,或者将第一图像和第二图像同时重采样为某一分辨率,本发明对此不作限定。重采样的方法可以采用本领域公知的最近邻内插法、双线性内插法、三次卷积内插法等,本发明对此不作限定。
为了降低运算量,预处理还可以包括对第一图像和/或第二图像重采样之前,将第一图像和第二图像均转换为灰度图。将彩色图转换为灰度图的方法是公知的,在此不再赘述。应理解,预处理还可以包括对图像进行旋转、去噪等操作,本发明对此不作限定。
具体地,如图4所示,滑动窗口法可以包括:设置滑动窗口,使滑动窗口在第一图像上沿预定路径滑动,其中滑动窗口的尺寸与第二图像的尺寸相同;在滑动窗口滑动过程中,实时地计算第二图像与第一图像位于滑动窗口内的区域的相似性度量指标的值;选取相似性度量指标的值中的最大值,该最大值所对应的滑动窗口内第一图像的区域即为第二图像在第一图像上的对应位置。
在一个实施例中,预定路径可以包括第一图像上从左到右、从上到下的路径。在另一实施例中,预定路径可以包括
Figure BDA0002429584860000121
形路径。应理解,预定路径还可以为其他合适的路径,本发明对此不作限定。
当拍摄第二图像时的视野在拍摄第一图像的视野的边缘时,会存在边缘问题,使得相关性度量指标的值较低,从而找不到正确的对应位置。因此,在一个实施例中,若滑动窗口部分位于第一图像之外,则图像分析装置200还可以基于预设的重叠阈值来计算相似性度量指标的值。
具体地,若滑动窗口与第一图像的重叠部分的面积与滑动窗口的总面积的比值大于等于重叠阈值,则表明此时滑动窗口的大部分都处于第一图像内,此时图像分析装置200可以计算第一图像上与滑动窗口重叠的部分与第二图像上对应部分的相似性度量指标的值。如图6所示,此时只计算第一图像上滑动窗口内的虚线区域与第二图像上的虚线区域的相似性度量指标的值。若滑动窗口与第一图像的重叠部分的面积与滑动窗口的总面积的比值小于重叠阈值,则表明此时滑动窗口只有一小部分处于第一图像内,此时两图像的视野重叠区域很小,相似性度量指标准确度较低,因此图像分析装置200可以将相似性度量指标被计算为零。其中,重叠阈值可以根据经验进行设置,例如可以设置为0.6-0.8等,本发明对此不作限定。
由于滑动窗口每滑动一个像素,都要重新计算第二图像与第一图像位于滑动窗口内的区域的相似性度量指标的值,所需滑动遍历的位置很多,因此计算量非常大。为了优化运算速度,在一个实施例中,图像分析装置200可先将第一图像和第二图像转到频域,再计算第二图像与第一图像位于滑动窗口内的区域的相似性度量指标的值。将第一图像和第二图像转到频域的方法可以是FFT(快速傅里叶变换)法等,在此不再赘述。
为了优化运算速度,在另一实施例中,图像分析装置200可利用积分图法来计算第二图像与第一图像位于滑动窗口内的区域的相似性度量指标的值。首先,图像分析装置200可先构造一个数组作为积分图像,该积分图像的宽、高与第一图像相同,然后对这个数组进行赋值,每个点的值为从第一图像的左上角顶点到该点的覆盖区域内所有像素点的像素值的和;然后就可以利用该积分图像很方便地计算出滑动窗口内所有像素点的像素值的和,进而很方便地计算第二图像与第一图像位于滑动窗口内的区域的相似性度量指标的值。如图5所示,图中滑动窗口内所有像素点的像素值的和为f(x2,y2)+f(x1,y1)-f(x1,y2)-f(x2,y1),其中(x1,y1),(x2,y1),(x1,y2)和(x2,y2)分别为滑动窗口的四个顶点的坐标。
在一个实施例中,图像分析系统10还可以包括显示界面(未示出),用于实时显示对应位置、当前对应位置、实时对应位置和目标运动位置等,还可以实时显示涂片和/或成像装置的运动路线等。示例性地,该显示界面可以在图像分析系统10的显示器上呈现,也可以在图像分析装置200的显示器上呈现,本发明对此不作限定。
在一个实施例中,图像分析系统10还可以包括涂片识别装置、涂片夹取装置和涂片回收装置,其中涂片识别装置用于识别涂片的身份信息,涂片夹取装置用于将涂片从识别装置夹取到移动装置300上进行检测,涂片回收装置用于放置经检测的涂片。在另一实施例中,图像分析系统10还可以包括涂片篮装载装置,用于装载装有待测涂片的涂片篮,以及涂片夹取装置,用于将涂片篮装载装置上装载的涂片篮中的待测涂片夹取到涂片识别装置进行身份信息识别。应理解,图像分析系统10还可以包括本领域公知的其他装置,本发明对此不作限定。
实施例二
本实施例提供了一种样本分析系统A,参考图8,图8示出了根据本发明的一个实施例的样本分析系统A的结构示意图。如图8所示,样本分析系统A可以包括血液分析装置A100、涂片制备装置A200、图像分析装置A300和控制装置A400等。其中,血液分析装置A110用于对待测样本进行血常规检测,涂片制备装置A200用于制备待测样本的涂片,图像分析装置A300用于对涂片上待测样本进行图像拍摄和分析,控制装置A400与血液分析装置A100、涂片制备装置A200和图像分析装置A300通信地连接。样本分析系统A还可以包括连接各装置的传输轨道和各装置的进给机构等,为避免不必要地模糊本发明,在此不再详述。
其中,图像分析装置A300可以为根据本发明的实施例一的图像分析系统10,图像分析系统10的结构请参照实施例一,在此不再赘述。
实施例三
本实施例提供了一种用于图像分析系统控制拍摄样本图像的方法。参考图7,图7示出了根据本发明的一个实施例的用于图像分析系统控制拍摄样本图像的方法700的步骤流程图。
如图7所示,方法700可以包括如下步骤:
步骤S710:拍摄涂片上待测样本以得到第一图像,获取所述第一图像的第一图像信息;拍摄该涂片上视野内区域以得到第二图像,获取所述第二图像的第二图像信息。
示例性地,待测样本可以为血液样本等,本发明对此不作限定。示例性地,待测样本中可以包含各种细胞,例如白细胞、中性粒细胞、红细胞等,本发明对此不作限定。示例性地,图像信息可以包括图像的特征信息、像素信息等信息。
示例性地,第一图像和第二图像可以用不同的物镜拍摄得到,例如第一图像用第一物镜(例如,10倍物镜)拍摄得到,第二图像用第二物镜(例如,100倍物镜)拍摄得到,例如使用低倍物镜拍摄涂片上待测样本以得到第一图像(低倍镜图像),然后使用高倍物镜逐个拍摄待测样本中的细胞以得到多个第二图像(高倍镜图像)。示例性地,例如对于某拍摄对象,第一次拍摄得到的第一图像不清晰,要重新拍摄以得到第二图像时,第一图像和第二图像也可以用同一物镜先后两次拍摄得到,例如用同一高倍物镜(例如,100倍物镜)先后两次拍摄得到,还可以用同一低倍物镜(例如,10倍物镜)先后两次拍摄得到,本发明对此不作限定。
在第一图像采用低倍物镜(例如,10倍物镜)拍摄得到、第二图像采用高倍物镜(例如,100倍物镜)拍摄得到的示例中,低倍物镜的视野为整个涂片上的所有待测样本,因此第一图像上可以包括所有细胞;高倍物镜的视野为涂片上的某个小区域,因此第二图像可以包括一个细胞,当两个或三个细胞距离较近时,也可以包括两个或三个细胞,还可以不包括细胞。
步骤S720:对第一图像信息和第二图像信息进行分析,确定第二图像在第一图像上的对应位置。其中,第二图像在第一图像上的对应位置即为第二图像对应于第一图像上的哪块区域。
示例性地,可采用图像配准算法对第二图像信息与第一图像信息进行分析,确定第二图像在第一图像上的对应位置。示例性地,图像配准算法可以包括基于灰度和模板的配准算法,其中基于模板的配准算法可以称为模板匹配法(Blocking Matching),其是根据已知模板图像到另一幅图像中寻找与模板图像相似的子图像;基于灰度的匹配算法也可以称为相关匹配算法,用空间二维滑动模板进行匹配。示例性地,基于模板的配准算法可以包括例如平均绝对差算法(MAD)、绝对误差和算法(SAD)、误差平方和算法(SSD)等。示例性地,图像配准算法还可以包括基于特征的配准算法,其首先提取图像的特征,再生成特征描述子,最后根据特征描述子的相似程度对两幅图像的特征之间进行匹配。示例性地,图像的特征主要可以分为点、线(边缘)、区域(面)等特征,也可以分为局部特征和全局特征,其中主要采用点特征和边缘特征。示例性地,基于点特征的配准算法可以包括例如Harris、Moravec、KLT、Harr-like、HOG、LBP、SIFT、SURF、BRIEF、SUSAN、FAST、CENSUS、FREAK、BRISK、ORB、光流法、A-KAZE等算法,基于边缘特征的配准算法可以包括例如LoG算子、Robert算子、Sobel算子、Prewitt算子、Canny算子等,本发明对此不作限定。应理解,还可以采用其他方法确定第二图像在第一图像上的对应位置,本发明对此不作限定。应理解,还可以采用其他方法确定第二图像在第一图像上的对应位置,本发明对此不作限定。
其中,采用图像配准算法对第二图像信息与第一图像信息进行分析,确定第二图像在第一图像上的对应位置可以包括:提取第一图像信息与第二图像信息中的像素信息或特征信息,基于像素信息或特征信息确定第二图像在第一图像上的对应位置。应理解,还可以基于其他方法确定第二图像在第一图像上的对应位置,例如基于域变换的方法等,本发明对此不作限定。
示例性地,基于像素信息确定第二图像在第一图像上的对应位置,可以包括:利用第一图像与第二图像两者的像素信息建立相似性度量指标,并基于该相似性度量指标确定第二图像在第一图像上的对应位置。
为了提高相似性度量指标的区分度,方法700可以包括:基于第二图像与第一图像两者的像素平均值来建立相似性度量指标。示例性地,可以采用如下公式来建立相似性度量指标γ:
Figure BDA0002429584860000171
其中,x、y分别为像素点的坐标,f(x,y)为第一图像上某区域中的各个像素点的像素值,
Figure BDA0002429584860000172
为第一图像上该区域中的所有像素点的平均像素值,g(x,y)为第二图像上各个像素点的像素值,
Figure BDA0002429584860000173
为第二图像上所有像素点的平均像素值。应理解,也可以用f(x,y)、
Figure BDA0002429584860000174
表示第二图像,用g(x,y)、
Figure BDA0002429584860000175
表示第一图像,本发明对此不作限定。本发明的该公式能够提高相似性度量指标的区分度,将第二图像在第一图像中进行更好的区分。
示例性地,可以采用滑动窗口法对第一图像和第二图像进行分析,确定相似性度量指标的值,从而确定第二图像在第一图像上的对应位置。
其中,采用滑动窗口法对第一图像和第二图像进行分析之前,需要对第一图像和第二图像进行预处理。
示例性地,预处理可以包括对第一图像和/或第二图像重采样,以使第一图像和第二图像的分辨率相同,即使得两图像上每像素所代表的尺寸相同。其中,重采样可以包括上采样和下采样。示例性地,可以保持第一图像的分辨率不变,将第二图像下采样为与第一图像的分辨率相同,或者可以保持第二图像的分辨率不变,将第一图像上采样为与第二图像的分辨率相同,或者将第一图像和第二图像同时重采样为某一分辨率,本发明对此不作限定。重采样的方法可以采用本领域公知的最近邻内插法、双线性内插法、三次卷积内插法等,本发明对此不作限定。
为了降低运算量,预处理还可以包括对第一图像和/或第二图像重采样之前,将第一图像和第二图像均转换为灰度图。将彩色图转换为灰度图的方法是公知的,在此不再赘述。
具体地,滑动窗口法可以包括:设置滑动窗口,使滑动窗口在第一图像上沿预定路径滑动,其中滑动窗口的尺寸与第二图像的尺寸相同;在滑动窗口滑动过程中,实时地计算第二图像与第一图像位于滑动窗口内的区域的相似性度量指标的值;选取相似性度量指标的值中的最大值,该最大值所对应的滑动窗口内第一图像的区域即为第二图像在第一图像上的对应位置。
在一个实施例中,预定路径可以包括第一图像上从左到右、从上到下的路径。在另一实施例中,预定路径可以包括
Figure BDA0002429584860000181
形路径。应理解,预定路径还可以为其他合适的路径,本发明对此不作限定。
当拍摄第二图像时的视野在拍摄第一图像的视野的边缘时,会存在边缘问题,使得相关性度量指标的值较低,从而找不到正确的对应位置。因此,在一个实施例中,若滑动窗口部分位于第一图像之外,则方法700还可以包括:基于预设的重叠阈值来计算相似性度量指标的值。
具体地,若滑动窗口与第一图像的重叠部分的面积与滑动窗口的总面积的比值大于等于重叠阈值,则表明此时滑动窗口的大部分都处于第一图像内,此时方法700可以包括:计算第一图像上与滑动窗口重叠的部分与第二图像上对应部分的相似性度量指标的值。若滑动窗口与第一图像的重叠部分的面积与滑动窗口的总面积的比值小于重叠阈值,则表明此时滑动窗口只有一小部分处于第一图像内,此时两图像的视野重叠区域很小,相似性度量指标准确度较低,因此方法700可以包括:将相似性度量指标被计算为零。其中,重叠阈值可以根据经验进行设置,例如可以设置为0.6-0.8等,本发明对此不作限定。
由于滑动窗口每滑动一个像素,都要重新计算第二图像与第一图像位于滑动窗口内的区域的相似性度量指标的值,所需滑动遍历的位置很多,因此计算量非常大。为了优化运算速度,在一个实施例中,方法700还可以包括:先将第一图像和第二图像转到频域,再计算第二图像与第一图像位于滑动窗口内的区域的相似性度量指标的值。将第一图像和第二图像转到频域的方法可以是FFT(快速傅里叶变换)法等,在此不再赘述。
为了优化运算速度,在另一实施例中,方法700可以包括:利用积分图法来计算第二图像与第一图像位于滑动窗口内的区域的相似性度量指标的值。首先,可先构造一个数组作为积分图像,该积分图像的宽、高与第一图像相同,然后对这个数组进行赋值,每个点的值为从第一图像的左上角顶点到该点的覆盖区域内所有像素点的像素值的和;然后就可以利用该积分图像很方便地计算出滑动窗口内所有像素点的像素值的和,进而很方便地计算第二图像与第一图像位于滑动窗口内的区域的相似性度量指标的值。
步骤S730:基于第二图像在第一图像上的对应位置,确定涂片运动到目标运动位置所需的运动信息。
其中,第二图像在第一图像上的对应位置即为第二图像对应于第一图像上的哪块区域,目标运动位置即为用户想要拍摄某个区域的清晰图像时需要将涂片运动到的位置。
在一个实施例中,运动信息可以包括涂片运动的方向和运动的距离等。其中,运动的距离可以为运动步数的形式等。应理解,运动信息还可以包括其他关于涂片运动的信息,本发明对此不作限定。
示例性地,可以获取第一图像上的目标拍摄位置,并基于第二图像在第一图像上的对应位置和该目标拍摄位置,确定涂片运动到目标运动位置所需的运动信息。具体地,可以获取该对应位置和目标拍摄位置两者的坐标,将对应位置的坐标与目标拍摄位置的坐标相减得到坐标差,并将该坐标差转换为涂片所需的运动信息,例如运动方向和运动距离等。其中,对应位置的坐标与目标运动位置的坐标均可以用例如移动装置的移动步数表示,并且本文中涉及的其他位置的坐标也可以用移动装置的移动步数表示。
其中,由于第二图像在第一图像上的对应位置为一个小区域,因此示例性地,可以选取该对应位置上的某个特殊点的坐标作为对应位置的坐标,例如对应位置的左上角的点、右上角的点、左下角的点、右下角的点、中心点等,本发明对此不作限定。优选地,可以选取对应位置的中心点的坐标作为对应位置的坐标。
应理解,拍摄目标细胞时,可以使涂片运动,还可以使成像装置运动,还可以使二者同时运动,以进行对焦,本发明对此不作限定。本实施例中均以使涂片运动为例进行说明。
具体地,在一个实施例中,当涂片根据该运动信息运动到位后,方法700还可以包括:确定涂片是否运动到该目标运动位置。具体地,可以拍摄涂片上当前视野内区域以得到当前第二图像,获取该当前第二图像的当前第二图像信息,例如像素信息、特征信息等;然后对该当前第二图像信息与第一图像信息进行分析,确定当前第二图像在第一图像上的当前对应位置,并基于该当前对应位置和第一图像上的目标拍摄位置,确定涂片是否运动到目标运动位置。示例性地,可采用上述任何一种图像配准算法来确定当前第二图像在第一图像上的当前对应位置,即当前第二图像对应于第一图像上的哪块区域。具体地,如果所确定的当前对应位置与目标拍摄位置重合或基本重合,则可以确定涂片已运动到目标运动位置,否则涂片没有运动到目标运动位置。应理解,还可以采用其他方法确定当前第二图像在第一图像上的当前对应位置,本发明对此不作限定。其中,采用图像配准算法确定当前第二图像在第一图像上的当前对应位置的一种示例性方法与上述确定第二图像在第一图像上的对应位置的方法类似,在此不再赘述。
在确定涂片没有运动到目标运动位置时,方法700还可以包括:基于当前对应位置和目标拍摄位置再次确定将涂片运动到目标运动位置所需的当前运动信息。具体地,可以获取该当前对应位置和目标拍摄位置两者的坐标,将目标拍摄位置的坐标与当前对应位置的坐标相减得到当前坐标差,并将该当前坐标差转换成涂片运动到目标运动位置所需的当前运动信息,例如,当前的运动方向和运动距离等。示例性地,可以选取当前对应位置上的某个特殊点的坐标作为当前对应位置的坐标,例如当前对应位置的左上角的点、右上角的点、左下角的点、右下角的点、中心点等,本发明对此不作限定。优选地,可以选取当前对应位置的中心点的坐标作为当前对应位置的坐标。
当涂片根据该当前运动信息运动到位后,方法700还可以包括:再次确定涂片是否运动到目标运动位置。该过程与上述确定涂片是否运动到目标运动位置的过程类似,在此不再赘述。如果确定涂片还是没有运动到目标运动位置,则重复上述过程,更新将涂片运动到目标运动位置所需的当前运动信息,直到涂片根据经更新的当前运动信息运动到目标运动位置为止。
在一个实施例中,方法700还可以包括:在达到某些条件时发出报警信息。示例性地,报警信息可以包括声音警报、图形警报、文字警报等,本发明对此不作限定。
在一个实施例中,方法700还可以包括:获取更新当前运动信息的次数,并且当更新当前运动信息的次数大于等于预设的更新次数阈值时,说明系统出现故障,则发出报警信息。示例性地,预设的更新次数阈值可以由用户根据需要进行设置,例如为3次、4次、5次等,本发明对此不作限定。
在一个实施例中,如果经多次更新当前运动信息后涂片仍未运动到目标运动位置,则方法700还可以包括:获取更新当前运动信息与涂片运动的过程所花费的总时间,并且如果该总时间超过预设的总时间阈值,说明系统出现故障,则发出报警信息。示例性地,预设的总时间阈值可以由用户根据需要进行设置,例如为3s、5s、10s等,本发明对此不作限定。
在一个实施例中,如果确定涂片没有运动到目标运动位置,则计算当前对应位置和目标拍摄位置之间的距离,如果该距离大于预设的距离阈值,说明系统出现故障,则发出报警信息。示例性地,预设的距离阈值可以由用户根据需要进行设置,例如1mm、2mm、3mm等,本发明对此不作限定。
在一个实施例中,方法700还可以包括:获取多个目标拍摄位置和与其相对应的多个当前对应位置,计算多个目标拍摄位置中的每个目标拍摄位置与其相对应的当前对应位置之间的多个距离,如果多个距离中大于预设的距离阈值的距离的个数超过预设的数量阈值,则发出报警信息。示例性地,预设的数量阈值可以由用户根据需要进行设置,例如3个、4个、5个等,本发明对此不作限定。
在另一实施例中,在涂片根据运动信息向目标运动位置运动过程中,方法700还可以包括:实时更新涂片运动到目标运动位置所需的实时运动信息,以使得涂片根据实时运动信息能够更快、更准确地到达目标运动位置。
具体地,在涂片根据运动信息向目标运动位置运动过程中,可以实时拍摄涂片上视野内区域以得到实时第二图像,获取该实时第二图像的实时第二图像信息,例如像素信息、特征信息等,然后对实时第二图像信息与第一图像的第一图像信息进行分析,确定该实时第二图像在第一图像上的实时对应位置。示例性地,可采用上述任何一种图像配准算法来确定实时第二图像在第一图像上的实时对应位置,即实时第二图像当前对应于第一图像上的哪块区域,本发明对此不作限定。应理解,还可以采用其他方法确定实时第二图像在第一图像上的实时对应位置,本发明对此不作限定。其中,采用图像配准算法确定实时第二图像在第一图像上的实时对应位置的一种示例性方法与上述确定第二图像在第一图像上的对应位置的方法类似,在此不再赘述。
然后,方法700还可以包括:基于实时对应位置,实时更新涂片运动到目标运动位置所需的实时运动信息,直到涂片根据实时运动信息运动到目标运动位置为止。示例性地,可以基于实时对应位置与第一图像上的目标拍摄位置,来实时更新涂片运动到目标运动位置所需的实时运动信息。具体地,可以获取实时对应位置与目标拍摄位置的坐标,将二者的坐标相减得到实时坐标差,并将该实时坐标差转换为涂片的实时运动信息,从而实时更新实时运动信息,例如实时运动方向和实时运动距离等,使涂片根据经更新的运动信息运动,从而更快、更准确地将涂片引导运动到目标运动位置。
示例性地,在涂片向目标运动位置运动过程中,如果拍摄实时第二图像并根据实时第二图像在第一图像上的对应位置更新实时运动信息的次数超过预设的实时次数阈值,则发出报警信息。示例性地,预设的实时次数阈值可以由用户根据需要进行设置,例如2次、3次、4次、5次等,本发明对此不作限定。
在一个实施例中,如果涂片没有在预设的时间阈值内运动到目标运动位置,则可以发出报警信息。示例性地,预设的时间阈值可以由用户根据实际需要进行设置,例如为3s、5s、10s等,本发明对此不作限定。
在一个实施例中,方法700还可以包括:在图像分析系统10的显示器上或者在图像分析装置200的显示器上等,实时显示对应位置、当前对应位置、实时对应位置和目标运动位置等,还可以实时显示涂片的运动路线等。
实施例四
本实施例提供了一种计算机可读介质,该计算机可读介质上存储有计算机程序,所述计算机程序在运行时执行如上述实施例所述的方法。任何有形的、非暂时性的计算机可读介质皆可被使用,包括磁存储设备(硬盘、软盘等)、光存储设备(CD-ROM、DVD、蓝光光盘等)、闪存和/或诸如此类。这些计算机程序指令可被加载到通用计算机、专用计算机或其他可编程数据处理设备上以形成机器,使得这些在计算机上或其他可编程数据处理装置上执行的指令可以生成实现指定功能的装置。这些计算机程序指令也可以存储在计算机可读存储器中,该计算机可读存储器可以指示计算机或其他可编程数据处理设备以特定的方式运行,这样存储在计算机可读存储器中的指令就可以形成一件制造品,包括实现指定功能的实现装置。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上,从而在计算机或其他可编程设备上执行一系列操作步骤以产生一个计算机实现的进程,使得在计算机或其他可编程设备上执行的指令可以提供用于实现指定功能的步骤。
本发明的技术效果:
本发明的实施例的图像分析系统和控制拍摄样本图像的方法,通过确定第二图像与第一图像的对应关系来识别拍摄第二图像时的实际视野位置,从而控制涂片移动到目标运动位置,方法简单、定位准确,且采用现有系统即可实现,无需额外增加装置。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (30)

1.一种图像分析系统,其特征在于,所述图像分析系统包括成像装置、移动装置和图像分析装置,其中:
所述成像装置包括物镜和摄像单元,其中所述摄像单元拍摄涂片上待测样本以得到第一图像,获取所述第一图像的第一图像信息;所述摄像单元拍摄所述涂片上视野内区域以得到第二图像,获取所述第二图像的第二图像信息;
所述移动装置用于驱动所述涂片和/或物镜,使所述涂片和/或物镜运动;
所述图像分析装置用于:
对所述第一图像信息和所述第二图像信息进行分析,确定所述第二图像在所述第一图像上的对应位置;
基于所述对应位置,确定所述涂片和/或物镜运动到目标运动位置所需的运动信息。
2.根据权利要求1所述的图像分析系统,其特征在于,
所述摄像单元还获取所述第一图像上的目标拍摄位置,
所述图像分析装置还用于基于所述对应位置和所述目标拍摄位置,确定所述涂片和/或物镜运动到所述目标运动位置所需的运动信息。
3.根据权利要求2所述的图像分析系统,其特征在于,当所述涂片和/或物镜根据所述运动信息运动到位后,所述图像分析装置还用于确定所述涂片和/或物镜是否运动到所述目标运动位置。
4.根据权利要求3所述的图像分析系统,其特征在于,所述图像分析装置确定所述涂片和/或物镜是否运动到所述目标运动位置包括:
所述摄像单元拍摄所述涂片上当前视野内区域以得到当前第二图像,获取所述当前第二图像的当前第二图像信息;
所述图像分析装置对所述当前第二图像信息与所述第一图像信息进行分析,确定所述当前第二图像在所述第一图像上的当前对应位置,并基于所述当前对应位置和所述目标拍摄位置的关系,确定所述涂片和/或物镜是否运动到所述目标运动位置。
5.根据权利要求4所述的图像分析系统,其特征在于,所述图像分析装置还用于:如果确定所述涂片和/或物镜没有运动到所述目标运动位置,则基于所述当前对应位置和所述目标拍摄位置确定所述涂片和/或物镜运动到所述目标运动位置所需的当前运动信息。
6.根据权利要求5所述的图像分析系统,其特征在于,所述涂片和/或物镜根据所述当前运动信息运动到位后,所述图像分析装置还用于:确定所述涂片和/或物镜是否运动到所述目标运动位置,如果确定所述涂片和/或物镜没有运动到所述目标运动位置,则更新所述涂片和/或物镜运动到所述目标运动位置所需的当前运动信息,直到所述涂片和/或物镜根据经更新的当前运动信息运动到所述目标运动位置为止。
7.根据权利要求1-6中任一项所述的图像分析系统,其特征在于,所述图像分析系统还包括报警装置,所述图像分析装置还用于:获取更新所述当前运动信息的次数,并且当更新所述当前运动信息的次数大于等于预设的更新次数阈值,或更新所述当前运动信息与所述涂片和/或物镜运动的过程所花费的总时间超过预设的总时间阈值时,则通知所述报警装置发出报警信息。
8.根据权利要求1-6中任一项所述的图像分析系统,其特征在于,所述图像分析系统还包括报警装置,所述图像分析装置还用于:如果确定所述涂片和/或物镜没有运动到所述目标运动位置,则计算所述当前对应位置和所述目标拍摄位置之间的距离,如果所述距离大于预设的距离阈值,则通知所述报警装置发出报警信息。
9.根据权利要求1-6中任一项所述的图像分析系统,其特征在于,所述图像分析系统还包括报警装置,所述图像分析装置还用于:获取多个目标拍摄位置和与其相对应的多个当前对应位置,计算所述多个目标拍摄位置中的每个目标拍摄位置与其相对应的当前对应位置之间的多个距离,如果所述多个距离中大于预设的距离阈值的距离的个数超过预设的数量阈值,则通知所述报警装置发出报警信息。
10.根据权利要求1所述的图像分析系统,其特征在于,在所述涂片和/或物镜根据所述运动信息向所述目标运动位置运动过程中,所述图像分析装置实时更新所述涂片和/或物镜运动到所述目标运动位置所需的实时运动信息。
11.根据权利要求10所述的图像分析系统,其特征在于,其中所述图像分析装置实时更新所述涂片和/或物镜运动到所述目标运动位置所需的实时运动信息,包括:
在所述涂片和/或物镜向所述目标运动位置运动过程中,所述摄像单元实时拍摄所述涂片上视野内区域以得到实时第二图像,获取所述实时第二图像的实时第二图像信息;
所述图像分析装置对所述实时第二图像信息与所述第一图像信息进行分析,确定所述实时第二图像在所述第一图像上的实时对应位置,并基于所述实时对应位置,实时更新所述涂片和/或物镜运动到目标运动位置所需的实时运动信息,直到所述涂片和/或物镜根据经更新的实时运动信息运动到所述目标运动位置为止。
12.根据权利要求10或11所述的图像分析系统,其特征在于,所述图像分析系统还包括报警装置,所述报警装置用于在所述涂片和/或物镜没有在预设的时间阈值内运动到所述目标运动位置时发出报警信息。
13.根据权利要求1所述的图像分析系统,其特征在于,所述图像分析装置对所述第一图像信息和所述第二图像信息进行分析,确定所述第二图像在所述第一图像上的对应位置,包括:采用图像配准算法对所述第一图像信息和所述第二图像信息进行分析,确定所述第二图像在所述第一图像上的对应位置。
14.根据权利要求13所述的图像分析系统,其特征在于,所述图像分析装置采用图像配准算法对所述第一图像信息和所述第二图像信息进行分析,确定所述第二图像在所述第一图像上的对应位置,包括:
提取所述第一图像信息与所述第二图像信息中的像素信息或特征信息,基于所述像素信息或所述特征信息确定所述第二图像在所述第一图像上的对应位置。
15.根据权利要求14所述的图像分析系统,其特征在于,所述图像分析装置基于所述像素信息确定所述第二图像在所述第一图像上的对应位置,包括:利用所述第一图像与所述第二图像两者的像素信息建立相似性度量指标,并基于所述相似性度量指标确定所述第二图像在所述第一图像上的对应位置。
16.根据权利要求15所述的图像分析系统,其特征在于,所述图像分析装置基于所述相似性度量指标确定所述第二图像在所述第一图像上的对应位置,包括:采用滑动窗口法确定所述相似性度量指标的值,从而确定所述第二图像在所述第一图像上的对应位置。
17.根据权利要求16所述的图像分析系统,其特征在于,所述图像分析装置采用滑动窗口法确定所述相似性度量指标的值,从而确定所述第二图像在所述第一图像上的对应位置,包括:
对所述第一图像和所述第二图像进行预处理,所述预处理包括对所述第一图像和/或所述第二图像重采样,以使所述第一图像和所述第二图像的分辨率相同;
设置滑动窗口,使所述滑动窗口在所述第一图像上沿预定路径滑动,其中所述滑动窗口的尺寸与所述第二图像的尺寸相同;
在所述滑动窗口滑动过程中,实时地计算所述第二图像与所述第一图像位于所述滑动窗口内的区域的所述相似性度量指标的值;
选取所述相似性度量指标的值中的最大值,所述最大值所对应的所述滑动窗口内所述第一图像的区域即为所述第二图像在所述第一图像上的对应位置。
18.根据权利要求1-17中任一项所述的图像分析系统,其特征在于,所述图像分析系统还包括显示界面,所述显示界面用于实时显示所述对应位置和所述目标拍摄位置,以及实时显示涂片和/或物镜的运动路线。
19.根据权利要求18所述的图像分析系统,其特征在于,所述显示界面在所述图像分析系统的显示器上呈现,或者在所述图像分析装置的显示器上呈现。
20.一种样本分析系统,包括血液分析装置、涂片制备装置、图像分析装置和控制装置,其特征在于,所述图像分析装置包括如权利要求1-19中任一项所述的图像分析系统。
21.一种用于图像分析系统控制拍摄样本图像的方法,其特征在于,所述方法包括:
拍摄涂片上待测样本以得到第一图像,获取所述第一图像的第一图像信息;拍摄所述涂片上视野内区域以得到第二图像,获取所述第二图像的第二图像信息;
对所述第一图像信息和所述第二图像信息进行分析,确定所述第二图像在所述第一图像上的对应位置;
基于所述对应位置,确定所述涂片和/或物镜运动到目标运动位置所需的运动信息。
22.根据权利要求21所述的方法,其特征在于,所述方法还包括:
获取所述第一图像上的目标拍摄位置;
基于所述对应位置和所述目标拍摄位置,确定所述涂片和/或物镜运动到所述目标运动位置所需的运动信息。
23.根据权利要求22所述的方法,其特征在于,所述方法还包括:当所述涂片和/或物镜根据所述运动信息运动到位后,确定所述涂片和/或物镜是否运动到所述目标运动位置。
24.根据权利要求23所述的方法,其特征在于,其中确定所述涂片和/或物镜是否运动到所述目标运动位置包括:
拍摄所述涂片上当前视野内区域以得到当前第二图像,获取所述当前第二图像的当前第二图像信息;
对所述当前第二图像信息与所述第一图像信息进行分析,确定所述当前第二图像在所述第一图像上的当前对应位置;
基于所述当前对应位置和所述目标拍摄位置,确定所述涂片和/或物镜是否运动到所述目标运动位置。
25.根据权利要求23所述的方法,其特征在于,所述方法还包括:如果确定所述涂片和/或物镜没有运动到所述目标运动位置,则基于所述当前对应位置和所述目标拍摄位置确定所述涂片和/或物镜运动到所述目标运动位置所需的当前运动信息。
26.根据权利要求25所述的方法,其特征在于,所述方法还包括:确定所述涂片和/或物镜是否运动到所述目标运动位置,如果确定所述涂片和/或物镜没有运动到所述目标运动位置,则更新所述涂片和/或物镜运动到所述目标运动位置所需的当前运动信息,直到所述涂片和/或物镜根据经更新的当前运动信息运动到所述目标运动位置为止。
27.根据权利要求21-26中任一项所述的方法,其特征在于,所述方法还包括:
获取多个目标拍摄位置和与其相对应的多个当前对应位置,计算所述多个目标拍摄位置中的每个目标拍摄位置与其相对应的当前对应位置之间的多个距离;
如果所述多个距离中大于预设的距离阈值的距离的个数超过预设的数量阈值,则发出报警信息。
28.根据权利要求21所述的方法,其特征在于,所述方法还包括:在所述涂片和/或物镜根据所述运动信息向所述目标运动位置运动过程中,实时更新所述涂片和/或物镜运动到所述目标运动位置所需的实时运动信息。
29.根据权利要求28所述的方法,其特征在于,其中实时更新所述涂片和/或物镜运动到所述目标运动位置所需的实时运动信息,包括:
在所述涂片和/或物镜向所述目标运动位置运动过程中,实时拍摄所述涂片上视野内区域以得到实时第二图像,获取所述实时第二图像的实时第二图像信息;
对所述实时第二图像信息与所述第一图像信息进行分析,确定所述实时第二图像在所述第一图像上的实时对应位置;
基于所述实时对应位置,实时更新所述涂片和/或物镜运动到所述目标运动位置所需的实时运动信息,直到所述涂片和/或物镜根据经更新的实时运动信息运动到所述目标运动位置为止。
30.一种计算机可读存储介质,包含计算机可执行指令,其特征在于,所述计算机可执行指令在由处理器执行时,能够执行如权利要求21-29中任一项所述的方法。
CN202010232109.3A 2019-12-31 2020-03-27 图像分析系统和控制拍摄样本图像的方法 Pending CN113125434A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019114191172 2019-12-31
CN201911419117 2019-12-31

Publications (1)

Publication Number Publication Date
CN113125434A true CN113125434A (zh) 2021-07-16

Family

ID=76771849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010232109.3A Pending CN113125434A (zh) 2019-12-31 2020-03-27 图像分析系统和控制拍摄样本图像的方法

Country Status (1)

Country Link
CN (1) CN113125434A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114518217A (zh) * 2021-12-31 2022-05-20 深圳市瑞图生物技术有限公司 镜头间中心距离确定方法、显微镜控制设备及存储介质
CN115984341A (zh) * 2023-03-20 2023-04-18 深圳市朗诚科技股份有限公司 海洋水质微生物检测方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050037406A1 (en) * 2002-06-12 2005-02-17 De La Torre-Bueno Jose Methods and apparatus for analysis of a biological specimen
JP2012103072A (ja) * 2010-11-09 2012-05-31 Olympus Corp 位置合わせ装置、位置合わせ方法および位置合わせプログラム
CN103430077A (zh) * 2011-01-18 2013-12-04 体质医学股份有限公司 显微镜载玻片坐标系对齐
CN103678863A (zh) * 2012-08-29 2014-03-26 索尼公司 信息处理设备、信息处理方法和信息处理程序
JP2016027826A (ja) * 2010-10-19 2016-02-25 ソニー株式会社 画像処理装置および方法、並びに、プログラム
EP3081892A1 (de) * 2015-04-17 2016-10-19 Diehl BGT Defence GmbH & Co. Kg Verfahren zum lenken eines flugkörpers
JP2018081130A (ja) * 2016-11-14 2018-05-24 オリンパス株式会社 顕微鏡システムおよび標本観察方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050037406A1 (en) * 2002-06-12 2005-02-17 De La Torre-Bueno Jose Methods and apparatus for analysis of a biological specimen
JP2016027826A (ja) * 2010-10-19 2016-02-25 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP2012103072A (ja) * 2010-11-09 2012-05-31 Olympus Corp 位置合わせ装置、位置合わせ方法および位置合わせプログラム
CN103430077A (zh) * 2011-01-18 2013-12-04 体质医学股份有限公司 显微镜载玻片坐标系对齐
CN103678863A (zh) * 2012-08-29 2014-03-26 索尼公司 信息处理设备、信息处理方法和信息处理程序
EP3081892A1 (de) * 2015-04-17 2016-10-19 Diehl BGT Defence GmbH & Co. Kg Verfahren zum lenken eines flugkörpers
JP2018081130A (ja) * 2016-11-14 2018-05-24 オリンパス株式会社 顕微鏡システムおよび標本観察方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114518217A (zh) * 2021-12-31 2022-05-20 深圳市瑞图生物技术有限公司 镜头间中心距离确定方法、显微镜控制设备及存储介质
CN114518217B (zh) * 2021-12-31 2024-03-26 深圳市瑞图生物技术有限公司 镜头间中心距离确定方法、显微镜控制设备及存储介质
CN115984341A (zh) * 2023-03-20 2023-04-18 深圳市朗诚科技股份有限公司 海洋水质微生物检测方法、装置、设备及存储介质
CN115984341B (zh) * 2023-03-20 2023-05-23 深圳市朗诚科技股份有限公司 海洋水质微生物检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
KR101722803B1 (ko) 이미지들의 시퀀스에서 물체들의 실시간 표현들의 하이브리드 추적을 위한 방법, 컴퓨터 프로그램 및 디바이스
US8265425B2 (en) Rectangular table detection using hybrid RGB and depth camera sensors
CN108986164B (zh) 基于图像的位置检测方法、装置、设备及存储介质
CN111627072B (zh) 一种对多传感器进行标定的方法、装置和存储介质
EP3771198B1 (en) Target tracking method and device, movable platform and storage medium
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
KR20130030220A (ko) 고속 장애물 검출
WO2019177539A1 (en) Method for visual inspection and apparatus thereof
US10607350B2 (en) Method of detecting and describing features from an intensity image
CA3136674C (en) Methods and systems for crack detection using a fully convolutional network
CN109479082A (zh) 图象处理方法及装置
WO2021134285A1 (zh) 图像跟踪处理方法、装置、计算机设备和存储介质
CN109447902B (zh) 一种图像拼接方法、装置、储存介质及设备
CN108369739B (zh) 物体检测装置和物体检测方法
CN113125434A (zh) 图像分析系统和控制拍摄样本图像的方法
CN111627071B (zh) 一种测量电机旋转精度的方法、装置和存储介质
Lisanti et al. Continuous localization and mapping of a pan–tilt–zoom camera for wide area tracking
JP6429466B2 (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
CN116160458B (zh) 一种移动机器人多传感器融合快速定位方法、设备及系统
KR101290517B1 (ko) 촬영장치 및 이의 대상 추적방법
US9098746B2 (en) Building texture extracting apparatus and method thereof
CN113066121A (zh) 图像分析系统和识别重复细胞的方法
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
EP3786889A1 (en) Method and system for tracking motion of subjects in three dimensional scene

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination