CN111462087B - 基于人工智能的图像检测方法、装置、系统及存储介质 - Google Patents

基于人工智能的图像检测方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN111462087B
CN111462087B CN202010250342.4A CN202010250342A CN111462087B CN 111462087 B CN111462087 B CN 111462087B CN 202010250342 A CN202010250342 A CN 202010250342A CN 111462087 B CN111462087 B CN 111462087B
Authority
CN
China
Prior art keywords
target
image
observation magnification
model
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010250342.4A
Other languages
English (en)
Other versions
CN111462087A (zh
Inventor
蔡德
马兆轩
叶虎
韩骁
陈勇
杨鹏
汤红平
孔艳青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Healthcare Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Healthcare Shenzhen Co Ltd filed Critical Tencent Healthcare Shenzhen Co Ltd
Priority to CN202010250342.4A priority Critical patent/CN111462087B/zh
Publication of CN111462087A publication Critical patent/CN111462087A/zh
Application granted granted Critical
Publication of CN111462087B publication Critical patent/CN111462087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本申请实施例公开了一种基于人工智能的图像检测方法、装置、系统及存储介质,其中该方法包括:获取显微镜下的目标显微图像以及该目标显微图像对应的目标观察倍率;从模型库中调取与该目标观察倍率对应的图像检测模型,作为目标图像检测模型;该模型库中包括多种观察倍率各自对应的图像检测模型,图像检测模型用于基于人工智能算法分析显微图像;通过目标图像检测模型检测目标显微图像,确定该目标显微图像对应的检测结果。该方法能够自动对显微图像进行检测,并且保证检测的准确性。

Description

基于人工智能的图像检测方法、装置、系统及存储介质
技术领域
本申请涉及人工智能(Artificial Intelligence,AI)技术领域,尤其涉及一种图像检测方法、装置、系统及存储介质。
背景技术
显微图像是指在显微镜中观察到的图像,观察分析显微图像确定相关结论,是目前科学研究、医学诊断等领域惯用的手段。以医学诊断领域中宫颈癌的前期筛查工作为例,取样医生做好宫颈细胞涂片后,病理医生会通过显微镜对涂片中的细胞逐个进行观察,以确定其中是否存在异常细胞,并对存在的异常细胞进行分类评级,进而给出对应的检测报告。
通常情况下,显微镜下细胞学检测工作的工作量极大且任务繁重,例如,一张宫颈细胞学涂片通常至少包括5000个细胞,多则可能包括上万个细胞。由相关工作人员人工对涂片中每个细胞进行观察,需要耗费很多的时间和精力,在所需观察的涂片较多的情况下,相关工作人员极易因阅片数量大、时间紧等原因出现误判的情况。
发明内容
本申请实施例提供了一种基于人工智能的图像检测方法、装置、系统及存储介质,能够自动对显微图像进行检测,并且保证检测的准确性。
有鉴于此,本申请第一方面提供了一种基于人工智能的图像检测方法,所述方法包括:
获取显微镜下的目标显微图像以及所述目标显微图像对应的目标观察倍率;
从模型库中调取与所述目标观察倍率对应的图像检测模型,作为目标图像检测模型;所述模型库中包括多种观察倍率各自对应的图像检测模型,所述图像检测模型用于基于人工智能算法分析显微图像;
通过所述目标图像检测模型检测所述目标显微图像,确定所述目标显微图像对应的检测结果。
本申请第二方面提供了一种基于人工智能的图像检测装置,所述装置包括:
获取模块,用于获取显微镜下的目标显微图像以及所述目标显微图像对应的目标观察倍率;
模型调用模块,用于从模型库中调取与所述目标观察倍率对应的图像检测模型,作为目标图像检测模型;所述模型库中包括多种观察倍率各自对应的图像检测模型,所述图像检测模型用于基于人工智能算法分析显微图像;
检测模块,用于通过所述目标图像检测模型检测所述目标显微图像,确定所述目标显微图像对应的检测结果。
本申请第三方面提供了一种基于人工智能的图像检测系统,所述系统包括:图像采集组件、倍率识别组件和控制组件;
所述图像采集组件,用于采集显微镜下的目标显微图像,并将所述目标显微图像传输至所述控制组件;
所述倍率识别组件,用于识别所述目标显微图像对应的目标观察倍率,并将所述目标观察倍率传输至所述控制组件;
所述控制组件,用于执行本申请第一方面所述的基于人工智能的图像检测方法的步骤。
本申请第四方面提供了一种设备,所述设备包括处理器以及存储器:
所述存储器用于存储计算机程序;
所述处理器用于根据所述计算机程序,执行如上述第一方面所述的基于人工智能的图像检测方法的步骤。
本申请第五方面提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行上述第一方面所述的基于人工智能的图像检测方法的步骤。
本申请第六方面提供了一种包括指令的计算机程序产品,当其在计算机上运行时,使得所述计算机执行上述第一方面所述的基于人工智能的图像检测方法的步骤。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例提供了一种基于人工智能的图像检测方法,该方法能够自动调用与显微镜的观察倍率相适配的图像检测模型,基于AI算法对显微镜下的显微图像进行检测,从而得到相应的检测结果。具体的,在本申请实施例提供的图像检测方法中,先获取显微镜下的目标显微图像以及该目标显微图像对应的目标观察倍率,然后从模型库中调取与该目标观察倍率对应的图像检测模型作为目标图像检测模型,该模型库中包括多种观察倍率各自对应的图像检测模型,各图像检测模型能够基于AI算法分析对应观察倍率下的显微图像,进而通过目标图像检测模型检测目标显微图像,确定该目标显微图像对应的检测结果。相比相关技术中人工观察显微图像的实现方式,本申请实施例提供的图像检测方法引入AI技术自动地对显微图像进行检测,并且为了保证所确定的检测结果的准确性,还针对不同的观察倍率相应地配置了不同的图像检测模型,以便在应用过程中可以相应地调用与目标显微图像的观察倍率对应的图像检测模型,准确地检测该目标显微图像,如此不再需要相关工作人员耗费大量的时间和精力对显微图像进行检测,避免因人工操作而导致误判的情况发生。
附图说明
图1为本申请实施例提供的图像检测系统的结构示意图;
图2为本申请实施例提供的图像检测方法的流程示意图;
图3为本申请实施例提供的图像检测系统的硬件架构示意图;
图4为本申请实施例提供的图像检测系统的软件架构示意图;
图5为本申请实施例提供的图像检测方法的流程示意图;
图6为本申请实施例提供的第一种图像检测装置的结构示意图;
图7为本申请实施例提供的第二种图像检测装置的结构示意图;
图8为本申请实施例提供的第三种图像检测装置的结构示意图;
图9为本申请实施例提供的第四种图像检测装置的结构示意图;
图10为本申请实施例提供的第五种图像检测装置的结构示意图;
图11为本申请实施例提供的第六种图像检测装置的结构示意图;
图12为本申请实施例提供的服务器的结构示意图;
图13为本申请实施例提供的终端设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的图像检测技术,具体通过如下实施例进行说明。
相关技术中,目前主要由相关工作人员人工对显微图像进行检测,并确定检测结果;在实际应用中,显微图像中通常包括大量的细胞,人工检测显微图像需要耗费大量的时间和精力,并且极易出现误判的情况。
针对上述相关技术存在的技术问题,本申请实施例提供了一种基于人工智能的图像检测方法,该方法将AI技术应用于显微图像的检测,从而实现对于显微图像的自动智能检测,并且能够在一定程度上保证检测结果的准确性。
具体的,在本申请实施例提供的基于人工智能的图像检测方法,先获取显微镜下的目标显微图像以及该目标显微图像对应的目标观察倍率,然后从模型库中调取与该目标观察倍率对应的图像检测模型作为目标图像检测模型,该模型库中包括多种观察倍率各自对应的图像检测模型,各图像检测模型能够基于AI算法对与其对应的观察倍率下的显微图像进行分析处理,进而通过所调用的目标图像检测模型检测目标显微图像,确定该目标显微图像对应的检测结果。
相比相关技术中人工观察显微图像的实现方式,本申请实施例提供的图像检测方法引入AI技术自动地对显微图像进行检测,并且为了保证所确定的检测结果的准确性,还针对不同的观察倍率相应地配置了不同的图像检测模型,以便在应用过程中可以相应地调用与目标显微图像的观察倍率对应的图像检测模型,准确地检测该目标显微图像,如此不再需要相关工作人员耗费大量的时间和精力对显微图像进行检测,避免因人工操作而导致误判的情况发生。
应理解,本申请实施例提供的基于人工智能的图像检测方法可以由能够支持AI模型运行的设备执行,如终端设备、服务器等。其中,终端设备具体可以为计算机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)等;服务器具体可以为应用服务器或Web服务器,在实际部署时,该服务器可以为独立服务器,也可以为集群服务器。
为了便于理解本申请实施例提供的基于人工智能的图像检测方法,下面先对本申请实施例提供的基于人工智能的图像检测系统进行介绍。
参见图1,图1为本申请实施例提供的图像检测系统的结构示意图。如图1所示,该图像检测系统包括:图像采集组件110、倍率识别组件120和控制组件130,图像采集组件110与控制组件130的输入端电性相连,倍率识别组件120与控制组件130的输入端也电性相连。
图像采集组件110设置在显微镜的入射光路上,用于从显微镜的入射光路上采集目标显微图像,并将该目标显微图像传输至控制组件130。
倍率识别组件120设置在显微镜的倍率转换台上,用于识别目标显微图像对应的目标观察倍率,即识别图像采集组件110采集目标显微图像时显微镜上倍率转换台的观察倍率,并将该目标观察倍率传输至控制组件130。
控制组件130用于执行本申请实施例提供的图像检测方法,根据倍率识别组件120传输的目标观察倍率相应地从模型库中调用目标图像检测模型,并利用该目标图像检测模型对图像采集组件130传输的目标显微图像进行检测,以确定该目标显微图像对应的检测结果。控制组件130可以集成部署在显微镜上,也可以为独立于显微镜的处理设备。
可选的,上述图像检测系统还可以包括增强现实(Augmented Reality,AR)投影组件140,该AR投影组件可以设置在显微镜的出射光路上,控制组件130的输出端与该AR投影组件电性相连。控制组件130通过目标图像检测模型完成对于目标显微图像的分析处理得到对应的检测结果后,即可利用AR投影组件140在显微镜的出射光路上将该检测结果投影至显微镜的观察视野中。如此,相关工作人员可以直接在显微镜中观察到对应的检测结果,提高了使用的便利性。
以本申请实施例提供的图像检测系统应用于检测宫颈细胞涂片为例,将待检测的宫颈细胞涂片放置到显微镜的载物台上后,图像采集组件110可以在显微镜的入射光路上实时地采集目标显微图像,并将该目标显微图像传输至控制组件130。与此同时,倍率识别组件120可以相应地采集倍率转换台上当前的目标观察倍率,并将该目标观察倍率传输至控制组件130。控制组件130接收到图像采集组件110传输的目标显微图像,以及倍率识别组件120传输的目标观察倍率后,可以从模型库中调取与该目标观察倍率相对应的目标图像检测模型,利用该目标图像检测模型检测目标显微图像中是否存在阳性细胞,并生成此次检测的检测结果,该检测结果可以表征目标显微图像中是否存在阳性细胞,以及在存在阳性细胞的情况下阳性细胞的分布位置等等。进而,控制组件130可以控制AR投影组件140,在显微镜的出射光路上将该检测结果投影至显微镜的观察视野中。
应理解,在实际应用中,本申请实施例提供的图像检测系统的应用场景并不仅限于检测检测宫颈细胞涂片中是否存在阳性细胞,还可以应用在检测其它类型的显微图像的场景中,在此不对本申请实施例提供的图像检测系统的应用场景做任何限定。
下面通过实施例对本申请提供的基于人工智能的图像检测方法进行详细介绍。
参见图2,图2为本申请实施例提供的基于人工智能图像检测方法的流程示意图。为了便于描述,下述实施例以控制组件作为执行主体进行描述。如图2所示,该方法包括以下步骤:
步骤201:获取显微镜下的目标显微图像以及所述目标显微图像对应的目标观察倍率。
正如上文所介绍的,在实际应用中,部署在显微镜上的图像采集组件可以在显微镜的入射光路上采集显微图像作为目标显微图像,并将该目标显微图像传输至控制组件。与此同时,部署在显微镜倍率转换台上的倍率识别组件可以相应地采集倍率转换台当前的观察倍率作为目标观察倍率,并将该目标观察倍率传输至控制组件。如此,控制组件可以从图像采集组件处获取到目标显微图像,从倍率识别组件处获取到与目标显微图像对应的目标观察倍率。
在一些实施例中,图像采集组件可以在显微镜的观察视野发生改变,以及在显微镜的观察倍率发生改变时,触发采集观察视野和/或观察倍率改变后的显微图像,并将所采集的显微图像作为目标显微图像传输至控制组件。当然,在实际应用中,图像采集组件也可以周期性地采集显微镜下的图像,并将所采集的显微图像作为目标显微图像传输至控制组件。本申请在此不对图像采集组件采集目标显微图像的时机做任何限定。
在一些应用场景(如观察宫颈细胞涂片的应用场景等)中,经常需要观察三维结构的细胞,此时,图像采集组件可以根据显微镜细螺旋的调节情况,相应地采集单层次显微图像或者多层次显微图像。
具体的,在显微镜的细螺旋没有被调节的情况下,图像采集组件可以采集显微镜下目标观察倍率的单层次显微图像作为目标显微图像,并将该单层次显微图像传输至控制组件,以使控制组件后续基于该单层次显微图像进行图像检测。在显微镜的细螺旋被调节的情况下,图像采集组件可以采集显微镜下目标观察倍率的多层次显微图像作为目标显微图像,并将该多层次显微图像传输至控制组件,以使控制组件后续基于该多层次显微图像进行图像检测。
应理解,在实际应用中,可以在图像检测系统中额外部署细螺旋识别组件,该细螺旋识别组件用于识别显微镜细螺旋的调节情况,例如,该细螺旋识别组件可以在识别到显微镜的细螺旋被调节时,向控制组件传输相应的指示信息,以告知控制组件显微镜细螺旋被调节。控制组件可以根据细螺旋识别组件传输的信息,控制图像采集组件相应地采集单层次显微图像或者多层次显微图像,例如,控制组件在接收到细螺旋识别组件传输的用于表征显微镜细螺旋被调节的指示信息的情况下,可以控制图像采集组件采集多层次显微图像,反之,在未收到上述指示信息的情况下,可以控制图像采集组件采集单层次显微图像。
在一些实施例中,倍率识别组件可以在启动检测显微图像时,向控制组件传输显微镜倍率转换台当前的观察倍率作为目标观察倍率;并且,倍率识别组件在检测到显微镜倍率转换台的观察倍率被调节时,也会向控制组件传输显微镜倍率转换台调节后的观察倍率作为目标观察倍率;在这种情况下,控制组件未接收到倍率识别组件传输的观察倍率时,会将其上一次接收的观察倍率作为目标观察倍率。
当然,在实际应用中,倍率识别组件也可以周期性地向控制组件传输显微镜倍率转换台当前的观察倍率作为目标观察倍率,本申请在此不对倍率识别组件向控制组件传输目标观察倍率的时机做任何限定。
步骤202:从模型库中调取与所述目标观察倍率对应的图像检测模型,作为目标图像检测模型;所述模型库中包括多种观察倍率各自对应的图像检测模型,所述图像检测模型用于基于人工智能算法分析显微图像。
控制组件接收到倍率识别组件传输的目标观察倍率后,将从预先构建的模型库中调取与该目标观察倍率相对应的图像检测模型,作为用于分析处理目标显微图像的目标图像检测模型。上述模型库中通常包括多种不同的观察倍率各自对应的图像检测模型,这些图像检测模型可以基于AI算法对相应观察倍率的显微图像进行分析处理,得到对应的检测结果。
例如,假设模型库中包括观察倍率10×对应的图像检测模型、观察倍率20×对应的图像检测模型和观察倍率40×对应的图像检测模型,如若控制组件接收到的目标观察倍率为20×,则控制组件需要相应地从模型库中调用观察倍率20×对应的图像检测模型,作为目标图像检测模型。
需要说明的是,在实际应用中,上述模型库中包括的多种观察倍率各自对应的图像检测模型可以为预先训练好的神经网络模型,如卷积神经网络(Convolutional NeuralNetworks,CNN)模型等等,本申请在此不对各图像检测模型的模型结构做任何限定。
应理解,模型库中各图像检测模型之间的区别在于所适用的对象不同,即各图像检测模型分别适用于处理不同倍率的显微图像。相应地,在训练各图像检测模型时所利用的训练样本也有所不同,例如,假设模型库中包括观察倍率10×对应的图像检测模型、观察倍率20×对应的图像检测模型和观察倍率40×对应的图像检测模型,训练观察倍率10×对应的图像检测模型时使用的训练样本包括观察倍率为10×的显微图像及其对应的标注信息,训练观察倍率20×对应的图像检测模型时使用的训练样本包括观察倍率为20×的显微图像及其对应的标注信息,训练观察倍率40×对应的图像检测模型时使用的训练样本包括观察倍率为40×的显微图像及其对应的标注信息。
应理解,在不同的应用场景中,上述图像检测模型的具体用途会有所区别,例如,在观察宫颈细胞涂片的应用场景中,图像检测模型可用于检测宫颈细胞涂片中是否存在阳性细胞,以及所存在的阳性细胞的类别;又例如,在观察微生物细胞涂片的应用场景中,图像检测模型可用于检测涂片中微生物的形态。在此不对本申请实施例提供的图像检测方法的具体应用场景做任何限定,也不对图像检测模型的具体用途做任何限定。
正如在步骤201中所提及的,在一些应用场景(如观察宫颈细胞涂片的应用场景等)中,经常需要观察三维结构的细胞,此时,图像采集组件可以相应地根据显微镜细螺旋的调节情况,采集单层次显微图像或者多层次显微图像。相对应地,模型库中各种观察倍率各自对应的图像检测模型可以包括单层次图像检测模型和多层次图像检测模型,以分别用于对单层次显微图像和多层次显微图像进行相应地检测。
需要说明的是,在实际应用中,相关工作人员通常只会在高观察倍率(如20×、40×等)下观察多层次显微图像,因此,可以仅针对模型库中高观察倍率对应的图像检测模型设置多层次图像检测模型,即模型库中高观察倍率对应的图像检测模型既包括单层次图像检测模型,又包括多层次图像检测模型。
在目标观察倍率属于上述高倍率的情况下,若显微镜的细螺旋没有被调节,则控制组件可以调取与目标观察倍率对应的单层次图像检测模型,作为目标图像检测模型,若显微镜的细螺旋被调节,则控制组件可以调取与目标观察倍率对应的多层次图像检测模型,作为目标图像检测模型。
应理解,在实际应用中,可以在图像检测系统中额外部署细螺旋识别组件,该细螺旋识别组件用于识别显微镜细螺旋的调节情况,例如,该细螺旋识别组件可以在识别到显微镜的细螺旋被调节时,向控制组件传输相应的指示信息,以告知控制组件显微镜细螺旋被调节。控制组件可以根据细螺旋识别组件传输的信息,调用目标观察倍率对应的单层次图像检测模型或者多层次图像检测模型,例如,控制组件在接收到细螺旋识别组件传输的用于表征显微镜细螺旋被调节的指示信息的情况下,可以调用目标观察倍率对应的单层次图像检测模型,作为目标图像检测模型,反之,在未收到上述指示信息的情况下,可以调用目标观察倍率对应的多层次图像检测模型,作为目标图像检测模型。
步骤203:通过所述目标图像检测模型检测所述目标显微图像,确定所述目标显微图像对应的检测结果。
控制组件从模型库中调取出与目标观察倍率对应的目标图像检测模型后,即可利用该目标图像检测模型对图像采集组件传输的目标显微图像进行分析处理,从而得到该目标显微图像对应的检测结果。
应理解,在实际应用中,不同的应用场景下目标图像检测模型的作用不同,相应地利用目标图像检测模型检测得到的检测结果也有所不同。例如,在检测宫颈细胞涂片的应用场景中,控制组件可以利用目标图像检测模型检测宫颈细胞涂片中是否存在阳性细胞,或者宫颈细胞涂片中的细胞属于各种类别的置信度;又例如,在检测微生物细胞涂片的应用场景中,控制组件可以利用目标图像检测模型检测微生物细胞涂片中的细胞形态等。在此不对本申请中通过目标图像检测模型确定的检测结果做任何限定。
在一些实施例中,本申请提供的方法还可以根据目标图像检测模型确定的检测结果,确定是否获取更高观察倍率的显微图像,并针对更高观察倍率的显微图像进行图像检测处理,以得到更准确的检测结果。
具体的,假设模型库中包括第一观察倍率、第二观察倍率和第三观察倍率各自对应的细胞分类模型,其中,第一观察倍率小于第二观察倍率,第二观察倍率小于第三观察倍率。当目标图像检测模型为第一观察倍率对应的细胞分类模型时,在利用该目标图像检测模型确定出目标显微图像对应的检测结果后,根据该检测结果判断目标显微图像中是否存在目标细胞;若该检测结果表示目标显微图像中不存在目标细胞,则可以触发调节显微镜的观察视野,以对下一观察视野中的细胞进行检测;反之,若该检测结果表示目标显微图像中存在目标细胞,则触发调节目标观察倍率为第二观察倍率,并获取显微镜下同一视野中该第二观察倍率的显微图像作为新的目标显微图像,从模型库中调取与该第二观察倍率对应的细胞分类模型作为新的目标图像检测模型,进而通过该新的目标图像检测模型检测新的目标显微图像得到新的检测结果,并利用该新的检测结果替换采用第一观察倍率对应的细胞分类模型确定的检测结果。
下面以本申请实施例提供的方法应用于检测宫颈细胞涂片为例,对上述实现过程进行示例性介绍。假设其中第一观察倍率为10×,第二观察倍率为20×,第一观察倍率对应的细胞分类模型为细胞二分类模型,第二观察倍率对应的细胞多分类模型。若图像采集组件上传的目标显微图像为10×镜视野下的宫颈细胞涂片,倍率识别组件上传的目标观察倍率为10×,则控制组件需要相应地调用10×对应的细胞二分类模型对该目标显微图像进行检测;若该细胞二分类模型的检测结果表示该目标显微图像中没有阳性细胞,则控制组件可以提示相关操作人员切换到下一个10×视野;若该细胞二分类模型的检测结果表示该目标显微图像中有阳性细胞,则控制组件可以提示相关操作人员切换到观察倍率20×对当前视野下的宫颈细胞涂片进行观察,或者控制组件可以自动控制倍率转换台将观察倍率切换至20×,完成观察倍率的切换后,图像采集组件相应地采集20×镜视野下的显微图像作为新的目标显微图像传输至控制组件,控制组件调用20×对应的细胞多分类模型对该目标显微图像进行检测,以确定该目标显微图像中阳性细胞属于各个类别的置信度,并利用该检测结果更新通过10×对应的细胞二分类模型确定的检测结果。
相类似地,当目标图像检测模型为第二观察倍率对应的细胞分类模型时,在利用该目标图像检测模型确定出目标显微图像对应的检测结果后,可以根据该检测结果中细胞属于各目标类别的置信度确定后续应当执行的操作。具体的,若检测结果表示目标显微图像中的细胞属于一种或多种目标类别的置信度不低于预设置信度,则存储该检测结果,并触发调节显微镜的观察视野;反之,若检测结果表示目标显微图像中的细胞属于各种目标类别的置信度均低于预设置信度,则触发调节目标观察倍率为第三观察倍率,获取显微镜下同一视野中该第三观察倍率的显微图像作为新的目标显微图像,从模型库中调取与该第三观察倍率对应的细胞分类模型作为新的目标图像检测模型,通过该新的目标图像检测模型检测新的目标显微图像得到新的检测结果,并利用该新的检测结果替换采用第二观察倍率对应的细胞分类模型确定的检测结果。
下面仍以本申请实施例提供的方法应用于检测宫颈细胞涂片为例,对上述实现过程进行示例性介绍。假设其中第二观察倍率为20×,第三观察倍率为40×,第二观察倍率和第三观察倍率对应的细胞分类模型均为细胞多分类模型。若图像采集组件上传的目标显微图像为20×镜视野下的宫颈细胞涂片,倍率识别组件上传的目标观察倍率为20×,则控制组件需要相应地调用20×对应的细胞多分类模型对该目标显微图像进行检测;若该细胞多分类模型的检测结果表示目标显微图像中的细胞属于某种或某几种目标类别的置信度高于预设置信度,则说明该细胞多分类模型当前能够以较高置信度判读阳性细胞的类别,此时可以将该类阳性细胞归档存储;若该细胞多分类模型的检测结果表示目标显微图像中的细胞属于各种目标类别的置信度均低于预设置信度,则控制组件可以提示相关操作人员切换到观察倍率40×对当前视野下的宫颈细胞涂片进行观察,或者控制组件可以自动控制倍率转换台将观察倍率切换至40×,完成观察倍率的切换后,图像采集组件相应地采集40×镜视野下的显微图像作为新的目标显微图像传输至控制组件,控制组件调用40×对应的细胞多分类模型对该目标显微图像进行检测,以确定该目标显微图像中阳性细胞属于各个类别的置信度,并利用该检测结果更新通过20×对应的细胞多分类模型确定的检测结果。
应理解,在实际应用中,模型库中不仅可以包括三种观察倍率各自对应的图像检测模型,还可以包括更多种观察倍率对应的图像检测模型,本申请在此不对模型库中观察倍率的数量和具体数值做任何限定。
在一些实施例中,本申请提供的方法还可以根据目标图像检测模型对于单层次显微图像的检测结果,确定是否进一步获取多层次显微图像,并针对多层次显微图像进行图像检测处理,以得到更准确的检测结果。
具体的,仍假设模型库中包括第一观察倍率、第二观察倍率和第三观察倍率各自对应的细胞分类模型,其中,第一观察倍率小于第二观察倍率,第二观察倍率小于第三观察倍率;此外,第二观察倍率和第三观察倍率各自对应的细胞分类模型均包括单层次细胞分类模型和多层次细胞分类模型。
当目标图像检测模型为第二观察倍率对应的单层次细胞分类模型时,在利用该目标图像检测模型确定出目标显微图像对应的检测结果后,可以根据该检测结果中细胞属于各目标类别的置信度确定后续应当执行的操作。具体的,若该检测结果表示目标显微图像中的细胞属于各目标类别的置信度均低于预设置信度,则触发调节显微镜的细螺旋,获取该显微镜下同一视野中第二观察倍率的多层次显微图像作为新的目标显微图像,并从模型库中调取该第二观察倍率的多层次细胞分类模型作为新的目标图像检测模型,利用该新的目标图像检测模型检测该新的目标显微图像得到新的检测结果,利用该新的检测结果更新采用第二观察倍率对应的单层次细胞分类模型确定的检测结果。
下面仍以本申请实施例提供的方法应用于检测宫颈细胞涂片为例,对上述实现过程进行示例性介绍。假设第二观察倍率为20×,第二观察倍率对应的细胞分类模型包括单层次细胞多分类模型和多层次细胞分类模型。若图像采集组件上传的目标显微图像为20×镜视野下的单层次显微图像,倍率识别组件上传的目标观察倍率为20×,则控制组件需要相应地调用20×对应的单层次细胞多分类模型对该目标显微图像进行检测;若该单层次细胞多分类模型的检测结果表示目标显微图像中的细胞属于某种或某几种目标类别的置信度高于预设置信度,则说明该单层次细胞多分类模型当前能够以较高置信度判读阳性细胞的类别,此时可以将该类阳性细胞归档存储;若该单层次细胞多分类模型的检测结果表示目标显微图像中的细胞属于各种目标类别的置信度均低于预设置信度,则控制组件可以提示相关操作人员调节显微镜细螺旋,或者控制组件可以自动对显微镜细螺旋进行调节,图像采集组件相应地采集20×镜视野下的多层次显微图像作为新的目标显微图像传输至控制组件,控制组件调用20×对应的多层次细胞分类模型对该目标显微图像进行检测,以确定该目标显微图像中阳性细胞属于各个类别的置信度,并利用该检测结果更新通过20×对应的单层次细胞多分类模型确定的检测结果。
应理解,若采用第二观察倍率对应的多层次细胞分类模型仍无法以较高置信度判读目标显微图像中细胞所属的目标类别,则可以将显微镜的观察倍率切换至更高的观察倍率即第三观察倍率,进而,先后利用第三观察倍率对应的单层次细胞分类模型和多层次细胞分类模型,分别对同一视野中第三观察倍率的单层次显微图像和多层次显微图像进行分析处理。
相类似的,当目标图像检测模型为第三观察倍率对应的单层次细胞分类模型时,在利用该目标图像检测模型确定出目标显微图像对应的检测结果后,可以根据该检测结果中细胞属于各目标类别的置信度确定后续应当执行的操作。具体的,若该检测结果表示目标显微图像中的细胞属于各目标类别的置信度均低于预设置信度,则触发调节显微镜的细螺旋,获取该显微镜下同一视野中第三观察倍率的多层次显微图像作为新的目标显微图像,并从模型库中调取该第三观察倍率的多层次细胞分类模型作为新的目标图像检测模型,利用该新的目标图像检测模型检测该新的目标显微图像得到新的检测结果,利用该新的检测结果更新采用第三观察倍率对应的单层次细胞分类模型确定的检测结果。
下面仍以本申请实施例提供的方法应用于检测宫颈细胞涂片为例,对上述实现过程进行示例性介绍。假设第三观察倍率为40×,第三观察倍率对应的细胞分类模型包括单层次细胞多分类模型和多层次细胞分类模型。若图像采集组件上传的目标显微图像为40×镜视野下的单层次显微图像,倍率识别组件上传的目标观察倍率为40×,则控制组件需要相应地调用40×对应的单层次细胞多分类模型对该目标显微图像进行检测;若该单层次细胞多分类模型的检测结果表示目标显微图像中的细胞属于某种或某几种目标类别的置信度高于预设置信度,则说明该单层次细胞多分类模型当前能够以较高置信度判读阳性细胞的类别,此时可以将该类阳性细胞归档存储;若该单层次细胞多分类模型的检测结果表示目标显微图像中的细胞属于各种目标类别的置信度均低于预设置信度,则控制组件可以提示相关操作人员调节显微镜细螺旋,或者控制组件可以自动对显微镜细螺旋进行调节,图像采集组件相应地采集40×镜视野下的多层次显微图像作为新的目标显微图像传输至控制组件,控制组件调用40×对应的多层次细胞分类模型对该目标显微图像进行检测,以确定该目标显微图像中阳性细胞属于各个类别的置信度,并利用该检测结果更新通过40×对应的单层次细胞多分类模型确定的检测结果。
需要说明的是,在实际应用中,若通过上述第三观察倍率对应的细胞分类模型(或者第三观察倍率对应的多层次细胞分类模型)仍无法判别目标显微图像中的细胞所属的目标类别,则控制组件可以为该检测结果配置对应的标签,以标识该检测结果具有特殊性,后续需要对其进行人工判别。
具体的,当目标检测模型为第三观察倍率对应的细胞分类模型(或者第三观察倍率对应的多层次细胞分类模型)时,若采用该目标检测模型得到的检测结果标识目标显微图像中的细胞属于各目标类别的置信度均低于预设置信度,则存储该检测结果,并该为检测结果配置人工处理标签,该人工处理标签用于表示该检测结果后续需要人工判定。
仍以本申请实施例提供的方法应用于检测宫颈细胞涂片为例,假设第三观察倍率为40×,若采用40×对应的多层次细胞分类模型仍无法以高置信度判别目标显微图像中的细胞具体所属的类别,则可以将该类阳性细胞归档存储,并为其配置人工处理标签,以标识该类阳性细胞后续需要专家会诊对其进行人工判定。
可选的,为了便于相关操作人员实时地观察目标图像检测模型的AI分析结果(即上文中的检测结果),本申请实施例提供的方法还可以通过AR技术将该AI分析结果整合至显微镜视野图像中,辅助相关操作人员将显微镜中的显微图像与其对应的AI分析结果结合起来,进行相应的分析处理。
具体的,控制组件确定出目标显微图像对应的检测结果后,可以根据该检测结果生成AR投影数据,进而基于该AR投影数据将该检测结果投影至显微镜的视野中。仍以本申请实施例提供的方法应用于检测宫颈细胞涂片为例,控制组件通过目标图像检测模型确定出宫颈细胞涂片中阳性细胞所属的目标类别后,可以基于该检测结果相应地生成AR投影数据,并基于该AR投影数据在显微镜的视野中投影出阳性细胞的分别位置,并标识阳性细胞所属的目标类别。
可选的,为了尽可能地减少相关操作人员的工作量,本申请实施例提供的方法还可以在完成对于显微镜下细胞涂片的检测之后,自动地根据各个观察视野下的目标显微图像各自对应的检测结果,相应地生成检测报告。仍以本申请实施例提供的方法应用于检测宫颈细胞涂片为例,整张宫颈细胞涂片的所有视野中的细胞均被检查过后,控制组件可以根据各个视野中的显微图像各自对应的检测结果进一步生成TBS(The Bethesda System)病理报告。
相比相关技术中人工观察显微图像的实现方式,本申请实施例提供的图像检测方法引入AI技术自动地对显微图像进行检测,并且为了保证所确定的检测结果的准确性,还针对不同的观察倍率相应地配置了不同的图像检测模型,以便在应用过程中可以相应地调用与目标显微图像的观察倍率对应的图像检测模型,准确地检测该目标显微图像,如此不再需要相关工作人员耗费大量的时间和精力对显微图像进行检测,避免因人工操作而导致误判的情况发生。
为了便于理解本申请实施例提供的技术方案,下面以本申请实施例提供的图像检测系统和图像检测方法应用于检测宫颈细胞涂片为例,对本申请实施例提供的图像检测系统和图像检测方法做整体示例性介绍。
当本申请实施例提供的图像检测系统应用于检测宫颈细胞涂片时,该宫颈细胞图像检测系统的硬件结构如图3所示。其中,图像采集组件301用于采集显微镜的数字图像;倍率识别组件302用于识别显微镜的观察倍率;AI处理组件(即上文中的控制组件)303既可以从模型库中调取与倍率识别组件302识别的观察倍率对应的AI算法模型,对图像采集组件301采集的数字图像进行处理得到对应的诊断结果,还可以生成病理分析报告,以便病理医生后续对其进行分析;AR投影组件304用于将AI处理组件303确定的AI分析结果整合至显微镜图像视野中。互联网接口305用于通过互联网连接电脑和医院信息系统,以便将病理图像和对应的诊断结果上传至宫颈癌筛查数据库,同时可以将疑难病例上传到云端用于远程会诊。
该宫颈细胞图像检测系统的软件结构如图4所示。宫颈细胞图像检测系统中的控制模块401可以先调用病人身份识别模块402,然后根据倍率识别模块403得到的镜头倍率,调用与该镜头倍率相对应的AI算法模型。图像获取模块404获取显微镜下的显微图像,并对所获取的显微图像进行预处理,控制模块401通过其调用的AI算法模型对预处理后的显微图像进行分析,并将分析结果提供给AR显示模块405,通过该AR显示模块将AR图像整合到显微镜视野中。整张宫颈细胞涂片检查完后,可以通过报告生成模块406智能生成TBS病理报告,并调用网络模块407进行病理图片归档存储。
假设显微镜的观察倍率包括10×、20×和40×,则模型库中观察倍率10×、20×和40×各自对应的图像检测模型如表1所示。
表1
观察倍率 单层次图像 多层次图像
10× 细胞二分类模型
20× 细胞多分类模型 细胞多分类模型
40× 细胞多分类模型 细胞多分类模型
图3和图4所示的宫颈细胞图像检测系统的应用流程如图5所示。医生首先在10×镜视野下检查宫颈细胞涂片,此时系统应用10×对应的细胞二分类模型,如果该细胞二分类模型确定的检测结果表示显微图像中没有阳性细胞,那么医生可以切换到下一个10×视野。
如果细胞二分类模型确定的检测结果表示显微图像中有阳性细胞,由于医生在10×下不能判读阳性细胞具体所属的类别,因此需要切换到高一级的20×,此时系统可以先应用20×的单层次细胞多分类模型检测20×下的单层次图像,如果该单层次细胞多分类模型能够以较高置信度判读阳性细胞具体所属的类别,那么系统可以将该类阳性细胞归档存储。如果该单层次细胞多分类模型不能以较高置信度判读阳性细胞具体所属的类别,那么医生可以调节显微镜细螺旋,从而获得可疑细胞(团簇)的多层次图像,此时系统可以应用20×的多层次细胞多分类模型检测20×下的多层次图像,如果该多层次细胞多分类模型能够以较高置信度判读阳性细胞具体所属的类别,那么系统可以将该类阳性细胞归档存储。
如果该多层次细胞多分类模型仍不能准确地判读阳性细胞具体所属的类别,那么医生需要切换倍率到40×,与20×相类似,首先应用是40×的单层次细胞多分类模型,如果单层次多分类模型能够以较高置信度判读阳性细胞具体所属的类别,那么系统可以将该类阳性细胞归档存储。如果该单层次细胞多分类模型不能准确地判断阳性细胞具体所属的类别,那么医生可以调节显微镜细螺旋,从而获得可疑细胞(团簇)的多层次图像,此时系统可以应用40×的多层次细胞多分类模型检测40×下的多层次图像,如果该多层次细胞多分类模型能够以较高置信度判读阳性细胞具体所述的类别,此时系统将该类阳性细胞归档存储。
如果此时仍不能判断该阳性细胞具体所属的类别,可以将阳性细胞40×下的多层次图像归档存储,并配置对应的标签,以标识该存储内容用于后续的专家会诊。整个流程走完之后,再处理下一个视野,直到整张涂片的所有视野中的细胞都被检查过。存储的阳性细胞再进一步地用来生成TBS病理报告。
针对上文描述的基于人工智能的图像检测方法,本申请还提供了对应的基于人工智能的图像检测装置,以使上述基于人工智能的图像检测方法在实际中得以应用和实现。
参见图6,图6是与上文图2所示的基于人工智能的图像检测方法对应的一种基于人工智能的图像检测装置600的结构示意图,该装置包括:
获取模块601,用于获取显微镜下的目标显微图像以及所述目标显微图像对应的目标观察倍率;
模型调用模块602,用于从模型库中调取与所述目标观察倍率对应的图像检测模型,作为目标图像检测模型;所述模型库中包括多种观察倍率各自对应的图像检测模型,所述图像检测模型用于基于人工智能算法分析显微图像;
检测模块603,用于通过所述目标图像检测模型检测所述目标显微图像,确定所述目标显微图像对应的检测结果。
可选的,在图6所示的基于人工智能的图像检测装置的基础上,所述模型库中高观察倍率对应的图像检测模型包括单层次图像检测模型和多层次图像检测模型;在所述目标观察倍率属于所述高观察倍率的情况下,所述获取模块601具体用于:
在所述显微镜的细螺旋没有被调节的情况下,获取所述显微镜下所述目标观察倍率的单层次显微图像,作为所述目标显微图像;
在所述显微镜的细螺旋被调节的情况下,获取所述显微镜下所述目标观察倍率的多层次显微图像,作为所述目标显微图像;
所述模型调用模块602具体用于:
在所述显微镜的细螺旋没有被调节的情况下,调取与所述目标观察倍率对应的单层次图像检测模型,作为所述目标图像检测模型;
在所述显微镜的细螺旋被调节的情况下,调取与所述目标观察倍率对应的多层次图像检测模型,作为所述目标图像检测模型。
可选的,在图6所示的基于人工智能的图像检测装置的基础上,所述模型库中包括第一观察倍率、第二观察倍率和第三观察倍率各自对应的细胞分类模型,所述第一观察倍率小于所述第二观察倍率,所述第二观察倍率小于所述第三观察倍率;参见图7,图7为本申请实施例提供的另一种基于人工智能的图像检测装置700的结构示意图,如图7所示,该装置还包括:检测结果判断模块701、观察倍率调节模块702、观察视野调节模块703和存储模块704;
所述检测结果判断模块701,用于判断所述检测结果表示所述目标显微图像中是否存在目标图像,以及判断所述检测结果表示所述目标显微图像中的细胞属于目标类别的置信度是否低于预设置信度;
所述观察倍率调节模块702,用于调节所述调节所述目标观察倍率;
所述观察视野调节模块703,用于调节所述显微镜的观察视野;
所述存储模块704,用于存储所述检测结果;
当所述目标图像检测模型为所述第一观察倍率对应的细胞分类模型时,在所述检测模块603确定出所述目标显微图像对应的检测结果之后,调用所述判断模块701判断所述检测结果表示所述目标显微图像中是否存在目标细胞;
若所述判断模块701确定所述检测结果表示所述目标显微图像中存在目标细胞,则调用所述观察倍率调节模块702调节所述目标观察倍率为所述第二观察倍率,所述获取模块601获取所述显微镜下同一视野中所述第二观察倍率的显微图像作为新的目标显微图像,所述模型调用模块602从所述模型库中调取所述第二观察倍率对应的细胞分类模型作为新的目标图像检测模型,所述检测模块603通过新的目标图像检测模型检测新的目标显微图像,基于新的检测结果更新所述检测结果;
若所述判断模块701确定所述检测结果表示所述目标显微图像中不存在目标细胞,则触发所述观察视野调节模块703调节所述显微镜的观察视野;
当所述目标图像检测模型为所述第二观察倍率对应的细胞分类模型时,在所述检测模块603确定出所述目标显微图像对应的检测结果之后,调用所述判断模块701判断所述检测结果表示所述目标显微图像中的细胞属于目标类别的置信度是否低于预设置信度;
若所述判断模块701确定所述检测结果表示所述目标显微图像中的细胞属于目标类别的置信度低于预设置信度,则调用所述观察倍率调节模块702调节所述目标观察倍率为所述第三观察倍率,所述获取模块601获取所述显微镜下同一视野中所述第三观察倍率的显微图像作为新的目标显微图像,所述模型调用模块602从所述模型库中调取所述第三观察倍率对应的细胞分类模型作为新的目标图像检测模型,所述检测模块603通过新的目标图像检测模型检测新的目标显微图像,基于新的检测结果更新所述检测结果;
若所述判断模块701确定所述检测结果表示所述目标显微图像中的细胞属于目标类别的置信度不低于预设置信度,则调用所述存储模块704存储所述检测结果,并触发所述观察视野调节模块703调节所述显微镜的观察视野。
可选的,在图7所示的基于人工智能的图像检测装置的基础上,所述第二观察倍率和所述第三观察倍率各自对应细胞分类模型均包括单层次细胞分类模型和多层次细胞分类模型;参见图8,图8为本申请实施例提供的另一种基于人工智能的图像检测装置800的结构示意图,如图8所示,该装置还包括:细螺旋调节模块801;
所述细螺旋调节模块801,用于调节所述显微镜的细螺旋;
当所述目标图像检测模型为所述第二观察倍率对应的单层次细胞分类模型时,在所述检测模块603确定出所述目标显微图像对应的检测结果之后,调用所述判断模块701判断所述检测结果表示所述目标显微图像中的细胞属于目标类别的置信度是否低于预设置信度;
若所述判断模块701确定所述检测结果表示所述目标显微图像中的细胞属于目标类别的置信度低于预设置信度,则调用所述细螺旋调节模块801调节所述显微镜的细螺旋,所述获取模块601获取所述显微镜下同一视野中所述第二观察倍率的多层次显微图像作为新的目标显微图像,所述模型调用模块602从模型库中调取所述第二观察倍率对应的多层次细胞分类模型作为新的目标图像检测模型,所述检测模块603通过新的目标图像检测模型检测新的目标显微图像,基于新的检测结果更新所述检测结果;
若所述判断模块701确定所述检测结果表示所述目标显微图像中的细胞属于目标类别的置信度不低于预设置信度,则调用所述存储模块704存储所述检测结果,并触发所述观察视野调节模块703调节所述显微镜的观察视野。
当所述目标图像检测模型为所述第三观察倍率对应的单层次细胞分类模型时,在所述检测模块603确定出所述目标显微图像对应的检测结果之后,调用所述判断模块701判断所述检测结果表示所述目标显微图像中的细胞属于目标类别的置信度是否低于预设置信度;
若所述判断模块701确定所述检测结果表示所述目标显微图像中的细胞属于目标类别的置信度低于预设置信度,则调用所述细螺旋调节模块801调节所述显微镜的细螺旋,所述获取模块601获取所述显微镜下同一视野中所述第三观察倍率的多层次显微图像作为新的目标显微图像,所述模型调用模块602从模型库中调取所述第三观察倍率对应的多层次细胞分类模型作为新的目标图像检测模型,所述检测模块603通过新的目标图像检测模型检测新的目标显微图像,基于新的检测结果更新所述检测结果;
若所述判断模块701确定所述检测结果表示所述目标显微图像中的细胞属于目标类别的置信度不低于预设置信度,则调用所述存储模块704存储所述检测结果,并触发所述观察视野调节模块703调节所述显微镜的观察视野。
可选的,在图7或图8所示的基于人工智能的图像检测装置的基础上,参见图9,图9为本申请实施例提供的另一种基于人工智能的图像检测装置900的结构示意图,如图9所示,该装置还包括:标签配置模块901;
所述标签配置模块901,用于若所述检测结果表示所述目标显微图像中的细胞属于目标类别的置信度低于预设置信度,存储所述检测结果,并为所述检测结果配置人工处理标签,所述人工处理标签用于表示所述检测结果需要人工判定。
可选的,在图6所示的基于人工智能的图像检测装置的基础上,参见图10,图10为本申请实施例提供的另一种基于人工智能的图像检测装置1000的结构示意图,如图10所示,该装置还包括:AR投影模块1001;
所述AR投影模块1001,用于根据所述检测结果生成增强现实AR投影数据;基于所述AR投影数据,将所述检测结果投影至所述显微镜的视野中。
可选的,在图6所示的基于人工智能的图像检测装置的基础上,参见图11,图11为本申请实施例提供的另一种基于人工智能的图像检测装置1100的结构示意图,如图11所示,该装置还包括:报告生成模块1101;
所述报告生成模块1101,用于在完成对于所述显微镜下细胞涂片的检测之后,根据各个观察视野下的目标显微图像各自对应的检测结果,生成检测报告。
本申请实施例提供的图像检测装置引入AI技术自动地对显微图像进行检测,并且为了保证所确定的检测结果的准确性,还针对不同的观察倍率相应地配置了不同的图像检测模型,以便在应用过程中可以相应地调用与目标显微图像的观察倍率对应的图像检测模型,准确地检测该目标显微图像,如此不再需要相关工作人员耗费大量的时间和精力对显微图像进行检测,避免因人工操作而导致误判的情况发生。
本申请实施例还提供了一种用于进行图像检测的设备,该设备具体可以为服务器和终端设备,下面将从硬件实体化的角度对本申请实施例提供的服务器和终端设备进行介绍。
参见图12,图12为本申请实施例提供的一种服务器1200的结构示意图。该服务器1200可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)1222(例如,一个或一个以上处理器)和存储器1232,一个或一个以上存储应用程序1242或数据1244的存储介质1230(例如一个或一个以上海量存储设备)。其中,存储器1232和存储介质1230可以是短暂存储或持久存储。存储在存储介质1230的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1222可以设置为与存储介质1230通信,在服务器1200上执行存储介质1230中的一系列指令操作。
服务器1200还可以包括一个或一个以上电源1226,一个或一个以上有线或无线网络接口1250,一个或一个以上输入输出接口1258,和/或,一个或一个以上操作系统1241,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图12所示的服务器结构。
其中,CPU 1222用于执行如下步骤:
获取显微镜下的目标显微图像以及所述目标显微图像对应的目标观察倍率;
从模型库中调取与所述目标观察倍率对应的图像检测模型,作为目标图像检测模型;所述模型库中包括多种观察倍率各自对应的图像检测模型,所述图像检测模型用于基于人工智能算法分析显微图像;
通过所述目标图像检测模型检测所述目标显微图像,确定所述目标显微图像对应的检测结果。
可选的,CPU 1222还可以用于执行本申请实施例提供的基于人工智能的图像检测方法的任意一种实现方式的步骤。
参见图13,图13为本申请实施例提供的一种终端设备的结构示意图。为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端可以为包括智能手机、计算机、平板电脑、个人数字助理(Personal DigitalAssistant,PDA)等任意终端设备,以终端为计算机为例:
图13示出的是与本申请实施例提供的终端相关的计算机的部分结构的框图。参考图13,计算机包括:射频(Radio Frequency,RF)电路1313、存储器1320、输入单元1330、显示单元1340、传感器1350、音频电路1360、无线保真(wireless fidelity,WiFi)模块1370、处理器1380、以及电源1390等部件。本领域技术人员可以理解,图13中示出的计算机结构并不构成对计算机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储器1320可用于存储软件程序以及模块,处理器1380通过运行存储在存储器1320的软件程序以及模块,从而执行计算机的各种功能应用以及数据处理。存储器1320可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1320可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1380是计算机的控制中心,利用各种接口和线路连接整个计算机的各个部分,通过运行或执行存储在存储器1320内的软件程序和/或模块,以及调用存储在存储器1320内的数据,执行计算机的各种功能和处理数据,从而对计算机进行整体监控。可选的,处理器1380可包括一个或多个处理单元;优选的,处理器1380可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1380中。
在本申请实施例中,该终端所包括的处理器1380还具有以下功能:
获取显微镜下的目标显微图像以及所述目标显微图像对应的目标观察倍率;
从模型库中调取与所述目标观察倍率对应的图像检测模型,作为目标图像检测模型;所述模型库中包括多种观察倍率各自对应的图像检测模型,所述图像检测模型用于基于人工智能算法分析显微图像;
通过所述目标图像检测模型检测所述目标显微图像,确定所述目标显微图像对应的检测结果。
可选的,所述处理器1380还用于执行本申请实施例提供的基于人工智能的图像检测方法的任意一种实现方式的步骤。
本申请实施例还提供一种计算机可读存储介质,用于存储计算机程序,该计算机程序用于执行前述各个实施例所述的一种基于人工智能的图像检测方法中的任意一种实施方式。
本申请实施例还提供一种包括指令的计算机程序产品,当其在计算机上运行时,使得计算机执行前述各个实施例所述的一种基于人工智能的图像检测方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文全称:Read-OnlyMemory,英文缩写:ROM)、随机存取存储器(英文全称:Random AccessMemory,英文缩写:RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种基于人工智能的图像检测方法,其特征在于,所述方法包括:
获取显微镜下的目标显微图像以及所述目标显微图像对应的目标观察倍率;
从模型库中调取与所述目标观察倍率对应的图像检测模型,作为目标图像检测模型;所述模型库中包括多种观察倍率各自对应的图像检测模型,所述图像检测模型用于基于人工智能算法分析显微图像;
通过所述目标图像检测模型检测所述目标显微图像,确定所述目标显微图像对应的检测结果;
其中,所述模型库中高观察倍率对应的图像检测模型包括单层次图像检测模型和多层次图像检测模型;在所述目标观察倍率属于所述高观察倍率的情况下,所述获取显微镜下的目标显微图像,包括:在所述显微镜的细螺旋没有被调节的情况下,获取所述显微镜下所述目标观察倍率的单层次显微图像,作为所述目标显微图像;在所述显微镜的细螺旋被调节的情况下,获取所述显微镜下所述目标观察倍率的多层次显微图像,作为所述目标显微图像;所述从模型库中调取与所述目标观察倍率对应的图像检测模型,作为目标图像检测模型,包括:在所述显微镜的细螺旋没有被调节的情况下,调取与所述目标观察倍率对应的单层次图像检测模型,作为所述目标图像检测模型;在所述显微镜的细螺旋被调节的情况下,调取与所述目标观察倍率对应的多层次图像检测模型,作为所述目标图像检测模型。
2.根据权利要求1所述的方法,其特征在于,所述模型库中包括第一观察倍率、第二观察倍率和第三观察倍率各自对应的细胞分类模型,所述第一观察倍率小于所述第二观察倍率,所述第二观察倍率小于所述第三观察倍率;
当所述目标图像检测模型为所述第一观察倍率对应的细胞分类模型时,在所述确定所述目标显微图像对应的检测结果之后,所述方法还包括:
若所述检测结果表示所述目标显微图像中存在目标细胞,触发调节所述目标观察倍率为所述第二观察倍率,获取所述显微镜下同一视野中所述第二观察倍率的显微图像作为新的目标显微图像,从所述模型库中调取所述第二观察倍率对应的细胞分类模型作为新的目标图像检测模型,通过新的目标图像检测模型检测新的目标显微图像,基于新的检测结果更新所述检测结果;
若所述检测结果表示所述目标显微图像中不存在目标细胞,触发调节所述显微镜的观察视野;
当所述目标图像检测模型为所述第二观察倍率对应的细胞分类模型时,在所述确定所述目标显微图像对应的检测结果之后,所述方法还包括:
若所述检测结果表示所述目标显微图像中的细胞属于目标类别的置信度低于预设置信度,触发调节所述目标观察倍率为所述第三观察倍率,获取所述显微镜下同一视野中所述第三观察倍率的显微图像作为新的目标显微图像,从所述模型库中调取所述第三观察倍率对应的细胞分类模型作为新的目标图像检测模型,通过新的目标图像检测模型检测新的目标显微图像,基于新的检测结果更新所述检测结果;
若所述检测结果表示所述目标显微图像中的细胞属于目标类别的置信度不低于预设置信度,存储所述检测结果,并触发调节所述显微镜的观察视野。
3.根据权利要求2所述的方法,其特征在于,所述第二观察倍率和所述第三观察倍率各自对应细胞分类模型均包括单层次细胞分类模型和多层次细胞分类模型;
当所述目标图像检测模型为所述第二观察倍率对应的单层次细胞分类模型时,在所述确定所述目标显微图像对应的检测结果之后,所述方法还包括:
若所述检测结果表示所述目标显微图像中的细胞属于目标类别的置信度低于预设置信度,触发调节所述显微镜的细螺旋,获取所述显微镜下同一视野中所述第二观察倍率的多层次显微图像作为新的目标显微图像,从模型库中调取所述第二观察倍率对应的多层次细胞分类模型作为新的目标图像检测模型,通过新的目标图像检测模型检测新的目标显微图像,基于新的检测结果更新所述检测结果;
若所述检测结果表示所述目标显微图像中的细胞属于目标类别的置信度不低于预设置信度,存储所述检测结果,并触发调节所述显微镜的观察视野;
当所述目标图像检测模型为所述第三观察倍率对应的单层次细胞分类模型时,在所述确定所述目标显微图像对应的检测结果之后,所述方法还包括:
若所述检测结果表示所述目标显微图像中的细胞属于目标类别的置信度低于预设置信度,触发调节所述显微镜的细螺旋,获取所述显微镜下同一视野中所述第三观察倍率的多层次显微图像作为新的目标显微图像,从模型库中调取所述第三观察倍率对应的多层次细胞分类模型作为新的目标图像检测模型,通过新的目标图像检测模型检测新的目标显微图像,基于新的检测结果更新所述检测结果;
若所述检测结果表示所述目标显微图像中的细胞属于目标类别的置信度不低于预设置信度,存储所述检测结果,并触发调节所述显微镜的观察视野。
4.根据权利要求2或3所述的方法,其特征在于,当所述目标检测模型为所述第三观察倍率对应的细胞分类模型时,在所述确定所述目标显微图像对应的检测结果之后,所述方法还包括:
若所述检测结果表示所述目标显微图像中的细胞属于目标类别的置信度低于预设置信度,存储所述检测结果,并为所述检测结果配置人工处理标签,所述人工处理标签用于表示所述检测结果需要人工判定。
5.根据权利要求1至3任一项所述的方法,其特征在于,在所述确定所述目标显微图像对应的检测结果之后,所述方法还包括:
根据所述检测结果生成增强现实AR投影数据;
基于所述AR投影数据,将所述检测结果投影至所述显微镜的视野中。
6.根据权利要求1至3任一项所述的方法,其特征在于,在完成对于所述显微镜下细胞涂片的检测之后,所述方法还包括:
根据各个观察视野下的目标显微图像各自对应的检测结果,生成检测报告。
7.一种基于人工智能的图像检测装置,其特征在于,所述装置包括:
获取模块,用于获取显微镜下的目标显微图像以及所述目标显微图像对应的目标观察倍率;
模型调用模块,用于从模型库中调取与所述目标观察倍率对应的图像检测模型,作为目标图像检测模型;所述模型库中包括多种观察倍率各自对应的图像检测模型,所述图像检测模型用于基于人工智能算法分析显微图像;
检测模块,用于通过所述目标图像检测模型检测所述目标显微图像,确定所述目标显微图像对应的检测结果;
其中,所述模型库中高观察倍率对应的图像检测模型包括单层次图像检测模型和多层次图像检测模型;
在所述目标观察倍率属于所述高观察倍率的情况下,所述获取模块,具体用于:在所述显微镜的细螺旋没有被调节的情况下,获取所述显微镜下所述目标观察倍率的单层次显微图像,作为所述目标显微图像;在所述显微镜的细螺旋被调节的情况下,获取所述显微镜下所述目标观察倍率的多层次显微图像,作为所述目标显微图像;
所述模型调用模块,具体用于:在所述显微镜的细螺旋没有被调节的情况下,调取与所述目标观察倍率对应的单层次图像检测模型,作为所述目标图像检测模型;在所述显微镜的细螺旋被调节的情况下,调取与所述目标观察倍率对应的多层次图像检测模型,作为所述目标图像检测模型。
8.一种基于人工智能的图像检测系统,其特征在于,所述系统包括:图像采集组件、倍率识别组件和控制组件;
所述图像采集组件,用于采集显微镜下的目标显微图像,并将所述目标显微图像传输至所述控制组件;
所述倍率识别组件,用于识别所述目标显微图像对应的目标观察倍率,并将所述目标观察倍率传输至所述控制组件;
所述控制组件,用于执行本申请权利要求1至6任一项所述的基于人工智能的图像检测方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行权利要求1至6中任一项所述的基于人工智能的图像检测方法。
CN202010250342.4A 2020-04-01 2020-04-01 基于人工智能的图像检测方法、装置、系统及存储介质 Active CN111462087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010250342.4A CN111462087B (zh) 2020-04-01 2020-04-01 基于人工智能的图像检测方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010250342.4A CN111462087B (zh) 2020-04-01 2020-04-01 基于人工智能的图像检测方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN111462087A CN111462087A (zh) 2020-07-28
CN111462087B true CN111462087B (zh) 2022-07-26

Family

ID=71680442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010250342.4A Active CN111462087B (zh) 2020-04-01 2020-04-01 基于人工智能的图像检测方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111462087B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011550B (zh) * 2023-10-08 2024-01-30 超创数能科技有限公司 一种电子显微镜照片中的杂质识别方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043261B2 (en) * 2016-01-11 2018-08-07 Kla-Tencor Corp. Generating simulated output for a specimen
US10255693B2 (en) * 2017-05-02 2019-04-09 Techcyte, Inc. Machine learning classification and training for digital microscopy images
KR101900200B1 (ko) * 2017-08-30 2018-11-05 (주)인스페이스 딥러닝 기반 결핵 검사 방법
CN109034208B (zh) * 2018-07-03 2020-10-23 怀光智能科技(武汉)有限公司 一种高低分辨率组合的宫颈细胞切片图像分类系统
CN110763678A (zh) * 2019-09-12 2020-02-07 杭州迪英加科技有限公司 一种病理切片判读方法及系统
CN110765855B (zh) * 2019-09-12 2023-04-18 杭州迪英加科技有限公司 一种病理图像处理方法及系统

Also Published As

Publication number Publication date
CN111462087A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
Tomari et al. Computer aided system for red blood cell classification in blood smear image
US20170061608A1 (en) Cloud-based pathological analysis system and method
CN109325542A (zh) 一种基于多阶机器学习的电量异常智能识别方法及系统
CN111401418A (zh) 一种基于改进Faster r-cnn的员工着装规范检测方法
CN112581438B (zh) 切片图像识别方法、装置和存储介质及电子设备
US20220215548A1 (en) Method and device for identifying abnormal cell in to-be-detected sample, and storage medium
EP3006551B1 (en) Image processing device, image processing method, program, and storage medium
CN109117857B (zh) 一种生物属性的识别方法、装置及设备
CN117809124B (zh) 基于多特征融合的医学图像关联调用方法及系统
WO2016189469A1 (en) A method for medical screening and a system therefor
CN111209958A (zh) 基于深度学习的变电站设备检测方法及装置
CN112699758A (zh) 基于动态手势识别的手语翻译方法、装置、计算机设备及存储介质
CN111462087B (zh) 基于人工智能的图像检测方法、装置、系统及存储介质
CN110232130B (zh) 元数据管理谱系生成方法、装置、计算机设备和存储介质
WO2017145172A1 (en) System and method for extraction and analysis of samples under a microscope
CN110348326A (zh) 基于身份证识别和多设备访问的家庭健康信息处理方法
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN113704389A (zh) 一种数据评估方法、装置、计算机设备及存储介质
CN112668365A (zh) 一种物料入库识别方法、装置、设备及存储介质
CN116189076A (zh) 一种鸟类观测站的观测识别系统及其方法
CN115659221A (zh) 一种教学质量的评估方法、装置及计算机可读存储介质
WO2023108782A1 (zh) 行为识别模型训练方法及装置、行为识别方法及装置、系统、介质
CN115719428A (zh) 基于分类模型的人脸图像聚类方法、装置、设备及介质
CN111259698A (zh) 用于获取图像的方法及装置
CN111582404B (zh) 内容分类方法、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211126

Address after: 518052 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Applicant after: Tencent Medical Health (Shenzhen) Co.,Ltd.

Address before: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Applicant before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant