CN113705318B - 基于图像的识别方法、装置、设备及可读存储介质 - Google Patents
基于图像的识别方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN113705318B CN113705318B CN202110435367.6A CN202110435367A CN113705318B CN 113705318 B CN113705318 B CN 113705318B CN 202110435367 A CN202110435367 A CN 202110435367A CN 113705318 B CN113705318 B CN 113705318B
- Authority
- CN
- China
- Prior art keywords
- cell
- image
- abnormal
- identification
- cell image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
Abstract
本申请公开了一种基于图像的识别方法、装置、设备及可读存储介质,涉及机器学习领域。该方法包括:获取细胞图像;对细胞图像进行细胞识别,得到细胞识别结果;获取细胞图像对应的细胞参考标注,细胞参考标注为进行异常生命状态识别后对异常细胞进行标注得到的;将细胞参考标注和细胞图像进行对应存储,对异常细胞的识别过程进行迭代调整。通过对细胞图像中的异常细胞进行识别得到细胞识别结果,对人工进行异常细胞识别的过程进行辅助;而在人工确定异常细胞之后,得到细胞参考标注对细胞图像进行标注,反向对识别过程中应用于模型进行训练,形成了在训练和辅助之间的良性循环过程,提高了异常细胞识别的准确率和效率。
Description
技术领域
本申请实施例涉及机器学习领域,特别涉及一种基于图像的识别方法、装置、设备及可读存储介质。
背景技术
细胞学检查是一种成熟的病变细胞筛查手段,属于临床病理检查的一种,通过细胞学检查能够帮助很多疾病的诊断,特别是可疑的恶性病变疾病的诊断,比如甲状腺癌或者宫颈癌等。通过人体体液自然脱落细胞、黏膜细胞、细针穿刺或超声导向穿刺涂片对人体进行细胞学检查,如:通过显微镜对涂片中的细胞进行观察,从而对发生病变的异常细胞进行发现。
相关技术中,由于一张细胞片上通常有上万个细胞,少量可能存在的病变细胞掩藏于在大量正常细胞中,需要仔细观察涂片上每一个视野才可以做出正确诊断,故,通常是通过细胞识别模型对异常细胞进行识别,从而辅助医生在病变细胞识别过程中的诊断。
然而,由于病变细胞与正常细胞之间的分界较模糊,若细胞识别模型的训练未达到识别准确性要求,易导致对病变细胞的识别准确率低,从而产生漏诊和误诊的问题。
发明内容
本申请实施例提供了一种基于图像的识别方法、装置、设备及可读存储介质,能够提高对异常细胞进行识别的准确率。所述技术方案如下:
一方面,提供了一种基于图像的识别方法,所述方法包括:
获取细胞图像,所述细胞图像中包括采集得到的至少一个细胞,所述细胞图像为待进行异常细胞识别的图像;
对所述细胞图像进行细胞识别,得到细胞识别结果,所述细胞识别结果中包括对所述异常细胞的指示,所述细胞识别结果用于向所述细胞图像的异常生命状态识别提供辅助;
获取所述细胞图像对应的细胞参考标注,所述细胞参考标注为对所述细胞图像进行异常生命状态识别后对所述异常细胞进行标注得到的标注结果;
将所述细胞参考标注和所述细胞图像进行对应存储,所述细胞参考标注和所述细胞图像用于对所述异常细胞的识别过程进行迭代调整。
另一方面,提供了一种基于图像的识别装置,所述装置包括:
获取模块,用于获取细胞图像,所述细胞图像中包括采集得到的至少一个细胞,所述细胞图像为待进行异常细胞识别的图像;
识别模块,用于对所述细胞图像进行细胞识别,得到细胞识别结果,所述细胞识别结果中包括对所述异常细胞的指示,所述细胞识别结果用于向所述细胞图像的异常生命状态识别提供辅助;
所述获取模块,还用于获取所述细胞图像对应的细胞参考标注,所述细胞参考标注为对所述细胞图像进行异常生命状态识别后对所述异常细胞进行标注得到的标注结果;
存储模块,用于将所述细胞参考标注和所述细胞图像进行对应存储,所述细胞参考标注和所述细胞图像用于对所述异常细胞的识别过程进行迭代调整。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述基于图像的识别方法。
另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的基于图像的识别方法。
另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中任一所述的基于图像的识别方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
通过对细胞图像中的异常细胞进行识别得到细胞识别结果,对人工进行异常细胞识别的过程进行辅助,提高了人工确定异常细胞过程中的识别效率,而在人工确定异常细胞之后,得到细胞参考标注对细胞图像进行标注,从而提供该细胞图像对应的实际异常细胞包含情况,并根据实际异常细胞包含情况和细胞图像反向对识别过程中应用于模型进行训练,形成了在训练和辅助之间的良性循环过程,提高了异常细胞识别的准确率和效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的细胞学辅助诊断系统的整体运行原理示意图;
图2是本申请一个示例性实施例提供的基于图像的识别方法的实施环境示意图;
图3是本申请一个示例性实施例提供的辅助诊断系统的整体结构图;
图4是本申请一个示例性实施例提供的基于图像的识别方法的流程图;
图5是基于图4示出的实施例提供的WSI图像的整体识别过程示意图;
图6是基于图4示出的实施例提供的细胞图像的整体识别过程示意图;
图7是本申请另一个示例性实施例提供的基于图像的识别方法的流程图;
图8是基于图7示出的实施例提供的WSI图像标注过程的示意图;
图9是本申请另一个示例性实施例提供的基于图像的识别方法;
图10是基于图9示出的实施例提供的数据集与算法之间的对应关系示意图;
图11是基于图9示出的实施例提供的辅助诊断交互模块与人工诊断过程进行交互的过程示意图;
图12是本申请一个示例性实施例提供的基于图像的识别装置的结构框图;
图13是本申请另一个示例性实施例提供的基于图像的识别装置的结构框图;
图14是本申请一个示例性实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
首先,针对本申请实施例中涉及的名词进行简单介绍:
人工智能(Artificial Intelligence,AI):是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML):是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
计算机视觉技术(Computer Vision,CV):是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition,OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
全视野数字切片(Whole Slide Images,WSI):是利用全自动显微镜扫描系统,结合虚拟切片软件系统,把传统玻璃切片进行扫描、无缝拼接,生成的一张全视野的数字切片。
宫颈癌是女性常见恶性肿瘤之一,早期筛查和及时治疗能够实现有效地预防。细胞学检查作为成熟的筛查手段,在宫颈癌筛查中发挥着重要的作用。宫颈细胞学诊断属于形态学诊断,主观性强,需要较长时间的专业培训和经验积累,而与之对应的是细胞学病理医生的数量严重缺乏。一张细胞片上通常有上万个细胞,少量病变细胞掩藏于在大量正常细胞中,需要仔细观察涂片上每一个视野才可以做出正确诊断。在日常工作中由于医生不足,细胞学筛查时人工阅片普遍存在长时间和超负荷的问题,容易产生漏诊和误诊的问题。
本申请实施例提供了一种细胞学辅助诊断系统,示意性的,图1是本申请一个示例性实施例提供的细胞学辅助诊断系统的整体运行原理示意图,如图1所示,该细胞学辅助诊断系统100中包括数据库系统110和诊断系统120。
其中,从阅片设备中获取细胞图像130,并将细胞图像130输入至诊断系统120后,通过诊断系统120对细胞图像130进行异常细胞的识别,得到异常细胞识别结果,并对异常细胞识别结果进行反馈,由医生结合异常细胞识别结果进行辅助诊断,得到诊断结果140,将诊断结果140与细胞图像130之间的对应关系存储至数据库系统110中,并通过数据库系统110中的数据对诊断系统120中的算法进行训练,从而在数据库系统110和诊断系统120之间形成良性闭环。
既能够由诊断系统120向医生提供异常细胞识别的辅助诊断,又能够根据医生最终的诊断结果丰富数据库系统110,对诊断系统120中的算法进行训练,优化对异常细胞进行识别的准确率。
其次,对本申请实施例中涉及的实施环境进行说明,示意性的,请参考图2,该实施环境中涉及阅片设备210和服务器220,其中,阅片设备210和服务器220之间通过通信网络230连接,在一些实施例中,阅片设备210和服务器220之间设置有数据传输接口,用于对特定类型的数据进行传输,如:阅片设备210扫描得到的细胞图像数据;
其中,阅片设备210用于对细胞图像进行采集。该阅片设备210包括传统显微镜、数字扫描仪中的至少一种,其中,传统显微镜用于获取视野图片数据,也即需要调整视野对细胞涂片的不同视野范围进行观察的图片数据;数字扫描仪用于获取WSI数据,也即通过数字扫描仪扫描得到的全视野的数字切片数据。
阅片设备210通过通信网络230以及预先设定的数据传输接口向服务器220上传细胞图像,细胞图像为对细胞进行扫描得到的图像。
服务器220中运行有细胞学辅助诊断系统221,在服务器220接收到阅片设备210传输的细胞图像时,通过细胞学辅助诊断系统221对细胞图像中的细胞进行识别,判断细胞图像中是否存在异常细胞,并将异常细胞的识别结果反馈至阅片设备210,从而医生能够根据服务器220反馈的异常细胞的识别结果对异常细胞进行识别诊断,并根据人工识别的结果对细胞图像中的异常细胞情况进行标注。
医生对细胞图像完成标注后,继续向服务器220反馈标注结果,服务器220用于对标注结果和细胞图像进行对应存储,从而根据细胞图像和该细胞图像的标注结果对细胞学辅助诊断系统221进行进一步迭代训练。
值得注意的是,上述服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中,云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
在一些实施例中,上述服务器还可以实现为区块链系统中的节点。区块链(Blockchain)是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链,本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
结合上述名词简介,对本申请实施例中涉及的应用场景进行举例说明:
第一,针对WSI数据,通常是由数字扫描仪获取完整的WSI图像,故,针对WSI图像,当将WSI图像输入至细胞学辅助诊断系统后,通过细胞学辅助诊断系统对WSI图像中的异常细胞进行识别,从而直接向医生反馈异常细胞的识别结果,医生根据异常细胞的识别结果进行辅助诊断。
其中,WSI图像的异常细胞的识别结果通常包括全片判读结果和局部可解释性结果,全片判读结果用于指示WSI图像中是否包含异常细胞以及WSI图像的具体类别;局部可解释性结果用于标注出WSI图像中关键细胞,如:异常细胞,或者与异常细胞相关的参考细胞等。
第二,针对普通显微镜的观察图像,由于普通显微镜通常是在倍率维度和视野维度进行动态调整观察,故,针对普通显微镜的观察图像,当将当前视野、当前倍率下的观察图像输入至细胞学辅助诊断系统后,由细胞学辅助诊断系统对观察图像中的细胞进行异常细胞的识别,从而根据异常细胞的识别结果确定是否需要切换倍率或者切换视野进行进一步观察。
示意性的,在医生对观察图像进行观察的界面中,当细胞学辅助诊断系统判断需要切换倍率进行观察时,则在界面中显示倍率切换提示信息,如“当前图像中识别得到病变细胞,请将倍率切换至20×进行进一步观察”。
值得注意的是,上述WSI图像的场景和普通显微镜的观察图像的场景仅为示意性的举例,本申请实施例还可以应用于其他对细胞图像中的异常细胞进行识别的场景中,本申请对此不加以限定。
针对本申请实施例中提供的细胞学辅助诊断系统的架构进行整体说明,示意性的,如图3所示,该细胞学辅助诊断系统300中包括细胞学数据库系统310和辅助诊断系统320。针对两个系统分别进行介绍说明。
细胞学数据库系统310:主要包含两个部分,数据输入模块311和数据存储系统312。
其中,数据输入模块311用于接收1、传统显微镜传输的视野图片数据;2、数字扫描仪传输的WSI数据;3、图像数据对应用户的病历数据,其中,病历数据是将细胞学辅助诊断系统300与医院的信息系统打通并保留接口后获取的信息数据。病历数据包括:年龄、性别、之前检查得到的检查结果信息等。
数据存储系统312搭建了一个大规模的数据存储盘,用于存储海量的细胞数据。其中包括由阅片设备采集得到的图像数据,医生对图像数据进行标注后得到的标注数据等。由于医生经验和判读习惯的影响,经过医生标注审核后的细胞数据中仍然有一定比例的错标噪音数据。此外,全片级别的诊断结果中也会有一定比例的误诊和漏诊数据。因此数据存储系统312还包括一个噪音识别和返修机制,其中噪音识别需要和辅助诊断系统320中的细胞级别或者全片级别算法模块相结合,然后通过算法自动筛选出大概率误判的数据,比如从医生判为阴性的片子中找出漏诊的阳性。
辅助诊断系统320:包括辅助诊断预处理模块321,辅助诊断算法模块322和辅助诊断交互模块323。
辅助诊断预处理模块321包括制片背景信息的判读,如判读血性背景、干封背景等各种背景信息,细胞计数用于统计分析全片的细胞数量,如少于5000个细胞的图像通常为不符合满意度的样本。样本满意度判定是通过结合背景信息判读和细胞计数共同判读得到的对制片的满意度。倍率识别主要是针对普通显微镜的观察倍率进行识别。
辅助诊断算法模块322主要包括基础类的细胞分割和分类等算法,以及基于细胞分类结果进行全片判读的算法。模型可解释性主要是用于向医生提供辅助诊断的关键细胞。辅助诊断系统然后根据描述性诊断系统(The Bethesda System,TBS)生成结构化病理报告,包括全片的分级结果以及用于判读该片的关键细胞。
辅助诊断交互模块323提供医生线上和线下交互阅片的接口,用于将当前细胞数据和诊断结果添加到细胞学数据库系统310中。
结合上述名词简介和应用场景,对本申请提供的基于图像的识别方法进行说明,以该方法应用于服务器中为例,如图4所示,该方法包括:
步骤401,获取细胞图像,细胞图像中包括采集得到的至少一个细胞。
其中,细胞图像为待进行异常细胞识别的图像。
在一些实施例中,服务器通过数据输入模块接收阅片设备传输的细胞图像。示意性的,当细胞图像实现为数字扫描仪获取的WSI图像时,通过数字扫描仪对WSI图像进行获取后,数字扫描仪向服务器发送WSI图像,细胞学辅助诊断系统通过数据输入模块接收数字扫描仪发送的WSI图像;当细胞图像实现为普通显微镜观察得到的图像时,操作人员对普通显微镜的倍率和视野进行调整后,由显微镜对当前倍率和当前视野下的细胞图像进行采集,并将采集得到的细胞图像发送至服务器,细胞学辅助诊断系统通过数据输入模块接收显微镜发送的细胞图像。
即,服务器接收阅片设备传输的细胞图像,其中,阅片设备通过预设数据传输接口对细胞图像进行传输。
异常细胞用于对细胞图像对应的异常生命状态进行指示,如:异常细胞是指癌变细胞,则当细胞图像中包括异常细胞时,表示当前细胞图像对应的用户存在癌变异常生命的可能。
在一些实施例中,细胞图像在获取过程中,首先从生物体中采集样本,并将样本涂抹在载玻片上,得到涂片,从而通过阅片设备对涂片进行细胞图像的采集。其中,以生物体为人体为例,采集的样本包括人体体液自然脱落细胞、黏膜细胞、细针穿刺或超声导向穿刺得到的人体组织细胞等类型中的至少一种。
步骤402,对细胞图像进行细胞识别,得到细胞识别结果,细胞识别结果中包括对异常细胞的指示。
细胞识别结果用于向细胞图像的异常生命状态识别提供辅助。
其中,对异常细胞进行细胞识别的过程为细胞学辅助诊断系统自动实现的,而基于细胞图像的异常生命状态识别的诊断过程是由医务人员对细胞图像进行观察后完成的。
则从细胞学辅助诊断系统的角度,在对细胞图像进行细胞识别时,将细胞图像输入细胞识别模型,细胞识别模型用于对异常细胞进行识别;通过细胞识别模型对细胞图像进行异常细胞的识别,得到细胞识别结果。
在一些实施例中,针对数字扫描仪扫描得到的WSI图像和普通显微镜采集得到的细胞图像,采用不同的细胞识别方法进行识别。示意性的,针对两种图像的识别过程分别进行说明。
1、数字扫描仪扫描得到的WSI图像。
细胞识别模型中包括全片识别模型,则通过全片识别模型对细胞图像进行异常细胞的识别,得到全片识别结果,全片识别结果用于指示细胞图像中异常细胞的包含情况。其中,全片识别结果是针对整个WSI图像进行异常细胞识别的结果,即用于指示整个WSI图像中是否存在异常细胞。在一些实施例中,细胞识别模型中还包括异常识别模型,则响应于全片识别结果用于指示细胞图像中包括异常细胞,通过异常识别模型对细胞图像进行异常细胞的识别,得到异常识别结果,该异常识别结果中包括异常细胞在细胞图像中的位置。
或者,在另一个实施例中,全片识别结果和异常识别结果为两个并列识别过程的识别结果,也即,无论全片识别结果中指示细胞图像中是否包括异常细胞,都将细胞图像输入至异常识别模型中进行异常细胞的识别,并得到异常细胞在细胞图像中的位置。
在一些实施例中,在通过全片识别模型对细胞图像进行异常细胞的识别时,通过全片识别模型对细胞图像进行细胞分类,得到细胞分类结果,其中,细胞分类结果用于指示属于异常细胞的类别在细胞图像中的包含情况,基于细胞分类结果得到全片识别结果。
在一些实施例中,对细胞图像进行区域划分后,将划分得到的每个区域图像输入至异常识别模型,得到针对每个区域图像的异常识别结果,其中,每个区域图像的异常识别结果中包括异常细胞在区域图像中的包含情况,以及异常细胞的分布位置。
在一些实施例中,全片识别模型在初始训练阶段,通过标注有全片参考细胞情况的样本WSI图像进行训练;异常识别模型在初始训练阶段,通过标注有异常细胞位置的样本WSI图像进行训练。
在一些实施例中,针对WSI图像,响应于细胞图像中为识别得到异常细胞,将细胞图像对应的细胞识别结果存储至阴性片库;响应于细胞识别图像中识别得到异常细胞,将细胞图像对应的细胞识别结果存储至阳性片库。从而,医生能够从阴性片库或者阳性片库对细胞识别结果进行抽查,并根据抽查结果对细胞图像进行标注。
示意性的,图5是本申请一个示例性实施例提供的WSI图像的整体识别过程示意图,如图5所示,该过程中包括:步骤501,将WSI图像输入辅助诊断系统。步骤502,判断WSI图像是否为满意样本。也即,判断WSI图像是否满足预设满意度条件,其中,该预设满意度条件在后续实施例中进行说明。步骤503,当WSI图像为满意样本时,判断WSI图像是否为阳性片。也即判断WSI图像中是否包含异常细胞。步骤504,当WSI图像不是阳性片时,将WSI图像存储至阴性片库。步骤505,当WSI图像是阳性片时,获取阳性诊断依据。也即,当WSI图像的全片识别结果是指WSI图像中包含异常细胞时,对WSI图像进行异常细胞识别,得到异常细胞(病变细胞)在WSI图像中的位置以及异常细胞属于异常的置信度。步骤506,判断医生是否认可WSI图像为阳性片。其中,医生需要对阳性WSI图像进行初步判断。步骤507,当医生认可WSI图像为阳性片,将WSI图像存储至阳性片库。步骤508,生成结构化病历报告。即根据上述全片识别结果和异常细胞识别结果生成病历报告。
2、普通显微镜采集得到的细胞图像。
普通显微镜在采集细胞图像时,通常是在指定视野以及指定倍率下进行采集。针对普通显微镜采集得到的细胞图像,直接通过异常识别模型对细胞图像进行识别,从而得到在当前视野、当前倍率下采集得到的细胞图像中,异常细胞的包含情况。在一些实施例中,对普通显微镜采集得到的细胞图像进行异常识别的异常识别模型,在初始训练阶段,是通过标注有异常细胞信息的样本细胞图像进行训练的;或者,上述WSI图像在异常识别时采用的异常识别模型,和普通显微镜采集得到的细胞图像在异常识别时采用的异常识别模型实现为同一个模型。
在一些实施例中,上述普通显微镜采集得到的细胞图像为显微镜实时细胞图像,则在对细胞图像进行细胞识别之后,响应于细胞图像中识别得到异常细胞,基于细胞图像对应的扫描倍率生成倍率切换信息,倍率切换信息用于指示切换对细胞进行扫描的扫描倍率。响应于细胞图像中未识别得到异常细胞,生成视野切换信息,视野切换信息用于指示切换对细胞进行扫描的显微镜视野。
示意性的,图6是本申请一个示例性实施例提供的细胞图像的整体识别过程示意图。如图6所示,该过程中包括:步骤601,确定显微镜视野。其中,显微镜视野是由显微镜操作人员设定的。步骤602,倍率识别。也即,对当前显微镜视野下的细胞图像进行倍率的识别,判断当前对细胞进行观察的显微镜观察倍率。步骤603,将细胞图像输入辅助诊断系统。通过辅助诊断系统对细胞图像进行异常细胞的识别。步骤604,判断当前视野中是否存在异常细胞。步骤605,当存在异常细胞时,判断是否需要切换倍率。也即,在存在异常细胞时,需要通过倍率切换进行异常细胞的进一步观察,故,在当前观察倍率并非最高倍率或者当前倍率在要求倍率以下时,将当前倍率切换至要求倍率及以上进行进一步观察。步骤606,当不存在异常细胞时,切换视野。
步骤403,获取细胞图像对应的细胞参考标注。
细胞参考标注为对细胞图像进行异常生命状态识别后对异常细胞进行标注得到的标注结果。
在一些实施例中,细胞参考标注为医务人员对细胞图像进行观察后,根据医学知识以及诊断经验进行的。医务人员对异常细胞进行标注后,将细胞参考标注发送至服务器,服务器获取该细胞参考标注。
步骤404,将细胞参考标注和细胞图像进行对应存储,细胞参考标注和细胞图像用于对异常细胞的识别过程进行迭代调整。
在一些实施例中,当通过细胞识别模型对异常细胞进行识别时,则细胞参考标注和细胞图像用于对细胞识别模型进行迭代训练。
将细胞参考标注和细胞图像的对应关系存储至数据库中,并在后续对细胞识别模型的训练中,通过更新后的数据库中的数据对细胞识别模型进行训练。
在一些实施例中,通过细胞识别模型对细胞图像进行训练阶段的识别,得到异常细胞识别结果,并通过细胞参考标注与细胞异常识别结果之间的差异,对细胞识别模型进行调整。示意性的,根据细胞参考标注与细胞异常识别结果之间的距离,对细胞识别模型中的模型参数进行调整。
在一些实施例中,针对单个细胞图像,在得到细胞参考标注对细胞识别模型进行迭代训练后,再将该细胞图像输入至细胞识别模型进行进一步的识别,得到识别结果。
综上所述,本实施例提供的基于图像的识别方法,通过对细胞图像中的异常细胞进行识别得到细胞识别结果,对人工进行异常细胞识别的过程进行辅助,提高了人工确定异常细胞过程中的识别效率,而在人工确定异常细胞之后,得到细胞参考标注对细胞图像进行标注,从而提供该细胞图像对应的实际异常细胞包含情况,并根据实际异常细胞包含情况和细胞图像反向对识别过程中应用于模型进行训练,形成了在训练和辅助之间的良性循环过程,提高了异常细胞识别的准确率和效率。
本实施例提供的方法,辅助诊断系统和具体硬件解耦,并提供各种硬件的数据传输接口,提升了辅助诊断系统在不同硬件之间的通用性。
在一个可选的实施例中,在对细胞图像进行细胞识别时,首先需要得到细胞参数,根据细胞参数与预设参数条件之间的关系判断当前细胞图像是否能够用于进行异常细胞的识别。图7是本申请另一个示例性实施例提供的基于图像的识别方法的流程图,以该方法应用于服务器中为例进行说明,如图7所示,该方法包括:
步骤701,获取细胞图像,细胞图像中包括采集得到的至少一个细胞。
其中,细胞图像为待进行异常细胞识别的图像。
在一些实施例中,服务器通过数据输入模块接收阅片设备传输的细胞图像。示意性的,当细胞图像包括数字扫描仪获取的WSI图像或普通显微镜观察得到的图像中的至少一种。
异常细胞用于对细胞图像对应的异常生命状态进行指示,如:异常细胞是指癌变细胞,则当细胞图像中包括异常细胞时,表示当前细胞图像对应的用户存在癌变异常生命的可能。
步骤702,对细胞图像进行细胞识别,得到细胞图像中至少一个细胞的细胞参数。
其中,细胞参数用于指示细胞图像中细胞的整体信息。示意性的,细胞参数包括细胞背景信息、细胞数量信息中的至少一种。其中,细胞背景信息是指细胞图像中的细胞所处的环境信息,细胞数量信息是指细胞图像中所包含的细胞的数量。
当细胞参数中包括细胞背景信息时,对细胞图像进行细胞识别,得到细胞图像的背景信息,背景信息是指细胞图像中的细胞所处的环境信息,背景信息包括血性背景信息和干封背景信息中的至少一种。在一些实施例中,通过背景信息识别模型对细胞背景信息进行识别。
其中,血性背景信息用于指示在细胞样本采集时,采集得到的细胞样本周侧血液细胞的存在情况;干封背景信息用于指示细胞样本在封片时的操作方式。
当细胞参数中包括细胞数量信息时,对细胞图像进行细胞识别,得到细胞图像中的细胞数量信息,细胞数量信息用于指示细胞图像中细胞的数量。在一些实施例中,通过细胞数量识别模型对细胞图像中的细胞数量进行识别。
在一些实施例中,在对细胞图像进行细胞识别时,首先需要对细胞图像进行细胞分割,也即,将细胞图像中的各个细胞之间分割开,得到细胞图像中n个细胞分别对应的图像区域。在一些实施例中,通过细胞分割模型对细胞图像进行识别,得到细胞分割结果。
步骤703,响应于细胞参数符合预设参数条件,对细胞图像进行异常细胞的识别,得到细胞识别结果。
在一些实施例中,响应于细胞图像的血性背景信息符合第一背景要求,对细胞图像进行异常细胞的识别。示意性的,响应于细胞图像中的血细胞数量少于要求数量,对细胞图像进行异常细胞的识别。
或者,响应于细胞图像的干封背景信息符合第二背景要求,对细胞图像进行异常细胞的识别。示意性的,响应于细胞图像不存在干封背景的情况,对细胞图像进行异常细胞的识别。
或者,响应于细胞图像中的细胞数量达到要求数量,对细胞图像进行异常细胞的识别。示意性的,响应于细胞图像中的细胞数量达到5000个,则确定细胞数量达到要求数量,对细胞图像进行异常细胞的识别。
在一些实施例中,细胞参数中包括血性背景信息、干封背景信息和细胞数量信息,则根据血性背景信息、干封背景信息和细胞数量信息综合评判样本满意度,如:获取血性背景信息对应的第一满意度得分,获取干封背景信息对应的第二满意度得分以及细胞数量信息对应的第三满意度得分,对第一满意度得分、第二满意度得分和第三满意度得分进行加权求和,得到细胞图像对应的满意度得分,并基于满意度得分与满意度条件之间的比较关系,确定当前细胞图像是否符合满意度条件。
示意性的,根据血性背景信息中包括的血细胞含量数据,得到第一满意度得分为9,根据干封背景信息得到第二满意度得分为8,根据细胞数量信息得到第三满意度得分为10,第一满意度得分权重为0.3,第二满意度得分权重为0.2,第三满意度得分权重为0.5,则最终得到细胞图像的满意度得分为9.3,满意度条件为9,则当前细胞图像的满意度得分高于满意度条件,故细胞图像符合满意度条件。从而对细胞图像进行异常细胞的识别。
步骤704,获取细胞图像对应的细胞参考标注。
细胞参考标注为对细胞图像进行异常生命状态识别后对异常细胞进行标注得到的标注结果。
在一些实施例中,细胞参考标注为医务人员对细胞图像进行观察后,根据医学知识以及诊断经验进行的。医务人员对异常细胞进行标注后,将细胞参考标注发送至服务器,服务器获取该细胞参考标注。
在一些实施例中,针对WSI图像,在医务人员进行异常细胞的标注时,需要进行多角度多层级的标注。示意性的,本申请实施例中,以对WSI图像进行全片标注和图像块标注为例进行说明,请参考图8,其示出了本申请一个示例性实施例提供的WSI图像标注过程的示意图,如图8所示,首先获取WSI图像800,其中,当前WSI图像800为经过细胞学辅助诊断系统识别后的图像,也即,WSI图像800对应有细胞学辅助诊断系统识别得到的异常细胞识别结果。在医务人员A结合异常细胞识别结果对WSI图像800进行查看后,对WSI图像800进行全片标注811,并由医务人员B对全片标注811进行标注审核812。对WSI图像800切割图像块后,由医务人员A结合异常细胞识别结果对WSI图像800的图像块进行图像块标注821,并由医务人员B对图像块标注821进行审核822,最终得到标注数据集830。
步骤705,将细胞参考标注和细胞图像进行对应存储,细胞参考标注和细胞图像用于对异常细胞的识别过程进行迭代调整。
在一些实施例中,当通过细胞识别模型对异常细胞进行识别时,则细胞参考标注和细胞图像用于对细胞识别模型进行迭代训练。
将细胞参考标注和细胞图像的对应关系存储至数据库中,并在后续对细胞识别模型的训练中,通过更新后的数据库中的数据对细胞识别模型进行训练。
在一些实施例中,通过细胞识别模型对细胞图像进行训练阶段的识别,得到异常细胞识别结果,并通过细胞参考标注与细胞异常识别结果之间的差异,对细胞识别模型进行调整。示意性的,根据细胞参考标注与细胞异常识别结果之间的距离,对细胞识别模型中的模型参数进行调整。
综上所述,本实施例提供的基于图像的识别方法,通过对细胞图像中的异常细胞进行识别得到细胞识别结果,对人工进行异常细胞识别的过程进行辅助,提高了人工确定异常细胞过程中的识别效率,而在人工确定异常细胞之后,得到细胞参考标注对细胞图像进行标注,从而提供该细胞图像对应的实际异常细胞包含情况,并根据实际异常细胞包含情况和细胞图像反向对识别过程中应用于模型进行训练,形成了在训练和辅助之间的良性循环过程,提高了异常细胞识别的准确率和效率。
本实施例提供的方法,在异常细胞识别之前,首先对细胞图像进行识别得到细胞参数,根据细胞参数与预设参数条件之间的关系判断当前细胞图像是否能够用于进行异常细胞的识别,避免由于细胞图像本身图像质量较差,而导致异常细胞识别结果不准确,浪费服务器资源的问题。
在一些实施例中,在得到各个细胞图像的细胞参考标注后,生成标准训练数据集,从而在标注训练数据集的基础上,生成用于对不同算法进行优化的不同类型数据集。图9是本申请另一个示例性实施例提供的基于图像的识别方法,以该方法应用于服务器为例进行说明,如图9所示,该方法包括:
步骤901,获取细胞图像,细胞图像中包括采集得到的至少一个细胞。
其中,细胞图像为待进行异常细胞识别的图像。
在一些实施例中,服务器通过数据输入模块接收阅片设备传输的细胞图像。示意性的,当细胞图像包括数字扫描仪获取的WSI图像或普通显微镜观察得到的图像中的至少一种。
异常细胞用于对细胞图像对应的异常生命状态进行指示,如:异常细胞是指癌变细胞,则当细胞图像中包括异常细胞时,表示当前细胞图像对应的用户存在癌变异常生命的可能。
步骤902,对细胞图像进行细胞识别,得到细胞识别结果,细胞识别结果中包括对异常细胞的指示。
细胞识别结果用于向细胞图像的异常生命状态识别提供辅助。
其中,对异常细胞进行细胞识别的过程为细胞学辅助诊断系统自动实现的,而基于细胞图像的异常生命状态识别的诊断过程是由医务人员对细胞图像进行观察后完成的。
则从细胞学辅助诊断系统的角度,在对细胞图像进行细胞识别时,将细胞图像输入细胞识别模型,细胞识别模型用于对异常细胞进行识别;通过细胞识别模型对细胞图像进行异常细胞的识别,得到细胞识别结果。
在一些实施例中,对细胞图像进行细胞识别的过程中包括:1、细胞背景信息的识别;2、细胞数量的识别;3、样本满意度识别;4、全片判读识别;5、显微镜观察倍率的识别;6、模型可解释性识别;7、结构化报告生成。
其中,1、细胞背景信息的识别,是指对细胞图像中细胞所处的环境进行识别,其中包括血性背景信息识别和干封背景信息识别中的至少一种。
2、细胞数量的识别,是指对细胞图像中细胞的数量进行识别。
3、样本满意度识别,是指根据细胞背景信息和细胞数量得到的细胞图像的满意度情况,用于与满意度条件进行匹配,从而确定当前细胞图像是否符合异常细胞识别的条件。
4、全片判读识别,是指针对细胞图像进行全片异常细胞的识别,从而判断整体细胞图像中是否存在异常细胞。
5、显微镜观察倍率的识别,是指基于显微镜采集得到的细胞图像对显微镜的观察倍率进行识别,在一些实施例中,通过细胞图像中细胞的尺寸,对显微镜的观察倍率进行确定。
6、模型可解释性识别,是指对细胞图像中存在的异常细胞进行参数识别,其中,对异常细胞的位置以及异常细胞属于异常的置信度进行识别。
7、结构化报告生成,是指针对细胞图像的多个维度识别结果生成结果报告,示意性的,结果报告中包括上述细胞背景信息、细胞数量、样本满意度、全片判读结果、显微镜观察倍率识别结果、模型可解释性识别结果等。
步骤903,获取细胞图像对应的细胞参考标注。
细胞参考标注为对细胞图像进行异常生命状态识别后对异常细胞进行标注得到的标注结果。
在一些实施例中,细胞参考标注为医务人员对细胞图像进行观察后,根据医学知识以及诊断经验进行的。医务人员对异常细胞进行标注后,将细胞参考标注发送至服务器,服务器获取该细胞参考标注。
步骤904,将细胞参考标注和细胞图像进行对应存储,得到标准训练数据集。
在一些实施例中,将多个细胞图像与对应的细胞参考标注进行匹配存储,从而得到标准训练数据集。在一些实施例中,细胞参考标注中包括对细胞图像的细胞背景标注、细胞数量标注、全片判读标注、显微镜观察倍率标注、模型可解释性标注等。
步骤905,针对目标识别算法,对标准训练数据集进行整理,得到目标训练数据集。
在一些实施例中,针对不同的算法整理不同的数据集。示意性的,针对细胞背景识别算法,整理标注有细胞背景信息的训练数据集;针对细胞数量识别算法,整理标注有细胞分类信息的训练数据集、细胞分割信息的训练数据集以及细胞检测信息的训练数据集;针对全片判读算法以及倍率识别算法,整理标注有全片标注信息的训练数据集。
步骤906,通过目标训练数据集对目标识别算法进行训练。
示意性的,请参考图10,其示出了本申请一个示例性实施例提供的数据集与算法之间的对应关系示意图,如图10所示,根据标准训练数据集1000,整理得到背景信息数据集1010、细胞分类数据集1020、细胞分割数据集1030、细胞检测数据集1040和全片标注数据集1050。
通过背景信息数据集1010对细胞背景识别算法1011进行训练;通过背景信息数据集1010和细胞分割数据集1030对样本满意度评估算法1012进行训练;通过细胞分类数据集1020、细胞分割数据集1030和细胞检测数据集1040对细胞计数算法1013进行训练;通过全片标注数据集1050对全片判读算法1014进行训练;通过全片标注数据集1050对倍率识别算法1015进行训练。
通过细胞计数算法1013和全片判读算法1014的识别结果得到模型可解释性算法1016的结果;通过全片判读算法1014和倍率识别算法1015的识别结果得到结构化报告1017。最后将模型可解释性算法1016的结果和结构化报告1017通过辅助诊断交互模块1021与人工诊断过程进行交互,并进一步更新标准训练数据集1000。
其中,背景信息数据集1010中的细胞图像标注有细胞背景信息;细胞分类数据集1020中的细胞图像标注有细胞分类情况,如:细胞属于正常细胞还是异常细胞;细胞分割数据集1030中的细胞图像标注有细胞分割情况,即细胞图像中各个细胞对应的区域;细胞检测数据集1040中的细胞图像标注有细胞检测结果,即细胞位置信息、作为一个细胞的置信度信息等;全片标注数据集1050中的细胞图像标注有全片判读信息,即细胞图像中异常细胞的包含情况。
其中,通过辅助诊断交互模块与人工诊断过程进行交互,并进一步更新标准训练数据集的过程如图11所示,将图像数据1110输入数据库系统1120,通过数据标注审核1130和数据存储1140,输出标准训练数据集1150,对细胞学辅助系统中的算法进行训练。
综上所述,本实施例提供的基于图像的识别方法,通过对细胞图像中的异常细胞进行识别得到细胞识别结果,对人工进行异常细胞识别的过程进行辅助,提高了人工确定异常细胞过程中的识别效率,而在人工确定异常细胞之后,得到细胞参考标注对细胞图像进行标注,从而提供该细胞图像对应的实际异常细胞包含情况,并根据实际异常细胞包含情况和细胞图像反向对识别过程中应用于模型进行训练,形成了在训练和辅助之间的良性循环过程,提高了异常细胞识别的准确率和效率。
本实施例提供的方法,在得到标准训练数据集后,根据不同的算法进行针对性的数据集整理,从而通过不同的数据集对不同的算法进行训练,提高了算法训练的准确率。
图12是本申请一个示例性实施例提供的种基于图像的识别装置的结构示意图,如图12所示,该装置包括:
获取模块1210,用于获取细胞图像,所述细胞图像中包括采集得到的至少一个细胞,所述细胞图像为待进行异常细胞识别的图像;
识别模块1220,用于对所述细胞图像进行细胞识别,得到细胞识别结果,所述细胞识别结果中包括对所述异常细胞的指示,所述细胞识别结果用于向所述细胞图像的异常生命状态识别提供辅助;
所述获取模块1210,还用于获取所述细胞图像对应的细胞参考标注,所述细胞参考标注为对所述细胞图像进行异常生命状态识别后对所述异常细胞进行标注得到的标注结果;
存储模块1230,用于将所述细胞参考标注和所述细胞图像进行对应存储,所述细胞参考标注和所述细胞图像用于对所述异常细胞的识别过程进行迭代调整。
在一个可选的实施例中,所述识别模块1220,还用于将所述细胞图像输入细胞识别模型,所述细胞识别模型用于对所述异常细胞进行识别;通过所述细胞识别模型对所述细胞图像进行所述异常细胞的识别,得到所述细胞识别结果;所述细胞参考标注和所述细胞图像用于对所述细胞识别模型进行迭代训练。
在一个可选的实施例中,所述细胞识别模型中包括全片识别模型;
所述识别模块1220,还用于通过所述全片识别模型对所述细胞图像进行所述异常细胞的识别,得到全片识别结果,所述全片识别结果用于指示所述细胞图像中所述异常细胞的包含情况。
在一个可选的实施例中,所述细胞识别模型中包括异常识别模型;
所述识别模块1220,还用于响应于所述全片识别结果用于指示所述细胞图像中包括所述异常细胞,通过所述异常识别模型对所述细胞图像进行所述异常细胞的识别,得到异常识别结果,所述异常识别结果中包括所述异常细胞在所述细胞图像中的位置。
在一个可选的实施例中,如图13所示,识别模块1220,包括:
分类单元1221,用于通过所述全片识别模型对所述细胞图像进行细胞分类,得到细胞分类结果,所述细胞分类结果用于指示属于所述异常细胞的类别在所述细胞图像中的包含情况;
识别单元1222,用于基于所述细胞分类结果得到所述全片识别结果。
在一个可选的实施例中,所述识别模块1220,还用于对所述细胞图像进行细胞识别,得到所述细胞图像中所述至少一个细胞的细胞参数,所述细胞参数用于指示所述细胞图像中所述细胞的整体信息;
所述识别模块1220,还用于响应于所述细胞参数符合预设参数条件,对所述细胞图像进行所述异常细胞的识别,得到所述细胞识别结果。
在一个可选的实施例中,所述识别模块1220,还用于对所述细胞图像进行细胞识别,得到所述细胞图像的背景信息,所述背景信息是指所述细胞图像中所述细胞所处的环境信息,所述背景信息包括血性背景信息和干封背景信息中的至少一种。
在一个可选的实施例中,所述识别模块1220,还用于对所述细胞图像进行细胞识别,得到所述细胞图像中的细胞数量信息,所述细胞数量信息用于指示所述细胞图像中所述细胞的数量。
在一个可选的实施例中,所述细胞图像包括全视野数字切片图像;
所述存储模块1230,还用于响应于所述细胞图像中未识别得到所述异常细胞,将所述细胞图像对应的所述细胞识别结果存储至阴性片库;
所述存储模块1230,还用于响应于所述细胞图像中识别得到所述异常细胞,将所述细胞图像对应的所述细胞识别结果存储至阳性片库。
在一个可选的实施例中,所述细胞图像包括显微镜实时细胞图像;
所述装置,还包括:
生成模块1240,用于响应于所述细胞图像中识别得到所述异常细胞,基于所述细胞图像对应的扫描倍率生成倍率切换信息,所述倍率切换信息用于指示切换对所述细胞进行扫描的所述扫描倍率;
所述生成模块1240,还用于响应于所述细胞图像中未识别得到所述异常细胞,生成视野切换信息,所述视野切换信息用于指示切换对所述细胞进行扫描的显微镜视野。
在一个可选的实施例中,所述获取模块1210,还用于接收阅片设备传输的所述细胞图像,其中,阅片设备通过预设数据传输接口对所述细胞图像进行传输。
综上所述,本实施例提供的基于图像的识别装置,通过对细胞图像中的异常细胞进行识别得到细胞识别结果,对人工进行异常细胞识别的过程进行辅助,提高了人工确定异常细胞过程中的识别效率,而在人工确定异常细胞之后,得到细胞参考标注对细胞图像进行标注,从而提供该细胞图像对应的实际异常细胞包含情况,并根据实际异常细胞包含情况和细胞图像反向对识别过程中应用于模型进行训练,形成了在训练和辅助之间的良性循环过程,提高了异常细胞识别的准确率和效率。
需要说明的是:上述实施例提供的基于图像的识别装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的基于图像的识别装置与基于图像的识别方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图14示出了本申请一个示例性实施例提供的服务器的结构示意图。具体来讲:
服务器1400包括中央处理单元(Central Processing Unit,CPU)1401、包括随机存取存储器(Random Access Memory,RAM)1402和只读存储器(Read Only Memory,ROM)1403的系统存储器1404,以及连接系统存储器1404和中央处理单元1401的系统总线1405。服务器1400还包括用于存储操作系统1413、应用程序1414和其他程序模块1415的大容量存储设备1406。
大容量存储设备1406通过连接到系统总线1405的大容量存储控制器(未示出)连接到中央处理单元1401。大容量存储设备1406及其相关联的计算机可读介质为服务器1400提供非易失性存储。也就是说,大容量存储设备1406可以包括诸如硬盘或者紧凑型光盘只读存储器(Compact Disc Read Only Memory,CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、带电可擦可编程只读存储器(Electrically Erasable Programmable Read Only Memory,EEPROM)、闪存或其他固态存储其技术,CD-ROM、数字通用光盘(Digital Versatile Disc,DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1404和大容量存储设备1406可以统称为存储器。
根据本申请的各种实施例,服务器1400还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1400可以通过连接在系统总线1405上的网络接口单元1411连接到网络1412,或者说,也可以使用网络接口单元1411来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,被配置由CPU执行。
本申请的实施例还提供了一种计算机设备,该计算机设备包括处理器和存储器,该存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的基于图像的识别方法。
本申请的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行,以实现上述各方法实施例提供的基于图像的识别方法。
本申请的实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中任一所述的基于图像的识别方法。
可选地,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、固态硬盘(SSD,Solid State Drives)或光盘等。其中,随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM,Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (8)
1.一种基于图像的识别方法,其特征在于,所述方法包括:
获取细胞图像,所述细胞图像是通过阅片设备采集的图像,所述细胞图像中包括采集得到的至少一个细胞,所述细胞图像为待进行异常细胞识别的图像;
对所述细胞图像进行细胞识别,得到所述细胞图像中所述至少一个细胞的细胞参数,所述细胞参数用于指示所述细胞图像中所述细胞的整体信息,包括血性背景信息、干封背景信息和细胞数量信息;其中,所述血性背景信息用于指示在细胞样本采集时,采集得到的所述细胞样本周侧血液细胞的存在情况;所述干封背景信息用于指示所述细胞样本在封片时的操作方式;所述细胞数量信息用于指示所述细胞图像中所述细胞的数量;
获取所述血性背景信息对应的第一满意度得分,所述干封背景信息对应的第二满意度得分以及所述细胞数量信息对应的第三满意度得分,对所述第一满意度得分、所述第二满意度得分和所述第三满意度得分进行加权求和,得到所述细胞图像对应的满意度得分;
当所述细胞图像对应的满意度得分高于满意度条件时,确定当前细胞图像符合所述满意度条件,将所述细胞图像输入细胞识别模型,所述细胞识别模型用于对所述异常细胞进行识别并得到细胞识别结果,所述细胞识别结果用于向所述细胞图像的异常生命状态识别提供辅助;
通过所述细胞识别模型中的全片识别模型对所述细胞图像进行所述异常细胞的识别,得到全片识别结果,所述全片识别结果用于指示所述细胞图像中所述异常细胞的包含情况,所述全片识别结果属于所述细胞识别结果;
响应于所述全片识别结果用于指示所述细胞图像中包括所述异常细胞,通过所述细胞识别模型中的异常识别模型对所述细胞图像进行所述异常细胞的识别,得到异常识别结果,所述异常识别结果中包括所述异常细胞在所述细胞图像中的位置和所述异常细胞属于异常的置信度,所述异常识别结果属于所述细胞识别结果;
获取所述细胞图像对应的细胞参考标注,所述细胞参考标注为对所述细胞图像进行异常生命状态识别后对所述异常细胞进行标注得到的标注结果,所述细胞参考标注包括细胞背景标注、细胞数量标注、全片判读标注、显微镜观察倍率标注、模型可解释性标注;
将所述细胞参考标注和所述细胞图像进行对应存储,所述细胞参考标注和所述细胞图像用于对所述细胞识别模型进行迭代调整。
2.根据权利要求1所述的方法,其特征在于,所述通过所述细胞识别模型中的全片识别模型对所述细胞图像进行所述异常细胞的识别,得到全片识别结果,包括:
通过所述全片识别模型对所述细胞图像进行细胞分类,得到细胞分类结果,所述细胞分类结果用于指示属于所述异常细胞的类别在所述细胞图像中的包含情况;
基于所述细胞分类结果得到所述全片识别结果。
3.根据权利要求1或2所述的方法,其特征在于,所述细胞图像包括全视野数字切片图像;
所述对所述细胞图像进行所述异常细胞的识别,得到全片识别结果之后,还包括:
响应于所述细胞图像中未识别得到所述异常细胞,将所述细胞图像对应的所述细胞识别结果存储至阴性片库;
响应于所述细胞图像中识别得到所述异常细胞,将所述细胞图像对应的所述细胞识别结果存储至阳性片库。
4.根据权利要求1或2所述的方法,其特征在于,所述细胞图像包括显微镜实时细胞图像;
所述对所述细胞图像进行所述异常细胞的识别,得到异常识别结果之后,还包括:
响应于所述细胞图像中识别得到所述异常细胞,基于所述细胞图像对应的扫描倍率生成倍率切换信息,所述倍率切换信息用于指示切换对所述细胞进行扫描的所述扫描倍率;
响应于所述细胞图像中未识别得到所述异常细胞,生成视野切换信息,所述视野切换信息用于指示切换对所述细胞进行扫描的显微镜视野。
5.根据权利要求1或2所述的方法,其特征在于,所述获取细胞图像,包括:
接收阅片设备传输的所述细胞图像,其中,阅片设备通过预设数据传输接口对所述细胞图像进行传输。
6.一种基于图像的识别装置,其特征在于,所述装置包括:
获取模块,用于获取细胞图像,所述细胞图像是通过阅片设备采集的图像,所述细胞图像中包括采集得到的至少一个细胞,所述细胞图像为待进行异常细胞识别的图像;
识别模块,用于对所述细胞图像进行细胞识别,得到所述细胞图像中所述至少一个细胞的细胞参数,所述细胞参数用于指示所述细胞图像中所述细胞的整体信息,包括血性背景信息、干封背景信息和细胞数量信息;其中,所述血性背景信息用于指示在细胞样本采集时,采集得到的细胞样本周侧血液细胞的存在情况;所述干封背景信息用于指示所述细胞样本在封片时的操作方式;所述细胞数量信息用于指示所述细胞图像中所述细胞的数量;
所述识别模块,还用于获取所述血性背景信息对应的第一满意度得分,所述干封背景信息对应的第二满意度得分以及所述细胞数量信息对应的第三满意度得分,对所述第一满意度得分、所述第二满意度得分和所述第三满意度得分进行加权求和,得到所述细胞图像对应的满意度得分;当所述细胞图像对应的满意度得分高于满意度条件时,确定当前细胞图像符合所述满意度条件,将所述细胞图像输入细胞识别模型,所述细胞识别模型用于对所述异常细胞进行识别并得到细胞识别结果,所述细胞识别结果用于向所述细胞图像的异常生命状态识别提供辅助;通过所述细胞识别模型中的全片识别模型对所述细胞图像进行所述异常细胞的识别,得到全片识别结果,所述全片识别结果用于指示所述细胞图像中所述异常细胞的包含情况,所述全片识别结果属于所述细胞识别结果;响应于所述全片识别结果用于指示所述细胞图像中包括所述异常细胞,通过所述细胞识别模型中的异常识别模型对所述细胞图像进行所述异常细胞的识别,得到异常识别结果,所述异常识别结果中包括所述异常细胞在所述细胞图像中的位置和所述异常细胞属于异常的置信度,所述异常识别结果属于所述细胞识别结果;
所述获取模块,还用于获取所述细胞图像对应的细胞参考标注,所述细胞参考标注为对所述细胞图像进行异常生命状态识别后对所述异常细胞进行标注得到的标注结果,所述细胞参考标注包括细胞背景标注、细胞数量标注、全片判读标注、显微镜观察倍率标注、模型可解释性标注;
存储模块,用于将所述细胞参考标注和所述细胞图像进行对应存储,所述细胞参考标注和所述细胞图像用于对所述细胞识别模型进行迭代调整。
7.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一段程序,所述至少一段程序由所述处理器加载并执行以实现如权利要求1至5任一所述的基于图像的识别方法。
8.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一段程序,所述至少一段程序由处理器加载并执行以实现如权利要求1至5任一所述的基于图像的识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110435367.6A CN113705318B (zh) | 2021-04-22 | 2021-04-22 | 基于图像的识别方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110435367.6A CN113705318B (zh) | 2021-04-22 | 2021-04-22 | 基于图像的识别方法、装置、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113705318A CN113705318A (zh) | 2021-11-26 |
CN113705318B true CN113705318B (zh) | 2023-04-18 |
Family
ID=78647993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110435367.6A Active CN113705318B (zh) | 2021-04-22 | 2021-04-22 | 基于图像的识别方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113705318B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI811069B (zh) * | 2022-08-19 | 2023-08-01 | 倍利科技股份有限公司 | 基於影像識別偵測特定細胞之系統及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6690817B1 (en) * | 1993-08-18 | 2004-02-10 | Applied Spectral Imaging Ltd. | Spectral bio-imaging data for cell classification using internal reference |
CN110211108A (zh) * | 2019-05-29 | 2019-09-06 | 武汉兰丁医学高科技有限公司 | 一种新型的基于Feulgen染色方法的异常宫颈细胞自动识别方法 |
CN112257704A (zh) * | 2020-09-15 | 2021-01-22 | 深圳视见医疗科技有限公司 | 基于深度学习检测模型子宫颈液基细胞数字图像分类方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110853022B (zh) * | 2019-11-14 | 2020-11-06 | 腾讯科技(深圳)有限公司 | 病理切片图像的处理方法、装置、系统及存储介质 |
CN111260677B (zh) * | 2020-02-20 | 2023-03-03 | 腾讯医疗健康(深圳)有限公司 | 基于显微图像的细胞分析方法、装置、设备及存储介质 |
CN111597922B (zh) * | 2020-04-28 | 2024-05-28 | 腾讯医疗健康(深圳)有限公司 | 细胞图像的识别方法、系统、装置、设备及介质 |
CN111524137B (zh) * | 2020-06-19 | 2024-04-05 | 平安科技(深圳)有限公司 | 基于图像识别的细胞识别计数方法、装置和计算机设备 |
CN112102331B (zh) * | 2020-08-26 | 2024-03-29 | 广州金域医学检验中心有限公司 | 病理切片的训练图像集获取方法、系统、设备和介质 |
CN112581438B (zh) * | 2020-12-10 | 2022-11-08 | 腾讯医疗健康(深圳)有限公司 | 切片图像识别方法、装置和存储介质及电子设备 |
CN112579808B (zh) * | 2020-12-29 | 2023-07-18 | 上海赛图默飞医疗科技有限公司 | 数据标注处理方法及装置、系统 |
-
2021
- 2021-04-22 CN CN202110435367.6A patent/CN113705318B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6690817B1 (en) * | 1993-08-18 | 2004-02-10 | Applied Spectral Imaging Ltd. | Spectral bio-imaging data for cell classification using internal reference |
CN110211108A (zh) * | 2019-05-29 | 2019-09-06 | 武汉兰丁医学高科技有限公司 | 一种新型的基于Feulgen染色方法的异常宫颈细胞自动识别方法 |
CN112257704A (zh) * | 2020-09-15 | 2021-01-22 | 深圳视见医疗科技有限公司 | 基于深度学习检测模型子宫颈液基细胞数字图像分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113705318A (zh) | 2021-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112949786B (zh) | 数据分类识别方法、装置、设备及可读存储介质 | |
Das et al. | Computer-aided histopathological image analysis techniques for automated nuclear atypia scoring of breast cancer: a review | |
CN110491502B (zh) | 显微镜视频流处理方法、系统、计算机设备和存储介质 | |
US10755413B1 (en) | Method and system for medical imaging evaluation | |
CN110853022B (zh) | 病理切片图像的处理方法、装置、系统及存储介质 | |
WO2012154216A1 (en) | Diagnosis support system providing guidance to a user by automated retrieval of similar cancer images with user feedback | |
US11308612B2 (en) | Systems and methods for detection of infectious respiratory diseases | |
Luo et al. | OXnet: deep omni-supervised thoracic disease detection from chest X-rays | |
Guo et al. | DeepLN: an artificial intelligence-based automated system for lung cancer screening | |
CN113705318B (zh) | 基于图像的识别方法、装置、设备及可读存储介质 | |
de Chauveron et al. | Artificial intelligence for oral squamous cell carcinoma detection based on oral photographs: A comprehensive literature review | |
Xu et al. | Identification of benign and malignant lung nodules in CT images based on ensemble learning method | |
Meng et al. | Clinical applications of graph neural networks in computational histopathology: A review | |
CN114283406A (zh) | 细胞图像识别方法、装置、设备、介质及计算机程序产品 | |
Hsu et al. | A computer-aided diagnosis system for breast pathology: a deep learning approach with model interpretability from pathological perspective | |
CN113485555A (zh) | 医学影像阅片方法、电子设备和存储介质 | |
KR20230021665A (ko) | 디지털 병리학에서 현저한 정보를 결정하기 위해 전자 이미지들을 처리하는 시스템들 및 방법들 | |
Yan et al. | Multi-tasking siamese networks for breast mass detection using dual-view mammogram matching | |
CN117174238A (zh) | 基于人工智能的病理学报告自动生成方法 | |
CN115880266B (zh) | 一种基于深度学习的肠道息肉检测系统和方法 | |
Wang et al. | Improved V-Net lung nodule segmentation method based on selective kernel | |
CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
CN113255718B (zh) | 一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法 | |
Alisha et al. | Cervical Cell Nuclei Segmentation On Pap Smear Images Using Deep Learning Technique | |
WO2023059919A1 (en) | Rapid on-site evaluation using artificial intelligence for lung cytopathology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211118 Address after: 518000 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong Applicant after: Tencent Medical Health (Shenzhen) Co.,Ltd. Address before: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors Applicant before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |