CN111597922A - 细胞图像的识别方法、系统、装置、设备及介质 - Google Patents
细胞图像的识别方法、系统、装置、设备及介质 Download PDFInfo
- Publication number
- CN111597922A CN111597922A CN202010350815.8A CN202010350815A CN111597922A CN 111597922 A CN111597922 A CN 111597922A CN 202010350815 A CN202010350815 A CN 202010350815A CN 111597922 A CN111597922 A CN 111597922A
- Authority
- CN
- China
- Prior art keywords
- image
- cell
- prediction
- target
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000002372 labelling Methods 0.000 claims abstract description 35
- 230000000007 visual effect Effects 0.000 claims abstract description 19
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims description 64
- 230000005859 cell recognition Effects 0.000 claims description 48
- 238000012549 training Methods 0.000 claims description 33
- 208000007879 Atypical Squamous Cells of the Cervix Diseases 0.000 claims description 21
- 238000012795 verification Methods 0.000 claims description 16
- 230000003902 lesion Effects 0.000 claims description 15
- 238000000338 in vitro Methods 0.000 claims description 14
- 230000001413 cellular effect Effects 0.000 claims description 9
- 208000032124 Squamous Intraepithelial Lesions Diseases 0.000 claims description 7
- 208000009956 adenocarcinoma Diseases 0.000 claims description 5
- 238000013145 classification model Methods 0.000 claims description 4
- 206010041823 squamous cell carcinoma Diseases 0.000 claims description 4
- 230000000762 glandular Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 206010008263 Cervical dysplasia Diseases 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 13
- 238000013135 deep learning Methods 0.000 abstract description 4
- 210000004027 cell Anatomy 0.000 description 428
- 238000012545 processing Methods 0.000 description 22
- 230000001575 pathological effect Effects 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 17
- 238000012216 screening Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 241000282414 Homo sapiens Species 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 206010008342 Cervix carcinoma Diseases 0.000 description 3
- 241000251774 Squalus Species 0.000 description 3
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 3
- 201000010881 cervical cancer Diseases 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000011309 routine diagnosis Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000002380 cytological effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000036210 malignancy Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000036285 pathological change Effects 0.000 description 2
- 231100000915 pathological change Toxicity 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000004102 animal cell Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000009595 pap smear Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种细胞图像的识别方法、系统、装置、设备及介质，该方法应用于人工智能的深度学习领域，该方法包括：接收图像采集装置发送的细胞图像，细胞图像是显微镜视野中离体细胞涂片的实时图像，图像采集装置安装在显微镜上，图像采集装置用于采集显微镜的视野范围中的图像；调用细胞识别模型识别细胞图像得到识别结果，细胞识别模型是用于在细胞图像中识别目标细胞的卷积神经网络模型，识别结果包括细胞图像中的目标细胞的标注信息；根据识别结果和细胞图像生成目标图像，目标图像是在细胞图像上标注识别结果的图像；将目标图像发送至图像显示装置，图像显示装置用于显示目标图像该方法可以辅助用户进行细胞学检查，提高细胞筛查准确率。
Description
技术领域
本申请涉及人工智能的深度学习领域，特别涉及一种细胞图像的识别方法、系统、装置、设备及介质。
背景技术
宫颈癌是妇科最常见的恶性肿瘤之一，发病率和病死率在女性恶性肿瘤中均居于第二位。对宫颈癌的早期筛查工作尤为重要，其中显微镜下对宫颈癌细胞学筛查是一项常规筛查工作。
相关技术中，临床医生取样后，制作好宫颈细胞涂片由病理医生在显微镜下逐个检查涂片中的细胞，查看是否有病变细胞。
由于一张宫颈细胞涂片中有上千个细胞，病理医生逐个对上千个细胞进行筛查，任务繁重，容易产生疲劳，降低病变细胞筛查准确率。
发明内容
本申请实施例提供了一种细胞图像的识别方法、装置、设备及介质，可以辅助病理医生进行细胞学检查，提高细胞筛查准确率。所述技术方案如下：
根据本申请的一个方面，提供了一种细胞图像的识别方法，所述方法包括：
接收图像采集装置发送的细胞图像，所述细胞图像是显微镜视野中离体细胞涂片的实时图像，所述图像采集装置安装在所述显微镜上，所述图像采集装置用于采集所述显微镜的视野范围中的图像；
调用细胞识别模型识别所述细胞图像得到识别结果，所述细胞识别模型是用于在所述细胞图像中识别目标细胞的卷积神经网络模型，所述识别结果包括所述细胞图像中的所述目标细胞的标注信息；
根据所述识别结果和所述细胞图像生成目标图像，所述目标图像是在所述细胞图像上标注所述识别结果的图像；
将所述目标图像发送至图像显示装置，所述图像显示装置用于显示所述目标图像。
根据本申请的另一个方面，提供了一种细胞图像的识别系统，所述系统包括：显微镜、图像采集装置、计算机设备和图像显示装置；所述图像采集装置安装在所述显微镜上；
所述显微镜，用于观察离体细胞涂片；
所述图像采集装置，用于实时采集所述显微镜中所述离体细胞涂片的细胞图像，向所述计算机设备发送所述细胞图像；
所述计算机设备，用于接收所述图像采集装置发送的所述细胞图像，调用细胞识别模型识别所述细胞图像得到识别结果，调用所述细胞识别模型根据所述识别结果和所述细胞图像生成目标图像，向所述图像显示装置发送所述目标图像，所述识别结果包括所述细胞图像中的所述目标细胞的标注信息，所述目标图像是在所述细胞图像上标注所述识别结果的图像；
所述图像显示装置，用于接收所述计算机设备发送的所述目标图像，显示所述目标图像。
根据本申请的另一个方面，提供了一种细胞图像的识别装置，所述装置包括：
接收模块，用于接收图像采集装置发送的细胞图像，所述细胞图像是显微镜视野中离体细胞涂片的实时图像，所述图像采集装置安装在所述显微镜上，所述图像采集装置用于采集所述显微镜的视野范围中的图像；
模型模块，用于调用细胞识别模型识别所述细胞图像得到识别结果，所述细胞识别模型是用于在所述细胞图像中识别目标细胞的卷积神经网络模型，所述识别结果包括所述细胞图像中的所述目标细胞的标注信息；
生成模块，用于根据所述识别结果和所述细胞图像生成目标图像，所述目标图像是在所述细胞图像上标注所述识别结果的图像；
发送模块，用于将所述目标图像发送至图像显示装置，所述图像显示装置用于显示所述目标图像。
根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的细胞图像的识别方法。
根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的细胞图像的识别方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过安装在显微镜上的图像采集装置，采集显微镜当前视野中离体细胞涂片的实时细胞图像，该细胞图像即为病理医生从显微镜中看到的离体细胞涂片的图像。图像采集装置将细胞图像发送给计算机设备，计算机设备调用细胞识别模型对细胞图像进行识别，得到细胞图像的识别结果，根据识别结果在细胞图像上标注出目标细胞得到目标图像，计算机设备将目标图像发送给图像显示装置进行显示。使病理医生可以实时看到计算机提供的识别结果，当病理医生调整显微镜更改显微镜的视野范围，图像显示装置上也会实时显示出当前视野范围的识别结果，从而将计算机的识别结果融入到病理医生的显微镜下日常诊断的流程中，辅助病理医生进行细胞的筛查，提高细胞筛查的准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的细胞图像的识别系统的框图；
图2是本申请一个示例性实施例提供的细胞识别模型的结构图；
图3是本申请一个示例性实施例提供的细胞图像的识别结果的示意图；
图4是本申请一个示例性实施例提供的细胞图像的识别方法的流程图；
图5是本申请另一个示例性实施例提供的细胞图像的示意图；
图6是本申请另一个示例性实施例提供的细胞图像的识别方法的流程图；
图7是本申请另一个示例性实施例提供的细胞图像的识别方法的流程图；
图8是本申请另一个示例性实施例提供的细胞图像的识别方法的流程图；
图9是本申请另一个示例性实施例提供的细胞图像的识别方法的预测输入图像的示意图；
图10是本申请另一个示例性实施例提供的细胞图像的识别方法的流程图；
图11是本申请另一个示例性实施例提供的细胞图像的识别方法的流程图；
图12是本申请另一个示例性实施例提供的细胞图像的识别方法的细胞图像的示意图；
图13是本申请另一个示例性实施例提供的细胞图像的识别系统的示意图；
图14是本申请另一个示例性实施例提供的细胞识别模型的结构图；
图15是本申请另一个示例性实施例提供的细胞图像的识别装置的框图；
图16是本申请另一个示例性实施例提供的服务器的结构示意图；
图17是本申请另一个示例性实施例提供的终端的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先对本申请实施例涉及的若干个名词进行简介：
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
参考图1，示出了本申请一个示例性实施例提供的计算机系统的结构示意图，该计算机系统包括显微镜101、图像采集装置102、计算机设备103和图像显示装置104。图像采集装置安装在显微镜上。
显微镜101，用于观察离体细胞涂片；图像采集装置102，用于实时采集显微镜中离体细胞涂片的细胞图像，向计算机设备发送细胞图像；计算机设备103，用于接收图像采集装置发送的细胞图像，调用细胞识别模型识别细胞图像得到识别结果，调用细胞识别模型根据识别结果和细胞图像生成目标图像，向图像显示装置发送目标图像，识别结果包括细胞图像中的目标细胞的标注信息，目标图像是在细胞图像上标注识别结果的图像；图像显示装置104，用于接收计算机设备发送的目标图像，显示目标图像。
图像采集装置102和计算机设备103之间通过有线或者无线网络相互连接。计算机设备103和图像显示装置104之间通过有线或者无线网络相互连接。
显微镜101用于观察离体细胞涂片。显微镜101可以是光学显微镜或电子显微镜。医生制作好离体细胞涂片后，将离体细胞涂片放到显微镜101上进行观察。
图像采集装置102架设在显微镜101上，用于拍摄显微镜101当前视野范围中的图像。示例性的，图像采集装置102是工业相机设备。图像采集装置102将采集到的图像通过有线或无线网络传输到计算机设备103。示例性的，图像采集装置102和显微镜101也可以是同一个设备，例如，具有图像采集功能的电子显微镜。
可选地，计算机设备103可以是终端或服务器。终端包括笔记本电脑、台式电脑、智能手机、平板电脑、智能音箱、智能机器人中的至少一种。示例性的，计算机设备103包括第一存储器和第一处理器。第一存储器中存储有第一程序；上述第一程序被第一处理器调用执行以实现细胞图像的识别方法。第一存储器可以包括但不限于以下几种：随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除只读存储器(Erasable ProgrammableRead-Only Memory，EPROM)、以及电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory，EEPROM)。第一处理器可以是一个或者多个集成电路芯片组成。可选地，第一处理器可以是通用处理器，比如，中央处理器(Central Processing Unit，CPU)或者网络处理器(Network Processor，NP)。可选地，第一处理器可以通过调用细胞识别模型105来实现本申请提供的细胞图像的识别方法。示例性的，细胞识别模型105是一种机器学习模型。
图像显示装置104用于显示细胞图像的识别结果。图像显示装置104可以是计算机显示屏、移动终端显示屏、AR(Augmented Reality，增强现实)显示屏、VR(VirtualReality，虚拟现实)显示屏。示例性的，图像显示装置104和计算机设备103也可以是同一个设备，例如，笔记本电脑、手机、台式电脑。
在一个可选的实施例中，细胞识别模型包括特征提取器和识别器，细胞识别模型用于识别n种目标细胞，n是大于零的整数；计算机设备，还用于调用特征提取器提取细胞图像的特征图像；调用识别器识别特征图像得到识别结果，标注信息包括预测框、目标细胞类型、概率值中的至少一个，预测框用于在细胞图像上圈出目标细胞。
在一个可选的实施例中，特征图像包括：不同尺寸的m级特征图像，识别器包括m个预测层，m为正整数；计算机设备，还用于基于第i级特征图像生成第i级预测输入图像，i是不大于m的正整数；调用第i个预测层预测第i级预测输入图像得到至少一个预测结果；每个预测结果包括预测框、预测框中的细胞属于n种目标细胞的n个概率值，n是大于零的整数；将预测结果中概率值大于概率值阈值的预测结果确定为识别结果。
在一个可选的实施例中，计算机设备，还用于调用第i个预测层将第i级预测输入图像划分为a*b个网格，a、b是大于0的整数；调用第i个预测层对a*b个网格中的每个网格，预测k个预测框，得到预测框对应的预测结果，预测结果包括预测框的位置信息、大小信息、预测框中的细胞属于n种目标细胞的n个概率值，共得到a*b*k个预测结果，k是正整数。
在一个可选的实施例中，计算机设备，还用于将预测结果中概率值大于概率阈值的预测结果，确定为候选预测结果集；对候选预测结果集，保留重合预测结果中的第一预测结果，将第一预测结果确定为识别结果；重合预测结果是重合度大于重合度阈值的至少两个预测结果，第一预测结果是重合结果中概率值最大的预测结果，重合度用于描述两个预测框的重合程度。
在一个可选的实施例中，细胞识别模型还包括特征融合器，计算机设备，还用于获取至少两个特征图像，至少两个特征图像包括：第i级特征图像和第j级特征图像，第j级特征图像的尺寸与第i级特征图像的尺寸不同，j是不大于m的正整数；调用特征融合器融合至少两个特征图像，得到第i级预测输入图像。
在一个可选的实施例中，计算机设备，还用于将特征图像按照尺寸大小顺序排列，获取第i个特征图像至第m个特征图像；或，将特征图像按照尺寸大小顺序排列，获取第1个特征图像至第i个特征图像；或，获取第i个特征图像和第i+1个特征图像；或，获取第i个特征图像和第i-1个特征图像。
在一个可选的实施例中，离体细胞涂片是宫颈细胞的细胞涂片，目标细胞包括：不能明确意义的非典型鳞状细胞ASC-US、低度鳞状上皮内病变LSIL、倾向于高度病变的非典型鳞状细胞ASCH、高度鳞状上皮内病变HSIL、鳞癌SCC、腺癌AdC和非典型腺细胞AGC中的至少一种。
在一个可选的实施例中，计算机设备，还用于调用失焦识别模型识别细胞图像得到细胞图像的清晰程度，失焦识别模型是用于识别细胞图像清晰程度的分类模型；响应于细胞图像的清晰程度满足目标条件，调用细胞识别模型识别细胞图像得到识别结果。
在一个可选的实施例中，计算机设备，还用于获取样本数据，样本数据包括：第一比例的非目标数据和目标数据，非目标数据包括非目标细胞图像，目标数据包括目标细胞图像和标注信息，标注信息用于标注目标细胞图像中的目标细胞；根据第二比例从样本数据中确定训练集和验证集；根据训练集训练至少两个初始模型得到至少两个识别模型；根据验证集验证识别模型，得到识别模型的准确率；将准确率最高的识别模型确定为细胞识别模型。
本申请提供的一种细胞图像的识别方法。示例性的，以该方法应用在宫颈细胞的显微镜下病理诊断中为例，可以辅助病理医生进行诊断，从而提升宫颈细胞涂片的诊断速度和准确性。该方法能够应用在如图1所示的计算机系统中。
当病理医生在显微镜下对宫颈细胞涂片进行观察时，图像采集装置实时采集显微镜当前视野下的细胞图像，将细胞图像输入到计算机设备，计算机设备调用细胞识别模型对细胞图像进行识别，将识别结果输出到图像显示装置上进行显示，识别结果输出的图像包括病变细胞位置和病变细胞类型。
示例性的，给出一种细胞识别模型，如图2所示，将细胞图像输入细胞识别模型，细胞图像201经过一系列卷积之后得到三张特征图，分别为1/8特征图202、1/16特征图203、1/32特征图204，其中，1/8、1/16、1/32为特征图与细胞图像的大小比例。将1/16特征图203和1/32特征图204进行特征融合得到特征融合图206，将1/8特征图202、1/16特征图203和1/32特征图204进行特征融合得到特征图207，将1/32特征图输入识别模块3得到第一预测结果208，将特征融合图206输入识别模块2得到第二预测结果209，将特征融合图207输入识别模块1得到第三预测结果210，预测结果包括圈出病变细胞所在位置的预测框的坐标、病变细胞类型、病变细胞属于每个类型的概率。将第一预测结果208、第二预测结果209、第三预测结果210标注到细胞图像上，根据预测结果中的病变细胞属于该类型的概率从预测结果中筛选出概率较高的预测结果，将筛选出的预测结果确定为识别结果，根据识别结果在细胞图像上标注出病变细胞得到目标图像，将目标图像显示在图像显示装置上。
示例性的，细胞识别模型可以识别出n种病变细胞，n是大于零的整数。例如，病变细胞的种类包括：ASC-US(Atypical Squamous Cells of Undetermined Significance，不能明确意义的非典型鳞状细胞)、LSIL(Low Squamous Intraepithelial Lesion，低度鳞状上皮内病变)、ASCH(Atypical Squamous Cell-cannot exclude HISL,倾向于高度病变的非典型鳞状细胞)、HSIL(High Squamous Intraepithelial Lesion,高度鳞状上皮内病变)、SCC(Squamous Cell Carcinoma,鳞癌)、AdC(Adenocarcinoma,腺癌)和AGC(AtypicalGlandular Cells，非典型腺细胞)中的至少一种。示例性的，n等于7，即细胞识别模型用于识别上述7种病变细胞。
识别模块用于将图像划为a*b的网格，对每个网格预测k个预测框，示例性的，预测框为矩形框。每个预测框对应一组预测结果，一组预测结果包括：预测框的中心点坐标(x,y)、预测框的长和宽(h,w)、预测框中的细胞属于n种病变细胞的n个概率值。其中，a、b、k是大于0的整数，示例性的，a等于b；x、y、h、w是任意数值。一组预测结果包括k*(4+n)个数据，a*b个网格可以得到a*b组预测结果。
对于筛选过程，首先从根据概率值阈值，将预测结果中概率值高于概率值阈值的预测框筛选出来。然后用NMS(Non-Maximum Suppression，非极大值抑制)算法去除重复的预测框，得到最终的识别结果。NMS算法可以参考2006年发表在ICPR(InternationalConference on Pattern Recognition，国际模式识别会议)的论文《Efficient Non-Maximum Suppression》。
示例性的，如图3所示，给出一种在图像显示装置上显示的识别结果，在细胞图像中用预测框301圈出了病变细胞，并在预测框301附近显示有病变细胞类型以及概率302。
对于细胞识别模型的训练，首先获取宫颈细胞涂片的图像以及对应的病变细胞标注信息，病变细胞标注信息包括：预测框的中心点坐标(x,y)、预测框的长和宽(h,w)和病变细胞类型。将带有标注的图像(有病变细胞的图像)记为正样本，没有标注的图像(没有病变细胞的图像)记为负样本，正负样本的比例为1:4。然后按照7：3的比例将正负样本划分为训练集和验证集，配置模型的基本参数以及训练参数，其中num_classes＝7(识别的病变细胞种类)，基于训练集对初始模型进行训练得到多个模型。使用验证集对模型进行验证，选择准确率的模型作为最终的细胞识别模型。
图4示出了本申请一个示例性实施例提供的细胞图像的识别方法的流程图。该方法可以由图1所示的计算机设备来执行。所述方法包括：
步骤401，接收图像采集装置发送的细胞图像，细胞图像是显微镜视野中离体细胞涂片的实时图像，图像采集装置安装在显微镜上，图像采集装置用于采集显微镜的视野范围中的图像。
离体细胞涂片是使用离体的细胞制作出的细胞图片。离体的细胞包括动物细胞或植物细胞，示例性的，离体的细胞包括宫颈细胞。
示例性的，该方法应用在用户使用显微镜对离体细胞涂片进行日常诊断的流程中。用户制作好离体细胞涂片后，将离体细胞涂片放置在显微镜中进行观察。用户通过调节显微镜，使显微镜的视野中显示离体细胞涂片的图像。图像采集装置实时获取显微镜视野中呈现的图像，计算机设备调用细胞识别模型对图像进行实时识别，并将识别结果实时显示在图像显示装置(显示器)上，使显示器上显示出的识别结果与用户在显微镜中观察到的图像同步。
实时图像是指，图像采集装置采集到的细胞图像，会随着用户对显微镜视野范围的调整而实时变化。例如，如图5所示，以离体细胞涂片是宫颈细胞涂片为例，用户使用显微镜对宫颈细胞涂片501进行观察，用户调整显微镜观察宫颈细胞涂片501中的区域502，则用户在显微镜中会看到图像503，图像采集装置同样采集到了图像503，将图像503确定为细胞图像传送给计算机设备，经过识别后，在图像显示装置上显示出识别结果504，识别结果504中标注出了病变细胞ASC-US。当用户调整宫颈涂片位置，调整显微镜放大倍数后，观察宫颈细胞涂片501中的区域505，用户可以在显微镜中看到图像506，图像采集装置同样采集到了图像506，将图像506确定为细胞图像传送给计算机设备，经过识别后，在图像显示装置上显示出识别结果507，识别结果507中标注出了目标细胞LSIL。示例性的，由于显微镜的视野范围是一定的，细胞图像的大小是相同的。虽然区域502和区域505的在宫颈细胞涂片上的大小不同，但图像503和图像506的大小相同。示例性的，实时图像可以是具有一定处理时延的图像。处理时延包括图像采集装置采集图像所需的时间、图像采集装置和计算机设备之间传输数据所需的时间、计算机设备处理细胞图像所需的时间、计算机设备将目标图像发送给图像显示装置所需的时间、图像显示设备将目标图像显示出来所需的时间中的至少一种。
示例性的，显微镜是病理显微镜，图像采集装置是架设在显微镜上的工业相机设备。示例性的，图像采集装置实时采集显微镜当前视野范围中的细胞图像，实时传输给计算机设备。或，图像采集装置周期性地采集显微镜当前视野范围中的细胞图像，周期性地传输给计算机设备。或，在图像采集装置上设置拍摄键，当用户触发拍摄键时，图像采集装置拍摄显微镜当前视野范围中的细胞图像，并将细胞图像传输给计算机设备。
步骤402，调用细胞识别模型识别细胞图像得到识别结果，细胞识别模型是用于在细胞图像中识别目标细胞的卷积神经网络模型，识别结果包括细胞图像中的目标细胞的标注信息。
计算机设备在接收到图像采集装置发送的细胞图像后，调用细胞识别模型对细胞图像进行识别。细胞识别模型是一种基于机器学习的分类识别模型。细胞识别模型用于识别输入的细胞图像中的病变细胞，并在细胞图像中标识出目标细胞。
示例性的，细胞识别模型是一种基于深度卷积神经网络的目标检测模型。细胞识别模型用于在细胞图像中找出并识别目标细胞。示例性的，将细胞图像输入细胞识别模型，细胞识别模型输出识别结果，识别结果是目标细胞的标注信息。
示例性的，识别结果可以是图像或文字中的至少一种。例如，识别结果是带有标注信息的细胞图像，或，识别结果是描述，目标细胞所在位置、目标细胞类型的文字信息(数据)。
标注信息是目标细胞的相关信息，例如，目标细胞的位置信息、大小信息、类型信息、概率值等。
步骤403，根据识别结果和细胞图像生成目标图像，目标图像是在细胞图像上标注识别结果的图像。
示例性的，计算机设备根据识别结果中目标细胞的标注信息，在细胞图像上标注出目标细胞，将标注好的细胞图像确定为目标图像，示例性的，目标图像是带有标注信息的细胞图像。
步骤404，将目标图像发送至图像显示装置，图像显示装置用于显示目标图像。
图像显示装置用于显示目标图像。图像显示装置可以是计算机显示屏、移动终端显示屏、AR显示屏。示例性的，图像显示装置和计算机设备可以是同一个设备，例如，笔记本电脑、手机、台式电脑。
示例性的，图像显示装置将目标图像显示出来。例如，如图3所示，是一种在图像显示装置上显示出的目标图像，在细胞图像中用预测框301标注出了三个目标细胞。
综上所述，本实施例提供的方法，通过安装在显微镜上的图像采集装置，采集显微镜当前视野中离体细胞涂片的实时细胞图像，该细胞图像即为病理医生从显微镜中看到的离体细胞涂片的图像。图像采集装置将细胞图像发送给计算机设备，计算机设备调用细胞识别模型对细胞图像进行识别，得到细胞图像的识别结果，根据识别结果在细胞图像上标注出目标细胞，计算机设备将目标图像发送给图像显示装置进行显示。使病理医生可以实时看到计算机提供的目标图像，当病理医生调整显微镜更改显微镜的视野范围，图像显示装置上也会实时显示出当前视野范围的细胞图像对应的目标图像，从而将计算机的识别结果融入到病理医生的显微镜下日常诊断的流程中，辅助病理医生进行细胞的筛查，提高细胞筛查的准确度。
示例性的，给出一个使用细胞识别模型来识别病变细胞的示例性实施例。图6示出了本申请一个示例性实施例提供的细胞图像的识别方法的流程图。该方法可以由图1所示的计算机设备来执行。基于图4所示的方法，步骤402还包括步骤4021和步骤4022。
步骤4021，调用特征提取器提取细胞图像的特征图像。
示例性的，细胞识别模型包括特征提取器和识别器，细胞识别模型用于识别n种目标细胞，n是大于零的整数。
特征提取器用于提取细胞图像的特征。示例性的，特征提取器通过多层卷积提取细胞图像的特征，得到细胞图像的至少两个特征图像。示例性的，特征图像按照图像的大小可以分为多个级别，例如，如图2所示，第一级特征图像是细胞图像的1/8大小(1/8特征图202)，第二级特征图像是细胞图像的1/16大小(1/16特征图203)，第三级特征图像是细胞图像的1/32大小(1/32特征图204)。
细胞识别模型用于识别n种目标细胞，n是大于0的整数。例如，离体细胞涂片是宫颈细胞的细胞涂片，目标细胞包括：ASC-US、LSIL、ASCH、HSIL、SCC、AdC和AGC中的至少一种。则细胞识别模型用于识别：ASC-US、LSIL、ASCH、HSIL、SCC、AdC和AGC中的至少一种。
步骤4022，调用识别器识别特征图像得到识别结果，标注信息包括预测框、目标细胞类型、概率值中的至少一个，预测框用于在细胞图像上标圈出目标细胞。
示例性的，经过特征提取器得到细胞图像的至少两个特征图像后，利用特征识别器对特征图像进行识别，得到细胞图像的识别结果。
识别器用于根据特征图像识别目标细胞，得到目标细胞的标注信息。示例性的，识别器根据特征图像得到预测框、预测框中细胞的类型以及概率值。预测框用于在细胞图像中圈出目标细胞所在的位置。示例性的，预测框是识别器对目标细胞进行识别后，根据目标细胞的大小和位置，预测出的矩形框。示例性的，概率值包括n种类型目标细胞对应的n个概率值。示例性的，一个预测框对应有n个概率值。
示例性的，如图7所示，识别器包括m个预测层，m为正整数，步骤4022还包括步骤4022-1到步骤4022-3。
步骤4022-1，基于第i级特征图像生成第i级预测输入图像，i是不大于m的正整数。
示例性的，特征图像包括：不同尺寸的m级特征图像。示例性的，以特征图像包括3级特征图像为例，第1级特征图像的大小为细胞图像的1/8，第2级特征图像的大小为细胞图像的1/16，第3级特征图像的大小为细胞图像的1/32。示例性的，特征图像还可以按照尺寸分为4、5、6级特征图像。
示例性的，识别器包括预测层，预测层用于对输入的图像进行预测得到预测结果。示例性的，一个图像输入预测层能够得到至少一个预测结果，预测结果包括预测框、预测框中的细胞属于n种目标细胞的n个概率值。因此，识别器根据细胞图像的多个特征图像就可以得到细胞图像的多个预测结果，然后识别器对预测结果进行筛选，从中选出识别结果。
示例性的，一个预测层能够处理预设大小的图像，不同大小的图像使用对应的预测层进行预测。对应于特征图像按照大小分为m级特征图像，预测层也有m级预测层。例如，特征图像按照图像大小分为3级特征图像，则预测层也对应有3级，第1级特征图像使用第1级预测层进行预测，第2级特征图像使用第2级预测层进行预测，第3级特征图像使用第3级预测层进行预测。示例性的，预测层的数量可以小于等于特征图像的数量，例如，预测层有两个：第2级预测层和第3级预测层，分别用于识别第2级特征图像和第3级特征图像。
示例性的，预测输入图像是输入到预测层的图像。在将特征图像输入预测层之前，还可以对特征图像进行处理，将处理后的特征图像作为预测输入图像输入到预测层中进行预测。示例性的，对应的，第i级预测输入图像用于输入第i级预测层。示例性的，第i级预测输入图像的大小与第i级特征图像的大小相同。
示例性的，计算机设备基于第i级特征图像生成第i级预测输入图像。
示例性的，如图8所示，将特征图像输入预测层之前，还可以对特征图像进行特征融合，将特征融合后的特征融合图像输入到预测层进行预测，步骤4022-1还包括步骤4022-11到步骤4022-12。
步骤4022-11，获取至少两个特征图像，至少两个特征图像包括：第i级特征图像和第j级特征图像，第j级特征图像的尺寸与第i级特征图像的尺寸不同，j是不大于m的正整数。
示例性的，计算机设备从多个特征图像中选出至少两个特征图像进行特征融合。示例性的，至少两个特征图像中包括第i级特征图像和第j级特征图像，其中，第j级特征图像的尺寸与第i级特征图像的尺寸不同。例如，第j级特征图像的尺寸小于第i级特征图像的尺寸，或，第j级特征图像的尺寸大于第i级特征图像的尺寸。例如，计算机设备从多个特征融合图像中选出第3级特征图像(细胞图像的1/32大小)和第2级特征图像(细胞图像的1/16大小)。
示例性的，第j级特征图像包括至少一个特征图像。例如，第j级特征图像包括第2级特征图像(细胞图像的1/16大小)和第3级特征图像(细胞图像的1/32大小)，第i级特征图像为第1级特征图像(细胞图像的1/8大小)。
示例性的，计算机设备可以获取多组特征图像，每组特征图像包括第i级特征图像和第j级特征图像，将一组特征图像中的至少两个特征图像融合得到一个预测输入图像，多组特征图像就可以得到多个预测输入图像。
示例性的，将特征图像按照尺寸大小顺序排列，获取第i个特征图像至第m个特征图像；或，将特征图像按照尺寸大小顺序排列，获取第1个特征图像至第i个特征图像；或，获取第i个特征图像和第i+1个特征图像；或，获取第i个特征图像和第i-1个特征图像。
例如，特征图像分为3级特征图像，当i＝1时，获取第1级特征图像、第2级特征图像和第3级特征图像；或，获取第1级特征图像和第2级特征图像。当i＝2时，第2级特征图像和第3级特征图像；或，获取第1级特征图像和第2级特征图像。当i＝3时，获取第1级特征图像、第2级特征图像和第3级特征图像；或，获取第2级特征图像和第3级特征图像。
步骤4022-12，调用特征融合器融合至少两个特征图像，得到第i级预测输入图像。
示例性的，细胞识别模型还包括特征融合器。特征融合器用于将至少两个特征图像进行融合得到融合后的预测输入图像。
示例性的，当第j级特征图像的尺寸小于第i级特征图像时，特征融合器将第j级特征图像放大到第i级特征图像的大小，然后将放大后的图像与第i级特征图像相加得到融合后的第i级预测输入图像。当第j级特征图像的尺寸大于第i级特征图像时，特征融合器将第j级特征图像缩小到第i级特征图像的大小，然后将缩小后的图像与第i级特征图像相加得到融合后的第i级预测输入图像。融合后的第i级预测输入图像与第i级特征图像的大小相同。
例如，如图2所示，特征融合器将第3级特征图像(1/32特征图204)和第2级特征图像(1/16特征图203)进行特征融合得到第2级预测输入图像(特征融合图206)，将第3级特征图像(1/32特征图204)、第2级特征图像(1/16特征图203)和第1级特征图像(1/8特征图202)进行特征融合得到第1级预测输入图像(特征融合图206)。示例性的，计算机设备也可以将第3级特征图像和第1级特征图像进行特征融合得到第1级预测输入图像。
示例性的，计算机设备使用特征融合器将多个特征图像进行特征融合后，得到多个预测输入图像，将预测输入图像分别输入对应的预测层得到多个预测结果。
步骤4022-2，调用第i个预测层预测第i级预测输入图像得到至少一个预测结果，每个预测结果包括预测框、预测框中的细胞属于n种目标细胞的n个概率值，n是大于零的整数。
示例性的，根据预测输入图像的大小，将第i级预测输入图像输入到第i级预测层中获取预测结果。示例性的，第i级预测输入图像可以是第i级特征图像，也可以是第i级特征图像与其他特征图像融合后的图像。
示例性的，一个预测输入图像输入预测层后可以得到至少一个预测结果。即，一个预测输入图像可以得到至少一个预测框。多个预测输入图像可以得到多个预测框。
示例性的，如图8所示，给出一种预测层得到预测框的示例性实施例，步骤4022-2还包括步骤4022-21和步骤4022-22。
步骤4022-21，调用第i个预测层将第i级预测输入图像划分为a*b个网格，a、b是大于0的整数。
第i级预测层将输入的第i级预测输入图像划分为a*b个网格，然后对每个网格预测至少一个预测框。
例如，如图9所示，预测层将预测输入图像901划分为7*7的网格。
步骤4022-22，调用第i个预测层对a*b个网格中的每个网格，预测k个预测框，得到预测框对应的预测结果，预测结果包括预测框的位置信息、大小信息、预测框中的细胞属于n种目标细胞的n个概率值，共得到a*b*k个预测结果，k是正整数。
预测层对每一个网格，都预测k个预测框。即，a*b个网格对应有a*b*k个预测框。每个预测框对应一个预测结果，一个预测结果包括该预测框的中心点坐标(x,y)、该预测框的长宽(h,w)、该预测框中的细胞属于n种目标细胞的n个概率值。即，一个预测结果中包括了(4+n)个数值。即，一个预测输入图像最终可以得到a*b*k个预测结果，a*b*k(4+n)个数值。示例性的，k等于3。示例性的，中心点坐标和预测框的长宽是在细胞图像上的坐标和长度。
例如，如图9所示，以其中的一个网格为例，预测层预测得到第一预测框902和第二预测框903，第一预测框对应有第一预测结果：第一预测框的中心点坐标(x1,y1)、第一预测框的长宽(h1,w1)、第一预测框中的细胞904属于n种目标细胞的n个概率值；第二预测框对应有第二预测结果：第二预测框的中心点坐标(x2,y2)、第二预测框的长宽(h2,w2)、第二预测框中的细胞904属于n种目标细胞的n个概率值。
则，当k等于3时，图9所示的预测输入图像经过预测层可以预测得到7*7*3＝147个预测框。如图2所示，当细胞图像有3个预测输入图像时，将3个预测输入图像分别输入三个预测层，就可以得到细胞图像的3*147＝441个预测框，即，441个预测结果。
步骤4022-3，将预测结果中概率值大于概率值阈值的预测结果确定为识别结果。
示例性的，计算机设备调用预测层对预测输入图像进行预测后，得到多个预测结果，然后，计算机设备从多个预测结果中筛选出符合条件的预测结果作为识别结果。
示例性的，计算机设备根据预测结果中的概率值进行筛选，将概率值大于概率阈值的预测结果确定为识别结果。例如，细胞识别模型用于识别3种目标细胞，概率值阈值为0.5，预测层输出了2个预测结果：第一预测结果中包括第一目标细胞、第二目标细胞、第三目标细胞的概率值：(0.8，0.2，0.1)；第二预测结果中包括概率值：(0.1，0.1，0.2)，则计算机设备将第一预测结果确定为识别结果。
概率阈值用于筛选出预测结果中属于目标细胞的概率较大的预测结果。示例性的，概率阈值为大于0小于1的数值，例如，概率阈值为0.5或0.8。
示例性的，由于一个目标细胞可能被多个预测框圈中，因此要对预测框进行筛重，如图8所示，步骤4022-3包括步骤2022-31和步骤2022-32。
步骤2022-31，将预测结果中概率值大于概率阈值的预测结果，确定为候选预测结果集。
示例性的，计算机设备首先根据概率值阈值将预测结果中概率值较大的预测结果筛选出来，作为候选预测结果，组成候选预测结果集。然后对候选预测结果集中的预测结果进行进一步筛选。
步骤2022-32，对候选预测结果集，保留重合预测结果中的第一预测结果，将第一预测结果确定为识别结果；重合预测结果是重合度大于重合度阈值的至少两个预测结果，第一预测结果是重合结果中概率值最大的预测结果，重合度用于描述两个预测框的重合程度。
示例性的，利用NMS算法来去除重复的预测框。NMS算法设置了两个集合H集合和M集。初始时，H集中为候选预测结果集，M集为空集。NMS算法将候选预测结果集中的所有预测结果按照概率值大小排序，选出概率值最大的第一预测结果，将第一预测结果从H集移到M集，然后用第一预测结果中的预测框依次与H中的预测结果的预测框计算交并比(Intersection-Over-Union，IOU)(重合度)，将交并比数值大于重合度阈值的预测框对应的预测结果从H集中删除。然后再将H集中概率值第一大的第二预测结果，移到M集，用第二预测结果与H集中剩下的预测结果依次计算IOU，删除H集中与第二预测结果的重合度大于重合度阈值的预测结果。重复上述步骤，直至H集为空集，此时，M集中的预测结果即为识别结果。
综上所述，本实施例提供的方法，通过将细胞图像输入特征提取器进行特征提取，得到细胞图像的至少一个特征图像，然后将特征图像输入识别器进行识别，得到识别结果。细胞识别模型利用预测框在细胞图像中标注出目标细胞以及目标细胞类型，使病理医生可以从识别结果中直接观察到目标细胞所在位置以及类型，便于病理医生使用显微镜进一步对目标细胞进行观察，从而确认该细胞是否属于目标细胞。
本实施例提供的方法，通过将特征图像输入预测层，由预测层对特征图像进行预测，得到至少一组预测结果，即，预测层从特征图像中圈出个预测框，并给出预测框的中心点坐标、长度、宽度，以及预测框中的细胞属于n种目标细胞的n个概率值，然后对多个预测结果进行筛选，从中选出概率值较大的预测框，将其确定为最终的识别结果。
本实施例提供的方法，将筛选分为两个步骤，首先用概率阈值从预测结果中选出概率值较大的预测结果得到候选预测结果集，然后用NMS算法去除候选预测结果集中重合度较高的预测框，得到最终的识别结果。使识别结果中只圈出概率值较大的目标细胞，并且使识别结果中一个目标细胞对应一个预测框，防止识别结果中预测框数量过多，影响病理医生的观察。
本实施例提供的方法，通过设置特征融合器，融合细胞图像在多个特征维度上的特征图像得到特征融合图像，使识别器根据特征融合图像得到识别结果，使细胞识别模型根据细胞图像在多个特征维度上的特征识别目标细胞，提高目标细胞识别的准确度。
示例性的，本申请还给出了一种训练细胞识别模型的示例性实施例。图10示出了本申请一个示例性实施例提供的细胞识别模型的训练方法的流程图。该方法可以由图1所示的计算机设备来执行。该方法包括以下步骤。
步骤601，获取样本数据，样本数据包括：第一比例的非目标数据和目标数据，非目标数据包括非目标细胞图像，目标数据包括目标细胞图像和标注信息，标注信息用于标注目标细胞图像中的目标细胞。
示例性的，计算机设备首先获取样本数据，样本数据包括正样本和负样本，正样本为：有目标细胞的标注信息的细胞图像；负样本为：没有目标细胞的标注信息的细胞图像。示例性的，正样本为有目标细胞的细胞图像，负样本为没有目标细胞的细胞图像。
示例性的，计算机设备按照正样本：负样本＝1:4的比例获取样本数据。
步骤602，根据第二比例从样本数据中确定训练集和验证集。
示例性的，计算机设备按照训练集：验证集＝7:3的比例，将样本数据划分为训练集和验证集。训练集用于训练细胞识别模型，验证集用于验证训练好的细胞识别模型的识别效果。
步骤603，根据训练集训练至少两个初始模型得到至少两个识别模型。
示例性的，计算机设备使用训练集训练多个初始模型得到多个识别模型。初始模型是设置好基本参数和训练参数的神经网络模型。
步骤604，根据验证集验证识别模型，得到识别模型的准确率。
示例性的，计算机设备使用验证集来验证识别模型的识别效果，计算识别模型识别验证集的正确率。
步骤605，将准确率最高的识别模型确定为细胞识别模型。
示例性的，细胞识别模型也可以采用SSD模型、Faster RCNN模型进行开发。SSD模型可以参考2016年发表在ECCV(European Conference on Computer Vision，欧洲计算机视觉国际会议)的论文《SSD:Single Shot MultiBox Detector》。Faster RCNN模型可以参照发表在CVPR的论文《Towards Real-Time Object Detection with Region ProposalNetworks》。
综上所述，本实施例提供的方法，通过按照第一比例获取正负样本，按照第二比例将样本分为训练集和验证集，用训练集训练得到多个模型，用验证集验证各个模型的准确率，将准确率最高的模型确定为最终的细胞识别模型，使细胞识别模型具有较高的准确率，能够更好地辅助病理医生进行细胞学检测。
示例性的，本申请还给出一种在对细胞图像进行病变细胞识别前，先识别细胞图像是否清晰的示例性实施例。图11示出了本申请一个示例性实施例提供的细胞图像的识别系统的框图。
如图11所示，该系统包括显微镜101、图像采集装置102、计算机设备103、图像显示装置104。与图1所示的病变细胞识别系统不同的是，该计算机设备103上还运行了一个失焦识别模型106。
失焦识别模型是基于卷积神经网络的二分类模型。失焦识别模型用于识别细胞图像清晰或失焦。
示例性的，失焦识别模型采用MobileNetv2模型的轻量级CNN分类网络进行开发。MobileNetv2模型可以参照2018年发表的论文《MobileNetV2:Inverted Residuals andLinear Bottlenecks》。首先，按照1:1的比例获取训练模型的正样本(清晰图像)和负样本(失焦图像)，将正样本和负样本切成224像素*224像素大小的图片。按照训练集：验证集3:1的比例将正负样本划分为训练集和验证集。基于训练集对失焦识别模型进行训练，使用验证集对训练得到的模型进行检验，将准确率较高的模型确定为失焦识别模型。
示例性的，将细胞图像输入失焦识别模型后，失焦识别模型从细胞图像上采集至少一个目标图像，对目标图像的分类进行预测得到预测分数。示例性的，失焦识别模型分别从细胞图像的左上角、左下角、右上角、右下角、中间五个位置截取224像素*224像素大小的五个目标图像，对五个目标图像进行预测，得到5个分类结果，将5个分类结果中数量最多的分类结果确定为最终的分类结果。
例如，如图12所示，计算机设备分别从细胞图像1301的左上角截取第一目标图像1302，从右上角截取第二目标图像1303，从右下角截取第三目标图像1304，从左下角截取第四目标图像1305，从中间截取第五目标图像1306。然后用失焦识别模型分别预测五个目标图像的分类结果，例如，5个分类结果分别为：清晰、清晰、清晰、失焦、失焦，则失焦识别模型最终输出该细胞图像的分类为清晰。
图13示出了本申请一个示例性实施例提供的细胞图像的识别方法的流程图。该方法可以由图12所示的计算机设备来执行。该方法包括以下步骤。
步骤1101，病理医生制作好离体细胞涂片，将离体细胞涂片放到病理显微镜上观察。
步骤1102，图像采集装置实时采集病理显微镜当前视野中的细胞图像，并将细胞图像发送给计算机设备。
步骤1103，计算机设备接收到细胞图像后，调用失焦识别模型识别细胞图像得到细胞图像的清晰程度，失焦识别模型是用于识别细胞图像清晰程度的分类模型。
计算机设备调用失焦识别模型识别细胞图像是否失焦，若失焦则控制计算机设备向显示设备发送细胞图像失焦的提示信息，使显示设备显示细胞图像失焦的提示信息。示例性的，失焦识别模型用于识别细胞图像的清晰程度。清晰程度包括至少一种清晰程度，例如，包括一级清晰、二级清晰、一级模糊、二级模糊等。示例性的，清晰程度包括清晰和失焦两种。
步骤1104，响应于细胞图像的清晰程度满足目标条件，调用细胞识别模型识别细胞图像得到识别结果。
示例性的，目标条件用于判断细胞图像是否清晰。当细胞图像的清晰程度较高时，调用细胞识别模型识别细胞图像得到识别结果。
示例性的，若失焦识别模型判断细胞图像清晰，则计算机设备调用病理细胞检测和分类算法(细胞识别模型)识别细胞图像中的目标细胞得到识别结果，根据识别结果和细胞图像生成目标图像，并将目标图像发送到显示设备。
步骤1105，显示设备显示目标图像。
综上所述，本实施例提供的方法，通过设置失焦识别模型，在对细胞图像进行目标细胞识别之前，先判断图像是否失焦，若失焦则提示用户当前图像失焦，若没有失焦则使用细胞识别模型识别细胞图像中的目标细胞，从而减少细胞图像模糊对识别结果的影响，提高细胞识别模型识别目标细胞的准确度。
示例性的，本申请还给出了另一种结构的细胞识别模型，提高细胞识别模型对较大细胞团的识别能力。图14示出了本申请一个示例性实施例提供的细胞图像的识别方法的流程图。该方法可以由图1或图12所示的计算机设备来执行。
示例性的，特征融合器包括两个特征融合层，第一特征融合层用于将第i级特征图像和第j级特征图像进行特征融合得到第i级特征融合图像，其中，第i级特征图像的大小大于第j级特征图像的大小。第二层特征融合层用于将第i级特征融合图像和第t级特征融合图像进行特征融合得到第i级预测输入图像，其中，t是不大于i的正整数，第i级特征图像的大小小于第t级特征图像的大小。
如图14所示，计算机设备将细胞图像1401输入细胞识别模型。调用特征提取器提取细胞图像1401的4个特征图像：第1级特征图像1402(细胞图像的1/8大小)、第2级特征图像1403(细胞图像的1/16大小)、第3级特征图像1404(细胞图像的1/32大小)、第4级特征图像1405(细胞图像的1/64大小)。调用第一特征融合层将第3级特征图像1404和第4级特征图像1405进行特征融合得到第3级特征融合图像1406，将第2级特征图像1403、第3级特征图像1404和第4级特征图像1405进行特征融合得到第2级特征融合图像1407，将第1级特征图像1402、第2级特征图像1403、第3级特征图像1404和第4级特征图像1405进行特征融合得到第1级特征融合图像1408。调用第二特征融合层将第1级特征融合图像1408和第2级特征融合图像1407进行融合得到第2级预测输入图像1409，将第1级特征融合图像1408、第2级特征融合图像1407和第3级特征融合图像1406进行融合得到第3级预测输入图像1410，将第1级特征融合图像1408、第2级特征融合图像1407、第3级特征融合图像1406和第4级特征图像1405进行融合得到第4级预测输入图像1411。将第1级特征融合图像1408确定为第1级预测输入图像，输入第1级预测层1412(检测模块1)得到预测结果，将第2级预测输入图像1409输入第2级预测层1413(检测模块2)得到预测结果，将第3级预测输入图像1410输入第3级预测层1414(检测模块3)得到预测结果，将第4级预测输入图像1411输入第4级预测层1415(检测模块4)得到预测结果。然后对得到的预测结果进行筛选得到最终的识别结果。
综上所述，本实施例提供的方法，通过增加第4级特征图像，提高了细胞识别模型对细胞图像的特征提取能力，提高了细胞识别模型对大细胞团的识别能力。通过增加第二特征融合层，增加了自下而上的特征融合，进一步地提升特征的表达能力，提高细胞识别模型识别目标细胞的准确率。
以下为本申请的装置实施例，对于装置实施例中未详细描述的细节，可以结合参考上述方法实施例中相应的记载，本文不再赘述。
图15示出了本申请的一个示例性实施例提供的细胞图像的识别装置的结构示意图。该装置可以通过软件、硬件或者两者的结合实现成为计算机设备的全部或一部分，该装置包括：
接收模块1501，用于接收图像采集装置发送的细胞图像，所述细胞图像是显微镜视野中离体细胞涂片的实时图像，所述图像采集装置安装在所述显微镜上，所述图像采集装置用于采集所述显微镜的视野范围中的图像；
模型模块1502，用于调用细胞识别模型识别所述细胞图像得到识别结果，所述细胞识别模型是用于在所述细胞图像中识别目标细胞的卷积神经网络模型，所述识别结果包括所述细胞图像中的所述目标细胞的标注信息；
生成模块1512，用于根据所述识别结果和所述细胞图像生成目标图像，所述目标图像是在所述细胞图像上标注所述识别结果的图像；
发送模块1503，用于将所述目标图像发送至图像显示装置，所述图像显示装置用于显示所述目标图像。
在一个可选的实施例中，所述细胞识别模型包括特征提取器和识别器，所述细胞识别模型用于识别n种目标细胞，所述n是大于零的整数；所述模型模块1502包括特征提取子模块1504和识别子模块1506；
所述特征提取子模块1504，用于调用所述特征提取器提取所述细胞图像的特征图像；
所述识别子模块1506，用于调用所述识别器识别所述特征图像得到所述识别结果，所述标注信息包括预测框、目标细胞类型、概率值中的至少一个，所述预测框用于在所述细胞图像上圈出所述目标细胞。
在一个可选的实施例中，所述离体细胞涂片包括宫颈细胞涂片，所述特征图像包括：不同尺寸的m级特征图像，所述识别器包括m个预测层，m为正整数；
所述识别子模块1506，还用于基于第i级特征图像生成第i级预测输入图像，所述i是不大于m的正整数；
所述识别子模块1506，还用于调用第i个预测层预测所述第i级预测输入图像得到至少一个预测结果，每个所述预测结果包括所述预测框、所述预测框中的细胞属于n种所述目标细胞的n个所述概率值，所述n是大于零的整数；
所述识别子模块1506，还用于将所述预测结果中所述概率值大于概率值阈值的所述预测结果确定为所述识别结果。
在一个可选的实施例中，所述识别子模块1506，还用于调用所述第i个预测层将所述第i级预测输入图像划分为a*b个网格，所述a、b是大于0的整数；
所述识别子模块1506，还用于调用所述第i个预测层对所述a*b个网格中的每个所述网格，预测k个所述预测框，得到所述预测框对应的所述预测结果，所述预测结果包括所述预测框的位置信息、大小信息、所述预测框中的细胞属于n种所述目标细胞的n个所述概率值，共得到a*b*k个所述预测结果，所述k是正整数。
在一个可选的实施例中，所述识别子模块1506，还用于将所述预测结果中所述概率值大于所述概率阈值的所述预测结果，确定为候选预测结果集；
所述识别子模块1506，还用于对所述候选预测结果集，保留重合预测结果中的第一预测结果，将所述第一预测结果确定为所述识别结果；所述重合预测结果是重合度大于重合度阈值的至少两个所述预测结果，所述第一预测结果是所述重合结果中所述概率值最大的所述预测结果，所述重合度用于描述两个所述预测框的重合程度。
在一个可选的实施例中，所述细胞识别模型还包括特征融合器，所述模型模块1502还包括：特征融合子模块1505；
所述特征融合子模块1505，还用于获取至少两个特征图像，所述至少两个特征图像包括：所述第i级特征图像和第j级特征图像，所述第j级特征图像的尺寸与所述第i级特征图像的尺寸不同，所述j是不大于m的正整数；
所述特征融合子模块1505，还用于调用所述特征融合器融合所述至少两个特征图像，得到所述第i级预测输入图像。
在一个可选的实施例中，所述特征融合子模块1505，还用于将所述特征图像按照尺寸大小顺序排列，获取所述第i个特征图像至第m个特征图像；
或，
所述特征融合子模块1505，还用于将所述特征图像按照尺寸大小顺序排列，获取第1个特征图像至所述第i个特征图像；
或，
所述特征融合子模块1505，还用于获取所述第i个特征图像和第i+1个特征图像；
或，
所述特征融合子模块1505，还用于获取所述第i个特征图像和第i-1个特征图像。
在一个可选的实施例中，所述离体细胞涂片是宫颈细胞的细胞涂片，所述目标细胞包括：不能明确意义的非典型鳞状细胞ASC-US、低度鳞状上皮内病变LSIL、倾向于高度病变的非典型鳞状细胞ASCH、高度鳞状上皮内病变HSIL、鳞癌SCC、腺癌AdC和非典型腺细胞AGC中的至少一种。
在一个可选的实施例中，所述装置还包括：
失焦识别模块1511，用于调用失焦识别模型识别所述细胞图像得到所述细胞图像的清晰程度，所述清晰程度包括清晰和失焦，所述失焦识别模型是用于识别所述细胞图像清晰程度的分类模型；
所述模型模块1502，还用于响应于所述细胞图像的所述清晰程度是所述清晰，调用所述细胞识别模型识别所述细胞图像得到所述识别结果。
在一个可选的实施例中，所述装置还包括：
获取模块1507，用于获取样本数据，所述样本数据包括：第一比例的非目标数据和目标数据，所述非目标数据包括非目标细胞图像，所述目标数据包括目标细胞图像和所述标注信息，所述标注信息用于标注所述目标细胞图像中的目标细胞；
确定模块1508，用于根据第二比例从所述样本数据中确定训练集和验证集；
训练模块1509，用于根据所述训练集训练至少两个初始模型得到至少两个识别模型；
验证模块1510，用于根据所述验证集验证所述识别模型，得到所述识别模型的准确率；
所述确定模块1508，还用于将所述准确率最高的所述识别模型确定为所述细胞识别模型。
图16是本申请一个实施例提供的服务器的结构示意图。具体来讲：服务器1600包括中央处理单元(英文：Central Processing Unit，简称：CPU)1601、包括随机存取存储器(英文：Random Access Memory，简称：RAM)1602和只读存储器(英文：Read-Only Memory，简称：ROM)1603的系统存储器1604，以及连接系统存储器1604和中央处理单元1601的系统总线1605。服务器1600还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1606和用于存储操作系统1613、应用程序1614和其他程序模块1615的大容量存储设备1607。
基本输入/输出系统1606包括有用于显示信息的显示器1608和用于用户输入信息的诸如鼠标、键盘之类的输入设备1609。其中显示器1608和输入设备1609都通过连接到系统总线1605的输入/输出控制器1610连接到中央处理单元1601。基本输入/输出系统1606还可以包括输入/输出控制器1610以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入/输出控制器1610还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备1607通过连接到系统总线1605的大容量存储控制器(未示出)连接到中央处理单元1601。大容量存储设备1607及其相关联的计算机可读介质为服务器1600提供非易失性存储。也就是说，大容量存储设备1607可以包括诸如硬盘或者只读光盘(英文：Compact Disc Read-Only Memory，简称：CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(英文：Erasable Programmable Read-Only Memory，简称：EPROM)、电可擦除可编程只读存储器(英文：Electrically Erasable Programmable Read-Only Memory，简称：EEPROM)、闪存或其他固态存储其技术，CD-ROM、数字通用光盘(英文：Digital Versatile Disc，简称：DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1604和大容量存储设备1607可以统称为存储器。
根据本申请的各种实施例，服务器1600还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1600可以通过连接在系统总线1605上的网络接口单元1611连接到网络1612，或者说，也可以使用网络接口单元1611来连接到其他类型的网络或远程计算机系统(未示出)。
本申请还提供了一种终端，该终端包括处理器和存储器，存储器中存储有至少一条指令，至少一条指令由处理器加载并执行以实现上述各个方法实施例提供的细胞图像的识别方法。需要说明的是，该终端可以是如下图17所提供的终端。
图17示出了本申请一个示例性实施例提供的终端1700的结构框图。该终端1700可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio LayerIII，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group AudioLayer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1700包括有：处理器1701和存储器1702。
处理器1701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1701可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1701所执行以实现本申请中方法实施例提供的细胞图像的识别方法。
在一些实施例中，终端1700还可选包括有：外围设备接口1703和至少一个外围设备。处理器1701、存储器1702和外围设备接口1703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1703相连。具体地，外围设备包括：射频电路1704、触摸显示屏1705、摄像头1706、音频电路1707、定位组件1708和电源1709中的至少一种。
外围设备接口1703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1701和存储器1702。在一些实施例中，处理器1701、存储器1702和外围设备接口1703被集成在同一芯片或电路板上；在一些其他实施例中，处理器1701、存储器1702和外围设备接口1703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1704用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1704包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1704还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1705用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1705是触摸显示屏时，显示屏1705还具有采集在显示屏1705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1701进行处理。此时，显示屏1705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1705可以为一个，设置终端1700的前面板；在另一些实施例中，显示屏1705可以为至少两个，分别设置在终端1700的不同表面或呈折叠设计；在再一些实施例中，显示屏1705可以是柔性显示屏，设置在终端1700的弯曲表面上或折叠面上。甚至，显示屏1705还可以设置成非矩形的不规则图形，也即异形屏。显示屏1705可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。
摄像头组件1706用于采集图像或视频。可选地，摄像头组件1706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1701进行处理，或者输入至射频电路1704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1701或射频电路1704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1707还可以包括耳机插孔。
定位组件1708用于定位终端1700的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1708可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源1709用于为终端1700中的各个组件进行供电。电源1709可以是交流电、直流电、一次性电池或可充电电池。当电源1709包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1700还包括有一个或多个传感器1710。该一个或多个传感器1710包括但不限于：加速度传感器1711、陀螺仪传感器1712、压力传感器1713、指纹传感器1714、光学传感器1715以及接近传感器1716。
加速度传感器1711可以识别以终端1700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1711可以用于识别重力加速度在三个坐标轴上的分量。处理器1701可以根据加速度传感器1711采集的重力加速度信号，控制触摸显示屏1705以横向视图或纵向视图进行用户界面的显示。加速度传感器1711还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1712可以识别终端1700的机体方向及转动角度，陀螺仪传感器1712可以与加速度传感器1711协同采集用户对终端1700的3D动作。处理器1701根据陀螺仪传感器1712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1713可以设置在终端1700的侧边框和/或触摸显示屏1705的下层。当压力传感器1713设置在终端1700的侧边框时，可以识别用户对终端1700的握持信号，由处理器1701根据压力传感器1713采集的握持信号进行左右手识别或快捷操作。当压力传感器1713设置在触摸显示屏1705的下层时，由处理器1701根据用户对触摸显示屏1705的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1714用于采集用户的指纹，由处理器1701根据指纹传感器1714采集到的指纹识别用户的身份，或者，由指纹传感器1714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1701授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1714可以被设置终端1700的正面、背面或侧面。当终端1700上设置有物理按键或厂商Logo时，指纹传感器1714可以与物理按键或厂商Logo集成在一起。
光学传感器1715用于采集环境光强度。在一个实施例中，处理器1701可以根据光学传感器1715采集的环境光强度，控制触摸显示屏1705的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1705的显示亮度；当环境光强度较低时，调低触摸显示屏1705的显示亮度。在另一个实施例中，处理器1701还可以根据光学传感器1715采集的环境光强度，动态调整摄像头组件1706的拍摄参数。
接近传感器1716，也称距离传感器，通常设置在终端1700的前面板。接近传感器1716用于采集用户与终端1700的正面之间的距离。在一个实施例中，当接近传感器1716识别到用户与终端1700的正面之间的距离逐渐变小时，由处理器1701控制触摸显示屏1705从亮屏状态切换为息屏状态；当接近传感器1716识别到用户与终端1700的正面之间的距离逐渐变大时，由处理器1701控制触摸显示屏1705从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图17中示出的结构并不构成对终端1700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的细胞图像的识别方法。
本申请还提供一种计算机设备，该计算机设备包括：处理器和存储器，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的由服务器执行的细胞图像的识别方法。
本申请还提供一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的由服务器执行的细胞图像的识别方法。
本申请还提供一种计算机设备，该计算机设备包括：处理器和存储器，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的由终端执行的细胞图像的识别方法。
本申请还提供一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的由终端执行的细胞图像的识别方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (15)
1.一种细胞图像的识别方法，其特征在于，所述方法包括：
接收图像采集装置发送的细胞图像，所述细胞图像是显微镜视野中离体细胞涂片的实时图像，所述图像采集装置安装在所述显微镜上，所述图像采集装置用于采集所述显微镜的视野范围中的图像；
调用细胞识别模型识别所述细胞图像得到识别结果，所述细胞识别模型是用于在所述细胞图像中识别目标细胞的卷积神经网络模型，所述识别结果包括所述细胞图像中的所述目标细胞的标注信息；
根据所述识别结果和所述细胞图像生成目标图像，所述目标图像是在所述细胞图像上标注所述识别结果的图像；
将所述目标图像发送至图像显示装置，所述图像显示装置用于显示所述目标图像。
2.根据权利要求1所述的方法，其特征在于，所述细胞识别模型包括特征提取器和识别器，所述细胞识别模型用于识别n种目标细胞，所述n是大于零的整数；
所述调用细胞识别模型识别所述细胞图像得到识别结果，包括：
调用所述特征提取器提取所述细胞图像的特征图像；
调用所述识别器识别所述特征图像得到所述识别结果，所述标注信息包括预测框、目标细胞类型、概率值中的至少一个，所述预测框用于在所述细胞图像上圈出所述目标细胞。
3.根据权利要求2所述的方法，其特征在于，所述特征图像包括：不同尺寸的m级特征图像，所述识别器包括m个预测层，m为正整数；
所述调用所述识别器识别所述特征图像得到所述识别结果，包括：
基于第i级特征图像生成第i级预测输入图像，所述i是不大于m的正整数；
调用第i个预测层预测所述第i级预测输入图像得到至少一个预测结果；每个所述预测结果包括所述预测框、所述预测框中的细胞属于n种所述目标细胞的n个所述概率值，所述n是大于零的整数；
将所述预测结果中所述概率值大于概率值阈值的所述预测结果确定为所述识别结果。
4.根据权利要求3所述的方法，其特征在于，所述调用第i个预测层预测所述第i级预测输入图像得到至少一个预测结果，包括：
调用所述第i个预测层将所述第i级预测输入图像划分为a*b个网格，所述a、b是大于0的整数；
调用所述第i个预测层对所述a*b个网格中的每个所述网格，预测k个所述预测框，得到所述预测框对应的所述预测结果，所述预测结果包括所述预测框的位置信息、大小信息、所述预测框中的细胞属于n种所述目标细胞的n个所述概率值，共得到a*b*k个所述预测结果，所述k是正整数。
5.根据权利要求3所述的方法，其特征在于，所述将所述预测结果中所述概率值大于概率值阈值的所述预测结果确定为所述识别结果，包括：
将所述预测结果中所述概率值大于所述概率阈值的所述预测结果，确定为候选预测结果集；
对所述候选预测结果集，保留重合预测结果中的第一预测结果，将所述第一预测结果确定为所述识别结果；所述重合预测结果是重合度大于重合度阈值的至少两个所述预测结果，所述第一预测结果是所述重合结果中所述概率值最大的所述预测结果，所述重合度用于描述两个所述预测框的重合程度。
6.根据权利要求3所述的方法，其特征在于，所述细胞识别模型还包括特征融合器，所述基于第i级特征图像确定第i级预测输入图像，包括：
获取至少两个特征图像，所述至少两个特征图像包括：所述第i级特征图像和第j级特征图像，所述第j级特征图像的尺寸与所述第i级特征图像的尺寸不同，所述j是不大于m的正整数；
调用所述特征融合器融合所述至少两个特征图像，得到所述第i级预测输入图像。
7.根据权利要求6所述的方法，其特征在于，所述获取至少两个特征图像，包括：
将所述特征图像按照尺寸大小顺序排列，获取所述第i个特征图像至第m个特征图像；
或，
将所述特征图像按照尺寸大小顺序排列，获取第1个特征图像至所述第i个特征图像；
或，
获取所述第i个特征图像和第i+1个特征图像；
或，
获取所述第i个特征图像和第i-1个特征图像。
8.根据权利要求3所述的方法，其特征在于，所述离体细胞涂片是宫颈细胞的细胞涂片，所述目标细胞包括：不能明确意义的非典型鳞状细胞ASC-US、低度鳞状上皮内病变LSIL、倾向于高度病变的非典型鳞状细胞ASCH、高度鳞状上皮内病变HSIL、鳞癌SCC、腺癌AdC和非典型腺细胞AGC中的至少一种。
9.根据权利要求1至8任一所述的方法，其特征在于，所述调用细胞识别模型识别所述细胞图像得到识别结果，包括：
调用失焦识别模型识别所述细胞图像得到所述细胞图像的清晰程度，所述失焦识别模型是用于识别所述细胞图像清晰程度的分类模型；
响应于所述细胞图像的所述清晰程度满足目标条件，调用所述细胞识别模型识别所述细胞图像得到所述识别结果。
10.根据权利要求1至8任一所述的方法，其特征在于，所述方法还包括：
获取样本数据，所述样本数据包括：第一比例的非目标数据和目标数据，所述非目标数据包括非目标细胞图像，所述目标数据包括目标细胞图像和所述标注信息，所述标注信息用于标注所述目标细胞图像中的目标细胞；
根据第二比例从所述样本数据中确定训练集和验证集；
根据所述训练集训练至少两个初始模型得到至少两个识别模型；
根据所述验证集验证所述识别模型，得到所述识别模型的准确率；
将所述准确率最高的所述识别模型确定为所述细胞识别模型。
11.一种细胞图像的识别系统，其特征在于，所述系统包括：显微镜、图像采集装置、计算机设备和图像显示装置；所述图像采集装置安装在所述显微镜上；
所述显微镜，用于观察离体细胞涂片；
所述图像采集装置，用于实时采集所述显微镜中所述离体细胞涂片的细胞图像，向所述计算机设备发送所述细胞图像；
所述计算机设备，用于接收所述图像采集装置发送的所述细胞图像，调用细胞识别模型识别所述细胞图像得到识别结果，调用所述细胞识别模型根据所述识别结果和所述细胞图像生成目标图像，向所述图像显示装置发送所述目标图像，所述识别结果包括所述细胞图像中的所述目标细胞的标注信息，所述目标图像是在所述细胞图像上标注所述识别结果的图像；
所述图像显示装置，用于接收所述计算机设备发送的所述目标图像，显示所述目标图像。
12.根据权利要求11所述的系统，其特征在于，所述细胞识别模型包括特征提取器和识别器，所述细胞识别模型用于识别n种目标细胞；
所述计算机设备，还用于调用所述特征提取器提取所述细胞图像的特征图像；调用所述识别器识别所述特征图像得到所述识别结果，所述标注信息包括预测框、目标细胞类型、概率值中的至少一个，所述预测框用于在所述细胞图像上标注出所述目标细胞。
13.一种细胞图像的识别装置，其特征在于，所述装置包括：
接收模块，用于接收图像采集装置发送的细胞图像，所述细胞图像是显微镜视野中离体细胞涂片的实时图像，所述图像采集装置安装在所述显微镜上，所述图像采集装置用于采集所述显微镜的视野范围中的图像；
模型模块，用于调用细胞识别模型识别所述细胞图像得到识别结果，所述细胞识别模型是用于在所述细胞图像中识别目标细胞的卷积神经网络模型，所述识别结果包括所述细胞图像中的所述目标细胞的标注信息；
生成模块，用于根据所述识别结果和所述细胞图像生成目标图像，所述目标图像是在所述细胞图像上标注所述识别结果的图像；
发送模块，用于将所述目标图像发送至图像显示装置，所述图像显示装置用于显示所述目标图像。
14.一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行，以实现如权利要求1至10任一项所述的细胞图像的识别方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行，以实现如权利要求1至10任一项所述的细胞图像的识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010350815.8A CN111597922B (zh) | 2020-04-28 | 2020-04-28 | 细胞图像的识别方法、系统、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010350815.8A CN111597922B (zh) | 2020-04-28 | 2020-04-28 | 细胞图像的识别方法、系统、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111597922A true CN111597922A (zh) | 2020-08-28 |
| CN111597922B CN111597922B (zh) | 2024-05-28 |
Family
ID=72183855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010350815.8A Active CN111597922B (zh) | 2020-04-28 | 2020-04-28 | 细胞图像的识别方法、系统、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111597922B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113706449A (zh) * | 2021-05-11 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 基于病理图像的细胞分析方法、装置、设备及存储介质 |
| CN113705318A (zh) * | 2021-04-22 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 基于图像的识别方法、装置、设备及可读存储介质 |
| CN113705323A (zh) * | 2021-06-15 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、设备以及存储介质 |
| CN113781455A (zh) * | 2021-09-15 | 2021-12-10 | 平安科技（深圳）有限公司 | 宫颈细胞图像异常检测方法、装置、设备及介质 |
| WO2024051482A1 (zh) * | 2022-09-07 | 2024-03-14 | 上海睿钰生物科技有限公司 | 细胞单克隆源性自动分析的方法、系统和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108550133A (zh) * | 2018-03-02 | 2018-09-18 | 浙江工业大学 | 一种基于Faster R-CNN的癌细胞检测方法 |
| CN109360633A (zh) * | 2018-09-04 | 2019-02-19 | 北京市商汤科技开发有限公司 | 医疗影像处理方法及装置、处理设备及存储介质 |
| CN110580699A (zh) * | 2019-05-15 | 2019-12-17 | 徐州医科大学 | 基于改进Faster RCNN算法的病理图像细胞核检测方法 |
| CN110765855A (zh) * | 2019-09-12 | 2020-02-07 | 杭州迪英加科技有限公司 | 一种病理图像处理方法及系统 |
-
2020
- 2020-04-28 CN CN202010350815.8A patent/CN111597922B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108550133A (zh) * | 2018-03-02 | 2018-09-18 | 浙江工业大学 | 一种基于Faster R-CNN的癌细胞检测方法 |
| CN109360633A (zh) * | 2018-09-04 | 2019-02-19 | 北京市商汤科技开发有限公司 | 医疗影像处理方法及装置、处理设备及存储介质 |
| CN110580699A (zh) * | 2019-05-15 | 2019-12-17 | 徐州医科大学 | 基于改进Faster RCNN算法的病理图像细胞核检测方法 |
| CN110765855A (zh) * | 2019-09-12 | 2020-02-07 | 杭州迪英加科技有限公司 | 一种病理图像处理方法及系统 |
Non-Patent Citations (7)
| Title |
|---|
| JOSEPH R ET AL: "《Yolo9000:Better，Faster，Stronger》", 《ARXIV.ORG》, 25 December 2016 (2016-12-25), pages 1 - 9 * |
| JOSEPH R ET AL: "《Yolov3: an incremental improvement》", 《ARXIV.ORG》 * |
| JOSEPH R ET AL: "《Yolov3: an incremental improvement》", 《ARXIV.ORG》, 8 April 2018 (2018-04-08), pages 1 - 6 * |
| YAO X ET AL: "《A novel automation-assisted cervical cancer reading method based on convolutional neural network》", 《SCIENCEDIRECT》, 21 February 2020 (2020-02-21), pages 3 * |
| YAO X ET AL: "《A novel automation-assisted cervical cancer reading method based on convolutional neural network》", 《SCIENCEDIRECT》, pages 3 * |
| 于殿泓: "《图像检测与处理技术》", 西安电子科技大学出版社, pages: 210 * |
| 杨锦明: "《用于斑马鱼听觉功能高通量筛查的自动化行为学检测系统》", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, 15 February 2020 (2020-02-15), pages 073 - 16 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113705318A (zh) * | 2021-04-22 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 基于图像的识别方法、装置、设备及可读存储介质 |
| CN113706449A (zh) * | 2021-05-11 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 基于病理图像的细胞分析方法、装置、设备及存储介质 |
| CN113705323A (zh) * | 2021-06-15 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、设备以及存储介质 |
| CN113781455A (zh) * | 2021-09-15 | 2021-12-10 | 平安科技（深圳）有限公司 | 宫颈细胞图像异常检测方法、装置、设备及介质 |
| CN113781455B (zh) * | 2021-09-15 | 2023-12-26 | 平安科技（深圳）有限公司 | 宫颈细胞图像异常检测方法、装置、设备及介质 |
| WO2024051482A1 (zh) * | 2022-09-07 | 2024-03-14 | 上海睿钰生物科技有限公司 | 细胞单克隆源性自动分析的方法、系统和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111597922B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110348543B (zh) | 眼底图像识别方法、装置、计算机设备及存储介质 | |
| CN111091132B (zh) | 基于人工智能的图像识别方法、装置、计算机设备及介质 | |
| CN111739035B (zh) | 基于人工智能的图像处理方法、装置、设备及存储介质 | |
| CN110555839A (zh) | 缺陷检测识别方法、装置、计算机设备及存储介质 | |
| WO2020224479A1 (zh) | 目标的位置获取方法、装置、计算机设备及存储介质 | |
| CN111597922B (zh) | 细胞图像的识别方法、系统、装置、设备及介质 | |
| CN111325726A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
| CN111325699B (zh) | 图像修复方法和图像修复模型的训练方法 | |
| CN111914812B (zh) | 图像处理模型训练方法、装置、设备及存储介质 | |
| CN111931877B (zh) | 目标检测方法、装置、设备及存储介质 | |
| CN110135336B (zh) | 行人生成模型的训练方法、装置及存储介质 | |
| CN112749613B (zh) | 视频数据处理方法、装置、计算机设备及存储介质 | |
| CN112036331A (zh) | 活体检测模型的训练方法、装置、设备及存储介质 | |
| CN110570460A (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
| CN111243668A (zh) | 分子结合位点检测方法、装置、电子设备及存储介质 | |
| CN111178343A (zh) | 基于人工智能的多媒体资源检测方法、装置、设备及介质 | |
| CN110647881A (zh) | 确定图像对应的卡片类型的方法、装置、设备及存储介质 | |
| CN111192262A (zh) | 基于人工智能的产品缺陷分类方法、装置、设备及介质 | |
| CN111598133A (zh) | 基于人工智能的图像显示方法、装置、设备及介质 | |
| CN112037305B (zh) | 对图像中的树状组织进行重建的方法、设备及存储介质 | |
| CN113570510A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN114283299A (zh) | 图像聚类方法、装置、计算机设备及存储介质 | |
| CN113821658A (zh) | 对编码器进行训练的方法、装置、设备及存储介质 | |
| CN113724189A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN112818979A (zh) | 文本识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40028347 Country of ref document: HK |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211119 Address after: 518000 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong Applicant after: Tencent Medical Health (Shenzhen) Co.,Ltd. Address before: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors Applicant before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. |
|
| GR01 | Patent grant |