CN115410050A - 基于机器视觉的肿瘤细胞检测设备及其方法 - Google Patents

基于机器视觉的肿瘤细胞检测设备及其方法 Download PDF

Info

Publication number
CN115410050A
CN115410050A CN202211360325.1A CN202211360325A CN115410050A CN 115410050 A CN115410050 A CN 115410050A CN 202211360325 A CN202211360325 A CN 202211360325A CN 115410050 A CN115410050 A CN 115410050A
Authority
CN
China
Prior art keywords
feature
map
neural network
color
texture feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211360325.1A
Other languages
English (en)
Other versions
CN115410050B (zh
Inventor
张开山
赵丹
高阳
饶浪睛
李超
刘艳省
于杰
田华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huadesen Biotechnology Co ltd
Original Assignee
HANGZHOU WATSON BIOTECH Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HANGZHOU WATSON BIOTECH Inc filed Critical HANGZHOU WATSON BIOTECH Inc
Priority to CN202211360325.1A priority Critical patent/CN115410050B/zh
Publication of CN115410050A publication Critical patent/CN115410050A/zh
Application granted granted Critical
Publication of CN115410050B publication Critical patent/CN115410050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本申请公开了一种基于机器视觉的肿瘤细胞检测设备及其方法。其首先将获取的待检测样本的染色图降噪模块进行降噪后得到的降噪后染色图从RGB颜色空间转化到YCbCr颜色空间并提取各个通道的LBP纹理特征直方图，接着，将所述各个通道的LBP纹理特征直方图分别通过第一卷积神经网络模型以得到多个纹理特征图并将所述多个纹理特征图进行级联以得到纹理特征图，然后，将所述降噪后染色图通过第二卷积神经网络模型以得到颜色特征图，最后，融合所述颜色特征图和所述纹理特征图以得到分类特征图并将所述分类特征图通过分类器以得到用于表示待检测样本是否含有甲胎蛋白受体的分类结果。通过这样的方式，就能够提高肿瘤细胞检测的精准度。

Description

基于机器视觉的肿瘤细胞检测设备及其方法
技术领域
本申请涉及智能化检测技术领域，且更为具体地，涉及一种基于机器视觉的肿瘤细胞检测设备及其方法。
背景技术
在临床上，甲胎蛋白(AFP)的检测是诊断原发性肝癌的一项重要的指标，同时也是评估疗效和预后的重要依据。研究显示，胚胎和胎儿细胞可以摄取甲胎蛋白，而这种摄取是具有选择性的，并且与细胞的分化程度密切相关。大量科学研究数据表明，特异性的甲胎蛋白的受体介导了甲胎蛋白的摄入，而这种机制是受细胞的分化所调节。
癌细胞与胚胎细胞的生物特性具有相似之处，当细胞发生癌变发生去分化时，甲胎蛋白受体再度表达，癌细胞就可以通过与甲胎蛋白特异性结合的受体去摄取甲胎蛋白。因此，可以以甲胎蛋白受体作为肿瘤细胞检测的一种标志物。
在病理学实验室中最广泛采用的是苏木精-伊红染色方法(HE染色方法)。苏木精染色细胞核，伊红染色细胞质，任意一种染色效果不佳，均会影响病理诊断。在实际工作中，细胞核染色效果易发生波动，特别是肿瘤细胞异型核，其复染时间和程度不易掌握，易使细胞浆附着色，背景不干净，影响结果观察及判断。
因此，期待一种优化的基于机器视觉的肿瘤细胞检测设备，其能够通过计算生物来对于甲胎蛋白受体进行准确地检测，进而提高肿瘤细胞检测的精准度。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于机器视觉的肿瘤细胞检测设备及其方法。其首先将获取的待检测样本的染色图降噪模块进行降噪后得到的降噪后染色图从RGB颜色空间转化到YCbCr颜色空间并提取各个通道的LBP纹理特征直方图，接着，将所述各个通道的LBP纹理特征直方图分别通过第一卷积神经网络模型以得到多个纹理特征图并将所述多个纹理特征图进行级联以得到纹理特征图，然后，将所述降噪后染色图通过第二卷积神经网络模型以得到颜色特征图，最后，融合所述颜色特征图和所述纹理特征图以得到分类特征图并将所述分类特征图通过分类器以得到用于表示待检测样本是否含有甲胎蛋白受体的分类结果。通过这样的方式，就能够提高肿瘤细胞检测的精准度。
根据本申请的一个方面，提供了一种基于机器视觉的肿瘤细胞检测设备，其包括：
染色图采集模块，用于获取待检测样本的染色图；
降噪模块，用于将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图；
颜色空间转换模块，用于将所述降噪后染色图从RGB颜色空间转化到YCbCr颜色空间并提取各个通道的LBP纹理特征直方图；
纹理特征编码模块，用于将所述各个通道的LBP纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，并将所述多个纹理特征图进行级联以得到纹理特征图；
颜色特征编码模块，用于将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图；
异质特征融合模块，用于融合所述颜色特征图和所述纹理特征图以得到分类特征图；以及
检测结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测样本是否含有甲胎蛋白受体。
在上述的基于机器视觉的肿瘤细胞检测设备中，所述降噪模块，包括：
编码单元，用于将所述染色图输入所述降噪模块的编码器，其中，所述编码器使用卷积层对所述染色图进行显式空间编码以得到染色图特征；
解码单元，用于将所述染色图特征输入所述降噪模块的解码器，其中，所述解码器使用反卷积层对所述染色图特征进行反卷积处理以得到所述降噪后染色图。
在上述的基于机器视觉的肿瘤细胞检测设备中，所述纹理特征编码模块，进一步用于：使用所述作为特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第一卷积神经网络模型的最后一层输出所述多个纹理特征图，其中，所述作为特征提取器的第一卷积神经网络模型的第一层的输入为所述各个通道的LBP纹理特征直方图。
在上述的基于机器视觉的肿瘤细胞检测设备中，所述颜色特征编码模块，进一步用于：使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层输出所述颜色特征图，其中，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述降噪后染色图。
在上述的基于机器视觉的肿瘤细胞检测设备中，所述异质特征融合模块，进一步用于：以如下公式融合所述颜色特征图和所述纹理特征图以得到所述分类特征图；
其中，所述公式为：
Figure 582951DEST_PATH_IMAGE001
其中
Figure 928482DEST_PATH_IMAGE002
、
Figure 750944DEST_PATH_IMAGE003
和
Figure 565447DEST_PATH_IMAGE004
分别表示所述颜色特征图、所述纹理特征图和所述分类特征图，
Figure 233189DEST_PATH_IMAGE005
表示所述纹理特征图的各个位置的特征值，
Figure 698806DEST_PATH_IMAGE006
表示所述纹理特征图的各个位置的特征值的 全局均值，
Figure 692169DEST_PATH_IMAGE007
是所述纹理特征图的尺度，且
Figure 712078DEST_PATH_IMAGE008
是加权超参数，
Figure 511407DEST_PATH_IMAGE009
表示按位置加法，
Figure 769213DEST_PATH_IMAGE010
表示按位 置点乘，
Figure 480948DEST_PATH_IMAGE011
表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然 指数函数值。
在上述的基于机器视觉的肿瘤细胞检测设备中，所述检测结果生成模块，进一步用于：使用所述分类器以如下公式对所述分类特征图进行处理以得到分类结果；
其中，所述公式为：
Figure 456994DEST_PATH_IMAGE012
，其中，
Figure 794435DEST_PATH_IMAGE013
到
Figure 906747DEST_PATH_IMAGE014
为权重矩阵，
Figure 304230DEST_PATH_IMAGE015
到
Figure 501993DEST_PATH_IMAGE016
为偏置向量，
Figure 643125DEST_PATH_IMAGE017
为所述分类特征图投影为向量。
根据本申请的另一方面，提供了一种基于机器视觉的肿瘤细胞检测方法，其包括：
获取待检测样本的染色图；
将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图；
将所述降噪后染色图从RGB颜色空间转化到YCbCr颜色空间并提取各个通道的LBP纹理特征直方图；
将所述各个通道的LBP纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，并将所述多个纹理特征图进行级联以得到纹理特征图；
将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图；
融合所述颜色特征图和所述纹理特征图以得到分类特征图；以及
将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测样本是否含有甲胎蛋白受体。
在上述的基于机器视觉的肿瘤细胞检测方法中，所述将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图，包括：
将所述染色图输入所述降噪模块的编码器，其中，所述编码器使用卷积层对所述染色图进行显式空间编码以得到染色图特征；
将所述染色图特征输入所述降噪模块的解码器，其中，所述解码器使用反卷积层对所述染色图特征进行反卷积处理以得到所述降噪后染色图。
在上述的基于机器视觉的肿瘤细胞检测方法中，所述将所述各个通道的LBP纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，包括：使用所述作为特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第一卷积神经网络模型的最后一层输出所述多个纹理特征图，其中，所述作为特征提取器的第一卷积神经网络模型的第一层的输入为所述各个通道的LBP纹理特征直方图。
在上述的基于机器视觉的肿瘤细胞检测方法中，所述将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图，包括：使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层输出所述颜色特征图，其中，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述降噪后染色图。
在上述的基于机器视觉的肿瘤细胞检测方法中，所述融合所述颜色特征图和所述纹理特征图以得到分类特征图，进一步用于：以如下公式融合所述颜色特征图和所述纹理特征图以得到所述分类特征图；
其中，所述公式为：
Figure 875523DEST_PATH_IMAGE001
其中
Figure 929061DEST_PATH_IMAGE002
、
Figure 879699DEST_PATH_IMAGE003
和
Figure 558942DEST_PATH_IMAGE004
分别表示所述颜色特征图、所述纹理特征图和所述分类特征图，
Figure 442585DEST_PATH_IMAGE005
表示所述纹理特征图的各个位置的特征值，
Figure 853974DEST_PATH_IMAGE006
表示所述纹理特征图的各个位置的特征值的 全局均值，
Figure 88647DEST_PATH_IMAGE007
是所述纹理特征图的尺度，且
Figure 509264DEST_PATH_IMAGE008
是加权超参数，
Figure 266654DEST_PATH_IMAGE009
表示按位置加法，
Figure 114524DEST_PATH_IMAGE010
表示按位 置点乘，
Figure 836493DEST_PATH_IMAGE011
表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然 指数函数值。
在上述的基于机器视觉的肿瘤细胞检测方法中，所述将所述分类特征图通过分类器以得到分类结果，包括：使用所述分类器以如下公式对所述分类特征图进行处理以得到分类结果；
其中，所述公式为：
Figure 591959DEST_PATH_IMAGE012
，其中，
Figure 653456DEST_PATH_IMAGE013
到
Figure 734544DEST_PATH_IMAGE014
为权重矩阵，
Figure 615913DEST_PATH_IMAGE015
到
Figure 191382DEST_PATH_IMAGE016
为偏置向量，
Figure 904123DEST_PATH_IMAGE017
为所述分类特征图投影为向量。
与现有技术相比，本申请提供的一种基于机器视觉的肿瘤细胞检测设备及其方法，其首先将获取的待检测样本的染色图降噪模块进行降噪后得到的降噪后染色图从RGB颜色空间转化到YCbCr颜色空间并提取各个通道的LBP纹理特征直方图，接着，将所述各个通道的LBP纹理特征直方图分别通过第一卷积神经网络模型以得到多个纹理特征图并将所述多个纹理特征图进行级联以得到纹理特征图，然后，将所述降噪后染色图通过第二卷积神经网络模型以得到颜色特征图，最后，融合所述颜色特征图和所述纹理特征图以得到分类特征图并将所述分类特征图通过分类器以得到用于表示待检测样本是否含有甲胎蛋白受体的分类结果。通过这样的方式，就能够提高肿瘤细胞检测的精准度。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的基于机器视觉的肿瘤细胞检测设备的应用场景图。
图2图示了根据本申请实施例的基于机器视觉的肿瘤细胞检测设备的框图示意图。
图3图示了根据本申请实施例的基于机器视觉的肿瘤细胞检测设备中所述降噪模块的框图示意图。
图4图示了根据本申请实施例的基于机器视觉的肿瘤细胞检测方法的流程图。
图5图示了根据本申请实施例的基于机器视觉的肿瘤细胞检测方法的系统架构的示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如上所述，癌细胞与胚胎细胞的生物特性具有相似之处，当细胞发生癌变发生去分化时，甲胎蛋白受体再度表达，癌细胞就可以通过与甲胎蛋白特异性结合的受体去摄取甲胎蛋白。因此，可以以甲胎蛋白受体作为肿瘤细胞检测的一种标志物。
在病理学实验室中最广泛采用的是苏木精-伊红染色方法(HE染色方法)。苏木精染色细胞核，伊红染色细胞质，任意一种染色效果不佳，均会影响病理诊断。在实际工作中，细胞核染色效果易发生波动，特别是肿瘤细胞异型核，其复染时间和程度不易掌握，易使细胞浆附着色，背景不干净，影响结果观察及判断。
因此，期待一种优化的基于机器视觉的肿瘤细胞检测设备，其能够通过计算生物来对于甲胎蛋白受体进行准确地检测，进而提高肿瘤细胞检测的精准度。
目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
近年来，深度学习以及神经网络的发展为肿瘤细胞的检测提供了新的解决思路和方案。
具体地，在本申请的技术方案中，采用基于深度学习的人工智能技术来对于待检测样本的染色图进行降噪处理后，提取出所述降噪后染色图像的颜色特征和纹理特征，以这两者的融合特征来进行所述待检测样本的甲胎蛋白受体检测，进而提高肿瘤细胞检测的精准度。也就是，将人工智能技术与生物医药技术相结合以构建用于肿瘤细胞检测的计算生物方案。
具体地，在本申请的技术方案中，首先，获取待检测样本的染色图。应可以理解，考虑到在所述待检测样本的染色图中，因肿瘤细胞异型核的复染时间和程度不易掌握，会使得细胞浆附着色，背景不干净。因此，在本申请的技术方案中，使用颜色特征提取和纹理特征提取相结合的方法来提高样本中甲胎蛋白受体检测的准确度。而在此过程中，由于所述样本中存在有多种物质和细胞，为了能够聚焦于所述样本中的甲胎蛋白受体检测，需要滤除其中的不相关物质对于检测的干扰，因此，首先就需要对于所述待检测样本的染色图进行降噪处理。具体地，在本申请的技术方案中，将所述染色图通过基于自动编码器的降噪模块进行降噪处理以得到降噪后染色图。这里，所述基于自动编码器的降噪模块包含有编码器和解码器，所述编码器使用卷积层对所述染色图进行显式空间编码以得到染色图特征，所述解码器使用反卷积层对所述染色图特征进行反卷积处理以得到所述降噪后染色图。
接着，使用在图像的隐含特征提取方面具有优异表现的作为特征提取器的第二卷积神经网络模型来对于所述降噪后染色图进行特征提取，以提取出所述降噪后染色图中的局部隐含关联特征分布信息，即所述降噪后染色图中的颜色关联特征分布信息，从而得到颜色特征图。
然后，考虑到由于灰度图的纹理分析在低分辨率的所述染色图中准确率不高，因此，在本申请的技术方案中，进一步将所述降噪后染色图从RGB颜色空间转化到YCbCr颜色空间并提取各个通道的LBP纹理特征直方图，以结合所述染色图的颜色特征以及纹理特征进行样本中的甲胎蛋白受体检测。也就是，进一步再将所述各个通道的LBP纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型中进行处理，以提取出所述各个通道的LBP纹理特征直方图中的局部特征信息在高维空间中的特征分布表示，即所述降噪后染色图的纹理隐含关联特征，从而得到多个纹理特征图。接着，再将所述多个纹理特征图进行级联以整合所述各个通道的LBP纹理特征直方图中的纹理特征信息从而得到纹理特征图。
进一步地，再融合所述颜色特征图和所述纹理特征图以融合所述待检测样本的染色图中的颜色特征信息和纹理特征信息来进行所述待检测样本中是否含有甲胎蛋白受体的分类检测，进而判断出所述待检测样本是否为肿瘤细胞。
特别地，在本申请的技术方案中，为了提高所述纹理特征图和所述颜色特征图的融合效果，需要提高所述纹理特征图和所述颜色特征图的特征一致性程度，而由于所述颜色特征图是所述降噪后染色图通过第二卷积神经网络得到的，所述纹理特征图是所述降噪后染色图进行颜色空间转换和直方图提取后通过第一卷积神经网络得到的，因此期望将所述纹理特征图也映射到与所述颜色特征图相同的特征空间内。
基于此，对所述颜色特征图和所述纹理特征图采用注意力导向的特征图联立融合，表示为：
Figure 93796DEST_PATH_IMAGE001
其中
Figure 790356DEST_PATH_IMAGE002
、
Figure 90888DEST_PATH_IMAGE003
和
Figure 923714DEST_PATH_IMAGE004
分别是所述颜色特征图、所述纹理特征图和所述分类特征图，
Figure 284289DEST_PATH_IMAGE005
是 所述纹理特征图
Figure 953298DEST_PATH_IMAGE003
的每个位置的特征值，
Figure 57521DEST_PATH_IMAGE006
是所述纹理特征图
Figure 10433DEST_PATH_IMAGE003
的各个位置的特征值的全 局均值，
Figure 338646DEST_PATH_IMAGE007
是所述纹理特征图
Figure 947482DEST_PATH_IMAGE003
的尺度，即宽度乘以高度乘以通道数，且
Figure 386554DEST_PATH_IMAGE008
是加权超参数。
这里，待作为映射到的参考特征的所述纹理特征图
Figure 131656DEST_PATH_IMAGE003
的子维度一致性作为注意力 导向权重，对进行映射的所述颜色特征图
Figure 647082DEST_PATH_IMAGE002
施加子维度分布的一致性注意力机制，来在具 有彼此分立却又具有一定关联的高维流形之间进行体匹配，这样，在融合所述颜色特征图
Figure 477635DEST_PATH_IMAGE002
和所述纹理特征图
Figure 985976DEST_PATH_IMAGE003
时，分类特征图
Figure 851164DEST_PATH_IMAGE004
可以作为所述颜色特征图
Figure 786759DEST_PATH_IMAGE002
和所述纹理特征图
Figure 635767DEST_PATH_IMAGE003
的各个子维度上的联立分布，在特征空间内的各个子维度上具有高一致性，提升了所述 颜色特征图
Figure 885482DEST_PATH_IMAGE002
和所述纹理特征图
Figure 870756DEST_PATH_IMAGE003
的融合效果，进而提高了分类的准确性。这样，能够对于 样本中是否含有甲胎蛋白受体进行准确地检测，进而提高肿瘤细胞检测的精准度，同时还 能够预防癌变的发生，有利于监测评估患者的治疗效果。
基于此，本申请提供了一种基于机器视觉的肿瘤细胞检测设备，其包括：染色图采集模块，用于获取待检测样本的染色图；降噪模块，用于将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图；颜色空间转换模块，用于将所述降噪后染色图从RGB颜色空间转化到YCbCr颜色空间并提取各个通道的LBP纹理特征直方图；纹理特征编码模块，用于将所述各个通道的LBP纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，并将所述多个纹理特征图进行级联以得到纹理特征图；颜色特征编码模块，用于将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图；异质特征融合模块，用于融合所述颜色特征图和所述纹理特征图以得到分类特征图；以及，检测结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测样本是否含有甲胎蛋白受体。
图1图示了根据本申请实施例的基于机器视觉的肿瘤细胞检测设备的应用场景图。如图1所示，在该应用场景中，获取待检测样本（例如，如图1中所示意的C）的染色图（例如，如图1中所示意的D），然后，将获取的所述染色图输入至部署有基于机器视觉的肿瘤细胞检测算法的服务器中（例如，图1中所示意的S），其中，所述服务器能够使用所述基于机器视觉的肿瘤细胞检测算法对所述染色图进行处理以生成用于表示待检测样本是否含有甲胎蛋白受体的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性设备
图2图示了根据本申请实施例的基于机器视觉的肿瘤细胞检测设备的框图示意图。如图2所示，根据本申请实施例的基于机器视觉的肿瘤细胞检测设备100，包括：染色图采集模块110，用于获取待检测样本的染色图；降噪模块120，用于将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图；颜色空间转换模块130，用于将所述降噪后染色图从RGB颜色空间转化到YCbCr颜色空间并提取各个通道的LBP纹理特征直方图；纹理特征编码模块140，用于将所述各个通道的LBP纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，并将所述多个纹理特征图进行级联以得到纹理特征图；颜色特征编码模块150，用于将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图；异质特征融合模块160，用于融合所述颜色特征图和所述纹理特征图以得到分类特征图；以及，检测结果生成模块170，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测样本是否含有甲胎蛋白受体。
更具体地，在本申请实施例中，所述染色图采集模块110，用于获取待检测样本的染色图。癌细胞与胚胎细胞的生物特性具有相似之处，当细胞发生癌变发生去分化时，甲胎蛋白受体再度表达，癌细胞就可以通过与甲胎蛋白特异性结合的受体去摄取甲胎蛋白。因此，可以以甲胎蛋白受体作为肿瘤细胞检测的一种标志物，并且，进一步地，通过例如苏木精-伊红染色方法(HE染色方法)对待检测样本进行染色，并获取待检测样本的染色图，再通过人工智能技术与生物医药技术相结合以构建用于肿瘤细胞检测的计算生物方案，这样，尽可能减少例如由于肿瘤细胞异型核导致复染时间和程度不易掌握而造成的染色效果易波动、背景不干净等问题带来的检测精度降低的问题，减少对结果观察及判断的影响。
更具体地，在本申请实施例中，所述降噪模块120，用于将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图。考虑到所述待检测样本中存在有多种物质和细胞，为了能够聚焦于所述待检测样本中的甲胎蛋白受体检测，需要滤除其中的不相关物质对于检测的干扰，因此，首先就需要对于所述待检测样本的染色图进行降噪处理。这里，所述基于自动编码器的降噪模块包含有编码器和解码器，所述编码器使用卷积层对所述染色图进行显式空间编码以得到染色图特征，所述解码器使用反卷积层对所述染色图特征进行反卷积处理以得到所述降噪后染色图。
相应地，在一个具体示例中，如图3所示，所述降噪模块120，包括：编码单元121，用于将所述染色图输入所述降噪模块的编码器，其中，所述编码器使用卷积层对所述染色图进行显式空间编码以得到染色图特征；解码单元122，用于将所述染色图特征输入所述降噪模块的解码器，其中，所述解码器使用反卷积层对所述染色图特征进行反卷积处理以得到所述降噪后染色图。
应可以理解，考虑到在所述待检测样本的染色图中，因肿瘤细胞异型核的复染时间和程度不易掌握，会使得细胞浆附着色，背景不干净。因此，在本申请的技术方案中，使用颜色特征提取和纹理特征提取相结合的方法来提高样本中甲胎蛋白受体检测的准确度。
更具体地，在本申请实施例中，所述颜色特征编码模块150，用于将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图。应可以理解，使用在图像的隐含特征提取方面具有优异表现的作为特征提取器的第二卷积神经网络模型来对于所述降噪后染色图进行特征提取，可以提取出所述降噪后染色图中的局部隐含关联特征分布信息，即所述降噪后染色图中的颜色关联特征分布信息，从而得到颜色特征图。
相应地，在一个具体示例中，所述颜色特征编码模块150，进一步用于：使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层输出所述颜色特征图，其中，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述降噪后染色图。
更具体地，在本申请实施例中，所述颜色空间转换模块130，用于将所述降噪后染色图从RGB颜色空间转化到YCbCr颜色空间并提取各个通道的LBP纹理特征直方图。考虑到由于灰度图的纹理分析在低分辨率的所述染色图中准确率不高，因此，在本申请的技术方案中，进一步将所述降噪后染色图从RGB颜色空间转化到YCbCr颜色空间并提取各个通道的LBP纹理特征直方图，以结合所述染色图的颜色特征以及纹理特征进行样本中的甲胎蛋白受体检测。
更具体地，在本申请实施例中，所述纹理特征编码模块140，用于将所述各个通道的LBP纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，并将所述多个纹理特征图进行级联以得到纹理特征图。将所述各个通道的LBP纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型中进行处理，可以提取出所述各个通道的LBP纹理特征直方图中的局部特征信息在高维空间中的特征分布表示，即所述降噪后染色图的纹理隐含关联特征，从而得到多个纹理特征图。接着，再将所述多个纹理特征图进行级联以整合所述各个通道的LBP纹理特征直方图中的纹理特征信息从而得到纹理特征图。
相应地，在一个具体示例中，所述纹理特征编码模块140，进一步用于：使用所述作为特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第一卷积神经网络模型的最后一层输出所述多个纹理特征图，其中，所述作为特征提取器的第一卷积神经网络模型的第一层的输入为所述各个通道的LBP纹理特征直方图。
更具体地，在本申请实施例中，所述异质特征融合模块160，用于融合所述颜色特征图和所述纹理特征图以得到分类特征图。融合所述颜色特征图和所述纹理特征图可以融合所述待检测样本的染色图中的颜色特征信息和纹理特征信息来进行所述待检测样本中是否含有甲胎蛋白受体的分类检测，进而判断出所述待检测样本是否为肿瘤细胞。
特别地，在本申请的技术方案中，为了提高所述纹理特征图和所述颜色特征图的融合效果，需要提高所述纹理特征图和所述颜色特征图的特征一致性程度，而由于所述颜色特征图是所述降噪后染色图通过第二卷积神经网络得到的，所述纹理特征图是所述降噪后染色图进行颜色空间转换和直方图提取后通过第一卷积神经网络得到的，因此期望将所述纹理特征图也映射到与所述颜色特征图相同的特征空间内。基于此，对所述颜色特征图和所述纹理特征图采用注意力导向的特征图联立融合。
相应地，在一个具体示例中，所述异质特征融合模块160，进一步用于：以如下公式融合所述颜色特征图和所述纹理特征图以得到所述分类特征图；其中，所述公式为：
Figure 459476DEST_PATH_IMAGE001
其中
Figure 61358DEST_PATH_IMAGE002
、
Figure 849186DEST_PATH_IMAGE003
和
Figure 485703DEST_PATH_IMAGE004
分别表示所述颜色特征图、所述纹理特征图和所述分类特征图，
Figure 700784DEST_PATH_IMAGE005
表示所述纹理特征图的各个位置的特征值，
Figure 55542DEST_PATH_IMAGE006
表示所述纹理特征图的各个位置的特征值的 全局均值，
Figure 381481DEST_PATH_IMAGE007
是所述纹理特征图的尺度，且
Figure 888817DEST_PATH_IMAGE008
是加权超参数，
Figure 71537DEST_PATH_IMAGE009
表示按位置加法，
Figure 851274DEST_PATH_IMAGE010
表示按位 置点乘，
Figure 777642DEST_PATH_IMAGE011
表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然 指数函数值。
这里，待作为映射到的参考特征的所述纹理特征图
Figure 326435DEST_PATH_IMAGE003
的子维度一致性作为注意力 导向权重，对进行映射的所述颜色特征图
Figure 945635DEST_PATH_IMAGE002
施加子维度分布的一致性注意力机制，来在具 有彼此分立却又具有一定关联的高维流形之间进行体匹配，这样，在融合所述颜色特征图
Figure 947089DEST_PATH_IMAGE002
和所述纹理特征图
Figure 693459DEST_PATH_IMAGE003
时，分类特征图
Figure 96759DEST_PATH_IMAGE004
可以作为所述颜色特征图
Figure 886860DEST_PATH_IMAGE002
和所述纹理特征图
Figure 375610DEST_PATH_IMAGE003
的各个子维度上的联立分布，在特征空间内的各个子维度上具有高一致性，提升了所述 颜色特征图
Figure 174939DEST_PATH_IMAGE002
和所述纹理特征图
Figure 229483DEST_PATH_IMAGE003
的融合效果，进而提高了分类的准确性。这样，能够对于 样本中是否含有甲胎蛋白受体进行准确地检测，进而提高肿瘤细胞检测的精准度，同时还 能够预防癌变的发生，有利于监测评估患者的治疗效果。
更具体地，在本申请实施例中，所述检测结果生成模块170，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测样本是否含有甲胎蛋白受体。
相应地，在一个具体示例中，所述检测结果生成模块170，进一步用于：使用所述分 类器以如下公式对所述分类特征图进行处理以得到分类结果；其中，所述公式为：
Figure 128168DEST_PATH_IMAGE012
，其中，
Figure 917264DEST_PATH_IMAGE013
到
Figure 192388DEST_PATH_IMAGE014
为权重矩阵，
Figure 367017DEST_PATH_IMAGE015
到
Figure 702183DEST_PATH_IMAGE016
为偏 置向量，
Figure 962263DEST_PATH_IMAGE017
为所述分类特征图投影为向量。
综上，基于本申请实施例的基于机器视觉的肿瘤细胞检测设备100被阐明，其首先将获取的待检测样本的染色图降噪模块进行降噪后得到的降噪后染色图从RGB颜色空间转化到YCbCr颜色空间并提取各个通道的LBP纹理特征直方图，接着，将所述各个通道的LBP纹理特征直方图分别通过第一卷积神经网络模型以得到多个纹理特征图并将所述多个纹理特征图进行级联以得到纹理特征图，然后，将所述降噪后染色图通过第二卷积神经网络模型以得到颜色特征图，最后，融合所述颜色特征图和所述纹理特征图以得到分类特征图并将所述分类特征图通过分类器以得到用于表示待检测样本是否含有甲胎蛋白受体的分类结果。通过这样的方式，就能够提高肿瘤细胞检测的精准度。
如上所述，根据本申请实施例的所述基于机器视觉的肿瘤细胞检测设备100可以实现在各种终端设备中，例如具有基于机器视觉的肿瘤细胞检测算法的服务器等。在一个示例中，基于机器视觉的肿瘤细胞检测设备100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于机器视觉的肿瘤细胞检测设备100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于机器视觉的肿瘤细胞检测设备100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于机器视觉的肿瘤细胞检测设备100与该终端设备也可以是分立的设备，并且基于机器视觉的肿瘤细胞检测设备100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法
图4图示了根据本申请实施例的基于机器视觉的肿瘤细胞检测方法的流程图。如图4所示，根据本申请实施例的基于机器视觉的肿瘤细胞检测方法，其包括：S110，获取待检测样本的染色图；S120，将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图；S130，将所述降噪后染色图从RGB颜色空间转化到YCbCr颜色空间并提取各个通道的LBP纹理特征直方图；S140，将所述各个通道的LBP纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，并将所述多个纹理特征图进行级联以得到纹理特征图；S150，将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图；S160，融合所述颜色特征图和所述纹理特征图以得到分类特征图；以及，S170，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测样本是否含有甲胎蛋白受体。
图5图示了根据本申请实施例的基于机器视觉的肿瘤细胞检测方法的系统架构的示意图。如图5所示，在所述基于机器视觉的肿瘤细胞检测方法的系统架构中，首先，获取待检测样本的染色图；接着，将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图；然后，将所述降噪后染色图从RGB颜色空间转化到YCbCr颜色空间并提取各个通道的LBP纹理特征直方图；接着，将所述各个通道的LBP纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，并将所述多个纹理特征图进行级联以得到纹理特征图；然后，将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图；接着，融合所述颜色特征图和所述纹理特征图以得到分类特征图；最后，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测样本是否含有甲胎蛋白受体。
在一个具体示例中，在上述基于机器视觉的肿瘤细胞检测方法中，所述将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图，包括：将所述染色图输入所述降噪模块的编码器，其中，所述编码器使用卷积层对所述染色图进行显式空间编码以得到染色图特征；将所述染色图特征输入所述降噪模块的解码器，其中，所述解码器使用反卷积层对所述染色图特征进行反卷积处理以得到所述降噪后染色图。所述待检测样本中存在有多种物质和细胞，为了能够聚焦于所述待检测样本中的甲胎蛋白受体检测，需要滤除其中的不相关物质对于检测的干扰，因此，需要对于所述待检测样本的染色图进行降噪处理。
在一个具体示例中，在上述基于机器视觉的肿瘤细胞检测方法中，所述将所述各个通道的LBP纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，包括：使用所述作为特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第一卷积神经网络模型的最后一层输出所述多个纹理特征图，其中，所述作为特征提取器的第一卷积神经网络模型的第一层的输入为所述各个通道的LBP纹理特征直方图。
在一个具体示例中，在上述基于机器视觉的肿瘤细胞检测方法中，所述将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图，包括：使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层输出所述颜色特征图，其中，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述降噪后染色图。
特别地，在本申请的技术方案中，为了提高所述纹理特征图和所述颜色特征图的融合效果，需要提高所述纹理特征图和所述颜色特征图的特征一致性程度，而由于所述颜色特征图是所述降噪后染色图通过第二卷积神经网络得到的，所述纹理特征图是所述降噪后染色图进行颜色空间转换和直方图提取后通过第一卷积神经网络得到的，因此期望将所述纹理特征图也映射到与所述颜色特征图相同的特征空间内。基于此，对所述颜色特征图和所述纹理特征图采用注意力导向的特征图联立融合。
在一个具体示例中，在上述基于机器视觉的肿瘤细胞检测方法中，所述融合所述颜色特征图和所述纹理特征图以得到分类特征图，进一步用于：以如下公式融合所述颜色特征图和所述纹理特征图以得到所述分类特征图；其中，所述公式为：
Figure 41078DEST_PATH_IMAGE001
其中
Figure 70214DEST_PATH_IMAGE002
、
Figure 576281DEST_PATH_IMAGE003
和
Figure 89038DEST_PATH_IMAGE004
分别表示所述颜色特征图、所述纹理特征图和所述分类特征图，
Figure 705965DEST_PATH_IMAGE005
表示所述纹理特征图的各个位置的特征值，
Figure 589607DEST_PATH_IMAGE006
表示所述纹理特征图的各个位置的特征值的 全局均值，
Figure 328893DEST_PATH_IMAGE007
是所述纹理特征图的尺度，且
Figure 501248DEST_PATH_IMAGE008
是加权超参数，
Figure 984182DEST_PATH_IMAGE009
表示按位置加法，
Figure 925593DEST_PATH_IMAGE010
表示按位 置点乘，
Figure 586513DEST_PATH_IMAGE011
表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然 指数函数值。
在一个具体示例中，在上述基于机器视觉的肿瘤细胞检测方法中，所述将所述分 类特征图通过分类器以得到分类结果，包括：使用所述分类器以如下公式对所述分类特征 图进行处理以得到分类结果；其中，所述公式为：
Figure 246164DEST_PATH_IMAGE012
，其中，
Figure 267210DEST_PATH_IMAGE013
到
Figure 328707DEST_PATH_IMAGE014
为权重矩阵，
Figure 144216DEST_PATH_IMAGE015
到
Figure 87901DEST_PATH_IMAGE016
为偏 置向量，
Figure 850321DEST_PATH_IMAGE017
为所述分类特征图投影为向量。
这里，本领域技术人员可以理解，上述基于机器视觉的肿瘤细胞检测方法中的各个步骤的具体操作已经在上面参考图1到图3的基于机器视觉的肿瘤细胞检测设备的描述中得到了详细介绍，并因此，将省略其重复描述。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于机器视觉的肿瘤细胞检测方法的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于机器视觉的肿瘤细胞检测方法的步骤。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于机器视觉的肿瘤细胞检测设备，其特征在于，包括：
染色图采集模块，用于获取待检测样本的染色图；
降噪模块，用于将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图；
颜色空间转换模块，用于将所述降噪后染色图从RGB颜色空间转化到YCbCr颜色空间并提取各个通道的LBP纹理特征直方图；
纹理特征编码模块，用于将所述各个通道的LBP纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，并将所述多个纹理特征图进行级联以得到纹理特征图；
颜色特征编码模块，用于将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图；
异质特征融合模块，用于融合所述颜色特征图和所述纹理特征图以得到分类特征图；以及
检测结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测样本是否含有甲胎蛋白受体。
2.根据权利要求1所述的基于机器视觉的肿瘤细胞检测设备，其特征在于，所述降噪模块，包括：
编码单元，用于将所述染色图输入所述降噪模块的编码器，其中，所述编码器使用卷积层对所述染色图进行显式空间编码以得到染色图特征；
解码单元，用于将所述染色图特征输入所述降噪模块的解码器，其中，所述解码器使用反卷积层对所述染色图特征进行反卷积处理以得到所述降噪后染色图。
3.根据权利要求2所述的基于机器视觉的肿瘤细胞检测设备，其特征在于，所述纹理特征编码模块，进一步用于：使用所述作为特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第一卷积神经网络模型的最后一层输出所述多个纹理特征图，其中，所述作为特征提取器的第一卷积神经网络模型的第一层的输入为所述各个通道的LBP纹理特征直方图。
4.根据权利要求3所述的基于机器视觉的肿瘤细胞检测设备，其特征在于，所述颜色特征编码模块，进一步用于：使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层输出所述颜色特征图，其中，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述降噪后染色图。
5.根据权利要求4所述的基于机器视觉的肿瘤细胞检测设备，其特征在于，所述异质特征融合模块，进一步用于：以如下公式融合所述颜色特征图和所述纹理特征图以得到所述分类特征图；
其中，所述公式为：
Figure 528046DEST_PATH_IMAGE001
其中
Figure 505229DEST_PATH_IMAGE002
、
Figure 901576DEST_PATH_IMAGE003
和
Figure 306012DEST_PATH_IMAGE004
分别表示所述颜色特征图、所述纹理特征图和所述分类特征图，
Figure 155019DEST_PATH_IMAGE005
表示 所述纹理特征图的各个位置的特征值，
Figure 421047DEST_PATH_IMAGE006
表示所述纹理特征图的各个位置的特征值的全局 均值，
Figure 203058DEST_PATH_IMAGE007
是所述纹理特征图的尺度，且
Figure 778396DEST_PATH_IMAGE008
是加权超参数，
Figure 114699DEST_PATH_IMAGE009
表示按位置加法，
Figure 433685DEST_PATH_IMAGE010
表示按位置点 乘，
Figure 555356DEST_PATH_IMAGE011
表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数 函数值。
6.根据权利要求5所述的基于机器视觉的肿瘤细胞检测设备，其特征在于，所述检测结果生成模块，进一步用于：使用所述分类器以如下公式对所述分类特征图进行处理以得到分类结果；
其中，所述公式为：
Figure 301595DEST_PATH_IMAGE012
，其中，
Figure 859615DEST_PATH_IMAGE013
到
Figure 982292DEST_PATH_IMAGE014
为 权重矩阵，
Figure 207737DEST_PATH_IMAGE015
到
Figure 124878DEST_PATH_IMAGE016
为偏置向量，
Figure 435773DEST_PATH_IMAGE017
为所述分类特征图投影为向量。
7.一种基于机器视觉的肿瘤细胞检测方法，其特征在于，包括：
获取待检测样本的染色图；
将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图；
将所述降噪后染色图从RGB颜色空间转化到YCbCr颜色空间并提取各个通道的LBP纹理特征直方图；
将所述各个通道的LBP纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，并将所述多个纹理特征图进行级联以得到纹理特征图；
将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图；
融合所述颜色特征图和所述纹理特征图以得到分类特征图；以及
将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测样本是否含有甲胎蛋白受体。
8.根据权利要求7所述的基于机器视觉的肿瘤细胞检测方法，其特征在于，所述将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图，包括：
将所述染色图输入所述降噪模块的编码器，其中，所述编码器使用卷积层对所述染色图进行显式空间编码以得到染色图特征；
将所述染色图特征输入所述降噪模块的解码器，其中，所述解码器使用反卷积层对所述染色图特征进行反卷积处理以得到所述降噪后染色图。
9.根据权利要求8所述的基于机器视觉的肿瘤细胞检测方法，其特征在于，所述将所述各个通道的LBP纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，包括：使用所述作为特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第一卷积神经网络模型的最后一层输出所述多个纹理特征图，其中，所述作为特征提取器的第一卷积神经网络模型的第一层的输入为所述各个通道的LBP纹理特征直方图。
10.根据权利要求9所述的基于机器视觉的肿瘤细胞检测方法，其特征在于，所述将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图，包括：使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层输出所述颜色特征图，其中，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述降噪后染色图。
CN202211360325.1A 2022-11-02 2022-11-02 基于机器视觉的肿瘤细胞检测设备及其方法 Active CN115410050B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211360325.1A CN115410050B (zh) 2022-11-02 2022-11-02 基于机器视觉的肿瘤细胞检测设备及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211360325.1A CN115410050B (zh) 2022-11-02 2022-11-02 基于机器视觉的肿瘤细胞检测设备及其方法

Publications (2)

Publication Number Publication Date
CN115410050A true CN115410050A (zh) 2022-11-29
CN115410050B CN115410050B (zh) 2023-02-03

Family

ID=84169170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211360325.1A Active CN115410050B (zh) 2022-11-02 2022-11-02 基于机器视觉的肿瘤细胞检测设备及其方法

Country Status (1)

Country Link
CN (1) CN115410050B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641045A (zh) * 2022-12-23 2023-01-24 河南新飞电器集团有限公司 一种冷链运输远程监控系统
CN116189179A (zh) * 2023-04-28 2023-05-30 北京航空航天大学杭州创新研究院 循环肿瘤细胞扫描分析设备
CN116309596A (zh) * 2023-05-23 2023-06-23 杭州华得森生物技术有限公司 基于微流控芯片的ctc细胞检测方法及其系统
CN116309543A (zh) * 2023-05-10 2023-06-23 北京航空航天大学杭州创新研究院 基于图像的循环肿瘤细胞检测设备
CN116309595A (zh) * 2023-05-23 2023-06-23 杭州华得森生物技术有限公司 Ctc智能全自动检测一体机及其方法
CN116402818A (zh) * 2023-06-08 2023-07-07 杭州华得森生物技术有限公司 全自动荧光扫描仪及其方法
CN117197487A (zh) * 2023-09-05 2023-12-08 东莞常安医院有限公司 一种免疫胶体金诊断试纸条自动识别系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020168511A1 (zh) * 2019-02-21 2020-08-27 中国医药大学附设医院 染色体异常检测模型、其检测系统及染色体异常检测方法
WO2021073279A1 (zh) * 2019-10-18 2021-04-22 平安科技（深圳）有限公司 数字病理图像染色归一化方法、系统、电子装置及存储介质
CN113222944A (zh) * 2021-05-18 2021-08-06 湖南医药学院 细胞核分割方法、系统、装置及基于病理图像的癌症辅助分析系统、装置
CN113743523A (zh) * 2021-09-13 2021-12-03 西安建筑科技大学 一种视觉多特征引导的建筑垃圾精细分类方法
CN115018820A (zh) * 2022-07-08 2022-09-06 哈尔滨理工大学 基于纹理加强的乳腺癌多分类方法
CN115272196A (zh) * 2022-07-11 2022-11-01 东北林业大学 组织病理图像中病灶区域预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020168511A1 (zh) * 2019-02-21 2020-08-27 中国医药大学附设医院 染色体异常检测模型、其检测系统及染色体异常检测方法
WO2021073279A1 (zh) * 2019-10-18 2021-04-22 平安科技（深圳）有限公司 数字病理图像染色归一化方法、系统、电子装置及存储介质
CN113222944A (zh) * 2021-05-18 2021-08-06 湖南医药学院 细胞核分割方法、系统、装置及基于病理图像的癌症辅助分析系统、装置
CN113743523A (zh) * 2021-09-13 2021-12-03 西安建筑科技大学 一种视觉多特征引导的建筑垃圾精细分类方法
CN115018820A (zh) * 2022-07-08 2022-09-06 哈尔滨理工大学 基于纹理加强的乳腺癌多分类方法
CN115272196A (zh) * 2022-07-11 2022-11-01 东北林业大学 组织病理图像中病灶区域预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WAQAR ISMAIL等: ""An Adaptive Image Processing Model of Plant Disease Diagnosis and Quantification Based on Color and Texture Histogram"", 《2020 2ND INTERNATIONAL CONFERENCE ON COMPUTER AND INFORMATION SCIENCES (ICCIS)》 *
陈远等: ""一种融合 LBP 纹理特征的多姿态人脸跟踪方法"", 《华侨大学学报（自然科学版）》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641045A (zh) * 2022-12-23 2023-01-24 河南新飞电器集团有限公司 一种冷链运输远程监控系统
CN116189179A (zh) * 2023-04-28 2023-05-30 北京航空航天大学杭州创新研究院 循环肿瘤细胞扫描分析设备
CN116189179B (zh) * 2023-04-28 2023-08-15 北京航空航天大学杭州创新研究院 循环肿瘤细胞扫描分析设备
CN116309543A (zh) * 2023-05-10 2023-06-23 北京航空航天大学杭州创新研究院 基于图像的循环肿瘤细胞检测设备
CN116309543B (zh) * 2023-05-10 2023-08-11 北京航空航天大学杭州创新研究院 基于图像的循环肿瘤细胞检测设备
CN116309596A (zh) * 2023-05-23 2023-06-23 杭州华得森生物技术有限公司 基于微流控芯片的ctc细胞检测方法及其系统
CN116309595A (zh) * 2023-05-23 2023-06-23 杭州华得森生物技术有限公司 Ctc智能全自动检测一体机及其方法
CN116309596B (zh) * 2023-05-23 2023-08-04 杭州华得森生物技术有限公司 基于微流控芯片的ctc细胞检测方法及其系统
CN116402818A (zh) * 2023-06-08 2023-07-07 杭州华得森生物技术有限公司 全自动荧光扫描仪及其方法
CN117197487A (zh) * 2023-09-05 2023-12-08 东莞常安医院有限公司 一种免疫胶体金诊断试纸条自动识别系统
CN117197487B (zh) * 2023-09-05 2024-04-12 东莞常安医院有限公司 一种免疫胶体金诊断试纸条自动识别系统

Also Published As

Publication number Publication date
CN115410050B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN115410050B (zh) 基于机器视觉的肿瘤细胞检测设备及其方法
CN109345575B (zh) 一种基于深度学习的图像配准方法及装置
CN110648334A (zh) 一种基于注意力机制的多特征循环卷积显著性目标检测方法
CN116189179B (zh) 循环肿瘤细胞扫描分析设备
Al-Hiary et al. Fast and accurate detection and classification of plant diseases
Ismael et al. Medical image classification using different machine learning algorithms
CN111951288B (zh) 一种基于深度学习的皮肤癌病变分割方法
Bhattacharjee et al. Review on histopathological slide analysis using digital microscopy
CN112017192B (zh) 基于改进U-Net网络的腺体细胞图像分割方法及系统
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN114862838A (zh) 基于无监督学习的缺陷检测方法及设备
CN108520215B (zh) 基于多尺度联合特征编码器的单样本人脸识别方法
Alkassar et al. Going deeper: magnification‐invariant approach for breast cancer classification using histopathological images
CN116434226B (zh) 循环肿瘤细胞分析仪
Zhang et al. DPANet: dual pooling‐aggregated attention network for fish segmentation
CN113781488A (zh) 舌象图像的分割方法、装置及介质
Kanwal et al. Quantifying the effect of color processing on blood and damaged tissue detection in whole slide images
CN115359066A (zh) 用于内窥镜的病灶检测方法、装置、电子设备及存储介质
Wu et al. Hprn: Holistic prior-embedded relation network for spectral super-resolution
CN110838094A (zh) 病理切片染色风格转换方法和电子设备
Khan et al. GLNET: global–local CNN's-based informed model for detection of breast cancer categories from histopathological slides
Li et al. An automatic plant leaf stoma detection method based on YOLOv5
CN117237256A (zh) 一种浅海珊瑚礁监测数据采集方法、装置及设备
Bozdağ et al. Pyramidal nonlocal network for histopathological image of breast lymph node segmentation
Krishna et al. Stain normalized breast histopathology image recognition using convolutional neural networks for cancer detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231121

Address after: Room 1303, 13th Floor, No. 888 Fuxian Road, Yinhu Street, Fuyang District, Hangzhou City, Zhejiang Province, 311400

Patentee after: Zhejiang Huadesen Biotechnology Co.,Ltd.

Address before: 3 / F, building 4, 88 Jiangling Road, Binjiang District, Hangzhou, Zhejiang 310000

Patentee before: HANGZHOU WATSON BIOTECH Inc.

TR01 Transfer of patent right