CN116894842B - 肿瘤腹腔种植转移病灶图像处理方法及相关装置 - Google Patents
肿瘤腹腔种植转移病灶图像处理方法及相关装置 Download PDFInfo
- Publication number
- CN116894842B CN116894842B CN202311155026.9A CN202311155026A CN116894842B CN 116894842 B CN116894842 B CN 116894842B CN 202311155026 A CN202311155026 A CN 202311155026A CN 116894842 B CN116894842 B CN 116894842B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- processing
- laparoscopic
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 127
- 238000002513 implantation Methods 0.000 title claims abstract description 51
- 210000000683 abdominal cavity Anatomy 0.000 title claims abstract description 36
- 238000003672 processing method Methods 0.000 title abstract description 23
- 238000012546 transfer Methods 0.000 title description 4
- 238000012545 processing Methods 0.000 claims abstract description 165
- 206010027476 Metastases Diseases 0.000 claims abstract description 86
- 230000009401 metastasis Effects 0.000 claims abstract description 82
- 238000000034 method Methods 0.000 claims abstract description 76
- 230000002776 aggregation Effects 0.000 claims abstract description 60
- 238000004220 aggregation Methods 0.000 claims abstract description 60
- 238000003709 image segmentation Methods 0.000 claims description 58
- 238000012549 training Methods 0.000 claims description 36
- 238000009826 distribution Methods 0.000 claims description 33
- 230000003902 lesion Effects 0.000 claims description 33
- 230000001394 metastastic effect Effects 0.000 claims description 13
- 206010061289 metastatic neoplasm Diseases 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 10
- 230000002708 enhancing effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000003860 storage Methods 0.000 description 14
- 238000013461 design Methods 0.000 description 13
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000006116 polymerization reaction Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000004931 aggregating effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 101100298998 Caenorhabditis elegans pbs-3 gene Proteins 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 101100245267 Caenorhabditis elegans pas-1 gene Proteins 0.000 description 2
- 101100353517 Caenorhabditis elegans pas-2 gene Proteins 0.000 description 2
- 101100084503 Caenorhabditis elegans pas-3 gene Proteins 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007912 intraperitoneal administration Methods 0.000 description 2
- 238000002357 laparoscopic surgery Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000002699 Digestive System Neoplasms Diseases 0.000 description 1
- 206010019695 Hepatic neoplasm Diseases 0.000 description 1
- 208000008839 Kidney Neoplasms Diseases 0.000 description 1
- 208000003788 Neoplasm Micrometastasis Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 208000037920 primary disease Diseases 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Processing (AREA)
Abstract
本申请涉及计算机视觉领域，提供一种肿瘤腹腔种植转移病灶图像处理方法及相关装置，该方法包括：获取腹腔镜图像，并基于所述腹腔镜图像获取第一聚合特征；所述第一聚合特征包括关联对象增强特征；所述关联对象增强特征基于输入特征中同一行或同一列的像素进行加权聚合操作得到；所述输入特征基于所述腹腔镜图像得到；基于所述第一聚合特征对所述腹腔镜图像进行第一次预测，得到第一掩码图像；将所述第一聚合特征与所述第一掩码图像进行像素级别和通道级别的加权处理，以对所述第一掩码图像中的目标像素进行修正，得到修正掩码图像；其中，所述目标像素包括预测结果错误或置信度低于预设阈值的像素；基于所述修正掩码图像获取第二聚合特征。
Description
技术领域
本申请实施例涉及计算机视觉领域，更具体地涉及一种肿瘤腹腔种植转移病灶图像处理方法及相关装置。
背景技术
肿瘤的腹腔内种植转移病灶位置多变、形态各异、大小不一，特别是微小的腹膜转移病灶，在腹腔镜探查时医师容易受到术野下光线和组织颜色的干扰而导致遗漏。同时，腹腔镜探查过程主要由资历较浅的医师实施，相对来说缺乏足够的手术和临床经验，手术探查程序执行不熟练，对腹腔镜探查阶段的重视程度不足，相较于高级别外科医师，前者更容易在探查时遗漏微小转移病灶。
随着以深度学习为代表的人工智能技术的迅猛发展，语义分割方法被应用于腹腔镜图像手术器械识别、解剖器官分割等方面，并且具有良好的准确性，因此将语义分割技术应用于腹腔镜术中病灶识别及手术导航是微创外科发展的必然趋势。然而，由于肿瘤腹腔种植转移病灶的表现多变等特点，现有图像处理方法无法准确获得各种类型病灶的图像特征，从而难以精确识别，容易遗漏转移病灶，无法为手术医生准确提示可疑的转移病灶。
发明内容
本申请实施例提供一种肿瘤腹腔种植转移病灶图像处理方法及相关装置,可以通过对腹腔镜图像中目标对象的像素进行增强，得到目标对象被显著化处理的增强特征，该增强特征可以用于准确识别出尺寸较小的腹腔内肿瘤种植转移病灶，从而为用户提供准确的提示。
第一方面，本申请实施例提供一种肿瘤腹腔种植转移病灶图像处理方法，该方法包括：
获取腹腔镜图像，并基于所述腹腔镜图像获取第一聚合特征；所述第一聚合特征包括关联对象增强特征；所述关联对象增强特征基于输入特征中同一行或同一列的像素进行加权聚合操作得到，所述加权聚合操作用于增强所述输入特征中目标对象所在行或列的像素值；所述目标对象包括肿瘤腹腔种植转移病灶；所述输入特征基于所述腹腔镜图像得到；
基于所述第一聚合特征对所述腹腔镜图像进行第一次预测，得到第一掩码图像；
将所述第一聚合特征与所述第一掩码图像进行像素级别和通道级别的加权处理，以对所述第一掩码图像中的目标像素进行修正，得到修正掩码图像；其中，所述目标像素包括预测结果错误或置信度低于预设阈值的像素；
基于所述修正掩码图像获取第二聚合特征；所述第二聚合特征包括定向增强特征；所述定向增强特征基于所述修正掩码图像的输入特征，在目标方向上的像素值加权融合得到；所述目标方向包括斜向，基于所述腹腔镜图像的关联图像中的肿瘤原发病灶得到，用于表示所述目标对象的潜在分布方向；
所述第二聚合特征用于对所述腹腔镜图像进行第二次预测，得到第二掩码图像；
所述第二掩码图像用于得到所述腹腔镜图像中目标对象的检测信息。
第二方面，本申请实施例提供一种肿瘤腹腔种植转移病灶图像处理装置，具有实现对应于上述第一方面提供的肿瘤腹腔种植转移病灶图像处理方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。
在一个实施方式中，所述肿瘤腹腔种植转移病灶图像处理装置包括：
输入输出模块，被配置为获取腹腔镜图像；
处理模块，被配置为基于所述腹腔镜图像获取第一聚合特征；所述第一聚合特征包括关联对象增强特征；所述关联对象增强特征基于输入特征中同一行或同一列的像素进行加权聚合操作得到，所述加权聚合操作用于增强所述输入特征中目标对象所在行或列的像素值；所述目标对象包括肿瘤腹腔种植转移病灶；所述输入特征基于所述腹腔镜图像得到；
所述处理模块，还被配置为基于所述第一聚合特征对所述腹腔镜图像进行第一次预测，得到第一掩码图像；
所述处理模块，还被配置为将所述第一聚合特征与所述第一掩码图像进行像素级别和通道级别的加权处理，以对所述第一掩码图像中的目标像素进行修正，得到修正掩码图像；其中，所述目标像素包括预测结果错误或置信度低于预设阈值的像素；
所述处理模块，还被配置为基于所述修正掩码图像获取第二聚合特征；所述第二聚合特征包括定向增强特征；所述定向增强特征基于所述修正掩码图像的输入特征，在目标方向上的像素值加权融合得到；所述目标方向包括斜向，基于所述腹腔镜图像的关联图像中的肿瘤原发病灶得到，用于表示所述目标对象的潜在分布方向；
所述第二聚合特征用于对所述腹腔镜图像进行第二次预测，得到第二掩码图像；
所述第二掩码图像用于得到所述腹腔镜图像中目标对象的检测信息。
第三方面，本申请实施例提供一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如第一方面所述的肿瘤腹腔种植转移病灶图像处理方法。
第四方面，本申请实施例提供一种计算设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现第一方面所述的肿瘤腹腔种植转移病灶图像处理方法。
第五方面，本申请实施例提供一种芯片，该芯片中包括与终端设备的收发器耦合的处理器，用于执行本申请实施例第一方面提供的技术方案。
第六方面，本申请实施例提供一种芯片系统，该芯片系统包括处理器，用于支持终端设备实现上述第一方面中所涉及的功能，例如，生成或者处理上述第一方面提供的肿瘤腹腔种植转移病灶图像处理方法中所涉及的信息。
在一种可能的设计中，上述芯片系统还包括存储器，该存储器用于保存终端必需的程序指令和数据。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。
相较于现有技术，本申请实施例中，通过对基于腹腔镜图像得到的输入特征中同行或同列的像素进行加权聚合，得到关联对象增强特征，从而使得相同方向的大尺寸目标对象可以对小尺寸目标对象进行增强，建立空间上不同位置关系的目标对象的依赖关系；继而通过包括关联对象增强特征的第一聚合特征对腹腔镜图像进行第一次预测，得到第一掩码图像，而第一掩码图像可以被第一聚合特征修正，得到用于提取第二聚合特征的修正掩码图像。由于修正掩码图像相当于是第一掩码图像中预测结果错误或置信度低于预设阈值的像素修正后得到的，因此，基于修正掩码图像进行第二次特征处理得到的结果，即第二聚合特征，相当于是基于正确识别结果辅助指引得到的。另外，在获取第二聚合特征时，还可以基于所述腹腔镜图像的关联图像中的肿瘤原发病灶得到所述目标对象的潜在分布方向，从而对图像特征进行定向增强，进一步突出可能存在的目标对象的特征，使得用于检测目标对象的第二聚合特征中的目标对象部分的像素被极大的显著化。可见，本申请实施例得到的第二聚合特征，可以全面且准确地显示出目标对象的特征信息，从而能够使得腹腔镜图像的全部目标对象被准确标识出来，为用户提供准确的提示。
附图说明
通过参考附图阅读本申请实施例的详细描述，本申请实施例的目的、特征和优点将变得易于理解。其中：
图1为本申请实施例中肿瘤腹腔种植转移病灶图像处理方法的一种图像处理系统示意图；
图2为本申请实施例的肿瘤腹腔种植转移病灶图像处理方法的一种流程示意图；
图3为本申请实施例的肿瘤腹腔种植转移病灶图像处理方法的一种不同尺寸的肿瘤腹腔种植转移病灶的示意图；
图4为本申请实施例的肿瘤腹腔种植转移病灶图像处理方法的一种图像块分割示意图；
图5为本申请实施例的肿瘤腹腔种植转移病灶图像处理方法的一种肿瘤原发病灶和肿瘤腹腔种植转移病灶的分布示意图；
图6为本申请实施例的肿瘤腹腔种植转移病灶图像处理方法的一种潜在分布方向覆盖图像像素的示意图；
图7为本申请实施例的肿瘤腹腔种植转移病灶图像处理方法的一种预设图像分割模型的细化结构示意图；
图8为本申请实施例的肿瘤腹腔种植转移病灶图像处理方法的一种图像分割结果的示意图；
图9为本申请实施例的肿瘤腹腔种植转移病灶图像处理方法的一种预设图像分割模型的示意图；
图10为本申请实施例的肿瘤腹腔种植转移病灶图像处理方法的一种预设图像分割模型的训练示意图；
图11为本申请实施例的肿瘤腹腔种植转移病灶图像处理方法的一种采用参数重整化技术的示意图；
图12为本申请实施例的肿瘤腹腔种植转移病灶图像处理装置的结构示意图；
图13为本申请实施例的计算设备的一种结构示意图；
图14为本申请实施例中服务器的一种结构示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象（例如第一掩码图像和第二掩码图像分别表示为不同的掩码图像，其他类似），而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行。另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合，通信连接可以是电性或其他类似的形式，本申请实施例中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。
本申请实施例还提供一种肿瘤腹腔种植转移病灶图像处理方法及相关装置，可应用于能够识别视觉表现复杂多变的目标对象场景下的图像处理系统，该图像处理系统可包括图像采集装置和图像处理装置，图像采集装置和图像处理装置可以集成部署，也可分离式部署。该图像采集装置至少用于基于目标对象进行图像采集，得到腹腔镜图像。该图像处理装置用于处理输入的腹腔镜图像，得到目标对象的像素被增强的第二聚合特征，以便基于所述第二聚合特征得到图像识别结果。其中，图像采集装置可为摄像机、照相机、监控摄像头、腹腔镜设备或者具有图像采集元件的终端设备；图像识别装置可为对图像进行识别，得到识别结果的图像识别程序，所述图像识别程序例如是图像识别模型，所述图像识别装置还可为部署了图像识别模型的服务器。
本申请实施例提供的方案涉及人工智能(Artificial Intelligence， AI)、计算机视觉技术(Computer Vision，CV)、机器学习(Machine Learning， ML)等技术，具体通过如下实施例进行说明:
其中，AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
AI技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
CV是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括对抗扰动生成、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
一些实施方式中，图像采集装置和图像识别装置分离式部署，参照图1，本申请实施例提供的肿瘤腹腔种植转移病灶图像处理方法可基于图1所示的一种图像处理系统实现。该图像处理系统可以包括服务器01、图像采集设备02和显示设备03。
该服务器01可以是图像处理装置，其中可以部署图像处理程序，例如对腹腔镜图像进行处理，提取特征并进行识别的神经网络模型。
该图像采集设备02可以是腹腔镜。
该图像采集设备02可以基于目标场景，例如腹腔内环境采集到图像，并将该图像转发至服务器01。服务器01可以基于该图像进行处理，得到目标对象被增强处理的特征，以得到识别结果，然后将其向该显示设备03发送。显示设备03可以基于识别结果在腹腔镜采集到的图像上标识出目标对象（例如肿瘤腹腔种植转移病灶），并显示出来以便提示用户。
需要说明的是，本申请实施例涉及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
本申请实施例涉及的显示设备，可以是腹腔镜图像显示仪。
参照图2，图2为本申请实施例提供的一种肿瘤腹腔种植转移病灶图像处理方法的流程示意图。该方法可由图像处理装置执行，可应用于视觉表现复杂多变的腹腔镜图像中的肿瘤腹腔种植转移病灶的特征处理场景，例如可以将腹腔镜图像中的肿瘤腹腔种植转移灶对应的图像特征进行增强，以便准确识别，为用户进行提示。所述方法包括步骤101-104：
步骤101，获取腹腔镜图像，并基于所述腹腔镜图像获取第一聚合特征。其中，所述第一聚合特征包括关联对象增强特征。
本申请实施例中，腹腔镜图像可以是腹腔镜设备采集得到的腹腔内图像，或者基于腹腔镜图像进行图像预处理后得到的图像。具体来说，为了更加方便进行后续的识别操作，可以对腹腔镜设备原始采集得到的图像进行图像预处理，例如可以是对图像的水平/垂直翻转、旋转、模糊、锐化、噪声、对比度增强、颜色通道变换等处理。本领域的技术人员可以根据实际需要选择合适的图像增强处理方式，此处不做限制。
在得到腹腔镜图像之后，可以对其进行特征处理，以得到第一聚合特征，具体来说，可以通过预先训练好的特征提取器对输入的腹腔镜图像执行特征处理操作。该特征提取器可以是图像识别或目标检测领域任意神经网络模型中的特征处理模块，例如可以是ResNet、Mask RCNN或Yolo系列模型等，此处不做限制。
在本申请实施例中，可以通过一系列卷积、池化和注意力增强等操作处理得到腹腔镜图像的第一聚合特征。具体来说，可以通过一个尺寸稍大的卷积核（例如7×7的卷积核）对腹腔镜图像进行卷积处理，得到第一特征，然后再通过几个（例如可以是8个）尺寸稍小的卷积核（例如3×3的卷积核）对第一特征进行卷积处理，得到多个不同尺寸的第二特征。基于这些特征进行拼接和聚合，可以得到第一聚合特征。
又考虑到腹腔镜图像中可能包括多个目标对象（即肿瘤腹腔种植转移病灶），而多个目标对象的分布可能呈散发状态，即不同目标对象之间存在一定的距离，但是卷积处理受到感受野（根据卷积核的尺寸得到）限制，只能处理一定区域的像素，即卷积处理只能捕捉局部关系，无法建模对肿瘤腹腔种植转移病灶识别至关重要的远距离依赖关系（即肿瘤腹腔种植转移病灶之间可能存在一定的联系，例如肿瘤腹腔种植转移病灶A催生了肿瘤腹腔种植转移病灶B，或者肿瘤腹腔种植转移病灶C和D都是由某个肿瘤原发病灶S转移出来，那么两个肿瘤腹腔种植转移病灶可能存在一定的关联关系）。因此，在本申请实施例中，可以通过对输入特征中同一行或同一列的像素值进行加权聚合操作，以使得特征中目标对象的像素值被增强（即得到关联对象增强特征），从而使得基于增强了目标对象像素值的图像特征，能够更加准确地识别出目标对象。
可以理解的是，本申请实施例中的肿瘤可以是胃肠肿瘤、肝脏肿瘤、肾脏肿瘤等腹腔中器官的肿瘤，此处不作限制。
如图3所示，图3中左下角存在一个尺寸较大的肿瘤腹腔种植转移病灶，图3所示的图像被特征处理时，尺寸较大的肿瘤腹腔种植转移病灶的特征相较于尺寸较小的肿瘤腹腔种植转移病灶的特征会更为显著，即像素值更加显著，由此，可以基于该尺寸较大的肿瘤腹腔种植转移病灶的对同行或同列的像素进行增强，以突出同行或同列的其他肿瘤腹腔种植转移病灶，使得同行或同列的尺寸较小的肿瘤腹腔种植转移病灶的像素值更为显著，从而更加容易被识别或检测到。
在本申请实施例中，第二特征（即基于所述腹腔镜图像得到的输入特征）可以是尺寸为C×H×W的特征，其中，C为通道数，W为宽度，H为高度；那么可以使用两个空间范围的池化核(H,1)或(1,W)分别沿水平方向和垂直方向对每个通道中的像素值进行编码（即沿水平方向和垂直方向分别进行池化），即可以将一个通道中同一行或同一列的像素求平均值，作为该通道在高度（基于同一行的像素得到）或宽度（基于同一列的像素得到）的输出值。例如，第c通道在高度h的输出可以是，其中i表示宽度方向上第i个像素；类似地，第 c通道在宽度w的输出可以公式化为/>，其中j表示高度方向上第j个像素。
通过上述方式，可以沿水平方向和数值方向分别聚合特征，生成一对方向感知特征映射。该方向感知特征映射既可以沿着一个方向（水平或竖直）捕获长距离的依赖关系，又可以沿另一个方向保留准确的位置信息，以便更准确的定位目标对象。在得到各个通道的方向感知特征映射之后，可以根据方向将其聚合为水平聚合特征和竖直聚合特征，然后依次通过Concat连接函数、卷积核尺寸为1x1的二维卷积、batchnorm批归一化、卷积核尺寸为1x1的二维卷积等操作，融合两个方向的聚合特征上的信息流，得到两个方向上的权重信息；其中，Concat连接函数用于将两个方向的聚合特征进行拼接，成为C×1×（H+W））尺寸的聚合特征；第一个1x1的二维卷积可以收缩聚合特征的通道信息，减少通道信息的冗余，以便更为准确的计算权重信息（此时聚合特征的尺寸变为（C/r×1×（H+W））），其中r用于控制块的减小率）；接下来通过批归一化操作对卷积后得到的中间特征进行归一化处理，防止特征信息的梯度消失；第二个1x1的二维卷积可以将归一化处理后的中间特征恢复为原有的尺寸（即C×1×（H+W）），即将特征信息扩充到聚合特征的每个像素点。之后可以通过split分裂操作，将特征信息按水平方向和竖直方向分离，分别与两个方向上的聚合特征进行矩阵相乘操作，实现分别在水平方向上和竖直方向上的权重计算，然后将两个方向上的权重结合在一起，经过Sigmoid激活操作，生成对应第二特征中每个像素点的权重矩阵。所生成的权重矩阵和第二特征对应位置的矩阵元素进行点乘运算，实现对第二特征中的目标对象的像素点的增强和背景像素点的抑制。
可以理解的是，本申请实施例中得到的各个第二特征均可以通过上述增强方式得到对应的关联对象增强特征，即当前卷积处理得到的第二特征得到之后，可以通过增强处理得到关联对象增强特征，该关联对象增强特征可以作为下一个卷积处理的输入，从而后续的特征处理均是基于目标对象的像素点增强的特征得到的，使得最终基于各个特征聚合得到的第一聚合特征中的目标对象的像素点得到多次增强，即第一聚合特征中的目标对象被极大地显著化处理，从而能够最大程度地便于识别出目标对象。
接下来，可以执行步骤102，基于所述第一聚合特征对所述腹腔镜图像进行第一次预测，得到第一掩码图像。具体来说，可以通过预设卷积层基于所述第一聚合特征进行目标对象的分割，得到各个目标对象的掩码，即所述第一掩码图像。
考虑到腹腔镜图像本身可能尺寸较大，却包括较多的复杂对象需要进行处理，若基于完整的腹腔镜图像进行上述特征处理和预测，可能需要消耗较多的计算资源和时间，影响实时性。在本申请实施例的一个可能设计中，可以将腹腔镜图像进行划分后进行特征处理操作，具体包括：将所述腹腔镜图像处理为多个图像块；以及基于多个图像块分别进行特征处理操作，得到所述第一聚合特征。
在本申请实施例中，基于所述腹腔镜图像得到的各个图像块是具有重叠内容的。即各个图像块的图像内容根据位置信息错位叠加后，与所述腹腔镜图像的图像内容一致。例如，若腹腔镜图像为分辨率是1920*1080的图像，那么可以以256像素为步长，将所述腹腔镜图像处理为多个512像素*512像素的图像块。考虑到此过程中产生的图像块过多，不方便通过绘图进行示意。为了更加清晰地示意，请参照图4，图4以将一个完整图像处理为9个图像块为例，示意性地展示了类似过程，图4中完整的腹腔镜图像A可以被处理为9个图像块，其中图像块a1和图像块a2有部分图像内容是重叠的，其他图像块的情况类似，参照图4所示可以明确其他图像块的情况，此处不再赘述。图4中的椭圆形对象可以为目标对象，其各个部分被不均匀的划分至各个图像块。
相较于现有技术中基于完整图像进行识别，本申请实施例中将图像处理为图像块后，基于图像块进行识别，相当于在更细的粒度进行图像识别，类似于对原始图像进行了放大处理，从而使得图像块中的像素被施加了更多的注意力。需要说明的是，本申请实施中不是将一个完整的腹腔镜图像平均划分为多个图像内容互不重叠的图像块，而是将其划分为存在图像内容重叠的图像块。因此，本申请实施例中，腹腔镜图像中的大部分图像内容都会被识别至少两次，从而进一步降低了漏检风险。
可以理解的是，本申请实施例中将腹腔镜图像处理为多个图像块后，基于多个图像块进行识别，得到所述腹腔镜图像的识别结果。由于在进行识别处理时是基于尺寸较小的图像块进行的，而不是尺寸较大的完整图像，因此，可以提高识别处理过程的处理效率，节省处理时间，同时腹腔镜图像的中间部分内容相当于被重复识别处理了多次，从而可以保证最大程度避免漏检，提高了识别的查全率。
考虑到，腹腔镜图像的图像边缘区域可能大多是背景边缘，目标对象在边缘区域出现的概率较小，其往往会出现在图像的中间部分。因此，在本申请实施例中进行的图像块划分方式，虽然完整图像的边缘的重复率不高，没有进行多次识别，但也可以保证整体识别结果的查全率和查准率，避免对无效区域（即大概率不存在目标对象的图像边缘区域）的重复识别，节省了计算资源和时间。
在本申请实施例中，得到各个图像块之后，可以通过上述与处理完整腹腔镜图像一致的特征处理方式得到各个图像块的分割图像特征和关联对象增强特征，进而得到所述腹腔镜图像的第一聚合特征。在进行处理时，可以将各个图像块分别执行与所述完整腹腔镜图像被特征处理时同样的操作，具体来说，所述基于所述腹腔镜图像获取第一聚合特征，包括步骤i-ii：
步骤i，对各个图像块分别进行预设编码-解码处理，得到多个分割图像特征。
在本申请实施例中，对每个图像块均进行提取特征处理，获取其中对识别起到关键作用的图像特征，也即每个图像块均获取到一个对应的分割图像特征。也即图像块与分割图像特征一一对应。
在本申请实施例中，还可以通过统计特征直方图的方式补充获取目标对象的形状特征，以便进一步增强第一聚合特征的特征准确度。具体来说，任一分割图像特征均可以包括用于表示其所对应的图像块中的参考像素的邻域内像素点的分布状况的形状特征。具体来说，在获取一个图像块的形状特征时，可以先获取该图像块中的对象轮廓，然后根据该轮廓边缘获取一组像素点，之后可以在该组像素点中获取任意一个像素点作为参考点，接下来，以该参考点为圆心，根据预设半径值绘制圆形区域，然后可以在该圆形区域内按照对数距离间隔建立多个同心圆，形成靶状模板，靶状模板中各个区域分布的上述轮廓中的像素点，即可表示该图像块的形状特征。在一个可能的设计中，可以将靶状模板中各个区域分布的轮廓像素点的统计分布直方图，作为该图像块的形状特征。需要说明的是，虽然以上实施例中建立的是圆形的靶狀模板，但是其统计的形状特征并不限于圆形目标对象，而是可以是圆形区域内的各种形状的目标对象。可以理解的是，在本申请实施例的一些其他设计中，还可以通过其它形状（例如正方形，椭圆形，三角形或其他不规则形状）的模板获取区域内的形状特征。
本申请实施例中，采用对数距离分割图像，可以使形状上下文描述子对邻近的采样像素点比远离像素点更敏感，能强化局部形状特征。在一些实施例中，还可以采样轮廓像素点中的多个像素点作为参考点，并基于各个参考点分别形成靶状模板，获取统计分布直方图，并汇总形成该图像块的分割图像特征。可以理解的是，采样像素点越多，形状表达越精细，即形状特征表达的越准确。
在一个可能的设计中，还可以通过以下方式基于对一个图像块进行预设编码-解码处理操作，得到所述图像块的分割图像特征：
对所述图像块进行感受野尺寸为第一数值的第一卷积处理，得到初始图像特征。
在本申请实施例中，对图像块进行的第一卷积处理可以是采用尺寸较大（相较于后续卷积处理）的卷积核，由于卷积核较大，因此感受野较大，可以提取到更加全局的图像特征，从而方便在相对宏观的角度描绘图像。也就是说该初始图像特征能够包含更多的语义信息，在后续的特征处理步骤中（例如后续的卷积处理操作），可以辅助当前步骤的卷积处理保留更多的语义信息，即兼顾细节特征的同时，保留更多的全局特征。换句话说，此处得到的初始图像特征可以是所述语义特征。
对所述初始图像特征进行平均池化处理，得到修正背景图像特征。
考虑到，对图像的卷积处理可能会由于卷积参数的误差使得卷积结果偏离原始图像的特征，在申请实施例中，可以通过平均池化处理修正该误差，使得图像中的背景信息得到更多的保留，从而便于后续的处理和识别流程。需要说明的是，在肿瘤腹腔种植转移病灶的识别场景下，肿瘤腹腔种植转移病灶是在腹腔的组织和器官背景下存在的，而且该背景与肿瘤腹腔种植转移病灶是相对难以区分的，例如腹腔镜下所见种植转移病灶呈大小不同、形状各异的灰白色结节。因此，对于图像块的特征处理如果去除了太多的背景特征，可能会将一些目标对象也一并处理掉，非常容易造成漏检。基于此，本申请实施例中对卷积处理得到的图像特征进行平均池化处理，以保留更多的背景信息，使得目标对象可以在图像特征中最大程度保留，避免漏检。
对所述修正背景图像特征进行连续卷积处理，得到所述分割图像特征。
其中，当前卷积处理的结果与当前卷积的输入特征结合后，作为下一卷积处理的输入数据。在本申请实施例中，在得到相对全局的可以表示语义的初始图像特征之后，对其中的背景信息进行相对全面的保留，接下来需要对其进行至少一次卷积处理，以提取其中的深层特征（例如细节纹理特征和区域特征），以便进行后续的识别处理。例如，在一个可能的设计中，需要对初始图像特征B进行4次卷积处理，那么对B进行第一次卷积处理得到b1,b1与B结合后进行第二次卷积处理，得到b2，b2与b1结合后进行第三次卷积处理，得到b3，b3与b2结合后进行第四次卷积处理，得到分割图像特征b4。
需要说明的是，在本申请实施例中，若基于各个图像块获得了修正背景图像特征，则可以将其作为上述获取关联对象增强特征实施例中的第二特征，对各个修正背景图像特征进行类似的处理，得到各个图像块的关联对象增强特征，进而根据各个关联对象增强特征得到各个图像块的分割图像特征（即包括对应图像块的关联对象增强特征和形状特征）。
可以理解的是，本申请实施例中的预设编码-解码处理的操作可以通过预先构建的编码器-解码器实现，该编码器-解码器的结构将在后续图像分割模型的实施例介绍。
步骤ii，基于所述多个分割图像特征，得到所述腹腔镜图像的第一聚合特征。
在本申请实施例中，各个分割图像特征表示的是其所对应的图像块的图像特征，然而各个图像块均是腹腔镜图像的一部分，且在进行图像块的划分时，并未考虑图像内容的连续性。换句话说，一些图像块中可能包括的是完整对象的一部分，这可能使得后续图像识别过程无法准确基于图像块进行目标对象的识别。例如，腹腔镜图像包括一个圆形的目标对象，而图像块划分后，一个图像块只包括了四分之一圆，即圆形目标对象的一部分，由此，该图像块的分割图像特征也无法完整表达目标对象的特征。
为了保证后续图像识别流程的准确性，在本申请实施例中，可以将各个分割图像特征进行聚合，得到所述腹腔镜图像对应的完整的第一聚合特征。具体来说，可以将各个分割图像特征根据层级和顺序进行拼接，以得到不同层级的完整的特征（即第一聚合特征）。或者还可以将不同层级的各个分割图像特征的统计直方图根据具体数值进行去重后重新组合，得到各个区域汇总的像素点分布状况，进而补充所述第一聚合特征，得到增强的第一聚合特征（即包括关联对象增强特征和形状特征的第一聚合特征）。
基于各个图像块得到所述腹腔镜图像的第一聚合特征之后，即可以根据所述第一聚合特征进行预测，得到第一掩码图像。
步骤103，将所述第一聚合特征与所述第一掩码图像进行像素级别和通道级别的加权处理，以对所述第一掩码图像中的目标像素进行修正，得到修正掩码图像。
其中，所述目标像素包括预测结果错误或置信度低于预设阈值的像素。
在本申请实施例中，得到的第一掩码图像相当于是所述腹腔镜图像的初步预测结果，即其可以大概表示出所述腹腔镜图像中的目标对象的位置和形状。为了使得对腹腔镜图像的识别结果更加全面和准确，本申请实施例中对第一掩码图像进行修正，具体来说，可以对其中的预测结果不理想的像素进行修正，增强该像素的原始表达的特征，以便识别时为输出更加准确的结果提供基础。例如，腹腔镜图像的识别结果其实是根据其中区域像素确定的，也就是说，每个像素都可能对应一个对象，并为该对象的识别提供识别决策的信息。由此，如果一个像素对应的对象的识别结果的置信度较低或者是错误的，可能是由于该对象对应的像素表达的视觉特征不够清晰，因此，可以对该对象对应的像素进行修正或增强，以使得最终的识别结果更加准确。
需要说明的是，此处对目标像素进行修正，并不意味着已经知晓图像中的各个像素是否为目标像素，仅在于表示本申请实施例中的第一聚合特征与第一掩码图像进行像素级别和通道级别的加权处理后，可以实现对第一掩码图像中的目标像素进行修正的效果，从而使得其中目标像素的像素值（特征信息）被增强，避免被错误识别。
可以理解的是，例如一个图像中包括一个圆形对象，但是该圆形对象的轮廓较为模糊，比如轮廓线不清晰，类似于虚线，那么在对其进行识别时，识别结果为圆的置信度可能是较低的，甚至识别不出圆。因此，可以对第一次识别结果，即标识该图像的对象的第一掩码图像进行修正，增强其中的目标对象，即圆的轮廓像素，使其特征更加显著化，类似于将虚线连起来，或者把痕迹描深，从而使得识别结果更加准确和全面。
步骤104，基于所述修正掩码图像获取第二聚合特征。
其中，所述第二聚合特征包括定向增强特征；所述定向增强特征基于所述修正掩码图像的输入特征，在预设通道内的目标方向上的像素值加权融合得到；所述目标方向为斜向，基于所述腹腔镜图像的关联图像中的肿瘤原发病灶得到，用于表示所述目标对象的潜在分布方向。
在本申请实施例中，在得到所述修正掩码图像之后，可以采取与处理所述腹腔镜图像相同的方式对所述修正掩码图像进行特征处理，得到所述第二聚合特征（例如在下述模型实施例中，可以采用相同或相似结构的模型对修正掩码图像进行处理，得到所述第二聚合特征），此处不再赘述。
可以理解的是，在基于修正掩码图像获取第二聚合特征时，也可以先将修正掩码图像划分为多个图像块，然后基于各个图像块获取各个分割图像特征（每个分割图像特征均可以包括其所对应的关联对象增强特征和形状特征）。
为了进一步增强对目标对象的特征的提取能力，从而使得所述腹腔镜图像中的各个目标对象（尤其是尺寸相对较小的目标对象）均可以被准确识别。在本申请实施例中，还可以在获取第二聚合特征的过程中获取定向增强特征，使得最终得到的第二聚合特征包括定向增强特征。具体来说，可以通过一系列卷积、池化和注意力增强等操作处理得到修正掩码图像的第二聚合特征。具体来说，可以通过一个尺寸稍大的卷积核（例如7×7的卷积核）对修正掩码图像进行卷积处理，得到第三特征，然后再通过几个（例如可以是8个）尺寸稍小的卷积核（例如3×3的卷积核）对第三特征进行卷积处理，得到多个不同尺寸的第四特征。基于这些特征进行拼接和聚合，可以得到第二聚合特征。
在此过程中，可以通过对各个第四特征（即所述修正掩码图像的输入特征）进行定向增强，得到各个第四特征对应的定向增强特征。具体来说，可以在获取腹腔镜图像的同时，获取该腹腔镜图像的关联图像，该关联图像可以是包括肿瘤原发病灶的腹腔镜图像。例如，在整个腹腔镜探查过程中，可以对整个腹腔环境进行探查，即可能可以获取到包括肿瘤原发病灶的图像，由于肿瘤原发病灶的尺寸可能相对较大，或者视觉表征更为明显，所以肿瘤原发病灶可能相较于肿瘤腹腔种植转移病灶更为容易识别，由此，在一些情况下，可以基于腹腔镜探查过程中获取到的肿瘤原发病灶图像（即所述关联图像），辅助检测可能存在的肿瘤腹腔种植转移病灶。接下来，可以根据该关联图像中的肿瘤原发病灶进行分析，得到肿瘤原发病灶可能种植或转移的方向，即肿瘤腹腔种植转移病灶的潜在分布方向。
需要说明的是，本申请实施例中的关联图像，即为获取腹腔镜图像过程中，腹腔镜探查到的一些包括肿瘤原发病灶的图像。在一些可能的情况下，如果可以获取到关联图像，则可以基于其中的肿瘤原发病灶，对修正掩码图像的特征处理过程中进行上述定向特征增强处理，即获取定向增强特征。若在腹腔镜探查的过程中，未获取到包括肿瘤原发病灶的图像（即关联图像），则也可以不进行上述定向特征增强处理，而是将修正掩码图像进行与腹腔镜图像一样的特征处理过程，得到包括关联对象增强特征和形状特征的第二聚合特征。
可以理解的是，在本申请实施例中，可以通过预先训练的转移预测模型基于所述关联图像得到所述目标对象的潜在分布对象。该转移预测模型可以基于一个肿瘤原发病灶转移数据集训练得到，该肿瘤原发病灶转移数据集可以包括若干组数据，每组数据均包括至少一个肿瘤原发病灶图像以及与该肿瘤原发病灶图像关联的肿瘤腹腔种植转移病灶的分布信息，该转移预测模型可以学习到肿瘤原发病灶图像的图像特征以及肿瘤腹腔种植转移病灶的分布信息之间的映射关系。基于此，在将所述关联图像输入所述转移预测模型之后，即可根据所述关联图像与模型学习到的肿瘤原发病灶图像的图像特征之间的相似度，获取相应的肿瘤腹腔种植转移病灶的分布信息，进而得到所述肿瘤腹腔种植转移病灶的潜在分布方向。
需要说明的是，在一次腹腔镜探查过程中，可以获取到很多图像，这些图像中可能存在一些重复的图像内容，而且各个图像拼接在一起，又可以表达出完整的腹腔内环境。由此，肿瘤原发病灶转移数据集可以包括很多个拼接得到的腹腔内完整环境图像；例如如图5所示的，既包括肿瘤原发病灶，又包括肿瘤腹腔种植转移病灶的图像；因此，其可以表示出肿瘤原发病灶与肿瘤腹腔种植转移病灶的分布方向关系。
可以理解的是，所述肿瘤腹腔种植转移病灶的潜在分布方向可以是横向、纵向或斜向。参照图5，例如图5中的肿瘤原发病灶a位于左下角，肿瘤腹腔种植转移病灶位于中心区域和右下角和左上角，则与该肿瘤原发病灶a相似的关联图像的肿瘤腹腔种植转移病灶的潜在分布方向可以是横向、纵向和斜率为正的斜向。由此，可以根据获取关联对象增强特征类似的方式，获取定向增强特征，即以图5的示例为基础，则横向、纵向和斜率为正的斜向均为需要定向增强的特征方向。
由于关联对象增强特征已经说明了横向和纵向的处理方式，此处不再赘述。如图6所示，斜向的特征增强操作可以是以确定的潜在分布方向为基础，获取斜向覆盖的像素（图6中的灰度像素），然后基于覆盖到的各个像素进行平均值计算。并通过与获取关联对象增强特征相同的操作（即卷积和归一化等操作），将各个目标方向的定向增强聚合特征进行计算，获得各个目标方向的权重，并汇总得到总的权重矩阵，与对应的第四特征进行计算，得到目标方向上的像素值加权融合后的定向增强特征。
可以理解的是，在本申请实施例中，肿瘤原发病灶转移数据集（转移病灶数据集）中的肿瘤腹腔种植转移病灶的分布信息，可以是基于肿瘤原发病灶的中心和肿瘤腹腔种植转移病灶的中心的连线得到，即肿瘤腹腔种植转移病灶的潜在分布方向可以是一个具有特定斜率的有向直线。由此，在获取到肿瘤腹腔种植转移病灶的潜在分布方向（即具有特定斜率的直线）后，可以基于修正掩码图像与肿瘤原发病灶（即关联图像）的位置关系（即二者在整个腹腔环境中的相对位置关系），确定该潜在分布方向是否覆盖该修正掩码图像中的某些像素，从而对该修正掩码图像中的某些像素进行增强。具体来说，可以通过关联图像中的肿瘤原发病灶的中心与修正掩码图像的中心进行辅助连线（可以先将二者拼接为一个图像），得到该辅助连线的斜率，通过该辅助连线的斜率与潜在分布方向的斜率是否在阈值范围（例如差值小于0.5）内，确定是否进行定向增强。
可以理解的是，若一些实施例中，将修正掩码图像划分为各个图像块，则可以根据各个图像块的中心与关联图像中的肿瘤原发病灶的中心进行辅助连线，得到该辅助连线的斜率，通过该辅助连线的斜率与潜在分布方向的斜率是否在阈值范围（例如差值小于0.5）内，确定是否对相应的图像块进行定向增强。
所述第二聚合特征用于对所述腹腔镜图像进行第二次预测，得到第二掩码图像；在本申请实施例中，基于第二聚合特征进行预测的操作可以与基于第一聚合特征进行预测的操作相同，此处不再赘述。所述第二掩码图像用于得到所述腹腔镜图像中目标对象的检测信息。
在本申请实施例中，所述第二掩码图像可以与所述腹腔镜图像是相同的尺寸，基于此，其可以与所述腹腔镜图像结合，将其中的目标对象都标识出来。例如可以通过检测框的形式在所述腹腔镜图像上显示。或者参照图8，通过线条在腹腔镜图像中描绘出目标对象的轮廓，并改变线条描绘区域的显示方式，使得目标对象可以更加显著，以对用户进行提示。
为了更加方便、实时地通过本申请地实施例对腹腔镜检查进行提示，在一个可能的设计中，本申请实施例的肿瘤腹腔种植转移病灶图像处理方法可以通过将所述腹腔镜图像输入预设图像分割模型，得到所述第二掩码图像；所述预设图像分割模型包括编码器和解码器。
在本申请实施例中，所述预设图像分割模型可以基于ResNet-34模型作为编码器基本构架，其编码器包含5个编码器模块（即图7中的编码器模块），以提取输入图像的特征。第一个编码器模块包含1个7×7卷积层和1个平均池化层，并计后续4个编码器模块均包含2个3×3卷积层。该编码器与解码器连接，以继续图像特征处理过程，并得到输入图像的识别结果，即掩码图像。解码器包含4个解码器模块（即图7中的解码器模块），每个解码器模块内连续地执行逐元素加法运算、然后进行1 × 1卷积处理、上采样处理、3 × 3卷积处理和1× 1卷积处理。
为了获取关联对象增强特征和定向增强特征，在本申请实施例中，还通过一个注意力机制插件对所述预设图像分割模型的编码器模块进行了改进。具体来说，所述预设图像分割模型原有的后3个编码模块是由2个卷积核尺寸为3x3的卷积层组成，改进后在编码器模块的第二个卷积层后加入注意力机制插件，增强了编码器模块输出的特征在腹腔镜图像中种植转移病灶位置的像素信息，即得到关联对象增强特征。该注意力机制插件可以包括水平方向池化层、竖直方向池化层、Concat连接函数、卷积核尺寸为1x1的二维卷积、batchnorm批归一化、卷积核尺寸为1x1的二维卷积以及split分裂操作等结构（即获取关联对象增强特征的实施例中对应的结构）。同时，本申请实施例设计的注意力机制插件为轻量级插件，模型参数并未明显增加，在模型推理时，能满足实时性的要求。
可以理解的是，在基于注意力机制获取定向增强特征时，若目标方向为斜向，则可以将根据其覆盖的像素，将其分解为竖直方向和水平方向分别覆盖的像素，从而通过关联对象增强特征获取过程中的水平池化和数值池化操作分别获取两个方向的聚合特征，以便进行后续的处理，从而得到对应的权重矩阵，使得最终得到目标方向覆盖到的像素被增强的定向增强特征。
在一个可能的设计中，解码器-编码器基于前序操作的输出得到第一掩码图像之后，还将其输入残差表示模块（即图7中的残差表示模块，可以设置多个，对应不同层级特征），以便对其进行修正操作，该修正操作的结果即是修正掩码图像，该修正掩码图像重新输入编码器-解码器结构进行处理，得到第二聚合特征和第二掩码图像。参照图9，本设计中，输入图像在预设图像分割模型的数据流向结果如图9所示。具体来说，第一次预测处理过程中，编码器-解码器结构会得到腹腔镜图像的第一聚合特征，该第一聚合特征在包括关联对象增强特征之外，还包括细节纹理特征、区域特征以及语义特征，即不同层级的特征（可能由不同层级的卷积层处理后得到）；残差表示模块可以获取该第一聚合特征作为输入，对各个不同的特征（细节纹理特征、区域特征以及语义特征）进行上采样处理，得到与图像块尺寸相同的插值特征，然后再通过卷积处理（例如3×3的卷积核），改变插值特征的通道数，以融合各个通道的特征信息，得到保留特征信息的残差表示特征。
接下来，可以对各个残差表示特征进行降采样处理，得到各个不同的特征的缩略特征信息（且与编码器-解码器各个层级的输出尺寸相同），之后各个不同的特征的缩略信息可以与各自的原始特征（即编码器-解码器各个层级的输出）在通道层级相乘，得到各个不同的特征的增强特征。之后可以采用该增强特征进行聚合，得到聚合增强特征（与所述第一掩码图像尺寸相同）对第一掩码图像进行增强。例如第一掩码图像为x，聚合增强特征为R，则修正掩码图像为R×X+X。
在本申请实施例中，由于基于第一次预测过程中的不同层级的原始特征进行了特征增强，并根据特征增强的结果修正了第一次预测结果的掩码图像，因此，修正之后得到的修正掩码图像中的（对应目标对象的）关键特征像素得到的显著化。可见，基于该修正掩码图像进行预测识别时，关键特征像素可以被施加更多的注意力，从而使得最终的预测结果更加准确。
可以理解的是，在本申请实施例中，一个残差表示模块对应一个特征层级，并专用于处理该层级的特征。例如若第一聚合特征包括三个层级的特征，则残差表示模块也设置三个。
为了使得所述预设图像分割模型的识别结果更加准确，本申请实施例的一个可能设计中，采用多层次监督特征对模型的训练过程进行辅助。具体来说，所述预设图像分割模型通过以下方式预先训练得到：
步骤①，获取训练图像，并将所述训练图像分别输入候选图像分割模型和真值图像处理模型，得到目标图像特征和监督图像特征。
其中，参照图10，所述候选图像分割模型与所述真值图像处理模型的模型结构相同。
在本申请实施例中，为了使得基于候选图像分割模型训练得到的预设图像分割模型具有更加准确的识别结果，本申请实施例的一个可能设计中，采用不同阶段的特征进行损失值计算，以修正候选图像分割模型的模型参数值更新过程，由此避免了深层特征的信息损失，为网络学习提供了更强的规整性和更全面的监督，减少过拟合风险，增强泛化能力，同时有利于学习到更精细的特征信息。
具体来说，所述目标图像特征和所述监督图像特征均可以包括多个不同特征处理阶段的中间特征，同一特征处理阶段得到的目标图像特征的中间特征与监督图像特征的中间特征一一对应。例如，特征处理包括三个阶段S1、S2和S3，那么基于训练图像P，候选图像分割模型a会在三个阶段分别得到Pas1、Pas2和Pas3，真值图像处理模型b会在三个阶段分别得到Pbs1、Pbs2和Pbs3；Pas1、Pas2和Pas3均可以称之为目标图像特征，Pbs1、Pbs2和Pbs3均可以称之为监督图像特征。
可以理解的是，在一些实施例中，也可以不采用包括多阶段的中间特征进行训练过程的辅助监督，而是采用最终的特征或识别结果进行损失值计算，本领域的技术人员可以根据事实需要自行选择，此处不做限制。
步骤②，基于所述目标图像特征和所述监督图像特征，获取一致性损失值。
在本申请实施例中，若采用多个阶段的中间特征进行模型训练的监督，则本步骤②包括：基于对应的所述目标图像特征的中间特征与所述监督图像特征的中间特征，获取中间特征距离；以及基于各个中间特征距离，得到所述一致性损失值。
例如，可以分别计算：
d1=|| Pas1- Pbs1||；
d2=|| Pas2- Pbs2||；
d3=|| Pas3- Pbs3||；
然后基于d1、d2和d3计算一致性损失值，例如一致性损失值L=d1+d2+d3。
步骤③，若所述一致性损失值未收敛，则更新所述候选图像分割模型的模型参数值，直至更新的候选图像分割模型基于所述训练图像得到的目标图像特征与所述监督图像特征的一致性损失值收敛。
在本申请实施例中，一致性损失值未收敛则表示模型还有优化空间，即候选分割模型基于训练图像得到的特征与真值图像处理模型基于所述训练图像得到的特征之间的距离（差异）较大（或者说相似度较低）。由此，可以采用该一致性损失值，通过现有梯度优化法对模型参数进行优化更新。具体来说，可以通过一致性损失值的偏导与模型参数值的偏导计算得到梯度，然后基于该梯度的符号得到所述模型参数值的更新方向（例如+或-），然后通过预设更新步长（即预设更新数值）结合更新方向更新模型参数值，例如梯度值为正，则更新方向为+，模型参数值的更新即为增加预设步长。
需要说明的是，模型的参数往往是有很多个，由此，在每一个迭代更新轮次，对于候选图像分割模型的每一个参数，都需要采用上述方式进行更新。在更新模型之后，则采用新的模型重新基于训练图像获取目标图像特征，并重新计算一致性损失值，直至一致性损失值收敛。
可以理解的是，本领域的技术人员还可以采用任意现有的梯度优化器（例如adam优化器或sgd优化器）基于所述一致性损失值更新候选图像分割模型，此处不再赘述。
步骤④，将一致性损失值收敛时的候选图像分割模型，作为所述预设图像分割模型。
在本申请实施例中，虽然以一致性损失值收敛作为迭代模型的循环终止条件，但是不限于此。例如还可以采用目标图像特征与监督图像特征之间的特征距离是否符合预设值（例如小于10）来作为循环终止条件，或者还可以以迭代次数是否达到预设值（例如大于100）来作为循环终止条件。本领域的技术人员可以根据实际需要进行设置，此处不做限定。
需要说明的是，在本申请实施例中，每个迭代轮次还可以更换新的训练图像，以使得模型可以学习到更多的图像特征，避免对某一个图像的图像特征过渡拟合。
为了进一步保证更新得到的预设图像分割模型的识别结果的准确性，在本申请实施例中，所述一致性损失值还包括所述候选图像分割模型对所述训练图像的预测结果损失值。也即一致性损失值在包括上述中间特征距离的基础上，还包括候选图像分割模型基于训练图像的识别结果与该训练图像的标签之间的差异。
可以理解的是，真值图像处理模型基于训练图像得到的监督图像特征对候选图像分割模型的训练结果也非常重要，即其得到的监督图像特征越准确，则候选图像分割模型的训练效果也更好。由此，在本申请实施例中，所述真值图像处理模型基于真值图像训练得到，所述真值图像（即GT掩码）用于表示训练图像中的目标对象的标准边缘信息。具体来说，所述真实图像可以是与所述训练图像对应的，由相关领域的专业医生通过标注软件在图像上以多边形形式精确标注出病灶边缘，再把相应的标注信息转化成掩码（mask）。GT掩码（mask）表示了病灶的边缘信息，可以有效地帮助、指导模型学习病灶特征，使得模型可以自动区分病灶和非病灶区域。
为了加快本申请实施例中模型的训练效果，在一个可能的设计中，对编码器和解码器结构采用参数重整化技术，具体来说，训练过程中的候选图像分割模型与所述预设图像分割模型的模型结构不同；如图11所示，所述候选图像分割模型的编码器中的后4个解码器模块均包括一3×3卷积层，一1×1卷积层以及一跳连结构；所述预设图像分割模型的编码器中的后4个解码器模块均包括所述3×3卷积层，而不再包括1×1卷积层以及跳连结构。
具体来说，发明人经过分析发现：多分枝结构和性能优异的不同尺寸的卷积核都能显著增加网络模型的性能，但网络的计算量会大大增加，最终导致模型推理时（即训练完成的模型在应用时）速度慢还占用大量内存。因此在训练时，可以采用多分枝结构，参照图11，在3×3卷积层的基础上并联加入1X1的卷积层，以提取特征中的细节特征，并且采用跳连结构将输入卷积层之前的特征与卷积结果相连，能在不增加模型参数量的情况下，优化模型结构。而在模型推理时，则将3个通道合并，可以减少模型的参数量，加快模型的推理速度。
本申请实施例中，通过对基于腹腔镜图像得到的输入特征中同行或同列的像素进行加权聚合，得到关联对象增强特征，从而使得相同方向的大尺寸目标对象可以对小尺寸目标对象进行增强，建立空间上不同位置关系的目标对象的依赖关系；继而通过包括关联对象增强特征的第一聚合特征对腹腔镜图像进行第一次预测，得到第一掩码图像，而第一掩码图像可以被第一聚合特征修正，得到用于进行提取第二聚合特征的修正掩码图像。由于修正掩码图像相当于是第一掩码图像中预测结果错误或置信度低于预设阈值的像素修正后得到的，因此，基于修正掩码图像进行第二次特征处理得到的结果，相当于是基于正确识别结果辅助指引得到的。另外，在获取第二聚合特征时，还基于所述腹腔镜图像的关联图像中的肿瘤原发病灶得到用于表示所述目标对象的潜在分布方向，从而对图像特征进行定向增强，进一步突出可能存在的目标对象的特征，使得用于检测目标对象的第二聚合特征中的目标对象部分的像素被极大的显著化。可见，本申请实施例得到的第二聚合特征，可以全面且准确地显示出目标对象的特征信息，从而能够使得腹腔镜图像的全部目标对象被准确标识出来，为用户提供准确的提示。
以上对本申请实施例中一种肿瘤腹腔种植转移病灶图像处理方法进行说明，以下对执行上述肿瘤腹腔种植转移病灶图像处理方法的肿瘤腹腔种植转移病灶图像处理装置(例如服务器)分别进行介绍。
参阅图12，如图12所示的一种肿瘤腹腔种植转移病灶图像处理装置的结构示意图，其可应用于可应用于视觉表现复杂多变的腹腔镜图像中的肿瘤腹腔种植转移病灶的特征处理场景，例如可以将腹腔镜图像中的腹腔种植转移灶对应的图像特征进行增强，以便准确识别，以便为用户进行提示。在本申请实施例中的肿瘤腹腔种植转移病灶图像处理装置能够实现对应于上述图2中所对应的实施例中所执行的肿瘤腹腔种植转移病灶图像处理方法的步骤。图像处理装置实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。所述肿瘤腹腔种植转移病灶图像处理装置可包括输入输出模块601及处理模块602，所述处理模块602、所述输入输出模块601的功能实现可参考图2所对应的实施例中所执行的操作，此处不作赘述。例如，所述处理模块602可用于控制所述输入输出模块601的收发、获取等操作。
所述输入输出模块601，被配置为获取腹腔镜图像；
所述处理模块602，被配置为基于所述腹腔镜图像获取第一聚合特征；所述第一聚合特征包括关联对象增强特征；所述关联对象增强特征基于输入特征中同一行或同一列的像素进行加权聚合操作得到，所述加权聚合操作用于增强所述输入特征中目标对象所在行或列的像素值；所述目标对象包括肿瘤腹腔种植转移病灶；所述输入特征基于所述腹腔镜图像得到；
所述处理模块602，被配置为基于所述第一聚合特征对所述腹腔镜图像进行第一次预测，得到第一掩码图像；
所述处理模块602，被配置为将所述第一聚合特征与所述第一掩码图像进行像素级别和通道级别的加权处理，以对所述第一掩码图像中的目标像素进行修正，得到修正掩码图像；其中，所述目标像素包括预测结果错误或置信度低于预设阈值的像素；
所述处理模块602，被配置为基于所述修正掩码图像获取第二聚合特征；所述第二聚合特征包括定向增强特征；所述定向增强特征基于所述修正掩码图像的输入特征，在目标方向上的像素值加权融合得到；所述目标方向包括斜向，基于所述腹腔镜图像的关联图像中的肿瘤原发病灶得到，用于表示所述目标对象的潜在分布方向；
所述第二聚合特征用于对所述腹腔镜图像进行第二次预测，得到第二掩码图像；
所述第二掩码图像用于得到所述腹腔镜图像中目标对象的检测信息。
在一些实施方式中，所述处理模块602，还被配置为将所述腹腔镜图像处理为多个图像块；各个图像块的图像内容根据位置信息错位叠加后，与所述腹腔镜图像的图像内容一致；基于多个图像块分别进行特征处理操作，得到所述第一聚合特征。
在一些实施方式中，所述处理模块602，还被配置为对各个图像块分别进行预设编码-解码处理，得到多个分割图像特征；图像块与分割图像特征一一对应；任一分割图像特征均包括其所对应的图像块中的关联对象增强特征和形状特征；基于所述多个分割图像特征，得到所述腹腔镜图像的第一聚合特征。
在一些实施方式中，所述处理模块602，还被配置为通过以下方式对一个图像块进行预设编码-解码处理操作，得到所述图像块的分割图像特征：
对所述图像块进行感受野尺寸为第一数值的第一卷积处理，得到初始图像特征；
对所述初始图像特征进行平均池化处理，得到修正背景图像特征；
对所述修正背景图像特征进行连续卷积处理，得到所述分割图像特征；
其中，当前卷积处理的结果与当前卷积的输入特征结合后，作为下一卷积处理的输入数据。
在一些实施方式中，所述处理模块602，还被配置为通过将所述腹腔镜图像输入预设图像分割模型，得到所述第二掩码图像；
所述预设图像分割模型包括编码器和解码器。
在一些实施方式中，所述预设图像分割模型通过以下方式预先训练得到：
获取训练图像，并将所述训练图像分别输入候选图像分割模型和真值图像处理模型，得到目标图像特征和监督图像特征；所述候选图像分割模型与所述真值图像处理模型的模型结构相同；
基于所述目标图像特征和所述监督图像特征，获取一致性损失值；
若所述一致性损失值未收敛，则更新所述候选图像分割模型的模型参数值，直至更新的候选图像分割模型基于所述训练图像得到的目标图像特征与所述监督图像特征的一致性损失值收敛；
将一致性损失值收敛时的候选图像分割模型，作为所述预设图像分割模型。
在一些实施方式中，所述目标图像特征和所述监督图像特征均包括多个不同特征处理阶段的中间特征，同一特征处理阶段得到的目标图像特征的中间特征与监督图像特征的中间特征一一对应；
所述基于所述目标图像特征和所述监督图像特征，获取一致性损失值，包括：
基于对应的所述目标图像特征的中间特征与所述监督图像特征的中间特征，获取中间特征距离；
基于各个中间特征距离，得到所述一致性损失值。
在一些实施方式中，所述一致性损失值还包括所述候选图像分割模型对所述训练图像的预测结果损失值。
在一些实施方式中，所述真值图像处理模型基于真值图像训练得到，所述真值图像用于表示训练图像中的目标对象的标准边缘信息。
在一些实施方式中，训练过程中的候选图像分割模型与所述预设图像分割模型的模型结构不同；
所述候选图像分割模型的编码器模块均包括一3×3卷积层，一1×1卷积层以及一跳连结构；
所述预设图像分割模型的编码器模块包括所述3×3卷积层。
本申请实施例中，处理模块602通过对基于腹腔镜图像得到的输入特征中同行或同列的像素进行加权聚合，得到关联对象增强特征，从而使得相同方向的大尺寸目标对象可以对小尺寸目标对象进行增强，建立空间上不同位置关系的目标对象的依赖关系；继而通过包括关联对象增强特征的第一聚合特征对腹腔镜图像进行第一次预测，得到第一掩码图像，而第一掩码图像可以被第一聚合特征修正，得到用于进行提取第二聚合特征的修正掩码图像。由于修正掩码图像相当于是第一掩码图像中预测结果错误或置信度低于预设阈值的像素修正后得到的，因此，基于修正掩码图像进行第二次特征处理得到的结果，相当于是基于正确识别结果辅助指引得到的。另外，在获取第二聚合特征时，还基于所述腹腔镜图像的关联图像中的肿瘤原发病灶得到用于表示所述目标对象的潜在分布方向，从而对图像特征进行定向增强，进一步突出可能存在的目标对象的特征，使得用于检测目标对象的第二聚合特征中的目标对象部分的像素被极大的显著化。可见，本申请实施例得到的第二聚合特征，可以全面且准确地显示出目标对象的特征信息，从而能够使得腹腔镜图像的全部目标对象被准确标识出来，为用户提供准确的提示。
上面从模块化功能实体的角度对本申请实施例中的肿瘤腹腔种植转移病灶图像处理装置60进行了描述，下面从硬件处理的角度分别对本申请实施例中的肿瘤腹腔种植转移病灶图像处理装置进行描述。
需要说明的是，图12所示的输入输出模块601对应的实体设备可以为收发器、射频电路、通信模块和输入/输出（I/O）接口等，处理模块602对应的实体设备可以为处理器。
图12所示的装置均可以具有如图13所示的结构，当图12所示的肿瘤腹腔种植转移病灶图像处理装置60具有如图13所示的结构时，图13中的处理器和收发器能够实现前述对应该装置的装置实施例提供的处理模块602和输入输出模块601相同或相似的功能，图13中的存储器存储处理器执行上述肿瘤腹腔种植转移病灶图像处理方法时需要调用的计算机程序。
本申请实施例还提供了一种服务器，请参阅图14，图14是本申请实施例提供的一种服务器结构示意图，该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器（英文全称：central processing units，英文简称：CPU）1122（例如，一个或一个以上处理器）和存储器1132，一个或一个以上存储应用程序1142或数据1144的存储介质1130（例如一个或一个以上海量存储设备）。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块（图中未示出），每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1122可以设置为与存储介质1130通信，在服务器1100上执行存储介质1130中的一系列指令操作。
服务器1100还可以包括一个或一个以上电源1126，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1158，和/或，一个或一个以上操作系统1141，例如Windows Server，Mac OS X，Unix, Linux，FreeBSD等等。
上述实施例中由服务器所执行的步骤可以基于该图14所示的服务器1100的结构。例如，例如上述实施例中由图12所示的肿瘤腹腔种植转移病灶图像处理装置60所执行的步骤可以基于该图14所示的服务器结构。例如，所述中央处理器1122通过调用存储器1132中的指令，执行以下操作：
通过输入输出接口1158获取腹腔镜图像，并基于所述腹腔镜图像获取第一聚合特征；所述第一聚合特征包括关联对象增强特征；所述关联对象增强特征基于输入特征中同一行或同一列的像素进行加权聚合操作得到，所述加权聚合操作用于增强所述输入特征中目标对象所在行或列的像素值；所述目标对象包括肿瘤腹腔种植转移病灶；所述输入特征基于所述腹腔镜图像得到；
基于所述第一聚合特征对所述腹腔镜图像进行第一次预测，得到第一掩码图像；
将所述第一聚合特征与所述第一掩码图像进行像素级别和通道级别的加权处理，以对所述第一掩码图像中的目标像素进行修正，得到修正掩码图像；其中，所述目标像素包括预测结果错误或置信度低于预设阈值的像素；
基于所述修正掩码图像获取第二聚合特征；所述第二聚合特征包括定向增强特征；所述定向增强特征基于所述修正掩码图像的输入特征，在目标方向上的像素值加权融合得到；所述目标方向包括斜向，基于所述腹腔镜图像的关联图像中的肿瘤原发病灶得到，用于表示所述目标对象的潜在分布方向；
所述第二聚合特征用于对所述腹腔镜图像进行第二次预测，得到第二掩码图像；
所述第二掩码图像用于得到所述腹腔镜图像中目标对象的检测信息。
还可以通过输入输出接口1158输出所述第二掩码图像，以标识目标对象，从而对用户进行提示。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质（例如固态硬盘Solid State Disk(SSD)）等。
以上对本申请实施例所提供的技术方案进行了详细介绍，本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请实施例的限制。
Claims (10)
1.一种肿瘤腹腔种植转移病灶图像处理方法，其特征在于，所述方法包括：
获取腹腔镜图像，并基于所述腹腔镜图像获取第一聚合特征；所述第一聚合特征包括关联对象增强特征；所述关联对象增强特征基于输入特征中同一行或同一列的像素进行加权聚合操作得到，所述加权聚合操作用于增强所述输入特征中目标对象所在行或列的像素值；所述关联对象包括具有关联关系的肿瘤腹腔种植转移病灶；所述目标对象包括肿瘤腹腔种植转移病灶；所述输入特征基于所述腹腔镜图像得到；
基于所述第一聚合特征对所述腹腔镜图像进行第一次预测，得到第一掩码图像；
将所述第一聚合特征与所述第一掩码图像进行像素级别和通道级别的加权处理，以对所述第一掩码图像中的目标像素进行修正，得到修正掩码图像；其中，所述目标像素包括预测结果错误或置信度低于预设阈值的像素；
基于所述修正掩码图像获取第二聚合特征；所述第二聚合特征包括定向增强特征；所述定向增强特征基于所述修正掩码图像的输入特征，在目标方向上的像素值加权融合得到；所述目标方向包括斜向，基于所述腹腔镜图像的关联图像中的肿瘤原发病灶得到，用于表示所述目标对象的潜在分布方向；
所述第二聚合特征用于对所述腹腔镜图像进行第二次预测，得到第二掩码图像；
所述第二掩码图像用于得到所述腹腔镜图像中目标对象的检测信息。
2.如权利要求1所述的方法，其特征在于，所述基于所述腹腔镜图像获取第一聚合特征，包括：
将所述腹腔镜图像处理为多个图像块；各个图像块的图像内容根据位置信息错位叠加后，与所述腹腔镜图像的图像内容一致；
基于多个图像块分别进行特征处理操作，得到所述第一聚合特征。
3.如权利要求2所述的方法，其特征在于，所述基于多个图像块分别进行特征处理操作，得到所述第一聚合特征，包括：
对各个图像块分别进行预设编码-解码处理，得到多个分割图像特征；图像块与分割图像特征一一对应；任一分割图像特征均包括其所对应的图像块中的关联对象增强特征和形状特征；
基于所述多个分割图像特征，得到所述腹腔镜图像的第一聚合特征。
4.如权利要求3所述的方法，其特征在于，对一个图像块进行预设处理，得到所述图像块的分割图像特征，包括：
对所述图像块进行感受野尺寸为第一数值的第一卷积处理，得到初始图像特征；
对所述初始图像特征进行平均池化处理，得到修正背景图像特征；
对所述修正背景图像特征进行连续卷积处理，得到所述分割图像特征；
其中，当前卷积处理的结果与当前卷积的输入特征结合后，作为下一卷积处理的输入数据。
5.如权利要求1-4中任一项所述的方法，其特征在于，所述方法通过将所述腹腔镜图像输入预设图像分割模型，得到所述第二掩码图像；
所述预设图像分割模型包括编码器和解码器。
6.如权利要求5所述的方法，其特征在于，所述预设图像分割模型通过以下方式预先训练得到：
获取训练图像，并将所述训练图像分别输入候选图像分割模型和真值图像处理模型，得到目标图像特征和监督图像特征；所述候选图像分割模型与所述真值图像处理模型的模型结构相同；
基于所述目标图像特征和所述监督图像特征，获取一致性损失值；
若所述一致性损失值未收敛，则更新所述候选图像分割模型的模型参数值，直至更新的候选图像分割模型基于所述训练图像得到的目标图像特征与所述监督图像特征的一致性损失值收敛；
将一致性损失值收敛时的候选图像分割模型，作为所述预设图像分割模型。
7.如权利要求6所述的方法，其特征在于，所述目标图像特征和所述监督图像特征均包括多个不同特征处理阶段的中间特征，同一特征处理阶段得到的目标图像特征的中间特征与监督图像特征的中间特征一一对应；
所述基于所述目标图像特征和所述监督图像特征，获取一致性损失值，包括：
基于对应的所述目标图像特征的中间特征与所述监督图像特征的中间特征，获取中间特征距离；
基于各个中间特征距离，得到所述一致性损失值。
8.如权利要求6或7所述的方法，其特征在于，所述一致性损失值还包括所述候选图像分割模型对所述训练图像的预测结果损失值；
所述真值图像处理模型基于真值图像训练得到，所述真值图像用于表示训练图像中的目标对象的标准边缘信息。
9.一种肿瘤腹腔种植转移病灶图像处理装置，其特征在于，该装置包括：
输入输出模块，被配置为获取腹腔镜图像；
处理模块，被配置为基于所述腹腔镜图像获取第一聚合特征；所述第一聚合特征包括关联对象增强特征；所述关联对象增强特征基于输入特征中同一行或同一列的像素进行加权聚合操作得到，所述加权聚合操作用于增强所述输入特征中目标对象所在行或列的像素值；所述关联对象包括具有关联关系的肿瘤腹腔种植转移病灶；所述目标对象包括肿瘤腹腔种植转移病灶；所述输入特征基于所述腹腔镜图像得到；
所述处理模块，还被配置为基于所述第一聚合特征对所述腹腔镜图像进行第一次预测，得到第一掩码图像；
所述处理模块，还被配置为将所述第一聚合特征与所述第一掩码图像进行像素级别和通道级别的加权处理，以对所述第一掩码图像中的目标像素进行修正，得到修正掩码图像；其中，所述目标像素包括预测结果错误或置信度低于预设阈值的像素；
所述处理模块，还被配置为基于所述修正掩码图像获取第二聚合特征；所述第二聚合特征包括定向增强特征；所述定向增强特征基于所述修正掩码图像的输入特征，在目标方向上的像素值加权融合得到；所述目标方向包括斜向，基于所述腹腔镜图像的关联图像中的肿瘤原发病灶得到，用于表示所述目标对象的潜在分布方向；
所述第二聚合特征用于对所述腹腔镜图像进行第二次预测，得到第二掩码图像；
所述第二掩码图像用于得到所述腹腔镜图像中目标对象的检测信息。
10.一种计算设备，其特征在于，其包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311155026.9A CN116894842B (zh) | 2023-09-08 | 2023-09-08 | 肿瘤腹腔种植转移病灶图像处理方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311155026.9A CN116894842B (zh) | 2023-09-08 | 2023-09-08 | 肿瘤腹腔种植转移病灶图像处理方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116894842A CN116894842A (zh) | 2023-10-17 |
| CN116894842B true CN116894842B (zh) | 2023-12-22 |
Family
ID=88311069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311155026.9A Active CN116894842B (zh) | 2023-09-08 | 2023-09-08 | 肿瘤腹腔种植转移病灶图像处理方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116894842B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016043107A1 (ja) * | 2014-09-18 | 2016-03-24 | オリンパス株式会社 | 内視鏡システム |
| KR101892949B1 (ko) * | 2017-08-07 | 2018-08-29 | 서울여자대학교 산학협력단 | 복부 컴퓨터단층촬영 영상에서 다중 아틀라스 기반 형상 및 밝기값 정보를 이용한 계층적 장기 분할 방법 및 장치 |
| CN110097568A (zh) * | 2019-05-13 | 2019-08-06 | 中国石油大学(华东) | 一种基于时空双分支网络的视频对象检测与分割方法 |
| CN112465800A (zh) * | 2020-12-09 | 2021-03-09 | 北京航空航天大学 | 一种使用分类注意力模块校正分类错误的实例分割方法 |
| CN113379770A (zh) * | 2021-06-30 | 2021-09-10 | 华南理工大学 | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 |
| CN113888541A (zh) * | 2021-12-07 | 2022-01-04 | 南方医科大学南方医院 | 一种腹腔镜手术阶段的图像识别方法、装置及存储介质 |
| CN114998303A (zh) * | 2022-06-30 | 2022-09-02 | 上海艺冉医疗科技股份有限公司 | 特征提取能力强的小肠间质瘤检测方法 |
| CN115578404A (zh) * | 2022-11-14 | 2023-01-06 | 南昌航空大学 | 一种基于深度学习的肝脏肿瘤图像增强和分割的方法 |
| CN115690425A (zh) * | 2022-11-15 | 2023-02-03 | 佗道医疗科技有限公司 | 一种病灶的3d分割模型及其应用 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021062064A1 (en) * | 2019-09-24 | 2021-04-01 | Nuvasive, Inc. | Systems and methods for adjusting appearance of objects in medical images |
-
2023
- 2023-09-08 CN CN202311155026.9A patent/CN116894842B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016043107A1 (ja) * | 2014-09-18 | 2016-03-24 | オリンパス株式会社 | 内視鏡システム |
| KR101892949B1 (ko) * | 2017-08-07 | 2018-08-29 | 서울여자대학교 산학협력단 | 복부 컴퓨터단층촬영 영상에서 다중 아틀라스 기반 형상 및 밝기값 정보를 이용한 계층적 장기 분할 방법 및 장치 |
| CN110097568A (zh) * | 2019-05-13 | 2019-08-06 | 中国石油大学(华东) | 一种基于时空双分支网络的视频对象检测与分割方法 |
| CN112465800A (zh) * | 2020-12-09 | 2021-03-09 | 北京航空航天大学 | 一种使用分类注意力模块校正分类错误的实例分割方法 |
| CN113379770A (zh) * | 2021-06-30 | 2021-09-10 | 华南理工大学 | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 |
| CN113888541A (zh) * | 2021-12-07 | 2022-01-04 | 南方医科大学南方医院 | 一种腹腔镜手术阶段的图像识别方法、装置及存储介质 |
| CN114998303A (zh) * | 2022-06-30 | 2022-09-02 | 上海艺冉医疗科技股份有限公司 | 特征提取能力强的小肠间质瘤检测方法 |
| CN115578404A (zh) * | 2022-11-14 | 2023-01-06 | 南昌航空大学 | 一种基于深度学习的肝脏肿瘤图像增强和分割的方法 |
| CN115690425A (zh) * | 2022-11-15 | 2023-02-03 | 佗道医疗科技有限公司 | 一种病灶的3d分割模型及其应用 |
Non-Patent Citations (2)
| Title |
|---|
| 用于腹部CT肝脏分割的边界监督模型;于凌涛;王鹏程;张莹;夏永强;《华中科技大学学报(自然科学版)》;第48卷(第9期);第76-81、88页 * |
| 肺部CT图像病变区域检测方法;韩光辉;刘峡壁;郑光远;《自动化学报》;第42卷(第12期);第2071-2090页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116894842A (zh) | 2023-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ari et al. | Deep learning based brain tumor classification and detection system | |
| CN111476292B (zh) | 医学图像分类处理人工智能的小样本元学习训练方法 | |
| WO2022021955A1 (zh) | 图像分割方法及装置、图像分割模型的训练方法及装置 | |
| Bi et al. | Multi-label classification of multi-modality skin lesion via hyper-connected convolutional neural network | |
| Bozorgtabar et al. | Skin lesion segmentation using deep convolution networks guided by local unsupervised learning | |
| CN112950651B (zh) | 基于深度学习网络的纵隔淋巴引流区的自动勾画方法 | |
| CN110689025B (zh) | 图像识别方法、装置、系统及内窥镜图像识别方法、装置 | |
| US11972571B2 (en) | Method for image segmentation, method for training image segmentation model | |
| WO2022089257A1 (zh) | 医学图像处理方法、装置、设备、存储介质及产品 | |
| CN111563550B (zh) | 基于图像技术的精子形态检测方法和装置 | |
| US11935213B2 (en) | Laparoscopic image smoke removal method based on generative adversarial network | |
| Zhang et al. | Interactive medical image segmentation via a point-based interaction | |
| CN112348818B (zh) | 一种图像分割方法、装置、设备以及存储介质 | |
| Shan et al. | SCA-Net: A spatial and channel attention network for medical image segmentation | |
| Huang et al. | Segmentation of cervical cell images based on generative adversarial networks | |
| CN115063526A (zh) | 二维图像的三维重建方法、系统、终端设备及存储介质 | |
| CN114519401A (zh) | 一种图像分类方法及装置、电子设备、存储介质 | |
| CN112861776A (zh) | 一种基于密集关键点的人体姿态分析方法和系统 | |
| CN116894842B (zh) | 肿瘤腹腔种植转移病灶图像处理方法及相关装置 | |
| CN109635866B (zh) | 处理肠图像的方法 | |
| Wang et al. | Optic disc detection based on fully convolutional neural network and structured matrix decomposition | |
| CN115619706A (zh) | 一种基于深度学习的肺结节检测方法 | |
| CN111598144B (zh) | 图像识别模型的训练方法和装置 | |
| CN113962957A (zh) | 医学图像处理方法、骨骼图像处理方法、装置、设备 | |
| Sandhya et al. | Pixel-boundary-dependent segmentation method for early detection of diabetic retinopathy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |