CN116188938A - 目标对象的确定方法、装置、存储介质及电子装置 - Google Patents

目标对象的确定方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN116188938A
CN116188938A CN202211736613.2A CN202211736613A CN116188938A CN 116188938 A CN116188938 A CN 116188938A CN 202211736613 A CN202211736613 A CN 202211736613A CN 116188938 A CN116188938 A CN 116188938A
Authority
CN
China
Prior art keywords
target
image
block
features
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211736613.2A
Other languages
English (en)
Inventor
沙鑫宽
熊剑平
毛礼建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202211736613.2A priority Critical patent/CN116188938A/zh
Publication of CN116188938A publication Critical patent/CN116188938A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种目标对象的确定方法、装置、存储介质及电子装置，其中，该方法包括：对原始图像进行切分得到目标对象对应的目标图像块，目标图像块中包括第一目标图块和第二目标图块，第一目标图块的分辨率高于第二目标图块的分辨率；通过目标神经网络中的第一分支网络对第一目标图块进行特征提取得到第一特征，通过第二分支网络对第二目标图块进行不同分辨率的特征提取，得到第二组特征，根据第一特征和第二组特征对目标图像块进行预测，得到目标图像块的预测结果，预测结果用于表征目标图像块中针对目标对象的识别结果。通过本发明实施例，解决了相关技术中存在的对原始图像中的目标对象的确定的准确性较低的问题。

Description

目标对象的确定方法、装置、存储介质及电子装置
技术领域
本发明实施例涉及图像处理技术领域，具体而言，涉及一种目标对象的确定方法、装置、存储介质及电子装置。
背景技术
在对目标部位的原始图像进行分析时，不同的分析者通常都会带有主观判断，导致出现多种不同的分析结果，而相关技术中在分析原始图像中包括的多种不同类型对象时，一般只针对局部区域进行粗糙分割，导致无法准确地确定原始图像中包括的目标对象。即相关技术中对原始图像中的目标对象的确定存在准确性较低的问题。
针对相关技术中存在的对原始图像中的目标对象的确定的准确性较低的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种目标对象的确定方法、装置、存储介质及电子装置，以至少解决相关技术中存在的对原始图像中的目标对象的确定的准确性较低的问题。
根据本发明的一个实施例，提供了一种目标对象的确定方法，包括：获取针对目标部位采集的原始图像；对所述原始图像进行切分，得到目标对象对应的目标图像块，其中，所述目标图像块中包括第一目标图块和第二目标图块，所述第一目标图块的分辨率高于所述第二目标图块的分辨率；通过目标神经网络中的第一分支网络，对所述第一目标图块进行特征提取得到第一特征，以及通过所述目标神经网络中的第二分支网络，对所述第二目标图块进行不同分辨率的特征提取，得到第二组特征，所述第二组特征中包括分辨率不同的多个第二特征，所述第二特征对应的图块的分辨率小于所述第二目标图块的分辨率；根据所述第一特征和所述第二组特征对所述目标图像块进行预测，得到所述目标图像块的预测结果，所述预测结果用于表征所述目标图像块中针对所述目标对象的识别结果。
在一个示例性实施例中，所述对所述原始图像进行切分，得到目标对象对应的目标图像块，包括：对所述原始图像进行切块得到所述第一目标图块；对所述原始图像缩放后并进行切块得到所述第二目标图块，且所述第二目标图块与所述第一目标图块的中心点坐标和尺寸均相同。
在一个示例性实施例中，与所述第二组特征包含的多个第二特征中的第j个所述第二特征所对应的第j个图块与所述第二目标图块的中心点坐标相同，且所述第j个图块与所述第二目标图块的尺寸相同；所述第j个图块的分辨率是所述第二目标图块的分辨率的1/N，N＝2j，j为大于或等于1的正整数。
在一个示例性实施例中，所述根据所述第一特征和所述第二组特征对所述目标图像块对进行预测，得到所述目标图像块的预测结果，包括：将所述第二组特征中的各个所述第二特征分别与所述第一特征进行融合，得到多个第三特征；根据所述多个第三特征，得到目标特征图；根据所述目标特征图，确定所述目标图像块的所述预测结果。
在一个示例性实施例中，所述对所述原始图像进行切分，得到目标对象对应的目标图像块，包括：按照预定滑窗尺寸及预定步长对所述原始图像进行滑动切块，得到P个第一图块，其中，P为大于或等于2的正整数；按照所述预定滑窗尺寸及所述预定步长对第一图像进行滑动切块，得到P个第二图块，其中，所述第一图像是对所述原始图像进行缩放后得到的图像；将P个所述第一图块和P个所述第二图块组合成P个图像块，其中，所述P个图像块中包括与所述目标对象对应的所述目标图像块。
在一个示例性实施例中，所述按照预定滑窗尺寸及预定步长对所述原始图像进行滑动切块，得到P个第一图块包括：在所述原始图像的宽度W与所述预定滑窗的宽度w之间的差值不等于宽度方向的所述预定步长b的整数倍的情况下，对所述原始图像的宽度方向的边界进行填充，以使填充后的图像的宽度W'与所述w之间的差值等于所述b的整数倍；按照所述预定滑窗尺寸及所述预定步长对所述填充后的图像进行滑动切块，得到所述P个第一图块。
在一个示例性实施例中，所述方法还包括：获取所述P个图像块中除所述目标图像块之外的P-1个图像块；通过所述目标神经网络中的所述第一分支网络，对所述P-1个图像块中各个图像块的第一图块进行特征提取，得到P-1个第四特征，以及通过所述目标神经网络中的第二分支网络，对所述P-1个图像块中各个图像块的第二图块分别进行不同分辨率的特征提取，得到P-1组特征，其中，所述P-1组特征的第i组特征中包括分辨率不同的多个第五特征，所述第五特征对应的图块的分辨率小于所述P-1个图像块中第i个图像块的第二图块的分辨率，i为大于或等于1、且小于P-1的正整数；根据所述P-1个第四特征及所述P-1组特征，得到P-1个预测结果，其中，所述P-1个预测结果分别用于表征所述P-1个图像块的识别结果；将所述P-1个预测结果与所述目标图像块的所述预测结果进行组合，得到所述原始图像的一组预测结果；根据所述一组预测结果获取P个预测图块的中心块，得到P个所述中心块，其中，P个所述预测图块中的各个所述预测图块包括对应的所述图像块中的所述第一图块以及对应的所述图像块的预测结果，所述中心块与所述预测图块的中心点相同、且所述中心块的长度和宽度均为对应的所述预测图块的一半；将P个所述中心块进行拼接，得到预测掩模图像；在所述预测掩模图像中存在第一无效区域的情况下，对所述预测掩模图像执行第一消除处理，得到目标掩模图像，其中，所述第一消除处理用于对所述预测掩模图像中的所述无效区域进行消除；根据所述目标掩模图像，确定所述原始图像中识别到的与所述目标部位关联的指定类型的对象。
在一个示例性实施例中，所述根据所述目标掩模图像，确定所述原始图像中识别到的与所述目标部位关联的指定类型的对象，包括：将所述原始图像转换为灰度图像；对所述灰度图像执行二值化处理，得到二值图像；在所述二值图像中存在第二无效区域的情况下，对所述二值图像执行第二消除处理，得到目标处理图像，其中，所述第二消除处理用于对所述二值图像中的所述第二无效区域进行消除；对所述目标处理图像中的像素点进行聚类处理，得到目标聚类图像；根据所述目标掩模图像和所述目标聚类图像，得到目标类型图像，其中，所述目标类型图像用于标识所述原始图像中识别到的所述指定类型的对象。
在一个示例性实施例中，所述根据所述目标掩模图像和所述目标聚类图像，得到目标类型图像，包括：对所述目标掩模图像和所述目标聚类图像进行异或处理，得到所述目标类型图像。
在一个示例性实施例中，所述方法还包括：在所述一组预测结果包括所述P个预测图块、且所述P个预测图块中的各个预测图块中标识有识别到的一个对象的情况下，将所述P个预测图块与所述目标类型图像进行拼接，得到目标分割图，其中，所述目标分割图用于标识所述原始图像中识别到的多个对象，所述多个对象包括所述P个预测图块中的各个预测图块中标识的识别到的一个对象，以及所述指定类型的对象。
在一个示例性实施例中，所述目标部位包括肠道，所述原始图像包括针对所述肠道的病理组织图，所述目标对象包括如下至少一种或任意组合：隐窝、隐窝扭曲、隐窝融合、幽门腺化生、绒毛、绒毛改变、绒毛下层、淋巴组织、黏膜肌、挤压区域、溃疡、肉芽肿、类上皮结节、淋巴管、间质、背景。
根据本发明的另一个实施例，还提供了一种目标对象的确定装置，包括：第一获取模块，用于获取针对目标部位采集的原始图像；第一获得模块，用于对所述原始图像进行切分，得到目标对象对应的目标图像块，其中，所述目标图像块中包括第一目标图块和第二目标图块，所述第一目标图块的分辨率高于所述第二目标图块的分辨率；第二获得模块，用于通过目标神经网络中的第一分支网络，对所述第一目标图块进行特征提取得到第一特征，以及通过所述目标神经网络中的第二分支网络，对所述第二目标图块进行不同分辨率的特征提取，得到第二组特征，所述第二组特征中包括分辨率不同的多个第二特征，所述第二特征对应的图块的分辨率小于所述第二目标图块的分辨率；第三获得模块，用于根据所述第一特征和所述第二组特征对所述目标图像块进行预测，得到所述目标图像块的预测结果，所述预测结果用于表征所述目标图像块中针对所述目标对象的识别结果。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，通过获取目标部位的原始图像，对原始图像进行切分，得到目标对象对应的目标图像块，其中，目标图像块中包括第一目标图块和第二目标图块，第一目标图块的分辨率高于第二目标图块的分辨率；利用目标神经网络的第一分支网络对第一目标图块进行特征提取，得到第一特征，以及利用目标神经网络的第二分支网络对第二目标图块进行不同分辨率的特征提取，得到第二组特征，第二组特征中包括分辨率不同的多个第二特征，每个第二特征所对应的图块的分辨率小于上述第二目标图块的分辨率；再根据第一特征和第二组特征对目标图像块进行预测，得到目标图像块的预测结果。即通过目标神经网络中第一分支网络提取目标图像块中第一目标图块的第一特征，以及利用第二分支网络对目标图像块中的第二目标图块进行多种分辨率的特征提取，得到第二组特征，再根据第一特征和第二组特征得到与目标图像块对所对应的预测结果。通过对第一目标图块进行特征提取，以获得目标对象的局部细节，以及通过对第二目标图块进行不同分辨率的特征提取，以获得目标对象的周围信息，从而可以实现更准确地确定目标图像块中目标对象的识别结果的目的。因此，解决了相关技术中存在的对原始图像中的目标对象的确定的准确性较低的问题，达到了提高目标对象的确定的准确率的效果。
附图说明
图1是本发明实施例的目标对象的确定方法的移动终端硬件结构框图；
图2是根据本发明实施例的目标对象的确定方法的流程图；
图3是根据本发明实施例的图像分割流程图；
图4是根据本发明实施例的原始图像示例图；
图5是根据本发明实施例的灰度图示例图；
图6是根据本发明实施例的二值图示例图；
图7是根据本发明实施例的填充图示例图；
图8是根据本发明实施例的聚类图示例图；
图9是根据本发明实施例的原始图切块示例图；
图10是根据本发明实施例的多尺度高分辨率神经网络结构示意图；
图11是根据本发明实施例的预测结果示例图；
图12是根据本发明实施例的预测掩模图示例图；
图13是根据本发明实施例的优化前、后掩模图对比示意图；
图14是根据本发明实施例的间质图示例图；
图15是根据本发明实施例的目标对象的确定装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的目标对象的确定方法的移动终端硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的目标对象的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种目标对象的确定方法，图2是根据本发明实施例的目标对象的确定方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取针对目标部位采集的原始图像；
步骤S204，对所述原始图像进行切分，得到目标对象对应的目标图像块，其中，所述目标图像块中包括第一目标图块和第二目标图块，所述第一目标图块的分辨率高于所述第二目标图块的分辨率；
步骤S206，通过目标神经网络中的第一分支网络，对所述第一目标图块进行特征提取得到第一特征，以及通过所述目标神经网络中的第二分支网络，对所述第二目标图块进行不同分辨率的特征提取，得到第二组特征，所述第二组特征中包括分辨率不同的多个第二特征，所述第二特征对应的图块的分辨率小于所述第二目标图块的分辨率；
步骤S208，根据所述第一特征和所述第二组特征对所述目标图像块进行预测，得到所述目标图像块的预测结果，所述预测结果用于表征所述目标图像块中针对所述目标对象的识别结果。
通过上述步骤，通过获取目标部位的原始图像，对原始图像进行切分，得到目标对象对应的目标图像块，其中，目标图像块中包括第一目标图块和第二目标图块，第一目标图块的分辨率高于第二目标图块的分辨率；利用目标神经网络的第一分支网络对第一目标图块进行特征提取，得到第一特征，以及利用目标神经网络的第二分支网络对第二目标图块进行不同分辨率的特征提取，得到第二组特征，第二组特征中包括分辨率不同的多个第二特征，每个第二特征所对应的图块的分辨率小于上述第二目标图块的分辨率；再根据第一特征和第二组特征对目标图像块进行预测，得到目标图像块的预测结果。即通过目标神经网络中第一分支网络提取目标图像块中第一目标图块的第一特征，以及利用第二分支网络对目标图像块中的第二目标图块进行多种分辨率的特征提取，得到第二组特征，再根据第一特征和第二组特征得到与目标图像块对所对应的预测结果。通过对第一目标图块进行特征提取，以获得目标对象的局部细节，以及通过对第二目标图块进行不同分辨率的特征提取，以获得目标对象的周围信息，从而可以实现更准确地确定目标图像块中目标对象的识别结果的目的。因此，解决了相关技术中存在的对原始图像中的目标对象的确定的准确性较低的问题，达到了提高目标对象的确定的准确率的效果。
其中，上述步骤的执行主体可以为图像处理系统，或图像处理器，或终端，或者为配置在存储设备上的具备人机交互能力的处理器，或者为具备类似处理能力的处理设备或处理单元等，但不限于此。
在上述实施例中，获取目标部位的原始图像；对原始图像进行切分，得到目标对象对应的目标图像块，其中，目标图像块中包括第一目标图块和第二目标图块，例如，第一目标图块是对原始图像进行切块得到的，第二目标图块是将原始图像缩放后并进行切块得到的，可选地，第二目标图块与第一目标图块的中心点坐标和尺寸可以是相同的，也可以是不同的，上述原始图像可以为人体某部位的图像，或其它图像，该原始图像中可能包括一种或多种不同类型的对象，在实际应用中，可对原始图像进行切块得到多个第一图块，而上述目标图像块中的第一目标图块为多个第一图块中的一个第一图块，例如，对原始图像进行滑窗法切块，滑窗大小为512*512，即一个第一图块的大小为512*512，当然也可以是其它滑窗大小，即选择其它尺度进行切块，可选地，滑动步长可以设置为256(根据需要可以设置其它步长)，这样对原始图像进行切块后得到多个第一图块，可选地，上述目标图像块也可以是对原始图像进行放大后再进行滑窗法切块得到的；而第二目标图块可以是对原始图像进行缩放后再进行切块得到的，例如，第二目标图块是将原始图像缩放至原始图像的1/2(或1/4，或其它)再按照上述滑窗法进行切块得到的，第一目标图块的分辨率高于第二目标图块的分辨率，也就是说第一目标图块能够看到目标对象的局部细节，第二目标图块能够看到包括与目标对象对应的局部及周围信息，即第二目标图块中的视野范围相对第一目标图块更大一些，例如，上述第一目标图块是高分辨率的图块，而第二目标图块与第一目标图块的中心点坐标相同、尺寸相同、且分辨率为第一图块的1/4(或1/2，或其它)，即第二目标图块是分辨率相对偏低的；利用目标神经网络中的第一分支网络对第一目标图块进行特征提取，得到第一特征，以及利用目标神经网络中的第二分支网络对第二目标图块进行不同分辨率的特征提取，得到第二组特征，第二组特征中包括分辨率不同的多个第二特征，每个第二特征所对应的图块的分辨率小于第二目标图块的分辨率，例如，可获取与第二目标图块满足预定关系的一组图块，其中，一组图块中可包括一个或多个图块，一组图块中的每个图块的分辨率为第二目标图块的分辨率的1/2j，j为大于或等于1的正整数，再分别提取一组图块中每个图块的第二特征，得到分辨率不同的多个第二特征，然后根据第一特征和第二组特征对目标图像块进行预测，得到目标图像块的预测结果。即通过目标神经网络中第一分支网络提取目标图像块中第一目标图块的第一特征，以及利用第二分支网络对目标图像块中的第二目标图块进行多种分辨率的特征提取，得到第二组特征，再根据第一特征和第二组特征得到与目标图像块对所对应的预测结果。通过对第一目标图块进行特征提取，以获得目标对象的局部细节，以及通过对第二目标图块进行不同分辨率的特征提取，以获得目标对象的周围信息，从而可以实现更准确地确定目标图像块中目标对象的识别结果的目的。因此，解决了相关技术中存在的对原始图像中的目标对象的确定的准确性较低的问题，达到了提高目标对象的确定的准确率的效果。
在一个可选的实施例中，所述对所述原始图像进行切分，得到目标对象对应的目标图像块，包括：对所述原始图像进行切块得到所述第一目标图块；对所述原始图像缩放后并进行切块得到所述第二目标图块，且所述第二目标图块与所述第一目标图块的中心点坐标和尺寸均相同。在本实施例中，第一目标图块是对原始图像进行切换得到的，例如，可对原始图像进行切块得到多个第一图块，而上述第一目标图块为多个第一图块中的一个第一图块，在实际应用中，可对原始图像进行滑窗法切块，例如，滑窗大小为512*512，即一个第一图块的大小为512*512，当然也可以是其它滑窗大小，即选择其它尺度进行切块，可选地，滑动步长可以设置为256(根据需要可以设置其它步长)；而第二目标图块可以是对原始图像进行缩放后再进行切块得到的，例如，第二目标图块是将原始图像缩放至原始图像的1/2(或1/4，或其它)再按照上述滑窗法进行切块得到的，可选地，第二目标图块与第一目标图块的中心点坐标和尺寸是相同的。通过本实施例，实现了对原始图像进行切块得到第一目标图块以及对原始图像进行缩放后再切块以得到第二目标图块的目的。
在一个可选的实施例中，与所述第二组特征包含的多个第二特征中的第j个所述第二特征所对应的第j个图块与所述第二目标图块的中心点坐标相同，且所述第j个图块与所述第二目标图块的尺寸相同；所述第j个图块的分辨率是所述第二目标图块的分辨率的1/N，N＝2j，j为大于或等于1的正整数。在本实施例中，例如，第二组特征中包括n个第二特征，n为大于或等于1的正整数，n个第二特征分别为n个图块对应的特征，而n个图块中每个图块与第二目标图块的中心点坐标及尺寸均相同，n个图块中的第j个图块的分辨率等于第二目标图块的分辨率的1/2j，从而可以得到与第二目标图块关联的多个图块的多个第二特征，即得到分辨率不同的多个第二特征。
在一个可选的实施例中，所述根据所述第一特征和所述第二组特征对所述目标图像块对进行预测，得到所述目标图像块的预测结果，包括：将所述第二组特征中的各个所述第二特征分别与所述第一特征进行融合，得到多个第三特征；根据所述多个第三特征，得到目标特征图；根据所述目标特征图，确定所述目标图像块的所述预测结果。在本实施例中，可确定与第二目标图块关联的一组图块，例如该一组图块中包括n(例如，n＝4，或其它值)个图块，而该一组图块中每个图块与第二目标图块的中心点坐标相同、与第二目标图块的尺寸相同、且分辨率与第二目标图块的分辨率满足预定关系，例如，上述一组图块(即上述n个图块)中的第j个图块的中心点坐标与第二目标图块的中心点坐标相同、第j个图块的尺寸与第二目标图块的尺寸相同以及第j个图块的分辨率是第二目标图块的分辨率的1/2j，即上述一组图块中包括n个不同分辨率的图块；通过第二分支网络提取上述一组图块中各个图块(如上述n个图块)的第二特征，得到第二组特征；再将第二组特征中的各个第二特征分别与第一特征进行融合，得到n个第三特征，再根据n个第三特征，得到与目标图像块所对应的目标特征图，例如，对n个第三特征通过1x1卷积，再进行组合得到目标特征图，根据该目标特征图可确定目标图像块的预测结果，即预测目标图像块的识别结果。通过本实施例，实现了综合不同分辨率图块的特征信息以及在多分辨率表征之间进行信息交换，以提升高分辨率和低分辨率表征的表达能力的目的，达到了更准确地获取图像块中的对象信息的效果。
在一个可选的实施例中，所述对所述原始图像进行切分，得到目标对象对应的目标图像块，包括：按照预定滑窗尺寸及预定步长对所述原始图像进行滑动切块，得到P个第一图块，其中，P为大于或等于2的正整数；按照所述预定滑窗尺寸及所述预定步长对第一图像进行滑动切块，得到P个第二图块，其中，所述第一图像是对所述原始图像进行缩放后得到的图像；将P个所述第一图块和P个所述第二图块组合成P个图像块，其中，所述P个图像块中包括与所述目标对象对应的所述目标图像块。在本实施例中，可按照预定滑窗尺寸及预定步长对原始图像进行滑动切块，得到P个第一图块，在实际应用中，可采用冗余法进行切块，例如，预定滑窗尺寸为512*512，预定步长为256；同理，可以按照同样的方法对第一图像进行滑动切块，得到P个第二图块，其中，第一图像是对原始图像进行缩放后得到的图像，然后将P个第一图块和P个第二图块组合成P个图像块，P个图像块中包括上述与目标对象对应的目标图像块。通过本实施例，实现了通过滑窗冗余切块获得目标图像块的目的。
在一个可选的实施例中，所述按照预定滑窗尺寸及预定步长对所述原始图像进行滑动切块，得到P个第一图块包括：在所述原始图像的宽度W与所述预定滑窗的宽度w之间的差值不等于宽度方向的所述预定步长b的整数倍的情况下，对所述原始图像的宽度方向的边界进行填充，以使填充后的图像的宽度W'与所述w之间的差值等于所述b的整数倍；按照所述预定滑窗尺寸及所述预定步长对所述填充后的图像进行滑动切块，得到所述P个第一图块。在本实施例中，当(W-w)不等于b的整数倍时，需要对原始图像的宽度方向的边界进行填充，以使填充后的图像的宽度W'与w之间的差值等于b的整数倍，即(W'-w)＝kb；同理，原始图像的高度方向也可采取如上述相同的方法进行边界填充。
在一个可选的实施例中，所述方法还包括：获取所述P个图像块中除所述目标图像块之外的P-1个图像块；通过所述目标神经网络中的所述第一分支网络，对所述P-1个图像块中各个图像块的第一图块进行特征提取，得到P-1个第四特征，以及通过所述目标神经网络中的第二分支网络，对所述P-1个图像块中各个图像块的第二图块分别进行不同分辨率的特征提取，得到P-1组特征，其中，所述P-1组特征的第i组特征中包括分辨率不同的多个第五特征，所述第五特征对应的图块的分辨率小于所述P-1个图像块中第i个图像块的第二图块的分辨率，i为大于或等于1、且小于P-1的正整数；根据所述P-1个第四特征及所述P-1组特征，得到P-1个预测结果，其中，所述P-1个预测结果分别用于表征所述P-1个图像块的识别结果；将所述P-1个预测结果与所述目标图像块的所述预测结果进行组合，得到所述原始图像的一组预测结果；根据所述一组预测结果获取P个预测图块的中心块，得到P个所述中心块，其中，P个所述预测图块中的各个所述预测图块包括对应的所述图像块中的所述第一图块以及对应的所述图像块的预测结果，所述中心块与所述预测图块的中心点相同、且所述中心块的长度和宽度均为对应的所述预测图块的一半；将P个所述中心块进行拼接，得到预测掩模图像；在所述预测掩模图像中存在第一无效区域的情况下，对所述预测掩模图像执行第一消除处理，得到目标掩模图像，其中，所述第一消除处理用于对所述预测掩模图像中的所述无效区域进行消除；根据所述目标掩模图像，确定所述原始图像中识别到的与所述目标部位关联的指定类型的对象。在本实施例中，可获取P个图像块中除上述目标图像块之外的P-1个图像块，针对P-1个图像块中的每个图像块，采取和前述目标图像块一样的方法，分别提取每个图像块的第一图块的第四特征，共得到P-1个第四特征，以及对每个图像块的第二图块进行不同分辨率的特征提取，共得到P-1组特征，然后根据P-1个第四特征和P-1组特征，得到与P-1个图像块分别对应的P-1个预测结果，将P-1个预测结果与前述目标图像块的预测结果进行组合，得到原始图像的一组预测结果；再根据一组预测结果获取P个预测图块的中心块，得到P个中心块，每个预测图块包括前述对应的图像块中的第一图块及对应的图像块的预测结果，而中心块可以是预测图块的正中心的区域，例如，预测图块为512*512，中心块则可以是该预测图块正中心的256*256的区域，再对P个中心块进行拼接，得到预测掩模图像，因为中心块区域的置信度最高，舍弃预测边缘，可改善拼接痕迹，即通过冗余拼接得到一张完整的预测掩模图像，可选地，可对预测掩模图像进行优化，当预测掩模图像中存在第一无效区域时，执行第一消除处理，例如，对预测掩模图像进行孔洞填充、孤岛消除和类别合并，得到优化后的预测掩模图像，即得到目标掩模图像；根据目标掩模图像可确定原始图像中识别到的与目标部位关联的指定类型的对象，例如，原始图像中可能包括多种目标对象，而根据目标掩模图像可确定出多种目标对象中指定类型的对象。
在一个可选的实施例中，所述根据所述目标掩模图像，确定所述原始图像中识别到的与所述目标部位关联的指定类型的对象，包括：将所述原始图像转换为灰度图像；对所述灰度图像执行二值化处理，得到二值图像；在所述二值图像中存在第二无效区域的情况下，对所述二值图像执行第二消除处理，得到目标处理图像，其中，所述第二消除处理用于对所述二值图像中的所述第二无效区域进行消除；对所述目标处理图像中的像素点进行聚类处理，得到目标聚类图像；根据所述目标掩模图像和所述目标聚类图像，得到目标类型图像，其中，所述目标类型图像用于标识所述原始图像中识别到的所述指定类型的对象。在本实施例中，通过RGB颜色空间转Gray颜色空间操作将原始图像变换为灰度图像，再对灰度图像进行二值化处理，得到二值图像，当二值图像中存在第二无效区域时，执行第二消除处理，得到目标处理图像，例如，对二值图像进行孤岛消除和孔洞填充，消除无效干扰区域，再进行开闭运算，使两个靠近的不同部分彻底分开，然后对目标处理图像进行密度聚类，例如，采用dbscan密度聚类算法对每个不同的块打标区分，该方法对抗噪声鲁棒，能处理任意形状和大小的簇，得到目标聚类图像；再根据目标掩模图像和目标聚类图像，得到目标类型图像，该目标类型图像用于标识识别到的指定类型的对象，例如，对目标掩模图像和目标聚类图像进行异或，得到不同类型对象聚类图像的间质图像。通过本实施例，实现了确定原始图像中识别到的指定类型的对象的目的。
在一个可选的实施例中，所述根据所述目标掩模图像和所述目标聚类图像，得到目标类型图像，包括：对所述目标掩模图像和所述目标聚类图像进行异或处理，得到所述目标类型图像。在本实施例中，对目标掩模图像和目标聚类图像进行异或，得到目标类型图像，即得到不同类型对象聚类图像的间质图像，可选地，还可进一步对间质图像中的图块孤岛进行消除优化。
在一个可选的实施例中，所述方法还包括：在所述一组预测结果包括所述P个预测图块、且所述P个预测图块中的各个预测图块中标识有识别到的一个对象的情况下，将所述P个预测图块与所述目标类型图像进行拼接，得到目标分割图，其中，所述目标分割图用于标识所述原始图像中识别到的多个对象，所述多个对象包括所述P个预测图块中的各个预测图块中标识的识别到的一个对象，以及所述指定类型的对象。在本实施例中，将前述一组预测结果中包括的P个预测图块与目标类型图像进行整合，得到目标分割图，这样，得到的目标分割图中包括前述P个预测图块中各个预测图块中识别到对象以及指定类型的对象，即识别出原始图像中包括的所有类型的对象。
在一个可选的实施例中，所述目标部位包括肠道，所述原始图像包括针对所述肠道的病理组织图，所述目标对象包括如下至少一种或任意组合：隐窝、隐窝扭曲、隐窝融合、幽门腺化生、绒毛、绒毛改变、绒毛下层、淋巴组织、黏膜肌、挤压区域、溃疡、肉芽肿、类上皮结节、淋巴管、间质、背景。以原始图像包括肠道的病理组织图为例，通过本实施例，可以实现确定出原始图像中包括的一种或多种类型对象的目的。
显然，上述所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。现结合实施例对本发明进行具体说明。
下面以一种炎症性肠病病理图像组织分割方案为例进行说明，此处仅作为一种示例，不构成对方案的限定，本发明实施例同样适用于对其它图像的分割，以确定图像中包括的目标对象，本发明实施例创新性地提出了多尺度高分辨语义分割网络对病理图像组织块进行预测。通过滑窗法对10000*10000大小的病理图像(对应于前述原始图像)进行采样切块，通过冗余法进行预测图块拼接。使用密度聚类法对一张病理切片上的各个组织单元进行区分，利用深度学习及传统图像处理手段，完成对整个病理图像上的全要素提取。下面对本发明实施例进行具体描述。
本方案主要实现一种炎症性肠病病理图像组织分割方案。图3是根据本发明实施例的图像分割流程图，整体分为三个步骤：一是组织区域聚类，详见步骤1；二是组织分割，详见步骤2；三是组织间质提取，详见步骤3。
步骤1：利用图像处理、密度聚类等技术对病理组织原图进行处理，提取出不同的组织区域。
步骤1-1：原始病理组织图像作为输入，如图4所示，通过RGB颜色空间转Gray颜色空间操作变换为灰度图像，如图5所示。
步骤1-2：对步骤1-1中的病理组织灰度图像进行二值化处理，得到病理组织二值图像，如图6所示。
步骤1-3至1-4：对步骤1-2中的病理组织二值图像进行图块孤岛消除和孔洞填充，消除无效干扰区域；然后进行开闭运算，使两个靠近的不同组织块彻底分开，得到病理组织填充图，如图7所示。
步骤1-5：对步骤1-4中的病理组织填充图像进行密度聚类，本技术方案采用dbscan密度聚类算法对每个不同组织块打标区分，该方法对抗噪声鲁棒，能处理任意形状和大小的簇，得到病理组织聚类图(对应于前述目标聚类图像)，如图8所示。
通过上述步骤1-1至1-5可以得到病理组织块的聚类结果，用于后续间质要素的提取。
步骤2：利用滑窗冗余、多尺度高分辨率神经网络和图像处理等技术对病理组织原图进行分块预测，提取出各类组织要素。
炎症性肠病组织类型分为16类，分别为：(1)隐窝、(2)隐窝扭曲、(3)隐窝融合、(4)幽门腺化生、(5)绒毛、(6)绒毛改变、(7)绒毛下层、(8)淋巴组织、(9)黏膜肌、(10)挤压区域、(11)溃疡、(12)肉芽肿、(13)类上皮结节、(14)淋巴管、(15)间质、(16)背景。
步骤2-1：原始病理组织图像作为输入，对其进行滑窗法切块，滑窗大小为512*512，滑步长度为256，得到数个大小为512*512的图块。根据网络所需倍率进行不同尺度切块，对图像宽高不满足512整倍数的需要边界填充，如图9所示。
步骤2-2：对步骤2-1中的图块进行语义分割网络预测，本方案创新性地提出了多尺度高分辨率神经网络MHRNet(Multi High Resolution Network)，网络结构如图10所示。
该网络具备如下两个特点：
(1)多尺度：多尺度高分辨率网络训练样本需要同中心、同尺寸、不同分辨率的patch对(对应于前述图像块)，如图10所示。通常会取mpp(micrometers per pixel)＝0.5,1,2,4。这样构造是为了模仿病理专家对全切片诊断的过程。为了给切片诊断，病理专家往往需要放大观察细节，同时也需要缩小观察整体和周边的区域，多尺度图像组对于获取局部细节和周围信息有着非常重要的作用。
MHRNet多尺度过程是通过主干网络和分支网络联动交互来实现的，它有两个分支，Encoder-decoder context brancn是辅助分支(对应于前述第二分支网络)，该分支对低分辨率大尺度的图像块进行编码出低分辨率大尺度特征图(对应于前述第二组特征)，作为周围信息提取器；High resolution context branch是主干分支(对应于前述第一分支网络)，该分支对高分辨率小尺度的图像块进行编码出高分辨率小尺度特征图(对应于前述第一特征)，作为局部信息提取器，该分支的特征图会作为最终网络输出。在辅助分支解码时会将每个尺度的特征图进行crop resize，通过skip connection与主干分支对应尺寸的特征图concat，最后通过1x1卷积对两个分支信息融合。
(2)高分辨率：MHRNet不同于以往的分类式卷积神经网络生成的低分辨率表征来恢复高分辨率表征这一路线，而是高分辨率表征学习建立新的网络结构，在网络整个过程中始终保持高分辨率表征，同时多次在高低分辨率表征之间进行信息交换，从而学到足够丰富的高分辨率表征。
MHRNet高分辨率体现在网络共四个尺度特征图同步进行前向，在过程中逐步引入低分辨率卷积，并且将不同分辨率的卷积并行连接。同时通过不断在多分辨率表征之间进行信息交换，来提升高分辨率和低分辨率表征的表达能力，让多分辨率表征之间更好地相互促进，这对于获取图像细节信息有非常重要的作用。
对步骤2-1中的不同尺度的patch对进行语义分割网络预测，结果如图11所示。
步骤2-3至2-5：对于步骤2-2中得到的每个预测结果进行冗余拼接，冗余拼接是指保留512*512尺寸图块预测中心256*256大小的区域，该区域置信度最高，舍弃预测边缘，改善拼接痕迹。通过冗余拼接得到一张完整的预测掩模，对预测掩模进行孔洞填充、孤岛消除和类别合并，得到优化后的预测掩模图像，如图12所示。
使用冗余拼接算法效果优化前后对比如图13所示，可见边界效应改善十分明显。
需要说明的是，上述步骤1、步骤2没有严格的先后顺序，即可以先执行步骤2再执行步骤1，或者步骤1和步骤2同时进行。
步骤3：利用步骤1中的病理组织聚类图和步骤2中的预测掩模图，通过图像处理技术得到组织间质图。
步骤3-1至3-2：对步骤1-5中的病理组织聚类图和步骤2-5中的掩模图进行异或，得到不同病理组织聚类图像的间质图(对应于前述目标类型图像)，对间质图中的图块孤岛进行消除优化，如图14所示。
将步骤2中的病理组织分割结果和步骤3中的病理组织间质进行整合，便可以得到炎症性肠病16类全要素输出。
本发明实施例，采用多尺度高分辨率网络对512*512图块对进行组织提取，相比于分类式卷积神经网络生成的低分辨率表征来恢复高分辨率表征这一路线，高分辨率网络能在整个过程中始终保持高分辨率表征，多次在高低分辨率表征之间进行信息交换，从而学到足够丰富的高分辨率表征；同时模拟了病理专家诊断过程，多尺度网络能够充分利用局部细节和全局信息，使得组织提取效果更加准确；使用滑窗法对10000*10000大小的病理图像采样切块成数个512*512大小的图块，切割时需留出部分交叠区域。使用冗余法对512*512图块内部截取256*256大小的区域进行拼接，通过冗余滑窗法大大改善了图块拼接时带来的边缘效应；通过密度聚类法对病理切片上的各个组织单元进行区分，对组织块和组织区域进行异或操作提取组织间质，进而完成整个病理图像上的全要素提取。
与相关技术相比，本发明实施例的技术方案具有以下优点：1)采用多尺度高分辨率神经网络进行组织预测，组织分割效果更加准确；2)使用滑窗法切块，冗余法拼接大大改善了图块拼接时带来的边缘效应；3)通过密度聚类对组织分块以及间质分离，完成整个病理图像全要素提取。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种目标对象的确定装置，图15是根据本发明实施例的目标对象的确定装置的结构框图，如图15所示，该装置包括：
第一获取模块1502，用于获取针对目标部位采集的原始图像；
第一获得模块1504，用于对所述原始图像进行切分，得到目标对象对应的目标图像块，其中，所述目标图像块中包括第一目标图块和第二目标图块，所述第一目标图块的分辨率高于所述第二目标图块的分辨率；
第二获得模块1506，用于通过目标神经网络中的第一分支网络，对所述第一目标图块进行特征提取得到第一特征，以及通过所述目标神经网络中的第二分支网络，对所述第二目标图块进行不同分辨率的特征提取，得到第二组特征，所述第二组特征中包括分辨率不同的多个第二特征，所述第二特征对应的图块的分辨率小于所述第二目标图块的分辨率；
第三获得模块1508，用于根据所述第一特征和所述第二组特征对所述目标图像块进行预测，得到所述目标图像块的预测结果，所述预测结果用于表征所述目标图像块中针对所述目标对象的识别结果。
在一个可选的实施例中，上述第一获得模块1504包括：第一切块单元，用于对所述原始图像进行切块得到所述第一目标图块；第二切块单元，用于对所述原始图像缩放后并进行切块得到所述第二目标图块，且所述第二目标图块与所述第一目标图块的中心点坐标和尺寸均相同。
在一个可选的实施例中，与所述第二组特征包含的多个第二特征中的第j个所述第二特征所对应的第j个图块与所述第二目标图块的中心点坐标相同，且所述第j个图块与所述第二目标图块的尺寸相同；所述第j个图块的分辨率是所述第二目标图块的分辨率的1/N，N＝2j，j为大于或等于1的正整数。
在一个可选的实施例中，上述第三获得模块1508包括：融合单元，用于将所述第二组特征中的各个所述第二特征分别与所述第一特征进行融合，得到多个第三特征；第一获得单元，用于根据所述多个第三特征，得到目标特征图；第一确定单元，用于根据所述目标特征图，确定所述目标图像块的所述预测结果。
在一个可选的实施例中，上述第一获得模块1504包括：第二获得单元，用于按照预定滑窗尺寸及预定步长对所述原始图像进行滑动切块，得到P个第一图块，其中，P为大于或等于2的正整数；第三获得单元，用于按照所述预定滑窗尺寸及所述预定步长对第一图像进行滑动切块，得到P个第二图块，其中，所述第一图像是对所述原始图像进行缩放后得到的图像；合成单元，用于将P个所述第一图块和P个所述第二图块组合成P个图像块，其中，所述P个图像块中包括与所述目标对象对应的所述目标图像块。
在一个可选的实施例中，上述第二获得单元包括：填充子单元，用于在所述原始图像的宽度W与所述预定滑窗的宽度w之间的差值不等于宽度方向的所述预定步长b的整数倍的情况下，对所述原始图像的宽度方向的边界进行填充，以使填充后的图像的宽度W'与所述w之间的差值等于所述b的整数倍；获得子单元，用于按照所述预定滑窗尺寸及所述预定步长对所述填充后的图像进行滑动切块，得到所述P个第一图块。
在一个可选的实施例中，上述装置还包括：第二获取模块，用于在得到所述一组预测结果之后，获取所述P个图像块中除所述目标图像块之外的P-1个图像块；提取模块，用于通过所述目标神经网络中的所述第一分支网络，对所述P-1个图像块中各个图像块的第一图块进行特征提取，得到P-1个第四特征，以及通过所述目标神经网络中的第二分支网络，对所述P-1个图像块中各个图像块的第二图块分别进行不同分辨率的特征提取，得到P-1组特征，其中，所述P-1组特征的第i组特征中包括分辨率不同的多个第五特征，所述第五特征对应的图块的分辨率小于所述P-1个图像块中第i个图像块的第二图块的分辨率，i为大于或等于1、且小于P-1的正整数；第四获得模块，用于根据所述P-1个第四特征及所述P-1组特征，得到P-1个预测结果，其中，所述P-1个预测结果分别用于表征所述P-1个图像块的识别结果；组合模块，用于将所述P-1个预测结果与所述目标图像块的所述预测结果进行组合，得到所述原始图像的一组预测结果；第三获取模块，用于根据所述一组预测结果获取P个预测图块的中心块，得到P个所述中心块，其中，P个所述预测图块中的各个所述预测图块包括对应的所述图像块中的所述第一图块以及对应的所述图像块的预测结果，所述中心块与所述预测图块的中心点相同、且所述中心块的长度和宽度均为对应的所述预测图块的一半；第一拼接模块，用于将P个所述中心块进行拼接，得到预测掩模图像；第一处理模块，用于在所述预测掩模图像中存在第一无效区域的情况下，对所述预测掩模图像执行第一消除处理，得到目标掩模图像，其中，所述第一消除处理用于对所述预测掩模图像中的所述无效区域进行消除；第一确定模块，用于根据所述目标掩模图像，确定所述原始图像中识别到的与所述目标部位关联的指定类型的对象。
在一个可选的实施例中，上述第一确定模块包括：转换单元，用于将所述原始图像转换为灰度图像；第一处理单元，用于对所述灰度图像执行二值化处理，得到二值图像；第二处理单元，用于在所述二值图像中存在第二无效区域的情况下，对所述二值图像执行第二消除处理，得到目标处理图像，其中，所述第二消除处理用于对所述二值图像中的所述第二无效区域进行消除；聚类单元，用于对所述目标处理图像中的像素点进行聚类处理，得到目标聚类图像；第四获得单元，用于根据所述目标掩模图像和所述目标聚类图像，得到目标类型图像，其中，所述目标类型图像用于标识所述原始图像中识别到的所述指定类型的对象。
在一个可选的实施例中，上述第四获得单元包括：处理子单元，用于对所述目标掩模图像和所述目标聚类图像进行异或处理，得到所述目标类型图像。
在一个可选的实施例中，上述装置还包括：第二拼接模块，用于在所述一组预测结果包括所述P个预测图块、且所述P个预测图块中的各个预测图块中标识有识别到的一个对象的情况下，将所述P个预测图块与所述目标类型图像进行拼接，得到目标分割图，其中，所述目标分割图用于标识所述原始图像中识别到的多个对象，所述多个对象包括所述P个预测图块中的各个预测图块中标识的识别到的一个对象，以及所述指定类型的对象。
在一个可选的实施例中，所述目标部位包括肠道，所述原始图像包括针对所述肠道的病理组织图，所述目标对象包括如下至少一种或任意组合：隐窝、隐窝扭曲、隐窝融合、幽门腺化生、绒毛、绒毛改变、绒毛下层、淋巴组织、黏膜肌、挤压区域、溃疡、肉芽肿、类上皮结节、淋巴管、间质、背景。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种目标对象的确定方法，其特征在于，包括：
获取针对目标部位采集的原始图像；
对所述原始图像进行切分，得到目标对象对应的目标图像块，其中，所述目标图像块中包括第一目标图块和第二目标图块，所述第一目标图块的分辨率高于所述第二目标图块的分辨率；
通过目标神经网络中的第一分支网络，对所述第一目标图块进行特征提取得到第一特征，以及通过所述目标神经网络中的第二分支网络，对所述第二目标图块进行不同分辨率的特征提取，得到第二组特征，所述第二组特征中包括分辨率不同的多个第二特征，所述第二特征对应的图块的分辨率小于所述第二目标图块的分辨率；
根据所述第一特征和所述第二组特征对所述目标图像块进行预测，得到所述目标图像块的预测结果，所述预测结果用于表征所述目标图像块中针对所述目标对象的识别结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述原始图像进行切分，得到目标对象对应的目标图像块，包括：
对所述原始图像进行切块得到所述第一目标图块；
对所述原始图像缩放后并进行切块得到所述第二目标图块，且所述第二目标图块与所述第一目标图块的中心点坐标和尺寸均相同。
3.根据权利要求1所述的方法，其特征在于，与所述第二组特征包含的多个第二特征中的第j个所述第二特征所对应的第j个图块与所述第二目标图块的中心点坐标相同，且所述第j个图块与所述第二目标图块的尺寸相同；
所述第j个图块的分辨率是所述第二目标图块的分辨率的1/N，N＝2j，j为大于或等于1的正整数。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一特征和所述第二组特征对所述目标图像块对进行预测，得到所述目标图像块的预测结果，包括：
将所述第二组特征中的各个所述第二特征分别与所述第一特征进行融合，得到多个第三特征；
根据所述多个第三特征，得到目标特征图；
根据所述目标特征图，确定所述目标图像块的所述预测结果。
5.根据权利要求1所述的方法，其特征在于，所述对所述原始图像进行切分，得到目标对象对应的目标图像块，包括：
按照预定滑窗尺寸及预定步长对所述原始图像进行滑动切块，得到P个第一图块，其中，P为大于或等于2的正整数；
按照所述预定滑窗尺寸及所述预定步长对第一图像进行滑动切块，得到P个第二图块，其中，所述第一图像是对所述原始图像进行缩放后得到的图像；
将P个所述第一图块和P个所述第二图块组合成P个图像块，其中，所述P个图像块中包括与所述目标对象对应的所述目标图像块。
6.根据权利要求5所述的方法，其特征在于，所述按照预定滑窗尺寸及预定步长对所述原始图像进行滑动切块，得到P个第一图块包括：
在所述原始图像的宽度W与所述预定滑窗的宽度w之间的差值不等于宽度方向的所述预定步长b的整数倍的情况下，对所述原始图像的宽度方向的边界进行填充，以使填充后的图像的宽度W'与所述w之间的差值等于所述b的整数倍；
按照所述预定滑窗尺寸及所述预定步长对所述填充后的图像进行滑动切块，得到所述P个第一图块。
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取所述P个图像块中除所述目标图像块之外的P-1个图像块；
通过所述目标神经网络中的所述第一分支网络，对所述P-1个图像块中各个图像块的第一图块进行特征提取，得到P-1个第四特征，以及通过所述目标神经网络中的第二分支网络，对所述P-1个图像块中各个图像块的第二图块分别进行不同分辨率的特征提取，得到P-1组特征，其中，所述P-1组特征的第i组特征中包括分辨率不同的多个第五特征，所述第五特征对应的图块的分辨率小于所述P-1个图像块中第i个图像块的第二图块的分辨率，i为大于或等于1、且小于P-1的正整数；
根据所述P-1个第四特征及所述P-1组特征，得到P-1个预测结果，其中，所述P-1个预测结果分别用于表征所述P-1个图像块的识别结果；
将所述P-1个预测结果与所述目标图像块的所述预测结果进行组合，得到所述原始图像的一组预测结果；
根据所述一组预测结果获取P个预测图块的中心块，得到P个所述中心块，其中，P个所述预测图块中的各个所述预测图块包括对应的所述图像块中的所述第一图块以及对应的所述图像块的预测结果，所述中心块与所述预测图块的中心点相同、且所述中心块的长度和宽度均为对应的所述预测图块的一半；
将P个所述中心块进行拼接，得到预测掩模图像；
在所述预测掩模图像中存在第一无效区域的情况下，对所述预测掩模图像执行第一消除处理，得到目标掩模图像，其中，所述第一消除处理用于对所述预测掩模图像中的所述无效区域进行消除；
根据所述目标掩模图像，确定所述原始图像中识别到的与所述目标部位关联的指定类型的对象。
8.根据权利要求7所述的方法，其特征在于，所述根据所述目标掩模图像，确定所述原始图像中识别到的与所述目标部位关联的指定类型的对象，包括：
将所述原始图像转换为灰度图像；
对所述灰度图像执行二值化处理，得到二值图像；
在所述二值图像中存在第二无效区域的情况下，对所述二值图像执行第二消除处理，得到目标处理图像，其中，所述第二消除处理用于对所述二值图像中的所述第二无效区域进行消除；
对所述目标处理图像中的像素点进行聚类处理，得到目标聚类图像；
根据所述目标掩模图像和所述目标聚类图像，得到目标类型图像，其中，所述目标类型图像用于标识所述原始图像中识别到的所述指定类型的对象。
9.根据权利要求8所述的方法，其特征在于，所述根据所述目标掩模图像和所述目标聚类图像，得到目标类型图像，包括：
对所述目标掩模图像和所述目标聚类图像进行异或处理，得到所述目标类型图像。
10.根据权利要求8所述的方法，其特征在于，所述方法还包括：
在所述一组预测结果包括所述P个预测图块、且所述P个预测图块中的各个预测图块中标识有识别到的一个对象的情况下，将所述P个预测图块与所述目标类型图像进行拼接，得到目标分割图，其中，所述目标分割图用于标识所述原始图像中识别到的多个对象，所述多个对象包括所述P个预测图块中的各个预测图块中标识的识别到的一个对象，以及所述指定类型的对象。
11.根据权利要求1至10中任一项所述的方法，其特征在于，所述目标部位包括肠道，所述原始图像包括针对所述肠道的病理组织图，所述目标对象包括如下至少一种或任意组合：
隐窝、隐窝扭曲、隐窝融合、幽门腺化生、绒毛、绒毛改变、绒毛下层、淋巴组织、黏膜肌、挤压区域、溃疡、肉芽肿、类上皮结节、淋巴管、间质、背景。
12.一种目标对象的确定装置，其特征在于，包括：
第一获取模块，用于获取针对目标部位采集的原始图像；
第一获得模块，用于对所述原始图像进行切分，得到目标对象对应的目标图像块，其中，所述目标图像块中包括第一目标图块和第二目标图块，所述第一目标图块的分辨率高于所述第二目标图块的分辨率；
第二获得模块，用于通过目标神经网络中的第一分支网络，对所述第一目标图块进行特征提取得到第一特征，以及通过所述目标神经网络中的第二分支网络，对所述第二目标图块进行不同分辨率的特征提取，得到第二组特征，所述第二组特征中包括分辨率不同的多个第二特征，所述第二特征对应的图块的分辨率小于所述第二目标图块的分辨率；
第三获得模块，用于根据所述第一特征和所述第二组特征对所述目标图像块进行预测，得到所述目标图像块的预测结果，所述预测结果用于表征所述目标图像块中针对所述目标对象的识别结果。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至11任一项中所述的方法的步骤。
14.一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述权利要求1至11任一项中所述的方法的步骤。
CN202211736613.2A 2022-12-31 2022-12-31 目标对象的确定方法、装置、存储介质及电子装置 Pending CN116188938A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211736613.2A CN116188938A (zh) 2022-12-31 2022-12-31 目标对象的确定方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211736613.2A CN116188938A (zh) 2022-12-31 2022-12-31 目标对象的确定方法、装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN116188938A true CN116188938A (zh) 2023-05-30

Family

ID=86447141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211736613.2A Pending CN116188938A (zh) 2022-12-31 2022-12-31 目标对象的确定方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN116188938A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912621A (zh) * 2023-07-14 2023-10-20 浙江大华技术股份有限公司 图像样本构建方法、目标识别模型的训练方法及相关装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912621A (zh) * 2023-07-14 2023-10-20 浙江大华技术股份有限公司 图像样本构建方法、目标识别模型的训练方法及相关装置
CN116912621B (zh) * 2023-07-14 2024-02-20 浙江大华技术股份有限公司 图像样本构建方法、目标识别模型的训练方法及相关装置

Similar Documents

Publication Publication Date Title
CN111027547B (zh) 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN112233092A (zh) 一种用于无人机电力巡检智能缺陷检测的深度学习方法
CN109583345B (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
CN108629772B (zh) 图像处理方法及装置、计算机设备和计算机存储介质
CN108764039B (zh) 神经网络、遥感影像的建筑物提取方法、介质及计算设备
CN110084238B (zh) 基于LadderNet网络的指静脉图像分割方法、装置和存储介质
WO2023045231A1 (zh) 一种解耦分治的面神经分割方法和装置
CN108596240B (zh) 一种基于判别特征网络的图像语义分割方法
CN112132827A (zh) 病理图像的处理方法、装置、电子设备及可读存储介质
CN112862830A (zh) 一种多模态图像分割方法、系统、终端及可读存储介质
CN111080654A (zh) 图像的病变区域分割方法、装置及服务器
CN115862030B (zh) 清除图像中文本的算法模型及其构建方法、装置及应用
CN112771516A (zh) 分类装置、分类方法、程序以及信息记录介质
CN113065551A (zh) 利用深度神经网络模型执行图像分割的方法
CN112001317A (zh) 基于语义信息的导线缺陷识别方法、系统及终端设备
CN111860823A (zh) 神经网络训练、图像处理方法及装置、设备及存储介质
CN116188938A (zh) 目标对象的确定方法、装置、存储介质及电子装置
CN113313680A (zh) 一种结直肠癌病理图像预后辅助预测方法及系统
CN117078930A (zh) 基于边界感知和注意力机制的医学图像分割方法
CN112966687B (zh) 图像分割模型训练方法、装置及通信设备
CN112580616B (zh) 人群数量确定方法、装置、设备及存储介质
CN110992309B (zh) 基于深层信息传递网络的眼底图像分割方法
CN114998713B (zh) 路面病害识别方法、装置、系统、电子设备及存储介质
CN115830342A (zh) 检测框的确定方法、装置、存储介质及电子装置
CN111626313A (zh) 一种特征提取模型训练方法、图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination