CN110675391B - 图像处理方法、装置、计算设备以及介质 - Google Patents

图像处理方法、装置、计算设备以及介质 Download PDF

Info

Publication number
CN110675391B
CN110675391B CN201910929490.6A CN201910929490A CN110675391B CN 110675391 B CN110675391 B CN 110675391B CN 201910929490 A CN201910929490 A CN 201910929490A CN 110675391 B CN110675391 B CN 110675391B
Authority
CN
China
Prior art keywords
image
images
initial
feature
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910929490.6A
Other languages
English (en)
Other versions
CN110675391A (zh
Inventor
张耀
钟诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201910929490.6A priority Critical patent/CN110675391B/zh
Publication of CN110675391A publication Critical patent/CN110675391A/zh
Application granted granted Critical
Publication of CN110675391B publication Critical patent/CN110675391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种图像处理方法，包括：获取初始图像，利用图像处理模型处理初始图像，得到多个初始特征图像，其中，图像处理模型包括多层级计算单元，多个初始特征图像由多层级计算单元中的不同层级计算单元输出，基于多层级计算单元中低层级计算单元所输出的初始特征图像的图像大小，处理多个初始特征图像得到多个更新特征图像，其中，多个更新特征图像中每一个更新特征图像的图像大小与多层级计算单元中低层级计算单元所输出的初始特征图像的图像大小一致，基于多个更新特征图像，确定初始图像中的至少一个目标对象。本公开还提供了一种图像处理装置、一种计算设备以及一种计算机可读存储介质。

Description

图像处理方法、装置、计算设备以及介质
技术领域
本公开涉及一种图像处理方法、一种图像处理装置、一种计算设备以及一种计算机可读存储介质。
背景技术
在图像处理过程中，通常需要识别图像中的目标对象。例如，以CT(ComputedTomography)图像举例，为了方便诊断和治疗，需要对CT图像进行识别处理，以识别出CT图像中的病变区域，以便对病变区域进行分割处理。但是，相关技术中，在识别图像中目标对象时，由于识别算法的局限性，导致识别结果不够准确，容易造成分割错误。
发明内容
本公开的一个方面提供了一种图像处理方法，包括：获取初始图像，利用图像处理模型处理所述初始图像，得到多个初始特征图像，其中，所述图像处理模型包括多层级计算单元，所述多个初始特征图像由所述多层级计算单元中的不同层级计算单元输出，基于所述多层级计算单元中低层级计算单元所输出的初始特征图像的图像大小，处理所述多个初始特征图像得到多个更新特征图像，其中，所述多个更新特征图像中每一个更新特征图像的图像大小与所述多层级计算单元中低层级计算单元所输出的初始特征图像的图像大小一致，基于所述多个更新特征图像，确定所述初始图像中的至少一个目标对象。
可选地，上述基于所述多个更新特征图像，确定所述初始图像中的至少一个目标对象包括：对所述多个更新特征图像进行融合处理，得到融合特征图像，获取特征向量，基于所述特征向量，对所述融合特征图像进行处理得到目标特征图像，基于所述目标特征图像，确定所述初始图像中的至少一个目标对象。
可选地，上述初始图像包括多个初始子图像，所述多个初始子图像中的第一数量个初始子图像具有所述目标对象的截面图像，所述目标特征图像包括多个目标子图像，所述基于所述目标特征图像，确定所述初始图像中的至少一个目标对象包括：基于所述多个目标子图像，确定多个目标子图像中包含所述目标对象的截面图像的第二数量个目标子图像，基于所述第二数量个目标子图像中所述目标对象的截面图像，得到所述目标对象在所述初始图像中的立体图像。
可选地，上述获取特征向量包括：确定所述多个初始特征图像中的第一初始特征图像，其中，所述第一初始特征图像为所述多层级计算单元中高层级计算单元的输出，处理所述第一初始特征图像，得到所述特征向量。
可选地，上述利用图像处理模型处理所述初始图像，得到多个初始特征图像包括：利用所述图像处理模型处理所述初始图像，得到多个待增强特征图像，对所述多个待增强特征图像进行增强处理，得到所述多个初始特征图像。
可选地，上述对所述多个待增强特征图像进行增强处理，得到所述多个初始特征图像包括：确定所述多个待增强特征图像中的两个待增强特征图像，其中，所述两个待增强特征图像分别为两个相邻层级计算单元的输出，所述两个待增强特征图像中包括第一待增强特征图像和第二待增强特征图像，所述第一待增强特征图像为所述两个相邻层级计算单元中低层级计算单元的输出，所述第二待增强特征图像为所述两个相邻层级计算单元中高层级计算单元的输出，处理所述第二待增强特征图像，得到增强向量，基于所述增强向量处理所述第一待增强特征图像，得到所述多个初始特征图像中的一个初始特征图像。
本公开的另一个方面提供了一种图像处理装置，包括：获取模块、第一处理模块、第二处理模块以及确定模块。其中，获取模块，获取初始图像。第一处理模块，利用图像处理模型处理所述初始图像，得到多个初始特征图像，其中，所述图像处理模型包括多层级计算单元，所述多个初始特征图像由所述多层级计算单元中的不同层级计算单元输出。第二处理模块，基于所述多层级计算单元中低层级计算单元所输出的初始特征图像的图像大小，处理所述多个初始特征图像得到多个更新特征图像，其中，所述多个更新特征图像中每一个更新特征图像的图像大小与所述多层级计算单元中低层级计算单元所输出的初始特征图像的图像大小一致。确定模块，基于所述多个更新特征图像，确定所述初始图像中的至少一个目标对象。
可选地，上述基于所述多个更新特征图像，确定所述初始图像中的至少一个目标对象包括：对所述多个更新特征图像进行融合处理，得到融合特征图像，获取特征向量，基于所述特征向量，对所述融合特征图像进行处理得到目标特征图像，基于所述目标特征图像，确定所述初始图像中的至少一个目标对象。
可选地，上述初始图像包括多个初始子图像，所述多个初始子图像中的第一数量个初始子图像具有所述目标对象的截面图像，所述目标特征图像包括多个目标子图像，所述基于所述目标特征图像，确定所述初始图像中的至少一个目标对象包括：基于所述多个目标子图像，确定多个目标子图像中包含所述目标对象的截面图像的第二数量个目标子图像，基于所述第二数量个目标子图像中所述目标对象的截面图像，得到所述目标对象在所述初始图像中的立体图像。
可选地，上述获取特征向量包括：确定所述多个初始特征图像中的第一初始特征图像，其中，所述第一初始特征图像为所述多层级计算单元中高层级计算单元的输出，处理所述第一初始特征图像，得到所述特征向量。
可选地，上述利用图像处理模型处理所述初始图像，得到多个初始特征图像包括：利用所述图像处理模型处理所述初始图像，得到多个待增强特征图像，对所述多个待增强特征图像进行增强处理，得到所述多个初始特征图像。
可选地，上述对所述多个待增强特征图像进行增强处理，得到所述多个初始特征图像包括：确定所述多个待增强特征图像中的两个待增强特征图像，其中，所述两个待增强特征图像分别为两个相邻层级计算单元的输出，所述两个待增强特征图像中包括第一待增强特征图像和第二待增强特征图像，所述第一待增强特征图像为所述两个相邻层级计算单元中低层级计算单元的输出，所述第二待增强特征图像为所述两个相邻层级计算单元中高层级计算单元的输出，处理所述第二待增强特征图像，得到增强向量，基于所述增强向量处理所述第一待增强特征图像，得到所述多个初始特征图像中的一个初始特征图像。
本公开的另一个方面提供了一种计算设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器用于实现如上的方法。
本公开的另一方面提供了一种非易失性可读存储介质，存储有计算机可执行指令，指令在被执行时用于实现如上的方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上的方法。
附图说明
为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
图1示意性示出了根据本公开实施例的图像处理方法和图像处理装置的应用场景；
图2示意性示出了根据本公开实施例的图像处理方法的流程图；
图3示意性示出了根据本公开实施例的图像处理的示意图；
图4～图5示意性示出了根据本公开实施例的立体图像的示意图；
图6示意性示出了根据本公开实施例的网络架构；
图7示意性示出了根据本公开实施例的图像处理装置的框图；以及
图8示意性示出了根据本公开实施例的用于实现图像处理的计算机系统的方框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程控制装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
本公开的实施例提供了一种图像处理方法，包括：获取初始图像，利用图像处理模型处理初始图像，得到多个初始特征图像，其中，图像处理模型包括多层级计算单元，多个初始特征图像由多层级计算单元中的不同层级计算单元输出。然后，基于多层级计算单元中低层级计算单元所输出的初始特征图像的图像大小，处理多个初始特征图像得到多个更新特征图像，其中，多个更新特征图像中每一个更新特征图像的图像大小与多层级计算单元中低层级计算单元所输出的初始特征图像的图像大小一致。最后，基于多个更新特征图像，确定初始图像中的至少一个目标对象。
图1示意性示出了根据本公开实施例的图像处理方法和图像处理装置的应用场景。需要注意的是，图1所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，该应用场景100例如包括初始图像110、图像处理模型120以及目标特征图像130。
根据本公开实施例，初始图像110中例如包括目标对象111。本公开实施例通过图像处理模型120对初始图像110进行图像处理，以识别初始图像110中的目标对象111。
例如，初始图像110可以是CT(Computed Tomography)图像，为了方便诊断和治疗，需要对CT图像进行识别处理，以识别出CT图像中的病变区域，以便对病变区域进行分割处理。其中，CT图像中的病变区域例如可以是肿瘤，该病变区域作为目标对象111可以通过识别算法进行识别。
根据本公开实施例，图像处理模型120例如可以是卷积神经网络，通过将初始图像110输入至卷积神经网络中进行识别，识别结果例如包括目标特征图像130，该目标特征图像130中例如包括所识别出的目标对象131。
可以理解，本公开实施例的初始图像110不限于CT图像，还可以是其他图像，目标对象可以是初始图像110中的任意对象。
下面结合图1的应用场景，参考图2～图6来描述根据本公开示例性实施方式的图像处理方法。需要注意的是，上述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。
图2示意性示出了根据本公开实施例的图像处理方法的流程图。
图3示意性示出了根据本公开实施例的图像处理的示意图。以下结合图2和3来阐述本公开实施例的方法。
首先，如图2所示，该方法包括操作S210～S240。
在操作S210，获取初始图像310。
如图3所示，初始图像310中例如具有至少一个目标对象，本公开实施例的目的在于识别出初始图像310中的目标对象。例如初始图像310中可以是可以是CT图像，目标对象可以是病变区域。通过将初始图像310输入至图像处理模型320中进行识别，以得出出目标对象。具体过程如以下操作S220～S240描述。
在操作S220，利用图像处理模型320处理初始图像310，得到多个初始特征图像，其中，图像处理模型包括多层级计算单元，多个初始特征图像由多层级计算单元中的不同层级计算单元输出。
根据本公开实施例，以图像处理模型320为卷积神经网络模型举例。该卷积神经网络中包括多层级计算单元，例如包括L1～L4卷积层。其中，将初始图像310输入至神经网络模型中，每个层级的计算单元均输出初始特征图像。例如，L1层级计算单元输入初始特征图像S1，L2层级计算单元输入初始特征图像S2，L3层级计算单元输入初始特征图像S3，L4层级计算单元输入初始特征图像S4。可以理解，本公开实施例以四层级计算单元举例，本领域技术人员可根据实际应用情况具体设定层级数量。
其中，初始特征图像S1的图像大小例如为N1*N1，通道数例如为M1。初始特征图像S2的图像大小例如为N2*N2，通道数例如为M2。初始特征图像S3的图像大小例如为N3*N3，通道数例如为M3。初始特征图像S4的图像大小例如为N4*N4，通道数例如为M4。在本公开实施例中，例如N1＞N2＞N3＞N4，M1＝M2＝M3＝M4。
在操作S230，基于多层级计算单元中低层级计算单元所输出的初始特征图像的图像大小，处理多个初始特征图像得到多个更新特征图像，其中，多个更新特征图像中每一个更新特征图像的图像大小与多层级计算单元中低层级计算单元所输出的初始特征图像的图像大小一致。
根据本公开实施例，L1～L4层级计算单元的层级高低从低至高，即，L1层级为最低层级，L4层级为最高层级。根据L1层级输出的初始特征图像S1的图像大小N1*N1，分别对初始特征图像S2、S3、S4进行上采样处理，得到更新特征图像S2’、S3’、S4’。其中，更新特征图像S2’、S3’、S4’的图像大小均为N1*N1。其中，初始特征图像S1例如可以不进行操作，即，初始特征图像S1对应的更新特征图像还是为S1。
在操作S240，基于多个更新特征图像，确定初始图像310中的至少一个目标对象。例如，根据更新特征图像S1、S2’、S3’、S4’得到初始图像310中的目标对象，以便分割初始图像310中的目标对象。
本公开实施例的技术方案通过将卷积神经网络中的高层级计算单元所输出的初始特征图像进行上采样处理，得到更新特征图像，该更新特征图像的图像大小与低层级计算单元所输出的初始特征图像的图像大小一致，实现了充分利用多个层级的信息，并且使得多个层级的信息保持一致性，提高了图像识别以及图像分割的一致性。另外，将多层级计算单元所输出的初始特征图像的图像大小分别直接上采样至最低层级计算单元所输出的初始特征图像的图像大小，较大程度地避免了上采样得到的更新特征图像的信息丢失，尽可能实现图像分割的一致性。
如图3所示，上述操作S240例如可以包括：
首先，对多个更新特征图像进行融合处理，得到融合特征图像。例如，对更新特征图像S1、S2’、S3’、S4’进行融合处理，得到融合特征图像[S1 S2’ S3’ S4’]。
然后，获取特征向量，基于特征向量，对融合特征图像进行处理得到目标特征图像，基于目标特征图像，确定初始图像中的至少一个目标对象。
如图3所示，特征向量例如可以为[f1 f2 f3 f4]T，其中，上标T为转置。将特征向量[f1 f2 f3 f4]T与融合特征图像[S1 S2’ S3’ S4’]相乘，得到目标特征图像[f1*S1 f2*S2’ f3*S3’ f4*S4’]。然后，可以根据目标特征图像[f1*S1 f2*S2’ f3*S3’ f4*S4’]得到初始图像310中的目标对象，以便分割初始图像310中的目标对象。
其中，获取特征向量包括：确定多个初始特征图像中的第一初始特征图像，处理第一初始特征图像，得到特征向量。其中，第一初始特征图像为多层级计算单元中高层级计算单元的输出。
例如，将多个初始特征图像S1、S2、S3、S4中L4层级计算单元所输出的初始特征图像S4作为第一初始特征图像。第一初始特征图像S4的尺寸例如为N4*N4*M4。对第一初始特征图像S4进行全局平均池化处理得到M4个元素，该M4个元素组成一个第一向量，对该第一向量进行线性变化以及归一化处理，得到特征向量[f1 f2 f3 f4]T。
根据本公开实施例，上述操作S220例如包括：利用图像处理模型处理初始图像，得到多个待增强特征图像，对多个待增强特征图像进行增强处理，得到多个初始特征图像。其中，多个待增强特征图像例如为R1、R2、R3、R4。该多个待增强特征图像R1、R2、R3、R4分别为L1～L4层级的输出。
例如，首先确定多个待增强特征图像中的两个待增强特征图像，其中，两个待增强特征图像分别为两个相邻层级计算单元的输出。例如，两个待增强特征图像可以为R1和R2、R2和R3或者R3、R4。
例如，利用待增强特征图像R2对待增强特征图像R1进行增强处理，得到初始特征图像S1。利用待增强特征图像R3对待增强特征图像R2进行增强处理，得到初始特征图像S2。利用待增强特征图像R4对待增强特征图像R3进行增强处理，得到初始特征图像S3。待增强特征图像R4例如可以不进行处理，即，待增强特征图像R4对应初始特征图像S4。
例如，以两个待增强特征图像为R1和R2，利用待增强特征图像R2对待增强特征图像R1进行增强处理，得到初始特征图像S1举例。其中，两个待增强特征图像中包括第一待增强特征图像R1和第二待增强特征图像R2，第一待增强特征图像R1为两个相邻层级计算单元中低层级计算单元的输出(例如为L1层级)，第二待增强特征图像R2为两个相邻层级计算单元中高层级计算单元的输出(例如为L2层级)。
其次，处理第二待增强特征图像，得到增强向量，基于增强向量处理第一待增强特征图像，得到多个初始特征图像中的一个初始特征图像。
例如，待增强特征图像R1的尺寸例如为N1*N1*M1，待增强特征图像R2的尺寸例如为N2*N2*M2，其中，M1＝M2。对待增强特征图像R2进行全局平均池化处理得到M2个元素，该M2个元素组成增强向量，将该增强向量与待增强特征图像R1相乘，得到初始特征图像S1。同理，通过类似处理可以得到初始特征图像S2、初始特征图像S3。
图4～图5示意性示出了根据本公开实施例的立体图像的示意图。
如图4所示，初始图像包括多个初始子图像，多个初始子图像中的第一数量个(例如三个)初始子图像具有目标对象的截面图像，其中，将多个初始子图像输入至图像处理模型后得到的目标特征图像例如包括多个目标子图像。例如，图4左侧的五个图像为初始子图像，该多个初始子图像例如为多个CT切片图像，其中部分切片图像例如具有目标对象的截面信息，例如图4左侧中间三个初始子图像具有目标对象的截面信息。将多个初始子图像输入至卷积神经网络中，识别得到的目标特征图像例如包括多个目标子图像，该多个目标子图像例如为图4右侧所示的五个目标子图像。
根据本公开实施例，基于多个目标子图像，确定多个目标子图像中包含目标对象的截面图像的第二数量个(例如三个)目标子图像，并基于第二数量个目标子图像中目标对象的截面图像，得到目标对象在初始图像中的立体图像。
例如，图4右侧所示的五个目标子图像的中间三个目标子图像具有所识别出的目标对象的截面图像。如图5所示，基于该截面图像例如能够构成目标对象的立体图像，便于对立体图像进行切割。
为例便于理解本公开实施例，图6示意性示出了根据本公开实施例的网络架构。
如图6所示，本公开实施例将初始图像输入至神经网络中，神经网络的L1～L4层级计算单元分别输出多个待增强特征图像R1、R2、R3、R4。多个待增强特征图像R1、R2、R3、R4经过增强模块SAT(Semantic Attention Transition)的增强处理后，得到多个初始特征图像S1、S2、S3、S4(其中，初始特征图像S4未进行增强处理)。多个初始特征图像S1、S2、S3、S4经过多个3*3卷积核上采样处理后，得到更新特征图像S1、S2’、S3’、S4’，将更新特征图像S1、S2’、S3’、S4’进行融合处理得到融合特征图像[S1 S2’ S3’ S4’]。
然后，对初始特征图像S4(相当于待增强特征图像R4)进行全局平均池化(GlobalAverage Pooling)处理得到特征向量[f1 f2 f3 f4]T。将特征向量[f1 f2 f3 f4]T与融合特征图像[S1 S2’ S3’ S4’]相乘得到目标特征图像[f1*S1 f2*S2’ f3*S3’ f4*S4’]，目标特征图像[f1*S1 f2*S2’ f3*S3’ f4*S4’]经过多个3*3卷积核进行处理得到最终结果。
图7示意性示出了根据本公开实施例的图像处理装置的框图。
如图7所示，图像处理装置700包括获取模块710、第一处理模块720、第二处理模块730以及确定模块740。
获取模块710可以用于获取初始图像。根据本公开实施例，获取模块710例如可以执行上文参考图2描述的操作S210，在此不再赘述。
第一处理模块720可以用于利用图像处理模型处理初始图像，得到多个初始特征图像，其中，图像处理模型包括多层级计算单元，多个初始特征图像由多层级计算单元中的不同层级计算单元输出。根据本公开实施例，第一处理模块720例如可以执行上文参考图2描述的操作S220，在此不再赘述。
第二处理模块730可以用于基于多层级计算单元中低层级计算单元所输出的初始特征图像的图像大小，处理多个初始特征图像得到多个更新特征图像，其中，多个更新特征图像中每一个更新特征图像的图像大小与多层级计算单元中低层级计算单元所输出的初始特征图像的图像大小一致。根据本公开实施例，第二处理模块730例如可以执行上文参考图2描述的操作S230，在此不再赘述。
确定模块740可以用于基于多个更新特征图像，确定初始图像中的至少一个目标对象。根据本公开实施例，确定模块740例如可以执行上文参考图2描述的操作S240，在此不再赘述。
根据本公开实施例，确定模块740还用于：对多个更新特征图像进行融合处理，得到融合特征图像，获取特征向量，基于特征向量，对融合特征图像进行处理得到目标特征图像，基于目标特征图像，确定初始图像中的至少一个目标对象。
根据本公开实施例，初始图像包括多个初始子图像，多个初始子图像中的第一数量个初始子图像具有目标对象的截面图像，目标特征图像包括多个目标子图像，确定模块740还用于：基于多个目标子图像，确定多个目标子图像中包含目标对象的截面图像的第二数量个目标子图像，基于第二数量个目标子图像中目标对象的截面图像，得到目标对象在初始图像中的立体图像。
根据本公开实施例，获取特征向量包括：确定多个初始特征图像中的第一初始特征图像，其中，第一初始特征图像为多层级计算单元中高层级计算单元的输出，处理第一初始特征图像，得到特征向量。
根据本公开实施例，第一处理模块720还用于：利用图像处理模型处理初始图像，得到多个待增强特征图像，对多个待增强特征图像进行增强处理，得到多个初始特征图像。
根据本公开实施例，对多个待增强特征图像进行增强处理，得到多个初始特征图像包括：确定多个待增强特征图像中的两个待增强特征图像，其中，两个待增强特征图像分别为两个相邻层级计算单元的输出，两个待增强特征图像中包括第一待增强特征图像和第二待增强特征图像，第一待增强特征图像为两个相邻层级计算单元中低层级计算单元的输出，第二待增强特征图像为两个相邻层级计算单元中高层级计算单元的输出，处理第二待增强特征图像，得到增强向量，基于增强向量处理第一待增强特征图像，得到多个初始特征图像中的一个初始特征图像。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，获取模块710、第一处理模块720、第二处理模块730以及确定模块740中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，获取模块710、第一处理模块720、第二处理模块730以及确定模块740中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块710、第一处理模块720、第二处理模块730以及确定模块740中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图8示意性示出了根据本公开实施例的用于实现图像处理的计算机系统的方框图。图8示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，实现图像处理的计算机系统800包括处理器801、计算机可读存储介质802。该系统800可以执行根据本公开实施例的方法。
具体地，处理器801例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质802，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
计算机可读存储介质802可以包括计算机程序803，该计算机程序803可以包括代码/计算机可执行指令，其在由处理器801执行时使得处理器801执行根据本公开实施例的方法或其任何变形。
计算机程序803可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序803中的代码可以包括一个或多个程序模块，例如包括803A、模块803B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器801执行时，使得处理器801可以执行根据本公开实施例的方法或其任何变形。
根据本公开的实施例，获取模块710、第一处理模块720、第二处理模块730以及确定模块740中的至少一个可以实现为参考图8描述的计算机程序模块，其在被处理器801执行时，可以实现上面描述的相应操作。
本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现以上图像处理方法。
根据本公开的实施例，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、射频信号等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种图像处理方法，包括：
获取初始图像；
利用图像处理模型处理所述初始图像，得到多个初始特征图像，其中，所述图像处理模型包括多层级计算单元，所述多个初始特征图像由所述多层级计算单元中的不同层级计算单元输出；
基于所述多层级计算单元中低层级计算单元所输出的初始特征图像的图像大小，处理所述多个初始特征图像得到多个更新特征图像，其中，所述多个更新特征图像中每一个更新特征图像的图像大小与所述多层级计算单元中低层级计算单元所输出的初始特征图像的图像大小一致；以及
基于所述多个更新特征图像，得到目标特征图像，其中，所述目标特征图像包括多个目标子图像；
基于所述目标特征图像，确定所述初始图像中的至少一个目标对象包括：基于所述多个目标子图像中所包含的所述目标对象的截面图像，得到所述目标对象在所述初始图像中的立体图像。
2.根据权利要求1所述的方法，其中，所述基于所述多个更新特征图像，得到目标特征图像包括：
对所述多个更新特征图像进行融合处理，得到融合特征图像；
获取特征向量；
基于所述特征向量，对所述融合特征图像进行处理得到目标特征图像。
3.根据权利要求2所述的方法，其中，所述初始图像包括多个初始子图像，所述多个初始子图像中的第一数量个初始子图像具有所述目标对象的截面图像，
所述基于所述多个目标子图像中所包含的所述目标对象的截面图像，得到所述目标对象在所述初始图像中的立体图像包括：
基于所述多个目标子图像，确定多个目标子图像中包含所述目标对象的截面图像的第二数量个目标子图像；以及
基于所述第二数量个目标子图像中所述目标对象的截面图像，得到所述目标对象在所述初始图像中的立体图像。
4.根据权利要求2所述的方法，其中，所述获取特征向量包括：
确定所述多个初始特征图像中的第一初始特征图像，其中，所述第一初始特征图像为所述多层级计算单元中高层级计算单元的输出；以及
处理所述第一初始特征图像，得到所述特征向量。
5.根据权利要求1-4中任意一项所述的方法，其中，所述利用图像处理模型处理所述初始图像，得到多个初始特征图像包括：
利用所述图像处理模型处理所述初始图像，得到多个待增强特征图像；以及
对所述多个待增强特征图像进行增强处理，得到所述多个初始特征图像。
6.根据权利要求5所述的方法，其中，所述对所述多个待增强特征图像进行增强处理，得到所述多个初始特征图像包括：
确定所述多个待增强特征图像中的两个待增强特征图像，其中，所述两个待增强特征图像分别为两个相邻层级计算单元的输出，所述两个待增强特征图像中包括第一待增强特征图像和第二待增强特征图像，所述第一待增强特征图像为所述两个相邻层级计算单元中低层级计算单元的输出，所述第二待增强特征图像为所述两个相邻层级计算单元中高层级计算单元的输出；
处理所述第二待增强特征图像，得到增强向量；以及
基于所述增强向量处理所述第一待增强特征图像，得到所述多个初始特征图像中的一个初始特征图像。
7.一种图像处理装置，包括：
获取模块，获取初始图像；
第一处理模块，利用图像处理模型处理所述初始图像，得到多个初始特征图像，其中，所述图像处理模型包括多层级计算单元，所述多个初始特征图像由所述多层级计算单元中的不同层级计算单元输出；
第二处理模块，基于所述多层级计算单元中低层级计算单元所输出的初始特征图像的图像大小，处理所述多个初始特征图像得到多个更新特征图像，其中，所述多个更新特征图像中每一个更新特征图像的图像大小与所述多层级计算单元中低层级计算单元所输出的初始特征图像的图像大小一致；以及
确定模块，基于所述多个更新特征图像，得到目标特征图像，其中，所述目标特征图像包括多个目标子图像；基于所述目标特征图像，确定所述初始图像中的至少一个目标对象，
其中，所述基于所述目标特征图像，确定所述初始图像中的至少一个目标对象包括：基于所述多个目标子图像中所包含的所述目标对象的截面图像，得到所述目标对象在所述初始图像中的立体图像。
8.根据权利要求7所述的装置，其中，所述基于所述多个更新特征图像，得到目标特征图像包括：
对所述多个更新特征图像进行融合处理，得到融合特征图像；
获取特征向量；
基于所述特征向量，对所述融合特征图像进行处理得到目标特征图像。
9.一种计算设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至6中任一项所述的方法。
10.一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现权利要求1至6中任一项所述的方法。
CN201910929490.6A 2019-09-27 2019-09-27 图像处理方法、装置、计算设备以及介质 Active CN110675391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910929490.6A CN110675391B (zh) 2019-09-27 2019-09-27 图像处理方法、装置、计算设备以及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910929490.6A CN110675391B (zh) 2019-09-27 2019-09-27 图像处理方法、装置、计算设备以及介质

Publications (2)

Publication Number Publication Date
CN110675391A CN110675391A (zh) 2020-01-10
CN110675391B true CN110675391B (zh) 2022-11-18

Family

ID=69079840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910929490.6A Active CN110675391B (zh) 2019-09-27 2019-09-27 图像处理方法、装置、计算设备以及介质

Country Status (1)

Country Link
CN (1) CN110675391B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844669A (zh) * 2016-03-28 2016-08-10 华中科技大学 一种基于局部哈希特征的视频目标实时跟踪方法
CN106127204A (zh) * 2016-06-30 2016-11-16 华南理工大学 一种全卷积神经网络的多方向水表读数区域检测算法
CN108090906A (zh) * 2018-01-30 2018-05-29 浙江大学 一种基于区域提名的宫颈图像处理方法及装置
CN108229495A (zh) * 2017-06-23 2018-06-29 北京市商汤科技开发有限公司 目标对象检测方法、装置、电子设备和存储介质
CN108319633A (zh) * 2017-11-17 2018-07-24 腾讯科技（深圳）有限公司 一种图像处理方法、装置及服务器、系统、存储介质
CN109903339A (zh) * 2019-03-26 2019-06-18 南京邮电大学 一种基于多维融合特征的视频群体人物定位检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019079198A1 (en) * 2017-10-16 2019-04-25 Illumina, Inc. CLASSIFICATION OF A CONNECTION SITE BASED ON DEEP LEARNING

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844669A (zh) * 2016-03-28 2016-08-10 华中科技大学 一种基于局部哈希特征的视频目标实时跟踪方法
CN106127204A (zh) * 2016-06-30 2016-11-16 华南理工大学 一种全卷积神经网络的多方向水表读数区域检测算法
CN108229495A (zh) * 2017-06-23 2018-06-29 北京市商汤科技开发有限公司 目标对象检测方法、装置、电子设备和存储介质
CN108319633A (zh) * 2017-11-17 2018-07-24 腾讯科技（深圳）有限公司 一种图像处理方法、装置及服务器、系统、存储介质
CN108090906A (zh) * 2018-01-30 2018-05-29 浙江大学 一种基于区域提名的宫颈图像处理方法及装置
CN109903339A (zh) * 2019-03-26 2019-06-18 南京邮电大学 一种基于多维融合特征的视频群体人物定位检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Network In Network";Min Lin等;《arXiv》;20140307;正文第1-10页 *
"Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition";Kaiming He等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20150930;第37卷(第9期);第1904-1916页 *

Also Published As

Publication number Publication date
CN110675391A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
US11521039B2 (en) Method and apparatus with neural network performing convolution
EP3507767A1 (en) Multi-modal medical image processing
CN114365156A (zh) 用于神经网络的迁移学习
US11810301B2 (en) System and method for image segmentation using a joint deep learning model
US20200175306A1 (en) Method and system for contextualizing automatic image segmentation and regression
CN111862222B (zh) 一种目标检测方法及电子设备
US11244028B2 (en) Neural network processor and convolution operation method thereof
CN110516678B (zh) 图像处理方法和装置
CN114841327A (zh) 计算图的处理方法、装置、可读介质及电子设备
CN113505848A (zh) 模型训练方法和装置
CN111382859A (zh) 用于处理神经网络中的卷积运算的方法和装置
CN113256592B (zh) 图像特征提取模型的训练方法、系统及装置
US20200389182A1 (en) Data conversion method and apparatus
CN109145984B (zh) 用于机器训练的方法和装置
CN110633718B (zh) 用于确定环境图像中的行驶区域的方法和装置
CN114170233B (zh) 图像分割标签的生成方法、装置、电子设备及存储介质
CN112348838A (zh) 用于图像分析的方法和系统
CN110675391B (zh) 图像处理方法、装置、计算设备以及介质
CN113808011B (zh) 一种基于特征融合的风格迁移方法、装置及其相关组件
CN110555833B (zh) 图像处理方法、装置、电子设备以及介质
CN112990305B (zh) 一种遮挡关系的确定方法、装置、设备及存储介质
CN110119721B (zh) 用于处理信息的方法和装置
CN113724184A (zh) 脑出血预后预测方法、装置、电子设备及存储介质
CN111382696A (zh) 用于检测目标的边界点的方法和装置
Aguilar-González et al. An fpga correlation-edge distance approach for disparity map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant