CN111598131B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111598131B
CN111598131B CN202010309211.9A CN202010309211A CN111598131B CN 111598131 B CN111598131 B CN 111598131B CN 202010309211 A CN202010309211 A CN 202010309211A CN 111598131 B CN111598131 B CN 111598131B
Authority
CN
China
Prior art keywords
features
fusion
dimension
image processing
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010309211.9A
Other languages
English (en)
Other versions
CN111598131A (zh
Inventor
李莹莹
谭啸
蒋旻悦
孙昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010309211.9A priority Critical patent/CN111598131B/zh
Publication of CN111598131A publication Critical patent/CN111598131A/zh
Priority to EP21163339.1A priority patent/EP3819824A3/en
Priority to JP2021049222A priority patent/JP7177878B2/ja
Priority to KR1020210038744A priority patent/KR102487260B1/ko
Priority to US17/213,746 priority patent/US11727676B2/en
Application granted granted Critical
Publication of CN111598131B publication Critical patent/CN111598131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理方法、装置、电子设备及存储介质，涉及计算机视觉领域。具体实现方案为：将待分类图像输入特征提取模型以生成N个维度的特征，其中，N为正整数；对所述N个维度的特征之中的M个特征进行维度融合以获得融合之后的M个维度融合特征，M为小于或等于N的正整数；根据所述N个维度的特征之中的其他未融合特征和所述M个维度融合特征进行图像处理。由此，在图像处理中不仅提取了图像的空间特征，还考虑了不同维度之间特征的关系，提取了各个空间特征不同维度之间的维度融合特征，从而能够提高学习效果，提高图像处理的准确率，解决了现有技术中图像分类网络的学习效果不佳，图像处理的准确率不高的技术问题。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本申请的实施例总体上涉及图像处理技术领域，并且更具体地，涉及计算机视觉领域。
背景技术
目前，深度学习图像分类网络已经较为成熟。现有的图像分类网络主要基于卷积神经网络(ConvolutionallNeura lNetworks，CNN)来提取图像特征，基于提取的图像特征进行学习。
然而，基于图像特征的学习仅使得图像分类网络融合了空间维度上的特征，导致图像分类网络的学习效果不佳，图像分类网络的准确率不高，从而使得图像处理的准确率不高。
发明内容
提供了一种用于提高图像分类网络的学习效果、提高图像处理的准确率的图像处理方法、装置、电子设备及存储介质。
根据第一方面，提供了一种图像处理方法，包括：
将待分类图像输入特征提取模型以生成N个维度的特征，其中，N为正整数；
对所述N个维度的特征之中的M个特征进行维度融合以获得融合之后的M个维度融合特征，M为小于或等于N的正整数；
根据所述N个维度的特征之中的其他未融合特征和所述M个维度融合特征进行图像处理。
根据第二方面，提供了一种图像处理装置，包括：
特征生成模块，用于将待分类图像输入特征提取模型以生成N个维度的特征，其中，N为正整数；
融合模块，用于对所述N个维度的特征之中的M个特征进行维度融合以获得融合之后的M个维度融合特征，M为小于或等于N的正整数；
处理模块，用于根据所述N个维度的特征之中的其他未融合特征和所述M个维度融合特征进行图像处理。
根据第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的图像处理方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如第一方面所述的图像处理方法。
本申请提供的图像处理方法、装置、电子设备及存储介质，具备如下有益效果：
通过将待分类图像输入特征提取模型以生成N个维度的特征，其中，N为正整数，对N个维度的特征之中的M个特征进行维度融合以获得融合之后的M个维度融合特征，M为小于或等于N的正整数，根据N个维度的特征之中的其他未融合特征和M个维度融合特征进行图像处理，由此，在图像处理中不仅提取了图像的空间特征，还考虑了不同维度之间特征的关系，提取了各个空间特征不同维度之间的维度融合特征，从而能够提高学习效果，提高图像处理的准确率，解决了现有技术中基于图像特征的学习仅使得图像分类网络融合了空间维度上的特征，导致图像分类网络的学习效果不佳，图像分类网络的准确率不高，从而使得图像处理的准确率不高的技术问题。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的图像处理方法的流程示意图；
图2是根据本申请第二实施例的图像处理方法的流程示意图；
图3是根据本申请第三实施例的图像处理方法的流程示意图；
图4是根据本申请第四实施例的图像处理装置的结构示意图；
图5是根据本申请第五实施例的图像处理装置的结构示意图；
图6是根据本申请第六实施例的图像处理装置的结构示意图；
图7是用来实现本申请实施例的图像处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请的图像处理方法、装置、电子设备及存储介质。
现有的深度学习图像分类网络主要基于CNN来提取图像特征，再结合全连接层等组件，并采用softmax多类别分类器和多类交叉熵损失函数来进行学习，得到用于对图像进行处理的网络模型。
然而，现有的网络结构设计大多关注于图像空间的特征提取及融合，比如，高分辨率网络HRNet提出保持空间分辨率的特征融合方案，EfficientNet网络根据不同分辨率的图像设计不同的网络深度和宽度进行特征提取，深度残差网络ResNet提出跳接结构以使得网络更深更好地提取特征信息，深层聚集网络DLA实现不同卷积块、不同深度之间的特征融合，等等。上述网络结构设计的卷积操作都是使得网络在图像空间维度上更好地进行特征的提取融合，忽略了不同维度之间特征的关系，导致网络的学习效果不佳，准确率不高，从而使得图像处理的准确率不高。
针对上述问题，本申请公开了一种图像处理方法，通过将待分类图像输入特征提取模型以生成N个维度的特征，对N个维度的特征之中的M个特征进行维度融合以获得融合之后的M个维度融合特征，M为小于或等于N的正整数，根据N个维度的特征之中的其他未融合特征和M个维度融合特征进行图像处理，从而实现了在图像处理中不仅提取了图像的空间特征，还考虑了不同维度之间特征的关系，提取了各个空间特征不同维度之间的维度融合特征，从而能够提高学习效果，提高图像处理的准确率。
图1是根据本申请第一实施例的图像处理方法的流程示意图，该方法可以由本申请提出的图像处理装置执行，也可以由电子设备执行，其中，电子设备可以是服务器，也可以是台式电脑、笔记本电脑等终端设备，本申请对此不作限制。下面以本申请提出的图像处理装置执行本申请的图像处理方法作为示例来解释说明本申请。
如图1所示，该图像处理方法包括以下步骤：
步骤101，将待分类图像输入特征提取模型以生成N个维度的特征，其中，N为正整数。
本申请中，当需要对图像中包含的对象进行分类、检测、分割等处理操作时，可以将待处理图像输入对应的特征提取模型中，比如，当需要对图像中的对象进行分类时，可以将待分类图像输入用于对图像中的对象进行分类的特征提取模型中进行图像分类处理。
其中，特征提取模型可以是任一图像分类网络，比如HRNet网络、ResNet网络、EfficientNet网络等。
通常，每一种图像分类网络都有多层卷积层，用于对输入的图像在特征图上进行卷积操作，以进行特征的提取与融合，各个卷积层的输出为输入图像的空间特征。从而本申请实施例中，可以将待分类图像输入图像分类网络，以生成多个空间特征，生成的空间特征的个数比如可以记为N，N为正整数。也就是说，本申请中，可以将待分类图像输入图像分类网络中以生成N个维度的特征，N的个数与图像分类网络中卷积层的层数相关，该N个维度的特征指的是待分类图像对应的特征图在空间维度上的空间特征。
步骤102，对N个维度的特征之中的M个特征进行维度融合以获得融合之后的M个维度融合特征，M为小于或等于N的正整数。
本实施例中，获取到待分类图像的N个特征之后，可以从这N个特征中选择M个特征进行维度融合，得到M个维度融合特征，其中，M为不大于N的正整数。在选择M个特征时，可以随机地从N个特征中选取M个特征，也可以选择连续的M个特征，或者，还可以从上层卷积层选择一部分特征并从下层卷积层选取一部分特征，共选取M个特征，本申请对M个特征的选取方式不作限定。
在进行维度融合时，对于M个特征中的每个特征均进行维度融合，具体地，针对每个特征，可以根据预设的卷积核大小和预设的信道数，在该特征的维度空间上进行多次卷积和融合，得到该特征对应的维度融合特征。其中，对每个特征进行卷积和融合的次数与卷积核的大小有关。
需要说明的是，对M个特征进行维度融合以得到M个维度融合特征的详细过程将在后续实施例中给出，在此不做赘述。
步骤103，根据N个维度的特征之中的其他未融合特征和M个维度融合特征进行图像处理。
本实施例中对选取的M个特征进行维度融合得到对应的M个维度融合特征之后，可以根据剩余的N－M个未融合特征和融合后得到的M个维度融合特征进行图像处理，以完成对待分类图像的分类、检测等处理操作。
本申请实施例中，图像处理包括但不限于图像分类、图像分割或图像检测等图像处理操作中的任一种。也就是说，本申请提供的图像处理方法可以适用于分类、分割、检测等多种图像处理任务中，灵活性强、适用范围广。
以图像处理为图像分类为例，将待分类图像输入特征提取模型以生成N个维度的特征，并对N个特征中的部分或全部特征进行维度融合以获得融合后的维度融合特征，进行利用N个特征中的剩余特征和生成的维度融合特征进行图像分类处理，完成图像分类。由于维度融合特征是通过对特征的维度空间进行卷积并融合后得到的，考虑了特征不同的维度空间之间的关系，而不仅单单在特征图的图像空间上进行特征的提取与融合，因此利用维度融合特征和剩余的未融合特征进行图像分类，能够提高图像特征的学习能力和学习效果，提高图像分类的准确率。
本实施例的图像处理方法，通过将待分类图像输入特征提取模型以生成N个维度的特征，其中，N为正整数，对N个维度的特征之中的M个特征进行维度融合以获得融合之后的M个维度融合特征，M为小于或等于N的正整数，根据N个维度的特征之中的其他未融合特征和M个维度融合特征进行图像处理，由此，在图像处理中不仅提取了图像的空间特征，还考虑了不同维度之间特征的关系，提取了各个空间特征不同维度之间的维度融合特征，从而能够提高学习效果，提高图像处理的准确率。
为了更加清楚地描述前述实施例中对N个维度的特征之中的M个特征进行维度融合以获得融合之后的M个维度融合特征的具体实施过程，下面结合附图2进行详细说明。
图2是根据本申请第二实施例的图像处理方法的流程示意图。如图2所示，在如图1所示实施例的基础上，步骤102可以包括以下步骤：
步骤201，根据N个维度的特征的维度数从N个维度的特征之中选择M个特征。
本实施例中，选择待进行维度融合的M个特征时，可以根据N个维度的特征的维度数进行选择。其中，此处所述的维度数是指输出N个维度的特征的卷积层的层数。
比如，以特征提取模型为ResNet网络为例，对于ResNet网络来说，整个网络包括conv1、conv2＿x、conv3＿x、conv4＿x、conv5＿x和fc层(用于分类)，该网络包括5个卷积层，则ResNet网络生成的N个维度的特征的维度数为5。
本实施例中，根据N个维度的特征的维度数选择M个特征时，可以根据任务特点和数据的不同，采用不同的方式进行选择，本申请对M个特征的选择方式不作限定。
作为一种可能的实现方式，可以从N个特征的高层进行选择，从N个特征中选择M个高层特征。通常，低层特征学习到的更多是细节信息，高层特征学习到的更多是语义信息，而对于图像分类任务来说，更多的需要语义信息来判断图片属于哪一类，因此当图像处理为图像分类时，可以选择M个高层特征进行维度融合。仍以ResNet网络为例，可以选择conv3＿x、conv4＿x和conv5＿x这三个卷积层输出的特征作为最终选择的M个特征，以保证对M个特征进行维度融合时能够学习到更多的语义信息，从而提高图像分类的准确性。
作为另一种可能的实现方式，可以根据N个特征的维度数，将N个特征划分为第一维度范围和第二维度范围，其中，第二维度范围大于第一维度范围，分别从N个维度的特征之中的第一维度范围和第二维度范围选择M个特征。也就是说，本实现方式中，可以将N个特征划分为低层特征范围(即第一维度范围)和高层特征范围(即第二维度范围)，分别从低层特征范围和高层特征范围中进行选择，共选择M个特征。仍以ResNet网络为例，假设conv1和conv2＿x输出的特征对应于低层特征范围，conv3＿x、conv4＿x和conv5＿x输出的特征对应于高层特征范围，可以选择conv1、conv4＿x和conv5＿x这三个卷积层输出的特征作为最终选择的M个特征。由此，既选择了低层特征，又选择了高层特征，从而能够保证对M个特征进行维度融合时能够融合高低层信息，有利于细粒度识别任务的完成，保证图像细节特征识别的准确度。
步骤202，分别对M个特征进行维度融合以获得融合之后的M个维度融合特征。
本实施例中，从N个特征中提取了M个特征之后，可以分别对M个特征进行维度融合以获得对应的M个维度融合特征。
具体地，可以先对M个特征进行转换以形成M个维度特征，再对M个维度特征进行卷积以获得M个维度融合特征，完成M个特征的维度融合。
其中，对M个特征进行转换是指，对于M个特征中的每个特征，将特征的特征图维度数量与特征图大小进行转换，转换得到的特征称为维度特征。
以ResNet101网络为例，conv3＿x的特征输出为(512，28＊28)，conv4＿x的特征输出为(1024，14＊14)，conv5＿x的特征输出为(2048，7＊7)，其中，512、1024、2048代表的是特征图维度数量，28＊28、14＊14、7＊7代表的是特征图大小。假设选择的用于维度融合的M个特征为(512，28＊28)、(1024，14＊14)和(2048，7＊7)，则分别对所选的每一个特征进行转换，得到对应的维度特征分别为(28＊28，512)、(14＊14，1024)和(7＊7，2048)。
通过转换，实现了将特征图空间和维度空间进行转换，为后续在维度空间上进行卷积操作以实现维度空间的特征提取与融合奠定了基础。
接着，对M个特征进行转换形成M个维度特征之后，可以对M个维度特征进行卷积以获得M个维度融合特征。下面结合附图3对获取M个维度融合特征的具体过程进行详细描述。
图3是根据本申请第三实施例的图像处理方法的流程示意图。如图3所示，对M个维度特征进行卷积以获得M个维度融合特征，可以包括以下步骤：
步骤301，按照预设信道和预设卷积核值对M个维度特征进行第一次卷积和第二次卷积以成第一卷积结果和第二卷积结果。
其中，预设信道和预设卷积核值可以根据任务需求设定，以实现信道和卷积核值的灵活设置，提高方法的灵活性和适用性。
步骤302，对第一卷积结果和第二卷积结果进行融合以生成第i融合结果，i＝1。
步骤303，按照预设信道和预设卷积核值对第i融合结果进行卷积以形成第i+2卷积结果。
步骤304，对第一卷积结果至第i+2卷积结果进行融合以生成第i+1融合结果。
步骤305，当i小于(预设卷积核值－2)时，更新i为i＝i+1，并返回执行步骤303～步骤304。
步骤306，当i等于(预设卷积核值－2)时，将第i+1融合结果确定为M个维度融合特征。
本实施例中，对M个维度特征进行卷积以获得M个维度融合特征时，进行卷积操作的次数与进行融合操作的次数与预设卷积核值相关，为了获得较好的学习效果，预设卷积核值可以设置为不小于3，则生成维度融合特征时进行卷积操作的次数与预设卷积核值相同，进行融合操作的次数为(预设卷积核值－1)次。
以(5，4＊4)卷积为例，其中，5为信道，4＊4为卷积核大小，则对于M个维度特征中的每个维度特征，以维度特征(28＊28，512)为例，先按照预设信道和卷积核对其进行第一次卷积和第二次卷积，得到第一卷积结果和第二卷积结果，均为(5，512)，对得到的两个卷积结果进行融合，得到第一融合结果(10，512)；接着，再按照预设信道和卷积核值对第一融合结果进行卷积，得到第三卷积结果(5，512)，对三个卷积结果进行融合，得到第二融合结果为(15，512)，此时，i＝1，i的值小于(卷积核值－2＝2)，则将i的值更新为i＝i+1＝2，并且，按照预设信道和卷积核值对第二融合结果进行卷积以形成第四卷积结果，第四卷积结果为(5，512)，对四次卷积结果进行融合，得到第三融合结果为(20，512)，此时，i＝2，i的值等于(卷积核值－2)，将第三融合结果(20，512)确定为对维度特征(28＊28，512)进行维度融合得到的维度融合特征。
需要说明的是，当预设卷积核值不小于3时，可以采用上述实施过程得到M个维度特征对应的M个维度融合特征；当预设卷积核值为1时，则只需对M个维度特征进行一次卷积，无需融合，得到的卷积结果即为维度融合特征；当预设卷积核值为2时，对于每一个维度特征，对维度特征进行两次卷积得到两个卷积结果，再对两个卷积结果进行融合得到融合结果，该融合结果即为与维度特征对应的维度融合特征。
通过按照预设信道和预设卷积核值对M个维度特征进行卷积以获得M个维度融合特征，由此，充分地提取和融合了维度特征，充分学习了维度之间的关系，有利于提高图像处理效果。
本实施例的图像处理方法，通过根据N个维度的特征的维度数从N个维度的特征之中选择M个特征，分别对M个特征进行维度融合以获得融合之后的M个维度融合特征，由此，有利于根据实际任务需求选择待进行维度融合的特征，提高方法的灵活性和适用性，并通过对特征进行维度融合以获得维度融合特征，有利于充分学习不同维度之间的关系，提高学习效果和图像处理的准确率。
在实际应用中，可以将本申请提出的图像处理方法应用于网络模型的训练中，在现有的网络模型的基础上添加维度特征学习，以提高模型的学习能力，提升模型效果，再利用训练好的模型进行图像处理，比如图像分类、分割、检测等，能够提高图像处理的准确率。
以ResNet101网络为例，conv3＿x的特征输出为(512，28＊28)，conv4＿x的特征输出为(1024，14＊14)，conv5＿x的特征输出为(2048，7＊7)，对这三个特征进行维度融合，以conv3＿x为例，将(512，28＊28)转换为(28＊28，512)，以(4，3＊3)卷积为例，分别做两次卷积，得到两个(4，512)的特征，将得到的两个(4，512)融合为(8，512，)，再对(8，512，)进行一次卷积得到(4，512)，之后将三次卷积得到的(4，512)进行融合得到维度融合特征(12，512)。以此类推，分别对conv3＿x、conv4＿x和conv5＿x进行上述过程所述的特征提取与融合，得到对应的维度融合特征分别为(12，512)、(12，1024)和(12，2048)。进而将三个层提取融合得到的维度融合特征分别送入全连接层，结合损失函数对模型进行训练，经过多次迭代，得到训练好的网络模型。其中，模型训练过程为深度学习领域的现有技术，此处不作详细描述。在预测过程中，可以将三个分支的输出进行简单融合，比如将三个分支的输出进行求和或进行加权求和，得到最终的处理结果。
进而，将待处理图像输入训练好的模型中，即可得到准确的处理结果。由于训练好的模型不仅提取了图像空间特征，还充分学习了特征维度之间的关系，模型学习效果好，因此利用训练好的模型进行图像处理，能够提高图像处理的准确率。
为了实现上述实施例，本申请还提出一种图像处理装置。
图4是根据本申请第四实施例的图像处理装置的结构示意图。如图4所示，该图像处理装置40包括：特征生成模块410、融合模块420和处理模块430。其中，
特征生成模块410，用于将待分类图像输入特征提取模型以生成N个维度的特征，其中，N为正整数。
融合模块420，用于对N个维度的特征之中的M个特征进行维度融合以获得融合之后的M个维度融合特征，M为小于或等于N的正整数。
处理模块430，用于根据N个维度的特征之中的其他未融合特征和M个维度融合特征进行图像处理。
其中，图像处理包括但不限于图像分类、图像分割或图像检测等图像处理操作中的任一种。
在本申请实施例一种可能的实现方式中，如图5所示，在如图4所示实施例的基础上，融合模块420包括：
选择单元421，用于根据N个维度的特征的维度数从N个维度的特征之中选择M个特征。
作为一种可能的实现方式，选择单元421具体用于：分别从N个维度的特征之中的第一维度范围和第二维度范围选择M个特征，其中，第二维度范围大于第一维度范围。
通过从第一维度范围和第二维度范围选择M个特征，第二维度范围大于第一维度范围，由此，既选择了低层特征，又选择了高层特征，从而能够保证对M个特征进行维度融合时能够融合高低层信息，有利于细粒度识别任务的完成，保证图像细节特征识别的准确度。
融合单元422，用于分别对M个特征进行维度融合以获得融合之后的M个维度融合特征。
在本申请实施例一种可能的实现方式中，如图6所示，在如图5所示实施例的基础上，融合单元422，包括：
转换子单元4221，用于对M个特征进行转换以形成M个维度特征；
处理子单元4222，用于对M个维度特征进行卷积以获得M个维度融合特征。
本实施例中，处理子单元4222具体用于执行以下处理操作：
S1，按照预设信道和预设卷积核值对M个维度特征进行第一次卷积和第二次卷积以形成第一卷积结果和第二卷积结果；
S2，对第一卷积结果和第二卷积结果进行融合以生成第i融合结果，i＝1；
S3，按照预设信道和预设卷积核值对第i融合结果进行卷积以形成第i+2卷积结果；
S4，对第一卷积结果至第i+2卷积结果进行融合以生成第i+1融合结果；
S5，当i小于(预设卷积核值－2)时，更新i为i＝i+1，并返回执行步骤S3～S4；
S6，当i等于(预设卷积核值－2)时，将第i+1融合结果确定为M个维度融合特征。
需要说明的是，当预设卷积核值不小于3时，处理子单元4222可以执行上述处理操作得到M个维度特征对应的M个维度融合特征；当预设卷积核值为1时，则处理子单元4222只需对M个维度特征进行一次卷积，无需融合，得到的卷积结果即为维度融合特征；当预设卷积核值为2时，对于每一个维度特征，处理子单元4222对维度特征进行两次卷积得到两个卷积结果，再对两个卷积结果进行融合得到融合结果，该融合结果即为与维度特征对应的维度融合特征。
通过按照预设信道和预设卷积核值对M个维度特征进行卷积以获得M个维度融合特征，由此，充分地提取和融合了维度特征，充分学习了维度之间的关系，有利于提高图像处理效果。
本实施例的图像处理装置，通过将待分类图像输入特征提取模型以生成N个维度的特征，其中，N为正整数，对N个维度的特征之中的M个特征进行维度融合以获得融合之后的M个维度融合特征，M为小于或等于N的正整数，根据N个维度的特征之中的其他未融合特征和M个维度融合特征进行图像处理，由此，在图像处理中不仅提取了图像的空间特征，还考虑了不同维度之间特征的关系，提取了各个空间特征不同维度之间的维度融合特征，从而能够提高学习效果，提高图像处理的准确率。
根据本申请的实施例，本申请还提供了一种电子设备和一种存储有计算机指令的非瞬时计算机可读存储介质。
如图7所示，是用来实现本申请实施例的图像处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像处理方法。
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像处理方法对应的程序指令/模块(例如，附图4所示的特征生成模块410、融合模块420和处理模块430)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像处理方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据执行图像处理方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至执行图像处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
执行图像处理方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息，以及产生与执行图像处理方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端－服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过将待分类图像输入特征提取模型以生成N个维度的特征，其中，N为正整数，对N个维度的特征之中的M个特征进行维度融合以获得融合之后的M个维度融合特征，M为小于或等于N的正整数，根据N个维度的特征之中的其他未融合特征和M个维度融合特征进行图像处理，由此，在图像处理中不仅提取了图像的空间特征，还考虑了不同维度之间特征的关系，提取了各个空间特征不同维度之间的维度融合特征，从而能够提高学习效果，提高图像处理的准确率。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (9)

1.一种图像处理方法，其特征在于，包括：
将待分类图像输入特征提取模型以生成N个维度的特征，其中，N为正整数；
根据所述N个维度的特征的维度数从所述N个维度的特征之中选择M个特征，M为小于或等于N的正整数；
对所述M个特征中的每个特征，将所述每个特征的特征图维度数量与特征图大小进行转换以形成M个维度特征；
对所述M个维度特征进行卷积以获得所述M个维度融合特征；
根据所述N个维度的特征之中的其他未融合特征和所述M个维度融合特征进行图像处理。
2.如权利要求1所述的图像处理方法，其特征在于，所述根据所述N个维度的特征的维度数从所述N个维度的特征之中选择所述M个特征，包括：
分别从所述N个维度的特征之中的第一维度范围和第二维度范围选择所述M个特征，其中，所述第二维度范围大于所述第一维度范围。
3.如权利要求1所述的图像处理方法，其特征在于，所述对所述M个维度特征进行卷积以获得所述M个维度融合特征，包括：
S1，按照预设信道和预设卷积核值对所述M个维度特征进行第一次卷积和第二次卷积以形成第一卷积结果和第二卷积结果；
S2，对所述第一卷积结果和所述第二卷积结果进行融合以生成第i融合结果，i＝1；
S3，按照所述预设信道和所述预设卷积核值对所述第i融合结果进行卷积以形成第i+2卷积结果；
S4，对所述第一卷积结果至所述第i+2卷积结果进行融合以生成第i+1融合结果；
S5，当所述i小于(所述预设卷积核值－2)时，更新所述i为i＝i+1，并返回执行步骤S3～S4；
S6，当所述i等于(所述预设卷积核值－2)时，将所述第i+1融合结果确定为所述M个维度融合特征。
4.如权利要求1所述的图像处理方法，其特征在于，所述图像处理包括图像分类、图像分割或图像检测。
5.一种图像处理装置，其特征在于，包括：
特征生成模块，用于将待分类图像输入特征提取模型以生成N个维度的特征，其中，N为正整数；
融合模块，用于对所述N个维度的特征之中的M个特征进行维度融合以获得融合之后的M个维度融合特征，M为小于或等于N的正整数；
处理模块，用于根据所述N个维度的特征之中的其他未融合特征和所述M个维度融合特征进行图像处理；
所述融合模块，包括：
选择单元，用于根据所述N个维度的特征的维度数从所述N个维度的特征之中选择所述M个特征；
融合单元，用于分别对所述M个特征进行维度融合以获得融合之后的M个维度融合特征；
所述融合单元，包括：
转换子单元，用于对所述M个特征中的每个特征，将所述每个特征的特征图维度数量与特征图大小进行转换以形成M个维度特征；
处理子单元，用于对所述M个维度特征进行卷积以获得所述M个维度融合特征。
6.如权利要求5所述的图像处理装置，其特征在于，所述选择单元，具体用于：
分别从所述N个维度的特征之中的第一维度范围和第二维度范围选择所述M个特征，其中，所述第二维度范围大于所述第一维度范围。
7.如权利要求5所述的图像处理装置，其特征在于，所述处理子单元，具体用于执行以下处理操作：
S1，按照预设信道和预设卷积核值对所述M个维度特征进行第一次卷积和第二次卷积以形成第一卷积结果和第二卷积结果；
S2，对所述第一卷积结果和所述第二卷积结果进行融合以生成第i融合结果，i＝1；
S3，按照所述预设信道和所述预设卷积核值对所述第i融合结果进行卷积以形成第i+2卷积结果；
S4，对所述第一卷积结果至所述第i+2卷积结果进行融合以生成第i+1融合结果；
S5，当所述i小于(所述预设卷积核值－2)时，更新所述i为i＝i+1，并返回执行步骤S3～S4；
S6，当所述i等于(所述预设卷积核值－2)时，将所述第i+1融合结果确定为所述M个维度融合特征。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1－4中任一项所述的图像处理方法。
9.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1－4中任一项所述的图像处理方法。
CN202010309211.9A 2020-04-17 2020-04-17 图像处理方法、装置、电子设备及存储介质 Active CN111598131B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010309211.9A CN111598131B (zh) 2020-04-17 2020-04-17 图像处理方法、装置、电子设备及存储介质
EP21163339.1A EP3819824A3 (en) 2020-04-17 2021-03-18 Image processing method, apparatus, electronic device and storage medium
JP2021049222A JP7177878B2 (ja) 2020-04-17 2021-03-23 画像処理方法、画像処理装置、電子機器及び記憶媒体
KR1020210038744A KR102487260B1 (ko) 2020-04-17 2021-03-25 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
US17/213,746 US11727676B2 (en) 2020-04-17 2021-03-26 Feature fusion method and apparatus for image processing, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010309211.9A CN111598131B (zh) 2020-04-17 2020-04-17 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111598131A CN111598131A (zh) 2020-08-28
CN111598131B true CN111598131B (zh) 2023-08-25

Family

ID=72190371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010309211.9A Active CN111598131B (zh) 2020-04-17 2020-04-17 图像处理方法、装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US11727676B2 (zh)
EP (1) EP3819824A3 (zh)
JP (1) JP7177878B2 (zh)
KR (1) KR102487260B1 (zh)
CN (1) CN111598131B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215243A (zh) * 2020-10-30 2021-01-12 百度(中国)有限公司 图像特征提取方法、装置、设备及存储介质
CN113239899B (zh) * 2021-06-17 2024-05-28 阿波罗智联(北京)科技有限公司 用于处理图像和生成卷积核的方法、路侧设备和云控平台
CN113724393B (zh) * 2021-08-12 2024-03-19 北京达佳互联信息技术有限公司 三维重建方法、装置、设备及存储介质
CN113989569B (zh) * 2021-10-29 2023-07-04 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229341A (zh) * 2017-12-15 2018-06-29 北京市商汤科技开发有限公司 分类方法和装置、电子设备、计算机存储介质、程序
CN108229296A (zh) * 2017-09-30 2018-06-29 深圳市商汤科技有限公司 人脸皮肤属性识别方法和装置、电子设备、存储介质
CN108304847A (zh) * 2017-11-30 2018-07-20 腾讯科技（深圳）有限公司 图像分类方法及装置、个性化推荐方法及装置
CN108573038A (zh) * 2018-04-04 2018-09-25 北京市商汤科技开发有限公司 图像处理、身份验证方法、装置、电子设备和存储介质
CN108596154A (zh) * 2018-05-14 2018-09-28 河海大学 基于高维特征选择与多级融合的遥感图像分类方法
CN108830322A (zh) * 2018-06-15 2018-11-16 联想(北京)有限公司 一种图像处理方法及装置、设备、存储介质
CN109359696A (zh) * 2018-10-29 2019-02-19 重庆中科云丛科技有限公司 一种车款识别方法、系统及存储介质
CN110321942A (zh) * 2019-06-25 2019-10-11 华中科技大学 一种基于球形特征的细粒度图像分类方法与装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101907883B1 (ko) * 2017-05-10 2018-10-16 국방과학연구소 객체 검출 및 분류 방법
US10552664B2 (en) * 2017-11-24 2020-02-04 International Business Machines Corporation Image feature classification and localization using discriminative representations for robotic surgical control
CN107942943B (zh) * 2017-12-25 2019-12-31 北京信息科技大学 一种基于多源信息融合的高端数控装备状态识别方法
CN110276411B (zh) * 2019-06-28 2022-11-18 腾讯科技（深圳）有限公司 图像分类方法、装置、设备、存储介质和医疗电子设备
CN110348537B (zh) * 2019-07-18 2022-11-29 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US20220230282A1 (en) * 2021-01-12 2022-07-21 Samsung Electronics Co., Ltd. Image processing method, image processing apparatus, electronic device and computer-readable storage medium

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229296A (zh) * 2017-09-30 2018-06-29 深圳市商汤科技有限公司 人脸皮肤属性识别方法和装置、电子设备、存储介质
CN108304847A (zh) * 2017-11-30 2018-07-20 腾讯科技（深圳）有限公司 图像分类方法及装置、个性化推荐方法及装置
CN108229341A (zh) * 2017-12-15 2018-06-29 北京市商汤科技开发有限公司 分类方法和装置、电子设备、计算机存储介质、程序
CN108573038A (zh) * 2018-04-04 2018-09-25 北京市商汤科技开发有限公司 图像处理、身份验证方法、装置、电子设备和存储介质
CN108596154A (zh) * 2018-05-14 2018-09-28 河海大学 基于高维特征选择与多级融合的遥感图像分类方法
CN108830322A (zh) * 2018-06-15 2018-11-16 联想(北京)有限公司 一种图像处理方法及装置、设备、存储介质
CN109359696A (zh) * 2018-10-29 2019-02-19 重庆中科云丛科技有限公司 一种车款识别方法、系统及存储介质
CN110321942A (zh) * 2019-06-25 2019-10-11 华中科技大学 一种基于球形特征的细粒度图像分类方法与装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘峰等."特征融合的卷积神经网络多波段舰船目标识别".《光学学报》.2017,248-256. *

Also Published As

Publication number Publication date
US20210232856A1 (en) 2021-07-29
CN111598131A (zh) 2020-08-28
US11727676B2 (en) 2023-08-15
EP3819824A3 (en) 2021-09-29
EP3819824A2 (en) 2021-05-12
JP7177878B2 (ja) 2022-11-24
KR20210040883A (ko) 2021-04-14
KR102487260B1 (ko) 2023-01-10
JP2021103558A (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
CN111598131B (zh) 图像处理方法、装置、电子设备及存储介质
CN112241764B (zh) 图像识别方法、装置、电子设备及存储介质
CN111539514B (zh) 用于生成神经网络的结构的方法和装置
CN110909877B (zh) 神经网络模型结构搜索方法、装置、电子设备及存储介质
CN111753961B (zh) 模型训练方法和装置、预测方法和装置
US11914964B2 (en) Method and apparatus for training semantic representation model, device and computer storage medium
CN111275190B (zh) 神经网络模型的压缩方法及装置、图像处理方法及处理器
CN112150462B (zh) 确定目标锚点的方法、装置、设备以及存储介质
CN112001180A (zh) 多模态预训练模型获取方法、装置、电子设备及存储介质
CN111507355B (zh) 一种字符识别方法、装置、设备和存储介质
KR20210037623A (ko) 차량 재인식 방법, 장치, 기기 및 저장매체
CN112149741B (zh) 图像识别模型的训练方法、装置、电子设备及存储介质
CN111967297B (zh) 图像的语义分割方法、装置、电子设备及介质
CN110826696A (zh) 超网络的搜索空间构建方法、装置以及电子设备
KR20220014865A (ko) 비디오 이벤트 인식 방법, 장치, 전자 기기 및 기록 매체
CN111709428A (zh) 图像中关键点位置的识别方法、装置、电子设备及介质
CN112508964B (zh) 图像分割方法、装置、电子设备和存储介质
CN112580723B (zh) 多模型融合方法、装置、电子设备和存储介质
CN111488972B (zh) 数据迁移方法、装置、电子设备和存储介质
CN110598629B (zh) 超网络的搜索空间构建方法、装置以及电子设备
CN111833391A (zh) 图像深度信息的估计方法及装置
CN112558810B (zh) 检测指尖位置的方法、装置、设备和存储介质
CN112053362B (zh) 图像分割方法、装置、电子设备及存储介质
CN112183484B (zh) 一种图像处理方法、装置、设备以及存储介质
CN113160044B (zh) 深度图像超分辨率方法、训练方法及装置、设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant