CN111652330A - 图像处理方法、装置、系统、电子设备及可读存储介质 - Google Patents

图像处理方法、装置、系统、电子设备及可读存储介质 Download PDF

Info

Publication number
CN111652330A
CN111652330A CN202010775325.2A CN202010775325A CN111652330A CN 111652330 A CN111652330 A CN 111652330A CN 202010775325 A CN202010775325 A CN 202010775325A CN 111652330 A CN111652330 A CN 111652330A
Authority
CN
China
Prior art keywords
channel
feature map
point
output
characteristic diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010775325.2A
Other languages
English (en)
Other versions
CN111652330B (zh
Inventor
孙彬
赵明国
熊友军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Priority to CN202010775325.2A priority Critical patent/CN111652330B/zh
Publication of CN111652330A publication Critical patent/CN111652330A/zh
Application granted granted Critical
Publication of CN111652330B publication Critical patent/CN111652330B/zh
Priority to PCT/CN2020/140923 priority patent/WO2022027917A1/zh
Priority to US17/388,043 priority patent/US20220044370A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本申请提出一种图像处理方法、装置、系统、电子设备及可读存储介质，涉及计算机技术领域。通过并行的逐点卷积运算和非逐点运算对待处理的多通道特征图进行处理，获得多通道第一输出特征图和多通道第二输出特征图，非逐点卷积用于描述各通道的空间特征和特征图之间的信息交换；然后对多通道第一输出特征图及多通道第二输出特征图进行融合处理，得到多通道第三输出特征图。通过上述方式获得的多通道第三输出特征图，既涉及了多通道特征图中各通道的空间特征和特征图之间的信息交换，也涉及了多通道特征图中特征图每个点的特征以及通道之间的信息交换，因而提高了作为输出的特征图的特征表达能力。

Description

图像处理方法、装置、系统、电子设备及可读存储介质
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种图像处理方法、装置、系统、电子设备及可读存储介质。
背景技术
随着深度学习的发展，越来越多领域都会采用通过神经网络基于图像获得特征图的方式来获取图像特征，然后利用图像特征进行动作识别、人脸识别等。由此可知，若获得的作为输出的特征图对图像的特征表达能力不佳，则会导致后续的识别结果不佳。因此，如何提高作为输出的特征图的特征表达能力已成为本领域技术人员亟需解决的技术问题。
发明内容
有鉴于此，本申请的目的在于提供一种图像处理方法、装置、系统、电子设备及可读存储介质，其能够提高作为输出的特征图的特征表达能力。
为了实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供一种图像处理方法，所述方法包括：
获得待处理的多通道特征图；
通过并行的逐点卷积运算和非逐点运算对所述多通道特征图进行处理，获得多通道第一输出特征图和多通道第二输出特征图，其中，非逐点卷积用于描述各通道的空间特征和特征图之间的信息交换；
对所述多通道第一输出特征图及多通道第二输出特征图进行融合处理，得到多通道第三输出特征图。
在可选的实施方式中，所述通过并行的逐点卷积运算和非逐点运算对所述多通道特征图进行处理，获得多通道第一输出特征图和多通道第二输出特征图，包括：
对所述多通道特征图进行逐点卷积运算，得到所述多通道第一输出特征图；
对所述多通道特征图进行非逐点卷积运算，得到所述多通道第二输出特征图；
所述对所述多通道第一输出特征图及多通道第二输出特征图进行融合处理，得到多通道输出特征图，包括：
对所述多通道第一输出特征图及多通道第二输出特征图进行累加运算，得到所述多通道输出特征图。
在可选的实施方式中，所述多通道特征图在通道维度分为第一部分多通道特征图及第二部分多通道特征图，所述通过并行的逐点卷积运算和非逐点运算对所述多通道特征图进行处理，获得多通道第一输出特征图和多通道第二输出特征图，包括：
对所述第一部分多通道特征图进行逐点卷积运算，得到所述多通道第一输出特征图；
对所述第二部分多通道特征图进行非逐点卷积运算，得到所述多通道第二输出特征图；
所述对所述多通道第一输出特征图及多通道第二输出特征图进行融合处理，得到多通道输出特征图，包括：
对所述多通道第一输出特征图及多通道第二输出特征图进行通道重组运算，得到所述多通道第三输出特征图。
在可选的实施方式中，非逐点卷积运算为自适应线性运算，所述进行非逐点卷积运算，得到所述多通道第二输出特征图，包括：
根据待进行非逐点卷积运算的多个通道特征图的通道数及所述多通道第二输出特征图的通道数，在通道维度对所述多个通道特征图进行分组，并对每个特征图组进行线性运算，得到所述多通道第二输出特征图。
在可选的实施方式中，若第一比值为正整数，其中，所述第一比值为所述多个通道特征图的通道数与所述多通道第二输出特征图的通道数之比，所述根据待进行非逐点卷积运算的多个通道特征图的通道数及所述多通道第二输出特征图的通道数，在通道维度对所述多个通道特征图进行分组，并对每个特征图组进行线性运算，得到所述多通道第二输出特征图，包括：
按照所述第一比值在通道维度将所述多个通道特征图平均分为多个特征图组，其中，每个特征图组中特征图的数量为所述第一比值；
针对每个特征图组，对该特征图组中各通道对应的特征图分别进行线性运算，并将该特征图组的线性运算结果的累加和作为该特征图组对应的一第二输出特征图。
在可选的实施方式中，若第二比值为正整数，所述第二比值为所述多通道第二输出特征图的通道数与所述多个通道特征图的通道数之比，所述根据待进行非逐点卷积运算的多个通道特征图的通道数及所述多通道第二输出特征图的通道数，在通道维度对所述多个通道特征图进行分组，并对每个特征图组进行线性运算，得到所述多通道第二输出特征图，包括：
在通道维度将所述多个通道特征图平均分为多个特征图组，其中，每个特征图组中特征图的数量为1；
针对各特征图组，对该特征图组中的特征图进行多次线性运算，并将该特征图对应的多个线性运算结果作为该特征图对应的多个通道的第二输出特征图，其中，对一个特征图组中的特征图进行线性运算的次数为所述第二比值。
在可选的实施方式中，若第一比值及第二比值均不为正整数，其中，所述第一比值为所述多个通道特征图的通道数与所述多通道第二输出特征图的通道数之比，所述第二比值为所述多通道第二输出特征图的通道数与所述多个通道特征图的通道数之比，所述根据待进行非逐点卷积运算的多个通道特征图的通道数及所述多通道第二输出特征图的通道数，在通道维度对所述多个通道特征图进行分组，并对每个特征图组进行线性运算，得到所述多通道第二输出特征图，包括：
获得所述多个通道特征图的通道数和所述多通道第二输出特征图的通道数的公约数；
将其中一个公约数作为目标公约数；
根据所述目标公约数在通道维度对所述多个通道特征图及所述多通道第二输出特征图进行分组，其中，每个特征图组中特征图的数量为多个，每个第二输出特征图组中第二输出特征图的数量为多个，组的数量为所述目标公约数；
针对每个特征图组，对该特征图组分别进行多次线性运算，得到该特征图组对应的第二输出特征图组。
第二方面，本申请实施例提供一种图像处理装置，所述图像处理装置包括：
获得子单元，用于获得待处理的多通道特征图；
处理子单元，用于通过并行的逐点卷积运算和非逐点运算对所述多通道特征图进行处理，获得多通道第一输出特征图和多通道第二输出特征图，其中，非逐点卷积用于描述通道的空间特征和特征图之间的信息交换；
融合子单元，用于对所述多通道第一输出特征图及多通道第二输出特征图进行融合处理，得到多通道输出特征图。
第三方面，本申请实施例提供一种图像处理系统，所述图像处理系统包括网络模型，所述网络模型中包括前述实施方式所述的图像处理装置。
在可选的实施方式中，所述网络模型为姿态估计模型，所述姿态估计模型包括依次连接的预处理网络、主体网络以及回归器，
所述预处理网络，用于对输入图像进行预处理，得到输入特征图；
所述主体网络，用于对输入特征图进行处理，得到输出特征图，其中，所述主体网络包括基本单元、交换单元以及残差单元，所述交换单元中输入输出特征图分辨率相同部分对应的卷积单元、基本单元中的卷积单元、残差单元中两个大小相同的卷积单元之间的卷积单元中的至少一个卷积单元为所述图像处理装置；
所述回归器，用于将所述输出特征图转换为位置热图，并根据所述位置热图确定关节点的位置。
第四方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式中任意一项所述的图像处理方法。
第五方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任意一项所述的图像处理方法。
本申请实施例提供的图像处理方法、装置、系统、电子设备及可读存储介质，在获得待处理的多通道特征图后，通过并行的逐点卷积运算和非逐点运算对所述多通道特征图进行处理，获得多通道第一输出特征图和多通道第二输出特征图；然后对得到的多通道第一输出特征图及多通道第二输出特征图进行融合处理，得到多通道第三输出特征图。其中，非逐点卷积用于描述各通道的空间特征和特征图之间的信息交换。由此，使得获得的多通道第三输出特征图，既涉及了多通道特征图中各通道的空间特征和特征图之间的信息交换，也涉及了多通道特征图中特征图每个点的特征以及通道之间的信息交换，因而使得该多通道第三输出特征图包含了更多的特征信息，提高了作为输出的特征图的特征表达能力；同时通过采用并行计算，可避免延长得到多通道第三输出特征图的时间。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本申请实施例提供的电子设备的方框示意图；
图2是本申请实施例提供的图像处理方法的流程示意图；
图3是本申请实施例提供的对多通道特征图进行处理的示意图之一；
图4是本申请实施例提供的对多通道特征图进行处理的示意图之二；
图5是本申请实施例提供的对待进行非逐点卷积运算的多个通道特征图进行自适应线性运算的示意图；
图6是本申请实施例提供的图像处理装置的方框示意图；
图7是HRNet的结构示意图；
图8是图7中多分辨率块的举例示意图；
图9是本申请实施例提供的姿态估计模型中交换单元、基本单元及残差单元的示意图。
图标：100-电子设备；110-存储器；120-处理器；130-通信单元；200-图像处理装置；210-获得子单元；220-处理子单元；230-融合子单元。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
请参照图1，图1是本申请实施例提供的电子设备100的方框示意图。本申请实施例中所述电子设备100可以是，但不限于，台式电脑、平板电脑、服务器等。所述电子设备100可以包括存储器110、处理器120及通信单元130。所述存储器110、处理器120以及通信单元130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，存储器110用于存储程序或者数据。所述存储器110可以是，但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-Only Memory，PROM），可擦除只读存储器（ErasableProgrammable Read-Only Memory，EPROM），电可擦除只读存储器（Electric ErasableProgrammable Read-Only Memory，EEPROM）等。
处理器120用于读/写存储器110中存储的数据或程序，并执行相应地功能。比如，存储器110中存储有图像处理装置200，所述图像处理装置200包括至少一个可以软件或固件（firmware）的形式存储于所述存储器110中的软件功能模块。所述处理器120通过运行存储在存储器110内的软件程序以及模块，如本申请实施例中的图像处理装置200，从而执行各种功能应用以及数据处理，即实现本申请实施例中的图像处理方法。
通信单元130用于通过网络建立所述电子设备100与其它通信终端之间的通信连接，并用于通过所述网络收发数据。
应当理解的是，图1所示的结构仅为电子设备100的结构示意图，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2，图2是本申请实施例提供的图像处理方法的流程示意图。所述方法可应用于上述电子设备100。下面对图像处理方法的具体流程进行详细阐述。
步骤S110，获得待处理的多通道特征图。
步骤S120，通过并行的逐点卷积运算和非逐点运算对所述多通道特征图进行处理，获得多通道第一输出特征图和多通道第二输出特征图。
其中，非逐点卷积用于描述各通道的空间特征和特征图之间的信息交换。
步骤S130，对所述多通道第一输出特征图及多通道第二输出特征图进行融合处理，得到多通道第三输出特征图。
在本实施例中，在得到待处理的多通道特征图后，采用并行的逐点卷积运算和非逐点运算对该多通道特征图进行处理，从而得到多通道第一输出特征图和多通道第二输出特征图。其中，所述多通道第一输出特征图是通过逐点卷积运算得到的，所述多通道第二输出特征图是通过非逐点卷积运算得到的。最后将得到的所述多通道第一输出特征图及多通道第二输出特征图进行融合，得到多通道第三输出特征图。
在得到多通道第三输出特征图的过程中，利用逐点卷积来描述每个点的特征以及输入通道之间的信息交换，利用非逐点卷积来描述每个输入通道的空间特征和几个输入的特征图之间的信息交换。也即，获得的多通道第三输出特征图，既涉及了多通道特征图中各通道的空间特征和特征图之间的信息交换，也涉及了多通道特征图中特征图每个点的特征以及通道之间的信息交换。同时，上述两种运算处理为并行的。由此，得到的多通道第三输出特征图包含了更多的特征信息，从而提高了作为输出的特征图的特征表达能力，避免由于仅考虑某一方面信息导致出现有效信息未被提取作为特征的情况；同时不会延长得到多通道第三输出特征图的时间。
例如，若只对待处理的多通道特征图进行了非逐点卷积处理，并将处理结果作为多通道第三输出特征图，且该非逐点卷积用于描述每个输入通道的空间特征和几个输入的特征图之间的信息交换，那么该处理方式就忽略了多通道特征图中每个通道的特征图中每个点的特征以及输入通道之间的信息交换。然而，被忽略的被认为是冗余信息的信息可以对待处理的多通道特征图有更好的理解。因此，通过本方案可以提高多通道第三输出特征图对待处理的多通道特征图的特征表达能力。
可选地，在本实施例中，可以通过接收其他设备发送的多通道特征图或对输入图像进行处理等方式获得多通道特征图。
请参照图3，图3是本申请实施例提供的对多通道特征图进行处理的示意图之一。其中，图3中的PWC表示逐点卷积，非PWC表示非逐点卷积。在本实施例的一种实施方式中，可通过如下方式获得所述多通道第一输出特征图、多通道第二输出特征图以及多通道第三输出特征图。
在得到所述多通道特征图后，对所述多通道特征图进行逐点卷积运算，得到所述多通道第一输出特征图，对所述多通道特征图进行非逐点卷积运算，得到所述多通道第二输出特征图。也即，逐点卷积及非逐点卷积处理的对象完全相同。然后，对所述多通道第一输出特征图及多通道第二输出特征图进行累加运算，也即进行“Add”处理，从而得到所述多通道第三输出特征图。
其中，上述的累加运算，是指将多个输出特征图针对相同像素点进行加法运算。比如，多通道第一输出特征图中的特征图A1对应了所述多通道特征图中的特征图1~3，多通道第二输出特征图中的特征图B1对应了所述多通道特征图中的特征图1~3，则将特征图A1与特征图B1针对相同像素点进行累加，以实现特征图A1与特征图B1的融合，融合得到的特征图即为一个通道的第三输出特征图。
请参照图4，图4是本申请实施例提供的对多通道特征图进行处理的示意图之二。其中，图4中的Split表示分组，Shuffle表示重组。在本实施例的另一种实施方式中，可通过如下方式获得所述多通道第一输出特征图、多通道第二输出特征图以及多通道第三输出特征图。
所述多通道特征图在通道维度分为第一部分多通道特征图及第二部分多通道特征图。可选地，第一部分多通道特征图和第二部分多通道特征图各自包括的特征图数量可以相同，也可以不同，也即，所述多通道特征图在通道维度的划分方式可以是平均分，也可以是不平均分。若为平均分，则意味将所述多通道特征图在通道维度平均分为第一部分多通道特征图和第二部分多通道特征图。
可选地，作为一种实施方式，在获得所述多通道特征图时，该多通道特征图就是分为两部分的第一部分多通道特征图及第二部分多通道特征图。作为另一种实施方式，也可以是在获得所述多通道特征图后，在进行逐点卷积运算和非逐点运算之前，将所述多通道特征图分为两部分，进而得到所述第一部分多通道特征图和第二部分多通道特征图。可选地，可以通过预先设置的通道分离算子将所述多通道特征图分为所述第一部分多通道特征图及第二部分多通道特征图。
对所述第一部分多通道特征图进行逐点卷积运算，得到所述多通道第一输出特征图；对所述第二部分多通道特征图进行非逐点卷积运算，得到所述多通道第二输出特征图；也即，逐点卷积及非逐点卷积处理的对象不相同。然后，对所述多通道第一输出特征图及多通道第二输出特征图进行通道重组运算，得到所述多通道第三输出特征图。
其中，在获得所述多通道第一输出特征图及多通道第二输出特征图后，可先将所述多通道第一输出特征图及多通道第二输出特征图以“Concat”方式进行通道合并，然后，再进行“Shuffle”处理，即进行通道混洗处理，从而得到所述多通道第三输出特征图。
可选地，在本实施例中，非逐点卷积运算可以为常规的卷积运算中的深度卷积运算、组卷积运算、扩展卷积运算、反卷积运算以及卷积核大小不为1乘1的标准卷积运算中的任意一种。
可选地，在本实施例中，所述非逐点卷积运算还可以为自适应线性运算。在采用自适应线性运算时，可通过如下方式获得所述多通道第二输出特征图：根据待进行非逐点卷积运算的多个通道特征图的通道数及所述多通道第二输出特征图的通道数，在通道维度对所述多个通道特征图进行分组，并对每个特征图组进行线性运算，得到所述多通道第二输出特征图。
其中，待进行非逐点卷积运算的所述多个通道特征图由非逐点卷积运算针对的对象确定。如图3所示，在逐点卷积及非逐点卷积处理的对象完全相同时，所述多个通道特征图即为待处理的所述多通道特征图。如图4所示，在逐点卷积及非逐点卷积处理的对象不相同时，所述多个通道特征图即为所述第二部分多通道特征图。
在进行自适应线性运算时，可先获得第一比值及第二比值，然后判断第一比值或第二比值是否为正整数，并根据为正整数的比值，在通道维度对所述多个通道特征图进行分组。其中，所述第一比值为所述多个通道特征图的通道数与所述多通道第二输出特征图的通道数之比，所述第二比值为所述多通道第二输出特征图的通道数与所述多个通道特征图的通道数之比。
在本实施例的一种实施方式中，若所述第一比值为正整数，可按照所述第一比值在通道维度将所述多个通道特征图平均分为多个特征图组。其中，每个特征图组中特征图的数量为所述第一比值。然后，针对每个特征图组，对该特征图组中各通道对应的特征图分别进行线性运算，并将该特征图组的线性运算结果的累加和作为该特征图组对应的一第二输出特征图。
该计算方式可用如下公式表示：
Figure DEST_PATH_IMAGE001
（1）
其中，
Figure DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE003
表示待进行非逐点卷积运算的多个通道特征 图，
Figure DEST_PATH_IMAGE004
表示待处理的多通道特征图中第
Figure DEST_PATH_IMAGE005
个通道的特征图，
Figure DEST_PATH_IMAGE006
表示第二输出特征图，
Figure DEST_PATH_IMAGE007
表示第
Figure DEST_PATH_IMAGE008
个通道的第二输出特征图，
Figure DEST_PATH_IMAGE009
表示各通道第二输出特征图对应的线性运算，
Figure DEST_PATH_IMAGE010
表示待处理的多通道特征图的通道数，
Figure DEST_PATH_IMAGE011
表示多通道第二输出特征图的通道数。对上述计 算公式而言，可以理解为
Figure 662152DEST_PATH_IMAGE003
表示输入特征图，
Figure DEST_PATH_IMAGE012
表示输出特征图，
Figure 907188DEST_PATH_IMAGE010
表示输入通道数，
Figure 218084DEST_PATH_IMAGE011
表示输出通道数。
当所述第一比值为正整数时，即所述多个通道特征图的通道数与所述多通道第二 输出特征图的通道数之比为正整数时，基于
Figure 347714DEST_PATH_IMAGE009
对所述多个通道特征图中的
Figure DEST_PATH_IMAGE013
个通道特征 图分别进行线性运算，并将线性运算结果的和作为第
Figure 489982DEST_PATH_IMAGE008
个通道的第二输出特征图
Figure DEST_PATH_IMAGE014
。其 中，第二输出特征图
Figure DEST_PATH_IMAGE015
是通过对所述多个通道特征图中的
Figure 610647DEST_PATH_IMAGE013
个通道特征图的处理得到 的。
可选地，上述线性运算可通过仿射变换、小波变换等方法实现。此外，卷积是一种高效的操作，已经受到很好地硬件支持，可以覆盖很多广泛使用的线性操作，因此也可以使用深度可分离卷积来实现上述线性运算，也即，上述自适应线性运算可以为自适应卷积运算（Adaptive Convolution，AC）。
下面以通过深度可分离卷积实现线性运算为例，对上述实施方式进行举例说明。
假设所述多个通道特征图为
Figure DEST_PATH_IMAGE016
，所述多通道第二输出特征图为
Figure DEST_PATH_IMAGE017
，有6个卷积核
Figure DEST_PATH_IMAGE018
。所述多个通道特征图的通道数与多通道第二输出特征图的通 道数之比为2。
按照2在通道维度将多个通道特征图划分为6个特征图组：
Figure DEST_PATH_IMAGE019
；
Figure DEST_PATH_IMAGE020
Figure DEST_PATH_IMAGE021
、
Figure DEST_PATH_IMAGE022
。每个特征图组中包 括2个通道特征图。
特征图
Figure DEST_PATH_IMAGE023
分别基于卷积核
Figure DEST_PATH_IMAGE024
计算后，可得到两个计算结果图，将两个计 算结果图的累计加作为特征图
Figure 891062DEST_PATH_IMAGE023
对应的第二输出特征图
Figure DEST_PATH_IMAGE025
。根据特征图
Figure DEST_PATH_IMAGE026
以及卷积核
Figure DEST_PATH_IMAGE027
，可以相同方式计算得到特征图
Figure 683438DEST_PATH_IMAGE026
对应的第二输出特征图
Figure DEST_PATH_IMAGE028
。以 此类推，可再计算得到第二输出特征图
Figure DEST_PATH_IMAGE029
。由此，可得到多通道第二输出特征图
Figure DEST_PATH_IMAGE030
。
在本实施例的另一种实施方式中，若所述第二比值为正整数，可在通道维度将所述多个通道特征图平均分为多个特征图组。其中，每个特征图组中特征图的数量为1。针对各特征图组，对该特征图组中的特征图进行多次线性运算，并将该特征图对应的多个线性运算结果作为该特征图对应的多个通道的第二输出特征图。其中，对一个特征图组中的特征图进行线性运算的次数为所述第二比值。
该计算方式可用如下公式表示：
Figure DEST_PATH_IMAGE031
（2）
关于该公式的字符说明可参照对公式（1）中的字符说明。
当所述第二比值为正整数时，即所述多通道第二输出特征图的通道数与所述多个 通道特征图的通道数之比为正整数时，基于
Figure 680213DEST_PATH_IMAGE009
对所述多个通道特征图中的每一个通道特 征图分别进行
Figure 971779DEST_PATH_IMAGE013
次线性运算，从而针对每个通道特征图生成
Figure 460529DEST_PATH_IMAGE013
个第二输出特征图。
可选地，上述线性运算可通过仿射变换、小波变换等方法实现。此外，也可以使用深度可分离卷积来实现上述线性运算。
对于标准的卷积层，假设输入特征图的大小为
Figure DEST_PATH_IMAGE032
，其中，
Figure DEST_PATH_IMAGE033
表示 输入特征图的高度，
Figure DEST_PATH_IMAGE034
表示输入特征图的宽度，
Figure DEST_PATH_IMAGE035
表示输入通道的数量。假设输出通道 特征图的大小为
Figure DEST_PATH_IMAGE036
，其中，
Figure DEST_PATH_IMAGE037
表示输出特征图的高度，
Figure DEST_PATH_IMAGE038
表示输出特 征图的宽度，
Figure DEST_PATH_IMAGE039
表示输出通道的数量。这样，每一个卷积核的大小为
Figure DEST_PATH_IMAGE040
。因 此，总计算开销为：
Figure DEST_PATH_IMAGE041
（3）
深度卷积和组卷积等卷积运算可有效地减少FLOPs。其中，组卷积是对输入特征图进行分组，然后分别对每组进行卷积。但是，这种卷积需要设置一个分组参数G。如果不同的卷积层使用相同的参数G，对于具有较多通道的特征图，每个组中会有更多的通道，这可能会导致每组的卷积效率更低。当组的个数等于输入通道数、并且输出通道数和输入通道时，组卷积就变成了深度卷积，虽然进一步减少了FLOPs，但是，由于深度卷积不能改变通道的数量，所以会跟随一个点卷积，这样会增加延迟。
而本方案中上述采用第一比值及第二比值得到所述多通道第二输出特征图的方 式，不需要像普通的分组卷积那样需要人为手动设置每一层的参数，也不需要像深度卷积 一样约束输入通道数和输出通道数相同。本方案的上述方式，可以自适应地从一个特征图 生成多个特征图，也可以自适应地将多个特征图合并成一个特征图。这样，
Figure DEST_PATH_IMAGE042
个输入特征 图就可以自适应的生成
Figure DEST_PATH_IMAGE043
个输出特征图（如图5所示）。自适应卷积的计算量为：
Figure DEST_PATH_IMAGE044
（4）
由此可知，本方案中采用第一比值及第二比值得到所述多通道第二输出特征图的方式，具有减少计算量的效果。
在本实施例的另一种实施方式中，若第一比值及第二比值均不为正整数，即所述第一比值为所述多个通道特征图的通道数与所述多通道第二输出特征图的通道数之比、所述第二比值为所述多通道第二输出特征图的通道数与所述多个通道特征图的通道数之比，均不为正整数，还可以按照以下方式通过对所述多个通道特征图进行分组，然后计算得到所述多通道第二输出特征图。
获得所述多个通道特征图的通道数和所述多通道第二输出特征图的通道数的公约数。然后，将其中一个公约数作为目标公约数。可选地，可以任意一个公约数作为目标公约数，或者选择最大公约数作为目标公约数，当然可以以其他方式选出目标公约数。在本实施例的一种方式中，目标公约数为最大公约数。
根据所述目标公约数在通道维度对所述多个通道特征图及所述多通道第二输出特征图进行分组。其中，每个特征图组中特征图的数量为多个，每个第二输出特征图组中第二输出特征图的数量为多个。组的数量为所述目标公约数。针对每个特征图组，对该特征图组分别进行多次线性运算，得到该特征图组对应的第二输出特征图组。
比如，目标公约数为b，则将所述多个通道特征图及所述多通道第二输出特征图进行分成b组。根据一个特征图组得到该特征图组对应的第二输出特征图组的方式与组卷积中分组后的计算方式类似。比如，利用卷积运算实现上述线性运算，一个特征图组中包括4个特征图，一个第二输出特征图组中包括3个第二输出特征图，该特征图组对应的卷积核组中包括了卷积核1、2、3，在获得该特征图组对应的第二输出特征图组时，可通过如下方式实现：根据卷积核1及该特征图组中的4个特征图，得到一个第二输出特征图；根据卷积核2及该特征图组中的4个特征图，再次得到一个第二输出特征图；根据卷积核3及该特征图组中的4个特征图，计算得到第三个第二输出特征图。
自适应线性运算可以很好地描述组内的信息交换，能够有效地减少参数量和FLOPs。由于特征图中的冗余信息可以对输入数据有更好的理解，因此本申请实施例还通过逐点卷积保留特征图中的一些冗余信息，从而避免当仅使用自适应线性运算时会出现的缺乏组间信息通信的情况。由此，本申请实施例通过采用并行的逐点卷积运算及非逐点卷积运算对待处理的多通道特征图进行处理，从而提高得到的多通道第三输出特征图的特征表达能力，同时只使用了少量的FLOPs和参数。
其中，标准卷积与本申请中采用式（4）得到多通道第三输出特征图的计算量的比为：
Figure DEST_PATH_IMAGE045
（5）
当
Figure DEST_PATH_IMAGE046
时，标准卷积与本申请中采用公式（4）得到多通道第三输出特 征图的计算量的比还可以表示为：
Figure DEST_PATH_IMAGE047
（6）
由此可知，本申请实施例减少了计算量及参数。
当本申请实施例是在第一部分多通道特征图的通道与第二部分多通道特征图的 通道数相同、且
Figure 69978DEST_PATH_IMAGE046
的情况下，通过公式（4）对应的自适应卷积以及通道重 组获得多通道第三输出特征图时，标准卷积与本申请实施例的计算量比为：
Figure DEST_PATH_IMAGE048
（7）
在非逐点运算为式（4）对应的自适应卷积、且
Figure DEST_PATH_IMAGE049
时，未通过通道重 组得到多通道第三输出特征图的计算量与在通道等分并通过通道重组得到多通道第三输 出特征图的计算量比为：
Figure DEST_PATH_IMAGE050
（8）
由公式（8）可知，通过通道重组对应的方式得到多通道第三输出特征图，可加快得到多通道第三输出特征图的速度。对比图3和图4可知，将“Add”操作替换为“Split”、“Concat”和“Shuffle”，可以进一步减少FLOPs，并保持通道之间的信息交换。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种图像处理装置200的实现方式，可选地，该图像处理装置200可以采用上述图1所示的电子设备100的器件结构。进一步地，请参照图6，图6是本申请实施例提供的图像处理装置200的方框示意图。需要说明的是，本实施例所提供的图像处理装置200，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。所述图像处理装置200可应用于电子设备100。所述图像处理装置200可以方便地代替标准的卷积单元，而不需要改变网络架构。也即，可以现有神经网络结构中的标准卷积或其他卷积替换为所述图像处理装置200。该图像处理装置200具有即插即用的特点。该图像处理装置200可以包括获得子单元210、处理子单元220及融合子单元230。
所述获得子单元210，用于获得待处理的多通道特征图。
所述处理子单元220，用于通过并行的逐点卷积运算和非逐点运算对所述多通道特征图进行处理，获得多通道第一输出特征图和多通道第二输出特征图。其中，非逐点卷积用于描述通道的空间特征和特征图之间的信息交换。
所述融合子单元230，用于对所述多通道第一输出特征图及多通道第二输出特征图进行融合处理，得到多通道输出特征图。
可选地，上述子单元可以软件或固件（Firmware）的形式存储于图1所示的存储器110中或固化于该电子设备100的操作系统（Operating System，OS）中，并可由图1中的处理器120执行。同时，执行上述子单元所需的数据、程序的代码等可以存储在存储器110中。
现有的图像处理系统中一般都会使用模型对图像进行处理。在实际应用中部署模型时，需要考虑模型的参数、浮点运算以及延迟。但是模型的压缩不可避免地会导致精度的损失。因此，如何平衡模型的精度和效率是一个迫切需要解决的问题。
针对该问题，一些量化、剪枝等方法可以有效解决。基于量化的方法可以减少计算中的冗余。然而，在推理过程中，需要将共享的权重恢复到原来的位置，因此无法节约运行内存。基于剪枝的方法可以减少预训练模型中的冗余连接，然而，找到最佳性能需要大量的工作。
还有一些方法使用高效的卷积运算来设计一种高效的结构。AlexNet首先提出了组卷积，它将模型分布在两个GPU（Graphics Processing Unit，图形处理器）上。深度卷积作为一种特殊的形式，在Xception中首先提出，并在MobileNet中得到了很好的应用。深度卷积需要相同的输入和输出通道，因此1×1卷积通常在深度卷积层之前或之后添加。在这种情况下，不可避免地要将一个卷积层分解为两个或三个串联的层。例如，MobileNet将每一层分成两层，首先使用深度卷积，然后使用点卷积。该方式虽然减少了参数和FLOPs，但是会产生延迟。
针对以上情况，本申请实施例还提供一种图像处理系统，所述图像处理系统中包括网络模型，所述网络模型中包括所述的图像处理装置200。所述图像处理装置200可以自适应地获得期望大小的输出特征图，并提高输出特征图的特征表达能力，同时不会增加延迟，还具有能够减少FLOPs和参数量的特点。由此，可提高图像处理系统的处理速度，并保证处理结果的质量。其中，所述网络模型可以是，但不限于，姿态估计模型、其他模型。
在本实施例的一种实施方式中，所述网络模型为姿态估计模型，所述姿态估计模型包括依次连接的预处理网络、主体网络以及回归器。所述预处理网络，用于对输入图像进行预处理，得到输入特征图。所述主体网络，用于对输入特征图进行处理，得到输出特征图，其中，所述主体网络包括基本单元、交换单元以及残差单元，所述交换单元中输入输出特征图分辨率相同部分对应的卷积单元、基本单元中的卷积单元、残差单元中两个大小相同的卷积单元之间的卷积单元中的至少一个卷积单元为所述图像处理装置200。所述回归器，用于将所述输出特征图转换为位置热图，并根据所述位置热图确定关节点的位置。
可选地，所述预处理网络可以是由用于降低分辨率的两个卷积单元的组成的stem，该预处理网络可以将分辨率降低到输入图像的1/4。所述主体网络的输入特征图和输出特征图分辨率相同。通过采用本实施例中的图像处理装置200，可实现对主体网络的轻量化。
可选地，所述主体网络可以是HRNet。下面对HRNet进行简要介绍。HRNet从第一阶段的高分辨率分支开始，在整个过程中均保持高分辨率表示，并在接下来的每个阶段，以当前分支中最低分辨率的1/2并行地向当前分支添加一个新分支。
如图7所示，HRNet共包含四个阶段（即图7网络中有背景色且连接的四个区域）。第一个阶段包括4个残差单元和1个交换单元，每个残差单元由一个宽度为64的bottleneck跟随一个3×3的卷积单元组成；交换单元会生成两个分支，一个分支将特征图的宽度减少到32，另一个分支将分辨率降为原来的1/2。
第二、三、四阶段，每个阶段由4个平行的基本单元和一个交换单元组成。第二、三、四阶段分别包含1、4、3个多分辨率块。第二、三、四阶段的多分辨率块分别作为二、三、四分辨率块。为了描述简便，图7中每个节点都只有一个多分辨率块。以四分辨率块为例，一个四分辨率块包含4个分支，每个分支包含4个基本单元（如图8中的a所示），每个基本单元包含两个3×3的卷积单元。另外，一个跨分辨率的交换单元（如图8中的b所示）完成四个分支的信息交互。
可选地，在上述姿态估计模型中，HRNet主体网络中第一阶段的残差单元、第二至四阶段的基本单元以及交换单元中的相关卷积单元可以均为所述图像处理装置200。
对于交换单元，如图9中的a所示，本申请实施例将输入输出特征图分辨率相同部分的卷积单元（即图9中的a中深灰色部分）设置为所述图像处理装置200，由此使得姿态估计模型中包括轻量化的交换单元。对于基本单元，将基本单元中的两个卷积单元（即图9中的b中深灰色部分）设置为所述图像处理装置200，由此使得姿态估计模型中包括轻量化的基本单元。对于残差单元，将残差单元中两个大小相同的卷积单元之间的卷积单元（即图9中的c中深灰色部分）设置为所述图像处理装置200，由此使得姿态估计模型中包括轻量化的残差单元。
本申请实施例中的姿态网络模型是轻量级模型。该姿态网络模型可以提高姿态估计的效率，并获得具有可比性的精度。
本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的图像处理方法。
综上所述，本申请实施例提供了一种图像处理方法、装置、系统、电子设备及可读存储介质，在获得待处理的多通道特征图后，通过并行的逐点卷积运算和非逐点运算对所述多通道特征图进行处理，获得多通道第一输出特征图和多通道第二输出特征图；然后对得到的多通道第一输出特征图及多通道第二输出特征图进行融合处理，得到多通道第三输出特征图。其中，非逐点卷积用于描述各通道的空间特征和特征图之间的信息交换。由此，使得获得的多通道第三输出特征图，既涉及了多通道特征图中各通道的空间特征和特征图之间的信息交换，也涉及了多通道特征图中特征图每个点的特征以及通道之间的信息交换，因而使得该多通道第三输出特征图包含了更多的特征信息，提高了作为输出的特征图的特征表达能力；同时通过采用并行计算，可避免延长得到多通道第三输出特征图的时间。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：
获得待处理的多通道特征图；
通过并行的逐点卷积运算和非逐点运算对所述多通道特征图进行处理，获得多通道第一输出特征图和多通道第二输出特征图，其中，非逐点卷积用于描述各通道的空间特征和特征图之间的信息交换；
对所述多通道第一输出特征图及多通道第二输出特征图进行融合处理，得到多通道第三输出特征图。
2.根据权利要求1所述的方法，其特征在于，
所述通过并行的逐点卷积运算和非逐点运算对所述多通道特征图进行处理，获得多通道第一输出特征图和多通道第二输出特征图，包括：
对所述多通道特征图进行逐点卷积运算，得到所述多通道第一输出特征图；
对所述多通道特征图进行非逐点卷积运算，得到所述多通道第二输出特征图；
所述对所述多通道第一输出特征图及多通道第二输出特征图进行融合处理，得到多通道输出特征图，包括：
对所述多通道第一输出特征图及多通道第二输出特征图进行累加运算，得到所述多通道输出特征图。
3.根据权利要求1所述的方法，其特征在于，所述多通道特征图在通道维度分为第一部分多通道特征图及第二部分多通道特征图，所述通过并行的逐点卷积运算和非逐点运算对所述多通道特征图进行处理，获得多通道第一输出特征图和多通道第二输出特征图，包括：
对所述第一部分多通道特征图进行逐点卷积运算，得到所述多通道第一输出特征图；
对所述第二部分多通道特征图进行非逐点卷积运算，得到所述多通道第二输出特征图；
所述对所述多通道第一输出特征图及多通道第二输出特征图进行融合处理，得到多通道输出特征图，包括：
对所述多通道第一输出特征图及多通道第二输出特征图进行通道重组运算，得到所述多通道第三输出特征图。
4.根据权利要求2或3所述的方法，其特征在于，非逐点卷积运算为自适应线性运算，所述进行非逐点卷积运算，得到所述多通道第二输出特征图，包括：
根据待进行非逐点卷积运算的多个通道特征图的通道数及所述多通道第二输出特征图的通道数，在通道维度对所述多个通道特征图进行分组，并对每个特征图组进行线性运算，得到所述多通道第二输出特征图。
5.根据权利要求4所述的方法，其特征在于，若第一比值为正整数，其中，所述第一比值为所述多个通道特征图的通道数与所述多通道第二输出特征图的通道数之比，所述根据待进行非逐点卷积运算的多个通道特征图的通道数及所述多通道第二输出特征图的通道数，在通道维度对所述多个通道特征图进行分组，并对每个特征图组进行线性运算，得到所述多通道第二输出特征图，包括：
按照所述第一比值在通道维度将所述多个通道特征图平均分为多个特征图组，其中，每个特征图组中特征图的数量为所述第一比值；
针对每个特征图组，对该特征图组中各通道对应的特征图分别进行线性运算，并将该特征图组的线性运算结果的累加和作为该特征图组对应的一第二输出特征图。
6.根据权利要求4所述的方法，其特征在于，若第二比值为正整数，所述第二比值为所述多通道第二输出特征图的通道数与所述多个通道特征图的通道数之比，所述根据待进行非逐点卷积运算的多个通道特征图的通道数及所述多通道第二输出特征图的通道数，在通道维度对所述多个通道特征图进行分组，并对每个特征图组进行线性运算，得到所述多通道第二输出特征图，包括：
在通道维度将所述多个通道特征图平均分为多个特征图组，其中，每个特征图组中特征图的数量为1；
针对各特征图组，对该特征图组中的特征图进行多次线性运算，并将该特征图对应的多个线性运算结果作为该特征图对应的多个通道的第二输出特征图，其中，对一个特征图组中的特征图进行线性运算的次数为所述第二比值。
7.根据权利要求4所述的方法，其特征在于，若第一比值及第二比值均不为正整数，其中，所述第一比值为所述多个通道特征图的通道数与所述多通道第二输出特征图的通道数之比，所述第二比值为所述多通道第二输出特征图的通道数与所述多个通道特征图的通道数之比，所述根据待进行非逐点卷积运算的多个通道特征图的通道数及所述多通道第二输出特征图的通道数，在通道维度对所述多个通道特征图进行分组，并对每个特征图组进行线性运算，得到所述多通道第二输出特征图，包括：
获得所述多个通道特征图的通道数和所述多通道第二输出特征图的通道数的公约数；
将其中一个公约数作为目标公约数；
根据所述目标公约数在通道维度对所述多个通道特征图及所述多通道第二输出特征图进行分组，其中，每个特征图组中特征图的数量为多个，每个第二输出特征图组中第二输出特征图的数量为多个，组的数量为所述目标公约数；
针对每个特征图组，对该特征图组分别进行多次线性运算，得到该特征图组对应的第二输出特征图组。
8.一种图像处理装置，其特征在于，所述图像处理装置包括：
获得子单元，用于获得待处理的多通道特征图；
处理子单元，用于通过并行的逐点卷积运算和非逐点运算对所述多通道特征图进行处理，获得多通道第一输出特征图和多通道第二输出特征图，其中，非逐点卷积用于描述通道的空间特征和特征图之间的信息交换；
融合子单元，用于对所述多通道第一输出特征图及多通道第二输出特征图进行融合处理，得到多通道输出特征图。
9.一种图像处理系统，其特征在于，所述图像处理系统包括网络模型，所述网络模型中包括权利要求8所述的图像处理装置。
10.根据权利要求9所述的系统，其特征在于，所述网络模型为姿态估计模型，所述姿态估计模型包括依次连接的预处理网络、主体网络以及回归器，
所述预处理网络，用于对输入图像进行预处理，得到输入特征图；
所述主体网络，用于对输入特征图进行处理，得到输出特征图，其中，所述主体网络包括基本单元、交换单元以及残差单元，所述交换单元中输入输出特征图分辨率相同部分对应的卷积单元、基本单元中的卷积单元、残差单元中两个大小相同的卷积单元之间的卷积单元中的至少一个卷积单元为所述图像处理装置；
所述回归器，用于将所述输出特征图转换为位置热图，并根据所述位置热图确定关节点的位置。
11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-7中任意一项所述的图像处理方法。
12.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任意一项所述的图像处理方法。
CN202010775325.2A 2020-08-05 2020-08-05 图像处理方法、装置、系统、电子设备及可读存储介质 Active CN111652330B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010775325.2A CN111652330B (zh) 2020-08-05 2020-08-05 图像处理方法、装置、系统、电子设备及可读存储介质
PCT/CN2020/140923 WO2022027917A1 (zh) 2020-08-05 2020-12-29 图像处理方法、装置、系统、电子设备及可读存储介质
US17/388,043 US20220044370A1 (en) 2020-08-05 2021-07-29 Image processing methods

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010775325.2A CN111652330B (zh) 2020-08-05 2020-08-05 图像处理方法、装置、系统、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111652330A true CN111652330A (zh) 2020-09-11
CN111652330B CN111652330B (zh) 2020-11-13

Family

ID=72352594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010775325.2A Active CN111652330B (zh) 2020-08-05 2020-08-05 图像处理方法、装置、系统、电子设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN111652330B (zh)
WO (1) WO2022027917A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101318A (zh) * 2020-11-17 2020-12-18 深圳市优必选科技股份有限公司 基于神经网络模型的图像处理方法、装置、设备及介质
CN112200090A (zh) * 2020-10-12 2021-01-08 桂林电子科技大学 基于交叉分组空谱特征增强网络的高光谱图像分类方法
WO2022027917A1 (zh) * 2020-08-05 2022-02-10 深圳市优必选科技股份有限公司 图像处理方法、装置、系统、电子设备及可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115641B (zh) * 2023-07-20 2024-03-22 中国科学院空天信息创新研究院 建筑物信息提取方法、装置、电子设备及存储介质
CN116912888A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 对象识别方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103456014A (zh) * 2013-09-04 2013-12-18 西北工业大学 一种基于多特征整合视觉注意模型的景象匹配适配性分析方法
CN108304920A (zh) * 2018-02-02 2018-07-20 湖北工业大学 一种基于MobileNets优化多尺度学习网络的方法
CN110309836A (zh) * 2019-07-01 2019-10-08 北京地平线机器人技术研发有限公司 图像特征提取方法、装置、存储介质和设备
CN110321932A (zh) * 2019-06-10 2019-10-11 浙江大学 一种基于深度多源数据融合的全城市空气质量指数估计方法
CN110378943A (zh) * 2019-06-21 2019-10-25 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
US20200090030A1 (en) * 2018-09-19 2020-03-19 British Cayman Islands Intelligo Technology Inc. Integrated circuit for convolution calculation in deep neural network and method thereof

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485192B (zh) * 2015-09-02 2019-12-06 富士通株式会社 用于图像识别的神经网络的训练方法和装置
CN109903221B (zh) * 2018-04-04 2023-08-22 华为技术有限公司 图像超分方法及装置
US10387753B1 (en) * 2019-01-23 2019-08-20 StradVision, Inc. Learning method and learning device for convolutional neural network using 1×1 convolution for image recognition to be used for hardware optimization, and testing method and testing device using the same
CN111652330B (zh) * 2020-08-05 2020-11-13 深圳市优必选科技股份有限公司 图像处理方法、装置、系统、电子设备及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103456014A (zh) * 2013-09-04 2013-12-18 西北工业大学 一种基于多特征整合视觉注意模型的景象匹配适配性分析方法
CN108304920A (zh) * 2018-02-02 2018-07-20 湖北工业大学 一种基于MobileNets优化多尺度学习网络的方法
US20200090030A1 (en) * 2018-09-19 2020-03-19 British Cayman Islands Intelligo Technology Inc. Integrated circuit for convolution calculation in deep neural network and method thereof
CN110321932A (zh) * 2019-06-10 2019-10-11 浙江大学 一种基于深度多源数据融合的全城市空气质量指数估计方法
CN110378943A (zh) * 2019-06-21 2019-10-25 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN110309836A (zh) * 2019-07-01 2019-10-08 北京地平线机器人技术研发有限公司 图像特征提取方法、装置、存储介质和设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022027917A1 (zh) * 2020-08-05 2022-02-10 深圳市优必选科技股份有限公司 图像处理方法、装置、系统、电子设备及可读存储介质
CN112200090A (zh) * 2020-10-12 2021-01-08 桂林电子科技大学 基于交叉分组空谱特征增强网络的高光谱图像分类方法
CN112101318A (zh) * 2020-11-17 2020-12-18 深圳市优必选科技股份有限公司 基于神经网络模型的图像处理方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111652330B (zh) 2020-11-13
WO2022027917A1 (zh) 2022-02-10

Similar Documents

Publication Publication Date Title
CN111652330B (zh) 图像处理方法、装置、系统、电子设备及可读存储介质
US8306366B2 (en) Method and apparatus for extracting feature points from digital image
JP2021100247A (ja) 歪んだドキュメント画像の矯正方法及び装置
JP2019016159A (ja) 畳み込みニューラルネットワーク
CN110399591B (zh) 基于卷积神经网络的数据处理方法和装置
CN109993293B (zh) 一种适用于堆叠式沙漏网络的深度学习加速器
CN111709415B (zh) 目标检测方法、装置、计算机设备和存储介质
US20200389182A1 (en) Data conversion method and apparatus
JP7165018B2 (ja) 情報処理装置、情報処理方法
JP2019008421A (ja) 処理方法、プログラム、情報処理装置、および画像処理装置
CN114092336A (zh) 基于双线性插值算法的图像缩放方法、装置、设备及介质
CN112560962A (zh) 骨骼动画的姿态匹配方法、装置、电子设备及存储介质
CN113642589B (zh) 图像特征提取方法及装置、计算机设备和可读存储介质
CN110770757A (zh) 信息处理装置以及信息处理方法
CN115905997A (zh) 基于预测偏差优化的风电机组气象灾害预警方法及系统
KR102372869B1 (ko) 인공 신경망을 위한 행렬 연산기 및 행렬 연산 방법
US20220036190A1 (en) Neural network compression device
US20220044370A1 (en) Image processing methods
CN113159297A (zh) 一种神经网络压缩方法、装置、计算机设备及存储介质
CN113496276A (zh) 信息处理设备和信息处理方法
CN112288829A (zh) 一种针对图像复原卷积神经网络的压缩方法及装置
CN110807479A (zh) 一种基于Kmeans算法的神经网络卷积计算加速方法
CN113780300B (zh) 图像反池化方法、装置、计算机设备和存储介质
CN112308217A (zh) 一种卷积神经网络加速方法及系统
CN112949831B (zh) 基于分块卷积的深度优先数据调度方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Sun Bin

Inventor after: Xiong Youjun

Inventor before: Sun Bin

Inventor before: Zhao Mingguo

Inventor before: Xiong Youjun

CB03 Change of inventor or designer information