CN111179149B - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111179149B
CN111179149B CN201911301064.4A CN201911301064A CN111179149B CN 111179149 B CN111179149 B CN 111179149B CN 201911301064 A CN201911301064 A CN 201911301064A CN 111179149 B CN111179149 B CN 111179149B
Authority
CN
China
Prior art keywords
layer
convolution
image
filling
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911301064.4A
Other languages
English (en)
Other versions
CN111179149A (zh
Inventor
赖庆鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL China Star Optoelectronics Technology Co Ltd
Original Assignee
TCL China Star Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL China Star Optoelectronics Technology Co Ltd filed Critical TCL China Star Optoelectronics Technology Co Ltd
Priority to CN201911301064.4A priority Critical patent/CN111179149B/zh
Priority to PCT/CN2019/129321 priority patent/WO2021120316A1/zh
Priority to US16/758,050 priority patent/US11348211B2/en
Publication of CN111179149A publication Critical patent/CN111179149A/zh
Application granted granted Critical
Publication of CN111179149B publication Critical patent/CN111179149B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供了一种基于卷积网络算法的图像处理方法、装置、电子设备和计算机可读存储介质，方法包括：确定卷积运算层各层所需的填充半径；计算所述卷积运算层各层所需的填充半径之和；获取卷积网络算法输入图像；依据所述填充半径之和对所述输入图像进行填充得到填充后的图像；确定所述卷积运算层各层的运算范围；依据所述卷积运算层各层依次分别对所述填充后的图像进行卷积网络算法运算；获得输出图像。本发明还提供了一种基于卷积网络算法的图像处理的装置、电子设备和计算机可读存储介质。根据本发明的技术方案，可减少重复占用CPU或硬件运算资源、简化代码编写、提升运行速度，从而总体上降低经济成本、降低管理难度的作用。

Description

图像处理方法、装置、电子设备和计算机可读存储介质
技术领域
本发明涉及图像处理技术领域，具体地涉及一种卷积网络算法预填充的方法、装置、电子设备和计算机可读存储介质。
背景技术
卷积网络技术在人工智能方面应用情况日益增多，特别在显示系统行业，用于图像超分辨率等算法，使可有效增强显示系统的图像品质。然而在卷积网络算法中，常见的情况需要对输入图像或中间图像进行卷积填充，在纯硬件系统中，一般采取直接使用硬件进行填充操作；在软硬件协作系统中，则可于软件系统或硬件系统中进行填充操作。图1示出了一般常见的卷积网络算法填充图像处理的方法。但依据一般的卷积网络算法填充图像处理方法，无论在软件系统还是硬件系统中进行填充操作，均有重复占用CPU或硬件运算资源，软、硬件代码的编写相对复杂等问题。
发明内容
有鉴于此，本发明提出图像处理方法、装置和计算机可读存储介质，以减少重复占用CPU或硬件运算资源、简化代码编写、提升运行速度。
为此，本发明实施例提供如下技术方案：
根据本发明一方面，提供一种图像处理方法，包括：
确定卷积运算层各层L1,L2,…,L(n-1),Ln各自所需的填充半径R1,R2,…,R(n-1),Rn，n大于等于2；
计算所述卷积运算层各层所需的填充半径R1,R2,…,Rn之和RΣ；
获取卷积网络算法输入图像P0；
依据所述填充半径之和RΣ对所述输入图像P0进行一次性填充后得到填充后的图像P0Σ；
确定所述卷积运算层各层L1,L2,…,L(n-1),Ln的运算范围；
依据所述卷积运算层第一层L1及对应运算范围对所述填充后的图像P0Σ进行卷积网络算法运算并得到运算后得到图像P1Σ；
依据所述卷积运算层各层其他层L2,…,Ln及各自对应运算范围依次分别对所述运算后得到的图像P(n-1)Σ进行卷积网络算法运算并得到运算后得到的图像PnΣ；
将卷积运算层最后一层运算后得到的图像PnΣ作为输出图像输出。
进一步的，所述确定卷积运算层各层L1,L2,…,L(n-1),Ln各自所需的填充半径R1,R2,…,R(n-1),Rn的步骤包括解析卷积网络算法。
进一步的，所述确定所述卷积运算层各层L1,L2,…,L(n-1),Ln的运算范围的步骤包括根据进行一次性填充后得到填充后的图像P0Σ确定运算范围。
进一步的，所述确定所述卷积运算层各层L1,L2,…,L(n-1),Ln的运算范围的步骤包括根据卷积运算层各层L1,L2,…,L(n-1),Ln各自所需的填充半径R1,R2,…,R(n-1),Rn和/或所述输入图像P0确定运算范围。
根据本发明另一方面，提供一种基于卷积网络算法的图像处理装置，包括：
填充半径计算模块，用于确定卷积运算层各层L1,L2,…,L(n-1),Ln各自所需的填充半径R1,R2,…,R(n-1),Rn；
预填充半径计算模块，用于计算所述卷积运算层各层所需的填充半径R1,R2,…,Rn之和RΣ；
图像输入模块，用于获取卷积网络算法输入图像P0；
预填充模块，用于依据所述填充半径之和RΣ对所述输入图像P0进行一次性填充后得到填充后的图像P0Σ；
运算范围确定模块，用于确定所述卷积运算层各层L1,L2,…,L(n-1),Ln的运算范围；
卷积网络运算模块，用于依据所述卷积网络算法层L1及对应运算范围对所述填充后的图像P0Σ进行卷积网络算法运算并得到运算后得到图像P1Σ，并用于依据所述卷积运算层各层其他层L2,…,Ln及各自对应运算范围依次分别对所述运算后得到的图像P(n-1)Σ进行卷积网络算法运算并得到运算后得到的图像PnΣ；
图像输出模块，用于将卷积运算层最后一层运算后得到的图像PnΣ作为输出图像输出。
进一步的，所述填充半径计算模块确定卷积运算层各层L1,L2,…,L(n-1),Ln各自所需的填充半径R1,R2,…,R(n-1),Rn的步骤包括解析卷积网络算法。
进一步的，所述运算范围确定模块确定所述卷积运算层各层L1,L2,…,L(n-1),Ln的运算范围的步骤包括根据进行一次性填充后得到填充后的图像P0Σ确定运算范围。
进一步的，所述运算范围确定模块确定所述卷积运算层各层L1,L2,…,L(n-1),Ln的运算范围的步骤包括根据卷积运算层各层L1,L2,…,L(n-1),Ln各自所需的填充半径R1,R2,…,R(n-1),Rn和/或所述输入图像P0确定运算范围。
根据本发明另一方面，提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一的方法步骤。
根据本发明另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的图像处理方法。
根据本发明的技术方案，由于采用了将多次填充改为一次性预填充的技术手段，一方面可以减少重复占用CPU或硬件运算资源，也降低了代码编写复杂度从而简化代码编写，由于占用硬件资源和代码复杂度降低，也提升运行速度，总体上起到降低经济成本、降低管理难度的作用。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图中的部件不是成比例绘制的，而只是为了示出本发明的原理。为了便于示出和描述本发明的一些部分，附图中对应部分可能被放大，即，使其相对于在依据本发明实际制造的示例性装置中的其它部件变得更大。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。
图1示出了现有技术的一般常见的卷积网络算法填充图像处理的方法的步骤框图。
图2示出了根据本发明的一个实施方式的卷积网络算法预填充图像处理的方法的步骤框图。
图3示出了根据本发明一个实施方式的卷积网络算法预填充图像处理的方法的部分步骤的具体示意图。
图4示出了根据本发明一个实施方式的卷积网络算法预填充图像处理的方法的部分步骤的具体示意图。
图5示出了根据本发明一个实施方式的卷积网络算法预填充图像处理的方法的部分步骤的具体示意图。
图6示出了根据本发明一个实施方式的卷积网络算法预填充图像处理的方法的部分步骤的具体示意图。
图7示出了根据本发明一个实施方式的卷积网络算法预填充图像处理装置的结构示意图。
图8示出了根据本发明一个实施方式的卷积网络算法预填充图像处理电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
第一实施方式
根据本发明第一实施方式，提供卷积网络算法预填充图像处理的方法。图2示出了卷积网络算法预填充图像处理的方法的示意性框图。如图2所示，该方法包括如下步骤：
S01:确定卷积运算层各层L1,L2,…,L(n-1),Ln各自所需的填充半径R1,R2,…,R(n-1),Rn，其中n大于等于2；
S02:计算所述卷积运算层各层所需的填充半径R1,R2,…,Rn之和RΣ；
S03:获取卷积网络算法输入图像P0；
S04:依据所述填充半径之和RΣ对所述输入图像P0进行一次性填充后得到填充后的图像P0Σ；
S05:确定所述卷积运算层各层L1,L2,…,L(n-1),Ln的运算范围；
S06:依据所述卷积网络算法层L1及对应运算范围对所述填充后的图像P0Σ进行卷积网络算法运算并得到运算后得到图像P1Σ；
S07:依据所述卷积网络算法层L2,…,Ln及各自对应运算范围依次分别对所述运算后得到的图像P(n-1)Σ进行卷积网络算法运算并得到运算后得到的图像PnΣ；
S08:将PnΣ作为输出图像输出。
所述卷积运算层各层至少包括2层，以下结合图3-6，以卷积运算层各层包括2层和卷积运算层各层包括4层为例，进一步说明本专利提供的卷积网络算法预填充图像处理的方法。
图3示出了卷积运算层各层包括4层的卷积网络算法预填充图像处理的方法的步骤S01、S02、S03、S04的具体流程。
参见图3，卷积运算层L1需要经过3x3的卷积运算，确定所需填充半径R1为1；卷积运算层L2需要经过5x5的卷积运算，确定所需填充半径R2为2；卷积运算层L3需要经过3x3的卷积运算，确定所需填充半径R1为1；卷积运算层L4需要经过9x9的卷积运算，确定所需填充半径R1为4。
计算所述卷积运算层各层所需的填充半径RΣ＝R1+R2+R3+R4＝1+2+1+4＝8。
获取卷积网络算法输入图像P0后对输入图像P0一次性进行半径为8的预填充，得到填充后的图像P0Σ。
图4示出了卷积运算层各层包括4层的卷积网络算法预填充图像处理的方法的步骤S05、S06、S07、S08的具体流程。
参见图4，确定所述卷积运算层各层L1,L2,L3,L4的运算范围；
依据卷积网络算法层L1及对应运算范围对所述填充后的图像P0Σ进行卷积网络算法运算并得到运算后得到图像P1Σ；
依据卷积网络算法层L2及对应运算范围对所述运算后得到的图像P1Σ进行卷积网络算法运算并得到运算后得到的图像P2Σ；
依据卷积网络算法层L3及对应运算范围对所述运算后得到的图像P2Σ进行卷积网络算法运算并得到运算后得到的图像P3Σ；
依据卷积网络算法层L4及对应运算范围对所述运算后得到的图像P3Σ进行卷积网络算法运算并得到运算后得到的图像P4Σ；
将P4Σ作为输出图像输出。
上述确定所述卷积运算层各层L1,L2,L3,L4的运算范围的方法是对相应卷积网络算法层进行解析。
上述确定所述卷积运算层各层L1,L2,L3,L4的运算范围的分方法是根据进行一次性填充后得到填充后的图像P0Σ确定运算范围。
图5示出了卷积运算层各层包括2层的卷积网络算法预填充图像处理的方法的步骤S01、S02、S03、S04的具体流程。
参见图5，卷积运算层L1需要经过3x3的卷积运算，确定所需填充半径R1为1；卷积运算层L2需要经过5x5的卷积运算，确定所需填充半径R2为2。
计算所述卷积运算层各层所需的填充半径RΣ＝R1+R2＝1+2＝3。
获取卷积网络算法输入图像P0后对输入图像P0一次性进行半径为3的预填充，得到填充后的图像P0Σ。
图6示出了卷积运算层各层包括2层的卷积网络算法预填充图像处理的方法的步骤S05、S06、S07、S08的具体流程。
参见图6，确定所述卷积运算层各层L1,L2的运算范围；
依据卷积网络算法层L1及对应运算范围对所述填充后的图像P0Σ进行卷积网络算法运算并得到运算后得到图像P1Σ；
依据卷积网络算法层L2及对应运算范围对所述运算后得到的图像P1Σ进行卷积网络算法运算并得到运算后得到的图像P2Σ；
将P2Σ作为输出图像输出。
上述确定所述卷积运算层各层L1,L2的运算范围的方法是对相应卷积网络算法层进行解析。
上述确定所述卷积运算层各层L1,L2的运算范围的方法是根据卷积运算层各层L1,L2各自所需的填充半径R1,R2和/或所述输入图像P0确定运算范围。
第二实施方式
根据本发明第二实施方式，提供了一种卷积网络算法预填充图像处理的装置。图7示出了根据本发明一个实施方式的卷积网络算法预填充图像处理装置的结构示意图。如图7所示，该装置包括：
填充半径计算模块M01，用于确定卷积运算层各层L1,L2,…,L(n-1),Ln各自所需的填充半径R1,R2,…,R(n-1),Rn；
预填充半径计算模块M02，用于计算所述卷积运算层各层所需的填充半径R1,R2,…,Rn之和RΣ；
图像输入模块M03，用于获取卷积网络算法输入图像P0；
预填充模块M04，用于依据所述填充半径之和RΣ对所述输入图像P0进行一次性填充后得到填充后的图像P0Σ；
运算范围确定模块M05，用于确定所述卷积运算层各层L1,L2,…,L(n-1),Ln的运算范围；
卷积网络运算模块M06，用于依据所述卷积网络算法层L1及对应运算范围对所述填充后的图像P0Σ进行卷积网络算法运算并得到运算后得到图像P1Σ，并用于依据所述卷积运算层各层其他层L2,…,Ln及各自对应运算范围依次分别对所述运算后得到的图像P(n-1)Σ进行卷积网络算法运算并得到运算后得到的图像PnΣ；
图像输出模块M07，用于将卷积运算层最后一层运算后得到的图像PnΣ作为输出图像输出。
所述填充半径计算模块确定卷积运算层各层L1,L2,…,L(n-1),Ln各自所需的填充半径R1,R2,…,R(n-1),Rn的步骤包括解析卷积网络算法。
所述运算范围确定模块确定所述卷积运算层各层L1,L2,…,L(n-1),Ln的运算范围的步骤包括根据进行一次性填充后得到填充后的图像P0Σ确定运算范围。
所述运算范围确定模块确定所述卷积运算层各层L1,L2,…,L(n-1),Ln的运算范围的步骤也可以是根据卷积运算层各层L1,L2,…,L(n-1),Ln各自所需的填充半径R1,R2,…,R(n-1),Rn和/或所述输入图像P0确定运算范围。
上述图像输出模块可以是显示模块或通信模块，可视化呈现图像或传输到下一个处理环节。图像输出模块如果使用通信模块，可以使用各种通信标准、协议及技术，这些标准、协议及技术包括但并不限于全球移动通信系统(Global System for MobileCommunication，简称为GSM)、增强型移动通信技术(Enhanced Data GSM Environment，简称为EDGE)，宽带码分多址技术(Wideband Code Division Multiple Access，简称为WCDMA)，码分多址技术(Code Division Access，简称为CDMA)、时分多址技术(TimeDivision Multiple Access，简称为TDMA)，无线保真技术(Wireless Fidelity，简称为Wi-Fi)(如美国电气和电子工程师协会标准IEEE 802.11a，IEEE 802.11b,IEEE802.11g和/或IEEE 802.11n)、网络电话(Voice over Internet Protocol，简称为VoIP)、全球微波互联接入(Worldwide Interoperability for Microwave Access，简称为Wi-Max)、其他用于邮件、即时通讯及短消息的协议，以及任何其他合适的通讯协议，甚至可包括那些当前仍未被开发出来的协议。
第三实施方式
根据本发明第三实施方式，提供一种电子设备，如图8所示，包括处理器D01、通信接口D02、存储器D03和通信总线D04，其中，处理器D01，通信接口D02，存储器D03通过通信总线D04完成相互间的通信；
存储器D04，用于存放计算机程序；
处理器D01，用于执行存储器上所存放的程序时，实现上述任一的方法步骤。
存储器D04可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器D04可进一步包括相对于处理器D01远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述电子设备提到的通信总线可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子设备与其他设备之间的通信。存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。进一步的，存储器还可以是至少一个位于远离前述处理器的存储装置。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application SpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本领域技术人员可以理解，图8中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
第四实施方式
在本发明提供的又一实施方式中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一上述的图像处理方法。上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机程序指令时，全部或部分地产生按照本发明实施例上述的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
需要说明的是，在本申请的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括上述要素的过程、方法、物品或者设备中还存在另外的相同要素。本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。以上仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。涉及序数的术语或下标“一”“二”“1”“2”“n”“n-”等并不必然表示这些术语所限定的特征、要素、步骤或组件的实施顺序或者重要性程度，而仅仅是为了描述清楚起见而用于在这些特征、要素、步骤或组件之间进行标识。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种基于卷积网络算法的图像处理方法，其特征在于，包括：
确定卷积运算层各层各自所需的填充半径，所述卷积运算层各层至少为2层；
计算所述卷积运算层各层所需的填充半径之和；
获取卷积网络算法输入图像；
依据所述填充半径之和对所述输入图像进行一次性填充后得到填充后的图像；
确定所述卷积运算层各层的运算范围；
依据所述卷积运算层第一层及对应运算范围对所述填充后的图像进行卷积网络算法运算并得到运算后得到图像；
依据所述卷积运算层各层其他层及各自对应运算范围依次分别对所述运算后得到的图像进行卷积网络算法运算并得到运算后得到的图像；
将卷积运算层最后一层运算后得到的图像作为输出图像输出。
2.根据权利要求1所述的图像处理方法，其特征在于，所述确定卷积运算层各层各自所需的填充半径的步骤包括解析卷积网络算法的步骤。
3.根据权利要求1或2所述的图像处理方法，其特征在于，所述确定所述卷积运算层各层的运算范围的步骤包括根据进行一次性填充后得到填充后的图像确定运算范围。
4.根据权利要求1或2所述的图像处理方法，其特征在于，所述确定所述卷积运算层各层的运算范围的步骤包括根据卷积运算层各层各自所需的填充半径和/或所述输入图像确定运算范围。
5.一种基于卷积网络算法的图像处理装置，其特征在于，包括：
填充半径计算模块，用于确定卷积运算层各层各自所需的填充半径，所述卷积运算层各层至少为2层；
预填充半径计算模块，用于计算所述卷积运算层各层所需的填充半径之和；
图像输入模块，用于获取卷积网络算法输入图像；
预填充模块，用于依据所述填充半径之和对所述输入图像进行一次性填充后得到填充后的图像；
运算范围确定模块，用于确定所述卷积运算层各层的运算范围；
卷积网络运算模块，用于依据所述卷积运算层第一层及对应运算范围对所述填充后的图像进行卷积网络算法运算并得到运算后得到的图像，并用于依据所述卷积运算层各层其他层及各自对应运算范围依次分别对所述运算后得到的图像进行卷积网络算法运算并得到运算后得到的图像；
图像输出模块，用于将卷积运算层最后一层运算后得到的图像作为输出图像输出。
6.根据权利要求5所述的基于卷积网络算法的图像处理装置，其特征在于，所述填充半径计算模块确定卷积运算层各层各自所需的填充半径的步骤包括解析卷积网络算法。
7.根据权利要求5或6所述的基于卷积网络算法的图像处理装置，其特征在于，所述运算范围确定模块确定所述卷积运算层各层的运算范围的步骤包括根据进行一次性填充后得到填充后的图像确定运算范围。
8.根据权利要求5或6所述的基于卷积网络算法的图像处理装置，其特征在于，所述运算范围确定模块确定所述卷积运算层各层的运算范围的步骤包括根据卷积运算层各层各自所需的填充半径和/或所述输入图像确定运算范围。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述权利要求1-4任一所述的图像处理方法。
CN201911301064.4A 2019-12-17 2019-12-17 图像处理方法、装置、电子设备和计算机可读存储介质 Active CN111179149B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911301064.4A CN111179149B (zh) 2019-12-17 2019-12-17 图像处理方法、装置、电子设备和计算机可读存储介质
PCT/CN2019/129321 WO2021120316A1 (zh) 2019-12-17 2019-12-27 图像处理方法、装置、电子设备和计算机可读存储介质
US16/758,050 US11348211B2 (en) 2019-12-17 2019-12-27 Image processing method, device, electronic apparatus and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911301064.4A CN111179149B (zh) 2019-12-17 2019-12-17 图像处理方法、装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111179149A CN111179149A (zh) 2020-05-19
CN111179149B true CN111179149B (zh) 2022-03-08

Family

ID=70657371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911301064.4A Active CN111179149B (zh) 2019-12-17 2019-12-17 图像处理方法、装置、电子设备和计算机可读存储介质

Country Status (3)

Country Link
US (1) US11348211B2 (zh)
CN (1) CN111179149B (zh)
WO (1) WO2021120316A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1609244A2 (en) * 2003-03-28 2005-12-28 Microsoft Corporation Accelerating video decoding using a graphics processing unit
CN103517125A (zh) * 2012-09-19 2014-01-15 Tcl美国研究所 一种电视机、电视服务系统及其实现方法
CN106779060A (zh) * 2017-02-09 2017-05-31 武汉魅瞳科技有限公司 一种适于硬件设计实现的深度卷积神经网络的计算方法
CN107437110A (zh) * 2017-07-11 2017-12-05 中国科学院自动化研究所 卷积神经网络的分块卷积优化方法及装置
CN109325589A (zh) * 2017-07-31 2019-02-12 华为技术有限公司 卷积计算方法及装置
WO2019150067A2 (en) * 2018-02-01 2019-08-08 Brendan Ruff Low precision efficient convolutional neural network inference device that avoids multiplication without loss of accuracy
CN110414472A (zh) * 2019-08-06 2019-11-05 湖南特致珈物联科技有限公司 一种基于视频的多维火灾智能检测系统
CN110555847A (zh) * 2019-07-31 2019-12-10 瀚博半导体(上海)有限公司 一种基于卷积神经网络的图像处理方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7554538B2 (en) * 2004-04-02 2009-06-30 Nvidia Corporation Video processing, such as for hidden surface reduction or removal
US10366328B2 (en) * 2017-09-19 2019-07-30 Gyrfalcon Technology Inc. Approximating fully-connected layers with multiple arrays of 3x3 convolutional filter kernels in a CNN based integrated circuit
KR20180073118A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
EP3573520A4 (en) * 2017-01-27 2020-11-04 Arterys Inc. AUTOMATED SEGMENTATION USING FULLY CONVOLUTIVE NETWORKS
US11347964B2 (en) * 2017-08-07 2022-05-31 Renesas Electronics Corporation Hardware circuit
US10460416B1 (en) * 2017-10-17 2019-10-29 Xilinx, Inc. Inline image preprocessing for convolution operations using a matrix multiplier on an integrated circuit
CN109872275B (zh) * 2017-12-04 2023-05-23 北京金山安全软件有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN108876833A (zh) * 2018-03-29 2018-11-23 北京旷视科技有限公司 图像处理方法、图像处理装置和计算机可读存储介质
WO2019216404A1 (ja) * 2018-05-10 2019-11-14 パナソニックＩｐマネジメント株式会社 ニューラルネットワーク構築装置、情報処理装置、ニューラルネットワーク構築方法及びプログラム
CN109614896A (zh) * 2018-10-29 2019-04-12 山东大学 一种基于递归卷积神经网络的视频内容语义理解的方法
CN109614866A (zh) * 2018-11-08 2019-04-12 中科天网（广东）科技有限公司 基于级联深度卷积神经网络的人脸检测方法
CN109656623B (zh) 2019-03-13 2019-06-14 北京地平线机器人技术研发有限公司 执行卷积运算操作的方法及装置、生成指令的方法及装置
US11250601B2 (en) * 2019-04-03 2022-02-15 University Of Southern California Learning-assisted multi-modality dielectric imaging
US20210073642A1 (en) * 2019-08-23 2021-03-11 Benjamin Forrest Dribus Sparse Local Connected Artificial Neural Network Architectures Involving Hybrid Local/Nonlocal Structure
US11069034B2 (en) * 2019-09-06 2021-07-20 Adobe Inc. Method and system to enhance quality of digital images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1609244A2 (en) * 2003-03-28 2005-12-28 Microsoft Corporation Accelerating video decoding using a graphics processing unit
CN103517125A (zh) * 2012-09-19 2014-01-15 Tcl美国研究所 一种电视机、电视服务系统及其实现方法
CN106779060A (zh) * 2017-02-09 2017-05-31 武汉魅瞳科技有限公司 一种适于硬件设计实现的深度卷积神经网络的计算方法
CN107437110A (zh) * 2017-07-11 2017-12-05 中国科学院自动化研究所 卷积神经网络的分块卷积优化方法及装置
CN109325589A (zh) * 2017-07-31 2019-02-12 华为技术有限公司 卷积计算方法及装置
WO2019150067A2 (en) * 2018-02-01 2019-08-08 Brendan Ruff Low precision efficient convolutional neural network inference device that avoids multiplication without loss of accuracy
CN110555847A (zh) * 2019-07-31 2019-12-10 瀚博半导体(上海)有限公司 一种基于卷积神经网络的图像处理方法及装置
CN110414472A (zh) * 2019-08-06 2019-11-05 湖南特致珈物联科技有限公司 一种基于视频的多维火灾智能检测系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Partial Convolution based Padding";Guilin Liu等;《arxiv.org/abs/1811.11718》;20181128;第1-11页 *
"基于Intel平台的Winograd快速卷积算法研究与优化";武铮等;《计算机研究与发展》;20190401;第56卷(第4期);第825-835页 *
"基于反卷积高层特征的遥感地物图像分类";王云艳等;《计算机工程与应用》;20191010;第56卷(第11期);第200-206页 *

Also Published As

Publication number Publication date
CN111179149A (zh) 2020-05-19
US11348211B2 (en) 2022-05-31
WO2021120316A1 (zh) 2021-06-24
US20210407055A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
US20220407726A1 (en) Consensus method for blockchain, consensus node, electronic device, and storage medium
CN110929195B (zh) 数据的缓存策略确定方法、装置以及电子设备
CN111767142A (zh) 服务节点的限流阈值设置方法和服务端设备
CN106326062A (zh) 应用程序的运行状态控制方法和装置
CN108347377B (zh) 数据转发方法及装置
CN111179149B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN112751935B (zh) 请求处理方法、装置、电子设备及存储介质
CN111210004A (zh) 卷积计算方法、卷积计算装置及终端设备
US10212291B2 (en) System, method, and non-transitory computer readable storage medium for image recognition based on convolutional neural networks
CN111158907A (zh) 数据处理方法及装置、电子设备和存储介质
CN111884932B (zh) 一种链路确定方法、装置、设备和计算机可读存储介质
CN109872275B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112822139B (zh) 数据输入、数据转换方法及装置
CN113360448A (zh) 数据包处理方法及装置
CN106507268A (zh) 一种手机搬家中动态验证的方法及装置
CN112511441A (zh) 报文的处理方法及装置
CN113760487A (zh) 一种业务处理方法和装置
CN108924668A (zh) 图片加载、数据提供方法及装置
CN111027683A (zh) 数据处理方法、装置、存储介质及电子设备
CN112686269B (zh) 池化方法、装置、设备和存储介质
CN114144793A (zh) 数据传输方法、装置、电子设备及可读存储介质
CN111132208A (zh) 一种容量预测方法以及容量预测装置
CN116127259B (zh) 张量处理方法、装置、设备及计算机可读存储介质
CN109582449B (zh) 风控业务系统中的风控任务分组方法、装置、计算机设备
US20230385123A1 (en) System and method for recommending cost optimization options for a cloud resource

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant