CN113570612A - 一种图像处理方法、装置及设备 - Google Patents
一种图像处理方法、装置及设备 Download PDFInfo
- Publication number
- CN113570612A CN113570612A CN202111114230.7A CN202111114230A CN113570612A CN 113570612 A CN113570612 A CN 113570612A CN 202111114230 A CN202111114230 A CN 202111114230A CN 113570612 A CN113570612 A CN 113570612A
- Authority
- CN
- China
- Prior art keywords
- image
- current
- stage
- level
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000015654 memory Effects 0.000 claims abstract description 38
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种应用于图像处理系统的图像处理方法、装置及设备，属于深度学习领域。该图像处理装置至少包括第一运算器和第二运算器，第一运算器和第二运算器通过串行收发器级联，并且并行执行所述图像处理方法，所述图像处理方法包括：获取外部处理器分割原图像得到的子图像，并作为本级结果图像；根据指定的卷积核和得到子图像的分割方式提取本级结果图像中的本级图像元素；向前级运算器发送本级图像元素，并接收后级运算器发送的后级图像元素；将本级结果图像与后级图像元素合成为本级待处理图像；对本级待处理图像进行卷积运算，得到本级结果图像。实现了处理大数据量图像过程中，无需使用外部存储器，提高了图像处理性能。
Description
技术领域
本发明涉及深度学习领域，特别涉及一种图像处理方法、装置及设备。
背景技术
深度学习算法的出现极大地促进了机器学习的发展，并在图像、语音和自然语言处理领域得到广泛应用。有赖于卷积神经网络（Convolutional Neural Networks, CNN）模型的改进和硬件计算能力的提升，深度学习算法可以借助更多的训练数据进行拟合，提高任务处理的精确性。得益于深度学习技术的应用，图像识别产品已在人们日常的工作、生活中得以广泛应用，为社会的有序运行提供了有力的技术保障。
在图像处理应用的早期，受限于图像采集技术，需要被处理的图像数据量往往有限，采用运算器自带的内部存储器即可完成对图像的处理任务。但随着图像信息的逐渐增大，数据量已经大大超过了计算单元自带存储器的容量。面对这种情况，技术人员可以选择外接存储器方案：即在计算单元之外扩展存储器，将每次卷积计算的结果缓存到外接的扩展存储器中，再读出进行下一轮计算；也可以选择升级运算器方案：即更换带有高容量内部存储器的运算器，依旧延续单个运算器。对于前者，外接存储器会降低计算过程中的读写速度，使计算速度急剧下降，甚至由于数据量过大导致计算单元被迫采用串行计算的方式，进一步恶化了计算性能；对于后者，运算器的硬件性能提升将导致成本的急剧增大：其内部存储器容量增大一倍，价格可能增加十倍，并且受限于计算单元的适配性，可能面临频繁更换不同型号运算器的问题，进一步增加了成本压力。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种应用于图像处理系统的图像处理方法、装置、设备及计算机存储介质，以克服现有技术中处理大数据量图像时，因运算器内部存储器容量的限制，导致图像处理性能下降的问题。
为了解决上述的一个或多个技术问题，本发明采用的技术方案如下：第一方面，提供一种图像处理方法，应用于图像处理装置中的运算器，其中图像处理装置至少包括第一运算器和第二运算器，上述第一运算器和第二运算器通过串行收发器级联，上述第一运算器和第二运算器并行执行上述图像处理方法；
上述图像处理方法包括：
获取外部处理器分割原图像得到的子图像，将该子图像作为本级结果图像；
根据指定的卷积核和得到子图像的分割方式提取本级结果图像中的本级图像元素；
向前级运算器发送本级图像元素，并接收后级运算器发送的后级图像元素；
将本级结果图像与后级图像元素合成为本级待处理图像；
对本级待处理图像进行卷积运算，得到本级结果图像。
进一步地，当本级结果图像达到预设标准时，结束图像处理方法的执行过程；
否则，循环执行图像处理方法的执行过程。
进一步地，外部处理器分割原图像得到的子图像包括：
以平行于原图像长边的方向，横向分割原图像，得到子图像；
或，
以平行于原图像宽边的方向，纵向分割原图像，得到子图像。
进一步地，卷积核具有宽度N和高度M；
宽度N为正奇数；
高度M为正奇数；
卷积核的通道数与本级待处理图像的通道数相同；
卷积核参数通过预先训练得到。
进一步地，根据指定的卷积核和得到子图像的分割方式提取本级结果图像中的本级图像元素包括：
若以平行于原图像长边的方向横向分割原图像，则复制本级结果图像中与前级结果图像边界毗邻的M-1条像素作为本级图像元素；
若以平行于原图像宽边的方向纵向分割原图像，则复制本级结果图像中与前级结果图像边界毗邻的N-1条像素作为本级图像元素。
进一步地，将本级结果图像与后级图像元素合成为本级待处理图像包括：
将后级图像元素顺序拼接至与本级结果图像衔接的边界处；
将拼接后的图像作为本级待处理图像。
进一步地，对本级待处理图像进行卷积运算包括：
为一次完整的卷积运算设置统一的步进值；
开始卷积运算过程；
第二方面，提供一种图像处理装置，至少包括：
第一运算器和第二运算器；
其中，第一运算器与第二运算器均并行执行上述第一方面提供的图像处理方法；
第一运算器与第二运算器通过串行收发器级联；
第一运算器作为前级运算器，接收图像元素；
第二运算器作为后级运算器，发送图像元素；
串行收发器用于将后级算器的图像元素作为后级图像元素，发送至前级运算器。
进一步地，运算器包括：
内部存储模块，用于存储本级待处理图像和本级结果图像；
卷积运算模块，用于对存储于内部存储模块的本级待处理图像进行卷积运算；
进一步地，进行卷积运算包括：
使用指定的卷积核与设置的步进值进行卷积运算；
进一步地，上述指定的卷积核具有宽度N和高度M；
其中，宽度N为正奇数，高度M为正奇数；上述卷积核的通道数与本级待处理图像的通道数相同；
上述卷积核参数通过预先训练得到。
进一步地，步进值为了一次完整的卷积运算设置的统一的步进值。
图像预处理模块，用于从本级结果图像中提取本级图像元素，并通过串行收发器发送至前级的图像预处理模块；以及将串行收发器接收到的后级图像元素，与本级内部存储模块中的本级结果图像进行合成，生成本级待处理图像；
并将本级待处理图像存储于本级内部存储模块；
进一步地，根据指定的卷积核和得到子图像的分割方式提取本级结果图像中的本级图像元素包括：
若以平行于原图像长边的方向横向分割原图像，则复制本级结果图像中与前级结果图像边界毗邻的M-1条像素作为本级图像元素；
若以平行于原图像宽边的方向纵向分割原图像，则复制本级结果图像中与前级结果图像边界毗邻的N-1条像素作为本级图像元素。
进一步地，将本级结果图像与后级图像元素合成为本级待处理图像包括：
将后级图像元素顺序拼接至与本级结果图像衔接的边界处；
将拼接后的图像作为本级待处理图像。
将拼接后的图像作为本级待处理图像。
串行收发器，用于将本级图像运算发送至前级运算器。
进一步地，本级结果图像达到预设标准后，图像处理装置中的运算器将本级结果图像发送至外部处理器；
否则，循环执行图像处理方法的执行过程。
进一步地，图像处理装置在图像处理任务开始时，获取外部处理器分割原图像得到的子图像；并将子图像作为本级结果图像存储于运算器的内部存储模块中。
第三方面，提供一种图像处理电子设备，包括：
一个或多个处理器；以及与一个或多个处理器关联的存储器，该存储器用于存储程序指令，该程序指令在被一个或多个处理器读取执行时，运算器并行执行如下操作：
获取外部处理器分割原图像得到的子图像，将子图像作为本级结果图像；
根据指定的卷积核和得到子图像的分割方式提取本级结果图像中的本级图像元素；
向前级运算器发送本级图像元素，并接收后级运算器发送的后级图像元素；
将本级结果图像与后级图像元素合成为本级待处理图像；
对本级待处理图像进行卷积运算，得到本级结果图像；
进一步地，当本级结果图像达到预设标准时，结束图像处理方法的执行过程；
否则，循环执行图像处理方法的执行过程。进一步地，获取外部处理器分割原图像得到的子图像包括：
以平行于原图像长边的方向，横向分割原图像，得到子图像；
或，
以平行于原图像宽边的方向，纵向分割原图像，得到子图像。
进一步地，卷积核具有宽度N和高度M；
宽度N为正奇数；
高度M为正奇数；
卷积核的通道数与本级待处理图像的通道数相同；
卷积核参数通过预先训练得到。
进一步地，根据指定的卷积核和得到子图像的分割方式提取本级结果图像中的本级图像元素包括：
若以平行于原图像长边的方向横向分割原图像，则复制本级结果图像中与前级结果图像边界毗邻的M-1条像素作为本级图像元素；
若以平行于原图像宽边的方向纵向分割原图像，则复制本级结果图像中与前级结果图像边界毗邻的N-1条像素作为本级图像元素。
进一步地，将本级结果图像与后级图像元素合成为本级待处理图像包括：
将后级图像元素顺序拼接至与本级结果图像衔接的边界处；
将拼接后的图像作为本级待处理图像。
进一步地，对本级待处理图像进行卷积运算包括：
为一次完整的卷积运算设置统一的步进值；
开始卷积运算过程；
第四方面，提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时使运算器并行实现如下过程：
获取外部处理器分割原图像得到的子图像，将子图像作为本级结果图像；
根据指定的卷积核和得到子图像的分割方式提取本级结果图像中的本级图像元素；
向前级运算器发送本级图像元素，并接收后级运算器发送的后级图像元素；
将本级结果图像与后级图像元素合成为本级待处理图像；
对本级待处理图像进行卷积运算，得到本级结果图像；
进一步地，当本级结果图像达到预设标准时，结束图像处理方法的执行过程；
否则，循环执行图像处理方法的执行过程。
进一步地，获取外部处理器分割原图像得到的子图像包括：
以平行于原图像长边的方向，横向分割原图像，得到子图像；
或，
以平行于原图像宽边的方向，纵向分割原图像，得到子图像。
进一步地，卷积核具有宽度N和高度M；
宽度N为正奇数；
高度M为正奇数；
卷积核的通道数与本级待处理图像的通道数相同；
卷积核参数通过预先训练得到。
进一步地，根据指定的卷积核和得到子图像的分割方式提取本级结果图像中的本级图像元素包括：
若以平行于原图像长边的方向横向分割原图像，则复制本级结果图像中与前级结果图像边界毗邻的M-1条像素作为本级图像元素；
若以平行于原图像宽边的方向纵向分割原图像，则复制本级结果图像中与前级结果图像边界毗邻的N-1条像素作为本级图像元素。
进一步地，将本级结果图像与后级图像元素合成为本级待处理图像包括：
将后级图像元素顺序拼接至与本级结果图像衔接的边界处；
将拼接后的图像作为本级待处理图像。
进一步地，对本级待处理图像进行卷积运算包括：
为一次完整的卷积运算设置统一的步进值；
开始卷积运算过程；
本发明实施例提供的技术方案带来的有益效果是：
1. 使用本发明公开的一种图像处理方法，将原图像无损分割为子图像，在图像处理过程中，降低了单个运算器处理图像的数据量，无需使用外部存储器，有效规避了数据在运算器和外部存储器之间的读写动作，避免了内存墙效应对图像处理性能的影响，达到大幅提升图像处理性能的效果。
2. 在图像数据量增大的时候，只需扩展运算模块中的运算器数量，采用原型号的运算器即可并行进行图像处理任务。无需更换高性能，高价格的运算模块，即保证了图像处理性能，又降低了硬件成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种执行图像处理任务的硬件架构示意图；
图2是本发明实施例提供的一种图像处理任务流程示意图；
图3是本发明实施例提供的一种在水平方向平均分割原图像的示意图；
图4是本发明实施例提供的一种在垂直方向平均分割原图像的示意图；
图5是本发明实施例提供的一种单个运算器内部功能模块示意图；
图6是本发明实施例提供的一种根据卷积核和横向方式分割的子图像提取本级图像元素的示意图；
图7是本发明实施例提供的一种根据卷积核和纵向方式分割的子图像提取本级图像元素的示意图；
图8是本发明实施例提供的一种横向分割的本级结果图像合成后级图像元素过程示意图；
图9是本发明实施例提供的一种纵向分割的本级结果图像合成后级图像元素过程示意图；
图10是本发明实施例提供的一种卷积运算示意图；
图11是本发明实施例提供的一种扩展运算模块的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。说明书附图中的编号，仅表示对各个功能部件或模块的区分，不表示部件或模块之间的逻辑关系。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
下面，将参照附图详细描述根据本公开的各个实施例。需要注意的是，在附图中，将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分，并且将省略关于它们的重复描述。
需要说明的是：原图像、子图像、本级结果图像和本级待处理图像的长边均由单个像素点的宽边重复排列构成，原图像、子图像、本级结果图像和本级待处理图像的宽边均由单个像素点的高边重复排列构成。位于卷积核宽边的卷积核参数与本级待处理图像的长边相对应；位于卷积核高边的卷积核参数与本级待处理图像的宽边相对应。
在一个实施例中，如图1所示的执行图像处理任务的硬件架构，包括：
运算模块100，用于执行本发明公布的图像处理方法。至少包括：
第一运算器111，第二运算器112，以及第一收发器141。其中第一运算器111，第二运算器112分别与总线400通信连接。第一运算器111与第二运算器112通过第一收发器141串行级联，第一运算器111通过第一收发器141接收第二运算器112发送的图像数据。为方便叙述，定义两个串行级联的运算器的关系为：通过收发器接收数据的运算器为前级运算器，通过收发器发送数据的运算器为后级运算器。
上述运算模块100中的每个运算器均具有独立的图像处理能力，可以选用现场可编程门阵列（Field Programmable Gate Array, 简称FPGA），中央处理器（CentralProcessing Unit, 简称CPU），图形处理器（Graphics Processing Unit, 简称GPU），神经网络处理（Neural-network Processing Unit, 简称NPU），数字信号处理（Digital SignalProcessing, 简称DSP）等。
上述收发器选用高速串行收发器，包括：GT(Gigabyte Transceiver), GTX, GTH等。
外部处理器200，用于对原图像进行分割，和对经运算模块处理后的图像进行合成。选用中央处理器（Central Processing Unit, 简称CPU），CPU可以采用X86架构也可以采用ARM架构。
外部存储器300，用于存储图像文件。作为动态随机存储器（Dynamic RandomAccess Memory, 简称DRAM）中的一种，通常选用同步动态随机存储器（SynchronousDynamic Random Access Memory, 简称SDRAM）作为外部存储器，同步动态随机存储器（SDRAM）能够将外部存储器的工作频率与中央处理器的工作频率同步，使数据传输实时到位。作为同步动态随机存储器（SDRAM）的一种，单倍数据速率同步动态随机存储器（SingleData Rate SDRAM, 简称SDR SDRAM）可以作为外部存储器的一种选择；作为一种优选的情况，双倍数据速率同步动态随机存储器（Double Data Rate SDRAM, 简称DDR SDRAM）可以在时钟信号的上升、下降沿传输数据，相比单倍数据速率同步动态随机存储器（SDR SDRAM）只能在上升沿传输数据，选用双倍数据速率同步动态随机存储器（DDR SDRAM）能够有效提升系统性能。
总线400，用于在运算模块100和外部处理器200之间交换数据。选用高速串行计算机扩展总线（Peripheral Component Interconnect Express, 简称PCIE）。
外部处理器200与外部存储器300之间通信连接；外部处理器200与总线400之间通信连接；总线400与运算模块100中的每个运算器通信连接。
图2示出了根据本发明公开的至少一实施例的一种图像处理任务流程的示意图，包括：
S1：获取外部处理器分割原图像得到的子图像，将该子图像作为本级结果图像；
S2：根据指定的卷积核和上述子图像的分割方式提取本级结果图像中的本级图像元素；
S3：向前级运算器发送该本级图像元素，并接收后级运算器发送的后级图像元素；
S4：将上述本级结果图像与后级图像元素合成为本级待处理图像；
S5：对上述本级待处理图像进行卷积运算，得到本级结果图像；
S6：当上述本级结果图像达到预设标准时，结束图像处理方法的执行过程；否则，循环执行图像处理方法的执行过程。
当图像处理任务开始时，首先执行处理步骤S1：包括：
S11：外部处理器从外部存储器中提取原图像；
S12：外部处理器对原图像进行无损分割处理，得到按顺序排列的子图像；
S13：外部处理器将按顺序排列的子图像发送至运算模块中对应的运算器。
其中，外部存储器300中存储有待处理的图像，该图像具有规则的几何边界，可以是正方形图像，也可以是长方形图像。
作为一种情况的，如图3所示，外部处理器200沿着与原图像长边平行的方向，将原图像平均分割为n个子图像。
作为另一种情况的，如图4所示，外部处理器200沿着与原图像宽边平行的方向，将原图像平均分割为n个子图像。
需要说明的是，上述分割是无损分割，即子图像数据量的总和相对于原图像数据量没有损失；平均分割的意思可以是按原图像面积大小进行平均分割，也可以按原图像数据量的大小进行平均分割。
将原图像平均分割为n个子图像，其中n≥N min ，N min 表示需要最少运算器的数量。N min 由公式计算得到：
其中，C表示原图像文件的数据大小，m表示每个运算器内部存储模块的容量大小。
进行分割的最小单位是一个像素点，即子图像的长或宽为像单个素点宽或高的整数倍，不出现分数倍数像素点的子图像长度或宽度。
对于原图片长边或宽边像素点数量不能被n整除的情况，对排序首位的子图像或排序末位的子图像的长边或宽边进行调整，以保证其他顺位的子图像被平均分割，并且每个子图像的数据量均小于对应运算器的内部存储器容量m。
外部处理器200通过总线400将子图像依次发送至运算模块100中对应的运算器，运算器将接收到的子图像作为本级结果图像保存在内部存储模块中。
运算模块100中每个运算器内部的功能模块如图5所示，单个运算器110内部功能模块包括：
卷积运算模块11，用于对存储于内部存储模块12的本级待处理图像进行卷积运算；
内部存储模块12，用于存储本级待处理图像和本级结果图像；
图像与处理模块13，用于从本级结果图像中提取本级图像元素，并通过所述串行收发器发送至前级的所述图像预处理模块；以及将串行收发器接收到的后级图像元素，与本级所述内部存储模块中的所述本级结果图像进行合成，生成本级待处理图像；并将本级待处理图像存储于所述本级内部存储模块；
运算器110通过串行收发器14i与后级运算器级联，用于接收后级运算器发送的图像元素；通过串行收发器14o与前级运算器级联，用于向前级运算器发送本级图像元素。
以图1所示的运算模块100结构为例，叙述S2步骤根据指定的卷积核和上述子图像的分割方式提取本级结果图像中的本级图像元素的过程。其中，卷积核维度可以是3×3，5×5，……，作为一种普遍的情况，卷积核维度可以表示为N×M。
如图6所示，卷积核维度为N×M，子图像以平行于原图像长边的方向，横向分割得到。第二运算器112，提取本级结果图像中的本级图像元素时，取与分割线毗邻的M-1条像素进行复制，得到本级图像元素。如图7所示，对于卷积核维度为N×M，子图像以平行于原图像宽边的方向，纵向分割的情况，第二运算器112，提取本级结果图像中的本级图像元素时，取与分割线毗邻的N-1条像素进行复制，得到本级图像元素。
S3：向前级运算器发送该本级图像元素，并接收后级运算器发送的后级图像元素。图像元素由串行级联的第一运算器111和第二运算器112之间的串行收发器141传递。
S4：将上述本级结果图像与后级图像元素合成为本级待处理图像。
针对原图像不同的分割方式，S2-S4的过程可以由图8和图9表示。
如图8所示，若外部处理器200是以横向分割的方式划分原图片，则，运算器在提取本级图像元素时，将与前级毗邻的本级结果图像分界处M-1条像素点高度的图像复制，并通过串行收发器141发送至前级运算器。接收后级运算器发送的后级图像元素，在本级结果图像与后级子图像的分界处将后级图像元素合成到本级结果图像。
如图9所示，若外部处理器200是以纵向分割的方式划分原图片，则，运算器在提取本级图像元素时，将与前级毗邻的本级结果图像分界处N-1条像素点宽度的图像复制，并通过串行收发器141发送至前级运算器。接收后级运算器发送的后级图像元素，在本级结果图像与后级子图像的分界处将后级图像元素合成到本级结果图像。
通过对前级图像进行补图处理，起到了消除图像分界处噪声的作用，达到了图像处理质量不受图像分割方法影响的效果。
将合成后的图像作为本级待处理图像保存在内部存储模块12中。
S5：对上述本级待处理图像进行卷积运算，得到本级结果图像；
对本级待处理图像进行卷积运算，首先要根据图像处理任务选取卷积核。通常，卷积核在一个通道上的维度为3×3。然而，一张原始图像是由红（R）、绿（G）、蓝（B）三个通道的像素叠加而成，要将卷积核在红、绿、蓝三个通道上进行训练，才能得到合适的卷积核。
如图10所示，使用训练得到的卷积核，设置步进值为1（表示卷积核每次在图像上移动一个像素宽或高的单位），对待处理图像进行卷积运算。可以得到本级结果图像，并将其存储于内部存储模块。
运算器在图像处理过程中，无需使用外部存储器，有效规避了数据在运算器和外部存储器之间的读写动作，避免了内存墙效应对图像处理性能的影响，达到大幅提升图像处理性能的效果。
S6：当上述本级结果图像达到预设标准时，结束图像处理方法的执行过程；否则，循环执行图像处理方法的执行过程。在本级结果图像达到预设标准后，运算模块100，将其中每个运算器处理的子图像通过总线400发送给外部处理器200。
最终，由外部处理器200将各个运算器发回的结果图像依次拼接，合成最终结果图像。这一拼接过程即为前述S1分割过程的逆过程。
在另一个实施例中，对于数据量较大的图像进行处理。如图11，运算模块100的基本架构不变，需要对其中的运算器进行扩展，即可适应相应的图像处理任务，其中运算模块100中需要的运算器数量n，前文已介绍，不再赘述。对于扩展的运算器（第n运算器11n）需要与总线400建立通信连接。同时，需要与前级运算器通过串行收发器142进行串行级联。各运算器，以及运算模块100，处理200，外部存储器300，总线400的工作流程与前文叙述相同，在此不再赘述。
通过扩展运算模块中运算器的数量，即可执行对大数据量图像的处理任务。仍然采用原型号的运算器，无需更换高性能，高价格的运算器。
对于扩展后的运算模块，其中每一个运算器仍然采用本发明公开的图像处理方法，使运算器对数据量大的图像可以进行并行处理，采用多个运算器并行计算，串行级联的硬件架构可以达到压缩图像处理时间，提高图像整体处理性能的效果。
在使用高性能运算器受到客观制约的情况下，使用多个低性能的运算器可以起到替代一个高性能的运算器的作用，并且达到与单个高性能运算器相同、甚至更高的计算能力，同时大大降低成本的效果。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
实施例一
在本实施例中，运算模块100中的各运算器使用FPGA，外部处理器200使用CPU，外部存储器300使用DDR，总线400使用PCIE总线，串行收发器141选择GT高速串行收发器，单通道卷积核为3×3，通道数量与原图像通道数量对应；采用横向二分原图像进行图像处理。
当图像处理任务开始时，CPU从DDR中读取矩形原图像，沿与长边平行的横向切割线对原图像进行分割操作。得到面积相同的子图像。经由PCIE总线，将子图像分别发送至对应的FPGA1运算器和FPGA2运算器，存储于各个运算器的内部存储模块中。其中FPGA1相当于前级运算器，FPGA2相当于后级运算器。存储于内部存储模块中的子图像，将作为各FPGA的本级结果图像，由两个运算器分别对其进行进一步处理。
在本实施例中，卷积核的维度为3×3，卷积核的通道数与各个子图像通道数一致。
后级FPGA2运算器自图像分割线处复制毗邻分割线的两行像素图像作为图像元素，并将上述图像元素通过GT高速串行收发器发送至前级FPGA1，前级FPGA1接收到上述图像元素后，沿分割线将上述图像元素补充至本级结果图像，生成本级待处理图像，后级FPGA的本级结果图像即为后级FPGA的本级待处理图像。
此时，前级FPGA1和后级FPGA2将对各自的待处理图像进行并行卷积运算，分别得到各自的本级果图像。
重复执行上述过程，直至结果图像达到预设要求。
之后，FPGA1，FPGA2分别将各自的本级结果图像通过PCIE总线传输至CPU，CPU合成最终结果图像，存储于外接的DDR中，完成图像处理任务。
实施例二
为了处理数据量较大的高清图像，在本实施例中提供了按照如图1所示的运算模块架构，对运算器硬件设备进行扩展的情况，运算器的数量为n，n的计算方法由前述公式计算得到。在本实施例中，运算模块100中的各运算器使用GPU，外部处理器200使用CPU，外部存储器300使用DDR，总线400使用PCIE总线，串行收发器141，串行收发器142等，选择GT高速串行收发器，单通道卷积核为3×3，通道数量与原图像通道数量对应；采用纵向分割的处理方法将原图像分割为n份。
当图像处理任务开始时，CPU从DDR中读取矩形原图像，沿与长边平行的纵向切割线对原图像进行分割操作。得到面积相同的子图像。经由PCIE总线，将子图像分别发送至对应的GPU，存储于GPU的显存中。其中GPU的前级、后级关系可以由数据传递方向定义：串行级联的两个GPU，接收图像元素的一个为前级GPU，发送图像元素的一个为后级GPU。存储于显存中的子图像，将作为各GPU的本级结果图像，由各GPU进一步处理。
本实施例中，卷积核维度为N×M，卷积核的通道数与各个子图像通道数一致。
随后，本级GPU对存储于显存的本级结果图像进行处理，后级GPU自图像分割线处复制毗邻分割线的N-1列像素图像作为图像元素，并将上述图像元素通过串行收发器发送至前级GPU，前级GPU接收到上述图像元素后，沿分割线将上述图像元素补充至本级结果图像，生成本级待处理图像，后级GPU的本级结果图像即为后级GPU的本级待处理图像。
此时，各个GPU对本级待处理图像进行卷积运算，得到结果图像，并保存在显存中。重复进行图像元素复制，待处理图像合成，卷积运算，得到结果图像的过程，直到上述结果图像符合预设要求。
之后，各个GPU分别将各自的本级结果图像通过PCIE总线传输至CPU，CPU合成最终结果图像，存储于DDR中，完成图像处理任务。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括装载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储器被安装，或者从ROM 被安装。在该计算机程序被外部处理器执行时，执行本申请的实施例的方法中限定的上述功能。
需要说明的是，本申请的实施例的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(Radio Frequency, 射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述服务器中所包含的；也可以是单独存在，而未装配入该服务器中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该服务器执行时，使得该服务器：响应于检测到终端的外设模式未激活时，获取终端上应用的帧率；在帧率满足息屏条件时，判断用户是否正在获取终端的屏幕信息；响应于判断结果为用户未获取终端的屏幕信息，控制屏幕进入立即暗淡模式。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java,Smalltalk, C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上对本申请所提供的技术方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种图像处理方法，应用于图像处理装置中的运算器，其特征在于，其中所述图像处理装置至少包括第一运算器和第二运算器，所述第一运算器和第二运算器通过串行收发器级联，所述第一运算器和第二运算器并行执行所述图像处理方法，所述图像处理方法包括：
获取外部处理器分割原图像得到的子图像，将所述子图像作为本级结果图像；
根据指定的卷积核和得到所述子图像的分割方式提取本级结果图像中的本级图像元素；
向前级运算器发送所述本级图像元素，并接收后级运算器发送的后级图像元素；
将所述本级结果图像与所述后级图像元素合成为本级待处理图像；
对所述本级待处理图像进行卷积运算，得到所述本级结果图像。
2.根据权利要求1所述的一种图像处理方法，其特征在于，当所述本级结果图像达到预设标准时，结束所述图像处理方法的执行过程；
否则，循环执行所述图像处理方法的执行过程。
3.根据权利要求1所述的一种图像处理方法，其特征在于，所述外部处理器分割原图像得到的子图像包括：
以平行于所述原图像长边的方向，横向分割原图像，得到所述子图像；
或，
以平行于所述原图像宽边的方向，纵向分割原图像，得到所述子图像。
4.根据权利要求1所述的一种图像处理方法，其特征在于，所述卷积核具有宽度N和高度M；
所述宽度N为正奇数；
所述高度M为正奇数；
所述卷积核的通道数与所述本级待处理图像的通道数相同；
所述卷积核参数通过预先训练得到。
5.根据权利要求4所述的一种图像处理方法，其特征在于，所述根据指定的卷积核和得到所述子图像的分割方式提取本级结果图像中的本级图像元素包括：
若以平行于所述原图像长边的方向横向分割原图像，则复制所述本级结果图像中与前级结果图像边界毗邻的M-1条像素作为所述本级图像元素；
若以平行于所述原图像宽边的方向纵向分割原图像，则复制所述本级结果图像中与前级结果图像边界毗邻的N-1条像素作为所述本级图像元素。
6.根据权利要求1所述的一种图像处理方法，其特征在于，所述将所述本级结果图像与所述后级图像元素合成为本级待处理图像包括：
将所述后级图像元素顺序拼接至与所述本级结果图像衔接的边界处；
将拼接后的图像作为本级待处理图像。
7.根据权利要求1所述的一种图像处理方法，其特征在于，所述对所述本级待处理图像进行卷积运算包括：
为一次完整的卷积运算设置统一的步进值；
开始卷积运算过程。
8.一种图像处理装置，其特征在于，至少包括：
第一运算器和第二运算器；
其中，所述第一运算器与所述第二运算器均并行执行如权利要求1-7任意一项所述的图像处理方法；
所述第一运算器与所述第二运算器通过串行收发器级联；
所述第一运算器作为前级运算器，接收图像元素；
所述第二运算器作为后级运算器，发送图像元素；
所述串行收发器用于将所述后级运算器的图像元素作为后级图像元素，发送至所述前级运算器。
9.根据权利要求8所述的一种图像处理装置，其特征在于，所述运算器包括：
内部存储模块，用于存储本级待处理图像和本级结果图像；
卷积运算模块，用于对存储于内部存储模块的本级待处理图像进行卷积运算；
图像预处理模块，用于从本级结果图像中提取本级图像元素，并通过所述串行收发器发送至前级的所述图像预处理模块；以及将串行收发器接收到的后级图像元素，与本级所述内部存储模块中的所述本级结果图像进行合成，生成本级待处理图像；并将所述本级待处理图像存储于所述本级内部存储模块。
10.一种图像处理电子设备，其特征在于，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令，所述程序指令在被所述一个或多个处理器读取执行时，运算器并行执行如权利要求1-7任意一项所述的图像处理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111114230.7A CN113570612B (zh) | 2021-09-23 | 2021-09-23 | 一种图像处理方法、装置及设备 |
| PCT/CN2022/074064 WO2023045197A1 (zh) | 2021-09-23 | 2022-01-26 | 一种图像处理方法、装置及设备 |
| US18/564,341 US20240265496A1 (en) | 2021-09-23 | 2022-01-26 | Image processing method, apparatus and device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111114230.7A CN113570612B (zh) | 2021-09-23 | 2021-09-23 | 一种图像处理方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113570612A true CN113570612A (zh) | 2021-10-29 |
| CN113570612B CN113570612B (zh) | 2021-12-17 |
Family
ID=78174053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111114230.7A Active CN113570612B (zh) | 2021-09-23 | 2021-09-23 | 一种图像处理方法、装置及设备 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240265496A1 (zh) |
| CN (1) | CN113570612B (zh) |
| WO (1) | WO2023045197A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023045197A1 (zh) * | 2021-09-23 | 2023-03-30 | 苏州浪潮智能科技有限公司 | 一种图像处理方法、装置及设备 |
| WO2023112581A1 (ja) * | 2021-12-14 | 2023-06-22 | 富士フイルム株式会社 | 推論装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103493039A (zh) * | 2012-04-28 | 2014-01-01 | 华为技术有限公司 | 数据处理方法和相关装置 |
| CN104760550A (zh) * | 2015-04-29 | 2015-07-08 | 张金甫 | 一种汽车门信号转换器及汽车伸缩踏板 |
| CN105243399A (zh) * | 2015-09-08 | 2016-01-13 | 浪潮(北京)电子信息产业有限公司 | 一种实现图像卷积的方法和装置、实现缓存的方法和装置 |
| US20190197656A1 (en) * | 2017-01-27 | 2019-06-27 | Fujitsu Limited | Processor, information processing apparatus, and operation method of processor |
| US20190206022A1 (en) * | 2016-09-08 | 2019-07-04 | Sony Corporation | Arithmetic device and sensor |
| CN110196053A (zh) * | 2019-06-13 | 2019-09-03 | 内蒙古大学 | 一种基于fpga的实时田间机器人视觉导航方法与系统 |
| CN110516799A (zh) * | 2019-08-16 | 2019-11-29 | 浪潮电子信息产业股份有限公司 | 一种数据处理系统、方法及介质 |
| CN111507950A (zh) * | 2020-04-08 | 2020-08-07 | 北京推想科技有限公司 | 图像分割的方法和装置、电子设备及计算机可读存储介质 |
| CN111738276A (zh) * | 2020-06-19 | 2020-10-02 | 浪潮(北京)电子信息产业有限公司 | 基于多核卷积神经网络的图像处理方法、装置及设备 |
| CN111898081A (zh) * | 2020-07-09 | 2020-11-06 | 上海兆芯集成电路有限公司 | 卷积运算方法及卷积运算装置 |
| CN111931877A (zh) * | 2020-10-12 | 2020-11-13 | 腾讯科技（深圳）有限公司 | 目标检测方法、装置、设备及存储介质 |
| CN112995491A (zh) * | 2019-12-13 | 2021-06-18 | 阿里巴巴集团控股有限公司 | 视频生成方法、装置、电子设备及计算机存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107704923B (zh) * | 2017-10-19 | 2024-08-20 | 珠海格力电器股份有限公司 | 卷积神经网络运算电路 |
| US10970599B2 (en) * | 2018-11-15 | 2021-04-06 | Adobe Inc. | Learning copy space using regression and segmentation neural networks |
| CN110555847B (zh) * | 2019-07-31 | 2021-04-02 | 瀚博半导体(上海)有限公司 | 一种基于卷积神经网络的图像处理方法及装置 |
| CN113570612B (zh) * | 2021-09-23 | 2021-12-17 | 苏州浪潮智能科技有限公司 | 一种图像处理方法、装置及设备 |
-
2021
- 2021-09-23 CN CN202111114230.7A patent/CN113570612B/zh active Active
-
2022
- 2022-01-26 US US18/564,341 patent/US20240265496A1/en active Pending
- 2022-01-26 WO PCT/CN2022/074064 patent/WO2023045197A1/zh active Application Filing
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103493039A (zh) * | 2012-04-28 | 2014-01-01 | 华为技术有限公司 | 数据处理方法和相关装置 |
| CN104760550A (zh) * | 2015-04-29 | 2015-07-08 | 张金甫 | 一种汽车门信号转换器及汽车伸缩踏板 |
| CN105243399A (zh) * | 2015-09-08 | 2016-01-13 | 浪潮(北京)电子信息产业有限公司 | 一种实现图像卷积的方法和装置、实现缓存的方法和装置 |
| US20190206022A1 (en) * | 2016-09-08 | 2019-07-04 | Sony Corporation | Arithmetic device and sensor |
| US20190197656A1 (en) * | 2017-01-27 | 2019-06-27 | Fujitsu Limited | Processor, information processing apparatus, and operation method of processor |
| CN110196053A (zh) * | 2019-06-13 | 2019-09-03 | 内蒙古大学 | 一种基于fpga的实时田间机器人视觉导航方法与系统 |
| CN110516799A (zh) * | 2019-08-16 | 2019-11-29 | 浪潮电子信息产业股份有限公司 | 一种数据处理系统、方法及介质 |
| CN112995491A (zh) * | 2019-12-13 | 2021-06-18 | 阿里巴巴集团控股有限公司 | 视频生成方法、装置、电子设备及计算机存储介质 |
| CN111507950A (zh) * | 2020-04-08 | 2020-08-07 | 北京推想科技有限公司 | 图像分割的方法和装置、电子设备及计算机可读存储介质 |
| CN111738276A (zh) * | 2020-06-19 | 2020-10-02 | 浪潮(北京)电子信息产业有限公司 | 基于多核卷积神经网络的图像处理方法、装置及设备 |
| CN111898081A (zh) * | 2020-07-09 | 2020-11-06 | 上海兆芯集成电路有限公司 | 卷积运算方法及卷积运算装置 |
| CN111931877A (zh) * | 2020-10-12 | 2020-11-13 | 腾讯科技（深圳）有限公司 | 目标检测方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| HUYNH VINH PHU 等: "Design and Implementation of Configurable Convolutional Neural N", 《2019 6TH NAFOSTED CONFERENCE ON INFORMATION AND COMPUTER SCIENCE (NICS)》 * |
| 王飞 等: "基于BP算法的片上学习CNN硬件加速器", 《合肥工业大学学报(自然科学版)》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023045197A1 (zh) * | 2021-09-23 | 2023-03-30 | 苏州浪潮智能科技有限公司 | 一种图像处理方法、装置及设备 |
| WO2023112581A1 (ja) * | 2021-12-14 | 2023-06-22 | 富士フイルム株式会社 | 推論装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240265496A1 (en) | 2024-08-08 |
| CN113570612B (zh) | 2021-12-17 |
| WO2023045197A1 (zh) | 2023-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10861133B1 (en) | Super-resolution video reconstruction method, device, apparatus and computer-readable storage medium | |
| CN113570612B (zh) | 一种图像处理方法、装置及设备 | |
| CN113034358B (zh) | 一种超分辨率图像处理方法以及相关装置 | |
| EP4107692A1 (en) | Super resolution using convolutional neural network | |
| US12056843B2 (en) | Methods and systems for image processing | |
| CN110782387B (zh) | 图像处理方法、装置、图像处理器及电子设备 | |
| US11887277B2 (en) | Removing compression artifacts from digital images and videos utilizing generative machine-learning models | |
| US11669943B2 (en) | Dual-stage system for computational photography, and technique for training same | |
| US11803933B2 (en) | Data processing method and sensor device for performing the same | |
| CN112184538B (zh) | 图像加速方法、相关装置、设备及存储介质 | |
| CN109089120B (zh) | 分析辅助编码 | |
| US11403782B2 (en) | Static channel filtering in frequency domain | |
| CN111179158A (zh) | 图像处理方法、装置、电子设备及介质 | |
| CN115409719A (zh) | 数据处理方法、装置、终端设备及计算机可读存储介质 | |
| CN117808857B (zh) | 一种自监督360°深度估计方法、装置、设备及介质 | |
| US11823434B1 (en) | Techniques for adaptive frame-based clip matching and fingerprinting | |
| US20170171473A1 (en) | Method for realizing photographing effect of a distorting mirror and electronic device | |
| CN103918002B (zh) | 用于视频分析和编码的存储器控制器 | |
| CN115829842B (zh) | 一种基于fpga实现图片超分辨率重建的装置 | |
| CN112017112B (zh) | 图像处理方法、装置和系统以及计算机可读存储介质 | |
| CN115249207A (zh) | 视频超分方法、装置、视频超分模型、介质及终端设备 | |
| KR20240115657A (ko) | 전자 장치 및 이의 제어 방법 | |
| WO2019174522A1 (zh) | 一种图像生成方法和装置 | |
| CN113542808A (zh) | 视频处理方法、设备、装置以及计算机可读介质 | |
| CN115147264A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |