CN103188487A - 视频图像中的卷积方法及视频图像处理系统 - Google Patents

视频图像中的卷积方法及视频图像处理系统 Download PDF

Info

Publication number
CN103188487A
CN103188487A CN201110448867XA CN201110448867A CN103188487A CN 103188487 A CN103188487 A CN 103188487A CN 201110448867X A CN201110448867X A CN 201110448867XA CN 201110448867 A CN201110448867 A CN 201110448867A CN 103188487 A CN103188487 A CN 103188487A
Authority
CN
China
Prior art keywords
pixel
convolution
parallel computation
video image
bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201110448867XA
Other languages
English (en)
Other versions
CN103188487B (zh
Inventor
孙皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leadcore Technology Co Ltd
Original Assignee
Leadcore Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leadcore Technology Co Ltd filed Critical Leadcore Technology Co Ltd
Priority to CN201110448867.XA priority Critical patent/CN103188487B/zh
Publication of CN103188487A publication Critical patent/CN103188487A/zh
Application granted granted Critical
Publication of CN103188487B publication Critical patent/CN103188487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Complex Calculations (AREA)

Abstract

本发明涉及数字信号处理领域,公开了一种视频图像中的卷积方法及视频图像处理系统。本发明中,通过将多个卷积结果中起到相同作用的像素合并成具有与处理器支持的X位算术指令相同位宽的并行计算像素,并通过并行计算得到多个卷积结果。比如说,可利用32位算术指令实现4个8位或2个16位的并行卷积运算。使得在视频图像的处理系统中,能够充分利用处理器的算术指令位数,从而大大提高了卷积运算效率。其中,通过将需要计算的像素按X位右移N比特,将运算控制在8比特或16比特范围之内,并对右移致使的最低N位丢失所引入的误差,通过补偿值e进行补偿。

Description

视频图像中的卷积方法及视频图像处理系统
技术领域
本发明涉及数字信号处理领域,特别涉及像素卷积算法的优化。
背景技术
随着信息世界的迅速发展,数字视频产品需求近些年出现猛增。主流应用包括视频通信、安全监控、工业自动化、网络视频等等。数字视频的主要挑战在于原始或未压缩的视频需要存储或传输大量数据,因此,提出了各种视频压缩的标准。
视频压缩的目的是对数字视频进行编码,在保持视频质量的同时占用尽可能少的空间。由运动图像专家组(Moving Picture Expert Group,简称“MPEG”)制定的H.26X视频压缩编码标准,已经逐渐成为多媒体通信中的主流标准。然而,为了保证压缩视频的画面质量,还需要对压缩视频进行卷积操作,用像素本身以及邻近像素的加权平均值来替换这个像素,可用于模糊和锐化图像、查找图像边缘以及调整图像的对比度。公式(1)即为现有的卷积公式:
Y ( s ) = Σ m X ( i ) H ( s - i ) - - - ( 1 )
其中,m为卷积阶数,Y(s)表示s状态的响应,X(i)表示激励,H(i)为传递函数。
实际的像素卷积在物理意义上可理解为插值或滤波操作,例如,对于某一像素点P的4阶插值或滤波常用的模型如公式(2):
P = clip ( a · P 0 + b · P 1 + c · P 2 + d · P 3 + roundType ( a + b + c + d ) ) - - - ( 2 )
其中P0、P1、P2、P3是与P点相关的像素点,既可以是空间分布也可以是时间分布上相关的点,a、b、c、d是用来控制相关性大小的加权系数,一般a+b+c+d为2的n次方,roundType为舍入控制,clip操作为饱和处理到0-255。
从公式上看来,对于一帧视频图像来说,每一个点都做这样的运算是很大的一笔开销。对于嵌入式系统来说,要满足编解码器实时性的要求,插值和滤波这类算术密集型模块正是瓶颈所在。也就是说,目前的卷积处理中,存在以下问题:
(1)由于像素级的算术操作多局限在0-255,甚至0-65535,即8位或者16位的运算,这样对于支持32位算术指令的微处理器来说比较浪费;
(2)一般支持32位算术指令的微处理器同样支持32位的内存访问指令,这样像素级(8位或16位)的内存访问效率不高;
(3)类似插值这类卷积操作,卷积窗口的移动以单个像素为单位,上一次卷积所用的多数的像素点这一次卷积还会用到,不应该重复存取。
发明内容
本发明的目的在于提供一种视频图像中的卷积方法及视频图像处理系统,使得在视频图像的处理系统中,能够充分利用处理器的算术指令位数,从而大大提高了卷积运算效率。
为解决上述技术问题,本发明的实施方式提供了一种视频图像中的卷积方法,包含以下步骤:
将在L个卷积结果中起到相同作用的像素组成X位数的并行计算像素,其中,每个像素的位数为T,L*T=X,X为处理器支持的算术指令位数,所述起到相同作用的像素为卷积公式中表示相同含义的像素;
根据组成的各所述并行计算像素,并行计算出所述L个卷积结果。
本发明的实施方式还提供了一种视频图像处理系统,包含:
并行计算像素获取模块,用于将在L个卷积结果中起到相同作用的像素组成X位数的并行计算像素,其中,每个像素的位数为T,L*T=X,X为处理器支持的算术指令位数,所述起到相同作用的像素为卷积公式中表示相同含义的像素;
卷积计算模块,用于根据所述并行计算像素获取模块组成的各所述并行计算像素,并行计算出所述L个卷积结果。
本发明实施方式相对于现有技术而言,通过将多个卷积结果中起到相同作用的像素合并成具有与处理器支持的X位算术指令相同位宽的并行计算像素,并通过并行计算得到多个卷积结果。比如说,可利用32位算术指令实现4个8位或2个16位的并行卷积运算。使得在视频图像的处理系统中,能够充分利用处理器的算术指令位数,从而大大提高了卷积运算效率。
优选地,可通过以下方式并行计算出L个卷积结果:
根据卷积公式确定单独计算一个卷积结果时,参与计算的像素运算后溢出的位数N,并将所述参与计算的像素最低N比特位相加,得到补偿值e;其中,所述最低N比特位相加需要进位时,所述e为1,所述最低N比特位相加不需要进位时,所述e为0;将组成的各所述并行计算像素均右移N位;将右移N位后的各所述并行计算像素与所述补偿值e按X位相加,得到所述L个卷积结果。由于将需要计算的像素按X位右移了N比特,因此可将运算控制在8比特或16比特范围之内,排除了单个8位运算溢出对相邻8位的影响。而且由于右移致使最低N位丢失所引入的误差,通过补偿值e进行了补偿,保证了最终卷积结果的准确性。
优选地,通过一次性取出L个所述在L个卷积结果中起到相同作用的像素,将在L个卷积结果中起到相同作用的像素组成X位数的并行计算像素。由于一般支持32位算术指令的微处理器同样支持32位的内存访问指令,因此在内存对齐的情况下,可将L个在L个卷积结果中起到相同作用的像素一次性取出,相对单独取出每个参与卷积计算的像素而言,大大提高了存取效率。
优选地,如果当前需要一次性取出的L个像素,与之前已经一次性取出的L个像素存在交叉像素,则通过对所述已经一次性取出的L个像素和不交叉像素进行位移操作,得到当前需要一次性取出的L个像素,其中,所述不交叉像素为当前需要一次性取出的L个像素中除所述交叉像素外的其他像素。通过对像素存取过程中的像素点复用,可有效避免重复存取带来的消耗。
附图说明
图1是根据本发明第一实施方式的视频图像中的卷积方法流程图;
图2是根据本发明第一实施方式中的垂直方向插值示意图;
图3是根据本发明第一实施方式中的垂直方向4点插值示意图;
图4是根据本发明第一实施方式中的32位加法和8位加法的不同处理示意图;
图5是根据本发明第一实施方式中的U32、D32、I32中的比特排列示意图;
图6是根据本发明第二实施方式中的对角线方向4点插值示意图;
图7是根据本发明第二实施方式中的A32、B32、C32、D32中像素分布示意图;
图8是根据本发明第三实施方式的视频图像处理系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请各权利要求所要求保护的技术方案。
本发明的第一实施方式涉及一种视频图像中的卷积方法,具体流程如图1所示。
在步骤101中,将在L个卷积结果中起到相同作用的像素组成X位数的并行计算像素,其中,每个像素的位数为T,L*T=X,X为处理器支持的算术指令位数,所述起到相同作用的像素为卷积公式中表示相同含义的像素。为便于理解,在本实施方式中,以X为32,T为8,L为4为例进行说明。
本领域技术人员可以理解,在H.263压缩标准中,垂直方向的卷积公式为:
I = U + D 2 - - - ( 3 )
如图2所示,卷积结果I即为相邻2个像素点的平均值。其中I、U、D都是8位宽的像素值,范围在0~255之间。如果每个I都按公式(3)运算将是很大的运算负担,因此在本实施方式中,利用32位算术指令一次性进行4个8位的像素点的卷积运算(即X为32,T为8,L为4),如图3所示。
具体地说,如图3所示,U0、U1、U2、U3为公式(3)中表示相同含义的像素;D0、D1、D2、D3为公式(3)中表示相同含义的像素。因此在本步骤中,通过一次性取出U0、U1、U2、U3,得到由U0、U1、U2、U3组成的32位数的并行计算像素U32,通过一次性取出D0、D1、D2、D3,得到由D0、D1、D2、D3组成的32位数的并行计算像素D32。本领域技术人员可以理解,在内存对齐的情况下,D32和D32可以一次性取出,要比单独取U0至U3,D0至D3的效率要高,计算结果I32由I0、I1、I2、I3组成,可以一次性存入32位对齐的内存地址,效率也会更高。
接着,在步骤102至步骤104中,根据组成的各所述并行计算像素,并行计算得到4个卷积结果,即根据U32和D32并行计算出由I0、I1、I2、I3组成的I32
具体地说,从存储的角度看,一个32位数的空间可以存放4个8位数;但从计算的角度看,则不可以以32位为单位直接实现4个8位数的计算,只有在4个8位数的计算都不会产生溢出的情况下才可以以32位为单位直接进行计算,因为4个8位数在存储空间上紧密相连,没有空余的bit位,如果产生溢出,将会影响到相邻的8位数。比如说,对于两个32位数0x02000003和0x00FFFFFE相加正常的操作如图4左侧所示,最低8位0x03与0xFE相加导致溢出,接连导致高8位的溢出,实际结果为0x03000001。但如果将一个32位数看做4个8位数单独相加的操作如图4右侧所示,对于4对8位数0x03和0xFE、0x00和0xFF、0x00和0xFF、0x02和0x00相加的结果为0xFF,0xFF,0xFF,0x02,其中0x03和0xFE相加的结果经过饱和处理到0xFF,不会向高位溢出,结果为0x02FFFFFF。即从存储的角度看,两种计算方法所得的结果不同,对于减法和乘法运算过程也类似,要达到用32位运算实现4对8位数运算的目的,关键需要解决溢出的问题,排除单个8位运算溢出对相邻8位的影响,达到与饱和处理同样的效果。
因此,在本实施方式中,将通过一些变换使得可以根据U32和D32计算出4个按照公式(3)计算出的卷积结果。公式(3)可以继续演化为:
I = U + D 2 = ( U + D ) > > 1 = ( U > > 1 ) + ( D > > 1 ) + e - - - ( 4 )
其中“>>1”表示2进制数右移一位,e为1或者0,这是由于右移一位使最低位丢失所引入的误差。公式(4)的意义在于:U和D为8bit数,U+D的结果则需要9bit位宽,溢出1bit,导致计算范围扩大,而(U>>1)+(D>>1)的结果只需要8bit位宽,这样计算(U>>1)+(D>>1)+e的过程始终控制在8bit范围之内,但这样就会引入e的影响。所以得出I的关键是计算出e是1还是0。
由公式(4)可以继续演化:
Figure BDA0000125814410000071
U和D的最后1比特相加是否需要进位决定了e是1还是0,即如果要还原((U+D)>>1)的值,就需要将U和D丢失的比特位相加的结果补偿回来。为方便理解,下面先介绍两类操作:
(1)A、B、C均为32位数C=A & B表示将A和B的相应比特进行“与”运算,结果放在C中;
(2)A、B、C均为32位数C=A|B表示将A和B的相应比特进行“或”运算,结果放在C中。
因此,在步骤102中,计算出e的值。具体地,根据卷积公式确定单独计算一个卷积结果时,参与计算的像素运算后溢出的位数N,并将所述参与计算的像素最低N比特位相加,得到补偿值e;其中,所述最低N比特位相加需要进位时,所述e为1,所述最低N比特位相加不需要进位时,所述e为0。通过上述分析可知,在本实施方式中,根据公式(3)可确定参与计算的U、I运算后溢出的位数N为1,因此将U、I的最低1比特位相加。U32、D32、I32中的比特排列如图5所示,可见e3=u24|d24,e2=u16|d16,e1=u8|d8,e0=u0|d0,即对于32位数e32=(U32|D32)&0x01010101。
接着,在步骤103中,将组成的各并行计算像素均右移N位,即将U32、D32分别右移1位,将4组运算过程控制在8bit(比特)范围内,不相互影响,即(U>>1)和(D>>1)。本步骤中对于32位数tmp_U32=(U32 & 0xFEFEFEFE)>>1,32位数tmp_D32=(D32&0xFEFEFEFE)>>1。其中“&0xFEFEFEFE”是为了将用来计算e的最低比特清零,以免>>1后影响右侧的8bit数。
接着,在步骤104中,将右移N位后的各并行计算像素与补偿值e按X位相加,得到所述L个卷积结果。即将步骤102中得到的e32与步骤103中得到的tmp_U32、tmp_D32,按32位相加,相加结果即为I32,I32=tmp_U32+tmp_D32+e32
不难发现,在本实施方式中,可利用32位算术指令实现4个8位的并行卷积运算,有利于对齐的内存存取操作,使得在视频图像的处理系统中,能够充分利用处理器的算术指令位数,从而大大提高了卷积运算效率。也就是说,本实施方式结合了处理器指令集的优势,并且在内存存取上要更加高效,实际应用中要比单个像素的计算效率要高。而且,由于将需要计算的像素按32位右移了N比特,因此可将运算控制在8比特或16比特范围之内,排除了单个8位运算溢出对相邻8位的影响。而且由于右移致使最低N位丢失所引入的误差,通过补偿值e进行了补偿,保证了最终卷积结果的准确性。
需要说明的是,在本实施方式中,是以X为32,T为8,L为4为例进行说明的,但在实际应用中,也可以是X为32,T为16,L为2,即由支持32位算术指令的微处理器实现2个16位的并行卷积运算,具体实现方式与本实施方式类似,在此不再赘述。
本发明的第二实施方式涉及一种视频图像中的卷积方法。第二实施方式与第一实施方式大致相同,主要区别之处在于:在第一实施方式中,使用的卷积公式为垂直方向上的插值计算。而在本发明第二实施方式中,使用的卷积公式为对角线方向上的插值计算。
具体地说,对角线方向插值示意图如图6所示,每个插值点(即卷积结果)由其周围的四个点取平均值所得,如公式(6)
I x = U x + U x + 1 + D x + D x + 1 4 - - - ( 6 )
其中,Ix为卷积结果,Ux、Dx为垂直方向上的上下两个相邻像素,Ux+1、Dx+1为垂直方向上的上下两个相邻像素,Ux、Ux+1为水平方向上的左右两个相邻像素,Dx、Dx+1为水平方向上的左右两个相邻像素。
因此,需要4个32位数的并行计算像素A32、B32、C32、D32,其包含的像素如图7所示。值得一提的是,在实际应用中,如果当前需要一次性取出的L个像素,与之前已经一次性取出的L个像素存在交叉像素,则可通过对已经一次性取出的L个像素和不交叉像素进行位移操作,得到当前需要一次性取出的L个像素,其中,不交叉像素为当前需要一次性取出的L个像素中除所述交叉像素外的其他像素。比如说,在已经一次性取出A32,当前需要取出的B32时,由于A32和B32中有交叉的像素(U1、U2、U3),则不需要重复取U1、U2、U3,通过以下方式得到B32:B32=(A32>>8)|(U4<<24)。同理可应用于C32和D32。通过对像素存取过程中的像素点复用,可有效避免重复存取带来的消耗。
本实施方式中的根据A32、B32、C32、D32,并行计算出由I0、I1、I2、I3组成的I32的方法,与第一实施方式类似,先计算补偿值e,然后将A32、B32、C32、D32的均右移N位(N为根据卷积公式确定单独计算一个卷积结果时,参与计算的像素运算后溢出的位数),最后将前两步的结果相加。
具体地说,由于公式(6)中有四个8位数相加,其结果需要10bit位宽的数据,溢出2bit(即N为2),因此计算e32需要每个像素后两bit相加的值,所以有:
e32=(((A32 &0x03030303)+(B32 &0x03030303)
+(C32 &0x03030303)+(D32 & 0x03030303))&0xFCFCFC)>>2
对A32、B32、C32、D32的操作有:
tmp_A32=(A32 & 0xFCFCFCFC)>>2
tmp_B32=(B32 & 0xFCFCFCFC)>>2
tmp_C32=(C32 & 0xFCFCFCFC)>>2
tmp_D32=(D32 & 0xFCFCFCFC)>>2
最后,将上两步结果相加得到I32
I32=tmp_A32+tmp_B32+tmp_C32+tmp_D32+e32
由此可见,本实施方式同样可以由支持32位算术指令的微处理器实现4个8位的并行卷积运算。类似的,本实施方式同样适用于X为32,T为16,L为2的情况,即用支持32位算术指令的微处理器实现2个16位的并行卷积运算。而且,本实施方式中通过结合像素复用的方法,可进一步减少内存访问,有利于代码的汇编化,达到优化像素运算的目的。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包含相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种视频图像处理系统,如图8所示,包含:
并行计算像素获取模块,用于将在L个卷积结果中起到相同作用的像素组成X位数的并行计算像素,其中,每个像素的位数为T,L*T=X,X为处理器支持的算术指令位数,所述起到相同作用的像素为卷积公式中表示相同含义的像素。
卷积计算模块,用于根据所述并行计算像素获取模块组成的各所述并行计算像素,并行计算出所述L个卷积结果。
具体地说,卷积计算模块包含以下子模块:
溢出位数获取子模块,用于根据所述卷积公式确定单独计算一个卷积结果时,参与计算的像素运算后溢出的位数N。
补偿值获取子模块,用于将所述参与计算的像素最低N比特位相加,得到补偿值e;其中,所述最低N比特位相加需要进位时,所述e为1,所述最低N比特位相加不需要进位时,所述e为0。
右移子模块,用于将组成的各所述并行计算像素均右移N位。
相加子模块,用于将右移N位后的各所述并行计算像素与所述补偿值e按X位相加,得到所述L个卷积结果。
并行计算像素获取模块通过一次性取出L个所述在L个卷积结果中起到相同作用的像素,将在L个卷积结果中起到相同作用的像素组成X位数的并行计算像素。
在本实施方式中,X为32,所述T为8,所述L为4;或者,所述X为32,所述T为16,所述L为2。卷积公式为其中,I为卷积结果,U、D为垂直方向上的上下两个相邻像素。
不难发现,本实施方式为与第一实施方式相对应的系统实施例,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是,本实施方式中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。
本发明第四实施方式涉及一种视频图像处理系统。第四实施方式与第三实施方式大致相同,主要区别之处在于:在第三实施方式中,使用的卷积公式为垂直方向上的插值计算。而在本发明第四实施方式中,使用的卷积公式为对角线方向上的插值计算。
具体地说,本实施方式中的卷积公式为
Figure BDA0000125814410000121
其中,Ix为卷积结果,Ux、Dx为垂直方向上的上下两个相邻像素,Ux+1、Dx+1为垂直方向上的上下两个相邻像素,Ux、Ux+1为水平方向上的左右两个相邻像素,Dx、Dx+1为水平方向上的左右两个相邻像素。
值得一提的是,在本实施方式中,并行计算像素获取模块在当前需要一次性取出的L个像素,与之前已经一次性取出的L个像素存在交叉像素时,通过对所述已经一次性取出的L个像素和不交叉像素进行位移操作,得到当前需要一次性取出的L个像素,其中,所述不交叉像素为当前需要一次性取出的L个像素中除所述交叉像素外的其他像素。
由于第二实施方式与本实施方式相互对应,因此本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效,在第二实施方式中所能达到的技术效果在本实施方式中也同样可以实现,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第二实施方式中。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。

Claims (12)

1.一种视频图像中的卷积方法,其特征在于,包含以下步骤:
将在L个卷积结果中起到相同作用的像素组成X位数的并行计算像素,其中,每个像素的位数为T,L*T=X,X为处理器支持的算术指令位数,所述起到相同作用的像素为卷积公式中表示相同含义的像素;
根据组成的各所述并行计算像素,并行计算出所述L个卷积结果。
2.根据权利要求1所述的视频图像中的卷积方法,其特征在于,所述根据组成的各所述并行计算像素,并行计算出所述L个卷积结果的步骤中,包含以下子步骤:
根据所述卷积公式确定单独计算一个卷积结果时,参与计算的像素运算后溢出的位数N,并将所述参与计算的像素最低N比特位相加,得到补偿值e;其中,所述最低N比特位相加需要进位时,所述e为1,所述最低N比特位相加不需要进位时,所述e为0;
将组成的各所述并行计算像素均右移N位;
将右移N位后的各所述并行计算像素与所述补偿值e按X位相加,得到所述L个卷积结果。
3.根据权利要求1所述的视频图像中的卷积方法,其特征在于,通过以下方式将在L个卷积结果中起到相同作用的像素组成X位数的并行计算像素:
一次性取出L个所述在L个卷积结果中起到相同作用的像素。
4.根据权利要求3所述的视频图像中的卷积方法,其特征在于,
如果当前需要一次性取出的L个像素,与之前已经一次性取出的L个像素存在交叉像素,则通过对所述已经一次性取出的L个像素和不交叉像素进行位移操作,得到当前需要一次性取出的L个像素,其中,所述不交叉像素为当前需要一次性取出的L个像素中除所述交叉像素外的其他像素。
5.根据权利要求1至4中任一项所述的视频图像中的卷积方法,其特征在于,所述X为32,所述T为8,所述L为4;或者,所述X为32,所述T为16,所述L为2;
所述卷积公式为
Figure FDA0000125814400000021
其中,I为卷积结果,U、D为垂直方向上的上下两个相邻像素。
6.根据权利要求1至4中任一项所述的视频图像中的卷积方法,其特征在于,所述X为32,所述T为8,所述L为4;或者,所述X为32,所述T为16,所述L为2;
所述卷积公式为 I x = U x + U x + 1 + D x + D x + 1 4
其中,Ix为卷积结果,Ux、Dx为垂直方向上的上下两个相邻像素,Ux+1、Dx+1为垂直方向上的上下两个相邻像素,Ux、Ux+1为水平方向上的左右两个相邻像素,Dx、Dx+1为水平方向上的左右两个相邻像素。
7.一种视频图像处理系统,其特征在于,包含:
并行计算像素获取模块,用于将在L个卷积结果中起到相同作用的像素组成X位数的并行计算像素,其中,每个像素的位数为T,L*T=X,X为处理器支持的算术指令位数,所述起到相同作用的像素为卷积公式中表示相同含义的像素;
卷积计算模块,用于根据所述并行计算像素获取模块组成的各所述并行计算像素,并行计算出所述L个卷积结果。
8.根据权利要求7所述的视频图像处理系统,其特征在于,所述卷积计算模块包含以下子模块:
溢出位数获取子模块,用于根据所述卷积公式确定单独计算一个卷积结果时,参与计算的像素运算后溢出的位数N;
补偿值获取子模块,用于将所述参与计算的像素最低N比特位相加,得到补偿值e;其中,所述最低N比特位相加需要进位时,所述e为1,所述最低N比特位相加不需要进位时,所述e为0;
右移子模块,用于将组成的各所述并行计算像素均右移N位;
相加子模块,用于将右移N位后的各所述并行计算像素与所述补偿值e按X位相加,得到所述L个卷积结果。
9.根据权利要求7所述的视频图像处理系统,其特征在于,所述并行计算像素获取模块通过一次性取出L个所述在L个卷积结果中起到相同作用的像素,将在L个卷积结果中起到相同作用的像素组成X位数的并行计算像素。
10.根据权利要求9所述的视频图像处理系统,其特征在于,
所述并行计算像素获取模块在当前需要一次性取出的L个像素,与之前已经一次性取出的L个像素存在交叉像素时,通过对所述已经一次性取出的L个像素和不交叉像素进行位移操作,得到当前需要一次性取出的L个像素,其中,所述不交叉像素为当前需要一次性取出的L个像素中除所述交叉像素外的其他像素。
11.根据权利要求7至10中任一项所述的视频图像处理系统,其特征在于,所述X为32,所述T为8,所述L为4;或者,所述X为32,所述T为16,所述L为2;
所述卷积公式为
Figure FDA0000125814400000031
其中,I为卷积结果,U、D为垂直方向上的上下两个相邻像素。
12.根据权利要求7至10中任一项所述的视频图像处理系统,其特征在于,所述X为32,所述T为8,所述L为4;或者,所述X为32,所述T为16,所述L为2;
所述卷积公式为 I x = U x + U x + 1 + D x + D x + 1 4
其中,Ix为卷积结果,Ux、Dx为垂直方向上的上下两个相邻像素,Ux+1、Dx+1为垂直方向上的上下两个相邻像素,Ux、Ux+1为水平方向上的左右两个相邻像素,Dx、Dx+1为水平方向上的左右两个相邻像素。
CN201110448867.XA 2011-12-28 2011-12-28 视频图像中的卷积方法及视频图像处理系统 Active CN103188487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110448867.XA CN103188487B (zh) 2011-12-28 2011-12-28 视频图像中的卷积方法及视频图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110448867.XA CN103188487B (zh) 2011-12-28 2011-12-28 视频图像中的卷积方法及视频图像处理系统

Publications (2)

Publication Number Publication Date
CN103188487A true CN103188487A (zh) 2013-07-03
CN103188487B CN103188487B (zh) 2016-11-23

Family

ID=48679421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110448867.XA Active CN103188487B (zh) 2011-12-28 2011-12-28 视频图像中的卷积方法及视频图像处理系统

Country Status (1)

Country Link
CN (1) CN103188487B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878586A (zh) * 2017-01-09 2017-06-20 中国科学院自动化研究所 可重构的并行图像细节增强方法和装置
WO2018024093A1 (zh) * 2016-08-05 2018-02-08 上海寒武纪信息科技有限公司 一种能支持不同位宽运算数据的运算单元、方法及装置
CN108345935A (zh) * 2017-01-25 2018-07-31 株式会社东芝 积和运算器、网络单元及网络装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1835587A (zh) * 2006-04-13 2006-09-20 上海交通大学 基于avs运动补偿的亮度插值器的vlsi实现方法
CN101444101A (zh) * 2006-06-28 2009-05-27 三星电子株式会社 使用多个并行编码器的用于数字通信的系统和方法
EP2099210A1 (en) * 2006-11-24 2009-09-09 NEC Corporation Coding and decoding device, coding and decoding method and program
CN102208005A (zh) * 2011-05-30 2011-10-05 华中科技大学 一种2-d卷积器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1835587A (zh) * 2006-04-13 2006-09-20 上海交通大学 基于avs运动补偿的亮度插值器的vlsi实现方法
CN101444101A (zh) * 2006-06-28 2009-05-27 三星电子株式会社 使用多个并行编码器的用于数字通信的系统和方法
EP2099210A1 (en) * 2006-11-24 2009-09-09 NEC Corporation Coding and decoding device, coding and decoding method and program
CN102208005A (zh) * 2011-05-30 2011-10-05 华中科技大学 一种2-d卷积器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
何尔德斯沃斯: "《数字逻辑设计(第四版)》", 1 May 2006, 人民邮电出版社 *
柴震海: "图像并行处理技术", 《红外》 *
董开坤: "一个基于图像代数的并行图像处理环境", 《计算机研究与发展》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018024093A1 (zh) * 2016-08-05 2018-02-08 上海寒武纪信息科技有限公司 一种能支持不同位宽运算数据的运算单元、方法及装置
US10489704B2 (en) 2016-08-05 2019-11-26 Cambricon Technologies Corporation Limited Operation unit, method and device capable of supporting operation data of different bit widths
CN106878586A (zh) * 2017-01-09 2017-06-20 中国科学院自动化研究所 可重构的并行图像细节增强方法和装置
CN106878586B (zh) * 2017-01-09 2019-12-06 中国科学院自动化研究所 可重构的并行图像细节增强方法和装置
CN108345935A (zh) * 2017-01-25 2018-07-31 株式会社东芝 积和运算器、网络单元及网络装置

Also Published As

Publication number Publication date
CN103188487B (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
KR102258414B1 (ko) 처리 장치 및 처리 방법
TWI625697B (zh) 用於具二維執行道陣列及二維位移暫存器之影像處理器之區塊操作
TWI690896B (zh) 影像處理器、由其執行之方法、及非暫態機器可讀儲存媒體
CN102158694B (zh) 一种基于gpu的遥感图像解压缩方法
CN103019656A (zh) 可动态重构的多级并行单指令多数据阵列处理系统
CN107087170A (zh) 编码设备、编码方法、解码设备和解码方法
CN101710985B (zh) 一种用于图像编码的图像亮度补偿方法
CN111836050B (zh) 一种视频编码中绝对变换差和的计算方法及装置
CN101222646B (zh) 一种适用于avs编码的帧内预测装置及预测方法
CN101115207B (zh) 基于预测点间相关性的帧内预测实现的方法及装置
CN103188487A (zh) 视频图像中的卷积方法及视频图像处理系统
CN102377993A (zh) 帧内预测模式选择方法和系统
CN101170696B (zh) 一种运动估计方法
CN102801982B (zh) 一种应用于视频压缩且基于块积分的快速运动估计方法
CN101546527A (zh) 一种液晶显示控制器及图像缩放方法
CN100352282C (zh) 用于图像相关性最小失真计算的自适应尽快退出技术
CN102073987A (zh) 一种yuv420图像转换成rgb565图像的方法和系统
WO2021056216A1 (zh) 预测值的确定方法、编码器、解码器以及计算机存储介质
CN101951521B (zh) 针对扩展可变块的视频图像运动估计方法
CN103237211B (zh) 一种基于fpga的视频亚像素亮度插值的方法及其装置
CN102231202B (zh) 面向向量处理器的sad向量化实现方法
CN100469146C (zh) 视频图像运动补偿装置
CN202084032U (zh) 基于sopc技术二维idct分布式算法的ip核
CN104683817B (zh) 基于avs的并行变换和反变换方法
CN103731674B (zh) 一种h.264二维并行后处理去块滤波器硬件实现方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20130703

Assignee: Shanghai Li Ke Semiconductor Technology Co., Ltd.

Assignor: Leadcore Technology Co., Ltd.

Contract record no.: 2018990000159

Denomination of invention: Convolution method in video image and video image processing system

Granted publication date: 20161123

License type: Common License

Record date: 20180615