CN108369725A - 处理图像的方法、芯片、处理器、计算机系统和移动设备 - Google Patents
处理图像的方法、芯片、处理器、计算机系统和移动设备 Download PDFInfo
- Publication number
- CN108369725A CN108369725A CN201780003655.6A CN201780003655A CN108369725A CN 108369725 A CN108369725 A CN 108369725A CN 201780003655 A CN201780003655 A CN 201780003655A CN 108369725 A CN108369725 A CN 108369725A
- Authority
- CN
- China
- Prior art keywords
- data
- region
- processing
- rows
- row
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 240
- 238000005070 sampling Methods 0.000 claims abstract description 145
- 238000001914 filtration Methods 0.000 claims abstract description 89
- 230000015654 memory Effects 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005183 dynamical system Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种处理图像的方法、芯片、处理器、计算机系统和移动设备。该方法包括:将图像的R行数据读取到第一缓存,其中所述R为大于1的整数(410);对所述R行数据进行上采样滤波处理,得到M行处理后数据,其中,所述M为所述上采样滤波处理中的上采样倍数,所述M为大于1的整数(420);在处理完所述R行数据后,将所述图像的下一行数据读取到所述第一缓存,其中,所述下一行数据与所述第一缓存中原有的后R‑1行数据作为下一次上采样滤波处理的R行数据(430)。其能够降低存储资源的消耗。
Description
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本发明涉及图像处理领域,并且更具体地,涉及一种处理图像的方法、芯片、处理器、计算机系统和移动设备。
背景技术
目前对图像的上采样和滤波处理通常分为两个阶段,即,先对图像进行上采样得到放大后的中间图像,再对上采样后的中间图像做滤波得到结果图像。
上述方案需要缓存上采样前的图像以及上采样后的中间图像,即上采样和滤波都需要缓存。例如,假设上采样后的中间图像的像素位宽与原始图像相同,上采样需要W*2的行缓存(line buffer),其中W为原始图像的宽度,即列数;滤波需要(即上采样后的中间图像需要)2W*K的行缓存,其中2W为上采样后的中间图像的宽度,K为滤波内核(kernel)宽度。以K=5为例,上采样需要2*W深度的行缓存,滤波需要10*W深度的行缓存,一共需要12*W深度的行缓存,其中80%多的存储资源用在暂存上采样后的中间图像上。如果上采样后的中间图像的像素位宽大于原始图像,存储资源的消耗还会明显上升。
因此,如何降低存储资源的消耗成为图像处理过程中一个亟待解决的技术问题。
发明内容
本发明实施例提供了一种处理图像的方法、芯片、处理器、计算机系统和移动设备,能够降低存储资源的消耗。
第一方面,提供了一种处理图像的方法,包括:将图像的R行数据读取到第一缓存,其中所述R为大于1的整数;对所述R行数据进行上采样滤波处理,得到M行处理后数据,其中,所述M为所述上采样滤波处理中的上采样倍数,所述M为大于1的整数;在处理完所述R行数据后,将所述图像的下一行数据读取到所述第一缓存,其中,所述下一行数据与所述第一缓存中原有的后R-1行数据作为下一次上采样滤波处理的R行数据。
第二方面,提供了一种处理图像的方法,包括:对图像的R*R的区域,进行如下上采样滤波处理,得到M*M的区域:通过上采样处理得到(K+M-1)*(K+M-1)的区域;对所述(K+M-1)*(K+M-1)的区域,进行内核宽度K的滤波处理,得到所述M*M的区域,其中,所述M为上采样倍数,所述R、所述M和所述K为大于1的整数。
第三方面,提供了一种芯片,包括:处理电路和第一缓存,其中,所述处理电路用于:将图像的R行数据读取到所述第一缓存,其中所述R为大于1的整数;对所述R行数据进行上采样滤波处理,得到M行处理后数据,其中,所述M为所述上采样滤波处理中的上采样倍数,所述M为大于1的整数;在处理完所述R行数据后,将所述图像的下一行数据读取到所述第一缓存,其中,所述下一行数据与所述第一缓存中原有的后R-1行数据作为下一次上采样滤波处理的R行数据。
第四方面,提供了一种芯片,包括:处理电路用于:对图像的R*R的区域,进行如下上采样滤波处理,得到M*M的区域:通过上采样处理得到(K+M-1)*(K+M-1)的区域;对所述(K+M-1)*(K+M-1)的区域,进行内核宽度K的滤波处理,得到所述M*M的区域,其中,所述M为上采样倍数,所述R、所述M和所述K为大于1的整数。
第五方面,提供了一种处理器,其特征在于,包括上述第三或第四方面的芯片。
第六方面,提供了一种计算机系统,包括:存储器,用于存储计算机可执行指令;处理器,用于访问所述存储器,并执行所述计算机可执行指令,以进行上述第一或第二方面的方法中的操作。
第七方面,提供了一种移动设备,包括:上述第三或第四方面的芯片;或者,上述第五方面的处理器;或者,上述第六方面的的计算机系统。
第八方面,提供了一种计算机存储介质,该计算机存储介质中存储有程序代码,该程序代码可以用于指示执行上述第一或第二方面的方法。
本发明实施例的技术方案,通过对图像的R行数据进行一次性地上采样滤波处理得到M行处理后数据,其中R为大于2的整数,M为上采样倍数,可以不需要缓存上采样后的中间图像,从而能够降低存储资源的消耗。
附图说明
图1是应用本发明实施例的技术方案的架构图。
图2是本发明实施例的技术方案的一个处理架构图。
图3是本发明实施例的移动设备的示意性架构图。
图4是本发明一个实施例的处理图像的方法的示意性流程图。
图5是本发明实施例的技术方案的另一个处理架构图。
图6是本发明另一个实施例的处理图像的方法的示意性流程图。
图7是本发明一个实施例的芯片的示意性框图。
图8是本发明另一个实施例的芯片的示意性框图。
图9是本发明又一个实施例的芯片的示意性框图。
图10是本发明实施例的计算机系统的示意性框图。
具体实施方式
下面将结合附图,对本发明实施例中的技术方案进行描述。
应理解,本文中的具体的例子只是为了帮助本领域技术人员更好地理解本发明实施例,而非限制本发明实施例的范围。
还应理解,本发明实施例中的公式只是一种示例,而非限制本发明实施例的范围,各公式可以进行变形,这些变形也应属于本发明保护的范围。
还应理解,在本发明的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
还应理解,本说明书中描述的各种实施方式,既可以单独实施,也可以组合实施,本发明实施例对此并不限定。
本发明实施例的技术方案可以对图像的数据进行一次性地上采样滤波处理,即上采样滤波处理一次性完成,从而不再需要缓存上采样后的中间图像,达到降低存储资源的消耗的目的。
本发明实施例中的上采样滤波处理将上采样处理和滤波处理的处理逻辑合并,即通过一次处理实现这两种处理逻辑。应理解,在本说明书中,为了便于描述,仍将上采样处理和滤波处理的处理逻辑分开描述,但这不应该理解为是两次处理。
图1是应用本发明实施例的技术方案的架构图。
如图1所示,系统100可以接收待处理数据102,对待处理数据102进行上采样滤波处理,产生处理后数据108,并输出处理后数据108。在一些实施例中,系统100中的部件可以由一个或多个处理器实现,该处理器可以是计算设备中的处理器,也可以是移动设备(例如无人机)中的处理器。该处理器可以为任意种类的处理器,本发明实施例对此不做限定。在一些实施例中,该处理器可以为由缓存和处理电路(也可以称为处理单元)组成的芯片。在一些实施例中,系统100中还可以包括一个或多个存储器。该存储器可用于存储指令和数据,例如,实现本发明实施例的技术方案的计算机可执行指令,待处理数据102、处理后数据108等。例如,该存储器可以包括缓存或内存。该存储器可以为任意种类的存储器,本发明实施例对此也不做限定。
待处理数据102可以包括图像的数据,或者其他类似的多媒体数据。在一些情况下,待处理数据102可以包括来自传感器的传感数据,该传感器可以为视觉传感器(例如,相机、红外传感器),近场传感器(例如,超声波传感器、雷达),位置传感器等。在一些情况下,待处理数据102可以包括来自用户的信息,例如,生物信息,该生物信息可以包括面部特征,指纹扫描,视网膜扫描,DNA采样等。
图2示出了本发明实施例的技术方案的处理架构图。如图2所示,图像的部分行数据输入到缓存中,其中该缓存可以包括多个行缓存,然后对缓存中的数据进行本发明实施例中的上采样滤波处理,其中,上采样滤波处理中通过对缓存中的数据的一部分实现上采样处理后立即对该部分数据的上采样结果进行滤波处理,然后再对缓存中的数据的另外一部分重复同样的上采样处理和滤波处理的处理逻辑,而不是如背景技术中对图像的全部数据依次进行上采样处理后,再对该图像的全部数据的上采样处理的结果分批次进行滤波处理。这样,处理过程中不再需要对图像的全部数据进行上采样处理后的结果进行缓存,从而能够达到降低存储资源的消耗的目的。
在一些设计中,本发明各种实施例中的缓存具体可以为行缓存,但本发明实施例对此并不限定。
在一些设计中,移动设备,也可以称为可移动设备,可以采用本发明实施例的技术方案处理数据。该移动设备可以是无人机、无人驾驶船或机器人等,但本发明实施例对此并不限定。
图3是本发明实施例的移动设备300的示意性架构图。
如图3所示,移动设备300可以包括动力系统310、控制系统320、传感系统330和处理系统340。
动力系统310用于为该移动设备300提供动力。
以无人机为例,无人机的动力系统可以包括电子调速器(简称为电调)、螺旋桨以及与螺旋桨相对应的电机。电机连接在电子调速器与螺旋桨之间,电机和螺旋桨设置在对应的机臂上;电子调速器用于接收控制系统产生的驱动信号,并根据驱动信号提供驱动电流给电机,以控制电机的转速。电机用于驱动螺旋桨旋转,从而为无人机的飞行提供动力。
传感系统330可以用于测量移动设备300的姿态信息,即移动设备300在空间的位置信息和状态信息,例如,三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统330例如可以包括陀螺仪、电子罗盘、惯性测量单元(Inertial Measurement Unit,IMU)、视觉传感器、全球定位系统(Global Positioning System,GPS)、气压计、空速计等传感器中的至少一种。
在本发明实施例中,传感系统330还可用于采集图像,即传感系统330包括用于采集图像的传感器,例如相机等。
控制系统320用于控制移动设备300的移动。控制系统320可以按照预先设置的程序指令对移动设备300进行控制。例如,控制系统320可以根据传感系统330测量的移动设备300的姿态信息控制移动设备300的移动。控制系统320也可以根据来自遥控器的控制信号对移动设备300进行控制。
处理系统340可以处理传感系统330采集的图像。例如,处理系统340可以对图像的数据进行上采样滤波处理。
处理系统340可以为图1中的系统100,或者,处理系统340可以包括图1中的系统100。
应理解,上述对于移动设备300的各组成部件的划分和命名仅仅是示例性的,并不应理解为对本发明实施例的限制。
还应理解,移动设备300还可以包括图3中未示出的其他部件,本发明实施例对此并不限定。
图4示出了本发明一个实施例的处理图像的方法400的示意性流程图。该方法400可以由图1所示的系统100执行;或者由图3所示的移动设备300执行。具体地,在由移动设备300执行时,可以由图3中的处理系统340执行。
410,将图像的R行数据读取到第一缓存,其中所述R为大于1的整数。
在本发明实施例中,将图像的多行数据读取到第一缓存中,以进行后续的上采样滤波处理。
同时处理的数据的行数R与上采样倍数M以及滤波内核宽度K相关联。
可选地,作为本发明的一个实施例,所述R满足:对所述R行数据的R*R的区域进行M倍数的上采样后得到(K+M-1)*(K+M-1)的区域,其中,所述K为所述上采样滤波处理中的滤波内核宽度。
例如,R可以满足如下公式(1),
举例来说,若上采样倍数M为2,滤波内核宽度K为5,则R为4。也就是说,在这种情况下,可以一次性地对图像的4行数据进行上采样滤波处理。
420,对所述R行数据进行上采样滤波处理,得到M行处理后数据,其中,所述M为所述上采样滤波处理中的上采样倍数,所述M为大于1的整数。
在将R行数据读取到第一缓存后,对该R行数据进行上采样滤波处理,得到M行处理后数据。例如,上采样倍数M为2,滤波内核宽度K为5时,将图像的4行数据读取到第一缓存,进行上采样滤波处理,得到2行处理后数据。
可选地,对所述R行数据进行上采样滤波处理可以以R*R的区域作为一个处理单元。每个R*R的区域包括R*R个数据,每次处理移动一列,即,下一个R*R的区域包括上一个R*R的区域的后R-1列以及新的一列。具体地,可以依次对所述R行数据的每个R*R的区域进行如下处理:
对于每个R*R的区域,通过上采样处理得到(K+M-1)*(K+M-1)的区域,
对所述(K+M-1)*(K+M-1)的区域,进行内核宽度K的滤波处理,得到M*M的区域,其中,所述M*M的区域为所述M行处理后数据的M列。
也就是说,通过对一个R*R的区域进行上述处理得到一个M*M的区域,通过对R行数据的所有R*R的区域进行上述处理得到M行处理后数据。
举例来说,假设图像的像素点表示为Aij,R为4,W为10,则对于前4行来说,第一个4*4区域可以为
第二个4*4区域可以为
第三个4*4区域可以为
以此类推,可以得到后续的4*4区域。
下面详细描述对一个R*R的区域的处理。应理解,在本发明实施例中,对一个R*R的区域处理后,得到一个M*M的区域,所出现的(K+M-1)*(K+M-1)的区域,只是为了便于描述本发明实施例的处理逻辑,其只是逻辑上的中间量,在一些实施例中并不会出现。
对于R*R的区域,通过上采样处理得到(K+M-1)*(K+M-1)的区域,所述(K+M-1)*(K+M-1)的区域包括M*M个K*K的区域,其中,K*K的区域的选择可采用移动一行或一列的方式,对所述(K+M-1)*(K+M-1)的区域的M*M个K*K的区域中的每一个K*K的区域,通过内核宽度K的滤波处理得到所述M*M的区域的一个数据,通过所述M*M个K*K的区域得到所述M*M的区域的M*M个数据。
在上述处理中,一个K*K的区域,通过内核宽度K的滤波处理得到一个数据。例如,将所述K*K的区域中的每个数据分别与K*K的滤波矩阵中的对应元素相乘再求和。这样,M*M个K*K的区域可以得到M*M个数据,即得到所述M*M的区域。
举例来说,R为4,M为2,K为5时,对4*4区域上采样可以得到6*6区域。以如下4*4区域为例,
上采样后可以得到如下6*6区域,
其中,下面以上采样处理采用线性插值为例,则,
B00=A00
B10=(A00+A10)/2
B20=A10
B30=(A10+A20)/2
B40=A20
B50=(A20+A30)/2
B01=(A00+A01)/2
B11=(A00+A10+A01+A11)/4
B21=(A10+A11)/2
B31=(A10+A20+A11+A21)/4
B41=(A20+A21)/2
B51=(A20+A30+A21+A31)/4
……
对于上述6*6区域,可分为4(即2*2)个5*5区域,即:
上述每一个5*5的区域,通过内核宽度5的滤波处理得到一个数据,例如,将5*5的区域中的每个数据分别与5*5的滤波矩阵中的对应元素相乘再求和,得到一个数据。通过上述4个5*5的区域得到2*2的区域的4个数据。
对一个R*R的区域进行上述的上采样滤波处理得到一个M*M的区域,通过对R行数据的所有R*R的区域进行上述的上采样滤波处理可得到M行处理后数据。
430,在处理完所述R行数据后,将所述图像的下一行数据读取到所述第一缓存,其中,所述下一行数据与所述第一缓存中原有的后R-1行数据作为下一次上采样滤波处理的R行数据。
具体而言,在处理完第一缓存中的R行数据后,再新读取一行数据,与原有的后R-1行数据作为下一次上采样滤波处理的R行数据,再对该R行数据进行上述的上采样滤波处理,以此类推。
例如,参考图2,处理完原有的R行数据后,读取图像的下一行数据,缓存中的数据依次下移,新读取的一行数据与原有的后R-1行数据形成新的R行数据,然后再对新的R行数据进行上述的上采样滤波处理,以此类推。
在本发明实施例中,可选地,对于R行数据上采样滤波处理后得到的M行处理后数据,可以先输出所述M行处理后数据中的第1行处理后数据,并将所述M行处理后数据中的第2至M行处理后数据缓存到第二缓存;在所述第1行处理后数据输出完成后,再依次从所述第二缓存中输出所述第2至M行处理后数据;在输出所述M行处理后数据中的第M行处理后数据后,将所述图像的下一行数据读取到所述第一缓存。
具体而言,对于R行数据上采样滤波处理后得到的M行处理后数据,在输出时,可以按行输出。对于第1行处理后数据,可不需要缓存,即,得到相应数据后就输出,对于其他行处理后数据,可将其缓存,并在第1行处理后数据输出完成后,再依次从缓存中输出。例如,参考图5所示的处理架构图,假设M为2,即上采样滤波处理后得到2行处理后数据,第一行可直接输出,下一行先缓存到缓存中,待第一行全部输出完成,下一行也全部缓存到了缓存中,然后读取缓存中的下一行继续输出,直至下一行输出完成,再循环前述操作,就能按行输出整幅处理后图像。
可选地,对于R行数据上采样滤波处理后得到的M行处理后数据进行输出时,可以由两个选择器来实现,例如,上采样滤波处理后得到的M行数据输入到第一选择器中,该第一选择器选择一行作为当前行输出,并选择将其余行放在行缓存中。第二选择器首先选择将该当前行输出,输出后再选择从行缓存中依次输出其余行。当第二选择器完成输出其余行中的最后一行后,第一选择器接收下一个上采样滤波处理后得到的M行数据,并重复执行上述操作。
可选地,对于R行数据上采样滤波处理后得到的M行处理后数据进行输出时,也可以由一个选择器实现,或者选择处理与上采样滤波处理由统一的处理电路实现,本发明实施例对此并不限定。
本发明实施例的技术方案,通过对图像的R行数据进行一次性地上采样滤波处理得到M行处理后数据,可以不需要缓存上采样后的中间图像,从而能够降低存储资源的消耗。
举例来说,假设上采样倍数M为2,滤波内核宽度K为5,原始图像的宽度为W,上采样后的图像的像素位宽与原始图像的像素位宽相同,按照现有技术,上采样需要2*W深度的行缓存,滤波需要10*W深度的行缓存,一共需要12*W深度的行缓存,而本发明实施例的技术方案,上采样滤波处理需要4*W深度的行缓存,缓存一行处理后数据需要2*W深度的行缓存,一共需要6*W深度的行缓存,相比现有技术,能节省50%存储器资源。如果上采样后的图像的像素位宽大于原始图像的像素位宽,只会影响缓存一行处理后图像的行缓存的位宽,整个存储器资源的消耗不会明显上升。因此,本发明实施例的技术方案,能够有效降低存储资源的消耗。
在一种实现方式中,图像中的每个数据都可以成为位于R*R区域的中心的数据。那么,需要对图像的四个边缘(也即图像的首行、尾行、首列、尾列)外侧进行填充数据,以使得位于图像的边缘上的数据也可以成为位于R*R区域的中心的数据。其中,需要在图像的边缘外侧所填充的行数/列数取决于R的数值。
例如,若所述图像的列数为W,则可通过对所述R行数据进行边缘填充处理得到W个R*R的区域,通过所述W个R*R的区域得到所述M行处理后数据的M*W列。在这种情况下,M行处理后数据的列数为M*W。
应理解,填充(padding)可以是在将图像的数据读取到第一缓存时就进行,也可以是在后续处理时进行,本发明实施例对此并不限定。
在另一种实现方式中,也可以只对图像的部分边缘外侧填充数据或者不对图像的边缘外侧填充数据,那么外侧未填充数据的图像边缘处的几列/行数据只能位于用于进行上采样滤波处理的R*R区域的非中心位置。若所述图像的列数为W,则可通过忽略以所述R行数据的边缘处的数据为中心的R*R区域而得到N个R*R的区域,其中,N<W,通过所述N个R*R的区域得到所述M行处理后数据的M*N列。在这种情况下,M行处理后数据的列数为M*N。
以上按照行处理的方式描述了本发明实施例的技术方案,但本发明实施例的方案并不限于此。也就是说,本发明实施例中对图像的R*R的区域的处理并不局限于按行处理。基于此,本发明实施例又提供了另一种处理图像的方法,下面结合图6进行描述。应理解,图6所示方法中的一些具体的描述可以参考前述实施例,以下为了简洁,不再赘述。
图6示出了本发明另一个实施例的处理图像的方法600的示意性流程图。如图6所示,该方法600包括:
610,对图像的R*R的区域,进行如下上采样滤波处理,得到M*M的区域:
620,通过上采样处理得到(K+M-1)*(K+M-1)的区域;
630,对所述(K+M-1)*(K+M-1)的区域,进行内核宽度K的滤波处理,得到所述M*M的区域,其中,所述M为上采样倍数,所述R、所述M和所述K为大于1的整数。
可选地,在一个实施例中,所述对所述(K+M-1)*(K+M-1)的区域,进行内核宽度K的滤波处理,包括:
对所述(K+M-1)*(K+M-1)的区域的M*M个K*K的区域中的每一个K*K的区域,通过内核宽度K的滤波处理得到所述M*M的区域的一个数据,通过所述M*M个K*K的区域得到所述M*M的区域的M*M个数据。K*K的区域的选择可采用移动一行或一列的方式,具体可以参见前述实施例。
可选地,在一个实施例中,所述内核宽度K的滤波处理包括:
将所述K*K的区域中的每个数据分别与K*K的滤波矩阵中的对应元素相乘再求和。
可选地,在一个实施例中,所述上采样处理包括线性插值或者双三次插值。当然,上采样处理中也可以采用其他插值方法,在此不做限制。
可选地,在一个实施例中,在对所述R*R的区域进行上采样滤波处理后,对下一个R*R的区域进行所述上采样滤波处理,得到下一个M*M的区域,其中,所述下一个R*R的区域包括所述R*R的区域的后R-1列以及与所述R*R的区域相邻的下一列的R个数据。
具体而言,对每一个R*R的区域,进行上述上采样滤波处理,其中,R*R的区域的选择可采用移动一列的方式,即处理完上一个R*R的区域后,移动一列,得到下一个R*R的区域,再进行同样的处理。应理解,R*R的区域的选择也可采用移动一行的方式,即处理完上一个R*R的区域后,移动一行,得到下一个R*R的区域,再进行同样的处理。本发明实施例对R*R的区域的选择方式并不限定。
可选地,在一个实施例中,可以将所述图像的R行数据读取到第一缓存,其中,对所述第一缓存中的所述R行数据的每个R*R的区域进行所述上采样滤波处理后,得到M行处理后数据;
在处理完所述R行数据后,将所述图像的下一行数据读取到所述第一缓存,其中,所述下一行数据与所述第一缓存中原有的后R-1行数据作为下一次上采样滤波处理的R行数据。
可选地,在一个实施例中,输出所述M行处理后数据中的第1行处理后数据,将所述M行处理后数据中的第2至M行处理后数据缓存到第二缓存;
在所述第1行处理后数据输出完成后,依次从所述第二缓存中输出所述第2至M行处理后数据;
其中,在输出所述M行处理后数据中的第M行处理后数据后,将所述图像的下一行数据读取到所述第一缓存。
可选地,在一个实施例中,所述图像的列数为W,通过对所述R行数据进行边缘填充处理得到W个R*R的区域,通过所述W个R*R的区域得到所述M行处理后数据的M*W列。
可选地,在一个实施例中,所述图像的列数为W,通过忽略所述R行数据的边缘数据得到N个R*R的区域,其中,N<W,通过所述N个R*R的区域得到所述M行处理后数据的M*N列。
可选地,在一个实施例中,所述M为2。
上述对R行数据的处理方式可以参考前述实施例,为了简洁,在此不再赘述。
上文详细描述了本发明实施例的处理图像的方法,下面将描述本发明实施例的芯片、处理器、计算机系统和移动设备。应理解,本发明实施例的芯片、处理器、计算机系统和移动设备可以执行前述本发明实施例的各种方法,即以下各种产品的具体工作过程,可以参考前述方法实施例中的对应过程。
图7示出了本发明实施例的芯片700的示意性框图。如图7所示,该芯片700可以包括:处理电路710和第一缓存720。
所述处理电路710用于:
将图像的R行数据读取到第一缓存720,其中所述R为大于1的整数;
对所述R行数据进行上采样滤波处理,得到M行处理后数据,其中,所述M为所述上采样滤波处理中的上采样倍数,所述M为大于1的整数;
在处理完所述R行数据后,将所述图像的下一行数据读取到所述第一缓存720,其中,所述下一行数据与所述第一缓存中原有的后R-1行数据作为下一次上采样滤波处理的R行数据。
可选地,如图8所示,在一个实施例中,所述芯片700还包括:第二缓存730,其中,所述处理电路710还用于:
输出所述M行处理后数据中的第1行处理后数据,将所述M行处理后数据中的第2至M行处理后数据缓存到所述第二缓存730;
在所述第1行处理后数据输出完成后,依次从所述第二缓存730中输出所述第2至M行处理后数据;
其中,在输出所述M行处理后数据中的第M行处理后数据后,将所述图像的下一行数据读取到所述第一缓存720。
可选地,在一个实施例中,所述R满足:对所述R行数据的R*R的区域进行M倍数的上采样后得到(K+M-1)*(K+M-1)的区域,其中,所述K为所述上采样滤波处理中的滤波内核宽度。
可选地,在一个实施例中,所述处理电路710用于:
依次对所述R行数据的每个R*R的区域进行如下处理:
对于每个R*R的区域,通过上采样处理得到(K+M-1)*(K+M-1)的区域,
对所述(K+M-1)*(K+M-1)的区域,进行内核宽度K的滤波处理,得到M*M的区域,其中,所述M*M的区域为所述M行处理后数据的M列。
可选地,在一个实施例中,所述图像的列数为W,通过对所述R行数据进行边缘填充处理得到W个R*R的区域,通过所述W个R*R的区域得到所述M行处理后数据的M*W列。
可选地,在一个实施例中,所述图像的列数为W,通过忽略所述R行数据的边缘数据得到N个R*R的区域,其中,N<W,通过所述N个R*R的区域得到所述M行处理后数据的M*N列。
可选地,在一个实施例中,所述处理电路710用于:
对所述(K+M-1)*(K+M-1)的区域的M*M个K*K的区域中的每一个K*K的区域,通过内核宽度K的滤波处理得到所述M*M的区域的一个数据,通过所述M*M个K*K的区域得到所述M*M的区域的M*M个数据。
可选地,在一个实施例中,所述处理电路710用于:
将所述K*K的区域中的每个数据分别与K*K的滤波矩阵中的对应元素相乘再求和,得到所述M*M的区域的一个数据。
可选地,在一个实施例中,所述处理电路710用于,通过线性插值或双三次插值得到所述(K+M-1)*(K+M-1)的区域。
可选地,在一个实施例中,所述M为2。
图9示出了本发明实施例的芯片900的示意性框图。如图9所示,该芯片900包括:处理电路910。
处理电路910用于:
对图像的R*R的区域,进行如下上采样滤波处理,得到M*M的区域:
通过上采样处理得到(K+M-1)*(K+M-1)的区域;
对所述(K+M-1)*(K+M-1)的区域,进行内核宽度K的滤波处理,得到所述M*M的区域,其中,所述M为上采样倍数,所述R、所述M和所述K为大于1的整数。
可选地,在一个实施例中,所述处理电路910用于:
对所述(K+M-1)*(K+M-1)的区域的M*M个K*K的区域中的每一个K*K的区域,通过内核宽度K的滤波处理得到所述M*M的区域的一个数据,通过所述M*M个K*K的区域得到所述M*M的区域的M*M个数据。
可选地,在一个实施例中,所述处理电路910用于:
将所述K*K的区域中的每个数据分别与K*K的滤波矩阵中的对应元素相乘再求和,得到所述M*M的区域的一个数据。
可选地,在一个实施例中,所述处理电路910用于,通过线性插值或双三次插值得到所述(K+M-1)*(K+M-1)的区域。
可选地,在一个实施例中,所述处理电路910用于:
在对所述R*R的区域进行上采样滤波处理后,对下一个R*R的区域进行所述上采样滤波处理,得到下一个M*M的区域,其中,所述下一个R*R的区域包括所述R*R的区域的后R-1列以及与所述R*R的区域相邻的下一列的R个数据。
可选地,在一个实施例中,所述芯片900还包括第一缓存920;
所述处理电路910用于:
将所述图像的R行数据读取到所述第一缓存920,其中,对所述第一缓存920中的所述R行数据的每个R*R的区域进行所述上采样滤波处理后,得到M行处理后数据;
在处理完所述R行数据后,将所述图像的下一行数据读取到所述第一缓存920,其中,所述下一行数据与所述第一缓存920中原有的后R-1行数据作为下一次上采样滤波处理的R行数据。
可选地,在一个实施例中,所述芯片900还包括第二缓存930;
所述处理电路910用于:
输出所述M行处理后数据中的第1行处理后数据,将所述M行处理后数据中的第2至M行处理后数据缓存到所述第二缓存930;
在所述第1行处理后数据输出完成后,依次从所述第二缓存930中输出所述第2至M行处理后数据;
其中,在输出所述M行处理后数据中的第M行处理后数据后,将所述图像的下一行数据读取到所述第一缓存920。
可选地,在一个实施例中,所述图像的列数为W,通过对所述R行数据进行边缘填充处理得到W个R*R的区域,通过所述W个R*R的区域得到所述M行处理后数据的M*W列。
可选地,在一个实施例中,所述图像的列数为W,通过忽略所述R行数据的边缘数据得到N个R*R的区域,其中,N<W,通过所述N个R*R的区域得到所述M行处理后数据的M*N列。
可选地,在一个实施例中,所述M为2。
应理解,在上述本发明各种实施例的芯片中,处理电路可以进一步包括输入电路、上采样滤波电路和输出电路。其中,输入电路将图像的数据读取到第一缓存,上采样滤波电路读取第一缓存中的数据进行上采样滤波处理,输出电路将处理结果输出。换句话说,处理电路可以是统一的一个处理电路,也可以是由上述几个电路组成的电路。本发明实施例对电路的具体实现形式不做限定。
还应理解,本发明实施例中的芯片也可以只包括上采样滤波电路,该上采样滤波电路进行上述本发明实施例中的上采样滤波处理,其他处理以及缓存由另外的芯片实现。
本发明实施例还提供了一种处理器,该处理器可以包括上述本发明各种实施例的芯片。
图10示出了本发明实施例的计算机系统1000的示意性框图。
如图10所示,该计算机系统1000可以包括处理器1010和存储器1020。
应理解,该计算机系统1000还可以包括其他计算机系统中通常所包括的部件,例如,输入输出设备、通信接口等,本发明实施例对此并不限定。
存储器1020用于存储计算机可执行指令。
存储器1020可以是各种种类的存储器,例如可以包括高速随机存取存储器(Random Access Memory,RAM),还可以包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器,本发明实施例对此并不限定。
处理器1010用于访问该存储器1020,并执行该计算机可执行指令,以进行上述本发明各种实施例的处理图像的方法中的操作。
处理器1010可以包括微处理器,现场可编程门阵列(Field-Programmable GateArray,FPGA),中央处理器(Central Processing unit,CPU),图形处理器(GraphicsProcessing Unit,GPU)等,本发明实施例对此并不限定。
本发明实施例还提供了一种移动设备,该移动设备可以包括上述本发明各种实施例的芯片、处理器或者计算机系统。
本发明实施例的芯片、处理器、计算机系统和移动设备可对应于本发明实施例的处理图像的方法的执行主体,并且芯片、处理器、计算机系统和移动设备中的各个模块的上述和其它操作和/或功能分别为了实现前述各个方法的相应流程,为了简洁,在此不再赘述。
本发明实施例还提供了一种计算机存储介质,该计算机存储介质中存储有程序代码,该程序代码可以用于指示执行上述本发明实施例的传输编码数据的方法。
应理解,在本发明实施例中,术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (45)
1.一种处理图像的方法,其特征在于,包括:
将图像的R行数据读取到第一缓存,其中所述R为大于1的整数;
对所述R行数据进行上采样滤波处理,得到M行处理后数据,其中,所述M为所述上采样滤波处理中的上采样倍数,所述M为大于1的整数;
在处理完所述R行数据后,将所述图像的下一行数据读取到所述第一缓存,其中,所述下一行数据与所述第一缓存中原有的后R-1行数据作为下一次上采样滤波处理的R行数据。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
输出所述M行处理后数据中的第1行处理后数据,将所述M行处理后数据中的第2至M行处理后数据缓存到第二缓存;
在所述第1行处理后数据输出完成后,依次从所述第二缓存中输出所述第2至M行处理后数据;
其中,在输出所述M行处理后数据中的第M行处理后数据后,将所述图像的下一行数据读取到所述第一缓存。
3.根据权利要求1或2所述的方法,其特征在于,所述R满足:对所述R行数据的R*R的区域进行M倍数的上采样后得到(K+M-1)*(K+M-1)的区域,其中,所述K为所述上采样滤波处理中的滤波内核宽度。
4.根据权利要求3所述的方法,其特征在于,所述对所述R行数据进行上采样滤波处理,包括:
依次对所述R行数据的每个R*R的区域进行如下处理:
对于每个R*R的区域,通过上采样处理得到(K+M-1)*(K+M-1)的区域,
对所述(K+M-1)*(K+M-1)的区域,进行内核宽度K的滤波处理,得到M*M的区域,其中,所述M*M的区域为所述M行处理后数据的M列。
5.根据权利要求4所述的方法,其特征在于,所述图像的列数为W,通过对所述R行数据进行边缘填充处理得到W个R*R的区域,通过所述W个R*R的区域得到所述M行处理后数据的M*W列。
6.根据权利要求4所述的方法,其特征在于,所述图像的列数为W,通过忽略所述R行数据的边缘数据得到N个R*R的区域,其中,N<W,通过所述N个R*R的区域得到所述M行处理后数据的M*N列。
7.根据权利要求4至6中任一项所述的方法,其特征在于,所述对所述(K+M-1)*(K+M-1)的区域,进行内核宽度K的滤波处理,包括:
对所述(K+M-1)*(K+M-1)的区域的M*M个K*K的区域中的每一个K*K的区域,通过内核宽度K的滤波处理得到所述M*M的区域的一个数据,通过所述M*M个K*K的区域得到所述M*M的区域的M*M个数据。
8.根据权利要求7所述的方法,其特征在于,所述内核宽度K的滤波处理包括:
将所述K*K的区域中的每个数据分别与K*K的滤波矩阵中的对应元素相乘再求和。
9.根据权利要求4至8中任一项所述的方法,其特征在于,所述上采样处理包括线性插值或双三次插值。
10.根据权利要求1至9中任一项所述的方法,其特征在于,所述M为2。
11.一种处理图像的方法,其特征在于,包括:
对图像的R*R的区域,进行如下上采样滤波处理,得到M*M的区域:
通过上采样处理得到(K+M-1)*(K+M-1)的区域;
对所述(K+M-1)*(K+M-1)的区域,进行内核宽度K的滤波处理,得到所述M*M的区域,其中,所述M为上采样倍数,所述R、所述M和所述K为大于1的整数。
12.根据权利要求11所述的方法,其特征在于,所述对所述(K+M-1)*(K+M-1)的区域,进行内核宽度K的滤波处理,包括:
对所述(K+M-1)*(K+M-1)的区域的M*M个K*K的区域中的每一个K*K的区域,通过内核宽度K的滤波处理得到所述M*M的区域的一个数据,通过所述M*M个K*K的区域得到所述M*M的区域的M*M个数据。
13.根据权利要求12所述的方法,其特征在于,所述内核宽度K的滤波处理包括:
将所述K*K的区域中的每个数据分别与K*K的滤波矩阵中的对应元素相乘再求和。
14.根据权利要求11至13中任一项所述的方法,其特征在于,所述上采样处理包括线性插值或双三次插值。
15.根据权利要求11至14中任一项所述的方法,其特征在于,所述方法还包括:
在对所述R*R的区域进行上采样滤波处理后,对下一个R*R的区域进行所述上采样滤波处理,得到下一个M*M的区域,其中,所述下一个R*R的区域包括所述R*R的区域的后R-1列以及与所述R*R的区域相邻的下一列的R个数据。
16.根据权利要求11至15中任一项所述的方法,其特征在于,所述方法还包括:
将所述图像的R行数据读取到第一缓存,其中,对所述第一缓存中的所述R行数据的每个R*R的区域进行所述上采样滤波处理后,得到M行处理后数据;
在处理完所述R行数据后,将所述图像的下一行数据读取到所述第一缓存,其中,所述下一行数据与所述第一缓存中原有的后R-1行数据作为下一次上采样滤波处理的R行数据。
17.根据权利要求16所述的方法,其特征在于,所述方法还包括:
输出所述M行处理后数据中的第1行处理后数据,将所述M行处理后数据中的第2至M行处理后数据缓存到第二缓存;
在所述第1行处理后数据输出完成后,依次从所述第二缓存中输出所述第2至M行处理后数据;
其中,在输出所述M行处理后数据中的第M行处理后数据后,将所述图像的下一行数据读取到所述第一缓存。
18.根据权利要求16或17所述的方法,其特征在于,所述图像的列数为W,通过对所述R行数据进行边缘填充处理得到W个R*R的区域,通过所述W个R*R的区域得到所述M行处理后数据的M*W列。
19.根据权利要求16或17所述的方法,其特征在于,所述图像的列数为W,通过忽略所述R行数据的边缘数据得到N个R*R的区域,其中,N<W,通过所述N个R*R的区域得到所述M行处理后数据的M*N列。
20.根据权利要求11至19中任一项所述的方法,其特征在于,所述M为2。
21.一种芯片,其特征在于,包括:处理电路和第一缓存,
其中,所述处理电路用于:
将图像的R行数据读取到所述第一缓存,其中所述R为大于1的整数;
对所述R行数据进行上采样滤波处理,得到M行处理后数据,其中,所述M为所述上采样滤波处理中的上采样倍数,所述M为大于1的整数;
在处理完所述R行数据后,将所述图像的下一行数据读取到所述第一缓存,其中,所述下一行数据与所述第一缓存中原有的后R-1行数据作为下一次上采样滤波处理的R行数据。
22.根据权利要求21所述的芯片,其特征在于,所述芯片还包括:第二缓存,
其中,所述处理电路还用于:
输出所述M行处理后数据中的第1行处理后数据,将所述M行处理后数据中的第2至M行处理后数据缓存到所述第二缓存;
在所述第1行处理后数据输出完成后,依次从所述第二缓存中输出所述第2至M行处理后数据;
其中,在输出所述M行处理后数据中的第M行处理后数据后,将所述图像的下一行数据读取到所述第一缓存。
23.根据权利要求21或22所述的芯片,其特征在于,所述R满足:对所述R行数据的R*R的区域进行M倍数的上采样后得到(K+M-1)*(K+M-1)的区域,其中,所述K为所述上采样滤波处理中的滤波内核宽度。
24.根据权利要求23所述的芯片,其特征在于,所述处理电路用于:
依次对所述R行数据的每个R*R的区域进行如下处理:
对于每个R*R的区域,通过上采样处理得到(K+M-1)*(K+M-1)的区域,
对所述(K+M-1)*(K+M-1)的区域,进行内核宽度K的滤波处理,得到M*M的区域,其中,所述M*M的区域为所述M行处理后数据的M列。
25.根据权利要求24所述的芯片,其特征在于,所述图像的列数为W,通过对所述R行数据进行边缘填充处理得到W个R*R的区域,通过所述W个R*R的区域得到所述M行处理后数据的M*W列。
26.根据权利要求24所述的芯片,其特征在于,所述图像的列数为W,通过忽略所述R行数据的边缘数据得到N个R*R的区域,其中,N<W,通过所述N个R*R的区域得到所述M行处理后数据的M*N列。
27.根据权利要求24至26中任一项所述的芯片,其特征在于,所述处理电路用于:
对所述(K+M-1)*(K+M-1)的区域的M*M个K*K的区域中的每一个K*K的区域,通过内核宽度K的滤波处理得到所述M*M的区域的一个数据,通过所述M*M个K*K的区域得到所述M*M的区域的M*M个数据。
28.根据权利要求27所述的芯片,其特征在于,所述处理电路用于:
将所述K*K的区域中的每个数据分别与K*K的滤波矩阵中的对应元素相乘再求和,得到所述M*M的区域的一个数据。
29.根据权利要求24至28中任一项所述的芯片,其特征在于,所述处理电路用于,通过线性插值或双三次插值得到所述(K+M-1)*(K+M-1)的区域。
30.根据权利要求21至29中任一项所述的芯片,其特征在于,所述M为2。
31.一种芯片,其特征在于,包括:
处理电路用于:
对图像的R*R的区域,进行如下上采样滤波处理,得到M*M的区域:
通过上采样处理得到(K+M-1)*(K+M-1)的区域;
对所述(K+M-1)*(K+M-1)的区域,进行内核宽度K的滤波处理,得到所述M*M的区域,其中,所述M为上采样倍数,所述R、所述M和所述K为大于1的整数。
32.根据权利要求31所述的芯片,其特征在于,所述处理电路用于:
对所述(K+M-1)*(K+M-1)的区域的M*M个K*K的区域中的每一个K*K的区域,通过内核宽度K的滤波处理得到所述M*M的区域的一个数据,通过所述M*M个K*K的区域得到所述M*M的区域的M*M个数据。
33.根据权利要求32所述的芯片,其特征在于,所述处理电路用于:
将所述K*K的区域中的每个数据分别与K*K的滤波矩阵中的对应元素相乘再求和,得到所述M*M的区域的一个数据。
34.根据权利要求31至33中任一项所述的芯片,其特征在于,所述处理电路用于,通过线性插值或双三次插值得到所述(K+M-1)*(K+M-1)的区域。
35.根据权利要求31至34中任一项所述的芯片,其特征在于,所述处理电路用于:
在对所述R*R的区域进行上采样滤波处理后,对下一个R*R的区域进行所述上采样滤波处理,得到下一个M*M的区域,其中,所述下一个R*R的区域包括所述R*R的区域的后R-1列以及与所述R*R的区域相邻的下一列的R个数据。
36.根据权利要求31至35中任一项所述的芯片,其特征在于,所述芯片还包括第一缓存;
所述处理电路用于:
将所述图像的R行数据读取到所述第一缓存,其中,对所述第一缓存中的所述R行数据的每个R*R的区域进行所述上采样滤波处理后,得到M行处理后数据;
在处理完所述R行数据后,将所述图像的下一行数据读取到所述第一缓存,其中,所述下一行数据与所述第一缓存中原有的后R-1行数据作为下一次上采样滤波处理的R行数据。
37.根据权利要求36所述的芯片,其特征在于,所述芯片还包括第二缓存;
所述处理电路用于:
输出所述M行处理后数据中的第1行处理后数据,将所述M行处理后数据中的第2至M行处理后数据缓存到所述第二缓存;
在所述第1行处理后数据输出完成后,依次从所述第二缓存中输出所述第2至M行处理后数据;
其中,在输出所述M行处理后数据中的第M行处理后数据后,将所述图像的下一行数据读取到所述第一缓存。
38.根据权利要求36或37所述的芯片,其特征在于,所述图像的列数为W,通过对所述R行数据进行边缘填充处理得到W个R*R的区域,通过所述W个R*R的区域得到所述M行处理后数据的M*W列。
39.根据权利要求36或37所述的芯片,其特征在于,所述图像的列数为W,通过忽略所述R行数据的边缘数据得到N个R*R的区域,其中,N<W,通过所述N个R*R的区域得到所述M行处理后数据的M*N列。
40.根据权利要求31至39中任一项所述的芯片,其特征在于,所述M为2。
41.一种处理器,其特征在于,包括根据权利要求21至30中任一项所述的芯片。
42.一种处理器,其特征在于,包括根据权利要求31至40中任一项所述的芯片。
43.一种计算机系统,其特征在于,包括:
存储器,用于存储计算机可执行指令;
处理器,用于访问所述存储器,并执行所述计算机可执行指令,以进行根据权利要求1至10中任一项所述的方法中的操作。
44.一种计算机系统,其特征在于,包括:
存储器,用于存储计算机可执行指令;
处理器,用于访问所述存储器,并执行所述计算机可执行指令,以进行根据权利要求11至20中任一项所述的方法中的操作。
45.一种移动设备,其特征在于,包括:
根据权利要求21至30中任一项所述的芯片;或者,
根据权利要求31至40中任一项所述的芯片;或者,
根据权利要求41或42所述的处理器;或者,
根据权利要求43或44所述的计算机系统。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2017/076409 WO2018165812A1 (zh) | 2017-03-13 | 2017-03-13 | 处理图像的方法、芯片、处理器、计算机系统和移动设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108369725A true CN108369725A (zh) | 2018-08-03 |
Family
ID=63011299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780003655.6A Pending CN108369725A (zh) | 2017-03-13 | 2017-03-13 | 处理图像的方法、芯片、处理器、计算机系统和移动设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20190392556A1 (zh) |
CN (1) | CN108369725A (zh) |
WO (1) | WO2018165812A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111314579A (zh) * | 2020-02-21 | 2020-06-19 | 苏州浪潮智能科技有限公司 | 一种图像垂直滤波处理的方法及芯片 |
CN112308762A (zh) * | 2020-10-23 | 2021-02-02 | 北京三快在线科技有限公司 | 一种数据处理方法及装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11756510B2 (en) * | 2020-06-10 | 2023-09-12 | Google Llc | Systems, devices, and methods for assembling image data for display |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110141348A1 (en) * | 2009-12-10 | 2011-06-16 | Yunwei Jia | Parallel processor for providing high resolution frames from low resolution frames |
CN104660951A (zh) * | 2015-01-21 | 2015-05-27 | 上海交通大学 | 一种高清转超高清视频图像的超分辨率放大方法 |
CN105046672A (zh) * | 2015-06-30 | 2015-11-11 | 北京工业大学 | 一种图像超分辨率重建方法 |
CN105408935A (zh) * | 2013-04-26 | 2016-03-16 | 弗劳恩霍夫应用研究促进协会 | 上采样和信号增强 |
CN105894483A (zh) * | 2016-03-30 | 2016-08-24 | 昆明理工大学 | 一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7333141B2 (en) * | 2002-10-22 | 2008-02-19 | Texas Instruments Incorporated | Resampling methods for digital images |
CN101374212B (zh) * | 2008-08-15 | 2012-01-11 | 上海茂碧信息科技有限公司 | 一种使用分级速度的存储器结构进行图像插值运算的方法 |
CN102354394B (zh) * | 2011-09-22 | 2015-03-11 | 中国科学院深圳先进技术研究院 | 图像超分辨方法及系统 |
CN102842123B (zh) * | 2012-07-12 | 2014-12-17 | 南京理工大学 | 图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法 |
-
2017
- 2017-03-13 WO PCT/CN2017/076409 patent/WO2018165812A1/zh active Application Filing
- 2017-03-13 CN CN201780003655.6A patent/CN108369725A/zh active Pending
-
2019
- 2019-09-09 US US16/564,885 patent/US20190392556A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110141348A1 (en) * | 2009-12-10 | 2011-06-16 | Yunwei Jia | Parallel processor for providing high resolution frames from low resolution frames |
CN105408935A (zh) * | 2013-04-26 | 2016-03-16 | 弗劳恩霍夫应用研究促进协会 | 上采样和信号增强 |
CN104660951A (zh) * | 2015-01-21 | 2015-05-27 | 上海交通大学 | 一种高清转超高清视频图像的超分辨率放大方法 |
CN105046672A (zh) * | 2015-06-30 | 2015-11-11 | 北京工业大学 | 一种图像超分辨率重建方法 |
CN105894483A (zh) * | 2016-03-30 | 2016-08-24 | 昆明理工大学 | 一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法 |
Non-Patent Citations (3)
Title |
---|
RICHARD MEMBARTH ET AL.: "Efficient mapping of multiresolution image filtering algorithms on graphics processors", 《EMBEDDED COMPUTER SYSTEMS: ARCHITECTURES, MODELING, AND SIMULATION. SAMOS 2009. LECTURE NOTES IN COMPUTER SCIENCE》 * |
VLADIMIR CEPERKOVIE ET AL.: "Non-stationary two-dimensional subband transformer filters", 《2012 20TH TELECOMMUNICATIONS FORUM (TELFOR)》 * |
袁野 等: "适合硬件实现的解决色度上采样错误的算法实现", 《电视技术》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111314579A (zh) * | 2020-02-21 | 2020-06-19 | 苏州浪潮智能科技有限公司 | 一种图像垂直滤波处理的方法及芯片 |
CN111314579B (zh) * | 2020-02-21 | 2021-10-15 | 苏州浪潮智能科技有限公司 | 一种图像垂直滤波处理的方法及芯片 |
US11659173B2 (en) | 2020-02-21 | 2023-05-23 | Inspur Suzhou Intelligent Technology Co., Ltd. | Method and chip for vertically filtering image |
CN112308762A (zh) * | 2020-10-23 | 2021-02-02 | 北京三快在线科技有限公司 | 一种数据处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2018165812A1 (zh) | 2018-09-20 |
US20190392556A1 (en) | 2019-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5317866B2 (ja) | グラフィック処理の監視 | |
US8891904B2 (en) | System and method for scaling digital images | |
JP5371221B2 (ja) | 粒子法シミュレーションのためのスライスデータ構造、およびスライスデータ構造を利用した粒子法シミュレーションのgpuへの実装方法 | |
US11210865B2 (en) | Visually interacting with three dimensional data in augmented or virtual reality | |
US20110205583A1 (en) | Image processing method and method of three-dimensional printing incorporating the same | |
CN108369725A (zh) | 处理图像的方法、芯片、处理器、计算机系统和移动设备 | |
US20100020069A1 (en) | Partitioning-based performance analysis for graphics imaging | |
JP7261226B2 (ja) | 演算処理装置 | |
EP3756168B1 (en) | Packing arrangement determination for 3d printing of objects | |
CN108475347A (zh) | 神经网络处理的方法、装置、加速器、系统和可移动设备 | |
JP7352684B2 (ja) | フィルタ処理装置およびその制御方法 | |
EP0690414A2 (en) | A system and method for drawing vector data | |
US20080229238A1 (en) | Scalable images using bitmaps and vector images | |
US20120078589A1 (en) | Unified handle approach for moving and extruding objects in a 3-d editor | |
CN107766703A (zh) | 水印添加处理方法、装置及客户端 | |
TW202029065A (zh) | 積體電路、神經網路處理器與裝置以及資料處理方法 | |
CN108513670A (zh) | 处理图像的方法、芯片、处理器、系统和可移动设备 | |
JP3972994B2 (ja) | 構造格子データの可視化方法及びプログラム | |
JP2016143210A (ja) | 磁界シミュレータプログラム、磁界シミュレータ装置および磁界シミュレーション方法 | |
Agranovsky et al. | A multi-resolution interpolation scheme for pathline based Lagrangian flow representations | |
US9135697B2 (en) | Method and system for determining a boundary surface network | |
Smets et al. | Custom processor design for efficient, yet flexible Lucas-Kanade optical flow | |
EP2319015A1 (en) | Partitioning-based performance analysis for graphics imaging | |
Shah et al. | GPU-accelerated post-processing and animated volume rendering of isogeometric analysis results | |
JP7089174B2 (ja) | 連立方程式処理装置、連立方程式処理方法および連立方程式処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20220311 |
|
AD01 | Patent right deemed abandoned |