CN115511709A - 一种自适应的超分辨率图像采样系统 - Google Patents
一种自适应的超分辨率图像采样系统 Download PDFInfo
- Publication number
- CN115511709A CN115511709A CN202211172251.9A CN202211172251A CN115511709A CN 115511709 A CN115511709 A CN 115511709A CN 202211172251 A CN202211172251 A CN 202211172251A CN 115511709 A CN115511709 A CN 115511709A
- Authority
- CN
- China
- Prior art keywords
- resolution image
- image
- super
- data
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005070 sampling Methods 0.000 title claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000003044 adaptive effect Effects 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000004422 calculation algorithm Methods 0.000 abstract description 5
- 238000009877 rendering Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical group C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种自适应的超分辨率图像采样系统，属于图形处理领域，包括图像预处理模块、数据流控制模块、图像超采样模块和输出仲裁模块；所述图像预处理模块功能是扩展低分辨率的图像边界便于后续处理；所述数据流控制模块负责将数据按照顺序输送给图像超采样模块；所述图像超采样模块使用五级流水线技术实现基于边缘修复的自适应超采样算法来实现图像超采样功能；所述输出仲裁模块用于将输出的超采样结果按照图像格式输出数据，最终得到高分辨率的图像，采用本发明技术方案，游戏图像渲染场合，可以渲染低分辨率图像，再将渲染后的结果用本文方法超采样成高分辨率图像，进而大大减小游戏渲染时间和设备压力。
Description
技术领域
本发明涉及图像处理领域领域，具体涉及一种自适应的超分辨率图像采样系统。
背景技术
超分辨率图像处理的应用领域非常的广泛，可以应用于医学影像的精细化处理，例如当临床内窥镜拍摄到人体内部组织块的图像时，由于人体内部环境复杂，拍摄图像可能不够清晰，这时候就可以用超分辨率图像处理技术将图像高分辨率化，从而让医护人员更为方便的能观察到一些细小的肿瘤之类的组织块；也可以应用于太空遥感图像的精细化处理、游戏图像渲染领域等等。
超分辨率图像处理技术的难点在于要将低分辨率图像变成高分辨率图像的算法复杂度一般为o(n2)，从计算到得出结果需要很多时间，如果使用深度学习的算法去精细化一张图像那所需要花费的时间可能需要几分钟甚至十几分钟，这对于一些需要及时反馈的场景带来了很大问题。例如游戏的图像渲染场景，用游戏引擎渲染低分辨率图像来降低渲染引擎的压力，然后将渲染完毕的分辨率图像用超分辨率处理技术变成高分辨率图像，应用方式很好，但是游戏对于实时性的要求很高，对算法得出结果的速度要求十分苛刻，算法对图像的处理速度要大于1秒60帧对游戏体验者来说才不会有明显的卡顿。
发明内容
为解决上述技术问题，本发明提供一种自适应的超分辨率图像采样系统，第一目的在于解决图像超分辨率处理技术中分辨率不够高的问题，第二目的在于使用硬件加速技术解决超分辨率图像处理速度过慢的问题。
为解决上述技术问题，本发明采用如下技术方案：
一种自适应的超分辨率图像采样系统，包括对帧缓存的低分辨率图像进行扩边操作的图像预处理模块、将低分辨率图像读取成所需要窗口大小的数据并按照顺序整理成数据流的数据流控制模块、暂存低分辨率图像数据的行缓存模块、将低分辨率图像数据进行自适应超分辨率处理的图像超采样模块，以及对图像超采样模块输出的高分辨率图像数据按照特定图像格式进行输出的输出仲裁模块。
具体地，所述窗口大小可以选择为4像素*4像素。
所述图像预处理模块，先通过ZYNQ系列开发板的PS端将图像从外部存储中读取并存储至DDR内，然后通过对DMA搬运的DDR中的图像数据进行宽度扩充操作，处理1K(960*540)图像时使用计数器；将图像宽度的预处理放置在数据流控制模块前可以减少设计复杂度，使得数据流控制模块的控制逻辑更为简单。内部配置写计数器，每次写入数据时计数器加1，记满960-1后归0；当计数器为0或者959时说明分别是行首和行尾的像素，在下游准备好接收数据以及上游准备好发送数据时，状态机从IDLE进入扩充像素状态，等待下游累计三次握手成功后返回IDLE，扩充完毕。
其中，外部存储可以为SD卡。
所述数据流控制模块包含五行行缓存，行缓存的深度为964(960+4)，其中四行用于参与图像超采样模块运算，第五行用来实现滑窗，目的是保证列方向的复用。当数据存满三行加一个像素后可以输出16个像素(每行司个像素)给下游；当数据存满五行时拉低下游握手信号。
所述行缓存模块用于缓存一行的数据，以便于图像超采样模块同时处理四行的数据(每行四个像素，共16个像素)；在行缓存模块中使用移位寄存器，将输入的96bit低分辨率数据转换为96bit高分辨率数据输出；行缓存模块内部例化了双端口单时钟BRAM，数据位宽为24bit，逻辑深度为964，即容量为964×3Byte。
所述图像超采样模块，能够将数据流控制模块输入的4×4窗口内的1K分辨率图像数据，通过硬件实现基于边缘修复的自适应lanczos2插值方法，超采样为4×4窗口内的4K分辨率图像数据并输出。
所述通过硬件实现的基于边缘修复的自适应lanczos2插值方法，利用lanczos2方法进行插值时，需要对每一个输出的超采样点进行一个归一化的权重计算。计算出每个超采样点的十六个下采样点对该超采样点的X方向和Y方向的权重贡献：X1＝lanczos2(1+x1,a),X2＝lanczos2(x1,a),X3＝lanczos2(1-x1,a),X4＝lanczos2(2-x1,a)，Y1＝lanczos2(1+y1,a),Y2＝lanczos2(y1,a),Y3＝lanczos2(1-y1,a),Y4＝lanczos2(2-y1,a)，其中x1和y1分别为超采样点与下采样点中心在X方向和Y方向的距离，定义相邻两个下采样点之间的距离为1；其中
权重计算时可以使用查找表技术，提前将基于边缘修复的lanczos2插值方法可能用到的权重值提前用matlab自动化计算出来并存储在ROM中，这样需要使用的时候直接调取，就能减少很多乘法以及除法运算，大大降低了资源的消耗和系统的功耗。
所述图像超采样模块使用五级流水线设计来实现硬件加速操作：通过嵌入在4*4窗口中的3*3滑窗计算窗口内局部图像的边缘特征值Feature；第一级流水线并行计算窗口内四个滑窗的边缘特征值：Featurex和Featurey，其中Featurex和Featurey的位宽都是32bit，分别用来存放横向和纵向的边缘差值，Featurex和Featurey均通过以下公式计算：
其中Fleft_or_up表示下采样点4*4矩阵左边两列或者上两行像素值之和，Fright_or_down表示下采样点4*4矩阵的右边两列或者下两行像素值之和。
第二级流水线将计算出来的Featurex和Featurey求和得到判据变量criterion，在软件描述文档中，变量criterion定义如下：
FeaturexA、FeaturexB、FeaturexC、FeaturexD每个4*4的窗口对应四个Featurex；FeatureyA、FeatureyB、FeatureyC、FeatureyD为每个4*4的窗口对应四个Featurey；可选地，判定criterion属于哪个边界区间(0.1×256～0.2×256、0.2×256～0.3×256或者大于0.3×256)时可以除以四又除以二，写硬件的时候减少运算消耗，直接把乘以二和乘以四放到右边的判定区间，因为区间是固定的所以可以直接预计算完毕。
第三级流水线根据上一级得到的criterionn的结果，对不同的criterionn在ROM二维数组中选取所不同下采样点的权值，然后和下采样点的单通道数值做乘法，得到权重像素。
第四级流水线对每个超采样点的权重像素积进行求和，得到的数值存储在一维矩阵data_with_decimal中,在这级流水线中，进行15次串行的20bit加法。
第五级流水线得到16个权重像素积的求和之后，并不能直接输出其整数部分，还需要对这个结果进行一些额外的处理，得到的每个data_with_decimal可能会出现以下异常的情况，需要做处理：若输出的结果大于255，需要令其等于255；若输出的结果为负数，需要令其等于0；若输出的结果大于max_of，则令其等于max_of；若输出的结果小于min_of，则令其等于min_of；若输出结果的小数位的第一比特如果为1，且进位后不大于max_of时，则需要进行进位操作；若输出结果的小数位的第一比特如果为0，则不进行进位操作；其中max_of和min_of为窗口内十六个低分辨率图像数据的最大值和最小值。
所述输出仲裁模块用于缓存图像超采样模块输出的数据(缓存四行)，并将输入的96bit数据转换为384bit数据输出，从而实现输入和输出的速度大致相同，最大化IP处理图像的速度。
所述输出仲裁模块把数据拼接完后，将超采样的结果按照bmp图像的数据排布格式送到DMA中，使用DMA将数据运送到DDR内，并用VDMA读出并在HDMI接口的显示屏上显示图像。
为了实现功能的可配性和功耗的可配置性，为整个系统增加了并行模式；未开启并行模式时，对图像的三个颜色通道串行处理，开启并行模式时，三个颜色通道同时处理，以牺牲功耗为代价来使图像处理的速度增加三倍，以应对不同的图像处理环境和不同的图像处理速度要求。
与现有技术相比，本发明的有益技术效果是：
本发明中的技术方案可以应用在包括游戏图像渲染在内的各种图像超分辨率采样场景，可以先渲染低分辨率图像，再将渲染后的结果用本发明中的方案超采样成高分辨率图像，进而大大减小游戏渲染时间和设备压力。
附图说明
图1为本发明实施例提供的自适应的超分辨率图像采样系统的结构图。
图2为本发明图像预处理模块扩充像素的示意图(灰色方格为扩充的像素，主要示意两侧扩充结果)；
图3为本发明图像预处理模块的时序图；
图4为本发明将第一行复制三份给行缓存的像素分布示意图；
图5为本发明计算边缘特征值的区域分块示意图；
图6为本发明非并行模式处理单帧缓存图像的仿真结果图；
图7为本发明并行模式处理单帧缓存图像的仿真结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是实现一种自适应的超分辨率图像采样系统，使用硬件加速超分辨率图像处理方法，使得系统可以应用于图像超分辨率采样的场景，例如游戏渲染场景，当图像的渲染引擎压力过大时，可以令渲染引擎渲染低分辨率图像，降低渲染压力，然后用本发明的硬件加速系统将低分辨率图像快速处理成高分辨率的图像并输出，实现实时的超分辨率图像采样功能。
实施例一
如图1所示，一种自适应的超分辨率图像采样系统，包括对帧缓存的低分辨率图像进行扩边操作的图像预处理模块、将低分辨率图像读取成所需要的4*4窗口数据按照顺序整理成数据流的数据流控制模块、暂存低分辨率图像数据的行缓存模块、将低分辨率数据进行自适应超分辨率处理的图像超采样模块，以及对图像超采样模块输出的高分辨率图像数据按照特定图像格式进行输出的输出仲裁模块。
图像预处理模块先通过ZYNQ系列开发板的PS端将一张1K低分辨率图像从SD卡中读取并存储至DDR内，然后通过对PS端控制DMA，搬运DDR中的图像数据进行宽度扩充操作，图像预处理模块内部配置写计数器，每次写入数据计数器加1，记满960-1后归0。当计数器为0或者959时说明分别是行首和行尾的像素，在下游准备好接收数据以及上游准备好发送数据时，状态机从IDLE进入扩充像素状态，等待下游累计三次握手成功后返回IDLE，扩充完毕。对第一行复制一整行两次，对最后一行复制一整行两次，对中间的行复制头两像素和尾两像素，边界扩充示意如图2所示，整个数据处理时序图如图3所示。
扩边完后将需要对图像进行行缓存，为后续图像超采样模块4*4窗口的低分辨率数据提供平台，数据流控制模块使用了五行行缓存，行缓存的深度为964(960+4)，其中四行用于参与图像超采样模块运算，第五行用来实现滑窗，目的是保证列方向的复用。当数据存满三行加一个像素后可以输出16个像素(每行四个像素)给下游；当数据存满五行时拉低下游握手信号，但是对于低分辨率图像的首行需要做额外处理，因为图像的首两行需要进行扩边操作，所以将输入数据的首行同时写入前3行行缓存，如图4所示。
其中行缓存模块功能用于缓存一行的数据，以便于图像超采样模块同时处理四行的数据(每行四个像素，共16个像素)。在行缓存模块中使用移位寄存器，将输入的96bit低分辨率数据转换为96bit高分辨率数据输出。缓存模块内部例化了双端口单时钟BRAM，数据位宽为24bit，逻辑深度为964，即容量为964×3Byte。
将数据流控制模块得到的4×4大小的1K低分辨率的下采样图像数据送给超分辨率图像采样模块，通过硬件实现基于边缘修复的自适应lanczos2插值方法，将低分辨率的下采样图像数据超采样成4×4大小的4K图像数据并输出。
所述通过硬件实现的基于边缘修复的自适应lanczos2插值方法，利用lanczos2方法进行插值时，需要对每一个输出的超采样点进行一个归一化的权重计算，计算出每个超采样点的十六个下采样点对该超采样点的X方向和Y方向的权重贡献：X1＝lanczos2(1+x1,a),X2＝lanczos2(x1,a),X3＝lanczos2(1-x1,a),X4＝lanczos2(2-x1,a)，Y1＝lanczos2(1+y1,a),Y2＝lanczos2(y1,a),Y3＝lanczos2(1-y1,a),Y4＝lanczos292-y1,a)，其中x1和y1是分别为超采样点与下采样点中心在X方向和Y方向的距离，定义相邻两个下采样点之间的距离为1；其中
权重计算时可以使用查找表技术，提前将基于边缘修复的lanczos2插值方法可能用到的权重值提前用matlab自动化计算出来并存储在ROM中，这样需要使用的时候直接调取，就能减少很多乘法以及除法运算，大大降低了资源的消耗和系统的功耗。
所述图像超采样模块使用五级流水线设计来实现硬件加速操作：通过嵌入在4*4窗口中的3*3滑窗计算窗口内局部图像的边缘特征值Feature；第一级流水线并行计算四个滑窗的边缘特征值：Featurez和Featurey，其中Featurex和Featurey的位宽都是32bit，分别用来存放横向和纵向的边缘差值，Featurex和Featurey均通过以下公式计算：
其中Fleft_or_up表示下采样点4*4矩阵左边两列或者上两行像素值之和，Fright_or_down表示下采样点4*4矩阵的右边两列或者下两行像素值之和。
第二级流水线将计算出来的Featurex和Featurey求和得到判据变量criterion，在软件描述文档中，我们定义的变量criterion是如下定义的：
FeaturexA、FeaturexB、FeaturexC、FeaturexD每个4*4的窗口对应四个Featurex，FeatureyA、FeatureyB、FeatureyC、FeatureyD为每个4*4的窗口对应四个Featurey；其中ABCD区域分化如图5所示。最后判定criterion属于哪个边界区间(0.1×256～0.2×256、0.2×256～0.3×256或者大于0.3×256)时除以四又除以二，写硬件的时候减少运算消耗，直接把乘以二和乘以四放到右边的判定区间，因为区间是固定的所以可以直接预计算完毕。
第三级流水线根据上一级得到的criterionn的结果，对不同的criterionn在ROM二维数组中选取所对应的不同位置的权值，然后和下采样点的单通道数值做乘法。
第四级流水线对每个超采样点的权重像素积进行求和，得到的数值存储在一维矩阵data_with_decimal中,在这级流水线中，进行15次串行的20bit加法。
第五级流水线得到16个权重像素积的求和之后，并不能直接输出其整数部分，还需要对这个结果进行一些额外的处理，得到的每个data_with_decimal可能会出现以下异常的情况，需要做处理：若输出的结果大于255，需要令其等于255；若输出的结果为负数，需要令其等于0；若输出的结果大于max_of，则令其等于max_of；若输出的结果小于min_of，则令其等于min_of；若输出结果的小数位的第一比特如果为1，且进位后不大于max_of时，则需要进行进位操作；若输出结果的小数位的第一比特如果为0，则不进行进位操作；其中max_of和min_of为十六个下采样图像数据的最大值和最小值。
在处理数据的过程中，并不是十分理想的时时刻刻都有数据进来，会出现数据中断的现象，在流水之间使用握手信号，实现流水握手，很好的解决了因为上游断流引起的流水线重启问题，也很好的解决了因为下游反压引起的数据丢失问题。
所述输出仲裁模块用于缓存图像超采样模块输出的数据(缓存四行)，并将输入的96bit数据转换为384bit数据输出，从而实现输入和输出的速度大致相同，最大化IP处理图像的速度。
所述输出仲裁模块把数据拼接完后，将超采样的结果按照bmp图像的数据排布格式送到DMA中，用PS控制DMA将数据运送到DDR内，并用VDMA读出DDR对应位置的帧缓存图像数据并通过HDMI驱动IP核在HDMI接口的显示屏上显示图像。
实施例二
为了实现功能的可配性和功耗的可配置性，为整个图像采样系统增加了并行模式的操作，未开启并行模式时，对图像的三个颜色通道串行处理，开启并行模式时，三个颜色通道同时处理，以牺牲功耗为代价来使图像处理的速度增加三倍，以应对不同的图像处理环境和不同的图像处理速度要求。
整个图像采样系统所能工作的最大时钟频率为125MHz，在125MHz的时钟下，使用非并行模式超分辨率采样一张1K的低分辨率图像，并输出4K的高分辨率图像需要12497485ns，即整个系统所能支持的最高图像处理帧数为：109÷12,497,485＝80.016帧，大于60帧，满足人体所能感受到卡顿的帧数，符合实时游戏渲染的标准，非并行仿真结果如图6所示。
开启使用并行模式后，在时钟频率为125MHz时，IP超采样处理1K图像为4K图像的时间是4192029ns，即109÷4,192,029＝238.55帧。满足高性能图像渲染的图像处理帧数需求，可以实时无卡顿的支持低分辨率图像到高分辨率图像的超采样，并行仿真结果如图7所示。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种自适应的超分辨率图像采样系统，其特征在于：包括对帧缓存的低分辨率图像进行扩边操作的图像预处理模块、将低分辨率图像读取成所需要窗口大小的数据并按照顺序整理成数据流的数据流控制模块、暂存低分辨率图像数据的行缓存模块、将低分辨率图像数据进行自适应超分辨率处理的图像超采样模块，以及对图像超采样模块输出高分辨率图像数据按照特定图像格式进行输出的输出仲裁模块。
2.根据权利要求1所述的自适应的超分辨率图像采样系统，其特征在于：所述图像预处理模块通过直接存储器访问(DMA)，将低分辨率图像从外部存储中读取出来，并存储至内部存储(DDR)中，然后对内部存储(DDR)中的低分辨率图像进行宽度扩充；图像预处理模块对低分辨率进行扩充的操作，位于数据流控制模块对低分辨率图像读取的操作之前。
3.根据权利要求1所述的自适应的超分辨率图像采样系统，其特征在于：所述窗口大小为4像素*4像素；所述数据流控制模块包括五行行缓存，行缓存的深度为964，其中四行行缓存用于参与图像超采样模块的运算，另外一行行缓存用于实现数据流控制模块读取低分辨率图像时的滑窗。
4.根据权利要求1所述的自适应的超分辨率图像采样系统，其特征在于：所述窗口大小为4像素*4像素；所述行缓存模块用于缓存一行低分辨率图像数据，以使图像超采样模块同时处理四行的低分辨率图像数据；其中每行低分辨率图像四个像素，四行低分辨率图像共16个像素；在行缓存模块中使用移位寄存器，将输入的96bit的低分辨率数据转换为96bit的高分辨率数据输出。
5.根据权利要求1所述的自适应的超分辨率图像采样系统，其特征在于：所述窗口大小为4像素*4像素；所述图像超采样模块，能够通过以硬件实现的基于边缘修复的自适应lanczos2插值方法，将数据流控制模块输入的位于窗口内的1K大小的低分辨率图像数据超采样为位于窗口内的4K大小的高分辨率图像数据并输出。
6.根据权利要求1所述的自适应的超分辨率图像采样系统，其特征在于：所述窗口大小为4像素*4像素；所述输出仲裁模块能够缓存图像超采样模块输出的四行高分辨率数据，并将输入的96bit数据转换为384bit数据输出。
7.根据权利要求1所述的自适应的超分辨率图像采样系统，其特征在于：所述输出仲裁模块将高分辨率图像数据拼接后，按照bmp图像的数据排布格式送到直接存储器访问(DMA)中，使用直接存储器访问(DMA)将高分辨率图像数据运送到内部存储(DDR)内，并在显示屏上显示高分辨率图像。
8.根据权利要求1所述的自适应的超分辨率图像采样系统，其特征在于：超分辨率图像采集系统包括并行模式和非并行模式；超分辨率图像采集系统为非并行模式时，对低分辨率图像的R通道、G通道、B通道串行处理；超分辨率图像采集系统为并行模式时，对低分辨率图像的R通道、G通道、B通道同时处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211172251.9A CN115511709A (zh) | 2022-09-26 | 2022-09-26 | 一种自适应的超分辨率图像采样系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211172251.9A CN115511709A (zh) | 2022-09-26 | 2022-09-26 | 一种自适应的超分辨率图像采样系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115511709A true CN115511709A (zh) | 2022-12-23 |
Family
ID=84506127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211172251.9A Pending CN115511709A (zh) | 2022-09-26 | 2022-09-26 | 一种自适应的超分辨率图像采样系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115511709A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115689895A (zh) * | 2023-01-01 | 2023-02-03 | 武汉图科智能科技有限公司 | 基于Lanczos插值的上采样硬件处理系统 |
-
2022
- 2022-09-26 CN CN202211172251.9A patent/CN115511709A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115689895A (zh) * | 2023-01-01 | 2023-02-03 | 武汉图科智能科技有限公司 | 基于Lanczos插值的上采样硬件处理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111105352B (zh) | 超分辨率图像重构方法、系统、计算机设备及存储介质 | |
| US20210327033A1 (en) | Video processing method and apparatus, and computer storage medium | |
| JPH03180965A (ja) | 単一のマルチプライヤ／アキュムレータと単一のランダムアクセスメモリを用いてｄｃｔ／ｉｄｃｔ演算を繰り返す集積回路装置 | |
| KR20050108365A (ko) | 썸네일 이미지를 생성하고 리사이즈 이미지의 이미지품질을 향상시키는 장치 및 방법 | |
| CN110852944A (zh) | 基于深度学习的多帧自适应融合的视频超分辨方法 | |
| US11983848B2 (en) | AI frame engine for mobile edge | |
| CN106162131B (zh) | 一种实时图像处理方法 | |
| CN115511709A (zh) | 一种自适应的超分辨率图像采样系统 | |
| CN109146793B (zh) | 一种流水线式图像色度格式转换缩放旋转叠加的系统 | |
| JPS62262188A (ja) | 画像処理装置 | |
| CN104952088A (zh) | 一种对显示数据进行压缩和解压缩的方法 | |
| CN204929109U (zh) | 一种实时图像处理电路 | |
| CN104065937B (zh) | 用于cmos图像传感器的实时高速图像预处理方法 | |
| WO2006126042A1 (en) | Method and device for processing image data stored in a frame buffer | |
| CN111107295B (zh) | 基于fpga和非线性插值的视频缩放方法 | |
| CN112188262B (zh) | 图像处理方法、装置及系统和计算机可读介质 | |
| CN104954749B (zh) | 一种信息记录方法 | |
| CN115002304B (zh) | 一种视频图像分辨率自适应转换装置 | |
| JP2001285644A (ja) | ラインメモリの制御方法 | |
| CN110517183B (zh) | 一种基于视网膜机制的高速低功耗图像处理器 | |
| US20030016389A1 (en) | Image processing device | |
| CN102129667B (zh) | 一种图像缩放方法 | |
| Yang et al. | FPGA Implementation of Image Super-Resolution Based on Bicubic Interpolation and CNN | |
| CN113766205B (zh) | 色调映射电路及图像处理装置 | |
| CN110602426B (zh) | 一种视频图像边缘提取系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |