CN117474766A - 超级分辨率模型的训练方法、超级分辨率方法与系统 - Google Patents

超级分辨率模型的训练方法、超级分辨率方法与系统 Download PDF

Info

Publication number
CN117474766A
CN117474766A CN202210825565.8A CN202210825565A CN117474766A CN 117474766 A CN117474766 A CN 117474766A CN 202210825565 A CN202210825565 A CN 202210825565A CN 117474766 A CN117474766 A CN 117474766A
Authority
CN
China
Prior art keywords
super
resolution
image
resolution model
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210825565.8A
Other languages
English (en)
Inventor
包苡廷
余家伟
王浩然
林天鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realtek Semiconductor Corp
Original Assignee
Realtek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realtek Semiconductor Corp filed Critical Realtek Semiconductor Corp
Priority to CN202210825565.8A priority Critical patent/CN117474766A/zh
Priority to TW111131053A priority patent/TWI813416B/zh
Priority to US18/220,858 priority patent/US20240020791A1/en
Publication of CN117474766A publication Critical patent/CN117474766A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

一种超级分辨率模型的训练方法，并包括通过此训练方法得出的人工智能超级分辨率模型所实现的超级分辨率方法与系统，在此训练方法中，提供输入影像，并设定非整数倍率与影像品质门限，接着取得输入影像的像素值，并获取影像特征，以根据输入影像的影像特征与非整数倍率，通过一超级分辨率模型得出多张通道图，之后根据放大倍率，对照输出像素的位置得到的相位信息，得出每张通道图对应的遮罩，再将多张通道图套用对应的多个遮罩后，重组一输出影像，经对照影像品质门限，评估取得输出影像的模型参数，以训练人工智能超级分辨率模型。

Description

超级分辨率模型的训练方法、超级分辨率方法与系统
技术领域
说明书公开一种通过超级分辨率演算法得出大尺寸影像的技术，特别是一种通过遮罩与类神经网络技术训练一非整数倍率超级分辨率模型的训练方法、超级分辨率方法与系统。
背景技术
现有超级分辨率(super resolution)是一种可以提高影像分辨率的演算技术，常配合人工智能技术以机器学习演算法提高影像分辨率，称人工智能超级分辨率(artificial intelligence super resolution，AISR)演算法，其中技术概念是使用大量范例照片来训练基于卷积神经网络(convolution neural network)的超级分辨率机器学习模型(super resolution machine learning model)，训练模型以低分辨率影像匹配高分辨率影像，例如可将1,000万像素的影像提高为4,000万像素的影像，同时还能保有照片丰富的细节。现有超级分辨率演算法的运行方式可参考图1显示的概念图，输入影像101为低分辨率影像，经过超级分辨率机器学习模型103处理后，输出影像105即为演算得出的高分辨率影像。
目前现有人工智能超级分辨率(AISR)演算法技术与硬件设计主要都是做整数倍率(1x,2x,3x,……)的设计，另有一些技术曾提及如何利用演算法去处理任意倍率放大。
关于整数倍率的人工智能超级分辨率演算法，现有曾有论文提出实现单张影像超级分辨率的增强型深度残差网络(enhanced deep residual networks for single imagesuper resolution)，其中提出的模型架构实现可以提升运算效能的单一尺度超级分辨率(EDSR)。
关于以任意倍率执行超级分辨率演算法的方法，现有提出一种用于超级分辨率的任意放大网络(magnification-arbitrary network for super resolution)，仅以单一模型实现任意尺度的超级分辨率演算法，其中通过输入尺度系数(scale factors)与使用动态预测的提升尺度滤波器权重(weights of upscale filters)，可以将低分辨率影像形成任意尺寸的高分辨率影像。
而在现有基于神经网络的硬件设计中，需要利用管路(pipeline)方式处理输入输出的信息。在实际应用上，当输出/输入(output/input)比例不是整数时，会有所限制导致不能够直接利用人工智能超级分辨率技术提升影像画质，而需要在演算过程的后半段加上尺度计(scaler)以内插方式补足不到的放大倍率。
相关演算法示意图可参考图2，根据实作上述超级分辨率演算法的管路硬件设计，在超级分辨率机器学习模型203中除了超级分辨率模型(SR model)外，还设有影像放大转换器(image up-scaling converter)。列举整数倍率放大的范例，可参考图3显示通过硬件运行超级分辨率演算法的时序示意图，当应用超级分辨率演算法的输入影像201大小为10(像素)x10(行)，设定尺度系数(scaling factor)为2x，通过超级分辨率机器学习模型203中的影像放大功能转换形成22(4)张输入小图，如图显示为单线单像素图211、单线双像素图212、双线单像素图213以及双线双像素图214，之后再重组回一张大图，此例显示输出20(像素)x20(行)的输出影像205。也就是说，参考图3显示的时序图，当在相同时间内输入具有一条10像素线的输入影像信号301，经过超级分辨率机器学习模型203后，将输出两条20像素的输出影像信号305。
另外，针对非整数倍率放大的超级分辨率演算法，因为传统的人工智能超级分辨率演算法无法实现非整数倍率放大，因此采取两阶段方式先做，根据图4显示实作非整数倍率的现有超级分辨率演算法范例示意图，举例来说，输入影像401大小为10(像素)x10(行)，设定尺度系数为1.5x，先通过超级分辨率机器学习模型403执行第一阶段超级分辨率演算法，输出第一输出影像405，之后再通过一个影像倍率转换器407，转换成为非整数倍率放大的第二输出影像409，例如在尺度系数为1.5x的倍率下输出15(像素)x15(行)的影像。
在实际运行上，以输入10(像素)x10(行)影像为例，输入影像401通过超级分辨率机器学习模型403可形成同样是10(像素)x10(行)的第一输出影像405，之后再进行放大转换为15(像素)x15(行)的第二输出影像409。或是先通过超级分辨率机器学习模型403执行2x放大倍率形成20(像素)x20(行)的第一输出影像405，之后再以缩小倍率的方式形成15(像素)x15(行)的第二输出影像409。
然而，现有的非整数倍率超级分辨率演算法仍会因为第二阶段的影像放大转换器407放大或缩小的效果不好而产生像素丢失(missing pixels)的问题。
发明内容
为了实现非整数倍率超级分辨率演算法，并解决现有非整数倍率超级分辨率演算法仍需要采用传统的影像倍率转换器产生的问题，本公开书提出一种超级分辨率模型的训练方法、超级分辨率方法与系统、应用其中人工智能超级分辨率模型的超级分辨率演算法与系统，借此实现非整数倍率人工智能的超级分辨率演算法，其中根据影像信息取得影像倍率转换所需的遮罩信息，并据此训练超级分辨率机器学习模型，能够得出效果更好的大尺寸高分辨率影像。
根据非整数倍率人工智能的超级分辨率模型的训练方法实施例，在此方法中，提供一输入影像，并设定一放大倍率与一影像品质门限，经取得输入影像的像素值后，获取影像特征，即根据输入影像的影像特征与所设定的放大倍率，通过一超级分辨率模型得出多张通道图，之后根据该放大倍率，对照输出像素的位置得到的相位信息，得出每张通道图对应的遮罩，再将多张通道图套用对应的多个遮罩后，重组一输出影像，之后可以对照所设定的影像品质门限，评估取得输出影像的多个遮罩，据此训练一人工智能超级分辨率模型。
优选地，在训练模型的过程中，通过反复以上步骤，通过迭代程序更新该非整数倍率人工智能的超级分辨率模型的模型参数，使输出影像符合影像品质门限。
进一步地，还可重复输入不同的输入影像，利用大量的影像与迭代程序，收敛得出人工智能超级分辨率模型的模型参数。
优选地，上述模型参数可实作一倒传递类神经网络的卷积运算中的每个节点之间连结的权重值。
其中由超级分辨率模型得出多张通道图通过对应多个遮罩推导出输出影像，而此推导输出影像的过程即根据相位信息得出对应的多个遮罩的过程。
应用上述非整数倍率人工智能的超级分辨率模型的训练方法所得出的人工智能超级分辨率模型，实现一超级分辨率方法，其中将可根据一非整数倍率，使一输入影像通过人工智能超级分辨率模型得出经过非整数倍率放大的输出影像。
公开书还提出一应用上述人工智能超级分辨率模型的系统，系统主要的电路元件包括一运行超级分辨率模型的电路，为对输入影像运行人工智能超级分辨率模型，一存储器，用以存储输入影像，以及一影像倍率卷积运算电路，能根据非整数倍率与输出像素的位置决定人工智能超级分辨率模型的模型参数。其中，系统运行非整数倍率的超级分辨率方法，将根据非整数倍率，使输入影像通过人工智能超级分辨率模型得出经过非整数倍率放大的输出影像。
优选地，系统实作应用于一影音装置中的特殊应用集成电路。
进一步地，系统可通过降低运行超级分辨率模型的电路的工作频率到一适当比例运行超级分辨率方法。
进一步地，存储器可为一先进先出式静态随机存取存储器，进一步地，系统可使运行超级分辨率模型的电路与影像倍率卷积运算电路运行于一相同工作频率，并采用此先进先出式静态随机存取存储器，以运行超级分辨率方法。
其中提供至影像倍率卷积运算电路的模型参数可为自一权重值库选择人工智能超级分辨率模型中卷积运算中的卷积权重值。影像倍率卷积运算电路可采用单卷积层或多卷积层设计。
进一步地，提供至影像倍率卷积运算电路的模型参数为通过一混合运算得出的多套卷积权重值。
为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，然而所提供的附图仅用于提供参考与说明，并非用来对本发明加以限制。
附图说明
图1显示现有超级分辨率演算法的运行示意图；
图2显示现有整数倍率放大的超级分辨率演算法运行范例图；
图3显示运行现有超级分辨率演算法的时序图；
图4显示实作非整数倍率的现有超级分辨率演算法范例示意图；
图5显示非整数倍率人工智能的超级分辨率演算方法的运行实施例示意图；
图6显示非整数倍率人工智能的超级分辨率演算方法的范例图；
图7显示非整数倍率人工智能的超级分辨率模型的训练方法的实施例流程图；以及
图8显示实现运行非整数倍率人工智能的超级分辨率模型的系统功能方框图。
符号说明
101：输入影像
103：超级分辨率机器学习模型
105：输出影像
201：输入影像
203：超级分辨率机器学习模型
205：输出影像
211：单线单像素图
212：单线双像素图
213：双线单像素图
214：双线双像素图
301：输入影像信号
305：输出影像信号
401：输入影像
403：超级分辨率机器学习模型
405：第一输出影像
407：影像倍率转换器
409：第二输出影像
501：输入影像
503：超级分辨率模型
505：输出影像
511：第1通道图
512：第2通道图
513：第N2-1通道图
514：第N2通道图
521：第1遮罩
522：第2遮罩
523：第N2-1遮罩
524：第N2遮罩
601：输入影像
611：第1通道图
612：第2通道图
613：第3通道图
614：第4通道图
621：第1遮罩
622：第2遮罩
623：第3遮罩
624：第4遮罩
603：组合影像
605：输出影像
801：输入影像
803：运行超级分辨率模型的电路
805：存储器
807：影像倍率卷积运算电路
809：权重值库
811：相位信息
813：输出影像
步骤S701～S717训练超级分辨率模型的流程
具体实施方式
以下是通过特定的具体实施例来说明本发明的实施方式，本领域技术人员可由本说明书所公开的内容了解本发明的优点与效果。本发明可通过其他不同的具体实施例加以施行或应用，本说明书中的各项细节也可基于不同观点与应用，在不悖离本发明的构思下进行各种修改与变更。另外，本发明的附图仅为简单示意说明，并非依实际尺寸的描绘，事先声明。以下的实施方式将进一步详细说明本发明的相关技术内容，但所公开的内容并非用以限制本发明的保护范围。
应当可以理解的是，虽然本文中可能会使用到“第一”、“第二”、“第三”等术语来描述各种元件或者信号，但这些元件或者信号不应受这些术语的限制。这些术语主要是用以区分一元件与另一元件，或者一信号与另一信号。另外，本文中所使用的术语“或”，应视实际情况可能包括相关联的列出项目中的任一个或者多个的组合。
公开书公开一种超级分辨率模型的训练方法、超级分辨率方法与系统，涉及利用类神经网络的训练得出超级分辨率模型，以及以此模型执行超级分辨率的方法，以及相关硬件，使得输入影像可以通过非整数倍率人工智能的超级分辨率模型实现非整数倍率放大影像的目标。
所述影像倍率为将一输入影像执行一非整数(可涵盖整数)放大倍率(ratio＝N/M)，其中N与M为自然数。训练非整数倍率人工智能的超级分辨率模型的方法可以根据图5所示范例中得出的遮罩去做类神经网络的倒传递(back propagation)，以训练出非整数倍率人工智能的超级分辨率模型。
在图5所示流程中，先提供一输入影像(WxH，其中W为宽，H为高)501，将输入影像通过超级分辨率模型(SR model)503执行影像倍率卷积运算(convolution calculation)后，其中根据放大倍率(N/M)的设定，以输入影像501为基础得出的N2张WxH影像，如附图中N2个通道(channel)影像，示意表示为第1通道图511、第2通道图512、……、第N2-1通道图513与第N2通道图514。
由于非整数倍率人工智能的超级分辨率演算方法运行之前会决定在所述放大倍率(N/M)得出最终的输出影像505，当通过超级分辨率模型得出N2个通道影像(WxH)要重组(shuffle)成N/M倍WxH图(N/Mx(WxH))的输出影像505，中间需要有一对一对应(mapping)的遮罩(mask)。根据实施例，方法中可根据放大倍率(N/M)以及输出像素的位置得到的相位(phase)信息得出每张通道图对应的遮罩，如图中显示有第1遮罩521、第2遮罩522、……、第N2-1遮罩523与第N2遮罩524。
上述遮罩是根据输入影像501逐像素设计，例如每张通道图对应到输出影像505的像素即标上1，没有对应的其余像素即标为0，形成对应每张通道图的遮罩，因此从超级分辨率模型得出的多张通道图通过遮罩的设计可以推导(inference)得到输出影像505，推导出输出影像的过程即根据通道图相位信息得出遮罩的过程。
进一步地，当要建立非整数倍率的超级分辨率模型时，即可根据非整数倍率以及输出像素的位置得出的相位信息，得出对应通道图(511,512,513,514)的遮罩以执行类神经网络的训练，以能建立新的超级分辨率模型，或更新原有超级分辨率模型。根据实施例之一，可引入一倒传递类神经网络(back propagation neural network，BPNN)，使用上述根据需求设计的遮罩去训练倒传递类神经网络，借此训练出超级分辨率模型的模型参数，实施例可参考图7。所述模型参数可指实作倒传递类神经网络的卷积运算中的每个节点之间连结的权重值，在非整数倍率人工智能的超级分辨率演算的需求中，所述模型参数为执行影像倍率卷积运算中的参数。完成训练后得出超级分辨率模型，可用于使输入影像501根据一倍率需求转换成输出影像505，通过上述遮罩的训练，可以实作非整数倍率的超级分辨率模型。
图6显示运行非整数倍率人工智能的超级分辨率演算方法的范例图。图6显示2x2(WxH)输入影像601，通过非整数倍率人工智能的超级分辨率演算法，最后欲得出3x3的输出影像605，即根据尺度系数(scaling factor)为2x决定多个通道影像，根据2x2输入影像601与非整数倍率放大形成的目标影像，即3x3输出影像605，决定第1通道图611、第2通道图612、第3通道图613与第4通道图614，以及根据3x3输出影像605的需求得出对应的遮罩。此例标示第1通道图611的像素((0,0),(0,2),(2,0),(2,2))对应第1遮罩621为(1,0,0,0)；第2通道图612的像素((0,1),(0,3),(2,1),(2,3))对应第2遮罩622(1,1,0,0)；第3通道图613的像素((1,0),(1,2),(3,0),(3,2))对应第3遮罩623(1,0,1,0)；第4通道图614的像素((1,1),(1,3),(3,1),(3,3))对应第4遮罩624(1,1,1,1)。可知，在重组输出影像605的需求下，对照输出像素的影像特征，从每张通道图得到相位信息，即可决定出多个遮罩。从多张通道图可形成组合影像603，此例显示其中像素标示为(0,0),(0,1),(0,2),(0,3),(1,0),(1,1),(1,2),(1,3),(2,0),(2,1),(2,2),(2,3),(3,0),(3,1),(3,2),(3,3)。
套用映射的遮罩后，可遮蔽(即遮罩值0)组合影像603中的像素(0,2),(1,2),(2,0),(2,1),(2,2),(2,3)与(3,2)，其余对应遮罩值为1的像素((0,0),(0,1),(0,3),(1,0),(1,1),(1,3),(3,0),(3,1)与(3,3))组成3x3的输出影像605。利用上述方法得出各种尺度需求的遮罩，可用遮罩去做类神经网络的倒传递，借此训练出人工智能超级分辨率模型中的模型参数。
图7描述利用上述遮罩训练非整数倍率人工智能的超级分辨率演算法中超级分辨率模型的方法流程实施例。
运行于上述方法中的超级分辨率模型为基于类神经网络技术的人工智能模型，在通过大量影像数据训练此超级分辨率模型的步骤中，每次提供一输入影像(步骤S701)，并设定预计要实现的放大倍率以及输出影像的影像品质门限，如此也决定了本次运算中使用的遮罩。
取得输入影像的像素值，同时获取其中影像特征(步骤S703)，之后根据影像特征与设定的放大倍率，通过一超级分辨率模型得出多张通道图，这是执行超级分辨率演算法中需要的过程(步骤S705)，之后即根据放大倍率与输出像素的位置，得出相位信息(步骤S707)，并因此取得本次运算中基于要实现的放大倍率的对应每张通道图的遮罩(步骤S709)，遮罩的产生方式可参考图5所示例图。之后将通道图套用对应的遮罩后，应用可迭代更新的模型参数，通过超级分辨率演算法得到经重组输出基于所设定的放大倍率的影像(步骤S711)。接着可比对理想值，即输出影像的品质门限(步骤S713)，可得出差异值，此差异值作为评估目前遮罩的优劣，并用于训练人工智能超级分辨率模型(步骤S715)。经过反复上述步骤，进入迭代(iteration)程序(步骤S717)，反复更新人工智能超级分辨率模型的模型参数，再应用至步骤S711，即应用更新的模型参数以超级分辨率演算法得出影像，使其能使输出影像符合系统设定的品质门限。
进一步地，再重复所有步骤，输入不同的输入影像，利用大量的影像与迭代程序，收敛得出人工智能超级分辨率模型的模型参数，亦为更新类神经网络中输入层、隐藏层(hidden layer)与输出层之间连结的权重值，建立有效的人工智能超级分辨率模型。
而此流程的目的即能够建立一人工智能超级分辨率模型，所实现的超级分辨率方法通过人工智能超级分辨率模型，根据一非整数倍率，可直接产生一经过非整数倍率放大的输出影像。上述人工智能超级分辨率模型与相关流程还可应用在图8显示的超级分辨率系统中。
根据实施例，系统通过电路等硬件配合智能演算法实现非整数倍率人工智能的超级分辨率演算法，相关硬件实施例可参考图8显示的系统功能方框图，其中各功能方块可以电路或硬件搭配软件实现，最终可实作一特殊应用集成电路(application-specificintegrated circuit，ASIC)，并可用于特定影音装置中，如电视、摄影机与机上盒等。
实现人工智能超级分辨率演算法的系统功能可区分为三个部分，主要有系统提出运行超级分辨率模型(SR model)的电路803、存储器805与影像倍率卷积运算电路807。其中超级分辨率模型即通过图7流程训练得出的人工智能超级分辨率模型，在一工作频率下，工作频率可以与影像倍率卷积运算电路807相同或不相同，对一输入影像运行人工智能超级分辨率模型；存储器805可用先进先出式(first in first out，FIFO)静态随机存取存储器(SRAM)实作，但也不排除其他形式的存储器；影像倍率卷积运算电路807为根据一非整数倍率与输入影像801的影像特征决定人工智能超级分辨率模型的模型参数，以实现非整数倍率放大影像的目的。举例来说，根据非整数倍率(N/M)以及输出像素的位置得到相位信息811，可以根据相位信息811自权重值库809选择卷积运算中的卷积权重值，存储器805则是存储运行超级分辨率模型的电路803运算完后的特征值。
特别的是，上述元件可以逻辑电路所实现，运行超级分辨率模型的电路803与影像倍率卷积运算电路807可以运行在相同或不同(有倍数关系)时钟频率下，能够增进系统运行弹性，并能有效节省耗能。当系统运行非整数倍率的超级分辨率方法时，运行方式有两种，一是降低运行超级分辨率模型的电路803的工作频率到一适当比例，能有效降低功耗还可达到相同的超级分辨率演算法的效能；另一是系统使运行超级分辨率模型的电路803与影像倍率卷积运算电路807运行在相同工作频率下，其中采用先进先出式静态随机存取存储器，可以处理各种倍率的超级分辨率演算法，以更完整地使用人工智能超级分辨率模型，使得执行其中卷积乘法时不会有电路延迟的问题，能提升超级分辨率演算法的效能。
根据实施例，系统运行时，对输入影像801运行超级分辨率模型的电路803，根据一非整数的放大倍率，输入影像801将逐条(line)输入存储器805，此时引入权重值库(weightbank)809，根据非整数倍率与输出影像的像素位置得到的相位信息811，自权重值库809选择影像中每条像素对应的卷积权重值(convolution weights)，即类神经网络中各层之间的连结，因此就不用输入如上述通过遮罩而需要取得多余的像素。
举例来说，以非整数倍率(N/M＝7/5)为例，需要有7x7(N2)组卷积权重值，每个输出影像813的像素都有对应的相位信息811，根据此相位信息811，自权重值库809中，可以从7x7组卷积权重值中选出一组符合相位信息811的卷积权重值来继续影像倍率卷积运算电路807的运算，得出最终的输出影像813。通过上述系统设计可以处理非整数倍率放大影像的人工智能超级分辨率演算法。
进一步地，在一实施例中，影像倍率卷积运算电路807可为单卷积层(layer)或多卷积层设计，意思是，影像倍率卷积运算电路807可以从权重值库809中取得多层卷积权重值，亦不排除可以采用其他类神经网络，如残差网络(residual network)。
进一步地，根据相位信息811自权重值库809中取得提供至影像倍率卷积运算电路807的卷积权重值的方法并非用于限制超级分辨率方法的适用范围，而可以有其他衍伸做法，来增加弹性，亦或是可以调整不同的影像画质。以非整数倍率为N/M为例，原本来只需要一套NxN组卷积权重值实现，但系统可以提供多套(k套)NxN组。在训练人工智能超级分辨率模型的过程中，还可针对不同的应用需求去给定一组系数(c0、c1至ck)对应k套卷积权重值，最后再通过混合运算(blending(+))得到一组卷积权重值，再提供至影像倍率卷积运算电路807。
综上所述，根据上述实施例所描述的超级分辨率模型的训练方法、超级分辨率方法与系统，其中通过人工智能学习的技术，利用现有超级分辨率模型加入依据非整数放大倍率与输出像素信息设计的遮罩，训练出一新的人工智能超级分辨率模型，实现非整数倍率超级分辨率演算法。
以上所公开的内容仅为本发明的优选可行实施例，并非因此局限本发明的权利要求，所以凡是运用本发明说明书及附图内容所做的等效技术变化，均包含于本发明的权利要求内。

Claims (10)

1.一种非整数倍率人工智能的超级分辨率模型的训练方法，包括：
提供一输入影像，设定一放大倍率与一影像品质门限；
取得该输入影像的像素值，并获取影像特征；
根据该输入影像的影像特征与该放大倍率，通过一超级分辨率模型得出多张通道图；
根据该放大倍率，对照输出像素的位置得到的相位信息，得出每张通道图对应的遮罩；
将所述多张通道图套用对应的多个遮罩后，重组一输出影像；以及
根据该影像品质门限，评估取得该输出影像的所述多个遮罩，以训练一人工智能超级分辨率模型。
2.如权利要求1所述的非整数倍率人工智能的超级分辨率模型的训练方法，其中，通过反复该非整数倍率人工智能的超级分辨率模型的训练方法的步骤，通过一迭代程序更新该非整数倍率人工智能的超级分辨率模型的模型参数，使该输出影像符合该影像品质门限。
3.如权利要求2所述的非整数倍率人工智能的超级分辨率模型的训练方法，其中训练该人工智能超级分辨率模型的步骤还包括：重复输入不同的输入影像，利用大量的影像与迭代程序，收敛得出该人工智能超级分辨率模型的模型参数，其中该模型参数为实作一倒传递类神经网络的一卷积运算中的每个节点之间连结的权重值。
4.如权利要求2所述的非整数倍率人工智能的超级分辨率模型的训练方法，其中由该超级分辨率模型得出多张通道图通过对应所述多个遮罩推导出该输出影像，推导该输出影像的过程即根据该相位信息得出对应的所述多个遮罩的过程。
5.如权利要求4所述的非整数倍率人工智能的超级分辨率模型的训练方法，其中在该遮罩的设计中，每张通道图的像素对应到该输出影像的像素标上1，其余没有对应到的像素则标为0，即形成对应每张通道图的遮罩。
6.一种超级分辨率方法，应用如权利要求1所述的非整数倍率人工智能的超级分辨率模型的训练方法所得出的一人工智能超级分辨率模型，根据一非整数倍率，使一输入影像通过该人工智能超级分辨率模型得出经过非整数倍率放大的一输出影像。
7.一种应用人工智能超级分辨率模型的系统，所述人工智能超级分辨率模型通过如权利要求1所述的非整数倍率人工智能的超级分辨率模型的训练方法所得出，该系统包括：
一运行超级分辨率模型的电路，对一输入影像运行该人工智能超级分辨率模型；
一存储器，用以存储该运行超级分辨率模型的电路运算完后的特征值；以及
一影像倍率卷积运算电路，根据一非整数倍率与输出像素的位置决定该人工智能超级分辨率模型的模型参数；
其中，该系统运行非整数倍率的超级分辨率方法，根据该非整数倍率，使该输入影像通过该人工智能超级分辨率模型得出经过非整数倍率放大的一输出影像。
8.如权利要求7所述的应用人工智能超级分辨率模型的系统，其中该系统实作应用于一影音装置中的一特殊应用集成电路。
9.如权利要求8所述的应用人工智能超级分辨率模型的系统，其中该系统通过降低该运行超级分辨率模型的电路的工作频率到一适当比例运行该超级分辨率方法。
10.如权利要求8所述的应用人工智能超级分辨率模型的系统，其中该存储器为一先进先出式静态随机存取存储器，该系统使该运行超级分辨率模型的电路与该影像倍率卷积运算电路运行于一相同工作频率，并采用该先进先出式静态随机存取存储器，以运行该超级分辨率方法。
CN202210825565.8A 2022-07-13 2022-07-13 超级分辨率模型的训练方法、超级分辨率方法与系统 Pending CN117474766A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210825565.8A CN117474766A (zh) 2022-07-13 2022-07-13 超级分辨率模型的训练方法、超级分辨率方法与系统
TW111131053A TWI813416B (zh) 2022-07-13 2022-08-18 超級解析度模型的訓練方法、超級解析度方法與系統
US18/220,858 US20240020791A1 (en) 2022-07-13 2023-07-12 Methold for training super-resolution model, super-resolution method, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210825565.8A CN117474766A (zh) 2022-07-13 2022-07-13 超级分辨率模型的训练方法、超级分辨率方法与系统

Publications (1)

Publication Number Publication Date
CN117474766A true CN117474766A (zh) 2024-01-30

Family

ID=88585883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210825565.8A Pending CN117474766A (zh) 2022-07-13 2022-07-13 超级分辨率模型的训练方法、超级分辨率方法与系统

Country Status (3)

Country Link
US (1) US20240020791A1 (zh)
CN (1) CN117474766A (zh)
TW (1) TWI813416B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111328448B (zh) * 2017-12-01 2021-08-03 华为技术有限公司 图像处理的方法和设备
TWI755240B (zh) * 2021-01-05 2022-02-11 鴻海精密工業股份有限公司 影像處理方法、電腦裝置
CN113298716B (zh) * 2021-05-31 2023-09-12 重庆师范大学 基于卷积神经网络的图像超分辨率重建方法
CN114092337B (zh) * 2022-01-19 2022-04-22 苏州浪潮智能科技有限公司 一种图像任意尺度的超分辨率放大的方法和装置

Also Published As

Publication number Publication date
US20240020791A1 (en) 2024-01-18
TWI813416B (zh) 2023-08-21
TW202403661A (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
CN106991646B (zh) 一种基于密集连接网络的图像超分辨率方法
CN108765296B (zh) 一种基于递归残差注意力网络的图像超分辨率重建方法
JP4952979B2 (ja) 信号分離装置、信号分離方法、ならびに、プログラム
CN113298716B (zh) 基于卷积神经网络的图像超分辨率重建方法
CN111353938A (zh) 一种基于网络反馈的图像超分辨率学习方法
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN109410141A (zh) 一种图像处理方法、装置、电子设备及存储介质
Wei et al. Deep unfolding with normalizing flow priors for inverse problems
CN112884650B (zh) 一种基于自适应纹理蒸馏的图像混合超分辨率方法
CN113222812B (zh) 一种基于信息流加强深度展开网络的图像重建方法
CN109146792B (zh) 基于深度学习的芯片图像超分辨率重建方法
JP2020042774A (ja) 人工知能推論演算装置
JP2020024524A (ja) ニューラルネットワークの全結合層を畳み込み層に置き換えるプログラム
CN117474766A (zh) 超级分辨率模型的训练方法、超级分辨率方法与系统
CN116485651A (zh) 一种图像超分辨率重建方法
CN112258410A (zh) 一种可微分的低秩学习网络图像修复方法
CN112862723B (zh) 基于伪3d自相关网络的真实图像去噪方法
CN114821059A (zh) 一种基于边界增强的显著性目标检测方法及系统
Normand et al. Path-based distance with varying weights and neighborhood sequences
CN113436094A (zh) 一种基于多视角注意力机制的灰度图像自动上色方法
CN112991181A (zh) 一种基于反应扩散方程的图像超分辨率重建方法
Park et al. Single image super-resolution with dynamic residual connection
Diagana C0‐semigroups of linear operators on some ultrametric Banach spaces
CN104966276B (zh) 一种图像视频场景内容的保角映射稀疏表达方法
Kim et al. Fast, Efficient and Lightweight Compressed Image Super-Resolution Network for Edge Devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination