CN105205782A - 超解像方法和系统、服务器、用户设备及其方法 - Google Patents

超解像方法和系统、服务器、用户设备及其方法 Download PDF

Info

Publication number
CN105205782A
CN105205782A CN201510559699.XA CN201510559699A CN105205782A CN 105205782 A CN105205782 A CN 105205782A CN 201510559699 A CN201510559699 A CN 201510559699A CN 105205782 A CN105205782 A CN 105205782A
Authority
CN
China
Prior art keywords
image
server
data base
image data
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510559699.XA
Other languages
English (en)
Other versions
CN105205782B (zh
Inventor
张丽杰
何建民
那彦波
赵星星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201510559699.XA priority Critical patent/CN105205782B/zh
Publication of CN105205782A publication Critical patent/CN105205782A/zh
Priority to PCT/CN2016/073361 priority patent/WO2017036092A1/zh
Priority to US15/526,138 priority patent/US10565684B2/en
Application granted granted Critical
Publication of CN105205782B publication Critical patent/CN105205782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供一种超解像方法、超解像系统、用户设备和服务器，能够进一步提高画质。根据本发明实施例的超解像方法包括：在服务器对图像样本进行训练；获得服务器端图像数据库；利用服务器端图像数据库来更新用户设备中的本地图像数据库；以及将输入的低分辨率图像显示为高分辨率图像。根据本公开实施例，用户设备中的本地图像数据库不是固化的，可以利用服务器端图像数据库来更新该本地图像数据库，因此能够确保本地图像数据库是最新的，从而进一步提升了画质，并且画质的提升是动态的。

Description

超解像方法和系统、服务器、用户设备及其方法
技术领域
本发明涉及图像处理技术领域。
背景技术
图像的高分辨率是指着图像含有的像素密度高，能提供丰富的细节信息，对客观场景的描述更准确细致。高分辨率图像在信息时代的需求非常广泛，诸如卫星遥感图像、视频安全监控、军事侦查航拍领域、医学数字影像和视频标准转换等领域都具有十分重要的应用。
目前的图像超解像技术主要分为两类：基于重建的超解像技术和基于学习的超解像技术。在基于重建的超解像技术中，所有信息都只能全部从输入图像数据中获得，没有任何附加的背景知识，整个解决过程相当于信息提取和信息融合的过程。随着分辨放大系数的增加，需要提供的输入图像样本数量急剧增加，但是在达到放大系数的上限后，无论增加多少输入图像样本，都无法再改善重建效果。
针对重建算法的局限性，基于学习的超解像技术作为一个前沿的研究领域应运而生。该方法使用图像训练集来产生学习模型，并运用这个模型创建图像的高频细节。基于学习的超解像方法让画质有了很大的提升，但是它也存在一定的缺陷，即本地的图像数据库是采集目前现有的视频图像作为训练样本，其是已经被固化的和不可更改的，因此对画质的提升效果具有一定程度的局限性。
因此，需要一种能够进一步提高画质的超解像技术。
发明内容
本发明实施例提供一种超解像方法、超解像系统、用户设备和服务器，能够进一步提高画质。
根据本发明实施例，提供一种超解像方法，包括：在服务器对图像样本进行训练；获得服务器端图像数据库；利用服务器端图像数据库来更新用户设备中的本地图像数据库；以及将输入的低分辨率图像显示为高分辨率图像。
在一个例子中，在服务器对图像样本进行训练包括：接收上传到服务器或下载到服务器的图像样本，并进行选择；将所选择的图像样本进行分类；根据图像样本的类别进行训练，获得该类别的新参数。
在一个例子中，获得服务器端图像数据库包括：利用图像样本及该图像样本的类别的新参数来更新服务器端图像数据库中的模版向量和低分辨率-高分辨率字典块。
在一个例子中，利用服务器端图像数据库来更新用户设备中的本地图像数据库包括：更新本地图像数据中的模版向量和低分辨率-高分辨率字典块中的至少一个。
在一个例子中，模版向量具有不同的层级。
在一个例子中，图像样本是图片或视频。
根据本发明另一实施例，提供一种在用户设备中执行超解像的方法，包括：从服务器接收更新数据来更新用户设备中的本地图像数据库；以及在用户设备中基于本地图像数据库将输入的低分辨率图像显示为高分辨率图像。
在一个例子中，从服务器接收更新数据来更新用户设备中的本地图像数据库包括：更新本地图像数据中的模版向量和低分辨率-高分辨率字典块中的至少一个。
在一个例子中，在用户设备中基于本地图像数据库将输入的低分辨率图像显示为高分辨率图像包括：对输入的低分辨率图像执行预处理；对预处理后的低分辨率图像执行分类和特征提取；基于本地图像数据库对低分辨率图像进行匹配；对匹配后的低分辨率图像执行图像融合，以显示高分辨率图像。
在一个例子中，模版向量具有不同的层级，并且更新本地图像数据中的模版向量包括通过选择模版向量的层级来执行更新。
根据本发明再一个实施例，提供一种在服务器上执行超解像的方法，包括：在服务器对图像样本进行训练；获得服务器端图像数据库；以及基于服务器端数据库将输入的低分辨率图像显示为高分辨率图像，其中，向用户设备发送更新数据以更新用户设备中的本地图像数据库。
在一个例子中，在服务器对图像样本进行训练包括：接收上传到服务器或下载到服务器的图像样本，并进行选择；将所选择的图像样本进行分类；根据图像样本的类别进行训练，获得该类别的新参数。
在一个例子中，得服务器端图像数据库包括：利用图像样本及该图像样本的类别的新参数来更新服务器端图像数据库中的模版向量和低分辨率-高分辨率字典块。
在一个例子中，向用户设备发送更新数据以更新用户设备中的本地图像数据库包括：更新本地图像数据中的模版向量和低分辨率-高分辨率字典块中的至少一个。
在一个例子中，模版向量具有不同的层级。
在一个例子中，图像样本是图片或视频。
根据本发明另一个实施例，提供一种包括服务器和用户设备的超解像系统，被配置为执行前述任一个超解像方法。
根据本发明另一个实施例，提供一种用户设备，被配置为执行前述在用户设备上执行的任一个方法。
根据本发明另一个实施例，提供一种服务器，被配置为执行前述在服务器上执行的任一个方法。
根据本公开实施例，用户设备中的本地图像数据库不是固化的，可以利用服务器端图像数据库来更新该本地图像数据库，因此能够确保本地图像数据库是最新的，从而进一步提升了画质，并且画质的提升是动态的。
附图说明
通过以下借助附图的详细描述，将会更容易地理解本发明，其中相同的标号指定相同结构的单元，并且在其中：
图1示出基于学习的超解像技术的概念性视图；
图2示出根据本公开实施例的超解像方法的示意性流程图；
图3示出根据本公开实施例的超解像过程的概念性视图；
图4示出根据本公开实施例的在服务器中对图像样本进行训练的具体过程的示范性视图；
图5示出根据本公开实施例的用于在用户设备中执行超解像的方法的示范性流程图；
图6示出根据本公开实施例的在用户设备中将低分辨率图像显示为高分辨率图像的具体过程的示范性流程图；以及
图7示出根据本公开实施例的在服务器上执行超解像的方法的示范性流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出基于学习的超解像技术的概念性视图。
如图1中所示，在本地(一般，是用户设备处)接收低分辨率图像，通过基于学习的模板对低分辨率图像进行匹配，并利用图像数据库执行图像融合等处理，最后输出与低分辨率图像对应的高分辨率图像。
图2示出根据本公开实施例的超解像方法200的示意性流程图。
如图2中所示，在超解像方法200的S210中，在服务器对图像样本进行训练，在S220，获得服务器端图像数据库，在S230，利用服务器端图像数据库来更新用户设备中的本地图像数据库，并且在S240，将输入的低分辨率图像显示为高分辨率图像。
根据本公开实施例，用户设备中的本地图像数据库不是固化的，可以利用服务器端图像数据库来更新该本地图像数据库，因此能够确保本地图像数据库是最新的，从而进一步提升了画质，并且画质的提升是动态的。
图3示出根据本公开实施例的超解像过程的概念性视图。
如图3中所示，可以在服务器上通过样本训练系统对用户上传到该服务器或下载到该服务器的图像样本进行训练。随着互联网的发展，用户群体会越发庞大，由用户上传到服务器端或下载到服务器端的可供采集的样本会更加丰富，甚至出现一些原本未采集到的特征模块，样本的丰富使得训练过程能够得到更精细的结果，从而改进匹配精确地，并进而提高最后输出的高分辨率图像的画质。这里，服务器可以为云服务器，并且可供采集的图像样本可以是图片或视频。
可以应用户设备侧的本地用户的请求或者由服务器定期对本地图像数据库进行更新，并且因为用户设备也可以具有样本训练功能，所以本地图像数据库中的数据可以被传送到服务器端图像数据库。以这种方式，可以确保本地图像数据库和服务器段图像数据库中的数据是同步的，使得无论是基于本地图像数据库还是服务器端图像数据库，都可以得到高画质的高分辨率图像。
此外，根据本公开另一实施例，当在服务器上对大量的图像样本进行训练时，因为样本数量足够多，所以可以针对不同类别分别进行训练，得到每个类别的参数。
图4示出根据本公开实施例的在服务器中对图像样本进行训练的具体过程的示范性视图。
如图4中所示，用户在服务器(例如，云服务器)上执行上传或下载，服务器接收上传到其或下载到其的各种图像样本，这些图像样本可以被暂时存储在服务器的存储器中。所采集的图像样本可以是图片或视频图像，诸如视频图像的每帧、指定帧、关键帧等等。然后，可以对图像样本进行选择(筛选)，以选择适合作为训练对象的图像样本。这里，可以每当上传或下载了新的图片或视频图像时进行筛选以开始训练，也可以按照预定时间段来进行筛选，例如，每24小时、每周等等，可以由系统默认或者由用户设置该预定时间段。此外，还可以应用户的请求来进行筛选并开始训练。
在一个例子中，作为进行选择的准则，可以选择高分辨率图像、即具有高分辨率图像块特征的图像来进行训练。这里，具有高分辨率图像块特征的图像可以指具有高质量的图像特征块的图像，例如，图像清晰度高、图像大小较大、非压缩或压缩比较小的图像、bmp/tif/png等非压缩格式的图像等等。
之后，所选择的图像样本被分类。在实际应用中，可以当图片或视频被上传或下载到服务器时，利用图像/视频内容识别机制反馈对应的内容类别参数，通过对内容类别参数进行匹配而找到对应的类别库，并按类别进行存储。因此，当存储器中的图片或视频被选择作为要进行训练的图像样本，该图像样本本身可能已经具有类别信息(例如，类别标识符)，通过读取该类别信息即可知晓图像样本的类别。当然，也可以在选择图像样本之后再执行上述图像/视频内容识别机制。图像样本的类别例如可以包括旅游、娱乐、动漫、综艺、电影、教育等等。
如果图片或视频未被选中、即没有通过筛选，则不执行后续操作，继续从存储器中读取新的图片或视频。
接下来，根据图像样本的类别进行训练，获得该类别的新参数。训练的样本还可以利用低分辨率图像块和高分辨率图像块训练得到成对的高低分辨率字典块。因此，可以对服务器端图像数据库中的模版向量和低分辨率-高分辨率字典块进行更新，获得新的服务器端图像数据库。
可以使用任何现有的以及将来开发的合适的方法来图像样本进行训练，诸如基于神经网络的学习训练方法等等，但是，本公开实施例不限于此。
在图4中示意性地示出了在服务器端图像数据库中存储的内容，诸如类型[0]参数[0]、类型[1]参数[1]、……、类型[n-1]参数[n-1]，但是，应当理解，在每一类别中可以包括多个参数，例如每一类别可以包括人物、风景、色彩等特征参数，其中每一个特征参数又可进一步包括边缘、形状、轮廓、角、纹理等细节参数信息。因此，这里的参数可以指参数集合，并且每个类型可以与多个参数或参数集合对应。
下面的表1示出了一个在图像数据库中存储的参数分类列表库的例子，n为自然数。
表1
如表1中所示，在参数分类列表库中可以存储有n个类别，每个类别对应于多个参数或参数集合。每个类别所包括的参数或参数集合的数量可以相同或不同。每个类别-参数/参数集合对可以被称为是一个模版向量。
通过对图像样本进行分类并分别进行训练，可以避免训练样本过于复杂以致造成的迭代过程中的积累误差效应，并且通过针对不同类别分别进行训练，能够具有较强的针对性，超解像效果更佳。
在一个例子中，模版向量可以具有不同的层级。这里的模板向量是整个超解像过程所需要的滤波参数，因为在训练时所使用的方法为深度学习、即相关分层次做训练来模拟人类视觉感受及其学习方法的方案，因此不同层级的模板向量指的是不同层级间所训练出来的滤波参数。不同层级的滤波参数可以得到不同类型的特征块(图像经滤波之后得到的)，该图像特征块会随着层级的递增具有更高的特征复杂度，例如更高层级的图像特征块可以呈现更多的细节(诸如纹理)和色彩等等，从而可以满足任意图像的特征组合。此外，不同层级的模板向量包括的参数以及参数的个数可以不同。通常，更高层级的模板向量需要更大的存储空间，并且在匹配时花费的时间更长，但是可以获得更精确和更逼真的匹配效果。
因此，可以将用户(服务器端的用户或用户设备处的本地用户)划分为普通用户和特定用户，对于普通用户利用默认的(例如较低层级)的模版向量来执行超解像，这基本可以满足用户的需求，而对于对画质要求较高或需要商业化应用的特定用户，可以向其授权使用更高层级的模版向量。
这样，根据本公开的超解像方法使得用户可以自行选择所要使用的模版向量的层级，因而可以获得其所希望的画质，提供了个性化设置功能，并且很好地提升了人机的交互，改善了用户的使用体验，更加贴近用户的主观感受。
下面，将参照图5-图6对在用户设备中进行超解像的方法进行详细解释。
图5示出根据本公开实施例的用于在用户设备中执行超解像的方法500的示范性流程图。
如图5中所示，在方法500的S510，从服务器接收更新数据来更新用户设备中的本地图像数据库，并且在S520，在用户设备中基于本地图像数据库将输入的低分辨率图像显示为高分辨率图像。
因此，根据本公开实施例，用户设备中的本地图像数据库不是固化的，可以利用服务器端图像数据库来更新该本地图像数据库，因此能够确保本地图像数据库是最新的，从而进一步提升了画质，并且画质的提升是动态的。
图6示出根据本公开实施例的在用户设备中将低分辨率图像显示为高分辨率图像的具体过程600的示范性流程图。
首先，对输入的低分辨率图像执行预处理。在超解像过程中，由于输入的低分辨率图像往往受光学模糊、运动模糊、噪声以及混叠因素的影响，所以首先要对输入的原始低分辨率图像进行预处理，以去除在对原始图像进行特征提取时造成的干扰。
然后，对预处理后的低分辨率图像执行分类，即判断其类别。这里，也可以像在服务器端那样，利用图像/视频内容识别机制来判断输入的低分辨率图像的类别。
接下来，执行特征提取。从输入的低分辨率图像中提取图像的各类特征，这些特征例如可以包含：色彩特征、梯度特征、频域特征(由时域转换到频域的高低频信号)、结构特征等。这些特征是用于后续模板匹配等过程的前提。
然后，基于本地图像数据库对低分辨率图像进行匹配。在实际匹配时，首先匹配低分辨率图像特征块，然后根据“字典库中每一个低分辨率图像特征块对应一个高分辨率图像特征块”的原则，在低分辨率-高分辨率字典块中找到与该低分辨率图像内的各匹配的低分辨率图像块对应的高分辨率图像块。
在一个例子中，在匹配过程中，可以依据某种准则，使两特征之间的相似度达到最大。以线性变换为例，匹配过程如下：
首先计算从低分辨率图像块中提取的特征的特征向量X，计算X与各模板向量X1、X2、…、XC之间的距离：D1、D2、…、DC，C为自然数，例如为模板的总数量。这里，Di例如可以为最小残差，但是本发明实施例不限于此。
若Di＝min{Dj},j＝1,2,3,...C，且Di<ε，则可以判断样本X属于第i类模版向量，记为X∈Wi；若所有Di(i＝1,2,...,C)均大于ε，则确定为拒绝匹配。拒绝匹配后，本次匹配结束。拒绝匹配导致该低分辨率图像块的匹配失败，即无法对该低分辨率图像块执行超解像过程。拒绝匹配的原因可能是模板向量不够精确或者数量过少等等。
这里，ε可以是一个经验阈值，也可以理解为一个损失函数(lossfunction)多次循环计算后所得到的最佳匹配状态对应的最小参数值。
最后，对匹配后的低分辨率图像块执行图像融合，输出并显示高分辨率图像。
这里的图像融合是指将匹配到的最合适的复杂特征块乘以系数，求权重，得到最终的高分辨率图像。
经过先前的匹配而得到的每个模板向量对应的字典图像块与原图像之间的特征信息具有信息的冗余性和互补性，对图像的特征进行分类、识别等处理，通过特征融合可以在原始图像中挖掘相关特征信息、增加特征信息的可信度、排除虚假特征、建立新的复合特征，使得经图像融合技术得到的合成图像可以更全面、更精确地对原始图像复原。
在原图像特征块和字典图像块特征信息之间进行线性或非线性变换，使变换后的两个数据集的误差达到某种准则的最小值，这就是图像的配准过程。然后将配准结果在同一坐标系下将有用信息融合表达成图像，最后从融合图像中提取和测量特征参数，定性、定量分析，以得到最终的系数和权重。
根据本公开实施例的用户设备可以从服务器接收更新数据来更新用户设备中的本地图像数据库。这里，更新可以包括更新本地图像数据中的模版向量和低分辨率-高分辨率字典块中的至少一个。因此，能够确保本地图像数据库是最新的，从而进一步提升了画质，并且画质的提升是动态的。
另外，因为服务器端的模板向量和低分辨率-高分辨率字典块是经大量数据训练而来的，所以利用服务器中的数据来更新用户设备中的本地图像数据库可以减少拒绝匹配的概率。
此外，更新本地图像数据中的模版向量还可以包括通过选择模版向量的层级来执行更新。可以由用户来进行选择。这提供了个性化设置功能，并且很好地提升了人机的交互，改善了用户的使用体验，更加贴近用户的主观感受。
图7示出根据本公开实施例的在服务器上执行超解像的方法700的示范性流程图。
如图7所示，在方法700的S710，在服务器对图像样本进行训练，在S720，获得服务器端图像数据库，并且在S730，基于服务器端数据库将输入的低分辨率图像显示为高分辨率图像，其中，服务器向用户设备发送更新数据以更新用户设备中的本地图像数据库。
根据本公开实施例，用户设备中的本地图像数据库不是固化的，可以利用服务器端图像数据库来更新该本地图像数据库，因此能够确保本地图像数据库是最新的，从而进一步提升了画质，并且画质的提升是动态的。
此外，可以根据参照图4描述的方法来对图像样本进行训练，从而通过对图像样本进行分类并分别进行训练，可以避免训练样本过于复杂以致造成的迭代过程中的积累误差效应，并且通过针对不同类别分别进行训练，能够具有较强的针对性，超解像效果更佳。
在一个例子中，获得服务器端图像数据库可以包括：利用图像样本及该图像样本的类别的新参数来更新服务器端图像数据库中的模版向量和低分辨率-高分辨率字典块。
在一个例子中，向用户设备发送更新数据以更新用户设备中的本地图像数据库包括：更新本地图像数据中的模版向量和低分辨率-高分辨率字典块中的至少一个。
在一个例子中，模版向量具有不同的层级。
本公开实施例还提供一种包括服务器和用户设备的超解像系统，可以执行如前所述的超解像方法。
本公开实施例还提供一种用户设备，可以执行如参照图5和图6所述的方法。
本公开实施例还提供一种服务器，可以执行如参照图7所述的方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (19)

1.一种超解像方法，包括：
在服务器对图像样本进行训练；
获得服务器端图像数据库；
利用服务器端图像数据库来更新用户设备中的本地图像数据库；以及
将输入的低分辨率图像显示为高分辨率图像。
2.根据权利要求1所述的超解像方法，其中，在服务器对图像样本进行训练包括：
接收上传到服务器或下载到服务器的图像样本，并进行选择；
将所选择的图像样本进行分类；
根据图像样本的类别进行训练，获得该类别的新参数。
3.根据权利要求2所述的超解像方法，其中，获得服务器端图像数据库包括：
利用图像样本及该图像样本的类别的新参数来更新服务器端图像数据库中的模版向量和低分辨率-高分辨率字典块。
4.根据权利要求1-3中的任一个所述的超解像方法，其中，利用服务器端图像数据库来更新用户设备中的本地图像数据库包括：
更新本地图像数据中的模版向量和低分辨率-高分辨率字典块中的至少一个。
5.根据权利要求3或4中的任一个所述的超解像方法，其中，模版向量具有不同的层级。
6.根据权利要求1-5中的任一个所述的超解像方法，其中，图像样本是图片或视频。
7.一种在用户设备中执行超解像的方法，包括：
从服务器接收更新数据来更新用户设备中的本地图像数据库；以及
在用户设备中基于本地图像数据库将输入的低分辨率图像显示为高分辨率图像。
8.根据权利要求7所述的方法，其中，从服务器接收更新数据来更新用户设备中的本地图像数据库包括：
更新本地图像数据中的模版向量和低分辨率-高分辨率字典块中的至少一个。
9.根据权利要求7或8所述的方法，其中，在用户设备中基于本地图像数据库将输入的低分辨率图像显示为高分辨率图像包括：
对输入的低分辨率图像执行预处理；
对预处理后的低分辨率图像执行分类和特征提取；
基于本地图像数据库对低分辨率图像进行匹配；
对匹配后的低分辨率图像执行图像融合，以显示高分辨率图像。
10.根据权利要求8或9中的任一个所述的超解像方法，其中，模版向量具有不同的层级，并且
更新本地图像数据中的模版向量包括通过选择模版向量的层级来执行更新。
11.一种在服务器上执行超解像的方法，包括：
在服务器对图像样本进行训练；
获得服务器端图像数据库；以及
基于服务器端数据库将输入的低分辨率图像显示为高分辨率图像，
其中，向用户设备发送更新数据以更新用户设备中的本地图像数据库。
12.根据权利要求11所述的方法，其中，在服务器对图像样本进行训练包括：
接收上传到服务器或下载到服务器的图像样本，并进行选择；
将所选择的图像样本进行分类；
根据图像样本的类别进行训练，获得该类别的新参数。
13.根据权利要求12所述的方法，其中，获得服务器端图像数据库包括：
利用图像样本及该图像样本的类别的新参数来更新服务器端图像数据库中的模版向量和低分辨率-高分辨率字典块。
14.根据权利要求11-13中的任一个所述的方法，其中，向用户设备发送更新数据以更新用户设备中的本地图像数据库包括：
更新本地图像数据中的模版向量和低分辨率-高分辨率字典块中的至少一个。
15.根据权利要求13或14中的任一个所述的方法，其中，模版向量具有不同的层级。
16.根据权利要求11-15中的任一个所述的方法，其中，图像样本是图片或视频。
17.一种包括服务器和用户设备的超解像系统，被配置为执行如权利要求1-6中的任一个所述的超解像方法。
18.一种用户设备，被配置为执行如权利要求7-10中的任一个所述的方法。
19.一种服务器，被配置为执行如权利要求11-16中的任一个所述的方法。
CN201510559699.XA 2015-09-06 2015-09-06 超解像方法和系统、服务器、用户设备及其方法 Active CN105205782B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510559699.XA CN105205782B (zh) 2015-09-06 2015-09-06 超解像方法和系统、服务器、用户设备及其方法
PCT/CN2016/073361 WO2017036092A1 (zh) 2015-09-06 2016-02-03 超解像方法和系统、服务器、用户设备及其方法
US15/526,138 US10565684B2 (en) 2015-09-06 2016-02-03 Super-resolution method and system, server, user device and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510559699.XA CN105205782B (zh) 2015-09-06 2015-09-06 超解像方法和系统、服务器、用户设备及其方法

Publications (2)

Publication Number Publication Date
CN105205782A true CN105205782A (zh) 2015-12-30
CN105205782B CN105205782B (zh) 2019-08-16

Family

ID=54953445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510559699.XA Active CN105205782B (zh) 2015-09-06 2015-09-06 超解像方法和系统、服务器、用户设备及其方法

Country Status (3)

Country Link
US (1) US10565684B2 (zh)
CN (1) CN105205782B (zh)
WO (1) WO2017036092A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017036092A1 (zh) * 2015-09-06 2017-03-09 京东方科技集团股份有限公司 超解像方法和系统、服务器、用户设备及其方法
CN108401462A (zh) * 2018-01-30 2018-08-14 深圳前海达闼云端智能科技有限公司 信息处理方法和系统、云处理设备及计算机程序产品
CN110754093A (zh) * 2018-05-21 2020-02-04 Gdf实验室株式会社 基于人工智能影像学习平台的视频点播服务系统
WO2020098422A1 (zh) * 2018-11-14 2020-05-22 腾讯科技（深圳）有限公司 编码图案的处理方法和装置、存储介质、电子装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830308B (zh) * 2018-05-31 2021-12-14 西安电子科技大学 一种基于信号的传统特征与深度特征融合的调制识别方法
KR20200115832A (ko) 2019-03-27 2020-10-08 삼성디스플레이 주식회사 지문 센서 및 이를 포함하는 표시 장치
US10909700B2 (en) * 2019-04-02 2021-02-02 Samsung Electronics Co., Ltd. Display apparatus and image processing method thereof
US11567341B2 (en) 2019-09-03 2023-01-31 Raytheon Company System and method for correcting for atmospheric jitter and high energy laser broadband interference using fast steering mirrors
CN110706156B (zh) * 2019-09-16 2023-03-07 昆明理工大学 基于多成分分析和残差补偿的图像融合与超分辨率重建联合实现方法
US11513191B2 (en) 2019-10-08 2022-11-29 Raytheon Company System and method for predictive compensation of uplink laser beam atmospheric jitter for high energy laser weapon systems
US11513227B2 (en) 2019-10-08 2022-11-29 Raytheon Company Atmospheric jitter correction and target tracking using single imaging sensor in high-energy laser systems
US11900562B2 (en) * 2019-11-05 2024-02-13 Raytheon Company Super-resolution automatic target aimpoint recognition and tracking
EP4060603A4 (en) * 2019-12-13 2023-05-10 Huawei Technologies Co., Ltd. IMAGE PROCESSING METHOD AND IMAGE DEVICE
CN113129212B (zh) * 2019-12-31 2023-01-13 深圳市联合视觉创新科技有限公司 图像超分辨率重建方法、装置、终端设备及存储介质
US11836893B2 (en) * 2020-03-11 2023-12-05 Mediatek Inc. Online AI super resolution engine and operations
CN111429350B (zh) * 2020-03-24 2023-02-24 安徽工业大学 一种手机拍照快速超分辨处理方法
CN111696038A (zh) * 2020-05-26 2020-09-22 新华三大数据技术有限公司 图像超分辨率方法、装置、设备及计算机可读存储介质
CN112581366B (zh) * 2020-11-30 2022-05-20 黑龙江大学 一种便携式图像超分辨系统及系统构建方法
CN112734642B (zh) * 2021-01-12 2023-03-10 武汉工程大学 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置
CN113409190B (zh) * 2021-05-14 2022-05-20 广东工业大学 一种基于多帧分组与反馈网络的视频超分辨率方法
CN113409192A (zh) * 2021-06-17 2021-09-17 Oppo广东移动通信有限公司 超分辨率芯片、超分辨率算法的更新方法和电子设备
CN114900717B (zh) * 2022-05-13 2023-09-26 杭州网易智企科技有限公司 视频数据传输方法、装置、介质和计算设备
CN114782255B (zh) * 2022-06-16 2022-09-02 武汉大学 一种基于语义的夜光遥感影像高分辨率重建方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088597A (zh) * 2009-12-04 2011-06-08 成都信息工程学院 动静结合估计视频视觉显著度的方法
CN102881000A (zh) * 2012-09-07 2013-01-16 华为技术有限公司 一种视频图像的超分辨率方法、装置和设备
CN102968766A (zh) * 2012-11-23 2013-03-13 上海交通大学 基于字典数据库的自适应图像超分辨率重构方法
CN103136727A (zh) * 2012-12-14 2013-06-05 西安电子科技大学 基于梯度一致性与各向异性正则化的超分辨图像重建方法
CN103167284A (zh) * 2011-12-19 2013-06-19 中国电信股份有限公司 一种基于画面超分辨率的视频流传输方法及系统
US8526765B2 (en) * 2010-02-09 2013-09-03 Panasonic Corporation Super-resolution processor and super-resolution processing method
US20130301933A1 (en) * 2012-05-10 2013-11-14 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
CN103729430A (zh) * 2013-12-26 2014-04-16 北京京东尚科信息技术有限公司 生成图像文件的方法和装置
WO2014087652A1 (ja) * 2012-12-06 2014-06-12 日本電気株式会社 画像処理装置及び画像処理方法
US20140354886A1 (en) * 2013-05-29 2014-12-04 Yeda Research & Development Co. Ltd. Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7123780B2 (en) * 2001-12-11 2006-10-17 Sony Corporation Resolution enhancement for images stored in a database
US20050216836A1 (en) * 2002-08-09 2005-09-29 Triplearc Uk Limited Electronic document processing
US7218796B2 (en) * 2003-04-30 2007-05-15 Microsoft Corporation Patch-based video super-resolution
KR100501173B1 (ko) 2003-08-07 2005-07-18 에스케이 텔레콤주식회사 이동 통신 단말기에서 고해상도 화상을 디스플레이하기위한 방법과 이를 위한 이동 통신 단말기 및 화상 포맷변환 시스템
CN101422035B (zh) * 2006-05-29 2012-02-29 松下电器产业株式会社 光源推定装置、光源推定系统与光源推定方法以及图像高分辨率化装置与图像高分辨率化方法
US7792353B2 (en) * 2006-10-31 2010-09-07 Hewlett-Packard Development Company, L.P. Retraining a machine-learning classifier using re-labeled training samples
JP2008199587A (ja) * 2007-01-18 2008-08-28 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置および方法
US8766808B2 (en) * 2010-03-09 2014-07-01 Flir Systems, Inc. Imager with multiple sensor arrays
US10091439B2 (en) * 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US8958484B2 (en) * 2009-08-11 2015-02-17 Google Inc. Enhanced image and video super-resolution processing
JP5709906B2 (ja) * 2010-02-24 2015-04-30 アイピープレックス ホールディングス コーポレーション 視覚障害者支援用拡張現実パノラマ
CN102202205B (zh) 2010-03-24 2013-05-29 深圳华映显示科技有限公司 适用于视频的超解析处理方法
US8296359B2 (en) * 2010-07-12 2012-10-23 Opus Medicus, Inc. Systems and methods for networked, in-context, high resolution image viewing
US8625902B2 (en) * 2010-07-30 2014-01-07 Qualcomm Incorporated Object recognition using incremental feature extraction
US8687923B2 (en) * 2011-08-05 2014-04-01 Adobe Systems Incorporated Robust patch regression based on in-place self-similarity for image upscaling
US9436981B2 (en) * 2011-12-12 2016-09-06 Nec Corporation Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program
WO2013089261A1 (ja) * 2011-12-12 2013-06-20 日本電気株式会社 画像処理システム及び画像処理方法
JP6015670B2 (ja) * 2011-12-12 2016-10-26 日本電気株式会社 画像処理装置及び画像処理方法
US8620073B2 (en) * 2012-02-24 2013-12-31 Mitsubishi Electric Research Laboratories, Inc. Upscaling natural images
US9230547B2 (en) * 2013-07-10 2016-01-05 Datascription Llc Metadata extraction of non-transcribed video and audio streams
US9230169B2 (en) * 2013-08-29 2016-01-05 Digitalglobe, Inc. Generation of high resolution population density data sets through exploitation of high resolution overhead imagery data and low resolution population density data sets
CN103839242A (zh) 2014-01-15 2014-06-04 中国科学院电子学研究所 一种基于高维索引的图像快速超分辨率增强方法
US10504020B2 (en) * 2014-06-10 2019-12-10 Sightline Innovation Inc. System and method for applying a deep learning neural network to data obtained from one or more sensors
US10417525B2 (en) * 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
US9892361B2 (en) * 2015-01-21 2018-02-13 Siemens Healthcare Gmbh Method and system for cross-domain synthesis of medical images using contextual deep network
US9865036B1 (en) * 2015-02-05 2018-01-09 Pixelworks, Inc. Image super resolution via spare representation of multi-class sequential and joint dictionaries
CN105205782B (zh) 2015-09-06 2019-08-16 京东方科技集团股份有限公司 超解像方法和系统、服务器、用户设备及其方法
CN113660521A (zh) * 2015-09-25 2021-11-16 麦克赛尔株式会社 接收装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088597A (zh) * 2009-12-04 2011-06-08 成都信息工程学院 动静结合估计视频视觉显著度的方法
US8526765B2 (en) * 2010-02-09 2013-09-03 Panasonic Corporation Super-resolution processor and super-resolution processing method
CN103167284A (zh) * 2011-12-19 2013-06-19 中国电信股份有限公司 一种基于画面超分辨率的视频流传输方法及系统
US20130301933A1 (en) * 2012-05-10 2013-11-14 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
CN102881000A (zh) * 2012-09-07 2013-01-16 华为技术有限公司 一种视频图像的超分辨率方法、装置和设备
CN102968766A (zh) * 2012-11-23 2013-03-13 上海交通大学 基于字典数据库的自适应图像超分辨率重构方法
WO2014087652A1 (ja) * 2012-12-06 2014-06-12 日本電気株式会社 画像処理装置及び画像処理方法
CN103136727A (zh) * 2012-12-14 2013-06-05 西安电子科技大学 基于梯度一致性与各向异性正则化的超分辨图像重建方法
US20140354886A1 (en) * 2013-05-29 2014-12-04 Yeda Research & Development Co. Ltd. Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
CN103729430A (zh) * 2013-12-26 2014-04-16 北京京东尚科信息技术有限公司 生成图像文件的方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017036092A1 (zh) * 2015-09-06 2017-03-09 京东方科技集团股份有限公司 超解像方法和系统、服务器、用户设备及其方法
US10565684B2 (en) 2015-09-06 2020-02-18 Boe Technology Group Co., Ltd. Super-resolution method and system, server, user device and method therefor
CN108401462A (zh) * 2018-01-30 2018-08-14 深圳前海达闼云端智能科技有限公司 信息处理方法和系统、云处理设备及计算机程序产品
CN110754093A (zh) * 2018-05-21 2020-02-04 Gdf实验室株式会社 基于人工智能影像学习平台的视频点播服务系统
WO2020098422A1 (zh) * 2018-11-14 2020-05-22 腾讯科技（深圳）有限公司 编码图案的处理方法和装置、存储介质、电子装置
US11507766B2 (en) 2018-11-14 2022-11-22 Tencent Technology (Shenzhen) Company Limited Method and apparatus for processing encoded pattern, storage medium, and electronic apparatus
US11790198B2 (en) 2018-11-14 2023-10-17 Tencent Technology (Shenzhen) Company Limited Method and apparatus for processing encoded pattern, storage medium, and electronic apparatus

Also Published As

Publication number Publication date
US10565684B2 (en) 2020-02-18
WO2017036092A1 (zh) 2017-03-09
CN105205782B (zh) 2019-08-16
US20170316548A1 (en) 2017-11-02

Similar Documents

Publication Publication Date Title
CN105205782A (zh) 超解像方法和系统、服务器、用户设备及其方法
CN110210513B (zh) 数据分类方法、装置及终端设备
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN113395578B (zh) 一种提取视频主题文本的方法、装置、设备及存储介质
CN110781911B (zh) 一种图像匹配方法、装置、设备及存储介质
CN106611015B (zh) 标签的处理方法及装置
CN115457531A (zh) 用于识别文本的方法和装置
CN106529996A (zh) 基于深度学习的广告展示方法和装置
US20230262189A1 (en) Generating stylized images on mobile devices
US20220101578A1 (en) Generating composite images with objects from different times
CN109816023B (zh) 用于生成图片标签模型的方法和装置
CN111382305B (zh) 一种视频去重方法、装置、计算机设备和存储介质
CN113111716A (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN113066030A (zh) 一种基于空谱融合网络的多光谱图像全色锐化方法及系统
CN110610169A (zh) 图片标注方法和装置、存储介质及电子装置
CN111028302B (zh) 一种基于深度学习的压缩对象成像方法及系统
CN117541668A (zh) 虚拟角色的生成方法、装置、设备及存储介质
CN105324787A (zh) 用户的基于手势的广告简档
CN113395584B (zh) 一种视频数据处理方法、装置、设备以及介质
CN116958325A (zh) 图像处理模型的训练方法、装置、电子设备及存储介质
CN113946701B (zh) 一种基于图像处理的城乡规划数据的动态更新方法及装置
CN116977195A (zh) 复原模型的调整方法、装置、设备及存储介质
CN114429648B (zh) 一种基于对比特征的行人重识别方法及系统
CN113283578B (zh) 一种基于标记风险控制的数据去噪方法
CN116246161A (zh) 领域知识引导下的遥感图像目标精细类型识别方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant