CN113727050B - 面向移动设备的视频超分辨率处理方法、装置、存储介质 - Google Patents

面向移动设备的视频超分辨率处理方法、装置、存储介质 Download PDF

Info

Publication number
CN113727050B
CN113727050B CN202111296686.XA CN202111296686A CN113727050B CN 113727050 B CN113727050 B CN 113727050B CN 202111296686 A CN202111296686 A CN 202111296686A CN 113727050 B CN113727050 B CN 113727050B
Authority
CN
China
Prior art keywords
super
resolution
subgraph
sub
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111296686.XA
Other languages
English (en)
Other versions
CN113727050A (zh
Inventor
于树昌
张莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Depu Testing Technology Co ltd
Original Assignee
Shandong Depu Testing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Depu Testing Technology Co ltd filed Critical Shandong Depu Testing Technology Co ltd
Priority to CN202111296686.XA priority Critical patent/CN113727050B/zh
Publication of CN113727050A publication Critical patent/CN113727050A/zh
Application granted granted Critical
Publication of CN113727050B publication Critical patent/CN113727050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及视频超分辨率处理技术领域，公开了一种面向移动设备的视频超分辨率处理方法、装置、存储介质，该方法包括：获取每帧的视频帧图像，并对视频帧图像进行分割，利用canny边缘检测算法对分割得到的子图进行边缘检测，根据边缘检测的复杂程度对子图进行优先级排序；将优先级最高的前K个子图传送到云服务器，云服务器接收到子图后基于深度神经网络对子图进行超分辨率处理；利用huffman编码方法对超分辨处理后的子图进行编码，压缩图像大小后传送给移动设备；移动设备接收到编码子图后进行解码，并将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频。本发明实现了视频的超分辨率处理。

Description

面向移动设备的视频超分辨率处理方法、装置、存储介质
技术领域
本发明涉及视频超分辨率处理的技术领域，尤其涉及一种面向移动设备的视频超分辨率处理方法、装置、存储介质。
背景技术
现有的视频超分辨率处理严重依赖计算能力，对计算硬件提出了高要求，但是对于普通的移动设备而言，完全无法满足对视频的超分处理需求。如果将视频超分放到云端处理则虽然能够解决视频超分问题，但是超分过后的时候会变的很大，这就意味着会占据很大的带宽，从而影响视频播放体验。
鉴于此，如何面向移动设备实现视频的超分辨率处理，成为本领域技术人员亟待解决的问题。
发明内容
本发明提供一种面向移动设备的视频超分辨率处理方法、装置、存储介质，以面向移动设备，实现视频的超分辨率处理。
为实现上述目的，本发明采用以下技术方案：
一方面，提供了一种面向移动设备的视频超分辨率处理方法，包括：
获取每帧的视频帧图像，并对视频帧图像进行分割，形成大小相等的子图，利用canny边缘检测算法对分割得到的子图进行边缘检测，根据边缘检测的复杂程度对子图进行优先级排序，边缘检测复杂度越高则子图优先级越高；
将优先级最高的前K个子图传送到云服务器，云服务器接收到子图后基于深度神经网络对子图进行超分辨率处理；
利用huffman编码方法对超分辨处理后的子图进行编码，压缩图像大小后传送给移动设备；
移动设备接收到编码子图后进行解码，并将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，并按视频帧顺序将视频帧图像拼接为视频。
可选地，所述获取每帧的视频帧图像，并对视频帧图像进行分割，形成大小相等的子图，包括：
获取待进行超分辨率处理的视频，并从视频中逐帧获取视频帧图像，对视频帧图 像进行分割处理，形成大小相等的子图，所述子图的大小为
Figure 645838DEST_PATH_IMAGE001
像素，在本发明一个具体 实施例中，M的值为112，N的值为56。
可选地，所述利用canny边缘检测算法对分割得到的子图进行边缘检测，包括：
利用canny边缘检测算法对分割得到的子图进行边缘检测，所述基于canny边缘检测算法的边缘检测流程为：
1）对子图进行灰度提取，所述灰度提取流程为：
获取子图中每个像素点的RGB颜色像素值；
将每个像素点的RGB颜色像素值转换为灰度值：
Figure 278944DEST_PATH_IMAGE002
其中：
Figure 723832DEST_PATH_IMAGE003
为像素点
Figure 202218DEST_PATH_IMAGE004
的灰度值；
Figure 48951DEST_PATH_IMAGE005
为像素点
Figure 587380DEST_PATH_IMAGE004
的红色分量值，
Figure 519564DEST_PATH_IMAGE006
为像素点
Figure 798711DEST_PATH_IMAGE004
的绿色分量，
Figure 765530DEST_PATH_IMAGE007
为 像素点
Figure 740439DEST_PATH_IMAGE004
的蓝色分量；
构造
Figure 894340DEST_PATH_IMAGE008
的灰度矩阵Q，按像素点的位置将每个像素点的灰度值填写到灰度矩 阵中；
2）利用高斯滤波法对灰度矩阵Q进行滤波降噪处理，所述滤波降噪处理流程为：
设置尺寸为
Figure 980108DEST_PATH_IMAGE009
，标准差为1的高斯核，所设置的高斯核形式为：
Figure 535854DEST_PATH_IMAGE010
将灰度矩阵Q中的每个像素的灰度值乘以高斯核，将乘积结果作为滤波降噪后的灰度值；在本发明一个具体实施例中，对于像素i存在如下灰度矩阵：
Figure 947244DEST_PATH_IMAGE011
则灰度值i的滤波降噪结果为：
Figure 588441DEST_PATH_IMAGE012
3）对于以任意像素u的灰度值为中心的
Figure 946741DEST_PATH_IMAGE009
灰度矩阵
Figure 622573DEST_PATH_IMAGE013
，利用Sobel算子
Figure 939285DEST_PATH_IMAGE014
和
Figure 70707DEST_PATH_IMAGE015
计算像素的梯度矩阵
Figure 763857DEST_PATH_IMAGE016
：
Figure 28616DEST_PATH_IMAGE017
Figure 516229DEST_PATH_IMAGE018
Figure 132018DEST_PATH_IMAGE019
其中：
Figure 363280DEST_PATH_IMAGE020
表示像素u在x轴方向的梯度矩阵；
Figure 13704DEST_PATH_IMAGE021
表示像素u在y轴方向的梯度矩阵；
4）将像素u的灰度值在矩阵中的位置表示为
Figure 406639DEST_PATH_IMAGE022
，
Figure 509724DEST_PATH_IMAGE022
表示像素u的灰度值在 矩阵Q的第
Figure 279097DEST_PATH_IMAGE023
行第
Figure 784028DEST_PATH_IMAGE024
列，以
Figure 613443DEST_PATH_IMAGE022
为中心，连接邻近灰度值，将以像素u的灰度值为中心的 灰度矩阵划分为8个区域，根据
Figure 200895DEST_PATH_IMAGE020
和
Figure 773959DEST_PATH_IMAGE021
的正负大小判断
Figure 867817DEST_PATH_IMAGE016
的所属区域，在本发 明一个具体实施例中，若
Figure 602555DEST_PATH_IMAGE020
和
Figure 414653DEST_PATH_IMAGE021
均为正值，则
Figure 791408DEST_PATH_IMAGE016
在0-90度区域，若
Figure 739772DEST_PATH_IMAGE021
/
Figure 910990DEST_PATH_IMAGE025
，则
Figure 210385DEST_PATH_IMAGE016
在0-45度区域；
计算
Figure 125251DEST_PATH_IMAGE026
和
Figure 208350DEST_PATH_IMAGE027
，若
Figure 816049DEST_PATH_IMAGE016
均大于
Figure 602739DEST_PATH_IMAGE026
和
Figure 55717DEST_PATH_IMAGE027
，则像素u为边缘像 素，保留像素u的灰度值，否则将其置为0，
Figure 244253DEST_PATH_IMAGE026
和
Figure 757274DEST_PATH_IMAGE027
的计算公式为：
Figure 31260DEST_PATH_IMAGE028
Figure 287929DEST_PATH_IMAGE029
其中：
Figure 330972DEST_PATH_IMAGE030
表示矩阵Q的第
Figure 14894DEST_PATH_IMAGE023
行第
Figure 510597DEST_PATH_IMAGE031
列的灰度值所对应像素的梯度矩阵；
Figure 568027DEST_PATH_IMAGE032
表示梯度矩阵
Figure 465576DEST_PATH_IMAGE021
乘以梯度矩阵
Figure 320400DEST_PATH_IMAGE020
的逆矩阵；
5）对每个子图的灰度矩阵中的每个灰度值进行步骤1）-4），计算每个子图中所保留的边缘像素数量；边缘像素数量越多的子图，其边缘检测复杂度越高，且边缘检测复杂度越高的子图优先级越高。
可选地，所述云服务器接收到子图后基于深度神经网络对子图进行超分辨率处理，包括：
云服务器接收到子图后利用深度神经对子图进行超分辨处理，所述子图的超分辨率处理流程为：
1）接收低分辨率的子图，利用浅层特征提取模块提取低分辨率子图的浅层特征， 所述浅层特征提取模块有两个卷积层构成，在本发明一个具体实施例中，每个卷积层由两 个尺寸为
Figure 568979DEST_PATH_IMAGE033
像素的卷积核组成，且卷积层的步长为1；所述浅层特征提取的公式为：
Figure 167450DEST_PATH_IMAGE034
其中：
Figure 919506DEST_PATH_IMAGE035
为低分辨率的子图t表示低分辨率子图的时刻，i表示视频帧图像中分割出的 第i块子图；
Figure 210810DEST_PATH_IMAGE036
为浅层特征提取模块；
Figure 681105DEST_PATH_IMAGE037
表示提取的浅层特征；
2）利用多分辨率模块提取浅层特征的多分辨率尺度特征：
Figure 348847DEST_PATH_IMAGE038
Figure 955409DEST_PATH_IMAGE039
Figure 417614DEST_PATH_IMAGE040
其中：
Figure 378136DEST_PATH_IMAGE041
表示提取分辨率为
Figure 318410DEST_PATH_IMAGE042
层次的特征的网络模块，
Figure 45057DEST_PATH_IMAGE043
；其中每个网络模块
Figure 678164DEST_PATH_IMAGE041
均包含一个步长为2的卷积核和一个链接模块D，所述步长为2的卷积核用来对输入特征进 行1/2的下采样，所述链接模块由n个基本卷积单元
Figure 857472DEST_PATH_IMAGE044
组成，且链接模块后端为一个由
Figure 867017DEST_PATH_IMAGE045
像素的卷积核组成的卷积层，基本卷积单元连接起来用于提取多层次的特征，且之前所有 基本卷积单元的输出特征被累加起来输入到下一个基本卷积单元，则链接模块的输出形式 为：
Figure 713750DEST_PATH_IMAGE046
Figure 986600DEST_PATH_IMAGE047
其中：
Figure 918783DEST_PATH_IMAGE048
表示链接模块中最后的卷积层；
Figure 200860DEST_PATH_IMAGE049
表示特征融合；
Figure 899170DEST_PATH_IMAGE050
表示链接模块的输入特征；
Figure 608500DEST_PATH_IMAGE051
分别为分辨率为
Figure 27980DEST_PATH_IMAGE052
的尺度特征；
3）利用一个链接模块D对分辨率为1/8的尺度特征进行语义提取，得到子图的语义特征，所述语义提取公式为：
Figure 113748DEST_PATH_IMAGE053
其中：
Figure 669494DEST_PATH_IMAGE054
表示分辨率为1/8的尺度特征；
Figure 80884DEST_PATH_IMAGE055
表示利用链接模块D对输入特征进行处理；
4）利用全链接模块对语义特征以及尺度特征进行特征提取处理，所述全链接模块包括5个链接模块D，所述特征提取处理公式为：
Figure 722081DEST_PATH_IMAGE056
其中：
Figure 345960DEST_PATH_IMAGE037
表示提取的浅层特征；
Figure 21792DEST_PATH_IMAGE057
表示全链接模块中的第i个链接模块D；
Figure 72925DEST_PATH_IMAGE058
表示提取的多尺度特征以及语义特征
Figure 466997DEST_PATH_IMAGE059
；
5）将全链接模块中输出的特征
Figure 894567DEST_PATH_IMAGE060
以及浅层特征作为最终低分辨率子图的层次化 特征G：
Figure 416117DEST_PATH_IMAGE061
6）利用亚像素卷积层将层次化特征卷积为超分辨率子图
Figure 903730DEST_PATH_IMAGE062
，其中，
Figure 519519DEST_PATH_IMAGE062
表示t时 刻视频帧图像第i块低分辨率子图
Figure 219622DEST_PATH_IMAGE063
的超分辨率子图；所述亚像素卷积层将层次化特征中 每个像素特征分割为
Figure 604467DEST_PATH_IMAGE064
个更小的像素特征，从而将低分辨率子图处理为r倍的超分辨率 特征，在本发明一个具体实施例中，若r等于3，则将每个像素特征分割为一个
Figure 262981DEST_PATH_IMAGE065
的像素 矩阵，像素矩阵中的中心为像素特征值，其余部分补0；
7）利用全局低秩正则化视频超分处理方法对卷积得到的超分辨子图
Figure 135439DEST_PATH_IMAGE066
进行超分 处理，所述全局低秩正则化视频超分处理的目标函数为：
Figure 374791DEST_PATH_IMAGE067
其中：
Figure 469786DEST_PATH_IMAGE068
为最终超分辨处理后的超分辨率子图；
Figure 57237DEST_PATH_IMAGE069
为层次化特征卷积得到的超分辨率子图；
Figure 364722DEST_PATH_IMAGE063
表示t时刻视频帧图像中的第i块低分辨率子图，
Figure 724159DEST_PATH_IMAGE070
以及
Figure 724476DEST_PATH_IMAGE071
分别为
Figure 536574DEST_PATH_IMAGE063
的 前一帧和后一帧；
Figure 913329DEST_PATH_IMAGE072
分别为控制系数；
利用L-BFGS算法对目标函数进行优化求解：
将目标函数转化为：
Figure 127273DEST_PATH_IMAGE073
通过迭代的方式，得到
Figure 564070DEST_PATH_IMAGE074
的近似值
Figure 597885DEST_PATH_IMAGE075
：
Figure 247173DEST_PATH_IMAGE076
其中：
I为单位矩阵；
Figure 846781DEST_PATH_IMAGE077
；
Figure 926251DEST_PATH_IMAGE078
；
Figure 978521DEST_PATH_IMAGE079
为单位矩阵；
T表示转置；
Figure 431499DEST_PATH_IMAGE080
为转化函数
Figure 620035DEST_PATH_IMAGE081
的导数；
Figure 133056DEST_PATH_IMAGE082
为转化函数
Figure 407042DEST_PATH_IMAGE083
二阶导数的倒数；
将
Figure 663711DEST_PATH_IMAGE075
作为
Figure 972333DEST_PATH_IMAGE074
的值，并计算得到
Figure 656255DEST_PATH_IMAGE084
，利用迭代法求解得到的最终超分辨处理 后的超分辨率子图为：
Figure 151959DEST_PATH_IMAGE085
其中：
Figure 212318DEST_PATH_IMAGE086
为
Figure 375446DEST_PATH_IMAGE087
；
最终得到视频帧图像第i块低分辨率子图在不同时刻的超分辨率子图序列为
Figure 227340DEST_PATH_IMAGE088
。
可选地，所述利用huffman编码方法对超分辨处理后的子图进行编码，包括：
11）通过matlab扫描获取超分辨率处理后子图的每个像素在RGB颜色通道的二进 制强度值，将二进制的颜色强度值作为huffman编码信源，其中
Figure 475919DEST_PATH_IMAGE088
，表 示视频帧图像第i块低分辨率子图在不同时刻的子图；
2）对于输入的huffman编码信源进行扫描计数，确定各符号的出现频次与概率，用以确定各信源符号权重，在本发明一个具体实施例中，对12位二进制序列 001101101001按照2位一组进行扫描读取，结果为 00、11、01、10、10 和 01，获得的信源符号有 00，11，01和 10 四种，其概率分别为 0.17，0.17，0.33 和 0.33；若按照 3 位一组进行扫描读取获取结果为 001，101，101 和 001，获得的信源符号有 001 与 101 两种，其概率均为 0.5；
3）分别为出现概率最低的两个信源符号分配码元 0 和码元 1，再将该两个信源符号对应概率相加，作为新的符号概率，与其余信源符号重新参与排序，信源符号权重越大，排序越靠前；
4）对新的排序结果重复进行步骤3）所做操作；
5）重复上述过程，直到所有信源符号均分配获得了相应码元；
6）从排序结果的最后开始，逐级向前记录各信源符号分配所得码元内容，最终获得各信源符号的编码码字；
7）将各信源符号的编码码字进行累加，累加结果即为超分辨处理后子图的huffman编码结果。
可选地，所述将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，并按视频帧顺序将视频帧图像拼接为视频，包括：
移动设备接收到编码子图后对编码子图进行解码处理，所述解码操作为编码操作的逆过程，得到超分辨处理后子图中每个像素的二进制RGB颜色强度值，并根据每个像素的颜色强度值，利用matlab将像素组合为超分辨处理后子图；
将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，并按视频帧顺序将视频帧图像拼接为视频。
此外，为实现上述目的，本发明还提供一种视频超分辨率处理装置，所述装置包括：
视频帧图像获取装置，用于获取每帧的视频帧图像，并对视频帧图像进行分割，形成大小相等的子图；
图像处理器，用于利用canny边缘检测算法对分割得到的子图进行边缘检测，根据边缘检测的复杂程度对子图进行优先级排序；
视频超分辨率处理装置，用于将优先级最高的前K个子图传送到云服务器，云服务器接收到子图后基于深度神经网络对子图进行超分辨率处理, 利用huffman编码方法对超分辨处理后的子图进行编码，压缩图像大小后传送给移动设备; 移动设备接收到编码子图后进行解码，并将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，并按视频帧顺序将视频帧图像拼接为视频。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有视频超分辨率处理程序指令，所述视频超分辨率处理程序指令可被一个或者多个处理器执行，以实现如上所述的面向移动设备的视频超分辨率处理方法。
相对于现有技术，本发明提出一种面向移动设备的视频超分辨率处理方法，该技术具有以下优势：
首先，本方案在云服务器实现视频的超分辨率处理，降低了视频处理的高性能设 备需求，并将超分辨率处理后的视频图像发送到移动端，实现了移动端的超分辨率处理, 降低了视频超分处理的代价，提高视频播放的用户体验。同时本方案提出一种基于深度神 经网络的超分辨率处理方案：接收低分辨率的子图，利用浅层特征提取模块提取低分辨率 子图的浅层特征，所述浅层特征提取模块有两个卷积层构成，每个卷积层由两个尺寸为
Figure 74391DEST_PATH_IMAGE033
像素的卷积核组成，且卷积层的步长为1；所述浅层特征提取的公式为：
Figure 826446DEST_PATH_IMAGE034
其中：
Figure 117750DEST_PATH_IMAGE035
为低分辨率的子图t表示低分辨率子图的时刻，i表示视频帧图像中分割出的 第i块子图；
Figure 853625DEST_PATH_IMAGE036
为浅层特征提取模块；
Figure 990208DEST_PATH_IMAGE037
表示提取的浅层特征；利用多分辨率模块提取 浅层特征的多分辨率尺度特征：
Figure 862349DEST_PATH_IMAGE038
Figure 324555DEST_PATH_IMAGE039
Figure 16567DEST_PATH_IMAGE040
其中：
Figure 488000DEST_PATH_IMAGE041
表示提取分辨率为
Figure 229296DEST_PATH_IMAGE042
层次的特征的网络模块，
Figure 596823DEST_PATH_IMAGE043
；其中每个网络 模块
Figure 41711DEST_PATH_IMAGE041
均包含一个步长为2的卷积核和一个链接模块D，所述步长为2的卷积核用来对输入 特征进行1/2的下采样，所述链接模块由n个基本卷积单元
Figure 785676DEST_PATH_IMAGE044
组成，且链接模块后端为一个 由
Figure 366830DEST_PATH_IMAGE045
像素的卷积核组成的卷积层，基本卷积单元连接起来用于提取多层次的特征，且之 前所有基本卷积单元的输出特征被累加起来输入到下一个基本卷积单元，则链接模块的输 出形式为：
Figure 436417DEST_PATH_IMAGE046
Figure 103022DEST_PATH_IMAGE047
其中：
Figure 650678DEST_PATH_IMAGE048
表示链接模块中最后的卷积层；
Figure 351918DEST_PATH_IMAGE050
表示链接模块的输入特征；
Figure 326827DEST_PATH_IMAGE051
分别为分辨率为
Figure 746307DEST_PATH_IMAGE052
的尺度特征，相较于传统方案，本方案通过提取多分辨率 特征，不同分辨率特征包含了不同的感受野，从而提取到更为丰富的上下文特征，有助于重 建出更准确的超分辨率图像；利用一个链接模块D对分辨率为1/8的尺度特征进行语义提 取，得到子图的语义特征，所述语义特征在不改变图像分辨率的情况下，通过卷积得到尺度 特征的语义信息特征表征，所述语义提取公式为：
Figure 829145DEST_PATH_IMAGE053
其中：
Figure 119312DEST_PATH_IMAGE054
表示分辨率为1/8的尺度特征；
Figure 999543DEST_PATH_IMAGE055
表示利用链接模块D对输入特征进行 处理；
利用全链接模块对语义特征以及尺度特征进行特征提取处理，由于上述特征包含了较大的感受野，但由于分辨率过低，因此本方案提出一种全链接模块，所述全链接模块包括5个链接模块D，将低分辨率特征与分辨率不改变的卷积特征并行地融合在一起，形成多层次化的特征，所述特征提取处理公式为：
Figure 906319DEST_PATH_IMAGE056
其中：
Figure 795778DEST_PATH_IMAGE037
表示提取的浅层特征；
Figure 206031DEST_PATH_IMAGE057
表示全链接模块中的第i个链接模块D；
Figure 522743DEST_PATH_IMAGE058
表示提取的多尺度特征以及语义特征
Figure 651236DEST_PATH_IMAGE059
；将全链接模块中输出的特征
Figure 78806DEST_PATH_IMAGE060
以 及浅层特征作为最终低分辨率子图的层次化特征G，所述层次化特征包含了低分辨率图像 多分辨率的深层特征、浅层的细节特征以及图像语义特征，实现更好的超分辨率图像处理：
Figure 609144DEST_PATH_IMAGE061
利用亚像素卷积层将层次化特征卷积为超分辨率子图
Figure 831178DEST_PATH_IMAGE062
，其中，
Figure 449897DEST_PATH_IMAGE062
表示t时刻 视频帧图像第i块低分辨率子图
Figure 681158DEST_PATH_IMAGE063
的超分辨率子图，所述亚像素卷积层将层次化特征中每 个像素特征分割为
Figure 66003DEST_PATH_IMAGE064
个更小的像素特征，从而将低分辨率子图处理为r倍的超分辨率特 征，若r等于3，则将每个像素特征分割为一个
Figure 990097DEST_PATH_IMAGE065
的像素矩阵，像素矩阵中的中心为像素 特征值，其余部分补0，因此本方案可根据视频的分辨率情况，实现不同倍数的视频超分辨 率处理。
且为了综合考虑视频帧图像时间维相似性，本方案将图像空间维度与时间维度解 耦，并引入了范数全局低秩正则化，利用全局低秩正则化视频超分处理方法对卷积得到的 超分辨子图
Figure 93182DEST_PATH_IMAGE062
进行超分处理，所述全局低秩正则化视频超分处理的目标函数为：
Figure 862555DEST_PATH_IMAGE067
其中：
Figure 101906DEST_PATH_IMAGE068
为最终超分辨处理后的超分辨率子图；
Figure 931322DEST_PATH_IMAGE069
为层次化特征卷积得到的超 分辨率子图；
Figure 256124DEST_PATH_IMAGE063
表示t时刻视频帧图像中的第i块低分辨率子图，
Figure 829188DEST_PATH_IMAGE070
以及
Figure 454204DEST_PATH_IMAGE071
分别为
Figure 451592DEST_PATH_IMAGE063
的前一帧和后一帧；
Figure 263690DEST_PATH_IMAGE072
分别为控制系数；利用L-BFGS算法对目标函数进行优化求解， 即可得到基于图像空间维度与时间维度解耦的超分辨率子图。
同时，本方案利用huffman编码方法对超分辨处理后的子图进行编码处理，所述huffman编码方法的流程为：通过matlab扫描获取超分辨率处理后子图的每个像素在RGB颜色通道的二进制强度值，将二进制的颜色强度值作为huffman编码信源；对于输入的huffman编码信源进行扫描计数，确定各符号的出现频次与概率，用以确定各信源符号权重；分别为出现概率最低的两个信源符号分配码元 0 和码元 1，再将该两个信源符号对应概率相加，作为新的符号概率，与其余信源符号重新参与排序，信源符号权重越大，排序越靠前；重复上述过程，直到所有信源符号均分配获得了相应码元；从排序结果的最后开始，逐级向前记录各信源符号分配所得码元内容，最终获得各信源符号的编码码字；将各信源符号的编码码字进行累加，累加结果即为超分辨处理后子图的huffman编码结果。最终将超分辨处理后子图的huffman编码结果发送到移动设备。相较于传统方案，本方案利用Huffman编码实现对视频数据的压缩处理，提高视频从云端到移动设备的传输效率，从而将超分辨处理后的子图在移动端展示，并降低了对用户移动设备、网络环境的要求。
附图说明
图1为本发明一实施例提供的一种面向移动设备的视频超分辨率处理方法的流程示意图；
图2为本发明一实施例提供的一种视频超分辨率处理装置的结构示意图；
图3为本发明一实施例提供的一种移动设备原始视频帧图像；
图4为本发明一实施例提供的一种超分后的移动设备超分视频帧图像；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明通过获取每帧的视频帧图像，并对视频帧图像进行分割，形成大小相等的子图，利用canny边缘检测算法对分割得到的子图进行边缘检测，根据边缘检测的复杂程度对子图进行优先级排序，边缘检测复杂度越高则子图优先级越高，将优先级最高的前K个子图传送到云服务器，云服务器接收到子图后基于深度神经网络对子图进行超分辨率处理；利用huffman编码方法对超分辨处理后的子图进行编码，压缩图像大小后传送给移动设备，移动设备接收到编码子图后进行解码，并将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，对每一帧视频图像均进行上述处理，实现移动设备的视频超分处理。参照图1所示，为本发明一实施例提供的面向移动设备的视频超分辨率处理方法示意图。
在本实施例中，面向移动设备的视频超分辨率处理方法包括：
S1、获取每帧的视频帧图像，并对视频帧图像进行分割，形成大小相等的子图，利用canny边缘检测算法对分割得到的子图进行边缘检测，根据边缘检测的复杂程度对子图进行优先级排序，边缘检测复杂度越高则子图优先级越高。
首先，本发明获取待进行超分辨率处理的视频，并从视频中逐帧获取视频帧图像， 对视频帧图像进行分割处理，形成大小相等的子图，所述子图的大小为
Figure 374866DEST_PATH_IMAGE089
像素，在本发 明一个具体实施例中，M的值为112，N的值为56；
进一步地，本发明利用canny边缘检测算法对分割得到的子图进行边缘检测，所述基于canny边缘检测算法的边缘检测流程为：
1）对子图进行灰度提取，所述灰度提取流程为：
获取子图中每个像素点的RGB颜色像素值；
将每个像素点的RGB颜色像素值转换为灰度值：
Figure 588809DEST_PATH_IMAGE090
其中：
Figure 760028DEST_PATH_IMAGE091
为像素点
Figure 59422DEST_PATH_IMAGE092
的灰度值；
Figure 239867DEST_PATH_IMAGE093
为像素点
Figure 573897DEST_PATH_IMAGE092
的红色分量值，
Figure 916016DEST_PATH_IMAGE094
为像素点
Figure 437128DEST_PATH_IMAGE092
的绿色分量，
Figure 155685DEST_PATH_IMAGE095
为像素 点
Figure 609800DEST_PATH_IMAGE092
的蓝色分量；
构造
Figure 114032DEST_PATH_IMAGE096
的灰度矩阵Q，按像素点的位置将每个像素点的灰度值填写到灰度矩 阵中；
2）利用高斯滤波法对灰度矩阵Q进行滤波降噪处理，所述滤波降噪处理流程为：
设置尺寸为
Figure 122439DEST_PATH_IMAGE009
，标准差为1的高斯核，所设置的高斯核形式为：
Figure 379108DEST_PATH_IMAGE010
将灰度矩阵Q中的每个像素的灰度值乘以高斯核，将乘积结果作为滤波降噪后的灰度值；在本发明一个具体实施例中，对于像素i存在如下灰度矩阵：
Figure 687730DEST_PATH_IMAGE011
则灰度值i的滤波降噪结果为：
Figure 371652DEST_PATH_IMAGE012
3）对于以任意像素u的灰度值为中心的
Figure 132935DEST_PATH_IMAGE009
灰度矩阵
Figure 927715DEST_PATH_IMAGE013
，利用Sobel算子
Figure 90843DEST_PATH_IMAGE014
和
Figure 945667DEST_PATH_IMAGE015
计算像素的梯度矩阵
Figure 928666DEST_PATH_IMAGE016
：
Figure 527138DEST_PATH_IMAGE017
Figure 807422DEST_PATH_IMAGE018
Figure 833147DEST_PATH_IMAGE019
其中：
Figure 303443DEST_PATH_IMAGE020
表示像素u在x轴方向的梯度矩阵；
Figure 705605DEST_PATH_IMAGE021
表示像素u在y轴方向的梯度矩阵；
4）将像素u的灰度值在矩阵中的位置表示为
Figure 312167DEST_PATH_IMAGE022
，
Figure 774372DEST_PATH_IMAGE022
表示像素u的灰度值在 矩阵Q的第
Figure 731964DEST_PATH_IMAGE023
行第
Figure 406659DEST_PATH_IMAGE024
列，以
Figure 133306DEST_PATH_IMAGE022
为中心，连接邻近灰度值，将以像素u的灰度值为中心的 灰度矩阵划分为8个区域，根据
Figure 500834DEST_PATH_IMAGE020
和
Figure 948651DEST_PATH_IMAGE021
的正负大小判断
Figure 692616DEST_PATH_IMAGE016
的所属区域，在本发 明一个具体实施例中，若
Figure 273771DEST_PATH_IMAGE020
和
Figure 343358DEST_PATH_IMAGE021
均为正值，则
Figure 9962DEST_PATH_IMAGE016
在0-90度区域，若
Figure 557618DEST_PATH_IMAGE021
/
Figure 993279DEST_PATH_IMAGE025
，则
Figure 968188DEST_PATH_IMAGE016
在0-45度区域；
计算
Figure 122089DEST_PATH_IMAGE026
和
Figure 473436DEST_PATH_IMAGE027
，若
Figure 29182DEST_PATH_IMAGE016
均大于
Figure 906484DEST_PATH_IMAGE026
和
Figure 813260DEST_PATH_IMAGE027
，则像素u为边缘像 素，保留像素u的灰度值，否则将其置为0，
Figure 702718DEST_PATH_IMAGE026
和
Figure 112971DEST_PATH_IMAGE027
的计算公式为：
Figure 429683DEST_PATH_IMAGE028
Figure 558176DEST_PATH_IMAGE029
其中：
Figure 720167DEST_PATH_IMAGE030
表示矩阵Q的第
Figure 516085DEST_PATH_IMAGE023
行第
Figure 738119DEST_PATH_IMAGE031
列的灰度值所对应像素的梯度矩阵；
Figure 353908DEST_PATH_IMAGE032
表示梯度矩阵
Figure 585169DEST_PATH_IMAGE021
乘以梯度矩阵
Figure 984662DEST_PATH_IMAGE020
的逆矩阵；
5）对每个子图的灰度矩阵中的每个灰度值进行步骤1）-4），计算每个子图中所保留的边缘像素数量；边缘像素数量越多的子图，其边缘检测复杂度越高，且边缘检测复杂度越高的子图优先级越高。
S2、将优先级最高的前K个子图传送到云服务器，云服务器接收到子图后基于深度神经网络对子图进行超分辨率处理。
进一步地，本发明将优先级最高的前K个子图传送到云服务器，云服务器接收到子图后利用深度神经对子图进行超分辨处理，所述子图的超分辨率处理流程为：
1）接收低分辨率的子图，利用浅层特征提取模块提取低分辨率子图的浅层特征， 所述浅层特征提取模块有两个卷积层构成，在本发明一个具体实施例中，每个卷积层由两 个尺寸为
Figure 643177DEST_PATH_IMAGE033
像素的卷积核组成，且卷积层的步长为1；所述浅层特征提取的公式为：
Figure 480683DEST_PATH_IMAGE034
其中：
Figure 250056DEST_PATH_IMAGE035
为低分辨率的子图t表示低分辨率子图的时刻，i表示视频帧图像中分割出的 第i块子图；
Figure 754986DEST_PATH_IMAGE036
为浅层特征提取模块；
Figure 849981DEST_PATH_IMAGE037
表示提取的浅层特征；
2）利用多分辨率模块提取浅层特征的多分辨率尺度特征：
Figure 174784DEST_PATH_IMAGE038
Figure 747847DEST_PATH_IMAGE039
Figure 107284DEST_PATH_IMAGE040
其中：
Figure 107602DEST_PATH_IMAGE041
表示提取分辨率为
Figure 185279DEST_PATH_IMAGE042
层次的特征的网络模块，
Figure 762366DEST_PATH_IMAGE043
；其中每个网络模块
Figure 976310DEST_PATH_IMAGE041
均包含一个步长为2的卷积核和一个链接模块D，所述步长为2的卷积核用来对输入特征进 行1/2的下采样，所述链接模块由n个基本卷积单元
Figure 147528DEST_PATH_IMAGE044
组成，且链接模块后端为一个由
Figure 181343DEST_PATH_IMAGE045
像素的卷积核组成的卷积层，基本卷积单元连接起来用于提取多层次的特征，且之前所有 基本卷积单元的输出特征被累加起来输入到下一个基本卷积单元，则链接模块的输出形式 为：
Figure 830631DEST_PATH_IMAGE046
Figure 899081DEST_PATH_IMAGE047
其中：
Figure 975621DEST_PATH_IMAGE049
表示特征融合；
Figure 27891DEST_PATH_IMAGE048
表示链接模块中最后的卷积层；
Figure 746448DEST_PATH_IMAGE050
表示链接模块的输入特征；
Figure 669405DEST_PATH_IMAGE051
分别为分辨率为
Figure 185355DEST_PATH_IMAGE052
的尺度特征；
3）利用一个链接模块D对分辨率为1/8的尺度特征进行语义提取，得到子图的语义特征，所述语义提取公式为：
Figure 459342DEST_PATH_IMAGE053
其中：
Figure 716011DEST_PATH_IMAGE054
表示分辨率为1/8的尺度特征；
Figure 759053DEST_PATH_IMAGE055
表示利用链接模块D对输入特征进行处理；
4）利用全链接模块对语义特征以及尺度特征进行特征提取处理，所述全链接模块包括5个链接模块D，所述特征提取处理公式为：
Figure 442975DEST_PATH_IMAGE056
其中：
Figure 204258DEST_PATH_IMAGE037
表示提取的浅层特征；
Figure 999039DEST_PATH_IMAGE057
表示全链接模块中的第i个链接模块D；
Figure 896588DEST_PATH_IMAGE058
表示提取的多尺度特征以及语义特征
Figure 751411DEST_PATH_IMAGE059
；
5）将全链接模块中输出的特征
Figure 999990DEST_PATH_IMAGE060
以及浅层特征作为最终低分辨率子图的层次化 特征G：
Figure 329952DEST_PATH_IMAGE061
6）利用亚像素卷积层将层次化特征卷积为超分辨率子图
Figure 613166DEST_PATH_IMAGE062
，其中，
Figure 638891DEST_PATH_IMAGE062
表示t时 刻视频帧图像第i块低分辨率子图
Figure 374766DEST_PATH_IMAGE063
的超分辨率子图，所述亚像素卷积层将层次化特征中 每个像素特征分割为
Figure 776928DEST_PATH_IMAGE064
个更小的像素特征，从而将低分辨率子图处理为r倍的超分辨率 特征，在本发明一个具体实施例中，若r等于3，则将每个像素特征分割为一个
Figure 914649DEST_PATH_IMAGE065
的像素 矩阵，像素矩阵中的中心为像素特征值，其余部分补0；
7）利用全局低秩正则化视频超分处理方法对卷积得到的超分辨子图
Figure 803287DEST_PATH_IMAGE066
进行超分 处理，所述全局低秩正则化视频超分处理的目标函数为：
Figure 743562DEST_PATH_IMAGE067
其中：
Figure 735788DEST_PATH_IMAGE068
为最终超分辨处理后的超分辨率子图；
Figure 368895DEST_PATH_IMAGE069
为层次化特征卷积得到的超分辨率子图；
Figure 813783DEST_PATH_IMAGE063
表示t时刻视频帧图像中的第i块低分辨率子图，
Figure 548959DEST_PATH_IMAGE070
以及
Figure 395692DEST_PATH_IMAGE071
分别为
Figure 934121DEST_PATH_IMAGE063
的 前一帧和后一帧；
Figure 866305DEST_PATH_IMAGE072
分别为控制系数；
利用L-BFGS算法对目标函数进行优化求解：
将目标函数转化为：
Figure 148381DEST_PATH_IMAGE073
通过迭代的方式，得到
Figure 115200DEST_PATH_IMAGE074
的近似值
Figure 90110DEST_PATH_IMAGE075
：
Figure 509590DEST_PATH_IMAGE076
其中：
I为单位矩阵；
Figure 329778DEST_PATH_IMAGE077
；
Figure 885524DEST_PATH_IMAGE078
；
Figure 31335DEST_PATH_IMAGE079
为单位矩阵；
T表示转置；
Figure 935181DEST_PATH_IMAGE080
为转化函数
Figure 559061DEST_PATH_IMAGE081
的导数；
Figure 234893DEST_PATH_IMAGE082
为转化函数
Figure 817184DEST_PATH_IMAGE083
二阶导数的倒数；
将
Figure 945677DEST_PATH_IMAGE075
作为
Figure 373247DEST_PATH_IMAGE074
的值，并计算得到
Figure 638006DEST_PATH_IMAGE084
，利用迭代法求解得到的最终超分辨处理 后的超分辨率子图为：
Figure 125620DEST_PATH_IMAGE085
其中：
Figure 741409DEST_PATH_IMAGE086
为
Figure 972670DEST_PATH_IMAGE087
；
最终得到视频帧图像第i块低分辨率子图在不同时刻的超分辨率子图序列为
Figure 357515DEST_PATH_IMAGE088
。
S3、利用huffman编码方法对超分辨处理后的子图进行编码，压缩图像大小后传送给移动设备。
进一步地，本发明利用huffman编码方法对超分辨处理后的子图进行编码处理，所述huffman编码方法的流程为：
1）通过matlab扫描获取超分辨率处理后子图的每个像素在RGB颜色通道的二进制 强度值，将二进制的颜色强度值作为huffman编码信源，其中
Figure 753380DEST_PATH_IMAGE088
，表示 视频帧图像第i块低分辨率子图在不同时刻的子图；
2）对于输入的huffman编码信源进行扫描计数，确定各符号的出现频次与概率，用以确定各信源符号权重，在本发明一个具体实施例中，对12位二进制序列 001101101001按照2位一组进行扫描读取，结果为 00、11、01、10、10 和 01，获得的信源符号有 00，11，01和 10 四种，其概率分别为 0.17，0.17，0.33 和 0.33；若按照 3 位一组进行扫描读取获取结果为 001，101，101 和 001，获得的信源符号有 001 与 101 两种，其概率均为 0.5；
3）分别为出现概率最低的两个信源符号分配码元 0 和码元 1，再将该两个信源符号对应概率相加，作为新的符号概率，与其余信源符号重新参与排序，信源符号权重越大，排序越靠前；
4）对新的排序结果重复进行步骤3）所做操作；
5）重复上述过程，直到所有信源符号均分配获得了相应码元；
6）从排序结果的最后开始，逐级向前记录各信源符号分配所得码元内容，最终获得各信源符号的编码码字；
7）将各信源符号的编码码字进行累加，累加结果即为超分辨处理后子图的huffman编码结果。
进一步地，本发明将超分辨处理后子图的huffman编码结果发送到移动设备。
S4、移动设备接收到编码子图后进行解码，并将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，并按视频帧顺序将视频帧图像拼接为视频。
进一步地，移动设备接收到编码子图后对编码子图进行解码处理，所述解码操作为编码操作的逆过程，得到超分辨处理后子图中每个像素的二进制RGB颜色强度值，并根据每个像素的颜色强度值，利用matlab将像素组合为超分辨处理后子图；
将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，并按视频帧顺序将视频帧图像拼接为视频。
下面通过一个算法实验来说明本发明的具体实施方式，并对发明的处理方法进行测试。本发明算法的硬件测试环境为：Inter(R) Core(TM) i7-6700K CPU，软件为Matlab2018b；对比方法为基于小波变换的视频超分辨率处理方法以及基于CNN的视频超分辨率处理方法。
在本发明所述算法实验中，数据集为10G的低分辨率视频。本实验通过将低分辨率视频输入到算法模型中，将视频超分辨率处理的有效性作为算法可行性的评价指标，其中视频超分辨率处理的有效性越高，则说明算法的有效性、可行性越高，所述超分辨率处理的有效性为视频帧图像实现超分辨率处理的比重、超分辨率处理过程在移动端的处理效率。
根据实验结果，基于小波变换的视频超分辨率处理方法的视频超分辨率处理有效性为77.62，基于CNN的视频超分辨率处理方法的视频超分辨率处理有效性为84.12，本发明所述方法的视频超分辨率处理有效性为89.26，相较于对比算法，本发明所提出的面向移动设备的视频超分辨率处理方法能够实现更有效的视频超分辨率处理。
发明还提供一种视频超分辨率处理装置。参照图2所示，为本实施例提供的视频超分辨率处理装置的内部结构示意图。
在本实施例中，所述视频超分辨率处理装置1至少包括视频帧图像获取装置11、图像处理器12、视频超分辨率处理装置13、通信总线14、以及网络接口15。
其中，视频帧图像获取装置11可以是PC（Personal Computer，个人电脑），或者是智能手机、平板电脑、便携计算机、摄像头等终端设备，也可以是一种服务器等。
图像处理器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。图像处理器12在一些实施例中可以是视频超分辨率处理装置1的内部存储单元，例如该视频超分辨率处理装置1的硬盘。图像处理器12在另一些实施例中也可以是视频超分辨率处理装置1的外部存储设备，例如视频超分辨率处理装置1上配备的插接式硬盘，智能存储卡（SmartMedia Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，图像处理器12还可以既包括视频超分辨率处理装置1的内部存储单元也包括外部存储设备。图像处理器12不仅可以用于存储安装于视频超分辨率处理装置1的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
视频超分辨率处理装置13在一些实施例中可以是一中央处理器（CentralProcessing Unit, CPU）、控制器、微控制器、微处理器或其他数据处理芯片，包括监控单元，用于运行图像处理器12中存储的程序代码或处理数据，例如视频超分辨率处理程序指令16等。
通信总线14用于实现这些组件之间的连接通信。
网络接口15可以包括标准的有线接口、无线接口（如WI-FI接口），通常用于在视频超分辨率处理装置1与其他电子设备之间建立通信连接。
图2仅示出了具有组件11-15以及视频超分辨率处理装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对视频超分辨率处理装置1的限定，可以包括比图示更多的部件，或者组合某些部件。
在图2所示的视频超分辨率处理装置1实施例中，图像处理器12中存储有视频超分辨率处理程序指令16；视频超分辨率处理装置13执行图像处理器12中存储的视频超分辨率处理程序指令16的步骤，与面向移动设备的视频超分辨率处理方法的实现方法相同，在此不作赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有视频超分辨率处理程序指令，所述视频超分辨率处理程序指令可被一个或多个处理器执行，以实现如下操作：
获取每帧的视频帧图像，并对视频帧图像进行分割，形成大小相等的子图，利用canny边缘检测算法对分割得到的子图进行边缘检测，根据边缘检测的复杂程度对子图进行优先级排序，边缘检测复杂度越高则子图优先级越高；
将优先级最高的前K个子图传送到云服务器，云服务器接收到子图后基于深度神经网络对子图进行超分辨率处理；
利用huffman编码方法对超分辨处理后的子图进行编码，压缩图像大小后传送给移动设备；
移动设备接收到编码子图后进行解码，并将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，并按视频帧顺序将视频帧图像拼接为视频。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种面向移动设备的视频超分辨率处理方法，其特征在于，所述方法包括：
获取每帧的视频帧图像，并对视频帧图像进行分割，形成大小相等的子图，利用canny边缘检测算法对分割得到的子图进行边缘检测，根据边缘检测的复杂程度对子图进行优先级排序，边缘检测复杂度越高则子图优先级越高；
将优先级最高的前K个子图传送到云服务器，云服务器接收到子图后基于深度神经网络对子图进行超分辨率处理；
利用huffman编码方法对超分辨处理后的子图进行编码，压缩图像大小后传送给移动设备；
移动设备接收到编码子图后进行解码，并将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，并按视频帧顺序将视频帧图像拼接为视频；
所述获取每帧的视频帧图像，并对视频帧图像进行分割，形成大小相等的子图，包括：
获取待进行超分辨率处理的视频，并从视频中逐帧获取视频帧图像，对视频帧图像进行分割处理，形成大小相等的子图，所述子图的大小为
Figure DEST_PATH_IMAGE001
像素；
所述利用canny边缘检测算法对分割得到的子图进行边缘检测，包括：
利用canny边缘检测算法对分割得到的子图进行边缘检测，所述基于canny边缘检测算法的边缘检测流程为：
1）对子图进行灰度提取，所述灰度提取流程为：
获取子图中每个像素点的RGB颜色像素值；
将每个像素点的RGB颜色像素值转换为灰度值：
Figure DEST_PATH_IMAGE002
其中：
Figure DEST_PATH_IMAGE003
为像素点
Figure DEST_PATH_IMAGE004
的灰度值；
Figure DEST_PATH_IMAGE005
为像素点
Figure DEST_PATH_IMAGE006
的红色分量值，
Figure DEST_PATH_IMAGE007
为像素点
Figure DEST_PATH_IMAGE008
的绿色分量，
Figure DEST_PATH_IMAGE009
为像素点
Figure DEST_PATH_IMAGE010
的蓝色分量；
构造
Figure DEST_PATH_IMAGE011
的灰度矩阵Q，按像素点的位置将每个像素点的灰度值填写到灰度矩阵中；
2）利用高斯滤波法对灰度矩阵Q进行滤波降噪处理，所述滤波降噪处理流程为：
设置尺寸为
Figure DEST_PATH_IMAGE012
，标准差为1的高斯核，所设置的高斯核形式为：
Figure DEST_PATH_IMAGE013
将灰度矩阵Q中的每个像素的灰度值乘以高斯核，将乘积结果作为滤波降噪后的灰度值；
3）对于以任意像素u的灰度值为中心的
Figure 727520DEST_PATH_IMAGE012
灰度矩阵
Figure DEST_PATH_IMAGE014
，利用Sobel算子
Figure DEST_PATH_IMAGE015
和
Figure DEST_PATH_IMAGE016
计算像素的梯度矩阵
Figure DEST_PATH_IMAGE017
：
Figure DEST_PATH_IMAGE018
Figure DEST_PATH_IMAGE019
Figure DEST_PATH_IMAGE020
其中：
Figure DEST_PATH_IMAGE021
表示像素u在x轴方向的梯度矩阵；
Figure DEST_PATH_IMAGE022
表示像素u在y轴方向的梯度矩阵；
4）将像素u的灰度值在矩阵中的位置表示为
Figure DEST_PATH_IMAGE023
，
Figure 893928DEST_PATH_IMAGE023
表示像素u的灰度值在矩阵Q的第
Figure DEST_PATH_IMAGE024
行第
Figure DEST_PATH_IMAGE025
列，以
Figure DEST_PATH_IMAGE026
为中心，连接邻近灰度值，将以像素u的灰度值为中心的灰度矩阵划分为8个区域，根据
Figure DEST_PATH_IMAGE027
和
Figure DEST_PATH_IMAGE028
的正负大小判断
Figure DEST_PATH_IMAGE029
的所属区域；
计算
Figure DEST_PATH_IMAGE030
和
Figure DEST_PATH_IMAGE031
，若
Figure DEST_PATH_IMAGE032
均大于
Figure 112813DEST_PATH_IMAGE030
和
Figure 321072DEST_PATH_IMAGE031
，则像素u为边缘像素，保留像素u的灰度值，否则将其置为0，
Figure 197761DEST_PATH_IMAGE030
和
Figure 20223DEST_PATH_IMAGE031
的计算公式为：
Figure DEST_PATH_IMAGE033
Figure DEST_PATH_IMAGE034
其中：
Figure DEST_PATH_IMAGE035
表示矩阵Q的第
Figure DEST_PATH_IMAGE036
行第
Figure DEST_PATH_IMAGE037
列的灰度值所对应像素的梯度矩阵；
Figure DEST_PATH_IMAGE038
表示梯度矩阵
Figure DEST_PATH_IMAGE039
乘以梯度矩阵
Figure DEST_PATH_IMAGE040
的逆矩阵；
5）对每个子图的灰度矩阵中的每个灰度值进行步骤1）-4），计算每个子图中所保留的边缘像素数量；边缘像素数量越多的子图，其边缘检测复杂度越高，且边缘检测复杂度越高的子图优先级越高。
2.如权利要求1所述的一种面向移动设备的视频超分辨率处理方法，其特征在于，所述云服务器接收到子图后基于深度神经网络对子图进行超分辨率处理，包括：
云服务器接收到子图后利用深度神经对子图进行超分辨处理，所述子图的超分辨率处理流程为：
1）接收低分辨率的子图，利用浅层特征提取模块提取低分辨率子图的浅层特征，所述浅层特征提取模块有两个卷积层构成；所述浅层特征提取的公式为：
Figure DEST_PATH_IMAGE041
其中：
Figure DEST_PATH_IMAGE042
为低分辨率的子图t表示低分辨率子图的时刻，i表示视频帧图像中分割出的第i块子图；
Figure DEST_PATH_IMAGE043
为浅层特征提取模块；
Figure DEST_PATH_IMAGE044
表示提取的浅层特征；
2）利用多分辨率模块提取浅层特征的多分辨率尺度特征：
Figure DEST_PATH_IMAGE045
Figure DEST_PATH_IMAGE046
Figure DEST_PATH_IMAGE047
其中：
Figure DEST_PATH_IMAGE048
表示提取分辨率为
Figure DEST_PATH_IMAGE049
层次的特征的网络模块，
Figure DEST_PATH_IMAGE050
；其中每个网络模块
Figure DEST_PATH_IMAGE051
均包含一个步长为2的卷积核和一个链接模块D，所述步长为2的卷积核用来对输入特征进行
Figure DEST_PATH_IMAGE052
的下采样，所述链接模块由n个基本卷积单元
Figure DEST_PATH_IMAGE053
组成，且链接模块后端为一个由
Figure DEST_PATH_IMAGE054
像素的卷积核组成的卷积层，基本卷积单元连接起来用于提取多层次的特征，且之前所有基本卷积单元的输出特征被累加起来输入到下一个基本卷积单元，则链接模块的输出形式为：
Figure DEST_PATH_IMAGE055
Figure DEST_PATH_IMAGE056
其中：
Figure DEST_PATH_IMAGE057
表示特征融合；
Figure DEST_PATH_IMAGE058
表示链接模块中最后的卷积层；
Figure DEST_PATH_IMAGE059
表示链接模块的输入特征；
Figure DEST_PATH_IMAGE060
，
Figure DEST_PATH_IMAGE061
，
Figure DEST_PATH_IMAGE062
分别为分辨率为
Figure DEST_PATH_IMAGE063
，
Figure DEST_PATH_IMAGE064
，
Figure DEST_PATH_IMAGE065
的尺度特征；
3）利用一个链接模块D对分辨率为
Figure DEST_PATH_IMAGE066
的尺度特征进行语义提取，得到子图的语义特征，所述语义提取公式为：
Figure DEST_PATH_IMAGE067
其中：
Figure DEST_PATH_IMAGE068
表示分辨率为
Figure 26270DEST_PATH_IMAGE066
的尺度特征；
Figure DEST_PATH_IMAGE069
表示利用链接模块D对输入特征进行处理；
4）利用全链接模块对语义特征以及尺度特征进行特征提取处理，所述全链接模块包括5个链接模块D，所述特征提取处理公式为：
Figure DEST_PATH_IMAGE070
其中：
Figure DEST_PATH_IMAGE071
表示提取的浅层特征；
Figure DEST_PATH_IMAGE072
表示全链接模块中的第i个链接模块D；
Figure DEST_PATH_IMAGE073
，
Figure DEST_PATH_IMAGE074
表示提取的多尺度特征以及语义特征
Figure DEST_PATH_IMAGE075
；
5）将全链接模块中输出的特征
Figure DEST_PATH_IMAGE076
以及浅层特征作为最终低分辨率子图的层次化特征G：
Figure DEST_PATH_IMAGE077
6）利用亚像素卷积层将层次化特征卷积为超分辨率子图
Figure DEST_PATH_IMAGE078
，其中，
Figure 415051DEST_PATH_IMAGE078
表示t时刻视频帧图像第i块低分辨率子图
Figure DEST_PATH_IMAGE079
的超分辨率子图；
7）利用全局低秩正则化视频超分处理方法对卷积得到的超分辨子图 QUOTE
Figure DEST_PATH_IMAGE080
Figure 146247DEST_PATH_IMAGE080
进行超分处理，所述全局低秩正则化视频超分处理的目标函数为：
Figure DEST_PATH_IMAGE081
其中：
Figure DEST_PATH_IMAGE082
为最终超分辨处理后的超分辨率子图；
Figure DEST_PATH_IMAGE083
为层次化特征卷积得到的超分辨率子图；
Figure 451195DEST_PATH_IMAGE079
表示t时刻视频帧图像中的第i块低分辨率子图，
Figure DEST_PATH_IMAGE084
以及
Figure DEST_PATH_IMAGE085
分别为
Figure 267841DEST_PATH_IMAGE079
的前一帧和后一帧；
Figure DEST_PATH_IMAGE086
分别为控制系数；
利用L-BFGS算法对目标函数进行优化求解：
将目标函数转化为：
Figure DEST_PATH_IMAGE087
通过迭代的方式，得到
Figure DEST_PATH_IMAGE088
的近似值
Figure DEST_PATH_IMAGE089
：
Figure DEST_PATH_IMAGE090
其中：
I为单位矩阵；
Figure DEST_PATH_IMAGE091
；
Figure DEST_PATH_IMAGE092
；
Figure DEST_PATH_IMAGE093
为单位矩阵；
T表示转置；
Figure DEST_PATH_IMAGE094
为转化函数
Figure DEST_PATH_IMAGE095
的导数；
Figure DEST_PATH_IMAGE096
为转化函数
Figure DEST_PATH_IMAGE097
二阶导数的倒数；
将
Figure 70100DEST_PATH_IMAGE089
作为
Figure 593485DEST_PATH_IMAGE088
的值，并计算得到
Figure DEST_PATH_IMAGE098
，利用迭代法求解得到的最终超分辨处理后的超分辨率子图为：
Figure DEST_PATH_IMAGE099
其中：
Figure DEST_PATH_IMAGE100
为
Figure DEST_PATH_IMAGE101
；
最终得到视频帧图像第i块低分辨率子图在不同时刻的超分辨率子图序列为
Figure DEST_PATH_IMAGE102
。
3.如权利要求2所述的一种面向移动设备的视频超分辨率处理方法，其特征在于，所述利用huffman编码方法对超分辨处理后的子图进行编码，包括：
1）通过matlab扫描获取超分辨率处理后子图的每个像素在RGB颜色通道的二进制强度值，将二进制的颜色强度值作为huffman编码信源，其中
Figure 397231DEST_PATH_IMAGE102
，表示视频帧图像第i块低分辨率子图在不同时刻的子图；
2）对于输入的huffman编码信源进行扫描计数，确定各符号的出现频次与概率，用以确定各信源符号权重；
3）分别为出现概率最低的两个信源符号分配码元 0 和码元 1，再将该两个信源符号对应概率相加，作为新的符号概率，与其余信源符号重新参与排序，信源符号权重越大，排序越靠前；
4）对新的排序结果重复进行步骤3）所做操作；
5）重复上述过程，直到所有信源符号均分配获得了相应码元；
6）从排序结果的最后开始，逐级向前记录各信源符号分配所得码元内容，最终获得各信源符号的编码码字；
7）将各信源符号的编码码字进行累加，累加结果即为超分辨处理后子图的huffman编码结果。
4.如权利要求3所述的一种面向移动设备的视频超分辨率处理方法，其特征在于，所述将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，并按视频帧顺序将视频帧图像拼接为视频，包括：
移动设备接收到编码子图后对编码子图进行解码处理，所述解码操作为编码操作的逆过程，得到超分辨处理后子图中每个像素的二进制RGB颜色强度值，并根据每个像素的颜色强度值，利用matlab将像素组合为超分辨处理后子图；
将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，并按视频帧顺序将视频帧图像拼接为视频。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有视频超分辨率处理程序指令，所述视频超分辨率处理程序指令可被一个或者多个处理器执行，以实现如权利要求1-4任一所述的面向移动设备的视频超分辨率处理方法。
CN202111296686.XA 2021-11-04 2021-11-04 面向移动设备的视频超分辨率处理方法、装置、存储介质 Active CN113727050B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111296686.XA CN113727050B (zh) 2021-11-04 2021-11-04 面向移动设备的视频超分辨率处理方法、装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111296686.XA CN113727050B (zh) 2021-11-04 2021-11-04 面向移动设备的视频超分辨率处理方法、装置、存储介质

Publications (2)

Publication Number Publication Date
CN113727050A CN113727050A (zh) 2021-11-30
CN113727050B true CN113727050B (zh) 2022-03-01

Family

ID=78686666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111296686.XA Active CN113727050B (zh) 2021-11-04 2021-11-04 面向移动设备的视频超分辨率处理方法、装置、存储介质

Country Status (1)

Country Link
CN (1) CN113727050B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339412B (zh) * 2021-12-30 2024-02-27 咪咕文化科技有限公司 视频质量增强方法、移动终端、存储介质及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208537B1 (en) * 2014-07-10 2015-12-08 Shenzhen China Star Optoelectronics Technology Co., Ltd Super-resolution reconstructing method for enhancing smoothness and sharpness of video image
CN105678728A (zh) * 2016-01-19 2016-06-15 西安电子科技大学 分区域管理的高效超分辨率成像装置及方法
EP3246871A1 (en) * 2016-05-20 2017-11-22 Shenyang Neusoft Medical Systems Co., Ltd. Image splicing
WO2019041590A1 (zh) * 2017-08-31 2019-03-07 中国科学院微电子研究所 任意角度的边缘检测方法
CN112700392A (zh) * 2020-12-01 2021-04-23 华南理工大学 一种视频超分辨率处理方法、设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100411348B1 (ko) * 2001-12-29 2003-12-18 엘지전자 주식회사 에지 검출 방법과 장치
US8929877B2 (en) * 2008-09-12 2015-01-06 Digimarc Corporation Methods and systems for content processing
KR20230088842A (ko) * 2009-02-06 2023-06-20 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치 구동 방법
WO2018187622A1 (en) * 2017-04-05 2018-10-11 Lyrical Labs Holdings, Llc Video processing and encoding
JP2020150516A (ja) * 2019-03-15 2020-09-17 シャープ株式会社 画像復号装置及び画像符号化装置
CN111800629A (zh) * 2019-04-09 2020-10-20 华为技术有限公司 视频解码方法、编码方法以及视频解码器和编码器
KR20210042588A (ko) * 2019-10-10 2021-04-20 엘지전자 주식회사 영상을 압축 또는 복원하기 위한 방법 및 장치
CN111970513A (zh) * 2020-08-14 2020-11-20 成都数字天空科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112203098B (zh) * 2020-09-22 2021-06-01 广东启迪图卫科技股份有限公司 基于边缘特征融合和超分辨率的移动端图像压缩方法
CN113421189A (zh) * 2021-06-21 2021-09-21 Oppo广东移动通信有限公司 图像超分辨率处理方法和装置、电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208537B1 (en) * 2014-07-10 2015-12-08 Shenzhen China Star Optoelectronics Technology Co., Ltd Super-resolution reconstructing method for enhancing smoothness and sharpness of video image
CN105678728A (zh) * 2016-01-19 2016-06-15 西安电子科技大学 分区域管理的高效超分辨率成像装置及方法
EP3246871A1 (en) * 2016-05-20 2017-11-22 Shenyang Neusoft Medical Systems Co., Ltd. Image splicing
WO2019041590A1 (zh) * 2017-08-31 2019-03-07 中国科学院微电子研究所 任意角度的边缘检测方法
CN112700392A (zh) * 2020-12-01 2021-04-23 华南理工大学 一种视频超分辨率处理方法、设备及存储介质

Also Published As

Publication number Publication date
CN113727050A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
US11222211B2 (en) Method and apparatus for segmenting video object, electronic device, and storage medium
CN113591546B (zh) 语义增强型场景文本识别方法及装置
US9349072B2 (en) Local feature based image compression
Yu et al. Towards efficient and scale-robust ultra-high-definition image demoiréing
CN109711407B (zh) 一种车牌识别的方法及相关装置
Diana Andrushia et al. Saliency-based image compression using Walsh–Hadamard transform (WHT)
CN111914654B (zh) 一种文本版面分析方法、装置、设备和介质
CN113537254B (zh) 图像特征提取方法、装置、电子设备及可读存储介质
CN106503112B (zh) 视频检索方法和装置
EP4283876A1 (en) Data coding method and related device
CN110830808A (zh) 一种视频帧重构方法、装置及终端设备
CN112163443A (zh) 一种扫码方法、扫码装置及移动终端
CN114140346A (zh) 一种图像处理方法及装置
CN113015022A (zh) 行为识别方法、装置、终端设备及计算机可读存储介质
CN113012068A (zh) 图像去噪方法、装置、电子设备及计算机可读存储介质
CN113727050B (zh) 面向移动设备的视频超分辨率处理方法、装置、存储介质
CN110991298B (zh) 图像的处理方法和装置、存储介质及电子装置
CN110717929A (zh) 图像目标检测方法、装置及存储介质
CN114758145A (zh) 一种图像脱敏方法、装置、电子设备及存储介质
CN114049491A (zh) 指纹分割模型训练、指纹分割方法、装置、设备及介质
CN113256744B (zh) 一种图像编码、解码方法及系统
CN116798041A (zh) 图像识别方法、装置和电子设备
WO2023273196A1 (zh) 一种文本识别方法及相关装置
CN114648467B (zh) 图像的去雾方法、装置、终端设备及计算机可读存储介质
Zhang et al. Blind image quality assessment based on local quantized pattern

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant