CN116260974A - 一种视频缩放方法和系统、计算机可读存储介质 - Google Patents
一种视频缩放方法和系统、计算机可读存储介质 Download PDFInfo
- Publication number
- CN116260974A CN116260974A CN202310487442.2A CN202310487442A CN116260974A CN 116260974 A CN116260974 A CN 116260974A CN 202310487442 A CN202310487442 A CN 202310487442A CN 116260974 A CN116260974 A CN 116260974A
- Authority
- CN
- China
- Prior art keywords
- description
- type
- factor
- subspace
- description factor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000011084 recovery Methods 0.000 claims description 12
- 230000010354 integration Effects 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims description 4
- 230000006698 induction Effects 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 claims description 3
- 230000003014 reinforcing effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims 2
- 238000004590 computer program Methods 0.000 claims 2
- 238000012545 processing Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000010276 construction Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种视频缩放方法和系统、计算机可读存储介质，涉及视频处理技术，包括：对输入的视频帧进行特征描述，得到视频帧像素的特征描述因子；对特征描述因子相似或相同的像素进行归纳，得到若干第一类描述因子子空间；对每个第一类描述因子子空间信息进行整合，得到若干第二类描述因子子空间；每个第二类描述因子子空间包括整合后的所有子像素中心点坐标、方向以及长宽数据，对每个第二类描述因子子空间分别进行缩放，得到第三类描述因子子空间，输出缩放后的视频帧。本发明根据视频帧内容进行特征描述，并根据特征描述进行缩放，更好地减少细节丢失和实现基于内容自适应缩放。
Description
技术领域
本发明涉及视频处理技术，尤其涉及一种视频缩放方法和系统、计算机可读存储介质。
背景技术
常见视频缩放系统，主要有插值方法和机器学习方法两大类，其中插值方法计算量少，但是较少考虑视频内容信息，对于部分细节容易损失，而机器学习类方法，一般需要高分辨率或少混叠低分辨率图像作为输入训练模型，该过程实际较难实现，且计算量大难用于实时处理。
发明内容
本发明针对现有技术中的缺点，提供了一种视频缩放方法。
一种视频缩放方法，包括以下步骤：
对输入的视频帧进行特征描述，得到一种或多种视频帧图像像素的特征描述因子；对特征描述因子相似或相同的像素进行归纳，存入第一类描述因子空间，第一类描述因子空间包括若干第一类描述因子子空间；第一类描述因子子空间内包括一种或多种特征描述因子以及像素的横纵坐标；
用每个第一类描述因子子空间中包含的中心点信息以及像素的横纵坐标信息进行整合，存入第二类描述因子空间，第二类描述因子空间包括若干第二类描述因子子空间；每个第二类描述因子子空间包括整合后的所有子像素中心点坐标、方向以及长宽数据；
根据中心点坐标和方向信息设置的缩放比例，对每个第二类描述因子子空间分别进行缩放，得到与第二类描述因子子空间对应的第三类描述因子子空间；
根据第三类描述因子子空间输出缩放后的视频帧。
作为其中一种优选的方案，特征描述因子包括：梯度特征描述因子，梯度特征描述因子计算方法包括：
遍历视频帧像素点，通过邻域像素点对视频帧图像进行梯度确认，计算得到像素的梯度描述因子。
作为其中一种优选的方案，特征描述因子包括：亮度描述因子和颜色描述因子，计算亮度描述因子和颜色描述因子的方法包括：
遍历视频帧像素点，根据视频帧的亮度和颜色的色阶取相应色阶描述亮度和颜色特征的描述因子，得到像素的颜色描述因子和亮度描述因子。
作为其中一种优选的方案，对特征描述因子相似或相同的像素进行归纳，形成若干第一类描述因子空间的方法，包括：
构建第一描述因子子空间，将视频帧起始点的特征描述作为第一描述空间的信息放入；遍历视频帧像素点，将符合第一描述因子空间特征描述的像素点存入第一描述因子子空间；
遍历视频帧像素点，将不属于已经存在的第一描述因子子空间特征描述的像素点存入新建的第一描述因子子空间，以此类推，构建若干第一描述因子子空间，存储有不同特征描述的像素点。
作为其中一种优选的方案，对每个第一类描述因子空间的包含的中心点信息以及像素的横纵坐标信息进行整合，得到第二类描述因子空间的方法，包括：
将中心点信息以及像素的横纵坐标信息相同或相似的第一类描述因子空间生成第一类描述因子子空间，所述第一类描述因子子空间包括中心点信息、像素的横纵坐标信息以及与第一类描述因子空间中的特征描述因子的映射关系；
将数据相同或相似第一类描述因子子空间构建为一个第二类描述因子空间。
作为其中一种优选的方案，根据设置的缩放比例，对每个第二类描述因子空间分别进行缩放，得到与第二类描述因子空间对应的第三类描述因子空间的方法，包括：
依次遍历第一类描述因子子空间，根据每个第一类描述因子子空间的横纵坐标计算缩放后坐标，将对应第一类描述因子空间的亮度描述因子及色度描述因子进行输出画布像素中恢复。
作为其中一种优选的方案，所述一种视频缩放方法还包括自然化处理的方法，包括：
步骤（1），依次遍历第三类描述因子子空间，根据每个第三类描述因子子空间的中心坐标及其长度宽度和方向信息，按对应第三类亮度描述因子及色度描述因子进行输出画布像素粗恢复；
步骤（2），在步骤（1）完成粗恢复画布像素上叠加第一类描述因子空间信息，根据每个第一类描述因子子空间的横纵坐标计算缩放后坐标，将对应第一亮度描述因子和色度描述因子进行输出画布像素中恢复。
步骤（3），在步骤（2）输出的画布结果上，叠加第一类描述因子子空间信息，根据每个第一类描述因子子空间的方向信息diff对中恢复画布进行增强。
步骤（4），将输入的视频帧按缩放比例直接插值缩放，并将插值缩放结果以频域加权或特征加权方式叠加至步骤（3）输出的画布结果上。
需要说明的是，以上方案可以组合形成多种可实施方案，如单独采用步骤（1），采用步骤（1）-步骤（2），采用步骤（1）-步骤（3），采用步骤（1）-步骤（4）等。其实现的输出视频的效果是逐一增强。
又提出一种视频缩放系统，包括以下结构：
输入单元，用于接收视频帧；
特征描述单元，对输入的视频帧进行特征描述，得到一种或多种视频帧图像像素的特征描述因子；
归纳单元，对特征描述因子相似或相同的像素进行归纳，存入第一类描述因子空间，第一类描述因子空间包括若干第一类描述因子子空间；第一类描述因子子空间内包括一种或多种特征描述因子以及像素的横纵坐标；
整合单元，用每个第一类描述因子子空间中包含的中心点信息以及像素的横纵坐标信息进行整合，存入第二类描述因子空间，第二类描述因子空间包括若干第二类描述因子子空间；每个第二类描述因子子空间包括整合后的所有子像素中心点坐标、方向以及长宽数据；
缩放单元，根据中心点坐标和方向信息设置的缩放比例，对每个第二类描述因子子空间分别进行缩放，得到与第二类描述因子子空间对应的第三类描述因子子空间；
画布单元，根据缩放比例和原始视频帧大小构造输出画布帧，用于输出视频帧的构造，输出视频帧构造根据第三类描述因子子空间和第一类描述因子子空间信息构造；
输出单元，用于输出视频帧。
本发明的有益效果：
本发明提出的视频缩放方法根据视频帧内容进行特征描述，并根据特征描述进行缩放，并且通过自然化构造，能够较好的减少细节丢失和基于内容自适应缩放。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是一种视频缩放方法的流程图；
图2是第一类描述因子空间整合成第二类描述因子空间的整合示意图；
图3是邻域梯度关系图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
实施例1
一种视频缩放方法，如图1和图2包括以下步骤：
步骤1，对输入的视频帧进行特征描述，得到一种或多种视频帧图像像素的特征描述因子；
步骤2，对特征描述因子相似或相同的像素进行归纳，存入第一类描述因子空间，第一类描述因子空间包括若干第一类描述因子子空间；
第一类描述因子子空间内包括一种或多种特征描述因子以及像素的横纵坐标，且每个像素仅属于唯一的第一类描述因子子空间；
步骤3，用每个第一类描述因子子空间中包含的中心点信息以及像素的横纵坐标信息进行整合，存入第二类描述因子空间，第二类描述因子空间包括若干第二类描述因子子空间；每个第二类描述因子子空间包括整合后的所有子像素中心点坐标、方向以及长宽数据，且第二类描述因子子空间数量小于等于第一类描述因子子空间的数量；
步骤4，根据中心点坐标和方向信息设置的缩放比例，对每个第二类描述因子子空间分别进行缩放，得到与第二类描述因子子空间对应的第三类描述因子子空间；
步骤 5，根据第三类描述因子子空间输出缩放后的视频帧。
关于步骤1，其中，视频帧的特征描述至少包括梯度特征、亮度特征、颜色特征、纹理特征中的一种或多种。以对视频帧进行梯度特征、亮度特征和颜色特征描述为例，则，第一类描述因子空间内包括梯度描述因子、亮度描述因子、颜色描述因子以及像素的横纵坐标，第一类描述因子子空间包括以上特征描述相似或相同的描述因子和像素的横纵坐标，且每个像素仅属于唯一的第一类描述因子子空间；所有第一类描述因子子空间均存储于第一类描述因子空间。
其中，梯度特征描述因子计算方法为，遍历视频帧像素点，通过邻域像素点对视频帧图像进行梯度确认，计算得到像素的梯度描述因子。一般地，3*3邻域检测4梯度，5*5邻域可检测8梯度，具体邻域大小可根据实际情况进行单检测或多结合检测，具体梯度数目会影响描述因子位宽和后续区域分割和生长计算量；
具体地描述，如图3的a所示，以3*3邻域检测4梯度为例，先计算4梯度上3个像素点的均值，分别记为ha，va，d1a，d2a；同时计算4梯度上除中心像素点的2个像素点的均值，分别记为ha2，va2，d1a2，d2a2。
计算ha，va之间差值的绝对值hvd，计算d1a，d2a之间差值的绝对值ddd，同时计算ha2，va2，d1a2，d2a2与中心像素之间差值的绝对值，分别记为hd，vd，d1d，d2d；4梯度描述因子命名为Diff，具体取值如下：
其中，0,1,2,3分别代表像素的4梯度描述因子。同理，可以以同样的方式选择计算8梯度描述因子，如图3的b所示。
其中，计算亮度描述因子和颜色描述因子的方法包括：遍历视频帧像素点，根据视频帧的亮度和颜色的色阶取相应色阶描述亮度和颜色特征的描述因子，得到像素的颜色描述因子和亮度描述因子。
具体地描述，以8bit亮度颜色动态范围为例，取4bit描述因子精度，即可将帧像素按亮度和颜色进行分类，取值计算可以以右移位宽实现，该实施例将亮度右移4bit，色度右移4bit实现；右移就是计算机的除法的意思。
对步骤1得到的特征描述因子进行连接性描述，得到若干第一类描述因子子空间。
构建第一描述因子子空间，将视频帧起始点的特征描述作为第一描述空间的信息放入；遍历视频帧像素点，将符合第一描述因子空间特征描述的像素点存入第一描述因子子空间；
遍历视频帧像素点，将不属于已经存在的第一描述因子子空间特征描述的像素点存入新建的第一描述因子子空间，以此类推，构建若干第一描述因子子空间，存储有不同特征描述的像素点。
可以采用类区域生长方法进行分类，设置初始种子点，然后进行连接（即分类的过程）。设置第一类描述因子子空间A，将帧起始点的特征描述因子以及横纵坐标放入第一类描述因子子空间A；
继续从左至右、从上至下遍历帧像素点，根据分类可靠性估计方法，该实施例以硬阈值进行分类方法，鉴定当前像素点是否属于已有初始第一类描述因子子空间A，若属于，则将当前像素点描述特征因子并入第一类描述因子子空间A，若不属于，则新建第一类描述因子子空间B，并将当前像素点描述特征因子并入B空间，依次对后续所有像素点进行分类，并依次新增空间；该实施例不考虑重复空间，即各像素点有且仅属于唯一的第一类描述因子子空间。本实施例第一类描述因子子空间最大数目为帧有效数据总像素点数，实际与分类硬阈值设定相关。
用每个第一类描述因子子空间中包含的中心点信息以及像素的横纵坐标信息进行整合，存入第二类描述因子空间，即每个第一类描述因子空间，其包含的因素点的很纵坐标进行空间整合，得到所有子像素点的中心点坐标（xc，yc）和方向dir以及长宽数据（h,w）。
如图2中展示，第一张图中的第一类描述因子空间中存在若干描述因子子空间，每一描述因子子空间存储特征描述因子和像素的横纵坐标。单个黑点表示第一类描述因子子空间，第二张图不同形状的多边形或者圆形表示对相同或相似第一类描述因子子空间进行整合得到的第二类描述因子子空间；
其中图2的第三张图中，多边形或圆形即为第二类描述因子子空间示意图，其中黑色圆点表示中心点，箭头和圆形空间内部∞表示方向dir示意，其中圆形空间内部∞表示无穷即任意方向意思；
注意，该中心点和方向不一定表示对应多边形的中心和方向，而是对应子像素点的特征中心和特征方向；
第二类描述因子空间里的数据是分类后第一类空间里的像素点的坐标、方向和长宽数据的整合信息，子像素点指的是在每个多边形或圆形内部的第一类描述因子空间中的单个信息点。
图2仅示意第一、二类描述因子子空间相对关系，不代表其信息由大小，形状等区分。
作为其他可选择的方案，第二类描述因子子空间的整合还包括kmeans聚类方法，pca主成分分析方法以及坐标加权方法等来求中心点坐标(xc,yc)和方向dir。
作为其他可选择的方案，第二类描述因子子空间的亮度描述信息，色度描述信息整合可按中心距离反比进行加权计算。
完成步骤3的第二类描述因子空间的设计之后，步骤4，基于第二类描述因子空间完成视频缩放。根据缩放比例对第二类描述因子子空间进行缩放，得到对应第三类描述因子子空间；第三类描述因子子空间主要根据缩放比例，调整第二类描述因子子空间的长度宽度（h,w）信息，得到第三类描述因子子空间的长度宽度（h*scalerh,w*scalerw）以及新中心点坐标（xc*scalerh,yc*scalerw），新中心点坐标即为缩放之后的中心点坐标。
其中，scalerh和scalerw分别为水平、垂直缩放比例，小于1即为缩小，大于1即为放大。
其中，对于不同第三类描述因子子空间重叠像素点，通过均值对应的亮度和颜色进行过渡。
其中，第三类描述因子子空间的亮度描述信息，色度描述信息等同于第二类描述因子子空间对应信息。
本实施例的视频缩放方法还包括构建输出画布帧，根据缩放比例和原始视频帧大小构造输出画布帧，用于在该空间进行输出视频帧构造。
进一步地提出一种优选的输出视频帧构造方法，主要根据第三类描述因子子空间和第一类描述因子子空间信息进行自然化处理实现。
其中，自然化处理的方法，包括：
步骤（1），依次遍历第三类描述因子子空间，根据每个第三类描述因子子空间的中心坐标及其长度宽度和方向信息，按对应第三类亮度描述因子及色度描述因子进行输出画布像素粗恢复。
理论上，经过该步骤的处理，输出数据即完成了视频缩放，但是粗恢复状态的输出视频帧效果不够自然，为了得到自然的输出视频帧，更好地保留视频内容且效果更加自然。
输出视频帧构造自然化过程在第三类描述因子子空间信息输出画布帧后，需叠加第一类描述因子子空间信息，具体实现过程为：依次遍历第一类描述因子子空间，根据每个第一类描述因子子空间的横纵坐标(xi,yi)计算缩放后坐标（xi*scalerh,yi*scalerw）,将对应第一类亮度描述因子及色度描述因子进行输出画布像素中恢复。
步骤（2），在步骤（1）完成粗恢复画布像素上叠加第一类描述因子空间信息，根据每个第一类描述因子子空间的横纵坐标计算缩放后坐标，将对应第一亮度描述因子和色度描述因子进行输出画布像素中恢复。
具体的，依次遍历第一类描述因子子空间，根据每个第一类描述因子子空间的横纵坐标(xi,yi)计算缩放后坐标（xi*scalerh,yi*scalerw），将对应第一类描述因子空间的亮度描述因子及色度描述因子进行输出画布像素中恢复。
步骤（3），在步骤（2）输出的画布结果上，叠加第一类描述因子子空间信息，根据每个第一类描述因子子空间的方向信息diff对中恢复画布进行加强。
具体的，在恢复所有第一类描述因子空间的亮度描述因子及色度描述因子后，根据每个第一类描述因子子空间的方向信息diff对中恢复画布进行增强，具体包括但不限于锐化增强，边界降噪等增强技术。
步骤（4），将输入的视频帧按缩放比例直接插值缩放，并将插值缩放结果以频域加权或特征加权方式叠加至步骤（2）或步骤（3）输出的画布结果上。
输出视频帧构造自然化过程可根据画质需求对中恢复后的视频帧进行细恢复，具体实现为：将输入视频帧按缩放比例直接插值缩放，并将插值缩放结果以频域加权或特征加权等叠回至前述画布结果，至此可得到基于内容保护的输出视频帧；
实施例2
基于实施例1公开的一种视频缩放方法，本实施例公开一种视频缩放系统，包括以下结构：
输入单元，用于接收视频帧。
特征描述单元，对输入的视频帧进行特征描述，得到一种或多种视频帧图像像素的特征描述因子。
归纳单元，对特征描述因子相似或相同的像素进行归纳，存入第一类描述因子空间，第一类描述因子空间包括若干第一类描述因子子空间；第一类描述因子子空间内包括一种或多种特征描述因子以及像素的横纵坐标。
整合单元，用每个第一类描述因子子空间中包含的中心点信息以及像素的横纵坐标信息进行整合，存入第二类描述因子空间，第二类描述因子空间包括若干第二类描述因子子空间；每个第二类描述因子子空间包括整合后的所有子像素中心点坐标、方向以及长宽数据。
缩放单元，根据中心点坐标和方向信息设置的缩放比例，对每个第二类描述因子子空间分别进行缩放，得到与第二类描述因子子空间对应的第三类描述因子子空间。
画布单元，根据缩放比例和原始视频帧大小构造输出画布帧，用于在该空间输出视频帧构造，输出视频帧构造根据第三类描述因子子空间和第一类描述因子子空间信息构造。
输出单元，用于输出视频帧。
其中，特征描述单元包括梯度描述模块、亮度描述模块和颜色描述模块。
梯度描述模块用于遍历视频帧像素点，通过邻域像素点对视频帧图像进行梯度确认，计算得到像素的梯度描述因子。
亮度描述模块，遍历视频帧像素点，根据视频帧的亮度的色阶取相应色阶描述亮度特征的描述因子，得到像素的亮度描述因子。
颜色描述模块，遍历视频帧像素点，根据视频帧的颜色的色阶取相应色阶描述颜色特征的描述因子，得到像素的颜色描述因子。
画布单元还包括：
粗恢复单元，用于依次遍历第三类描述因子子空间，根据每个第三类描述因子子空间的中心坐标及其长度宽度和方向信息，按对应第三类亮度描述因子及色度描述因子进行输出画布像素粗恢复。
中恢复单元，用于完成粗恢复画布像素上叠加第一类描述因子空间信息，根据每个第一类描述因子子空间的横纵坐标计算缩放后坐标，将对应第一亮度描述因子和色度描述因子进行输出画布像素中恢复。
中恢复增强单元，输出的画布结果上，叠加第一类描述因子子空间信息，根据每个第一类描述因子子空间的方向信息diff对中恢复画布进行加强。
细恢复单元，将输入的视频帧按缩放比例直接插值缩放，并将插值缩放结果以频域加权或特征加权方式叠加至中恢复增强单元输出的画布结果上。
本实施例对于本方案的主要结构和功能进行描述，其他内容可结合实施例1组合得到。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。
所述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明揭露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种视频缩放方法，其特征在于，包括以下步骤：
对输入的视频帧进行特征描述，得到一种或多种视频帧图像像素的特征描述因子；对特征描述因子相似或相同的像素进行归纳，存入第一类描述因子空间，第一类描述因子空间包括若干第一类描述因子子空间；第一类描述因子子空间内包括一种或多种特征描述因子以及像素的横纵坐标；
用每个第一类描述因子子空间中包含的中心点信息以及像素的横纵坐标信息进行整合，存入第二类描述因子空间，第二类描述因子空间包括若干第二类描述因子子空间；每个第二类描述因子子空间包括整合后的所有子像素中心点坐标、方向以及长宽数据；
根据中心点坐标和方向信息设置的缩放比例，对每个第二类描述因子子空间分别进行缩放，得到与第二类描述因子子空间对应的第三类描述因子子空间；
根据第三类描述因子子空间输出缩放后的视频帧。
2.根据权利要求1所述的一种视频缩放方法，其特征在于， 特征描述因子包括：梯度特征描述因子，梯度特征描述因子计算方法包括：
遍历视频帧像素点，通过邻域像素点对视频帧图像进行梯度确认，计算得到像素的梯度描述因子。
3.根据权利要求1所述的一种视频缩放方法，其特征在于，特征描述因子包括：亮度描述因子和颜色描述因子，计算亮度描述因子和颜色描述因子的方法包括：
遍历视频帧像素点，根据视频帧的亮度和颜色的色阶取相应色阶描述亮度和颜色特征的描述因子，得到像素的颜色描述因子和亮度描述因子。
4.根据权利要求1所述的一种视频缩放方法，其特征在于，对特征描述因子相似或相同的像素进行归纳，形成若干第一类描述因子空间的方法，包括：
构建第一描述因子子空间，将视频帧起始点的特征描述作为第一描述空间的信息放入；遍历视频帧像素点，将符合第一描述因子空间特征描述的像素点存入第一描述因子子空间；
遍历视频帧像素点，将不属于已经存在的第一描述因子子空间特征描述的像素点存入新建的第一描述因子子空间，以此类推，构建若干第一描述因子子空间，存储有不同特征描述的像素点。
5.根据权利要求1所述的一种视频缩放方法，其特征在于，对每个第一类描述因子空间的包含的中心点信息以及像素的横纵坐标信息进行整合，得到第二类描述因子空间的方法，包括：
将中心点信息以及像素的横纵坐标信息相同或相似的第一类描述因子空间生成第一类描述因子子空间，所述第一类描述因子子空间包括中心点信息、像素的横纵坐标信息以及与第一类描述因子空间中的特征描述因子的映射关系；
将数据相同或相似第一类描述因子子空间构建为一个第二类描述因子空间。
6.根据权利要求1所述的一种视频缩放方法，其特征在于，根据设置的缩放比例，对每个第二类描述因子空间分别进行缩放，得到与第二类描述因子空间对应的第三类描述因子空间的方法，包括：
依次遍历第一类描述因子子空间，根据每个第一类描述因子子空间的横纵坐标计算缩放后坐标，将对应第一类描述因子空间的亮度描述因子及色度描述因子进行输出画布像素中恢复。
7.根据权利要求1所述的一种视频缩放方法，其特征在于，所述一种视频缩放方法还包括自然化处理的方法，包括：
步骤（1），依次遍历第三类描述因子子空间，根据每个第三类描述因子子空间的中心坐标及其长度宽度和方向信息，按对应第三类亮度描述因子及色度描述因子进行输出画布像素粗恢复；
步骤（2），在步骤（1）完成粗恢复画布像素上叠加第一类描述因子空间信息，根据每个第一类描述因子子空间的横纵坐标计算缩放后坐标，将对应第一亮度描述因子和色度描述因子进行输出画布像素中恢复。
8.根据权利要求7所述的一种视频缩放方法，其特征在于，所述自然化处理的方法，还包括：
步骤（3），在步骤（2）输出的画布结果上，叠加第一类描述因子子空间信息，根据每个第一类描述因子子空间的方向信息diff对中恢复画布进行加强。
9.根据权利要求8所述的一种视频缩放方法，其特征在于，所述自然化处理的方法，还包括：
步骤（4），将输入的视频帧按缩放比例直接插值缩放，并将插值缩放结果以频域加权或特征加权方式叠加至步骤（3）输出的画布结果上。
10.一种视频缩放系统，其特征在于，包括以下结构：
输入单元，用于接收视频帧；
特征描述单元，对输入的视频帧进行特征描述，得到一种或多种视频帧图像像素的特征描述因子；
归纳单元，对特征描述因子相似或相同的像素进行归纳，存入第一类描述因子空间，第一类描述因子空间包括若干第一类描述因子子空间；第一类描述因子子空间内包括一种或多种特征描述因子以及像素的横纵坐标，且每个像素仅属于唯一的第一类描述因子子空间；
整合单元，用每个第一类描述因子子空间中包含的中心点信息以及像素的横纵坐标信息进行整合，存入第二类描述因子空间，第二类描述因子空间包括若干第二类描述因子子空间；每个第二类描述因子子空间包括整合后的所有子像素中心点坐标、方向以及长宽数据，且第二类描述因子子空间数量小于等于第一类描述因子子空间的数量；
缩放单元，根据中心点坐标和方向信息设置的缩放比例，对每个第二类描述因子子空间分别进行缩放，得到与第二类描述因子子空间对应的第三类描述因子子空间；
画布单元，根据缩放比例和原始视频帧大小构造输出画布帧，用于输出视频帧的构造，输出视频帧构造根据第三类描述因子子空间和第一类描述因子子空间信息构造；
输出单元，用于输出视频帧。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程
序，所述计算机程序被处理器执行时实现如权利要求1至9中任一项视频缩放方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310487442.2A CN116260974B (zh) | 2023-05-04 | 2023-05-04 | 一种视频缩放方法和系统、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310487442.2A CN116260974B (zh) | 2023-05-04 | 2023-05-04 | 一种视频缩放方法和系统、计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116260974A true CN116260974A (zh) | 2023-06-13 |
| CN116260974B CN116260974B (zh) | 2023-08-08 |
Family
ID=86679653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310487442.2A Active CN116260974B (zh) | 2023-05-04 | 2023-05-04 | 一种视频缩放方法和系统、计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116260974B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1592415A (zh) * | 1996-07-17 | 2005-03-09 | 索尼株式会社 | 利用与像素块分类信息对应的映射系数的图像编码和解码 |
| WO2014134334A2 (en) * | 2013-03-01 | 2014-09-04 | Qualcomm Incorporated | Spatial motion vector scaling for scalable video coding |
| US20180288436A1 (en) * | 2017-04-03 | 2018-10-04 | Gopro, Inc. | Methods and apparatus for providing in-loop padding techniques for rotated sphere projections |
| CN113592714A (zh) * | 2021-08-05 | 2021-11-02 | 杭州雄迈集成电路技术股份有限公司 | 图像放大方法、模块、系统 |
| EP3985552A1 (en) * | 2020-10-14 | 2022-04-20 | Deep Safety GmbH | System for detection and management of uncertainty in perception systems |
| CN114418848A (zh) * | 2022-01-17 | 2022-04-29 | Tcl通讯科技（成都）有限公司 | 视频处理方法、装置、存储介质及电子设备 |
-
2023
- 2023-05-04 CN CN202310487442.2A patent/CN116260974B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1592415A (zh) * | 1996-07-17 | 2005-03-09 | 索尼株式会社 | 利用与像素块分类信息对应的映射系数的图像编码和解码 |
| WO2014134334A2 (en) * | 2013-03-01 | 2014-09-04 | Qualcomm Incorporated | Spatial motion vector scaling for scalable video coding |
| US20180288436A1 (en) * | 2017-04-03 | 2018-10-04 | Gopro, Inc. | Methods and apparatus for providing in-loop padding techniques for rotated sphere projections |
| EP3985552A1 (en) * | 2020-10-14 | 2022-04-20 | Deep Safety GmbH | System for detection and management of uncertainty in perception systems |
| CN113592714A (zh) * | 2021-08-05 | 2021-11-02 | 杭州雄迈集成电路技术股份有限公司 | 图像放大方法、模块、系统 |
| CN114418848A (zh) * | 2022-01-17 | 2022-04-29 | Tcl通讯科技（成都）有限公司 | 视频处理方法、装置、存储介质及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| LI-QUN CHEN等: "A visual attention model for adapting images on small displays", 《MULTIMEDIA SYSTEMS》 * |
| 杨凤涛: "基于时空显著性的视频缩放技术研究", 《知网》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116260974B (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11610082B2 (en) | Method and apparatus for training neural network model used for image processing, and storage medium | |
| US7720279B2 (en) | Specifying flesh area on image | |
| US20080285889A1 (en) | Image transform method for obtaining expanded image data, image processing apparatus and image display device therefore | |
| CN106485720A (zh) | 图像处理方法和装置 | |
| CN109711268B (zh) | 一种人脸图像筛选方法及设备 | |
| CN102053804B (zh) | 图像处理装置及控制方法 | |
| CN107566688A (zh) | 一种基于卷积神经网络的视频防抖方法及装置 | |
| CN109933639B (zh) | 一种面向图层叠加的多光谱图像与全色图像自适应融合方法 | |
| CN111667400A (zh) | 一种基于无监督学习的人脸轮廓特征风格化生成方法 | |
| CN107610093B (zh) | 基于相似性特征融合的全参考型图像质量评价方法 | |
| CN106504207A (zh) | 一种图像数据处理方法 | |
| US8773722B2 (en) | Hybrid halftone generation mechanism using change in pixel error | |
| JP2001175843A (ja) | 画像処理方法、装置および記憶媒体 | |
| CN102542528B (zh) | 一种图像转换处理方法及系统 | |
| CN116260974B (zh) | 一种视频缩放方法和系统、计算机可读存储介质 | |
| CN107154027A (zh) | 一种畸变图像复原的补偿方法及装置 | |
| CN111369435A (zh) | 基于自适应稳定模型的彩色图像深度上采样方法及系统 | |
| CN115641294A (zh) | 基于周长面积比筛选阳性突变细胞的方法及系统 | |
| US6718072B1 (en) | Image conversion method, image processing apparatus, and image display apparatus | |
| US11625886B2 (en) | Storage medium storing program, training method of machine learning model, and image generating apparatus | |
| JP4708866B2 (ja) | ルックアップテーブル作成装置および方法，ならびにルックアップテーブル作成プログラム | |
| CN109146886B (zh) | 一种基于深度密度的rgbd图像语义分割优化方法 | |
| JPH04139589A (ja) | 図形処理装置 | |
| JPH10208038A (ja) | 画像処理方法および画像処理装置 | |
| Yuan et al. | Full convolutional color constancy with adding pooling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 311422 4th floor, building 9, Yinhu innovation center, 9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province Patentee after: Zhejiang Xinmai Microelectronics Co.,Ltd. Address before: 310000 4th floor, building 9, Yinhu innovation center, No.9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province Patentee before: Hangzhou xiongmai integrated circuit technology Co.,Ltd. |