CN118101937B - 一种多媒体智能社交平台的素材高效传输方法及系统 - Google Patents
一种多媒体智能社交平台的素材高效传输方法及系统 Download PDFInfo
- Publication number
- CN118101937B CN118101937B CN202410471699.3A CN202410471699A CN118101937B CN 118101937 B CN118101937 B CN 118101937B CN 202410471699 A CN202410471699 A CN 202410471699A CN 118101937 B CN118101937 B CN 118101937B
- Authority
- CN
- China
- Prior art keywords
- frame
- semantic
- object block
- semantic object
- gray level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000000463 material Substances 0.000 title claims abstract description 34
- 230000005540 biological transmission Effects 0.000 title claims abstract description 22
- 230000000007 visual effect Effects 0.000 claims abstract description 35
- 230000035945 sensitivity Effects 0.000 claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 238000013139 quantization Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 abstract description 18
- 238000007906 compression Methods 0.000 abstract description 18
- 238000004891 communication Methods 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 230000003068 static effect Effects 0.000 description 6
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100391172 Dictyostelium discoideum forA gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请涉及图像通信技术领域，具体涉及一种多媒体智能社交平台的素材高效传输方法及系统，该方法包括：采集各帧灰度图像；计算各帧灰度图像中各语义对象块的边界紊乱偏差系数，进而计算中心色系偏差系数；获取各帧灰度图像中各语义对象块的对象语义丰度系数；进而获取帧间中心偏移系数；获取各帧灰度图像中各语义对象块的帧间面积伸缩系数；获取各帧灰度图像中各语义对象块的帧间视觉敏感度系数；获取各帧灰度图像中各语义对象块的自适应宏块窗口大小，对各帧灰度图像进行压缩，实现对多媒体社交平台上素材的高效传输。本申请解决了传统压缩算法中固定宏块大小在细节部分的过度压缩造成细节丢失的问题。
Description
技术领域
本申请涉及图像通信技术领域，具体涉及一种多媒体智能社交平台的素材高效传输方法及系统。
背景技术
多媒体智能社交平台是现代社交互动的核心，它通过丰富的视觉内容，如图片、视频和动画等媒介，为用户提供一个丰富的分享空间，其平台上的素材主要包括个人照片、视频短片、动态表情等。这些素材通常具备较高的分辨率，以确保最佳的观看体验，同时也意味着他们占用了大量的存储空间和带宽资源。对素材进行压缩传输是多媒体智能社交平台上的一项关键技术，其目的在于减少素材文件的大小，从而提高数据传输的效率和用户体验。
离散余弦变换DCT算法是一种常用的图像压缩技术，通常将图像分为固定大小的宏块，对宏块进行离散余弦变换，根据变换结合采样合适的量化系数进行量化编码由此实现图像的压缩编码。然而在传统的DCT算法中通过硬分块，即宏块大小固定的方式对图像划分区域，因此在宏块边缘容易引起边界效应，同时在图像中较为平坦的区域会出现块状伪影，容易引起人们的视觉敏感度不匹配，即不合适的宏块大小导致图像压缩比降低，图像压缩质量下降，造成细节丢失。针对上述问题，本申请提出了一种多媒体智能社交平台的素材高效传输方法及系统。
发明内容
为了解决上述技术问题，本申请的目的在于提供一种多媒体智能社交平台的素材高效传输方法及系统，所采用的技术方案具体如下：
第一方面，本申请实施例提供了一种多媒体智能社交平台的素材高效传输方法，该方法包括以下步骤：
采集视频数据中的各帧灰度图像；
使用语义分割算法获取各帧灰度图像中的各语义对象块和各语义对象块的语义标签，根据语义对象块边界像素点的灰度值和位置关系获取各帧灰度图像中各语义对象块的边界紊乱偏差系数；根据语义对象块内像素点的灰度值和位置关系获取各帧灰度图像中各语义对象块的中心色系偏差系数；根据边界紊乱偏差系数和中心色系偏差系数获取各帧灰度图像中各语义对象块的对象语义丰度系数；使用特征点检测匹配算法，根据各帧灰度图像中的像素点特征获取各帧灰度图像中各语义对象块的帧间中心偏移系数；根据语义对象块中像素点的个数和语义标签获取各帧灰度图像中各语义对象块的帧间面积伸缩系数；根据帧间中心偏移系数、帧间面积伸缩系数和对象语义丰度系数获取各帧灰度图像中各语义对象块的帧间视觉敏感度系数；
根据帧间视觉敏感度系数获取各帧灰度图像中各语义对象块的自适应宏块窗口大小；根据自适应宏块窗口大小对各帧灰度图像进行压缩，实现对多媒体社交平台上素材的高效传输。
进一步，所述边界紊乱偏差系数，公式为：
式中，表示在视频素材中第i帧灰度图像内第k个语义对象块的边界紊乱偏差系数，表示第i帧灰度图像内第k个语义对象块中边界像素点的个数，和表示在第i个图像帧内第k个语义对象块中第j个和第j+1个边界像素点的灰度值，表示以自然常数为底的指数函数，表示计算两个像素点之间连线的斜率，表示在第i帧灰度图像内第k个语义对象块内边界像素中第j个第j+1个像素点之间连线的斜率。
进一步，所述中心色系偏差系数，公式为：
式中，表示在视频素材中第i帧灰度图像内第k个语义对象块的中心色系偏差系数，表示以数字2为底的对数函数，表示第i帧灰度图像内第k个语义对象块内像素点的个数，分别表示在第i帧灰度图像中第k个语义对象块内第j个像素点和中心像素点的灰度值，表示计算两个像素点的欧氏距离。
进一步，所述根据边界紊乱偏差系数和中心色系偏差系数获取各帧灰度图像中各语义对象块的对象语义丰度系数，包括：
对于各帧灰度图像中各语义对象块，计算第一预设评估权重与语义对象块的边界紊乱偏差系数的乘积作为第一乘积，计算第二预设评估权重与语义对象块的中心色系偏差系数的乘积作为第二乘积，将所述第一乘积与所述第二乘积的和值作为各帧灰度图像中各语义对象块的块内语义丰度系数；
对于各帧灰度图像，将与第k个语义对象块的语义标签相同的所有语义对象块中第m个语义对象块的块内语义丰度系数作为第一丰度系数，计算第k个语义对象块的块内语义丰度系数与第一丰度系数之间的差值绝对值，计算第k个语义对象块的所有所述差值绝对值的和值作为第一和值，计算所述第一和值与第k个语义对象块的块内语义丰度系数的乘积作为第k个语义对象块的对象语义丰度系数。
进一步，所述获取各帧灰度图像中各语义对象块的帧间中心偏移系数，包括：
将相邻两帧灰度图像作为特征点检测匹配算法的输入，获取相邻两帧灰度图像中的特征点并对所述特征点进行匹配；
对于各帧灰度图像中各语义对象块中的所有特征点，将其相邻帧灰度图像中与其匹配成功的特征点个数最多的语义对象块作为各语义对象块的对应语义块；
对于各帧灰度图像中各语义对象块，计算语义对象块的中心像素点的坐标与语义对象块在前一相邻帧灰度图像中的对应语义块的中心像素点的坐标之间的欧氏距离，作为各帧灰度图像中各语义对象块的帧间中心偏移系数。
进一步，所述根据语义对象块中像素点的个数和语义标签获取各帧灰度图像中各语义对象块的帧间面积伸缩系数，包括：
对于各帧灰度图像中的各语义对象块，计算语义对象块中像素点的个数与其前一相邻帧灰度图像中的对应语义块的像素点的个数之间的差值绝对值作为第一差值绝对值；
对于各帧灰度图像中的各语义对象块，将与各语义对象块的语义标签相同的语义对象块的个数作为第一相同个数，将各帧灰度图像的前一相邻帧灰度图像中与所述各语义对象块的语义标签相同的语义对象块的个数作为第二相同个数，计算所述第一相同个数与第二相同个数之间的差值绝对值作为第二差值绝对值，计算以自然常数为底、以所述第二差值绝对值的负值为指数的指数函数的计算结果，将所述第一差值绝对值与所述计算结果的比值作为各帧灰度图像中各语义对象块的帧间面积伸缩系数。
进一步，所述根据帧间中心偏移系数、帧间面积伸缩系数和对象语义丰度系数获取各帧灰度图像中各语义对象块的帧间视觉敏感度系数，包括：
计算各帧灰度图像中第k个语义对象块的帧间面积伸缩系数和帧间视觉敏感度系数的和值，计算各帧灰度图像中第k个语义对象块的对象语义丰度系数与其前一相邻帧灰度图像中的第k个语义对象块的对象语义丰度系数之间的差值绝对值，计算以自然常数为底、以所述差值绝对值为指数的指数函数的计算结果，将所述和值与所述计算结果的乘积作为各帧灰度图像中第k个语义对象块的帧间视觉敏感度系数。
进一步，所述根据帧间视觉敏感度系数获取各帧灰度图像中各语义对象块的自适应宏块窗口大小，具体包括：
对于各帧灰度图像中的各语义对象块，计算预设窗口大小与各语义对象块的帧间视觉敏感度系数的比值，将所述比值与预设窗口限定因子之间的最大值作为各帧灰度图像中各语义对象块的自适应宏块窗口大小。
进一步，所述根据自适应宏块窗口大小对各帧灰度图像进行压缩，包括：
将各帧灰度图像中的所有语义对象块的自适应宏块窗口大小与各帧灰度图像作为离散变换算法的输入，输出为各帧灰度图像的变换信息，根据变换信息，采用量化表和霍夫曼编码实现对各帧灰度图像进行压缩。
第二方面，本发明实施例还提供了一种多媒体智能社交平台的素材高效传输系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述方法的步骤。
本申请至少具有如下有益效果：
本申请通过对多媒体社交平台上视频素材进行分析，实现对视频素材数据进行压缩，具体为针对单帧灰度图像采用语义分割，分析单帧灰度图像中像素所包含的种类信息，并利用分割后的语义对象块的边界信息、色差信息和语义标签结果得到对象语义丰度系数，反映当前语义对象块的在静态观察下内部的语义丰度，表明人眼视觉的静态关注度，此外根据相邻两帧灰度图像帧间语义对象块的动态变化差异得到帧间视觉敏感度系数，反映该语义对象块在人眼视觉动态敏感度，最终得到每个语义对象块的自适应宏块大小，由此实现对视频素材帧灰度图像的压缩。解决了传统压缩算法中固定宏块大小在细节部分的过度压缩造成细节丢失的问题，以及在平坦背景区域引起的边界效应和块状伪影的缺陷，在提高图像压缩比满足高效传输的同时，提高人眼视觉匹配度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本申请一个实施例提供的一种多媒体智能社交平台的素材高效传输方法的步骤流程图；
图2为帧间视觉敏感度系数获取流程图。
具体实施方式
为了更进一步阐述本申请为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本申请提出的一种多媒体智能社交平台的素材高效传输方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本申请所提供的一种多媒体智能社交平台的素材高效传输方法及系统的具体方案。
请参阅图1，其示出了本申请一个实施例提供的一种多媒体智能社交平台的素材高效传输方法的步骤流程图，该方法包括以下步骤：
步骤S001，在多媒体智能社交平台的管理系统中获取视频素材，并进行数据预处理。
在多媒体智能社交平台上的素材是多种多样的，其中最主要的是视频、图像、动态表情等，每种素材都需要较大的内存空间和带宽资源。
本实施例以社交平台上使用最多的视频素材为例，在多媒体智能社交平台的管理系统中获取单个素材的视频数据，并且通过分帧操作获取单帧图像，并且采用灰度平均法将单帧图像转化为灰度图，将其记作，其中表示该视频素材的第i帧灰度图像，表示该视频素材的帧灰度图像的个数。在分帧提取过程中可能导致帧灰度图像中存在一定的噪声，因此采用双边滤波去噪算法对帧灰度图像进行降噪操作，其中分帧操作、灰度平均法和双边滤波去噪算法为公知技术，本实施例不再赘述。
步骤S002，通过语义分割得到当前帧灰度图像中各个语义对象块，根据单个语义对象块的边界斜率变化、对象块内色彩差异和相同语义标签的差异信息，得到对象语义丰度系数；通过特征点提取和特征点匹配算法得到在相邻两帧的动态变化差异，结合语义对象块整体的面积伸缩程度和位移距离得到帧间视觉敏感度系数，最终得到每个语义对象块的自适应宏块大小。
在离散余弦变换中，将原始图像分割为固定大小的小块，通常被称为宏块，宏块的大小对图像的压缩效果有显著影响。对于图像较为平坦的区域，整体像素点灰度值变化不大，但是由于划分为宏块，可能导致在压缩解压后在宏块边缘会出现边界效应和块状伪影；对于图像中像素变化较为剧烈的细节部分，固定宏块大小的值相对较大，无法捕捉更多的细节信息，导致高频系数被过度量化，使得细节信息丢失的缺陷。由此需要结合多模态社交平台上视频素材中帧灰度图像像素点的变化程度和帧间关联性得到自适应宏块大小。
为了分析单帧灰度图像中像素所包含的种类信息，将单帧灰度图像作为无监督自适应语义分割I2F模型的输入，算法输出单帧灰度图像的语义分割结果图像，其中包含自适应分割的类别数用表示，以及每个类别对应的语义标签。其中无监督自适应语义分割I2F模型为公知技术，本实施例不再赘述。
通过I2F模型能够将单帧灰度图像划分成不同的语义对象块，将具备相同语义信息的像素点聚类到一起，由此根据将语义对象块在单帧灰度图像中从左到右从上到下地顺序进行标号，并将各语义对象块的边缘的像素点作为各语义对象块的边界像素点，由于空间位置的关系，具备相同语义标签的语义对象块可能在图像中零散分布。由于语义对象块包含的信息不同，其内部的色彩存在一定的差异，使得人类视觉对其的关注情况不同。
由此针对单个语义对象块和该块对应的边界像素点集合的信息，以及当前帧灰度图像中的语义标签，得到该语义对象块的对象语义丰度系数：
式中，表示在视频素材中第i帧灰度图像内第k个语义对象块的边界紊乱偏差系数，表示第i帧灰度图像内第k个语义对象块中边界像素点的个数，和表示在第i个图像帧内第k个语义对象块中第j个和第j+1个边界像素点的灰度值，表示以自然常数e为底的指数函数，表示计算两个像素点之间连线的斜率，表示在第i帧灰度图像内第k个语义对象块内边界像素中第j个第j+1个像素点之间连线的斜率。
表示在视频素材中第i帧灰度图像内第k个语义对象块的中心色系偏差系数，表示以2为底的对数函数，表示第i帧灰度图像内第k个语义对象块内像素点的个数，分别表示在第i帧灰度图像中第k个语义对象块内第j个像素点和中心像素点的灰度值，表示计算两个像素点的欧氏距离，表示计算在第i帧灰度图像中第k个语义对象块内第j个像素点与第k个语义对象块的中心像素点之间的欧氏距离。
表示在视频素材中第i帧灰度图像内第k个语义对象块的块内语义丰度系数，和分别表示评估权重，本实施例中设置，；
表示在视频素材中第i帧灰度图像内第k个语义对象块的对象语义丰度系数，表示在第i帧灰度图像内与第k个语义对象块的语义标签的语义对象块的总个数，表示在第i帧灰度图像内与第k个语义对象块的语义标签相同的所有语义对象块中第m个语义对象块的块内语义丰度系数，若在当前帧灰度图像内该语义对象块只有一个时，则。
若当前语义对象块具备较强的语义信息时，表明该语义对象块具备较多的细节信息，更能引起人们的注意。此时该语义对象块的边界应该较为不规则，因此在边界上相邻两个像素点斜率变化较大，同时边界上像素点的灰度变化差异较大，由此得到边界紊乱偏差系数的值较大。此外在语义对象块内像素点的灰度差异波动较大，与中心像素点的差异较大，并且用像素点与中心像素点的欧氏距离作为权重，距离越近色彩变化越剧烈的影响程度越大，由此得到中心色系偏差系数的值较大，使得当前语义对象块的块内语义丰度系数的值较大。若在当前帧灰度图像内，与该对象块具备相同语义标签的语义对象块的个数较大，并且整体的波动差异较大，最终得到对象语义丰度系数的值较大，越能引起人们的视觉注意。相反，若该语义对象块具备较少的语义信息，表明该语义对象块对应帧灰度图像中较为平坦的背景信息时，不易引起人们的注意，此时该语义对象块往往边界形状较为均匀，同时语义对象块内像素点灰度值变化较小，整体波动不大，得到对象语义丰度系数的值较小。
通过对单帧灰度图像进行分析得到每个语义对象块的对象语义丰度系数，其通过静态分析每个语义对象块对应的语义信息和细节信息，以此评估出人眼视觉对其的关注情况。相比于静态观察，在多媒体智能社交平台上的视频素材给人们更多提供动态的信息，同时由于人眼具备一定程度的视觉惯性和视觉注意力，导致人们对视频变换帧图像中静态信息的敏感度下降，对动态信息更加敏感。因此需要结合在视频素材中相邻两帧的图像，分析人眼视觉上的动态敏感度。
由此以视频数据中第i帧灰度图像为例，获取前一帧灰度图像，对视频素材中的第一帧灰度图像不作处理。由于视频素材的每秒帧数FPS相对较高，因此在相邻两帧灰度图像内具备较多的相似信息，为了获取相邻两帧灰度图像的语义对象块的动态信息，将相邻两帧灰度图像作为ORB特征点检测匹配算法的输入，获取相邻两帧灰度图像中的特征点，并且对相邻两帧灰度图像的特征点进行特征点匹配，将与各帧灰度图像中的各语义对象块中的特征点在其相邻帧灰度图像中匹配成功的特征点最多的语义对象块作为各语义对象块的对应语义块。
根据相邻两帧灰度图像中的像素点的语义对象块，实现对语义对象块进行匹配。由此结合相邻两帧灰度图像，得到当前帧的帧间视觉敏感度系数：
式中，表示在第i帧灰度图像中第k个语义对象块的帧间中心偏移系数，表示第i帧灰度图像中第k个语义对象块的中心像素点，表示在第i-1帧灰度图像内第k个语义对象块的对应语义块的中心像素点，表示计算像素点在当前帧图像中的坐标，表示计算两点之间的欧氏距离。
表示在第i帧灰度图像中第k个语义对象块中的帧间面积伸缩系数，和分别表示在第i和第i-1帧灰度图像中第k个语义对象块和对应语义对象块的像素点个数，表示以自然常数e为底的指数函数，和分别表示第k个语义对象块在第i个和第i-1帧灰度图像中具备相同语义标签语义对象块的个数。
表示在第i帧灰度图像中第k个语义对象块中的帧间视觉敏感度系数，表示以自然常数e为底的指数函数，和分别表示第i帧灰度图像中的第k个语义对象块和第i-1帧灰度图像中第k个语义对象块的对象语义丰度系数。
若在相邻两帧灰度图像中该语义对象块变化较大时，更加引起人眼视觉注意。此时该语义对象块中心像素点坐标会存在较大偏移，得到帧间中心偏移系数的值较大。同时待语义对象块面积大小会发生较大变化，即对应语义对象块内像素点的个数差异较大，并且相同语义标签的语义对象块个数变化较大，得到帧间面积伸缩系数的值较大。此外在相邻两帧灰度图像之间该语义对象块静态信息存在一定差异，使得的值较大，最终使得帧间视觉敏感度系数的值较大。相反，若该语义对象块对应是较为平坦的背景信息时，在前后两帧灰度图像内整体不会发生较大的位移和色彩变化，最终使得帧间视觉敏感度系数的值减小。
通过对单帧灰度图像的语义丰富度以及帧间语义对象块的变换程度，得到帧间视觉敏感度系数，从静态丰度和动态敏锐度衡量当前语义对象块的重要程度，由此得到该区块的自适应宏块窗口：
式中，表示在第i帧灰度图像中第k个语义对象块的自适应宏块窗口大小，表示选取其中的最大值，表示预设窗口大小，本实施例设置，表示在第i帧灰度图像中第k个语义对象块中的帧间视觉敏感度系数，表示向上取整，表示窗口限定因子，本实施例中设置。帧间视觉敏感度系数获取流程图如图2所示。
若在当前帧灰度图像内该语义图像块的语义细节信息较为丰富，同时在帧间的变化程度较大，表明该语义对象块信息较为重要，并且是人眼视觉较为关注的部分，由此得到帧间视觉敏感度系数的值较大，此时需要设置较小的宏块大小，能更多保留细节信息，提高人眼视觉匹配度；相反，若该语义对象块为单帧灰度图像中较为平坦的背景区域时，不容易引起人眼视觉关注，因此得到的值较小，此时设置较大的宏块大小，在避免边界效应和块状伪影的同时，提高压缩比。
步骤S003，根据单帧灰度图像中的自适应宏块大小，对单帧灰度图像进行压缩。
根据步骤S002得到当前帧灰度图像每个语义对象块中的自适应宏块的大小，能够根据人眼视觉的敏感程度进行自适应调整，由此遍历当前帧灰度图像中每个语义对象块的自适应宏块窗口大小，将其和当前帧灰度图像作为DCT余弦离散变换算法的输入，算法输出当前帧灰度图像的变换信息，根据变换信息，采用量化表和霍夫曼编码实现对当前帧灰度图像进行压缩。其中，采用量化表和霍夫曼编码对灰度图像进行压缩的过程为公知技术，本实施例不再赘述。
同理，处理当前视频素材中的每一帧灰度图像，对压缩后的视频素材采用H.264/AVC对视频进行整体压缩，最终实现对视频素材的整体压缩。其中DCT余弦离散变换、量化表、霍夫曼编码和H.264/AVC为公知技术，本实施例不再赘述。由此实现对多媒体社交平台上视频素材的压缩，在不影响人眼视觉观感的情况下，能够占用更小的内存空间，占用更小的网络带宽，能够实现对多媒体社交平台上素材的高效传输，有利于平台的扩展和吸引人流量。
基于与上述方法相同的发明构思，本申请实施例还提供了一种多媒体智能社交平台的素材高效传输系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种多媒体智能社交平台的素材高效传输方法中任意一项所述方法的步骤。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (6)
1.一种多媒体智能社交平台的素材高效传输方法，其特征在于，该方法包括以下步骤：
采集视频数据中的各帧灰度图像；
使用语义分割算法获取各帧灰度图像中的各语义对象块和各语义对象块的语义标签，根据语义对象块边界像素点的灰度值和位置关系获取各帧灰度图像中各语义对象块的边界紊乱偏差系数；根据语义对象块内像素点的灰度值和位置关系获取各帧灰度图像中各语义对象块的中心色系偏差系数；根据边界紊乱偏差系数和中心色系偏差系数获取各帧灰度图像中各语义对象块的对象语义丰度系数；使用特征点检测匹配算法，根据各帧灰度图像中的像素点特征获取各帧灰度图像中各语义对象块的帧间中心偏移系数；根据语义对象块中像素点的个数和语义标签获取各帧灰度图像中各语义对象块的帧间面积伸缩系数；根据帧间中心偏移系数、帧间面积伸缩系数和对象语义丰度系数获取各帧灰度图像中各语义对象块的帧间视觉敏感度系数；
根据帧间视觉敏感度系数获取各帧灰度图像中各语义对象块的自适应宏块窗口大小；根据自适应宏块窗口大小对各帧灰度图像进行压缩，实现对多媒体社交平台上素材的高效传输；
所述边界紊乱偏差系数，公式为：
式中，表示在视频素材中第i帧灰度图像内第k个语义对象块的边界紊乱偏差系数，表示第i帧灰度图像内第k个语义对象块中边界像素点的个数，和表示在第i个图像帧内第k个语义对象块中第j个和第j+1个边界像素点的灰度值，表示以自然常数为底的指数函数，表示计算两个像素点之间连线的斜率，表示在第i帧灰度图像内第k个语义对象块内边界像素中第j个第j+1个像素点之间连线的斜率；
所述中心色系偏差系数，公式为：
式中，表示在视频素材中第i帧灰度图像内第k个语义对象块的中心色系偏差系数，表示以数字2为底的对数函数，表示第i帧灰度图像内第k个语义对象块内像素点的个数，分别表示在第i帧灰度图像中第k个语义对象块内第j个像素点和中心像素点的灰度值，表示计算两个像素点的欧氏距离；
所述根据语义对象块中像素点的个数和语义标签获取各帧灰度图像中各语义对象块的帧间面积伸缩系数，包括：
对于各帧灰度图像中的各语义对象块，计算语义对象块中像素点的个数与其前一相邻帧灰度图像中的对应语义块的像素点的个数之间的差值绝对值作为第一差值绝对值；
对于各帧灰度图像中的各语义对象块，将与各语义对象块的语义标签相同的语义对象块的个数作为第一相同个数，将各帧灰度图像的前一相邻帧灰度图像中与所述各语义对象块的语义标签相同的语义对象块的个数作为第二相同个数，计算所述第一相同个数与第二相同个数之间的差值绝对值作为第二差值绝对值，计算以自然常数为底、以所述第二差值绝对值的负值为指数的指数函数的计算结果，将所述第一差值绝对值与所述计算结果的比值作为各帧灰度图像中各语义对象块的帧间面积伸缩系数；
所述根据帧间视觉敏感度系数获取各帧灰度图像中各语义对象块的自适应宏块窗口大小，具体包括：
对于各帧灰度图像中的各语义对象块，计算预设窗口大小与各语义对象块的帧间视觉敏感度系数的比值，将所述比值与预设窗口限定因子之间的最大值作为各帧灰度图像中各语义对象块的自适应宏块窗口大小。
2.如权利要求1所述的一种多媒体智能社交平台的素材高效传输方法，其特征在于，所述根据边界紊乱偏差系数和中心色系偏差系数获取各帧灰度图像中各语义对象块的对象语义丰度系数，包括：
对于各帧灰度图像中各语义对象块，计算第一预设评估权重与语义对象块的边界紊乱偏差系数的乘积作为第一乘积，计算第二预设评估权重与语义对象块的中心色系偏差系数的乘积作为第二乘积，将所述第一乘积与所述第二乘积的和值作为各帧灰度图像中各语义对象块的块内语义丰度系数；
对于各帧灰度图像，将与第k个语义对象块的语义标签相同的所有语义对象块中第m个语义对象块的块内语义丰度系数作为第一丰度系数，计算第k个语义对象块的块内语义丰度系数与第一丰度系数之间的差值绝对值，计算第k个语义对象块的所有所述差值绝对值的和值作为第一和值，计算所述第一和值与第k个语义对象块的块内语义丰度系数的乘积作为第k个语义对象块的对象语义丰度系数。
3.如权利要求1所述的一种多媒体智能社交平台的素材高效传输方法，其特征在于，所述获取各帧灰度图像中各语义对象块的帧间中心偏移系数，包括：
将相邻两帧灰度图像作为特征点检测匹配算法的输入，获取相邻两帧灰度图像中的特征点并对所述特征点进行匹配；
对于各帧灰度图像中各语义对象块中的所有特征点，将其相邻帧灰度图像中与其匹配成功的特征点个数最多的语义对象块作为各语义对象块的对应语义块；
对于各帧灰度图像中各语义对象块，计算语义对象块的中心像素点的坐标与语义对象块在前一相邻帧灰度图像中的对应语义块的中心像素点的坐标之间的欧氏距离，作为各帧灰度图像中各语义对象块的帧间中心偏移系数。
4.如权利要求1所述的一种多媒体智能社交平台的素材高效传输方法，其特征在于，所述根据帧间中心偏移系数、帧间面积伸缩系数和对象语义丰度系数获取各帧灰度图像中各语义对象块的帧间视觉敏感度系数，包括：
计算各帧灰度图像中第k个语义对象块的帧间面积伸缩系数和帧间视觉敏感度系数的和值，计算各帧灰度图像中第k个语义对象块的对象语义丰度系数与其前一相邻帧灰度图像中的第k个语义对象块的对象语义丰度系数之间的差值绝对值，计算以自然常数为底、以所述差值绝对值为指数的指数函数的计算结果，将所述和值与所述计算结果的乘积作为各帧灰度图像中第k个语义对象块的帧间视觉敏感度系数。
5.如权利要求1所述的一种多媒体智能社交平台的素材高效传输方法，其特征在于，所述根据自适应宏块窗口大小对各帧灰度图像进行压缩，包括：
将各帧灰度图像中的所有语义对象块的自适应宏块窗口大小与各帧灰度图像作为离散变换算法的输入，输出为各帧灰度图像的变换信息，根据变换信息，采用量化表和霍夫曼编码实现对各帧灰度图像进行压缩。
6.一种多媒体智能社交平台的素材高效传输系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410471699.3A CN118101937B (zh) | 2024-04-19 | 2024-04-19 | 一种多媒体智能社交平台的素材高效传输方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410471699.3A CN118101937B (zh) | 2024-04-19 | 2024-04-19 | 一种多媒体智能社交平台的素材高效传输方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118101937A CN118101937A (zh) | 2024-05-28 |
| CN118101937B true CN118101937B (zh) | 2024-07-16 |
Family
ID=91148085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410471699.3A Active CN118101937B (zh) | 2024-04-19 | 2024-04-19 | 一种多媒体智能社交平台的素材高效传输方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118101937B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103426176A (zh) * | 2013-08-27 | 2013-12-04 | 重庆邮电大学 | 基于改进直方图和聚类算法的视频镜头检测方法 |
| CN115914649A (zh) * | 2023-03-01 | 2023-04-04 | 广州高通影像技术有限公司 | 一种用于医疗视频的数据传输方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100490537C (zh) * | 2005-06-15 | 2009-05-20 | 华为技术有限公司 | 一种降低图像方块效应的方法 |
| CN103647969B (zh) * | 2011-07-06 | 2016-09-14 | 北京航空航天大学 | 一种基于对象的快速分形视频压缩与解压缩方法 |
| RU2643663C2 (ru) * | 2012-03-26 | 2018-02-02 | Конинклейке Филипс Н.В. | Устройства и способы для кодирования и декодирования изображений с hdr на основании областей яркости |
| CN116452474B (zh) * | 2023-05-17 | 2023-08-29 | 天津国兴海洋能源工程有限公司 | 一种基于数字孪生的污水处理设备可视化管理系统 |
-
2024
- 2024-04-19 CN CN202410471699.3A patent/CN118101937B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103426176A (zh) * | 2013-08-27 | 2013-12-04 | 重庆邮电大学 | 基于改进直方图和聚类算法的视频镜头检测方法 |
| CN115914649A (zh) * | 2023-03-01 | 2023-04-04 | 广州高通影像技术有限公司 | 一种用于医疗视频的数据传输方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118101937A (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20110019026A1 (en) | Image processing system | |
| CN111062314B (zh) | 图像选取方法、装置、计算机可读存储介质及电子设备 | |
| CN110852964A (zh) | 一种基于深度学习的图像比特增强方法 | |
| WO2021135702A1 (zh) | 一种视频去噪方法和电子设备 | |
| CN114693816B (zh) | 一种智能化图像大数据存储方法 | |
| CN109587558B (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
| CN113518185A (zh) | 视频转换处理方法、装置、计算机可读介质及电子设备 | |
| JP2023543520A (ja) | 機械学習を基にしたピクチャコーディングにおけるクロマサブサンプリングフォーマット取り扱いのための方法 | |
| CN112738533A (zh) | 一种机巡图像分区域压缩方法 | |
| Selimović et al. | Analysis of content-aware image compression with VGG16 | |
| CN118055235B (zh) | 一种基于图像分析的视频智能压缩方法 | |
| US20110019741A1 (en) | Image processing system | |
| CN118101937B (zh) | 一种多媒体智能社交平台的素材高效传输方法及系统 | |
| CN117611467A (zh) | 一种能同时平衡不同区域细节和亮度的低光图像增强方法 | |
| CN112584153A (zh) | 基于恰可察觉失真模型的视频压缩方法及装置 | |
| Barai et al. | Human visual system inspired saliency guided edge preserving tone-mapping for high dynamic range imaging | |
| CN110611809A (zh) | 帧分辨率自适应的视频空时域复杂度评价方法 | |
| CN115018723A (zh) | 基于卷积神经网络且用于对模糊图像进行处理的方法 | |
| Qi et al. | Non-Reference Image Quality Assessment Based on Super-Pixel Segmentation and Information Entropy | |
| WO2009125578A1 (ja) | 画像処理システム、画像処理方法、およびコンピュータ読取可能な媒体 | |
| CN113538295A (zh) | 内窥镜弱纹理图像增强方法及装置 | |
| CN107645664B (zh) | 基于反应-扩散方程组的彩色图像压缩方法 | |
| CN115510271B (zh) | 一种面向内容的动画视频无参考质量评价方法 | |
| CN117714697B (zh) | 数字人视频显示方法及设备 | |
| CN117689590B (zh) | 一种基于ai技术的ar的对象互动展示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |