CN116996695B - 一种全景图像压缩方法、装置、设备及介质 - Google Patents
一种全景图像压缩方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116996695B CN116996695B CN202311256412.7A CN202311256412A CN116996695B CN 116996695 B CN116996695 B CN 116996695B CN 202311256412 A CN202311256412 A CN 202311256412A CN 116996695 B CN116996695 B CN 116996695B
- Authority
- CN
- China
- Prior art keywords
- network
- image
- image compression
- machine vision
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006835 compression Effects 0.000 title claims abstract description 119
- 238000007906 compression Methods 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims abstract description 47
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 59
- 230000009466 transformation Effects 0.000 claims abstract description 55
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 42
- 238000004590 computer program Methods 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 22
- 238000005457 optimization Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 5
- 230000008447 perception Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005184 irreversible process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
Abstract
本发明公开了一种全景图像压缩方法、装置、设备及介质，根据预先构建的像素重要性推断模型对输入图像进行像素重要性推断，确定像素重要性图，作为外部先验信息；根据预先构建的图像压缩网络根据所述外部先验信息产生仿射变换的仿射参数，并根据所述仿射参数将所述输入图像在特征域进行空间仿射变换；通过预先构建的机器视觉网络引入二十面体转换，将空间仿射变换得到的球体图像投影到二十面体表面，并展开形成压缩的平面图像。本申请能够消除全景图像上过度采样而产生的冗余和生成紧致的特征表示，达到节省码流和提升下游任务性能的效果。从而减少图像压缩时超采样冗余以及图像失真。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种全景图像压缩方法、装置、设备及介质。
背景技术
全景图像是一种新型的多媒体格式，其特点是能够呈现全方位的信息可视，从而带来更加沉浸式的体验和环境感知。近年来，由于虚拟现实的日益普及，全景图像捕捉技术经历了巨大的发展，使得用户能够在一次拍摄中快速、轻松的捕捉全景图像和视频。全景图像因为能够全方位进行环境感知，在机器视觉分析方面具有优势。使得全景图像被广泛应用于新兴的机器视觉应用场景中，包括机器人、自动驾驶、智能城市等。
现有的全景图像通常以ERP（Equi-Rectangular Projection，等距矩形投影）格式存储和表示。ERP格式作为最常见的球面到平面的投影，是一个不可逆的过程，虽然能将数据投影到二维平面上，但是会不可避免地引入巨大的失真和信息冗余。
发明内容
为了解决上述问题，本发明提出一种全景图像压缩方法、装置、设备及介质，能够减少图像压缩时超采样冗余以及图像失真。
本发明实施例提供一种全景图像压缩方法，所述方法包括：
根据预先构建的像素重要性推断模型对输入图像进行像素重要性推断，确定像素重要性图，作为外部先验信息；
根据预先构建的图像压缩网络根据所述外部先验信息产生仿射变换的仿射参数，并根据所述仿射参数将所述输入图像在特征域进行空间仿射变换；
通过预先构建的机器视觉网络引入二十面体转换，将空间仿射变换得到的球体图像投影到二十面体表面，并展开形成压缩的平面图像。
优选地，所述像素重要性推断模型构建过程包括：
建立基于Resnet50的类UNet架构的推断模型；
根据所述图像压缩网络以及所述机器视觉网络作为所述推断模型的监督，训练所述推断模型的网络参数，得到所述像素重要性推断模型；
其中，网络参数；/>为所述输入图像，/>为预先采集的数据集D中机器视觉任务的标签，/>为下游机器视觉模型的损失函数，/>所述机器视觉网络的模型，/>为该模型的参数，/>为所述机器视觉网络的损失函数，R表示潜伏表示的比特率，/>为拉格朗日系数，/>为所述图像压缩网络的模型，ψ为该模型的参数，/>为图像像素显著性预测没落，LD为重建图像损失函数。
作为一种优选方案，所述图像压缩网络采用基于空间特征变换层的神经网络作为压缩主干；
所述图像压缩网络的每个卷积块末尾插入空间特征变换层；
所述图像压缩网络采用基于超先验的熵方法来生成潜在特征表示的边信息；
所述空间仿射变换的输出特征；
所述边信息；
其中，表示空间特征变换层的输入特征，/>和β为空间特征变换层根据所述外部先验信息e学习得到的一组仿射参数，/>是一个下采样算子，/>代表对特征进行像素级的乘法运算，/>代表超先验编码器；/>代表超先验的条件网络，y为潜在特征表示。
优选地，所述将空间仿射变换得到的球体图像投影到二十面体表面，并展开形成压缩的平面图像，具体包括：
通过所述机器视觉网络预测物体中心的热力图；
根据每个物体中心的边界框的宽度、高度和偏移量直接从所述热力图中进行回归预测，获得完整的锚框坐标；
根据获得的锚框坐标将所述球形图像投影到二十面体表面，并展开形成压缩的平面图像。
作为一种优选方案，所述机器视觉网络以可微分物体检测网络架构为基底；
所述可微分物体检测网络的优化参数；
其中，表示所述机器视觉网络的损失函数，
为预测的热力图，/>为预测的锚框宽高，/>为中心偏移量的损失，/>和/>为加权参数，/>为所述输入图像，/>为预先采集的数据集D中机器视觉任务的标签，/>为所述机器视觉网络的模型，/>为该模型的参数。
优选地，所述方法还包括：
通过所述机器视觉网络提供的损失反馈对所述像素重要性推断模型以及所述图像压缩网络进行迭代优化。
作为一种优选方案，所述像素重要性推断模型、所述图像压缩网络以及所述机器视觉网络的优化参数计算公式为：
；
其中，和/>为拉格朗日系数，R为潜伏表示的比特率，/>、/>和/>分别表示所述机器视觉网络、所述图像压缩网络以及所述像素重要性推断模型的优化参数，/>表示所述机器视觉网络的损失函数，/>为所述输入图像，/>为所述机器视觉网络的模型，为所述图像压缩网络的模型，/>为图像像素显著性预测没落，LD为重建图像损失函数。
本发明实施例还提供一种全景图像压缩装置，所述装置包括：
像素重要性推断模块，用于根据预先构建的像素重要性推断模型对输入图像进行像素重要性推断，确定像素重要性图，作为外部先验信息；
图像压缩模块，用于根据预先构建的图像压缩网络根据所述外部先验信息产生仿射变换的仿射参数，并根据所述仿射参数将所述输入图像在特征域进行空间仿射变换；
机器视觉模块，用于通过预先构建的机器视觉网络引入二十面体转换，将空间仿射变换得到的球体图像投影到二十面体表面，并展开形成压缩的平面图像。
优选地，所述像素重要性推断模块构建所述像素重要性推断模型的过程包括：
建立基于Resnet50的类UNet架构的推断模型；
根据所述图像压缩网络以及所述机器视觉网络作为所述推断模型的监督，训练所述推断模型的网络参数，得到所述像素重要性推断模型；
其中，网络参数；/>为所述输入图像，/>为预先采集的数据集D中机器视觉任务的标签，/>为下游机器视觉模型的损失函数，/>所述机器视觉网络的模型，/>为该模型的参数，/>为所述机器视觉网络的损失函数，R表示潜伏表示的比特率，/>为拉格朗日系数，/>为所述图像压缩网络的模型，ψ为该模型的参数，/>为图像像素显著性预测没落，LD为重建图像损失函数。
优选地，所述图像压缩网络采用基于空间特征变换层的神经网络作为压缩主干；
所述图像压缩网络的每个卷积块末尾插入空间特征变换层；
所述图像压缩网络采用基于超先验的熵方法来生成潜在特征表示的边信息；
所述空间仿射变换的输出特征；
所述边信息；
其中，表示空间特征变换层的输入特征，/>和β为空间特征变换层根据所述外部先验信息e学习得到的一组仿射参数，/>是一个下采样算子，/>代表对特征进行像素级的乘法运算，/>代表超先验编码器；/>代表超先验的条件网络，y为潜在特征表示。
作为一种优选方案，所述图像压缩模块具体用于：
通过所述机器视觉网络预测物体中心的热力图；
根据每个物体中心的边界框的宽度、高度和偏移量直接从所述热力图中进行回归预测，获得完整的锚框坐标；
根据获得的锚框坐标将所述球形图像投影到二十面体表面，并展开形成压缩的平面图像。
优选地，所述机器视觉网络以可微分物体检测网络架构为基底；
所述可微分物体检测网络的优化参数；
其中，表示所述机器视觉网络的损失函数，
为预测的热力图，/>为预测的锚框宽高，/>为中心偏移量的损失，/>和/>为加权参数，/>为所述输入图像，/>为预先采集的数据集D中机器视觉任务的标签，/>为所述机器视觉网络的模型。
作为一种优选方案，所述模型还包括优化模块，用于：
通过所述机器视觉网络提供的损失反馈对所述像素重要性推断模型以及所述图像压缩网络进行迭代优化。
优选地，所述像素重要性推断模型、所述图像压缩网络以及所述机器视觉网络的优化参数计算公式为：
；
其中，和/>为拉格朗日系数，R为潜伏表示的比特率，/>、/>和/>分别表示所述机器视觉网络、所述图像压缩网络以及所述像素重要性推断模型的优化参数，/>表示所述机器视觉网络的损失函数，/>为所述输入图像，/>为机器视觉网络的模型，表示图像压缩网络的模型，其中/>为图像像素显著性预测没落，LD为重建图像损失函数。
本发明实施例还提供一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项实施例所述的一种全景图像压缩方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任一项实施例所述的一种全景图像压缩方法。
本发明提供一种全景图像压缩方法、装置、设备及介质，根据预先构建的像素重要性推断模型对输入图像进行像素重要性推断，确定像素重要性图，作为外部先验信息；根据预先构建的图像压缩网络根据所述外部先验信息产生仿射变换的仿射参数，并根据所述仿射参数将所述输入图像在特征域进行空间仿射变换；通过预先构建的机器视觉网络引入二十面体转换，将空间仿射变换得到的球体图像投影到二十面体表面，并展开形成压缩的平面图像。本申请能够消除全景图像上过度采样而产生的冗余和生成紧致的特征表示，达到节省码流和提升下游任务性能的效果。从而减少图像压缩时超采样冗余以及图像失真。
附图说明
图1是本发明实施例提供的一种全景图像压缩方法的流程示意图；
图2是本发明另一实施例提供的全景图像压缩方法的流程示意图；
图3是本发明实施例提供的图像压缩网络的结构示意图；
图4是本发明实施例提供的一种全景图像压缩装置的结构示意图；
图5是本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明实施例提供的一种全景图像压缩方法的流程示意图，所述方法包括步骤S1~S3；
S1，根据预先构建的像素重要性推断模型对输入图像进行像素重要性推断，确定像素重要性图，作为外部先验信息；
S2，根据预先构建的图像压缩网络根据所述外部先验信息产生仿射变换的仿射参数，并根据所述仿射参数将所述输入图像在特征域进行空间仿射变换；
S3，通过预先构建的机器视觉网络引入二十面体转换，将空间仿射变换得到的球体图像投影到二十面体表面，并展开形成压缩的平面图像。
在本实施例具体实施时，参见图2，是本发明另一实施例提供的全景图像压缩方法的流程示意图；
具体执行时，输入图像x经过像素重要性推断模块的Pixel SignificanceInference像素重要性推理网络inference Network进行像素重要性推断，得到像素重要性图m；像素重要性推断模型的识别网络的引入，为图像压缩模块提供超采样冗余去除和变形补偿的外部先验知识e。
将得到的像素重要性图作为外部先验信息输入到图像压缩网络SFT-based ImageCompression进行仿射变换。即通过其中的条件网络Conditional Network生成仿射参数，根据所述仿射参数将所述输入图像在特征域进行空间仿射变换，通过编码器Encoder生成比特流Bitsteam，并通过解码器Decoder解码输出，传输到下游的机器视觉网络。
通过任务驱动监督task driven supervision的机器视觉分析Machine VisionAnalytics引入二十面体转换，将空间仿射变换得到的球体图像投影到二十面体表面，并展开形成压缩的平面图像，作为压缩图像输出。
本申请通过像素重要性推断模型识别网络的引入，为图像压缩网络提供超采样冗余去除和变形补偿的外部先验知识。利用学习到的外部先验知识，在压缩主干上的SFT层上产生仿射变换的参数，从而达到实现指导特征的仿射变换，使得特征达到紧致和消除变形。最后通过机器视觉网络提供的损失反馈，实现进一步指导像素重要性模块和压缩主干网络的迭代优化，从而使这个框架能够消除全景图像上过度采样而产生的冗余和生成紧致的特征表示，达到节省码流和提升下游任务性能的效果。
在本发明提供的又一实施例中，所述像素重要性推断模型构建过程包括：
建立基于Resnet50的类UNet架构的推断模型；
根据所述图像压缩网络以及所述机器视觉网络作为所述推断模型的监督，训练所述推断模型的网络参数，得到所述像素重要性推断模型；
其中，网络参数；为所述输入图像，/>为预先采集的数据集D中机器视觉任务的标签，/>为下游机器视觉模型的损失函数，/>所述机器视觉网络的模型，/>为该模型的参数，/>为所述机器视觉网络的损失函数，R表示潜伏表示的比特率，/>为拉格朗日系数，/>为所述图像压缩网络的模型，ψ为该模型的参数，/>为图像像素显著性预测没落，LD为重建图像损失函数。
在本实施例具体实施时，根据所述像素重要性推断模型对输入图像推断出像素的重要性图，同时考虑了超采样引起的冗余和变形，为压缩编码的码流分配提供了外部先验知识进行有效的指导。
所述像素重要性推断模型构建时，建立一个基于Resnet50的类UNet架构的推断模型；其精简的设计不仅可以直接实现并达到不错的效果，同时仍然提供强大的高级特征提取能力。
将压缩网络与下游机器视觉任务共同作为监督，训练像素重要性推断模型，训练所述推断模型/>的网络参数；
该网络的参数表示为，网络参数；
其中，为所述输入图像，/>为预先采集的数据集D中机器视觉任务的标签，/>为下游机器视觉模型的损失函数，/>所述机器视觉网络的模型，/>为该模型的参数，为所述机器视觉网络的损失函数，R表示潜伏表示的比特率，/>为拉格朗日系数，为所述图像压缩网络的模型，ψ为该模型的参数，/>为图像像素显著性预测没落，LD为重建图像损失函数。
通过变形感知的图像压缩网络和全景图像的机器视觉网络的共同监督，像素重要性推断过程可以同时考虑变形抵消、紧凑表示和语义信息保存等要求。
在本发明提供的又一实施例中，所述图像压缩网络采用基于空间特征变换层的神经网络作为压缩主干；
所述图像压缩网络的每个卷积块末尾插入空间特征变换层；
所述图像压缩网络采用基于超先验的熵方法来生成潜在特征表示的边信息；
所述空间仿射变换的输出特征；
所述边信息；
其中，表示空间特征变换层的输入特征，/>和β为空间特征变换层层根据所述外部先验信息e学习得到的一组仿射参数，/>是一个下采样算子，/>代表对特征进行像素级的乘法运算，/>代表超先验编码器；/>代表超先验的条件网络，y为潜在特征表示。
在本实施例具体实施时，参见图3，是本发明实施例提供的图像压缩网络的结构示意图；为了提取360°图像的变形感知的紧凑表征的紧凑表示，本申请采用了基于SFT的神经网络作为压缩主干。与现有的端到端图像编解码相比编解码器相比，通过在每个卷积块末尾插入SFT层，压缩网络获得了将一系列空间变换应用于到中间特征，如旋转和缩放。
给定像素重要性图，条件网络/>，在编码器使用了条件网络以提供外部功能和条件/>。SFT层的作用是通过激活函数ReLU将根据外部先验信息e学习一组元素的仿射参数/>，在特征域进行空间变换，所述空间仿射变换的输出特征；
其中，是一个下采样算子，用于将/>应用不同的卷积块conv，而/>和/>分别表示SFT层的输入和输出特征，/>代表对特征进行像素级的乘法运算。
所述图像压缩网络基于超先验的熵方法来生成潜在特征表示的边信息，边信息。
其中，代表超先验编码器；/>代表超先验的条件网络，用于生成于像素重要性相关的外部先验知识。
需要说明的是，通过归一化GND层和SFT层组成编码块，尽管解码器需要像素重要性图来提供外部先验条件，但它不需要被单独压缩并传递给解码器。其基本思想是，利用边信息/>和像素重要性图的相关性来推断出接近的替代物/>。关于解码器，在这里它采用了几乎对称结构的编码器来重建接收到的比特流。
通过将空间特征变换层被引入到图像压缩网络中，与像素重要性图相结合，通过学习空间特征产生一个变形感知的紧凑表示，缓解投影变形问题。
在本发明提供的又一实施例中，所述步骤S3具体包括：
通过所述机器视觉网络预测物体中心的热力图；
根据每个物体中心的边界框的宽度、高度和偏移量直接从所述热力图中进行回归预测，获得完整的锚框坐标；
根据获得的锚框坐标将所述球形图像投影到二十面体表面，并展开形成压缩的平面图像。
在本实施例具体实施时，所述机器视觉网络进行图像压缩时，机器视觉网络并不直接预测边界框的坐标，而是预测物体中心的热力图，热力图中的每个像素对应的值都代表一个物体中心的可信度，即值越大，越是物体中心。
随后根据每个物体中心的边界框的宽度、高度和偏移量直接从所述热力图中进行回归预测，从而获得完整的锚框坐标。
机器视觉网络涉及到将球形图像投射到二十面体的表面，然后将其展开，形成一个平面图像，与使用ERP相比，这种投影转换的方法可以使得物体的变形明显减少。
在本发明提供的又一实施例中，所述机器视觉网络以可微分物体检测网络架构为基底；
所述可微分物体检测网络的优化参数；
其中，表示所述机器视觉网络的损失函数，
为预测的热力图，/>为预测的锚框宽高，/>为中心偏移量的损失，/>和/>为加权参数，/>为所述输入图像，/>为预先采集的数据集D中机器视觉任务的标签，/>为所述机器视觉网络的模型。
在本实施例具体实施时，为了给图像压缩网络和像素重要性推断模型提供有价值的语义指导和反馈，本申请以可微分物体检测网络Spherical CenterNet架构为基底，引入了二十面体转换的预处理，以提供物体变形的信息，以减缓投影所带来的变形问题，该网络是一个可微的单阶段物体检测模型。
可微分物体检测网络的优化参数；
其中，表示所述机器视觉网络的损失函数，/>为预测的热力图，/>为预测的锚框宽高，/>为中心偏移量的损失，/>和/>为加权参数，在/>损失的计算上直接计算预测值与真值之间的交叉熵，而关于/>和/>的计算，采用平面坐标L1距离作为损失，而不是以球面坐标来计算。/>为所述输入图像，/>为预先采集的数据集D中机器视觉任务的标签，/>为所述机器视觉网络的模型。
在可微分物体检测网络的监督下，以二十面体投影作为预处理，并将像素重要性推断模型和图像压缩网络联合训练，在低码流下获得变形感知的紧凑特征，同时保持高分析性能。本申请方案有可能完全消除内部冗余，而且还可以与下游任务网络联合训练，从而进一步提高编码效率。本申请索要模型都是基于平面图像的通用CNN算子建立的，使该框架能够从计算机视觉和端到端图像压缩研究的快速发展中获益。
在本发明提供的又一实施例中，所述方法还包括：
通过所述机器视觉网络提供的损失反馈对所述像素重要性推断模型以及所述图像压缩网络进行迭代优化。
在本实施例具体实施时，通过下游的机器视觉网络提供的损失反馈，进一步指导所述像素重要性推断模型以及所述图像压缩网络的迭代优化，从而使这个框架能够消除全景图像上过度采样而产生的冗余和生成紧致的特征表示，达到节省码流和提升下游任务性能的效果。
在本发明提供的又一实施例中，所述像素重要性推断模型、所述图像压缩网络以及所述机器视觉网络的优化参数计算公式为：
；
其中，和/>为拉格朗日系数，R为潜伏表示的比特率，/>、/>和/>分别表示所述机器视觉网络、所述图像压缩网络以及所述像素重要性推断模型的优化参数，/>表示所述机器视觉网络的损失函数，/>为所述输入图像，/>为机器视觉网络的模型，表示图像压缩网络的模型，其中/>为图像像素显著性预测没落，LD为重建图像损失函数。
在本实施例实施时，在训练过程中的目标是最小化Bit-per-pixel(Bpp)，同时提高机器视觉模型分析性能。
需要说明的是，尽管本申请所提出的框架是为面向机器视觉的应用场景而设计的，但与图像重建质量相对应的损失项被纳入，以平衡比特分配过程，其中是一个经验决定的参数，在我们的实施中设置为4.832：
因此计算得到；
所述像素重要性推断模型、所述图像压缩网络以及所述机器视觉网络的优化参数计算公式为：
；
其中，和/>是拉格朗日系数，用于平衡差异损失项。R表示潜伏表示的比特率。
、/>和/>分别表示所述机器视觉网络、所述图像压缩网络以及所述像素重要性推断模型的优化参数，/>表示所述机器视觉网络的损失函数，/>为所述输入图像，/>为机器视觉网络的模型，/>表示图像压缩网络的模型，其中/>为图像像素显著性预测没落，LD为重建图像损失函数。
本申请采用了一个可训练的像素意义推理模块来约束编码资源分配过程，使图像特征其在该信息的引导下变得更加紧凑，这有利于减少过采样冗余。同时，空间特征变换层被引入到图像压缩网络中，与像素重要性图相结合，通过学习空间特征产生一个变形感知的紧凑表示，缓解投影变形问题。
在本发明提供的又一实施例中，参见图4，是本发明实施例提供的一种全景图像压缩装置的结构示意图，所述装置包括：
像素重要性推断模块，用于根据预先构建的像素重要性推断模型对输入图像进行像素重要性推断，确定像素重要性图，作为外部先验信息；
图像压缩模块，用于根据预先构建的图像压缩网络根据所述外部先验信息产生仿射变换的仿射参数，并根据所述仿射参数将所述输入图像在特征域进行空间仿射变换；
机器视觉模块，用于通过预先构建的机器视觉网络引入二十面体转换，将空间仿射变换得到的球体图像投影到二十面体表面，并展开形成压缩的平面图像。
本实施例提供的全景图像压缩装置，能够执行上述任一实施例提供的全景图像压缩方法的所有步骤与功能，在此对该装置的具体功能不作赘述。
参见图5，是本发明实施例提供的一种终端设备的结构示意图。所述终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如一种全景图像压缩程序。所述处理器执行所述计算机程序时实现上述各个一种全景图像压缩方法实施例中的步骤，例如图1所示的步骤S1~S3。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述一种全景图像压缩装置中的执行过程。例如，所述计算机程序可以被分割成各个模块，各模块具体功能在上述任一实施例提供的一种全景图像压缩方法中已作详细说明，在此对该装置的具体功能不作赘述。
所述一种全景图像压缩装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述一种全景图像压缩装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是一种全景图像压缩装置的示例，并不构成对一种全景图像压缩装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种全景图像压缩装置还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种全景图像压缩装置的控制中心，利用各种接口和线路连接整个一种全景图像压缩装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种全景图像压缩装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card， SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述一种全景图像压缩装置集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。
应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种全景图像压缩方法，其特征在于，所述方法包括：
根据预先构建的像素重要性推断模型对输入图像进行像素重要性推断，确定像素重要性图，作为外部先验信息；
根据预先构建的图像压缩网络根据所述外部先验信息产生仿射变换的仿射参数，并根据所述仿射参数将所述输入图像在特征域进行空间仿射变换；
通过预先构建的机器视觉网络引入二十面体转换，将空间仿射变换得到的球体图像投影到二十面体表面，并展开形成压缩的平面图像。
2.根据权利要求1所述的全景图像压缩方法，其特征在于，所述像素重要性推断模型构建过程包括：
建立基于Resnet50的类UNet架构的推断模型；
根据所述图像压缩网络以及所述机器视觉网络作为所述推断模型的监督，训练所述推断模型的网络参数，得到所述像素重要性推断模型；
其中，网络参数；/>为所述输入图像，/>为预先采集的数据集D中机器视觉任务的标签，/>为下游机器视觉模型的损失函数，/>为所述机器视觉网络的模型，/>为该模型的参数，/>为所述机器视觉网络的损失函数，R表示潜伏表示的比特率，/>为拉格朗日系数，/>为所述图像压缩网络的模型，ψ为该模型的参数，/>为图像x的图像像素显著性预测网络。
3.根据权利要求1所述的全景图像压缩方法，其特征在于，所述图像压缩网络采用基于空间特征变换层的神经网络作为压缩主干；
所述图像压缩网络的每个卷积块末尾插入空间特征变换层；
所述图像压缩网络采用基于超先验的熵方法来生成潜在特征表示的边信息；
所述空间仿射变换的输出特征；
所述边信息；
其中，表示空间特征变换层的输入特征，/>和β为空间特征变换层根据所述外部先验信息e学习得到的一组仿射参数，/>是一个下采样算子，/>代表对特征进行像素级的乘法运算，/>代表超先验编码器；/>代表超先验的条件网络，y为潜在特征表示。
4.根据权利要求1所述的全景图像压缩方法，其特征在于，所述将空间仿射变换得到的球体图像投影到二十面体表面，并展开形成压缩的平面图像，具体包括：
通过所述机器视觉网络预测物体中心的热力图；
根据每个物体中心的边界框的宽度、高度和偏移量直接从所述热力图中进行回归预测，获得完整的锚框坐标；
根据获得的锚框坐标将所述球体图像投影到二十面体表面，并展开形成压缩的平面图像。
5.根据权利要求1所述的全景图像压缩方法，其特征在于，所述机器视觉网络以可微分物体检测网络架构为基底；
所述可微分物体检测网络的优化参数；
其中，表示所述机器视觉网络的损失函数，/>为所述输入图像，/>为预先采集的数据集D中机器视觉任务的标签，/>为所述机器视觉网络的模型，/>为该模型的参数。
6.根据权利要求1所述的全景图像压缩方法，其特征在于，所述方法还包括：
通过所述机器视觉网络提供的损失反馈对所述像素重要性推断模型以及所述图像压缩网络进行迭代优化。
7.根据权利要求1所述的全景图像压缩方法，其特征在于，所述像素重要性推断模型、所述图像压缩网络以及所述机器视觉网络的优化参数计算公式为：
；
其中，和/>为拉格朗日系数，R为潜伏表示的比特率，/>、/>和/>分别表示所述机器视觉网络、所述图像压缩网络以及所述像素重要性推断模型的优化参数，/>表示所述机器视觉网络的损失函数，/>为所述输入图像，/>为所述机器视觉网络的模型，为所述图像压缩网络的模型，ψ为该模型的参数，/>为图像x的图像像素显著性预测网络，/>为预先采集的数据集D中机器视觉任务的标签，LD为重建图像损失函数。
8.一种全景图像压缩装置，其特征在于，所述装置包括：
像素重要性推断模块，用于根据预先构建的像素重要性推断模型对输入图像进行像素重要性推断，确定像素重要性图，作为外部先验信息；
图像压缩模块，用于根据预先构建的图像压缩网络根据所述外部先验信息产生仿射变换的仿射参数，并根据所述仿射参数将所述输入图像在特征域进行空间仿射变换；
机器视觉模块，用于通过预先构建的机器视觉网络引入二十面体转换，将空间仿射变换得到的球体图像投影到二十面体表面，并展开形成压缩的平面图像。
9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的全景图像压缩方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的全景图像压缩方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311256412.7A CN116996695B (zh) | 2023-09-27 | 2023-09-27 | 一种全景图像压缩方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311256412.7A CN116996695B (zh) | 2023-09-27 | 2023-09-27 | 一种全景图像压缩方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116996695A CN116996695A (zh) | 2023-11-03 |
| CN116996695B true CN116996695B (zh) | 2024-04-05 |
Family
ID=88523607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311256412.7A Active CN116996695B (zh) | 2023-09-27 | 2023-09-27 | 一种全景图像压缩方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116996695B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101626513A (zh) * | 2009-07-23 | 2010-01-13 | 深圳大学 | 全景视频生成方法及系统 |
| CN102510498A (zh) * | 2011-10-18 | 2012-06-20 | 清华大学 | 基于自适应仿射变换的三维动态网格压缩方法及装置 |
| CN110532928A (zh) * | 2019-08-23 | 2019-12-03 | 安徽大学 | 基于面部区域规范化和可变形沙漏网络的面部关键点检测方法 |
| CN112785670A (zh) * | 2021-02-01 | 2021-05-11 | 北京字节跳动网络技术有限公司 | 一种形象合成方法、装置、设备及存储介质 |
| CN113313777A (zh) * | 2021-07-29 | 2021-08-27 | 杭州博雅鸿图视频技术有限公司 | 一种图像压缩处理方法、装置、计算机设备和存储介质 |
| CN113949880A (zh) * | 2021-09-02 | 2022-01-18 | 北京大学 | 一种极低码率人机协同图像编码训练方法及编解码方法 |
| WO2023132556A1 (ko) * | 2022-01-04 | 2023-07-13 | 엘지전자 주식회사 | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 |
| WO2023143222A1 (zh) * | 2022-01-28 | 2023-08-03 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2585645B (en) * | 2019-07-08 | 2024-04-17 | Toshiba Kk | Computer vision method and system |
| CN110827342B (zh) * | 2019-10-21 | 2023-06-02 | 中国科学院自动化研究所 | 三维人体模型重建方法及存储设备、控制设备 |
-
2023
- 2023-09-27 CN CN202311256412.7A patent/CN116996695B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101626513A (zh) * | 2009-07-23 | 2010-01-13 | 深圳大学 | 全景视频生成方法及系统 |
| CN102510498A (zh) * | 2011-10-18 | 2012-06-20 | 清华大学 | 基于自适应仿射变换的三维动态网格压缩方法及装置 |
| CN110532928A (zh) * | 2019-08-23 | 2019-12-03 | 安徽大学 | 基于面部区域规范化和可变形沙漏网络的面部关键点检测方法 |
| CN112785670A (zh) * | 2021-02-01 | 2021-05-11 | 北京字节跳动网络技术有限公司 | 一种形象合成方法、装置、设备及存储介质 |
| CN113313777A (zh) * | 2021-07-29 | 2021-08-27 | 杭州博雅鸿图视频技术有限公司 | 一种图像压缩处理方法、装置、计算机设备和存储介质 |
| CN113949880A (zh) * | 2021-09-02 | 2022-01-18 | 北京大学 | 一种极低码率人机协同图像编码训练方法及编解码方法 |
| WO2023132556A1 (ko) * | 2022-01-04 | 2023-07-13 | 엘지전자 주식회사 | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 |
| WO2023143222A1 (zh) * | 2022-01-28 | 2023-08-03 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust Depth Prediction;Yin Wei 等;《IEEE transactions on pattern analysis and machine intelligence》;第7282-7295页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116996695A (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10582250B2 (en) | Integrated video codec and inference engine | |
| CN112950471A (zh) | 视频超分处理方法、装置、超分辨率重建模型、介质 | |
| KR20050072139A (ko) | 비선형 멀티플 모션 모델 및 무빙 바운더리 추출을 위한방법 및 장치 | |
| CN110428382B (zh) | 一种用于移动终端的高效视频增强方法、装置和存储介质 | |
| Feng et al. | TapLab: A fast framework for semantic video segmentation tapping into compressed-domain knowledge | |
| CN112235569B (zh) | 基于h264压缩域的快速视频分类方法、系统及装置 | |
| KR20220101645A (ko) | 게이밍 초해상도 | |
| Feng et al. | A dual-network based super-resolution for compressed high definition video | |
| US20220103831A1 (en) | Intelligent computing resources allocation for feature network based on feature propagation | |
| Katakol et al. | Distributed learning and inference with compressed images | |
| US20240022761A1 (en) | Learned b-frame coding using p-frame coding system | |
| CN116996695B (zh) | 一种全景图像压缩方法、装置、设备及介质 | |
| TWI826160B (zh) | 圖像編解碼方法和裝置 | |
| CN113902647A (zh) | 一种基于双闭环网络的图像去模糊方法 | |
| Tovar et al. | Deep Learning Based Real-Time Image Upscaling for Limited Data Rate and Prevalent Resources | |
| WO2023102868A1 (en) | Enhanced architecture for deep learning-based video processing | |
| CN114973049B (zh) | 一种统一卷积与自注意力的轻量视频分类方法 | |
| CN116668702B (zh) | 一种视频编码方法、装置、终端设备及存储介质 | |
| US20240046527A1 (en) | End-to-end optimization of adaptive spatial resampling towards machine vision | |
| WO2023133888A1 (zh) | 图像处理方法、装置、遥控设备、系统及存储介质 | |
| Zhou et al. | Lightweight Self-Attention Network for Semantic Segmentation | |
| US20230162492A1 (en) | Method, server device, and system for processing offloaded data | |
| CN108765259B (zh) | 一种基于gpu的高光谱图像ratgp和rosp并行优化方法 | |
| Zheng et al. | Towards 360$$^{\circ} $$ image compression for machines via modulating pixel significance | |
| CN117557452A (zh) | 一种图像还原方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |