CN115134526A - 一种基于云端控制的图像编码方法、装置及设备 - Google Patents

一种基于云端控制的图像编码方法、装置及设备 Download PDF

Info

Publication number
CN115134526A
CN115134526A CN202210747402.2A CN202210747402A CN115134526A CN 115134526 A CN115134526 A CN 115134526A CN 202210747402 A CN202210747402 A CN 202210747402A CN 115134526 A CN115134526 A CN 115134526A
Authority
CN
China
Prior art keywords
image
prediction information
initial
images
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210747402.2A
Other languages
English (en)
Inventor
刘娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Runbo Panoramic Culture And Tourism Technology Co ltd
Original Assignee
Runbo Panoramic Culture And Tourism Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Runbo Panoramic Culture And Tourism Technology Co ltd filed Critical Runbo Panoramic Culture And Tourism Technology Co ltd
Priority to CN202210747402.2A priority Critical patent/CN115134526A/zh
Publication of CN115134526A publication Critical patent/CN115134526A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于云端控制的图像编码方法、装置及设备，涉及图像处理技术领域，其中，所述方法包括：获取至少两张原始图像；将所述至少两张原始图像进行压缩，得到至少两个初始压缩文件；将所述至少两个初始压缩文件发送到云端设备，以使所述云端设备接收所述至少两个初始压缩文件；分别对所述至少两个初始压缩文件进行解压，得到至少两张初始图像；对所述至少两张初始图像进行拼接，得到拼接后的全景图像；对所述全景图像进行语义分析，得到所述全景相机的预测信息；将所述预测信息反馈到全景相机端；接收所述预测信息；根据所述预测信息分别对所述至少两张原始图像进行编码。通过上述方式，本发明减少了全景相机的资源消耗。

Description

一种基于云端控制的图像编码方法、装置及设备
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于云端控制的图像编码方法、装置及设备。
背景技术
全景相机是通过多个镜头、传感器系统以及图像拼接实现的拍摄技术，可生成全景图像。
但全景相机在图像或视频进行拼接的过程中，特征点提取、特征点匹配等过程需要大量的计算开销，比较耗费资源，且拼接后的图像在传输过程中，也需要大量的能量。这对景区使用依赖电池供电的全景相机而言意味着更快的电池消耗，会恶化单次充电服务时长。
而现有的解决方法通常是对每个传感器获得视频数据使用视频压缩算法，并发送至云端服务器进行编码，而这种编码方法虽然能够大大减少数据传输的通信带宽开销，但是视频压缩算法需要额外的计算开销，同样会降低电池使用寿命和传输时延。
基于此，如何通过使用一种基于云端控制的图像编码方法来减少全景相机的资源消耗是本领域人员亟待解决的问题。
发明内容
为解决上述问题，提出了本发明实施例的基于云端控制的图像编码方法、装置及设备。
根据本发明实施例的一个方面，提供了一种基于云端控制的图像编码方法，应用于全景相机端，所述方法包括：
获取至少两张原始图像；
将所述至少两张原始图像进行压缩，得到至少两个初始压缩文件；
将所述至少两个初始压缩文件发送到云端设备，以使所述云端设备接收所述至少两个初始压缩文件；分别对所述至少两个初始压缩文件进行解压，得到至少两张初始图像；对所述至少两张初始图像进行拼接，得到拼接后的全景图像；对所述全景图像进行语义分析，得到所述全景相机的预测信息；将所述预测信息反馈到全景相机端；
接收所述预测信息；
根据所述预测信息分别对所述至少两张原始图像进行编码。
可选的，获取至少两张原始图像，包括：
通过至少两个图像传感器获取至少两张原始图像，其中，每个图像传感器至少获得一张原始图像。
可选的，所述预测信息包括至少两个子预测信息，其中，每张初始图像均对应一个子预测信息，所述子预测信息至少包括以下两种：
运动矢量和预测残差。
可选的，根据所述预测信息分别对所述至少两张原始图像进行编码，包括：
根据所述预测信息分别对所述至少两张原始图像进行编码操作；
针对任意一张原始图像，所述编码操作包括：
若该原始图像的子预测信息符合预设条件，则对该原始图像进行编码；
若该原始图像的子预测信息不符合预设条件，则对该原始图像进行评估，根据评估结果对该原始图像进行编码。
可选的，根据评估结果对该原始图像进行编码，包括：
若该原始图像的运动矢量和预测残差均在预设阈值范围内，则对该原始图像进行编码。
根据本发明实施例的又一个方面，提供了一种基于云端控制的图像编码方法，应用于云端设备，所述方法包括：
接收至少两个初始压缩文件；
分别对所述至少两个初始压缩文件进行解压，得到至少两张初始图像；
对所述至少两张初始图像进行拼接，得到拼接后的全景图像；
对所述全景图像进行语义分析，得到所述全景相机的预测信息；
将所述预测信息反馈到全景相机端，以使所述全景相机端根据所述预测信息对原始图像进行编码。
根据本发明实施例的又一个方面，提供了一种基于云端控制的图像编码装置，应用于全景相机端，所述装置包括：
获取模块，用于获取至少两张原始图像；
压缩模块，用于将所述至少两张原始图像进行压缩，得到至少两个初始压缩文件；
发送模块，用于将所述至少两个初始压缩文件发送到云端设备，以使所述云端设备接收所述至少两个初始压缩文件；分别对所述至少两个初始压缩文件进行解压，得到至少两张初始图像；对所述至少两张初始图像进行拼接，得到拼接后的全景图像；对所述全景图像进行语义分析，得到所述全景相机的预测信息；将所述预测信息反馈到全景相机端；
第一处理模块，用于接收所述预测信息；根据所述预测信息分别对所述至少两张原始图像进行编码。
根据本发明实施例的又一个方面，提供了一种基于云端控制的图像编码装置，应用于云端设备，所述装置包括：
接收模块，用于接收至少两个初始压缩文件；
第二处理模块，用于分别对所述至少两个初始压缩文件进行解压，得到至少两张初始图像；对所述至少两张初始图像进行拼接，得到拼接后的全景图像；对所述全景图像进行语义分析，得到所述全景相机的预测信息；将所述预测信息反馈到全景相机端，以使所述全景相机端根据所述预测信息对原始图像进行编码。
根据本发明实施例的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述基于云端控制的图像编码方法对应的操作。
根据本发明实施例的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述基于云端控制的图像编码方法对应的操作。
根据本发明上述实施例提供的方案，通过获取至少两张原始图像；将所述至少两张原始图像进行压缩，得到至少两个初始压缩文件；将所述至少两个初始压缩文件发送到云端设备，以使所述云端设备接收所述至少两个初始压缩文件；分别对所述至少两个初始压缩文件进行解压，得到至少两张初始图像；对所述至少两张初始图像进行拼接，得到拼接后的全景图像；对所述全景图像进行语义分析，得到所述全景相机的预测信息；将所述预测信息反馈到全景相机端；接收所述预测信息；根据所述预测信息分别对所述至少两张原始图像进行编码，减少了全景相机的资源消耗。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明实施例的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种应用于全景相机端的基于云端控制的图像编码方法流程图；
图2示出了本发明实施例提供的一种具体的全景相机示意图；
图3示出了本发明实施例提供的一种具体的现有全景相机拍摄流程示意图；
图4示出了本发明实施例提供的一种具体的传感器运动矢量变化示意图；
图5示出了本发明实施例提供的另一种具体的传感器运动矢量变化示意图；
图6示出了本发明实施例提供的一种应用于云端设备的基于云端控制的图像编码方法流程图；
图7示出了本发明实施例提供的一种具体的预测skip mode区域的示意图；
图8示出了本发明实施例提供的一种具体的预测skip mode内的编码方法示意图；
图9示出了本发明实施例提供的一种具体的基于Skip mode预测的全景相机视频编码方法示意图；
图10示出了本发明实施例提供的一种应用于全景相机端的基于云端控制的图像编码装置的结构示意图；
图11示出了本发明实施例提供的一种应用于云端设备的基于云端控制的图像编码装置的结构示意图；
图12示出了本发明实施例提供的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例提供的一种应用于全景相机端的基于云端控制的图像编码方法流程图。如图1所示，该方法包括以下步骤：
步骤11，获取至少两张原始图像；
步骤12，将所述至少两张原始图像进行压缩，得到至少两个初始压缩文件；
步骤13，将所述至少两个初始压缩文件发送到云端设备，以使所述云端设备接收所述至少两个初始压缩文件；分别对所述至少两个初始压缩文件进行解压，得到至少两张初始图像；对所述至少两张初始图像进行拼接，得到拼接后的全景图像；对所述全景图像进行语义分析，得到所述全景相机的预测信息；将所述预测信息反馈到全景相机端；
步骤14，接收所述预测信息；
步骤15，根据所述预测信息分别对所述至少两张原始图像进行编码。
该实施例中，通过获取至少两张原始图像；将所述至少两张原始图像进行压缩，得到至少两个初始压缩文件；将所述至少两个初始压缩文件发送到云端设备，以使所述云端设备接收所述至少两个初始压缩文件；分别对所述至少两个初始压缩文件进行解压，得到至少两张初始图像；对所述至少两张初始图像进行拼接，得到拼接后的全景图像；对所述全景图像进行语义分析，得到所述全景相机的预测信息；将所述预测信息反馈到全景相机端；接收所述预测信息；根据所述预测信息分别对所述至少两张原始图像进行编码，减少了全景相机的资源消耗。
在本发明的一可选的实施例中，步骤11可以包括：
步骤111，通过至少两个图像传感器获取至少两张原始图像，其中，每个图像传感器至少获得一张原始图像。
该实施例中，所述至少两个图像传感器为同一全景相机的图像传感器。
图2示出了本发明实施例提供的一种具体的全景相机示意图，如图2所示，该全景相机包括底部立柱和顶部全景相机。底部立柱内部包括电池模块、控制模块、通信模块；顶部包括至少两个透镜组以及对应的图像传感器和图像信号处理器(Image SignalProcessor，ISP)。控制模块用于控制相机的启动、拍摄以及图像处理。其中，控制模块可以单独或同时控制每个透镜组及对应的图像传感器和图像信号处理器。
在本发明的又一可选的实施例中，步骤15可以包括：
步骤151，根据所述预测信息分别对所述至少两张原始图像进行编码操作，其中，所述预测信息包括至少两个子预测信息，每张初始图像均对应一个子预测信息，所述子预测信息至少包括以下两种：运动矢量和预测残差；
步骤152，针对任意一张原始图像，所述编码操作包括：
步骤153，若该原始图像的子预测信息符合预设条件，则对该原始图像进行编码；
步骤154，若该原始图像的子预测信息不符合预设条件，则对该原始图像进行评估，根据评估结果对该原始图像进行编码。
如图3-图5所示，该实施例中，图3示出了一种具体的全景相机示意图，从图中可以看出该全景相机包含4个拍摄镜头，每个镜头对应一个传感器用于获得对应的图像，如图所示为A-1、B-1、C-1、D-1四个图像，相机通过无线通信模块将图像发送至云端服务器，云端服务器完成拼接后通过通信模块发送至用户。其中镜头2朝向用户，镜头1、3、4朝向环境。图2中所展示的是最终成像的过程，即为用户提供一个全景图像的过程。其中，图像拼接是在云端服务器的拼接模块内完成的，因此全景相机发送的四个图像A-1、B-1、C-1、D-1四个图像是对应传感器获得的全尺寸图像，该全尺寸图像通过拼接算法来获得最终的全景图像。进一步，在连续的视频拍摄模式下，每个传感器获得连续图像经过视频压缩模块进行压缩，并在云端进行解压缩。
进一步，在视频压缩模块中，由图3所示，镜头2朝向用户，因此包含了较多的动态内容。而镜头1、3、4朝向景区，因此包含了较少的动态内容。然而，压缩模块对该背景并无感知。在视频编码过程中，例如使用H.264或H.265技术的视频编码技术中，如果画面相对静止，则编码的结果可能是运动矢量为0，预测残差也为0。在编码中可以用跳过模式(skipmode)来对对应的编码块进行编码。如图4所示，传感器1对应图3镜头1，获得的图像存在大量的静态景物信息，因此运动矢量为0，预测残差也为0。然而，虽然使用skip mode能减少编码所使用的数据量，但是编码器仍然使用搜索算法对不同的编码块进行搜索，例如图4和5中虚线所示。尤其是在使用了更先进的编码标准后，搜索器需要遍历不同的编码块格式，这进一步带来大量的开销。传感器2对应图3的镜头2，在该传感器中，画面可能包含运动的用户信息，因此其编码更类似于传统的视频编码，也就是运动矢量和预测残差多数情况下不为0。
在本发明的再一可选的实施例中，步骤154中，根据评估结果对该原始图像进行编码，包括：
步骤1541，若该原始图像的运动矢量和预测残差均在预设阈值范围内，则对该原始图像进行编码。
该实施例中，当运动矢量和预测残差其中一项大于预设阈值，则说明图像变化较大，预测可能存在偏差，此时判定预测结果无效。
图6示出了本发明实施例提供的一种应用于云端设备的基于云端控制的图像编码方法流程图。如图6所示，该方法包括以下步骤：
步骤61，接收至少两个初始压缩文件；
步骤62，分别对所述至少两个初始压缩文件进行解压，得到至少两张初始图像；
步骤63，对所述至少两张初始图像进行拼接，得到拼接后的全景图像；
步骤64，对所述全景图像进行语义分析，得到所述全景相机的预测信息；
步骤65，将所述预测信息反馈到全景相机端，以使所述全景相机端根据所述预测信息对原始图像进行编码。
本发明的实施例还提供了一种具体的基于云端控制的视频编码方法，包括：
步骤一，云端服务器获得全景相机发送的每个传感器对应的压缩视频数据，对其进行解码。
步骤二，云端服务器对多个传感器对应的图像进行视频拼接，获得拼接后的图像。
步骤三，云端服务器对全景图像进行语义分析，获得未来图像skip mode的区域预测信息。该信息为以像素为单位的区域信息，并对应于不同的传感器。云端服务器将skipmode的预测信息区域发送至全景相机。
步骤四，全景相机收到预测信息后，在对应的区域使用skip mode进行图像编码。预测信息可以包含编码单元设置和参考帧的索引信息。
其中，步骤四可以使用skip mode对预测信息指示的区域进行编码；
也可以对预测信息指示的区域内的图像skip mode的预测残差进行评估，在评估结果为skip mode可用时，使用skip mode进行编码。在skip mode不可用时，编码预测残差并在编码数据流中指示对应编码块没有使用skip mode。
以下以三种具体的实施方式来说明基于于云端控制的视频编码方法具体的过程。
如图7所示，具体实施方式一：
实施例一，云端服务器根据编码器的结果来生成预测范围。云端服务器根据不同传感器对应区域的skip mode编码单元来生成预测区域。在该实施例中，云端服务器通过一个编码单元的skip mode累计量来判断是否将该编码单元对应的区域判定为预测区域之一。如果该累计量超过预定义的阈值，则判断该区域为预测skip mode区域。在一个预定的时间窗口内，计算获得的skip mode区域，并计算连接的skip mode编码块区域，生成包含多个编码块区域的预测skip mode区域。
实施例二，云端根据全景相机的语义分析结果生成预测区域。可以通过深度神经网络对全景图像的语义进行识别，并根据识别结果生成预测区域。例如，利用神经网络对全景图像中的目标进行分类，得到分类结果，并根据分类结果判断预测区域。例如，一个简单的分类器可以将全景图像中的目标分成自然景观、人造景观、移动目标三个类别。并将自然景观、人造景观目标所在对应的区域判断为预测skip mode区域。
实施例三，云端进一步利用预存的数据库进行区域判断。这是由于景区的自然景观和人造景观，尤其是人造景观对于固定的全景相机而言会长时间保持静态。云端根据人工标注的目标或者通过自动识别的景观类别数据生成一个目标列表，例如目标列表包括佛像、山门、酒店等目标。当云端服务器从合成的全景图像中识别出目标列表中的目标后，将对应的图像区域标记为预测skip mode区域。
实施例四，云端服务器结合上述多种实施例的一种或多种来识别预测skip mode区域。例如云端服务器将编码器中持续被识别为skip mode并且通过对全景图像进行语义识别后识别为自然或人造景观的区域判定为预测skip mode区域。
如图8所示，具体实施方式二：
全景相机在收到预测的skip mode区域后，在获得新的图像帧后，编码器将不再对区域内的编码块进行搜索，而是直接使用skip mode进行编码，也就是编码器默认为对应的编码块运动矢量为0，预测残差为0。
在该具体实施方式中，编码器默认预测skip mode区域内的运动矢量为0，但是编码预测残差。并将预测残差编码入码流之中。
图8示出了本发明实施例提供的另一种具体的传感器运动矢量变化示意图，图中展示了全景相机内部对一个传感器获得的图像进行处理的流程。其中，在预测skip mode区域内不在进行任何搜索操作，而是直接使用skip mode进行编码。而在预测skip mode区域以外的区域，则使用基于传统编码方法进行编码，该过程需要对缓存内的数据帧进行搜索，以找到对应的最优参考帧和编码块。
如图9所示，具体实施方式三：
在该具体实施方式中，全景相机收到预测skip mode区域后，将对skip mode编码方式进行评估。这是由于云端服务器基于现有视频数据对可能使用skip mode的区域来进行预测，然而这种预测可能存在偏差。当预测存在偏差时，skip mode将带来较大的预测残差，也就是实际上不再适用预测的结果。因此，全景相机根据运动矢量为0，计算预测残差，当预测残差值大于预定义的阈值时，判定预测结果失效。此时，全景相机可以回到使用传统的编码方式进行重新的参考帧和参考编码单元的搜索。在另外一种方式中，全景相机直接编码此时的预测残差，并在码流中标记回滚的状态。云端服务器在收到编码数据后，根据标记的回滚状态，更新对预测skip mode的区域的计算。例如，在具体实施方式一的skip mode预测区域方法中，如果云端服务器收到一个预测区域内回滚的编码单元，则重新计数该编码单元累计为skip mode的数值。在具体实施方式二的skip mode预测区域方法中，如果云端服务器收到一个预测区域内回滚的编码单元，则清空预存数据库，并重新进行语义识别。
图9给出了本发明所描述的方法的示意图，其中云端服务器通过skip mode区域计算模块根据缓存数据，例如A-1、B-1、C-1、D-1的合成图像预测skip mode的区域，并通过信令发送到全景相机。全景相机在当前帧A-2、B-2、C-2、D-2的编码过程中，在指示的区域内使用skip mode进行编码，也就是默认运动矢量为0。通过所述方法，整个系统将利用云端服务器的计算资源，实现对全景相机端视频编码的辅助，节约大量的视频编码过程中所需要的参考编码块的搜索操作，进而减少全景相机端的计算开销，延长电池寿命。
在本发明的上述实施例中，通过获取至少两张原始图像；将所述至少两张原始图像进行压缩，得到至少两个初始压缩文件；将所述至少两个初始压缩文件发送到云端设备，以使所述云端设备接收所述至少两个初始压缩文件；分别对所述至少两个初始压缩文件进行解压，得到至少两张初始图像；对所述至少两张初始图像进行拼接，得到拼接后的全景图像；对所述全景图像进行语义分析，得到所述全景相机的预测信息；将所述预测信息反馈到全景相机端；接收所述预测信息；根据所述预测信息分别对所述至少两张原始图像进行编码，减少了全景相机的资源消耗。
图10示出了本发明实施例提供的基于云端控制的图像编码装置100的结构示意图。如图10所示，该装置包括：
获取模块101，用于获取至少两张原始图像；
压缩模块102，用于将所述至少两张原始图像进行压缩，得到至少两个初始压缩文件；
发送模块103，用于将所述至少两个初始压缩文件发送到云端设备，以使所述云端设备接收所述至少两个初始压缩文件；分别对所述至少两个初始压缩文件进行解压，得到至少两张初始图像；对所述至少两张初始图像进行拼接，得到拼接后的全景图像；对所述全景图像进行语义分析，得到所述全景相机的预测信息；将所述预测信息反馈到全景相机端；
第一处理模块104，用于接收所述预测信息；根据所述预测信息分别对所述至少两张原始图像进行编码。
可选的，所述获取模块101还用于通过至少两个图像传感器获取至少两张原始图像，其中，每个图像传感器至少获得一张原始图像。
可选的，所述预测信息包括至少两个子预测信息，其中，每张初始图像均对应一个子预测信息，所述子预测信息至少包括以下两种：
运动矢量和预测残差。
可选的，所述第一处理模块104还用于根据所述预测信息分别对所述至少两张原始图像进行编码操作；
针对任意一张原始图像，所述编码操作包括：
若该原始图像的子预测信息符合预设条件，则对该原始图像进行编码；
若该原始图像的子预测信息不符合预设条件，则对该原始图像进行评估，根据评估结果对该原始图像进行编码。
可选的，所述第一处理模块104还用于若该原始图像的运动矢量和预测残差均在预设阈值范围内，则对该原始图像进行编码。
图11示出了本发明实施例提供的基于云端控制的图像编码装置110的结构示意图。如图11所示，该装置包括：
接收模块111，用于接收至少两个初始压缩文件；
第二处理模块112，用于分别对所述至少两个初始压缩文件进行解压，得到至少两张初始图像；对所述至少两张初始图像进行拼接，得到拼接后的全景图像；对所述全景图像进行语义分析，得到所述全景相机的预测信息；将所述预测信息反馈到全景相机端，以使所述全景相机端根据所述预测信息对原始图像进行编码。
应理解，上述对图1至图9示意的方法实施例的说明，仅是以可选示例的方式对本发明技术方案的阐述，对本发明涉及的基于云端控制的图像编码方法不构成限制。另一些实施方式中，本发明涉及的基于云端控制的图像编码方法的执行步骤和顺序，可以不同于上述实施例，本发明实施例对此不限制。
需要说明的是，该实施例是与上述方法实施例对应的装置实施例，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于云端控制的图像编码方法。
图12示出了本发明实施例提供的计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图12所示，该计算设备可以包括：处理器(processor)、通信接口(Communications Interface)、存储器(memory)、以及通信总线。
其中：处理器、通信接口、以及存储器通过通信总线完成相互间的通信。通信接口，用于与其它设备比如客户端或其它服务器等的网元通信。处理器，用于执行程序，具体可以执行上述用于计算设备的基于云端控制的图像编码方法实施例中的相关步骤。
具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。
处理器可能是中央处理器CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器，用于存放程序。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序具体可以用于使得处理器执行上述任意方法实施例中的基于云端控制的图像编码方法。程序中各步骤的具体实现可以参见上述基于云端控制的图像编码方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明实施例的内容，并且上面对特定语言所做的描述是为了披露本发明实施例的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明实施例并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明实施例进行说明而不是对本发明进行限制，位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (10)

1.一种基于云端控制的图像编码方法，其特征在于，应用于全景相机端，所述方法包括：
获取至少两张原始图像；
将所述至少两张原始图像进行压缩，得到至少两个初始压缩文件；
将所述至少两个初始压缩文件发送到云端设备，以使所述云端设备接收所述至少两个初始压缩文件；分别对所述至少两个初始压缩文件进行解压，得到至少两张初始图像；对所述至少两张初始图像进行拼接，得到拼接后的全景图像；对所述全景图像进行语义分析，得到所述全景相机的预测信息；将所述预测信息反馈到全景相机端；
接收所述预测信息；
根据所述预测信息分别对所述至少两张原始图像进行编码。
2.根据权利要求1所述的基于云端控制的图像编码方法，其特征在于，获取至少两张原始图像，包括：
通过至少两个图像传感器获取至少两张原始图像，其中，每个图像传感器至少获得一张原始图像。
3.根据权利要求1所述的基于云端控制的图像编码方法，其特征在于，所述预测信息包括至少两个子预测信息，其中，每张初始图像均对应一个子预测信息，所述子预测信息至少包括以下两种：
运动矢量和预测残差。
4.根据权利要求3所述的基于云端控制的图像编码方法，其特征在于，根据所述预测信息分别对所述至少两张原始图像进行编码，包括：
根据所述预测信息分别对所述至少两张原始图像进行编码操作；
针对任意一张原始图像，所述编码操作包括：
若该原始图像的子预测信息符合预设条件，则对该原始图像进行编码；
若该原始图像的子预测信息不符合预设条件，则对该原始图像进行评估，根据评估结果对该原始图像进行编码。
5.根据权利要求4所述的基于云端控制的图像编码方法，其特征在于，根据评估结果对该原始图像进行编码，包括：
若该原始图像的运动矢量和预测残差均在预设阈值范围内，则对该原始图像进行编码。
6.一种基于云端控制的图像编码方法，其特征在于，应用于云端设备，所述方法包括：
接收至少两个初始压缩文件；
分别对所述至少两个初始压缩文件进行解压，得到至少两张初始图像；
对所述至少两张初始图像进行拼接，得到拼接后的全景图像；
对所述全景图像进行语义分析，得到所述全景相机的预测信息；
将所述预测信息反馈到全景相机端，以使所述全景相机端根据所述预测信息对原始图像进行编码。
7.一种基于云端控制的图像编码装置，其特征在于，应用于全景相机端，所述装置包括：
获取模块，用于获取至少两张原始图像；
压缩模块，用于将所述至少两张原始图像进行压缩，得到至少两个初始压缩文件；
发送模块，用于将所述至少两个初始压缩文件发送到云端设备，以使所述云端设备接收所述至少两个初始压缩文件；分别对所述至少两个初始压缩文件进行解压，得到至少两张初始图像；对所述至少两张初始图像进行拼接，得到拼接后的全景图像；对所述全景图像进行语义分析，得到所述全景相机的预测信息；将所述预测信息反馈到全景相机端；
第一处理模块，用于接收所述预测信息；根据所述预测信息分别对所述至少两张原始图像进行编码。
8.一种基于云端控制的图像编码装置，其特征在于，应用于云端设备，所述装置包括：
接收模块，用于接收至少两个初始压缩文件；
第二处理模块，用于分别对所述至少两个初始压缩文件进行解压，得到至少两张初始图像；对所述至少两张初始图像进行拼接，得到拼接后的全景图像；对所述全景图像进行语义分析，得到所述全景相机的预测信息；将所述预测信息反馈到全景相机端，以使所述全景相机端根据所述预测信息对原始图像进行编码。
9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存储至少一可执行指令，所述至少一可执行指令运行时使所述处理器执行如权利要求1-6中任一项所述的基于云端控制的图像编码方法。
10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令运行时使计算设备执行如权利要求1-6中任一项所述的基于云端控制的图像编码方法。
CN202210747402.2A 2022-06-28 2022-06-28 一种基于云端控制的图像编码方法、装置及设备 Pending CN115134526A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210747402.2A CN115134526A (zh) 2022-06-28 2022-06-28 一种基于云端控制的图像编码方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210747402.2A CN115134526A (zh) 2022-06-28 2022-06-28 一种基于云端控制的图像编码方法、装置及设备

Publications (1)

Publication Number Publication Date
CN115134526A true CN115134526A (zh) 2022-09-30

Family

ID=83380787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210747402.2A Pending CN115134526A (zh) 2022-06-28 2022-06-28 一种基于云端控制的图像编码方法、装置及设备

Country Status (1)

Country Link
CN (1) CN115134526A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101478675A (zh) * 2008-01-03 2009-07-08 中国科学院计算技术研究所 一种视频中语义事件检测方法及系统
CN103596003A (zh) * 2013-11-11 2014-02-19 中国科学技术大学 高性能视频编码的帧间预测快速模式选择方法
US20140118398A1 (en) * 2012-10-31 2014-05-01 Sony Computer Entertainment Europe Limited Apparatus and method for augmented reality
CN108882020A (zh) * 2017-05-15 2018-11-23 北京大学 一种视频信息处理方法、装置及系统
CN110300302A (zh) * 2019-06-05 2019-10-01 锐捷网络股份有限公司 一种视频编码方法、装置和存储介质
CN112822497A (zh) * 2020-12-01 2021-05-18 青岛大学 基于边缘计算的视频压缩编码处理方法及相关组件
CN114073066A (zh) * 2019-07-03 2022-02-18 高途乐公司 用于经捕获图像数据的预处理和稳定的设备和方法
CN114565773A (zh) * 2020-11-27 2022-05-31 安徽寒武纪信息科技有限公司 语义分割图像的方法、装置、电子设备以及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101478675A (zh) * 2008-01-03 2009-07-08 中国科学院计算技术研究所 一种视频中语义事件检测方法及系统
US20140118398A1 (en) * 2012-10-31 2014-05-01 Sony Computer Entertainment Europe Limited Apparatus and method for augmented reality
CN103596003A (zh) * 2013-11-11 2014-02-19 中国科学技术大学 高性能视频编码的帧间预测快速模式选择方法
CN108882020A (zh) * 2017-05-15 2018-11-23 北京大学 一种视频信息处理方法、装置及系统
CN110300302A (zh) * 2019-06-05 2019-10-01 锐捷网络股份有限公司 一种视频编码方法、装置和存储介质
CN114073066A (zh) * 2019-07-03 2022-02-18 高途乐公司 用于经捕获图像数据的预处理和稳定的设备和方法
CN114565773A (zh) * 2020-11-27 2022-05-31 安徽寒武纪信息科技有限公司 语义分割图像的方法、装置、电子设备以及存储介质
CN112822497A (zh) * 2020-12-01 2021-05-18 青岛大学 基于边缘计算的视频压缩编码处理方法及相关组件

Similar Documents

Publication Publication Date Title
Galteri et al. Video compression for object detection algorithms
US20070081814A1 (en) Apparatus and method for encoding and decoding multi-view picture using camera parameter, and recording medium storing program for executing the method
WO2012103332A2 (en) Encoding of video stream based on scene type
CN110232418B (zh) 一种语义识别方法、终端及计算机可读存储介质
US8861598B2 (en) Video compression using search techniques of long-term reference memory
CN112714321B (zh) 压缩视频处理方法、装置、设备及计算机可读存储介质
CN110944201A (zh) 一种视频去重压缩的方法、装置、服务器及存储介质
CN112085768A (zh) 光流信息预测方法、装置、电子设备和存储介质
CN114679607A (zh) 一种视频帧率控制方法、装置、电子设备及存储介质
CN114494942A (zh) 视频分类方法及装置、存储介质及电子设备
Yuan et al. AccDecoder: Accelerated decoding for neural-enhanced video analytics
US20230188679A1 (en) Apparatus and method for transmitting images and apparatus and method for receiving images
CN112261417A (zh) 视频推送方法及系统、设备及可读存储介质
CN115134526A (zh) 一种基于云端控制的图像编码方法、装置及设备
CN107194961B (zh) 群体图像编码中多参考图像的确定方法
JP7211373B2 (ja) 動画像解析装置、動画像解析システム、動画像解析方法、及びプログラム
CN106611043A (zh) 一种视频搜索方法及系统
EP4120684A1 (en) Method and system for optimizing image and video compression for machine vision
EP3073738A1 (en) Methods and devices for video encoding
CN112199547A (zh) 图像处理方法及装置、存储介质和电子设备
CN114170545A (zh) 一种数据处理方法、装置、存储介质及电子装置
Zhao et al. Research on intelligent target detection and coder-decoder technology based on embedded platform
CN116918329A (zh) 一种视频帧的压缩和视频帧的解压缩方法及装置
US20200252637A1 (en) Moving image processor, moving image processing system, and moving image processing method
US11533484B1 (en) Method and system for optimizing image and video compression for machine vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination