CN113014905A - 图像帧的生成方法及装置、存储介质、电子设备 - Google Patents

Abstract

本发明公开了一种图像帧的生成方法及装置、存储介质、电子设备，属于视频编码技术领域。其中，该方法包括：获取双目相机采集的第一画面和第二画面，其中，所述双目相机包括左右平行的第一摄像头和第二摄像头，所述第一摄像头用于采集所述第一画面，所述第二摄像头用于采集所述第二画面；根据所述第一画面搜索所述第二画面的编码参考信息；基于所述编码参考信息生成所述第二画面的图像帧。通过本发明，解决了相关技术在编码双目相机视频时压缩率低的技术问题，节省了视频码率。

Description

图像帧的生成方法及装置、存储介质、电子设备

技术领域

本发明涉及视频编码领域，具体而言，涉及一种图像帧的生成方法及装置、存储介质、电子设备。

背景技术

相关技术中的，双目相机是模拟人眼放置两个摄像机，可以通过算法分析左右摄像机图像差异，计算出图像中各个物体的景深(即物体距离摄像头的距离)，在自动驾驶和机器人领域替代激光雷达的可选方案。

相关技术中，传统两个摄像机采集左右摄像头图像后，左右相机图像均是独立传输和存储视频文件。独立存储双目摄像头文件，所占传输带宽大且存储空间大、双目相机两幅画面图像信息未能得到复用。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种图像帧的生成方法及装置、存储介质、电子设备。

根据本申请实施例的一个方面，提供了一种图像帧的生成方法，包括：获取双目相机采集的第一画面和第二画面，其中，所述双目相机包括左右平行的第一摄像头和第二摄像头，所述第一摄像头用于采集所述第一画面，所述第二摄像头用于采集所述第二画面；根据所述第一画面搜索所述第二画面的编码参考信息；基于所述编码参考信息生成所述第二画面的图像帧。

进一步，根据所述第一画面搜索所述第二画面的编码参考信息包括：将所述第一画面和所述第二画面拼接为第三画面；基于所述第一画面生成图像帧，其中，所述图像帧包括多个第一编码块CU，所述多个第一CU呈矩阵排列；在所述多个第一CU中搜索所述第二画面的参考CU。

进一步，在所述多个第一CU中搜索所述第二画面的参考CU包括：针对所述第二画面待编码的起始第二CU，从所述多个第一CU的起始CU开始逐块搜索与所述起始第二CU匹配的起始参考块；从所述第二画面待编码的指定第二CU开始，从所述多个第一CU的所述起始参考块开始逐块搜索与所述指定第二CU匹配的第m个参考块，直到遍历完成所述第二画面所有待编码的第二CU，其中，所述指定第二CU为所述起始第二CU的相邻块，其中，m为正整数。

进一步，从所述多个第一CU的起始CU开始逐块搜索与所述起始第二CU匹配的起始参考块包括：从所述多个第一CU的起始CU开始，逐块遍历执行以下步骤，直到搜索到匹配的起始参考块或者达到搜索终止条件：计算当前第n个第二CU与所述起始CU的第一局部残差值，第n-1个第二CU与所述起始CU的第二局部残差，以及第n+1个第二CU与所述起始CU的第三局部残差，其中，n为大于1的整数，其中，局部残差值用于表征两个CU之间的像素差异度；若所述第一局部残差值同时小于所述第二局部残差和所述第三局部残差，且所述第一局部残差值小于预设阈值，确定所述第n个第二CU为与所述起始第二CU匹配的起始参考块。

进一步，计算当前第n个第二CU与所述起始CU的第一局部残差值包括：获取第n个第二CU的第一像素矩阵，以及所述起始CU的第二像素矩阵；统计所述第一像素矩阵与所述第二像素矩阵中多对像素点的像素差绝对值之和，其中，每对像素点中两个像素在对应像素矩阵中的坐标相同；将所述像素差绝对值之和确定为所述第一局部残差值。

进一步，在遍历开始之前，所述方法还包括：判断遍历步长是否达到预设步长，和/或，判断当前行的第一CU是否已经遍历完；若遍历步长达到预设步长或当前行的第一CU已经遍历完，确定符合搜索终止条件，并确定匹配失败。

进一步，基于所述编码参考信息生成所述第二画面的图像帧包括：在图像帧的帧内复制所述编码参考信息，生成所述第二画面的帧数据，其中，所述第一画面和所述第二画面均编码在所述图像帧中。

根据本申请实施例的另一个方面，还提供了一种图像帧的生成装置，包括：获取模块，用于获取双目相机采集的第一画面和第二画面，其中，所述双目相机包括左右平行的第一摄像头和第二摄像头，所述第一摄像头用于采集所述第一画面，所述第二摄像头用于采集所述第二画面；搜索模块，用于根据所述第一画面搜索所述第二画面的编码参考信息；生成模块，用于基于所述编码参考信息生成所述第二画面的图像帧。

进一步，所述搜索模块包括：拼接单元，用于将所述第一画面和所述第二画面拼接为第三画面；拼接单元，用于基于所述第一画面生成图像帧，其中，所述图像帧包括多个第一编码块CU，所述多个第一CU呈矩阵排列；搜索单元，用于在所述多个第一CU中搜索所述第二画面的参考CU。

进一步，所述搜索单元包括：第一搜索子单元，用于针对所述第二画面待编码的起始第二CU，从所述多个第一CU的起始CU开始逐块搜索与所述起始第二CU匹配的起始参考块；第二搜索子单元，用于从所述第二画面待编码的指定第二CU开始，从所述多个第一CU的所述起始参考块开始逐块搜索与所述指定第二CU匹配的第m个参考块，直到遍历完成所述第二画面所有待编码的第二CU，其中，所述指定第二CU为所述起始第二CU的相邻块，其中，m为正整数。

进一步，所述第一搜索子单元还用于：从所述多个第一CU的起始CU开始，逐块遍历执行以下步骤，直到搜索到匹配的起始参考块或者达到搜索终止条件：计算当前第n个第二CU与所述起始CU的第一局部残差值，第n-1个第二CU与所述起始CU的第二局部残差，以及第n+1个第二CU与所述起始CU的第三局部残差，其中，n为大于1的整数，其中，局部残差值用于表征两个CU之间的像素差异度；若所述第一局部残差值同时小于所述第二局部残差和所述第三局部残差，且所述第一局部残差值小于预设阈值，确定所述第n个第二CU为与所述起始第二CU匹配的起始参考块。

进一步，所述第一搜索子单元在计算当前第n个第二CU与所述起始CU的第一局部残差值时，还用于：获取第n个第二CU的第一像素矩阵，以及所述起始CU的第二像素矩阵；统计所述第一像素矩阵与所述第二像素矩阵中多对像素点的像素差绝对值之和，其中，每对像素点中两个像素在对应像素矩阵中的坐标相同；将所述像素差绝对值之和确定为所述第一局部残差值。

进一步，所述第一搜索子单元还用于：在遍历开始之前，判断遍历步长是否达到预设步长，和/或，判断当前行的第一CU是否已经遍历完；若遍历步长达到预设步长或当前行的第一CU已经遍历完，确定符合搜索终止条件，并确定匹配失败。

进一步，所述生成模块包括：复制单元，用于在图像帧的帧内复制所述编码参考信息，生成所述第二画面的帧数据，其中，所述第一画面和所述第二画面均编码在所述图像帧中。

根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。

根据本申请实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。

通过本发明，获取双目相机采集的第一画面和第二画面，根据第一画面搜索第二画面的编码参考信息，基于编码参考信息生成第二画面的图像帧，在编码时，双目相机的其中一个画面参考另一个画面，提高了帧信息的复用率，解决了相关技术在编码双目相机视频时压缩率低的技术问题，节省了视频码率，减少双目相机采集视频的存储空间。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种影像设备的硬件结构框图；

图2是根据本发明实施例的一种图像帧的生成方法的流程图；

图3是本发明实施例中双目相机的视场角示意图；

图4是本发明实施例通过帧内复制生成图像帧的示意图；

图5是本发明实施例的搜索流程图；

图6是根据本发明实施例的一种图像帧的生成装置的结构框图；

图7是实施本发明实施例的一种电子设备的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

本申请实施例一所提供的方法实施例可以在服务器、计算机、影像设备、手机、平板或者类似的运算装置中执行。以运行在影像设备上为例，图1是本发明实施例的一种影像设备的硬件结构框图。如图1所示，影像设备可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述影像设备还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述影像设备的结构造成限定。例如，影像设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储影像设备程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种图像帧的生成方法对应的影像设备程序，处理器102通过运行存储在存储器104内的影像设备程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至影像设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括影像设备的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种图像帧的生成方法，图2是根据本发明实施例的一种图像帧的生成方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取双目相机采集的第一画面和第二画面，其中，双目相机包括左右平行的第一摄像头和第二摄像头，第一摄像头用于采集第一画面，第二摄像头用于采集第二画面；

本实施例的第一画面和第二画面是双目相机采集到但是未编码和传输的图像，需要编码后再传输或者存储。

图3是本发明实施例中双目相机的视场角示意图，双目相机针对同一情景采集两个画面，两个画面又存在一些重叠的画面。

步骤S204，根据第一画面搜索第二画面的编码参考信息；

本实施例在编码的过程中，以其中一个画面为参考来编码另一个画面的图像帧，在编码过程中，先在帧内编码其中一个画面(如第一画面)，在编码完成后，由于两个画面的重复度较高，再以第一画面的图像帧的编码参考信息在同一帧内编码第二画面，或者是编码第二画面中的部分画面。

步骤S206，基于编码参考信息生成第二画面的图像帧。

通过上述步骤，获取双目相机采集的第一画面和第二画面，根据第一画面搜索第二画面的编码参考信息，基于编码参考信息生成第二画面的图像帧，在编码时，双目相机的其中一个画面参考另一个画面，提高了帧信息的复用率，解决了相关技术在编码双目相机视频时压缩率低的技术问题，节省了视频码率，减少双目相机采集视频的存储空间。

在本实施例的一个实施方式中，根据第一画面搜索第二画面的编码参考信息包括：

S11，将第一画面和第二画面拼接为第三画面；

S12，基于第一画面生成图像帧，其中，图像帧包括多个第一编码块(Coding Unit，CU)，多个第一CU呈矩阵排列；

S13，在多个第一CU中搜索第二画面的参考CU。

基于上述图3可知，双目相机的左摄像头和右摄像头拍摄有大量重叠部分，第一画面和第二画面的中间画面是重复的，在编码传输时将左右画面的并排拼接，单帧画面中，先编码一边(如左边)的画面，另一边(右边)的画面可以复用左边画面的编码信息，在使用AV1等格式的预测帧类型中的block copy(块复制)工具或类似功能的复制脚本，生成右边的图像帧，提高压缩率，同时去除了左右画面的信息冗余。

图4是本发明实施例通过帧内复制生成图像帧的示意图，由于两个摄像头的画面均有图像重叠，当编码了左边画面中此处的CU，右边摄像头只要通过算法搜索到左边画面对应块，使用block copy工具进行复制，可以节省码率。将双目相机的左右画面拼接为一幅长条形画面，左边的各个块(CU)正常编码，右边画面的块(CU)，可以设置其帧内复制的参考块，搜索右边CU最匹配的待参考块REF。

在本实施例的一个实施方式中，在多个第一CU中搜索第二画面的参考CU包括：

S131，针对第二画面待编码的起始第二CU，从多个第一CU的起始CU开始逐块搜索与起始第二CU匹配的起始参考块；

在一个示例中，以第一摄像头和第二摄像头分别为左边的摄像头和右边的摄像头为例，多个第一CU包括：CU11、CU12、CU13、CU14，与之对应的(第一画面与第二画面的尺寸相同)，第二画面待编码第二CU包括：CU21、CU22、CU23、CU24，CU11为CU矩阵中的第一行第一列的CU(左画面的左上角)，对应的为CU22(右画面的左上角)，针对CU21，在第一CU集合中(CU11、CU12、CU13、CU14)的CU11开始，逐块搜索与CU21匹配的起始参考块。

S132，从第二画面待编码的指定第二CU开始，从多个第一CU的起始参考块开始逐块搜索与指定第二CU匹配的第m个参考块，直到遍历完成第二画面所有待编码的第二CU，其中，指定第二CU为起始第二CU的相邻块，其中，m为正整数。

与起始第二CU不同的是，非起始位置的第二CU从前一第二CU的起始参考块开始搜索，例如，CU21的起始参考块为CU12，则在搜索CU22的参考块时，从CU12开始搜索，判断CU12、CU13、CU14中是否存在匹配的参考块，依次类推，由于画面的连续性，可以缩小搜索范围，提高搜索效率。

在本实施例的一些实例中，从多个第一CU的起始CU开始逐块搜索与起始第二CU匹配的起始参考块包括：从多个第一CU的起始CU开始，逐块遍历执行以下步骤，直到搜索到匹配的起始参考块或者达到搜索终止条件：计算当前第n个第二CU与起始CU的第一局部残差值，第n-1个第二CU与起始CU的第二局部残差，以及第n+1个第二CU与起始CU的第三局部残差，其中，n为大于1的整数，其中，局部残差值用于表征两个CU之间的像素差异度；若第一局部残差值同时小于第二局部残差和第三局部残差，且第一局部残差值小于预设阈值，确定第n个第二CU为与起始第二CU匹配的起始参考块。

在本实施例中，计算当前第n个第二CU与起始CU的第一局部残差值包括：获取第n个第二CU的第一像素矩阵，以及起始CU的第二像素矩阵；统计第一像素矩阵与第二像素矩阵中多对像素点的像素差绝对值之和，其中，每对像素点中两个像素在对应像素矩阵中的坐标相同；将像素差绝对值之和确定为第一局部残差值。

在另一些实例中，从多个第一CU的起始参考块开始逐块搜索与指定第二CU匹配的第m个参考块时，与上述实例中的搜索方式相同，从前一第二CU的起始参考块开始搜索，并计算相邻三个第二CU的局部残差值，选择符合条件的为匹配的参考块。

在一个实例中，局部残差值(COST)的计算公式如下：

其中，

为第一像素矩阵的第i个像素值，

为第二像素矩阵的第i个像素值，第一像素矩阵和第二像素矩阵包括N+1个像素，即像素0～像素N。

在一个实例中，预设阈值为：5×width_cu×hight_cu，其中，上式中的5可以用其他常数代替，如4，6等，其中，width_cu，hight_cu分别是编码块的宽度值和高度值。

可选的，在遍历开始之前，还包括：判断遍历步长是否达到预设步长，和/或，判断当前行的第一CU是否已经遍历完；若遍历步长达到预设步长或当前行的第一CU已经遍历完，确定符合搜索终止条件，并确定匹配失败。

可选的，预设步长的长度为第一画面的一半尺寸的CU所占用的长度，又因为双目相机的拍摄特性，搜索范围可以限制在同一行内不必要跨行搜索，因为这是双目相机的特性，左右画面一定是和左右摄像机中线连线平行，通过限制参考块搜索范围，可以提高搜索速度，缩短搜索时间。

图5是本发明实施例的搜索流程图，在一个示例中，采用步进搜索的方式进行遍历搜索，搜索范围可以限制在同一行内不必要跨行搜索，以第一个块为例，第一个块的步骤包括：为从左向右一次对比CU(右画面)和REF(左画面正在匹配的CU)的像素差绝对值，直到找到局部残差最小块并且满足残差值小于预设参数，COST公式为REF和CU的对应像素差绝对值的总和：

cost2<的预设参数值为：5×width_cu×hight_cu，预设参数的作用是防止野值抖动产生的错误判断。REF移动未超过左画面一半尺寸的作用是限制参考块搜索范围，加快搜索速度。从右画面的每行第二个块CU2开始，搜索起始位置改为从左边块的实际搜索结果。

在本实施例的一个实施方式中，基于所述编码参考信息生成所述第二画面的图像帧包括：在图像帧的帧内复制所述编码参考信息，生成所述第二画面的帧数据，其中，所述第一画面和所述第二画面均编码在所述图像帧中。在一个应用场景中，基于AV1格式进行编码，AV1视频编码压缩标准相比于H.265、H.264在帧内预测算法中，有一种独特的帧内复制(block copy)模式，当然，针对其他格式的视频编码，也可以通过植入算法来实现复制，即一帧画面内块可以参考同帧内的块、将参考图像(在本实施例指CU)直接复制过来，高效复用图像本帧内画面信息，从而可提高视频压缩率，可以适用在电脑屏幕录屏等视频内含有大量重复相同字体等场景中。

本实施例的方案通过实际业务验证，双目视频拼接的I帧压缩率可以提高至少40％，在视频编码中，GOP(group of pictures，画面组)是一组编码视频流中的一组连续的画面，一个GOP由以下几种不同类型的帧组成：I帧(内部编码帧)，P帧(预测编码帧)，B帧(双向预测编码帧)。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种图像帧的生成装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图6是根据本发明实施例的一种图像帧的生成装置的结构框图，如图6所示，该装置包括：获取模块60，搜索模块60，生成模块64，其中，

获取模块60，用于获取双目相机采集的第一画面和第二画面，其中，所述双目相机包括左右平行的第一摄像头和第二摄像头，所述第一摄像头用于采集所述第一画面，所述第二摄像头用于采集所述第二画面；

搜索模块62，用于根据所述第一画面搜索所述第二画面的编码参考信息；

生成模块64，用于基于所述编码参考信息生成所述第二画面的图像帧。

可选的，所述搜索模块包括：拼接单元，用于将所述第一画面和所述第二画面拼接为第三画面；拼接单元，用于基于所述第一画面生成图像帧，其中，所述图像帧包括多个第一编码块CU，所述多个第一CU呈矩阵排列；搜索单元，用于在所述多个第一CU中搜索所述第二画面的参考CU。

可选的，所述搜索单元包括：第一搜索子单元，用于针对所述第二画面待编码的起始第二CU，从所述多个第一CU的起始CU开始逐块搜索与所述起始第二CU匹配的起始参考块；第二搜索子单元，用于从所述第二画面待编码的指定第二CU开始，从所述多个第一CU的所述起始参考块开始逐块搜索与所述指定第二CU匹配的第m个参考块，直到遍历完成所述第二画面所有待编码的第二CU，其中，所述指定第二CU为所述起始第二CU的相邻块，其中，m为正整数。

可选的，所述第一搜索子单元还用于：从所述多个第一CU的起始CU开始，逐块遍历执行以下步骤，直到搜索到匹配的起始参考块或者达到搜索终止条件：计算当前第n个第二CU与所述起始CU的第一局部残差值，第n-1个第二CU与所述起始CU的第二局部残差，以及第n+1个第二CU与所述起始CU的第三局部残差，其中，n为大于1的整数，其中，局部残差值用于表征两个CU之间的像素差异度；若所述第一局部残差值同时小于所述第二局部残差和所述第三局部残差，且所述第一局部残差值小于预设阈值，确定所述第n个第二CU为与所述起始第二CU匹配的起始参考块。

可选的，所述第一搜索子单元在计算当前第n个第二CU与所述起始CU的第一局部残差值时，还用于：获取第n个第二CU的第一像素矩阵，以及所述起始CU的第二像素矩阵；统计所述第一像素矩阵与所述第二像素矩阵中多对像素点的像素差绝对值之和，其中，每对像素点中两个像素在对应像素矩阵中的坐标相同；将所述像素差绝对值之和确定为所述第一局部残差值。

可选的，所述第一搜索子单元还用于：在遍历开始之前，判断遍历步长是否达到预设步长，和/或，判断当前行的第一CU是否已经遍历完；若遍历步长达到预设步长或当前行的第一CU已经遍历完，确定符合搜索终止条件，并确定匹配失败。

可选的，所述生成模块包括：复制单元，用于在图像帧的帧内复制所述编码参考信息，生成所述第二画面的帧数据，其中，所述第一画面和所述第二画面均编码在所述图像帧中。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取第一视频和第二视频集合，其中，所述第二视频集合包括多个第二视频，所述第一视频和所述多个第二视频是通过同一源视频采用不同方式编码后的视频；

S2，以所述多个第二视频分别为参考视频，计算所述第一视频的多个失真度，其中，所述第二视频集合中的每个第二视频对应所述第一视频的一个失真度；

S3，基于所述多个失真度比较所述多个第二视频的视频质量。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取第一视频和第二视频集合，其中，所述第二视频集合包括多个第二视频，所述第一视频和所述多个第二视频是通过同一源视频采用不同方式编码后的视频；

S2，以所述多个第二视频分别为参考视频，计算所述第一视频的多个失真度，其中，所述第二视频集合中的每个第二视频对应所述第一视频的一个失真度；

S3，基于所述多个失真度比较所述多个第二视频的视频质量。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

图7是实施本发明实施例的一种电子设备的结构框图。如图7所示，包括处理器71和用于存储数据的存储器72，通过通信总线74连接，还包括与通信总线74连接的通信接口73，与其他部件或外部设备进行适配连接。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种图像帧的生成方法，其特征在于，包括：

获取双目相机采集的第一画面和第二画面，其中，所述双目相机包括左右平行的第一摄像头和第二摄像头，所述第一摄像头用于采集所述第一画面，所述第二摄像头用于采集所述第二画面；

根据所述第一画面搜索所述第二画面的编码参考信息；

基于所述编码参考信息生成所述第二画面的图像帧。

2.根据权利要求1所述的方法，其特征在于，根据所述第一画面搜索所述第二画面的编码参考信息包括：

将所述第一画面和所述第二画面拼接为第三画面；

基于所述第一画面生成图像帧，其中，所述图像帧包括多个第一编码块CU，所述多个第一CU呈矩阵排列；

在所述多个第一CU中搜索所述第二画面的参考CU。

3.根据权利要求2所述的方法，其特征在于，在所述多个第一CU中搜索所述第二画面的参考CU包括：

针对所述第二画面待编码的起始第二CU，从所述多个第一CU的起始CU开始逐块搜索与所述起始第二CU匹配的起始参考块；

从所述第二画面待编码的指定第二CU开始，从所述多个第一CU的所述起始参考块开始逐块搜索与所述指定第二CU匹配的第m个参考块，直到遍历完成所述第二画面所有待编码的第二CU，其中，所述指定第二CU为所述起始第二CU的相邻块，其中，m为正整数。

4.根据权利要求3所述的方法，其特征在于，从所述多个第一CU的起始CU开始逐块搜索与所述起始第二CU匹配的起始参考块包括：

从所述多个第一CU的起始CU开始，逐块遍历执行以下步骤，直到搜索到匹配的起始参考块或者达到搜索终止条件：计算当前第n个第二CU与所述起始CU的第一局部残差值，第n-1个第二CU与所述起始CU的第二局部残差，以及第n+1个第二CU与所述起始CU的第三局部残差，其中，n为大于1的整数，其中，局部残差值用于表征两个CU之间的像素差异度；

若所述第一局部残差值同时小于所述第二局部残差和所述第三局部残差，且所述第一局部残差值小于预设阈值，确定所述第n个第二CU为与所述起始第二CU匹配的起始参考块。

5.根据权利要求4所述的方法，其特征在于，计算当前第n个第二CU与所述起始CU的第一局部残差值包括：

获取第n个第二CU的第一像素矩阵，以及所述起始CU的第二像素矩阵；

统计所述第一像素矩阵与所述第二像素矩阵中多对像素点的像素差绝对值之和，其中，每对像素点中两个像素在对应像素矩阵中的坐标相同；

将所述像素差绝对值之和确定为所述第一局部残差值。

6.根据权利要求4所述的方法，其特征在于，在遍历开始之前，所述方法还包括：

判断遍历步长是否达到预设步长，和/或，判断当前行的第一CU是否已经遍历完；

若遍历步长达到预设步长或当前行的第一CU已经遍历完，确定符合搜索终止条件，并确定匹配失败。

7.根据权利要求1所述的方法，其特征在于，基于所述编码参考信息生成所述第二画面的图像帧包括：

在图像帧的帧内复制所述编码参考信息，生成所述第二画面的帧数据，其中，所述第一画面和所述第二画面均编码在所述图像帧中。

8.一种图像帧的生成装置，其特征在于，包括：

获取模块，用于获取双目相机采集的第一画面和第二画面，其中，所述双目相机包括左右平行的第一摄像头和第二摄像头，所述第一摄像头用于采集所述第一画面，所述第二摄像头用于采集所述第二画面；

搜索模块，用于根据所述第一画面搜索所述第二画面的编码参考信息；

生成模块，用于基于所述编码参考信息生成所述第二画面的图像帧。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7中任一项所述的方法步骤。

10.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：

存储器，用于存放计算机程序；

处理器，用于通过运行存储器上所存放的程序来执行权利要求1至7中任一项所述的方法步骤。

Images