CN107396111A - 介导现实中自动视频插帧补偿方法及系统 - Google Patents

介导现实中自动视频插帧补偿方法及系统 Download PDF

Info

Publication number
CN107396111A
CN107396111A CN201710571525.4A CN201710571525A CN107396111A CN 107396111 A CN107396111 A CN 107396111A CN 201710571525 A CN201710571525 A CN 201710571525A CN 107396111 A CN107396111 A CN 107396111A
Authority
CN
China
Prior art keywords
frame
processing computer
motion vector
compensation
interleave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710571525.4A
Other languages
English (en)
Other versions
CN107396111B (zh
Inventor
钟秋发
锡泊
黄煦
高晓光
李晓阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Zhongke Hengyun Software Technology Co Ltd
Original Assignee
Hebei Zhongke Hengyun Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Zhongke Hengyun Software Technology Co Ltd filed Critical Hebei Zhongke Hengyun Software Technology Co Ltd
Priority to CN201710571525.4A priority Critical patent/CN107396111B/zh
Publication of CN107396111A publication Critical patent/CN107396111A/zh
Application granted granted Critical
Publication of CN107396111B publication Critical patent/CN107396111B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Television Systems (AREA)

Abstract

本发明提出了一种介导现实中自动视频插帧补偿方法和系统，包括：采用3D深度摄像头采集显示中的实景图像；视景图像处理计算机将所述3D深度摄像头采集的实景图像和虚拟场景图像进行融合；获取引擎刷新频率，判断该引擎刷新频率是否低于预设帧率阈值，如果是则存储融合后的两帧视频数据fn‑1和fn，对上述两帧数据进行8x8的双向搜索加权运动估计并进行平滑滤波，判断是否满足匹配条件，如果是是否满足匹配条件，如果是，则利用4x4像素运动矢量线性插值得到初始内插帧，否则将8x8块拆分为4x4块继承上一级运动估计的结果并进行平滑滤波。本发明有效的改善运动矢量的计算因块分割造成的方块效应，极大地提高了运动矢量的准确性。

Description

介导现实中自动视频插帧补偿方法及系统
技术领域
本发明涉及图像处理技术领域，特别涉及一种介导现实中自动视频插帧补偿方法及系统。
背景技术
混合现实技术中引擎在不接入虚拟现实头盔的情况下，视频的刷新频率能够满足观看的需求(不产生头晕的感觉)。在配置稍低一些的机器上接入虚拟现实头盔，基本就会出现视频刷新频率降到到40帧左右(低于人眼观看的最低舒适帧率60帧的情况)。虚拟现实头盔是实现沉浸式体验的必要设备，佩戴头盔后的视频刷新频率的高低直接影响产品的最终效果。为了达到较好的产品体验，必须对低于60帧的视频帧率进行插帧补偿，以达到良好的沉浸式体验。
混合现实技术现在处于发展的早期阶段，目前还未发现对混合现实中出现的低于最低舒适帧的这种问题进行研究和解决。在显示领域，帧率转换技术是使用原始的低帧率视频源生成一些中间内插帧，然后插入到原有的视频序列中，使其变为高帧率的视频以满足现实生活中的需求，如高清电视和远程教学等。帧率向上转换分为非运动和运动补偿插帧，非运动补偿插帧适用于场景静止或者运动不大的场景。运动补偿类算法适合于快速运动场景。
发明内容
本发明的目的旨在至少解决所述技术缺陷之一。
为此，本发明的目的在于提出一种介导现实中自动视频插帧补偿方法及系统。
为了实现上述目的，本发明一方面的实施例提供一种介导现实中自动视频插帧补偿方法，包括如下步骤：
步骤S1，采用3D深度摄像头采集显示中的实景图像；
步骤S2，视景图像处理计算机将所述3D深度摄像头采集的实景图像和虚拟场景图像进行融合；
步骤S3，获取引擎刷新频率，判断该引擎刷新频率是否低于预设帧率阈值，如果是则存储融合后的两帧视频数据fn-1和fn，对上述两帧数据进行8x8的双向搜索加权运动估计并进行平滑滤波，判断是否满足匹配条件，如果是是否满足匹配条件，如果是，则执行步骤S4，否则将8x8块拆分为4x4块继承上一级运动估计的结果并进行平滑滤波，在此判断是否满足匹配条件，如果是则执行步骤S4，否则执行步骤S5；
步骤S4，生成4x4块运动矢量，利用4x4像素运动矢量线性插值得到初始内插帧；
步骤S5，生成修补遮罩图，对内插帧中的空洞使用快速行进的修复算法进行图像修补补偿，得到最终的内插帧fn-1/2；
步骤S6，将内插帧输出到虚拟现实设备，最终输出到人眼中，实现虚拟融合效果。
进一步，所述视景图像处理计算机利用该采集图像替换虚拟场景中指定位置的贴图，以实现虚实融合。
进一步，设置匹配预测误差门限阈值为th_SAD,使用8x8块双向搜索加权运动估计，得到当前帧的初始运动矢量，采用边界绝对误差和绝对误差和作为块边界的度量的加权测量准则，计算公式如下：
v＝argminv(SAD(v)+μ*BAD(v))
其中，v＝(vx,vy)即为求解的运动矢量，μ为加权系统用于控制SAD和BAD所占权重，μ＝0.75。
进一步，在所述步骤S4中，插值补偿使用线性插值：
fn-1/2(a)＝1/2(fn-1(a+v)+fn(a-v))。
本发明实施例还提出一种介导现实中自动视频插帧补偿系统，包括：虚拟现实头戴式设备、追踪定位器、视景处理计算机、视频处理计算机、3D深度摄像头，其中，虚拟现实头戴式设备与视景处理计算机连接，视景处理计算机和视频处理计算机连接，3D深度摄像头与视频处理计算机连接；模拟器操作仪表和显示屏与视景处理计算机连接，所述追踪定位器与所述视景处理计算机连接，
其中，所述3D深度摄像头用于采集视频图像；
所述追踪定位器根据所述3D深度摄像头拍摄的视频图像，标定物理空间中虚拟现实头戴式设备VR头盔相对VR定位摄像头位置，并设置虚拟空间中摄像机位置，即VR头盔位置；
所述视频图像处理计算机用于对所述3D深度摄像头采集的视频图像进行预处理；
所述视景图像处理计算机用于将预处理后的所述3D深度摄像头采集的实景图像和虚拟场景图像进行融合，获取引擎刷新频率，判断该引擎刷新频率是否低于预设帧率阈值，如果是则存储融合后的两帧视频数据fn-1和fn，对上述两帧数据进行8x8的双向搜索加权运动估计并进行平滑滤波，判断是否满足匹配条件，如果是是否满足匹配条件，如果是生成4x4块运动矢量，利用4x4像素运动矢量线性插值得到初始内插帧，否则将8x8块拆分为4x4块继承上一级运动估计的结果并进行平滑滤波，在此判断是否满足匹配条件，如果是则生成4x4块运动矢量，利用4x4像素运动矢量线性插值得到初始内插帧，否则生成修补遮罩图，对内插帧中的空洞使用快速行进的修复算法进行图像修补补偿，得到最终的内插帧fn-1/2；将内插帧输出到虚拟现实设备，最终输出到人眼中，实现虚拟融合效果。
进一步，视景图像处理计算机利用该采集图像替换虚拟场景中指定位置的贴图，以实现虚实融合。
进一步，所述视景图像处理计算机设置匹配预测误差门限阈值为th_SAD,使用8x8块双向搜索加权运动估计，得到当前帧的初始运动矢量，采用边界绝对误差和绝对误差和作为块边界的度量的加权测量准则，计算公式如下：
v＝argminv(SAD(v)+μ*BAD(v))
其中，v＝(vx,vy)即为求解的运动矢量，μ为加权系统用于控制SAD和BAD所占权重，μ＝0.75。
进一步，所述视景图像处理计算机执行插值补偿使用线性插值：
fn-1/2(a)＝1/2(fn-1(a+v)+fn(a-v))。
根据本发明实施例的介导现实中自动视频插帧补偿方法及系统，结合了混合现实的技术，包括混合现实中自动插帧补偿算法和混合现实中视频加权运动估计方法，在客户硬件方案性能不足的情况下，能够实现流畅的操作体验。本发明对自动视频插帧方案自动判断设备刷新频率能够智能判断是否需要进行插帧，提升混合现实的用户体验。视频处理使用的运动估计补偿插帧算法解决了非运动补偿插帧算法中的常见耦合和抖动效应，本发明给出的双向搜索加权运动估计的方法将块边界像素考虑在内，有效的改善了运动矢量的计算因块分割造成的方块效应，极大地提高了运动矢量的准确性。为了或得更为准确的运动矢量，像素块被设置为8x8像素大小。本发明的处理速度可以达到每秒平均60帧，最高帧率能够达到最低舒适帧率的两倍。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的介导现实中自动视频插帧补偿方法的流程图；
图2为根据本发明另一个实施例的介导现实中自动视频插帧补偿方法的流程图；
图3a至图3c为根据本发明实施例的图像修补的示意图；
图4为根据本发明实施例的介导现实中自动视频插帧补偿系统的结构图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明实施例提出一种介导现实中自动视频插帧补偿方法及系统，采用运动补偿插帧类的方法，在混合现实引擎中自动进行快速视频插帧。
如图1和图2所示，本发明实施例的介导现实中自动视频插帧补偿方法，包括如下步骤：
步骤S1，采用3D深度摄像头采集显示中的场景图像，用于替换虚拟场景中指定位置的贴图，实现虚实融合。
步骤S2，视景图像处理计算机将3D深度摄像头采集的实景图像和虚拟场景图像进行融合。
在本步骤中，视景图像处理计算机利用该采集图像替换虚拟场景中指定位置的贴图，以实现虚实融合。
步骤S3，获取引擎刷新频率，判断该引擎刷新频率是否低于预设帧率阈值。
具体地，预设帧率阈值为60帧。从引擎中获取刷新频率，如果刷新频率低于设定的帧率阈值(60帧)，则存储融合后的最近的两帧视频数据fn-1和fn，对上述两帧数据进行8x8的加权运动估计并进行平滑滤波，判断是否满足匹配条件，如果是是否满足匹配条件，如果是，则执行步骤S4，否则将8x8块拆分为4x4块继承上一级运动估计的结果并进行平滑滤波，在此判断是否满足匹配条件，如果是则执行步骤S4，否则执行步骤S5。
如果刷新频率低于或高于设定的帧率阈值(60帧)，则不进行插帧处理。
在本步骤中，设置匹配预测误差门限阈值为th_SAD,使用8x8块双向搜索加权运动估计，得到当前帧的初始运动矢量，采用边界绝对误差和绝对误差和作为块边界的度量的加权测量准则，计算公式如下：
v＝argminv(SAD(v)+μ*BAD(v))
其中，v＝(vx,vy)即为求解的运动矢量，μ为加权系统用于控制SAD和BAD所占权重，μ＝0.75。
本发明采用运动估计补偿插帧算法解决了非运动补偿插帧算法中常见的模糊和抖动效应，运动估计和运动补偿是运动补偿插帧算法中的两个关键步骤，其中运动估计的重要性不言而喻，运动矢量的准确与否直接决定着内插帧的效果。常见的运动估计方法使对应块之间的绝对误差和(SAD)最小来获取运动矢量，无法保证运动矢量的真实性，因此无法反应物体真实的运动轨迹。由于块匹配算法简单、容易实现，已成为主流的运动估计方法。块分割方法确定也很明显，容易产生方块效应。
现有的视频插帧算法主要集中对运动估计、运动补偿插值、矢量修正三个关键技术的研究，提出了各种策略以提高内插帧图像质量。然而对于方块效应和运动估计失败的区域如何处理目前任然存在问题。
为解决上述问题，本发明提出了一种通用的视频插帧算法，将块边界像素之间的相关性考虑在内，为了提升准确定，提出了一种加权和的测量方法，不仅能减轻方块效应，同时还能改善运动矢量的准确性。
设置匹配预测误差门限阈值为th_SAD,使用8x8块双向搜索加权运动估计，得到当前帧的初始运动矢量，本专利采用边界绝对误差(BAD，boundary absolute difference)和绝对误差和(SAD,Sum of Absolute Difference)作为块边界的度量的加权测量准则，不仅能减轻方块效应，同时能改善运动矢量的准确性。其计算公式如下：
v＝argminv(SAD(v)+μ*BAD(v))
其中，v＝(vx,vy)即为求解的运动矢量，μ是加权系统用于控制SAD和BAD所占权重，μ＝0.75是，加权运动估计能得到一个较好的视觉效果。此外，为了获得更准确的运动矢量，像素块初始大小被设置为8x8像素大小。
步骤S4，生成4x4块运动矢量，利用4x4像素运动矢量线性插值得到初始内插帧。
将8x8块拆分为4x4块继承上一级运动估计的结果；对于大于th_SAD的块再次重新搜索，更新估计加权值。
标记大于th_SAD/8的块，生成修补掩膜；同时利用已有的4x4像素运动矢量线性插值得到初始内插帧。
在本发明的一个实施例中，插值补偿使用线性插值：
fn-1/2(a)＝1/2(fn-1(a+v)+fn(a-v))。
步骤S5，生成修补遮罩图，对内插帧中的空洞使用快速行进的修复算法进行图像修补补偿，得到最终的内插帧fn-1/2。
对不满足匹配条件的块进行标记生成修补掩码遮罩，使用已有的运动矢量，进行插值补偿得到初始内插帧。最后按照遮罩对其中的空洞，利用图像修复技术进行填充，得到最后的内插帧。
综上，本发明输入为混合现实视频序列的相邻两帧fn-1和fn，经过加权运动估计、平滑滤波、插值补偿和区域补偿替换这四个主要的步骤。对于运动矢量场的处理，进行了两级加权运动估计和平滑滤波，使用已有的运动矢量进行插值补偿。对于加权运动估计失败的地方，则使用图像替换修补技术进行填充，得到最终的中间帧fn-1/2。
步骤S6，将内插帧输出到虚拟现实设备，最终输出到人眼中，实现虚拟融合效果。
根据修补掩膜对内插帧中的空洞使用快速行进的修复算法(FMM)进行图像修补补偿，得到最终的内插帧。最后将内插帧输出到Oculus Rift虚拟现实设备(头盔)，最终输出到人眼中，实现虚拟融合效果。
图3a为未进行图像修补的图像，图3b示出了修补遮罩的图像，图3c为增加图像补偿的图像。通过图3a至图3c可以看出，修补补偿后的图像，恢复了图像的完整性，修补补偿了残缺部分，从而使得将内插帧输出到Oculus Rift虚拟现实设备后，得到更佳的虚拟融合效果。
如图4所示，本发明实施例的介导现实中自动视频插帧补偿系统，包括：虚拟现实头戴式设备100、追踪定位器500、视景处理计算机300、视频处理计算机200、3D深度摄像头600。
具体地，虚拟现实头戴式设备100与视景处理计算机300连接，视景处理计算机300和视频处理计算机200连接，3D深度摄像头600与视频处理计算机200连接；追踪定位器500与视景处理计算机300连接。
在本发明的一个实施例中，虚拟现实头戴式设备100通过USB3.0和HDMI接口与视景处理计算机300连接，3D深度摄像头600通过USB3.0与视频处理计算机200连接，视景处理计算机300和视频处理计算机200之间通过LAN连接，3D深度摄像头600虚拟现实头戴式设备100连接；追踪定位器500通过USB3.0接口与视景处理计算机300连接。
在本发明的一个实施例中，虚拟现实头戴式设备100可以采用Oculus Rift虚拟现实设备。3D深度摄像头600采用ZED stereo Camera或者Intel RealSense SR300(此摄像头安装在Oculus Rift头戴式设备100(头盔)上。
此外，本发明实施例的介导现实中自动视频插帧补偿系统采用下述三维引擎软件：Unigine或Unity。
3D深度摄像头600采集的视频图像，包括：彩色视频、深度视频和红外视频。
追踪定位器500根据3D深度摄像头600拍摄的视频图像，标定物理空间中VR头盔相对VR定位摄像头位置，并设置虚拟空间中摄像机位置，即VR头盔位置。
此外，追踪定位器500用于监测用户的头位平台位置数据，并发送至视景处理计算机300。
视频图像处理计算机用于对3D深度摄像头采集的视频图像进行预处理。
视景图像处理计算机用于将预处理后的3D深度摄像头采集的实景图像和虚拟场景图像进行融合，获取引擎刷新频率，判断该引擎刷新频率是否低于预设帧率阈值。
在本发明的一个实施例中，预设帧率阈值为60帧。从引擎中获取刷新频率，如果刷新频率低于设定的帧率阈值(60帧)，则存储融合后的最近的两帧视频数据fn-1和fn，对上述两帧数据进行8x8的双向搜索加权运动估计并进行平滑滤波，判断是否满足匹配条件，如果是是否满足匹配条件，如果是生成4x4块运动矢量，利用4x4像素运动矢量线性插值得到初始内插帧，否则将8x8块拆分为4x4块继承上一级运动估计的结果并进行平滑滤波，在此判断是否满足匹配条件，如果是则生成4x4块运动矢量，利用4x4像素运动矢量线性插值得到初始内插帧，否则生成修补遮罩图，对内插帧中的空洞使用快速行进的修复算法进行图像修补补偿，得到最终的内插帧fn-1/2；将内插帧输出到虚拟现实设备，最终输出到人眼中，实现虚拟融合效果。
进一步，视景图像处理计算机利用该采集图像替换虚拟场景中指定位置的贴图，以实现虚实融合。
进一步，视景图像处理计算机设置匹配预测误差门限阈值为th_SAD,使用8x8块双向搜索加权运动估计，得到当前帧的初始运动矢量，采用边界绝对误差和绝对误差和作为块边界的度量的加权测量准则，计算公式如下：
v＝argminv(SAD(v)+μ*BAD(v))
其中，v＝(vx,vy)即为求解的运动矢量，μ为加权系统用于控制SAD和BAD所占权重，μ＝0.75。
本发明采用运动估计补偿插帧算法解决了非运动补偿插帧算法中常见的模糊和抖动效应，运动估计和运动补偿是运动补偿插帧算法中的两个关键步骤，其中运动估计的重要性不言而喻，运动矢量的准确与否直接决定着内插帧的效果。常见的运动估计方法使对应块之间的绝对误差和(SAD)最小来获取运动矢量，无法保证运动矢量的真实性，因此无法反应物体真实的运动轨迹。由于块匹配算法简单、容易实现，已成为主流的运动估计方法。块分割方法确定也很明显，容易产生方块效应。
现有的视频插帧算法主要集中对运动估计、运动补偿插值、矢量修正三个关键技术的研究，提出了各种策略以提高内插帧图像质量。然而对于方块效应和运动估计失败的区域如何处理目前任然存在问题。
为解决上述问题，本发明提出了一种通用的视频插帧算法，将块边界像素之间的相关性考虑在内，为了提升准确定，提出了一种加权和的测量方法，不仅能减轻方块效应，同时还能改善运动矢量的准确性。
设置匹配预测误差门限阈值为th_SAD,使用8x8块双向搜索加权运动估计，得到当前帧的初始运动矢量，本专利采用边界绝对误差(BAD，boundary absolute difference)和绝对误差和(SAD,Sum of Absolute Difference)作为块边界的度量的加权测量准则，不仅能减轻方块效应，同时能改善运动矢量的准确性。其计算公式如下：
v＝argminv(SAD(v)+μ*BAD(v))
其中，v＝(vx,vy)即为求解的运动矢量，μ是加权系统用于控制SAD和BAD所占权重，μ＝0.75是，加权运动估计能得到一个较好的视觉效果。此外，为了获得更准确的运动矢量，像素块初始大小被设置为8x8像素大小。
视景图像处理计算机执行插值补偿使用线性插值：fn‐1/2(a)＝1/2(fn-1(a+v)+fn(a-v))。
具体地，视景图像处理计算机将8x8块拆分为4x4块继承上一级运动估计的结果；对于大于th_SAD的块再次重新搜索，更新估计加权值。标记大于th_SAD/8的块，生成修补掩膜；同时利用已有的4x4像素运动矢量线性插值得到初始内插帧。
在本发明的一个实施例中，插值补偿使用线性插值：
fn-1/2(a)＝1/2(fn-1(a+v)+fn(a-v))。
视景图像处理计算机生成修补遮罩图，对内插帧中的空洞使用快速行进的修复算法进行图像修补补偿，得到最终的内插帧fn-1/2。
对不满足匹配条件的块进行标记生成修补掩码遮罩，使用已有的运动矢量，进行插值补偿得到初始内插帧。最后按照遮罩对其中的空洞，利用图像修复技术进行填充，得到最后的内插帧。根据修补掩膜对内插帧中的空洞使用快速行进的修复算法(FMM)进行图像修补补偿，得到最终的内插帧。最后将内插帧输出到Oculus Rift虚拟现实设备(头盔)，最终输出到人眼中，实现虚拟融合效果。
根据本发明实施例的介导现实中自动视频插帧补偿方法及系统，结合了混合现实的技术，包括混合现实中自动插帧补偿算法和混合现实中视频加权运动估计方法，在客户硬件方案性能不足的情况下，能够实现流畅的操作体验。本发明对自动视频插帧方案自动判断设备刷新频率能够智能判断是否需要进行插帧，提升混合现实的用户体验。视频处理使用的运动估计补偿插帧算法解决了非运动补偿插帧算法中的常见耦合和抖动效应，本发明给出的双向搜索加权运动估计的方法将块边界像素考虑在内，有效的改善了运动矢量的计算因块分割造成的方块效应，极大地提高了运动矢量的准确性。为了或得更为准确的运动矢量，像素块被设置为8x8像素大小。本发明的处理速度可以达到每秒平均60帧，最高帧率能够达到最低舒适帧率的两倍。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求极其等同限定。

Claims (8)

1.一种介导现实中自动视频插帧补偿方法，其特征在于，包括如下步骤：
步骤S1，采用3D深度摄像头采集显示中的实景图像；
步骤S2，视景图像处理计算机将所述3D深度摄像头采集的实景图像和虚拟场景图像进行融合；
步骤S3，获取引擎刷新频率，判断该引擎刷新频率是否低于预设帧率阈值，如果是则存储融合后的两帧视频数据fn-1和fn，对上述两帧数据进行8x8的双向搜索加权运动估计并进行平滑滤波，判断是否满足匹配条件，如果是是否满足匹配条件，如果是，则执行步骤S4，否则将8x8块拆分为4x4块继承上一级运动估计的结果并进行平滑滤波，在此判断是否满足匹配条件，如果是则执行步骤S4，否则执行步骤S5；
步骤S4，生成4x4块运动矢量，利用4x4像素运动矢量线性插值得到初始内插帧；
步骤S5，生成修补遮罩图，对内插帧中的空洞使用快速行进的修复算法进行图像修补补偿，得到最终的内插帧fn-1/2；
步骤S6，将内插帧输出到虚拟现实设备，最终输出到人眼中，实现虚拟融合效果。
2.如权利要求1所述的介导现实中自动视频插帧补偿方法，其特征在于，在所述步骤S2中，所述视景图像处理计算机利用该采集图像替换虚拟场景中指定位置的贴图，以实现虚实融合。
3.如权利要求1所述的介导现实中自动视频插帧补偿方法，其特征在于，在所述步骤S3中，设置匹配预测误差门限阈值为th_SAD,使用8x8块双向搜索加权运动估计，得到当前帧的初始运动矢量，采用边界绝对误差和绝对误差和作为块边界的度量的加权测量准则，计算公式如下：
v＝argminv(SAD(v)+μ*BAD(v))
其中，v＝(vx,vy)即为求解的运动矢量，μ为加权系统用于控制SAD和BAD所占权重，μ＝0.75。
4.如权利要求1所述的介导现实中自动视频插帧补偿方法，其特征在于，在所述步骤S4中，插值补偿使用线性插值：
fn-1/2(a)＝1/2(fn-1(a+v)+fn(a-v))。
5.一种介导现实中自动视频插帧补偿系统，其特征在于，包括：虚拟现实头戴式设备、追踪定位器、视景处理计算机、视频处理计算机、3D深度摄像头，其中，虚拟现实头戴式设备与视景处理计算机连接，视景处理计算机和视频处理计算机连接，3D深度摄像头与视频处理计算机连接；模拟器操作仪表和显示屏与视景处理计算机连接，所述追踪定位器与所述视景处理计算机连接，
其中，所述3D深度摄像头用于采集视频图像；
所述追踪定位器根据预处理后的所述3D深度摄像头拍摄的视频图像，标定物理空间中虚拟现实头戴式设备VR头盔相对VR定位摄像头位置，并设置虚拟空间中摄像机位置，即VR头盔位置；
所述视频图像处理计算机用于对所述3D深度摄像头采集的视频图像进行预处理；
所述视景图像处理计算机用于将预处理后的所述3D深度摄像头采集的实景图像和虚拟场景图像进行融合，获取引擎刷新频率，判断该引擎刷新频率是否低于预设帧率阈值，如果是则存储融合后的两帧视频数据fn-1和fn，对上述两帧数据进行8x8的双向搜索加权运动估计并进行平滑滤波，判断是否满足匹配条件，如果是是否满足匹配条件，如果是生成4x4块运动矢量，利用4x4像素运动矢量线性插值得到初始内插帧，否则将8x8块拆分为4x4块继承上一级运动估计的结果并进行平滑滤波，在此判断是否满足匹配条件，如果是则生成4x4块运动矢量，利用4x4像素运动矢量线性插值得到初始内插帧，否则生成修补遮罩图，对内插帧中的空洞使用快速行进的修复算法进行图像修补补偿，得到最终的内插帧fn-1/2；将内插帧输出到虚拟现实设备，最终输出到人眼中，实现虚拟融合效果。
6.如权利要求5所述的介导现实中自动视频插帧补偿方系统，其特征在于，所述视景图像处理计算机利用该采集图像替换虚拟场景中指定位置的贴图，以实现虚实融合。
7.如权利要求5所述的介导现实中自动视频插帧补偿方系统，其特征在于，所述视景图像处理计算机设置匹配预测误差门限阈值为th_SAD,使用8x8块双向搜索加权运动估计，得到当前帧的初始运动矢量，采用边界绝对误差和绝对误差和作为块边界的度量的加权测量准则，计算公式如下：
v＝argminv(SAD(v)+μ*BAD(v))
其中，v＝(vx,vy)即为求解的运动矢量，μ为加权系统用于控制SAD和BAD所占权重，μ＝0.75。
8.如权利要求5所述的介导现实中自动视频插帧补偿方系统，其特征在于，所述视景图像处理计算机执行插值补偿使用线性插值：
fn-1/2(a)＝1/2(fn-1(a+v)+fn(a-v))。
CN201710571525.4A 2017-07-13 2017-07-13 介导现实中自动视频插帧补偿方法及系统 Expired - Fee Related CN107396111B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710571525.4A CN107396111B (zh) 2017-07-13 2017-07-13 介导现实中自动视频插帧补偿方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710571525.4A CN107396111B (zh) 2017-07-13 2017-07-13 介导现实中自动视频插帧补偿方法及系统

Publications (2)

Publication Number Publication Date
CN107396111A true CN107396111A (zh) 2017-11-24
CN107396111B CN107396111B (zh) 2020-07-14

Family

ID=60340539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710571525.4A Expired - Fee Related CN107396111B (zh) 2017-07-13 2017-07-13 介导现实中自动视频插帧补偿方法及系统

Country Status (1)

Country Link
CN (1) CN107396111B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163892A (zh) * 2019-05-07 2019-08-23 国网江西省电力有限公司检修分公司 基于运动估计插值的学习率渐进更新方法及动态建模系统
CN110543345A (zh) * 2019-08-26 2019-12-06 Oppo广东移动通信有限公司 壁纸生成方法及装置、存储介质和电子设备
CN111050149A (zh) * 2019-12-24 2020-04-21 苏州乐梦光电科技有限公司 用于投影系统的视频处理方法、装置、设备及存储介质
CN111083417A (zh) * 2019-12-10 2020-04-28 Oppo广东移动通信有限公司 图像处理方法及相关产品
CN113157228A (zh) * 2021-02-01 2021-07-23 中国船舶重工集团公司第七0九研究所 一种多源帧率互异型高帧率显示控制装置及方法
CN113873096A (zh) * 2020-06-30 2021-12-31 晶晨半导体(上海)股份有限公司 场景检测方法、芯片、电子设备以及存储介质
CN116091329A (zh) * 2022-08-31 2023-05-09 荣耀终端有限公司 图像处理方法、装置、设备及存储介质
WO2024045701A1 (zh) * 2022-08-31 2024-03-07 荣耀终端有限公司 数据处理方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040027454A1 (en) * 2002-06-19 2004-02-12 Stmicroelectronics S.R.I. Motion estimation method and stabilization method for an image sequence
CN1806444A (zh) * 2004-05-10 2006-07-19 三星电子株式会社 自适应加权运动估计方法和采用该方法的帧频转换设备
CN103402098A (zh) * 2013-08-19 2013-11-20 武汉大学 一种基于图像插值的视频插帧方法
CN103475879A (zh) * 2013-09-10 2013-12-25 南京邮电大学 一种分布式视频编码中边信息生成方法
CN104104960A (zh) * 2013-04-03 2014-10-15 华为技术有限公司 多级双向运动估计方法及设备
CN106127843A (zh) * 2016-06-16 2016-11-16 福建数博讯信息科技有限公司 三维虚拟场景的渲染方法和装置
CN106291930A (zh) * 2015-06-24 2017-01-04 联发科技股份有限公司 头戴式显示器
CN106843456A (zh) * 2016-08-16 2017-06-13 深圳超多维光电子有限公司 一种基于姿态追踪的显示方法、装置和虚拟现实设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040027454A1 (en) * 2002-06-19 2004-02-12 Stmicroelectronics S.R.I. Motion estimation method and stabilization method for an image sequence
CN1806444A (zh) * 2004-05-10 2006-07-19 三星电子株式会社 自适应加权运动估计方法和采用该方法的帧频转换设备
CN104104960A (zh) * 2013-04-03 2014-10-15 华为技术有限公司 多级双向运动估计方法及设备
CN103402098A (zh) * 2013-08-19 2013-11-20 武汉大学 一种基于图像插值的视频插帧方法
CN103475879A (zh) * 2013-09-10 2013-12-25 南京邮电大学 一种分布式视频编码中边信息生成方法
CN106291930A (zh) * 2015-06-24 2017-01-04 联发科技股份有限公司 头戴式显示器
CN106127843A (zh) * 2016-06-16 2016-11-16 福建数博讯信息科技有限公司 三维虚拟场景的渲染方法和装置
CN106843456A (zh) * 2016-08-16 2017-06-13 深圳超多维光电子有限公司 一种基于姿态追踪的显示方法、装置和虚拟现实设备

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163892A (zh) * 2019-05-07 2019-08-23 国网江西省电力有限公司检修分公司 基于运动估计插值的学习率渐进更新方法及动态建模系统
CN110163892B (zh) * 2019-05-07 2023-06-20 国网江西省电力有限公司检修分公司 基于运动估计插值的学习率渐进更新方法及动态建模系统
CN110543345A (zh) * 2019-08-26 2019-12-06 Oppo广东移动通信有限公司 壁纸生成方法及装置、存储介质和电子设备
CN111083417A (zh) * 2019-12-10 2020-04-28 Oppo广东移动通信有限公司 图像处理方法及相关产品
CN111050149A (zh) * 2019-12-24 2020-04-21 苏州乐梦光电科技有限公司 用于投影系统的视频处理方法、装置、设备及存储介质
CN113873096A (zh) * 2020-06-30 2021-12-31 晶晨半导体(上海)股份有限公司 场景检测方法、芯片、电子设备以及存储介质
CN113157228A (zh) * 2021-02-01 2021-07-23 中国船舶重工集团公司第七0九研究所 一种多源帧率互异型高帧率显示控制装置及方法
CN113157228B (zh) * 2021-02-01 2022-07-05 中国船舶重工集团公司第七0九研究所 一种多源帧率互异型高帧率显示控制装置及方法
CN116091329A (zh) * 2022-08-31 2023-05-09 荣耀终端有限公司 图像处理方法、装置、设备及存储介质
CN116091329B (zh) * 2022-08-31 2023-10-20 荣耀终端有限公司 图像处理方法、装置、设备及存储介质
WO2024045701A1 (zh) * 2022-08-31 2024-03-07 荣耀终端有限公司 数据处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN107396111B (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
CN107396111A (zh) 介导现实中自动视频插帧补偿方法及系统
Tulsiani et al. Layer-structured 3d scene inference via view synthesis
CN109672886B (zh) 一种图像帧预测方法、装置及头显设备
CA2727218C (en) Methods and systems for reducing or eliminating perceived ghosting in displayed stereoscopic images
US20100194856A1 (en) Method and apparatus for depth-related information propagation
CN110163909A (zh) 用于获得设备位姿的方法、装置和存储介质
CN105141841B (zh) 摄像设备及其方法
KR20160106364A (ko) 다시점 실감 콘텐츠 생성 방법 및 그 장치
CN106791774A (zh) 基于深度图的虚拟视点图像生成方法
CN110910319B (zh) 一种基于大气散射模型的手术视频实时去雾增强方法
CN112381003A (zh) 动作捕捉方法、装置、设备及存储介质
JP5429911B2 (ja) 立体映像のデジタル映画に於ける最適な動き再生のための方法と装置
CN112053313A (zh) 异源图像融合的夜视抗晕光视频处理方法
Wang et al. Weakly supervised single image dehazing
CN102026012B (zh) 平面视频立体化转换深度图生成方法和装置
CN106909904A (zh) 一种基于可学习形变场的人脸正面化方法
KR101731113B1 (ko) 2ｄ-3ｄ 영상 변환 방법 및 이를 이용한 입체 영상 표시장치
CN110602476A (zh) 一种基于深度信息辅助的高斯混合模型的空洞填补方法
CN113450274B (zh) 一种基于深度学习的自适应视点融合方法及系统
US11954867B2 (en) Motion vector generation apparatus, projection image generation apparatus, motion vector generation method, and program
Caviedes et al. Real time 2D to 3D conversion: Technical and visual quality requirements
JP2010097355A (ja) 画像分離装置、画像分離方法および画像分離プログラム
TWI485655B (zh) 影像處理方法
JP2020046744A (ja) 画像処理装置、背景画像の生成方法およびプログラム
KR20190056740A (ko) 영상 처리 방법 및 이를 이용한 표시장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200714