CN106973282B - 一种全景视频沉浸感增强方法和系统 - Google Patents

Abstract

本发明提出一种全景视频沉浸感增强方法和系统，涉及全景视频图像处理技术领域，本发明方法利用图像处理技术，同时结合用户习惯反馈信号，在不额外增加硬件采集设备的条件下，自适应增强不同用户的观看效果，提升固定摄像头全景视频下，用户的沉浸感。

Description

一种全景视频沉浸感增强方法和系统

技术领域

本发明涉及全景视频图像处理技术领域，尤其涉及一种全景视频沉浸感增强方法和系统。

背景技术

全景视频在提供全方位的视觉信息的同时，能够提供动态的实时的视频信息，使得人们可以看到环绕在摄像机周围的整个动态景象。当全景视频是由固定摄像头采集的多路码流拼接而成时，受限于采集设备的不可移动性，会使得全景视频的沉浸感较弱。

发明内容

本发明实施例的目的在于提出一种全景视频沉浸感增强方法方法，旨在解决现有技术当全景视频是由固定摄像头采集的多路码流拼接而成时，受限于采集设备的不可移动性，会使得全景视频的沉浸感较弱的问题。

本发明实施例是这样实现的，一种全景视频沉浸感增强方法，所述方法包括以下步骤：

步骤A：判断如果par＝0，则进入步骤G；否则判断如果t>Thres₁，则

令note＝1；否则，则令note＝0；

其中，par表示用户惯性参数，初始值为1；t表示视觉凝视时长，初始值为0；Thres₁表示第一判定阈值；note表示增强标识符；

步骤B：如果[t₀,t₁]时间窗内各路码流存在，则利用公知的方法，拼接[t₀,t₁]时间窗内各路码流获取全景视频，进入步骤C；否则，结束；

其中，“[t₀,t₁]时间窗内各路码流”中，t₀、t₁分别表示码流的起止时间；t₀初始值为0，t₁＝t₀+td，td表示统计时间窗时长；

步骤C：根据增强标识符和用户观看视角，播放不同的视频流；

步骤D：如果接收到非舒适信号或者dθ>Thres₂，则令num＝num+1，t＝0，然后进入步骤E；否则，则令t＝t+td，然后进入步骤E。

其中，num表示用户非舒适度参数，初始值为0；dθ表示用户在[t₀,t₀+td]时间窗内视觉角度的变化幅度；Thres₂表示第二判定阈值；

步骤E:令t₀＝t₀+td，t₁＝t₀+td；

步骤F：如果num>Thres₃，则令par＝0，然后进入步骤G；否则，进入步骤A；

其中，Thres₃表示第三判定阈值；

步骤G：进行常规的全景视频拼接、播放，直到结束。

本发明实施例的另一目的在于提出一种全景视频沉浸感增强系统，所述系统包括：

用户惯性参数判断处理模块，用于判断如果par＝0，则进入码流分发模块，否则进入视觉凝视时长判断处理模块；

视觉凝视时长判断处理模块，用于判断如果t>Thres₁，则令note＝1；否则，则令note＝0，进入时间窗码流判断处理模块；

其中，par表示用户惯性参数，初始值为1；t表示视觉凝视时长，初始值为0；Thres₁表示第一判定阈值；note表示增强标识符；

时间窗码流判断处理模块，用于判断如果[t₀,t₁]时间窗内各路码流存在，则利用公知的方法，拼接[t₀,t₁]时间窗内各路码流获取全景视频；否则，结束；其中，“[t₀,t₁]时间窗内各路码流”，t₀、t₁分别表示码流的起止时间；t₀初始值为0，t₁＝t₀+td，td表示统计时间窗时长；

视频流处理播放装置，用于根据增强标识符和用户观看视角，播放不同的视频流；

第一判断处理模块，用于判断如果接收到非舒适信号或者dθ>Thres₂，则令num＝num+1，t＝0，然后进入第一设置模块；否则，则令t＝t+td，然后进入第一设置模块；

其中，num表示用户非舒适度参数，初始值为0；非舒适信号，选择VR眼镜反馈的闭眼信号或选择其他全景视频播放设备可传递的其他感应器信号；dθ表示用户在[t₀,t₀+td]时间窗内视觉角度的变化幅度；Thres₂表示第二判定阈值；

第一设置模块，用于令t₀＝t₀+td，t₁＝t₀+td；

第二判断处理模块，用于判断如果num>Thres₃，则令par＝0，然后进入码流分发模块；否则，进入用户惯性参数判断处理模块；其中，Thres₃表示第三判定阈值；

码流分发模块，用于进行常规的全景视频拼接、播放，直到结束。

本发明的有益效果

本发明提出一种全景视频沉浸感增强方法和系统，本发明方法利用图像处理技术，同时结合用户习惯反馈信号，在不额外增加硬件采集设备的条件下，自适应增强不同用户的观看效果，提升固定摄像头全景视频下，用户的沉浸感。

附图说明

图1是本发明优选实施例一种全景视频沉浸感增强方法流程图；

图2是图1中步骤Step3详细方法流程图；

图3是本发明优选实施例一种全景视频沉浸感增强系统结构图；

图4是图3中视频流处理播放装置详细结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。

本发明提出一种全景视频沉浸感增强方法和系统，本发明方法实施例利用图像处理技术，同时结合用户习惯反馈信号，在不额外增加硬件采集设备的条件下，自适应增强不同用户的观看效果，提升固定摄像头全景视频下，用户的沉浸感。

实施例一

图1是本发明优选实施例一种全景视频沉浸感增强方法流程图；所述方法包括以下步骤：

Step1：判断如果par＝0，则进入Step7；否则判断如果t>Thres₁，则令

note＝1；否则，则令note＝0。

其中，par表示用户惯性参数，初始值为1；t表示视觉凝视时长，初始值为0；Thres₁表示第一判定阈值，Thres₁>td，td表示统计时间窗时长；note表示增强标识符。

Step2：如果[t₀,t₁]时间窗内各路码流存在，则利用公知的方法，拼接[t₀,t₁]时间窗内各路码流获取全景视频；否则，结束。

其中，“[t₀,t₁]时间窗内各路码流”，t₀、t₁分别表示码流的起止时间；t₀初始值为0，t₁＝t₀+td。

Step3：根据增强标识符和用户观看视角，播放不同的视频流。

图2是图1中步骤Step3详细方法流程图；所述方法包括以下步骤：

Step31：利用公知的方法，根据用户观看视角直接构建对应的视点视频。

Step32：如果note＝0，则直接播放视点视频；否则，对视点视频的所有图像进行图像处理，然后播放处理之后的图像序列。

其中，所述“对视点视频的所有图像进行图像处理”，可采用以下处理方法：

当在凝视时(一般在凝视时往往表示人们对当前视角内的图像感兴趣)，通过图像放大处理，来达到观看者获取摄像头拉近的虚拟效果；

ratio＝min(out_width/in_width,out_height/in_height)，

其中，min表示求最小值；ratio表示图像放大比例；out_width,out_height分别表示放大处理后输出图像的长度和宽度，in_width,in_height分别表示原始图像的长度和宽度；图像放大比例ratio不适宜变化过大，一般ratio≤2,否则，会产生视觉跳跃的不舒适感。

如当前视角内主体背光时，往往希望看清背光主体，这时可采用对比度增强技术，拉伸图像低亮度区间，抑制高亮度区间；上述，背光检测、对比度增强、图像放大方法均可采用业内公知的任何一种方法。

Step4：如果接收到非舒适信号或者dθ>Thres₂，则令num＝num+1，t＝0，然后进入Step5；否则，则令t＝t+td，然后进入Step5。

其中，num表示用户非舒适度参数，初始值为0；非舒适信号，可选择VR眼镜反馈的闭眼信号，也可以选择其他全景视频播放设备可传递的其他感应器信号；dθ表示用户在[t₀,t₀+td]时间窗内视觉角度的变化幅度；Thres₂表示第二判定阈值，一般设置第二阈值>10。

Step5:令t₀＝t₀+td，t₁＝t₀+td。

Step6：如果num>Thres₃，则令par＝0，然后进入Step7；否则，进入Step1。

其中，Thres₃表示第三判定阈值，一般设置第三阈值>＝2。

Step7：利用公知的方法，进行常规的全景视频拼接、播放，直到结束。

实施例二

图3是本发明优选实施例一种全景视频沉浸感增强系统结构图，所述系统包括：

用户惯性参数判断处理模块，用于判断如果par＝0，则进入码流分发模块，否则进入视觉凝视时长判断处理模块；

视觉凝视时长判断处理模块，用于判断如果t>Thres₁，则令note＝1；否则，则令note＝0，进入时间窗码流判断处理模块；

其中，par表示用户惯性参数，初始值为1；t表示视觉凝视时长，初始值为0；Thres₁表示第一判定阈值，Thres₁>td，td表示统计时间窗时长；note表示增强标识符。

时间窗码流判断处理模块，用于判断如果[t₀,t₁]时间窗内各路码流存在，则利用公知的方法，拼接[t₀,t₁]时间窗内各路码流获取全景视频；否则，结束；其中，“[t₀,t₁]时间窗内各路码流”，t₀、t₁分别表示码流的起止时间；t₀初始值为0，t₁＝t₀+td。

视频流处理播放装置，用于根据增强标识符和用户观看视角，播放不同的视频流；

第一判断处理模块，用于判断如果接收到非舒适信号或者dθ>Thres₂，则令num＝num+1，t＝0，然后进入第一设置模块；否则，则令t＝t+td，然后进入第一设置模块；

其中，num表示用户非舒适度参数，初始值为0；非舒适信号，可选择VR眼镜反馈的闭眼信号，也可以选择其他全景视频播放设备可传递的其他感应器信号；dθ表示用户在[t₀,t₀+td]时间窗内视觉角度的变化幅度；Thres₂表示第二判定阈值，一般设置第二阈值>10。

第一设置模块，用于令t₀＝t₀+td，t₁＝t₀+td；

第二判断处理模块，用于判断如果num>Thres₃，则令par＝0，然后进入码流分发模块；否则，进入用户惯性参数判断处理模块；其中，Thres₃表示第三判定阈值，一般设置第三阈值>＝2。

码流分发模块，用于利用公知的方法，进行常规的全景视频拼接、播放，直到结束。

进一步地，图4是图3中视频流处理播放装置详细结构图；所述视频流处理播放装置还包括：

视点视频构建模块，用于利用公知的方法，根据用户观看视角直接构建对应的视点视频；

增强标志符判断模块，用于判断如果note＝0，则进入第一视频播放模块；否则进入第二视频播放模块；

第一视频播放模块，用于直接播放视点视频；

第二视频播放模块，用于对视点视频的所有图像进行图像处理，然后播放处理之后的图像序列；

其中，所述“对视点视频的所有图像进行图像处理”，可采用以下处理方法：

当在凝视时(一般在凝视时往往表示人们对当前视角内的图像感兴趣)，通过图像放大处理，来达到观看者获取摄像头拉近的虚拟效果；

ratio＝min(out_width/in_width,out_height/in_height)，

其中，min表示求最小值；ratio表示图像放大比例；out_width,out_height分别表示放大处理后输出图像的长度和宽度，in_width,in_height分别表示原始图像的长度和宽度；图像放大比例ratio不适宜变化过大，一般ratio≤2,否则，会产生视觉跳跃的不舒适感。

如当前视角内主体背光时，往往希望看清背光主体，这时可采用对比度增强技术，拉伸图像低亮度区间，抑制高亮度区间；上述，背光检测、对比度增强、图像放大方法均可采用业内公知的任何一种方法。

本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种全景视频沉浸感增强方法，其特征在于，所述方法包括以下步骤：

步骤A：判断如果par＝0，则进入步骤G；否则判断如果t>Thres₁，则

令note＝1；否则，则令note＝0；

其中，par表示用户惯性参数，所述用户惯性参数为用于启动或者关闭全景视频沉浸感的增强的参数，初始值为1；t表示视觉凝视时长，初始值为0；Thres₁表示第一判定阈值；note表示增强标识符；

步骤B：如果[t₀,t₁]时间窗内各路码流存在，则拼接[t₀,t₁]时间窗内各路码流获取全景视频，进入步骤C；否则，结束；

其中，“[t₀,t₁]时间窗内各路码流”中，t₀、t₁分别表示码流的起止时间；t₀初始值为0，t₁＝t₀+t_d，t_d表示统计时间窗时长；

步骤C：根据增强标识符和用户观看视角，播放不同的视频流，所述根据增强标识符和用户观看视角，播放不同的视频流具体为：根据用户观看视角直接构建对应的视点视频，判断如果note＝0，则直接播放视点视频；否则，对视点视频的所有图像进行图像处理，然后播放处理之后的图像序列；

步骤D：如果接收到非舒适信号或者d_θ>Thres₂，则令num＝num+1，t＝0，然后进入步骤E否则，则令t＝t+t_d，然后进入步骤E，所述非舒适信号，选择VR眼镜反馈的闭眼信号或者选择其他全景视频播放设备可传递的其他感应器信号；

其中，num表示用户非舒适度参数，初始值为0；d_θ表示用户在[t₀,t₀+t_d]时间窗内视觉角度的变化幅度；Thres₂表示第二判定阈值；

步骤E:令t₀＝t₀+t_d，t₁＝t₀+t_d；

步骤F：如果num>Thres₃，则令par＝0，然后进入步骤G；否则，进入步骤A；

其中，Thres₃表示第三判定阈值；

步骤G：进行常规的全景视频拼接、播放，直到结束。

2.如权利要求1所述的全景视频沉浸感增强方法，其特征在于，

第一判定阈值Thres₁>t_d；

第二判定阈值Thres₂>10；

第三判定阈值Thres₃>＝2。

3.如权利要求1所述的全景视频沉浸感增强方法，其特征在于，

所述“对视点视频的所有图像进行图像处理”，采用以下处理方法：

当在凝视时，通过图像放大处理，来达到观看者获取摄像头拉近的虚拟效果；

ratio＝min(out_width/in_width,out_height/in_height)，

其中，min表示求最小值；ratio表示图像放大比例；out_width,out_height分别表示放大处理后输出图像的长度和宽度，in_width,in_height分别表示原始图像的长度和宽度；图像放大比例ratio≤2；

如当前视角内主体背光时，采用对比度增强技术，拉伸图像低亮度区间，抑制高亮度区间。

4.一种全景视频沉浸感增强系统，其特征在于，所述系统包括：

用户惯性参数判断处理模块，用于判断如果par＝0，则进入码流分发模块，否则进入视觉凝视时长判断处理模块，其中，par表示用户惯性参数，所述用户惯性参数为用于启动或者关闭全景视频沉浸感的增强的参数，初始值为1；

视觉凝视时长判断处理模块，用于判断如果t>Thres₁，则令note＝1；否则，则令note＝0，进入时间窗码流判断处理模块，其中，t表示视觉凝视时长，初始值为0，Thres₁表示第一判定阈值，note表示增强标识符；

时间窗码流判断处理模块，用于判断如果[t₀,t₁]时间窗内各路码流存在，则拼接[t_0,t₁]时间窗内各路码流获取全景视频；否则，结束；其中，“[t₀,t₁]时间窗内各路码流”，t₀、t₁分别表示码流的起止时间；t₀初始值为0，t₁＝t₀+t_d，t_d表示统计时间窗时长；

视频流处理播放装置，用于根据增强标识符和用户观看视角，播放不同的视频流；

所述视频流处理播放装置还包括：视点视频构建模块、增强标志符判断模块、第一视频播放模块以及第二视频播放模块，所述视点视频构建模块，用于根据用户观看视角直接构建对应的视点视频，所述增强标志符判断模块，用于判断如果note＝0，则进入第一视频播放模块；否则进入第二视频播放模块，所述第一视频播放模块，用于直接播放视点视频，所述第二视频播放模块，用于对视点视频的所有图像进行图像处理，然后播放处理之后的图像序列；

第一判断处理模块，用于判断如果接收到非舒适信号或者d_θ>Thres₂，则令num＝num+1，t＝0，然后进入第一设置模块；否则，则令t＝t+t_d，然后进入第一设置模块；

其中，num表示用户非舒适度参数，初始值为0；非舒适信号，选择VR眼镜反馈的闭眼信号或选择其他全景视频播放设备可传递的其他感应器信号；d_θ表示用户在[t₀,t₀+t_d]时间窗内视觉角度的变化幅度；Thres₂表示第二判定阈值；

第一设置模块，用于令t₀＝t₀+t_d，t₁＝t₀+t_d；

第二判断处理模块，用于判断如果num>Thres₃，则令par＝0，然后进入码流分发模块；否则，进入用户惯性参数判断处理模块；其中，Thres₃表示第三判定阈值；

码流分发模块，用于进行常规的全景视频拼接、播放，直到结束。

5.如权利要求4所述的全景视频沉浸感增强系统，其特征在于，

第一判定阈值Thres₁>t_d；

第二判定阈值Thres₂>10；

第三判定阈值Thres₃>＝2。

6.如权利要求4所述的全景视频沉浸感增强系统，其特征在于，

其中，所述“对视点视频的所有图像进行图像处理”，采用以下处理方法：

当在凝视时，通过图像放大处理，来达到观看者获取摄像头拉近的虚拟效果；

ratio＝min(out_width/in_width,out_height/in_height)，

其中，min表示求最小值；ratio表示图像放大比例；out_width,out_height分别表示放大处理后输出图像的长度和宽度，in_width,in_height分别表示原始图像的长度和宽度；图像放大比例ratio≤2；

如当前视角内主体背光时，采用对比度增强技术，拉伸图像低亮度区间，抑制高亮度区间。