CN114327341A - 远程交互式虚拟展示系统 - Google Patents

Abstract

本发明属于虚拟交互展示技术领域，具体为远程交互式虚拟展示系统，包括：摄像头、视频采集卡、主机和设置在主机内的抠除模型，所述主机内搭载有GPU运算平台，所述抠除模型基于运动识别模块、红外识别模块和色差识别模块，所述运动识别模块用于选取展示目标，所述红外识别模块用于对展示目标进行轮廓识别，所述色差识别模块用于进一步细化展示目标的轮廓。本发明摄像头开始工作，读取到视频流后，输入到GPU运算平台，通过特定按键确立背景后，开始将其后输入的视频流做为源视频流，将背景和源视频流输入特定模型，进行实时背景抠除，无需大的空间和特定场所以及空间中布置背景墙，为使用者节省时间、空间，具有一定的便捷性和经济性。

Description

远程交互式虚拟展示系统

技术领域

本发明涉及虚拟交互展示技术领域，具体为远程交互式虚拟展示系统。

背景技术

虚拟展示系统是近年来出现的图形图像领域的高新技术，也被称为灵境技术或人工环境，是利用电脑模拟产生一个三度空间的虚拟世界，并将使用者带入，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三度空间内的事物，同时可以自身及环境信息展示出来，供虚拟交互使用。

现有公司因为嫁接工业互联网进行工业产品直播，数字孪生的工业产品线上直播，线下展览展示的过程中都需要人和产品进行交互，且场景受限，因此本申请发明了人工智能的无绿幕实时抠像技术，可以让直播人员不受场地限制，特别是线下展贸服务的时候，方便技术人员通过网络进行虚拟讲解和直播。

发明内容

本发明旨在解决现有技术或相关技术中存在的技术问题之一。

为此，本发明所采用的技术方案为：

远程交互式虚拟展示系统，包括：

摄像头、视频采集卡、主机和设置在主机内的抠除模型，所述主机内搭载有GPU运算平台，所述抠除模型基于运动识别模块、红外识别模块和色差识别模块，所述运动识别模块用于选取展示目标，所述红外识别模块用于对展示目标进行轮廓识别，所述色差识别模块用于进一步细化展示目标的轮廓；

根据摄像头读取到视频流后，输入到主机内GPU运算平台，通过特定按键确立背景后，开始将其后输入的视频流做为源视频流，将背景和源视频流输入抠除模型，进行实时背景抠除，抠除色差识别模块识别到展示目标轮廓之外的图像，输出去除背景后的图像。

通过采用上述技术方案，利用模型计算，高效便捷的方式实现了一键背景扣除，并且无需特殊的硬件、场地配置，只需要一个摄像头，一台电脑，摄像头连接电脑后，开启应用，摄像头开始工作，读取到视频流后，输入到GPU运算平台，通过特定按键确立背景后，开始将其后输入的视频流做为源视频流，将背景和源视频流输入特定模型，进行实时背景抠除，无需大的空间和特定场所以及空间中布置背景墙，即可随时随地进行使用，为使用者节省时间、空间，具有一定的便捷性和经济性。

本发明在一较佳示例中可以进一步配置为：所述主机上还设有语音输入设备，且所述语音输入设备包为麦克风。

通过采用上述技术方案，便于音影同步，降低远程交互延迟。

本发明在一较佳示例中可以进一步配置为：所述摄像头为红外传感摄像头，用于人体识别。

通过采用上述技术方案，可以辅助目标追踪，较为合理。

本发明在一较佳示例中可以进一步配置为：所述运动识别模块采用三帧差分法，所述三帧差分法包括有以下算法流程：首先读取三帧图像I_k-1、I_k和I_k+1，将其灰度化，再分别计算连续两帧图像的差值图像D(k-1，k)和D(k，k+1)，设定阀值T二值化处理，提取出运动目标，计算公式如下：

最后，通过逻辑“与”运算得到运动目标，计算公式如下：

通过采用上述技术方案，用于对展示目标进行轮廓识别。

本发明在一较佳示例中可以进一步配置为：所述运动识别模块采用三帧差分法检测后，利用如下拉普拉斯-高斯算子公式消除空洞现象，提取目标前景：

式中：σ为标准差，σ越小细节增强效果更好，σ越大则平滑效果较好，基础取值0.5。

通过采用上述技术方案，用于跟踪并选取展示目标，便于全面虚拟展示。

本发明在一较佳示例中可以进一步配置为：所述红外识别模块采用Kinect传感器，利用Kinect传感器的深度测量技术，对人体，人体部位和人体关节进行识别，输出人体轮廓图像。

通过采用上述技术方案，拉普拉斯-高斯算子为Log边缘检测算子，Log边缘检测是把高斯平滑滤波器和拉普拉斯锐化滤波器结合起来，先对带有噪声的原始图像进行平滑滤波，再进行锐化增强边缘和细节，所以边缘检测的效果更好。

本发明在一较佳示例中可以进一步配置为：所述色差识别模块包括有以下识别步骤：

S1：确定感兴趣背景区域的位置与大小；

S2：变换到需要的颜色空间，统计背景区域各个像素此时的颜色分量；

S3：绘制背景区域各个颜色分量的直方图；

S4：计算背景区域的期望，估计阈值；

S5：在视频中实时检测背景区域，利用欧氏距离及加权欧氏距离公式将阈值以外的像素点提取出来，即保留，而阈值以内的点用新的背景色替换。

通过采用上述技术方案，用于进一步细化展示目标的轮廓，得出抠除范围，配合范围抠除的进行。

本发明在一较佳示例中可以进一步配置为：所述色差识别模块的计算公式为：

式中：背景有n个像素点，其颜色均值为E(r_e，g_e，b_e)，图像上每个像素点p_i的颜色C_i要用(r_i，g_i，b_i)三个分量表示，且0≤r_i，g_i，b_i≤255；

在该模型中，以E点为球心，C_i是分布在空间中的各个点，C_i到E欧氏距离的平方公式为：

设R为阈值半径，当

的时候，根据轮廓提取出前景上的点，当

的时候，根据轮廓将源视频流上的之外的点滤掉。

通过采用上述技术方案，用于进一步细化展示目标的轮廓，得出抠除范围，配合范围抠除的进行。

本发明的上述技术方案具有如下有益的技术效果：

1.本发明利用模型计算，高效便捷的方式实现了一键背景扣除，并且无需特殊的硬件、场地配置，只需要一个摄像头，一台电脑，摄像头连接电脑后，开启应用，摄像头开始工作，读取到视频流后，输入到GPU运算平台，通过特定按键确立背景后，开始将其后输入的视频流做为源视频流，将背景和源视频流输入特定模型，进行实时背景抠除，无需大的空间和特定场所以及空间中布置背景墙，即可随时随地进行使用，为使用者节省时间、空间，具有一定的便捷性和经济性。

2.本发明也可以解决目前大量短视频制作，影视后期制作中的技术支持，越来越多的人为了创作更有特色的视频，直播等应用从而需要使用虚实结合的方式进行创作，而传统的虚实结合技术，需要搭建专门的绿幕或者蓝幕直播间，才能把背景扣除，本发明最核心的作用就是能快速一键去除复杂场景，且能被实时引擎识别，从而实现实时人物、虚拟场景的合成与交互，从而让视频制作、直播的效率以及创意扩展性得到了更大的提升。

附图说明

图1为本发明一个实施例的三帧差分法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

该理解，这些描述只是示例性的，而并非要限制本发明的范围。

下面结合附图描述本发明的一些实施例提供的远程交互式虚拟展示系统。

结合图1所示，本发明提供的远程交互式虚拟展示系统，包括：

摄像头、视频采集卡、主机和设置在主机内的抠除模型，主机内搭载有GPU运算平台，抠除模型基于运动识别模块、红外识别模块和色差识别模块，运动识别模块用于选取展示目标，红外识别模块用于对展示目标进行轮廓识别，色差识别模块用于进一步细化展示目标的轮廓。

具体的，主机上还设有语音输入设备，且语音输入设备包为麦克风，摄像头为红外传感摄像头，用于人体识别，另外输出的图像硬件端可以由XR设备替换，实现CR/AR/MR以及全息、裸眼3D等效果的直播与应用。

根据摄像头读取到视频流后，输入到主机内GPU运算平台，通过特定按键确立背景后，开始将其后输入的视频流做为源视频流，将背景和源视频流输入抠除模型，进行实时背景抠除，抠除色差识别模块识别到展示目标轮廓之外的图像，输出去除背景后的图像。

在该实施例中，运动识别模块采用三帧差分法，三帧差分法包括有以下算法流程：首先读取三帧图像I_k-1、I_k和I_k+1，将其灰度化，再分别计算连续两帧图像的差值图像D(k-1，k)和D(k，k+1)，设定阀值T二值化处理，提取出运动目标，计算公式如下：

最后，通过逻辑“与”运算得到运动目标，计算公式如下：

进一步的，运动识别模块采用三帧差分法检测后，利用如下拉普拉斯-高斯算子公式消除空洞现象，提取目标前景：

式中：σ为标准差，σ越小细节增强效果更好，σ越大则平滑效果较好，基础取值0.5。

需要说明的是，三帧间差分法是通过计算相邻两帧图像之间对应像素点作差值来获得运动目标轮廓的运动目标检测方法，其算法实现简单，可以快速检测出运动目标，这里所提到的三帧差分法是帧间差分法的改进，利用相邻三帧图像处理，先两两差分，得到两组差分图像再逻辑“与”处理，这样能够检测出运动目标的实际轮廓。

进一步的，拉普拉斯-高斯算子为Log边缘检测算子，Log边缘检测是把高斯平滑滤波器和拉普拉斯锐化滤波器结合起来，先对带有噪声的原始图像进行平滑滤波，再进行锐化增强边缘和细节，所以边缘检测的效果更好。其中σ为标准差，σ越小细节增强效果更好，σ越大则平滑效果较好，这里σ取值为0.5。得到边缘图像后，进行连通域填充处理，在闭合区域内填充成白色，目的是消除“空洞”现象，提取目标前景。

具体的，红外识别模块采用Kinect传感器，利用Kinect传感器的深度测量技术，对人体，人体部位和人体关节进行识别，输出人体轮廓图像。

在上述实施例中，色差识别模块包括有以下识别步骤：

S1：确定感兴趣背景区域的位置与大小；

S2：变换到需要的颜色空间，统计背景区域各个像素此时的颜色分量；

S3：绘制背景区域各个颜色分量的直方图；

S4：计算背景区域的期望，估计阈值；

S5：在视频中实时检测背景区域，利用欧氏距离及加权欧氏距离公式将阈值以外的像素点提取出来，即保留，而阈值以内的点用新的背景色替换。

具体的，色差识别模块的计算公式为：

式中：背景有n个像素点，其颜色均值为E(r_e，g_e，b_e)，图像上每个像素点p_i的颜色C_i要用(r_i，g_i，b_i)三个分量表示，且0≤r_i，g_i，b_i≤255；

在该模型中，以E点为球心，C_i是分布在空间中的各个点，C_i到E欧氏距离的平方公式为：

设R为阈值半径，当

的时候，根据轮廓提取出前景上的点，当

的时候，根据轮廓将源视频流上的之外的点滤掉。

具体的，加权欧氏距离公式为：

式中：ω_r、ω_g、ω_b分别表示r_i、g_i、b_i三个分量的权重。

本发明的工作原理及使用流程：首先根据摄像头读取到视频流后，输入到主机内GPU运算平台，通过特定按键确立背景后，开始将其后输入的视频流做为源视频流，将背景和源视频流输入抠除模型，进行实时背景抠除，运动识别模块用于选取展示目标，红外识别模块用于对展示目标进行轮廓识别，抠除色差识别模块识别到展示目标轮廓之外的图像，输出去除背景后的图像即可。

在本发明中，术语“多个”则指两个或两个以上，除非另有明确的限定。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是，当元件被称为“装配于”、“安装于”、“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“上”、“下”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。

在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解，在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.远程交互式虚拟展示系统，其特征在于，包括：

摄像头、视频采集卡、主机和设置在主机内的抠除模型，所述主机内搭载有GPU运算平台，所述抠除模型基于运动识别模块、红外识别模块和色差识别模块，所述运动识别模块用于选取展示目标，所述红外识别模块用于对展示目标进行轮廓识别，所述色差识别模块用于进一步细化展示目标的轮廓；

根据摄像头读取到视频流后，输入到主机内GPU运算平台，通过特定按键确立背景后，开始将其后输入的视频流做为源视频流，将背景和源视频流输入抠除模型，进行实时背景抠除，抠除色差识别模块识别到展示目标轮廓之外的图像，输出去除背景后的图像。

2.根据权利要求1所述的远程交互式虚拟展示系统，其特征在于，所述主机上还设有语音输入设备，且所述语音输入设备包为麦克风。

3.根据权利要求1所述的远程交互式虚拟展示系统，其特征在于，所述摄像头为红外传感摄像头，用于人体识别。

4.根据权利要求1所述的远程交互式虚拟展示系统，其特征在于，所述运动识别模块采用三帧差分法，所述三帧差分法包括有以下算法流程：首先读取三帧图像I_k-1、I_k和I_k+1，将其灰度化，再分别计算连续两帧图像的差值图像D(k-1，k)和D(k，k+1)，设定阀值T二值化处理，提取出运动目标，计算公式如下：

最后，通过逻辑“与”运算得到运动目标，计算公式如下：

。

5.根据权利要求4所述的远程交互式虚拟展示系统，其特征在于，所述运动识别模块采用三帧差分法检测后，利用如下拉普拉斯-高斯算子公式消除空洞现象，提取目标前景：

式中：σ为标准差，σ越小细节增强效果更好，σ越大则平滑效果较好，基础取值0.5。

6.根据权利要求1所述的远程交互式虚拟展示系统，其特征在于，所述红外识别模块采用Kinect传感器，利用Kinect传感器的深度测量技术，对人体，人体部位和人体关节进行识别，输出人体轮廓图像。

7.根据权利要求1所述的远程交互式虚拟展示系统，其特征在于，所述色差识别模块包括有以下识别步骤：

S1：确定感兴趣背景区域的位置与大小；

S2：变换到需要的颜色空间，统计背景区域各个像素此时的颜色分量；

S3：绘制背景区域各个颜色分量的直方图；

S4：计算背景区域的期望，估计阈值；

S5：在视频中实时检测背景区域，利用欧氏距离及加权欧氏距离公式将阈值以外的像素点提取出来，即保留，而阈值以内的点用新的背景色替换。

8.根据权利要求7所述的远程交互式虚拟展示系统，其特征在于，所述色差识别模块的计算公式为：

式中：背景有n个像素点，其颜色均值为E(r_e，g_e，b_e)，图像上每个像素点p_j的颜色C_i要用(r_i，g_i，b_i)三个分量表示，且0≤r_i，g_i，b_i≤255；

在该模型中，以E点为球心，C_i是分布在空间中的各个点，C_i到E欧氏距离的平方公式为：

设R为阈值半径，当

的时候，根据轮廓提取出前景上的点，当

的时候，根据轮廓将源视频流上的之外的点滤掉。

Images