CN105306862A - 一种基于3d虚拟合成技术的情景视频录制系统、方法及情景实训学习方法 - Google Patents
一种基于3d虚拟合成技术的情景视频录制系统、方法及情景实训学习方法 Download PDFInfo
- Publication number
- CN105306862A CN105306862A CN201510788759.5A CN201510788759A CN105306862A CN 105306862 A CN105306862 A CN 105306862A CN 201510788759 A CN201510788759 A CN 201510788759A CN 105306862 A CN105306862 A CN 105306862A
- Authority
- CN
- China
- Prior art keywords
- video
- virtual
- personage
- scene
- virtual scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
一种基于3D虚拟合成技术的情景视频录制系统、方法及情景实训学习方法，包括（1）利用人物采集处理模块对视频摄像设备拍摄的视频的人物进行抠像；（2）利用场景处理模块生成虚拟场景文件；（3）利用图像合成模块将抠像前景与虚拟场景文件虚拟合成，实现视频摄像设备拍摄的人物在虚拟场景内的活动和变化；（4）利用视频录制控制模块将人物在虚拟场景内的活动和变化进行视频录制。本发明利用虚拟合成技术，可将人物虚拟到任意空间内，并在虚拟的空间内进行活动，利用此技术可实现老师和学生在固定场所下模拟出丰富的场景下的教学和实践。
Description
技术领域
本发明涉及3D虚拟合成技术，尤其是应用在教学的基于3D虚拟合成技术的情景视频录制系统、方法及情景实训学习方法。
背景技术
体验式教学方法是世界公认的优秀教学方法，他的核心理念是提供充分的条件让学生去实践体验从而加深知识记忆的一种教学方法，这种教学方法在世界多个发达公家都用充分的应用。国内高等教育改革也提到了工学结合教学思路，目的也是让学生利用学习到的知识去充分实践，达到与产业结合促进就业的目的。而就目前国内高校在实践方面的开展并不是很顺利，究其原因主要还是缺乏手段。由于高校的在校生数量庞大，无法大量的开展与企业对接的社会实践机会，目前学校还是尽量的依托于校内设施完成实训练习，而实训类课程需要的大量情景在校园内是无法完全提供的，有的学校利用教室场地做模仿装修，投入大且不易改动，如果课程有变动前期的投入就会失去价值。所以大多数学校就是在教室内利用简单的道具，给学生定义角色而粗糙的展开，学生对这种实训方法并无太大兴趣，认为其枯燥乏味，而且十分别扭效果不好。
发明内容
本发明所要解决的技术问题之一是提供一种基于3D虚拟合成技术的情景视频录制系统，老师和学生可以在计算机模拟出的场景下进行角色扮演，做到身临其境的直观感受，将现实生活中的场景，和未知世界进行虚拟模拟，解决单纯书本学习的枯燥与乏味，增强学生的直观体验感受，提高学习趣味，加深学习记忆。
本发明所要解决的技术问题之二是提供一种基于3D虚拟合成技术的情景视频录制方法，老师和学生可以在计算机模拟出的场景下进行角色扮演，做到身临其境的直观感受，将现实生活中的场景，和未知世界进行虚拟模拟，解决单纯书本学习的枯燥与乏味，增强学生的直观体验感受，提高学习趣味，加深学习记忆。
本发明所要解决的技术问题之三是提供一种基于3D虚拟合成技术的情景实训学习方法，老师和学生可以在计算机模拟出的场景下进行角色扮演，做到身临其境的直观感受，将现实生活中的场景，和未知世界进行虚拟模拟，解决单纯书本学习的枯燥与乏味，增强学生的直观体验感受，提高学习趣味，加深学习记忆。
为解决上述技术问题之一，本发明的技术方案是：一种基于3D虚拟合成技术的情景视频录制系统，包括：
用于对人物进行拍摄取像的视频摄像设备；
用于对人物进行收音的音频录入设备；
用于对视频摄像设备拍摄的视频进行人物抠像的人物采集处理模块；
用于生成虚拟场景文件的场景处理模块；
用于将抠像前景与虚拟场景文件虚拟合成，实现视频摄像设备拍摄的人物在虚拟场景内的活动和变化的图像合成模块；
用于将人物在虚拟场景内的活动和变化进行视频录制的视频录制控制模块；
用于在虚拟背景中插入图片或视频的文件处理模块；
用于对软件的显示输出信号进行获取，视频信号对应输入到虚拟场景的显示框中与背景进行合成显示的系统界面捕抓模块。
为解决上述技术问题之二，本发明的技术方案是：
一种基于3D虚拟合成技术的情景视频录制方法，其特征在于，包括以下步骤：
（1）利用人物采集处理模块对视频摄像设备拍摄的视频的人物进行抠像；
（2）利用场景处理模块生成虚拟场景文件；
（3）利用图像合成模块将抠像前景与虚拟场景文件虚拟合成，实现视频摄像设备拍摄的人物在虚拟场景内的活动和变化；
（4）利用视频录制控制模块将人物在虚拟场景内的活动和变化进行视频录制；
（5）利用文件处理模块在虚拟背景中插入图片或视频；
（6）利用系统界面捕抓模块对软件的显示输出信号进行获取，视频信号对应输入到虚拟场景的显示框中，与背景进行合成显示。
作为改进，步骤（1）是基于鼠标点击获取数值的色键抠像算法：人物抠象基于颜色采样与平滑优化的方式实现，抠像方程式为：C=aF+(1-a)B，基于RGB三色的抠像方程为：Cr,g,b=aFr,g,b+(1-a)Br,g,b；其中r,g,b三色的色值，采用系统实时采集的背景色的某一个像素点的色值，背景颜色采用与R(255，0，0)、G（0，255，0）、B（0，0，255）相近色值的颜色；在这个范围之外的像素作为前景，相应的Alpha通道值设为1，在这个范围之内的像素作为背景，相应的Alpha通道值设为0；平滑优化采用目标像素点的色值附近一定范围内的加权平均值，做为边缘优化的参照值。
作为改进，步骤（2）中，将3DMAX中设计的场景建模文件重新编译为以.ASE或.XND为后缀的场景执行文件。
作为改进，所述步骤（5）具体为：
1）PPT加载方式为：利用系统的文档转换程序，将PPT文档格式转换成PNG、JPG、BMP的图片格式，在虚拟场景中显示和控制；
2）视频加载方式为：利用系统的内建播放器对视频进行解码播放，支持视频格式包括avi、wmv、mp4，播放器控制功能包括播放、暂停、循环播放和快进。
作为改进，步骤（4）中，虚拟背景下的3D立体视频生成方法：在视频合成后，复制生成另外一个图像，形成左右叠加视频输出，通过偏光式3D电视机进行播放，观看者通过佩戴偏光眼镜进行观看。
作为改进，步骤（4）中，利用视频录制控制模块生产压缩视频和流媒体视频。
为解决上述技术问题之三，本发明的技术方案是：一种基于3D虚拟合成技术的情景实训学习方法，其特征在于，包括实训视频录制：
（1）利用人物采集处理模块对视频摄像设备拍摄的视频的人物进行抠像；
（2）利用场景处理模块生成虚拟场景文件；
（3）利用图像合成模块将抠像前景与虚拟场景文件虚拟合成，实现视频摄像设备拍摄的人物在虚拟场景内的活动和变化；
（4）利用视频录制控制模块将人物在虚拟场景内的活动和变化进行视频录制；
实训视频播放：
（5）将录制的视频通过视频显示设备进行播放；
（6）学生通过观看实训视频进行实训学习。
作为改进，实训视频录制中，包括利用文件处理模块在虚拟背景中插入图片或视频的步骤；利用系统界面捕抓模块对软件的显示输出信号进行获取，视频信号对应输入到虚拟场景的显示框中，与背景进行合成显示的步骤。
作为改进，情景实训学习在教学互动区域实现；所述教学互动区域包括学生练习区、供学生练习区观看的练习观看屏幕、学生观看区、供学生观看区观看的教学观摩屏幕和操作区域；所述练习观看屏幕位于学生练习区的前方，所述学生练习区和练习观看屏幕位于学生观看区的后方，所述教学观摩屏幕位于学生观看区的前方。
本发明与现有技术相比所带来的有益效果是：
本发明利用虚拟合成技术，可将人物虚拟到任意空间内，并在虚拟的空间内进行活动，利用此技术可实现老师和学生在固定场所下模拟出丰富的场景下的教学和实践；老师和学生可以在计算机模拟出的场景下进行角色扮演，做到身临其境的直观感受，将现实生活中的场景，和未知世界进行虚拟模拟，解决单纯书本学习的枯燥与乏味，增强学生的直观体验感受，提高学习趣味，加深学习记忆；由于是计算机的虚拟技术，场景规模可以任意大，只要学习有需求就可以随时添加，成本低廉。
附图说明
图1为情景视频录制系统框架图。
图2为三维场景生产流程图。
图3为虚拟背景下的3D立体视频生成流程图。
图4为多文件格式与虚拟背景的全方位融合流程图。
图5为高清视频实时压缩和录制流程图。
图6为虚拟合成视频的流媒体推送流程图。
图7为本情景视频录制方法流图。
图8为情景视频录制系统框架图。
图9为教学互动区域示意图。
具体实施方式
下面结合说明书附图对本发明作进一步说明。
实施例1
一种基于3D虚拟合成技术的情景视频录制系统，如图8所示，本发明硬件框架包括：视频摄像设备、音频录入设备、软件运行服务器、视频显示设备、音频输出设备、网络设备。
1)视频摄像设备：使用摄像分辨率在1920×108025i的高清摄像机，视频信号输出方式采用HDMI或者HD-SDI。
2)音频录入设备：使用信噪比在50DB以下的有线话筒或者无线话筒，音频输出信号为6.5寸或者3.5寸。
3)软件运行服务器：服务器配置的推荐配置为，Z87芯片组主板，英特尔i7-4790CPU，8GBDDR31333MHZ内存，GTX960芯片组显卡，120SSD+2TBSATA硬盘，采集分辨率在1920×108025i的高清采集卡机，视频信号采集方式为HDMI或者HD-SDI，音频信号采集方式为RCA。
4)视频显示设备：分辨率为1920×108060P的显示器或者电视机。
5)音频输出设备：可通过软件服务器直接输出的包括有线耳机、有源音箱，也可通过调音台输出到功放音响设备和监听耳机设备。
6)网络设备：基于RJ45接口和TCP/IP网络协议的交换机、路由器、无线AP。
摄像机进行任务视频拍摄取像，通过摄像机的HDMI或HD-SDI输出至服务器采集卡信号采集接口；通过麦克风的3.5或6.5音频信号输出至采集卡音频采集接口。
服务器将人物图像与系统生成的虚拟背景合成后，通过声卡将音频信号输出至调音台设备或直接输出至声音接收设备；通过高清显卡把虚拟合成图像输出至显示设备；通过TCP/IP网络协议和MMS流媒体协议经过网络设备传输至用户终端设备。
如图1所示，本发明情景视频录制软件系统包括：人物采集处理模块、场景处理模块、图像合成模块、视频录制控制模块、控制虚拟机位、文件处理模块、系统界面捕抓模块。如图7所示，基于3D虚拟合成技术的情景视频录制方法，包括以下步骤：
（1）利用人物采集处理模块对视频摄像设备拍摄的视频的人物进行抠像；
（2）利用场景处理模块生成虚拟场景文件；
（3）利用图像合成模块将抠像前景与虚拟场景文件虚拟合成，实现视频摄像设备拍摄的人物在虚拟场景内的活动和变化；
（4）利用视频录制控制模块将人物在虚拟场景内的活动和变化进行视频录制；
（5）利用文件处理模块在虚拟背景中插入图片或视频；
（6）利用系统界面捕抓模块对软件的显示输出信号进行获取，视频信号对应输入到虚拟场景的显示框中，与背景进行合成显示。
步骤（1）中，人物抠象基于颜色采样与平滑优化的方式实现，抠像方程式为：C=aF+(1-a)B，基于RGB三色的抠像方程为：Cr,g,b=aFr,g,b+(1-a)Br,g,b；其中r,g,b三色的色值，采用系统实时采集的背景色的某一个像素点的色值，背景颜色采用与R(255，0，0)、G（0，255，0）、B（0，0，255）相近色值的颜色；在这个范围之外的像素作为前景，相应的Alpha通道值设为1，在这个范围之内的像素作为背景，相应的Alpha通道值设为0；平滑优化采用目标像素点的色值附近一定范围内的加权平均值，做为边缘优化的参照值。
在基于颜色采样的抠像a值的设定和优化方面，在抠像a值设定方面采用实时采集的背景色的某一个像素点的色值及附近一定范围像素点的加权平均值，在实际的操作过程中只需要将鼠标移动至目标背景色范围，点击鼠标，系统就可以计算出a值，无需手动输入色值。
步骤（2）中，将3DMAX中设计的场景建模文件重新编译为以.ASE或.XND为后缀的场景执行文件，以这两种格式编译后的场景文件只能执行，并不含带原始的场景建模文件，但是可以对场景以视角的方式进行远近、旋转的控制，类似与摄像机变焦和云台的操作控制。
步骤（3）中，通过抠像前景和.ASE、.XND文件的合成，就实现了摄像机拍摄的人物在虚拟空间内的活动和变化。利用虚拟合成技术，可将人物虚拟到任意空间内，并在虚拟的空间内进行活动，利用此技术可实现老师和学生在固定场所下模拟出丰富的场景下的教学和实践。如图2所示，系统导入三维场景以.ASE、.XND格式文件，三维场景通过xml配置文件自动读取识别三维场景内容。
步骤（4）中，录制的视频输出有三种：
1）如图3所示，虚拟背景下的3D立体视频生成技术：实现方式为系统将在视频合成后，复制生成另外一个图像，形成左右叠加视频输出，通过偏光式3D电视机进行播放，观看者通过佩戴偏光眼镜进行观看。
2）如图5所示，高清视频实时压缩和录制（包括暂停续录功能）：利用WMV和MP4高清视频的压缩技术，可根据需求调整高清视频的压缩录制参数。系统借用标准的WMV和MP4视频压缩算法，对系统合成输出的视频信号进行压缩保存。暂停续录的实现方式为，在录制控制按键分为录制键、暂停键和停止键，当点击暂停键时压缩录制的视频文件暂时保存在主机内存中不写入硬盘，当再点击录制按键时在内存中的文件中继续压缩缓存，直致点击停止按键时才会将整个文件写入硬盘生成视频文件。
3）如图6所示，利用流媒体文件生成技术，将虚拟合成视频在压缩后实时利用MMS流媒体协议和TCP/IP网络协议进行传输，具体方法为在浏览器中键入：MMS://主机IP地址即可，MMS流媒体协议可以直接调用windows自带mediaplay播放器进行解码播放。移动终端在基于IOS和安卓操作系统下安装VLC流媒体播放软件，都可获取流媒体视频文件并进行解码浏览。
如图4所示，步骤（4）和（5）实现多文件格式与虚拟背景的全方位融合：利用虚拟背景对多格式文件的实时捕捉和合成技术，虚拟背景的画中画屏幕空间内可显示如PPT、WORD、EXCEL、PDF、photoshop、3DMAX、画图、AfterEffects等众多文件格式的文件。
1）PPT加载方式为，利用系统的文档转换程序，将PPT文档格式转换成PNG、JPG、BMP等图片格式，在虚拟场景中显示和控制。
2)视频加载方式为，利用系统的内建播放器对视频进行解码播放，支持视频格式包括avi、wmv、mp4，播放器控制功能包括播放、暂停、循环播放和快进。
3)Windows自带软件和第三方程序（如：WORD、EXCEL、PDF、photoshop、3DMAX、画图、AfterEffects等）的加载方式为：系统内建电脑桌面程序显示视频的捕捉功能，对软件的显示输出信号进行获取，视频信号对应输入到虚拟场景的显示框中，与背景进行合成显示。
本发明情景视频录制方法可以录制学生的实训练习，利用先进的计算机技术将学生需要实训的场景在教室内虚拟出来，老师和学生可以在虚拟出的场景下进行角色扮演，做到身临其境的直观感受。由于是计算机的虚拟技术，场景规模可以任意大，只要学习有需求就可以随时添加，成本低廉。
实施例2
一种基于3D虚拟合成技术的情景实训学习方法，如图8所示，本发明硬件框架包括：视频摄像设备、音频录入设备、软件运行服务器、视频显示设备、音频输出设备、网络设备。
1)视频摄像设备：使用摄像分辨率在1920×108025i的高清摄像机，视频信号输出方式采用HDMI或者HD-SDI。
2)音频录入设备：使用信噪比在50DB以下的有线话筒或者无线话筒，音频输出信号为6.5寸或者3.5寸。
3)软件运行服务器：服务器配置的推荐配置为，Z87芯片组主板，英特尔i7-4790CPU，8GBDDR31333MHZ内存，GTX960芯片组显卡，120SSD+2TBSATA硬盘，采集分辨率在1920×108025i的高清采集卡机，视频信号采集方式为HDMI或者HD-SDI，音频信号采集方式为RCA。
4)视频显示设备：分辨率为1920×108060P的显示器或者电视机。
5)音频输出设备：可通过软件服务器直接输出的包括有线耳机、有源音箱，也可通过调音台输出到功放音响设备和监听耳机设备。
6)网络设备：基于RJ45接口和TCP/IP网络协议的交换机、路由器、无线AP。
摄像机进行任务视频拍摄取像，通过摄像机的HDMI或HD-SDI输出至服务器采集卡信号采集接口；通过麦克风的3.5或6.5音频信号输出至采集卡音频采集接口。
服务器将人物图像与系统生成的虚拟背景合成后，通过声卡将音频信号输出至调音台设备或直接输出至声音接收设备；通过高清显卡把虚拟合成图像输出至显示设备；通过TCP/IP网络协议和MMS流媒体协议经过网络设备传输至用户终端设备。
如图1所示，本发明情景视频录制软件系统包括：人物采集处理模块、场景处理模块、图像合成模块、视频录制控制模块、控制虚拟机位、文件处理模块、系统界面捕抓模块。如图7所示，基于3D虚拟合成技术的情景实训学习方法，包括实训视频录制和实训视频播放。
实训视频录制：
（1）利用人物采集处理模块对视频摄像设备拍摄的视频的人物进行抠像；
（2）利用场景处理模块生成虚拟场景文件；
（3）利用图像合成模块将抠像前景与虚拟场景文件虚拟合成，实现视频摄像设备拍摄的人物在虚拟场景内的活动和变化；
（4）利用视频录制控制模块将人物在虚拟场景内的活动和变化进行视频录制；
（5）利用文件处理模块在虚拟背景中插入图片或视频；
（6）利用系统界面捕抓模块对软件的显示输出信号进行获取，视频信号对应输入到虚拟场景的显示框中，与背景进行合成显示；
实训视频播放：
（7）将录制的视频通过视频显示设备进行播放；
（8）学生通过观看实训视频进行实训学习。
步骤（1）中，人物抠象基于颜色采样与平滑优化的方式实现，抠像方程式为：C=aF+(1-a)B，基于RGB三色的抠像方程为：Cr,g,b=aFr,g,b+(1-a)Br,g,b；其中r,g,b三色的色值，采用系统实时采集的背景色的某一个像素点的色值，背景颜色采用与R(255，0，0)、G（0，255，0）、B（0，0，255）相近色值的颜色；在这个范围之外的像素作为前景，相应的Alpha通道值设为1，在这个范围之内的像素作为背景，相应的Alpha通道值设为0；平滑优化采用目标像素点的色值附近一定范围内的加权平均值，做为边缘优化的参照值。
在基于颜色采样的抠像a值的设定和优化方面，在抠像a值设定方面采用实时采集的背景色的某一个像素点的色值及附近一定范围像素点的加权平均值，在实际的操作过程中只需要将鼠标移动至目标背景色范围，点击鼠标，系统就可以计算出a值，无需手动输入色值。
步骤（2）中，将3DMAX中设计的场景建模文件重新编译为以.ASE或.XND为后缀的场景执行文件，以这两种格式编译后的场景文件只能执行，并不含带原始的场景建模文件，但是可以对场景以视角的方式进行远近、旋转的控制，类似与摄像机变焦和云台的操作控制。
步骤（3）中，通过抠像前景和.ASE、.XND文件的合成，就实现了摄像机拍摄的人物在虚拟空间内的活动和变化。利用虚拟合成技术，可将人物虚拟到任意空间内，并在虚拟的空间内进行活动，利用此技术可实现老师和学生在固定场所下模拟出丰富的场景下的教学和实践。如图2所示，系统导入三维场景以.ASE、.XND格式文件，三维场景通过xml配置文件自动读取识别三维场景内容。
步骤（4）中，录制的视频输出有三种：
1）如图3所示，虚拟背景下的3D立体视频生成技术：实现方式为系统将在视频合成后，复制生成另外一个图像，形成左右叠加视频输出，通过偏光式3D电视机进行播放，观看者通过佩戴偏光眼镜进行观看。
2）如图5所示，高清视频实时压缩和录制（包括暂停续录功能）：利用WMV和MP4高清视频的压缩技术，可根据需求调整高清视频的压缩录制参数。系统借用标准的WMV和MP4视频压缩算法，对系统合成输出的视频信号进行压缩保存。暂停续录的实现方式为，在录制控制按键分为录制键、暂停键和停止键，当点击暂停键时压缩录制的视频文件暂时保存在主机内存中不写入硬盘，当再点击录制按键时在内存中的文件中继续压缩缓存，直致点击停止按键时才会将整个文件写入硬盘生成视频文件。
3）如图6所示，利用流媒体文件生成技术，将虚拟合成视频在压缩后实时利用MMS流媒体协议和TCP/IP网络协议进行传输，具体方法为在浏览器中键入：MMS://主机IP地址即可，MMS流媒体协议可以直接调用windows自带mediaplay播放器进行解码播放。移动终端在基于IOS和安卓操作系统下安装VLC流媒体播放软件，都可获取流媒体视频文件并进行解码浏览。
如图4所示，步骤（4）和（5）实现多文件格式与虚拟背景的全方位融合：利用虚拟背景对多格式文件的实时捕捉和合成技术，虚拟背景的画中画屏幕空间内可显示如PPT、WORD、EXCEL、PDF、photoshop、3DMAX、画图、AfterEffects等众多文件格式的文件。
1）PPT加载方式为，利用系统的文档转换程序，将PPT文档格式转换成PNG、JPG、BMP等图片格式，在虚拟场景中显示和控制。
2)视频加载方式为，利用系统的内建播放器对视频进行解码播放，支持视频格式包括avi、wmv、mp4，播放器控制功能包括播放、暂停、循环播放和快进。
3)Windows自带软件和第三方程序（如：WORD、EXCEL、PDF、photoshop、3DMAX、画图、AfterEffects等）的加载方式为：系统内建电脑桌面程序显示视频的捕捉功能，对软件的显示输出信号进行获取，视频信号对应输入到虚拟场景的显示框中，与背景进行合成显示。
本发明情景实训学习在教学互动区域实现。如图9所示，所述教学互动区域包括学生练习区、供学生练习区观看的练习观看屏幕、学生观看区、供学生观看区观看的教学观摩屏幕和操作区域；所述练习观看屏幕位于学生练习区的前方，所述学生练习区和练习观看屏幕位于学生观看区的后方，所述教学观摩屏幕位于学生观看区的前方。所述学生练习区内设有蓝色背景，有助于计算机技术对实训场景的加工处理；所述视频摄像设备和音频录入设备收录学生练习区的视频信号和音频信号；所述软件服务器设于所述操作区域。
本发明学生实训的场景均设置在有限的教学互动区域内；通过对学生实训练习的视频录制结合软件服务器端对视频的加工，利用计算机技术将学生需要实训的场景在教室内虚拟出来，老师和学生可以在虚拟出的场景下进行角色扮演，做到身临其境的直观感受。由于是计算机的虚拟技术，场景规模可以任意大，只要学习有需求就可以随时添加，成本低廉。
Claims (10)
1.一种基于3D虚拟合成技术的情景视频录制系统，其特征在于，包括：
用于对人物进行拍摄取像的视频摄像设备；
用于对人物进行收音的音频录入设备；
用于对视频摄像设备拍摄的视频进行人物抠像的人物采集处理模块；
用于生成虚拟场景文件的场景处理模块；
用于将抠像前景与虚拟场景文件虚拟合成，实现视频摄像设备拍摄的人物在虚拟场景内的活动和变化的图像合成模块；
用于将人物在虚拟场景内的活动和变化进行视频录制的视频录制控制模块；
用于在虚拟背景中插入图片或视频的文件处理模块；
用于对软件的显示输出信号进行获取，视频信号对应输入到虚拟场景的显示框中与背景进行合成显示的系统界面捕抓模块。
2.一种基于3D虚拟合成技术的情景视频录制方法，其特征在于，包括以下步骤：
（1）利用人物采集处理模块对视频摄像设备拍摄的视频的人物进行抠像；
（2）利用场景处理模块生成虚拟场景文件；
（3）利用图像合成模块将抠像前景与虚拟场景文件虚拟合成，实现视频摄像设备拍摄的人物在虚拟场景内的活动和变化；
（4）利用视频录制控制模块将人物在虚拟场景内的活动和变化进行视频录制；
（5）利用文件处理模块在虚拟背景中插入图片或视频；
（6）利用系统界面捕抓模块对软件的显示输出信号进行获取，视频信号对应输入到虚拟场景的显示框中，与背景进行合成显示。
3.根据权利要求2所述的一种基于3D虚拟合成技术的情景视频录制方法，其特征在于：步骤（1）是基于鼠标点击获取数值的色键抠像算法：人物抠象基于颜色采样与平滑优化的方式实现，抠像方程式为：C=aF+(1-a)B，基于RGB三色的抠像方程为：Cr,g,b=aFr,g,b+(1-a)Br,g,b；其中r,g,b三色的色值，采用系统实时采集的背景色的某一个像素点的色值，背景颜色采用与R(255，0，0)、G（0，255，0）、B（0，0，255）相近色值的颜色；在这个范围之外的像素作为前景，相应的Alpha通道值设为1，在这个范围之内的像素作为背景，相应的Alpha通道值设为0；平滑优化采用目标像素点的色值附近一定范围内的加权平均值，做为边缘优化的参照值。
4.根据权利要求2所述的一种基于3D虚拟合成技术的情景视频录制方法，其特征在于：步骤（2）中，将3DMAX中设计的场景建模文件重新编译为以.ASE或.XND为后缀的场景执行文件。
5.根据权利要求2所述的一种基于3D虚拟合成技术的情景视频录制方法，其特征在于：所述步骤（5）具体为：
1）PPT加载方式为：利用系统的文档转换程序，将PPT文档格式转换成PNG、JPG、BMP的图片格式，在虚拟场景中显示和控制；
2）视频加载方式为：利用系统的内建播放器对视频进行解码播放，支持视频格式包括avi、wmv、mp4，播放器控制功能包括播放、暂停、循环播放和快进。
6.根据权利要求2所述的一种基于3D虚拟合成技术的情景视频录制方法，其特征在于：步骤（4）中，虚拟背景下的3D立体视频生成方法：在视频合成后，复制生成另外一个图像，形成左右叠加视频输出，通过偏光式3D电视机进行播放，观看者通过佩戴偏光眼镜进行观看。
7.根据权利要求2所述的一种基于3D虚拟合成技术的情景视频录制方法，其特征在于：步骤（4）中，利用视频录制控制模块生产压缩视频和流媒体视频。
8.一种基于3D虚拟合成技术的情景实训学习方法，其特征在于，包括实训视频录制：
（1）利用人物采集处理模块对视频摄像设备拍摄的视频的人物进行抠像；
（2）利用场景处理模块生成虚拟场景文件；
（3）利用图像合成模块将抠像前景与虚拟场景文件虚拟合成，实现视频摄像设备拍摄的人物在虚拟场景内的活动和变化；
（4）利用视频录制控制模块将人物在虚拟场景内的活动和变化进行视频录制；
实训视频播放：
（5）将录制的视频通过视频显示设备进行播放；
（6）学生通过观看实训视频进行实训学习。
9.根据权利要求8所述的一种基于3D虚拟合成技术的情景实训学习方法，其特征在于：实训视频录制中，包括利用文件处理模块在虚拟背景中插入图片或视频的步骤；利用系统界面捕抓模块对软件的显示输出信号进行获取，视频信号对应输入到虚拟场景的显示框中，与背景进行合成显示的步骤。
10.根据权利要求8所述的一种基于3D虚拟合成技术的情景实训学习方法，其特征在于：情景实训学习在教学互动区域实现；所述教学互动区域包括学生练习区、供学生练习区观看的练习观看屏幕、学生观看区、供学生观看区观看的教学观摩屏幕和操作区域；所述练习观看屏幕位于学生练习区的前方，所述学生练习区和练习观看屏幕位于学生观看区的后方，所述教学观摩屏幕位于学生观看区的前方。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510788759.5A CN105306862B (zh) | 2015-11-17 | 2015-11-17 | 一种基于3d虚拟合成技术的情景视频录制系统、方法及情景实训学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510788759.5A CN105306862B (zh) | 2015-11-17 | 2015-11-17 | 一种基于3d虚拟合成技术的情景视频录制系统、方法及情景实训学习方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105306862A true CN105306862A (zh) | 2016-02-03 |
| CN105306862B CN105306862B (zh) | 2019-02-26 |
Family
ID=55203558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510788759.5A Active CN105306862B (zh) | 2015-11-17 | 2015-11-17 | 一种基于3d虚拟合成技术的情景视频录制系统、方法及情景实训学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105306862B (zh) |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105871872A (zh) * | 2016-04-28 | 2016-08-17 | 珠海经济特区远宏科技有限公司 | 移动式视频侦查方法 |
| CN105959595A (zh) * | 2016-05-27 | 2016-09-21 | 西安宏源视讯设备有限责任公司 | 一种虚拟现实实时交互中虚拟对现实自主响应方法 |
| CN106205245A (zh) * | 2016-07-15 | 2016-12-07 | 深圳市豆娱科技有限公司 | 沉浸式在线教学系统、方法和装置 |
| CN106254849A (zh) * | 2016-08-08 | 2016-12-21 | 深圳迪乐普数码科技有限公司 | 一种前景物体局部置换的方法与终端 |
| CN106502402A (zh) * | 2016-10-25 | 2017-03-15 | 四川农业大学 | 一种三维动态情景教学系统及方法 |
| CN106683501A (zh) * | 2016-12-23 | 2017-05-17 | 武汉市马里欧网络有限公司 | 一种ar儿童情景扮演投影教学方法及系统 |
| CN107437343A (zh) * | 2016-05-25 | 2017-12-05 | 中央大学 | 交互式教学系统以及方法 |
| CN107592483A (zh) * | 2016-07-06 | 2018-01-16 | 高福立 | 一种智能辅助学习系统及方法 |
| CN107633554A (zh) * | 2017-03-16 | 2018-01-26 | 柳州桂通科技股份有限公司 | 地面移动目标及其和所处位置的三维场景的展示方法 |
| CN107707843A (zh) * | 2016-08-09 | 2018-02-16 | 深圳泰和创邦文化传媒有限公司 | 一种视频合成及刻录的方法 |
| CN108831216A (zh) * | 2018-06-12 | 2018-11-16 | 辽宁向日葵教育科技有限公司 | 真三维虚拟仿真交互方法及系统 |
| CN108938308A (zh) * | 2018-04-28 | 2018-12-07 | 上海健康医学院 | 一种减缓记忆退化的装置及方法 |
| CN108986568A (zh) * | 2018-08-23 | 2018-12-11 | 重庆加河科技有限公司 | 一种基于混合式增强虚拟现实的互动教学系统 |
| CN109658369A (zh) * | 2018-11-22 | 2019-04-19 | 中国科学院计算技术研究所 | 视频智能生成方法及装置 |
| CN110032718A (zh) * | 2019-04-12 | 2019-07-19 | 广州广燃设计有限公司 | 一种表格转换方法、系统和存储介质 |
| CN110164242A (zh) * | 2019-06-04 | 2019-08-23 | 平顶山学院 | 一种声乐演唱模拟训练平台 |
| CN110233966A (zh) * | 2019-05-31 | 2019-09-13 | 维沃移动通信（杭州）有限公司 | 一种图像生成方法及终端 |
| CN111479036A (zh) * | 2019-01-24 | 2020-07-31 | 上海赢赞数字科技有限公司 | 基于摄像头的子弹时间特效拍摄系统及方法 |
| CN111722902A (zh) * | 2020-06-15 | 2020-09-29 | 朱利戈 | 基于窗体透明化处理实现富媒体互动教学的方法和系统 |
| CN112104794A (zh) * | 2020-03-31 | 2020-12-18 | 北京文香信息技术有限公司 | 虚拟微课堂演播系统及装置 |
| CN112839190A (zh) * | 2021-01-22 | 2021-05-25 | 九天华纳(北京)科技有限公司 | 虚拟图像与现实场景同步视频录制或直播的方法 |
| CN113132707A (zh) * | 2021-04-16 | 2021-07-16 | 中德（珠海）人工智能研究院有限公司 | 一种人物与虚拟装修环境实时动态叠加的方法及系统 |
| CN113992877A (zh) * | 2021-09-16 | 2022-01-28 | 南昌威爱信息科技有限公司 | 一种基于虚拟视频拍摄方法及系统 |
| CN114173147A (zh) * | 2021-01-22 | 2022-03-11 | 九天华纳(北京)科技有限公司 | 将虚拟图像和3d模型与现实场景同步视频显示的系统 |
| CN114302128A (zh) * | 2021-12-31 | 2022-04-08 | 视伴科技(北京)有限公司 | 视频生成的方法、装置、电子设备及存储介质 |
| CN114782106A (zh) * | 2022-05-07 | 2022-07-22 | 南京欣威视通信息科技股份有限公司 | 基于场景分析实现广告精准投送的电梯广告系统 |
| US11503228B2 (en) | 2017-09-11 | 2022-11-15 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing method, image processing apparatus and computer readable storage medium |
| CN118154820A (zh) * | 2024-05-13 | 2024-06-07 | 南京竹影数字科技有限公司 | 基于实时虚实融合与实时虚实的互动演播方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103164991A (zh) * | 2013-03-01 | 2013-06-19 | 广州市信和电信发展有限公司 | 一种网络互动教学教研应用系统 |
| CN203588489U (zh) * | 2013-06-28 | 2014-05-07 | 福建大娱号信息科技有限公司 | 一种情景教学设备 |
| US20150029183A1 (en) * | 2013-07-25 | 2015-01-29 | National Taiwan Normal University | Learning system with augmented reality and related learning method |
-
2015
- 2015-11-17 CN CN201510788759.5A patent/CN105306862B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103164991A (zh) * | 2013-03-01 | 2013-06-19 | 广州市信和电信发展有限公司 | 一种网络互动教学教研应用系统 |
| CN203588489U (zh) * | 2013-06-28 | 2014-05-07 | 福建大娱号信息科技有限公司 | 一种情景教学设备 |
| US20150029183A1 (en) * | 2013-07-25 | 2015-01-29 | National Taiwan Normal University | Learning system with augmented reality and related learning method |
Non-Patent Citations (3)
| Title |
|---|
| 张展鹏等: "数字抠像的最新研究进展", 《自动化学报》 * |
| 张顿: "慕课浪潮下的视频制作方式", 《数码影像时代》 * |
| 王莉莉: "虚拟演播室原型系统中的关键技术研究", 《中国优秀硕博士学位论文全文数据库（硕士）信息科技辑》 * |
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105871872A (zh) * | 2016-04-28 | 2016-08-17 | 珠海经济特区远宏科技有限公司 | 移动式视频侦查方法 |
| CN107437343A (zh) * | 2016-05-25 | 2017-12-05 | 中央大学 | 交互式教学系统以及方法 |
| CN105959595A (zh) * | 2016-05-27 | 2016-09-21 | 西安宏源视讯设备有限责任公司 | 一种虚拟现实实时交互中虚拟对现实自主响应方法 |
| CN107592483B (zh) * | 2016-07-06 | 2020-04-17 | 高福立 | 一种智能辅助学习系统及方法 |
| CN107592483A (zh) * | 2016-07-06 | 2018-01-16 | 高福立 | 一种智能辅助学习系统及方法 |
| CN106205245A (zh) * | 2016-07-15 | 2016-12-07 | 深圳市豆娱科技有限公司 | 沉浸式在线教学系统、方法和装置 |
| CN106254849A (zh) * | 2016-08-08 | 2016-12-21 | 深圳迪乐普数码科技有限公司 | 一种前景物体局部置换的方法与终端 |
| CN106254849B (zh) * | 2016-08-08 | 2018-11-13 | 深圳迪乐普数码科技有限公司 | 一种前景物体局部置换的方法与终端 |
| CN107707843A (zh) * | 2016-08-09 | 2018-02-16 | 深圳泰和创邦文化传媒有限公司 | 一种视频合成及刻录的方法 |
| CN106502402A (zh) * | 2016-10-25 | 2017-03-15 | 四川农业大学 | 一种三维动态情景教学系统及方法 |
| CN106502402B (zh) * | 2016-10-25 | 2019-11-01 | 四川农业大学 | 一种三维动态情景教学方法 |
| CN106683501A (zh) * | 2016-12-23 | 2017-05-17 | 武汉市马里欧网络有限公司 | 一种ar儿童情景扮演投影教学方法及系统 |
| CN106683501B (zh) * | 2016-12-23 | 2019-05-14 | 武汉市马里欧网络有限公司 | 一种ar儿童情景扮演投影教学方法及系统 |
| CN107633554A (zh) * | 2017-03-16 | 2018-01-26 | 柳州桂通科技股份有限公司 | 地面移动目标及其和所处位置的三维场景的展示方法 |
| US11503228B2 (en) | 2017-09-11 | 2022-11-15 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing method, image processing apparatus and computer readable storage medium |
| US11516412B2 (en) | 2017-09-11 | 2022-11-29 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing method, image processing apparatus and electronic device |
| CN108938308A (zh) * | 2018-04-28 | 2018-12-07 | 上海健康医学院 | 一种减缓记忆退化的装置及方法 |
| CN108831216A (zh) * | 2018-06-12 | 2018-11-16 | 辽宁向日葵教育科技有限公司 | 真三维虚拟仿真交互方法及系统 |
| CN108986568A (zh) * | 2018-08-23 | 2018-12-11 | 重庆加河科技有限公司 | 一种基于混合式增强虚拟现实的互动教学系统 |
| CN109658369A (zh) * | 2018-11-22 | 2019-04-19 | 中国科学院计算技术研究所 | 视频智能生成方法及装置 |
| CN111479036A (zh) * | 2019-01-24 | 2020-07-31 | 上海赢赞数字科技有限公司 | 基于摄像头的子弹时间特效拍摄系统及方法 |
| CN110032718A (zh) * | 2019-04-12 | 2019-07-19 | 广州广燃设计有限公司 | 一种表格转换方法、系统和存储介质 |
| CN110032718B (zh) * | 2019-04-12 | 2023-04-18 | 广州广燃设计有限公司 | 一种表格转换方法、系统和存储介质 |
| CN110233966A (zh) * | 2019-05-31 | 2019-09-13 | 维沃移动通信（杭州）有限公司 | 一种图像生成方法及终端 |
| CN110164242A (zh) * | 2019-06-04 | 2019-08-23 | 平顶山学院 | 一种声乐演唱模拟训练平台 |
| CN110164242B (zh) * | 2019-06-04 | 2020-12-08 | 平顶山学院 | 一种声乐演唱模拟训练平台 |
| CN112104794A (zh) * | 2020-03-31 | 2020-12-18 | 北京文香信息技术有限公司 | 虚拟微课堂演播系统及装置 |
| CN111722902A (zh) * | 2020-06-15 | 2020-09-29 | 朱利戈 | 基于窗体透明化处理实现富媒体互动教学的方法和系统 |
| CN112839190A (zh) * | 2021-01-22 | 2021-05-25 | 九天华纳(北京)科技有限公司 | 虚拟图像与现实场景同步视频录制或直播的方法 |
| CN114173147A (zh) * | 2021-01-22 | 2022-03-11 | 九天华纳(北京)科技有限公司 | 将虚拟图像和3d模型与现实场景同步视频显示的系统 |
| CN112839190B (zh) * | 2021-01-22 | 2023-01-31 | 九天华纳(北京)科技有限公司 | 虚拟图像与现实场景同步视频录制或直播的方法 |
| CN113132707A (zh) * | 2021-04-16 | 2021-07-16 | 中德（珠海）人工智能研究院有限公司 | 一种人物与虚拟装修环境实时动态叠加的方法及系统 |
| CN113992877A (zh) * | 2021-09-16 | 2022-01-28 | 南昌威爱信息科技有限公司 | 一种基于虚拟视频拍摄方法及系统 |
| CN114302128A (zh) * | 2021-12-31 | 2022-04-08 | 视伴科技(北京)有限公司 | 视频生成的方法、装置、电子设备及存储介质 |
| CN114782106A (zh) * | 2022-05-07 | 2022-07-22 | 南京欣威视通信息科技股份有限公司 | 基于场景分析实现广告精准投送的电梯广告系统 |
| CN114782106B (zh) * | 2022-05-07 | 2023-09-26 | 南京欣威视通信息科技股份有限公司 | 基于场景分析实现广告精准投送的电梯广告系统 |
| CN118154820A (zh) * | 2024-05-13 | 2024-06-07 | 南京竹影数字科技有限公司 | 基于实时虚实融合与实时虚实的互动演播方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105306862B (zh) | 2019-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105306862A (zh) | 一种基于3d虚拟合成技术的情景视频录制系统、方法及情景实训学习方法 | |
| CN105376547A (zh) | 一种基于3d虚拟合成技术的微课录制系统及方法 | |
| WO2018045927A1 (zh) | 一种基于三维虚拟技术的网络实时互动直播方法及装置 | |
| CN106502402A (zh) | 一种三维动态情景教学系统及方法 | |
| WO2019041351A1 (zh) | 一种3d vr视频与虚拟三维场景实时混叠渲染的方法 | |
| CN106383576A (zh) | Vr环境中显示体验者身体局部的方法及系统 | |
| WO2019019403A1 (zh) | 一种用于k12阶段的互动情景教学系统 | |
| CN108965746A (zh) | 视频合成方法及系统 | |
| CN106331436A (zh) | 一种云导播系统和音视频在线节目制作方法 | |
| CN112104794A (zh) | 虚拟微课堂演播系统及装置 | |
| CN203588489U (zh) | 一种情景教学设备 | |
| CN111325853B (zh) | 一种基于增强现实眼镜的远程辅导系统及方法 | |
| CN109788221A (zh) | 一种录播方法及装置 | |
| CN103841299A (zh) | 虚拟演播室系统 | |
| CN110012264A (zh) | 一种视频实时处理合成系统及方法 | |
| CN116016866A (zh) | 一种同步书写笔迹的一体化摄录播系统及其录播方法 | |
| CN108831216B (zh) | 真三维虚拟仿真交互方法及系统 | |
| CN112422882A (zh) | 一种为视频会议系统提供视频源的方法与装置 | |
| CN110933350A (zh) | 一种电子云镜录播系统、方法及装置 | |
| CN205158682U (zh) | 一种实训学习系统 | |
| CN106710336A (zh) | 一种网络教学平台 | |
| CN115086686A (zh) | 视频处理方法及相关装置 | |
| CN112153472A (zh) | 一种画面特效的生成方法及装置、存储介质及电子设备 | |
| CN217543870U (zh) | 一种互动教学课堂系统 | |
| CN105898235A (zh) | Osce客观结构化临床考试的远程访问系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 510670 room 206, building 201, No. 33, science Avenue, Science City, Guangzhou high tech Industrial Development Zone, Guangzhou City, Guangdong Province Patentee after: Guangzhou yingtu Information Software Co., Ltd Address before: 510670, room 7, building 716, building 33, science Avenue, Science Town, Guangzhou hi tech Industrial Development Zone, Guangdong,, Guangzhou Patentee before: GUANGZHOU ETO INFORMATION TECHNOLOGY CO., LTD. |
|
| CP03 | Change of name, title or address | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A scene video recording system, method and scene training learning method based on 3D virtual synthesis technology Effective date of registration: 20201210 Granted publication date: 20190226 Pledgee: China Co. truction Bank Corp Guangzhou Yuexiu branch Pledgor: Guangzhou yingtu Information Software Co.,Ltd. Registration number: Y2020440000395 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |