CN114173147A - 将虚拟图像和3d模型与现实场景同步视频显示的系统 - Google Patents

将虚拟图像和3d模型与现实场景同步视频显示的系统 Download PDF

Info

Publication number
CN114173147A
CN114173147A CN202111526445.XA CN202111526445A CN114173147A CN 114173147 A CN114173147 A CN 114173147A CN 202111526445 A CN202111526445 A CN 202111526445A CN 114173147 A CN114173147 A CN 114173147A
Authority
CN
China
Prior art keywords
display
models
recording
virtual images
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111526445.XA
Other languages
English (en)
Inventor
赵晓民
陈晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiutian Warner Beijing Technology Co ltd
Original Assignee
Jiutian Warner Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiutian Warner Beijing Technology Co ltd filed Critical Jiutian Warner Beijing Technology Co ltd
Publication of CN114173147A publication Critical patent/CN114173147A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供将虚拟图像和3D模型与现实场景同步视频显示的系统，所述系统包括用于存储虚拟图像和3D模型数据的服务器；用于录制或直播现实场景视频的录制系统；用于控制操作将虚拟图像和3D模型与现实场景合成并同步同屏录制或直播的控制系统；用于展示所录制或直播的现实场景与虚拟图像和3D模型同步同屏显示的展示系统；所述服务器、所述录制系统、所述存储系统和所述展示系统通过所述控制系统通信连接。用手机端或电脑端上传素材；用手机、平板等移动终端的摄像头获取实时的现实场景，通过网络接口获取用户上传的素材，在移动终端加载素材，并与摄像头获取的现实场景结合到一起实现AR效果、MR效果；与麦克风的声音进行混合显示，录制、直播。

Description

将虚拟图像和3D模型与现实场景同步视频显示的系统
本申请要求申请号为202120172573.8的《将虚拟图像和3D模型与现实场景同步视频显示的系统》专利申请的优先权，其内容通过引用结合在本申请中。
技术领域
本发明涉及视频图像技术领域，特别涉及将虚拟图像和3D模型与现实场景同步视频显示的系统。
背景技术
随着互联网技术，以及视频技术的发展，越来越多的在线培训、在线教育、直播教育等都在使用老师网上视频授课的形式。但传统的视频授课由于技术限制，如果想要实现：将老师授课的内容(PPT、图片、动画、3D模型等)与老师所处显示环境进行同屏呈现，必须要依赖绿布抠像技术、配合录播硬件设备，或者配合后期繁琐的手工视频编辑才能够实现。传统的录制也仅仅是只对单个的素材进行录制，无法实现在现实场景下同屏进行多个文字、图片、动画等虚拟图像和3D模型的可切换的同步持续录制，且难以支持通过蓝牙鼠标等外设在远距离范围进行操控。并且现有技术中的系统操作复杂、成本高昂，可复制性差。
现有技术中常用的技术术语包括：
AR效果:增强现实(Augmented Reality)技术是将虚拟信息与真实世界融合的技术，将计算机生成的文字、图像、三维模型等虚拟信息应用到真实世界中，从而实现对真实世界的“增强”。
MR效果：混合现实(Mixed Reality)是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。
发明内容
为了解决上述技术问题，本发明的目的在于：
1.支持并实现了用户通过蓝牙鼠标、蓝牙云台的外接设备与智能手机、服务器等系统通信进行应用控制，方便用户通过手机终端等控制系统实现远距离操作。
2.支持并实现了用户可通过蓝牙鼠标、蓝牙云台的外接设备进行应用控制，方便用户进行录制时通过手机、鼠标等控制系统实现切换素材、上下翻页等操作。
3.支持并实现了用户通过蓝牙耳机、外界音频设备进行声音采集。
具体地，本发明提供将虚拟图像和3D模型与现实场景同步视频显示的系统，所述系统包括用于存储虚拟图像和3D模型数据的服务器；用于录制或直播现实场景视频的录制系统；用于控制操作将虚拟图像和3D模型与现实场景合成并同步同屏录制或直播的控制系统；用于展示所录制或直播的现实场景与虚拟图像和3D模型同步同屏显示的展示系统；所述服务器、所述录制系统、所述存储系统和所述展示系统通过所述控制系统通信连接。
所述录制系统包括用于收集外部图像视频的视频采集设备和用于收集外部声音的音频采集设备。
所述的视频采集设备为摄像头；所述音频设备为麦克风、蓝牙耳机。
所述控制系统包括用于合成虚拟图像和3D模型数据与视频图像和音频数据的合成系统，以及用于处理选择、添加、控制操作的处理器。
所述合成系统位于微处理器内，也可以位于所述处理器。
所述展示系统包括输入/出设备，所述输入/出设备包括显示器/屏和扬声器，以及显示器/屏上的触控按键、控制按键以及键盘、鼠标、云台，与所述控制系统通信连接。
所述存储系统包括存储设备或存储器，用于存储所述控制系统、录制系统、展示系统传输的数据。
所述录制系统、所述控制系统、所述展示系统和所述存储系统集合于智能手机或智能平板；或者所述控制系统、所述展示系统和所述存储系统集合于智能手机或智能平板；或者所述录制系统、所述控制系统、所述展示系统和所述存储系统分别作为外部设备，通过互联网通信连接服务器。
所述的外部设备包括摄像机、麦克风、蓝牙耳机、显示屏/器、扬声器、蓝牙鼠标、蓝牙云台、智能手机、平板，移动存储盘。
所述系统还包括与服务器连接的PC端或手机端，所述PC端或手机端用于收集虚拟图像和3D模型数据并存储到服务器的数据库。
综上，本申请发明能够实现的优势在于：本发明结构简单，不仅比传统录播系统更易于操作，提高了用户体验效果，而且本发明通过所述录制系统、所述控制系统、所述展示系统和所述存储系统以及服务器构建的同步视频显示系统实现了让用户录制课程视频时，可以将录制素材内容与现实场景画面进行结合出现AR、MR效果，且不会影响录制/直播的效果。
本发明可以方便地用手机端或电脑端进行上传素材；可以方便地用手机、平板等移动终端的摄像头获取实时的现实场景，同时通过网络接口获取用户上传的PPT/PDF等文档文件、图片，GiF动图，3D模型等素材，在移动终端加载素材，并与摄像头获取的现实场景画面结合到一起实现AR效果，或将素材放置于虚拟的现实环境中实现MR效果；手机端将结合的视频画面进行屏幕录制，与麦克风的声音进行混合，最终生成mp4视频文件。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1是本发明的一个实施例的原理示意图。
图2是本发明的第二个实施例的原理示意图。
图3是本发明的第三个实施例的原理示意图。
图4是本发明的第四个实施例的原理示意图。
具体实施方式
为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。
如图1所示，本发明的一个实施例，提供将虚拟图像和3D模型与现实场景同步视频显示的系统，所述系统包括：用于存储虚拟图像和3D模型数据的服务器；用于录制或直播现实场景视频的录制系统；用于控制操作将虚拟图像和3D模型与现实场景叠加合成并同步同屏录制或直播的控制系统；用于展示所录制的现实场景与虚拟图像和3D模型同步同屏显示的展示系统；所述服务器、所述录制系统、所述存储系统和所述展示系统通过所述控制系统通信连接。所述录制系统包括用于收集外部图像视频的视频采集设备和用于收集外部声音的音频采集设备，所述的视频采集设备为摄像头；所述音频设备为麦克风、蓝牙耳机。所述服务器包括存储虚拟图像和3D模型数据的数据库。所述存储系统包括存储设备。所述展示系统包括显示器和扬声器。所述控制系统包括用于合成虚拟图像和3D模型数据与视频图像和音频数据的合成系统，以及用于处理选择、添加、控制操作的处理器。所述录制系统、所述控制系统、所述展示系统和所述存储系统分别作为外部设备，通过互联网通信连接服务器。所述的外部设备包括摄像机、麦克风、蓝牙耳机、显示屏/器、扬声器、蓝牙鼠标、蓝牙云台、智能手机、平板，移动存储盘。
所述系统的操作可以简述为：
用户从服务器的数据库中将需要使用的虚拟图像和/或3D模型下载到与控制系统连接的存储系统的存储设备中；
用户通过摄像头和麦克风/蓝牙耳机采集音视频数据录制现实场景；
并将虚拟图像和/或3D模型与收集到的音视频数据通过控制系统中的合成系统叠加合成为一层，并通过处理器操作所述控制系统中的控制按键完成控制操作，在所述展示系统中的显示器和扬声器中展示输出。
如图2所示，本发明的第二实施例中，可以用手机端或PC端进行上传素材到服务器，通过用户上传的PPT/PDF等文档文件、图片，GiF动图，3D模型等素材存储到服务器中的数据库。所述控制系统中的合成系统位于微处理器，所述合成系统设置为微处理器，用于叠加合成虚拟图像和/或3D模型等素材数据于录制的视频图像数据，使得在展示系统中展示屏上展示出同步视频录制或直播的画面。并且，所述控制系统、所述展示系统和所述存储系统还可以进一步集合于智能手机、平板等移动终端，换句话说，手机、平板内包括所述控制系统、所述展示系统和所述存储系统。
此外，如图3所示，本申请的第三个实施例中，所述合成系统也可以位于所述处理器内，即所述控制系统采用处理器实现叠加合成虚拟图像和3D模型与现实场景同步视频录制或直播的处理功能，而展示系统包括输入/输出设备，所述输入/出设备包括包括显示器/屏和扬声器，以及显示器/屏上的触控按键、控制按键以及键盘、鼠标，与所述控制系统通信连接。所述存储系统为存储器，用于存储所述控制系统、录制系统、展示系统传输的数据。所述控制系统、所述录制系统、所述展示系统和存储器集合为智能手机或智能平板。
如图4所示，还可以将所述录制系统、所述控制系统、所述展示系统和所述存储系统整合为智能手机、平板等移动终端，手机端的摄像头获取实时的现实场景，同时通过网络接口获取用户上传的PPT/PDF等文档文件、图片，GiF动图，3D模型等素材，在手机端加载素材，并与摄像头获取的现实场景画面结合到一起实现AR效果，或将素材放置于虚拟的现实环境中实现MR效果；手机端将结合的视频画面进行屏幕录制，与麦克风的声音进行混合，最终生成mp4视频文件。
本发明中，用户的PPT、PDF等文档文件、图片，GiF动图，3D模型等素材，与摄像头获取的现实场景画面结合到一起实现AR、MR效果，且AR效果与MR效果能够通过所述处理器进行实时切换，同时两种效果中，视频有美颜效果，用户实时书写、拖动与缩放素材等操作等都会被录制。在AR效果与MR效果实时切换的前提下，通过屏幕录制，将画面与麦克风采集的音频进行合成，生成mp4视频文件。用户可通过蓝牙鼠标、蓝牙云台的外接设备进行控制应用进行录制时的切换素材、上下翻页。在本发明中实现了叠加录制画面层的效果，但实际录制生成的视频中，录制操作层所有功能按钮及操作都不会被录制进最终视频中。本发明实现了用户通过蓝牙鼠标、蓝牙云台的外接设备进行控制应用，方便用户通过手机实现远距离操作。
本发明实施例提供适用于移动终端的虚拟图像和3D模型与现实场景同步显示、录制、直播的系统，采用移动终端、外部设备等电子设备，可以包括手机、平板等。特别是，能够通过智能手机、平板等移动终端实现将虚拟图像和3D模型与现实场景同步录制或直播。
可以理解的是，本实施例的虚拟图像和3D模型等虚拟物品的显示可以是在移动终端上执行的，也可以是由移动终端和服务器共同执行的。本申请中的举例不应理解为对本申请的限制。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.将虚拟图像和3D模型与现实场景同步视频显示的系统，其特征在于，所述系统包括用于存储虚拟图像和3D模型数据的服务器；用于录制或直播现实场景视频的录制系统；用于控制操作将虚拟图像和3D模型与现实场景合成并同步同屏录制或直播的控制系统；用于展示所录制或直播的现实场景与虚拟图像和3D模型同步同屏显示的展示系统；所述服务器、所述录制系统、所述存储系统和所述展示系统通过所述控制系统通信连接。
2.根据权利要求1所述的将虚拟图像和3D模型与现实场景同步视频显示的系统，其特征在于，所述录制系统包括用于收集外部图像视频的视频采集设备和用于收集外部声音的音频采集设备。
3.根据权利要求2所述的将虚拟图像和3D模型与现实场景同步视频显示的系统，其特征在于，所述的视频采集设备为摄像头、摄像机；所述音频设备为麦克风、蓝牙耳机。
4.根据权利要求1所述的将虚拟图像和3D模型与现实场景同步视频显示的系统，其特征在于，所述控制系统包括用于合成虚拟图像和3D模型数据与视频图像和音频数据的合成系统，以及用于处理选择、添加、控制操作的处理器。
5.根据权利要求4所述的将虚拟图像和3D模型与现实场景同步视频显示的系统，其特征在于，所述合成系统位于微处理器，或者位于所述处理器。
6.根据权利要求1所述的将虚拟图像和3D模型与现实场景同步视频显示的系统，其特征在于，所述展示系统包括输入/出设备，所述输入/出设备包括显示器/屏和扬声器，以及显示器/屏上的触控按键、控制按键以及键盘、鼠标、云台，与所述控制系统通信连接。
7.根据权利要求1所述的将虚拟图像和3D模型与现实场景同步视频显示的系统，其特征在于，所述存储系统包括存储设备或存储器，用于存储所述控制系统、录制系统、展示系统传输的数据。
8.根据权利要求1所述的将虚拟图像和3D模型与现实场景同步视频显示的系统，其特征在于，所述录制系统、所述控制系统、所述展示系统和所述存储系统集合于智能手机或智能平板；或者所述控制系统、所述展示系统和所述存储系统集合于智能手机或智能平板；或者所述录制系统、所述控制系统、所述展示系统和所述存储系统分别为外部设备，通过互联网通信连接服务器。
9.根据权利要求8所述的将虚拟图像和3D模型与现实场景同步视频显示的系统，其特征在于，所述的外部设备包括摄像机、麦克风、蓝牙耳机、显示屏/器、扬声器、蓝牙鼠标、蓝牙云台、智能手机、平板，移动存储盘。
10.根据权利要求1所述的将虚拟图像和3D模型与现实场景同步视频显示的系统，其特征在于，所述系统还包括与服务器连接的PC端或手机端，所述PC端或手机端用于收集虚拟图像和3D模型数据并存储到服务器的数据库。
CN202111526445.XA 2021-01-22 2021-12-14 将虚拟图像和3d模型与现实场景同步视频显示的系统 Pending CN114173147A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202120172573 2021-01-22
CN2021201725738 2021-01-22

Publications (1)

Publication Number Publication Date
CN114173147A true CN114173147A (zh) 2022-03-11

Family

ID=80486443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111526445.XA Pending CN114173147A (zh) 2021-01-22 2021-12-14 将虚拟图像和3d模型与现实场景同步视频显示的系统

Country Status (1)

Country Link
CN (1) CN114173147A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306862A (zh) * 2015-11-17 2016-02-03 广州市英途信息技术有限公司 一种基于3d虚拟合成技术的情景视频录制系统、方法及情景实训学习方法
CN105376547A (zh) * 2015-11-17 2016-03-02 广州市英途信息技术有限公司 一种基于3d虚拟合成技术的微课录制系统及方法
CN107231531A (zh) * 2017-05-23 2017-10-03 青岛大学 一种网络虚拟现实技术与实拍结合影视制作系统
CN209710220U (zh) * 2019-07-15 2019-11-29 广东电网有限责任公司 一种课程录制系统
CN112104794A (zh) * 2020-03-31 2020-12-18 北京文香信息技术有限公司 虚拟微课堂演播系统及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306862A (zh) * 2015-11-17 2016-02-03 广州市英途信息技术有限公司 一种基于3d虚拟合成技术的情景视频录制系统、方法及情景实训学习方法
CN105376547A (zh) * 2015-11-17 2016-03-02 广州市英途信息技术有限公司 一种基于3d虚拟合成技术的微课录制系统及方法
CN107231531A (zh) * 2017-05-23 2017-10-03 青岛大学 一种网络虚拟现实技术与实拍结合影视制作系统
CN209710220U (zh) * 2019-07-15 2019-11-29 广东电网有限责任公司 一种课程录制系统
CN112104794A (zh) * 2020-03-31 2020-12-18 北京文香信息技术有限公司 虚拟微课堂演播系统及装置

Similar Documents

Publication Publication Date Title
KR102543988B1 (ko) 비디오 제작 방법 및 장치, 컴퓨터 디바이스 및 저장 매체
KR101270780B1 (ko) 가상 강의실 강의 방법 및 장치
CN111163274B (zh) 一种视频录制方法及显示设备
TW478284B (en) Method and apparatus for projection display
US6570581B1 (en) On-location video assistance system with computer generated imagery overlay
US8363056B2 (en) Content generation system, content generation device, and content generation program
KR101367260B1 (ko) 강의자가 강의 중에 강의 화면을 구성할 수 있는 가상 강의실 강의 장치
CN105376547A (zh) 一种基于3d虚拟合成技术的微课录制系统及方法
CN112839190B (zh) 虚拟图像与现实场景同步视频录制或直播的方法
JP2001313915A (ja) テレビ会議装置
KR101351085B1 (ko) 실물화상기
KR101669897B1 (ko) 3d 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법 및 장치
CN113115110B (zh) 视频合成方法、装置、存储介质与电子设备
WO2005013618A1 (ja) ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
WO2006011401A1 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
EP0469850A2 (en) Method and apparatus for pre-recording, editing and playing back presentations on a computer system
CN114327700A (zh) 一种虚拟现实设备及截屏图片播放方法
CN106303288A (zh) 合成演唱视频的方法、装置及系统
KR100901111B1 (ko) 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
KR101663085B1 (ko) 휴대형 스마트기기에서의 동영상 기반의 알파채널 영상합성을 이용한 비디오 카드 제작 시스템 및 그 방법
US20090153550A1 (en) Virtual object rendering system and method
CN108831216B (zh) 真三维虚拟仿真交互方法及系统
CN109872400B (zh) 一种全景虚拟现实场景的生成方法
CN114173147A (zh) 将虚拟图像和3d模型与现实场景同步视频显示的系统
CN115225915A (zh) 直播录设备、直播录系统及直播录方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220311

WD01 Invention patent application deemed withdrawn after publication