CN112489219A - 一种基于计算机视觉的混合现实录播方法 - Google Patents
一种基于计算机视觉的混合现实录播方法 Download PDFInfo
- Publication number
- CN112489219A CN112489219A CN201910861183.9A CN201910861183A CN112489219A CN 112489219 A CN112489219 A CN 112489219A CN 201910861183 A CN201910861183 A CN 201910861183A CN 112489219 A CN112489219 A CN 112489219A
- Authority
- CN
- China
- Prior art keywords
- mixed reality
- recording
- dimensional digital
- marker
- broadcasting device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供了一种基于计算机视觉的混合现实录播方法，首先建立空间三维数字模型，混合现实录播装置扫描标志物，获取位姿，在混合现实录播装置移动过程中，改变其位姿，智能移动装置加载三维数字模型，其它智能移动装置将位姿通过网络发送至协同服务模块，协同服务模块收到后将对应的位姿发送至混合现实录播装置，混合现实录播装置能实时更新虚拟物体三维数字模型的位姿，混合现实录播装置将其摄像头所拍摄的现实图像与虚拟物体模型混合成视频，视频可保存至本地或通过有线或无线方式进行推送，从而以较低的数据量实现第三人称视角多人协同混合现实视频录播应用。
Description
技术领域
本发明涉及一种应用混合现实技术的混合现实录播方法，适合于第三人称视角多人协同混合现实视频录播应用。
背景技术
目前VR(Virtual Reality，虚拟现实)，AR(Augmented Reality，增强现实)和MR(Mixed Reality，混合现实)第三人称视角多人协同混合现实视频录播应用中，相互之间无法互通，各种设备的用户不能与其它设备协同使用，在同一类型设备间第三人称视角多人协同混合现实视频录播的使用场景需消耗大量数据通信资源，体验效果较差等问题，从而以较低的数据量实现第三人称视角多人协同混合现实视频录播应用。
发明内容
本发明的目的是针对目前VR(Virtual Reality，虚拟现实)，AR(AugmentedReality，增强现实)和MR(Mixed Reality，混合现实)第三人称视角多人协同混合现实视频录播应用中，相互之间无法互通，各种设备的用户不能与其它设备协同使用，在同一类型设备间第三人称视角多人协同混合现实视频录播的使用场景需消耗大量数据通信资源，体验效果较差等问题，从而以较低的数据量实现第三人称视角多人协同混合现实视频录播应用。
本发明提供了一种基于计算机视觉的混合现实录播方法，首先建立空间三维数字模型和虚拟物体三维数字模型，混合现实录播装置扫描标志物，通过计算机视觉算法获取混合现实录播装置与标志物之间相对的6自由度位姿，通过标志物相对于空间三维数字模型的6自由度位姿计算出混合现实录播装置相对于空间三维数字模型的6自由度位姿，以确定混合现实录播装置的初始6自由度位姿，在混合现实录播装置移动过程中，通过计算机视觉算法实时改变其空间6自由度位姿，智能移动装置加载虚拟物体三维数字模型，其它智能移动装置将虚拟物体三维数字模型相对于空间模型的空间6自由度位姿通过网络发送至协同服务模块，协同服务模块收到后将对应的虚拟物体三维数字模型相对于空间三维数字模型的空间6自由度位姿发送至混合现实录播装置，混合现实录播装置能实时更新虚拟物体三维数字模型的空间6自由度位姿，混合现实录播装置将其摄像头所拍摄的现实图像与虚拟物体模型混合成视频，视频可保存至本地或通过有线或无线方式进行推送，从而以较低的数据量实现第三人称视角多人协同混合现实视频录播应用。
附图说明
图1是本发明的系统原理图。
具体实施方式
一种基于计算机视觉的混合现实录播方法，在图1中，首先建立空间三维数字模型和虚拟物体三维数字模型，空间三维数字模型和虚拟三维数字物体模型可部署在本地或网络，设计标志物，确定标志物与空间三维数字模型的关联，对于没有确定空间三维数字模型关联的标志物，标志物为原点，放置标志物，记录标志物相对于空间三维数字模型原点的6自由度位姿，如没有相对应的空间三维数字模型，标志物为原点，混合现实录播装置扫描标志物，通过计算机视觉算法获取混合现实录播装置与标志物之间相对的6自由度位姿，通过标志物相对于空间三维数字模型的6自由度位姿计算出混合现实录播装置相对于空间三维数字模型的6自由度位姿，以确定混合现实录播装置的初始6自由度位姿，在混合现实录播装置移动过程中，通过计算机视觉算法实时改变其空间6自由度位姿，智能移动装置加载虚拟物体三维数字模型，其它智能移动装置将虚拟物体三维数字模型相对于空间模型的空间6自由度位姿通过网络发送至协同服务模块，协同服务模块收到后将对应的虚拟物体三维数字模型相对于空间三维数字模型的空间6自由度位姿发送至混合现实录播装置，混合现实录播装置能实时更新虚拟物体三维数字模型的空间6自由度位姿，混合现实录播装置将其摄像头所拍摄的现实图像与虚拟物体模型混合成视频，视频可保存至本地或通过有线或无线方式进行推送，从而以较低的数据量实现第三人称视角多人协同混合现实视频录播应用。
图1所述的标志物，其特征在于，是图像或二维码。
图1所述的混合现实录播装置，其特征在于，配置有摄像头的智能移动装置，包括不同品牌型号的设备，安装不同软件，按照统一的通信协议与协同服务模块通信。
图1所述的智能移动装置，其特征在于，包括不同品牌型号的设备，安装不同软件，按照统一的通信协议与协同服务模块通信。
图1所述的协同服务模块，其特征在于，可部署在混合现实录播装置中，也可部署在其它智能移动装置中或其它独立的网络设备中。
Claims (5)
1.一种基于计算机视觉的混合现实录播方法，其特征在于：首先建立空间三维数字模型和虚拟物体三维数字模型，空间三维数字模型和虚拟三维数字物体模型可部署在本地或网络，设计标志物，确定标志物与空间三维数字模型的关联，对于没有确定空间三维数字模型关联的标志物，标志物为原点，放置标志物，记录标志物相对于空间三维数字模型原点的6自由度位姿，如没有相对应的空间三维数字模型，标志物为原点，混合现实录播装置扫描标志物，通过计算机视觉算法获取混合现实录播装置与标志物之间相对的6自由度位姿，通过标志物相对于空间三维数字模型的6自由度位姿计算出混合现实录播装置相对于空间三维数字模型的6自由度位姿，以确定混合现实录播装置的初始6自由度位姿，在混合现实录播装置移动过程中，通过计算机视觉算法实时改变其空间6自由度位姿，智能移动装置加载虚拟物体三维数字模型，其它智能移动装置将虚拟物体三维数字模型相对于空间模型的空间6自由度位姿通过网络发送至协同服务模块，协同服务模块收到后将对应的虚拟物体三维数字模型相对于空间三维数字模型的空间6自由度位姿发送至混合现实录播装置，混合现实录播装置能实时更新虚拟物体三维数字模型的空间6自由度位姿，混合现实录播装置将其摄像头所拍摄的现实图像与虚拟物体模型混合成视频，视频可保存至本地或通过有线或无线方式进行推送，从而以较低的数据量实现第三人称视角多人协同混合现实视频录播应用。
2.如权利要求1所述的标志物，其特征在于，是图像或二维码。
3.如权利要求1所述的混合现实录播装置，其特征在于，配置有摄像头的智能移动装置，包括不同品牌型号的设备，安装不同软件，按照统一的通信协议与协同服务模块通信。
4.如权利要求1所述的智能移动装置，其特征在于，包括不同品牌型号的设备，安装不同软件，按照统一的通信协议与协同服务模块通信。
5.如权利要求1所述的协同服务模块，其特征在于，可部署在混合现实录播装置中，也可部署在其它智能移动装置中或其它独立的网络设备中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910861183.9A CN112489219A (zh) | 2019-09-11 | 2019-09-11 | 一种基于计算机视觉的混合现实录播方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910861183.9A CN112489219A (zh) | 2019-09-11 | 2019-09-11 | 一种基于计算机视觉的混合现实录播方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112489219A true CN112489219A (zh) | 2021-03-12 |
Family
ID=74920589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910861183.9A Pending CN112489219A (zh) | 2019-09-11 | 2019-09-11 | 一种基于计算机视觉的混合现实录播方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112489219A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115016128A (zh) * | 2022-08-08 | 2022-09-06 | 南京平行视界技术有限公司 | 一种基于偏振体全息波导hud装置 |
-
2019
- 2019-09-11 CN CN201910861183.9A patent/CN112489219A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115016128A (zh) * | 2022-08-08 | 2022-09-06 | 南京平行视界技术有限公司 | 一种基于偏振体全息波导hud装置 |
| CN115016128B (zh) * | 2022-08-08 | 2022-12-02 | 南京平行视界技术有限公司 | 一种基于偏振体全息波导hud装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200402317A1 (en) | Apparatus and method for supporting interactive augmented reality functionalities | |
| US20220108534A1 (en) | Network-Based Spatial Computing for Extended Reality (XR) Applications | |
| WO2015077159A1 (en) | Video transmission | |
| CN102571624A (zh) | 实时通信系统及相关的计算器可读介质 | |
| US20220078344A1 (en) | Communication terminal, display method, and non-transitory computer-readable medium | |
| KR20190038134A (ko) | 360 영상 라이브 스트리밍 서비스 방법 및 서버장치 | |
| CN112927273A (zh) | 三维视频的处理方法、设备及存储介质 | |
| CN109104632A (zh) | 一种电视终端ar场景的实现方法及系统 | |
| CN211062003U (zh) | 一种基于计算机视觉的多人协同系统 | |
| KR102505666B1 (ko) | 초실감 콘텐츠를 제공하기 위해 특정 위치의 관람객 시점에 최적화된 렌더링을 수행하는 장치 | |
| KR102181859B1 (ko) | 홀로포테이션 제공 시스템 및 방법 | |
| CN112489219A (zh) | 一种基于计算机视觉的混合现实录播方法 | |
| CN102540690A (zh) | 在便携式终端中产生三维图像的设备和方法 | |
| CN106657977A (zh) | 具有全景摄像功能的虚拟现实设备和全景视频通话方法 | |
| CN211062079U (zh) | 一种基于计算机视觉的混合现实录播系统 | |
| CN113014960B (zh) | 一种在线制作视频的方法、装置及存储介质 | |
| CN112486315A (zh) | 一种基于计算机视觉的多人协同方法 | |
| CN216291234U (zh) | 第三人称视角拍摄系统 | |
| CN114793276A (zh) | 一种拟真现实元宇宙平台3d全景拍摄方法 | |
| CN111223114B (zh) | 一种图像区域的分割方法、装置及电子设备 | |
| CN116962745A (zh) | 视频图像的混画方法、装置及直播系统 | |
| CN114900743A (zh) | 基于视频推流的场景渲染过渡方法以及系统 | |
| CN106408668A (zh) | 一种ar设备及其进行ar操作的方法 | |
| US20240015264A1 (en) | System for broadcasting volumetric videoconferences in 3d animated virtual environment with audio information, and procedure for operating said device | |
| EP4156109A1 (en) | Apparatus and method for establishing a three-dimensional conversational service |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210312 |
|
| WD01 | Invention patent application deemed withdrawn after publication |