CN212519183U - 一种用于摄像机器人的虚拟拍摄系统 - Google Patents
一种用于摄像机器人的虚拟拍摄系统 Download PDFInfo
- Publication number
- CN212519183U CN212519183U CN202021874088.7U CN202021874088U CN212519183U CN 212519183 U CN212519183 U CN 212519183U CN 202021874088 U CN202021874088 U CN 202021874088U CN 212519183 U CN212519183 U CN 212519183U
- Authority
- CN
- China
- Prior art keywords
- camera
- camera robot
- robot
- virtual
- simulation model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本实用新型实施例公开了一种用于摄像机器人的虚拟拍摄系统。该用于摄像机器人的虚拟拍摄系统基于虚幻引擎技术，影视创作者可以在电影拍摄前期按照自己的创意，制作虚拟场景，再将摄像机器人仿真模型加入所述虚拟场景，按照自己的创意设计摄像机器人仿真模型的运动轨迹，查看整个镜头的效果，采用通讯技术将真实场景中的摄像机器人的运动轨迹与摄像机器人仿真模型的运动轨迹保持一致，从而实现该系统可以直接通过摄像机器人运行设计好的运动轨迹、并在虚拟拍摄系统中实时查看虚实结合的效果。
Description
技术领域
本实用新型涉及计算机信息处理的技术领域，特别是涉及一种用于摄像机器人的虚拟拍摄系统。
背景技术
近年来，随着科技的进步与影视技术的发展，越来越多的影视制作开始使用基于摄像机器人的摄像机运动控制技术和虚拟拍摄技术，形成一种实时交互的虚拟化拍摄制作环境。
通过虚拟拍摄技术，影视创作者可以在拍摄之前，先使用动画建模软件搭建需要的虚拟场景，再通过一些摄像机跟踪技术将虚拟场景中的摄像机与真实场景的摄像机实时同步绑定。从而，创作人员就能以更加直观的、可视化的方式实现自己的创意，避免后期制作人员与创作人员的想法不一致的情况，也使得电影前期制作时，创作人员之间的沟通交流更加方便直观，提升了电影制作前后期的效率。通过摄像机运动控制技术，影视创作者可以通过计算机精准地控制摄像机器人，从而规划出自己想要的摄像机的运动轨迹，这些轨迹可以不断地精确地在空间中重复。
然而，目前的摄像机运动控制系统拆装、运输十分不便，且需要专业技术人员在现场设计及调整摄像机的运行轨迹，不仅增加时间成本，还增加拍摄经济成本。目前的虚拟拍摄技术，仍然需要外部跟踪设备给虚拟拍摄系统提供摄像机的跟踪数据，这也增加了拍摄成本。
因此，针对上述技术问题，有必要提供一种用于摄像机器人的虚拟拍摄系统，该虚拟拍摄系统可以直接通过摄像机运行设计好的运动轨迹、并在虚拟拍摄系统中实时查看虚实结合的效果。
实用新型内容
有鉴于此，本实用新型实施例的目的在于提供一种用于摄像机器人的虚拟拍摄系统，该虚拟拍摄系统基于虚幻引擎技术，影视创作者可以在电影拍摄前期按照自己的创意，制作虚拟场景，再将摄像机器人仿真模型加入所述虚拟场景，按照自己的创意设计摄像机器人仿真模型的运动轨迹，查看整个镜头的效果，采用通讯技术将真实场景中的摄像机器人的运动轨迹与摄像机器人仿真模型的运动轨迹保持一致，从而实现该系统可以直接通过摄像机运行设计好的运动轨迹、并在虚拟拍摄系统中实时查看虚实结合的效果。
为了实现上述目的，本实用新型一实施例提供的技术方案如下：一种用于摄像机器人的虚拟拍摄的系统，包括：摄像机器人，用于在真实场景中进行摄像的机器人且输出原始画面；摄像机控制系统，用于控制所述摄像机器人的运动；虚幻引擎，用于构建虚拟场景模型和摄像机机器人仿真模型，且输出虚拟场景画面和摄像机机器人仿真模型的运行轨迹；所述虚幻引擎与所述摄像机控制系统进行通讯互联，从而实现摄像机器人的运行轨迹与摄像机器人仿真模型的运行轨迹保持一致；抠像模块，用于对所述原始画面进行抠图而获取目标抠像；合成模块，将所述目标抠像与所述虚拟场景画面进行合成，获得虚实结合的合成画面；输出模块，用于输出所述合成画面。
作为本实用新型的进一步改进，所述摄像机控制系统作为客户端，所述虚幻引擎作为服务端。
作为本实用新型的进一步改进，所述客户端包括基于UDP通讯，根据预设的协议和通信周期，实时向虚幻引擎发送摄像机器人的相关参数。
作为本实用新型的进一步改进，所述相关参数包括所述摄像机器人的各个轴的角度数据、末端的坐标、摄像机器人的焦距和对焦距离。
作为本实用新型的进一步改进，所述客户端包括基于UDP通讯，根据预设的协议实时解析收到的摄像机器人的相关参数数据，并将所述相关参数数据应用至摄像机器人仿真模型上，实现虚拟环境中的摄像机器人仿真模型与真实场景中的摄像机器人的状态保持一致。
作为本实用新型的进一步改进，所述服务端与所述客户端之间可设置数据预定的延迟时间。
作为本实用新型的进一步改进，所述虚幻引擎控制采用关节控制和末端控制来控制摄像机器人仿真模型。
作为本实用新型的进一步改进，虚幻引擎控制所述摄像机器人仿真模型，从而调整所述摄像机器人仿真模型的位置和姿态；基于所述摄像机器人仿真模型的画面，根据需求建立若干关键点位帧；基于所述若干关键点位帧，采用插值法生产完整运动轨迹；将所述运动轨迹发送给摄像机运动控制系统，所述摄像机运动控制系统控制摄像机器人运行所述运动轨迹。
作为本实用新型的进一步改进，所述关键点位帧包括摄像机器人仿真模型的各个关节轴的姿态、所述摄像机器人仿真模型的焦距和对焦距离。
本实用新型具有以下优点：
本实用新型实施例所提供的用于摄像机器人的虚拟拍摄系统，基于虚幻引擎技术，影视创作者可以在电影拍摄前期按照自己的创意，制作虚拟场景，再将摄像机器人仿真模型加入所述虚拟场景，按照自己的创意设计摄像机器人仿真模型的运动轨迹，查看整个镜头的效果，采用通讯技术将真实场景中的摄像机器人的运动轨迹与摄像机器人仿真模型的运动轨迹保持一致，从而实现该系统可以直接通过摄像机运行设计好的运动轨迹、并在虚拟拍摄系统中实时查看虚实结合的效果。
附图说明
为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本实用新型实施例提供的一种用于摄像机器人的虚拟拍摄系统的模块化示意图。
附图标号说明：
100、系统 10、摄像机器人 20、摄像机控制系统
30、虚幻引擎 40、抠像模块 50、合成模块
60、输出模块
具体实施方式
为了使本技术领域的人员更好地理解本实用新型中的技术方案，下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本实用新型保护的范围。
如图1所示，本实用新型实施例提供的一种用于摄像机器人的虚拟拍摄的系统。该用于摄像机器人的虚拟拍摄的系统100包括：用于在真实场景中进行摄像的机器人且输出原始画面的摄像机器人10，用于控制所述摄像机器人的运动的摄像机控制系统20，用于构建虚拟场景模型和摄像机机器人仿真模型，且输出虚拟场景画面和摄像机机器人仿真模型的运行轨迹的虚幻引擎30，于对所述原始画面进行抠图而获取目标抠像的抠像模块40，将目标抠像与虚拟场景画面进行合成而获得虚实结合的合成画面的合成模块50，用于输出所述合成画面的输出模块60。其中，虚幻引擎30与摄像机控制系统20进行通讯互联，实现摄像机器人10的运行轨迹与摄像机器人仿真模型的运行轨迹保持一致。
其中将包含通讯模块的摄像机运动控制系统20作为客户端，虚幻引擎30作为服务端。通讯模块具体可以基于UDP通讯，根据预设的协议和通信周期，实时向虚幻引擎30发送摄像机器人10的相关参数。相关参数包括摄像机器人10的各个轴的角度数据、末端的坐标、摄像机器人的焦距和对焦距离等参数。
在虚幻引擎20中建立服务端，实现虚拟环境中的摄像机器人仿真模型与真实场景中的摄像机器人10的状态保持一致。相对应地，虚幻引擎30也基于UDP通讯，根据预设的协议实时解析收到的摄像机器人10的相关参数的数据，并将所述相关参数的数据应用至摄像机器人仿真模型上，实现虚拟环境中的摄像机器人仿真模型与真实场景中的摄像机器人10的状态保持一致。优选地，服务端与客户端之间可设置数据预定的延迟时间。
采用三维动画软件制作虚拟场景，将所述虚拟场景模型导入虚拟拍摄的系统，并将摄像机器人仿真模型移动至虚拟场景中的预设位置。在该实施例中，虚拟场景与真实场景的尺度一致。在其他实施例中，虚拟场景与真实场景可以存着预定比例的缩放，只是相应其他后续处理中都需要乘以缩放的比例系数。
虚幻引擎30控制所述摄像机器人仿真模型，从而调整所述摄像机器人仿真模型的位置和姿态；同时查看所述摄像机器人仿真模型的画面，根据需求建立若干关键点位帧；基于所述若干关键点位帧，采用插值法生产完整运动轨迹；服务端将所述运动轨迹发送给摄像机运动控制系统20，摄像机运动控制系统20控制摄像机器人10运行所述运动轨迹。
在该实施例中，控制摄像机器人仿真模型的控制方法包括关节控制和末端控制。关节控制即通过调整修改摄像机器人仿真模型的各个关节轴的角度数据来控制摄像机器人仿真模型的姿态；末端控制即通过直接调整安装在机器人末端的摄像机机器人仿真模型的位置坐标及各方向的旋转角度来调整摄像机器人仿真模型的姿态。这种控制方式采用了机器人的逆向运动学方法来反算出机器人各个关节的位姿数据。
创作人员在调整虚拟场景中的摄像机器人仿真模型的位置和姿态的同时，可以查看摄像机器人仿真模型的画面，根据自己的想法在关键的点位创建关键帧(简称关键点位帧)。在该实施例中，关键点位帧包括摄像机器人仿真模型的各个关节轴的姿态、所述摄像机器人仿真模型的焦距和对焦距离。基于所述若干关键点位帧，采用插值法生产完整运动轨迹。创作人员可根据需求调整运动轨迹。将所述运动轨迹发送给摄像机运动控制系统，所述摄像机运动控制系统控制摄像机器人运行所述运动轨迹。
抠像模块40获取摄像机器人10在真实场景中获取的原始画面，并对所述原始画面进行抠像而获得目标抠图。为了方便抠像，真实场景的拍摄通常在绿幕环境下进行。通过采集卡采集真实场景中的摄像机器人输出的原始画面，通过虚拟拍摄系统的抠像模块将原始的YUV格式图像转化为RGBA格式图像，再指定特定颜色进行扣除(通常为绿色)，即将该种颜色的像素点的alpha值修改为0、使其透明，这样画面中就只剩下目标的人和物体。
将虚幻引擎30实时渲染的虚拟场景定义为虚拟场景图层，合成模块50将所述目标抠图覆盖于所述虚拟场景图层，获得虚拟场景与目标抠图的合成画面。
根据虚拟场景中的摄像机器人仿真模型的外参和内参，将虚幻引擎实时渲染的虚拟场景定义为虚拟场景图层，将经过抠像处理后的原始画面图层覆盖于虚拟场景图层，即像素点alpha值为0的取虚拟场景图层的颜色，像素点alpha值为1的取原始画面图层的颜色，这样就能实时得到虚拟场景与原始画面合成的合成画面。
由上述步骤可知，当真实场景中的摄像机器人状态变换时，虚拟场景中的摄像机器人仿真模型也会同步发生变换，此时真实场景中的摄像机器人与虚拟场景中的摄像机器人仿真模型的状态是实时同步的，因此画面的变化也是同步的，最终能够得到位置关系都准确的逼真的合成画面，仿佛真实的人物和物体就置身于虚拟场景中。
输出模块60输出所述合成画面。具体可以采用采集卡、无线传输等方式将合成画面传输出去。
优选地，用于摄像机器人的虚拟拍摄系统100还可以根据创作人员需求对各个画面图层的参数进行调整。各个画面图层的参数具体包括画面图层的饱和度、对比度、伽马等参数。
本实用新型实施例所提供的用于摄像机器人的虚拟拍摄系统，基于虚幻引擎技术，影视创作者可以在电影拍摄前期按照自己的创意，制作虚拟场景，再将摄像机器人仿真模型加入所述虚拟场景，按照自己的创意设计摄像机器人仿真模型的运动轨迹，查看整个镜头的效果，采用通讯技术将真实场景中的摄像机器人的运动轨迹与摄像机器人仿真模型的运动轨迹保持一致，从而实现该系统可以直接通过摄像机运行设计好的运动轨迹、并在虚拟拍摄系统中实时查看虚实结合的效果。
对于本领域技术人员而言，显然本实用新型不限于上述示范性实施例的细节，而且在不背离本实用新型的精神或基本特征的情况下，能够以其他的具体形式实现本实用新型。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本实用新型的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本实用新型内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (9)
1.一种用于摄像机器人的虚拟拍摄的系统，其特征在于，所述系统包括：
摄像机器人，用于在真实场景中进行摄像的机器人且输出原始画面；
摄像机控制系统，用于控制所述摄像机器人的运动；
虚幻引擎，用于构建虚拟场景模型和摄像机机器人仿真模型，且输出虚拟场景画面和摄像机机器人仿真模型的运行轨迹；
所述虚幻引擎与所述摄像机控制系统进行通讯互联，从而实现摄像机器人的运行轨迹与摄像机器人仿真模型的运行轨迹保持一致；
抠像模块，用于对所述原始画面进行抠图而获取目标抠像；
合成模块，将所述目标抠像与所述虚拟场景画面进行合成，获得虚实结合的合成画面；
输出模块，用于输出所述合成画面。
2.根据权利要求1所述的一种用于摄像机器人的虚拟拍摄的系统，其特征在于，所述摄像机控制系统作为客户端，所述虚幻引擎作为服务端。
3.根据权利要求2所述的一种用于摄像机器人的虚拟拍摄的系统，其特征在于，所述客户端基于UDP通讯，根据预设的协议和通信周期，实时向虚幻引擎发送摄像机器人的相关参数。
4.根据权利要求3所述的一种用于摄像机器人的虚拟拍摄的系统，其特征在于，所述相关参数包括所述摄像机器人的各个轴的角度数据、末端的坐标、摄像机器人的焦距和对焦距离。
5.根据权利要求2所述的一种用于摄像机器人的虚拟拍摄的系统，其特征在于，所述客户端基于UDP通讯，根据预设的协议实时解析收到的摄像机器人的相关参数数据，并将所述相关参数数据应用至摄像机器人仿真模型上，实现虚拟环境中的摄像机器人仿真模型与真实场景中的摄像机器人的状态保持一致。
6.根据权利要求5所述的一种用于摄像机器人的虚拟拍摄的系统，其特征在于，所述服务端与所述客户端之间可设置数据预定的延迟时间。
7.根据权利要求1所述的一种用于摄像机器人的虚拟拍摄的系统，其特征在于，所述虚幻引擎控制采用关节控制和末端控制来控制摄像机器人仿真模型。
8.根据权利要求1所述的一种用于摄像机器人的虚拟拍摄的系统，其特征在于，虚幻引擎控制所述摄像机器人仿真模型，从而调整所述摄像机器人仿真模型的位置和姿态；基于所述摄像机器人仿真模型的画面，根据需求建立若干关键点位帧；基于所述若干关键点位帧，采用插值法生产完整运动轨迹；将所述运动轨迹发送给摄像机运动控制系统，所述摄像机运动控制系统控制摄像机器人运行所述运动轨迹。
9.根据权利要求8所述的一种用于摄像机器人的虚拟拍摄的系统，其特征在于，所述关键点位帧包括摄像机器人仿真模型的各个关节轴的姿态、所述摄像机器人仿真模型的焦距和对焦距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202021874088.7U CN212519183U (zh) | 2020-09-01 | 2020-09-01 | 一种用于摄像机器人的虚拟拍摄系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202021874088.7U CN212519183U (zh) | 2020-09-01 | 2020-09-01 | 一种用于摄像机器人的虚拟拍摄系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN212519183U true CN212519183U (zh) | 2021-02-09 |
Family
ID=74385382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202021874088.7U Active CN212519183U (zh) | 2020-09-01 | 2020-09-01 | 一种用于摄像机器人的虚拟拍摄系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN212519183U (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111970453A (zh) * | 2020-09-01 | 2020-11-20 | 太仓中科信息技术研究院 | 一种用于摄像机器人的虚拟拍摄系统及方法 |
| CN113524262A (zh) * | 2021-08-20 | 2021-10-22 | 太仓中科信息技术研究院 | 摄像机器人虚实融合精度优化装置和方法 |
-
2020
- 2020-09-01 CN CN202021874088.7U patent/CN212519183U/zh active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111970453A (zh) * | 2020-09-01 | 2020-11-20 | 太仓中科信息技术研究院 | 一种用于摄像机器人的虚拟拍摄系统及方法 |
| CN113524262A (zh) * | 2021-08-20 | 2021-10-22 | 太仓中科信息技术研究院 | 摄像机器人虚实融合精度优化装置和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11076142B2 (en) | Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene | |
| US20060165310A1 (en) | Method and apparatus for a virtual scene previewing system | |
| US20130101164A1 (en) | Method of real-time cropping of a real entity recorded in a video sequence | |
| CN111970453A (zh) | 一种用于摄像机器人的虚拟拍摄系统及方法 | |
| US20080253685A1 (en) | Image and video stitching and viewing method and system | |
| JP2013157014A (ja) | ３ｄ空間次元に基づく画像処理のための装置およびシステム | |
| CN212519183U (zh) | 一种用于摄像机器人的虚拟拍摄系统 | |
| JPH11259672A (ja) | ３次元仮想空間表示装置 | |
| EP4111677B1 (en) | Multi-source image data synchronization | |
| CN115118880A (zh) | 一种基于沉浸式视频终端搭建的xr虚拟拍摄系统 | |
| US11328436B2 (en) | Using camera effect in the generation of custom synthetic data for use in training an artificial intelligence model to produce an image depth map | |
| CN213461894U (zh) | 一种xr-扩展现实系统 | |
| WO2023236656A1 (zh) | 互动画面的渲染方法、装置、设备、存储介质及程序产品 | |
| CN213126145U (zh) | 一种ar-虚拟互动系统 | |
| CN212231547U (zh) | 混合现实虚拟预演拍摄系统 | |
| CN213186216U (zh) | 一种虚拟影视拍摄装置 | |
| CN114793276A (zh) | 一种拟真现实元宇宙平台3d全景拍摄方法 | |
| JP2022102923A (ja) | バーチャルスタジオシステム | |
| Papagiannis | Augmented Reality (AR) joiners, a novel expanded cinematic form | |
| US11682175B2 (en) | Previsualization devices and systems for the film industry | |
| Ye et al. | When Green Screen Meets Panoramic Videos: An Interesting Video Combination Framework for Virtual Studio and Cellphone Applications | |
| Bazzoni et al. | The origami project: advanced tools and techniques for high-end mixing and interaction between real and virtual content | |
| CN117527994A (zh) | 一种空间模拟拍摄的可视化呈现方法及系统 | |
| CN117395352A (zh) | 一种基于母片场景进行子片视频复原系统及方法 | |
| CN111970415A (zh) | 一种实现微缩场景与实景拍摄实时合成预览系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant |