CN112116663A - 一种摄像机器人离线编程方法、系统及电子设备 - Google Patents

一种摄像机器人离线编程方法、系统及电子设备 Download PDF

Info

Publication number
CN112116663A
CN112116663A CN202010842227.6A CN202010842227A CN112116663A CN 112116663 A CN112116663 A CN 112116663A CN 202010842227 A CN202010842227 A CN 202010842227A CN 112116663 A CN112116663 A CN 112116663A
Authority
CN
China
Prior art keywords
track
virtual
camera robot
robot
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010842227.6A
Other languages
English (en)
Inventor
何健
冯兵
朱登明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TAICANG INSTITUTE OF COMPUTING TECHNOLOGY CHINESE ACADEMY OF SCIENCES
Original Assignee
TAICANG INSTITUTE OF COMPUTING TECHNOLOGY CHINESE ACADEMY OF SCIENCES
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TAICANG INSTITUTE OF COMPUTING TECHNOLOGY CHINESE ACADEMY OF SCIENCES filed Critical TAICANG INSTITUTE OF COMPUTING TECHNOLOGY CHINESE ACADEMY OF SCIENCES
Priority to CN202010842227.6A priority Critical patent/CN112116663A/zh
Publication of CN112116663A publication Critical patent/CN112116663A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/17Mechanical parametric or variational design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/31Programming languages or programming paradigms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Abstract

本发明提供了一种摄像机器人离线编程方法及系统,所述方法中,对虚拟摄像机器人的空间轨迹进行离散化处理,生成摄像机器人可执行的轨迹文件;基于标定文件对镜头轨迹进行离散化处理,生成基于时间的镜头轨迹值;对虚拟摄像机器人进行可达性分析和加速度分析;在真实的拍摄环境中,将镜头轨迹与机械臂运动轨迹基于时间同步传输给摄像机器人和镜头控制器。本方法使得影视创作者能够在电影拍摄前期按照自己的创意制作虚拟场景并导入系统中,再将摄像机器人仿真模型加入场景,按照自己的创意设计摄像机的运动轨迹,查看整个镜头效果。在实际拍摄时,直接通过摄像机运动控制系统运行设计好的轨迹,并在虚拟拍摄系统中实时查看虚实结合的效果,大大提高了影片数字制作的质量和效率。

Description

一种摄像机器人离线编程方法、系统及电子设备
技术领域
本发明公开了一种基于Unreal虚幻引擎的用于摄像机器人的离线编程方法,属于机器人技术和影视拍摄技术交叉的领域。
背景技术
随着人民生活质量提高,人们不只停留在对物质内容的追求上,精神方面的需求也逐步增高,造成了影视剧的海量出现,现在每年都有千百部电视剧电影被拍摄出来,影视后期制作也被逐步被重视起来,影视后期制作软件如雨后春笋般出现,越来越多的影视制作团队开始使用基于摄像机器人的摄像机运动控制技术和虚拟拍摄技术。
影视特效已经成为当前影视作品中的重要基础,尤其是在好莱坞大片中更是体现的淋漓尽致。然而制作一段即酷又炫的视频特效并不是一件容易的事情,除了要有技术超群的特效制作大师外,还必须要有技术超前的特效制作工具和辅助设备。摄像机器人运动控制系统(Unreal)是一款非常出色的特效系统,它的出现极大的提高了大批量特效的制作效率。为了进一步挖掘摄像机器人在场景规划、特效合成中的能力,我们有必要为摄像机器人运动控制系统寻找一种合适的离线编程的方法。
通过虚拟拍摄技术,影视创作者可以在拍摄之前先使用动画建模软件搭建需要的虚拟场景,再通过摄像机跟踪技术将虚拟场景中的摄像机与真实的摄像机实时同步配置,这样创作人员们就能以更加直观的、可视化的方式实现自己的创意。影视创作者在确定拍摄内容后,再将拍摄的视频对应的虚拟轨迹转化成摄像机运动控制系统中可复用的轨迹,并进行真实的拍摄。
通过摄像机运动控制技术,影视创作者可以将之前虚拟拍摄系统中获取的轨迹在真实的摄像机器人运动控制系统中使用,这些轨迹可以精确的在空间中重复运行。精确的重复拍摄能够极大的提高特效镜头的拍摄效率和质量,在电影特效合成领域有广泛的应用。
目前的摄像机运动控制系统拍摄时无法预览拍摄效果,每次拍摄需要搭建真实的场景以供拍摄,制作成本高,且不具备空间复用性,每次拍摄都必须到实地进行,而使用基于Unreal的虚拟拍摄系统,可预先在unreal中预览拍摄效果并实时调整,直至拍摄出满意的效果,再布置真实的场景,利用摄像机器人轨迹复用的特性,可拍摄出与虚拟场景中同样的更真实的视频。
发明内容
本发明的目的是通过以下技术方案实现的。
本发明的目的是为了提出一种基于虚幻引擎Unreal的用于摄像机器人的离线编程方法,本方法使得影视创作者能够在电影拍摄前期按照自己的创意制作虚拟场景导入系统中,再将摄像机器人仿真模型加入场景中,按照自己的创意设计摄像机的运动轨迹,查看整个镜头效果。
本申请第一方面实施例提出了一种摄像机器人离线编程方法,包括如下步骤:
在Unreal虚拟环境中构建摄像机器人的相同尺寸的虚拟数学三维模型,形成虚拟摄像机器人;
根据虚拟摄像机器人的各个关节参数、云台板的法兰偏移进行机械臂运动控制学的绑定,根据所述虚拟摄像机器人的摄像机型号、镜头参数进行标定,生成相应的标定文件;
在Unreal的虚拟环境中进行摄像机位置、焦距和光圈的轨迹设计,并通过分析虚拟摄像机器人在执行虚拟轨迹时各个关键数据的变化情况,进行虚拟摄像机器人轨迹安全性检查;
设置虚拟摄像机器人的各个部件的限制条件,利用机械臂逆运动学来进行摄像机位置的轨迹规划,根据不同的镜头,利用先前生成的标定文件,进行焦距和光圈的轨迹规划;
对所述虚拟摄像机器人的空间轨迹进行离散化处理,生成摄像机器人可执行的轨迹文件;
在标定文件的基础下进行镜头规划后离散化处理,生成基于时间的镜头轨迹值;
对虚拟摄像机器人进行可达性分析和加速度分析;
在真实的拍摄环境中,将镜头轨迹与机械臂运动轨迹基于时间同步传输给摄像机器人和镜头控制器。
在本申请的一些实施例中,所述虚拟摄像机器人的参数包括机械臂各个轴的尺寸、包围盒、机械臂末端的云台板尺寸、摄像机型号和镜头参数。
在本申请的一些实施例中,所述机械臂运动控制学包括正向动力学和/或逆向动力学。
在本申请的一些实施例中,所述限制条件包括各个机械臂关节的最大旋转值和最小旋转值、云台板的偏移量、摄像机相对于机器人法兰中心的偏移量以及光圈的极限值。
在本申请的一些实施例中,在对所述虚拟摄像机器人的空间轨迹进行离散化处理,生成摄像机器人可执行的轨迹文件之后,进一步包括:设置虚拟七轴摄像机器人各轴的可达阈值。
在本申请的一些实施例中,所述可达性分析包括:将之前得到的轨迹通过逆运动学计算出机械臂运动的关节轨迹,所述关节轨迹由帧集合构成,设一条轨迹有n帧,将机器人当前时刻的位置与第1帧至第n帧中所有控制指令的值进行累加得到累加值,再加上当前机械臂关节位置,得到累加后的机械臂关节位置,也就是目标点的机械臂关节位置,将目标点的每个关节位置与机械臂的每个关节默认的阈值进行比较,如果每个关节都属于阈值范围内,则代表当前轨迹相对于当前机械臂是可达的。
在本申请的一些实施例中,所述加速度分析根据关节轨迹帧速度差值与通信周期相比得出,所述关节轨迹帧速度由关节帧位置差值与通信周期相比得出,对计算出来的关节轨迹逐帧与默认的最大加速度比对,如果都在最大值范围内,则加速度校验通过。
本申请第二方面实施例提出了一种摄像机器人离线编程系统,包括:
模型构建模块,用于在Unreal虚拟环境中构建摄像机器人的相同尺寸的虚拟数学三维模型,形成虚拟摄像机器人;
标定模块,用于根据虚拟摄像机器人的各个关节参数、云台板的法兰偏移进行机械臂运动控制学的绑定,根据所述虚拟摄像机器人的摄像机型号、镜头参数进行标定,生成相应的标定文件;
轨迹设计模块,用于在Unreal的虚拟环境中进行摄像机位置、焦距和光圈的轨迹设计,并通过分析虚拟摄像机器人在执行虚拟轨迹时各个关键数据的变化情况,进行虚拟摄像机器人轨迹安全性检查;
轨迹规划模块,用于设置虚拟摄像机器人的各个部件的限制条件,利用机械臂逆运动学来进行摄像机位置的轨迹规划,根据不同的镜头和摄像机,利用先前生成的标定文件,进行焦距和光圈的轨迹规划;
机器人轨迹生成模块,用于对所述虚拟摄像机器人的空间轨迹进行离散化处理,生成摄像机器人可执行的轨迹文件;
镜头轨迹生成模块,基于标定文件对镜头规划后的轨迹进行离散化处理,生成基于时间的镜头轨迹值;
分析模块,用于对虚拟摄像机器人进行可达性分析和加速度分析;
轨迹传输模块,用于在真实的拍摄环境中,将镜头轨迹与机械臂运动轨迹基于时间同步传输给摄像机器人和镜头控制器。
本申请第三方面实施例提出了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序以实现如第一方面所述的方法。
本申请第四方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行实现如第一方面所述的方法。
本发明的优点在于:在实际拍摄时,直接通过摄像机运动控制系统运行设计好的轨迹,并在虚拟拍摄系统中实时查看虚实结合的效果,大大提高了数字影片制作的质量和效率。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明实施方式的一种基于Unreal虚幻引擎的用于摄像机器人的离线编程方法流程图;
图2示出了根据本发明实施方式的一种基于Unreal虚幻引擎的用于摄像机器人的离线编程系统结构图;
图3示出了本申请一实施例所提供的一种电子设备的结构示意图;
图4示出了本申请一实施例所提供的一种存储介质的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
下面结合附图来描述根据本申请实施例提出的一种基于Unreal虚幻引擎的用于摄像机器人的离线编程方法、系统、机器人及存储介质。
如图1所示,基于Unreal的摄像机器人离线编程方法,包括以下的步骤:
步骤1、在Unreal虚拟环境中构建摄像机器人的相同尺寸的虚拟数学三维模型,形成虚拟摄像机器人,所述虚拟摄像机器人的参数包括机械臂各个轴的尺寸、包围盒,机械臂末端的云台板尺寸、摄像机型号和镜头参数;
步骤2、根据虚拟摄像机器人的各个关节参数、云台板的法兰偏移进行机械臂运动控制学的绑定,机械臂运动控制学主要包括正向动力学和逆向动力学,根据摄像机型号、镜头参数进行标定,生成相应的标定文件。
步骤3、在Unreal的虚拟场景中进行摄像机位置、焦距和光圈的轨迹设计。并通过分析Unreal中虚拟摄像机器人在执行虚拟轨迹时各个关键数据的变化情况,进行虚拟机器人轨迹安全性检查。
步骤4、设置Unreal中虚拟摄像机器人的各个部件的限制条件,包括各个机械臂关节的最大旋转值和最小旋转值、云台板的偏移量、摄像机相对于机器人法兰中心的偏移量以及光圈的极限值;在Unreal的虚拟场景中利用机械臂逆运动学来进行摄像机运行轨迹的规划,又根据不同的镜头,基于标定文件,进行焦距和光圈的轨迹规划。
步骤5、对Unreal中虚拟摄像机器人的空间轨迹进行离散化处理,生成摄像机器人可执行的轨迹文件。设置虚拟七轴摄像机器人各轴的可达阈值,此阈值主要来源于机械臂的系统参数,或是系统参数一定范围内缩小。
步骤6、基于标定文件,进行镜头规划轨迹的离散化处理,生成基于时间的镜头轨迹值。
步骤7、对虚拟摄像机器人进行可达性分析和加速度分析;可达性分析基于机械臂运动学和逆运动学。加速度分析利用实时传输给机械臂的轨迹数据进行综合分析得出,确保机械臂在安全可控范围内运行。只有通过了可达性分析和加速度分析的运动轨迹,才可以在真实的机械臂环境中运行。
可达性分析:将之前得到的机械臂运行轨迹通过逆运动学计算出机械臂各关节的运动轨迹,关节轨迹由帧集合构成,假设一条轨迹有n帧,那么将机器人当前时刻的位置与第1帧至第n帧中所有控制指令的值进行累加得到累加值,加上当前机械臂各关节位置,得到累加后的机械臂关节位置,也就是目标点的机械臂关节位置,目标点的每个关节位置与机械臂每个关节默认的阈值进行比较,如果每个关节都在阈值范围内,则代表当前轨迹相对于当前机械臂是可达的。
加速度分析:每个机械臂都拥有自带的动力学系统,包含了机械臂每个关节的最大的加速度。加速度分析则是根据关节轨迹帧速度差值与通信周期相比得出。关节轨迹帧速度由关节轨迹帧位置差值与通信周期相比得出。对计算得到的关节轨迹逐帧与系统默认的最大加速度比对,如果都在最大值范围内,则加速度校验通过。
步骤8、在真实的拍摄环境中,将镜头轨迹与机械臂运动轨迹基于时间同步传输给摄像机器人和镜头控制器就可以拍摄出真实的与Unreal中预期一致的视频。
本方法使得影视创作者能够在电影拍摄前期按照自己的创意制作虚拟场景导入系统中,再将摄像机器人仿真模型加入场景中,按照自己的创意设计摄像机的运动轨迹,查看整个镜头效果。在实际拍摄时,直接通过摄像机运动控制系统运行设计好的轨迹,并在虚拟拍摄系统中实时查看虚实结合的效果,大大提高了数字影片制作的质量和效率。
如图2所示,本发明进一步提供了一种摄像机器人离线编程系统,包括:
模型构建模块501,用于在Unreal虚拟环境中构建摄像机器人的相同尺寸的虚拟数学三维模型,形成虚拟摄像机器人;
标定模块502,用于根据虚拟摄像机器人的各个关节参数、云台板的法兰偏移进行机械臂运动控制学的绑定,根据所述虚拟摄像机器人的摄像机型号、镜头参数进行标定,生成相应的标定文件;
轨迹设计模块503,用于在Unreal的虚拟环境中进行摄像机位置、焦距和光圈的轨迹设计,并通过分析虚拟摄像机器人在执行虚拟轨迹时各个关键数据的变化情况,进行虚拟摄像机器人轨迹安全性检查;
轨迹规划模块504,用于设置虚拟摄像机器人的各个部件的限制条件,利用机械臂逆运动学来进行摄像机位置的轨迹规划,根据不同的镜头和摄像机,利用先前生成的标定文件,进行焦距和光圈的轨迹规划;
文件生成模块505,用于对所述虚拟摄像机器人的空间轨迹进行离散化处理,生成摄像机器人可执行的轨迹文件;
镜头轨迹生成模块506,用于根据标定文件对镜头规划轨迹进行离散化处理,生成基于时间的镜头轨迹值;
分析模块507,用于对虚拟摄像机器人进行可达性分析和加速度分析;
轨迹传输模块508,用于在真实的拍摄环境中,将镜头轨迹与机械臂运动轨迹基于时间同步传输给摄像机器人和镜头控制器。
本申请的上述实施例提供的基于Unreal虚幻引擎的用于摄像机器人的离线编程系统与本申请实施例提供的基于Unreal虚幻引擎的用于摄像机器人的离线编程方法出于相同的发明构思,具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的基于Unreal虚幻引擎的用于摄像机器人的离线编程方法对应的电子设备,以执行上基于Unreal虚幻引擎的用于摄像机器人的离线编程方法。本申请实施例不做限定。
请参考图3,其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图3所示,所述电子设备2包括:处理器200,存储器201,总线202和通信接口203,所述处理器200、通信接口203和存储器201通过总线202连接;所述存储器201中存储有可在所述处理器200上运行的计算机程序,所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的基于Unreal虚幻引擎的用于摄像机器人的离线编程方法。
其中,存储器201可能包含高速随机存取存储器(RAM:Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中,存储器201用于存储程序,所述处理器200在接收到执行指令后,执行所述程序,前述本申请实施例任一实施方式揭示的所述基于Unreal虚幻引擎的用于摄像机器人的离线编程方法可以应用于处理器200中,或者由处理器200实现。
处理器200可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201,处理器200读取存储器201中的信息,结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的基于Unreal虚幻引擎的用于摄像机器人的离线编程方法出于相同的发明构思,具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的基于Unreal虚幻引擎的用于摄像机器人的离线编程方法对应的计算机可读存储介质,请参考图4,其示出的计算机可读存储介质为光盘30,其上存储有计算机程序(即程序产品),所述计算机程序在被处理器运行时,会执行前述任意实施方式所提供的基于Unreal虚幻引擎的用于摄像机器人的离线编程方法。
需要说明的是,所述计算机可读存储介质的例子还可以包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质,在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于Unreal虚幻引擎的用于摄像机器人的离线编程方法出于相同的发明构思,具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是:
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本申请也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本申请的内容,并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本申请并帮助理解各个发明方面中的一个或多个,在上面对本申请的示例性实施例的描述中,本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种摄像机器人离线编程方法,其特征在于,包括如下步骤:
在Unreal虚拟环境中构建摄像机器人的相同尺寸的虚拟数学三维模型,形成虚拟摄像机器人;
根据虚拟摄像机器人的各个关节参数、云台板的法兰偏移进行机械臂运动控制学的绑定,根据所述虚拟摄像机器人的摄像机型号、镜头参数进行标定,生成相应的标定文件;
在Unreal的虚拟环境中进行摄像机位置、焦距和光圈的轨迹设计,并通过分析虚拟摄像机器人在执行虚拟轨迹时各个关键数据的变化情况,进行虚拟摄像机器人轨迹安全性检查;
设置虚拟摄像机器人的各个部件的限制条件,利用机械臂逆运动学来进行摄像机位置的轨迹规划,根据不同的镜头,利用先前生成的标定文件,进行焦距和光圈的轨迹规划;
对所述虚拟摄像机器人的空间轨迹进行离散化处理,生成摄像机器人可执行的轨迹文件;
基于标定文件对镜头轨迹进行离散化处理,生成基于时间的镜头轨迹值;
对虚拟摄像机器人进行可达性分析和加速度分析;
在真实的拍摄环境中,将镜头轨迹与机械臂运动轨迹基于时间同步传输给摄像机器人和镜头控制器。
2.根据权利要求1所述的方法,其特征在于,
所述虚拟摄像机器人的参数包括机械臂各个轴的尺寸、包围盒、机械臂末端的云台板尺寸、摄像机型号和镜头参数。
3.根据权利要求1所述的方法,其特征在于,
所述机械臂运动控制学包括正向动力学和逆向动力学。
4.根据权利要求1所述的方法,其特征在于,
所述限制条件包括各个机械臂关节的最大旋转值和最小旋转值、云台板的偏移量、摄像机相对于机器人法兰中心的偏移量以及光圈的极限值。
5.根据权利要求1所述的方法,其特征在于,
在对所述虚拟摄像机器人的空间轨迹进行离散化处理,生成摄像机器人可执行的轨迹文件之后,进一步包括:设置虚拟七轴摄像机器人各轴的可达阈值。
6.根据权利要求1所述的方法,其特征在于,
所述可达性分析包括:将之前得到的机械臂运行轨迹通过逆运动学计算出机械臂各关节的运动轨迹,所述关节轨迹由帧集合构成,设一条轨迹有n帧,将机器人当前时刻的位置与第1帧至第n帧中所有控制指令的值进行累加得到累加值,再加上当前机械臂各关节位置,得到累加后的机械臂关节位置,也就是目标点的机械臂关节位置,将目标点的每个关节位置与机械臂的每个关节默认的阈值进行比较,如果每个关节都在阈值范围内,则代表当前轨迹相对于当前机械臂是可达的。
7.根据权利要求1所述的方法,其特征在于,
所述加速度分析根据关节轨迹帧速度差值与通信周期相比得出,所述关节轨迹帧速度由关节轨迹帧位置差值与通信周期相比得出,对计算得到的关节轨迹逐帧与默认的最大加速度比对,如果都在最大值范围内,则加速度校验通过。
8.一种摄像机器人离线编程系统,其特征在于,包括:
模型构建模块,用于在Unreal虚拟环境中构建摄像机器人的相同尺寸的虚拟数学三维模型,形成虚拟摄像机器人;
标定模块,用于根据虚拟摄像机器人的各个关节参数、云台板的法兰偏移进行机械臂运动控制学的绑定,根据所述虚拟摄像机器人的摄像机型号、镜头参数进行标定,生成相应的标定文件;
轨迹设计模块,用于在Unreal的虚拟环境中进行摄像机位置、焦距和光圈的轨迹设计,并通过分析虚拟摄像机器人在执行虚拟轨迹时各个关键数据的变化情况,进行虚拟摄像机器人轨迹安全性检查;
轨迹规划模块,用于设置虚拟摄像机器人的各个部件的限制条件,利用机械臂逆运动学来进行摄像机位置的轨迹规划,根据不同的镜头,利用先前生成的标定文件,进行焦距和光圈的轨迹规划;
机器人轨迹生成模块,用于对所述虚拟摄像机器人的空间轨迹进行离散化处理,生成摄像机器人可执行的轨迹文件;
镜头轨迹生成模块,基于标定文件对规划的镜头轨迹进行离散化处理,生成基于时间的镜头轨迹;
分析模块,用于对虚拟摄像机器人进行可达性分析和加速度分析;
轨迹传输模块,用于在真实的拍摄环境中,将镜头轨迹与机械臂运动轨迹基于时间同步传输给摄像机器人和镜头控制器。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序以实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行实现如权利要求1-7中任一项所述的方法。
CN202010842227.6A 2020-08-20 2020-08-20 一种摄像机器人离线编程方法、系统及电子设备 Pending CN112116663A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010842227.6A CN112116663A (zh) 2020-08-20 2020-08-20 一种摄像机器人离线编程方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010842227.6A CN112116663A (zh) 2020-08-20 2020-08-20 一种摄像机器人离线编程方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN112116663A true CN112116663A (zh) 2020-12-22

Family

ID=73804333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010842227.6A Pending CN112116663A (zh) 2020-08-20 2020-08-20 一种摄像机器人离线编程方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN112116663A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114102610A (zh) * 2021-12-30 2022-03-01 浙江博采传媒有限公司 一种机械臂仿真控制方法、装置及存储介质
CN114193453A (zh) * 2021-12-30 2022-03-18 浙江博采传媒有限公司 利用机械臂还原摄影机轨迹的方法
CN115396603A (zh) * 2022-08-23 2022-11-25 广州呗呗科技有限公司 一种虚拟制片对焦同步系统、方法、存储介质及电子设备
WO2023231488A1 (zh) * 2022-06-01 2023-12-07 网易(杭州)网络有限公司 虚拟镜头控制方法、装置、存储介质和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105563487A (zh) * 2016-02-17 2016-05-11 太仓中科信息技术研究院 基于Maya的摄像机器人离线编程方法
CN108189036A (zh) * 2018-01-17 2018-06-22 广州视源电子科技股份有限公司 力矩控制方法、装置、机器人及存储介质
CN108397652A (zh) * 2018-04-27 2018-08-14 韩城黄河影视特拍装备有限公司 一种影视特拍机器人云台
CN110561450A (zh) * 2019-08-30 2019-12-13 哈尔滨工业大学(深圳) 一种基于动捕的机器人装配离线示例学习系统和方法
CN113687627A (zh) * 2021-08-18 2021-11-23 太仓中科信息技术研究院 一种基于摄像机器人的目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105563487A (zh) * 2016-02-17 2016-05-11 太仓中科信息技术研究院 基于Maya的摄像机器人离线编程方法
CN108189036A (zh) * 2018-01-17 2018-06-22 广州视源电子科技股份有限公司 力矩控制方法、装置、机器人及存储介质
CN108397652A (zh) * 2018-04-27 2018-08-14 韩城黄河影视特拍装备有限公司 一种影视特拍机器人云台
CN110561450A (zh) * 2019-08-30 2019-12-13 哈尔滨工业大学(深圳) 一种基于动捕的机器人装配离线示例学习系统和方法
CN113687627A (zh) * 2021-08-18 2021-11-23 太仓中科信息技术研究院 一种基于摄像机器人的目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CC: "摄像轨道机器人Smark Track", pages 1, Retrieved from the Internet <URL:http://www.qxd.cn/news/show-htm-itemid-2482.html> *
朱登明等: "基于机器人运动控制的空间增强现实方法", 《高技术通讯》, vol. 28, no. 5, pages 434 - 441 *
王效杰: "基于四元数样条曲线的姿态轨迹规划研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 3, pages 140 - 820 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114102610A (zh) * 2021-12-30 2022-03-01 浙江博采传媒有限公司 一种机械臂仿真控制方法、装置及存储介质
CN114193453A (zh) * 2021-12-30 2022-03-18 浙江博采传媒有限公司 利用机械臂还原摄影机轨迹的方法
WO2023231488A1 (zh) * 2022-06-01 2023-12-07 网易(杭州)网络有限公司 虚拟镜头控制方法、装置、存储介质和电子设备
CN115396603A (zh) * 2022-08-23 2022-11-25 广州呗呗科技有限公司 一种虚拟制片对焦同步系统、方法、存储介质及电子设备
CN115396603B (zh) * 2022-08-23 2023-05-16 广州呗呗科技有限公司 一种虚拟制片对焦同步系统、方法、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN112116663A (zh) 一种摄像机器人离线编程方法、系统及电子设备
Sahu et al. Artificial intelligence (AI) in augmented reality (AR)-assisted manufacturing applications: a review
Abu Alhaija et al. Augmented reality meets computer vision: Efficient data generation for urban driving scenes
Guerra et al. Flightgoggles: Photorealistic sensor simulation for perception-driven robotics using photogrammetry and virtual reality
TWI710967B (zh) 用於輔助車輛定損影像拍攝的方法、裝置及設備
KR102227583B1 (ko) 딥 러닝 기반의 카메라 캘리브레이션 방법 및 장치
CN109840500B (zh) 一种三维人体姿态信息检测方法及装置
Barranco et al. A dataset for visual navigation with neuromorphic methods
EP3349086A1 (en) Method and device for determining a trajectory within a 3d scene for a camera
CN111985300B (zh) 自动驾驶动态目标定位方法、装置、电子设备及存储介质
US10074205B2 (en) Machine creation of program with frame analysis method and apparatus
Yan et al. Cross modal transformer: Towards fast and robust 3d object detection
US20230004797A1 (en) Physics-guided deep multimodal embeddings for task-specific data exploitation
WO2023247732A1 (en) Visual dubbing using synthetic models
CN107909114B (zh) 训练有监督机器学习的模型的方法和装置
CN114072848A (zh) 渲染背板
CN111970453A (zh) 一种用于摄像机器人的虚拟拍摄系统及方法
Goh et al. Aerial filming with synchronized drones using reinforcement learning
Pfeffer et al. Video injection methods in a real-world vehicle for increasing test efficiency
Charco et al. Transfer Learning from Synthetic Data in the Camera Pose Estimation Problem.
CN113781661B (zh) 面向沉浸式场景的多投影空间布局评估方法和系统
CN113687627B (zh) 一种基于摄像机器人的目标跟踪方法
CN115618302A (zh) 一种多传感器融合方法、系统、电子设备及存储介质
Kaputa et al. Model based design of a real time fpga-based lens undistortion and image rectification algorithm for stereo imaging
Kruysman et al. Impossible objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination