CN116896684A - 一种稳定器的虚拟控制系统及方法 - Google Patents
一种稳定器的虚拟控制系统及方法 Download PDFInfo
- Publication number
- CN116896684A CN116896684A CN202310964599.XA CN202310964599A CN116896684A CN 116896684 A CN116896684 A CN 116896684A CN 202310964599 A CN202310964599 A CN 202310964599A CN 116896684 A CN116896684 A CN 116896684A
- Authority
- CN
- China
- Prior art keywords
- stabilizer
- virtual
- processing component
- component
- thread
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003381 stabilizer Substances 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 116
- 238000004891 communication Methods 0.000 claims abstract description 20
- 230000033001 locomotion Effects 0.000 claims description 73
- 238000009877 rendering Methods 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种稳定器的虚拟控制系统及方法,涉及稳定器控制领域。系统包括虚拟控制模块、稳定器和摄像机;虚拟控制模块基于虚幻引擎开发,包括第一处理组件、第二处理组件、前端组件和虚拟稳定器组件;第一处理组件配置为接收稳定器传输的稳定器信息更新虚拟稳定器组件,根据用户操作指令向稳定器和摄像机发送控制指令;第二处理组件配置为接收摄像机传输的视频码流,并根据视频码流渲染摄影画面;前端组件分别与第一处理组件和第二处理组件通信连接,用于接收用户操作指令,以及展示摄影画面和虚拟稳定器模型。本申请通过虚拟控制模块可以实时控制稳定器和摄像机,以及直观地获取稳定器信息和摄像机实时拍摄的情况。
Description
技术领域
本发明涉及稳定器控制领域,具体是一种稳定器的虚拟控制系统及方法。
背景技术
目前,摄影的应用场景和摄影手段非常多元化,特别是在电影、广告等专业领域的摄影过程中,对摄影机的追踪速度、控制响应速度、震动和晃动程度等方面均有较高要求。
稳定器是一种用于控制摄影机的设备,旨在减轻或消除因摄影机拍摄或运动时产生的震动和晃动所导致的图像抖动。因此,在摄影控制系统中,移动摄影往往通过控制稳定器实现,以提供较高的相机稳定性,从而获得更加平滑、清晰和稳定的摄影画面。然而,在现有的摄影控制系统中,用于控制稳定器进行移动摄影的控制台往往需要软件系统与特定的硬件装置结合使用,限制了操作的灵活性;此外,操作者难以同时读取稳定器的运动姿态信息和当前的摄影画面,因此难以直观地作出准确的判断。
发明内容
为解决现有技术存在的问题,本发明采用以下技术方案:
一种稳定器的虚拟控制系统,包括虚拟控制模块、稳定器和摄像机;
所述虚拟控制模块基于虚幻引擎开发,包括第一处理组件、第二处理组件、前端组件和虚拟稳定器组件,虚拟稳定器组件包括虚拟稳定器模型、本地运动姿态数据与本地环境数据;
所述第一处理组件与虚拟稳定器组件、稳定器和摄像机通信连接;第一处理组件配置为接收稳定器传输的稳定器信息更新虚拟稳定器组件,根据用户操作指令向稳定器和摄像机发送控制指令;
所述第二处理组件与摄像机通信连接;第二处理组件配置为接收摄像机传输的视频码流,并根据视频码流渲染摄影画面;
所述前端组件分别与第一处理组件和第二处理组件通信连接,用于接收用户操作指令,以及展示摄影画面和虚拟稳定器模型;
其中,所述第一处理组件在主线程中运行,第二处理组件在第一子线程中运行。
作为优选方案,所述虚拟控制模块还包括第三处理组件;第三处理组件用于加载虚拟稳定器组件并传输至第一处理组件。
作为优选方案,所述第三处理组件在第二子线程中运行;所述第二子线程的线程优先级低于第一子线程。
作为优选方案,所述稳定器信息包括运动姿态信息和传感器信息;所述第一处理组件根据运动姿态信息更新本地运动姿态数据,根据传感器信息更新本地环境数据,根据本地运动姿态数据和本地环境数据更新虚拟稳定器模型。
作为优选方案,所述第一处理组件还用于根据控制指令和本地运动姿态数据生成模拟运动姿态信息,并用于对比模拟运动姿态信息和所述运动姿态信息。
作为优选方案,所述稳定器与光照传感器、超声波传感器和激光雷达传感器集成。
作为优选方案,所述第一处理组件还用于根据第一时间戳和第二时间戳计算控制时延;其中,第一时间戳在控制指令发送时生成;第二时间戳在运动姿态信息发送时生成。
作为优选方案,所述前端组件包括主显示单元、操作单元和数据展示单元;主显示单元用于显示实时摄影画面和虚拟稳定器模型,操作单元用于用户操作交互,数据展示单元用于可视化展示虚拟稳定器模型的本地运动姿态数据与本地环境数据。
作为优选方案,还包括CAN处理器;所述虚拟控制模块通过CAN处理器与稳定器通信连接。
本申请还提供一种稳定器的虚拟控制方法,应用于如上所述的虚拟控制系统,包括步骤:
配置虚拟控制模块,将虚拟控制模块与稳定器和摄像机通信连接;
第三处理组件识别稳定器型号,加载虚拟稳定器组件并传输至第一处理组件;
在消息循环中,第一处理组件通过稳定器接口或函数,接收稳定器传输的信息并更新虚拟稳定器组件类的成员变量和虚拟稳定器模型;
第一处理组件监听用户操作指令,并根据用户操作指令发送控制指令;
第二处理组件通过摄像机接口或函数接收视频码流,并将视频码流通过渲染组件执行渲染操作;
所述配置虚拟控制模块,具体包括步骤:
在虚幻引擎中创建主线程;
配置主线程在程序启动时运行,并执行第一处理组件配置;
配置第一子线程在主线程启动后创建,并执行第二处理组件配置;
配置第二子线程在主线程启动后创建,设置第二子线程的线程优先级低于第一子线程,并执行第三处理组件配置。
与现有技术相比,本发明具有如下有益效果:
本申请提供的虚拟控制模块基于虚幻引擎开发,具备不同系统下运行的兼容性;其包括第一处理组件、第二处理组件、前端组件和虚拟稳定器组件;根据用户的操作指令,第一处理组件可以实时控制稳定器和摄像机,并且稳定器信息也能够实时更新到虚拟稳定器模型上,用户可以直观地看到稳定器当前的运动姿态和环境状况。同时,第二处理组件能够接收摄像机实时传输的视频码流,并根据视频码流实时渲染出摄影画面,用户可以看到摄像机实时拍摄的情况,从而实时进行相应的调整和控制。
本申请通过不同组件之间的线程分配,使得每个组件之间的联系更加独立和清晰。依此,在增加或修改某个组件的时候,只需要修改和重新编译这个组件的代码,减少对其他组件的影响。同时,由于每个组件在不同的线程中运行,它们的任务不会相互干扰或阻塞,使得测试人员能够更准确地评估每个组件的性能和行状况。
本申请通过模拟运动姿态信息判断控制的理想状态与实际状态之间的误差,从而及时发现和解决问题,提高稳定器运动控制的可靠性和安全性,降低控制风险。
本申请通过第一处理组件对第一时间戳和第二时间戳的计算,可以确定控制指令发送和运动姿态信息接收两个事件的时序以及二者之间的时间差,从而精确计算出控制时延,从而实现调整处理策略,提高控制精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的稳定器的虚拟控制系统的示意图;
图2为本发明一实施例提供的虚拟控制模块的结构示意图;
图3为本发明另一实施例提供的虚拟控制模块的结构示意图;
图4为本发明另一实施例提供的稳定器的虚拟控制系统的示意图;
图5为本发明一实施例提供的稳定器的虚拟控制方法的流程示意图;
图6为本发明一实施例提供的配置虚拟控制模块的流程示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
请参阅图1,本申请提供了一种稳定器的虚拟控制系统,包括虚拟控制模块、稳定器和摄像机。虚拟控制模块分别与稳定器和摄像机通信连接。
其中,稳定器设置在滑轨或其它类型的运动平台上,根据虚拟控制模块的控制指令运动和调节姿态;摄像机通过与稳定器固定连接实现稳定的运动拍摄。稳定器与摄像机为一一对应的关系,本申请不对虚拟控制模块连接的稳定器和摄像机的组数进行具体限定。其中,所述虚拟控制模块基于虚幻引擎开发。虚幻引擎(Unreal Engine)是一款由EpicGames开发的综合性游戏引擎。它是一种强大的实时渲染和开发工具,广泛应用于电子游戏、虚拟现实、增强现实、电影和动画制作等领域。虚拟控制模块基于虚幻引擎开发,可支持Windows、macOS、Linux、Android、iOS等系统,因具备强大的兼容性,降低了控制系统对硬件装置的要求。
请参阅图2,虚拟控制模块包括第一处理组件、第二处理组件、前端组件和虚拟稳定器组件,虚拟稳定器组件包括虚拟稳定器模型、本地运动姿态数据与本地环境数据。
所述第一处理组件与虚拟稳定器组件、稳定器和摄像机通信连接。第一处理组件配置为接收稳定器传输的稳定器信息更新虚拟稳定器组件,根据用户操作指令向稳定器和摄像机发送控制指令。
所述第二处理组件与摄像机通信连接。第二处理组件配置为接收摄像机传输的视频码流,并根据视频码流渲染摄影画面。
所述前端组件分别与第一处理组件和第二处理组件通信连接,用于接收用户操作指令,以及展示摄影画面和虚拟稳定器模型。
其中,第一处理组件在主线程中运行,第二处理组件在第一子线程中运行。可以理解,第一子线程的线程优先级低于主线程。
本申请提供的虚拟控制模块拥有高度的控制和交互能力。根据用户的操作指令,第一处理组件可以实时控制稳定器和摄像机,并且稳定器的运动状态信息也能够实时更新到虚拟稳定器模型上,用户可以直观地看到稳定器当前的运动姿态和环境状况。同时,第二处理组件能够接收摄像机实时传输的视频码流,并根据视频码流实时渲染出摄影画面。这样,用户可以看到摄像机实时拍摄的情况,可以实时进行相应的调整和控制。
本申请将第一处理组件设置于主线程中运行,能够高效地处理稳定器信息和用户操作指令。稳定器信息的处理和用户操作指令的响应,需要在最短的时间内完成,否则就会导致延迟和卡顿现象,影响用户的使用体验。由于这部分任务是在主线程中执行,其能够高效地响应用户的行为,并及时向稳定器和摄像机发送控制指令,保证稳定器和摄像机始终处于用户期望的状态下运行。第二处理组件设置于子线程中运行,针对摄机传输的视频码流进行渲染工作。由于摄影画面需要实时更新,这部分任务比较繁重,需要消耗大量的计算资源,如果在主线程中运行,可能会导致主线程的阻塞,从而影响系统的响应速度和稳定性。而将渲染工作放在子线程中运行,则能够减少主线程的负担,提高系统的响应速度。同时,由于该子线程的优先级较低,因此它对系统的影响也相对较小,不会夺取过多的系统资源,从而保证系统的稳定性。依此,本申请通过第一处理组件和第二处理组件之间并行执行,提高整个系统的性能和响应速度。
作为优选实施例,请参阅图3,所述虚拟控制模块还包括第三处理组件。第三处理组件与第一处理组件通信连接;第三处理组件用于加载虚拟稳定器组件并传输至第一处理组件。本申请在具体实施过程中需要一边控制现有的稳定器,一边引入新的稳定器并且稳定器的型号可能不同。因此,新的稳定器连接至虚拟控制模块时,第三处理组件负责虚拟稳定器组件的初始化加载。通过与虚拟稳定器组件建立连接或调用相应的接口,第三处理组件根据识别到的新的稳定器初始化虚拟稳定器组件的各种参数和状态,准备好接收稳定器传输的信息并进行处理。这样,就能够确保虚拟稳定器组件传输至第一处理组件之后已经设置好了正确的初始状态,从而降低了第一处理组件的数据处理量,提高了系统的稳定性和性能。
基于前述实施例,第三处理组件在第二子线程中运行。所述第二子线程的线程优先级低于第一子线程。
基于前述内容,本申请通过将每个组件分配到不同的线程中运行,使得每个组件之间的联系更加独立和清晰。这样,在增加或修改某个组件的时候,只需要修改和重新编译这个组件的代码,减少对其他组件的影响。同时,通过将不同的组件分配到不同的线程中运行,并且将线程优先级有所区别,相应的测试分析也更加方便。由于每个组件在不同的线程中运行,它们的任务不会相互干扰或阻塞,使得测试人员能够更准确地评估每个组件的性能和运行状况。
作为优选实施例,所述稳定器信息包括运动姿态信息和传感器信息;所述第一处理组件根据运动姿态信息更新本地运动姿态数据,根据传感器信息更新本地环境数据,根据本地运动姿态数据和本地环境数据更新虚拟稳定器模型。
其中,运动姿态信息和本地运动姿态数据包括运动速度、运动方向、响应速度等运动信息和俯仰角度、翻滚角度和偏航角度等姿态信息。传感器信息和本地环境数据包括稳定器四周的障碍物形状和距离,以及光照信息。在具体使用过程中,用户通过根据本地运动姿态数据信息对稳定器进行实时调整,可以使稳定器在加速、减速、转向等运动过程中保持稳定和平衡,提升稳定器的操控性和稳定性。同时,根据稳定器四周的障碍物形状和距离,可以实时感知周围环境中的障碍物情况,从而实现避障功能,根据光照信息,稳定器和摄像机能够根据光线条件的变化做出相应调整,从而更好地适应不同的光照环境。
基于前述实施例,稳定器与光照传感器、超声波传感器和激光雷达传感器集成。超声波传感器和激光雷达用于探测稳定器四周的障碍物形状和距离,光照传感器用于获取光照信息。
作为优选实施例,所述第一处理组件还用于根据控制指令和本地运动姿态数据生成模拟运动姿态信息,并用于对比模拟运动姿态信息和稳定器传输的运动姿态信息,目的在于监测稳定器是否正确响应用户操作。
具体的,控制指令、模拟运动姿态信息和稳定器信息中均包括与每个控制指令对应的唯一指令序列号。当第一处理组件接收稳定器传输的稳定器信息时,提取稳定器信息中的指令序列号,并对比包括相同指令序列号的模拟运动姿态信息,以判断控制的理想状态与实际状态之间的误差。运动姿态控制是控制稳定器的关键,对控制精度和可靠性要求较高,通过监测稳定器是否正确响应用户操作,第一处理组件可以进行控制质量检测,及时发现和解决问题,提高稳定器运动控制的可靠性和安全性,降低控制风险。
作为优选实施例,第一处理组件还用于根据第一时间戳和第二时间戳计算控制时延。其中,第一时间戳在控制指令发送时生成;第二时间戳在运动姿态信息发送时生成,其作为运动姿态信息的一个字段由稳定器传输至第一处理组件。通过第一处理组件对第一时间戳和第二时间戳的计算,可以确定控制指令发送和运动姿态信息接收两个事件的时序以及二者之间的时间差,从而精确计算出控制时延。这有助于获取稳定器的控制时延,从而实现调整处理策略,提高控制精度。同时,还可以实时监测运动时延是否超时。如果控制时延超过了时间门限,第一处理组件可以即时发出警告或重新调整控制参数,以确保稳定器运动控制的可靠性。
作为优选实施例,所述前端组件包括主显示单元、操作单元和数据展示单元。主显示单元用于显示实时摄影画面和虚拟稳定器模型,操作单元用于用户操作交互,数据展示单元用于可视化展示虚拟稳定器模型的本地运动姿态数据与本地环境数据。其中,操作单元和数据展示单元的UI图层在主显示单元之上。
具体的,主显示单元显示的画面可以是实时的摄影画面,也可以显示某一个虚拟稳定器模型,还可以是不限数量的实时摄影画面与虚拟稳定器模型的结合,从而使用户能够直观地观察摄影情况和稳定器模型的状态。
操作单元通过虚幻引擎的输入系统,实现用户与系统的交互。通过模拟手柄和模拟键盘作为操作单元,用户可以发送指令来控制虚拟稳定器模型的运动和姿态调整。例如,用户可以使用模拟手柄的摇杆来控制稳定器的移动方向和速度,或者使用模拟键盘的按键来进行特定参数设置操作。
数据展示单元在UI界面上展示本地运动姿态数据和本地环境数据。这些数据在UI界面上以图表、文字或其他形式呈现给用户,使用户能够直观地了解虚拟稳定器模型在当前环境中的运动状态和周围的环境情况。
作为优选实施例,所述控制指令包括稳定器控制指令和摄像机控制指令。其中,稳定器控制指令包括运动速度、运动方向、响应速度、俯仰角度、翻滚角度和偏航角度等指令数据。摄像机控制指令包括启动指令、停止指令、曝光度参数、对焦参数、对比度参数、镜头参数等指令数据。
在一实施例中,控制系统还包括CAN处理器,CAN处理器包括单片机和CAN控制器。在一实施例中,单片机为Arduino nano,CAN控制器为MCP2515。在本实施例中,请参阅图4,虚拟控制模块通过CAN处理器与稳定器通信连接,通过大功率Wi-Fi与摄像机通信连接。
其中,由于虚拟控制模块与稳定器之间传输的是控制指令与运动姿态信息,数据量较小,因此通过CAN处理器通信连接。稳定器和CAN处理器中的CAN控制器均连接至CAN总线,通过CAN协议实现数据传输。CAN协议采用了时分多路复用(TDMA)的方式,在总线上分时复用传输数据,能够实现高效的数据传输。
而虚拟控制模块与摄像机之间传输视频码流,通常会占用较高的带宽。因此,本申请中虚拟控制模块通过大功率Wi-Fi与摄像机通信连接。大功率Wi-Fi提供传输视频需要的高速数据通道和大带宽支持,以确保视频流的稳定传输和实时性。
在另一实施例中,虚拟控制模块通过大功率Wi-Fi分别与稳定器和摄像机通信连接。在本实施例中,虚拟控制模块通过大功率Wi-Fi连接实现无线传输数据,不依赖于有线连接,使操作更加便捷和灵活。摄影人员可以自由移动并进行控制,不受线缆长度或布局的限制。在本实施例中,虚拟控制模块可搭载于移动智能终端,如平板电脑、智能手机等,可使本方案的灵活性进一步提升。
请参阅图5,本发明还提供了一种稳定器的虚拟控制方法,包括步骤:
S1、配置虚拟控制模块,将虚拟控制模块与稳定器和摄像机通信连接;
请参阅图6,所述配置虚拟控制模块具体包括步骤:
S11、在虚幻引擎中,通过线程管理类或线程池等工具创建主线程。
S12、配置主线程在程序启动时运行,并执行第一处理组件配置。
S13、配置第一子线程在主线程启动后创建,并执行第二处理组件配置。
S14、配置第二子线程在主线程启动后创建,设置第二子线程的线程优先级低于第一子线程,并执行第三处理组件配置。
所述配置第一处理组件具体包括步骤:
S121、创建自定义的运动姿态类和环境数据类,在运动姿态类和环境数据类中添加稳定器信息的成员变量。其中,运动姿态类和环境数据类分别为本地运动姿态数据和本地环境数据的抽象描述,是一系列数据和函数的集合,用于描述本地运动姿态数据和本地环境数据的数据类型的属性和方法。
S122、将虚拟稳定器模型、运动姿态类和环境数据类封装,生成虚拟稳定器组件类。
S123、在主线程中,创建一个消息循环,在消息循环中运行第一处理组件。
所述配置第二处理组件具体包括步骤:
S131、创建一个渲染组件。
S132、在第一子线程中,创建一个消息循环,在消息循环中运行第二处理组件。
所述配置第三处理组件具体包括步骤:
S141、获取步骤S122中生成的虚拟稳定器组件类。
S142、在第二子线程中,运行第三处理组件;第二子线程可以创建一个新的消息循环,也可以与其它线程共享消息循环,可根据实际情况选择。
S2、第三处理组件识别稳定器型号,加载虚拟稳定器组件并传输至第一处理组件。
S3、在消息循环中,第一处理组件通过稳定器接口或函数,接收稳定器传输的信息并更新虚拟稳定器组件类的成员变量和虚拟稳定器模型;
第一处理组件监听用户操作指令,并根据用户操作指令发送控制指令;
第二处理组件通过摄像机接口或函数接收视频码流,并将视频码流通过渲染组件执行渲染操作。
作为优选实施例,所述根据用户操作指令发送控制指令,具体包括步骤:
当第一处理组件接收用户操作指令时,向稳定器和摄像机发送控制指令,并根据控制指令和本地运动姿态数据生成模拟运动姿态信息;控制指令和模拟运动姿态信息中均包括指令序列号;
稳定器接收控制指令并依此执行操作,期间向第一处理组件发送稳定器信息;稳定器信息包括指令序列号;
当第一处理组件接收稳定器传输的稳定器信息时,提取稳定器信息中的指令序列号,并对比包括相同指令序列号的模拟运动姿态信息。
在本申请所提供的几个实施例中,应该理解到,所揭露的单元和方法,可以通过其它的方式实现。例如,以上所描述的单元实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个单元,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-onlymemory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种稳定器的虚拟控制系统,其特征在于:包括虚拟控制模块、稳定器和摄像机;
所述虚拟控制模块基于虚幻引擎开发,包括第一处理组件、第二处理组件、前端组件和虚拟稳定器组件,虚拟稳定器组件包括虚拟稳定器模型、本地运动姿态数据与本地环境数据;
所述第一处理组件与虚拟稳定器组件、稳定器和摄像机通信连接;第一处理组件配置为接收稳定器传输的稳定器信息更新虚拟稳定器组件,根据用户操作指令向稳定器和摄像机发送控制指令;
所述第二处理组件与摄像机通信连接;第二处理组件配置为接收摄像机传输的视频码流,并根据视频码流渲染摄影画面;
所述前端组件分别与第一处理组件和第二处理组件通信连接,用于接收用户操作指令,以及展示摄影画面和虚拟稳定器模型;
其中,所述第一处理组件在主线程中运行,第二处理组件在第一子线程中运行。
2.根据权利要求1所述的虚拟控制系统,其特征在于:所述虚拟控制模块还包括第三处理组件;第三处理组件用于加载虚拟稳定器组件并传输至第一处理组件。
3.根据权利要求2所述的虚拟控制系统,其特征在于:所述第三处理组件在第二子线程中运行;所述第二子线程的线程优先级低于第一子线程。
4.根据权利要求1所述的虚拟控制系统,其特征在于:所述稳定器信息包括运动姿态信息和传感器信息;所述第一处理组件根据运动姿态信息更新本地运动姿态数据,根据传感器信息更新本地环境数据,根据本地运动姿态数据和本地环境数据更新虚拟稳定器模型。
5.根据权利要求4所述的虚拟控制系统,其特征在于:所述第一处理组件还用于根据控制指令和本地运动姿态数据生成模拟运动姿态信息,并用于对比模拟运动姿态信息和所述运动姿态信息。
6.根据权利要求1所述的虚拟控制系统,其特征在于:所述稳定器与光照传感器、超声波传感器和激光雷达传感器集成。
7.根据权利要求1所述的虚拟控制系统,其特征在于:所述第一处理组件还用于根据第一时间戳和第二时间戳计算控制时延;其中,第一时间戳在控制指令发送时生成;第二时间戳在运动姿态信息发送时生成。
8.根据权利要求1所述的虚拟控制系统,其特征在于:所述前端组件包括主显示单元、操作单元和数据展示单元;主显示单元用于显示实时摄影画面和虚拟稳定器模型,操作单元用于用户操作交互,数据展示单元用于可视化展示虚拟稳定器模型的本地运动姿态数据与本地环境数据。
9.根据权利要求1所述的虚拟控制系统,其特征在于:还包括CAN处理器;所述虚拟控制模块通过CAN处理器与稳定器通信连接。
10.一种稳定器的虚拟控制方法,其特征在于:应用于如权利要求1-9任一项所述的虚拟控制系统,包括步骤:
配置虚拟控制模块,将虚拟控制模块与稳定器和摄像机通信连接;
第三处理组件识别稳定器型号,加载虚拟稳定器组件并传输至第一处理组件;
在消息循环中,第一处理组件通过稳定器接口或函数,接收稳定器传输的信息并更新虚拟稳定器组件类的成员变量和虚拟稳定器模型;
第一处理组件监听用户操作指令,并根据用户操作指令发送控制指令;
第二处理组件通过摄像机接口或函数接收视频码流,并将视频码流通过渲染组件执行渲染操作;
所述配置虚拟控制模块,具体包括步骤:
在虚幻引擎中创建主线程;
配置主线程在程序启动时运行,并执行第一处理组件配置;
配置第一子线程在主线程启动后创建,并执行第二处理组件配置;
配置第二子线程在主线程启动后创建,设置第二子线程的线程优先级低于第一子线程,并执行第三处理组件配置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310964599.XA CN116896684B (zh) | 2023-08-02 | 2023-08-02 | 一种稳定器的虚拟控制系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310964599.XA CN116896684B (zh) | 2023-08-02 | 2023-08-02 | 一种稳定器的虚拟控制系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116896684A true CN116896684A (zh) | 2023-10-17 |
CN116896684B CN116896684B (zh) | 2024-05-17 |
Family
ID=88314898
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310964599.XA Active CN116896684B (zh) | 2023-08-02 | 2023-08-02 | 一种稳定器的虚拟控制系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116896684B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102348068A (zh) * | 2011-08-03 | 2012-02-08 | 东北大学 | 一种基于头部姿态控制的随动远程视觉系统 |
US20150220244A1 (en) * | 2014-02-05 | 2015-08-06 | Nitin Vats | Panel system for use as digital showroom displaying life-size 3d digital objects representing real products |
CN106249847A (zh) * | 2015-07-21 | 2016-12-21 | 深圳市拓丰源电子科技有限公司 | 一种基于头戴式设备实现远程控制的虚拟增强现实系统 |
CN206162398U (zh) * | 2016-11-21 | 2017-05-10 | 电子科技大学 | 一种用于重型机械远程无人操作的立体视觉随动显示系统 |
CN107263473A (zh) * | 2017-06-19 | 2017-10-20 | 中国人民解放军国防科学技术大学 | 一种基于虚拟现实的人机交互方法 |
CN110226144A (zh) * | 2017-01-25 | 2019-09-10 | 福特全球技术公司 | 虚拟现实远程代客停车 |
CN110496395A (zh) * | 2019-08-22 | 2019-11-26 | 阿里巴巴集团控股有限公司 | 一种针对虚幻引擎的组件运行方法、系统及设备 |
CN111300412A (zh) * | 2020-02-28 | 2020-06-19 | 华南理工大学 | 一种基于虚幻引擎的控制机器人的方法 |
CN111429561A (zh) * | 2020-03-27 | 2020-07-17 | 辽宁向日葵教育科技有限公司 | 一种虚拟仿真渲染引擎 |
CN112150885A (zh) * | 2019-06-27 | 2020-12-29 | 统域机器人(深圳)有限公司 | 基于混合现实的驾驶舱系统及场景构建方法 |
CN113730905A (zh) * | 2021-09-03 | 2021-12-03 | 北京房江湖科技有限公司 | 一种在虚拟空间中实现自由游走的方法及其装置 |
CN115225615A (zh) * | 2022-06-30 | 2022-10-21 | 如你所视(北京)科技有限公司 | 虚幻引擎像素流送方法及装置 |
-
2023
- 2023-08-02 CN CN202310964599.XA patent/CN116896684B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102348068A (zh) * | 2011-08-03 | 2012-02-08 | 东北大学 | 一种基于头部姿态控制的随动远程视觉系统 |
US20150220244A1 (en) * | 2014-02-05 | 2015-08-06 | Nitin Vats | Panel system for use as digital showroom displaying life-size 3d digital objects representing real products |
CN106249847A (zh) * | 2015-07-21 | 2016-12-21 | 深圳市拓丰源电子科技有限公司 | 一种基于头戴式设备实现远程控制的虚拟增强现实系统 |
CN206162398U (zh) * | 2016-11-21 | 2017-05-10 | 电子科技大学 | 一种用于重型机械远程无人操作的立体视觉随动显示系统 |
CN110226144A (zh) * | 2017-01-25 | 2019-09-10 | 福特全球技术公司 | 虚拟现实远程代客停车 |
CN107263473A (zh) * | 2017-06-19 | 2017-10-20 | 中国人民解放军国防科学技术大学 | 一种基于虚拟现实的人机交互方法 |
CN112150885A (zh) * | 2019-06-27 | 2020-12-29 | 统域机器人(深圳)有限公司 | 基于混合现实的驾驶舱系统及场景构建方法 |
CN110496395A (zh) * | 2019-08-22 | 2019-11-26 | 阿里巴巴集团控股有限公司 | 一种针对虚幻引擎的组件运行方法、系统及设备 |
CN111300412A (zh) * | 2020-02-28 | 2020-06-19 | 华南理工大学 | 一种基于虚幻引擎的控制机器人的方法 |
CN111429561A (zh) * | 2020-03-27 | 2020-07-17 | 辽宁向日葵教育科技有限公司 | 一种虚拟仿真渲染引擎 |
CN113730905A (zh) * | 2021-09-03 | 2021-12-03 | 北京房江湖科技有限公司 | 一种在虚拟空间中实现自由游走的方法及其装置 |
CN115225615A (zh) * | 2022-06-30 | 2022-10-21 | 如你所视(北京)科技有限公司 | 虚幻引擎像素流送方法及装置 |
Non-Patent Citations (1)
Title |
---|
DEVWUYU: "模型渲染 - 2 BeginRenderingViewFamily()", Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/432622955> * |
Also Published As
Publication number | Publication date |
---|---|
CN116896684B (zh) | 2024-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3368965B1 (en) | Remote rendering for virtual images | |
KR101329619B1 (ko) | 컴퓨터 네트워크 기반 3차원 렌더링 시스템 | |
CN106780674B (zh) | 镜头移动方法和装置 | |
CN110351480B (zh) | 用于电子设备的图像处理方法、装置及电子设备 | |
CN108886579A (zh) | 无人机拍摄视频的处理方法、拍摄相机和遥控器 | |
CN109840946A (zh) | 虚拟对象显示方法及装置 | |
CN112732089A (zh) | 一种虚拟现实设备及快捷交互方法 | |
CN111246286B (zh) | 测试实例的获取方法、装置和电子设备 | |
CN114816875A (zh) | 一种驾驶模拟器的上位机配件测试方法、装置和设备 | |
AU2022323963A1 (en) | Distributed command execution in multi-location studio environments | |
CN116896684B (zh) | 一种稳定器的虚拟控制系统及方法 | |
CN112262373B (zh) | 基于视图的断点 | |
CN113515137A (zh) | 一种无人机控制方法、装置、存储介质及电子设备 | |
EP4242854A1 (en) | System and method for providing autonomous driving simulation architecture with switchable models | |
US11610343B2 (en) | Video display control apparatus, method, and non-transitory computer readable medium | |
US11423516B2 (en) | Gaze enhanced natural motion blur | |
CN114036044A (zh) | 一种基于openvr开发驱动的调试方法 | |
KR20220041981A (ko) | 증강현실 기반의 헤드 장착용 디스플레이장치 | |
CN109144234B (zh) | 具有外置追踪及内置追踪的虚拟现实系统及其控制方法 | |
EP4083805A1 (en) | System and method of error logging | |
US20230370575A1 (en) | Image processing apparatus, image processing method, system, and storage medium | |
JP7346638B2 (ja) | 画像データの修正方法、修正装置、電子機器、記憶媒体、コンピュータプログラムおよび自動運転車両 | |
EP4379663A1 (en) | Image processing system, control method, and program | |
CN116931866B (zh) | 车载多屏显示控制方法及车载装置 | |
EP4443273A1 (en) | Display control apparatus, display control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |