CN112468720B - 一种适用于移动载体的摄像机云台旋转控制方法 - Google Patents

一种适用于移动载体的摄像机云台旋转控制方法 Download PDF

Info

Publication number
CN112468720B
CN112468720B CN202011299794.8A CN202011299794A CN112468720B CN 112468720 B CN112468720 B CN 112468720B CN 202011299794 A CN202011299794 A CN 202011299794A CN 112468720 B CN112468720 B CN 112468720B
Authority
CN
China
Prior art keywords
carrier
tilt
camera
rotation
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011299794.8A
Other languages
English (en)
Other versions
CN112468720A (zh
Inventor
董文
胡滨
董利达
余佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Normal University
Original Assignee
Hangzhou Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Normal University filed Critical Hangzhou Normal University
Priority to CN202011299794.8A priority Critical patent/CN112468720B/zh
Publication of CN112468720A publication Critical patent/CN112468720A/zh
Application granted granted Critical
Publication of CN112468720B publication Critical patent/CN112468720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种适用于移动载体的摄像机云台旋转控制方法。本发明根据摄像机云台相对载体的相对偏转角与载体旋转角速度的关系进行摄像机云台的旋转控制，所采用的系统包括虚拟现实穿戴设备、移动载体、摄像机云台等。摄像机云台上的参考信号计算单元接收由移动载体及虚拟现实穿戴设备分别测出载体运动参数、头部运动参数，解算出云台旋转控制所需的旋转角度与旋转角速度，传输给云台控制器控制云台旋转。本发明的方法用于解决移动载体旋转时因图像传输延迟所导致观测到的图像与实时图像不符的问题，实现虚拟实时图像的预测。

Description

一种适用于移动载体的摄像机云台旋转控制方法
技术领域
本发明了是关于一种摄像机云台旋转控制方法，尤其是指一种通过参数测量单元测量载体、虚拟现实头盔的相关运动参数来控制移动载体旋转时的摄像机云台的旋转控制方法。
背景技术
目前，移动载体的摄像机云台大多固定在移动载体上，在载体做旋转动作时跟随载体以相同的角速度转动。而移动载体的旋转大多通过远程遥控进行控制，当载体进行旋转动作时，摄像机跟随载体拍摄场景图片，远程传输回控制端显示出来供操作员参考。由于图像传输具有时间延迟，操作员看到的图像往往不是当前时刻移动载体所正对的场景，在进行控制时大多采取每控制一小段时间暂停一次，等待图像传输后确认载体具体状态后再控制的方案。这种控制方式，不具有实时性，效率低下，且难以控制高速旋转的移动载体。同时摄像机固定在载体上无法自由转动，对于操作员而言难以侦查到周边信息。又或者摄像机云台需要操作员远程遥控进行自由旋转以观察周边信息，增加了操作员操作的复杂性与操作难度。
发明内容
为了克服现有遥控机器人旋转过程中，因图像时延问题所造成的控制实时性下降的问题以及摄像机云台旋转控制的操作难度高等问题，本发明提供了一种适用于移动载体的摄像机云台旋转控制方法。该控制方法通过测量移动载体、摄像机云台、虚拟现实穿戴设备的相关运动参数，估算旋转运动时由于时延所造成的角度偏差以及操作员头转动的角度，控制云台相对载体坐标系转动。使摄像头拍摄的图片与操作员当前所看到的图片一致即为当前时刻载体视角的真实图片。根据当前图片进行操作从而提高控制的实时性。
本发明解决其技术问题所采用的技术方案如下：
所述无人移动载体、摄像机云台与虚拟现实穿戴设备相关运动参数由参数测量单元测量得出，其中无人移动载体的角速度(水平分量与垂直分量)、角加速度(水平分量与垂直分量)分别由无人移动载体上安装的陀螺仪与角加速度计测量得出。虚拟现实穿戴设备的角速度(水平分量与垂直分量)由虚拟现实设备上安装的陀螺仪测量得出。摄像机云台相对于载体坐标系的相对角度由摄像机云台所安装的磁阻传感器测量得出。
所述图像传输延时与控制指令传输延时，通过实测或估测获得，实测是根据无人移动载体运动中图像与指令的传输时间测量得出时延时间，估测是根据数据信道的时延时间估测出图像信道的时延时间。
根据无人移动载体在图像传输延时过程中所转动的角度计算出转动过程中摄像机云台相对载体坐标系应该预旋转的角度：
Figure BDA0002786476370000021
其中，ω1是无人移动载体在地面坐标系下的旋转角速度，β是摄像机云台在载体坐标系下相对无人移动载体的角度，τ1是图像传输的时延时间。
根据虚拟现实穿戴设备在控制周期内所转动的角度计算出当操作员转动头时摄像机相对载体坐标系应该转动的角度：
Figure BDA0002786476370000022
其中，ω2是虚拟现实穿戴设备在地面坐标系下的旋转角速度，T是速度采样周期；根据公式⑴与公式⑵计算出摄像机云台在每个采样周期内的转动的相对角度：
θ＝γ1·θ1+γ2·θ2………………⑶
其中，γ1和γ2分别为θ1与θ2在实际中所占的比例参数，由测量得出。
根据公式⑶计算出摄像机云台在每个采样周期内旋转所需的平均角速度：
Figure BDA0002786476370000031
其中，τ2是控制指令传输的延时时间。
其中，Δt是采样周期的时间
根据公式(1)，(2)，(3)，(4)推导得到摄像机云台在每个控制周期内的平均角速度离散公式：
Figure BDA0002786476370000032
其中，N是每个控制周期内的采样次数，
Figure BDA0002786476370000033
是每个采样周期测量得到的移动载体在地面坐标系下的旋转角速度，
Figure BDA0002786476370000034
是每个采样周期测量得到的虚拟现实穿戴设备在地面坐标系下的旋转角速度，
Figure BDA0002786476370000035
是每个采样周期测量得到的载体在地面坐标系下的旋转角加速度，
Figure BDA0002786476370000036
是每个采样周期测量得到的虚拟现实穿戴设备在地面坐标系下的旋转角加速度。
根据公式(5)所推倒出的摄像机云台平均角速度，得到每个采样周期对摄像机云台控制所采用的角速度公式：
Figure BDA0002786476370000037
其中，ωn为每个采样周期摄像机云台在载体坐标系下相对载体转动角速度，N是每个控制周期内的采用次数，
Figure BDA0002786476370000039
为摄像机云台相对载体坐标系的旋转平均速度。
移动载体在旋转过程中的运动状态如图3、图4所示。根据公式(5)、公式(6)计算出在移动载体旋转过程中，摄像机云台在水平方向上相对于载体坐标系的每个采样周期的角速度ω′n。
移动载体在旋转过程中，垂直方向摄像机云台只跟随虚拟现实穿戴设备转动，如图5所示，此时的公式⑷为：
Figure BDA0002786476370000038
结合公式⑸计算出在移动载体旋转过程中，摄像机云台在方向上相对于载体坐标系的每个采样周期的角速度
Figure BDA0002786476370000043
结合摄像机云台在水平方向与垂直方向上的运动，总结出：
Figure BDA0002786476370000041
Figure BDA0002786476370000042
得到摄像机云台在每个控制周期的角速度与角速度方向。
本发明的有益效果：
使用本发明方法控制摄像机云台旋转，使得图像传回控制端时操作员所看到的场景即为当前时刻载体正对的场景，根据场景对载体进行旋转控制。这种控制方法避免了时延造成的操作困难，具有操作简单，效率高等优点。解决了无人移动载体在旋转过程中因数据传输延迟导致的遥控操作困难的问题。
附图说明
图1是该方法控制系统示意图；
图2是该方法系统框架示意图；
图3是摄像机云台水平方向旋转运动示意图；
图4是摄像机云台水平方向跟随VR设备旋转示意图；
图5是摄像机云台垂直方向跟随VR设备旋转示意图；
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1-5所示，本发明方法的一个实例系统结构图，该实例的系统包括移动载体端所安装的参数测量单元，虚拟现实穿戴设备端的参数测量单元、数据发送单元、图像接收单元，摄像机云台端的参数测量单元、数据接收单元、云台旋转控制器、云台旋转驱动器、图像发送单元等几部分组成。具体实施步骤如下：
人为的确定运动参数速度采样周期T，通过实验测量得到图像传输的时延时间τ1，指令传输的时延时间τ2。在本实施例中，给定T＝τ1＝200ms，τ2＝5ms。
通过装在虚拟现实穿戴设备上的参数测量单元陀螺仪，测量出每个采样周期内的VR穿戴设备的角速度
Figure BDA0002786476370000051
(包含水平分量与垂直分量)，检测到的角速度数据通过数据发送单元远程传输给摄像机云台端的数据接收单元。
由移动载体上所安装的参数测量单元陀螺仪与角加速度计测量出每个采样周期内移动载体旋转过程中的角速度
Figure BDA0002786476370000052
角加速度
Figure BDA0002786476370000053
(包含水平分量与垂直分量)。将检测到的运动参数通过数据接口传输给摄像机云台端的云台旋转控制器。
摄像机云台端所装有的参数测量单元磁阻传感器测量得到摄像机云台相对于载体坐标系的相对角度β，将测量得到的数据，与数据接收器接收到的VR穿戴设备的相关运动参数一起传输给云台旋转控制器。
云台旋转控制器接收到各个部分传输回来的运动参数，通过公式(4)、(5)、(6)、(7)计算得到摄像机云台旋转的相关控制参数，将其传输给云台旋转驱动器。
云台旋转驱动器接收到控制参数后驱动摄像机云台转动，摄像机云台带动摄像机转动。摄像机拍摄实时图像传输给图像发送器。
图像发送器将图像远程传输给虚拟现实穿戴设备端的图像接收器，虚拟现实穿戴设备接收到图像后显示图像信息。操作员通过实时图像远程操作载体运动。
图2是该方法控制系统示意图，其中
Figure BDA0002786476370000054
β为系统的输入量，分别表示载体在地面坐标系下水平方向上的角速度、角加速度、云台在载体坐标系下相对载体的角度。ωn为系统的控制量，表示云台转动角速度。Θ为输出量，表示云台在载体坐标系下转动的角度。
本说明书实所述的内容仅仅是对发明构思的实现形式的举例，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (3)

1.一种适用于移动载体的摄像机云台旋转控制方法，其特征在于该控制方法通过测量无人移动载体、摄像机云台、虚拟现实穿戴设备的相关运动参数，估算旋转运动时由于时延所造成的角度偏差以及操作员头转动的角度，控制摄像机云台相对移动载体坐标系转动，使摄像头拍摄的图片与操作员当前所看到的图片一致即为当前时刻载体视角的真实图片；
根据无人移动载体在图像传输延时过程中所转动的角度计算出转动过程中摄像机云台相对载体坐标系预旋转的角度：
Figure FDA0003710631950000011
其中，ω1是无人移动载体在地面坐标系下的旋转角速度，β是摄像机云台在载体坐标系下相对无人移动载体的角度，τ1是图像传输的时延时间；
根据虚拟现实穿戴设备在控制周期内所转动的角度计算出当操作员转动头时摄像机相对载体坐标系转动的角度：
Figure FDA0003710631950000012
其中，ω2是虚拟现实穿戴设备在地面坐标系下的旋转角速度，T是速度采样周期；根据公式⑴与公式⑵计算出摄像机云台在每个采样周期内的转动的相对角度：
θ＝γ1·θ1+γ2·θ2………………⑶
其中，γ1和γ2分别为θ1与θ2在实际中所占的比例参数，由测量得出；
根据公式⑶计算出摄像机云台在每个采样周期内旋转所需的平均角速度：
Figure FDA0003710631950000013
其中，τ2是控制指令传输的延时时间；
其中，Δt是采样周期的时间；
根据公式(1)、(2)、(3)和(4)推导得到摄像机云台在每个控制周期内的平均角速度离散公式：
Figure FDA0003710631950000021
其中，M是每个控制周期内的采样次数，
Figure FDA0003710631950000022
是每个采样周期测量得到的移动载体在地面坐标系下的旋转角速度，
Figure FDA0003710631950000023
是每个采样周期测量得到的虚拟现实穿戴设备在地面坐标系下的旋转角速度，
Figure FDA0003710631950000024
是每个采样周期测量得到的载体在地面坐标系下的旋转角加速度，
Figure FDA0003710631950000025
是每个采样周期测量得到的虚拟现实穿戴设备在地面坐标系下的旋转角加速度；
根据公式(5)所推导出的摄像机云台平均角速度，得到每个采样周期对摄像机云台控制所采用的角速度公式：
Figure FDA0003710631950000026
其中，ωn为每个采样周期摄像机云台在载体坐标系下相对载体转动角速度，M是每个控制周期内的采用次数；
根据公式(5)、公式(6)计算出在移动载体旋转过程中，摄像机云台在水平方向上相对于载体坐标系的每个采样周期的角速度ω'n；
移动载体在旋转过程中，垂直方向摄像机云台只跟随虚拟现实穿戴设备转动，此时的公式⑷为：
Figure FDA0003710631950000027
结合公式⑸计算出在移动载体旋转过程中，摄像机云台在垂直方向上相对于载体坐标系的每个采样周期的角速度ω”n；
结合摄像机云台在水平方向与垂直方向上的运动，总结出：
Figure FDA0003710631950000031
Figure FDA0003710631950000032
得到摄像机云台在每个控制周期的角速度与角速度方向。
2.根据权利要求1所述的一种适用于移动载体的摄像机云台旋转控制方法，其特征在于所述无人移动载体、摄像机云台与虚拟现实穿戴设备相关运动参数由参数测量单元测量得出，其中无人移动载体的角速度、角加速度分别由无人移动载体上安装的陀螺仪与角加速度计测量得出；虚拟现实穿戴设备的角速度由虚拟现实设备上安装的陀螺仪测量得出；摄像机云台相对于载体坐标系的相对角度由摄像机云台所安装的磁阻传感器测量得出。
3.根据权利要求2所述的一种适用于移动载体的摄像机云台旋转控制方法，其特征在于图像传输延时与控制指令传输延时，通过实测或估测获得，实测是根据无人移动载体运动中图像与指令的传输时间测量得出时延时间，估测是根据数据信道的时延时间估测出图像信道的时延时间。
CN202011299794.8A 2020-11-19 2020-11-19 一种适用于移动载体的摄像机云台旋转控制方法 Active CN112468720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011299794.8A CN112468720B (zh) 2020-11-19 2020-11-19 一种适用于移动载体的摄像机云台旋转控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011299794.8A CN112468720B (zh) 2020-11-19 2020-11-19 一种适用于移动载体的摄像机云台旋转控制方法

Publications (2)

Publication Number Publication Date
CN112468720A CN112468720A (zh) 2021-03-09
CN112468720B true CN112468720B (zh) 2022-08-30

Family

ID=74836228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011299794.8A Active CN112468720B (zh) 2020-11-19 2020-11-19 一种适用于移动载体的摄像机云台旋转控制方法

Country Status (1)

Country Link
CN (1) CN112468720B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE530384C2 (sv) * 2006-02-17 2008-05-20 Totalfoersvarets Forskningsins Metod för fjärrstyrning av en obemannad markfarkost med rörlig kamera samt en sådan markfarkost
CN105223967B (zh) * 2014-06-30 2017-11-28 深圳市大疆灵眸科技有限公司 一种摄像控制方法、装置及云台设备
CN105323487A (zh) * 2015-11-20 2016-02-10 广州亿航智能技术有限公司 摄像设备指向方位控制装置
CN107968915B (zh) * 2017-12-04 2020-02-14 国网山东省电力公司电力科学研究院 水下机器人摄像机云台实时控制系统及其方法
CN110708461B (zh) * 2019-09-30 2020-11-17 杭州师范大学 一种适用于无人移动载体的摄像机调焦与变焦方法

Also Published As

Publication number Publication date
CN112468720A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN108399642B (zh) 一种融合旋翼无人机imu数据的通用目标跟随方法和系统
CN106485736B (zh) 一种无人机全景视觉跟踪方法、无人机以及控制终端
US9621821B2 (en) Method for shooting a performance using an unmanned aerial vehicle
US9158305B2 (en) Remote control system
CN108680143A (zh) 基于远程测距的目标定位方法、装置及无人机
CN108427407B (zh) 云台控制方法、云台控制系统及云台设备
US20160194079A1 (en) Method of automatically piloting a rotary-wing drone for performing camera movements with an onboard camera
CN108933896B (zh) 基于惯性测量单元的全景视频稳像的方法及系统
CA2913955A1 (en) Telepresence method and system for supporting out of range motion
CN109416535A (zh) 基于图像识别的飞行器导航技术
CN106444810A (zh) 借助虚拟现实的无人机机械臂空中作业系统及其控制方法
CN103336532A (zh) 3d视听觉系统的支持装置及3d视听觉系统
US20190156579A1 (en) Mixed reality video production with detached camera
CN111551108B (zh) 测绘装置及方法
WO2019104583A1 (zh) 最高温度点跟踪方法、装置和无人机
CN108259827A (zh) 一种实现安防的方法、装置、ar设备及系统
CN104656482A (zh) 终端遥控装置
CN112468720B (zh) 一种适用于移动载体的摄像机云台旋转控制方法
CN107314759B (zh) 基于无人机多角度拍摄的麦田产量估计方法与装置
CN110234003A (zh) 一种仿真无人机飞行的方法、装置、终端及系统
KR20110121426A (ko) 주, 야간 겸용 이동물체 관측시스템
CN205754628U (zh) 一种摄像机及监控系统
WO2022253018A1 (zh) 无人机视角的视频显示方法及显示系统
CN111243027B (zh) 延时测量方法、装置及系统
US10885657B2 (en) Configuration for indicating image capture device position

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant