CN114785955B - 复杂场景下动态相机运动补偿方法、系统及存储介质 - Google Patents

复杂场景下动态相机运动补偿方法、系统及存储介质 Download PDF

Info

Publication number
CN114785955B
CN114785955B CN202210483344.7A CN202210483344A CN114785955B CN 114785955 B CN114785955 B CN 114785955B CN 202210483344 A CN202210483344 A CN 202210483344A CN 114785955 B CN114785955 B CN 114785955B
Authority
CN
China
Prior art keywords
angle
image sequence
data
yaw
pitch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210483344.7A
Other languages
English (en)
Other versions
CN114785955A (zh
Inventor
衣杨
曾青青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xinhua College
Original Assignee
Guangzhou Xinhua College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xinhua College filed Critical Guangzhou Xinhua College
Priority to CN202210483344.7A priority Critical patent/CN114785955B/zh
Publication of CN114785955A publication Critical patent/CN114785955A/zh
Application granted granted Critical
Publication of CN114785955B publication Critical patent/CN114785955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明提出了一种复杂场景下动态相机运动补偿方法、系统及存储介质，首先，将运动相机捕获的图像序列经计算质心位置并将其传输至ARM处理器以跟踪目标，将目标维持在图像平面的中心。其次，通过图像质心位置的前后变化计算图像的偏移角；最后将传感器来获取三轴云台的姿态角，例如滚动角、俯仰角、偏航角与所述偏移角融合用来补偿三轴云台，使所述三轴云台保持稳定。这样提高控制三轴云台的精度，同时也节省了AVR处理器的资源。

Description

复杂场景下动态相机运动补偿方法、系统及存储介质
技术领域
本文涉及图像领域，尤其涉及复杂场景下动态相机运动补偿方法、系统及存储介质。
背景技术
无人驾驶车辆云台上的相机会因风和机器本身的运动等外部因素而移动和抖动，很难正确跟踪目标，有时目标无法停留在相机的视野中。由于相机移动和背景快速变化，车辆快速移动超出预测范围时，目标会在有效视野区域频繁进出。目前的研究集中在固定相机和静态背景场景中取得了显着的效果。但当相机快速移动或在遇到复杂的背景，目标跟踪的精度不高。如何使运动的相机在跟踪物体时保持稳定是目前研究的一个重要课题。
发明内容
为克服相关技术中存在的问题，本发明提供复杂场景下动态相机运动补偿方法、系统及存储介质，将运动相机捕获的图像序列经计算质心位置并将其传输至ARM处理器以跟踪目标，将目标维持在图像平面的中心。通过图像质心位置的前后变化计算图像的偏移角以及获取三轴云台的滚动角、俯仰角、偏航角融合用来补偿三轴云台，使所述三轴云台保持稳定。这样提高控制三轴云台的精度，同时也节省了AVR处理器的资源。
根据本文的第一方面，提供一种复杂场景下动态相机运动补偿方法，包括将运动相机捕获的图像序列传输至ARM处理器；获取三轴云台的滚动角、俯仰角、偏航角传输至所述ARM处理器；所述ARM处理器计算所述图像序列的偏移角；所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的滚动角、俯仰角、偏航角计算控制角度以控制所述三轴云台移动。
基于前述方案，所述将运动相机捕获的图像序列传输至ARM处理器，包括：将所述图像序列传输到目标跟踪系统；所述目标跟踪系统计算所述图像序列的质心位置；将所述图像序列的质心位置传输至所述ARM处理器。
基于前述方案，所述目标跟踪系统计算所述图像序列的质心位置，包括：将每一帧图像序列的RGB图像转换为HSV图像；定义所述HSV图像的颜色及阈值；对所述HSV图像二值化处理；对所述二值化处理的HSV图像进行腐蚀、膨胀处理得到目标模板；划定所述目标模板的轮廓，将所述轮廓的做大外接圆的中心作为所述图像序列的质心位置。
基于前述方案，所述ARM处理器计算所述图像序列的偏移角，包括：根据所述图像序列的质心位置计算所述图像序列的偏移角；
x,y表示图像偏移后质心的坐标横向量和坐标纵向量，x0,y0表示图像偏移前质心的坐标横向量和坐标纵向量；h0,v0,θ表示图像水平偏移量，垂直偏移量，偏移角。
基于前述方案，所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的滚动角、俯仰角、偏航角计算控制角度，包括：
Pulse.ω＝((θ+ω)*10+1500)/50
Pulse.κ＝((θ+κ)*10+1500)/50
Angle.ω＝(Pulse.ω-1500)/T
Angle.κ＝(Pulse.κ-1500)/T
Pulse.ω、Pulse.κ分别表示滚动角、俯仰角、偏航角的脉冲信号宽度；Angle.ω、/>Angle.κ表示滚动角、俯仰角、偏航角的补偿后的控制角度，T为定时器的周期。
根据本文的另一方面，提供一种复杂场景下动态相机运动补偿系统，包括第一传输单元、第二传输单元、计算单元、控制单元；所述第一传输单元，用于将运动相机捕获的图像序列传输至ARM处理器；所述第二传输单元，用于获取三轴云台的滚动角、俯仰角、偏航角传输至所述ARM处理器；所述计算单元，用于所述ARM处理器计算所述图像序列的偏移角；所述控制单元，用于所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的滚动角、俯仰角、偏航角计算控制角度以控制所述三轴云台移动。
根据本文的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时减小爆破振动的爆破方法的步骤。
本发明提出了一种复杂场景下动态相机运动补偿方法、系统及存储介质，将运动相机捕获的图像序列经计算质心位置并将其传输至ARM处理器以跟踪目标，将目标维持在图像平面的中心。其次，通过图像质心位置的前后变化计算图像的偏移角；最后将传感器来获取三轴云台的姿态角，例如滚动角、俯仰角、偏航角与所述偏移角融合用来补偿三轴云台，使所述三轴云台保持稳定。这样提高控制三轴云台的精度，同时也节省了AVR处理器的资源。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本文。
附图说明
构成本文的一部分的附图用来提供对本文的进一步理解，本文的示意性实施例及其说明用于解释本文，并不构成对本文的不当限定。
在附图中：
图1是根据一示例性实施例示出的一种复杂场景下动态相机运动补偿方法的流程图。
图2是根据一示例性实施例示出的利用质心跟踪算法跟踪目标的流程图。
图3是根据一示例性实施例示出的一种复杂场景下动态相机运动补偿系统的框图。
图4是根据一示例性实施例示出的一种复杂场景下动态相机运动补偿设备的框图。
具体实施方式
为使本文实施例的目的、技术方案和优点更加清楚，下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。需要说明的是，在不冲突的情况下，本文中的实施例及实施例中的特征可以相互任意组合。
除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
图1是根据本发明第一实施例示出的一种复杂场景下动态相机运动补偿方法的流程图。参照图1，补偿方法至少包括：
S101：将运动相机捕获的图像序列传输至ARM处理器；
具体地说，运动相机是和车辆绑在一起的，可以是一体化的，也可以是两个实体绑定。运动相机按照固定的帧率拍摄视频，运动相机会检测视频中的目标物体进行跟踪。
值得一提的是，本文中的ARM处理器作为主控制器，优选的，S3C2440芯片；S3C2440芯片采用ARM9内核架构设计，是一种32位的高速处理器，很多嵌入式产品中都使用该芯片作为主控制器。其性能参数包括CPU、最高工作频率、内核电压、I/O输出电压、PWM定时器等。
进一步地，为了减轻ARM处理器的数据处理压力，同时能够提高跟踪目标物体的精度，在运动相机捕获的图像序列传输至ARM处理器之前，先将所述图像序列传输到目标跟踪系统；所述目标跟踪系统计算所述图像序列的质心位置；将所述图像序列的质心位置传输至所述ARM处理器。
所示目标跟踪系统是车辆用于跟踪目标，目标跟踪系统所采用的质心跟踪算法是使用OpenCV实现质心跟踪。具体的说，OpenCV(Open Source Computer Vision Library)是一个开源的计算机视觉和机器学习软件库。
可以说明的是，图2所示了本文中利用质心跟踪算法跟踪目标的一个具体实施例，具体包括：
S201：将每一帧图像序列的RGB图像转换为HSV图像；
S202：定义所述HSV图像的颜色及阈值；
S203：对所述HSV图像二值化处理；
S204：对所述二值化处理的HSV图像进行腐蚀、膨胀处理得到目标模板；
S205：划定所述目标模板的轮廓，将所述轮廓的做大外接圆的中心作为质心位置。
由于相机运动时会产生抖动，监控的目标物体也会频繁地进出相机的视野。为了能够保持三轴平台的稳定，采用上述质心跟踪算法，目标物体就一直保持在像平面坐标的中心，相机保持跟踪。并且使目标物体与周围环境区分开来，避免了复杂背景下跟踪精度低的问题，提高了目标物体的跟踪精度。
S102：获取三轴云台的滚动角、俯仰角、偏航角传输至所述ARM处理器；
具体地说，本发明的云台为三轴云台，三轴云台上设置有相应的传感器，可以实时获取车辆驾驶时的三轴姿态角、角速度和角加速度等数据。当传感器固定在平台上时，通过传感器获取三轴平台的滚动角、俯仰角、偏航角可视为车辆的状态。
本发明的传感器选取JY-901模块作为三轴平台的滚动角、俯仰角、偏航角都数据采集模块。其输出格式如下：
0x55 0x53 RollL RollH PitchL PitchH YawL YawH SUM
其中，0x55为传输数据头，用于判断是否为该模块的输出数据；0x53为角度数据的数据头；RollL与RollH分别为16位滚动角数据的低8位与高8位；PitchL与PitchH分别为16位俯仰角数据的低8位与高8位；YawL与YawH分别为16位偏航角数据的低8位与高8位；SUM为整组数据的校验和。由提取出的三轴平台的滚动角、俯仰角、偏航角的十六进制数据可通过计算转化为测量到的角度信息。
采集三轴平台的滚动角、俯仰角、偏航角数据的计算如下所示：
ω＝((RollH＜＜8)|RollL)/32768*180 式(1)
κ＝((YawH＜＜8)|YawL)/32768*180 式(3)
其中，ω、κ分别表示为三轴平台的滚动角、俯仰角、偏航角。
S103：所述ARM处理器计算所述图像序列的偏移角；
具体地说，根据所述图像序列的质心位置计算所述图像序列的偏移角；由ARM处理器中定时器中断时产生的脉冲信号，通过两个脉冲信号的所对应图像的质心位置变化计算所述图像序列的偏移角。
可以说明的是，本发明中具体地一个实施例，计算图像序列的偏移角包括：
x,y表示图像偏移后质心的坐标横向量和坐标纵向量，x0,y0表示图像偏移前质心的坐标横向量和坐标纵向量；h0,v0,θ表示图像水平偏移量，垂直偏移量，偏移角。
S104：所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的俯仰角、滚动角、偏航角计算控制角度以控制所述三轴云台移动。
具体地说，由于直接生成脉冲信号难以控制且精度不准确，本发明ARM处理器使用定时器和中断来生成脉冲信号，用ARM处理器的系统时钟驱动定时器，调整定时器的周期来触发中断。通过生成脉冲信号的宽度来计算控制角度，从而根据控制角度来控制三轴云台移动。所述控制角度包括三轴云台的滚动角、俯仰角、偏航角三个方向补偿后的角度。
Pulse.ω＝((θ+ω)*10+1500)/50 式(5)
Pulse.κ＝((θ+κ)*10+1500)/50 式(7)
Pulse.ω、Pulse.κ分别表示滚动角、俯仰角、偏航角的脉冲信号宽度。
Angle.ω＝(Pulse.ω-1500)/T 式(8)
Angle.κ＝(Pulse.κ-1500)/T 式(10)
Angle.ω、Angle.κ表示滚动角、俯仰角、偏航角的补偿后的控制角度，T为定时器的周期。
本发明的第一实施例提出了一种复杂场景下动态相机运动补偿方法，首先，将运动相机捕获的图像序列经计算质心位置并将其传输至ARM处理器以跟踪目标，将目标维持在图像平面的中心。其次，通过图像质心位置的前后变化计算图像的偏移角；最后将传感器来获取三轴云台的姿态角，例如滚动角、俯仰角、偏航角与所述偏移角融合用来补偿三轴云台，使所述三轴云台保持稳定。这样提高控制三轴云台的精度，同时也节省了AVR处理器的资源。
图3是根据本发明示例性的第二具体实施例，示出的一种复杂场景下动态相机运动补偿系统30。所述系统30包括第一传输单元301、第二传输单元302、计算单元303、控制单元304；
所述第一传输单元301，用于将运动相机捕获的图像序列传输至ARM处理器；
所述第二传输单元302，用于获取三轴云台的俯仰角、滚动角、偏航角传输至所述ARM处理器；
所述计算单元303，用于所述ARM处理器计算所述图像序列的偏移角；
所述控制单元304，用于所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的俯仰角、滚动角、偏航角计算控制角度以控制所述三轴云台移动。
不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
图4是根据一示例性实施例示出的一种用于计算机设备40的框图。参照图4，设备40包括处理器401，处理器的个数可以根据需要设置为一个或者多个。设备40还包括存储器402，用于存储可由处理器401的执行的指令，例如应用程序。存储器的个数可以根据需要设置一个或者多个。其存储的应用程序可以为一个或者多个。处理器401被配置为执行指令，以执行上述方法。
存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在另外的一个方面，本文提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现以上任意方法实施例所描述的一种复杂场景下动态相机运动补偿方法。
本领域技术人员应明白，本文的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本文可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质,包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本文是参照根据本文实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本文的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本文范围的所有变更和修改。
显然，本领域的技术人员可以对本文进行各种改动和变型而不脱离本文的精神和范围。这样，倘若本文的这些修改和变型属于本文权利要求及其等同技术的范围之内，则本文的意图也包含这些改动和变型在内。

Claims (3)

1.一种复杂场景下动态相机运动补偿方法，其特征在于：
将运动相机捕获的图像序列传输至ARM处理器, 具体包括：将所述图像序列传输到目标跟踪系统, 所述目标跟踪系统计算所述图像序列的质心位置, 将所述图像序列的质心位置传输至所述ARM处理器；
获取三轴云台的滚动角、俯仰角、偏航角传输至所述ARM处理器，具体包括：
三轴云台上设置有相应的传感器，实时获取车辆驾驶时的三轴姿态角、角速度和角加速度，当传感器固定在平台上时，通过传感器获取三轴云台的滚动角、俯仰角、偏航角；
传感器选取JY-901模块作为三轴云台的滚动角、俯仰角、偏航角的数据采集模块，其输出格式如下：
，其中，0x55为传输数据头，用于判断是否为该模块的输出数据；0x53为角度数据的数据头；RollL与RollH分别为16位滚动角数据的低8位与高 8位；PitchL与PitchH分别为16位俯仰角数据的低8位与高8位；YawL与 YawH分别为16位偏航角数据的低8位与高8位；SUM为整组数据的校验和；由提取出的三轴云台的滚动角、俯仰角、偏航角的十六进制数据可通过计算转化为测量到的角度信息；
其中，采集三轴云台的滚动角、俯仰角、偏航角数据的计算如下所示：
，其中，/>分别表示为三轴云台的滚动角、俯仰角、偏航角；
所述ARM处理器计算所述图像序列的偏移角；
所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的滚动角、俯仰角、偏航角计算控制角度以控制所述三轴云台移动；
其中，所述目标跟踪系统计算所述图像序列的质心位置，包括：
将每一帧图像序列的RGB图像转换为HSV图像；
定义所述HSV图像的颜色及阈值；
对所述HSV图像二值化处理；
对所述二值化处理的HSV图像进行腐蚀、膨胀处理得到目标模板；
其中，划定所述目标模板的轮廓，将所述轮廓的外接圆的中心作为所述图像序列的质心位置；
其中，所述ARM处理器计算所述图像序列的偏移角，具体包括：根据所述图像序列的质心位置计算所述图像序列的偏移角；
，/>表示图像偏移后质心的坐标横向量和坐标纵向量，/>表示图像偏移前质心的坐标横向量和坐标纵向量；/>表示图像水平偏移量，垂直偏移量，偏移角；
其中，所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的滚动角、俯仰角、偏航角计算控制角度，具体包括：
，/>分别表示滚动角、俯仰角、偏航角的脉冲信号宽度；/>表示滚动角、俯仰角、偏航角的补偿后的控制角度，T为定时器的周期。
2.一种复杂场景下动态相机运动补偿系统，其特征在于，包括第一传输单元、第二传输单元、计算单元、控制单元；
所述第一传输单元，用于将运动相机捕获的图像序列传输至ARM处理器，具体包括：将所述图像序列传输到目标跟踪系统, 所述目标跟踪系统计算所述图像序列的质心位置,将所述图像序列的质心位置传输至所述ARM处理器；
所述第二传输单元，用于获取三轴云台的滚动角、俯仰角、偏航角传输至所述ARM处理器，具体包括：
三轴云台上设置有相应的传感器，实时获取车辆驾驶时的三轴姿态角、角速度和角加速度，当传感器固定在平台上时，通过传感器获取三轴云台的滚动角、俯仰角、偏航角；
其中，传感器选取JY-901模块作为三轴云台的滚动角、俯仰角、偏航角的数据采集模块，其输出格式如下：
，其中，0x55为传输数据头，用于判断是否为该模块的输出数据；0x53为角度数据的数据头；RollL与RollH分别为16位滚动角数据的低8位与高 8位；PitchL与PitchH分别为16位俯仰角数据的低8位与高8位；YawL与 YawH分别为16位偏航角数据的低8位与高8位；SUM为整组数据的校验和；由提取出的三轴云台的滚动角、俯仰角、偏航角的十六进制数据通过计算转化为测量到的角度信息；
采集三轴云台的滚动角、俯仰角、偏航角数据的计算如下所示：
，其中，/>分别表示为三轴云台的滚动角、俯仰角、偏航角；
所述计算单元，用于所述ARM处理器计算所述图像序列的偏移角；
所述控制单元，用于所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的滚动角、俯仰角、偏航角计算控制角度以控制所述三轴云台移动；
其中，所述计算单元根据所述图像序列的质心位置计算所述图像序列的偏移角，具体为：，/>表示图像偏移后质心的坐标横向量和坐标纵向量，/>表示图像偏移前质心的坐标横向量和坐标纵向量；/>表示图像水平偏移量，垂直偏移量，偏移角；
其中，所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的滚动角、俯仰角、偏航角计算控制角度，具体包括：
，/>分别表示滚动角、俯仰角、偏航角的脉冲信号宽度；/>表示滚动角、俯仰角、偏航角的补偿后的控制角度，T为定时器的周期。
3.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1-2中任意一项所述方法的步骤。
CN202210483344.7A 2022-05-05 2022-05-05 复杂场景下动态相机运动补偿方法、系统及存储介质 Active CN114785955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210483344.7A CN114785955B (zh) 2022-05-05 2022-05-05 复杂场景下动态相机运动补偿方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210483344.7A CN114785955B (zh) 2022-05-05 2022-05-05 复杂场景下动态相机运动补偿方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN114785955A CN114785955A (zh) 2022-07-22
CN114785955B true CN114785955B (zh) 2023-08-15

Family

ID=82434573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210483344.7A Active CN114785955B (zh) 2022-05-05 2022-05-05 复杂场景下动态相机运动补偿方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN114785955B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630374B (zh) * 2023-07-24 2023-09-19 贵州翰凯斯智能技术有限公司 目标对象的视觉跟踪方法、装置、存储介质及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738426A (zh) * 2005-09-09 2006-02-22 南京大学 一种视频运动目标分割与跟踪方法
CN108475075A (zh) * 2017-05-25 2018-08-31 深圳市大疆创新科技有限公司 一种控制方法、装置及云台
CN109658128A (zh) * 2018-11-19 2019-04-19 浙江工业大学 一种基于yolo和质心跟踪的门店入店率统计方法
CN109753076A (zh) * 2017-11-03 2019-05-14 南京奇蛙智能科技有限公司 一种无人机视觉追踪实现方法
CN110083180A (zh) * 2019-05-22 2019-08-02 深圳市道通智能航空技术有限公司 云台控制方法、装置、控制终端及飞行器系统
WO2019183845A1 (zh) * 2018-03-28 2019-10-03 深圳市大疆创新科技有限公司 云台的控制方法、装置、系统、计算机存储介质及无人机
CN110688987A (zh) * 2019-10-16 2020-01-14 山东建筑大学 一种行人位置检测与跟踪方法及系统
CN111966133A (zh) * 2020-08-29 2020-11-20 山东翔迈智能科技有限公司 一种云台视觉伺服控制系统
CN112509003A (zh) * 2020-12-01 2021-03-16 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 解决目标跟踪框漂移的方法及系统
CN112906563A (zh) * 2021-02-19 2021-06-04 山东英信计算机技术有限公司 一种动态手势识别方法、装置、系统及可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738426A (zh) * 2005-09-09 2006-02-22 南京大学 一种视频运动目标分割与跟踪方法
CN108475075A (zh) * 2017-05-25 2018-08-31 深圳市大疆创新科技有限公司 一种控制方法、装置及云台
CN109753076A (zh) * 2017-11-03 2019-05-14 南京奇蛙智能科技有限公司 一种无人机视觉追踪实现方法
WO2019183845A1 (zh) * 2018-03-28 2019-10-03 深圳市大疆创新科技有限公司 云台的控制方法、装置、系统、计算机存储介质及无人机
CN109658128A (zh) * 2018-11-19 2019-04-19 浙江工业大学 一种基于yolo和质心跟踪的门店入店率统计方法
CN110083180A (zh) * 2019-05-22 2019-08-02 深圳市道通智能航空技术有限公司 云台控制方法、装置、控制终端及飞行器系统
CN110688987A (zh) * 2019-10-16 2020-01-14 山东建筑大学 一种行人位置检测与跟踪方法及系统
CN111966133A (zh) * 2020-08-29 2020-11-20 山东翔迈智能科技有限公司 一种云台视觉伺服控制系统
CN112509003A (zh) * 2020-12-01 2021-03-16 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 解决目标跟踪框漂移的方法及系统
CN112906563A (zh) * 2021-02-19 2021-06-04 山东英信计算机技术有限公司 一种动态手势识别方法、装置、系统及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彭真明 等.《光电图像处理及应用》.成都：电子科技大学出版社,2013,第137-138页. *

Also Published As

Publication number Publication date
CN114785955A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
US10928838B2 (en) Method and device of determining position of target, tracking device and tracking system
CN107990899B (zh) 一种基于slam的定位方法和系统
US10325339B2 (en) Method and device for capturing image of traffic sign
CN106708048B (zh) 机器人的天花板图像定位方法和系统
CN110022444B (zh) 无人飞行机的全景拍照方法与使用其的无人飞行机
US11375097B2 (en) Lens control method and apparatus and terminal
US11222409B2 (en) Image/video deblurring using convolutional neural networks with applications to SFM/SLAM with blurred images/videos
JP2019510234A (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN114785955B (zh) 复杂场景下动态相机运动补偿方法、系统及存储介质
CN105635555A (zh) 摄像头聚焦控制方法、摄像设备和可穿戴式智能终端
US11172218B2 (en) Motion estimation
US11095870B1 (en) Calibration of cameras on unmanned aerial vehicles using human joints
KR102404867B1 (ko) 3차원 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법
US11501123B2 (en) Method and apparatus for asynchronous data fusion, storage medium and electronic device
CN103997602A (zh) 摄像设备及其控制方法
WO2020085028A1 (ja) 画像認識装置および画像認識方法
CN116817929B (zh) 一种无人机对地平面多目标同时定位方法及系统
WO2022000211A1 (zh) 拍摄系统的控制方法、设备、及可移动平台、存储介质
KR102419101B1 (ko) 비행체의 자율 비행을 위한 학습 데이터 생성 방법 및 그 장치
CN111684784B (zh) 图像处理方法和装置
CN111161421A (zh) 一种基于ar的移动端在线空间漫游方法
Hattori et al. Generalized measuring-worm algorithm: High-accuracy mapping and movement via cooperating swarm robots
WO2022201825A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
TWI738315B (zh) 基於光標籤的自動追蹤拍攝系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant