CN115049697A - 视觉测速方法、装置、设备和存储介质 - Google Patents

视觉测速方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN115049697A
CN115049697A CN202210571121.6A CN202210571121A CN115049697A CN 115049697 A CN115049697 A CN 115049697A CN 202210571121 A CN202210571121 A CN 202210571121A CN 115049697 A CN115049697 A CN 115049697A
Authority
CN
China
Prior art keywords
determining
camera
speed
target
acceleration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210571121.6A
Other languages
English (en)
Inventor
张健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202210571121.6A priority Critical patent/CN115049697A/zh
Publication of CN115049697A publication Critical patent/CN115049697A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种视觉测速方法、装置、设备和存储介质，所述方法包括：基于惯性测量单元测量得到的摄像头的线性加速度和对所述摄像头的姿态解算结果，确定所述摄像头的运动速度；根据预设时长和所述运动速度确定所述摄像头的补偿位移；确定所述预设时长中，所述摄像头的拍摄视频内的待检测目标的检测位移；根据所述补偿位移和所述检测位移确定实际位移，并根据所述预设时长和所述实际位移确定所述待检测目标的实际速度。本发明提高了实际位移和实际速度的准确度。

Description

视觉测速方法、装置、设备和存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种视觉测速方法、装置、设备和存储介质。
背景技术
在对运动目标进行速度检测方面，主要通过雷达或者摄像头等测速设备，检测测速设备的摄像头视野内，特定测速区域的运动目标的移动情况，从而进行运动目标的速度检测。例如，对道路上的车辆的速度的检测，测速设备往往需要固定在某个具体位置，检测特定测速区域的运动目标的移动情况，从而进行速度检测。然而，在竞技体育项目中，测速设备的摄像头在跟踪运动目标时，会跟随摄像头移动，导致运动目标的速度检测的不准确。
发明内容
本发明的主要目的在于提供一种视觉测速方法、装置、设备和存储介质，旨在解决摄像头内的运动目标的速度检测不准确的问题。
为实现上述目的，本发明提供的一种视觉测速方法，所述视觉测速方法包括以下步骤：
基于惯性测量单元测量得到的摄像头的线性加速度和对所述摄像头的姿态解算结果，确定所述摄像头的运动速度；
根据预设时长和所述运动速度确定所述摄像头的补偿位移；
确定所述预设时长中，所述摄像头的拍摄视频内的待检测目标的检测位移；
根据所述补偿位移和所述检测位移确定实际位移，并根据所述预设时长和所述实际位移确定所述待检测目标的实际速度。
在一实施例中，所述基于惯性测量单元测量得到的摄像头的线性加速度和对所述摄像头的姿态解算结果，确定所述摄像头的运动速度的步骤之前，还包括：
获取惯性测量单元的线性加速度和角加速度；
根据所述线性加速度和所述角加速度，确定所述摄像头的线性速度和角速度；
根据所述线性速度和所述角速度确定所述摄像头的姿态参数，所述姿态解算结果包括所述姿态参数。
在一实施例中，所述根据所述线性加速度和所述角加速度，确定所述摄像头的线性速度和角速度的步骤包括：
根据预设时长内的所述线性加速度进行积分运算，得到所述线性速度；
根据预设时长内的所述角加速度进行积分运算，得到所述角速度。
在一实施例中，所述根据所述线性速度和所述角速度确定所述摄像头的姿态参数的步骤包括：
根据所述角速度确定所述摄像头的重力加速度；
根据归一化处理后的所述线性加速度和所述重力加速度确定重力误差值；
根据预设的比例系数、所述重力加速度和所述重力误差值确定修正重力加速度；
根据所述角速度和所述修正重力加速度确定所述姿态参数。
在一实施例中，所述根据归一化处理后的所述线性加速度和所述重力加速度确定重力误差值的步骤包括：
将归一化后的所述线性加速度与所述重力加速度进行叉乘，计算出目标误差；
根据预设时长内的目标误差进行积分运算，得到所述重力误差值。
在一实施例中，所述基于惯性测量单元测量得到的摄像头的线性加速度和对所述摄像头的姿态解算结果，确定所述摄像头的运动速度的步骤包括：
确定所述姿态参数的目标矩阵；
根据所述角速度确定摄像头的重力加速度；
根据所述目标矩阵、所述重力加速度和所述线性加速度确定所述摄像头的运动速度。
在一实施例中，所述确定所述预设时长中，所述摄像头的拍摄视频内的待检测目标的检测位移的步骤包括：
确定所述摄像头的拍摄视频内，待检测目标的目标结构的实际长度，和所述目标结构的像素长度；
根据所述实际距离和所述像素长度确定尺度因子；
确定预设时长内所述待检测目标移动的像素距离；
根据所述尺度因子和所述像素距离确定所述待检测目标对应的检测位移。
为实现上述目的，一种视觉测速装置，所述视觉测速装置包括：
确定模块，用于基于惯性测量单元测量得到的摄像头的线性加速度和对所述摄像头的姿态解算结果，确定所述摄像头的运动速度；
第一计算模块，用于根据预设时长和所述运动速度确定所述摄像头的补偿位移；
第二计算模块，用于确定所述预设时长中，所述摄像头的拍摄视频内的待检测目标的检测位移；
测速模块，用于根据所述补偿位移和所述检测位移确定实际位移，并根据所述预设时长和所述实际位移确定所述待检测目标的实际速度。
为实现上述目的，本发明还提供一种视觉测速设备，所述视觉测速设备包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的视觉测速程序，所述视觉测速程序被所述处理器执行时实现如上所述的视觉测速方法的各个步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有视觉测速程序，所述视觉测速程序被处理器执行时实现如上所述的视觉测速方法的各个步骤。
本发明提供的一种视觉测速方法、装置、设备和存储介质，基于惯性测量单元测量得到的摄像头的线性加速度和对摄像头的姿态解算结果，确定摄像头的运动速度；根据预设时长和运动速度确定补偿位移；确定预设时长中，摄像头的拍摄视频内的待检测目标的检测位移；根据补偿位移和检测位移确定实际位移，并根据预设时长和实际位移确定待检测目标的实际速度。通过确定摄像头的补偿位移和待检测目标的检测位移，并根据补偿位移和检测位移确定待检测目标的实际位移和实际速度，避免由摄像头运动引发的测速误差，提高了待检测目标在实际运动过程中的实际位移和实际速度的准确度。
附图说明
图1为本发明实施例涉及的视觉测速设备的硬件结构示意图；
图2为本发明视觉测速方法的第一实施例的流程示意图；
图3为本发明视觉测速方法的第二实施例的流程示意图；
图4为本发明视觉测速方法的第三实施例的步骤S30的细化流程示意图；
图5为本发明视觉测速装置的逻辑结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：基于惯性测量单元测量得到的摄像头的线性加速度和对摄像头的姿态解算结果，确定摄像头的运动速度；根据预设时长和运动速度确定补偿位移；确定预设时长中，摄像头的拍摄视频内的待检测目标的检测位移；根据补偿位移和检测位移确定实际位移，并根据预设时长和实际位移确定待检测目标的实际速度。
通过确定摄像头的补偿位移和待检测目标的检测位移，并根据补偿位移和检测位移确定待检测目标的实际位移和实际速度，避免由摄像头运动引发的测速误差，提高了待检测目标在实际运动过程中的实际位移和实际速度的准确度。
作为一种实现方案，视觉测速设备可以如图1所示。
本发明实施例方案涉及的是视觉测速设备，视觉测速设备包括：处理器101，例如CPU，存储器102，通信总线103。其中，通信总线103用于实现这些组件之间的连接通信。
存储器102可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。如图1所示，作为一种计算机可读存储介质的存储器102中可以包括视觉测速程序；而处理器101可以用于调用存储器102中存储的视觉测速程序，并执行以下操作：
基于惯性测量单元测量得到的摄像头的线性加速度和对所述摄像头的姿态解算结果，确定所述摄像头的运动速度；
根据预设时长和所述运动速度确定所述摄像头的补偿位移；
确定所述预设时长中，所述摄像头的拍摄视频内的待检测目标的检测位移；
根据所述补偿位移和所述检测位移确定实际位移，并根据所述预设时长和所述实际位移确定所述待检测目标的实际速度。
在一实施例中，处理器101可以用于调用存储器102中存储的视觉测速程序，并执行以下操作：
获取惯性测量单元的线性加速度和角加速度；
根据所述线性加速度和所述角加速度，确定所述摄像头的线性速度和角速度；
根据所述线性速度和所述角速度确定所述摄像头的姿态参数，所述姿态解算结果包括所述姿态参数。
在一实施例中，处理器101可以用于调用存储器102中存储的视觉测速程序，并执行以下操作：
根据预设时长内的所述线性加速度进行积分运算，得到所述线性速度；
根据预设时长内的所述角加速度进行积分运算，得到所述角速度。
在一实施例中，处理器101可以用于调用存储器102中存储的视觉测速程序，并执行以下操作：
根据所述角速度确定所述摄像头的重力加速度；
根据归一化处理后的所述线性加速度和所述重力加速度确定重力误差值；
根据预设的比例系数、所述重力加速度和所述重力误差值确定修正重力加速度；
根据所述角速度和所述修正重力加速度确定所述姿态参数。
在一实施例中，处理器101可以用于调用存储器102中存储的视觉测速程序，并执行以下操作：
将归一化后的所述线性加速度与所述重力加速度进行叉乘，计算出目标误差；
根据预设时长内的目标误差进行积分运算，得到所述重力误差值。
在一实施例中，处理器101可以用于调用存储器102中存储的视觉测速程序，并执行以下操作：
确定所述姿态参数的目标矩阵；
根据所述角速度确定摄像头的重力加速度；
根据所述目标矩阵、所述重力加速度和所述线性加速度确定所述摄像头的运动速度。
在一实施例中，处理器101可以用于调用存储器102中存储的视觉测速程序，并执行以下操作：
确定所述摄像头的拍摄视频内，待检测目标的目标结构的实际长度，和所述目标结构的像素长度；
根据所述实际距离和所述像素长度确定尺度因子；
确定预设时长内所述待检测目标移动的像素距离；
根据所述尺度因子和所述像素距离确定所述待检测目标对应的检测位移。
基于上述视觉测速设备的硬件构架，提出本发明视觉测速方法的实施例。
参照图2，图2为本发明视觉测速方法的第一实施例，所述视觉测速方法包括以下步骤：
步骤S10，基于惯性测量单元测量得到的摄像头的线性加速度和对所述摄像头的姿态解算结果，确定所述摄像头的运动速度；
具体的，摄像头设置有IMU(Inertial Measurement Unit,惯性测量单元)，摄像头在拍摄运动目标时，由于摄像头本身的运动，仅仅由视觉测量得到的运动目标的移动距离存在偏移量，可以借助惯性测量单元来进行摄像头的运动补偿，其中，惯性测量单元由加速度计和陀螺仪组成，加速度计用于测量线性加速度，陀螺仪用于测量角加速度。根据惯性测量单元的线性加速度和角加速度得到摄像头的姿态解算结果，其中，姿态解算结果为摄像头的姿态参数，姿态参数可以用欧拉角、方向余弦矩阵或者四元数表示。由于摄像头缺乏深度信息，可以通过提高视频采样率来对相邻帧的摄像头位移进行积分确定补偿位移。
基于惯性测量单元的姿态解算结果以及摄像头对应的线性加速度，确定摄像头的运动速度，其中，姿态解算结果包括第二姿态参数，示例性的，确定第二姿态参数
Figure BDA0003660325500000071
的反向旋转余弦矩阵R，即目标矩阵，其中，R的求解可有
Figure BDA0003660325500000072
的逆q′计算余弦矩阵得到；将线性加速度a转换到地理坐标系下，并减去重力加速度g，最后积分得到摄像头运动速度Vc,k，如下所示：
Vc,k＝Vc,k-1+(Ra-g)Δt；
步骤S20，根据预设时长和所述运动速度确定所述摄像头的补偿位移；
具体的，补偿位移为摄像头的运动位移，根据预设时长和运动速度确定补偿位移，可选的，将摄像头运动速度Vc,k进行时间积分，得到摄像头的位移Dc，示例性的，如下所示：
Dc＝∫Vc,kΔt。
步骤S30，确定所述预设时长中，所述摄像头的拍摄视频内的待检测目标的检测位移；
具体的，待检测目标为摄像头拍摄的运动目标，或者是用户选定的运动目标；检测位移为摄像头拍摄的待检测目标的位移ds,k。确定预设时长内检测目标对应的检测位移，可选的，通过神经网络模型的训练得到检测模型，将摄像头拍摄的视频帧输入检测模型，得到预设时长内待检测目标对应的检测位移。
步骤S40，根据所述补偿位移和所述检测位移确定实际位移，并根据所述预设时长和所述实际位移确定所述待检测目标的实际速度。
具体的，根据检测位移和补偿位移确定实际位移，并根据预设时长和实际位移确定待检测目标的实际速度。可选的，根据检测位移和补偿位移的和值确定实际位移，根据实际位移和预设时长的比值确定待检测目标的实际速度，示例性的，如下公式所示：
P＝Dc+ds,k；
Figure BDA0003660325500000081
其中，P为实际位移；Vk为实际速度；ds,k为检测位移；Dc为补偿位移。
可选的，摄像头的位移与运动员的位移可由k和k+1时刻刚性参照物即目标结构(Li,k,Li,k+1)的像素比例s′作为尺度因子，得到运动目标的实际位移P和实际速度Vk，如下公式所示：
P＝s′Dc+ds,k；
Figure BDA0003660325500000082
其中，ds,k为检测位移；Dc为补偿位移。
在本实施例的技术方案中，基于惯性测量单元测量得到的摄像头的线性加速度和对摄像头的姿态解算结果，确定摄像头的运动速度；根据预设时长和运动速度确定补偿位移；确定预设时长中，摄像头的拍摄视频内的待检测目标的检测位移；根据补偿位移和检测位移确定实际位移，并根据预设时长和实际位移确定待检测目标的实际速度。通过确定摄像头的补偿位移和待检测目标的检测位移，并根据补偿位移和检测位移确定待检测目标的实际位移和实际速度，避免由摄像头运动引发的测速误差，提高了待检测目标在实际运动过程中的实际位移和实际速度的准确度。
参照图3，图3为本发明视觉测速方法的第二实施例，基于第一实施例，所述步骤S10之前，还包括：
步骤S50，获取惯性测量单元的线性加速度和角加速度；
步骤S60，根据所述线性加速度和所述角加速度，确定所述摄像头的线性速度和角速度；
步骤S70，根据所述线性速度和所述角速度确定所述摄像头的姿态参数，所述姿态解算结果包括所述姿态参数。
具体的，获取惯性测量单元测量得到的线性加速度(ax,ay,az)和角加速度(wx,wy,wz)，根据线性加速度和角加速度，确定摄像头的线性速度和角速度，可以是根据预设时长内的线性加速度进行积分运算，得到线性速度；根据预设时长内的角加速度进行积分运算，得到角速度。
线性加速度(ax,ay,az)和角加速度(wx,wy,wz)为离散的观测值，在视频帧的采样周期Δt内，摄像头的线性速度v和角速度a的四元数q可以由观测值的离散积分得到，示例性，采用中值法求解，如下公式所示：
Figure BDA0003660325500000091
Figure BDA0003660325500000092
其中，
Figure BDA0003660325500000093
和
Figure BDA0003660325500000094
分别为k时刻的线性速度和角速度，ak+1和wk+1分别为[k，k+1]时间段Δt内的平均线性加速度和平均角加速度，
Figure BDA0003660325500000095
和
Figure BDA0003660325500000096
在初始状态k＝0时刻设置为[0,0,0]和[1,0,0,0]。
Figure BDA0003660325500000097
Figure BDA0003660325500000098
其中，ak+1和wk+1分别为[k，k+1]时间段Δt内的平均线性加速度和平均角加速度，
Figure BDA0003660325500000099
分别为k和k+1时刻在IMU坐标系下的线性加速度和角加速度，
Figure BDA00036603255000000910
为陀螺仪在k时刻的角速度的漂移量，即角速度偏置，
Figure BDA00036603255000000911
为陀螺仪在k时刻的重力方向漂移量，即重力加速度偏置，可预先通过离线标定得到，gw为重力加速度。
对加速度计的观测值进行归一化处理使得a的取值范围为[0,1]，如下公式所示：
Figure BDA0003660325500000101
Figure BDA0003660325500000102
根据角速度确定摄像头的重力加速度，通过方向余弦矩阵与四元数的等价变换公式计算得到初始矩阵DCM：
Figure BDA0003660325500000103
其中，角速度为
Figure BDA0003660325500000104
根据初始矩阵确定摄像头的重力加速度，根据重力方向垂直于地心，即重力分量为z轴分量，方向余弦矩阵DCM中每一行代表一个方向轴(x，y，z)，可以将四元数
Figure BDA0003660325500000105
的等效余弦矩阵中的重力分量gi将当前姿态的重力在三个轴上的分量分离出来，重力加速度如下所示：
gix＝2(q1q3-q0q2)；
giy＝2(q0q1-q2q3)；
giz＝1-2(q1q1+q2q2)。
根据归一化处理后的线性加速度和重力加速度确定重力误差值，可选的，将归一化后的线性加速度与重力加速度进行叉乘，计算出目标误差；根据预设时长内的目标误差进行积分运算，得到重力误差值。示例性的，将归一化后的加速度值a与分离出来的重力加速度gi分离进行叉乘，计算出重力误差Vdeltak，如下所示：
Figure BDA0003660325500000106
将重力误差在Δt时间内进行积分运算，得到重力误差值Vdelta。
根据预设的比例系数、重力加速度和重力误差值确定修正重力加速度，可选的，将重力误差值Vdelta累加到重力加速度gi上进行误差消除，得到
Figure BDA0003660325500000107
如下公式所示：
Figure BDA0003660325500000108
其中，
Figure BDA0003660325500000109
表示中间误差，gi表示重力加速度，Vdelta表示重力误差值，Ki表示比例系数，Ki可在设备使用前实验调参得到，在实际场景中可用0来简化误差。
将上述计算的中间误差进行比例运算得到修正重力加速度g～i，
Figure BDA0003660325500000111
其中，
Figure BDA0003660325500000112
表示修正重力加速度；
Figure BDA0003660325500000113
表示中间误差，Vdelta表示重力误差值，Kp为比例系数，Kp可在设备使用前实验调参得到，在实际场景中可用0来简化误差。
根据角速度和修正重力加速度确定姿态参数，由于旋转矩阵是正交矩阵，因此修正重力加速度
Figure BDA0003660325500000114
的模为1，用四元数来表示即为
Figure BDA0003660325500000115
最后，将IMU的姿态进行根据修正重力加速度
Figure BDA0003660325500000116
进行旋转更新，得到最终的姿态参数
Figure BDA0003660325500000117
姿态四元数的旋转可以将两个四元数进行叉乘运算，如下公式所示：
Figure BDA0003660325500000118
Figure BDA0003660325500000119
Figure BDA00036603255000001110
Figure BDA00036603255000001111
可选的，基于惯性测量单元的姿态解算结果以及摄像头对应的线性加速度确定摄像头的运动速度，确定姿态参数的目标矩阵；示例性的，根据姿态解算结果确定姿态参数
Figure BDA00036603255000001112
的反向旋转余弦矩阵R，即目标矩阵，其中，R的求解可有
Figure BDA00036603255000001113
的逆q′计算余弦矩阵得到，示例性的，目标矩阵R如下所示：
Figure BDA00036603255000001114
根据角速度确定摄像头的重力加速度，如上所述，此处不再赘述；根据目标矩阵、重力加速度和线性加速度确定摄像头的运动速度，将线性加速度a转换到地理坐标系下，并减去重力加速度g，最后积分得到摄像头运动速度Vc,k。示例性的，如下公式所示：
Vc,k＝Vc,k-1+(Ra-g)Δt；
其中，Vc,k表示摄像头在k时刻的运动速度，Vc,k-1表示摄像头在k-1时刻的运动速度，R为目标矩阵，a为线性加速度，g为重力加速度。
在本实施例的技术方案中，根据角速度确定摄像头的重力加速度；根据归一化处理后的线性加速度和重力加速度确定重力误差值；根据预设的比例系数、重力加速度和重力误差值确定修正重力加速度；根据角速度和修正重力加速度确定姿态参数。通过惯性测量单元对摄像头进行姿态解算，得到姿态解算结果，避免由摄像头运动引发的测速误差，提高待检测目标在实际运动过程中的实际位移和实际速度的准确度。
参照图4，图4为本发明视觉测速方法的第三实施例，基于第一或第二实施例，所述步骤S30包括：
步骤S31，确定所述摄像头的拍摄视频内，待检测目标的目标结构的实际长度，和所述目标结构的像素长度；
步骤S32，根据所述实际距离和所述像素长度确定尺度因子；
步骤S33，确定预设时长内所述待检测目标移动的像素距离；
步骤S34，根据所述尺度因子和所述像素距离确定所述待检测目标对应的检测位移。
具体的，为解决视觉定位存在尺度丢失的问题，确定摄像头的拍摄视频内，待检测目标的目标结构的实际长度，和目标结构的像素长度。在运动过程中，待检测目标始终在摄像头的视野中，可以选择待检测目标的结构中的刚性结构作为尺度参照物即目标结构。利用目标检测算法，可通过检测目标结构的端点P1和P2，来获得像素长度Li，然后根据该目标结构的实际距离Lp，根据实际距离和像素长度确定尺度因子，示例性的，如下公式所示：
Figure BDA0003660325500000121
可选的，在百米短跑项目中，通过目标检测算法，如目前开源的RetinaNet，对运动员进行目标检测，然后对目标进行人体骨骼关键点检测，如开源的OpenPose，使用径赛数据通过人工标注骨骼关键点来进行网络微调，由于人体骨骼为刚性结构，因此可以选择上臂/前臂等作为目标结构，并确定目标结构的实际长度。
可选的，在高台滑雪项目中，通过目标检测算法，如目前开源的RetinaNet，对运动员进行目标检测，然后对目标进行滑雪板检测，如开源的OpenPose，使用滑雪板数据通过人工标注端点来进行网络微调，由于滑雪板为刚性结构，因此可以选择滑雪板作为目标结构，并确定目标结构的实际长度。
确定预设时长内待检测目标移动的像素距离；根据尺度因子和像素距离确定待检测目标对应的检测位移。可选的，确定预设时长内待处理视频的不同视频帧对应的待检测目标的像素距离，根据所述尺度因子和各个像素距离确定所述待检测目标对应的检测位移，示例性的，使用检测框的中心点来简化待检测目标，在前后帧得到不同的像素位置(x0，y0)、(x1,y1)、…、(xi-1，yi-1)、(xi,yi),像素距离可由相邻帧的像素坐标距离来得到，最终的物理距离由像素距离乘以尺度因子：
Figure BDA0003660325500000131
在本实施例的技术方案中，确定所述摄像头的拍摄视频内，待检测目标的目标结构的实际长度，和所述目标结构的像素长度；根据所述实际距离和所述像素长度确定尺度因子；确定预设时长内所述待检测目标移动的像素距离；根据所述尺度因子和所述像素距离确定所述待检测目标对应的检测位移。通过尺度因子和像素距离，准确确定了拍摄视频内待检测目标对应的检测位移，以便于准确确定待检测目标在实际运动过程中的实际位移和实际速度。
参照图5，本发明还提供一种视觉测速装置，所述视觉测速装置包括：
确定模块100，用于基于惯性测量单元测量得到的摄像头的线性加速度和对所述摄像头的姿态解算结果，确定所述摄像头的运动速度；
第一计算模块200，用于根据预设时长和所述运动速度确定所述摄像头的补偿位移；
第二计算模块300，用于确定所述预设时长中，所述摄像头的拍摄视频内的待检测目标的检测位移；
测速模块400，用于根据所述补偿位移和所述检测位移确定实际位移，并根据所述预设时长和所述实际位移确定所述待检测目标的实际速度。
在一实施例中，在基于惯性测量单元测量得到的摄像头的线性加速度和对所述摄像头的姿态解算结果，确定所述摄像头的运动速度之前，所述确定模块100具体用于：
获取惯性测量单元的线性加速度和角加速度；
根据所述线性加速度和所述角加速度，确定所述摄像头的线性速度和角速度；
根据所述线性速度和所述角速度确定所述摄像头的姿态参数，所述姿态解算结果包括所述姿态参数。
在一实施例中，在根据所述线性加速度和所述角加速度，确定所述摄像头的线性速度和角速度方面，所述确定模块100具体用于：
根据预设时长内的所述线性加速度进行积分运算，得到所述线性速度；
根据预设时长内的所述角加速度进行积分运算，得到所述角速度。
在一实施例中，在根据所述线性速度和所述角速度确定所述摄像头的姿态参数方面，所述确定模块100具体用于：
根据所述角速度确定所述摄像头的重力加速度；
根据归一化处理后的所述线性加速度和所述重力加速度确定重力误差值；
根据预设的比例系数、所述重力加速度和所述重力误差值确定修正重力加速度；
根据所述角速度和所述修正重力加速度确定所述姿态参数。
在一实施例中，在根据归一化处理后的所述线性加速度和所述重力加速度确定重力误差值方面，所述确定模块100具体用于：
将归一化后的所述线性加速度与所述重力加速度进行叉乘，计算出目标误差；
根据预设时长内的目标误差进行积分运算，得到所述重力误差值。
在一实施例中，在基于惯性测量单元的姿态解算结果以及摄像头对应的线性加速度，确定所述摄像头的运动速度方面，所述确定模块100具体用于：
确定所述姿态参数的目标矩阵；
根据所述角速度确定摄像头的重力加速度；
根据所述目标矩阵、所述重力加速度和所述线性加速度确定所述摄像头的运动速度。
在一实施例中，在确定所述预设时长中，所述摄像头的拍摄视频内的待检测目标的检测位移方面，所述第一计算模块200具体用于：
确定所述摄像头的拍摄视频内，待检测目标的目标结构的实际长度，和所述目标结构的像素长度；
根据所述实际距离和所述像素长度确定尺度因子；
确定预设时长内所述待检测目标移动的像素距离；
根据所述尺度因子和所述像素距离确定所述待检测目标对应的检测位移。
本发明还提供一种视觉测速设备，所述视觉测速设备包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的视觉测速程序，所述视觉测速程序被所述处理器执行时实现如上实施例所述的视觉测速方法的各个步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有视觉测速程序，所述视觉测速程序被处理器执行时实现如上实施例所述的视觉测速方法的各个步骤。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、系统、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、系统、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、系统、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例系统可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，停车管理设备，空调器，或者网络设备等)执行本发明各个实施例所述的系统。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视觉测速方法，其特征在于，所述视觉测速方法包括：
基于惯性测量单元测量得到的摄像头的线性加速度和对所述摄像头的姿态解算结果，确定所述摄像头的运动速度；
根据预设时长和所述运动速度确定所述摄像头的补偿位移；
确定所述预设时长中，所述摄像头的拍摄视频内的待检测目标的检测位移；
根据所述补偿位移和所述检测位移确定实际位移，并根据所述预设时长和所述实际位移确定所述待检测目标的实际速度。
2.如权利要求1所述的视觉测速方法，其特征在于，所述基于惯性测量单元测量得到的摄像头的线性加速度和对所述摄像头的姿态解算结果，确定所述摄像头的运动速度的步骤之前，还包括：
获取惯性测量单元的线性加速度和角加速度；
根据所述线性加速度和所述角加速度，确定所述摄像头的线性速度和角速度；
根据所述线性速度和所述角速度确定所述摄像头的姿态参数，所述姿态解算结果包括所述姿态参数。
3.如权利要求2所述的视觉测速方法，其特征在于，所述根据所述线性加速度和所述角加速度，确定所述摄像头的线性速度和角速度的步骤包括：
根据预设时长内的所述线性加速度进行积分运算，得到所述线性速度；
根据预设时长内的所述角加速度进行积分运算，得到所述角速度。
4.如权利要求2所述的视觉测速方法，其特征在于，所述根据所述线性速度和所述角速度确定所述摄像头的姿态参数的步骤包括：
根据所述角速度确定所述摄像头的重力加速度；
根据归一化处理后的所述线性加速度和所述重力加速度确定重力误差值；
根据预设的比例系数、所述重力加速度和所述重力误差值确定修正重力加速度；
根据所述角速度和所述修正重力加速度确定所述姿态参数。
5.如权利要求4所述的视觉测速方法，其特征在于，所述根据归一化处理后的所述线性加速度和所述重力加速度确定重力误差值的步骤包括：
将归一化后的所述线性加速度与所述重力加速度进行叉乘，计算出目标误差；
根据预设时长内的目标误差进行积分运算，得到所述重力误差值。
6.如权利要求2所述的视觉测速方法，其特征在于，所述基于惯性测量单元测量得到的摄像头的线性加速度和对所述摄像头的姿态解算结果，确定所述摄像头的运动速度的步骤包括：
确定所述姿态参数的目标矩阵；
根据所述角速度确定摄像头的重力加速度；
根据所述目标矩阵、所述重力加速度和所述线性加速度确定所述摄像头的运动速度。
7.如权利要求1所述的视觉测速方法，其特征在于，所述确定所述预设时长中，所述摄像头的拍摄视频内的待检测目标的检测位移的步骤包括：
确定所述摄像头的拍摄视频内，待检测目标的目标结构的实际长度，和所述目标结构的像素长度；
根据所述实际距离和所述像素长度确定尺度因子；
确定预设时长内所述待检测目标移动的像素距离；
根据所述尺度因子和所述像素距离确定所述待检测目标对应的检测位移。
8.一种视觉测速装置，其特征在于，所述视觉测速装置包括：
确定模块，用于基于惯性测量单元测量得到的摄像头的线性加速度和对所述摄像头的姿态解算结果，确定所述摄像头的运动速度；
第一计算模块，用于根据预设时长和所述运动速度确定所述摄像头的补偿位移；
第二计算模块，用于确定所述预设时长中，所述摄像头的拍摄视频内的待检测目标的检测位移；
测速模块，用于根据所述补偿位移和所述检测位移确定实际位移，并根据所述预设时长和所述实际位移确定所述待检测目标的实际速度。
9.一种视觉测速设备，其特征在于，所述视觉测速设备包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的视觉测速程序，所述视觉测速程序被所述处理器执行时实现如权利要求1-7任一项所述的视觉测速方法的各个步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有视觉测速程序，所述视觉测速程序被处理器执行时实现如权利要求1-7任一项所述的视觉测速方法的各个步骤。
CN202210571121.6A 2022-05-24 2022-05-24 视觉测速方法、装置、设备和存储介质 Pending CN115049697A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210571121.6A CN115049697A (zh) 2022-05-24 2022-05-24 视觉测速方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210571121.6A CN115049697A (zh) 2022-05-24 2022-05-24 视觉测速方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN115049697A true CN115049697A (zh) 2022-09-13

Family

ID=83158724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210571121.6A Pending CN115049697A (zh) 2022-05-24 2022-05-24 视觉测速方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN115049697A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116674205A (zh) * 2023-08-01 2023-09-01 易加三维增材技术(杭州)有限公司 位移控制方法、装置、非易失性存储介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116674205A (zh) * 2023-08-01 2023-09-01 易加三维增材技术(杭州)有限公司 位移控制方法、装置、非易失性存储介质及电子设备
CN116674205B (zh) * 2023-08-01 2023-12-15 易加三维增材技术(杭州)有限公司 位移控制方法、装置、非易失性存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN109764880B (zh) 紧耦合车辆轮子编码器数据的视觉惯性测程方法及系统
KR102017404B1 (ko) 9축 mems 센서에 기반하여 농기계의 전-자세 각도를 갱신하는 방법
JP4876204B2 (ja) 小型姿勢センサ
CN106814753B (zh) 一种目标位置矫正方法、装置及系统
CN110956665B (zh) 车辆拐弯轨迹双向计算方法、系统、装置
CN109059907B (zh) 轨迹数据处理方法、装置、计算机设备和存储介质
CN106709223B (zh) 基于惯性引导采样的视觉imu方向估计方法
CN112815939B (zh) 移动机器人的位姿估计方法及计算机可读存储介质
CN108036785A (zh) 一种基于直接法与惯导融合的飞行器位姿估计方法
CN107490378B (zh) 一种基于mpu6050与智能手机的室内定位与导航的方法
CN110954134B (zh) 陀螺仪偏差校正方法、校正系统、电子设备及存储介质
CN108827341B (zh) 用于确定图像采集装置的惯性测量单元中的偏差的方法
CN106662443A (zh) 用于垂直轨迹确定的方法和系统
CN106709222B (zh) 基于单目视觉的imu漂移补偿方法
CN106813679B (zh) 运动物体的姿态估计的方法及装置
CN113188505B (zh) 姿态角度的测量方法、装置、车辆及智能臂架
CN103900473A (zh) 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法
JP2019120587A (ja) 測位システム及び測位方法
CN115049697A (zh) 视觉测速方法、装置、设备和存储介质
CN111750896A (zh) 云台标定方法、装置、电子设备及存储介质
CN114777768A (zh) 一种卫星拒止环境高精度定位方法、系统及电子设备
JP2012212234A (ja) 自律測位に用いる重力ベクトルを補正する携帯装置、プログラム及び方法
JP2009186244A (ja) 傾斜角度推定システム、相対角度推定システム及び角速度推定システム
CN109674480B (zh) 一种基于改进互补滤波的人体运动姿态解算方法
US11410329B2 (en) Information processing device, method performed thereby, and non-transitory computer readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination