CN116630374B - 目标对象的视觉跟踪方法、装置、存储介质及设备 - Google Patents
目标对象的视觉跟踪方法、装置、存储介质及设备 Download PDFInfo
- Publication number
- CN116630374B CN116630374B CN202310908778.1A CN202310908778A CN116630374B CN 116630374 B CN116630374 B CN 116630374B CN 202310908778 A CN202310908778 A CN 202310908778A CN 116630374 B CN116630374 B CN 116630374B
- Authority
- CN
- China
- Prior art keywords
- target object
- parameter
- chassis
- tracking
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 230000033001 locomotion Effects 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims description 38
- 238000005070 sampling Methods 0.000 claims description 31
- 238000013507 mapping Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 3
- 230000001276 controlling effect Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000007689 inspection Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Abstract
本申请公开了一种目标对象的视觉跟踪方法、装置、存储介质及设备，属于图像处理技术领域。所述方法包括：从云台相机拍摄的视频流中提取图像帧；对图像帧中的目标对象进行跟踪，得到跟踪结果，跟踪结果用于体现目标对象在图像帧中的位置；根据跟踪结果生成云台相机的姿态参数，根据姿态参数调节云台相机的姿态，以使运动的目标对象始终位于云台相机的取景框中的预定位置，姿态参数包括偏航角参数；根据姿态参数和跟踪结果生成底盘的运动参数，根据运动参数控制底盘跟随目标对象运动。本申请可以控制底盘跟随目标对象运动的目的，保证了目标对象始终位于云台相机的视角范围内，实现对目标对象的持续跟踪。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种目标对象的视觉跟踪方法、装置、存储介质及设备。
背景技术
视觉跟踪是指对图像序列中的目标对象进行检测、提取、识别和跟踪，以获得目标对象的运动参数，再进行下一步的处理与分析，实现对目标对象的行为理解，从而完成更高一级的检测任务。其中，运动参数可以是位置、速度、加速度和运动轨迹等。
相关技术中，采集图像序列的相机通常安装在建筑物的固定位置处，使得我们只能对固定视角范围内的目标对象进行视觉跟踪，若目标对象因为运动而离开该视角范围，则无法继续对目标对象进行视觉跟踪。
发明内容
本申请提供了一种目标对象的视觉跟踪方法、装置、存储介质及设备，用于解决目标对象离开安装在建筑物的固定位置处的相机的视角范围后，无法继续对目标对象进行视觉跟踪的问题。所述技术方案如下：
一方面，提供了一种目标对象的视觉跟踪方法，所述方法包括：
从云台相机拍摄的视频流中提取图像帧；
对所述图像帧中的目标对象进行跟踪，得到跟踪结果；
根据所述跟踪结果生成所述云台相机的姿态参数，根据所述姿态参数调节所述云台相机的姿态，以使运动的所述目标对象始终位于所述云台相机的取景框中的预定位置；
根据所述姿态参数和所述跟踪结果生成底盘的运动参数，根据所述运动参数控制所述底盘跟随所述目标对象运动；
所述根据所述姿态参数和所述跟踪结果生成所述底盘的运动参数，根据所述运动参数控制底盘跟随所述目标对象运动，包括：根据所述姿态参数生成所述底盘的转向角参数；根据所述跟踪结果生成所述底盘的速度参数；根据所述转向角参数和所述速度参数控制所述底盘跟随所述目标对象运动；
所述根据所述姿态参数生成所述底盘的转向角参数，包括：从所述姿态参数中获取所述云台相机的偏航角参数；根据预设的非线性函数将所述偏航角参数转换为所述底盘的转向角参数；
所述根据预设的非线性函数将所述偏航角参数转换为所述底盘的转向角参数，包括：所述预设的非线性函数为双曲正切函数，对所述云台相机的偏航角范围进行归一化，根据归一化后的偏航角范围和所述底盘的转向角范围生成映射关系，所述映射关系表示转向角角度与偏航角角度的归一化数值之间的关系；根据所述偏航角参数计算所述双曲正切函数中的参数z的表达式；根据所述参数z的表达式和所述映射关系生成所述底盘的转向角参数。
在一种可能的实现方式中，所述根据所述跟踪结果生成所述底盘的速度参数，包括：
当所述跟踪结果表示所述目标对象在所述图像帧中的边界框内时，从所述图像帧中获取所述边界框内的像素区域；
计算所述边界框内的像素区域与所述图像帧的像素区域的百分比；
根据所述百分比生成所述底盘的速度参数。
在一种可能的实现方式中，所述根据所述百分比生成所述底盘的速度参数，包括：
获取预设的百分比阈值；
检测所述百分比是否大于所述百分比阈值；
若所述百分比大于所述百分比阈值，则生成数值为零的速度参数；
若所述百分比小于或等于所述百分比阈值，则生成数值大于零的速度参数。
在一种可能的实现方式中，所述方法还包括：
当根据所述跟踪结果确定丢失所述目标对象时，获取所述目标对象的模板图像，所述模板图像是在丢失所述目标对象之前，对所述目标对象的边界框内的图像区域进行提取得到的；
获取所述云台相机对当前环境进行旋转式扫描得到的画面；
从所述画面中提取与所述模板图像的相似度最高的图像区域作为所述目标对象的模板图像；
根据提取到的所述模板图像继续对所述目标对象进行跟踪。
在一种可能的实现方式中，所述方法还包括：
从多个图像帧中采样预定数量的采样图像；
根据相邻两张采样图像计算像素坐标距离差值，所述像素坐标距离差值表示在相邻两个采样时刻跟踪到的两个边界框的中心点之间的距离差值；
根据所述采样图像和所述目标对象的模板图像计算图像相似度值，所述图像相似度值表示在采样时刻和提取模板图像时刻跟踪到的两个边界框内的图像区域之间的相似度；
根据所述像素坐标距离差值和所述图像相似度值计算所述目标对象的丢失置信度，所述丢失置信度等于丢失目标参数和相似目标参数的加权和，所述丢失目标参数是将像素坐标距离差值与第一设定阈值进行比较，并根据比较结果的占比来设置的，所述相似目标参数是将图像相似度值与第二设定阈值进行比较，并根据比较结果的占比来设置的；
根据所述丢失置信度判断是否丢失所述目标对象。
在一种可能的实现方式中，所述对所述图像帧中的目标对象进行跟踪，得到跟踪结果，包括：
当对第i个图像帧中的目标对象进行跟踪时，获取第i-1个图像帧的跟踪结果，所述跟踪结果表示所述目标对象在所述图像帧中的边界框，i≥2；
利用目标跟踪算法基于所述第i-1个图像帧的跟踪结果和所述第i个图像帧预测所述第i个图像帧的跟踪结果；
将i更新为i+1，继续对第i个图像帧中的目标对象进行跟踪。
在一种可能的实现方式中，所述方法还包括：
对第一个图像帧进行目标检测，从检测到的至少一个对象中选择待跟踪的目标对象；
提取所述目标对象的边界框内的图像区域为模板图像；
将所述目标对象的边界框确定为第一个图像帧的跟踪结果。
一方面，提供了一种目标对象的视觉跟踪装置，所述装置包括：
图像帧提取模块，用于从云台相机拍摄的视频流中提取图像帧；
视觉跟踪模块，用于对所述图像帧中的目标对象进行跟踪，得到跟踪结果，所述跟踪结果用于体现所述目标对象在所述图像帧中的位置；
姿态调节模块，用于根据所述跟踪结果生成所述云台相机的姿态参数，根据所述姿态参数调节所述云台相机的姿态，以使运动的所述目标对象始终位于所述云台相机的取景框中的预定位置，所述姿态参数包括偏航角参数；
底盘跟踪模块，用于根据所述姿态参数和所述跟踪结果生成底盘的运动参数，根据所述运动参数控制所述底盘跟随所述目标对象运动；
所述底盘跟踪模块，还用于：根据所述姿态参数生成所述底盘的转向角参数；根据所述跟踪结果生成所述底盘的速度参数；根据所述转向角参数和所述速度参数控制所述底盘跟随所述目标对象运动；
所述底盘跟踪模块，还用于：从所述姿态参数中获取所述云台相机的偏航角参数；根据预设的非线性函数将所述偏航角参数转换为所述底盘的转向角参数；
所述底盘跟踪模块，还用于：所述预设的非线性函数为双曲正切函数，对所述云台相机的偏航角范围进行归一化，根据归一化后的偏航角范围和所述底盘的转向角范围生成映射关系，所述映射关系表示转向角角度与偏航角角度的归一化数值之间的关系；根据所述偏航角参数计算所述双曲正切函数中的参数z的表达式；根据所述参数z的表达式和所述映射关系生成所述底盘的转向角参数。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的目标对象的视觉跟踪方法。
一方面，提供了一种视觉跟踪设备，所述视觉跟踪设备包括云台相机、底盘、处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的目标对象的视觉跟踪方法。
本申请提供的技术方案的有益效果至少包括：
在跟踪目标对象的过程中，先将目标对象的运动情况转化为云台相机的姿态变化，再根据云台相机的姿态变化联动控制底盘运动，使得底盘与云台相机之间的相对转动角度为零，从而达到控制底盘跟随目标对象运动的目的。这样，可以保证目标对象始终位于云台相机的视角范围内，实现对目标对象的持续跟踪。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是一种视觉跟踪设备的结构示意图；
图2是一种视觉跟踪设备的软件栈框架图；
图3是目标对象的视觉跟踪方法的方法流程图；
图4是目标对象的视觉跟踪方法的方法流程图；
图5是tanh函数的示意图；
图6是目标对象的视觉跟踪装置的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本实施例公开了一种视觉跟踪设备，该视觉跟踪设备包括云台相机、底盘和控制器，如图1所示。云台相机可以是一台三轴云台相机，绕三轴旋转可以形成俯仰角（pitch）、偏航角（yaw）和翻滚角（roll）。本实施例中，可以通过调节俯仰角和偏航角的角度来调节云台相机的姿态。云台相机的变焦倍数可以根据业务需求确定，比如变焦倍数为10倍，本实施例中不作限定。底盘可以是任意一款PIX底盘。控制器是一种算力平台，可以理解为常规自动驾驶套件中的工控机，本实施例中将英伟达的Jetson AGX Xavier嵌入式开发板套件作为算力平台。
云台相机和底盘分别与控制器相连。具体的，底盘上设有支架，云台相机安装在支架上，且云台相机的正面朝前。云台相机的串口连接到控制器，且云台相机的串口数据通过串口传输给控制器。云台相机的HDMI（High Definition Multimedia Interface，高清多媒体接口）接口通过HDMI转USB（Universal Serial Bus，通用串行总线）3.0的采集卡设备连接到控制器，且云台相机的图像数据通过HDMI接口传输给控制器。底盘的CAN（ControllerArea Network，控制器局域网络）接口通过CAN线连接到控制器的CAN接口。
本实施例公开了一种视觉跟踪设备的软件栈框架图，如图2所示，该软件栈框架包括硬件、中间件和软件。其中，硬件包括PIX底盘和云台相机，中间件包括PIX-ROS驱动和相机ROS驱动，软件包括多个模块。PIX底盘与PIX-ROS驱动之间传输CAN数据，PIX-ROS驱动与软件之间传输相机云台的偏航角参数、转向角参数和速度参数；云台相机与相机ROS驱动之间传输串口指令数据、RGB图像数据和串口数据，相机ROS驱动与软件之间传输RGB图像数据、偏航角参数、转向角参数和速度参数。
请参考图3，其示出了本申请一个实施例提供的目标对象的视觉跟踪方法的方法流程图，该目标对象的视觉跟踪方法可以应用于图1所示的控制器中。该目标对象的视觉跟踪方法，可以包括：
步骤301，从云台相机拍摄的视频流中提取图像帧。
云台相机将针对当前环境拍摄到的视频流实时发送给控制器，控制器按照预定的采样频率从该视频流中采样图像帧，对得到的每个图像帧进行处理。
步骤302，对图像帧中的目标对象进行跟踪，得到跟踪结果。
控制器可以从一个图像帧中检测出目标对象，再在后续采样得到的图像帧中对该目标对象进行跟踪，得到跟踪结果。其中，跟踪结果用于体现目标对象在图像帧中的位置，具体可以是目标对象在图像帧中的边界框。
步骤303，根据跟踪结果生成云台相机的姿态参数，根据姿态参数调节云台相机的姿态，以使运动的目标对象始终位于云台相机的取景框中的预定位置。
姿态参数包括偏航角角度，还可以包括俯仰角角度。
预定位置是预先设置的位置，比如居中位置、左侧位置、右侧位置等。为了保证跟踪效果，可以将预定位置设置为居中位置。
步骤304，根据姿态参数和跟踪结果生成底盘的运动参数，根据运动参数控制底盘跟随目标对象运动。
运动参数包括转向角角度和速度参数，转向角角度用于控制底盘的转向，速度参数用于控制底盘的速度。
综上所述，本申请实施例提供的目标对象的视觉跟踪方法，在跟踪目标对象的过程中，先将目标对象的运动情况转化为云台相机的姿态变化，再根据云台相机的姿态变化联动控制底盘运动，使得底盘与云台相机之间的相对转动角度为零，从而达到控制底盘跟随目标对象运动的目的。这样，可以保证目标对象始终位于云台相机的视角范围内，实现对目标对象的持续跟踪。
请参考图4，其示出了本申请一个实施例提供的目标对象的视觉跟踪方法的方法流程图，该目标对象的视觉跟踪方法可以应用于图1所示的控制器中。该目标对象的视觉跟踪方法，可以包括：
步骤401，从云台相机拍摄的视频流中提取图像帧。
云台相机将针对当前环境拍摄到的视频流实时发送给控制器，控制器按照预定的采样频率从该视频流中采样图像帧，对得到的每个图像帧进行处理。
步骤402，对图像帧中的目标对象进行跟踪，得到跟踪结果。
控制器可以从一个图像帧中检测出目标对象，再在后续采样得到的图像帧中对该目标对象进行跟踪，得到跟踪结果。其中，跟踪结果用于体现目标对象在图像帧中的位置，具体可以是目标对象在图像帧中的边界框。
如图2所示，以控制器中的软件包括目标检测模块、目标跟踪模块、目标丢失判断模块和巡视重检测模块为例，对跟踪流程进行说明。
在开启目标检测模块后，目标检测模块对第一个图像帧进行目标检测，从检测到的至少一个对象中选择待跟踪的目标对象；提取目标对象的边界框内的图像区域为模板图像；将目标对象的边界框确定为第一个图像帧的跟踪结果。
当目标检测模块检测到图像帧中包括一个对象时，可以将该对象默认为目标对象；当目标检测模块检测到图像帧中包括至少两个对象时，可以提示用户执行选择操作，根据用户的选择操作确定目标对象。
在确定了目标对象后，目标检测模块可以将目标对象的边界框作为跟踪结果发送给目标跟踪模块。其中，跟踪结果中除了包括边界框的位置信息，还需要包括边界框的标识（ID），以便在跟踪多个目标对象时进行区分。
目标跟踪模块接收到跟踪结果后，基于跟踪结果从图像帧中提取目标对象的边界框内的图像区域为模板图像。模板图像可以用于判断目标对象是否丢失，还可以用于在丢失目标对象后重新获取目标对象，详见下文中的描述，此处不作赘述。
当对第i个图像帧中的目标对象进行跟踪时，目标跟踪模块获取第i-1个图像帧的跟踪结果，跟踪结果表示目标对象在图像帧中的边界框，i≥2；利用目标跟踪算法基于第i-1个图像帧的跟踪结果和第i个图像帧预测第i个图像帧的跟踪结果；将i更新为i+1，继续对第i个图像帧中的目标对象进行跟踪。其中，目标跟踪算法已经非常成熟，此处不作赘述。
目标跟踪模块将每个跟踪结果发送给目标丢失判断模块，目标丢失判断模块可以根据跟踪结果和模板图像来判断是否丢失目标对象，具体判断流程如下：
（1）从多个图像帧中采样预定数量的采样图像。
以云台相机一秒拍摄30帧为例，可以选择连续的180个图像帧，以30帧的采样频率对180个图像帧进行采样，得到6张采样图像。其中，图像帧的数量、采样频率以及采样图像的数量可以根据业务需求设置，本实施例中不作限定。
（2）根据相邻两张采样图像计算像素坐标距离差值，像素坐标距离差值表示在相邻两个采样时刻跟踪到的两个边界框的中心点之间的距离差值。
目标丢失判断模块获取第一张采样图像中目标对象的边界框的中心点像素坐标，获取第二张采样图像中目标对象的边界框的中心点像素坐标，计算这两个中心点像素坐标的差值，得到一个像素坐标距离差值。同理，目标丢失判断模块继续计算后续的相邻两张采样图像对应的像素坐标距离差值，最终得到多个像素坐标距离差值。
目标丢失判断模块将像素坐标距离差值与第一设定阈值进行比较，并根据比较结果的占比来设置丢失目标参数。以采样次数6次为例，假设3个像素坐标距离差值小于第一设定阈值（比如，经验像素差值10pixels），则认为丢失目标参数PixelLost=0.5；假设3个像素坐标距离差值都大于第一设定阈值，则认为丢失目标参数PixelLost=1。
（3）根据采样图像和目标对象的模板图像计算图像相似度值，图像相似度值表示在采样时刻和提取模板图像时刻跟踪到的两个边界框内的图像区域之间的相似度。
目标丢失判断模块从第一张采样图像中提取出边界框内的图像区域，计算该图像区域与模板图像中的图像区域的相似度，得到一个图像相似度值。同理，目标丢失判断模块继续计算后续的采样图像对应的图像相似度值，最终得到多个图像相似度值。
目标丢失判断模块将图像相似度值与第二设定阈值进行比较，并根据比较结果的占比来设置相似目标参数。以采样次数6次为例，假设3个图像相似度值小于第二设定阈值（比如，经验相似度值17），则认为相似目标参数SimilarityLow=0.5；假设3个图像相似度值都大于第二设定阈值，则认为相似目标参数SimilarityLow=1。
（4）根据像素坐标距离差值和图像相似度值计算目标对象的丢失置信度。
丢失置信度等于丢失目标参数和相似目标参数的加权和。假设丢失目标参数的权重为第一系数a，相似目标参数的权重为第二系数b，则丢失置信度LostConfidence=PixelLost *a + SimilarityLow * b。其中，a和b可以是经验值，比如，a为0.2，b为0.8。
（5）根据丢失置信度判断是否丢失目标对象。
目标丢失判断模块判断丢失置信度是否大于或等于第三设定阈值，若大于或等于第三设定阈值，则确定丢失目标对象；若小于第三设定阈值，则确定未丢失目标对象。其中，第三设定阈值可以是经验值，比如0.5。
在确定丢失目标对象后，目标丢失判断模块向巡视重检测模块发送丢失信号，巡视重检测模块获取目标对象的模板图像，该模板图像是在丢失目标对象之前，对目标对象的边界框内的图像区域进行提取得到的；获取云台相机对当前环境进行旋转式扫描得到的画面；从画面中提取与模板图像的相似度最高的图像区域作为目标对象的模板图像；根据提取到的模板图像继续对目标对象进行跟踪。
在巡视重检测模块得到新的模板图像后，将该新的模板图像对应的跟踪结果发送给目标跟踪模块，目标跟踪模块根据该跟踪结果继续跟踪目标对象。
步骤403，根据跟踪结果生成云台相机的姿态参数，根据姿态参数调节云台相机的姿态，以使运动的目标对象始终位于云台相机的取景框中的预定位置。
姿态参数包括偏航角角度，还可以包括俯仰角角度。
预定位置是预先设置的位置，比如居中位置、左侧位置、右侧位置等。为了保证跟踪效果，可以将预定位置设置为居中位置。
以预定位置为居中位置为例，控制器中还包括目标居中保持模块和云台相机控制模块。目标跟踪模块将每个跟踪结果发送给目标居中保持模块，若目标居中保持模块根据目标丢失判断模块的判断结果确定未丢失目标对象，则需要根据跟踪结果调节云台相机的姿态。
具体的，目标居中保持模块获取当前的图像帧中心的十字标靶的像素坐标（x1，y1），并获取目标对象的边界框的中心点的像素坐标（x2，y2），计算这两个像素坐标的距离差值PixelsError=（（x1-x2），（y1-y2）），得到X轴方向和Y轴方向的像素误差值。目标居中保持模块将X轴方向和Y轴方向的像素误差值发送给云台相机控制模块，云台相机控制模块根据X轴方向和Y轴方向的像素误差值计算姿态参数，将姿态参数作为PID（比例-积分-微分）调节的误差量，并进行云台相机的Yaw（偏航角）和Pitch（俯仰角）方向的控制输出。
步骤404，根据姿态参数生成底盘的转向角参数。
云台相机控制模块还需要将云台相机的偏航角参数发送给控制器中的底盘控制模块，底盘控制模块将会和云台相机控制模块进行联动控制，在连续时间下完成两个系统趋于稳定居中的非线性控制。
具体的，根据姿态参数生成底盘的转向角参数，可以包括：从姿态参数中获取云台相机的偏航角参数；根据预设的非线性函数将偏航角参数转换为底盘的转向角参数。
根据预设的非线性函数将偏航角参数转换为底盘的转向角参数，可以包括：非线性函数为双曲正切函数tanh函数，对云台相机的偏航角范围进行归一化，根据归一化后的偏航角范围和底盘的转向角范围生成映射关系，映射关系表示转向角角度与偏航角角度的归一化数值之间的关系；根据偏航角参数计算双曲正切函数中的参数z的表达式；根据参数z的表达式和映射关系生成底盘的转向角参数。
在一个示例中，底盘的转向角的控制量范围是[-1024, 1024]，云台相机的Yaw角的控制量范围是[-150, 150]，其中，控制量范围中的负数值代表向左转，正数值均代表向右转。因为底盘的控制和云台相机的控制都是连续的，且是两个非线性的控制量，所以，我们把这个联动控制看成是一个对两个机械部件间相对位移的连续非线性控制。我们基于云台的Yaw角角度推断底盘的转向角角度，由于底盘是阿克曼底盘，不能原地转向到指定角度，所以，我们需要让底盘的转向角跟随云台相机的PID调节的Yaw角做非线性的增长，否则底盘的转向不能和云台相机的转向联动配合好。由此，我们引入非线性tanh函数，其取值范围是[-1，1]，作为关联两个控制量范围的函数关系，函数图像如图5所示。
底盘控制模块将云台相机的Yaw角控制范围[-150，150]归一化到[-1，1]，当前时刻云台相机的T1，Yaw值为Yawt1，底盘的转向角的控制量范围是[-1024，1024]，映射关系Steeringt1=Yawt1*1024，可以得到最终底盘需要控制的转向角度Steering值为Steeringt1。因为需要进行非线性的转向控制，所以，底盘控制模块可以将Yawt1作为tanh函数的左项式的值，根据tanh函数来求解当Yawt1=g（zt1）时zt1等于多少的问题。然后，底盘控制模块通过将zt1作为底盘转向的最终递增的量，并进行50等份（选择50等份的原因是底盘的CAN消息发送频率是50hz，这样底盘才能接收到正常频率的消息，从而控制底盘运动），在连续50帧消息内发送给底盘，比如，这50帧消息的Z 值为，那么对应的底盘的转向角角度为/>，/>，/>， 以此类推。同理，/>，/>，/>，以此类推，最后底盘控制模块以50hz的频率将50个Steering值作为底盘的转向参数发送给底盘，每一帧消息对应上面的一个Steering值。这样，底盘的转向角度控制和云台相机的Yaw角度控制可以通过归一化映射和非线性函数tanh完成，实现底盘转向角的非线性递增的联动控制。在这种循环方式下，不管云台相机跟随物体向左或者向右运动，底盘的转向角都能通过归一化映射和非线性函数递增关系关联到云台相机的Yaw 角，两个系统将会在目标对象基本稳定居中运动的时候，对齐目标对象的中心点进行运动。
步骤405，根据跟踪结果生成底盘的速度参数。
具体的，控制器中的目标距离估计模块从图像帧中获取边界框内的像素区域；计算边界框内的像素区域与图像帧的像素区域的百分比；根据百分比生成底盘的速度参数。
在根据百分比生成底盘的速度参数时，目标距离估计模块获取预设的百分比阈值；检测百分比是否大于百分比阈值；若百分比大于百分比阈值，则生成数值为零的速度参数；若百分比小于或等于百分比阈值，则生成数值大于零的速度参数。
其中，百分比可以表示目标对象与云台相机的空间距离，百分比阈值可以表示最小安全距离。当百分比大于百分比阈值时，目标距离估计模块确定目标对象与云台相机的空间距离小于最小安全距离，需要控制底盘停止运动，也即将速度参数的数值设为零，以控制底盘减速。当百分比小于或等于百分比阈值时，目标距离估计模块确定目标对象与云台相机的空间距离大于或等于最小安全距离，需要继续控制底盘运动，也即将速度参数的数值设为大于零，以控制底盘继续运动。
步骤406，根据转向角参数和速度参数控制底盘跟随目标对象运动。
在初始状态时，默认目标对象、云台相机和底盘之间是基本对准的。当然，即使目标对象、云台相机和底盘之间不对准，也不会影响后面的跟踪流程。当目标对象开始运动时，云台相机随即开始转动以跟踪目标对象。由于已经基于云台相机与底盘之间的非线性运动关系创建好非线性函数，所以，可以基于该非线性函数实现云台相机带动底盘运动，使得云台相机和底盘都趋于对准目标对象的中心。即，从初始位置到终止位置，云台相机和底盘之间的转动角度为零，也就是说云台相机和底盘之间是零转动。
综上所述，本申请实施例提供的目标对象的视觉跟踪方法，在跟踪目标对象的过程中，先将目标对象的运动情况转化为云台相机的姿态变化，再根据云台相机的姿态变化联动控制底盘运动，使得底盘与云台相机之间的相对转动角度为零，从而达到控制底盘跟随目标对象运动的目的。这样，可以保证目标对象始终位于云台相机的视角范围内，实现对目标对象的持续跟踪。
请参考图6，其示出了本申请一个实施例提供的目标对象的视觉跟踪装置的结构框图，该目标对象的视觉跟踪装置可以应用于图1所示的控制器中。该目标对象的视觉跟踪装置，可以包括：
图像帧提取模块610，用于从云台相机拍摄的视频流中提取图像帧；
视觉跟踪模块620，用于对图像帧中的目标对象进行跟踪，得到跟踪结果，跟踪结果用于体现目标对象在图像帧中的位置；
姿态调节模块630，用于根据跟踪结果生成云台相机的姿态参数，根据姿态参数调节云台相机的姿态，以使运动的目标对象始终位于云台相机的取景框中的预定位置，姿态参数包括偏航角参数；
底盘跟踪模块640，用于根据姿态参数和跟踪结果生成底盘的运动参数，根据运动参数控制底盘跟随目标对象运动。
在一个可选的实施例中，底盘跟踪模块640，还用于：
根据姿态参数生成底盘的转向角参数；
根据跟踪结果生成底盘的速度参数；
根据转向角参数和速度参数控制底盘跟随目标对象运动。
在一个可选的实施例中，底盘跟踪模块640，还用于：
从姿态参数中获取云台相机的偏航角参数；
根据预设的非线性函数将偏航角参数转换为底盘的转向角参数。
在一个可选的实施例中，底盘跟踪模块640，还用于：
非线性函数为双曲正切函数，对云台相机的偏航角范围进行归一化，根据归一化后的偏航角范围和底盘的转向角范围生成映射关系，映射关系表示转向角角度与偏航角角度的归一化数值之间的关系；
根据偏航角参数计算双曲正切函数中的参数z的表达式；
根据参数z的表达式和映射关系生成底盘的转向角参数。
在一个可选的实施例中，底盘跟踪模块640，还用于：
当跟踪结果表示目标对象在图像帧中的边界框内时，从图像帧中获取边界框内的像素区域；
计算边界框内的像素区域与图像帧的像素区域的百分比；
根据百分比生成底盘的速度参数。
在一个可选的实施例中，底盘跟踪模块640，还用于：
获取预设的百分比阈值；
检测百分比是否大于百分比阈值；
若百分比大于百分比阈值，则生成数值为零的速度参数；
若百分比小于或等于百分比阈值，则生成数值大于零的速度参数。
在一个可选的实施例中，视觉跟踪模块620，还用于：
当根据跟踪结果确定丢失目标对象时，获取目标对象的模板图像，模板图像是在丢失目标对象之前，对目标对象的边界框内的图像区域进行提取得到的；
获取云台相机对当前环境进行旋转式扫描得到的画面；
从画面中提取与模板图像的相似度最高的图像区域作为目标对象的模板图像；
根据提取到的模板图像继续对目标对象进行跟踪。
在一个可选的实施例中，视觉跟踪模块620，还用于：
从多个图像帧中采样预定数量的采样图像；
根据相邻两张采样图像计算像素坐标距离差值，像素坐标距离差值表示在相邻两个采样时刻跟踪到的两个边界框的中心点之间的距离差值；
根据采样图像和目标对象的模板图像计算图像相似度值，图像相似度值表示在采样时刻和提取模板图像时刻跟踪到的两个边界框内的图像区域之间的相似度；
根据像素坐标距离差值和图像相似度值计算目标对象的丢失置信度，丢失置信度等于丢失目标参数和相似目标参数的加权和，丢失目标参数是将像素坐标距离差值与第一设定阈值进行比较，并根据比较结果的占比来设置的，相似目标参数是将图像相似度值与第二设定阈值进行比较，并根据比较结果的占比来设置的；
根据丢失置信度判断是否丢失目标对象。
在一个可选的实施例中，视觉跟踪模块620，还用于：
当对第i个图像帧中的目标对象进行跟踪时，获取第i-1个图像帧的跟踪结果，跟踪结果表示目标对象在图像帧中的边界框，i≥2；
利用目标跟踪算法基于第i-1个图像帧的跟踪结果和第i个图像帧预测第i个图像帧的跟踪结果；
将i更新为i+1，继续对第i个图像帧中的目标对象进行跟踪。
在一个可选的实施例中，视觉跟踪模块620，还用于：
对第一个图像帧进行目标检测，从检测到的至少一个对象中选择待跟踪的目标对象；
提取目标对象的边界框内的图像区域为模板图像；
将目标对象的边界框确定为第一个图像帧的跟踪结果。
综上所述，本申请实施例提供的目标对象的视觉跟踪装置，在跟踪目标对象的过程中，先将目标对象的运动情况转化为云台相机的姿态变化，再根据云台相机的姿态变化联动控制底盘运动，使得底盘与云台相机之间的相对转动角度为零，从而达到控制底盘跟随目标对象运动的目的。这样，可以保证目标对象始终位于云台相机的视角范围内，实现对目标对象的持续跟踪。
本申请一个实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的目标对象的视觉跟踪方法。
本申请一个实施例提供了一种视觉跟踪设备，所述视觉跟踪设备包括云台相机、底盘、处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的目标对象的视觉跟踪方法。
需要说明的是：上述实施例提供的目标对象的视觉跟踪装置在进行目标对象的视觉跟踪时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将目标对象的视觉跟踪装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的目标对象的视觉跟踪装置与目标对象的视觉跟踪方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。
Claims (10)
1.一种目标对象的视觉跟踪方法，其特征在于，所述方法包括：
从云台相机拍摄的视频流中提取图像帧；
对所述图像帧中的目标对象进行跟踪，得到跟踪结果，所述跟踪结果用于体现所述目标对象在所述图像帧中的位置；
根据所述跟踪结果生成所述云台相机的姿态参数，根据所述姿态参数调节所述云台相机的姿态，以使运动的所述目标对象始终位于所述云台相机的取景框中的预定位置，所述姿态参数包括偏航角参数；
根据所述姿态参数和所述跟踪结果生成底盘的运动参数，根据所述运动参数控制所述底盘跟随所述目标对象运动；
所述根据所述姿态参数和所述跟踪结果生成底盘的运动参数，根据所述运动参数控制所述底盘跟随所述目标对象运动，包括：根据所述姿态参数生成所述底盘的转向角参数；根据所述跟踪结果生成所述底盘的速度参数；根据所述转向角参数和所述速度参数控制所述底盘跟随所述目标对象运动；
所述根据所述姿态参数生成所述底盘的转向角参数，包括：从所述姿态参数中获取所述云台相机的偏航角参数；根据预设的非线性函数将所述偏航角参数转换为所述底盘的转向角参数；
所述根据预设的非线性函数将所述偏航角参数转换为所述底盘的转向角参数，包括：所述预设的非线性函数为双曲正切函数，对所述云台相机的偏航角范围进行归一化，根据归一化后的偏航角范围和所述底盘的转向角范围生成映射关系，所述映射关系表示转向角角度与偏航角角度的归一化数值之间的关系；根据所述偏航角参数计算所述双曲正切函数中的参数z的表达式；根据所述参数z的表达式和所述映射关系生成所述底盘的转向角参数。
2.根据权利要求1所述的目标对象的视觉跟踪方法，其特征在于，所述根据所述跟踪结果生成所述底盘的速度参数，包括：
当所述跟踪结果表示所述目标对象在所述图像帧中的边界框内时，从所述图像帧中获取所述边界框内的像素区域；
计算所述边界框内的像素区域与所述图像帧的像素区域的百分比；
根据所述百分比生成所述底盘的速度参数。
3.根据权利要求2所述的目标对象的视觉跟踪方法，其特征在于，所述根据所述百分比生成所述底盘的速度参数，包括：
获取预设的百分比阈值；
检测所述百分比是否大于所述百分比阈值；
若所述百分比大于所述百分比阈值，则生成数值为零的速度参数；
若所述百分比小于或等于所述百分比阈值，则生成数值大于零的速度参数。
4.根据权利要求1所述的目标对象的视觉跟踪方法，其特征在于，所述方法还包括：
当根据所述跟踪结果确定丢失所述目标对象时，获取所述目标对象的模板图像，所述模板图像是在丢失所述目标对象之前，对所述目标对象的边界框内的图像区域进行提取得到的；
获取所述云台相机对当前环境进行旋转式扫描得到的画面；
从所述画面中提取与所述模板图像的相似度最高的图像区域作为所述目标对象的模板图像；
根据提取到的所述模板图像继续对所述目标对象进行跟踪。
5.根据权利要求4所述的目标对象的视觉跟踪方法，其特征在于，所述方法还包括：
从多个图像帧中采样预定数量的采样图像；
根据相邻两张采样图像计算像素坐标距离差值，所述像素坐标距离差值表示在相邻两个采样时刻跟踪到的两个边界框的中心点之间的距离差值；
根据所述采样图像和所述目标对象的模板图像计算图像相似度值，所述图像相似度值表示在采样时刻和提取模板图像时刻跟踪到的两个边界框内的图像区域之间的相似度；
根据所述像素坐标距离差值和所述图像相似度值计算所述目标对象的丢失置信度，所述丢失置信度等于丢失目标参数和相似目标参数的加权和，所述丢失目标参数是将像素坐标距离差值与第一设定阈值进行比较，并根据比较结果的占比来设置的，所述相似目标参数是将图像相似度值与第二设定阈值进行比较，并根据比较结果的占比来设置的；
根据所述丢失置信度判断是否丢失所述目标对象。
6.根据权利要求1至5任一所述的目标对象的视觉跟踪方法，其特征在于，所述对所述图像帧中的目标对象进行跟踪，得到跟踪结果，包括：
当对第i个图像帧中的目标对象进行跟踪时，获取第i-1个图像帧的跟踪结果，所述跟踪结果表示所述目标对象在所述图像帧中的边界框，i≥2；
利用目标跟踪算法基于所述第i-1个图像帧的跟踪结果和所述第i个图像帧预测所述第i个图像帧的跟踪结果；
将i更新为i+1，继续对第i个图像帧中的目标对象进行跟踪。
7.根据权利要求6所述的目标对象的视觉跟踪方法，其特征在于，所述方法还包括：
对第一个图像帧进行目标检测，从检测到的至少一个对象中选择待跟踪的目标对象；
提取所述目标对象的边界框内的图像区域为模板图像；
将所述目标对象的边界框确定为第一个图像帧的跟踪结果。
8.一种目标对象的视觉跟踪装置，其特征在于，所述装置包括：
图像帧提取模块，用于从云台相机拍摄的视频流中提取图像帧；
视觉跟踪模块，用于对所述图像帧中的目标对象进行跟踪，得到跟踪结果，所述跟踪结果用于体现所述目标对象在所述图像帧中的位置；
姿态调节模块，用于根据所述跟踪结果生成所述云台相机的姿态参数，根据所述姿态参数调节所述云台相机的姿态，以使运动的所述目标对象始终位于所述云台相机的取景框中的预定位置，所述姿态参数包括偏航角参数；
底盘跟踪模块，用于根据所述姿态参数和所述跟踪结果生成底盘的运动参数，根据所述运动参数控制所述底盘跟随所述目标对象运动；
所述底盘跟踪模块，还用于：根据所述姿态参数生成所述底盘的转向角参数；根据所述跟踪结果生成所述底盘的速度参数；根据所述转向角参数和所述速度参数控制所述底盘跟随所述目标对象运动；
所述底盘跟踪模块，还用于：从所述姿态参数中获取所述云台相机的偏航角参数；根据预设的非线性函数将所述偏航角参数转换为所述底盘的转向角参数；
所述底盘跟踪模块，还用于：所述预设的非线性函数为双曲正切函数，对所述云台相机的偏航角范围进行归一化，根据归一化后的偏航角范围和所述底盘的转向角范围生成映射关系，所述映射关系表示转向角角度与偏航角角度的归一化数值之间的关系；根据所述偏航角参数计算所述双曲正切函数中的参数z的表达式；根据所述参数z的表达式和所述映射关系生成所述底盘的转向角参数。
9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至7任一所述的目标对象的视觉跟踪方法。
10.一种视觉跟踪设备，其特征在于，所述视觉跟踪设备包括云台相机、底盘、处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至7任一所述的目标对象的视觉跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310908778.1A CN116630374B (zh) | 2023-07-24 | 2023-07-24 | 目标对象的视觉跟踪方法、装置、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310908778.1A CN116630374B (zh) | 2023-07-24 | 2023-07-24 | 目标对象的视觉跟踪方法、装置、存储介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116630374A CN116630374A (zh) | 2023-08-22 |
| CN116630374B true CN116630374B (zh) | 2023-09-19 |
Family
ID=87642197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310908778.1A Active CN116630374B (zh) | 2023-07-24 | 2023-07-24 | 目标对象的视觉跟踪方法、装置、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630374B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102355574A (zh) * | 2011-10-17 | 2012-02-15 | 上海大学 | 机载云台运动目标自主跟踪系统的图像稳定方法 |
| CN105120242A (zh) * | 2015-09-28 | 2015-12-02 | 北京伊神华虹系统工程技术有限公司 | 一种全景摄像机与高速球机智能联动方法和装置 |
| CN105487552A (zh) * | 2016-01-07 | 2016-04-13 | 深圳一电航空技术有限公司 | 无人机跟踪拍摄的方法及装置 |
| CN106777489A (zh) * | 2016-11-22 | 2017-05-31 | 中国人民解放军陆军军官学院 | 无人机载光电稳定转台跟踪态建模仿真方法 |
| CN107703967A (zh) * | 2017-10-24 | 2018-02-16 | 中国人民解放军国防科技大学 | 一种控制受限飞艇航迹控制方法 |
| CN108549399A (zh) * | 2018-05-23 | 2018-09-18 | 深圳市道通智能航空技术有限公司 | 飞行器偏航角修正方法、装置及飞行器 |
| CN108646572A (zh) * | 2018-07-16 | 2018-10-12 | 广西师范大学 | 一种基于bp神经网络与自抗扰控制器相结合的三轴云台伺服电机的控制方法 |
| CN110401799A (zh) * | 2019-08-02 | 2019-11-01 | 睿魔智能科技（深圳）有限公司 | 一种自动跟踪拍摄方法及系统 |
| WO2022000242A1 (zh) * | 2020-06-30 | 2022-01-06 | 深圳市大疆创新科技有限公司 | 目标跟踪方法、设备、系统及存储介质 |
| CN114785955A (zh) * | 2022-05-05 | 2022-07-22 | 广州新华学院 | 复杂场景下动态相机运动补偿方法、系统及存储介质 |
| CN114895679A (zh) * | 2022-05-17 | 2022-08-12 | 广州高新兴机器人有限公司 | 一种二轴云台与底盘联动的人体跟随方法、装置及机器人 |
| CN114995524A (zh) * | 2022-06-02 | 2022-09-02 | 中国农业大学 | 一种具备主动跟踪功能的相机云台系统 |
| CN115272661A (zh) * | 2022-07-29 | 2022-11-01 | 大连大学 | 一种自动瞄准目标的机器人视觉系统控制方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7342491B2 (ja) * | 2019-07-25 | 2023-09-12 | オムロン株式会社 | 推論装置、推論方法、及び推論プログラム |
-
2023
- 2023-07-24 CN CN202310908778.1A patent/CN116630374B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102355574A (zh) * | 2011-10-17 | 2012-02-15 | 上海大学 | 机载云台运动目标自主跟踪系统的图像稳定方法 |
| CN105120242A (zh) * | 2015-09-28 | 2015-12-02 | 北京伊神华虹系统工程技术有限公司 | 一种全景摄像机与高速球机智能联动方法和装置 |
| CN105487552A (zh) * | 2016-01-07 | 2016-04-13 | 深圳一电航空技术有限公司 | 无人机跟踪拍摄的方法及装置 |
| CN106777489A (zh) * | 2016-11-22 | 2017-05-31 | 中国人民解放军陆军军官学院 | 无人机载光电稳定转台跟踪态建模仿真方法 |
| CN107703967A (zh) * | 2017-10-24 | 2018-02-16 | 中国人民解放军国防科技大学 | 一种控制受限飞艇航迹控制方法 |
| CN108549399A (zh) * | 2018-05-23 | 2018-09-18 | 深圳市道通智能航空技术有限公司 | 飞行器偏航角修正方法、装置及飞行器 |
| CN108646572A (zh) * | 2018-07-16 | 2018-10-12 | 广西师范大学 | 一种基于bp神经网络与自抗扰控制器相结合的三轴云台伺服电机的控制方法 |
| CN110401799A (zh) * | 2019-08-02 | 2019-11-01 | 睿魔智能科技（深圳）有限公司 | 一种自动跟踪拍摄方法及系统 |
| WO2022000242A1 (zh) * | 2020-06-30 | 2022-01-06 | 深圳市大疆创新科技有限公司 | 目标跟踪方法、设备、系统及存储介质 |
| CN114785955A (zh) * | 2022-05-05 | 2022-07-22 | 广州新华学院 | 复杂场景下动态相机运动补偿方法、系统及存储介质 |
| CN114895679A (zh) * | 2022-05-17 | 2022-08-12 | 广州高新兴机器人有限公司 | 一种二轴云台与底盘联动的人体跟随方法、装置及机器人 |
| CN114995524A (zh) * | 2022-06-02 | 2022-09-02 | 中国农业大学 | 一种具备主动跟踪功能的相机云台系统 |
| CN115272661A (zh) * | 2022-07-29 | 2022-11-01 | 大连大学 | 一种自动瞄准目标的机器人视觉系统控制方法 |
Non-Patent Citations (3)
| Title |
|---|
| Developing a More Reliable Framework for Extracting Traffic Data From a UAV Video;X. Li等;《IEEE Transactions on Intelligent Transportation Systems》;1-12 * |
| Moving camera-based object tracking using adaptive ground plane estimation and constrained multiple kernels;Liu T等;《 Journal of Advanced Transportation》;1-15 * |
| 视线驱动的云台跟踪技术;王建中等;《现代电子技术》;第43卷(第24期);166-169 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116630374A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109345593B (zh) | 一种摄像机姿态的检测方法及装置 | |
| WO2020107372A1 (zh) | 拍摄设备的控制方法、装置、设备及存储介质 | |
| EP3627821B1 (en) | Focusing method and apparatus for realizing clear human face, and computer device | |
| CN108198199B (zh) | 运动物体跟踪方法、运动物体跟踪装置和电子设备 | |
| CN110633629A (zh) | 基于人工智能的电网巡检方法、装置、设备及存储介质 | |
| US20050265453A1 (en) | Image processing apparatus and method, recording medium, and program | |
| US11644841B2 (en) | Robot climbing control method and robot | |
| WO2017020150A1 (zh) | 一种图像处理方法、装置及摄像机 | |
| US20210103299A1 (en) | Obstacle avoidance method and device and movable platform | |
| WO2023016271A1 (zh) | 位姿确定方法、电子设备及可读存储介质 | |
| JP7422105B2 (ja) | 路側計算装置に用いる障害物３次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム | |
| CN110738078A (zh) | 一种人脸识别方法及终端设备 | |
| KR20210022703A (ko) | 운동 물체 검출 및 지능형 운전 제어 방법, 장치, 매체 및 기기 | |
| CN113409391A (zh) | 视觉定位方法及相关装置、设备和存储介质 | |
| CN110686676A (zh) | 机器人重定位方法、装置及机器人 | |
| CN108510520A (zh) | 一种图像处理方法、装置及ar设备 | |
| CN110720113A (zh) | 一种参数处理方法、装置及摄像设备、飞行器 | |
| CN113393505A (zh) | 图像配准方法、视觉定位方法及相关装置、设备 | |
| CN113947768A (zh) | 一种基于单目3d目标检测的数据增强方法和装置 | |
| CN116630374B (zh) | 目标对象的视觉跟踪方法、装置、存储介质及设备 | |
| CN112640419B (zh) | 跟随方法、可移动平台、设备和存储介质 | |
| CN112396634A (zh) | 运动目标检测方法、装置、车辆及存储介质 | |
| CN112514366A (zh) | 图像处理方法、图像处理装置和图像处理系统 | |
| CN112802112B (zh) | 视觉定位方法、装置、服务器及存储介质 | |
| CN114326766A (zh) | 一种车机协同自主跟踪与降落方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |