CN113489893A - 实时目标物体追踪定位方法以及实时目标物体追踪定位装置 - Google Patents

Abstract

本申请提供实时目标物体追踪定位方法以及装置，其应用于摄像装置，摄像装置包括自由舵机云平台和固定在自由舵机云平台的摄像头及激光雷达，方法包括：通过摄像头实时获取目标物体的图像画面；获取并计算目标物体的中心位置相对于摄像头中心的像素位置的偏移量；根据偏移量调整自由舵机云平台的旋转角度使得目标物体的中心位置相对于摄像头中心的像素位置重合，以对目标物体进行实时的定位追踪；判断偏移量是否超过预设值，如果偏移量不超过预设值，则继续根据偏移量调整自由舵机云平台的旋转角度。本申请能够对目标物体快速准确的定位，并且应用范围更广。

Description

实时目标物体追踪定位方法以及实时目标物体追踪定位装置

技术领域

本申请涉及图像领域，尤其涉及实时目标物体追踪定位方法以及装置。

背景技术

现有技术中，对目标物体进行追踪定位主要是通过物体发出的声音来触发追踪事件的，然后再用摄像头获取目标物体的运动轨迹，比如，监测环境中的声音，然后通过语音识别技术识别声音中的关键词，例如：“救命”、“救我”，但是这种方式可能会因为噪音或者其他运动的物体的影响导致对目标物体的定位不够准确，甚至可能出现误判。另外，这种追踪定位目标物体的方式局限性也比较大，应用范围比较狭小。

发明内容

本申请提供一种实时目标物体追踪定位方法以及实时目标物体追踪定位装置，能够在解决现在通过声音来进行物体定位而导致定位不够准确并且应用范围比较小的问题。

根据本申请的第一方面，本申请提供一种实时目标物体追踪定位方法，其应用于摄像装置，摄像装置包括自由舵机云平台和固定在自由舵机云平台的摄像头，方法包括：通过摄像头实时获取目标物体的图像画面；识别物体的种类，并判断是否与用户设置的预设类别一致，获取并计算目标物体的中心位置相对于摄像头中心的像素位置的偏移量；根据偏移量调整自由舵机云平台的旋转角度使得目标物体的中心位置相对于摄像头中心的像素位置重合，以对目标物体进行实时的定位追踪；判断偏移量是否超过预设值，如果偏移量超过预设值，则继续根据偏移量调整自由舵机云平台的旋转角度。

优选地，摄像装置还包括固定在自由舵机云平台的激光测距模块，在根据偏移量调整自由舵机云平台的旋转角度的步骤之中还包括步骤：根据偏移量调整自由舵机云平台的旋转角度，使得目标物体的中心位置、摄像头中心的像素位置以及激光测距模块的中心位置重合；在判断偏移量是否超过预设值的步骤之后还包括步骤：控制激光测距模块测距以获得目标物体相对初始位置时的运动位移。

优选地，在通过摄像头获取目标物体的图像画面的步骤之前包括：设置目标物体的预设类别；在通过摄像头获取目标物体的图像画面的步骤之后还包括：识别目标物体是否为属于预设类别，如果目标物体属于预设类别，则获取并计算目标物体的中心位置相对于摄像头中心的像素位置的偏移量。

优选地，在识别目标物体是否为属于预设类别的步骤之后，还包括：通过卷积神经网络来识别目标物体是否属于预设类别。

优选地，在获取并计算目标物体的中心位置相对于摄像头中心的像素位置的偏移量的步骤中，包括：通过将摄像头获取的每帧图像输入到预设卷积神经网络中，获得包括目标物体的类别、目标物体的置信度、目标物体的边界框的坐标和边界框的大小的输出结果；其中，设定摄像头的左上角像素坐标为(0,0)，并沿着下方和右方逐渐递增，摄像头的中心像素坐标为(x₀,y₀),满足

x_max和y_max分别是摄像头的水平像素和垂直像素的最大值，目标物体的中心点的坐标为(x_object,y_object)，因此，目标物体相对摄像头中心的像素偏移量为(x_offset,y_offset)，满足：x_offset＝x_object-x₀，y_offset＝y_object-y₀。

优选地，在根据偏移量调整自由舵机云平台的旋转角度的步骤中，包括：调整自由舵机云平台的旋转角度，旋转角度包括旋转角和俯仰角 (wx_offset,wy_offset)，旋转角和俯仰角包括角度旋转大小和方向信息，并且满足

其中，Counter_x和Counter_y分别为旋转角和俯仰角的PWM脉冲宽度调制输出比较寄存器的数值，C为处理器时钟主频，γ为分频值，ρ为计数值，α为自由舵机云平台旋转至0°时的输出比较寄存器数值，β为自由舵机云平台的旋转角度分辨率；进一步地，Counter_x和Counter_y通过对获取到图像画面进行迭代计算得到，其中，

μ₁和μ₂分别为进行每次迭代计算时目标物体的中心在水平和垂直上的偏移方向，i为迭代次数。

优选地，在根据偏移量调整自由舵机云平台的旋转角度以对目标物体进行实时的定位追踪的步骤之后，包括：判断目标物体的中心位置相对图像画面的像素偏移量的重合误差(ε₁,ε₂)是否满足ε₁≥|x_offset|，ε₂≥|y_offset|；当不满足ε₁≥|x_offset|，ε₂≥|y_offset|时，开始控制摄像装置对目标物体进行定位追踪，否则，停止对目标物体进行追踪。

优选地，在根据偏移量调整自由舵机云平台的旋转角度的步骤之后，还包括：控制自由舵机云平台的旋转速度舵机云平台的旋转速度v与视频帧率f满足v＝αf，其中α为匹配缩放因子。

优选地，在控制激光测距模块进行测距的步骤中，包括：控制激光测距模块进行测距以获得距离信息，并根据距离信息以及旋转角度获得目标物体运动位移，在水平方向上满足

在垂直方向上满足

其中，摄像装置与目标物体的初始距离为L₀，自由舵机云平台初始旋转角和俯仰角分别为(wx₀,wy₀)，目标物体在某时刻与设备的距离为L₁。

根据本申请的第二方面，本申请提供一种计实时目标物体追踪定位装置，包括：摄像头，其用于实时获取目标物体的图像画面；激光测距模块，其用于对目标物体进行测距；自由舵机云平台，其用于供摄像头和激光测距模块固定；以及控制模块，其连接摄像头、激光测距模块以及自由舵机云平台，其用于：获取并计算目标物体的中心位置相对于摄像头中心的像素位置的偏移量；根据偏移量调整自由舵机云平台的旋转角度使得目标物体的中心位置相对于摄像头中心的像素位置重合，以对目标物体进行实时的定位追踪；判断偏移量是否超过预设值，如果偏移量不超过预设值，则继续根据偏移量调整自由舵机云平台的旋转角度。

根据本申请的第三方面，本申请提供一种计算机设备，包括：处理器；及存储器，存储器上存储有计算机可读指令，计算机可读指令被处理器执行时实现如上所述实时目标物体追踪定位方法。

本申请的有益效果在于：通过摄像头获取目标物体的图像画面，识别并判断物体类别是否与用户设定一致，计算并判断目标物体的中心位置相对摄像头中心的像素位置的偏移量是否超过预设值，如果超过预设值则调整自由舵机云平台的旋转角度以使目标物体的中心位置与图像画面的中心位置重合，这样就能够快速准确地对目标物体进行定位，并且应用范围更加广泛。

附图说明

图1是本申请第一实施例中实时目标物体追踪定位方法的流程图；

图2是本申请第二实施例中实时目标物体追踪定位装置的原理图；

图3是本申请第二实施例中实时目标物体追踪定位装置的结构图；

图4是本申请第三实施例中计算机存储介质的示意图。

具体实施方式

下面通过具体实施方式结合附图对本申请作进一步详细说明。

本申请的构思是：通过将摄像头和激光测距模块固定在自由舵机云平台上，然后判断摄像头的中心、目标物体的图像画面的像素中心以及激光测距模块的中心是否重合来调整自由舵机云平台的旋转角度以实现对目标物体的追踪定位。

实施例一：

请参阅图1，本申请提出一种实时目标物体追踪定位方法，其应用于摄像装置，摄像装置包括自由舵机云平台和固定在自由舵机云平台的摄像头，方法包括：

步骤S101：通过摄像头实时获取目标物体的图像画面。

在步骤S101之前包括：设置目标物体的预设类别。

本实施例中，目标物体的预设类别可以根据实际的应用场景进行设置，比如，如果应用在运动领域中的铅球比赛，则可以设置目标物体为铅球，又比如，应用在室内监控的场景时，则可以设置目标物体为人或者动物。

在步骤S101之后还包括：识别目标物体是否为属于预设类别，如果目标物体与用户设置的预设类别一致，则跳到步骤S102获取并计算目标物体的中心位置相对于摄像头中心的像素位置的偏移量，否则继续对目标物体进行识别。

本实施例中，通过卷积神经网络来识别目标物体是否属于预设类别。

步骤S102：获取并计算目标物体的中心位置相对于摄像头中心的像素位置的偏移量。

在步骤S102中，包括：

通过将摄像头获取的每帧图像输入到预设卷积神经网络中，获得包括目标物体的类别、目标物体的置信度、目标物体的边界框的坐标和边界框的大小的输出结果；

其中，设定摄像头的左上角像素坐标为(0,0)，并沿着下方和右方逐渐递增，摄像头的中心像素坐标为(x₀,y₀),满足

x_max和y_max分别是摄像头的水平像素和垂直像素的最大值的最大值，目标物体的中心点的坐标为(x_object,y_object)，因此，目标物体相对摄像头中心的像素偏移量为 (x_offset,y_offset)，满足x_offset＝x_object-x₀，y_offset＝y_object-y₀。

步骤S103：根据偏移量调整自由舵机云平台的旋转角度使得目标物体的中心位置相对于摄像头中心的像素位置重合，以对目标物体进行实时的定位追踪。

在步骤S103中，包括：

调整自由舵机云平台的旋转角度，旋转角度包括旋转角和俯仰角 (wx_offset,wy_offset)，旋转角和俯仰角包括角度旋转大小和方向信息，并且满足

其中，Counter_x和Counter_y分别为旋转角和俯仰角的PWM脉冲宽度调制输出比较寄存器的数值，c为处理器时钟主频，γ为分频值，ρ为计数值，α为自由舵机云平台旋转至0°时的输出比较寄存器数值，β为自由舵机云平台的旋转角度分辨率；

进一步地，Counter_x和counter_y通过对获取到图像画面进行迭代计算得到，其中，

μ₁和μ₂分别为进行每次迭代计算时目标物体的中心在水平和垂直上的偏移方向，i为迭代次数。

值得注意的是，在步骤S103中，控制自由舵机云平台的旋转速度舵机云平台的旋转速度v与视频帧率f满足v＝αf，其中α为匹配缩放因子。

步骤S104：判断偏移量是否超过预设值，如果偏移量超过预设值，则继续根据偏移量调整自由舵机云平台的旋转角度。由于自由舵机云平台旋转速度大于视频识别速度，为了避免识别过程中，自由舵机云平台出现抖动的情况，舵机云平台旋转速度需要和视频帧率达到平衡。

进一步地，摄像装置还包括固定在自由舵机云平台的激光测距模块，在步骤 S103之中还包括步骤：

根据偏移量调整自由舵机云平台的旋转角度，使得目标物体的中心位置、摄像头中心的像素位置以及激光测距模块中心的位置重合。因为激光测距模块与摄像头均是固定在自由舵机云平台上面的，可以设置当摄像头中心的像素位置与目标物体的中心位置重合时，则激光测距模块中心也和目标物体的中心重合，亦既是说，目标物体的中心位置、摄像头中心的像素位置以及激光测距模块中心的位置重合。

在步骤S104中，具体包括：

判断目标物体的中心位置相对像素偏移量的重合误差(ε₁,ε₂)是否满足ε₁≥ |x_offset|，ε₂≥|y_offset|；

当不满足ε₁≥|x_offset|，ε₂≥|y_offset|时，则跳到步骤S102，继续调自由舵机云平台的旋转角度，否则，跳到步骤S105。

在步骤S104之后还包括步骤S105：

控制激光测距模块测距以获得目标物体相对初始位置的运动位移。

在步骤S105中，具体包括：

步骤S1051：控制激光测距模块进行测距，以获得距离信息。

步骤S1052：根据所述距离信息以及旋转角度获得目标物体运动位移，在水平方向上满足

在垂直方向上满足

其中，摄像装置与目标物体的初始距离为L₀，自由舵机云平台初始旋转角和俯仰角分别为 (wx₀,wy₀)，目标物体在某时刻与设备的距离L₁。

步骤S106：输出并记录每次调整的旋转角和俯仰角(wx_offset,wy_offset)以及目标物体的运动位移。

可以看到，通过本申请对目标物体的定位追踪能够应用在更多的领域，比如，体育领域中的铅球比赛。目前铅球比赛中测量比赛成绩主要依赖人工测量，人工测量需要准备好很长的软尺，需要两个人配合才能够完成，测量时间长，也很容易带来人为误差，亟需将现代的科学测量方法注入这项古老的运动，让测量变得迅速、准确、可靠，从而保证比赛的公平公正。现有技术中，有一种铅球自动测量方案采用了单目视觉的方案，在铅球落地处插上标靶，从而进行定位和测距。这种测量方法不需要软尺，只需要一个人在铅球落点插上标靶即可通过图像识别的方式获得铅球距离，简化了测量的程序，但是仍然需要人工干预。另外一种测量方案采用扇形地毯，把传感器嵌入到地毯中，当球掉下时能感应出掉落的位置，从而计算出投掷距离，然而这种方案需要大面积铺设传感器，为了减少测量误差需要高密度排布传感器，而传感器也很容易因为铅球高强度的撞击而失效，无论是制造还是维护都需要相当高的经济成本和时间成本。本申请基于图像识别和激光雷达测距，重新提出了一个简单轻便经济实用的全自动铅球距离测量方案。

又或者，可以应用在室内的安全监控，能够实时对监测人员进行定位追踪。

实施例二：

请参阅图2和图3，本申请提出一种实时目标物体追踪定位装置包括：摄像头、激光测距模块、自由舵机云平台、平台固定器以及控制模块，其中，控制模块包括GPU开发板以及STM32开发板。该自由舵机云平台包括垂直方向的自由舵机云平台和水平方向的自由舵机云平台。

下面结合图2来对本申请的工作原理进行说明。

摄像头连接嵌入式GPU开发板，GPU开发板上运行Linux嵌入式操作系统，在Linux嵌入式操作系统上部署TensorFlow或PyTorch深度学习框架，并开发卷积神经网络。卷积神经网络输出结果通过串口发送到STM32开发板上。 STM32开发板作为逻辑控制器，通过GPIO方式连接自由舵机云平台，通过解释上位机发来的指令，控制PWM脉冲宽度调制的占空比来控制2个自由度舵机云平台的旋转角度，实现水平方向和垂直方向的旋转角度控制。STM32开发板通过串口方式与激光测距模块连接，通过解释上位机发来的指令，转换为激光测距模块的指令，进行激光测距。上位机与STM32开发板通过串口连接，上位机用于收集物体识别结果以及运动偏移信息，并向STM32开发板发送水平方向和垂直方向角度调整指令，并判断目标物体的中心与摄像头中心、激光测距中心是否重合。若重合，则上位机发送测距指令到STM32开发板中，STM32开发板解释并翻译相对应的激光测距指令，发送到激光测距模块中，记录距离信息。在测距过程中实现运动修正，并记录2自由舵机云平台的旋转角度信息及激光测距距离信息。根据原始的激光测距信息和自由度舵机云平台旋转角度信息，以及某时刻的激光测距信息和自由度舵机云平台的旋转角度信息，计算物体在某时刻的相对位移数据。

实施例三：

本申请提出一种实时目标物体追踪定位系统，系统包括：

摄像装置，所述摄像装置包括：自由舵机云平台和固定在所述自由舵机云平台的摄像头，所述摄像头实时获取目标物体的图像画面；

计算模块，用于识别并判断物体类别是否与用户设定一致，获取并计算所述目标物体的中心位置相对于所述摄像头中心的像素位置的偏移量；

调整模块，其用于根据所述偏移量调整所述自由舵机云平台的旋转角度以对所述目标物体进行实时的定位追踪；

判断模块，其用于判断所述偏移量是不超过预设值，如果所述偏移量不超过所述预设值，则继续根据所述偏移量调整所述自由舵机云平台的旋转角度。

实施例四：

请参阅图4，在一示例性实施例中，一种计算机设备1000，包括至少一处理器1001、至少一存储器1002、以及至少一通信总线1003。

其中，存储器1002上存储有计算机可读指令，处理器1001通过通信总线 1003读取存储器1002中存储的计算机可读指令。

该计算机可读指令被处理器1001执行时实现上述各实施例中的宠物喂食方法。

本申请的有益效果在于：通过摄像头获取目标物体的图像画面，计算并判断目标物体的中心位置相对摄像头中心的像素位置的偏移量是否超过预设值，如果超过预设值则调整自由舵机云平台的旋转角度以使目标物体的中心位置与图像画面的中心位置重合，这样就能够快速准确地对目标物体进行定位，定位完成后，能够通过激光测距模块的测距功能，实现对目标物体位移的测量，这样就免去了人工测量的麻烦，应用范围更加广泛。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存取存储器、磁盘或光盘等。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请发明构思的前提下，还可以做出若干简单推演或替换。

Claims (10)

1.一种实时目标物体追踪定位方法，其特征在于，其应用于摄像装置，所述摄像装置包括自由舵机云平台和固定在所述自由舵机云平台的摄像头，所述方法包括：

通过所述摄像头实时获取目标物体的图像画面；

识别物体的种类，并判断是否与用户设置的预设类别一致，获取并计算所述目标物体的中心位置相对于所述摄像头中心的像素位置的偏移量；

根据所述偏移量调整所述自由舵机云平台的旋转角度使得所述目标物体的中心位置相对于所述摄像头中心的像素位置重合，以对所述目标物体进行实时的定位追踪；

判断所述偏移量是否超过预设值，如果所述偏移量超过所述预设值，则继续根据所述偏移量调整所述自由舵机云平台的旋转角度。

2.如权利要求1所述的实时目标物体追踪定位方法，其特征在于，所述摄像装置还包括固定在所述自由舵机云平台的激光测距模块，在所述根据所述偏移量调整所述自由舵机云平台的旋转角度的步骤之中还包括步骤：

根据所述偏移量调整所述自由舵机云平台的旋转角度，使得所述目标物体的中心位置、摄像头中心的像素位置以及激光测距模块的中心位置重合；

在所述判断偏移量是否超过预设值的步骤之后还包括步骤：控制所述激光测距模块测距以获得所述目标物体相对初始位置时的运动位移。

3.如权利要求2所述的实时目标物体追踪定位方法，其特征在于，在所述通过摄像头获取目标物体的图像画面的步骤之前包括：设置目标物体的预设类别；

在所述通过摄像头获取目标物体的图像画面的步骤之后还包括：识别所述目标物体是否为属于所述预设类别，如果所述目标物体属于所述预设类别，则获取并计算所述目标物体的中心位置相对于所述摄像头中心的像素位置的偏移量。

4.如权利要求3所述的实时目标物体追踪定位方法，其特征在于，在所述识别目标物体是否为属于预设类别的步骤中，还包括：

通过卷积神经网络来识别所述目标物体是否属于所述预设类别。

5.如权利要求4所述的实时目标物体追踪定位方法，其特征在于，在所述获取并计算目标物体的中心位置相对于摄像头中心的像素位置的偏移量的步骤中，包括：

通过将所述摄像头获取的每帧图像输入到预设卷积神经网络中，获得包括所述目标物体的类别、所述目标物体的置信度、所述目标物体的边界框的坐标和边界框的大小的输出结果；

其中，设定所述摄像头的左上角像素坐标为(0,0)，并沿着下方和右方逐渐递增，所述摄像头的中心像素坐标为(x₀,y₀),满足

x_max和y_max分别是所述摄像头的水平像素和垂直像素的最大值，所述目标物体的中心点的坐标为(x_object,y_object)，

因此，所述目标物体相对所述摄像头中心的像素偏移量为(x_offset,y_offset)，满足：x_offset＝x_object-x₀，y_offset＝y_object-y₀。

6.如权利要求5所述的实时目标物体追踪定位方法，其特征在于，在所述根据偏移量调整所述自由舵机云平台的旋转角度的步骤中，包括：

调整所述自由舵机云平台的旋转角度，所述旋转角度包括旋转角和俯仰角(wx_offset,wy_offset)，所述旋转角和俯仰角包括角度旋转大小和方向信息，并且满足

其中，Counter_x和Counter_y分别为所述旋转角和俯仰角的PWM脉冲宽度调制输出比较寄存器的数值，C为处理器时钟主频，γ为分频值，ρ为计数值，α为自由舵机云平台旋转至0°时的输出比较寄存器数值，β为自由舵机云平台的旋转角度分辨率；

进一步地，Counter_x和Counter_y通过对获取到所述图像画面进行迭代计算得到，其中，

μ₁和μ₂分别为进行每次迭代计算时所述目标物体的中心在水平和垂直上的偏移方向，i为迭代次数。

7.如权利要求6所述的实时目标物体追踪定位方法，其特征在于，在所述根据偏移量调整自由舵机云平台的旋转角度以对目标物体进行实时的定位追踪的步骤之后，包括：

判断所述目标物体的中心位置相对所述图像画面的像素偏移量的重合误差(ε₁,ε₂)是否满足ε₁≥|x_offset|，ε₂≥|y_offset|；

当不满足ε₁≥|x_offset|，ε₂≥|y_offset|时，开始控制所述摄像装置对所述目标物体进行定位追踪，否则，停止对所述目标物体进行追踪。

8.权利要求6所述的实时目标物体追踪定位方法，其特征在于，在所述根据偏移量调整所述自由舵机云平台的旋转角度的步骤之后，还包括：

控制所述自由舵机云平台的旋转速度舵机云平台的旋转速度v与视频帧率f满足v＝αf，其中α为匹配缩放因子。

9.权利要求6所述的实时目标物体追踪定位方法，其特征在于，在所述控制所述激光测距模块进行测距的步骤中，包括：

控制所述激光测距模块进行测距以获得距离信息，并根据所述距离信息以及旋转角度获得所述目标物体运动位移，在水平方向上满足

在垂直方向上满足

其中，所述摄像装置与目标物体的初始距离为L₀，所述自由舵机云平台初始旋转角和俯仰角分别为(wx₀,wy₀)，所述目标物体在某时刻与设备的距离为L₁。

10.一种实时目标物体追踪定位装置，其特征在于，包括：

摄像头，其用于实时获取目标物体的图像画面；

激光测距模块，其用于对目标物体进行测距；

自由舵机云平台，其用于供摄像头和激光测距模块固定；以及

控制模块，其连接所述摄像头、激光测距模块以及自由舵机云平台，其用于：

获取并计算所述目标物体的中心位置相对于所述摄像头中心的像素位置的偏移量；

根据所述偏移量调整所述自由舵机云平台的旋转角度使得所述目标物体的中心位置相对于所述摄像头中心的像素位置重合，以对所述目标物体进行实时的定位追踪；

判断所述偏移量是否超过预设值，如果所述偏移量超过所述预设值，则继续根据所述偏移量调整所述自由舵机云平台的旋转角度。

Images