CN114815912A - 云台控制方法、装置和机器人设备 - Google Patents

云台控制方法、装置和机器人设备 Download PDF

Info

Publication number
CN114815912A
CN114815912A CN202110120789.4A CN202110120789A CN114815912A CN 114815912 A CN114815912 A CN 114815912A CN 202110120789 A CN202110120789 A CN 202110120789A CN 114815912 A CN114815912 A CN 114815912A
Authority
CN
China
Prior art keywords
image
speed parameter
target
detection frame
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110120789.4A
Other languages
English (en)
Inventor
刘永光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Orion Star Technology Co Ltd
Original Assignee
Beijing Orion Star Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Orion Star Technology Co Ltd filed Critical Beijing Orion Star Technology Co Ltd
Priority to CN202110120789.4A priority Critical patent/CN114815912A/zh
Publication of CN114815912A publication Critical patent/CN114815912A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G05D3/20—Control of position or direction using feedback using a digital comparing device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种云台控制方法、装置和机器人设备，其中，方法包括：获取目标图像中目标对象的检测框，目标图像，通过云台承载的图像传感器采集，若检测框未处于图像的中心区域，则根据检测框在设定方向上相对图像中心的偏移量，确定在设定方向上的第一速度参数，根据在设定方向上的第一速度参数，控制云台的运动，本实施例中根据检测框在设定方向上相对图像中心的偏移量，确定对应的第一速度参数，根据第一速度参数，控制云台在设定方向上运动，实现了对云台的灵活控制，以提高目标跟踪的效果。

Description

云台控制方法、装置和机器人设备
技术领域
本申请涉及机器人技术领域，尤其涉及一种云台控制方法、装置和机器人设备。
背景技术
很多服务机器人设备都会在头部配置云台，当头部图像传感器检测到目标对象，例如人脸时，云台可以作为一个随动系统跟踪人脸的运动，此系统的鲁棒性对用户体验有直观影响，如何做到快速流畅地控制云台运动，以提高目标跟踪效果是必须要解决的问题。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种云台控制方法，以实现对云台的灵活控制，以提高目标跟踪的效果。
本申请的第二个目的在于提出一种云台控制装置。
本申请的第三个目的在于提出一种机器人设备。
本申请的第四个目的在于提出一种非临时性计算机可读存储介质。
本申请的第五个目的在于提出一种计算机程序产品。
为达上述目的，本申请第一方面实施例提出了一种云台控制方法，包括：
获取目标图像中目标对象的检测框；其中，所述目标图像，通过云台承载的图像传感器采集；
若所述检测框未处于所述图像的中心区域，则根据所述检测框在设定方向上相对所述图像中心的偏移量，确定在所述设定方向上的第一速度参数；
根据在所述设定方向上的所述第一速度参数，控制所述云台的运动。
为达上述目的，本申请第二方面实施例提出了一种云台控制装置，包括：
获取模块，用于获取目标图像中目标对象的检测框；其中，所述目标图像，通过云台承载的图像传感器采集；
确定模块，用于若所述检测框未处于所述图像的中心区域，则根据所述检测框在设定方向上相对所述图像中心的偏移量，确定在所述设定方向上的第一速度参数；
控制模块，用于根据在所述设定方向上的所述第一速度参数，控制所述云台的运动。
为达上述目的，本申请第三方面实施例提出了一种电子设备，包括云台和所述云台所承载的图像传感器，所述机器人设备还包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如第一方面所述的云台控制方法。
为了实现上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的云台控制方法。
为了实现上述目的，本申请第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，实现如第一方面所述的云台控制方法。
本申请实施例所提供的技术方案包含如下的有益效果：
获取目标图像中目标对象的检测框，目标图像，通过云台承载的图像传感器采集，若检测框未处于图像的中心区域，则根据检测框在设定方向上相对图像中心的偏移量，确定在设定方向上的第一速度参数，根据在设定方向上的第一速度参数，控制云台的运动，本实施例中根据检测框在设定方向上相对图像中心的偏移量，确定对应的第一速度参数，根据第一速度参数，控制云台在设定方向上运动，实现了对云台的灵活控制，以提高目标跟踪的效果。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种云台控制方法的流程示意图；
图2为本申请实施例提供的另一种云台控制方法的流程示意图；
图3为本申请实施例提供的另一种云台控制方法的流程示意图；
图4为本申请实施例提供的一种云台的速度参数确定的示意图；
图5为本申请实施例提供的另一种云台控制方法的流程示意图；
图6为本申请实施例体用的一种云台控制的算法框图；
图7为本申请实施例提供的线性最小二乘法的示意图；
图8为本申请实施例提供的一种云台控制装置的结构示意图；
图9示出了适于用来实现本申请实施方式的示例性电子设备的框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的云台控制方法、装置和机器人设备。
图1为本申请实施例所提供的一种云台控制方法的流程示意图。
如图1所示，该方法包括以下步骤：
步骤101，获取目标图像中目标对象的检测框，其中，目标图像，通过云台承载的图像传感器采集。
云台是安装、固定图像传感器的承载设备，云台设置在电子设备中，电子设备例如为机器人设备，云台根据接收到的控制信号，在设定方向上运动，例如，在水平和/或垂直方向上运动，以带动云台上承载的图像传感器运动，实现对目标的自动跟踪，提高和用户交互的效果。
其中，确定目标对象的检测框,可通过以下两种实现方式实现：
作为一种可能的实现方式，将云台承载的图像传感器采集到的目标图像，输入目标识别模型，其中，目标识别模型已经学习到目标对象和对应的检测框之间的对应关系，根据目标识别模型，确定目标图像中目标对象的检测框。
作为另一种可能的实现方式，对目标图像中的目标对象进行跟踪，以得到目标图像中的候选框，根据多个历史采集图像中目标对象的检测框，对目标图像中的目标对象进行位置预测，以得到目标图像中的预测框，根据预测框与候选框之间的差异，确定目标图像中目标对象的检测框，本实施例中，基于历史数据确定目标图像中目标对象的检测框为预测框或候选框，可以避免直接采用目标跟踪算法时因检测框跳变等产生的检测框误差较大的问题，提高了目标对象的检测框确定的准确性。
步骤102，若检测框未处于图像的中心区域，则根据检测框在设定方向上相对图像中心的偏移量，确定在设定方向上的第一速度参数。
在本实施例中，检测框未处于图像的中心区域，具体可以是检测框的中心未处于图像的中心区域，检测框在设定方向上相对图像中心的偏移量，具体可以是检测框的中心在设定方向上距离图像中心的距离。
其中，图像的中心区域为距离图像中心为设定距离的区域，例如，设定距离在水平方向上为[-0.15,0.15]，垂直方向上为[-0.12,0.12]。在检测框处于图像的中心区域时，即说明检测框在设定方向上相对图像中心存在的偏移量小于设定阈值，则不需要控制云台运动以调整检测框在图像中的位置，以避免对云台调整的小扰动带来的抖动。
本实施例中，检测框未处于图像的中心区域，那么检测框在设定方向上相对图像中心的偏移量可能较大也可能较小，需要快速确定偏移量的大小的情况，基于偏移量的大小以确定在设定方向上的第一速度参数，进而，根据第一速度参数，控制云台运动对目标进行跟踪，提高交互的效果。
步骤103，根据在设定方向上的第一速度参数，控制云台的运动。
本实施例中，根据设定方向上的第一速度参数，控制云台运动，实现了对云台的灵活控制，使得目标对象保持处于图像传感器采集到的图像的中心区域，以对目标对象流畅跟踪。
本实施例的云台控制方法中，获取目标图像中目标对象的检测框，目标图像，通过云台承载的图像传感器采集，若检测框未处于图像的中心区域，则根据检测框在设定方向上相对图像中心的偏移量，确定在设定方向上的第一速度参数，根据在设定方向上的第一速度参数，控制云台的运动，本实施例中根据检测框在设定方向上相对图像中心的偏移量，确定对应的第一速度参数，在设定方向上，根据第一速度参数，控制云台运动，实现了对云台的灵活控制。
上述实施例中描述了，根据检测框在设定方向上相对图像中心的偏移量，确定在设定方向上的第一速度参数，进而，根据第一速度参数控制云台运动。下面通过两种实现方式，分别进行说明。
基于上述实施例，本实施例提供了一种可能的实现方式，为了实现快速调整检测框在图像中的位置，确定设定方向上的第一速度参数，并控制云台以第一速度参数运动，如图2所示，该方法包含以下步骤：
步骤201，获取目标图像中目标对象的检测框，其中，目标图像，通过云台承载的图像传感器采集。
步骤202，若检测框未处于图像的中心区域，确定检测框在设定方向上相对图像中心的偏移量大于偏移量阈值，则根据偏移量与设定的第一系数之间的乘积，确定在设定方向上的第一速度参数，进入步骤204。
在本实施例的一种实现方式中，若检测框在设定方向上相对图像中心的偏移量大于偏移量阈值，其中，偏移量阈值可以是预先设定的，则根据偏移量与设定的第一系数之间的乘积，确定在设定方向上的第一速度参数，实现了基于偏移量阈值，确定检测框在设定方向上相对图像中心的偏移量大于偏移量阈值时，可确定云台在设定方向上的第一速度参数，在设定方向上控制云台以第一速度参数运动，使得云台快速跟随目标对象进行移动。
例如，设定的第一系数为kff，第一速度参数为Vcmd0，偏移量为dv，则第一速度参数Vcmd0＝kff*dv。
步骤203，若检测框未处于图像的中心区域，确定检测框在设定方向上相对图像中心的偏移量小于或等于偏移量阈值，则确定在设定方向上第一速度参数取值为零，进入步骤204。
在本实施例的另一种实现方式中，若检测框在设定方向上相对图像中心的偏移量小于或等于偏移量阈值，则确定在设定方向上第一速度参数取值为零。
步骤204，控制云台在设定方向上以第一速度参数运动。
本实施例的云台控制方法中，确定获取到的检测框未处于图像的中心区域，若确定检测框在设定方向上相对图像中心的偏移量大于偏移量阈值，则根据偏移量与设定的第一系数之间的乘积，确定在设定方向上的第一速度参数，控制云台以第一速度参数运动，实现了基于偏移量阈值，确定检测框偏离图像中心区域较大，从而可根据计算得到的第一速度参数，控制云台运动，快速纠正检测框在设定方向上相对图像中心的较大偏移量，也就是说使得云台快速跟随目标对象进行移动，可实现焦点跟随；若确定检测框在设定方向上相对图像中心的偏移量小于或等于偏移量阈值，则确定在设定方向上第一速度参数取值为零，根据取值为零的第一速度参数，控制云台以第一速度参数运动，即控制云台不运动。
基于上一实施例，本实施例提供了另一种实现方式，说明了为了提高云台控制的准确度，根据第一速度参数，确定目标速度参数，并控制云台在设定方向上以目标速度参数运动。图3为本申请实施例提供的另一种云台控制方法的流程示意图。
如图3所示，该方法包括以下步骤：
步骤301，获取目标图像中目标对象的检测框，其中，目标图像，通过云台承载的图像传感器采集。
步骤302，若检测框未处于图像的中心区域，确定检测框在设定方向上相对图像中心的偏移量大于偏移量阈值，则根据偏移量与设定的第一系数之间的乘积，确定在设定方向上的第一速度参数，进入步骤304。
步骤303，若检测框未处于图像的中心区域，确定检测框在设定方向上相对图像中心的偏移量小于或等于偏移量阈值，则确定在设定方向上第一速度参数取值为零，进入步骤304。
步骤304，根据第一速度参数，确定目标速度参数。
目标速度参数，是第二速度参数和第三速度参数中至少一个速度参数与第一速度参数之和。其中，第二速度参数，是根据偏移量与设定的第二系数之间的乘积确定的；第三速度参数，是根据多个历史采集图像中的检测框在设定方向上相对图像中心的偏移量确定的。
本实施例中，确定检测框未处于图像的中心区域。如图4所示，图4中是以设定方向为垂直方向Y方向，第一速度参数、第二速度参数和第三速度参数分别由前馈环节、比例环节和积分环节确定为例进行说明，其中，水平方向与垂直方向实现原理相同，本实施例中不再赘述。
如图4所示，目标速度参数是第二速度参数、第三速度参数与第一速度参数之和。其中，第一速度参数Vcmd0是前馈环节确定的，其中，前馈环节预先确定了用于确定偏移量大小的偏移量阈值，用于快速确定检测框在垂直方向上相对图像中心的偏移量是否大于偏移量阈值。第二速度参数Vcmd1是比例环节确定的，第三速度参数Vcmd2是积分环节确定的。
在一种场景下，若确定偏移量大于偏移量阈值，则确定检测框偏移图像中心较大，确定第一速度参数取值为非零值，其中，第一速度参数Vcmd0＝kff*dv。作为一种可能的实现方式，本实施例中利用比例环节确定的第二速度参数和积分环节确定的第三速度参数，与非零值的第一速度参数进行相加，确定目标速度参数；作为另一种可能的实现方式，利用比例环节确定的第二速度参数与非零值的第一速度参数进行相加，确定目标速度参数；作为又一种可能的实现方式，利用积分环节确定的第三速度参数与非零值的第一速度参数进行相加，确定目标速度参数，进而控制云台以目标速度参数运动，快速纠正检测框在垂直方向上相对图像中心的偏移量，也就是说使得云台快速跟随目标的移动。
在另一种场景下，若确定偏移量小于或等于偏移量阈值，则第一速度参数取值为零，即Vcmd0＝0，而在这种情况下，为了提高云台对目标对象的跟踪效果，需要控制云台运动以对检测框在图像中的位置进行微调，从而，作为第一种实现方式，利用比例环节确定的第二速度参数和积分环节确定的第三速度参数，与取值为零值的第一速度参数进行相加，确定目标速度参数；作为第二种实现方式，利用比例环节确定的第二速度参数与取值为零值的第一速度参数进行相加，确定目标速度参数；作为第三种可能的实现方式，利用积分环节确定的第三速度参数，与取值为零值的第一速度参数进行相加，确定目标速度参数，进而控制云台以目标速度参数运动，实现对云台进行微调，以进行精细控制。
其中，第二速度参数，是根据偏移量与设定的第二系数之间的乘积确定的，其中，第二系数是预先设定的，记为Kp，第二速度参数Vcmd1＝Kp*dv
其中，第三速度参数，是根据多个历史采集图像中的检测框在设定方向上相对图像中心的偏移量，确定总偏移量，根据总偏移量与设定的第三系数之间的乘积，确定第三速度参数。如图4所示，其中，dv是检测框在设定方向上相对图像中心的偏移量，缓存的最近300ms的dv数据，即多个历史采集图像中的检测框在设定方向上相对图像中心的偏移量，其中，[t(N-1),dv(N-1)]，即为在t(N-1)秒的历史采集图像中的检测框在设定方向上相对图像中心的偏移量dv(N-1)，N为大于等于1的自然数。进而，确定总偏移量Sum(N)＝dv(0)+dv(1)+……+dv(N-1),则第三速度参数Vcmd2＝Ki*Sum(N)。
步骤305，控制云台在设定方向上以目标速度参数运动。
本实施例中，目标速度参数是基于第一速度参数，以及第二速度参数和第三速度参数中的至少一个相加确定的，满足了不同场景下对云台运动的控制，使得基于云台的运动，实现了对检测框位置的精准调整。
本实施例的云台控制方法中，在检测框未处于图像的中心区域时，根据检测框在设定方向上相对图像中心的偏移量，根据第一速度参数，和第二速度参数和第三速度参数中的至少一个的和确定的目标速度参数，控制云台在设定方向上以目标速度参数运动，使得在偏移量大于偏移量阈值时，可快速调整云台跟随目标的移动，在偏移量大于设定阈值时，虽然偏移量可能较小，仍可以对云台进行微调。
基于上述实施例，本实施例提供了一种可能的实现方式，上述步骤305之前，还可以包含以下步骤：
根据目标距离对目标速度参数进行修正；
其中，目标距离，是图像传感器与目标对象之间的距离。
本实施例中，在一种场景下，若目标对象距离图像传感器之间的目标距离较远，根据目标距离对目标速度参数进行修正，使得控制云台根据修正后的目标速度参数迅速运动，以避免目标对象跟踪丢失；在另一种场景下，若目标对象距离图像传感器之间的距离较近，根据目标距离对目标速度参数进行修正，使得控制云台根据修正后的目标速度参数缓慢运动，以便于和目标对象的交互，提高交互效果。
作为一种实现方式，设置距离指数，例如，距离指数为0.1，根据目标距离和距离指数，确定距离修正系数，其中，目标距离越远，距离修正系数取值越大。例如，距离修正系数＝目标距离*距离指数，进而，将目标速度参数乘以距离修正系数，得到修正后的目标速度参数，进而根据修正后的目标速度参数控制云台运动，提高了运动运动控制的可靠性。
基于上述实施例，本实施例提供了一种可能的实现方式，图5为本申请实施例提供的另一种云台控制方法的流程示意图，如图5所示，步骤101和201和301，包含以下步骤：
步骤501，对目标图像中的目标对象进行跟踪，以得到目标图像中的候选框。
本实施例中，基于目标跟踪算法，在目标图像中对目标对象进行跟踪，并对跟踪检测到的目标对象通过矩形框进行标识，以得到目标图像中的候选框。例如，如图6所示，目标对象为目标人脸，人脸候选框用(x,y,w,h)表示，其中，(x，y)是候选框对应的矩形框左上顶点在像素坐标系中的坐标位置，(w，h)是候选框对应的矩形框的尺寸，其中，w为宽，h为高。
需要说明的是，在人脸跟踪的场景下，采用人脸跟踪的视觉算法，确定的目标图像中的候选框为一个。
步骤502，根据多个历史采集图像中目标对象的检测框，对目标图像中的目标对象进行位置预测，以得到目标图像中的预测框。
由于目标跟踪算法在确定候选框时，候选框存在跳变误差和噪声问题，为了解决目标跟踪时确定的候选框存在的跳变误差和噪声问题，本实施例中根据多个历史采集图像中目标对象的检测框，对目标对象进行位置预测，以得到目标图像中的预测框，其中，预测框包含预测框在图像中的位置和尺寸。
步骤503，根据预测框与候选框之间的差异，确定目标图像中目标对象的检测框。
本实施例中，确定目标图像中目标对象的检测框，需要确定检测框在目标图像中的坐标位置和尺寸。以目标对象为目标人脸为例进行说明。
作为一种可能的实现方式，设置前置滤波器，如图6所示，基于目标人脸的候选框和基于历史数据确定的目标人脸的预测框，对对应的位置和尺寸进行滤波，以确定目标人脸的检测框的位置和尺寸。
本实施例中，分别针对如何确定目标图像中目标人脸的检测框在目标图像中的坐标位置和尺寸进行说明。
其中，确定目标人脸的检测框在目标图像中的位置(x_new，y_new)，由于坐标x_new和坐标y_new分别指示了检测框在设定方向上的位置，确定方法相同，本实施例中以确定设定方向Y方向上的位置y_new为例，进行说明。
在本实施例的一种实现方式中，获取多个历史采集图像中检测框的数据，例如，缓存最近300毫秒中，各历史采集图像中检测框在Y方向上的坐标数据表示为[t(0),y1(0)],[t(1),y1(1)],[t(2),y1(2)],……,[t(N-1),y1(N-1)]，并进行归一化处理，进而，在Y方向上，采用线性最小二乘法对滤波器队列中N个历史采集图像中的检测框的坐标位置进行拟合，确定基于N个历史采集图像确定的目标图像中的预测框在设定方向上的坐标位置y预，如图7所示，在Y方向上，取拟合结果的截距b作为当前时刻目标人脸的预测框的位置，表示为y预＝b。进一步，将目标图像中的候选框在Y方向上的位置与基于历史数据预测得到的目标图像中的预测框在Y方向上的位置的差值，与第一阈值进行比较，其中，作为一种实现方式，第一阈值根据多个历史采集图像中的检测框在设定方向上的坐标位置标准差确定，例如，计算N个历史采集图像中的检测框在Y方向上的坐标位置标准差vy，设定第一阈值为3倍的标准差，即第一阈值为3vy。若确定Y方向上的位置差值小于第一阈值，则说明基于人脸跟踪确定的目标图像中的目标人脸的候选框没有发生跳变，则在设定方向Y方向上，将候选框的坐标位置y的值作为检测框的坐标位置y_new的值。若确定Y方向上的位置差值大于第一阈值，则说明基于人脸跟踪确定的目标图像中的目标人脸的候选框发生了跳变，则在设定方向Y方向上，将预测框的坐标位置y预作为检测框的坐标位置y_new。同理，可在设定方向X方向上，可确定目标人脸的检测框的坐标位置x_new。
其中，确定目标人脸的检测框在目标图像中的尺寸(w_new，h_new)，由于w_new和h_new分别指示了目标人脸的检测框在设定方向X方向和Y方向上的尺寸，确定方法相同，本实施例中以确定设定方向Y方向上的尺寸h_new为例，进行说明。
在本实施例的一种实现方式中，获取多个历史采集图像中检测框的数据，例如，缓存最近300毫秒中，各历史采集图像中检测框在Y方向上的尺寸数据，分别表示为[t(0),h1(0)],[t(1),h1(1)],[t(2),h1(2)],……,[t(N-1),h1(N-1)]，并进行归一化处理，进而，确定滤波器队列中N个历史采集图像中的检测框在Y方向上的尺寸的平均值ha，作为基于N个历史采集图像确定的目标图像中的目标人脸的预测框在设定方向上的尺寸。进一步，将预测得到的目标图像中的目标人脸的预测框在Y方向上的尺寸与目标图像中的目标人脸的候选框在Y方向上的尺寸的差值，与第二阈值进行比较，其中，作为一种实现方式，第二阈值是根据目标图像中目标人脸的检测框在设定方向上的坐标位置确定的，也就是说检测框在目标图像中距离中心区域越远，则跳变的可能性越大，例如，确定的检测框在Y方向上的坐标位置为y_new，设定滤波器阈值为0.2，则第二阈值为0.2*y_new；或者，确定的检测框在X方向上的坐标位置为x_new，设定滤波器阈值为0.2，则第二阈值为0.2*x_new。若确定Y方向上的尺寸差值小于第二阈值，则说明基于人脸跟踪确定的目标图像中的目标人脸的候选框没有发生跳变，则将Y方向上候选框的尺寸作为检测框的尺寸。同理，可确定检测框在设定方向X方向上的尺寸w_new。若确定Y方向上的尺寸差值大于或等于第二阈值，则说明基于人脸跟踪确定的目标图像中的目标人脸的候选框发生了跳变，则将设定方向上预测框的尺寸作为检测框的尺寸。同理，可确定检测框在设定方向X方向上的尺寸w_new。
从而，确定目标图像的检测框为(x_new,y_new,w_new,h_new),如图6所示，示出了确定的目标人脸的检测框(x_new,y_new,w_new,h_new)，在云台承载的摄像头的视野，即采集的图像中的坐标位置和尺寸。
本实施例中，对目标图像中的目标对象进行跟踪，以得到目标图像中的候选框，根据多个历史采集图像中目标对象的检测框，对目标图像中的目标对象进行位置预测，以得到目标图像中的预测框，根据预测框与候选框之间的差异，确定目标图像中目标对象的检测框，实现了基于获取的候选框和检测框，利用设置的滤波器，确定目标图像的检测框的位置，以去除大幅度的跳变，并基于设置的滤波器，确定目标图像的检测框的尺寸，以去除噪声带来的抖动，提高了目标图像中检测框位置和尺寸确定的准确性。
为了实现上述实施例，本申请还提出一种云台控制装置。
图8为本申请实施例提供的一种云台控制装置的结构示意图。
如图8所示，该装置包括：获取模块61、确定模块62和控制模块63。
获取模块61，用于获取目标图像中目标对象的检测框；其中，目标图像，通过云台承载的图像传感器采集。
确定模块62，用于若检测框未处于图像的中心区域，则根据检测框在设定方向上相对图像中心的偏移量，确定在设定方向上的第一速度参数。
控制模块63，用于根据在设定方向上的所述第一速度参数，控制云台的运动。
进一步地，在本申请实施例的一种可能的实现方式中，确定模块62，具体用于：
若所述检测框在所述设定方向上相对所述图像中心的偏移量大于偏移量阈值，则根据所述偏移量与设定的第一系数之间的乘积，确定在所述设定方向上的所述第一速度参数；若所述检测框在所述设定方向上相对所述图像中心的偏移量小于或等于所述偏移量阈值，则确定在所述设定方向上所述第一速度参数取值为零。
在本申请实施例的一种可能的实现方式中，控制模块63，包括：
第一确定单元，用于根据所述第一速度参数，确定目标速度参数；其中，所述目标速度参数，是第二速度参数和第三速度参数中至少一个速度参数与所述第一速度参数之和；所述第二速度参数，是根据所述偏移量与设定的第二系数之间的乘积确定的；所述第三速度参数，是根据多个历史采集图像中的检测框在所述设定方向上相对所述图像中心的偏移量确定的。
控制单元，用于控制所述云台在所述设定方向上以所述目标速度参数运动。
在本申请实施例的一种可能的实现方式中，确定模块62，具体用于：
根据多个历史采集图像中的检测框在设定方向上相对所述图像中心的偏移量，确定总偏移量；根据所述总偏移量与设定的第三系数之间的乘积，确定所述第三速度参数。
在本申请实施例的一种可能的实现方式中，控制模块63，还包括：
修正单元，用于根据目标距离对所述目标速度参数进行修正；
其中，所述目标距离，是所述图像传感器与所述目标对象之间的距离。
在本申请实施例的一种可能的实现方式中，所述获取模块61，包括：
识别单元，用于对所述目标图像中的目标对象进行跟踪，以得到所述目标图像中的候选框；
预测单元，用于根据多个历史采集图像中所述目标对象的检测框，对所述目标图像中的所述目标对象进行位置预测，以得到所述目标图像中的预测框；
第二确定单元，用于根据所述预测框与所述候选框之间的差异，确定所述目标图像中目标对象的检测框。
在本申请实施例的一种可能的实现方式中，第二确定单元，具体用于：
若所述预测框与所述候选框在所述设定方向上的位置差值小于第一阈值，则在所述设定方向上将所述候选框的坐标位置作为所述检测框的坐标位置；
若所述预测框与所述候选框在所述设定方向上的位置差值大于或等于所述第一阈值，则在所述设定方向上将所述预测框的坐标位置作为所述检测框的坐标位置。
在本申请实施例的一种可能的实现方式中，所述第一阈值，是根据所述多个历史采集图像中的检测框在所述设定方向上的坐标位置标准差确定的。
在本申请实施例的一种可能的实现方式中，第二确定单元，具体用于：
若所述预测框与所述候选框在所述设定方向上的尺寸差值小于第二阈值，则在所述设定方向上将所述候选框的尺寸作为所述检测框的尺寸；
若所述预测框与所述候选框在所述设定方向上的尺寸差值大于或等于所述第二阈值，则在所述设定方向上将所述预测框的尺寸作为所述检测框的尺寸。
在本申请实施例的一种可能的实现方式中，所述第二阈值，是根据所述目标图像中所述检测框在所述设定方向上的坐标位置确定的。
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
为了实现上述实施例，本申请实施例提出了一种电子设备，包括云台和所述云台所承载的图像传感器，所述电子设备还包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如前述方法实施例所述的云台控制方法。
该电子设备具体可以但不限于为机器人设备。
为了实现上述实施例，本申请实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述方法实施例所述的云台控制方法。
为了实现上述实施例，本申请实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，实现如前述方法实施例所述的云台控制方法。
图9示出了适于用来实现本申请实施方式的示例性电子设备的框图。图9显示的电子设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种云台控制方法，其特征在于，包括以下步骤：
获取目标图像中目标对象的检测框；其中，所述目标图像，通过云台承载的图像传感器采集；
若所述检测框未处于所述图像的中心区域，则根据所述检测框在设定方向上相对所述图像中心的偏移量，确定在所述设定方向上的第一速度参数；
根据在所述设定方向上的所述第一速度参数，控制所述云台的运动。
2.根据权利要求1所述的云台控制方法，其特征在于，所述根据所述检测框在设定方向上相对所述图像中心的偏移量，确定在所述设定方向上的第一速度参数，包括：
若所述检测框在所述设定方向上相对所述图像中心的偏移量大于偏移量阈值，则根据所述偏移量与设定的第一系数之间的乘积，确定在所述设定方向上的所述第一速度参数；
若所述检测框在所述设定方向上相对所述图像中心的偏移量小于或等于所述偏移量阈值，则确定在所述设定方向上所述第一速度参数取值为零。
3.根据权利要求1所述的云台控制方法，其特征在于，所述根据在所述设定方向上的所述第一速度参数，控制所述云台的运动，包括：
根据所述第一速度参数，确定目标速度参数；其中，所述目标速度参数，是第二速度参数和第三速度参数中至少一个速度参数与所述第一速度参数之和；所述第二速度参数，是根据所述偏移量与设定的第二系数之间的乘积确定的；所述第三速度参数，是根据多个历史采集图像中的检测框在所述设定方向上相对所述图像中心的偏移量确定的；
控制所述云台在所述设定方向上以所述目标速度参数运动。
4.根据权利要求3所述的云台控制方法，其特征在于，所述方法还包括：
根据多个历史采集图像中的检测框在所述设定方向上相对所述图像中心的偏移量，确定总偏移量；
根据所述总偏移量与设定的第三系数之间的乘积，确定所述第三速度参数。
5.根据权利要求3所述的云台控制方法，其特征在于，所述控制所述云台在所述设定方向上以所述目标速度参数运动之前，还包括：
根据目标距离对所述目标速度参数进行修正；
其中，所述目标距离，是所述图像传感器与所述目标对象之间的距离。
6.根据权利要求1-5任一项所述的云台控制方法，其特征在于，所述获取目标图像中目标对象的检测框，包括：
对所述目标图像中的所述目标对象进行跟踪，以得到所述目标图像中的候选框；
根据多个历史采集图像中所述目标对象的检测框，对所述目标图像中的所述目标对象进行位置预测，以得到所述目标图像中的预测框；
根据所述预测框与所述候选框之间的差异，确定所述目标图像中所述目标对象的检测框。
7.一种云台控制装置，其特征在于，包括：
获取模块，用于获取目标图像中目标对象的检测框；其中，所述目标图像，通过云台承载的图像传感器采集；
确定模块，用于若所述检测框未处于所述图像的中心区域，则根据所述检测框在设定方向上相对所述图像中心的偏移量，确定在所述设定方向上的第一速度参数；
控制模块，用于根据在所述设定方向上的所述第一速度参数，控制所述云台的运动。
8.一种机器人设备，其特征在于，包括云台和所述云台所承载的图像传感器，所述机器人设备还包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-6中任一所述的云台控制方法。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的云台控制方法。
10.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令由处理器执行时，执行如权利要求1-6中任一所述的云台控制方法。
CN202110120789.4A 2021-01-28 2021-01-28 云台控制方法、装置和机器人设备 Pending CN114815912A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110120789.4A CN114815912A (zh) 2021-01-28 2021-01-28 云台控制方法、装置和机器人设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110120789.4A CN114815912A (zh) 2021-01-28 2021-01-28 云台控制方法、装置和机器人设备

Publications (1)

Publication Number Publication Date
CN114815912A true CN114815912A (zh) 2022-07-29

Family

ID=82525371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110120789.4A Pending CN114815912A (zh) 2021-01-28 2021-01-28 云台控制方法、装置和机器人设备

Country Status (1)

Country Link
CN (1) CN114815912A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116540252A (zh) * 2023-07-06 2023-08-04 上海云骥跃动智能科技发展有限公司 基于激光雷达的速度确定方法、装置、设备及存储介质
CN116935074A (zh) * 2023-07-25 2023-10-24 苏州驾驶宝智能科技有限公司 基于深度亲和网络自适应关联的多目标跟踪方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285850A (ja) * 2000-03-30 2001-10-12 Nec Corp 自動追尾装置、自動追尾方法及び自動追尾プログラムを記録した記録媒体
CN102143324A (zh) * 2011-04-07 2011-08-03 天津市亚安科技电子有限公司 一种云台自动平滑跟踪目标的方法
EP2402905A1 (en) * 2010-06-30 2012-01-04 Ajou University Industry-Academic Cooperation Foundation Apparatus and method for actively tracking multiple moving objects using a monitoring camera
CN103631698A (zh) * 2013-12-20 2014-03-12 中安消技术有限公司 一种用于目标跟踪的摄像机ptz控制方法和装置
CN110221626A (zh) * 2019-06-06 2019-09-10 睿魔智能科技（深圳）有限公司 一种跟拍控制方法、装置、计算机设备及存储介质
CN111161446A (zh) * 2020-01-10 2020-05-15 浙江大学 一种巡检机器人的图像采集方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285850A (ja) * 2000-03-30 2001-10-12 Nec Corp 自動追尾装置、自動追尾方法及び自動追尾プログラムを記録した記録媒体
EP2402905A1 (en) * 2010-06-30 2012-01-04 Ajou University Industry-Academic Cooperation Foundation Apparatus and method for actively tracking multiple moving objects using a monitoring camera
CN102143324A (zh) * 2011-04-07 2011-08-03 天津市亚安科技电子有限公司 一种云台自动平滑跟踪目标的方法
CN103631698A (zh) * 2013-12-20 2014-03-12 中安消技术有限公司 一种用于目标跟踪的摄像机ptz控制方法和装置
CN110221626A (zh) * 2019-06-06 2019-09-10 睿魔智能科技（深圳）有限公司 一种跟拍控制方法、装置、计算机设备及存储介质
CN111161446A (zh) * 2020-01-10 2020-05-15 浙江大学 一种巡检机器人的图像采集方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116540252A (zh) * 2023-07-06 2023-08-04 上海云骥跃动智能科技发展有限公司 基于激光雷达的速度确定方法、装置、设备及存储介质
CN116540252B (zh) * 2023-07-06 2023-09-26 上海云骥跃动智能科技发展有限公司 基于激光雷达的速度确定方法、装置、设备及存储介质
CN116935074A (zh) * 2023-07-25 2023-10-24 苏州驾驶宝智能科技有限公司 基于深度亲和网络自适应关联的多目标跟踪方法及装置
CN116935074B (zh) * 2023-07-25 2024-03-26 苏州驾驶宝智能科技有限公司 基于深度亲和网络自适应关联的多目标跟踪方法及装置

Similar Documents

Publication Publication Date Title
US10404917B2 (en) One-pass video stabilization
US7881497B2 (en) Vision based navigation and guidance system
US9264616B2 (en) Image capturing apparatus, method of controlling the same, and storage medium for correcting image blurring of a captured image
US10659676B2 (en) Method and apparatus for tracking a moving subject image based on reliability of the tracking state
WO2017045315A1 (zh) 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
US20150085138A1 (en) Image capturing apparatus and image capturing method
CN114815912A (zh) 云台控制方法、装置和机器人设备
CN112703533A (zh) 对象跟踪
US10003722B2 (en) Method and system for mimicking human camera operation
KR20110023472A (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
US20140320680A1 (en) Image capturing apparatus and method of controlling the same
US10200601B2 (en) Image stabilization apparatus that enables highly accurate image stabilization when panning shot capturing is performed, method for controlling the same, and storage medium
US10594939B2 (en) Control device, apparatus, and control method for tracking correction based on multiple calculated control gains
US11394870B2 (en) Main subject determining apparatus, image capturing apparatus, main subject determining method, and storage medium
JP6865064B2 (ja) 移動体の位置推定装置及び方法
KR20180029898A (ko) 개선된 모니터링 카메라 방향 제어
US9165364B1 (en) Automatic tracking image pickup system
US10212364B2 (en) Zoom control apparatus, image capturing apparatus and zoom control method
KR20100041172A (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
JP2008021266A (ja) 顔向き検出装置、顔向き検出方法、および顔向き検出プログラム
JP2006295707A (ja) 画像再生装置及び像ブレ補正プログラム
EP3718302B1 (en) Method and system for handling 360 degree image content
US8400515B2 (en) Image correction processing apparatus and method
JP2021018376A (ja) 装置、撮像装置、移動体、方法、及びプログラム
US20220130057A1 (en) Image processing device, image processing method, and image processing program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination