CN110221626B - 一种跟拍控制方法、装置、计算机设备及存储介质 - Google Patents

一种跟拍控制方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110221626B
CN110221626B CN201910492552.1A CN201910492552A CN110221626B CN 110221626 B CN110221626 B CN 110221626B CN 201910492552 A CN201910492552 A CN 201910492552A CN 110221626 B CN110221626 B CN 110221626B
Authority
CN
China
Prior art keywords
offset
vertical
horizontal
movement amount
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910492552.1A
Other languages
English (en)
Other versions
CN110221626A (zh
Inventor
王禹
张明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RUIMO INTELLIGENT TECHNOLOGY (SHENZHEN) Co.,Ltd.
Original Assignee
Ruimo Intelligent Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruimo Intelligent Technology Shenzhen Co ltd filed Critical Ruimo Intelligent Technology Shenzhen Co ltd
Priority to CN201910492552.1A priority Critical patent/CN110221626B/zh
Publication of CN110221626A publication Critical patent/CN110221626A/zh
Application granted granted Critical
Publication of CN110221626B publication Critical patent/CN110221626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种跟拍控制方法、装置、计算机设备及存储介质。该方法包括：获取目标边界框水平中心和画面水平中心之间的水平偏移量和目标边界框竖直中心和画面竖直中心之间的竖直偏移量；根据所述水平偏移量和竖直偏移量计算云台的水平移动量和竖直移动量；根据所述水平移动量和竖直移动量控制所述云台移动。本发明根据目标边界框来控制云台的移动，以实现目标的自动跟拍，达到良好的构图效果。

Description

一种跟拍控制方法、装置、计算机设备及存储介质
技术领域
本发明涉及摄像技术领域，尤其涉及一种跟拍控制方法、装置、计算机设备及存储介质。
背景技术
随着深度学习技术的广泛应用，从拍摄的图像中获取人像边界框或人脸边界框已经是一件毫无困难的事情。但是，如何根据边界框调整云台的旋转角度进行目标对象的跟拍仍旧是一个比较棘手的问题。
现有技术中是直接将人脸边界框置于整个画面的中心(或中心偏上)位置，但采用这种控制方法有比较明显的缺点：一是对拍摄对象的动作不够敏感，当拍摄对象四肢有动作时，由于其脸部位置未变，拍摄画面不变，因此四肢的动作可能会超出拍摄画面；二是对拍摄对象的运动做了限制，当拍摄对象转身时，由于观察不到脸部，拍摄设备只能保持原来的拍摄角度不变，因此设备要求拍摄对象不能长时间处于背对状态，并且若处于背对状态则不能大范围移动；三是对拍摄对象的尺寸估计存在一定难度，当拍摄对象侧身时，人脸边界框是形变的，拍摄设备很难准确估计此时真正的拍摄对象的尺度，因此很难设定一个合理的焦距值。
发明内容
基于此，本发明提供一种跟拍控制方法、装置、设备及存储介质，根据目标边界框来控制云台的移动，以实现目标的自动跟拍，达到良好的构图效果。
为解决上述技术问题，本发明采用以下技术方案：
第一方面，本发明提供了一种跟拍控制方法，该跟拍控制方法包括：
获取目标边界框水平中心和画面水平中心之间的水平偏移量和目标边界框竖直中心和画面竖直中心之间的竖直偏移量；
根据所述水平偏移量和竖直偏移量计算云台的水平移动量和竖直移动量；
根据所述水平移动量和竖直移动量控制所述云台移动。
进一步的，根据所述水平偏移量和竖直偏移量计算云台的水平移动量和竖直移动量包括：
根据
Figure BDA0002087513150000021
计算云台的水平移动量和竖直移动量；
其中，a表示水平偏移量或者竖直偏移量，当a表示水平偏移量时，b表示云台的水平移动量，当a表示竖直偏移量时，b表示云台的竖直移动量，n表示死区畸变系数，死区范围为(-a0,a0)，且
Figure BDA0002087513150000022
进一步的，根据所述水平偏移量计算云台的水平移动量包括：
当a＝x1+x2-1时，根据
Figure BDA0002087513150000023
计算得到云台的水平移动量b，其中，所述目标边界框左边沿和所述画面左边沿的距离为x1，所述目标边界框右边沿和所述画面右边沿的距离为1-x2。
进一步的，根据所述竖直偏移量计算云台的竖直移动量包括：
当a＝y1+y2-1-2δ时，根据
Figure BDA0002087513150000031
计算得到云台的竖直移动量b，其中，所述目标边界框上边沿和所述画面上边沿的距离为y1，所述目标边界框下边沿和所述画面下边沿的距离为1-y2，δ表示所述画面竖直中心的偏移量。
进一步的，还包括：
当所述目标边界框上边沿和所述画面上边沿的距离和/或所述目标边界框下边沿和所述画面下边沿的距离满足预设条件时，根据预设规则确定所述画面竖直中心的偏移量δ。
进一步的，当所述目标边界框上边沿和所述画面上边沿的距离和/或所述目标边界框下边沿和所述画面下边沿的距离满足预设条件时，根据预设规则确定所述画面竖直中心的偏移量δ包括：
当y1＞0.1且1-y2＞0.1时，确定所述画面竖直中心的偏移量δ＝0；
当y1＜0.1且1-y2＜0.1时，确定所述画面竖直中心的偏移量
Figure BDA0002087513150000032
当1-y2＜0.1时，确定所述画面竖直中心的偏移量
Figure BDA0002087513150000033
当y1＜0.1且y1＜1-y2时，确定所述画面竖直中心的偏移量
Figure BDA0002087513150000041
其中，g(x)＝1-x2，0<x<1。
第二方面，本发明提供了一种跟拍控制装置，该跟拍控制装置包括：
获取模块，用于获取目标边界框水平中心和画面水平中心之间的水平偏移量和目标边界框竖直中心和画面竖直中心之间的竖直偏移量；
计算模块，用于根据所述水平偏移量和竖直偏移量计算云台的水平移动量和竖直移动量；
控制模块，用于根据所述水平移动量和竖直移动量控制所述云台移动。
进一步的，所述计算模块具体用于：
根据
Figure BDA0002087513150000042
计算云台的水平移动量和竖直移动量；
其中，a表示水平偏移量或者竖直偏移量，当a表示水平偏移量时，b表示云台的水平移动量，当a表示竖直偏移量时，b表示云台的竖直移动量，n表示死区畸变系数，死区范围为(-a0,a0)，且
Figure BDA0002087513150000043
第三方面，本发明提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的跟拍控制方法。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序包括程序指令，所述程序指令当被执行时实现如上所述的跟拍控制方法。
本发明通过获取目标边界框水平中心和画面水平中心之间的水平偏移量和目标边界框竖直中心和画面竖直中心之间的竖直偏移量；根据所述水平偏移量和竖直偏移量计算云台的水平移动量和竖直移动量；根据所述水平移动量和竖直移动量控制所述云台移动，根据目标边界框来控制云台的移动，以实现目标的自动跟拍，达到良好的构图效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例一中的一种跟拍控制方法的流程图；
图2是本发明实施例二中的一种跟拍控制方法的流程图；
图3是本发明实施例二中的当a0＝0.25，n＝1、2、3、4时的控制曲线图；
图4是本发明实施例二中的(y1,1-y2)和δ之间的关系曲线图；
图5是本发明实施例三中的一种跟拍控制装置的结构示意图；
图6是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例一
图1为本发明实施例一提供的一种跟拍控制方法的流程图，本实施例可适用于跟拍控制的情况，该方法可以由本发明实施例中的跟拍控制装置来执行，该装置可采用软件和/或硬件的方式实现，如图1所示，该方法具体包括如下步骤：
S110，获取目标边界框水平中心和画面水平中心之间的水平偏移量和目标边界框竖直中心和画面竖直中心之间的竖直偏移量。
其中，所述目标边界框为人像边界框，目标边界框可以为只包括一个人物对象的人像边界框，也可以为包括两个或多个人物对象的人像边界框，本发明实施例对此不进行限制。即可以针对一个人物对象进行跟拍，也可以针对两个以上人物对象进行跟拍，使得拍摄的构图效果更佳，提高用户使用体验。
其中，所述目标边界框用于自动识别人脸对焦。
其中，所述画面为当前拍摄的画面，即显示屏显示的图像，所述画面水平中心为画面水平方向的中心；所述画面竖直中心为画面竖直方向的中心。
其中，所述目标边界框水平中心为所述目标边界框水平方向的中心；所述目标边界框竖直中心为目标边界框竖直方向的中心。
具体的，获取目标边界框水平中心和画面水平中心之间的水平偏移量和目标边界框竖直中心和画面竖直中心之间的竖直偏移量，例如可以是，将当前拍摄画面的左上角坐标记为(0,0)，右下角坐标记为(1,1)，人像边界框的左上角坐标记为(x1,y1)，右下角坐标记为(x2,y2)，显然，0<x1<x2<1，0<y1<y2<1。人像边界框可以简单表示为(x1,y1,x2,y2)，则人像边界框的水平中心
Figure BDA0002087513150000071
和画面水平中心0.5之间的水平偏移为
Figure BDA0002087513150000072
人像边界框的竖直中心
Figure BDA0002087513150000073
和画面竖直中心0.5+δ之间的水平偏移为
Figure BDA0002087513150000074
S120，根据所述水平偏移量和竖直偏移量计算云台的水平移动量和竖直移动量。
其中，所述水平偏移量为目标边界框水平中心和画面水平中心之间的偏移量，所述竖直偏移量为目标边界框竖直中心和画面竖直中心之间的偏移量，例如可以是，若人像边界框的水平中心
Figure BDA0002087513150000075
和画面水平中心0.5之间的水平偏移为
Figure BDA0002087513150000076
人像边界框的竖直中心
Figure BDA0002087513150000077
和画面竖直中心0.5+δ之间的水平偏移为
Figure BDA0002087513150000078
则水平偏移量为
Figure BDA0002087513150000079
竖直偏移量为
Figure BDA00020875131500000710
具体的，根据水平偏移量计算云台的水平移动量，根据竖直偏移量计算云台的竖直移动量。例如可以是，若水平偏移量为
Figure BDA00020875131500000711
则根据水平偏移量
Figure BDA00020875131500000712
计算云台的水平移动量；若竖直偏移量为
Figure BDA00020875131500000713
则根据竖直偏移量
Figure BDA0002087513150000081
计算云台的竖直移动量。
S130，根据所述水平移动量和竖直移动量控制所述云台移动。
具体的，根据计算得到的云台的水平移动量和竖直移动量控制所述云台水平移动和竖直移动。
在一个具体的例子中，如果直接将人脸边界框置于整个画面的中心(或中心偏上)位置，那么会出现以下问题：一是对拍摄对象的动作不够敏感，当拍摄对象四肢有动作时，由于其脸部位置未变，拍摄画面不变，因此四肢的动作可能会超出拍摄画面；二是对拍摄对象的运动做了限制，当拍摄对象转身时，由于观察不到脸部，拍摄设备只能保持原来的拍摄角度不变，因此设备要求拍摄对象不能长时间处于背对状态，并且若处于背对状态则不能大范围移动；三是对拍摄对象的尺寸估计存在一定难度，当拍摄对象侧身时，人脸边界框是形变的，拍摄设备很难准确估计此时真正的拍摄对象的尺度，因此很难设定一个合理的焦距值。本实施例将人像边界框作为控制输入量，并以拍摄的画面为基准将边界框归一化。即拍摄的画面的左上角坐标记为(0,0)，右下角坐标记为(1,1)，人像边界框的左上角坐标记为(x1,y1)，右下角坐标记为(x2,y2)，显然，0<x1<x2<1，0<y1<y2<1。人像边界框可以简单表示为(x1,y1,x2,y2)。计算人像边界框的水平中心
Figure BDA0002087513150000082
和画面水平中心0.5之间的偏移
Figure BDA0002087513150000083
拍摄方案在画面的竖直方向上变得较为复杂。通常对人物进行拍摄时，画面在竖直方向是非对称的。特别是当人像不能在画面中整体展示时，一般比较合适的构图是突出人像的头部的拍摄，而忽略人像的腿或脚的拍摄。即用户接受某些场景下拍摄画面中出现人像的完整头部但缺失人像的腿或者脚，但反过来的场景是不能接受的。画面竖直方向上的非对称性可以用竖直参考点的偏置量表示。假设画面竖直中心为0.5+δ(偏置量为δ)，人像边界框的竖直中心
Figure BDA0002087513150000091
和画面竖直中心0.5+δ之间的水平偏移为
Figure BDA0002087513150000092
根据水平偏移量
Figure BDA0002087513150000093
计算云台的水平移动量，根据竖直偏移量
Figure BDA0002087513150000094
计算云台的竖直移动量。根据计算得到的云台的水平移动量
Figure BDA0002087513150000095
和竖直移动量
Figure BDA0002087513150000096
控制所述云台水平移动和竖直移动，使得人物对象位于或接近于画面中心，以实现目标的自动跟拍，达到良好的构图效果，同时也提高了用户的使用体验。
本实施例的技术方案，通过获取目标边界框水平中心和画面水平中心之间的水平偏移量和目标边界框竖直中心和画面竖直中心之间的竖直偏移量；根据所述水平偏移量和竖直偏移量计算云台的水平移动量和竖直移动量；根据所述水平移动量和竖直移动量控制所述云台移动，根据目标边界框来控制云台的移动，以实现目标的自动跟拍，达到良好的构图效果。
实施例二
图2为本发明实施例二中的一种跟拍控制方法的流程图，本实施例以上述实施例为基础进行优化，作为本发明实施例的一种实现形式，本实施例中通过公式
Figure BDA0002087513150000097
计算云台的水平移动量和竖直移动量。下面结合图2，对本发明实施例的跟拍控制方法的上述情况进行说明。
如图2所示，本实施例的方法具体包括如下步骤：
S210，获取目标边界框水平中心和画面水平中心之间的水平偏移量和目标边界框竖直中心和画面竖直中心之间的竖直偏移量。
具体的，拍摄画面的左上角坐标记为(0,0)，右下角坐标记为(1,1)，人像边界框的左上角坐标记为(x1,y1)，右下角坐标记为(x2,y2)，显然，0<x1<x2<1，0<y1<y2<1。人像边界框可以简单表示为(x1,y1,x2,y2)。计算人像边界框的水平中心和画面水平中心0.5之间的偏移，边界框上边沿和画面上边沿的距离y1(简称为上边沿的边距)和边界框下边沿和画面下边沿的距离1-y2(简称为下边沿的边距)，并将这些测量参数映射为云台的x轴和y轴的旋转角度，得到云台的水平移动量和竖直移动量。通常对人物进行拍摄时，画面在水平方向是对称的，即水平方向上一个比较简单的控制算法是控制左边沿的边距x1和右边沿的边距1-x2一致，这等效于控制边界框水平中心和画面水平中心0.5一致。但为了能够拍摄出比较稳定的画面，算法要求在边界框水平中心和画面水平中心之间的偏移小于某个阈值的情况下，云台基本不动作。
S220，根据
Figure BDA0002087513150000101
计算云台的水平移动量和竖直移动量。
其中，a表示水平偏移量或者竖直偏移量，当a表示水平偏移量时，b表示云台的水平移动量，当a表示竖直偏移量时，b表示云台的竖直移动量，n表示死区畸变系数，死区范围为(-a0,a0)，且
Figure BDA0002087513150000102
具体的，将死区范围为(-a0,a0)代入公式
Figure BDA0002087513150000111
得到b0。
具体的，引入死区范围是为了在拍摄的时候准许人物稍微移动，在人物稍微移动的情况下，也能够保持拍摄画面不变，进而保证画面的稳定。
具体的，当a表示水平偏移量时，a＝x1+x2-1，将a＝x1+x2-1带入公式
Figure BDA0002087513150000112
计算得到云台的水平移动量b；当a表示竖直偏移量时，a＝y1+y2-1-2δ，将a＝y1+y2-1-2δ带入公式
Figure BDA0002087513150000113
计算得到云台的竖直移动量b。
可选的，根据所述水平偏移量计算云台的水平移动量包括：
当a＝x1+x2-1时，根据
Figure BDA0002087513150000114
计算得到云台的水平移动量b，其中，所述目标边界框左边沿和所述画面左边沿的距离为x1，所述目标边界框右边沿和所述画面右边沿的距离为1-x2。
可选的，根据所述竖直偏移量计算云台的竖直移动量包括：
当a＝y1+y2-1-2δ时，根据
Figure BDA0002087513150000121
计算得到云台的竖直移动量b，其中，所述目标边界框上边沿和所述画面上边沿的距离为y1，所述目标边界框下边沿和所述画面下边沿的距离为1-y2，δ表示所述画面竖直中心的偏移量。
可选的，还包括：
当所述目标边界框上边沿和所述画面上边沿的距离和/或所述目标边界框下边沿和所述画面下边沿的距离满足预设条件时，根据预设规则确定所述画面竖直中心的偏移量δ。
可选的，当所述目标边界框上边沿和所述画面上边沿的距离和/或所述目标边界框下边沿和所述画面下边沿的距离满足预设条件时，根据预设规则确定所述画面竖直中心的偏移量δ包括：
当y1＞0.1且1-y2＞0.1时，确定所述画面竖直中心的偏移量δ＝0；
当y1＜0.1且1-y2＜0.1时，确定所述画面竖直中心的偏移量
Figure BDA0002087513150000122
当1-y2＜0.1时，确定所述画面竖直中心的偏移量
Figure BDA0002087513150000123
当y1＜0.1且y1＜1-y2时，确定所述画面竖直中心的偏移量
Figure BDA0002087513150000124
其中，g(x)＝1-x2，0<x<1。
具体的，其中g(x)＝1-x2是递减函数，0＜x＜1。
具体的，由于为了保证拍照的画面美观，一般不会把人物头像的顶在拍摄图像的上边沿，需要保证人物的头像和上边沿有一定的距离。因此引入画面竖直中心的偏移量，保持人物头像距离图像的上边沿有一定的距离，进而保证拍摄画面的美观。
需要说明的是，拍摄方案在画面的竖直方向上变得较为复杂。通常对人物进行拍摄时，画面在竖直方向是非对称的。特别是当人像不能在画面中整体展示时，一般比较合适的构图是突出人像的头部的拍摄，而忽略人像的腿或脚的拍摄。即用户接受某些场景下拍摄画面中出现人像的完整头部但缺失人像的腿或者脚，但反过来的场景是不能接受的。这就意味着，该场景下用户要求上边沿边距y1＞0，同时允许下边沿边距1-y2为零。画面竖直方向上的非对称性可以用画面竖直中心的偏置量表示。假设画面竖直中心为0.5+δ(偏置量为δ)，那么当拍摄画面稳定(控制量为零)时目标边界框竖直中心
Figure BDA0002087513150000131
和参考点0.5+δ重合，此时2δ＝y1-(1-y2)。也就是说，如果参考点的偏移量δ得到确定，那么拍摄画面稳定时的上边沿边距y1和下边沿边距1-y2之差就得到了确认。因此拍摄方案在画面竖直方向上只需要定义从边距(y1，1-y2)到参考点偏置δ的映射函数即可。该函数具有以下特征：当上边距较大且下边距较大时，δ约为零。这意味着如果拍摄画面竖直方向能够容纳整个人像时，拍摄方案倾向于将人像居于竖直方向的正中。
方案取当y1＞0.1且1-y2＞0.1时，δ＝0。当上边沿接近于零且上边沿接近于零时，δ取比较大的正值。这意味着如果拍摄画面竖直方向不能容纳整个人像时，云台会控制镜头向上移动，直到上边沿边距非负为止。典型场景为摄像头只拍到人像的部分躯干时，云台会控制镜头继续向上移动，直到拍摄到人像的头部，并且头顶和画面上边沿具有一定距离为止。
方案取当y1＜0.1且1-y2＜0.1时，
Figure BDA0002087513150000141
其中g(x)＝1-x2是递减函数，0＜x＜1。当下边沿边距接近于零时，δ取一个正值。根据2δ＝y1-(1-y2)，正的δ会使上边沿边距为正。典型场景为拍摄近处站立的人像，由于人像距离镜头过近，因此只能拍摄到人像的上半身，此时上边距为正，下边距为零。
方案取1-y2＜0.1时，
Figure BDA0002087513150000142
当上边沿边距接近于零，下边沿边距大于上边沿边距时，δ取比较大的正值。当人像在画面中向上跳跃时，可能会出现上边沿边距急剧缩小直至为零，而下边沿边距迅速增大的情况，在这种情况下，通过设置δ为非负值，可以控制镜头迅速向上移动，用于快速跟踪人像的跳跃运动。
方案取y1＜0.1且y1＜1-y2时，
Figure BDA0002087513150000143
参数(y1，1-y2)可能符合上述条件中的不止一种，算法计算各条件下的δ值，并取其最大者。如图4所示，为(y1，1-y2)和δ之间的关系曲线图。拍摄方案在竖直方向上的控制除了引入参考点偏置以处理非对称之外，其他操作与水平方向相同。在目标边界框竖直中心与竖直参考点之间的偏移较小时，云台的控制量较小，以达到拍摄画面稳定的效果。
本实施例用分段函数设计了带死区的控制曲线，该曲线具有连续导数，且死区大小和畸变程序可由参数控制。从目标边界框上下边沿的边距到画面竖直中心的函数，使拍摄方案在竖直方向不能容纳人像的情况下优先考虑人像的头部。
S230，根据所述水平移动量和竖直移动量控制所述云台移动。
在一个具体的例子中，为此本方案设计了经过归一化的带死区控制曲线：
Figure BDA0002087513150000151
其中，a表示水平偏移量或者竖直偏移量，当a表示水平偏移量时，b表示云台的水平移动量，当a表示竖直偏移量时，b表示云台的竖直移动量，n表示死区畸变系数，死区范围为(-a0,a0)，且
Figure BDA0002087513150000152
可以根据
Figure BDA0002087513150000153
计算得到相应的b0，此时控制曲线由
Figure BDA0002087513150000154
确定，其为一条关于原点中心对称的分段曲线，该曲线在(a0,b0)处连续并且左右导数相同。
具体的，如图3所示，可以发现，n＝1时控制曲线退化为没有死区的直线；随着n的增大，死区部分越来越平坦；如果偏移量
Figure BDA0002087513150000155
较小且落入死区部分，那么产生的控制量接近于零，此时云台基本不动作或者缓慢动作。
需要注意的是，虽然图中取n为整数，但其实n可以为小数(比如2.5)，此时公式
Figure BDA0002087513150000156
仍旧有效，并且具有相同的性质：关于原点中心对称，在分段点(a0,b0)处连续且左右导数相同。
本实施例的技术方案，通过获取目标边界框水平中心和画面水平中心之间的水平偏移量和目标边界框竖直中心和画面竖直中心之间的竖直偏移量；根据
Figure BDA0002087513150000161
计算云台的水平移动量和竖直移动量；根据所述水平移动量和竖直移动量控制所述云台移动，引入带死区的平滑控制曲线，使人像目标边界框的中心与画面参考点的偏移较小时，云台的控制量接近于零，从而达到拍摄画面稳定的效果；通过目标边界框上边沿边距y1和下边沿边距1-y2到竖直参考点0.5+δ的函数，使拍摄画面在竖直方向不能容纳人像的情况下优先考虑人像的头部。
实施例三
图5为本发明实施例三提供的一种跟拍控制装置的结构示意图。本实施例可适用于跟拍控制的情况，该装置可采用软件和/或硬件的方式实现，该装置可集成在任何提供跟拍控制功能的设备中，如图5所示，所述跟拍控制装置具体包括：获取模块310、计算模块320和控制模块330。
其中，获取模块310，用于获取目标边界框水平中心和画面水平中心之间的水平偏移量和目标边界框竖直中心和画面竖直中心之间的竖直偏移量；
计算模块320，用于根据所述水平偏移量和竖直偏移量计算云台的水平移动量和竖直移动量；
控制模块330，用于根据所述水平移动量和竖直移动量控制所述云台移动。
可选的，所述计算模块320具体用于：
根据
Figure BDA0002087513150000171
计算云台的水平移动量和竖直移动量；
其中，a表示水平偏移量或者竖直偏移量，当a表示水平偏移量时，b表示云台的水平移动量，当a表示竖直偏移量时，b表示云台的竖直移动量，n表示死区畸变系数，死区范围为(-a0,a0)，且
Figure BDA0002087513150000172
可选的，所述计算模块320具体用于：
当a＝x1+x2-1时，根据
Figure BDA0002087513150000173
计算得到云台的水平移动量b，其中，所述边界框目标边界框左边沿和所述画面左边沿的距离为x1，所述边界框目标边界框右边沿和所述画面右边沿的距离为1-x2。
可选的，所述计算模块320具体用于：
当a＝y1+y2-1-2δ时，根据
Figure BDA0002087513150000174
计算得到云台的竖直移动量b，其中，所述目标边界框上边沿和所述画面上边沿的距离为y1，所述目标边界框下边沿和所述画面下边沿的距离为1-y2，δ表示所述画面竖直中心的偏移量。
可选的，所述计算模块320还用于：
当所述目标边界框上边沿和所述画面上边沿的距离和/或所述目标边界框下边沿和所述画面下边沿的距离满足预设条件时，根据预设规则确定所述画面竖直中心的偏移量δ。
可选的，所述计算模块320还用于：
当y1＞0.1且1-y2＞0.1时，确定所述画面竖直中心的偏移量δ＝0；
当y1＜0.1且1-y2＜0.1时，确定所述画面竖直中心的偏移量
Figure BDA0002087513150000181
当1-y2＜0.1时，确定所述画面竖直中心的偏移量
Figure BDA0002087513150000182
当y1＜0.1且y1＜1-y2时，确定所述画面竖直中心的偏移量
Figure BDA0002087513150000183
其中，g(x)＝1-x2，0<x<1。
上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
本实施例的技术方案，通过获取目标边界框水平中心和画面水平中心之间的水平偏移量和目标边界框竖直中心和画面竖直中心之间的竖直偏移量；根据所述水平偏移量和竖直偏移量计算云台的水平移动量和竖直移动量；根据所述水平移动量和竖直移动量控制所述云台移动，根据目标边界框来控制云台的移动，以实现目标的自动跟拍，达到良好的构图效果。
实施例四
图6为本发明实施例四中的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图6显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。另外，本实施例中的计算机设备12，显示器24不是作为独立个体存在，而是嵌入镜面中，在显示器24的显示面不予显示时，显示器24的显示面与镜面从视觉上融为一体。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的计算机程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的跟拍控制方法：获取目标边界框水平中心和画面水平中心之间的水平偏移量和目标边界框竖直中心和画面竖直中心之间的竖直偏移量；根据所述水平偏移量和竖直偏移量计算云台的水平移动量和竖直移动量；根据所述水平移动量和竖直移动量控制所述云台移动。
在其中一个实施例中，本发明实施例所提供的一种计算机设备,其计算机程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的跟拍控制方法中的相关操作。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时实现如本申请所有发明实施例提供的跟拍控制方法：获取目标边界框水平中心和画面水平中心之间的水平偏移量和目标边界框竖直中心和画面竖直中心之间的竖直偏移量；根据所述水平偏移量和竖直偏移量计算云台的水平移动量和竖直移动量；根据所述水平移动量和竖直移动量控制所述云台移动。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种跟拍控制方法，其特征在于，包括：
获取目标边界框水平中心和画面水平中心之间的水平偏移量和目标边界框竖直中心和画面竖直中心之间的竖直偏移量；
根据所述水平偏移量和竖直偏移量计算云台的水平移动量和竖直移动量；
根据所述水平移动量和竖直移动量控制所述云台移动；
根据所述水平偏移量和竖直偏移量计算云台的水平移动量和竖直移动量包括：
根据
Figure FDA0003471627510000011
计算云台的水平移动量和竖直移动量；
其中，a表示水平偏移量或者竖直偏移量，当a表示水平偏移量时，b表示云台的水平移动量，当a表示竖直偏移量时，b表示云台的竖直移动量，n表示死区畸变系数，死区范围为(-a0,a0)，且
Figure FDA0003471627510000012
2.根据权利要求1所述的方法，其特征在于，根据所述水平偏移量计算云台的水平移动量包括：
当a＝x1+x2-1时，根据
Figure FDA0003471627510000013
计算得到云台的水平移动量b，其中，所述目标边界框左边沿和所述画面左边沿的距离为x1，所述目标边界框右边沿和所述画面右边沿的距离为1-x2。
3.根据权利要求1所述的方法，其特征在于，根据所述竖直偏移量计算云台的竖直移动量包括：
当a＝y1+y2-1-2δ时，根据
Figure FDA0003471627510000021
计算得到云台的竖直移动量b，其中，所述目标边界框上边沿和所述画面上边沿的距离为y1，所述目标边界框下边沿和所述画面下边沿的距离为1-y2，δ表示所述画面竖直中心的偏移量。
4.根据权利要求3所述的方法，其特征在于，还包括：
当所述目标边界框上边沿和所述画面上边沿的距离和/或所述目标边界框下边沿和所述画面下边沿的距离满足预设条件时，根据预设规则确定所述画面竖直中心的偏移量δ。
5.根据权利要求4所述的方法，其特征在于，当所述目标边界框上边沿和所述画面上边沿的距离和/或所述目标边界框下边沿和所述画面下边沿的距离满足预设条件时，根据预设规则确定所述画面竖直中心的偏移量δ包括：
当y1＞0.1且1-y2＞0.1时，确定所述画面竖直中心的偏移量δ＝0；
当y1＜0.1且1-y2＜0.1时，确定所述画面竖直中心的偏移量
Figure FDA0003471627510000022
当1-y2＜0.1时，确定所述画面竖直中心的偏移量
Figure FDA0003471627510000023
当y1＜0.1且y1＜1-y2时，确定所述画面竖直中心的偏移量
Figure FDA0003471627510000031
其中，g(x)＝1-x2，0＜x＜1。
6.一种跟拍控制装置，其特征在于，包括：
获取模块，用于获取目标边界框水平中心和画面水平中心之间的水平偏移量和目标边界框竖直中心和画面竖直中心之间的竖直偏移量；
计算模块，用于根据所述水平偏移量和竖直偏移量计算云台的水平移动量和竖直移动量；
控制模块，用于根据所述水平移动量和竖直移动量控制所述云台移动；
所述计算模块具体用于：
根据
Figure FDA0003471627510000032
计算云台的水平移动量和竖直移动量；
其中，a表示水平偏移量或者竖直偏移量，当a表示水平偏移量时，b表示云台的水平移动量，当a表示竖直偏移量时，b表示云台的竖直移动量，n表示死区畸变系数，死区范围为(-a0,a0)，且
Figure FDA0003471627510000033
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任一所述的跟拍控制方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序包括程序指令，所述程序指令当被执行时实现如权利要求1-5中任一所述的跟拍控制方法。
CN201910492552.1A 2019-06-06 2019-06-06 一种跟拍控制方法、装置、计算机设备及存储介质 Active CN110221626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910492552.1A CN110221626B (zh) 2019-06-06 2019-06-06 一种跟拍控制方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910492552.1A CN110221626B (zh) 2019-06-06 2019-06-06 一种跟拍控制方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110221626A CN110221626A (zh) 2019-09-10
CN110221626B true CN110221626B (zh) 2022-03-25

Family

ID=67816101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910492552.1A Active CN110221626B (zh) 2019-06-06 2019-06-06 一种跟拍控制方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110221626B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633612B (zh) * 2019-11-20 2020-09-11 中通服创立信息科技有限责任公司 一种巡检机器人的监控方法及系统
CN114815912B (zh) * 2021-01-28 2024-09-27 北京猎户星空科技有限公司 云台控制方法、装置和机器人设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3627301A (en) * 1970-05-04 1971-12-14 Cutters Machine Co Inc Apparatus for aligning a web of patterned sheet material
DE3808972A1 (de) * 1988-03-17 1989-10-05 Hipp Johann F Vorrichtung zur kontinuierlichen verfolgung und positionsmessung eines objektes
JP2007171483A (ja) * 2005-12-21 2007-07-05 Sony Corp 撮像装置およびその制御方法
CN101250888A (zh) * 2007-02-21 2008-08-27 神钢建设机械株式会社 旋转控制装置及设有该装置的作业机械
CN101964872A (zh) * 2009-07-23 2011-02-02 索尼公司 构图确定器件、成像系统、构图确定方法以及程序
CN102013829A (zh) * 2010-10-22 2011-04-13 乌云翔 基于畸变函数修正的变流器的死区时间补偿方法
CN102530055A (zh) * 2010-12-22 2012-07-04 上海联盛汽车电子有限公司 具有双斜率平滑助力曲线的电动助力转向系统
CN203522885U (zh) * 2013-07-11 2014-04-02 汕头大学 自拍控制设备
CN104111662A (zh) * 2014-06-10 2014-10-22 西安应用光学研究所 一种光电跟踪仪自动跟踪状态下的单杆补偿方法
CN104793637A (zh) * 2015-04-08 2015-07-22 北京科技大学 一种移动设备的实时跟踪系统及跟踪方法
CN105156733A (zh) * 2015-07-21 2015-12-16 长飞光纤光缆股份有限公司 一种自动定位控制方法
CN106067944A (zh) * 2015-04-22 2016-11-02 佳能株式会社 控制设备、光学装置、摄像装置及控制方法
CN107864334A (zh) * 2017-11-09 2018-03-30 睿魔智能科技（东莞）有限公司 一种使用深度学习的智能镜头拍摄方法及系统
CN208015847U (zh) * 2018-03-08 2018-10-26 江苏敏佳电子科技股份公司 一种新型重载云台摄像机

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL1036292A1 (nl) * 2007-12-19 2009-06-22 Asml Netherlands Bv Controller for a positioning device, method for controlling a positioning device, positioning device, and lithographic apparatus provided with a positioning device.
JP2015105844A (ja) * 2013-11-29 2015-06-08 株式会社リコー 回転角度検出装置、画像処理装置及び回転角度検出方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3627301A (en) * 1970-05-04 1971-12-14 Cutters Machine Co Inc Apparatus for aligning a web of patterned sheet material
DE3808972A1 (de) * 1988-03-17 1989-10-05 Hipp Johann F Vorrichtung zur kontinuierlichen verfolgung und positionsmessung eines objektes
JP2007171483A (ja) * 2005-12-21 2007-07-05 Sony Corp 撮像装置およびその制御方法
CN101250888A (zh) * 2007-02-21 2008-08-27 神钢建设机械株式会社 旋转控制装置及设有该装置的作业机械
CN101964872A (zh) * 2009-07-23 2011-02-02 索尼公司 构图确定器件、成像系统、构图确定方法以及程序
CN102013829A (zh) * 2010-10-22 2011-04-13 乌云翔 基于畸变函数修正的变流器的死区时间补偿方法
CN102530055A (zh) * 2010-12-22 2012-07-04 上海联盛汽车电子有限公司 具有双斜率平滑助力曲线的电动助力转向系统
CN203522885U (zh) * 2013-07-11 2014-04-02 汕头大学 自拍控制设备
CN104111662A (zh) * 2014-06-10 2014-10-22 西安应用光学研究所 一种光电跟踪仪自动跟踪状态下的单杆补偿方法
CN104793637A (zh) * 2015-04-08 2015-07-22 北京科技大学 一种移动设备的实时跟踪系统及跟踪方法
CN106067944A (zh) * 2015-04-22 2016-11-02 佳能株式会社 控制设备、光学装置、摄像装置及控制方法
CN105156733A (zh) * 2015-07-21 2015-12-16 长飞光纤光缆股份有限公司 一种自动定位控制方法
CN107864334A (zh) * 2017-11-09 2018-03-30 睿魔智能科技（东莞）有限公司 一种使用深度学习的智能镜头拍摄方法及系统
CN208015847U (zh) * 2018-03-08 2018-10-26 江苏敏佳电子科技股份公司 一种新型重载云台摄像机

Also Published As

Publication number Publication date
CN110221626A (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
US11509824B2 (en) Method for tracking target in panoramic video, and panoramic camera
US10691934B2 (en) Real-time visual feedback for user positioning with respect to a camera and a display
US9924104B2 (en) Background-differential extraction device and background-differential extraction method
US10547779B2 (en) Smart image sensor having integrated memory and processor
US20180020158A1 (en) Camera Augmented Reality Based Activity History Tracking
US9131150B1 (en) Automatic exposure control and illumination for head tracking
US9454827B2 (en) Systems, devices and methods for tracking objects on a display
KR20190129947A (ko) 얼굴 이미지 품질을 결정하는 방법과 장치, 전자 기기 및 컴퓨터 저장 매체
US9674438B2 (en) Low light video image stabilization strength modulation
US10659676B2 (en) Method and apparatus for tracking a moving subject image based on reliability of the tracking state
US20100128927A1 (en) Image processing apparatus and image processing method
US20210127059A1 (en) Camera having vertically biased field of view
WO2019200719A1 (zh) 三维人脸模型生成方法、装置及电子设备
WO2019200718A1 (zh) 图像处理方法、装置及电子设备
US20200267309A1 (en) Focusing method and device, and readable storage medium
CN109981972B (zh) 一种机器人的目标跟踪方法、机器人及存储介质
US9436870B1 (en) Automatic camera selection for head tracking using exposure control
CN110221626B (zh) 一种跟拍控制方法、装置、计算机设备及存储介质
CN112153269B (zh) 应用于电子设备的图片显示方法、装置、介质与电子设备
US20200124940A1 (en) Electronic device to autofocus on objects of interest within field-of-view of electronic device
CN112291478A (zh) 一种高空抛坠物的监测方法、装置、设备及存储介质
KR102159803B1 (ko) 촬영 가이드 제공 장치 및 프로그램
WO2022057043A1 (zh) 一种目标跟踪动向投影方法和动向投影设备
CN115706862A (zh) 曝光参数的调节方法、设备和存储介质
EP4080446A1 (en) Cinematic image framing for wide field of view (fov) cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200116

Address after: 518027 Building No. 6, Qianhai Shenzhen-Hong Kong Youth Dream Workshop, Qianhai Shenzhen Cooperation Zone, Shenzhen City, Guangdong Province 220

Applicant after: Rui magic Intelligent Technology (Shenzhen) Co., Ltd.

Applicant after: Dongguan Songshan Lake Robot Research Institute International Company Limited

Address before: 518027 Building No. 6, Qianhai Shenzhen-Hong Kong Youth Dream Workshop, Qianhai Shenzhen Cooperation Zone, Shenzhen City, Guangdong Province 220

Applicant before: Rui magic Intelligent Technology (Shenzhen) Co., Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211101

Address after: 518027 220, building 6, Qianhai Shenzhen Hong Kong youth dream workshop, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen City, Guangdong Province

Applicant after: RUIMO INTELLIGENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Address before: 518027 220, building 6, Qianhai Shenzhen Hong Kong youth dream workshop, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen City, Guangdong Province

Applicant before: RUIMO INTELLIGENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Applicant before: DONGGUAN SONGSHAN LAKE TECHXINSTITUTE Co.,Ltd.

GR01 Patent grant
GR01 Patent grant