CN113364985A - 一种现场直播的镜头跟踪方法、装置及介质 - Google Patents

一种现场直播的镜头跟踪方法、装置及介质 Download PDF

Info

Publication number
CN113364985A
CN113364985A CN202110655429.4A CN202110655429A CN113364985A CN 113364985 A CN113364985 A CN 113364985A CN 202110655429 A CN202110655429 A CN 202110655429A CN 113364985 A CN113364985 A CN 113364985A
Authority
CN
China
Prior art keywords
pen
coordinates
maxx
point
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110655429.4A
Other languages
English (en)
Other versions
CN113364985B (zh
Inventor
陈映庭
陈勇平
郑倩萍
俞翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huiyi Culture Technology Co ltd
Original Assignee
Guangzhou Huiyi Culture Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huiyi Culture Technology Co ltd filed Critical Guangzhou Huiyi Culture Technology Co ltd
Priority to CN202110655429.4A priority Critical patent/CN113364985B/zh
Publication of CN113364985A publication Critical patent/CN113364985A/zh
Application granted granted Critical
Publication of CN113364985B publication Critical patent/CN113364985B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种现场直播的镜头跟踪方法，其包括如下步骤：S1，获取画面中人的手指关节的位置坐标；S2，落笔点预测，获取所述手指关节的有效点的位置坐标，计算落笔点的位置；S3，控制云台和镜头，获取目标屏幕大小,在所述目标屏幕大小小于预设阈值时，放大所述镜头；所述目标屏幕大小大于预设阈值时，则缩小所述镜头；根据落笔点的坐标，控制云台移动，使得目标居中。通过识别手指关节的位置，并根据手指关节的位置预测落笔点的位置，并进而根据落笔点的位置，控制镜头的缩放和移动，从而使得运笔和绘制的过程特写展现出来。

Description

一种现场直播的镜头跟踪方法、装置及介质
技术领域
本发明涉及视频领域，具体来说，涉及一种现场直播的镜头跟踪方法。
背景技术
在艺术创作者分享艺术作品和创作过程中，类似书法、绘画这类文教艺术，在直播一般需要创作者人像画面、作品特写画面、PPT电脑画面等多画面多机位的切换和拼接。参考图1，作品特写画面一般要求跟踪落笔位置，将运笔和绘制的过程特写展现出来。目前大多用手机和摄像机直播的用户，需要一个摄影师助理，将摄像机镜头人工对准，额外增加一个人力资源，并且由于在拍摄过程中摄影师操作可能跟不上落笔位置，使得视频不能很好的过渡。
本文提供的背景描述用于总体上呈现本公开的上下文的目的。除非本文另外指示，在该章节中描述的资料不是该申请的权利要求的现有技术并且不要通过包括在该章节内来承认其成为现有技术。
发明内容
针对相关技术中的上述技术问题，本发明提出一种现场直播的镜头跟踪方法，其包括如下步骤：
S1，获取画面中人的手指关节的位置坐标；
S2，落笔点预测，获取所述手指关节的有效点的位置坐标，计算落笔点的位置；
S3，控制云台和镜头，获取目标屏幕大小,在所述目标屏幕大小小于预设阈值时，放大所述镜头；所述目标屏幕大小大于预设阈值时，则缩小所述镜头；根据落笔点的坐标，控制云台移动，使得目标居中。
进一步的，其中步骤S2包括：所述手指关节中的P4、P8、P12、P20的均为有效点时，所述落笔点的位置OX和OY计算如下：
Figure BDA0003112534920000021
Figure BDA0003112534920000022
Figure BDA0003112534920000023
K2＝MY-K1*MX (4)
XMAX＝maxX； (5)
DX＝maxX-minX； (6)
OX＝XMAX–2*DX (7)
OY＝K1*OX+K2 (8)
其中Wi＝[0.3,1.1,0.8,0.8]，Pn＝P4、P8、P12、P20；Wi为权重系数，Pn表示有效点的集合，Xi和Yi表示对应有效点的X坐标和Y坐标。maxX表示Pn中X坐标最大值，minX表示Pn中X最小值，MX为X坐标数据的加权平均，MY为Y坐标数据的加权平均；K1、K2为握笔走势在屏幕中的一次线性预测参数；XMAX等同maxX，为落笔预测的最右点边界；DX为预测的落笔横坐标区间大小。
进一步的，其中步骤S2包括：所述手指关节中的P5、P9、P13、P17的均为有效点时，所述落笔点的位置OX和OY计算如下：
Figure BDA0003112534920000024
Figure BDA0003112534920000025
Figure BDA0003112534920000026
K2＝MY-K1*MX (4)
XMAX＝maxX； (5)
DX＝maxX-minX； (6)
OX＝XMAX–2*DX (7)
OY＝K1*OX+K2 (8)
其中Wi＝[0.2,1.1,1.0,1.5]，Pn＝P5、P9、P13、P17；Wi为权重系数，Pn表示有效点的集合，Xi和Yi表示对应有效点的X坐标和Y坐标。maxX表示Pn中X坐标最大值，minX表示Pn中X最小值。
进一步的，其中步骤S2包括：所述手指关节中的P5、P9、P13、P17中任意一点或者大于一点为无效点以及P4、P8、P12、P20的中任意一点或者大于一点为无效点，所述落笔点的位置OX和OY计算如下：
OX＝(maxX+minX)/2，OY＝maxY,其中，maxX表示所有有效点中X坐标最大值，minX表示所有有效点中X最小值，maxY表示所有有效点中Y最大值。
进一步的，其中步骤S3包括：所述获取目标屏幕大小S＝DX*3。
进一步的，其中所述根据落笔点的坐标，控制云台移动，使得目标居中，具体为：
获取当前屏幕中心坐标为SX，SY，对水平方向Pan控制：
当OX>SX且OX-SX>SX/8时，顺时针转动；
当SX>OX且SX-OX>SX/8时，逆时针转动。
否则停止转动
水平方向速度控制：
当abs(OX-SX)>SX/2时，以第一速度转动：
当abs(OX-SX)>SX/4时，以第二速度转动；
对于垂直方向Tilt控制：
当OY>SY且OY-SY>SY/8时，向上转动；
当SY>OY且SY-OY>SY/8时，向下转动；
否则停止转动
垂直方向速度控制：
当abs(OY-SY)>SY/2时，以第三速度转动；
当abs(OY-SY)>SY/4时，以第四速度转动。
第二方面，本发明的另一个实施例提供了一种现场直播的镜头跟踪装置，其包括如下模块：
手指关节位置获取模块，用于获取画面中人的手指关节的位置坐标；
落笔点预测模块，用于获取所述手指关节的有效的位置坐标，计算落笔点的位置；
云台和镜头控制模块，用于获取目标屏幕大小,在所述目标屏幕大小小于预设阈值时，放大所述镜头；所述目标屏幕大小大于预设阈值时，则缩小所述镜头；根据落笔点的坐标，控制云台移动，使得目标居中。
进一步的，其中落笔点预测模块，在所述手指关节中的P4、P8、P12、P20的均为有效点时，所述落笔点的位置OX和OY计算如下：
Figure BDA0003112534920000041
Figure BDA0003112534920000042
Figure BDA0003112534920000043
K2＝MY-K1*MX (4)
XMAX＝maxX； (5)
DX＝maxX-minX； (6)
OX＝XMAX–2*DX (7)
OY＝K1*OX+K2 (8)
其中Wi＝[0.3,1.1,0.8,0.8]，Pn＝P4、P8、P12、P20；Wi为权重系数，Pn表示有效点的集合，Xi和Yi表示对应有效点的X坐标和Y坐标。maxX表示Pn中X坐标最大值，minX表示Pn中X最小值。
进一步的，其中落笔点预测模块，在所述手指关节中的P5、P9、P13、P17的均为有效点时，所述落笔点的位置OX和OY计算如下：
Figure BDA0003112534920000051
Figure BDA0003112534920000052
Figure BDA0003112534920000053
K2＝MY-K1*MX (4)
XMAX＝maxX； (5)
DX＝maxX-minX； (6)
OX＝XMAX–2*DX (7)
OY＝K1*OX+K2 (8)
其中Wi＝[0.2,1.1,1.0,1.5]，Pn＝P5、P9、P13、P17；Wi为权重系数，Pn表示有效点的集合，Xi和Yi表示对应有效点的X坐标和Y坐标。maxX表示Pn中X坐标最大值，minX表示Pn中X最小值。
进一步的，其中落笔点预测模块，所述手指关节中的P5、P9、P13、P17中任意一点或者大于一点为无效点以及P4、P8、P12、P20的中任意一点或者大于一点为无效点，所述落笔点的位置OX和OY计算如下：
OX＝(maxX+minX)/2，OY＝maxY,其中，maxX表示所有有效点中X坐标最大值，minX表示所有有效点中X最小值，maxY表示所有有效点中Y最大值。
进一步的，其中所述根据落笔点的坐标，控制云台移动，使得目标居中，具体为：
获取当前屏幕中心坐标为SX，SY，对水平方向Pan控制：
当OX>SX且OX-SX>SX/8时，顺时针转动；
当SX>OX且SX-OX>SX/8时，逆时针转动。
否则停止转动
水平方向速度控制：
当abs(OX-SX)>SX/2时，以第一速度转动：
当abs(OX-SX)>SX/4时，以第二速度转动；
对于垂直方向Tilt控制：
当OY>SY且OY-SY>SY/8时，向上转动；
当SY>OY且SY-OY>SY/8时，向下转动；
否则停止转动
垂直方向速度控制：
当abs(OY-SY)>SY/2时，以第三速度转动；
当abs(OY-SY)>SY/4时，以第四速度转动。
第三方面，本发明的另一个实施例提供了一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行上述现场镜头跟踪方法。
本发明通过识别手指关节的位置，并根据手指关节的位置预测落笔点的位置，并进而根据落笔点的位置，控制镜头的缩放和移动，从而使得运笔和绘制的过程特写展现出来。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是作品特写画面的示意图；
图2是本发明实施例提供的一种现场直播的镜头跟踪方法的流程示意图；
图3是本发明的手指关节示意图；
图4是本发明实施例提供的一种现场直播的镜头跟踪装置示意图；
图5本发明实施例提供的一种现场直播的镜头跟踪设备示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参考附图2，本实施例实现了一种现场直播的镜头跟踪方法，其包括如下步骤：
S1，获取画面中人的手指关节的位置坐标；
由于书法、绘画等笔的形态各异，笔尖由于颜料/墨水的颜色、笔尖材质、运笔力度的不同，特征变化比较大，因此本实施例选择用手指关节跟踪的方法来进行落笔位置判断。具体的手指关节跟踪方法可以采用卷积神经网络来实现，属于本领域中公知的方法，本实施例不在赘述。
参考图3，本实施例对手指的20个关节进行标记，并使用卷积神经网络来识别20个关节。
S2，落笔点预测，获取所述手指关节的位置坐标，计算落笔点的位置OX和OY；
OX为横坐标，OY为纵坐标，其中以画面的左上角为坐标的原点。
由于握笔姿势不同，存在遮挡，由此导致很难识别到所有的20个手指关节的坐标，本实施例将将遮挡情况分为3类：
A.大拇指尖P4、食指尖P8、中指尖P12、小拇指尖P20有效，此种情况表示可以识别到P4、P8、P12、P20的位置坐标；
B.手指关节中的P5食指根关节P5、中指根关节P9、无名指根关节P13、小拇指跟关节P17均有效，此种情况表示可以识别到P5、P9、P13、P17的位置坐标；
C.其他情况，即所述手指关节中的P5、P9、P13、P17中任意一点或者大于一点为无效点以及P4、P8、P12、P20的中任意一点或者大于一点为无效点，所述无效点表示无法识别到对应手指关节的位置坐标；即无法P4、P8、P12、P20、P5、P9、P13、P17中的任意一个的位置坐标。
若是情况A，落笔点坐标(OX，OY)按以下方式计算，其中Wi＝[0.3,1.1,0.8,0.8]，Pn＝P4、P8、P12、P20。
若是情况B，落笔点坐标(OX，OY)按以下方式计算，其中Wi＝[0.2,1.1,1.0,1.5]，Pn＝P5、P9、P13、P17。
在是情况A、情况B的情况下，落笔点坐标按照如下公式计算：
Figure BDA0003112534920000081
Figure BDA0003112534920000082
Figure BDA0003112534920000083
K2＝MY-K1*MX (4)
XMAX＝maxX； (5)
DX＝maxX-minX； (6)
OX＝XMAX–2*DX (7)
OY＝K1*OX+K2 (8)
其中，Wi为权重系数，Pn表示有效点的集合，比如情况A表示P4、P8、P12、P20这几个点。Xi和Yi表示对应有效点的X坐标和Y坐标。maxX表示Pn中X坐标最大值，minX表示Pn中X最小值。OX,OY表示落笔点预测坐标，MX为X坐标数据的加权平均，MY为Y坐标数据的加权平均；K1、K2为握笔走势在屏幕中的一次线性预测参数；XMAX等同maxX，为落笔预测的最右点边界；DX为预测的落笔横坐标区间大小。
若是情况C，由于手势不清晰，只做大体判断，落笔点坐标(OX，OY)按以下公式计算：
OX＝(maxX+minX)/2，OY＝maxY,其中，maxX表示所有有效点中X坐标最大值，minX表示所有有效点中X最小值，maxY表示所有有效点中Y最大值。
S3，控制云台和镜头，获取目标屏幕大小，在所述目标屏幕大小小于预设阈值时，放大所述镜头；所述目标屏幕大小大于预设阈值时，则缩小所述镜头；根据落笔点的坐标，控制云台移动，使得目标居中。
本实施例中的目标屏幕大小获取目标屏幕大小S＝DX*3；
本实施例中的预设阈值为300。
本实施例中的镜头的放大缩小控制主要指令为速度(0-9)、方向(缩小，放大)的控制。其中速度控制采用恒定2级速度。方向控制为：目标宽度>300时，缩小；目标宽度<300时，放大。
本实施例根据获取的落笔点坐标(OX,OY)发出云台控制指令，使得目标居中。目标居中主要通过水平方向Pan和垂直方向Tilt控制，控制参数主要是：顺时针、逆时针、上、下和速度，每一种云台在转动时均有其相应的速度，本实施例中的云台速度有9级(0-9)，其中，0为停止，9为最高速度。
以上关于云台的速度的描述仅仅是本实施例中云台的转动速度，但其他云台的速度如不是0-9级，则本领域技术人员知晓，其同样可以适用于其他速度等级的云台。
落笔点坐标为OX，OY，当前屏幕中心坐标为SX，SY，则对于水平方向Pan控制：
当OX>SX且OX-SX>SX/8时，顺时针转动；
当SX>OX且SX-OX>SX/8时，逆时针转动。
否则停止转动
水平方向速度控制：
当abs(OX-SX)>SX/2时，以第一速度转动，在本实施例中第一速度为速度3：
当abs(OX-SX)>SX/4时，以第二速度转动，本实施例中第二速度为速度1。
对于垂直方向Tilt控制：
当OY>SY且OY-SY>SY/8时，向上转动；
当SY>OY且SY-OY>SY/8时，向下转动；
否则停止转动
垂直方向速度控制：
当abs(OY-SY)>SY/2时，以第三速度转动，本实施例中第三速度为3；
当abs(OY-SY)>SY/4时，以第四速度转动，本实施例中第四速度为速度1。
本实施例通过识别手指关节的位置，并根据手指关节的位置预测落笔点的位置，并进而根据落笔点的位置，控制镜头的缩放和移动，从而使得运笔和绘制的过程特写展现出来。
实施例二
参考图4,本实施例提供了一种现场直播的镜头跟踪装置，其包括如下模块：
手指关节位置获取模块，用于获取画面中人的手指关节的位置坐标；
参考图3，本实施例对手指的20个关节进行标记，并使用卷积神经网络来识别20个关节。
落笔点预测模块，用于获取所述手指关节的有效的位置坐标，计算落笔点的位置OX和OY；
OX为横坐标，OY为纵坐标，其中以画面的左上角为坐标的原点。
由于握笔姿势不同，存在遮挡，由此导致很难识别到所有的20个手指关节的坐标，本实施例将将遮挡情况分为3类：
A.P4、P8、P12、P20有效，此种情况表示可以识别到P4、P8、P12、P20的位置坐标；
B.P5、P9、P13、P17有效，此种情况表示可以识别到P5、P9、P13、P17的位置坐标；
C.其他情况，即P4、P8、P12、P20、P5、P9、P13、P17中任意一个为无效点，所述无效点表示无法识别到P4、P8、P12、P20、P5、P9、P13、P17中的任意一个的位置坐标。
若是情况A，落笔点坐标(OX，OY)按以下方式计算，其中Wi＝[0.3,1.1,0.8,0.8]，Pn＝P4、P8、P12、P20。
若是情况B，落笔点坐标(OX，OY)按以下方式计算，其中Wi＝[0.2,1.1,1.0,1.5]，Pn＝P5、P9、P13、P17。
在是情况A、情况B的情况下，落笔点坐标按照如下公式计算：
Figure BDA0003112534920000121
Figure BDA0003112534920000122
Figure BDA0003112534920000123
K2＝MY-K1*MX (4)
XMAX＝maxX； (5)
DX＝maxX-minX； (6)
OX＝XMAX–2*DX (7)
OY＝K1*OX+K2 (8)
其中，Wi为权重系数，Pn表示有效点的集合，比如情况A表示P4、P8、P12、P20这几个点。Xi和Yi表示对应有效点的X坐标和Y坐标。maxX表示Pn中X坐标最大值，minX表示Pn中X最小值。OX,OY表示落笔点预测坐标。
若是情况C，由于手势不清晰，只做大体判断，落笔点坐标(OX，OY)按以下公式计算：
OX＝(maxX+minX)/2，OY＝maxY,其中，maxX表示所有有效点中X坐标最大值，minX表示所有有效点中X最小值，maxY表示所有有效点中Y最大值。
云台和镜头控制模块，用于获取目标屏幕大小,在所述目标屏幕大小小于预设阈值时，放大所述镜头；所述目标屏幕大小大于预设阈值时，则缩小所述镜头；根据落笔点的坐标，控制云台移动，使得目标居中。
本实施例中的目标屏幕大小S＝DX*3
本实施例中的预设阈值为300。
本实施例中的镜头的放大缩小控制主要指令为速度(0-9)、方向(缩小，放大)的控制。其中速度控制采用恒定2级速度。方向控制为：目标宽度>300时，缩小；目标宽度<300时，放大。
本实施例根据获取的落笔点坐标(OX,OY)发出云台控制指令，使得目标居中。目标居中主要通过水平方向Pan和垂直方向Tilt控制，控制参数主要是：顺时针、逆时针、上、下和速度，
每一种云台在转动时均有其相应的速度，本实施例中的云台速度有9级(0-9)，其中，0为停止，9为最高速度。
以上关于云台的速度的描述仅仅是本实施例中云台的转动速度，但其他云台的速度如不是0-9级，则本领域技术人员知晓，其同样可以适用于其他速度等级的云台。
落笔点坐标为OX，OY，当前屏幕中心坐标为SX，SY，则对于水平方向Pan控制：
当OX>SX且OX-SX>SX/8时，顺时针转动；
当SX>OX且SX-OX>SX/8时，逆时针转动。
否则停止转动
水平方向速度控制：
当abs(OX-SX)>SX/2时，以第一速度转动，在本实施例中第一速度为速度3：
当abs(OX-SX)>SX/4时，以第二速度转动，本实施例中第二速度为速度1。
对于垂直方向Tilt控制：
当OY>SY且OY-SY>SY/8时，向上转动；
当SY>OY且SY-OY>SY/8时，向下转动；
否则停止转动
垂直方向速度控制：
当abs(OY-SY)>SY/2时，以第三速度转动，本实施例中第三速度为3；
当abs(OY-SY)>SY/4时，以第四速度转动，本实施例中第四速度为速度1。
本实施例通过识别手指关节的位置，并根据手指关节的位置预测落笔点的位置，并进而根据落笔点的位置，控制镜头的缩放和移动，从而使得运笔和绘制的过程特写展现出来。
实施例三
参考附图5，本实施例提供了一种现场直播的镜头跟踪设备20的结构示意图。该实施例的现场直播的镜头跟踪设备20包括处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述现场直播的镜头跟踪方法实施例中的步骤。或者，所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器22中，并由所述处理器21执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述现场直播的镜头跟踪设备20中的执行过程。
所述现场直播的镜头跟踪设备20可包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，所述示意图仅仅是现场直播的镜头跟踪设备20的示例，并不构成对现场直播的镜头跟踪设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述现场直播的镜头跟踪设备20还可以包括输入输出设备、网络接入设备、总线等。
所述处理器21可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器21是所述现场直播的镜头跟踪设备20的控制中心，利用各种接口和线路连接整个现场直播的镜头跟踪设备20的各个部分。
所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述现场直播的镜头跟踪设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述现场直播的镜头跟踪设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器21执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种现场直播的镜头跟踪方法，其包括如下步骤：
S1，获取画面中人的手指关节的位置坐标；
S2，落笔点预测，获取所述手指关节的有效点的位置坐标，计算落笔点的位置；
S3，控制云台和镜头，获取目标屏幕大小,在所述目标屏幕大小小于预设阈值时，放大所述镜头；所述目标屏幕大小大于预设阈值时，则缩小所述镜头；根据落笔点的坐标，控制云台移动，使得目标居中。
2.根据权利要求1所述的方法，其中步骤S2包括：所述手指关节中的大拇指尖P4、食指尖P8、中指尖P12、小拇指尖P20均为有效点时，所述落笔点的位置OX和OY计算如下：
Figure FDA0003112534910000011
Figure FDA0003112534910000012
Figure FDA0003112534910000013
K2＝MY-K1*MX (4)
XMAX＝maxX； (5)
DX＝maxX-minX； (6)
OX＝XMAX–2*DX (7)
OY＝K1*OX+K2 (8)
其中Wi＝[0.3,1.1,0.8,0.8]，Pn＝P4、P8、P12、P20；Wi为权重系数，Pn表示有效点的集合，Xi和Yi表示对应有效点的X坐标和Y坐标，maxX表示Pn中X坐标最大值，minX表示Pn中X最小值；MX为X坐标数据的加权平均，MY为Y坐标数据的加权平均；K1、K2为握笔走势在屏幕中的一次线性预测参数；XMAX等同maxX，为落笔预测的最右点边界；DX为预测的落笔横坐标区间大小。
3.根据权利要求2所述的方法，其中步骤S2包括：所述手指关节中的P5食指根关节P5、中指根关节P9、无名指根关节P13、小拇指跟关节P17均为有效点时，所述落笔点的位置OX和OY计算如下：
Figure FDA0003112534910000021
Figure FDA0003112534910000022
Figure FDA0003112534910000023
K2＝MY-K1*MX (4)
XMAX＝maxX； (5)
DX＝maxX-minX； (6)
OX＝XMAX–2*DX (7)
OY＝K1*OX+K2 (8)
其中Wi＝[0.2,1.1,1.0,1.5]，Pn＝P5、P9、P13、P17；Wi为权重系数，Pn表示有效点的集合，Xi和Yi表示对应有效点的X坐标和Y坐标，maxX表示Pn中X坐标最大值，minX表示Pn中X最小值；MX为X坐标数据的加权平均，MY为Y坐标数据的加权平均；K1、K2为握笔走势在屏幕中的一次线性预测参数；XMAX等同maxX，为落笔预测的最右点边界；DX为预测的落笔横坐标区间大小。
4.根据权利要求3所述的方法，其中步骤S2包括：所述手指关节中的大拇指尖P4、食指尖P8、中指尖P12、小拇指尖P20中任意一点或者大于一点为无效点以及P5食指根关节P5、中指根关节P9、无名指根关节P13、小拇指跟关节P17中任意一点或者大于一点为无效点，所述落笔点的位置OX和OY计算如下：
OX＝(maxX+minX)/2，OY＝maxY,其中，maxX表示所有有效点中X坐标最大值，minX表示所有有效点中X最小值，maxY表示所有有效点中Y最大值。
5.根据权利要求2-3中任一项所述的方法，其中步骤S3包括：所述获取目标屏幕大小S＝DX*3。
6.根据权利要求5所述的方法，其中所述根据落笔点的坐标，控制云台移动，使得目标居中，具体为：
获取当前屏幕中心坐标为SX，SY，对水平方向Pan控制：
当OX>SX且OX-SX>SX/8时，顺时针转动；
当SX>OX且SX-OX>SX/8时，逆时针转动。
否则停止转动
水平方向速度控制：
当abs(OX-SX)>SX/2时，以第一速度转动：
当abs(OX-SX)>SX/4时，以第二速度转动；
对于垂直方向Tilt控制：
当OY>SY且OY-SY>SY/8时，向上转动；
当SY>OY且SY-OY>SY/8时，向下转动；
否则停止转动
垂直方向速度控制：
当abs(OY-SY)>SY/2时，以第三速度转动；
当abs(OY-SY)>SY/4时，以第四速度转动。
7.一种现场直播的镜头跟踪装置，其包括如下模块：
手指关节位置获取模块，用于获取画面中人的手指关节的位置坐标；
落笔点预测模块，用于获取所述手指关节的有效的位置坐标，计算落笔点的位置；
云台和镜头控制模块，用于获取目标屏幕大小,在所述目标屏幕大小小于预设阈值时，放大所述镜头；所述目标屏幕大小大于预设阈值时，则缩小所述镜头；根据落笔点的坐标，控制云台移动，使得目标居中。
8.根据权利要求7所述的装置，其中落笔点预测模块，在所述手指关节中的大拇指尖P4、食指尖P8、中指尖P12、小拇指尖P20的均为有效点时，所述落笔点的位置OX和OY计算如下：
Figure FDA0003112534910000041
Figure FDA0003112534910000042
Figure FDA0003112534910000043
K2＝MY-K1*MX (4)
XMAX＝maxX； (5)
DX＝maxX-minX； (6)
OX＝XMAX–2*DX (7)
OY＝K1*OX+K2 (8)
其中Wi＝[0.3,1.1,0.8,0.8]，Pn＝P4、P8、P12、P20；Wi为权重系数，Pn表示有效点的集合，Xi和Yi表示对应有效点的X坐标和Y坐标。maxX表示Pn中X坐标最大值，minX表示Pn中X最小值；MX为X坐标数据的加权平均，MY为Y坐标数据的加权平均；K1、K2为握笔走势在屏幕中的一次线性预测参数；XMAX等同maxX，为落笔预测的最右点边界；DX为预测的落笔横坐标区间大小。
9.根据权利要求8所述的装置，其中落笔点预测模块，在所述手指关节中的P5、P9、P13、P17的均为有效点时，所述落笔点的位置OX和OY计算如下：
Figure FDA0003112534910000051
Figure FDA0003112534910000052
Figure FDA0003112534910000053
K2＝MY-K1*MX (4)
XMAX＝maxX； (5)
DX＝maxX-minX； (6)
OX＝XMAX–2*DX (7)
OY＝K1*OX+K2 (8)
其中Wi＝[0.2,1.1,1.0,1.5]，Pn＝P5、P9、P13、P17；Wi为权重系数，Pn表示有效点的集合，Xi和Yi表示对应有效点的X坐标和Y坐标。maxX表示Pn中X坐标最大值，minX表示Pn中X最小值；MX为X坐标数据的加权平均，MY为Y坐标数据的加权平均；K1、K2为握笔走势在屏幕中的一次线性预测参数；XMAX等同maxX，为落笔预测的最右点边界；DX为预测的落笔横坐标区间大小。
10.根据权利要求9所述的装置，其中落笔点预测模块，在所述手指关节中的P5、P9、P13、P17、P4、P8、P12、P20的任意一个为无效点，所述落笔点的位置OX和OY计算如下：
OX＝(maxX+minX)/2，OY＝maxY,其中，maxX表示所有有效点中X坐标最大值，minX表示所有有效点中X最小值，maxY表示所有有效点中Y最大值。
11.根据权利要求7所述的装置，其中所述根据落笔点的坐标，控制云台移动，使得目标居中，具体为：
获取当前屏幕中心坐标为SX，SY，对水平方向Pan控制：
当OX>SX且OX-SX>SX/8时，顺时针转动；
当SX>OX且SX-OX>SX/8时，逆时针转动。
否则停止转动
水平方向速度控制：
当abs(OX-SX)>SX/2时，以第一速度转动：
当abs(OX-SX)>SX/4时，以第二速度转动；
对于垂直方向Tilt控制：
当OY>SY且OY-SY>SY/8时，向上转动；
当SY>OY且SY-OY>SY/8时，向下转动；
否则停止转动
垂直方向速度控制：
当abs(OY-SY)>SY/2时，以第三速度转动；
当abs(OY-SY)>SY/4时，以第四速度转动。
12.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行如权利要求1-6任一项所述现场镜头跟踪方法。
CN202110655429.4A 2021-06-11 2021-06-11 一种现场直播的镜头跟踪方法、装置及介质 Active CN113364985B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110655429.4A CN113364985B (zh) 2021-06-11 2021-06-11 一种现场直播的镜头跟踪方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110655429.4A CN113364985B (zh) 2021-06-11 2021-06-11 一种现场直播的镜头跟踪方法、装置及介质

Publications (2)

Publication Number Publication Date
CN113364985A true CN113364985A (zh) 2021-09-07
CN113364985B CN113364985B (zh) 2022-07-29

Family

ID=77534009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110655429.4A Active CN113364985B (zh) 2021-06-11 2021-06-11 一种现场直播的镜头跟踪方法、装置及介质

Country Status (1)

Country Link
CN (1) CN113364985B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180335843A1 (en) * 2017-05-16 2018-11-22 Finch Technologies Ltd. Tracking finger movements to generate inputs for computer systems
CN109445620A (zh) * 2018-11-13 2019-03-08 宁波视睿迪光电有限公司 一种交互笔自动识别方法
CN110765914A (zh) * 2019-10-15 2020-02-07 腾讯科技（深圳）有限公司 对象姿态标注方法、装置、计算机设备及存储介质
EP3653120A1 (en) * 2018-11-15 2020-05-20 Koninklijke Philips N.V. A rehabilitation device and a method of monitoring hand positions
CN112188105A (zh) * 2020-09-30 2021-01-05 苏州臻迪智能科技有限公司 跟踪拍摄方法、装置、智能设备及计算机可读存储介质
CN112261428A (zh) * 2020-10-20 2021-01-22 北京字节跳动网络技术有限公司 画面展示方法、装置、电子设备及计算机可读介质
CN112651298A (zh) * 2020-11-27 2021-04-13 深圳点猫科技有限公司 基于手指关节定位的点读方法、装置、系统及介质
CN112653844A (zh) * 2020-12-28 2021-04-13 珠海亿智电子科技有限公司 一种摄像头云台转向自适应跟踪调节方法
CN112927259A (zh) * 2021-02-18 2021-06-08 青岛小鸟看看科技有限公司 基于多相机的裸手追踪显示方法、装置及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180335843A1 (en) * 2017-05-16 2018-11-22 Finch Technologies Ltd. Tracking finger movements to generate inputs for computer systems
CN109445620A (zh) * 2018-11-13 2019-03-08 宁波视睿迪光电有限公司 一种交互笔自动识别方法
EP3653120A1 (en) * 2018-11-15 2020-05-20 Koninklijke Philips N.V. A rehabilitation device and a method of monitoring hand positions
CN110765914A (zh) * 2019-10-15 2020-02-07 腾讯科技（深圳）有限公司 对象姿态标注方法、装置、计算机设备及存储介质
CN112188105A (zh) * 2020-09-30 2021-01-05 苏州臻迪智能科技有限公司 跟踪拍摄方法、装置、智能设备及计算机可读存储介质
CN112261428A (zh) * 2020-10-20 2021-01-22 北京字节跳动网络技术有限公司 画面展示方法、装置、电子设备及计算机可读介质
CN112651298A (zh) * 2020-11-27 2021-04-13 深圳点猫科技有限公司 基于手指关节定位的点读方法、装置、系统及介质
CN112653844A (zh) * 2020-12-28 2021-04-13 珠海亿智电子科技有限公司 一种摄像头云台转向自适应跟踪调节方法
CN112927259A (zh) * 2021-02-18 2021-06-08 青岛小鸟看看科技有限公司 基于多相机的裸手追踪显示方法、装置及系统

Also Published As

Publication number Publication date
CN113364985B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
US11102413B2 (en) Camera area locking
CN112714255B (zh) 拍摄方法、装置、电子设备及可读存储介质
CN108737739B (zh) 一种预览画面采集方法、预览画面采集装置及电子设备
CN105247567B (zh) 一种图像重新聚焦装置、方法、系统以及非瞬态程序存储设备
CN112954193B (zh) 拍摄方法、装置、电子设备及介质
CN112492215B (zh) 拍摄控制方法、装置和电子设备
CN114390201A (zh) 对焦方法及其装置
CN110463177A (zh) 文档图像的校正方法及装置
CN112738397A (zh) 拍摄方法、装置、电子设备及可读存储介质
CN114125268A (zh) 对焦方法及装置
CN111866378A (zh) 图像处理方法、装置、设备及介质
CN113747067B (zh) 拍照方法、装置、电子设备及存储介质
CN114390197A (zh) 拍摄方法和装置、电子设备及可读存储介质
CN114125305A (zh) 拍摄方法、装置及设备
CN113364985B (zh) 一种现场直播的镜头跟踪方法、装置及介质
CN107563960A (zh) 一种自拍图片的处理方法、存储介质及移动终端
US9898828B2 (en) Methods and systems for determining frames and photo composition within multiple frames
CN111654623B (zh) 拍照方法、装置和电子设备
CN112399092A (zh) 拍摄方法、装置和电子设备
CN113891018A (zh) 拍摄方法、装置及电子设备
CN112788239A (zh) 拍摄方法、装置和电子设备
CN108769527B (zh) 场景识别方法、装置及终端设备
CN112261262A (zh) 图像校准方法和装置、电子设备和可读存储介质
CN112367464A (zh) 图像输出方法、装置及电子设备
CN113873160B (zh) 图像处理方法、装置、电子设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant