CN116980744A - 基于特征的摄像头追踪方法、装置、电子设备及存储介质 - Google Patents
基于特征的摄像头追踪方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116980744A CN116980744A CN202311237845.8A CN202311237845A CN116980744A CN 116980744 A CN116980744 A CN 116980744A CN 202311237845 A CN202311237845 A CN 202311237845A CN 116980744 A CN116980744 A CN 116980744A
- Authority
- CN
- China
- Prior art keywords
- target
- camera
- live broadcast
- calibration
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000008859 change Effects 0.000 claims abstract description 99
- 230000033001 locomotion Effects 0.000 claims description 38
- 238000004422 calculation algorithm Methods 0.000 claims description 37
- 238000006073 displacement reaction Methods 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 31
- 230000003287 optical effect Effects 0.000 claims description 21
- 230000006399 behavior Effects 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010191 image analysis Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000009471 action Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及图像处理技术领域，尤其是涉及一种基于特征的摄像头追踪方法、装置、电子设备及存储介质。基于特征的摄像头追踪方法包括：接收并分析摄像头拍摄的首段图像，确定对应的直播标定区域、直播标定区域内的直播对象和直播对象的外形特征点；识别直播对象的直播位置，采集直播对象的声音数据，并确定目标标定人；控制摄像头标定目标外形特征点进行拍摄，并接收若干帧标定图像；分析若干帧标定图像确定目标外形特征点的位置变化信息，并基于位置变化信息，预测目标外形特征点的下一位置；分析下一位置与目标追踪区域的相对位置，并基于相对位置调整摄像头的拍摄方向；将摄像头按照预设存储频率发送的若干组拍摄视频进行存储并上传云端。
Description
技术领域
本申请涉及图像处理技术领域，尤其是涉及一种基于特征的摄像头追踪方法、装置、电子设备及存储介质。
背景技术
随着社会经济的发展，人们的精神需要提高，互联网逐渐进入到人们的生活，直播行业的发展较为迅猛。对于直播行业来说需要尽可能的展现直播者、商品等的优点，来吸引观众停留，对于摄像头的要求较高。
目前很多直播者都利用移动手机、专业摄像机等摄像头进行直播，但是相关技术中的摄像头的图像采集范围比较固定，当图像采集范围中出现多个目标、多个商品时，可能会由于目标的遮挡或者直播者的快速移动导致直播者的面部特征发生形变，导致摄像头的识别和跟踪的难度升高，以使得针对直播者的追踪准确性较低。
发明内容
为了提升直播行业中针对直播者的追踪准确性，本申请提供一种基于特征的摄像头追踪方法、装置、电子设备及存储介质。
第一方面，本申请提供一种基于特征的摄像头追踪方法，包括：
接收并分析摄像头拍摄的首段图像，确定对应的直播标定区域、所述直播标定区域内的直播对象和所述直播对象的外形特征点；
识别所述直播对象的直播位置，采集所述直播对象的声音数据，并根据所述直播位置和所述声音数据确定目标标定人；
控制所述摄像头标定目标外形特征点进行拍摄，并接收所述摄像头按照预设上传频率发送的若干帧标定图像，所述目标外形特征点为所述目标标定人的外形特征点；
分析所述若干帧标定图像，确定所述目标外形特征点在目标追踪区域内的位置变化信息，并基于所述位置变化信息，预测所述目标外形特征点的下一位置，所述目标追踪区域为所述摄像头完全拍摄到所述直播对象的区域；
分析所述下一位置与目标追踪区域的相对位置，并基于所述相对位置调整所述摄像头的拍摄方向，以使所述下一位置在所述目标追踪区域内；
将所述摄像头按照预设存储频率发送的若干组拍摄视频进行存储并上传云端。
通过采用上述技术方案，可以先分析摄像头拍摄的首段图像来确定拍摄范围内的直播对象、在这段时间内每一直播对象的行为动作，距离摄像头的距离等，基于此可以分析出在什么范围内直播以及每个直播对象的外形特征点。然后结合每一个直播对象的直播位置以及声音数据来判断哪一个直播对象为目标标定人。控制摄像头标定该目标标定人的目标外形特征点进行拍摄，并按照预设上传频率上传若干帧标定图像。迷你主机对应进行存储分析，确定目标外形特征点在目标追踪区域内的位置变化信息，来预测目标外形特征点的下一位置，保证摄像头对目标标定人的跟踪拍摄。然后可以根据下一位置和目标追踪区域的相对位置对摄像头进行拍摄方向的调整，避免因为目标标定人的行为动作而导致的追踪丢失，整体提升了追踪准确性。除此之外，将摄像头发送的若干组拍摄视频存储在迷你主机中，便于携带者对于拍摄视频的查找以及其他处理，提升了直播过程、拍摄视频的处理的便捷性。
可选的，所述方法还包括：
接收到开始摄像指令时，开启摄像头；
将连接模式调整为固定模式，以控制所述摄像头拍摄首段图像，所述连接模式用于表征与所述摄像头的连接方式，所述连接模式包括固定模式和解锁模式。
通过采用上述技术方案，可以在接收到开始摄像指令的时候开启摄像头，避免摄像头常开耗电。当直播对象开始直播时，所处的位置更贴近后续直播的位置，可以对迷你主机和摄像头之间的连接模式进行调整，来控制摄像头拍摄首段图像，提升了首段图像的可参考性。
可选的，所述分析所述若干帧标定图像，确定所述目标外形特征点在目标追踪区域内的位置变化信息，包括：
利用光流算法计算所述若干帧标定图像中，任意相邻两帧标定图像之间的光流，以得到所述目标外形特征点的运动向量；
通过角度估计算法对所述目标外形特征点的分布情况进行计算，以确定所述目标外形特征点的角度信息；
通过尺度变换算法预测所述目标外形特征点的尺度变化信息；
基于所述目标外形特征点的运动向量、角度信息和尺度变化信息，确定所述目标外形特征点在目标追踪区域内的位置变化信息。
通过采用上述技术方案，针对若干帧标定图像中任意一对相邻的标定图像进行分析，分别确定若干帧标定图像中目标外形特征点的运动向量、角度信息和尺度变化信息，将运动向量、角度信息和尺度变化信息整体作为位置变化信息，全面的包含了目标外形特征的位置变化的情况，使位置变化信息更加具体细致，提升了位置变化信息的可靠性和可使用性。
可选的，所述方法还包括：
分析所述目标标定人的已存跟踪数据，确定所述目标标定人的每一目标外形特征点的权重；
根据所述每一目标外形特征点的权重和所述目标外形特征点的运动向量，计算所述目标外形特征点的加权平均位移；
所述基于所述目标外形特征点的运动向量、角度信息和尺度变化信息，确定所述目标外形特征点在目标追踪区域内的位置变化信息，包括：
基于所述加权平均位移、角度信息和尺度变化信息，确定所述目标外形特征点在目标追踪区域内的位置变化信息。
通过采用上述技术方案，对目标外形特征点的运动向量进行了进一步的处理，基于每一目标外形特征点对于目标标定人整体跟踪的贡献度，确定出权重，进而得到加权平均位移。基于加权平均位移、角度信息和尺度变化信息，确定出的目标外形特征点在目标追踪区域内的位置变化信息更加准确可靠。
可选的，所述基于所述位置变化信息，预测所述目标外形特征点的下一位置，包括：
根据所述加权平均位移，将所述目标外形特征点从当前位置进行平移，得到第一预测位置；
根据所述角度信息，将所述第一预测位置的目标外形特征点进行旋转调整，得到第二预测位置；
根据所述尺度变化信息，将所述第二预测位置的目标外形特征点进行缩放调整，得到第三预测位置；
利用迭代优化算法处理所述位置变化信息，对所述第三预测位置进行更新，得到所述目标外形特征点的下一位置。
通过采用上述技术方案，在基于加权平均位移、角度信息以及尺度变化信息对目标外形特征点进行调整之后，加入了迭代优化算法进行第三预测位置的更新，使目标外形特征点的下一位置更加的准确可靠。
可选的，所述方法还包括：
分析所述若干帧标定图像和预设更换行为，确定所述目标标定人是否产生更换；
若产生更换，则基于所述若干帧标定图像和每一直播对象的声音数据确定更换后的目标对象，所述目标对象包括目标人物和目标商品；
若所述目标对象为目标人物，则将所述目标人物确定为目标标定人进行跟踪拍摄；
若所述更换后的目标对象为目标商品，则控制所述摄像头锁定所述目标商品并分析所述目标商品的物品特征点；
提取所述目标商品对应的讲解人物的外形特征点，并结合所述目标商品的物品特征点和所述讲解人物的外形特征点，预测所述目标商品的下一位置，以控制所述摄像头将所述目标商品的下一位置拍摄在所述目标追踪区域内。
通过采用上述技术方案，针对目标标定人产生更换的情况进行分析，针对更换后的不同的目标对象进行不同的处理。当更换后的目标对象为目标商品时，由于受到讲解人物的运动影响，可以结合物品特征点和讲解人物的外形特征点预测目标商品的下一位置，提升了目标商品的下一位置的准确性。
可选的，所述方法还包括：
分析所述若干帧标定图像，确定所述目标商品是否处于解除锁定区域；
若处于解除锁定区域，则获取所述目标商品在所述解除锁定区域的停留时长；
若所述停留时长大于或等于预设解锁时长，则控制所述摄像头解除所述目标商品的锁定。
通过采用上述技术方案，在目标对象为目标商品的时候分析该目标商品是否被讲解完成，当目标商品在解除锁定区域中的停留时长大于或等于预设解锁时长，可以确定讲解完成，此时可以解除对目标商品的锁定，避免多个目标商品出现时锁定出错。
第二方面，本申请提供一种基于特征的摄像头追踪装置，包括：
首段图像分析模块，用于接收并分析摄像头拍摄的首段图像，确定对应的直播标定区域、所述直播标定区域内的直播对象和所述直播对象的外形特征点；
目标标定人确定模块，用于识别所述直播对象的直播位置，采集所述直播对象的声音数据，并根据所述直播位置和所述声音数据确定目标标定人；
目标外形特征点拍摄模块，用于控制所述摄像头标定目标外形特征点进行拍摄，并接收所述摄像头按照预设上传频率发送的若干帧标定图像，所述目标外形特征点为所述目标标定人的外形特征点；
位置预测模块，用于分析所述若干帧标定图像，确定所述目标外形特征点在目标追踪区域内的位置变化信息，并基于所述位置变化信息，预测所述目标外形特征点的下一位置，所述目标追踪区域为所述直播对象在所述摄像头中移动的区域；
拍摄方向调整模块，用于分析所述下一位置与目标追踪区域的相对位置，并基于所述相对位置调整所述摄像头的拍摄方向，以使所述下一位置在所述目标追踪区域内；
拍摄视频存储模块，用于将所述摄像头按照预设存储频率发送的若干组拍摄视频进行存储并上传云端。
可选的，所述基于特征的摄像头追踪装置还包括摄像头开启模块，用于：
接收到开始摄像指令时，开启摄像头；
将连接模式调整为固定模式，以控制所述摄像头拍摄首段图像，所述连接模式用于表征与所述摄像头的连接方式，所述连接模式包括固定模式和解锁模式。
可选的，所述位置预测模块具体用于：
利用光流算法计算所述若干帧标定图像中，任意相邻两帧标定图像之间的光流，以得到所述目标外形特征点的运动向量；
通过角度估计算法对所述目标外形特征点的分布情况进行计算，以确定所述目标外形特征点的角度信息；
通过尺度变换算法预测所述目标外形特征点的尺度变化信息；
基于所述目标外形特征点的运动向量、角度信息和尺度变化信息，确定所述目标外形特征点在目标追踪区域内的位置变化信息。
可选的，所述基于特征的摄像头追踪装置还包括加权平均位移模块，用于：
分析所述目标标定人的已存跟踪数据，确定所述目标标定人的每一目标外形特征点的权重；
根据所述每一目标外形特征点的权重和所述目标外形特征点的运动向量，计算所述目标外形特征点的加权平均位移；
所述位置预测模块具体用于：
基于所述加权平均位移、角度信息和尺度变化信息，确定所述目标外形特征点在目标追踪区域内的位置变化信息。
可选的，所述位置预测模块具体用于：
根据所述加权平均位移，将所述目标外形特征点从当前位置进行平移，得到第一预测位置；
根据所述角度信息，将所述第一预测位置的目标外形特征点进行旋转调整，得到第二预测位置；
根据所述尺度变化信息，将所述第二预测位置的目标外形特征点进行缩放调整，得到第三预测位置；
利用迭代优化算法处理所述位置变化信息，对所述第三预测位置进行更新，得到所述目标外形特征点的下一位置。
可选的，所述基于特征的摄像头追踪装置还包括目标商品追踪模块，用于：
分析所述若干帧标定图像和预设更换行为，确定所述目标标定人是否产生更换；
若产生更换，则基于所述若干帧标定图像和每一直播对象的声音数据确定更换后的目标对象，所述目标对象包括目标人物和目标商品；
若所述目标对象为目标人物，则将所述目标人物确定为目标标定人进行跟踪拍摄；
若所述更换后的目标对象为目标商品，则控制所述摄像头锁定所述目标商品并分析所述目标商品的物品特征点；
提取所述目标商品对应的讲解人物的外形特征点，并结合所述目标商品的物品特征点和所述讲解人物的外形特征点，预测所述目标商品的下一位置，以控制所述摄像头将所述目标商品的下一位置拍摄在所述目标追踪区域内。
可选的，所述基于特征的摄像头追踪装置还包括解除锁定模块，用于：
分析所述若干帧标定图像，确定所述目标商品是否处于解除锁定区域；
若处于解除锁定区域，则获取所述目标商品在所述解除锁定区域的停留时长；
若所述停留时长大于或等于预设解锁时长，则控制所述摄像头解除所述目标商品的锁定。
第三方面，本申请提供一种电子设备，包括：存储器和处理器，所述存储器上存储有能够被处理器加载并执行第一方面的方法的计算机程序。
第四方面，本申请提供一种计算机可读存储介质，存储有能够被处理器加载并执行第一方面的方法的计算机程序。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的一种应用场景示意图；
图2为本申请一实施例提供的一种基于特征的摄像头追踪方法的流程图；
图3为本申请一实施例提供的一种安装有摄像系统的追踪设备的结构示意图；
图4为本申请一实施例提供的一种基于特征的摄像头追踪装置的结构示意图；
图5为本申请一实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
下面结合说明书附图对本申请实施例作进一步详细描述。
目前的大多数摄像头都以手持、固定为主。手持的摄像头一般需要专门的摄像者跟拍，保证需要拍摄的目标在画面内，固定的摄像头一般设置在手机、电脑等设备上，用于视频等。但是针对直播行业来说，直播者可能会经常性的改变位置，同时还得保证人物不变形，来提升直播观看者的观看体验，因此目前的大多数摄像头并不适合与直播行业的使用。当图像采集范围内出现多个目标、多个商品的时候，可能会由于人体的移动、商品的遮挡等导致直播者的面部特征发生形变，导致无法准确的追踪到直播者。
基于此，本申请提供一种基于特征的摄像头追踪方法、装置、电子设备及存储介质。基于特征的摄像头追踪方法应用于摄像系统，该摄像系统包括摄像头和迷你主机。摄像头和迷你主机旋转连接并进行信息交互，基于特征的摄像头追踪方法由迷你主机执行。迷你主机可以接收并分析摄像头拍摄的首段图像，确定对应的直播标定区域、直播标定区域内的直播对象和每一直播对象的外形特征点。然后可以识别每一直播对象的直播位置，采集每一直播对象的声音数据，并根据每一直播对象的直播位置和声音数据确定目标标定人，直播对象包括目标标定人。迷你主机可以控制摄像头标定目标外形特征点进行拍摄，并接收摄像头按照预设上传频率发送的若干帧标定图像并分析，确定目标外形特征点在目标追踪区域内的位置变化信息，并基于位置变化信息，预测目标外形特征点的下一位置。然后迷你主机分析下一位置与目标追踪区域的相对位置，调整摄像头的拍摄方向，以使下一位置在目标追踪区域内。然后迷你主机可以将摄像头按照预设上传频率发送的若干组拍摄视频进行存储并上传云端。
图1为本申请提供的一种应用场景示意图。摄像系统可以搭建在一个实体的追踪设备上，在目标标定人进行直播时，可以将追踪设备放置在固定的放置位置，然后可以通过无线控制追踪设备的开启，以启动摄像系统。在图1所示的应用场景中，基于特征的摄像头追踪方法可以搭建在迷你主机上。迷你主机可以控制摄像头可以进行拍摄，然后可以接收摄像头拍摄的图像内容进行分析，然后控制摄像头进行目标标定人的追踪。
具体的实现方式可以参考以下实施例。
图2为本申请一实施例提供的一种基于特征的摄像头追踪方法的流程图，本实施例的方法可以应用于以上场景中的迷你主机。如图2所示的，该方法包括：
S201、接收并分析摄像头拍摄的首段图像，确定对应的直播标定区域、直播标定区域内的直播对象和所述直播对象的外形特征点。
本申请的方法可以应用于摄像系统；摄像系统包括摄像头和迷你主机，摄像头和迷你主机旋转连接，摄像头和迷你主机进行信息交互。首段图像可以用于表示摄像头拍摄的第一段图像，当摄像系统被开启时，摄像头会先拍摄一段一分钟或者两分钟的图像，将这段图像作为首段图像，该图像的时长可以预先进行设置。直播标定区域可以用于表示初步确定出的要进行直播的所在区域，直播对象可以用于表示在直播标定区域内存在的人物对象，可以是一个或者多个。外形特征点可以是首段图像中显露出来的例如眉毛、耳朵、嘴巴等外形特征。通过分析首段图像，可以确定存在哪些直播对象，在拍摄时段内每一直播对象的行为动作，每一直播对象距离摄像头的距离等。当直播对象距离摄像头很远的时候，要进行跳舞一类的全身性的活动，可能直播标定区域较大，外形特征点较多等。
具体的，迷你主机可以接收摄像头拍摄的首段图像，然后进行图像识别，将人物对象、商品最为集中的区域确定为直播标定区域，在直播标定区域内的每一个人物对象都确定为直播对象，针对每一直播对象，进行单独的人物特征提取，进而得到这些直播对象分别对应的外形特征点。
S202、识别直播对象的直播位置，采集直播对象的声音数据，并根据直播位置和声音数据确定目标标定人。
步骤S201中的直播标定区域包含的范围较广，可以包含直播对象可能移动的位置。直播位置可以用于表示直播对象在首段图像的最后一帧所在位置，目标标定人可以作为该场直播的主要直播对象。
具体的，迷你主机可以通过图像分析，确定出每一直播对象的直播位置。然后迷你主机可以采集每一直播对象的声音数据，然后通过分析首段图像每一直播对象的口形和声音数据产生的时间来确定直播对象和每一组声音数据的对应情况。然后将说话频率最高，同时直播位置最靠近图像中心的直播对象确定为目标标定人。
S203、控制摄像头标定目标外形特征点进行拍摄，并接收摄像头按照预设上传频率发送的若干帧标定图像，目标外形特征点为目标标定人的外形特征点。
预设上传频率可以预先进行设置，例如每10s上传一次，该预设上传频率可以是根据历史直播过程中直播的主要内容来确定的。若是历史直播过程中，目标标定人在频繁的移动，那么预设上传频率可以更快一些，例如由10s上传一次调整为5s上传一次。标定图像是以目标外形特征点为重点进行拍摄得到的图像。
具体的，可以控制摄像头标定目标外形特征点，在拍摄过程中围绕目标外形特征点进行拍摄，可以将目标外形特征点的清晰度控制到最高。摄像头在拍摄后可以按照预设上传频率将若干帧标定图像发送给迷你主机，迷你主机对应进行接收。
S204、分析若干帧标定图像，确定目标外形特征点在目标追踪区域内的位置变化信息，并基于位置变化信息，预测目标外形特征点的下一位置，目标追踪区域为摄像头完全拍摄到直播对象的区域。
目标追踪区域进一步可以表现为摄像头拍摄的优质画面对应的实际区域，并不是摄像头能拍摄到的整个画面，在目标追踪区域中的目标对象的各个外形特征点都是清晰、完整的。当目标外形特征点脱离目标追踪区域时，迷你主机可以控制摄像头在目标外形特征点离开整个画面前调整方向，将目标外形特征点纳回目标追踪区域内，因此目标追踪区域的范围可以根据目标外形特征点的当前时刻的移动速度和历史直播中预测到的目标外形特征点的下一位置的速度来确定。位置变化信息可以用于表示目标外形特征点在摄像头拍摄的画面对应的实际场景中的移动情况。
具体的，可以利用光流法来分析若干帧标定图像，通过分析连续的标定图像之间的像素变化，推导出目标外形特征点的运动信息，实现目标外形特征点的跟踪和下一位置的预测。
在一些实现方式中，可以建立深度学习模型来预测目标外形特征点的下一位置。
S205、分析下一位置与目标追踪区域的相对位置，基于相对位置调整摄像头的拍摄方向，以使下一位置在目标追踪区域内。
相对位置可以用于表示目标外形特征点的下一位置与目标追踪区域的位置关系，可以基于该位置关系来确定摄像头的拍摄方向如何调整。
具体的，可以将目标追踪区域的中心点设置为（0，0），然后将目标外形特征点的移动方向设置为横坐标正方向，将垂直向上的方向设置为纵坐标正方向，生成下一位置的坐标数据，然后可以控制摄像头进行拍摄方向的调整，使得调整后的下一位置的坐标数据落在目标追踪区域的若干坐标数据中。
在一些实现方式中，可以通过调整摄像头的拍摄方向和图像处理，让下一位置直接落在目标追踪区域中心处。
在另一些实现方式中，可以控制摄像头按照预先设置的速度来调整拍摄方向，缓慢调整摄像头的移动速度，确保在移动过程中，目标外形特征点的位置都在目标追踪区域内，逐渐让目标外形特征点移动到目标追踪区域中心处。
S206、将摄像头按照预设存储频率发送的若干组拍摄视频进行存储并上传云端。
预设存储频率也可以根据历史直播过程中，目标标定人的直播内容来确定。例如若目标标定人主要是吃播、讲故事、游戏直播等整过直播过程的内容较为相似的直播项目，且时间并不长，可以设置每次直播完成后上传，若时间较长，可以一小时进行一次上传。
具体的，迷你主机可以接收摄像头按照预设存储频率发送的拍摄视频，每一次上传为一组，这一组可能包含一个较长的视频，也可能是几个较为简短的视频。然后迷你主机可以按照上传时间对一组拍摄视频进行命名，若是几个简短的视频，可以一同存储在以上传时间命名的文件夹中，以首段图像的第一帧作为封面。迷你主机还可以将存储的若干组拍摄视频上传到云端。
在一些实现方式中，当迷你主机中存储的数据量大于整体存储的百分之八十五时，迷你主机可以按照存储的时间，自动擦除已存的拍摄视频，可以先擦除存入时间最长的拍摄视频。然后根据擦除的拍摄视频在云端中存储的位置，生成一条链接，当追踪设备的持有者需要查看且有网络的情况下，可以直接点击链接访问云端。追踪设备的结构可以参考如图3所示的安装有摄像系统的追踪设备的结构示意图。可以对每一存储的拍摄视频进行主要内容提取，对应生成视频标签，若当前时刻迷你主机检测未发现可连接的网络，可以为持有者提供已擦除的拍摄视频的视频标签，来展示该拍摄视频的主要内容。
本实施例可以先分析摄像头拍摄的首段图像来确定拍摄范围内的直播对象、在这段时间内每一直播对象的行为动作，距离摄像头的距离等，基于此可以分析出在什么范围内直播以及每个直播对象的外形特征点。然后结合每一个直播对象的直播位置以及声音数据来判断哪一个直播对象为目标标定人。控制摄像头标定该目标标定人的目标外形特征点进行拍摄，并按照预设上传频率上传若干帧标定图像。迷你主机对应进行存储分析，确定目标外形特征点在目标追踪区域内的位置变化信息，来预测目标外形特征点的下一位置，保证摄像头对目标标定人的跟踪拍摄。然后可以根据下一位置和目标追踪区域的相对位置对摄像头进行拍摄方向的调整，避免因为目标标定人的行为动作而导致的追踪丢失，整体提升了追踪准确性。除此之外，将摄像头发送的若干组拍摄视频存储在迷你主机中，便于携带者对于拍摄视频的查找以及其他处理，提升了直播过程、拍摄视频的处理的便捷性。
在一些实施例中，可以在接收到开始摄像指令时开启摄像头并调整连接模式。具体的，接收到开始摄像指令时，开启摄像头；将连接模式调整为固定模式，以控制摄像头拍摄首段图像，连接模式用于表征与摄像头的连接方式，连接模式包括固定模式和解锁模式。
安装着摄像系统的追踪设备的持有者可以将自己的移动设备与追踪设备进行网络连接，然后向迷你主机发送开始摄像指令。摄像头和迷你主机之间是连接关系，包括两种连接模式，在固定模式时，摄像头无法改变拍摄方向，为固定拍摄；在解锁模式下，摄像头可以进行拍摄方向的360度内的调整，来实现目标标定人的跟踪，为旋转拍摄。
具体的，迷你主机接收到指令后可以控制摄像头开启。由于在上一次直播结束时，摄像头与迷你主机之间还处于解锁模式，因此在本次直播开启时，需要先将连接模式调整为固定模式，然后可以控制摄像头从开启的时刻为起始时刻拍摄首段图像。
本实施例可以在接收到开始摄像指令的时候开启摄像头，避免摄像头常开耗电。当直播对象开始直播时，所处的位置更贴近后续直播的位置，可以对迷你主机和摄像头之间的连接模式进行调整，来控制摄像头拍摄首段图像，提升了首段图像的可参考性。
在一些实施例中，可以具体利用光流算法计算相邻两帧标定图像之间的光流，得到目标外形特征点的运动向量，再结合角度估计算法计算目标外形特征点的角度信息，结合尺度变换算法预测目标外形特征点的尺度变换信息，最终确定位置变化信息。具体的，利用光流算法计算若干帧标定图像中，任意相邻两帧标定图像之间的光流，以得到目标外形特征点的运动向量；通过角度估计算法对目标外形特征点的分布情况进行计算，以确定目标外形特征点的角度信息；通过尺度变换算法预测目标外形特征点的尺度变化信息；基于目标外形特征点的运动向量、角度信息和尺度变化信息，确定目标外形特征点在目标追踪区域内的位置变化信息。
相邻帧标定图像之间的光流是指在视频序列中，从一个帧到其相邻帧之间的像素点的运动信息。角度估计算法是一种用于估计物体或场景中角度信息的算法，它可以通过分析图像、传感器数据或其他输入来推断出物体或场景中的角度值，可以利用角度估计算法来计算目标外形特征点的角度变化。尺度变换算法是一种用于在图像或场景中进行尺度变换的算法，它可以通过调整物体或场景的尺度大小，实现图像的缩放、放大或其他尺度变换操作，可以利用尺度变换算法来计算两帧标定图像中目标外形特征点的尺度变换情况。目标外形特征点的分布情况可以是预先提取出目标外形特征点，然后根据他们的位置来生成分布情况。
具体的，针对若干帧标定图像中任一对相邻的标定图像，利用光流算法来确定若干帧标定图像之间的像素变化，计算得到若干光流向量，然后基于目标外形特征点的位置，从若干光流向量中提取出目标外形特征点对应的运动向量，确定出目标外形特征点的运动情况。然后根据目标外形特征点的分布情况，可以推断出目标标定人的整体形状和方向。利用角度估计算法可以根据连续帧标定图像中目标外形特征点的分布情况，推断出目标外形的旋转角度或方向，进而得到若干帧标定图像中的目标外形特征点的角度信息。可以将若干帧标定图像的首帧中的尺度情况作为目标外形特征点的初始尺度，可以利用最近邻插值、双线性插值等尺度变化算法来进行目标外形特征点的尺度变换，基于每一对相邻帧标定图像的尺度变换情况，确定中若干帧标定图像中的目标外形特征点的尺度变化信息。然后将基于若干帧标定图像预测得到的目标外形特征点的运动向量、角度信息和尺度变化信息，整体作为目标外形特征点在目标追踪区域内的位置变化信息。
需要说明的是，由于相邻帧之间的时间间隔非常短，因此可以将若干帧标定图像分析得到的运动向量、角度信息和尺度变化信息，作为预测的若干帧标定图像的最后一帧到下一时刻首帧的位置变化信息。
本实施例针对若干帧标定图像中任意一对相邻的标定图像进行分析，分别确定若干帧标定图像中目标外形特征点的运动向量、角度信息和尺度变化信息，将运动向量、角度信息和尺度变化信息整体作为位置变化信息，全面的包含了目标外形特征的位置变化的情况，使位置变化信息更加具体细致，提升了位置变化信息的可靠性和可使用性。
在一些实施例中，可以分析已存跟踪数据来确定每一目标外形特征点的权重，基于每一目标外形特征点的权重和若干帧标定图像的运动向量来计算目标外形特征点的加权平均位移。结合加权平均位移、角度信息和尺度变化信息来确定位置变化信息。具体的，分析所述目标标定人的已存跟踪数据，确定目标标定人的每一目标外形特征点的权重；根据每一目标外形特征点的权重和目标外形特征点的运动向量，计算目标外形特征点的加权平均位移。
相对应的，基于加权平均位移、角度信息和尺度变化信息，确定目标外形特征点在目标追踪区域内的位置变化信息。
已存跟踪数据可以是本次直播的已经拍摄并存储的视频数据。加权平均位移指的是在计算平均位移时，考虑了每个目标外形特征点的权重，并根据权重值进行加权计算得到的平均位移值。
具体的，可以查找获取存储的目标标定人的已存跟踪数据，对已存跟踪数据中目标标定人的每一目标外形特征进行出现频率和稳定性的分析。若某一目标外形特征出现的频率最高且清晰度很高，即稳定性较强，则将该目标外形特征点的权重设置为最高。在出现频率和稳定性一高一低的情况下，以出现频率为主。在具体的实现过程中，可以建立一个权重确定模型，来确定不同目标外形特征点的权重。然后可以针对每一目标外形特征点，将其运动向量和对应的权重相乘，除以总的目标外形特征点的权重，得到加权平均位移。将加权平均位移、角度信息和尺度变化信息，整体确定为目标外形特征点在目标追踪区域内的位置变化信息。
本实施例对目标外形特征点的运动向量进行了进一步的处理，基于每一目标外形特征点对于目标标定人整体跟踪的贡献度，确定出权重，进而得到加权平均位移。基于加权平均位移、角度信息和尺度变化信息，确定出的目标外形特征点在目标追踪区域内的位置变化信息更加准确可靠。
在一些实施例中，可以按照上述实施例中得到的加权平均位移、角度信息和尺度变化信息对目标外形特征点进行处理，预测出目标外形特征点的下一位置。具体的，根据加权平均位移，将目标外形特征点从当前位置进行平移，得到第一预测位置；根据角度信息，将第一预测位置的目标外形特征点进行旋转调整，得到第二预测位置；根据尺度变化信息，将第二预测位置的目标外形特征点进行缩放调整，得到第三预测位置；利用迭代优化算法处理位置变化信息，对第三预测位置进行更新，得到目标外形特征点的下一位置。
迭代优化算法是一类用于求解最优化问题的算法，利用迭代优化算法对第三预测位置进行处理，可以进一步优化位置的准确性。
具体的，基于加权平均位移将目标外形特征点从当前位置平移到第一预测位置，然后将第一预测位置的目标外形特征点按照角度信息进行调整，调整后的位置为第二预测位置。然后将第二预测位置的目标外形特征点按照尺度变化信息进行缩放调整，确定出第三预测位置。然后可以将目标外形特征点的位置变化信息转化为最小化特征点的第三预测位置与目标外形特征点在当前帧图像中的实际位置之间的残差的优化问题，对应定义误差函数，选择最小二乘法等优化算法，对第三预测位置进行位置调整，使误差函数最小化，更新得到的位置作为目标外形特征点的下一位置。
本实施例在基于加权平均位移、角度信息以及尺度变化信息对目标外形特征点进行调整之后，加入了迭代优化算法进行第三预测位置的更新，使目标外形特征点的下一位置更加的准确可靠。
在一些实施例中，可以先判断目标标定人是否产生更换，更换后的目标对象可能包括目标人物和目标商品，针对不同的目标对象进行不同的处理。具体的，分析若干帧标定图像和预设更换行为，确定目标标定人是否产生更换；若产生更换，则基于若干帧标定图像和每一直播对象的声音数据确定更换后的目标对象，目标对象包括目标人物和目标商品；若目标对象为目标人物，则将目标人物确定为目标标定人进行跟踪拍摄；若更换后的目标对象为目标商品，则控制摄像头锁定目标商品并分析目标商品的物品特征点；提取目标商品对应的讲解人物的外形特征点，并结合目标商品的物品特征点和讲解人物的外形特征点，预测目标商品的下一位置，以控制摄像头将目标商品的下一位置拍摄在目标追踪区域内。
预设更换行为可以用于表征下一时刻要更换目标标定人，可以包括一些预设手势、预设发言等。物品特征点可以为目标商品的外形特征点，例如边角、图案以及颜色等。
具体的，可以分析若干帧标定图像，提取出目标标定人的动作，与预设更换行为进行对比，若与预设更换行为不匹配，则继续进行目标标定人的跟踪。若与预设更换行为匹配，则确定目标标定人发生更换，此时可以具体分析若干帧标定图像和每一直播对象的声音数据，分析出更换后的目标对象为目标人物和/或目标商品。若更换后的目标对象为目标人物，则将该目标人物更新为目标标定人，按照上述实施例中的步骤进行跟踪拍摄。若更换后的目标对象为目标商品，先控制摄像头锁定目标商品，分析出画面中展现出的目标商品的物品特征点。由于目标对象是目标商品，需要有人物的辅助直播，因此可以提取目标商品对应的讲解人物的外形特征点，以物品特征点为主，按照上述实施例中的步骤进行追踪，在不影响目标商品的追踪的情况下，同时对讲解人物进行追踪。由于目标商品的移动收到讲解人物的影响，因此可以结合讲解人物的跟踪情况来预测目标商品的下一位置，控制摄像头将目标商品的下一位置拍摄在目标追踪区域内。
本实施例针对目标标定人产生更换的情况进行分析，针对更换后的不同的目标对象进行不同的处理。当更换后的目标对象为目标商品时，由于受到讲解人物的运动影响，可以结合物品特征点和讲解人物的外形特征点预测目标商品的下一位置，提升了目标商品的下一位置的准确性。
在一些实施例中，可以在目标对象为目标商品时，分析若干帧标定图像来确定目标商品的讲解是否结束，若结束，可以控制摄像头解除目标商品的锁定，回归原始拍摄位置。具体的，分析若干帧标定图像，确定目标商品是否处于解除锁定区域；若处于解除锁定区域，则获取目标商品在解除锁定区域的停留时长；若停留时长大于或等于预设解锁时长，则控制摄像头解除目标商品的锁定。
可以预先设置解除锁定区域，该解除锁定区域可以由人为录入，当目标商品讲解完成后，会被放置到该解除锁定区域。预设解锁时长可以是根据历史直播的数据确定的，有时讲解人可能会误将目标商品放置到解除锁定区域，超过预设解锁时长可以看作讲解完毕。停留时长可以用于表示目标商品在解除锁定区域放置的时长，迷你主机可以记录每一次分析的结果，如果目标商品还在解除锁定区域内，则记录下时刻，并结合之前记录的时刻更新停留时长。若已经确定讲解完成，那么直接记录目标商品的停留时长，删除其他记录时刻。
具体的，可以对若干帧标定图像进行图像分析，确定目标商品是否处于接触锁定区域，如果处于解除锁定区域，则获取目标商品在解除锁定区域的停留时长，将停留时长与预设解锁时长进行对比，若停留时长大于或等于预设解锁时长，则控制摄像头解除目标商品的锁定。
在一些实现方式中，控制摄像头解除目标商品的锁定之后，可以控制摄像头，回归原始拍摄位置。由于持有者若在同一空间直播，追踪设备的放置位置基本不会发生变化，因此原始拍摄位置可以是预先放置的位置上摄像头能拍摄到整个直播区域的位置。
本实施例在目标对象为目标商品的时候分析该目标商品是否被讲解完成，当目标商品在解除锁定区域中的停留时长大于或等于预设解锁时长，可以确定讲解完成，此时可以解除对目标商品的锁定，避免多个目标商品出现时锁定出错。
在另一些实施例中，在特定场所、例如办理业务的各种柜台以及目前互联网中火热的主播行业，都对使用者或者说被拍摄者需要进行定位追踪，进而对摄像头分析特征的方法会有不同的要求，而同时一些大部分摄像头一般是安装在显示屏上，摄像头所记录保存的数据都只能存储在主机中，这在进行数据读取都会有不便性。本申请的方法可以使摄像头追踪更加灵敏、迅速，判断多特征（声音、人脸行为），还可以使摄像头也能关联对应的主机进行存储。
追踪设备可以分为两段式的旋转连接，具体可以参考如图3所示的安装有摄像系统的追踪设备的结构示意图。上半部分为摄像头的部分，下班部分为主机（迷你主机）部分，两者为旋转连接，可以设计成固定、解锁两种模式。解锁模式下摄像头可进行360度的旋转，便于跟踪当拍摄者，而主机（迷你主机）则是为了更好、更便捷地记录拍摄的数据。
本申请主要针对
（1）摄像头的降噪处理，当捕捉到目前标定人（目标标定人）之后，图像内出现其他人时，也不会受其他人的影响，进而受干扰。
（2）摄像头的跟随处理，需要先对标定人（目标标定人）进行面部的特征识别，并且通过建模学习，人脸的不同角度，进而能够识别相同特征在不同角度下（人会有变形）的成像，其次还要进行距离远、近的特征模拟分析，在主播行业中，画面中人物位置并非固定的，有时候会需要展示物品等行为需要会远离摄像头或者靠近摄像头。
（3）摄像头也可以进行非人脸的特征识别，重点是在于对商品（目标商品）的识别，这个方向是为了适配带货行业，识别手势行为进而对商品进行跟踪，而当商品置入已设置好的区域，且停留时，则摄像头会归位且接触商品锁定。
能够让对应的识别人在识别摄像头获取的图像场景中，不容易脱离；摄像头与迷你主机一体的设备携带更便携、存储数据也能随时查找。
图4为本申请一实施例提供的一种基于特征的摄像头追踪装置的结构示意图，如图4所示的，本实施例的基于特征的摄像头追踪装置400包括：首段图像分析模块401、目标标定人确定模块402、目标外形特征点拍摄模块403、位置预测模块404、拍摄方向调整模块405和拍摄视频存储模块406。
首段图像分析模块401，用于接收并分析摄像头拍摄的首段图像，确定对应的直播标定区域、直播标定区域内的直播对象和直播对象的外形特征点；
目标标定人确定模块402，用于识别直播对象的直播位置，采集直播对象的声音数据，并根据直播对象的直播位置和声音数据确定目标标定人；
目标外形特征点拍摄模块403，用于控制摄像头标定目标外形特征点进行拍摄，并接收摄像头按照预设上传频率发送的若干帧标定图像，目标外形特征点为目标标定人的外形特征点；
位置预测模块404，用于分析若干帧标定图像，确定目标外形特征点在目标追踪区域内的位置变化信息，并基于位置变化信息，预测目标外形特征点的下一位置，目标追踪区域为直播对象在摄像头中移动的区域；
拍摄方向调整模块405，用于分析下一位置与目标追踪区域的相对位置，并基于所述相对位置调整摄像头的拍摄方向，以使下一位置在目标追踪区域内；
拍摄视频存储模块406，用于将摄像头按照预设存储频率发送的若干组拍摄视频进行存储并上传云端。
可选的，基于特征的摄像头追踪装置400还包括摄像头开启模块407，用于：
接收到开始摄像指令时，开启摄像头；
将连接模式调整为固定模式，以控制摄像头拍摄首段图像，连接模式用于表征与摄像头的连接方式，连接模式包括固定模式和解锁模式。
可选的，位置预测模块404具体用于：
利用光流算法计算若干帧标定图像中，任意相邻两帧标定图像之间的光流，以得到目标外形特征点的运动向量；
通过角度估计算法对目标外形特征点的分布情况进行计算，以确定目标外形特征点的角度信息；
通过尺度变换算法预测目标外形特征点的尺度变化信息；
基于目标外形特征点的运动向量、角度信息和尺度变化信息，确定目标外形特征点在目标追踪区域内的位置变化信息。
可选的，基于特征的摄像头追踪装置400还包括加权平均位移模块408，用于：
分析目标标定人的已存跟踪数据，确定目标标定人的每一目标外形特征点的权重；
根据每一目标外形特征点的权重和目标外形特征点的运动向量，计算目标外形特征点的加权平均位移；
位置预测模块404具体用于：
基于加权平均位移、角度信息和尺度变化信息，确定目标外形特征点在目标追踪区域内的位置变化信息。
可选的，位置预测模块404具体用于：
根据加权平均位移，将目标外形特征点从当前位置进行平移，得到第一预测位置；
根据角度信息，将第一预测位置的目标外形特征点进行旋转调整，得到第二预测位置；
根据尺度变化信息，将第二预测位置的目标外形特征点进行缩放调整，得到第三预测位置；
利用迭代优化算法处理位置变化信息，对第三预测位置进行更新，得到目标外形特征点的下一位置。
可选的，基于特征的摄像头追踪装置400还包括目标商品追踪模块409，用于：
分析若干帧标定图像和预设更换行为，确定目标标定人是否产生更换；
若产生更换，则基于若干帧标定图像和每一直播对象的声音数据确定更换后的目标对象，目标对象包括目标人物和目标商品；
若目标对象为目标人物，则将目标人物确定为目标标定人进行跟踪拍摄；
若更换后的目标对象为目标商品，则控制摄像头锁定目标商品并分析目标商品的物品特征点；
提取目标商品对应的讲解人物的外形特征点，并结合目标商品的物品特征点和讲解人物的外形特征点，预测目标商品的下一位置，以控制摄像头将目标商品的下一位置拍摄在目标追踪区域内。
可选的，基于特征的摄像头追踪装置400还包括解除锁定模块410，用于：
分析若干帧标定图像，确定目标商品是否处于解除锁定区域；
若处于解除锁定区域，则获取目标商品在解除锁定区域的停留时长；
若停留时长大于或等于预设解锁时长，则控制摄像头解除目标商品的锁定，并回归原始拍摄位置。
本实施例的装置，可以用于执行上述任一实施例的方法，其实现原理和技术效果类似，此处不再赘述。
图5为本申请一实施例提供的一种电子设备的结构示意图，如图5所示，本实施例的电子设备500可以包括：存储器501和处理器502。
存储器501上存储有能够被处理器502加载并执行上述实施例中方法的计算机程序。
其中，处理器502和存储器501相连，如通过总线相连。
可选地，电子设备500还可以包括收发器。需要说明的是，实际应用中收发器不限于一个，该电子设备500的结构并不构成对本申请实施例的限定。
处理器502可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器502也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线可包括一通路，在上述组件之间传送信息。总线可以是PCI（PeripheralComponent Interconnect，外设部件互连标准）总线或EISA（Extended Industry StandardArchitecture，扩展工业标准结构）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器501可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器501用于存储执行本申请方案的应用程序代码，并由处理器502来控制执行。处理器502用于执行存储器501中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本实施例的电子设备，可以用于执行上述任一实施例的方法，其实现原理和技术效果类似，此处不再赘述。
本申请还提供一种计算机可读存储介质，存储有能够被处理器加载并执行如上实施例中的方法的计算机程序。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种基于特征的摄像头追踪方法，其特征在于，包括：
接收并分析摄像头拍摄的首段图像，确定对应的直播标定区域、所述直播标定区域内的直播对象和所述直播对象的外形特征点；
识别所述直播对象的直播位置，采集所述直播对象的声音数据，并根据所述直播位置和所述声音数据确定目标标定人；
控制所述摄像头标定目标外形特征点进行拍摄，并接收所述摄像头按照预设上传频率发送的若干帧标定图像，所述目标外形特征点为所述目标标定人的外形特征点；
分析所述若干帧标定图像，确定所述目标外形特征点在目标追踪区域内的位置变化信息，并基于所述位置变化信息，预测所述目标外形特征点的下一位置，所述目标追踪区域为所述摄像头完全拍摄到所述直播对象的区域；
分析所述下一位置与目标追踪区域的相对位置，并基于所述相对位置调整所述摄像头的拍摄方向，以使所述下一位置在所述目标追踪区域内；
将所述摄像头按照预设存储频率发送的若干组拍摄视频进行存储并上传云端。
2.根据权利要求1所述的基于特征的摄像头追踪方法，其特征在于，还包括：
接收到开始摄像指令时，开启摄像头；
将连接模式调整为固定模式，以控制所述摄像头拍摄首段图像，所述连接模式用于表征与所述摄像头的连接方式，所述连接模式包括固定模式和解锁模式。
3.根据权利要求1所述的基于特征的摄像头追踪方法，其特征在于，所述分析所述若干帧标定图像，确定所述目标外形特征点在目标追踪区域内的位置变化信息，包括：
利用光流算法计算所述若干帧标定图像中，任意相邻两帧标定图像之间的光流，以得到所述目标外形特征点的运动向量；
通过角度估计算法对所述目标外形特征点的分布情况进行计算，以确定所述目标外形特征点的角度信息；
通过尺度变换算法预测所述目标外形特征点的尺度变化信息；
基于所述目标外形特征点的运动向量、角度信息和尺度变化信息，确定所述目标外形特征点在目标追踪区域内的位置变化信息。
4.根据权利要求3所述的基于特征的摄像头追踪方法，其特征在于，还包括：
分析所述目标标定人的已存跟踪数据，确定所述目标标定人的每一目标外形特征点的权重；
根据所述每一目标外形特征点的权重和所述目标外形特征点的运动向量，计算所述目标外形特征点的加权平均位移；
所述基于所述目标外形特征点的运动向量、角度信息和尺度变化信息，确定所述目标外形特征点在目标追踪区域内的位置变化信息，包括：
基于所述加权平均位移、角度信息和尺度变化信息，确定所述目标外形特征点在目标追踪区域内的位置变化信息。
5.根据权利要求4所述的基于特征的摄像头追踪方法，其特征在于，所述基于所述位置变化信息，预测所述目标外形特征点的下一位置，包括：
根据所述加权平均位移，将所述目标外形特征点从当前位置进行平移，得到第一预测位置；
根据所述角度信息，将所述第一预测位置的目标外形特征点进行旋转调整，得到第二预测位置；
根据所述尺度变化信息，将所述第二预测位置的目标外形特征点进行缩放调整，得到第三预测位置；
利用迭代优化算法处理所述位置变化信息，对所述第三预测位置进行更新，得到所述目标外形特征点的下一位置。
6.根据权利要求1-5任一项所述的基于特征的摄像头追踪方法，其特征在于，还包括：
分析所述若干帧标定图像和预设更换行为，确定所述目标标定人是否产生更换；
若产生更换，则基于所述若干帧标定图像和每一直播对象的声音数据确定更换后的目标对象，所述目标对象包括目标人物和目标商品；
若所述目标对象为目标人物，则将所述目标人物确定为目标标定人进行跟踪拍摄；
若所述更换后的目标对象为目标商品，则控制所述摄像头锁定所述目标商品并分析所述目标商品的物品特征点；
提取所述目标商品对应的讲解人物的外形特征点，并结合所述目标商品的物品特征点和所述讲解人物的外形特征点，预测所述目标商品的下一位置，以控制所述摄像头将所述目标商品的下一位置拍摄在所述目标追踪区域内。
7.根据权利要求6所述的基于特征的摄像头追踪方法，其特征在于，还包括：
分析所述若干帧标定图像，确定所述目标商品是否处于解除锁定区域；
若处于解除锁定区域，则获取所述目标商品在所述解除锁定区域的停留时长；
若所述停留时长大于或等于预设解锁时长，则控制所述摄像头解除所述目标商品的锁定。
8.一种基于特征的摄像头追踪装置，其特征在于，包括：
首段图像分析模块，用于接收并分析摄像头拍摄的首段图像，确定对应的直播标定区域、所述直播标定区域内的直播对象和所述直播对象的外形特征点；
目标标定人确定模块，用于识别所述直播对象的直播位置，采集所述直播对象的声音数据，并根据所述直播位置和所述声音数据确定目标标定人；
目标外形特征点拍摄模块，用于控制所述摄像头标定目标外形特征点进行拍摄，并接收所述摄像头按照预设上传频率发送的若干帧标定图像，所述目标外形特征点为所述目标标定人的外形特征点；
位置预测模块，用于分析所述若干帧标定图像，确定所述目标外形特征点在目标追踪区域内的位置变化信息，并基于所述位置变化信息，预测所述目标外形特征点的下一位置，所述目标追踪区域为所述直播对象在所述摄像头中移动的区域；
拍摄方向调整模块，用于分析所述下一位置与目标追踪区域的相对位置，并基于所述相对位置调整所述摄像头的拍摄方向，以使所述下一位置在所述目标追踪区域内；
拍摄视频存储模块，用于将所述摄像头按照预设存储频率发送的若干组拍摄视频进行存储并上传云端。
9.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，用于调用并执行所述存储器中的程序指令，执行如权利要求1-7任一项所述的基于特征的摄像头追踪方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序；所述计算机程序被处理器执行时，实现如权利要求1-7任一项所述的基于特征的摄像头追踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311237845.8A CN116980744B (zh) | 2023-09-25 | 2023-09-25 | 基于特征的摄像头追踪方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311237845.8A CN116980744B (zh) | 2023-09-25 | 2023-09-25 | 基于特征的摄像头追踪方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116980744A true CN116980744A (zh) | 2023-10-31 |
| CN116980744B CN116980744B (zh) | 2024-01-30 |
Family
ID=88477099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311237845.8A Active CN116980744B (zh) | 2023-09-25 | 2023-09-25 | 基于特征的摄像头追踪方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116980744B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130033596A1 (en) * | 2011-08-03 | 2013-02-07 | The Boeing Company | Projection aided feature measurement using uncalibrated camera |
| CN109151439A (zh) * | 2018-09-28 | 2019-01-04 | 上海爱观视觉科技有限公司 | 一种基于视觉的自动追踪拍摄系统及方法 |
| CN110830708A (zh) * | 2018-08-13 | 2020-02-21 | 深圳市冠旭电子股份有限公司 | 一种追踪摄像方法、装置及终端设备 |
| CN111432115A (zh) * | 2020-03-12 | 2020-07-17 | 浙江大华技术股份有限公司 | 基于声音辅助定位的人脸追踪方法、终端及存储装置 |
| CN111669508A (zh) * | 2020-07-01 | 2020-09-15 | 海信视像科技股份有限公司 | 一种摄像头的控制方法及显示设备 |
| CN111862154A (zh) * | 2020-07-13 | 2020-10-30 | 中移（杭州）信息技术有限公司 | 机器人视觉跟踪方法、装置、机器人及存储介质 |
| CN112862859A (zh) * | 2020-08-21 | 2021-05-28 | 海信视像科技股份有限公司 | 一种人脸特征值创建方法、人物锁定追踪方法及显示设备 |
| CN112866772A (zh) * | 2020-08-21 | 2021-05-28 | 海信视像科技股份有限公司 | 一种显示设备及声像人物定位追踪方法 |
| CN114466139A (zh) * | 2022-01-30 | 2022-05-10 | 深圳市浩瀚卓越科技有限公司 | 追踪定位方法、系统、装置、设备、存储介质和产品 |
| CN115242971A (zh) * | 2022-06-21 | 2022-10-25 | 海南视联通信技术有限公司 | 摄像头控制方法、装置、终端设备和存储介质 |
| CN115661780A (zh) * | 2022-12-23 | 2023-01-31 | 深圳佑驾创新科技有限公司 | 一种交叉视角下的摄像头目标匹配方法、装置及存储介质 |
-
2023
- 2023-09-25 CN CN202311237845.8A patent/CN116980744B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130033596A1 (en) * | 2011-08-03 | 2013-02-07 | The Boeing Company | Projection aided feature measurement using uncalibrated camera |
| CN110830708A (zh) * | 2018-08-13 | 2020-02-21 | 深圳市冠旭电子股份有限公司 | 一种追踪摄像方法、装置及终端设备 |
| CN109151439A (zh) * | 2018-09-28 | 2019-01-04 | 上海爱观视觉科技有限公司 | 一种基于视觉的自动追踪拍摄系统及方法 |
| CN111432115A (zh) * | 2020-03-12 | 2020-07-17 | 浙江大华技术股份有限公司 | 基于声音辅助定位的人脸追踪方法、终端及存储装置 |
| CN111669508A (zh) * | 2020-07-01 | 2020-09-15 | 海信视像科技股份有限公司 | 一种摄像头的控制方法及显示设备 |
| CN111862154A (zh) * | 2020-07-13 | 2020-10-30 | 中移（杭州）信息技术有限公司 | 机器人视觉跟踪方法、装置、机器人及存储介质 |
| CN112862859A (zh) * | 2020-08-21 | 2021-05-28 | 海信视像科技股份有限公司 | 一种人脸特征值创建方法、人物锁定追踪方法及显示设备 |
| CN112866772A (zh) * | 2020-08-21 | 2021-05-28 | 海信视像科技股份有限公司 | 一种显示设备及声像人物定位追踪方法 |
| CN114466139A (zh) * | 2022-01-30 | 2022-05-10 | 深圳市浩瀚卓越科技有限公司 | 追踪定位方法、系统、装置、设备、存储介质和产品 |
| CN115242971A (zh) * | 2022-06-21 | 2022-10-25 | 海南视联通信技术有限公司 | 摄像头控制方法、装置、终端设备和存储介质 |
| CN115661780A (zh) * | 2022-12-23 | 2023-01-31 | 深圳佑驾创新科技有限公司 | 一种交叉视角下的摄像头目标匹配方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116980744B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476306B (zh) | 基于人工智能的物体检测方法、装置、设备及存储介质 | |
| CN103514432B (zh) | 人脸特征提取方法、设备和计算机程序产品 | |
| US20170192500A1 (en) | Method and electronic device for controlling terminal according to eye action | |
| CN110060276B (zh) | 对象追踪方法、追踪处理方法、相应的装置、电子设备 | |
| US11102413B2 (en) | Camera area locking | |
| CN108921131B (zh) | 一种生成人脸检测模型、三维人脸图像的方法及装置 | |
| EP3093822B1 (en) | Displaying a target object imaged in a moving picture | |
| CN107871001B (zh) | 音频播放方法、装置、存储介质及电子设备 | |
| KR20140090078A (ko) | 이미지 처리 방법 및 그 방법을 처리하는 전자 장치 | |
| CN112119627A (zh) | 基于云台的目标跟随方法、装置、云台和计算机存储介质 | |
| JP2019186955A (ja) | 情報処理システム、情報処理方法及びプログラム | |
| CN106249508A (zh) | 自动对焦方法和系统、拍摄装置 | |
| CN110766025B (zh) | 绘本识别方法、装置、系统及存储介质 | |
| US10986287B2 (en) | Capturing a photo using a signature motion of a mobile device | |
| JP7230345B2 (ja) | 情報処理装置及び情報処理プログラム | |
| CN114390201A (zh) | 对焦方法及其装置 | |
| CN116980744B (zh) | 基于特征的摄像头追踪方法、装置、电子设备及存储介质 | |
| CN110030467B (zh) | 一种用于摄像组件的安装的方法、装置及设备 | |
| CN107578006B (zh) | 一种照片处理方法及移动终端 | |
| CN115514887A (zh) | 视频采集的控制方法、装置、计算机设备和存储介质 | |
| CN115660969A (zh) | 图像处理方法、模型训练方法、装置、设备和存储介质 | |
| US11087121B2 (en) | High accuracy and volume facial recognition on mobile platforms | |
| CN113807251A (zh) | 一种基于外观的视线估计方法 | |
| US20240005529A1 (en) | Software-based object tracking method and computing device therefor | |
| EP4187506A1 (en) | Method and device for determining face liveness |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |