CN116132798A - 一种智能摄像头的自动跟拍方法 - Google Patents

一种智能摄像头的自动跟拍方法 Download PDF

Info

Publication number
CN116132798A
CN116132798A CN202310051676.2A CN202310051676A CN116132798A CN 116132798 A CN116132798 A CN 116132798A CN 202310051676 A CN202310051676 A CN 202310051676A CN 116132798 A CN116132798 A CN 116132798A
Authority
CN
China
Prior art keywords
image
analyzed
target
feature points
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310051676.2A
Other languages
English (en)
Other versions
CN116132798B (zh
Inventor
程伟
杨丽丹
杨顺作
杨丽香
杨金燕
杨丽霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Telesin Digital Ltd
Original Assignee
Shenzhen Telesin Digital Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Telesin Digital Ltd filed Critical Shenzhen Telesin Digital Ltd
Priority to CN202310051676.2A priority Critical patent/CN116132798B/zh
Publication of CN116132798A publication Critical patent/CN116132798A/zh
Application granted granted Critical
Publication of CN116132798B publication Critical patent/CN116132798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理领域,具体涉及一种智能摄像头的自动跟拍方法,包括:获取待分析图像的各个目标特征点以及各个目标特征点的移动方向以及移动幅度;根据待分析图像中各个目标特征点与其他目标特征点之间的方向相似性以及幅度相似性得到各个目标特征点的稳定程度;根据各个目标特征点对应的横向均匀程度以及第一横向均匀程度得到各个目标特征点的横向特征强度;获取各个目标特征点的纵向特征强度,得到各个目标特征点的整体特征强度,进而得到各个目标特征点的参考权重;根据待分析图像中各个目标特征点的参考权重以及坐标、移动方向和移动幅度得到摄像头的移动方向和移动角度。本发明可以更加快速、稳定地对固定目标进行跟拍。

Description

一种智能摄像头的自动跟拍方法
技术领域
本发明涉及图像处理领域,具体涉及一种智能摄像头的自动跟拍方法。
背景技术
摄像头自动跟拍功能目前的应用较为广泛,主要用于对移动物体的自动跟踪,自动追踪等等,例如户外直播以及线上会议等存在人员走动现象的场景,常规的摄像头自动跟拍技术利用被动红外追踪功能或者在目标物体上设置目标点进行跟踪,跟踪完成之后还需要获取整体的目标,在获取整体目标的中心部位作为对焦中心,使得整个流程较为繁琐,计算量大,使得摄像头自动跟拍功能也存在一定的缺陷,例如,摄像头无法对焦拍摄清晰的视频或者图像,以及摄像头的跟踪速度无法赶上目标的移动速度,使得摄像头的跟踪速度始终滞后于目标的移动速度,从而拍摄的视频或者图像存在一定的滞后性,影响观感;此外,目标物体在移动过程中,目标物体在一种可图像中的特征也会发生变化,因此设计一种可以快速、稳定地对固定目标进行跟拍的方法是非常重要的。
发明内容
本发明提供一种智能摄像头的自动跟拍方法,以解决现有的问题。
本发明的一种智能摄像头的自动跟拍方法采用如下技术方案:
本发明一个实施例提供了一种智能摄像头的自动跟拍方法,该方法包括以下步骤:
获取目标物体的第一参考图像、待分析图像以及待分析图像的第二参考图像;
将第一参考图像以及第二参考图像中各个特征点与待参考图像中各个特征点进行匹配,得到待分析图像的各个目标特征点;
根据待分析图像中各个目标特征点与第二参考图像中相匹配的特征点的坐标得到各个目标特征点的移动方向以及移动幅度;根据待分析图像中各个目标特征点与其他目标特征点之间的方向相似性以及幅度相似性得到各个目标特征点的稳定程度;
根据待分析图像中所有目标特征点的横坐标得到第一横向均匀程度;根据去除待分析图像中各个目标特征点后,剩余目标特征点的横坐标得到各个目标特征点对应的横向均匀程度;根据待分析图像中各个目标特征点对应的横向均匀程度以及第一横向均匀程度得到各个目标特征点的横向特征强度;获取各个目标特征点的纵向特征强度;根据各个目标特征点的横向特征强度以及纵向特征强度得到各个目标特征点的整体特征强度;根据各个目标特征点的稳定程度以及整体特征强度得到各个目标特征点的参考权重;
根据待分析图像中各个目标特征点的参考权重以及坐标、移动方向和移动幅度得到待分析图像的中心点、整体移动方向以及整体移动幅度;根据待分析图像的中心点以及整体移动方向得到预测对焦中心;根据待分析图像的中心点与预测对焦中心的坐标、整体移动幅度得到摄像头的移动方向和移动角度。
优选的,所述获取目标物体的第一参考图像、待分析图像以及待分析图像的第二参考图像的方法为:将摄像头跟拍之前采集的目标物体图像记为第一参考图像;将当前时刻采集的图像称为待分析图像;将上一时刻采集的图像称为待分析图像的第二参考图像。
优选的,所述第一参考图像以及第二参考图像中各个特征点是指目标物体在第一参考图像与第二参考图像对应区域中的特征点。
优选的,所述待分析图像的各个目标特征点的获取步骤包括:
计算待分析图像的各个特征点与第一参考图像中相匹配的特征点的描述子之间的欧氏距离,记为待分析图像的各个特征点的第一欧氏距离;计算待分析图像的各个特征点与第二参考图像中相匹配的特征点的描述子之间的欧氏距离,记为待分析图像的各个特征点的第二欧氏距离,根据所述第一欧式距离与所述第二欧式距离得到待分析图像的各个特征点的目标概率;根据各个特征点的目标概率得到待分析图像的各个目标特征点。
优选的,所述各个目标特征点的稳定程度的获取方法为:
以任意一个目标特征点为待分析特征点;计算待分析特征点与其他各个目标特征点的移动方向之间的夹角得到待分析特征点与其他各个特征点的方向相似性;根据待分析特征点与其他各个目标特征点的移动幅度之间的差值得到待分析特征点与其他各个目标特征点的幅度相似性;将待分析特征点与其他各个目标特征点的方向相似性与幅度相似性相乘,计算待分析特征点与其他所有目标特征点对应的乘积之间的累加和作为待分析特征点的稳定程度;
以待分析图像中的各个目标特征点为待分析特征点,得到各个目标特征点的稳定程度。
优选的,所述第一横向均匀程度的获取表达式为:
式中,为第一横向均匀程度;M为待分析图像中所有目标特征点的横坐标种类数;表示第u种横坐标的值;为第u+1种横坐标的值;为待分析图像中的所有目标特征点的最大横坐标;为待分析图像中的所有目标特征点的最小横坐标。
优选的,所述待分析图像中所有目标特征点的横坐标种类数的获取方法为:将具有相同值的所有横坐标称为一种横坐标,得到所有目标特征点的横坐标种类数。
优选的,所述各个目标特征点的横向特征强度的获取方法包括:
计算各个目标特征点对应的横向均匀程度与第一横向均匀程度之间的比值,使用特征强度映射模型对所得比值进行映射,将所得映射结果作为各个目标特征点的横向特征强度。
本发明的有益效果是:首先根据第一参考图像与第二参考图像对待分析图像进行目标物体对应的各个目标特征点进行提取,从而避免因目标物体的运动过程中部分特征发生丢失而导致地对目标物体识别的准确性较低的现象出现;然后根据待分析图像中各个目标特征点的稳定程度以及整体特征强度对各个目标特征点设置参考权重,结合各个目标特征点的坐标得到摄像头的预测对焦中心,其中通过各个目标特征点的稳定程度避免目标物体因存在局部移动,导致摄像头对焦中心不断发生变化,进而避免画面频繁抖动,保证用户体验;通过各个目标特征点在目标物体对应区域的分布情况得到各个目标特征点的整体特征强度,使得目标特征点可以尽量均匀地分布在目标物体对应区域内,可以更加准确地反映目标物体的整体特征;最后根据各个目标特征点的参考权重、移动方向以及移动幅度得到目标物体的整体移动方向以及整体移动幅度,根据预测对焦中心的坐标、整体移动方向以及整体移动幅度确定摄像头的移动方向以及移动角度,由此实现对摄像头的位姿进行调整,并根据预测对焦中心提前对目标物体在下一时刻进行对焦,以保证目标物体在摄像头采集的图像中始终位于图像中央并始终保持清晰状态。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的一种智能摄像头的自动跟拍方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种智能摄像头的自动跟拍方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种智能摄像头的自动跟拍方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种智能摄像头的自动跟拍方法的步骤流程图,该方法包括以下步骤:
步骤S001:获取目标物体的第一参考图像、待分析图像以及待分析图像的第二参考图像。
由于实际环境可能较为复杂,对于固定目标的识别,首先需要对目标物体进行图像采集,得到第一参考图像;
但是目标物体在运动过程中,相对于摄像头的角度会发生变化,使得不同时刻采集的图像中目标物体的特征会出现丢失,导致会将实际环境中的其他物体错误地识别为目标物体,而摄像头具有较高的采集频率,因此目标物体在相邻时刻中是连续变化的,也就是说,当前时刻所采集的图像中目标物体与上一时刻的目标物体具有较高地相似性,为了保证对目标物体识别地准确性,本实施例将上一时刻采集的图像作为第二参考图像,用以在待分析图像中目标物体特征丢失较为严重时,辅助目标物体的识别。
设当前时刻为第t个时刻,则以第t-1个时刻采集的图像为第二参考图像;当t=1时,该时刻的第二参考图像也是第一参考图像,即本实施例将当前第t个时刻采集的图像称为待分析图像;将第t-1个时刻采集的图像作为待分析图像的第二参考图像;将跟拍之前采集的目标物体图像称为待分析图像的第一参考图像,并使用矩形框人工标注出目标物体区域,例如在户外直播中,将需要跟拍的主播的人脸图像作为第一参考图像。
步骤S002:根据第一参考图像以及第二参考图像得到待参考图像中的各个目标特征点。
要对目标物体进行识别,需要先提取出目标物体在图像中对应的区域,但是由于目标物体所处环境较为复杂,待分析图像中对应的各个特征点并不完全是目标物体,因此需要提取出待分析图像中目标物体对应的各个特征点,故首先使用SIFT算子对待分析图像、第一参考图像以及第二参考图像分别进行特征点检测,得到待分析图像、第一参考图像以及第二参考图像对应的各个特征点以及各个特征点对应的描述子,后续对待分析图像与第一参考图像以及第二参考图像进行特征点匹配时,只对第一参考图像与第二参考图像的目标物体对应的特征点进行分析,即后续分析过程中,本实施例的第一参考图像以及第二参考图像中各个特征点是指目标物体在第一参考图像与第二参考图像对应区域中的特征点;
然后将待分析图像中的各个特征点与第一参考图像中的各个特征点进行特征点匹配,即计算待分析图像中每个特征点与第一参考图像中所有特征点的描述子之间的欧氏距离,将第一参考图像中最小欧氏距离对应的特征点作为与待分析图像中该特征点相匹配的特征点,特征点匹配方法为公知技术,此处不再赘述。由此得到待分析图像中各个特征点在第一参考图像中相匹配的特征点,同理,获取待分析图像中各个特征点在第二参考图像中相匹配的特征点;
当待分析图像中与第一参考图像中相互匹配的特征点对的数量较少时,表示此时待分析图像中目标物体的特征丢失较为严重,为了保证对目标物体的准确识别,需要结合第二参考图像进行目标物体的识别,从而得到待分析图像中属于目标物体的各个特征点,将这些特征点称为待分析图像中的各个目标特征点;需要说明的是,由于待分析图像中的第二参考图像为上一时刻采集的图像,因此本实施例中第一参考图像以及当前第t个时刻之前采集的每个图像中目标物体对应的特征点都是可以确定的,即第二参考图像中目标物体对应特征点是已知的;
由于第二参考图像中目标物体也已经发生了丢失,可能会将实际场景中的其他非目标物体错误地识别为目标物体,而由于待分析图像中目标物体发生了角度变化,可能也会出现新的特征点,即无法在第一参考图像中找到相匹配的特征点,因此需要结合第一参考图像以及第二参考图像对待分析图像中的目标物体进行识别,而当待分析图像中的一个特征点在第一参考图像与第二参考图像中均存在时,表示该特征点具有更强的特征性,对应其属于目标物体的概率更高;本实施例以待分析图像中各个特征点与第一参考图像中相匹配的特征点之间的欧氏距离以及各个特征点与第二参考图像中相匹配的特征点之间的欧氏距离得到各个特征点的目标概率,则待分析图像中第i个特征点属于目标物体的目标概率可表示为:
式中,为待分析图像中第i个特征点的目标概率;为待分析图像中第i个特征点与第一参考图像中相匹配的特征点的描述子之间的欧氏距离,即第i个特征点的第一欧式距离,用以表征这两个特征点之间的相似度;为该第i个特征点与第二参考图像中相匹配的特征点的描述子之间的欧氏距离,即第i个特征点的第二欧式距离;e为自然常数。
越小,表示待分析图像中第i个特征点与第一参考图像中相匹配的特征点之间的匹配程度越高,该第i个特征点属于目标特征点的目标概率越高,因此与第i个特征点的目标概率呈负相关关系,
设置概率阈值,该值可根据实际情况自行设定,本实施例中设置的概率阈值为0.8,当时,认为该第i个特征点为待分析图像的目标特征点,否则认为该第i个特征点不为待分析图像的目标特征点,由此得到待分析图像中的各个目标特征点。
步骤S003:根据待分析图像中各个目标特征点的移动方向以及移动幅度得到各个目标特征点的稳定程度;根据各个目标特征点的横向特征强度以及纵向特征强度得到各个目标特征点的整体特征强度;根据各个目标特征点的稳定程度以及整体特征强度得到各个目标特征点的参考权重。
在摄像头的跟拍过程中,为了保证目标物体在图像中保持清晰,通常会对焦到目标物体的重心,即将目标物体的重心作为对焦中心,但是由于人会存在局部移动,这些局部移动区域会使目标物体的重心发生移动,导致摄像头的对焦中心发生抖动;因此在获取目标物体的对焦中心的过程中,往往更倾向于参考移动幅度较小的稳定特征点,例如:相对于人的四肢对应的特征点,人的躯干对应的特征点往往具有更高稳定性,因此对焦中心的获取应该对躯干部分的特征点设置更高的参考权重。
其中稳定性高的目标特征点可以表征目标物体在移动过程中的整体移动方向,即目标物体的大多数目标特征点具有相同的移动方向以及移动幅度,因此本实施例根据各个目标特征点的移动程度以及各个目标特征点的特征点强度得到各个目标特征点的稳定程度,其中待分析图像中第k个目标特征点的稳定程度可以表示为;
式中,为待分析图像中第k个目标特征点在第二参考图像中相匹配的特征点坐标之间的欧氏距离,用以表征该第k个目标特征点的移动幅度;为待分析图像中第j个目标特征点的移动幅度;N为待参考图像中目标特征点的个数;为待分析图像中的第k个目标特征点的移动方向,该移动方向是指以该第k个目标特征点的坐标为起点,以该目标特征点在第二参考图像中相匹配的特征点为终点得到的方向向量;为待分析图像中的第j个目标特征点的移动方向;为以自然常数为底的指数函数。
表示待分析图像中第k个目标特征点与第j个目标特征点的幅度相似性,当第k个目标特征点特征点与第j个目标特征点之间的移动幅度差值越小时,表示这两个目标特征点的移动幅度越相似,对应的幅度相似度越高;
表示待分析图像中第k个目标特征点与第j个目标特征点的方向相似性,当第i个目标特征点与待分析图像中的其他目标特征点之间的移动方向之间的夹角越小,对应该目标特征点与其他目标特征点的移动方向之间具有较高的相似性;
由于待分析图像中稳定性较高的目标特征点需要保证其与待分析图像中大多数目标特征点之间的移动方向以及移动幅度具有较高相似性,如果一个目标特征点与待分析图像中其他目标特征点对应移动幅度以及移动方向之间均具有较高的相似性,此时才认为该目标特征点可以表征目标物体的整体移动方向,二者缺一不可;本实施例根据待分析图像中各个目标特征点与其他目标特征点之间的方向相似性以及移动幅度相似性得到各个目标特征点的稳定程度。
由于实际跟拍过程中需要对目标物体整体进行跟拍,因此本实施例除了要保证获取对焦中心所需参考的目标特征点具有较高的稳定性之外,还期望这些目标特征点可以反映目标物体的整体特征,即这些目标特征点尽量均匀地分布在目标物体对应区域,如果此时这些目标特征点分布越均匀,各个目标特征点的稳定程度越高,根据这些目标特征点获取的对焦中心位置才会更准确,故获取待分析图像中的所有目标特征点的最大横坐标与最小横坐标
将待分析图像中各个目标特征点在横轴方向以及纵轴方向上对目标特征点的分布均匀性的影响程度得到各个目标特征点的特征强度,例如,对于横轴方向上的一个目标特征点,判断去除该目标特征点后,剩余的目标特征点的均匀程度得到该目标特征点的重要程度,当去除该目标特征点后,剩余目标特征点的均匀程度降低时,表示该目标特征点的重要程度越高,对应其越能表征目标物体的整体特征,即该目标特征点的整体特征强度越高;
统计待分析图像中所有目标特征点的横坐标种类数,本实施例中具有相同横坐标的一个或多个目标特征点划分为一类,由此得到M个类别,将所得各个类别按照对应横坐标从小到大进行排序,则每个类别对应一种横坐标,即本实施例中将相同值的所有横坐标称为一种横坐标,所得类别的个数M即为待分析图像中所有目标特征点的横坐标种类数;则待分析图像中第k个目标特征点的横向特征强度可表示为:
式中,表示未去除目标特征点时,待分析图像中所有目标特征点的横向均匀程度,即第一横向均匀程度;未去除第k个目标特征点后,待分析图像的横向均匀程度,即第k个目标特征点对应的横向均匀程度;M为待分析图像中所有目标特征点的横坐标种类数;表示第u种横坐标的值;为第u+1种横坐标的值;为待分析图像中的所有目标特征点的最大横坐标;为待分析图像中的所有目标特征点的最小横坐标,为以2为底的对数函数。
理想情况下,待分析图像中所有目标特征点的各种横坐标应该均匀分布在目标物体的横向分布范围内,即理想情况下,每种横坐标之间的平均间隔应为,但是由于目标物体存在多样性,在实际采集的图像中目标物体可以获取到的特征点可能本身分布并不均匀,因此本实施例以未去除目标特征点时待分析图像的横向均匀程度作为参照值,当相邻的两种横坐标之间的间隔越接近平均间隔时,表示此时目标特征点的分布越均匀,此时越接近于1,对应的越大,反之,则越小;
当去除第k个目标特征点后,根据剩余的目标特征点的横坐标得到的横向均匀程度越接近于,即越接近于1时,表示去除该目标特征点前与去除后,目标物体对应的目标特征点的分布并不会发生变化,即存在与该目标特征点的横坐标相同的目标特征点,也就是说去除该目标特征点后,并不影响待分析图像整体特征的表达,对应该目标特征点的横向特征强度越小,本实施例将此时的目标特征点称为冗余特征点;
当去除掉第k个目标特征点后,每种横坐标之间横向均匀程度越小于,即越小于1时,表示去除该目标特征点后,剩余的目标特征点的横向均匀程度减小,例如,不存在与该目标特征点横坐标相同的目标特征点,且该目标特征点附近的目标特征点也较为稀疏,此时去除该目标特征点会对目标物体整体特征的表达产生影响,所得映射结果越大,对应该目标特征点的横向特征强度也越大,本实施例中将此时的目标特征点称为关键特征点;
当去除掉第k个目标特征点后,根据剩余的目标特征点的横坐标得到的横向均匀程度越大于,即越大于1时,表示去除该目标特征点后,剩余的目标特征点的分布更加均匀,例如此时虽然不存在与该目标特征点横坐标相同的目标特征点,但是由于该目标特征点处于目标特征点分布较为密集的区域,因此去除该目标特征点也不会影响待分析图像中目标物体整体特征的表达,此时该目标特征点的横向特征强度虽然也会变大,但是相对于关键特征点,其横向特征强度的变化趋势较为缓慢,因此该目标特征点的横向特征强度实际是相对较小的,本实施例将此时的目标特征点称为可去特征点;
故根据各个目标特征点为冗余特征点、可去特征点还是关键特征点可以得到不同目标特征点对目标物体整体特征表达的影响程度,影响程度越大的目标特征点对应的横向特征强度也越大,而冗余特征点的影响程度小于可去特征点以及关键特征点,而相对于会使横向均匀程度增加的可去特征点,使横向均匀程度减少的关键特征点对目标物体整体特征表达的影响程度越大,即横向均匀程度变化大小相同的情况下,关键特征点的影响程度要大于可去特征点,因此使用为本实施例的特征强度映射模型。
重复上述方法,得到各个目标特征点的横向特征点强度;同理,根据待分析图像中所有目标特征点的纵坐标得到各个目标特征点的纵向特征强度;将各个目标特征点的横向特征强度与纵向特征强度之和得到各个目标特征点的整体特征强度,然后使用线性归一化方法,对各个目标特征点的整体特征强度进行归一化处理,即首先获取所有目标特征点的最大特征强度与最小特征强度;计算各个目标特征点的整体特征强度与最小整体特征强度之间的差值,记为各个目标特征点的第一差值;然后计算最大整体特征强度与最小整体特征强度之间的差值,记为第二差值,最后将各个目标特征点的第一差值与第二差值之间的比值作为各个目标特征点归一化后的整体特征强度,本实施例中,将各个目标特征点归一化后的整体特征强度仍称为各个目标特征点的整体特征强度。
将各个目标特征点的整体特征强度与各个目标特征点的稳定程度进行相乘,所得乘积作为各个目标特征点的参考权重,使用softmax归一化方法对各个目标特征点的参考权重进行归一化处理,将各个目标特征点归一化后的参考权重仍然称为各个目标特征点的参考权重。
步骤S004:根据待分析图像中各个目标特征点的参考权重以及坐标、移动方向和移动幅度得到摄像头的移动方向和移动角度。
以待分析图像中各个目标特征点的参考权重,对各个目标特征点的横坐标进行加权求和,将所得求和结果作为待分析图像的中心点的横坐标;以待分析图像中各个目标特征点的参考权重,对各个目标特征点的纵坐标进行加权求和,将所得求和结果作为待分析图像的中心点的纵坐标,由此得到待分析图像的中心点;
以待分析图像中各个目标特征点的参考权重,对各个目标特征点的移动方向进行加权求和,即对各个移动方向对应的方向向量进行加权求和,将所得结果作为目标物体的整体移动方向,以待分析图像中各个目标特征点的参考权重,对各个目标特征点的移动幅度进行加权求和,将所得结果作为目标物体的整体移动幅度;
然后将待分析图像的中心点按照所得整体移动方向进行移动,将移动后对应位置的坐标作为下一时刻的预测对焦中心;根据预测对焦中心与待分析图像对应中心点之间的坐标差异,结合摄像头成像原理得到摄像头的移动方向以及移动角度,其中摄像头的移动方向与目标物体的整体移动方向相同,摄像头的移动角度可表示为,其中x为目标物体的整体移动幅度,f为摄像头的焦距,由此实现对摄像头的位姿进行调整,并根据预测对焦中心提前对目标物体在下一时刻进行对焦,以保证目标物体在摄像头采集的图像中始终位于图像中央并始终保持清晰状态。
通过以上步骤,完成了对下一时刻的目标物体的自动跟拍,利用本发明实施例的方法完成之后所有时刻的目标物体的自动跟拍。
本实施例首先根据第一参考图像与第二参考图像对待分析图像进行目标物体对应的各个目标特征点进行提取,从而避免因目标物体的运动过程中部分特征发生丢失而导致地对目标物体识别的准确性较低的现象出现;然后根据待分析图像中各个目标特征点的稳定程度以及整体特征强度对各个目标特征点设置参考权重,结合各个目标特征点的坐标得到摄像头的预测对焦中心,其中通过各个目标特征点的稳定程度避免目标物体因存在局部移动,导致摄像头对焦中心不断发生变化,进而避免画面频繁抖动,保证用户体验;通过各个目标特征点在目标物体对应区域的分布情况得到各个目标特征点的整体特征强度,使得目标特征点可以尽量均匀地分布在目标物体对应区域内,可以更加准确地反映目标物体的整体特征;最后根据各个目标特征点的参考权重、移动方向以及移动幅度得到目标物体的整体移动方向以及整体移动幅度,根据预测对焦中心的坐标、整体移动方向以及整体移动幅度确定摄像头的移动方向以及移动角度,由此实现对摄像头的位姿进行调整,并根据预测对焦中心提前对目标物体在下一时刻进行对焦,以保证目标物体在摄像头采集的图像中始终位于图像中央并始终保持清晰状态。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种智能摄像头的自动跟拍方法,其特征在于,该方法包括以下步骤:
获取目标物体的第一参考图像、待分析图像以及待分析图像的第二参考图像;
将第一参考图像以及第二参考图像中各个特征点与待参考图像中各个特征点进行匹配,得到待分析图像的各个目标特征点;
根据待分析图像中各个目标特征点与第二参考图像中相匹配的特征点的坐标得到各个目标特征点的移动方向以及移动幅度;根据待分析图像中各个目标特征点与其他目标特征点之间的方向相似性以及幅度相似性得到各个目标特征点的稳定程度;
根据待分析图像中所有目标特征点的横坐标得到第一横向均匀程度;根据去除待分析图像中各个目标特征点后,剩余目标特征点的横坐标得到各个目标特征点对应的横向均匀程度;根据待分析图像中各个目标特征点对应的横向均匀程度以及第一横向均匀程度得到各个目标特征点的横向特征强度;获取各个目标特征点的纵向特征强度;根据各个目标特征点的横向特征强度以及纵向特征强度得到各个目标特征点的整体特征强度;根据各个目标特征点的稳定程度以及整体特征强度得到各个目标特征点的参考权重;
根据待分析图像中各个目标特征点的参考权重以及坐标、移动方向和移动幅度得到待分析图像的中心点、整体移动方向以及整体移动幅度;根据待分析图像的中心点以及整体移动方向得到预测对焦中心;根据待分析图像的中心点与预测对焦中心的坐标、整体移动幅度得到摄像头的移动方向和移动角度。
2.根据权利要求1所述的一种智能摄像头的自动跟拍方法,其特征在于,所述获取目标物体的第一参考图像、待分析图像以及待分析图像的第二参考图像的方法为:将摄像头跟拍之前采集的目标物体图像记为第一参考图像;将当前时刻采集的图像称为待分析图像;将上一时刻采集的图像称为待分析图像的第二参考图像。
3.根据权利要求1所述的一种智能摄像头的自动跟拍方法,其特征在于,所述第一参考图像以及第二参考图像中各个特征点是指目标物体在第一参考图像与第二参考图像对应区域中的特征点。
4.根据权利要求1所述的一种智能摄像头的自动跟拍方法,其特征在于,所述待分析图像的各个目标特征点的获取步骤包括:
计算待分析图像的各个特征点与第一参考图像中相匹配的特征点的描述子之间的欧氏距离,记为待分析图像的各个特征点的第一欧氏距离;计算待分析图像的各个特征点与第二参考图像中相匹配的特征点的描述子之间的欧氏距离,记为待分析图像的各个特征点的第二欧氏距离,根据所述第一欧式距离与所述第二欧式距离得到待分析图像的各个特征点的目标概率;根据各个特征点的目标概率得到待分析图像的各个目标特征点。
5.根据权利要求1所述的一种智能摄像头的自动跟拍方法,其特征在于,所述各个目标特征点的稳定程度的获取方法为:
以任意一个目标特征点为待分析特征点;计算待分析特征点与其他各个目标特征点的移动方向之间的夹角得到待分析特征点与其他各个特征点的方向相似性;根据待分析特征点与其他各个目标特征点的移动幅度之间的差值得到待分析特征点与其他各个目标特征点的幅度相似性;将待分析特征点与其他各个目标特征点的方向相似性与幅度相似性相乘,计算待分析特征点与其他所有目标特征点对应的乘积之间的累加和作为待分析特征点的稳定程度;
以待分析图像中的各个目标特征点为待分析特征点,得到各个目标特征点的稳定程度。
6.根据权利要求1所述的一种智能摄像头的自动跟拍方法,其特征在于,所述第一横向均匀程度的获取表达式为:
式中,为第一横向均匀程度;M为待分析图像中所有目标特征点的横坐标种类数;表示第u种横坐标的值;为第u+1种横坐标的值;为待分析图像中的所有目标特征点的最大横坐标;为待分析图像中的所有目标特征点的最小横坐标。
7.根据权利要求6所述的一种智能摄像头的自动跟拍方法,其特征在于,所述待分析图像中所有目标特征点的横坐标种类数的获取方法为:将具有相同值的所有横坐标称为一种横坐标,得到所有目标特征点的横坐标种类数。
8.根据权利要求1所述的一种智能摄像头的自动跟拍方法,其特征在于,所述各个目标特征点的横向特征强度的获取方法包括:
计算各个目标特征点对应的横向均匀程度与第一横向均匀程度之间的比值,使用特征强度映射模型对所得比值进行映射,将所得映射结果作为各个目标特征点的横向特征强度。
CN202310051676.2A 2023-02-02 2023-02-02 一种智能摄像头的自动跟拍方法 Active CN116132798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310051676.2A CN116132798B (zh) 2023-02-02 2023-02-02 一种智能摄像头的自动跟拍方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310051676.2A CN116132798B (zh) 2023-02-02 2023-02-02 一种智能摄像头的自动跟拍方法

Publications (2)

Publication Number Publication Date
CN116132798A true CN116132798A (zh) 2023-05-16
CN116132798B CN116132798B (zh) 2023-06-30

Family

ID=86295199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310051676.2A Active CN116132798B (zh) 2023-02-02 2023-02-02 一种智能摄像头的自动跟拍方法

Country Status (1)

Country Link
CN (1) CN116132798B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208035A (zh) * 2010-03-31 2011-10-05 爱信艾达株式会社 图像处理系统及位置测量系统
CN102236901A (zh) * 2011-06-30 2011-11-09 南京大学 基于图论聚类和色彩不变空间的目标跟踪方法
CN103793894A (zh) * 2013-12-04 2014-05-14 国家电网公司 基于云模型元胞自动机角点检测的变电站遥视图像拼接方法
KR20150017832A (ko) * 2013-08-08 2015-02-23 삼성전자주식회사 3d 객체 제어 방법 및 그 장치
US20180158186A1 (en) * 2016-12-07 2018-06-07 Fujitsu Limited Method and device for determining image similarity
CN111147740A (zh) * 2019-12-27 2020-05-12 青岛海信智慧家居系统股份有限公司 一种控制智能摄像头的方法及装置
US20210012520A1 (en) * 2018-08-21 2021-01-14 SZ DJI Technology Co., Ltd. Distance measuring method and device
CN113610895A (zh) * 2021-08-06 2021-11-05 烟台艾睿光电科技有限公司 目标跟踪方法、装置、电子设备及可读存储介质
US20210357673A1 (en) * 2018-09-12 2021-11-18 Beijing Bytedance Network Technology Co., Ltd. Method and device for processing feature point of image
CN113992848A (zh) * 2019-04-22 2022-01-28 深圳市商汤科技有限公司 视频图像处理方法及装置
CN114170267A (zh) * 2020-09-10 2022-03-11 华为技术有限公司 目标跟踪方法、装置、设备及计算机可读存储介质
US11487360B1 (en) * 2021-12-21 2022-11-01 Industrial Technology Research Institute Gaze tracking method and gaze tracking device using ihe same
CN115576329A (zh) * 2022-11-17 2023-01-06 西北工业大学 一种基于计算机视觉的无人驾驶agv小车的避障方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208035A (zh) * 2010-03-31 2011-10-05 爱信艾达株式会社 图像处理系统及位置测量系统
CN102236901A (zh) * 2011-06-30 2011-11-09 南京大学 基于图论聚类和色彩不变空间的目标跟踪方法
KR20150017832A (ko) * 2013-08-08 2015-02-23 삼성전자주식회사 3d 객체 제어 방법 및 그 장치
CN103793894A (zh) * 2013-12-04 2014-05-14 国家电网公司 基于云模型元胞自动机角点检测的变电站遥视图像拼接方法
US20180158186A1 (en) * 2016-12-07 2018-06-07 Fujitsu Limited Method and device for determining image similarity
US20210012520A1 (en) * 2018-08-21 2021-01-14 SZ DJI Technology Co., Ltd. Distance measuring method and device
US20210357673A1 (en) * 2018-09-12 2021-11-18 Beijing Bytedance Network Technology Co., Ltd. Method and device for processing feature point of image
CN113992848A (zh) * 2019-04-22 2022-01-28 深圳市商汤科技有限公司 视频图像处理方法及装置
CN111147740A (zh) * 2019-12-27 2020-05-12 青岛海信智慧家居系统股份有限公司 一种控制智能摄像头的方法及装置
CN114170267A (zh) * 2020-09-10 2022-03-11 华为技术有限公司 目标跟踪方法、装置、设备及计算机可读存储介质
CN113610895A (zh) * 2021-08-06 2021-11-05 烟台艾睿光电科技有限公司 目标跟踪方法、装置、电子设备及可读存储介质
US11487360B1 (en) * 2021-12-21 2022-11-01 Industrial Technology Research Institute Gaze tracking method and gaze tracking device using ihe same
CN115576329A (zh) * 2022-11-17 2023-01-06 西北工业大学 一种基于计算机视觉的无人驾驶agv小车的避障方法

Also Published As

Publication number Publication date
CN116132798B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
Bochinski et al. High-speed tracking-by-detection without using image information
KR101615254B1 (ko) 디지털 이미지들에서 얼굴 표정들을 검출
CN109882019B (zh) 一种基于目标检测和动作识别的汽车电动尾门开启方法
CN113592911B (zh) 表观增强深度目标跟踪方法
Kobayashi et al. 3D Head Tracking using the Particle Filter with Cascaded Classifiers.
CN114693661A (zh) 一种基于深度学习的快速分拣方法
CN107330918B (zh) 一种基于在线多示例学习的足球视频球员跟踪方法
CN111931654A (zh) 一种人员跟踪智能监测方法、系统和装置
CN116132798B (zh) 一种智能摄像头的自动跟拍方法
CN109063774B (zh) 图像追踪效果评价方法、装置、设备及可读存储介质
CN114463664B (zh) 一种用于冰球运动的新型冰球追踪方法
Hall et al. Brand identification using gaussian derivative histograms
CN113763432B (zh) 基于图像清晰度与跟踪稳定性条件的目标检测跟踪方法
CN115457595A (zh) 人脸与人体的关联方法、电子设备以及存储介质
Oldham et al. Experiments in the application of computer vision for ball and event identification in indoor sports
CN109146850B (zh) 一种多色球形目标检测定位方法及执行该方法的存储介质
CN110287841B (zh) 图像传输方法及装置、图像传输系统、存储介质
Pelisson et al. Brand identification using gaussian derivative histograms
Wang et al. Flow guided siamese network for visual tracking
Kumar et al. Human Face Recognition and Detection System with Genetic and Ant Colony Optimization Algorithm
WO2007036892A1 (en) Method and apparatus for long term memory model in face detection and recognition
Feng et al. An improved vibe algorithm of moving target extraction for night infrared surveillance video
Draschkowitz et al. Predicting shot success for table tennis using video analysis and machine learning
Hsia et al. Intelligent blowgun game scoring recognition system based on computer vision
Badal et al. Multi-object trajectory coupling using online target specific decision making

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant