CN107330917B - 移动目标的跟踪拍摄方法和跟踪设备 - Google Patents

移动目标的跟踪拍摄方法和跟踪设备 Download PDF

Info

Publication number
CN107330917B
CN107330917B CN201710488228.3A CN201710488228A CN107330917B CN 107330917 B CN107330917 B CN 107330917B CN 201710488228 A CN201710488228 A CN 201710488228A CN 107330917 B CN107330917 B CN 107330917B
Authority
CN
China
Prior art keywords
target
visual angle
characteristic point
image
shooting visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710488228.3A
Other languages
English (en)
Other versions
CN107330917A (zh
Inventor
曹维雨
陈翔
赵大川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201710488228.3A priority Critical patent/CN107330917B/zh
Priority to US15/756,545 priority patent/US10645299B2/en
Priority to PCT/CN2017/095247 priority patent/WO2018232837A1/zh
Publication of CN107330917A publication Critical patent/CN107330917A/zh
Application granted granted Critical
Publication of CN107330917B publication Critical patent/CN107330917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/28Indexing scheme for image data processing or generation, in general involving image processing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了移动目标的跟踪拍摄方法和跟踪设备,首先预先提取每一个拍摄视角对应的模板图像的特征点,之后在匹配时只需要计算当前拍摄的目标图像的特征点,然后将目标图像的特征点与每一个拍摄视角对应的模板图像的特征点进行匹配,将匹配的模板图像对应的拍摄视角确定为当前拍摄的目标图像的拍摄视角;若当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致,则移动跟踪设备对目标进行跟踪拍摄,使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致,大大减少了特征点检测与匹配的计算量,提高跟踪拍摄的实时性。

Description

移动目标的跟踪拍摄方法和跟踪设备
技术领域
本发明涉及视觉跟踪技术领域,尤其涉及一种移动目标的跟踪拍摄方法和跟踪设备。
背景技术
移动目标检测与跟踪在计算机视觉、模式识别等领域一直都是研究的核心技术问题。移动目标检测与跟踪的关键就在于利用计算机视觉技术、模式识别分类方法检测出视频序列图像中的运动目标,并对目标区域进行有效、稳定跟踪。例如,在智能交通系统中,可以通过对移动目标跟踪来对肇事车辆进行自动跟踪监控;在家庭智能娱乐设备中,可以控制对运动人体的自动跟踪;在军事领域中,可以对武器进行精确制导等。
现有的计算机视觉技术对移动目标对象的识别、目标对象的定位和目标对象的运动分析时,首先需要感知周围环境,获取深度信息,建立2D或3D地图,随后通过算法规划搜索出最优路线。然而对于已知目标的图像跟拍情况,要同时利用摄像机进行目标识别和环境识别并规划路径,数据计算量太大,会使处理器的资源分配不足。对于实时性要求很高的自动跟拍模式,这种路径规划方法会很有可能造成设备跟踪延迟。
发明内容
为了解决上述问题,本发明提供一种移动目标的跟踪拍摄方法和跟踪设备,可以提高对移动目标跟踪拍摄的实时性。
本发明提供一种移动目标的跟踪拍摄方法,包括:
提取当前拍摄的目标图像的特征点;
将目标图像的特征点与预先提取的每一个拍摄视角对应的模板图像的特征点进行匹配,将匹配的特征点最多的模板图像确定为与目标图像匹配的模板图像;
将匹配的模板图像对应的拍摄视角确定为当前拍摄的目标图像的拍摄视角;
若当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致,则移动跟踪设备对目标进行跟踪拍摄,使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致。
可选地,将目标图像的特征点与预先提取的每一个拍摄视角对应的模板图像的特征点进行匹配之前,包括:
预先从多个拍摄视角对目标进行拍摄,得到每一个拍摄视角对应的模板图像,提取每一个拍摄视角对应的模板图像的特征点。
可选地,将目标图像的特征点与预先提取的每一个拍摄视角对应的模板图像的特征点进行匹配,包括:
通过快速鲁棒特征SURF算法计算出每一个拍摄视角对应的模板图像的特征点描述子;
通过快速鲁棒特征SURF算法计算出目标图像的特征点描述子;
通过随机抽样一致RANSAC算法对目标图像的特征点描述子与每一个拍摄视角对应的模板图像的特征点描述子进行匹配,剔除错误匹配的特征点描述子,确定正确匹配的特征点描述子;
将正确匹配的特征点描述子数量最多的模板图像确定为匹配特征点最多的模板图像。
可选地,所述的方法还包括:
根据跟踪设备的各项拍摄参数预先设置目标图像在跟踪设备屏幕上的第一位置区域,使得目标图像位于第一位置区域中时,目标图像的拍摄效果达到最佳
将目标图像的特征点与匹配的模板图像的特征点进行比较,确定位于左上角的匹配特征点和位于右下角的匹配特征点;
将位于左上角的匹配特征点和位于右下角的匹配特征点之间的直线作为第二位置区域的对角线,确定第二位置区域,第二位置区域的形状包括四边形,将对角线的中心点作为第二位置区域的中心点,第二位置区域为目标图像在跟踪设备屏幕上的当前位置区域。
可选地,所述的方法还包括:
将目标图像的像素数与预设的像素数最大阈值和像素数最小阈值进行比较,在确定目标图像的像素数大于像素数最大阈值时,向后移动跟踪设备,在确定目标图像的像素数小于像素数最小阈值时,向前移动跟踪设备,使得目标图像的像素数小于像素数最大阈值大于像素数最小阈值;和/或
当第二位置区域的中心点不在第一位置区域内时,移动跟踪设备,使得第二位置区域的中心点位于第一位置区域内。
本申请还提供一种跟踪设备,用于对移动目标进行跟踪拍摄,包括拍摄目标图像的摄像头,还包括:处理器和存储器;
所述存储器用于存储支持跟踪设备执行对移动目标的跟踪拍摄方法的程序,所述程序包括一条或多条计算机指令,其中,所述一条或多条计算机指令供所述处理器调用执行;
当所述处理器被配置为用于执行所述存储器中存储的程序时,可以执行如下步骤:
提取摄像头当前拍摄的目标图像的特征点,将目标图像的特征点与预先提取的每一个拍摄视角对应的模板图像的特征点进行匹配,将匹配的特征点最多的模板图像确定为与目标图像匹配的模板图像,并将匹配的模板图像对应的拍摄视角确定为当前拍摄的目标图像的拍摄视角,若当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致则给移动装置发送移动指令;以使移动装置根据移动指令移动跟踪设备对目标进行跟踪拍摄,使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致。
本发明实施例中,为了减少图像匹配的计算量,首先预先提取每一个拍摄视角对应的模板图像的特征点,之后在匹配时只需要计算当前拍摄的目标图像的特征点,然后将目标图像的特征点与每一个拍摄视角对应的模板图像的特征点进行匹配,将匹配的模板图像对应的拍摄视角确定为当前拍摄的目标图像的拍摄视角;若当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致,则移动跟踪设备对目标进行跟踪拍摄,使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致,大大减少了特征点检测与匹配的计算量,提高跟踪拍摄的实时性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的移动目标的跟踪拍摄方法的流程示意图;
图2本发明之以待测点P为圆心,半径为3的圆形区域示意图;
图3本发明之以特征点为圆心,半径为3的圆形区域示意图;
图4本发明之x方向(a)和y方向(b)的Haar小波响应滤波器;
图5本发明之第一位置区域和第二位置区域示意图;
图6为图1所示实施例中步骤105的具体实现方法流程示意图;
图7为本发明一实施例提供的跟踪设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX,但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一XXX也可以被称为第二XXX,类似地,第二XXX也可以被称为第一XXX。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
图1为本发明一实施例提供的移动目标的跟踪拍摄方法流程示意图,如图1所示,包括:
100、预先从多个拍摄视角对目标进行拍摄,得到每一个拍摄视角对应的模板图像;
在现有技术中,为了确定当前拍摄的目标的拍摄视角,通常是根据时间先后顺序,对连续拍摄的图像进行特征点提取和匹配,从而确定针对移动目标的拍摄视角,这样,需要对每一张实时拍摄的图像进行特征点提取,计算量会非常大,因此会造成跟踪拍摄的滞后,实时性差。
因此,本发明实施例中,为了提高跟踪拍摄的实时性,减少图像匹配的计算量,可以预先从多个拍摄视角对目标进行拍摄,得到每一个拍摄视角对应的模板图像,例如,目标在跟踪设备的右边的拍摄视角、左边的拍摄视角和中间的拍摄视角。
表1为一种模板图像与拍摄视角之间的对应关系:
模板图像1 右边的拍摄视角
模板图像2 左边的拍摄视角
模板图像3 中间的拍摄视角
101、提取每一个拍摄视角对应的模板图像的特征点。
具体实现时,将每一个拍摄视角对应的模板图像转换成灰度图,计算灰度图上每个点的灰度值,例如采用改进的FAST算法检测特征点;如图2所示,以待测点P为圆心,选取半径为3的圆,将圆周上的16个像素点分别用1、2、、、15、16进行标记;设待测点P的灰度值为Ip、圆上每个像素点的灰度值为Ix、灰度阈值为t、圆周上连续N个像素点组成的集合为S,其中x=1、2、、、15、16,N=9;
若圆周上任意一个像素点x满足条件:或者则以待测点P为对称中心,将圆内的点分成对称的点对di-di’,若点对di-di’满足条件|Ip-di|<t,|Ip-di’|<t,则待测点P为角点,即特征点,否则不是;
若圆周上任意一个像素点x不满足条件:或者则选取下一个待测点。
最后将每一个拍摄视角对应的模板图像中检测到的特征点保存到对应的特征点库中。
表2为一种模板图像与特征点库之间的对应关系:
模板图像1 特征点库1
模板图像2 特征点库2
模板图像3 特征点库3
102、实时提取当前拍摄的目标图像的特征点;
在预先设置每一个拍摄视角对应的模板图像以及对应的特征点库之后,跟踪设备可以对移动目标进行跟踪拍摄,当目标移动时,为了确定当前针对目标的拍摄视角,需要对当前拍摄的目标图像进行特征点的提取,具体实现可以参考图2所示的算法检测特征点,在此不再赘述。
103、将目标图像的特征点与预先提取的每一个拍摄视角对应的模板图像的特征点进行匹配,将匹配的特征点最多的模板图像确定为与目标图像匹配的模板图像;
在一种可选的实施方式中,步骤103具体实现时包括:
通过快速鲁棒特征SURF算法计算出每一个拍摄视角对应的模板图像的特征点描述子;
通过快速鲁棒特征SURF算法计算出目标图像的特征点描述子;
通过随机抽样一致RANSAC算法对目标图像的特征点描述子与每一个拍摄视角对应的模板图像的特征点描述子进行匹配,剔除错误匹配的特征点描述子,确定正确匹配的特征点描述子;
将正确匹配的特征点描述子数量最多的模板图像确定为匹配特征点最多的模板图像。
需要说明的是,本发明实施例中,可以采用SURF算法计算当前拍摄的目标图像的特征点描述子和每一个拍摄视角对应的模板图像的特征点描述子,然后将目标图像的特征点描述子与每一个拍摄视角对应的模板图像的特征点描述子进行匹配,因为采用SURF算法可以实现特征点提取所需时间大大缩短,从而提高特征点检测的实时性。
本实施例中,采用SURF算法建立特征点描述子的具体过程包括:
首先,计算特征点的方向,以特征点为圆心,半径为3的圆计算特征点的方向,例如以特征点为圆心,选取半径为3的圆形区域,将圆心角为的扇形绕圆心旋转,每次旋转15°,得到24个扇形区域,如图3所示;采用边长为2的滤波器,计算每个扇形区域内的每个点在x轴方向的Haar小波响应和y轴方向的Haar小波响应,如图4所示,并以特征点为中心的二阶高斯函数值对x轴方向的Haar小波响应和y轴方向的Haar小波响应分别进行加权,加权后的x轴方向的Haar小波响应和y轴方向的Haar小波响应分别作为扇形区域内的点在扇形区域内沿横坐标x轴方向的水平响应和沿纵坐标y轴方向的垂直响应;将每个扇形区域内所有点的水平响应和垂直响应分别相加,得到一个局部向量,在24个扇形区域中,长度最长的局部向量作为特征点的方向,记特征点的拍方向角为θ。
其次,建立描述子,以特征点为中心,选取9×9的区域,并分成9个3×3的子域,每个子域计算得到4个数据,产生一个36维的向量作为特征点的描述子,具体为:
1、以特征点为中心,选取9×9的区域,并分成9个3×3的子域;
2、采用边长为2的滤波器,分别计算每个子域的水平方向Haar小波响应hxi,j和垂直方向Haar小波响应hyi,j,其中i=1,2,、、、,4,j=1,2,、、、,9,并以特征点为中心的二阶高斯函数值分别对水平方向Haar小波响应hxi,j和垂直方向Haar小波响应hyi,j进行加权,得到加权后的水平方向Haar小波响应hXi,j和垂直方向Haar小波响应hYi,j,分别对水平方向Haar小波响应hxi,j和垂直方向Haar小波响应hyi,j进行旋转变换,得到在特征点方向上的分量旋转变换公式分别为旋转变换公式分别为:其中w为以特征点为中心的二阶高斯权值,θ为特征点的方向角;
3、对于每个子域,分别计算出则每个子域就产生一个4维描述向量将9个子域产生的描述向量连接起来,得到长度为36的描述向量,即36维的描述子。
需要说明的是,本发明实施例中,采用的RANSAC算法可以通过赋予特征点匹配质量,将匹配质量组合从高到低排列,优先质量高的特征点组合计算模型的样本,而不是随机的选取,由于质量高的特征点得到正确模型的概率大,这样能够大大减少RANSAC算法的迭代次数,从而可以大大提高剔除错误特征点的速度,提高RANSAC算法的运算速度,使得特征点匹配所需时间进一步得到缩减,更加进一步提高特征点匹配的实时性。
104、将匹配的模板图像对应的拍摄视角确定为当前拍摄的目标图像的拍摄视角;
也就是说,当前拍摄的目标图像与预先设置的其中一个模板图像最匹配,则该最匹配的模板图像对应的拍摄视角为当前拍摄的目标图像的拍摄视角。
105、若当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致,则移动跟踪设备对目标进行跟踪拍摄,使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致。
需要说明的是,本发明实施例中,为了实现移动跟踪设备对目标进行跟踪拍摄,需要预先设置目标图像的拍摄效果达到最佳时在跟踪设备屏幕中的位置区域(如图5的实线框所示位置区域即为第一位置区域)以及确定当前拍摄的目标图像在跟踪设备屏幕上的当前位置区域(如图5的虚线框所示位置区域即为第二位置区域)。
其中,第一位置区域的设置包括:根据跟踪设备的各项拍摄参数预先设置目标图像在跟踪设备屏幕上的第一位置区域,使得目标图像位于第一位置区域中时,目标图像的拍摄效果达到最佳。
其中,第二位置区域的确定包括:将目标图像的特征点与匹配的模板图像的特征点进行比较,确定位于左上角的匹配特征点和位于右下角的匹配特征点;将位于左上角的匹配特征点和位于右下角的匹配特征点之间的直线作为第二位置区域的对角线,确定第二位置区域,该第二位置区域为当前拍摄的目标图像在跟踪设备屏幕上的当前位置区域,其中,第二位置区域的形状包括但不限于四边形,并将对角线的中心点作为第二位置区域的中心点。通过上述设置的使得目标图像的拍摄效果达到最佳的第一位置区域,即可通过简单快捷的判断第二位置区域的中心是否在第一位置区域中,如果不是则简单方便的通过移动跟踪设备使得第二位置区域的中心移动到第一位置区域中,大大提高定位跟踪拍摄效率。
图6为图1所示实施例中步骤105的具体实现方法流程示意图,在实际应用中,为了达到最佳拍摄效果,所述方法还包括:
201、将目标图像的像素数与预设的像素数最大阈值和像素数最小阈值进行比较;
可选地,步骤201之后包括步骤202或203。
202、若确定目标图像的像素数大于像素数最大阈值,则向后移动跟踪设备,使得目标图像的像素数小于像素数最大阈值;或者
203若确定目标图像的像素数小于像素数最小阈值,则向前移动跟踪设备,使得目标图像的像素数大于像素数最小阈值;
可选地,步骤202或203之后包括:
204、当第二位置区域的中心点不在第一位置区域内时,移动跟踪设备,使得第二位置区域的中心点位于第一位置区域内;
若第二位置中心点位于第一位置区域内右侧,则向右移动跟踪设备,若第二位置中心点位于第一位置区域内左侧,则向左移动跟踪设备。
205、若当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致,则移动跟踪设备对目标进行跟踪拍摄,使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致。
例如,若预设拍摄视角为针对目标的中间拍摄视角(正拍摄视角),检测到目标右侧朝向摄像机,即当前拍摄的目标图像的拍摄视角为右边的拍摄视角,则可以对摄像头进行原地逆时针转动,使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致。
本发明实施例中,首先采用SURF算法预先计算每一个拍摄视角对应的模板图像的特征点描述子,之后在匹配时只需要计算当前拍摄的目标图像的特征点描述子,大大减少了实时特征点检测的计算时间,然后采用RANSAC算法将目标图像的特征点描述子与每一个拍摄视角对应的模板图像的特征点描述子进行匹配,大大减少RANSAC算法的迭代次数,之后将匹配的模板图像对应的拍摄视角确定为当前拍摄的目标图像的拍摄视角;最后当判断当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致时,则移动跟踪设备对目标进行跟踪拍摄,使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致,因此可以大大减少实时跟踪拍摄时图像特征点检测和匹配的计算量,可以实现特征点检测与匹配所需时间更短,提高跟踪拍摄的实时性。
图7为本发明一实施例提供的跟踪设备的结构示意图,该跟踪设备用于对移动目标进行跟踪拍摄,如图7所示,该跟踪设备具体包括拍摄目标图像的摄像头,还包括:处理器和存储器;
所述存储器用于存储支持跟踪设备执行对移动目标的跟踪拍摄方法的程序,所述程序包括一条或多条计算机指令,其中,所述一条或多条计算机指令供所述处理器调用执行;
当所述处理器被配置为用于执行所述存储器中存储的程序时,可以执行如下步骤:
提取摄像头当前拍摄的目标图像的特征点,将目标图像的特征点与预先提取的每一个拍摄视角对应的模板图像的特征点进行匹配,将匹配的特征点最多的模板图像确定为与目标图像匹配的模板图像,并将匹配的模板图像对应的拍摄视角确定为当前拍摄的目标图像的拍摄视角,若当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致则给移动装置发送移动指令;以使移动装置根据移动指令移动跟踪设备对目标进行跟踪拍摄,使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致。
可选地,本实施例中,摄像头预先从多个拍摄视角对目标进行拍摄得到对应拍摄视角的模板图像;
处理器对每一个拍摄视角对应的模板图像进行特征点的提取;
存储器中保存有每一个拍摄视角对应的模板图像以及对应的特征点。
可选地,本实施例中,当所述处理器被配置为用于执行所述存储器中存储的程序时,还可以执行如下步骤:
通过快速鲁棒特征SURF算法计算出每一个拍摄视角对应的模板图像的特征点描述子;通过快速鲁棒特征SURF算法计算出目标图像的特征点描述子;通过随机抽样一致RANSAC算法对目标图像的特征点描述子与每一个拍摄视角对应的模板图像的特征点描述子进行匹配,剔除错误匹配的特征点描述子,确定正确匹配的特征点描述子;将正确匹配的特征点描述子数量最多的模板图像确定为匹配特征点最多的模板图像。
可选地,本实施例中,所述存储器中还保存有根据跟踪设备的各项拍摄参数预先设置的目标图像在跟踪设备屏幕上的第一位置区域,其中,第一位置区域为目标图像的拍摄效果达到最佳状态的位置区域;
所述处理器将目标图像的特征点与匹配的模板图像的特征点进行比较,确定位于左上角的匹配特征点和位于右下角的匹配特征点;将位于左上角的匹配特征点和位于右下角的匹配特征点之间的直线作为第二位置区域的对角线,确定第二位置区域,第二位置区域的形状包括四边形,将对角线的中心点作为第二位置区域的中心点;第二位置区域为目标图像在跟踪设备屏幕上的当前位置区域。
可选地,本实施例中,当所述处理器被配置为用于执行所述存储器中存储的程序时,还可以执行如下步骤:
将目标图像的像素数与预设的像素数最大阈值和像素数最小阈值进行比较,在确定目标图像的像素数大于像素数最大阈值时,给移动装置发送移动指令;以使移动装置根据移动指令向后移动跟踪设备,使得目标图像的像素数小于像素数最大阈值;和/或
将目标图像的像素数与预设的像素数最大阈值和像素数最小阈值进行比较,在确定目标图像的像素数小于像素数最小阈值时,给移动装置发送移动指令;以使移动装置根据移动指令向前移动跟踪设备,使得目标图像的像素数大于像素数最小阈值;和/或
当第二位置区域的中心点不在第一位置区域内时,给移动装置发送移动指令;以使移动装置根据移动指令移动跟踪设备,使得第二位置区域的中心点位于第一位置区域内。
本发明实施例所述的装置可以执行图1所示的方法,其实现原理和技术效果不再赘述。
本发明实施例还提供了一种计算机存储介质,用于储存图7所示跟踪设备实现对移动目标进行跟踪拍摄所用的计算机软件指令。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种移动目标的跟踪拍摄方法,其特征在于,包括:
提取当前拍摄的目标图像的特征点;
将目标图像的特征点与预先提取的每一个拍摄视角对应的模板图像的特征点进行匹配,将匹配的特征点最多的模板图像确定为与目标图像匹配的模板图像;
将匹配的模板图像对应的拍摄视角确定为当前拍摄的目标图像的拍摄视角;
若当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致,则移动跟踪设备对目标进行跟踪拍摄,使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致。
2.根据权利要求1所述的方法,其特征在于,将目标图像的特征点与预先提取的每一个拍摄视角对应的模板图像的特征点进行匹配之前,包括:
预先从多个拍摄视角对目标进行拍摄,得到每一个拍摄视角对应的模板图像,提取每一个拍摄视角对应的模板图像的特征点。
3.根据权利要求1或2所述的方法,其特征在于,将目标图像的特征点与预先提取的每一个拍摄视角对应的模板图像的特征点进行匹配,包括:
通过快速鲁棒特征SURF算法计算出每一个拍摄视角对应的模板图像的特征点描述子;
通过快速鲁棒特征SURF算法计算出目标图像的特征点描述子;
通过随机抽样一致RANSAC算法对目标图像的特征点描述子与每一个拍摄视角对应的模板图像的特征点描述子进行匹配,剔除错误匹配的特征点描述子,确定正确匹配的特征点描述子;
将正确匹配的特征点描述子数量最多的模板图像确定为匹配特征点最多的模板图像。
4.根据权利要求1所述的方法,其特征在于,还包括:
根据跟踪设备的各项拍摄参数预先设置目标图像在跟踪设备屏幕上的第一位置区域,使得目标图像位于第一位置区域中时,目标图像的拍摄效果达到最佳
将目标图像的特征点与匹配的模板图像的特征点进行比较,确定位于左上角的匹配特征点和位于右下角的匹配特征点;
将位于左上角的匹配特征点和位于右下角的匹配特征点之间的直线作为第二位置区域的对角线,确定第二位置区域,第二位置区域的形状包括四边形,将对角线的中心点作为第二位置区域的中心点,第二位置区域为目标图像在跟踪设备屏幕上的当前位置区域。
5.根据权利要4所述的方法,其特征在于,还包括:
将目标图像的像素数与预设的像素数最大阈值和像素数最小阈值进行比较,在确定目标图像的像素数大于像素数最大阈值时,向后移动跟踪设备,在确定目标图像的像素数小于像素数最小阈值时,向前移动跟踪设备,使得目标图像的像素数小于像素数最大阈值大于像素数最小阈值;和/或
当第二位置区域的中心点不在第一位置区域内时,移动跟踪设备,使得第二位置区域的中心点位于第一位置区域内。
6.一种跟踪设备,用于对移动目标进行跟踪拍摄,包括拍摄目标图像的摄像头,其特征在于,还包括:处理器和存储器;
所述存储器用于存储支持跟踪设备执行对移动目标的跟踪拍摄方法的计算机程序,所述计算机程序供所述处理器调用执行;
当所述处理器被配置为用于执行所述存储器中存储的计算机程序时,可以执行如下步骤:
提取摄像头当前拍摄的目标图像的特征点,将目标图像的特征点与预先提取的每一个拍摄视角对应的模板图像的特征点进行匹配,将匹配的特征点最多的模板图像确定为与目标图像匹配的模板图像,并将匹配的模板图像对应的拍摄视角确定为当前拍摄的目标图像的拍摄视角,若当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致则给移动装置发送移动指令;以使移动装置根据移动指令移动跟踪设备对目标进行跟踪拍摄,使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致。
7.根据权利要求6所述的设备,其特征在于:
摄像头预先从多个拍摄视角对目标进行拍摄得到对应拍摄视角的模板图像;
处理器对每一个拍摄视角对应的模板图像进行特征点的提取;
存储器中保存有每一个拍摄视角对应的模板图像以及对应的特征点。
8.根据权利要求6或7所述的设备,其特征在于,当所述处理器被配置为用于执行所述存储器中存储的程序时,还可以执行如下步骤:
通过快速鲁棒特征SURF算法计算出每一个拍摄视角对应的模板图像的特征点描述子;通过快速鲁棒特征SURF算法计算出目标图像的特征点描述子;通过随机抽样一致RANSAC算法对目标图像的特征点描述子与每一个拍摄视角对应的模板图像的特征点描述子进行匹配,剔除错误匹配的特征点描述子,确定正确匹配的特征点描述子;将正确匹配的特征点描述子数量最多的模板图像确定为匹配特征点最多的模板图像。
9.根据权利要求6所述的设备,其特征在于:
所述存储器中还保存有根据跟踪设备的各项拍摄参数预先设置的目标图像在跟踪设备屏幕上的第一位置区域,其中,第一位置区域为目标图像的拍摄效果达到最佳状态的位置区域;
所述处理器将目标图像的特征点与匹配的模板图像的特征点进行比较,确定位于左上角的匹配特征点和位于右下角的匹配特征点;将位于左上角的匹配特征点和位于右下角的匹配特征点之间的直线作为第二位置区域的对角线,确定第二位置区域,第二位置区域的形状包括四边形,将对角线的中心点作为第二位置区域的中心点;第二位置区域为目标图像在跟踪设备屏幕上的当前位置区域。
10.根据权利要求9所述的设备,其特征在于,当所述处理器被配置为用于执行所述存储器中存储的程序时,还可以执行如下步骤:
将目标图像的像素数与预设的像素数最大阈值和像素数最小阈值进行比较,在确定目标图像的像素数大于像素数最大阈值时,给移动装置发送移动指令;以使移动装置根据移动指令向后移动跟踪设备,使得目标图像的像素数小于像素数最大阈值;和/或
将目标图像的像素数与预设的像素数最大阈值和像素数最小阈值进行比较,在确定目标图像的像素数小于像素数最小阈值时,给移动装置发送移动指令;以使移动装置根据移动指令向前移动跟踪设备,使得目标图像的像素数大于像素数最小阈值;和/或
当第二位置区域的中心点不在第一位置区域内时,给移动装置发送移动指令;以使移动装置根据移动指令移动跟踪设备,使得第二位置区域的中心点位于第一位置区域内。
CN201710488228.3A 2017-06-23 2017-06-23 移动目标的跟踪拍摄方法和跟踪设备 Active CN107330917B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710488228.3A CN107330917B (zh) 2017-06-23 2017-06-23 移动目标的跟踪拍摄方法和跟踪设备
US15/756,545 US10645299B2 (en) 2017-06-23 2017-07-31 Method for tracking and shooting moving target and tracking device
PCT/CN2017/095247 WO2018232837A1 (zh) 2017-06-23 2017-07-31 移动目标的跟踪拍摄方法和跟踪设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710488228.3A CN107330917B (zh) 2017-06-23 2017-06-23 移动目标的跟踪拍摄方法和跟踪设备

Publications (2)

Publication Number Publication Date
CN107330917A CN107330917A (zh) 2017-11-07
CN107330917B true CN107330917B (zh) 2019-06-25

Family

ID=60195593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710488228.3A Active CN107330917B (zh) 2017-06-23 2017-06-23 移动目标的跟踪拍摄方法和跟踪设备

Country Status (3)

Country Link
US (1) US10645299B2 (zh)
CN (1) CN107330917B (zh)
WO (1) WO2018232837A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109074657B (zh) * 2018-07-18 2022-04-08 达闼机器人有限公司 一种目标跟踪方法、装置、电子设备和可读存储介质
CN110750094A (zh) * 2018-07-23 2020-02-04 杭州海康威视数字技术股份有限公司 确定可移动设备的位姿变化信息的方法、装置和系统
CN110881117A (zh) * 2018-09-06 2020-03-13 杭州海康威视数字技术股份有限公司 一种画面间区域映射方法、装置及多相机观测系统
CN109788191A (zh) * 2018-12-21 2019-05-21 中国科学院自动化研究所南京人工智能芯片创新研究院 拍照方法、装置、计算机设备和存储介质
CN110097586B (zh) * 2019-04-30 2023-05-30 青岛海信网络科技股份有限公司 一种人脸检测追踪方法及装置
CN113826378B (zh) 2019-05-16 2024-05-07 佳能株式会社 布置确定装置、系统、布置确定方法和存储介质
CN111951211B (zh) * 2019-05-17 2024-05-14 株式会社理光 一种目标检测方法、装置及计算机可读存储介质
CN110213566B (zh) * 2019-05-20 2021-06-01 歌尔光学科技有限公司 图像匹配方法、装置、设备及计算机可读存储介质
CN111738282A (zh) * 2019-10-22 2020-10-02 腾讯科技(深圳)有限公司 一种基于人工智能的图像识别方法和相关设备
CN112749722B (zh) * 2019-10-31 2023-11-17 深圳云天励飞技术有限公司 一种模型分发管理方法及其相关产品
CN110633612B (zh) * 2019-11-20 2020-09-11 中通服创立信息科技有限责任公司 一种巡检机器人的监控方法及系统
CN111626978B (zh) * 2019-12-24 2023-05-09 西安元智系统技术有限责任公司 一种基于特征点的文物裂隙监测方法
CN111275739B (zh) * 2020-01-19 2023-05-05 广东工业大学 一种自动追踪装置和方法
CN111917989B (zh) * 2020-09-15 2022-01-21 苏州臻迪智能科技有限公司 一种视频拍摄方法及装置
CN112487946A (zh) * 2020-11-26 2021-03-12 努比亚技术有限公司 一种人体运动目标移除方法及装置、移动终端及存储介质
CN112929567B (zh) * 2021-01-27 2023-04-28 咪咕音乐有限公司 拍摄位置的确定方法、电子设备和存储介质
CN112926593A (zh) * 2021-02-20 2021-06-08 温州大学 一种用于动态图像增强呈现中的图像特征处理方法及装置
CN113079320B (zh) * 2021-04-13 2022-03-11 浙江科技学院 一种基于全身镜的分段式多功能摄像方法
CN113190455B (zh) * 2021-05-13 2024-06-07 统信软件技术有限公司 一种元素定位方法及计算设备
CN113408465B (zh) * 2021-06-30 2022-08-26 平安国际智慧城市科技股份有限公司 身份识别方法、装置及相关设备
CN113610134B (zh) * 2021-07-29 2024-02-23 Oppo广东移动通信有限公司 一种图像特征点匹配方法、装置、芯片、终端和存储介质
CN113837246B (zh) * 2021-09-06 2022-12-27 广州极飞科技股份有限公司 图像的匹配方法及其匹配装置、无人设备
CN113807224B (zh) * 2021-09-07 2023-11-21 金华市浙工大创新联合研究院 一种工厂违规行为检测跟踪方法
CN113985830A (zh) * 2021-11-08 2022-01-28 武汉逸飞激光股份有限公司 密封钉的上料控制方法、装置、电子设备及存储介质
CN114173060A (zh) * 2021-12-10 2022-03-11 北京瞰瞰智能科技有限公司 智能移动拍摄方法、装置以及控制器
CN114972629A (zh) * 2022-04-14 2022-08-30 广州极飞科技股份有限公司 一种特征点匹配方法、装置、设备以及存储介质
CN114926903A (zh) * 2022-05-27 2022-08-19 深圳市瑞立视多媒体科技有限公司 基于模板图匹配刚体标记点的方法、装置及相关设备
CN114689030A (zh) * 2022-06-01 2022-07-01 中国兵器装备集团自动化研究所有限公司 一种基于机载视觉的无人机辅助定位方法及系统
CN115100144B (zh) * 2022-06-23 2023-04-07 常州市新创智能科技有限公司 一种玻纤布生产过程中的碎屑检测方法及装置
CN116723402A (zh) * 2023-05-26 2023-09-08 江西省宏旺科技有限公司 视频监控方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6687386B1 (en) * 1999-06-15 2004-02-03 Hitachi Denshi Kabushiki Kaisha Object tracking method and object tracking apparatus
CN1477599A (zh) * 2002-08-23 2004-02-25 英业达股份有限公司 移动物体的聚焦方法
CN102663777A (zh) * 2012-04-26 2012-09-12 安科智慧城市技术(中国)有限公司 基于多视点视频的目标跟踪方法及系统
CN102929288A (zh) * 2012-08-23 2013-02-13 山东电力集团公司电力科学研究院 基于视觉伺服的输电线路无人机巡检云台控制方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829384B2 (en) * 2001-02-28 2004-12-07 Carnegie Mellon University Object finder for photographic images
US8238612B2 (en) * 2008-05-06 2012-08-07 Honeywell International Inc. Method and apparatus for vision based motion determination
EP2780861A1 (en) * 2011-11-18 2014-09-24 Metaio GmbH Method of matching image features with reference features and integrated circuit therefor
WO2013086475A1 (en) * 2011-12-08 2013-06-13 Cornell University System and methods for world-scale camera pose estimation
CN104933755B (zh) * 2014-03-18 2017-11-28 华为技术有限公司 一种静态物体重建方法和系统
US9317921B2 (en) * 2014-07-10 2016-04-19 Qualcomm Incorporated Speed-up template matching using peripheral information
US10237477B2 (en) * 2017-05-22 2019-03-19 Fyusion, Inc. Loop closure

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6687386B1 (en) * 1999-06-15 2004-02-03 Hitachi Denshi Kabushiki Kaisha Object tracking method and object tracking apparatus
CN1477599A (zh) * 2002-08-23 2004-02-25 英业达股份有限公司 移动物体的聚焦方法
CN102663777A (zh) * 2012-04-26 2012-09-12 安科智慧城市技术(中国)有限公司 基于多视点视频的目标跟踪方法及系统
CN102929288A (zh) * 2012-08-23 2013-02-13 山东电力集团公司电力科学研究院 基于视觉伺服的输电线路无人机巡检云台控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SURF算法及其对运动目标的检测跟踪效果;仝如强等;《西南科技大学学报》;20110930;第26卷(第3期);63-67

Also Published As

Publication number Publication date
CN107330917A (zh) 2017-11-07
WO2018232837A1 (zh) 2018-12-27
US20190281224A1 (en) 2019-09-12
US10645299B2 (en) 2020-05-05

Similar Documents

Publication Publication Date Title
CN107330917B (zh) 移动目标的跟踪拍摄方法和跟踪设备
CN108010067B (zh) 一种基于组合判断策略的视觉目标跟踪方法
US11361459B2 (en) Method, device and non-transitory computer storage medium for processing image
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
US11093737B2 (en) Gesture recognition method and apparatus, electronic device, and computer-readable storage medium
US20180321776A1 (en) Method for acting on augmented reality virtual objects
CN109165589A (zh) 基于深度学习的车辆重识别方法和装置
CN103886325B (zh) 一种分块的循环矩阵视频跟踪方法
CN103514432A (zh) 人脸特征提取方法、设备和计算机程序产品
CN109886951A (zh) 视频处理方法、装置及电子设备
CN108875730A (zh) 一种深度学习样本收集方法、装置、设备及存储介质
CN110298860B (zh) 一种基于机器视觉的高杆绣球检测计数系统
CN110610150A (zh) 一种目标运动物体的跟踪方法、装置、计算设备和介质
WO2021004186A1 (zh) 一种人脸采集方法、装置、系统、设备及介质
CN106412441B (zh) 一种视频防抖控制方法以及终端
CN110097586A (zh) 一种人脸检测追踪方法及装置
CN110287907A (zh) 一种对象检测方法和装置
CN112184757A (zh) 运动轨迹的确定方法及装置、存储介质、电子装置
CN108021852A (zh) 一种人数统计方法、人数统计系统及电子设备
CN110298281A (zh) 视频结构化方法、装置、电子设备及存储介质
CN108256567A (zh) 一种基于深度学习的目标识别方法及系统
CN112166435B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
Sokolova et al. Human identification by gait from event-based camera
CN107479715A (zh) 利用手势控制实现虚拟现实交互的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant