CN105205815B - 基于云台可控制摄像机的实时视频跟踪方法 - Google Patents
基于云台可控制摄像机的实时视频跟踪方法 Download PDFInfo
- Publication number
- CN105205815B CN105205815B CN201510585039.9A CN201510585039A CN105205815B CN 105205815 B CN105205815 B CN 105205815B CN 201510585039 A CN201510585039 A CN 201510585039A CN 105205815 B CN105205815 B CN 105205815B
- Authority
- CN
- China
- Prior art keywords
- mrow
- target
- msub
- image
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于云台可控制摄像机的实时视频跟踪系统，包括图像处理器，图像处理器上分别连接有云台、视频解码器、监视器、操控台、SDRAM、nand flash、电源，视频解码器还与摄像机连接，摄像机安装在云台上。本发明还公开了上述跟踪系统的跟踪方法。本发明视频跟踪系统的PCKH视频跟踪算法结合了改进的POC匹配算法和卡尔曼预测确定跟踪目标位置，用位置平滑后的匹配角点所在区域外接轮廓确定目标大小，在目标发生位移、旋转、尺度变化、遮挡以及在光照变化、复杂背景和噪声情况下都具有很好的鲁棒性。
Description
技术领域
本发明属于视频监控技术领域，具体涉及一种基于云台可控制摄像机的实时视频跟踪系统，本发明还涉及上述跟踪系统的跟踪方法。
背景技术
随着计算机运算、存储能力的大幅提升和数字摄像机的普及，运动目标跟踪已经成为近年来机器视觉领域的一个研究热点问题。其主要目的是获得目标的运动参数和运动轨迹，通过对运动参数和运动轨迹的分析以实现对目标高级行为的理解和后续的处理任务。在车载、船载和无人机等移动平台上对目标实施跟踪具有更广泛的应用价值。例如：对空、对地打击任务中对移动目标的跟踪、城市反恐中对犯罪车辆的跟踪、以及海上搜救中对随波漂流人员的跟踪等。
移动平台给目标跟踪带来灵活性的同时，也给嵌入式硬件开发和实时目标跟踪的稳定性带来了更大的挑战。现有嵌入式视频跟踪系统难以在处理速度、效率、能耗、体积等方面达到有效平衡，并且在跟踪目标发生位移、亮度、形变、尺度变化、遮挡时容易跟踪失败。
发明内容
本发明的目的是提供一种基于云台可控制摄像机的实时视频跟踪系统，解决了现有嵌入式视频跟踪系统在目标发生位移、遮挡和形变时容易造成的跟踪失败和难以满足实时性的问题。
本发明还提供了上述跟踪系统的跟踪方法。
本发明所采用的第一种技术方案是，基于云台可控制摄像机的实时视频跟踪系统，包括图像处理器，图像处理器上分别连接有云台、视频解码器、监视器、操控台、SDRAM、nand flash、电源，视频解码器还与摄像机连接，摄像机安装在云台上。
本发明第一种技术方案的特点还在于：
图像处理器上还分别连接有复位接口、网口、jtag接口、时钟模块。
云台为两自由度云台。
本发明所采用的第二种技术方案是，基于云台可控制摄像机的实时视频跟踪系统的跟踪方法，具体按照以下步骤实施：
步骤1、由摄像机拍摄图像并实时传输视频流到视频解码器；
步骤2、视频解码器将接收到的视频转换为YUV数据格式，并传输到图像处理器中；
步骤3、操控台根据图像处理器中的视频内容选取需要跟踪的目标，目标中心点所在图像位置记为(x0,y0)，目标宽度记为Wtpl，目标高度记为Htpl，目标所在区域记为Obj_A；
步骤4、利用PCKH跟踪算法对步骤3中选取的目标进行跟踪，并得到目标的实时中心点位置记为(x,y)；
步骤5、计算目标和上一帧位置的偏移量dx、dy并根据偏移量控制云台的转动，使目标处在监视器的中心位置，从而实现目标的实时跟踪，同时在监视器上实时显示跟踪目标所在的图像。
本发明第二种技术方案的特点还在于：
步骤4中PCKH跟踪算法具体包括以下步骤：
①将采集到的实时视频帧图像作为参考图像I，将步骤3中选取的需要跟踪的目标所在的图像区域Obj_A作为目标图像Itpl；
②将参考图像I转换为参考灰度图像Igray，并在四周每个边分别延展δ个灰度渐变的像素点，得到延展后的参考灰度图像
③将目标图像Itpl转换为目标灰度图像It_gray，并在四周每个边分别延展δ个灰度渐变的像素点，得到延展后的目标灰度图像
④将延展后的目标灰度图像扩充成与延展后的参考灰度图像一样大，扩充的像素值为0，得到扩充后的目标灰度图像
⑤将延展后的参考灰度图像与扩充后的目标灰度图像进行相位相关匹配，匹配函数峰值点所在位置为目标的中心点在参考图像I中的坐标位置(x1,y1)；
⑥用卡尔曼滤波预测得到目标的中心点在参考图像I中的坐标位置(x2,y2)；
⑦计算相位相关匹配位置(x1,y1)与卡尔曼滤波预测目标位置(x2,y2)的欧式距离D，如果两点距离D小于等于阈值T，则目标中心点的位置为(x,y)且x＝x1,y＝y1；如果两点距离D大于阈值T，判断相位相关匹配错误，此时目标中心点的位置为(x,y)，且x＝x2,y＝y2；
⑧在参考图像中，根据和目标图像匹配的角点集所在区域的外接轮廓计算得到目标的尺度大小，结合目标的中心点位置(x,y)确定目标的所在区域；
⑨根据⑦中如果两点距离D大于阈值T，那么判断相位相关匹配错误，则目标位置为卡尔曼滤波预测得到的目标的中心点在参考图像I中的坐标位置(x2,y2)，此时目标图像Itpl不更新；如果两点距离D小于等于阈值T，则目标位置为相关相位匹配后得到的目标的中心点在参考图像I中的坐标位置(x1,y1)，同时根据⑧计算得到的目标尺寸更新目标图像Itpl。
②、③中在四周延展δ个灰度渐变的像素点，具体为：
在参考灰度图像Igray的四周各边分别延展δ个灰度渐变的像素点，延展后的参考灰度图像大小为We×He，其中，We＝W+2δ，He＝H+2δ，W和H分别为图像Igray的宽和高；
在目标灰度图像It_gray的四周各边也分别延展δ个灰度渐变的像素点，延展后的目标灰度图像大小为We_tpl×He_tpl，其中，We_tpl＝Wtpl+2δ，He_tpl＝Htpl+2δ，Wtpl和Htpl分别为目标图像的宽和高；
将延展边界分块，参考灰度图像Igray或目标灰度图像It_gray的上、下、左、右边界块分别定义为图像块T、B、L、R，参考灰度图像Igray或目标灰度图像It_gray的左上、右上、左下、右下边界块分别定义为图像块TL、TR、BL、BR；
按照延展图像块所在的图像位置进行像素值初始化，其中图像块T、B、L、R分别用扩展前图像的首行、末行、首列、末列所在的像素值初始化；图像块TL、TR、BL、BR分别用扩展前图像的左上、右上、左下、右下顶点像素值初始化；即，用扩展前图像的首行首列相交的像素值初始化图像块TL、用扩展前图像的首行末列相交的像素值初始化图像块TR、用扩展前图像的末行首列相交的像素值初始化图像块BL、用扩展前图像的末行末列相交的像素值初始化图像块BR；
延展后的参考灰度图像边界像素初始化公式如式(1)：
延展后的目标灰度图像边界像素初始化公式如式(2)：
初始化像素后，给延展后的参考灰度图像或延展后的目标灰度图像中延展边界的像素点值进行高斯平滑，图像块T、B、L、R的高斯权重系数分别为gt、gb、gl、gr，图像块TL、TR、BL、BR的高斯权重系数分别为gtl、gtr、gbl、gbr，如式(3)所示：
其中，σ＝0.3×[(K/2)-1]+0.8，K＝2δ+1。
⑤中相位相关匹配，具体实现为：
a.傅里叶变换
设扩充后的目标灰度图像表示为f1(x,y)，延展后的参考灰度图像表示为f2(x,y)，图像的宽为We，高为He，对图像f1(x,y)和f2(x,y)分别做傅里叶变换得到F1(u,v)和F2(u,v)：
b.构造相位谱函数
构造相位谱函数R(u,v)如公式(6)：
其中，为F2(u,v)的复共轭；
c.傅里叶反变换得到相位相关函数
对相位谱函数R(u,v)做傅里叶反变换得到相位相关函数r(n1,n2)如公式(7)：
其中，n1＝0,1,...N1-1，n2＝0,1,...N2-1，N1＝We，N2＝He；
d.根据相位相关函数最大值计算目标位置
求出相位相关函数r(n1,n2)的最大值，最大值对应的(n1,n2)即为目标的中心点在参考图像I中的坐标位置(x1,y1)。
⑥用卡尔曼滤波器预测目标的中心点在参考图像I中的坐标位置(x2,y2)，卡尔曼滤波器的具体设计为：
目标的状态转移方程如式(8)：
xk＝Axk-1+ωk (8)
xk是k时刻目标的4维状态向量，A是4×4维的状态转移矩阵，ωk是服从高斯分布的随机噪声；
测量方程如式(9)：
zk＝Hkxk+υk (9)
测量值zk是2维向量，测量矩阵Hk是2×4维向量，υk是测量噪声；
在目标跟踪过程中，目标的状态用两个位置变量x和y，两个速度变量vx和vy表示，这四个变量组成状态向量xk的元素，如式(10)：
在跟踪开始时k＝0，手动选取的跟踪目标位置为(x0,y0)，此时vx＝0，vy＝0，故初始化状态向量x0＝(x0,y0,0,0)T；
状态转移矩阵dt为k时刻与k-1时刻的时间差；
测量值zk为2维向量：
测量矩阵wk是控制噪声，wk～N(0,Qk)，υk是测量噪声，υk～N(0,Rk)；
应用卡尔曼滤波器预测的目标位置为(x2,y2)；
计算相位相关匹配得到的目标的中心点在参考图像I中的坐标位置(x1,y1)和上述卡尔曼预测目标位置(x2,y2)两点之间的欧式距离D，如果距离D小于阈值T，则否则
⑧计算目标的大小，确定目标在当前帧的所在区域，具体为：
a.选取目标候选区域
⑦得到目标中心点在参考图像I中的位置为(x,y)，步骤3得到目标宽度为Wtpl，目标高度为Htpl，在参考图像I中以(x,y)为中心，取一宽度为2×Wtpl，高度为2×Htpl的目标候选区域Can_Area；
b.提取上一帧目标区域和参考图像中目标候选区域的角点
所述步骤3得到上一帧目标区域Obj_A，在该Obj_A区域内提取Harris角点集Obj_AHar，在目标候选区域Can_Area提取Harris角点集Can_AHar；
c.角点匹配
对点集Obj_A和Can_AHar进行角点匹配，相互匹配的点对记为MatP＝(Obj_A'Har,Can_A'Har)，其中Obj_A'Har为Obj_A中和Can_AHar匹配的角点集；Can_A'Har为Can_AHar中和Obj_A匹配的角点集；
d.位置平滑去除误匹配
对目标候选区域Can_Area的角点集Can_A'Har里所有角点的x坐标求均值和方差，分别记为Ave_x和Var_x，对角点集Can_A'Har里所有角点的y坐标求均值和方差，分别记为Ave_y和Var_y，剔除角点集Can_A'Har里满足下列条件的角点集DelP，
DelP＝{[abs(xi-Ave_x)＞T1×Var_x]∪[abs(yi-Ave_y)＞T1×Var_y],(xi,yi)∈Can_A'Har}，
其中(xi,yi)为第i个角点的坐标，
得到目标候选区域Can_AHar内确定的点集ConP＝Can_A'Har-DelP；
e.求当前帧目标的外接轮廓
对目标候选区域内确定的点集ConP，按连通域方法求外接轮廓，轮廓的外接矩形的宽Wcon和高HCon记为目标在参考图像I中的宽和高，也就是目标的大小；
f.目标区域确定
在参考图像I中以(x,y)为中心，宽和高分别为Wcon和HCon的区域就是当前帧跟踪的目标区域。
步骤c角点匹配策略为：
在源角点集中取出一个待匹配角点，以该角点为中心，取一个3×3大小的邻域，以该邻域为待匹配块；在目标角点集中以各个角点为中心构成和待匹配块同样大小的邻域块作为各个搜索块，求待匹配块和各个搜索块之间的SAD值，找到最小的SAD值，如果最小的SAD值小于等于指定阈值，则该最小SAD值对应的目标角点集中的角点，即为和待匹配角点匹配的角点；如果最小的SAD值大于指定阈值，则该待匹配角点在目标角点集中没有和其匹配的角点。
本发明的有益效果是：
①本发明视频跟踪系统的PCKH视频跟踪算法结合了改进的POC匹配算法和卡尔曼滤波，在目标发生位移、旋转、模糊、遮挡以及在光照变化、复杂背景和噪声情况下都具有很好的鲁棒性；
②本发明视频跟踪系统的PCKH视频跟踪算法结合了基于H分量的快速块匹配和目标边缘提取，在跟踪过程中可以计算出目标的大小，在目标发生尺度变化时可以实现稳定跟踪；
③本发明视频跟踪系统与现有视频跟踪系统相比，具有很高的实时性，弥补了现有的大多数视频跟踪算法应用于嵌入式系统时实时性差的问题。
附图说明
图1是本发明实时视频跟踪系统的结构示意图；
图2是本发明实时视频跟踪系统的跟踪方法的流程图；
图3是本发明实时视频跟踪系统中操控台的状态转移图；
图4是本发明实时视频跟踪系统中参考图像延展分块示意图；
图5是本发明实时视频跟踪系统中目标图像延展分块示意图；
图6是本发明实时视频跟踪系统中目标延展图像的扩充示意图；
图7是本发明实时视频跟踪系统中相位相关匹配流程图；
图8是本发明实时视频跟踪系统中卡尔曼滤波与动态模板更新流程图。
图中，1.图像处理器，2.云台，3.视频解码器，4.监视器，5.操控台，6.SDRAM，7.nand flash，8.电源，9.摄像机，10.复位接口，11.网口，12.jtag接口，13.时钟模块。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于云台可控制摄像机的实时视频跟踪系统，结构如图1所示，包括图像处理器1，图像处理器1上分别连接有云台2、视频解码器3、监视器4、操控台5、SDRAM6、nandflash7、电源8、复位接口10、网口11、jtag接口12、时钟模块13，视频解码器3还与摄像机9连接，摄像机9安装在云台2上，合成云台摄像机，本发明中云台摄像机采用两自由度云台摄像机，即可以水平和垂直旋转，用以采集视频信息，能够实时进行图像采集并以模拟信号PAL制形式输出，输出口采用CVBS接口。
其中，图像处理器1采用DM8127芯片，该芯片由一个cotex-A8核、两个M3-Cotex核和一个DSP核构成，各处理器完成不同工作并协同构成视频处理链路，其中cotex-A8核为系统主核，运行linux6操作系统，负责芯片上资源管理、其它核固件的加载工作及网络服务进程等；DSP主要负责图像处理算法；M3-Cotex核主要负责视频采集和输出、图像滤波、预处理等功能。
本发明中视频解码器3为TI公司的TVP5150芯片。视频编解码器是视频跟踪系统的重要组成部分，摄像机输出的视频信号和监视器直接播放的视频信号均为模拟信号。视频信号在进入视频处理器之前必须进行A/D转换成数字信号，同样视频处理完毕之后的视频信号也需要进行D/A转换输出到监视器上。视频解码器3即完成A/D转换功能。
图像处理器1与操控台5和云台2均通过RS485串口连接。
本发明基于云台可控制摄像机的实时视频跟踪系统的跟踪方法，如图2所示，具体按照以下步骤实施：
步骤1、由摄像机9拍摄图像并实时传输视频流到视频解码器3；
步骤2、视频解码器3将接收到的PAL制视频转换为YUV数据格式，并传输到DM8127芯片中，DM8127芯片中M3核负责对YUV数据格式数据进行采样；
步骤3、操控台5在图像处理器1中的视频图像上选取需要跟踪的目标，由于目标类型不能预先获知，因此对跟踪目标选择是人工进行的，操控台5分为如图3所示的三个状态：缺省态、捕获态和跟踪态。缺省态时不进行目标捕获和跟踪，捕获态时可根据操作台上的摇杆点选目标，跟踪态时可启动跟踪算法。系统进入捕获态时，在预设的几种不同大小的矩形框里根据目标大小选定一种矩形框，再用摇杆点选目标，就得到了要跟踪的目标。目标中心点位置为摇杆点选的位置，记为(x0,y0)，目标大小为选择的预设矩形框大小。矩形框的宽度即为目标宽度，记为Wtpl，矩形框的高度即为目标高度，记为Htpl。这时进入跟踪态，即可启动跟踪算法。
步骤4、在DM8127芯片的DSP中，利用PCKH跟踪算法对中选取的目标进行跟踪，具体包括以下步骤：
①将采集到的实时视频帧图像作为参考图像I，将中选取的需要跟踪的目标所在的图像区域作为目标图像Itpl；
②将参考图像I转换为参考灰度图像Igray，并在四周每个边分别延展δ个灰度渐变的像素点，得到延展后的参考灰度图像如图4所示；
③将目标图像Itpl转换为目标灰度图像It_gray，并在四周延展δ个灰度渐变的像素点，得到延展后的目标灰度图像如图5所示。
上述②、③中在四周延展δ个灰度渐变的像素点，具体为：
定义参考灰度图像Igray的宽为W，高为H，四周各边分别延展δ个灰度渐变像素点后的延展后参考图像的宽为We，高为He，其中，We＝W+2δ，He＝H+2δ；定义目标灰度图像It _gray的宽为Wtpl，高为Htpl，四周各边分别延展δ个灰度渐变像素点后的延展后的参考灰度图像的宽为We_tpl，高为He_tpl，其中，We_tpl＝Wtpl+2δ，He_tpl＝Htpl+2δ；
将延展边界分成如图4所示的8个独立块，参考灰度图像Igray(目标灰度图像It_gray如图5所示)的上、下、左、右边界块分别定义为图像块T、B、L、R，参考灰度图像Igray的左上、右上、左下、右下边界块分别定义为图像块TL、TR、BL、BR；
按照延展图像块所在的图像位置进行像素值初始化，其中图像块T、B、L、R分别用扩展前图像的首行、末行、首列、末列所在的像素值初始化；图像块TL、TR、BL、BR分别用扩展前图像的左上、右上、左下、右下顶点像素值初始化，即，用扩展前图像的首行首列相交的像素值初始化图像块TL、用扩展前图像的首行末列相交的像素值初始化图像块TR、用扩展前图像的末行首列相交的像素值初始化图像块BL、用扩展前图像的末行末列相交的像素值初始化图像块BR；
延展后的参考灰度图像边界像素初始化公式如式(1)：
延展后的目标灰度图像边界像素初始化公式如式(2)：
初始化像素后，给延展后的参考灰度图像或延展后的目标灰度图像中延展边界的像素点值进行高斯平滑，图像块T、B、L、R的高斯权重系数分别为gt、gb、gl、gr，图像块TL、TR、BL、BR的高斯权重系数分别为gtl、gtr、gbl、gbr，如式(3)所示：
其中，σ＝0.3×[(K/2)-1]+0.8，K＝2δ+1。
④将延展后的目标灰度图像向外扩充成与延展后的参考灰度图像Ie gray分辨率相同，得到扩充后的目标灰度图像扩充的方式如图6所示，图6中黑色区域为扩充部分，其像素值为0。
⑤将延展后的参考灰度图像与扩充后的目标灰度图像进行相位相关(POC)匹配，计算得到目标的中心点在参考图像I中的坐标位置(x1,y1)；
其中，相位相关匹配具体实现为，流程图如图7所示：
a.傅里叶变换
设扩充后的目标灰度图像表示为f1(x,y)，延展后的参考灰度图像表示为f2(x,y)，图像的宽为We，高为He，对图像f1(x,y)和f2(x,y)分别做傅里叶变换得到F1(u,v)和F2(u,v)：
b.构造相位谱函数
构造相位谱函数R(u,v)如公式(6)：
其中，为F2(u,v)的复共轭；
c.傅里叶反变换得到相位相关函数
对相位谱函数R(u,v)做傅里叶反变换得到相位相关函数r(n1,n2)如公式(7)：
其中，n1＝0,1,...N1-1，n2＝0,1,...N2-1，N1＝We，N2＝He；
d.根据相位相关函数最大值计算目标位置
求出相位相关函数r(n1,n2)的最大值，最大值对应的(n1,n2)即为目标的中心点在参考图像I中的坐标位置(x1,y1)。
⑥用卡尔曼滤波器预测目标的中心点在参考图像I中的坐标位置(x2,y2)，卡尔曼滤波器的具体设计为，如图8所示：
目标的状态转移方程如式(8)：
xk＝Axk-1+ωk (8)
xk是k时刻目标的4维状态向量，A是4×4维的状态转移矩阵，ωk是服从高斯分布的随机噪声；
测量方程如式(9)：
zk＝Hkxk+υk (9)
测量值zk是2维向量，测量矩阵Hk是2×4维向量，υk是测量噪声；
在目标跟踪过程中，目标的状态用两个位置变量x和y，两个速度变量vx和vy表示，这四个变量组成状态向量xk的元素，如式(10)：
在跟踪开始时k＝0，手动选取的跟踪目标位置为(x0,y0)，此时vx＝0，vy＝0，故初始化状态向量x0＝(x0,y0,0,0)T；
状态转移矩阵dt为k时刻与k-1时刻的时间差；
测量值zk为2维向量：
测量矩阵wk是控制噪声，wk～N(0,Qk)，υk是测量噪声，υk～N(0,Rk)；
应用卡尔曼滤波器预测的目标位置为(x2,y2)；
⑦计算相位相关匹配位置(x1,y1)与卡尔曼滤波预测目标位置(x2,y2)的两点之间的欧式距离D，如果两点距离D小于等于阈值T，则目标中心点的位置为(x,y)且x＝x1,y＝y1；如果两点距离D大于阈值T，判断相位相关匹配错误，此时目标中心点的位置为(x,y)，且x＝x2,y＝y2；
⑧计算目标的尺度大小，确定目标的所在区域，具体为：
a.选取目标候选区域
⑦得到目标中心点在参考图像I中的位置为(x,y)，步骤3得到目标宽度为Wtpl，目标高度为Htpl，在参考图像I中以(x,y)为中心，取一宽度为2×Wtpl，高度为2×Htpl的目标候选区域Can_Area；
b.提取上一帧目标区域和参考图像中目标候选区域的角点
所述步骤3得到上一帧目标区域Obj_A，在该Obj_A区域内提取Harris角点集Obj_AHar，在目标候选区域Can_Area提取Harris角点集Can_AHar；
c.角点匹配
对点集Obj_AHar和Can_AHar进行角点匹配，相互匹配的点对记为MatP＝(Obj_A'Har,Can_A'Har)，其中Obj_A'Har为Obj_AHar中和Can_AHar匹配的角点集；Can_A'Har为Can_AHar中和Obj_AHar匹配的角点集；
其中，角点匹配策略为：
在源角点集中取出一个待匹配角点，以该角点为中心，取一个3×3大小的邻域，以该邻域为待匹配块；在目标角点集中以各个角点为中心构成和待匹配块同样大小的邻域块作为各个搜索块，求待匹配块和各个搜索块之间的SAD(Sum of Absolute Difference，绝对差值和)值，找到最小的SAD值，如果最小的SAD值小于等于指定阈值，则该最小SAD值对应的目标角点集中的角点，即为和待匹配角点匹配的角点；如果最小的SAD值大于指定阈值，则该待匹配角点在目标角点集中没有和其匹配的角点。
d.位置平滑去除误匹配
对目标候选区域Can_Area的角点集Can_A'Har里所有角点的x坐标求均值和方差，分别记为Ave_x和Var_x，对角点集Can_A'Har里所有角点的y坐标求均值和方差，分别记为Ave_y和Var_y，剔除角点集Can_A'Har里满足下列条件的角点集DelP，
DelP＝{[abs(xi-Ave_x)＞T1×Var_x]∪[abs(yi-Ave_y)＞T1×Var_y],(xi,yi)∈Can_A'Har}，
其中(xi,yi)为第i个角点的坐标，
得到目标候选区域Can_Area内确定的点集ConP＝Can_A'Har-DelP；
e.求当前帧目标的外接轮廓
对目标候选区域内确定的点集ConP，按连通域方法求外接轮廓，轮廓的外接矩形的宽Wcon和高HCon记为目标在参考图像I中的宽和高，也就是目标的大小；
f.目标区域确定
在参考图像I中以(x,y)为中心，宽和高分别为Wcon和HCon的区域就是当前帧跟踪的目标区域。
⑨据⑦中如果两点距离D大于阈值T，那么判断相位相关匹配错误，则目标位置为卡尔曼滤波预测得到的目标的中心点在参考图像I中的坐标位置(x2,y2)，那么的目标图像Itpl不更新；如果两点距离D小于等于阈值T，则目标位置为相关相位匹配后得到的目标的中心点在参考图像I中的坐标位置(x1,y1)，同时根据⑧计算得到的目标区域更新目标图像Itpl。
步骤5、计算目标和上一帧位置的偏移量dx、dy并根据偏移量控制云台的转动，使目标处在监视器的中心位置，从而实现目标的实时跟踪，同时在监视器4上实时显示跟踪目标所在的图像。
本发明的具体检测功能及指标如下：
本发明基于云台可控制的嵌入式实时视频跟踪系统可以实现对目标亮度、位移、尺度、形变和遮挡的不变性跟踪；
本发明基于云台可控制的嵌入式实时视频跟踪系统具有良好的实时性，对PAL制的视频处理帧率可以达到25fps；
本发明视频跟踪系统基于TIDM8127芯片设计开发，采用多核协同工作机制，效率高，尺寸小，弥补传统视频跟踪系统效率低下、体积庞大等缺点。
Claims (5)
1.基于云台可控制摄像机的实时视频跟踪系统的跟踪方法，其特征在于，采用基于云台可控制摄像机的实时视频跟踪系统，结构为：
包括图像处理器(1)，图像处理器(1)上分别连接有云台(2)、视频解码器(3)、监视器(4)、操控台(5)、SDRAM(6)、nand flash(7)、电源(8)，视频解码器(3)还与摄像机(9)连接，摄像机(9)安装在云台(2)上；
所述图像处理器(1)上还分别连接有复位接口(10)、网口(11)、jtag接口(12)、时钟模块(13)；
所述云台(2)为两自由度云台；
具体按照以下步骤实施：
步骤1、由摄像机(9)拍摄图像并实时传输视频流到视频解码器(3)；
步骤2、视频解码器(3)将接收到的视频转换为YUV数据格式，并传输到图像处理器(1)中；
步骤3、操控台(5)根据图像处理器(1)中的视频内容选取需要跟踪的目标，目标中心点所在图像位置记为(x0,y0)，目标宽度记为Wtpl，目标高度记为Htpl，目标所在区域记为Obj_A；
步骤4、利用PCKH跟踪算法对步骤3中选取的目标进行跟踪，并得到目标的实时中心点位置记为(x,y)；
步骤5、计算目标和上一帧位置的偏移量dx、dy并根据偏移量控制云台的转动，使目标处在监视器的中心位置，从而实现目标的实时跟踪，同时在监视器(4)上实时显示跟踪目标所在的图像；
所述步骤4中PCKH跟踪算法具体包括以下步骤：
①将采集到的实时视频帧图像作为参考图像I，将步骤3中选取的需要跟踪的目标所在的图像区域Obj_A作为目标图像Itpl；
②将参考图像I转换为参考灰度图像Igray，并在四周每个边分别延展δ个灰度渐变的像素点，得到延展后的参考灰度图像
③将目标图像Itpl转换为目标灰度图像It_gray，并在四周每个边分别延展δ个灰度渐变的像素点，得到延展后的目标灰度图像
④将延展后的目标灰度图像扩充成与延展后的参考灰度图像一样大，扩充的像素值为0，得到扩充后的目标灰度图像
⑤将延展后的参考灰度图像与扩充后的目标灰度图像进行相位相关匹配，匹配函数峰值点所在位置为目标的中心点在参考图像I中的坐标位置(x1,y1)；
⑥用卡尔曼滤波预测得到目标的中心点在参考图像I中的坐标位置(x2,y2)；
⑦计算相位相关匹配位置(x1,y1)与卡尔曼滤波预测目标位置(x2,y2)的两点的欧式距离D，如果两点距离D小于等于阈值T，则目标中心点的位置为(x,y)且x＝x1,y＝y1；如果两点距离D大于阈值T，判断相位相关匹配错误，此时目标中心点的位置为(x,y)，且x＝x2,y＝y2；
⑧在参考图像中，根据和目标图像匹配的角点集所在区域的外接轮廓计算得到目标的尺度大小，结合目标的中心点位置(x,y)确定目标的所在区域；
⑨根据⑦中如果两点距离D大于阈值T，那么判断相位相关匹配错误，则目标位置为卡尔曼滤波预测得到的目标的中心点在参考图像I中的坐标位置(x2,y2)，此时目标图像Itpl不更新；如果两点距离D小于等于阈值T，则目标位置为相关相位匹配后得到的目标的中心点在参考图像I中的坐标位置(x1,y1)，同时根据⑧计算得到的目标尺寸更新目标图像Itpl；
上述②、③中在四周延展δ个灰度渐变的像素点，具体为：
定义参考灰度图像Igray的宽为W，高为H，四周各边分别延展δ个灰度渐变像素点后的延展后参考灰度图像的宽为We，高为He，其中，We＝W+2δ，He＝H+2δ；定义目标灰度图像It _gray的宽为Wtpl，高为Htpl，四周各边分别延展δ个灰度渐变像素点后的延展后目标灰度图像的宽为We_tpl，高为He_tpl，其中，We_tpl＝Wtpl+2δ，He_tpl＝Htpl+2δ；
将延展边界分块，参考灰度图像Igray或目标灰度图像It_gray的上、下、左、右边界块分别定义为图像块T、B、L、R，参考灰度图像Igray或目标灰度图像It_gray的左上、右上、左下、右下边界块分别定义为图像块TL、TR、BL、BR；
按照延展图像块所在的图像位置进行像素值初始化，其中图像块T、B、L、R分别用扩展前图像的首行、末行、首列、末列所在的像素值初始化；图像块TL、TR、BL、BR分别用扩展前图像的左上、右上、左下、右下顶点像素值初始化，即，用扩展前图像的首行首列相交的像素值初始化图像块TL、用扩展前图像的首行末列相交的像素值初始化图像块TR、用扩展前图像的末行首列相交的像素值初始化图像块BL、用扩展前图像的末行末列相交的像素值初始化图像块BR；
延展后的参考灰度图像边界像素初始化公式如式(1)：
延展后的目标灰度图像边界像素初始化公式如式(2)：
2.根据权利要求1所述的基于云台可控制摄像机的实时视频跟踪系统的跟踪方法，其特征在于，所述⑤中相位相关匹配，具体实现为：
a.傅里叶变换
设扩充后的目标灰度图像表示为f1(x,y)，延展后的参考灰度图像表示为f2(x,y)，图像的宽为We，高为He，对图像f1(x,y)和f2(x,y)分别做傅里叶变换得到F1(u,v)和F2(u,v)：
<mrow>
<msub>
<mi>F</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<msub>
<mi>W</mi>
<mi>e</mi>
</msub>
<msub>
<mi>H</mi>
<mi>e</mi>
</msub>
</mrow>
</mfrac>
<mo>&times;</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>x</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<msub>
<mi>W</mi>
<mi>e</mi>
</msub>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>y</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<msub>
<mi>H</mi>
<mi>e</mi>
</msub>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msub>
<mi>f</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&times;</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mi>j</mi>
<mn>2</mn>
<mi>&pi;</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mi>x</mi>
<mo>/</mo>
<msub>
<mi>W</mi>
<mi>e</mi>
</msub>
<mo>+</mo>
<mi>v</mi>
<mi>y</mi>
<mo>/</mo>
<msub>
<mi>H</mi>
<mi>e</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>F</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<msub>
<mi>W</mi>
<mi>e</mi>
</msub>
<mo>&times;</mo>
<msub>
<mi>H</mi>
<mi>e</mi>
</msub>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>x</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<msub>
<mi>W</mi>
<mi>e</mi>
</msub>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>y</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<msub>
<mi>H</mi>
<mi>e</mi>
</msub>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msub>
<mi>f</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mi>j</mi>
<mn>2</mn>
<mi>&pi;</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mi>x</mi>
<mo>/</mo>
<msub>
<mi>W</mi>
<mi>e</mi>
</msub>
<mo>+</mo>
<mi>v</mi>
<mi>y</mi>
<mo>/</mo>
<msub>
<mi>H</mi>
<mi>e</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
b.构造相位谱函数
构造相位谱函数R(u,v)如公式(6)：
<mrow>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>F</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mover>
<mrow>
<msub>
<mi>F</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>&OverBar;</mo>
</mover>
</mrow>
<mrow>
<mo>|</mo>
<msub>
<mi>F</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mover>
<mrow>
<msub>
<mi>F</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>|</mo>
</mrow>
</mfrac>
<mo>=</mo>
<msup>
<mi>e</mi>
<mrow>
<mi>j</mi>
<mi>&theta;</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
</mrow>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，为F2(u,v)的复共轭；
c.傅里叶反变换得到相位相关函数
对相位谱函数R(u,v)做傅里叶反变换得到相位相关函数r(n1,n2)如公式(7)：
<mrow>
<mi>r</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>n</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>n</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<msub>
<mi>N</mi>
<mn>1</mn>
</msub>
<msub>
<mi>N</mi>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>u</mi>
<mi>v</mi>
</mrow>
</munder>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<msup>
<mi>e</mi>
<mrow>
<mi>j</mi>
<mfrac>
<mrow>
<mn>2</mn>
<msub>
<mi>&pi;un</mi>
<mn>1</mn>
</msub>
</mrow>
<msub>
<mi>N</mi>
<mn>2</mn>
</msub>
</mfrac>
</mrow>
</msup>
<msup>
<mi>e</mi>
<mrow>
<mi>j</mi>
<mfrac>
<mrow>
<mn>2</mn>
<msub>
<mi>&pi;vn</mi>
<mn>2</mn>
</msub>
</mrow>
<msub>
<mi>N</mi>
<mn>2</mn>
</msub>
</mfrac>
</mrow>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，n1＝0,1,...N1-1，n2＝0,1,...N2-1，N1＝We，N2＝He；
d.根据相位相关函数最大值计算目标位置
求出相位相关函数r(n1,n2)的最大值，最大值对应的(n1,n2)即为目标的中心点在参考图像I中的坐标位置(x1,y1)。
3.根据权利要求1所述的基于云台可控制摄像机的实时视频跟踪系统的跟踪方法，其特征在于，所述⑥用卡尔曼滤波器预测目标的中心点在参考图像I中的坐标位置(x2,y2)，卡尔曼滤波器的具体设计为：
目标的状态转移方程如式(8)：
xk＝Axk-1+ωk (8)
xk是k时刻目标的4维状态向量，A是4×4维的状态转移矩阵，ωk是服从高斯分布的随机噪声；
测量方程如式(9)：
zk＝Hkxk+υk (9)
测量值zk是2维向量，测量矩阵Hk是2×4维向量，υk是测量噪声；
在目标跟踪过程中，目标的状态用两个位置变量x和y，两个速度变量vx和vy表示，这四个变量组成状态向量xk的元素，如式(10)：
<mrow>
<msub>
<mi>x</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>x</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>v</mi>
<mi>x</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>v</mi>
<mi>y</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
在跟踪开始时k＝0，手动选取的跟踪目标位置为(x0,y0)，此时vx＝0，vy＝0，故初始化状态向量x0＝(x0,y0,0,0)T；
状态转移矩阵dt为k时刻与k-1时刻的时间差；
测量值zk为2维向量：
<mrow>
<msub>
<mi>z</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>z</mi>
<mi>x</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>z</mi>
<mi>y</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
测量矩阵wk是控制噪声，wk～N(0,Qk)，υk是测量噪声，υk～N(0,Rk)；
应用卡尔曼滤波器预测的目标位置为(x2,y2)；
计算相位相关匹配得到的目标的中心点在参考图像I中的坐标位置(x1,y1)和上述卡尔曼预测目标位置(x2,y2)两点之间的欧式距离D，如果距离D小于等于阈值T，则否则
4.根据权利要求1所述的基于云台可控制摄像机的实时视频跟踪系统的跟踪方法，其特征在于，所述⑧计算目标的大小，确定目标在当前帧的所在区域，具体为：
a.选取目标候选区域
⑦得到目标中心点在参考图像I中的位置为(x,y)，步骤3得到目标宽度为Wtpl，目标高度为Htpl，在参考图像I中以(x,y)为中心，取一宽度为2×Wtpl，高度为2×Htpl的目标候选区域Can_Area；
b.提取上一帧目标区域和参考图像中目标候选区域的角点
所述步骤3得到上一帧目标区域Obj_A，在该Obj_A区域内提取Harris角点集Obj_AHar，在目标候选区域Can_Area提取Harris角点集Can_AHar；
c.角点匹配
对点集Obj_AHar和Can_AHar进行角点匹配，相互匹配的点对记为MatP＝(Obj_A'Har,Can_A'Har)，其中Obj_A'Har为Obj_AHar中和Can_AHar匹配的角点集；Can_A'Har为Can_AHar中和Obj_AHar匹配的角点集；
d.位置平滑去除误匹配
对目标候选区域Can_Area的角点集Can_A'Har里所有角点的x坐标求均值和方差，分别记为Ave_x和Var_x，对角点集Can_A'Har里所有角点的y坐标求均值和方差，分别记为Ave_y和Var_y，剔除角点集Can_A'Har里满足下列条件的角点集DelP，
DelP＝{[abs(xi-Ave_x)＞T1×Var_x]∪[abs(yi-Ave_y)＞T1×Var_y],(xi,yi)∈Can_A'Har}，
其中(xi,yi)为第i个角点的坐标，
得到目标候选区域Can_Area内确定的点集ConP＝Can_A'Har-DelP；
e.求当前帧目标的外接轮廓
对目标候选区域内确定的点集ConP，按连通域方法求外接轮廓，轮廓的外接矩形的宽Wcon和高HCon记为目标在参考图像I中的宽和高，也就是目标的大小；
f.目标区域确定
在参考图像I中以(x,y)为中心，宽和高分别为Wcon和HCon的区域就是当前帧跟踪的目标区域。
5.根据权利要求4所述的基于云台可控制摄像机的实时视频跟踪系统的跟踪方法，其特征在于，所述步骤c角点匹配策略为：
在源角点集中取出一个待匹配角点，以该角点为中心，取一个3×3大小的邻域，以该邻域为待匹配块；在目标角点集中以各个角点为中心构成和待匹配块同样大小的邻域块作为各个搜索块，求待匹配块和各个搜索块之间的SAD值，找到最小的SAD值，如果最小的SAD值小于等于指定阈值，则该最小SAD值对应的目标角点集中的角点，即为和待匹配角点匹配的角点；如果最小的SAD值大于指定阈值，则该待匹配角点在目标角点集中没有和其匹配的角点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510585039.9A CN105205815B (zh) | 2015-09-15 | 2015-09-15 | 基于云台可控制摄像机的实时视频跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510585039.9A CN105205815B (zh) | 2015-09-15 | 2015-09-15 | 基于云台可控制摄像机的实时视频跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105205815A CN105205815A (zh) | 2015-12-30 |
| CN105205815B true CN105205815B (zh) | 2017-12-29 |
Family
ID=54953476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510585039.9A Active CN105205815B (zh) | 2015-09-15 | 2015-09-15 | 基于云台可控制摄像机的实时视频跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105205815B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106530711A (zh) * | 2016-12-16 | 2017-03-22 | 合肥寰景信息技术有限公司 | 一种用于高速车辆的视频图像智能交通分析方法 |
| CN111043458A (zh) * | 2019-11-04 | 2020-04-21 | 浙江大学 | 一种电动升降移动跟踪拍摄云台及跟踪拍摄方法 |
| CN111340727B (zh) * | 2020-02-26 | 2022-05-17 | 电子科技大学 | 一种基于gbr图像的异常流量检测方法 |
| CN111272366B (zh) * | 2020-03-02 | 2021-12-07 | 东南大学 | 一种基于多传感器数据融合的桥梁位移高精度测量方法 |
| CN113168716A (zh) * | 2020-03-19 | 2021-07-23 | 深圳市大疆创新科技有限公司 | 对象解算、绕点飞行方法及设备 |
| CN111479062B (zh) * | 2020-04-15 | 2021-09-28 | 上海摩象网络科技有限公司 | 目标对象的跟踪框显示方法、设备及手持相机 |
| CN111479063B (zh) * | 2020-04-15 | 2021-04-06 | 上海摩象网络科技有限公司 | 云台驱动方法、设备及手持相机 |
| CN111526335B (zh) * | 2020-05-03 | 2021-08-27 | 金华精研机电股份有限公司 | 悬挂轨道式全向云台摄像机目标跟踪方法 |
| CN112686204B (zh) * | 2021-01-12 | 2022-09-02 | 昆明理工大学 | 一种基于稀疏像素点跟踪的视频测流方法及装置 |
| CN113052869A (zh) * | 2021-03-10 | 2021-06-29 | 五邑大学 | 一种基于智慧ai测温的轨迹跟踪方法、系统及存储介质 |
| CN113569644B (zh) * | 2021-06-28 | 2024-03-15 | 西安理工大学 | 一种基于机器视觉的机场鸟类目标检测方法 |
| CN114383577A (zh) * | 2021-11-11 | 2022-04-22 | 高哲赛科技(南通)有限公司 | 一种基于无人机科技的信息服务平台 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4513327A (en) * | 1982-03-30 | 1985-04-23 | Victor Company Of Japan, Ltd. | Digital signal recording system and reproducing apparatus |
| CN1186923C (zh) * | 2003-04-03 | 2005-01-26 | 上海交通大学 | 异常目标自动发现及跟踪摄像机系统 |
| CN101814242A (zh) * | 2010-04-13 | 2010-08-25 | 天津师范大学 | 教师讲课的运动目标实时跟踪录课装置 |
-
2015
- 2015-09-15 CN CN201510585039.9A patent/CN105205815B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN105205815A (zh) | 2015-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105205815B (zh) | 基于云台可控制摄像机的实时视频跟踪方法 | |
| CN103514432B (zh) | 人脸特征提取方法、设备和计算机程序产品 | |
| CN102231792B (zh) | 基于特征匹配的电子稳像方法 | |
| CN109978756A (zh) | 目标检测方法、系统、装置、存储介质和计算机设备 | |
| CN104394308B (zh) | 双摄像头以不同视角拍照的方法和终端 | |
| CN106780620A (zh) | 一种乒乓球运动轨迹识别定位与跟踪系统及方法 | |
| CN107833249A (zh) | 一种基于视觉引导的舰载机着陆过程姿态预估方法 | |
| CN102222341B (zh) | 运动特征点检测方法及装置、运动目标检测方法及装置 | |
| CN108198201A (zh) | 一种多目标跟踪方法、终端设备及存储介质 | |
| CN104794737B (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
| CN106355147A (zh) | 一种活体人脸检测头部姿态回归器的获取方法及检测方法 | |
| CN102959946A (zh) | 基于相关3d点云数据来扩充图像数据的技术 | |
| CN107798313A (zh) | 一种人体姿态识别方法、装置、终端和存储介质 | |
| CN110097576A (zh) | 图像特征点的运动信息确定方法、任务执行方法和设备 | |
| KR20070020916A (ko) | 얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한얼굴 인식 시스템 | |
| CN102831382A (zh) | 人脸跟踪设备和方法 | |
| CN106295526A (zh) | 车辆图像匹配的方法及装置 | |
| CN103514441A (zh) | 基于移动平台的人脸特征点定位跟踪方法 | |
| CN108665476A (zh) | 一种行人跟踪方法以及电子设备 | |
| CN108765354A (zh) | 一种动态目标识别跟踪图像数据优化传输方法及系统 | |
| CN106203302B (zh) | 基于视觉和无线感知相结合的行人检测和统计方法 | |
| CN115511952A (zh) | 一种基于深度相机的装配式铺面三维点云预处理方法 | |
| CN109492525A (zh) | 一种测量基站天线工程参数的方法 | |
| CN108769595A (zh) | 一种智能人身识别监控跟踪传输方法及系统 | |
| CN115439927A (zh) | 基于机器人的步态监测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |