CN106842625B - 一种基于特征共识性的目标追踪方法 - Google Patents

一种基于特征共识性的目标追踪方法 Download PDF

Info

Publication number
CN106842625B
CN106842625B CN201710126621.8A CN201710126621A CN106842625B CN 106842625 B CN106842625 B CN 106842625B CN 201710126621 A CN201710126621 A CN 201710126621A CN 106842625 B CN106842625 B CN 106842625B
Authority
CN
China
Prior art keywords
tracking
frame
glasses
feature
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710126621.8A
Other languages
English (en)
Other versions
CN106842625A (zh
Inventor
张祖涛
朱勉宽
潘宏烨
刘治勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Shiji Youfu Data Service Co ltd
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN201710126621.8A priority Critical patent/CN106842625B/zh
Publication of CN106842625A publication Critical patent/CN106842625A/zh
Application granted granted Critical
Publication of CN106842625B publication Critical patent/CN106842625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本发明提供了一种基于特征共识性目标追踪方法，涉及目标跟踪技术领域。所述追踪眼镜包括镜架、镜腿和普通太阳镜片，镜架的两边分别设有镜腿一与镜腿二，镜架上设有微型摄像机，镜腿二上设有中央处理控制器，中央处理控制器上设有开关按钮，镜架左边的普通太阳镜片后面设有OLED有机屏镜片。使用方法包括如下步骤：一、开启眼镜开关按钮，微型摄像机拍摄眼镜前方的场景视频，眼镜佩戴者选取追踪对象；二、中央处理控制器对场景视频以及追踪对象进行处理，在OLED有机屏镜片上显示处理后的场景视频以及追踪对象；三、通过OLED有机屏镜片上的追踪对象与普通太阳镜片中看到的场景，锁定所述目标并进行实时追踪。

Description

一种基于特征共识性的目标追踪方法
技术领域
本发明涉及目标跟踪技术领域。
背景技术
在公安系统中，办案人员经常要对可疑人员以及可疑车辆进行可视跟踪追查。基于办案的隐蔽性，目前主要的可视追踪方式为人眼追踪或者定点设备追踪。人眼追踪有着追踪方便灵活等优点，但是追踪效率不高，容易跟丢追踪对象。定点设备追踪有着准确率高的优点，但设备一般都是固定装置，体积相对比较庞大，移动性差，跟踪的范围有限，且在多目标情况下无法根据需要实现人为自由选择目标物体进行跟踪，跟踪目标丢失率较大，精度较低。
专利公开号为CN103020983A的中国专利公开了一种用于目标跟踪的人机交互装置及方法，属于目标跟踪技术领域。该装置包括头盔设备，在头盔设备上设置有第一信息处理单元、显示装置、视线追踪系统和多个摄像头；摄像头实时拍摄头盔设备周围的场景视频并将拍摄的场景视频传输给第一信息处理单元；第一信息处理单元接收和处理场景视频，并将处理后的场景视频发送给显示装置；显示装置用于显示处理后的场景视频；视线追踪系统通过对使用者的人眼视线追踪，确定使用者选择跟踪的场景中的目标，锁定目标并进行实时跟踪。
上述专利虽然解决了定点装置的移动性能差特点，但其采用头盔方式，佩戴不方便，且设备占据较大的空间。
发明内容
本发明目的是提供一种基于基于特征共识性的目标追踪方法，它能有效的处理跟踪目标的算法，结合了基于运动分析的跟踪方法和基于图像匹配的跟踪方法，将光流法与特征匹配法组合，计算追踪目标特征点的相对位置与缩放、旋转比例，通过聚类判断是否为追踪目标的特征点，并由此判断是否为追踪目标。
本发明的目的是通过以下技术方案来实现的：一种基于特征共识性的目标追踪方法，该方法包括追踪眼镜，所述眼镜镜架、包括镜腿和普通太阳镜片，镜架的两边分别设有镜腿一与镜腿二，镜架上设有微型摄像机，镜腿二上设有中央处理控制器，中央处理控制器上设有开关按钮，镜架左边的普通太阳镜片后面设有OLED有机屏镜片。
本发明的目的是通过以下技术方案来实现的：
本发明的使用方法包括如下步骤：
步骤一、开启眼镜开关按钮，微型摄像机拍摄眼镜前方的场景视频，
眼镜佩戴者选取追踪对象；
步骤二、中央处理控制器对场景视频以及追踪对象进行处理，在OLED有机屏镜片上显示处理后的场景视频以及追踪对象；
步骤三、通过OLED有机屏镜片上的追踪对象与普通太阳镜片中看到的场景，锁定所述目标并进行实时追踪。
具体为以下过程：
⑴检测初始视频帧追踪目标框内以及框外的所有特征点和特征描述，将框内的特征描述值赋予K1；
⑵检测第t帧检测视频帧中追踪对象的特征点P；
⑶将视频帧中追踪对象的特征点P与初始视频帧框内以及框外的所有特征点和特征描述进行全局匹配，获取匹配的特征点M，利用第t帧视频帧中追踪对象的特征点P，使用光流法得到追踪对象t+1帧时特征点的位置T ；
⑷对匹配的特征点M和利用光流法得到的特征点T进行融合 ，得到t+1帧时总的特征点R；
⑸根据K1计算t+1帧时总的特征点R相对初始帧特征点的缩放比例、旋转比例 ；
⑹根据上面两步骤得到的数据计算每一个特征点的Vote，采用聚类的方法选取最大的类也就是最一致的VoteC，判断VoteC的长度是否大于最小阈值；
⑺如果是，将VoteC转换回有效特征点 ，计算最后新的旋转矩形框的参数，追踪对象在矩形框中；如果不是，追踪对象不在视频中。
本发明与现有技术相比的优点和效果在于：眼镜佩戴者在跟踪特定目标时，不受空间地域限制。眼镜体积小，携带方便，并且在追踪目标时不易被察觉。
附图说明
图1为本发明眼镜示意图；
图2为本发明使用方法流程图；
图3为本发明的目标追踪方法流程图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
实施列：
图1为本发明实施例1基于特征共识性的目标追踪眼镜示意图。本实施例提供了一种基于特征共识性的目标追踪眼镜，所述追踪眼镜包括镜架1、镜腿和普通太阳镜片6，镜架1的两边分别设有镜腿一2与镜腿二3，镜架1上设有微型摄像机5，镜腿二3上设有中央处理控制器4，中央处理控制器4上设有开关按钮8，镜架1左边的普通太阳镜片6后面设有OLED有机屏镜片7。
图2为本发明实施例2追踪的目标追踪眼镜使用方法流程图。本实施例提供了本发明的使用方法，该方法包括如下过程：
步骤1：开启眼镜开关按钮，微型摄像机拍摄眼镜前方的场景视频。眼镜佩戴者选取追踪对象。
步骤2：中央处理控制器对场景视频以及追踪对象进行处理。在OLED有机屏镜片上显示处理后的场景视频以及追踪对象。
步骤3：通过OLED有机屏镜片上的追踪对象与普通太阳镜片中看到的场景，锁定所述目标并进行实时追踪。
图3为本发明基于特征共识性的目标追踪方法流程图。该方法在步骤3过程中实现，该方法包括如下步骤：
步骤3.1：检测初始视频帧追踪目标框内以及框外的所有特征点和特征描述。
步骤3.2：将框内的特征描述值赋予K1。
步骤3.3：第t帧检测视频帧中追踪对象的特征点P。
步骤3.4：将视频帧中追踪对象的特征点P与初始视频帧框内以及框外的所有特征点和特征描述进行全局匹配，获取匹配的特征点M。
步骤3.5：利用第t帧视频帧中追踪对象的特征点P，使用光流法得到追踪对象t+1帧时特征点的位置T 。
步骤3.6：对匹配的特征点M和利用光流法得到的特征点T进行融合 ，得到t+1帧时总的特征点R。
步骤3.7：根据K1计算t+1帧时总的特征点R相对初始帧特征点的缩放比例、旋转比例 。
步骤3.8：根据步骤A7、A8得到的数据计算每一个特征点的Vote。
步骤3.9：采用聚类的方法选取最大的类也就是最一致的VoteC 。
步骤3.10：判断VoteC的长度是否大于最小阈值。
步骤3.11：如果是，将VoteC转换回有效特征点 ，计算最后新的旋转矩形框的参数，追踪对象在矩形框中。
步骤3.12：如果不是，追踪对象不在视频中。

Claims (1)

1.一种基于特征共识性的目标追踪方法，该方法包括目标追踪眼镜，所述眼镜包括镜架（1）、镜腿和普通太阳镜片（6），其特征在于：镜架（1）的两边分别设有镜腿一（2）与镜腿二（3），镜架（1）上设有微型摄像机（5），镜腿二（3）上设有中央处理控制器（4），中央处理控制器（4）上设有开关按钮（8），镜架（1）左边的普通太阳镜片（6）后面设有OLED有机屏镜片（7）；所述追踪方法包括如下步骤：
步骤一、开启眼镜开关按钮，微型摄像机拍摄眼镜前方的场景视频，
眼镜佩戴者选取追踪对象；
步骤二、中央处理控制器对场景视频以及追踪对象进行处理，在OLED有机屏镜片上显示处理后的场景视频以及追踪对象；
中央处理控制器对场景视频以及追踪对象进行处理的步骤具体包括：
⑴检测初始视频帧追踪目标框内以及框外的所有特征点和特征描述，将框内的特征描述值赋予K1；
⑵检测第t帧检测视频帧中追踪对象的特征点P；
⑶将视频帧中追踪对象的特征点P与初始视频帧框内以及框外的所有特征点和特征描述进行全局匹配，获取匹配的特征点M，利用第t帧视频帧中追踪对象的特征点P，使用光流法得到追踪对象t+1帧时特征点的位置T；
⑷对匹配的特征点M和利用光流法得到的特征点T进行融合，得到t+1帧时总的特征点R；
⑸根据K1计算t+1帧时总的特征点R相对初始帧特征点的缩放比例、旋转比例；
⑹根据上面两步骤得到的数据计算每一个特征点的Vote，采用聚类的方法选取最大的类也就是最一致的VoteC，判断VoteC的长度是否大于最小阈值；
⑺如果是，将VoteC转换回有效特征点，计算最后新的旋转矩形框的参数，追踪对象在矩形框中；如果不是，追踪对象不在视频中；
步骤三、通过OLED有机屏镜片上的追踪对象与普通太阳镜片中看到的场景，锁定所述目标并进行实时追踪。
CN201710126621.8A 2017-03-03 2017-03-03 一种基于特征共识性的目标追踪方法 Active CN106842625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710126621.8A CN106842625B (zh) 2017-03-03 2017-03-03 一种基于特征共识性的目标追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710126621.8A CN106842625B (zh) 2017-03-03 2017-03-03 一种基于特征共识性的目标追踪方法

Publications (2)

Publication Number Publication Date
CN106842625A CN106842625A (zh) 2017-06-13
CN106842625B true CN106842625B (zh) 2020-03-17

Family

ID=59138248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710126621.8A Active CN106842625B (zh) 2017-03-03 2017-03-03 一种基于特征共识性的目标追踪方法

Country Status (1)

Country Link
CN (1) CN106842625B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559330B (zh) * 2017-09-25 2021-09-10 北京金山云网络技术有限公司 运动目标的视觉跟踪方法、装置、电子设备及存储介质
CN111399633B (zh) * 2019-01-03 2023-03-31 见臻科技股份有限公司 针对眼球追踪应用的校正方法
CN110889346B (zh) * 2019-11-15 2021-07-02 云从科技集团股份有限公司 一种智能追踪方法、系统、设备及可读介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4516157A (en) * 1982-11-23 1985-05-07 Campbell Malcolm G Portable electronic camera
CN103479361A (zh) * 2013-09-03 2014-01-01 常州菲胜图自动化仪器有限公司 智能眼镜及利用其监测运动、预防近视、矫正坐姿的方法
CN105357421A (zh) * 2015-10-27 2016-02-24 南京泓众电子科技有限公司 一种智能眼镜系统
CN105809718A (zh) * 2016-03-14 2016-07-27 西南交通大学 一种轨迹熵最小化的对象跟踪方法
CN105825524A (zh) * 2016-03-10 2016-08-03 浙江生辉照明有限公司 目标跟踪方法和装置
CN105931275A (zh) * 2016-05-23 2016-09-07 北京暴风魔镜科技有限公司 基于移动端单目和imu融合的稳定运动跟踪方法和装置
CN205720873U (zh) * 2016-03-10 2016-11-23 上海聚然智能科技有限公司 设有液晶膜的眼镜
CN106444084A (zh) * 2016-07-19 2017-02-22 苏州市景荣科技有限公司 一种新型智能眼镜

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8182084B2 (en) * 2010-05-27 2012-05-22 Tokai Optical Co., Ltd. Display unit
CN103020983B (zh) * 2012-09-12 2017-04-05 深圳先进技术研究院 一种用于目标跟踪的人机交互装置及方法
EP2929413B1 (en) * 2012-12-06 2020-06-03 Google LLC Eye tracking wearable devices and methods for use
US8937650B2 (en) * 2013-03-15 2015-01-20 Orcam Technologies Ltd. Systems and methods for performing a triggered action

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4516157A (en) * 1982-11-23 1985-05-07 Campbell Malcolm G Portable electronic camera
CN103479361A (zh) * 2013-09-03 2014-01-01 常州菲胜图自动化仪器有限公司 智能眼镜及利用其监测运动、预防近视、矫正坐姿的方法
CN105357421A (zh) * 2015-10-27 2016-02-24 南京泓众电子科技有限公司 一种智能眼镜系统
CN105825524A (zh) * 2016-03-10 2016-08-03 浙江生辉照明有限公司 目标跟踪方法和装置
CN205720873U (zh) * 2016-03-10 2016-11-23 上海聚然智能科技有限公司 设有液晶膜的眼镜
CN105809718A (zh) * 2016-03-14 2016-07-27 西南交通大学 一种轨迹熵最小化的对象跟踪方法
CN105931275A (zh) * 2016-05-23 2016-09-07 北京暴风魔镜科技有限公司 基于移动端单目和imu融合的稳定运动跟踪方法和装置
CN106444084A (zh) * 2016-07-19 2017-02-22 苏州市景荣科技有限公司 一种新型智能眼镜

Also Published As

Publication number Publication date
CN106842625A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
KR102544062B1 (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
US10165176B2 (en) Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems
CN104317391B (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和系统
ES2742416T3 (es) Dispositivo y método de imagen corneal
CN106842625B (zh) 一种基于特征共识性的目标追踪方法
EP2824541B1 (en) Method and apparatus for connecting devices using eye tracking
US9160931B2 (en) Modifying captured image based on user viewpoint
EP2720464A1 (en) Generating image information
WO2013066790A1 (en) Method and system for stereo gaze tracking
CN106778641B (zh) 视线估计方法及装置
CN104345454B (zh) 头戴式视觉辅助系统及其成像方法
US20150317956A1 (en) Head mounted display utilizing compressed imagery in the visual periphery
CN108351689B (zh) 用于显示处于预定义区域中的对象的全息图像的方法和系统
GB2495323A (en) Method of capturing an iris image free from specularities caused by spectacles
US11294179B2 (en) Coordinating an eye-mounted imager with an external camera
Cahyadi et al. Infrared indoor positioning using invisible beacon
KR20140037730A (ko) 착용형 정보 제공 시스템
KR101739768B1 (ko) 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템
US20160189341A1 (en) Systems and methods for magnifying the appearance of an image on a mobile device screen using eyewear
CN112784819A (zh) 一种增加警用头盔人脸识别和车牌识别有效距离的方法
CN112651270A (zh) 一种注视信息确定方法、装置、终端设备及展示对象
CN112585673A (zh) 信息处理设备、信息处理方法及程序
CN114035482A (zh) 一种楼宇智能监控系统及监控方法
CN113095230A (zh) 一种帮助盲人查找物品的方法和装置
Orlosky Depth based interaction and field of view manipulation for augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201201

Address after: Room 322, 3 / F, science and Technology Park, north of Taizhong Road, west of Guangji Road, Taierzhuang Economic Development Zone, Zaozhuang City, Shandong Province

Patentee after: ZAOZHUANG LIUQUAN COMMUNICATION TECHNOLOGY Co.,Ltd.

Address before: 610031 Sichuan City, Chengdu Province, No. two North Ring Road, No. 111

Patentee before: SOUTHWEST JIAOTONG University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220329

Address after: 277300 No. 300 Jiefang South Road, Yicheng, Zaozhuang City, Shandong Province

Patentee after: Zaozhuang Tianhui Information Technology Co.,Ltd.

Address before: Room 322, 3rd floor, kechuangyuan, Taierzhuang Economic Development Zone, Zaozhuang City, Shandong Province, 277400

Patentee before: ZAOZHUANG LIUQUAN COMMUNICATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231108

Address after: Room 303, 3rd Floor, Tianyi Innovation and Entrepreneurship Park, No. 300 Jiefang South Road, Tanshan Street, Yicheng, Zaozhuang City, Shandong Province, 277300

Patentee after: Shandong Shiji Youfu Data Service Co.,Ltd.

Address before: 277300 No. 300 Jiefang South Road, Yicheng, Zaozhuang City, Shandong Province

Patentee before: Zaozhuang Tianhui Information Technology Co.,Ltd.

TR01 Transfer of patent right