CN112084365A - 基于OpenCV和CUDA加速的网络相机的实时图像检索方法 - Google Patents

基于OpenCV和CUDA加速的网络相机的实时图像检索方法 Download PDF

Info

Publication number
CN112084365A
CN112084365A CN202010952626.8A CN202010952626A CN112084365A CN 112084365 A CN112084365 A CN 112084365A CN 202010952626 A CN202010952626 A CN 202010952626A CN 112084365 A CN112084365 A CN 112084365A
Authority
CN
China
Prior art keywords
image
target
opencv
feature points
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010952626.8A
Other languages
English (en)
Inventor
吴强
季晓枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MOTION MAGIC DIGITAL ENTERTAINMENT Inc
Original Assignee
MOTION MAGIC DIGITAL ENTERTAINMENT Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MOTION MAGIC DIGITAL ENTERTAINMENT Inc filed Critical MOTION MAGIC DIGITAL ENTERTAINMENT Inc
Priority to CN202010952626.8A priority Critical patent/CN112084365A/zh
Publication of CN112084365A publication Critical patent/CN112084365A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于OpenCV和CUDA加速的网络相机的实时图像检索方法，包括以下步骤：S1.OpenCV的ORB特征点检测计算目标识别图片的特征描述符；S2.RTSP协议获取网络相机的视频图像；S3.视频图像根据预设识别区域裁剪出图像识别块，上传到图像处理器；S4.图像处理器检测图像识别块的特征点和特征描述符；S5.特征点、特征描述符与目标特征点、目标特征描述符进行匹配；S6.达到预设阈值的目标特征点对应的目标识别图片按照匹配成功的特征点的数量进行排序，将排序结果中匹配特征点最多的目标识别图片作为识别结果。与现有技术相比，本发明具有提高特征点的识别速度、降低数据延迟、识别准确度较高等优点。

Description

基于OpenCV和CUDA加速的网络相机的实时图像检索方法
技术领域
本发明涉及计算机图像处理技术领域，尤其是涉及一种基于OpenCV和CUDA加速的网络相机的实时图像检索方法。
背景技术
早期的图像检索技术是基于文本实现的，主要集中于对图像底层特征的研究。其中，颜色特征能够直观体现图像内容，纹理特征具有较强的空间信息表达能力，而且这两种特征的提取较易实现，因此成为图像检索的两类常用特征，基于内容的图像检索一般包括预处理、特征提取、相似性度量等关键环节。
特征检测的尺度不变特征是指在任何尺度下拍摄的物体都能检测到一致的关键点，而且每个被检测的特征点都对应一个尺度因子。常用的特征点检测的方法包括SIFT、SURF、ORB、FAST和Harris角点，特征匹配的方法包括Brute-Force匹配器和近似最近邻FLANN快速匹配器。SURF全称为“加速稳健特征”，不仅是尺度不变特征，而且是具有较高计算效率的特征。SIFT(尺度不变特征转换)相对于SURF在空间和尺度上定位更加精确，但是巨大的特征计算量而使得特征点提取的过程异常花费时间。ORB是是brief算法的改进版，速度更快，具备旋转不变性，而且对噪声不敏感。FAST(加速分割测试获得特征)可以快速检测兴趣点。角点是两条边缘线的接合点，是一种二维特征，可以进行子像素级精度的定位，通过Harris特征检测可以检测出图像中的角点。
发明内容
本发明的目的就是为了克服上述现有技术存在的特征计算量较多导致耗费较长时间进行特征提取、精度不够的缺陷而提供一种基于OpenCV和CUDA加速的网络相机的实时图像检索方法。
本发明的目的可以通过以下技术方案来实现：
一种基于OpenCV和CUDA加速的网络相机的实时图像检索方法，具体包括以下步骤：
S1.获取多个目标识别图片，检测所述目标识别图片的目标特征点和所述目标特征点对应的目标特征描述符；
S2.根据网络协议获取网络相机中的视频图像；
S3.所述视频图像根据预设识别区域裁剪出图像识别块，并上传所述图像识别块到图像处理器；
S4.所述图像处理器检测接收到的所述图像识别块的特征点和特征点对应的特征描述符；
S5.所述特征点、特征描述符与目标特征点、目标特征描述符进行匹配；
S6.判断匹配成功的特征点、特征描述符的数量是否达到目标识别图片的预设阈值，将达到预设阈值的目标特征点对应的目标识别图片按照匹配成功的特征点的数量进行排序，将排序结果中匹配特征点最多的目标识别图片作为识别结果。
所述步骤S1中通过基于OpenCV的ORB算法检测所述目标识别图片。
所述步骤S4中通过基于CUDA的ORB算法检测所述图像识别块。
所述网络协议具体为RTSP网络协议。
进一步地，所述RTSP网络协议根据网络相机的基本参数从网络相机中获取视频图像。
进一步地，所述网络相机的基本参数包括网络相机的用户名、密码、IP地址、通道号和主码流。
所述步骤S3中基于OpenCV从所述视频图像中裁剪出图像识别块，减少计算量，避免进行分辨率过大的全图搜索。
所述步骤S5中通过Brute-Force匹配器将特征点、特征描述符与目标特征点、目标特征描述符进行匹配。
所述图像识别块的图像数据格式与图像处理器支持的图像数据格式相同。
所述目标识别图片具体为图书的书页。
与现有技术相比，本发明具有以下有益效果：
本发明在获取到目标识别图片的目标特征点和目标特征描述符，对视频图像进行处理，将裁剪后的图像识别块上传至图像处理器，经图像处理器后由基于CUDA的ORB算法检测图像识别块中的特征点、特征描述符，通过Brute-Force匹配器与目标特征点和目标特征描述符进行匹配，提高了特征点的识别速度，降低了实时图像与目标特征点进行匹配的数据延迟，具有较高的稳定性和识别准确度。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，一种基于OpenCV和CUDA加速的网络相机的实时图像检索方法，具体包括以下步骤：
步骤S1：获取多个目标识别图片，检测目标识别图片的目标特征点和目标特征点对应的目标特征描述符；
步骤S2；根据网络协议获取网络相机中的视频图像；
步骤S3：视频图像根据预设识别区域裁剪出图像识别块，并上传图像识别块到图像处理器；
步骤S4：图像处理器检测接收到的图像识别块的特征点和特征点对应的特征描述符；
步骤S5：特征点、特征描述符与目标特征点、目标特征描述符进行匹配；
步骤S6：判断匹配成功的特征点、特征描述符的数量是否达到目标识别图片的预设阈值，将达到预设阈值的目标特征点对应的目标识别图片按照匹配成功的特征点的数量进行排序，将排序结果中匹配特征点最多的目标识别图片作为识别结果。
步骤S1中通过基于OpenCV的ORB算法检测目标识别图片。
步骤S4中通过基于CUDA的ORB算法检测图像识别块。
网络协议具体为RTSP网络协议。
RTSP网络协议根据网络相机的基本参数从网络相机中获取视频图像，加载到内存并写入到本地服务器，避免拉流后视频图像的重复计算。
网络相机的基本参数包括网络相机的用户名、密码、IP地址、通道号和主码流。
步骤S3中基于OpenCV从视频图像中裁剪出图像识别块，减少计算量，避免进行分辨率过大的全图搜索。
步骤S5中通过Brute-Force匹配器将特征点、特征描述符与目标特征点、目标特征描述符进行匹配。
图像识别块的图像数据格式与图像处理器支持的图像数据格式相同。
目标识别图片具体为图书的书页，步骤S6中最终输出与当前实时视频图像相匹配特征点最多的书页。
此外，需要说明的是，本说明书中所描述的具体实施例子，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等效变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.一种基于OpenCV和CUDA加速的网络相机的实时图像检索方法，其特征在于，具体包括以下步骤：
S1.获取多个目标识别图片，检测所述目标识别图片的目标特征点和所述目标特征点对应的目标特征描述符；
S2.根据网络协议获取网络相机中的视频图像；
S3.所述视频图像根据预设识别区域裁剪出图像识别块，并上传所述图像识别块到图像处理器；
S4.所述图像处理器检测接收到的所述图像识别块的特征点和特征点对应的特征描述符；
S5.所述特征点、特征描述符与目标特征点、目标特征描述符进行匹配；
S6.判断匹配成功的特征点、特征描述符的数量是否达到目标识别图片的预设阈值，将达到预设阈值的目标特征点对应的目标识别图片按照匹配成功的特征点的数量进行排序，将排序结果中匹配特征点最多的目标识别图片作为识别结果。
2.根据权利要求1所述的一种基于OpenCV和CUDA加速的网络相机的实时图像检索方法，其特征在于，所述步骤S1中通过基于OpenCV的ORB算法检测所述目标识别图片。
3.根据权利要求1所述的一种基于OpenCV和CUDA加速的网络相机的实时图像检索方法，其特征在于，所述步骤S4中通过基于CUDA的ORB算法检测所述图像识别块。
4.根据权利要求1所述的一种基于OpenCV和CUDA加速的网络相机的实时图像检索方法，其特征在于，所述网络协议具体为RTSP网络协议。
5.根据权利要求4所述的一种基于OpenCV和CUDA加速的网络相机的实时图像检索方法，其特征在于，所述RTSP网络协议根据网络相机的基本参数从网络相机中获取视频图像。
6.根据权利要求5所述的一种基于OpenCV和CUDA加速的网络相机的实时图像检索方法，其特征在于，所述网络相机的基本参数包括网络相机的用户名、密码、IP地址、通道号和主码流。
7.根据权利要求1所述的一种基于OpenCV和CUDA加速的网络相机的实时图像检索方法，其特征在于，所述步骤S3中基于OpenCV从所述视频图像中裁剪出图像识别块。
8.根据权利要求1所述的一种基于OpenCV和CUDA加速的网络相机的实时图像检索方法，其特征在于，所述步骤S5中通过Brute-Force匹配器将特征点、特征描述符与目标特征点、目标特征描述符进行匹配。
9.根据权利要求1所述的一种基于OpenCV和CUDA加速的网络相机的实时图像检索方法，其特征在于，所述图像识别块的图像数据格式与图像处理器支持的图像数据格式相同。
10.根据权利要求1所述的一种基于OpenCV和CUDA加速的网络相机的实时图像检索方法，其特征在于，所述目标识别图片具体为图书的书页。
CN202010952626.8A 2020-09-11 2020-09-11 基于OpenCV和CUDA加速的网络相机的实时图像检索方法 Pending CN112084365A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010952626.8A CN112084365A (zh) 2020-09-11 2020-09-11 基于OpenCV和CUDA加速的网络相机的实时图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010952626.8A CN112084365A (zh) 2020-09-11 2020-09-11 基于OpenCV和CUDA加速的网络相机的实时图像检索方法

Publications (1)

Publication Number Publication Date
CN112084365A true CN112084365A (zh) 2020-12-15

Family

ID=73737498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010952626.8A Pending CN112084365A (zh) 2020-09-11 2020-09-11 基于OpenCV和CUDA加速的网络相机的实时图像检索方法

Country Status (1)

Country Link
CN (1) CN112084365A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633366A (zh) * 2020-12-21 2021-04-09 广州市申迪计算机系统有限公司 一种基于特征匹配的玉器识别方法
CN112925712A (zh) * 2021-02-26 2021-06-08 东风电子科技股份有限公司 基于三轴运动系统并采用OpenCV图像检索技术的智能座舱人机交互系统测试装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844726A (zh) * 2017-02-10 2017-06-13 深圳前海大造科技有限公司 一种基于词汇树检索与暴力匹配的图像识别方法
CN106874445A (zh) * 2017-02-10 2017-06-20 深圳前海大造科技有限公司 基于词汇树检索与相似度验证的云端图像识别方法
CN108073690A (zh) * 2017-11-30 2018-05-25 江西洪都航空工业集团有限责任公司 一种视频目标检索方法
CN110110125A (zh) * 2019-04-28 2019-08-09 重庆学析优科技有限公司 一种快速精确的图片搜索匹配方法及系统
CN110826355A (zh) * 2018-08-07 2020-02-21 腾讯数码（天津）有限公司 一种图像识别方法、装置和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844726A (zh) * 2017-02-10 2017-06-13 深圳前海大造科技有限公司 一种基于词汇树检索与暴力匹配的图像识别方法
CN106874445A (zh) * 2017-02-10 2017-06-20 深圳前海大造科技有限公司 基于词汇树检索与相似度验证的云端图像识别方法
CN108073690A (zh) * 2017-11-30 2018-05-25 江西洪都航空工业集团有限责任公司 一种视频目标检索方法
CN110826355A (zh) * 2018-08-07 2020-02-21 腾讯数码（天津）有限公司 一种图像识别方法、装置和存储介质
CN110110125A (zh) * 2019-04-28 2019-08-09 重庆学析优科技有限公司 一种快速精确的图片搜索匹配方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
毛星云: "基于OpenCV的GPU并行加速图像匹配算法研究", 中国优秀硕士学位论文全文数据库 信息科技辑 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633366A (zh) * 2020-12-21 2021-04-09 广州市申迪计算机系统有限公司 一种基于特征匹配的玉器识别方法
CN112633366B (zh) * 2020-12-21 2023-05-12 广州市申迪计算机系统有限公司 一种基于特征匹配的玉器识别方法
CN112925712A (zh) * 2021-02-26 2021-06-08 东风电子科技股份有限公司 基于三轴运动系统并采用OpenCV图像检索技术的智能座舱人机交互系统测试装置
CN112925712B (zh) * 2021-02-26 2024-04-02 东风电子科技股份有限公司 基于三轴运动系统并采用OpenCV图像检索技术的智能座舱人机交互系统测试装置

Similar Documents

Publication Publication Date Title
US11941845B2 (en) Apparatus and method for estimating camera pose
CN110136160B (zh) 一种基于圆投影的快速图像匹配方法
CN109635686B (zh) 结合人脸与外观的两阶段行人搜索方法
EP2889835A1 (en) Object discrimination device, object discrimination method, and program
CN107392141B (zh) 一种基于显著性检测和lsd直线检测的机场提取方法
WO2019128254A1 (zh) 图像分析方法、装置、电子设备及可读存储介质
US9679221B2 (en) Object identification apparatus, object identification method, and program
CN103927387A (zh) 图像检索系统及其相关方法和装置
JP2013534342A (ja) インクリメントな特徴抽出を使用するオブジェクト認識
CN112084365A (zh) 基于OpenCV和CUDA加速的网络相机的实时图像检索方法
WO2023124278A1 (zh) 图像处理模型的训练方法、图像分类方法及装置
CN108961262B (zh) 一种复杂场景下的条码定位方法
Feng et al. A novel saliency detection method for wild animal monitoring images with WMSN
WO2018121414A1 (zh) 电子设备、目标图像识别方法及装置
CN113674220A (zh) 一种图像差异检测方法、检测装置和存储介质
CN110120090B (zh) 三维全景模型构建方法、装置及可读存储介质
Liu et al. An improved image retrieval method based on sift algorithm and saliency map
CN115018886B (zh) 运动轨迹识别方法、装置、设备及介质
CN110704667A (zh) 一种基于语义信息的快速相似图检测算法
Hu et al. Video text detection with text edges and convolutional neural network
CN112184843A (zh) 图像数据压缩的冗余数据去除系统及方法
CN111340090B (zh) 图像特征比对方法及装置、设备、计算机可读存储介质
Lakshmi et al. Searching for Telugu script in noisy images using SURF descriptors
CN116233383B (zh) 一种基于ar技术的智能导游系统
CN115249254B (zh) 一种基于ar技术的目标跟踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No.13, Lane 777, Guangzhong West Road, Jing'an District, Shanghai 200072

Applicant after: Shanghai magic Digital Creative Technology Co.,Ltd.

Address before: No.13, Lane 777, Guangzhong West Road, Jing'an District, Shanghai 200072

Applicant before: MOTION MAGIC DIGITAL ENTERTAINMENT Inc.