CN110852319A - 快速通用型roi匹配方法 - Google Patents

快速通用型roi匹配方法 Download PDF

Info

Publication number
CN110852319A
CN110852319A CN201911085348.4A CN201911085348A CN110852319A CN 110852319 A CN110852319 A CN 110852319A CN 201911085348 A CN201911085348 A CN 201911085348A CN 110852319 A CN110852319 A CN 110852319A
Authority
CN
China
Prior art keywords
matching
test
standard
roi
chart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911085348.4A
Other languages
English (en)
Inventor
许琦
何志权
何志海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Deep View Creative Technology Ltd
Original Assignee
Shenzhen Deep View Creative Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Deep View Creative Technology Ltd filed Critical Shenzhen Deep View Creative Technology Ltd
Priority to CN201911085348.4A priority Critical patent/CN110852319A/zh
Publication of CN110852319A publication Critical patent/CN110852319A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种快速通用型roi匹配方法，包括：设置标准图的基准区域；对标准图和测试图进行下采样缩放，分别提取标准图和侧视图的orb特征；利用标准图和测试图的orb特征匹配，找到测试图的大体基准区域；通过测试图的大体基准区域初步确定测试图的匹配搜索范围；利用形状上下文匹配结合颜色直方图匹配在缩放图上实现测试图的二次基准区域匹配，以得到进一步缩小的二次匹配搜索范围；在最后的搜索范围内利用形状上下文匹配结合颜色直方图匹配在原图上实现最终的基准roi精准匹配。本发明的通用性好，可以适用于不同的场景，且识别的匹配准确率高，计算成本低。

Description

快速通用型roi匹配方法
技术领域
本发明涉及图像识别领域，特别涉及一种快速通用型roi匹配方法。
背景技术
当前，根据标准图的位置roi(roi全称为region of interest，也叫感兴趣区域，本发明中指的是由多个点集首尾相连组成的闭合区域)，找到测试图对应的位置roi，是图像匹配中很常用的功能，在工业中模板匹配中也有很多需求。但是，在实际应用中往往遇到以下缺陷：
(1)通用性不高，很多匹配算法只能适用于特定场景；
(2)视觉信息利用不够导致匹配准确率不够，很多匹配算法只利用到了梯度信息或者形状信息，比如halcon中常见的shape-based matching,仅仅是利用到了图像的形状特征，遇到复杂场景下更高要求的应用，往往达不到要求；
(3)时间复杂度高，很多匹配算法需要在比较高的计算成本上才能实现较精准的匹配。
发明内容
本发明提供了一种快速通用型roi匹配方法，以解决至少一个上述技术问题。
为解决上述问题，作为本发明的一个方面，提供了一种快速通用型roi匹配方法，包括：设置标准图的基准区域；对标准图和测试图进行下采样缩放，分别提取标准图和侧视图的orb特征；利用标准图和测试图的orb特征匹配，找到测试图的大体基准区域；通过测试图的大体基准区域初步确定测试图的匹配搜索范围；利用形状上下文匹配结合颜色直方图匹配在缩放图上实现测试图的二次基准区域匹配，以得到进一步缩小的二次匹配搜索范围；在最后的搜索范围内利用形状上下文匹配结合颜色直方图匹配在原图上实现最终的基准roi精准匹配。
优选地，对标准图和测试图进行下采样缩放，分别提取标准图和侧视图的orb特征包括：分别对标准原图和测试原图进行下采样缩放，形成标准缩放图和测试缩放图，同时基准roi也按照同样比例缩放；先在标准缩放图的基准roi内提取orb特征，然后对测试缩放图的整张图提取orb特征。
优选地，利用形状上下文匹配结合颜色直方图匹配在缩放图上实现测试图的二次基准区域匹配，以得到进一步缩小的二次匹配搜索范围包括：在标准缩放图中的基准roi内提取形状上下文特征和颜色直方图，标准缩放图中的基准roi映射到测试缩放图中，然后在测试缩放图中进行基准roi的平移和旋转，该过程在初步确定的上下平移搜索范围中进行；之后形成基准roi序列，在roi序列中提取形状上下文和颜色直方图，再一一与标准缩放图的基准roi内的形状上下文和颜色直方图进行匹配，得到最合适的测试缩放图的基准roi，从而得到更小范围的二次匹配搜索范围，该搜索范围包括上下平移范围和旋转角度范围。
优选地，在最后的搜索范围内利用形状上下文匹配结合颜色直方图匹配在原图上实现最终的基准roi精准匹配包括：在标准原图中的基准roi内提取形状上下文特征和颜色直方图，标准原图中的基准roi映射到测试原图中，然后在测试原图中进行基准roi的平移和旋转，此时利用所述上下平移范围和旋转角度范围形成对应测试原图的基准roi序列；在基准roi序列中提取形状上下文和颜色直方图，再一一与标准原图的基准roi内的形状上下文结合颜色直方图进行匹配，得到对应测试原图最合适的基准roi，从而得到测试原图的最终基准roi。
优选地，所述方法还包括：以测试原图的最终基准roi为参照，找到测试原图中其他需要匹配的局部子roi。
优选地，所述上下平移范围来自测试缩放图，需要反缩放映射到测试原大图中。
由于采用了上述技术方案，本发明的通用性好，可以适用于不同的场景，且识别的匹配准确率高，计算成本低。
附图说明
图1示意性地示出了本发明的流程图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
本发明提供了一个完整的解决方案，其基本思想是先设置标准图的基准区域，然后对标准图和测试图进行下采样缩放，分别提取标准图和侧视图的orb特征，orb全名为Oriented FAST and Rotated BRIEF，它采用改进的FAST关键点检测方法，使其具有方向性，并采用具有旋转不变性的BRIEF特征描述子，是一种非常快速的特征计算方法。利用两者的orb特征匹配，找到测试图的大体基准区域，通过测试图的大体基准区域确定测试图的匹配搜索范围，接下来利用形状上下文匹配结合颜色直方图匹配在缩放图上实现测试图的二次基准区域匹配，二次基准区域匹配得到进一步缩小的匹配搜索范围，在最后的搜索范围内利用形状上下文匹配结合颜色直方图匹配在原图上实现最终的基准roi精准匹配，之后参照精准匹配的最终基准roi找到其他需要匹配的局部子roi。
本发明分为以下步骤。
步骤1：对标准原图画基准roi，一个roi是一系列点集首尾相连，一般基准roi是恰好包含目标对象。
步骤2：分别对标准原图和测试原图进行下采样缩放，形成标准缩放图和测试缩放图，同时基准roi也按照同样比例缩放，先在标准缩放图的基准roi内提取orb特征，然后对测试缩放图的整张图提取orb特征，通过orb特征匹配找到测试缩放图的大体基准roi的位置，确定初步的匹配搜索范围，该搜索范围为初步上下平移搜索范围。
步骤3：在标准缩放图中的基准roi内提取形状上下文特征和颜色直方图，标准缩放图中的基准roi映射到测试缩放图中，然后在测试缩放图中进行基准roi的平移和旋转，该过程在步骤2得到的初步上下平移搜索范围中进行，之后形成基准roi序列，在roi序列中提取形状上下文和颜色直方图，再一一与标准缩放图的基准roi内的形状上下文和颜色直方图进行匹配，得到最合适的测试缩放图的基准roi，从而得到更小范围的二次匹配搜索范围，该搜索范围包括上下平移范围和旋转角度范围。
步骤4：在标准原图中的基准roi内提取形状上下文特征和颜色直方图，标准原图中的基准roi映射到测试原图中，然后在测试原图中进行基准roi的平移和旋转，此时利用步骤3得到的上下平移范围和旋转角度范围(步骤3中的平移范围来自测试缩放图，需要反缩放映射到测试原大图中，例如缩放图中x方向的搜索范围为100～200，缩放图x方向对应原图的大小比例为1:4，原图中x方向的搜索范围则为400～800)形成对应测试原图的基准roi序列，在基准roi序列中提取形状上下文和颜色直方图，再一一与标准原图的基准roi内的形状上下文结合颜色直方图进行匹配，得到对应测试原图最合适的基准roi，从而得到测试原图的最终基准roi。
步骤5：以步骤4中测试原图的最终基准roi为参照，找到测试原图中其他需要匹配的局部子roi。
本发明提供了一种快速通用型roi匹配方法，可快速有效的找到侧视图中对应标准图的roi区域，其目的是为了定位感兴趣区域，减少后续的不必要的区域检测，从而降低后续的一系列的算法难度，提高整体效率。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种快速通用型roi匹配方法，其特征在于，包括：
设置标准图的基准区域；
对标准图和测试图进行下采样缩放，分别提取标准图和侧视图的orb特征；
利用标准图和测试图的orb特征匹配，找到测试图的大体基准区域；
通过测试图的大体基准区域初步确定测试图的匹配搜索范围；
利用形状上下文匹结合颜色直方图匹配在缩放图上实现试图的二次基准区域匹配，以得到进一步缩小的二次匹配搜索范围；
在最后的搜索范围内利用形状上下文匹配结合颜色直方图匹配在原图上实现最终的基准ri精匹配。
2.根据权利要求1所述的方法，其特征在于，对标准图和测试图进行下采样缩放，分别提取标准图和侧视图的orb特征包括：
分别对标准原图和测试原图进行下采样缩放，形成标准缩放图和测试缩放图，同时基准roi也按照同样比例缩放；
先在标准缩放图的基准roi内提取orb特征，然后对测试缩放图的整张图提取orb特征。
3.根据权利要求1所述的方法，其特征在于，利用形状上下文匹配结合颜色直方图匹配在缩放图上实现测试图的二次基准区域匹配，以得到进一步缩小的二次匹配搜索范围包括：
在标准缩放图中的基准roi内提取形状上下文特征和颜色直方图，标准缩放图中的基准roi映射到测试缩放图中，然后在测试缩放图中进行基准roi的平移和旋转，该过程在初步确定的上下平移搜索范围中进行；
之后形成基准roi序列，在roi序列中提取形状上下文和颜色直方图，再一一与标准缩放图的基准roi内的形状上下文和颜色直方图进行匹配，得到最合适的测试缩放图的基准roi，从而得到更小范围的二次匹配搜索范围，该搜索范围包括上下平移范围和旋转角度范围。
4.根据权利要求1所述的方法，其特征在于，在最后的搜索范围内利用形状上下文匹配结合颜色直方图匹配在原图上实现最终的基准roi精准匹配包括：
在标准原图中的基准roi内提取形状上下文特征和颜色直方图，标准原图中的基准roi映射到测试原图中，然后在测试原图中进行基准roi的平移和旋转，此时利用所述上下平移范围和旋转角度范围形成对应测试原图的基准roi序列；
在基准roi序列中提取形状上下文和颜色直方图，再一一与标准原图的基准roi内的形状上下文结合颜色直方图进行匹配，得到对应测试原图最合适的基准roi，从而得到测试原图的最终基准roi。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：以测试原图的最终基准roi为参照，找到测试原图中其他需要匹配的局部子roi。
6.根据权利要求3所述的方法，其特征在于，所述上下平移范围来自测试缩放图，需要反缩放映射到测试原大图中。
CN201911085348.4A 2019-11-08 2019-11-08 快速通用型roi匹配方法 Pending CN110852319A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911085348.4A CN110852319A (zh) 2019-11-08 2019-11-08 快速通用型roi匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911085348.4A CN110852319A (zh) 2019-11-08 2019-11-08 快速通用型roi匹配方法

Publications (1)

Publication Number Publication Date
CN110852319A true CN110852319A (zh) 2020-02-28

Family

ID=69599144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911085348.4A Pending CN110852319A (zh) 2019-11-08 2019-11-08 快速通用型roi匹配方法

Country Status (1)

Country Link
CN (1) CN110852319A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114166849A (zh) * 2021-11-29 2022-03-11 广州海谷电子科技有限公司 一种湿度传感器印刷碳线缺陷和感湿膜缺陷的检测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216841A (zh) * 2008-01-14 2008-07-09 南京搜拍信息技术有限公司 交互式图像搜索系统和方法
CN101639858A (zh) * 2009-08-21 2010-02-03 深圳创维数字技术股份有限公司 基于目标区域匹配的图像检索方法
CN102289663A (zh) * 2011-07-29 2011-12-21 四川长虹电器股份有限公司 一种基于颜色和形状的台标识别方法
CN103544484A (zh) * 2013-10-30 2014-01-29 广东工业大学 一种基于surf的交通标志识别方法及系统
CN105354558A (zh) * 2015-11-23 2016-02-24 河北工业大学 人脸图像匹配方法
CN106650755A (zh) * 2016-12-26 2017-05-10 哈尔滨工程大学 基于颜色特征的特征提取方法
CN107239780A (zh) * 2017-04-29 2017-10-10 安徽慧视金瞳科技有限公司 一种多特征融合的图像匹配方法
CN107316315A (zh) * 2017-05-04 2017-11-03 佛山市南海区广工大数控装备协同创新研究院 一种基于模板匹配的目标识别定位方法
CN108319979A (zh) * 2018-02-05 2018-07-24 哈工大机器人（合肥）国际创新研究院 一种基于缩放和旋转匹配的图像定位识别检测方法
CN108319961A (zh) * 2018-01-23 2018-07-24 西南科技大学 一种基于局部特征点的图像roi快速检测方法
US10217312B1 (en) * 2016-03-30 2019-02-26 Visualimits, Llc Automatic region of interest detection for casino tables

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216841A (zh) * 2008-01-14 2008-07-09 南京搜拍信息技术有限公司 交互式图像搜索系统和方法
CN101639858A (zh) * 2009-08-21 2010-02-03 深圳创维数字技术股份有限公司 基于目标区域匹配的图像检索方法
CN102289663A (zh) * 2011-07-29 2011-12-21 四川长虹电器股份有限公司 一种基于颜色和形状的台标识别方法
CN103544484A (zh) * 2013-10-30 2014-01-29 广东工业大学 一种基于surf的交通标志识别方法及系统
CN105354558A (zh) * 2015-11-23 2016-02-24 河北工业大学 人脸图像匹配方法
US10217312B1 (en) * 2016-03-30 2019-02-26 Visualimits, Llc Automatic region of interest detection for casino tables
CN106650755A (zh) * 2016-12-26 2017-05-10 哈尔滨工程大学 基于颜色特征的特征提取方法
CN107239780A (zh) * 2017-04-29 2017-10-10 安徽慧视金瞳科技有限公司 一种多特征融合的图像匹配方法
CN107316315A (zh) * 2017-05-04 2017-11-03 佛山市南海区广工大数控装备协同创新研究院 一种基于模板匹配的目标识别定位方法
CN108319961A (zh) * 2018-01-23 2018-07-24 西南科技大学 一种基于局部特征点的图像roi快速检测方法
CN108319979A (zh) * 2018-02-05 2018-07-24 哈工大机器人（合肥）国际创新研究院 一种基于缩放和旋转匹配的图像定位识别检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘霖等: "基于轮廓曲线的快速高精度可靠图像匹配", 《电子设计工程》 *
李胜辉等: "结合颜色不变量和ORB特征的图像匹配算法", 《包装工程》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114166849A (zh) * 2021-11-29 2022-03-11 广州海谷电子科技有限公司 一种湿度传感器印刷碳线缺陷和感湿膜缺陷的检测方法

Similar Documents

Publication Publication Date Title
Zhou et al. Joint 3d instance segmentation and object detection for autonomous driving
CN108288088B (zh) 一种基于端到端全卷积神经网络的场景文本检测方法
CN104751142B (zh) 一种基于笔划特征的自然场景文本检测方法
CN103473785B (zh) 一种基于三值化图像聚类的快速多目标分割方法
CN108154151B (zh) 一种快速多方向文本行检测方法
WO2022267287A1 (zh) 图像配准方法及相关装置、设备和存储介质
CN103136751A (zh) 一种改进型sift图像特征匹配算法
CN103679702A (zh) 一种基于图像边缘矢量的匹配方法
CN108256531B (zh) 一种基于图像彩色信息的局部特征描述子构造方法及系统
CN102799859A (zh) 一种交通标志识别方法
CN105279506A (zh) 满文单词中轴线的定位方法
CN107358189B (zh) 一种基于多视目标提取的室内环境下物体检测方法
CN110443295A (zh) 改进的图像匹配与误匹配剔除算法
KR101742115B1 (ko) 건물 인식을 위한 멀티뷰 영상에서의 인라이어 선택 및 잉여 제거 방법
CN110852319A (zh) 快速通用型roi匹配方法
CN108520533B (zh) 一种面向工件定位的多维度特征配准方法
CN105844614B (zh) 一种基于校对机器人角度的视觉指北方法
CN111899235A (zh) 图像检测方法、装置、电子设备和存储介质
Pan et al. Remote Sensing Image Ship Detection Based on Dynamic Adjusting Labels Strategy
CN106603888A (zh) 图像颜色提取处理结构
Wang et al. Context-aware and attention-driven weighted fusion traffic sign detection network
Liu et al. Building recognition system based on improved SIFT algorithm and positioning information
CN111008555A (zh) 一种无人机图像弱小目标增强提取方法
CN112560666B (zh) 一种机器人视觉伺服抓取目标定位方法
Yin et al. Detection optimization of license plate targets based on AdvancedEAST

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200228

RJ01 Rejection of invention patent application after publication