CN109584250A - 一种鲁棒的视觉区域自动划分标注的方法 - Google Patents

一种鲁棒的视觉区域自动划分标注的方法 Download PDF

Info

Publication number
CN109584250A
CN109584250A CN201811434773.5A CN201811434773A CN109584250A CN 109584250 A CN109584250 A CN 109584250A CN 201811434773 A CN201811434773 A CN 201811434773A CN 109584250 A CN109584250 A CN 109584250A
Authority
CN
China
Prior art keywords
image
matched
point set
point
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811434773.5A
Other languages
English (en)
Other versions
CN109584250B (zh
Inventor
陈昌元
瞿顶军
李文兴
蒲亚坤
张民超
朱苗苗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HRG International Institute for Research and Innovation
Original Assignee
HRG International Institute for Research and Innovation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HRG International Institute for Research and Innovation filed Critical HRG International Institute for Research and Innovation
Priority to CN201811434773.5A priority Critical patent/CN109584250B/zh
Publication of CN109584250A publication Critical patent/CN109584250A/zh
Application granted granted Critical
Publication of CN109584250B publication Critical patent/CN109584250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种鲁棒的视觉区域自动划分标注的方法、所述方法先利用傅里叶极对数坐标相关法求得待匹配图像和参考图像之间的旋转角度和缩放比例,得到初步匹配图像,进而再利用二次匹配的方法对每个区域做进一步的匹配,从而得到最终的匹配图像。本发明所提供的鲁棒的视觉区域自动划分标注的方法,不论光照变化或者相机高度、角度变化,只要相机拍摄区域包括感兴趣区域,则可实现自动识别对应区域轮廓;针对旋转、缩放、平移、噪声以及光强变化的鲁棒性很高。通过二次匹配提高了图像提取的精度。此外,本发明能够自动的启动自动标注,大大的提高了用户体验。

Description

一种鲁棒的视觉区域自动划分标注的方法
【技术领域】
本发明属于图像处理技术领域,尤其涉及一种视觉区域自动划分标注的方法。
【背景技术】
在安防、娱乐等领域,存在着基于摄像机对特定区域进行视觉监测的需求。以下以监控棋牌游戏为例进行说明。在棋牌游戏中,需监测棋牌是否放置在关注的区域内,并监控该区域变化,其他区域无需关注。因此,需对摄像机拍摄区域下的有效部分进行分割,做检测、识别等处理时只需针对该区域进行处理即可,减少不必要的计算。在安装摄像机时,需对每一个摄像机所成画面进行对应的区域划分。目前固定视野的区域划分方法,通常采用矩形框标注、记录关注区域。标注工作比较麻烦,且不适用于不规则区域标注,在摄像机与检测区域的位置有相对偏移时,该方法无法正常工作。也有基于特征点匹配定位轮廓的方法,这种方法对光照、噪声、旋转和缩放的鲁棒性不强若进行人工划分、费时费力,由此可见,如何提高划分效率是本领域技术人员亟待解决地问题。本发明通过事先拍摄的一张感兴趣区域图片,并记录其轮廓点信息,随后,不论光照变化或者相机高度、角度变化,只要相机拍摄区域包括感兴趣区域,则可实现自动识别对应区域轮廓;针对旋转、缩放、平移、噪声以及光强变化的鲁棒性很高。此外,本发明不仅适用于图像识别、检测过程中对选定特定区域进行处理,也可应用于给定图像坐标快速获取所属哪个区域并显示该区域。通过二次匹配提高了图像提取的精度。此外,本发明能够自动的启动自动标注,大大的提高了用户体验。
【发明内容】
为了解决现有技术中的上述问题,本发明提出了一种鲁棒的视觉区域自动划分标注的方法,所述方法包括:
步骤S1:读取参考模板图像;
步骤S2:获取待匹配图像;
步骤S3:计算参考模板图像IMG1的傅里叶变换值F1(u,v),对傅里叶变换值F1(u,v)做移中操作得到第一移中操作结果FS1(u,v);
步骤S4:计算待匹配图像IMG2的傅里叶变换值F2(u,v),对傅里叶变换值F2(u,v)做移中操作得到第二移中操作结果FS2(u,v);
步骤S5:对第一移中操作结果FS1(u,v)做二阶巴特沃斯高通滤波得到第一滤波结果F1‘(x,y);
步骤S6:对第二移中操作结果FS2(u,v)做二阶巴特沃斯高通滤波得到第二滤波结果F2‘(x,y);
步骤S7:将第一滤波结果F1‘(x,y)变换到极对数坐标下得到第一变换结果F1“(r,p),其中:r为半径,p为角度,m为幅度尺度参数;r=m×log[sqrt(x2+y2)],p=atan(y/x);F1“(r,p)图像的宽度和高度分别为polarCol,polarRow,其中polarCol=polarRow=max(M,N),max(M,N)为取M和N中的最大数;
步骤S8:将第二滤波结果F2‘(x,y)结果变换到极对数坐标下得到第二变换结果F2“(r,p),其中:r为半径,p为角度,m为幅度尺度参数;r=m×log[sqrt(x2+y2)],p=atan(y/x);其中:F2“(r,p)图像的宽度和高度分别为polarCol,polarRow,其中polarCol=polarRow=max(M,N),max(M,N)为取M和N中的最大数;
步骤S9:计算第一变换结果F1“(r,p)和第二变换结果F2“(r,p)的相位相关图R(a,b);其中:R(a,b)=F1“(r,p)×F2“*(r,p)/|F1“(r,p)×F2“(r,p)|,其中(a,b)为相位相关图中的坐标,F2“*(r,p)为F2“(r,p)的共轭矩阵,提取相位相关图中最大值位置对应的最大亚像素坐标偏移值(Δr,Δp);
步骤S10:根据最大亚像素坐标偏移值(Δr,Δp)计算旋转角度和缩放尺度;
步骤S11:根据旋转角度和缩放尺度计算仿射矩阵rotMat[],并基于仿射矩阵rotMat[]对参考模板图像进行映射以得到旋转图RIMG(x,y);
步骤S12:计算旋转图RIMG(x,y)和待匹配图像IMG2的相位相关图R2(a,b);其中:R2(a,b)=RIMG(x,y)×f2*(x,y)/|RIMG(x,y)×f2(x,y)|,f2(x,y)是大小为M×N的待匹配图像IMG2的灰度图像;(a,b)为相位相关图中的坐标,f2*(x,y)为f2(x,y)的共轭矩阵,提取相位相关图中最大值位置对应的最大亚像素坐标偏移值(Δcol,Δrow)作为第二偏移坐标,根据所述第二偏移坐标,计算出初步映射图RIMG2(x,y),具体计算公式如下:
RIMG2(x,y)=RIMG(x+Δcol,y+Δrow);
步骤S13:读取参考模板图像中的n个参考轮廓的区域点集合{contoursi},i=1~n;其中:contoursi为第i个轮廓的区域点集;根据仿射矩阵rotMat[]和第二偏移坐标(Δcol,Δrow),将区域点集合{contoursi}映射到初步映射点集{PRFi},i=1~n;
步骤S14:基于上述n个初步映射点集合{PRFi},对每个初步映射点集PRFi,获取所述轮廓区域的外接矩形,并对外接矩形进行填充操作得到矩形图片;基于所述矩形图片在初步映射图RIMG2上相同坐标位置截取对应的目标矩形图片;基于所述矩形图片和所述初步映射点集PRFi、对应的目标矩形图片,重复步骤S1~S13以进行二次匹配,从而得到n个新轮廓点集的集合,基于所述新轮廓点集的集合进行n个轮廓区域的自动划分标注;
步骤S15:基于自动划分标注结果提取所需要的区域内的图像信息,进而执行基于所述区域的监控处理运算。
进一步的,所述步骤S1具体为:在接收到摄像机回传的待匹配图像IMG2后,基于摄像机标识从数据库获取和所述摄像机标识对应的参考模板图像IMG1及其区域点集合{contoursi},i=1~n;其中:contoursi为第i个轮廓的区域点集。
进一步的,所述步骤S2具体为:接收到摄像机回传的连续待匹配图像保存为待匹配图像集合,从所述待匹配图像集合中选取一张待匹配图像作为待匹配图像IMG2并进行后续处理。
进一步的,所述根据仿射矩阵rotMat[]和第二偏移坐标(Δcol,Δrow),将区域点集合{contoursi}映射到初步映射点集的集{PRFi},i=1~n,具体为:根据下式进行映射:
PRFij.x=(rotMat1,1×contoursij.x+rotMat1,2×contoursij.y
+rotMat1,3)+Δcol
PRFij.y=(rotMat2,1×contoursij.x+rotMat2,2×contoursij.y
+rotMat2,3)+Δrow
其中,PRFij为第i个轮廓点集中的第j个点,contoursij.x为第i个轮廓点集中的第j个点的横坐标,contoursij.y为第i个轮廓点集中的第j个点的纵坐标。
进一步的,所述步骤S14具体为:对第i(i=1~n)个初步映射点集PRFi,获取所述轮廓区域的外接矩形,并对所述外接矩形进行填充操作,得到其对应的矩形图片集RECTREGi,基于所述矩形图片集RECTREGi在初步映射图RIMG2上相同坐标位置截取n个目标矩形图片{RECTi}i,把矩形图片RECTREGi,初步映射点集PRFi分别作为步骤1中的参考模板图像IMG1和区域点集,把目标矩形图片RECTi作为步骤2中的待匹配图像IMG2,重复步骤S1~S13以进行二次匹配,并得到新轮廓点集PRF_NEWi,类似的对n个矩形区域的矩形图片进行二次匹配,得到n个新轮廓点集的集合{PRF_NEWi},i=1~n,根据新轮廓点集PRF_NEWi在目标矩形图片RECTi中的位置以及目标矩形图片RECTi在待匹配图像IMG2上的位置关系,在待匹配图像IMG2上得到新轮廓点集的集合{PRF_NEWi}的位置,从而完成自动标注。
进一步的,所述从所述待匹配图像集合中选取一张待匹配图像作为待匹配图像IMG2并进行后续处理,具体为:获取和参考模板图像对应的比例参考点集合及其对应的参考亮度集合,基于所述比例参考点集合获取待匹配图像的目标亮度集合,计算每个目标亮度集合和参考亮度集合之间的相似度,选择相似度最高的目标亮度集合对应的图像作为所选择的待匹配图像。
进一步的,所述获取和参考模板图像对应的比例参考点集合及其对应的参考亮度集合,具体为:数据库中关联的保存参考模板图像标识、比例参考点集合及其对应的参考亮度集合;基于所述参考模板图像的标识在数据库中查找对应的比例参考点集合及其对应的参考亮度集合;其中:所述比例参考点集合为参考模板图像的关键区域中所选取的参考点在图像中的横纵比例坐标组合的集合。
进一步的,所述关键区域为参考模板图像中的关注区域。
进一步的,所述所选取的参考点为关注区域中的几何中心点。
进一步的,所述关键区域为一个或者多个。
本发明所提供的鲁棒的视觉区域自动划分标注的方法,不论光照变化或者相机高度、角度变化,只要相机拍摄区域包括感兴趣区域,则可实现自动识别对应区域轮廓;针对旋转、缩放、平移、噪声以及光强变化的鲁棒性很高。此外,本发明不仅适用于图像识别、检测过程中对选定特定区域进行处理,也可应用于给定图像坐标快速获取所属哪个区域并显示该区域。在进行匹配之前能够在多个待匹配图像中简单快捷的选择最优待匹配图像,从而提高了后续匹配的效率和精度。
【附图说明】
为了更清楚地说明本发明实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的标注方法所应用的监控系统示意图;
图2为本发明实施例所采集的模板图片和区域轮廓集示意图。
图3为本发明实施例中待检测图片示意图。
图4为本发明实施例提供的标注方法的工作流程示意图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明,其中的示意性实施例以及说明仅用来解释本发明,但并不作为对本发明的限定。
本发明的核心是提供一种鲁棒的视觉区域自动划分标注的方法和所述方法所应用的监控系统上,为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。
如图1所示,本发明实施例提供的标注方法所应用的监控系统中包含:摄像机、处理器和数据库;所述摄像机、处理器和数据库通信连接;
摄像机用于获取摄像机回传的图像作为待匹配图像和/或监控图像
处理器用于响应于摄像机回传的待匹配图像执行图像的自动标注处理;基于自动划分标注处理结果,对摄像机后续回传的监控图像进行图像中的区域判断,提取所需要的轮廓区域内的图像信息,从而执行基于轮廓内区域的监控处理;
数据库用于基于摄像机标识关联的存储参考模板图像及其区域点集;并响应于处理器请求发送参考模板图像及其区域点集;
图2示出了监控场景中需要关注的如矩形、圆形、多边形或其他不规则闭合区域;例如:工厂中操作台、流水线、游戏中的牌桌等;
图3为待进行轮廓检测以进行区域自动划分标注的图像,该图像中包含图2中的区域及其轮廓,该图像中不仅存在干扰区域,而且关注区域本身也发生了旋转和缩放等变形,关注区域在实际监测过程中,光照等也会发生变化,也就是说图2和图3中光照情况可能存在很大变化。针对这种情况,本发明先利用傅里叶极对数坐标相关法求得待匹配图像(如图3所示)和参考模板图像(如图2所示)之间的旋转角度和缩放比例,得到初步匹配图像,进而再利用二次匹配的方法对每个区域做进一步的匹配,从而得到最终的匹配图像。
所述鲁棒的视觉区域自动划分标注的方法包含如下步骤:
步骤S1:读取参考模板图像;具体的:在接收到摄像机回传的待匹配图像IMG2后,基于摄像机标识从数据库获取和所述摄像机标识对应的参考模板图像IMG1及其区域点集合{contoursi},i=1~n;其中:contoursi为第i个轮廓的区域点集;通过这样的方式,当摄像机开始工作并传回待匹配图像后,处理器能够自动的读取参考模板图像及其对应的区域点集合并开始进行后续的自动划分标注;
步骤S2:获取待匹配图像;具体的:将接收到摄像机回传的连续待匹配图像保存为待匹配图像集合,从所述待匹配图像集合中选取一张待匹配图像作为待匹配图像IMG2并进行后续处理;
所述从所述待匹配图像集合中选取一张待匹配图像作为待匹配图像IMG2并进行后续处理,具体为:获取和参考模板图像对应的比例参考点集合及其对应的参考亮度集合,基于所述比例参考点集合获取待匹配图像的目标亮度集合,计算每个目标亮度集合和参考亮度集合之间的相似度,选择相似度最高的目标亮度集合对应的图像作为所选择的待匹配图像;
所述获取和参考模板图像对应的比例参考点集合及其对应的参考亮度集合,具体为:数据库中关联的保存参考模板图像标识、比例参考点集合及其对应的参考亮度集合;基于所述参考模板图像的标识在数据库中查找对应的比例参考点集合及其对应的参考亮度集合;其中:所述比例参考点集合为参考模板图像的关键区域中所选取的参考点在图像中的横纵比例坐标组合的集合;
优选的:所述关键区域为参考模板图像中的关注区域;所述所选取的参考点为关注区域中的几何中心点;
优选的:所述关键区域为一个或者多个;同一个关键区域中的参考点为一个或者多个;
优选的:所述关键区域为参考模图像中平均划分的多个区域,所述所选取的参考点为关注区域中的几何中心点;例如:将参考模板图像平均划分为9个区域,并选取9个区域的集合中心点作为所选取的9个参考点;例如:参考点1在图像中位于图像横向30%、纵向60%的位置,则横纵比例坐标组合为(30%,60%);
所述基于所述比例参考点集合获取待匹配图像的目标亮度集合,具体为:对于比例参考点集合中的每个参考点,基于所述参考点的比例坐标定位待匹配图像中的相应像素点,将以所述像素点为中心的预定范围内图像区域的平均亮度值作为的目标亮度以构成目标亮度集合中;其中:所述预定范围内为设定半径范围内的图像区域或/和参考模板图像对应的平均划分后的图像区域;
所述计算每个目标亮度集合和参考亮度集合之间的相似度,具体为:获取目标亮度集合{DTLi}和参考亮度集合{RFLi},基于下式计算所述相似度SIM;其中:L为参考点的个数;
可替换的,所述从所述待匹配图像集合中选取一张待匹配图像作为待匹配图像IMG2并进行后续处理,具体为:选取待匹配图像集合中所有平均亮度值和参考模板图像IMG2的平均亮度值最接近的图像作为所选取的待匹配图像;
步骤S3:计算参考模板图像IMG1的傅里叶变换值F1(u,v),对傅里叶变换值F1(u,v)做移中操作得到第一移中操作结果FS1(u,v);
其中,(u,v)为傅里叶变换坐标值;f1(x,y)是大小为M×N的IMG1的灰度图像;(x,y)为变换前坐标,(u,v)为傅里叶变换后的坐标;
优选的:基于下式(1)计算傅里叶变换值F1(u,v);
步骤S4:计算待匹配图像IMG2的傅里叶变换值F2(u,v),对傅里叶变换值F2(u,v)做移中操作得到第二移中操作结果FS2(u,v);
其中:(u,v)为傅里叶变换坐标值;f2(x,y)是大小为M×N的待匹配图像IMG2的灰度图像;(x,y)为变换前坐标,(u,v)为傅里叶变换后的坐标;
其中f2(x,y)是大小为M×N的待匹配图像IMG2的灰度图像;
优选的:基于下式(2)计算傅里叶变换值F2(u,v);
步骤S5:对第一移中操作结果FS1(u,v)做二阶巴特沃斯高通滤波得到第一滤波结果F1‘(x,y);
步骤S6:对第二移中操作结果FS2(u,v)做二阶巴特沃斯高通滤波得到第二滤波结果F2‘(x,y);
步骤S7:将第一滤波结果F1‘(x,y)变换到极对数坐标下得到第一变换结果F1“(r,p),其中:r为半径,p为角度,m为幅度尺度参数;r=m×log[sqrt(x2+y2)],p=atan(y/x);
F1“(r,p)图像的宽度和高度分别为polarCol,polarRow,其中polarCol=polarRow=max(M,N),max(M,N)为取M和N中的最大数;
步骤S8:将第二滤波结果F2‘(x,y)结果变换到极对数坐标下得到第二变换结果F2“(r,p),其中:r为半径,p为角度,m为幅度尺度参数;r=m×log[sqrt(x2+y2)],p=atan(y/x);
F2“(r,p)图像的宽度和高度分别为polarCol,polarRow,其中polarCol=polarRow=max(M,N),max(M,N)为取M和N中的最大数;
步骤S9:计算第一变换结果F1“(r,p)和第二变换结果F2“(r,p)的相位相关图R(a,b);其中:R(a,b)=F1“(r,p)×F2“*(r,p)/|F1“(r,p)×F2“(r,p)|,其中(a,b)为相位相关图中的坐标,F2“*(r,p)为F2“(r,p)的共轭矩阵,提取相位相关图中最大值位置对应的最大亚像素坐标偏移值(Δr,Δp);
步骤S10:根据最大亚像素坐标偏移值(Δr,Δp)计算旋转角度和缩放尺度;具体的:基于下式计算旋转角度rotation和缩放尺度scale;
scale=1÷logbaseΔp
其中,polarRow为极坐标下图像的高度,logbase为对数坐标基数,所述对数坐标基数为预设值;
步骤S11:根据旋转角度和缩放尺度计算仿射矩阵,并基于仿射矩阵对参考模板图像进行映射以得到旋转图RIMG(x,y);具体的:根据旋转角度rotation和缩放尺度scale基于下式计算仿射矩阵rotMat[],进而得到旋转图RIMG(x,y);
其中,
a=scale·cos(rotation)
b=scale·sin(rotation)
RIMG(x,y)=IMG1(rotMat1,1×x+rotMat1,2×y+rotMat1,3,rotMat2,1×x+rotMat2,2×y+rotMat2,3);
center为参考模板图像IMG1的中心点,center.x为IMG1图像宽度的center.y为IMG1图像高度的参考模板图像IMG1(x,y)经过上式映射到旋转图RIMG(x,y);
步骤S12:计算旋转图RIMG(x,y)和待匹配图像IMG2的相位相关图R2(a,b);其中:R2(a,b)=RIMG(x,y)×f2*(x,y)/|RIMG(x,y)×f2(x,y)|,f2(x,y)是大小为M×N的待匹配图像IMG2的灰度图像;(a,b)为相位相关图中的坐标,f2*(x,y)为f2(x,y)的共轭矩阵,提取相位相关图中最大值位置对应的最大亚像素坐标偏移值(Δcol,Δrow)作为第二偏移坐标,根据所述第二偏移坐标,计算出初步映射图RIMG2(x,y),具体计算公式如下:
RIMG2(x,y)=RIMG(x+Δcol,y+Δrow);
步骤S13:读取参考模板图像IMG1中的n个参考轮廓的区域点集合{contoursi},i=1~n;其中:contoursi为第i个轮廓的区域点集;根据仿射矩阵rotMat[]和第二偏移坐标(Δcol,Δrow),将区域点集合{contoursi}映射到初步映射点集的集合{PRFi},i=1~n,计算公式如下:
PRFij.x=(rotMat1,1×contoursij.x+rotMat1,2×contoursij.y
+rotMat1,3)+Δcol
PRFij.y=(rotMat2,1×contoursij.x+rotMat2,2×contoursij.y
+rotMat2,3)+Δrow
其中,PRFij为第i个初步映射点集中的第j个点,contoursij.x为第i个轮廓点集中的第j个点的横坐标,contoursij.y为第i个轮廓点集中的第j个点的纵坐标;
步骤S14:基于上述n个初步映射点集的集合{PRFi},对每个初步映射点集PRFi,获取所述轮廓区域的外接矩形,并对外接矩形进行填充操作得到矩形图片;基于所述矩形图片在初步映射图RIMG2上相同坐标位置截取对应的矩形区域点集;基于所述矩形图片和所述初步映射点集PRFi、对应的矩形图片,重复步骤S1~S13以进行二次匹配,从而得到n个新轮廓点集的集合,基于所述新轮廓点集的集合进行n个轮廓区域的自动划分标注;具体的:对第i(i=1~n)个初步映射点集PRFi,获取所述轮廓区域的外接矩形,并对所述外接矩形进行填充操作,得到其对应的矩形图片集RECTREGi,基于所述矩形图片集RECTREGi在初步映射图RIMG2上相同坐标位置截取n个目标矩形图片集{RECTi},把矩形图片RECTREGi,初步映射点集PRFi分别作为步骤1中的参考模板图像IMG1和区域点集(此时轮廓的点集只有一个),把目标矩形图片RECTi作为步骤2中的待匹配图像IMG2,重复步骤S1~S13以进行二次匹配,并得到新轮廓点集PRF_NEWi,类似的对n个矩形区域的矩形图片进行二次匹配,得到n个新轮廓点集的集合{PRF_NEWi},i=1~n,根据新轮廓点集PRF_NEWi在目标矩形图片RECTi中的位置以及目标矩形图片RECTi在待匹配图像IMG2上的位置关系,在待匹配图像IMG2上得到新轮廓点集的集合{PRF_NEWi}的位置,从而完成自动标注;
优选的:对于第i个矩形图片RECTREGi,对应一个初步映射点集PRFi和一个目标矩形图片RECTi
步骤S15:基于自动划分标注结果提取所需要的区域内的图像信息,进而执行基于所述区域的监控处理运算;
由于轮廓信息已知,给定某点图像中坐标,可以判断所属区域,从而可以可进行基于区域的监控处理。
以上对本发明所提供的鲁棒的视觉区域自动划分标注的方法进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的较佳实施方式,故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰,均包括于本发明专利申请范围内。

Claims (10)

1.一种鲁棒的视觉区域自动划分标注的方法,其特征在于,所述方法包括如下步骤:
步骤S1:读取参考模板图像;
步骤S2:获取待匹配图像;
步骤S3:计算参考模板图像IMG1的傅里叶变换值F1(u,v),对傅里叶变换值F1(u,v)做移中操作得到第一移中操作结果FS1(u,v);
步骤S4:计算待匹配图像IMG2的傅里叶变换值F2(u,v),对傅里叶变换值F2(u,v)做移中操作得到第二移中操作结果FS2(u,v);
步骤S5:对第一移中操作结果FS1(u,v)做二阶巴特沃斯高通滤波得到第一滤波结果F1‘(x,y);
步骤S6:对第二移中操作结果FS2(u,v)做二阶巴特沃斯高通滤波得到第二滤波结果F2‘(x,y);
步骤S7:将第一滤波结果F1‘(x,y)变换到极对数坐标下得到第一变换结果F1“(r,p),其中:r为半径,p为角度,m为幅度尺度参数;r=m×log[sqrt(x2+y2)],p=atan(y/x);F1“(r,p)图像的宽度和高度分别为polarCol,polarRow,其中polarCol=polarRow=max(M,N),max(M,N)为取M和N中的最大数;
步骤S8:将第二滤波结果F2‘(x,y)结果变换到极对数坐标下得到第二变换结果F2“(r,p),其中:r为半径,p为角度,m为幅度尺度参数;r=m×log[sqrt(x2+y2)],p=atan(y/x);其中:F2“(r,p)图像的宽度和高度分别为polarCol,polarRow,其中polarCol=polarRow=max(M,N),max(M,N)为取M和N中的最大数;
步骤S9:计算第一变换结果F1“(r,p)和第二变换结果F2“(r,p)的相位相关图R(a,b);其中:R(a,b)=F1“(r,p)×F2“*(r,p)/|F1“(r,p)×F2“(r,p)|,其中(a,b)为相位相关图中的坐标,F2“*(r,p)为F2“(r,p)的共轭矩阵,提取相位相关图中最大值位置对应的最大亚像素坐标偏移值(Δr,Δp);
步骤S10:根据最大亚像素坐标偏移值(Δr,Δp)计算旋转角度和缩放尺度;
步骤S11:根据旋转角度和缩放尺度计算仿射矩阵rotMat[],并基于仿射矩阵rotMat[]对参考模板图像进行映射以得到旋转图RIMG(x,y);
步骤S12:计算旋转图RIMG(x,y)和待匹配图像IMG2的相位相关图R2(a,b);其中:R2(a,b)=RIMG(x,y)×f2*(x,y)/|RIMG(x,y)×f2(x,y)|,f2(x,y)是大小为M×N的待匹配图像IMG2的灰度图像;(a,b)为相位相关图中的坐标,f2*(x,y)为f2(x,y)的共轭矩阵,提取相位相关图中最大值位置对应的最大亚像素坐标偏移值(Δcol,Δrow)作为第二偏移坐标,根据所述第二偏移坐标,计算出初步映射图RIMG2(x,y),具体计算公式如下:
RIMG2(x,y)=RIMG(x+Δcol,y+Δrow);
步骤S13:读取参考模板图像中的n个参考轮廓的区域点集合{contoursi},i=1~n;其中:contoursi为第i个轮廓的区域点集;根据仿射矩阵rotMat[]和第二偏移坐标(Δcol,Δrow),将区域点集合{contoursi}映射到初步映射点集{PRFi},i=1~n;
步骤S14:基于上述n个初步映射点集合{PRFi},对每个初步映射点集PRFi,获取所述轮廓区域的外接矩形,并对外接矩形进行填充操作得到矩形图片;基于所述矩形图片在初步映射图RIMG2上相同坐标位置截取对应的目标矩形图片;基于所述矩形图片和所述初步映射点集PRFi、对应的目标矩形图片,重复步骤S1~S13以进行二次匹配,从而得到n个新轮廓点集的集合,基于所述新轮廓点集的集合进行n个轮廓区域的自动划分标注;
步骤S15:基于自动划分标注结果提取所需要的区域内的图像信息,进而执行基于所述区域的监控处理运算。
2.根据权利要求1所述的鲁棒的视觉区域自动划分标注的方法,其特征在于,所述步骤S1具体为:在接收到摄像机回传的待匹配图像IMG2后,基于摄像机标识从数据库获取和所述摄像机标识对应的参考模板图像IMG1及其区域点集合{contoursi},i=1~n;其中:contoursi为第i个轮廓的区域点集。
3.根据权利要求2所述的鲁棒的视觉区域自动划分标注的方法,其特征在于,所述步骤S2具体为:接收到摄像机回传的连续待匹配图像保存为待匹配图像集合,从所述待匹配图像集合中选取一张待匹配图像作为待匹配图像IMG2并进行后续处理。
4.根据权利要求3所述的鲁棒的视觉区域自动划分标注的方法,其特征在于,所述根据仿射矩阵rotMat[]和第二偏移坐标(Δcol,Δrow),将区域点集合{contoursi}映射到初步映射点集的集{PRFi},i=1~n,具体为:根据下式进行映射:
PRFij.x=(rotMat1,1×contoursij.x+rotMat1,2×contoursij.y+rotMat1,3)+Δcol
PRFij.y=(rotMat2,1×contoursij.x+rotMat2,2×contoursij.y+rotMat2,3)+Δrow
其中,PRFij为第i个轮廓点集中的第j个点,contoursij.x为第i个轮廓点集中的第j个点的横坐标,contoursij.y为第i个轮廓点集中的第j个点的纵坐标。
5.根据权利要求4所述的鲁棒的视觉区域自动划分标注的方法,其特征在于,所述步骤S14具体为:对第i(i=1~n)个初步映射点集PRFi,获取所述轮廓区域的外接矩形,并对所述外接矩形进行填充操作,得到其对应的矩形图片集RECTREGi,基于所述矩形图片集RECTREGi在初步映射图RIMG2上相同坐标位置截取n个目标矩形图片{RECTi}i,把矩形图片RECTREGi,初步映射点集PRFi分别作为步骤1中的参考模板图像IMG1和区域点集,把目标矩形图片RECTi作为步骤2中的待匹配图像IMG2,重复步骤S1~S13以进行二次匹配,并得到新轮廓点集PRF_NEWi,类似的对n个矩形区域的矩形图片进行二次匹配,得到n个新轮廓点集的集合{PRF_NEWi},i=1~n,根据新轮廓点集PRF_NEWi在目标矩形图片RECTi中的位置以及目标矩形图片RECTi在待匹配图像IMG2上的位置关系,在待匹配图像IMG2上得到新轮廓点集的集合{PRF_NEWi}的位置,从而完成自动标注。
6.根据权利要求5所述的鲁棒的视觉区域自动划分标注的方法,其特征在于,所述从所述待匹配图像集合中选取一张待匹配图像作为待匹配图像IMG2并进行后续处理,具体为:获取和参考模板图像对应的比例参考点集合及其对应的参考亮度集合,基于所述比例参考点集合获取待匹配图像的目标亮度集合,计算每个目标亮度集合和参考亮度集合之间的相似度,选择相似度最高的目标亮度集合对应的图像作为所选择的待匹配图像。
7.根据权利要求6所述的鲁棒的视觉区域自动划分标注的方法,其特征在于,所述获取和参考模板图像对应的比例参考点集合及其对应的参考亮度集合,具体为:数据库中关联的保存参考模板图像标识、比例参考点集合及其对应的参考亮度集合;基于所述参考模板图像的标识在数据库中查找对应的比例参考点集合及其对应的参考亮度集合;其中:所述比例参考点集合为参考模板图像的关键区域中所选取的参考点在图像中的横纵比例坐标组合的集合。
8.根据权利要求7所述的鲁棒的视觉区域自动划分标注的方法,其特征在于,所述关键区域为参考模板图像中的关注区域。
9.根据权利要求8所述的鲁棒的视觉区域自动划分标注的方法,其特征在于,所述所选取的参考点为关注区域中的几何中心点。
10.根据权利要求9所述的鲁棒的视觉区域自动划分标注的方法,其特征在于,所述关键区域为一个或者多个。
CN201811434773.5A 2018-11-28 2018-11-28 一种鲁棒的视觉区域自动划分标注的方法 Active CN109584250B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811434773.5A CN109584250B (zh) 2018-11-28 2018-11-28 一种鲁棒的视觉区域自动划分标注的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811434773.5A CN109584250B (zh) 2018-11-28 2018-11-28 一种鲁棒的视觉区域自动划分标注的方法

Publications (2)

Publication Number Publication Date
CN109584250A true CN109584250A (zh) 2019-04-05
CN109584250B CN109584250B (zh) 2022-09-20

Family

ID=65925302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811434773.5A Active CN109584250B (zh) 2018-11-28 2018-11-28 一种鲁棒的视觉区域自动划分标注的方法

Country Status (1)

Country Link
CN (1) CN109584250B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175255A (zh) * 2019-05-29 2019-08-27 腾讯科技(深圳)有限公司 图像标注的方法、基于病理图像的标注展示方法及装置
CN110189343A (zh) * 2019-04-16 2019-08-30 阿里巴巴集团控股有限公司 图像标注方法、装置及系统
CN112084433A (zh) * 2020-09-14 2020-12-15 周盛 一种根据区域划分进行人工影响天气抗旱作业的方法
CN117670884A (zh) * 2024-01-31 2024-03-08 深圳中科精工科技有限公司 图像标注方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070003165A1 (en) * 2005-06-20 2007-01-04 Mitsubishi Denki Kabushiki Kaisha Robust image registration
US20110019903A1 (en) * 2007-12-19 2011-01-27 Societe De Techologie Michelin Method for Processing a Three-Dimensional Image of the Surface of a Tire so That It Can be Used to Inspect the Said Surface
CN102508917A (zh) * 2011-11-21 2012-06-20 洪涛 部分特征图像的多维度目标快速鲁棒检索定位方法
CN104463866A (zh) * 2014-12-04 2015-03-25 无锡日联科技有限公司 一种基于轮廓随机采样的局部形状匹配方法
CN108256394A (zh) * 2016-12-28 2018-07-06 中林信达(北京)科技信息有限责任公司 一种基于轮廓梯度的目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070003165A1 (en) * 2005-06-20 2007-01-04 Mitsubishi Denki Kabushiki Kaisha Robust image registration
US20110019903A1 (en) * 2007-12-19 2011-01-27 Societe De Techologie Michelin Method for Processing a Three-Dimensional Image of the Surface of a Tire so That It Can be Used to Inspect the Said Surface
CN102508917A (zh) * 2011-11-21 2012-06-20 洪涛 部分特征图像的多维度目标快速鲁棒检索定位方法
CN104463866A (zh) * 2014-12-04 2015-03-25 无锡日联科技有限公司 一种基于轮廓随机采样的局部形状匹配方法
CN108256394A (zh) * 2016-12-28 2018-07-06 中林信达(北京)科技信息有限责任公司 一种基于轮廓梯度的目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐斌等: "一种移动机器人视觉图像实时特征提取算法", 《制造业自动化》 *
杨晶东等: "移动机器人视觉图像特征提取与匹配算法", 《计算机应用研究》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189343A (zh) * 2019-04-16 2019-08-30 阿里巴巴集团控股有限公司 图像标注方法、装置及系统
CN110189343B (zh) * 2019-04-16 2023-05-05 创新先进技术有限公司 图像标注方法、装置及系统
CN110175255A (zh) * 2019-05-29 2019-08-27 腾讯科技(深圳)有限公司 图像标注的方法、基于病理图像的标注展示方法及装置
WO2020238623A1 (zh) * 2019-05-29 2020-12-03 腾讯科技(深圳)有限公司 图像标注的方法、标注展示方法、装置、设备及存储介质
CN110175255B (zh) * 2019-05-29 2022-04-05 腾讯医疗健康(深圳)有限公司 图像标注的方法、基于病理图像的标注展示方法及装置
CN112084433A (zh) * 2020-09-14 2020-12-15 周盛 一种根据区域划分进行人工影响天气抗旱作业的方法
CN112084433B (zh) * 2020-09-14 2024-04-16 周盛 一种根据区域划分进行人工影响天气抗旱作业的方法
CN117670884A (zh) * 2024-01-31 2024-03-08 深圳中科精工科技有限公司 图像标注方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109584250B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN109584250A (zh) 一种鲁棒的视觉区域自动划分标注的方法
CN106934803B (zh) 电子器件表面缺陷的检测方法及装置
CN107993258B (zh) 一种图像配准方法及装置
CN106570510B (zh) 一种超市商品识别方法
CN106408527A (zh) 一种基于视频分析的自动报靶方法
CN107977656A (zh) 一种行人重识别方法及系统
CN109410207A (zh) 一种基于ncc特征的无人机巡线图像输电线路检测方法
CN101630407B (zh) 基于两视几何和图分割的伪造区域定位方法
CN106815583A (zh) 一种基于mser和swt相结合的夜间车辆车牌定位方法
CN109426814A (zh) 一种发票图片特定板块的定位、识别方法、系统、设备
CN103530638A (zh) 多摄像头下的行人匹配方法
CN103345617A (zh) 中药识别的方法及其系统
CN104331686B (zh) 一种土壤地表秸秆覆盖率人工辅助识别系统
CN109191502A (zh) 一种自动识别弹壳痕迹的方法
CN108966500A (zh) 基于视觉跟踪的pcb板二次及多次精确打孔方法
CN102254147A (zh) 一种基于星图匹配的远距离空间运动目标识别方法
CN109687382A (zh) 一种基于颜色模版匹配的继电保护压板投退状态识别方法
CN111161295A (zh) 一种菜品图像背景剥离方法
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
CN109766892A (zh) 一种基于边缘检测的射线检测图像标记信息字符分割方法
CN110288623A (zh) 无人机海上网箱养殖巡检图像的数据压缩方法
CN110348366B (zh) 一种自动化最优人脸搜索方法及装置
CN112197705A (zh) 一种基于视觉和激光测距的果实定位方法
Li et al. A novel framework for urban change detection using VHR satellite images
CN104104911B (zh) 全景图像生成过程中的时间戳消除和重置方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant