CN113781512A - 图像边界识别方法、装置、设备、系统和存储介质 - Google Patents
图像边界识别方法、装置、设备、系统和存储介质 Download PDFInfo
- Publication number
- CN113781512A CN113781512A CN202111070634.0A CN202111070634A CN113781512A CN 113781512 A CN113781512 A CN 113781512A CN 202111070634 A CN202111070634 A CN 202111070634A CN 113781512 A CN113781512 A CN 113781512A
- Authority
- CN
- China
- Prior art keywords
- image
- boundary
- images
- processing
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000003709 image segmentation Methods 0.000 claims abstract description 114
- 238000007499 fusion processing Methods 0.000 claims abstract description 75
- 238000012545 processing Methods 0.000 claims abstract description 71
- 230000011218 segmentation Effects 0.000 claims description 36
- 238000003062 neural network model Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 11
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 6
- 230000035772 mutation Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种图像边界识别方法、装置、设备、系统和存储介质,该方法包括:对待识别图像进行切片处理得到多个第一图像,其中,任意相邻的两个第一图像之间存在重叠区域;将多个所述第一图像进行拼接得到第二图像,所述第二图像包括非重叠的第一区域以及重叠的第二区域,所述第二区域包括至少一个所述重叠区域;对多个所述第一图像进行图像分割处理得到图像分割信息;对所述第二区域对应的图像分割信息进行融合处理,基于融合处理后的图像分割信息生成所述待识别图像对应的图像边界。本方案能够显出提高图像边界识别效率以及识别效果。
Description
技术领域
本申请实施例图像处理技术领域,尤其涉及一种图像边界识别方法、装置、设备、系统和存储介质。
背景技术
图像边界识别作为图像处理技术中的重要技术被应用于各个领域。如对拍摄的高清图像中包含的边界进行识别,以确定出其包含的各个区域。
现有技术中,图像边界识别的手段主要包括:对图像中的边界区域进行手动绘制后,再通过几何模型进行边界拟合;或者,基于深度学习的图像语义分割方法得到各个分割区域后,针对分割的各个区域采用边界搜索算法得到相应的边界,再通过多边形拟合算法进行边界拟合。然而,上述方式中,手动绘制的方法效率较低,几何模型的适用场景有限;基于深度学习的方法,识别得到的图像边界效果较差,修改成本较高。
发明内容
本发明实施例提供了一种图像边界识别方法、装置、设备、系统和存储介质,解决了现有技术中图像边界识别效率低、识别效果差的问题,能够显出提高图像边界识别效率以及识别效果。
第一方面,本发明实施例提供了一种图像边界识别方法,该方法包括:
对待识别图像进行切片处理得到多个第一图像,其中,任意相邻的两个第一图像之间存在重叠区域;
将多个所述第一图像进行拼接得到第二图像,所述第二图像包括非重叠的第一区域以及重叠的第二区域,所述第二区域包括至少一个所述重叠区域;
对多个所述第一图像进行图像分割处理得到图像分割信息;
对所述第二区域对应的图像分割信息进行融合处理,基于融合处理后的图像分割信息生成所述待识别图像对应的图像边界。
第二方面,本发明实施例还提供了一种图像边界识别装置,该装置包括:
图像切片模块,用于对待识别图像进行切片处理得到多个第一图像,其中,任意相邻的两个第一图像之间存在重叠区域;
图像拼接模块,用于将多个所述第一图像进行拼接得到第二图像,所述第二图像包括非重叠的第一区域以及重叠的第二区域,所述第二区域包括至少一个所述重叠区域;
图像分割模块,用于对多个所述第一图像进行图像分割处理得到图像分割信息;
图像融合模块,用于对所述第二区域对应的图像分割信息进行融合处理;
图像边界生成模块,用于基于融合处理后的图像分割信息生成所述待识别图像对应的图像边界。
第三方面,本发明实施例还提供了一种图像边界识别系统,该系统包括摄像模块以及图像边界识别模块,其中,
摄像模块,用于拍摄并生成待识别图像;
图像边界识别模块,用于对所述待识别图像进行切片处理得到多个第一图像,其中,任意相邻的两个第一图像之间存在重叠区域,将多个所述第一图像进行拼接得到第二图像,所述第二图像包括非重叠的第一区域以及重叠的第二区域,所述第二区域包括至少一个所述重叠区域,对多个所述第一图像进行图像分割处理得到图像分割信息,对所述第二区域对应的图像分割信息进行融合处理,通过预设算法对融合处理后的图像分割信息进行处理,得到边界识别信息,对所述边界识别信息中的复杂边界进行去除,得到筛选后的边界信息,对所述筛选后的边界信息进行多边形拟合得到所述待识别图像对应的图像边界。
第四方面,本发明实施例还提供了一种图像边界识别设备,该设备包括:
一个或多个处理器,以及用于数据通信的通信接口;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例所述的图像边界识别方法。
第五方面,本发明实施例还提供了一种存储计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例所述的图像边界识别方法。
本发明实施例中,通过对待识别图像进行切片处理得到多个第一图像,其中,任意相邻的两个第一图像之间存在重叠区域,将多个第一图像进行拼接得到第二图像,其中,第二图像包括非重叠的第一区域以及重叠的第二区域,该第二区域包括至少一个所述重叠区域,对多个第一图像进行图像分割处理得到图像分割信息后,对第二区域对应的图像分割信息进行融合处理,基于融合处理后的图像分割信息生成待识别图像对应的图像边界,提高了图像边界识别效率,使得图像边界的识别结果自然无突变,显著提升了边界识别效果。
附图说明
图1为本发明实施例提供的一种图像边界识别方法的流程图;
图2为本发明实施例提供的一种图像拼接示意图;
图3为本发明实施例提供的另一种图像边界识别方法的流程图;
图4为本发明实施例提供的另一种图像拼接示意图;
图5为本发明实施例提供的另一种图像边界识别方法的流程图;
图6为本发明实施例提供的另一种图像边界识别方法的流程图;
图7为本发明实施例提供的一种横向拼接重叠区域内像素点的距离确定示意图;
图8为本发明实施例提供的以图4所示图像拼接方式进行拼接为例得到的多个重叠区域的示意图;
图9为本发明实施例提供的另一种图像边界识别方法的流程图;
图10为本发明实施例提供的一种对边界识别信息中的复杂边界进行去除的方法的流程图。
图11为本发明实施例提供的一种图像边界识别装置的结构框图;
图12为本发明实施例提供的一种图像边界识别系统的模块示意图;
图13为本发明实施例提供的一种设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的信息调整方法进行详细地说明。
图1为本发明实施例提供的一种图像边界识别方法的流程图,本实施例可以对图像中包含的各个区域的边界进行识别,如对通过无人设备拍摄的高清图像中包含的农田区域和非农田区域的边界的识别以输出相应的边界识别结果,该方法可以由具备计算功能的设备如无人设备、手机、定制手持设备等来实施,具体包括如下步骤:
步骤S101、对待识别图像进行切片处理得到多个第一图像。
其中,该待识别图像可以是由无人设备如无人机拍摄的高清图像。也可以是计算设备本地存储的或者接收其它设备发送的图像。
其中,该切片处理用于将待识别图像进行划分得到多个第一图像。如将一整幅待识别图像切分为等分的四个第一图像。该第一图像用于表征待识别图像进行切片处理后得到的子图像。
其中,切分后得到的多个第一图像中,任意相邻的两个第一图像之间存在重叠区域,如横向相邻、纵向相邻或对角相邻的两个第一图像之间存在重叠区域,该重叠区域可以是预设重叠大小的区域,示例性的可以是四分之一图像大小或者三分之一图像大小,具体的重叠区域大小不做限定。
在一个实施例中,以待识别图像为无人设备拍摄的高清地图影像为例,该切片处理为地图瓦片切片。其中,地图瓦片模型为一种多分辨率层次模型,在统一的空间参照下,根据需求以不同分辨率进行存储与显示,形成分辨率由粗到细、数据量由小到大的金字塔结构。其所表示的地理范围不变,金字塔越往底层所表示的地图信息越详细,比例尺越大。具体的,在对待识别图像进行地图瓦片切片时,从待识别图像的左上角开始,从左至右、从上到下依次进行切割,如分割成相同大小(如256*256像素、512*512像素或1024*1024像素等)的正方形地图瓦片。
步骤S102、将多个所述第一图像进行拼接得到第二图像,所述第二图像包括非重叠的第一区域以及重叠的第二区域,所述第二区域包括至少一个所述重叠区域。
其中,第二图像由多个第一图像进行拼接得到。其中,非重叠区域指拼接过程中,没有出现图像覆盖的区域,即多个第一图像没有相互重叠覆盖时的区域,重叠区域指拼接过程中存在多个第一图像相互覆盖的区域,如相邻的两个第一图像之间的重叠区域。以两幅第一图像进行拼接得到第二图像为例,如图2所示,图2为本发明实施例提供的一种图像拼接示意图。其中,第二图像由第一图像1021于第二图像1022横向拼接得到,该第二图像包含重叠的第二区域1023以及非重叠的第一区域1024。其中,该重叠的第二区域包括两个相邻的第一图像进行拼接时的构成的重叠区域,图2示例为横向相邻的两个第一图像拼接时得到第二重叠区域1023,其还包括是纵向相邻的两个第一图像以及对角相邻的两个第一图像拼接时构成的重叠的第二区域。该重叠的第二区域可以理解为对待识别图像进行切片处理得到多个第一图像后,将其进行拼接时,相邻的第一图像相接处的过渡区域。
步骤S103、对多个所述第一图像进行图像分割处理得到图像分割信息。
其中,该图像分割处理用于得到第一图像中每个像素点的分割结果,图像分割信息为每个像素点的分割结果的集合,其可以矩阵形式进行表征。示例性的,该图像分割处理可以是基于卷积神经网络模型的二分类图像分割处理。以第一图像为对拍摄的地面包含农田和非农田区域的高清图像切片得到的图像为例,通过对该第一图像进行基于卷积神经网络模型的二分类图像分割处理得到第一图像中每个像素点的分割结果,其中,具体的每个像素点的处理结果值可以为一概率值,取值范围为[0,1]。当像素点对应的处理结果值大于0.5时,可确定其对应的分割结果为农田区域,当像素点对应的处理结果值小于或等于0.5时,可确定其对应的分割结果为非农田区域。需要说明的时,该处理结果值以及对应的确定分割结果的条件仅为示例,基于不同的训练模型以及输出表征结果,其每个像素点的处理结果值与对应的条件判断值会相应变更。
需要说明的是,该步骤S103中对多个第一图像进行图像分割处理得到图像分割信息的过程,可以是在步骤S102执行之前执行,即在对待识别图像进行切片处理得到多个第一图像之后,即进行对多个第一图像进行图像分割处理得到图像分割信息。也可以是在步骤S102之后执行,本方案对步骤S102和步骤S103的具体执行顺序不做限定。
步骤S104、对所述第二区域对应的图像分割信息进行融合处理,基于融合处理后的图像分割信息生成所述待识别图像对应的图像边界。
其中,如前所述该第二区域为存在重叠覆盖的区域,针对该第二区域中的图像分割信息,对其进行融合处理。在一个实施例中,对第二图像分割信息进行融合处理,为对第二图像分割信息中每个像素点的处理结果值进行融合,得到每个像素点的融合处理结果值,在基于该融合处理得到的每个像素点的融合处理结果值生成待识别图像对应的图像边界。
可选的,对第二图像分割信息中每个像素点的处理结果值进行融合的方式包括对每个像素点对应的在第一图像中的处理结果值取均值得到该像素点的融合处理结果值。可选的,对第二图像分割信息中每个像素点的处理结果值进行融合的方式还可以以该像素点为中心,预设范围内的第一图像的像素点的处理结果指取均值得到融合处理结果值。
其中,融合处理后的图像分割信息包括原有的非重叠的第一区域对应的每个像素点的分割结果,以及针对重叠的第二区域中的像素点进行融合处理后的分割结果。基于该融合处理后的图像分割信息进行处理以生成图像边界。其中,具体的处理过程可以是通过预设算法对融合处理后的图像分割信息进行粗识别处理,得到边界识别信息后,在对该边界信息进行多边形拟合得到最终的图像边界。
由上述方案可知,对待识别图像进行切片处理得到多个第一图像,将多个第一图像进行拼接得到第二图像,拼接的过程中采用有重叠的拼接方式,即得到的第二图像包括非重叠的第一区域以及重叠的第二区域,再对多个第一图像进行图像分割处理得到图像分割信息,以及对所述第二区域对应的图像分割信息进行融合处理,最后基于融合处理后的图像分割信息生成待识别图像对应的图像边界。该种图像边界识别方法解决了采用人工手动绘制处理带来的处理效率低的问题,同时通过对高清图像进行切片划分,对每个切片进行图像分割处理,同时对分割结果基于重叠区域进行融合处理,使得最终得到的识别边界过渡自然,不存在突变情况,提升了图像边界识别效果。
图3为本发明实施例提供的另一种图像边界识别方法的流程图,给出了一种具体的对待识别图像进行切片处理得到多个第一图像,并将多个第一图像进行拼接得到第二图像的方法,其中包括对待识别图像进行切片处理得到多个预设尺寸的第一图像,基于预设重叠大小,将多个预设尺寸的所述第一图像拼接得到包含所述预设重叠大小的第二区域的第二图像。如图3所示,技术方案具体如下:
步骤S201、对待识别图像进行切片处理得到多个预设尺寸的第一图像。
在一个实施例中,该预设尺寸示例性的为256*256尺寸。
步骤S202、基于预设重叠大小,将多个预设尺寸的所述第一图像拼接得到包含所述预设重叠大小的第二区域的第二图像。
在一个实施例中,在进行第一图像的拼接时,将多个第一图像首先采用无重叠区域的拼接方式拼接为大图,如将256*256尺寸的图像拼接为1024*1024尺寸的图像,在对无重叠区域拼接得到的大图进行有重叠区域的拼接得到第二图像。
图4为本发明实施例提供的另一种图像拼接示意图,如图所示,每个第一图像尺寸为256*256,无重叠区域拼接得到大图尺寸为1024*1024,对多个大图进行有重叠区域的拼接得到包含重叠区域的第二图像。其中,重叠区域的尺寸为两两大图进行拼接时的四分之一大图尺寸。
步骤S203、对多个所述第一图像进行图像分割处理得到图像分割信息。
步骤S204、对所述第二区域对应的图像分割信息进行融合处理,基于融合处理后的图像分割信息生成所述待识别图像对应的图像边界。
由上述方案可知,对待识别图像进行切片处理得到多个预设尺寸的第一图像,基于预设重叠大小,将多个预设尺寸的所述第一图像拼接得到包含所述预设重叠大小的第二区域的第二图像,拼接过程中采用生成大图的方式,对大图进行有重叠的拼接,能够增大后续图像分割处理时的感受野,优化提升了图像边界识别效果。
图5为本发明实施例提供的另一种图像边界识别方法的流程图,给出了一种具体的对多个第一图像进行图像分割处理得到图像分割信息,对第二区域对应的图像分割信息进行融合处理的方法,其中,包括基于训练的神经网络模型对多个所述第一图像进行图像分割处理得到每个像素点的像素分割信息,对所述第二区域中的像素点的像素分割信息进行融合处理。如图5所示,技术方案具体如下:
步骤S301、对待识别图像进行切片处理得到多个第一图像。
步骤S302、将多个所述第一图像进行拼接得到第二图像,所述第二图像包括非重叠的第一区域以及重叠的第二区域。
步骤S303、基于训练的神经网络模型对多个所述第一图像进行图像分割处理得到每个像素点的像素分割信息。
在一个实施例中,针对使用的神经网络模型还包括相应的训练过程。训练样本可以是以无异物的图像作为背景,基于数据集中包含目标物图片以及提供的标签将目标物随机摆放处理后生成训练的数据集和样本标签。
在一个实施例中,该神经网络模型为卷积神经网络模型,其包含3层卷积层和2个全连接层。每个卷积层设置有3x 3滤波器,该滤波器的步幅为2,输出为64个节点。并将输出数据通过最大池化层,进行池化处理以最终得到每个像素点的像素分割结果。需要说明的是,上述神经网络模型仅为示例说明,本方案还可采用其它神经网络模型,该神经网络模型的结构也可进行其它参数设置的优化处理。
步骤S304、对所述第二区域中的像素点的像素分割信息进行融合处理,基于融合处理后的图像分割信息生成所述待识别图像对应的图像边界。
示例性的,以融合处理为均值融合为例。假定第二区域中某一像素点R的坐标为(x,y),其由第一图像a和第一图像b拼接得到,该像素点R在第一图像a中的分割处理结果记为aR(x1,y1),该像素点R在第一图像b中的分割处理结果记为bR(x2,y2),则相应的该像素点R(x,y)的融合处理结果为(aR(x1,y1)+bR(x2,y2))/2。可选的,可以以第二区域中的像素点由左至右,由上之下依次计算每个像素点的融合处理值,得到包含该融合处理值的融合处理信息。
由上述方案可知,基于训练的神经网络模型对多个第一图像进行图像分割处理得到每个像素点的像素分割信息,再对第二区域中的像素点的像素分割信息进行融合处理,基于融合处理后的图像分割信息生成所述待识别图像对应的图像边界,使得最终的图像边界识别结果更加清晰,边界过渡更加自然,减少了图像拼接区域的突变现象。
图6为本发明实施例提供的另一种图像边界识别方法的流程图,给出了一种具体对第二区域中的像素点的像素分割信息进行融合处理的方法,其包括基于第二区域中像素点的坐标到所述第二区域边界的距离,对像素点对应的第一图像的像素分割信息进行融合处理。如图6所示,技术方案具体如下:
步骤S401、对待识别图像进行切片处理得到多个第一图像。
步骤S402、将多个所述第一图像进行拼接得到第二图像,所述第二图像包括非重叠的第一区域以及重叠的第二区域。
步骤S403、基于训练的神经网络模型对多个所述第一图像进行图像分割处理得到每个像素点的像素分割信息。
步骤S404、基于所述第二区域中像素点到所述第二区域边界的距离,对所述像素点对应的所述第一图像的像素分割信息进行融合处理,基于融合处理后的图像分割信息生成所述待识别图像对应的图像边界。
在一个实施例中,在对第二区域的像素点的分割结果进行融合处理时,以该像素点的坐标到第二区域边界的距离为权重,对像素点对应的第一图像的像素分割信息进行融合处理。
示例性的,给出了一种针对存在横向重叠区域下距离的确定方式。图7为本发明实施例提供的一种横向拼接重叠区域内像素点的距离确定示意图。如图7所示,第一图像01和第一图像02存在横向重叠区域,该横向重叠区域记为第二区域,需要对第二区域中像素点03(包括第一图像01中的像素点以及第一图像02中的像素点)进行融合处理,此时针对第一图像01而言,位于第一图像中的像素点03的距离为像素点03坐标到第二区域边缘也即第一图像01边缘06的距离05;针对第一图像02而言,位于第二图像中的像素点03的距离为像素点03坐标到第二区域边缘也即第一图像02边缘07的距离04。
具体的,如图8所示,图8为本发明实施例提供的以图4所示图像拼接方式进行拼接为例得到的多个重叠区域的示意图。针对不同的重叠区域形状,采用不同的基于距离权重的计算公式计算该重叠区域的像素点的融合处理信息。示例性的,针对某一像素点其坐标为(x,y)为例,其在第一图像a中的分割结果记为a(x,y),其在第一图像b中的分割结果记为b(x1,y1),待计算的融合处理结果记为ab(x,y),当0≤x1≤255,y1≥256时,即针对第一重叠区域中的像素点,代入公式:ab(x,y)=(a(x,y)*(255-y1)+b(x1,y1)*y1)/255;当0≤y1≤255,x1≥256时,即针对第二重叠区域中的像素点带入公式:ab(x,y)=(a(x,y)*(255-x1)+b(x1,y1)*x1)/255;当0≤x1≤255,0≤y1≤255时,即针对第三重叠区域中的像素点,代入公式:ab(x,y)=(a(x,y)*(255-y1)+a(x,y)*(255-x1)+b(x1,y1)*x1+b(x1,y1)*y1)/510,以分别得到针对不同重叠区域的像素点的融合处理信息。
由上述方案可知,基于第二区域中像素点的坐标到所述第二区域边界的距离,对所述像素点对应的所述第一图像的像素分割信息进行融合处理,该种融合处理方式使得像素点的最终融合处理结果更加精确,保证了图像分割结果在不同的切片间过渡更加自然。
图9为本发明实施例提供的另一种图像边界识别方法的流程图,给出了一种具体的基于融合处理后的图像分割信息生成所述待识别图像对应的图像边界。如图9所示,技术方案具体如下:
步骤S501、对待识别图像进行切片处理得到多个第一图像。
步骤S502、将多个所述第一图像进行拼接得到第二图像,所述第二图像包括非重叠的第一区域以及重叠的第二区域。
步骤S503、对多个所述第一图像进行图像分割处理得到图像分割信息。
步骤S504、对所述第二区域对应的图像分割信息进行融合处理。
步骤S505、通过预设算法对融合处理后的图像分割信息进行处理,得到边界识别信息,对所述边界识别信息中的复杂边界进行去除,得到筛选后的边界信息,对所述筛选后的边界信息进行多边形拟合得到所述待识别图像对应的图像边界。
该预设算法可以是安装的处理软件的自带算法操作,如软件opencv中的findcontour处理操作,该操作得到的边界识别信息相对粗糙。在一个实施例中,在得到粗糙边界识别信息后,对边界识别信息中的复杂边界进行去除,得到筛选后的边界信息,再对所述筛选后的边界信息进行多边形拟合得到所述待识别图像对应的图像边界。该多边形拟合的方式可以采用标准的Douglas-Peucker算法进行拟合。针对复杂边界的去除过程,如图10所示,图10为本发明实施例提供的一种对边界识别信息中的复杂边界进行去除的方法的流程图,给出了一种具体的对边界识别信息中的复杂边界进行去除的方法,具体包括:
步骤S5051、获取所述边界识别信息中包含的每条边界。
其中,在通过预设算法对融合处理后的图像分割信息进行处理得到的粗糙边界识别信息中,包含由多个条边界,针对该多条边界中的复杂边界进行去除以保证最终的识别效果,同时减少用户的修改成本。
步骤S5052、确定每条边界中的每个边界像素点的临近点个数,所述临近点个数为所述边界像素点预设范围内包含的其它边界像素点的个数总和。
具体的,识别复杂边界的过程为针对当前识别处理的一条边界,确定其包含的每个边界像素点的临近点个数。其中,该边界像素点指基于分割结果确定出的边界的像素点,如农田区域和农田区域的边界交界出的像素点,该临近点个数为对应的边界像素点预设范围内包含的其它边界像素点的个数总和,如以该边界像素点为基准点,半径为r的圆形区域内的其它边界像素点的个数总和。其中,半径r的具体取值不做限定,可根据不同分辨率大小的图像进行适应性调整。
步骤S5053、根据所述每个像素点的临近点个数确定每条边界的平均临近点个数。
其中,在进行复杂边界识别以对其进行去除时,针对每条边界在确定出其每个像素点的临近点个数后,如一条边界n包含m个边界像素点,其每个边界像素点包含的临近点个数的综合记为k,则针对该条边界n其对应的平均临近点个数为k/m。
步骤S5054、对所述平均临近点个数大于预设值的边界进行去除。
在一个实施例中,在确定出每条边界的平均临近点个数后,对平均临近点个数大于预设值的边界进行去除,即将平均临近点个数大于预设值的边界确定为复杂边界对其进行去除。其中,该预设值的大小不做限定,根据不同分辨率大小的图像进行适应性调整。
由上述方案可知,在处理生成最终的图像边界识别结果前,对边界识别信息中的复杂边界进行去除,通过确定边界中每个像素点的临近点个数进而得到该边界的平均临近点后,判断其是否为复杂边界并相应进行去除,其基于边界平整度对前步得到的粗糙边界进行筛选,显著提升了图像边界的识别效果。
图11为本发明实施例提供的一种图像边界识别装置的结构框图,该装置用于执行上述描述的图像边界识别方法,具备执行方法相应的功能模块和有益效果。如图11所示,该装置具体包括:图像切片模块101、图像拼接模块102、图像分割模块103、图像融合模块104和图像边界生成模块105,其中,
图像切片模块101,用于对待识别图像进行切片处理得到多个第一图像,其中,任意相邻的两个第一图像之间存在重叠区域;
图像拼接模块102,用于将多个所述第一图像进行拼接得到第二图像,所述第二图像包括非重叠的第一区域以及重叠的第二区域,所述第二区域包括至少一个所述重叠区域;
图像分割模块103,用于对多个所述第一图像进行图像分割处理得到图像分割信息;
图像融合模块104,用于对所述第二区域对应的图像分割信息进行融合处理;
图像边界生成模块105,用于基于融合处理后的图像分割信息生成所述待识别图像对应的图像边界。
由上述方案可知,通过对待识别图像进行切片处理得到多个第一图像,将多个第一图像进行拼接得到第二图像,其中,第二图像包括非重叠的第一区域以及重叠的第二区域,对多个第一图像进行图像分割处理得到图像分割信息后,对第二区域对应的图像分割信息进行融合处理,基于融合处理后的图像分割信息生成待识别图像对应的图像边界,提高了图像边界识别效率,使得图像边界的识别结果自然无突变,显著提升了边界识别效果。
在一个可能的实施例中,所述图像切片模块101具体用于:
对待识别图像进行切片处理得到多个预设尺寸的第一图像;
所述图像拼接模块102具体用于:
基于预设重叠大小,将多个预设尺寸的所述第一图像拼接得到包含所述预设重叠大小的第二区域的第二图像。
在一个可能的实施例中,所述图像分割模块103具体用于:
基于训练的神经网络模型对多个所述第一图像进行图像分割处理得到每个像素点的像素分割信息;
所述图像融合模块104具体用于:
对所述第二区域中的像素点的像素分割信息进行融合处理。
在一个可能的实施例中,所述图像融合模块104具体用于:
基于所述第二区域中像素点到所述第二区域边界的距离,对所述像素点对应的所述第一图像的像素分割信息进行融合处理。
在一个可能的实施例中,所述图像边界生成模块105包括:
边界预处理单元1051,用于通过预设算法对融合处理后的图像分割信息进行处理,得到边界识别信息;
边界去除单元1052,用于对所述边界识别信息中的复杂边界进行去除,得到筛选后的边界信息;
边界拟合单元1053,用于对所述筛选后的边界信息进行多边形拟合得到所述待识别图像对应的图像边界。
在一个可能的实施例中,边界去除单元1052具体用于:
获取所述边界识别信息中包含的每条边界;
确定每条边界中的每个边界像素点的临近点个数,所述临近点个数为所述边界像素点预设范围内包含的其它边界像素点的个数总和;
根据所述每个像素点的临近点个数确定每条边界的平均临近点个数;
对所述平均临近点个数大于预设值的边界进行去除。
图12为本发明实施例提供的一种图像边界识别系统的示意图。如图12所示,图像边界识别系统包括:
摄像模块201,用于拍摄并生成待识别图像;
图像边界识别模块202,用于对所述待识别图像进行切片处理得到多个第一图像,将多个所述第一图像进行拼接得到第二图像,所述第二图像包括非重叠的第一区域以及重叠的第二区域,对多个所述第一图像进行图像分割处理得到图像分割信息,对所述第二区域对应的图像分割信息进行融合处理,通过预设算法对融合处理后的图像分割信息进行处理,得到边界识别信息,对所述边界识别信息中的复杂边界进行去除,得到筛选后的边界信息,对所述筛选后的边界信息进行多边形拟合得到所述待识别图像对应的图像边界。
本实施例提供的图像边界识别系统可集成在无人设备如无人机中,即无人机在飞行过程中可实施采集地面图像,对地面图像中的各个区域进行边界识别输出识别结果至地面设备或者保存在无人机本地存储设备中。本实施例提供的图像边界识别系统,通过对待识别图像进行切片处理得到多个第一图像,将多个第一图像进行拼接得到第二图像,其中,第二图像包括非重叠的第一区域以及重叠的第二区域,对多个第一图像进行图像分割处理得到图像分割信息后,对第二区域对应的图像分割信息进行融合处理,基于融合处理后的图像分割信息生成待识别图像对应的图像边界,提高了图像边界识别效率,使得图像边界的识别结果自然无突变,显著提升了边界识别效果。
图13为本发明实施例提供的一种图像边界识别设备的结构示意图,如图13所示,该设备包括处理器301、存储器302、输入装置303、输出装置304以及通信接口305;设备中处理器301的数量可以是一个或多个,通信接口305针对不同的设备功能可以是一个或多个,图13中以一个处理器301和两个通信接口305为例;设备中的处理器301、存储器302、输入装置303、输出装置304和通信接口305可以通过总线或其他方式连接,图13中以通过总线连接为例。存储器302作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的图像边界识别方法对应的程序指令/模块。处理器301通过运行存储在存储器302中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的图像边界识别方法。输入装置303可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入,也可以摄像头拍摄的图像作为输入信息。输出装置304可包括显示屏等显示设备,以对输入装置输入的信息经处理后进行输出。通信接口305可以是内网接口和外网接口,用于实现设备之间的数据传输。
本发明实施例还提供一种包含计算机可执行指令的存储介质,可以以服务端应用的形式存储,所述计算机可执行指令在由计算机处理器执行时用于执行一种图像边界识别方法,该方法包括:
对待识别图像进行切片处理得到多个第一图像,其中,任意相邻的两个第一图像之间存在重叠区域;
将多个所述第一图像进行拼接得到第二图像,所述第二图像包括非重叠的第一区域以及重叠的第二区域,所述第二区域包括至少一个所述重叠区域;
对多个所述第一图像进行图像分割处理得到图像分割信息;
对所述第二区域对应的图像分割信息进行融合处理,基于融合处理后的图像分割信息生成所述待识别图像对应的图像边界。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是无人设备、手机、计算机、服务器或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (11)
1.图像边界识别方法,其特征在于,包括:
对待识别图像进行切片处理得到多个第一图像,其中,任意相邻的两个第一图像之间存在重叠区域;
将多个所述第一图像进行拼接得到第二图像,所述第二图像包括非重叠的第一区域以及重叠的第二区域,所述第二区域包括至少一个所述重叠区域;
对多个所述第一图像进行图像分割处理得到图像分割信息;
对所述第二区域对应的图像分割信息进行融合处理,基于融合处理后的图像分割信息生成所述待识别图像对应的图像边界。
2.根据权利要求1所述的图像边界识别方法,其特征在于,所述对待识别图像进行切片处理得到多个第一图像,将多个所述第一图像拼接得到第二图像,包括:
对待识别图像进行切片处理得到多个预设尺寸的第一图像;
基于预设重叠大小,将多个预设尺寸的所述第一图像拼接得到包含所述预设重叠大小的第二区域的第二图像。
3.根据权利要求1所述的图像边界识别方法,其特征在于,所述对多个所述第一图像进行图像分割处理得到图像分割信息,对所述第二区域对应的图像分割信息进行融合处理,包括:
基于训练的神经网络模型对多个所述第一图像进行图像分割处理得到每个像素点的像素分割信息;
对所述第二区域中的像素点的像素分割信息进行融合处理。
4.根据权利要求3所述的图像边界识别方法,其特征在于,所述对所述第二区域中的像素点的像素分割信息进行融合处理,包括:
基于所述第二区域中像素点到所述第二区域边界的距离,对所述像素点对应的所述第一图像的像素分割信息进行融合处理。
5.根据权利要求1-3中任一项所述的图像边界识别方法,其特征在于,所述基于融合处理后的图像分割信息生成所述待识别图像对应的图像边界,包括:
通过预设算法对融合处理后的图像分割信息进行处理,得到边界识别信息;
对所述边界识别信息中的复杂边界进行去除,得到筛选后的边界信息;
对所述筛选后的边界信息进行多边形拟合得到所述待识别图像对应的图像边界。
6.根据权利要求5所述的图像边界识别方法,其特征在于,所述对所述边界识别信息中的复杂边界进行去除,包括:
获取所述边界识别信息中包含的每条边界;
确定每条边界中的每个边界像素点的临近点个数,所述临近点个数为所述边界像素点预设范围内包含的其它边界像素点的个数总和;
根据所述每个像素点的临近点个数确定每条边界的平均临近点个数;
对所述平均临近点个数大于预设值的边界进行去除。
7.图像边界识别装置,其特征在于,包括:
图像切片模块,用于对待识别图像进行切片处理得到多个第一图像,其中,任意相邻的两个第一图像之间存在重叠区域;
图像拼接模块,用于将多个所述第一图像进行拼接得到第二图像,所述第二图像包括非重叠的第一区域以及重叠的第二区域,所述第二区域包括至少一个所述重叠区域;
图像分割模块,用于对多个所述第一图像进行图像分割处理得到图像分割信息;
图像融合模块,用于对所述第二区域对应的图像分割信息进行融合处理;
图像边界生成模块,用于基于融合处理后的图像分割信息生成所述待识别图像对应的图像边界。
8.根据权利要求7所述的图像边界识别装置,其特征在于,所述图像边界生成模块包括:
边界预处理单元,用于通过预设算法对融合处理后的图像分割信息进行处理,得到边界识别信息;
边界去除单元,用于对所述边界识别信息中的复杂边界进行去除,得到筛选后的边界信息;
边界拟合单元,用于对所述筛选后的边界信息进行多边形拟合得到所述待识别图像对应的图像边界。
9.图像边界识别系统,其特征在于,包括:
摄像模块,用于拍摄并生成待识别图像;
图像边界识别模块,用于对所述待识别图像进行切片处理得到多个第一图像,其中,任意相邻的两个第一图像之间存在重叠区域,将多个所述第一图像进行拼接得到第二图像,所述第二图像包括非重叠的第一区域以及重叠的第二区域,所述第二区域包括至少一个所述重叠区域,对多个所述第一图像进行图像分割处理得到图像分割信息,对所述第二区域对应的图像分割信息进行融合处理,通过预设算法对融合处理后的图像分割信息进行处理,得到边界识别信息,对所述边界识别信息中的复杂边界进行去除,得到筛选后的边界信息,对所述筛选后的边界信息进行多边形拟合得到所述待识别图像对应的图像边界。
10.一种图像边界识别设备,所述设备包括:一个或多个处理器,以及用于数据通信的通信接口;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一项所述的图像边界识别方法。
11.一种存储计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6中任一项所述的图像边界识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111070634.0A CN113781512A (zh) | 2021-09-13 | 2021-09-13 | 图像边界识别方法、装置、设备、系统和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111070634.0A CN113781512A (zh) | 2021-09-13 | 2021-09-13 | 图像边界识别方法、装置、设备、系统和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113781512A true CN113781512A (zh) | 2021-12-10 |
Family
ID=78843357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111070634.0A Pending CN113781512A (zh) | 2021-09-13 | 2021-09-13 | 图像边界识别方法、装置、设备、系统和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113781512A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114257349A (zh) * | 2021-12-16 | 2022-03-29 | 北京数码视讯技术有限公司 | 数据处理系统和方法 |
-
2021
- 2021-09-13 CN CN202111070634.0A patent/CN113781512A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114257349A (zh) * | 2021-12-16 | 2022-03-29 | 北京数码视讯技术有限公司 | 数据处理系统和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8711141B2 (en) | 3D image generating method, 3D animation generating method, and both 3D image generating module and 3D animation generating module thereof | |
CN106971185B (zh) | 一种基于全卷积网络的车牌定位方法及装置 | |
CN103985133A (zh) | 基于图割能量优化的影像间最优拼接线寻找方法及系统 | |
CN111191485A (zh) | 一种车位检测方法及其系统、汽车 | |
CN112164048B (zh) | 一种基于深度学习的磁瓦表面缺陷自动检测方法和装置 | |
CN114648640B (zh) | 一种目标物单体化方法、装置、设备及存储介质 | |
CN111738033B (zh) | 基于平面分割的车辆行驶信息确定方法及装置、车载终端 | |
CN108629742B (zh) | 真正射影像阴影检测与补偿方法、装置及存储介质 | |
CN112580558A (zh) | 红外图像目标检测模型构建方法、检测方法、装置及系统 | |
CN113177941B (zh) | 一种钢卷边裂识别方法、系统、介质和终端 | |
CN110046623B (zh) | 一种图像特征点提取方法和相机 | |
CN113781512A (zh) | 图像边界识别方法、装置、设备、系统和存储介质 | |
CN113744142B (zh) | 图像修复方法、电子设备及存储介质 | |
CN111626241A (zh) | 一种人脸检测方法及装置 | |
CN113112511B (zh) | 试卷批改的方法、装置、存储介质及电子设备 | |
CN113920275B (zh) | 三角网格构建方法、装置、电子设备及可读存储介质 | |
CN110909620A (zh) | 车辆检测方法、装置、电子设备及存储介质 | |
CN110599532A (zh) | 图像的深度估计模型优化、深度估计处理方法及装置 | |
CN112926426A (zh) | 基于监控视频的船舶识别方法、系统、设备及存储介质 | |
CN111241891B (zh) | 一种人脸图像切图方法、装置及计算机可读存储介质 | |
CN111738061A (zh) | 基于区域特征提取的双目视觉立体匹配方法及存储介质 | |
CN116342519A (zh) | 一种基于机器学习的图像处理方法 | |
CN110717980A (zh) | 区域三维重建方法、装置及计算机可读存储介质 | |
CN110660030B (zh) | 图像处理方法以及装置 | |
CN112669346B (zh) | 一种路面突发状况确定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |