CN116958176A - 图像分割方法、装置、计算机设备及介质 - Google Patents
图像分割方法、装置、计算机设备及介质 Download PDFInfo
- Publication number
- CN116958176A CN116958176A CN202311219180.8A CN202311219180A CN116958176A CN 116958176 A CN116958176 A CN 116958176A CN 202311219180 A CN202311219180 A CN 202311219180A CN 116958176 A CN116958176 A CN 116958176A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- sample
- segmentation
- sample image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 310
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000011218 segmentation Effects 0.000 claims abstract description 107
- 238000012545 processing Methods 0.000 claims abstract description 80
- 238000012549 training Methods 0.000 claims abstract description 70
- 238000002372 labelling Methods 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 238000013138 pruning Methods 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 description 46
- 238000005516 engineering process Methods 0.000 description 22
- 238000005070 sampling Methods 0.000 description 15
- 230000004927 fusion Effects 0.000 description 13
- 238000013473 artificial intelligence Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像分割方法、装置、计算机设备及介质,可应用于地图领域,该方法包括:获取样本图像以及对应的掩码信息,样本图像的掩码信息用于指示:样本图像中每个像素点相对于样本图像中关键区域的位置相关程度;调用图像分割网络基于掩码信息对样本图像进行特征提取处理,得到样本图像中每个像素点的样本分割结果;获取样本图像中每个像素点的标注分割结果,基于样本图像中每个像素点的标注分割结果以及样本分割结果对图像分割网络进行训练,得到训练后的图像分割网络;训练后的图像分割网络用于对图像进行关键区域的分割处理;可通过图像的掩码信息,来对图像中不同区域进行差异化学习,以提高图像中关键区域的分割准确性。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像分割方法、装置、计算机设备及介质。
背景技术
随着图像处理技术的不断发展,图像中关键区域分割的应用领域也越来越广泛;关键区域分割通常是指利用计算机对图像进行处理、分析和理解,以分割出图像所包含的关键区域。目前,通常是直接利用输入图像进行关键区域的分割,而分割结果的准确性与输入图像中所包含的信息息息相关;基于此,如何更好地利用输入图像来保障关键区域分割的准确性,成为了研究热点问题。
发明内容
本申请实施例提供了一种图像分割方法、装置、计算机设备及介质,可以通过图像的掩码信息,来对图像中不同区域进行差异化学习,以提高图像中关键区域的分割准确性。
第一方面,本申请实施例提供了一种图像分割方法,包括:
获取样本图像以及所述样本图像对应的掩码信息,所述样本图像的掩码信息用于指示:所述样本图像中每个像素点相对于所述样本图像中关键区域的位置相关程度;
调用图像分割网络基于所述掩码信息对所述样本图像进行特征提取处理,得到所述样本图像中每个像素点的样本分割结果;任一像素点的样本分割结果包括:用于指示所述任一像素点所属的对象类别的类别指示信息以及用于指示所述任一像素点是否处于样本图像中的关键区域的区域指示信息;
获取所述样本图像中每个像素点的标注分割结果,基于所述样本图像中每个像素点的标注分割结果以及样本分割结果对所述图像分割网络进行训练,得到训练后的图像分割网络;所述训练后的图像分割网络用于对图像进行关键区域的分割处理。
第二方面,本申请实施例提供了一种图像分割装置,包括:
获取单元,用于获取样本图像以及所述样本图像对应的掩码信息,所述样本图像的掩码信息用于指示:所述样本图像中每个像素点相对于所述样本图像中关键区域的位置相关程度;
处理单元,用于调用图像分割网络基于所述掩码信息对所述样本图像进行特征提取处理,得到所述样本图像中每个像素点的样本分割结果;任一像素点的样本分割结果包括:用于指示所述任一像素点所属的对象类别的类别指示信息以及用于指示所述任一像素点是否处于样本图像中的关键区域的区域指示信息;
所述处理单元,还用于获取所述样本图像中每个像素点的标注分割结果,基于所述样本图像中每个像素点的标注分割结果以及样本分割结果对所述图像分割网络进行训练,得到训练后的图像分割网络;所述训练后的图像分割网络用于对图像进行关键区域的分割处理。
第三方面,本申请实施例提供了一种计算机设备,该计算机设备包括处理器和存储器,其中,存储器用于存储计算机程序,该计算机程序包括程序指令,处理器被配置用于调用该程序指令,执行上述方法中的部分或全部步骤。
第四方面,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令被处理器执行时,用于执行上述方法中的部分或全部步骤。
第五方面,本申请实施例还提供了一种计算机程序产品或者计算机程序,该计算机程序产品或计算机程序包括程序指令,该程序指令被处理器执行时可实现上述方法中的部分或全部步骤。
本申请实施例,可以获取样本图像以及样本图像对应的掩码信息,样本图像的掩码信息可以用于指示:样本图像中每个像素点相对于样本图像中关键区域的位置相关程度;可以调用图像分割网络基于掩码信息对样本图像进行特征提取处理,得到样本图像中每个像素点的样本分割结果;任一像素点的样本分割结果可以包括:用于指示任一像素点所属的对象类别的类别指示信息以及用于指示任一像素点是否处于样本图像中的关键区域的区域指示信息;还可以获取样本图像中每个像素点的标注分割结果,以基于样本图像中每个像素点的标注分割结果以及样本分割结果对图像分割网络进行训练,得到训练后的图像分割网络;训练后的图像分割网络用于对图像进行关键区域的分割处理。通过实施上述方法,可通过图像的掩码信息,来对图像中不同区域进行差异化学习,以提高图像中关键区域的分割准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像分割系统的架构示意图;
图2是本申请实施例提供的一种图像分割方法的流程示意图;
图3a是本申请实施例提供的一种展示位置重要程度的示意图;
图3b是本申请实施例提供的一种图像分割网络的结构示意图;
图3c是本申请实施例提供的一种第一编码子网络的结构示意图;
图3d是本申请实施例提供的一种第二编码子网络的结构示意图;
图3e是本申请实施例提供的另一种图像分割网络的结构示意图;
图4是本申请实施例提供的另一种图像分割方法的流程示意图;
图5a是本申请实施例提供的一种展示图像中关键区域和无效区域的示意图;
图5b是本申请实施例提供的一种展示图像中对象的示意图;
图5c是本申请实施例提供的另一种展示图像中对象的示意图;
图6是本申请实施例提供的又一种图像分割方法的流程示意图;
图7是本申请实施例提供的一种图像分割装置的结构示意图;
图8是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
为了更好地理解本申请实施例的方案,下面先对本申请实施例可能涉及的相关术语和概念进行介绍。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互系统、机电一体化等。其中,预训练模型又称大模型、基础模型,经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。大模型技术为计算机视觉技术发展带来重要变革,swin-transformer,ViT,V-MOE,MAE等视觉领域的预训练模型经过微调(fine tune)可以快速、广泛适用于下游具体任务。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。预训练模型是深度学习的最新发展成果,融合了以上技术。
地图要素:地图数据图像中的有用物理点信息,例如交限、限速牌,电子眼等。
卷积神经网络:是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习(Deep Learning)的代表算法之一。
分类网络:利用神经网络进行地图要素类别识别,输入为图像数据,输出为图像中包含的要素类别。
特征相似度:评定两个空间特征相似程度的一种度量。例如用距离,角度等来衡量相似程度。
关键区域分割:采集到的图像中有很多无效区域,例如水印区域,无法区分的天空,树木,移动的汽车等区域,通过关键区域分割,将图像中的无效区域分割出来,只保留有效区域,则可以有效保留图像信息,提升图像质量。
基于上述人工智能技术中所提及的计算机视觉技术和机器学习等技术,本申请提出了一种图像分割网络(即用于对图像中关键区域进行分割的网络)。该图像分割网络可以通过图像的掩码(Mask)信息来重点学习图像所包括的关键区域的图像特征,以较为准确地识别出对象图像中的关键区域;其中,掩码信息可以用于指示图像中每个像素点相对于图像中关键区域的位置相关程度。进一步地,本申请实施例基于该图像分割网络还提出了一种图像分割方案;具体的,该方案原理如下:可以获取用于训练图像分割网络的样本数据,如该样本数据可以包括样本图像以及样本图像对应的掩码信息。在获取到样本数据之后,可以调用图像分割网络基于掩码信息对样本图像进行特征提取处理,得到样本图像中每个像素点的样本分割结果。还可以获取样本图像中每个像素点的标注分割结果,以基于样本图像中每个像素点的标注分割结果以及样本分割结果对图像分割网络进行训练,得到训练后的图像分割网络。而该训练后的图像分割网络可以用于对图像进行关键区域的分割处理。
其中,任一像素点的样本分割结果可以包括:用于指示任一像素点所属的对象类别的类别指示信息,以及用于指示任一像素点是否处于样本图像中的关键区域的区域指示信息。
经实践表明,本申请实施例所提出的图像分割方案可具有如下有益效果:可以有效的引入空间位置信息,而该空间位置信息展示了样本图像中每个像素点相对于样本图像中关键区域的位置相关程度,则可以基于各个像素点的位置相关程度引导图像分割网络对样本图像中的不同区域进行差异化学习,如可以引导图像分割网络可以重点关注样本图像中的感兴趣区域(即关键区域),而抑制样本图像中其他区域信息的干扰,以更加准确的预测出图像中的关键区域,从而有效提高图像分割网络的针对关键区域的分割准确性。
在具体应用场景中,该图像分割网络可以用于地图领域中,如具体可以应用在地图更新场景中。在一个实施例中,可以将地图图像输入图像分割网络中,以利用该图像分割网络对地图图像进行关键区域的分割,以识别出地图图像中的关键区域(如包含道路的区域)以及无效区域(如天空、树木、车辆、车内景、水印等区域)。而通过关键区域的分割,进一步可以将地图图像中的无效区域分割出来,极大的过滤地图图像中无效区域,仅保留关键区域,则可以保留图像中有效的图像信息,提升图像质量。后续在对地图图像进行目标(如上述的地图要素)检测时,也可以有效避免因地图图像无效信息过多而导致的误检问题,从而提升目标检测的准确率,进而提升地图自动更新的能力。
在具体实现中,上述所提及的图像分割方案的执行主体可以是计算机设备,该计算机设备可以是终端或者服务器。此处所提及的终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器,等等。
需要说明的是,当计算机设备为服务器时,本申请实施例提供了一种图像分割系统,如图1所示,该图像分割系统包括至少一个终端和至少一个服务器;终端可以获取用于样本图像以及对应的掩码信息,并将获取到的样本图像以及掩码信息上传至服务器(即计算机设备),以使计算机设备可以采用图像分割方案从利用样本图像以及掩码信息对图像分割网络进行训练,以得到训练后的图像分割网络。
可以理解的是,在本申请的具体实施方式中,涉及到例如用户数据、执行数据、结果数据等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得对象的许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
基于上述所提供的图像分割方案,本申请实施例提供了一种图像分割方法,该图像分割方法可由上述所提及的计算机设备执行,本实施例主要描述图像分割网络的训练过程。请参阅图2,该图像分割方法包括但不限于以下步骤:
S201,获取样本图像以及样本图像对应的掩码信息。
需要说明的是,在图像分割网络的训练中,针对图像分割网络的训练所需的样本数据可以包括一个或多个样本图像以及每个样本图像对应的掩码信息,考虑到在训练过程中,图像分割网络对每个样本图像进行处理的原理是一致的,则此处以一个样本图像为例对图像分割网络的训练过程进行阐述。
其中,样本图像可以是任意存在关键区域分割需求的图像,如样本图像可以是地图领域、交通领域、人物识别领域等中的样本图像。例如,在地图领域下,样本图像可以是地图领域中的地图图像,该样本图像可以是通过图像获取设备获取到的包含地理区域的地图图像。该图像获取设备不作限制,例如该图像获取设备可以是车载拍照设备,该地理区域可以是指道路,即样本图像可以是以道路为拍摄视角拍摄得到的地图图像。基于此可知,在这种情况下获取样本图像的具体实现可以是:可以获取通过车载拍照设备对行驶前方的道路进行拍照,所得到的图像序列,并将图像序列中的每张图像作为样本数据中的样本图像。又如,在人物识别领域中,样本图像可以是以人为主体拍摄得到的人物图像。
其中,样本图像的掩码信息可以用于指示:样本图像中每个像素点相对于样本图像中关键区域的位置相关程度。样本图像中的关键区域可以预先设定,关键区域的大小不作限定。不同领域或不同场景下的关键区域可以有不同的定义,例如,在地图领域的地图更新场景中,且样本图像为以道路为拍摄视角拍摄得到的地图图像时,可以将样本图像中包含道路的区域作为关键区域,此处可以将道路理解为关键对象。又如,在人物识别领域中,且样本图像为以人为主体拍摄得到的人物图像时,可以将样本图像中包含人物的区域作为关键区域,此处可以将人物理解为关键对象。基于此可知,对于不同场景下的样本图像,可以预先确定各个场景下的关键对象,以基于关键对象所在的区域确定样本图像中的关键区域。
在一个实施例中,位置相关程度可以与像素点到关键区域的距离(或称之为是位置距离)呈负相关关系,即如果像素点离关键区域的距离越远,则该像素点的位置相关程度越低,而如果像素点离关键区域的距离越近,则该像素点的位置相关程度越高。其中,一个像素点到关键区域的距离可以是指像素点到关键区域的中心位置之间的距离。位置相关程度可以利用权重值来表征,且位置相关程度与权重值呈正相关关系,即如果某一像素点的位置相关程度越高,则该像素点的位置相关程度所对应的权重值越大,如果某一像素点的位置相关程度越低,则该像素点的位置相关程度所对应的权重值越小。
在一个实施例中,可以将关键区域中的像素点的权重值设置为1,对于远离关键区域的像素点的权重值可以按照预设步长依次降低,该预设步长可以预先设置,其具体数值不作限定,如可以将预设步长设置为0.1,0.2等等。例如,参见图3a所示的图像,该图像可以作为一个样本图像,图3a中的区域301可以作为一个关键区域,而与区域301越远的像素点对应的位置相关程度也就越低,即像素点对应的权重值越小。
基于上述描述可知,在样本图像为以道路为拍摄视角拍摄得到的地图图像时,获取样本图像的掩码信息的具体实现可以是:可以先基于样本图像中包含道路的区域确定样本图像的关键区域;此处关键区域的大小不作限定,如图3a中的区域301可以作为样本图像的关键区域。在确定关键区域后,还可以进一步确定样本图像中每个像素点与关键区域之间的位置距离,以基于每个像素点与关键区域之间的位置距离,分别确定每个像素点相对于样本图像中关键区域的位置相关程度;其中,位置相关程度可以与像素点到关键区域的位置距离呈负相关关系。进而可以基于每个像素点相对于样本图像中关键区域的位置相关程度构建样本图像对应的掩码信息。在一个实施例中,可以基于每个像素点相对于样本图像中关键区域的位置相关程度,分别确定每个像素点对应的权重值,并由每个像素点的权重值构建样本图像的掩码信息;其中,权重值的大小与位置相关程度与呈正相关关系。
可见,在本申请实施例中,可以根据图像的拍摄视角,得到整个图像中的空间距离关系,由近及远,从中间向两边扩散,以有效的引入空间语义信息(或者说空间位置信息),而该空间语义信息展示了样本图像中每个像素点相对于样本图像中关键区域的位置相关程度,可以基于各个像素点的位置相关程度引导图像分割网络对样本图像中的不同区域进行差异化学习,如可以引导图像分割网络可以重点关注样本图像中的感兴趣区域(即关键区域),而抑制样本图像中其他区域信息的干扰,以更加准确的预测出图像中的关键区域。
在一种实现方式中,在利用样本数据对图像分割网络进行训练时,一个批次(batch)输入的样本图像可以是一个或多个。在一个实施例中,可以优先考虑同时输入多个样本图像以及对应的掩码信息,以对多个样本图像进行处理,即通过图像分割网络进行batch推断,从而降低图像分割网络进行训练所消耗的时间,进而提高训练效率。
S202,调用图像分割网络基于掩码信息对样本图像进行特征提取处理,得到样本图像中每个像素点的样本分割结果。
其中,任一像素点的样本分割结果可以包括:用于指示任一像素点所属的对象类别的类别指示信息,以及用于指示任一像素点是否处于样本图像中的关键区域的区域指示信息。例如,某一像素点的对象类别为天空,且该像素点不处于关键区域,则该像素点的类别指示信息为针对天空的指示信息,区域指示信息为针对不处于关键区域的指示信息。又如,某一像素点的对象类别为道路,且该像素点处于关键区域,则该像素点的类别指示信息为针对道路的指示信息,区域指示信息为针对处于关键区域的指示信息。
其中,图像分割网络可以是具有区域分割功能的网络,例如,该图像分割网络可以是DeeplabV2、DeeplabV3等网络。
在一种实现方式中,图像分割网络可以是一种基于编码器和解码器的网络架构,即图像分割网络可以包括编码网络(Encoder)以及解码网络(Decoder),例如,该图像分割网络可如图3b所示。在图像分割网络中,可以利用编码网络对输入的样本图像进行编码,以得到样本图像所包含的特征(如可以称之为是编码特征),然后在解码网络中利用编码特征进行图像恢复,解码网络的输出是一个分割图像,该分割图像显示有不同区域。
在这种情况下,可以调用编码网络并基于掩码信息对样本图像进行编码处理,以得到样本图像的编码特征;其中,掩码信息可以作为对样本图像进行特征提取的辅助信息,以通过掩码信息中各个像素点的位置相关程度使得编码网络可以对样本图像中的不同区域进行差异化学习。在得到编码特征之后,即可以调用解码网络对编码特征进行解码处理,以得到样本图像的样本分割结果。
在一种实现方式中,在编码网络中可以包括进行浅层特征提取的网络(如可以称之为是第一编码子网络)以及深层特征提取的网络(如可以称之为是第二编码子网络)。其中,样本图像中的浅层特征可以是包括样本图像中的边缘纹理、颜色等基本的结构属性信息,样本图像中的深层特征可以包括样本图像中所包含的高阶的语义信息。
则在编码过程中,可以调用编码网络中的第一编码子网络基于掩码信息对样本图像进行卷积处理,以得到样本图像的第一特征图;该第一特征图可以包括该样本图像所包含的浅层特征,即该第一特征图可以包括样本图像中存在的结构属性信息;还可以调用编码网络中的第二编码子网络对第一特征图进行多尺度的卷积处理,以得到样本图像的第二特征图;该第二特征图可以包括该样本图像所包含的深层特征,即该第二特征图可以包括样本图像中存在的语义信息。在得到这两种维度的特征之后,即可以将第一特征图和第二特征图作为样本图像的编码特征。
在一个实施例中,在上述所涉及的特征提取部分的网络(如第一编码子网络)可以由卷积网络(Convolution),归一化网络(Batch Normalization,BN)和激活网络(Relu)组成;例如,第一编码子网络的网络架构可如图3c所示。其中,卷积网络可以负责提取样本图像中边缘纹理等基本特征。归一化网络可以负责将卷积层提取的特征按照正态分布进行归一化处理,过滤掉特征中的噪声特征,使得图像分割网络的训练收敛更加快速。激活网络可以负责对卷积网络提取的特征进行非线性映射,加强图像分割网络的泛化能力。
在一个实施例中,第二编码子网络可以包括多尺度特征提取网络、多尺度融合子网络以及通道调整子网络;例如,第二编码子网络的网络架构可如图3d所示。其中,多尺度特征提取网络可以用于提取不同尺度的特征,多尺度融合子网络可以用于对多个不同尺度的特征进行融合处理,通道调整子网络可以用于调整特征的通道数。通道调整子网络可以利用尺寸为1×1的卷积核构成。
其中,多尺度特征提取网络可以采用不同采样率的卷积网络构成,如采样率可以是6、12、18等等;此处卷积网络所用的卷积可以是普通卷积,也可以是空洞卷积,可以优先考虑使用空洞卷积(或称之为是扩张卷积)。需要理解的是,空洞卷积(Atrous Conv)是一种可以在不增加网络参数的情况下,增大感受野的技术,则通过空洞卷积可以很好的帮助图像分割网络从样本图像中获取更多的图像信息,以利用更多的图像信息可以加强对样本图像的学习能力。并且,采用多个空洞卷积,且不同的空洞卷积具有不同的采样率(Rate),也获取样本图像中不同尺度的局部的图像信息,以得到不同感受野的特征图。可见,在图像分割网络的编码模块,采用扩张卷积的方式,可以增大感受野,从而可以精确的定位目标,同时也有助于多尺度的捕捉上下文信息,更好的进行特征融合。
基于此可知,通过第二编码子网络得到第一特征图的具体实现可以是:将第一特征图输入第二编码子网络中的多尺度特征提取网络,以调用第二编码子网络中的多尺度特征提取网络对第一特征图进行特征提取,得到多个尺度的子特征图,其中,多尺度特征提取网络可以包括多个不同采样率的卷积网络,多个不同尺度的子特征图可以是通过利用不同采样率的卷积网络分别对第一特征图进行卷积处理得到的,即不同的子特征图是利用不同的采样率得到的;然后,这多个子特征图可以输入多尺度融合子网络,以调用第二编码子网络中的多尺度融合子网络对多个不同尺度的子特征图进行融合处理,得到融合子特征图,此处的融合处理可以是拼接处理,即可以将多个子特征图进行拼接,以得到融合子特征图;最后,可以将融合子特征图输入通道调整子网络,以调用第二编码子网络中的通道调整子网络的对融合子特征图进行通道数的调整,得到第二特征图。
其中,第一编码子网络可以是指图像分割网络中的骨干网络(backbone),该第一编码子网络具体可以是DCNN(Dynamic Convolution Neural Network,动态卷积神经网络),或其他网络,DCNN中的卷积也可以是空洞卷积。第二编码子网络可以采用ASPP(AtrousSpatial Pyramid Pooling,空洞金字塔池化)网络,或其他网络。ASPP网络是一种基于空洞卷积的特征处理模式。本申请实施例以第一编码子网络为DCNN网络,第二编码子网络为ASPP网络为例进行相关说明。
例如,图像分割网络还可如图3e所示,其中,ASPP网络可以包括四个不同采样率的空洞卷积:1×1 Conv(卷积),采样率为6的3×3 Conv,采样率为12的3×3 Conv,采样率为18的3×3 Conv;还可以包括一个池化(Pooling)网络。则第一特征图在输入该ASPP网络后,可以分别使用四个不同采样率的空洞卷积以及一个池化(Pooling)网络对第一特征图进行处理,以得到五个子特征图;而五个子特征图进行拼接处理,以得到融合子特征图;最后,该融合子特征图可以利用一个1×1卷积对通道数进行调整,从而得到第二特征图。
在一种实现方式中,解码网络中可以包括通道调整网络、上采样网络以及融合网络,例如,该解码网络的网络架构可如图3b所示。其中,通道调整网络可以用于对第一特征图进行通道数的调整;此处的通道调整网络也可以利用一个尺寸1×1的卷积核来构建。此处通过对第一特征图进行通道数的调整,以保证后续可以将浅层特征和深层特征可以进行融合。上采样网络可以用于对第二特征图进行上采样处理,以将编码网络中卷积得到的特征进行展开,得到与输入的样本图像相同维度的特征图,从而得到预测的关键区域结果。融合网络可以用于对通道调整网络的输出以及上采样网络的输出进行融合处理,此处的融合处理可以是拼接处理。
基于此可知,在解码过程中,可以调用解码网络中的通道调整网络对第一特征图进行卷积处理,得到第三特征图;此处通过对第一特征图的通道数的调整,可以保证第三特征图的通道数与第二特征图的通道数是一致的,便于后续的融合处理;还可以调用解码网络中的上采样网络对第二特征图进行上采样处理,得到第四特征图。其中,第四特征图的通道数与第三特征图的通道数是相同的,且两个特征图的维度也是相同的,以便于可以进行后续的融合处理。
在得到第三特征图以及第四特征图之后,即可以调用解码网络中的融合网络对第三特征图和第四特征图进行融合处理,得到融合特征图;进而可以利用融合特征图对样本图像进行图像分割,得到样本图像的样本分割结果。
例如,参见图3e所示中的解码网络中,第一特征图可以通过1×1 Conv的卷积处理,得到第三特征图;第二特征图可以以4倍的倍数进行上采样,得到第四特征图;然后第三特征图与第四特征图进行拼接,得到融合特征图;在得到融合特征图之后,可以利用3×3Conv进行卷积处理,以细化特征;接着可以再进行4倍上采样,从而得到针对样本图像的样本分割结果。
S203,获取样本图像中每个像素点的标注分割结果,基于样本图像中每个像素点的标注分割结果以及样本分割结果对图像分割网络进行训练,得到训练后的图像分割网络。
其中,任一像素点的标注分割结果可以包括:用于指示任一像素点所属的对象类别的标注类别指示信息,以及用于指示任一像素点是否处于样本图像中的关键区域的标注区域指示信息。此处的标注分割结果的理解可以参考上述样本分割结果的理解,此处不再赘述。
在一种实现方式中,可以基于样本图像中每个像素点的标注分割结果以及样本分割结果计算图像分割网络的网络损失值,以基于网络损失值对图像分割网络进行训练,得到训练后的图像分割网络。如可以按照减少网络损失值的方向,优化图像分割网络的网络参数,以得到训练后的图像分割网络。在一个实施例中,可以采用网络损失函数基于样本图像中每个像素点的标注分割结果以及样本分割结果计算网络损失值,该网络损失函数可以是交叉熵损失函数等,对此不作限定。
需要说明的是,原始的图像分割网络的网络结构是比较大的,即图像分割网络中的网络参数的参数量较大,而参数量越大,网络在进行相关计算时,也需要花费较多的时间,从而导致网络的运行速度较慢。基于上述考虑,可以朝着在保证图像分割网络的训练效果的同时尽可能地减少图像分割网络的网络参数,以提升网络的运行速度,节省计算时间,提升网络处理能力。
需要说明的是,该图像分割网络中包括骨干网络(backbone),如该骨干网络可以是指上述编码网络中的第一编码子网络。例如,该第一编码子网络可以是DCNN(DynamicConvolution Neural Network,动态卷积神经网络),DCNN是一个网络参数较大的网络,则为整体减少图像分割网络的网络参数,可以将DCNN替换为一个参数量更小的网络。基于此可知,对于原始的图像分割网络,可以利用一个网络参数的参数量更小的骨干网络替换图像分割网络中的骨干网络,以降低图像分割网络整体的参数量。
同样可以理解的是,图像分割网络是包括多个网络参数的,则可以考虑通过对图像分割网络中网络参数的剪枝,以降低图像分割网络整体的参数量。或利用其他方式来降低图像分割网络的参数量。
可以理解的是,图像分割网络的训练为迭代训练,在为找到最终所需的图像分割网络,在网络的训练过程中,可以不断尝试对图像分割网络的网络结构进行变换,以找到既可以保证网络效果,又可以降低参数量的图像分割网络。基于此可知,从替换骨干网络方式来降低参数量的情况下,则可以考虑在图像分割网络的迭代训练中,不断尝试利用不同骨干网络所构建的图像分割网络进行训练,以从中选择出既可以保证网络效果,又可以降低参数量时的骨干网络,并将这种骨干网络所构建的图像分割网络作为最终所需要的图像分割网络。从对网络参数进行剪枝来降低参数量的情况下,则可以考虑对多个网络参数中的不同网络参数进行剪枝,以从中选择出在进行剪枝后,还可保证网络效果时的剪枝情况,并将这种剪枝情况下的图像分割网络作为最终所需要的图像分割网络。
下述对骨干网络的替换以及网络参数的剪枝进行具体阐述。
(1)替换骨干网络方式来降低参数量的情况。
可以预先设置可适用于图像分割网络的一个或多个参考骨干网络,其中,每个参考骨干网络的网络参数的参数量小于图像分割网络中原始骨干网络的网络参数的参数量,原始骨干网络是指图像分割网络中原始的骨干网络;分别对在每个参考骨干网络所构建的图像分割网络进行训练,以得到每个参考骨干网络所构建的图像分割网络下的网络效果(如可以称之为是参考网络效果);还需要对在原始骨干网络所构建的图像分割网络进行训练所产生的网络效果(如可以称之为是原始网络效果)。
其中,此处的网络效果可以利用图像分割网络进行训练时所产生的在性能指标上的指标数据来表征,如此处的参考网络效果对应利用参考指标数据来表征,原始网络效果对应利用原始指标数据来表征。性能指标可以是准确性(Accuracy)、精确率(Precision)、召回率(Recall)、综合指标F1等中的一个或多个;F1可以用于衡量图像分割网络的精确率和召回率的平衡。
基于此可知,可以获取分别对在每个参考骨干网络下所构建的图像分割网络进行训练时,所产生的在性能指标上的参考指标数据,以及在原始骨干网络下所构建的图像分割网络进行训练时,所产生的在性能指标上的原始指标数据;在获取到这些指标数据之后,即可以基于多个参考指标数据以及原始指标数据,从一个或多个参考骨干网络中确定出目标骨干网络。进一步可以将图像分割网络中的原始骨干网络替换为目标骨干网络,则替换后的图像分割网络(即目标骨干网络下所构建的图像分割网络)可以作为训练后的图像分割网络。
可选的,可以将多个参考指标数据与原始指标数据进行比较,以从一个或多个参考指标数据中,确定与原始指标数据所指示的性能之间的性能差异在预设范围内的参考指标数据,如可以将此处所确定出的参考指标数据称之为是候选指标数据,并可以将候选指标数据对应的参考骨干网络作为候选骨干网络;然后基于候选骨干网络确定目标骨干网络。
其中,预设范围的设置思想可以是:参考指标数据所指示的性能优于或等于或略差于原始指标数据所指示的性能。如果利用数学形式表示,该预设范围可表示为[+∞,-d],其中,d可以设置为一个较小的数值,以保证变更后的图像分割网络的性能仅会略差于原始的图像分割网络。即在后续确定最终的图像分割网络时,可以尽可能的保证在降低图像分割网络的参数量的同时,图像分割网络的性能不比原始的图像分割网络更差。
例如,假设性能指标为准确性,即骨干网络对应的指标数据是在准确性维度下具体的数值;则如果在某一参考骨干网络下的准确性高于原始骨干网络下的准确性;或参考骨干网络下的准确性等于原始骨干网络下的准确性;或参考骨干网络下的准确性低于原始骨干网络下的准确性,且两者之间的差异在预设数值(即上述的d值)之内,均可以将该参考骨干网络作为目标骨干网络。
其中,上述基于候选骨干网络确定目标骨干网络的具体实现可以是:如果候选骨干网络的数量为一个,则可以将该候选骨干网络作为目标骨干网络。如果候选骨干网络的数量为多个,则可以从这多个候选骨干网络中选择一个作为目标骨干网络。在一个实施例中,可以从这多个候选骨干网络中随机选择一个作为目标骨干网络;或者,可以从多个候选骨干网络选择出具有最小参数量的候选骨干网络,并将所选择出的候选骨干网络作为目标骨干网络,以尽可能降低图像分割网络中的参数量;或者,可以从多个候选骨干网络选择出具有最优性能的候选骨干网络,并将所选择出的候选骨干网络作为目标骨干网络,以在保证降低图像分割网络的参数量的同时,尽可能提高图像分割网络的网络效果;或者,也可以以其他方式从候选骨干网络中选择出目标骨干网络,对此不作限定。
(2)对网络参数进行剪枝来降低参数量的情况。
在图像分割网络的迭代训练过程中,可以对多个网络参数进行剪枝,以得到剪枝后的图像分割网络;可以理解的是,在训练过程中,可以对剪枝后的图像分割网络进行训练,以得到在剪枝后的图像分割网络下的网络效果(如可以称之为是第一网络效果);并且,也可以对未剪枝的图像分割网络进行训练,以得到在未剪枝的图像分割网络下的网络效果(如可以称之为是第二网络效果)。此处的网络效果的理解与上述所提及的网络效果作同样理解,则可以基于第一网络效果以及第二网络效果,确定是否将剪枝后的图像分割网络作为最终所需的图像分割网络。可选的,可以将第一网络效果与第二网络效果进行比较,如果第一网络效果与第二网络效果之间的效果差异在预设范围内,则可以将通过训练的剪枝后的图像分割网络作为训练后的图像分割网络。
如前所述,网络效果可以是性能指标上述的指标数据来表征的,则此处的第一网络效果可以是指:剪枝后的图像分割网络进行训练时所产生的在性能指标上的指标数据(如可以称之为是第一指标数据);第二网络效果可以是指:未剪枝的图像分割网络进行训练时所产生的在性能指标上的第二指标数据(如可以称之为是第二指标数据)。
则基于第一网络效果以及第二网络效果,确定是否将剪枝后的图像分割网络作为最终所需的图像分割网络的具体实现可以是:获取对剪枝后的图像分割网络进行训练时所产生的在性能指标上的第一指标数据,以及对未剪枝的图像分割网络进行训练时所产生的在性能指标上的第二指标数据;如果第一指标数据所指示的性能与第二指标数据所指示的性能之间的性能差异在预设范围内,则可以将通过训练的剪枝后的图像分割网络作为训练后的图像分割网络。
其中,此处剪枝后的图像分割网络可以是指在训练过程中,当前次进行剪枝后的图像分割网络;未剪枝的图像分割网络可以是指原始的图像分割网络,也可以是指在当前次的前一次进行剪枝后的图像分割网络。
需要说明的是,此处以仅对图像分割网络的一次剪枝为例进行说明,在图像分割网络的迭代训练中,是可以对图像分割网络进行多次剪枝,以从中选择出其中一次剪枝后的图像分割网络作为最终所需的图像分割网络,其选择原理与上述的在多个参考骨干网络中选择出目标骨干网络的原始是类似的,即保证可在降低参数量的同时,剪枝后的图像分割网络的网络效果也尽可能不差于未剪枝的图像分割网络的网络效果。
在一种实现方式中,在训练过程中,对图像分割网络进行剪枝时,每次需被剪枝的网络参数可以是随机选择的,也可以是按预设剪枝规则进行剪枝的。在预设剪枝规则可以是基于网络参数的重要程度来设置的。在一个实施例中,按照预设剪枝规则进行剪枝的具体实现可以是:可先获取多个网络参数中每个网络参数的重要程度;其中,网络参数的重要程度可以预先设置,如可以是技术人员预先标注了各个网络参数的重要程度,则在需要获取这些数据时,可以直接获取;在获取到这些网络参数的重要程度之后,可以按照重要程度对多个网络参数进行排序,以得到排序结果;如可以按照重要程度从小到大的顺序,或者从大到小的顺序对多个网络参数进行排序,以得到对应的排序结果。
在得到对应的排序结果之后,即可以基于排序结果从多个网络参数中确定目标网络参数;进一步的,可以将目标网络参数的权值连接值设置为目标数值,以对目标网络参数进行剪枝,得到剪枝后的图像分割网络。其中,目标数值可以为0。
考虑到此次是为尽可能不影响原始的网络效果,则此处在进行目标网络参数的选择时,可以优先选择重要程度较低的网络参数作为目标网络参数。例如,假设排序结果是按照从小到大的顺序进行排序所得到的结果,则可以将处于排序结果中前L位的网络参数作为目标网络参数。在进行目标网络参数的选择时,目标网络参数的数量可以是一个,也可以是多个,即L为大于或等于1的正整数。
例如,以每次剪枝对应的目标网络参数的数量为一个来说,在对原始的图像分割网络进行第一次剪枝时,对应的目标网络参数可以是上述排序结果中处于第一位的网络参数;在对原始的图像分割网络进行第二次剪枝时,对应的目标网络参数可以是上述排序结果中处于第二位的网络参数,依此类推,可以对多个不同剪枝情况的图像分割网络进行训练,以从中选择出即可保证网络效果,又可有效降低参数量的图像分割网络。
在一种实现方式中,上述对骨干网络的替换操作以及对网络参数的剪枝操作可以是并行的,则在图像分割网络的迭代训练中,即可以对图像分割网络中的骨干网络进行替换,也可以对网络参数进行剪枝;然后获取在通过这两种操作所构建的图像分割网络的网络效果(如可以称之为是第三网络效果),以及未通过这两种操作所构建的图像分割网络的网络效果(如可以称之为是第四网络效果);进一步的,可以基于第三网络效果以及第四网络效果,确定是否将通过这两种操作所构建的图像分割网络作为最终所需的图像分割网络。可选的,可以将第三网络效果与第四网络效果进行比较,如果第三网络效果优于或等于第四网络效果,则可以将通过这两种操作所构建的图像分割网络作为训练后的图像分割网络。
需要说明的是,此处以仅对图像分割网络进行的一次两个操作为例进行说明,在图像分割网络的迭代训练中,是可以对图像分割网络进行多次两个操作,以从中选择出最终所需的图像分割网络,其选择原理与上述的在多个参考骨干网络中选择出目标骨干网络的原始是类似的,此处不作赘述。
可见,在本申请实施例中,通过对图像分割网络中骨干网络的替换或图像分割网络中网络参数的剪枝,可以在保证网络的训练效果的同时尽可能地减少网络的网络参数,从而可以有效节省图像分割网络的计算时间,进而有效提升网络运行速度,提升网络处理能力。
在一种实现方式中,在图像分割网络的训练过程中,训练所需的学习率可以是固定不变的,也可以是随机可变的,对此不作限定。为使得图像分割网络可以更加容易收敛,则可以有效考虑设置学习率为随机可变,并设置梯度下降的训练方式,以使得网络训练更加容易收敛,从而提升图像分割网络的准确率,提升利用图像分割网络进行关键区域分割的准确率。
如前所述,本申请实施例可以利用诸多优化项(如使用更小的骨干网络、进行剪枝操作、设置学习率随机可变等)对图像分割网络进行关键区域分割的能力优化,从而使得图像分割网络可以准确找到图像中的关键区域。
其中,训练后的图像分割网络可以用于对图像进行关键区域的分割处理。
在一种实现方式中,可以将待分割图像输入训练后的图像分割网络中,以使得该图像分割网络对待分割图像进行分割处理,得到待分割图像中的关键区域。其中,可以将待分割图像中除关键区域之外的其他区域称之为是无效区域。
其中,关键区域可以是指关键对象所在的区域,同理,无效区域可以是指无效对象所在的区域,此处图像的关键对象以及无效对象可以预先定义,以便于后续可以从图像中确定关键区域以及无效区域。如在地图更新场景中,可以将有利于地图更新的道路定义为关键对象,而将天空、树木、车辆等定义为无效对象,则道路所在区域为关键区域,天空、树木、车辆等区域为无效区域。在一个实施例中,可以仅预先设置关键对象,那么对于该关键对象的其他对象均默认为无效对象。另一个实施例中,也可以预设设置关键对象以及无效对象。
可以理解的是,图像分割网络具有识别图像中对象,以及对象所在区域的功能,基于此可知,图像分割网络对该待分割图像进行分割处理,得到待分割图像中的关键区域的具体实现可以是:将待分割图像输入训练后的图像分割网络,以通过该图像分割网络对待分割图像进行分割处理,得到待分割图像中所包含的一个或多个对象(如为方便描述,可以将此处的对象称之为是参考对象)以及参考对象所位于的区域(如为方便描述,可以将此处的区域称之为是参考区域)。还可以获取预先设置的关键对象,将待分割图像中的一个或多个参考对象与关键对象进行匹配,并可以将匹配到的参考对象的参考区域作为关键区域,也可以将目标图像中除关键区域之外的其他区域作为无效区域。
在一种实现方式中,为使图像分割网络可以适用于多种领域下(或者说多种场景)下的关键区域的分割处理,在训练图像分割网络时,可以利用不同场景下的样本数据对图像分割网络进行训练,以提高训练得到的图像分割网络的泛化能力,从而保证训练后所得到的图像分割网络可以有较好的网络效果,并且在对不同场景下的图像进行关键区域的分割处理时,可以采用同一个网络进行处理,不需因场景的变化而对网络进行变化。其中,场景类型的划分不作具体限定,例如,场景类型可以包括上述提及的地图更新场景、人物识别场景等等。具体实现中,可以获取多种场景下分别对应的样本数据,以利用多种场景下分别对应的样本数据对图像分割网络进行训练,得到训练后的图像分割网络。
基于此可知,图像分割网络可以是利用不同场景下的样本图像训练得到的。在这种情况下,考虑到不同场景下的关键对象的定义可能存在区别,则可以预先设置参考图像场景与参考关键对象之间的映射关系,该映射关系中包含了在不同场景下所对应的关键对象,如参考图像场景为地图更新场景时,参考关键对象可以为道路,在参考图像场景为人物识别场景时,参考关键对象可以是人物。
在这种情况下,对待分割图像进行关键区域的分割处理的具体实现可以是:可以获取待分割图像,并还可以获取待分割图像的图像场景,如图像场景可以是地图更新场景或人物识别场景等等;然后可以调用训练后的图像分割网络对待分割图像进行分割处理,以得到待分割图像中的一个或多个参考对象以及各个参考对象所位于的参考区域。进一步的,还可以获取参考图像场景与参考关键对象之间的映射关系,并基于映射关系和图像场景确定针对待分割图像的关键对象,如可以将图像场景与映射关系中的参考图像场景进行匹配,并将匹配到的参考图像场景对象的参考关键对象,作为待分割图像的关键对象。最后,可以将待分割图像中的一个或多个参考对象与关键对象进行匹配,并可以将匹配到的参考对象的参考区域作为待分割图像中的关键区域,待分割图像中的无效区域可以是指待分割图像中除关键区域之外的其他区域。
在本申请实施例中,可以有效的引入空间位置信息,而该空间位置信息展示了样本图像中每个像素点相对于样本图像中关键区域的位置相关程度,则可以基于各个像素点的位置相关程度引导图像分割网络对样本图像中的不同区域进行差异化学习,如可以引导图像分割网络可以重点关注样本图像中的感兴趣区域(即关键区域),而抑制样本图像中其他区域信息的干扰,以更加准确的预测出图像中的关键区域,从而有效提高图像分割网络的针对关键区域的分割准确性。
基于上述实施例,本申请实施例提供了另一种图像分割方法,该图像分割方法可由上述所提及的计算机设备执行,本实施例主要描述图像分割网络的应用过程,请参阅图4,该图像分割方法包括但不限于以下步骤:
S401,获取目标图像。
其中,目标图像可以是地图领域中的地图图像。在一个实施例中,在存在针对地图信息进行更新的更新需求时,可以获取针对更新需求所需的一个或多个地图图像,其中,此处的目标图像为这一个或多个地图图像中的任一张。
即目标图像可以为包含地理区域的地图图像,该地理区域可以是指道路,则目标图像可以是指以道路为拍摄视角拍摄得到的地图图像。该目标图像可以是通过图像获取设备获取到的。该图像获取设备不作限制,例如该图像获取设备可以是车载拍照设备。在一个实施例中,可以获取通过车载拍照设备对行驶前方的道路进行拍照,所得到的图像序列,该图像序列中可以包括一个或多个地图图像,该图像序列即可以作为更新需求所需的地图图像,而目标图像作为图像序列中的任一张。
S402,调用训练后的图像分割网络对目标图像进行分割处理,得到目标图像中的关键区域以及无效区域。
需要理解的是,地图道路数据采集过程中,为了进行地图信息的更新,通常需要保留图像中有效的图像信息,并过滤图像中的无效信息,进而更新地图信息;则在获取到目标图像之后,可以基于训练后的图像分割网络进行区域的分割,以确定出目标图像中的关键区域以及无效区域,便于后续的地图更新。
在一种实现方式中,可以将目标图像输入训练后的图像分割网络中,以使得该图像分割网络对该目标图像进行分割处理,得到目标图像中的关键区域以及无效区域。其中,无效区域可以是指目标图像中除关键区域之外的其他区域。
如前所述,关键区域可以是指关键对象所在的区域,无效区域可以是指无效对象所在的区域,图像的关键对象以及无效对象可以预先定义,如在地图更新场景中,可以将有利于地图更新的道路定义为关键对象,将天空、树木、车辆等定义为无效对象,则道路所在区域为关键区域,天空、树木、车辆等区域为无效区域。在一个实施例中,可以仅预先设置关键对象,那么对于该关键对象的其他对象均默认为无效对象。另一个实施例中,也可以预设设置关键对象以及无效对象。
基于此可知,步骤S402的具体实现可以是:可以将目标图像输入训练后的图像分割网络,以通过该图像分割网络对目标图像进行分割处理,得到目标图像中所包含的一个或多个目标对象(如为方便描述,可以将此处的对象称之为是目标对象)以及目标对象所位于的区域。还可以获取预先设置的关于关键对象,将目标图像中的一个或多个目标对象与关键对象进行匹配,并将匹配到的目标对象所位于的区域作为关键区域,以及将目标图像中除关键区域之外的其他区域作为无效区域。
可以理解的是,在地图领域中,在地图中关键的信息通常可以包括道路,以及道路上的地图要素(如交限、限速牌,电子眼等)等;则目标图像中的关键区域可以是指包含道路的区域,而无效区域可以是指例如天空、树木、车辆、车内景、水印等区域。那么,通过对目标图像进行关键区域的分割,可以将目标图像中的无效区域分割出来,只保留目标图像中的有效区域(关键区域),则可以有效保留目标图像中图像信息,降低图像冗余的问题,有效提升图像质量。例如,图5a所示的图像为目标图像,其中,501标注的区域可以为关键区域,502所标注的区域为无效区域。需要说明的是,图5b仅是针对关键区域以及无效区域的示例性举例。
其中,该图像分割网络还可以对目标图像中的对象进行识别,如可以识别出目标图像中的道路、天空、树木、车辆、车内景、水印等对象,并确定这些对象所在区域。例如,图5b所示的图像为目标图像,其中,503标注的区域为树木所在区域,504所标注的区域为车辆所在区域。通过上述关键区域以及无效区域的理解可知,图5b中区域503以及区域504均可以作为无效区域。
S403,基于目标图像中的关键区域以及无效区域对原始的地图信息进行更新,得到更新后的地图信息。
在一种实现方式中,如前所述,关键区域可以为包含道路的区域,无效区域可以是天空、树木、车辆、车内景、水印等区域,在地图信息中通常会涉及道路的更新,对于天空,树木等对于地图更新来说是无效的信息,则在对地图信息进行更新时,可以将目标图像中的无效区域进行剔除,仅利用目标图像中的关键区域对原始的地图信息进行更新,得到更新后的地图信息。可见,通过对图像中无效信息的过滤,可以有效避免因无效信息过多所带来的地图更新失误问题,从而提高地图更新的可靠性以及准确性。
需要理解的是,在对地图信息进行更新时,不仅需要利用到地图图像中的道路来进行更新,还需要利用地图要素(交限、限速牌,电子眼,路标,红绿灯,路牌)进行更新,以提高地图的准确性以及可靠性。考虑到在利用图像分割网络并不能精确的识别出所占区域较小的对象,如此处的地图要素。则在得到获取到进行关键区域分割的目标图像之后,还可以利用该目标图像进行对象检测。
基于此可知,在一种实现方式中,步骤S403的具体实现可以是:可以对目标图像进行对象检测,以确定目标图像中的一个或多个对象;其中,此处进行对象检测的具体实现不作限定,例如可以利用具有对象检测功能的神经网络来对目标图像进行对象检测,以确定出目标图像中的对象。此处所要检测的对象可以指地图要素,如可以是交限、限速牌,电子眼等。在确定出目标图像中的对象之后,可以基于关键区域以及无效区域对所确定出的对象进行过滤,以从一个或多个对象中确定出所需的对象,并利用此处所确定的对象以及关键区域对原始的地图信息进行更新,得到更新后的地图信息。
在一个实施例中,可以先确定一个或多个对象中每个对象所位于的目标区域,该目标区域可处于关键区域或无效区域中;然后,可以将目标区域处于无效区域中的对象进行过滤,并利用目标区域处于关键区域中的对象以及关键区域对原始的地图信息进行更新,得到更新后的地图信息。
例如,参见图5c所示,假设505标注的对象(路标)以及506标注的对象(红绿灯)处于关键区域,507标注的对象(人形路牌)处于无效区域,则可以将507标注的对象过滤掉。
在一种实现方式中,在对目标图像进行对象检测时,可以先将目标图像中的无效区域进行过滤(剔除),即仅在目标图像中的关键区域进行对象检测,从而可以避免再对无效区域进行对象检测,加大对象检测的工作量,而工作量的增大,也可能造成更多的误检,影响在关键区域进行对象检测的准确性。可见,直接对关键区域进行对象检测,而非对无效区域以及关键区域均进行对象检测,也可以有效提高对象检测效率以及对象检测的准确性。在这种情况下,步骤S403的具体实现可以是:可将目标图像中的无效区域过滤,并对目标图像中的关键区域进行对象检测,以确定处于关键区域中的对象;进而可以利用关键区域中的对象以及关键区域对原始的地图信息进行更新,以得到更新后的地图信息。
可见,可以通过将地图图像中的无效区域进行剔除,可以极大的过滤地图图像中无效区域,从而在对地图图像进行目标(即对象)检测时,可以将位于无效区域的目标进行过滤,从而提升目标检测的准确率,进而提升地图自动更新的能力。
为更加理解本申请实施例所提出的图像分割方法,下述结合图6进一步说明;其中,图像分割是利用图像分割网络来实现。例如,参见图6所示,在进行图像分割时,首先可以进行图像的采集,如可以通过车载拍照设备对行驶前方的道路进行拍照,形成图像序列。在采集到对应的图像之后,可以将所采集到的图像(如目标图像)输入到图像分割网络中,以进行关键区域的分割。其中,图像分割网络可以以DeeplabV3网络作为基础分割网络,提取图像中的关键区域。图像分割网络的输入为以一整张采集到的图像。
考虑到仅利用图像以及DeeplabV3网络对图像进行图像分割的精确度不高,且运行DeeplabV3网络所需的算力较大,则可以从以下方面对关键区域的分割进行优化。此处的优化体现在图像分割网络的训练过程中。
在图像分割网络的训练中,可以从以下几个方面进行优化:
方面一:可以通过引入空间语义信息,此处的空间语义信息可以是指上述的样本图像对应的掩码信息,即在图像分割网络中的训练中,该图像分割网络的输入除了可以包括样本图像,还可以包括样本图像对应的掩码信息,以利用掩码信息作为进行特征提取的辅助信息,来提高关键区域识别的准确性。
方面二:目的在于提高图像分割网络的运行速度,如可以通过使用更小的骨干网络以及剪枝操作,且并行化运行的方式,以提升网络运行速度,从而可以节省计算时间,提升网络处理能力。
方面三:目的在于提高图像分割网络的关键区域分割的准确性,如可以通过设置学习率随机可变,设置梯度下降的方式,来使得网络训练更加容易收敛,从而提升网络的准确率,提升关键区域分割的准确率。
在通过图像分割网络对图像进行关键区域的分割之后,即可以得到针对关键区域分割的图像,如该图像中可以区分有关键区域以及无效区域。那么,通过图像分割网络所输出的图像可以进一步进行原始的地图信息的更新。例如,可以对所输出的图像进行对象检测,以识别出图像中的地图要素,然后将处于无效区域中的图像重要进行过滤,并利用关键区域中的地图要素以及关键区域对地图信息进行更新。
可见,在本申请实施例中,可以实现基于关键区域分割的图像提质方法,有效解决采集到的图像质量较差,信息冗余的问题。本申请实施例对图像分割网络进行了一系列的优化操作,如引入空间语义信息,剪枝等进行优化提升,以保证图像分割网络有更高的关键区域的分割准确性。则对于采集到的图像,在利用图像分割网络进行关键区域分割时,可以准确找到图像中有效区域(加关键区域)与无效区域,进而通过对无效区域的滤除,可以有效提升对象检测的准确率,进而提升地图更新的能力。
上述方法实施例都是对本申请的方法的举例说明,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。例如,训练得到图像分割网络之后,即可获取目标图像,以利用图像分割网络实现对目标图像的关键区域的分割,此处不赘述。
在本申请实施例中,可以利用训练后的图像分割网络对目标图像进行关键区域的分割,以有效提高关键区域分割的准确性,而由于关键区域分割准确性的提高,也可以提高进行地图更新所需的图像的质量;并且,通过基于关键区域分割的图像提质方法,可以对图像中的关键区域进行提取,过滤无效区域,能够极大的提升对象(如地图要素)检测的能力,从而提升地图更新的能力。
上述详细阐述了本申请实施例的方法,为了便于更好地实施本申请实施例的上述方案,相应地,下面提供了本申请实施例的装置。
图7示出了本申请一个示例性实施例提供的一种图像分割装置的结构示意图;该图像分割装置可以用于是运行于计算机设备中的一个计算机程序(包括程序代码),例如该图像分割装置可以是计算机设备中的应用程序;该图像分割装置可以用于执行图2和图4所示的方法实施例中的部分或全部步骤。请参见图7,该图像分割装置包括如下单元:
获取单元701,用于获取样本图像以及所述样本图像对应的掩码信息,所述样本图像的掩码信息用于指示:所述样本图像中每个像素点相对于所述样本图像中关键区域的位置相关程度;
处理单元702,用于调用图像分割网络基于所述掩码信息对所述样本图像进行特征提取处理,得到所述样本图像中每个像素点的样本分割结果;任一像素点的样本分割结果包括:用于指示所述任一像素点所属的对象类别的类别指示信息以及用于指示所述任一像素点是否处于样本图像中的关键区域的区域指示信息;
所述处理单元702,还用于获取所述样本图像中每个像素点的标注分割结果,基于所述样本图像中每个像素点的标注分割结果以及样本分割结果对所述图像分割网络进行训练,得到训练后的图像分割网络;所述训练后的图像分割网络用于对图像进行关键区域的分割处理。
在一种实现方式中,所述获取单元701,具体用于:
获取样本图像,所述样本图像是以道路为拍摄视角拍摄得到的地图图像;
基于所述样本图像中包含道路的区域确定所述样本图像的关键区域;
确定所述样本图像中每个像素点与所述关键区域之间的位置距离,并基于所述每个像素点与所述关键区域之间的位置距离,分别确定所述每个像素点相对于所述样本图像中关键区域的位置相关程度;
基于所述每个像素点相对于所述样本图像中关键区域的位置相关程度构建所述样本图像对应的掩码信息。
在一种实现方式中,所述图像分割网络是利用不同场景下的样本图像训练得到的;所述处理单元702,还用于:
获取待分割图像,并获取所述待分割图像的图像场景;
调用所述训练后的图像分割网络对所述待分割图像进行分割处理,得到所述待分割图像中的一个或多个参考对象以及各个参考对象所位于的参考区域;
获取参考图像场景与参考关键对象之间的映射关系,并基于所述映射关系和所述图像场景确定针对所述待分割图像的关键对象;
将所述待分割图像中的一个或多个参考对象与所述关键对象进行匹配,并将匹配到的参考对象的参考区域作为所述待分割图像中的关键区域。
在一种实现方式中,所述处理单元702,还用于:
获取目标图像;所述目标图像为以道路为拍摄视角拍摄得到的地图图像;
调用所述训练后的图像分割网络对所述目标图像进行分割处理,得到所述目标图像中的关键区域以及无效区域;所述无效区域为所述目标图像中除所述关键区域之外的其他区域;
基于所述目标图像中的关键区域以及无效区域对原始的地图信息进行更新,得到更新后的地图信息。
在一种实现方式中,所述处理单元702,具体用于:
对所述目标图像进行对象检测,得到所述目标图像中的一个或多个对象;
确定所述一个或多个对象中每个对象所位于的目标区域,所述目标区域处于所述关键区域或所述无效区域中;
将目标区域处于所述无效区域中的对象进行过滤,并利用目标区域处于所述关键区域中的对象以及所述关键区域对原始的地图信息进行更新,得到更新后的地图信息。
在一种实现方式中,所述处理单元702,具体用于:
将所述目标图像中的无效区域过滤,并对所述目标图像中的关键区域进行对象检测,得到处于所述关键区域中的对象;
利用所述关键区域中的对象以及所述关键区域对原始的地图信息进行更新,得到更新后的地图信息。
在一种实现方式中,所述图像分割网络包括原始骨干网络;所述处理单元702,还用于:
获取预设的一个或多个参考骨干网络,每个参考骨干网络的网络参数的参数量小于所述原始骨干网络的网络参数的参数量;
获取分别对在所述每个参考骨干网络下所构建的图像分割网络进行训练时,所产生的在性能指标上的参考指标数据,以及在所述原始骨干网络下所构建的图像分割网络进行训练时,所产生的在性能指标上的原始指标数据;
基于一个或多个参考指标数据以及所述原始指标数据,从所述一个或多个参考骨干网络中确定出目标骨干网络;
将所述图像分割网络中的原始骨干网络替换为目标骨干网络,并将目标骨干网络下所构建的图像分割网络作为训练后的图像分割网络。
在一种实现方式中,所述处理单元702,具体用于:
从一个或多个参考指标数据中,确定与所述原始指标数据所指示的性能之间的性能差异在预设范围内的候选指标数据,并将候选指标数据对应的参考骨干网络作为候选骨干网络;
若所述候选骨干网络的数量为一个,则将所述候选骨干网络作为目标骨干网络;
若所述候选骨干网络的数量为多个,则从多个候选骨干网络选择出具有最小参数量的候选骨干网络,并将选择出的候选骨干网络作为目标骨干网络。
在一种实现方式中,所述图像分割网络包括多个网络参数;所述处理单元702,还用于:
在所述图像分割网络的迭代训练过程中,对所述多个网络参数进行剪枝,得到剪枝后的图像分割网络;
获取对所述剪枝后的图像分割网络进行训练时所产生的在性能指标上的第一指标数据,以及对未剪枝的图像分割网络进行训练时所产生的在性能指标上的第二指标数据;
若所述第一指标数据所指示的性能与所述第二指标数据所指示的性能之间的性能差异在预设范围内,则将通过训练的所述剪枝后的图像分割网络作为训练后的图像分割网络。
在一种实现方式中,所述处理单元702,具体用于:
获取所述多个网络参数中每个网络参数的重要程度,按照重要程度从小到大的顺序对所述多个网络参数进行排序,得到排序结果;
将处于所述排序结果中前L位的网络参数确定为目标网络参数,L为大于或等于1的正整数;
将所述目标网络参数的权值连接值设置为目标数值,以对所述目标网络参数进行剪枝,得到剪枝后的图像分割网络。
在一种实现方式中,所述图像分割网络包括编码网络以及解码网络;所述处理单元702,具体用于:
调用所述编码网络基于所述掩码信息对所述样本图像进行特征提取处理,得到所述样本图像的编码特征;
调用所述解码网络对所述编码特征进行解码处理,得到所述样本图像的样本分割结果。
在一种实现方式中,所述处理单元702,具体用于:
调用所述编码网络中的第一编码子网络基于所述掩码信息对所述样本图像进行卷积处理,得到所述样本图像的第一特征图;所述第一特征图包括所述样本图像中存在的结构属性信息;
调用所述编码网络中的第二编码子网络对所述第一特征图进行多尺度的卷积处理,得到所述样本图像的第二特征图;所述第二特征图包括所述样本图像中存在的语义信息;
将所述第一特征图和所述第二特征图作为所述样本图像的编码特征。
可以理解,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。本申请实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
请参见图8,图8为本申请实施例提供的一种计算机设备的结构示意图。如图8所示,该计算机设备包括:至少一个处理器801、存储器802。可选的,该计算机设备还可以包括网络接口803。其中,处理器801、存储器802以及网络接口803之间可以交互数据,网络接口803受处理器801的控制用于收发消息,存储器802用于存储计算机程序,该计算机程序包括程序指令,处理器801用于执行存储器802存储的程序指令。其中,处理器801被配置用于调用该程序指令执行上述方法。
其中,存储器802可以包括易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器802也可以包括非易失性存储器(non-volatilememory),例如快闪存储器(flash memory)、固态硬盘(solid-state drive,SSD)等;存储器802还可以包括上述两种或两种以上种类的存储器的组合。
其中,处理器801可以是中央处理器(central processing unit,CPU)。在一个实施例中,处理器801还可以是图形处理器(Graphics Processing Unit,GPU)。处理器801也可以是由CPU和GPU的组合。
在一个可能的实施方式中,存储器802用于存储程序指令,处理器801可以调用该程序指令,执行以下步骤:
获取样本图像以及所述样本图像对应的掩码信息,所述样本图像的掩码信息用于指示:所述样本图像中每个像素点相对于所述样本图像中关键区域的位置相关程度;
调用图像分割网络基于所述掩码信息对所述样本图像进行特征提取处理,得到所述样本图像中每个像素点的样本分割结果;任一像素点的样本分割结果包括:用于指示所述任一像素点所属的对象类别的类别指示信息以及用于指示所述任一像素点是否处于样本图像中的关键区域的区域指示信息;
获取所述样本图像中每个像素点的标注分割结果,基于所述样本图像中每个像素点的标注分割结果以及样本分割结果对所述图像分割网络进行训练,得到训练后的图像分割网络;所述训练后的图像分割网络用于对图像进行关键区域的分割处理。
在一种实现方式中,所述处理器801,具体用于:
获取样本图像,所述样本图像是以道路为拍摄视角拍摄得到的地图图像;
基于所述样本图像中包含道路的区域确定所述样本图像的关键区域;
确定所述样本图像中每个像素点与所述关键区域之间的位置距离,并基于所述每个像素点与所述关键区域之间的位置距离,分别确定所述每个像素点相对于所述样本图像中关键区域的位置相关程度;
基于所述每个像素点相对于所述样本图像中关键区域的位置相关程度构建所述样本图像对应的掩码信息。
在一种实现方式中,所述图像分割网络是利用不同场景下的样本图像训练得到的;所述处理器801,还用于:
获取待分割图像,并获取所述待分割图像的图像场景;
调用所述训练后的图像分割网络对所述待分割图像进行分割处理,得到所述待分割图像中的一个或多个参考对象以及各个参考对象所位于的参考区域;
获取参考图像场景与参考关键对象之间的映射关系,并基于所述映射关系和所述图像场景确定针对所述待分割图像的关键对象;
将所述待分割图像中的一个或多个参考对象与所述关键对象进行匹配,并将匹配到的参考对象的参考区域作为所述待分割图像中的关键区域。
在一种实现方式中,所述处理器801,还用于:
获取目标图像;所述目标图像为以道路为拍摄视角拍摄得到的地图图像;
调用所述训练后的图像分割网络对所述目标图像进行分割处理,得到所述目标图像中的关键区域以及无效区域;所述无效区域为所述目标图像中除所述关键区域之外的其他区域;
基于所述目标图像中的关键区域以及无效区域对原始的地图信息进行更新,得到更新后的地图信息。
在一种实现方式中,所述处理器801,具体用于:
对所述目标图像进行对象检测,得到所述目标图像中的一个或多个对象;
确定所述一个或多个对象中每个对象所位于的目标区域,所述目标区域处于所述关键区域或所述无效区域中;
将目标区域处于所述无效区域中的对象进行过滤,并利用目标区域处于所述关键区域中的对象以及所述关键区域对原始的地图信息进行更新,得到更新后的地图信息。
在一种实现方式中,所述处理器801,具体用于:
将所述目标图像中的无效区域过滤,并对所述目标图像中的关键区域进行对象检测,得到处于所述关键区域中的对象;
利用所述关键区域中的对象以及所述关键区域对原始的地图信息进行更新,得到更新后的地图信息。
在一种实现方式中,所述图像分割网络包括原始骨干网络;所述处理器801,还用于:
获取预设的一个或多个参考骨干网络,每个参考骨干网络的网络参数的参数量小于所述原始骨干网络的网络参数的参数量;
获取分别对在所述每个参考骨干网络下所构建的图像分割网络进行训练时,所产生的在性能指标上的参考指标数据,以及在所述原始骨干网络下所构建的图像分割网络进行训练时,所产生的在性能指标上的原始指标数据;
基于一个或多个参考指标数据以及所述原始指标数据,从所述一个或多个参考骨干网络中确定出目标骨干网络;
将所述图像分割网络中的原始骨干网络替换为目标骨干网络,并将目标骨干网络下所构建的图像分割网络作为训练后的图像分割网络。
在一种实现方式中,所述处理器801,具体用于:
从一个或多个参考指标数据中,确定与所述原始指标数据所指示的性能之间的性能差异在预设范围内的候选指标数据,并将候选指标数据对应的参考骨干网络作为候选骨干网络;
若所述候选骨干网络的数量为一个,则将所述候选骨干网络作为目标骨干网络;
若所述候选骨干网络的数量为多个,则从多个候选骨干网络选择出具有最小参数量的候选骨干网络,并将选择出的候选骨干网络作为目标骨干网络。
在一种实现方式中,所述图像分割网络包括多个网络参数;所述处理器801,还用于:
在所述图像分割网络的迭代训练过程中,对所述多个网络参数进行剪枝,得到剪枝后的图像分割网络;
获取对所述剪枝后的图像分割网络进行训练时所产生的在性能指标上的第一指标数据,以及对未剪枝的图像分割网络进行训练时所产生的在性能指标上的第二指标数据;
若所述第一指标数据所指示的性能与所述第二指标数据所指示的性能之间的性能差异在预设范围内,则将通过训练的所述剪枝后的图像分割网络作为训练后的图像分割网络。
在一种实现方式中,所述处理器801,具体用于:
获取所述多个网络参数中每个网络参数的重要程度,按照重要程度从小到大的顺序对所述多个网络参数进行排序,得到排序结果;
将处于所述排序结果中前L位的网络参数确定为目标网络参数,L为大于或等于1的正整数;
将所述目标网络参数的权值连接值设置为目标数值,以对所述目标网络参数进行剪枝,得到剪枝后的图像分割网络。
在一种实现方式中,所述图像分割网络包括编码网络以及解码网络;所述处理器801,具体用于:
调用所述编码网络基于所述掩码信息对所述样本图像进行特征提取处理,得到所述样本图像的编码特征;
调用所述解码网络对所述编码特征进行解码处理,得到所述样本图像的样本分割结果。
在一种实现方式中,所述处理器801,具体用于:
调用所述编码网络中的第一编码子网络基于所述掩码信息对所述样本图像进行卷积处理,得到所述样本图像的第一特征图;所述第一特征图包括所述样本图像中存在的结构属性信息;
调用所述编码网络中的第二编码子网络对所述第一特征图进行多尺度的卷积处理,得到所述样本图像的第二特征图;所述第二特征图包括所述样本图像中存在的语义信息;
将所述第一特征图和所述第二特征图作为所述样本图像的编码特征。
具体实现中,上述所描述的装置、处理器、存储器等可执行上述方法实施例所描述的实现方式,也可执行本申请实施例所描述的实现方式,在此不再赘述。
本申请实施例中还提供一种计算机(可读)存储介质,该计算机存储介质存储有计算机程序,计算机程序包括程序指令,程序指令被处理器执行时,使处理器可执行上述方法实施例中所执行的部分或全部步骤。可选的,该计算机存储介质可以是易失性的,也可以是非易失性的。计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括程序指令,该程序指令被处理器执行时可实现上述图像分割方法中的部分或全部步骤。可选地,该程序指令可以存储在计算机可读存储介质中,计算机设备如计算机设备的处理器从计算机可读存储介质读取该程序指令,处理器执行该程序指令,使得该计算机设备执行上述提供的图像分割方法。
本领域普通技术人员可以意识到,结合本申请中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用,使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个程序指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程设备。程序指令可以存储在计算机可读存储介质中,或者通过计算机可读存储介质进行传输。
程序指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如,同轴电缆、光纤、数字用户线(Digital Subscriber Line,DSL))或无线(例如,红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(Solid State Disk,SSD))等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (15)
1.一种图像分割方法,其特征在于,所述方法包括:
获取样本图像以及所述样本图像对应的掩码信息,所述样本图像的掩码信息用于指示:所述样本图像中每个像素点相对于所述样本图像中关键区域的位置相关程度;
调用图像分割网络基于所述掩码信息对所述样本图像进行特征提取处理,得到所述样本图像中每个像素点的样本分割结果;任一像素点的样本分割结果包括:用于指示所述任一像素点所属的对象类别的类别指示信息以及用于指示所述任一像素点是否处于样本图像中的关键区域的区域指示信息;
获取所述样本图像中每个像素点的标注分割结果,基于所述样本图像中每个像素点的标注分割结果以及样本分割结果对所述图像分割网络进行训练,得到训练后的图像分割网络;所述训练后的图像分割网络用于对图像进行关键区域的分割处理。
2.根据权利要求1所述的方法,其特征在于,所述获取样本图像以及所述样本图像对应的掩码信息,包括:
获取样本图像,所述样本图像是以道路为拍摄视角拍摄得到的地图图像;
基于所述样本图像中包含道路的区域确定所述样本图像的关键区域;
确定所述样本图像中每个像素点与所述关键区域之间的位置距离,并基于所述每个像素点与所述关键区域之间的位置距离,分别确定所述每个像素点相对于所述样本图像中关键区域的位置相关程度;
基于所述每个像素点相对于所述样本图像中关键区域的位置相关程度构建所述样本图像对应的掩码信息。
3.根据权利要求1所述的方法,其特征在于,所述图像分割网络是利用不同场景下的样本图像训练得到的;还包括:
获取待分割图像,并获取所述待分割图像的图像场景;
调用所述训练后的图像分割网络对所述待分割图像进行分割处理,得到所述待分割图像中的一个或多个参考对象以及各个参考对象所位于的参考区域;
获取参考图像场景与参考关键对象之间的映射关系,并基于所述映射关系和所述图像场景确定针对所述待分割图像的关键对象;
将所述待分割图像中的一个或多个参考对象与所述关键对象进行匹配,并将匹配到的参考对象的参考区域作为所述待分割图像中的关键区域。
4.根据权利要求1所述的方法,其特征在于,还包括:
获取目标图像;所述目标图像为以道路为拍摄视角拍摄得到的地图图像;
调用所述训练后的图像分割网络对所述目标图像进行分割处理,得到所述目标图像中的关键区域以及无效区域;所述无效区域为所述目标图像中除所述关键区域之外的其他区域;
基于所述目标图像中的关键区域以及无效区域对原始的地图信息进行更新,得到更新后的地图信息。
5.根据权利要求4所述的方法,其特征在于,所述基于所述目标图像中的关键区域以及无效区域对原始的地图信息进行更新,得到更新后的地图信息,包括:
对所述目标图像进行对象检测,得到所述目标图像中的一个或多个对象;
确定所述一个或多个对象中每个对象所位于的目标区域,所述目标区域处于所述关键区域或所述无效区域中;
将目标区域处于所述无效区域中的对象进行过滤,并利用目标区域处于所述关键区域中的对象以及所述关键区域对原始的地图信息进行更新,得到更新后的地图信息。
6.根据权利要求4所述的方法,其特征在于,所述基于所述目标图像中的关键区域以及无效区域对原始的地图信息进行更新,得到更新后的地图信息,包括:
将所述目标图像中的无效区域过滤,并对所述目标图像中的关键区域进行对象检测,得到处于所述关键区域中的对象;
利用所述关键区域中的对象以及所述关键区域对原始的地图信息进行更新,得到更新后的地图信息。
7.根据权利要求1所述的方法,其特征在于,所述图像分割网络包括原始骨干网络;还包括:
获取预设的一个或多个参考骨干网络,每个参考骨干网络的网络参数的参数量小于所述原始骨干网络的网络参数的参数量;
获取分别对在所述每个参考骨干网络下所构建的图像分割网络进行训练时,所产生的在性能指标上的参考指标数据,以及在所述原始骨干网络下所构建的图像分割网络进行训练时,所产生的在性能指标上的原始指标数据;
基于一个或多个参考指标数据以及所述原始指标数据,从所述一个或多个参考骨干网络中确定出目标骨干网络;
将所述图像分割网络中的原始骨干网络替换为目标骨干网络,并将目标骨干网络下所构建的图像分割网络作为训练后的图像分割网络。
8.根据权利要求7所述的方法,其特征在于,所述基于一个或多个参考指标数据以及所述原始指标数据,从所述一个或多个参考骨干网络中确定出目标骨干网络,包括:
从一个或多个参考指标数据中,确定与所述原始指标数据所指示的性能之间的性能差异在预设范围内的候选指标数据,并将候选指标数据对应的参考骨干网络作为候选骨干网络;
若所述候选骨干网络的数量为一个,则将所述候选骨干网络作为目标骨干网络;
若所述候选骨干网络的数量为多个,则从多个候选骨干网络选择出具有最小参数量的候选骨干网络,并将选择出的候选骨干网络作为目标骨干网络。
9.根据权利要求1所述的方法,其特征在于,所述图像分割网络包括多个网络参数;还包括:
在所述图像分割网络的迭代训练过程中,对所述多个网络参数进行剪枝,得到剪枝后的图像分割网络;
获取对所述剪枝后的图像分割网络进行训练时所产生的在性能指标上的第一指标数据,以及对未剪枝的图像分割网络进行训练时所产生的在性能指标上的第二指标数据;
若所述第一指标数据所指示的性能与所述第二指标数据所指示的性能之间的性能差异在预设范围内,则将通过训练的所述剪枝后的图像分割网络作为训练后的图像分割网络。
10.根据权利要求9所述的方法,其特征在于,所述对所述多个网络参数进行剪枝,得到剪枝后的图像分割网络,包括:
获取所述多个网络参数中每个网络参数的重要程度,按照重要程度从小到大的顺序对所述多个网络参数进行排序,得到排序结果;
将处于所述排序结果中前L位的网络参数确定为目标网络参数,L为大于或等于1的正整数;
将所述目标网络参数的权值连接值设置为目标数值,以对所述目标网络参数进行剪枝,得到剪枝后的图像分割网络。
11.根据权利要求1所述的方法,其特征在于,所述图像分割网络包括编码网络以及解码网络;所述调用图像分割网络基于所述掩码信息对所述样本图像进行特征提取处理,得到所述样本图像中每个像素点的样本分割结果,包括:
调用所述编码网络基于所述掩码信息对所述样本图像进行特征提取处理,得到所述样本图像的编码特征;
调用所述解码网络对所述编码特征进行解码处理,得到所述样本图像的样本分割结果。
12.根据权利要求11所述的方法,其特征在于,所述调用所述编码网络基于所述掩码信息对所述样本图像进行特征提取处理,得到所述样本图像的编码特征,包括:
调用所述编码网络中的第一编码子网络基于所述掩码信息对所述样本图像进行卷积处理,得到所述样本图像的第一特征图;所述第一特征图包括所述样本图像中存在的结构属性信息;
调用所述编码网络中的第二编码子网络对所述第一特征图进行多尺度的卷积处理,得到所述样本图像的第二特征图;所述第二特征图包括所述样本图像中存在的语义信息;
将所述第一特征图和所述第二特征图作为所述样本图像的编码特征。
13.一种图像分割装置,其特征在于,包括:
获取单元,用于获取样本图像以及所述样本图像对应的掩码信息,所述样本图像的掩码信息用于指示:所述样本图像中每个像素点相对于所述样本图像中关键区域的位置相关程度;
处理单元,用于调用图像分割网络基于所述掩码信息对所述样本图像进行特征提取处理,得到所述样本图像中每个像素点的样本分割结果;任一像素点的样本分割结果包括:用于指示所述任一像素点所属的对象类别的类别指示信息以及用于指示所述任一像素点是否处于样本图像中的关键区域的区域指示信息;
所述处理单元,还用于获取所述样本图像中每个像素点的标注分割结果,基于所述样本图像中每个像素点的标注分割结果以及样本分割结果对所述图像分割网络进行训练,得到训练后的图像分割网络;所述训练后的图像分割网络用于对图像进行关键区域的分割处理。
14.一种计算机设备,其特征在于,包括处理器和存储器,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-12任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序指令,所述程序指令被执行时,用于实现如权利要求1-12任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311219180.8A CN116958176B (zh) | 2023-09-21 | 2023-09-21 | 图像分割方法、装置、计算机设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311219180.8A CN116958176B (zh) | 2023-09-21 | 2023-09-21 | 图像分割方法、装置、计算机设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116958176A true CN116958176A (zh) | 2023-10-27 |
CN116958176B CN116958176B (zh) | 2024-01-09 |
Family
ID=88455095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311219180.8A Active CN116958176B (zh) | 2023-09-21 | 2023-09-21 | 图像分割方法、装置、计算机设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116958176B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108596924A (zh) * | 2018-05-17 | 2018-09-28 | 南方医科大学 | 一种基于距离场融合和椭球先验的mr前列腺图像分割方法 |
CN113554084A (zh) * | 2021-07-16 | 2021-10-26 | 华侨大学 | 基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统 |
CN114005029A (zh) * | 2021-10-20 | 2022-02-01 | 华南农业大学 | 基于改进yolov5网络的广佛手病虫害识别方法及系统 |
CN114549445A (zh) * | 2022-02-16 | 2022-05-27 | 上海商汤智能科技有限公司 | 图像检测及相关模型的训练方法、相关装置、设备和介质 |
CN115409859A (zh) * | 2022-08-30 | 2022-11-29 | 上海科技大学 | 冠状动脉血管图像分割方法及装置、存储介质和终端 |
CN116563533A (zh) * | 2023-04-07 | 2023-08-08 | 武汉大学 | 基于目标位置先验信息的医学图像分割方法及系统 |
-
2023
- 2023-09-21 CN CN202311219180.8A patent/CN116958176B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108596924A (zh) * | 2018-05-17 | 2018-09-28 | 南方医科大学 | 一种基于距离场融合和椭球先验的mr前列腺图像分割方法 |
CN113554084A (zh) * | 2021-07-16 | 2021-10-26 | 华侨大学 | 基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统 |
CN114005029A (zh) * | 2021-10-20 | 2022-02-01 | 华南农业大学 | 基于改进yolov5网络的广佛手病虫害识别方法及系统 |
CN114549445A (zh) * | 2022-02-16 | 2022-05-27 | 上海商汤智能科技有限公司 | 图像检测及相关模型的训练方法、相关装置、设备和介质 |
CN115409859A (zh) * | 2022-08-30 | 2022-11-29 | 上海科技大学 | 冠状动脉血管图像分割方法及装置、存储介质和终端 |
CN116563533A (zh) * | 2023-04-07 | 2023-08-08 | 武汉大学 | 基于目标位置先验信息的医学图像分割方法及系统 |
Non-Patent Citations (1)
Title |
---|
YINGXIAO XU ET AL.: "MSACon: Mining Spatial Attention-Based Contextual Information for Road Extraction", IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING, vol. 60, pages 1 - 17, XP011895538, DOI: 10.1109/TGRS.2021.3073923 * |
Also Published As
Publication number | Publication date |
---|---|
CN116958176B (zh) | 2024-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112734775B (zh) | 图像标注、图像语义分割、模型训练方法及装置 | |
CN113822314B (zh) | 图像数据处理方法、装置、设备以及介质 | |
CN114359851A (zh) | 无人驾驶目标检测方法、装置、设备及介质 | |
CN113177559B (zh) | 结合广度和密集卷积神经网络的图像识别方法、系统、设备及介质 | |
CN115115872A (zh) | 图像识别方法、装置、设备及存储介质 | |
CN110796204A (zh) | 视频标签确定方法、装置和服务器 | |
CN112801236B (zh) | 图像识别模型的迁移方法、装置、设备及存储介质 | |
CN112036514A (zh) | 一种图像分类方法、装置、服务器及计算机可读存储介质 | |
CN116664873B (zh) | 图像信息处理方法、装置及存储介质 | |
CN113704276A (zh) | 地图更新方法、装置、电子设备及计算机可读存储介质 | |
CN112308093A (zh) | 基于图像识别的空气质量感知方法、模型训练方法及系统 | |
CN116958176B (zh) | 图像分割方法、装置、计算机设备及介质 | |
CN115773744A (zh) | 模型训练和路网处理方法、装置、设备、介质和产品 | |
CN117011692A (zh) | 一种道路识别的方法以及相关装置 | |
CN112529116B (zh) | 场景元素融合处理方法、装置和设备及计算机存储介质 | |
CN115131291A (zh) | 对象计数模型的训练方法、装置、设备以及存储介质 | |
CN114119757A (zh) | 图像处理方法、装置、设备、介质和计算机程序产品 | |
CN114281933A (zh) | 文本处理方法、装置、计算机设备及存储介质 | |
Yang et al. | Boundary-guided DCNN for building extraction from high-resolution remote sensing images | |
CN117058498B (zh) | 分割图评估模型的训练方法、分割图的评估方法及装置 | |
CN117132958B (zh) | 道路要素识别方法及相关装置 | |
CN112966569B (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
CN116524244A (zh) | 一种机器视觉图像处理方法及系统 | |
CN114821026A (zh) | 目标检索方法、电子设备和计算机可读介质 | |
CN116958722A (zh) | 目标检测模型的训练方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |