CN112699713B - 一种语义线段信息的检测方法及装置 - Google Patents
一种语义线段信息的检测方法及装置 Download PDFInfo
- Publication number
- CN112699713B CN112699713B CN201911008772.9A CN201911008772A CN112699713B CN 112699713 B CN112699713 B CN 112699713B CN 201911008772 A CN201911008772 A CN 201911008772A CN 112699713 B CN112699713 B CN 112699713B
- Authority
- CN
- China
- Prior art keywords
- information
- image
- semantic
- acquiring
- line segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 237
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 342
- 230000004927 fusion Effects 0.000 claims description 222
- 238000012549 training Methods 0.000 claims description 97
- 238000000605 extraction Methods 0.000 claims description 94
- 238000012545 processing Methods 0.000 claims description 89
- 238000007499 fusion processing Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 19
- 238000003062 neural network model Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 21
- 230000007613 environmental effect Effects 0.000 description 20
- 230000000007 visual effect Effects 0.000 description 7
- 230000036961 partial effect Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000009429 distress Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 102100037651 AP-2 complex subunit sigma Human genes 0.000 description 1
- 101000806914 Homo sapiens AP-2 complex subunit sigma Proteins 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
- G06V20/39—Urban scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种语义线段的检测方法,通过获取待检测图像中的特征信息,并根据所述特征信息,直接获取待检测图像中的具有语义信息的语义线段的信息。相较于一般在检测图像中仅检测物体语义信息或像素语义信息的方式,由于语义线段信息是介于物体语义信息和像素语义信息之间的信息,其数量级相较于前两者更为适中,使用语义线段信息来构建地图,并将构建好的地图用于获取用户或用户关注对象的准确位置信息,可以大大提高获取用户或用户关注对象的准确位置信息时的获取效率。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种语义线段信息的检测方法、装置、电子设备及存储设备。本申请同时涉及一种地图的获得方法、装置、电子设备及存储设备,一种针对目标对象的定位方法、装置、电子设备及存储设备,一种提供位置服务的方法、装置、电子设备及存储设备。
背景技术
近年来,随着互联网技术的不断发展,通过获取用户或用户关注对象的位置信息,来为用户提供更为实时、准确的服务被广泛的应用于人们生活的各个领域中。
目前,在获取用户或用户关注对象,如用户车辆的位置信息时,通常是通过全球定位系统(GPS,Global Positioning System)或其它定位系统来对用户车辆进行定位。然而,通过定位系统获取到的用户车辆的位置信息通常不够准确,为了获取用户车辆的准确位置信息,通常的做法是在使用定位系统获取用户车辆的位置信息进行定位的同时,采集用户车辆所处环境的视觉信息,例如使用图像传感器获取用户车辆所处环境的环境图像,并利用采集的视觉信息来与地图中的已知信息进行匹配来对用户车辆进行辅助定位。其中,在对用户车辆进行辅助定位时,近年来的一种做法是将上述采集的视觉信息与地图中存储的物体语义信息或像素语义信息进行匹配,并根据匹配到的物体语义信息或像素语义信息来获取用户车辆的位置信息。物体语义信息是指在地图中存储的与现实物体对应的物体的语义信息,如XX楼、XX指示标识等;像素语义信息是指在地图中存储的像素层级的语义信息。另外,物体语义信息或像素语义信息通常情况是在地图构建的过程中,在大量采集现实世界中的视觉信息,并对这些视觉信息进行分析获取到的。
采用上述方法虽然能够获取到用户或用户关注对象的准确位置信息。然而,像素语义信息在地图中通常是较为稠密的信息,将采集的视觉信息与像素语义信息进行匹配来对用户或用户关注对象进行辅助定位,其匹配过程计算量较大,并且地图中存储过多的像素语义信息也会较大的占用存储空间,其总体效率相对较低;而物体语义信息在地图中虽然是相对稀疏的信息,在地图中存储此种信息并不会占用过多的存储空间,但是,也正是因为物体语义信息的相对稀疏性,在将采集的视觉信息与物体语义信息进行匹配来对用户或用户关注对象进行辅助定位时,存在匹配失败,进而导致无法获取到辅助定位信息的可能,因此,其同样存在效率低下的问题。简而言之,现有技术在获取用户或用户关注对象的准确位置信息时,存在效率低下的问题。
发明内容
本申请实施例提供一种语义线段信息的检测方法,以解决现有技术在获取用户或用户关注对象的准确位置信息时,存在的效率低下的问题。
本申请实施例提供一种语义线段信息的检测方法,包括:
获取待检测图像;
获取所述待检测图像的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述待检测图像中语义线段的信息,所述语义线段是具有语义信息的线段。
所述获取所述待检测图像的特征信息,包括:
获取所述待检测图像的至少一个尺度的特征图像,其中,所述特征图像包括所述待检测图像的特征信息。
可选的,所述获取所述待检测图像的至少一个尺度的特征图像,包括:
获取多尺度特征提取卷积神经网络模型;
将所述待检测图像输入到所述多尺度特征提取卷积神经网络模型中,获取所述待检测图像的至少一个尺度的特征图像。
可选的,所述将所述待检测图像输入到所述多尺度特征提取卷积神经网络模型中,获取所述待检测图像的至少一个尺度的特征图像,包括:
使用所述多尺度特征提取卷积神经网络模型中的第一卷积单元对所述待检测图像进行特征提取处理,获取所述待检测图像的第一尺度特征图像;
对所述第一尺度特征图像进行降维处理,获取第二尺度待处理特征图像;
使用所述多尺度特征提取卷积神经网络模型中的第二卷积单元对所述第二尺度待处理特征图像进行特征提取处理,获取所述待检测图像的第二尺度特征图像。
可选的,所述根据所述特征信息,获取目标语义线段信息,包括:
根据所述至少一个尺度的特征图像,获取融合特征图像,其中,所述融合特征图像是融合了至少两个尺度的特征图像中的特征信息的特征图像;
根据所述融合特征图像,获取所述目标语义线段信息。
可选的,所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:
获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;
将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像。
可选的,所述将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像,包括:
从所述至少一个尺度的特征图像中,获取至少两个尺度的特征图像;
根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致;
针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像。
可选的,所述根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致,包括:
使用所述多尺度特征融合卷积神经网络模型中的上采样层或下采样层,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致。
可选的,所述针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像,包括:
针对经过维度调整处理后的所述至少两个尺度的特征图像进行级联操作处理或者矩阵相加处理,获取所述融合特征图像。
可选的,所述根据所述融合特征图像,获取所述目标语义线段信息,包括:
获取预测卷积神经网络模型,其中,所述预测卷积神经网络模型是用于获取语义线段信息的模型;
将所述融合特征图像输入到所述预测卷积神经网络模型中,获取所述目标语义线段信息。
可选的,所述将所述融合特征图像输入到所述预测卷积神经网络模型中,获取所述目标语义线段信息,包括:
从所述融合特征图像中,获取候选特征信息;
将所述候选特征信息输入到所述预测卷积神经网络模型中,获取所述目标语义线段信息。
可选的,所述从所述融合特征图像中,获取候选特征信息,包括:
获取区域候选卷积神经网络模型,其中,所述区域候选卷积神经网络模型是用于从特征图像中选取候选特征信息的模型;
将所述融合特征图像输入到所述区域候选卷积神经网络模型中,获取所述候选特征信息。
可选的,所述将所述候选特征信息输入到所述预测卷积神经网络模型中,获取所述目标语义线段信息,包括:
将所述候选特征信息输入到所述预测卷积神经网络模型中,获取待确定语义线段信息;
从所述待确定语义线段信息中,确定所述目标语义线段信息。
可选的,所述从所述待确定语义线段信息中,确定所述目标语义线段信息,包括:
获取与所述待确定语义线段信息对应的置信度;
将置信度大于预设阈值的待确定语义线段信息作为所述目标语义线段信息。
可选的,所述目标语义线段信息包括语义线段的方向信息;
所述方法还包括:
通过所述方向信息确定所述语义线段。
可选的,所述目标语义线段信息还包括所述语义线段对应的边界框的任一顶点或中心点在所述待检测图像中的位置信息、所述语义线段对应的边界框的长度信息、所述语义线段对应的边界框的宽度信息、所述语义线段的类别信息,其中,所述边界框是指在所述待检测图像中用于确定语义线段的一个矩形框;
所述通过所述方向信息确定所述语义线段,包括:通过所述位置信息,所述长度信息,所述宽度信息,所述类别信息和所述方向信息,确定所述语义线段。
可选的,所述获取多尺度特征提取卷积神经网络模型,包括:
获取原始多尺度特征提取卷积神经网络模型;
针对所述原始多尺度特征提取卷积神经网络模型进行训练,使所述原始多尺度特征提取卷积神经网络模型收敛,并将收敛后的所述原始多尺度特征提取卷积神经网络模型作为所述多尺度特征提取卷积神经网络模型。
可选的,所述针对所述原始多尺度特征提取卷积神经网络模型进行训练,使所述原始多尺度特征提取卷积神经网络模型收敛,包括:
获取原始多尺度特征融合卷积神经网络模型,并获取原始预测卷积神经网络模型;
针对所述原始多尺度特征提取卷积神经网络模型,所述原始多尺度特征融合卷积神经网络模型和所述原始预测卷积神经网络模型进行联合训练,使所述原始多尺度特征提取卷积神经网络模型收敛。
可选的,所述针对所述原始多尺度特征提取卷积神经网络模型,所述原始多尺度特征融合卷积神经网络模型和所述原始预测卷积神经网络模型进行联合训练,使所述原始多尺度特征提取卷积神经网络模型收敛,包括:
获取原始训练样本图像;
将所述原始训练样本图像输入到所述原始多尺度特征提取卷积神经网络模型中,获取至少一个尺度的原始训练特征图像;
将所述至少一个尺度的原始训练特征图像输入到所述原始多尺度特征融合卷积神经网络模型中,获取原始训练融合特征图像;
将所述原始训练融合特征图像输入到所述原始预测卷积神经网络模型中,获取原始训练语义线段信息,其中,所述原始训练语义线段信息是用于表示所述原始训练样本图像中语义线段的信息;
在对上述卷积神经网络模型进行联合训练的过程中,根据上述卷积神经网络模型对应的损失函数调整上述卷积神经网络模型的参数,使所述原始多尺度特征提取卷积神经网络模型收敛。
可选的,所述将所述原始训练融合特征图像输入到所述原始预测卷积神经网络模型中,获取原始训练语义线段信息,包括:
将所述原始训练融合特征图像输入到所述原始预测卷积神经网络模型中,获取原始候选语义线段信息;
从所述原始候选语义线段信息中,获取所述原始训练语义线段信息。
可选的,所述从所述原始候选语义线段信息中,获取所述原始训练语义线段信息,包括:
根据所述原始候选语义线段信息,生成用于表示所述原始候选语义线段信息的统计分布数据;
根据所述统计分布数据,从所述原始候选语义线段信息中,确定所述原始训练语义线段信息。
可选的,所述损失函数包括所述原始候选语义线段信息对应的统计分布数据与期望语义线段信息对应的统计分布数据之间的损失函数,其中,所述期望语义线段信息是所述原始训练样本图像中的语义线段的正确信息。
可选的,所述统计分布数据包括高斯分布数据;
所述根据所述原始候选语义线段信息,生成用于表示所述原始候选语义线段信息的统计分布数据,包括:
从所述原始候选语义线段信息中,获取原始候选语义线段信息中的分布参数;
根据所述分布参数生成用于表示所述原始候选语义线段信息的高斯分布数据。
可选的,包括:
在针对上述卷积神经网络模型进行联合训练的过程中,将收敛后的所述原始多尺度特征融合卷积神经网络模型作为所述多尺度特征融合卷积神经网络模型,将收敛后的所述原始预测卷积神经网络模型作为所述预测卷积神经网络模型。
可选的,所述根据所述特征信息,获取目标语义线段信息,还包括:
获取预测卷积神经网络模型,其中,所述预测卷积神经网络模型是用于获取语义线段信息的模型;
将所述至少一个尺度的特征图像输入到所述预测卷积神经网络模型中,获取所述目标语义线段信息。
本申请实施例还提供一种语义线段信息的检测装置,包括:
图像获取单元,用于获取待检测图像;
特征信息获取单元,用于获取所述待检测图像的特征信息;
语义线段信息获取单元,用于根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述待检测图像中语义线段的信息,所述语义线段是具有语义信息的线段。
本申请实施例还提供一种电子设备,包括:
处理器;
存储器,用于存储语义线段信息的检测方法的程序,该设备通电并通过所述处理器运行所述语义线段信息的检测方法的程序后,执行下述步骤:
获取待检测图像;
获取所述待检测图像的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述待检测图像中语义线段的信息,所述语义线段是具有语义信息的线段。
本申请实施例还提供一种存储设备,
存储有语义线段信息的检测方法的程序,该程序被处理器运行,执行下述步骤:
获取待检测图像;
获取所述待检测图像的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述待检测图像中语义线段的信息,所述语义线段是具有语义信息的线段。
本申请实施例还提供一种地图的获得方法,包括:
获取目标区域的图像信息;
获取所述图像信息对应的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述图像信息对应的图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,获取所述目标区域的目标地图。
本申请实施例还提供一种地图的获得装置,包括:
区域图像信息获取单元,用于获取目标区域的图像信息;
区域图像特征信息获取单元,用于获取所述图像信息对应的特征信息;
区域图像语义线段信息获取单元,用于根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述图像信息对应的图像中语义线段的信息,所述语义线段是具有语义信息的线段;
目标地图获取单元,用于根据所述目标语义线段信息,获取所述目标区域的目标地图。
本申请实施例还提供一种电子设备,包括:
处理器;
存储器,用于存储地图的获得方法的程序,该设备通电并通过所述处理器运行所述地图的获得方法的程序后,执行下述步骤:
获取目标区域的图像信息;
获取所述图像信息对应的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述图像信息对应的图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,获取所述目标区域的目标地图。
本申请实施例还提供一种存储设备,
存储有地图的获得方法的程序,该程序被处理器运行,执行下述步骤:
获取目标区域的图像信息;
获取所述图像信息对应的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述图像信息对应的图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,获取所述目标区域的目标地图。
本申请实施例还提供一种针对目标对象的定位方法,包括:
获取目标对象所处环境的环境图像;
获取所述环境图像的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
根据所述匹配语义线段信息,获取所述目标对象的位置信息。
本申请实施例还提供一种针对目标对象的定位装置,包括:
环境图像获取单元,用于获取目标对象所处环境的环境图像;
环境图像特征信息获取单元,用于获取所述环境图像的特征信息;
环境图像语义线段信息获取单元,用于根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
匹配语义线段信息获取单元,用于根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
位置信息获取单元,用于根据所述匹配语义线段信息,获取所述目标对象的位置信息。
本申请实施例还提供一种电子设备,包括:
处理器;
存储器,用于存储针对目标对象的定位方法的程序,该设备通电并通过所述处理器运行所述针对目标对象的定位方法的程序后,执行下述步骤:
获取目标对象所处环境的环境图像;
获取所述环境图像的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
根据所述匹配语义线段信息,获取所述目标对象的位置信息。
本申请实施例还提供一种存储设备,
存储有针对目标对象的定位方法的程序,该程序被处理器运行,执行下述步骤:
获取目标对象所处环境的环境图像;
获取所述环境图像的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
根据所述匹配语义线段信息,获取所述目标对象的位置信息。
本申请实施例还提供一种提供位置服务的方法,包括:
获取目标对象所处环境的环境图像;
获取所述环境图像的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
根据所述匹配语义线段信息,获取所述目标对象的位置信息;
根据所述位置信息,为所述目标对象提供位置服务。
本申请实施例还提供一种提供位置服务的装置,包括:
环境图像获取单元,用于获取目标对象所处环境的环境图像;
特征信息获取单元,用于获取所述环境图像的特征信息;
语义线段信息获取单元,用于根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
匹配语义线段信息获取单元,用于根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
位置信息获取单元,用于根据所述匹配语义线段信息,获取所述目标对象的位置信息;
位置服务提供单元,用于根据所述位置信息,为所述目标对象提供位置服务。
本申请实施例还提供一种电子设备,包括:
处理器;
存储器,用于存储提供位置服务的方法的程序,该设备通电并通过所述处理器运行所述提供位置服务的方法的程序后,执行下述步骤:
获取目标对象所处环境的环境图像;
获取所述环境图像的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
根据所述匹配语义线段信息,获取所述目标对象的位置信息;
根据所述位置信息,为所述目标对象提供位置服务。
本申请实施例还提供一种存储设备,
存储有提供位置服务的方法的程序,该程序被处理器运行,执行下述步骤:
获取目标对象所处环境的环境图像;
获取所述环境图像的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,在所述目标车辆对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
根据所述匹配语义线段信息,获取所述目标对象的位置信息;
根据所述位置信息,为所述目标对象提供位置服务。
与现有技术相比,本申请具有以下优点:
本申请实施例提供的一种语义线段信息的检测方法,包括:获取待检测图像;获取所述待检测图像的特征信息;根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述待检测图像中语义线段的信息,所述语义线段是具有语义信息的线段。所述方法通过获取待检测图像中的特征信息,并根据所述特征信息,直接获取待检测图像中的具有语义信息的语义线段的信息。相较于一般在检测图像中仅检测物体语义信息或像素语义信息的方式,由于语义线段信息是介于物体语义信息和像素语义信息之间的信息,其数量级相较于前两者更为适中,使用语义线段信息来构建地图,并将构建好的地图用于获取用户或用户关注对象的准确位置信息,可以大大提高获取用户或用户关注对象的准确位置信息时的获取效率。
附图说明
图1-A是本申请第一实施例提供的一种语义线段信息的检测方法的第一应用场景的示意图。
图1-B是本申请第一实施例提供的一种语义线段信息的检测方法的第二应用场景的示意图。
图2是本申请第一实施例提供的一种语义线段信息的检测方法的流程图。
图2-A是本申请第一实施例提供的待检测图像1中检测出的语义线段的示意图。
图2-B是本申请第一实施例提供的待检测图像2中检测出的语义线段的示意图。
图2-C是本申请第一实施例提供的待检测图像3中检测出的语义线段的示意图。
图3是本申请第二实施例提供的一种语义线段信息的检测装置的示意图。
图4是本申请第三实施例提供的一种电子设备的示意图。
图5是本申请第五实施例提供的一种地图的获得方法的流程图。
图6是本申请第六实施例提供的一种地图的获得装置的示意图。
图7是本申请第九实施例提供的一种针对目标对象的定位方法的流程图。
图8是本申请第十实施例提供的一种针对目标对象的定位装置的示意图。
图9是本申请第十三实施例提供的一种提供位置服务的方法的流程图。
图10是本申请第十四实施例提供的一种提供位置服务的装置的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
为了使本领域的技术人员更好的理解本申请方案,下面基于本申请实施例提供的语义线段信息的检测方法,对其实施例的具体应用场景进行详细描述。如图1-A、图1-B所示,其分别为本申请第一实施例提供的一种语义线段信息的检测方法的第一应用场景示意图,以及第二应用场景示意图。
如图1-A所示,在具体实施过程中,本申请实施所述语义线段信息的检测方法,一般情况是基于传统的计算设备来实现。通常是基于用户查询关注的目标对象,如目标车辆的位置信息的需求,其中,目标车辆可以是物流运输车辆、或发生故障的无人驾驶车辆等车辆,用户向其使用的计算设备下发获取目标车辆的位置信息的指令,计算设备获取该指令之后,通过计算设备搭载或者连接的图像传感器获取目标车辆所处环境的环境图像;在计算设备获取到该环境图像之后,通过提取该环境图像的特征信息,获取用于定位目标车辆的位置的参照信息;之后,计算设备在目标车辆对应的区域地图中,检索与所述参照信息对应的匹配参照信息;之后,根据检索到的匹配参照信息,获取目标车辆的目标位置。例如:计算设备在获取目标车辆对应的环境图像之后,根据该环境图像,获取到了该环境图像中的参照信息包括“002楼与103路的边界”;之后,计算设备在目标车辆对应的目标区域地图中,检索与该参照信息“002楼与103路的边界”匹配的匹配参照信息;之后,计算设备通过获取到的匹配参照信息,如信息“002楼与103路的边界在地图中的信息”,即可获取到目标车辆的位置信息,例如,可以获取到目标车辆的位置信息为“XX省YY市103路002楼附近”。当然,也可以通过匹配参照信息获取到目标车辆的更为准确的包含经纬度数据的位置信息,此处不再赘述。
需要说明的是,在具体实施时,所述参照信息具体为目标语义线段信息,所述匹配参照信息体为与目标语义线段信息匹配的匹配语义线段信息;所述目标语义线段信息及所述匹配语义线段信息,具体是用于表示目标语义线段以及匹配语义线段的标识信息,如语义线段的名称、编号或其它能够唯一标识语义线段的信息。另外,在通过环境图像中的目标语义线段信息在区域地图检索时,如果区域地图中无法获取到与目标语义线段信息匹配的匹配语义线段信息,则还可以根据需要,将目标语义线段信息进行拆分,以进行模糊查询,如将“002楼与103路的边界”拆分为“002楼的边界”和“103路的边界”等子语义线段信息,并根据拆分获得的子语义线段信息在区域地图中的子匹配语义线段的信息,获取目标车辆的位置信息,其详细处理过程此处不再赘述。
如图1-B所示,本申请实施所述语义线段信息的检测方法的具体处理过程为:基于用户查询关注的目标对象,如目标车辆的位置信息的需求,用户向其使用的计算设备下发获取目标车辆的位置信息的指令,计算设备获取该指令之后,通过计算设备搭载或者连接的图像传感器获取目标车辆所处环境的环境图像;在计算设备获取所述环境图像之后,根据所述环境图像,获取所述环境图像的特征信息;之后,根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;在获取到环境图像中的目标语义线段信息之后,根据所述目标语义线段信息,在目标车辆对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;之后,根据所述匹配语义线段信息,获取目标车辆的位置信息;在计算设备获取到目标车辆的位置信息之后,将所述位置信息提供给用户查看。
需要说明的是,所述客户端可以是移动终端设备,如手机、平板电脑等,也可以是常用的计算机设备。另外,在具体实施时,也可以通过客户端计算设备与服务端计算设备的交互来实施本实施例所述语义线段的检测方法。例如,客户端计算设备获取用户指令,之后,获取目标车辆所处环境的环境图像,并根据所述环境图像向服务端计算设备发送用于获取目标车辆位置信息的数据请求消息;在服务端计算设备获取所述数据请求消息之后,根据数据请求消息中的环境图像,获取环境图像的特征信息,再根据所述特征信息获取环境图像的目标语义线段信息;之后,根据目标语义线段信息到目标车辆对应的地图中,获取与目标语义线段信息匹配的匹配语义线段信息,并根据所述匹配语义线段信息获取目标车辆的位置信息;之后,服务端计算设备将所述位置信息返回给客户端计算设备;客户端计算设备在获取所述位置信息之后,再将所述位置信息提供给用户查看。上述应用场景仅仅是本实施例提供的所述语义线段信息的检测方法的一个具体实施例,提供所述应用场景实施例的目的是便于理解本申请的语义线段信息的检测方法,而并非用于限定本申请的语义线段信息的检测方法。
另外,所述目标对象泛指实际存在的具有位置信息的实体对象,具体可以是可主动移动的交通工具或生命体等实体对象,例如,目标对象可以是物流运输中的运输车辆、飞行器、船只或待救援人员等实体对象;或者,也可以是可被动移动的实体对象,例如,目标对象可以是运输车辆上的物品,或是者存储于仓库中的物品等实体对象。
所述图像传感器,可以是计算设备搭载的摄像装置,如摄像头,也可以是与计算设备无线连接的可拍摄目标对象所处环境的环境图像的摄像装置。
所述环境图像,是指图像传感器拍摄的包含目标对象所处环境的环境信息的图像,其可以是由图像传感器直接拍摄获取到的图像,也可以是从图像传感器拍摄的视频资源中截取的某个视频帧。所述特征信息,是指对输入数据,如输入图像进行处理和抽象后,获得的可以用来描述和代表输入图像中的信息的数字组合,所述特征信息包括图像中的线段特征信息、颜色特征信息、纹理特征信息、形状特征信息以及空间关系特征信息等特征信息。所述线段特征信息是用于描述图像中的线段的特征信息;所述颜色特征信息是用于描述图像或图像区域中的主体的表面形状;所述纹理特征信息是用于描述图像或图像区域中的主体的表面性质;所述形状特征信息一般分为轮廓特征信息和区域特征信息,所述轮廓特征信息是用于描述图像或图像区域中的外边界的信息,所述区域特征信息是用于描述图像或图像区域的整体形状的信息;所述空间特征信息是用于描述图像中分割出来的多个主体之间的相互的空间位置或相对方向关系的信息。
所述语义线段是具有语义信息的线段,通常是指图像中包括的具有语义信息的主体的边缘线段或主体间的分界线。其中,所述主体,是指在真实世界中存在的具有对应的名称的实体,主体包括但不限于实际的物体、平面、竖面等实体。例如,主体可以是真实世界中的电线杆、草坪、建筑物等;语义线段可以是电线杆的边缘、草坪与路面的分界线、建筑物顶部与天空的分界线、人的两脚与路面的分界线等。
所述语义线段信息是用于表示语义线段的信息。具体为使用一种编码方式来描述语义线段在二维或三维场景中的位置信息,其具体的编码方式将在后续进行详细描述。
在介绍本实施例所述语义线段的检测方法之前,首先对现有技术中的一些相似方案进行简单的介绍。
在现有技术中,传统的用于检测图像中的直线信息的方法,如直线检测分隔方法(LSD,Line Segment Detector)和霍夫变换方法(HLT,Hough Line Transform)。此类方法辅以线段分类器来获取图像中的直线信息。此类方法虽然可以检测出图像中的线段和边缘,并通过分类器对每个线段进行分类。但是,此类方法不能提供线段的语义信息,即虽然能够获取图像中的线段信息,但无法提供图像中线段的语义信息;并且,此类方法检测出的线段过于细碎,其检测结果对于室外场景的光照、季节等变化不够鲁棒。
另外,还有基于卷积神经网络模型的目标检测方法,如单阶段检测方法(SSD,Single Shot MultiBox Detector,以及,YOLO,You Only Look Once),此类方法通常是基于物体进行检测的,即通常是检测出图像中的具有语义信息的物体,而不是检测出语义线段。使用此类方法,虽然能够检测出语义物体,但无法获取到物体上的语义线段的具体位置。
此外,还有基于卷积神经网络模型的语义边缘检测方法,如基于深度卷积网络的跨类别语义边缘检测方法(CASENet,Deep Category-Aware Semantic Edge DetectionNetworks)。该类方法能够检测出图像中物体的轮廓,并提供物体之间的边缘信息。但是,此类方法的检测结果通常为不规则的物体边缘轮廓,不能提供易于参数化的语义线段。
显而易见的,现有技术中的上述方法均不能解决本实施例所要解决的技术问题。因此,为了解决现有技术在获取用户或用户关注对象的准确位置信息时,存在的效率低下的问题,本实施例提供一种语义线段信息的检测方法,如图2所示,其为本申请第一实施例提供的语义线段信息的检测方法的流程图,以下结合图2对该实施例予以详细说明。
步骤S201,获取待检测图像。
所述待检测图像,是包含各种语义线段的图像,具体可以是通过计算设备直接或间接获取到的图像,其中,直接获取待检测图像的方法,可以是计算设备通过搭载或连接的图像传感器直接获取待检测图像,或者,将接收到的用户或其它计算设备发送的图像作为待检测图像;而间接获取待检测图像的方法,可以是在计算设备获取到某个视频资源后,将该视频资源中的某一视频帧作为待检测图像,其中,该视频资源可以是包含待定位的车辆、人员或其它实体对象所处环境的环境信息的视频资源。
另外,在具体实施时,还存在仅需要获取待检测图像中的部分语义线段信息的情况,因此,为了能够有针对性的获取待检测图像中的语义线段信息,在使用本实施例提供的所述方法获取待检测图像的同时,还可以获取与待检测图像对应的辅助信息,并通过该辅助信息来有针对性的提取待检测图像中的语义线段信息。另外,还可以通过获取到的辅助信息来减少进行语义线段信息的获取处理时的计算量,以提高待检测图像中的语义线段信息的获取效率。
所述辅助信息,是用来辅助获取待检测图像中的语义线段信息的信息,辅助信息可以是文字、音频及视频格式的信息中的至少一种信息。
例如,针对包含楼、树及车辆等对象的一张待检测图像,如果没有辅助信息,则需要获取该待检测图像中的所有语义线段信息;而如果有辅助的文字信息“获取树相关的语义线段信息”时,则仅需要从待检测图像中获取与树相关的语义线段信息即可。
在步骤S201之后,执行步骤S202,获取所述待检测图像的特征信息。
所述特征信息,是指对输入数据,如输入图像进行处理和抽象后,获得的可以用来描述和代表输入图像中的信息的数字组合,其详细描述此处不再赘述。在本实施例中,所述特征信息是指待检测图像的特征图像,即通过提取待检测图像中的特征信息,并根据提取出的特征信息构成的特征图像。
其中,所述获取所述待检测图像的特征信息,包括:获取所述待检测图像的至少一个尺度的特征图像,其中,所述特征图像包括所述待检测图像的特征信息。为了提高最终检测到的语义线段的准确、稳定性。在本步骤中,通过获取待检测图像的不同尺度的特征信息,并根据获取到的不同尺度的特征信息,来获取目标语义线段信息,其中,所述不同尺度的特征信息,是指在不同大小的图像区域内提取的不同精细度的特征信息。
所述目标语义线段信息是用于表示语义线段的信息。具体为使用一种编码方式来描述语义线段在二维或三维场景中的位置信息,其具体的编码方式将在后续进行详细描述
在本实施例中,所述获取所述待检测图像的至少一个尺度的特征图像,包括:获取多尺度特征提取卷积神经网络模型;将所述待检测图像输入到所述多尺度特征提取卷积神经网络模型中,获取所述待检测图像的至少一个尺度的特征图像。即本实施例中为了获取待检测图像的至少一个尺度的特征图像,是通过获取用于获取多尺度特征信息的多尺度特征提取卷积神经网络模型,并将待检测图像输入到所述多尺度特征提取卷积神经网络模型中,来获取待检测图像的至少一个尺度的特征图像。
所述卷积神经网络模型(CNN,Convolutional Neural Networks),是一类包含卷积计算且具有深度结构的前馈神经网络模型(FNN,Feedforward Neural Networks)。卷积神经网络模型主要是由卷积层模拟大脑的神经元连接结构所构建的数学模型,并用于对输入数据进行逐层的处理以获取到与输入数据对应的输出数据。通常可以将卷积神经网络模型认为是输入数据到输出数据的一个映射。卷积神经网络模型通常包括卷积层、归一化层、激活层和池化层,有关各层的通用作用因为现有技术中有详细描述,此处不再赘述。
在本实施例中,为了能够获取到稳定可靠的目标语义线段信息,是通过多个不同功能的卷积神经网络模型对待检测图像进行转换处理,以提取到最终稳定可靠的目标语义线段信息,在此,针对如何训练获得本实施例所需要的卷积神经网络网络模型进行详细介绍。
所述获取多尺度特征提取卷积神经网络模型,包括:获取原始多尺度特征提取卷积神经网络模型;使用样本数据训练所述原始多尺度特征提取卷积神经网络模型,使所述原始多尺度特征提取卷积神经网络模型收敛,并将收敛后的所述原始多尺度特征提取卷积神经网络模型作为所述多尺度特征提取卷积神经网络模型。即,先获取原始的未经训练的原始多尺度特征提取卷积神经网络模型,之后,使用样本数据训练原始多尺度特征提取卷积神经网络模型,以使该原始多尺度特征提取卷积神经网络模型收敛,并将收敛后的原始多尺度特征提取卷积神经网络模型用于本实施例中的特征信息的获取处理。需要说明的是,一般的用于特征提取的卷积神经网络模型都可以作为本实施例中所使用的多尺度特征提取卷积神经网络模型的原型,例如,常见的残差卷积神经网络模型(ResNet,ResidualNetworks)以及最新的深度层聚合(DLA,Deep Layer Aggregation)和堆叠沙漏网络模型(Stacked Hourglass Networks)。在本实施例中,所述原始多尺度特征提取卷积神经网络模型的结构一般是ResNet-18,DLA-34及Hourglass-104,其中,数字代表模型中的卷积层的数量,在具体实施时,也可根据实际需要,使用其它网络结构以及使用不同的卷积层数量,此处不做特殊限定。
所述使用样本数据训练所述原始多尺度特征提取卷积神经网络模型,使所述原始多尺度特征提取卷积神经网络模型收敛,包括:获取原始多尺度特征融合卷积神经网络模型,并获取原始预测卷积神经网络模型;使用样本数据训练所述原始多尺度特征提取卷积神经网络模型,所述原始多尺度特征融合卷积神经网络模型和所述原始预测卷积神经网络模型,使所述原始多尺度特征提取卷积神经网络模型收敛。在本实施例中,为了能够根据待检测图像,获取到最终稳定、准确的目标语义线段信息,对处理过程中涉及到的各个卷积神经网络模型进行联合训练,以方便根据各个模型之间相关联的输入数据及输出数据的误差来调整各个模型的参数,进而使各个模型达到收敛,其中,本实施例中所涉及到的模型主要有用于获取多尺度特征信息的多尺度特征提取卷积神经网络模型,用于对至少两个尺度的特征图像进行融合处理的多尺度特征融合卷积神经网络模型以及用于获取语义线段信息的预测卷积神经网络模型,关于如何使用多尺度特征融合卷积神经网络模型和预测卷积神经网络模型将在后续的处理中进行详细描述,此处仅对如何训练原始多尺度特征提取卷积神经网络模型,原始多尺度特征融合卷积神经网络模型以及原始预测卷积神经网络模型,以使所述多尺度特征提取卷积神经网络模型,原始多尺度特征融合卷积神经网络模型以及原始预测卷积神经网络模型收敛进行详细描述。
所述使用样本数据训练所述原始多尺度特征提取卷积神经网络模型,所述原始多尺度特征融合卷积神经网络模型和所述原始预测卷积神经网络模型,使所述原始多尺度特征提取卷积神经网络模型收敛,包括:获取原始训练样本图像;将所述原始训练样本图像输入到所述原始多尺度特征提取卷积神经网络模型中,获取至少一个尺度的原始训练特征图像;将所述至少一个尺度的原始训练特征图像输入到所述原始多尺度特征融合卷积神经网络模型中,获取原始训练融合特征图像;将所述原始训练融合特征图像输入到所述原始预测卷积神经网络模型中,获取原始训练语义线段信息,其中,所述原始训练语义线段信息是用于表示所述原始训练样本图像中语义线段的信息;在训练所述原始多尺度特征提取卷积神经网络模型,所述原始多尺度特征融合卷积神经网络模型和所述原始预测卷积神经网络模型的过程中,根据与所述原始多尺度特征提取卷积神经网络模型,所述原始多尺度特征融合卷积神经网络模型和所述原始预测卷积神经网络模型对应的损失函数调整所述原始多尺度特征提取卷积神经网络模型,所述原始多尺度特征融合卷积神经网络模型和所述原始预测卷积神经网络模型的参数,使所述原始多尺度特征提取卷积神经网络模型收敛。
另外,为了提高预测卷积神经网络模型预测的语义线段的准确性,在训练其对应的原始预测卷积神经网络模型的过程中,所述将所述原始训练融合特征图像输入到所述原始预测卷积神经网络模型中,获取原始候选语义线段信息,包括:将所述原始训练融合特征图像输入到所述原始预测卷积神经网络模型中,获取原始候选语义线段信息;从所述原始候选语义线段信息中,获取所述原始训练语义线段信息。
所述原始候选语义线段信息,是所述原始预测卷积神经网络模型输出的、用于描述图像中的语义线段的形状及位置等信息的参数信息。所述参数信息是用于对语义线段进行参数化表示时所使用的参数,其包括语义线段的长度、宽度及其初始位置等参数,有关如何使用参数对语义线段进行参数化描述将在后续处理中进行详细描述,此处不再赘述。同时,为了进一步提高预测卷积神经网络模型预测的语义线段的准确性,所述从所述原始候选语义线段信息中,获取所述原始训练语义线段信息,包括:根据所述原始候选语义线段信息,生成用于表示所述原始候选语义线段信息的统计分布数据;根据所述统计分布数据,从所述原始候选语义线段信息中,确定所述原始训练语义线段信息。进一步的,为了能够生成用于表示所述候选语义线段信息的统计分布数据,在训练预测卷积神经网络模型时,通过在原始预测卷积神经网络模型获取到的原始候选语义线段信息中额外加入用于生成统计分布数据的参数来额外约束语义线段的位置和形状,其中,所述统计分布数据可以以统计分布图或统计分布表的形式来描述,所述统计分布数据常见的有二项分布数据、泊松分布数据、指数分布数据、高斯分布数据等数据。
在本实施例中,所述用于表示所述原始候选语义线段信息的统计分布数据包括高斯分布数据;所述根据所述原始候选语义线段信息,生成用于表示所述原始候选语义线段信息的统计分布数据,包括:从所述原始候选语义线段信息中,获取原始候选语义线段信息中的分布参数;根据所述分布参数生成用于表示所述原始候选语义线段信息的高斯分布数据。例如,在训练原始预测卷积神经网络模型获取预测卷积神经网络模型的过程中,通过在原始预测卷积神经网络模型获取到的预测结果中额外加入用于生成二维高斯分布数据的参数,例如,在预测用于描述图像中的语义线段的形状及位置等信息的参数信息之外,额外加入用于生成二维高斯分布数据的参数,如参数(miu1,sigma1,miu2,sigma2)来进一步的约束语义线段的形状和位置,在通过原始预测卷积神经网络模型获取到原始候选语义线段信息之后,通过获取原始候选语义线段信息中的所述额外加入的用于生成二维高斯分布数聚的参数,来生成表示所述原始候选语义线段信息的高斯分布数据。
同时,在使用原始多尺度特征提取卷积神经网络模型、所述原始多尺度特征融合卷积神经网络模型和所述原始预测卷积神经网络模型对应的损失函数调整上述三个网络模型的参数时,可以通过原始候选语义线段信息对应的统计分布数据与期望语义线段信息对应的统计分布数据之间的损失函数来进一步的调整所述三个网络模型的参数,以提高所述三个网络模型的性能。所述期望语义线段信息的统计分布数据,是指首先获取与原始训练样本图像对应的期望语义线段信息;之后,根据所述期望语义线段信息,在与原始训练样本图像和原始候选语义线段信息的维度相对应的描述有所述期望语义线段信息特征图像上,生成用于描述期望语义线段信息的统计分布数据。所述期望语义线段是所述原始训练样本图像中的语义线段的正确信息。
例如,在原始训练样本图像上,预先通过人工标注图像中的语义线段的位置和长度等信息的方式来获得与原始训练样本图像对应的期望语义线段信息,之后,在与原始训练样本图像和原始候选语义线段信息的维度相对应的描述有所述期望语义线段信息特征图像上,以相应位置为中心,以其对应的特征图像上语义线段的长度及宽度计算相应的方法,生成用于描述所述期望语义线段信息的高斯分布数据;之后,在网络模型训练的过程中,通过原始预测卷积神经网络模型获取到与原始训练样本图像对应的原始候选语义线段信息之后,通过相应的损失函数计算用于描述所述原始候选语义线段信息的高斯分布数据与用于描述所述期望语义线段信息的高斯分布数据之间的误差度量,并进一步的根据所述误差度量去调整网络模型的参数,其详细处理过程此处不再赘述。需要说明的是,在本实施例中仅描述了在网络模型训练的过程中,通过预测用于生成高斯分布数据的分布参数并通过相应的损失函数来调整网络模型的参数的方法,在具体实施时,可根据实际需要通过预测用于生成其它统计分布数据的参数来调整网络模型的参数,此处不再赘述。
此外,在训练所述原始多尺度特征提取卷积神经网络模型,所述原始多尺度特征融合卷积神经网络模型和所述原始预测卷积神经网络模型的过程中,还可以将收敛后的所述原始多尺度特征融合卷积神经网络模型作为所述多尺度特征融合卷积神经网络模型,将收敛后的所述原始预测卷积神经网络模型作为所述预测卷积神经网络模型。
所述获取原始训练样本图像,是指获取用于进行模型训练的图像,其通常由原始输入数据以及对应的原始输出数据构成。所述模型训练的过程,主要是将所述原始训练样本图像输入到模型中,并获取模型最终转换出的训练输出数据,同时,根据原始输出数据和训练输出数据的差异,来不断调整模型的参数,直到调整后的模型参数的误差在预定的阈值范围内。
所述损失函数,是一个包括了某种相似性度量的可导函数,通常用于度量模型的输出数据与输出数据之间的相似性,从而调整模型的参数。
例如,以o_img1表示原始训练样本图像,以o_f_l_imgs-1表示从o_img1中获取到的至少一个尺度的原始训练特征图像,以o_m_l_imgs-1表示原始训练融合特征图像,以o_des_line_msgs表示原始训练语义线段信息,以o_f_c_model表示原始多尺度特征提取卷积神经网络模型,以o_m_model表示原始多尺度特征融合卷积神经网络模型,以o_cal_model表示原始预测卷积神经网络模型,则上述各个模型的联合训练的过程相当于是,将o_img1输入到模型o_m_model中,获取o_f_l_imgs-1;之后,将o_f_l_imgs-1输入到模型o_m_model中,获取o_m_l_imgs-1;之后,将o_m_l_imgs-1输入到模型o_cal_model中,获取到o_des_line_msgs;同时,在上述训练的过程中,通过o_f_c_model,o_m_model和o_cal_model各自的损失函数或o_f_c_model,o_m_model和o_cal_model共同对应的损失函数调整o_f_c_model,o_m_model和o_cal_model的参数,以使o_f_c_model收敛。
至此,即获得到本实施例各步骤中所需的卷积神经网络模型,之后,即可使用收敛后的原始多尺度特征提取卷积神经网络模型,原始多尺度特征融合卷积神经网络模型以及原始预测卷积神经网络模型去获取待检测图像对应的目标语义线段信息。在本步骤中,主要是使用训练获取到的收敛后的多尺度特征提取卷积神经网络模型,来获取待检测图像的至少一个尺度的特征图像。
所述将所述待检测图像输入到所述多尺度特征提取卷积神经网络模型中,获取所述待检测图像的至少一个尺度的特征图像,包括:使用所述多尺度特征提取卷积神经网络模型中的第一卷积单元对所述待检测图像进行特征提取处理,获取所述待检测图像的第一尺度特征图像;对所述第一尺度特征图像进行降维处理,获取第二尺度待处理特征图像;使用所述多尺度特征提取卷积神经网络模型中的第二卷积单元对所述第二尺度待处理特征图像进行特征提取处理,获取所述待检测图像的第二尺度特征图像。
根据上述描述可知,在多尺度特征提取卷积神经网络模型中,通常包括由多层具有不同功能的卷积层构成的用于提取待检测图像的不同尺度的特征信息的卷积单元。
例如,针对待检测图像img1,一般是通过多尺度特征提取卷积神经网络模型中的卷积层和池化层来获取待检测图像的至少一个尺度的特征信息,如,针对形状大小为H*W(其中,H为待检测图像对应的矩阵数据的行数,W为待检测图像对应的矩阵数据的列数)的待检测图像,首先,通过多尺度特征提取卷积神经网络模型中的第一卷积单元对img1上每个3*3的区域进行特征提取,获得维度为H*W*C(其中,C为获得的特征图像的通道数)的特征图像;之后,对获取到维度为H*W*C的特征图像进行降维处理,获得维度为的特征图像,之后,再使用第一卷积单元之后的第二卷积单元对该特征图像上的3*3的区域进行特征提取,获取到维度为/>的特征图像,其中,C'为获得的新的维度的特征图像的通道数,另外,因为在对H*W*C的特征图像进行降维处理后获得的图像比较粗糙,所以依然需要使用第二卷积单元中的其它卷积层对所述图像进行处理后才能获得比较稳定的其它尺度的特征图像;通过重复执行上述步骤,即可获取到待检测图像的至少一个尺度的特征图像,即对应原图上的不同大小区域的特征信息。
此外,需要说明的是,所述针对特征图像进行降维处理,主要是指使用卷积神经网络模型中的池化层针对输入的特征图像进行局部的特征抽象,因为池化层的步长一般为2,所以获取到的特征图像的维度为在具体实施时,根据实际的设计需要,也可将池化层的步长值设置为其它数值;同时,之所以,是提取图像上3*3区域的特征信息,是因为一般卷积层的卷积核的大小为3*3,在具体实施时,根据实际的设计需要,也可将模型中的卷积核的大小设置为其它数值如4*4,5*5等。
至此,通过多尺度特征提取卷积神经网络模型,即可获取到待检测图像的至少一个尺度的特征信息,在获取到所述特征信息之后,即可根据所述特征信息,去获取待检测图像的目标语义线段信息。当然,需要说明的是,在本实施例中,是通过使用卷积神经网络模型来获取待检测图像的至少一个尺度的特征信息,在具体实施时,也可使用其它办法来获取待检测图像的特征信息,如通过对待检测图像的不同程度的缩放,来获取其对应的不同尺度的特征信息,此处不再赘述。
在步骤S202之后,执行步骤S203,根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述待检测图像中语义线段的信息,所述语义线段是具有语义信息的线段。
在步骤S202中,详细介绍了如何训练获取本实施例所需的具有各种功能的卷积神经网络模型,以及根据训练获取到的多尺度特征提取卷积神经网络模型,获取到了待检测图像的至少一个尺度的特征信息。在本步骤中,主要针对如何根据所述至少一个尺度的特征信息,获取待检测图像的目标语义线段信息进行详细介绍。
通常来讲,在获取到待检测图像的至少一个尺度的特征图像之后,将所述至少一个尺度的特征图像直接输入到训练获取到的预测卷积神经网络模型,即可获取到待检测图像中的目标语义线段信息。即,获取预测卷积神经网络模型,其中,所述预测卷积神经网络模型是用于获取语义线段信息的模型;之后,将所述至少一个尺度的特征图像输入到所述预测卷积神经网络模型中,获取所述目标语义线段信息。
所述根据所述特征信息,获取目标语义线段信息,包括:根据所述至少一个尺度的特征图像,获取融合特征图像,其中,所述融合特征图像是融合了至少两个尺度的特征图像中的特征信息的特征图像;根据所述融合特征图像,获取所述目标语义线段信息。在本实施例中,为了获取到效果更好的、更稳定的目标语义线段信息,采取先将至少一个尺度的特征图像进行融合,再根据融合后的特征图像,去获取待检测图像中的目标语义线段信息的方式。
需要说明的是,所述对所述至少一个尺度的特征图像的融合过程,可以是将全部尺度的特征图像同时进行融合,也可以先两两融合,再进行统一融合,或者其它形式组合的融合方式都是可以的,只要最终能够将多个不同尺度的特征图像融合到一个统一的融合特征图像中既可。例如,有A,B,C三个尺度的特征图像,在进行融合时,可以先将A,B进行融合,获得A-B,再将A-B与C进行融合,获取A-B-C;也可以直接将A,B,C进行融合,获得A-B-C;也可先融合B,C,获得B-C,再将B-C与A进行融合,获得A-B-C。
在本实施例中,对于获取融合特征图像,同样是采取卷积神经网络模型来实现,当然,在具体实施时,也可以采用其它方式,此处,仅对如何使用卷积神经网络网络模型来对所述至少一个尺度的特征图像进行融合,以获取融合特征图像的处理过程进行详细描述。
所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像。即,在步骤S202中获取到的待检测图像的至少一个尺度的特征图像之后,将所述至少一个尺度的特征图像直接输入到训练获取到的多尺度特征融合卷积神经网络模型中,即可获取到融合特征图像。
所述多尺度特征融合卷积神经网络模型,通常包括上采样层或下采样层,反卷积层。其中,所述上采样层或下采样层,用于针对不同维度的输入数据,进行重新采样,使输入数据的维度一致,即对不同维度的输入数据进行升维或降维处理。
所述将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像,包括:从所述至少一个尺度的特征图像中,获取至少两个尺度的特征图像;根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致;针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像。
所述根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致,包括:使用所述多尺度特征融合卷积神经网络模型中的上采样层或下采样层,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致。
需要说明的是,所述针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像,包括:针对经过维度调整处理后的所述至少两个尺度的特征图像进行级联操作处理或者矩阵相加处理,获取所述融合特征图像。
所述针对经过维度调整处理后的所述至少两个尺度的特征图像进行级联操作处理,获取所述融合特征图像。主要是指将至少两个尺度的特征图像对应的矩阵数据,按照某种映射关系建立连接。例如,级联经过维度调整处理后的两个维度为H*W*C的特征图像,则可获取到一个H*W*2C的融合特征图像。
所述针对经过维度调整处理后的所述至少两个尺度的特征图像进行矩阵相加处理,获取所述融合特征图像。主要是指将至少两个尺度的特征图像对应的矩阵数据,按照其对应的位置关系进行相加处理。例如,对经过维度调整处理后的两个维度为H*W*C的特征图像进行矩阵相加处理,则可获取到一个维度为H*W*C的融合特征图像。
在对待检测图像对应的至少一个尺度的特征图像进行融合处理,获取到待检测图像对应的融合特征图像之后,根据所述融合特征图像,即可获取到待检测图像中的目标语义线段信息。
在本实施例中,同样是采取卷积神经网络模型对所述融合特征图像进行转换处理,以获取目标语义线段信息。当然,在具体实施时,也可使用其它方式来获取所述目标语义线段信息。即,所述根据所述融合特征图像,获取所述目标语义线段信息,包括:获取预测卷积神经网络模型,其中,所述预测卷积神经网络模型是用于获取语义线段信息的模型;将所述融合特征图像输入到所述预测卷积神经网络模型中,获取所述目标语义线段信息。
所述预测卷积神经网络模型,是指在步骤S202中,将原始预测卷积神经网络模型与原始多尺度特征提取卷积神经网络模型进行联合训练,获取到的收敛后的原始预测卷积神经网络模型。
所述将所述融合特征图像输入到所述预测卷积神经网络模型中,获取所述目标语义线段信息,包括:从所述融合特征图像中,获取候选特征信息;将所述候选特征信息输入到所述预测卷积神经网络模型中,获取所述目标语义线段信息。
在将融合特征图像输入到所述预测卷积神经网络模型中之后,即可获取到目标语义线段信息。具体是通过预测卷积神经网络模型输出的三个不同种类的预测结果来获取对应的语义线段信息。例如,将维度为H*W*C的融合特征图像输入到预测卷积神经网络模型之后,通过预测卷积神经网络模型中的三个卷积层Conv_cls,Conv_wh,Conv_d进行相应的卷积操作,其中,Conv_cls包括Ccls个维度为3*3*C的卷积核,Conv_wh的维度为H*W*2,Conv_d的度为H*W*1;之后,可分别获取到一个H*W*Ccls,两个H*W*2和一个H*W*1的特征图像作为预测结果。其中,H*W*Ccls的每个通道Ci上的H*W的矩阵表示了当前Ci所代表的类别上是否存在语义线段对应的边界框的热力图,其中,Ccls表示语义线段的总类别数量,通道C的H*W矩阵上数值峰值的位置则表示该位置上存在一个属于该类别的语义线段对应的边界框;另外两个H*W*2的特征图像,其中一个用于预测在H*W的每个位置上,语义线段对应的边界框的长度信息和宽度信息,另一个用于预测语义线段对应的边界框在H*W的每个位置上,相对于该位置的横向位移偏移量和纵向位移偏移量;而针对H*W*1的特征图像,其每个位置的值标识该位置的边界框中语义线段的方向。
另外,为了能够更好的对检测到的语义线段进行参数化表示,在本实施例中,所述目标语义线段信息是通过带有方向信息的编码方式,如(x,y,w,h,c,d)来表示待检测图像中的目标语义线段。(x,y)表示目标语义线段对应的边界框的任一顶点或中心点在待检测图像中的位置信息,所述边界框是指在待检测图像中用于唯一确定语义线段的一个矩形框,其是一个假想的矩形框,其包括了单一主体或单一区域的最上点,最下点,最左点,最右点所在的四条直线边界所构成的区域;w表示目标语义线段对应的边界框的长度信息;h表示目标语义线段对应的边界框的宽度信息;c表示目标语义线段的类别信息;d表示目标语义线段对应的边界框的方向信息,其为一个二分类参数,其值可以为0或1的形式,如可以用0表示目标语义线段是边界框中从左上位置到右下位置的对角线,1则表示是边界框中从右上位置到左下位置的对角线等。
根据上述描述可知,在本实施例中,所述目标语义线段信息包括语义线段的方向信息;所述方法还包括:通过所述方向信息确定所述语义线段。其中,所述目标语义线段信息还包括所述语义线段对应的边界框的任一顶点或中心点在所述待检测图像中的位置信息、所述语义线段对应的边界框的长度信息、所述语义线段对应的边界框的宽度信息、所述语义线段的类别信息,其中,所述边界框是指在所述待检测图像中用于确定语义线段的一个矩形框;所述通过所述方向信息确定所述语义线段,包括:通过所述位置信息、所述长度信息、所述宽度信息、所述类别信息和所述方向信息,确定所述语义线段。
例如,目标语义线段信息为(30,30,12.2,5.3,8,0),(30,30)表示目标语义线段的中心点在待检测图像上的坐标,(12.2,5.3)表示目标语义线段对应的边界框的长度和宽度,8为其分类编号,0表示目标语义线段是边界框中从左上位置到右下位置的对角线。
需要说明的是,上述编码方式只是对语义线段进行编码表示的一种具体实现方式,在具体实施时,还可以使用其它包括方向信息的编码方式来表示待检测图像中的语义线段。例如,采用编码方式(x1,y1,x2,y2,w,h,c,d),其中,(x1,y1),(x2,y2)分别为语义线段对应的边界框的左上和右下(或左下和右上)顶点的坐标;或采用编码方式(xc,yc,L,c,alpha),(xc,yc)为语义线段对应的边界框的中心点位置,L为语义线段的长度,alpha为语义线段相对于x正方向(或y正方向)的夹角;(xv,yv,L,c,alpha),(xv,yv)为语义线段对应的边界框的某个顶点等方式。
所述从所述融合特征图像中,获取候选特征信息;将所述候选特征信息输入到所述预测卷积神经网络模型中,获取所述目标语义线段信息。
一种实现方式是将融合特征图像中的所有的融合特征信息均视为一个语言线段对应的特征信息,将融合特征图像中的每一个特征信息使用预测卷积神经网络模型进行转换处理,获取到的一个语义线段信息均可唯一确定待检测图像上的一根语义线段。例如,针对维度为H*W*C的融合特征图像,将其输入到预测卷积神经网络模型中,可以获取到H*W个预测结果,每一个预测结果即为一组(x,y,w,h,c,d)的语义线段信息,均可唯一确定待检测图像上的一根语义线段。
此外,其另外一种实现方式是,获取区域候选卷积神经网络模型(RPN,RegionProposal Network),其中,所述区域候选卷积神经网络模型是用于从特征图像中选取候选特征信息的模型;将所述融合特征图像输入到所述区域候选卷积神经网络模型中,获取所述候选特征信息。
所述区域候选卷积神经网络模型的获取方法,可以是在上述步骤S202训练原始多尺度特征提取卷积神经网络模型的过程中,同样加入原始区域候选卷积神经网络模型进行联合训练。即将原始多尺度特征融合卷积神经网络模型获取到的原始训练融合特征图像输入到原始区域候选卷积神经网络模型中,获取原始候选特征信息;之后,再将原始候选特征信息输入到原始预测卷积神经网络模型中,获取原始训练语义线段信息;同时,在对上述卷积神经网络模型进行联合训练的过程中,在使用其各自对应或共同对应的损失函数调整其参数的同时,也调整所述原始区域候选卷积神经网络模型的参数,使所述原始区域候选卷积神经网络模型收敛,并将收敛后的原始区域候选卷积神经网络模型作为区域候选卷积神经网络模型用于获取待检测图像的目标语义线段信息的处理中。
其中,为了增加或减少预测卷积神经网络模型获取到的预测结果的数量,以提高检测语义线段信息的稳定性。所述将所述候选特征信息输入到所述预测卷积神经网络模型中,获取所述目标语义线段信息,包括:将所述候选特征信息输入到所述预测卷积神经网络模型中,获取待确定语义线段信息;从所述待确定语义线段信息中,确定所述目标语义线段信息。所述从所述待确定语义线段信息中,确定所述目标语义线段信息,包括:获取与所述待确定语义线段信息对应的置信度;将置信度大于预设阈值的待确定语义线段信息作为所述目标语义线段信息。在本实施例中,所述置信度,是所述待确定语义线段信息对应的语义线段的可信程度,即所述待确定语义线段信息对应的语义线段是否准确的概率。
如图2-A、图2-B、图2-C所示,其分布为本申请第一实施例提供的待检测图像1中检测出的语义线段的示意图、本申请第一实施例提供的待检测图像2中检测出的语义线段的示意图、本申请第一实施例提供的待检测图像3中检测出的语义线段的示意图。根据图2-A、图2-B、图2-C可知,本申请所述语义线段信息的检测方法,可以稳定、准确的检测出待检测图像中的语义线段的位置信息、语义信息。
在具体实施时,本实施例提供的所述语义线段信息的检测方法可用于获取车辆的位置信息。例如,为了获取物流运输途中的运输车辆,或者发生故障的无人驾驶车辆的准确位置信息,先获取该运输车辆或者该无人驾驶车辆所处环境的环境图像;之后,获取该环境图像的特征信息,并根据获取到的特征信息,获取该环境图像中的目标语义线段信息;之后,根据获取到的目标语义线段信息,在该运输车辆或者该无人驾驶车辆对应的区域地图中,获取与该目标语义线段信息匹配的匹配语义线段信息;再之后,根据该匹配语义线段信息,即可获取到该运输车辆或者该无人驾驶车辆的位置信息。
本实施例提供的所述语义线段信息的检测方法还可用于获取人员的位置信息。例如,当人员在野外遇险寻求救援时,救援人员通常需要获取该人员的准确位置信息,此时,可以由该遇险人员通过其手机上的摄像头拍摄其所处环境的环境图像;之后,通过获取该环境图像的特征信息,并根据获取到的特征信息,获取该环境图像中的目标语义线段信息;之后,根据获取到的目标语义线段信息,在该遇险人员对应的区域地图中,获取与该目标语义线段信息匹配的匹配语义线段信息;再之后,根据该匹配语义线段信息,即可获取到遇险人员的位置信息;之后,将该位置信息提供给救援人员,该遇险人员即可迅速获救。
综上可知,本实施例提供的所述语义线段信息的检测方法,包括:获取待检测图像;获取所述待检测图像的特征信息;根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述待检测图像中语义线段的信息,所述语义线段是具有语义信息的线段。所述方法通过获取待检测图像中的特征信息,并根据所述特征信息,直接获取待检测图像中的具有语义信息的语义线段的信息。相较于一般在检测图像中仅检测物体语义信息或像素语义信息的方式,由于语义线段信息是介于物体语义信息和像素语义信息之间的信息,其数量级相较于前两者更为适中,使用语义线段信息来构建地图,并将构建好的地图用于获取用户或用户关注对象的准确位置信息,可以大大提高获取用户或用户关注对象的准确位置信息时的获取效率。
与上述第一实施例提供的一种语义线段信息的检测方法相对应,本申请第二实施例还提供一种语义线段信息的检测装置,请参看图3,其为本申请第二实施例提供的一种语义线段信息的检测装置的示意图,由于装置实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的装置实施例仅仅是示意性的。本申请第二实施例提供的一种语义线段信息的检测装置包括如下部分:
图像获取单元301,用于获取待检测图像。
特征信息获取单元302,用于获取所述待检测图像的特征信息。
语义线段信息获取单元303,用于根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述待检测图像中语义线段的信息,所述语义线段是具有语义信息的线段。
与上述第一实施例提供的一种语义线段信息的检测方法相对应,本申请第三实施例还提供一种电子设备,请参看图4,其为本申请第三实施例提供的一种电子设备的示意图,由于电子设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的电子设备实施例仅仅是示意性的。本申请第三实施例提供的一种电子设备包括:
处理器401;
存储器402,用于存储语义线段信息的检测方法的程序,该设备通电并通过所述处理器运行所述语义线段信息的检测方法的程序后,执行下述步骤:
获取待检测图像;
获取所述待检测图像的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述待检测图像中语义线段的信息,所述语义线段是具有语义信息的线段。
与上述第一实施例提供的一种语义线段信息的检测方法相对应,本申请第四实施例还提供一种存储设备,由于存储设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的存储设备实施例仅仅是示意性的。本申请第四实施例提供的一种存储设备,存储有语义线段信息的检测方法的程序,该程序被处理器运行,执行下述步骤:
获取待检测图像;
获取所述待检测图像的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述待检测图像中语义线段的信息,所述语义线段是具有语义信息的线段。
在以上描述中,提供了一种语义线段信息的检测方法,与上述语义线段信息的检测方法相对应,本申请第五实施例还提供一种地图的获得方法,其为本申请第一实施例提供的语义线段信息的检测方法的第一种应用场景,请参看图5所示,其为本申请第五实施例提供的一种地图的获得方法的流程图,其中部分步骤在上述第一实施例中已经详细描述,所以此处描述的比较简单,相关之处参见本申请第一实施例提供的一种语义线段信息的检测方法中的部分说明即可,下述描述的处理过程仅是示意性的。
如图5所示,其为本申请第五实施例提供的一种地图的获得方法的流程图,以下结合图5予以说明。
步骤S501,获取目标区域的图像信息。
所述目标区域,泛指现实世界或虚拟世界中的包含主体,如物体、平面等实体对象的区域。例如,现实世界或虚拟世界中的一个具体的房间,一个电线杆等。
步骤S502,获取所述图像信息对应的特征信息。
所述获取所述图像信息对应的特征信息,包括:获取所述图像信息对应的至少一个尺度的特征图像,其中,所述特征图像包括所述图像信息对应的特征信息。
所述获取所述图像信息对应的至少一个尺度的特征图像,包括:
获取多尺度特征提取卷积神经网络模型;
将所述图像信息对应的图像输入到所述多尺度特征提取卷积神经网络模型中,获取所述图像信息对应的至少一个尺度的特征图像。
步骤S503,根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述图像信息对应的图像中语义线段的信息,所述语义线段是具有语义信息的线段。
所述根据所述特征信息,获取目标语义线段信息,包括:根据所述至少一个尺度的特征图像,获取融合特征图像,其中,所述融合特征图像是融合了至少两个尺度的特征图像中的特征信息的特征图像;根据所述融合特征图像,获取所述目标语义线段信息。
所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像。
所述根据所述融合特征图像,获取所述目标语义线段信息,包括:获取预测卷积神经网络模型,其中,所述预测卷积神经网络模型是用于获取语义线段信息的模型;将所述融合特征图像输入到所述预测卷积神经网络模型中,获取所述目标语义线段信息。
步骤S504,根据所述目标语义线段信息,获取所述目标区域的目标地图。
所述目标地图,可以是离线地图也可以是在线地图。所述根据所述目标语义线段信息,获取所述目标区域的目标地图,具体为在构建目标区域的目标地图时,通过将获取到的对应的目标语义线段信息与地图中的地图位置建立对应关系,当点击目标地图中某一位置时,可通过该位置的相关信息,到位置信息与语义线段信息的对应关系中,获取到该位置信息对应的语义线段信息。
本实施例所述地图的获得方法,相较于传统的在构建地图时,仅获取目标区域的物体语义信息或像素语义信息的方式,采用获取一种量级更为适中的语义线段信息来构建地图,以能够更加合理的利用存储地图数据的存储设备中的存储空间,同时,在基于该地图对物体进行准确定位时,可以更加高效的获取到物体的准确位置信息。
与上述第五实施例提供的一种地图的获得方法相对应,本申请第六实施例还提供一种地图的获得装置,请参看图6,其为本申请第六实施例提供第一种地图的获得装置的示意图,由于装置实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的装置实施例仅仅是示意性的。本申请第六实施例提供的一种地图的获得装置包括如下部分:
区域图像信息获取单元601,用于获取目标区域的图像信息。
区域图像特征信息获取单元602,用于获取所述图像信息对应的特征信息。
区域图像语义线段信息获取单元603,用于根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述图像信息对应的图像中语义线段的信息,所述语义线段是具有语义信息的线段。
目标地图获取单元604,用于根据所述目标语义线段信息,获取所述目标区域的目标地图。
与上述第五实施例提供的一种地图的获得方法相对应,本申请第七实施例还提供一种电子设备,其结构与图4所示电子设备的结构基本相似,由于电子设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的电子设备实施例仅仅是示意性的。本申请第七实施例提供的一种电子设备包括:
处理器;
存储器,用于存储地图的获得方法的程序,该设备通电并通过所述处理器运行所述地图的获得方法的程序后,执行下述步骤:
获取目标区域的图像信息;
获取所述图像信息对应的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述图像信息对应的图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,获取所述目标区域的目标地图。
与上述第五实施例提供的一种地图的获得方法相对应,本申请第八实施例还提供一种存储设备,由于存储设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的存储设备实施例仅仅是示意性的。本申请第八实施例提供的一种存储设备,存储有地图的获得方法的程序,该程序被处理器运行,执行下述步骤:
获取目标区域的图像信息;
获取所述图像信息对应的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述图像信息对应的图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,获取所述目标区域的目标地图。
在以上描述中,提供了一种语义线段信息的检测方法,与上述语义线段信息的检测方法相对应,本申请第九实施例还提供一种针对目标对象的定位方法,其为本申请第一实施例提供的语义线段信息的检测方法的第二种应用场景,请参看图7所示,其为本申请第九实施例提供的一种针对目标对象的定位方法的流程图,其中部分步骤在上述第一实施例中已经详细描述,所以此处描述的比较简单,相关之处参见本申请第一实施例提供的一种语义线段信息的检测方法中的部分说明即可,下述描述的处理过程仅是示意性的。
如图7所示,其为本申请第九实施例提供的一种针对目标对象的定位方法的流程图,以下结合图7予以说明。
步骤S701,获取目标对象所处环境的环境图像。
所述目标对象泛指实际存在的具有位置信息的实体对象,具体可以是可主动移动的交通工具或生命体等实体对象,例如,目标对象可以是物流运输中的运输车辆、飞行器、船只、待救援人员等实体对象;或者,也可以是可被动移动的实体对象,例如,目标对象可以是运输车辆上的物品,或者存储于仓库中的物品等实体对象。
步骤S702,获取所述环境图像的特征信息。
所述获取所述环境图像的至少一个尺度的特征信息,包括:获取所述环境图像的至少一个尺度的特征图像,其中,所述特征图像包括所述环境图像的特征信息。
所述获取所述图像信息对应的至少一个尺度的特征图像,包括:
获取多尺度特征提取卷积神经网络模型;
将所述环境图像输入到所述多尺度特征提取卷积神经网络模型中,获取所述环境图像的至少一个尺度的特征图像。
步骤S703,根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段。
所述根据所述特征信息,获取目标语义线段信息,包括:根据所述至少一个尺度的特征图像,获取融合特征图像,其中,所述融合特征图像是融合了至少两个尺度的特征图像中的特征信息的特征图像;根据所述融合特征图像,获取所述目标语义线段信息。
所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像。
所述根据所述融合特征图像,获取所述目标语义线段信息,包括:获取预测卷积神经网络模型,其中,所述预测卷积神经网络模型是用于获取语义线段信息的模型;将所述融合特征图像输入到所述预测卷积神经网络模型中,获取所述目标语义线段信息。
步骤S704,根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息。
具体为根据所述目标语义线段信息,在区域地图存储的语义线段信息的数据中查询,获取与所述目标语义线段信息匹配的匹配语义线段信息。
步骤S705,根据所述匹配语义线段信息,获取所述目标对象的位置信息。
具体为根据所述匹配语义线段信息,在位置信息与语义线段信息的对应关系中,获取与所述匹配语义线段信息对应的匹配位置信息,并将所述匹配位置信息作为所述目标对象的位置信息。
综上所述,本实施例所述针对目标对象的定位方法,通过在地图中存储一种量级更为适中的语义线段信息,并在具体针对目标对象进行定位时,通过获取目标对象所处环境的环境图像,并根据所述环境图像,获取到环境图像中的目标语义线段的信息,再根据所述目标语义线段信息与地图数据中存储的语义线段信息进行匹配,可以更加准确、高效的获取到目标对象的位置信息。
与上述第九实施例提供的一种针对目标对象的定位方法相对应,本申请第十实施例还提供一种针对目标对象的定位装置,请参看图8,其为本申请第十实施例提供的一种针对目标对象的定位装置的示意图,由于装置实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的装置实施例仅仅是示意性的。本申请第十实施例提供的一种针对目标对象的定位装置包括如下部分:
环境图像获取单元801,用于获取目标对象所处环境的环境图像;
环境图像特征信息获取单元802,用于获取所述环境图像的特征信息;
环境图像语义线段信息获取单元803,用于根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
匹配语义线段信息获取单元804,用于根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
位置信息获取单元805,用于根据所述匹配语义线段信息,获取所述目标对象的位置信息。
与上述第九实施例提供的一种针对目标对象的定位方法相对应,本申请第十一实施例还提供一种电子设备,其结构与图4所示电子设备的结构基本相似,由于电子设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的电子设备实施例仅仅是示意性的。本申请第十一实施例提供的一种电子设备包括:
处理器;
存储器,用于存储针对目标对象的定位方法的程序,该设备通电并通过所述处理器运行所述针对目标对象的定位方法的程序后,执行下述步骤:
获取目标对象所处环境的环境图像;
获取所述环境图像的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
根据所述匹配语义线段信息,获取所述目标对象的位置信息。
与上述第九实施例提供的一种针对目标对象的定位方法相对应,本申请第十二实施例还提供一种存储设备,由于存储设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的存储设备实施例仅仅是示意性的。本申请第十二实施例提供的一种存储设备,存储有针对目标对象的定位方法的程序,该程序被处理器运行,执行下述步骤:
获取目标对象所处环境的环境图像;
获取所述环境图像的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
根据所述匹配语义线段信息,获取所述目标对象的位置信息。
在以上描述中,提供了一种语义线段信息的检测方法,与上述语义线段信息的检测方法相对应,本申请第十三实施例还提供一种提供位置服务的方法,其为本申请第一实施例提供的语义线段信息的检测方法的第三种应用场景,请参看图9所示,其为本申请第十三实施例提供的一种提供位置服务的方法的流程图,其中部分步骤在上述第一实施例中已经详细描述,所以此处描述的比较简单,相关之处参见本申请第一实施例提供的一种语义线段信息的检测方法中的部分说明即可,下述描述的处理过程仅是示意性的。
如图9所示,其为本申请第十三实施例提供的一种提供位置服务的方法的流程图,以下结合图9予以说明。
步骤S901,获取目标对象所处环境的环境图像。
步骤S902,获取所述环境图像的特征信息。
所述获取所述环境图像的至少一个尺度的特征信息,包括:获取所述环境图像的至少一个尺度的特征图像,其中,所述特征图像包括所述环境图像的特征信息。
所述获取所述图像信息对应的至少一个尺度的特征图像,包括:
获取多尺度特征提取卷积神经网络模型;
将所述环境图像输入到所述多尺度特征提取卷积神经网络模型中,获取所述环境图像的至少一个尺度的特征图像。
步骤S903,根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段。
所述根据所述特征信息,获取目标语义线段信息,包括:根据所述至少一个尺度的特征图像,获取融合特征图像,其中,所述融合特征图像是融合了至少两个尺度的特征图像中的特征信息的特征图像;根据所述融合特征图像,获取所述目标语义线段信息。
所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像。
所述根据所述融合特征图像,获取所述目标语义线段信息,包括:获取预测卷积神经网络模型,其中,所述预测卷积神经网络模型是用于获取语义线段信息的模型;将所述融合特征图像输入到所述预测卷积神经网络模型中,获取所述目标语义线段信息。
步骤S904,根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息。
具体为根据所述目标语义线段信息,在区域地图存储的语义线段信息的数据中查询,获取与所述目标语义线段信息匹配的匹配语义线段信息。
步骤S905,根据所述匹配语义线段信息,获取所述目标对象的位置信息。
具体为根据所述匹配语义线段信息,在位置信息与语义线段信息的对应关系中,获取与所述匹配语义线段信息对应的匹配位置信息,并将所述匹配位置信息作为所述目标对象的位置信息。
步骤S906,根据所述位置信息,为所述目标对象提供位置服务。
与上述第十三实施例提供的一种提供位置服务的方法相对应,本申请第十四实施例还提供一种提供位置服务的装置,请参看图10,其为本申请第十四实施例提供的一种提供位置服务的装置的示意图,由于装置实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的装置实施例仅仅是示意性的。本申请第十四实施例提供的一种提供位置服务的装置包括如下部分:
环境图像获取单元1001,用于获取目标对象所处环境的环境图像;
特征信息获取单元1002,用于获取所述环境图像的特征信息;
语义线段信息获取单元1003,用于根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
匹配语义线段信息获取单元1004,用于根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
位置信息获取单元1005,用于根据所述匹配语义线段信息,获取所述目标对象的位置信息;
位置服务提供单元1006,用于根据所述位置信息,为所述目标对象提供位置服务。
与上述第十三实施例提供的一种提供位置服务的方法相对应,本申请第十五实施例还提供一种电子设备,其结构与图4所示电子设备的结构基本相似,由于电子设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的电子设备实施例仅仅是示意性的。本申请第十五实施例提供的一种电子设备包括:
处理器;
存储器,用于存储提供位置服务的方法的程序,该设备通电并通过所述处理器运行所述提供位置服务的方法的程序后,执行下述步骤:
获取目标对象所处环境的环境图像;
获取所述环境图像的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
根据所述匹配语义线段信息,获取所述目标对象的位置信息;
根据所述位置信息,为所述目标对象提供位置服务。
与上述第十三实施例提供的一种提供位置服务的方法相对应,本申请第十六实施例还提供一种存储设备,由于存储设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的存储设备实施例仅仅是示意性的。本申请第十六实施例提供的一种存储设备,存储有提供位置服务的方法的程序,该程序被处理器运行,执行下述步骤:
获取目标对象所处环境的环境图像;
获取所述环境图像的特征信息;
根据所述特征信息,获取目标语义线段信息,其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,在所述目标车辆对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
根据所述匹配语义线段信息,获取所述目标对象的位置信息;
根据所述位置信息,为所述目标对象提供位置服务。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
Claims (38)
1.一种语义线段信息的检测方法,其特征在于,包括:
获取待检测图像;
获取所述待检测图像的特征信息;
根据所述特征信息,获取目标语义线段信息,包括:根据至少一个尺度的特征图像,获取融合特征图像;其中,所述目标语义线段信息是用于表示所述待检测图像中语义线段的信息,所述语义线段是具有语义信息的线段;
其中,所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:
获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;
将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像,包括:
从所述至少一个尺度的特征图像中,获取至少两个尺度的特征图像;
根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致;
针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像。
2.根据权利要求1所述的语义线段信息的检测方法,其特征在于,所述获取所述待检测图像的特征信息,包括:
获取所述待检测图像的至少一个尺度的特征图像,其中,所述特征图像包括所述待检测图像的特征信息。
3.根据权利要求2所述的语义线段信息的检测方法,其特征在于,所述获取所述待检测图像的至少一个尺度的特征图像,包括:
获取多尺度特征提取卷积神经网络模型;
将所述待检测图像输入到所述多尺度特征提取卷积神经网络模型中,获取所述待检测图像的至少一个尺度的特征图像。
4.根据权利要求3所述的语义线段信息的检测方法,其特征在于,所述将所述待检测图像输入到所述多尺度特征提取卷积神经网络模型中,获取所述待检测图像的至少一个尺度的特征图像,包括:
使用所述多尺度特征提取卷积神经网络模型中的第一卷积单元对所述待检测图像进行特征提取处理,获取所述待检测图像的第一尺度特征图像;
对所述第一尺度特征图像进行降维处理,获取第二尺度待处理特征图像;
使用所述多尺度特征提取卷积神经网络模型中的第二卷积单元对所述第二尺度待处理特征图像进行特征提取处理,获取所述待检测图像的第二尺度特征图像。
5.根据权利要求1所述的语义线段信息的检测方法,其特征在于,所述融合特征图像是融合了至少两个尺度的特征图像中的特征信息的特征图像;
根据所述融合特征图像,获取所述目标语义线段信息。
6.根据权利要求1所述的语义线段信息的检测方法,其特征在于,所述根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致,包括:
使用所述多尺度特征融合卷积神经网络模型中的上采样层或下采样层,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致。
7.根据权利要求1所述的语义线段信息的检测方法,其特征在于,所述针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像,包括:
针对经过维度调整处理后的所述至少两个尺度的特征图像进行级联操作处理或者矩阵相加处理,获取所述融合特征图像。
8.根据权利要求5所述的语义线段信息的检测方法,其特征在于,所述根据所述融合特征图像,获取所述目标语义线段信息,包括:
获取预测卷积神经网络模型,其中,所述预测卷积神经网络模型是用于获取语义线段信息的模型;
将所述融合特征图像输入到所述预测卷积神经网络模型中,获取所述目标语义线段信息。
9.根据权利要求8所述的语义线段信息的检测方法,其特征在于,所述将所述融合特征图像输入到所述预测卷积神经网络模型中,获取所述目标语义线段信息,包括:
从所述融合特征图像中,获取候选特征信息;
将所述候选特征信息输入到所述预测卷积神经网络模型中,获取所述目标语义线段信息。
10.根据权利要求9所述的语义线段信息的检测方法,其特征在于,所述从所述融合特征图像中,获取候选特征信息,包括:
获取区域候选卷积神经网络模型,其中,所述区域候选卷积神经网络模型是用于从特征图像中选取候选特征信息的模型;
将所述融合特征图像输入到所述区域候选卷积神经网络模型中,获取所述候选特征信息。
11.根据权利要求9所述的语义线段信息的检测方法,其特征在于,所述将所述候选特征信息输入到所述预测卷积神经网络模型中,获取所述目标语义线段信息,包括:
将所述候选特征信息输入到所述预测卷积神经网络模型中,获取待确定语义线段信息;
从所述待确定语义线段信息中,确定所述目标语义线段信息。
12.根据权利要求11所述的语义线段信息的检测方法,其特征在于,所述从所述待确定语义线段信息中,确定所述目标语义线段信息,包括:
获取与所述待确定语义线段信息对应的置信度;
将置信度大于预设阈值的待确定语义线段信息作为所述目标语义线段信息。
13.根据权利要求1所述的语义线段信息的检测方法,其特征在于,所述目标语义线段信息包括语义线段的方向信息;
所述方法还包括:
通过所述方向信息确定所述语义线段。
14.根据权利要求13所述的语义线段信息的检测方法,其特征在于,所述目标语义线段信息还包括所述语义线段对应的边界框的任一顶点或中心点在所述待检测图像中的位置信息、所述语义线段对应的边界框的长度信息、所述语义线段对应的边界框的宽度信息、所述语义线段的类别信息,其中,所述边界框是指在所述待检测图像中用于确定语义线段的一个矩形框;
所述通过所述方向信息确定所述语义线段,包括:通过所述位置信息、所述长度信息、所述宽度信息、所述类别信息和所述方向信息,确定所述语义线段。
15.根据权利要求8所述的语义线段信息的检测方法,其特征在于,所述获取多尺度特征提取卷积神经网络模型,包括:
获取原始多尺度特征提取卷积神经网络模型;
使用样本数据训练所述原始多尺度特征提取卷积神经网络模型,使所述原始多尺度特征提取卷积神经网络模型收敛,并将收敛后的所述原始多尺度特征提取卷积神经网络模型作为所述多尺度特征提取卷积神经网络模型。
16.根据权利要求15所述的语义线段信息的检测方法,其特征在于,所述使用样本数据训练所述原始多尺度特征提取卷积神经网络模型,使所述原始多尺度特征提取卷积神经网络模型收敛,包括:
获取原始多尺度特征融合卷积神经网络模型,并获取原始预测卷积神经网络模型;
使用样本数据训练所述原始多尺度特征提取卷积神经网络模型,所述原始多尺度特征融合卷积神经网络模型和所述原始预测卷积神经网络模型,使所述原始多尺度特征提取卷积神经网络模型收敛。
17.根据权利要求16所述的语义线段信息的检测方法,其特征在于,所述使用样本数据训练所述原始多尺度特征提取卷积神经网络模型,所述原始多尺度特征融合卷积神经网络模型和所述原始预测卷积神经网络模型,使所述原始多尺度特征提取卷积神经网络模型收敛,包括:
获取原始训练样本图像;
将所述原始训练样本图像输入到所述原始多尺度特征提取卷积神经网络模型中,获取至少一个尺度的原始训练特征图像;
将所述至少一个尺度的原始训练特征图像输入到所述原始多尺度特征融合卷积神经网络模型中,获取原始训练融合特征图像;
将所述原始训练融合特征图像输入到所述原始预测卷积神经网络模型中,获取原始训练语义线段信息,其中,所述原始训练语义线段信息是用于表示所述原始训练样本图像中语义线段的信息;
在训练所述原始多尺度特征提取卷积神经网络模型,所述原始多尺度特征融合卷积神经网络模型和所述原始预测卷积神经网络模型的过程中,根据与所述原始多尺度特征提取卷积神经网络模型,所述原始多尺度特征融合卷积神经网络模型和所述原始预测卷积神经网络模型对应的损失函数调整所述原始多尺度特征提取卷积神经网络模型,所述原始多尺度特征融合卷积神经网络模型和所述原始预测卷积神经网络模型的参数,使所述原始多尺度特征提取卷积神经网络模型收敛。
18.根据权利要求17所述的语义线段信息的检测方法,其特征在于,所述将所述原始训练融合特征图像输入到所述原始预测卷积神经网络模型中,获取原始训练语义线段信息,包括:
将所述原始训练融合特征图像输入到所述原始预测卷积神经网络模型中,获取原始候选语义线段信息;
从所述原始候选语义线段信息中,获取所述原始训练语义线段信息。
19.根据权利要求18所述的语义线段信息的检测方法,其特征在于,所述从所述原始候选语义线段信息中,获取所述原始训练语义线段信息,包括:
根据所述原始候选语义线段信息,生成用于表示所述原始候选语义线段信息的统计分布数据;
根据所述统计分布数据,从所述原始候选语义线段信息中,确定所述原始训练语义线段信息。
20.根据权利要求19所述的语义线段信息的检测方法,其特征在于,所述损失函数包括所述原始候选语义线段信息对应的统计分布数据与期望语义线段信息对应的统计分布数据之间的损失函数,其中,所述期望语义线段信息是所述原始训练样本图像中的语义线段的正确信息。
21.根据权利要求19所述的语义线段信息的检测方法,其特征在于,所述统计分布数据包括高斯分布数据;
所述根据所述原始候选语义线段信息,生成用于表示所述原始候选语义线段信息的统计分布数据,包括:
从所述原始候选语义线段信息中,获取原始候选语义线段信息中的分布参数;
根据所述分布参数生成用于表示所述原始候选语义线段信息的高斯分布数据。
22.根据权利要求16所述的语义线段信息的检测方法,其特征在于,包括:
在训练所述原始多尺度特征提取卷积神经网络模型,所述原始多尺度特征融合卷积神经网络模型和所述原始预测卷积神经网络模型的过程中,将收敛后的所述原始多尺度特征融合卷积神经网络模型作为所述多尺度特征融合卷积神经网络模型,将收敛后的所述原始预测卷积神经网络模型作为所述预测卷积神经网络模型。
23.根据权利要求3所述的语义线段信息的检测方法,其特征在于,所述根据所述特征信息,获取目标语义线段信息,还包括:
获取预测卷积神经网络模型,其中,所述预测卷积神经网络模型是用于获取语义线段信息的模型;
将所述至少一个尺度的特征图像输入到所述预测卷积神经网络模型中,获取所述目标语义线段信息。
24.一种地图的获得方法,其特征在于,包括:
获取目标区域的图像信息;
获取所述图像信息对应的特征信息;
根据所述特征信息,获取目标语义线段信息,包括:根据至少一个尺度的特征图像,获取融合特征图像;其中,所述目标语义线段信息是用于表示所述图像信息对应的图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,获取所述目标区域的目标地图;
其中,所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:
获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;
将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像,包括:
从所述至少一个尺度的特征图像中,获取至少两个尺度的特征图像;
根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致;
针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像。
25.一种针对目标对象的定位方法,其特征在于,包括:
获取目标对象所处环境的环境图像;
获取所述环境图像的特征信息;
根据所述特征信息,获取目标语义线段信息,包括:根据至少一个尺度的特征图像,获取融合特征图像;其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
根据所述匹配语义线段信息,获取所述目标对象的位置信息;
其中,所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:
获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;
将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像,包括:
从所述至少一个尺度的特征图像中,获取至少两个尺度的特征图像;
根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致;
针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像。
26.一种提供位置服务的方法,其特征在于,包括:
获取目标对象所处环境的环境图像;
获取所述环境图像的特征信息;
根据所述特征信息,获取目标语义线段信息,包括:根据至少一个尺度的特征图像,获取融合特征图像;其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
根据所述匹配语义线段信息,获取所述目标对象的位置信息;
根据所述位置信息,为所述目标对象提供位置服务;
其中,所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:
获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;
将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像,包括:
从所述至少一个尺度的特征图像中,获取至少两个尺度的特征图像;
根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致;
针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像。
27.一种语义线段信息的检测装置,其特征在于,包括:
图像获取单元,用于获取待检测图像;
特征信息获取单元,用于获取所述待检测图像的特征信息;
语义线段信息获取单元,用于根据所述特征信息,获取目标语义线段信息,包括:根据至少一个尺度的特征图像,获取融合特征图像;其中,所述目标语义线段信息是用于表示所述待检测图像中语义线段的信息,所述语义线段是具有语义信息的线段;
其中,所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:
获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;
将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像,包括:
从所述至少一个尺度的特征图像中,获取至少两个尺度的特征图像;
根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致;
针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像。
28.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储语义线段信息的检测方法的程序,该设备通电并通过所述处理器运行所述语义线段信息的检测方法的程序后,执行下述步骤:
获取待检测图像;
获取所述待检测图像的特征信息;
根据所述特征信息,获取目标语义线段信息,包括:根据至少一个尺度的特征图像,获取融合特征图像;其中,所述目标语义线段信息是用于表示所述待检测图像中语义线段的信息,所述语义线段是具有语义信息的线段;
其中,所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:
获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;
将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像,包括:
从所述至少一个尺度的特征图像中,获取至少两个尺度的特征图像;
根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致;
针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像。
29.一种存储设备,其特征在于,
存储有语义线段信息的检测方法的程序,该程序被处理器运行,执行下述步骤:
获取待检测图像;
获取所述待检测图像的特征信息;
根据所述特征信息,获取目标语义线段信息,包括:根据至少一个尺度的特征图像,获取融合特征图像;其中,所述目标语义线段信息是用于表示所述待检测图像中语义线段的信息,所述语义线段是具有语义信息的线段;
其中,所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:
获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;
将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像,包括:
从所述至少一个尺度的特征图像中,获取至少两个尺度的特征图像;
根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致;
针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像。
30.一种地图的获得装置,其特征在于,包括:
区域图像信息获取单元,用于获取目标区域的图像信息;
区域图像特征信息获取单元,用于获取所述图像信息对应的特征信息;
区域图像语义线段信息获取单元,用于根据所述特征信息,获取目标语义线段信息,包括:根据至少一个尺度的特征图像,获取融合特征图像;其中,所述目标语义线段信息是用于表示所述图像信息对应的图像中语义线段的信息,所述语义线段是具有语义信息的线段;
目标地图获取单元,用于根据所述目标语义线段信息,获取所述目标区域的目标地图;
其中,所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:
获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;
将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像,包括:
从所述至少一个尺度的特征图像中,获取至少两个尺度的特征图像;
根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致;
针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像。
31.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储地图的获得方法的程序,该设备通电并通过所述处理器运行所述地图的获得方法的程序后,执行下述步骤:
获取目标区域的图像信息;
获取所述图像信息对应的特征信息;
根据所述特征信息,获取目标语义线段信息,包括:根据至少一个尺度的特征图像,获取融合特征图像;其中,所述目标语义线段信息是用于表示所述图像信息对应的图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,获取所述目标区域的目标地图;
其中,所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:
获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;
将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像,包括:
从所述至少一个尺度的特征图像中,获取至少两个尺度的特征图像;
根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致;
针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像。
32.一种存储设备,其特征在于,
存储有地图的获得方法的程序,该程序被处理器运行,执行下述步骤:
获取目标区域的图像信息;
获取所述图像信息对应的特征信息;
根据所述特征信息,获取目标语义线段信息,包括:根据至少一个尺度的特征图像,获取融合特征图像;其中,所述目标语义线段信息是用于表示所述图像信息对应的图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,获取所述目标区域的目标地图;
其中,所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:
获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;
将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像,包括:
从所述至少一个尺度的特征图像中,获取至少两个尺度的特征图像;
根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致;
针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像。
33.一种针对目标对象的定位装置,其特征在于,包括:
环境图像获取单元,用于获取目标对象所处环境的环境图像;
环境图像特征信息获取单元,用于获取所述环境图像的特征信息;
环境图像语义线段信息获取单元,用于根据所述特征信息,获取目标语义线段信息,包括:根据至少一个尺度的特征图像,获取融合特征图像;其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
匹配语义线段信息获取单元,用于根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
位置信息获取单元,用于根据所述匹配语义线段信息,获取所述目标对象的位置信息;
其中,所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:
获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;
将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像,包括:
从所述至少一个尺度的特征图像中,获取至少两个尺度的特征图像;
根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致;
针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像。
34.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储针对目标对象的定位方法的程序,该设备通电并通过所述处理器运行所述针对目标对象的定位方法的程序后,执行下述步骤:
获取目标对象所处环境的环境图像;
获取所述环境图像的特征信息;
根据所述特征信息,获取目标语义线段信息,包括:根据至少一个尺度的特征图像,获取融合特征图像;其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
根据所述匹配语义线段信息,获取所述目标对象的位置信息;
其中,所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:
获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;
将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像,包括:
从所述至少一个尺度的特征图像中,获取至少两个尺度的特征图像;
根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致;
针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像。
35.一种存储设备,其特征在于,
存储有针对目标对象的定位方法的程序,该程序被处理器运行,执行下述步骤:
获取目标对象所处环境的环境图像;
获取所述环境图像的特征信息;
根据所述特征信息,获取目标语义线段信息,包括:根据至少一个尺度的特征图像,获取融合特征图像;其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
根据所述匹配语义线段信息,获取所述目标对象的位置信息;
其中,所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:
获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;
将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像,包括:
从所述至少一个尺度的特征图像中,获取至少两个尺度的特征图像;
根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致;
针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像。
36.一种提供位置服务的装置,其特征在于,包括:
环境图像获取单元,用于获取目标对象所处环境的环境图像;
特征信息获取单元,用于获取所述环境图像的特征信息;
语义线段信息获取单元,用于根据所述特征信息,获取目标语义线段信息,包括:根据至少一个尺度的特征图像,获取融合特征图像;其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
匹配语义线段信息获取单元,用于根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
位置信息获取单元,用于根据所述匹配语义线段信息,获取所述目标对象的位置信息;
位置服务提供单元,用于根据所述位置信息,为所述目标对象提供位置服务;
其中,所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:
获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;
将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像,包括:
从所述至少一个尺度的特征图像中,获取至少两个尺度的特征图像;
根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致;
针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像。
37.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储提供位置服务的方法的程序,该设备通电并通过所述处理器运行所述提供位置服务的方法的程序后,执行下述步骤:
获取目标对象所处环境的环境图像;
获取所述环境图像的特征信息;
根据所述特征信息,获取目标语义线段信息,包括:根据至少一个尺度的特征图像,获取融合特征图像;其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
根据所述匹配语义线段信息,获取所述目标对象的位置信息;
根据所述位置信息,为所述目标对象提供位置服务;
其中,所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:
获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;
将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像,包括:
从所述至少一个尺度的特征图像中,获取至少两个尺度的特征图像;
根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致;
针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像。
38.一种存储设备,其特征在于,
存储有提供位置服务的方法的程序,该程序被处理器运行,执行下述步骤:
获取目标对象所处环境的环境图像;
获取所述环境图像的特征信息;
根据所述特征信息,获取目标语义线段信息,包括:根据至少一个尺度的特征图像,获取融合特征图像;其中,所述目标语义线段信息是用于表示所述环境图像中语义线段的信息,所述语义线段是具有语义信息的线段;
根据所述目标语义线段信息,在所述目标对象对应的区域地图中,获取与所述目标语义线段信息匹配的匹配语义线段信息;
根据所述匹配语义线段信息,获取所述目标对象的位置信息;
根据所述位置信息,为所述目标对象提供位置服务;
其中,所述根据所述至少一个尺度的特征图像,获取融合特征图像,包括:
获取多尺度特征融合卷积神经网络模型,其中,所述多尺度特征融合卷积神经网络模型用于对至少两个尺度的特征图像进行融合处理;
将所述至少一个尺度的特征图像输入到所述多尺度特征融合卷积神经网络模型中,获取所述融合特征图像,包括:
从所述至少一个尺度的特征图像中,获取至少两个尺度的特征图像;
根据所述多尺度特征融合卷积神经网络模型,针对所述至少两个尺度的特征图像进行维度调整处理,使所述至少两个尺度的特征图像的维度一致;
针对经过维度调整处理后的所述至少两个尺度的特征图像进行融合处理,获取所述融合特征图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911008772.9A CN112699713B (zh) | 2019-10-23 | 2019-10-23 | 一种语义线段信息的检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911008772.9A CN112699713B (zh) | 2019-10-23 | 2019-10-23 | 一种语义线段信息的检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112699713A CN112699713A (zh) | 2021-04-23 |
CN112699713B true CN112699713B (zh) | 2024-05-28 |
Family
ID=75504828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911008772.9A Active CN112699713B (zh) | 2019-10-23 | 2019-10-23 | 一种语义线段信息的检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112699713B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114565756B (zh) * | 2022-02-11 | 2024-04-02 | 辽宁师范大学 | 混合高斯分布和二项分布的两阶段甲骨文字分割方法 |
CN115307731B (zh) * | 2022-09-23 | 2022-12-23 | 江苏傲勋电子科技有限公司 | 一种激光投线仪的出射激光线检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103198479A (zh) * | 2013-03-27 | 2013-07-10 | 西安电子科技大学 | 基于语义信息分类的sar图像分割方法 |
CN108229478A (zh) * | 2017-06-30 | 2018-06-29 | 深圳市商汤科技有限公司 | 图像语义分割及训练方法和装置、电子设备、存储介质和程序 |
CN108428254A (zh) * | 2018-03-15 | 2018-08-21 | 斑马网络技术有限公司 | 三维地图的构建方法及装置 |
CN109165653A (zh) * | 2018-08-15 | 2019-01-08 | 西安电子科技大学 | 一种基于语义线段近邻连接的sar图像聚集区域的提取方法 |
CN109461211A (zh) * | 2018-11-12 | 2019-03-12 | 南京人工智能高等研究院有限公司 | 基于视觉点云的语义矢量地图构建方法、装置和电子设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8494285B2 (en) * | 2010-12-09 | 2013-07-23 | The Hong Kong University Of Science And Technology | Joint semantic segmentation of images and scan data |
US10679351B2 (en) * | 2017-08-18 | 2020-06-09 | Samsung Electronics Co., Ltd. | System and method for semantic segmentation of images |
-
2019
- 2019-10-23 CN CN201911008772.9A patent/CN112699713B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103198479A (zh) * | 2013-03-27 | 2013-07-10 | 西安电子科技大学 | 基于语义信息分类的sar图像分割方法 |
CN108229478A (zh) * | 2017-06-30 | 2018-06-29 | 深圳市商汤科技有限公司 | 图像语义分割及训练方法和装置、电子设备、存储介质和程序 |
CN108428254A (zh) * | 2018-03-15 | 2018-08-21 | 斑马网络技术有限公司 | 三维地图的构建方法及装置 |
CN109165653A (zh) * | 2018-08-15 | 2019-01-08 | 西安电子科技大学 | 一种基于语义线段近邻连接的sar图像聚集区域的提取方法 |
CN109461211A (zh) * | 2018-11-12 | 2019-03-12 | 南京人工智能高等研究院有限公司 | 基于视觉点云的语义矢量地图构建方法、装置和电子设备 |
Non-Patent Citations (2)
Title |
---|
Fully convolutional networks for semantic segmentation;Long J.等;IEEE Conference on Computer Vision and Pattern Recognition;20151015;全文 * |
基于卷积神经网络的车道线语义分割算法;徐国晟;张伟伟;吴训成;苏金亚;郭增高;;电子测量与仪器学报;20180715(第07期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112699713A (zh) | 2021-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112101165B (zh) | 兴趣点识别方法、装置、计算机设备和存储介质 | |
CN109658445A (zh) | 网络训练方法、增量建图方法、定位方法、装置及设备 | |
EP3274964B1 (en) | Automatic connection of images using visual features | |
CN110866079A (zh) | 一种智慧景区实景语义地图的生成与辅助定位方法 | |
CN109063549B (zh) | 基于深度神经网络的高分辨率航拍视频运动目标检测方法 | |
CN110969648B (zh) | 一种基于点云序列数据的3d目标跟踪方法及系统 | |
JP7439153B2 (ja) | 全方位場所認識のためのリフトされたセマンティックグラフ埋め込み | |
US9704042B2 (en) | Predicting tree species from aerial imagery | |
CN108305260A (zh) | 一种图像中角点的检测方法、装置及设备 | |
Bae et al. | Fast and scalable structure-from-motion based localization for high-precision mobile augmented reality systems | |
Vishal et al. | Accurate localization by fusing images and GPS signals | |
CN102663087A (zh) | 基于拓扑和视觉特征的三维模型检索方法 | |
CN112699713B (zh) | 一种语义线段信息的检测方法及装置 | |
Chen et al. | Integrated content and context analysis for mobile landmark recognition | |
CN116012626B (zh) | 建筑立面图像的素材匹配方法、装置、设备和存储介质 | |
CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
US11030235B2 (en) | Method for navigating through a set of images | |
CN114463503A (zh) | 三维模型和地理信息系统的融合方法及装置 | |
CN112015937B (zh) | 一种图片地理定位方法及系统 | |
EP3580690B1 (en) | Bayesian methodology for geospatial object/characteristic detection | |
Zhang et al. | Hierarchical Image Retrieval Method Based on Bag-of-Visual-Word and Eight-point Algorithm with Feature Clouds for Visual Indoor Positioning | |
CN114120095A (zh) | 一种基于空中三维模型的移动机器人自主定位系统及方法 | |
CN107452003A (zh) | 一种含有深度信息的图像分割的方法及装置 | |
CN116823966A (zh) | 相机的内参标定方法、装置、计算机设备和存储介质 | |
Fernández et al. | A study of visual descriptors for outdoor navigation using google street view images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |