CN115661798B - 确定目标区域的方法、装置、车辆及存储介质 - Google Patents

确定目标区域的方法、装置、车辆及存储介质 Download PDF

Info

Publication number
CN115661798B
CN115661798B CN202211663769.2A CN202211663769A CN115661798B CN 115661798 B CN115661798 B CN 115661798B CN 202211663769 A CN202211663769 A CN 202211663769A CN 115661798 B CN115661798 B CN 115661798B
Authority
CN
China
Prior art keywords
target
boundary
point
image
environment image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211663769.2A
Other languages
English (en)
Other versions
CN115661798A (zh
Inventor
万韶华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Automobile Technology Co Ltd
Original Assignee
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Automobile Technology Co Ltd filed Critical Xiaomi Automobile Technology Co Ltd
Priority to CN202211663769.2A priority Critical patent/CN115661798B/zh
Publication of CN115661798A publication Critical patent/CN115661798A/zh
Application granted granted Critical
Publication of CN115661798B publication Critical patent/CN115661798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本公开涉及自动驾驶技术领域,尤其涉及一种确定目标区域的方法、装置、车辆及存储介质,可以获取车辆所处环境的当前帧环境图像;通过目标区域检测模型确定当前帧环境图像中待检测区域的多个第一边界点;根据上一帧环境图像中待检测区域的多个第二边界点对多个第一边界点进行修正,得到修正后的目标边界点,上一帧环境图像为当前帧环境图像的上一帧环境图像;根据目标边界点确定目标区域,这样,可以利用前后环境图像帧的时间序列对目标区域进行平滑处理,解决目标区域检测模型在检测连续视频帧时,目标区域边界的抖动问题,同时还能避免漏检的情况。

Description

确定目标区域的方法、装置、车辆及存储介质
技术领域
本公开涉及自动驾驶技术领域,尤其涉及一种确定目标区域的方法、装置、车辆及存储介质。
背景技术
在自动驾驶任务中,可行驶区域(Freespace,FS)指的是物理空间中车辆可以安全自由行驶的区域,而不可行驶区域指的则是由于障碍物侵占而导致车辆无法前进或驻停的区域。特别地,由人为规则划定出的不可行驶区域,例如交通规则下的禁行禁停区域,属于可行驶区域的范畴。可行驶区域检测算法,能够为车辆自动驾驶的规划控制提供路面结构信息。以停车场为例,车辆基于可行驶区域检测算法可以确定出停车场上车辆视觉范围内的可行驶区域,相应地,其它车辆、立柱等障碍物侵占区域为不可行驶区域。
发明内容
为克服相关技术中存在的问题,本公开提供一种确定目标区域的方法、装置、车辆及存储介质。
根据本公开实施例的第一方面,提供一种确定目标区域的方法,包括:获取车辆所处环境的当前帧环境图像;通过目标区域检测模型确定所述当前帧环境图像中待检测区域的多个第一边界点;根据上一帧环境图像中待检测区域的多个第二边界点对多个所述第一边界点进行修正,得到修正后的目标边界点,所述上一帧环境图像为所述当前帧环境图像的上一帧环境图像;根据所述目标边界点确定目标区域。
可选地,所述根据上一帧环境图像中待检测区域的多个第二边界点对多个所述第一边界点进行修正,得到修正后的目标边界点包括:
针对每个所述第一边界点,从多个所述第二边界点中确定所述第一边界点对应的匹配点;
根据所述匹配点对所述第一边界点进行修正,得到修正后的所述目标边界点。
可选地,所述从多个所述第二边界点中确定所述第一边界点对应的匹配点包括:
获取所述第一边界点以及每个所述第二边界点的特征描述子;
根据所述特征描述子计算每个所述第二边界点分别与所述第一边界点的特征相似度;
根据所述特征相似度从多个所述第二边界点中确定所述第一边界点对应的匹配点。
可选地,所述方法还包括:
获取图像采集参数,所述图像采集参数表征相邻两帧环境图像的采集参数;
针对每个所述第二边界点,根据所述图像采集参数确定所述第二边界点在所述当前帧环境图像上对应的预测点;
所述根据所述匹配点对所述第一边界点进行修正,得到修正后的所述目标边界点包括:
获取所述匹配点在所述当前帧环境图像上对应的目标预测点;
根据所述目标预测点对所述第一边界点进行修正,得到所述目标边界点。
可选地,所述根据所述目标预测点对所述第一边界点进行修正,得到所述目标边界点包括:
获取所述目标预测点和所述第一边界点分别对应的预设权重;
根据所述预设权重对所述目标预测点的位置和所述第一边界点的位置进行加权求和后,得到所述目标边界点。
可选地,所述目标区域检测模型通过以下方式预先训练得到:
获取多个训练样本图像;
对每个所述训练样本图像进行目标检测区域标注,得到标注后的目标样本图像;
根据所述目标样本图像对预设区域分割模型进行模型训练后,得到所述目标区域检测模型。
可选地,所述对每个所述训练样本图像进行目标检测区域标注,得到标注后的目标样本图像包括:
通过预先训练得到的目标标注模型对每个所述训练样本图像进行目标检测区域标注,得到标注后的第一样本图像;
根据所述第一样本图像对每个第二样本图像进行标注结果校验,所述第二样本图像为人工标注目标检测区域的样本图像;
根据校验结果确定所述目标样本图像。
可选地,所述根据所述目标边界点确定目标区域包括:
将所述当前帧环境图像上所述目标边界点对应的区域作为所述目标区域。
根据本公开实施例的第二方面,提供一种确定目标区域的装置,包括:
获取模块,被配置为获取车辆所处环境的当前帧环境图像;
第一确定模块,被配置为通过目标区域检测模型确定所述当前帧环境图像中待检测区域的多个第一边界点;
修正模块,被配置为根据上一帧环境图像中待检测区域的多个第二边界点对多个所述第一边界点进行修正,得到修正后的目标边界点,所述上一帧环境图像为所述当前帧环境图像的上一帧环境图像;
第二确定模块,被配置为根据所述目标边界点确定目标区域。
根据本公开实施例的第三方面,提供一种车辆,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取车辆所处环境的当前帧环境图像;
通过目标区域检测模型确定所述当前帧环境图像中待检测区域的多个第一边界点;
根据上一帧环境图像中待检测区域的多个第二边界点对多个所述第一边界点进行修正,得到修正后的目标边界点,所述上一帧环境图像为所述当前帧环境图像的上一帧环境图像;
根据所述目标边界点确定目标区域。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开第一方面所提供的确定目标区域的方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:可以基于上一帧环境图像中待检测区域的第二边界点对当前帧环境图像的第一边界点进行修正,得到修正后的目标边界点,从而可以利用前后环境图像帧的时间序列对目标区域进行平滑处理,这样可以解决目标区域检测模型在检测连续视频帧时,目标区域边界的抖动问题,同时还能避免漏检的情况。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种确定目标区域的方法的流程图。
图2是根据图1所示实施例示出的一种确定目标区域的方法的流程图。
图3是根据图2所示实施例示出的一种确定目标区域的方法的流程图。
图4是根据一示例性实施例示出的一种确定目标区域的装置框图。
图5是根据图4所示实施例示出的一种确定目标区域的装置框图。
图6是根据一示例性实施例示出的一种车辆的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
本公开主要应用于自动驾驶任务中的可行驶区域检测的场景中,例如自动驾驶车辆在停车场进行泊车的过程中,可以基于可行驶区域检测算法(即FS算法)确定出的可行驶区域进行路径规划。但在实际的检测场景中,FS算法在检测连续视频帧时,视频中可行驶区域边界会出现抖动闪烁,甚至还出现若干帧可行驶区域检测不到的情况(即发生漏检),即便自车车辆静止,整个视频画面保持不变,也会出现这个问题。但是FS算法输出的可行驶区域不稳定、不连续,无疑会对整个自动驾驶规划控制产生较大的影响。
为解决上述存在的问题,本公开提供一种确定目标区域的方法、装置、车辆及存储介质,下面结合附图对本公开的具体实施方式进行详细说明。
图1是根据一示例性实施例示出的一种确定目标区域的方法的流程图,如图1所示,该方法可以应用于车辆中,包括以下步骤。
在步骤S11中,获取车辆所处环境的当前帧环境图像。
实际的应用场景中,可以通过设置在车辆上的视频采集装置实时采集车辆周围的环境视频,然后针对该环境视频中的每帧环境图像,可以基于预先训练得到的目标区域检测模型分别识别每帧环境图像上的目标区域,该目标区域例如可以为可行驶区域。
在步骤S12中,通过目标区域检测模型确定所述当前帧环境图像中待检测区域的多个第一边界点。
其中,该目标区域检测模型例如可以包括UNet分割模型或者FCN(FullyConvolutional Networks,全卷积网络)。
在本公开中,可以将每帧环境图像分别输入该目标区域检测模型后,模型输出对应的环境图像中待检测区域的边界,可以理解的是,该边界通常是指待检测区域的多个边界点,这里记为多个第一边界点。
在步骤S13中,根据上一帧环境图像中待检测区域的多个第二边界点对多个所述第一边界点进行修正,得到修正后的目标边界点,所述上一帧环境图像为所述当前帧环境图像的上一帧环境图像。
在本公开中,相邻两帧环境图像(可以表述为上一帧环境图像和当前帧环境图像)中,可以基于上一帧环境图像中待检测区域的第二边界点对当前帧环境图像的边界点进行跟踪预测,之后可以根据预测值对通过目标区域检测模型确定出的当前帧环境图像的第二边界点进行修正,得到修正后的目标边界点,以便解决目标区域检测模型在检测连续视频帧时,目标区域边界的抖动问题,同时还能避免漏检的情况。
在步骤S14中,根据所述目标边界点确定目标区域。
其中,该目标区域例如可以包括车辆可行驶区域。
在本步骤中,可以将当前帧环境图像上所述目标边界点对应的区域作为所述目标区域。
采用上述方法,可以基于上一帧环境图像中待检测区域的第二边界点对当前帧环境图像的第一边界点进行修正,得到修正后的目标边界点,从而可以利用前后环境图像帧的时间序列对目标区域进行平滑处理,这样可以解决目标区域检测模型在检测连续视频帧时,目标区域边界的抖动问题,同时还能避免漏检的情况。
图2是根据图1所示实施例示出的一种确定目标区域的方法的流程图,如图2所示,步骤S13包括以下子步骤:
在步骤S131中,针对每个所述第一边界点,从多个所述第二边界点中确定所述第一边界点对应的匹配点。
其中,该第一边界点和对应的该匹配点可以理解为是两帧环境图像中待检测区域的同一边界点。由于传感器噪声或者环境光线变化的影响,前后两帧环境图像中同一待检测区域对应的边界点可能会发生抖动。举例来说,上一帧环境图像中待检测区域的其中一个边界点A在相机坐标系中的像素坐标为(x1,y1),当前帧环境图像中待检测区域的边界点A在相机坐标系中的像素坐标为(x2,y2),此时该边界点A即发生抖动。
在本步骤中,可以获取所述第一边界点以及每个所述第二边界点的特征描述子;根据所述特征描述子计算每个所述第二边界点分别与所述第一边界点的特征相似度;根据所述特征相似度从多个所述第二边界点中确定所述第一边界点对应的匹配点。
一种实现方式中,可以将目标区域检测模型输出的标注有待检测区域的图像输入预设特征提取模型中,得到待检测区域每个边界点的特征描述子。在针对每个第一边界点,在从多个第二边界点中确定与该第一边界点对应的匹配点的过程中,可以根据特征描述子计算每个第二边界点分别与第一边界点的特征相似度,然后选取与该第一边界点的特征相似度最高的第二边界点作为该第一边界点对应的匹配点。
在步骤S132中,根据所述匹配点对所述第一边界点进行修正,得到修正后的所述目标边界点。
图3是根据图2所示实施例示出的一种确定目标区域的方法的流程图,如图3所示,步骤S132包括以下子步骤:
在步骤S1321中,获取所述匹配点在所述当前帧环境图像上对应的目标预测点。
其中,该目标预测点是指基于目标区域的边界时序跟踪算法预测得到的与匹配点对应的待检测区域的边界点。
上述已经提及,相邻两帧环境图像(可以表述为上一帧环境图像和当前帧环境图像)中,可以基于上一帧环境图像中待检测区域的第二边界点对当前帧环境图像的边界点进行跟踪预测,具体来说,可以分别预测每个第二边界点在当前帧环境图像中对应的边界点的预测点,之后可以根据预测点对通过目标区域检测模型确定出的当前帧环境图像的第二边界点进行修正,得到修正后的目标边界点。
在本公开一种可能的实现方式中,可以通过以下方式得到预测点:
获取图像采集参数,所述图像采集参数表征相邻两帧环境图像的采集参数;针对每个所述第二边界点,根据所述图像采集参数确定所述第二边界点在所述当前帧环境图像上对应的预测点。
其中,该图像采集参数例如可以包括相邻两帧环境图像的采集时间间隔、相邻两帧环境图像中同一边界点的移动速度(或者理解为抖动速度)等参数。其中,该移动速度可以预先标定得到。
这样,针对每个所述第二边界点,在根据所述图像采集参数确定所述第二边界点在所述当前帧环境图像上对应的预测点在的过程中,可以根据上一帧环境图像与当前帧环境图像的采集时间间隔,以及移动速度计算得到所述第二边界点的移动距离,之后可以根据该第二边界点在上一帧环境图像上的像素位置和该移动距离计算得到该第二边界点对应的预测点。
在确定出每个第二边界点分别对应的预测点之后,可以获取匹配点在所述当前帧环境图像上对应的目标预测点。
在步骤S1322中,根据所述目标预测点对所述第一边界点进行修正,得到所述目标边界点。
在本步骤中,可以获取所述目标预测点和所述第一边界点分别对应的预设权重;根据所述预设权重对所述目标预测点的位置和所述第一边界点的位置进行加权求和后,得到所述目标边界点。
示例地,假设该当前帧环境图像中的其中一个第一边界点记为X点,X点在当前帧环境图像的相机坐标系中坐标记为(x1,y1),该第一边界点X在上一帧环境图像对应的匹配点对应的该目标边界点记为Y,Y点在当前帧环境图像的相机坐标系中坐标记为(x2,y2),之后可以根据X点的坐标(x1,y1)、X点对应的预设权重、Y点的坐标(x2,y2)以及Y点对应的预设权重进行加权求和后计算得到目标边界点在当前帧环境图像的相机坐标系中的坐标(x0,y0),那么(x0,y0)对应的位置点即为修正后的目标边界点,上述示例仅是举例说明,本公开对此不作限定。
另外,在本公开中,该目标区域检测模型可以通过以下方式预先训练得到:获取多个训练样本图像;对每个所述训练样本图像进行目标检测区域标注,得到标注后的目标样本图像;根据所述目标样本图像对预设区域分割模型进行模型训练后,得到所述目标区域检测模型。具体训练步骤可以参考相关技术中提供的区域分割模型的训练方式,在此不作具体限定。
这里可以通过以下方式对每个所述训练样本图像进行目标检测区域标注,得到标注后的目标样本图像:
通过预先训练得到的目标标注模型对每个所述训练样本图像进行目标检测区域标注,得到标注后的第一样本图像;根据所述第一样本图像对每个第二样本图像进行标注结果校验,所述第二样本图像为人工标注目标检测区域的样本图像;根据校验结果确定所述目标样本图像。
实际的样本图像标注场景中,不同的标注员在标注同一张图像的可行驶区域时,标注结果不能确保完全一致,即便同一个标注员,前后两次标注同一张图像,也无法确保标注结果完全一致。标注结果不一致,也会导致训练出的区域检测模型检测出的目标区域的边界出现抖动不稳定现象,因此,在本公开中,为了进一步减少检测出的目标区域的边界抖动问题,还可以通过严格的标注规则,对训练样本图像的标注结果进行改善,例如,可以检查标注后的目标检测区域是否贴近目标轮廓、是否有漏标等。
为了在能够提高标注质量的同时,也能提高标注数据的校验效率,在本公开中可以先通过机器学习模型(即目标标注模型)对训练样本图像进行目标检测区域标注,得到标注后的第一样本图像,然后依次比较模型标注后的第一样本图像与人工标注出的第二样本图像,例如假设第一样本图像的标注结果为标准的标注结果,若第二样本图像的标注区域与该标注结果相差较大的情况下,可以对该第二样本图像进行重新标注,从而可以提高每个样本图像的标注质量。
在本公开又一种可能的实现方式中,还可以通过数据采集和数据增广的方式扩充训练样本图像的数量,例如,训练样本图像可以包括加入了图像噪声图像,还可以包括不同路面材质下的样本图像,还可以包括不同光照环境下的样本图像,这样,可以提升模型的泛化能力,一定程度上也可以改善目标区域检测模型在检测连续视频帧时,目标区域边界的抖动问题。
图4是根据一示例性实施例示出的一种确定目标区域的装置框图,如图4所述,该装置包括:
获取模块401,被配置为获取车辆所处环境的当前帧环境图像;
第一确定模块402,被配置为通过目标区域检测模型确定所述当前帧环境图像中待检测区域的多个第一边界点;
修正模块403,被配置为根据上一帧环境图像中待检测区域的多个第二边界点对多个所述第一边界点进行修正,得到修正后的目标边界点,所述上一帧环境图像为所述当前帧环境图像的上一帧环境图像;
第二确定模块404,被配置为根据所述目标边界点确定目标区域。
可选地,所述修正模块403,被配置为针对每个所述第一边界点,从多个所述第二边界点中确定所述第一边界点对应的匹配点;根据所述匹配点对所述第一边界点进行修正,得到修正后的所述目标边界点。
可选地,所述修正模块403,被配置为获取所述第一边界点以及每个所述第二边界点的特征描述子;根据所述特征描述子计算每个所述第二边界点分别与所述第一边界点的特征相似度;根据所述特征相似度从多个所述第二边界点中确定所述第一边界点对应的匹配点。
可选地,所述修正模块403,被配置为获取图像采集参数,所述图像采集参数表征相邻两帧环境图像的采集参数;针对每个所述第二边界点,根据所述图像采集参数确定所述第二边界点在所述当前帧环境图像上对应的预测点;获取所述匹配点在所述当前帧环境图像上对应的目标预测点;根据所述目标预测点对所述第一边界点进行修正,得到所述目标边界点。
可选地,所述修正模块403,被配置为获取所述目标预测点和所述第一边界点分别对应的预设权重;根据所述预设权重对所述目标预测点的位置和所述第一边界点的位置进行加权求和后,得到所述目标边界点。
可选地,图5是根据图4所示实施例示出的一种确定目标区域的装置框图,如图5所示,所述装置还包括:
模型训练模块405,被配置为通过以下方式预先训练得到所述目标区域检测模型:
获取多个训练样本图像;对每个所述训练样本图像进行目标检测区域标注,得到标注后的目标样本图像;根据所述目标样本图像对预设区域分割模型进行模型训练后,得到所述目标区域检测模型。
可选地,所述模型训练模块405,被配置为通过预先训练得到的目标标注模型对每个所述训练样本图像进行目标检测区域标注,得到标注后的第一样本图像;根据所述第一样本图像对每个第二样本图像进行标注结果校验,所述第二样本图像为人工标注目标检测区域的样本图像;根据校验结果确定所述目标样本图像。
可选地,所述第二确定模块404,被配置为将所述当前帧环境图像上所述目标边界点对应的区域作为所述目标区域。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
采用上述装置,可以基于上一帧环境图像中待检测区域的第二边界点对当前帧环境图像的第一边界点进行修正,得到修正后的目标边界点,从而可以利用前后环境图像帧的时间序列对目标区域进行平滑处理,这样可以解决目标区域检测模型在检测连续视频帧时,目标区域边界的抖动问题,同时还能避免漏检的情况。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开提供的确定目标区域的方法的步骤。
图6是根据一示例性实施例示出的一种车辆的框图。例如,车辆600可以是混合动力车辆,也可以是非混合动力车辆、电动车辆、燃料电池车辆或者其他类型的车辆。车辆600可以是自动驾驶车辆、半自动驾驶车辆或者非自动驾驶车辆。
参照图6,车辆600可包括各种子系统,例如,信息娱乐系统610、感知系统620、决策控制系统630、驱动系统640以及计算平台650。其中,车辆600还可以包括更多或更少的子系统,并且每个子系统都可包括多个部件。另外,车辆600的每个子系统之间和每个部件之间可以通过有线或者无线的方式实现互连。
在一些实施例中,信息娱乐系统610可以包括通信系统,娱乐系统以及导航系统等。
感知系统620可以包括若干种传感器,用于感测车辆600周边的环境的信息。例如,感知系统620可包括全球定位系统(全球定位系统可以是GPS系统,也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit,IMU)、激光雷达、毫米波雷达、超声雷达以及摄像装置。
决策控制系统630可以包括计算系统、整车控制器、转向系统、油门以及制动系统。
驱动系统640可以包括为车辆600提供动力运动的组件。在一个实施例中,驱动系统640可以包括引擎、能量源、传动系统和车轮。引擎可以是内燃机、电动机、空气压缩引擎中的一种或者多种的组合。引擎能够将能量源提供的能量转换成机械能量。
车辆600的部分或所有功能受计算平台650控制。计算平台650可包括至少一个处理器651和存储器652,处理器651可以执行存储在存储器652中的指令653。
处理器651可以是任何常规的处理器,诸如商业可获得的CPU。处理器还可以包括诸如图像处理器(Graphic Process Unit,GPU),现场可编程门阵列(Field ProgrammableGate Array,FPGA)、片上系统(System on Chip,SOC)、专用集成芯片(ApplicationSpecific Integrated Circuit,ASIC)或它们的组合。
存储器652可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
除了指令653以外,存储器652还可存储数据,例如道路地图,路线信息,车辆的位置、方向、速度等数据。存储器652存储的数据可以被计算平台650使用。
在本公开实施例中,处理器651可以执行指令653,以完成上述的确定目标区域的方法的全部或部分步骤。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的确定目标区域的方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (8)

1.一种确定目标区域的方法,其特征在于,包括:
获取车辆所处环境的当前帧环境图像;
通过目标区域检测模型确定所述当前帧环境图像中待检测区域的多个第一边界点;
根据上一帧环境图像中待检测区域的多个第二边界点对多个所述第一边界点进行修正,得到修正后的目标边界点,所述上一帧环境图像为所述当前帧环境图像的上一帧环境图像;
根据所述目标边界点确定目标区域;
其中,所述根据上一帧环境图像中待检测区域的多个第二边界点对多个所述第一边界点进行修正,得到修正后的目标边界点包括:
针对每个所述第一边界点,从多个所述第二边界点中确定所述第一边界点对应的匹配点;
获取图像采集参数,所述图像采集参数表征相邻两帧环境图像的采集参数;
针对每个所述第二边界点,根据所述图像采集参数确定所述第二边界点在所述当前帧环境图像上对应的预测点;
获取所述匹配点在所述当前帧环境图像上对应的目标预测点;
获取所述目标预测点和所述第一边界点分别对应的预设权重;
根据所述预设权重对所述目标预测点的位置和所述第一边界点的位置进行加权求和后,得到修正后的目标边界点。
2.根据权利要求1所述的方法,其特征在于,所述从多个所述第二边界点中确定所述第一边界点对应的匹配点包括:
获取所述第一边界点以及每个所述第二边界点的特征描述子;
根据所述特征描述子计算每个所述第二边界点分别与所述第一边界点的特征相似度;
根据所述特征相似度从多个所述第二边界点中确定所述第一边界点对应的匹配点。
3.根据权利要求1所述的方法,其特征在于,所述目标区域检测模型通过以下方式预先训练得到:
获取多个训练样本图像;
对每个所述训练样本图像进行目标检测区域标注,得到标注后的目标样本图像;
根据所述目标样本图像对预设区域分割模型进行模型训练后,得到所述目标区域检测模型。
4.根据权利要求3所述的方法,其特征在于,所述对每个所述训练样本图像进行目标检测区域标注,得到标注后的目标样本图像包括:
通过预先训练得到的目标标注模型对每个所述训练样本图像进行目标检测区域标注,得到标注后的第一样本图像;
根据所述第一样本图像对每个第二样本图像进行标注结果校验,所述第二样本图像为人工标注目标检测区域的样本图像;
根据校验结果确定所述目标样本图像。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述根据所述目标边界点确定目标区域包括:
将所述当前帧环境图像上所述目标边界点对应的区域作为所述目标区域。
6.一种确定目标区域的装置,其特征在于,包括:
获取模块,被配置为获取车辆所处环境的当前帧环境图像;
第一确定模块,被配置为通过目标区域检测模型确定所述当前帧环境图像中待检测区域的多个第一边界点;
修正模块,被配置为根据上一帧环境图像中待检测区域的多个第二边界点对多个所述第一边界点进行修正,得到修正后的目标边界点,所述上一帧环境图像为所述当前帧环境图像的上一帧环境图像;
第二确定模块,被配置为根据所述目标边界点确定目标区域;
其中,所述修正模块,被配置为:
针对每个所述第一边界点,从多个所述第二边界点中确定所述第一边界点对应的匹配点;获取图像采集参数,所述图像采集参数表征相邻两帧环境图像的采集参数;针对每个所述第二边界点,根据所述图像采集参数确定所述第二边界点在所述当前帧环境图像上对应的预测点;获取所述匹配点在所述当前帧环境图像上对应的目标预测点;获取所述目标预测点和所述第一边界点分别对应的预设权重;根据所述预设权重对所述目标预测点的位置和所述第一边界点的位置进行加权求和后,得到修正后的目标边界点。
7.一种车辆,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取车辆所处环境的当前帧环境图像;
通过目标区域检测模型确定所述当前帧环境图像中待检测区域的多个第一边界点;
根据上一帧环境图像中待检测区域的多个第二边界点对多个所述第一边界点进行修正,得到修正后的目标边界点,所述上一帧环境图像为所述当前帧环境图像的上一帧环境图像;
根据所述目标边界点确定目标区域;
其中,所述根据上一帧环境图像中待检测区域的多个第二边界点对多个所述第一边界点进行修正,得到修正后的目标边界点包括:
针对每个所述第一边界点,从多个所述第二边界点中确定所述第一边界点对应的匹配点;
获取图像采集参数,所述图像采集参数表征相邻两帧环境图像的采集参数;
针对每个所述第二边界点,根据所述图像采集参数确定所述第二边界点在所述当前帧环境图像上对应的预测点;
获取所述匹配点在所述当前帧环境图像上对应的目标预测点;
获取所述目标预测点和所述第一边界点分别对应的预设权重;
根据所述预设权重对所述目标预测点的位置和所述第一边界点的位置进行加权求和后,得到修正后的目标边界点。
8.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该程序指令被处理器执行时实现如权利要求1-5中任一项所述方法的步骤。
CN202211663769.2A 2022-12-23 2022-12-23 确定目标区域的方法、装置、车辆及存储介质 Active CN115661798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211663769.2A CN115661798B (zh) 2022-12-23 2022-12-23 确定目标区域的方法、装置、车辆及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211663769.2A CN115661798B (zh) 2022-12-23 2022-12-23 确定目标区域的方法、装置、车辆及存储介质

Publications (2)

Publication Number Publication Date
CN115661798A CN115661798A (zh) 2023-01-31
CN115661798B true CN115661798B (zh) 2023-03-21

Family

ID=85022906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211663769.2A Active CN115661798B (zh) 2022-12-23 2022-12-23 确定目标区域的方法、装置、车辆及存储介质

Country Status (1)

Country Link
CN (1) CN115661798B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114528941A (zh) * 2022-02-21 2022-05-24 北京百度网讯科技有限公司 传感器数据融合方法、装置、电子设备及存储介质
CN114663804A (zh) * 2022-03-02 2022-06-24 小米汽车科技有限公司 可行驶区域检测方法、装置、移动设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2947657B1 (fr) * 2009-07-06 2016-05-27 Valeo Vision Procede de detection d'un obstacle pour vehicule automobile
CN107341793A (zh) * 2017-06-23 2017-11-10 浙江华睿科技有限公司 一种靶面图像处理方法及装置
CN109308469B (zh) * 2018-09-21 2019-12-10 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN110163153B (zh) * 2019-05-23 2022-01-04 阿波罗智能技术(北京)有限公司 用于识别交通标志牌边界的方法及装置
CN110849374B (zh) * 2019-12-03 2023-04-18 中南大学 地下环境定位方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114528941A (zh) * 2022-02-21 2022-05-24 北京百度网讯科技有限公司 传感器数据融合方法、装置、电子设备及存储介质
CN114663804A (zh) * 2022-03-02 2022-06-24 小米汽车科技有限公司 可行驶区域检测方法、装置、移动设备及存储介质

Also Published As

Publication number Publication date
CN115661798A (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN110588653B (zh) 自主车辆的控制系统、控制方法以及控制器
CN112912920B (zh) 用于2d卷积神经网络的点云数据转换方法和系统
US11436743B2 (en) Systems and methods for semi-supervised depth estimation according to an arbitrary camera
CN111448478B (zh) 用于基于障碍物检测校正高清地图的系统和方法
Dewangan et al. Driving behavior analysis of intelligent vehicle system for lane detection using vision-sensor
US10789488B2 (en) Information processing device, learned model, information processing method, and computer program product
EP3942794B1 (en) Depth-guided video inpainting for autonomous driving
US11704821B2 (en) Camera agnostic depth network
RU2744012C1 (ru) Способы и системы для автоматизированного определения присутствия объектов
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
CN115661798B (zh) 确定目标区域的方法、装置、车辆及存储介质
CN116626670A (zh) 自动驾驶模型的生成方法、装置、车辆及存储介质
CN116343174A (zh) 目标检测方法、装置、车辆和存储介质
CN115718304A (zh) 目标对象检测方法、装置、车辆及存储介质
CN116168362A (zh) 车辆感知模型的预训练方法、装置、电子设备及车辆
US11663807B2 (en) Systems and methods for image based perception
Krishnarao et al. Enhancement of advanced driver assistance system (ADAS) using machine learning
CN113492850B (zh) 倾斜角检测装置及控制装置
EP4145352A1 (en) Systems and methods for training and using machine learning models and algorithms
CN116659529B (zh) 数据检测方法、装置、车辆及存储介质
US11966452B2 (en) Systems and methods for image based perception
EP4131175A1 (en) Systems and methods for image based perception
US20230252638A1 (en) Systems and methods for panoptic segmentation of images for autonomous driving
US20230281975A1 (en) Systems and methods for generating three-dimensional annotations for training a machine learning model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant