CN113239912A - Bsd图像有效区域的确定方法、设备和存储介质 - Google Patents

Bsd图像有效区域的确定方法、设备和存储介质 Download PDF

Info

Publication number
CN113239912A
CN113239912A CN202110786906.0A CN202110786906A CN113239912A CN 113239912 A CN113239912 A CN 113239912A CN 202110786906 A CN202110786906 A CN 202110786906A CN 113239912 A CN113239912 A CN 113239912A
Authority
CN
China
Prior art keywords
image
vehicle
boundary
determining
effective area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110786906.0A
Other languages
English (en)
Other versions
CN113239912B (zh
Inventor
徐显杰
窦汝振
包永亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Soterea Automotive Technology Co Ltd
Original Assignee
Tianjin Soterea Automotive Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Soterea Automotive Technology Co Ltd filed Critical Tianjin Soterea Automotive Technology Co Ltd
Priority to CN202110786906.0A priority Critical patent/CN113239912B/zh
Publication of CN113239912A publication Critical patent/CN113239912A/zh
Application granted granted Critical
Publication of CN113239912B publication Critical patent/CN113239912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Abstract

本发明涉及摄像头检测领域,公开了一种BSD图像有效区域的确定方法、设备和存储介质。该方法包括:获取车辆行驶状态下车载BSD摄像头拍摄的多张图像;在每张图像的历史有效区域内进行语义分割,得到路面区域;并确定所述路面区域在车辆一侧的第一边界;在每张图像的历史有效区域内进行目标检测,得到目标对象的位置信息;并确定所述目标对象上侧的第二边界;根据所述第一边界和第二边界,确定所述图像的有效区域。本发明自动确定图像的有效区域,以减少后续计算量,保证探测结果的准确性。

Description

BSD图像有效区域的确定方法、设备和存储介质
技术领域
本发明涉及图像处理领域,尤其涉及一种BSD图像有效区域的确定方法、设备和存储介质。
背景技术
车载BSD(Blind Spot Detection,盲区监测)摄像头(以下简称摄像头)安装在车辆后方两侧,用于在车辆行驶时对车辆后方两侧盲区进行探测。
BSD摄像头拍摄的图像(简称BSD图像)本身包含一些无效区域,如拍摄到的自车区域,摄像头的天空背景区域等,这些无效区域会增加后续的计算量,且会影响探测结果。
有鉴于此,特提出本发明。
发明内容
为了解决上述技术问题,本发明提供了一种BSD图像有效区域的确定方法、设备和存储介质,自动确定图像的有效区域,以减少后续计算量,保证探测结果的准确性。
本发明实施例提供了一种BSD图像有效区域的确定方法,该方法包括:
获取车辆行驶状态下车载BSD摄像头拍摄的多张图像;
在每张图像的历史有效区域内进行语义分割,得到路面区域;并确定所述路面区域在车辆一侧的第一边界;
在每张图像的历史有效区域内进行目标检测,得到目标对象的位置信息;并确定所述目标对象上侧的第二边界;
根据所述第一边界和第二边界,确定所述图像的有效区域。
本发明实施例提供了一种电子设备,所述电子设备包括:
处理器和存储器;
所述处理器通过调用所述存储器存储的程序或指令,用于执行任一实施例所述的BSD图像有效区域的确定方法的步骤。
本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储程序或指令,所述程序或指令使计算机执行任一实施例所述的BSD图像有效区域的确定方法的步骤。
本发明实施例具有以下技术效果:本实施例在历史有效区域的基础上,按照实际路面和目标对象的分布情况,重新确定第一边界和第二边界,使得重新确定的有效区域能够滤除天空、车身等无效区域,保留较小的有效区域,以减少后续计算量,保证探测结果的准确性。而且,本实施例全程自动化执行,不需要人工参与;而且只需要根据图像处理得到有效区域,不需要其它传感器等辅助设备。进一步的,通过对历史有效区域的重新确定,而不是一直沿用历史有效区域,有效克服了因摄像头位姿变动及应用场景变化带来的不利影响。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种BSD图像有效区域的确定方法的流程图;
图2是本发明实施例提供的车载BSD摄像头拍摄图像的示意图;
图3是本发明实施例提供的另一种BSD图像有效区域的确定方法的流程图;
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将对本发明的技术方案进行清楚、完整的描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例,都属于本发明所保护的范围。
本发明实施例提供的BSD图像有效区域的确定方法,主要适用于对车载BSD摄像头拍摄的图像进行有效区域确定的情况。本发明实施例提供的BSD图像有效区域的确定方法可以由集成在车载BSD摄像头内的电子设备执行,或者独立于该摄像头并与该摄像头通信连接的电子设备执行。
图1是本发明实施例提供的一种BSD图像有效区域的确定方法的流程图。参见图1,该BSD图像有效区域的确定方法具体包括:
S110、获取车辆行驶状态下车载BSD摄像头拍摄的多张图像。
多张图像作为语义分割和目标检测的数据源,本实施例选择在车辆行驶状态下获取多张图像的理由在于:车辆静止状态下,同一地点获取的图像其帧与帧之间的分割错误和目标检测的错误几乎一致,如果出现错误会导致显著的系统误差。本方案在车辆运动状态下获取图像,从而单帧随机分割/目标检测错误的影响会被减弱,提高了语义分割和目标检测的准确性。
S120、在每张图像的历史有效区域内进行语义分割,得到路面区域;并确定所述路面区域在车辆一侧的第一边界。
图2是本发明实施例提供的车载BSD摄像头拍摄图像的示意图。图像的左侧为车身,右侧为路面,上方有部分天空区域。本实施例定义能够与车辆碰撞的目标对象(例如其它车辆、骑手或行人等)出现的区域为有效区域。显然,车身区域和天空区域不会出现目标对象,则为无效区域,本申请旨在确定出较为精确的有效区域。
历史有效区域为历史时段内确定的有效区域。随着车辆的行驶,车载BSD摄像头可能会位姿变化或者车外的环境发生变化,导致历史有效区域需要更新。基于此,在历史有效区域的基础上进行更新。
将多张图像依次输入至语义分割模型中,得到模型输出的属于路面类型的像素点位置。语义分割模型用于对输入图像中的各像素点进行类型划分,例如路面类型、路沿类型、行人类型、骑手类型和车道线类型等,并采用不同的颜色标识不同的类型。所有属于路面类型的像素点构成了路面区域。在所有属于路面类型的像素点中确定在车辆一侧的边界,称为第一边界。具体的,从每张图像中选择横坐标最靠近车辆侧的一像素点,再从每张图像选择出的像素点中选出最靠近车辆侧的一像素点。该最终选出像素点的横坐标为第一边界。语义分割模型可以是深度卷积神经网络模型。
如果车载BSD摄像头安装在车辆左侧,则路面区域在车辆一侧的第一边界为右侧边界,左侧边界则图像的左侧边界,不作处理。如果车载BSD摄像头安装在车辆右侧,则路面区域在车辆一侧的第一边界为左侧边界,右侧边界则图像的右侧边界,不作处理。
参见图2,图像的左侧为车身,右侧为路面,路面区域在车辆一侧的第一边界几乎为直线。基于此,为了提高第一边界获取的准确性采用频次分析法和直线拟合的方法,具体包括以下三步:
第一步,统计图像中的各像素点被分割为路面区域的频次。
假设每张图像具有1280×720个像素点,同一位置的像素点在不同图像中可能会被分割为路面,则频次记为1;也可能不会被分割为路面,则频次记为0。那么,统计得到同一位置的像素点在不同图像中被分割为路面区域的总频次。当统计图像的张数达到设定值n(例如500)时,统计结束。
第二步,从被分割为路面区域的像素点中,确定频次超过设定值的目标像素点。
从总频次大于0的像素点中,确定频次超过设定值的像素点,称为目标像素点。此处的设定值可以人为根据拟合效果来设定,例如是
Figure 546398DEST_PATH_IMAGE001
。目标像素点为多张图像中被分割为路面区域的频次较高的像素点,更能够精确表征真实的路面区域。
第三步,对所述目标像素点中在车辆一侧的边缘像素点进行直线拟合得到直线方程,并将所述直线方程表示第一边界。
可以采用最小二乘法进行直线拟合,输出拟合出的直线方程参数包含斜率和截距值。可选的,本实施例还获取当前时刻,将当前时刻与该拟合出的直线方程建立对应关系。
本实施例使用多张图像累计下的频次值进行最终的路面和车辆自身分界线的确定,该方法比基于单张图像的语义分割来确定分界线更加准确。
S130、在每张图像的历史有效区域内进行目标检测,得到目标对象的位置信息;并确定所述目标对象上侧的第二边界。
将多张图像依次输入至目标检测模型中,得到模型输出的目标对象的位置信息,例如目标对象所在矩形框的位置信息。从每张图像中确定各目标对象所在矩形框的上边沿位置,从各上边沿位置中选取最上侧的上边沿位置;然后,从每张图像中确定的上边沿位置中选择最上侧的上边沿位置,作为第二边界,图2中的虚线上边沿为“骑手”上侧的第二边界。目标检测模型可以是深度卷积神经网络模型。
不管车载BSD摄像头安装在车辆左侧还是右侧,均采用S130的操作确定第二边界,有效区域的下侧边界为图像的下侧边界,不作处理。
S140、根据所述第一边界和第二边界,确定所述图像的有效区域。
第一边界和第二边界是分别根据路面区域和目标对象的位置而重新确定的,而有效区域的远离车辆侧的边界和下侧边界则采用图像的原边界。那么,这4个边界围成的区域为有效区域。当然,有效区域的远离车辆侧的边界也可以不采用图像的原边界,而是采用远离车辆侧的边界本身,从而与第一边界、第二边界和下侧边界(采用图像的原边界)围成有效区域,参见图2中的虚线框。
可选的,S110中的多张图像并不能涵盖所有的道路情况,第一边界和第二边界之外可能还会出现目标对象。基于此,重新外扩第一边界和第二边界以扩大有效区域。具体而言,将所述第一边界向车辆侧移动设定长度,例如20个像素点的长度;如果所述多张图像中上方区域存在目标对象的图像占比超过设定值,将所述第二边界向上侧移动设定长度;上方区域为图像最上侧的一块区域,该区域的长为图像的长,该区域的宽为设定值,如20。如果多张图像中有1%的图像的上方区域存在目标对象,则说明第二边界的上方有很大概率存在目标对象,则需要将第二边界向上侧移动设定长度。此处的设定长度可以与上方区域的宽一致。最后,根据移动后的第一边界和第二边界,确定所述图像的有效区域。也就是将移动后的第一边界和第二边界,以及图像中远离车辆侧的一侧边界和下侧边界,共同围成的区域作为有效区域,参见图2中的实线框。
在实际应用场景中,在所述根据所述第一边界和第二边界,确定所述图像的有效区域之后,还包括:按照所述有效区域对待处理图像进行裁剪,得到裁剪后的图像;对所述裁剪后的图像进行缩小,得到缩小后的图像;将所述缩小后的图像输入至设定神经网络模型。其中,图像缩小的程度根据设定神经网络模型的输入要求确定,例如原图像为1280×720,裁剪后的有效区域尺寸为900×500,缩小后的图像尺寸为450×250。设定神经网络模型为BSD预警所需的模型,用于检测图像中的目标对象,可以根据实际需求确定。
本实施例在历史有效区域的基础上,按照实际路面和目标对象的分布情况,重新确定第一边界和第二边界,使得重新确定的有效区域能够滤除天空、车身等无效区域,保留较小的有效区域,以减少后续计算量,保证探测结果的准确性。而且,本实施例全程自动化执行,不需要人工参与;而且只需要根据图像处理得到有效区域,不需要其它传感器等辅助设备。进一步的,通过对历史有效区域的重新确定,而不是一直沿用历史有效区域,有效克服了因摄像头位姿变动及应用场景变化带来的不利影响。
在上述实施例的基础上,本实施例对历史有效区域的确定过程进行细化。具体的,获取车辆行驶状态下车载BSD摄像头拍摄的多张图像之前,还包括以下三步。
第一步:获取语义分割模型的训练集,所述训练集包括多张已标注路面区域和目标对象的图像。本实施例采用训练集确定历史有效区域的理由在于:在实际应用中,会按照车载BSD摄像头的未来安装和使用场景,在样车上安装车载BSD摄像头,并采集该摄像头拍摄的图像构成训练集。可见,训练集能够有效反映实际场景中车载BSD摄像头拍摄的图像。
其中,语义分割模型用于在每张图像的历史有效区域内进行语义分割,得到路面区域。
第二步:基于所述训练集,确定所述路面区域在车辆一侧的第一初始边界和所述目标对象上侧的第二初始边界。
对于训练集的每张图像,确定路面区域最靠近车辆侧的一像素点,再从每张图像选择出的像素点中选出最靠近车辆侧的一像素点。该最终选出像素点的横坐标为第一初始边界。同理,从每张图像中确定各目标对象所在矩形框的上边沿位置,从各上边沿位置中选取最上侧的上边沿位置;然后,从每张图像中确定的上边沿位置中选择最上侧的上边沿位置,作为第二初始边界。
为了方便描述和区分,将基于训练集确定的边界称为第一初始边界和第二初始边界。
第三步:根据所述第一初始边界和所述第二初始边界,确定所述历史有效区域。
历史有效区域的远离车辆侧的边界和下侧边界则采用训练集图像的原边界。那么,综合第一初始边界和第二初始边界,这4个边界围成的区域为历史有效区域。具体而言,将第一初始边界、第二初始边界和原边界围成的区域确定为历史有效区域。
可选的,此时的历史有效区域并不能涵盖所有的道路情况,第一初始边界和第二初始边界之外可能还会出现目标对象。基于此,重新外扩第一初始边界和第二初始边界以扩大历史有效区域。具体而言,将所述第一初始边界向车辆侧移动设定长度,将所述第二初始边界向上侧移动设定长度;根据移动后的第一初始边界和第二初始边界,确定所述历史有效区域。设定长度可以是20个像素点的长度,可以根据实际情况设置。将移动后的第一初始边界和第二初始边界,以及历史有效区域的远离车辆侧的边界和下侧边界围成的区域确定为历史有效区域。
在上述实施例的基础上,本实施例对车辆行驶状态的判定过程进行细化。可选的,获取车辆行驶状态下车载BSD摄像头拍摄的多张图像,包括:采集车载BSD摄像头拍摄的多张原始图像;对所述多张原始图像分别进行语义分割得到车道线区域,并在每张原始图像的车道线区域中选取长度大于一阈值的目标车道线区域;根据相邻原始图像中目标车道线区域的交并比,判断所述车辆是否处于行驶状态;从所述多张原始图像中,筛选处于行驶状态的图像。
其中,多张原始图像可以是当前时段内连续拍摄得到的,此时并不关注车辆是否在行驶。将多张原始图像依次输入至语义分割模型中,得到模型输出的属于车道线类型的像素点位置。车道线和路面可以采用同一语义分割模型得到。在每张原始图像中选取区域面积最大的封闭车道线区域作为目标车道线区域。如果相邻原始图像的目标车道线区域的交并比比较大,说明目标车道线区域变化不大,车辆可能是静止状态;如果相邻原始图像的目标车道线区域的交并比比较小,说明目标车道线区域变化大,车辆一定是行驶状态,从而筛选出交并比小于设定值的图像。
在实际应用场景中,首先将所述多张原始图像中的一张原始图像作为参考帧,该参考帧中的目标车道线区域的长度需要大于一阈值(例如图像长度的1/10),又例如差异化交并比的数值,提高车辆状态判断的准确性。然后,计算所述参考帧与下一张原始图像(作为比对帧)中目标车道线区域的交并比;如果所述交并比小于设定值,判定所述车辆在当前时段内处于行驶状态;如果所述交并比大于等于设定值,判定所述车辆在当前时段内处于静止状态;将所述下一张原始图像作为新的参考帧,并返回计算所述参考帧与下一张原始图像中目标车道线区域的交并比的操作,直到所有原始图像处理完成。
本实施例通过自车的图像,计算车道线区域的交并比实现自车行驶状态的判断,无需依赖其它传感器;而且,其计算和判别简单准确;传统基于灰度和颜色判断图像间位移反推车辆移动的方法,如帧间差分法、特征点匹配法等,容易受到图像亮度、背景目标晃动的影响。
图3是本发明实施例提供的另一种BSD图像有效区域的确定方法的流程图,包括以下操作:
S310、车载BSD摄像头开启。
S320、判断在数据库中是否查找到历史有效区域的位置数据,如果查找到,跳转到S330,如果未查找到,跳转到S340,并继续执行S341和S342。
在确定第一初始边界和第二初始边界后,将第一初始边界和第二初始边界的位置数据,以及该边界的确定时刻存储至数据库中。同理,在确定第一边界和第二边界后,也会将第一边界和第二边界的位置数据,以及该边界的确定时刻存储至数据库中。那么,在后续车载BSD摄像头开启后,这些边界的位置数据就称为了历史有效区域的位置数据。
S330、判断所述历史有效区域的数据的生成时刻与当前时刻的时间间隔是否超过设定值,如果是,继续执行S331;否则执行S330。
S331、获取车辆行驶状态下车载BSD摄像头拍摄的多张图像。
S332、在每张图像的历史有效区域内进行语义分割,得到路面区域;并确定所述路面区域在车辆一侧的第一边界。
S333、在每张图像的历史有效区域内进行目标检测,得到目标对象的位置信息;并确定所述目标对象上侧的第二边界。
S334、根据所述第一边界和第二边界,确定所述图像的有效区域。
S335、将有效区域的位置数据存储至数据库,结束本次操作。
S340、获取语义分割模型的训练集,所述训练集包括多张已标注路面区域和目标对象的图像。
S341、基于所述训练集,确定所述路面区域在车辆一侧的第一初始边界和所述目标对象上侧的第二初始边界。
S342、根据所述第一初始边界和所述第二初始边界,确定所述历史有效区域;将历史有效区域的位置数据存储至数据库。返回执行S320。
本实施例提供了在实际应用场景中位姿变动检测的整个流程,涵盖了功能开启、位姿变动的检测、位置存储、提醒、校正和标定操作。
图4为本发明实施例提供的一种电子设备的结构示意图。如图4所示,电子设备400包括一个或多个处理器401和存储器402。
处理器401可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备400中的其他组件以执行期望的功能。
存储器402可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器401可以运行所述程序指令,以实现上文所说明的本发明任意实施例的BSD图像有效区域的确定方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如初始外参、阈值等各种内容。
在一个示例中,电子设备400还可以包括:输入装置403和输出装置404,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。该输入装置403可以包括例如键盘、鼠标等等。该输出装置404可以向外部输出各种信息,包括预警提示信息、制动力度等。该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图4中仅示出了该电子设备400中与本发明有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备400还可以包括任何其他适当的组件。
除了上述方法和设备以外,本发明的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本发明任意实施例所提供的BSD图像有效区域的确定方法的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本发明的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本发明任意实施例所提供的BSD图像有效区域的确定方法的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
需要说明的是,本发明所用术语仅为了描述特定实施例,而非限制本申请范围。如本发明说明书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
还需说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。除非另有明确的规定和限定,术语“安装”、“相连”、“连接”等应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案。

Claims (10)

1.一种BSD图像有效区域的确定方法,其特征在于,包括:
获取车辆行驶状态下车载BSD摄像头拍摄的多张图像;
在每张图像的历史有效区域内进行语义分割,得到路面区域;并确定所述路面区域在车辆一侧的第一边界;所述有效区域为能够与所述车辆碰撞的目标对象出现的区域;
在每张图像的历史有效区域内进行目标检测,得到目标对象的位置信息;并确定所述目标对象上侧的第二边界;
根据所述第一边界和第二边界,确定所述图像的有效区域。
2.根据权利要求1所述的方法,其特征在于,获取车辆行驶状态下车载BSD摄像头拍摄的多张图像之前,还包括:
获取语义分割模型的训练集,所述训练集包括多张已标注路面区域和目标对象的图像;
基于所述训练集,确定所述路面区域在车辆一侧的第一初始边界和所述目标对象上侧的第二初始边界;
根据所述第一初始边界和所述第二初始边界,确定所述历史有效区域;
其中,所述语义分割模型用于在每张图像的历史有效区域内进行语义分割,得到路面区域。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一初始边界和所述第二初始边界,确定所述历史有效区域,包括:
将所述第一初始边界向车辆侧移动设定长度,将所述第二初始边界向上侧移动设定长度;
根据移动后的第一初始边界和第二初始边界,确定所述历史有效区域。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述根据所述第一边界和第二边界,确定所述图像的有效区域,包括:
将所述第一边界向车辆侧移动设定长度;
如果所述多张图像中上方区域存在目标对象的图像占比超过设定值,将所述第二边界向上侧移动设定长度;
根据移动后的第一边界和第二边界,确定所述图像的有效区域。
5.根据权利要求2所述的方法,其特征在于,所述获取车辆行驶状态下车载BSD摄像头拍摄的多张图像,包括:
在数据库中查找所述历史有效区域的位置数据;
如果未查找到,执行历史有效区域的确定操作;
如果查找到,判断所述历史有效区域的数据的生成时刻与当前时刻的时间间隔是否超过设定值;
如果超过设定值,则获取车辆行驶状态下车载BSD摄像头拍摄的多张图像。
6.根据权利要求1所述的方法,其特征在于,在所述根据所述第一边界和第二边界,确定所述图像的有效区域之后,还包括:
按照所述有效区域对待处理图像进行裁剪,得到裁剪后的图像;
对所述裁剪后的图像进行缩小,得到缩小后的图像;
将所述缩小后的图像输入至设定神经网络模型。
7.根据权利要求1所述的方法,其特征在于,所述获取车辆行驶状态下车载BSD摄像头拍摄的多张图像,包括:
采集车载BSD摄像头拍摄的多张原始图像;
对所述多张原始图像分别进行语义分割得到车道线区域,并在每张原始图像的车道线区域中选取长度大于一阈值的目标车道线区域;
根据相邻原始图像中目标车道线区域的交并比,判断所述车辆是否处于行驶状态;
从所述多张原始图像中,筛选处于行驶状态的图像。
8.根据权利要求7所述的方法,其特征在于,所述根据相邻原始图像中目标车道线区域的交并比,判断所述车辆是否处于行驶状态,包括:
将所述多张原始图像中的一张原始图像作为参考帧,计算所述参考帧与下一张原始图像中目标车道线区域的交并比;
如果所述交并比小于设定值,判定所述车辆在当前时段内处于行驶状态;如果所述交并比大于等于设定值,判定所述车辆在当前时段内处于静止状态;
将所述下一张原始图像作为新的参考帧,并返回计算所述参考帧与下一张原始图像中目标车道线区域的交并比的操作,直到所有原始图像处理完成。
9.一种电子设备,其特征在于,所述电子设备包括:
处理器和存储器;
所述处理器通过调用所述存储器存储的程序或指令,用于执行如权利要求1至8任一项所述的BSD图像有效区域的确定方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储程序或指令,所述程序或指令使计算机执行如权利要求1至8任一项所述的BSD图像有效区域的确定方法的步骤。
CN202110786906.0A 2021-07-13 2021-07-13 Bsd图像有效区域的确定方法、设备和存储介质 Active CN113239912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110786906.0A CN113239912B (zh) 2021-07-13 2021-07-13 Bsd图像有效区域的确定方法、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110786906.0A CN113239912B (zh) 2021-07-13 2021-07-13 Bsd图像有效区域的确定方法、设备和存储介质

Publications (2)

Publication Number Publication Date
CN113239912A true CN113239912A (zh) 2021-08-10
CN113239912B CN113239912B (zh) 2021-09-17

Family

ID=77135448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110786906.0A Active CN113239912B (zh) 2021-07-13 2021-07-13 Bsd图像有效区域的确定方法、设备和存储介质

Country Status (1)

Country Link
CN (1) CN113239912B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505860A (zh) * 2021-09-07 2021-10-15 天津所托瑞安汽车科技有限公司 盲区检测训练集的筛选方法、装置、服务器及存储介质
CN113706608A (zh) * 2021-08-20 2021-11-26 云往(上海)智能科技有限公司 一种预定区域内目标物的位姿检测装置、方法和电子设备
CN114724119A (zh) * 2022-06-09 2022-07-08 天津所托瑞安汽车科技有限公司 车道线提取方法、检测设备及存储介质
CN115601435A (zh) * 2022-12-14 2023-01-13 天津所托瑞安汽车科技有限公司(Cn) 车辆姿态检测方法、装置、车辆及存储介质
CN116433988A (zh) * 2023-06-01 2023-07-14 中国标准化研究院 一种多源异构的图像数据分类治理方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130176145A1 (en) * 2012-01-10 2013-07-11 Xiao Lin Yu Automobile blind spot detection system and method
CN104512327A (zh) * 2013-09-27 2015-04-15 比亚迪股份有限公司 盲区车辆检测方法、系统、车辆变道预警方法及系统
US9211889B1 (en) * 2014-07-29 2015-12-15 Robert Bosch Gmbh Enhanced blind spot detection for vehicle with trailer
US20190291646A1 (en) * 2018-03-21 2019-09-26 Gentex Corporation Blind spot module with off indicator
CN110775057A (zh) * 2019-08-29 2020-02-11 浙江零跑科技有限公司 基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法
CN110929606A (zh) * 2019-11-11 2020-03-27 浙江鸿泉车联网有限公司 车辆盲区行人监控方法和装置
CN111008552A (zh) * 2018-10-08 2020-04-14 斯特拉德视觉公司 用于监测车辆盲区的方法和装置
CN111008553A (zh) * 2018-10-05 2020-04-14 斯特拉德视觉公司 用于监测车辆盲区的方法和装置
CN111038389A (zh) * 2019-12-23 2020-04-21 天津布尔科技有限公司 一种基于视觉的大型车辆盲区监测装置
CN111923857A (zh) * 2020-09-24 2020-11-13 深圳佑驾创新科技有限公司 车辆盲区检测处理方法、装置、车载终端和存储介质
CN112639821A (zh) * 2020-05-11 2021-04-09 华为技术有限公司 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆
CN112990162A (zh) * 2021-05-18 2021-06-18 所托(杭州)汽车智能设备有限公司 目标检测方法、装置、终端设备及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130176145A1 (en) * 2012-01-10 2013-07-11 Xiao Lin Yu Automobile blind spot detection system and method
CN104512327A (zh) * 2013-09-27 2015-04-15 比亚迪股份有限公司 盲区车辆检测方法、系统、车辆变道预警方法及系统
US9211889B1 (en) * 2014-07-29 2015-12-15 Robert Bosch Gmbh Enhanced blind spot detection for vehicle with trailer
US20190291646A1 (en) * 2018-03-21 2019-09-26 Gentex Corporation Blind spot module with off indicator
CN111008553A (zh) * 2018-10-05 2020-04-14 斯特拉德视觉公司 用于监测车辆盲区的方法和装置
CN111008552A (zh) * 2018-10-08 2020-04-14 斯特拉德视觉公司 用于监测车辆盲区的方法和装置
CN110775057A (zh) * 2019-08-29 2020-02-11 浙江零跑科技有限公司 基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法
CN110929606A (zh) * 2019-11-11 2020-03-27 浙江鸿泉车联网有限公司 车辆盲区行人监控方法和装置
CN111038389A (zh) * 2019-12-23 2020-04-21 天津布尔科技有限公司 一种基于视觉的大型车辆盲区监测装置
CN112639821A (zh) * 2020-05-11 2021-04-09 华为技术有限公司 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆
CN111923857A (zh) * 2020-09-24 2020-11-13 深圳佑驾创新科技有限公司 车辆盲区检测处理方法、装置、车载终端和存储介质
CN112990162A (zh) * 2021-05-18 2021-06-18 所托(杭州)汽车智能设备有限公司 目标检测方法、装置、终端设备及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706608A (zh) * 2021-08-20 2021-11-26 云往(上海)智能科技有限公司 一种预定区域内目标物的位姿检测装置、方法和电子设备
CN113706608B (zh) * 2021-08-20 2023-11-28 云往(上海)智能科技有限公司 一种预定区域内目标物的位姿检测装置、方法和电子设备
CN113505860A (zh) * 2021-09-07 2021-10-15 天津所托瑞安汽车科技有限公司 盲区检测训练集的筛选方法、装置、服务器及存储介质
CN113505860B (zh) * 2021-09-07 2021-12-31 天津所托瑞安汽车科技有限公司 盲区检测训练集的筛选方法、装置、服务器及存储介质
CN114724119A (zh) * 2022-06-09 2022-07-08 天津所托瑞安汽车科技有限公司 车道线提取方法、检测设备及存储介质
CN115601435A (zh) * 2022-12-14 2023-01-13 天津所托瑞安汽车科技有限公司(Cn) 车辆姿态检测方法、装置、车辆及存储介质
CN115601435B (zh) * 2022-12-14 2023-03-14 天津所托瑞安汽车科技有限公司 车辆姿态检测方法、装置、车辆及存储介质
CN116433988A (zh) * 2023-06-01 2023-07-14 中国标准化研究院 一种多源异构的图像数据分类治理方法
CN116433988B (zh) * 2023-06-01 2023-08-08 中国标准化研究院 一种多源异构的图像数据分类治理方法

Also Published As

Publication number Publication date
CN113239912B (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN113239912B (zh) Bsd图像有效区域的确定方法、设备和存储介质
CN111126399B (zh) 一种图像检测方法、装置、设备及可读存储介质
CN109087510B (zh) 交通监测方法及装置
CN113240756B (zh) 车载bsd摄像头的位姿变动检测方法、设备和存储介质
DE112018007287T5 (de) Fahrzeugsystem und -verfahren zum erfassen von objekten und einer objektentfernung
CN111209825B (zh) 一种用于动态目标3d检测的方法和装置
EP2851841A2 (en) System and method of alerting a driver that visual perception of pedestrian may be difficult
DE112012002885T5 (de) Verfahren und Vorrichtung zur bildbasierten Fahrzeugerfassung und Entfernungsmessung
CN110659658B (zh) 一种目标检测方法及其装置
CN112349144A (zh) 一种基于单目视觉的车辆碰撞预警方法及系统
CN113256739A (zh) 车载bsd摄像头的自标定方法、设备和存储介质
DE102018205879A1 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Verarbeitung von Sensordaten
CN110991215B (zh) 车道线检测方法、装置、存储介质及电子设备
CN113111722A (zh) 基于改进Mask R-CNN的自动驾驶目标识别方法
CN112446316A (zh) 事故检测方法、电子设备及存储介质
CN111860072A (zh) 泊车控制方法、装置、计算机设备及计算机可读存储介质
CN112906471A (zh) 一种交通信号灯识别方法及装置
CN113361299B (zh) 一种异常停车的检测方法、装置、存储介质及电子设备
CN114973208B (zh) 车辆盲区监测预警方法及相关设备
CN112784642A (zh) 车辆检测方法及装置
EP3349201A1 (en) Parking assist method and vehicle parking assist system
CN114266885A (zh) 物件侦测装置以及物件侦测方法
CN112446299A (zh) 车流密度检测方法、系统及计算机可读存储介质
CN116709035B (zh) 图像帧的曝光调节方法、装置和计算机存储介质
CN117237924B (zh) 一种障碍物可见性分析方法、装置、智能终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant