CN113392680B - 道路识别装置及方法、电子设备 - Google Patents
道路识别装置及方法、电子设备 Download PDFInfo
- Publication number
- CN113392680B CN113392680B CN202010175094.1A CN202010175094A CN113392680B CN 113392680 B CN113392680 B CN 113392680B CN 202010175094 A CN202010175094 A CN 202010175094A CN 113392680 B CN113392680 B CN 113392680B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- lane
- image
- detection result
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 131
- 238000013528 artificial neural network Methods 0.000 claims abstract description 58
- 238000013135 deep learning Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种道路识别装置及方法、电子设备。对于车载摄像设备取得的图像，使用第一神经网络检测图像中的车道线，得到车道线的第一检测结果；使用第二神经网络检测图像中的车辆和/或道路方向标志，得到车辆的第二检测结果和/或道路方向标志的第三检测结果；根据车辆的第二检测结果，对车辆的显示方向进行分类，得到车辆的显示方向的第一分类结果，和/或，根据道路方向标志的第三检测结果，对道路方向标志的方向进行分类，得到道路方向标志的方向的第二分类结果；以及根据车辆的显示方向的第一分类结果和道路方向标志的方向的第二分类结果中的至少一个以及车道线的第一检测结果，识别图像中的前向车道和/或反向车道。
Description
技术领域
本申请涉及信息技术领域。
背景技术
识别不同类型的道路是一项有用的技术，这可以帮助引导驾驶员在正确的车道上行驶车辆。当存在人行道时，道路识别可以提醒驾驶员减速车辆，在需要紧急停车的情况下，道路识别可以提醒驾驶员在有路侧带的情况下选择临时停车位。另外，道路识别可以帮助基于车载摄像头或监控摄像头获得交通事故信息。另外，道路识别对于自动驾驶也很有用。
当前，人们主要致力于车道线的检测。人们一般更关心前向的车道线，也就是与自己驾驶的车辆相同方向的车道线。
应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
但是，发明人发现，对于某些复杂的道路场景，尤其是对于城市场景，仅考虑前进的车道是不够的，这些场景下一般同时存在几种车道。而目前并没有能够识别多种车道类型的有效方法。
为了解决上述问题中的至少一个，本申请实施例提供一种道路识别装置及方法、电子设备，能够快速准确的识别多种类型的车道。
根据本申请实施例的第一方面，提供一种道路识别装置，所述装置包括：第一检测单元，其对于车载摄像设备取得的图像，使用第一神经网络检测所述图像中的车道线，得到所述车道线的第一检测结果；第二检测单元，其对于所述车载摄像设备取得的所述图像，使用第二神经网络检测所述图像中的车辆和/或道路方向标志，得到所述车辆的第二检测结果和/或所述道路方向标志的第三检测结果；分类单元，其根据所述车辆的第二检测结果，对所述车辆的显示方向进行分类，得到所述车辆的显示方向的第一分类结果，和/或，根据所述道路方向标志的第三检测结果，对所述道路方向标志的方向进行分类，得到所述道路方向标志的方向的第二分类结果；以及第一识别单元，其根据所述车辆的显示方向的第一分类结果和所述道路方向标志的方向的第二分类结果中的至少一个以及所述车道线的第一检测结果，识别所述图像中的前向车道和/或反向车道。
根据本申请实施例的第二方面，提供一种电子设备，所述电子设备包括根据本申请实施例的第一方面所述的装置。
根据本申请实施例的第三方面，提供一种道路识别方法，所述方法包括：对于车载摄像设备取得的图像，使用第一神经网络检测所述图像中的车道线，得到所述车道线的第一检测结果；对于所述车载摄像设备取得的所述图像，使用第二神经网络检测所述图像中的车辆和/或道路方向标志，得到所述车辆的第二检测结果和/或所述道路方向标志的第三检测结果；根据所述车辆的第二检测结果，对所述车辆的显示方向进行分类，得到所述车辆的显示方向的第一分类结果，和/或，根据所述道路方向标志的第三检测结果，对所述道路方向标志的方向进行分类，得到所述道路方向标志的方向的第二分类结果；以及根据所述车辆的显示方向的第一分类结果和所述道路方向标志的方向的第二分类结果中的至少一个以及所述车道线的第一检测结果，识别所述图像中的前向车道和/或反向车道。
本申请实施例的有益效果在于：根据车辆的显示方向的第一分类结果和道路方向标志的方向的第二分类结果中的至少一个以及车道线的第一检测结果，识别图像中的前向车道和/或反向车道，能够快速准确的识别多种类型的车道。
参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
所包括的附图用来提供对本申请实施例的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本申请实施例1的道路识别装置的一示意图；
图2是本申请实施例1的车载摄像设备取得的图像的一示意图；
图3是本申请实施例1的各种车辆显示方向的一示意图；
图4是本申请实施例1的各种道路方向标志的一示意图；
图5是本申请实施例2的电子设备的一示意图；
图6是本申请实施例2的电子设备的系统构成的一示意框图；
图7是本申请实施例3的道路识别方法的一示意图。
具体实施方式
参照附图，通过下面的说明书，本申请的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本申请的特定实施方式，其表明了其中可以采用本申请的原则的部分实施方式，应了解的是，本申请不限于所描述的实施方式，相反，本申请包括落入所附权利要求的范围内的全部修改、变型以及等同物。
实施例1
本申请实施例提供一种道路识别装置。图1是本申请实施例1的道路识别装置的一示意图。
如图1所示，道路识别装置100包括：
第一检测单元101，其对于车载摄像设备取得的图像，使用第一神经网络检测该图像中的车道线，得到该车道线的第一检测结果；
第二检测单元102，其对于该车载摄像设备取得的该图像，使用第二神经网络检测该图像中的车辆和/或道路方向标志，得到该车辆的第二检测结果和/或该道路方向标志的第三检测结果；
分类单元103，其根据该车辆的第二检测结果，对该车辆的显示方向进行分类，得到该车辆的显示方向的第一分类结果，和/或，根据该道路方向标志的第三检测结果，对该道路方向标志的方向进行分类，得到该道路方向标志的方向的第二分类结果；以及
第一识别单元104，其根据该车辆的显示方向的第一分类结果和该道路方向标志的方向的第二分类结果中的至少一个以及该车道线的第一检测结果，识别该图像中的前向车道和/或反向车道。
在本申请实施例的一种实施方式中，道路识别装置100的检测所实施的对象是车载摄像设备取得的图像。
例如，该车载摄像设备是车载摄像头，车载摄像头记录从驾驶视角拍摄的视频的各个帧。在该情况下，道路识别装置100针对各个帧逐个进行处理，并可以根据当前帧的识别结果更新之前的识别结果。
第一检测单元101对于车载摄像设备取得的图像，使用第一神经网络检测该图像中的车道线，得到该车道线的第一检测结果，第一神经网络可以是能够检测车道线的各种神经网络。
例如，第一神经网络是通过深度学习方法训练得到的。
例如，第一神经网络基于LaneNet网络。例如，使用Tusimple模型作为预训练的模型并通过预先采集的训练数据集对该模型进行修改，完成训练后得到第一神经网络。通过使用该第一神经网络，能够准确的检测出图像中的车道线。
图2是本申请实施例1的车载摄像设备取得的图像的一示意图。如图2所示，通过第一神经网络的检测，得到车道线201和车道线202。
在本申请实施例的一种实施方式中，第二检测单元102对于该车载摄像设备取得的该图像，使用第二神经网络检测该图像中的车辆和/或道路方向标志，得到该车辆的第二检测结果和/或该道路方向标志的第三检测结果。
第二检测单元102针对第一检测单元101处理的同一图像，使用第二神经网络检测进行检测，其检测的目标是该图像中的车辆和道路方向标志中的至少一个。
第二神经网络可以是能够检测车辆和道路方向标志的各种神经网络。例如，第二神经网络是通过深度学习方法训练得到的。
例如，第二神经网络是特征金字塔网络(FPN，Feature Pyramid Networks)，特征金字塔网络是一种性能良好的适用于多场景多目标检测的神经网络，使用该网络能够得到较高的检测精度。
在本申请实施例的一种实施方式中，分类单元103根据该车辆的第二检测结果，对该车辆的显示方向进行分类，得到该车辆的显示方向的第一分类结果，和/或，根据该道路方向标志的第三检测结果，对该道路方向标志的方向进行分类，得到该道路方向标志的方向的第二分类结果。
例如，分类单元103使用第一分类器对检测出的该车辆的显示方向进行分类，得到该第一分类结果，和/或，使用第二分类器对检测出的该道路方向标志的方向进行分类，得到该第二分类结果，该第一分类器和该第二分类器可以是相同的分类器，也可以是不同的分类器，且该第一分类器和该第二分类器是通过深度学习方法训练得到的分类器。
在本申请实施例的一种实施方式中，车辆的显示方向指的是在该图像中，检测到的车辆所显示的方向，或者也可以说，检测到的车辆所显示的车辆的部位。例如，在该图像中，显示了车辆的前部，则该车辆的显示方向即为“前”。
在本申请实施例的一种实施方式中，该第一分类器输出的类别的数量可以根据实际需要而确定。例如，该第一分类器可以输出的类别有8个。
图3是本申请实施例1的各种车辆显示方向的一示意图。如图3所示，上面一排从左到右依次为“前(front)”、“右前(right front)”、“左前(left front)”以及“右(right)”，下面一排从左到右依次为“后(back)”、“右后(right back)”、“左后(left back)”以及“左(left)”。
在本申请实施例的一种实施方式中，道路方向标志的方向指的是在该图像中，检测到的道路方向标志的指向，例如，包含有指向前向的箭头的道路方向标志称为前向道路方向标志，包含有指向反向的箭头的道路方向标志称为反向道路方向标志。
在本申请实施例的一种实施方式中，前向指的是车载摄像设备所在的车辆的行驶方向，即正向行驶方向；反向指的是与车载摄像设备所在的车辆的行驶方向相反的方向，即逆向行驶方向。
在本申请实施例的一种实施方式中，该第二分类器输出的类别的数量可以根据实际需要而确定。
例如，该第二分类器可以输出的类别有2个，即前向道路方向标志和反向道路方向标志。
图4是本申请实施例1的各种道路方向标志的一示意图。如图4所示，上面一排的道路方向标志均包含有指向前向的箭头的道路方向标志，因此被归类为前向道路方向标志，下面一排的道路方向标志均包含有指向反向的箭头的道路方向标志，因此被归类为反向道路方向标志。
在本申请实施例的一种实施方式中，第一识别单元104根据该车辆的显示方向的第一分类结果和该道路方向标志的方向的第二分类结果中的至少一个以及该车道线的第一检测结果，识别该图像中的前向车道和/或反向车道。
在本申请实施例的一种实施方式中，前向车道是和拍摄该图像的车载摄像设备所在的车辆行驶方向相同的车道，反向车道是和拍摄该图像的车载摄像设备所在的车辆行驶方向相反的车道。
在本申请实施例的一种实施方式中，可以通过车道线的第一检测结果确定车道，例如，在两个车道线之间存在一个车道，或者，在一个车道线的一侧存在车道。
例如，当一个车道上存在显示方向为前的车辆或存在反向道路方向标志时，确定该车道为反向车道；和/或，当一个车道上存在显示方向为后的车辆或存在前向道路方向标志时，确定该车道为前向车道。
这样，能够识别出图像中的车道是正向车道还是反向车道，能够获得道路结构和路况等信息，从而能够为各种应用提供有用的信息，例如，根据该信息引导驾驶行为，或者，将该信息用于自动驾驶以及交通事故评估等。
在本申请实施例的一种实施方式中，装置100还可以包括：
第三检测单元105，其使用该第二神经网络检测该图像中的路边参考物，得到该路边参考物的第四检测结果；以及
第二识别单元106，其根据该车道线的第一检测结果和该路边参考物的第四检测结果，识别该图像中的人行道和/或路侧带。
这样，能够进一步识别图像中的人行道和/或路侧带，从而能够各种应用提供更多有用的信息。
在本申请实施例的一种实施方式中，第三检测单元105使用该第二神经网络检测该图像中的路边参考物，如上所述，例如，第二神经网络是特征金字塔网络(FPN，FeaturePyramid Networks)，特征金字塔网络是一种性能良好的适用于多场景多目标检测的神经网络，使用该网络能够得到较高的检测精度。
在本申请实施例的一种实施方式中，路侧带是指用于在道路边上临时停放车辆或其他特定用途的区域。
在本申请实施例的一种实施方式中，路边参考物是为了识别人行道和路侧带的特定物体，例如，马路牙子(curb)、护栏(guardrail)、栅栏(fence)以及绿植(implant)中的至少一个。
例如，第二识别单元106对于靠左侧行驶的车道，当在一个车道的左侧检测到路边参考物时，确定该图像中存在人行道；以及对于靠右侧行驶的车道，当在一个车道的右侧检测到路边参考物时，确定该图像中存在人行道。
例如，第二识别单元106对于靠左侧行驶的车道，当在一个车道的左侧没有检测到路边参考物且在该车载摄像设备所在车辆的左侧存在至少一个车道线时，确定该图像中存在路侧带；以及对于靠右侧行驶的道路，当在一个车道的右侧没有检测到路边参考物且在该车载摄像设备所在车辆的右侧存在至少一个车道线时，确定该图像中存在路侧带。
例如，对于图2所示的图像，其属于靠左行驶的道路，拍摄该图像的车载摄像设备所在的车辆所行驶的车道是前向车道，而在车道线202右侧的车道上存在显示方向为前的车辆203，那么该车道为反向车道。另外，由于在车载摄像设备所在的车辆行驶的车道，也就是前向车道的左侧检测到护栏204和栅栏205的路边参考物，因此确定该图像中存在人行道。
在本申请实施例的一种实施方式中，第一检测结果、第二检测结果、第三检测结果以及第四检测结果只是为了在表述上区分各个检测结果，并不对各个检测结果有实质的限制作用。
由上述实施例可知，根据车辆的显示方向的第一分类结果和道路方向标志的方向的第二分类结果中的至少一个以及车道线的第一检测结果，识别图像中的前向车道和/或反向车道，能够快速准确的识别多种类型的车道。
实施例2
本申请实施例还提供了一种电子设备，图5是本申请实施例2的电子设备的一示意图。如图5所示，电子设备500包括道路识别装置501，道路识别装置501的结构和功能与实施例1中的记载相同，此处不再赘述。
在本申请实施例的一种实施方式中，电子设备500可以是各种类型的电子设备，例如，车载终端、移动终端或者计算机。
图6是本申请实施例2的电子设备的系统构成的一示意框图。如图6所示，电子设备600可以包括处理器601和存储器602；该存储器602耦合到该处理器601。该图是示例性的；还可以使用其它类型的结构，来补充或代替该结构，以实现电信功能或其它功能。
如图6所示，电子设备600还可以包括：输入单元603、显示器604、电源605。
在本申请实施例的一个实施方式中，实施例1所述的道路识别装置的功能可以被集成到处理器601中。其中，处理器601可以被配置为：对于车载摄像设备取得的图像，使用第一神经网络检测该图像中的车道线，得到该车道线的第一检测结果；对于该车载摄像设备取得的该图像，使用第二神经网络检测该图像中的车辆和/或道路方向标志，得到该车辆的第二检测结果和/或该道路方向标志的第三检测结果；根据该车辆的第二检测结果，对该车辆的显示方向进行分类，得到该车辆的显示方向的第一分类结果，和/或，根据该道路方向标志的第三检测结果，对该道路方向标志的方向进行分类，得到该道路方向标志的方向的第二分类结果；以及根据该车辆的显示方向的第一分类结果和该道路方向标志的方向的第二分类结果中的至少一个以及该车道线的第一检测结果，识别该图像中的前向车道和/或反向车道。
例如，处理器601还可以被配置为：使用该第二神经网络检测该图像中的路边参考物，得到该路边参考物的第四检测结果；以及根据该车道线的第一检测结果和该路边参考物的第四检测结果，识别该图像中的人行道和/或路侧带。
例如，该第一神经网络和该第二神经网络是通过深度学习方法训练得到的。
例如，该第一神经网络是LaneNet网络，该第二神经网络是特征金字塔网络(FPN)。
例如，该根据该车辆的第二检测结果，对该车辆的显示方向进行分类，得到该车辆的显示方向的第一分类结果，和/或，根据该道路方向标志的第三检测结果，对该道路方向标志的方向进行分类，得到该道路方向标志的方向的第二分类结果，包括：使用第一分类器对检测出的该车辆的显示方向进行分类，得到该第一分类结果，和/或，使用第二分类器对检测出的该道路方向标志的方向进行分类，得到该第二分类结果，该第一分类器和该第二分类器是相同的或不同的分类器，且该第一分类器和该第二分类器是通过深度学习方法训练得到的分类器。
例如，该根据该车辆的显示方向的第一分类结果和该道路方向标志的方向的第二分类结果中的至少一个以及该车道线的第一检测结果，识别该图像中的前向车道和/或反向车道，包括：当一个车道上存在显示方向为前的车辆或存在反向道路方向标志时，确定该车道为反向车道；和/或，当一个车道上存在显示方向为后的车辆或存在前向道路方向标志时，确定该车道为前向车道。
例如，该根据该车道线的第一检测结果和该路边参考物的第四检测结果，识别该图像中的人行道，包括：对于靠左侧行驶的车道，当在一个车道的左侧检测到路边参考物时，确定该图像中存在人行道；以及对于靠右侧行驶的车道，当在一个车道的右侧检测到路边参考物时，确定该图像中存在人行道。
例如，该根据该车道线的第一检测结果和该路边参考物的第四检测结果，识别该图像中的路侧带，包括：对于靠左侧行驶的车道，当在一个车道的左侧没有检测到路边参考物且在该车载摄像设备所在车辆的左侧存在至少一个车道线时，确定该图像中存在路侧带；以及对于靠右侧行驶的道路，当在一个车道的右侧没有检测到路边参考物且在该车载摄像设备所在车辆的右侧存在至少一个车道线时，确定该图像中存在路侧带
在本申请实施例的另一个实施方式中，实施例1所述的道路识别装置可以与该处理器601分开配置，例如可以将该道路识别装置配置为与处理器601连接的芯片，通过处理器601的控制来实现该道路识别装置的功能。
在本申请实施例的一种实施方式中，电子设备600也并不是必须要包括图6中所示的所有部件。
如图6所示，处理器601有时也称为控制器或操作控件，可以包括微处理器或其它处理器装置和/或逻辑装置，处理器601接收输入并控制电子设备600的各个部件的操作。
该存储器602，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。并且该处理器601可执行该存储器602存储的该程序，以实现信息存储或处理等。其它部件的功能与现有类似，此处不再赘述。电子设备600的各部件可以通过专用硬件、固件、软件或其结合来实现，而不偏离本申请的范围。
由上述实施例可知，根据车辆的显示方向的第一分类结果和道路方向标志的方向的第二分类结果中的至少一个以及车道线的第一检测结果，识别图像中的前向车道和/或反向车道，能够快速准确的识别多种类型的车道。
实施例3
本申请实施例还提供一种道路识别方法，该方法对应于实施例1的道路识别装置。图7是本申请实施例3的道路识别方法的一示意图。如图7所示，该方法包括：
步骤701：对于车载摄像设备取得的图像，使用第一神经网络检测该图像中的车道线，得到该车道线的第一检测结果；
步骤702：对于该车载摄像设备取得的该图像，使用第二神经网络检测该图像中的车辆和/或道路方向标志，得到该车辆的第二检测结果和/或该道路方向标志的第三检测结果；
步骤703：根据该车辆的第二检测结果，对该车辆的显示方向进行分类，得到该车辆的显示方向的第一分类结果，和/或，根据该道路方向标志的第三检测结果，对该道路方向标志的方向进行分类，得到该道路方向标志的方向的第二分类结果；以及
步骤704：根据该车辆的显示方向的第一分类结果和该道路方向标志的方向的第二分类结果中的至少一个以及该车道线的第一检测结果，识别该图像中的前向车道和/或反向车道。
在本申请实施例的一种实施方式中，上述各个步骤的具体实现方法与实施例1中的记载相同，此处不再重复。
在本申请实施例的一种实施方式中，不对步骤701和步骤702的执行顺序进行限制，其可以并行进行，也可以逐个执行。
由上述实施例可知，根据车辆的显示方向的第一分类结果和道路方向标志的方向的第二分类结果中的至少一个以及车道线的第一检测结果，识别图像中的前向车道和/或反向车道，能够快速准确的识别多种类型的车道。
本申请实施例还提供一种计算机可读程序，其中当在道路识别装置或电子设备中执行所述程序时，所述程序使得计算机在所述道路识别装置或电子设备中执行实施例3所述的道路识别方法。
本申请实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在道路识别装置或电子设备中执行实施例3所述的道路识别方法。
结合本申请实施例描述的道路识别装置或电子设备中执行道路识别方法可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图1中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图7所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，如果电子设备采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。
针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本申请进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本申请保护范围的限制。本领域技术人员可以根据本申请的精神和原理对本申请做出各种变型和修改，这些变型和修改也在本申请的范围内。
本申请实施例还公开下述的附记：
1、一种道路识别装置，所述装置包括：
第一检测单元，其对于车载摄像设备取得的图像，使用第一神经网络检测所述图像中的车道线，得到所述车道线的第一检测结果；
第二检测单元，其对于所述车载摄像设备取得的所述图像，使用第二神经网络检测所述图像中的车辆和/或道路方向标志，得到所述车辆的第二检测结果和/或所述道路方向标志的第三检测结果；
分类单元，其根据所述车辆的第二检测结果，对所述车辆的显示方向进行分类，得到所述车辆的显示方向的第一分类结果，和/或，根据所述道路方向标志的第三检测结果，对所述道路方向标志的方向进行分类，得到所述道路方向标志的方向的第二分类结果；以及
第一识别单元，其根据所述车辆的显示方向的第一分类结果和所述道路方向标志的方向的第二分类结果中的至少一个以及所述车道线的第一检测结果，识别所述图像中的前向车道和/或反向车道。
2、根据附记1所述的装置，其中，所述装置还包括：
第三检测单元，其使用所述第二神经网络检测所述图像中的路边参考物，得到所述路边参考物的第四检测结果；以及
第二识别单元，其根据所述车道线的第一检测结果和所述路边参考物的第四检测结果，识别所述图像中的人行道和/或路侧带。
3、根据附记1所述的装置，其中，
所述第一神经网络和所述第二神经网络是通过深度学习方法训练得到的。
4、根据附记3所述的装置，其中，
所述第一神经网络是LaneNet网络，所述第二神经网络是特征金字塔网络(FPN)。
5、根据附记1所述的装置，其中，
所述分类单元使用第一分类器对检测出的所述车辆的显示方向进行分类，得到所述第一分类结果，和/或，使用第二分类器对检测出的所述道路方向标志的方向进行分类，得到所述第二分类结果，
所述第一分类器和所述第二分类器是相同的或不同的分类器，且所述第一分类器和所述第二分类器是通过深度学习方法训练得到的分类器。
6、根据附记1所述的装置，其中，
所述第一识别单元当一个车道上存在显示方向为前的车辆或存在反向道路方向标志时，确定所述车道为反向车道；和/或，当一个车道上存在显示方向为后的车辆或存在前向道路方向标志时，确定所述车道为前向车道。
7、根据附记2所述的装置，其中，
所述第二识别单元对于靠左侧行驶的车道，当在一个车道的左侧检测到路边参考物时，确定所述图像中存在人行道；以及对于靠右侧行驶的车道，当在一个车道的右侧检测到路边参考物时，确定所述图像中存在人行道。
8、根据附记2所述的装置，其中，
所述第二识别单元对于靠左侧行驶的车道，当在一个车道的左侧没有检测到路边参考物且在所述车载摄像设备所在车辆的左侧存在至少一个车道线时，确定所述图像中存在路侧带；以及对于靠右侧行驶的道路，当在一个车道的右侧没有检测到路边参考物且在所述车载摄像设备所在车辆的右侧存在至少一个车道线时，确定所述图像中存在路侧带。
9、一种电子设备，所述电子设备包括根据附记1所述的装置。
10、一种道路识别方法，所述方法包括：
对于车载摄像设备取得的图像，使用第一神经网络检测所述图像中的车道线，得到所述车道线的第一检测结果；
对于所述车载摄像设备取得的所述图像，使用第二神经网络检测所述图像中的车辆和/或道路方向标志，得到所述车辆的第二检测结果和/或所述道路方向标志的第三检测结果；
根据所述车辆的第二检测结果，对所述车辆的显示方向进行分类，得到所述车辆的显示方向的第一分类结果，和/或，根据所述道路方向标志的第三检测结果，对所述道路方向标志的方向进行分类，得到所述道路方向标志的方向的第二分类结果；以及
根据所述车辆的显示方向的第一分类结果和所述道路方向标志的方向的第二分类结果中的至少一个以及所述车道线的第一检测结果，识别所述图像中的前向车道和/或反向车道。
11、根据附记10所述的方法，其中，所述方法还包括：
使用所述第二神经网络检测所述图像中的路边参考物，得到所述路边参考物的第四检测结果；以及
根据所述车道线的第一检测结果和所述路边参考物的第四检测结果，识别所述图像中的人行道和/或路侧带。
12、根据附记10所述的方法，其中，
所述第一神经网络和所述第二神经网络是通过深度学习方法训练得到的。
13、根据附记12所述的方法，其中，
所述第一神经网络是LaneNet网络，所述第二神经网络是特征金字塔网络(FPN)。
14、根据附记10所述的方法，其中，所述根据所述车辆的第二检测结果，对所述车辆的显示方向进行分类，得到所述车辆的显示方向的第一分类结果，和/或，根据所述道路方向标志的第三检测结果，对所述道路方向标志的方向进行分类，得到所述道路方向标志的方向的第二分类结果，包括：
使用第一分类器对检测出的所述车辆的显示方向进行分类，得到所述第一分类结果，和/或，使用第二分类器对检测出的所述道路方向标志的方向进行分类，得到所述第二分类结果，
所述第一分类器和所述第二分类器是相同的或不同的分类器，且所述第一分类器和所述第二分类器是通过深度学习方法训练得到的分类器。
15、根据附记10所述的方法，其中，所述根据所述车辆的显示方向的第一分类结果和所述道路方向标志的方向的第二分类结果中的至少一个以及所述车道线的第一检测结果，识别所述图像中的前向车道和/或反向车道，包括：
当一个车道上存在显示方向为前的车辆或存在反向道路方向标志时，确定所述车道为反向车道；和/或，
当一个车道上存在显示方向为后的车辆或存在前向道路方向标志时，确定所述车道为前向车道。
16、根据附记11所述的方法，其中，所述根据所述车道线的第一检测结果和所述路边参考物的第四检测结果，识别所述图像中的人行道，包括：
对于靠左侧行驶的车道，当在一个车道的左侧检测到路边参考物时，确定所述图像中存在人行道；以及
对于靠右侧行驶的车道，当在一个车道的右侧检测到路边参考物时，确定所述图像中存在人行道。
17、根据附记11所述的方法，其中，所述根据所述车道线的第一检测结果和所述路边参考物的第四检测结果，识别所述图像中的路侧带，包括：
对于靠左侧行驶的车道，当在一个车道的左侧没有检测到路边参考物且在所述车载摄像设备所在车辆的左侧存在至少一个车道线时，确定所述图像中存在路侧带；以及
对于靠右侧行驶的道路，当在一个车道的右侧没有检测到路边参考物且在所述车载摄像设备所在车辆的右侧存在至少一个车道线时，确定所述图像中存在路侧带。
Claims (10)
1.一种道路识别装置，所述装置包括：
第一检测单元，其对于车载摄像设备取得的图像，使用第一神经网络检测所述图像中的车道线，得到所述车道线的第一检测结果；
第二检测单元，其对于所述车载摄像设备取得的所述图像，使用第二神经网络检测所述图像中的车辆和/或道路方向标志，得到所述车辆的第二检测结果和/或所述道路方向标志的第三检测结果；
分类单元，其根据所述车辆的第二检测结果，对所述车辆的显示方向进行分类，得到所述车辆的显示方向的第一分类结果，和/或，根据所述道路方向标志的第三检测结果，对所述道路方向标志的方向进行分类，得到所述道路方向标志的方向的第二分类结果；以及
第一识别单元，其根据所述车辆的显示方向的第一分类结果和所述道路方向标志的方向的第二分类结果中的至少一个以及所述车道线的第一检测结果，识别所述图像中的前向车道和/或反向车道。
2.根据权利要求1所述的装置，其中，所述装置还包括：
第三检测单元，其使用所述第二神经网络检测所述图像中的路边参考物，得到所述路边参考物的第四检测结果；以及
第二识别单元，其根据所述车道线的第一检测结果和所述路边参考物的第四检测结果，识别所述图像中的人行道和/或路侧带。
3.根据权利要求1所述的装置，其中，
所述第一神经网络和所述第二神经网络是通过深度学习方法训练得到的。
4.根据权利要求3所述的装置，其中，
所述第一神经网络是LaneNet网络，所述第二神经网络是特征金字塔网络。
5.根据权利要求1所述的装置，其中，
所述分类单元使用第一分类器对检测出的所述车辆的显示方向进行分类，得到所述第一分类结果，和/或，使用第二分类器对检测出的所述道路方向标志的方向进行分类，得到所述第二分类结果，
所述第一分类器和所述第二分类器是相同的或不同的分类器，且所述第一分类器和所述第二分类器是通过深度学习方法训练得到的分类器。
6.根据权利要求1所述的装置，其中，
所述第一识别单元当一个车道上存在显示方向为前的车辆或存在反向道路方向标志时，确定所述车道为反向车道；和/或，当一个车道上存在显示方向为后的车辆或存在前向道路方向标志时，确定所述车道为前向车道。
7.根据权利要求2所述的装置，其中，
所述第二识别单元对于靠左侧行驶的车道，当在一个车道的左侧检测到路边参考物时，确定所述图像中存在人行道；以及对于靠右侧行驶的车道，当在一个车道的右侧检测到路边参考物时，确定所述图像中存在人行道。
8.根据权利要求2所述的装置，其中，
所述第二识别单元对于靠左侧行驶的车道，当在一个车道的左侧没有检测到路边参考物且在所述车载摄像设备所在车辆的左侧存在至少一个车道线时，确定所述图像中存在路侧带；以及对于靠右侧行驶的道路，当在一个车道的右侧没有检测到路边参考物且在所述车载摄像设备所在车辆的右侧存在至少一个车道线时，确定所述图像中存在路侧带。
9.一种电子设备，所述电子设备包括根据权利要求1所述的装置。
10.一种道路识别方法，所述方法包括：
对于车载摄像设备取得的图像，使用第一神经网络检测所述图像中的车道线，得到所述车道线的第一检测结果；
对于所述车载摄像设备取得的所述图像，使用第二神经网络检测所述图像中的车辆和/或道路方向标志，得到所述车辆的第二检测结果和/或所述道路方向标志的第三检测结果；
根据所述车辆的第二检测结果，对所述车辆的显示方向进行分类，得到所述车辆的显示方向的第一分类结果，和/或，根据所述道路方向标志的第三检测结果，对所述道路方向标志的方向进行分类，得到所述道路方向标志的方向的第二分类结果；以及
根据所述车辆的显示方向的第一分类结果和所述道路方向标志的方向的第二分类结果中的至少一个以及所述车道线的第一检测结果，识别所述图像中的前向车道和/或反向车道。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010175094.1A CN113392680B (zh) | 2020-03-13 | 2020-03-13 | 道路识别装置及方法、电子设备 |
| JP2021020095A JP2021149951A (ja) | 2020-03-13 | 2021-02-10 | 道路認識装置及び方法、電子機器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010175094.1A CN113392680B (zh) | 2020-03-13 | 2020-03-13 | 道路识别装置及方法、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113392680A CN113392680A (zh) | 2021-09-14 |
| CN113392680B true CN113392680B (zh) | 2024-03-05 |
Family
ID=77615897
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010175094.1A Active CN113392680B (zh) | 2020-03-13 | 2020-03-13 | 道路识别装置及方法、电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2021149951A (zh) |
| CN (1) | CN113392680B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023187972A1 (ja) * | 2022-03-29 | 2023-10-05 | 本田技研工業株式会社 | 移動体の制御装置、移動体の制御方法、および記憶媒体 |
| WO2023188251A1 (ja) * | 2022-03-31 | 2023-10-05 | 本田技研工業株式会社 | 移動体の制御装置、移動体の制御方法、および記憶媒体 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017010464A (ja) * | 2015-06-25 | 2017-01-12 | 富士通株式会社 | 車線検出装置及び車線検出方法 |
| CN106708040A (zh) * | 2016-12-09 | 2017-05-24 | 重庆长安汽车股份有限公司 | 自动驾驶系统的传感器模块、自动驾驶系统及方法 |
| CN108734081A (zh) * | 2017-03-22 | 2018-11-02 | 福特全球技术公司 | 车辆车道方向检测 |
| CN109740469A (zh) * | 2018-12-24 | 2019-05-10 | 百度在线网络技术（北京）有限公司 | 车道线检测方法、装置、计算机设备和存储介质 |
| CN110723072A (zh) * | 2019-10-09 | 2020-01-24 | 卓尔智联(武汉)研究院有限公司 | 辅助驾驶方法、装置、计算机设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102010020330A1 (de) * | 2010-05-14 | 2011-11-17 | Conti Temic Microelectronic Gmbh | Verfahren zur Erkennung von Verkehrszeichen |
-
2020
- 2020-03-13 CN CN202010175094.1A patent/CN113392680B/zh active Active
-
2021
- 2021-02-10 JP JP2021020095A patent/JP2021149951A/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017010464A (ja) * | 2015-06-25 | 2017-01-12 | 富士通株式会社 | 車線検出装置及び車線検出方法 |
| CN106708040A (zh) * | 2016-12-09 | 2017-05-24 | 重庆长安汽车股份有限公司 | 自动驾驶系统的传感器模块、自动驾驶系统及方法 |
| CN108734081A (zh) * | 2017-03-22 | 2018-11-02 | 福特全球技术公司 | 车辆车道方向检测 |
| CN109740469A (zh) * | 2018-12-24 | 2019-05-10 | 百度在线网络技术（北京）有限公司 | 车道线检测方法、装置、计算机设备和存储介质 |
| CN110723072A (zh) * | 2019-10-09 | 2020-01-24 | 卓尔智联(武汉)研究院有限公司 | 辅助驾驶方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113392680A (zh) | 2021-09-14 |
| JP2021149951A (ja) | 2021-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109637151B (zh) | 一种高速公路应急车道违章行驶的识别方法 | |
| DE102016222592A1 (de) | Verkehrszeichenerkennungsvorrichtung und dazugehöriges eine Geschwindigkeitsbegrenzung bereitstellendes Verfahren | |
| CN113392680B (zh) | 道路识别装置及方法、电子设备 | |
| CN112163543A (zh) | 一种车辆违法占道的检测方法及系统 | |
| CN111144179A (zh) | 场景检测装置及方法 | |
| CN108932849B (zh) | 一种记录多台机动车低速行驶违法行为的方法及装置 | |
| US11482012B2 (en) | Method for driving assistance and mobile device using the method | |
| CN107610499A (zh) | 停车位状态的检测方法、检测装置和电子设备 | |
| CN113851017A (zh) | 一种基于路侧rsu的行人车辆识别预警多功能系统 | |
| CN111753634A (zh) | 交通事件检测方法和设备 | |
| CN113903008A (zh) | 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法 | |
| CN115393803A (zh) | 车辆违规检测方法、装置及系统、存储介质 | |
| WO2024098992A1 (zh) | 倒车检测方法及装置 | |
| CN114141022B (zh) | 应急车道占用行为检测方法、装置、电子设备及存储介质 | |
| CN111709286A (zh) | 车辆排序及etc交易方法、存储介质、工控机设备及etc系统 | |
| CN113994391B (zh) | 车辆通行提醒方法、装置及车载终端 | |
| CN113688653B (zh) | 道路中心线的识别装置及方法、电子设备 | |
| CN114693722B (zh) | 一种车辆行驶行为检测方法、检测装置及检测设备 | |
| JP3412013B2 (ja) | 障害物衝突防止支援システム | |
| CN115359443A (zh) | 交通事故检测方法和装置、电子设备和存储介质 | |
| CN115019263A (zh) | 交通监管模型的建立方法、交通监管系统及方法 | |
| CN113177443A (zh) | 一种基于图像视觉的智能识别道路交通违章的方法 | |
| Xu et al. | Comparison of early and late information fusion for multi-camera HOV lane enforcement | |
| CN112597945A (zh) | 车辆检测方法及装置 | |
| KR102618451B1 (ko) | 단속 기준 정보 표출 검증이 가능한 교통 시스템 및검증 정보 제공 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |