CN111950502B - 基于障碍对象的检测方法、装置及计算机设备 - Google Patents
基于障碍对象的检测方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN111950502B CN111950502B CN202010854042.7A CN202010854042A CN111950502B CN 111950502 B CN111950502 B CN 111950502B CN 202010854042 A CN202010854042 A CN 202010854042A CN 111950502 B CN111950502 B CN 111950502B
- Authority
- CN
- China
- Prior art keywords
- ground area
- obstacle object
- semantic segmentation
- motion compensation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 115
- 230000011218 segmentation Effects 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 49
- 230000015654 memory Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Algebra (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种基于障碍对象的检测方法、装置及计算机设备，涉及识别技术领域，缓解了障碍对象和非障碍对象的检测结果中产生较多难以去除的误检的技术问题。该方法包括：获取相机采集到的连续两帧的初始图像；基于地面区域类别和非地面区域类别对所述初始图像进行语义分割，得到语义分割结果，基于所述语义分割结果提取地面区域图像；对所述连续两帧的初始图像对应的所述地面区域图像进行运动补偿，得到运动补偿结果，基于所述运动补偿结果进行障碍对象检测，得到障碍对象检测结果。
Description
技术领域
本申请涉及识别技术领域，尤其是涉及一种基于障碍对象的检测方法、装置及计算机设备。
背景技术
在车辆行驶过程中，前方难免会出现障碍对象，例如，路障、行人、其他车辆等等。在自动驾驶车辆的行驶过程中，自动驾驶车辆需要成功避开这些障碍对象，或者，减速停止以避免与障碍对象发生摩擦甚至碰撞等情况。所以，车辆需要准确的识别检测出这些障碍对象。
目前的障碍对象检测方式是利用视觉几何方法对相机获取到的全部整张图像进行障碍对象检测。但是，这种方法极易导致检测结果中产生较多数量的误检并且难以对其去除，从而影响到障碍对象检测结果。
发明内容
本发明的目的在于提供一种基于障碍对象的检测方法、装置及计算机设备，以缓解障碍对象和非障碍对象的检测结果中产生较多难以去除的误检的技术问题。
第一方面，本申请实施例提供了一种基于障碍对象的检测方法，所述方法包括：
获取相机采集到的连续两帧的初始图像；
基于地面区域类别和非地面区域类别对所述初始图像进行语义分割，得到语义分割结果，基于所述语义分割结果提取地面区域图像；
对所述连续两帧的初始图像对应的所述地面区域图像进行运动补偿，得到运动补偿结果，基于所述运动补偿结果进行障碍对象检测，得到障碍对象检测结果。
在一个可能的实现中，所述相机为鱼眼相机和/或广角相机。
在一个可能的实现中，基于所述语义分割结果提取地面区域图像的步骤，包括：
根据所述语义分割结果中每个像素点的类别，确定所述像素点的标识；
根据所述像素点的标识从所述语义分割结果中提取地面区域图像。
在一个可能的实现中，根据所述语义分割结果中每个像素点的类别，确定所述像素点的标识的步骤，包括：
基于所述语义分割结果中每个像素点对应的多个维度像素值中的最大像素值，确定所述像素点所属类别；
根据所述像素点所属类别确定所述像素点的标识。
在一个可能的实现中，所述像素点的标识为0或1；其中，0用于表示所述像素点属于非地面区域，1用于表示所述像素点属于地面区域；
根据所述像素点的标识从所述语义分割结果中提取地面区域图像的步骤，包括：
根据所述标识得到所述语义分割结果对应的二值图像，并从所述二值图像中提取标识为1的地面区域图像。
在一个可能的实现中，对所述连续两帧的初始图像对应的所述地面区域图像进行运动补偿的步骤，包括：
将所述初始图像转换为俯视图像；
基于所述语义分割结果和所述俯视图像，提取地面区域的目标俯视图像；
对所述连续两帧的初始图像对应的连续两帧的所述目标俯视图像进行运动补偿，得到运动补偿参数。
在一个可能的实现中，基于所述运动补偿结果进行障碍对象检测，得到障碍对象检测结果的步骤，包括：
根据所述运动补偿参数进行障碍对象求解，得到障碍对象检测结果，所述障碍对象检测结果包含障碍对象图像。
第二方面，提供了一种基于障碍对象的检测装置，包括：
获取模块，用于获取相机采集到的连续两帧的初始图像；
分割模块，用于基于地面区域类别和非地面区域类别对所述初始图像进行语义分割，得到语义分割结果，基于所述语义分割结果提取地面区域图像；
检测模块，用于对所述连续两帧的初始图像对应的所述地面区域图像进行运动补偿，得到运动补偿结果，基于所述运动补偿结果进行障碍对象检测，得到障碍对象检测结果。
第三方面，本申请实施例又提供了一种计算机设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的第一方面所述方法。
第四方面，本申请实施例又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述的第一方面所述方法。
本申请实施例带来了以下有益效果：
本申请实施例提供的一种基于障碍对象的检测方法、装置及计算机设备，能够获取相机采集到的连续两帧的初始图像，然后，基于地面区域类别和非地面区域类别对初始图像进行语义分割从而得到语义分割结果，以基于语义分割结果提取地面区域图像，之后，对连续两帧的初始图像对应的地面区域图像进行运动补偿从而得到运动补偿结果，再基于运动补偿结果进行障碍对象检测从而得到障碍对象检测结果，本方案中，通过地面区域类别和非地面区域类别的语义分割结果提取出地面区域图像，并只针对地面区域进行运动补偿，达到了只针对地面区域检测障碍对象，进而降低了非地面区域误检的出现概率，以得到误检更少的障碍对象检测结果，从而缓解了障碍对象和非障碍对象的检测结果中产生较多难以去除的误检的技术问题。
为使本申请的上述目的、特征以及优点能更加明显易懂，下文特举较佳实施例，并配合所附附图，作详细的说明如下。
附图说明
为了更清楚地说明本申请具体实施方式，或者现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用到的附图作简单的介绍，显而易见地的，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本申请实施例提供的种基于障碍对象的检测方法的流程示意图；
图2为本申请实施例提供的种基于障碍对象的检测方法的另一流程示意图；
图3为本申请实施例提供的一种基于障碍对象的检测装置的结构示意图；
图4为示出了本申请实施例所提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案以及优点更加清楚，下面将结合附图对本申请技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
本申请实施例中所提到的术语“包括”与“具有”及它们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括其他没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
目前的基于障碍对象的检测方法是仅采用视觉几何方法对鱼眼相机的全部整张图像整体进行障碍对象检测，在障碍对象检测过程中，非地面区域的障碍对象也被检测识别进来，导致得到的障碍对象和非障碍对象结果中产生误检，而非障碍对象区域的误检较多也难以去除，因此会影响障碍对象检测结果。
基于此，本申请实施例提供了一种基于障碍对象的检测方法、装置及计算机设备，通过该方法可以缓解障碍对象和非障碍对象的检测结果中产生较多难以去除的误检的技术问题。
下面结合附图对本发明实施例进行进一步地介绍。
图1为本申请实施例提供的一种基于障碍对象的检测方法的流程示意图。如图1所示，该方法包括：
步骤S110，获取相机采集到的连续两帧的初始图像。
其中，初始图像可以为鱼眼图像，也可以为全景图像。示例性的，障碍对象检测系统的输入为连续两帧的鱼眼图像，该图像由安装在车体上的鱼眼相机采集而得。
步骤S120，基于地面区域类别和非地面区域类别对初始图像进行语义分割，得到语义分割结果，基于语义分割结果提取地面区域图像。
本步骤中，障碍对象检测系统可以对鱼眼图像进行深度学习语义分割，从而得到较为精确的语义分割结果。
步骤S130，对连续两帧的初始图像对应的地面区域图像进行运动补偿，得到运动补偿结果，基于运动补偿结果进行障碍对象检测，得到障碍对象检测结果。
本步骤中，障碍对象检测系统通过视觉几何法对连续两帧的地面区域图像进行障碍对象检测从而得到障碍对象检测结果。
通过获取相机采集到的连续两帧的初始图像，然后，基于地面区域类别和非地面区域类别对初始图像进行语义分割从而得到语义分割结果，以基于语义分割结果提取地面区域图像，之后，对连续两帧的初始图像对应的地面区域图像进行运动补偿从而得到运动补偿结果，再基于运动补偿结果进行障碍对象检测从而得到障碍对象检测结果，实现了语义分割和视觉几何的结合，使运动补偿过程只针对地面区域进行补偿，达到了只针对地面区域检测障碍对象，从而降低了非地面区域误检的出现概率，以得到误检更少的障碍对象检测结果。
本申请实施例中，为了降低现有检测结果中的误检出现概率，引入了基于深度学习的语义分割过程，在语义分割结果中只提取地面区域的分割结果，即先对相机采集到的图像进行语义分割，将地面区域通过语义分割过程切分出来，以去除非地面区域，再将语义分割结果中的地面区域应用至视觉几何方法中，使视觉几何方法中的运动补偿过程只针对地面区域进行运动补偿，实现了只针对地面区域识别检测障碍对象，降低了非地面区域误检的出现概率，以得到误检更少的障碍对象检测结果，使地面障碍对象检测结果更加精确。
下面对上述步骤进行详细介绍。
在一些实施例中，上述相机可以为任意类型的相机，获取到的初始图像可以为多种不同种类的图像。作为一个示例，相机为鱼眼相机和/或广角相机。
在实际应用中，鱼眼相机相比普通的平面相机的各方面效果较差，而且平面相机的改进较为普遍而鱼眼相机的改进较少，本申请实施例可以限定主要是针对鱼眼相机的改进方法。因此，本申请实施例以上述相机为鱼眼相机为例进行说明。
示例性的，如图2所示，障碍对象检测系统获取到的初始图像为鱼眼图像，本申请实施例提供的方法可以作为一种用于鱼眼相机的基于障碍对象的检测方法。
在一些实施例中，上述步骤S120中基于语义分割结果提取地面区域图像的过程可以包括如下步骤：
步骤a)，根据语义分割结果中每个像素点的类别，确定像素点的标识；
步骤b)，根据像素点的标识从语义分割结果中提取地面区域图像。
其中，像素点的标识可以用于表示该像素点的类别，例如，标识该像素点属于地面区域，或标识该像素点属于非地面区域。从而便于障碍对象检测系统根据像素点上地面区域或非地面区域的标识来对地面区域的图像进行提取。
基于上述步骤a)和步骤b)，上述步骤a)可以包括如下步骤：
步骤c)，基于语义分割结果中每个像素点对应的多个维度像素值中的最大像素值，确定像素点所属类别；
步骤d)，根据像素点所属类别确定像素点的标识。
本申请实施例中，在得到语义分割结果中每个像素点的类别后，对于每一个像素点，根据像素点对应的多个维度像素值中的最大像素值确定该像素点所属类别。示例性的，得到分割结果后，确定像素点(x，y)的概率为V，V＝{v1,v2,...,vn}，Vfinal＝max(V)。
通过根据语义分割结果中每个像素点对应的多个维度像素值中的最大像素值来确定像素点所属类别，能够使像素点所属类别的确定结果更加准确。
基于上述步骤a)和步骤b)，像素点的标识为0或1；其中，0用于表示像素点属于非地面区域，1用于表示像素点属于地面区域；上述步骤b)可以包括如下步骤：
步骤e)，根据标识得到语义分割结果对应的二值图像，并从二值图像中提取标识为1的地面区域图像。
障碍对象检测系统可以对像素点为地面区域的点置为1，其他区域的像素点置为0。如图2所示，障碍对象检测系统可以将0和1的二值图像作为一个mask，记为Imask。具体的，障碍对象检测系统可以将提取出的地面区域分割结果做mask，将mask结合现有的视觉几何方法中，以去除非地面区域，只针对地面区域(mask)进行障碍对象识别检测，以大幅度减少误检。
在一些实施例中，上述步骤S130中对连续两帧的初始图像对应的地面区域图像进行运动补偿的过程可以包括如下步骤：
步骤f)，将初始图像转换为俯视图像；
步骤g)，基于语义分割结果和俯视图像，提取地面区域的目标俯视图像；
步骤h)，对连续两帧的初始图像对应的连续两帧的目标俯视图像进行运动补偿，得到运动补偿参数。
如图2所示，在得到语义分割结果时，可以先将语义分割结果图像转换为俯视图像，对于初始图像部分，也可以将其转换为俯视图像，以便于从俯视图像的角度进行视觉几何运动补偿。
示例性的，可以对运动补偿参数(wy,tx,tz)进行初始化；将鱼眼图像输入(的视角)全部转换为俯视图像(的视角)，记为Itop；取地面区域的俯视图像，记为Iin，Iin＝Itop×Imask；对于连续2帧的俯视图像，记为Iin0和Iin1；之后划分子块，即图像划分为m×m大小的子块，假设m＝16；去除mask区域外的子块；取每一子块的中心点为(x，y)，得到Iin1的中心点为(xi，yi)∈Iim1；根据运动补偿参数及Iin1上的中心点，计算运动补偿，得到Iim1中每一个子块向Iim0的补偿图Itrans；在划分子块完成后，求解Itrans上的每一子块和在Iimo上对应子块的sum squared difference(SSD)；将找到的SSD最小的子块对应的wy，tx，tz，作为运动补偿参数。
本申请实施例中，整个图像中障碍对象检测的过程可以是利用俯视图检测，相比原来利用平视视角的检测过程，能够使障碍对象测效果更佳。
基于上述步骤f)、步骤g)和步骤h)，上述步骤S130中基于运动补偿结果进行障碍对象检测，得到障碍对象检测结果的过程可以包括如下步骤：
步骤i)，根据运动补偿参数进行障碍对象求解，得到障碍对象检测结果，障碍对象检测结果包含障碍对象图像。
如图2所示，障碍对象检测系统可以根据运动补偿参数进行障碍对象求解，从而得到障碍对象图像。例如，根据运动补偿参数得到Iin1中每一个子块向Iin0的补偿图全图Iesti；Iesti与Iin0两图求差；Idiff＝|Iesti-Iim0|；设阈值thresh，则：
从而能够会更加精确的区分出图像中地面区域与障碍对象区域，使障碍对象识别检测结果更加精确。
图3提供了一种基于障碍对象的检测装置的结构示意图。如图3所示，基于障碍对象的检测装置300包括：
获取模块301，用于获取相机采集到的连续两帧的初始图像；
分割模块302，用于基于地面区域类别和非地面区域类别对初始图像进行语义分割，得到语义分割结果，基于语义分割结果提取地面区域图像；
检测模块303，用于对连续两帧的初始图像对应的地面区域图像进行运动补偿，得到运动补偿结果，基于运动补偿结果进行障碍对象检测，得到障碍对象检测结果。
在一些实施例中，相机为鱼眼相机和/或广角相机。
在一些实施例中，分割模块302具体用于：
根据语义分割结果中每个像素点的类别，确定像素点的标识；
根据像素点的标识从语义分割结果中提取地面区域图像。
在一些实施例中，分割模块302还用于：
基于语义分割结果中每个像素点对应的多个维度像素值中的最大像素值，确定像素点所属类别；
根据像素点所属类别确定像素点的标识。
在一些实施例中，像素点的标识为0或1；其中，0用于表示像素点属于非地面区域，1用于表示像素点属于地面区域；分割模块302还用于：
根据标识得到语义分割结果对应的二值图像，并从二值图像中提取标识为1的地面区域图像。
在一些实施例中，检测模块303具体用于：
将初始图像转换为俯视图像；
基于语义分割结果和俯视图像，提取地面区域的目标俯视图像；
对连续两帧的初始图像对应的连续两帧的目标俯视图像进行运动补偿，得到运动补偿参数。
在一些实施例中，检测模块303还用于：
根据运动补偿参数进行障碍对象求解，得到障碍对象检测结果，障碍对象检测结果包含障碍对象图像。
本申请实施例提供的基于障碍对象的检测装置，与上述实施例提供的基于障碍对象的检测方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
如图4所示，本申请实施例提供的一种计算机设备400，包括：处理器401、存储器402和总线，所述存储器402存储有所述处理器401可执行的机器可读指令，当计算机设备运行时，所述处理器401与所述存储器402之间通过总线通信，所述处理器401执行所述机器可读指令，以执行如上述基于障碍对象的检测方法的步骤。
具体地，上述存储器402和处理器401能够为通用的存储器和处理器，这里不做具体限定，当处理器401运行存储器402存储的计算机程序时，能够执行上述基于障碍对象的检测方法。
处理器401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器402，处理器401读取存储器402中的信息，结合其硬件完成上述方法的步骤。
对应于上述基于障碍对象的检测方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述的基于障碍对象的检测方法的步骤。
本申请实施例所提供的基于障碍对象的检测装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同。本申请实施例中，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置以及模块的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，所揭露装置以及方法，可以通过其它的方式实现。以上所描述的装置、设备等实施例仅仅是示意性的，如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性、机械或者其它的形式。
又例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法以及计算机程序产品的可能实现的体系架构、功能以及操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或也可以用专用硬件与计算机指令的组合来实现。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包含若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述基于障碍对象的检测方法的全部或部分步骤。前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是，以上所述实施例仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。所以，本申请的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种基于障碍对象的检测方法，其特征在于，所述方法包括：
获取相机采集到的连续两帧的初始图像；
基于地面区域类别和非地面区域类别对所述初始图像进行语义分割，得到语义分割结果，基于所述语义分割结果提取地面区域图像；
对所述连续两帧的初始图像对应的所述地面区域图像进行运动补偿，得到运动补偿结果，基于所述运动补偿结果进行障碍对象检测，得到障碍对象检测结果；
对所述连续两帧的初始图像对应的所述地面区域图像进行运动补偿的步骤，包括：
将所述初始图像转换为俯视图像；
基于所述语义分割结果和所述俯视图像，提取地面区域的目标俯视图像；
对所述连续两帧的初始图像对应的连续两帧的所述目标俯视图像进行运动补偿，得到运动补偿参数；
基于所述运动补偿结果进行障碍对象检测，得到障碍对象检测结果的步骤，包括：
根据所述运动补偿参数进行障碍对象求解，得到障碍对象检测结果，所述障碍对象检测结果包含障碍对象图像。
2.根据权利要求1所述的基于障碍对象的检测方法，其特征在于，所述相机为鱼眼相机和/或广角相机。
3.根据权利要求1或2所述的基于障碍对象的检测方法，其特征在于，基于所述语义分割结果提取地面区域图像的步骤，包括：
根据所述语义分割结果中每个像素点的类别，确定所述像素点的标识；
根据所述像素点的标识从所述语义分割结果中提取地面区域图像。
4.根据权利要求3所述的基于障碍对象的检测方法，其特征在于，根据所述语义分割结果中每个像素点的类别，确定所述像素点的标识的步骤，包括：
基于所述语义分割结果中每个像素点对应的多个维度像素值中的最大像素值，确定所述像素点所属类别；
根据所述像素点所属类别确定所述像素点的标识。
5.根据权利要求3所述的基于障碍对象的检测方法，其特征在于，所述像素点的标识为0或1；其中，0用于表示所述像素点属于非地面区域，1用于表示所述像素点属于地面区域；
根据所述像素点的标识从所述语义分割结果中提取地面区域图像的步骤，包括：
根据所述标识得到所述语义分割结果对应的二值图像，并从所述二值图像中提取标识为1的地面区域图像。
6.一种基于障碍对象的检测装置，其特征在于，包括：
获取模块，用于获取相机采集到的连续两帧的初始图像；
分割模块，用于基于地面区域类别和非地面区域类别对所述初始图像进行语义分割，得到语义分割结果，基于所述语义分割结果提取地面区域图像；
检测模块，用于对所述连续两帧的初始图像对应的所述地面区域图像进行运动补偿，得到运动补偿结果，基于所述运动补偿结果进行障碍对象检测，得到障碍对象检测结果；
检测模块具体用于：
将初始图像转换为俯视图像；
基于语义分割结果和俯视图像，提取地面区域的目标俯视图像；
对连续两帧的初始图像对应的连续两帧的目标俯视图像进行运动补偿，得到运动补偿参数；
检测模块还用于：
根据运动补偿参数进行障碍对象求解，得到障碍对象检测结果，障碍对象检测结果包含障碍对象图像。
7.一种计算机设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至5任一项所述的方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求1至5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010854042.7A CN111950502B (zh) | 2020-08-21 | 2020-08-21 | 基于障碍对象的检测方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010854042.7A CN111950502B (zh) | 2020-08-21 | 2020-08-21 | 基于障碍对象的检测方法、装置及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111950502A CN111950502A (zh) | 2020-11-17 |
| CN111950502B true CN111950502B (zh) | 2024-04-16 |
Family
ID=73359962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010854042.7A Active CN111950502B (zh) | 2020-08-21 | 2020-08-21 | 基于障碍对象的检测方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111950502B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101408978A (zh) * | 2008-11-27 | 2009-04-15 | 东软集团股份有限公司 | 一种基于单目视觉的障碍物检测方法及装置 |
| CN101419667A (zh) * | 2008-12-15 | 2009-04-29 | 东软集团股份有限公司 | 识别图像中障碍物的方法和装置 |
| CN101966846A (zh) * | 2009-05-08 | 2011-02-09 | 通用汽车环球科技运作公司 | 通过物体检测优化的检测车辆行驶的畅通路径的方法 |
| CN203142524U (zh) * | 2013-03-26 | 2013-08-21 | 厦门歌乐电子企业有限公司 | 路面障碍物识别系统 |
| CN106681353A (zh) * | 2016-11-29 | 2017-05-17 | 南京航空航天大学 | 基于双目视觉与光流融合的无人机避障方法及系统 |
| CN110471058A (zh) * | 2018-05-09 | 2019-11-19 | 福特全球技术公司 | 用于拖车属性的自动检测的系统和方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103984037B (zh) * | 2014-04-30 | 2017-07-28 | 深圳市墨克瑞光电子研究院 | 基于视觉的移动机器人障碍物检测方法和装置 |
| US20180150703A1 (en) * | 2016-11-29 | 2018-05-31 | Autoequips Tech Co., Ltd. | Vehicle image processing method and system thereof |
-
2020
- 2020-08-21 CN CN202010854042.7A patent/CN111950502B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101408978A (zh) * | 2008-11-27 | 2009-04-15 | 东软集团股份有限公司 | 一种基于单目视觉的障碍物检测方法及装置 |
| WO2010060287A1 (zh) * | 2008-11-27 | 2010-06-03 | 东软集团股份有限公司 | 一种基于单目视觉的障碍物检测方法及装置 |
| CN101419667A (zh) * | 2008-12-15 | 2009-04-29 | 东软集团股份有限公司 | 识别图像中障碍物的方法和装置 |
| CN101966846A (zh) * | 2009-05-08 | 2011-02-09 | 通用汽车环球科技运作公司 | 通过物体检测优化的检测车辆行驶的畅通路径的方法 |
| CN203142524U (zh) * | 2013-03-26 | 2013-08-21 | 厦门歌乐电子企业有限公司 | 路面障碍物识别系统 |
| CN106681353A (zh) * | 2016-11-29 | 2017-05-17 | 南京航空航天大学 | 基于双目视觉与光流融合的无人机避障方法及系统 |
| CN110471058A (zh) * | 2018-05-09 | 2019-11-19 | 福特全球技术公司 | 用于拖车属性的自动检测的系统和方法 |
Non-Patent Citations (4)
| Title |
|---|
| Obstacle Detection Based on Multiple Cues Fusion from Monocular Camera;Liu, W 等;《2013 16TH INTERNATIONAL IEEE CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS(ITSC)》;640-645 * |
| 一种深度图像障碍物检测新方法;王腾 等;《测绘科学》(第06期);104-111 * |
| 基于机器视觉的车道安全预警算法的研究与实现;杨丽;《中国优秀硕士学位论文全文数据库信息科技辑》(第05期);I138-1204 * |
| 基于激光雷达的障碍物检测和跟踪算法的研究与实现;胡杰;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》(第07期);C035-335 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111950502A (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112528878B (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
| Wu et al. | Lane-mark extraction for automobiles under complex conditions | |
| Marzougui et al. | A lane tracking method based on progressive probabilistic Hough transform | |
| Chen et al. | Structure-adaptive fuzzy estimation for random-valued impulse noise suppression | |
| CN109977776B (zh) | 一种车道线检测方法、装置及车载设备 | |
| JP5982026B2 (ja) | 多範囲オブジェクト検出装置および方法 | |
| CN111047615B (zh) | 基于图像的直线检测方法、装置以及电子设备 | |
| CN109492642B (zh) | 车牌识别方法、装置、计算机设备及存储介质 | |
| CN109447117B (zh) | 双层车牌识别方法、装置、计算机设备及存储介质 | |
| WO2023124387A1 (zh) | 摄像装置遮挡检测方法、装置、电子设备、存储介质及计算机程序产品 | |
| CN111079613A (zh) | 姿势识别方法和装置、电子设备及存储介质 | |
| Ashoori-Lalimi et al. | An efficient method for vehicle license plate detection in complex scenes | |
| EP3726421A2 (en) | Recognition method and apparatus for false detection of an abandoned object and image processing device | |
| CN117496560A (zh) | 一种基于多维向量的指纹纹线识别方法及装置 | |
| CN113542868A (zh) | 视频关键帧选取方法、装置、电子设备、存储介质 | |
| CN111950502B (zh) | 基于障碍对象的检测方法、装置及计算机设备 | |
| JP7283081B2 (ja) | 付着物検出装置および付着物検出方法 | |
| CN111242051A (zh) | 一种车辆识别优化方法、装置及存储介质 | |
| KR101976952B1 (ko) | 움직임 벡터를 이용한 객체 검출 시스템 및 그 방법 | |
| CN113239738B (zh) | 一种图像的模糊检测方法及模糊检测装置 | |
| CN110765875A (zh) | 交通目标的边界检测方法、设备及装置 | |
| CN111950501B (zh) | 障碍物检测方法、装置以及电子设备 | |
| CN111275045B (zh) | 图像的主体识别方法、装置、电子设备和介质 | |
| CN112967321A (zh) | 运动目标的检测方法、装置、终端设备及存储介质 | |
| Bhope et al. | Use of image processing in lane departure warning system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |