CN109581358B - 障碍物的识别方法、装置及存储介质 - Google Patents
障碍物的识别方法、装置及存储介质 Download PDFInfo
- Publication number
- CN109581358B CN109581358B CN201811564404.8A CN201811564404A CN109581358B CN 109581358 B CN109581358 B CN 109581358B CN 201811564404 A CN201811564404 A CN 201811564404A CN 109581358 B CN109581358 B CN 109581358B
- Authority
- CN
- China
- Prior art keywords
- obstacle
- radar
- distance
- data
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000000007 visual effect Effects 0.000 claims abstract description 288
- 238000001514 detection method Methods 0.000 claims description 70
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004888 barrier function Effects 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9323—Alternative operation using light waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
- G01S2013/93271—Sensor installation details in the front of the vehicles
Abstract
本发明公开了一种障碍物的识别方法、装置及存储介质,属于智能汽车技术领域。该方法包括:通过智能汽车安装的至少一个摄像头和安装的至少一个毫米波雷达检测智能汽车行驶方向上是否存在障碍物;当检测到智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定障碍物满足障碍物识别条件,至少一个雷达数据距离为通过至少一个毫米波雷达获取的至少一个雷达数据中的障碍物与智能汽车之间的距离,至少一个视距数据距离为至少一个摄像头获取的至少一个视觉数据中的障碍物与智能汽车之间的距离;当障碍物满足障碍物识别条件时,识别障碍物。
Description
技术领域
本发明涉及智能汽车技术领域,特别涉及一种障碍物的识别方法、装置及存储介质。
背景技术
随着技术的发展,智能汽车智能化的程度越来越高。智能汽车给人们带来便利和驾驶体验的同时,汽车安全性的问题越显突出。其中,智能汽车中的自动驾驶系统可以支持智能汽车进行自动驾驶,在智能汽车自动驾驶的过程中,需要智能汽车有效识别障碍物,比保证智能汽车在自动驾驶过程中的安全性。
目前,可以通过安装在智能汽车上的摄像头获取视觉数据,根据获取的视觉数据,确定智能汽车的行驶方向上是否存在障碍物。但是,由于有时候摄像头可能会因光线、异物遮挡等原因无法识别障碍物,或者识别障碍物可靠性差,从而导致交通事故的发生。
发明内容
本发明实施例提供了一种障碍物的识别方法、装置及存储介质,用于解决相关技术中障碍物识别可靠性差,驾驶安全性低的问题。所述技术方案如下:
第一方面,提供了一种障碍物识别方法,所述方法包括:
通过智能汽车安装的至少一个摄像头和安装的至少一个毫米波雷达检测所述智能汽车行驶方向上是否存在障碍物;
当检测到所述智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定所述障碍物满足障碍物识别条件,所述至少一个雷达数据距离为通过所述至少一个毫米波雷达获取的至少一个雷达数据中的障碍物与所述智能汽车之间的距离,所述至少一个视距数据距离为所述至少一个摄像头获取的至少一个视觉数据中的障碍物与所述智能汽车之间的距离;
当所述障碍物满足障碍物识别条件时,识别所述障碍物。
可选地,所述至少一个摄像头包括第一采集距离的广角摄像头、第二采集距离的宽角摄像头和第三采集距离的窄角摄像头,所述至少一个毫米波雷达包括安装在所述智能汽车车头左侧的左侧毫米波雷达、安装在所述智能汽车车头右侧的右侧毫米波雷达和安装在所述智能汽车车头正前方的前向毫米波雷达;
所述通过智能汽车安装的至少一个摄像头和安装的至少一个毫米波雷达检测所述智能汽车行驶方向上是否存在障碍物,包括:
通过所述广角摄像头获取所述智能汽车行驶方向上当前车道和相邻车道的第一采集距离内的第一视觉数据,通过所述宽角摄像头获取所述当前车道和所述相邻车道的第二采集距离内的第二视觉数据,通过所述窄角摄像头获取所述当前车道和所述相邻车道的第三采集距离内的第三视觉数据,并通过所述左侧毫米波雷达获取所述智能汽车行驶方向的左前方车道区域的雷达数据,通过所述右侧毫米波雷达获取所述智能汽车行驶方向的右前方车道区域的雷达数据、通过所述前向毫米波雷达获取所述智能汽车行驶方向上当前车道区域的雷达数据;
从所述第一视觉数据、所述第二视觉数据、所述第三视觉数据、所述前向毫米波雷达获取的雷达数据、所述左侧毫米波雷达获取的雷达数据和所述右侧毫米波雷达中分别检测所述智能汽车行驶方向上是否存在障碍物。
可选地,所述当检测到所述智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定所述障碍物满足障碍物识别条件,包括:
当检测到所述智能汽车行驶方向上的左前方车道的第一检测区域内存在障碍物时,确定所述左侧毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间的第一雷达数据距离,以及所述广角摄像头获取的第一视觉数据中的障碍物与所述智能汽车之间的第一视觉数据距离;
当所述第一雷达数据距离和所述第一视觉数据距离均小于第一距离阈值时,确定所述第一雷达数据距离与所述第一视觉数据距离之间的第一差值;
当所述第一差值小于或等于第一差值阈值时,确定所述障碍物满足障碍物识别条件;
当所述第一雷达数据距离和所述第一视觉数据距离均大于或等于所述第一距离阈值且小于第二距离阈值时,确定前向毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间第二雷达数据距离,以及宽角摄像头采集的第二视觉数据中的障碍物与所述智能汽车之间的第二视觉数据距离;
确定所述第一雷达数据距离与所述第一视觉数据距离之间的第二差值,和/或所述第一雷达数据距离与所述第二视觉数据距离之间的第三差值,和/或所述第二雷达数据距离与所述第一视觉数据距离之间的第四差值,和/或所述第二雷达数据距离与所述第二视觉数据距离之间的第五差值;
当所述第二差值和/或所述第三差值和/或所述第四差值和/或所述第五差值小于或等于所述第一差值阈值时,确定所述障碍物满足障碍物识别条件。
可选地,所述当检测到所述智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定所述障碍物满足障碍物识别条件,包括:
当检测到所述智能汽车行驶方向上的当前车道的第一检测区域内存在障碍物时,确定前向毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间的第三雷达数据距离,以及宽角摄像头获取的第二视觉数据中的障碍物与所述智能汽车之间的的第三视觉数据距离;
当所述第三雷达数据距离和所述第三视觉数据距离均小于第一距离阈值时,确定所述第三雷达数据距离与所述第三视距数据距离之间的第六差值;
当所述第六差值小于或等于第一差值阈值时,确定所述障碍物满足障碍物识别条件;
当所述第三雷达数据距离和所述第三视觉数据距离均大于或等于所述第一距离阈值且小于第二距离阈值时,确定左侧毫米波雷达或右侧毫米波雷达获取的雷达数据的障碍物与所述智能汽车之间的第四雷达数据距离,以及广角摄像头采集的第一视觉数据中的障碍物与所述智能汽车之间的第四视觉数据距离;
确定所述第三雷达数据距离与所述第三视觉数据距离之间的第七差值,所述第三雷达数据距离与所述第四视觉数据距离之间的第八差值,和/或所述第四雷达数据距离与所述第三视觉数据距离之间的第九差值,和/或所述第四雷达数据距离与所述第四视觉数据距离之间的第十差值;
当所述第七差值和/或所述第八差值和/或所述第九差值和/或所述第十差值小于或等于所述第一差值阈值时,确定所述障碍物满足障碍物识别条件。
可选地,所述当检测到所述智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定所述障碍物满足障碍物识别条件,包括:
当检测到所述智能汽车行驶方向上的右前方车道的第一检测区域内存在障碍物时,确定右侧毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间的第五雷达数据距离,以及广角摄像头获取的第一视觉数据中的障碍物与所述智能汽车之间的第五视觉数据距离;
当所述第五雷达数据距离和所述第五视觉数据距离均小于第一距离阈值时,确定所述第五雷达数据距离与所述第五视觉数据距离之间的第十一差值;
当所述第十一差值小于或等于第一差值阈值时,确定所述障碍物满足障碍物识别条件;
当所述第五雷达数据距离和所述第五视觉数据距离均大于或等于所述第一距离阈值时,确定前向毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间的第六雷达数据距离,以及宽角摄像头采集的第二视觉数据中的障碍物与所述智能汽车之间的第六视觉数据距离;
确定所述第五雷达数据距离与所述第五视觉数据距离之间的第十二差值,所述第五雷达数据距离与所述第六视觉数据距离之间的第十三差值,和/或所述第六雷达数据距离与所述第五视觉数据距离之间的第十四差值,和/或所述第六雷达数据距离与所述第六视觉数据距离之间的第十五差值;
当所述第十二差值和/或所述第十三差值或所述第十四差值和/或所述第十五差值小于或等于所述第一差值阈值时,确定所述障碍物满足障碍物识别条件。
可选地,所述当检测到所述智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定所述障碍物满足障碍物识别条件,包括:
当检测到所述智能汽车行驶方向上的第二检测区域内存在障碍物时,确定前向毫米波雷达以及左侧毫米波雷达或右侧毫米波雷达检测到的雷达数据中的障碍物分别与所述智能汽车之间的至少一个雷达数据距离,以及确定广角摄像头、宽角摄像头和窄角摄像头采集的视觉数据中的障碍物分别与所述智能汽车之间的至少一个视觉数据距离;
确定所述至少一个雷达数据距离与所述至少一个视觉数据距离中每个视觉数据距离的差值,得到至少一个差值;
当所述至少一个差值中存在小于或等于第一差值阈值的差值时,确定所述障碍物满足障碍物识别条件。
可选地,所述当检测到所述智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定所述障碍物满足障碍物识别条件,包括:
当检测到所述智能汽车行驶方向上的第三检测区域内存在障碍物时,确定前向毫米波雷达检测到的雷达数据中的障碍物与所述智能汽车之间的第七雷达数据距离,以及确定宽角摄像头采集的第二视觉数据中的障碍物与所述智能汽车之间的第七视觉数据距离,以及窄角摄像头采集的第三视觉数据中的障碍物与所述智能汽车之间的第八视觉数据距离;
当所述第七雷达数据距离、所述第七视觉数据距离和所述第八视觉数据距离均大于第二距离阈值且小于第三距离阈值时,确定所述第七雷达数据距离与所述第七视觉数据距离的第十六差值,以及所述第七雷达数据距离与所述第八视觉数据距离的第十七差值;
当所述第十六差值和/或第十七差值小于或等于第二差值阈值时,确定所述障碍物满足障碍物识别条件;
当所述第七雷达数据距离、所述第七视觉数据距离和所述第八视觉数据距离均大于或等于所述第三距离阈值时,确定所述第七雷达数据距离与所述第八视觉数据距离的第十八差值;
当所述第十八差值小于或等于所述第三差值阈值时,确定所述障碍物满足障碍物识别条件。
第二方面,提供了一种障碍物的识别装置,所述装置包括:
检测模块,用于通过智能汽车安装的至少一个摄像头和安装的至少一个毫米波雷达检测所述智能汽车行驶方向上是否存在障碍物;
确定模块,用于当检测到所述智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定所述障碍物满足障碍物识别条件,所述至少一个雷达数据距离为通过所述至少一个毫米波雷达获取的至少一个雷达数据中的障碍物与所述智能汽车之间的距离,所述至少一个视距数据距离为所述至少一个摄像头获取的至少一个视觉数据中的障碍物与所述智能汽车之间的距离;
识别模块,用于当所述障碍物满足障碍物识别条件时,识别所述障碍物。
可选地,所述至少一个摄像头包括第一采集距离的广角摄像头、第二采集距离的宽角摄像头和第三采集距离的窄角摄像头,所述至少一个毫米波雷达包括安装在所述智能汽车车头左侧的左侧毫米波雷达、安装在所述智能汽车车头右侧的右侧毫米波雷达和安装在所述智能汽车车头正前方的前向毫米波雷达;
所述检测模块包括:
获取子模块,用于通过所述广角摄像头获取所述智能汽车行驶方向上当前车道和相邻车道的第一采集距离内的第一视觉数据,通过所述宽角摄像头获取所述当前车道和所述相邻车道的第二采集距离内的第二视觉数据,通过所述窄角摄像头获取所述当前车道和所述相邻车道的第三采集距离内的第三视觉数据,并通过所述左侧毫米波雷达获取所述智能汽车行驶方向的左前方车道区域的雷达数据,通过所述右侧毫米波雷达获取所述智能汽车行驶方向的右前方车道区域的雷达数据、通过所述前向毫米波雷达获取所述智能汽车行驶方向上当前车道区域的雷达数据;
检测子模块,用于从所述第一视觉数据、所述第二视觉数据、所述第三视觉数据、所述前向毫米波雷达获取的雷达数据、所述左侧毫米波雷达获取的雷达数据和所述右侧毫米波雷达中分别检测所述智能汽车行驶方向上是否存在障碍物。
可选地,所述确定模块用于:
当检测到所述智能汽车行驶方向上的左前方车道的第一检测区域内存在障碍物时,确定所述左侧毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间的第一雷达数据距离,以及所述广角摄像头获取的第一视觉数据中的障碍物与所述智能汽车之间的第一视觉数据距离;
当所述第一雷达数据距离和所述第一视觉数据距离均小于第一距离阈值时,确定所述第一雷达数据距离与所述第一视觉数据距离之间的第一差值;
当所述第一差值小于或等于第一差值阈值时,确定所述障碍物满足障碍物识别条件;
当所述第一雷达数据距离和所述第一视觉数据距离均大于或等于所述第一距离阈值且小于第二距离阈值时,确定前向毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间第二雷达数据距离,以及宽角摄像头采集的第二视觉数据中的障碍物与所述智能汽车之间的第二视觉数据距离;
确定所述第一雷达数据距离与所述第一视觉数据距离之间的第二差值,和/或所述第一雷达数据距离与所述第二视觉数据距离之间的第三差值,和/或所述第二雷达数据距离与所述第一视觉数据距离之间的第四差值,和/或所述第二雷达数据距离与所述第二视觉数据距离之间的第五差值;
当所述第二差值和/或所述第三差值和/或所述第四差值和/或所述第五差值小于或等于所述第一差值阈值时,确定所述障碍物满足障碍物识别条件。
可选地,所述确定模块用于:
当检测到所述智能汽车行驶方向上的当前车道的第一检测区域内存在障碍物时,确定前向毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间的第三雷达数据距离,以及宽角摄像头获取的第二视觉数据中的障碍物与所述智能汽车之间的的第三视觉数据距离;
当所述第三雷达数据距离和所述第三视觉数据距离均小于第一距离阈值时,确定所述第三雷达数据距离与所述第三视距数据距离之间的第六差值;
当所述第六差值小于或等于第一差值阈值时,确定所述障碍物满足障碍物识别条件;
当所述第三雷达数据距离和所述第三视觉数据距离均大于或等于所述第一距离阈值且小于第二距离阈值时,确定左侧毫米波雷达或右侧毫米波雷达获取的雷达数据的障碍物与所述智能汽车之间的第四雷达数据距离,以及广角摄像头采集的第一视觉数据中的障碍物与所述智能汽车之间的第四视觉数据距离;
确定所述第三雷达数据距离与所述第三视觉数据距离之间的第七差值,所述第三雷达数据距离与所述第四视觉数据距离之间的第八差值,和/或所述第四雷达数据距离与所述第三视觉数据距离之间的第九差值,和/或所述第四雷达数据距离与所述第四视觉数据距离之间的第十差值;
当所述第七差值和/或所述第八差值和/或所述第九差值和/或所述第十差值小于或等于所述第一差值阈值时,确定所述障碍物满足障碍物识别条件。
可选地,所述确定模块用于:
当检测到所述智能汽车行驶方向上的右前方车道的第一检测区域内存在障碍物时,确定右侧毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间的第五雷达数据距离,以及广角摄像头获取的第一视觉数据中的障碍物与所述智能汽车之间的第五视觉数据距离;
当所述第五雷达数据距离和所述第五视觉数据距离均小于第一距离阈值时,确定所述第五雷达数据距离与所述第五视觉数据距离之间的第十一差值;
当所述第十一差值小于或等于第一差值阈值时,确定所述障碍物满足障碍物识别条件;
当所述第五雷达数据距离和所述第五视觉数据距离均大于或等于所述第一距离阈值时,确定前向毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间的第六雷达数据距离,以及宽角摄像头采集的第二视觉数据中的障碍物与所述智能汽车之间的第六视觉数据距离;
确定所述第五雷达数据距离与所述第五视觉数据距离之间的第十二差值,所述第五雷达数据距离与所述第六视觉数据距离之间的第十三差值,和/或所述第六雷达数据距离与所述第五视觉数据距离之间的第十四差值,和/或所述第六雷达数据距离与所述第六视觉数据距离之间的第十五差值;
当所述第十二差值和/或所述第十三差值或所述第十四差值和/或所述第十五差值小于或等于所述第一差值阈值时,确定所述障碍物满足障碍物识别条件。
可选地,所述确定模块用于:
当检测到所述智能汽车行驶方向上的第二检测区域内存在障碍物时,确定前向毫米波雷达以及左侧毫米波雷达或右侧毫米波雷达检测到的雷达数据中的障碍物分别与所述智能汽车之间的至少一个雷达数据距离,以及确定广角摄像头、宽角摄像头和窄角摄像头采集的视觉数据中的障碍物分别与所述智能汽车之间的至少一个视觉数据距离;
确定所述至少一个雷达数据距离与所述至少一个视觉数据距离中每个视觉数据距离的差值,得到至少一个差值;
当所述至少一个差值中存在小于或等于第一差值阈值的差值时,确定所述障碍物满足障碍物识别条件。
可选地,所述确定模块用于:
当检测到所述智能汽车行驶方向上的第三检测区域内存在障碍物时,确定前向毫米波雷达检测到的雷达数据中的障碍物与所述智能汽车之间的第七雷达数据距离,以及确定宽角摄像头采集的第二视觉数据中的障碍物与所述智能汽车之间的第七视觉数据距离,以及窄角摄像头采集的第三视觉数据中的障碍物与所述智能汽车之间的第八视觉数据距离;
当所述第七雷达数据距离、所述第七视觉数据距离和所述第八视觉数据距离均大于第二距离阈值且小于第三距离阈值时,确定所述第七雷达数据距离与所述第七视觉数据距离的第十六差值,以及所述第七雷达数据距离与所述第八视觉数据距离的第十七差值;
当所述第十六差值和/或第十七差值小于或等于第二差值阈值时,确定所述障碍物满足障碍物识别条件;
当所述第七雷达数据距离、所述第七视觉数据距离和所述第八视觉数据距离均大于或等于所述第三距离阈值时,确定所述第七雷达数据距离与所述第八视觉数据距离的第十八差值;
当所述第十八差值小于或等于所述第三差值阈值时,确定所述障碍物满足障碍物识别条件。
第三方面,提供了一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面中任一所述的方法。
本发明实施例提供的技术方案带来的有益效果至少包括:
在本发明实施例中,可以通过智能汽车安装的至少一个摄像头和安装的至少一个毫米波雷达检测智能汽车行驶方向上是否存在障碍物;当检测到智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定障碍物满足障碍物识别条件,当障碍物满足障碍物识别条件时,识别障碍物。由于可以通过至少一个毫米波雷达获取的至少一个雷达数据和至少一个摄像头获取的至少一个视觉数据确定障碍物是否满足障碍物识别条件,有效利用至少一个毫米波雷达或至少一个摄像头的信息冗余,以及至少一个毫米波雷达与至少一个摄像头之间的多重信息冗余,保证了障碍物识别的可靠性,提高了智能汽车的驾驶安全性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种障碍物的识别方法的流程图;
图2是本发明实施例提供的另一种障碍物的识别方法的流程图;
图3是本发明实施例提供的一种检测区域划分示意图;
图4是本发明实施例提供的一种障碍物的识别装置的结构示意图;
图5是本发明实施例提供的一种检测模块的结构示意图;
图6是本发明实施例提供的一种智能汽车的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
在对本发明实施例进行详细的解释说明之前,先对本发明实施例中涉及到的应用场景进行解释说明。
随着技术的发展,智能汽车智能化的程度越来越高。比如,智能汽车可以通过自动驾驶系统自动驾驶智能汽车。为了保证智能汽车的安全性,在智能汽车自动驾驶的过程中,可以通过安装在智能汽车上的摄像头获取视觉数据,根据获取的视觉数据,确定智能汽车的行驶方向上是否存在障碍物,从而在识别到障碍物时,及时避开障碍物。但是,由于有时候摄像头可能会因光线、异物遮挡等原因无法识别障碍物,或者识别障碍物可靠性差,从而导致交通事故的发生,降低了智能汽车的驾驶安全性。
基于这样的场景,本发明实施例提供了一种能够提高障碍物识别可靠性和驾驶安全性的障碍物的识别方法。
在对本发明实施例的应用场景进行介绍之后,接下来将结合附图对本发明实施例提供的障碍物的识别方法进行详细介绍。
图1为本发明实施例提供的一种障碍物的识别方法的流程图,参见图1,该方法应用于智能汽车中,包括如下步骤。
步骤101:通过智能汽车安装的至少一个摄像头和安装的至少一个毫米波雷达检测该智能汽车行驶方向上是否存在障碍物。
步骤102:当检测到该智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定该障碍物满足障碍物识别条件,该至少一个雷达数据距离为通过该至少一个毫米波雷达获取的至少一个雷达数据中的障碍物与该智能汽车之间的距离,该至少一个视距数据距离为该至少一个摄像头获取的至少一个视觉数据中的障碍物与该智能汽车之间的距离。
步骤103:当该障碍物满足障碍物识别条件时,识别该障碍物。
在本发明实施例中,可以通过智能汽车安装的至少一个摄像头和安装的至少一个毫米波雷达检测智能汽车行驶方向上是否存在障碍物;当检测到智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定障碍物满足障碍物识别条件,当障碍物满足障碍物识别条件时,识别障碍物。由于可以通过至少一个毫米波雷达获取的至少一个雷达数据和至少一个摄像头获取的至少一个视觉数据确定障碍物是否满足障碍物识别条件,有效利用至少一个毫米波雷达或至少一个摄像头的信息冗余,以及至少一个毫米波雷达与至少一个摄像头之间的多重信息冗余,保证了障碍物识别的可靠性,提高了智能汽车的驾驶安全性。
可选地,该至少一个摄像头包括第一采集距离的广角摄像头、第二采集距离的宽角摄像头和第三采集距离的窄角摄像头,该至少一个毫米波雷达包括安装在该智能汽车车头左侧的左侧毫米波雷达、安装在该智能汽车车头右侧的右侧毫米波雷达和安装在该智能汽车车头正前方的前向毫米波雷达;
通过智能汽车安装的至少一个摄像头和安装的至少一个毫米波雷达检测该智能汽车行驶方向上是否存在障碍物,包括:
通过该广角摄像头获取该智能汽车行驶方向上当前车道和相邻车道的第一采集距离内的第一视觉数据,通过该宽角摄像头获取该当前车道和该相邻车道的第二采集距离内的第二视觉数据,通过该窄角摄像头获取该当前车道和该相邻车道的第三采集距离内的第三视觉数据,并通过该左侧毫米波雷达获取该智能汽车行驶方向的左前方车道区域的雷达数据,通过该右侧毫米波雷达获取该智能汽车行驶方向的右前方车道区域的雷达数据、通过该前向毫米波雷达获取该智能汽车行驶方向上当前车道区域的雷达数据;
从该第一视觉数据、该第二视觉数据、该第三视觉数据、该前向毫米波雷达获取的雷达数据、该左侧毫米波雷达获取的雷达数据和该右侧毫米波雷达中分别检测该智能汽车行驶方向上是否存在障碍物。
可选地,当检测到该智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定该障碍物满足障碍物识别条件,包括:
当检测到该智能汽车行驶方向上的左前方车道的第一检测区域内存在障碍物时,确定该左侧毫米波雷达获取的雷达数据中的障碍物与该智能汽车之间的第一雷达数据距离,以及该广角摄像头获取的第一视觉数据中的障碍物与该智能汽车之间的第一视觉数据距离;
当该第一雷达数据距离和该第一视觉数据距离均小于第一距离阈值时,确定该第一雷达数据距离与该第一视觉数据距离之间的第一差值;
当该第一差值小于或等于第一差值阈值时,确定该障碍物满足障碍物识别条件;
当该第一雷达数据距离和该第一视觉数据距离均大于或等于该第一距离阈值且小于第二距离阈值时,确定前向毫米波雷达获取的雷达数据中的障碍物与该智能汽车之间第二雷达数据距离,以及宽角摄像头采集的第二视觉数据中的障碍物与该智能汽车之间的第二视觉数据距离;
确定该第一雷达数据距离与该第一视觉数据距离之间的第二差值,和/或该第一雷达数据距离与该第二视觉数据距离之间的第三差值,和/或该第二雷达数据距离与该第一视觉数据距离之间的第四差值,和/或该第二雷达数据距离与该第二视觉数据距离之间的第五差值;
当该第二差值和/或该第三差值和/或该第四差值和/或该第五差值小于或等于该第一差值阈值时,确定该障碍物满足障碍物识别条件。
可选地,当检测到该智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定该障碍物满足障碍物识别条件,包括:
当检测到该智能汽车行驶方向上的当前车道的第一检测区域内存在障碍物时,确定前向毫米波雷达获取的雷达数据中的障碍物与该智能汽车之间的第三雷达数据距离,以及宽角摄像头获取的第二视觉数据中的障碍物与该智能汽车之间的的第三视觉数据距离;
当该第三雷达数据距离和该第三视觉数据距离均小于第一距离阈值时,确定该第三雷达数据距离与该第三视距数据距离之间的第六差值;
当该第六差值小于或等于第一差值阈值时,确定该障碍物满足障碍物识别条件;
当该第三雷达数据距离和该第三视觉数据距离均大于或等于该第一距离阈值且小于第二距离阈值时,确定左侧毫米波雷达或右侧毫米波雷达获取的雷达数据的障碍物与该智能汽车之间的第四雷达数据距离,以及广角摄像头采集的第一视觉数据中的障碍物与该智能汽车之间的第四视觉数据距离;
确定该第三雷达数据距离与该第三视觉数据距离之间的第七差值,该第三雷达数据距离与该第四视觉数据距离之间的第八差值,和/或该第四雷达数据距离与该第三视觉数据距离之间的第九差值,和/或该第四雷达数据距离与该第四视觉数据距离之间的第十差值;
当该第七差值和/或该第八差值和/或该第九差值和/或该第十差值小于或等于该第一差值阈值时,确定该障碍物满足障碍物识别条件。
可选地,当检测到该智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定该障碍物满足障碍物识别条件,包括:
当检测到该智能汽车行驶方向上的右前方车道的第一检测区域内存在障碍物时,确定右侧毫米波雷达获取的雷达数据中的障碍物与该智能汽车之间的第五雷达数据距离,以及广角摄像头获取的第一视觉数据中的障碍物与该智能汽车之间的第五视觉数据距离;
当该第五雷达数据距离和该第五视觉数据距离均小于第一距离阈值时,确定该第五雷达数据距离与该第五视觉数据距离之间的第十一差值;
当该第十一差值小于或等于第一差值阈值时,确定该障碍物满足障碍物识别条件;
当该第五雷达数据距离和该第五视觉数据距离均大于或等于该第一距离阈值时,确定前向毫米波雷达获取的雷达数据中的障碍物与该智能汽车之间的第六雷达数据距离,以及宽角摄像头采集的第二视觉数据中的障碍物与该智能汽车之间的第六视觉数据距离;
确定该第五雷达数据距离与该第五视觉数据距离之间的第十二差值,该第五雷达数据距离与该第六视觉数据距离之间的第十三差值,和/或该第六雷达数据距离与该第五视觉数据距离之间的第十四差值,和/或该第六雷达数据距离与该第六视觉数据距离之间的第十五差值;
当该第十二差值和/或该第十三差值或该第十四差值和/或该第十五差值小于或等于该第一差值阈值时,确定该障碍物满足障碍物识别条件。
可选地,当检测到该智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定该障碍物满足障碍物识别条件,包括:
当检测到该智能汽车行驶方向上的第二检测区域内存在障碍物时,确定前向毫米波雷达以及左侧毫米波雷达或右侧毫米波雷达检测到的雷达数据中的障碍物分别与该智能汽车之间的至少一个雷达数据距离,以及确定广角摄像头、宽角摄像头和窄角摄像头采集的视觉数据中的障碍物分别与该智能汽车之间的至少一个视觉数据距离;
确定该至少一个雷达数据距离与该至少一个视觉数据距离中每个视觉数据距离的差值,得到至少一个差值;
当该至少一个差值中存在小于或等于第一差值阈值的差值时,确定该障碍物满足障碍物识别条件。
可选地,当检测到该智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定该障碍物满足障碍物识别条件,包括:
当检测到该智能汽车行驶方向上的第三检测区域内存在障碍物时,确定前向毫米波雷达检测到的雷达数据中的障碍物与该智能汽车之间的第七雷达数据距离,以及确定宽角摄像头采集的第二视觉数据中的障碍物与该智能汽车之间的第七视觉数据距离,以及窄角摄像头采集的第三视觉数据中的障碍物与该智能汽车之间的第八视觉数据距离;
当该第七雷达数据距离、该第七视觉数据距离和该第八视觉数据距离均大于第二距离阈值且小于第三距离阈值时,确定该第七雷达数据距离与该第七视觉数据距离的第十六差值,以及该第七雷达数据距离与该第八视觉数据距离的第十七差值;
当该第十六差值和/或第十七差值小于或等于第二差值阈值时,确定该障碍物满足障碍物识别条件;
当该第七雷达数据距离、该第七视觉数据距离和该第八视觉数据距离均大于或等于该第三距离阈值时,确定该第七雷达数据距离与该第八视觉数据距离的第十八差值;
当该第十八差值小于或等于该第三差值阈值时,确定该障碍物满足障碍物识别条件。
上述所有可选技术方案,均可按照任意结合形成本发明的可选实施例,本发明实施例对此不再一一赘述。
图2为本发明实施例提供的一种障碍物的识别方法的流程图,参见图2,该方法包括如下步骤。
步骤201:智能汽车通过安装的至少一个摄像头和安装的至少一个毫米波雷达检测智能汽车行驶方向上是否存在障碍物。
由于智能汽车在行驶过程中很可能会遇到不同的路况,比如,行驶方向上出现障碍物,当出现障碍物时,如果智能汽车无法识别障碍物或者无法准确的确定障碍物是否影响智能汽车的行驶,则很可能会导致智能汽车发生交通事故。因此,为了在不同路况下保证智能汽车的安全性,通常需要智能汽车通过安装的至少一个摄像头和安装的至少一个毫米波雷达检测智能汽车行驶方向上是否存在障碍物。
由于目前的道路通常包括至少一个车道,因此,为了准确检测是否存在障碍物,智能汽车可以通过至少一个毫米波雷达和至少一个摄像头检测智能汽车的行驶方向上是否存在障碍物。该至少一个摄像头包括第一采集距离的广角摄像头、第二采集距离的宽角摄像头和第三采集距离的窄角摄像头,该至少一个毫米波雷达包括安装在该智能汽车车头左侧的左侧毫米波雷达、安装在该智能汽车车头右侧的右侧毫米波雷达和安装在该智能汽车车头正前方的前向毫米波雷达。
其中,智能汽车通过安装的至少一个摄像头和安装的至少一个毫米波雷达检测该智能汽车行驶方向上是否存在障碍物的操作可以为:通过广角摄像头获取智能汽车行驶方向上当前车道和相邻车道的第一采集距离内的第一视觉数据,通过宽角摄像头获取当前车道和相邻车道的第二采集距离内的第二视觉数据,通过窄角摄像头获取当前车道和相邻车道的第三采集距离内的第三视觉数据,并通过左侧毫米波雷达获取智能汽车行驶方向的左前方车道区域的雷达数据,通过右侧毫米波雷达获取智能汽车行驶方向的右前方车道区域的雷达数据、通过前向毫米波雷达获取智能汽车行驶方向上当前车道区域的雷达数据;从第一视觉数据、第二视觉数据、第三视觉数据、前向毫米波雷达获取的雷达数据、左侧毫米波雷达获取的雷达数据和右侧毫米波雷达中分别检测智能汽车行驶方向上是否存在障碍物。
需要说明的是,该第一采集视距为广角摄像头可获取视觉数据的距离和角度,第二采集视距为宽角摄像头可获取视觉数据的距离和角度,第三采集视距为窄角摄像头可获取视觉数据的距离和角度,广角摄像头可获取的视觉数据距离小于宽角摄像头可获取的视觉数据的距离且广角摄像头可获取的视觉数据的角度大于宽角摄像头可获取的视觉数据的角度,宽角摄像头可获取的视觉数据距离小于窄角摄像头可获取的视觉数据的距离且宽角摄像头可获取的视觉数据的角度大于窄角摄像头可获取的视觉数据的角度。广角摄像头可获取的视觉数据距离为10米,角度为80度,宽角摄像头可获取的视觉数据的距离为15米,角度为60度,窄角摄像头可获取的视觉数据的距离为30米,角度为40度等等。
另外,在本发明实施例中,为了保证数据可靠性,要求至少一个摄像头获得视觉数据包括至少三帧图像。
步骤202:当智能汽车检测到行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定该障碍物满足障碍物识别条件。
其中,该至少一个雷达数据距离为通过至少一个毫米波雷达获取的至少一个雷达数据中的障碍物与智能汽车之间的距离,至少一个视距数据距离为至少一个摄像头获取的至少一个视觉数据中的障碍物与智能汽车之间的距离。
由于智能汽车上安装的至少一个毫米波雷达和至少一个摄像头都可以检测智能汽车行驶方向上存在障碍物,且至少一个毫米波雷达和至少一个摄像头检测的障碍物与智能汽车之间的距离可能会相同也可能会不相同,同时智能汽车在行驶过程中,障碍物可能出现在智能汽车当前行驶方向上当前所在车道上,也可能出现在当前车道的相邻区域内。因此,智能汽车确定该障碍物满足障碍物识别条件时可能包括如下五种情况。
第一种情况,当智能汽车检测到行驶方向上的左前方车道的第一检测区域内存在障碍物时,确定左侧毫米波雷达获取的雷达数据中的障碍物与智能汽车之间的第一雷达数据距离,以及广角摄像头获取的第一视觉数据中的障碍物与智能汽车之间的第一视觉数据距离;当第一雷达数据距离和第一视觉数据距离均小于第一距离阈值时,确定第一雷达数据距离与第一视觉数据距离之间的第一差值;当第一差值小于或等于第一差值阈值时,确定障碍物满足障碍物识别条件;当第一差值大于第一差值阈值时,确定障碍物不满足障碍物识别条件;当第一雷达数据距离和第一视觉数据距离均大于或等于第一距离阈值且小于第二距离阈值时,确定前向毫米波雷达获取的雷达数据中的障碍物与智能汽车之间第二雷达数据距离,以及宽角摄像头采集的第二视觉数据中的障碍物与智能汽车之间的第二视觉数据距离;确定第一雷达数据距离与第一视觉数据距离之间的第二差值,和/或第一雷达数据距离与第二视觉数据距离之间的第三差值,和/或第二雷达数据距离与第一视觉数据距离之间的第四差值,和/或第二雷达数据距离与第二视觉数据距离之间的第五差值;当第二差值和/或第三差值和/或第四差值和/或第五差值小于或等于第一差值阈值时,确定障碍物满足障碍物识别条件。当第二差值、第三差值、第四差值、第五差值中任一差值大于第一差值阈值时,确定障碍物不满足障碍物识别条件。
需要说明的是,该第一检测区域可以是指距离智能汽车第一检测距离的区域,第二检测区域可以是指距离智能汽车第二检测距离的区域,第三检测其余可以是指距离智能汽车第三检测距离的区域。该第一检测距离小于第二检测距离,第二检测距离小于第三检测距离,且第一检测距离、第二检测距离和第三检测距离均可以事先设置,比如,该第一检测距离可以为10米、15米等等,第二检测距离可以为30米、60米等等,第三检测距离可以100米、120米等等。参见图3检测区域划分示意图,该第一检测距离可以与广角摄像头获取视觉数据的距离相同也可以不同,第二检测距离可以与宽角摄像头获取视觉数据的距离相同也可以不同,第三检测距离可以与窄角摄像头获取视觉数据的距离相同也可以不同。
另外,第一距离阈值和第二距离阈值可以事先设置,比如,该第一距离阈值可以为6米、7米、8米等等,第二距离阈值可以为10米、15米等等,且第一距离阈值小于第一检测距离,第二距离阈值可以小于或等于第一检测距离。第一差值阈值可以事先设置,比如,该第一差值阈值可以为0.5米、1米等等。
比如,当智能汽车检测到行驶方向上的左前方车道的第一检测区域内存在障碍物时,如果第一距离阈值为6米,第二距离阈值为10米,第一差值阈值为1米,则当检测到第一雷达数据距离为5米,第一视觉数据距离为5.5米时,确定第一雷达数据距离5米与第一视觉数据距离5.5米之间的第一差值为0.5米;0.5米小于1米,因此,确定障碍物满足障碍物识别条件。当第一雷达数据距离为7.5米,第一视觉数据距离为8米时,如果确定的第二雷达数据距离为10米,确定的第二视觉数据距离为8米,则确定第一雷达数据距离7.5米与第一视觉数据距离8米之间的第二差值为0.5米,和/或确定第一雷达数据距离7.5米与第二视觉数据距离8米之间的第二差值为0.5米,和/或第二雷达数据距离10米与第一视觉数据距离8米之间的第三差值为2米,和/或第二雷达数据距离10米与第二视觉数据距离8米之间的第四差值为2;由于0.5米小于1米,因此,确定障碍物满足障碍物识别条件。
另外,障碍物满足障碍物识别条件可以是指确定的障碍物为有效障碍物,也即是,障碍物是在智能汽车行驶过程中对智能汽车安全带来风险的障碍物。障碍物不满足障碍物识别条件可以是指确定的障碍物为无效障碍物,也即是,障碍物是在智能汽车行驶过程中对智能汽车安全没有风险的障碍物。
第二种情况,当智能汽车检测到行驶方向上的当前车道的第一检测区域内存在障碍物时,确定前向毫米波雷达获取的雷达数据中的障碍物与该智能汽车之间的第三雷达数据距离,以及宽角摄像头获取的第二视觉数据中的障碍物与该智能汽车之间的的第三视觉数据距离;当该第三雷达数据距离和该第三视觉数据距离均小于第一距离阈值时,确定该第三雷达数据距离与该第三视距数据距离之间的第六差值;当该第六差值小于或等于第一差值阈值时,确定该障碍物满足障碍物识别条件;当该第六差值大于第一差值阈值时,确定该障碍物不满足障碍物识别条件;当该第三雷达数据距离和该第三视觉数据距离均大于或等于该第一距离阈值且小于第二距离阈值时,确定左侧毫米波雷达或右侧毫米波雷达获取的雷达数据的障碍物与该智能汽车之间的第四雷达数据距离,以及广角摄像头采集的第一视觉数据中的障碍物与该智能汽车之间的第四视觉数据距离;确定该第三雷达数据距离与该第三视觉数据距离之间的第七差值,该第三雷达数据距离与该第四视觉数据距离之间的第八差值,和/或该第四雷达数据距离与该第三视觉数据距离之间的第九差值,和/或该第四雷达数据距离与该第四视觉数据距离之间的第十差值;当该第七差值和/或该第八差值和/或该第九差值和/或该第十差值小于或等于该第一差值阈值时,确定该障碍物满足障碍物识别条件;当该第七差值或该第八差值或该第九差值或该第十差值大于该第一差值阈值时,确定该障碍物不满足障碍物识别条件。
比如,当智能汽车检测到行驶方向上的当前车道的第一检测区域内存在障碍物时,如果第一距离阈值为6米,第二距离阈值为10米,第一差值阈值为1米,则当检测到第三雷达数据距离为5米,第三视觉数据距离为5.5米时,确定第三雷达数据距离5米与第三视觉数据距离5.5米之间的第六差值为0.5米;0.5米小于1米,因此,确定障碍物满足障碍物识别条件。当第三雷达数据距离为7.5米,第三视觉数据距离为8米时,如果确定的第四雷达数据距离为10米,确定的第四视觉数据距离为8米,则确定第三雷达数据距离7.5米与第三视觉数据距离8米之间的第七差值为0.5米,和/或确定第三雷达数据距离7.5米与第四视觉数据距离8米之间的第八差值为0.5米,和/或第四雷达数据距离10米与第三视觉数据距离8米之间的第九差值为2米,和/或第四雷达数据距离10米与第四视觉数据距离8米之间的第四差值为2;由于0.5米小于1米,因此,确定障碍物满足障碍物识别条件。
第三种情况,当智能汽车检测到行驶方向上的右前方车道的第一检测区域内存在障碍物时,确定右侧毫米波雷达获取的雷达数据中的障碍物与该智能汽车之间的第五雷达数据距离,以及广角摄像头获取的第一视觉数据中的障碍物与该智能汽车之间的第五视觉数据距离;当该第五雷达数据距离和该第五视觉数据距离均小于第一距离阈值时,确定该第五雷达数据距离与该第五视觉数据距离之间的第十一差值;当该第十一差值小于或等于第一差值阈值时,确定该障碍物满足障碍物识别条件;当该第十一差值大于第一差值阈值时,确定该障碍物不满足障碍物识别条件;当该第五雷达数据距离和该第五视觉数据距离均大于或等于该第一距离阈值时,确定前向毫米波雷达获取的雷达数据中的障碍物与该智能汽车之间的第六雷达数据距离,以及宽角摄像头采集的第二视觉数据中的障碍物与该智能汽车之间的第六视觉数据距离;确定该第五雷达数据距离与该第五视觉数据距离之间的第十二差值,该第五雷达数据距离与该第六视觉数据距离之间的第十三差值,和/或该第六雷达数据距离与该第五视觉数据距离之间的第十四差值,和/或该第六雷达数据距离与该第六视觉数据距离之间的第十五差值;当该第十二差值和/或该第十三差值或该第十四差值和/或该第十五差值小于或等于该第一差值阈值时,确定该障碍物满足障碍物识别条件。当该第十二差值或该第十三差值或该第十四差值或该第十五差值大于该第一差值阈值时,确定该障碍物不满足障碍物识别条件。
比如,当智能汽车检测到行驶方向上的右前方车道的第一检测区域内存在障碍物时,如果第一距离阈值为6米,第二距离阈值为10米,第一差值阈值为1米,则当检测到第五雷达数据距离为5米,第五视觉数据距离为5.5米时,确定第五雷达数据距离5米与第五视觉数据距离5.5米之间的第十一差值为0.5米;0.5米小于1米,因此,确定障碍物满足障碍物识别条件。当第五雷达数据距离为7.5米,第五视觉数据距离为8米时,如果确定的第六雷达数据距离为10米,确定的第六视觉数据距离为8米,则确定第五雷达数据距离7.5米与第五视觉数据距离8米之间的第十二差值为0.5米,和/或确定第五雷达数据距离7.5米与第六视觉数据距离8米之间的第十三差值为0.5米,和/或第六雷达数据距离10米与第五视觉数据距离8米之间的第十四差值为2米,和/或第六雷达数据距离10米与第六视觉数据距离8米之间的第事务差值为2;由于0.5米小于1米,因此,确定障碍物满足障碍物识别条件。
第四种情况,当检测到该智能汽车行驶方向上的第二检测区域内存在障碍物时,确定前向毫米波雷达以及左侧毫米波雷达或右侧毫米波雷达检测到的雷达数据中的障碍物分别与该智能汽车之间的至少一个雷达数据距离,以及确定广角摄像头、宽角摄像头和窄角摄像头采集的视觉数据中的障碍物分别与该智能汽车之间的至少一个视觉数据距离;确定该至少一个雷达数据距离与该至少一个视觉数据距离中每个视觉数据距离的差值,得到至少一个差值;当该至少一个差值中存在小于或等于第一差值阈值的差值时,确定该障碍物满足障碍物识别条件。当该至少一个差值中不存在小于或等于第一差值阈值的差值时,确定该障碍物不满足障碍物识别条件。
第五种情况,当检测到该智能汽车行驶方向上的第三检测区域内存在障碍物时,确定前向毫米波雷达检测到的雷达数据中的障碍物与该智能汽车之间的第七雷达数据距离,以及确定宽角摄像头采集的第二视觉数据中的障碍物与该智能汽车之间的第七视觉数据距离,以及窄角摄像头采集的第三视觉数据中的障碍物与该智能汽车之间的第八视觉数据距离;当该第七雷达数据距离、该第七视觉数据距离和该第八视觉数据距离均大于第二距离阈值且小于第三距离阈值时,确定该第七雷达数据距离与该第七视觉数据距离的第十六差值,以及该第七雷达数据距离与该第八视觉数据距离的第十七差值;当该第十六差值和/或第十七差值小于或等于第二差值阈值时,确定该障碍物满足障碍物识别条件;当该第十六差值或第十七差值大于第二差值阈值时,确定该障碍物不满足障碍物识别条件。当该第七雷达数据距离、该第七视觉数据距离和该第八视觉数据距离均大于或等于该第三距离阈值时,确定该第七雷达数据距离与该第八视觉数据距离的第十八差值;当该第十八差值小于或等于该第三差值阈值时,确定该障碍物满足障碍物识别条件。当该第十八差值大于该第三差值阈值时,确定该障碍物不满足障碍物识别条件。
需要说明的是,第三距离阈值可以事先设置,比如,第三距离阈值可以为100秘密、120米等等。该第二差值阈值和第三差值阈值同样可以事先设置,比如,该第二差值阈值可以为2米等等,第三差值阈值可以为3米等等。
比如,当检测到该智能汽车行驶方向上的第三检测区域内存在障碍物时,如果第二距离阈值为60米,第三距离阈值为100米,第二差值阈值为2米,第三差值阈值为3米,则当确定的第七雷达数据距离为66米,确定的第七视觉数据距离为67米,确定的第八视觉数据距离为68米时,确定该第七雷达数据距离66与该第七视觉数据距离67的第十六差值为1米,以及该第七雷达数据距离66与该第八视觉数据距离68的第十七差值2米;由于第十六差值1米小于2米,第十七差值2米等于第二差值阈值2米时,因此,确定该障碍物满足障碍物识别条件。当该第七雷达数据距离为111米、该第七视觉数据距离为102米,第八视觉数据距离110米时,确定该第七雷达数据距离111与该第八视觉数据距离110的第十八差值为1米;由于第十八差值1米小于该第三差值阈值3米时,确定该障碍物满足障碍物识别条件。
步骤203:当该障碍物满足障碍物识别条件时,识别该障碍物。
其中,当该障碍物满足障碍物识别条件后,智能汽车为了进行对应控制操作,智能汽车可以识别该障碍物,比如,识别该障碍物为其他汽车、路障、还是行人等等。当识别到该障碍物为其他汽车时,控制智能汽车减速行驶,当识别到障碍物为行人时,控制智能汽车减速行驶,并在与行人的距离小于安全距离时,控制智能汽车停止形式,该安全距离可以事先设置,比如,该安全距离可以为5米、10米等等。
步骤204:当智能汽车识别出障碍物后,通过提醒信息提醒驾驶员。
由于当智能汽车识别出障碍物后,说明障碍物是对智能汽车安全性造成影响的障碍物,此时,智能汽车在对障碍物做出应对处理后,为了提高智能汽车的安全性,智能汽车还可以通过提醒信息提醒驾驶员,该提醒信息用于提醒驾驶员智能汽车当前行驶方向上出现障碍物,从而驾驶员可以对智能汽车进一步进行操作,以进一步避免交通事故的发生。
其中,智能汽车可以通过语音播放提醒信息的方式和/或图文显示提醒信息的方式提醒驾驶员。
在本发明实施例中,可以通过智能汽车安装的至少一个摄像头和安装的至少一个毫米波雷达检测智能汽车行驶方向上是否存在障碍物;当检测到智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定障碍物满足障碍物识别条件,当障碍物满足障碍物识别条件时,识别障碍物。由于可以通过至少一个毫米波雷达获取的至少一个雷达数据和至少一个摄像头获取的至少一个视觉数据确定障碍物是否满足障碍物识别条件,有效利用至少一个毫米波雷达或至少一个摄像头的信息冗余,以及至少一个毫米波雷达与至少一个摄像头之间的多重信息冗余,保证了障碍物识别的可靠性,提高了智能汽车的驾驶安全性。
在对本发明实施例提供的障碍物的识别方法进行解释说明之后,接下来,对本发明实施例提供的障碍物的识别装置进行介绍。
图4是本公开实施例提供的一种障碍物的识别装置的框图,参见图4,该装置可以由软件、硬件或者两者的结合实现。该装置包括:检测模块401、确定模块402和识别模块403。
检测模块401,用于通过智能汽车安装的至少一个摄像头和安装的至少一个毫米波雷达检测所述智能汽车行驶方向上是否存在障碍物;
确定模块402,用于当检测到所述智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定所述障碍物满足障碍物识别条件,所述至少一个雷达数据距离为通过所述至少一个毫米波雷达获取的至少一个雷达数据中的障碍物与所述智能汽车之间的距离,所述至少一个视距数据距离为所述至少一个摄像头获取的至少一个视觉数据中的障碍物与所述智能汽车之间的距离;
识别模块403,用于当所述障碍物满足障碍物识别条件时,识别所述障碍物。
可选地,所述至少一个摄像头包括第一采集距离的广角摄像头、第二采集距离的宽角摄像头和第三采集距离的窄角摄像头,所述至少一个毫米波雷达包括安装在所述智能汽车车头左侧的左侧毫米波雷达、安装在所述智能汽车车头右侧的右侧毫米波雷达和安装在所述智能汽车车头正前方的前向毫米波雷达;
参见图5,所述检测模块401包括:
获取子模块4011,用于通过所述广角摄像头获取所述智能汽车行驶方向上当前车道和相邻车道的第一采集距离内的第一视觉数据,通过所述宽角摄像头获取所述当前车道和所述相邻车道的第二采集距离内的第二视觉数据,通过所述窄角摄像头获取所述当前车道和所述相邻车道的第三采集距离内的第三视觉数据,并通过所述左侧毫米波雷达获取所述智能汽车行驶方向的左前方车道区域的雷达数据,通过所述右侧毫米波雷达获取所述智能汽车行驶方向的右前方车道区域的雷达数据、通过所述前向毫米波雷达获取所述智能汽车行驶方向上当前车道区域的雷达数据;
检测子模块4012,用于从所述第一视觉数据、所述第二视觉数据、所述第三视觉数据、所述前向毫米波雷达获取的雷达数据、所述左侧毫米波雷达获取的雷达数据和所述右侧毫米波雷达中分别检测所述智能汽车行驶方向上是否存在障碍物。
可选地,所述确定模块402用于:
当检测到所述智能汽车行驶方向上的左前方车道的第一检测区域内存在障碍物时,确定所述左侧毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间的第一雷达数据距离,以及所述广角摄像头获取的第一视觉数据中的障碍物与所述智能汽车之间的第一视觉数据距离;
当所述第一雷达数据距离和所述第一视觉数据距离均小于第一距离阈值时,确定所述第一雷达数据距离与所述第一视觉数据距离之间的第一差值;
当所述第一差值小于或等于第一差值阈值时,确定所述障碍物满足障碍物识别条件;
当所述第一雷达数据距离和所述第一视觉数据距离均大于或等于所述第一距离阈值且小于第二距离阈值时,确定前向毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间第二雷达数据距离,以及宽角摄像头采集的第二视觉数据中的障碍物与所述智能汽车之间的第二视觉数据距离;
确定所述第一雷达数据距离与所述第一视觉数据距离之间的第二差值,和/或所述第一雷达数据距离与所述第二视觉数据距离之间的第三差值,和/或所述第二雷达数据距离与所述第一视觉数据距离之间的第四差值,和/或所述第二雷达数据距离与所述第二视觉数据距离之间的第五差值;
当所述第二差值和/或所述第三差值和/或所述第四差值和/或所述第五差值小于或等于所述第一差值阈值时,确定所述障碍物满足障碍物识别条件。
可选地,所述确定模块402用于:
当检测到所述智能汽车行驶方向上的当前车道的第一检测区域内存在障碍物时,确定前向毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间的第三雷达数据距离,以及宽角摄像头获取的第二视觉数据中的障碍物与所述智能汽车之间的的第三视觉数据距离;
当所述第三雷达数据距离和所述第三视觉数据距离均小于第一距离阈值时,确定所述第三雷达数据距离与所述第三视距数据距离之间的第六差值;
当所述第六差值小于或等于第一差值阈值时,确定所述障碍物满足障碍物识别条件;
当所述第三雷达数据距离和所述第三视觉数据距离均大于或等于所述第一距离阈值且小于第二距离阈值时,确定左侧毫米波雷达或右侧毫米波雷达获取的雷达数据的障碍物与所述智能汽车之间的第四雷达数据距离,以及广角摄像头采集的第一视觉数据中的障碍物与所述智能汽车之间的第四视觉数据距离;
确定所述第三雷达数据距离与所述第三视觉数据距离之间的第七差值,所述第三雷达数据距离与所述第四视觉数据距离之间的第八差值,和/或所述第四雷达数据距离与所述第三视觉数据距离之间的第九差值,和/或所述第四雷达数据距离与所述第四视觉数据距离之间的第十差值;
当所述第七差值和/或所述第八差值和/或所述第九差值和/或所述第十差值小于或等于所述第一差值阈值时,确定所述障碍物满足障碍物识别条件。
可选地,所述确定模块402用于:
当检测到所述智能汽车行驶方向上的右前方车道的第一检测区域内存在障碍物时,确定右侧毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间的第五雷达数据距离,以及广角摄像头获取的第一视觉数据中的障碍物与所述智能汽车之间的第五视觉数据距离;
当所述第五雷达数据距离和所述第五视觉数据距离均小于第一距离阈值时,确定所述第五雷达数据距离与所述第五视觉数据距离之间的第十一差值;
当所述第十一差值小于或等于第一差值阈值时,确定所述障碍物满足障碍物识别条件;
当所述第五雷达数据距离和所述第五视觉数据距离均大于或等于所述第一距离阈值时,确定前向毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间的第六雷达数据距离,以及宽角摄像头采集的第二视觉数据中的障碍物与所述智能汽车之间的第六视觉数据距离;
确定所述第五雷达数据距离与所述第五视觉数据距离之间的第十二差值,所述第五雷达数据距离与所述第六视觉数据距离之间的第十三差值,和/或所述第六雷达数据距离与所述第五视觉数据距离之间的第十四差值,和/或所述第六雷达数据距离与所述第六视觉数据距离之间的第十五差值;
当所述第十二差值和/或所述第十三差值或所述第十四差值和/或所述第十五差值小于或等于所述第一差值阈值时,确定所述障碍物满足障碍物识别条件。
可选地,所述确定模块402用于:
当检测到所述智能汽车行驶方向上的第二检测区域内存在障碍物时,确定前向毫米波雷达以及左侧毫米波雷达或右侧毫米波雷达检测到的雷达数据中的障碍物分别与所述智能汽车之间的至少一个雷达数据距离,以及确定广角摄像头、宽角摄像头和窄角摄像头采集的视觉数据中的障碍物分别与所述智能汽车之间的至少一个视觉数据距离;
确定所述至少一个雷达数据距离与所述至少一个视觉数据距离中每个视觉数据距离的差值,得到至少一个差值;
当所述至少一个差值中存在小于或等于第一差值阈值的差值时,确定所述障碍物满足障碍物识别条件。
可选地,所述确定模块402用于:
当检测到所述智能汽车行驶方向上的第三检测区域内存在障碍物时,确定前向毫米波雷达检测到的雷达数据中的障碍物与所述智能汽车之间的第七雷达数据距离,以及确定宽角摄像头采集的第二视觉数据中的障碍物与所述智能汽车之间的第七视觉数据距离,以及窄角摄像头采集的第三视觉数据中的障碍物与所述智能汽车之间的第八视觉数据距离;
当所述第七雷达数据距离、所述第七视觉数据距离和所述第八视觉数据距离均大于第二距离阈值且小于第三距离阈值时,确定所述第七雷达数据距离与所述第七视觉数据距离的第十六差值,以及所述第七雷达数据距离与所述第八视觉数据距离的第十七差值;
当所述第十六差值和/或第十七差值小于或等于第二差值阈值时,确定所述障碍物满足障碍物识别条件;
当所述第七雷达数据距离、所述第七视觉数据距离和所述第八视觉数据距离均大于或等于所述第三距离阈值时,确定所述第七雷达数据距离与所述第八视觉数据距离的第十八差值;
当所述第十八差值小于或等于所述第三差值阈值时,确定所述障碍物满足障碍物识别条件。
综上所述,在本发明实施例中,可以通过智能汽车安装的至少一个摄像头和安装的至少一个毫米波雷达检测智能汽车行驶方向上是否存在障碍物;当检测到智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定障碍物满足障碍物识别条件,当障碍物满足障碍物识别条件时,识别障碍物。由于可以通过至少一个毫米波雷达获取的至少一个雷达数据和至少一个摄像头获取的至少一个视觉数据确定障碍物是否满足障碍物识别条件,有效利用至少一个毫米波雷达或至少一个摄像头的信息冗余,以及至少一个毫米波雷达与至少一个摄像头之间的多重信息冗余,保证了障碍物识别的可靠性,提高了智能汽车的驾驶安全性。
需要说明的是:上述实施例提供的障碍物的识别装置在识别障碍物时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的障碍物的识别装置与障碍物的识别方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图6示出了本发明一个示例性实施例提供的智能汽车600的结构框图。
通常,智能汽车600包括有:处理器601和存储器602。
处理器601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的障碍物的识别方法。
在一些实施例中,智能汽车600还可选包括有:外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地,外围设备包括:射频电路604、触摸显示屏605、摄像头606、音频电路607、定位组件608和电源609中的至少一种。
外围设备接口603可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中,处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上;在一些其他实施例中,处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路604包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路604还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏605用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时,显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时,显示屏605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏605可以为一个,设置智能汽车600的前面板;在另一些实施例中,显示屏605可以为至少两个,分别设置在智能汽车600的不同表面或呈折叠设计;在再一些实施例中,显示屏605可以是柔性显示屏,设置在智能汽车600的弯曲表面上或折叠面上。甚至,显示屏605还可以设置成非矩形的不规则图形,也即异形屏。显示屏605可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地,摄像头组件606包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器601进行处理,或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在智能汽车600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路607还可以包括耳机插孔。
定位组件608用于定位智能汽车600的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源609用于为智能汽车600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,智能汽车600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于:加速度传感器611。
加速度传感器611可以检测以智能汽车600建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号,控制触摸显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
也即是,本发明实施例不仅提供了一种智能汽车,包括处理器和用于存储处理器可执行指令的存储器,其中,处理器被配置为执行图1和图2所示的实施例中的方法,而且,本发明实施例还提供了一种计算机可读存储介质,该存储介质内存储有计算机程序,该计算机程序被处理器执行时可以实现图1和图2所示的实施例中的障碍物的识别方法。
本领域技术人员可以理解,图6中示出的结构并不构成对智能汽车600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种障碍物的识别方法,其特征在于,所述方法包括:
通过智能汽车安装的至少一个摄像头和安装的至少一个毫米波雷达检测所述智能汽车行驶方向上是否存在障碍物,所述至少一个摄像头包括第一采集距离的广角摄像头、第二采集距离的宽角摄像头和第三采集距离的窄角摄像头,所述至少一个毫米波雷达包括安装在所述智能汽车车头左侧的左侧毫米波雷达、安装在所述智能汽车车头右侧的右侧毫米波雷达和安装在所述智能汽车车头正前方的前向毫米波雷达,所述障碍物包括有效障碍物和无效障碍物,所述障碍物出现在所述智能汽车当前行驶车道上,或当前行驶车道的相邻车道上;
当检测到所述智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定所述障碍物满足障碍物识别条件,所述至少一个雷达数据距离为通过所述至少一个毫米波雷达获取的至少一个雷达数据中的障碍物与所述智能汽车之间的距离,所述至少一个视距数据距离为所述至少一个摄像头获取的至少一个视觉数据中的障碍物与所述智能汽车之间的距离,所述障碍物满足障碍物识别条件是指确定的障碍物为有效障碍物;
当所述障碍物满足障碍物识别条件时,识别所述障碍物。
2.如权利要求1所述的方法,其特征在于,所述通过智能汽车安装的至少一个摄像头和安装的至少一个毫米波雷达检测所述智能汽车行驶方向上是否存在障碍物,包括:
通过所述广角摄像头获取所述智能汽车行驶方向上当前车道和相邻车道的第一采集距离内的第一视觉数据,通过所述宽角摄像头获取所述当前车道和所述相邻车道的第二采集距离内的第二视觉数据,通过所述窄角摄像头获取所述当前车道和所述相邻车道的第三采集距离内的第三视觉数据,并通过所述左侧毫米波雷达获取所述智能汽车行驶方向的左前方车道区域的雷达数据,通过所述右侧毫米波雷达获取所述智能汽车行驶方向的右前方车道区域的雷达数据、通过所述前向毫米波雷达获取所述智能汽车行驶方向上当前车道区域的雷达数据;
从所述第一视觉数据、所述第二视觉数据、所述第三视觉数据、所述前向毫米波雷达获取的雷达数据、所述左侧毫米波雷达获取的雷达数据和所述右侧毫米波雷达中分别检测所述智能汽车行驶方向上是否存在障碍物。
3.如权利要求1或2所述的方法,其特征在于,所述当检测到所述智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定所述障碍物满足障碍物识别条件,包括:
当检测到所述智能汽车行驶方向上的左前方车道的第一检测区域内存在障碍物时,确定所述左侧毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间的第一雷达数据距离,以及所述广角摄像头获取的第一视觉数据中的障碍物与所述智能汽车之间的第一视觉数据距离;
当所述第一雷达数据距离和所述第一视觉数据距离均小于第一距离阈值时,确定所述第一雷达数据距离与所述第一视觉数据距离之间的第一差值;
当所述第一差值小于或等于第一差值阈值时,确定所述障碍物满足障碍物识别条件;
当所述第一雷达数据距离和所述第一视觉数据距离均大于或等于所述第一距离阈值且小于第二距离阈值时,确定前向毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间第二雷达数据距离,以及宽角摄像头采集的第二视觉数据中的障碍物与所述智能汽车之间的第二视觉数据距离;
确定所述第一雷达数据距离与所述第一视觉数据距离之间的第二差值,和/或所述第一雷达数据距离与所述第二视觉数据距离之间的第三差值,和/或所述第二雷达数据距离与所述第一视觉数据距离之间的第四差值,和/或所述第二雷达数据距离与所述第二视觉数据距离之间的第五差值;
当所述第二差值和/或所述第三差值和/或所述第四差值和/或所述第五差值小于或等于所述第一差值阈值时,确定所述障碍物满足障碍物识别条件。
4.如权利要求1或2所述的方法,其特征在于,所述当检测到所述智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定所述障碍物满足障碍物识别条件,包括:
当检测到所述智能汽车行驶方向上的当前车道的第一检测区域内存在障碍物时,确定前向毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间的第三雷达数据距离,以及宽角摄像头获取的第二视觉数据中的障碍物与所述智能汽车之间的的第三视觉数据距离;
当所述第三雷达数据距离和所述第三视觉数据距离均小于第一距离阈值时,确定所述第三雷达数据距离与所述第三视距数据距离之间的第六差值;
当所述第六差值小于或等于第一差值阈值时,确定所述障碍物满足障碍物识别条件;
当所述第三雷达数据距离和所述第三视觉数据距离均大于或等于所述第一距离阈值且小于第二距离阈值时,确定左侧毫米波雷达或右侧毫米波雷达获取的雷达数据的障碍物与所述智能汽车之间的第四雷达数据距离,以及广角摄像头采集的第一视觉数据中的障碍物与所述智能汽车之间的第四视觉数据距离;
确定所述第三雷达数据距离与所述第三视觉数据距离之间的第七差值,所述第三雷达数据距离与所述第四视觉数据距离之间的第八差值,和/或所述第四雷达数据距离与所述第三视觉数据距离之间的第九差值,和/或所述第四雷达数据距离与所述第四视觉数据距离之间的第十差值;
当所述第七差值和/或所述第八差值和/或所述第九差值和/或所述第十差值小于或等于所述第一差值阈值时,确定所述障碍物满足障碍物识别条件。
5.如权利要求1或2所述的方法,其特征在于,所述当检测到所述智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定所述障碍物满足障碍物识别条件,包括:
当检测到所述智能汽车行驶方向上的右前方车道的第一检测区域内存在障碍物时,确定右侧毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间的第五雷达数据距离,以及广角摄像头获取的第一视觉数据中的障碍物与所述智能汽车之间的第五视觉数据距离;
当所述第五雷达数据距离和所述第五视觉数据距离均小于第一距离阈值时,确定所述第五雷达数据距离与所述第五视觉数据距离之间的第十一差值;
当所述第十一差值小于或等于第一差值阈值时,确定所述障碍物满足障碍物识别条件;
当所述第五雷达数据距离和所述第五视觉数据距离均大于或等于所述第一距离阈值时,确定前向毫米波雷达获取的雷达数据中的障碍物与所述智能汽车之间的第六雷达数据距离,以及宽角摄像头采集的第二视觉数据中的障碍物与所述智能汽车之间的第六视觉数据距离;
确定所述第五雷达数据距离与所述第五视觉数据距离之间的第十二差值,所述第五雷达数据距离与所述第六视觉数据距离之间的第十三差值,和/或所述第六雷达数据距离与所述第五视觉数据距离之间的第十四差值,和/或所述第六雷达数据距离与所述第六视觉数据距离之间的第十五差值;
当所述第十二差值和/或所述第十三差值或所述第十四差值和/或所述第十五差值小于或等于所述第一差值阈值时,确定所述障碍物满足障碍物识别条件。
6.如权利要求1所述的方法,其特征在于,所述当检测到所述智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定所述障碍物满足障碍物识别条件,包括:
当检测到所述智能汽车行驶方向上的第二检测区域内存在障碍物时,确定前向毫米波雷达以及左侧毫米波雷达或右侧毫米波雷达检测到的雷达数据中的障碍物分别与所述智能汽车之间的至少一个雷达数据距离,以及确定广角摄像头、宽角摄像头和窄角摄像头采集的视觉数据中的障碍物分别与所述智能汽车之间的至少一个视觉数据距离;
确定所述至少一个雷达数据距离与所述至少一个视觉数据距离中每个视觉数据距离的差值,得到至少一个差值;
当所述至少一个差值中存在小于或等于第一差值阈值的差值时,确定所述障碍物满足障碍物识别条件。
7.如权利要求1所述的方法,其特征在于,所述当检测到所述智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定所述障碍物满足障碍物识别条件,包括:
当检测到所述智能汽车行驶方向上的第三检测区域内存在障碍物时,确定前向毫米波雷达检测到的雷达数据中的障碍物与所述智能汽车之间的第七雷达数据距离,以及确定宽角摄像头采集的第二视觉数据中的障碍物与所述智能汽车之间的第七视觉数据距离,以及窄角摄像头采集的第三视觉数据中的障碍物与所述智能汽车之间的第八视觉数据距离;
当所述第七雷达数据距离、所述第七视觉数据距离和所述第八视觉数据距离均大于第二距离阈值且小于第三距离阈值时,确定所述第七雷达数据距离与所述第七视觉数据距离的第十六差值,以及所述第七雷达数据距离与所述第八视觉数据距离的第十七差值;
当所述第十六差值和/或第十七差值小于或等于第二差值阈值时,确定所述障碍物满足障碍物识别条件;
当所述第七雷达数据距离、所述第七视觉数据距离和所述第八视觉数据距离均大于或等于所述第三距离阈值时,确定所述第七雷达数据距离与所述第八视觉数据距离的第十八差值;
当所述第十八差值小于或等于第三差值阈值时,确定所述障碍物满足障碍物识别条件。
8.一种障碍物的识别装置,其特征在于,所述装置包括:
检测模块,用于通过智能汽车安装的至少一个摄像头和安装的至少一个毫米波雷达检测所述智能汽车行驶方向上是否存在障碍物,所述至少一个摄像头包括第一采集距离的广角摄像头、第二采集距离的宽角摄像头和第三采集距离的窄角摄像头,所述至少一个毫米波雷达包括安装在所述智能汽车车头左侧的左侧毫米波雷达、安装在所述智能汽车车头右侧的右侧毫米波雷达和安装在所述智能汽车车头正前方的前向毫米波雷达,所述障碍物包括有效障碍物和无效障碍物,所述障碍物出现在所述智能汽车当前行驶车道上,或当前行驶车道的相邻车道上;
确定模块,用于当检测到所述智能汽车行驶方向上存在障碍物时,如果障碍物的至少一个雷达数据距离与至少一个视觉数据距离之间的差值中存在至少一个差值小于或等于差值阈值时,确定所述障碍物满足障碍物识别条件,所述至少一个雷达数据距离为通过所述至少一个毫米波雷达获取的至少一个雷达数据中的障碍物与所述智能汽车之间的距离,所述至少一个视距数据距离为所述至少一个摄像头获取的至少一个视觉数据中的障碍物与所述智能汽车之间的距离,所述障碍物满足障碍物识别条件是指确定的障碍物为有效障碍物;
识别模块,用于当所述障碍物满足障碍物识别条件时,识别所述障碍物。
9.如权利要求8所述的装置,其特征在于,所述检测模块包括:
获取子模块,用于通过所述广角摄像头获取所述智能汽车行驶方向上当前车道和相邻车道的第一采集距离内的第一视觉数据,通过所述宽角摄像头获取所述当前车道和所述相邻车道的第二采集距离内的第二视觉数据,通过所述窄角摄像头获取所述当前车道和所述相邻车道的第三采集距离内的第三视觉数据,并通过所述左侧毫米波雷达获取所述智能汽车行驶方向的左前方车道区域的雷达数据,通过所述右侧毫米波雷达获取所述智能汽车行驶方向的右前方车道区域的雷达数据、通过所述前向毫米波雷达获取所述智能汽车行驶方向上当前车道区域的雷达数据;
检测子模块,用于从所述第一视觉数据、所述第二视觉数据、所述第三视觉数据、所述前向毫米波雷达获取的雷达数据、所述左侧毫米波雷达获取的雷达数据和所述右侧毫米波雷达中分别检测所述智能汽车行驶方向上是否存在障碍物。
10.一种计算机可读存储介质,其特征在于,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811564404.8A CN109581358B (zh) | 2018-12-20 | 2018-12-20 | 障碍物的识别方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811564404.8A CN109581358B (zh) | 2018-12-20 | 2018-12-20 | 障碍物的识别方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109581358A CN109581358A (zh) | 2019-04-05 |
CN109581358B true CN109581358B (zh) | 2021-08-31 |
Family
ID=65930271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811564404.8A Active CN109581358B (zh) | 2018-12-20 | 2018-12-20 | 障碍物的识别方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109581358B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110341621B (zh) * | 2019-07-10 | 2021-02-19 | 北京百度网讯科技有限公司 | 一种障碍物检测方法及装置 |
CN110850413A (zh) * | 2019-11-26 | 2020-02-28 | 奇瑞汽车股份有限公司 | 一种汽车前方障碍物检测方法和系统 |
CN111175735B (zh) * | 2019-12-31 | 2022-05-20 | 苏州豪米波技术有限公司 | 一种抑制雷达监测系统误报的方法 |
CN111516605B (zh) * | 2020-04-28 | 2021-07-27 | 上汽大众汽车有限公司 | 多传感器监控设备及监控方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002098754A (ja) * | 2000-09-22 | 2002-04-05 | Fujitsu Ten Ltd | 車両用レーダ装置 |
CN104965202A (zh) * | 2015-06-18 | 2015-10-07 | 奇瑞汽车股份有限公司 | 障碍物探测方法和装置 |
CN105522998A (zh) * | 2014-10-15 | 2016-04-27 | 本田技研工业株式会社 | 物体识别装置 |
CN106291535A (zh) * | 2016-07-21 | 2017-01-04 | 触景无限科技(北京)有限公司 | 一种障碍物检测装置、机器人及避障系统 |
CN108475469A (zh) * | 2016-01-22 | 2018-08-31 | 日产自动车株式会社 | 车辆的驾驶辅助控制方法以及控制装置 |
CN108872991A (zh) * | 2018-05-04 | 2018-11-23 | 上海西井信息科技有限公司 | 目标物检测与识别方法、装置、电子设备、存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006258497A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 車両用物体認識装置 |
JP2007024590A (ja) * | 2005-07-13 | 2007-02-01 | Toyota Motor Corp | 物体検出装置 |
JP2008116357A (ja) * | 2006-11-06 | 2008-05-22 | Toyota Motor Corp | 物体検出装置 |
JP4858574B2 (ja) * | 2009-05-19 | 2012-01-18 | トヨタ自動車株式会社 | 物体検出装置 |
WO2015125022A2 (en) * | 2014-02-20 | 2015-08-27 | Mobileye Vision Technologies Ltd. | Navigation based on radar-cued visual imaging |
CN107757583A (zh) * | 2017-10-13 | 2018-03-06 | 奇瑞汽车股份有限公司 | 一种低速行车主动制动方法和系统 |
-
2018
- 2018-12-20 CN CN201811564404.8A patent/CN109581358B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002098754A (ja) * | 2000-09-22 | 2002-04-05 | Fujitsu Ten Ltd | 車両用レーダ装置 |
CN105522998A (zh) * | 2014-10-15 | 2016-04-27 | 本田技研工业株式会社 | 物体识别装置 |
CN104965202A (zh) * | 2015-06-18 | 2015-10-07 | 奇瑞汽车股份有限公司 | 障碍物探测方法和装置 |
CN108475469A (zh) * | 2016-01-22 | 2018-08-31 | 日产自动车株式会社 | 车辆的驾驶辅助控制方法以及控制装置 |
CN106291535A (zh) * | 2016-07-21 | 2017-01-04 | 触景无限科技(北京)有限公司 | 一种障碍物检测装置、机器人及避障系统 |
CN108872991A (zh) * | 2018-05-04 | 2018-11-23 | 上海西井信息科技有限公司 | 目标物检测与识别方法、装置、电子设备、存储介质 |
Non-Patent Citations (1)
Title |
---|
"基于测距雷达和机器视觉数据融合的前方车辆检测系统";庞成;《中国优秀硕士学位论文全文数据库信息科技辑》;20160815(第8期);I138-879 * |
Also Published As
Publication number | Publication date |
---|---|
CN109581358A (zh) | 2019-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109581358B (zh) | 障碍物的识别方法、装置及存储介质 | |
CN109492566B (zh) | 车道位置信息获取方法、装置及存储介质 | |
CN109532845B (zh) | 智能汽车的控制方法、装置及存储介质 | |
CN108860141B (zh) | 泊车方法、装置及存储介质 | |
CN109298719B (zh) | 智能汽车的接管方法、装置及存储介质 | |
CN110979318B (zh) | 车道信息获取方法、装置、自动驾驶车辆及存储介质 | |
CN110570687B (zh) | Agv的控制方法、装置及存储介质 | |
CN109445425B (zh) | 自动驾驶系统的性能检测方法、装置及存储介质 | |
CN110751854B (zh) | 汽车的停车指引方法、装置及存储介质 | |
CN109409301B (zh) | 交通信号灯的信息获取方法、装置及存储介质 | |
CN111016888A (zh) | 汽车的泊车控制方法、装置及存储介质 | |
CN110956847B (zh) | 车位的识别方法、装置及存储介质 | |
CN109318906B (zh) | 智能汽车的接管检测方法、装置及存储介质 | |
CN109334641B (zh) | 智能汽车的驻车制动方法、装置及存储介质 | |
KR20130053137A (ko) | 이동 단말기 및 이동 단말기의 제어 방법 | |
CN109130854B (zh) | 限速提醒方法、装置及存储介质 | |
CN111361550B (zh) | 车位的识别方法、装置及存储介质 | |
CN114332821A (zh) | 决策信息获取方法、装置、终端及存储介质 | |
CN112590793B (zh) | 汽车的变道控制方法、装置及计算机存储介质 | |
CN111010537B (zh) | 车辆控制方法、装置、终端及存储介质 | |
CN109484480B (zh) | 汽车的控制方法、装置及存储介质 | |
CN116853240A (zh) | 障碍物的预警方法、装置、设备及存储介质 | |
CN110775056A (zh) | 基于雷达探测的车辆行驶方法、装置、终端及介质 | |
CN111619556B (zh) | 汽车的避障控制方法、装置及存储介质 | |
CN110544386A (zh) | 车位识别方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |