CN114734989A - 一种基于环视视觉的辅助泊车装置及方法 - Google Patents
一种基于环视视觉的辅助泊车装置及方法 Download PDFInfo
- Publication number
- CN114734989A CN114734989A CN202210390506.2A CN202210390506A CN114734989A CN 114734989 A CN114734989 A CN 114734989A CN 202210390506 A CN202210390506 A CN 202210390506A CN 114734989 A CN114734989 A CN 114734989A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- camera
- distance information
- microprocessor
- power supply
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 12
- 230000009466 transformation Effects 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 6
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 5
- 230000004888 barrier function Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 5
- 230000036544 posture Effects 0.000 abstract description 3
- 230000008859 change Effects 0.000 abstract description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于环视视觉的辅助泊车装置及方法，属于驾驶辅助技术领域，通过双目摄像头与环视图像拼接逆透视变换进行距离信息的数据融合，克服了传统单个摄像头加超声波雷达的辅助泊车方案对于盲点观测较为困难且驾驶员需要频繁更换姿势和调整视野来进行泊车的难点，将所有泊车所需的关于车辆与周围障碍物的位置信息以及车辆的预测行驶轨迹都通过车载显示屏显示给驾驶员，从而提高车辆的泊车辅助安全性。
Description
技术领域
本发明属于驾驶辅助技术领域，具体为一种基于环视视觉的辅助泊车装置及方法。
背景技术
在泊车工况下，由于驾驶员的位姿与车辆结构等因素，传统装配单一可视倒车摄像头与超声波雷达的车辆，在泊车过程中驾驶员常常需要调整姿势来确认视野盲区内是否有障碍物的存在或是否会与障碍物发生剐蹭，使得泊车过程十分不便。即使驾车多年的驾驶员也仅是在泊车时的路径规划选择上更优，并不能避免视野盲区内的障碍物。现有环视辅助泊车方法通常只是将环视鸟瞰图像呈现给驾驶员，在障碍物颜色与地面相近的情况下无法很好的辅助驾驶员进行泊车的路径规划。
发明内容
本发明提供了一种基于环视视觉的辅助泊车装置及方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明采用以下技术方案：
一种基于环视视觉的辅助泊车装置，包括：环视摄像头、车载显示器、存储器、微处理器、供电模块；所述微处理器与环视摄像头、车载显示器、存储器、供电模块为电性连接；所述供电模块与各单元连接负责给各单元供电；信号传输方向为所述环视摄像头将原始图像传输给存储器，所述微处理器从存储器中获取原始图像，将车辆实况鸟瞰图像和车辆与周围障碍物的位置信息呈现在车载显示器上；
以上所述装置中，所述环视摄像头分别安装于车辆前后和左右两侧，单独连接在微处理器的端口上，用于拍摄车辆四周的环视图像；
所述车载显示器可替换传统车载显示器，用于显示经过逆透视变换后的车辆实况鸟瞰图像和车辆与周围障碍物的位置信息；
所述存储器集成在ECU中用于存储微处理器处理前的各个环视图像以及处理后的鸟瞰图像；
所述微处理器可使用MCU，与环视摄像头、车载显示器、存储器、车载供电装置为电性连接，负责将各摄像头所摄图像进行拼接及逆透视变换，并将双目摄像头获取的障碍物与车辆之间的距离信息融合进环视鸟瞰图像进而呈现到车载显示器上；
所述供电模块为汽车车载电池直流供电模块，并直接连接在微处理器的供电端口上。
一种基于环视视觉的辅助泊车方法，包括以下步骤：
步骤1：通过环视摄像头拍摄车辆的环视图像；
步骤2：根据环视图像经过逆透视变换后的鸟瞰图像获取障碍物与车辆之间的第一距离信息；以及获取车辆的双目摄像头获取到的位于车辆周围的每一障碍物与车辆之间的第二距离信息；
步骤3：针对第一距离信息和第二距离信息进行数据融合，获得目标距离信息；
步骤4：以目标距离信息为依据，输出安全预警提示信息，将行车的预测轨迹可视化。
有益效果：本发明提供了一种基于环视视觉的辅助泊车装置及方法，通过双目摄像头与环视图像拼接逆透视变换进行距离信息的数据融合，克服了传统单个摄像头加超声波雷达的辅助泊车方案对于盲点观测较为困难且驾驶员需要频繁更换姿势和调整视野来进行泊车的难点，将所有泊车所需的关于车辆与周围障碍物的位置信息以及车辆的预测行驶轨迹都通过车载显示屏显示给驾驶员，从而提高车辆的泊车辅助安全性。
附图说明
图1为本发明实施例中装载于车辆上的环视摄像头的示意图；
图2为本发明实施例中各模块连接示意图；
图3为本发明方法的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明：
如图1和图2所示，一种基于环视视觉的辅助泊车装置，包括：环视摄像头、车载显示器、存储器、微处理器、供电模块；所述微处理器与环视摄像头、车载显示器、存储器、供电模块为电性连接；供电模块与各单元连接负责给各单元供电；信号传输方向为环视摄像头将原始图像传输给存储器，微处理器从存储器中获取原始图像，将将车辆实况鸟瞰图像和车辆与周围障碍物的位置信息呈现在车载显示器上；
以上所述装置中，所述环视摄像头分别安装于车辆前后和左右两侧，单独连接在微处理器的端口上，用于拍摄车辆四周的环视图像；
所述车载显示器可替换传统车载显示器，用于显示经过逆透视变换后的车辆实况鸟瞰图像；
所述存储器集成在ECU中用于存储微处理器处理前的各个环视图像以及处理后的鸟瞰图像；
所述微处理器可使用MCU，与环视摄像头、车载显示器、存储器、车载供电装置为电性连接。供电模块和微处理器电性连接，用于为微处理器供电；
所述供电模块为汽车车载电池直流供电模块，并直接连接在微处理器的供电端口上。
如图3所示，一种基于环视视觉的辅助泊车方法，包括以下步骤：
1.获取车辆上的环视摄像头所拍摄的环视图像
一般家用车选用四个摄像头的布置方案，若车辆轴距较大也可选用六个摄像头。优选的，这些摄像头采用搭载广角镜头的双目摄像头，用以利用这些摄像头获取到环绕车辆360度的环视图像。如图1所示车辆上装载有4组双目摄像头（摄像头1、摄像头2、摄像头3、摄像头4），具体的，摄像头1位于车身正前方，摄像头2位于车身左侧，摄像头3位于车身右侧，摄像头4位于车身正后方，四组摄像头均采用鱼眼摄像头，相较于普通摄像头，鱼眼摄像头能够采集到范围更广的车身周围环境的图像。
2.根据环视图像获取位于车辆周围障碍物与车辆之间的第一距离信息，以及获取双目摄像头获取到的位于车辆周围的障碍物与车辆之间的第二距离信息
特别的是，环绕车辆360度的环视图像只用到双目摄像头获取的单目图像即可，而后利用《计算机视觉中的多视图几何》中所述逆透视变换方法将其转换为鸟瞰图，再使用yolo目标识别算法获取到障碍物与车辆之间的第一距离信息。此外，由于双目摄像头可以根据图像匹配获取图像的深度信息，所以车载智能系统还可以获取车辆的双目摄像头获取到的位于车辆周围的每一障碍物与车辆直降的第二距离信息。需要说明的是，上述第一距离信息还可以包括障碍物与目标车身的之间的第一距离值，上述第二距离值还可以包括障碍物与目标车身点之间的第二距离值，其中，目标车身点可以为依据车辆目前位姿信息获取到的距离障碍物最近的车身点。
3.针对第一距离信息和第二距离信息进行基于置信度的距离信息数据融合，获得目标距离信息
使用卡尔曼滤波算法对车载智能系统获取的第一距离信息相匹配的标准距离预测值和预测噪声值以及获取第二距离信息相匹配的标准距离测量值和测量噪声值进行数据融合，从而获得更加精准的位于车辆周围的障碍物与车辆之间的距离，以此为依据输出相应的安全预警提示信息，进而提高了输出安全预警提示信息的可靠性。
4.以目标距离信息为依据，输出安全预警提示信息，将行车的预测轨迹可视化。
车载智能系统在车辆实况鸟瞰图上显示出各个障碍物与该车辆之间的距离信息，该距离信息用于表示在世界坐标系中该车辆与该障碍物之间的距离，当该距离信息所指示的距离小于预设距离时，车载智能系统输出安全预警提示信息。车载智能系统还可通过车轮转角等车辆位姿信息，将车辆的预测行驶轨迹叠加在环境鸟瞰图像上并在车载显示屏上显示，方便用户直观观察车辆周围障碍物的位置情况并作出路径规划。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下还可以做出若干改进，这些改进也应视为本发明的保护范围。
Claims (7)
1.一种基于环视视觉的辅助泊车装置，其特征在于，包括：环视摄像头、车载显示器、存储器、微处理器、供电模块；所述微处理器与环视摄像头、车载显示器、存储器、供电模块为电性连接；所述供电模块与各单元连接负责给各单元供电；所述环视摄像头将原始图像传输给存储器，所述微处理器从所述存储器中获取原始图像，将车辆实况鸟瞰图像和车辆与周围障碍物的位置信息呈现在车载显示器上。
2.根据权利要求1所述的基于环视视觉的辅助泊车装置，其特征在于，所述环视摄像头分别安装于车辆前后和左右两侧，并单独连接在微处理器的端口上，用于拍摄车辆四周的环视图像。
3.根据权利要求1或2所述的基于环视视觉的辅助泊车装置，其特征在于，所述环视摄像头位双目摄像头。
4.根据权利要求1所述的基于环视视觉的辅助泊车装置，其特征在于，所述车载显示器用于显示经过逆透视变换后的车辆实况鸟瞰图像。
5.根据权利要求1所述的基于环视视觉的辅助泊车装置，其特征在于，所述存储器用于存储微处理器处理前的各个环视图像以及处理后的鸟瞰图像。
6.根据权利要求1所述的基于环视视觉的辅助泊车装置，其特征在于，所述供电模块为汽车车载电池直流供电模块，并直接连接在微处理器的供电端口上。
7.一种基于环视视觉的辅助泊车方法，其特征在于，包括以下步骤：
步骤1：通过环视摄像头拍摄车辆的环视图像；
步骤2：根据环视图像经过逆透视变换后的鸟瞰图像获取障碍物与车辆之间的第一距离信息；以及获取车辆的双目摄像头获取到的位于车辆周围的每一障碍物与车辆直降的第二距离信息；
步骤3：针对第一距离信息和第二距离信息进行数据融合，获得目标距离信息；
步骤4：以目标距离信息为依据，输出安全预警提示信息，将行车的预测轨迹可视化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210390506.2A CN114734989A (zh) | 2022-04-14 | 2022-04-14 | 一种基于环视视觉的辅助泊车装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210390506.2A CN114734989A (zh) | 2022-04-14 | 2022-04-14 | 一种基于环视视觉的辅助泊车装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114734989A true CN114734989A (zh) | 2022-07-12 |
Family
ID=82281657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210390506.2A Pending CN114734989A (zh) | 2022-04-14 | 2022-04-14 | 一种基于环视视觉的辅助泊车装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114734989A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861316A (zh) * | 2023-02-27 | 2023-03-28 | 深圳佑驾创新科技有限公司 | 行人检测模型的训练方法及其装置、行人检测方法 |
-
2022
- 2022-04-14 CN CN202210390506.2A patent/CN114734989A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861316A (zh) * | 2023-02-27 | 2023-03-28 | 深圳佑驾创新科技有限公司 | 行人检测模型的训练方法及其装置、行人检测方法 |
| CN115861316B (zh) * | 2023-02-27 | 2023-09-29 | 深圳佑驾创新科技股份有限公司 | 行人检测模型的训练方法及其装置、行人检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11014561B2 (en) | Vehicle trailer hitch assist system | |
| US8199975B2 (en) | System and method for side vision detection of obstacles for vehicles | |
| US10558221B2 (en) | Method for assisting in a parking operation for a motor vehicle, driver assistance system and a motor vehicle | |
| US8044781B2 (en) | System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor | |
| KR100481248B1 (ko) | 주변화상을 운전자에게 제시하기 위한 화상 합성 장치 및 그를 이용한 표시 장치, 경고 장치 및 위치 인식 장치 | |
| US7012549B2 (en) | Parking assistance apparatus | |
| US6765607B2 (en) | Driving aiding system | |
| CN108765496A (zh) | 一种多视点汽车环视辅助驾驶系统及方法 | |
| US20190100145A1 (en) | Three-dimensional image driving assistance device | |
| CN103810686A (zh) | 无缝拼接全景辅助驾驶系统及方法 | |
| CN212220188U (zh) | 地下停车场融合定位系统 | |
| US20160094808A1 (en) | All-round view monitoring system for a motor vehicle | |
| KR20190047027A (ko) | 차량의 차량 주변 리어뷰 미러 조망을 제공하는 방법 | |
| CN210234807U (zh) | 一种拖挂车360°环视系统 | |
| CN109624854A (zh) | 一种适用于特种车辆的360°全景辅助可视系统 | |
| CN113320474A (zh) | 基于全景图像及人机交互的自动泊车方法及装置 | |
| CN112298040A (zh) | 一种基于透明a柱的辅助驾驶方法 | |
| CN114734989A (zh) | 一种基于环视视觉的辅助泊车装置及方法 | |
| CN206287929U (zh) | 一种3d全景泊车装置及系统 | |
| CN114937090A (zh) | 一种智能电子前后视镜系统 | |
| CN110884428A (zh) | 一种基于折反射全景相机的车载全景驾驶辅助装置及方法 | |
| CN114240769A (zh) | 一种图像处理方法以及装置 | |
| CN112406705B (zh) | 一种车载全景雷达监控系统 | |
| CN107878330B (zh) | 一种车辆底盘透视方法以及车辆底盘透视装置 | |
| CN107292818B (zh) | 一种基于环视相机的捕线器自动定位系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |