CN111582080B - 车辆360度环视监控实现方法及装置 - Google Patents
车辆360度环视监控实现方法及装置 Download PDFInfo
- Publication number
- CN111582080B CN111582080B CN202010334323.XA CN202010334323A CN111582080B CN 111582080 B CN111582080 B CN 111582080B CN 202010334323 A CN202010334323 A CN 202010334323A CN 111582080 B CN111582080 B CN 111582080B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- around
- panoramic
- target vehicle
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 90
- 238000013507 mapping Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000013519 translation Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 239000004744 fabric Substances 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 2
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 2
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G06T3/047—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明实施例提供一种车辆360度环视监控实现方法及装置，所述方法包括：基于三维全景环视系统，获取目标车辆周围环境的全景环视拼接图像；对所述全景环视拼接图像进行行人检测，获得行人检测框；根据所述行人检测框确定行人的位置点，根据所述行人的位置点计算行人与所述目标车辆间的实际距离；根据所述实际距离进行行人监控。本发明实施例通过利用三维全景环视系统获取车辆周围环境的全景环视拼接图像，并利用基于深度学习的神经网络对全景环视拼接图像进行行人检测，可以准确、实时、360°无盲区地监测车辆周围的情况，对车辆周围一定距离内的行人进行实时监测，提高了车辆盲区行人检测的精度。
Description
技术领域
本发明涉及图像处理和机器视觉技术领域，更具体地，涉及一种车辆360度环视监控实现方法及装置。
背景技术
随着科学进步以及人类生活水平提高，出行依赖交通工具，私家车越来越多的进入家庭，交通压力也越来越大。开车时有一个无法避免的问题，就是驾驶员在驾驶席上存在视野盲区，在行车过程中经常会因为视野缺失，发现不了即将发生的危险，酿成不期望的交通事故。有调查显示，由于视野盲区问题造成的交通事故占交通事故总数的90％以上。因此如何消除或者减少视野盲区成为关注的焦点。
目前，常用的检测方法有：基于先进驾驶辅助系统(Advanced Driver AssistantSystem，简称ADAS)的检测方法，即充分利用现代传感器技术，对汽车本身状态以及车身周围环境数据进行采集，进行静、动态物体的识别、侦测与追踪等技术上的处理，通过总线协议(汽车中一般使用的CAN总线)将数据传入行车电脑，分析车况、车速以及路况跟车距离等内外界因素，再第一时间提醒驾驶员可能发生的危险，并作出相应制动建议，降低危险和提高安全性的主动安全技术，但是目前基于ADAS的检测方法应用到车辆盲区检测时无法全面监测车身周围的环境，检测精度不高。
因此，如何全面监测车身周围的环境，提高车辆盲区行人检测方法的检测精度，仍然是本领域技术人员亟待解决的问题。
发明内容
为了解决或者至少部分地解决上述问题，本发明实施例提供一种车辆360度环视监控实现方法及装置。
第一方面，本发明实施例提供一种车辆360度环视监控实现方法，包括：
基于三维全景环视系统，获取目标车辆周围环境的全景环视拼接图像；
对所述全景环视拼接图像进行行人检测，获得行人检测框；
根据所述行人检测框确定行人的位置点，根据所述行人的位置点计算行人与所述目标车辆间的实际距离；
根据所述实际距离进行行人监控。
其中，所述基于三维全景环视系统，获取目标车辆周围环境的全景环视拼接图像，具体为：
使用所述三维全景环视系统中的四个鱼眼摄像头分别对棋盘格标定布进行拍摄，对每个所述鱼眼摄像头进行标定，并计算每个所述鱼眼摄像头的内外参数，所述内外参数包括鱼眼摄像头焦距、主点坐标、外参旋转矩阵、外参平移矩阵以及畸变系数；
基于每个所述鱼眼摄像头的内外参数对所拍摄的鱼眼图像进行去除畸变处理；
对所述目标车辆的周围环境进行3D重建，获得目标车辆周围环境的三维球面模型；
将去畸变处理后的四个鱼眼摄像头所拍摄的鱼眼图像映射到所述目标车辆周围环境的三维球面模型上，获得目标车辆周围环境的全景环视拼接图像；
其中，所述三维全景环视系统中的四个鱼眼摄像头分别安置在车头中央、左右后视镜和车尾中央的位置，并且，所述四个鱼眼摄像头的角度间存在重合部分。
其中，对所述全景环视拼接图像进行行人检测，获得行人检测框，具体为：
利用基于CornerNet网络的成对关键点目标检测算法对所述全景环视拼接图像进行行人检测，获得行人检测框。
其中，根据所述行人检测框确定行人的位置点，根据所述行人的位置点计算行人与所述目标车辆间的实际距离，具体为：
将所述行人检测框的底部作为行人与地面的交线，取所述行人检测框的左下角点作为行人的位置点；
确定所述行人的位置点在图像坐标系下的坐标，将所述行人的位置点在图像坐标系下的坐标转换为行人的位置点在世界坐标系下的坐标；
根据所述行人的位置点在世界坐标系下的坐标确定行人与所述目标车辆间的纵向距离和横向距离；
根据所述纵向距离和横向距离计算行人与所述目标车辆间的实际距离。
其中，根据所述实际距离进行行人监控，具体为：
将行人与所述目标车辆间的实际距离实时显示在每一个行人检测框旁；
当所述实际距离小于预先设定的阈值时，进行声光报警，生成并上传对应的报警记录。
其中，将所述行人的位置点在图像坐标系下的坐标转换为行人的位置点在世界坐标系下的坐标，具体为：
所述行人的位置点在图像坐标系下的坐标为(u,v)，所述行人的位置点在世界坐标系下的坐标为(Xw,Yw,Zw)；
依据下述公式将所述行人的位置点在图像坐标系下的坐标转换为所述行人的位置点在世界坐标系下的坐标：
其中，fx、fy为与所述行人的位置点对应的鱼眼摄像头的焦距，(cx,cy)为与所述行人的位置点对应的鱼眼摄像头的主点坐标，Zc＝M2[2]/M1[2]，其中，M2＝R-1*T，R为与所述行人的位置点对应的鱼眼摄像头的外参旋转矩阵，T为与所述行人的位置点对应的鱼眼摄像头的外参平移矩阵。
其中，根据所述行人的位置点在世界坐标系下的坐标确定行人与所述目标车辆间的纵向距离和横向距离，具体为：
利用如下公式计算行人与所述目标车辆间的纵向距离和横向距离：
其中，VD为纵向距离，HD为横向距离，f为鱼眼摄像头焦距，H为鱼眼摄像头高度，θ为鱼眼摄像头安装时与水平方向的俯仰角，cx和cy为主点坐标，(x,y)为行人的位置点在世界坐标系下的坐标。
第二方面，本发明实施例提供一种车辆360度环视监控实现装置，包括：
全景图像获取模块，用于基于三维全景环视系统，获取目标车辆周围环境的全景环视拼接图像；
行人检测模块，用于对所述全景环视拼接图像进行行人检测，获得行人检测框；
距离计算模块，用于根据所述行人检测框确定行人的位置点，根据所述行人的位置点计算行人与所述目标车辆间的实际距离；
监控模块，用于根据所述实际距离进行行人监控。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的车辆360度环视监控实现方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的车辆360度环视监控实现方法的步骤。
本发明实施例提供的车辆360度环视监控实现方法及装置，通过利用三维全景环视系统获取车辆周围环境的全景环视拼接图像，并利用基于深度学习的神经网络对全景环视拼接图像进行行人检测，可以准确、实时、360°无盲区地监测车辆周围的情况，对车辆周围一定距离内的行人进行实时监测，提高了车辆盲区行人检测的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的车辆360度环视监控实现方法的流程示意图；
图2为本发明实施例提供的所述基于三维全景环视系统，获取目标车辆周围环境的全景环视拼接图像的步骤的流程示意图；
图3为本发明实施例提供的根据所述行人检测框确定行人的位置点，根据所述行人的位置点计算行人与所述目标车辆间的实际距离的步骤的流程示意图；
图4为本发明实施例提供的车辆360度环视监控实现装置的结构示意图；
图5为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的车辆360度环视监控实现方法的流程示意图，所述方法包括：
步骤100、基于三维全景环视系统，获取目标车辆周围环境的全景环视拼接图像；
具体地，本发明实施例借助三维全景环视系统来实现全面监测车身周围的环境，提高车辆盲区行人检测方法的检测精度。
三维全景环视系统(3dimensional Surround View Monitor，简称为3D SVM)是在SVM系统方案上进行改进的系统，在机器视觉和计算机制图领域的研究中实现将车身周围环境全景和一个三维模型小车放置在三维环境中，在同一个场景下设置的四个配置相同的摄像头系统中，虚拟一个位置、角度可以连续调节的虚拟摄像头来得到车辆周围环境的全景环视拼接图像。三维全景环视系统硬件单元包括了：DVR记录仪、四个鱼眼摄像头、显示屏以及棋盘格标定布。
全景环视拼接图像能给驾驶员提供更直观真实全面的车辆周围环境信息，汽车驾驶员可以在汽车启动时通过拖动显示屏上的全景环视拼接图像详细观察车身周围情况，以免意外发生。驾驶员在驾驶过程中可以按照个人开车习惯设定观察视角，从而可以消除视觉盲区，辅助驾驶并提醒驾驶员注意车身周围安全，有效地避免因为视野盲区而存在的潜在行车危险，如车身剐蹭、碾压或碰撞行人等。
步骤101、对所述全景环视拼接图像进行行人检测，获得行人检测框；
具体地，对所述全景环视拼接图像进行行人检测，输出行人检测框，行人检测框是指一个刚好可以框住行人的矩形框。
步骤102、根据所述行人检测框确定行人的位置点，根据所述行人的位置点计算行人与所述目标车辆间的实际距离；
具体地，将所述行人检测框的底部作为行人与地面的交线，取所述行人检测框的左下角点作为行人的位置点；由于此时行人的位置点是在图像坐标系下确定的，要计算行人与目标车辆间的实际距离还需要将图像坐标系下的坐标转换为世界坐标系下的坐标，然后根据世界坐标系下的坐标计算行人与目标车辆间的实际距离。
步骤103、根据所述实际距离进行行人监控。
具体地，根据所述实际距离进行行人监控，当行人与车辆距离在一定阈值范围内时，说明行人处于车辆盲区，此时可以进行声光报警，生成并上传对应的报警记录，从而可以避免驾驶员变换车道时可能引发的行人碰撞。
在一个实施例中，根据所述实际距离进行行人监控，具体为：
将行人与所述目标车辆间的实际距离实时显示在每一个行人检测框旁；
当所述实际距离小于预先设定的阈值时，进行声光报警，生成并上传对应的报警记录。
报警记录的内容如下：报警时间(日期和时分秒)、地点(GPS经纬度)、报警时刻照片(摄像头拍摄照片)、报警时刻小视频。
本发明实施例提供的本发明实施例提供的车辆360度环视监控实现方法，通过利用三维全景环视系统获取车辆周围环境的全景环视拼接图像，并利用基于深度学习的神经网络对全景环视拼接图像的进行行人检测，可以准确、实时、360°无盲区地监测车辆周围的情况，对车辆周围一定距离内的行人进行实时监测，提高了车辆盲区行人检测的精度。
基于上述实施例的内容，如图2所示，所述基于三维全景环视系统，获取目标车辆周围环境的全景环视拼接图像，具体包括：
步骤200、使用所述三维全景环视系统中的四个鱼眼摄像头分别对棋盘格标定布进行拍摄，对每个所述鱼眼摄像头进行标定，并计算每个所述鱼眼摄像头的内外参数，所述内外参数包括鱼眼摄像头焦距、主点坐标、外参旋转矩阵、外参平移矩阵以及畸变系数；
具体地，所述三维全景环视系统中的四个鱼眼摄像头分别安置在车头中央、左右后视镜和车尾中央的位置，并且，所述四个鱼眼摄像头的角度间存在重合部分。
使用所述三维全景环视系统中的四个鱼眼摄像头分别对棋盘格标定布进行拍摄，对每个所述鱼眼摄像头进行标定，并计算每个所述鱼眼摄像头的内外参数，所述内外参数包括鱼眼摄像头焦距fx、fy，主点坐标(cx,cy)，外参旋转矩阵R，外参平移矩阵T以及畸变系数[k1,k2,p1,p2,k3]。
步骤201、基于每个所述鱼眼摄像头的内外参数对所拍摄的鱼眼图像进行去除畸变处理；
具体地，由于鱼眼摄像头存在一定的畸变，故对每个鱼眼摄像头所拍摄的鱼眼图像进行去除畸变的操作，得到理想相机下的视频图像；
其中，从理想相机中的点到畸变点的对应关系如下：
u′＝x*(1+k1*r2+k2*r4+k3*r6)+2*p1*x*y+p2*(r2+2x2)
v′＝y*(1+k1*r2+k2*r4+k3*r6)+2*p2*x*y+p2*(r2+2y2)
式中，(u,v)为理想相机中的点，u’和v’是畸变后的点，fx、fy为鱼眼摄像头焦距，(cx,cy)为主点坐标，k1,k2,p1,p2,k3为畸变系数；
通过上述过程的逆过程，就能从畸变的实体相机中的图像坐标系中的坐标推出对应的理想相机中的图像坐标系中的坐标，达到去畸变及修正测距误差的目的。
步骤202、对所述目标车辆的周围环境进行3D重建，获得目标车辆周围环境的三维球面模型；
具体地，利用物体的深度信息对目标车辆的周围环境进行3D重建，将目标车辆作为载体，假设载体周围部分是一个碗装3D曲面上，将鱼眼摄像头采集的图像投影到该碗装3D曲面上，载体处于碗装3D曲面的底部，从而获得目标车辆周围环境的三维球面模型。
三维球面模型是一个碗装曲面，主要分为两部分：地平面与部分球面。离载体较近的是平面部分，距离远的是球曲面。近距物体投影到平面，远距物体投影到曲面上，有效的消除了2D环视中的拉伸问题。进一步地，为了使用OpenGL对三维球面模型进行渲染，需要先按照OpenGL的渲染规则将碗装曲面进行网状栅格化。
步骤203、将去畸变处理后的四个鱼眼摄像头所拍摄的鱼眼图像映射到所述目标车辆周围环境的三维球面模型上，获得目标车辆周围环境的全景环视拼接图像；
具体地，利用OpenGL的纹理映射功能将去畸变处理后的四个鱼眼摄像头所拍摄的鱼眼图像映射到所述目标车辆周围环境的三维球面模型上。纹理映射又被称为纹理贴图，就是将纹理图中纹理坐标所确定的区域按一定的规划，映射到二维或者三维曲面上的过程。将鱼眼摄像头所捕获的原始鱼眼图像作为纹理图，将纹理图像划分为若干个小三角形，每个小三角形的顶点作为纹理坐标。当确定标定参数后，这些纹理坐标到三维曲面的映射规则也可以确定，因此图像纹理中的小三角形可以分别映射到对曲面分割的空间面上。当三角形分割的足够多时，就可以用很小的三角形平面代替该区域的曲面。纹理映射后的曲面结合视图变换可以逼真得渲染出各个角度的贴图效果，从而获得目标车辆周围环境的全景环视拼接图像。
本发明实施例提供的车辆360度环视监控实现方法，通过利用三维环视全景系统获得目标车辆周围环境的全景环视拼接图像，然后在全景环视拼接图像的基础上进行行人监控，可以准确、实时、360°无盲区地监测车辆周围的情况，有效地提高了车辆盲区行人检测的精度。
基于上述实施例的内容，对所述全景环视拼接图像进行行人检测，获得行人检测框，具体为：
利用基于CornerNet网络的成对关键点目标检测算法对所述全景环视拼接图像进行行人检测，获得行人检测框。
本实施例中，利用现有的基于CornerNet网络的成对关键点目标检测算法实现对全景环视拼接图像进行行人检测，得到行人检测框。CornerNet网络是一个深度学习神经网络。
基于上述实施例的内容，如图3所示，根据所述行人检测框确定行人的位置点，根据所述行人的位置点计算行人与所述目标车辆间的实际距离，具体包括：
步骤300、将所述行人检测框的底部作为行人与地面的交线，取所述行人检测框的左下角点作为行人的位置点；
步骤301、确定所述行人的位置点在图像坐标系下的坐标，将所述行人的位置点在图像坐标系下的坐标转换为行人的位置点在世界坐标系下的坐标；
具体地，(u,v)为图像坐标系中的一个点的坐标，该点在摄像坐标系中的坐标为(Xc,Yc,Zc)，该点在在世界坐标系中的坐标为(Xw,Yw,Zw)，R是外参旋转矩阵，T是外参平移矩阵；
该点从摄像机坐标系到世界坐标系的转换关系如下：
该点从图像坐标系到摄像坐标系的转换关系如下：
其中，
由上述公式(1)和公式(2)可得：
从公式(3)中可知，由于其他参数均已知，只要求出Zc，就可以根据(u,v)利用公式(3)计算出(Xw,Yw,Zw)。
由p-1*p＝E可反推图像坐标系转换到世界坐标系的过程：
由[u v 1]T第三行为1，可知 在最低点时认为Zw＝0，将Zw＝0代入，得到Zc＝M2[2]/M1[2]。
因此，将所述行人的位置点在图像坐标系下的坐标转换为行人的位置点在世界坐标系下的坐标，具体为：
所述行人的位置点在图像坐标系下的坐标为(u,v)，所述行人的位置点在世界坐标系下的坐标为(Xw,Yw,Zw)；
依据下述公式将所述行人的位置点在图像坐标系下的坐标转换为所述行人的位置点在世界坐标系下的坐标：
其中，fx、fy为与所述行人的位置点对应的鱼眼摄像头的焦距，(cx,cy)为与所述行人的位置点对应的鱼眼摄像头的主点坐标，Zc＝M2[2]/M1[2]，其中，M2＝R-1*T，R为与所述行人的位置点对应的鱼眼摄像头的外参旋转矩阵，T为与所述行人的位置点对应的鱼眼摄像头的外参平移矩阵。
步骤302、根据所述行人的位置点在世界坐标系下的坐标确定行人与所述目标车辆间的纵向距离和横向距离；
具体地，根据所述行人的位置点在世界坐标系下的坐标确定行人与所述目标车辆间的纵向距离和横向距离，具体为：
利用如下公式计算行人与所述目标车辆间的纵向距离和横向距离：
其中，VD为纵向距离，HD为横向距离，f为鱼眼摄像头焦距，H为鱼眼摄像头高度，θ为鱼眼摄像头安装时与水平方向的俯仰角，cx和cy为主点坐标，(x,y)为行人的位置点在世界坐标系下的坐标。
步骤303、根据所述纵向距离和横向距离计算行人与所述目标车辆间的实际距离。
具体地，实际距离
本发明实施例提供的车辆360度环视监控实现方法，通过采用上述计算行人与目标车辆间的实际距离，可以准确、实时、360°无盲区地监测车辆周围的行人，提高了车辆盲区行人检测的精度。
如图4所示，为本发明实施例提供的车辆360度环视监控实现装置的结构示意图，包括：
全景图像获取模块410，用于基于三维全景环视系统，获取目标车辆周围环境的全景环视拼接图像；
具体地，全景图像获取模块410借助三维全景环视系统来实现全面监测车身周围的环境，提高车辆盲区行人检测方法的检测精度。
三维全景环视系统(3dimensional Surround View Monitor，简称为3D SVM)是在SVM系统方案上进行改进的系统，在机器视觉和计算机制图领域的研究中实现将车身周围环境全景和一个三维模型小车放置在三维环境中，在同一个场景下设置的四个配置相同的摄像头系统中，虚拟一个位置、角度可以连续调节的虚拟摄像头来得到车辆周围环境的全景环视拼接图像。三维全景环视系统硬件单元包括了：DVR记录仪、四个鱼眼摄像头、显示屏以及棋盘格标定布。
全景环视拼接图像能给驾驶员提供更直观真实全面的车辆周围环境信息，汽车驾驶员可以在汽车启动时通过拖动显示屏上的全景环视拼接图像详细观察车身周围情况，以免意外发生。驾驶员在驾驶过程中可以按照个人开车习惯设定观察视角，从而可以消除视觉盲区，辅助驾驶并提醒驾驶员注意车身周围安全，有效地避免因为视野盲区而存在的潜在行车危险，如车身剐蹭、碾压或碰撞行人等。
行人检测模块420，用于对所述全景环视拼接图像进行行人检测，获得行人检测框；
具体地，行人检测模块420对所述全景环视拼接图像进行行人检测，输出行人检测框，行人检测框是指一个刚好可以框住行人的矩形框。
距离计算模块430，用于根据所述行人检测框确定行人的位置点，根据所述行人的位置点计算行人与所述目标车辆间的实际距离；
具体地，距离计算模块430将所述行人检测框的底部作为行人与地面的交线，取所述行人检测框的左下角点作为行人的位置点；由于此时行人的位置点是在图像坐标系下确定的，要计算行人与目标车辆间的实际距离还需要将图像坐标系下的坐标转换为世界坐标系下的坐标，然后距离计算模块430根据世界坐标系下的坐标计算行人与目标车辆间的实际距离。
监控模块440，用于根据所述实际距离进行行人监控。
具体地，监控模块440根据所述实际距离进行行人监控，当行人与车辆距离在一定阈值范围内时，说明行人处于车辆盲区，此时可以进行声光报警，生成并上传对应的报警记录，从而可以避免驾驶员变换车道时可能引发的行人碰撞。
在一个实施例中，监控模块440具体用于：
将行人与所述目标车辆间的实际距离实时显示在每一个行人检测框旁；
当所述实际距离小于预先设定的阈值时，进行声光报警，生成并上传对应的报警记录。
报警记录的内容如下：报警时间(日期和时分秒)、地点(GPS经纬度)、报警时刻照片(摄像头拍摄照片)、报警时刻小视频。
本发明实施例提供的车辆360度环视监控实现装置，通过利用三维全景环视系统获取车辆周围环境的全景环视拼接图像，并利用基于深度学习的神经网络对全景环视拼接图像的进行行人检测，可以准确、实时、360°无盲区地监测车辆周围的情况，对车辆周围一定距离内的行人进行实时监测，提高了车辆盲区行人检测的精度。
图5为本发明实施例提供的电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储在存储器530上并可在处理器510上运行的计算机程序，以执行上述各方法实施例所提供的车辆360度环视监控实现方法，例如包括：基于三维全景环视系统，获取目标车辆周围环境的全景环视拼接图像；对所述全景环视拼接图像进行行人检测，获得行人检测框；根据所述行人检测框确定行人的位置点，根据所述行人的位置点计算行人与所述目标车辆间的实际距离；根据所述实际距离进行行人监控。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例提供的车辆360度环视监控实现方法，例如包括：基于三维全景环视系统，获取目标车辆周围环境的全景环视拼接图像；对所述全景环视拼接图像进行行人检测，获得行人检测框；根据所述行人检测框确定行人的位置点，根据所述行人的位置点计算行人与所述目标车辆间的实际距离；根据所述实际距离进行行人监控。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种车辆360度环视监控实现方法，其特征在于，包括：
基于三维全景环视系统，获取目标车辆周围环境的全景环视拼接图像；
对所述全景环视拼接图像进行行人检测，获得行人检测框；
根据所述行人检测框确定行人的位置点，根据所述行人的位置点计算行人与所述目标车辆间的实际距离；
根据所述实际距离进行行人监控；
所述基于三维全景环视系统，获取目标车辆周围环境的全景环视拼接图像，具体为：
使用所述三维全景环视系统中的四个鱼眼摄像头分别对棋盘格标定布进行拍摄，对每个所述鱼眼摄像头进行标定，并计算每个所述鱼眼摄像头的内外参数，所述内外参数包括鱼眼摄像头焦距、主点坐标、外参旋转矩阵、外参平移矩阵以及畸变系数；
基于每个所述鱼眼摄像头的内外参数对所拍摄的鱼眼图像进行去除畸变处理；
对所述目标车辆的周围环境进行3D重建，获得目标车辆周围环境的三维球面模型；
将去畸变处理后的四个鱼眼摄像头所拍摄的鱼眼图像映射到所述目标车辆周围环境的三维球面模型上，获得目标车辆周围环境的全景环视拼接图像；
其中，所述三维全景环视系统中的四个鱼眼摄像头分别安置在车头中央、左右后视镜和车尾中央的位置，并且，所述四个鱼眼摄像头的角度间存在重合部分；
其中，所述将去畸变处理后的四个鱼眼摄像头所拍摄的鱼眼图像映射到所述目标车辆周围环境的三维球面模型上，获得目标车辆周围环境的全景环视拼接图像，包括：
将去畸变处理后的四个鱼眼摄像头所拍摄的鱼眼图像作为纹理图，将所述纹理图划分为若干个小三角形，每个小三角形的顶点作为纹理坐标；
基于标定参数，确定所述纹理坐标到三维曲面的映射规则；
基于所述映射规则，将各所述小三角形分别映射到对曲面分割的空间面上，获得目标车辆周围环境的全景环视拼接图像。
2.根据权利要求1所述的车辆360度环视监控实现方法，其特征在于，对所述全景环视拼接图像进行行人检测，获得行人检测框，具体为：
利用基于CornerNet网络的成对关键点目标检测算法对所述全景环视拼接图像进行行人检测，获得行人检测框。
3.根据权利要求1所述的车辆360度环视监控实现方法，其特征在于，根据所述行人检测框确定行人的位置点，根据所述行人的位置点计算行人与所述目标车辆间的实际距离，具体为：
将所述行人检测框的底部作为行人与地面的交线，取所述行人检测框的左下角点作为行人的位置点；
确定所述行人的位置点在图像坐标系下的坐标，将所述行人的位置点在图像坐标系下的坐标转换为行人的位置点在世界坐标系下的坐标；
根据所述行人的位置点在世界坐标系下的坐标确定行人与所述目标车辆间的纵向距离和横向距离；
根据所述纵向距离和横向距离计算行人与所述目标车辆间的实际距离。
4.根据权利要求1所述的车辆360度环视监控实现方法，其特征在于，根据所述实际距离进行行人监控，具体为：
将行人与所述目标车辆间的实际距离实时显示在每一个行人检测框旁；
当所述实际距离小于预先设定的阈值时，进行声光报警，生成并上传对应的报警记录。
5.根据权利要求3所述的车辆360度环视监控实现方法，其特征在于，将所述行人的位置点在图像坐标系下的坐标转换为行人的位置点在世界坐标系下的坐标，具体为：
所述行人的位置点在图像坐标系下的坐标为(u,v)，所述行人的位置点在世界坐标系下的坐标为(Xw,Yw,Zw)；
依据下述公式将所述行人的位置点在图像坐标系下的坐标转换为所述行人的位置点在世界坐标系下的坐标：
其中，fx、fy为与所述行人的位置点对应的鱼眼摄像头的焦距，(cx,cy)为与所述行人的位置点对应的鱼眼摄像头的主点坐标，Zc＝M2[2]/M1[2]，其中，M2＝R-1*T，R为与所述行人的位置点对应的鱼眼摄像头的外参旋转矩阵，T为与所述行人的位置点对应的鱼眼摄像头的外参平移矩阵。
6.根据权利要求3所述的车辆360度环视监控实现方法，其特征在于，根据所述行人的位置点在世界坐标系下的坐标确定行人与所述目标车辆间的纵向距离和横向距离，具体为：
利用如下公式计算行人与所述目标车辆间的纵向距离和横向距离：
其中，VD为纵向距离，HD为横向距离，f为鱼眼摄像头焦距，H为鱼眼摄像头高度，θ为鱼眼摄像头安装时与水平方向的俯仰角，cx和cy为主点坐标，(x,y)为行人的位置点在世界坐标系下的坐标。
7.一种车辆360度环视监控实现装置，其特征在于，包括：
全景图像获取模块，用于基于三维全景环视系统，获取目标车辆周围环境的全景环视拼接图像；
行人检测模块，用于对所述全景环视拼接图像进行行人检测，获得行人检测框；
距离计算模块，用于根据所述行人检测框确定行人的位置点，根据所述行人的位置点计算行人与所述目标车辆间的实际距离；
监控模块，用于根据所述实际距离进行行人监控；
所述基于三维全景环视系统，获取目标车辆周围环境的全景环视拼接图像，具体为：
使用所述三维全景环视系统中的四个鱼眼摄像头分别对棋盘格标定布进行拍摄，对每个所述鱼眼摄像头进行标定，并计算每个所述鱼眼摄像头的内外参数，所述内外参数包括鱼眼摄像头焦距、主点坐标、外参旋转矩阵、外参平移矩阵以及畸变系数；
基于每个所述鱼眼摄像头的内外参数对所拍摄的鱼眼图像进行去除畸变处理；
对所述目标车辆的周围环境进行3D重建，获得目标车辆周围环境的三维球面模型；
将去畸变处理后的四个鱼眼摄像头所拍摄的鱼眼图像映射到所述目标车辆周围环境的三维球面模型上，获得目标车辆周围环境的全景环视拼接图像；
其中，所述三维全景环视系统中的四个鱼眼摄像头分别安置在车头中央、左右后视镜和车尾中央的位置，并且，所述四个鱼眼摄像头的角度间存在重合部分；
其中，所述将去畸变处理后的四个鱼眼摄像头所拍摄的鱼眼图像映射到所述目标车辆周围环境的三维球面模型上，获得目标车辆周围环境的全景环视拼接图像，包括：
将去畸变处理后的四个鱼眼摄像头所拍摄的鱼眼图像作为纹理图，将所述纹理图划分为若干个小三角形，每个小三角形的顶点作为纹理坐标；
基于标定参数，确定所述纹理坐标到三维曲面的映射规则；
基于所述映射规则，将各所述小三角形分别映射到对曲面分割的空间面上，获得目标车辆周围环境的全景环视拼接图像。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述车辆360度环视监控实现方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述车辆360度环视监控实现方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010334323.XA CN111582080B (zh) | 2020-04-24 | 2020-04-24 | 车辆360度环视监控实现方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010334323.XA CN111582080B (zh) | 2020-04-24 | 2020-04-24 | 车辆360度环视监控实现方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111582080A CN111582080A (zh) | 2020-08-25 |
| CN111582080B true CN111582080B (zh) | 2023-08-08 |
Family
ID=72120655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010334323.XA Active CN111582080B (zh) | 2020-04-24 | 2020-04-24 | 车辆360度环视监控实现方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111582080B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200064B (zh) * | 2020-09-30 | 2021-07-30 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN112488022A (zh) * | 2020-12-11 | 2021-03-12 | 武汉理工大学 | 一种环视全景监控方法、装置及系统 |
| CN112633258B (zh) * | 2021-03-05 | 2021-05-25 | 天津所托瑞安汽车科技有限公司 | 一种目标确定方法及装置、电子设备、计算机可读存储介质 |
| CN112801880A (zh) * | 2021-03-08 | 2021-05-14 | 广州敏视数码科技有限公司 | 一种车载全景图像成像与目标检测融合显示的方法 |
| CN113421449B (zh) * | 2021-06-17 | 2023-06-30 | 广州小鹏汽车科技有限公司 | 提示方法、车载终端及车辆 |
| CN113436164B (zh) * | 2021-06-23 | 2024-03-15 | 三一专用汽车有限责任公司 | 车底路况检测方法、装置及车辆 |
| CN113609945B (zh) * | 2021-07-27 | 2023-06-13 | 圆周率科技(常州)有限公司 | 一种图像检测方法和车辆 |
| CN114228617A (zh) * | 2021-12-28 | 2022-03-25 | 阿波罗智能技术(北京)有限公司 | 图像生成方法、装置、设备、存储介质和车辆 |
| CN117522766A (zh) * | 2022-07-29 | 2024-02-06 | 长沙智能驾驶研究院有限公司 | 障碍物提示方法、装置、设备、可读存储介质及程序产品 |
| CN115311241B (zh) * | 2022-08-16 | 2024-04-23 | 天地（常州）自动化股份有限公司 | 一种基于图像融合和特征增强的煤矿井下行人检测方法 |
| CN115578502B (zh) * | 2022-11-18 | 2023-04-07 | 杭州枕石智能科技有限公司 | 一种图像生成方法、装置、电子设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6009190A (en) * | 1997-08-01 | 1999-12-28 | Microsoft Corporation | Texture map construction method and apparatus for displaying panoramic image mosaics |
| CN104732542A (zh) * | 2015-03-27 | 2015-06-24 | 安徽省道一电子科技有限公司 | 基于多摄像头自标定的全景车辆安全系统的图像处理方法 |
| CN106375748A (zh) * | 2016-09-07 | 2017-02-01 | 深圳超多维科技有限公司 | 立体虚拟现实全景视图拼接方法、装置及电子设备 |
| CN106651767A (zh) * | 2016-12-30 | 2017-05-10 | 北京星辰美豆文化传播有限公司 | 一种获取全景图像的方法及装置 |
| JP2017108387A (ja) * | 2015-10-28 | 2017-06-15 | トッパノ カンパニ, リミテッド.Toppano Co., Ltd. | パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム |
| CN107256535A (zh) * | 2017-06-06 | 2017-10-17 | 斑马信息科技有限公司 | 全景环视图像的显示方法及装置 |
| CN108621948A (zh) * | 2018-06-26 | 2018-10-09 | 杭州车厘子智能科技有限公司 | 车辆全景环视系统及全景环视图像生成方法 |
| CN109348119A (zh) * | 2018-09-18 | 2019-02-15 | 成都易瞳科技有限公司 | 一种全景监控系统 |
| CN110378202A (zh) * | 2019-06-05 | 2019-10-25 | 魔视智能科技(上海)有限公司 | 一种基于鱼眼镜头的全方位行人碰撞预警方法 |
| CN110677599A (zh) * | 2019-09-30 | 2020-01-10 | 西安工程大学 | 一种重建360度全景视频图像的系统和方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104680501B (zh) * | 2013-12-03 | 2018-12-07 | 华为技术有限公司 | 图像拼接的方法及装置 |
| US20150325048A1 (en) * | 2014-05-06 | 2015-11-12 | Mobile R&D Inc. | Systems, methods, and computer-readable media for generating a composite scene of a real-world location and an object |
| TWI555379B (zh) * | 2015-11-06 | 2016-10-21 | 輿圖行動股份有限公司 | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 |
| CN106548446B (zh) * | 2016-09-29 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 一种在球面全景图像上贴图的方法及装置 |
| US20200074593A1 (en) * | 2017-03-01 | 2020-03-05 | Peking University Shenzhen Graduate School | Panoramic image mapping method, apparatus, and device |
-
2020
- 2020-04-24 CN CN202010334323.XA patent/CN111582080B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6009190A (en) * | 1997-08-01 | 1999-12-28 | Microsoft Corporation | Texture map construction method and apparatus for displaying panoramic image mosaics |
| CN104732542A (zh) * | 2015-03-27 | 2015-06-24 | 安徽省道一电子科技有限公司 | 基于多摄像头自标定的全景车辆安全系统的图像处理方法 |
| JP2017108387A (ja) * | 2015-10-28 | 2017-06-15 | トッパノ カンパニ, リミテッド.Toppano Co., Ltd. | パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム |
| CN106375748A (zh) * | 2016-09-07 | 2017-02-01 | 深圳超多维科技有限公司 | 立体虚拟现实全景视图拼接方法、装置及电子设备 |
| CN106651767A (zh) * | 2016-12-30 | 2017-05-10 | 北京星辰美豆文化传播有限公司 | 一种获取全景图像的方法及装置 |
| CN107256535A (zh) * | 2017-06-06 | 2017-10-17 | 斑马信息科技有限公司 | 全景环视图像的显示方法及装置 |
| CN108621948A (zh) * | 2018-06-26 | 2018-10-09 | 杭州车厘子智能科技有限公司 | 车辆全景环视系统及全景环视图像生成方法 |
| CN109348119A (zh) * | 2018-09-18 | 2019-02-15 | 成都易瞳科技有限公司 | 一种全景监控系统 |
| CN110378202A (zh) * | 2019-06-05 | 2019-10-25 | 魔视智能科技(上海)有限公司 | 一种基于鱼眼镜头的全方位行人碰撞预警方法 |
| CN110677599A (zh) * | 2019-09-30 | 2020-01-10 | 西安工程大学 | 一种重建360度全景视频图像的系统和方法 |
Non-Patent Citations (1)
| Title |
|---|
| Jinwen Hu ; Yihui Zhou ; Chunhui Zhao ; Quan Pan ; Kun Zhang ; Zhao Xu.《An application of panoramic mosaic in UAV aerial image》.《2017 13th IEEE International Conference on Control & Automation (ICCA)》.2017,1049-1053. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111582080A (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111582080B (zh) | 车辆360度环视监控实现方法及装置 | |
| WO2021004312A1 (zh) | 一种基于双目立体视觉系统的车辆智能测轨迹方法 | |
| KR102275310B1 (ko) | 자동차 주변의 장애물 검출 방법 | |
| CN111223038B (zh) | 一种车载环视图像的自动拼接方法及显示装置 | |
| JP5739584B2 (ja) | 車両周辺視角化のための３次元映像合成装置およびその方法 | |
| US8817079B2 (en) | Image processing apparatus and computer-readable recording medium | |
| CN106462996B (zh) | 无失真显示车辆周边环境的方法和装置 | |
| JP3871614B2 (ja) | 運転支援装置 | |
| JP6522630B2 (ja) | 車両の周辺部を表示するための方法と装置、並びに、ドライバー・アシスタント・システム | |
| JP2021170826A (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
| CN103854335B (zh) | 一种行车记录仪全景视频生成方法 | |
| JP2018531530A6 (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
| WO2019192145A1 (zh) | 全景图的视野调整方法及装置、存储介质、电子设备 | |
| CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
| CN108174089B (zh) | 基于双目摄像头的倒车影像拼接方法和装置 | |
| KR20170019793A (ko) | 어라운드뷰 제공 장치 및 방법 | |
| JP2023505891A (ja) | 環境のトポグラフィを測定するための方法 | |
| WO2021110497A1 (en) | Estimating a three-dimensional position of an object | |
| CN112825546A (zh) | 使用中间图像表面生成合成图像 | |
| CN116385504A (zh) | 一种基于无人机采集点云与图像配准的巡检、测距方法 | |
| CN116012805B (zh) | 目标感知方法、装置、计算机设备、存储介质 | |
| CN111762155B (zh) | 车用测距系统及方法 | |
| JP7196920B2 (ja) | 運転支援装置および運転支援方法、プログラム | |
| CN113313813A (zh) | 一种可主动预警的车载3d全景环视系统 | |
| CN112215033B (zh) | 车辆全景环视图像的生成方法、装置、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |