CN112798009B - 远程驾驶辅助显示方法及装置 - Google Patents
远程驾驶辅助显示方法及装置 Download PDFInfo
- Publication number
- CN112798009B CN112798009B CN202011555644.9A CN202011555644A CN112798009B CN 112798009 B CN112798009 B CN 112798009B CN 202011555644 A CN202011555644 A CN 202011555644A CN 112798009 B CN112798009 B CN 112798009B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- obstacle
- tractor
- information
- trailer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000003068 static effect Effects 0.000 claims abstract description 81
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000004888 barrier function Effects 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000001131 transforming effect Effects 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
- B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
- B60R11/0258—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for navigation systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Mechanical Engineering (AREA)
- Biodiversity & Conservation Biology (AREA)
- Atmospheric Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Ecology (AREA)
- Environmental & Geological Engineering (AREA)
- Environmental Sciences (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种远程驾驶辅助显示方法及装置,该方法包括:结合高精地图的信息、车辆的挂车与牵引车的相对角度、车辆的位置信息、朝向角和车辆感知到的障碍物信息,显示车辆的挂车和牵引车及车辆周围的障碍物和静态物。高精地图设置在远程驾驶端,车辆向远程驾驶端传输的仅有车辆的位置信息、朝向角和车辆感知到的障碍物信息等较小的数据量,因此减小了延迟,提高了远程驾驶员信息获取的实时性。且远程驾驶员可以直观地观察到车辆的牵引车和挂车,以及车辆周围的静态和动态物体,降低了远程驾驶员的操作难度。以及当周围物体距离牵引车或挂车较近时,显示距离值给远程驾驶员以预警提示,以避免牵引车或挂车与周围物体发生碰撞。
Description
技术领域
本发明涉及远程驾驶技术领域,更具体地说,涉及远程驾驶辅助显示方法及装置。
背景技术
目前,自动驾驶技术主要应用于港口运输、矿区采矿和封闭园区物流等场景。远程驾驶作为自动驾驶的技术补充,用于接管自动驾驶无法处理的工况,从而扩充自动驾驶的应用场景。现有车辆的远程驾驶实现,主要是通过摄像头反馈给远程驾驶员车辆周围信息,然后由远程操控员进行决策后发出控车指令来实现对车辆的控制。
现有车辆的远程驾驶方案存在以下问题:视频数据的数据量较大,导致视频在网络中传输存在较大延时,端到端的视频延时在百毫秒量级甚至以上,网络延时会影响信息获取的实时性,进而影响远程驾驶员的决策;以及安装在车辆上的摄像头角度固定,无法直观感知车辆的位置和姿态,特别是对于连接有挂车的牵引车,挂车与牵引车之间有角度,挂车角度和挂车姿态难以直观看到,增加了远程驾驶员的驾驶难度,容易引起挂车与周围物体的碰撞。
发明内容
有鉴于此,本发明提出一种远程驾驶辅助显示方法及装置,欲通过降低远程传输的数据量,减少延迟,进而提高远程驾驶员信息获取的实时性;以及降低远程驾驶员的驾驶难度。
为了实现上述目的,现提出的方案如下:
第一方面,提供一种远程驾驶辅助显示方法,包括:
接收车辆感知到的障碍物信息、车辆的挂车与牵引车的相对角度、车辆的位置信息和朝向角;
根据所述位置信息,确定显示区域;
从高精地图中获取位于所述显示区域内的静态物信息;
对所述显示区域内的静态物进行坐标变换,得到静态物在车辆坐标系中的坐标;
从车辆感知到的障碍物信息中获取位于所述显示区域内的障碍物信息;
对所述显示区域内的障碍物进行坐标变换,得到障碍物在车辆坐标系中的坐标;
根据车辆的牵引车俯视图、车辆的挂车俯视图、所述车辆的挂车与牵引车的相对角度、车辆坐标系的原点在牵引车俯视图中位置、所述静态物和所述障碍物在车辆坐标系中的坐标,显示牵引车、挂车、静态物以及障碍物。
可选的,在所述对所述显示区域内的障碍物进行坐标变换,得到障碍物在车辆坐标系中的坐标之后,还包括:
分别计算牵引车的车头的左右两个端点距离周围的最近障碍物的距离值;
分别计算挂车的车尾的左右两个端点距离周围的最近障碍物的距离值;
判断各个所述距离值是否小于预设的距离阈值;
在显示牵引车、挂车、静态物以及障碍物时,还包括:
显示小于所述距离阈值的距离值。
可选的,采用红色显示框的形式实时显示小于所述距离阈值的距离值。
可选的,利用KD树算法从高精地图中获取位于所述显示区域内的静态物信息。
可选的,在所述对所述显示区域内的障碍物进行坐标变换,得到障碍物在车辆坐标系中的坐标之后,还包括:
计算牵引车的车头距离前方最近障碍物的距离值;
判断所述距离值是否小于预设的距离阈值,若是,则在显示牵引车、挂车、静态物以及障碍物时,还显示所述距离值。
第二方面,提供一种远程驾驶辅助显示装置,包括:
第一信息接收单元,用于接收车辆感知到的障碍物信息、车辆的挂车与牵引车的相对角度、车辆的位置信息和朝向角;
显示区域确定单元,用于根据所述位置信息,确定显示区域;
静态物信息获取单元,用于从高精地图中获取位于所述显示区域内的静态物信息;
静态物坐标转换单元,用于对所述显示区域内的静态物进行坐标变换,得到静态物在车辆坐标系中的坐标;
障碍物信息获取单元,用于从车辆感知到的障碍物信息中获取位于所述显示区域内的障碍物信息;
障碍物坐标转换单元,用于对所述显示区域内的障碍物进行坐标变换,得到障碍物在车辆坐标系中的坐标;
第一信息显示单元,用于根据车辆的牵引车俯视图、车辆的挂车俯视图、所述车辆的挂车与牵引车的相对角度、车辆坐标系的原点在牵引车俯视图中位置、所述静态物和所述障碍物在车辆坐标系中的坐标,显示牵引车、挂车、静态物以及障碍物。
可选的,所述远程驾驶辅助显示装置,还包括:
第一计算单元,用于分别计算牵引车的车头的左右两个端点距离周围的最近障碍物的距离值;
第二计算单元,用于分别计算挂车的车尾的左右两个端点距离周围的最近障碍物的距离值;
判断单元,用于判断各个所述距离值是否小于预设的距离阈值;
第二信息显示单元,用于显示小于所述距离阈值的距离值。
可选的,所述第二信息显示单元,具体用于采用红色显示框的形式实时显示小于所述距离阈值的距离值。
可选的,所述障碍物信息获取单元,具体用于利用KD树算法从高精地图中获取位于所述显示区域内的静态物信息。
可选的,所述远程驾驶辅助显示装置,还包括:
第三计算单元,用于计算牵引车的车头距离前方最近障碍物的距离值;
第三信息显示单元,用于判断所述距离值是否小于预设的距离阈值,若是,则在第一显示信息单元显示牵引车、挂车、静态物以及障碍物时,显示所述距离值。
与现有技术相比,本发明的技术方案具有以下优点:
上述技术方案提供的一种远程驾驶辅助显示方法及装置,方法包括:结合高精地图的信息、车辆的挂车与牵引车的相对角度、车辆的位置信息、朝向角和车辆感知到的障碍物信息,显示车辆的挂车和牵引车及车辆周围的障碍物和静态物。高精地图设置在远程驾驶端,车辆向远程驾驶端传输的仅有车辆的位置信息、朝向角和车辆感知到的障碍物信息等较小的数据量,因此减小了延迟,提高了远程驾驶员信息获取的实时性。且远程驾驶员可以直观地观察到车辆的牵引车和挂车,以及车辆周围的静态和动态物体,降低了远程驾驶员的操作难度。
进一步的,当周围物体距离牵引车或挂车较近时,显示相应的距离值,给远程驾驶员以预警提示,以避免牵引车或挂车与周围物体发生碰撞。
当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种远程驾驶辅助显示方法的流程图;
图2为本发明实施例提供的一种显示区域大小的确定方法示意图;
图3为本发明实施例提供的某个时刻远程驾驶辅助显示的内容的示意图;
图4为本发明实施例提供的一种远程驾驶辅助显示装置的示意图;
图5为本发明实施例提供的一种远程驾驶辅助显示设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,为本实施例提供的一种远程驾驶辅助显示方法,应用于远程驾驶端,该方法包括以下步骤:
S11:接收车辆感知到的障碍物信息、车辆的挂车与牵引车的相对角度、车辆的位置信息和朝向角。
本发明中的车辆指的是包括挂车和牵引车的车辆。车辆的朝向角为车辆的车头向前方向与正东方向的夹角,逆时针为正。在一些具体实施例中,通过车辆安装的IMU(Inertial measurement unit,惯性测量单元)采集车辆的朝向角;以及通过车辆安装的定位系统对车辆进行实时定位,得到车辆的位置信息。车辆安装的定位系统具体可以为GPS(Global Positioning System,全球定位系统)、BDS(BeiDou Navigation SatelliteSystem,北斗卫星导航系统)和/或GLONASS(GLObal NAvigation Satellite System,俄罗斯全球导航卫星系统)等卫星定位系统,或者卫星定位系统和INS(Inertial NavigationSystem,惯性定向定位导航系统)组成的组合定位系统。
车辆通过安装的雷达和/或图像采集设备等传感器,感知车辆周围的障碍物信息;可以识别到车辆周围的行人和车辆等动态物体信息,还可以识别到树木和墙体等静态物体信息。对于挂车与车辆的相对角度,可以通过车辆上安装的图像采集设备进行图像采集和识别得到。
车辆端通过车载T-BOX(TelematicsBOX,远程信息处理器),将车辆的挂车与牵引车的相对角度、车辆的位置信息、车辆的朝向角以及车辆感知到的障碍物信息,传递至远程驾驶端。由于车辆端向远程驾驶端传输的车辆的挂车与牵引车的相对角度、车辆的位置信息、车辆的朝向角和车辆感知到的障碍物信息的数据量较小,因此,会降低信息传递的延迟。
S12:根据车辆的位置信息,确定显示区域。
预先设定车辆周围的某个范围内区域为显示区域,这样在得到车辆的位置信息后,则根据车辆的位置信息确定显示区域。预先设定车辆周围的某个范围内区域为显示区域,是设定了显示区域的大小;根据车辆的位置信息确定显示区域,是确定了显示区域的坐标信息。在一些具体实施例中,确定车辆的车头前方显示的距离要大于车辆刹车距离;以及车辆的车头前显示的距离、车身长度以及车尾后方显示的距离的总长,与车身宽度以及车身左右侧显示的距离的总长的比,与远程驾驶端的显示屏幕的长宽比相同。例如,远程驾驶端的显示屏幕的长宽比为16:9,车辆的最大行驶速度为5m/s,减速度为-2m/s2,车身长度为7m,车身宽度为3m;定位系统安装于车辆的几何中心,即距离车头和车位均3.5m,距离车左右侧面均为1.5m。计算得到车辆刹车距离为52/(2×2)=6.25m,则确定车头前方显示的距离要大于6.25m;具体可以确定定位系统的安装位置向车前方向的16m、向车后方向的16m、向车左侧方向9m以及向车右侧方向9m的范围为显示区域,参见图2所示。
S13:从高精地图中获取位于显示区域内的静态物信息。
高精地图是面向机器的供自动驾驶汽车使用的地图数据。高精地图包含车道线、转向箭头、石墩和路沿等静态标识和物体的位置坐标和属性。通过静态物的坐标可以确定静态物是否位于显示区域,进而获取位于显示区域的静态物信息。在一些具体实施例中,利用KD树算法从高精地图中获取位于显示区域内的静态物信息。
S14:对显示区域内的静态物进行坐标变换,得到静态物在车辆坐标系中的坐标。
通过对静态物的坐标变换,把静态物转换到以定位系统在车辆的安装点为坐标原点,以车头向前的方向为x轴正向的车辆坐标系中。具体利用以下变换公式得到静态物在车辆坐标系中的坐标:
其中,(x′,y′)为静态物在车辆坐标系中的坐标,(posX,posY)为车辆的位置信息,(x,y)为静态物在高精地图中的坐标点,θ为车辆的朝向角。
S15:从车辆感知到的障碍物信息中获取位于显示区域内的障碍物信息。
车辆感知到的障碍物信息包含障碍物距离车辆的距离和方位角,根据障碍物距离车辆的距离和方位角,可以确定障碍物是否在显示区域内,进而获取相应的障碍物信息。
S16:对显示区域内的障碍物进行坐标变换,得到障碍物在车辆坐标系中的坐标。
在对障碍物进行坐标变换以得到障碍物在车辆坐标系中的坐标时,可以先将障碍物的坐标从感知障碍物的传感器采用的坐标系转换到车辆安装的定位系统采用的坐标系中,然后再按照以下变换公式,得到障碍物在车辆坐标系中的坐标:
其中,(x″,y″)为障碍物在车辆坐标系中的坐标,(posX,posY)为车辆的位置信息,(x″′,y″′)为障碍物在车辆安装的定位系统采用的坐标系的坐标点,θ为车辆的朝向角。
S17:根据车辆的牵引车俯视图、车辆的挂车俯视图、车辆的挂车与牵引车的相对角度、车辆坐标系的原点在牵引车俯视图中位置、静态物和障碍物在车辆坐标系中的坐标,显示牵引车、挂车、静态物以及障碍物。
车辆坐标系的原点为车辆定位系统的安装位置。车辆坐标系的原点在牵引车俯视图中位置,即为车辆的定位系统在牵引车俯视图中位置。根据显示区域的大小和远程驾驶端的显示屏幕大小的比例关系,确定显示区域的物体在显示屏幕中的显示大小。预先根据牵引车和挂车的实际尺寸,分别确定牵引车俯视图和挂车俯视图在显示屏幕中的显示大小,且车辆坐标系的原点在显示区域中的位置是固定的,进而在实时显示时,根据车辆坐标系的原点在牵引车俯视图中的位置,可以确定牵引车俯视图的显示位置;以及根据挂车与牵引车的相对角度,确定挂车俯视图相对牵引车俯视图的显示位置。在实时显示时,还根据静态物和障碍物的实际尺寸,确定静态物和障碍物在显示屏幕中的显示大小,并根据静态物在车辆坐标系中的坐标以及障碍物在车辆坐标系中的坐标,确定静态物以及障碍物的显示位置。
在一些具体实施例中,在对显示区域内的障碍物进行坐标变换,得到障碍物在车辆坐标系中的坐标之后,还包括:分别计算牵引车的车头的左右两个端点距离周围的最近障碍物的距离值;分别计算挂车的车尾的左右两个端点距离周围的最近障碍物的距离值;判断各个距离值是否小于预设的距离阈值;在显示牵引车、挂车、静态物以及障碍物时,还包括显示小于距离阈值的距离值。具体的,采用红色显示框的形式实时显示小于距离阈值的距离值,以提示远程驾驶员注意。
在对所述显示区域内的障碍物进行坐标变换,得到障碍物在车辆坐标系中的坐标之后,还可以包括:计算牵引车的车头距离前方最近障碍物的距离值;判断牵引车的车头距离前方最近障碍物的距离值是否小于预设的距离阈值,若是,则在显示牵引车、挂车、静态物以及障碍物时,还显示该距离值。
参见图3,为在某个时刻远程驾驶辅助显示的内容,31为石墩、32和34均为车道线、33为前方障碍物、35为路沿、36为车辆的牵引车、37为车辆的挂车。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。
下述为本发明装置实施例,可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节,请参照本发明方法实施例。
参见图4,为本实施例提供的一种远程驾驶辅助显示装置,该装置可以包括:第一信息接收单元41、显示区域确定单元42、静态物信息获取单元43、静态物坐标转换单元44、障碍物信息获取单元45、障碍物坐标转换单元46和第一信息显示单元47。
第一信息接收单元41,用于车辆感知到的障碍物信息、车辆的挂车与牵引车的相对角度、车辆的位置信息和朝向角。
朝向角为车辆的车头向前方向与正东方向的夹角,逆时针为正。
显示区域确定单元42,用于根据车辆的位置信息,确定显示区域。
静态物信息获取单元43,用于从高精地图中获取位于显示区域内的静态物信息。
静态物坐标转换单元44,用于对显示区域内的静态物进行坐标变换,得到静态物在车辆坐标系中的坐标。
障碍物信息获取单元45,用于从车辆感知到的障碍物信息中获取位于显示区域内的障碍物信息。
障碍物坐标转换单元46,用于对显示区域内的障碍物进行坐标变换,得到障碍物在车辆坐标系中的坐标。
第一信息显示单元47,用于根据车辆的牵引车俯视图、车辆的挂车俯视图、所述车辆的挂车与牵引车的相对角度、车辆坐标系的原点在牵引车俯视图中位置、所述静态物和所述障碍物在车辆坐标系中的坐标,显示牵引车、挂车、静态物以及障碍物。
在一些具体实施例中,远程驾驶辅助显示装置,还包括:第一计算单元、第二计算单元、判断单元和第二信息显示单元。
第一计算单元,用于分别计算车辆的车头的左右两个端点距离周围的最近障碍物的距离值。
第二计算单元,用于分别计算挂车的车尾的左右两个端点距离周围的最近障碍物的距离值。
判断单元,用于判断各个距离值是否小于预设的距离阈值。
第三信息显示单元,用于显示小于距离阈值的距离值。
在一些具体实施例中,第二信息显示单元,具体用于采用红色显示框的形式实时显示小于距离阈值的距离值。
在一些具体实施例中,障碍物信息获取单元45,具体用于利用KD树算法从高精地图中获取位于显示区域内的静态物信息。
在一些具体实施例中,远程驾驶辅助显示装置,还包括:第三计算单元和第三信息显示单元。
第三计算单元,用于计算牵引车的车头距离前方最近障碍物的距离值。
第三信息显示单元,用于判断该距离值是否小于预设的距离阈值,若是,则在第一显示信息单元显示牵引车、挂车、静态物以及障碍物时,显示给距离值。
参见图5,为本实施例提供的一种远程驾驶辅助显示设备,该设备的硬件结构可以包括:至少一个处理器51,至少一个通信接口52,至少一个存储器53和至少一个通信总线54;且处理器51、通信接口52、存储器53通过通信总线54完成相互间的通信。
处理器51在一些实施例中可以是一个CPU(Central Processing Unit,中央处理器),或者是ASIC(Application Specific Integrated Circuit,特定集成电路),或者是被配置成实施本发明实施例的一个或多个集成电路等。
通信接口52可以包括标准的有线接口和/或无线接口。通常用于在远程驾驶辅助显示设备与其他电子设备或系统之间建立通信连接。
存储器53包括至少一种类型的可读存储介质。可读存储介质可以为如闪存、硬盘、多媒体卡、卡型存储器等NVM(non-volatile memory,非易失性存储器)。可读存储介质还可以是高速RAM(random access memory,随机存取存储器)存储器。可读存储介质在一些实施例中可以是数据校验设备的内部存储单元,例如该远程驾驶辅助显示设备的硬盘。在另一些实施例中,可读存储介质还可以是远程驾驶辅助显示设备的外部存储设备,例如远程驾驶辅助显示设备上配备的插接式硬盘、SMC(Smart Media Card,智能存储卡)、SD(SecureDigital,安全数字)卡,闪存卡(Flash Card)等。
其中,存储器53存储有计算机程序,处理器51可调用存储器53存储的计算机程序,所述计算机程序用于:
接收车辆感知到的障碍物信息、车辆的挂车与牵引车的相对角度、车辆的位置信息和朝向角;
根据所述位置信息,确定显示区域;
从高精地图中获取位于所述显示区域内的静态物信息;
对所述显示区域内的静态物进行坐标变换,得到静态物在车辆坐标系中的坐标;
从车辆感知到的障碍物信息中获取位于所述显示区域内的障碍物信息;
对所述显示区域内的障碍物进行坐标变换,得到障碍物在车辆坐标系中的坐标;
根据车辆的牵引车俯视图、车辆的挂车俯视图、所述车辆的挂车与牵引车的相对角度、车辆坐标系的原点在牵引车俯视图中位置、所述静态物和所述障碍物在车辆坐标系中的坐标,显示牵引车、挂车、静态物以及障碍物。
所述程序的细化功能和扩展功能可参照上文描述。
图5仅示出了具有组件51~54的远程驾驶辅助显示设备,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
可选地,该远程驾驶辅助显示设备还可以包括用户接口,用户接口可以包括输入单元(比如键盘)、语音输入装置(比如包含麦克风的具有语音识别功能的设备)和/或语音输出装置(比如音响、耳机等)。可选地,用户接口还可以包括标准的有线接口和/或无线接口。
可选地,该远程驾驶辅助显示设备的显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)显示器等。
可选地,该远程驾驶辅助显示设备还包括触摸传感器。触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外,触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且,触摸传感器不仅包括接触式的触摸传感器,也可包括接近式的触摸传感器等。此外,触摸传感器可以为单个传感器,也可以为例如阵列布置的多个传感器。
此外,该远程驾驶辅助显示设备的显示器的面积可以与触摸传感器的面积相同,也可以不同。可选地,将显示器与触摸传感器层叠设置,以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。
该远程驾驶辅助显示设备还可以包括RF(Radio Frequency,射频)电路、传感器和音频电路等等,在此不再赘。
本发明实施例还提供一种可读存储介质,该可读存储介质可存储有适于处理器执行的程序,所述程序用于:
接收车辆感知到的障碍物信息、车辆的挂车与牵引车的相对角度、车辆的位置信息和朝向角;
根据所述位置信息,确定显示区域;
从高精地图中获取位于所述显示区域内的静态物信息;
对所述显示区域内的静态物进行坐标变换,得到静态物在车辆坐标系中的坐标;
从车辆感知到的障碍物信息中获取位于所述显示区域内的障碍物信息;
对所述显示区域内的障碍物进行坐标变换,得到障碍物在车辆坐标系中的坐标;
根据车辆的牵引车俯视图、车辆的挂车俯视图、所述车辆的挂车与牵引车的相对角度、车辆坐标系的原点在牵引车俯视图中位置、所述静态物和所述障碍物在车辆坐标系中的坐标,显示牵引车、挂车、静态物以及障碍物。
所述程序的细化功能和扩展功能可参照上文描述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可,且本说明书中各实施例中记载的特征可以相互替换或者组合。
对本发明所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种远程驾驶辅助显示方法,其特征在于,包括:
接收车辆感知到的障碍物信息、车辆的挂车与牵引车的相对角度、车辆的位置信息和朝向角;
根据所述位置信息,确定显示区域;
从高精地图中获取位于所述显示区域内的静态物信息;
对所述显示区域内的静态物进行坐标变换,得到静态物在车辆坐标系中的坐标;
从车辆感知到的障碍物信息中获取位于所述显示区域内的障碍物信息;
对所述显示区域内的障碍物进行坐标变换,得到障碍物在车辆坐标系中的坐标;
根据车辆的牵引车俯视图、车辆的挂车俯视图、所述车辆的挂车与牵引车的相对角度、车辆坐标系的原点在牵引车俯视图中位置、所述静态物和所述障碍物在车辆坐标系中的坐标,显示牵引车、挂车、静态物以及障碍物。
2.根据权利要求1所述的远程驾驶辅助显示方法,其特征在于,在所述对所述显示区域内的障碍物进行坐标变换,得到障碍物在车辆坐标系中的坐标之后,还包括:
分别计算牵引车的车头的左右两个端点距离周围的最近障碍物的距离值;
分别计算挂车的车尾的左右两个端点距离周围的最近障碍物的距离值;
判断各个所述距离值是否小于预设的距离阈值;
在显示牵引车、挂车、静态物以及障碍物时,还包括:
显示小于所述距离阈值的距离值。
3.根据权利要求2所述的远程驾驶辅助显示方法,其特征在于,采用红色显示框的形式实时显示小于所述距离阈值的距离值。
4.根据权利要求1所述的远程驾驶辅助显示方法,其特征在于,利用KD树算法从高精地图中获取位于所述显示区域内的静态物信息。
5.根据权利要求1所述的远程驾驶辅助显示方法,其特征在于,在所述对所述显示区域内的障碍物进行坐标变换,得到障碍物在车辆坐标系中的坐标之后,还包括:
计算牵引车的车头距离前方最近障碍物的距离值;
判断所述距离值是否小于预设的距离阈值,若是,则在显示牵引车、挂车、静态物以及障碍物时,还显示所述距离值。
6.一种远程驾驶辅助显示装置,其特征在于,包括:
第一信息接收单元,用于接收车辆感知到的障碍物信息、车辆的挂车与牵引车的相对角度、车辆的位置信息和朝向角;
显示区域确定单元,用于根据所述位置信息,确定显示区域;
静态物信息获取单元,用于从高精地图中获取位于所述显示区域内的静态物信息;
静态物坐标转换单元,用于对所述显示区域内的静态物进行坐标变换,得到静态物在车辆坐标系中的坐标;
障碍物信息获取单元,用于从车辆感知到的障碍物信息中获取位于所述显示区域内的障碍物信息;
障碍物坐标转换单元,用于对所述显示区域内的障碍物进行坐标变换,得到障碍物在车辆坐标系中的坐标;
第一信息显示单元,用于根据车辆的牵引车俯视图、车辆的挂车俯视图、所述车辆的挂车与牵引车的相对角度、车辆坐标系的原点在牵引车俯视图中位置、所述静态物和所述障碍物在车辆坐标系中的坐标,显示牵引车、挂车、静态物以及障碍物。
7.根据权利要求6所述的远程驾驶辅助显示装置,其特征在于,还包括:
第一计算单元,用于分别计算牵引车的车头的左右两个端点距离周围的最近障碍物的距离值;
第二计算单元,用于分别计算挂车的车尾的左右两个端点距离周围的最近障碍物的距离值;
判断单元,用于判断各个所述距离值是否小于预设的距离阈值;
第二信息显示单元,用于显示小于所述距离阈值的距离值。
8.根据权利要求7所述的远程驾驶辅助显示装置,其特征在于,所述第二信息显示单元,具体用于采用红色显示框的形式实时显示小于所述距离阈值的距离值。
9.根据权利要求6所述的远程驾驶辅助显示装置,其特征在于,所述障碍物信息获取单元,具体用于利用KD树算法从高精地图中获取位于所述显示区域内的静态物信息。
10.根据权利要求6所述的远程驾驶辅助显示装置,其特征在于,还包括:
第三计算单元,用于计算牵引车的车头距离前方最近障碍物的距离值;
第三信息显示单元,用于判断所述距离值是否小于预设的距离阈值,若是,则在第一显示信息单元显示牵引车、挂车、静态物以及障碍物时,显示所述距离值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011555644.9A CN112798009B (zh) | 2020-12-24 | 2020-12-24 | 远程驾驶辅助显示方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011555644.9A CN112798009B (zh) | 2020-12-24 | 2020-12-24 | 远程驾驶辅助显示方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112798009A CN112798009A (zh) | 2021-05-14 |
CN112798009B true CN112798009B (zh) | 2024-04-05 |
Family
ID=75805778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011555644.9A Active CN112798009B (zh) | 2020-12-24 | 2020-12-24 | 远程驾驶辅助显示方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112798009B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113240924B (zh) * | 2021-06-22 | 2023-04-25 | 新石器慧通(北京)科技有限公司 | 车辆远程监控信息处理方法、装置、电子设备及存储介质 |
CN113370894B (zh) * | 2021-07-21 | 2023-04-07 | 贵州詹阳动力重工有限公司 | 一种牵引车车身定位系统 |
CN114137989A (zh) * | 2021-12-01 | 2022-03-04 | 东风汽车有限公司东风日产乘用车公司 | 车辆遥控方法、装置、设备及存储介质 |
CN115588311A (zh) * | 2022-11-07 | 2023-01-10 | 中国第一汽车股份有限公司 | 自动驾驶车辆远程控制方法、系统、车辆及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012105158A (ja) * | 2010-11-11 | 2012-05-31 | Mitsubishi Fuso Truck & Bus Corp | 連結車両用鳥瞰図表示システム |
CN111142379A (zh) * | 2018-11-05 | 2020-05-12 | 图森有限公司 | 一种自动驾驶车辆的动力学预测控制系统和方法 |
CN111832667A (zh) * | 2020-09-17 | 2020-10-27 | 中汽研(天津)汽车工程研究院有限公司 | 一种园区无人驾驶观光车的驾驶行为决策系统 |
-
2020
- 2020-12-24 CN CN202011555644.9A patent/CN112798009B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012105158A (ja) * | 2010-11-11 | 2012-05-31 | Mitsubishi Fuso Truck & Bus Corp | 連結車両用鳥瞰図表示システム |
CN111142379A (zh) * | 2018-11-05 | 2020-05-12 | 图森有限公司 | 一种自动驾驶车辆的动力学预测控制系统和方法 |
CN111832667A (zh) * | 2020-09-17 | 2020-10-27 | 中汽研(天津)汽车工程研究院有限公司 | 一种园区无人驾驶观光车的驾驶行为决策系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112798009A (zh) | 2021-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112798009B (zh) | 远程驾驶辅助显示方法及装置 | |
US10417911B2 (en) | Inter-vehicle cooperation for physical exterior damage detection | |
CN111443707B (zh) | 自主引导车辆到利用远程设备选择的期望停放位置 | |
US9933268B2 (en) | Method and system for improving accuracy of digital map data utilized by a vehicle | |
DE102019112002A1 (de) | Systeme und verfahren zur automatischen detektion von anhängereigenschaften | |
EP3018448B1 (en) | Methods and systems for enabling improved positioning of a vehicle | |
US10745005B2 (en) | Inter-vehicle cooperation for vehicle self height estimation | |
US20170369057A1 (en) | Lane Detection Systems And Methods | |
US20090326819A1 (en) | Vicinity environment estimation device with blind region prediction, road detection and intervehicle communication | |
US20150211867A1 (en) | Estimating a Street Type Using Sensor-Based Surroundings Data | |
US11188078B2 (en) | Apparatus for automatically parking vehicle in personal garage, system including the same, and method for the same | |
US11161516B2 (en) | Vehicle control device | |
US11380110B1 (en) | Three dimensional traffic sign detection | |
CN110962831B (zh) | 用于控制车辆的装置、具有该装置的系统及控制方法 | |
US10049573B1 (en) | Active park assist detection of semi-trailer overhang | |
US20190005814A1 (en) | Vehicle determination apparatus, vehicle determination method, and computer readable medium | |
CN110555801A (zh) | 一种航迹推演的校正方法、终端和存储介质 | |
US20240161623A1 (en) | Driving support device | |
US10628687B1 (en) | Parking spot identification for vehicle park-assist | |
US10775791B2 (en) | Image processing apparatus and method for vehicle | |
US11235775B2 (en) | Method and device for determining the curve of a road | |
US20200193728A1 (en) | System and method for modifying vehicle design based on sensors | |
JP7095537B2 (ja) | 画像処理装置、プログラム、情報処理システム、及び制御方法 | |
US12046051B2 (en) | Method for autonomously parking a motor vehicle | |
CN110884501B (zh) | 车辆感知的数据处理方法、装置、电子设备与存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |