CN116489318B - 自动驾驶车辆的远程驾驶方法和装置 - Google Patents
自动驾驶车辆的远程驾驶方法和装置 Download PDFInfo
- Publication number
- CN116489318B CN116489318B CN202310744536.3A CN202310744536A CN116489318B CN 116489318 B CN116489318 B CN 116489318B CN 202310744536 A CN202310744536 A CN 202310744536A CN 116489318 B CN116489318 B CN 116489318B
- Authority
- CN
- China
- Prior art keywords
- safety
- line
- vehicle
- image information
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 239000003550 marker Substances 0.000 claims description 39
- 238000009877 rendering Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 4
- 235000011941 Tilia x europaea Nutrition 0.000 description 4
- 239000004571 lime Substances 0.000 description 4
- 238000005065 mining Methods 0.000 description 4
- 238000005507 spraying Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000003973 paint Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
Abstract
本公开涉及自动驾驶车辆的远程驾驶方法和装置。该方法包括:基于自动驾驶车辆的车型信息在自动驾驶车辆的车身周围的地面设置安全标志线;利用安装在车身上的摄像装置获取包括安全标志线的图像信息和至少一部分车身的图像信息的第一视频画面;在远程驾驶舱的显示器上显示自动驾驶车辆发送的第一视频画面;基于第一视频画面中的安全标志线的图像信息描绘安全辅助线,并将安全辅助线的图像信息存储在远程驾驶舱的存储器上;在自动驾驶车辆处于远程驾驶模式的情况下,在显示器上显示摄像装置获取的第二视频画面;调用安全辅助线的图像信息并同时显示第二视频画面和安全辅助线,以辅助驾驶员进行远程驾驶。本公开能够保证自动驾驶车辆的行驶安全性。
Description
技术领域
本公开涉及自动驾驶和远程控制技术领域,尤其涉及一种自动驾驶车辆的远程驾驶方法和装置。
背景技术
作为智能交通建设的一个重要方向,远程驾驶具有广泛的应用场景,不仅可以应用于恶劣环境和危险区域,也可以作为自动驾驶的补充,或在自动驾驶车辆出现异常时远程进行人工干预。
相关技术中,当自动驾驶车辆在自动驾驶的过程中出现突发状况时,为了保证自动驾驶车辆的行驶安全性,远程驾驶舱的驾驶员需要通过观看视频来对自动驾驶车辆进行远程驾驶。然而,由于拍摄角度或摄像装置本身的原因,视频中的安全距离与实际距离之间可能存在偏差,导致驾驶员很难对自动驾驶车辆进行准确的控制,进而无法保证自动驾驶车辆的行驶安全性。
发明内容
有鉴于此,本公开实施例提供了一种自动驾驶车辆的远程驾驶方法和装置,以解决相关技术中存在的在自动驾驶车辆处于远程驾驶模式时,远程驾驶舱的驾驶员基于视频中的安全距离很难对自动驾驶车辆进行准确的控制,进而无法保证自动驾驶车辆的行驶安全性的问题。
本公开实施例的第一方面,提供了一种自动驾驶车辆的远程驾驶方法,包括:基于自动驾驶车辆的车型信息,在自动驾驶车辆的车身周围的地面上设置安全标志线,其中,安全标志线与车身之间的距离与车型相关;利用安装在车身上的摄像装置获取第一视频画面,其中,第一视频画面包括安全标志线的图像信息和至少一部分车身的图像信息;接收自动驾驶车辆发送的第一视频画面,并在远程驾驶舱的显示器上显示第一视频画面;基于在显示器上显示的第一视频画面中的安全标志线的图像信息描绘安全辅助线,并将安全辅助线的图像信息存储在远程驾驶舱的存储器上;在自动驾驶车辆处于远程驾驶模式的情况下,在显示器上显示摄像装置获取的第二视频画面;调用安全辅助线的图像信息,并在显示器上同时显示第二视频画面和安全辅助线,以辅助驾驶员进行远程驾驶。
本公开实施例的第二方面,提供了一种自动驾驶车辆的远程驾驶装置,包括:设置模块,被配置为基于自动驾驶车辆的车型信息,在自动驾驶车辆的车身周围的地面上设置安全标志线,其中,安全标志线与车身之间的距离与车型相关;获取模块,被配置为利用安装在车身上的摄像装置获取第一视频画面,其中,第一视频画面包括安全标志线的图像信息和至少一部分车身的图像信息;接收模块,被配置为接收自动驾驶车辆发送的第一视频画面,并在远程驾驶舱的显示器上显示第一视频画面;存储模块,被配置为基于在显示器上显示的第一视频画面中的安全标志线的图像信息描绘安全辅助线,并将安全辅助线的图像信息存储在远程驾驶舱的存储器上;显示模块,被配置为在自动驾驶车辆处于远程驾驶模式的情况下,在显示器上显示摄像装置获取的第二视频画面;调用模块,被配置为调用安全辅助线的图像信息,并在显示器上同时显示第二视频画面和安全辅助线,以辅助驾驶员进行远程驾驶。
本公开实施例的第三方面,提供了一种电子设备,包括至少一个处理器;用于存储至少一个处理器可执行指令的存储器;其中,至少一个处理器用于执行指令,以实现上述方法的步骤。
本公开实施例的第四方面,提供了一种计算机可读存储介质,当计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述方法的步骤。
本公开实施例采用的上述至少一个技术方案能够达到以下有益效果:通过基于自动驾驶车辆的车型信息在自动驾驶车辆的车身周围的地面上设置安全标志线,利用安装在车身上的摄像装置获取包括安全标志线的图像信息和至少一部分车身的图像信息的第一视频画面,在远程驾驶舱的显示器上显示自动驾驶车辆发送的第一视频画面,基于第一视频画面中的安全标志线的图像信息描绘安全辅助线并存储安全辅助线的图像信息,在自动驾驶车辆处于远程驾驶模式的情况下,调用所存储的安全辅助线的图像信息,并在显示器上同时显示第二视频画面和安全辅助线,以辅助驾驶员进行远程驾驶,能够使远程驾驶舱的驾驶员基于视频中的安全辅助线对自动驾驶车辆进行准确的控制,因此,保证了自动驾驶车辆的行驶安全性,保障了自动驾驶车辆上的安全员的生命和财产安全。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本公开一示例性实施例提供的一种自动驾驶车辆的远程驾驶方法的流程示意图。
图2a为本公开一示例性实施例提供的自动驾驶车辆的摄像装置的位置示意图。
图2b为本公开一示例性实施例提供的自动驾驶车辆的摄像装置的位置示意图。
图3为本公开一示例性实施例提供的自动驾驶车辆的安全标志线的位置示意图。
图4a为本公开一示例性实施例提供的自动驾驶车辆的左视频的效果示意图。
图4b为本公开一示例性实施例提供的自动驾驶车辆的右视频的效果示意图。
图4c为本公开一示例性实施例提供的自动驾驶车辆的前视频的效果示意图。
图5为本公开一示例性实施例提供的一种自动驾驶车辆的远程驾驶装置的结构示意图。
图6为本公开一示例性实施例提供的电子设备的结构示意图。
图7为本公开一示例性实施例提供的计算机系统的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
随着科技的进步,自动驾驶在人们的生活中得到了越来越广泛的应用。为了提高自动驾驶的安全性,需要远程配置有远程驾驶舱,当自动驾驶车辆在自动驾驶的过程中出现突发状况(例如,系统故障或车辆受困)时,远程驾驶舱需要快速接管自动驾驶车辆,否则,自动驾驶车辆可能会由于接管不及时而发生危险。
在远程驾驶过程中,驾驶员在远程驾驶舱中通过操作方向盘、踏板、摇杆等模拟器来控制远端的自动驾驶车辆行驶。为了保证自动驾驶车辆的远程控制与实际规划轨迹相符,通常会给驾驶员提供视频进行参照。然而,由于拍摄角度或摄像装置本身的原因,视频中的安全距离与实际距离之间可能存在偏差,导致驾驶员很难对自动驾驶车辆进行准确的控制,因此,降低了自动驾驶车辆的行驶安全性。
下面将结合附图详细说明根据本公开实施例的一种自动驾驶车辆的远程驾驶方法和装置。
图1为本公开一示例性实施例提供的一种自动驾驶车辆的远程驾驶方法的流程示意图。图1的自动驾驶车辆的远程驾驶方法可以由远程驾驶系统中的服务器或电子设备执行。如图1所示,该自动驾驶车辆的远程驾驶方法可以包括:
S101,基于自动驾驶车辆的车型信息,在自动驾驶车辆的车身周围的地面上设置安全标志线,其中,安全标志线与车身之间的距离与车型相关;
S102,利用安装在车身上的摄像装置获取第一视频画面,其中,第一视频画面包括安全标志线的图像信息和至少一部分车身的图像信息;
S103,接收自动驾驶车辆发送的第一视频画面,并在远程驾驶舱的显示器上显示第一视频画面;
S104,基于在显示器上显示的第一视频画面中的安全标志线的图像信息描绘安全辅助线,并将安全辅助线的图像信息存储在远程驾驶舱的存储器上;
S105,在自动驾驶车辆处于远程驾驶模式的情况下,在显示器上显示摄像装置获取的第二视频画面;
S106,调用安全辅助线的图像信息,并在显示器上同时显示第二视频画面和安全辅助线,以辅助驾驶员进行远程驾驶。
具体地,以远程驾驶系统中的服务器为例,在诸如露天矿区的应用场景中,考虑到自动驾驶车辆的车体庞大、驾驶位高,造成视觉盲区变大,作业人员可以基于自动驾驶车辆的车型信息在露天矿区的地面上通过撒白灰、喷漆等方式预先在自动驾驶车辆的车身周围的地面上设置安全标志线;自动驾驶车辆的车身上的摄像装置采集车身周围的安全标志线,并将采集到的安全标志线的图像信息和至少一部分车身的图像信息作为第一视频画面传输给远程驾驶舱。
这里,远程驾驶系统又称远程遥控驾驶系统,是通过车端的摄像头监控车辆周围环境,由车载终端将监控视频传输到远程驾驶遥控端并显示在远程驾驶遥控端的显示器上;远程驾驶遥控端的驾驶员通过观察显示屏中展现的车端周围环境,使用远程驾驶遥控端的座舱模拟器对车端进行控制,例如,远程驾驶遥控端发送控制指令到车载终端,再由车端执行器执行相应的控制指令。在本公开实施例中,远程驾驶系统可以包括自动驾驶车辆和远程驾驶舱。
服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器,本公开实施例对此不作限制。
自动驾驶车辆又称无人驾驶车辆、电脑驾驶车辆或轮式移动机器人,是一种通过计算机系统实现无人驾驶的智能车辆。自动驾驶车辆通过车载传感系统来感知车辆周围环境,并根据感知所获得的道路、车辆位置和障碍物信息等控制车辆的转向和速度,从而使车辆能够安全、可靠地在道路上行驶。在本公开实施例中,自动驾驶车辆可以包括但不限于安装有摄像装置的宽体车、大矿卡、采集车和铲车等。
车型信息用于表征车辆所具有的特征信息,包括但不限于品牌和型号、车身尺寸、发动机参数、变速器类型、车辆配置、安全配置等。车辆的品牌和型号是识别车辆的最基本信息,不同品牌和型号的车辆具有不同的特点和性能。车身尺寸是指车辆的长度、宽度、高度和轴距等尺寸参数,这些参数会影响车辆的操控性和载人载物能力。
安全标志线是为了保证车辆行驶安全而设置的标志线。安全标志线可以预先设置。在实际应用中,可以通过诸如撒白灰、喷涂等方式来人工设置安全标志线。撒白灰可以是拉皮尺,用平锹盛白灰撒线的方式;喷涂可以是用喷涂机在地面上喷涂油漆或染料的方式。安全标志线与车身之间的距离通常与车型相关。
需要说明的是,安全标志线的宽度和颜色可以根据经验或实际需要进行设置,本公开实施例对此不作限制。此外,还需要说明的是,本公开实施例不限于如上所述的设置安全标志线的方式,例如,还可以在自动驾驶车辆的车身周围的地面上放置锥形筒等。
摄像装置可以是用来拍摄自动驾驶车辆在行驶方向上的行驶区域的图像信息的各种设备,包括但不限于广角摄像头、双目摄像头、无线摄像头、变焦摄像机、半球摄像机等。摄像装置可以安装在自动驾驶车辆的前、后、左、右四个方向,也可以安装在车顶、车底或者左前、右后等多个方向,本公开实施例对摄像装置的安装位置和数量不作限制。优选地,在本公开实施例中,摄像装置可以安装在自动驾驶车辆的前侧(如图2a所示的车头的中间位置201处)、前侧左端(如图2a所示的车头的左侧位置202处)、前侧右端(如图2a所示的车头的右侧位置203处)和后侧(如图2b所示的车斗的下方位置204处)。进一步地,为了保证行驶安全,前侧左端和前侧右端的摄像装置应当安装在车头的拐角处(大概占车头的五分之一的位置),并且朝向车尾方向设置,角度约为120°,以便能够采集到后轮胎的图像信息。
需要说明的是,在实际应用中,如果摄像装置发生故障或者由于震荡等原因导致摄像装置的位置发生变化,则需要重新设置并采集安全标志线。
第一视频画面是摄像装置对自动驾驶车辆的行驶区域进行拍摄获得的视频。第一视频画面中可以包括安全标志线的图像信息和至少一部分车身(大概五分之一的车身)的图像信息。应理解的是,安全标志线的图像信息和至少一部分车身的图像信息必须显示在同一个第一视频画面中,这样才能保证下次调用安全标志线时,能够以车身作为参照,即,同时显示车身和安全标志线;否则,在没有车身作为参照的情况下,将很难描绘或确定安全标志线的位置。
接下来,在接收到自动驾驶车辆发送的第一视频画面后,远程驾驶舱在其显示器上显示第一视频画面,技术人员可以基于第一视频画面中的安全标志线的图像信息,通过软件在视频中描绘安全辅助线,并将所描绘的安全辅助线的图像信息存储在其存储器上;进一步地,在自动驾驶车辆处于远程驾驶模式的情况下,当接收到摄像装置获取的第二视频画面时,远程驾驶舱在其显示器上显示第二视频画面,调用安全辅助线的图像信息,并在显示器上同时显示第二视频画面和安全辅助线,以辅助驾驶员进行远程驾驶。
这里,远程驾驶舱是指对自动驾驶车辆进行远程驾驶的驾驶舱,驾驶员可以通过远程驾驶舱对自动驾驶车辆进行远程的驾驶控制。安全辅助线是用于辅助远程驾驶舱的驾驶员进行远程驾驶的辅助线。
需要说明的是,对于同一型号的自动驾驶车辆,由于其摄像装置的安装位置和拍摄角度永远是固定的,因此,只需要存储安全辅助线的位置和形状即可。
第二视频画面是在自动驾驶车辆处于远程驾驶模式的情况下,摄像装置对自动驾驶车辆的行驶区域进行拍摄获得的视频。第二视频画面与第一视频画面不同,第二视频画面中可以不包括安全标志线的图像信息。
在本公开实施例中,同时显示第二视频画面和安全辅助线的方法可以包括但不限于将所调用的安全辅助线渲染到第二视频画面中,或者利用远程驾驶程序将所调用的安全辅助线展现在第二视频画面中。这里,远程驾驶程序可以是由处理器执行的计算机程序,远程驾驶程序可以存储在存储器中。
需要说明的是,本公开实施例不需要进行图像识别,而是直接从存储器中调用安全辅助线的图像信息即可。此外,还需要说明的是,本公开实施例的远程驾驶方法的一个最核心的前提在于必须保证摄像装置所拍摄的画面区域自始至终没有任何变化,因为一旦画面区域发生变化,存储器中存储的安全辅助线的相对位置关系就会发生变化,使用这种方法就没有意义了。
根据本公开实施例提供的技术方案,通过基于自动驾驶车辆的车型信息在自动驾驶车辆的车身周围的地面上设置安全标志线,利用安装在车身上的摄像装置获取包括安全标志线的图像信息和至少一部分车身的图像信息的第一视频画面,在远程驾驶舱的显示器上显示自动驾驶车辆发送的第一视频画面,基于第一视频画面中的安全标志线的图像信息描绘安全辅助线并存储安全辅助线的图像信息,在自动驾驶车辆处于远程驾驶模式的情况下,调用所存储的安全辅助线的图像信息,并在显示器上同时显示第二视频画面和安全辅助线,以辅助驾驶员进行远程驾驶,能够使远程驾驶舱的驾驶员基于视频中的安全辅助线对自动驾驶车辆进行准确的控制,因此,保证了自动驾驶车辆的行驶安全性,保障了自动驾驶车辆上的安全员的生命和财产安全。
在一些实施例中,安全标志线包括第一安全标志线,基于自动驾驶车辆的车型信息,在自动驾驶车辆的车身周围的地面上设置安全标志线,包括:将车身的外轮廓向左侧和/或右侧延伸预设宽度,得到延伸宽度;将基于延伸宽度和车身的长度形成的区域确定为第一安全区域;沿第一安全区域的外轮廓在地面上设置第一安全标志线。
具体地,可以基于自动驾驶车辆的车型信息获取自动驾驶车辆的宽度和长度,并基于自动驾驶车辆的宽度,以预设宽度将车身的外轮廓向左侧和/或右侧延伸,得到延伸宽度;进一步地,将基于延伸宽度和车身的长度形成的区域确定为第一安全区域,并沿第一安全区域的外轮廓在地面上设置第一安全标志线。
这里,预设宽度可以是用户根据经验数据预先设置的宽度,也可以是用户根据实际需要对已设置的宽度进行调整后得到的宽度,本公开实施例对此不作限制。考虑到不同品牌和型号的自动驾驶车辆的宽度不同,因此,在本公开实施例中,预设宽度与车型相关,并且延伸宽度即为预设宽度。
第一安全区域是指在自动驾驶车辆的行驶过程中为保证安全行驶的左侧和/或右侧区域。如图3所示,第一安全区域可以包括左侧安全区域30,也可以包括右侧安全区域31,或者还可以包括左侧安全区域30和右侧安全区域31,本公开实施例对此不作限制。优选地,在本公开实施例中,为了保证自动驾驶车辆的行驶安全,第一安全区域包括左侧安全区域30和右侧安全区域31。
第一安全标志线用于表征自动驾驶车辆在宽度方向上的安全距离。如图3所示,第一安全标志线包括左侧第一标志线301、左侧第二标志线302、右侧第一标志线311和右侧第二标志线312,并且左侧第一标志线301和右侧第一标志线311为纵向安全标志线,左侧第二标志线302和右侧第二标志线312为横向安全标志线。
需要说明的是,自动驾驶车辆的右侧盲区往往远大于左侧盲区,因此,考虑到施工成本等因素,可以仅在自动驾驶车辆的车身右侧设置安全区域并绘制安全标志线。此外,还需要说明的是,第一安全区域和第一安全标志线可以根据经验或实际需要进行设置,本公开实施例对第一安全区域和第一安全标志线的数量不作限制。
根据本公开实施例提供的技术方案,通过基于自动驾驶车辆的宽度和长度设置第一安全区域,能够准确地确定自动驾驶车辆的安全行驶区域;进一步地,通过绘制第一安全标志线,能够使安全行驶区域更加明显,轮廓更加清晰,从而有助于后续安全辅助线的描绘。
在一些实施例中,该方法还包括:以自动驾驶车辆的左后轮位置和/或右后轮位置为起点,沿车身的宽度方向,在第一安全区域内设置第一安全标志线。
具体地,如图3所示,在确定安全区域30和/或右侧安全区域31后,可以以自动驾驶车辆的左后轮位置303和/或右后轮位置313为起点,在安全区域30和/或右侧安全区域31内沿车身的宽度方向设置第一安全标志线,该第一安全标志线包括左侧第三标志线304和右侧第三标志线314,并且左侧第三标志线304和右侧第三标志线314均为横向安全标志线。
在实际应用中,当自动驾驶车辆在露天矿区进行作业时,安装在其前侧左端的摄像头拍摄的视频画面如图4a所示,在该视频画面中,可以清楚地看到至少一部分左侧车身的图像以及左侧第一标志线401、左侧第二标志线402和左侧第三标志线403;安装在其前侧右端的摄像头拍摄的视频画面如图4b所示,在该视频画面中,可以清楚地看到至少一部分右侧车身的图像以及右侧第一标志线404、右侧第二标志线405和右侧第三标志线406。
根据本公开实施例提供的技术方案,通过基于自动驾驶车辆的左后轮位置和/或右后轮位置设置安全标志线,能够清楚和准确地获知自动驾驶车辆的左后下方位置和/或右后下方位置的情况,因此,提高了自动驾驶车辆的行驶安全性。
在一些实施例中,安全标志线包括第二安全标志线,基于自动驾驶车辆的车型信息,在自动驾驶车辆的车身周围的地面上设置安全标志线,包括:将车身的外轮廓向前方和/或后方延伸第一预设长度,得到第一延伸长度;将基于第一延伸长度和车身的宽度形成的区域确定为第二安全区域;沿第二安全区域的外轮廓在地面上设置第二安全标志线。
具体地,可以基于自动驾驶车辆的车型信息获取自动驾驶车辆的宽度和长度,并基于自动驾驶车辆的长度,以第一预设长度将车身的外轮廓向前方和/或后方延伸,得到第一延伸长度;进一步地,将基于第一延伸长度和车身的宽度形成的区域确定为第二安全区域,并沿第二安全区域的外轮廓在地面上设置第二安全标志线。
这里,第一预设长度是指安全标志线与车头之间的距离。第一预设长度可以是用户根据经验数据预先设置的长度,也可以是用户根据实际需要对已设置的长度进行调整后得到的长度,本公开实施例对此不作限制。第一预设长度可以是1米至10米范围内的任一值。优选地,在本公开实施例中,第一预设长度为2米,第一延伸长度即为第一预设长度。
第二安全区域是指在自动驾驶车辆的行驶过程中为保证安全行驶的前方和/或后方区域。如图3所示,第二安全区域可以包括前方第一安全区域32,也可以包括后方第一安全区域33,或者还可以包括前方第一安全区域32和后方第一安全区域33,本公开实施例对此不作限制。优选地,在本公开实施例中,为了保证自动驾驶车辆的行驶安全,第二安全区域包括前方第一安全区域32和后方第一安全区域33。
第二安全标志线用于表征自动驾驶车辆在长度方向上的安全距离。如图3所示,第二安全标志线包括前方第一标志线321、前方第二标志线322、前方第三标志线323、后方第一标志线331、后方第二标志线332和后方第三标志线333,并且前方第一标志线321、前方第二标志线322、后方第一标志线331和后方第二标志线332均为纵向安全标志线,前方第三标志线323和后方第三标志线333为横向安全标志线。
根据本公开实施例提供的技术方案,通过基于自动驾驶车辆的长度和宽度设置第二安全区域,能够准确地确定自动驾驶车辆的安全行驶区域;进一步地,通过绘制第二安全标志线,能够使安全行驶区域更加明显,轮廓更加清晰,从而有助于后续安全辅助线的描绘。
在一些实施例中,安全标志线包括第三安全标志线,该方法还包括:将车身的外轮廓向前方和/或后方延伸第二预设长度,得到第二延伸长度,其中,第二预设长度大于第一预设长度;将基于第二延伸长度和车身的宽度形成的区域确定为第三安全区域;沿第三安全区域的外轮廓在地面上设置第三安全标志线,其中,第三安全标志线的颜色与第二安全标志线的颜色不同。
具体地,可以以第二预设长度将车身的外轮廓向前方和/或后方延伸,得到第二延伸长度;进一步地,将基于第二延伸长度和车身的宽度形成的区域确定为第三安全区域,并沿第三安全区域的外轮廓在地面上设置第三安全标志线。
这里,第二预设长度是指安全标志线与车头之间的距离。第二预设长度可以是用户根据经验数据预先设置的长度,也可以是用户根据实际需要对已设置的长度进行调整后得到的长度,本公开实施例对此不作限制。第二预设长度可以是1米至10米范围内的任一值。优选地,在本公开实施例中,第二预设长度为4米,第二延伸长度即为第二预设长度,并且第二预设长度大于第一预设长度。
第三安全区域是指在自动驾驶车辆的行驶过程中为保证安全行驶的前方和/或后方区域。如图3所示,第三安全区域可以包括前方第二安全区域34,也可以包括后方第二安全区域35,或者还可以包括前方第二安全区域34和后方第二安全区域35,本公开实施例对此不作限制。优选地,在本公开实施例中,为了保证自动驾驶车辆的行驶安全,第三安全区域包括前方第二安全区域34和后方第二安全区域35。
第三安全标志线用于表征自动驾驶车辆在长度方向上的安全距离。如图3所示,第三安全标志线包括前方第四标志线341、前方第五标志线342、前方第六标志线343、后方第四标志线351、后方第五标志线352和后方第六标志线353,并且前方第四标志线341、前方第五标志线342、后方第四标志线351和后方第五标志线352均为纵向安全标志线,前方第六标志线343和后方第六标志线353为横向安全标志线。
可选地,在确定第二安全区域后,可以以第二预设长度将第二安全区域的外轮廓向前方和/或后方延伸。这里,第二预设长度是指安全标志线与第二安全区域的外轮廓之间的距离。第二预设长度可以是1米至10米范围内的任一值。第二预设长度可以小于第一预设长度,也可以等于第一预设长度,或者还可以大于第一预设长度,本公开实施例对此不作限制。
可选地,在一些实施例中,可以以第三预设长度将车身的外轮廓向前方和/或后方延伸,得到第三延伸长度;进一步地,将基于第三延伸长度和车身的宽度形成的区域确定为第四安全区域,并沿第四安全区域的外轮廓在地面上设置第四安全标志线。
这里,第三预设长度是指安全标志线与车头之间的距离。第三预设长度可以是用户根据经验数据预先设置的长度,也可以是用户根据实际需要对已设置的长度进行调整后得到的长度,本公开实施例对此不作限制。第三预设长度可以是1米至10米范围内的任一值。优选地,在本公开实施例中,第三预设长度为6米,第三延伸长度即为第三预设长度,并且第三预设长度大于第二预设长度。
第四安全区域是指在自动驾驶车辆的行驶过程中为保证安全行驶的前方和/或后方区域。如图3所示,第四安全区域可以包括前方第三安全区域36,也可以包括后方第三安全区域37,或者还可以包括前方第三安全区域36和后方第三安全区域37,本公开实施例对此不作限制。优选地,在本公开实施例中,为了保证自动驾驶车辆的行驶安全,第三安全区域包括前方第三安全区域36和后方第三安全区域37。
第四安全标志线用于表征自动驾驶车辆在长度方向上的安全距离。如图3所示,第四安全标志线包括前方第七标志线361、前方第八标志线362、前方第九标志线363、后方第七标志线371、后方第八标志线372和后方第九标志线373,并且前方第四标志线361、前方第五标志线362、后方第四标志线371和后方第五标志线372均为纵向安全标志线,前方第六标志线363和后方第六标志线373为横向安全标志线。
可选地,在确定第三安全区域后,可以以第三预设长度将第三安全区域的外轮廓向前方和/或后方延伸。这里,第三预设长度是指安全标志线与第三安全区域的外轮廓之间的距离。第三预设长度可以是1米至10米范围内的任一值。第三预设长度可以小于第一预设长度,也可以等于第一预设长度,或者还可以大于第一预设长度,本公开实施例对此不作限制。
需要说明的是,车头前方和/或车尾后方的安全区域的数量可以根据经验或实际需要进行设置。优选地,在本公开实施例中,车头前方和/或车尾后方的安全区域的数量为3。
根据本公开实施例提供的技术方案,通过基于自动驾驶车辆的长度和宽度设置第三安全区域和/或第四安全区域,能够准确地确定自动驾驶车辆的安全行驶区域;进一步地,通过绘制第三安全标志线和/或第四安全标志线,能够使安全行驶区域更加明显,轮廓更加清晰,从而有助于后续安全辅助线的描绘。
在一些实施例中,调用安全辅助线的图像信息,并在显示器上同时显示第二视频画面和安全辅助线,以辅助驾驶员进行远程驾驶,包括:基于安全辅助线的图像信息,将安全辅助线渲染到第二视频画面,以辅助驾驶员进行远程驾驶,其中,安全辅助线是基于在显示器上显示的第一视频画面中的第一安全标志线、第二安全标志线和/或第三安全标志线的图像信息描绘的。
具体地,在设置好第一安全标志线、第二安全标志线和/或第三安全标志线后,自动驾驶车辆的车身上的摄像装置采集第一安全标志线、第二安全标志线和/或第三安全标志线,并将采集到的第一安全标志线、第二安全标志线和/或第三安全标志线的图像信息和至少一部分车身的图像信息作为第一视频画面传输给远程驾驶舱;在接收到自动驾驶车辆发送的第一视频画面后,远程驾驶舱在其显示器上显示第一视频画面,技术人员可以基于第一视频画面中的第一安全标志线、第二安全标志线和/或第三安全标志线的图像信息通过软件在视频中描绘第一安全辅助线、第二安全辅助线和/或第三安全辅助线,并将所描绘的第一安全辅助线、第二安全辅助线和/或第三安全辅助线的图像信息存储在其存储器上;进一步地,在自动驾驶车辆处于远程驾驶模式的情况下,当接收到摄像装置获取的第二视频画面时,远程驾驶舱在其显示器上显示第二视频画面,并调用第一安全辅助线、第二安全辅助线和/或第三安全辅助线的图像信息,以将第一安全辅助线、第二安全辅助线和/或第三安全辅助线渲染到第二视频画面中来辅助驾驶员进行远程驾驶。
这里,安全辅助线的颜色可以相同,也可以不同,本公开实施例对此不作限制。例如,第一安全辅助线、第二安全辅助线和第三安全辅助线的颜色可以均为红色;或者,第一安全辅助线的颜色可以为红色,第二安全辅助线的颜色可以为黄色,第三安全辅助线的颜色可以为绿色;又或者,第一安全辅助线和第二安全辅助线的颜色可以为红色,第三安全辅助线的颜色可以为黄色。优选地,在本公开实施例中,第一安全辅助线、第二安全辅助线和第三安全辅助线的颜色彼此不同。
可选地,在一些实施例中,远程驾驶舱的驾驶员可以通过按压远程驾驶舱的按键面板上的按钮来选择需要在显示屏上显示的第一安全辅助线、第二安全辅助线和/或第三安全辅助线。例如,驾驶员可以选择显示第一安全辅助线、第二安全辅助线和第三安全辅助线中的任意一个,也可以选择显示第一安全辅助线、第二安全辅助线和第三安全辅助线中的任意两个,或者还可以选择同时显示第一安全辅助线、第二安全辅助线和第三安全辅助线,本公开实施例对此不作限制。
根据本公开实施例提供的技术方案,通过在显示器上显示不同颜色的安全辅助线,能够及时且有效地提醒驾驶员不同安全区域的道路情况,从而辅助驾驶员更安全地驾驶车辆,因此,提高了驾驶的安全性。
在一些实施例中,该方法还包括:获取自动驾驶车辆的转向角信号,并基于转向角信号确定自动驾驶车辆的行驶方向;基于自动驾驶车辆的行驶方向和行驶速度生成安全引导线,并在显示器上显示安全引导线,以辅助驾驶员进行远程驾驶。
具体地,自动驾驶车辆上的转向角传感器可以获取自动驾驶车辆的转向角信号,基于获取到的转向角信号可以辨认方向盘的转向角度、转动方向和转速,从而确定自动驾驶车辆的行驶方向;进一步地,可以基于自动驾驶车辆的行驶方向和行驶速度生成安全引导线,并在远程驾驶舱的显示器上显示安全引导线,以辅助驾驶员进行远程驾驶。
这里,转向角信号是自动驾驶车辆的车轮方向改变时发出的信号。转向角信号可以由设置在自动驾驶车辆上的转向角传感器来获取。转向角传感器是用于检测自动驾驶车辆的方向盘的转动角度和转向方向的器件,主要由光电耦合元件、开孔槽板等组成。当方向盘发生左转或右转时能够被转向角传感器检测到,方向盘的转动角度能够为自动驾驶车辆的转向提供依据,使自动驾驶车辆的能够按照驾驶员的转向意图行驶。
安全引导线是自动驾驶车辆的方向引导线,是用于对自动驾驶车辆进行导航路径的引导的线。安全引导线具有一定长度,该长度可以基于实际情况设置。安全引导线的颜色可以与安全辅助线相同,也可以与安全辅助线不同,本公开实施例对此不作限制。
在实际应用中,当自动驾驶车辆在露天矿区进行作业时,安装在其前侧(即,车头的中间位置处)的摄像头拍摄的视频画面如图4c所示。在该视频画面中,可以清楚地看到车头前方的前方第一安全区域40、前方第二安全区域41和前方第三安全区域42的图像以及安全引导线407。
根据本公开实施例提供的技术方案,通过基于自动驾驶车辆的转向角信号和行驶速度生成安全引导线,能够使驾驶员在安全引导线的引导下控制自动驾驶车辆安全行驶,因此,减少了剐蹭障碍物的风险,提高了驾驶的安全性。
上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。此外,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。
在采用对应各个功能划分各个功能模块的情况下,本公开实施例提供了一种自动驾驶车辆的远程驾驶装置,该自动驾驶车辆的远程驾驶装置可以为服务器或应用于服务器的芯片。图5为本公开一示例性实施例提供的一种自动驾驶车辆的远程驾驶装置的结构示意图。如图5所示,该自动驾驶车辆的远程驾驶装置500包括:
设置模块501,被配置为基于自动驾驶车辆的车型信息,在自动驾驶车辆的车身周围的地面上设置安全标志线,其中,安全标志线与车身之间的距离与车型相关;
获取模块502,被配置为利用安装在车身上的摄像装置获取第一视频画面,其中,第一视频画面包括安全标志线的图像信息和至少一部分车身的图像信息;
接收模块503,被配置为接收自动驾驶车辆发送的第一视频画面,并在远程驾驶舱的显示器上显示第一视频画面;
存储模块504,被配置为基于在显示器上显示的第一视频画面中的安全标志线的图像信息描绘安全辅助线,并将安全辅助线的图像信息存储在远程驾驶舱的存储器上;
显示模块505,被配置为在自动驾驶车辆处于远程驾驶模式的情况下,在显示器上显示摄像装置获取的第二视频画面;
调用模块506,被配置为调用安全辅助线的图像信息,并在显示器上同时显示第二视频画面和安全辅助线,以辅助驾驶员进行远程驾驶。
根据本公开实施例提供的技术方案,通过基于自动驾驶车辆的车型信息在自动驾驶车辆的车身周围的地面上设置安全标志线,利用安装在车身上的摄像装置获取包括安全标志线的图像信息和至少一部分车身的图像信息的第一视频画面,在远程驾驶舱的显示器上显示自动驾驶车辆发送的第一视频画面,基于第一视频画面中的安全标志线的图像信息描绘安全辅助线并存储安全辅助线的图像信息,在自动驾驶车辆处于远程驾驶模式的情况下,调用所存储的安全辅助线的图像信息,并在显示器上同时显示第二视频画面和安全辅助线,以辅助驾驶员进行远程驾驶,能够使远程驾驶舱的驾驶员基于视频中的安全辅助线对自动驾驶车辆进行准确的控制,因此,保证了自动驾驶车辆的行驶安全性,保障了自动驾驶车辆上的安全员的生命和财产安全。
在一些实施例中,安全标志线包括第一安全标志线,图5的设置模块501将车身的外轮廓向左侧和/或右侧延伸预设宽度,得到延伸宽度;将基于延伸宽度和车身的长度形成的区域确定为第一安全区域;沿第一安全区域的外轮廓在地面上设置第一安全标志线。
在一些实施例中,图5的设置模块501以自动驾驶车辆的左后轮位置和/或右后轮位置为起点,沿车身的宽度方向,在第一安全区域内设置第一安全标志线。
在一些实施例中,安全标志线包括第二安全标志线,图5的设置模块501将车身的外轮廓向前方和/或后方延伸第一预设长度,得到第一延伸长度;将基于第一延伸长度和车身的宽度形成的区域确定为第二安全区域;沿第二安全区域的外轮廓在地面上设置第二安全标志线。
在一些实施例中,安全标志线包括第三安全标志线,图5的设置模块501将车身的外轮廓向前方和/或后方延伸第二预设长度,得到第二延伸长度,其中,第二预设长度大于第一预设长度;将基于第二延伸长度和车身的宽度形成的区域确定为第三安全区域;沿第三安全区域的外轮廓在地面上设置第三安全标志线,其中,第三安全标志线的颜色与第二安全标志线的颜色不同。
在一些实施例中,图5的调用模块506基于安全辅助线的图像信息,将安全辅助线渲染到第二视频画面,以辅助驾驶员进行远程驾驶,其中,安全辅助线是基于在显示器上显示的第一视频画面中的第一安全标志线、第二安全标志线和/或第三安全标志线的图像信息描绘的。
在一些实施例中,图5的自动驾驶车辆的远程驾驶装置500还包括生成模块507,其中,获取模块502获取自动驾驶车辆的转向角信号,并基于转向角信号确定自动驾驶车辆的行驶方向;生成模块507基于自动驾驶车辆的行驶方向和行驶速度生成安全引导线,并在显示器上显示安全引导线,以辅助驾驶员进行远程驾驶。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
本公开实施例还提供一种电子设备,包括:至少一个处理器;用于存储至少一个处理器可执行指令的存储器;其中,至少一个处理器用于执行指令,以实现本公开实施例公开的上述自动驾驶车辆的远程驾驶方法的步骤。
图6为本公开一示例性实施例提供的电子设备的结构示意图。如图6所示,该电子设备600包括至少一个处理器601以及耦接至处理器601的存储器602,该处理器601可以执行本公开实施例公开的上述方法中的相应步骤。
上述处理器601还可以称为中央处理单元(Central Processing Unit,CPU),其可以是一种集成电路芯片,具有信号的处理能力。本公开实施例公开的上述方法中的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器、数字信号处理器(Digital Signal Processing,DSP)、ASIC、现成可编程门阵列(Field-programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储器602中,例如随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质。处理器601读取存储器602中的信息,结合其硬件完成上述方法的步骤。
另外,根据本公开的各种操作/处理在通过软件和/或固件实现的情况下,可从存储介质或网络向具有专用硬件结构的计算机系统,例如,图7所示的计算机系统700安装构成该软件的程序,该计算机系统在安装有各种程序时,能够执行各种功能,包括诸如前文所述的功能等等。图7为本公开一示例性实施例提供的计算机系统的结构示意图。
计算机系统700旨在表示各种形式的数字电子的计算机设备,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示,计算机系统700包括计算单元701,该计算单元701可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机存取存储器(RAM)703中的计算机程序,来执行各种适当的动作和处理。在RAM 703中,还可存储计算机系统700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
计算机系统700中的多个部件连接至I/O接口705,包括:输入单元706、输出单元707、存储单元708以及通信单元709。输入单元706可以是能向计算机系统700输入信息的任何类型的设备,输入单元706可以接收输入的数字或字符信息,以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元707可以是能呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元708可以包括但不限于磁盘、光盘。通信单元709允许计算机系统700通过网络诸如因特网的与其他设备交换信息/数据,并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组,例如,蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理。例如,在一些实施例中,本公开实施例公开的上述方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如,存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。在一些实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行本公开实施例公开的上述方法。
本公开实施例还提供一种计算机可读存储介质,其中,当计算机可读存储介质中的指令由电子设备的处理器执行时,使得该电子设备能够执行本公开实施例公开的上述方法。
本公开实施例中的计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。上述计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。更具体的,上述计算机可读存储介质可以包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
本公开实施例还提供一种计算机程序产品,包括计算机程序,其中,该计算机程序被处理器执行时实现本公开实施例公开的上述方法。
在本公开的实施例中,可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机,或者,可以连接到外部计算机。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块、部件或单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块、部件或单元的名称在某种情况下并不构成对该模块、部件或单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示例性的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本公开的一些实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本公开的范围。本领域的技术人员应该理解,可在不脱离本公开的范围和精神的情况下,对以上实施例进行修改。本公开的范围由所附权利要求来限定。
Claims (10)
1.一种自动驾驶车辆的远程驾驶方法,其特征在于,包括:
基于自动驾驶车辆的车型信息,在所述自动驾驶车辆的车身周围的地面上设置安全标志线,其中,所述安全标志线与所述车身之间的距离与车型相关;
利用安装在所述车身上的摄像装置获取第一视频画面,其中,所述第一视频画面包括所述安全标志线的图像信息和至少一部分所述车身的图像信息;
接收所述自动驾驶车辆发送的所述第一视频画面,并在远程驾驶舱的显示器上显示所述第一视频画面;
基于在所述显示器上显示的所述第一视频画面中的所述安全标志线的图像信息描绘安全辅助线,并将所述安全辅助线的图像信息存储在所述远程驾驶舱的存储器上;
在所述自动驾驶车辆处于远程驾驶模式的情况下,在所述显示器上显示所述摄像装置获取的第二视频画面;
调用所述安全辅助线的图像信息,并在所述显示器上同时显示所述第二视频画面和所述安全辅助线,以辅助驾驶员进行远程驾驶。
2.根据权利要求1所述的方法,其特征在于,所述安全标志线包括第一安全标志线,所述基于自动驾驶车辆的车型信息,在所述自动驾驶车辆的车身周围的地面上设置安全标志线,包括:
将所述车身的外轮廓向左侧和/或右侧延伸预设宽度,得到延伸宽度;
将基于所述延伸宽度和所述车身的长度形成的区域确定为第一安全区域;
沿所述第一安全区域的外轮廓在所述地面上设置所述第一安全标志线。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
以所述自动驾驶车辆的左后轮位置和/或右后轮位置为起点,沿所述车身的宽度方向,在所述第一安全区域内设置所述第一安全标志线。
4.根据权利要求2所述的方法,其特征在于,所述安全标志线包括第二安全标志线,所述基于自动驾驶车辆的车型信息,在所述自动驾驶车辆的车身周围的地面上设置安全标志线,包括:
将所述车身的外轮廓向前方和/或后方延伸第一预设长度,得到第一延伸长度;
将基于所述第一延伸长度和所述车身的宽度形成的区域确定为第二安全区域;
沿所述第二安全区域的外轮廓在所述地面上设置所述第二安全标志线。
5.根据权利要求4所述的方法,其特征在于,所述安全标志线包括第三安全标志线,所述方法还包括:
将所述车身的外轮廓向所述前方和/或所述后方延伸第二预设长度,得到第二延伸长度,其中,所述第二预设长度大于所述第一预设长度;
将基于所述第二延伸长度和所述车身的宽度形成的区域确定为第三安全区域;
沿所述第三安全区域的外轮廓在所述地面上设置所述第三安全标志线,其中,所述第三安全标志线的颜色与所述第二安全标志线的颜色不同。
6.根据权利要求5所述的方法,其特征在于,所述调用所述安全辅助线的图像信息,并在所述显示器上同时显示所述第二视频画面和所述安全辅助线,以辅助驾驶员进行远程驾驶,包括:
基于所述安全辅助线的图像信息,将所述安全辅助线渲染到所述第二视频画面,以辅助所述驾驶员进行远程驾驶,其中,所述安全辅助线是基于在所述显示器上显示的所述第一视频画面中的所述第一安全标志线、所述第二安全标志线和/或所述第三安全标志线的图像信息描绘的。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述方法还包括:
获取所述自动驾驶车辆的转向角信号,并基于所述转向角信号确定所述自动驾驶车辆的行驶方向;
基于所述自动驾驶车辆的行驶方向和行驶速度生成安全引导线,并在所述显示器上显示所述安全引导线,以辅助所述驾驶员进行远程驾驶。
8.一种自动驾驶车辆的远程驾驶装置,其特征在于,包括:
设置模块,被配置为基于自动驾驶车辆的车型信息,在所述自动驾驶车辆的车身周围的地面上设置安全标志线,其中,所述安全标志线与所述车身之间的距离与车型相关;
获取模块,被配置为利用安装在所述车身上的摄像装置获取第一视频画面,其中,所述第一视频画面包括所述安全标志线的图像信息和至少一部分所述车身的图像信息;
接收模块,被配置为接收所述自动驾驶车辆发送的所述第一视频画面,并在远程驾驶舱的显示器上显示所述第一视频画面;
存储模块,被配置为基于在所述显示器上显示的所述第一视频画面中的所述安全标志线的图像信息描绘安全辅助线,并将所述安全辅助线的图像信息存储在所述远程驾驶舱的存储器上;
显示模块,被配置为在所述自动驾驶车辆处于远程驾驶模式的情况下,在所述显示器上显示所述摄像装置获取的第二视频画面;
调用模块,被配置为调用所述安全辅助线的图像信息,并在所述显示器上同时显示所述第二视频画面和所述安全辅助线,以辅助驾驶员进行远程驾驶。
9.一种电子设备,其特征在于,包括:
至少一个处理器;
用于存储所述至少一个处理器可执行指令的存储器;
其中,所述至少一个处理器用于执行所述指令,以实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310744536.3A CN116489318B (zh) | 2023-06-25 | 2023-06-25 | 自动驾驶车辆的远程驾驶方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310744536.3A CN116489318B (zh) | 2023-06-25 | 2023-06-25 | 自动驾驶车辆的远程驾驶方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116489318A CN116489318A (zh) | 2023-07-25 |
CN116489318B true CN116489318B (zh) | 2023-08-22 |
Family
ID=87212327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310744536.3A Active CN116489318B (zh) | 2023-06-25 | 2023-06-25 | 自动驾驶车辆的远程驾驶方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116489318B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101977794A (zh) * | 2008-05-08 | 2011-02-16 | 爱信精机株式会社 | 车辆周边显示装置 |
CN106092121A (zh) * | 2016-05-27 | 2016-11-09 | 百度在线网络技术(北京)有限公司 | 车辆导航方法和装置 |
CN106080393A (zh) * | 2016-08-08 | 2016-11-09 | 浙江吉利控股集团有限公司 | 自动驾驶辅助显示系统 |
CN110920604A (zh) * | 2018-09-18 | 2020-03-27 | 阿里巴巴集团控股有限公司 | 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质 |
CN116009532A (zh) * | 2022-12-02 | 2023-04-25 | 长沙中联重科环境产业有限公司 | 环卫车辆的远程辅助驾驶方法及系统、设备、存储介质 |
-
2023
- 2023-06-25 CN CN202310744536.3A patent/CN116489318B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101977794A (zh) * | 2008-05-08 | 2011-02-16 | 爱信精机株式会社 | 车辆周边显示装置 |
CN106092121A (zh) * | 2016-05-27 | 2016-11-09 | 百度在线网络技术(北京)有限公司 | 车辆导航方法和装置 |
CN106080393A (zh) * | 2016-08-08 | 2016-11-09 | 浙江吉利控股集团有限公司 | 自动驾驶辅助显示系统 |
CN110920604A (zh) * | 2018-09-18 | 2020-03-27 | 阿里巴巴集团控股有限公司 | 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质 |
CN116009532A (zh) * | 2022-12-02 | 2023-04-25 | 长沙中联重科环境产业有限公司 | 环卫车辆的远程辅助驾驶方法及系统、设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116489318A (zh) | 2023-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200357138A1 (en) | Vehicle-Mounted Camera Self-Calibration Method and Apparatus, and Storage Medium | |
CN112965504A (zh) | 基于自动驾驶的远程确认方法、装置、设备及存储介质 | |
CN108204822B (zh) | 一种基于adas的车辆ar导航系统及方法 | |
KR102647268B1 (ko) | 촬상 장치 및 전자 기기 | |
CN109789778B (zh) | 自动泊车辅助装置以及包括其的车辆 | |
KR101611261B1 (ko) | 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량 | |
CN111736604A (zh) | 一种远程驾驶控制方法、装置、设备及存储介质 | |
CN111565989B (zh) | 用于车辆的自主驾驶的自主驾驶装置和方法 | |
US11423673B2 (en) | Method and device for detecting state of holding steering wheel | |
US20220174243A1 (en) | Vehicle display device, vehicle control system, vehicle control method, and storage medium | |
CN113525228A (zh) | 遮挡信息显示方法、装置、电子设备及存储介质 | |
WO2021259280A1 (zh) | 一种车辆泊车方法、装置、车载设备及存储介质 | |
US20230046258A1 (en) | Method and apparatus for identifying object of interest of user | |
CN113852795B (zh) | 视频画面调整方法、装置、电子设备及存储介质 | |
CN114298908A (zh) | 一种障碍物展示方法、装置、电子设备及存储介质 | |
CN116489318B (zh) | 自动驾驶车辆的远程驾驶方法和装置 | |
CN111959417A (zh) | 汽车全景影像显示控制方法、装置、设备及存储介质 | |
CN113569692B (zh) | 辅助驾驶方法、系统、设备和计算机可读存储介质 | |
CN113379705B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN108399357B (zh) | 一种人脸定位方法及装置 | |
CN112241717B (zh) | 前车检测方法、前车检测模型的训练获取方法及装置 | |
JP2009159241A (ja) | 駐車時停止支援システム | |
JP7122394B2 (ja) | 撮像部制御装置 | |
CN113696909A (zh) | 机动车自动行驶控制方法、装置及计算机可读存储介质 | |
DE102018221186A1 (de) | Verfahren zum autonomen Parken |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |