CN110347163B - 一种无人驾驶设备的控制方法、设备及无人驾驶控制系统 - Google Patents

一种无人驾驶设备的控制方法、设备及无人驾驶控制系统 Download PDF

Info

Publication number
CN110347163B
CN110347163B CN201910725910.9A CN201910725910A CN110347163B CN 110347163 B CN110347163 B CN 110347163B CN 201910725910 A CN201910725910 A CN 201910725910A CN 110347163 B CN110347163 B CN 110347163B
Authority
CN
China
Prior art keywords
data
unmanned
control
equipment
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910725910.9A
Other languages
English (en)
Other versions
CN110347163A (zh
Inventor
韩鹏
张�浩
陈丽莉
陆原介
雷雨
何惠东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910725910.9A priority Critical patent/CN110347163B/zh
Publication of CN110347163A publication Critical patent/CN110347163A/zh
Application granted granted Critical
Publication of CN110347163B publication Critical patent/CN110347163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Abstract

本发明公开了一种无人驾驶设备的控制方法、设备及无人驾驶控制系统,涉及通信技术领域,用于提高对运动数据的处理速度,提高无人驾驶设备方向控制的及时性和灵活性。所述方法包括:获取佩戴VR设备的用户根据VR场景进行肢体动作时生成的运动数据;在硬件适配层HAL中对所述运动数据进行处理分析,获得控制无人驾驶设备的控制数据;根据所述控制数据控制所述无人驾驶设备。

Description

一种无人驾驶设备的控制方法、设备及无人驾驶控制系统
技术领域
本发明涉及通信技术领域,尤其涉及一种无人驾驶设备的控制方法、设备及无人驾驶控制系统。
背景技术
VR(Virtual Reality,虚拟现实)技术是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真。
无人驾驶设备也称自动驾驶设备,驾驶人员可以不进行手动操作即可依靠车内的以计算机系统为主的智能驾驶仪来控制无人驾驶设备行驶。然而,在无人驾驶设备在行驶过程中难免会遇到复杂路况,如人多,车多,路口多的路况,这对无人驾驶设备控制的及时性要求会更高,若无人驾驶设备的控制系统不能及时控制无人驾驶设备做出正确的控制操作,则可能导致交通事故,从而造成无人驾驶设备中人员的生命以及财产损失。因此,如何利用VR技术更加灵活、精准的及时操作无人驾驶设备是一个值得思考的问题。
发明内容
本申请实施例提供了一种无人驾驶设备的控制方法、设备及无人驾驶控制系统,用于提高对运动数据的处理速度,提高无人驾驶设备方向控制的及时性和灵活性。
第一方面,提供了一种无人驾驶设备的控制方法,所述控制方法包括:
获取佩戴VR设备的用户根据VR场景进行肢体动作时生成的运动数据;
在硬件适配层HAL中对所述运动数据进行处理分析,获得控制无人驾驶设备的控制数据;
根据所述控制数据控制所述无人驾驶设备。
可选的,在硬件适配层HAL中对所述运动数据进行处理分析,获取控制无人驾驶设备的控制数据,包括:
将所述运动数据进行平面角度分解为水平分量数据和垂直分量数据,并根据所述水平分量数据和所述垂直分量数据确定水平方向的角度转动数据;
将所述水平分量数据与预先设置的方向校验数据进行比较,确定所述水平分量数据对应方向的方向数据;
根据所述方向数据和所述角度转动数据确定所述控制数据。
可选的,根据所述方向数据和所述角度转动数据确定所述控制数据,包括:
根据预先设置的角度转动数据与无人驾驶设备的转向角度的对应关系,确定与所述角度转动数据对应的所述无人驾驶设备的转向角度;
根据所述方向数据确定所述无人驾驶设备的转向方向;
所述控制数据包括所述转向角度和所述转向方向。
可选的,根据所述水平分量数据和所述垂直分量数据确定水平方向的角度转动数据,包括:
根据所述水平分量数据和所述垂直分量数据,获取水平方向和垂直方向的移动距离;
根据水平移动距离与垂直移动距离的比值,确定所述水平方向的角度转动数据。
可选的,在获取佩戴VR设备的用户根据VR场景进行肢体动作时生成的运动数据之前,所述方法还包括:
获得佩戴所述VR设备的用户选择的操作灵敏度级别;
根据获得的所述操作灵敏度级别,设置所述VR设备采集所述运动数据的灵敏度。
可选的,所述方法还包括:
若所述角度转动数据超过预设阈值,则确定所述角度转动数据为无效数据,并通过所述VR设备中显示提示信息,所述提示信息用于提示所述用户角度转动数据无效。
第二方面,提供了一种无人驾驶设备的控制设备,所述控制设备包括:
数据获取模块,所述数据获取模块用于获取佩戴VR设备用户根据VR场景进行肢体动作时生成的运动数据;
数据处理模块,所述数据处理模块用于在硬件适配层HAL中对所述运动数据进行处理分析,获得控制无人驾驶设备的控制数据;
控制模块,所述控制模块用于根据所述控制数据控制所述无人驾驶设备。
可选的,所述数据处理模块,具体用于:
将所述运动数据进行平面角度分解为水平分量数据和垂直分量数据,并根据所述水平分量数据和所述垂直分量数据确定水平方向的角度转动数据;
将所述水平分量数据与预先设置的方向校验数据进行比较,确定所述水平分量数据对应的方向数据;
根据所述方向数据和所述角度转动数据确定所述控制数据。
可选定,所述控制设备还包括第一确定模块,所述第一确定模块用于:
根据预先设置的角度转动数据与无人驾驶设备的转向角度的对应关系,确定与所述角度转动数据对应的所述无人驾驶设备的转向角度;
根据所述方向数据确定所述无人驾驶设备的转向方向;
所述控制数据包括所述转向角度和所述转向方向。
可选的,所述控制设备还包括第二确定模块,所述第二确定模块用于:
根据所述水平分量数据和所述垂直分量数据,获取水平方向和垂直方向的移动距离;
根据水平移动距离与垂直移动距离的比值,确定所述水平方向的角度转动数据。
可选的,所述控制设备还包括设置模块,所述设置模块用于在获取佩戴VR设备的用户根据VR场景进行肢体动作时生成的运动数据之前,获得佩戴所述VR设备的用户选择的操作灵敏度级别;
根据获得的所述操作灵敏度级别,设置所述VR设备采集所述运动数据的灵敏度。
可选的,所述控制设备还包括提示模块,所述提示模块用于:
若所述角度转动数据超过预设阈值,则确定所述角度转动数据为无效数据,并通过所述VR设备中显示提示信息,所述提示信息用于提示所述用户角度转动数据无效。
第三方面,提供了一种无人驾驶控制系统,所述控制系统包括无人驾驶控制设备、VR设备和无人驾驶设备;
所述VR设备用于采集佩戴VR设备的用户根据VR场景进行肢体动作时生成的运动数据;
所述无人驾驶控制设备用于在硬件适配层HAL中对所述运动数据进行处理分析,获得控制无人驾驶设备的控制数据;并根据所述控制数据控制所述无人驾驶设备。
可选的,所述无人驾驶控制设备集成在所述VR设备内。
在本申请实施例中,当获取到佩戴VR设备的用户根据VR场景进行肢体动作时生成的运动数据后,可以在硬件适配层HAL中对该运动数据进行处理分析,以获得用于控制无人驾驶设备的控制数据,从而可以根据获得的控制数据控制无人驾驶设备。由于在HAL层中处理数据,相较于在应用层中处理运动数据,其可使用的内存、处理器等硬件资源更多,因此可提高对运动数据的处理速度,那么,则可以较快的得到用于控制无人驾驶设备的控制数据,从而提高无人驾驶设备方向控制的及时性和灵活性,使得无人驾驶设备中乘坐人员的生命、财产更有安全保障。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例。
图1为本申请实施例提供的无人驾驶控制系统示意图;
图2为本申请实施例提供的VR设备显示屏幕显示图像示意图;
图3为本申请实施例提供的无人驾驶设备的控制方法的流程图;
图4为本申请实施例提供的确定角度转动数据模型的示意图;
图5a为本申请实施例提供无人驾驶设备的控制设备的示意图;
图5b为本申请实施例提供无人驾驶设备的控制设备的另一示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明技术方案的一部分实施例,而不是全部的实施例。基于本申请文件中记载的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明技术方案保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例中,“多个”可以表示至少两个,例如可以是两个、三个或者更多个,本申请实施例不做限制。
为了便于理解,下面先对本发明实施例的技术背景进行介绍。
如前文所述,无人驾驶设备要求控制的及时性,在行驶路况较为复杂的情境下,对无人驾驶设备控制的及时性显得尤为重要,目前,无人驾驶设备通常将VR设备采集的运动数据直接通过设备节点传入到无人驾驶设备的控制设备中的应用层,由应用层中的应用软件对该运动数据进行处理以获取用于控制无人驾驶设备的方向数据,然而应用层中包括有多个应用软件,每个应用软件所占用的外部资源是有限的,那么当处理的数据较多时,对运动数据的处理速度也会受到影响,从而影响对无人驾驶设备控制的实时性,使得无人驾驶设备在路况复杂时无法及时作出正确的方向控制操作,进而危害无人驾驶设备中人员的生命以及财产安全。
鉴于此,本申请的发明人提供了一种无人驾驶设备控制方案,在该方案中,通过在HAL(Hardware Abstract Layer,硬件适配层)中增加数据处理机制,当获取到VR设备采集的运动数据后,将该运动数据传入HAL层中进行处理分析,以获得控制无人驾驶设备的控制数据,从而可以根据获得的控制数据来控制无人驾驶设备。由于在HAL层中处理数据,相较于在应用层中处理运动数据,其可使用的内存、处理器等资源更多,因此可提高对运动数据的处理速度,从而提高无人驾驶设备方向控制的及时性和灵活性,使得无人驾驶设备中乘坐人员的生命、财产更有安全保障。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本申请实施例提供了一种无人驾驶控制系统,请参见图1,本申请实施例中的无人驾驶设备控制系统包括无人驾驶设备10、VR设备11和无人驾驶控制设备12。
其中,无人驾驶设备10可以如无人驾驶汽车、无人机等设备,该无人驾驶设备10上安装有摄像装置,从而无人驾驶设备10可以将摄像装置拍摄的该无人驾驶设备当前所在环境的图像信息,例如,假设无人驾驶设备为无人驾驶汽车,则可以通过安装的摄像装置采集无人驾驶汽车的行驶正前方的图像信息、汽车后视镜图像信息、反光镜图像信息、汽车仪表盘数据信息等信息。无人驾驶设备10中还可以设置有语音采集装置,用于采集无人驾驶设备10当前所在环境中的语音信息,例如,周围其他设备产生的鸣笛或警报声音,无人驾驶设备10乘坐人员的语音信息等等。
VR设备11可以是虚拟现实头戴式显示设备,VR设备11可以将佩戴该VR设备的用户对外界的视觉、听觉封闭,引导用户产生一种身在虚拟环境中的感觉。本申请实施例的VR设备11通过无线连接的方式与无人驾驶设备10进行连接,且VR设备11中包括一个或者多个显示屏幕,可以用于显示无人驾驶设备10中摄像头采集的图像或数据信息。具体的,VR设备11中可以两个屏幕,VR设备11的佩戴者左右眼分别对应一个屏幕,每个屏幕显示可以不相同的信息,当然,也可以将同一个屏幕划分成多个显示区域,每个显示区域显示不同的信息,例如,请参见图2,VR设备11的显示屏中可以分区域显示无人驾驶汽车的行驶正前方的图像信息、汽车后视镜图像信息、左反光镜图像信息、右反光镜图像信息以及汽车仪表盘数据信息。
进一步地,VR设备11中还设置有运动感应组件(如陀螺仪传感器)、摄像装置,当佩戴VR设备用户转动头部或者身体时,设置的运动感应组件或摄像装置可以采集到与用户肢体运动相关的运动数据,因此,VR设备11的佩戴用户可以通过转动头部或者转动身体来控制无人驾驶设备的行驶方向。
具体的,当VR设备11为头戴式VR设备时,为了防止VR设备11的佩戴用户随意晃动或抖动头部,避免造成无人驾驶设备10转动方向的误判,可以在VR设备中设置一个辅助装置,该辅助装置可以通过支架将VR设备11固定在佩戴用户的两肩之上,以VR设备11为转轴中心,只允许VR设备进行左右方向摆动,使得佩戴用户不能随意歪头,从而提高无人驾驶设备10行驶的安全性,保障无人驾驶设备10中乘坐人员的人生、财产安全。
本申请实施例中的无人驾驶控制设备12可以是如服务器、计算机等独立存在的设备,当然也可以将无人驾驶控制设备12集成在VR设备11中以节约成本。无人驾驶控制设备12安装有无人驾驶设备操作系统,可以用于控制VR设备11采集数据并对采集的数据进行处理,以及发送控制指令控制无人驾驶设备10行驶。
在具体实践过程中,无人驾驶控制设备12可以控制无人驾驶设备10将通过摄像装置采集图像信息生成VR场景,并将生成的VR场景显示在VR设备11的显示屏幕中,无人驾驶控制设备12还可以获取佩戴VR设备的用户根据VR场景生成的运动数据,并通过在无人驾驶设备操作系统的硬件适配层HAL中增设的数据处理机制对获取的运动数据进行处理分析,以获控制无人驾驶设备的控制数据,从而根据该控制数据控制无人驾驶设备10行驶。
基于上述介绍的无人驾驶控制系统,本申请实施例还提供了一种无人驾驶设备的控制方法,如图3所示,该方法的具体流程描述如下。
步骤301:获取佩戴VR设备的用户根据VR场景进行肢体动作时生成的运动数据。
本申请实施例中为了便于说明,以图1所示的无人驾驶设备10为无人驾驶汽车为例,VR设备11为头戴式VR设备(下文中称为VR头显)为例具体进行具体说明。
在本申请实施例中,可以无人驾驶汽车中安装的摄像装置采集的当前行驶环境的图像信息生成VR场景显示在VR头显中,进而佩戴VR头显的用户可以通过显示的VR场景如身临其境的观察到无人驾驶设备11当前的行驶环境,并且可以根据VR场景做出相应的肢体运动,如转动头部、转动身体、用手握住握力球等等,从而VR头显中设置的运动感应组件或者可以采集到与佩戴用户肢体运动相关的运动数据,并将采集的运动数据发送至无人驾驶控制设备12中,因此无人驾驶控制设备12则可以获取到VR头显采集的运动数据。
步骤302:在硬件适配层HAL中对获取的运动数据进行处理分析,获得控制无人驾驶设备的控制数据。
本申请实施例中,无人驾驶控制设备12在获取到VR头显佩戴用户的运动数据后,并不会将运动数据传入到应用层中进行处理分析,而是将获取的运动数据缓存在HAL层中,并通过在HAL层中增设的数据处理机制对运动数据进行处理分析,以获得可以用于控制无人驾驶汽车方向转动的控制数据,由于在HAL层中对运动数据进行处理分析,可调用的内存、处理器等硬件资源更多,所以可以提高数据处理的速度,以便及时获取到用于控制无人驾驶汽车方向转动的控制数据,从而实现实时控制无人驾驶汽车行驶,保障车内人员生命、财产安全。
其中,控制数据包括表征无人驾驶汽车行驶方向的数据,以及向该行驶方向转动多少角度的数据,控制数据中还能包括表征控制无人驾驶汽车换挡、变速、刹车、打灯等数据,具体的,与方向和角度相关的数据可以通过佩戴VR头显的用户转动头部或身体的角度获得,与变速和刹车相关的数据则可以通过佩戴VR头显的用户手握握力球的力度来确定。
进一步地,由于佩戴VR头显的用户在转动头部时,无法保证用户的可以完全水平活动,因此,采集到的运动数据中不仅包括用户水平转动头部的数据,还可能包括垂直方向转动头部的数据,进而在处理分析运动数据时,可以先将运动数据中关于用户头部转动的数据进行平面角度分解为水平分量数据和垂直分量数据,并根据所述水平分量数据和垂直分量数据确定水平方向的角度转动数据,进而可以将水平分量数据与预先设置的方向校验数据进行比较,例如,若水平分量数据中表征方向的字段与方向校验数据的字段相同,则确定水平分量数据对应的方向与方向校验数据表征的方向相同,否则,该水平分量数据对应的方向与该方向校验数据保证的方向相反,从而可以根据比较结果确定该水平分量数据对应方向的方向数据,即可以确定出该佩戴VR头显的用户转动头部的方向。
具体的,请参见图4,在获取到运动数据中的水平分量数据和垂直分量数据后,可以通过建立二维模型,假设X轴为水平方向,Y轴为垂直方向,提取水平方向的移动距离dx和垂直方向的移动距离dy,进而根据水平移动距离dx与垂直移动距离dy的比值,计算出水平方向的角度转动数据。
作为一种可选的实施方式,在本申请实施例中,还可以在获得运动数据后,根据运动数据确定佩戴VR头显的用户头部的转动方向,具体的,可以预先设置一个方向标志位,该方向标志位中包括陀螺仪传感器的三个轴表征方向的标志,这三个轴表征的方向可以当佩戴VR头显的用户正视前方时该用户的前后、左右、上下这三个方向,从而将运动数据和方向标志位进行对比,若运动数据中表征方向的字段与预设的方标志位的字段相同,则确定该运动数据对应的方向与该方向标志位对应的方向相同,若不同,则确定运动数据对应的方向与方向标志为对应的方向相反。
需要说明的是,由于本申请实施例中可以佩戴VR头显的用户可以通过左右转动头部或身体来控制无人驾驶汽车的转向,所以预先设置的方向标志位可以是表征水平方向的标志位,例如,方向标志位水平方向朝向为右边的标志位,若运动数据中表征方向的字段与水平朝向右边的标志为相同,则可以确定运动数据对应的方向为水平方向的右方。
在本申请实施例中,当获得佩戴VR头显的用户转动头部的方向数据和角度转动数据后,则可以根据该方向数据和角度转动数据确定用于控制无人驾驶汽车行驶方向的控制数据。
作为一种可选实施方式,在本申请实施例中,为了使佩戴VR头显的用户能够便捷地通过转动头部来控制无人驾驶汽车的方向盘转动方向,从而更加方便的控制无人驾驶汽车的行驶方向,以提升用户体验感。在确定出佩戴VR头显的用户转动头部角度转动数据和方向数据后,可以根据预先设置的角度转动数据与无人驾驶设备的转向角度的对应关系,确定与该角度转动数据对应的无人驾驶汽车的转向角度,根据方向数据确定无人驾驶汽车的转向方向,从而可以确定用于控制无人驾驶汽车行驶的转向角度和转向方向,也就是说,根据角度转动数据和方向数据确定的控制数据中包括无人驾驶汽车的转向角度和转向方向。
在具体的实践过程中,由于无人驾驶汽车的方向盘转动角度是有限的,左右各一圈半,即左右各转540度,而VR设备中的陀螺仪传感器可以无限的转动,因此,为了能够更有效的控制无人驾驶汽车进行方向转动,可以限定陀螺仪的有效转动范围,即可以预先设定一个阈值,当根据运动数据确定的角度转动数据超过预设阈值,则可以确定该角度转动数据为无效数据。那么,当用户因一些特殊原因无意识的回头,实际上用户并不是想控制无人驾驶汽改变方向,此种情况下则可以避免因用户的无意识头部转动造成的错误控制无人驾驶汽车转向的情况发生,从而可以避免因控制错误导致车祸,保障乘车人员的生命、财产安全。
进一步地,当角度转动数据超过该预设阈值时,还可以在VR头显的显示屏中显示提示信息,或者,通过VR头显中的语音播放装置播放提示信息,以提示佩戴VR头显的用户该角度转动数据无效,提示用户肢体动作错误,告警用户时刻保持机警,专注控制驾驶。
作为一种可选的实施方式,该预先设定的阈值还可以是无人驾驶汽车最大转动角度,即当根据获取的角度转动数据确定出的无人驾驶汽车转向角度超过预设阈值后,则可以确定该无人驾驶汽车的转向角度无效,无人驾驶控制设备不会根据该转向角度控制无人驾驶汽车进行转动,以保障行驶安全。
作为一种可选的实施方式,在本申请实施例中,由于不同的用户反应灵敏度也不同,例如,年纪稍大的用户反应速度相较于年轻人而言要慢一些,驾驶经验丰富的用户要比驾驶经验少的用户反应速度快。因此,为了能够使不同的用户都可以通过VR头显准确且及时的控制无人驾驶汽车,VR头显设备中可以设置多个操作灵敏度级别,当用户在佩戴VR头显之前,可以根据自身需求选择适合自己的操作灵敏度级别,从而,可以根据用户选择的操作灵敏级别,设置VR头显采集用运动数据的灵敏度。例如,反应较慢的用户可以,选择较高的操作灵敏级别,从而可以较为迅速的采集到佩戴V R头显的用户的肢体动作生成的运动数据。
步骤303:根据该控制数据控制无人驾驶设备。
如前文所述,控制数据中包括无人驾驶汽车转向方向和转向角度,那么,当获得控制数据后,则可以根据转向方向和转向角度,控制无人驾驶汽车的方向盘朝着相应的方向转动相应的角度,从而控制无人驾驶汽车进行方向转动,以确保无人驾驶汽车能够安全行驶,保障乘车人员生命财产安全。
在本申请实施例中,佩戴VR头显的用户可以乘坐在无人驾驶汽车中,例如,用户手受伤了,无人操作方向盘,则可以通过生成的VR场景查看无人驾驶汽车的行驶路况信息,从而根据转动头部控制无人驾驶汽车转动方向。当前,佩戴VR头显的用户也可以不在无人驾驶汽车内,远程控制无人驾驶汽车,例如,用户可以在办公室或家中,通过VR头显查看无人驾驶汽车的行驶环境,根据转动头部来控制无人驾驶汽车的行驶方向,从而可以通过无人驾驶汽车接送不会开车的家人或朋友,所以更加高效便捷。
所以,通过上述方法,通过HAL中处理获取的运动数据,以获得控制无人驾驶设备的控制数据,从而可以根据获得的控制数据来控制无人驾驶设备。由于在HAL层中处理数据,相较于在应用层中处理运动数据,其可使用的内存、处理器等资源更多,因此可提高对运动数据的处理速度,从而提高无人驾驶设备方向控制的及时性和灵活性,使得无人驾驶设备中乘坐人员的生命、财产更有安全保障。
基于同一发明构思,本申请实施例提供一种无人驾驶设备的控制设备,该控制设备可以是服务器,该控制设备可以实现前述无人驾驶设备的控制方法;或者,该无人驾驶设备的控制设备可以是硬件结构、软件模块、或硬件结构加软件模块。该无人驾驶设备的控制设备可以由芯片系统实现,芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。请参见图5a所示,本申请实施例中的无人驾驶设备的控制设备包括数据获取模块501、数据处理模块502和控制模块503,其中:
数据获取模块501,数据获取模块用于获取佩戴VR设备用户根据VR场景进行肢体动作时生成的运动数据;
数据处理模块502,数据处理模块用于在硬件适配层HAL中对运动数据进行处理分析,获得控制无人驾驶设备的控制数据;
控制模块503,控制模块用于根据控制数据控制无人驾驶设备。
在一种可能的实施方式中,该无人驾驶设备的控制设备的数据处理模块502,具体用于将运动数据进行平面角度分解为水平分量数据和垂直分量数据,并根据水平分量数据和垂直分量数据确定水平方向的角度转动数据;将水平分量数据与预先设置的方向校验数据进行比较,确定水平分量数据对应的方向数据;根据方向数据和角度转动数据确定控制数据。
在一种可能的实施方式中,如图5b所示,该无人驾驶设备的控制设备还包括第一确定模块504,该第一确定模块504用于根据预先设置的角度转动数据与无人驾驶设备的转向角度的对应关系,确定与角度转动数据对应的无人驾驶设备的转向角度;根据方向数据确定无人驾驶设备的转向方向;控制数据包括转向角度和转向方向。
在一种可能的实施方式中,如图5b所示,该无人驾驶设备的控制设备还包括第二确定模块505,该第二确定模块505用于根据水平分量数据和垂直分量数据,获取水平方向和垂直方向的移动距离;根据水平移动距离与垂直移动距离的比值,确定水平方向的角度转动数据。
在一种可能的实施方式中,如图5b所示,该无人驾驶设备的控制设备还包括设置模块506,该设置模块506用于在获取佩戴VR设备的用户根据VR场景进行肢体动作时生成的运动数据之前,获得佩戴VR设备的用户选择的操作灵敏度级别;
根据获得的所述操作灵敏度级别,设置VR设备采集运动数据的灵敏度。
在一种可能的实施方式中,如图5b所示,该无人驾驶设备的控制设备还包括提示模块507,该提示模块507用于:
若角度转动数据超过预设阈值,则确定角度转动数据为无效数据,并通过VR设备中显示提示信息,提示信息用于提示所述用户角度转动数据无效。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种无人驾驶设备的控制方法,其特征在于,包括:
获取佩戴VR设备的用户根据VR场景进行肢体动作时生成的运动数据;
将所述运动数据进行平面角度分解为水平分量数据和垂直分量数据,并根据所述水平分量数据和所述垂直分量数据确定水平方向的角度转动数据;
将所述水平分量数据与预先设置的方向校验数据进行比较,确定所述水平分量数据对应方向的方向数据;
根据所述方向数据和所述角度转动数据确定控制无人驾驶设备的控制数据;
根据所述控制数据控制所述无人驾驶设备。
2.如权利要求1所述的方法,其特征在于,根据所述方向数据和所述角度转动数据确定所述控制数据,包括:
根据预先设置的角度转动数据与无人驾驶设备的转向角度的对应关系,确定与所述角度转动数据对应的所述无人驾驶设备的转向角度;
根据所述方向数据确定所述无人驾驶设备的转向方向;
所述控制数据包括所述转向角度和所述转向方向。
3.如权利要求1所述的方法,其特征在于,根据所述水平分量数据和所述垂直分量数据确定水平方向的角度转动数据,包括:
根据所述水平分量数据和所述垂直分量数据,获取水平方向和垂直方向的移动距离;
根据水平移动距离与垂直移动距离的比值,确定所述水平方向的角度转动数据。
4.如权利要求1所述的方法,其特征在于,在获取佩戴VR设备的用户根据VR场景进行肢体动作时生成的运动数据之前,所述方法还包括:
获得佩戴所述VR设备的用户选择的操作灵敏度级别;
根据获得的所述操作灵敏度级别,设置所述VR设备采集所述运动数据的灵敏度。
5.如权利要求1所述的方法,其特征在于,所述方法还包括:
若所述角度转动数据超过预设阈值,则确定所述角度转动数据为无效数据,并通过所述VR设备中显示提示信息,所述提示信息用于提示所述用户角度转动数据无效。
6.一种无人驾驶设备的控制设备,其特征在于,包括:
数据获取模块,所述数据获取模块用于获取佩戴VR设备用户根据VR场景进行肢体动作时生成的运动数据;
数据处理模块,所述数据处理模块用于将所述运动数据进行平面角度分解为水平分量数据和垂直分量数据,并根据所述水平分量数据和所述垂直分量数据确定水平方向的角度转动数据;将所述水平分量数据与预先设置的方向校验数据进行比较,确定所述水平分量数据对应的方向数据;根据所述方向数据和所述角度转动数据确定控制无人驾驶设备的控制数据;
控制模块,所述控制模块用于根据所述控制数据控制所述无人驾驶设备。
7.一种无人驾驶控制系统,其特征在于,包括无人驾驶控制设备、VR设备和无人驾驶设备;
所述VR设备用于采集佩戴VR设备的用户根据VR场景进行肢体动作时生成的运动数据;
所述无人驾驶控制设备用于将所述运动数据进行平面角度分解为水平分量数据和垂直分量数据,并根据所述水平分量数据和所述垂直分量数据确定水平方向的角度转动数据;将所述水平分量数据与预先设置的方向校验数据进行比较,确定所述水平分量数据对应的方向数据;根据所述方向数据和所述角度转动数据确定控制无人驾驶设备的控制数据;并根据所述控制数据控制所述无人驾驶设备。
8.如权利要求7所述的系统,其特征在于,所述无人驾驶控制设备集成在所述VR设备内。
CN201910725910.9A 2019-08-07 2019-08-07 一种无人驾驶设备的控制方法、设备及无人驾驶控制系统 Active CN110347163B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910725910.9A CN110347163B (zh) 2019-08-07 2019-08-07 一种无人驾驶设备的控制方法、设备及无人驾驶控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910725910.9A CN110347163B (zh) 2019-08-07 2019-08-07 一种无人驾驶设备的控制方法、设备及无人驾驶控制系统

Publications (2)

Publication Number Publication Date
CN110347163A CN110347163A (zh) 2019-10-18
CN110347163B true CN110347163B (zh) 2022-11-18

Family

ID=68184169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910725910.9A Active CN110347163B (zh) 2019-08-07 2019-08-07 一种无人驾驶设备的控制方法、设备及无人驾驶控制系统

Country Status (1)

Country Link
CN (1) CN110347163B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106231317A (zh) * 2016-09-29 2016-12-14 三星电子(中国)研发中心 视频处理、解码方法和装置、vr终端、视频播放系统
CN107765986A (zh) * 2017-11-01 2018-03-06 网易(杭州)网络有限公司 游戏系统的信息处理方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971172B2 (en) * 2014-01-15 2018-05-15 Carl Zeiss Vision International Gmbh Method for determining the far visual point for a spectacle lens and system therefor
CN105882732A (zh) * 2016-04-13 2016-08-24 乐视控股(北京)有限公司 车辆转向控制方法和装置
CN106131483A (zh) * 2016-06-24 2016-11-16 宇龙计算机通信科技(深圳)有限公司 一种基于虚拟现实的巡检方法及相关设备、系统
US10748326B2 (en) * 2016-08-19 2020-08-18 Movidius Ltd. Rendering operations using sparse volumetric data
WO2018053824A1 (zh) * 2016-09-26 2018-03-29 深圳市大疆创新科技有限公司 无人机控制方法、头戴式显示眼镜及系统
CN206162398U (zh) * 2016-11-21 2017-05-10 电子科技大学 一种用于重型机械远程无人操作的立体视觉随动显示系统
JP6940879B2 (ja) * 2016-11-24 2021-09-29 国立大学法人京都大学 ロボット制御システム、機械制御システム、ロボット制御方法、機械制御方法、およびコンピュータプログラム
CN107589745B (zh) * 2017-09-22 2021-04-16 京东方科技集团股份有限公司 驾驶方法、车载驾驶端、远程驾驶端、设备和存储介质
CN208715335U (zh) * 2018-08-13 2019-04-09 深圳普思英察科技有限公司 一种具有vr设备的无人车
CN109389042A (zh) * 2018-09-07 2019-02-26 百度在线网络技术(北京)有限公司 协助驾驶的方法、设备、无人驾驶设备及可读存储介质
CN109085927A (zh) * 2018-09-10 2018-12-25 南昌黑鲨科技有限公司 基于体感的操作控制组件、方法、智能终端及计算机可读存储介质
CN108833803A (zh) * 2018-09-20 2018-11-16 Oppo广东移动通信有限公司 成像方法、装置和电子设备
CN109377460A (zh) * 2018-10-15 2019-02-22 Oppo广东移动通信有限公司 一种图像处理方法、图像处理装置及终端设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106231317A (zh) * 2016-09-29 2016-12-14 三星电子(中国)研发中心 视频处理、解码方法和装置、vr终端、视频播放系统
CN107765986A (zh) * 2017-11-01 2018-03-06 网易(杭州)网络有限公司 游戏系统的信息处理方法和装置

Also Published As

Publication number Publication date
CN110347163A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
US10819966B2 (en) System and method for dynamic in-vehicle virtual reality
US9975559B2 (en) System and method for dynamic in-vehicle virtual reality
US10453260B2 (en) System and method for dynamic in-vehicle virtual reality
CN108028016B (zh) 增强现实显示系统
JP7060031B2 (ja) 運転者監視システム
RU2019131365A (ru) Система и способ управления дополненными аттракционами для катания
US20190101976A1 (en) Systems and methods to provide an interactive space based on predicted events
CN106648108A (zh) 车辆‑可穿戴装置界面及使用其的方法
KR20150085009A (ko) 차량내 휴대기기 관리 방법 및 장치
US11626028B2 (en) System and method for providing vehicle function guidance and virtual test-driving experience based on augmented reality content
CN106362402A (zh) 基于在线可视化编程的vr驾驶游戏制作与体验系统
CN106571082A (zh) 基于在线可视化编程的vr驾驶考核项目制作与体验系统
US10642033B2 (en) Image display device and image display method
CN110347163B (zh) 一种无人驾驶设备的控制方法、设备及无人驾驶控制系统
CN112513784A (zh) 自动隐藏显示内容的、用于车辆的数据眼镜
CN114926896A (zh) 一种自动驾驶车的控制方法
US20210208584A1 (en) Moving body control device, moving body control method, and computer readable recording medium
KR102332097B1 (ko) 가상현실 기반의 세이프 드라이빙을 위한 스크리닝 시스템
KR102431493B1 (ko) 증강현실 콘텐츠 기반 차량기능 안내 및 가상 시험주행 경험 제공 시스템 및 방법
CN106652644A (zh) 基于可视化编程的vr驾驶考核项目制作与体验系统
CN113534963A (zh) 基于vr的城市路线规划系统及方法
CN117882147A (zh) 立体认知能力评价系统、立体认知能力评价装置、立体认知能力评价程序以及立体认知能力评价方法
JP2021171564A (ja) 視野検査システム、視野検査装置、および視野検査プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant