CN115979279B - 数据推送方法和系统 - Google Patents

数据推送方法和系统 Download PDF

Info

Publication number
CN115979279B
CN115979279B CN202310014299.5A CN202310014299A CN115979279B CN 115979279 B CN115979279 B CN 115979279B CN 202310014299 A CN202310014299 A CN 202310014299A CN 115979279 B CN115979279 B CN 115979279B
Authority
CN
China
Prior art keywords
vehicle
information
image
environment
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310014299.5A
Other languages
English (en)
Other versions
CN115979279A (zh
Inventor
于跃
王硕
刘彩钰
张金柱
刘阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Group Corp
Original Assignee
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Group Corp filed Critical FAW Group Corp
Priority to CN202310014299.5A priority Critical patent/CN115979279B/zh
Publication of CN115979279A publication Critical patent/CN115979279A/zh
Application granted granted Critical
Publication of CN115979279B publication Critical patent/CN115979279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种数据推送方法和系统。其中,该方法包括:根据车辆的网络状态和导航信息,确认车辆所处环境的环境信息,其中,环境信息用于表征车辆是否行使在野外环境中;响应于环境信息为车辆行驶在野外环境中,通过按照飞行规则飞行的无人机采集第一图像,并通过车辆上安装的车载摄像头采集第二图像;根据第一图像和第二图像生成第一提示信息,其中,第一提示信息包括如下至少之一:车辆的周围环境地图和危险信息,危险信息包括如下至少之一:危险目标和车辆与危险目标之间的距离,危险目标包括如下至少之一:危险地貌和野生动物;输出第一提示信息。本发明解决了在野外环境中获取导航信息的准确率较低的技术问题。

Description

数据推送方法和系统
技术领域
本发明涉及人工智能领域,具体而言,涉及一种数据推送方法和系统。
背景技术
随着通讯技术和人工智能技术的发展,人们在不了解路线的情况下,通常会使用应用程序联网实时获取导航信息,但应用程序通常只能提供流量较大的城市道路的地图,对于山林和无人区等环境,在通讯状况较差,无法联网的情况下,若用户开车进入上述野外环境,难以获取导航信息,十分危险。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据推送方法和系统,以至少解决在野外环境中获取导航信息的准确率较低的技术问题。
根据本发明实施例的一个方面,提供了一种数据推送方法,包括:根据车辆的网络状态和导航信息,确认车辆所处环境的环境信息,其中,环境信息用于表征车辆是否行使在野外环境中;响应于环境信息为车辆行驶在野外环境中,通过按照飞行规则飞行的无人机采集第一图像,并通过车辆上安装的车载摄像头采集第二图像;根据第一图像和第二图像生成第一提示信息,其中,第一提示信息包括如下至少之一:车辆的周围环境地图和危险信息,危险信息包括如下至少之一:危险目标和车辆与危险目标之间的距离,危险目标包括如下至少之一:危险地貌和野生动物;输出第一提示信息。
可选地,根据第一图像和第二图像生成第一提示信息包括:获取车辆在行驶过程中的位姿信息和在无人机飞行过程中的无人机实时位置信息和车辆与无人机的相对位姿信息;基于位姿信息、相对位姿信息、无人机实时位置信息、第一图像和第二图像,生成第一提示信息。
可选地,响应于第一提示信息包括危险信息,基于位姿信息、相对位姿信息、无人机实时位置信息、第一图像和第二图像,生成第一提示信息包括:对第一图像和第二图像进行图像识别,得到天空图像集和地面环境图像集;基于位姿信息、相对位姿信息和无人机实时位置信息,生成车辆的行驶轨迹;基于车辆的行驶轨迹,对地面环境图像集中的图像进行拼接融合处理,得到周围环境地图;基于天空图像集和地面环境图像集,确定危险信息。
可选地,基于天空图像集和地面环境图像集,确定危险信息包括:将天空图像集与多张预设天空图像集进行匹配,得到多个匹配结果,其中,不同的预设天空图像集用于表征不同季节的不同天气的多张天空图像,匹配结果用于表征天空图像集与预设天空图像集之间的相似度;基于多个匹配结果,确定车辆所处环境的天气;将地面环境图像集与多张预设图像进行匹配,确定车辆周围是否存在危险目标,其中,预设图像包括野生动物的图像、危险地貌的图像和不同季节不同天气的野外环境图像;基于车辆所处环境的天气和车辆所处环境,生成危险信息。
可选地,基于多个匹配结果,确定车辆所处环境的天气包括:基于多个匹配结果,确定最大相似度对应的预设天空图像集对应的天气为车辆所处环境的初始天气;获取车载温度传感器所采集的温度和预存储季节信息;基于预设关系、初始天气、车载传感器所采集的温度和预存储季节信息,确定初始天气的置信度,其中,预设关系用于表征在不同季节中,天气和温度的对应关系;响应于初始天气的置信度大于或等于预设阈值,确定车辆所处环境的天气。
可选地,响应于初始天气的置信度小于预设阈值,输出第二提示信息,其中,第二提示信息用于提示用户停止驾驶或降低驾驶速度。
可选地,根据车辆的网络状态和导航信息,确认车辆所处环境的环境信息,包括:响应于车辆的网络状态为离线状态,以及导航信息中未包含车辆所处环境的地图,确认车辆的周围环境为野外环境。
可选地,在通过按照飞行规则飞行的无人机采集第一图像之前,方法还包括:响应于接收到用于控制无人机飞行的飞行指令,确定飞行规则,其中,飞行规则包括无人机环绕车辆飞行的环绕半径和环绕角度。
可选地,响应于第一提示信息包括危险目标,在输出第一提示信息之后,方法还包括:响应于车辆与危险目标之间的距离小于预设距离,并且车辆的驾驶状态保持不变,控制车辆的工作模式从用户驾驶模型切换为自动驾驶模式;响应于第一预设时间段内车辆的工作模式为自动驾驶模式,且车辆周围不存在危险目标,控制车辆的工作模式从自动驾驶模式切换为用户驾驶模型;响应于第二预设时间段内未接收到对车辆执行的操作指令,控制车辆进入自动驾驶模式,并发送求救信号。
根据本发明实施例的另一方面,还提供了一种数据推送装置,包括:确认模块,用于根据车辆的网络状态和导航信息,确认车辆所处环境的环境信息,其中,环境信息用于表征车辆是否行使在野外环境中;采集模块,用于响应于环境信息为车辆行驶在野外环境中,通过按照飞行规则飞行的无人机采集第一图像,并通过车辆上安装的车载摄像头采集第二图像;生成模块,用于根据第一图像和第二图像生成第一提示信息,其中,第一提示信息包括如下至少之一:车辆的周围环境地图和危险信息,危险信息包括如下至少之一:危险目标和车辆与危险目标之间的距离,危险目标包括如下至少之一:危险地貌和野生动物;输出模块,用于输出第一提示信息。
根据本发明实施例的另一方面,还提供了一种数据推送系统,包括:无人机,设置在车辆上,用于在接收到数据采集指令时,按照数据采集指令中的飞行规则飞行,采集车辆所处环境的照片,得到第一图像,并通过局域网将第一图像发送至车辆;车辆,用于接收第一图像,并获取车载摄像机拍摄的第二图像,以及根据第一图像和第二图像生成第一提示信息,推送第一提示信息,其中,第一提示信息包括如下至少之一:车辆的周围环境地图和危险信息,危险信息包括如下至少之一:危险目标和车辆与危险目标之间的距离,危险目标包括如下至少之一:危险地貌和野生动物。
根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行任意一项数据推送方法。
通过上述步骤,可以根据车辆的网络状态和导航信息,确定车辆所处环境的环境信息,在环境信息为车辆行驶在野外环境中的情况下,利用按照飞行规则飞行的无人机采集的第一图像和车载摄像头采集的第二图像,并可以在车辆中根据采集的第一图像和第二图像实时生成第一提示信息,再将第一提示信息输出,用户从而可以根据第一提示信息确定行进方向和路线,需要说明的是,由于第一提示信息是基于无人机采集的第一图像和车载摄像头采集的第二图像确定的,而上述两种图像的获取过程和处理过程均不依赖于网络,不会受到环境信息的影响,达到了在野外环境中向用户提供导航信息,提升导航信息的准确率的效果,进而解决了在野外环境中获取导航信息的准确率较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的数据推送方法的流程示意图;
图2是本发明可选实施例中制作不同的预设天空图像集的流程示意图;
图3是本发明可选实施例中制作多张预设图像中不同季节不同天气的野外环境图像的流程视图;
图4是本发明一个优选实施例中一种数据推送方法的流程示意图;
图5是本发明实施例中一种数据推送装置的结构示意图;
图6是本发明实施例中一种数据推系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种数据推送方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的数据推送方法的流程示意图,如图1所示,该方法包括如下步骤:
步骤S102,根据车辆的网络状态和导航信息,确认车辆所处环境的环境信息,其中,环境信息用于表征车辆是否行使在野外环境中。
具体地,上述车辆的网络状态包括但不限于车辆互联网的网络状态和卫星通讯网络的网络状态。上述导航信息可以是在车辆的网络状态处于在线的情况下缓存至车辆本地内存中的高精度地图和规划路线,例如,用户在驾驶前,或者驾驶过程中,可能会输入目的地,在车辆的网络状态处于在线状态的情况下,可以对高精度地图和规划路线进行缓存。上述环境信息用于表征车辆所行驶的环境,例如,车辆行驶在城市道路中,则环境信息为城市环境,若车辆行驶在野外环境中,则环境信息为野外环境。其次,上述环境信息,可以是根据车辆获取到的地图信息确定的,也可以是根据车载摄像头实时采集到的图像识别确定的。
作为一种可选实施方式,若车辆的网络状态处于离线状态,无法接收到任意互联网信号和卫星信号,并且车辆中没有车辆所处环境的详细地图的下,确定上述环境信息为野外环境。
步骤S104,响应于环境信息为车辆行驶在野外环境中,通过按照飞行规则飞行的无人机采集第一图像,并通过车辆上安装的车载摄像头采集第二图像。
具体的,上述飞行规则是预先设定好的规则,用户只需要通过语音或设置在车辆上的按钮确认无人机的飞行规则,该飞行规则包括以车辆为圆心的环绕半径和环绕角度。上述车辆的车身周围可以设置多个车载摄像头。上述第一图像可以是无人机采集的多张连续图像,上述第二图像可以是车载摄像头采集的多张连续图像。
可选地,在通过按照飞行规则飞行的无人机采集第一图像之前,该方法还包括:响应于接收到用于控制无人机飞行的飞行指令,确定飞行规则,其中,飞行规则包括无人机环绕车辆飞行的环绕半径和环绕角度。
作为一种可选实施方式,上述无人机可以通过起落架设置在车辆上,并且用户可以通过语音或者车辆内部的按钮对无人机进行简单的控制。上述设置在车辆内部的按钮可以包括但不限于:用于控制无人机环绕车辆飞行的环绕半径(以车辆为圆心)的按钮、用于控制无人机环绕角度的按钮和用于自定义环绕角度的旋钮,例如,车辆可以设置三个便捷按钮,分别对应“100m”、“200m”、“500m”的环绕半径,以及,车内还可以设置四种便捷按钮,分别对应旋转角度为“-45度~45度”、“45度~135度”、“135度~225度”、“0~360度”,其中,环绕角度以车辆正前方为0度,顺时针飞行为正向。需要说明的是,在无人机起飞,或者无人机的飞行过程中,都可以通过语音或按钮对无人机进行控制。
需要说明的是,上述按钮可以是设置在车辆上的实体按钮,也可以是显示上车辆的中控屏上的虚拟按钮。
步骤S106,根据第一图像和第二图像生成第一提示信息,其中,第一提示信息包括如下至少之一:车辆的周围环境地图和危险信息,危险信息包括如下至少之一:危险目标和车辆与危险目标之间的距离,危险目标包括如下至少之一:危险地貌和野生动物。
具体的,上述危险目标是可以对行车安全产生威胁的东西,上述危险地貌可以包括但不限于:深坑、泥石流、陡坡和悬崖等,野生动物包括老虎、野猪、熊和狼群等。上述根据第一图像和第二图像生成第一提示信息的过程是在车辆终端上进行的,因此,本发明所提供的方法可以在未连接网络的情况下,提供导航信息。
在获取到第一图像和第二图像后,可以根据拍摄内容将第一图像和第二图像进行划分为天空图像集和地面环境图像集,并采用预设天空图像集和天空图像集进行比对,确定车辆所处环境的季节和天气。然后,再结合上述季节和天气,对地面环境集和多张预设图像进行匹配,确定车辆所处周围环境内是否存在危险目标,其中,上述多张预设图像可以是包含危险目标的图像,例如,泥石流的照片、悬崖的照片、深坑的照片和老虎的照片等。在车辆所处周围环境内存在危险目标的情况下,第一提示信息包括危险信息和周围环境地图,在车辆所处周围环境不存在危险目标的情况下,第一提示信息包括周围环境地图。
其次,可以根据地面环境图像集中车辆的图像、获取到的车辆位姿信息和无人机和车辆之间的相对位姿信息,生成车辆的行驶轨迹,并根据该车辆的行驶轨迹对地面环境集中的图像进行拼接融合,得到周围环境地图。
在一种可选实施方式中,可以采用图像识别模型对第一图像和第二图像进行识别,确定天空图像集合地面环境图像集。其次,在另外可选实施例中,可以将特定摄像头拍摄的图像直接作为天空图像集,例如,可以是设置在无人机或车辆上,朝向天空拍摄的摄像头。
作为一种可选实施方式,在车辆的周围环境中存在危险目标的情况下,第一提示信息包括车辆的周围环境地图和危险信息。例如,可以在车辆的中控屏幕上显示车辆的周围环境地图,以及在周围环境地图上相对应的地方显示危险目标的图像、靠近危险目标的危险区域范围、危险目标相对于车辆的方向、危险目标和车辆之间的距离,以及参照车辆当前车速,与危险目标相遇的时间等。其次,周围环境地图可以显示车辆所处周围环境的地图,例如,以车辆为圆心,300米为半径,车辆周围环境的详细地图。
作为一种可选实施方式,车辆的周围环境中不存在危险目标的情况下,第一提示信息包括周围环境地图。
步骤S108,输出第一提示信息。
作为一直可选实施方式,可以在车辆的中控屏幕上显示上述第一提示信息,其次,也可以在显示第一提示信息的同时,提供语音播放信息,例如,“前方存在200米存在深坑,请立即掉头!”
通过上述步骤,可以根据车辆的网络状态和导航信息,确定车辆所处环境的环境信息,在环境信息为车辆行驶在野外环境中的情况下,利用按照飞行规则飞行的无人机采集的第一图像和车载摄像头采集的第二图像,并可以在车辆中根据采集的第一图像和第二图像实时生成第一提示信息,再将第一提示信息输出,用户从而可以根据第一提示信息确定行进方向和路线,需要说明的是,由于第一提示信息是基于无人机采集的第一图像和车载摄像头采集的第二图像确定的,而上述两种图像的获取过程和处理过程均不依赖于网络,不会受到环境信息的影响,达到了在野外环境中向用户提供导航信息,提升导航信息的准确率的效果,进而解决了在野外环境中获取导航信息的准确率较低的技术问题。
可选地,根据第一图像和第二图像生成第一提示信息包括:获取车辆在行驶过程中的位姿信息和在无人机飞行过程中的无人机实时位置信息和车辆与无人机的相对位姿信息;基于位姿信息、相对位姿信息、无人机实时位置信息、第一图像和第二图像,生成第一提示信息。
具体的,上述车辆行驶过程中的位姿信息是车辆在行驶过程中的位姿,上述相对位姿信息可以是无人机相对于车辆的位姿,上述无人机飞行过程中的无人机实时位置信息可以通过局域网传输至车辆。
可选地,响应于第一提示信息包括危险信息,基于位姿信息、相对位姿信息、无人机实时位置信息、第一图像和第二图像,生成第一提示信息包括:对第一图像和第二图像进行图像识别,得到天空图像集和地面环境图像集;基于位姿信息、相对位姿信息和无人机实时位置信息,生成车辆的行驶轨迹;基于车辆的行驶轨迹,对地面环境图像集中的图像进行拼接融合处理,得到周围环境地图;基于天空图像集和地面环境图像集,确定危险信息。
具体的,首先可以基于位姿信息、相对位姿信息和无人机实时位置信息,确定车辆在行驶过程中的行驶轨迹,再根据行驶轨迹,对地面图像集中的图像进行拼接融合处理,得到周围环境地图。然后,基于天空图像集确定车辆所处环境的天气,并集合车辆所处环境的天气和地面图像集,确定危险信息。
可选地,基于天空图像集和地面环境图像集,确定危险信息包括:将天空图像集与多张预设天空图像集进行匹配,得到多个匹配结果,其中,不同的预设天空图像集用于表征不同季节的不同天气的多张天空图像,匹配结果用于表征天空图像集与预设天空图像集之间的相似度;基于多个匹配结果,确定车辆所处环境的天气;将地面环境图像集与多张预设图像进行匹配,确定车辆周围是否存在危险目标,其中,预设图像包括野生动物的图像、危险地貌的图像和不同季节不同天气的野外环境图像;基于车辆所处环境的天气和车辆所处环境,生成危险信息。
具体的,在得到多个匹配结果后,选取其中相似度最大的预设天空集对应的天气为初始天气,并获取车载温度传感器采集的温度、预存储季节信息和预先存储的季节、天气和温度的对应关系,其中,上述预存储季节信息可以采用如下方式确定:车辆中存储有时间信息“XXXX年XX月XX日”,则可以根据时间信息直接确定车辆实际所处季节,然后基于车载温度传感器采集的温度、预存储季节信息和预先存储的季节、天气和温度的对应关系对初始天气进行校验,在校验通过的情况下,将初始天气作为车辆所处环境下的天气。
需要说明的是,确定车辆所处环境的天气后,再结合天气、多张预设图像对地面环境集中的危险目标进行识别,可以提高对一些地质灾害和危险地貌的识别准确度,从而可以对用户进行准确的提示,进一步提高用户在野外环境中的安全性。
在一个可选实施例中,图2是本发明可选实施例中制作不同的预设天空图像集的流程示意图,如图2所示,首先,可以从互联网中收集天空图像,得到互联网天空数据集,再采用人工或标准程序对互联网天空数据集中的图像进行标注,确定每个每张图像的天气标签,天气标签包括但不限于:晴朗、阴、雨和沙尘等,最后,将标注后互联网天空数据集存储至车辆中。
在一个可选实施例中,图3是本发明可选实施例中制作多张预设图像中不同季节不同天气的野外环境图像的流程视图,如图3所示,首先,可以从互联网中收集野外环境的图像,得到互联网野外环境图像集,再对互联网野外环境图像集中的季节和天气进行人工标注,季节和天气标签可以包括“春、晴朗”、“夏、阴”、“秋、雨”和“冬、沙尘”等,最后,将标注后的互联网野外环境图像集存储至车辆中。
可选地,基于多个匹配结果,确定车辆所处环境的天气包括:基于多个匹配结果,确定最大相似度对应的预设天空图像集对应的天气为车辆所处环境的初始天气;获取车载温度传感器所采集的温度和预存储季节信息;基于预设关系、初始天气、车载传感器所采集的温度和预存储季节信息,确定初始天气的置信度,其中,预设关系用于表征在不同季节中,天气和温度的对应关系;响应于初始天气的置信度大于或等于预设阈值,确定车辆所处环境的天气。
具体的,上述预设关系是在车辆处于联网情况下所获取的不同季节中,天气和温度的对应关系。上述预存储季节信息可以是在联网情况下,车辆获取的当前时间的季节信息,也可以是根据车辆系统时间所确定的季节信息。
可选地,响应于初始天气的置信度小于预设阈值,输出第二提示信息,其中,第二提示信息用于提示用户停止驾驶或降低驾驶速度。
具体的,在初始天气的置信度小区预设阈值的情况下,说明初始天气的可信性较低,不宜作为车辆所处环境的天气,基于此,可以输出第二提示信息,提示用户停止驾驶,停留在原地,或降低驾驶速度,同时,根据采集的新的第一图像和第二图像再次对确定天气。
可选地,根据车辆的网络状态和导航信息,确认车辆所处环境的环境信息,包括:响应于车辆的网络状态为离线状态,以及导航信息中未包含车辆所处环境的地图,确认车辆的周围环境为野外环境。
具体的,在车辆进入野外环境前,可能在车辆的导航软件中输入了目的地信息,则车辆会缓存一定的高精度地图信息,但现在的导航软件中通常不具有野外环境的高精度地图,因此,当车辆中缓存的高精度地图信息无法提高车辆所处环境的地图,且车辆处于离线状态,无法联网获取地图的情况下,确定车辆的周围环境为野外环境。
可选地,响应于第一提示信息包括危险目标,在输出第一提示信息之后,方法还包括:响应于车辆与危险目标之间的距离小于预设距离,并且车辆的驾驶状态保持不变,控制车辆的工作模式从用户驾驶模型切换为自动驾驶模式;响应于第一预设时间段内车辆的工作模式为自动驾驶模式,且车辆周围不存在危险目标,控制车辆的工作模式从自动驾驶模式切换为用户驾驶模型;响应于第二预设时间段内未接收到对车辆执行的操作指令,控制车辆进入自动驾驶模式,并发送求救信号。
具体的,上述驾驶状态包括车辆的驾驶速度和方向等。上述预设距离可以是由研发人员预先设定的统一阈值,例如300m,还可以与不同的危险目标相对应,例如,泥石流的预设距离为500m,河流的预设距离为100m。
在控制车辆进入自动驾驶模式后,所选择的驾驶路线以远离危险目标为主,其次还会考虑用于预设的行驶方向,并在行驶图中仅可能避免途中尽可能避免山丘、河流、深坑等妨碍行驶的地形,待车辆周围环境中不存在危险目标,且车辆周围环境中不存在危险目标满足一定的预设时间后,例如,10分钟,将驾驶权交换给用户,切换为用户驾驶模型,但是若在第二时间段内未接收到用户的任意操作指令,则判定用户可能进入昏迷状态,需要援助,则控制车辆再次进入自动驾驶模式,同时拨打ECALL和其他卫星等救援方式,同时根据第一提示信息中的周围环境地图寻找信号更强的方向和生机更强的方向(例如,沙漠绿洲)。
其次,通过第一图像和第二图像确定车辆所处环境的天气恶劣,例如,狂风骤雨,可以通过第一提示信息中的周围环境地图规划路线,将车辆自动驾驶至安全处,例如背风山侧,然后,召回无人机,控制车辆进入可以满足人类生存的低功耗模式,并周期性的向外发送求救信号。
图4是本发明一个优选实施例中一种数据推送方法的流程示意图,当车辆在野外环境行驶,且无法连接互联网或卫星和无当前所处位置的详细地图的情况下,驾驶员通过语音或车内按键控制无人机飞出,无人机可以拍摄图像,并将无人机图像和无人机位姿传回车载终端,其中,该车载终端是车辆中的计算机终端。同时,车载摄像头也可以拍摄图像,并将图像发送给车载终端,同时车辆可以将车辆位姿发送给车载终端。然后车载终端通过无人机和车辆传回的图像、车辆位姿和无人机位姿,实时生成车辆周围环境的地图(即上述周围环境地图)。随后,在驾驶准备阶段和车辆行驶过程中,无人机可以实时拍摄天空图像,并将天空图像返回至车载终端,车载终端在接收到天空图像后,车载终端将其与其他所存储的图像(即预设天空图像集)对比,确定车辆所处环境的天气(即图4中的当前天气)。然后,车载终端通过无人机或车载摄像头采集的图像,判断无人机的可视范围内是否存在危险目标,若存在危险目标,则车辆提示驾驶员前方存在危险,并通过屏幕图示告知危险目标的方向和与车辆之间的距离。在输出提示信息之后,若驾驶员未在一定时间内或者在距离上已经十分接近危险目标的情况下,未及时调整驾驶状态,则采用自动驾驶模式接管车辆,并同时在实时建立的地图中选择合适的路径,并且同时语音提示用户已进入自动驾驶模式。在提示用户后,用户可以通过语音或操作拒绝进入自动驾驶模式,若接收到用于表征用户拒绝进入自动驾驶模式的语音或操作指令,则停止自动驾驶,将驾驶权交还给用户,切换为用户驾驶模式。若未接收到用户的拒绝指令,则在自动驾驶模式下,控制车辆驶离危险目标。若在自动驾驶的过程中,在第一预设时间内,未在无人机可视范围内识别到任何危险目标,说明车辆的周围环境是安全的,可以停止自动驾驶,进入用户驾驶模式,若在切换到用户驾驶模式后,在第三预设时间段内未接收到任何来自于用户的操作指令,再次根据无人机和车载摄像头采集的图像判断车辆所处的环境的天气,若车辆所处环境的天气恶劣,则在自动驾驶模式下,通过无人机和车载摄像头采集的图像,以及实时地图,找到安全停车处,车辆在保证驾驶员生存的前提下进入低功耗模式,同时周期性发送求救信号,若车辆所处环境的天气不恶劣,通过无人机和车载摄像头采集的图像,以及实时地图,找到安全停车处,车辆在保证驾驶员生存的前提下进入低功耗模式,同时周期性发送求救信号。
根据本发明实施例,还提供了一种数据推送装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下使用的,术语“模块”可以实现预定功能的软件和/硬件的组合,尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或软件和硬件的组合的实现也是可能并被构想的。
图5是本发明实施例中一种数据推送装置的结构示意图,如图5所示,该装置500包括:
确认模块52,用于根据车辆的网络状态和导航信息,确认车辆所处环境的环境信息,其中,环境信息用于表征车辆是否行使在野外环境中。
采集模块54,用于响应于环境信息为车辆行驶在野外环境中,通过按照飞行规则飞行的无人机采集第一图像,并通过车辆上安装的车载摄像头采集第二图像。
生成模块56,用于根据第一图像和第二图像生成第一提示信息,其中,第一提示信息包括如下至少之一:车辆的周围环境地图和危险信息,危险信息包括如下至少之一:危险目标和车辆与危险目标之间的距离,危险目标包括如下至少之一:危险地貌和野生动物。
输出模块58,用于输出第一提示信息。
可选地,生成模块包括获取单元,用于获取车辆在行驶过程中的位姿信息和在无人机飞行过程中的无人机实时位置信息和车辆与无人机的相对位姿信息;生成单元,用于基于位姿信息、相对位姿信息、无人机实时位置信息、第一图像和第二图像,生成第一提示信息。
可选地,生成单元包括:识别子单元,用于对第一图像和第二图像进行图像识别,得到天空图像集和地面环境图像集;行驶轨迹生成子单元,用于基于位姿信息、相对位姿信息和无人机实时位置信息,生成车辆的行驶轨迹;拼接融合子单元,用于基于车辆的行驶轨迹,对地面环境图像集中的图像进行拼接融合处理,得到周围环境地图;确定子单元,用于基于天空图像集和地面环境图像集,确定危险信息。
可选地,确定子单元还用于将天空图像集与多张预设天空图像集进行匹配,得到多个匹配结果,其中,不同的预设天空图像集用于表征不同季节的不同天气的多张天空图像,匹配结果用于表征天空图像集与预设天空图像集之间的相似度;基于多个匹配结果,确定车辆所处环境的天气;将地面环境图像集与多张预设图像进行匹配,确定车辆周围是否存在危险目标,其中,预设图像包括野生动物的图像、危险地貌的图像和不同季节不同天气的野外环境图像;响应于车辆周围存在危险目标,基于车辆所处环境的天气和危险目标,生成危险信息。
可选地,确定子单元还用于基于多个匹配结果,确定最大相似度对应的预设天空图像集对应的天气为车辆所处环境的初始天气;获取车载温度传感器所采集的温度和预存储季节信息;基于预设关系、初始天气、车载传感器所采集的温度和预存储季节信息,确定初始天气的置信度,其中,预设关系用于表征在不同季节中,天气和温度的对应关系;响应于初始天气的置信度大于或等于预设阈值,确定车辆所处环境的天气。
可选地,确定子单元还用于响应于初始天气的置信度小于预设阈值,输出第二提示信息,其中,第二提示信息用于提示用户停止驾驶或降低驾驶速度。
可选地,确认模块包括:环境确认单元,用于响应于车辆的网络状态为离线状态,以及导航信息中未包含车辆所处环境的地图,确认车辆的周围环境为野外环境。
可选地,该装置还包括:第一响应模块,用于响应于接收到用于控制无人机飞行的飞行指令,确定飞行规则,其中,飞行规则包括无人机环绕车辆飞行的环绕半径和环绕角度。
可选地,该装置还包括:第二响应模块,用于响应于车辆与危险目标之间的距离小于预设距离,并且车辆的驾驶状态保持不变,控制车辆的工作模式从用户驾驶模型切换为自动驾驶模式;第三响应模块,用于响应于第一预设时间段内车辆的工作模式为自动驾驶模式,且车辆周围不存在危险目标,控制车辆的工作模式从自动驾驶模式切换为用户驾驶模型;第四响应模块,用于响应于第二预设时间段内未接收到对车辆执行的操作指令,控制车辆进入自动驾驶模式,并发送求救信号。
图6是本发明实施例中一种数据推系统的结构示意图,如图6所示,该装置600包括:
无人机62,设置在车辆上,用于在接收到数据采集指令时,按照数据采集指令中的飞行规则飞行,采集车辆所处环境的照片,得到第一图像,并通过局域网将第一图像发送至车辆.
车辆64,用于接收第一图像,并获取车载摄像机拍摄的第二图像,以及根据第一图像和第二图像生成第一提示信息,推送第一提示信息,其中,第一提示信息包括如下至少之一:车辆的周围环境地图和危险信息,危险信息包括如下至少之一:危险目标和车辆与危险目标之间的距离,危险目标包括如下至少之一:危险地貌和野生动物。
根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行任意一项数据推送方法。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据推送方法,其特征在于,包括:
根据车辆的网络状态和导航信息,确认所述车辆所处环境的环境信息,其中,所述环境信息用于表征所述车辆是否行驶在野外环境中;
响应于所述环境信息为所述车辆行驶在所述野外环境中,通过按照飞行规则飞行的无人机采集第一图像,并通过所述车辆上安装的车载摄像头采集第二图像;
根据所述第一图像和所述第二图像生成第一提示信息,其中,所述第一提示信息包括如下至少之一:车辆的周围环境地图和危险信息,所述危险信息包括如下至少之一:危险目标和所述车辆与所述危险目标之间的距离,所述危险目标包括如下至少之一:危险地貌和野生动物;
输出所述第一提示信息;
响应于第一提示信息包括危险信息,根据所述第一图像和所述第二图像生成第一提示信息包括:
基于所述车辆行驶过程中的位姿信息,以及所述车辆与所述无人机的相对位姿信息和所述无人机的实时位置信息,确定所述车辆在行驶过程中的行驶轨迹;
基于所述第一图像和所述第二图像,生成地面图像集和天空图像集;
基于所述天空图像集和所述地面图像集,确定所述危险信息。
2.根据权利要求1所述的数据推送方法,其特征在于,根据所述第一图像和所述第二图像生成第一提示信息包括:
获取所述车辆在行驶过程中的位姿信息和在所述无人机飞行过程中的无人机实时位置信息和所述车辆与所述无人机的相对位姿信息;
基于所述位姿信息、所述相对位姿信息、所述无人机实时位置信息、所述第一图像和所述第二图像,生成所述第一提示信息。
3.根据权利要求2所述的数据推送方法,其特征在于,响应于所述第一提示信息包括所述周围环境地图,基于所述位姿信息、所述相对位姿信息、所述无人机实时位置信息、所述第一图像和所述第二图像,生成所述第一提示信息包括:
对所述第一图像和所述第二图像进行图像识别,得到地面环境图像集;
基于所述位姿信息、所述相对位姿信息和所述无人机实时位置信息,生成所述车辆的行驶轨迹;
基于所述车辆的行驶轨迹,对所述地面环境图像集中的图像进行拼接融合处理,得到所述周围环境地图。
4.根据权利要求3所述的数据推送方法,其特征在于,基于所述天空图像集和所述地面环境图像集,确定所述危险信息包括:
将所述天空图像集与多张预设天空图像集进行匹配,得到多个匹配结果,其中,不同的预设天空图像集用于表征不同季节的不同天气的多张天空图像,所述匹配结果用于表征所述天空图像集与所述预设天空图像集之间的相似度;
基于所述多个匹配结果,确定车辆所处环境的天气;
将所述地面环境图像集与多张预设图像进行匹配,确定车辆周围是否存在所述危险目标,其中,所述预设图像包括所述野生动物的图像、所述危险地貌的图像和不同季节不同天气的野外环境图像;
响应于所述车辆周围存在所述危险目标,基于所述车辆所处环境的所述天气和所述危险目标,生成所述危险信息。
5.根据权利要求4所述的数据推送方法,其特征在于,基于所述多个匹配结果,确定车辆所处环境的天气包括:
基于所述多个匹配结果,确定最大相似度对应的所述预设天空图像集对应的天气为所述车辆所处环境的初始天气;
获取车载温度传感器所采集的温度和预存储季节信息;
基于预设关系、所述初始天气、所述车载温度传感器所采集的温度和所述预存储季节信息,确定所述初始天气的置信度,其中,所述预设关系用于表征在不同季节中,天气和温度的对应关系;
响应于所述初始天气的置信度大于或等于预设阈值,确定所述车辆所处环境的天气。
6.根据权利要求5所述的数据推送方法,其特征在于,响应于所述初始天气的置信度小于所述预设阈值,输出第二提示信息,其中,所述第二提示信息用于提示用户停止驾驶或降低驾驶速度。
7.根据权利要求1所述的数据推送方法,其特征在于,根据车辆的网络状态和导航信息,确认车辆所处环境的环境信息,包括:
响应于所述车辆的网络状态为离线状态,以及所述导航信息中未包含所述车辆所处环境的地图,确认所述车辆的周围环境为所述野外环境。
8.根据权利要求1所述的数据推送方法,其特征在于,在通过按照飞行规则飞行的无人机采集第一图像之前,所述方法还包括:
响应于接收到用于控制所述无人机飞行的飞行指令,确定所述飞行规则,其中,所述飞行规则包括所述无人机环绕所述车辆飞行的环绕半径和环绕角度。
9.根据权利要求1所述的数据推送方法,其特征在于,响应于所述第一提示信息包括所述危险目标,在输出所述第一提示信息之后,所述方法还包括:
响应于所述车辆与所述危险目标之间的距离小于预设距离,并且所述车辆的驾驶状态保持不变,控制所述车辆的工作模式从用户驾驶模型切换为自动驾驶模式;
响应于第一预设时间段内所述车辆的工作模式为所述自动驾驶模式,且所述车辆周围不存在所述危险目标,控制所述车辆的工作模式从所述自动驾驶模式切换为所述用户驾驶模型;
响应于第二预设时间段内未接收到对所述车辆执行的操作指令,控制车辆进入自动驾驶模式,并发送求救信号。
10.一种数据推送系统,其特征在于,包括:
无人机,设置在车辆上,用于在接收到数据采集指令时,按照所述数据采集指令中的飞行规则飞行,采集所述车辆所处环境的照片,得到第一图像,并通过局域网将所述第一图像发送至所述车辆;
所述车辆,用于接收所述第一图像,并获取车载摄像机拍摄的第二图像,以及根据所述第一图像和所述第二图像生成第一提示信息,推送所述第一提示信息,其中,所述第一提示信息包括如下至少之一:车辆的周围环境地图和危险信息,所述危险信息包括如下至少之一:危险目标和所述车辆与所述危险目标之间的距离,所述危险目标包括如下至少之一:危险地貌和野生动物;
其中,所述车辆,还用于:
基于所述车辆行驶过程中的位姿信息,以及所述车辆与所述无人机的相对位姿信息和所述无人机的实时位置信息,确定所述车辆在行驶过程中的行驶轨迹;
基于所述第一图像和所述第二图像,生成地面图像集和天空图像集;
基于所述天空图像集和所述地面图像集,确定所述危险信息。
CN202310014299.5A 2023-01-05 2023-01-05 数据推送方法和系统 Active CN115979279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310014299.5A CN115979279B (zh) 2023-01-05 2023-01-05 数据推送方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310014299.5A CN115979279B (zh) 2023-01-05 2023-01-05 数据推送方法和系统

Publications (2)

Publication Number Publication Date
CN115979279A CN115979279A (zh) 2023-04-18
CN115979279B true CN115979279B (zh) 2024-06-14

Family

ID=85966556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310014299.5A Active CN115979279B (zh) 2023-01-05 2023-01-05 数据推送方法和系统

Country Status (1)

Country Link
CN (1) CN115979279B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114454718A (zh) * 2022-01-21 2022-05-10 北京地平线机器人技术研发有限公司 信息显示方法和装置、电子设备和存储介质
CN115457477A (zh) * 2022-09-26 2022-12-09 长城汽车股份有限公司 监测车辆周围环境的方法、车机和车辆

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109426255A (zh) * 2017-09-04 2019-03-05 中兴通讯股份有限公司 基于无人机的无人驾驶车辆控制方法、装置及存储介质
CN115016531A (zh) * 2019-05-09 2022-09-06 深圳市速腾聚创科技有限公司 车辆自动驾驶方法、装置、计算机设备和存储介质
CN111959505B (zh) * 2020-06-29 2022-10-11 阿波罗智能技术(北京)有限公司 车辆巡航控制方法、装置、电子设备和存储介质
US11797019B2 (en) * 2020-07-20 2023-10-24 Ford Global Technologies, Llc Rugged terrain vehicle design and route optimization
CN114674334A (zh) * 2022-03-24 2022-06-28 江铃汽车股份有限公司 一种越野路线的规划方法、系统、存储介质及车辆
CN117367440A (zh) * 2023-08-24 2024-01-09 清华大学 越野线路生成系统、方法、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114454718A (zh) * 2022-01-21 2022-05-10 北京地平线机器人技术研发有限公司 信息显示方法和装置、电子设备和存储介质
CN115457477A (zh) * 2022-09-26 2022-12-09 长城汽车股份有限公司 监测车辆周围环境的方法、车机和车辆

Also Published As

Publication number Publication date
CN115979279A (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
US9851716B2 (en) Unmanned aerial vehicle and methods for controlling same
US10139819B2 (en) Video enabled inspection using unmanned aerial vehicles
US5904724A (en) Method and apparatus for remotely piloting an aircraft
CN104133473B (zh) 自主驾驶车辆的控制方法
CN105955291A (zh) 一种无人机飞行航线轨迹记录与自动飞行控制方式
EP3657213B1 (fr) Procede d'apprentissage d'un reseau de neurones embarque dans un aeronef pour l'aide a l'atterrissage dudit aeronef et serveur pour la mise en oeuvre d'un tel procede
CN206523781U (zh) 一种无人机与无人车协作巡逻系统
CN109074090A (zh) 无人机硬件架构
CN111627256A (zh) 无人机控制方法、车载终端及计算机可读存储介质
CN113077561A (zh) 一种无人机智能巡检系统
JP2020170213A (ja) ドローン作業支援システム及びドローン作業支援方法
CN113268075A (zh) 一种无人机控制方法及系统
CN115493594A (zh) 基于bim的巡查控制系统及方法
CN115641426A (zh) 环境信息的显示方法、装置和计算机可读存储介质
CN115979279B (zh) 数据推送方法和系统
CN113255560A (zh) 基于图像与激光数据的自动驾驶场景下的目标检测系统
CN110597275A (zh) 利用无人机来生成地图的方法和系统
CN112188077A (zh) 信息提供装置、信息提供方法及存储介质
CN113467519B (zh) 一种无人机自动巡航方法和系统
CN112004060B (zh) 用于景区的无人机观光方法
CN112689091B (zh) 水下全景拍摄方法、全景拍摄设备和直播系统及存储介质
FR2623911A1 (fr) Systeme de controle ou d'aide a la navigation maritime ou la circulation
CN114910926B (zh) 一种用于飞行器的激光测距测速雷达自动化方法及装置
Sugden Drone Photography: Art and Techniques
CN116125953A (zh) 基于飞行器的车辆监控系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant