CN116991237A - 驾驶时的信息交互方法、系统及相关设备 - Google Patents
驾驶时的信息交互方法、系统及相关设备 Download PDFInfo
- Publication number
- CN116991237A CN116991237A CN202310956062.9A CN202310956062A CN116991237A CN 116991237 A CN116991237 A CN 116991237A CN 202310956062 A CN202310956062 A CN 202310956062A CN 116991237 A CN116991237 A CN 116991237A
- Authority
- CN
- China
- Prior art keywords
- information
- image data
- data
- driving
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000003993 interaction Effects 0.000 title claims abstract description 64
- 230000001681 protective effect Effects 0.000 claims abstract description 133
- 230000004044 response Effects 0.000 claims abstract description 61
- 238000012544 monitoring process Methods 0.000 claims abstract description 58
- 230000036541 health Effects 0.000 claims description 46
- 230000002159 abnormal effect Effects 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 230000002441 reversible effect Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 description 19
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 13
- 239000008280 blood Substances 0.000 description 13
- 210000004369 blood Anatomy 0.000 description 13
- 229910052760 oxygen Inorganic materials 0.000 description 13
- 239000001301 oxygen Substances 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 10
- 230000005856 abnormality Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 206010063385 Intellectualisation Diseases 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000005802 health problem Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000009993 protective function Effects 0.000 description 2
- 208000028752 abnormal posture Diseases 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
- G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Physiology (AREA)
- Optics & Photonics (AREA)
- Cardiology (AREA)
- General Engineering & Computer Science (AREA)
- Pulmonology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Alarm Systems (AREA)
Abstract
本申请提供一种驾驶时的信息交互方法、系统及相关设备;所述方法包括:采集至少两个方向上的图像数据,在任意显示区域展示至少一个方向上的图像,将各个方向上的图像数据发送至与所述防护设备连接的移动终端;响应于触发任意感测元件,令对应感测元件采集当前的监测数据,并将所述监测数据发送至所述移动终端;响应于接收到所述移动终端发来的驾驶信息,对其进行提示。
Description
技术领域
本申请的实施例涉及智能设备的技术领域,尤其涉及一种驾驶时的信息交互方法、系统及相关设备。
背景技术
现有的防护设备,以头盔为例,其功能单一,仅仅具备防护功能和语音传送功能,而不具备其他智能功能,更无法在驾驶员驾驶时提供有效的辅助。
基于此,需要一种能够实现智能辅助驾驶员的防护设备的方案。
发明内容
有鉴于此,本申请的目的在于提出一种驾驶时的信息交互方法、系统及相关设备。
第一方面,基于上述目的,本申请提供了驾驶时的信息交互方法,应用于防护设备,所述防护设备设置有至少一个感测元件;
该方法包括:
采集行驶方向和行驶反方向上各自的图像数据,将各个方向上的图像数据发送至与所述防护设备连接的移动终端;
响应于触发任意感测元件,令对应感测元件采集当前的监测数据,并将所述监测数据发送至所述移动终端;
接收所述移动终端发来的第一驾驶信息和/或第二驾驶信息,并进行提示,所述第一驾驶信息由所述监测数据生成,所述第二驾驶信息由所述图像数据生成,并由所述云服务器生成后发送至所述移动终端。
进一步地,图像数据包括,对应所述行驶反方向的第一图像数据;所述防护设备还包括具有显示功能的防护面罩;
所述采集行驶方向和行驶反方向上各自的图像数据之后,还包括:
在所述防护面罩上显示由所述第一图像数据生成的第一图像。
进一步地,感测元件包括,角速度传感器;
进一步地,响应于触发任意感测元件,令对应感测元件采集当前的监测数据,包括:
响应于触发所述角速度传感器,令所述角速度传感器采集所述防护设备的姿态数据,所述姿态数据用于表示所述防护设备转动时的角速度。
进一步地,感测元件还包括,健康传感器和传声器中的至少一个;
进一步地,响应于触发任意感测元件,令对应感测元件采集当前的监测数据,还包括以下至少一项:
响应于接收到所述移动端反馈所述姿态数据出现异常,则触发所述健康传感器,并令所述健康传感器采集防护设备使用者的健康数据,所述健康数据用于表示所述防护设备使用者的生命体征;
响应于触发所述传声器,令所述传声器采集音频数据,所述音频数据包括所述传声器采集到的声音数据。进一步地,第一驾驶信息包括,指令信息和导航信息;
所述接收所述移动终端发来的第一驾驶信息和/或第二驾驶信息,并进行提示,包括:
响应于接收到所述指令信息,生成用于指令交互的操作提示;
响应于接收到所述导航信息,生成用于导航的导航提示。
进一步地,第二驾驶信息包括,交规信息、车道信息和行人数量信息,
所述接收所述移动终端发来的第一驾驶信息和/或第二驾驶信息,并进行提示,还包括:
响应于接收到所述交规信息,生成用于提示所述交规信息的交规提示;
响应于接收到所述车道信息,生成用于提示所述车道信息的车道提示;
响应于接收到所述行人数量信息,生成用于提示行人数量的行人提示。
进一步地,接收所述移动终端发来的第一驾驶信息和/或第二驾驶信息,并进行提示,还包括:
对应接收到的所述驾驶信息,以语音形式播放该驾驶信息的内容,和/或在所述防护面罩上以图文形式展示该驾驶信息的内容。
第二方面,基于同一发明构思,本申请还提供了另一种驾驶时的信息交互方法,应用于移动终端;
该方法包括:
响应于接收到与移动终端连接的防护设备发来的监测数据,对所述监测数据进行分析,生成对应所述监测数据的第一驾驶信息,并发送至所述防护设备;
响应于接收到所述防护设备发来的行驶方向和行驶反方向上各自的图像数据,将所述图像数据发送至与所述移动终端连接的云服务器;
响应于接收到所述云服务器发来的对应所述图像数据的第二驾驶信息,将所述第二驾驶信息发送至所述防护设备。
进一步地,监测数据包括,姿态数据;
进一步地,对所述监测数据进行分析,生成对应所述监测数据的第一驾驶信息,包括:
判断所述姿态数据是否异常,响应于确定所述姿态数据异常,向所述防护设备反馈出现异常的所述姿态数据。
进一步地,监测数据包括,健康数据和音频数据中的至少一个;
进一步地,对所述监测数据进行分析,生成对应所述监测数据的第一驾驶信息,包括以下至少一项:
响应于确定所述姿态数据异常,判断所述健康数据是否异常,响应于确定所述健康数据异常,执行预设的救援操作,响应于确定所述健康数据正常,向所述防护设备发送请求执行所述救援操作的指令信息;
对所述音频数据进行识别,响应于识别出预设的语音指令,执行所述语音指令,并将表示执行结果的指令信息反馈至所述防护设备。
进一步地,移动终端预设有导航单元;
所述响应于识别出预设的语音指令,执行所述语音指令,包括:
响应于确定所述音频数据中的所述语音指令指向所述导航单元,则启动所述导航单元,生成对应的导航信息,并发送至所述防护设备;
响应于确定所述语音指令指向所述救援操作,则执行所述救援操作。
第三方面,基于同一发明构思,本申请还提供了另一种驾驶时的信息交互方法,应用于云服务器;
该方法包括:
接收与所述云服务器连接的移动终端发来的行驶方向和行驶反方向上各自的图像数据;
对所述图像数据进行识别,生成对应所述图像数据的第二驾驶信息;
将对应所述图像数据的第二驾驶信息发送至所述移动终端。
进一步地,图像数据包括对应所述行驶反方向的第一图像数据和对应所述行驶方向的第二图像数据;所述第二驾驶信息包括由图像数据生成的交规信息;
所述对所述图像数据进行识别,生成对应所述图像数据的第二驾驶信息,包括:
利用所述第二图像数据判断所述行驶方向是否存在违反交通规则的风险;
响应于确定存在违反所述交通规则的风险,生成用于提示所述风险的交规信息;
利用所述第一图像数据判断防护设备使用者是否已经违反所述交通规则;
响应于确定已经违反所述交通规则,生成用提示违反所述交通规则的交规信息。
进一步地,利用所述第二图像数据判断所述行驶方向是否存在违反交通规则的风险,包括:
响应于识别出所述第二图像数据中存在交通标识,判断所述交通标识是否处于倒计时状态;
响应于确定不处于倒计时状态,则判断所述交通标识是否表示禁行;
响应于确定处于倒计时状态,则判断剩余时间是否小于预设的时长,响应于确定所述剩余时间小于所述时长,则判断所述交通标识是否表示非禁行;
响应于确定所述交通标识表示禁行,或所述交通标识表示非禁行且所述剩余时间小于所述时长,则确定所述防护设备使用者存在违反交规的风险。
进一步地,利用所述第一图像数据判断防护设备使用者是否已经违反所述交通规则,包括:
识别所述第一图像数据中是否存在表示禁行的交通标识;
响应于确定存在,则判断当前时刻与前次发送所述交规信息之间的时间差是否小于预设的时间差阈值;
响应于确定所述时间差小于所述时间差阈值,则确定所述防护设备使用者已经违反所述交通规则。
进一步地,驾驶信息还包括由图像数据生成的行人数量信息和车道信息;
所述对所述图像数据进行识别,生成对应所述图像数据的第二驾驶信息,还包括:
统计所述第一图像数据和所述第二图像数据中的行人数量,并生成行人数量信息;
利用所述第二图像数据判断所述防护设备使用者是否处于预设目标车道,响应于确定所述防护设备使用者未处于所述目标车道,则生成用于提示所述目标车道的车道信息;
利用所述第二图像数据判断所述行驶方向是否为预设目标方向,响应于确定所述行驶方向非所述目标方向,生成用于提示所述目标方向的车道信息。
第四方面,基于统一发明构思,本申请还提供了一种防护设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上第一方面所述的驾驶时的信息交互方法。
第五方面,基于统一发明构思,本申请还提供了一种移动终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上第二方面所述的驾驶时的信息交互方法。
第六方面,基于统一发明构思,本申请还提供了一种云服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上第三方面所述的驾驶时的信息交互方法。
第七方面,基于同一发明构思,本申请还提供了一种驾驶时的信息交互系统,该系统包括,如上所述的防护设备、移动终端和云服务器。
从上面所述可以看出,本申请提供的驾驶时的信息交互方法、系统及相关设备,基于在防护设备上设置的显示区域实现向防护设备使用者展示不同方向的路况,并通过在防护设备上设置各类感测元件,实现了对防护设备使用者周边及其自身各项监测数据的采集,在综合考虑了防护设备、移动终端和云服务器之间的信息交互、数据交互和指令交互之后,实现了防护设备的智能化。
附图说明
为了更清楚地说明本申请或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例的驾驶时的信息交互的示意图;
图2为本申请实施例的驾驶时的信息交互方法的第一流程图;
图3为本申请实施例的驾驶时的信息交互方法的第二流程图;
图4为本申请实施例的指令交互的流程图;
图5为本申请实施例的移动终端监测数据的分析流程图;
图6为本申请实施例的驾驶时的信息交互方法的第三流程图;
图7为本申请实施例的生成交规信息的流程图;
图8为本申请实施例的生成车道信息和行人数量信息的流程图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本申请进一步详细说明。
需要说明的是,除非另外定义,本申请的实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请的实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
可以理解的是,在使用本公开中各个实施例的技术方案之前,均会通过恰当的方式对所涉及的个人信息的类型、使用范围、使用场景等告知用户,并获得用户的授权。
例如,在响应于接收到用户的主动请求时,向用户发送提示信息,以明确的提示用户,其请求执行的操作将需要获取和使用到用户的个人信息。从而,使得用户可以根据提示信息来自主的选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限定的实现方式,响应于接受到用户的主动请求,向用户发送提示信息的方式例如可以是弹窗的方式,弹窗中可以以文字的方式呈现提示信息。此外,弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
可以理解的是,上述通知和获取用户授权过程仅是示意性的,不对本公开的实现方式构成限定,其他满足相关法律法规的方式也可应用于本公开的实现方式中。
如背景技术部分所述,相关的驾驶时的信息交互方法还难以满足在实际驾驶中的需要。
申请人在实现本申请的过程中发现,相关的驾驶时的信息交互方法存在的主要问题在于:现有的防护设备,以头盔为例,仅仅具备防护功能和语音传送功能,而不具备其他智能功能,例如,提供多个方向上的图像以供驾驶员观察,也无法识别行驶中潜在的危险,同时,也无法在驾驶员出现健康状况时,提供救援操作。
可见,在驾驶员驾驶时,现有的防护设备无法为驾驶员提供有效的辅助,来规避可能存在的危险。
基于此,本申请中的一个或多个实施例提供了驾驶时的信息交互方法,基于具备通信功能的防护设备,来实现与移动终端的信息交互。
以下结合附图详细说明本申请的实施例。
在本申请的实施例中,防护设备中设置有一个或多个感测元件,一个或多个显示区域,中央控制器,通信组件、至少两个图像数据采集组件和音频播放组件等。
其中,感测元件可以是角速度传感器、健康传感器和传声器等。
进一步地,防护设备可以通过通信组件与移动终端建立通信连接,并进行信息、数据和指令的交互。
进一步地,移动终端与云服务器建立通信连接,并进行信息、数据和指令的交互。
参考图1,在图1示出的具体示例中,防护设备可以是头盔。
其中,头盔中设置有多个感测元件,感测元件可以包括:角速度传感器,例如可以是陀螺仪;健康传感器,例如可以是用于采集防护设备使用者心率数值的心率传感器,和/或用于采集防护设备使用者血氧含量的血氧传感器;以及,传声器,例如可以是麦克风。
进一步地,头盔中还设置有音频播放组件,例如可以是扬声器等。
进一步地,头盔中还设置有2个图像数据采集组件,例如可以是前摄像头和后摄像头。
进一步地,头盔中还设置有显示区域,例如可以是在头盔的防护面罩上设置的显示屏幕,也可以是投射在防护面罩上的投影,例如应用HUD(Heads UP Display,抬头显示)的光学反射远离来投射出的显示区域。
进一步地,头盔中还设置有通信组件,例如可以是蓝牙通信组件,并设置有中央处理器,中央处理器中设置有蓝牙驱动程序,以使用蓝牙通信组件与移动终端建立蓝通信连接。
在图1示出的具体示例中,移动终端例如可以是手机等智能设备。
进一步地,云服务器中设置有AI(Artificial Intelligence,人工智能)模型,例如神经网络模型或者深度学习模型等,可以对图片进行识别和分析,并可以与手机建立通信连接。
在本实施例中,将防护设备使用者,也即,头盔佩戴者视线相同的方向为视为行驶方向,将与行驶方向相反的方向视为行驶反方向。
参考图2,本申请一个实施例的驾驶时的信息交互方法,应用于防护设备,并具体包括以下步骤:
步骤S201、采集行驶方向和行驶反方向上各自的图像数据,将各个方向上的图像数据发送至与所述防护设备连接的移动终端。
在本申请的实施例中,基于前述实施例中防护设备中设置的图像数据采集组件,可以采集多个方向上的图像数据,并进行处理。
具体地,可以在防护设备的每个方向上设置一个图像数据采集组件,并将行驶反方向上的图像数据采集组件采集的图像数据作为第一图像数据,将行驶方向上的图像数据采集组件采集的图像数据作为第二图像数据。
进一步地,防护设备可以通过中央处理器,来将采集的部分图像数据以图像的形式展示在任意一个指定的展示区域中,并将各个图像数据发送至移动终端。
在图1示出的具体示例中,头盔上设置有前摄像头和后摄像头。
进一步地,利用前摄像头可以拍摄头盔佩戴者行驶方向上的第二图像数据,后摄像头可以拍摄与行驶反方向的第一图像数据。
进一步地,中央处理器可以通过控制后摄像头,来将拍摄到的第一图像数据发送至防护面罩中指定的任意显示屏幕,并利用该显示屏幕显示。
进一步地,基于蓝牙通信组件,可以将第一图像数据和第二图像数据均发送至手机中,以通过手机将其转发至云服务器。
通过将行驶方向上采集的第一图像数据在显示区域展示,可以令防护设备的使用者在行驶时,及时看到行驶反方向的路况,避免了盲区潜在的交通危险,并且,通过将第一图像数据和第二图像数据发送至移动终端,可以借助通信交互的功能,来完成复杂的图像分析工作,降低实现防护设备智能化的算力成本。
步骤S202、响应于触发任意感测元件,令对应感测元件采集当前的监测数据,并将所述监测数据发送至所述移动终端。
在本申请的实施例中,基于在防护设备上设置的一个或多个感测元件,在触发各个感测元件后,可以实时采集到多个监测数据。
具体地,防护设备中设置的角速度传感器、健康传感器和传声器可以通过移动终端开启。
进一步地,在触发各个感测元件后,角速度传感器可以采集到防护设备的姿态数据;健康传感器可以采集到防护设备使用者的健康数据,其中,健康数据可以是用于表示防护设备使用者生命体征的数据;传声器可以采集到防护设备周边声音的音频数据。
基于此,可以将各个监测数据发送到移动终端,以令移动终端来进行分析。
在图1示出的具体示例中,头盔中的各个感测元件可以通过手机来开触发。
进一步地,头盔中的陀螺仪可以监测到头盔的姿态数据,该姿态数据具体可以表示头盔转动时的角速度,根据该角速度可以将头盔过快转动的情况判定为头盔佩戴者因交通事故等原因跌倒。
进一步地,头盔中的心率传感器和血氧传感器可以采集到头盔佩戴者包括心率数据和血氧数据在内的健康数据。
具体地,在头盔接收到移动端发来的关于姿态数据出现异常的反馈,则可以启动心率传感器和血氧传感器,来采集对应的健康数据。
进一步地头盔中的麦克风可以采集到头盔使用者发出的语音,并形成音频数据。
进一步地,头盔在采集到上述的各项监测数据后,可以将其发送至手机,以令手机来对各个监测数据进行分析和识别。
可以看出,基于防护设备中设置的各个感测元件,可以令防护设备能够感知其周边,以及防护设备使用者的具体情况,并借助通信交互的功能,通过将各个监测数据发送到移动终端,借由移动终端来完成复杂的数据分析工作,降低实现防护设备智能化的算力成本。
在本申请的另一实施例中,在触发各个感测元件时,也可以在防护设备上为各个感测元件设置开关,并通过开关来触发各个感测元件。
具体地,各个感测元件的开关可以是物理开关,也可以是虚拟触摸开关,还可以通过在防护设备中设置加速度传感器,并通过拍打或者敲击头盔上布设了加速度传感器的区域,来触发各个感测元件的开关。
步骤S203、接收所述移动终端发来的第一驾驶信息和/或第二驾驶信息,并进行提示,所述第一驾驶信息由所述监测数据生成,所述第二驾驶信息由所述图像数据生成,并由所述云服务器生成后发送至所述移动终端。
在本申请的实施例中,通过在防护设备上设置的通信组件,防护设备可以在与移动终端进行通信交互的过程中,接收到移动终端发来的驾驶信息,并据此,为防护设备使用者生成对应各个驾驶信息的驾驶提示。
具体地,防护设备可以从移动终端接收到其发来的第一驾驶信息和第二驾驶信息,其中,第一驾驶信息由监测数据生成,并包括指令信息和导航信息;第二驾驶信息由云服务器利用图像数据生成并转发至移动终端,并包括交规信息、车道信息和行人数量信息。
其中,交规信息可以包括:防护设备使用者是否存在违反交通规则的风险,以及,防护设备使用者是否已经或正在违反交通规则。
进一步地,车道信息可以包括:当防护设备使用者在存在多个车道的道路上行驶时,确定出的防护设备使用者所处的车道是否正确,以及,防护设备使用者行驶的方向是否在该车道中逆行。
进一步地,行人数量信息可以包括:防护设备使用者周边的行人数量,尤其是行驶方向和行驶反方向的行人数量。
进一步地,指令信息可以包括:向防护设备使用者提出问询的指令,指令具体可以是问询是否执行指定操作,或者,也可以是其他向防护设备使用者进行交互或反馈的指令。
进一步地,导航信息可以包括:对指定路线提供的导航。
在本实施例中,防护设备基于接收到的各个驾驶信息,可以生成对应的驾驶提示。
其中,对应接收到的交规信息,针对不同的交规信息,可以生成对应的交规提示,包括:提示防护设备使用者是否存在违反交通规则的风险,或者,是否已经或正在违反交通规则。
进一步地,对应接收到的车道信息,针对不同的车道信息,可以生成对应的车道提示,包括:提示防护设备使用者是否处于正确的车道,和/或,防护设备使用者的行驶方向是否是正确的目标方向。
进一步地,对应接收到的行人数量信息,可以生成对应的行人提示,包括:提示防护设备使用者行驶方向和行驶反方向的行人数量。
进一步地,对应接收到的指令道信息,针对不同的指令信息,可以生成对应的操作提示,包括:向防护设备使用者问询是否执行指定操作的提示,或者其他关于指令交互或指令反馈的提示。
进一步地,对应接收到的导航信息,可以生成对应的导航提示,包括:提示防护设备使用者在行驶方向上的路径引导等信息。
在本实施例中,上述生成的各个驾驶提示,可以是图文形式的图文提示,并具体通过前述实施例中的显示区域来向防护设备使用者展示。
进一步地,各个驾驶提示还可以是语音形式的语音提示,并具体通过前述实施例中的音频播放组件,来向防护设备使用者进行语音播放。
在图1示出的具体示例中,头盔可以从手机接收到包括交规信息、车道信息、行人数量信息、指令信息和导航信息在内的各个驾驶信息。
具体地,头盔接收到的交规信息可以是例如,头盔佩戴者行驶方向的交通信号灯是否是红灯,或者,是否正在或已经闯红灯。
进一步地,头盔接收到的车道信息可以是例如,头盔佩戴者行驶的车道是否是最右侧或其他指定的目标车道,和/或,头盔佩戴者是否正在逆行。
进一步地,头盔接收到的指令信息可以是例如,问询是否接听来电的指令,问询是否读取消息的指令,问询是否接受被分配的外卖订单的指令,或者问询是否拨打急救电话的指令等,还可以是反馈导航已开启的反馈指令,音乐已播放的反馈指令,或者指定操作已结束的反馈指令,或者,显示区域已关闭的反馈指令等。
进一步地,头盔接收到的导航信息可以是例如,前方路况左转,前方拥堵,前方汇入车辆等信息。
基于此,头盔可以生成对应的驾驶提示,并将其在防护面罩的显示屏幕中展示,或者,通过设置的扬声器播放。
在本申请的另一实施例中,驾驶提示还可以包括丢失提示。
在本实施例中,基于防护设备与移动设备之间建立的蓝牙通信连接,可以实时判断移动终端的设备是否丢失或出现异常。
具体地,防护设备可以实时判断移动设备交互的蓝牙信号是否断开,并预先设置断开时长阈值,例如,可以是60秒。
进一步地,当防护设备判断出蓝牙信号的连接已经断开,并且断开时长持续超过该断开时长阈值时,则尝试重新搜索蓝牙信号。
进一步地,若能够搜索到蓝牙信号,则可以尝试重新建立蓝牙连接。
进一步地,若未搜索到蓝牙信号,则认为移动终端的设备存在丢失风险。
基于此,防护设备可以生成丢失提示,以向防护设备使用者提示检查移动终端的设备是否丢失或出现问题。
具体地,防护设备生成的丢失提示可以包括例如,在显示区域生成例如“蓝牙连接已断开,请检查设备是否正常”的图文显示;或者,通过扬声器播放上述内容的语音。
可以看出,防护设备基于接收到的驾驶信息从而生成对应的驾驶提示,使得能够将多个驾驶提示集成在防护设备中,同时,基于图文展示和语音播放,可以使得防护设备使用者在不取出移动设备的情况下,或者不借助除防护设备之外的其他设备的情况下,取用到移动设备的信息,进而及时获知重要的驾驶信息,明确当前的驾驶情况。
可见,本申请的实施例的驾驶时的信息交互方法,基于防护设备采集的图像数据,可以向防护设备使用者展示多个方向上的图像,避免了行驶中的观察盲区,同时,基于设置的感测元件可以采集到多个监测数据,并通过将各个监测数据发送至移动终端,可以借助建立通信连接的移动终端,来为防护设备进行复杂的数据处理,在防护设备接收到各个驾驶信息后,通过很对不同驾驶信息,来生成对应的驾驶提示,从而实现防护设备的智能化,使得用户仅使用防护设备就能够或者各项驾驶信息,并与移动设备进行交互。
参考图3,本申请另一个实施例的驾驶时的信息交互方法,应用于移动终端,并具体包括以下步骤:
步骤S301、响应于接收到与移动终端连接的防护设备发来的监测数据,对所述监测数据进行分析,生成对应所述监测数据的第一驾驶信息,并发送至所述防护设备。
在本申请的实施例中,移动终端能够接收防护设备发来的各个监测数据,并通过对各个监测数据进行分析处理,从而生成对应的第一驾驶信息,并将各个第一驾驶信息息发送至防护设备,以实现与防护设备的指令交互或者指令反馈,以及,为防护设备提供导航功能。
具体地,基于前述实施例中防护设备向移动设备发送的各个监测数据,移动设备可以接收到前述实施例中的姿态数据、健康数据和音频数据,并分别对其进行分析。
进一步地,可以预先在移动终端设置用于识别语音指令的模型或程序,基于此,对于接收到的音频数据,移动终端可以识别出音频数据中所包含的语音指令,并执行该语音指令所指向的操作。
其中,从音频数据中识别出的语音指令具体可以是例如,指向导航单元,并要求进行导航操作的语音指令;或者,指向救援操作,并要求执行该救援操作的语音指令;或者,也可以是指向外卖应用中的接单操作,并要求对当前分配的外卖单执行接单操作等;或者,还可以是指向消息应用,并要求执行读取指定消息的操作等。
进一步地,在该语音指令执行完毕后,可以向防护设备反馈对应的指令信息,以实现与防护设备的指令交互。
在图4示出的具体示例中,以前述实施例中的手机和头盔作为具体的示例,手机首先执行步骤S401、接收音频数据。
具体地,可以是手机通过蓝牙从头盔接收音频数据,其中,音频数据的内容可以是例如,头盔佩戴者说出的“打开导航,并导航到A地点”的语音。
进一步地,手机可以执行步骤S402、识别语音指令。
具体地,手机可以利用预设的语音识别模型来识别接收到的上述语音,并识别出其中的关于导航操作的语音指令。
进一步地,手机可以执行步骤S403、执行语音指令。
具体地,手机基于识别出的关于导航操作的语音指令,可以启动手机中预设的导航单元并运行。
进一步地,手机可以执行步骤S404、反馈指令信息。
具体地,在手机启动导航单元的运行后,可以向防护设备反馈例如“导航指令”已执行的指令信息。
在一些其他实施例中,还可以向防护设备反馈导航信息。
具体的,例如,手机可以将行驶至A地点的路径规划,以及路径的指引以图文数据和音频数据的形式发送至防护设备,以令防护设备可以在显示区域形成图文和/或音频的导航提示。
可以看出,移动终端基于对音频数据的分析,在识别出语音指令时,可以据此来运行移动终端内所设置的各项功能,并实现与防护设备的交互。
在本申请的另一实施例中,在移动终端基于对姿态数据和健康数据进行分析后,还可以主动生成对应的指令信息,并将其发送至移动终端。
具体地,在移动终端中预先设置有正常的姿态数据,以及,正常的健康数据。
基于此,可以判断移动终端接收到的姿态数据是否属于正常的姿态数据,并在姿态数据异常时,继续通过健康数据的判断,来确定是否需要执行预先设置的救援操作。
进一步地,在健康数据异常时,移动终端将自动执行救援操作,并向防护设备反馈关于执行该救援操作的指令信息。
进一步地,在健康数据正常时,移动终端则将向防护设备发送问询指令的指令信息,以通过指令交互来确定是否执行救援操作。
在图5示出的具体示例中,以前述实施例中的手机和头盔作为移动终端和防护设备的具体示例。
在本实施例中,手机首先执行步骤S501、接收姿态数据和健康数据。
具体地,手机可以从头盔接收到陀螺仪的姿态数据,以及,关于头盔佩戴者的血氧数据和心率数据。
进一步地,手机可以执行步骤S502、判断姿态数据是否异常。
具体地,可以在手机中预先设置角速度阈值,并将低于该角速度阈值的姿态数据作为正常的姿态数据。
基于此,可以确定出手机获取的姿态数据是否正常。
进一步地,当步骤S502的执行结果为正常,则认为头盔佩戴者未出现交通碰撞或摔倒,并可以返回步骤S501,继续获取姿态数据和健康数据。
进一步地、当步骤S502的执行结果为异常,则认为头盔佩戴者有可能出现交通碰撞或摔倒,并向防护设备,也即,头盔反馈出现异常的姿态数据。
进一步地,可以判断头盔佩戴者的健康是否因碰撞或摔倒而出现问题,也即,可以进一步执行步骤S503、判断血氧数据是否异常。
具体地,可以在手机中预先设置血氧阈值,例如,95%,并将小于该血氧阈值的血氧数据视为异常。
进一步地,当步骤S503的判断结果为异常,则认为头盔佩戴者的健康数据异常,并已经出现健康问题,并认为需要进一步执行步骤S504、执行“拨打急救电话”的操作。
具体地,可以令手机拨打医院急救电话,和/或家人电话等。
进一步地,当步骤S503的判断结果为正常,则认为头盔佩戴者的健康状况仍有几率出现问题,因此,可以进一步判断其它健康指标是否异常,具体地,可以执行步骤S505、判断心率数据是否正常。
具体地,可以在手机中预先设置心率阈值,例如,60bpm/min,并将小于该心率阈值的心率数据视为异常。
进一步地,当步骤S505的判断结果为异常,则认为头盔佩戴者的健康数据异常,并已经出现健康问题,并认为需要进一步地执行步骤S504、执行“拨打急救电话”的操作。
进一步地,当步骤S505的判断结果为正常,则认为头盔佩戴者的健康重要指标正常,但仍有几率出现不适的情况,进而不适宜继续行驶。
基于此,可以进一步执行步骤S506、发送问询的指令信息。
具体地,手机可以向头盔佩戴者发送包含例如,“是否拨打急救电话”等内容的指令信息。
进一步地,可以执行步骤S507、获取语音指令并执行。
具体地,基于向头盔发送的问询是否执行救援操作的指令信息,在经过与头盔的指令交互,可以获取到对应的语音指令。
进一步地,依据该语音指令,手机可以启动救援操作的执行,也即,拨打急救电话,或不启动救援操作。
在本申请的另外一些实施例中,健康数据也可以只包括血氧数据和心率数据中的任意一种,并在该项数据出现异常时,判定健康数据出现异常。
可以看出,移动终端基于从防护设备获取的监测数据,通过对监测数据的分析,不仅能够获取防护设备的语音指令,还能够通过生成指令信息并反馈,来实现与防护设备的交互,同时,还能够通过对监测数据中姿态数据和健康数据的分析,及时判定出防护设备使用者是否出现交通事故,或健康问题,并依据两者之间建立的指令交互功能,来灵活选择触发或不触发救援操作。
在本申请的另一实施例中,还可以不一次性获取全部的姿态数据和健康数据,而是先仅获取姿态数据,在分析出姿态数据异常时,再从防护设备获取血氧数据,并在分析出血氧数据异常时,再从防护设备获取心率数据。
基于此,通过分批次获取不同监测数据,可以减小防护设备与移动设备之间的数据吞吐量,减小通信压力。
步骤S302、响应于接收到所述防护设备发来的行驶方向和行驶反方向上各自的图像数据,将所述图像数据发送至与所述移动终端连接的云服务器。
在本申请的实施例中,基于移动终端与防护端之间建立的蓝牙连接,移动终端还能够从防护设备获取图像数据,并将其转发至云服务器。
在具体的示例中,以前述实施例中的手机和头盔作为移动终端和防护设备的具体示例。
具体的,手机可以从头盔获取对应行驶方向的第一图像数据,以及,对应行驶反方向的第二图像数据,并通过与云服务器预先建立的通信连接,将第一图像数据和第二图像数据发送至云服务器。
步骤S303、响应于接收到所述云服务器发来的对应所述图像数据的第二驾驶信息,将所述第二驾驶信息发送至所述防护设备。
在具体的示例中,基于前述步骤向云服务器发送的第一图像数据和第二图像数据,云服务器可以对其进行分析后,将得到的第二驾驶信息输出,据此,移动终端可以从云服务器获取其发出的第二驾驶信息。
其中,第二驾驶信息可以包括前述实施例中的交规信息、车道信息和行人数量信息。
基于此,移动终端可以将其转发至防护设备,以供防护设备的使用者及时获取到第二驾驶信息。
可见,本申请的实施例的驾驶时的信息交互方法,基于移动设备与防护设备之间的交互,综合考虑了对监测数据的分析和对图像数据的处理,在移动终端难以同时进行多项数据处理时,选择对监测数据进行分析,并将图像数据转发至云服务器来处理,从而实现算力的节省,提高了信息交互的效率,并且通过对监测数据的分析,而得到对应的指令信息,可以实现与防护设备的指令交互,使得防护设备所能执行的功能更加智能。
参考图6,本申请一个实施例的驾驶时的信息交互方法,应用于云服务器,并具体包括以下步骤:
步骤S601、接收与所述云服务器连接的移动终端发来的行驶方向和行驶反方向上各自的图像数据。
在本申请的实施例中,基于前述实施例中移动终端向云服务器转发的图像数据,云服务器能够获取到第一图像数据和第二图像数据,
步骤S602、对所述图像数据进行识别,生成对应所述图像数据的第二驾驶信息。
在本申请的实施例中,云服务器基于预先设置的AI模型,能够对接收到的第一图像数据和第二图像数据进行分析,并在分析后得到第二驾驶信息,其中,第二驾驶信息反映了防护设备使用者当前所处的路况情况,具体可以包括前述实施例中的交规信息、车道信息和行人数量信息。
具体地,云服务器可以将交规信息的具体内容分为两类:防护设备使用者存在违反交通规则的风险,以及,防护设备使用者已经或正在违反交通规则。
进一步地,云服务器通过利用AI模型,可以识别出图像数据中的交通标识,据此,通过对防护设备使用者行驶方向的第二图像数据进行识别,可以判断出防护设备使用者是否存在违反交通规则的风险,并生成用于提示该风险的交规信息。
进一步地,云服务器通过对防护设备使用者行驶反方向上的第一图像数据进行识别,可以判断出防护设备使用者是否已经或正在违反交通规则,并生成用于对应该情况的交规信息。
基于此,移动终端可以利用防护设备采集的图像数据,来为防护设备生成对应的交规信息,并通过第一图像数据和第二图像数据分别判断出不同的交规信息,使得对驾驶风险的提示更加细化。
在本申请的另一实施例中,基于第二图像数据来判断防护设备使用者是否存在违反交通规则的风险时,可以通过检测第二图像中的交通标识,并结合交通标识总的倒计时状态,来识别出潜在的违反交通规则的风险。
具体地,基于获取的图像数据,也即,基于图7中的步骤S701、获取图像数据,可以进一步识别第二图像数据中是否存在交通标识。
在具体的示例中,交通标识可以是具有红灯、绿灯和黄灯的交通信号灯,并且红灯表示禁行,绿灯表示非禁行。
据此,可以进一步执行具示例中的步骤S702、识别第二图像数据中的交通信号灯。
进一步地,可以判断该交通标识是否处于倒计时状态,也即,执行具体示例中的步骤S703、判断是否处于倒计时。
进一步地,当步骤S703的判断结果为否时,则可以认为该交通信号灯未显示或不具备倒计时功能。
基于此,可以进一步判断该交通标识是否表示禁行,也即,执行具体示例中的步骤S704、判断是否为红灯。
进一步地,当步骤S704的判断结果为否时,由于黄灯往往具备倒计时,因此可以认为防护设备使用者当前行驶方向前方为绿灯,不存在违反交通规则的风险,也即,不存在闯红灯的风险。
基于此,可以返回执行步骤S701。
进一步地,当步骤S704的判断结果为是时,则认为防护设备使用者当前行驶方向的前方存在表示禁行的交通标识。
基于此,可以认为防护设备使用者如果继续向前方行驶,则存在违反交通规则的风险,也即,存在闯红灯的风险。
因此,可以进一步生成关于该风险的交规信息,也即,执行具体示例中的步骤S705、生成前方红灯的交规信息。
进一步地,当步骤S703的判断结果为是时,则可以进一步判断该倒计时的剩余时间,以确定防护设备使用是否能够在剩余时间内通过该交通信号灯。
据此,可以执行步骤S706、判断倒计时是否小于预设时长。
其中,云服务器可以预先设置时长,时长可以是例如,10秒。
进一步地,当步骤S706的判断结果为否时,则可以返回至步骤S701。
进一步地,当步骤S706的判断结果为是时,则可以进一步判断行驶方向上的该交通信号灯是否表示非禁行,也即,执行具体的步骤S707、判断是否为绿灯。
进一步地,当步骤S707的判断结果为是时,则可以认为,虽然该交通信号灯为绿灯,但在剩余时间内不足够防护设备使用者顺利通过该交通信号灯,在中途会有遇到红灯的可能,也就是说,存在无违反交通规则的风险。
基于此,可以进一步生成该交通信号灯即将变为红灯的交规信息,也即,执行具体的步骤S708、生成即将红灯的交规信息。
进一步地,当步骤S707的判断结果为否时,则可以认为,防护设备使用者行驶方向的前方为红灯,并执行步骤S705。
可以看出,在本实施例中,将行驶方向上即将变为禁行的交通标识,以及,正处于禁行的交通标识均视为存在违反交规的风险,并仅利用防护设备使用者行驶方向上的第二图像数据便可以确定出上述风险。
在本申请的另一实施例中,基于第一图像数据来判断防护设备使用者是否已经或正在违反交通规则的风险时,可以通过检测第一图像中的交通标识,来识别出潜在的违反交通规则的风险。
具体地,基于获取的图像数据,可以进一步识别第一图像数据中是否存在交通标识,也即,可以进一步执行具示例中的步骤S709、识别第一图像数据中的交通信号灯。
基于此,可以进一步判断该交通标识是否表示禁行,也即,执行具体示例中的步骤S710、判断是否为红灯。
进一步地,当步骤S710的判断结果为否时,由于第一图像数据来自防护设备使用者的行驶反方向,因此,可以认为防护设备使用者刚刚通过的交通信号灯为绿灯,未违反交通规则的风险。
基于此,可以返回步骤S701。
进一步地,当步骤S710的判断结果为是时,则判定防护设备使用者行驶反方向上的交通信号灯当前为红灯,但还不能够确定防护设备使用者已经闯红灯,仍需要进一步判断防护设备使用者通过该交通信号灯时是否为红灯。
基于此,可以执行步骤S711、判断是否小于时间差阈值。
具体地,云服务器可以预先设置时间差阈值,可以是例如15秒。
基于此,可以判断该第一图像数据采集的时刻与前次发送交规信息的时刻之间的时间差。
进一步地,当步骤S711的判断结果为是时,说明该时间差小于时间差阈值,则认为防护设备使的用者在前次确定出行驶方向前方为红灯并生成对应的交规信息之后,仍快速通过了该交通信号灯,也就是说,可以认定防护设备使用者已经闯红灯。
基于此,可以进一步生成对应该违反交通规则的交规信息,也即,执行步骤S712、生成闯红灯的交规信息。
进一步地,当步骤S711的判断结果为否时,说明该时间差大于等于时间差阈值,则认为防护设备使用者在前次确定出前方红灯并生成对应的交规信息之后,未快速通过了该交通信号灯,也就是说,可以认定防护设备使用者是经过等待后,才经过该交通信号灯,基于此,可以返回步骤S701。
可以看出,本实施例中基于对第一图像数据的判断,可以确定出防护设备使用者行驶反方向上的交通标识,并结合对时间差的判断,实现辅助判断防护设备使用者是否违反交通规则。
在本申请的另一实施例中,云服务器基于预先设置的AI模型,在对接收到的第一图像数据和第二图像数据进行分析后,还能够确定其他第二驾驶信息,例如,反映防护设备使用者当所处车道的车道信息,以及,当前行驶环境中的行人数量情况的行人数量信息。
具体地,基于获取的图像数据,也即,基于图8中的步骤S801、获取图像数据,可以进一步执行步骤S802、识别第二图像数据中的行人数量,以及,步骤S803、识别第一图像数据中的行人数量。
进一步地,可以进一步执行具示例中的步骤S805、统计前后行人数量。
具体地,由于第二图像数据反映了防护设备使用者行驶方向的图像,第一图像数据反映了防护设备使用者行驶反方向上的图像,因此,基于步骤S802和步骤S803可以确定出防护设备使用者行驶方向和行驶反方向各自的行人数量。
基于此,可以进一步生成关于各个方向上行人数量的行人数量信息,也即,步骤S805、生成行人数量信息。
在本实施例中,基于获取的图像数据,也即,基于图8中的步骤S801,还可以进一步执行步骤S806、识别第二图像数据中的车道线。
在具体的示例中,防护设备使用者所处的道路可以有多个车道线形成的多个车道。
基于此,可以预先设置目标车道,该目标车道表示了防护设备使用者应该处于的正确车道,例如,可以将最右的一个车道作为目标车道。
进一步地,可以预先设置目标方向,该目标方向表示了防护设备使用者是否逆行。
进一步地,基于识别出的车道线,可以确定出防护设备使用者当前所处的车道,也即,可以执行步骤S807、判断是否处于最右。
进一步,当步骤S807的判读结果为是时,则认为防护设备使用者处于正确的车道中,并可以认为防护设备使用者并未逆行。
进一步地,当步骤S807的判读结果为否时,则认为防护设备使用者处于错误的车道,基于此,可以进一步生成用于提示出目标车道的车道信息,也即,执行步骤S808、生成未在目标车道的车道信息。
进一步地,当防护设备使用者未处于最右侧车道时,则还可能存在逆行情况。
基于此,可以进一步利用其他车辆的车头来判断防护设备使用者是否逆行。
进一步地,可以执行步骤S809、识别其他车辆的车头。
具体地,由于第二图像数据反映的是防护设备使用者行驶方向上的图像,因此,当防护设备使用者行驶方向上出现大量车头时,则可以认为正在逆行。
基于此,可以预先设置车头数量限值,例如,可以是N个车头。
进一步地,可以执行步骤S810、判断是否连续识别N个车头。
进一步地,当步骤S810的判断结果为是时,则认为防护设备使用者行驶方向上连续出现的车头过多,并据此认为防护设备使用者的行驶方向不是目标方向,也即,正在逆行。
基于此,可以进一步生成用于提示行驶方向不是目标方向,也就是正在逆行的车道信息,也即,执行步骤S811、生成逆行的车道信息。
进一步地,当步骤S810的判断结果为否时,则认为防护设备使用者行驶方向上连续出现的车头数量不足以判定其行驶方向为非目标方向,也即,并不可以判定其正在逆行,并可以返回步骤S801。
可以看出,在本实施例中通过第二图像数据可以实现对逆行、错误车道行驶等情况的判断,并在结合第一图像数据和第二图像数据后,可以判断出周边两个方向上的行人数量,实现了对多类的驾驶环境的提示。
步骤S603、将对应所述图像数据的第二驾驶信息发送至所述移动终端。
在本申请的实施例中,基于前述步骤中确定出的各个交规信息、车道信息和行人数量信息,云服务器可以将其发送至移动终端,以使移动终端将其转发至防护设备,进而使得防护设备能够及时为防护设备使用者提供有效的驾驶提示。
可见,本申请的实施例的驾驶时的信息交互方法,基于在防护设备上设置的显示区域实现向防护设备使用者展示不同方向的路况,并通过在防护设备上设置各类感测元件,实现了对防护设备使用者周边及其自身各项监测数据的采集,在综合考虑了防护设备、移动终端和云服务器之间的信息交互、数据交互和指令交互之后,实现了防护设备的智能化。
在本申请的另一实施例中,在防护设备采集到图像数据后,将其发送到移动终端,移动终端在获取到图像数据之后,先对图像数据进行初步检测,并在检测出图像数据中体现出行人,车道和交通信号灯中的至少一个,则再将图像数据发送至云服务器,并令云服务器来进行进一步的分析,并得出分析结果。
进一步地,若移动终端在进行初步检测后,未检测出图像数据体现出行人,车道和交通信号灯中的至少一个,则不将该图像数据发送至云服务器,进而减小了移动终端与云服务器之间数据的吞吐量,并且移动终端分担了云服务器的检测任务。
需要说明的是,本申请的实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本申请的实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是,上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思,与上述第一方面实施例方法相对应的,本申请的实施例还提供了一种防护设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面实施例所述的驾驶时的信息交互方法。
上述实施例的防护设备执行如第一方面实施例所述的驾驶时的信息交互方法时,具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,与上述第二方面实施例方法相对应的,本申请的实施例还提供了一种移动终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第二方面实施例所述的驾驶时的信息交互方法。
上述实施例的移动终端执行如第二方面实施例所述的驾驶时的信息交互方法时,具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,与上述第三方面实施例方法相对应的,本申请的实施例还提供了一种云服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第三方面实施例所述的驾驶时的信息交互方法。
上述实施例的云服务器执行如第三方面实施例所述的驾驶时的信息交互方法时,具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,与上述任意实施例方法相对应的,本申请的实施例还提供了一种驾驶时的信息交互系统,该系统包括,前述实施例所述的防护设备、移动终端和云服务器。
上述实施例的系统用于实现前述任一实施例中相应的物理设备的接入方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本申请的范围(包括权利要求)被限于这些例子;在本申请的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本申请的实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本申请的实施例难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本申请的实施例难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请的实施例的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本申请的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请的实施例。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本申请的具体实施例对本申请进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本申请的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本申请的实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (20)
1.一种驾驶时的信息交互方法,其特征在于,应用于防护设备,所述防护设备设置有至少一个感测元件;
所述方法包括:
采集行驶方向和行驶反方向上各自的图像数据,将各个方向上的图像数据发送至与所述防护设备连接的移动终端;
响应于触发任意感测元件,令对应感测元件采集当前的监测数据,并将所述监测数据发送至所述移动终端;
接收所述移动终端发来的第一驾驶信息和/或第二驾驶信息,并进行提示,所述第一驾驶信息由所述监测数据生成,所述第二驾驶信息由所述图像数据生成,并由所述云服务器生成后发送至所述移动终端。
2.根据权利要求1所述的方法,其特征在于,所述图像数据包括,对应所述行驶反方向的第一图像数据;所述防护设备还包括具有显示功能的防护面罩;
所述采集行驶方向和行驶反方向上各自的图像数据之后,还包括:
在所述防护面罩上显示由所述第一图像数据生成的第一图像。
3.根据权利要求1所述的方法,其特征在于,所述感测元件包括,角速度传感器;
所述响应于触发任意感测元件,令对应感测元件采集当前的监测数据,包括:
响应于触发所述角速度传感器,令所述角速度传感器采集所述防护设备的姿态数据,所述姿态数据用于表示所述防护设备转动时的角速度。
4.根据权利要求3所述的方法,其特征在于,所述感测元件还包括,健康传感器和传声器中的至少一个;
所述响应于触发任意感测元件,令对应感测元件采集当前的监测数据,还包括以下至少一项:
响应于接收到所述移动端反馈所述姿态数据出现异常,则触发所述健康传感器,并令所述健康传感器采集防护设备使用者的健康数据,所述健康数据用于表示所述防护设备使用者的生命体征;
响应于触发所述传声器,令所述传声器采集音频数据,所述音频数据包括所述传声器采集到的声音数据。
5.根据权利要求1所述的方法,其特征在于,所述第一驾驶信息包括,指令信息和导航信息;
所述接收所述移动终端发来的第一驾驶信息和/或第二驾驶信息,并进行提示,包括:
响应于接收到所述指令信息,生成用于指令交互的操作提示;
响应于接收到所述导航信息,生成用于导航的导航提示。
6.根据权利要求1所述的方法,其特征在于,所述第二驾驶信息包括,交规信息、车道信息和行人数量信息,
所述接收所述移动终端发来的第一驾驶信息和/或第二驾驶信息,并进行提示,还包括:
响应于接收到所述交规信息,生成用于提示所述交规信息的交规提示;
响应于接收到所述车道信息,生成用于提示所述车道信息的车道提示;
响应于接收到所述行人数量信息,生成用于提示行人数量的行人提示。
7.根据权利要求1所述的方法,其特征在于,所述接收所述移动终端发来的第一驾驶信息和/或第二驾驶信息,并进行提示,还包括:
对应接收到的所述驾驶信息,以语音形式播放该驾驶信息的内容,和/或在所述防护面罩上以图文形式展示该驾驶信息的内容。
8.一种驾驶时的信息交互方法,其特征在于,应用于移动终端;
所述方法包括:
响应于接收到与移动终端连接的防护设备发来的监测数据,对所述监测数据进行分析,生成对应所述监测数据的第一驾驶信息,并发送至所述防护设备;
响应于接收到所述防护设备发来的行驶方向和行驶反方向上各自的图像数据,将所述图像数据发送至与所述移动终端连接的云服务器;
响应于接收到所述云服务器发来的对应所述图像数据的第二驾驶信息,将所述第二驾驶信息发送至所述防护设备。
9.根据权利要求8所述的方法,其特征在于,所述监测数据包括,姿态数据;
所述对所述监测数据进行分析,生成对应所述监测数据的第一驾驶信息,包括:
判断所述姿态数据是否异常,响应于确定所述姿态数据异常,向所述防护设备反馈出现异常的所述姿态数据。
10.根据权利要求9所述的方法,其特征在于,所述监测数据包括,健康数据和音频数据中的至少一个;
所述对所述监测数据进行分析,生成对应所述监测数据的第一驾驶信息,包括以下至少一项:
响应于确定所述姿态数据异常,判断所述健康数据是否异常,响应于确定所述健康数据异常,执行预设的救援操作,响应于确定所述健康数据正常,向所述防护设备发送请求执行所述救援操作的指令信息;
对所述音频数据进行识别,响应于识别出预设的语音指令,执行所述语音指令,并将表示执行结果的指令信息反馈至所述防护设备。
11.根据权利要求10所述的方法,其特征在于,所述移动终端预设有导航单元;
所述响应于识别出预设的语音指令,执行所述语音指令,包括:
响应于确定所述音频数据中的所述语音指令指向所述导航单元,则启动所述导航单元,生成对应的导航信息,并发送至所述防护设备;
响应于确定所述语音指令指向所述救援操作,则执行所述救援操作。
12.一种驾驶时的信息交互方法,其特征在于,应用于云服务器;
所述方法包括:
接收与所述云服务器连接的移动终端发来的行驶方向和行驶反方向上各自的图像数据;
对所述图像数据进行识别,生成对应所述图像数据的第二驾驶信息;
将对应所述图像数据的第二驾驶信息发送至所述移动终端。
13.根据权利要求12所述的方法,其特征在于,所述图像数据包括对应所述行驶反方向的第一图像数据和对应所述行驶方向的第二图像数据;所述第二驾驶信息包括由图像数据生成的交规信息;
所述对所述图像数据进行识别,生成对应所述图像数据的第二驾驶信息,包括:
利用所述第二图像数据判断所述行驶方向是否存在违反交通规则的风险;
响应于确定存在违反所述交通规则的风险,生成用于提示所述风险的交规信息;
利用所述第一图像数据判断防护设备使用者是否已经违反所述交通规则;
响应于确定已经违反所述交通规则,生成用提示违反所述交通规则的交规信息。
14.根据权利要求13所述的方法,其特征在于,所述利用所述第二图像数据判断所述行驶方向是否存在违反交通规则的风险,包括:
响应于识别出所述第二图像数据中存在交通标识,判断所述交通标识是否处于倒计时状态;
响应于确定不处于倒计时状态,则判断所述交通标识是否表示禁行;
响应于确定处于倒计时状态,则判断剩余时间是否小于预设的时长,响应于确定所述剩余时间小于所述时长,则判断所述交通标识是否表示非禁行;
响应于确定所述交通标识表示禁行,或所述交通标识表示非禁行且所述剩余时间小于所述时长,则确定所述防护设备使用者存在违反交规的风险。
15.根据权利要求13所述的方法,其特征在于,所述利用所述第一图像数据判断防护设备使用者是否已经违反所述交通规则,包括:
识别所述第一图像数据中是否存在表示禁行的交通标识;
响应于确定存在,则判断当前时刻与前次发送所述交规信息之间的时间差是否小于预设的时间差阈值;
响应于确定所述时间差小于所述时间差阈值,则确定所述防护设备使用者已经违反所述交通规则。
16.根据权利要求13所述的方法,其特征在于,所述驾驶信息还包括由图像数据生成的行人数量信息和车道信息;
所述对所述图像数据进行识别,生成对应所述图像数据的第二驾驶信息,还包括:
统计所述第一图像数据和所述第二图像数据中的行人数量,并生成行人数量信息;
利用所述第二图像数据判断所述防护设备使用者是否处于预设目标车道,响应于确定所述防护设备使用者未处于所述目标车道,则生成用于提示所述目标车道的车道信息;
利用所述第二图像数据判断所述行驶方向是否为预设目标方向,响应于确定所述行驶方向非所述目标方向,生成用于提示所述目标方向的车道信息。
17.一种防护设备,包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的方法。
18.一种移动终端,包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求9至11中任意一项所述的方法。
19.一种云服务器,包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求12至16中任意一项所述的方法。
20.一种驾驶时的信息交互系统,包括:
如权利要求17所述的防护设备;
如权利要求18所述的移动终端;以及
如权利要求19所述的云服务器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310956062.9A CN116991237A (zh) | 2023-07-31 | 2023-07-31 | 驾驶时的信息交互方法、系统及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310956062.9A CN116991237A (zh) | 2023-07-31 | 2023-07-31 | 驾驶时的信息交互方法、系统及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116991237A true CN116991237A (zh) | 2023-11-03 |
Family
ID=88529611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310956062.9A Pending CN116991237A (zh) | 2023-07-31 | 2023-07-31 | 驾驶时的信息交互方法、系统及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116991237A (zh) |
-
2023
- 2023-07-31 CN CN202310956062.9A patent/CN116991237A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112965502B (zh) | 视觉跟踪确认方法、装置、设备及存储介质 | |
EP3130892B1 (en) | Vehicle navigation terminal for assisting a driver to safely drive within a geofence | |
US9383214B2 (en) | Navigation system with device recognition mechanism and method of operation thereof | |
CN110570687B (zh) | Agv的控制方法、装置及存储介质 | |
CN111216127A (zh) | 一种机器人控制方法、装置、服务器及介质 | |
CN109345829B (zh) | 无人车的监控方法、装置、设备及存储介质 | |
KR20190115040A (ko) | 운전 거동 결정 방법, 디바이스, 장비 및 저장 매체 | |
KR20200057414A (ko) | 주행 가이드 정보를 제공하는 전자 장치 및 그 방법 | |
EP3521124A1 (en) | Vehicle-mounted device, control method, and program | |
CN107072867A (zh) | 一种盲人安全出行实现方法、系统以及可穿戴设备 | |
US20130293586A1 (en) | Information processing device, alarm method, and program | |
KR20240074777A (ko) | 차량 탑승자 보조를 위한 차량 및 모바일 디바이스 인터페이스 | |
US11180082B2 (en) | Warning output device, warning output method, and warning output system | |
KR20240067906A (ko) | 차량 탑승자 보조를 위한 차량 및 모바일 디바이스 인터페이스 | |
KR102547441B1 (ko) | 차량 간 메시지 전송 장치 및 방법 | |
CN112258837B (zh) | 一种车辆预警的方法、相关装置、设备以及存储介质 | |
CN113492849A (zh) | 驾驶辅助装置以及数据收集系统 | |
CN115269097A (zh) | 导航界面的显示方法、装置、设备、存储介质及程序产品 | |
CN111385410B (zh) | 终端设备的控制方法、装置及存储介质 | |
CN112116826A (zh) | 生成信息的方法和装置 | |
EP3813037B1 (en) | Safe positioning method and related product | |
JP7136538B2 (ja) | 電子装置 | |
JP5803624B2 (ja) | 車両制御システム、車両制御装置、車両制御方法及びコンピュータプログラム | |
CN116991237A (zh) | 驾驶时的信息交互方法、系统及相关设备 | |
US11807264B2 (en) | Driving assistance apparatus, driving assistance method, and medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |