CN105139583A - 基于便携式智能设备的车辆危险提醒方法 - Google Patents

基于便携式智能设备的车辆危险提醒方法 Download PDF

Info

Publication number
CN105139583A
CN105139583A CN201510350058.3A CN201510350058A CN105139583A CN 105139583 A CN105139583 A CN 105139583A CN 201510350058 A CN201510350058 A CN 201510350058A CN 105139583 A CN105139583 A CN 105139583A
Authority
CN
China
Prior art keywords
vehicle
portable intelligent
intelligent device
signal
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510350058.3A
Other languages
English (en)
Inventor
殷德军
李伦波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201510350058.3A priority Critical patent/CN105139583A/zh
Publication of CN105139583A publication Critical patent/CN105139583A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Abstract

本发明提供一种基于便携式智能设备的车辆危险提醒方法,该便携式智能设备置于车辆内并可通过通信链路连接至车辆的车载影音系统,该方法包括:使便携式智能设备的第一摄像头获取车内驾驶员的面部图像和/或身体姿态图像;使便携式智能设备根据前述获得的图像检查驾驶员处于疲劳驾驶状态的风险;响应于存在前述风险,使便携式智能设备发出提醒信号,并且在便携式智能设备连接至车辆的车载影音系统时控制通过该车辆的车载影音系统发出提醒信号。当便携式智能设备检测到驾驶员处于疲劳驾驶状态时,可以通过车辆的车载影音系统给予比较强烈的声音警告,克服仅通过便携式智能设备本身的扬声器进行提醒的不足,防止交通安全事故的发生或者减小交通安全事故的危害。

Description

基于便携式智能设备的车辆危险提醒方法
技术领域
本发明的各个方面涉及车辆控制技术领域,尤其是车辆主动安全控制,具体涉及基于便携式智能设备的车辆危险提醒方法。
背景技术
一直以来,人们在车辆主动安全控制上的研究从未止步。现有技术中,车辆主动安全控制技术包括了ABS、EBD、ESP、ACC、BSD、EBA、LDWS、VSC、HMWS、FCWS、HUD、HDC、胎压监测、芯片防盗、倒车影像、自动感应大灯、自动感应雨刷等等,这些先前技术无一不是基于车载电子系统而实现的,一方面电子和/或液压控制系统设计复杂,另一方面这些控制系统和信号线路的设计均与车辆主控制或者辅助控制的数据总线共线,占用较多的通信资源,同时一旦线路故障或者损坏,维修工作是极为繁琐和复杂的,而且昂贵。
例如,第2012102162069号中国专利申请提出一种基于生理信息分析的疲劳驾驶远程监测与报警系统和方法,将脑电采集装置输入端连接驾驶员的大脑皮层,脑电采集装置输出端传输脑电信号至上位机,上位机输出疲劳信号至下位机,下位机输出报警信号至手机模块。利用手机模块可使驾驶员监控人员实时查询驾驶员的驾车状态,及时提醒防止驾驶员疲劳驾驶;当驾驶员处于疲劳驾驶状态时,本发明可以通过分析脑电信号及时报警,若驾驶员仍坚持驾车,下位机通过控制手机模块发送报警信息至监控人员手机,从而提高驾驶员疲劳驾驶的检测预警能力。
随着便携式智能设备,尤其是智能电话(也称智能手机、便携式智能终端、移动终端、蜂窝通讯设备/终端等)的发展,现有技术中已经开始研究其应用到汽车主动安全控制中。例如,第2014104953266号中国专利申请公开一种基于Android平台的疲劳驾驶实时监控与预警方法,系统设计以搭载Android操作平台的智能手机为载体,首先将智能手机固定在方向盘中央后,利用智能手机自带的GPS定位及陀螺仪传感器,每隔1s计算并存储车辆驾驶过程中的加速度及方向盘转角数据,然后每隔10s利用小波变换从存储数据中提取加速度的db5小波尺度1归一化能量、方向盘转向角速度标准差、方向盘转向db5小波尺度4归一化能量作为疲劳程度判定指标,接下来将指标带入计数模型确定疲劳程度,预警系统将疲劳程度分为:清醒、轻度疲劳、中度疲劳、深度疲劳四级。最后根据计数模型判定结果,对不同的疲劳程度采取不同的预警措施。系统设计实现成本低,可靠性高,容易实现市场推广,系统实现不涉及车辆改装,实现驾驶状态的实时监控。
又如,第2012105171905号中国专利公开一种手机平台汽车驾驶疲劳预警方法,可以快速普及汽车驾驶疲劳预警,大大提高驾驶车辆的安全系数。该软件主要通过调用现在智能手机上已有硬件设备实现:1.结合图像识别技术和音频分析技术,对汽车方向盘进行监控;2.结合音频分析技术和加速度监控,分析汽车驾驶状态并且完成碰撞事件识别;3.通过软件实现方向盘长时间无操作或长时间驾驶都会发出疲劳驾驶预警,提醒驾驶员休息。碰撞后获取位置信息并发送短信求救、自动呼叫求救。在驾驶状态进行来电监听,可设置为自动拒接或自动以户外模式接听。在保证疲劳预警功能的准确性和稳定性的同时,进行最大化功能集成包括事故发生求救功能,加快事故发生后救援速度。
这些现有技术中虽然利用智能手机进行主动安全控制,诸如汽车安全防卫报警,汽车故障诊断,车道检测、车辆检测、行人检测、结果分析计算并提醒驾驶员,疲劳检测并提醒驾驶员或者加快事故后救援的速度,其所欲解决的是事前的提醒和事后的救援,但实际上在例如疲劳驾驶、前方突然出现的障碍物等意外情况发生时,并不能有效地防止交通安全事故的发生。
发明内容
本发明的第一方面提供一种基于便携式智能设备的车辆危险提醒方法,该便携式智能设备置于车辆内并可通过通信链路连接至车辆的车载影音系统,该方法包括:
使便携式智能设备的第一摄像头获取车内驾驶员的面部图像和/或身体姿态图像;
使便携式智能设备根据前述获得的图像数据检查驾驶员处于疲劳驾驶状态的风险;
响应于存在前述风险,使便携式智能设备发出提醒信号,并且在便携式智能设备连接至车辆的车载影音系统时控制通过该车辆的车载影音系统发出提醒信号。
进一步的例子中,前述方法更加包含以下步骤:
响应于存在前述风险,使便携式智能设备发送第一信号至车辆的ECU;
当ECU接收到所述第一信号后,控制车辆的行进速度限制。
进一步的例子中,前述方法中:
车辆的ECU接收到所述第一信号后控制使车辆进行减速。
进一步的例子中,前述方法中:
车辆的ECU接收到所述第一信号后控制使车辆进行降档。
进一步的例子中,前述方法中:
车辆的ECU接收到所述第一信号后控制车辆行进的最高速度和/或最高档位。
进一步的例子中,前述方法更加包含以下步骤:
使便携式智能设备的第二摄像头获取车辆外部的障碍物的图像;
使便携式智能设备根据前述获得图像进行障碍物测距;
基于障碍物与车辆的距离小于设定的第一阈值,便携式智能设备向车辆的ECU发出第二信号;
ECU接收到所述第二信号后控制增大车辆制动的施加。
进一步的例子中,前述方法更加包含以下步骤:
ECU接收到所述第一信号和/或第二信号后,控制收紧驾驶员和/或乘员的安全带。
进一步的例子中,前述方法更加包含以下步骤:
ECU接收到所述第二信号后,间歇性地控制收紧和放松驾驶员和/或乘员的安全带。
进一步的例子中,前述方法更加包含以下步骤:
ECU接收到所述第二信号后,控制以不规律的收紧力收紧驾驶员和/或乘员的安全带。
进一步的例子中,前述方法更加包含以下步骤:
ECU接收到所述第二信号后,控制以不规律的收紧速度收紧驾驶员和/或乘员的安全带。
应当理解,前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外,所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见,或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中,在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见,在每个图中,并非每个组成部分均被标记。现在,将通过例子并参考附图来描述本发明的各个方面的实施例,其中:
图1是说明根据本发明某些实施例的基于便携式智能设备的车辆主动安全控制系统的示意图。
图2是说明根据本发明某些实施例的便携式智能设备的示意图。
图3是说明根据本发明某些实施例的双目立体成像原理示意图。
图4是说明根据本发明某些实施例的基于便携式智能设备的车辆危险提醒方法的流程示意图。
具体实施方式
为了更了解本发明的技术内容,特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面,附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解,上面介绍的多种构思和实施例,以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施,这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外,本发明公开的一些方面可以单独使用,或者与本发明公开的其他方面的任何适当组合来使用。
图1是说明根据本发明某些实施例的基于便携式智能设备车辆主动安全控制系统的示意图。车辆主动安全控制系统包括车辆以及位于车辆内的便携式智能设备100,便携式智能设备100经由有线传输或者无线传输的方式与车辆的ECU(电子控制单元,也称行车电脑)200进行通信,实现数据和/或信号的传输。诸如,通过蓝牙网络、无线局域网之类的无线网络,或者USB数据线、专用接口数据线之类的有线传输方式,实现便携式智能设备100与车辆的ECU200之间的通信。
便携式智能设备100还可通过有线或者无线的通信链路与车辆的车载影音系统连接,正如以上描述的,例如通过蓝牙网络、无线局域网之类的无线网络,或者USB数据线、专用接口数据线之类的有线传输方式,实现二者之间的连接,使得便携式智能设备100内存储的影音文件/数据可通过车辆的车载影音系统播放。
本例中,将在下面加以更加详细描述的,便携式智能设备100侦测车辆的驾驶员的面部图像,并对此图像进行识别,检查驾驶员处于疲劳驾驶状态的风险。基于存在这样的风险,使便携式智能设备100发出提醒信号,并且在便携式智能设备100连接至车辆的车载影音系统时控制通过该车辆的车载影音系统发出提醒信号。这样的提醒,诸如声音反馈提醒。如此,当便携式智能设备100检测到驾驶员处于疲劳驾驶状态时,可以通过车辆的车载影音系统给予比较强烈的声音警告,克服仅通过便携式智能设备100本身的扬声器进行提醒的不足,因为通常便携式智能设备100由于其便携性的性能设计,其扬声器的设计最大音量一般都会受限制,通过其进行的声音提醒也因此收到限制。
在更进一步的例子中,响应于驾驶员存在这样的疲劳驾驶风险,便携式智能设备100发出第一信号至车辆的ECU200,车辆ECU200基于该第一信号而执行相应的处理,控制车辆的行进速度限制。这些基于第一信号的速度限制将在下面进行更为详细的描述。
在更进一步的描述中,便携式智能设备100还进一步侦测车辆外部的障碍物图像,并据此得到障碍物与车辆之间的距离,并基于此距离与一设定的第一阈值的比较结果,发出第二信号至车辆的ECU200,车辆ECU200基于该第二信号而执行相应的处理,控制增大车辆制动的施加。
图2是说明根据本发明某些实施例的便携式智能设备100的示意图。本例中,便携式智能设备100构造为一个智能手机100。在另一些实施例中,便携式智能设备100还可以构造为诸如便携式平板电脑(PAD)、个人移动数字终端(PDA)等,具有显示、处理和网络连接功能的智能设备(电子设备)。下面智能手机为例,描述本发明目的的示例性实现。
结合图2,智能手机100包括一个或多个处理单元(CPU)101、存储器控制器102、外设接口103、无线通信装置104、外部端口105、后置摄像头1061、前置摄像头1062、音频电路107、一个或多个麦克风1071、一个或多个扬声器1072、存储器120、I/O子系统130、触控屏132、其他输出或控制设备134、一个或多个运动传感器140以及一个或多个定位装置150。这些组件通过一条或多条数据总线/信号线160进行通信。图1所表示的智能手机100仅仅是一个示例,该智能手机100的组件还可以比图示具有更多或者更少的组件,或者具有不同的组件配置。图1所示的各种组件可以利用硬件、软件或者软硬件的结合来实现,包括一个或多个信号处理和/或集成电路。
前述一个或多个处理器(CPU)101作为智能手机100的控制执行核心组件,运行各种存储在存储器120内的程序和/或指令集,以便实现智能手机100的各项功能并对数据进行相关处理。
存储器120,包括高速随机读取存储器进行数据缓存,还包括非易失性存储器,例如一个或多个闪存设备(FLASH),或者其他非易失性固态存储设备。在某些实施例中,存储器120还可以包括远离前述一个或多个处理器101的存储器,例如经由无线通信装置104或者外部端口105以及通信网络进行访问的网络附加存储器,其中的通信网络可以是因特网、一个或多个内部网络、局域网(LAN)、存储局域网(SAN)、广域网(WLAN)等,或者其他适当的组合形式。
存储器控制器102,控制智能手机100的诸如一个或多个处理器101、外设接口103之类的组件对存储器120的访问。
外设接口103,用于将智能手机100的输入和输出外设耦接到处理器101和存储器120。
处理器101、存储器控制器102以及外设接口103可以在单个芯片上实现,例如图1中表示的芯片110。在另外的例子中,它们也可以在多个分立的芯片上实现。
无线通信装置104,用于实现智能手机100与通信网络以及其他设备进行通信。例如通过电磁波来实现数据信息的交换,无线通信装置104执行电磁波的接收和发送,将电磁波变成电信号或者将电信号变换成电磁波。无线通信装置104可包括公知的用于执行这些功能的电路和/或模块,例如天线系统、RF收发器、用户身份识别卡(SIM)、CODEC芯片组、数字信号处理器等,或者它们的组合。这些无线通信装置104通过无线通信与通信网络和/或其他设备进行通信,这些通信网络例如因特网、内部网、诸如蜂窝电话网络之类的无线网络、无线局域网(LAN)、城域网(MAN)等。这些无线通信可以基于多种通信协议、标准中的至少一种,包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、码分多址(CDMA)、蓝牙(Bluetooth)、基于IEEE标准的Wi-Fi、基于因特网协议的语音传输(VoIP)、即时消息协议(IM)、短讯息服务协议(SMS),或者其他任意合适的通信协议。
外部接口105,例如通用串行总线接口(USB)、火线接口1394(FireWire)、高清晰度多媒体接口(HDMI)、VGA接口等,适于直接或者通过网络(如因特网、无限局域网等)间接耦接到其他设备。
后置摄像头1061以及前置摄像头1062提供了智能手机100的视频和/或图像输入功能。后置摄像头1061以及前置摄像头1062具有光学镜头以及图像传感器,图像传感器用于捕捉通过光学镜头形成的被摄目标的图像以获取图像数据。后置摄像头1061以及前置摄像头1062受控地启动而获取被拍摄方向的图像数据和/或视频数据。这些图像数据和/或视频数据被通过数据总线或者信号线160传输至外设接口103和/或存储器120,以便后续处理。
本例中,智能手机的后置摄像头1061优选为双目摄像头,甚至多目摄像头。前置摄像头1062为双目或者单目摄像头。
音频电路107、麦克风1071以及扬声器1072提供了用户与智能手机100之间的音频接口。音频电路107接收来自外设接口103的音频数据并转换成电信号,将这些电信号传输至扬声器1072,扬声器1072将电信号变换成人耳可听见的声波。音频电路还接收由麦克风从声波变换的电信号,并将电信号变换成音频数据,再将音频数据传输至外设接口103和/或存储器120以便进行后续处理。音频数据可以由外设接口103从存储器120和/或无线通信装置104中检索到,和/或传输到存储器120和/或无线通信装置104。在某些实施例中,音频电路107还包括头戴式送/受话器插孔,适于接受输入/输出外设的插入。
I/O子系统130提供智能手机100的输入/输出外设与外设接口103之间的接口。输入/输出外设包括触控屏132、其他输入/控制设备,或者其它类似的设备。本例的I/O子系统130包括一触控屏控制器131以及一个或多个其他输入控制器133。该一个或多个其他输入控制器133接收/发送来自/去往其他输入/控制设备的电信号。所述的输入/控制设备134包括物理按钮(例如按压式按钮、摇杆按钮等)、拨号盘、滑动式开关、操纵杆、旋转式多重选择器等。
触控屏132同时提供智能手机100与用户之间的输入与输出接口。触控屏控制器131接收/发送来自/去往触控屏的电信号。该触控屏132向用户提供可视输出,包括文本、图形、视频及其任意组合。
触控屏132适于基于触觉和/或触知来接受用户的输入。触控屏132具有一个接收用户输入的触摸敏感表面。触控屏132与触控屏控制器131(连同存储器120内存储的任何相关联的模块和/或指令集一起)检测触控屏上的接触(以及接触的连续和/或中断),并且将检测到的接触变换成与显示在触控屏上的诸如一个或多个软按键之类的用户界面的交互。
在一些实施例中,触控屏132与用户之间的接触基于一个或多个手指。在另一些例子中,触控屏132与用户之间的接触基于外部设备,诸如电容笔等。
触控屏132可基于LCD、LED技术的触控式设备,可以采用多种触敏技术中的一种来检测接触以及接触的连续与中断,例如电容、电阻、红外和声表面波技术,接近传感器阵列等。
一个或多个运动传感器140,用于获取智能手机100和/或智能手机100所附接/所附加/所安装在的设备、工具、器件等的运动状态数据和/或空间数据,这些获取的数据通过数据总线或信号线160传输至外设接口103,以便进行处理。
运动传感器140包括诸如电子陀螺仪、电子罗盘、加速度传感器、倾角传感器之类的传感装置,用于获取智能手机100和/或智能手机100所附接/所附加/所安装在的设备、工具、器件的多种运动状态数据,在一些例子中,智能手机100中的运动传感器140由以上所列举或未列明的至少两种运动传感器组合构成,从而发挥运动传感器的功能,利用信息融合的效应达到最大化地利用。
一个或多个定位装置150,用于获取智能手机100和/或智能手机100所附接/所附加/所安装在的设备、器件、工具的地理位置数据。这些获取的数据通过数据总线或信号线160传输至外设接口103,以便进行处理。
定位装置150,包括诸如全球定位系统(GPS)卫星定位接收模块、格洛纳斯(Glonass)卫星定位接收模块、伽利略(Galileo)卫星定位接收模块、北斗卫星定位接收模块等。在一些例子中,定位装置150由以上至少两种接收模块组成。定位装置150,适于接收(采样)卫星的定位信号,从而得到不同历元的位置数据(位置向量)。利用这些位置数据即可进行速度的测算。
智能手机100还包括电源系统180,用于为各个组件供电。电源系统180包括电源管理系统、一个或多个电源(电池或AC)、充电系统、电源故障检测电路、电源转换电路/逆变器、电源状态指示电路等。
在一些实施例中,如图2,智能手机100的软件组件包括操作系统、通信模块(或指令集)、接触和/或运动模块(或指令集)、疲劳检测模块、测距模块(或指令集)、距离检查模块(指令集)以及一个或多个应用(或指令集)。
操作系统,例如Linux、iOS、WINDOWS、Android系统,或者诸如Vxworks之类的嵌入式系统,具有用于控制和管理常规系统任务(例如内存管理、存储设备控制、电源管理等)以及有助于各类软硬件组件之间通信的各种软件组件和/或驱动器。
通信模块,有助于经一个或多个外部端口105而与其他设备进行通讯。并且该通讯模块还包括用于处理外部端口105和/或无线通信装置104接收的数据的各种软件。
接触和/或运动模块,与所述触控屏控制器130一起来检测与触控屏132的接触。该模块包括用于执行与跟触控屏132的接触检测相关联的各种操作的软件,前述的操作例如确定是否发生接触、接触是否连续以及追踪触控屏上的移动、确定接触是否连续或者中断。
疲劳检测模块,包含了用于根据疲劳检测算法进行疲劳检测的指令集或者软件组件。这些基于面部图像的疲劳检测算法,可以利用现有技术中公知的算法来实现。下面将描述其中的一个示例。
基于面部图像的疲劳检测,根据人眼的睁闭状态同时结合眨眼频率计算出疲劳程度而得到驾驶员处于疲劳驾驶的风险。具体地,例如,首先根据智能手机100的前置摄像头1062采集到驾驶舱内的驾驶员面部图像,采用诸如AdaBoost方法进行人脸定位;接着根据人脸皮肤彩色模型理论,通过去色、二值化等算法确定人眼位置;最后根据人眼的睁闭状态结合眨眼频率计算出疲劳程度。基于这个疲劳程度,可以得到驾驶员处于疲劳驾驶的风险。这样的算法、技术例如在袁健、姚明海等人提出的“基于面部特征的驾驶员疲劳检测”、高法灯等人提出的“基于人眼识别技术的驾驶员疲劳驾驶检测方法研究”等相关文献中已经公开,在此不再赘述。
在另一些例子中,前述基于面部图像的疲劳检测,还可以采用诸如向本科等人提出的“基于人眼检测的驾驶员疲劳检测研究”中所涉及的方法,该方法包括:首先基于图像识别对驾驶员的人眼进行检测,在成功检测到的人眼区域上进行眼睛开合状态识别并计算PERCLOS值,最后基于计算的PERCLOS值进行疲劳驾驶风险的分析判断。
在另一些实施例中,疲劳检测还可以是基于人体姿态进行识别的,例如现有公知的DOZER技术利用头部的倾斜角度检测是否瞌睡,即疲劳驾驶程度。
测距模块,包括诸如适于进行双目测距的软件组件。相比单目摄像头的测距,利用双目摄像头可实现距离的精确测算。例如,通过来自智能手机的后置双目摄像头1061所采集的图像数据,通过双目测距算法进行测距,得到后置摄像头1061所拍摄的车辆前方的障碍物与车辆之间的距离。这一类双目测距算法,可以利用现有技术中公知的算法来实现。下面将描述其中的一个示例。
图3是说明根据本发明某些实施例的双目立体成像原理示意图。如图所示,Ol、Or分别表示左、右摄像机(双目摄像头)的光心。两摄像机的投影中心线的距离,即基线距表示为B。fc表示摄像机的有效焦距,两个摄像机的焦距相同。两摄像机的像平面位于同一平面上,光轴平行。两摄像机在同一时刻观看空间物体的同一特征点P,分别在“左眼”和“右眼”上获取了点P的图像,它们的图像坐标分别为pl=(Xl,Yl),pr=(Xr,Yr)。假定两摄像机的图像在同一个平面上,则特征点P(xc,yc,zc)的图像坐标Y相同,即Yr=Yl=Y,则由三角几何关系得到:
X l = f c x c z c X r = f c x c - B z c Y = f c y c z c - - - ( 1 )
设视差为D=Xl-Xr。由此可计算出特征点P在摄像机坐标系下的三维坐标为:
x c = BX l / D y c = BY l / D z c = Bf c / D - - - ( 2 )
同时可以容易得到特征点到坐标系原点的距离:
s = x c 2 + y c 2 + z c 2 - - - ( 3 )
因此,左摄像机像面上的任意一点只要能在右摄像机像面上找到对应的匹配点(二者是空间同一点在左、右摄像机像面上的点),就可以确定出该点的三维坐标。
为了利用双目摄像头进行测距,可以首先对双目摄像头进行标定,并采用诸如Bouguet立体校正算法对双目摄像头进行立体校正;然后采用诸如角点方法对立体校正后的左右摄像机图像中被测目标上的同一特征点进行了亚像素级角点提取;最后根据提取的匹配角点坐标结合双目视觉测距公式实现距离测量。
显然,以上描述的软件组件仅仅是一个示例,本公开的智能手机100内测距模块的软件组件,还可以是利用公知技术中其他的、未在本公开中列明的其他方式实现,包括当前尚未开发出的或者编写完成的程序/软件组件。
距离检查模块,包括用于检查障碍物与车辆的距离与设定的第一阈值的比较结果的软件组件。前述第一阈值,是可由用户、驾驶者、智能手机的生产、销售或运营商等之类的人进行提前设置的。这个第一阈值在不同情况下还对应于不同的驾驶者及驾驶模式,诸如对于新驾驶者或者高速驾驶模式(超过60KM/H)下,前述的第一阈值通常具有一个较高的数值,诸如100m或者更大的值,而对于有经验的驾驶者或者低速驾驶模式(低于20KM/H)下,前述的第一阈值通常具有一个较低的数值,例如50m或者更小的值。当然,这些举例说明并不对本发明做出限制,仅仅是示例性的说明。
所述一个或多个应用包括诸如蜂窝网络的语音通话应用、短讯息应用、即时通信应用、地图应用、在线音乐播放应用、在线视频播放应用、在线阅读应用等。蜂窝通讯设备100在接收到新到达来电、或新到达的短讯息、或新到达的IM消息、或新的地图应用推送的消息、或在线音乐播放应用/在线视频播放应用/在线阅读应用推动的在线播放推荐,和/或这些应用的更新提示,等等,诸如此类的新到达消息,将在蜂窝通讯设备100上产生提醒消息,诸如以文字(屏幕点亮并显示)、播放声音(提示音)、物理振动、指示灯反馈中的至少一种方式进行反馈,利于使用户及时了解到。
图4是说明根据本发明某些实施例的基于便携式智能设备的车辆危险提醒方法的流程示意图。其中驾驶员疲劳状态的检测示例性地通过面部图像识别来实现。
结合图1所示,基于便携式智能设备的车辆危险提醒方法,总体来说,由便携式智能设备如以上描述的智能手机100侦测车辆的驾驶员的面部图像,并对此图像进行识别,检查驾驶员处于疲劳驾驶状态的风险。基于存在这样的风险,使智能手机100发出提醒信号,并且在智能手机100连接至车辆的车载影音系统时控制通过该车辆的车载影音系统发出提醒信号。
在更进一步的方案中,基于前述存在这样的疲劳驾驶风险,使智能手机100发出第一信号至车辆的ECU200,车辆ECU200基于该第一信号而执行相应的处理,控制车辆的行进速度限制。这些基于第一信号的速度限制将在下面进行更为详细的描述。
在更进一步的方案中,智能手机100还进一步侦测车辆外部的障碍物图像,并据此得到障碍物与车辆之间的距离,并基于此距离与一设定的第一阈值的比较结果,发出第二信号至车辆的ECU200,车辆ECU200基于该第二信号而执行相应的处理,控制增大车辆制动的施加。
在更进一步的方案中,ECU200在接收到所述第一信号和/或第二信号后,还控制收紧驾驶员和/或乘员的安全带。一方面提高安全性,另一方面通过收紧安全带对驾驶员和/或乘员进行提醒,尤其是对驾驶员的提醒。
具体来说,图4更加详细地描述了上述过程的实现。
使智能手机100的第一摄像头获取车内驾驶员的面部图像(301)。
如以上公开的内容,优选地,这里是利用前置摄像头来获得车内驾驶员的面部图像。受驱动或/和触发而起动,拍摄车辆内部的驾驶员的面部图像。这些图像被通过诸如数据总线或信号线被传输至外设接口103以利于后续处理和应用。
使智能手机根据前述获得的面部图像检查驾驶员处于疲劳驾驶状态的风险(302)。
智能手机100,由其处理器调用执行存储器内存储的一个或多个疲劳检测模块,从而基于所获取到的面部图像进行识别,对驾驶员的驾驶状态进行判断,确定其是否处于疲劳驾驶状态,如果是,则存在处于疲劳驾驶状态的风险。
响应于存在前述风险,使便携式智能设备发出提醒信号,并且在便携式智能设备连接至车辆的车载影音系统时控制通过该车辆的车载影音系统发出提醒信号(303)。
本例中,智能手机100利用其软件组件的运行检查到驾驶员存在疲劳驾驶的风险,基于此风险判断结果而使得智能手机100本身发出提醒信号,诸如声音反馈,并且在智能手机100连接至车辆的车载影音系统时控制通过该车辆的车载影音系统发出提醒信号,例如强烈的声音反馈,如此以更加强烈的方式给予驾驶员以提醒,克服仅通过便携式智能设备100本身的扬声器进行提醒的不足,因为通常便携式智能设备100由于其便携性的性能设计,其扬声器的设计最大音量一般都会受限制,通过其进行的声音提醒也因此收到限制。
在更进一步的方案中,响应于存在前述风险,使智能手机还发车辆的ECU发送第一信号,并且,车辆的ECU接收到所述第一信号后,控制车辆的行进速度限制。
该第一信号旨在向车辆的ECU表明驾驶员有处于疲劳驾驶状态的风险,希望ECU可以及时做出响应和做出相应的控制,以降低危害或者灾害的发生。
本例中,智能手机100利用其软件组件的运行检查到驾驶员存在疲劳驾驶的风险,基于此风险判断结果而发出第一信号至车辆的ECU。该第一信号旨在向车辆的ECU表明驾驶员有处于疲劳驾驶状态的风险,希望ECU可以及时做出响应和做出相应的控制,以降低危害或者灾害的发生。
车辆的ECU,作为车辆驱动、制动以及其他管理与控制的核心模块,负责对这个车辆的主动、被动控制。
结合图1,车辆的ECU200接收到所述第一信号后控制车辆的行进速度限制。这里所说的控制车辆的行进速度限制,具体地,在一些可选的例子中,包含:减速、降档、限速、限档中的至少一种。
ECU200根据第一信号,控制使得车辆执行减速、降档、限速、限档中的至少一种。这里的限制,在自动档车辆、新能源车辆(如混合动力车辆、纯电动车辆、燃料电池车辆)、以及具有辅助驾驶和/或自动驾驶功能的车辆上是容易实现的。诸如,通过ECU200向车辆的制动系统发出控制信号,使得车辆制动系统发生作用,从而使车辆减速;或者通过ECU200向车辆的变速器发出控制信号,降低或者逐级降低(诸如在减速的同时)档位。
车辆的ECU200作为车辆控制的核心组件,在车辆中负责对车辆的驱动、制动、车灯驱动、指示灯驱动、故障检测、汽车窗户开着、天窗控制、车门控制、导航控制、雨刷器控制等。在一些实施例中,车辆的ECU200还包括多个控制不同辅助功能的辅助ECU以及控制车辆行进驱动、制动之类的关键功能的主控ECU,前述列举出的控制功能中的一部分在一些例子中通常是由主控ECU来执行的,诸如车辆行进驱动、制动等,而另一些控制功能,则由辅助ECU完成,诸如车灯驱动、指示灯驱动、故障检测、汽车窗户开着、天窗控制、车门控制、导航控制、雨刷器控制等。各个ECU之间以及ECU与控制节点之间通常经由车辆的数据总线进行通讯,诸如CAN总线、LIN总线等。
在一些优选的方案中,车辆的ECU接收到所述第一信号后控制车辆行进的最高速度和/或最高档位。诸如限制在较低的档位,从而减小或者消除因为疲劳驾驶所可能导致的危害或风险。
在一些例子中,前述方法更加包含:
使智能手机100的后置摄像头获取车辆外部的障碍物的图像;
智能手机100根据前述获得图像进行障碍物测距,如通过测距模块实现;
基于障碍物与车辆的距离小于设定的第一阈值,使智能手机100向车辆的ECU发出第二信号;
车辆的ECU接收到所述第二信号后控制增大车辆制动的施加。
如此,当检测到驾驶员存在疲劳驾驶的风险时,优选以车载影音系统给予驾驶员强烈的声音反馈提醒的同时,通过车辆的ECU200控制车辆的行进速度限制,还可以进一步地判断车辆外部的障碍物与车辆之间的距离小于第一阈值时,通过车辆ECU200控制进一步加大车辆制动的施加,进一步减小碰撞的风险或者减小碰撞所带来的危害。
在一些具体的例子中,例如控制使得车辆制动系统以更大的制动扭矩进行制动。
在更一步的的例子中,基于以上任意一实施方式的车辆控制,更加包括:
在车辆的ECU200接收到所述第一信号和/或第二信号后,还控制收紧驾驶员和/或乘员的安全带。如此,进一步增强行车/乘车的安全性,同时起到提醒驾驶员和/或乘员的作用。
优选地,ECU200间歇性地控制收紧和放松驾驶员和/或乘员的安全带。如此,以更加强烈的感觉给予收紧或者放松安全带的感觉,起到提醒作用。
在另一些例子中,ECU200接收到所述第二信号后,控制以不规律的收紧力收紧驾驶员和/或乘员的安全带。
如此,在进行间歇性收紧-放松安全带操作时,以不规则的收紧力可进一步引起驾驶员和/或乘员的注意。当然,在另一些例子中,这样的安全带收紧也可以是以规则的收紧力控制。
在另一些例子中,为达到更有利地提醒的目的,CU200接收到所述第二信号后,控制以不规律的收紧速度收紧驾驶员和/或乘员的安全带。
应当理解,在图4所示或者暗示的一个或多个示意图、流程图的基础上,对于一个本领域的普通技术人员来说,不需要经过创造性的劳动就可以直接开发出一个或多个软件来执行图4所示的方法或处理。
虽然本发明已以较佳实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种基于便携式智能设备的车辆危险提醒方法,该便携式智能设备置于车辆内并可通过通信链路连接至车辆的车载影音系统,其特征在于,该方法包括:
使便携式智能设备的第一摄像头获取车内驾驶员的面部图像和/或身体姿态图像;
使便携式智能设备根据前述获得的图像数据检查驾驶员处于疲劳驾驶状态的风险;
响应于存在前述风险,使便携式智能设备发出提醒信号,并且在便携式智能设备连接至车辆的车载影音系统时控制通过该车辆的车载影音系统发出提醒信号。
2.根据权利要求1所述的基于便携式智能设备的车辆危险提醒方法,其特征在于,前述方法更加包含以下步骤:
响应于存在前述风险,使便携式智能设备发送第一信号至车辆的ECU;
当ECU接收到所述第一信号后,控制车辆的行进速度限制。
3.根据权利要求2所述的基于便携式智能设备的车辆危险提醒方法,其特征在于,前述方法中:
车辆的ECU接收到所述第一信号后控制使车辆进行减速。
4.根据权利要求2所述的基于便携式智能设备的车辆危险提醒方法,其特征在于,前述方法中:
车辆的ECU接收到所述第一信号后控制使车辆进行降档。
5.根据权利要求2所述的基于便携式智能设备的车辆危险提醒方法,其特征在于,前述方法中:
车辆的ECU接收到所述第一信号后控制车辆行进的最高速度和/或最高档位。
6.根据权利要求2-5中任意一项所述的基于便携式智能设备的车辆危险提醒方法,其特征在于,前述方法更加包含以下步骤:
使便携式智能设备的第二摄像头获取车辆外部的障碍物的图像;
使便携式智能设备根据前述获得图像进行障碍物测距;
基于障碍物与车辆的距离小于设定的第一阈值,便携式智能设备向车辆的ECU发出第二信号;
ECU接收到所述第二信号后控制增大车辆制动的施加。
7.根据权利要求6所述的基于便携式智能设备的车辆危险提醒方法,其特征在于,前述方法更加包含以下步骤:
ECU接收到所述第一信号和/或第二信号后,还控制收紧驾驶员和/或乘员的安全带。
8.根据权利要求7所述的基于便携式智能设备的车辆危险提醒方法,其特征在于,前述方法更加包含以下步骤:
ECU接收到所述第二信号后,间歇性地控制收紧和放松驾驶员和/或乘员的安全带。
9.根据权利要求7所述的基于便携式智能设备的车辆危险提醒方法,其特征在于,前述方法更加包含以下步骤:
ECU接收到所述第二信号后,控制以不规律的收紧力收紧驾驶员和/或乘员的安全带。
10.根据权利要求7所述的基于便携式智能设备的车辆危险提醒方法,其特征在于,前述方法更加包含以下步骤:
ECU接收到所述第二信号后,控制以不规律的收紧速度收紧驾驶员和/或乘员的安全带。
CN201510350058.3A 2015-06-23 2015-06-23 基于便携式智能设备的车辆危险提醒方法 Pending CN105139583A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510350058.3A CN105139583A (zh) 2015-06-23 2015-06-23 基于便携式智能设备的车辆危险提醒方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510350058.3A CN105139583A (zh) 2015-06-23 2015-06-23 基于便携式智能设备的车辆危险提醒方法

Publications (1)

Publication Number Publication Date
CN105139583A true CN105139583A (zh) 2015-12-09

Family

ID=54724911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510350058.3A Pending CN105139583A (zh) 2015-06-23 2015-06-23 基于便携式智能设备的车辆危险提醒方法

Country Status (1)

Country Link
CN (1) CN105139583A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389949A (zh) * 2015-12-18 2016-03-09 李俊娇 一种汽车疲劳驾驶预警装置
CN106097657A (zh) * 2016-08-09 2016-11-09 乐视控股(北京)有限公司 一种提醒方法、装置和车辆
CN106652021A (zh) * 2016-12-09 2017-05-10 南京理工大学 一种带电作业机器人作业环境3d重构方法
WO2019029195A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监测方法和装置、驾驶员监控系统、车辆
CN109334673A (zh) * 2018-10-30 2019-02-15 奇瑞汽车股份有限公司 智能汽车的接管提醒方法、装置及存储介质
CN109720270A (zh) * 2018-12-29 2019-05-07 重庆金康新能源汽车设计院有限公司 车辆疲劳驾驶状态的提示方法、疲劳监测控制器、系统和车辆
CN110234538A (zh) * 2017-01-18 2019-09-13 本田技研工业株式会社 车辆控制装置
CN110388961A (zh) * 2019-07-23 2019-10-29 江苏天一机场专用设备股份有限公司 一种用于电动航食车的监控系统和平台
CN110832899A (zh) * 2017-06-26 2020-02-21 Lg电子株式会社 在无线通信系统中操作终端以进行v2x通信的方法以及使用该方法的终端
CN111242065A (zh) * 2020-01-17 2020-06-05 江苏润杨汽车零部件制造有限公司 一种便携式车载智能驾驶系统
CN114533049A (zh) * 2022-02-24 2022-05-27 重庆长安汽车股份有限公司 一种基于单oms摄像头的疲劳检测系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201210338Y (zh) * 2008-06-13 2009-03-18 王钦兵 头戴式智能提醒器
CN102069770A (zh) * 2010-12-16 2011-05-25 福州名品电子科技有限公司 基于双目立体视觉的汽车主动安全控制系统及其控制方法
US20110304444A1 (en) * 2010-06-15 2011-12-15 Gm Global Technology Operations, Inc. Portable vision system
CN102752458A (zh) * 2012-07-19 2012-10-24 北京理工大学 一种驾驶员疲劳检测手机与检测单元
CN202923557U (zh) * 2012-12-05 2013-05-08 米钢山 汽车安全数据控制系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201210338Y (zh) * 2008-06-13 2009-03-18 王钦兵 头戴式智能提醒器
US20110304444A1 (en) * 2010-06-15 2011-12-15 Gm Global Technology Operations, Inc. Portable vision system
CN102069770A (zh) * 2010-12-16 2011-05-25 福州名品电子科技有限公司 基于双目立体视觉的汽车主动安全控制系统及其控制方法
CN102752458A (zh) * 2012-07-19 2012-10-24 北京理工大学 一种驾驶员疲劳检测手机与检测单元
CN202923557U (zh) * 2012-12-05 2013-05-08 米钢山 汽车安全数据控制系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任静文: "基于智能手机终端的驾驶行为风格检测", 《万方学位论文》 *
钱志新: "《大智慧城市:2020城市竞争力》", 31 March 2011, 江苏人民出版社 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389949A (zh) * 2015-12-18 2016-03-09 李俊娇 一种汽车疲劳驾驶预警装置
CN106097657A (zh) * 2016-08-09 2016-11-09 乐视控股(北京)有限公司 一种提醒方法、装置和车辆
CN106652021A (zh) * 2016-12-09 2017-05-10 南京理工大学 一种带电作业机器人作业环境3d重构方法
CN110234538A (zh) * 2017-01-18 2019-09-13 本田技研工业株式会社 车辆控制装置
CN110234538B (zh) * 2017-01-18 2022-10-28 本田技研工业株式会社 车辆控制装置
CN110832899B (zh) * 2017-06-26 2023-05-02 Lg电子株式会社 操作终端以进行v2x通信的方法以及使用该方法的终端
US11638129B2 (en) 2017-06-26 2023-04-25 Lg Electronics Inc. Method for operating terminal for V2X communication in wireless communication system and terminal using same method
CN110832899A (zh) * 2017-06-26 2020-02-21 Lg电子株式会社 在无线通信系统中操作终端以进行v2x通信的方法以及使用该方法的终端
US10853675B2 (en) 2017-08-10 2020-12-01 Beijing Sensetime Technology Development Co., Ltd. Driving state monitoring methods and apparatuses, driver monitoring systems, and vehicles
WO2019029195A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监测方法和装置、驾驶员监控系统、车辆
CN109334673A (zh) * 2018-10-30 2019-02-15 奇瑞汽车股份有限公司 智能汽车的接管提醒方法、装置及存储介质
CN109720270A (zh) * 2018-12-29 2019-05-07 重庆金康新能源汽车设计院有限公司 车辆疲劳驾驶状态的提示方法、疲劳监测控制器、系统和车辆
CN110388961A (zh) * 2019-07-23 2019-10-29 江苏天一机场专用设备股份有限公司 一种用于电动航食车的监控系统和平台
CN111242065B (zh) * 2020-01-17 2020-10-13 江苏润杨汽车零部件制造有限公司 一种便携式车载智能驾驶系统
CN111242065A (zh) * 2020-01-17 2020-06-05 江苏润杨汽车零部件制造有限公司 一种便携式车载智能驾驶系统
CN114533049A (zh) * 2022-02-24 2022-05-27 重庆长安汽车股份有限公司 一种基于单oms摄像头的疲劳检测系统及方法

Similar Documents

Publication Publication Date Title
CN105023394A (zh) 基于便携式智能设备的危险驾驶提醒及控制方法
CN105139583A (zh) 基于便携式智能设备的车辆危险提醒方法
CN105035074A (zh) 基于便携式智能设备的车辆主动安全控制方法
US10972975B2 (en) Electronic device for transmitting communication signal related to pedestrian safety and method of operating same
US10647252B2 (en) Portable electronic device and operating method therefor
Engelbrecht et al. Survey of smartphone‐based sensing in vehicles for intelligent transportation system applications
CN105034979A (zh) 车辆主动安全控制方法与系统
CN105788321B (zh) 车辆通信方法、装置及系统
US10399575B2 (en) Cognitive load driving assistant
US20200017124A1 (en) Adaptive driver monitoring for advanced driver-assistance systems
US20180141568A1 (en) Vehicle autonomy level selection based on user context
CN106448259B (zh) 一种车辆预警的方法、装置及系统
US10818110B2 (en) Methods and systems for providing a mixed autonomy vehicle trip summary
CN109064763A (zh) 自动驾驶车辆的测试方法、装置、测试设备和存储介质
CN105034804A (zh) 车辆主动安全控制方法与系统
US20210158701A1 (en) Electronic device for processing v2x message and operating method thereof
JP6613623B2 (ja) 車載装置、運転モード制御システム、及び運転モード制御方法
US10710503B2 (en) Systems and methods for streaming video from a rear view backup camera
CN107784708B (zh) 一种基于不同路况来判断驾驶风险的方法
US10095937B2 (en) Apparatus and method for predicting targets of visual attention
CN112258837B (zh) 一种车辆预警的方法、相关装置、设备以及存储介质
CN109936664A (zh) 消息提醒方法、装置及存储介质
CN111681454A (zh) 一种基于驾驶行为的车车协同防撞预警方法
Ortiz et al. Applications and services using vehicular exteroceptive sensors: A survey
CN103354040B (zh) 一种安全报警方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20151209