CN110381831A - 车辆事件识别 - Google Patents

车辆事件识别 Download PDF

Info

Publication number
CN110381831A
CN110381831A CN201780088007.5A CN201780088007A CN110381831A CN 110381831 A CN110381831 A CN 110381831A CN 201780088007 A CN201780088007 A CN 201780088007A CN 110381831 A CN110381831 A CN 110381831A
Authority
CN
China
Prior art keywords
user
data
vehicle
input
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780088007.5A
Other languages
English (en)
Other versions
CN110381831B (zh
Inventor
普拉米塔·米特拉
陈一凡
嘉亚什·拉奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN110381831A publication Critical patent/CN110381831A/zh
Application granted granted Critical
Publication of CN110381831B publication Critical patent/CN110381831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531Measuring skin impedance
    • A61B5/0533Measuring galvanic skin response
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Dermatology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)

Abstract

采集关于车辆中的用户的生物特征数据。基于所述生物特征数据,提示用户在可穿戴装置上提供输入以识别物体。

Description

车辆事件识别
背景技术
在道路上行驶的车辆可能遇到会妨碍车辆的操作的障碍物。例如,动物横穿道路可能需要用户施加制动以停止车辆。遇到障碍物的自主车辆可以检测障碍物并且可以致动部件以改变车辆操作来解决障碍物。此外,非自主或部分自主车辆的驾驶员可以识别障碍物并致动部件来解决障碍物。第一车辆可以检测和或识别障碍物,并且关于障碍物的信息可以对第二车辆有用。然而,缺少允许车辆共享和/或利用障碍物信息的系统。
附图说明
图1是用于识别事件的示例系统的框图。
图2示出了示例事件和针对用户输入的提示。
图3示出了包括针对用户输入的提示的示例可穿戴装置。
图4是用于基于用户生物特征数据而提示用户以识别事件的示例过程的框图。
图5是用于基于识别的事件而广播事件报告的示例过程的框图。
具体实施方式
一种系统包括计算机,所述计算机被编程为采集关于车辆中的用户的生物特征数据。基于所述生物特征数据,所述计算机被编程为提示用户在可穿戴装置上提供输入以识别物体。所述计算机还可以被编程为在接收到所述输入后致动车辆传感器。所述计算机还可以被编程为在从另一个车辆接收到请求后提示所述用户识别所述物体。所述计算机还可以被编程为在已经满足生物特征数据阈值并且没有接收到用户输入之后的预定时间段停止提示。
所述生物特征数据可以包括所述用户的皮肤电反应和心率中的至少一个。所述计算机还可以被编程为在所述皮肤电反应超过皮肤电反应阈值时提示所述用户。所述计算机还可以被编程为在所述心率超过心率阈值时提示所述用户。
所述计算机还可以被编程为向另一个车辆发送带有来自所述用户的识别所述物体的所述输入的消息。所述计算机还可以被编程为在所述可穿戴装置的显示器上呈现所述物体的捕获的视觉数据。所述计算机还可以被配置为用车辆传感器采集数据,并且基于来自所述车辆传感器的所述数据以及所述生物特征数据,提示所述用户在可穿戴装置上提供输入以识别所述物体。
一种方法包括采集关于车辆中的用户的生物特征数据,以及基于所述生物特征数据,提示用户在可穿戴装置上提供输入以识别物体。所述方法还可以包括在接收到所述输入后致动车辆传感器。所述方法还可以包括在从另一个车辆接收到请求后提示所述用户识别所述物体。所述方法还可以包括在已经满足生物特征数据阈值并且没有接收到用户输入之后的预定时间段停止提示所述用户。
在所述方法中,所述生物特征数据可以包括所述用户的皮肤电反应和心率中的至少一个。所述方法还可以包括在所述皮肤电反应超过皮肤电反应阈值时提示所述用户。所述方法还可以包括在所述心率超过心率阈值时提示所述用户。
所述方法还可以包括向另一个车辆发送带有来自所述用户的识别事件的所述输入的消息。所述方法还可以包括在所述可穿戴装置的显示器上显示所述事件的捕获的视觉数据。所述方法还可以包括用车辆传感器采集数据,以及基于来自所述车辆传感器的所述数据以及所述生物特征数据,提示所述用户在可穿戴装置上提供输入以识别所述物体。
还公开了一种计算装置,所述计算装置被编程为执行上述方法步骤中的任一个。还公开了一种车辆,所述车辆包括所述计算装置。还公开了一种计算机程序产品,所述计算机程序产品包括计算机可读介质,所述计算机可读介质存储能够由计算机处理器执行以执行上述方法步骤中的任一个的指令。
一种计算机可以被编程为采集关于车辆中的用户的生物特征数据,并且基于所述生物特征数据,提示所述用户对可穿戴装置提供输入以识别所述车辆外部的事件。基于在所述提示之后并响应于所述提示的所述输入,所述计算机还被编程为识别所述事件。通过结合所述用户输入,所述计算机可以识别所述计算机在可接受的置信度程度内典型地将无法识别的事件。此外,所述用户输入可以识别在不太频繁地识别事件的地区(例如,乡郊地区)中发生的事件。因此,代替依赖于某一数量的车辆来识别事件,可以利用所述用户输入以更高的置信度识别所述事件。
如本文所使用,“事件”是对道路上或附近的一个或多个识别的物体的检测。也就是说,物体可能引起道路上的车辆的典型操作中断,并且通过识别物体并将从物体识别的事件广播到一个或多个其他车辆,其他车辆可以避开所述物体。示例事件包括例如对障碍物的检测,诸如路面坑洞或倒下的树、碰撞场景、车道关闭、动物横穿马路、路面坑洞、建筑施工等。
图1示出了用于识别车辆101附近的事件的系统100。车辆101中的计算装置105被编程为从一个或多个传感器110接收采集的数据115。例如,车辆101数据115可以包括车辆101的位置、目标的位置等。位置数据可以是已知形式,例如地理坐标,诸如经由众所周知的使用全球定位系统(GPS)的导航系统获得的纬度和经度坐标。数据115的其他示例可以包括车辆101系统和部件的测量结果,例如车辆101速度、车辆101轨迹等。
计算装置105一般被编程用于在车辆101网络上进行通信,所述车辆网络例如包括众所周知的通信总线。经由网络、总线和/或其他有线或无线机制(例如,车辆101中的有线或无线局域网),计算装置105可以向车辆101中的各种装置(例如,控制器、致动器、传感器等,包括传感器110)传输消息和/或从这些装置接收消息。替代地或另外地,在计算装置105实际上包括多个装置的情况下,车辆网络可以用于在本公开中表示为计算装置105的装置之间的通信。另外,计算装置105可以被编程为用于与网络125通信,该网络如下所述可以包括各种有线和/或无线网络技术,例如,蜂窝、低功耗(BLE)、有线和/或无线分组网络等。
数据存储106可以是任何已知的类型,例如,硬盘驱动器、固态驱动器、服务器或任何易失性或非易失性介质。数据存储106可以存储从传感器110发送的采集的数据115。
传感器110可以包括多种装置。例如,众所周知,车辆101中的各种控制器可以作为传感器110操作以经由车辆101网络或总线来提供数据115,例如,与车速、加速度、位置、子系统和/或部件状态等相关的数据115。此外,其他传感器110可以包括相机、运动检测器等,即,提供数据115以用于评估目标的位置、投射目标的路径、评估道路车道的位置等的传感器110。传感器110还可以包括近程雷达、远程雷达、激光雷达和/或超声换能器。
采集的数据115可以包括在车辆101中采集的多种数据。以上提供了采集的数据115的示例,并且此外,数据115一般使用一个或多个传感器110进行采集,并且可以另外包括在计算装置105中和/或在服务器130处从所采集的数据计算出的数据。一般来说,采集的数据115可以包括可由传感器110采集和/或从这种数据计算出的任何数据。
车辆101可以包括多个车辆部件120。如本文所使用,每个车辆部件120包括适于执行机械功能或操作(诸如移动车辆、使车辆减速或停止、使车辆转向等)的一个或多个硬件部件。部件120的非限制性示例包括推进部件(其包括例如内燃发动机和/或电动马达等)、变速器部件、转向部件(例如,其可以包括方向盘、转向齿条等中的一个或多个)、制动部件、停车辅助部件、自适应巡航控制部件、自适应转向部件等。
系统100还可以包括连接到服务器130和数据存储135的网络125。计算机105还可以被编程为经由网络125与诸如服务器130的一个或多个远程站点进行通信,这样的远程站点可能包括数据存储135。网络125表示车辆计算机105可以凭其与远程服务器130进行通信的一种或多种机制。因此,网络125可以是各种有线或无线通信机制中的一种或多种,包括有线(例如,电缆和光纤)和/或无线(例如,蜂窝、无线、卫星、微波和射频)通信机制的任何期望组合,以及任何期望的网络拓扑(或当使用多个通信机制时的多个拓扑)。示例性通信网络包括提供数据通信服务的无线通信网络(例如,使用BLE、IEEE 802.11、车辆对车辆(V2V),诸如专用短程通信(DSRC)等)、局域网(LAN)和/或广域网(WAN),包括互联网。
系统100可以包括可穿戴装置140。如本文所使用,“可穿戴装置”是便携式计算装置,其包括可穿戴在人体上的结构(例如,作为手表或手镯、作为吊坠等),并且包括存储器、处理器、显示器以及一个或多个输入机构(诸如触摸屏、按钮等),还有用于诸如本文所述的无线通信的硬件和软件。可穿戴装置140将具有装配到人体或穿戴在人体上的尺寸和形状,例如包括手镯带等的手表状结构,并且因此典型地将具有比用户装置150更小的显示器,例如面积的1/3或1/4。例如,可穿戴装置140可以是手表、智能手表、振动设备等,其包括使用IEEE 802.11、和/或蜂窝通信协议进行无线通信的能力。此外,可穿戴装置140可以使用这种通信能力经由网络125进行通信以及与车辆计算机105直接地通信(例如,使用)。可穿戴装置140包括可穿戴装置处理器145。
系统100可以包括用户装置150。如本文所使用,“用户装置”是便携式不可穿戴计算装置,其包括存储器、处理器、显示器以及一个或多个输入机构(诸如触摸屏、按钮等),还有用于诸如本文所述的无线通信的硬件和软件。用户装置150是“不可穿戴的”意味着它未设有将供穿戴在人体上的任何结构;例如,智能电话用户装置150的尺寸或形状不适合装配到人体并典型地必须携带在口袋或手提包中,并且只有在装配有特殊外壳(例如,具有用于穿过人的皮带的附接件)时才能穿戴在人体上,并且因此智能电话用户装置150是不可穿戴的。因此,用户装置150可以是包括处理器和存储器的多种计算装置中的任一个,例如智能电话、平板电脑、个人数字助理等,用户装置150可以使用网络125与车辆计算机105和可穿戴装置140通信。例如,用户装置150和可穿戴装置140可以利用诸如上文所述的无线技术来彼此通信地耦合和/或通信地耦合到车辆计算机105。用户装置150包括用户装置处理器155。
可穿戴装置处理器145和用户装置处理器155可以指示计算装置105致动一个或多个部件120。用户可以例如通过触摸图标来向可穿戴装置140显示器上的图标提供输入。基于用户输入,可穿戴装置处理器145可以向用户装置处理器155和/或计算装置105发送消息以致动与输入相关联的部件120。
可穿戴装置140可以包括一个或多个可穿戴装置传感器160。可穿戴装置传感器160可以从用户采集数据115。可穿戴装置传感器160可以是多种装置,例如,心率传感器、皮肤电反应传感器、相机、传声器、加速度计、陀螺仪等。可穿戴装置处理器145可以指示可穿戴装置传感器160采集数据115,并且基于数据115,提示用户提供关于事件的输入。
图2示出了由车辆101中的用户识别的示例事件200。车辆101在道路205上行驶。当在道路205上时,传感器110可以采集关于车辆101周围的物体210的数据115。计算装置105可以使用关于物体210的数据115来识别道路205上的事件200。也就是说,计算装置105可以将指定指示多个事件200中的每一个的数据值的信息存储在数据存储106和/或服务器130中,并且计算装置105可以将关于物体210的存储的信息与采集的数据115进行对比,以确定这些存储的事件200中的一个是否为道路205上的事件200。例如,计算装置105可以接收关于在道路205上在车辆101前方移动的物体210的图像数据115和来自可穿戴装置140的音频数据115,所述数据在用已知文本解析技术进行解析时包括词语“鹿”。基于图像数据115和音频数据115,计算装置105可以确定物体是鹿并且事件200是动物横穿马路。
在某些情形下,由计算装置105采集的数据115可能不对应于存储的事件200中的一个。也就是说,每个存储的事件200可以包括被检测到以生成事件200的一个或多个物体210。在检测到与事件200相关联的物体210后,计算装置105可以生成并存储事件200。存储的事件200可以是基于来自多个其他车辆101并存储在服务器130上的对物体的识别。因此,在具有多个车辆101来识别物体210的人口稠密的地区中,服务器130可以存储更多的事件200,并且计算装置105可以基于检测到的物体210而更容易识别事件200。特定事件200是否存储在服务器130中可以是基于一个或多个车辆101是否已经识别与事件200相关联的物体210。例如,如果事件200是在人口更少的地区,则与在人口更稠密的地区的情况相比,更少的车辆101可以采集关于事件200的数据115。
当计算装置105无法识别事件200时,计算装置105可以提示车辆101中的用户提供输入以识别事件200。输入可以是例如由可穿戴装置140中的传声器记录的音频输入、文本输入等。可穿戴装置处理器145可以将输入发送到计算装置105。在图2的示例中,事件200可以是鹿横穿道路205。计算装置105可能没有存储为鹿横穿道路205的事件200,并且因此计算装置105可能无法识别事件200。替代地或另外地,计算装置105可以与用户装置处理器155通信以在用户装置150显示器上提示用户进行关于事件200的输入。
在从用户接收到输入后,计算装置105可以识别事件200。基于输入,计算装置105可以致动一个或多个传感器110以基于输入来采集数据115。例如,计算装置105可以使用众所周知的文本解析技术来将用户的音频输入转换成计算装置105可以分析的词语,包括诸如“鹿”的文本。基于解析的文本,计算装置105可以使用已知的技术致动一个或多个传感器110以采集数据115。例如,如果所解析的文本包括“鹿”,则计算装置105可以致动相机110,以采集在车辆101前面的物体210的图像数据115并且确定车辆101前方是否有鹿。
计算装置105可以确定停止提示用户来提供关于事件200的输入。当计算装置105确定用户不打算提供输入和/或物体210已经经过时,计算装置可以向可穿戴装置处理器145发送消息以停止在可穿戴装置140显示器上提示用户。例如,计算装置105可以在预定时间段之后确定停止提示用户。在另一示例中,计算装置105可以在接收到指示事件200已经结束(例如,再没有动物横穿道路)的数据115后确定停止提示用户。
计算装置105可以针对事件200的识别确定识别置信度值。如本文所使用,“识别置信度值”是指示计算装置105正确地识别出事件的数值(例如,在0与1之间)。计算装置105可以使用已知的技术来评估数据115的质量,例如图像质量、检测到的物体的清晰度、数据115的精度、数据115的准确性、数据115的完整性等,以确定识别置信度值。计算装置105可以发送具有所识别的事件200、识别置信度值和车辆101的位置的消息。计算装置105可以被编程为在识别置信度值高于预定置信度阈值时发送所述消息。置信度阈值可以基于用来采集数据115的传感器110和所使用的传感器110的可靠性而确定。
半自主和自主车辆可以具有用于在城市环境中导航的高清晰度三维(3D)地图。标准方法是对于已知空间中的3D物体分类,为简单起见,通过将捕获的3D物体(来自外部相机馈送)对照已知3D物体进行匹配来完成。然而,在不频繁行驶的地区(例如,乡郊地区、国家公园等)中,可能存在先前未看见的3D物体。对未知3D物体的分类可能需要以捕获物体的全局和局部特性的方式的表示。这可以通过创建概述物体的突出形状特性的3D描述符来实现。
3D物体分类可以通过将3D物体分配到一组先前定义的3D物体类别中的一个来执行。典型地,可以使用学习技术来识别性3D物体上的突出点。然后使用这些突出点的图案,以通过使用坐标变换将所述图案变换成二维(2D)地图来训练分类器以用于物体类别识别。在将突出图案映射到2D平面上之前,可以由分类器向突出图案分配置信度分数。分类器执行度分数的可能范围可以离散成多个区间。如果置信度分数没有落在区间的具体子集内,则可以寻求人类用户输入。
可以通过应用低级运算子(例如,高斯绝对曲率或平均曲率)来创建突出特征矩阵,以通过计算表面网格上的每个点pi的单个特征值vi来提取表面的局部特性。对于给定的邻近边界规格,表面网格上的每个点pi的低级特征值可以聚合成中级特征向量。这可以通过创建可以用来训练多类分类器(例如,支持向量机(SVM))的低级特征的局部直方图来实现,以得到点pi对每一个现有类别yi的归属分数。例如,3个类别的情况可以导致3个分数:分数(ya|pi)、分数(yb|pi)、分数(yc|pi)。将这些分数转换成概率归属P(ya|pi)>P(yb|pi)>P(yc|pi),pi的最可能类别可以被确定为ya
可穿戴装置140可以包括采集用户的生物特征数据115的传感器160,如上所述。生物特征数据115可以包括例如皮肤温度、皮肤电反应、心率等。例如,皮肤电反应数据115可以测量乘员皮肤的电导率(以microSiemens或μS为单位测量),即,电力在乘员的皮肤上传导的能力。皮肤出汗的用户(例如,注意到提高用户的感知的即将到来的事件200)将具有比皮肤干燥的用户更高的电导率。生物特征数据115可以用来向可穿戴装置处理器145发信号以提示用户进行输入。例如,如果用户的电导率高于预定电反应阈值(例如,大于干燥皮肤的电导率但小于电导率湿皮肤的值),那么可穿戴装置处理器145可以提示用户识别事件200。在另一示例中,当心率传感器160确定心率高于心率阈值时,可穿戴装置处理器145可以提示用户识别事件200。
计算装置105可以与服务器130和/或其他车辆101通信以广播事件200。计算装置105可以确定车辆101的位置并且通过网络125发送具有车辆101的位置和由用户提供的输入的消息。如果计算装置105在接收到用户输入后识别事件200,则计算装置105可以将识别的事件200包括在消息中。
计算装置105可以将物体210的捕获的视觉数据115呈现在可穿戴装置140显示器上。也就是说,在从例如相机110采集数据115后,计算装置105可以将来自物体210的数据115的一个或多个图像呈现在可穿戴装置140显示器上以提示用户识别事件200。通过在可穿戴装置140显示器上显示视觉数据115,用户可以提供关于事件200的附加信息,并且计算装置105可以以更大的识别置信度值识别事件200,如上所述。
可穿戴装置140可以包括触觉装置。触觉装置产生被传输给用户的振动和/或闪光。可穿戴装置处理器145可以基于从用户接收到输入和/或从计算装置105接收到消息而致动触觉装置。触觉装置可以设置在可穿戴装置140的腕带中,和/或触觉装置可以位于可穿戴装置140中的另一个位置,例如,在显示器后面。另外地或替代地,用户装置150可以包括触觉装置,其可以由例如用户装置处理器155、可穿戴装置处理器145和/或计算装置105指示进行振动。也就是说,计算装置105可以用触觉装置提示用户来提供关于事件200的输入。
计算装置105可以从第二车辆101接收指示事件识别请求的消息。基于事件识别请求,计算装置105可以提示用户识别事件200。也就是说,第二车辆101可以采集指示事件200的数据115,但可能要求关于物体210的附加数据115以识别事件200。因此,第二车辆101可以向第一车辆101计算装置105发送消息以获得关于物体210的附加数据115。在从第二车辆101接收到消息后,计算装置105可以在可穿戴装置140显示器上提示用户提供关于物体210的输入。计算装置105然后可以将具有用户输入的消息发送到第二车辆101。此外,如果计算装置105可以基于关于物体210的用户输入识别事件200,则计算装置105可以向第二车辆101发送识别事件200的消息。
图3示出了提示用户进行关于事件200的输入的示例可穿戴装置140。可穿戴装置处理器145可以在可穿戴装置140显示器上显示多个提示。在接收到输入后,可穿戴装置处理器145可以向计算装置105发送具有输入的消息。计算装置105然后可以基于输入而识别事件200。在图3的示例中,可穿戴装置处理器145显示三个提示:一个是动物横穿马路事件200、一个是建筑施工事件200,并且一个是提供关于事件200的自定义用户输入。也就是说,可穿戴装置处理器145可以显示与存储的事件相关的提示(例如,动物横穿马路、建筑施工等)和允许用户提供自定义输入的提示。当物体210指示并非由提示所呈现的事件200中的一个的事件200时,用户可以提供自定义输入以识别物体210。例如,自定义输入可以是音频输入,并且计算装置105可以使用已知的语音分析技术来识别音频输入的文本以识别物体210和事件200。在另一示例中,自定义输入可以是来自显示在可穿戴装置140显示器上的虚拟键盘的文本输入。
图4示出了用于提示用户识别事件200的示例过程400。过程400在框405中开始,其中计算装置105指示可穿戴装置处理器145指定可穿戴装置140中的一个或多个传感器160以从用户采集生物特征数据115。如上所述,例如,可穿戴装置处理器145可以从传感器160接收用户的皮肤电反应和/或心率的数据115。
接着,在框410中,可穿戴装置处理器145确定生物特征数据115是否超过预定阈值。例如,如果所采集的生物特征数据115是皮肤电反应数据115,则可穿戴装置处理器145可以将测量到的皮肤电反应与皮肤响应阈值进行对比。在另一个示例中,如果所采集的生物特征数据115是心率数据115,则可穿戴装置处理器145可以将测量到的心率与心率阈值进行对比。如果生物特征数据115超过预定阈值,则过程400在框415中继续。否则,过程400返回到框405以采集更多的生物特征数据115。
在框415中,可穿戴装置处理器145响应于指示事件200的生物特征数据而提示用户进行关于车辆101附近的一个或多个物体210的输入,如上文关于框410所述。可穿戴装置处理器145可以在可穿戴装置140显示器上提供提示。如上所述,高于阈值的生物特征数据115可以指示用户因目睹事件200而出汗和/或紧张。因此,可穿戴装置处理器145可以提示用户提供关于车辆101附近的物体210的输入,计算机105仅基于来自车辆101传感器110的数据115可能难以识别所述物体。
接着,在框420中,可穿戴装置处理器145接收来自用户的输入。所述输入可以是例如由可穿戴装置140中的传声器记录的音频输入、文本输入、可穿戴装置140显示器上的菜单上的选项等。可穿戴装置处理器145可以通过网络125将输入发送到计算装置105。
接着,在框425中,计算装置105基于从可穿戴装置处理器145接收到的输入而致动一个或多个传感器110以采集关于物体210的数据115。例如,计算装置105可以使用文本解析技术来将音频输入转换成计算装置105可以检查的数据115。基于来自音频输入的数据115,计算装置105可以使用传感器110以采集关于物体210的数据115。例如,计算装置105可以基于指示车辆101前方正在发生事件200的音频输入而致动相机110以采集道路205上的在车辆101前方的物体210的视觉数据115。
接着,在框430中,计算装置105基于数据115和用户输入而识别事件200。例如,如果数据115指示物体210在车辆101前方移动经过道路205并且用户输入包括词语“鹿”,则计算装置105可以将事件200是被为鹿横穿道路。
接着,在框435中,计算机105确定是否继续过程400。例如,如果车辆101已经停止并关闭电源,则计算装置105可以确定不继续过程400。如果计算装置105确定继续,则过程400返回到框405以采集更多生物特征数据115。否则,过程400结束。
图5示出了用于广播关于事件200的信息的示例过程500。如上所述,计算装置105可以与其他车辆101通信以采集关于与道路205上的事件200相关的物体210的数据115。通过与其他车辆101通信,与仅根据由车辆101传感器110提供的数据115工作的情况相比,可以以更大的置信度识别事件200。过程500在框505中开始,其中计算装置105从传感器110采集关于一个或多个物体210的数据115。如上所述,在来自用户装置处理器155和/或可穿戴庄子处理器145的指示后,计算装置105可以采集关于物体210的数据115。
接着,在框510中,计算装置105识别事件200。基于用户输入和关于物体210的数据115,计算装置105可以将分类分配到事件200,如上所述。例如,计算装置105可以将事件200识别为例如动物横穿马路、障碍物、交通事故等。
接着,在框515中,计算装置105将识别置信度值分配到事件200并确定识别置信度值是否高于预定阈值。如上所述,计算装置105可以使用已知的置信度确定技术(例如,评估数据115的质量)来确定识别置信度值。如果事件200的识别置信度值高于阈值,则过程500在框520中继续。否则,过程500在框530中继续。
在框520中,计算装置105生成事件报告。事件报告可以是包括识别的事件200和车辆101的当前位置的消息。因此,事件报告可以由其他车辆101用来预测事件200或者当在事件报告中所识别的位置附近时预测类似事件200。
接着,在框525中,计算装置105广播事件报告。计算装置105可以通过网络125(例如,WiFi、DSRC、等)发送事件报告。计算装置105可以将事件报告广播到其他车辆101、服务器130等。
在框530中,计算装置105确定是否继续过程500。例如,如果计算装置105确定车辆101不在移动且挡位选择器处于停车位置,则计算装置105可以确定不继续过程500。在另一个示例中,如果计算装置105确定车辆101仍沿着道路205行驶,则计算装置105可以确定继续过程500。如果计算装置105确定继续,则过程500返回到框505以采集更多数据115。否则,过程500结束。
如本文所使用,修饰形容词的副词“基本上”意指形状、结构、测量、值、计算等可能偏离精确描述的几何形状、距离、测量、值、计算等,因为材料、加工、制造、数据采集器测量、计算、处理时间、通信时间等存在缺陷。
计算装置105一般各自包括指令,所述指令可由诸如上文指出的那些的一个或多个计算装置执行并用于执行上文描述的过程的框或步骤。计算机可执行指令可以由使用各种编程语言和/或技术创建的计算机程序来编译或解译,所述编程语言和/或技术包括但不限于以下的单一形式或组合形式:JavaTM、C、C++、Visual Basic、Java Script、Perl、HTML等。一般来说,处理器(例如,微处理器)接收例如来自存储器、计算机可读介质等的指令,并且执行这些指令,由此执行一个或多个过程,包括本文描述的过程中的一个或多个。可以使用多种计算机可读介质来存储和传输此类指令和其他数据。计算装置105中的文件一般是存储在计算机可读介质(诸如存储介质、随机存取存储器等)上的数据集合。
计算机可读介质包括参与提供可以由计算机读取的数据(例如,指令)的任何介质。这种介质可以采用许多形式,包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘和其他持久性存储器。易失性介质包括典型地构成主存储器的动态随机存取存储器(DRAM)。常见形式的计算机可读介质包括(例如)软磁盘、软盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、带有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或磁带盒,或计算机可以读取的任何其他介质。
就本文描述的介质、过程、系统、方法等而言,应当理解,虽然此类过程的步骤等已经被描述为按照特定次序发生,但是可以在按照本文描述的次序以外的次序执行所述的步骤的情况下实践此类过程。还应当理解,可以同时地执行某些步骤,可以添加其他步骤,或者可以省略本文描述的某些步骤。例如,在过程300中,可以省略步骤中的一个或多个,或者可以按照不同于图3中所示的次序执行步骤。换句话说,本文对系统和/或过程的描述是出于说明某些实施例的目的而提供的,并且绝不应当被解释为限制所公开的主题。
因此,应当理解,包括以上描述和附图以及所附权利要求的本公开旨在是说明性的而不是限制性的。在阅读上面的描述后,除了所提供的示例之外的许多实施例和应用对本领域的技术人员将是显而易见的。不应当参考以上描述来确定本发明的范围,而应当参考附于本发明和/或包括在基于本发明的非临时专利申请中的权利要求以及此类权利要求所赋予的等效物的全部范围来确定。预期并期望未来在本文讨论的领域中将有所发展,并且所公开的系统和方法将并入此类未来的实施例中。总之,应当理解,所公开的主题能够进行修改和变化。
除非另有说明或上下文另有要求,否则修饰名词的冠词“一个”应被理解为是指一个或多个。短语“基于”涵盖部分地或完全地基于。

Claims (20)

1.一种系统,所述系统包括计算机,所述计算机被编程为:
采集关于车辆中的用户的生物特征数据;以及
基于所述生物特征数据,提示用户在可穿戴装置上提供输入以识别物体。
2.如权利要求1所述的系统,其中所述计算机还被编程为在接收到所述输入后致动车辆传感器。
3.如权利要求1所述的系统,其中所述计算机还被编程为在从另一个车辆接收到请求后提示所述用户识别所述物体。
4.如权利要求1所述的系统,其中所述计算机还被编程为在已经满足生物特征数据阈值并且没有接收到用户输入之后的预定时间段停止提示。
5.如权利要求1所述的系统,其中所述生物特征数据包括所述用户的皮肤电反应和心率中的至少一个。
6.如权利要求5所述的系统,其中所述计算机还被编程为在所述皮肤电反应超过皮肤电反应阈值时提示所述用户。
7.如权利要求5所述的系统,其中所述计算机还被编程为在所述心率超过心率阈值时提示所述用户。
8.如权利要求1所述的系统,其中所述计算机还被编程为向另一个车辆发送带有来自所述用户的识别所述物体的所述输入的消息。
9.如权利要求1所述的系统,其中所述计算机还被编程为在所述可穿戴装置的显示器上呈现所述物体的捕获的视觉数据。
10.如权利要求1所述的系统,其中所述计算机还被配置为用车辆传感器采集数据,并且基于来自所述车辆传感器的所述数据以及所述生物特征数据,提示所述用户在可穿戴装置上提供输入以识别所述物体。
11.一种方法,所述方法包括:
采集关于车辆中的用户的生物特征数据;以及
基于所述生物特征数据,提示用户在可穿戴装置上提供输入以识别物体。
12.如权利要求11所述的方法,所述方法还包括在接收到所述输入后致动车辆传感器。
13.如权利要求11所述的方法,所述方法还包括在从另一个车辆接收到请求后提示所述用户识别所述物体。
14.如权利要求11所述的方法,所述方法还包括在已经满足生物特征数据阈值并且没有接收到用户输入之后的预定时间段停止提示所述用户。
15.如权利要求11所述的方法,其中所述生物特征数据包括所述用户的皮肤电反应和心率中的至少一个。
16.如权利要求15所述的方法,所述方法还包括在所述皮肤电反应超过皮肤电反应阈值时提示所述用户。
17.如权利要求15所述的方法,所述方法还包括在所述心率超过心率阈值时提示所述用户。
18.如权利要求11所述的方法,所述方法还包括向另一个车辆发送带有来自所述用户的识别所述物体的所述输入的消息。
19.如权利要求11所述的方法,所述方法还包括在所述可穿戴装置的显示器上呈现所述物体的捕获的视觉数据。
20.如权利要求11所述的方法,所述方法还包括用车辆传感器采集数据,并且基于来自所述车辆传感器的所述数据以及所述生物特征数据,提示所述用户在可穿戴装置上提供输入以识别所述物体。
CN201780088007.5A 2017-03-03 2017-03-03 车辆事件识别 Active CN110381831B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2017/020655 WO2018160192A1 (en) 2017-03-03 2017-03-03 Vehicle event identification

Publications (2)

Publication Number Publication Date
CN110381831A true CN110381831A (zh) 2019-10-25
CN110381831B CN110381831B (zh) 2022-08-02

Family

ID=63370190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780088007.5A Active CN110381831B (zh) 2017-03-03 2017-03-03 车辆事件识别

Country Status (4)

Country Link
US (1) US11679771B2 (zh)
CN (1) CN110381831B (zh)
DE (1) DE112017007003T5 (zh)
WO (1) WO2018160192A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190369615A1 (en) * 2018-06-05 2019-12-05 Facultad Politecnica-Universidad Nacional del Este System and method for verifying the presence and vital signs of pilots in a cockpit of an airplane
CN111301405A (zh) * 2018-12-12 2020-06-19 王进州 一种基于驾驶员心率的汽车主动安全控制系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070120691A1 (en) * 2004-02-02 2007-05-31 Braun Uwe P Device for determining the driving capability of a driver in a vehicle
CN103339009A (zh) * 2010-10-05 2013-10-02 谷歌公司 对自主车辆的诊断和修理
CN103448719A (zh) * 2012-06-01 2013-12-18 通用汽车环球科技运作有限责任公司 神经认知驾驶员状态处理
US20140022108A1 (en) * 2012-07-23 2014-01-23 Motorola Mobility Llc Inter-vehicle alert system with nagable video look ahead
US20140249722A1 (en) * 2013-03-04 2014-09-04 Conti Temic Microelectronic Gmbh Method of Operating a Driver Assistance System of a Motor Vehicle
CN105631977A (zh) * 2016-02-18 2016-06-01 广东百事泰电子商务股份有限公司 智能监控记录仪
US20160163198A1 (en) * 2014-12-04 2016-06-09 Here Global B.V. Near Miss System

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8781568B2 (en) * 2006-06-23 2014-07-15 Brian M. Dugan Systems and methods for heart rate monitoring, data transmission, and use
US8340438B2 (en) 2009-12-17 2012-12-25 Deere & Company Automated tagging for landmark identification
US8203605B1 (en) 2011-05-11 2012-06-19 Google Inc. Point-of-view object selection
US20130132434A1 (en) 2011-11-22 2013-05-23 Inrix, Inc. User-assisted identification of location conditions
US9500495B2 (en) 2012-10-03 2016-11-22 Denso Corporation Vehicular navigation system
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
DE202013006196U1 (de) 2013-07-09 2014-10-13 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Fahrerassistenzsystem für ein Kraftfahrzeug und Kraftfahrzeug
CN105683004B (zh) * 2013-08-27 2018-07-17 汽车交通安全联合公司 使用生理数据控制车辆点火的系统和方法
US20150084757A1 (en) * 2013-09-23 2015-03-26 Agero, Inc. Methods and systems for determining auto accidents using mobile phones and initiating emergency response
US9201421B1 (en) 2013-11-27 2015-12-01 Google Inc. Assisted perception for autonomous vehicles
WO2015099500A1 (ko) * 2013-12-27 2015-07-02 엘지전자 주식회사 차량 사고 녹화 장치 및 그것의 방법
US9547989B2 (en) 2014-03-04 2017-01-17 Google Inc. Reporting road event data and sharing with other vehicles
US20220005291A1 (en) * 2014-05-20 2022-01-06 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US9878663B1 (en) * 2016-12-07 2018-01-30 International Business Machines Corporation Cognitive dialog system for driving safety

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070120691A1 (en) * 2004-02-02 2007-05-31 Braun Uwe P Device for determining the driving capability of a driver in a vehicle
CN103339009A (zh) * 2010-10-05 2013-10-02 谷歌公司 对自主车辆的诊断和修理
CN103448719A (zh) * 2012-06-01 2013-12-18 通用汽车环球科技运作有限责任公司 神经认知驾驶员状态处理
US20140022108A1 (en) * 2012-07-23 2014-01-23 Motorola Mobility Llc Inter-vehicle alert system with nagable video look ahead
US20140249722A1 (en) * 2013-03-04 2014-09-04 Conti Temic Microelectronic Gmbh Method of Operating a Driver Assistance System of a Motor Vehicle
US20160163198A1 (en) * 2014-12-04 2016-06-09 Here Global B.V. Near Miss System
CN105631977A (zh) * 2016-02-18 2016-06-01 广东百事泰电子商务股份有限公司 智能监控记录仪

Also Published As

Publication number Publication date
DE112017007003T5 (de) 2020-01-02
WO2018160192A1 (en) 2018-09-07
US11679771B2 (en) 2023-06-20
CN110381831B (zh) 2022-08-02
US20200001881A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
EP3759700B1 (en) Method for determining driving policy
JP6940612B2 (ja) ニアクラッシュ判定システムおよび方法
US20200017124A1 (en) Adaptive driver monitoring for advanced driver-assistance systems
US10424176B2 (en) AMBER alert monitoring and support
EP3882884A1 (en) Information processing device, information processing method, and program
JP6841843B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
CN110268413A (zh) 低电平传感器融合
JP6766171B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
WO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
US11449065B2 (en) System and method for controlling an autonomous carriage based on user intentions
US11676236B2 (en) Systems and methods for autonomous passenger transport
CN113260547A (zh) 信息处理设备、移动设备、方法和程序
CN110431613A (zh) 信息处理装置、信息处理方法、程序和移动物体
Ortiz et al. Applications and services using vehicular exteroceptive sensors: A survey
WO2023061927A1 (en) Method for notifying a visually impaired user of the presence of object and/or obstacle
Ortiz et al. Vehicle telematics via exteroceptive sensors: A survey
CN110381831A (zh) 车辆事件识别
CN108958908A (zh) 用于对感知系统的传感器进行优先排序的方法和系统
US11904893B2 (en) Operating a vehicle
WO2020203241A1 (ja) 情報処理方法、プログラム、及び、情報処理装置
WO2021024490A1 (ja) 画像データ収集装置、方法およびプログラム
CN110431375A (zh) 车辆事件识别
US20230137349A1 (en) System for data communication using vehicle camera, method therefor and vehicle for the same
CN109951822A (zh) 用于使用车辆通信来避免传感器干扰的系统和方法
US20230128104A1 (en) Accessibility system for assisting a user in interacting with a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant