CN112773034A - 与智能头盔相关的装置和系统 - Google Patents

与智能头盔相关的装置和系统 Download PDF

Info

Publication number
CN112773034A
CN112773034A CN202011188401.6A CN202011188401A CN112773034A CN 112773034 A CN112773034 A CN 112773034A CN 202011188401 A CN202011188401 A CN 202011188401A CN 112773034 A CN112773034 A CN 112773034A
Authority
CN
China
Prior art keywords
helmet
vehicle
data
rider
imu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011188401.6A
Other languages
English (en)
Inventor
B·P·W·巴布
叶茂
任骝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN112773034A publication Critical patent/CN112773034A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A42—HEADWEAR
    • A42B—HATS; HEAD COVERINGS
    • A42B3/00—Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04—Parts, details or accessories of helmets
    • A42B3/30—Mounting radio sets or communication systems
    • A—HUMAN NECESSITIES
    • A42—HEADWEAR
    • A42B—HATS; HEAD COVERINGS
    • A42B3/00—Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04—Parts, details or accessories of helmets
    • A42B3/0406—Accessories for helmets
    • A—HUMAN NECESSITIES
    • A42—HEADWEAR
    • A42B—HATS; HEAD COVERINGS
    • A42B3/00—Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04—Parts, details or accessories of helmets
    • A42B3/0406—Accessories for helmets
    • A42B3/0433—Detecting, signalling or lighting devices
    • A42B3/046—Means for detecting hazards or accidents
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J45/00—Electrical equipment arrangements specially adapted for use as accessories on cycles, not otherwise provided for
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3822—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving specially adapted for use in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/385—Transceivers carried on the body, e.g. in helmets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/36—Cycles; Motorcycles; Scooters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/90—Single sensor for two or more measurements
    • B60W2420/905—Single sensor for two or more measurements the sensor being an xyz axis sensor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/12—Motorcycles, Trikes; Quads; Scooters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/385—Transceivers carried on the body, e.g. in helmets
    • H04B2001/3866—Transceivers carried on the body, e.g. in helmets carried on the head
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Helmets And Other Head Coverings (AREA)

Abstract

提供了与智能头盔相关的装置和系统。一种头盔包括收发器，该收发器被配置为从位于交通工具上的一个或多个传感器接收交通工具数据。该头盔还包括：惯性移动单元（IMU），其被配置为收集交通工具的骑手的头盔运动数据；和处理器，其与收发器和IMU通信，并被编程为经由收发器从位于交通工具上的一个或多个传感器接收交通工具数据，并且利用来自位于交通工具上的一个或多个传感器的交通工具数据和来自IMU的头盔运动数据来确定骑手注意力状态。

Description

与智能头盔相关的装置和系统
技术领域
本公开涉及智能头盔，诸如用于摩托车或其他交通工具上的头盔，所述其他交通工具包括越野摩托车、三轮交通工具或诸如全地形交通工具之类的四轮交通工具等等。
背景技术
由于资源约束和针对电动两轮车（PTW）的限制，对摩托车骑手的连续监视可能是困难的。与机动交通工具安全系统形成对比，由于环境和设计方面的差异，摩托车可能具有由于在PTW中的各种约束而不可转移的技术。
摩托车可以包括高级骑手辅助系统（ARAS），以帮助诸如自适应巡航控制、盲点检测等之类的各种功能。ARAS系统可以主要用于由交通工具生成数据。该系统可以提供警告指示器，以使能实现PTW骑手的安全。
发明内容
根据一个实施例，一种头盔包括收发器，该收发器被配置为从位于交通工具上的一个或多个传感器接收交通工具数据。该头盔还包括被配置为收集交通工具的骑手的头盔运动数据的惯性测量单元（IMU）、以及与收发器和IMU通信的处理器。处理器进一步被编程为经由收发器从位于交通工具上的一个或多个传感器接收交通工具数据，并利用来自位于交通工具上的一个或多个传感器的交通工具数据和来自IMU的头盔运动数据来确定骑手注意力状态。
根据第二实施例，一种系统包括头盔和具有至少两个轮的交通工具。该系统包括被配置为从位于交通工具上的一个或多个传感器接收交通工具数据的头盔收发器、被配置为收集交通工具的骑手的头盔运动数据的头盔惯性测量单元（IMU）。摩托车还包括面向骑手的相机，该面向骑手的相机位于交通工具上并且被配置为监视交通工具的骑手并收集骑手图像数据。该系统还包括头盔中的处理器，该处理器与头盔收发器和头盔IMU通信。处理器被编程为经由头盔收发器从位于交通工具上的一个或多个传感器接收交通工具数据，并利用来自位于交通工具上的一个或多个传感器的交通工具数据和来自IMU的头盔运动数据来确定骑手注意力状态。
根据第三实施例，一种摩托车包括收发器，该收发器被配置为向头盔发送来自位于该摩托车上的一个或多个传感器的摩托车数据，并且从该摩托车接收头盔数据。该摩托车还包括被配置为收集该摩托车的骑手的交通工具运动数据的交通工具惯性测量单元（IMU）、以及与收发器和交通工具IMU通信的处理器。处理器被编程为从位于头盔上的一个或多个传感器接收头盔数据，并且利用来自位于交通工具上的一个或多个传感器的头盔数据和来自交通工具IMU的交通工具运动数据来确定骑手注意力。
附图说明
图1是包括智能头盔和摩托车的系统设计100的示例。
图2是用于骑手注意力验证的流程图200的示例。
图3是头部姿态估计的示例图300。
图4是骑手身体姿势估计的示例图400。
具体实施方式
本文描述了本公开的实施例。然而将理解，所公开的实施例仅仅是示例，并且其他实施例可以采取各种形式和替代形式。各图不一定是按比例的；一些特征可以被放大或最小化以示出特定组件的细节。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅作为对于教导本领域技术人员以不同方式采用实施例的代表性基础。如本领域普通技术人员将理解的，参考各图中任一图被图示和描述的各种特征可以与一个或多个其他图中图示的特征相组合，以产生没有被明确图示或描述的实施例。所图示特征的组合为典型应用提供代表性实施例。然而，与本公开的教导一致的特征的各种组合和修改对于特定的应用或实现可以是期望的。
对骑手状态的连续监视对于使ARAS与活动的安全系统一起工作而言可以是至关重要的。骑手姿势、头部位置和定向对于活动的ARAS而言可以是至关重要的。此外，识别接触可以使能实现动态的骑手-单车模型。与汽车形成对比，PTW可能需要头盔。现代智能摩托车头盔可以扩展仪表组和仪表盘以在平视显示器（HUD）上提供关键信息。传感器可以被添加到头盔，以使得能够跟踪骑手头部姿态来帮助确定人类驾驶者的意图，或者用于确定要在HUD上显示什么内容。系统可以允许通过使用头盔和PTW上的视觉和惯性传感器来连续监视骑手的注意力、姿势、接触和与PTW的空间关系。
骑手状态可以通过头部的姿态（例如位置和定向）、上身关节、以及相对于PTW和世界的接触来描述。通过使用估计的骑手状态，确定对于ARAS应用而言需要的骑手注意力、姿势、滑动（slip）等是可能的。骑手注意力可以指代骑手的眼睛所聚焦于的视野方向。骑手姿势可以指代骑手的背部、颈部、肩部、手臂和其他上身部位的位置。骑手接触可以指代骑手的手与摩托车的把手或其他零件之间的抓握。骑手滑动可以参考骑手的底部与摩托车座椅之间的接触。其他骑手状态信息可以包括骑手与交通工具关系和骑手与世界关系。
图1是包括智能头盔101和摩托车103的系统设计100的示例。智能头盔101和摩托车103可以包括彼此交互的各种组件和传感器。智能头盔101可以聚焦于收集与驾驶者的身体和头部移动相关的数据。在一个示例中，智能头盔101可以包括相机102。头盔101的相机102可以包括用于移动交通工具中的位置和定向识别的主传感器。因此，相机102可以面向头盔101的外部，以跟踪骑手周围的其他交通工具和对象。相机102可能难以捕获这样的对象和交通工具的动态。在另一个示例中，除了相机102或代替于相机102，头盔101可以包括有雷达或LIDAR传感器。
头盔101还可以包括头盔惯性测量单元（IMU）104。头盔IMU 104可以用于跟踪骑手的头部的高动态运动。因此，头盔IMU 104可以用于跟踪骑手正面向的方向或者骑手查看方向。附加地，头盔IMU 104可以用于跟踪突然移动和可能出现的其他问题。IMU可以包括一个或多个运动传感器。
惯性测量单元（IMU）可以使用加速度计和陀螺仪（有时也称为磁力计）的组合来测量和报告主体的特定力、角速率、以及有时主体周围的磁场。IMU典型地用于操控：飞行器，除许多其他事物之外还包括无人机（UAV）；和航天器，包括卫星和着陆器。IMU可以用作在各种交通工具系统中使用的惯性导航系统的组件。从IMU的传感器收集的数据可以允许计算机跟踪电机位置。
IMU可以通过使用一个或多个加速度计检测当前的加速度速率来工作，并且使用一个或多个陀螺仪来检测如俯仰、滚转和偏航之类的旋转属性的改变。典型的IMU还包括磁力计，磁力计可以用于辅助针对定向漂移进行校准。惯性导航系统包含具有角加速度计和线性加速度计（用于位置的改变）的IMU；一些IMU包括陀螺元件（用于维持绝对角参考）。角速率计测量交通工具如何在空间中旋转。三个轴中的每一个轴可以存在至少一个传感器：俯仰（机头向上和向下）、偏航（机头向左和向右）和滚转（从驾驶舱顺时针或逆时针）。线性加速度计可以测量交通工具的非重力加速度。由于它可以在三个轴上移动（上&下、左&右、前向&后向），因此针对每个轴可以存在线性加速度计。这三个陀螺仪通常以类似的正交模式放置，从而参考任意选择的坐标系测量旋转位置。计算机可以连续计算交通工具的当前位置。对于六个自由度（x、y、z和Ox、Oy和Oz）中的每一个，它可以随时间对感测到的加速度、连同重力估计进行积分，以计算当前速度。它还可以对速度进行积分来计算当前位置。IMU提供的一些测量如下：
Figure DEST_PATH_IMAGE002A
Figure 367016DEST_PATH_IMAGE004
是来自IMU的主体框架中IMU的原始测量。
Figure DEST_PATH_IMAGE006A
、
Figure DEST_PATH_IMAGE008A
是预期的正确加速度和陀螺仪速率测量。
Figure DEST_PATH_IMAGE010A
、
Figure DEST_PATH_IMAGE012A
是加速度计和陀螺仪中的偏置偏移。
Figure DEST_PATH_IMAGE014A
、
Figure DEST_PATH_IMAGE016A
是加速度计和陀螺仪中的噪声。
头盔101还可以包括眼睛跟踪器106。眼睛跟踪器106可以用于确定摩托车103的骑手正在看的方向。眼睛跟踪器106也可以用于标识困倦和疲劳或PTW的骑手。眼睛跟踪器106可以标识眼睛的各个部分（例如视网膜、角膜等）来确定用户正在扫视何处。眼睛跟踪器106可以包括相机或其他传感器，以帮助跟踪骑手的眼睛移动。
头盔101还可以包括头盔处理器108。头盔处理器107可以用于由摩托车103和头盔101二者的各种相机和传感器收集的数据的传感器融合。在其他实施例中，头盔可以包括用于短程通信和远程通信的一个或多个收发器。头盔的短程通信可以包括与摩托车103或邻近的其他交通工具和对象的通信。在另一个实施例中，远程通信可以包括到非机载服务器、因特网、“云”、蜂窝通信等的通信。头盔101和摩托车103可以利用由位于头盔101和摩托车103二者上的收发器实现的无线协议彼此通信。这样的协议可以包括蓝牙、Wi-Fi等。头盔101还可以包括平视显示器（HUD），其用于在头盔101的面罩上输出图形图像。
摩托车103可以包括面向前向的相机105。面向前向的相机105可以位于摩托车103的前照灯或其他类似区域上。面向前向的相机105可以用来帮助标识PTW正在前进到何处。此外，面向前向的相机105可以标识摩托车103前方的各种对象或交通工具。因此，面向前向的相机105可以帮助各种安全系统，诸如智能巡航控制或碰撞检测系统。
摩托车103可以包括单车IMU 107。单车IMU 107可以附接到PTW的前照灯或其他类似区域。单车IMU 107可以收集惯性数据，该惯性数据可以用于理解单车的移动。单车IMU107可以是诸如三轴、四轴、五轴、六轴等之类的多轴加速度计。单车IMU 107还可以包括多个陀螺仪。单车IMU 107可以与处理器或控制器一起工作，以确定单车相对于参考点的位置以及其定向。
摩托车103可以包括骑手相机109。骑手相机109可以用于保持跟踪摩托车103的骑手。骑手相机109可以安装在沿着摩托车把手的各种位置或者面向骑手的其他位置中。骑手相机109可以用于捕获骑手的图像或视频，所述图像或视频进而用于各种计算，诸如标识骑手的各种身体部位或移动。骑手相机109也可以用于聚焦于骑手的眼睛。照此，眼睛注视移动可以被确定以找出骑手正在看何处。
摩托车103可以包括电子控制单元111。ECU 111可以用于处理由摩托车的传感器收集的数据以及由头盔的传感器收集的数据。ECU 111可以利用从各种IMU和相机接收的数据来处理和计算各种位置或进行对象识别。ECU 111可以与骑手相机109以及面向前向的相机105通信。例如，来自IMU的数据可以被馈送到ECU 111，以标识相对于参考点的位置以及定向。当图像数据与这样的计算相组合时，单车的移动可以用来标识骑手正在面向或聚焦于何处。比较来自单车上的面向前向的相机和头盔上的相机二者的图像数据，以确定单车与骑手头部之间的相对定向。可以基于从两个相机（例如，骑手相机109和面向前向的相机105）提取的备用特征来执行图像比较。摩托车103可以包括单车中央处理单元113。因此，该系统可以连续监视骑手注意力、姿势、位置、定向、接触（例如，把手上的抓握）、骑手滑动（例如，骑手与座椅之间的接触）、骑手与交通工具关系以及骑手与世界关系。
图2是用于骑手注意力验证的流程图200的示例。骑手注意力验证系统可以帮助确定PTW前进方向和骑手视野方向是否对准。该验证可以允许确定骑手意图，并且因此在头戴式显示器或HUD上提供自适应内容。流程图200可以全部或部分实现在头盔、PTW或非机载服务器（例如，“云”）的处理器或控制器上。
摩托车数据201可以被收集并且提供给其他模块。摩托车数据可以包括如参考图1所讨论的那样聚集和收集的数据。例如，摩托车数据可以包括从摩托车中的相机或类似传感器收集的图像数据或其他数据。这可以包括来自骑手相机或面向前向的相机的图像数据。此外，这可以包括收集的任何摩托车IMU数据。
头盔相机203的数据可以被收集并且提供给其他模块。头盔相机数据可以包括如参考图1所讨论的由智能头盔聚集和收集的图像和其他数据。例如，头盔相机数据可以包括从头盔中的相机或类似传感器收集的图像数据或其他数据，该相机或类似传感器可以聚焦于骑手的脸或者可以是面向前向的以收集关于用户环境的图像信息。这可以包括来自骑手相机或面向前向的相机的图像数据。此外，这可以包括收集的任何摩托车IMU数据。
图像重置205可以被馈送摩托车数据201和头盔相机数据203。图像重置205可以是对于校正IMU的漂移误差所需要的校正。例如，单车数据和头盔相机被输入到系统中，其可以包括来自单车上的相机以及头盔上的相机的图像数据。IMU测量被连续积分以获得位置和定向估计。因此，测量误差造成可能不可恢复的漂移。该系统可以利用基于单车正在面向/看向何处而收集的图像和其他数据（利用定向和GPS数据）来校正漂移。该系统将在视觉上比较头盔相机数据（例如图像数据）和单车相机数据，以确定IMU是否需要被校正或调整。然而，如果图像相似或相同，则IMU测量积分被重置，这将清除累积漂移误差的影响。图像重置改进了相对于单车估计的定向，因为仅利用IMU可能造成漂移误差。图像重置205可以是硬重置，因为它与初始化时段相关联。
视觉偏置估计器（VBE）207可以被馈送头盔相机数据203，并利用它来校正IMU偏置。VBE 207可以用于校正引起估计定向的过冲/欠冲的IMU漂移误差。例如，骑手可能以90度转弯，但IMU可能读取您以120度、80度或其他角度转弯。IMU可能没有正确地补偿它们中的误差和偏置以正确地读取适当的测量。为了补偿偏置，另一个系统或软件可以标识基础真值（ground truth）。视觉估计器可以利用头盔相机数据203，包括图像数据连同IMU数据。因此，VBE 207通过比较IMU数据与头盔相机数据203来校正与IMU过冲/欠冲相关联的误差。VBE 207可以用于校正与IMU相关联的误差和来自相关联移动的测量。
可以从摩托车和头盔二者收集IMU测量213。在一个示例中，可以仅从头盔收集IMU测量213。
IMU初始化209可以用于确定针对在初始化时段处IMU测量积分的初始条件。除了相机数据之外，IMU初始化209模块还可以被馈送IMU测量数据213。此外，视觉偏置估计器数据可以被馈送到IMU积分器中。IMU积分器211可以聚合IMU数据（
Figure DEST_PATH_IMAGE018A
）和图像数据以帮助标识头盔视野方向（
Figure 877632DEST_PATH_IMAGE020
）。例如，如果查看方向假设为沿着偏航惯性轴，则其如下所述被定义为
Figure DEST_PATH_IMAGE022A
。
Figure DEST_PATH_IMAGE024A
IMU积分器211可以从IMU初始化模块接收数据。从两个IMU收集的测量可以被馈送到IMU积分器211中。IMU积分器211可以对来自IMU测量的数据和来自VBE 207的校正输出进行积分，以减少由来自IMU测量的数据中的偏置漂移（
Figure 296850DEST_PATH_IMAGE026
）引起的误差。
头盔视野方向
Figure 692059DEST_PATH_IMAGE028
215可以作为IMU积分器211的结果而被输出。头盔视野方向可以帮助标识骑手注意力验证。例如，如果骑手正从摩托车前方的对象或交通工具移开视线，则系统可以意识到骑手正从行驶路径移开视线，并利用头盔的HUD警告骑手。系统还可以基于骑手的方向提供上下文信息、诸如后视相机信息或其他细节。
图3是可以与从头盔和摩托车收集的数据一起利用的头部姿态估计模型的示例图300。头部姿态估计可以帮助标识骑手正在如何倾斜到单车上。系统可以不仅查看定向，而且还有x、y、z位置。头部姿态估计系统可以利用从头盔和摩托车二者上的传感器收集的数据来描述相对于头盔和PTW的头部姿态。头部姿态估计系统可能需要估计头盔相对于惯性坐标系和PTW坐标系的姿态。因此，PTW姿态Xb可以用于推导头盔与PTW之间的相对姿态：
Figure DEST_PATH_IMAGE029
系统可以假设PTW（例如摩托车）上的IMU位置可能是PTW坐标系的原点。组合状态估计器可以由来自智能头盔的状态组成，并且PTW状态可以被同时估计。也在上面描述的系统的状态可以由以下各项组成：（1）PTW位置X b ；（2） PTW定向q b （3） PTW速度V h ；（4） 相对于惯性坐标框架的PTW IMU偏置b b ；（5）智能头盔位置X h ；（6）智能头盔定向q h ；（7）智能头盔速度v h ；（8）智能头盔偏置b h 和（5）表示惯性坐标系的重力（G）。因此，状态可以等于：
Figure DEST_PATH_IMAGE030
系统可以基于单车IMU测量305和头盔IMU测量307在先前状态
Figure DEST_PATH_IMAGE031
上执行传播303。传播可以是更新的估计。传播中的误差可以基于来自头盔相机、单车相机、ECU和骨骼跟踪器的更新进行校正。联合估计可以捕获在单车IMU与头盔IMU之间关联的测量，并且提供更好的结果。诸如扩展卡尔曼滤波器或非线性优化之类的迭代估计器可以用于实时估计状态。
在步骤310处，系统可以通过聚合传播的各种数据来更新状态模型。更新可以用于基于由摩托车或头盔上的各种传感器收集的数据来校正从测量的任何偏移或分歧（offshoot）。例如，更新可以通过比较和交换从各种IMU和相机收集的数据（例如，图像）来处理各种偏移误差或其他误差。图像数据提供视觉界标，该视觉界标在图像中的残留被最小化以更新IMU偏置误差。摩托车ECU 311可以用于执行与摩托车收集的数据（包括单车ECU收集的数据）相关的各种命令和指令。
前向单车相机更新309可以从单车相机发送图像，以便在更新过程期间被利用。在一个实施例中，前向相机更新309可以利用存在于单车上并面向骑手的数据。在另一个实施例中，前向相机更新309可以利用背向骑手并且在摩托车前方的相机。头盔相机可以更新313所提供的关于骑手视野的信息。特征从图像数据中被提取并进行匹配，以找到相机的相对定向和位置。各种IMU测量也可以支持该特征。
骨干跟踪器315可以被馈送标识骑手的不同骨干部位以及肢体、关节等的数据。跟踪的骨干从表示身体不同部位的图像中提取特征。这些特征与人类骨骼模型关联，以跟踪和更新系统。一旦所有数据被馈送和更新，系统就可以确定当前状态空间模型317。当前状态空间模型317可以标识骑手的和摩托车的位置的测量。
图4是骑手身体姿势估计的示例图400。在PTW应用中，骑手的上身骨骼可以被建模为包括在髋关节以上的所有身体关节的树结构。仪表组上面向骑手的相机可以用于确定关节的位置。当进行关节观察时，可以对基于上身骨骼模型的运动树进行更新。来自头部姿态估计（例如，图3）的更新可以用于进一步细化身体姿势估计，并且反之亦然。
相机401可以瞄准机动交通工具的骑手。相机401可以收集图像或其他数据，以检查骑手身体的各个部分或其他身体部位。相机401可以与处理器或控制器一起工作，该处理器或控制器经由部位提取403帮助标识身体部位。在一个实施例中，相机401可以安装在摩托车上，并且在另一个实施例中，相机401可以安装在头盔上但指向骑手的身体。处理器可以包括用于部位提取403的软件。部位提取403模块可以在适当位置具有算法或其他元素，其用于将数据图像与用于标识身体部位的模板进行比较。例如，从相机收集的图像数据可以与模板进行比较，该模板查看从人取得的形状的轮廓以标识某些身体部位。相机401可以与部位提取模块403结合利用，以标识各种肢体（例如，手臂、腿、大腿、前臂、颈部等）。
在步骤405处，系统可以确定骑手的头部姿态。因此，虽然典型的IMU可以在没有就骑手或摩托车实际环境而言的相对位置的情况下利用数据来理解移动，但是头部姿态软件可以用来将这样的IMU测量与图像数据相组合，以知道头部姿态相对于单车在何处。因此，头部姿态估计可以确定骑手相对于单车或骑手的身体位置正在看何处。
在步骤407处，相机可以标识骑手身体的各个肢体的骨骼跟踪。因此，系统可以在步骤403处标识各种肢体，但是然后在步骤407处开始跟踪那些特定的肢体。例如，相机可以标识手臂，并且然后利用相机来确定用户的手臂正在移动到何处。因此，这样的信息对于通过查看手臂来确定用户是否已经放开了摩托车的把手或者转弯太猛烈可以是有用的。
处理器可以用于取得上身运动模型409。当进行关节观察时，可以更新上身骨骼模型的运动树。例如，相机401可以分析关节并看到上身的移动。从那里，各种模型可以与对用户上身中的关节的当前分析进行比较。
本文公开的过程、方法或算法可以被可递送到处理设备、控制器或计算机/由处理设备、控制器或计算机实现，处理设备、控制器或计算机可以包括任何现有的可编程电子控制单元或专用电子控制单元。类似地，过程、方法或算法可以以许多形式存储为可由控制器或计算机执行的数据和指令，所述形式包括但不限于永久存储在诸如ROM设备的不可写存储介质上的信息以及可变更地存储在诸如软盘、磁带、CD、RAM设备以及其他磁性和光学介质的可写存储介质上的信息。过程、方法或算法也可以在软件可执行对象中实现。替代地，可以使用合适的硬件组件（诸如专用集成电路（ASIC）、现场可编程门阵列（FPGA）、状态机、控制器或者其他硬件组件或设备）或者硬件、软件和固件组件的组合，来整体或部分地体现过程、方法或算法。
虽然上面描述了示例性实施例，但是不意图这些实施例描述权利要求所涵盖的所有可能的形式。说明书中使用的词语是描述而非限制的词语，并且应理解，在不脱离本公开的精神和范围的情况下，可以进行各种改变。如前所述，各种实施例的特征可以被组合以形成可能没有被明确描述或图示的本发明的另外实施例。虽然各种实施例可能已经被描述为在一个或多个期望的特性方面提供了优于其他实施例或现有技术实现的优点或比其优选，但是本领域的普通技术人员认识到，一个或多个特征或特性可以取决于具体的应用和实现而被折衷以实现所期望的总体系统属性。这些属性可以包括但不限于成本、强度、耐用性、生命时段成本、适销性、外观、包装、大小、适用性、重量、可制造性、组装容易性等。照此，至任何实施例被描述为在一个或多个特性方面不如其他实施例或现有技术实现合期望的程度上，这些实施例不在本公开的范围之外，并且对于特定应用可以是合期望的。

Claims (20)

1.一种头盔，包括：
收发器，被配置为从位于交通工具上的一个或多个传感器接收交通工具数据；
惯性移动单元（IMU），被配置为收集与交通工具的骑手相关联的头盔的头盔运动数据；和
处理器，与收发器和IMU通信，并被编程为：
经由收发器从位于交通工具上的一个或多个传感器接收交通工具数据；和
利用来自位于交通工具上的一个或多个传感器的交通工具数据和来自IMU的头盔运动数据来确定骑手注意力状态。
2.根据权利要求1所述的头盔，其中，所述头盔进一步包括被配置为标识交通工具附近的一个或多个对象的相机。
3.根据权利要求1所述的头盔，其中，所述头盔进一步包括眼睛跟踪单元，所述眼睛跟踪单元被配置为收集交通工具的骑手的眼睛跟踪数据。
4.根据权利要求1所述的头盔，其中，处理器进一步被配置为利用头盔运动数据和来自位于交通工具上的交通工具惯性移动单元的交通工具运动数据来确定头部位置状态。
5.根据权利要求1所述的头盔，其中，处理器进一步被配置为至少利用头盔运动数据、来自位于交通工具上的交通工具惯性移动单元的交通工具运动数据、以及从被配置为监视交通工具的骑手的交通工具相机收集的图像数据，来确定骑手的身体位置状态。
6.根据权利要求1所述的头盔，其中，所述头盔包括平视显示器，所述平视显示器被配置为在所述头盔的面罩上输出图形图像。
7.根据权利要求1所述的头盔，其中，交通工具是摩托车或电动两轮单元。
8.根据权利要求1所述的头盔，其中，处理器进一步被配置为至少融合交通工具数据和来自头盔的IMU的运动数据。
9.一种包括头盔和具有至少两个轮的交通工具的系统，包括：
头盔收发器，被配置为从位于交通工具上的一个或多个传感器接收交通工具数据；
头盔惯性移动单元（IMU），被配置为收集与头盔相关联的头盔运动数据；
面向骑手的相机，位于交通工具上并且被配置为监视交通工具的骑手并收集骑手图像数据；和
头盔中的处理器，与头盔收发器和头盔IMU通信并被编程为：
经由头盔收发器从位于交通工具上的一个或多个传感器接收交通工具数据；和
利用来自位于交通工具上的一个或多个传感器的交通工具数据和来自IMU的头盔运动数据来确定骑手注意力状态。
10.根据权利要求9所述的系统，其中，所述系统进一步包括位于交通工具上的面向前向的相机，并且所述面向前向的相机被配置为监视接近交通工具的环境并收集对象图像数据。
11.根据权利要求9所述的系统，其中，面向骑手的相机被配置为收集接近交通工具的骑手的图像数据。
12.根据权利要求11所述的系统，其中，头盔包括平视显示器，所述平视显示器被配置为在头盔的面罩上输出图形图像。
13.根据权利要求11所述的系统，其中，交通工具是摩托车或电动两轮单元。
14.根据权利要求11所述的系统，其中，处理器进一步被配置为至少利用头盔运动数据、来自位于交通工具上的交通工具惯性移动单元的交通工具运动数据、以及从被配置为监视交通工具的骑手的交通工具相机收集的图像数据，来确定骑手的身体位置状态。
15.根据权利要求11所述的系统，其中，处理器进一步被配置为利用头盔运动数据和来自位于交通工具上的交通工具惯性移动单元的交通工具运动数据来确定头部位置状态。
16.一种摩托车，包括：
收发器，被配置为向头盔发送来自位于所述摩托车上的一个或多个传感器的摩托车数据，并且从头盔接收头盔数据；
交通工具惯性移动单元（IMU），被配置为收集所述摩托车的骑手的交通工具运动数据；和
处理器，与收发器和交通工具IMU通信，并被编程为：
从位于头盔上的一个或多个传感器接收头盔数据；和
利用来自位于交通工具上的一个或多个传感器的头盔数据和来自交通工具IMU的交通工具运动数据来确定骑手注意力。
17.根据权利要求16所述的摩托车，其中，所述摩托车包括面向前向的相机，所述面向前向的相机被配置为收集接近所述摩托车的图像数据。
18.根据权利要求16所述的摩托车，其中，所述摩托车包括面向骑手的相机，所述面向骑手的相机被配置为收集接近骑手的图像数据。
19.根据权利要求16所述的摩托车，其中，处理器进一步被配置为至少利用从头盔IMU收集的头盔运动数据、来自交通工具IMU的交通工具运动数据、以及从被配置为监视交通工具的骑手的交通工具相机收集的图像数据，来确定骑手的身体位置状态。
20.根据权利要求16所述的摩托车，其中，处理器进一步被配置为接收从头盔IMU收集的头盔运动数据和来自位于头盔上的一个或多个传感器的头盔数据，并且利用头盔数据和头盔运动数据来确定骑手注意力。
CN202011188401.6A 2019-11-01 2020-10-30 与智能头盔相关的装置和系统 Pending CN112773034A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/672384 2019-11-01
US16/672,384 US11605222B2 (en) 2019-11-01 2019-11-01 Apparatus and system related to an intelligent helmet

Publications (1)

Publication Number Publication Date
CN112773034A true CN112773034A (zh) 2021-05-11

Family

ID=75485516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011188401.6A Pending CN112773034A (zh) 2019-11-01 2020-10-30 与智能头盔相关的装置和系统

Country Status (4)

Country Link
US (1) US11605222B2 (zh)
JP (1) JP2021070907A (zh)
CN (1) CN112773034A (zh)
DE (1) DE102020213102A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT202000015736A1 (it) * 2020-06-30 2021-12-30 Federico Tucci Sistema di tracciatura e visualizzazione della posizione di un motoveicolo e di un utente
DE102022201710A1 (de) 2022-02-18 2023-08-24 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und System zur Zustandsüberwachung eines Benutzers
WO2023174753A1 (en) * 2022-03-16 2023-09-21 Aegis Rider Ag Method and system of determining position and orientation of a helmet

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009075869A (ja) * 2007-09-20 2009-04-09 Toshiba Corp 多視点画像描画装置、方法及びプログラム
KR101803813B1 (ko) * 2015-08-13 2017-12-28 대한민국 G-loc 경고 알고리즘을 이용한 g-loc 경고 방법 및 시스템
US10147023B1 (en) * 2016-10-20 2018-12-04 Disney Enterprises, Inc. Markerless face tracking with synthetic priors
US10474145B2 (en) * 2016-11-08 2019-11-12 Qualcomm Incorporated System and method of depth sensor activation
US10696212B2 (en) * 2017-01-13 2020-06-30 Jeffrey B. Cook Helmet lighting system and related method for monitoring vehicle status
US10786033B2 (en) * 2018-10-29 2020-09-29 Robotarmy Corp. Racing helmet with visual and audible information exchange

Also Published As

Publication number Publication date
US11605222B2 (en) 2023-03-14
US20210133447A1 (en) 2021-05-06
DE102020213102A1 (de) 2021-05-06
JP2021070907A (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
CN112773034A (zh) 与智能头盔相关的装置和系统
US10455882B2 (en) Method and system for providing rear collision warning within a helmet
CN111273655B (zh) 用于自动驾驶车辆的运动规划方法和系统
JP4978721B2 (ja) 運転支援装置
CN111301425B (zh) 用于自动驾驶车辆的利用动态模型的有效最优控制
JP4735676B2 (ja) 走行支援装置
US20210195981A1 (en) System and method for monitoring a cognitive state of a rider of a vehicle
CN111208814B (zh) 用于自动车辆的、利用动态模型的、基于记忆的最优运动规划
JP7115276B2 (ja) 運転支援装置、ウェアラブル装置、運転支援システム、運転支援方法およびプログラム
DE102020215630B4 (de) System und verfahren zur fahrzeugbewussten gestenerkennung in fahrzeugen mit smart-helmen
Miquet New test method for reproducible real-time tests of ADAS ECUs:“Vehicle-in-the-Loop” connects real-world vehicles with the virtual world
JP2021107607A (ja) スマートヘルメット用ディスプレイの移動較正
Park et al. A novel line of sight control system for a robot vision tracking system, using vision feedback and motion-disturbance feedforward compensation
JP4250391B2 (ja) 指標検出装置、指標検出方法
GB2599145A (en) Large space tracking using a wearable optics device
JP7517310B2 (ja) 画像表示システム
JP7379253B2 (ja) 挙動推定システム及び挙動推定方法
US20230367390A1 (en) Large space tracking using a wearable optics device
Xu et al. A new pose estimation method based on inertial and visual sensors for autonomous robots
Agarwal Evaluation of a Commercially Available Visual-Inertial Odometry Solution for Indoor Navigation
CN117734707A (zh) 一种驾驶员疲劳状态检测系统及方法
WO2022231789A1 (en) Composite pose estimate for wearable computing device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination