CN113040459A - 用于监视车辆骑手的认知状态的系统和方法 - Google Patents
用于监视车辆骑手的认知状态的系统和方法 Download PDFInfo
- Publication number
- CN113040459A CN113040459A CN202011544847.8A CN202011544847A CN113040459A CN 113040459 A CN113040459 A CN 113040459A CN 202011544847 A CN202011544847 A CN 202011544847A CN 113040459 A CN113040459 A CN 113040459A
- Authority
- CN
- China
- Prior art keywords
- helmet
- cognitive load
- rider
- vehicle
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 28
- 238000012544 monitoring process Methods 0.000 title claims description 6
- 230000006998 cognitive state Effects 0.000 title description 4
- 230000001149 cognitive effect Effects 0.000 claims abstract description 87
- 238000004891 communication Methods 0.000 claims abstract description 17
- 230000004913 activation Effects 0.000 claims description 5
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006996 mental state Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010061596 Gastrointestinal malformation Diseases 0.000 description 1
- 208000010340 Sleep Deprivation Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A42—HEADWEAR
- A42B—HATS; HEAD COVERINGS
- A42B3/00—Helmets; Helmet covers ; Other protective head coverings
- A42B3/04—Parts, details or accessories of helmets
- A42B3/30—Mounting radio sets or communication systems
- A42B3/303—Communication between riders or passengers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/3827—Portable transceivers
- H04B1/385—Transceivers carried on the body, e.g. in helmets
-
- A—HUMAN NECESSITIES
- A42—HEADWEAR
- A42B—HATS; HEAD COVERINGS
- A42B3/00—Helmets; Helmet covers ; Other protective head coverings
- A42B3/04—Parts, details or accessories of helmets
- A42B3/0406—Accessories for helmets
- A42B3/0433—Detecting, signalling or lighting devices
-
- A—HUMAN NECESSITIES
- A42—HEADWEAR
- A42B—HATS; HEAD COVERINGS
- A42B3/00—Helmets; Helmet covers ; Other protective head coverings
- A42B3/04—Parts, details or accessories of helmets
- A42B3/0406—Accessories for helmets
- A42B3/0433—Detecting, signalling or lighting devices
- A42B3/046—Means for detecting hazards or accidents
-
- A—HUMAN NECESSITIES
- A42—HEADWEAR
- A42B—HATS; HEAD COVERINGS
- A42B3/00—Helmets; Helmet covers ; Other protective head coverings
- A42B3/04—Parts, details or accessories of helmets
- A42B3/30—Mounting radio sets or communication systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0006—ECG or EEG signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/082—Evaluation by breath analysis, e.g. determination of the chemical composition of exhaled breath
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4845—Toxicology, e.g. by detection of alcohol, drug or toxic products
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/085—Changing the parameters of the control units, e.g. changing limit values, working points by control input
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
- B62J27/00—Safety equipment
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2300/00—Indexing codes relating to the type of vehicle
- B60W2300/36—Cycles; Motorcycles; Scooters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/24—Drug level, e.g. alcohol
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
- B62J45/00—Electrical equipment arrangements specially adapted for use as accessories on cycles, not otherwise provided for
- B62J45/20—Cycle computers as cycle accessories
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/3827—Portable transceivers
- H04B1/385—Transceivers carried on the body, e.g. in helmets
- H04B2001/3866—Transceivers carried on the body, e.g. in helmets carried on the head
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Psychology (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Dentistry (AREA)
- Mathematical Physics (AREA)
- Pharmacology & Pharmacy (AREA)
- Toxicology (AREA)
- Optics & Photonics (AREA)
Abstract
一种头盔包括一个或多个传感器,其位于头盔中并被配置为获得指示车辆骑手的认知负荷的认知负荷数据;与车辆通信的无线收发器;控制器,其与一个或多个传感器以及无线收发器通信,其中所述控制器被配置为至少利用认知负荷数据来确定乘坐者的认知负荷,以及当认知负荷高于阈值时,利用无线收发器向车辆发送无线命令以执行命令来调整驾驶员辅助功能。
Description
技术领域
本公开涉及骑乘车辆上的智能头盔。
背景技术
疲劳可能使骑手感到疲乏、疲倦或困倦,这是由各种日常状况导致的,诸如睡眠不足、长期的脑力或体力工作、轮班工作、长时间的压力或焦虑等。疲劳可能影响骑手的专注和表现级别。疲劳甚至可能导致车辆操作期间的事故,包括两轮车骑手中的事故,在这种情况下,驾驶员的所有注意力在所有时间可能都是至关重要的。
市场上存在若干可用设备,用于以头戴式和腕戴式的形式进行汽车驾驶员的疲劳监视。这些设备使用运动传感器、EEG、眼睑移动以及其它传感器来检测驾驶员(主要针对汽车驾驶员或行业工人)的警觉性。然而,不存在特别针对两轮车骑手的设备。
发明内容
根据一个实施例,一种头盔包括一个或多个传感器,其位于头盔中并且被配置为获得指示车辆骑手的认知负荷的认知负荷数据;与车辆通信的无线收发器;控制器,其与一个或多个传感器以及无线收发器通信,其中所述控制器被配置为至少利用认知负荷数据来确定乘坐者的认知负荷,以及当认知负荷高于阈值时,利用无线收发器向车辆发送无线命令以执行命令来调整驾驶员辅助功能。
根据一个实施例,一种头盔包括一个或多个传感器,其位于头盔中并且被配置为获得指示骑乘车辆骑手的认知负荷的认知负荷数据;与车辆通信的无线收发器;控制器,其与一个或多个传感器以及无线收发器通信,其中所述控制器被配置为至少利用认知负荷数据来确定乘坐者的认知负荷,以及当认知负荷高于第一阈值时,向车辆发送命令以执行命令来调整驾驶员辅助功能。
根据一个实施例,一种监视骑乘车辆上佩戴头盔的骑手的方法包括:获得指示骑乘车辆的骑手的认知负荷的认知负荷数据;与远程服务器和骑乘车辆通信信息;至少利用认知负荷数据来确定骑手的认知负荷;以及当认知负荷高于阈值时,执行要发送到骑乘车辆的命令以调整骑乘车辆的驾驶员辅助功能。
附图说明
图1是包括智能头盔101和摩托车103的系统设计100的示例。
图2是包括可以标识认知负荷的智能头盔的系统的示例。
图3是标识骑乘车辆的骑手的认知负荷的示例性流程图300。
具体实施方式
本文中描述了本公开的实施例。然而,应当理解,所公开的实施例仅仅是示例,并且其它实施例可以采取各种以及替代形式。附图不一定是按比例的;一些特征可以被放大或最小化以示出特定组件的细节。因此,本文中所公开的特定结构和功能细节不应被解释为限制性的,而仅仅作为教导本领域技术人员不同地采用实施例的代表性基础。如本领域普通技术人员将理解的那样,参考任何一个附图所图示和描述的各种特征可以与一个或多个其它附图中所图示的特征相组合,以产生没有明确图示或描述的实施例。所图示的特征的组合为典型应用提供了代表性实施例。然而,与本公开的教导一致的特征的各种组合和修改对于特定的应用或实施方式来说是期望的。
本公开提及头盔和骑乘车辆。应当理解的是,“骑乘车辆”通常指的是摩托车,但是可以包括任何类型的机动车辆,其中驾驶员通常坐在车座上,并且其中由于不存在用于保护骑手的座舱,因此通常佩戴头盔。除了摩托车之外,这还可以包括其它电动两轮车(PTW)车辆,诸如越野摩托车、小型摩托车等。这也可以包括电动三轮车或电动四轮车,诸如全地形车辆(ATV)等。除非另有说明,摩托车、车辆或自行车的任何特别参考也可以适用于任何其它骑乘车辆。
头盔或PTW还可以包括电子控制单元(ECU)。例如,ECU可以更一般地被称为控制器,并且可以是能够从各种传感器接收信息、处理信息并输出指令以调整驾驶辅助功能的任何控制器。在本公开中,术语“控制器”和“系统”可以指的是或包括执行代码的处理器硬件(共享、专用或组)以及存储由处理器硬件执行的代码的存储器硬件(共享、专用或组),或者是其一部分。该代码被配置为提供本文中所描述的控制器和系统的特征。在一个示例中,控制器可以包括处理器、存储器和非易失性存储装置。处理器可以包括从微处理器、微控制器、数字信号处理器、微型计算机、中央处理单元、现场可编程门阵列、可编程逻辑设备、状态机、逻辑电路、模拟电路、数字电路或基于驻留在存储器中的计算机可执行指令来操纵信号(模拟或数字)的任何其它设备选择的一个或多个设备。存储器可以包括单个存储器设备或多个存储器设备,包括但不限于随机存取存储器(“RAM”)、易失性存储器、非易失性存储器、静态随机存取存储器(“SRAM”)、动态随机存取存储器(“DRAM”)、闪速存储器、高速缓冲存储器或能够存储信息的任何其它设备。非易失性存储器可以包括一个或多个持久数据存储设备,诸如硬盘驱动、光学驱动、磁带驱动、非易失性固态设备或能够持久存储信息的任何其它设备。处理器可以被配置为读入存储器并执行体现驻留在非易失性存储装置中的一个或多个软件程序的计算机可执行指令。驻留在非易失性存储装置中的程序可以包括操作系统或应用,或者是操作系统或应用的一部分,并且可以由使用各种编程语言和/或技术创建的计算机程序编译或解释,所述编程语言和/或技术包括但不限于单独或组合的Java、C、C++、C#、Objective C、Fortran、Pascal、Java Script、Python、Perl和PL/SQL。程序的计算机可执行指令可以被配置为,在由处理器执行时,例如,当超过认知阈值时,引起驾驶员辅助功能的激活。
本说明书中所描述的主题和操作的实施方式可以在数字电子电路中实现,或者在体现在有形介质、固件或硬件(包括本说明书中所公开的结构及其结构等同物)上的计算机软件中实现,或者在它们中的一个或多个的组合中实现。本说明书中描述的主题的实施方式可以实现为体现在有形介质上的一个或多个计算机程序,即编码在一个或多个计算机存储介质上用于由数据处理装置执行或控制其操作的计算机程序指令的一个或多个模块。计算机存储介质可以是或包括在计算机可读存储设备、计算机可读存储基底、随机或串行存取存储器阵列或设备、或它们中的一个或多个的组合中。计算机存储介质也可以是或包括在一个或多个单独的组件或介质中(例如,多个CD、盘或其它存储设备)。计算机存储介质可以是有形的且非暂时性的。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写,所述编程语言包括编译语言、解释语言、声明性语言和过程语言,并且计算机程序可以以任何形式部署,包括作为独立程序或作为模块、组件、子例程、对象或适合在计算环境中使用的其它单元。计算机程序可以,但不是必须,对应于文件系统中的文件。程序可以存储在保存其它程序或数据(例如,存储在标记语言文档中的一个或多个脚本)的文件的一部分中,存储在专用于所讨论的程序的单个文件中,或者存储在多个协同文件中(例如,存储一个或多个模块、库、子程序或代码部分的文件)。计算机程序可以被部署为在一个计算机上或位于一个站点处或跨多个站点分布并通过通信网络互连的多个计算机上执行。
本说明书中所描述的过程和逻辑流程可以由一个或多个可编程处理器执行,该可编程处理器执行一个或多个计算机程序,以通过对输入数据进行操作并生成输出来施行动作。过程和逻辑流程也可以由专用逻辑电路来施行,并且装置也可以被实现为专用逻辑电路,所述专用逻辑电路例如,现场可编程门阵列(“FPGA”)或专用集成电路(“ASIC”)。这样的专用电路可以被称为计算机处理器,即使它不是通用处理器。
智能头盔可以包括标识和确定包括疲劳的认知状态的特征。此外,智能头盔可以包括酒精消耗的标识符。下面描述的实施例可以测量脑波和其它生理信号、驾驶模式、一天中的时间、旅行的目的、环境状况等。可以在头盔上利用传感器以直接连接到骑手的头骨,以容易跟踪脑波和其它测量。这样的输入可以被融合以标识骑手的认知状态,并且触发车辆(例如摩托车)的某些安全特征。
图1是包括智能头盔101和摩托车103的系统设计100的示例。智能头盔101和摩托车103可以包括与彼此交互的各种组件和传感器。智能头盔101可以聚焦于收集与驾驶员的身体和头部移动相关的数据。在一个示例中,智能头盔101可以包括摄像机102。头盔101的摄像机102可以包括用于移动车辆中的位置和取向识别的主传感器。因此,摄像机102可以面向头盔101的外部,以跟踪骑手周围的其它车辆和对象。摄像机102可能难以捕获这样的对象和车辆的动态。在另一示例中,除了或代替摄像机102,头盔101可以包括有雷达或LIDAR传感器。
头盔101还可以包括头盔惯性测量单元(IMU)104。头盔IMU 104可以用于跟踪骑手的头部的高动态运动。因此,头盔IMU 104可以用于跟踪骑手正在面向的方向或骑手的观察方向。此外,头盔IMU 104可以用于跟踪突然移动和可能出现的其它移动。IMU可以包括一个或多个运动传感器。
惯性测量单元(IMU)可以使用加速度计和陀螺仪(有时还有磁力计)的组合来测量和报告身体的特定力、角速率、以及有时地球的磁场。IMU通常用于操纵飞机,除许多其它飞行器之外,尤其包括无人驾驶飞行器(UAV),以及航天器,包括卫星和着陆器。IMU可以用作各种车辆系统中使用的惯性导航系统的组件。从IMU的传感器收集的数据可以允许计算机跟踪电机位置。
IMU可以通过使用一个或多个轴检测当前加速度速率来工作,并且使用一个或多个轴来检测旋转属性的改变,所述旋转属性比如俯仰、滚转和偏航。典型的IMU还包括磁力计,其可以通过使用地球的磁场测量来辅助校准取向漂移。惯性导航系统包含具有角加速度计和线性加速度计的IMU(用于位置的改变);一些IMU包括陀螺元件(用于保持绝对角度参考)。角速率计测量车辆可以如何在太空中旋转。针对三个轴中的每一个可能至少存在一个传感器:所述三个轴为俯仰(机头向上和向下)、偏航(机头向左和向右)和滚转(从驾驶舱顺时针或逆时针)。线性加速度计可以测量车辆的非重力加速度。由于它可以在三个轴(上和下、左和右、前和后)上移动,针对每个轴可能存在线性加速度计。三个陀螺仪通常以类似的正交模式放置,参考任意选取的坐标系测量旋转位置。计算机可以连续计算车辆的当前位置。对于六个自由度(x、y、z以及Ox、Oy和Oz)中的每一个,它可以随时间的推移对所感测的加速度连同重力的估计进行积分,以计算当前速度。它还可以对速度进行积分来计算当前位置。IMU提供的一些测量如下:
头盔101也可以包括眼睛跟踪器106。眼睛跟踪器106可以用于确定摩托车103的骑手正在看的方向。眼睛跟踪器106也可以用于标识倦睡和疲乏或PTW的骑手。眼睛跟踪器106可以标识眼睛的各种部分(例如视网膜、角膜等)来确定用户正在扫视哪里。眼睛跟踪器106可以包括摄像机或其它传感器,以帮助跟踪骑手的眼睛移动。
头盔101也可以包括头盔处理器108。头盔处理器107可以用于由摩托车103和头盔101二者的各种摄像机和传感器收集的数据的传感器融合。在其它实施例中,头盔可以包括用于短程通信和远程通信的一个或多个收发器。头盔的短程通信可以包括与摩托车103或附近的其它车辆和对象的通信。在另一实施例中,远程通信可以包括与非车载服务器、互联网、“云”、蜂窝通信等进行通信。头盔101和摩托车103可以利用由位于头盔101和摩托车103二者上的收发器实现的无线协议与彼此通信。这样的协议可能包括蓝牙、Wi-Fi等。头盔101也可以包括平视显示器(HUD),其用于在头盔101的面罩上输出图形图像。
摩托车103可以包括前向摄像机105。前向摄像机105可以位于摩托车103的前照灯或其它类似区域。前向摄像机105可以用来帮助标识PTW正在行进到哪里。另外,前向摄像机105可以标识摩托车103前方的各种对象或车辆。因此,前向摄像机105可以帮助各种安全系统,诸如智能巡航控制或碰撞检测系统。
摩托车103可以包括自行车IMU 107。自行车IMU 107可以附接到前灯或PTW的其它类似区域。自行车IMU 107可以收集惯性数据,该惯性数据可以用于理解自行车的移动。自行车IMU 107具有多轴加速度计,通常在三个正交轴上。类似地,自行车IMU 107也可以包括多个陀螺仪。
摩托车103可以包括骑手摄像机109。骑手摄像机109可以用于跟踪摩托车103的骑手。骑手摄像机109可以沿摩托车把手的各种位置或者面向骑手的其它位置安装。骑手摄像机109可以用于捕获骑手的图像或视频,所述图像或视频继而用于各种计算,诸如标识骑手的各种身体部分或移动。骑手摄像机109也可以用于聚焦在骑手的眼睛上。这样,可以确定眼睛注视移动以断定骑手正在看哪里。
摩托车103可以包括电子控制单元111。电子控制单元111可以用于处理由摩托车上的传感器收集的数据,以及由头盔上的传感器收集的数据。ECU 111可以利用从各种IMU和摄像机接收的数据来处理和计算各种位置或进行对象识别。ECU 111可以与骑手摄像机109以及前向摄像机105通信。例如,来自IMU的数据可以被馈送到ECU 111,以标识相对于参考点的位置以及方向。当图像数据与这样的计算相组合时,自行车的移动可以用来标识骑手正在面向或聚焦的方向。将来自自行车上的前向摄像机和头盔上的摄像机二者的图像数据进行比较,以确定自行车和骑手头部之间的相对取向。可以基于从两个摄像机(例如,骑手摄像机109和前向摄像机105)提取的稀疏特征来施行图像比较。摩托车103可以包括支持ECU的自行车中央处理单元113。因此,该系统可以连续监视骑手的注意力、姿势、位置、取向、接触(例如,把手上的抓握)、骑手滑动(例如,骑手和座位之间的接触)、骑手与车辆的关系以及骑手与世界的关系。
图2公开了包括帮助标识骑手认知负荷的传感器的智能头盔的示例。智能头盔200可以包括脑电图(EEG)传感器201。智能头盔200可以包括用于为骑手提供安全的头盔的典型特征,所述特征包括面罩、硬外壳以及覆盖骑手整个头部的软内壳。EEG传感器201可以从一个或多个EEG传感器获取EEG信号,所述EEG传感器被布置为从用户的头部获取EEG信号。该系统可以利用信号来监视由用户展示并由传感器单元获取的EEG活动信号。该集成系统可以进一步包括数据处理单元,以处理多个EEG信号并与智能头盔的数据处理单元通信。可以在数据处理单元上或者利用便携式电子设备的处理单元来施行分析所获取的EEG信号的过程。
智能头盔200也可以包括骑行模式传感器203。骑行模式传感器203可以用于标识骑手的驾驶行为。例如,如果骑手不断漂移离开到其它车道上,则它可能利用这样的信息。骑手表现评估器可以基于PTW的动态数据来评估骑手的表现,该动态数据是通过嵌入式数据源(诸如CAN总线)或安装的数据源(诸如陀螺仪等)收集的。骑手表现评估器可以用于决定驾驶员是否足够聚焦于驾驶任务,或者骑手是否能够应对当前的驾驶环境。从骑手表现数据收集的数据也可以用于标识骑手的认知负荷。
智能头盔200也可以包括旅行目的205标识符。旅行目的标识符205可以确定旅行的目的,以作为因素计入到用户的认知负荷。例如,如果旅行目的标识符205识别出通勤是在不需要与新体验相同的认知负荷的熟悉道路上的熟悉通勤,诸如在骑手以前从未行驶过的密集城市区域中驾驶,则可以假设骑手的认知负荷将会降低。旅行目的标识符205可以与导航系统一起工作以确定所标识的目的地。
智能头盔200也可以包括环境影响传感器207(例如,摄像机、雷达、LiDar、车载摄像机、速度传感器、挡风玻璃刮水器传感器、生物统计传感器等)以及非车载服务器,以理解与骑手环境相关的周围状况。PTW可以利用其它传感器,诸如雾灯、挡风玻璃刮水器、雨水传感器、湿度传感器等,这也可以用作确定认知负荷的输入。例如,当雾灯被激活,或者挡风玻璃刮水器正在移动得更快,或者雨水传感器标识出更高的降雨量时,骑手的认知负荷可能是高的。非车载数据可以用于标识可能使用户全神贯注于骑行并增加认知负荷的因素。例如,来自非车载服务器的天气数据可以标识天气状况。天气数据可以标识严重的天气更新、恶劣的驾驶状况(例如结冰的道路)以及可能影响驾驶员的认知负荷的其它项目。
智能头盔200也可以利用传感器来标识一天中的时间209,以考虑认知负荷。这样的传感器可以包括时钟或光电池传感器、光敏电阻器、光检测电阻器或能够检测光或光缺失的其它传感器。因此,传感器可以基于摩托车外部的时间或光强度来理解是白天或是夜晚。传感器可以位于头盔的外表面上。在另一实施例中,GPS接收器可以用于标识PTW的黄昏和黎明时间。
智能头盔200也可以包括生理传感器211。生理传感器可以包括能够标识心率、呼吸率或血压的传感器。生理传感器211也可以包括血量压力、头部血量脉搏、心电图、带电表皮活动(具有Q传感器)、肌电图(EMG)、情绪传感器(ECG)等。这样的心理传感器可以包括测量用户温度的热通量传感器或包括片上图像和颜色传感器的各种传感器,并且测量pH、温度和压力的传感器可以提供快速且准确的诊断工具来检测胃肠异常。可以应用比如滤波、噪声消除和放大的数据处理步骤来提高准确度。
智能头盔200也可以利用各种传感器来监视PTW周围的交通状况。非车载数据可以用于标识交通因素,所述交通因素可以使用户全神贯注于骑行并增加认知负荷。例如,来自非车载服务器的交通数据可以标识严重的交通状况或事故。交通数据可以标识交通流量更新、事故以及可能影响交通流量并继而影响驾驶员的认知负荷的其它事件。
OMS可以安装在头盔中,或者可以观察用户与PTW的交互或任何其它分散注意力的事的合适的位置中。OMS评估来自与PTW交互的实际认知需求或潜在认知需求。例如,如果OMS检测到用户在免提系统上打电话时正在主动快速驾驶,则他/她的认知负荷可能被评估为高。在另一示例中,如果OMS检测到除了骑手之外的PTW上的另一乘坐者,则OMS可以预测用户的认知需求可能很快增加。
智能头盔200或远程服务器可以用于聚集各种传感器数据,以通过利用特征提取215来标识认知负荷或精神状态。特征提取215可以取得原始输入信号或信号的一些统计数据,并且利用它们来训练机器学习模型217,以预测骑手的精神状态221或酒精消耗219。可以在217中使用从传统的机器学习分类器(诸如决策树和支持向量机)到更高级的方法(诸如深度学习)的不同的机器学习分类器。在提取的特征上训练多任务分类器,以预测219和221。对骑手的精神状态的预测可以通过规划自行车手柄上的声音或振动来警告骑手。酒精影响结果可以用于阻止骑手操作车辆。例如,智能头盔可以利用构建在头盔中的呼气测醉器来标识骑手正在受影响,并且继而,头盔向PTW发送命令以激活特征或禁用PTW的操作。
图3是标识PTW骑手的认知负荷的示例性流程图300。流程图300可以在车辆控制器中的PTW侧应用上实现,或者在远程服务器处的非车载上实现。在步骤301处,系统可以收集传感器数据和用于标识骑手的认知负荷的任何其它数据。该系统可以与头盔或PTW中的传感器以及非车载服务器通信。这样的传感器和数据可以包括上面图1和图2中所描述的那些。
在步骤303处,系统也可以确定用户的认知负荷。该系统可以利用头盔中的各种传感器来帮助标识控制PTW的骑手的认知负荷。头盔还可以与PTW通信以聚集其它信息来标识认知负荷。例如,系统可以利用车辆速度传感器来标识车辆正在行驶多快。在高级别下,车辆正在行驶得越快,可以假设驾驶员的认知负荷就越大(例如驾驶员正在聚焦于驾驶而不是任务)。因此,认知负荷越高,用户就越被附加的任务分散注意力,所述附加的任务将阻止用户当视频会议会话正在发生时能够聚焦于接口上的附加信息。上面所描述的实施例也可以基于用户的认知工作负荷而应用于多级呈现HMI。例如,最高级别的HMI可以包括会议电话的所有特征。其余级别将仅包括会议电话特征的降低集。
在另一级别下,驾驶员的认知负荷可以由位于PTW的DSM(例如面向驾驶员的摄像机)来确定,所述DSM监视乘坐者的行为,包括面部移动、眼睛移动等。驾驶员的认知负荷可以由监视周围车辆环境的DSM确定,所述周围车辆环境包括交通状况、与其它车辆的接近度、道路结构的复杂级别以及PTW周围对象的数量等。例如,如果许多车辆或对象在车辆周围,则驾驶员的认知负荷可能更高。如果DSM未能标识对象或只标识有限量的对象,则骑手的认知负荷可能是低的。
另外,可以利用信息来标识车辆的骑手,以调整驾驶员认知负荷的阈值。例如,骑手的年龄或驾驶经验可能作为因素计入骑手的认知负荷阈值较低。骑手的身份可以通过用户简档数据或从移动电话、摄像机(例如面部识别)或车辆设置获得的信息来确定。该系统可以确定骑手已经骑行PTW多长时间(例如,经验)以及年龄、事故历史、交通罚款单等。该系统可以具有阈值认知负荷,该阈值认知负荷被设置为确定是否操作PTW、警告驾驶员或激活一些骑手辅助功能。例如,如果骑手的认知负荷被确定为高,则可以激活自适应巡航控制特征。该系统可以利用认知负荷数据来标识或估计骑手的认知负荷。
在步骤305处,系统可以确定骑手的认知负荷是否超过阈值。该系统可以基于PTW中的各种因素(诸如PTW的骑手)来调整阈值。接口或驾驶员辅助功能也可以允许自动调整阈值,该阈值可以由骑手设置或经由接口设置。这样,可以收集和分析认知负荷数据,以测量并与阈值进行比较,以确定PTW如何进行调整来警告骑手(例如,在摩托车手柄上播放声音或振动)或激活驾驶辅助特征,或者在一些情况下,停止摩托车的操作。系统可能具有多于一个阈值。因此,如果使用多个阈值,则系统可以利用对于每个阈值具有变化内容级别的多个接口。因此,系统可以具有三个、四个、五个、六个等不同的反作用,而不是对认知负荷仅两个不同的反作用,所述反作用通过使阈值或级别变化来调整。
在步骤307处,当认知负荷高于阈值量时,车辆系统可以执行命令来调整驾驶辅助特征。因此,如果骑手被确定为过度工作(例如,骑手没有在运动中,畅通路径驾驶,自主/半自主驾驶系统正在帮助),则系统可以假定骑手可能需要辅助来操作PTW,并且向骑手提供通知或激活驾驶员辅助功能。该通知可以包括PTW的车座或把手的振动,以及在头盔的HUD的显示器上示出或在头盔中的扬声器上可听见地输出的通知。驾驶员辅助功能可以包括(经由从头盔发送到PTW的无线命令)激活自适应巡航系统、半自主驾驶、车道保持辅助功能等。在一个示例中,如果认知负荷高,则头盔可以向PTW发送无线命令,以安全地停止PTW的操作。该系统可以包括操作各种功能的各种阈值。因此,该系统可以包括在第一阈值处被激活的各种特征,以及在更高阈值处的其它特征。如果认知负荷被认为是高的,或者基于数据假定驾驶员受到影响,则车辆的操作可能关闭。系统可以在激活驾驶员辅助功能之前发送通知,这可以允许骑手中止特征的激活或确认特征的激活。
在步骤309处,甚至在激活通知或驾驶员辅助功能之后,车辆系统也可以继续监视认知负荷。该通知可以包括PTW的车座或把手的振动,以及在头盔的HUD的显示器上示出或在头盔中的扬声器上可听见地输出的通知。如果认知负荷最终下降为低于阈值,则系统可以禁用功能或允许某些车辆功能的操作。因此,如果驾驶员被确定为没有过度工作(例如,PTW没有在运动中,畅通路径驾驶,自主/半自主驾驶系统正在帮助等),则系统可以假定骑手可以操作PTW,并且不需要任何辅助。因此,系统可以简单地只连续监视数据。
本文中所公开的过程、方法或算法可以可输送到处理设备、控制器或计算机/由处理设备、控制器或计算机实现,所述处理设备、控制器或计算机可以包括任何现有的可编程电子控制单元或专用电子控制单元。类似地,过程、方法或算法可以以许多形式存储为可由控制器或计算机执行的数据和指令,所述形式包括但不限于永久存储在诸如ROM设备之类的不可写存储介质上的信息,以及可更改地存储在诸如软盘、磁带、CD、RAM设备以及其它磁性和光学介质之类的可写存储介质上的信息。过程、方法或算法也可以在软件可执行对象中实现。替代地,可以使用合适的硬件组件,诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或者其它硬件组件或设备,或者硬件、软件和固件组件的组合,来整体或部分地体现过程、方法或算法。
虽然上面描述了示例性实施例,但是这些实施例不意图描述权利要求所涵盖的所有可能形式。说明书中使用的词语是描述性的词语,而不是限制性的词语,并且应当理解,在不脱离本公开的精神和范围的情况下,可以进行各种改变。如先前所描述的,各种实施例的特征可以被组合以形成可能没有被明确描述或图示的本发明的进一步的实施例。虽然各种实施例可能已经被描述为关于一个或多个期望的特性提供了优于其它实施例或现有技术实施方式的优点或优于其它实施例或现有技术实施方式而被优选,但是本领域的普通技术人员认识到,一个或多个特征或特性可以被折衷以实现期望的总体系统属性,这取决于特定的应用和实施方式。这些属性可以包括但不限于成本、强度、耐用性、生命周期成本、适销性、外观、包装、大小、可服务性、重量、可制造性、组装容易性等。这样,关于一个或多个特性,在任何实施例被描述为不如其它实施例或现有技术实施方式合期望的程度上,这些实施例不在本公开的范围之外,并且对于特定应用是合期望的。
Claims (20)
1.一种头盔,包括:
一个或多个传感器,其位于头盔中并被配置为获得指示骑乘车辆的骑手的认知负荷的认知负荷数据;
与车辆通信的无线收发器;
控制器,其与一个或多个传感器以及无线收发器通信,其中所述控制器被配置为:
至少利用认知负荷数据来确定骑手的认知负荷;以及
当认知负荷高于阈值时,利用无线收发器向车辆发送无线命令以执行命令来调整驾驶员辅助功能。
2.根据权利要求1所述的头盔,其中所述控制器进一步被配置为当认知负荷高于阈值时,停止车辆的操作。
3.根据权利要求1所述的头盔,其中所述阈值基于用户简档可调整。
4.根据权利要求1所述的头盔,其中所述控制器进一步被配置为经由无线收发器从与骑手相关联的移动电话获得用户简档信息,并且响应于用户简档信息而调整阈值。
5.根据权利要求1所述的头盔,其中所述无线收发器被配置为与车载车辆摄像机通信,所述车载车辆摄像机被配置为监视骑手的移动,并且所述控制器进一步被配置为利用与乘坐者的移动相关联的信息来确定认知负荷。
6.根据权利要求1所述的头盔,其中所述控制器进一步被配置为从与车辆的骑手相关联的密钥卡获得用户简档信息,并且响应于用户简档信息而调整阈值。
7.根据权利要求1所述的头盔,其中所述头盔包括头盔显示器,所述头盔显示器包括平视显示器(HUD),所述HUD被配置为显示关于驾驶员辅助功能的激活的通知。
8.根据权利要求1所述的头盔,其中位于头盔中的一个或多个传感器包括EEG传感器。
9.一种头盔,包括:
一个或多个传感器,其位于头盔中并被配置为获得指示骑乘车辆的骑手的认知负荷的认知负荷数据;
与车辆通信的无线收发器;
控制器,其与一个或多个传感器以及无线收发器通信,其中所述控制器被配置为:
至少利用认知负荷数据来确定骑手的认知负荷;以及
当认知负荷高于第一阈值时,向车辆发送命令以执行命令来调整驾驶员辅助功能。
10.根据权利要求9所述的头盔,其中所述控制器进一步被配置为当认知负荷高于第二阈值时,向车辆发送命令以停止车辆的操作。
11.根据权利要求10所述的头盔,其中所述第二阈值指示比第一阈值更高的认知负荷。
12.根据权利要求9所述的头盔,其中所述认知负荷数据包括从头盔中的呼气测醉器获得的酒精消耗数据。
13.根据权利要求9所述的头盔,其中所述头盔包括头盔显示器,所述头盔显示器包括平视显示器(HUD),所述HUD被配置为显示关于驾驶员辅助功能的激活的通知。
14.根据权利要求9所述的头盔,其中所述无线收发器与远程服务器通信,所述远程服务器被配置为确定认知负荷并经由无线收发器将其发送到头盔。
15.根据权利要求9所述的头盔,其中所述控制器进一步被配置为响应于从与骑手相关联并与车辆通信的移动设备接收的用户简档而调整第一阈值。
16.一种监视骑乘车辆上佩戴头盔的骑手的方法,包括:
获得指示骑乘车辆的骑手的认知负荷的认知负荷数据;
与远程服务器和骑乘车辆通信信息;
至少利用认知负荷数据来确定骑手的认知负荷;以及
当认知负荷高于阈值时,执行要发送到骑乘车辆的命令以调整骑乘车辆的驾驶员辅助功能。
17.根据权利要求16所述的方法,其中所述方法包括通知骑手驾驶员辅助功能的调整的步骤。
18.根据权利要求16所述的方法,其中所述方法包括基于用户简档而调整阈值的步骤。
19.根据权利要求16所述的方法,其中所述方法包括基于用户简档而调整阈值的步骤。
20.根据权利要求16所述的方法,其中所述方法包括经由头盔显示器上的通知来通知骑手驾驶员辅助功能的调整的步骤,其中所述通知包括确认调整的确认选项和中止驾驶员辅助功能的调整的消除选项。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/728,001 US20210195981A1 (en) | 2019-12-27 | 2019-12-27 | System and method for monitoring a cognitive state of a rider of a vehicle |
US16/728001 | 2019-12-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113040459A true CN113040459A (zh) | 2021-06-29 |
Family
ID=76310435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011544847.8A Pending CN113040459A (zh) | 2019-12-27 | 2020-12-24 | 用于监视车辆骑手的认知状态的系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210195981A1 (zh) |
JP (1) | JP2021107608A (zh) |
CN (1) | CN113040459A (zh) |
DE (1) | DE102020215667A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019046947A1 (en) * | 2017-09-06 | 2019-03-14 | Damon Motors Inc. | DETERMINING THE STATUS OF A MOTORCYCLE |
US11373447B2 (en) * | 2020-02-19 | 2022-06-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems including image detection to inhibit vehicle operation |
CN114359805A (zh) * | 2022-01-04 | 2022-04-15 | 济南昊影电子科技有限公司 | 一种骑行状态采集及事故分析处理方法和系统 |
WO2023187819A1 (en) * | 2022-03-26 | 2023-10-05 | Tvs Motor Company Limited | A headgear |
WO2023248237A1 (en) * | 2022-06-23 | 2023-12-28 | Tvs Motor Company Limited | System and method for monitoring health of one or more users of a two-wheeled vehicle |
US20240108263A1 (en) * | 2022-09-30 | 2024-04-04 | Joshua R&D Technologies, LLC | Driver/operator fatigue detection system |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5127576B2 (ja) * | 2008-06-11 | 2013-01-23 | ヤマハ発動機株式会社 | 精神作業負荷検出装置及びそれを備えた自動二輪車 |
US10029696B1 (en) * | 2016-03-25 | 2018-07-24 | Allstate Insurance Company | Context-based grading |
US10455882B2 (en) * | 2017-09-29 | 2019-10-29 | Honda Motor Co., Ltd. | Method and system for providing rear collision warning within a helmet |
-
2019
- 2019-12-27 US US16/728,001 patent/US20210195981A1/en not_active Abandoned
-
2020
- 2020-12-10 DE DE102020215667.0A patent/DE102020215667A1/de active Pending
- 2020-12-24 CN CN202011544847.8A patent/CN113040459A/zh active Pending
- 2020-12-25 JP JP2020217971A patent/JP2021107608A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
DE102020215667A1 (de) | 2021-07-01 |
US20210195981A1 (en) | 2021-07-01 |
JP2021107608A (ja) | 2021-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210195981A1 (en) | System and method for monitoring a cognitive state of a rider of a vehicle | |
US10640122B2 (en) | Driving consciousness estimation device | |
US20210114553A1 (en) | Passenger State Modulation System For Passenger Vehicles Based On Prediction And Preemptive Control | |
JP7005933B2 (ja) | 運転者監視装置、及び運転者監視方法 | |
US9975559B2 (en) | System and method for dynamic in-vehicle virtual reality | |
US10453260B2 (en) | System and method for dynamic in-vehicle virtual reality | |
US9969404B2 (en) | Conveyance of required driver behaviors using persistent patterned sound | |
US9896030B2 (en) | System and method for vehicle collision mitigation with vulnerable road user context sensing | |
JP2021113046A (ja) | 車体運動および乗員体験を制御するための方法およびシステム | |
US9778654B2 (en) | Systems and methods for advanced resting time suggestion | |
US10421465B1 (en) | Advanced driver attention escalation using chassis feedback | |
JP7431223B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
CN106471556A (zh) | 驾驶员的驾驶不能状态检测装置 | |
EP3885220B1 (en) | Automatically estimating skill levels and confidence levels of drivers | |
US11605222B2 (en) | Apparatus and system related to an intelligent helmet | |
US11500470B2 (en) | System and method of vehicle aware gesture recognition in vehicles with smart helmets | |
JP2021107215A (ja) | インテリジェントヘルメット用の装置及び警告システム | |
US11948227B1 (en) | Eliminating the appearance of vehicles and/or other objects when operating an autonomous vehicle | |
US20240057931A1 (en) | Longitudinal driver monitoring for medical conditions: cognitive impairments | |
Hashimoto et al. | Use cases for rider assistant mobile application evaluation using travelling simulator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |