JP2021530069A - 状況的ドライバ監視システム - Google Patents
状況的ドライバ監視システム Download PDFInfo
- Publication number
- JP2021530069A JP2021530069A JP2021521746A JP2021521746A JP2021530069A JP 2021530069 A JP2021530069 A JP 2021530069A JP 2021521746 A JP2021521746 A JP 2021521746A JP 2021521746 A JP2021521746 A JP 2021521746A JP 2021530069 A JP2021530069 A JP 2021530069A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- vehicle
- road
- attention
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 148
- 230000009471 action Effects 0.000 claims abstract description 127
- 238000012545 processing Methods 0.000 claims description 83
- 238000013528 artificial neural network Methods 0.000 claims description 72
- 238000005259 measurement Methods 0.000 claims description 67
- 230000006399 behavior Effects 0.000 claims description 59
- 238000004891 communication Methods 0.000 claims description 53
- 210000001508 eye Anatomy 0.000 claims description 53
- 230000036626 alertness Effects 0.000 claims description 48
- 230000033001 locomotion Effects 0.000 claims description 45
- 238000003860 storage Methods 0.000 claims description 33
- 230000007613 environmental effect Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 30
- 230000015654 memory Effects 0.000 claims description 29
- 230000002996 emotional effect Effects 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 21
- 210000003128 head Anatomy 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 20
- 230000000977 initiatory effect Effects 0.000 claims description 20
- 230000035479 physiological effects, processes and functions Effects 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 16
- 230000003993 interaction Effects 0.000 claims description 15
- 230000035790 physiological processes and functions Effects 0.000 claims description 14
- 230000006996 mental state Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 10
- 210000000744 eyelid Anatomy 0.000 claims description 6
- 230000010399 physical interaction Effects 0.000 claims description 6
- 238000010200 validation analysis Methods 0.000 claims description 6
- 230000001755 vocal effect Effects 0.000 claims description 6
- 241000593989 Scardinius erythrophthalmus Species 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 210000003205 muscle Anatomy 0.000 claims description 4
- 210000001747 pupil Anatomy 0.000 claims description 4
- 206010011224 Cough Diseases 0.000 claims description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 3
- 201000010099 disease Diseases 0.000 claims description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 3
- 239000000428 dust Substances 0.000 claims description 3
- 239000001301 oxygen Substances 0.000 claims description 3
- 229910052760 oxygen Inorganic materials 0.000 claims description 3
- 238000013179 statistical model Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000006378 damage Effects 0.000 claims description 2
- 239000012530 fluid Substances 0.000 claims description 2
- 238000004020 luminiscence type Methods 0.000 claims description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 claims 10
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 claims 10
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 claims 10
- 230000004048 modification Effects 0.000 claims 1
- 238000012986 modification Methods 0.000 claims 1
- 230000000638 stimulation Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 4
- 238000010801 machine learning Methods 0.000 description 85
- 238000005516 engineering process Methods 0.000 description 48
- 230000036544 posture Effects 0.000 description 32
- 230000000694 effects Effects 0.000 description 31
- 230000035882 stress Effects 0.000 description 21
- 230000001815 facial effect Effects 0.000 description 16
- 241000282414 Homo sapiens Species 0.000 description 14
- 235000013305 food Nutrition 0.000 description 12
- 230000008451 emotion Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000036541 health Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 241001465754 Metazoa Species 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 239000011521 glass Substances 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 241000282412 Homo Species 0.000 description 6
- 230000035622 drinking Effects 0.000 description 6
- 210000002414 leg Anatomy 0.000 description 6
- 201000005111 ocular hyperemia Diseases 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 239000003826 tablet Substances 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 208000027534 Emotional disease Diseases 0.000 description 4
- 206010039740 Screaming Diseases 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000007937 eating Effects 0.000 description 4
- 230000006397 emotional response Effects 0.000 description 4
- 238000002513 implantation Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 210000003127 knee Anatomy 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 206010049119 Emotional distress Diseases 0.000 description 3
- 208000002193 Pain Diseases 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000016571 aggressive behavior Effects 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000003750 conditioning effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 235000005911 diet Nutrition 0.000 description 3
- 230000037213 diet Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 239000007789 gas Substances 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 235000012054 meals Nutrition 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 210000003739 neck Anatomy 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 230000010344 pupil dilation Effects 0.000 description 3
- 241000257303 Hymenoptera Species 0.000 description 2
- 239000002253 acid Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000001143 conditioned effect Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 230000034994 death Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000035558 fertility Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 235000003642 hunger Nutrition 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 239000003016 pheromone Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 235000015067 sauces Nutrition 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000010257 thawing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010001488 Aggression Diseases 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 206010028836 Neck pain Diseases 0.000 description 1
- 241000985694 Polypodiopsida Species 0.000 description 1
- 240000002871 Tectona grandis Species 0.000 description 1
- 208000000323 Tourette Syndrome Diseases 0.000 description 1
- 208000016620 Tourette disease Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 208000012761 aggressive behavior Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 235000015220 hamburgers Nutrition 0.000 description 1
- 235000012171 hot beverage Nutrition 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 235000008960 ketchup Nutrition 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 230000007721 medicinal effect Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000010587 phase diagram Methods 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 239000006187 pill Substances 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000008261 resistance mechanism Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 206010041232 sneezing Diseases 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/01—Occupants other than the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/30—Driving style
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/20—Static objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4048—Field of view, e.g. obstructed view or direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/801—Lateral distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/802—Longitudinal distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/60—Traffic rules, e.g. speed limits or right of way
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/10—Historical data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2754/00—Output or target parameters relating to objects
- B60W2754/10—Spatial relation or speed relative to objects
- B60W2754/20—Lateral distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2754/00—Output or target parameters relating to objects
- B60W2754/10—Spatial relation or speed relative to objects
- B60W2754/30—Longitudinal distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Transportation (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
Abstract
Description
Claims (85)
- システムであって、
処理デバイスは、および、
処理装置によって実行された時、システムに次のものを具備する作用を行なわせる処理装置と貯蔵命令につながれた記憶:
1つ以上の第1の入力を受け取ること;
ドライバの状態を決定する、1つ以上の第1の入力が、車両内に提示する処理;
1秒以上受けることは入力する;
処理、車両に関連した1つ以上のナビゲーション条件を決定する、1つ以上の第2の入力、次の少なくとも1つを具備する1つ以上のナビゲーション条件:
雲リソースあるいはドライバの挙動から受け取られた一時的な道路条件;
1つ以上のナビゲーション条件に基づいて、計算すること、ドライバ注意深さ閾値;および、
(A)で相関中の1つ以上の作用を始めること、ドライバと(B)の状態、ドライバ注意深さ閾値。 - 請求項1のシステム、そこで、1つ以上のナビゲーション条件を決定する1つあるいはより多くの第2の入力が具備する処理、処理、ニューラル・ネットワークによる1つ以上の第2の入力。
- 請求項1のシステム、そこで、処理、ドライバの状態を決定する、1つ以上の第1の入力ニューラル・ネットワークによって1つ以上の第1の入力を処理することを具備する。
- 請求項1のシステム(そこではドライバの挙動は次の少なくとも1つを具備する):出来事、車両内に生じること、車両内の乗客に関してのドライバの注意、1つ以上の発生、車両内の1人以上の乗客によって始められた、1つ以上の出来事、車両内に存在するデバイスに関して生じること、車両内に存在するデバイスで受け取られた1つ以上の届出;車両内に存在するデバイスへのドライバの注意の変化を反射する1つ以上の出来事。
- 請求項1のシステム(そこではさらなる一時的な道路条件は次の少なくとも1つを具備する):車両が旅行の道路経路、車両が旅行の路上の1本以上の曲線の存在あるいは車両が旅行の間、ドライバの光景を妨害する位置の物体の存在。
- 請求項5のシステム(そこでは物体は次の少なくとも1つを具備する):山、建築物、車両あるいは歩行者。
- 請求項5のシステム(そこでは車両が旅行の道路の一部に関して物体の存在はドライバの光景を妨害する)。
- 請求項5のシステム(そこでは物体の存在は次の少なくとも1つを具備する):位置の物体の存在、それは、道路に関してのドライバの光景を妨害する、上の、車両はそうである、旅行、位置の物体の存在、それは、1つ以上の車両に関してのドライバの光景を妨害する、道路で示す、上の、車両はそうである、旅行、位置の物体の存在、それは、出来事に関してのドライバの光景を妨害する、道路に生じること、上の、車両はそうである、旅行、あるいは物体の存在、の中で、車両が旅行の道路に隣接する1人以上の歩行者の存在に関してのドライバの光景を妨害する位置。
- 請求項1のシステム(そこではドライバ注意深さ閾値の計算は次の少なくとも1つを計算することを具備する):突出される時間はドライバまでに道路の車両と同じ側に存在する別の車両を見ることができる。あるいは、突出される時間はドライバまで道路の対向する側で存在する別の車両を車両と見なすことができる。あるいは、別の車両の存在を説明するために、断固とした見積時間は、ドライバまで車両の速度を調節することができる。
- 請求項1のシステム。(そこではさらなる一時的な道路条件は後発事象(事故を具備する後発事象)に先立って車両の本位置に関して以前に生じた1つ以上の出来事と関係する統計学を具備する)
- 請求項10のシステム(そこでは旅行するために車両が投影される道路の1つ以上の部分に生じた1つ以上の出来事に統計学は関する)。
- 請求項10のシステム、そこで、1つ以上の出来事、次の少なくとも1つを具備する。1つ以上の天候状況、1つ以上のトラフィック状況、路上の呼量、速度、で、1つ以上の車両が、道路に関連した速度限界に関しての後発事象旅行で含んでいた、あるいは後発事象に先立った損傷を引き起こすであろう物質の消費。
- 請求項1のシステム(そこでは1つあるいはより多くの第1の入力が以前に決定された1以上州を識別して具備する処理は、車両のドライバと会合した)。
- 請求項1のシステム(そこでは1つあるいはより多くの第1の入力が以前に決定された1以上州を識別して具備する処理は、本動かす区間中に車両のドライバと会合した)。
- 状態励振器は、ドライバのヘッド・モーション、ドライバの目の1つ以上の特徴、ドライバの精神状態あるいはドライバの感情の状態。
- 請求項1のシステム、そこで、さらなる車両に関連した1つ以上のナビゲーション条件、次の1つ以上を具備する。車両が移動する道路の条件、車両に隣接する環境条件あるいは車両に隣接する1つ以上の他の車両の存在。
- 請求項1のシステム、1つ以上の第2の入力は、どこで受けられるか、1つ以上のセンサ車両内に埋め込まれた。
- 請求項1のシステム、1つ以上の第2の入力は、どこで受けられるか、アドバンスト・ドライバ支援システム。(ADAS)
- 請求項1のシステム(そこではドライバ注意深さ閾値の計算はドライバ注意深さ閾値を調節することを具備する)。
- 請求項1のシステム(そこでは1つ以上の第1の入力の処理は車両へのエントリーに先立ってドライバの状態を決定するために1つ以上の第1の入力を処理することを具備する)。
- 請求項1のシステム、そこで、1つあるいはより多くの第1の入力が具備する処理、処理、車両へのエントリーの後にドライバの状態を決定する、1つ以上の第1の入力。
- 請求項1のシステム(そこではさらなるドライバの状態は次の1つ以上を具備する):車両内に存在する環境条件、あるいは環境条件は車両の外側で示す。
- 請求項1のシステム(そこではさらなるドライバの状態は次の1つ以上を具備する):ドライバとの乗客の通信、1人以上の乗客間の通信、乗客、シートの留め金を外すこと−ベルト、乗客、デバイスと相互に作用すること、車両に関係していた、車両内の1人以上の乗客の挙動、非言語的相互作用、乗客によって始められた、あるいは物理的な相互作用、ドライバの方へ対象とされた。
- 請求項1のシステム。(そこではドライバ注意深さ閾値はドライバに関連した断固とした注意深さレベルを具備する)
- 請求項24のシステム、さらなるドライバ注意深さ閾値はどこで具備するか、1つの、決定された。注意深さレベルは1つ以上の他のドライバと会合した。
- システムであって、
処理装置;および、
処理装置によって実行された時、システムに次のものを具備する作用を行なわせる処理装置と貯蔵命令につながれた記憶:
1つ以上の第1の入力を受け取ること;
車両に関しての第1の物体を識別するために1つ以上の第1の入力を処理すること;
1秒以上受けることは入力する;
第1の物体(第1の物体に関しての車両のドライバの注意深さの状態)に、1つ以上の物体に関しての車両のドライバに関連した注意深さの以前に決定された1以上州に基づいて決定する、1つ以上の第2の入力が関連させた処理;および、
ドライバの注意深さの状態に基づいた1つ以上の作用を始めること。 - 第1の物体は少なくとも1つのを含む、請求項26に記載のシステム。道路標識または道路構造。
- 請求項26のシステム(そこでは本動かす区間内の先のインスタンスに関して注意深さの以前に決定された1以上州は決定される)。
- 請求項26のシステム(そこでは1つ以上の先の駆動間隔内の先のインスタンスに関して注意深さの以前に決定された1以上州は決定される)。
- 請求項26のシステム、そこでは1つあるいは車両のドライバに関連した注意深さの以前に決定された状態は、第1の物体に関連した1つ以上の物体に関しての車両のドライバに関連した注意深さの以前に決定された1以上州によって反射された原動力を具備する。
- 請求項30のシステム、そこで、以前に決定された1以上州によって反射された原動力、の注意深さは、次の少なくとも1つを具備する:周波数、で、ドライバは注視する、第1の物体、周波数、で、ドライバは注視する、第二目的語、1つ以上の状況、の下で、ドライバは注視する、1つ以上の物体、1つ以上の状況、の下で、ドライバは注視しない、1つ以上の物体、1つ以上の環境条件。
- 請求項26のシステム、そこでは1つあるいは車両のドライバに関連した注意深さの以前に決定された状態は、第1の物体に関連した1つ以上の物体に関しての車両のドライバに関連した注意深さの以前に決定された1以上州によって反射された原動力の統計モデルを具備する。
- 請求項26のシステム、そこで、1つあるいはより多くの第2の入力が具備する処理、処理、第1の物体に関して車両のドライバの注意深さの状態を決定するために、第二目的語を車両のドライバが注視する周波数。
- 請求項26のシステム(そこでは注意深さの現在状況を決定するために、1秒以上が入力する処理は、次のものを具備する:):(a)注意深さの以前に決定された1以上州を関連させることは、(b)1つ以上の第2の入力を備えた、車両および第1の物体のドライバと会合した。
- 請求項26、30、あるいは32のうちのいずれか1つのシステム、第1の入力の処理の少なくとも1つ、第2の入力の処理、計算するドライバ注意深さ閾値、計算、ダイナミック、注意深さの以前に決定された1以上州によって反射された、車両および第1の物体のドライバに関係していた、あるいは第二目的語、注意深さの以前に決定された1以上州を関連させること、車両および第1の物体のドライバに関係していた、あるいは第二目的語はニューラル・ネットワークによって行なわれる。
- 請求項26のシステム(そこではドライバの注意深さの状態は次の少なくとも1つとの相関の中でさらに決定される):周波数、で、ドライバは注視する、第1の物体、周波数、で、ドライバは注視する、第二目的語、1つ以上の運転パターン、1つ以上の運転パターン、ナビゲーション命令に関してのドライバに関係していた、1つ以上の環境条件、あるいは時刻。
- 請求項26のシステム(そこではドライバの注意深さの状態は次の少なくとも1つに基づいて、さらに決定される):旅慣れた道路、旅慣れた道路を旅行する周波数あるいは旅慣れた道路を旅行する前例以来の経過時間に関しての親しさの程度。
- 請求項26のシステム(そこではドライバの注意深さの状態は次の少なくとも1つに基づいて、さらに決定される):
ドライバの精神状態、ドライバの生理学的状態、睡眠の量、ドライバは係合したために決定される、の中で、ドライバを動かす量は係合したために決定される、の中で、あるいは目赤色の1レベル、ドライバに関係していた。 - 請求項26のシステム(そこではドライバの注意深さの状態は上の基づいて、さらに決定される)情報は、第1の物体へのドライバの熟視の変更と会合した。
- 請求項39のシステム(そこではドライバの注意深さの状態は上の基づいて、さらに決定される)情報は、ドライバが第1の物体への彼の熟視を変える時間持続時間と会合した。
- 請求項39のシステム(そこではドライバの注意深さの状態は上の基づいて、さらに決定される)運動特徴に関連した情報は、第1の物体へのドライバの熟視の変更に関した。
- 請求項26のシステム(そこでは1秒以上が入力する処理は次のものを具備する:):処理(a)、車両のドライバの注意深さの現在状況を決定するために(b)第1の物体への彼の熟視を変えるドライバの本インスタンスに関連した、1つ以上の抽出された特徴に関しての第1の物体に関連した1つ以上の物体へのドライバの熟視の変更に関連した、1つ以上の抽出された特徴。
- システムであって、
処理デバイスは、
および、
処理装置によって実行された時、システムに次のものを具備する作用を行なわせる処理装置と貯蔵命令につながれた記憶:
1つ以上の第1の入力を受け取ること;
車両に関しての第1の物体を識別するために1つ以上の第1の入力を処理すること;
1秒以上受けることは入力する;
処理、第1の物体に関しての車両のドライバの注意深さの状態を決定する、1つ以上の第2の入力、(a)第1の物体に関してのドライバの熟視の方向および(b)1つ以上の条件に基づいた、の下で、第1の物体は認められる、ドライバ;および、
ドライバの注意深さの状態に基づいた1つ以上の作用を始めること。 - 請求項43のシステム、そこで、1以上の疾患、次の少なくとも1つを含む。位置、ドライバあるいはドライバからの第1の物体の距離に関しての第1の物体。
- 請求項43のシステム、そこで、1つ以上のさらなる条件、次の少なくとも1つが挙げられる1つ以上の環境条件を具備する。可視性レベルは、第1の物体、動かす注意レベル、車両の状態あるいは車両内に出席している乗客の1人以上の挙動と会合した。
- 請求項45のシステム(そこでは可視性レベルは次の少なくとも1つに関連した断固とした使用情報である):雨、霧、降ること、ダスト、日光、第1の物体に関連した発光状態。
- 請求項45のシステム(そこでは動かす注意レベルは少なくとも次の少なくとも1つを具備する道路関連情報に関連した断固とした使用情報である):車両が旅行の道路に関連したロード、車両が旅行の道路に関連した条件、車両が旅行の道路、およびドライバの視覚を妨害する様式、ドライバが同じ道路を動かした前例以来生じる道路構造の変動、ドライバがドライバの本宛先へ動かした前例以来生じる道路構造の変動において輝く日光に関連した発光状態、ドライバが1つ以上のナビゲーション命令に応答する様式。
- 請求項45のシステム(そこでは車両内の1人以上の乗客の挙動は次の少なくとも1つを具備する):ドライバとの乗客の通信、1人以上の乗客間の通信、シート・ベルトの留め金を外す乗客、車両に関連したデバイスと相互に作用する乗客、車両の背面シートの乗客の挙動、乗客とドライバとの間の非言語的相互作用、ドライバに関連した物理的な相互作用。
- 第1の物体は少なくとも1つのを含む、請求項43に記載のシステム。道路標識または道路構造。
- 請求項43のシステム(そこではドライバの注意深さの状態は次の少なくとも1つに基づいて、さらに決定される):ドライバの精神状態、ドライバの生理学的状態、睡眠の量、ドライバは係合したために決定される、の中で、ドライバを動かす量はそれを係合したために決定される、目赤色の1レベル、ドライバに関係していた、睡眠の断固とした質、ドライバに関係していた、心拍数、ドライバに関係していた、温度、ドライバに関係していた、あるいは1つ以上の音、ドライバによって作られた。
- 請求項50のシステム(そこではドライバの生理学的状態は次の少なくとも1つを具備する):夜のドライバ、ドライバが眠った時間、ドライバが1つ以上を動かしている時の量あるいは画定された時限中にもっと動かすことの数あるいはドライバはカレントドライブの時間期間を駆り立てるためにどれくらい頻繁に使用されるかの睡眠の断固とした質。
- 請求項51のシステム(そこでは次の少なくとも1つから受け取られたデータから抽出された情報とドライバの生理学的状態は相関である):ドライバの画像センサの捕捉する画像、あるいはデータが挙げられる、生理学に関連する測定データが次の少なくとも1つに関連づけた1つ以上のセンサ:ドライバの目、ドライバのまぶた、ドライバの瞳孔、ドライバの目赤色の標準液面に対するドライバの赤色レベルを注視する、ドライバの目のまわりの筋肉応力、ドライバのヘッドの運動、ドライバのヘッドにポーズする、凝視する、ドライバの方向パターン、あるいはドライバの車体姿勢。
- 請求項43のシステム(そこではドライバの精神状態はドライバ応力を具備する)。
- 請求項53のシステム(そこではドライバ応力は次の少なくとも1つに基づいて計算される):抽出された生理学はデータを関連づけた、データ、ドライバ挙動に関連づけられた、データ、出来事に関連づけられた、ドライバは係合された、の中で、本動かす区間中に、データ、出来事に関連づけられた、ドライバは係合された、の中で、本動かす区間に先立って、データ、通信に関係していた、本動かす区間の前のドライバに関連づけられた、あるいはデータ、通信に関係していた、ドライバに関連づけられた、の前に、あるいは本動かす区間中に。
- 請求項54のシステム。(そこでは通信に関連したデータはショッキングな出来事を具備する)
- 請求項53のシステム(そこではドライバ応力は次の少なくとも1つからの抽出された使用データである):ユーザー応力レベルを抽出する雲、1つ以上のデバイス、外部サービスあるいは適用。
- 請求項50のシステム。(そこではドライバの生理学的状態はドライバに関連した病気の1レベルに基づいて計算される)
- 請求項57のシステム(そこでは病気のレベルは次の1つ以上に基づいて決定される):データは、1つ以上のセンサからドライバ温度、ドライバ(ドライバに関して咳をする検出)によって生成された音が挙げられる、測定生理学に関連するそのデータを抽出した。
- 請求項57のシステム(そこでは病気のレベルは次の少なくとも1つから始まる断固とした使用データである):1つ以上のセンサ、雲、1つ以上のデバイス、1つ以上の外部サービスあるいは1つ以上の適用(それはユーザー応力レベルを抽出する)。
- 請求項43のシステム(そこでは1つ以上の作用がニューラル・ネットワークによって行なわれる)。
- システムであって、
処理デバイスは、および、
処理装置によって実行された時、システムに次のものを具備する作用を行なわせる処理装置と貯蔵命令につながれた記憶:
車両内のデータを集める1つ以上の第1のセンサから1つ以上の第1の入力を受け取ること;
車両のドライバの熟視方向を識別するために1つ以上の第1の入力を処理すること;
車両の外側でデータを集める1つ以上の第2のセンサから1つ以上の第2の入力を受け取ること;
処理、第2のセンサの少なくとも1つの視野に関しての1つ以上の物体の位置を決定する、1つ以上の第2の入力;
ドライバの熟視方向を1つ以上の物体の少なくとも1つをドライバが注視しているかどうか判断する、第2のセンサの少なくとも1つの視野に関しての1つ以上の物体の位置と関連させること;および、
測定に基づいた1つ以上の作用を始めること。 - 請求項61のシステム(そこでは1つ以上の作用を始めることは車両と1つ以上の物体の間の距離を計算することを具備する)。
- 請求項62のシステム(そこでは距離の計算は次の少なくとも1つを使用する車両と1つ以上の物体の間の距離の推定値を計算することを具備する):幾何学的な操作、それは、第1のセンサあるいは第2のセンサの少なくとも1つの位置を説明する、1つ以上のパラメーター、センサの少なくとも1つの傾斜に関連づけられた、センサの少なくとも1つの視野、センサの少なくとも1つに関してのドライバの位置、あるいは照準線ベクトル、として、ドライバ熟視検出から抽出された。
- 請求項62のシステム。(そこではさらなる距離の計算は距離の計算に関連したエラーを還元する、統計工具を使用することを具備する)
- 請求項61のシステム(そこでは1つ以上の作用を始めることは1つ以上を決定することを具備する)第2のセンサおよびドライバの1つ以上に関してのドライバの目の位置を反射する座標は、第2のセンサの1つ以上の視野に関してのドライバの光景のベクトルを決定するために凝視する。
- 請求項61のシステム(そこでは1つ以上の作用を始めることは車両に関連のある1つ以上の物体の位置を計算することを具備する)。
- 請求項66のシステム。(そこでは車両に関連のある1つ以上の物体の計算された位置は、ADASへの入力として設けられる)
- 請求項61のシステム(そこでは1つ以上の作用を始めることは測定を確認することを具備する)ADASシステムによって計算された。
- 請求項68のシステム、処理、1つ以上の第1の入力、さらなる、具備する、センサからの物体の距離の計算、ADASシステムに関係していた、また距離測量への統計バリデーションとして計算された距離を使用すること、ADASシステムによって決定された。
- 請求項68のシステム(そこではADASシステムによって計算された測定の確認は1つ以上の事前に定義された物体に関して行なわれる)。
- 請求項70のシステム(そこでは定義済みの物体は交通標識が挙げられる)。
- 請求項70のシステム(そこでは定義済みの物体は次の少なくとも1つを反射する基準に関係している):交通標識物体、物体、定義済みのサイズ未満の物理的サイズを持っていること、物体、1つ以上のセンサによって認められるようなそのサイズは定義済みのサイズ未満である、あるいは物体、車両に関しての定義済みの方向付けに位置づけた。
- 請求項72のシステム(そこでは車両に関しての物体の定義済みの方向付けは、車両に面している物体に関する)。
- 請求項70のシステム(そこではADASシステムによって計算された測定は事前に定義された物体に関してある)。
- 請求項68のシステム。(そこではADASシステムによって計算された測定の確認はドライバに関連した断固とした特徴に関してのシステムの信頼度に関してある)
- 請求項75のシステム(そこではドライバに関連した断固とした特徴は次の少なくとも1つが挙げられる):センサの少なくとも1つに関してのドライバの位置、1つ以上のセンサに関してのドライバの目の位置あるいはドライバ熟視検出から抽出されるような照準線ベクトル。
- 請求項68のシステム、処理、1つ以上の第2の入力、さらなる、具備する、センサからの物体の距離の計算、ADASシステムに関係していた、また距離測量への統計バリデーションとして計算された距離を使用すること、ADASシステムによって決定された。
- 請求項61のシステム。(そこではドライバの熟視方向を関連させることは熟視方向をドライバが注視したとわかる物体の距離測量に関連したADASシステムから始まるデータと関連させることを具備する)
- 請求項61のシステム(そこでは1つ以上の作用を始めることは次の少なくとも1つを具備する1つ以上の刺激を提供することを具備する):視覚的な刺激、聴覚の刺激、触覚型の刺激、嗅覚の刺激、温度刺激、気流刺激あるいは酸素は、刺激を水平にする。
- 請求項61のシステム(そこでは1つ以上の作用は次の少なくとも1つに関連づけられる):1レベル、のドライバ、断固とした要求される注意深さレベル、予言された危険の1レベル、本動かすセッションに先の作用と関係する情報あるいは情報の注意深さは、他の動かすセッションに先の作用に関した。
- 請求項61のシステム(そこでは1つ以上の作用がニューラル・ネットワークによって行なわれる)。
- 請求項61のシステム(そこではドライバの熟視方向を関連させることは次の少なくとも1つを使用して、ドライバの熟視方向を関連させることを具備する):第1のセンサあるいは第2のセンサの少なくとも1つの幾何学的なデータ、第1のセンサあるいは第2のセンサの少なくとも1つの視野、第1のセンサの少なくとも1つに関してのドライバの位置あるいは第2のセンサ、ドライバの熟視の検出から抽出されるような照準線ベクトル。
- 請求項61のシステム、そこでは1つ以上のさらなる物体の少なくとも1つをドライバが注視しているかどうか判断するためにドライバの熟視方向を関連させることは、ドライバが注視していることを決めることを具備する、1つ以上の物体の少なくとも1つ、それはデータから検出される、1つ以上の第2のセンサから始まること
- エンコードされた命令を有する非一時的なコンピュータ可読媒体であって、該命令が処理デバイスによって実行されたとき、該命令によって処理デバイスは:
1つ以上の第1の入力を受け取ること;
ドライバの状態を決定する、1つ以上の第1の入力が、車両内に提示する処理;
1秒以上受けることは入力する;
処理、車両に関連した1つ以上のナビゲーション条件を決定する、1つ以上の第2の入力、次の少なくとも1つを具備する1つ以上のナビゲーション条件:
雲リソースあるいはドライバの挙動から受け取られた一時的な道路条件;
1つ以上のナビゲーション条件に基づいて、計算すること、ドライバ注意深さ閾値;および、
(A)で相関中の1つ以上の作用を始めること、ドライバと(B)の状態、ドライバ注意深さ閾値。 - 方法であって、
1つ以上の第1の入力を受け取ること;
ドライバの状態を決定する、1つ以上の第1の入力が、車両内に提示する処理;
1秒以上受けることは入力する;
処理、車両に関連した1つ以上のナビゲーション条件を決定する、1つ以上の第2の入力、次の少なくとも1つを具備する1つ以上のナビゲーション条件:雲リソースあるいはドライバの挙動から受け取られた一時的な道路条件;
1つ以上のナビゲーション条件に基づいて、計算すること、ドライバ注意深さ閾値;および、
(A)で相関中の1つ以上の作用を始めること、ドライバと(B)の状態、ドライバ注意深さ閾値。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862690309P | 2018-06-26 | 2018-06-26 | |
US62/690,309 | 2018-06-26 | ||
US201862757298P | 2018-11-08 | 2018-11-08 | |
US62/757,298 | 2018-11-08 | ||
US201962834471P | 2019-04-16 | 2019-04-16 | |
US62/834,471 | 2019-04-16 | ||
PCT/US2019/039356 WO2020006154A2 (en) | 2018-06-26 | 2019-06-26 | Contextual driver monitoring system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021530069A true JP2021530069A (ja) | 2021-11-04 |
JPWO2020006154A5 JPWO2020006154A5 (ja) | 2022-07-05 |
Family
ID=68987299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021521746A Pending JP2021530069A (ja) | 2018-06-26 | 2019-06-26 | 状況的ドライバ監視システム |
Country Status (5)
Country | Link |
---|---|
US (3) | US20210269045A1 (ja) |
EP (1) | EP3837137A4 (ja) |
JP (1) | JP2021530069A (ja) |
CN (1) | CN113056390A (ja) |
WO (1) | WO2020006154A2 (ja) |
Families Citing this family (143)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12076149B2 (en) * | 2010-06-07 | 2024-09-03 | Affectiva, Inc. | Vehicle manipulation with convolutional image processing |
WO2018176000A1 (en) | 2017-03-23 | 2018-09-27 | DeepScale, Inc. | Data synthesis for autonomous control systems |
DE102017208159B4 (de) * | 2017-05-15 | 2024-05-29 | Vitesco Technologies GmbH | Verfahren zum Betreiben einer Fahrerassistenzvorrichtung eines Kraftfahrzeugs, Fahrerassistenzvorrichtung und Kraftfahrzeug |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US20220001869A1 (en) * | 2017-09-27 | 2022-01-06 | Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America | Authenticated traffic signs |
JP6963632B2 (ja) * | 2017-12-27 | 2021-11-10 | パイオニア株式会社 | 記憶装置及び興奮抑制装置 |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US10592747B2 (en) * | 2018-04-26 | 2020-03-17 | Fyusion, Inc. | Method and apparatus for 3-D auto tagging |
DE102018209440A1 (de) * | 2018-06-13 | 2019-12-19 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Beeinflussung von Systemen zur Aufmerksamkeitsüberwachung |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
CN109242251B (zh) * | 2018-08-03 | 2020-03-06 | 百度在线网络技术(北京)有限公司 | 行车行为安全性检测方法、装置、设备及存储介质 |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
EP3849865A4 (en) | 2018-09-11 | 2022-06-29 | Netradyne, Inc. | Inward/outward vehicle monitoring for remote reporting and in-cab warning enhancements |
US11040714B2 (en) * | 2018-09-28 | 2021-06-22 | Intel Corporation | Vehicle controller and method for controlling a vehicle |
US11205093B2 (en) | 2018-10-11 | 2021-12-21 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US10962381B2 (en) * | 2018-11-01 | 2021-03-30 | Here Global B.V. | Method, apparatus, and computer program product for creating traffic information for specialized vehicle types |
US11059492B2 (en) * | 2018-11-05 | 2021-07-13 | International Business Machines Corporation | Managing vehicle-access according to driver behavior |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11373402B2 (en) * | 2018-12-20 | 2022-06-28 | Google Llc | Systems, devices, and methods for assisting human-to-human interactions |
JP7207434B2 (ja) * | 2018-12-27 | 2023-01-18 | 日本電気株式会社 | 余所見判定装置、余所見判定システム、余所見判定方法、プログラム |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
EP4011739A1 (en) * | 2018-12-28 | 2022-06-15 | The Hi-Tech Robotic Systemz Ltd | System and method for engaging a driver during autonomous driving mode |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US11624630B2 (en) * | 2019-02-12 | 2023-04-11 | International Business Machines Corporation | Using augmented reality to present vehicle navigation requirements |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
US11325591B2 (en) * | 2019-03-07 | 2022-05-10 | Honda Motor Co., Ltd. | System and method for teleoperation service for vehicle |
US10913428B2 (en) * | 2019-03-18 | 2021-02-09 | Pony Ai Inc. | Vehicle usage monitoring |
EP3712896B1 (en) * | 2019-03-19 | 2022-01-12 | 2HFutura SA | Technique for efficient retrieval of personality data |
KR20210151089A (ko) * | 2019-04-09 | 2021-12-13 | 하만인터내셔날인더스트리스인코포레이티드 | 차량 시스템의 음성 제어 |
GB2583742B (en) * | 2019-05-08 | 2023-10-25 | Jaguar Land Rover Ltd | Activity identification method and apparatus |
CN110263641A (zh) * | 2019-05-17 | 2019-09-20 | 成都旷视金智科技有限公司 | 疲劳检测方法、装置及可读存储介质 |
US11661055B2 (en) | 2019-05-24 | 2023-05-30 | Preact Technologies, Inc. | Close-in collision detection combining high sample rate near-field sensors with advanced real-time parallel processing to accurately determine imminent threats and likelihood of a collision |
US11485368B2 (en) * | 2019-06-27 | 2022-11-01 | Intuition Robotics, Ltd. | System and method for real-time customization of presentation features of a vehicle |
US11572731B2 (en) * | 2019-08-01 | 2023-02-07 | Ford Global Technologies, Llc | Vehicle window control |
US11144754B2 (en) | 2019-08-19 | 2021-10-12 | Nvidia Corporation | Gaze detection using one or more neural networks |
US11590982B1 (en) * | 2019-08-20 | 2023-02-28 | Lytx, Inc. | Trip based characterization using micro prediction determinations |
US11741704B2 (en) * | 2019-08-30 | 2023-08-29 | Qualcomm Incorporated | Techniques for augmented reality assistance |
KR20210032766A (ko) * | 2019-09-17 | 2021-03-25 | 현대자동차주식회사 | 차량 및 그 제어방법 |
US11295148B2 (en) * | 2019-09-24 | 2022-04-05 | Ford Global Technologies, Llc | Systems and methods of preventing removal of items from vehicles by improper parties |
US20210086715A1 (en) * | 2019-09-25 | 2021-03-25 | AISIN Technical Center of America, Inc. | System and method for monitoring at least one occupant within a vehicle using a plurality of convolutional neural networks |
US11587461B2 (en) * | 2019-10-23 | 2023-02-21 | GM Global Technology Operations LLC | Context-sensitive adjustment of off-road glance time |
KR20210051054A (ko) * | 2019-10-29 | 2021-05-10 | 현대자동차주식회사 | 뇌파 신호를 이용한 모빌리티 탑승자의 승차감 판단 장치 |
US11308921B2 (en) * | 2019-11-28 | 2022-04-19 | Panasonic Intellectual Property Management Co., Ltd. | Information display terminal |
US11775010B2 (en) * | 2019-12-02 | 2023-10-03 | Zendrive, Inc. | System and method for assessing device usage |
US11470265B2 (en) | 2019-12-16 | 2022-10-11 | Plusai, Inc. | System and method for sensor system against glare and control thereof |
US11754689B2 (en) | 2019-12-16 | 2023-09-12 | Plusai, Inc. | System and method for detecting sensor adjustment need |
US11077825B2 (en) | 2019-12-16 | 2021-08-03 | Plusai Limited | System and method for anti-tampering mechanism |
US11738694B2 (en) | 2019-12-16 | 2023-08-29 | Plusai, Inc. | System and method for anti-tampering sensor assembly |
US11724669B2 (en) | 2019-12-16 | 2023-08-15 | Plusai, Inc. | System and method for a sensor protection system |
US11340701B2 (en) * | 2019-12-16 | 2022-05-24 | Nvidia Corporation | Gaze determination using glare as input |
US11313704B2 (en) * | 2019-12-16 | 2022-04-26 | Plusai, Inc. | System and method for a sensor protection assembly |
US11650415B2 (en) | 2019-12-16 | 2023-05-16 | Plusai, Inc. | System and method for a sensor protection mechanism |
US11485231B2 (en) * | 2019-12-27 | 2022-11-01 | Harman International Industries, Incorporated | Systems and methods for providing nature sounds |
US11802959B2 (en) * | 2020-01-22 | 2023-10-31 | Preact Technologies, Inc. | Vehicle driver behavior data collection and reporting |
US11538259B2 (en) * | 2020-02-06 | 2022-12-27 | Honda Motor Co., Ltd. | Toward real-time estimation of driver situation awareness: an eye tracking approach based on moving objects of interest |
WO2021156989A1 (ja) * | 2020-02-06 | 2021-08-12 | 三菱電機株式会社 | 予兆検知装置、運転支援制御装置及び予兆検知方法 |
US11580984B2 (en) * | 2020-03-20 | 2023-02-14 | At&T Intellectual Property I, L.P. | Virtual assistant-initiated conversations |
US11611587B2 (en) | 2020-04-10 | 2023-03-21 | Honda Motor Co., Ltd. | Systems and methods for data privacy and security |
US11494865B2 (en) | 2020-04-21 | 2022-11-08 | Micron Technology, Inc. | Passenger screening |
US11091166B1 (en) | 2020-04-21 | 2021-08-17 | Micron Technology, Inc. | Driver screening |
US11414087B2 (en) * | 2020-06-01 | 2022-08-16 | Wipro Limited | Method and system for providing personalized interactive assistance in an autonomous vehicle |
JP7347342B2 (ja) * | 2020-06-16 | 2023-09-20 | トヨタ自動車株式会社 | 情報処理装置、提案システム、プログラム、及び提案方法 |
AT523641B1 (de) * | 2020-06-16 | 2021-10-15 | Avl List Gmbh | System zum Testen eines Fahrerassistenzsystems eines Fahrzeugs |
DE102020207990B4 (de) * | 2020-06-29 | 2022-05-05 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Fahrerassistenzsystems und Fahrerassistenzsystem |
US11720869B2 (en) | 2020-07-27 | 2023-08-08 | Bank Of America Corporation | Detecting usage issues on enterprise systems and dynamically providing user assistance |
KR20220014579A (ko) * | 2020-07-29 | 2022-02-07 | 현대자동차주식회사 | 개인별 감정 인식 기반 차량 서비스 제공 장치 및 그의 차량 서비스 제공 방법 |
US11505233B2 (en) * | 2020-08-25 | 2022-11-22 | Ford Global Technologies, Llc | Heated vehicle steering wheel having multiple controlled heating zones |
US11617941B2 (en) * | 2020-09-01 | 2023-04-04 | GM Global Technology Operations LLC | Environment interactive system providing augmented reality for in-vehicle infotainment and entertainment |
KR20220042886A (ko) * | 2020-09-28 | 2022-04-05 | 현대자동차주식회사 | 스마트 운전 자세 제어 시스템 및 방법 |
DE102020126953B3 (de) | 2020-10-14 | 2021-12-30 | Bayerische Motoren Werke Aktiengesellschaft | System und Verfahren zum Erfassen einer räumlichen Orientierung einer tragbaren Vorrichtung |
DE102020126954A1 (de) * | 2020-10-14 | 2022-04-14 | Bayerische Motoren Werke Aktiengesellschaft | System und Verfahren zum Erfassen einer räumlichen Orientierung einer tragbaren Vorrichtung |
US11978266B2 (en) | 2020-10-21 | 2024-05-07 | Nvidia Corporation | Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications |
US11341786B1 (en) | 2020-11-13 | 2022-05-24 | Samsara Inc. | Dynamic delivery of vehicle event data |
US11352013B1 (en) | 2020-11-13 | 2022-06-07 | Samsara Inc. | Refining event triggers using machine learning model feedback |
US11999356B2 (en) | 2020-11-13 | 2024-06-04 | Toyota Research Institute, Inc. | Cognitive heat map: a model for driver situational awareness |
US11643102B1 (en) | 2020-11-23 | 2023-05-09 | Samsara Inc. | Dash cam with artificial intelligence safety event detection |
CN112455452A (zh) * | 2020-11-30 | 2021-03-09 | 恒大新能源汽车投资控股集团有限公司 | 驾驶状态的检测方法、装置及设备 |
US11753029B1 (en) * | 2020-12-16 | 2023-09-12 | Zoox, Inc. | Off-screen object indications for a vehicle user interface |
US11854318B1 (en) | 2020-12-16 | 2023-12-26 | Zoox, Inc. | User interface for vehicle monitoring |
CN112528952B (zh) * | 2020-12-25 | 2022-02-11 | 合肥诚记信息科技有限公司 | 一种电力营业厅人员的工作状态智能识别系统 |
US12005922B2 (en) * | 2020-12-31 | 2024-06-11 | Honda Motor Co., Ltd. | Toward simulation of driver behavior in driving automation |
US20220204013A1 (en) * | 2020-12-31 | 2022-06-30 | Gentex Corporation | Driving aid system |
AT524616A1 (de) * | 2021-01-07 | 2022-07-15 | Christoph Schoeggler Dipl Ing Bsc Bsc Ma | Dynamisches optisches Signalprojektionssystem für Straßenverkehrsfahrzeuge |
CN112506353A (zh) * | 2021-01-08 | 2021-03-16 | 蔚来汽车科技(安徽)有限公司 | 车辆交互系统、方法、存储介质和车辆 |
KR20220101837A (ko) * | 2021-01-12 | 2022-07-19 | 한국전자통신연구원 | 개인 맞춤형 인터페이스 적용 장치 및 방법 |
CN112829754B (zh) * | 2021-01-21 | 2023-07-25 | 合众新能源汽车股份有限公司 | 车载智能机器人和车载智能机器人的运行方法 |
US20220234501A1 (en) * | 2021-01-25 | 2022-07-28 | Autobrains Technologies Ltd | Alerting on Driving Affecting Signal |
US11878695B2 (en) * | 2021-01-26 | 2024-01-23 | Motional Ad Llc | Surface guided vehicle behavior |
US11862175B2 (en) * | 2021-01-28 | 2024-01-02 | Verizon Patent And Licensing Inc. | User identification and authentication |
US11887384B2 (en) | 2021-02-02 | 2024-01-30 | Black Sesame Technologies Inc. | In-cabin occupant behavoir description |
US20230404456A1 (en) * | 2021-02-03 | 2023-12-21 | Mitsubishi Electric Corporation | Adjustment device, adjustment system, and adjustment method |
US11760318B2 (en) * | 2021-03-11 | 2023-09-19 | GM Global Technology Operations LLC | Predictive driver alertness assessment |
JP2022159732A (ja) * | 2021-04-05 | 2022-10-18 | キヤノン株式会社 | 表示制御装置、表示制御方法、移動体、プログラムおよび記憶媒体 |
DE102021002301A1 (de) * | 2021-04-30 | 2021-07-22 | Daimler Ag | Verfahren zur Benutzerbewertung, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Bewertungsvorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Bewertungsvorrichtung |
US11687155B2 (en) * | 2021-05-13 | 2023-06-27 | Toyota Research Institute, Inc. | Method for vehicle eye tracking system |
WO2022266209A2 (en) * | 2021-06-16 | 2022-12-22 | Apple Inc. | Conversational and environmental transcriptions |
DE102021117326A1 (de) * | 2021-07-05 | 2023-01-05 | Ford Global Technologies, Llc | Verfahren zur Ermüdungsprävention eines Fahrers eines Kraftfahrzeugs |
CN113569699B (zh) * | 2021-07-22 | 2024-03-08 | 上汽通用五菱汽车股份有限公司 | 注意力分析方法、车辆及存储介质 |
CN113611007B (zh) * | 2021-08-05 | 2023-04-18 | 北京百姓车服网络科技有限公司 | 一种数据处理方法及数据采集系统 |
US12073634B2 (en) | 2021-08-06 | 2024-08-27 | Rockwell Collins, Inc. | Cockpit display ambient lighting information for improving gaze estimation |
US11800065B2 (en) | 2021-08-19 | 2023-10-24 | Geotab Inc. | Mobile image surveillance systems and methods |
KR20230033358A (ko) * | 2021-09-01 | 2023-03-08 | 현대자동차주식회사 | 차량의 hmi 모드 제공방법 및 장치 |
US11898871B2 (en) * | 2021-09-15 | 2024-02-13 | Here Global B.V. | Apparatus and methods for providing a map layer of one or more temporary dynamic obstructions |
US20230088573A1 (en) * | 2021-09-22 | 2023-03-23 | Ford Global Technologies, Llc | Enhanced radar recognition for automated vehicles |
US20220242452A1 (en) * | 2021-09-23 | 2022-08-04 | Fabian Oboril | Vehicle occupant monitoring |
US11827213B2 (en) * | 2021-10-01 | 2023-11-28 | Volvo Truck Corporation | Personalized notification system for a vehicle |
US11861916B2 (en) * | 2021-10-05 | 2024-01-02 | Yazaki Corporation | Driver alertness monitoring system |
US11352014B1 (en) | 2021-11-12 | 2022-06-07 | Samsara Inc. | Tuning layers of a modular neural network |
US11386325B1 (en) * | 2021-11-12 | 2022-07-12 | Samsara Inc. | Ensemble neural network state machine for detecting distractions |
KR20230087631A (ko) * | 2021-12-08 | 2023-06-19 | 현대모비스 주식회사 | 사각지대 충돌을 예방하는 방법, 장치, 기록매체 및 차량 |
FR3130229A1 (fr) * | 2021-12-10 | 2023-06-16 | Psa Automobiles Sa | Procédé et dispositif de contrôle de trajectoire d’un véhicule autonome |
CN114194110A (zh) * | 2021-12-20 | 2022-03-18 | 浙江吉利控股集团有限公司 | 乘客化妆预警方法、系统、介质、设备及程序产品 |
US12036996B2 (en) * | 2021-12-21 | 2024-07-16 | Gm Cruise Holdings Llc | Automated method to detect road user frustration due to autonomous vehicle driving behavior |
US11840145B2 (en) * | 2022-01-10 | 2023-12-12 | GM Global Technology Operations LLC | Driver state display |
US12071141B2 (en) * | 2022-01-27 | 2024-08-27 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for predicting driver visual impairment with artificial intelligence |
WO2023152729A1 (en) * | 2022-02-14 | 2023-08-17 | Gentex Corporation | Imaging system for a vehicle |
US12094273B2 (en) * | 2022-02-24 | 2024-09-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods to improve the performance of anomaly detection |
US11628863B1 (en) * | 2022-03-30 | 2023-04-18 | Plusai, Inc. | Methods and apparatus for estimating and compensating for wind disturbance force at a tractor trailer of an autonomous vehicle |
US12065145B2 (en) | 2022-04-14 | 2024-08-20 | Ford Global Technologies, Llc | Systems and methods for vehicle occupant preparation for certain acceleration modes |
CN114931297B (zh) * | 2022-05-25 | 2023-12-29 | 广西添亿友科技有限公司 | 一种新能源房车的颠簸约束方法及系统 |
CN115019832A (zh) * | 2022-05-27 | 2022-09-06 | 中国第一汽车股份有限公司 | 一种车辆用基于情感分析的免唤醒交互方法及装置 |
US11772667B1 (en) | 2022-06-08 | 2023-10-03 | Plusai, Inc. | Operating a vehicle in response to detecting a faulty sensor using calibration parameters of the sensor |
CN115167688B (zh) * | 2022-09-07 | 2022-12-16 | 唯羲科技有限公司 | 一种基于ar眼镜的会议模拟系统及方法 |
US20230007914A1 (en) * | 2022-09-20 | 2023-01-12 | Intel Corporation | Safety device and method for avoidance of dooring injuries |
CN117292505B (zh) * | 2022-11-08 | 2024-04-05 | 南宁桂港程锦科技有限公司 | 基于数据处理的智慧交通疲劳驾驶监控系统及监控方法 |
US11868736B1 (en) * | 2022-11-09 | 2024-01-09 | Moonbeam, Inc. | Approaches to deriving and surfacing insights into conversations in virtual environments and systems for accomplishing the same |
US11975728B1 (en) * | 2022-11-15 | 2024-05-07 | GM Global Technology Operations LLC | Vehicle system and method for providing feedback based on occupant behavior and emotion |
CN116022158B (zh) * | 2023-03-30 | 2023-06-06 | 深圳曦华科技有限公司 | 多域控制器协作的驾驶安全控制方法及装置 |
CN116142188B (zh) * | 2023-04-14 | 2023-06-20 | 禾多科技(北京)有限公司 | 一种基于人工智能的自动驾驶车辆控制决策确定方法 |
CN116653979B (zh) * | 2023-05-31 | 2024-01-05 | 钧捷智能(深圳)有限公司 | 一种驾驶员视场范围光线追踪方法及dms系统 |
CN116468526A (zh) * | 2023-06-19 | 2023-07-21 | 中国第一汽车股份有限公司 | 基于车载oms摄像头的食谱生成方法、装置及车辆 |
US12111797B1 (en) | 2023-09-22 | 2024-10-08 | Storytellers.ai LLC | Schema inference system |
US11961005B1 (en) * | 2023-12-18 | 2024-04-16 | Storytellers.ai LLC | System for automated data preparation, training, and tuning of machine learning models |
CN117850602B (zh) * | 2024-03-08 | 2024-06-21 | 厦门精图信息技术有限公司 | 一种ai电子地图系统及其智能应用方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150360697A1 (en) * | 2014-06-13 | 2015-12-17 | Hyundai Mobis Co., Ltd | System and method for managing dangerous driving index for vehicle |
JP2017199279A (ja) * | 2016-04-28 | 2017-11-02 | トヨタ自動車株式会社 | 運転意識推定装置 |
US20180012085A1 (en) * | 2016-07-07 | 2018-01-11 | Ants Technology (Hk) Limited. | Computer Vision Based Driver Assistance Devices, Systems, Methods and Associated Computer Executable Code |
JP2018067198A (ja) * | 2016-10-20 | 2018-04-26 | 矢崎総業株式会社 | 走行支援装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004039305A1 (de) * | 2004-08-12 | 2006-03-09 | Bayerische Motoren Werke Ag | Vorrichtung zur Auswertung der Aufmerksamkeit eines Fahrers bei einem Kollisionsvermeidungssystem in Kraftfahrzeugen |
US8965685B1 (en) * | 2006-04-07 | 2015-02-24 | Here Global B.V. | Method and system for enabling precautionary actions in a vehicle |
US7880621B2 (en) * | 2006-12-22 | 2011-02-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Distraction estimator |
US20120215403A1 (en) * | 2011-02-20 | 2012-08-23 | General Motors Llc | Method of monitoring a vehicle driver |
EP2564766B1 (en) * | 2011-09-02 | 2018-03-21 | Volvo Car Corporation | Visual input of vehicle operator |
US20160267335A1 (en) * | 2015-03-13 | 2016-09-15 | Harman International Industries, Incorporated | Driver distraction detection system |
US9505413B2 (en) * | 2015-03-20 | 2016-11-29 | Harman International Industries, Incorporated | Systems and methods for prioritized driver alerts |
EP3535646A4 (en) * | 2016-11-07 | 2020-08-12 | Nauto, Inc. | SYSTEM AND METHOD FOR DETERMINING DRIVER DISTRACTION |
-
2019
- 2019-06-26 JP JP2021521746A patent/JP2021530069A/ja active Pending
- 2019-06-26 EP EP19827535.6A patent/EP3837137A4/en not_active Withdrawn
- 2019-06-26 WO PCT/US2019/039356 patent/WO2020006154A2/en active Search and Examination
- 2019-06-26 US US17/256,623 patent/US20210269045A1/en active Pending
- 2019-06-26 CN CN201980055980.6A patent/CN113056390A/zh not_active Withdrawn
- 2019-09-09 US US16/565,477 patent/US20200207358A1/en not_active Abandoned
- 2019-10-04 US US16/592,907 patent/US20200216078A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150360697A1 (en) * | 2014-06-13 | 2015-12-17 | Hyundai Mobis Co., Ltd | System and method for managing dangerous driving index for vehicle |
JP2017199279A (ja) * | 2016-04-28 | 2017-11-02 | トヨタ自動車株式会社 | 運転意識推定装置 |
US20180012085A1 (en) * | 2016-07-07 | 2018-01-11 | Ants Technology (Hk) Limited. | Computer Vision Based Driver Assistance Devices, Systems, Methods and Associated Computer Executable Code |
JP2018067198A (ja) * | 2016-10-20 | 2018-04-26 | 矢崎総業株式会社 | 走行支援装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3837137A2 (en) | 2021-06-23 |
US20200216078A1 (en) | 2020-07-09 |
WO2020006154A3 (en) | 2020-02-06 |
WO2020006154A2 (en) | 2020-01-02 |
CN113056390A (zh) | 2021-06-29 |
US20210269045A1 (en) | 2021-09-02 |
US20200207358A1 (en) | 2020-07-02 |
EP3837137A4 (en) | 2022-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021530069A (ja) | 状況的ドライバ監視システム | |
US20220203996A1 (en) | Systems and methods to limit operating a mobile phone while driving | |
US12032730B2 (en) | Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness | |
US20210357670A1 (en) | Driver Attention Detection Method | |
US11249555B2 (en) | Systems and methods to detect a user behavior within a vehicle | |
US10922566B2 (en) | Cognitive state evaluation for vehicle navigation | |
US20230347903A1 (en) | Sensor-based in-vehicle dynamic driver gaze tracking | |
US20160378112A1 (en) | Autonomous vehicle safety systems and methods | |
US20170287217A1 (en) | Preceding traffic alert system and method | |
US20190087668A1 (en) | Electronic device and control method thereof | |
JPWO2020054458A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
KR20240074777A (ko) | 차량 탑승자 보조를 위한 차량 및 모바일 디바이스 인터페이스 | |
CN113015984A (zh) | 卷积神经网络中的错误校正 | |
KR20240067906A (ko) | 차량 탑승자 보조를 위한 차량 및 모바일 디바이스 인터페이스 | |
US20230166743A1 (en) | Devices and methods for assisting operation of vehicles based on situational assessment fusing expoential risks (safer) | |
WO2022224173A1 (en) | Systems and methods for determining driver control over a vehicle | |
US20200064912A1 (en) | Eye gaze tracking of a vehicle passenger | |
KR20190027657A (ko) | 차량의 주행을 보조하는 장치 및 방법 | |
EP4042322A1 (en) | Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness | |
US11926259B1 (en) | Alert modality selection for alerting a driver | |
WO2022124164A1 (ja) | 注目対象共有装置、注目対象共有方法 | |
US20240362931A1 (en) | Systems and methods for determining driver control over a vehicle | |
JP7238193B2 (ja) | 車両制御装置および車両制御方法 | |
Mihai et al. | Using dual camera smartphones as advanced driver assistance systems: Navieyes system architecture | |
US20240112570A1 (en) | Moving body prediction device, learning method, traffic safety support system, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220627 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230522 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230809 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231020 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240131 |