JP2022524932A - 自律車両システム - Google Patents
自律車両システム Download PDFInfo
- Publication number
- JP2022524932A JP2022524932A JP2021545802A JP2021545802A JP2022524932A JP 2022524932 A JP2022524932 A JP 2022524932A JP 2021545802 A JP2021545802 A JP 2021545802A JP 2021545802 A JP2021545802 A JP 2021545802A JP 2022524932 A JP2022524932 A JP 2022524932A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- data
- sensors
- autonomous
- sensor data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims description 603
- 238000010801 machine learning Methods 0.000 claims description 354
- 241000282414 Homo sapiens Species 0.000 claims description 225
- 238000004891 communication Methods 0.000 claims description 144
- 238000013439 planning Methods 0.000 claims description 128
- 230000008859 change Effects 0.000 claims description 110
- 230000001133 acceleration Effects 0.000 claims description 102
- 238000012986 modification Methods 0.000 claims description 28
- 230000004048 modification Effects 0.000 claims description 28
- 230000006399 behavior Effects 0.000 description 522
- 230000008569 process Effects 0.000 description 234
- 238000001514 detection method Methods 0.000 description 190
- 238000004422 calculation algorithm Methods 0.000 description 183
- 238000012545 processing Methods 0.000 description 182
- 230000009471 action Effects 0.000 description 179
- 238000012549 training Methods 0.000 description 179
- 230000004044 response Effects 0.000 description 164
- 230000033001 locomotion Effects 0.000 description 146
- 230000000875 corresponding effect Effects 0.000 description 113
- 238000010586 diagram Methods 0.000 description 113
- 238000003860 storage Methods 0.000 description 108
- 230000004927 fusion Effects 0.000 description 107
- 230000006870 function Effects 0.000 description 88
- 230000001788 irregular Effects 0.000 description 80
- 238000013528 artificial neural network Methods 0.000 description 77
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 73
- 238000005070 sampling Methods 0.000 description 63
- 230000007613 environmental effect Effects 0.000 description 61
- 230000015654 memory Effects 0.000 description 52
- 238000013442 quality metrics Methods 0.000 description 52
- 230000008447 perception Effects 0.000 description 49
- 238000001914 filtration Methods 0.000 description 48
- 230000000694 effects Effects 0.000 description 45
- 238000012544 monitoring process Methods 0.000 description 45
- 230000004438 eyesight Effects 0.000 description 43
- 238000012360 testing method Methods 0.000 description 43
- 230000003542 behavioural effect Effects 0.000 description 40
- 239000003795 chemical substances by application Substances 0.000 description 40
- 238000013459 approach Methods 0.000 description 39
- 230000008451 emotion Effects 0.000 description 37
- 230000002547 anomalous effect Effects 0.000 description 34
- 230000001537 neural effect Effects 0.000 description 33
- 230000008901 benefit Effects 0.000 description 30
- 238000011156 evaluation Methods 0.000 description 29
- 230000001815 facial effect Effects 0.000 description 29
- 230000001965 increasing effect Effects 0.000 description 27
- 230000000295 complement effect Effects 0.000 description 25
- 238000013480 data collection Methods 0.000 description 25
- 238000013527 convolutional neural network Methods 0.000 description 24
- 230000009466 transformation Effects 0.000 description 24
- 238000010606 normalization Methods 0.000 description 23
- 238000012546 transfer Methods 0.000 description 23
- 238000013473 artificial intelligence Methods 0.000 description 22
- 239000002131 composite material Substances 0.000 description 22
- 230000001276 controlling effect Effects 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 22
- 230000033228 biological regulation Effects 0.000 description 21
- 238000005259 measurement Methods 0.000 description 21
- 230000002829 reductive effect Effects 0.000 description 21
- 238000013145 classification model Methods 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 20
- 230000002787 reinforcement Effects 0.000 description 20
- 230000001960 triggered effect Effects 0.000 description 20
- 238000006243 chemical reaction Methods 0.000 description 18
- 239000003550 marker Substances 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 17
- 230000001010 compromised effect Effects 0.000 description 16
- 230000001976 improved effect Effects 0.000 description 16
- 230000001105 regulatory effect Effects 0.000 description 16
- VEMKTZHHVJILDY-UHFFFAOYSA-N resmethrin Chemical compound CC1(C)C(C=C(C)C)C1C(=O)OCC1=COC(CC=2C=CC=CC=2)=C1 VEMKTZHHVJILDY-UHFFFAOYSA-N 0.000 description 16
- 241000282412 Homo Species 0.000 description 15
- 238000012706 support-vector machine Methods 0.000 description 15
- 210000000887 face Anatomy 0.000 description 14
- 230000036541 health Effects 0.000 description 14
- 239000013598 vector Substances 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 12
- 210000004209 hair Anatomy 0.000 description 12
- 230000007246 mechanism Effects 0.000 description 12
- 238000010276 construction Methods 0.000 description 11
- 230000000670 limiting effect Effects 0.000 description 11
- 238000012423 maintenance Methods 0.000 description 11
- 230000000717 retained effect Effects 0.000 description 11
- 230000032258 transport Effects 0.000 description 11
- 239000013566 allergen Substances 0.000 description 10
- 230000002996 emotional effect Effects 0.000 description 10
- 238000004088 simulation Methods 0.000 description 10
- 230000003068 static effect Effects 0.000 description 10
- 230000002123 temporal effect Effects 0.000 description 10
- 230000001131 transforming effect Effects 0.000 description 10
- 238000012795 verification Methods 0.000 description 10
- 230000037007 arousal Effects 0.000 description 9
- 238000012790 confirmation Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 9
- 230000018109 developmental process Effects 0.000 description 9
- 238000007499 fusion processing Methods 0.000 description 9
- 230000037308 hair color Effects 0.000 description 9
- 238000013140 knowledge distillation Methods 0.000 description 9
- 230000036961 partial effect Effects 0.000 description 9
- 230000009467 reduction Effects 0.000 description 9
- 238000004821 distillation Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 8
- 230000001771 impaired effect Effects 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 8
- 230000007257 malfunction Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 230000000306 recurrent effect Effects 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 239000012528 membrane Substances 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 238000010200 validation analysis Methods 0.000 description 7
- 230000000903 blocking effect Effects 0.000 description 6
- 230000036760 body temperature Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000003066 decision tree Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 206010041235 Snoring Diseases 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000007792 addition Methods 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 5
- 238000007635 classification algorithm Methods 0.000 description 5
- 230000001149 cognitive effect Effects 0.000 description 5
- 230000006378 damage Effects 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000013178 mathematical model Methods 0.000 description 5
- 239000002245 particle Substances 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000002360 preparation method Methods 0.000 description 5
- 238000007637 random forest analysis Methods 0.000 description 5
- 230000008093 supporting effect Effects 0.000 description 5
- 238000012384 transportation and delivery Methods 0.000 description 5
- 238000012952 Resampling Methods 0.000 description 4
- 230000004931 aggregating effect Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 230000000977 initiatory effect Effects 0.000 description 4
- 230000000116 mitigating effect Effects 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 238000000275 quality assurance Methods 0.000 description 4
- 238000013515 script Methods 0.000 description 4
- 230000006403 short-term memory Effects 0.000 description 4
- 238000013518 transcription Methods 0.000 description 4
- 230000035897 transcription Effects 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- WNEODWDFDXWOLU-QHCPKHFHSA-N 3-[3-(hydroxymethyl)-4-[1-methyl-5-[[5-[(2s)-2-methyl-4-(oxetan-3-yl)piperazin-1-yl]pyridin-2-yl]amino]-6-oxopyridin-3-yl]pyridin-2-yl]-7,7-dimethyl-1,2,6,8-tetrahydrocyclopenta[3,4]pyrrolo[3,5-b]pyrazin-4-one Chemical compound C([C@@H](N(CC1)C=2C=NC(NC=3C(N(C)C=C(C=3)C=3C(=C(N4C(C5=CC=6CC(C)(C)CC=6N5CC4)=O)N=CC=3)CO)=O)=CC=2)C)N1C1COC1 WNEODWDFDXWOLU-QHCPKHFHSA-N 0.000 description 3
- 201000004384 Alopecia Diseases 0.000 description 3
- 206010013975 Dyspnoeas Diseases 0.000 description 3
- 206010020751 Hypersensitivity Diseases 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 208000003443 Unconsciousness Diseases 0.000 description 3
- 230000007815 allergy Effects 0.000 description 3
- 230000009118 appropriate response Effects 0.000 description 3
- 208000006673 asthma Diseases 0.000 description 3
- 238000013475 authorization Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000013481 data capture Methods 0.000 description 3
- 238000013479 data entry Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 230000003676 hair loss Effects 0.000 description 3
- 244000144972 livestock Species 0.000 description 3
- 238000007477 logistic regression Methods 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000035484 reaction time Effects 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- SOCAXRLFGRNEPK-IFZYUDKTSA-N (1r,3s,5r)-2-n-[1-carbamoyl-5-(cyanomethoxy)indol-3-yl]-3-n-[(3-chloro-2-fluorophenyl)methyl]-2-azabicyclo[3.1.0]hexane-2,3-dicarboxamide Chemical compound O=C([C@@H]1C[C@H]2C[C@H]2N1C(=O)NC1=CN(C2=CC=C(OCC#N)C=C21)C(=O)N)NCC1=CC=CC(Cl)=C1F SOCAXRLFGRNEPK-IFZYUDKTSA-N 0.000 description 2
- MAYZWDRUFKUGGP-VIFPVBQESA-N (3s)-1-[5-tert-butyl-3-[(1-methyltetrazol-5-yl)methyl]triazolo[4,5-d]pyrimidin-7-yl]pyrrolidin-3-ol Chemical compound CN1N=NN=C1CN1C2=NC(C(C)(C)C)=NC(N3C[C@@H](O)CC3)=C2N=N1 MAYZWDRUFKUGGP-VIFPVBQESA-N 0.000 description 2
- UKGJZDSUJSPAJL-YPUOHESYSA-N (e)-n-[(1r)-1-[3,5-difluoro-4-(methanesulfonamido)phenyl]ethyl]-3-[2-propyl-6-(trifluoromethyl)pyridin-3-yl]prop-2-enamide Chemical compound CCCC1=NC(C(F)(F)F)=CC=C1\C=C\C(=O)N[C@H](C)C1=CC(F)=C(NS(C)(=O)=O)C(F)=C1 UKGJZDSUJSPAJL-YPUOHESYSA-N 0.000 description 2
- ZGYIXVSQHOKQRZ-COIATFDQSA-N (e)-n-[4-[3-chloro-4-(pyridin-2-ylmethoxy)anilino]-3-cyano-7-[(3s)-oxolan-3-yl]oxyquinolin-6-yl]-4-(dimethylamino)but-2-enamide Chemical compound N#CC1=CN=C2C=C(O[C@@H]3COCC3)C(NC(=O)/C=C/CN(C)C)=CC2=C1NC(C=C1Cl)=CC=C1OCC1=CC=CC=N1 ZGYIXVSQHOKQRZ-COIATFDQSA-N 0.000 description 2
- MJUVRTYWUMPBTR-MRXNPFEDSA-N 1-(2,2-difluoro-1,3-benzodioxol-5-yl)-n-[1-[(2r)-2,3-dihydroxypropyl]-6-fluoro-2-(1-hydroxy-2-methylpropan-2-yl)indol-5-yl]cyclopropane-1-carboxamide Chemical compound FC=1C=C2N(C[C@@H](O)CO)C(C(C)(CO)C)=CC2=CC=1NC(=O)C1(C=2C=C3OC(F)(F)OC3=CC=2)CC1 MJUVRTYWUMPBTR-MRXNPFEDSA-N 0.000 description 2
- KCBWAFJCKVKYHO-UHFFFAOYSA-N 6-(4-cyclopropyl-6-methoxypyrimidin-5-yl)-1-[[4-[1-propan-2-yl-4-(trifluoromethyl)imidazol-2-yl]phenyl]methyl]pyrazolo[3,4-d]pyrimidine Chemical compound C1(CC1)C1=NC=NC(=C1C1=NC=C2C(=N1)N(N=C2)CC1=CC=C(C=C1)C=1N(C=C(N=1)C(F)(F)F)C(C)C)OC KCBWAFJCKVKYHO-UHFFFAOYSA-N 0.000 description 2
- ZRPZPNYZFSJUPA-UHFFFAOYSA-N ARS-1620 Chemical compound Oc1cccc(F)c1-c1c(Cl)cc2c(ncnc2c1F)N1CCN(CC1)C(=O)C=C ZRPZPNYZFSJUPA-UHFFFAOYSA-N 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 208000000059 Dyspnea Diseases 0.000 description 2
- 238000006424 Flood reaction Methods 0.000 description 2
- 241001236644 Lavinia Species 0.000 description 2
- AYCPARAPKDAOEN-LJQANCHMSA-N N-[(1S)-2-(dimethylamino)-1-phenylethyl]-6,6-dimethyl-3-[(2-methyl-4-thieno[3,2-d]pyrimidinyl)amino]-1,4-dihydropyrrolo[3,4-c]pyrazole-5-carboxamide Chemical compound C1([C@H](NC(=O)N2C(C=3NN=C(NC=4C=5SC=CC=5N=C(C)N=4)C=3C2)(C)C)CN(C)C)=CC=CC=C1 AYCPARAPKDAOEN-LJQANCHMSA-N 0.000 description 2
- FEYNFHSRETUBEM-UHFFFAOYSA-N N-[3-(1,1-difluoroethyl)phenyl]-1-(4-methoxyphenyl)-3-methyl-5-oxo-4H-pyrazole-4-carboxamide Chemical compound COc1ccc(cc1)N1N=C(C)C(C(=O)Nc2cccc(c2)C(C)(F)F)C1=O FEYNFHSRETUBEM-UHFFFAOYSA-N 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000016571 aggressive behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000003750 conditioning effect Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000002964 excitative effect Effects 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000009931 harmful effect Effects 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000002427 irreversible effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- FMASTMURQSHELY-UHFFFAOYSA-N n-(4-fluoro-2-methylphenyl)-3-methyl-n-[(2-methyl-1h-indol-4-yl)methyl]pyridine-4-carboxamide Chemical compound C1=CC=C2NC(C)=CC2=C1CN(C=1C(=CC(F)=CC=1)C)C(=O)C1=CC=NC=C1C FMASTMURQSHELY-UHFFFAOYSA-N 0.000 description 2
- VFBILHPIHUPBPZ-UHFFFAOYSA-N n-[[2-[4-(difluoromethoxy)-3-propan-2-yloxyphenyl]-1,3-oxazol-4-yl]methyl]-2-ethoxybenzamide Chemical compound CCOC1=CC=CC=C1C(=O)NCC1=COC(C=2C=C(OC(C)C)C(OC(F)F)=CC=2)=N1 VFBILHPIHUPBPZ-UHFFFAOYSA-N 0.000 description 2
- DOWVMJFBDGWVML-UHFFFAOYSA-N n-cyclohexyl-n-methyl-4-(1-oxidopyridin-1-ium-3-yl)imidazole-1-carboxamide Chemical compound C1=NC(C=2C=[N+]([O-])C=CC=2)=CN1C(=O)N(C)C1CCCCC1 DOWVMJFBDGWVML-UHFFFAOYSA-N 0.000 description 2
- NNKPHNTWNILINE-UHFFFAOYSA-N n-cyclopropyl-3-fluoro-4-methyl-5-[3-[[1-[2-[2-(methylamino)ethoxy]phenyl]cyclopropyl]amino]-2-oxopyrazin-1-yl]benzamide Chemical compound CNCCOC1=CC=CC=C1C1(NC=2C(N(C=3C(=C(F)C=C(C=3)C(=O)NC3CC3)C)C=CN=2)=O)CC1 NNKPHNTWNILINE-UHFFFAOYSA-N 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- XIIOFHFUYBLOLW-UHFFFAOYSA-N selpercatinib Chemical compound OC(COC=1C=C(C=2N(C=1)N=CC=2C#N)C=1C=NC(=CC=1)N1CC2N(C(C1)C2)CC=1C=NC(=CC=1)OC)(C)C XIIOFHFUYBLOLW-UHFFFAOYSA-N 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 230000000946 synaptic effect Effects 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- VCGRFBXVSFAGGA-UHFFFAOYSA-N (1,1-dioxo-1,4-thiazinan-4-yl)-[6-[[3-(4-fluorophenyl)-5-methyl-1,2-oxazol-4-yl]methoxy]pyridin-3-yl]methanone Chemical compound CC=1ON=C(C=2C=CC(F)=CC=2)C=1COC(N=C1)=CC=C1C(=O)N1CCS(=O)(=O)CC1 VCGRFBXVSFAGGA-UHFFFAOYSA-N 0.000 description 1
- DOMQFIFVDIAOOT-ROUUACIJSA-N (2S,3R)-N-[4-(2,6-dimethoxyphenyl)-5-(5-methylpyridin-3-yl)-1,2,4-triazol-3-yl]-3-(5-methylpyrimidin-2-yl)butane-2-sulfonamide Chemical compound COC1=C(C(=CC=C1)OC)N1C(=NN=C1C=1C=NC=C(C=1)C)NS(=O)(=O)[C@@H](C)[C@H](C)C1=NC=C(C=N1)C DOMQFIFVDIAOOT-ROUUACIJSA-N 0.000 description 1
- HGRWHBQLRXWSLV-DEOSSOPVSA-N (4s)-3'-(3,6-dihydro-2h-pyran-5-yl)-1'-fluoro-7'-(3-fluoropyridin-2-yl)spiro[5h-1,3-oxazole-4,5'-chromeno[2,3-c]pyridine]-2-amine Chemical compound C1OC(N)=N[C@]21C1=CC(C=3COCCC=3)=NC(F)=C1OC1=CC=C(C=3C(=CC=CN=3)F)C=C12 HGRWHBQLRXWSLV-DEOSSOPVSA-N 0.000 description 1
- MOWXJLUYGFNTAL-DEOSSOPVSA-N (s)-[2-chloro-4-fluoro-5-(7-morpholin-4-ylquinazolin-4-yl)phenyl]-(6-methoxypyridazin-3-yl)methanol Chemical compound N1=NC(OC)=CC=C1[C@@H](O)C1=CC(C=2C3=CC=C(C=C3N=CN=2)N2CCOCC2)=C(F)C=C1Cl MOWXJLUYGFNTAL-DEOSSOPVSA-N 0.000 description 1
- APWRZPQBPCAXFP-UHFFFAOYSA-N 1-(1-oxo-2H-isoquinolin-5-yl)-5-(trifluoromethyl)-N-[2-(trifluoromethyl)pyridin-4-yl]pyrazole-4-carboxamide Chemical compound O=C1NC=CC2=C(C=CC=C12)N1N=CC(=C1C(F)(F)F)C(=O)NC1=CC(=NC=C1)C(F)(F)F APWRZPQBPCAXFP-UHFFFAOYSA-N 0.000 description 1
- ABDDQTDRAHXHOC-QMMMGPOBSA-N 1-[(7s)-5,7-dihydro-4h-thieno[2,3-c]pyran-7-yl]-n-methylmethanamine Chemical compound CNC[C@@H]1OCCC2=C1SC=C2 ABDDQTDRAHXHOC-QMMMGPOBSA-N 0.000 description 1
- CWZUTHDJLNZLCM-DFBGVHRSSA-N 1-[2-[(1r,3s,5r)-3-[(6-bromopyridin-2-yl)carbamoyl]-2-azabicyclo[3.1.0]hexan-2-yl]-2-oxoethyl]indazole-3-carboxamide Chemical compound O=C([C@@H]1C[C@H]2C[C@H]2N1C(=O)CN1N=C(C2=CC=CC=C21)C(=O)N)NC1=CC=CC(Br)=N1 CWZUTHDJLNZLCM-DFBGVHRSSA-N 0.000 description 1
- HCDMJFOHIXMBOV-UHFFFAOYSA-N 3-(2,6-difluoro-3,5-dimethoxyphenyl)-1-ethyl-8-(morpholin-4-ylmethyl)-4,7-dihydropyrrolo[4,5]pyrido[1,2-d]pyrimidin-2-one Chemical compound C=1C2=C3N(CC)C(=O)N(C=4C(=C(OC)C=C(OC)C=4F)F)CC3=CN=C2NC=1CN1CCOCC1 HCDMJFOHIXMBOV-UHFFFAOYSA-N 0.000 description 1
- BYHQTRFJOGIQAO-GOSISDBHSA-N 3-(4-bromophenyl)-8-[(2R)-2-hydroxypropyl]-1-[(3-methoxyphenyl)methyl]-1,3,8-triazaspiro[4.5]decan-2-one Chemical compound C[C@H](CN1CCC2(CC1)CN(C(=O)N2CC3=CC(=CC=C3)OC)C4=CC=C(C=C4)Br)O BYHQTRFJOGIQAO-GOSISDBHSA-N 0.000 description 1
- YGYGASJNJTYNOL-CQSZACIVSA-N 3-[(4r)-2,2-dimethyl-1,1-dioxothian-4-yl]-5-(4-fluorophenyl)-1h-indole-7-carboxamide Chemical compound C1CS(=O)(=O)C(C)(C)C[C@@H]1C1=CNC2=C(C(N)=O)C=C(C=3C=CC(F)=CC=3)C=C12 YGYGASJNJTYNOL-CQSZACIVSA-N 0.000 description 1
- SRVXSISGYBMIHR-UHFFFAOYSA-N 3-[3-[3-(2-amino-2-oxoethyl)phenyl]-5-chlorophenyl]-3-(5-methyl-1,3-thiazol-2-yl)propanoic acid Chemical compound S1C(C)=CN=C1C(CC(O)=O)C1=CC(Cl)=CC(C=2C=C(CC(N)=O)C=CC=2)=C1 SRVXSISGYBMIHR-UHFFFAOYSA-N 0.000 description 1
- VJPPLCNBDLZIFG-ZDUSSCGKSA-N 4-[(3S)-3-(but-2-ynoylamino)piperidin-1-yl]-5-fluoro-2,3-dimethyl-1H-indole-7-carboxamide Chemical compound C(C#CC)(=O)N[C@@H]1CN(CCC1)C1=C2C(=C(NC2=C(C=C1F)C(=O)N)C)C VJPPLCNBDLZIFG-ZDUSSCGKSA-N 0.000 description 1
- YFCIFWOJYYFDQP-PTWZRHHISA-N 4-[3-amino-6-[(1S,3S,4S)-3-fluoro-4-hydroxycyclohexyl]pyrazin-2-yl]-N-[(1S)-1-(3-bromo-5-fluorophenyl)-2-(methylamino)ethyl]-2-fluorobenzamide Chemical compound CNC[C@@H](NC(=O)c1ccc(cc1F)-c1nc(cnc1N)[C@H]1CC[C@H](O)[C@@H](F)C1)c1cc(F)cc(Br)c1 YFCIFWOJYYFDQP-PTWZRHHISA-N 0.000 description 1
- XYWIPYBIIRTJMM-IBGZPJMESA-N 4-[[(2S)-2-[4-[5-chloro-2-[4-(trifluoromethyl)triazol-1-yl]phenyl]-5-methoxy-2-oxopyridin-1-yl]butanoyl]amino]-2-fluorobenzamide Chemical compound CC[C@H](N1C=C(OC)C(=CC1=O)C1=C(C=CC(Cl)=C1)N1C=C(N=N1)C(F)(F)F)C(=O)NC1=CC(F)=C(C=C1)C(N)=O XYWIPYBIIRTJMM-IBGZPJMESA-N 0.000 description 1
- KVCQTKNUUQOELD-UHFFFAOYSA-N 4-amino-n-[1-(3-chloro-2-fluoroanilino)-6-methylisoquinolin-5-yl]thieno[3,2-d]pyrimidine-7-carboxamide Chemical compound N=1C=CC2=C(NC(=O)C=3C4=NC=NC(N)=C4SC=3)C(C)=CC=C2C=1NC1=CC=CC(Cl)=C1F KVCQTKNUUQOELD-UHFFFAOYSA-N 0.000 description 1
- IRPVABHDSJVBNZ-RTHVDDQRSA-N 5-[1-(cyclopropylmethyl)-5-[(1R,5S)-3-(oxetan-3-yl)-3-azabicyclo[3.1.0]hexan-6-yl]pyrazol-3-yl]-3-(trifluoromethyl)pyridin-2-amine Chemical compound C1=C(C(F)(F)F)C(N)=NC=C1C1=NN(CC2CC2)C(C2[C@@H]3CN(C[C@@H]32)C2COC2)=C1 IRPVABHDSJVBNZ-RTHVDDQRSA-N 0.000 description 1
- UNQYAAAWKOOBFQ-UHFFFAOYSA-N 7-[(4-chlorophenyl)methyl]-8-[4-chloro-3-(trifluoromethoxy)phenoxy]-1-(3-hydroxypropyl)-3-methylpurine-2,6-dione Chemical compound C=1C=C(Cl)C=CC=1CN1C=2C(=O)N(CCCO)C(=O)N(C)C=2N=C1OC1=CC=C(Cl)C(OC(F)(F)F)=C1 UNQYAAAWKOOBFQ-UHFFFAOYSA-N 0.000 description 1
- CYJRNFFLTBEQSQ-UHFFFAOYSA-N 8-(3-methyl-1-benzothiophen-5-yl)-N-(4-methylsulfonylpyridin-3-yl)quinoxalin-6-amine Chemical compound CS(=O)(=O)C1=C(C=NC=C1)NC=1C=C2N=CC=NC2=C(C=1)C=1C=CC2=C(C(=CS2)C)C=1 CYJRNFFLTBEQSQ-UHFFFAOYSA-N 0.000 description 1
- 206010001488 Aggression Diseases 0.000 description 1
- 208000025940 Back injury Diseases 0.000 description 1
- 206010009244 Claustrophobia Diseases 0.000 description 1
- 206010011469 Crying Diseases 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 241000283074 Equus asinus Species 0.000 description 1
- GISRWBROCYNDME-PELMWDNLSA-N F[C@H]1[C@H]([C@H](NC1=O)COC1=NC=CC2=CC(=C(C=C12)OC)C(=O)N)C Chemical compound F[C@H]1[C@H]([C@H](NC1=O)COC1=NC=CC2=CC(=C(C=C12)OC)C(=O)N)C GISRWBROCYNDME-PELMWDNLSA-N 0.000 description 1
- 206010020400 Hostility Diseases 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- IDRGFNPZDVBSSE-UHFFFAOYSA-N OCCN1CCN(CC1)c1ccc(Nc2ncc3cccc(-c4cccc(NC(=O)C=C)c4)c3n2)c(F)c1F Chemical compound OCCN1CCN(CC1)c1ccc(Nc2ncc3cccc(-c4cccc(NC(=O)C=C)c4)c3n2)c(F)c1F IDRGFNPZDVBSSE-UHFFFAOYSA-N 0.000 description 1
- 240000007817 Olea europaea Species 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 206010039740 Screaming Diseases 0.000 description 1
- 241000287219 Serinus canaria Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- LXRZVMYMQHNYJB-UNXOBOICSA-N [(1R,2S,4R)-4-[[5-[4-[(1R)-7-chloro-1,2,3,4-tetrahydroisoquinolin-1-yl]-5-methylthiophene-2-carbonyl]pyrimidin-4-yl]amino]-2-hydroxycyclopentyl]methyl sulfamate Chemical compound CC1=C(C=C(S1)C(=O)C1=C(N[C@H]2C[C@H](O)[C@@H](COS(N)(=O)=O)C2)N=CN=C1)[C@@H]1NCCC2=C1C=C(Cl)C=C2 LXRZVMYMQHNYJB-UNXOBOICSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 208000012761 aggressive behavior Diseases 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000004887 air purification Methods 0.000 description 1
- 230000000172 allergic effect Effects 0.000 description 1
- YVPYQUNUQOZFHG-UHFFFAOYSA-N amidotrizoic acid Chemical compound CC(=O)NC1=C(I)C(NC(C)=O)=C(I)C(C(O)=O)=C1I YVPYQUNUQOZFHG-UHFFFAOYSA-N 0.000 description 1
- 208000010668 atopic eczema Diseases 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- DGLFSNZWRYADFC-UHFFFAOYSA-N chembl2334586 Chemical compound C1CCC2=CN=C(N)N=C2C2=C1NC1=CC=C(C#CC(C)(O)C)C=C12 DGLFSNZWRYADFC-UHFFFAOYSA-N 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 230000006998 cognitive state Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000000254 damaging effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000009429 distress Effects 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 208000019899 phobic disease Diseases 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- LZMJNVRJMFMYQS-UHFFFAOYSA-N poseltinib Chemical compound C1CN(C)CCN1C(C=C1)=CC=C1NC1=NC(OC=2C=C(NC(=O)C=C)C=CC=2)=C(OC=C2)C2=N1 LZMJNVRJMFMYQS-UHFFFAOYSA-N 0.000 description 1
- 230000001242 postsynaptic effect Effects 0.000 description 1
- 230000003518 presynaptic effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000010926 purge Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000013349 risk mitigation Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 231100000279 safety data Toxicity 0.000 description 1
- 231100000817 safety factor Toxicity 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000007727 signaling mechanism Effects 0.000 description 1
- XGVXKJKTISMIOW-ZDUSSCGKSA-N simurosertib Chemical compound N1N=CC(C=2SC=3C(=O)NC(=NC=3C=2)[C@H]2N3CCC(CC3)C2)=C1C XGVXKJKTISMIOW-ZDUSSCGKSA-N 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 210000004916 vomit Anatomy 0.000 description 1
- 230000008673 vomiting Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0097—Predicting future conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
- B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0057—Estimation of the time available or required for the handover
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
- G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
- G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
- G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
- G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
- G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
- G08G1/09675—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
- G08G1/096758—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where no selection takes place on the transmitted or the received information
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
- G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
- G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/321—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority
- H04L9/3213—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority using tickets or tokens, e.g. Kerberos
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0052—Filtering, filters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
- B60W2050/0083—Setting, resetting, calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/043—Identity of occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/047—Prioritizing desires of multiple occupants, e.g. when setting climate control or driving behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/215—Selection or confirmation of options
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/30—Driving style
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4046—Behavior, e.g. aggressive or erratic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/35—Data fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/65—Data transmitted between vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Atmospheric Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computer Security & Cryptography (AREA)
- Multimedia (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
Abstract
センサデータが複数のセンサから受信され、複数のセンサは第１セットのセンサを含み、第２セットのセンサおよび複数のセンサの少なくとも一部は車両に結合される。車両の制御は、第１セットのセンサによって生成されたセンサデータの少なくとも一部に基づいて自動化される。自律車両内の１または複数の乗員の乗員属性が、第２セットのセンサによって生成されたセンサデータから決定される。車両の属性は、乗員属性、および、第１セットのセンサによって生成されるセンサデータに基づいて修正される。
Description
［関連出願の相互参照］
本願は、２０１９年３月２９日に出願された、「自律車両システム」と題する米国仮特許出願第６２／８２６，９５５号の優先権の利益を主張するものであり、その開示の全体は、参照によって本明細書に組み込まれる。
本願は、２０１９年３月２９日に出願された、「自律車両システム」と題する米国仮特許出願第６２／８２６，９５５号の優先権の利益を主張するものであり、その開示の全体は、参照によって本明細書に組み込まれる。
本開示は一般的に、コンピュータシステム、より具体的には、自律車両を可能にするコンピューティングシステムの分野に関する。
いくつかの車両は、運転者からの入力がほとんど無いまたは無い状態で車両が環境をナビゲートする自律モードで動作するよう構成される。そのような車両は典型的には、環境についての情報を感知するよう構成される１または複数のセンサを含む。車両は、感知された情報を使用して環境をナビゲートし得る。例えば、車両が障害物に近づいていることをセンサが感知した場合、車両は障害物を迂回するようにナビゲートし得る。
図１は、例示的な自律運転環境を示す簡略図１００である。車両（例えば、１０５、１１０、１１５など）には、それぞれの自律運転スタックを可能にするハードウェア、ファームウェア、および／またはソフトウェアにおいて実装されるロジックを有する車載コンピューティングシステムを通じて促進される様々なレベルの自律運転能力が提供され得る。そのような自律運転スタックは、車両が自己制御することを可能にし得る、または、車道を検出し、一地点から別の地点までナビゲートし、他の車両および道路アクター（例えば、歩行者（例えば１３５）、自転車に乗っている人など）を検出し、障害物および危険（例えば１２０）ならびに道路条件（例えば、交通、道路条件、天候条件など）を検出し、それに従って、車両の制御およびガイダンスを調整する運転者アシスタンスを提供し得る。本開示において、「車両」とは、１または複数の人間の乗員を運ぶように設計された有人車両（例えば、車、トラック、バン、バス、バイク、電車、空中輸送車両、救急車など）、人間の乗員を有する、または有することなく運転する無人車両（例えば、貨物車両（例えば、トラック、鉄道ベースの車両など））、非人間の乗員の車両（例えば、家畜の輸送など）、および／または、ドローン（例えば、運転環境内で移動する地上ベースまたは航空ドローンまたはロボット（例えば、運転環境に関する情報を収集し、他の車両の自動化に支援を提供し、道路メンテナンスタスクを実行し、工業的タスクを提供し、公共安全性および緊急事態応答タスクなどを提供する））であり得る。いくつかの実装において、数ある例の中でも特に、車両は、複数の異なるモードで代替的に動作するよう構成されるシステム（例えば、乗用車両、無人車両、またはドローン車両）であり得る。車両は、環境内で「運転」し得、地上（例えば、舗装または非舗装道路、経路、または景色）、水中、または空中で車両を移動させる。この意味において、実装に応じて、「道路」または「車道」は、屋外または屋内の地上ベースの経路、水中チャネル、または、定義された空中の境界を具現化し得る。従って、以下の開示および関連する実施形態は、様々なコンテキストおよび車両実装例に等しく適用し得ると理解されるべきである。
いくつかの実装において、環境内の車両（例えば、１０５、１１０、１１５）は、「接続」され得る。すなわち、車載コンピューティングシステムは、１または複数技術（例えば、ＩＥＥＥ８０２．１１通信（例えばＷｉＦｉ）、セルラデータネットワーク（例えば第３世代パートナーシッププロジェクト（３ＧＰＰ）ネットワーク、グローバルシステムフォーモバイルコミュニケーション（ＧＳＭ（登録商標））、汎用パケット無線サービス、符号分割多重接続（ＣＤＭＡ），４Ｇ，５Ｇ，６Ｇなど）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ミリメートル波（ｍｍＷａｖｅ）、ＺｉｇＢｅｅ（登録商標）、Ｚ－Ｗａｖｅなど）を使用して無線通信をサポートする通信モジュールを含み、これにより、他の車両の車載コンピューティングシステム、路肩ユニット、クラウドベースのコンピューティングシステム、または他のサポートするインフラストラクチャなど、車載コンピューティングシステムが他のコンピューティングシステムと接続および通信することを可能にする。例えば、いくつかの実装において、車両（例えば、１０５、１１０、１１５）は、コンピューティングシステムと通信して、車両自体の自律運転能力をサポートするようにセンサ、データおよびサービスを提供し得る。例えば、図１の説明のための例において示されるように、サポートドローン１８０（例えば、地上ベースおよび／または空中）、路肩コンピューティングデバイス（例えば１４０）、様々な外部（車両にとって、または「外的」）センサデバイス（例えば、１６０、１６５、１７０、１７５など）および他のデバイスは、車両上に実装されるコンピューティングシステム、センサ、およびロジック（例えば、１０５、１１０、１１５）とは別個の自律運転インフラストラクチャとして提供され、数ある例の中でも特に、車両を通じて提供される自律運転結果をサポートおよび改善し得る。車両はまた、無線通信チャネルを介して、他の接続された車両と通信して、数ある例示的な通信の中でも特に、データを共有し、自律運転環境内の移動を協調させ得る。
図１の例において示されるように、自律運転インフラストラクチャは、様々な異なるシステムを組み込み得る。そのようなシステムは、場所に応じて変動し得る。すなわち、より開発された車道（例えば、特定の地方自治体または通行料金管理者によって制御される車道、市街地における車道、自律車両にとって問題があることが知られている車道の区間など）などは、車道の他の区間より多くの数の、または、より高度なサポート用インフラストラクチャデバイスを有する。例えば、補完センサデバイス（例えば、１６０、１６５、１７０、１７５）が提供され得る。これらは、車道の一部および環境内において移動する車両を観察して、センサの観察を説明または具現化する、対応するデータを生成するためのセンサを含む。例として、数ある例の中でも特に、センサデバイスが車道自体の中（例えばセンサ１６０）、路肩上、または、頭上のサイネージ（例えば、標識１２５上のセンサ１６５）、電子路肩機器または設備（例えば交通信号機（例えば１３０）、電子道路標識、電子掲示板など）に取り付けられたセンサ（例えば、１７０、１７５）、専用路肩ユニット（例えば１４０）に組み込まれ得る。センサデバイスはまた、収集されたセンサデータを近くの接続された車両、または、フォグもしくはクラウドベースのコンピューティングシステム（例えば１４０、１５０）と直接通信する通信機能を含み得る。車両は、外部センサデバイス（例えば１６０、１６５、１７０、１７５、１８０）によって収集されるセンサデータ、または、これらのセンサデバイス（例えば１６０、１６５、１７０、１７５、１８０）からのセンサデータに基づいて他のシステム（例えば１４０、１５０）によって生成された観察またはレコメンドを具現化するデータを取得し、車載自律運転システムによって実行されるセンサ融合、推論、経路計画、および他のタスクにおいてこのデータを使用し得る。いくつかの場合において、そのような外的センサおよびセンサデータは実際には、車両に取り付けられたアフターマーケットセンサ、車両の乗員が保持または装着するパーソナルコンピューティングデバイス（例えばスマートフォン、ウェアラブルなど）などの形式で車両の中にあり得る。歩行者、自転車、ドローン、無人航空車両、ロボット、電子スクータなどを含む他の道路アクターはまた、数ある例の中でも特に、自律車両によって使用または消費され得る、自律運転環境を記述するセンサデータを生成するためのセンサ、クラウドまたはフォグベースサポートシステム（例えば１４０、１５０）、他のセンサデバイス（例えば１６０、１６５、１７０、１７５、１８０）を提供され得る、または、保持し得る。
自律車両システムは、様々なレベルの機能および洗練度を所持し得るので、いくつかの車両の感知能力だけでなく、いくつかの車両の自律運転機能を可能にするコンピュータおよび機械学習機能も補完するために、サポートインフラストラクチャが必要とされ得る。例えば、機械学習モデル訓練を促進し、そのような機械学習モデルを使用するために使用される計算リソースおよび自律運転ロジックが、車載システムおよびいくつかの外部システム（例えば１４０、１５０）の両方に全体的にまたは部分的にある車載コンピューティングシステム上で提供され得る。例えば、接続された車両は、車道の特定区間に局所的な路肩ユニット、エッジシステム、またはクラウドベースデバイス（例えば１４０）と通信し得、そのようなデバイス（例えば１４０）は、データ（例えばローカルセンサ（例えば１６０、１６５、１７０、１７５、１８０）から集約されたセンサデータ、または、他の車両のセンサからレポートされたデータ）を提供し、車両によって提供されたデータに対して（サービスとして）計算を実行して車両にネイティブな能力を補完する、および／または、通過もしくは接近する車両に情報を（例えばデバイス１４０で収集された、または、近くのセンサデバイスからなどのセンサデータに基づいて）プッシュすることが可能である。接続された車両（例えば１０５、１１０、１１５）はまた、または代わりに、同様のメモリ、感知、および計算リソースを提供して車両で利用可能なものを強化し得るクラウドベースのコンピューティングシステム（例えば１５０）と通信し得る。例えば、クラウドベースシステム（例えば１５０）は、１または複数の場所における様々なデバイスからセンサデータを収集し、このデータを利用して、クラウドベースシステムで使用され得る機械学習モデルをビルドおよび／または訓練し得る（数ある例示的な実装の中でも特に、クラウドベースシステム１５０と通信する様々な車両（例えば１０５、１１０、１１５）に結果を提供する、または、車載システムによる使用のために車両にプッシュするため）。携帯電話タワー、路肩ユニット、様々な車道インフラストラクチャに搭載されたネットワークアクセスポイント、近隣の車両または建物によって提供されるアクセスポイント、および他のアクセスポイントなどのアクセスポイント（例えば１４５）が、環境内に提供され、クラウドベースシステム（例えば１５０）と様々な車両（例えば１０５、１１０、１１５）との間の１または複数のローカルまたはワイドエリアネットワーク（例えば１５５）を介した通信を促進するために使用され得る。そのようなインフラストラクチャおよびコンピューティングシステムを通じて、本明細書において説明される例、特徴、および解決手法が、そのような車載コンピューティングシステム、フォグベースまたはエッジコンピューティングデバイス、またはクラウドベースのコンピューティングシステムのうち１または複数によって、または、システム間の通信および協調を通じて上記の組み合わせによって全体的に実行され得ることが理解されるべきである。
一般的に、本明細書において説明される「サーバ」、「クライアント」、「コンピューティングデバイス」、「ネットワーク要素」、「ホスト」、「プラットフォーム」、「センサデバイス」、「エッジデバイス」、「自律運転システム」、「自律車両」、「フォグベースシステム」、「クラウドベースシステム」および「システム」などは、概して、自律運転環境と関連付け付けられたデータおよび情報を受信、送信、処理、格納または管理するよう動作可能な電子コンピューティングデバイスを含み得る。本文書において使用される用語「コンピュータ」、「プロセッサ」、「プロセッサデバイス」または「処理デバイス」は、任意の好適な処理装置を包含することを意図されており、数ある例の中でも特に、中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、テンソルプロセッサ、および他の行列演算プロセッサが含まれる。例えば、環境内の単一のデバイスとして示される要素は、複数のサーバコンピュータを含むサーバプールなど、複数のコンピューティングデバイスおよびプロセッサを使用して実装され得る。更に、コンピューティングデバイスのいずれか、すべて、またはいくつかは、Ｌｉｎｕｘ（登録商標）、ＵＮＩＸ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標） Ｗｉｎｄｏｗｓ（登録商標）、Ａｐｐｌｅ ＯＳ、Ａｐｐｌｅ ｉＯＳ（登録商標）、Ｇｏｏｇｌｅ Ａｎｄｒｏｉｄ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標） Ｓｅｒｖｅｒなどを含む任意のオペレーティングシステム、ならびに、カスタマイズされたプロプライエタリなオペレーティングシステムを含む特定のオペレーティングシステムの実行を仮想化するよう適合された仮想マシンを実行するように適合され得る。
下に説明される、または、図において示される様々なコンポーネントのいずれかのフロー、方法、プロセス（またはその部分）または機能のいずれかは、１または複数のモジュール、エンジン、ブロック、ユニット、モデル、システム、または他の好適なコンピューティングロジックなど、任意の好適なコンピューティングロジックによって実行され得る。本明細書における「モジュール」、「エンジン」、「ブロック」、「ユニット」、「モデル」、「システム」または「ロジック」への言及は、１または複数の機能を実行するハードウェア、ファームウェア、ソフトウェア、および／または、各々の組み合わせを指し得る。例として、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックは、マイクロコントローラまたはプロセッサによって実行されるよう適合されたコードを格納するための非一時的媒体に関連付けられたマイクロコントローラまたはプロセッサなどの１または複数のハードウェアコンポーネントを含み得る。従って、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックへの言及は、一実施形態において、非一時的媒体に保持されるコードを認識および／または実行するよう特に構成されるハードウェアを指し得る。更に、別の実施形態において、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックの使用は、予め定められたオペレーションを実行するためにマイクロコントローラまたはプロセッサによって実行されるよう特に適合されたコードを含む非一時的媒体を指す。そして、推論できるように、更に別の実施形態において、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックは、ハードウェアおよび非一時的媒体の組み合わせを指し得る。様々な実施形態において、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックは、ソフトウェア命令を実行するよう動作可能なマイクロプロセッサまたは他の処理要素、特定用途向け集積回路（ＡＳＩＣ）などのディスクリートロジック、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラミングロジックデバイス、命令を含むメモリデバイス、ロジックデバイスの組み合わせ（例えばプリント回路基板上で見られるような）、または、他の好適なハードウェアおよび／またはソフトウェアを含み得る。モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックは、例えばトランジスタによって実装され得る１または複数のゲートまたは他の回路コンポーネントを含み得る。いくつかの実施形態において、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックは、ソフトウェアとして完全に具現化され得る。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に記録されたソフトウェアパッケージ、コード、命令、命令セット、および／または、データとして具現化され得る。ファームウェアは、メモリデバイスにおいてハードコード（例えば非揮発性）されたコード、命令、または命令セット、および／または、データとして具現化され得る。更に、別個として示されるロジックの境界は一般に、変動し、潜在的に重複する。例えば、第１および第２モジュール（または複数のエンジン、ブロック、ユニット、モデル、システム、またはロジック）は、いくつかの独立したハードウェア、ソフトウェア、またはファームウェアを潜在的に保持しながら、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせを共有し得る。
下および添付図面において説明されるフロー、方法、およびプロセスは単に、特定の実施形態において実行され得る機能の代表に過ぎない。他の実施形態において、追加の機能がフロー、方法、およびプロセスにおいて実行され得る。本開示の様々な実施形態は、本明細書において説明される機能を実現するための任意の好適なシグナリング機構を想定する。本明細書において示される機能のいくつかは適宜、フロー、方法、およびプロセスにおいて繰り返され、組み合わされ、修正され、または削除され得る。追加的に、特定の実施形態の範囲を逸脱することなく、フロー、方法、およびプロセスにおいて、機能は任意の好適な順序で実行され得る。
ここで図２を参照すると、自律運転機能を備えた車両（および対応する車載コンピューティングシステム）１０５の例示的実装を示す簡略ブロック図（２００）が示される。一例において、車両１０５には、数ある例の中でも特に、中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、テンソルプロセッサおよび他の行列演算プロセッサなど、１または複数のプロセッサ２０２が装備され得る。そのようなプロセッサ２０２は、数ある例の中でも特に、機械学習推論または訓練（下で説明される機械学習推論または訓練のいずれかを含む）に関連する機能など、特定の処理およびメモリアクセス機能、特定のセンサデータ（例えばカメライメージデータ、ＬＩＤＡＲポイントクラウドなど）の処理、自律運転に関する特定の演算機能（例えば行列演算、畳み込み演算など）などの実行を加速するためにハードウェアに提供され得る統合ハードウェアアクセラレータデバイス（例えば２０４）に結合され得る、または、それを有し得る。車両上で実装される自律運転スタックのモジュールまたはサブモジュールのいずれか１つのすべてまたは一部を実装する機械実行可能命令を格納するために、ならびに、機械学習モデル（例えば２５６）、センサデータ（例えば２５８）、および、車両によって実行される自律運転機能に関連して受信、生成、または使用される（または、本明細書において説明される例および解決手法に関連して使用される）他のデータを格納するために、１または複数のメモリ素子（例えば２０６）が提供され得る。また、様々な通信モジュール（例えば２１２）が提供され、ハードウェア回路および／またはソフトウェアにおいて実装され得、１または複数のネットワーク通信技術を採用して１または複数のネットワークチャネルを介して他の外的コンピューティングシステムと通信するために車両のシステムによって使用される通信能力を実装する。これらの様々なプロセッサ２０２、アクセラレータ２０４、メモリデバイス２０６、およびネットワーク通信モジュール２１２は、数ある例の中でも特に、ペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）、イーサネット（登録商標）、ＯｐｅｎＣＡＰＩ（登録商標）、Ｇｅｎ－Ｚ（登録商標）、ＵＰＩ、ユニバーサルシリアルバス（ＵＳＢ）、Ｃａｃｈｅ Ｃｏｈｅｒｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ ｆｏｒ Ａｃｃｅｌｅｒａｔｏｒｓ（ＣＣＩＸ（登録商標））、Ａｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅ（登録商標）の（ＡＭＤ（登録商標）） Ｉｎｆｉｎｉｔｙ（登録商標）、Ｃｏｍｍｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｉｎｔｅｒｆａｃｅ（ＣＣＩ）、またはＱｕａｌｃｏｍｍ（登録商標）のＣｅｎｔｒｉｑ（登録商標）インターコネクトなどの技術を利用するファブリックなど、１または複数のインターコネクトファブリックまたはリンク（例えば２０８）を通じて車両システム上で相互接続され得る。
引き続き図２の例において、例示的な車両（および対応する車載コンピューティングシステム）１０５は、ハードウェアおよび／またはソフトウェアにおいて自律車両の機能を実装する数ある例示的なモジュールの中でも特に、車載処理システム２１０、運転制御（例えば２２０）、センサ（例えば２２５）、およびユーザ／乗員インタフェース（例えば２３０）を含み得る。例えば、いくつかの実装において、車載処理システム２１０は、自律運転スタックおよびプロセスフローのすべてまたは一部（例えば、図５の例において示される、または説明される）を実装し得る。自律運転スタックは、ハードウェア、ファームウェア、またはソフトウェアにおいて実装され得る。本明細書の例において説明されるものなどの、車両においてまたは車両について提供および実装される１または複数の自律的機能および特徴に関連して、車両１０５において提供される様々な機械学習モデル（例えば２５６）を利用するために機械学習エンジン２３２が提供され得る。そのような機械学習モデル２５６は、人工ニューラルネットワークモデル、畳み込みニューラルネットワーク、決定木ベースモデル、サポートベクタマシン（ＳＶＭ）、ベイジアンモデル、深層学習モデル、および他の例のモデルを含み得る。いくつかの実装において、例示的な機械学習エンジン２３２は、機械学習モデル２５６のうち１または複数の訓練（例えば、初期訓練、連続訓練など）に参加するために、１または複数のモデルトレーナエンジン２５２を含み得る。また、１または複数の推論エンジン２５４が、訓練された機械学習モデル２５６を利用して様々な推論、予測、分類、および他の結果を導出するために提供され得る。いくつかの実施形態において、本明細書に説明される機械学習モデル訓練または推論は、コンピューティングシステム１４０または１５０などによって車両外で実行され得る。
車両において提供される機械学習エンジン２３２は、自律運転スタック、および、他の自律運転関連の特徴を実装する、車載処理システム２１０の他の論理コンポーネントおよびモジュールによって使用するための結果をサポートおよび提供するために利用され得る。例えば、データ収集モジュール２３４には、（例えば、車両によって使用される様々な機械学習モデル２５６の訓練または使用における入力のために）データの収集元となるソースを決定するためのロジックが提供され得る。例えば、特定のソース（例えば内部センサ（例えば２２５）または外的ソース（例えば１１５、１４０、１５０、１８０、２１５など））が選択され得、データがサンプリングされ得る頻度および忠実度が選択される。いくつかの場合において、そのような選択および構成は、（例えば、特定の検出されたシナリオに応じて適宜データを収集するために）１または複数の対応する機械学習モデルを使用してデータ収集モジュール２３４によって少なくとも部分的に自律的に行われ得る。
センサ融合モジュール２３６はまた、車載処理システムの機械学習エンジン２３２および他のモジュール（例えば２３８、２４０、２４２、２４４、２４６など）によって利用される様々なセンサ入力の使用および処理を管理するために使用され得る。（例えば車両上の、または、車両にとって外的な）複数のセンサデータソースから出力を獲得し得る１または複数のセンサ融合モジュール（例えば２３６）が提供され得る。ソースは、同種または異種のタイプのソース（例えば、共通のタイプのセンサの複数の事例からの、または、複数の異なるタイプのセンサの事例からの複数の入力）であり得る。例示的なセンサ融合モジュール２３６は、数ある例示的なセンサ融合技法の中でも特に、直接融合、間接融合を適用し得る。いくつかの場合において、センサ融合の出力は、本明細書において説明される例示的な解決手法において説明されるものなどの自律運転機能または他の機能の提供に関連して、（潜在的に追加の入力と共に）入力として車載処理システムの別のモジュールおよび／または１または複数の機械学習モデルにフィードされ得る。
いくつかの例において、いくつかの事例において外的ソースおよび／またはセンサ融合モジュール２３６からのデータを含む様々なセンサデータ（例えば２５８）を入力として取得し得る知覚エンジン２３８が提供され得、車両１０５が遭遇した（または遭遇する）環境の自律的知覚に対応する、数ある例示的な機能の中でも特に、オブジェクト認識および／または検出されたオブジェクトの追跡が実行される。知覚エンジン２３８は、１または複数の畳み込みニューラルネットワークおよび他の機械学習モデル２５６などの深層学習を使用して、センサデータ入力からのオブジェクト認識を実行し得る。また、センサデータ入力に基づいて、オブジェクトが移動しているかどうか、移動している場合、何の軌道に沿っているかを自律的に推定するためにオブジェクト追跡が実行され得る。例えば、所与のオブジェクトが認識された後に、知覚エンジン２３８は、所与のオブジェクトが車両に対してどのように移動するかを検出し得る。そのような機能は、数ある例示的な使用の中でも特に、例えば、車道上の車両の経路に影響し得る、環境内を移動している他の車両、歩行者、野生動物、自転車に乗っている人などのオブジェクトを検出するために使用され得る。
また、いくつかの実装において、位置推定エンジン２４０が車載処理システム２１０内に含まれ得る。いくつかの場合において、位置推定エンジン２４０は、知覚エンジン２３８のサブコンポーネントとして実装され得る。また、位置推定エンジン２４０は、１または複数の機械学習モデル２５６および（例えばＬＩＤＡＲおよびＧＰＳデータなどの）センサ融合を使用して、車両の場所を高信頼度で決定し、所与の物理的空間（または「環境」）内にそれが占める空間を決定し得る。
車両１０５は、データ収集２３４、センサ融合２３６、知覚エンジン２３８、および数ある例の中でも特に位置推定エンジン（例えば２４０）（例えばレコメンドエンジン２４４）など、様々な他のモジュールの結果を使用して、車両について経路計画および／またはアクション計画を決定し得る経路計画部２４２を更に含み得る。これは、環境内の車両１０５の運転を制御するために運転制御（例えば２２０）によって使用され得る。例えば、経路計画部２４２は、これらの入力および１または複数の機械学習モデルを利用して、運転環境内の様々なイベントの確率を決定し、環境内で行動するための効果的なリアルタイムの計画を決定し得る。
いくつかの実装において、車両１０５は、車両１０５自体のセンサ（例えば２２５）によって生成されるセンサデータ、および、外的センサ（例えばセンサデバイス１１５、１８０、２１５など）からのセンサデータから様々なレコメンドを生成するために、１または複数のレコメンドエンジン２４４を含み得る。いくつかのレコメンドは、レコメンドエンジン２４４によって決定され得る。これは、車両の自律運転スタックの他のコンポーネントに入力として提供され得、これらのコンポーネントによる決定に影響を与える。例えば、経路計画部２４２によって検討されたときに、経路計画部２４２に、レコメンドが無ければ通常は決定したであろう判断または計画をやめさせるレコメンドが決定され得る。また、レコメンドは、乗員の快適性および体験の考慮に基づいて、レコメンドエンジン（例えば２４４）によって生成され得る。いくつかの場合において、車両内の内部機能は、車両のセンサおよび／または外的センサなどによってキャプチャされる（センサデータ（例えば２５８）から決定される）これらのレコメンドに基づいて、予測的および自律的に操作され得る。
上で紹介したように、いくつかの車両実装は、ユーザ／乗員体験エンジン（例えば２４６）を含み得る。これは、センサデータ（例えば２５８）によってキャプチャされた観察結果に基づいて、運転操縦を変更し、車両の車室環境へ変更を及ぼして、車両内の乗員の体験を強化するべく、車両の自律運転スタック内の他のモジュールのセンサデータおよび出力を利用して車両の制御ユニットを制御し得る。いくつかの事例において、ユーザが車両およびその自律運転システムと相互作用することを可能にするために車両上に提供されるユーザインタフェース（例えば２３０）の態様が強化され得る。いくつかの場合において、数ある例示的な使用の中でも特に、情報のプレゼンテーションが生成され、ユーザディスプレイに提供され得（例えば音声、視覚、および／または触覚的プレゼンテーション）、車両（例えば１０５）内の乗員体験に影響を与え改善することを助ける。
いくつかの場合において、システムマネージャ２５０も提供され得る。これは、車両上の様々なセンサによって収集された情報をモニタリングして、車両の自律運転システムの性能に関連する問題を検出する。例えば、計算エラー、センサの停止および問題、通信チャネルの利用可能性および品質（例えば通信モジュール２１２を通じて提供される）、車両システムチェック（例えばモータ、伝送、バッテリ、冷房システム、電気システム、タイヤなどに関連する問題）、または、他の動作イベントがシステムマネージャ２５０によって検出され得る。そのような問題は、システムマネージャ２５０によって生成されたシステムレポートデータにおいて識別され得る。これは、いくつかの場合において、機械学習モデル２５６および関連する自律運転モジュール（例えば２３２、２３４、２３６、２３８、２４０、２４２、２４４、２４６など）への入力として利用され得、車両１０５の自律運転機能におけるセンサデータ２５８において収集された他の情報と共に、車両システムの健全性および問題が考慮されることも可能にする。
いくつかの実装において、車両１０５の自律運転スタックは、運転制御２２０と結合され得、車両がどのように運転されるか（数ある例の中でも特に、ステアリング制御（例えば２６０）、アクセラレータ／スロットル制御（例えば２６２）、ブレーキ制御（例えば２６４）、シグナリング制御（例えば２６６）を含む）に影響を与える。いくつかの場合において、車両はまた、ユーザ入力に基づいて、全体的にまたは部分的に制御され得る。例えば、ユーザインタフェース（例えば２３０）は、運転制御（例えば物理または仮想ステアリングホイール、アクセラレータ、ブレーキ、クラッチなど）を含み得、（例えば、ハンドオーバ、または、それに続く運転者支援アクション）人間の運転者が自律運転システムから制御を引き継ぐことを可能にする。他のセンサが、発話検出２９２、ジェスチャ検出カメラ２９４、および他の例などのユーザ／乗員入力を受け付けるために利用され得る。ユーザインタフェース（例えば２３０）は、乗員／ユーザの望みおよび意図をキャプチャし得、車両１０５の自律運転スタックは、車両の運転の制御（例えば運転制御２２０）において、これらを追加入力として考慮し得る。いくつかの実装において、数ある例示的な実装の中でも特に、乗員が外部デバイス（例えばスマートフォンまたはタブレット）を利用して運転方向または制御を提供する場合、または、外部の運転者またはシステムが（例えば緊急事態のイベントに基づいて）車両の制御をテイクオーバするリモートバレットサービスの場合などにおいて、運転制御は、外部コンピューティングシステムによって管理され得る。
上記のように、車両の自律運転スタックは、車両上で、または、車両の外部から提供される様々なセンサによって生成される様々なセンサデータ（例えば２５８）を利用し得る。例として、車両１０５は、車両の外側および周囲の環境に関連する様々な情報、車両システムステータス、車両内の条件、および、車両の処理システム２１０のモジュールによって使用可能な他の情報を収集するために、センサ２２５のアレイを所持し得る。例えば、そのようなセンサ２２５は、数ある例示的なセンサの中でも特に、全地球測位（ＧＰＳ）センサ２６８、光検出および距離測定（ＬＩＤＡＲ）センサ２７０、２次元（２Ｄ）カメラ２７２、３次元（３Ｄ）またはステレオカメラ２７４、音響センサ２７６、慣性測定ユニット（ＩＭＵ）センサ２７８、熱センサ２８０、超音波センサ２８２、生体センサ２８４（例えば顔認識、音声認識、心拍数センサ、体温センサ、感情検出センサなど）、レーダーセンサ２８６、天気センサ（不図示）を含み得る。そのようなセンサは、数ある例の中でも特に、車両が動作する環境（例えば、天気、障害物、交通、道路条件など）、車両内の乗員（例えば、乗員または運転者の認識または覚醒度、乗員の快適性または感情、乗員の健全性または身体的条件など）、車両の他の内容（例えば、パッケージ、家畜、貨物、荷物など）、車両のサブシステムの様々な属性および条件を決定するために組み合わせて利用され得る。センサデータ２５８はまた（または代わりに）、他の車両のセンサ（例えば１１５）（車両－車両間通信または他の技法を通じて車両１０５に通信され得る）、地上ベースまたは航空ドローン１８０のセンサ、車両１０５の外部または内部の人間のユーザによって保持されるユーザデバイス２１５（例えばスマートフォンまたはウェアラブル）のセンサ、および、路肩ユニット（例えば１４０）、道路標識、交通信号機、街灯など、他の路肩要素が搭載または提供されたセンサを含む、車両に統合的に結合されていないセンサによって生成され得る。数ある例示的な実装の中でも特に、そのような外的センサデバイスからのセンサデータは、センサデバイスから車両へ直接提供され得る、または、データ集約デバイスを通じて、もしくは、他のコンピューティングシステム（例えば１４０、１５０）によってこれらのセンサに基づいて生成された結果として提供され得る。
いくつかの実装において、自律車両システム１０５は、他のコンピューティングシステムによって提供される情報およびサービスとインタフェース接続してそれらを活用し得、デバイス１０５の自律運転機能を強化する、可能にする、またはそうでない場合、サポートする。いくつかの事例において、いくつかの自律運転の特徴（本明細書において説明される例示的な解決手法のいくつかのを含む）は、車両の外部にあるコンピューティングシステムのサービス、コンピューティングロジック、機械学習モデル、データ、または、他のリソースによって可能となり得る。そのような外部システムが車両にとって利用不可能であるとき、これらの特徴は、少なくとも一時的に無効となっていることがあり得る。例えば、路肩ユニットまたはフォグベースエッジデバイス（例えば１４０）、他の（例えば高レベル）車両（例えば１１５）、および、クラウドベースシステム１５０（例えば様々なネットワークアクセスポイント（例えば１４５）を通じてアクセス可能）においてホストされる外部コンピューティングシステムが提供および活用され得る。路肩ユニット１４０またはクラウドベースシステム１５０（または、車両（例えば１０５）が相互作用し得る他の協調システム）は、潜在的に追加的な機能およびロジックと共に、例示的な車載処理システム（例えば２１０）に属するものとして示されるロジックのすべてまたは一部を含み得る。例えば、クラウドベースのコンピューティングシステム、路肩ユニット１４０、または、他のコンピューティングシステムは、モデル訓練および推論エンジンロジックのいずれかまたは両方をサポートする機械学習エンジンを含み得る。例えば、そのような外部システムは、よりハイエンドのコンピューティングリソース、および、より発展した、または最新の機械学習モデルを所持し得、これらのサービスが、車両の処理システム２１０上でネイティブに生成されるであろうものより優れた結果を提供することを可能にする。例えば、車載処理システム２１０は、特定のタスクおよび特定のシナリオの処理についてのクラウドベースのサービスを通じて提供される、機械学習訓練、機械学習推論、および／または機械学習モデルを利用し得る。実際、いくつかの実装において、車両１０５に属するものとして説明され、示されたモジュールのうち１または複数は代替的に、または冗長的に、自律運転環境をサポートするクラウドベース、フォグベース、または他のコンピューティングシステム内に提供され得ることが理解されるべきである。
本明細書の様々な実施形態は、１または複数の機械学習モデルを利用して、自律車両スタックの機能（または本明細書において説明される他の機能）を実行し得る。機械学習モデルは、特定のタスクの性能を徐々に改善するために、コンピューティングシステムによって実行され得る。いくつかの実施形態において、機械学習モデルのパラメータは、訓練データに基づいて、訓練フェーズ中に調整され得る。訓練された機械学習モデルは次に、入力データに基づいて予測または判断するために、推論フェーズ中に使用され得る。
本明細書において説明される機械学習モデルは、任意の好適な形態をとり得る、または、任意の好適な技法を利用し得る。例えば、機械学習モデルのいずれかは、教師あり学習、半教師あり学習、教師なし学習、または強化学習技法を利用し得る。
教師あり学習において、モデルは、入力および対応する所望の出力の両方を含むデータの訓練セットを使用してビルドされ得る。各訓練インスタンスは、１または複数の入力および所望の出力を含み得る。訓練は、訓練インスタンスを反復すること、および、目的関数を使用して、新しい入力についての出力を予測するようにモデルに教えることを含み得る。半教師あり学習において、訓練セットにおける入力の一部は、所望の出力を失敗することがあり得る。
教師なし学習において、モデルは、入力のみを含み所望の出力を含まないデータのセットからビルドされ得る。教師なしモデルは、データにおけるパターンを発見することによって、データにおける構造を見つける（例えば、データポイントのグループ化またはクラスタ化）ために使用され得る。教師なし学習モデルにおいて実装され得る技法は、例えば、自己組織化マップ、最近傍マッピング、ｋ平均クラスタ化、および、特異値分解などを含む。
正確度を改善するべく、強化学習モデルには、正または負のフィードバックが与えられ得る。強化学習モデルは、１または複数の目的／報酬を最大化することを試み得る。強化学習モデルにおいて実装され得る技法は、例えば、Ｑ学習、時間差（ＴＤ）、および、敵対的ディープネットワークを含み得る。
本明細書において説明される様々な実施形態は、１または複数の分類モデルを利用し得る。分類モデルにおいて、出力は、限定された値のセットに制限され得る。分類モデルは、１または複数の入力値の入力セットについてのクラスを出力し得る。本明細書において、分類モデルへの言及は、例えば、以下の技法、すなわち、線形分類器（例えばロジスティック回帰、または、単純ベイズ分類器）、サポートベクタマシン、決定木、ブースティングツリー、ランダムフォレスト、ニューラルネットワーク、または最近傍のうち任意の１または複数を実装するモデルを想定し得る。
本明細書において説明される様々な実施形態は、１または複数の回帰モデルを利用し得る。回帰モデルは、１または複数の値の入力セットに基づいて、連続する範囲から数値を出力し得る。本明細書において、回帰モデルへの参照は、例えば、以下の技法（または他の好適な技法）、すなわち、線形回帰、決定木、ランダムフォレスト、またはニューラルネットワークのうち任意の１または複数を実装するモデルを想定し得る。
様々な実施形態において、本明細書において説明される機械学習モデルのいずれかは、１または複数のニューラルネットワークを利用し得る。ニューラルネットワークは、シナプスによって接続されたニューロンの大きいクラスタを含む生物学的脳の構造に倣って緩くモデリングされたニューラルユニットのグループを含み得る。ニューラルネットワークにおいて、ニューラルユニットは、接続されたニューラルユニットの活性状態に対する効果が興奮性または抑制性であり得るリンクを介して他のニューラルユニットに接続される。ニューラルユニットは、その入力の値を利用してニューラルユニットの膜電位を更新する機能を実行し得る。ニューラルユニットに関連付けられた閾値を超えたとき、ニューラルユニットは、接続されたニューラルユニットへスパイク信号を伝搬し得る。ニューラルネットワークは、訓練され得る、またはそうでない場合、コンピュータビジョンタスク、音声認識タスク、または他の好適なコンピューティングタスクなど、様々なデータ処理タスク（自律車両スタックによって実行されるタスクを含む）を実行するよう適合され得る。
図３は、特定の実施形態によるニューラルネットワーク３００の一部の例を示す。ニューラルネットワーク３００はニューラルユニットＸ１～Ｘ９を含む。ニューラルユニットＸ１～Ｘ４は、一次入力Ｉ１～Ｉ４（ニューラルネットワーク３００が出力を処理する間、一定を維持し得る）をそれぞれ受信する入力ニューラルユニットである。任意の好適な一次入力が使用され得る。一例として、ニューラルネットワーク３００は、画像処理を実行し、一次入力値は、イメージからの画素の値であり得る（イメージが処理される間、一次入力の値は一定のままであり得る）。別の例として、ニューラルネットワーク３００が発話処理を実行するとき、特定の入力ニューラルユニットに適用される一次入力値は、入力された発話の変化に基づいて経時的に変化し得る。
具体的なトポロジおよび接続スキームが図３に示されているが、本開示の教示は、任意の好適なトポロジおよび／または接続を有するニューラルネットワークにおいて使用され得る。例えば、ニューラルネットワークは、フィードフォワードニューラルネットワーク、回帰型ネットワーク、または、ニューラルユニット間の任意の好適な接続を有する他のニューラルネットワークであり得る。別の例として、ニューラルネットワークは、入力層、隠れ層、および出力層を有するものとして描写されているが、ニューラルネットワークは、任意の好適な方式で配置された任意の好適な層を有し得る。描写された実施形態において、２つのニューラルユニット間の各リンクは、２つのニューラルユニット間の関係の強さを示すシナプス加重を有する。シナプス加重は、ＷＸＹとして描写される。Ｘはシナプス前ニューラルユニットを示し、Ｙはシナプス後ニューラルユニットを示す。ニューラルユニット間のリンクは、接続されたニューラルユニットの活性状態に対して、興奮性または抑制性の効果を有し得る。例えば、Ｘ１からＸ５に伝搬するスパイクは、Ｗ１５の値に応じてＸ５の膜電位を増加または減少させ得る。様々な実施形態において、接続は、有向または無向であり得る。
様々な実施形態において、ニューラルネットワークの各タイムステップの間、ニューラルユニットは、バイアス値または１または複数の入力スパイクなどの任意の好適な入力を、それぞれのシナプスを介してニューラルユニットに接続されたニューラルユニットのうち１または複数（このニューラルユニットのセットは、ニューラルユニットのファンインニューラルユニットと称される）から受信し得る。ニューラルユニットに適用されるバイアス値は、入力ニューラルユニットに適用される一次入力の関数、および／または、ニューラルユニットに適用されるいくつかの他の値（例えば、ニューラルネットワークの訓練または他のオペレーション中に調整され得る一定値）であり得る。様々な実施形態において、各ニューラルユニットは、それ自体のバイアス値に関連付けられ得、または、バイアス値は複数のニューラルユニットに適用され得る。
ニューラルユニットは、その入力の値、および、その現在の膜電位を利用して関数を実行し得る。例えば、入力はニューラルユニットの現在の膜電位に追加されて、更新された膜電位を生成し得る。別の例として、シグモイド伝達関数などの非線形関数が入力および現在の膜電位に適用され得る。任意の他の好適な関数が使用され得る。次に、ニューラルユニットは、関数の出力に基づいてその膜電位を更新する。
図４を参照すると、様々な車両において（例えば、それらの対応する車載コンピューティングシステムによって）サポートされ得る自律運転の例示的なレベルを示す簡略ブロック図４００が示される。例えば、レベルの範囲（例えばＬ０～Ｌ５（４０５～４３５））が定義され得、レベル５（Ｌ５）は、最高レベルの自律運転機能（例えば完全自動化）を有する車両に対応し、レベル０（Ｌ０）は、最低レベルの自律運転機能（例えば、自動化なし）に対応する。例えば、Ｌ５車両（例えば４３５）は、人間の運転者によって提供されるものに等しい、または、より優れた、すべての運転シナリオ（厳しい道路条件および天気を含む）における自律運転性能を提供可能な完全自律的コンピューティングシステムを所持し得る。また、Ｌ４車両（例えば４３０）は、完全自律的であり、出発場所から目的地までの行程全体を通じて、セーフティクリティカルな運転機能を自律的に実行し、車道条件を効果的にモニタリングすることが可能であるとみなされ得る。Ｌ４車両がＬ５車両と異なり得る点として、Ｌ４の自律的能力は、すべての運転シナリオを含まないことがあり得る、車両の動作可能な設計ドメインの限度内で定義される。Ｌ３車両（例えば４２０）は、一組の特定の交通および環境条件において、セーフティクリティカルな機能を車両に完全にシフトするために、自律運転機能を提供するが、すべての他のシナリオにおいて、運転を扱うために、人間の運転者の関与および利用可能性がなお期待される。従って、Ｌ３車両は、人間の運転者から自律運転スタックへの（およびその逆）制御の伝達のオーケストレーションを行うためにハンドオーバプロトコルを提供し得る。Ｌ２車両（例えば４１５）は、運転者アシスタンス機能を提供する。これは、運転者の手および足の両方が車両の物理制御から定期的に解放され得るような形で、運転者が車両を物理的に操作することから時々解放されることを可能にする。Ｌ１車両（例えば４１０）は、１または複数の特定の機能（例えばステアリング、ブレーキなど）の運転者アシスタンスを提供するが、車両の大部分の機能を運転者が一定して制御することをなお要求する。Ｌ０車両は、自律的とみなされないことがあり得る。人間の運転者は、車両の運転機能のすべてを制御する（ただし、そのような車両は、それにもかかわらず、センサデータをより高いレベルの車両に提供すること、センサデータを使用して、車両内のＧＰＳおよびインフォテインメントサービスを強化することによって、自律運転環境に受動的に参加し得る）。いくつかの実装において、単一車両は、複数の自律運転レベルでオペレーションをサポートし得る。例えば、運転者は、所与の行程中に使用される、自律性のサポートレベル（例えばＬ４、または、より低いレベル）を制御して選択し得る。他の場合において、車両は、例えば車道または車両の自律運転システムに影響する条件に基づいて、レベルを自律的に切り替え得る。例えば、数ある例の中でも特に、１または複数のセンサが損なわれたという検出に応答して、Ｌ５またはＬ４車両は、より低いモード（例えばＬ２、またはより低い）にシフトし得、センサの問題を考慮してから、人間の乗員を関与させる。
図５は、いくつかの自律運転システムにおいて実装され得る例示的な自律運転フローを示す簡略ブロック図５００である。例えば、自律（または半自律）車両において実装される自律運転フローは、感知および知覚ステージ５０５、計画および判断ステージ５１０、ならびに、制御およびアクションフェーズ５１５を備え得る。感知および知覚ステージ５０５中に、データが様々なセンサによって生成され、自律運転システムによる使用のために収集される。いくつかの事例において、データ収集は、データフィルタリング、および、外部ソースからの受信センサを含み得る。このステージはまた、１または複数の機械学習モデルを使用して実行される、センサ融合オペレーションおよびオブジェクト認識、ならびに、位置推定などの他の知覚タスクを含み得る。計画および判断ステージ５１０は、センサデータおよび様々な知覚オペレーションの結果を利用して、前方の車道の確率的予測を行い、これらの予測に基づいて、リアルタイム経路計画を決定し得るる。計画および判断ステージ５１０は追加的に、障害物および他のイベントの検出に反応して、経路計画に関連する判断を行い、これらのイベントを考慮して、決定された経路を安全にナビゲートするために、アクションを行うかどうか、何のアクションを行うかを判断することを含み得る。計画および判断ステージ５１０の経路計画および判断に基づいて、制御およびアクションステージ５１５は、アクチュエータを通じて、これらの決定をアクションに変換し、ステアリング、加速、およびブレーキを含む運転制御、ならびに、方向指示器、センサクリーナ、ウインドシールドワイパー、ヘッドライトなどの二次的制御を操作し得る。
より高いレベルの自律車両において、自律運転スタックを実装する車載処理システムは、車両内の乗員の直接的な入力が無くても、車両のシステムが代わりに、車両上のセンサによって自動的に収集されるデータ、他の車両または近くのインフラストラクチャ（例えば路肩センサおよびカメラなど）からのデータ、および、車両が取り得るルートの地理およびマップを記述するデータ（例えばマップデータ）を入力として受け付け得る機械学習モデルを含むモデルの適用を利用して、運転の判断が行われて制御されることを可能にする。自律車両のシステムによって利用されるモデルはまた、グラウンドトゥルースが車両の視点およびそれがセンサを通じて観察または感知する結果に基づき得る、他の前の（当該車両または他の車両による）行程を記述するデータセットに対する訓練を通じて開発され得る。従って、いくつかの実装において、自律車両のオペレーションの「成功」は、機械中心、または、過度に実際的であり、地点Ａから地点Ｂへの安全かつ信頼できる交通手段を提供することに適切に焦点を当て、一方、乗員の固有のプリファレンス、および、変動しやすい人間のコンテキストについては、潜在的にアグノスティックである。例えば、自律車両に多様なセンサが装備されているが、これらのセンサは主に、周囲の車両および障害物ならびに交通イベントの検出など、車両の安全性に焦点を当て、従来の感知－計画‐行動の自律運転パイプライン内における安全かつ信頼できる経路計画および判断を決定することを助ける。乗員体験、および、乗員体験を強化するための自律運転モードに影響を与えるレコメンドは一般的に、既存の実装において欠けている。この意味において、人間が運転する車両は、乗員および人間をより意識した走行体験を提供し得る。なぜなら、人間の運転者は、運転者およびその乗員に影響する人間のコンテキストをより良く認識する可能性が高く、人間の運転者は、運転スタイルを調整して、より良い体験を乗員に提供する（例えば、数ある例示的な調整の中でも特に、加速、ステアリング、およびブレーキスタイルを調整する、（例えば、どの乗員が車両の中にいるか、どこに座っているか、外部の天気などに基づいて）乗員を車酔いまたは神経質にさせる車道を回避するなど）ことが可能であるからである。人間の運転のこれらの残りの利点は、自律車両の広い採用を防止する別のハードルとして働き得る。
いくつかの実装において、自律車両には、車両に存在する（例えば、車両の車載コンピューティングシステム上に、または、それを使用して実装される）コンピューティングハードウェア、ファームウェア、またはソフトウェアを使用して実装されるレコメンドシステムが提供され得る。これにより、車両上または中に提供されるセンサを活用して、乗員のコンテキストおよびプリファレンスを検出し、性能、選択されたルート、および、車両の内部環境設定を調整する自律車両の機能を強化し、これらの乗員のイベントおよび属性に対処し得る。例えば、車両の中核的な運転自律性機能をサポートするために元々提供されるセンサは、車両の内部および外部の環境属性、ならびに、車両内の乗員の属性を検出することに活用され得る。更に、中核的な自律的経路計画および意思決定の決定のみでなく、改善されカスタマイズされたユーザ体験の乗員への提供においても考慮され得る入力のセットを強化するための追加センサが提供され得る。このようにして、レコメンドシステムは自律運転パイプラインに結び付けられ得、同様の入力を使用して、乗員の不便または不快感の事例を回避することを試み、ポジティブな乗員体験を確実にする。車両の運転挙動に影響を与えることに加えて、レコメンドシステムはまた、車両の車室内の特徴を作動させ、乗員体験を強化し得る（例えば、窓を開ける、換気を提供する、空気フィルタリングを提供する、照明を調整する、ディスプレイ画面の配置を動的に調整する、シートの配置を動的に調整する、音量を調整するなど）。そのような調整は、車両を囲む環境において、または、乗員の車室内において検出された属性およびイベントに応答し得る。
図６に示される簡略ブロック図を参照すると、自律車両のハードウェアおよび／またはソフトウェアにおいて提供されるモジュールは、環境の感知６０５（データが車両上、および／または、車両を囲む環境内に提供される一組のセンサからサンプリングされる）、センサデータに基づく、環境内の経路計画または操縦の計画６１０、および、車両の計器に計画された経路または操縦を実行させる行動６１５を含む自律運転パイプラインを実装する。いくつかの実装において、レコメンドシステム６２０は自律運転パイプライン（６０５、６１０、６１５）に結合され得る。いくつかの実装において、レコメンドシステム６２０は、主に中核的な自律運転パイプラインにおいて利用されるセンサ、ならびに、車両の外部および／または内部にある追加センサから収集された情報を活用して、乗員体験に影響し得る条件に関する情報を収集し得る。例えば、パイプラインの感知フェーズ６０５は、車両の外部センサ、または、数ある例の中でも特に、天候条件、アレルゲンレベル、外部温度、道路表面条件（例えば、濡れている、泥の、クリア、塩など）、道路特性（例えば、カーブ、堤防、坂道など）、高度、湿度、暗さ、太陽の角度、照明条件など、乗員体験に影響し得る外部環境条件からの情報を有するように拡大され得る。追加的に、車両内に配置されたセンサはまた、パイプラインの感知フェーズ６０５に寄与し得、数ある例の中でも特に、乗員のバイオメトリック（例えば、眼の追跡、体温、心拍数、体温、姿勢、感情など）などの情報、乗員の識別情報認識、計器、画面、シート、および、乗員が相互作用する車両の他の物理的コンポーネントの配置の検出、ならびに、車両車室内の大気条件の検出を提供する。
図６の例において示される修正されたパイプラインにおいて、レコメンダシステムフェーズ６２０は、感知フェーズ情報を拡大するためにセンサ情報融合を実行し、複数の形態をとり得る計画フェーズ６１０にレコメンドを送信し、乗員体験を強化し、乗員の不快感を軽減する。計画フェーズ６１０は、レコメンドシステム６２０によって提供されるレコメンドを考慮して、計画フェーズ６１０によって決定される計画を拡張し得る。
レコメンドシステム６２０はまた、車内環境調整フェーズ６２５を通じて、車両が動いているときにユーザによって使用され得る車両内のデバイスのオペレーションを拡張または指示するために使用され得る。説明のための例として、カーブしている道路において、乗員がＶＲ／ＡＲヘッドセットを使用していると検出され得、自律車両は、ヘッドセットにシグナリングして、ヘッドセット内部の画面を傾けさせることにより、視覚を調整し、乗車および見る体験をより円滑にし得る。車両内の乗員が乗り物酔いの傾向にあると検出された場合、数ある応答アクションの中でも特に、曲がった、またはカーブのある道路において、空気の流入を自動化し、乗員に眼を前に向けるアラートを提示するよう車両に促し得る。更に別の例として、乗員が保持する、または、車両内に提供される生体モニタ（例えば、心拍数または呼吸モニタ）が、乗員が体験している呼吸困難を検出するために使用され得、アレルゲン条件を識別する追加センサまたはデータから、その呼吸困難がアレルゲンレベルに関連し、アレルゲンレベルが原因で任意の喘息発作を自動的にトリガすると結論づけ得る。これが検出されると、数ある例の中でも特に、車の内部においてＨＥＰＡフィルタ空気浄化をトリガし得る。
前の例から明らかであるはずだが、車両のレコメンドシステムによって使用されるセンサは、車両に元々統合または提供されない、いくつかののセンサを含み得る。例えば、ユーザによって保持される、または、アフターマーケットで車両内に配置されるウェアラブルデバイス、スマートフォン、メディアプレーヤ、および、他のデバイスは、センサを含み、自律運転パイプラインを実装する車載コンピューティングシステムと通信し得、感知フェーズ６０５においてこれらのデバイスによって収集されるデータを提供する。同様に、レコメンドシステム６２０の出力は、車両の統合コンポーネントだけでなく、外的デバイス（例えばスマートフォン、ＡＲ／ＶＲヘッドセット、ウェアラブルデバイス、アフターマーケットコンポーネントなど）のアクションをトリガするために提供され得る。
図７を参照すると、レコメンドシステムの論理的表現を示す簡略ブロック図７００が示される。概して、上で説明されたものなどの様々なセンサ７０５が提供され得、これらのセンサから生成されたデータは、センサ融合／意思決定ブロック７３５に提供され得る。乗員モニタリングセンサ７１０も提供され得る。そのようなセンサは、車両内の特定の乗員を生体認証機能で識別するために使用され得る。個々の乗員の検出により、いくつかの実装において、レコメンドシステムは、レコメンドシステムによる考慮においても使用され得る、対応する乗員プリファレンスおよび属性データにアクセスすることが可能になり得る。車両および環境センサ（例えば７０５）と同様に、複数の異なるバイオメトリックおよび乗員モニタリングセンサ（例えば７１０）が提供され得、これらのセンサから生成されたデータは、センサ融合／意思決定ロジック７３５を使用して、まとめて処理され得る。この情報は、自律車両による自律運転および経路計画アクションを拡張および強化して乗員体験を強化するために使用され得る。センサ融合ロジック（例えば７５３）はまた、車室内サービスを提供し、自律運転システムに直接関連しないが、それでもユーザ体験および快適性の強化を支援し得る、車室内の計器（例えば７２０）を調整するために利用され得る。
図７に示されるこの特定の例において、レコメンドシステムは、空気中のアレルゲンに対するアレルギーに苦しむ特定のユーザを支援するために使用され得る。例えば、センサ７０５は、車両の車室内の空気、または、車両外部の大気におけるアレルゲンの存在および濃度を検出し得るアレルゲンセンサ７２５を含み得る。特定のアレルゲンに対するアレルギー、喘息、または他の反応に対する感受性に関するアラートを含む個人属性情報が取得され得る、車両内の特定のユーザを識別するために、バイオメトリックモニタ（例えば７１０）が提供され得る。 この例において、乗員モニタ／センサ７１０は、車両内の乗員の心拍数の増加（いくつかの場合において、アレルギーまたは喘息の発作に起因して乗員が呼吸に苦労していることが原因であり得る）を検出し得る心拍数モニタ７３０を含み得る。この例において、センサ融合ブロック７３５は、このセンサデータを（７２５および７３０から）入力として取得し、ＨＥＰＡフィルタ計器７４０を起動させて、アレルギーの問題を緩和することを試み得る。アレルゲンのフィルタリングを伴う図７の例は、数ある例の中でも特に、車両内に提供される自律運転パイプラインに統合されたレコメンドシステムの使用を通じて実現され得る多くの異なる乗員体験強化についての、１つの説明のための例であることが理解されるべきである。
入力を車両システムに提供して、車内の特徴が調整されることを可能にして、乗員の快適性および体験を強化することに加えて、例示的なレコメンダシステムはまた、自律車両のセンサから収集された情報を利用して、乗員に影響することが検出された現在のルートまたは特性、感情、または、イベントを考慮して、関連するレコメンドを乗員に提供し得る。例えば、車両は、車両における乗員の識別情報を（例えば顔または音声認識などのバイオマーカを通して）検出し、乗員のグループのプリファレンスデータから、様々な他の潜在的なコンシェルジュタイプのサービスおよび他のサービスの中で、車両内の乗員のグループを満足させる可能性が高いとレコメンダシステムが算出した、車両が取っている経路上またはそれに近い特定のホテルまたはレストランのレコメンドを決定し得る。実際、人間と機械との間のギャップが狭くなるにつれて、人間は、機械およびその能力を徐々に歓迎し、受け入れ、信用するようになっている。例えば、クエリを処理し、目的地への最短／最速ルートナビゲーション、もっとも近いコーヒー店、映画のレコメンドの提供、今度の誕生日会はどこに行くかなどの情報または事柄を推奨することが可能なコンピューティングロジックの利用は、例示的なレコメンダシステムを通じて（例えば乗員のプロファイルおよびプリファレンス情報を利用して）実装され得る。
システムおよびサービスが改善し、ユーザがこれらのシステムとのインタフェースおよび使用に慣れるにつれて、ユーザの期待が一層厳しくなり得ることが予想され得る。同様に、自律車両がより普及し、広く採用されるにつれて、乗員ユーザは、文字通り自身の生命および安全性を委ねているシステムに対して、同様に高い期待を有する可能性が高い。ユーザが信用を置き得る、そのような自律車両の実装は、カメラ、レーダ、ＬＩＤＡＲセンサ、５Ｇ通信、Ｈｉ－Ｄｅｆ ＧＰＳなど、無数のハイエンドセンサ、ならびに、車両の（およびその乗員の）周囲の環境の「ロケール」、天気、地勢、道路条件、および、車両内部の乗員の識別情報（例えば単独運転、家族または同僚との運転など）を認識することが可能なセンサおよびモニタ（および付属のロジック）を有する高性能車載コンピューティングリソースインタフェースに依存し得る。そのような高レベルの自律車両は、高い製造およびプログラミングコスト（および全体的なコスト）、ならびに、高価で高度技術のメンテナンス、および、最大限の、信頼できる、正確な性能およびサービス品質（ＱｏＳ）のための細かくオーケストレーション、調整された収集を必要とすると予想される。したがって、より高いレベルの自律車両（少なくとも、広く採用される前の早い世代）は、平均的な家計にとっては法外に高価であり、メンテナンスおよび交換コストの増加を考慮すると、保険業界にとって非常にリスクが高いことがあり得る。従って、より高いレベルの自律車両解決手法（例えばＬ３～Ｌ５）が市場を支配する前に、低レベルの自律車両の解決手法（例えばＬ１～Ｌ２）が、人気のある選択肢として浮上する可能がある。例えば、部分的に自律的（または、更には非自律的）な車両に、同等のＱｏＳサービスを有する、統合された、または、アフターマーケットのよりローエンドでより低コストの解決手法が提供され得る。
いくつかの実装において、より高いレベルの自律車両は、無線通信チャネルを介して近隣の車両およびこれらの近隣の車両内のコンピューティングシステムと通信するための通信機能を所持し、自律車両によって収集および解析された情報、ならびに、自律車両によって決定された計画、イベントおよび他の環境情報を共有し得る。いくつかの実装において、異種自律的／非自律運転環境におけるハイエンド自律車両の存在は、よりローエンドの車両のコンピュータと協力して、それに自律運転の「知識」を与えるために活用され得る。追加的に、いくつかの場合において、路肩コンピューティングシステムまたはクラウドベースのコンピューティングシステムは、よりローエンドの車両のコンピューティングシステムと通信して、これらの車両のインテリジェンスおよび機能を拡張するために利用され得る。そのような解決手法およびシステムは、ハイエンドセンサ一式、および、中核的な自律運転機能を他の近隣の車両に提供する任意のギャップを閉じることを助ける、定義された最小セットの能力およびサービスについてのネイティブサポートに対する、より低いレベルのケアの依存性を最小化することを助け得る。自律運転機能を近隣の車両に提供する際に使用するための情報およびデータをプロビジョニングすることを支援することに加えて、本明細書において説明されるものなどのレコメンドシステムを所持する、より高いレベルの自律車両は同様に、レコメンドシステムを通じて可能となる結果およびサービスを近隣の車両システムに共有し得る。
スマートフォン、人工知能、ソーシャルメディアの出現、および、他のウェブサイトおよびソフトウェアサービスの数の増大に伴い、様々な業界においてレコメンダシステムの需要が存在する。運転および走行（例えば自律車両内）の分野では、自律運転ロジックが装備された車両上の様々なセンサを通じてアクセス可能な情報に結び付けられ得る、頻繁かつ予想される走行関連クエリおよびサービスのセットが定義され得る。図６に戻ると、感知フェーズ６０５における一群のセンサは主に、自律車両システムの中核的な経路計画、計画ミス、および意思決定機能についての能力を供給するために提供され得る。従って、計画フェーズ６１０は、数ある機能の中でも特に、経路計画、潜在的な自律車両レベルの課題のアラートをサポートし得る。追加的に、感知フェーズ６０５におけるセンサはまた、数ある情報の中でも特に、車両の乗員のステータス、識別情報、および条件、乗員の快適性に関連する環境条件（例えば暑さ、寒さ、湿度など）、安全性（例えば車両制限関与ステータス、事故の傾向があるエリアの走行、鉄砲水の危険、高犯罪率エリアの走行）を反映する情報を収集し得る。乗員識別センサ（例えば特定のユーザ、ユーザの感情、および／または、乗員の人口統計的情報などを識別する）はまた、（例えば、特定の乗員についての対応するプリファレンス設定またはモデルにアクセスすることによって、または、乗員の単一またはマルチモーダルな属性に基づいて）乗員のプリファレンスが識別され、レコメンドシステム６２０を使用するレコメンド（例えばレストランのレコメンド、アクティビティのレコメンド、経路計画修正、小売店のレコメンドなど）の生成において利用されることを可能にし得る。
いくつかの実装において、レコメンドシステム６２０の例を通じて、車載自律車両システムは追加的に、数ある例示的なサービスの中でも特に、ルート沿いの天気の懸念の識別（例えば、雨、霧、雪、極端な温度）、経路沿いの食べる場所、泊まる場所、関心のある地点、給油所、小売店などのレコメンド、識別された乗員にカスタマイズされた車内環境への調整を提供し得る。そのようなサービスを取得するために利用される入力は、ナビゲーションおよび代替ルートミッション計画のために利用されるなど、システムの中核的な自律運転機能のコンテキスト内において適用可能なものと共有され得る。いくつかの実装において、レコメンドシステムは、数ある例の中でも特に、前方に検出された運転条件（また、いくつかの実装において、ユーザプリファレンス情報（ユーザのリスクおよび手動運転の許容度を識別する））に基づいて、懸念がある潜在的なエリアを運転者にアラートする、ハンドオーバまたは停車イベントについて１または複数の乗員を準備させる、そのようなイベントの可能性について乗員に警告する、自律運転レベルの潜在的なダウングレード（例えば、Ｌ５からＬ４、Ｌ４から３など）について乗員に警告するなど、車両の音声および／またはグラフィックディスプレイ上に提示されるアラートを生成するために利用され得る。いくつかの事例において、レコメンドシステムは、変動する間隔または頻度で、自律車両（例えば、計画フェーズロジック（例えば６１０）および車内環境調整ブロック（例えば６２５）のいずれかまたは両方）によって消費されるための結果およびレコメンドを生成し得る。同様に、そのようなレコメンドを近隣の車両と共有するとき、いくつかの共有されたレコメンド情報は、より少ない更新割合でも満足し得るが、天気および交通状態などの他のものは、より多い頻度（最大で１分間のリフレッシュレート）、高い通信帯域幅のサポート、車両からの高精度の測位のレポートを伴い、より低いレベルのタイプのセンサの車両は、これらについてネイティブにサポートすることが困難であり得る。いくつかの事例において、より高いレベルの自律車両からより低いレベルの自律車両へのレコメンド情報配信のレートは、近隣の車両の特定の能力の（より高いレベルの車両による）識別に基づき得る。例えば、近隣の車両には、いくつかの処理機能およびセンサが提供され得、これにより、より高いレベルの車両が、これらの能力を識別したときに、別のより低いレベルの自律車両モデルとインタフェース接続しているときと比較して、異なるレコメンドタイプを送信する、および／または異なる頻度でレコメンドを送信することを可能にする。
図８を参照すると、より低いレベルの自律車両の強化を示す簡略ブロック図８００が示され、様々な強化モードは、各々、乗員の基準をパーソナライズする特定のセットの条件について、組み合わされたときに、よりローエンドの自律車両の低レベルの能力を補足／補完する様々なモードの環境記述を提供することを可能にし、特定の領域またはロケール、または、他のセットの条件で動作し得る全体的なレコメンダの応答を効果的に強化する、または、人工的に拡張する。この例に示されるように、特定のより低いレベルの自律（または非自律）車両に装備された、よりローエンドのセンサ８０５は、様々な外的なより高い能力のセンサ（例えば８１０～８３０）を通じて補完され得る。特定の機能を有するいくつかのを含む、そのようなセンサは、よりローエンドの自律車両のセンサ（例えば８０５）を補足し、更に、低い能力または非自律型のレガシー車両上に提供されるアフターマーケットのレコメンドシステムにデータを提供し得る。
いくつかの実装において、これらの様々なセンサによって生成されたデータは、１または複数のクラウドまたはフォグベースのコンピューティング環境（例えば８３５）によって消費および／またはホストされるために提供され得る。いくつかの実装において、そのような解決手法は、自律車両が存在する環境内で収集されるデータを広く使えるようにし、および／または、一般化するように働き得る。このデータの少なくとも一部の組を集約することにより、これらのサービス（例えば８３５）とインタフェース接続する、変動する「クライアント」車両の特定のニーズに対処するなど、追加の処理が実行されること、データ収集およびオフロードを最大化することを更に可能にし得、例えば、数ある例の中でも特に、欠けているタイプのセンサ誘導データのタイプ、人口統計学データ、コンテキスト、まとまった結果の配信、特定の領域またはエリアに固有の結果を取得する。そのようなコンポーネント、または、それらの部分集合は、数ある例の中でも特に、様々なレベルの知覚情報をクラウド（例えば８３５）に提供し得、相互相関情報が環境内に収集されることを助け、様々なデータおよびセンサを、よりローエンドのセンサ能力、永久的または一時的に損傷／無効化されたセンサ（ハイエンド自律車両上のものを含む）を有するクライアント自律車両、または、高レベルの感知または算出能力を完全な一式より少なく所持する車両についてのサービスとして効果的に統合する。
上記のように、様々な外的センサは、集約、相互関連付け、および／または、データもしくはサービスとしての自律運転サポートとしてバンドルされ得る、よりロバストなセンサ入力の組をビルドするために利用され得る。いくつかの例において、センサは、空中交通および／または環境サポートを提供するセンサを有する航空ドローン（例えば８１５）、飛行船ドローン（例えば８１０）、または、他の飛行デバイスを含み得る。航空ドローンは、クラウドまたはフォグベースサービスへ、または、範囲内の自律車両デバイスへ直接的に高速アラートを提供する通信能力を含む空中交通解析を提供し得る。そのような交通情報は、交通レポート、安全性レポート、事故レポート、緊急事態アラート、逆走運転者アラート、煽り運転アラートなどの例を含み得る。飛行船ドローン（例えば８１０）は、航空ドローンによって提供される同様の情報およびサービスを提供し得るが、より荒れた天気において配備可能であり得る。また、オートパイロットの地上ベースドローンおよび他の車両（例えば８２０）が提供され得る（例えば、無人ドローン車両、スマート除雪機、スマート車道清掃機、公共輸送車両、公共安全車両など）。これらは、様々な道路区間を系統的または日常的にナビゲートし得、これらの道路区間における条件を検出して（例えば、ポットホール、橋の条件、道路のごみ、氷または雪、スモッグレベル、道路のグレード、アレルゲンレベルなどを検出する）、交通の流れ、道路の状態に関する情報をキャプチャすることを支援するためのセンサが装備され得る。上記のように、ビーコン、路肩、および道路組み込みセンサ（例えば８３０）に加えて、高レベル自律車両（例えば８２５）など他の自律的乗用車両のセンサも活用され得る。ビーコン、路肩、および道路組み込みセンサ（例えば８３０）が、市街地および重要な郊外エリア（例えば、鉄砲水、野生動物および家畜の横断、雪崩などの傾向があるエリアに近い）に配置された静止または可動センサとして提供され、情報を検出し、数ある情報の中でも特に、交通の流れ、天気、安全性情報、商業および小売の宣伝情報、旅行情報を記述するデータを提供し得る。いくつかの場合において、これらのセンサは、道路標識、交通信号機、掲示板、バス停など、他の車道の特徴に統合され得る、または結合され得る。追加的に、様々な外的デバイス（例えば８１０－８３０）は、数ある例示的な実装の中でも特に、より低いレベルの車両がクラウドサービス（例えば８３５）にアクセスしてデータを受信し、このデータに基づいて（例えば、レコメンドデータをクエリする、または、プッシュされるときに、車両がこれら他のデバイス（例えば８１０～８３０）の１つの近傍にあることに基づいて）データを集約しレコメンドサービスを提供するためのアクセスポイントとして働き得る。
いくつかの実装において、車両（例えば８０５）の車載コンピューティングシステムに提供されるデータは、当該車両の特定の特性および能力に基づいて、時間設定され、フィルタリングされ、整理され得る。追加的に、乗員情報が車両において収集され得、外的システム（例えば８１０～８３０）と（例えば安全な匿名の方式で）共有され得、車両と共有されるデータは更に、車両の乗員について決定されたプリファレンス情報に基づいて、フィルタリングおよび／または整理され得る。乗員の特定の要因（例えば、乗員の数、乗員の人口統計的特徴、乗員の互いの関係など）に加えて、より低いレベルの車両に提供されるサポートの量およびタイプに影響する追加の要因は、時刻（例えば、ラッシュアワー、食事時間、通学もしくは通勤に対応する時間など）、走行の長さ（例えば、長距離または短距離）、ならびに、車両の特定のモデルのセンサおよび自律レベル情報などを含み得る。図８に示されるように、結合するとき、より低いレベルの車両のセンサから収集された情報、および、車両の算出能力を、他のセンサ（例えば８１０～８３０）を通じて提供される情報およびサービス、ならびに、他のシステムの計算リソース（例えば８１０～８３５）と（８４５において）結合するとき、そのようなより低いレベルの車両の能力、ＱｏＳ、安全性、および、快適性を、より低い、よりアクセス可能なコストで（８５０において）強化する。いくつかの場合において、これらのロバストなレコメンド能力は、いくつかのより高いレベルの自律車両と同様に、これらのレコメンドを配信するとき、乗員の特定のプリファレンスおよび設定（８４０）も検出し、更に考慮し得るより低いレベルの車両に及び得る。いくつかの実装において、数ある例示的な実装の中でも特に、広告プラットフォーム（例えば、掲示板）と関連して、または、クラウドベースのセンサもしくはサービスとしてのレコメンドシステムとして、車両にとって外的なそのようなシステムによって提供またはサポートされるレコメンドサービスが、地方自治体、地域、または、国家のインフラストラクチャの一部として提供され得る。いくつかの実装において、レコメンドサービス、ならびに補完的センサデータおよび出力が、より軽い重みのレコメンドシステム、車載ＧＰＳシステム、または、他のシステムそのようなによって消費されるために提供され得、この既存システムの情報および機能は、数ある事例の中でも特に、車両の外部に提供される情報およびコンピューティングロジック（例えば、８１０～８３５）によって強化および拡張される。
前の例において、車両が複数の他のデバイスによって提供された複数のセンサを活用して、よりロバストなレコメンドを、より低いレベルの自律車両のためにビルドすることを可能にするレコメンダシステムが説明されたが、いくつかの実装において、高レベル自律車両上のレコメンダシステムもサポートする同様のインフラストラクチャが更に利用され得る。いくつかの事例において、高レベル自律車両は、最高レベル（例えばＬ４またはＬ５）の自律的オペレーションをサポートするだけでなく、比較的低いレベル（例えばＬ３）の自律運転機能もサポートし得る。実際、道路条件、センサ完全性、運転者プリファレンス、および他の要因に応じて、車両の車載コンピューティングシステムを通じて実装される自律運転スタックは、複数の異なる自律運転レベルにおけるオペレーションをサポートするためにプログラミングされ得、レベル間で手動または自動的に（例えば、検出されたイベントまたは条件に応答して）切り替えられ得る。例えば、ユーザは概して、車両の最高サポートレベルを維持することを望み得る（例えば、常にＬ４を使用する）が、車両のセンサ条件および外部運転環境の現実により、いくらかの期間の間、および、いくつかの環境において、より低い人間が支援する自律性レベルにユーザが制限され得る。例として、数ある例の中でも特に、Ｌ４自律車両のセンサに泥がかかった、または、氷が張った道路上で塩で覆われた場合、Ｌ４モードをサポートする重要なセンサが（一時的に）損なわれ、車両は、より低い自律運転レベルで機能せざるを得ない。
いくつかの実装において、車両の車載コンピュータのレコメンダシステムまたは他のコンポーネントは、車両がその自律運転レベルをダウングレードする必要がある可能性があるであろう事例を検出し、更には予測するために利用され得る。いくつかの例において、そのような条件の検出に応答して、レコメンダシステムは、他のデバイス、または、他のデバイスのセンサを通じて収集されたサービス集約センサデータとインタフェース接続して、追加情報を自律車両に提供し、典型的には損なわれたセンサの１つによって収集され、より高い自律性モードをサポートするために自律車両によって使用される、欠けている情報を埋め得る。一例において、そのような機能をサポートするべく、その能力を車に通知するレコメンダシステムが提供され得る。いくつかの場合において、このレコメンダシステムは、本明細書の例のいくつかにおいて説明されるものなどの、ユーザが消費するためのレコメンドを提供し、および／または、乗員快適性を強化するために、同じ車で提供されるレコメンダシステムとは異なり得る。実際、他のレコメンダシステムと同様に、中核的な感知、計画、行動パイプライン（例えば、図６に示される）はレコメンダシステムによって活用され得る。センサステータスは、いくつかの場合において、システム診断ツールによって決定され得る。他の場合において、自律車両の計画ロジックまたは他の機械学習ロジックは、特定のセンサが何等かの方式で損なわれた（例えば、塞がれた、誤動作している、無効化されたなど）ことを示す、様々なセンサから受信されたデータを検出し得る。検出されたセンサステータスに基づいて、車両のシステムは、車両およびその自律運転機能のステータスをリアルタイムで決定し得る。実際、システムは、ステータス情報に基づいて使用可能な現在の最大レベルの自律性を決定し得る。レコメンドは次に、車両のセンサおよびその自律運転能力の決定された、このステータスに基づいて生成され得る。実際、感知された能力は、車両の使用期間を通じて、更には、個々の運転の間にも変化し得るので、ステータス、および、レコメンダシステムによって生成される対応するレコメンドは、運転と運転との間で変化し得る。いくつかの場合において、レコメンダシステムは、レコメンドを生成して、検出されたシナリオおよびシステムステータスに基づいて、複数のサポートされる自律レベルの特定の１つを使用し得る。センサ情報が利用不可能である、または低品質であるときに自律運転レベルが低下するので、レコメンダシステムは、車両にとって外的な他のデバイスまたはサービスによって生成および伝達されたセンサデータ（例えば、クラウドソースされたデータ、クラウドからの更新）を取得および使用することを試み、この情報を使用して、車両自体の機能の穴を埋め、それにより、車両の自律性のレベルを復元または上昇させ得る。
図９を参照すると、簡略ブロック図９００が示される。１または複数の車両（例えば１０５、１１０、１１５、９０５など）および他のデバイス（例えば１３０、１８０など）、ならびに、車両の自律運転ロジックへの入力に関連し、そのように使用可能（または入力を生成する）であり得る情報を収集するセンサ（例えば１６０、１６５、１７０、９１５など）が提供された構造物（例えば１２５、９１０など）を含む特定のロケールにおける例示的な運転環境を示す。この例において、最大で特定のレベル（例えばＬ４）の自律運転をサポートし得る自律車両１０５が提供される。車両１０５によって実行される経路または判断を決定するために、車両１０５上のコンピューティングシステムに実装される自律運転パイプラインによって使用されるデータを提供するための様々なセンサ（例えば９２０、９２５、９３０など）が車両１０５上に提供され得る。
一実装において、車載システムは、車両１０５のセンサ（例えば９２０、９２５、９３０）のうち１または複数が損なわれ、生成するデータの信頼性がより低くなったことを検出し得る。いくつかの場合において、１または複数のセンサが損なわれたと検出すると、車両のレコメンダシステムは、車両１０５の自律運転機能をサポートする、信頼できるセンサデータの減少に基づいて、運転自律性のレベルをダウングレードし得る。他の場合において、車両１０５の自律運転レベルのダウングレードを回避する、または、その程度を最小化するべく、車両は、車両１０５の現在のロケール、または、車両１０５の計画された経路またはルートに対応するロケールに関連する、他のデバイス（例えば１１０、１１５、１２５、１３０、１８０、９１０など）によって生成されるセンサデータ、オブジェクト認識結果、交通認識結果、道路条件認識結果、および、他のデータにアクセスし得る。例えば、センサ９２５は、適切に動作できないときに検出され得、車両１０５のシステムは、他のデバイス（例えば１１０、１１５、１２５、１３０、１８０、９１０など）によって生成されたデータにアクセスし、損なわれたセンサ９２５によって生じる忠実度の低減を置換または補完し得る。いくつかの場合において、車両１０５は、（例えば、車両１１５、航空ドローン１８０などのセンサ（例えば１６０、１６５、１７５）からデータを取得するための）損なわれたセンサの場所に基づいて、他のソース（例えば１１０、１１５、１２５、１３０、１５５、１８０、９１０など）から利用可能なデータをフィルタリングし得る。それらは、数ある例の中でも特に、（例えば、車両１０５の左側にある）損なわれたセンサ９２５によって通常は提供される情報を提供する可能性がもっとも高い。更に、いくつかの実装において、障害のあるセンサに応答して、データの一定のストリームを車両１０５に大量に供給するのではなく、目的のあるガイダンスが車両へ送信され得、同様に目的のあるレコメンドは、損なわれたセンサを考慮して、潜在的に問題のある、または困難な場所、または、車両１０５が遭遇するイベントに対応する。
本明細書において説明される他の例と同様に、いくつかの事例において、一群のセンサおよびデバイスによって生成されるセンサデータおよび観察結果は、バックエンドサービス（例えばネットワーク１５５内）に提供され、それによって集約され得る。いくつかの事例において、様々ネットワークアクセスポイント（例えば１４５）は、車両（例えば１０５）が、サービスによって蓄積されたインテリジェンスおよび情報にアクセスし得るための低レイテンシネットワーク通信チャネルを提供し得る。いくつかの場合において、サービスは、車両（例えば１０５）のタイプを識別し、どのセンサ（例えば９２５）が損なわれているかを識別するレポートを車両１０５から受信し、この情報を利用して、（レポートされたセンサの問題を考慮して）車両１０５の特定のニーズまたは需要として決定されたサービスは何かに基づいて、車両１０５との通信を適切にフィルタリングし、実行／時間設定し得る。補完データのソースに関係なく、レコメンダシステムは、この補完情報を利用して、自律車両１０５のオペレーションを誘導することを支援し得る。
いくつかの事例において、１または複数のセンサのステータスが動作可能状態から損なわれた状態に劣化することは、わずかな瞬間に生じ得る。例えば、泥の跳ね、予期しない機能不良、角度に問題があるヘッドライト、または日光などによってセンサの完全性が瞬間的に損なわれ得る。その瞬間における、レコメンダによって認識される、より低い運転自律性モードへの遷移は、動作および実際的な観点から、非常に困難であり得る。従って、いくつかの実装において、レコメンダシステム（および補完センサおよびオブジェクト認識データ）の使用または自律レベルの変化の可能性がより高い事例を予測するために、車両（例えば１０５）のレコメンダシステムは、予測分析および機械学習ロジックを所持し得る。例えば、車両のより高いレベルの自律運転機能のオペレーションへのそのような変化を、行程において利用できる可能性があるのはいつかを予測するために、車両（例えば１０５）のシステムから入力を受け付けるための１または複数の機械学習モデルが提供され得る。例えば、入力は、数ある入力の中でも特に、センサステータス情報、システム診断情報、センサの使用年数または使用統計、天気情報（例えば、滑りやすい道路、塩で処理された道路、可視性の低減などをもたらし得る）、道路条件情報（例えば、センサの機能を妨げる可能性が高い道路（例えば、舗装されていない道路、淀んだ水がある道路など）に対応する）を含み得る。そのような可能性が予測される場合、車両は、１または複数のセンサに問題が生じる場合に備えて、システムを準備し得る（例えば、計画されたルートに沿った道路の現在または今後の区間を記述する、他のデバイスからのデータを受け付けることを先制的に開始する）。これにより、数ある例示的な実装の中でも特に、車両がセンサの問題に迅速に反応して、自律運転ロジックのオペレーションを調整することを可能にする。
本明細書の例のいくつかにおいて記載されるように、いくつかの自律運転実装は、車両に統合された、または、そうでない場合、結合されたセンサ（車両の内部および外部の条件を感知するセンサを含む）、および、所与の自律車両の外部の外的なセンサを備える、センサのシステムを利用し得る。このデータの少なくとも一部は、数ある例の中でも特に、車両間通信、車両と路肩または交通標識／信号に搭載されたセンサとの間の通信、バックエンドセンサデータアグリゲータおよびサービスとの通信、ドローンと自律車両との間の通信、および／または、センサデータ集約サービスなどを通じて、他のアクターと通信および共有され得る。ハイエンドセンサを利用する高レベル自律システムにより、このデータの大部分は、サイズが大きく、分解能が高い。従って、そのようなシステムは、収集およびデバイス間通信のために膨大なデータを生成し得、そのような量のデータのスケーリングおよび（例えば、データセンタ、クラウドまたはフォグベースサービス、および、他のデバイスへの）オフロードが高額のオペレーションになる。いくつかの実装において、データオフロードについて、システム内において（例えばコストおよび時間の観点から）最良のアプローチを動的に決定することにより、データ収集を最適化し、効率的に制御するために、システムプロトコルおよびロジックが提供され得る。
表１は、単一の自律走行車の例において生成されるセンサデータのいくつかを推定する概要を示す。この例において、総帯域幅は最大４０Ｇｂｉｔ／秒（例えば約２０ＴＢ／時間）に達し得る。従って、これを理論上の数百万の自律車両（いつか車道を占有し得る）で乗算するとき、収集されたデータのすべてのビットを送信し、そのような大量のデータを（例えば、深層学習モデルが訓練するために）格納することは、法外なまでに非常に高価であり得る。加えて、既存のネットワークインフラストラクチャは、そのような大量のデータの連続する通信に圧倒され得、解析されたデータを取得し、リアルタイムでシナリオに応答／反応するために同一のインフラストラクチャを使用することが危なくなる。
表１
表１
一例において、自律運転システムが提供され得、これにより、システムに参加するデバイス（例えば、個々の自律車両、ドローン、路肩センサデバイス、クラウドベース自律運転サポートをホストするシステムなど）には、機械学習モデルおよびロジックを活用してデータをインテリジェントにアップロードおよび転送することにより、（例えば、車両においてローカルに収集および／または格納されない不要なデータを用いて）収集およびオフロードされたセンサデータの全体的な量をインテリジェントに低減することを支援するためのロジックが提供される。例えば、センサデータ収集は、分散された機械学習訓練および転送モデル技法を適用してこのコスト／オーバーヘッドを低減することによって低減され得る。そのようなアプローチにおいて、追加のデータが任意のデバイスによって「必要」とされる「条件」が指定され、デバイス上の機械学習エンジン（例えば、接続された自律車両における機械学習エンジン）と通信され得る。結果として、接続デバイスは、モデルが開発および訓練を継続するにつれて（例えば動的に）更新され得る、指定された条件を満たすセンサデータのみを収集および移送する。更に、いくつかの実装において、機械学習ベースのインテリジェントなセンサデータのアップロードは、１つのデバイスから別のデバイス、および／または、１つのデバイスからクラウドへのセンサデータの通信をインテリジェントにフィルタリングおよび時間設定されるよう実装され得る。従来のシステムは、オフラインアップロード（例えば、日の最後にデータをアップロードする、または、車両が充電、駐車などしている間にアップロードする）、または、オンラインアップロード（例えば、ネットワーク接続が利用可能であるときはいつでも、運転時間中にデータの常にアップロードする）のいずれかのためにすべてのデータを収集し得る。いくつかのデータは、クラウドまたは別のデバイスに即時にまたは（ほぼ）リアルタイムに転送される必要があり得るが、すべてのデータをリアルタイムに移送することは、効率的でなく、コストが高く、乏しい無線リソースの無駄であり、そのようなシステムのスケーラビリティが危うくなる。従って、改善された例示的な自律システムにおいて、関与するセンサデバイス（例えば、接続された車両）は、追加的な機械学習技法を利用して、データの時間依存性、異なる場所および時刻における、データ移送の選択肢（例えば、セルラＷｉ－Ｆｉ（登録商標）、利用可能な移送技術（例えば４Ｇ、５Ｇ）、ならびに、チャネルのコストおよび利用可能なスループット）の利用可能性、ならびに、車両ユーザの他の使用およびプリファレンス（および、これらの使用に基づく、（例えば車載メディアストリーミングおよびゲーミングなどにおける）対応するネットワークおよびコンピューティングの使用）などの属性から学習して、何のデータをクラウドまたは別の接続デバイスへいつどのように移送するかについての最適な選択肢を決定し得る。
図１０を参照すると、対応する自律車両上のセンサアレイ１００５によって生成されるセンサデータの作成、格納、およびオフロードをインテリジェントに管理する機能を提供するブロック（例えば１００５、１０３５、１０４０、２４４など）を含む強化された自律運転システムを示す簡略ブロック図１０００が示される。例えば、センサアレイ１００５は、複数の異なるタイプのセンサ（本明細書において説明されるものなど）から成り得、更に、いくつかのオブジェクト認識を実行して、オブジェクトリスト結果および生データを提供する前処理用ソフトウェアおよび／またはハードウェアが提供され得る。いくつかの実装において、前処理ロジックはまた、データ配信および生成の最適化を支援し得る。センサアレイ１００５からのデータが、自律運転システムの他の機能ブロックによってアクセスおよび使用され得る車両データリザーバ１０１０（またはメモリ）に提供され得る。例えば、様々な人工知能ロジックおよび機械学習モデルを使用する自律運転スタック１０１５は、センサデータを受信または取得して、アクチュエーションおよび制御ブロック１０２０への出力を生成し、車両１０５を自律的にステアリング、加速、および制動し得る。いくつかの場合において、自律運転スタック１０１５によって生成される結果は、車両１０５に対して外的な他のデバイス（例えば１０２５）と共有され得る。
引き続き、図１０の例において、データリザーバ１０１０に配置されるセンサデータはまた、元の分解能のデータを必要としないことがあり得るプロセスおよびサービスへ配信されるデータのフットプリントを低減することを支援するために処理され得る。例えば、損失が低いトランスコード（１０３０）が適用され得る。いくつかの実装において、（ブロック１０３５を使用して）機械学習ベースの非可逆的なインター‐イントラフレームトランスコード、および、機械学習ベースのイベント／シーンおよびシナリオの検出（１０４０）が実行され得る。これらのブロック（例えば１０３０、１０３５、１０４０）によって生成された変換データは、通信チャネルの属性および準備データの受信先を検出および予測するために利用され得る、自律車両のレコメンダシステム２４４へ提供され得る。いくつかの場合において、動的データパイプ１０４５は、更なる処理のためにクラウドおよび／またはフォグベースサービスならびにレポジトリ（例えば１０５５、１０６０）へ提供され得るレコメンダシステム２４４によってサポートされ得る。加えて、レコメンダシステム２４４（および、自律運転システムの他のコンポーネント）は、数ある例の中でも特に、多くの自律車両および他のセンサデバイスからセンサデータを入力として取得する他の機械学習モデルからの結果など、他のセンサデバイスおよびクラウドベースのサービス（例えば１０５５、１０６０）からの結果データ（例えば１０５０）を使用し得る。
例示的な実施形態において、自律運転システムは少なくとも、２つのセンサ（例えば、３０フレーム／秒（ｆｐｓ）で動作する２メガピクセル（ＭＰ）分解能を有する前方カメラおよび後方カメラ）によって収集されたデータを消費し、経路計画を行い様々なシナリオに応答するために車載自律運転スタックによって実行される１または複数の機械学習モデルを使用してデータを処理および分析し得る。いくつかの事例において、自律車両は、（それ自体のセンサおよび外部ソースからの）一定のデータ収集およびそのモデルの連続的または漸進的な訓練が無い、複雑で動的な環境において完全に動作するほど十分に「経験した」モデルまたはロジックをネイティブに所持しないことがあり得る。実際、特に、数ある例示的な問題および利点の中でも特に、自律車両の展開は初期段階なので、収集データを使用するそのようなメンテナンスの実行は、重要なタスクであり得る。しかしながら、そのようなシナリオにおいて、収集、前処理、および格納され得るデータの量は、非常に高価であり得る。例えば、３０ｆｐｓで動作する２ＭＰの分解能（画素あたり２４ビット）の２台のカメラセンサを各々が有する１０台の自律走行車を毎日４時間運転する場合において、２８８０ＭＢｉｔ／秒（３６０Ｍｂｙｔｅ／秒）のデータが生成される。わずか４時間で、合計５１．４８ＴＢのデータが生成される。１年の平均稼働日が２６１日であると想定すると、これら１０台の車によって生成されるデータの総量は、約１４ペタバイトのデータとなる。
いくつかの実装において、レコメンダシステム（例えば２４４）は、接続された車両が現在直面している、または、直面すると予想される条件を検出し得、自律運転システムの他のコンポーネントのために、外部システムへのデータのオフロード、センサデータへのトランスコードおよび圧縮の適用、更には、センサアレイ１００５によるセンサデータ自体の生成を含むデータ処理プロシージャをレコメンドおよび指示し得る。例えば、レコメンダシステム２４４は、センサアレイ１００５における１または複数のセンサのオペレーションを、車両が遭遇する決定された条件（例えば、車両についてのネットワークリソースおよびデータ共有の機会に影響する条件、自律運転タスクの複雑性、および、計画された経路沿いの車両に直面する分類に影響する条件など）に基づいて調整することをレコメンドし得る。例えば、レコメンダシステム２４４は、これらの条件に基づいて、数ある例の中でも特に、（例えば、センサのレート、フレーム／秒、クロップ期間、最大ビットレートなどに基づく）条件に基づくデータの最小限の許容品質を指定することなどにより、センサアレイにおける１または複数のセンサに、センサによって生成される品質、分解能、または忠実度を調整するように命令し得る。
いくつかの実装において、自律車両上のセンサデバイスによるデータ出力の量を低減するために、データのリサンプリングおよびプルーニングが適用され得る。例えば、自律車両上の例示的なカメラセンサによって生成されたビデオフレーム間の高い相関に起因して、そのようなカメラによって生成されたデータのサイズを数分の１だけ低減するためにリサンプリングが適用され得る（例えば、データを３０ｆｐｓから１ｆｐｓにリサンプリングすることで、データサイズを３０分の１に低減する）。いくつかの事例において、可逆圧縮（例えば５０ｘの圧縮レート）も適用され得る。リサンプリングおよび圧縮の両方が適用されるとき、正味のデータ低減は、元のデータサイズのおよそ０．０５％である圧縮データを生じさせ得る。従って、前の例から、収集データのダウンサンプリング、および、重い前処理（正確な訓練が実現可能なままである分解能）を通じて、数ある例の中でも特に、２ＭＰカメラセンサを有する２つの３０ｆｐｓの１０台の例示的な車からのデータの量がおよそ６テラバイトのデータに低減され得る。
上の例は、２つのカメラセンサのみを各々が有する１０台の自律車両から生成されたデータの処理の困難性を示す。しかしながら、より複雑なシナリオにおいて、数千の自律車両は車道を共有し、遥かに多くの様々なセンサを装備し得る。従って、そのような複雑なシナリオにおいて、数千ペタバイトのデータが生成され、自律運転環境内の無線通信チャネルを介して通信され得る。訓練目的で、このデータをすべて送信し、クラウドシステムに格納することは、非常に高価であり、時間がかかるタスクである。表２は、自律運転システム（例えば、３３２ＧＦＬＯＰＳ性能のＧＰＵを有する）において採用され、センサデバイスの複数の自動車からの生成されたセンサデータを使用し得るいくつかの例示的な機械学習モデルについての訓練時間長を示す。
表２
表２
いくつかの実装において、図１１の簡略ブロック図１１００によって示されるように、機械学習ベースの不可逆インター‐イントラフレームトランスコーダ１０３５は、標準コーデック（ＪＰＥＧ２０００、ｍ－ｊｐｅｇ、ｍｐｅｇ４および可逆ｍｐｅｇ４ｓ）、また、高度機械学習ベース超圧縮を使用して、同時データ圧縮を実行できる。この方式のデータ圧縮は、数ある例示的な使用および例示的な潜在的利点の中でも特に、キャプチャされたイメージを異なるプロファイル（例えば、ビットレート、フレームレート、および転送エラー制限）にトランスコードすることを助け得る。例えば、例として、数ある例示的な使用事例およびアプリケーションの中でも特に、車両が低帯域幅エリアを走行しているとき、現在のネットワーク効率を改善するために、高プロファイル、低圧縮ストリームが延期され得る。
図１２および図１３の簡略ブロック図１２００、１３００によって示されるように、機械学習ベースのイベントまたはシナリオ検出エンジン（例えば１０４０）は更に、自律運転システム内のデータ転送および格納を改善するために使用され得る。上で紹介したように、受動的な非制御データ収集および伝送は、非常に高価であり得る。いくつかの実装において、フィルタリングデータ収集および伝送は実質的に、機械学習イベントおよび／またはシーン分類（データ収集におけるレコメンドを表す）に基づく内部および／または外部のイベントに基づき得る。例えば、接続された車の１または複数のセンサ障害などのイベントを検出すると、外的データソース（例えば、他の接続された車、または、他のセンサデバイス）との通信が増加し得る。別の例示的なシナリオまたはイベントとして、特定のタイプの悪い天気（例えば、霧、雪、雨など）を検出すると、車両は、数ある例の中でも特に、曖昧なデータを使用すること、高分解能データを保持および使用すること、他の外部ソースからの補完データで自身のセンサデータを強化することを行わなくなり得る。そのようなイベントは、接続された自律車両の１または複数のセンサから１または複数の機械学習モデル（例えば１２０５）へデータを提供することによって検出され得る。例えば、図１２の例に示されるように、数ある例示的な入力の中でも特に、車両を囲む外部環境の条件（例えば、天気情報、道路条件、交通状態など）を記述する、または、決定された経路計画の今後の部分に沿った環境条件を記述する（統合または外的センサからの）データ１２１５と共に、内部システム健全性情報１２１０が（例えば、１または複数の内部センサおよび／またはシステム診断モジュールから）提供され得る。機械学習モデル１２０５は、数ある例の中でも特に、壊れた、もしくはそうでない場合、上で説明されたものなど、損なわれたセンサ（例えば１２２０）、天気（例えば１２２５）イベント、および、通信チャネル特性（１２３０）（例えば、車両がイベントおよび分類モデルを使用して将来の使用のために豊富または高忠実度のデータを収集せざるを得なくなる、カバレッジが無いエリア、信頼性のない信号、または、低帯域幅無線チャネルなど）、道路条件および交通イベント（例えば１２３５）（車両はリアルタイムの分類およびデータ伝送を優先せざるを得なくなり得る）など、これらの入力から１または複数のタイプのイベントを決定し得る。
図１３の例を参照すると、簡略ブロック図１３００は、接続された車両の自律運転システムに組み込まれ得る、機械学習ベースのシーン分類ブロック１３０５を示す。カメラデータ、レーダデータ、ＬＩＤＡＲデータ、ＩＭＵデータ、および他のセンサデータなどの様々なセンサデータ１３１０が入力（例えばマルチモーダル入力）として、シーン分類が出力され得る分類モデル（例えば訓練された畳み込みニューラルネットワーク）に提供され得る。例えば、提供されたセンサ情報からのモデルは、車両が現在、特定の環境の特徴を所持するロケールにある（または、（経路計画に基づいて）すぐに到達する）と検出し得る。これらの環境的な特徴は、車両の自律運転システムによるデータ収集およびオフロードを管理することを担う、自律車両上のレコメンダシステムに影響し得る。例えば、モデル１３０５は、数ある例の中でも特に、車両の環境が、高い交通量および動的な条件を特徴とする都市の環境（例えば１３１５）、概ね静的な運転条件を特徴とする、よく訓練された高速道路（例えば１３２０）、概ね訓練されていない車道、および、開発中である可能性が高い自律運転サポートインフラストラクチャを特徴とする、広い平野または森林（例えば１３２５）であると、入力１３１０から決定し得る。実際、低信号地域、事故、異常障害物、または道路の閉塞など、場所ベースの特定のシーンまたはアラート（例えば１３３０）はまた、センサデータ１３１０から検出され得る。例示的なレコメンダシステムの機械学習モデルは、（例えばモデル１２０５からの）イベント分類および（例えばモデル１３０５）からのシーン分類を入力として受け付け、どれくらいの忠実度、頻度などで、センサデータを収集およびオフロードするかどうか、およびその方式を決定し得る。例えば、自律運転システムの意思決定がよりアクティブになる可能性が高いシーンおよびイベント（例えば、悪い天気の都市設定）の結果、レコメンダシステムは、数ある例の中でも特に、より高い忠実度のデータ収集、センサデータのリアルタイム分類、および、様々な外部のセンサデバイスおよびサービスとの高帯域幅の低遅延通信を指示し得る。逆の場合において、車両のセンサが完全に機能していると検出される、晴れた天気の高速道路上で、レコメンダシステムは、無数の他の例の中でも特に、センサデータの収集、処理、およびオフロードの異なる扱いを指示し得る。これは究極的に、例示的な自律車両が直面するシーンおよびイベントについて検出された要因の集合によって命令され得る。
図１４の簡略ブロック図１４００を参照すると、自律車両の環境、および、これらの環境が車両の自律運転システムの経路計画および意思決定ロジックに対して課し得る即時の需要を考慮することに加えて、他のデバイス、車両、またはサービスとのデータの送信および受信に利用可能な通信インフラストラクチャの性質も、車両においてその瞬間に適用されるデータオフロードおよび収集ポリシーをどのように指示するか決定する上で、レコメンダシステムによって考慮され得る。例えば、レコメンドは、（例えば、いくつかの予め定義された方式（例えば、夜、駐車されたときなど）においてアップロードを受動的に実行するのでなく）同様に１または複数の機械学習モデルを活用して、アップロードを実行するのに最適な方式をインテリジェントに決定し得る、今度のデータアップロードが動的データアップロードパイプラインに従ってどのように生じるかについて、システムによって決定され得る。そのような動的な機械学習ベースのアプローチは、車両およびこれらのアップロードに使用されるネットワークインフラストラクチャの両方について、コストおよび帯域幅の大幅な節約を実現し得る。
図１４の例において示されるように、いくつかの事例において、レコメンダシステムは、例えば、車両で生成された少なくともいくつかの選択された部分のセンサまたは結果データをフォグ、クラウド、またはエッジクラウドシステム（例えば、エッジコンピューティングサーバ、フォグデバイスまたは路肩ユニット）にアップロードすることによって、自律車両によるデータアップロードの方式を調整し得る。そのようなアップロードは、アップロードされるデータの量、および、利用可能性接続特性の両方に基づき得る。自律車両システムは、様々な異なる通信技術（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ミリメートル波、ＷｉＦｉ、セルラデータなど）を通じて、様々な異なるデバイスおよびサービスとの通信をサポートし得、更に、環境内で利用可能な検出された通信チャネル技術、および、潜在的なデータオフロードまたは共有パートナーに基づいて、オフロードの決定を行い得る（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉＦｉ（登録商標）を通じて路肩ユニットに、ｍｍＷａｖｅを通じてフォグ要素に、５Ｇなどを通じてエッジコンピュータサーバまたはクラウドサービスに接続する）。データ転送において消費される時間およびネットワーク帯域幅はまた、レコメンダシステム機械学習モデルによって算出されて、車両のオフロード挙動を決定する上で考慮され得る。例えば、複数の潜在的なオフロード先が利用可能であるとき、レコメンダシステムは、環境内で検出された接続特性に基づいて、複数の潜在的な選択肢から選択し得る。例えば、レコメンダは、特定のオフロード先、および、使用する特定の通信チャネルまたは技術を選択し得る。オフロードされるデータのタイプおよび依存性はまた、数ある例の中でも特に、レコメンダシステムによって考慮され得る（例えば、ミッションクリティカルデータ（例えば事故の後または間）は、マップをビルドするのに使用するために主にオフロードされるデータとは異なるように扱われる）。
図１４は、例示的なレコメンダシステムがデータをオフロードするときに行い得る、様々な例のレコメンドを示す。例えば１４０５において、重要な時間感受性データが（例えばエッジデバイスまたは別の車両（例えば１１０）へ）オフロードされるが、高帯域幅データ経路が検出されないとき、レコメンダシステムによって適用される機械学習モデルは、車両１０５によって検出される抽象的な障害物の座標を単に記述するなど、低分解能フォーマットのデータ（例えば１４２５）を送信するというレコメンドを生じさせ得る。車両１０５がオフロードするデータを有するが、部分的な帯域幅条件のみが検出される（１４１０）別の例において、レコメンダシステムは、前処理された低帯域幅フォーマット（例えば１４３０）のデータをローカルフォグシステムにオフロードすることを決定し得る（例えば１４２０）。フォグリソース１４２０は次に、このデータを他のデバイス（例えば車１１０）に、または、（例えば後の時間に）提供する車両１０５に利用可能にし得る。更に別の例において、（例えば、数ある例の中でも特に、車両がまた、（例えば高速道路運転中、駐車中などに）ネットワーク通信および計算リソースがキャパシティを有する条件において運転していることが検出され、全分解能データでクラウドベースのバックエンドシステム（例えば１５０）への直接的なオフロードが実行され得る（例えば１４３５）とき）低遅延、高帯域幅チャネルが検出され得る。
車両が自律的に機能するのに必要な機能のすべては、車載コンピューティングシステムを通じてネイティブに提供され得るが（そして、必要なとき、周期的な通信を通じて、有線または無線の家庭またはガレージベースのネットワーク接続を介して更新される）、無線通信技術および速度が発展するにつれて、いくつかの自律車両実装は、外的データからの通信および計算リソース（例えば、車両の外部、または、車両にネイティブに統合されない）により重く依存し得る。例えば、５Ｇキャリアネットワークの出現および４Ｇ ＬＴＥカバレッジの拡大に伴い、接続された自律車両および車両－エブリシング（Ｖ２Ｘ）システムの実装が、より即時に実現可能になる。例えば、安全性を特に考慮して、車の外部のシステムを使用して、インテリジェンスの強化およびクラウドソースの両方を提供し、また、リアルタイムの高信頼性アプリケーションなどを通じて冗長性を提供することにより、車両の自律運転システムを通じてネイティブに提供される安全性が補完、拡張、および強化され得る。
自律車両は、外部コンピューティングシステムと通信して指示され得る。そのような制御は、無線（ＯＴＡ）更新のプッシュなどの低いレベルの制御を含み得る。これにより、車両は、リモート制御／メンテナンスセンタ（例えば、車両または自律運転システムの相手先商標製造会社（ＯＥＭ）またはプロバイダに属する）からソフトウェアおよび／またはファームウェア更新を受信できる（例えば、車両をメンテナンスセンタに持っていき技師が手動でそれを行うこととは対照的である）。他のより高い制御アプリケーションにおいて、自律車両の完全な制御は、外部コンピューティングシステム、または、リモートコンピューティング端末上のリモートユーザ／仮想運転者へハンドオーバされ得る。例えば、そのようなリモート制御は、例えば、自律車両から車内の乗員へ制御のハンドオーバが実現可能でない、または望ましくないときに、オンデマンドの「リモートバレット」サービスとして提供され得、自律運転システムがルートの特定の部分を正確に、効率的に、または安全にナビゲートするのに苦労している車両を支援し、または、停車イベント、もしくは、そうでない場合、動かない自律車両を支援する。
いくつかの実装において、自律車両がどのように確実かつ安全に扱うか知らない状況またはイベントに自律車両が遭遇するとき、車両は、停車イベントを開始するようにプログラミングされ得、このとき、自律運転システムは、車道から（例えば道路の路肩、または、駐車空間などへ）外れるように車両を直接する。将来、車道でより多くの数の自律車両が見られるようになったとき、１つの自律車両に停車を開始させるイベントは、他の近隣の自律車両に同様に影響することがあり得、複数の停車が追加の渋滞および車道の立ち往生を引き起こす可能性を生じさせ、車道、および、これらの車道上の自律運転を麻痺させる可能性がある。いくつかの事例は、自律運転システムから人間の乗員へのハンドオーバイベントを許可して、停車を引き起こす状況をナビゲートし得るが、他の実装において、数ある例示的な状況および実装の中でも特に、（例えば、車両に乗員がいないとき（例えば、ドローン車両、リモート呼び出し機能を使用する乗員に向かっている車両など））リモートバレットサービスがトリガされ得る。
上記によれば、自律車両のいくつかの実装は、リモートバレットモードをサポートし得、車両の運転が（車両の自律運転システムから）ハンドオフされること、および、ネットワークを介してリモートコンピューティングシステムによって制御されることを可能にする。例えば、自律車両のリモート制御は、扱うことができない状況（例えば、機能していないセンサ、車両にとって未知である新しい道路状況、車載システムが判断できない、など）に直面したとき、自律車両によってオンデマンドでトリガされ得る。そのようなリモート制御はまた、車両がリモート制御を要求する緊急事態の状況において車両に提供され得る。リモートバレットサービスは、車両をリモートに制御するように操作されるユーザエンドポイントシステムを提供された制御およびメンテナンスセンタにおいてリモートに座っている人間を伴い得る。そのようなシステムは、それ自体またはその環境の行動可能な情報が欠けていることにより操縦できないことに起因して自律車両が停車し得る、または、動かないままであり得るエッジケースを軽減するために使用され得る。リモートバレットシステムはまた、（例えば、車両によってナビゲートされている車道の表示を提供するため、車両のシステムステータス、車両の乗員ステータスに関する情報を提供するために、など）情報を自律システムから受信する機能を装備され得るが、それにもかかわらず、車両の自律運転システムから独立して機能し得る。そのような独立は、使用事例、数ある例示的な利点および実装の中でも特に、自律車両における完全または重大なセンサ障害の条件においても、リモートバレットサービスがそれ自体で機能することを可能にし得る。
例えば、図１５の簡略ブロック図１５００に示されるように、自律車両１０５は、様々センサ（例えば９２０、９２５、９３０など）および自律運転ロジックを含み、自律車両が様々な環境において自己運転することを可能にし得る。上で紹介されたように、いくつかの事例において、車両１０５の自律運転システムが経路計画におけるルートの一部を確実に、望ましく、または安全にナビゲートできないことが自律車両によって（または、自律車両内の乗員の要求で）決定され得る。自律車両１０５は、１または複数のネットワーク（例えば１５５）とインタフェース接続する通信能力を含み、車両１０５と、リモートバレットサービス１５０５を実装する１または複数のコンピューティングシステムとの間でデータが交換されることを可能にし得る。リモートバレットサービス１５０５は、複数のユーザ端末デバイスを提供し得る。これにより、仮想運転者ユーザが、車両上のセンサ（例えば９２０、９２５、９３０など）または他のデバイス（例えば道路路肩システム（例えば１３０）、空中または地上ベースのドローン（例えば１８０）、および、更には他の近隣の車両からのセンサ）上のセンサ（例えば１７５）から提供されるセンサデータ（例えば、カメラビューまたは他のセンサ情報）に基づいて、車両１０５の周りの条件を観察することが可能になり得る。仮想運転者は次に、リモートバレット端末に入力を提供し、対応する低遅延、高優先度データを車両１０５に（ネットワーク１５５を介して）通信し、車両１０５のステアリング、加速およびブレーキを制御し得る。
いくつかの事例において、車両１０５は、制御の介在、および、リモートバレットサービス１５０５へのハンドオーバを自動的に要求し得る。いくつかの場合、この要求は応答性であり得る（例えば、停車イベント、センサ停止、または緊急事態に応答する）が、他の場合において、（ルート上の先の条件を考慮して、停車イベントまたは他の困難が生じる可能性があるという予測に基づいて）先制的にリモートバレットサービス１５０５に車両の制御をテイクオーバさせるための要求が送信され得る。車両１０５は、それ自体のセンサ（例えば９２０、９２５、９３０など）からのセンサデータ、ならびに、他のセンサおよびデバイス（例えば１３０、１８０など）からのデータ、ならびに、バックエンド自律運転サポートサービス（例えば、クラウドベースのサービス１５０）を活用して、制御がリモートバレットサービス１５０５にハンドオーバされるべき条件であると、１または複数の機械学習モデルを使用して決定し得る。
いくつかの場合において、複数の異なる自律車両のいずれか１つによって活用され得る複数のリモートバレットサービスが存在し得る。実際、複数の自律車両は同時に、単一のリモートバレットサービスに接続され、制御され得る（例えば、異なるリモートの運転者が各車両をそれぞれ誘導する）。いくつかの場合において、１つのリモートバレットサービスは、別のものより多くの利用可能性を宣伝し得る。いくつかの場合において、リモートバレットサービスの品質レーティングは維持され得る。更に他の場合において、複数の異なるリモートバレットサービスの各々のリアルタイム接続条件を識別するために、接続品質および速度情報が維持され得る。従って、リモートハンドオーバが必要である、または可能性が高いことを検出することに加えて、自律車両（例えば１０５）はまた、そのような入力を考慮して、潜在的な多くの利用可能な代替的リモートバレットサービスのどれが使用および要求され得るかを決定し得る。いくつかの実装において、車両がリモートバレットサービスの特定の１つに関連付けられる事例など（例えば、数ある考慮の中でも特に、特定のプロバイダからのリモートバレットサービスについてのアクティブなサブスクリプションにより、リモートバレットサービスは車の製造者または自律運転システムに関連付けられる）、選択は単純である。
加えて、リモートバレットサービスはまた、（例えば、ハンドオーバのために要求に含まれる情報、ハンドオーバまたはリモート制御などに関連して受信されるセンサデータから集められた情報からの）リモートバレットサービスによって検出された様々な属性に基づいて、サービスを個々の自律車両（例えば１０５）およびそれらの所有者および乗員に合わせて適合し得る。例えば、数ある例示的な考慮の中でも特に、制御されている車両の型およびモデル、車両の自律運転システムのバージョンおよび実装、車両上のどのセンサが動作可能で信頼できるままであるか、ハンドオフを促進する特定の条件（例えば、専門のリモート運転者が、難しいコーナーケースから脱するように車両のトラブル対応およびナビゲートの支援を要求される）に基づいて、適合された運転支援ユーザインタフェースおよび制御がリモートバレットサービスの仮想運転者に提供および提示され得る。
いくつかの実装において、リモートバレットサービスは、政府機関を通じて公共サービスとして提供され得る。他の実装において、リモートバレットサービスは、民間部門の商業的事業として提供され得る。従って、所与の車両（例えば１０５）の行程に関連して提供されるリモートバレットサービスに関連して、メトリクスが自動的に収集され得、提供されるリモートバレットサービスを説明するために、対応するデータが（例えば、車両（例えば１０５）およびリモートバレットシステム１５０５のいずれかまたは両方のセンサまたはモニタによって）生成される。そのようなメトリクスおよびデータは、リモートバレットサービスのそのような特性を、数あるメトリクスの中でも特に、リモートバレットサービスをトリガする条件の重大度（例えば、より難しい問題は、より高いリモートバレットサービスの手数料を有する）、リモートバレットサービス制御下で運転されたマイル数、リモートバレットサービス制御下の時間、リモートバレットサービスを促進するために使用される特定の仮想運転者およびツール、センサ（例えば９２０、９３５、９３０）に対して外的である、リモートバレットサービスによって使用される外的データのソースおよび量（例えば、ソース（例えば１７５、１８０）に要求され収集されたデータの量）として記述し得る。これらは、そのサービスについてリモート仮想サービスによって請求される手数料を決定するために考慮および使用され得る。いくつかの場合において、手数料は、車両の所有者、車両製造業者、車両保証プロバイダ、車両の自律運転システムのプロバイダなどによって払われ得る、または、その間で分割され得る。いくつかの場合において、リモートバレットサービスの請求の責任は、ハンドオーバ要求に関連して生成されたデータから自動的に決定され得る。これにより、数ある例示的な実装の中でも特に、どの当事者が、どの量のリモートバレットサービス手数料を担うかを決定する。
リモートバレットサービスへのハンドオーバ要求に関連して生成されるデータ、および、所与の行程で車両に提供されるリモートバレットサービスを記録するために生成されるデータが収集され、リモートバレットサービス（例えば１５０５）のシステム（例えば１５１０）上、または、クラウドベースのサービス（例えば１５０）に維持され得る。これらは、数ある例示的な使用の中でも特に、リモートバレットサービスの結果を集約してクラウドソースして、将来のリモートバレットサービスのプロビジョニング、および、自己運転してリモートバレットサービスを要求するために車両が利用する自律運転モデルの両方を改善し得る。
図１６を参照すると、例示的なリモートバレットサービスの配信中のシステム間の通信を示す簡略ブロック図１６００が示される。例えば、ハンドオーバ要求１６１０が、車両（１０５）（例えば、その自律運転システムのリモートバレットサポートブロック（例えば１６０５）から、ネットワークを介して、（１または複数のリモートバレットサービスシステム（例えば１５０５）を通じて提供される）リモートバレットサービスを提供または仲介しているコンピューティングシステムへ送信され得る。他の事例において、（例えば、自律車両１０５に対して外的な）信用されるサードパーティシステムは、車両１０５が支援を必要としていることを（例えば、車両を伴う交通をモニタリングする様々なデバイスからのセンサデータのアンサンブルを通じて）決定し得る。いくつかの場合において、車両内の乗員は、数ある例示的な実装の中でも特に、車両１０５の代わりにハンドオーバ要求（例えば１６０５'）を送信し得るサードパーティのサービスを使用して、リモートバレットサービス（例えば、クラウドベースのサービス１５０）を（例えば、スマートフォンアプリを通じて）トリガさせ得る。セキュアな高優先度の通信チャネル１６１５が、車両１０５とリモートバレットシステム１５０５との間に確立され得、リモートバレットサービスが提供されることを可能にする。例えば、車両１０５上のセンサによって収集されたセンサデータ（例えばカメラデータ、ＬＩＤＡＲデータなど）が送信され得、リアルタイムに近い車両の位置およびステータスの表示、ならびに周囲の環境を提供し得る。いくつかの場合において、データは、車両１０５の内部センサからのデータ（例えば、数ある例示的な使用の中でも特に、車両の乗員の表示を可能にし、および／または、乗員とリモートバレットの仮想運転者との間の通信を促進する）を含み得る。リモートバレットの仮想運転者は、車両１０５のライブ条件を記述する、それらが受信する情報に応答し、それらの端末において制御を使用して、チャネル１６１５を介して車両へ送信され得る運転命令データを生成し、車両１０５の運転オペレーションをリモート制御し得る。リモートバレットサービスはまた、（例えば、車両１０５から受信されるものに加えて）路肩ユニット、他の車両、ドローン、および他のセンサデバイスなどの外的ソースから補完データを取得し得る。そのような情報は、１または複数のバックエンドシステム（例えば１５０）を通じて促進される高優先度チャネル（例えば１６２０）を介して提供され得る。いくつかの実装において、リモートバレットシステム１５０５は、車両１０５の場所から、センサのセット（リモートバレットの運転者の制御下で経路に沿って車両が移動するにつれて動的に変化し得る）を決定し得る。これにより、リモートバレットシステムは、別のセキュアなチャネル（例えば１６２０）を確立し、リモートバレットシステムによって制御されている車両の周りのシーンを記述するライブデータを取得し得る。従って、いくつかの実装において、リモートバレットサービスは、制御されている車両１０５上の、または、それに対して外的なセンサのいずれかまたは両方のセンサデータを使用し得る。
上記のように、いくつかの実装において、自律車両は、支援のためのリモートバレットサービスを呼び出すべきときの事例を検出し得る。いくつかの場合において、この決定は、１または複数のバックエンドサービス（例えば１５０）によって支援され得る。いくつかの実装において、車両は、ハンドオーバ要求を促進した条件（例えば１６１０）を記述するそのようなサービス１５０へ（または他のクラウドベースシステム、レポジトリおよびサービスへ）データを提供し得る。車両は更に、リモートバレットシステムの性能を説明する（例えば、リモートバレットによって取られる操縦または経路を説明する、サービスに対する乗員満足度を説明する、など）レポートを（サービスの後または間に）提供し得る。そのようなレポートデータ（例えば１６３０）は、機械学習モデルを訓練する、および、そうでない場合、バックエンドまたはクラウドベースシステム（例えば１５０）によって提供されるサービスを強化するために後に使用され得る。洞察および改善されたモデルがシステム１５０によって導出され、次に、車両の自律運転システム（およびリモートバレットサポートロジック１６０５）と共有され得る。いくつかの場合において、自律車両は、リモートバレットの操縦および反応を説明する情報を記録し、これを使用して、それ自体の自律運転機械学習モデルにおいて使用されるモデルを更に訓練および改善し得る。同様に、本明細書において説明されるものなど、数ある例示的な使用の中でも特に、レポートデータ（例えば１６２０を通じた）が、リモートバレットシステム１５０５からクラウドベースのサービスへ、または車両へ提供され、車両（および他の車両）の自律運転ロジックおよびハンドオーバ要求を強化するのに使用され得る。
説明のための例として、自律車両（例えば１０５）は、車両の自律運転システムは、ルートに沿って運転している間に特定の状況を扱うことができないと自律的に決定し得る（または、乗員のフィードバック、または、公安官によって受信もしくはレポートされるフィードバックなどに基づいて決定する）。従って、リモートバレットサービスがトリガされ得る。いくつかの場合、道路の区間に問題があるという予測に基づいて、道路の今後の区間の前に、リモートバレットサービスがコンタクトされ得る。いくつかの実装において、ハンドオフ要求は、（図５の例において説明されるものなどの）自律運転パイプラインにおける経路計画フェーズを実装する自律運転システムロジックを補完するロジックのブロックによって実行され得る。いくつかの事例において、リモートバレットハンドオフ要求がリモートバレットシステムへ発行されると、テレマティクス制御ユニット（ＴＣＵ）などの自律車両上の通信モジュールが、リモートバレットサービスに接続するために使用され得る。いくつかの実装において、ＴＣＵの製造フェーズ中に指定される（緊急事態呼び出しと同様の）緊急事態サービスとの通信として、リモートバレットサービス通信が確立され得る。このハンドオフ要求において、車両場所が提供され得る。いくつかの実装において、ハンドオフ要求およびリモートバレットサービスが、ＯＥＭによって提供される呼び出し／制御センタにおいて実装され得る。ここで、「リモートバレット」を扱う人間仮想運転者がアクションを行う。いくつかの実装において、車両とリモートバレットサービスとの間に接続が確立されたことに応答して、リモートバレットは要求を車両へ送信し、すべてのカメラからのビデオをストリーミングし、周囲をリアルタイムで表示するようにし得る。同じ場所における他のセンサ（例えば道路カメラおよび路肩センサ）も識別され得、データ（例えば追加のストリーミングビデオ）を提供し、車両から受信された情報を補完する。車両からストリーミングされた（および、場合によってはまた、補完的ソース（例えば道路カメラ）からの）ビデオを通じてリモートバレットにほぼリアルタイムで表示される車両の周囲および道路条件の表示に基づいて、リモートバレットは、車両を制御して、車両を目的地まで運転する（プレーヤが車のビューを見て、ハンドル、ハンドヘルドコントローラなどを用いて運転および制御する没入型ビデオゲームと同様である）。いくつかの場合において、目的地は、問題が小さいと決定されたルートの次の区間に対応し得る。この地点において、制御が自律運転システムに戻され、標準の自律運転モードにおいて車両の運転が制御され得る。他の場合において、元のハンドオフ要求の環境および検出された特性に基づいて、リモートバレットサービスは、車両において検出された問題に対処する装備があると識別された特定の目的地へ車両を誘導し得る（使用事例の数ある例の中でも特に、損なわれたセンサまたは自律運転システムを有する車両をもっとも近いサービスセンタへ運転する、または、病気もしくは怪我を有する乗員がいる車両を病院へ運転するなど）。
上記のように、いくつかの実装において、車両の自律運転システムは、他のリモートセンサデバイス（例えば他の自律車両、ドローン、路肩ユニット、天気モニタなど）によって収集されたデータにアクセスし、道路の今後の区間のあり得る条件を先制的に決定し得る。いくつかの場合において、様々なセンサは、データをクラウドベースシステムに提供し、この一群のデータを集約および処理して、車道の区間およびこれらのルートに影響する条件に関する情報を複数の自律車両に提供し得る。上記のように、いくつかの場合において、クラウドベースシステムおよび他のシステムは、以前の停車およびリモートバレットハンドオーバのイベントに関連付けられた入力を受信し得、これらのイベントに共通する特性を検出し得る。いくつかの実装において、機械学習モデルは、この情報からビルドおよび訓練され得、そのような機械学習モデルは、路肩ユニット、クラウドベースサポートシステム、リモートバレットコンピューティングシステム、または自律車両の車載システム自体に配備され、実行され得、潜在的なリモートバレットハンドオフを予測的に決定するためのロジックを提供する。例えば、所与の自律車両によってアクセスされるセンサデータを通じて、車両は、頻繁な停車が発生した、および／または、リモートバレットハンドオフが一般的である、各道路沿いのエリアを事前に決定し得る。いくつかの事例において、自律車両は、（例えば、対応する機械学習モデルから）道路の今後の区間についてレポートされる条件が、停車および／またはリモートバレットハンドオーバの可能性（停車およびハンドオーバが、道路のその特定の区間で以前に発生しなかった場合でも）を提示することを決定し得る。自律車両は、そのような情報を使用して、車内の運転者またはリモートバレットサービスへのハンドオーバのための準備をするために、先制的に措置を講じ得る。いくつかの場合において、自律車両は、（例えば、リモートバレットをサポートできる通信リソースの利用不可能性、好ましいバレットサービスについてのレポートの利用可能性の欠如、可能な場合にリモートバレットを回避する旨を要求するユーザプリファレンスの検出などにも基づいて）経路計画を変更して、前方の道路の厄介な区間を回避することを判断し得る。いくつかの実装において、自律車両のディスプレイは、今後の予測される問題、ならびに、停車および／またはリモートバレットハンドオーバの可能性に関する警告または命令を車載の乗員に提示し得る。いくつかの場合において、この情報は、インタラクティブなディスプレイに提示され得る。乗員はこれを用いて、乗員へのハンドオーバ、リモートバレットサービスへのハンドオーバ、代替的ルートの選択または停車イベントのいずれかを通じて、今後の行程区間を処理するためのプリファレンスを登録し得る。更に他の実装において、数ある例示的な実装の中でも特に、道路の厄介な区間を反映するクラウドベースの知識は、道路標識または車載道路マップに通信され得、問題のある区間を運転者および他の自律車両に示す。
図１７を参照すると、停車イベントリスクおよび道路条件の警告に関連する情報の協調的レポートを示す簡略ブロック図１７００が示される。これらは更に、リモートバレットサービスを開始して、そのような危険で難しいシナリオにおいて自律車両を支援するために活用され得る。例えば、停車要求および／またはリモートバレットイベントについての情報が、影響を受ける車両および／または周囲のセンサデバイスによって収集され得、この情報は、自律運転システムを強化するために共有および活用され得る。図１７の例において、停車またはハンドオフが発生するとき、影響を受ける車両（例えば１０５）は、このイベントに関連して生成および収集されたデータを組み立て得、この情報をクラウドベースのサポートシステム（例えば１５０）および／または、路肩ユニットもしくはエッジコンピュータ（またはエッジクラウド）サーバ（例えば１４０）などのエッジデバイスと共有し得る。
図１８は、様々な車両センサ（例えば９２０、９２５）、リモートバレットサービスを提供可能なシステムへのハンドオフ要求をトリガおよび生成することをサポートするための、人工知能／機械学習ベースの自律運転スタック５１５、およびロジック（例えば１８０５）を備え得る、例示的な自律車両１０５の特徴を示す簡略ブロック図１８００を示す。ハンドオフ要求を送信し得、車両１０５と、リモートバレットサービスを提供する仮想運転者端末との間で通信を確立するためのテレマティクス制御ユニット（ＴＣＵ）１８１０が提供され得る。
自律運転エンジン（例えば５１５）が停車イベントを決定するとき、または、リモートバレットサポートロジック（例えば１８０５）が、ハンドオフ要求を送信するべきと決定するとき、車両場所および停車場所を様々クラウドベースエンティティ（または単一エンティティ、または、この情報を複数のエンティティまたはサービスに配布するゲートウェイ）へ送信するための信号がＴＣＵ１８１０へ送信され得る。実際、多くの異なるサービスは、そのような情報を使用し得る。例えば、一例において、クラウドベースのアプリケーション１７１５（例えば、車両ＯＥＭに関連付けられる）は、この情報の主な対象または受信先であり得る、この情報の一部を他の受信先に配布し得る。他の事例において、車両１０５自体が複数の異なるクラウドベースのアプリケーション（例えば、受信先あたり１つのアプリケーション）データを提供および配布し得る。例えば、ＯＥＭメンテナンスアプリケーション（例えば１７２０）は、停車またはハンドオフ情報を利用し得、それを、車両（およびそのモデル）が自律運転を扱うことができないコーナーケースの診断および識別に使用し得る。いくつかの例において、停車またはハンドオフ情報の受信先は、従来のナビゲーションマップ、３Ｄマップ、高分解能（ＨＤ）マップなどのプロバイダを含む、マップアプリケーションプロバイダ（例えば１７２５、１７２６）を含み得る。当該プロバイダは、車両から直接的に、または、車両から直接的に情報を受信するＯＥＭを通じて、専用クラウドアプリを通じてこの情報を受信できる。マッププロバイダは、停車イベント、および、難しい自律運転条件の傾向があるエリア上の情報をマップに入力することを助けることができる統計のために、停車およびハンドオフ情報を活用し得、この情報は、継続的に更新され得る。更に、ＨＤマップは、数ある例の中でも特に、そのような情報を、ＨＤマップが提供する道路区間ごとの高精度情報の一部として組み込み得る。地方自治体、政府機関、有料道路プロバイダ、および他のインフラストラクチャ企業および管理団体（例えば１７３０）も停車およびハンドオフ情報の受信先であり得る（例えば、数ある例の中でも特に、車両１０５から直接的に、別のアプリケーションもしくはエンティティを通じて間接的に、または、関連付けられた路肩センサおよび路肩サポートユニットを通じてそのような情報をキャプチャすることによって受信する）。そのような機関は、この情報を、道路メンテナンスのトリガ、新しい道路およびインフラストラクチャのプロジェクトの証拠、警備、料金徴収、サイネージまたは警告の展開のトリガ、および他の使用に利用し得る。
停車またはハンドオフイベントはまた、情報が車両１０５によって近くの路肩ユニット、車両および他のセンサデバイスと共有されることをトリガし得る。例示的な路肩ユニット（例えば１４０）は、この情報を活用して、例えば、受信する他のデータと共にこのデータを処理し、この情報または解析の結果を近傍の他の車両（例えば１１０）またはシステムと（例えば道路区間アプリケーション１７３５を通じて）共有し得る。例えば、路肩ユニットは、数ある例示的なアクションの中でも特に、停車イベントのリスクについて、他の車両にアラートし、インフラストラクチャにリモートバレットサービスとの通信をサポートするよう準備させ得る。路肩ユニットはまた、この情報を格納または伝達し得、その結果、関連付けられた地方自治体、メンテナンスプロバイダ、および機関は、この情報にアクセスして使用し得る（例えば、交通信号タイミングに動的に適合し、デジタルサイネージを更新し、追加の交通レーンを開くなど）。
上記のように、様々なクラウドおよびエッジベースのコンピューティングシステムが、様々な車両から経時的に収集された停車およびハンドオフ情報を利用して、モデルを改善し得る。モデルは共有されることにより、数ある例示的な使用および利点の中でも特に、（例えば停車またはリモートバレットハンドオフをレコメンドするために）レコメンダシステムを改善し、予測的または先制的なリモートバレットハンドオフを可能にし、自律運転モデルを改善し、リモートバレットサービスを改善するために使用され得る。
いくつかの実装において、自律運転スタックは、「感知、計画、行動」モデルを利用し得る。例えば、図１９は、少なくとも１つの実施形態による、自律車両を制御するための例示的な「感知、計画、行動」モデル１９００を示す。モデル１９００はまた、いくつかの事例において、自律車両制御パイプラインと称され得る。示される例において、感知／知覚システム１９０２は、移動エージェント、非移動エージェント、および、感知要素に対するそれらの現在位置を含む、環境の（センサ融合を介する）デジタル構築を可能にするセンサ（例えば、示されるような、ＬＩＤＡＲ、レーダ、カメラ、ＨＤマップ、または、他のタイプのセンサ）の単一のタイプまたはマルチモーダルな組み合わせのいずれかから成る。これにより、自律車両は、その周囲の内部表現を構築し、その表現（環境モデルと称され得る）の中に自身を配置することが可能となる。いくつかの場合において、環境モデルは、３タイプのコンポーネント、すなわち、環境についての静的情報（ＨＤマップと関連付けられ得る）、環境についての動的情報（例えば、現在の位置情報および速度ベクトルによって表され得る、道路上の移動するオブジェクト）、および、自律車両がモデル内のどこに収まるかを表す自己位置推定情報を含み得る。
次に、アクティブに更新される環境情報（例えば、ルート情報、挙動情報、予測情報、および軌跡情報を含む）を取得し、これらの環境条件の予測される挙動に応答して、アクションの計画を構築する、車載自律運転システムの計画システム１９０４に環境モデルがフィードされ得る。次に、アクチュエーションシステム１９０６に計画が提供され、（例えば、自律車両のガス、ブレーキ、およびステアリングシステムを作動させることによって）上記計画に従って車を行動させ得る。
１または複数の態様において、社会規範モデリングシステム１９０８は、感知システムと計画システムとの間に存在し、計画システムへの並行した入力として機能する。提案される社会規範モデリングシステムは、車両の挙動を、特定の場所において観察される社会規範に適合されることを目標に、車両の環境についての適合的でセマンティックな挙動の理解を提供するよう働く。例えば、示される例において、社会規範モデリングシステム１９０８は、計画システム１９０４によって使用される挙動モデルと共に、知覚システム１９０２によって生成される環境モデルを受信し、そのような情報を入力として使用して、考慮のために計画システム１９０４に再び提供され得る社会規範モデルを決定する。
社会規範モデリングシステム１９０８は、車両の感知コンポーネントから知覚情報を取得し、運転社会規範の場所ベースの挙動モデルを策定することが可能であり得る。この情報は、人間の運転者が通常の道路のネゴシエーションとみなすことに対して、自律車両がリスク回避的にならないように、人間の運転者の挙動を定量化および解釈するために利用され得るとき、消極的な自律車両の挙動に対処するのに有用であり得る。例えば、現在のモデルは、計算アプローチを採用することにより、特定のアクションが講じられるときの衝突のリスクを測定し得る。しかしながら、このアプローチ単独では、攻撃的な運転が社会規範である環境における高速道路をネゴシエートするとき、自律車両は無力になり得る。
図２０は、少なくとも１つの実施形態による簡略化された社会規範理解モデル２０００を示す。社会規範理解モデルは、自律車両制御パイプライン１９００の社会規範モデリングシステム１９０８など、自律車両制御パイプラインの社会規範モデリングシステムによって実装され得る。
示される例において、社会規範モデリングシステムは第１に、２００２で、自律車両のために環境モデルおよび挙動モデルをロードする。環境モデルは、（例えば、図１９に示されるように）自律車両制御パイプラインの知覚システムから社会規範モデリングシステムに渡される環境モデルであり得る。挙動ポリシーは、（例えば図１９に示されるように）自律車両制御パイプラインの計画フェーズから受信され得る。いくつかの場合において、計画フェーズによって使用されるデフォルトの挙動ポリシーが送信され得る。他の場合において、挙動ポリシーは、知覚システムによって計画システムに渡される環境モデルに基づき得る。
２００４において、社会規範モデリングシステムは、環境モデルによって描写されたシナリオが、既存の社会規範プロファイルにマッピングされるかどうかを決定する。そうである場合、既存の社会規範プロファイルが参照のためにロードされる。そうでない場合、新しい社会規範プロファイルが生成される。新しく生成された社会規範プロファイルは、社会規範を記述するデフォルトの制約または他の情報を含み得る。各社会規範プロファイルは、特定のシナリオ／環境（例えば、自律車両の周囲の車の数、時刻、周囲の車両の速度、天候条件など）に関連付けられ得、挙動ポリシーに関して社会規範を記述する制約（下で更に説明する）または他の情報を含み得る。各社会規範プロファイルはまた、特定の地理的場所に関連付けられ得る。例えば、同じシナリオが異なる地理的場所において提示され得るが、各シナリオは、対応する社会規範プロファイルが異なり得る。なぜなら、観察された挙動は、異なる場所において、非常に異なり得るからである。
次に２０１０において、社会規範モデリングシステムは、環境モデルにおける動的情報を観察する。動的情報は、動的な障害物（例えば道路上の他の車両または人）についての挙動情報を含み得る。社会規範モデリングシステムは次に、並行して、（１）２０１２において、動的な障害物によって表示される観察された挙動におけるバリエーションを決定または推定し、（２）２０１４において、自律車両の挙動から、動的な障害物によって表示される観察された挙動の逸脱を決定または推定する。例えば、モデルは、２０１２において、他の車両の観察された挙動が、２００２においてロードされた挙動モデルの現在のパラメータ内にあるかどうかを決定し得、２０１４において、車両の挙動間の逸脱が挙動モデルの現在のパラメータ内にあるかどうかを決定し得る。
２０１６において、決定されたバリエーションおよび逸脱に基づいて、社会規範理解モデルは、観察された社会規範が社会規範プロファイルから変化したかどうかを決定し得る。そうである場合、新しい情報（例えば下に説明される制約）が社会規範プロファイルに保存され得る。そうでない場合、２０２０において、モデルは、シナリオが変化したかどうかを決定し得る。そうでない場合、モデルは継続して、動的情報を観察し、上記のように、観察された挙動の変動および逸脱について決定する。シナリオが変化する場合、モデルは、２００２で開始するプロセスを最初から実行する。
いくつかの実施形態において、社会規範理解モデル２０００は、自己車両挙動ポリシーについての観察ベースの制約として社会規範を生成することを担い得る。これらの制約の生成は、周囲の車両のシナリオにおける時間的な追跡挙動から導出され得る。特に、２つのプロセスが並行して実行され得る。
・周囲の車両すべての観察結果から、現在の挙動ポリシー／モデルへのユークリッド距離を分析する、挙動のバリエーションの推定
・挙動の限定として作用する負のフィードバックを決定する、観察された運転ポリシー（違反）に対する周囲の車両の応答を分析する、逸脱の推定
・周囲の車両すべての観察結果から、現在の挙動ポリシー／モデルへのユークリッド距離を分析する、挙動のバリエーションの推定
・挙動の限定として作用する負のフィードバックを決定する、観察された運転ポリシー（違反）に対する周囲の車両の応答を分析する、逸脱の推定
これら２つの並行プロセスの結果は、社会規範を形成する挙動境界限定を決定するのに使用され得る。この社会規範（例えば境界限界）は次に、計画モジュールに返され、特定の運転シナリオにフィットする制約として作用し得る。並行プロセスにおいて観察される挙動のバリエーションおよび逸脱に応じて、結果の社会規範は、より厳しい、または、より緩い制約を挙動計画部に適用し、より自然な運転挙動を可能にし得る。いくつかの場合において、社会規範構築は、道路のジオメトリおよびシグナリングなどのシナリオ特性、ならびに、観察された周囲の車両に依存し得る。異なる社会規範は、道路環境、および、自己車両とインタラクトする車両参加者の数の組み合わせから生じ得る。いくつかの事例において、モデルは、発生じる社会規範が時間と共に変化することを許可し得る。
１つの例示的実装において、シナリオは、ＨＤマップの一部としてレーンを指定する道路マップジオメトリ、および、
によって特徴付けられる状態を有する、これらのレーンに配置された車両から成り、ここで、
は位置を示し、
は方向を示し、
は、各車両
の速度を示す。
従って、車両状態の数ｍは、セット
として提供され得る。各車両の軌道は、以下の費用関数を使用して、ある時間間隔で計算され得る。
従って、車両状態の数ｍは、セット
（例えば、攻撃的な運転についての）運転文化の理解／社会規範が既知であるとき、計画システムは、攻撃性およびリスクの受け入れの程度を上げる／下げるべく、ネゴシエーション戦略を変更するように適合できる。なぜなら、リスク低減は、リスクが道路上の他のエージェントによって予想されるという知識に由来するからである。更に、社会規範をモニタリングすることによって、特定の地理的コンテキストについて設計される自律運転システムの問題が解決され得る。なぜなら、挙動モデルを、複数の地理的場所について設計でき、時間の経過に伴って改善できるからである。このアプローチはまた、運転の社会規範の作成および配布の基礎を設定する。自律車両が道路上の集団の大部分になるにつれて、この適合型のセマンティックな挙動理解システムは、すべての道路アクターについて道路ネゴシエーションを指示できる共有挙動モデルを可能にし得る。
図１９、図２０に示される例示的プロセスにおいけるオペレーションは、例示的な自律車両の車載コンピューティングシステムの様々な態様またはコンポーネントによって実行され得る。例示的プロセスは、追加または異なるオペレーションを含み得、オペレーションは、示された順序、または別の順序で実行され得る。いくつかの場合において、図１９、図２０に示されるオペレーションのうち１または複数は、複数のオペレーション、サブプロセス、または、他のタイプのルーチンを含むプロセスとして実装される。いくつかの場合において、オペレーションが組み合わされ、別の順序で実行され、並行して実行され、反復され、またはそうでない場合、別の方式で繰り返され得る、または実行され得る。
リスク低減を実現するために、車両－車両間通信（Ｖ２Ｖ）が自律車両によって利用され得る。例えば、そのような通信は、道路における衝突などのイベント、または障害物の位置をブロードキャストするために使用され得る。他の使用事例は、マッピングまたは操縦のコラボレーションなど、協働的タスクのために、リモート感知を使用し得る。協働的タスクの第２のタイプにおいて、概念の大部分は、隊列走行を協調させるために使用される協調適合型クルーズ制御（Ｃ－ＡＣＣ）などの非常に特殊な交通状況または適用に制限される。例えば、Ｃ－ＡＣＣは、長手方向の協調を採用して、前の車両に対する最小の時間ギャップを維持し、交通の流れを取得し、効率性の改善を促進する。車両の通路および隣接レーンにおけるセキュアな間隔を確立するべく、長手方向および横方向の協調の組み合わせを通じて、レーン変更および合流など、他の協調される操縦がいくつかのシステムにおいてサポートされ得る。しかしながら、長手方向および横方向の協調された制御は、交差点において十分でないことがあり得る。交差点においては、協調を実現するために、複数の自動車の協調、および、通行権規則の適用が必要である。既存の解決手法は、特定の運転シナリオに有用であるが、相互運用性のための機構に欠けている。更に、大部分のそのような解決手法は、各車両が接続および自動化され、同じ戦略で制御されると想定する。この意味において、いくつかの自律運転システムにおいて使用される機械学習モデルは、汎用車両挙動を想定し、これらの想定に基づいて自律運転の判断を適合させる。自律運転システムへの標準のアプローチはまた、理想（例えば、他の車が自律的である、人間の運転者が法則を遵守している、など）を想定するモデルを適用し得るが、しかしながら、そのような解決手法は、人間の運転者およびその挙動が制御できない混合交通シナリオにおいて適用可能でなく、規則もしくは交通協調の目的を遵守してもしなくてもよい。
いくつかの実装において、特定の車両の車載自律運転システムは、完全自動化または混合交通シナリオにおいて、特定の車両の自律運転意思決定および経路計画機能をサポートして、操縦協調を実行し、Ｖ２Ｘ通信技術（車両－車両（Ｖ２Ｖ）またはインフラストラクチャ‐車両（Ｉ２Ｖ）などを含む）を介して通信される共有挙動モデルを使用するよう構成され得る。例えば、図２１に示されるように、車両の少なくとも一部が半または全自律的である、環境における車両間の協調の態様を示すダイアグラム２１００ａ～２１００ａが示される。例えば、挙動モデルは、自動化車両の場合に運転規則を使用して、または、自然な運転挙動を導出するデータ学習プロセスを介して構築され得る。例えば、上記のように、モデルにおいて定義される学習された制約を修正するための基礎として働く、環境からの観察結果に基づいて適合を通じて連続的な開発および改善が可能な挙動モデルが提供され得る。モデルが存在しないことがあり得る、人間が運転する車両の場合において、人工ニューラルネットワークを使用して、およその挙動モデルが経時的に構築され得る。そのようなニューラルネットワークモデルは、継続的に学習し、モデルに提供された入力に基づいて洗練され得る。例えば、そのようなモデルへの例示的な入力パラメータは、数ある例の中でも特に、道路環境情報（例えばマップデータ）、周囲の車両の位置および速度ベクトル、自車の初期位置、速度ベクトル、運転者識別情報（例えば、人間の運転者の人口統計学データ）を含み得る。従って、車両がその挙動モデルを他の車両と共有するとき、挙動モデルのバージョンは、道路上のオペレーションの間の車両による観察結果および更なる学習に基づいて洗練され、更に調整されたものであり得る。
図２１に示されるように、ダイアグラム２１００ａは、運転環境における２つの車両Ａ、Ｂを示す。車両の一方または両方が観察結果およびセンサデータを他方と共有することを可能にするために、Ｖ２Ｖ通信が可能であり得る。例えば、車両Ａが、車道の区間に影響する障害物（例えば２１０５）を検出し得、更に、別の車両の存在（例えば、車両Ｂが、車道の同じ区間にある、または入る）を検出し得る。それに応答して、車両Ａは、数ある情報の中でも特に、障害物２１０５に関する情報（例えば、障害物または危険（例えば、オブジェクト、事故、天気イベント、標識または交通信号機の停止など）の座標、タイプ、障害物について決定されたコンピュータビジョンベースの分類（例えば、障害物が自転車である）を通信し得る。追加的に、上で紹介されたように、車両ＡおよびＢはまた、Ｖ２ＶまたはＶ２Ｘ通信を利用して、挙動モデルを他の車両と共有し得る。これらのモデルは、確率を決定するために受信車両によって利用され得、近隣の車両は、特定の状況において特定のアクションを講じる。これらの決定された確率は、次に、車両自体の機械学習モデルまたは他の（例えばルールベースなどのロジックベース）モデルおよび自律運転ロジックへの入力として使用され得、近隣の車両が存在するときに、意思決定および経路計画に影響する。
図２１は、自律運転環境において挙動モデルを交換および使用するフローを示す。例えば、ダイアグラム２１００ａにおいて示されるように、２つの車両は、車道の区間内の互いの存在を識別し、送信車両の現在の位置、姿勢、速度などを識別する情報を他の車両へ送信し得る。挙動モデルがまだ他の車両から共有または取得されていないという範囲において、１または複数の挙動モデルは、車両間で、または、インフラストラクチャの仲介物と交換され得る。ダイアグラム２１００ｃにおいて示されるように、挙動モデルは、マッピングおよび他の地理的データ（例えば、どの潜在的経路が運転可能か識別する）、これらの経路において検出される障害物、車両の状態（例えば、その位置、向き、速度、加速、ブレーキなど）を入力として取得する。挙動モデルによって生成された出力は、対応する車両が特定のアクション（例えば、ステアリング、ブレーキ、加速など）を講じる確率を示し得る。挙動モデルは、汎用、または、シナリオ固有であり得る（例えば、レーンの維持、レーンの変更、ランプ合流、または交差点モデルなど）。例えば、挙動モデルは、任意の特定の運転シナリオについて、シナリオにおける対応する車両のアクションの確率を分類するという意味で、「汎用」モデルであり得る。他の場合、複数のシナリオ、または、場所固有の挙動モデルが、単一車両（または車両の型／モデル）について開発され得。一群のモデルが（例えば、パッケージとして一度に、状況によって、車両が他の車両と遭遇する場所またはシナリオに基づいて、など）交換され得る。そのような事例において、数ある例示的な実装の中でも特に、車両は第１に、（例えば、車両自体の経路計画フェーズにおける決定に基づいて）計画しているシナリオを検出し、その結果を使用して、他の車両の共有モデルの特定の１つを識別し、現在のシナリオに最良に「フィット」する挙動モデルを識別し、この挙動モデルを使用し得る。
引き続き、図２１の例において、車両Ａの挙動モデルを受信すると、車両Ｂは、車両Ａが近傍にあると検出し、車両Ｂ自体のセンサアレイ、外部データソース（例えば、路肩ユニット）、または、環境、障害物、車両Ａの速度などを記述するデータが（例えばビーコン信号を通じて）車両Ａによって共有されるＶ２Ｖなどから、挙動モデルについての現在の入力を更に検出し得る。これらの入力（例えば２１１０）は、確率値Ｐを導出する（例えば２１２０）ために、入力として、共有挙動モデルに提供され得る（例えば２１１５）。この確率値２１２０は（現在の環境、および、車両Ａの観察されたステータスを考慮して）、車両Ａが、特定の方向のステアリング、加速、ブレーキ、速度維持など特定のアクションを実行する確率を示し得る。この確率値２１２０は次に、自身の経路を計画し車両Ａの存在に対して判断する車両Ｂの自律運転スタック（例えば２１２５）によって利用され得る。従って、共有挙動モデルの使用を通じて、数ある例示的な実装の中でも特に、車両Ｂは、挙動モデルが利用可能でない車両の存在下で運転するとき、運転環境内で講じるアクション、または、自律運転スタック２１２５が使用するプログラミングを決定する方式をデフォルトのアプローチから変更し得る。
従って、いくつかの実装において、１つの車両が（自身の機械学習能力を使用して）他の車両、特に、異なる運転自律レベルを有する特定の車両のアクションおよび操縦を予想および計画することを可能にするために、車両は、これらの他の車両についての挙動モデルを取得し得る、またはそうでない場合、アクセスし得る。これら近隣の車両のモデルに基づいて、これらの車両と道路を共有する車両は、車両の各々に影響する、環境において観察される条件に基づいて、これらの車両がどのように応答するかを予測し得る。周囲の車両の挙動モデルを車両に提供することによって、車両は、環境条件の予想を通じて将来のシナリオを推定することが可能であり得る。このように、これらの追加の挙動モデルを装備された車両は、現在の観察結果、および、より低い不確実性を提示するモデルベースの予測に基づいて、リスク最適化された判断を計画し得る。そのような解決手法は、自律運転環境における安全性を増加させるだけでなく、計算的により効率的であり得る。なぜなら、これら他のモデルを使用する車両は、周囲の車両についての確率的予想に基づいて個々の挙動モデルを算出する必要がなく、単に、予想が信頼できるかどうかチェックして、それに従って挙動を修正するからである。
図２２を参照すると、２つの車両１０５、１１０の間で交換される例示的な情報を示すブロック図２２００が示される。一例において、接続された車両は、ビーコン交換およびモデル交換を含む、情報交換のための複数の異なるモードを有し得る。一例において、ビーコン交換は、対応する車両の識別情報（例えば、同じ車両の位置、向き、および方位を表す状態ベクトルと共に、接続された自律車両識別子ＣＡＶｉｄ））をシグナリングするために、ビーコン２２０８のブロードキャストを伴う。モデル交換は、ブロードキャスト車両の挙動モデルを他の車両（および路肩システム）にブロードキャストすることを伴い得る。
将来の車両挙動を予測して対応するアクションを講じるために別の車両によって挙動モデルが作用され得ることを考慮して、いくつかの場合において、挙動モデルは、信用できる車両から受信されたときだけ受け付けられ、使用され得る。従って、車両間のモデルの交換は、デバイスが、その車両から受信された挙動モデルの初期の信用性を確立することを可能にする信用プロトコルを含み得る。いくつかの実装において、出力挙動が観察された車両挙動と著しく異なる場合、この信用性値は、経時的に変化し得る。信用性値が特定の閾値より下に低下した場合、モデルは好適でないと見なされ得る。図２２に示されるように、いくつかの実装において、２つの車両１０５、１１０が環境内で互いに遭遇したとき、２つの車両（例えば１０５、１１０）は、ビーコン交換を使用してそれぞれのＣＡＶｉｄブロードキャストを通じて他方を識別する。車両（例えば１０５）は、（例えば２２１０において）ＣＡＶｉｄから、他の車両（例えば１１０）が既知の車両であるかどうか（または、その挙動モデルが既知のモデルであるかどうか）を決定し得、その結果、車両１０５は、（例えば、ローカルキャッシュにおける、または、信用できる（例えばクラウドまたはフォグベース）のデータベース（例えば２２１５）に格納される）対応する挙動モデルを識別してアクセスできる。従って、いくつかの実装において、別の車両に遭遇すると、ルックアップが実行され得、必要な挙動モデルが、ビーコン信号に含まれる宣伝されたＣＡＶｉｄに対応するデータベース２２１５にあるかどうかを決定し得る。車両１０５が、識別された車両１１０についての挙動モデルを所持しないと決定されたとき、車両は、トークンの交換を通じてセッションを確立することによってモデル交換を開始し得る（２２２０）。一例において、各トークン（例えば２２２５）は、ＣＡＶｉｄ、公開鍵、および秘密値、ならびにセッションＩＤを含み得る。各車両（例えば１０５、１１０）は、他方のトークンを受信して、トークンの検証２２３０を実行し得、トークンが有効であることを確認する。トークン署名を検証したとき、肯定応答が他の車両と共有され得、車両が他方を信用しており、モデル交換を進行させることを示す。いくつかの実装において、最後のパッケージにおいてモデル交換２２４０が完了するまで（例えば、肯定応答によって指示され得る）、モデル交換は、分割された複数のパケットを介して通信される挙動モデル（例えば２２３５）の通信を伴い得る。２つの車両の間に接続の喪失がある場合、データを復元することを可能にするために、必要なとき、セッションのセッションＩＤが使用され得る。Ｖ２ＶまたはＶ２Ｘ通信が、２つの車両間の通信において利用され得る。いくつかの事例において、通信チャネルは、５Ｇ無線チャネルなど、低遅延、高スループットであり得る。
別の車両の挙動モデルを受信すると、車両は、モデルについてのモデル検証２２４５を実行し得る。モデル検証２２４５は、規格の適合性および受信車両の自律運転スタックまたは機械学習エンジンとの互換性について、モデルをチェックすることを含み得る。いくつかの事例において、受信車両の挙動モデルの過去の入力および記録された出力は、受信車両にキャッシュされ得、受信車両は、これらのキャッシュされた入力を、受信された挙動モデルに適用し、出力を、キャッシュされた出力と比較する（例えば、出力が比較可能である場合、受信された挙動モデルを確認する）ことによって、受信された挙動モデルの有効性を検証し得る。他の実装において、挙動モデル２２４５の検証は、対応する車両（例えば１１０）の性能を観察し、観察された性能が、挙動モデルを通じて決定される、予想された性能に対応するかどうかを決定することによって（例えば、現在の環境に対応する入力をモデルに提供し、出力が車両の観察された挙動に適合するかどうかを識別することによって）実行され得る。図２２の例において、受信された挙動モデルを検証すると、肯定応答（例えば２２５０）がソース車両へ送信され得、セッションが閉じられ得る。ここから、車両は引き続き、ビーコンを交換して（２２５５）、継続する近傍を識別し、他の情報（例えば、それらのモデルのセンサデータ出力など）を共有し得る。
図２２の例は、知らない車両と遭遇し、新しい挙動モデルが共有される事例を示しているが、２つの車両（例えば１０５、１１０）が、挙動モデルを互いと既に過去に共有した場合、キャッシュまたは挙動モデルデータベース２２１５におけるルックアップは、正の結果をもたらし、モデル検証の肯定応答メッセージが２つの車両間で共有され得る。いくつかの場合において、挙動モデルが更新され得る、または、期限切れになり得、その場合、数ある例の中でも特に、車両は別の既知の車両（または車両モデル）への更新を識別し得、モデル更新交換が（例えば、新しいセッションにおける完全モデル交換と同様の方式で）実行され得る。いくつかの場合において、挙動モデルの早期に格納されたバージョンを適用するときに決定された予測挙動に、特定の車両の観察された挙動が適合しないという（特定の車両との後続遭遇における）検出に基づいて、車両（例えば１０５）は、特定の他の車両（例えば１１０）についての以前に格納された挙動モデルが期限切れ、不正確、または欠陥を有すると、一方的に決定し得る。そのような決定により、車両（例えば１０５）は、挙動モデルの更新バージョンを要求し得る（例えば、図２２に示されるものと同様のモデル交換をトリガする）。
検証された、正確で、信用できる挙動モデルの交換および収集を通じて、車両は将来、ビーコン交換を利用して車両を識別し得る。これは、信用でき、正確な挙動モデルを環境のナビゲートにおいて使用し、それにより、周囲の車両の挙動の将来の予測を効率的に生成し得る。いくつかの事例において、挙動モデルおよびＣＡＶｉｄは、車両ごとにあり得る。他の例において、数ある例の中でも特に、特定の自律車両モデル（例えば、型、モデル、および年）の各事例は、同じ挙動モデルを使用するので、車両は、この車モデルの任意の事例に遭遇するとき、この車モデルに関連付けられた単一の挙動モデルの検証を使用し得ると想定され得る。
挙動モデルは、対応する車両における自律運転を可能にするために使用される機械学習モデルに基づき得る。いくつかの場合において、挙動モデルは代わりに、規則エンジンまたはヒューリスティックスに基づき得る（したがってルールベースであり得る）。いくつかの場合において、他の車両と共有および交換される挙動モデルは、車両によって実際に使用される機械学習モデルと異なり得る。例えば、上記のように、挙動モデルは、全体的なモデルの、より小さく、単純な「チャンク」であり得、特定の環境、シナリオ、道路区間などに対応し得る。例として、シナリオ固有の挙動モデルは、ニューラルネットワークモデルを含み得、特定のシナリオのコンテキストにおける対応する車両の様々なアクションの確率を示す（例えば、交差点での操縦、ラウンドアバウトでの操縦、テイクオーバまたは停車イベントの扱い、高速道路での運転、悪い天気での運転、様々なグレードの高度変化での運転、車線変更など）。従って、複数の挙動モデルが単一車両のために提供され、これらのモデルを使用する特定の車両のメモリに格納され得る。更に、数ある例示的な実装の中でも特に、これら複数のモデルの使用は個別に、特定の車両のすべての潜在的な挙動をモデリングする汎用挙動モデルの使用と比較して、特定の車両による、より高速でより効率的な（より正確な）予測を可能にし得る。
いくつかの事例において、挙動モデルの交換および収集は、より低いレベルの自律車両を含む、人間が運転する車両をカバーするように拡張され得る。いくつかの事例において、個々の運転者、運転者のグループ（特定の近傍もしくは場所における運転者、特定の人口統計学データを有する運転者など）のための挙動モデル、混合モデル（車両が自律モードまたは人間運転者モードのどちらで動作しているかに依存）、および、他の例が生成され得る。例えば、車両は、人間の運転者の性能を観察し、この運転者または運転者のグループのための挙動モデルを（例えば、モニタリングデータをクラウドベースのアグリゲータアプリケーションと共有することによって）ビルドするためのモニタを（ＯＥＭコンポーネントまたはアフターマーケットコンポーネントとして）含み得る。他の事例において、個々の人間の運転者または運転者のグループの観察された運転を記述する、路肩センサおよび／またはクラウドソースされたセンサデータが利用され得、挙動モデルがこの情報に基づいてビルドされ得る。上の例で説明されたものなどの挙動モデルの他の交換に従って、人間の運転者のための挙動モデルが、関連付けられた車両に格納され、他の車両と共有され得る。人間が運転する車が接続されていない、または、モデル交換をサポートしないなど、他の事例において、人間の運転者のための挙動モデルを共有および公表するために、数ある例の中でも特に、路肩ユニット、他の車両によるピアツーピア（例えばＶ２Ｖ）配信など、他のシステムが利用され得る。
より多くの道路アクターが自動運転するようになり、都市インフラストラクチャが現代化されるにつれて、様々な自律運転スタックと、アクターが利用する機械学習ベースの挙動モデルとの間に衝突が生じ得る。実際、異なる車および自律システムプロバイダは、独立の解決手法と競合するので、これら多くの車両および他のアクターによって利用される様々なモデル間で協調およびコンセンサスのビルドを促進することが望ましいことがあり得る。様々な技術間の安全性および互換性を促進することを支援するべく、政府の法律および規制、ならびに、産業の規格が策定され得る。しかしながら、複数の主なプレーヤが自身の解決手法を開発しているので、道路上の全体的な安全性を改善する疑問は、未回答のままである。これらの車両による判断をポリシー作成者および公衆が確認する明確な手段が存在しないため、安全性の規格は、まだ初期段階である。更に、自律車両がそれらのモデルおよび対応する意思決定を改善するにつれて、（例えば、自律運転の初期段階において車両に含まれる）時代遅れのモデルおよび解決手法は、道路上において、より多くの危険をもたらし得る。このことは、挙動のコンセンサスの問題を生じさせる。なぜなら、より古い、または、誤動作する自律車両の道路アクターは、競合するモデルを利用し得、より新しく、発展したモデルによって提供される、改善された機能の利点を享受しないことがあり得るからである。
新しく発展中の自律車両業界、ならびに、５Ｇネットワークおよびインフラストラクチャが初期段階であることを考慮すると、Ｖ２Ｘ通信および解決手法は同様に限定される。例えば、今日提供される現在のＶ２Ｘ解決手法は主に、位置推定およびマッピングの分野にある。自律車両およびサポートするインフラストラクチャがより主流になるにつれて、接続された車両とそれらの環境との間の協調および相互通信を活用する新しい解決手法を拡大し開発する機会が生じる。例えば、いくつかの実装において、共有され、「最良モデル」を車両に伝搬するために利用され得る、コンセンサス挙動モデルのビルドを可能にするなど、コンセンサスおよびサポートするプロトコルが実装され得、車両の機械学習モデルは、もっとも安全で、もっとも効率的で、乗員に優しいイノベーションおよび「知識」を採用するように継続的に発展する。例えば、高速無線ネットワーク技術（例えば５Ｇネットワーク）および改善された車道インフラストラクチャが、そのようなコンセンサスシステムを補助するために利用され得る。
一例において、障害耐性コンセンサスを実装するために、自律運転システムにおけるアクターの間で、ビザンチンコンセンサスアルゴリズムが定義および実装され得る。そのようなコンセンサスは、コンセンサスシステムに対して正確な情報を寄与するコントリビュータ（例えば、共有挙動モデルのコントリビュータ）の大部分に依存し得る。寄与の正確度は、自律車両コンテキストにおいて問題であり得る。なぜなら、所与の時間の所与の交差点における道路アクターの総量は低い可能性があり得るので、（例えば、いくつかのアクター間で共有されるモデルを通じて）悪いコンセンサスの確率が増加するからである。いくつかの実装において、数ある例示的な場所の中でも特に、車道ランプ、近くの建物、交通信号などに搭載される路肩ユニット（例えば１４０）など、車道の区間および道路のインターチェンジ（例えば、交差点、ラウンドアバウトなど）と合致するように計算ノードが提供され得る。いくつかの場合において、計算ノードは、道路区間に対応する交通を観察可能であり得る補完センサデバイスと統合または接続され得る。そのような路肩コンピューティングデバイス（本明細書において、「路肩ユニット」または便宜上「ＲＳＵ」とまとめて称される）は、対応する道路区間場所において、モデル寄与の収集、車両間のモデルの分配、新しい接続自律車両にわたるモデルの確認、これらのモデルからのコンセンサスの決定（可能な場合、ＲＳＵのセンサの観察結果に基づく）のための中心点として作用するよう指定および構成され得る。
いくつかの実装において、車道の特定区間についてのコンセンサスノードを実装する路肩ユニットは、モデルベースの挙動情報を各車両の固有の感知および知覚スタックから受け付け得、その道路区間にとって何が理想的な挙動モデルであるかを経時的に洗練する。それを行う間、この中心点は、そのときの道路上のピア、および、過去に道路の同じ区間を以前にネゴシエートしたピアと比較したモデルの正確度を確認し得る。このように、コンセンサスノードは、履歴方式で、モデルを考慮し得る。この中心ノードは次に、正確なコンセンサスコントリビュータの変動する量および分配にもかかわらず、変動するアクターの間で道路安全性を標準化するために、ビザンチンコンセンサス通信においてリーダーとして働き得る。
図２３を参照すると、例示的な道路交差点２３０５を示す簡略ブロック図２３００が示される。道路区間２３０５についてのコンセンサスノードとして機能するために１または複数の路肩ユニット（例えば１４０）が提供され得る。この例において、コンセンサスノードデバイス（例えば１４０）は、カメラ２３１０など、１または複数のセンサを含み得る。いくつかの実装において、数ある例示的な実装の中でも特に、コンセンサスノードは、２以上の異なる、コロケートされたコンピューティングデバイスとして実装され得、対応する道路区間２３０５のためにコンセンサスサービスを実行するとき、単一デバイスとして通信および相互運用する。 コンセンサスノードを実装する路肩ユニット（例えば１４０）の信用性は、基礎的であり得、ＲＳＵ１４０は、政府機関などの信用できるアクターと連携し得る。いくつかの実装において、数ある例示的な特徴の中でも特に、ＲＳＵ１４０は、ハードウェア、ファームウェア、および／またはソフトウェアで構成され、認証トランザクションを実行し、その識別情報および信用性を、他の近くの道路アクター（例えば、車両１０５、１１０、１１５など）に関連付けられた他のコンピューティングシステムに証明し得る。例示的なＲＳＵは、ハードウェアおよび／またはソフトウェアベースのロジックを有するコンピューティングおよびメモリリソースを含み得、他の道路アクターシステムと無線通信し、（図２１および図２２の例において上で説明されたものなど）車両間の挙動モデル交換を観察およびキャプチャし、挙動モデルを他の道路アクターから直接受信し、（受信するモデル入力から）コンセンサスモデルを（例えば、ビザンチンコンセンサススキームまたはアルゴリズムに基づいて）決定し、対応する道路区間（例えば２３０５）の道路アクターのナビゲーションを最適化するように内部モデルを更新する（または置換する）のに使用するためにコンセンサスモデルを道路アクター（例えば１０５、１１０、１１５）に配布する。
コンセンサスノードを実装するＲＳＵは、補完センサデバイス無しで行い得ることが理解されるべきである。しかしながら、いくつかの実装において、ＲＳＥセンサシステム（例えば２３１０）は、コンセンサス挙動モデルのビルドにおいてＲＳＥによって利用され得る有用な入力を提供し得る。例えば、ＲＳＵは、ローカライズされた（例えば道路区間（例えば２３０５）についての）モデルを作成し、これらの観察結果をコンセンサスモデルに含めるべく、１または複数のセンサ（例えば２３１０）を利用して、非自律車両道路アクター（例えば非自律車両、電気スクータ、および他の小さいモータ式交通手段、自転車に乗っている人、歩行者、動物など）を観察し得る。例えば、非自律車両は、挙動モデルを通信できないことがあり得、ＲＳＵのセンサシステムは、そのセンサ（例えば２３１０）の観察結果に基づいて、非自律車両、人間の運転者、および他の道路アクターについての挙動モデルをビルドし得ると想定され得る。例えば、例示的なＲＳＵ（例えば１４０）のセンサシステムおよびロジックは、特定の非自律車両の認識、または、更には、特定の人間の運転者の認識を可能にし得、対応する挙動モデルは、道路環境内の存在（およびこれらのアクターの存在の頻度）に基づいて発展され得る。コンセンサスモデルが、この道路区間２３０５についてビルドされ得、そのような非自律アクターが、コンセンサスモデルを適用する自律車両（例えば１０５）によって検出されたとき、経路計画および判断の最良の方式に関する知識を組み込む。更に他の例において、非自律車両は、それにもかかわらず、センサ（例えばＯＥＭまたはアフターマーケット）を装備され得る。これらは、車両またはその運転者のアクションを記録し、これら記録されたアクション（例えば、これらの条件に対する運転反応の検出を可能にする）に対応する環境条件を記録し、この情報を路肩ユニットに通信して、データの寄与を支援し得る。これは、それぞれのロケールまたは道路区間について、これらのＲＳＵの各々によって生成されるコンセンサスモデル内で使用および統合され得る。また、数ある例示的な実装の中でも特に、ＯＥＭおよびアフターマーケットシステムが提供され得、非自律車両におけるいくつかの自律運転の特徴を可能にし、および／または、運転者アシスタンスを提供し、そのようなシステムには、ＲＳＵと通信して、そのような運転者アシスタンスシステムを通じて提供されるサービスおよび情報を拡張するのに使用されるコンセンサスモデルを取得するための機能が装備され得る。
コンセンサスコントリビュータは、自律車両または非自律車両道路アクターのいずれかであり得る。例えば、車両（例えば１０５、１１０、１１５）が互いの、および、道路区間（例えば２３０５）を管理する路肩ユニット１４０の範囲内にあるとき、車両は相互通信して、それぞれの挙動モデルを各々共有し、コンセンサスネゴシエーションに参加し得る。ＲＳＵ１４０は、ネゴシエーションにおいて介在し、ＲＳＵ１４０によって経時的に開発されたコンセンサスモデルに基づいて、時間切れの、悪意があり不正確な、または、障害のあるモデルを識別し得る。コンセンサスモデルは、作業明細書と類似し、ネゴシエーションにおける少数のアクターが、コンセンサスモデルにおいて具現化される累積的知識の品質を劇的に悪化させ、オーバーライドすることを防止する。図２４を参照すると、道路区間についての各コンセンサスネゴシエーションにおける対応するＲＳＵ（例えば１４０）の関与を考慮して、所与の道路区間について、経時的（ｔ）なローカライズされた挙動モデルコンセンサスが収集および決定され得ることを示すダイアグラム２４０５、２４１０が示される。この履歴的コンセンサスアプローチは、自律運転システムが変動する異なる型および製造者の自律車両が、現在および過去の両方で互いから恩恵を受けることができるので、道路安全性の改善を可能にする。そのようなコンセンサスベースのシステムは、挙動モデル共有を通じて、道路安全性に対する、ホリスティックで実績のあるアプローチを適用する。各道路アクター（例えば１０５、１１０、１１５）は、自律車両または非自律車両のいずれも、環境を観察し、独立的にどのように行動するべきか判断すると予想される。すべてのコンセンサスコントリビュータ（例えば１０５、１１０、１１５、１４０など）はまた、それぞれの感知システムを通じて、他の道路アクターのアクションを予測することを試みる。自律車両（例えば１０５、１１０、１１５）は次に、ダイアグラム２４０５、２４１０の例示で示されるように、それらの挙動モデルをＲＳＵ（例えば１４０）および互いと共有する。
（例えば、ビザンチンコンセンサスモデルに基づく）コンセンサスビルドスキーム内のモデルの協働的共有を通じて、自律車両は次に、コンセンサス挙動モデルを通じてそれ自体の環境の知覚を利用し、他の道路アクターの厳密なアクションを決定し得る。これにより、それらおよびピアが、互いの初期予測が正確であったかどうか確認することが可能になる。この情報および確認はまた、このコンセンサスネゴシエーションにおいても関与するＲＳＵに対して可視的である。衝突をもたらす、よりリスクの高い挙動モデルの知識を用いて、投票が開始し得、ここでは、衝突、または、他の道路アクターを含む環境の誤解をもたらさない挙動モデルの分配が提供される。選択されたモデルに基づくハッシュまたはシードを使用して、比較を簡潔化し、プロセス中のローカル挙動モデル予測の再実行を回避し得る。いくつかの実装において、コンセンサスノードとして、コンセンサスに対するＲＳＵの寄与が、以前の成功した、関与したコンセンサスネゴシエーションに基づいて重み付けされ得る。これは、他の道路アクターによって考慮されるべきである。コンセンサスの確認は次に、道路アクターのアクションに基づいてチェックされ得る。
本明細書に記載されるように、高分解能マップが、車載システム自体、ならびに、運転支援を自律車両に提供する外部システム（例えばクラウドまたは路肩ベースのシステム、リモートバレットシステムなど）を含む、様々な自律運転アプリケーションにおいて利用され得る。従って、自律運転／自律車両制御において使用されるＨＤマップの正確度は必須である。ＨＤマップを生成し、それを維持するために、動的で最新のデータを取得することが重要である。環境に任意の変化がある場合（例えば、道路工事、事故などがある）、ＨＤマップは、変化を反映させるために更新されるべきである。いくつかの実装において、多くの自律車両からのデータは、クラウドソースされ、ＨＤマップを更新するために使用され得る。しかしながら、いくつかの場合において、受信されたデータの信用性または信頼性は、疑問があり得る。１つの課題は、車の各々から受信されたデータの信用性を理解し、体系化することを含み得る。例えば、自律車両から来るデータは、低い忠実度（例えば、より性能の低いセンサから来た）、意図せずして壊れている（例えば、ランダムビットフリップ）、または、悪意をもって修正されたものであり得る。そのような低品質（または限りなく低品質）のデータは、サーバに存在するＨＤマップを壊し得る。
従って、特定の実施形態において、自律車両の様々なセンサによって収集されたデータは、自律車両にダウンロードされたＨＤマップの関連タイルに現在するデータと比較され得る。収集データとＨＤマップデータとの間に差がある場合、デルタ（ＨＤマップタイトルと新しい収集データとの間の差）が、ＨＤマップをホストするサーバへ転送され得る。その結果、その特定の場所におけるＨＤマップタイトルが更新され得る。サーバへ転送する前に、データは、各自律車両においてローカルでレーティングされ、ＨＤマップを更新する前にサーバで再度検証され得る。本明細書において、ＨＤマップを更新する前にサーバが自律車両センサデータを確認すると説明しているが、いくつかの場合において、デルタ情報はまた、そのＨＤマップを迅速に更新するべく、データを収集した自律車両の近くの他の自律車両へ送信され得る。他の自律車両は、そのＨＤマップを更新する前にサーバが行うのと同じ方式でデータを分析し得る。
図２５は、少なくとも１つの実施形態による、クラウドソースされた自律車両センサデータをレーティングおよび確認する例示的プロセスを示す簡略図である。示される例において、各自律車両２５０２は、それに結合された１または複数のセンサ（例えば、カメラ、ＬＩＤＡＲ、レーダなど）からデータを収集する。自律車両２５０２はセンサデータを使用して、自律車両の１または複数の態様を制御し得る。各自律車両が１または複数のセンサからデータを収集するにつれて、自律車両は、データ収集に置かれた信頼性の量を決定し得る。例えば、信頼度スコアは、例えば、データ収集の時間における天気データ（例えば、晴れの日のカメラ情報は、霧の日のカメラより大きい信頼度スコアを取得し得る）、センサデバイス構成情報（例えば、カメラストリームのビットレートまたは分解能）、センサデバイスオペレーション情報（例えば、カメラストリームについてのビットエラー率）、センサデバイス認証ステータス情報（例えば、下で更に説明されるように、センサデバイスが自律車両によって以前に認証されたかどうか）、または、ローカルセンサ補強情報（例えば、自律車両の２以上のカメラの各々が同じビデオフレームにおいて。または同時にオブジェクトを検出したことを示す情報）など、センサデータの収集に関連する情報に基づき得る。
自律車両は、データに関連付けられたメタデータに維持され得る信頼度スコアを計算し得る。いくつかの実装において、信頼度スコアは、（すべて信用する、または、何も信用しないという二者択一の判断ではなく）ゼロと１との間、または、ゼロと別の数（例えば、１０）との間の連続スケールであり得る。追加的に、収集デバイスが認証または証明可能である場合（例えば、自律車両がデータをデバイスから受け付ける前に、デバイスが自律車両によって認証される）において、デバイスの認証／証明ステータスは、センサデバイスによって収集されるデータのメタデータにおいて（例えば、センサデバイスの認証ステータスを示すフラグ、デジタル署名、または他のタイプの情報）示され得、ＨＤマップを更新するためにデータを使用する前に、サーバ２５０４または他の自律車両がより完全にデータを検証／確認／信用することを可能にする。いくつかの場合において、自律車両自体は、（例えば、デジタル署名技法を使用して）サーバによって認証され得る。そのような場合において、自律車両の異なるセンサから収集されたデータは、サーバまたは近くの自律車両へ転送される、またはそうでない場合、通信される前に、自律車両内のメインプロセッサまたは処理ユニットによって集約され得、いくつかの場合において、認証され得る。
異なるデバイスにスコアを付ける値は、データを収集および集約するためのポリシーによって定義され得る。ポリシーはまた、例えばＨＤマップを更新するために、自律車両が、新しい収集データをいつアップロードするかを示し得る。例えば、ポリシーは、ＨＤマップタイトルからのデルタ、および、新しい収集データが、ＨＤマップを更新するためにデータを再びサーバへ送信する特定の閾値の上である必要があると規定し得る。例えば、工事ロケールマテリアル（バレル、機器など）は、ＨＤマップデータと収集データとの間の大きいデルタを生じさせ得、一方、道路における石／岩は、より小さいデルタを生じさせ得、工事ロケール関連データはクラウドに渡され得るが、石のデータは渡されないことがあり得る。ポリシーはまた、データをアップロードする前に、データに関連付けられた信頼度スコアが、特定の閾値の上である必要があることを示し得る。例として、すべてのデータがサーバへ送り返される／公開されるには、信頼度スコアは、（例えば）０．８より上である必要があり得る。
自律車両から受信されると、サーバは、デルタ情報でＨＤマップに更新を適用する前に、追加の検証アクションを実行し得る。例えば、サーバは、（例えばそのメタデータにおける）データと共有された信頼度スコア／メトリクスを検証し得る。信頼度スコア値がサーバポリシーを満たす（例えば、マップを更新するために使用されるすべてのデルタデータは、０．９などの閾値より大きい信頼度スコアを有する必要がある）限り、サーバは、ＨＤマップを更新するためにデータを考慮し得る。いくつかの場合、サーバは、最近見られた自律車両のリストを維持し得、マップを更新するために、データの信頼度スコアに沿って、自律車両の各々について信用スコア／値を追跡し得る。いくつかの実施形態において、信用スコアは、サーバがデータを使用してＨＤマップを更新するかどうかについて、追加のフィルタとして使用され得る。いくつかの場合において、信用スコアは、受信されたデータの信頼度スコアに基づき得る。例として、信頼度スコアが第１閾値より上である場合、自律車両の信用スコアは増加され得（（例えば、インクリメント（＋１））、信頼度スコアが第２閾値（第１閾値より低い）より下である場合、自律車両についての信用スコアが減少され得る（例えば、デクリメント（－１））。信頼度スコアが第１閾値と第２閾値との間にある場合、自律車両の信用スコアは同じままであり得る。いくつかの実装において、ＩｏＴベースの評判システム（例えばＥｉｇｅｎＴｒｕｓｔまたはＰｅｅｒＴｒｕｓｔ）は、この追跡のために利用され得る。いくつかの場合において、センサデータを信用するかどうか決定するために、センサデータは、エリアにおける他の自律車両からのセンサデータと関連付けられ得る。
いくつかの実施形態において、各車がデータをサーバに公開するにつれて、自律車両は、疑似匿名性証明書を用いてデータに署名し得る。自律車両は、例えば、Ｖ２Ｘ通信のために設計されたスキームの１つを使用し得る。いくつかの場合において、署名されたデータがサーバで受信されたとき、データがブラックリストの自律車両からのものでない限り、ＨＤマップを更新するために、ＨＤマップモジュールへ渡され得る。他の場合、データが署名されるかどうかが、自律車両についての信用スコアの決定において使用され得る。
認証および／または信用検証がサーバにおいて成功しない場合、データが受信された自律車両についての信用スコアは、低く評価され得る、または、減少され得、データは無視され得る、または、ＨＤマップを更新するために使用されないことがあり得る。いくつかの場合において、信用スコアが指定された閾値より下に低下する場合、自律車両はブラックリストに登録され得る。認証および／または信用検証がサーバにおいて成功する場合、自律車両についての信用スコアは増加され得、自律車両から受信されたデータは、ＨＤマップを更新するために使用され得る。本明細書において説明される機構はまた、信用の移行を可能にし得、自律車両が、より遠くにあり、任意の他の目的（例えば、機械学習モデルの訓練）に必要な任意のクラウドソースされたデータをランキング評価するために使用できるソース（例えば他の自律車両）からのデータを使用することを可能にする。
図２６は、少なくとも１つの実施形態による、自律車両のセンサデータをレーティングする例示的プロセスのフロー図である。図２６に示される例示的プロセスにおけるオペレーションは、自律車両の様々な態様またはコンポーネントによって実行され得る。例示的プロセスは、追加または異なるオペレーションを含み得、オペレーションは、示される順序または別の順序で実行され得る。いくつかの場合において、図２６に示されるオペレーションの１または複数は、複数のオペレーション、サブプロセス、または他のタイプのルーチンを含むプロセスとして実装される。いくつかの場合において、オペレーションが組み合わされ、別の順序で実行され、並行して実行され、反復され、またはそうでない場合、別の方式で繰り返され得る、または実行され得る。
２６０２において、センサデータが自律車両のセンサから受信される。センサデータは、カメラデバイス、ＬＩＤＡＲセンサデバイス、レーダデバイス、または別のタイプの自律車両センサデバイスからのデータを含み得る。
２６０４において、センサデータの信頼度スコアが決定される。信頼度スコアは、２６０２で受信されたセンサデータまたは他のセンサデータ（例えば天気または他の環境情報）から取得または獲得された情報、センサデバイス認証ステータス情報（例えば、データを受け付ける前にセンサデバイスが自律車両によって認証されたかどうか）、ローカルセンサ実証データ、または、取得されたセンサデータ（例えば、デバイスセンサ能力または設定（例えばカメラビデオビットレート）、受信されたセンサデータについてのビットエラー率など）を信用するかどうか決定するために有用であり得る他の情報に基づき得る。
２６０６において、信頼度スコアが閾値より上かどうかが決定される。そうである場合、２６０２で受信されたセンサデータとＨＤマップデータとの間のデルタ値が２６０８で決定され、２６１０でデルタ値が閾値より上であると決定される場合、自律車両はデータに署名し、２６１２でＨＤマップの更新のためにサーバへデータを公開する。信頼度スコアがその対応する閾値より下である、または、デルタ値がその対応する閾値より下である場合、データは、ＨＤマップの更新のためにサーバに公開されない。
図２７は、少なくとも１つの実施形態による、自律車両のセンサデータをレーティングする例示的プロセスのフロー図である。図２７に示される例示的プロセスにおけるオペレーションは、自律車両についてのＨＤマップを維持するサーバなど、サーバデバイスの様々な態様またはコンポーネントによって、または、自律車両の１または複数のコンポーネントによって実行され得る。例示的プロセスは、追加または異なるオペレーションを含み得、オペレーションは、示される順序、または、別の順序で実行され得る。いくつかの場合において、図２７に示されるオペレーションの１または複数は、複数のオペレーション、サブプロセス、または他のタイプのルーチンを含むプロセスとして実装される。いくつかの場合において、オペレーションが組み合わされ、別の順序で実行され、並行して実行され、反復され、またはそうでない場合、別の方式で繰り返され得る、または実行され得る。
２７０２において、センサデータが自律車両から受信される。センサデータは、センサデバイスによって収集されたデータにおける信頼性のレベルを示すセンサデータに関連付けられる信頼度スコアを含み得る。信頼度スコアは、上記のプロセス２６００に従って算出され得る。いくつかの場合において、信頼度スコアは、メタデータに含まれ得る。
２７０４において、信頼度スコアはポリシー閾値と比較される。信頼度スコアが閾値より大きい場合、自律車両についての信用スコアは、２７０６において、信頼度スコアに基づいて更新される。そうでない場合、２７１２において、センサデータは無視される。
２７０８において、信用スコアに少なくとも部分的に基づいて、自律車両が信用されるかどうかが決定される。いくつかの場合において、自律車両が信用されるかどうかの決定は、（例えば上記のように）自律車両がブラックリストに登録されているかどうかに基づき得る。いくつかの場合において、自律車両が信用されるかどうかの決定は、近くの他の自律車両からのセンサデータとの、自律車両のセンサデータの相関に基づき得る（例えば、センサデータが正確であると検証する）。自律車両が信用される場合、２７１０において、センサデータはＨＤマップを更新するために使用され得る。そうでない場合、２７１２において、センサデータは無視される。代替的に、信用スコアに基づく信用のレベルは、自律車両がセンサデータを信用しているレベルを決定し、従って、範囲またはスケールに基づいてＨＤマップを適宜更新するために使用され得る。
本明細書において説明されるように、データ収集のクラウドソースは、自律車両の大きいグループの助けにより、データセットをビルドすることから成り得る。関連する、欠けている、または新しい情報でデータを豊富にすることに積極的なソースおよびデータ供給元がある。
自律車両の大きいグループからデータを取得することにより、データ収集を迅速にすることができ、自律車両についてのモデル生成が高速になる。データをクラウドソースするとき、データの一部は不完全または不正確であり得、データが完全および正確であり得るときでも、そのような大量のデータを管理することはなお難しいことがあり得る。更に、クラウドソースされたデータは、異なる自律車両によって使用される多様なセンサによってもたらされるノイズレベルの差と共に、バランスのとれたポジティブおよびネガティブなカテゴリを有していないという現実世界の課題を提示する。したがって、適合度を識別するのを助けるように、クラウドソースによって収集されたデータのスコアおよびランクを決めることが有益であり得る。
従って、いくつかの態様において、自律車両についての地理位置情報に基づいて、クラウドソースされたデータのスコアおよびランクが決められ得る。いくつかの態様において、車両のメタデータに加えて、場所メタデータを考慮することによって、クラウドソースされたデータのスコアおよびランクが決められ得る。地理位置情報を使用して、データのスコアおよびランクを決めることにより、車両固有モデルとは対照的に、場所固有のモデルが生成され得る。
図２８は、少なくとも１つの実施形態による、自律車両データ収集についての例示的な環境２８００の簡略図である。例示的な環境２８００は、自律車両データスコアリングサーバ２８０２、クラウドソースデータストア２８０６、および、複数の自律車両２８１０を含み、各々はネットワーク２８０８を介して互いに接続される。不図示であるが、自律車両２８１０の各々は、自律車両を制御すること、および、自律車両が場所間で行程をネゴシエートすることのために自律車両によって使用される１または複数のセンサを含む。更に説明されるように、例示的な環境２８００は、自律車両２８１０の各々からデータ収集をクラウドソースするために使用され得る。特に、自律車両２８１０の各々が運転するとき、自律車両は、自律車両に結合された複数のセンサの各々から、カメラデータ、ＬＩＤＡＲデータ、地理的位置データ、温度または他の天気データなど、センサデータを集める。いくつかの場合において、自律車両は、ネットワーク２８０８を介して、そのセンサデータを自律車両データスコアリングサーバ２８０２へ送信し得る。自律車両データスコアリングサーバ２８０２は次に、本明細書において説明されるように、データのスコアリングまたはランキングを行い、スコアリングおよび／ランキングに基づいて、データをクラウドソースデータストア２８０６に格納するかどうか決定し得る。
いくつかの場合において、自律車両によって送信されたデータは、イメージデータおよびセンサデータを含み、いくつかの関連付けられたメタデータも有し得る。データソースの両方は、場所に関連するメタデータ／タグを抽出および生成するために、連携して、または単独で使用され得る。累積的な場所固有メタデータは、地理的座標、例えば、"４５°３１'２２．４２５６''Ｎおよび１２２°５９'２３．３８８０''Ｗ"のような情報であり得る。また、それは、地勢情報（例えば、「丘」または「平ら」）、高度情報（例えば５９．１ｍ）、温度情報（例えば２０℃）、または、その地理的位置に関連付けられた天気情報（例えば、「晴れ」、「霧」または「雪」）などの環境的コンテキストを示す追加の環境情報であり得る。クラウドソースデータストアにデータを格納するかどうかを決定するべく、場所固有および関連メタデータ（天気など）のすべては、自律車両によって送信されたデータのスコアを決めるために使用され得る。いくつかの場合において、データスコアリングアルゴリズムは、下で更に説明されるように、データのスコアを決めるために一連の場所コンテキストベースのヒートマップまたは密度マップを使用することによって、データ収集に関する地理についての飽和を実現し得る。
例えば、地理的座標、高度、天気などのような多くの場所メタデータカテゴリがある場合、自律車両のセンサデータについての全体的な適合性スコアは、場所スコアを使用して決定され得る。場所スコアは、すべてのカテゴリにわたる、重み付けされた合計であり得、以下のように記述され得る。
ここで、変数
の各々は、ヒートマップ、任意のタイプの密度プロット、または、任意のタイプの密度分布マップ（例えば、図３０のヒートマップ３０００）から決定された値であり、
は、各場所メタデータカテゴリと関連付けられた重みであり得る（各々、別個の密度プロットに基づいて算出され得る）。いくつかの場合において、場所スコアの変数の各々は０から１の間であり、場所スコアはまた、０から１の間である。
場所スコアの計算の後、センサデータに関連付けられた追加の品質が、センサデータ（例えば、ノイズレベル、イメージデータにおける関心のあるオブジェクトなど）についての全体的な適合性スコアを決定するために使用され得る。いくつかの場合において、センサデータについての全体的な適合性スコアは、すべてのデータ品質の累積的加重和であり、以下によって記述され得る。
ここで、ａ、ｂ、ｃは、データ品質カテゴリに関連付けられた重みである。いくつかの場合において、全体的な適合性スコアの変数の各々は、０から１の間であり、全体的な適合性スコアも０から１の間である。自律車両データスコアリングアルゴリズムによって出力される（例えば外部データレポジトリシステム、または、データスコアリングシステムを実装する他のコンピューティングシステムによって実行されるような）全体的な適合性スコアは、自律車両のセンサデータに関連付けられ得、自律車両データをクラウドソースデータストアに渡すかどうかを決定するために使用され得る。
いくつかの実装において、例示的な自律車両データスコアリングサーバ２８０２は、プロセッサ２８０３およびメモリ２８０４を備える。例示的なプロセッサ２８０３は、例えば、本明細書に説明される１または複数の機能を実行するために命令を実行する。命令は、プログラム、コード、スクリプト、または、メモリに格納される他のタイプのデータを含み得る。追加的または代替的に、命令は、事前にプログラムされた、または再プログラム可能なロジック回路、ロジックゲート、または他のタイプのハードウェアもしくはファームウェアコンポーネントとしてエンコードされ得る。プロセッサ２８０３は、専用のコプロセッサ、または、別のタイプのデータ処理装置としての汎用マイクロプロセッサであり得る、または、それを含み得る。いくつかの場合において、プロセッサ２８０３は、メモリ２８０４に格納された、ソフトウェア、スクリプト、プログラム、関数、実行可能ファイル、または他の命令を実行または解釈するよう構成され得る。いくつかの事例において、プロセッサ２８０３は、複数のプロセッサまたはデータ処理装置を含む。例示的なメモリ２８０４は、１または複数のコンピュータ可読媒体を含む。例えば、メモリ２８０４は、揮発性メモリデバイス、非揮発性メモリデバイス、またはそれらの組み合わせを含み得る。メモリ２８０４は、１または複数のリードオンリーメモリデバイス、ランダムアクセスメモリデバイス、バッファメモリデバイス、または、これらおよび他のタイプのメモリデバイスの組み合わせを含み得る。メモリ２８０４は、プロセッサ２８０３によって実行可能な命令（例えば、プログラム、コード、スクリプト、または他のタイプの実行可能命令）を格納し得る。不図示であるが、自律車両２８１０の各々は、プロセッサ２８０３およびメモリ２８０４と同様のプロセッサおよびメモリを含み得る。
図２９は、少なくとも１つの実施形態による、自律車両についての例示的なクラウドソースされたデータ収集環境２９００の簡略ブロック図である。例示的な環境２９００は、自律車両２９０２、クラウドにおける自律車両データスコアリング／ランキングサーバ２９０４、および、クラウドソースデータストレージ２９０６を含む。示される例において、自律車両は、センサデータのためのそれ自体のストレージ、および、センサデータに基づいて自律車両をナビゲートするために使用されるＡＩシステムを含み得る。自律車両は、センサデータの全部または一部を自律車両データスコアリング／ランキングサーバへ送信し、これは、データと共に含まれるメタデータを抽出し、メタデータを格納する。サーバはまた、追加情報／メタデータを抽出するために自律車両からのイメージおよびセンサデータを分析し、情報を格納する。格納されたメタデータは次に、場所ベースのスコア（例えば、上記の場所スコア）およびデータ品質スコア（例えば、上記の全体的な適合性スコア）を算出するために、サーバのスコアリングモジュールによって使用される。スコアに基づいて、サーバは、自律車両センサデータをクラウドソースされたデータストレージへ渡すかどうかを決定する。
いくつかの場合において、サーバはまた、自律車両に関連付けられる車両依存性スコアを算出し得る。このスコアは、履歴場所スコア、適合性スコア、または他の情報に基づき得、将来のデータスコアリング／ランキングのために自律車両についての識別情報を提供するためのいくつかのコンテキストとしてクラウドソース管理システムによって使用されるメトリクスであり得る。車両依存性スコアはまた、将来においてデータを提供することに自律車両が参加するための動機付けのために使用され得る。
図３０は、少なくとも１つの実施形態による、センサデータ適合性スコアを算出するために使用される例示的なヒートマップ図、３０００の簡略図である。示される例において、ヒートマップは、地理的座標メタデータによる、クラウドソースされたデータの利用可能性を示す。ヒートマップにおける各場所は、データ利用可能性と関連付けられた値を示す。示される例において、値の範囲は０から１である。マップにおけるより明るいエリアは、それらの場所から利用可能なデータの量がもっとも少ないことを示し、より暗いエリアは、高密度の収集データのエリアを示す。収集データ密度におけるバリエーションの理由は、人口密度、工業開発、地理的条件などのうち、１または複数の要因であり得る。したがって、データスコアリングアルゴリズムの目標は、ヒートマップのより明るいエリアの地理的座標において十分なデータが収集されるように、データのスコアを決めることであり得る。収集データは、より明るい領域において乏しいので、より緩やかにスコアが決められる。他方、データがマップのより暗い領域（密度の高いデータを有する）から収集される場合、データにおけるノイズなどの要因が、データスコアに対してより多くの影響を与える。
場所スコアの各変数／要因は、それに関連付けられた別個のヒートマップを有し得る。例えば、上の場所スコアに関連して、地理座標変数は、関連付けられた第１ヒートマップを有し、高度変数は、関連付けられた第２ヒートマップを有し、天気変数は、関連付けられた第３ヒートマップを有する。変数の各々について収集されたデータの量は場所に応じて変動し得るので、ヒートマップの各々は、異なる値を含み得る。異なるヒートマップの値は、例えば、上記のような重み付けされた合計を通じて、場所スコアの算出において使用され得る。
図３１は、少なくとも１つの実施形態による自律車両センサデータについての適合性スコアを算出する例示的プロセス３１００のフロー図である。例示的プロセス３１００におけるオペレーションは、自律車両データスコアリングサーバ２８０２の、または、それに接続されたコンポーネント（例えば図２８のサーバ）によって実行され得る。例示的プロセス３１００は、追加の、または異なるオペレーションを含み得、オペレーションは、示される順序、または別の順序で実行され得る。いくつかの場合において、図３１に示されるオペレーションの１または複数は、複数のオペレーション、サブプロセス、または他のタイプのルーチンを含むプロセスとして実装される。いくつかの場合において、オペレーションが組み合わされ、別の順序で実行され、並行して実行され、反復され、またはそうでない場合、別の方式で繰り返され得る、または実行され得る。
３１０２において、センサデータが１または複数の自律車両から受信される。センサデータは、１または複数のビデオまたはイメージデータ（例えばカメラからの）およびポイントデータ値（例えば温度、大気圧など）を含み得る。
３１０４において、地理的位置および他の環境情報がセンサデータから取得される。
３１０６において、その全体的な適合度または品質を示すセンサデータについてスコアが算出される。スコアは、３１０４において取得された地理的位置および環境情報に基づく。例えば、スコアは、上記の地理的位置および環境情報から算出された場所スコアに基づき得る。いくつかの場合において、スコアはまた、センサデータに関連付けられた追加のスコアリング情報に基づき得る。例えば、スコアは、ノイズスコア、オブジェクト多様性スコア、または、センサデータから算出された他のスコアに基づき得る。
３１０８において、３１０６で算出されたスコアが閾値または値の範囲より上かどうかが決定される。そうである場合、クラウドソースされた自律車両センサデータを収集するために使用されるデータベースにおいて、３１１０でセンサデータが格納される。格納されたとき、センサデータは、計算された適合性スコアに関連付けられ得る。３１０９において、スコアが閾値より下である、または、値の範囲の外側である場合、センサデータは破棄され、またはそうでない場合、格納されない。
自律車両が、文書化された運転慣行に適合しない不規則挙動を示し得る、人間が運転する車両（ＨＶ）と道路を共有することを継続すると予想される。人間の運転者は、攻撃的挙動（例えば、煽り運転、または、交通の割り込み）、または、慎重な挙動（例えば、提示される速度制限より著しく遅い速度で運転する（これも事故を引き起こし得る））を示し得る。不規則な人間の運転パターンはまた、いくつかの事例において、特定の領域における運転慣行から生じ得る。例えば、西ペンシルベニアにおいて観察される「ピッツバーグ左折」と称されることがある操縦は、交差点における車両の優先に関する標準の規則に違反する。すなわち、（例えば信号機が両方の方向で緑に切り替わった後に）最初に左折する車両が、交差点を直線する車両より優先されることを可能にする。別の例として、国の特定の領域における運転者はまた、国の他の領域における運転者より攻撃的な、または、攻撃的でない方式で運転し得る。
例示的な自律車両の車載コンピューティングシステムを通じて実装される自律運転スタックは、ＨＶによって示される不規則挙動を学習および検出し、それらに安全に応答するために強化され得る。いくつかの態様において、例えば、自律車両システムは、不規則挙動（例えば、下の表において示される）を観察し、その頻度を追跡し、個々のＨＶが近い将来に不規則挙動を示す可能性が高いと、または、特定のタイプの不規則挙動が国の所与の領域において発生する可能性がより高いと予測することを学習し得る。
いくつかの実施形態において、不規則な運転パターンは、自律車両によって予想される通常の挙動から逸脱する運転アクションのシーケンスとしてモデリングされ得る。図３２および図３３は、不規則な運転パターンの２つの例、および、自律車両がそのような挙動の観察に応答してどのように挙動を適合することを学習し得るかを示す。
図３２は上記の「ピッツバーグ左折」シナリオの例を示す。示される例において、信号３２０８が緑に変わったとき、ＨＶ３２０２および自律車両３２０４は両方、交差点３２０６で停止する。典型的なシナリオにおいて、自律車両は、ＨＶの前に、優先的に引き続き交差点を通る。しかしながら、示されるピッツバーグ左折のシナリオにおいて、交差点を直線しようとする自律車両に譲る代わりに、ＨＶが最初に左折する。地理的領域においてこの挙動を複数回にわたって観察すると、自律車両は、これ（最初に左折する車両が優先される）のような挙動を予想することを学習し得、その地理的領域にあるときに、より警戒して交差点に入る。
図３３は、ＨＶによる「あおり運転」シナリオの例を示す。示される例において、ＨＶの運転者は、自律車両に怒っていることがあり得、従って、自律車両の前に割り込むことがあり得、突然速度を遅くすることがあり得る。それに応答して、自律車両は、速度を遅くし、レーンを変更してＨＶを回避し得る。ＨＶは次に、更に加速して、自律車両の前に割り込むことがあり得、次に、再度速度を突然に遅くすることがあり得る。ＨＶはこの操縦をＨＶから複数回見ているので、自律車両は、ＨＶが、自律車両の前に繰り返し割り込む、怒っている運転者であると検出し得る。従って、自律車両は、例えば、次回に特定のＨＶに遭遇したとき、制御を人間の運転者に再びハンドオフするなどの是正措置を講じ得る。
図３４は、少なくとも１つの実施形態による、自律車両についての不規則／異常挙動追跡モデル３４００を示す簡略ブロック図である。示される例において、自律車両ソフトウェアスタックの感知フェーズ３４１０は、センサデータを自律車両のセンサ３４０２から受信し、センサデータを使用して、（例えば、示されるような異常挙動検出ソフトウェアモジュール３４０４において）特定のＨＶによって観察される異常挙動を検出／識別する。異常挙動の検出に応答して、または、検出と並行して、（例えば、示されるような匿名識別情報作成ソフトウェアモジュール３４０６において）ＨＶについての匿名識別情報が生成される。観察された挙動、および、ＨＶの関連付けられた識別情報は次に、（例えば、示されるような非安全挙動追跡ソフトウェアモジュール３４０８において）自律車両の周囲のＨＶおよび他のＨＶによる、観察された挙動の頻度を追跡するために使用される。いくつかの場合において、ＨＶにおいて異常挙動のパターンが見られることに応答して、自律車両についての動的挙動ポリシーをトリガするために、追跡された挙動は、自律車両ソフトウェアスタックの計画フェーズ３４２０によって使用され得る。モデル３４００の態様は、以下で更に説明される。
いくつかの実施形態において、自律車両は、例えば以下の運転アクションのシーケンスを追跡することによって、所与のＨＶによる異常または不規則挙動を検出し得る。
・自律車両の安全性モデルに違反する（例えば、責任感知型安全規則セットに従って安全横方向距離を維持していない運転者）。
・運転挙動が近傍の他の運転者と著しく異なる運転者（例えば、他の運転者より著しく遅く、または速く運転している運転者、または、交通に割り込む運転者）。調査によれば、速度が周囲の交通と著しく異なる運転者は、事故の可能性を増加させ得ることが示されている。
・アクションによって他の運転者を敵対的に反応させる運転者（例えば、複数の運転者から回避される運転者、または、複数の運転者からクラクションを鳴らされる運転者）。
・自律車両の安全性モデルに違反する（例えば、責任感知型安全規則セットに従って安全横方向距離を維持していない運転者）。
・運転挙動が近傍の他の運転者と著しく異なる運転者（例えば、他の運転者より著しく遅く、または速く運転している運転者、または、交通に割り込む運転者）。調査によれば、速度が周囲の交通と著しく異なる運転者は、事故の可能性を増加させ得ることが示されている。
・アクションによって他の運転者を敵対的に反応させる運転者（例えば、複数の運転者から回避される運転者、または、複数の運転者からクラクションを鳴らされる運転者）。
運転アクションのシーケンスを追跡することに加えて、いくつかの実施形態において、自律車両はまた、音声および視覚的コンテクスチュアル情報を使用して、近い将来において非安全挙動をもたらす可能性が高いことがあり得る、運転者のタイプ（例えば、注意散漫な運転者、および、他の車からの安全距離を遵守する安全な運転者）、運転者属性（例えば、道路に注意を払っている、および、電話を見ている）、または、車両属性（例えば、ミラーが欠けている、フロントガラスが壊れている、または、車両が道路に適さなくなる他の特性）をカテゴリ化し得る。例えば、自律車両上の、外部に向いているカメラからの映像が、事故のリスクを増加させる車両または運転者属性（携帯電話を使用している人間の運転者、または、雪に覆われた窓に起因する、限定された可視性など）を検出するためにコンピュータビジョンモデルを訓練するために使用され得る。特定の事例において、攻撃的なクラクション、怒鳴り声などの攻撃的な挙動、または、ブレーキの鋭い音などの非安全状況を認識し得る音響モデルを用いて、コンピュータビジョンモデルは拡張され得る。下の表は、将来の非安全挙動の可能性の増加を示し得る音声および視覚的コンテクスチュアル情報の特定の例を列挙する。
いくつかの実施形態において、自律車両は、特定の車両（例えばＨＶ）による、観察された不規則挙動の頻度を追跡して、それが所与の期間において同じ挙動を示す単一の運転者であるかどうか（一人の非安全運転者を示し得る）、または、所与のロケールにおいて同じ挙動を示す複数の運転者がいるか（ロケールにおける社会規範を示し得る）どうかを決定し得る。
人間の運転者のプライバシーを保護するべく、自律車両は、非安全ＨＶについての匿名識別情報を作成し得、この識別情報を非安全挙動でタグ付けし、ＨＶまたは他のＨＶによる再発を追跡し得る。匿名識別情報は、常に利用可能または信頼可能でないことがあり得るナンバープレート認識に依存することなく生成され得る。いくつかの実施形態において、匿名署名は、車の認識に使用される深層学習モデルから代表的特徴を抽出することによって生成され得る。例えば、自律車両の深層学習ネットワークの特定の層は、その形状および色などの車についての特徴をキャプチャし得る。これらの特徴はまた、型、モデル、または、凹み、擦り傷、壊れたフロントガラス、欠けているサイドビューミラーなどの異常な特徴など、私たちが認識する車についての追加の属性で拡張され得る。次に、暗号ハッシュが組み合わされた特徴に適用され得、自律車両の現在の行程中に、ハッシュがＨＶの識別子として使用され得る。いくつかの場合において、この署名は、車両に完全に固有でないことがあり得る（例えば、自律車両の周囲に同様の見た目の車両がある場合）。しかしながら、行程の時間長にわたって自律車両が非安全車両を識別するのに十分であり得る。自律車両が危険な車両を当局にアラートする必要があるなど特定の場合において、ナンバープレート認識が使用され得る。
自律車両は、例えば、非安全イベントの間の時間長が減少しているかどうか、または、非安全アクションの深刻度が増加しているかどうかをモニタリングすることによって、非安全挙動がエスカレートしていると決定し得る。この情報は次に、ＡＤパイプラインの計画フェーズにフィードされ得、自律車両が非安全車両に再度遭遇した場合に回避する、または、非安全挙動が道路上の他の運転者を危険にさらしている場合に当局にアラートするなどの動的ポリシーをトリガする。自律車両はまた、所与の車両について、非安全挙動の追跡についての保持ポリシーを定義し得る。例えば、保持ポリシーは、行程の時間長、行程の設定された回数、設定された時間長などのみにわたって、非安全運転者についての情報を維持するよう自律車両に求め得る。
いくつかの実施形態において、自律車両は、検出した異常な挙動についてのデータを車両ごとにクラウドへ送信し得る。データは、人間の運転の不規則挙動のパターンを学習し、そのような挙動が所与のコンテキストにおいて発生する可能性が高いかどうかを決定するために使用され得る。例えば、車両間の横方向の間隙が特定の距離より大きいとき、所与の都市における運転者が交通に割り込む可能性が高いこと、特定の交差点における運転者は、ゆっくり停止する傾向が高いこと、または、携帯電話を使用している運転者は、そのレーンから逸脱する可能性が高いことが学習され得る。自律車両からクラウドへ送信されるデータは、例えば、以下を含み得る。
・非安全車両、それに隣接する車両、および自律車両の軌道
・非安全車両について運転者および車両属性、例えば、携帯電話を使用している運転者、雪に覆われた窓に起因する不明瞭な視野
・地理的場所、天候条件、交通標識、および交通信号機データ
・非安全アクションのタイプ（自律車両の安全性モデルに違反する急激な停止など既知のアクション、または、システムによってフラグを付けられた未知の異常な挙動のいずれかによってタグ付けされ得る）
・非安全車両、それに隣接する車両、および自律車両の軌道
・非安全車両について運転者および車両属性、例えば、携帯電話を使用している運転者、雪に覆われた窓に起因する不明瞭な視野
・地理的場所、天候条件、交通標識、および交通信号機データ
・非安全アクションのタイプ（自律車両の安全性モデルに違反する急激な停止など既知のアクション、または、システムによってフラグを付けられた未知の異常な挙動のいずれかによってタグ付けされ得る）
いくつかの実施形態において、人間が運転する不規則挙動のコンテキストベースのパターンの学習は、最長共通部分列（ＬＣＳ）などの技法を使用して、非安全挙動と関連付けられた運転アクションの時間的シーケンスをクラスタ化することを伴い得る。クラスタ化により、車両軌道データの次元が低減され得、各非安全挙動についての運転アクションの代表的シーケンスが識別され得る。下の表は、クラスタ化され得る特定の時間的シーケンスの例を提供する。
更に、いくつかの実施形態において、所与のコンテキストにおいて発生する可能性が高い運転パターンが学習され得る。例えば、追跡されたシーケンスに基づいて、雪が降っているときに特定の不規則な運転パターンが所与の都市において、より一般的であるかどうか、または、怒っている運転者の場合に特定の運転アクションが発生する可能性が高いかどうかが学習され得る。この情報は、所与のコンテキストについての運転パターンの条件付き確率分布をモデリングするために使用され得る。これらのコンテキストベースのモデルは、自律車両が、所与のシナリオにおいて非安全車両が講じ得る可能性が高いアクションのシーケンスを予想することを可能にする。例えば、所与のコンテキストにおいて運転パターンが発生する頻度を追跡するコンテクスチュアルグラフが図３５において示される。示されるように、コンテクスチュアルグラフは、コンテキスト情報（図３５における「コンテキスト」ノード）、ならびに、シーケンスおよびコンテキストの観察結果の関連付けられた頻度（図３５におけるエッジの重み）と共に、識別されたシーケンス（図３５における「運転パターン」ノード）を追跡し、特定のコンテキストにおいて、他より頻繁に発生する特定の挙動パターン（例えば、特定の地理的コンテキスト、時間、コンテキストなどにおいて非常に多く発生するパターン）があることを識別し得る。識別されたパターンはまた、非安全挙動を回避するために自律車両が講じるべきアクションを識別する強化学習モデルを訓練するために使用され得る。例えば、学習されたコンテクスチュアル挙動パターンは、例えばコンテクスチュアル挙動パターンに関連付けられた特定のコンテキストに自律車両が入るまたはそれを観察するときなどに動的に自律車両の挙動モデルを修正するために使用され得る。
図３６は、少なくとも１つの実施形態による、車両によって観察される不規則挙動を追跡する例示的プロセス３６００のフロー図である。例示的プロセス３６００におけるオペレーションが、自律車両の１または複数のコンポーネント、または、クラウドベース学習モジュールによって実行され得る。例示的プロセス３６００は、追加の、または異なるオペレーションを含み得、オペレーションは、示される順序、または別の順序で実行され得る。いくつかの場合において、図３６に示されるオペレーションの１または複数は、複数のオペレーション、サブプロセス、または他のタイプのルーチンを含むプロセスとして実装される。いくつかの場合において、オペレーションが組み合わされ、別の順序で実行され、並行して実行され、反復され、またはそうでない場合、別の方式で繰り返され得る、または実行され得る。
３６０２において、車両および周囲を識別するために自律車両によって使用されるカメラ、ＬＩＤＡＲ、または他のセンサを含む、自律車両に結合された複数のセンサからセンサデータが受信される。
３６０４において、１または複数の車両によって実行されている不規則または異常な挙動が検出される。いくつかの場合において、検出は、特定の車両によって実行された観察された挙動を自律車両の安全性モデルと比較し、比較に基づいて、観察された挙動が自律車両の安全性モデルに違反していると決定することによって行われ得る。いくつかの場合において、検出は、特定の車両によって実行された観察された挙動を他の車両によって実行された観察された挙動と比較し、比較に基づいて、特定の車両によって実行された観察された挙動が、他の車両によって実行された観察された挙動から逸脱していると決定することによって行われ得る。いくつかの場合において、検出は、特定の車両によって実行された観察された挙動を他の車両によって実行された観察された挙動と比較し、比較に基づいて、特定の車両によって実行された観察された挙動が、他の車両によって実行された観察された挙動から逸脱していると決定することによって行われ得る。検出は別の方式で行われ得る。検出は、センサデータにおける音声および視覚的コンテクスチュアル情報に基づき得る。
３６０６において、不規則挙動が観察された各車両について識別子が生成される。識別子は、特定の車両のそれぞれの特徴についての値を取得し、暗号を値の組み合わせに適用して識別子を取得することによって生成され得る。値は、他の車両を認識するために自律車両によって使用される深層学習モデルから代表的特徴を抽出することによって取得され得る。識別子は別の方式で生成され得る。
３６０８において、３６０４で検出された不規則挙動は、それぞれの不規則挙動を実行した車両についての、３６０６で生成された識別子と関連付けられる。
３６１０において、識別された車両について、不規則挙動の発生の頻度が追跡される。
３６１２において、観察された不規則挙動が、閾値より多くの回数にわたって特定の車両によって実行されるときに観察されたかどうかが決定される。その場合、３６１４において、（例えば、車両を更に回避するために）動的挙動ポリシーが開始される。そうでない場合、自律車両は、デフォルトの挙動ポリシー下で動作を継続する。
図３７は、少なくとも１つの実施形態による、コンテクスチュアル挙動パターンを識別する例示的プロセス３７００のフロー図である。例示的プロセス３７００におけるオペレーションは、自律車両の学習モジュール、または、クラウドベースの学習モジュールによって実行され得る。例示的プロセス３７００は、追加の、または異なるオペレーションを含み得、オペレーションは、示される順序、または別の順序で実行され得る。いくつかの場合において、図３７に示されるオペレーションの１または複数は、複数のオペレーション、サブプロセス、または他のタイプのルーチンを含むプロセスとして実装される。いくつかの場合において、オペレーションが組み合わされ、別の順序で実行され、並行して実行され、反復され、またはそうでない場合、別の方式で繰り返され得る、または実行され得る。
３７０２において、不規則挙動追跡データが複数の自律車両から受信される。不規則挙動追跡データは、車両識別子、車両識別子に関連付けられた車両によって実行されるときに観察される関連付けられた不規則挙動、および、不規則挙動が自律車両によって検出されたコンテキストを示すコンテキストデータを含むエントリを備え得る。いくつかの場合において、コンテキストデータは、不規則挙動を実行する車両についての１または複数の軌跡情報、不規則挙動を実行している車両についての車両属性、不規則挙動を実行している車両についての運転者属性、不規則挙動を実行している車両の地理的場所、不規則挙動を実行している車両の周囲の天候条件、および、不規則挙動を実行している車両の周囲の交通状態を示す交通情報を含み得る。
３７０４において、不規則挙動の１または複数のシーケンスが識別される。これは、最長共通部分列（ＬＣＳ）技法などを使用するなど、挙動をクラスタ化することによって行われ得る。
３７０６において、コンテクスチュアルグラフが、３７０４で識別されたシーケンスおよび３７０２で受信されたデータに基づいて生成される。コンテクスチュアルグラフは、識別されたシーケンスを示す第１セットのノード、および、コンテキストデータを示す第２セットのノードを含み得、コンテクスチュアルグラフのエッジは、ノード間の関連の頻度を示す。
３７０８において、コンテクスチュアルグラフを使用してコンテクスチュアル挙動パターンが識別され、３７１０において、１または複数の自律車両についての挙動ポリシーが、識別されたコンテクスチュアル挙動パターンに基づいて修正される。例えば、１または複数の自律車両が、識別されたコンテクスチュアル挙動パターンに関連付けられた特定のコンテキスト内にあるという検出に基づいて、１または複数の自律車両について挙動ポリシーが修正され得る。
本明細書において説明されるように、現代のコンピュータビジョン（ＣＶ）および人工知能（ＡＩ）の原理および特徴が、高度に自動化された自律車両に使用される例示的な自律運転スタックを実装するために車載コンピューティングシステムにおいて利用され得る。しかしながら、ＣＶおよびＡＩモデルおよびロジックは、場合によっては、誤分類および操作の傾向があり得る。典型的な侵入検出システム（ＩＤＳ）は遅く複雑であり、著しい量のノイズおよび誤検知を生成し得る。ディープニューラルネットワーク（ＤＮＮ）アルゴリズムにおける単一ビットフリップは、全体的にイメージの誤分類を生じさせ得る。従って、高度に自動化された自律車両上で障害および攻撃をより正確に識別するために、改善された自律運転システムが実装され得る。
以下の開示は、図３８に示されるような高度に自動化された自律車両についての障害および侵入検出システム３８００を実装するための様々な可能な実施形態または例を提供する。１または複数の実施形態において、車両動き予測イベントおよび制御コマンド（両方ともより高いレベルの抽象化である）がモニタリングされる。車両移動パラメータおよび道路パラメータの現在の状態に基づいて、車両は特定のモーションエンベロープ内のままである。時間的通常挙動モデル３８４１は、モーションエンベロープの遵守を維持するよう構築される。少なくとも１つの実施形態において、少なくとも２つのアルゴリズムが、時間的通常挙動モデルをビルドするために使用される。アルゴリズムは、通常の車両挙動を学習するための車両挙動モデル３８４２（例えば隠れマルコフモデル（ＨＭＭ）に基づく）、および、車両挙動モデルから逸脱を見つけるための回帰モデル３８４４を含む。特に、回帰モデルは、車両挙動モデルが正確に障害を検出するかどうかを決定するために使用され、障害は、車両システムエラーまたは車両システム上の悪意ある攻撃であり得る。
高度に自動化された自律車両についての障害および侵入検出システムの複数の実施形態を示す目的で、高度に自動化された自律車両に関連する可能なアクティビティを第１に理解することが重要である。従って、以下の基本的な情報は、本開示が適切に説明され得る基礎として見られ得る。
自律車両に使用される現代のコンピュータビジョン（ＣＶ）および人工知能（ＡＩ）は、誤分類および操作の傾向がある。例えば、攻撃者は、実際は別の何かを意味する標識を信じるよう車両を騙し得るステッカーを生成し得る。図３９は、「ｌｏｖｅ／ｈａｔｅ」グラフィック３９００に示されるような操作を示し、ここで、「ＬＯＶＥ」は一時停止標識上の「停止」の上に印刷され、「ＨＡＴＥ」は一時停止標識上の「停止」の下に印刷される。落書きされた標識は、英語を話す運転者にとっては、一時停止標識であることは明らかであるが、この落書きによって、少なくともいくつかのコンピュータ視覚アルゴリズムは、一時停止標識が実際には速度制限または譲れを意味する標識であると信じることがあり得る。加えて、イメージを分類するディープニューラルネットワーク（ＤＮＮ）アルゴリズムにおける単一ビットフリップのエラーは、イメージの誤分類を生じさせ得る。例えば、単なる単一ビットフリップによって、分類器は、大きいトラックではなく、小さい動物または鳥を見る。
現在（規則ベース）の侵入検出システム（ＩＤＳ）は、自動車ネットワークの非決定論的性質に起因して、多すぎるノイズおよび多すぎる誤検知を生成し、異常な挙動の全範囲をカバーするのに不適切になる。誤り検出訂正（ＥＣＣ）アルゴリズムは限界を有し、概して人工知能において役に立たない。敵対的生成ネットワーク（ＧＡＮ）は価値を有するが、訓練セットにおける敵対的データの選択に重く依存する。現在の機械学習ベースの侵入検出システムは、高い複雑性、ならびに、モニタリングされる多くの内部ネットワークおよび外部接続に起因して、自動車システムにおける使用には適切でない。
図３８において示される障害および侵入検出システム３８００は、上記の問題の多く（さらに多く）を解決する。システム３８００は、２つのアルゴリズム、すなわち、車両の通常の挙動を学習するための車両挙動モデル３８４２と、時間区間ｔにわたる車両の挙動の可能性を予測するための回帰モデル３８４４を有する時間的通常挙動モデル３８４１を備える。車両挙動モデルは、通常の車両挙動についての確率的モデルであり得る。車両挙動モデルは、ベースライン低ランク静止モデルを学習し、次に、静止モデルからの時間的モデルの逸脱をモデリングする。イベントセットは概して経時的に静的であるので、車両挙動モデルは、障害侵入検出システムに合格して保持されている、以前および新しい、吟味された訓練サンプルを与えられた、時折のパラメータ再重み付けを通じて更新され得る。回帰アルゴリズムは、車両挙動モデルから算出された、新しく受信された制御イベントに基づく動きの変化の可能性を、回帰アルゴリズムによって予測されるモデル（例えばモーションエンベロープ）と比較する。
障害および侵入検出システム３８００は、複数の潜在的利点を提供する。例えば、システム３８００は、車両動き予測イベントおよび制御コマンドをモニタリングする。これらは、典型的な侵入検出システムによってモニタリングされるものより高いレベルの抽象化である。本明細書の実施形態は、典型的な侵入検出システムによって検出されないことがあり得る低いレベルの変化ではなく、悪意ある攻撃および意図を検出できる、より高いレベルにおける検出を可能にする。従って、システム３８００は、高性能で複雑な攻撃およびシステム障害の検出を可能にする。
図３８を参照すると、障害および侵入検出システム３８００は、クラウド処理システム３８１０、車両３８５０、他のエッジデバイス３８３０、および、車両３８５０とクラウド処理システム３８１０との間、および、車両３８５０と他のエッジデバイス３８３０との間の通信を促進する１または複数のネットワーク（例えばネットワーク３８０５）を備える。クラウド処理システム３８１０はクラウド車両データシステム３８２０を備える。車両３８５０は、ＣＣＵ３８４０、および、センサ３８５５Ａ－３８５５Ｅなど多くのセンサを含む。図３８の要素はまた、多くの異なる実施形態において実現され得る適切なハードウェアコンポーネントを含む。それらは、プロセッサ（例えば３８１７、３８５７）およびメモリ（例えば３８１９、３８５９）を含むが必ずしもこれらに限定されない。
車両３８５０において、ＣＣＵ３８４０は、センサ３８５５Ａ－３８５５Ｅから、ほぼ連続的なデータフィードを受信し得る。センサは、ステアリング、スロットル、およびブレーキセンサを含む、本明細書において説明される任意のタイプのセンサを含み得る。多くの他のタイプのセンサ（例えばイメージキャプチャデバイス、タイヤの空気圧センサ、道路条件センサなど）はまた、データをＣＣＵ３８４０に提供し得る。ＣＣＵ３８４０は、車両挙動モデル３８４２、回帰モデル３８４４、および比較器３８４６を含む時間的通常挙動モデル３８４１を含む。
車両挙動モデル３８４２は、ステアリングセンサデータ、スロットルセンサデータ、およびブレーキセンサデータなど、センサの生データに対して訓練し、低レベルの車両挙動を学習し得る。車両において発生するイベントは概して、経時的に静的であるので、障害および侵入検出システムに合格して保持されている、以前および新しい、吟味された訓練サンプルを与えられた時折のパラメータ再重み付けを通じて車両挙動モデルを更新できる。
少なくとも１つの例において、車両挙動モデル３８４２は確率的モデルである。確率的モデルは、変数間の関係を定義するために使用される統計モデルである。少なくともいくつかの実施形態において、これらの変数は、ステアリングセンサデータ、スロットルセンサデータ、およびブレーキセンサデータを含む。確率的モデルにおいて、他の変数からの一可変の予測においてエラーがあり得る。他の要因がデータの変動の原因となり得、確率的モデルは、これらの他の要因の原因となる１または複数の確率分布を含む。少なくとも１つの実施形態において、確率的モデルは隠れマルコフモデル（ＨＭＭ）であり得る。ＨＭＭにおいて、モデリングされるシステムは、観察されない（例えば隠れた）状態を有するマルコフプロセスであると想定される。
少なくとも１つの実施形態において、車両挙動モデルは、物理車両アクチュエーションへのパイプライン内にある。アクチュエーションイベント（本明細書において「制御イベント」とも称される）は、以前のソフトウェア層によってアクチュエーションイベントとしてマークされ得る。異なるタイプの入力データについて、ベクトル構造が車両挙動モデル３８４２によって使用され得る（例えば、天気のベクトル、速度のベクトル、方向のベクトルなど）。ベクトル構造における各パラメータについて、車両挙動モデル３８４２は確率を割り当てる。車両挙動モデル３８４２は、車両のアクチュエータへ向かうデータに対して継続的に実行し得る。従って、すべてのコマンド（例えば、車両の動きを変更する）は、車両挙動モデルを通過し得、車両が何を行っているかについての挙動状態が維持され得る。
典型的には、制御イベントは、運転者コマンド（例えば、ステアリングホイールを回す、ブレーキをかける、スロットルをかける）によって、または、車両の次のアクションを示す自律走行車のセンサから開始される。制御イベントはまた、センサおよびアクチュエータ自体からのフィードバックループに由来し得る。概して、制御イベントは、車両による動きの変化を示す。車両挙動モデル３８４２は、動きの変化が、潜在的に異常であるか、または、予想される挙動であるかを決定し得る。特に、車両挙動モデルの出力は、動きの変化の分類であり得る。一例において、分類は、動きの変化が障害（例えば、車両コンピュータシステムにおける悪意ある攻撃または故障）である可能性を示す。
回帰モデル３８４４は、所与の時間区間ｔで発生する制御イベントによって指示される、車両の動きの変化の可能性を予測する。回帰アルゴリズムは、２以上の変数間の関係を検討するための統計的方法である。概して、回帰アルゴリズムは、依存変数に対する１または複数の独立変数の影響を検討する。
回帰モデル３８４４についての入力は、制御イベントに関連付けられた動きセンサ以外の動きセンサからの入力など、より高いレベルのイベントを含み得る。例えば、制御もブレーキセンサに関連付けられているとき、回帰モデルについての入力はまた、スロットルセンサおよびステアリングセンサからの入力を含み得る。入力は、例えば、車両の慣性を示すジャイロスコープなど、他の関連する車両センサから受信され得る。回帰モデル３８４４はまた、車両に関連付けられたイメージキャプチャデバイス（例えばカメラ）によってキャプチャされたイメージを分類し得るイメージ分類器など、車両における他のモデルから入力を受信し得る。加えて、回帰モデル３９４４は、必ずしも限定されないが、セルタワー、料金所、インフラストラクチャデバイス、衛星、他の車両、（例えば天気予報、交通状態などの）無線局など、他のエッジデバイスを含むリモートソースからの入力を含み得る。他のエッジデバイスからの入力は、追加情報（例えば、環境条件、天気予報、道路条件、時刻、車両の場所、交通状態など）を提供する環境データを含み得る。これらは、追加情報が制御イベントにどのように影響するか決定するために回帰モデルによって検討され得る。
少なくとも１つの実施形態において、回帰モデル３８４４はバックグラウンドで実行し、センサ、他のモデル、他のエッジデバイスなどのリモートソースなどからの入力の検討に基づいて、車両が何を行っているかについてのメモリを作成し、通常（障害がない）条件において車両が何をするべきか予測する。限定を車両挙動モデルに適用するためにモーションエンベロープが生成され得る。モーションエンベロープは、所与の時間区間ｔの間の車両の経路および車両の目的地の入力に基づく、計算された予測であり、何も誤っていないことを想定する。回帰モデル３８４４は、モーションエンベロープの外部の車両についての動きの変化を制御イベントが示すかどうかを決定し得る。例えば、制御イベントがハードブレーキイベントである場合、車両挙動モデルは、ブレーキイベントがブレーキについての通常の閾値の外部であると決定し得、車両システムにおける障害の高い確率を示す。しかしながら、回帰モデルは、（例えば事故に起因して）交通が混雑していることを示す路肩インフラストラクチャデバイスからの入力を検討し得る。したがって、回帰モデルは、時間区間ｔ中の特定の交通状態に少なくとも部分的に基づいて計算される予測モーションエンベロープ内においてハードブレーキイベントが発生する可能性が高いと決定し得る。
障害および侵入検出システム３８００は、使用される回帰アルゴリズムのタイプに依存しない。例えば、期待値最大化（ＥＭ）アルゴリズムが使用され得る。これは、隠れ変数に依存するＨＭＭなどの統計モデルにおけるパラメータの最大の可能性を見つけるための反復的方法である。少なくとも１つの実施形態において、望ましいモーションエンベロープサイズに応じて、回帰アルゴリズム（例えば線形またはラッソ）が、逸脱に対する耐性が高くなる、または低くなるように選択され得る。例えば、民間人によって使用される車両については、１つのモーションエンベロープが制限され得る（または小さい）。一方、別のモーションエンベロープは、軍事使用のための車両について、より緩和され得る。
比較器３８４６は、車両挙動モデル３８４２に限定を適用するために使用され得る。比較器は、車両挙動モデル３８４２の出力分類を、回帰モデル３８４４の出力予測と比較し、制御イベントによって指示される動きの変化が障害であるか、または、予測されるモーションエンベロープ内で発生し得る動きの許容される変化であるかを決定し得る。車両挙動モデルの出力分類は、制御イベントによって示される動きの変化が障害（例えば、車両コンピュータシステムにおける悪意ある攻撃または故障）である可能性の指示であり得る。回帰モデル３８４４の出力予測は、車両におけるセンサ、エッジデバイス、他のモデルなどからの入力データに基づく、所与の時間区間ｔにおいて動きの変化が発生する可能性であり得る。比較器は、回帰モデルを使用して、車両挙動モデルごとに限定を制御イベントの出力分類に適用し得る。
比較器機能の一例において、車両挙動モデルが、ブレーキイベントが潜在的に異常であると示すが、回帰モデルが、入力として受信された特定の環境条件（例えば、センサからの速度の高いレート、道路マップからの前方の信号機、天気予報からの雨）について、予想されるブレーキイベントが許容閾値内（例えば、モーションエンベロープ内）であることを示す。ブレーキイベントは、モーションエンベロープに基づく許容閾値内にあるので、比較器は、ブレーキイベントが潜在的に異常であるという車両挙動モデルの評価はオーバーライドできると決定し得、ブレーキアクションが継続することを可能にするために制御信号が送信され得る。別の説明のための例において、回帰モデル３８４４は、車両が町の車道上で３５ｍｐｈで進んでいることを認識し、マップにアクセスできるので、交差する車道において一時停止標識があると予想する。回帰モデルはまた、天気予報が凍結であることを認識する。対照的に、そのイメージ分類器が、今後の一時停止標識が高い速度を意味すると不正確に決定したので、または、ハッカーが制御データを操作して、誤ったコマンドをアクセラレータへ送信したので、車両挙動モデル３８４２は、加速するための制御イベント（例えばアクチュエータへのコマンド）を受信する。このシナリオにおいて、車両挙動モデルからの出力分類は、制御イベントが潜在的に異常であることを示さないが、比較器は、モーションエンベロープを考慮して、所与の時間区間ｔにわたって制御イベントが発生する可能性が低いが低いという回帰モデル出力予測に基づいてエラーまたは制御信号を生成できる。これは、車両は一時停止標識に近づくときにブレーキをかけるべきであることを示す。
複数の好適な比較器の任意の１つは、時間的通常挙動モデル３８４１の尤度比較機能を実装するために使用され得る。少なくとも１つの実施形態において、比較器は、特定の車両挙動モデルおよび使用される回帰モデルに基づいて選択され得る。
比較器３８４６は、そのモデルを修正するためにフィードバックを車両挙動モデル３８４２へ送信するようトリガされ得る。車両挙動モデルについてのフィードバックは再訓練を可能にする。一例において、システムは、フィードバックに基づいて、発生したミスのメモリを生成し、例えば場所および時間に基づいて同様のシナリオを識別するために再訓練される。他の変数も再訓練において使用され得る。
クラウド車両データシステム３８２０は、複数の自動車について回帰モデル（例えば３８４４）を訓練および更新し得る。一例において、クラウド車両データシステム３８２０は、フィードバック３８２５を動作中の車両（例えば３８５０）回帰モデル（例えば３８４４）から受信し得る。フィードバック３８２５は、集約および再計算のために、クラウド車両データシステム３８２０へ送信され得、複数の自動車における回帰モデルを更新し、挙動を最適化する。少なくともいくつかの例において、１または複数のエッジデバイス３８３０は、集約、および、場合によっては、いくつかの訓練／更新オペレーションを実行し得る。これらの例において、フィードバック３８３５が回帰モデル（例えば３８４４）から受信され得、これらの集約、訓練および／または更新オペレーションを可能にする。
図４０を参照すると、少なくとも１つの実施形態による、車両についての簡略化された集中型車両制御アーキテクチャ４０００のブロック図が示される。車両制御アーキテクチャにおいて、バス４０２０（例えばコントローラエリアネットワーク（ＣＡＮ）、ＦｌｅｘＲａｙバスなど）がタイヤ４０１０Ａ、４０１０Ｂ、４０１０Ｃおよび４０１０Ｄおよびそれぞれのアクチュエータ４０１２Ａ、４０１２Ｂ、４０１２Ｃおよび４０１２Ｄを、ステアリングＥＣＵ４０５６Ａ、スロットルＥＣＵ４０５６Ｂ、およびブレーキＥＣＵ４０５６Ｃを含む様々なエンジン制御ユニット（ＥＣＵ）に接続する。バスはまた、接続制御ユニット（ＣＣＵ）４０４０をＥＣＵに接続する。ＣＣＵ４０４０は、ステアリングセンサ４０５５Ａ、スロットルセンサ４０５５Ｂ、およびブレーキセンサ４０５５Ｃなどのセンサに通信可能に接続される。ＣＣＵ４０４０は、ステアリング、スロットル、ブレーキセンサおよび／またはアクチュエータのうち１または複数からのフィードバックに加えて、命令を自律ＥＣＵまたは運転者から受信し得、コマンドを適切なＥＣＵへ送信する。車両挙動モデルを生成するための車両挙動学習は多くの場合、上記のように生成され得る生データを使用する。例えば、特定のタイプの角度だけ現在傾いているホイール、特定の割合であるブレーキ圧力、加速レートなど。
図４１は自律的な感知および制御パイプライン４１００の簡略ブロック図である。車両の制御は、アクチュエーションを担うエンジン制御ユニット（ＥＣＵ）に行く。図４１は、センサ融合および計画ＥＣＵを通じた、および、車両制御ＥＣＵを通じたセンサからの自律的処理パイプラインを示す。図４１は、見通し外、見通し内、車両状態、および配置を含む、様々なセンサ入力を示す。特に、そのような入力は、Ｖ２Ｘ ４１５４Ａ、レーダ４１５４Ｂ、カメラ４１５４Ｃ、ＬＩＤＡＲ４１５４Ｄ、超音波デバイス４１５４Ｅ、車両４１５４Ｆの動き、車両４１５４Ｇの速度、ＧＰＳ、慣性、テレメトリ４１５４Ｈ、および／または、高分解能（ＨＤ）マップ４１５４Ｉによって提供され得る。これらの入力は、センサモデル４１５５を介して中央ユニット（例えば中央処理装置）へフィードされる。センサモデル４１５５は、入力を提供し、確率的センサ融合および動き計画４１１０を実行する。概して、センサ融合は、車両状態、動き、および環境を理解するために入力データのすべてを評価することを伴う。車両の次のオペレーションを予測し、車両の計器クラスタ４１２０において関連情報を表示し、適切な信号を車両制御アクチュエータ４１３０へ送信するために、連続ループが使用され得る。
図４２は、高度に自動化された、または自律車両のｘ・バイ・ワイヤアーキテクチャ４２００の例を示す簡略ブロック図である。ＣＣＵ４２４０は、車両のステアリングホイール４２０２およびペダル４２０４から入力（例えば制御信号）を受信し得る。しかしながら、自律車両において、ステアリングホイールおよび／またはペダルは存在しないことがあり得る。代わりに、自律運転（ＡＤ）ＥＣＵは、これらの機構を置換して、すべての運転の判断を行い得る。
有線ネットワーク（例えばＣＡＮ、ＦｌｅｘＲａｙ）は、ＣＣＵ４２４０をステアリングＥＣＵ４２５６Ａおよびステアリングアクチュエータ４２５８Ａに、ブレーキＥＣＵ４２５６Ｂおよびそのブレーキアクチュエータ４２５８Ｂに、ならびに、スロットルＥＣＵ４２５６Ｃおよびそのスロットルアクチュエータ４２５８Ｃに接続する。有線ネットワークは、ステアリング・バイ・ワイヤ４２１０、ブレーキ・バイ・ワイヤ４２２０、およびスロットル・バイ・ワイヤ４２３０によって指定される。自律または高度自律車両において、ＣＣＵ４２４０などのＣＣＵは、閉鎖システムであり、セキュアなブート、証明、およびソフトウェアコンポーネントがデジタル署名される必要がある。しかしながら、攻撃者がセンサへの入力を制御し（例えばイメージ、レーダスプーフィングなど）、ＣＣＵまでのネットワークトラフィックを操作し、および／または、車両における他のＥＣＵ（ＣＣＵ以外）に不正侵入し得ることは可能であり得る。許可されたトラフィックおよび接続に対する追加のハードウェアチェックに起因して、ＣＣＵ４２４０とアクチュエータ４２５８Ａ－４２５８Ｃとの間のネットワークには不正侵入できない。特に、ＣＣＵ４２４０以外のＥＣＵは、有線ネットワークで許可されない。施行は、これらのデバイスを結合すること、および／または、トラフィック送信機および受信機（Ｔｘ／Ｒｘ）を使用する他の物理施行を使用することによる暗号化であり得る。
図４３は、少なくとも１つの実施形態による、高度自動化または自律車両の例示的な安全性リセットアーキテクチャ４３００を示す簡略ブロック図である。アーキテクチャ４３００は、バス４３２０（例えばＣＡＮ、ＦｌｅｘＲａｙ）に接続されたＣＣＵ４３４０、および、ハードウェア／ソフトウェアモニタ４３６０を含む。ＨＷ／ＳＷモニタ４３６０は、エラーについてＣＣＵ４３４０をモニタリングし、制御イベントによって指示される動きの変化が、回帰モデルによって計算されるモーションエンベロープの外部であると決定された場合、ＣＣＵをリセットする。少なくとも１つの実施形態において、ＨＷ／ＳＷモニタ４３６０は、エラー信号を送信するかどうか決定する比較器からの入力を受信し得る。少なくともいくつかの実施形態において、エラー信号が送信され、ＣＣＵ上の自己リセットが、予測されたモーションエンベロープ内になるように車両挙動を効果的に修正しない場合、ＣＣＵ４３４０は車両を安全に停止し得る。
図４４は、少なくとも１つの実施形態による、高度自動化または自律車両の一般的な安全性アーキテクチャ４４００の例を示す簡略ブロック図である。安全性アーキテクチャ４４００は、バス４４２０（例えばＣＡＮ、ＦｌｅｘＲａｙ）を介して、ステアリングＥＣＵ４４５６Ａおよびステアリングアクチュエータ４４５８Ａ、スロットルＥＣＵ４４５６Ｂおよびそのスロットルアクチュエータ４４５８Ｂ、ならびに、ブレーキＥＣＵ４４５６Ｃおよびそのブレーキアクチュエータ４４５８Ｃに接続されたＣＣＵ４４４０を備える。ＣＣＵ４４４０はまた、ステアリングセンサ４４５５Ａ、スロットルセンサ４４５５Ｂ、およびブレーキセンサ４４５５Ｃに通信可能に接続される。ＣＣＵ４４４０はまた、環境メタデータ４４１５を受信するために、他のエンティティに通信可能に接続され得る。そのような他のエンティティは、必ずしも限定されないが、他のセンサ、エッジデバイス、他の車両などを含み得る。
安全性を伴う複数の通信が発生し得る。第１に、スロットル、ステアリング、およびブレーキコマンド、ならびに感知フィードバックが、アクチュエータおよび／またはセンサからＣＣＵで受信される。加えて、環境メタデータ４４１５が自律運転者アシスタンスシステム（ＡＤＡＳ）または自律運転者ＥＣＵ（ＡＤ ＥＣＵ）から渡され得る。このメタデータは例えば、車道および道路のタイプ、天候条件、ならびに交通情報を含み得る。それは、制限するモーションエンベロープを作成し、次の数分間の動きを予測するために使用され得る。例えば、車が郊外の車道で移動している場合、速度制限は、時間あたり２５または３５マイルに制限され得る。速度制限と対照的なＡＤ ＥＣＵからのコマンドが受信される場合、ＣＣＵは、それを障害（例えば、悪意ある攻撃または非悪意のエラー）と識別し得る。
他の冗長なスキームはまた、システムが復元できるかどうかを確認するために使用され得る。時間的冗長性４４０２は、コマンドを複数回読み取り、中位投票を使用するために使用され得る。情報冗長性４４０４は、値を複数回処理し、複数のコピーをメモリに格納するために使用され得る。加えて、大部分の投票４４０６は、ＥＣＵについて制御コマンドをスケジュールするために使用され得る。冗長スキームによって、システムがエラーから復元しない場合、ＣＣＵは、車両を安全に停止させ得る。例えば４４０８において、他の安全性制御は、車両動きベクトル仮説を構築し、仮設エンベロープ内の動きを制限し、制御値がエンベロープの外部になる場合に車両を停止することを含み得る。
図４５は少なくとも１つの実施形態による、高度自動化および自律車両についての障害および侵入検出システムの例示的な動作フロー４５００を示す簡略ブロック図である。図４５において、ＣＣＵ４５４０内の複数のオペレーションが示される。ＣＣＵ４５４０は、ＣＣＵ３８４０の一例を表し、ＣＣＵ３８４０で発生し得る可能なオペレーションおよびアクティビティを示す。オペレーションは、時間的通常挙動モデル（例えば３８４１）のアルゴリズムに対応する。ＨＭＭ評価４５４２は、車両挙動モデル（例えば３８４２）に対応し、回帰評価４５４４は、回帰モデル（例えば３８４４）に対応し、尤度比較４５４６は、比較器（例えば３８４６）に対応する。
制御イベント４５０２はＣＣＵ４５４０によって受信され、ＨＭＭ評価４５４２および回帰評価４５４４の両方において使用され得る。制御イベントは運転者コマンドから、次の車両のアクションを示す自律走行車のセンサから、または、センサもしくはアクチュエータからのフィードバックループから生じ得る。ＨＭＭ評価は、制御イベントによって示される動きの変化が障害である可能性を決定し得る。ＨＭＭ評価４５４２はまた、センサデータ４５５５（例えばスロットルセンサデータ、ステアリングセンサデータ、タイヤの空気圧センサデータなど）を受信し得、動きの変化が通常の挙動であるか、または、障害を示すものであるかを決定することを助ける。車両挙動モデルは、比較器（例えば３８４６）からフィードバック４５０４を受信し得、例えば、フィードバックは車両挙動モデルを修正して、以前発生したミスを認識し、同様の場合を（例えば、場所および／または時間に基づいて）識別する。従って、ＨＭＭ評価４５４２は、比較器からのフィードバックに基づいて、異なるように実行し得る。
回帰評価４５４４は、通常の条件下で所与の時間区間ｔにおいて発生する制御イベントによって示される、動きの変化の可能性を予測する。回帰評価についての入力は、センサデータ４５５５およびリモートデータソース４５３０（例えば他のエッジデバイス３８３０）からの入力データを含み得る。加えて、クラウドから（例えば、クラウド車両データシステム３８２０から）のフィードバック４５０４は、回帰評価４５４４を実行する回帰モデルを更新し得る。ここでは、回帰モデルは、車両挙動、および、他の車両における学習からの利点を最適化するように更新される。
一例において、回帰評価４５４４は、センサ、他のモデル、他のエッジデバイスなどからの入力の検討に基づいて、通常の車両挙動についての１または複数の限界または閾値によって定義されるモーションエンベロープを作成する。回帰評価４５４４は次に、制御イベントによって示される動きの変化が、モーションエンベロープの限界または閾値のうち１または複数の外部にあるかどうかを決定し得る。
尤度比較４５４６は、ＨＭＭ評価４５４２からの動きの変化の出力分類、および、回帰評価４５４４からの出力予測に基づいて実行され得る。ＨＭＭ評価からの出力分類は、動きの変化が障害（例えば、車両コンピュータシステムにおける悪意ある攻撃または故障）である可能性の指示であり得る。回帰評価４５４４からの出力予測は、車両におけるセンサ、エッジデバイス、他のモデルなどからの入力データに基づく、動きの変化が所与の時間区間ｔにおいて発生する可能性であり得る。回帰評価からの出力予測が、動きの変化が所与の時間区間ｔ中に発生する可能性が低いことを示す場合、および、ＨＭＭ評価から出力分類が、動きの変化が障害である可能性が高いことを示す場合、予測は、モーションエンベロープの限界または閾値の外部であり得、４５４７に示されるように、出力分類は、通常の閾値の外部であり得、エラー信号４５０６は、是正措置を講じるために適切なＥＣＵへ、および／または、適切な計器ディスプレイへ送信され得る。回帰評価からの出力予測が、動きの変化が所与の時間区間ｔ中に発生する可能性が高いことを示す場合、および、ＨＭＭ評価による出力分類が、動きの変化が障害である可能性が低い（例えば、通常である可能性が高い）ことを示す場合、予測はモーションエンベロープの限界または閾値内であり得、出力分類は、４５４８に示されるように、通常の閾値内であり得、制御イベントによって示される動きの変化を生じさせるアクション４５０８が発生することが可能になる。少なくともいくつかの実装において、アクションが発生することを可能にするための信号が送信され得る。他の実装において、エラー信号の不存在下でアクションが発生し得る。
他のシナリオにおいて、回帰評価４５４４による出力予測およびＨＭＭ評価４５４２による出力分類は競合し得る。例えば、回帰評価による出力予測が、動きの変化が所与の時間区間ｔ中に発生する可能性が低いことを示す場合、および、ＨＭＭ評価の出力分類が、動きの変化が障害である可能性が低い（例えば、通常の挙動である可能性が高い）ことを示す場合、エラー信号４５０６は、車両挙動を制御するために適切なＥＣＵへ送信され得る、および／または、適切な計器ディスプレイへ送信され得る。これは、モーションエンベロープを制限する（例えば、他のセンサデータ、環境データなどからの）追加の条件および要因を考慮する回帰評価に起因し得、動きの変化はモーションエンベロープの限界または閾値のうち１または複数の外部であり、それらの特定の条件および要因の下で発生する可能性が低い。結果として、ＨＭＭ評価による出力分類は、動きの変化が通常であることを示すが、回帰評価は、エラー信号が送信されるようにし得る。
別の例において、回帰評価による出力予測が、制御イベントによって示される動きの変化が所与の時間区間ｔ中に発生する可能性が高いことを示す場合、および、ＨＭＭ評価による出力分類が、動きの変化が障害である可能性が高いことを示す場合、ＨＭＭ評価からの出力分類が、所望の閾値を超える障害の可能性を示すかどうか決定するために閾値が評価され得る。例えば、ＨＭＭ出力分類が、動きの変化が異常な挙動である確率が９５％であることを示すが、回帰評価出力予測が、動きの変化が、予測されたモーションエンベロープの限界または閾値内にあるので、発生する可能性が高いことを示す場合、異常な挙動の確率が所望の閾値を超えるかどうか決定するためにＨＭＭ出力分類が評価され得る。その場合、車両挙動を制御する、またはそうでない場合、それに影響を与えるためにエラー信号４５０６が適切なＥＣＵへ送信され得、および／または、適切な計器ディスプレイへ送信され得る。しかしながら、所望の閾値を超えない場合、モーションエンベロープを緩和する（例えば他のセンサデータ、環境データなどからの）追加条件および要因を考慮する回帰評価に起因して、動きの変化を生じさせるアクションが許可され得、動きの変化がモーションエンベロープの限界または閾値内であり、それらの特定の条件および要因の下で予想される挙動を表す。
追加的に、特定の制御イベント（またはすべての制御イベント）についての尤度比較４５４６の結果のサンプル保持４５４９が保存され、車両挙動モデルおよび／または回帰モデルを再訓練するために使用され得、および／または、評価のために保存および使用され得る。
図４６は、システム３８００など、障害および侵入検出システムに関連付けられたオペレーションの高レベルの可能なフロー４６００を示す簡略フローチャートである。少なくとも１つの実施形態において、オペレーションのセットは、図４６のアクティビティに対応する。車両３８５０におけるＣＣＵ３８４０など、車両におけるＣＣＵは、オペレーションのセットの少なくとも一部を利用し得る。車両３８５０は、オペレーションを実行するために１または複数のデータプロセッサ（例えば３８５７）を含み得る。少なくとも１つの実施形態において、車両挙動モデル３８４２は、オペレーションのうち１または複数を実行する。
４６０２において、制御イベントが車両挙動モデル３８４２によって受信される。４６０４において、車両のセンサデータが車両挙動モデルによって取得される。４６０６において、車両挙動モデルは、障害または障害でないものとして制御イベントによって示される動きの変化（例えば、ブレーキ、加速、ステアリング）を分類するために使用される。少なくとも１つの実施形態において、分類は、動きの変化が障害である可能性（例えば確率）の指示であり得る。４６０８において、動きの変化の出力分類が比較器へ提供される。
図４７は、システム３８００などの障害および侵入検出システムに関連付けられたオペレーションの高レベルの可能なフロー４７００を示す簡略フローチャートである。少なくとも１つの実施形態において、オペレーションのセットは図４７のアクティビティに対応する。車両３８５０におけるＣＣＵ３８４０など、車両におけるＣＣＵは、オペレーションのセットの少なくとも一部を利用し得る。車両３８５０は、オペレーションを実行するための１または複数のデータプロセッサ（例えば３８５７）を含み得る。少なくとも１つの実施形態において、回帰モデル３８４４は、オペレーションのうち１または複数を実行し得る。
４７０２において、制御イベントが回帰モデル３８４４によって受信される。制御イベントは、ブレーキ、ステアリングまたは加速などの動きの変化を示す。４７０４において、車両のセンサデータが回帰モデルによって取得される。４７０６において、他のソース（例えば、エッジデバイス３８３０などのリモートソース、車両にダウンロードおよび更新されたローカルソースなど）からの関連データが回帰モデルによって取得される。
４７０８において、所与の時間区間ｔ中に発生する制御イベントによって示される動きの変化の可能性を予測するために回帰モデルが使用される。予測は少なくとも部分的に、センサデータおよび他のソースからのデータに基づく。４７１０において、時間区間ｔ中に発生する動きの変化の可能性の出力予測が比較器へ提供される。
図４８Ａは、システム３８００などの障害および侵入検出システムに関連付けられたオペレーションの高レベルの可能なフロー４８００を示す簡略フローチャートである。少なくとも１つの実施形態において、オペレーションのセットは図４７のアクティビティに対応する。車両３８５０におけるＣＣＵ３８４０などの車両におけるＣＣＵは、オペレーションのセットの少なくとも一部を利用し得る。車両３８５０は、オペレーションを実行するための１または複数のデータプロセッサ（例えば３８５７）を備える。少なくとも１つの実施形態において、比較器３８４６は、オペレーションの１または複数を実行する。
４８０２において、車両についての動きの変化の分類が車両挙動モデルから受信される。図４６の４６０８で比較器へ提供された出力分類は、図４８Ａの４８０２で車両挙動モデルから分類を受信することに対応する。
４８０４において、時間区間ｔ中に発生する動きの変化の可能性の予測が回帰モデルから受信される。図４７の４７１０で比較器へ提供される出力予測は、図４８Ａの４８０４で予測を受信することに対応する。
４８０６において、比較器は、動きの変化の分類を、時間区間ｔ中に発生する動きの変化の可能性の予測と比較する。４８０８において、車両挙動モデルによって分類された動きの変化が、回帰モデルによって予測された予想車両挙動の閾値（または限界）内にあるかどうか決定される。概して、車両挙動モデルによって分類される動きの変化が、回帰モデルによって予測される予想車両挙動の閾値内にある場合、４８１０において、動きの変化が進むことを可能にするための信号が送信され得る（または、動きの変化は、エラー信号の不存在時に進み得る）。概して、車両挙動モデルによって分類される動きの変化が、回帰モデルによって予測される車両挙動の閾値（または限界）内にない場合、４８１２において、エラー信号が送信され得、是正措置を講じるよう運転者にアラートする、または、是正措置を講じるよう自律運転システムにアラートする。可能な比較器オペレーションのより詳細な説明が図４８Ｂに提供される。
図４８Ｂは、図４８Ａにおいて、より具体的には４８０８で示される比較器オペレーションに関連付けられた追加オペレーションの高レベルの可能なフロー４８５０を示す簡略フローチャートである。
４８５２において、車両挙動モデル（例えばＨＭＭ）からの出力分類が障害を示す、および、回帰モデルによる出力予測が、同じ制御イベントに基づく障害を示すという条件が真かどうか決定される。両方の条件が真である場合、４８５４において、エラー信号（または制御信号）が送信され得、是正措置を講じるよう運転者にアラートする、または、是正措置を講じるよう自律運転システムにアラートする。
４８５２における少なくとも１つの条件が真でない場合、４８５６において、車両挙動モデルからの出力分類が障害を示す、および、回帰モデルによる出力予測が、同じ制御イベントに基づく障害を示さないという２つの条件が真であるかどうか決定される。両方の条件が真である場合、４８５８において、車両挙動モデルからの出力分類が、回帰モデル出力をオーバーライドし得る所望の閾値を超えるかどうかについて、別の決定が行われる。そうである場合、４８５４において、エラー信号（または制御信号）が送信され得、是正措置を講じるよう運転者にアラートする、または、是正措置を講じるよう自律運転システムにアラートする。そうでない場合、４８６０において、制御イベントによって示される車両挙動を進める（または、エラー信号の不存在時に動きの変化が進み得る）ことを可能にするために、信号が送信され得る。
４８５６における少なくとも１つの条件が真でない場合、４８６２において、車両挙動モデルからの出力分類が障害を示さない、および、回帰モデルによる出力予測が、同じ制御イベントに基づく障害を示すという条件が真であるかどうか決定される。両方の条件が真である場合、４８６４において、エラー信号（または制御信号）が送信され得、是正措置を講じるよう運転者にアラートする、または、是正措置を講じるよう自律運転システムにアラートする。
４８６２における少なくとも１つの条件が真でない場合、４８６６において、車両挙動モデルからの出力分類が障害を示さない、および、回帰モデルによる出力予測が、同じ制御イベントに基づく障害を示さないという条件が真であるべできである。両方の条件が真である場合、４８６８において、制御イベントによって示される車両挙動を進める（または、エラー信号の不存在時に動きの変化が進み得る）ことを可能にするために、信号が送信され得る。
自律車両についてのＡＩアルゴリズムを訓練することを助けるためにデータの連続的収集を伴うアプローチは、スケーラビリティ（このデータを取得するために運転する必要なデータおよびマイルの量が大きいことに起因）および厳密な利用可能性（自律車両が遭遇し得るすべての可能な道路シナリオをカバーのに必要な十分な数のデータセットのデータを有する可能性）という問題に遭遇し得る。従って、自律車両は、自律車両についてのＡＩシステムを訓練するために、より効率的で豊富なデータセットから恩恵を受け得る。本開示の様々な実施形態において、データセットは、データセットをカテゴリ化して各カテゴリの収集プロセスをガイドすることによって改善され得る。いくつかの実施形態において、各データセットは、カテゴリに基づいてスコアを決められ得、データセットのスコアは、収集データについての処理技法を決定するのに使用され得る。
特定の実施形態において、自律車両によって収集されるデータは、カテゴリ化、スコアリング、および、カテゴリ化またはスコアリングに基づく処理を含む新規の処理を受ける。様々な実施形態において、この新規の処理（または、それらの１または複数のサブ部分）は、自律車両にネットワーク接続された（例えばクラウドにおける）コンピューティングシステム（例えばリモート処理システム４９０４）によってオフラインで実行され得る、および／または、自律車両のコンピューティングシステム（例えば自律車両コンピューティングシステム４９０２）によってオンラインで実行され得る。
図４９は、特定の実施形態による、データのカテゴリ化、スコアリング、および処理のフローを描写する。図１は、リモート処理システム４９０４に結合される自律車両コンピューティングシステム４９０２を描写する。システム４９０２および４９０４における様々なモジュールの各々は、任意の好適なコンピューティングロジックを使用して実装され得る。自律車両コンピューティングシステム４９０２は、ポイントツーポイントリンク、ネットワーク、ファブリックなどを含む任意の好適なインターコネクトを介してリモート処理システム４９０４に結合され得、データを車両からリモート処理システム（例えばデータを車からコピーし、次に、データをクラウドクラスタに再コピーする特殊なデバイス）へ転送する。他の実施形態において、システム４９０２からのデータは、（例えば、そのようなデータを含むストレージをシステムの１つから除去し、それを他方と結合することによって）好適な通信チャネルを介してシステム４９０４に利用可能になり得る（または、その逆も成立する）。自律車両コンピューティングシステム４９０２は、本明細書に説明される他の車両の任意の好適なコンポーネントまたは特性を有し得る自律車両内に統合され得、リモート処理システム４９０４は、本明細書において説明される他のリモート（例えばクラウド）処理システムの任意の好適なコンポーネントまたは特性を有し得る。例えば、リモート処理システム４９０４は、システム１４０または１５０の任意の好適な特性を有し得、コンピューティングシステム４９０２は、コンピューティングシステムまたは車両１０５の任意の好適な特性を有し得る。
フローにおいて、データ４９０６の様々なストリームが車両４９０２によって収集される。データ４９０６の各ストリームは、本明細書において説明されるセンサまたは他の好適なセンサのうち任意の１または複数など、車両のセンサから収集され得る。ストリーム４９０６は、車両のストレージデバイス４９０８に格納され得、また、リモート処理システム４９０４にアップロードされ得る。
データストリームは人工知能（ＡＩ）オブジェクト検出部４９１０に提供され得る。検出器４９１０は、オブジェクト検出に関連付けられたオペレーションを実行し得る。特定の実施形態において、検出器４９１０は、訓練モジュールおよび推論モジュールを含み得る。訓練モジュールは、推論モジュールを訓練するのに使用され得る。例えば、経時的に、訓練モジュールは、複数のアップロードされたデータセットを分析して、推論モジュールによって使用されるパラメータを決定し得る。アップロードされたデータストリームは、入力として推論モジュールへフィードされ得、推論モジュールは、１または複数の検出されたオブジェクト４９１２に関連付けられた情報を出力し得る。
オブジェクト検出部４９１０の推論モジュールの出力のフォーマットは、アプリケーションに基づいて変動し得る。一例において、検出オブジェクト情報４９１２は、１または複数の検出されたオブジェクトを含む１または複数のイメージを含み得る。例えば、検出オブジェクト情報４９１２は、より大きいイメージの関心領域を含み得、関心領域は１または複数の検出されたオブジェクトを含む。いくつかの実施形態において、検出オブジェクト情報４９１２の各インスタンスは、関心のあるオブジェクトのイメージを含む。いくつかの事例において、関心のあるオブジェクトは、複数の検出されたオブジェクトを含み得る。例えば、検出された車両は、ホイール、フレーム、窓などの複数の検出されたオブジェクトを含み得る。様々な実施形態において、検出オブジェクト情報４９１２はまた、検出されたオブジェクトに関連付けられたメタデータを含み得る。例えば、検出オブジェクト情報４９１２のインスタンスにおいて検出された各オブジェクトについて、メタデータは、オブジェクト（例えば車両、木、歩行者など）のタイプ、オブジェクトの位置（例えば座標）、オブジェクトの深度、オブジェクトに関連付けられたコンテキスト（例えば、オブジェクトを検出するのに使用されたデータのキャプチャに関連付けられた、時刻、道路のタイプ、または地理的場所など、本明細書において説明された任意のコンテキスト）、または他の好適な情報を記述する１または複数の分類器を含み得る。
検出オブジェクト情報４９１２は、更なる処理のためにオブジェクトチェッカ４９１４に提供され得る。オブジェクトチェッカ４９１４は、カテゴリを検出オブジェクト情報４９１２のインスタンスに割り当てるために使用される出力を提供する任意の好適な数のチェッカを含み得る。描写される実施形態において、オブジェクトチェッカ４９１４は、もっともよく知られたオブジェクト（ＢＫＯ）チェッカ４９１６、オブジェクト多様性チェッカ４９１８、および、ノイズチェッカ４９２０を含むが、本開示において、任意の好適なチェッカまたはチェッカの組み合わせが想定される。様々な実施形態において、オブジェクトチェッカ４９１４のチェッカは、互いに並行に、または順次、オペレーションを実行し得る。
検出オブジェクト情報４９１２に加えて、オブジェクトチェッカ４９１４はまた、アップロードされたデータストリームを受信し得る。様々な実施形態において、ＢＫＯチェッカ４９１６、オブジェクト多様性チェッカ４９１８、およびノイズチェッカ４９２０のうち任意の１または複数は、生データストリームを利用し得る。
検出オブジェクト情報４９１２のインスタンスの受信に応答して、ＢＫＯチェッカ４９１６は、ＢＫＯデータベース（ＤＢ）４９２２を参照して、検出オブジェクト情報４９１２のインスタンスの１または複数の検出されたオブジェクトの一般性のレベルを決定する。ＢＫＯ ＤＢ４９２２は、もっともよく知られた（例えばもっとも一般的に検出される）オブジェクトの指示を格納するデータベースである。いくつかの実施形態において、ＢＫＯ ＤＢ４９２２は、もっともよく知られたオブジェクトのリストを含み得、リストに無いオブジェクトは、もっともよく知られたオブジェクトとみなされないことがあり得るので、特定のオブジェクトの一般性のレベルは、二値（もっともよく知られた、または、もっともよく知られていない）を使用して表され得る。他の実施形態において、ＢＫＯ ＤＢ４９２２は、複数のオブジェクトの各々について、より粒度の高い一般性のレベルを含み得る。例えば、ＢＫＯ ＤＢ４９２２は、各オブジェクトについての範囲（例えば０から１０）から選択されたスコアを含み得る。特定の実施形態において、複数のレベルの一般性が各オブジェクトについて格納され得、各レベルは、特定のコンテキストについてのオブジェクトの一般性のレベルを示す。例えば、自転車は街路上で高レベルの一般性を有し得るが、高速道路上で低いレベルの一般性を有し得る。別の例において、荷車を引くロバまたは馬などの動物は、世界中で、わずかなコンテキストおよび領域を除くすべてにおいて、低いレベルの一般性を有し得る。 また、一般性の組み合わせレベルが決定され得る。例えば、高速道路上でも１または複数のモペッドがレーンにおいて移動することは、西洋の国より東南アジアの国において一般的である。一般性スコアは、具体的な環境について適用される具体的な規則セットに従って定義され得る。
データが収集されるとき、ＢＫＯ ＤＢ４９２２は、動的に更新され得る。例えば、ＢＫＯ ＤＢ４９２２のロジックは、検出されたオブジェクトを識別する情報をＢＫＯチェッカ４９１６（例えば、そのような情報は、オブジェクトの一般性のレベルについての要求に含まれ得る）から、または、別のエンティティ（例えば、オブジェクト検出部４９１０）から受信し得る。様々な実施形態において、情報はまた、検出されたオブジェクトに関連付けられたコンテキストを含み得る。ロジックは、特定のオブジェクトを検出する回数および／または頻度を示す、ＢＫＯ ＤＢ４９２２における情報を更新し得る。いくつかの実施形態において、ロジックはまた、オブジェクトの一般性のレベルが変化したかどうかを決定し得る（例えば、オブジェクトが検出された頻度が閾値を超えた場合、オブジェクトの一般性のレベルが上昇し得る）。
ＢＫＯチェッカ４９１６からの要求に応答して、ＢＫＯ ＤＢ４９２２は、オブジェクトの一般性のレベルを戻し得る。ＢＫＯチェッカ４９１６は次に、このレベルをカテゴリ割り当て部２４に提供し得る。
オブジェクト多様性チェッカ４９１８は、多様性（例えば、ストリームあたりのオブジェクトの数、および、各オブジェクトの一般性に基づき得る、オブジェクトを含むストリームが多様であるかどうか）に基づいて検出オブジェクト情報４９１２のインスタンスのスコアを決める。検出オブジェクト情報４９１２のインスタンスの多様性スコアは、インスタンスがより大きな数の検出されたオブジェクトを含むとき、より高くなり得る、検出されたオブジェクトが異種混合であるとき、更に高くなり得る。例えば、検出された車または自転車は、複数の検出されたオブジェクト（例えばホイール、フレームなど）を含み得、比較的高い多様性スコアを受け得る。しかしながら、異種混合オブジェクトは、比較的低い多様性スコアをもたらし得る。しかしながら、共に見られることが珍しい複数のオブジェクトは、比較的高い多様性スコアを受け得る。例えば、レースにおける複数の自転車、または、（例えば、マラソンにおける）道路上の複数のランナーは、１人が走っているシーンと比較して、多様であるとみなされ得る。オブジェクト多様性チェッカ４９１８は、生のセンサデータ、ＢＫＯチェッカ４９１６からの検出されたオブジェクトの指示、および、ＢＫＯチェッカ４９１６から検出されたオブジェクトの数など、任意の好適な情報に基づいて多様性を決定し得る。
ノイズチェッカ４９２０は、検出オブジェクト情報４９１２のインスタンスに関連付けられたアップロードされたデータストリームを分析し、インスタンスに関連付けられたノイズスコアを決定する。例えば、インスタンスは、基礎のデータストリームが低い信号／ノイズ比を有するとき、より高いスコアを有し得る。基礎のデータストリームのうち１または複数が壊れているように見える場合、ノイズスコアは低くなる。
カテゴリ割り当て部４９２４は、オブジェクトチェッカ４９１４の様々なチェッカの出力を受信し、チェッカの出力に基づいて、検出オブジェクト情報４９１２のインスタンスについて１または複数のカテゴリを選択する。本開示は、データ処理ポリシーに影響を与えるために使用され得る任意の好適なカテゴリを想定する。いくつかの例示的なカテゴリは、一般的データ、少数派クラスデータ、多様オブジェクト豊富データ、および、ノイジーデータである。これらのカテゴリの任意の１または複数は、オブジェクトチェッカ４９１４から受信された出力に基づいてインスタンスに適用され得る。
一般的データカテゴリは、頻繁に遭遇されるオブジェクトに適用され得るので、システムは、そのようなオブジェクトについてのロバストなデータセットを既に有し得る。少数派クラスデータカテゴリは、１回目、または、比較的低頻度のオブジェクトを含むインスタンスに適用され得る。様々な実施形態において、一般的データカテゴリおよび少数派クラスデータの両方は、オブジェクトの検出の絶対的頻度、および／または、オブジェクトの検出のコンテキスト固有頻度に基づき得る。多様オブジェクト豊富データカテゴリは、複数の多様なオブジェクトを含むインスタンスに適用され得る。ノイジーデータカテゴリは、比較的高いノイズを有するデータを有するインスタンスに適用され得る。他の実施形態において、任意の好適なカテゴリが使用され得る。例として、カテゴリは、「非常に珍しい」、「やや珍しい」、「やや一般的」、および「非常に一般的」カテゴリまたは「非常にノイジー」、「いくらかノイジー」、および「非ノイジー」カテゴリを含み得る。
いくつかの実施形態において、検出オブジェクト情報４９１２のインスタンスについて、１または複数のカテゴリが選択された（または、カテゴリが選択されない）後に、カテゴリ選択に基づく追加のメタデータが、メタデータモジュール４９２６によってインスタンスに関連付けられ得る。特定の実施形態において、そのようなメタデータは、カテゴリ選択に基づく検出オブジェクト情報４９１２のインスタンスについてのスコアを含み得る。特定の実施形態において、スコアは、データの重要性を示し得る。スコアは、任意の好適な方式で決定され得る。一例として、一般的データとして分類される（または、そうでない場合、高い頻度の発生を示すカテゴリに割り当てられた）インスタンスは、比較的低いスコアを受け得る、なぜなら、そのようなデータは、同様のデータがシステムを訓練するために既に使用された可能性が高いことに起因して、システムの機能を改善しないことがあり得るからである。別の例において、少数派クラスデータとして分類されたインスタンスは、比較的高いスコアを受信し得る。なぜなら、そのようなデータは、システムを訓練するために既に使用された可能性が低いからである。別の例において、多様オブジェクト豊富データとして分類されたインスタンスは、多様オブジェクト豊富データとして分類されていない同様のインスタンスより高いスコアを受け得る。なぜなら、多様なオブジェクトを有するインスタンスは、訓練の目的に対してより有用と見なされ得るからである。別の例として、ノイジーデータとして分類されたインスタンスは、ノイジーデータとして分類されない同様のインスタンスより低いスコアを受け得る。なぜなら、より高いノイズを有するインスタンスは、訓練の目的に対して有用性が低いと見なされ得るからである。
いくつかの実施形態において、スコアに加えて（または、それに代替的に）、任意の好適なメタデータが、検出オブジェクト情報４９１２のインスタンスに関連付けられ得る。例えば、基礎のデータストリームに関連付けられたコンテキストのいずれかは、メタデータ内に含まれ得、コンテキストはスコアに影響し得る（例えば、第１コンテキストにおける一般的データは、第２コンテキストにおける少数派データであり得る）。
データのインスタンス、カテゴリ化の判断、カテゴリ化に基づくスコア、および／または、追加のメタデータは、データハンドラ４９３０に提供され得る。データハンドラ４９３０は、データのインスタンスに関する１または複数のアクションを実行し得る。任意の好適なアクションが、本開示によって想定される。例えば、データハンドラ４９３０は、より低いスコアを有するインスタンス、または、特定のカテゴリもしくはカテゴリの組み合わせのインスタンスをパージし得る。別の例において、データハンドラ４９３０は、より高いスコアを有するインスタンス、または、特定のカテゴリもしくはカテゴリの組み合わせのインスタンスを格納し得る。別の例として、データハンドラ４９３０は、インスタンスに関連付けられた合成データの生成のための要求を生成し得る（例えば、データハンドラ４９３０は、少数派クラスデータとして分類されたオブジェクトに関連付けられた合成データの生成を要求し得る）。別の例として、データハンドラ４９３０は、１または複数の自律車両のセンサによる、インスタンスのオブジェクトに関連するより多くのデータの収集の要求を生成し得る。更に別の例において、データハンドラ４９３０は、インスタンス（および／または基礎のデータストリーム）が、（例えばオブジェクト検出部４９１０によって）訓練に使用され得るデータのセットに含まれるべきであると決定し得る。
データのインスタンス、カテゴリ化判断、カテゴリ化に基づくスコア、および／または、追加のメタデータもデータスコアリングトレーナ４９２８に提供され得る。データスコアリングトレーナ４９２８は、カテゴリおよび／またはスコアに対してモデルを訓練する。様々な実施形態において、検出されたオブジェクトのインスタンスおよびそれらの関連付けられたスコアおよび／またはカテゴリは、データスコアリングトレーナ４９２８によってグラウンドトゥルースとして使用され得る。トレーナ４９２８は、訓練モデル４９３２を出力する。訓練モデルは、車両ＡＩシステム４９３４に提供され、車両ＡＩシステム４９３４によって検出されたオブジェクトをカテゴリ化する、および／または、そのスコアを決めるために車両によって使用され得る。様々な実施形態において、モデルを訓練するのに使用されるデータのインスタンスは、カテゴリおよび／またはスコアに基づいてフィルタリングされる。例えば、一般に遭遇されるオブジェクトを含むインスタンスは、訓練セットから省略され得る。
車両ＡＩシステム４９３４は、自律車両スタックのオペレーションのうち１または複数など、任意の好適な自律運転オペレーションを実行するための回路および他のロジックを含み得る。特定の実施形態において、車両ＡＩシステム４９３４は、データストリーム４９０６を受信し、オブジェクトを検出するためにデータストリーム４９０６を処理し得る。
車載カテゴリ割り当て部４９３６は、カテゴリ割り当て部４９２４の任意の１または複数の特性を有し得る。検出されたオブジェクト（例えば検出されたオブジェクトおよびコンテキスト）のインスタンスについての情報は、インスタンスについて１または複数のカテゴリ（上記のカテゴリまたは他の好適なカテゴリのうち１または複数など）を選択するカテゴリ割り当て部４９３６に提供され得る。いくつかの実施形態において、コンピューティングシステム４９０２のカテゴリ割り当て部４９３６または他のロジックはまた（または代替的に）、検出されたオブジェクトのインスタンスにスコアを割り当て得る。いくつかの実施形態において、スコアは、検出されたオブジェクトのカテゴリ割り当て部４９３６によるカテゴリ化に基づき得る。他の実施形態において、スコアは、自律車両によるカテゴリの任意の明示的な決定無しで、自律車両によって決定され得る。様々な実施形態において、検出されたオブジェクトに割り当てられたカテゴリおよび／またはスコアは、データスコアリングトレーナ４９２８によって生成されたパラメータを利用する１または複数の機械学習推論モジュールを使用して決定される。
カテゴリ割り当て部４９３６の出力は、データハンドラ４９３０の任意の１または複数の特性を有し得る車載データハンドラ４９３８に提供され得る。様々な実施形態において、カテゴリ割り当て部４９３６の出力はまた、オンライン学習およびスコアリングに基づくＢＫＯデータの更新を促進するためにＢＫＯ ＤＢ４９２２に提供され得る。
データハンドラ４９３８は、データハンドラ４９３０の任意の１または複数の特性を有し得る。データハンドラ４９３８は、車載カテゴリ割り当て部４９３６の出力に基づいて、車両によってキャプチャされるデータストリームをどのように扱うかについて判断し得る。例えば、データハンドラ４９３８は、上記のアクションのいずれかを講じ得る、または、カテゴリ割り当て部４９３６の出力に基づいてデータに関連付けられた他の好適なアクションを実行し得る。ただの一例として、データハンドラ４９３８は、データスコアリングに基づいて、検出されたオブジェクトに関連付けられたデータが車両に格納されるか、または、パージされるかを決定し得る。
様々な実施形態において、データのスコアを決めるために使用される場所ベースモデルは、データの緊急性および重要性を合成し、自律車両による、より良い意思決定のための有用なガイダンスを提供し得る。キャプチャされたデータの場所は、自律車両コンピューティングシステム４９０２、または、リモートコンピューティングシステム４９０４によって、（例えば、場所を入力として使用することによって、データベースまたは他のサービスから）天気、交通、歩行者フローなど、データのキャプチャに関連付けられた他のコンテキストデータを取得するために使用され得る。そのようなキャプチャデータは、特定の粒度で収集され得、時系列の情報を形成する。同じ場所は、場所のある半径内でキャプチャされた各データストリームに関連付けられ得、車両がこの領域内のその知覚および判断能力を改善することを可能にし得る。場所は、上記のモジュールのいずれかによって考慮され得る。ただの一例として、ＢＫＯ ＤＢ４９２２は、場所固有データ（例えば、第１の場所についての様々なオブジェクトの一連の一般性レベル、第２の場所についての様々なオブジェクトの一般性レベルの別個のリストなど）を格納し得る。
図５０は、特定の実施形態による、カテゴリ化に基づいてデータを扱うための例示的なフローを描写する。５００２において、車両の１または複数のセンサによってキャプチャされたデータからの１または複数のオブジェクトのインスタンスが識別される。５００４において、複数のカテゴリに対してインスタンスをチェックし、複数のカテゴリの少なくとも１つのカテゴリをインスタンスに割り当ることによって、インスタンスのカテゴリ化が実行される。５００６において、インスタンスのカテゴリ化に基づいてスコアが決定される。５００８において、インスタンスのデータ処理ポリシーが、スコアに少なくとも部分的に基づいて選択される。５０１０において、決定されたデータ処理ポリシーに基づいてインスタンスが処理される。
高品質の機械学習モデルを作成することは、モデル作成のための訓練中にロバストなデータセットを使用することを含む。一般的に、モデルは、それが訓練に使用するデータセットの分だけ良い。オブジェクトまたは人の識別のためのイメージの訓練など多くの適用において、データセット収集は非常に単純である。しかしながら、他の場合において、低い一般性のコンテキスト、または、その組み合わせについてのデータセット収集は非常に難しいことがあり得る。これは、モデルの開発にとって難しい課題を提示する。なぜなら、モデルには、不適切なデータに基づいてコンテキストを識別または分類するタスクが課され得るからである。理想的な状況において、オブジェクト検出モデルを訓練するために使用されるデータセットは、各カテゴリについて、等しい、または同様の量のデータを有する。しかしながら、車両はネガティブなデータより、遥かに多くのポジティブなデータに遭遇するので、車両センサから収集されたデータセットは概して、バランスがとれていない。
本開示の様々な実施形態において、システムは、１または複数のコンテキストについて現実のデータを欠いているデータセットを強化するべく、合成データを作成し得る。いくつかの実施形態において、敵対的生成ネットワーク（ＧＡＮ）イメージ生成器は、合成データを作成する。ＧＡＮは、機械学習を使用する生成モデルのタイプであり、より具体的には、ＧＡＮへの入力として提示されるキーワードのリストに基づいてイメージ（例えば、静止イメージまたはビデオクリップ）を生成するための深層学習である。ＧＡＮは、イメージを作成するために使用されるこれらのキーワードを使用する。様々な実施形態はまた、どのキーワードがイメージ生成のためにＧＡＮに供給されるか決定するためのロジックを採用する。単にランダムにデータをＧＡＮにフィードすることは、多くの使用不可能なデータを生じさせる。特定のコンテキストの組み合わせは、現実世界における発生に合致しないことがあり得る。例えば、サウジアラビアにおける吹雪の中の高速道路の中央の道化師は、非常に可能性が低く、ほぼあり得ないイベントである。別の例として、雪の高速道路上で自転車に遭遇することは、可能性が低い（前のシナリオより遥かに可能性は高いが）。従って、システムは、（例えば、「自転車」、「雪」および「高速道路」というキーワードを使用することによって）このシナリオについてイメージを生成し得るが、前のシナリオについては生成しない。合成データ作成をインテリジェントに制御することによって、システムは、本来なら現実世界では車両が遭遇するのに非常に長い時間が必要となるであろうイメージを（訓練のために）作成し得る。
データの利用可能性およびモデル作成を広く利用できるようにするために、様々な実施形態が有用であり得る。例えば、サービスとしての自律運転など、空間におけるエンティティの成功は、エンティティにアクセス可能なデータセットの量および多様性に大きく依存し得る。従って、市場が成熟に到達する数年後には、データ収集を早く開始した既存のプレーヤは、不当な利点を有し得、新規参入者によるイノベーションを妨害する可能性がある。そのようなデータ格差はまた、大量のデータセットを蓄積した他のエンティティとの関係を通じて組織が大量のデータにアクセスしない限り、学術界における研究を妨げ得る。様々な実施形態は、モデルを訓練するのに利用可能なデータの利用可能性を増加させることによって、そのような圧力を緩和し得る。
図５１は、特定の実施形態による、合成データをインテリジェントに生成するためのシステム５１００を描写する。システム５１００は、任意の好適なコンピューティングシステムを表す。情報を格納するためのメモリ、および、システム５１００の機能のいずれかを実行するための１または複数のプロセッサなどの任意の好適なコンポーネントを備える。描写された実施形態において、システム５１００は現実のデータソース５１０２にアクセスし、現実のデータソースをイメージデータセット５１０４および非イメージセンサデータセット５１０６に格納する。現実のデータソース５１０２は、現実の車両またはシミュレートされた運転環境から収集されたデータを表し得る。そのような現実のデータは、１または複数のカメラからのビデオデータストリーミング、１または複数のＬＩＤＡＲからのポイントクラウド、または、１または複数の車両もしくはサポートインフラストラクチャ（例えば路肩カメラ）から取得された同様のイメージングデータなどのイメージデータを含み得る。収集されたイメージデータは、任意の好適な記憶媒体を使用してイメージデータセット５１０４に格納され得る。現実のデータソースはまた、車両に関連付けられ得る多くのセンサのいずれかからのデータなどの非イメージセンサデータを含み得る。非イメージセンサデータはまた、時系列データと称され得る。このデータは、タイムスタンプおよび関連付けられた値などの任意の好適な形態をとり得る。非イメージセンサデータは例えば、任意の所与のレートでデータを生成する車両において使用される動きセンサ、ＧＰＳ、温度センサ、または任意のプロセスからの測定結果を含み得る。収集された非イメージセンサデータは、任意の好適な記憶媒体を使用して非イメージデータセット５１０６に格納され得る。
コンテキスト抽出モジュール５１０８は、イメージデータおよび非イメージセンサデータのインスタンスにアクセスし得、データに関連付けられたコンテキストを決定し得る。本明細書において説明されるコンテキストのいずれかなど、（単一の条件または条件の組み合わせを表し得る）コンテキストを生成するために、２つのタイプのデータが共にまたは別個に使用され得る。例えば、イメージングデータが単独で、コンテキスト「雪」を生成するために使用され得る。別の例として、イメージングデータおよび温度データが、コンテキスト「霧および高湿度」を生成するために使用され得る。更に別の例において、センサデータは単独で、「速度制限超過」のコンテキストを生成するために使用され得る。決定されたコンテキストは、多くの場合、生データに関連付けられたメタデータで表される。
コンテキスト抽出モジュール５１０８は、任意の好適な形式であり得る。特定の実施形態において、モジュール５１０８は、１または複数のデータのストリームを入力として受信して、そこからコンテキストを生成できる分類アルゴリズム（例えば機械学習アルゴリズム）を実装する。決定されたコンテキストは、コンテキストを生データストリーム（例えば、イメージデータおよび／または非イメージセンサデータセット）に再びマッピングするために使用され得る関連付けられたタイムスタンプと共に、メタデータ／コンテキストデータセット５１１０に格納され得る。これら格納されたメタデータストリームは、ある期間にわたる運転環境条件の説明を示し得る。モデル開発のために、イメージデータおよび非センサイメージデータは多くの場合、クラウドにおいて収集され、データサイエンティストおよび機械学習の専門家にアクセスが付与され、自律車両の異なる部分において使用され得るモデルを生成することを可能にする。
キーワードスコアリングモジュール５１１２は、コンテキストデータのインスタンスを検討し（コンテキストは１または複数のメタデータを含み得る）、検討された各インスタンスについて、各コンテキストインスタンスの発生頻度を示す一般性のレベルを識別する。一般性のレベルは、（現実のデータソースに適用されたコンテキストを通じて、または、合成的に生成されたイメージに適用されたコンテキストを通じて）システムが特定のコンテキストに遭遇した頻度を示し得る。特定のコンテキストについての一般性のレベルは、その特定のコンテキストを有するどれだけのデータがシステムにとって利用可能であるか（例えばモデル訓練において使用される）を表し得る。一般性のレベルは、コンテキストに関連付けられて（例えば、メタデータ／コンテキストデータセット５１１０または他の好適なストレージの場所に）保存され得る。
キーワードスコアリングモジュール５１１２は、任意の好適な方式で一般性のレベルを決定し得る。例えば、コンテキストインスタンスに遭遇するたびび、そのコンテキスト固有のカウンタがインクリメントされ得る。他の例において、そのコンテキストのいくつのインスタンスがデータベース５１１０に格納されるかを決定するために、メタデータ／コンテキストデータセット５１１０が検索され得る。一例において、コンテキストに閾値回数だけ遭遇すると、コンテキストは、合成イメージ生成の候補として選択されないように、「一般に知られる」などとしてラベリングされ得る。いくつかの実施形態において、メタデータ／コンテキストデータセット５１１０は、コンテキストのテーブルを、各コンテキストの関連付けられた一般性のレベルと共に格納し得る。
キーワード／コンテキスト選択モジュール５１１４は、メタデータ／コンテキストデータセット（または他のストレージ）にアクセスして、様々なコンテキストおよびそれらの関連付けられた一般性のレベルを分析し、合成イメージ生成の候補を識別し得る。特定の実施形態において、モジュール５１１４は、より一般性が低いコンテキストを探す（システムは、非常に一般的であるコンテキストについてのデータを既に十分有し得るため）。モジュール５１１４は、１セッションにおける複数のコンテキストを（例えば定期的に、またはトリガによって）分析することによって、バッチ方式でそのようなコンテキストを検索し得る、または、一般性のレベルの変化に応答してコンテキストを分析し得る。モジュール５１１４は、コンテキストを記述する１または複数のキーワードを各々が含む１または複数のコンテキストを選択し得る。例えば、上の例を参照すると、選択されたコンテキストは、キーワード「自転車」、「雪」および「高速道路」を含み得る。
コンテキストを合成イメージ生成の候補として選択した後に、モジュール５１１４は、コンテキスト尤度データベース５１１６を参照して、選択されたコンテキストが現実世界において発生するかどうか決定し得る。コンテキスト尤度データベース５１１６は、本、記事、インターネットのウェブサイト、または他の好適なソースからまとめられたデータ（例えばテキスト、ピクチャ、およびビデオ）を使用して生成され得る。より多くのデータがオンラインで利用可能になるにつれて、コンテキスト尤度データベース５１１６のデータはより豊富になり得る。データは、例えば、ウェブサイトをクロールして、そのようなウェブサイトからデータを抽出し、データソースのアプリケーションプログラミングインタフェースを利用すること、または他の好適な方法によって、任意の好適な方式でオンラインソースから取得され得る。イメージデータ（ピクチャおよびビデオ）を含むはイメージに存在するオブジェクトおよびコンテキストに関連付けられたキーワードを決定するために、機械学習または他の分類アルゴリズムを使用して処理され得る。キーワードの、他のキーワードに対する近接性を検索するとき、データベースにおけるキーワードの検索を促進するために、収集データはインデックスされ得る。収集されたデータは、特定のコンテキストが現実世界において発生するかどうかの推論を可能にする、コンテキストのライブラリを形成し得る。
合成イメージ生成の候補としてコンテキストを選択した後に、モジュールｑ１４は、コンテキスト尤度データベース５１１６を参照して、コンテキストのキーワードがコンテキスト尤度データベース５１１６内において収集データソースと共に現れる頻度を決定し得る。キーワードが共に現れない場合、モジュール５１１４は、コンテキストが現実世界において現れないと決定し得、コンテキストについての合成イメージを生成しないことを決定し得る。いくつかの実施形態において、キーワードが共に現れる（または、閾値の回数より多く共に現れる）場合、コンテキストが現実世界において発生すると判断され、コンテキストのキーワードがＧＡＮイメージ生成器５１１８に渡される。
特定の実施形態において、コンテキストが現実世界において発生するかどうか、および／または、合成イメージがコンテキストについて生成されたかどうかの指示が、コンテキストと関連付けられて、メタデータ／コンテキストデータセット５１１０（または他の好適なストレージ）に格納され得、モジュール５１１４は、特定のコンテキストについてコンテキスト尤度データベース５１１６の不必要なルックアップを実行することを回避し得る。追加的に、特定のコンテキストが現実世界において発生しないと決定された場合、モジュール５１１４は、特定のコンテキストについての子コンテキストも、現実世界において発生しないと決定し得る（子コンテキストは、親コンテキストのキーワードをすべて承継し、少なくとも１つの追加キーワードを含む）。いくつかの実施形態において、第１解析において現実世界で発生しないと決定された場合でも、特定の条件下における現実世界での発生について、（例えば、コンテキスト尤度データベース５１１６への大きな更新があるときに）コンテキストが再度解析され得る。
コンテキスト尤度データベース５１１６内の情報に従って、合成イメージ生成についての候補として選択されたコンテキストが現実世界において発生すると決定されると、コンテキストはＧＡＮイメージ生成器５１１８に提供される。イメージ生成器５１１８は、コンテキストを表すイメージデータ（例えば、１または複数のピクチャまたはビデオクリップ）を生成するために好適なロジックを含み得る。例えば、引き続き上の例において、コンテキストがキーワード「自転車」、「雪」および「高速道路」を含む場合、イメージ生成器５１１８は、雪の高速道路上の自転車を各々が描画する１または複数のイメージデータのインスタンスを生成し得る。様々な実施形態において、ＧＡＮイメージ生成器５１１８は、モデル訓練に有用なイメージデータを提供するために調整され得る。例として、生成器５１１８は、様々タイプの雪の高速道路上の様々なタイプの（任意で、イメージ内の異なる位置にある）自転車を有するイメージを生成し得る。
イメージ生成器５１１８によって生成されるイメージデータは、イメージデータセットに配置され、イメージを生成するために使用されるコンテキストと関連付けて格納され得る。そのようなイメージは、オブジェクトを検出するために自律車両によって使用される１または複数のモデル（例えば機械学習モデル）を訓練するために使用され得る。従って、システム５１００は、可能性が低いコンテキストを識別し、そのようなコンテキストが現実世界に存在する可能性が高いかどうか決定し、次に、データセットを豊富にして分類およびオブジェクト識別性能を改善するべく、そのようなコンテキストの合成イメージを生成し得る。
様々な実施形態において、システム１００はまた、本明細書において説明される機能のいずれかをガイドするために、人間または他のアクター（例えばコンピューティングエンティティ）から入力を受信するためのモジュールを備え得る。例えば、特定のコンテキストが可能かどうかに関する明示的な入力が受信され得る。いくつかの実施形態において、コンテキスト尤度データベース５１１６に対するクエリの部分集合は、コンテキストが現実的かどうかについて人間のオペレータにクエリするために使用され得る。例えば、データベース５１１６の検索が、コンテキストのキーワードの非常に少ないインスタンスを共に返す場合、コンテキストをイメージ生成器５１１８に渡す前に、人間のオペレータは、コンテキストが現実的かどうかについてクエリされ得る。別の例として、人間のオペレータまたはコンピューティングエンティティは、望ましいコンテキストについてのイメージの生成のためにキーワードをＧＡＮイメージ生成器５１１８へ直接注入し得る。そのようなイメージは次に、関連付けられたコンテキストと共にイメージデータセット５１０４に格納され得る。いくつかの実施形態において、人間からの入力は、自律車両によって、または、Ａｍａｚｏｎ Ｍｅｃｈａｎｉｃａｌ Ｔｕｒｋなどのクラウドソースプラットフォームによって使用されるために、コンピューティングモデルの開発元を介して提供され得る。
いくつかの実施形態において、システムは、特定のセットのコンテキストおよび関連付けられたキーワードに対して偏り得る。例えば、モデル開発元が、モデルが霧の中で、または夜に正確性が低くなると認識している場合、モデル開発元は、モデルを訓練して性能を改善するべく、これらのキーワードを使用して、追加の合成イメージデータセットの生成をトリガし得る。様々な実施形態において、生成された合成イメージデータはまた、モデルの正確度を決定するためにモデルテストに使用され得る。いくつかの実施形態において、合成データイメージは、イメージデータセットに追加される前にモデルをテストするために使用され得る。例えば、現在のモデルが、合成イメージを正確に分類するのに苦労している場合、そのようなイメージは、モデル性能を改善するための訓練に有用であるとみなされ得、次に、イメージデータセット５１０４に追加され得る。
様々な実施形態において、システム５１００の全部または一部は、車両の搭載コンピューティングシステムとは別個であり得る（例えば、システム５１００またはそのコンポーネントは、クラウドコンピューティング環境に配置され得る）。他の実施形態において、システム５１００の全部または一部は、本明細書において説明されるものなど、車両に搭載された車載コンピューティングシステムに統合され得る。
特定の実施形態において、車載コンテキスト検出アルゴリズムが、車両によるデータキャプチャに応答して車両によって実行され得る。車両は、（例えば、ＧＡＮと並行の方法として）コンテキスト尤度データベース５１１６のスナップショットを格納および使用し得る。珍しいイベントに関連付けられたデータがアップロードされると、イメージ生成器５１１８は、車両によって実行されたコンテキスト検出アルゴリズムからのデータを入力として使用し、これらの珍しいコンテキストのより多くのインスタンスを生成し得る。
図５２は、特定の実施形態による、合成データを生成するためのフローを描写する。５２０２において、車両の１または複数のセンサからキャプチャされたセンサデータに関連付けられたコンテキストが識別され、コンテキストは複数のテキストキーワードを含む。５２０４において、コンテキストについての追加の画像データが望ましいと決定される。５２０６において、コンテキストの複数のテキストキーワードが合成イメージ生成器へ提供され、合成イメージ生成器は、コンテキストの複数のテキストキーワードに基づいて複数のイメージを生成する。
自律車両のオペレーション中、多くの量のビジョン分類および音声認識アルゴリズムが実行される。最新の性能に起因して、深層学習アルゴリズムは、そのような用途に使用され得る。しかしながら、そのようなアルゴリズムは、高度に効果的な分類性能にもかかわらず、攻撃に対して脆弱であり得る。コンピュータビジョンに関して、敵対的な攻撃者は、非常に小さい摂動でイメージを操作し得、人間の眼には気付かれないことがあり得るが、深層学習アルゴリズムにイメージを誤って分類させるのに十分にイメージを変形し得る。そのような攻撃は標的化されないことがあり得、イメージが誤って分類されない限り、攻撃者はイメージの結果的な分類に無関心であり得、または、攻撃は標的化され得、目的の分類器で分類されるように、イメージが変形される。同様に、音声空間において、攻撃者は、実際の文を人間が聞くことに影響しないが、音声テキスト化アルゴリズムは音声を完全に誤解するノイズを注入し得る。近年の結果はまた、敵対的摂動に対する脆弱性が深層学習アルゴリズムに限定されず、古典的な機械学習方法にも影響し得ることを示す。
機械学習アルゴリズムのセキュリティを改善するべく、本開示の様々な実施形態は、敵対者が作成し得る攻撃を具体的に模倣する合成データを作成するためのシステムを含む。イメージについての攻撃データを合成するべく、複数の敵対者が想定され、敵対的イメージは、分類器が既に知られているイメージから生成され、次に、基礎の良性イメージと共に訓練セット（少なくともその一部は敵対的イメージについての基礎のイメージとして使用された）において使用され、車両によってオブジェクト検出のために使用される機械学習モデルを訓練する。
図５３は、敵対的サンプルを生成し、敵対的サンプルに基づいて機械学習モデルを訓練するためのフローを描写する。フローは、複数の異なる攻撃方法５３０２を使用して敵対的サンプルを生成することを含み得る。１または複数のパラメータ５３０４が、訓練データセットをビルドするために決定され得る。パラメータは例えば、良性サンプルと敵対的サンプルとの比率、使用される様々な攻撃強度（および攻撃方法の各々についての特定の攻撃強度の比率）、攻撃タイプの割合（例えば、いくつの攻撃が第１攻撃方法を利用し、いくつが第２攻撃方法を利用するか、など）、および、敵対的サンプルの誤分類についてのペナルティ項のうち１または複数を含み得る。敵対的サンプルは、本明細書において説明されたものなどの任意の好適なコンピューティングによって生成され得る。
敵対的サンプルがパラメータに従って生成された後、５３０６において敵対的サンプルは訓練セットの良性サンプルに追加され得る。訓練セットは次に、コンピューティングシステムによって、５３０８において分類モデルを訓練するために使用され得る。訓練の出力は、５３１０において、車両についてのロバストなＡＩ分類システム（例えば、推論エンジン２５４によって実行され得る、例えばＭＬモデル）をビルドするために使用され得る。フローの様々な部分は、下でより詳細に説明される。
任意の数の予想攻撃方法が、合成イメージを生成するために使用され得る。例えば、高速勾配符号法、反復高速勾配符号法、ディープフール、一般敵対的摂動、または他の好適な攻撃方法の１または複数が、合成イメージを生成するために利用され得る。
高速勾配符号法を介して敵対的イメージを生成することは、基礎のイメージに従って、ニューラルネットワークの損失関数の勾配を評価すること、勾配の符号を取得すること、および、次にそれをステップサイズ（例えば攻撃強度）で乗算することを含み得る。次に、結果が元のイメージに追加され、敵対的イメージを作成する。反復高速勾配符号法を介して敵対的イメージを生成することは、（高速勾配符号法の場合のような）単一の攻撃でなく、多くの勾配ステップにわたるステップサイズの反復的攻撃を含み得、各反復がイメージに追加される。ディープフール法を介して敵対的イメージを生成することは、入力ポイントにおいて損失関数を線型化すること、および、線形近似が正確な場合にクラスを切り替えるのに必要となる最小の摂動を適用することを含み得る。ネットワークの選択されたクラスが切り替わるまで、これは反復的に実行され得る。一般敵対的摂動方法を介して敵対的イメージを生成することは、訓練セット全体に対して摂動を計算すること、および、次にそれをイメージのすべてに追加することを含み得る（他の攻撃方法の一部はイメージを個別に攻撃する）。
いくつかの実施形態において、異なる攻撃強度を使用して、既知の分類器を有する単一イメージから複数の敵対的イメージが生成され得る。例えば、特定の攻撃方法について、第１攻撃強度を使用して、同じ良性イメージから第１敵対的イメージが生成され得、第２攻撃強度を使用して、良性イメージから第２敵対的イメージが生成され得る。
いくつかの実施形態において、複数の攻撃方法が、単一の良性イメージから複数の敵対的イメージを生成するために適用され得る。例えば、１または複数の攻撃強度を有する第１攻撃方法が、良性イメージから１または複数の敵対的イメージを生成するために使用され得、１または複数の攻撃強度を有する第２攻撃方法が、同じ良性イメージから１または複数の追加の敵対的イメージを生成するために使用され得る。
任意の好適な数の攻撃方法、および、任意の好適な数の攻撃強度が、合成データセットについての敵対的イメージを生成するために使用され得る。更に、いくつかの実施形態において、攻撃方法および攻撃強度は、良性イメージにわたって分布し得る（例えば、すべての方法および／または強度が各良性イメージに適用されるわけではない）。例えば、１または複数の攻撃方法および／または１または複数の攻撃強度が第１良性イメージに適用されて１または複数の敵対的イメージを生成し得、異なる１または複数の攻撃方法および／または１または複数の攻撃強度が第２良性イメージに適用されて１または複数の追加の敵対的イメージを生成し得る、などである。いくつかの実施形態において、攻撃強度は、訓練される各クラスからのイメージに対する攻撃ごとに変動し得る。
様々な実施形態において、攻撃の各タイプの割合は、（例えば、予想される攻撃のタイプの比率に合致するように）現実世界の条件の推定に基づいて変動し得る。例えば、合成データセットにおける敵対的イメージの５０％は、第１攻撃方法を使用して生成され得、敵対的イメージの３０％は、第２攻撃方法を使用して生成され得、敵対的イメージの２０％は、第３攻撃方法を使用して生成され得る。
様々な実施形態において、良性イメージと敵対的イメージとの割合はまた、１つの合成データセットと別の合成データセットとの間で変動し得る。例えば、良性イメージと敵対的イメージとの異なる比率を有する複数の合成データセットが、（例えば、オブジェクト検出の正確度に基づいて）最適比率を決定するためにテストされ得る。
各敵対的イメージは、正確なグラウンドトゥルースレベル（例えば、基礎の良性イメージのクラス）に関連付けられて格納される。いくつかの実施形態において、敵対的イメージは各々、それぞれの攻撃ラベル（例えば、分類器が、標的化された攻撃における攻撃者の望ましいラベルであり得る敵対的データに対して訓練されなかった場合に敵対的イメージが通常受けるであろうラベル）と共に格納され得る。一群のそのような敵対的イメージおよび関連付けられた分類器は、シミュレートされた攻撃データセットを形成し得る。
シミュレートされた攻撃データセットが良性イメージのセット（および関連付けられた既知の分類器）と混合され、ニューラルネットワーク、決定木、サポートベクタマシン、ロジスティック回帰、ｋ最近傍アルゴリズム、または他の好適な分類モデルなど、教師あり機械学習分類モデルを訓練するのに使用され得る。したがって、合成攻撃データは、深層学習アルゴリズムまたは古典的なＭＬアルゴリズムへの攻撃に対するレジリエンシを高めるための増強として使用され得る。訓練中、学習モデルを洗練するために、正確ラベルを有する敵対的イメージが、訓練セットの一部として組み込まれる。更に、いくつかの実施形態において、訓練中に学習アルゴリズムが敵対的イメージを攻撃者の望ましいラベルに分類する傾向がある場合、学習モデルの損失関数は、ペナルティを受け得る。その結果、学習アルゴリズムは、イメージへの敵対的攻撃に対するレジリエンシを発展させる。
上記のアプローチのいずれかが、音声データへの同様の攻撃に適合され得る。音声データへの任意の好適な攻撃方法が、敵対的音声サンプルを生成するために使用され得る。例えば、勾配降下に基づく入力サンプルの摂動に基づく方法が使用され得る。これらの攻撃方法は、一回の攻撃または反復の攻撃であり得る。イメージ攻撃と同様に、複数の異なる攻撃方法が使用され得、音声攻撃の攻撃強度は変動し得、攻撃方法から生成された敵対的サンプルの比率は変動し得、敵対的サンプルと良性サンプルとの比率も変動し得る。敵対的音声サンプルは、任意の好適なテキスト音声変換（例えば、ＷａｖｅＮｅｔ、ＤｅｅｐＶｏｉｃｅ、Ｔａｃｏｔｒｏｎなど）または音声認識（例えば、隠れマルコフモデル、コネクショニスト時間分類モデル、注意ベースのモデルなどを用いたディープモデル）機械学習モデルを訓練するために使用され得る。
図５４は、特定の実施形態に従って、シミュレートされた攻撃データセットを生成し、シミュレートされた攻撃データセットを使用して分類モデルを訓練するためのフローを描写する。５４０２において、複数のイメージサンプルまたは複数の音声サンプルを含む良性データセットがアクセスされる。良性データセットのサンプルは既知のラベルを有する。５４０４において、複数の敵対的サンプルを含むシミュレートされた攻撃データセットが生成され、敵対的サンプルは、良性データセットのサンプルへの複数の異なる攻撃方法を実行することによって生成される。５４０６において、機械学習分類モデルは、敵対的サンプル、既知のラベル、および複数の良性サンプルを使用して訓練される。
半自律および自律車両システムは、オブジェクト識別について、機械学習（ＭＬ）技法に大きく依存する。時間が経過するにつれて、分類に使用されるモデルは、新規のイベント（例えば吹雪の変化）および変化するパターン（例えば交通密度の増加）の両方の観点において、使用中に経験される環境変化を正確に反映することを継続するように更新（再訓練を含む）される必要がある。ＭＬモデルへの更新は周期的な方式で実行され得るが、そのような更新は、有効モデルが不必要に置換されるときに過剰なリソース使用をもたらし得る、または、更新が十分に頻繁でないときにより多くの数の誤分類をもたらし得る。
本開示の様々な実施形態において、異なる特性を各々が有する複数の分類器がオブジェクト検出中に使用され、１つの分類器の挙動は、他の分類器をいつ更新する（例えば、最近検出されたオブジェクトを使用して再訓練する）べきかを決定するために使用され得る。例えば、単純な分類器（例えば線形分類器）の挙動は、よりロバストまたは複雑な分類器（例えば非線形分類器）がいつ更新されるか決定するために使用され得る。単純な分類器は、よりロバストな分類器への必要な更新のために、早期検出システムとして（「炭鉱のカナリア」のように）行動し得る。単純な分類器が、他の分類器と同じくらいロバストまたは正確なオブジェクト検出を提供し得ないとき、単純な分類器は、環境の変化をより受けやすくなり得るので、非線形分類器と比較して、環境の変化の検出をより容易にすることが可能であり得る。特定の実施形態において、変化する環境における正確度の悪化を比較的受けやすい分類器はがモニタリングされ、この分類器の正確度が特定の量だけ低下するとき、分類器の再訓練がトリガされる。
本開示は、線形分類器を単純な分類器として、非線形分類器をよりロバストな分類器として使用する実施形態に焦点を当てるが、他の実施形態は、任意の好適な分類器を単純でロバストな分類器として利用し得る。例えば、特定の実施形態において、ロバストな分類器は、複雑な非線形分類器であり得、単純な分類器は、あまり高性能でない非線形分類器であり得る。単純な分類器（例えば線形分類器）およびロバストな分類器（例えば非線形分類器）は、任意の好適なコンピューティングシステムによって実装され得る。
説明を単純化するために、下の例における線形および非線形分類器のクラス境界は、２次元（ｘおよびｙ次元）に沿ってサンプルを分類するように描写されているが、様々な実施形態において、線形分類器または非線形分類器は、任意の好適な数の次元に沿ってサンプルを分類し得る（例えば、分類器への入力ベクトルは、任意の数の特徴値を有し得る）。例えば、線形分類器についてのクラス境界の線の代わりに、ｎ次元の入力空間を分割するために超平面が使用され得、超平面の片側のすべてのサンプルは、１つのラベルで分類され、超平面の他方の側のサンプルは、別のラベルで分類される。
線形分類器は、入力サンプルの複数の特性（特徴値とも称される）の線形組み合わせの値に基づいて分類判断を行い得る。本開示は、任意の好適な線形分類器を単純な分類器として使用することを想定する。例えば、正則化最小二乗法、ロジスティック回帰、サポートベクタマシン、ナイーブベイズ、線形判別分類器、パーセプトロン、または他の好適な線形分類技術に基づく分類器が使用され得る。
非線形分類器は概して、線形超平面でうまく近似できないクラス境界を決定するので、クラス境界は非線形である。本開示は、ロバストな分類器として任意の好適な非線形分類器を使用することを想定する。例えば、二次判別分類器、多層パーセプトロン、決定木、ランダムフォレスト、Ｋ最近傍、アンサンブル、または他の好適な非線形分類技術に基づく分類器が使用され得る。
図５５は、特定の実施形態による非線形分類器のオペレーションを示す。非線形分類器は、１または複数の特徴値を有する任意の好適な入力サンプル（例えばイベント）を分類するために使用され得る。図５５は、第１クラスの複数のサンプル５５０４、および、第２クラスの複数のサンプル５５０６を有する第１データセット５５００を描写する。非線形分類器は、サンプルの特徴値、および、非線形分類器によって定義されるクラス境界に基づいて、サンプルが第１クラスであるか、または第２クラスであるかを区別するよう構成される。
データセット５５００は、非線形分類器を訓練するために使用されるサンプルを表し得、データセット５５５０は、同じサンプル、ならびに、第１タイプの追加サンプル５５０８、および、第２タイプの追加サンプル５５１０を表し得る。新しいサンプル５５０８および５５１０を含む訓練セットに基づいて非線形分類器が再訓練された後に、クラス境界５５１２は、非線形分類器についてのクラス境界を表す。新しいクラス境界５５１２はなお、非線形分類器が新しいサンプルを正確にラベリングすることを可能にし得、クラス境界５５０２および５５１２は概して同様の特性を有するので、シフトデータパターンは、容易に明らかでないことがあり得る。
図５６は、特定の実施形態による線形分類器のオペレーションを示す。図５６は、図５５と同じデータセット５５００および５５５０を描写する。クラス境界５６０２は、データセット５５００に対する訓練後の線形分類器のクラス境界を表し、クラス境界５６０４は、新しいサンプル５５０８および５５１０を含む訓練セットに基づいて線形分類器が再訓練された後の線形分類器のクラス境界を表す。新しいサンプルは線形分類器の再訓練無しで不正確に分類されるので、（新しいサンプル５５０８および５５１０によって例示される）新しいデータパターンは明らかであり得る。
したがって、線形分類器は、データが変化しているという早期の警告を提供し得、変化しているデータセットをモニタリングし、新しいモデルを事前に訓練する能力をもたらす。特定の実施形態において、システムは、線形分類器の正確度をモニタリングし得、正確度が閾値量より下に低下するとき、線形および非線形分類器の両方の再訓練がトリガされ得る。再訓練は、より最近のデータを含む訓練セットを使用して実行され得る。
分類器の組み合わせは、ロバストな分類を保持しながら早期の変化検出を提供するように設計されているので、環境におけるシフトを検出することに加えて、様々な実施形態が攻撃を検出することに使用され得る。攻撃データは概して、（例えば、１または複数の自律車両のセンサから）クリーンな方式で、または、合成生成技法（本明細書において説明されるもの、または、他の好適なデータ生成技法など）を使用して収集されることが想定される訓練データと異なる。従って、線形分類器の正確度の損失は、攻撃の早期の指示を提供する（例えば、線形分類器の正確度は、非線形分類器の正確度より高速いペースで低下する）。追加的に、分類器は異なって機能するので、攻撃者が両方のシステムを同時にバイパスすることはより難しいことがあり得る。
特定の実施形態において、線形分類器における経時的な変化は、どのデータが新しい、または、更なる訓練のために維持のために関心があるかをシステムが決定することを可能にし得る。例えば、線形分類器の正確度の変化が検出されるとき、関心のあるデータを決定するために、最近獲得されたデータ（および／または、不正確に分類されたデータ）は解析され得、この関心のあるデータは、線形および非線形分類器を訓練するのに使用される、関連するデータセットを合成的に生成するために使用され得る（本明細書において説明される技法のいずれか、または、他の好適な合成データ生成技法を使用して）。
訓練データと似ていないデータに起因して分類器が変化するので、新しいサンプルのインスタンスが解析され、更なる訓練のために維持され得る。例えば、図５６において、サンプル５５０８および５５１０は、線形分類器のクラス境界をシフトさせた。これら新しいサンプルの部分集合がサンプリングされ、将来の訓練セットのために維持され得る。特定の実施形態において、訓練セットにデータバイアスをもたらすことを回避するべく、これらの新しいサンプルはランダムにサンプリングされ得る。他の実施形態において、（例えば、そのクラスのサンプルの数が、他のクラスのサンプルの数より著しく少ない場合に）不均衡な量の特定のクラスが、将来の訓練セットのために維持され得る。
例は２クラス分類器を説明するが、様々な実施形態はまた、（例えば、単純およびロバストな分類器を利用して）本明細書において説明された概念に従って、マルチクラス分類を提供し得る。例えば、一連の超平面が使用され得、各クラスｉ（１～ｎ）が、全体としての他のクラスと比較される（例えば１対全部）。別の例として、一連の超平面が使用され得、各クラスｉ（１～ｎ）が、他のクラスｊ（１～ｎ）と個別に比較される（例えば１体１）。
図５７は、線形分類器の正確度に基づいてアクションをトリガするためのフローを描写する。５７０２において、線形分類器は、車両からの入力サンプルを分類する。５７０４において、非線形分類器は、車両からの同じ入力サンプルを分類する。特定の実施形態において、そのような分類は並行に実行され得る。５７０６において、線形分類器の正確度における変化が検出される。５７０８において、少なくとも１つのアクションが、線形分類器の正確度の変化に応答してトリガされる。
道路安全性モデルは、すべての道路エージェントがモデルを遵守する場合に安全性を保証する、または、事故の場合に過失を正確に割り当てる数学モデルとして実装され得る。例えば、道路安全性モデルは、数学的に計算された２つの道路エージェント間の長手方向および横方向の最小安全距離を利用し得、規定された制約のセットに対するエージェントの挙動を結合することによってモデリングされた最悪な場合のシナリオにおいて衝突を回避する。
２つのエージェント間の距離が、道路安全性モデルによって規定される安全距離より下に低下する状況（例えば危険状況）が生じるときは常に、両方のエージェントが、以前に規定された境界内での加速を施行する（例えば、「適切な応答」を施行する）ことによって応答する場合に、道路安全性モデルは衝突の防止を数学的に保証する。他方で、エージェントの１つが非遵守である場合、事故が発生した場合、そのエージェントの過失となり得る。
道路安全性モデルは、長手方向および横方向の次元に別個に焦点を当てることによって、２つのエージェントを伴う状況の解析を単純化する。例えば、エージェントの速度および加速度、これらの速度および加速度を使用して計算される最小安全距離、ならびに、エージェント間の実際の距離はすべて、座標系上の長手方向および横方向成分の観点で解析される。座標系では、レーンの中心がｙ軸にあるとみなされる（従って、長手方向成分はｙの観点から表され、横方向成分はｘの観点から表される）。
図５８は、特定の実施形態による様々な道路安全性モデル運転フェーズを描写する。図５８において、エージェント５８０２および５８０４は、３つのフェーズ５８０６、５８０８および５８１０において描写される。道路安全性モデルを遵守するべく、エージェントは、長手方向および横方向両方の最小安全距離に違反したとき、適切な応答を施行する必要があり、適切な応答自体は、どの違反がもっとも最近に発生したかに依存する。第１フェーズ５８０６において、エージェント５８０２および５８０４は、非安全横方向距離だけ隔てられるが、安全長手方向距離である。第２フェーズｗｗ０８は、長手方向距離がなお安全である最後の時点（「過失時間」と称される）を描写する。過失時間の後の次の時点において、長手方向安全距離も違反される。第３フェーズ５８１０において、エージェントは、安全状況に戻り、長手方向における適切な応答を施行した後に衝突を回避した。
ＲＳＳは、エージェントのポリシーから完全に切り離されるように設計される。ＲＳＳを遵守するべく、自律運転スタックは、エージェントのポリシーによって判断されたＲＳＳ遵守をチェックするため、および、エージェントのポリシーがＲＳＳ遵守でないアクションを要求するときに、デフォルトのＲＳＳ遵守判断を施行するための追加のコンポーネントを含み得る。
ＲＳＳは、自律車両を前提に設計されたが、本開示の様々な実施形態は、人間の運転者の判断による事故を回避するための機構としてＲＳＳ（または他の同様の事故回避数学モデル）を使用する制御システムを有する車両を含む。そのような実施形態は潜在的に、人間の運転者についての、より高い全体的な安全性をもたらし得、また、ＲＳＳの過失割り当て機構と比較可能な方式で現行法が過失を割り当てる事故について運転者が過失に問われないことの証拠または保証を提供し得る（例えば、過失はモデルの条件を違反したエージェントに割り当てられる）。ＲＳＳモデルに従って、本明細書に説明される様々な実施形態は、別の潜在的、長期的な利点を提示する。例えば、より多くのエージェント（人間またはそれ以外）にＲＳＳエンフォーサ（または同様のモデルのエンフォーサ）が装備されるにつれて、道路事故の全体的な量は減少し、すべてのエージェントにとっての理想的状況に向けて発展する。
本開示の特定の実施形態において、車両は、ＲＳＳ準拠加速の範囲内に含まれる加速を生成することが保証される、ＲＳＳ非遵守加速をもたらす運転者の入力を、合成的に生成された入力と置換する制御システムを含む。ＲＳＳを遵守する運転者の入力が、アクチュエーションシステムを通じて変更なく渡され、それにより、潜在的に危険な状況の間のみにテイクオーバするシステムを実装する。
図５９は、特定の実施形態による、ＲＳＳ準拠加速を確実にするために運転者の入力を修正するためのシステム５９００のダイアグラムを描写する。様々な実施形態において、システム５９００は、車両、例えば１０５の一部であり得、示されるモジュールのいずれかは、車両、例えば１０５のコンピューティングシステムの任意の好適なロジックによって実装され得る。他の実施形態において、モジュールのいずれかは、車両（例えば１４０または１５０）の外部で実装され得、結果は車両へ通信され得る。システム５９００は、制御部５９０２（様々な実施形態において、制御部５９０２は、運転制御２２０の任意の好適な特性を有し得る）、センサ群５９０４（様々な実施形態において、センサ群５９０はセンサ２２５の任意の好適な特性を有し得る）、ＲＳＳモデル５９０６、ＲＳＳエンフォーサ５９０８、制御－加速変換器５９１０、および加速－制御変換部５９１２を備える。特定の実施形態において、システム５９００のコンポーネントはすべて、車両内に統合され得る。他の実施形態において、１または複数のコンポーネントは、車両から離れており、車両に通信可能に結合され得る。
人間の運転者が入力を車両のアクチュエーションシステムへ提供することを可能にするために制御部５９０２が提供され得る。例えば、制御部は、ステアリングホイールまたは他のステアリング機構、加速ペダルまたは他のスロットル、およびブレーキペダルまたは他おブレーキ機構を含み得る。実施形態において、制御部は、ギアシフタ、緊急事態用ブレーキ、ジョイスティック、タッチスクリーン、ジェスチャ認識システム、または、車両の速度または方向に影響し得る他の好適な入力制御など他のコンポーネントを含み得る。
センサ群５９０４は、車両に関連付けられた世界状態についての情報を収集するために車両によって利用される１または複数のセンサの任意の好適な組み合わせを含み得る。例えば、センサ群５９０４は、１または複数のＬＩＤＡＲ、レーダ、カメラ、全地球測位システム（ＧＰＳ）、慣性測定ユニット（ＩＭＵ）、オーディオセンサ、赤外線センサ、または本明細書において説明される他のセンサを含み得る。世界状態情報は、本明細書において説明されるコンテキスト、センサによって検出されるオブジェクト、オブジェクトに関連付けられた場所情報、または他の好適な情報のいずれかなどの任意の好適な情報を含み得る。
世界状態は、ＲＳＳモデル５９０６、制御－加速変換器５９１０、または加速－制御変換部５９１２などのシステム５９００の任意の好適なコンポーネントに提供され得る。例えば、世界状態情報はＲＳＳモデル５９０６に提供され得る。ＲＳＳモデル５９０６は、世界状態情報を利用して、車両についてＲＳＳ準拠加速の範囲を決定し得る。それを行うとき、ＲＳＳモデル５９０６は、車両と他の車両または他のオブジェクトとの間の長手方向および横方向距離を追跡し得る。加えて、ＲＳＳモデル５９０６はまた、車両の長手方向および横方向速度を追跡し得る。ＲＳＳモデル５９０６は定期的に、ＲＳＳ準拠加速の範囲を更新し、加速範囲をＲＳＳエンフォーサ５９０８に提供し得る。ＲＳＳ準拠加速は、長手方向におけるＲＳＳ準拠加速の範囲、および、長手方向におけるＲＳＳ準拠加速の範囲を指定し得る。加速は、メートル／秒２など任意の好適な単位で表され得、正もしくは負の値を有し得る（またはゼロの値を有し得る）。
ＲＳＳエンフォーサ５９０８は運転者の入力からの制御信号を受信し、制御－加速変換器５９１０を呼び出す。これは、運転者の入力がアクチュエーションシステム５９１４に渡された場合に、運転者の入力を、予測される車両加速度（いくつかの実施形態において、横方向および長手方向両方の加速度成分を含む）を示す加速度値に変換する。ＲＳＳエンフォーサ５９０８は加速度値が、ＲＳＳモデル５９０６から受信されたＲＳＳ準拠加速のもっとも最近の範囲内にあるかどうかを決定し得る。加速度値がＲＳＳ準拠加速の範囲内にある場合、ＲＳＳエンフォーサは、制御部５９０２からの運転者の入力が、アクチュエーションシステム５９１４に渡されることを可能にする。加速度値がＲＳＳ準拠加速の範囲内に無い場合、ＲＳＳエンフォーサは運転者の入力をブロックし、受信された範囲内のＲＳＳ準拠加速度値を選択する。ＲＳＳエンフォーサ５９０８は次に、選択された加速度値で、加速度‐制御変換部５９１２を呼び出し得、応答として１または複数の制御信号を受信し得る。特定の実施形態において、加速度‐制御変換部５９１２によって提供される制御信号は、運転者の入力に応答してアクチュエーションシステム５９１４に提供される制御信号と同じフォーマットを有し得る。例えば、制御信号は、ブレーキの量、加速度の量、および／または、ステアリングの量および方向、または、他の好適な制御信号を指定し得る。ＲＳＳエンフォーサ５９０８は、これら新しい制御信号を、制御信号を使用して車両に指定通りに加速させ得るアクチュエーションシステム５９１４に提供し得る。
様々な実施形態において、ＲＳＳエンフォーサ５９０８は、ＲＳＳ準拠加速の範囲内の任意の好適な加速度値を選択し得る。特定の実施形態において、ＲＳＳエンフォーサ５９０８は、範囲からランダムに加速度値を選択し得る。別の実施形態において、ＲＳＳエンフォーサ５９０８は、もっとも慎重な値、または、もっとも慎重でない値を範囲から選択し得る。別の実施形態において、ＲＳＳエンフォーサ５９０８は、範囲の中央から値を選択し得る。更に別の実施形態において、ＲＳＳエンフォーサ５９０８は、（例えば運転者のプリファレンスに基づく、または、安全性の考慮に基づく）ポリシー情報を使用して、加速度値を決定し得る。例えば、ＲＳＳエンフォーサ５９０８は、横方向の加速より長手方向の加速を選好し得る（またはその逆も成立する）。別の例として、ＲＳＳエンフォーサ５９０８は、運転者にとってより快適な加速度を選好し得る（例えば、より遅いブレーキ、または、より小さいステアリング調整が、ハードブレーキまたは旋回より優先され得る）。様々な実施形態において、判断は、移動パラメータおよび車両特性の同じセットから計算された、関連するメトリクスを有する安全性および快適性の両方に基づき得る。
上記のように、制御－加速変換器５９１０は、運転者の入力（例えば、ステアリングホイールの回転およびスロットル／ブレーキペダル圧力）を加速に変換する。様々な実施形態において、変換部５９１０は、世界状態（例えば、車両の速度、天気、道路条件、道路レイアウトなど）およびホスト車両の物理特性（例えば、車両の重み、車両の形状、タイヤ特性、ブレーキ特性など）など、任意の好適な情報を変換中に考慮し得る。一実施形態において、変換は、車両のダイナミクス（例えば、車両の製造者によって供給される）の高性能な数学モデルに基づき得る。いくつかの実施形態において、変換部５９１０は、変換を実行するために機械学習モデルを実装し得る（例えば、任意の好適な回帰モデルを実装する）。例として、制御－加速変換についての機械学習モデルが、図６０および図６１に関連して、より詳細に説明される。
加速度－制御変換部５９１２は、テイクオーバ中にＲＳＳエンフォーサ５９０８によって施行されるＲＳＳ準拠加速をアクチュエーションシステム５９１４に好適な入力へ変換するためのロジックを含み得る。変換部５９１２は、任意の好適な情報を利用してこの変換を実行し得る。例えば、変換部５９１２は、制御－加速変換器５９１０によって使用される任意の１または複数の情報を利用し得る。同様に、変換部５９１２は、加速度の入力を考慮して制御信号を出力するよう適合される機械学習モデルなど、同様の方法を変換部５９１０として使用し得る。特定の実施形態において、加速度‐制御変換部は、加速度値に基づいて望ましい制御信号を決定するために、比例・積分・微分（ＰＩＤ）コントローラを含み得る。ＰＩＤコントローラは、比例・積分・微分係数を有する古典的なコントローラアルゴリズムを使用して実装され得る、または、機械学習ベースであり得、これらの係数は、安全性および快適性を考慮する最適化なメトリクスを利用する（例えば、機械学習エンジン２３２によって実装される）ＭＬアルゴリズムを使用して予測される。
５９１４は、１または複数の制御信号を受信し、車両に１または複数の制御信号に応答させる任意の好適なアクチュエーションシステムを表し得る。例えば、アクチュエーションシステムは、車両のエンジンまたはモータに供給されるガソリンまたは電力（または他の動力源）の量、車両のホイールに適用されるブレーキ圧力の量、車両の１または複数のホイールに適用される角度の量を調整し得る、または、車両の加速度に影響し得る任意の他の好適な調整を加え得る。
図６０は、特定の実施形態による、制御－加速変換器５９１０についての訓練フェーズを描写する。モデルについての訓練入力６００２は、制御信号に応答して施行される加速度に影響し得る任意の好適な情報を含み得る。例えば、訓練入力は、車両の初期速度、道路条件、タイヤ条件、天候条件、ホイール回転、加速ペダル、圧力レベル、ブレーキペダル圧力レベル、道路レイアウト、車両の物理特性、または、他の好適な情報の任意の組み合わせ、および、そのような情報の各セットの下の結果的な加速度を含み得る。そのようなデータは、制御信号および他の情報（例えば世界状態情報、車両の物理特性）を加速度値に変換するために車両によって使用され得る回帰モデル６００６を訓練するために、機械学習訓練フェーズ６００４中に使用され得る。様々な実施形態において、回帰モデル６００６は、多くの異なる天気、道路、および車両状態条件下での車両のクラスのうち１または複数の車両を使用して収集されるグラウンドトルースデータに対して訓練される。様々な実施形態において、訓練は、（車載コンピューティングシステム、クラウドベースシステム、または、他のデータ処理環境において）任意の好適なコンピューティングシステムによって実行され得る。
図６１は、特定の実施形態による、制御－加速変換器５９１０の推論フェーズを描写する。推論フェーズ中、車両に関連付けられた様々な入力６１０２が、入力に基づいて予測される加速を出力する回帰モデル６００６に提供される。入力は、モデル６００６を訓練するのに使用される入力タイプと同じであり得るが、そのような入力のリアルタイムな値を含み得る。回帰モデル６００６は加速度値６１０４を出力する。
同様の回帰モデルが、加速度‐制御変換部５９１２に使用され得る。同様の入力データが、モデルを訓練するのに使用され得るが、推論中、モデルは（世界状態および／または車両状態のリアルタイム値と共に）望ましい加速度を入力として受信し得、望ましい加速度を生じさせると予測される制御信号を出力し得る。
図６２は、特定の実施形態による、許容可能な制御信号を車両アクチュエーションシステムへ提供するためのフローを描写する。６２０２において、第１セットの１または複数の制御信号が、車両への人間からの入力に応答して生成される。６２０４において、第１セットの制御信号が車両の許容可能な加速を生じさせるかどうかが決定される。制御信号が許容可能な加速を生じさせる場合、６２０６において、制御信号は変更なく車両アクチュエーションシステムに提供される。制御信号が許容されない加速を生じさせる場合、許容可能な加速が６２０８で識別される。６２１０において、許容可能な加速は１または複数の制御信号の第２セットに変換される。６２１２において、１または複数の制御信号のうち第２セットが、１または複数の制御信号のうち第１セットの代わりに車両アクチュエーションシステムに提供される。
自律車両から人間への運転責任の安全なハンドオーバは、非常に重大なタスクである（その逆も成立する）。上記のように、人間から自律車両へのハンドオーバの１つのアプローチは、ＲＳＳモデルまたは同様のものに基づ得、自律車両は、許可されない人間からの入力をインターセプトし、安全な入力で置換し得る。
本開示の様々な実施形態において、ハンドオフの容易性は、測定が行われるコンテキストに対する、車両のセンサの全体的な信号品質の測定に基づき得る。コンテキストは、交通状況（例えば、高速道路または混んでいる車道）または天候条件（例えば、青空、雨、存在する水たまり、存在する薄氷など）など、本明細書において説明される任意の好適なコンテキストであり得る。信号品質メトリクスは、センサデータおよびコンテキスト情報を入力として受信して信号品質メトリクスを出力する機械学習（ＭＬ）アルゴリズムを使用して決定され得る。信号品質メトリクスは、車両衝突情報を使用して訓練される別のＭＬアルゴリズムを使用して、ハンドオフの容易性を決定するために使用される。信号品質メトリクスが、コンテキストの観点から、低い信号品質を示す場合、人間の運転者から自律車両へのハンドオフは非安全であり得るので、許可されないことがあり得る。
図６３は、特定の実施形態による、コンテキストモデル６３０８をビルドするための訓練フェーズを描写する。様々な実施形態において、コンテキストモデル６３０８は、センサデータ６３０４およびコンテキスト情報グラウンドトゥルース６３０６を使用してビルドされる分類モデルであり得る。ＭＬアルゴリズム６３０２は、センサデータ６３０４およびコンテキスト情報グラウンドトゥルース６３０６に基づいてコンテキストモデル６３０８を訓練するための任意の好適なアルゴリズムを表し得る。センサデータ６３０４は、１または複数のＬＩＤＡＲ、レーダ、カメラ、全地球測位システム（ＧＰＳ）、慣性測定ユニット（ＩＭＵ）、オーディオセンサ、赤外線センサ、または他のセンサなど、車両の１または複数のセンサからの任意の好適なセンサデータを含み得る。ＭＬアルゴリズム６３０２は、センサデータ６３０４およびコンテキスト情報グラウンドトゥルース６３０６の様々なインスタンスを使用してコンテキストモデル６３０８を訓練し得、各インスタンスは、センサデータのセット、および、関連付けられたコンテキストを含み得る。様々な実施形態において、訓練データは、（例えば、本明細書において説明される方法を使用して生成される合成イメージからの）実際のセンサデータおよび関連付けられたコンテキスト、シミュレーションデータ、および関連付けられたコンテキスト、および／または、合成データ、および関連付けられたコンテキストを含み得る。特定の実施形態において、コンテキストは、「霧」および「濡れた道路」などのコンテキストを説明する１または複数のテキストキーワードを含み得るが、コンテキストの任意の好適な表現が本開示によって想定される。
図６４は、特定の実施形態による、信号品質メトリクスモデル６４０８をビルドするための訓練フェーズを描写する。様々な実施形態において、信号品質メトリクスモデル６４０８は、センサデータおよびコンテキスト情報グラウンドトゥルースを使用してビルドされる回帰モデルであり得る。様々な実施形態において、センサデータ６４０４は、センサデータ６３０４と同じセンサデータであり得る、または、少なくとも部分的に異なり得る。いくつかの実施形態において、コンテキスト情報グラウンドトゥルース６４０６は、コンテキスト情報グラウンドトゥルース６３０６と同じコンテキスト情報であり得る、または、少なくとも部分的に異なり得る。ＭＬアルゴリズム６４０２は、センサデータ６４０４およびコンテキスト情報グラウンドトゥルース６４０６の様々なインスタンスを使用して、信号品質メトリクスモデル６４０８を訓練し得、各インスタンスは、センサデータのセット、および、関連付けられたコンテキストを含み得る。様々な実施形態において、訓練データは、実際のセンサデータ、および関連付けられたコンテキスト、シミュレーションデータおよび関連付けられたコンテキスト、および／または、合成データおよび関連付けられたコンテキストを含み得る。特定のコンテキストに関連付けられたセンサデータの複数の異なるインスタンスを分析することにより、ＭＬアルゴリズム６４０２は、特定のコンテキストについてのセンサデータ６４０４の様々なインスタンスの品質を区別するために信号品質メトリクスモデル６４０８を訓練することが可能であり得る。同様の訓練は、任意の好適な数の異なるコンテキストについて行われ得る。
信号品質メトリクスモデルが訓練された後に、センサデータのインスタンス（センサデータのインスタンスは、ある期間にわたって収集されたセンサデータを含む）および関連付けられたコンテキストを受信し、センサデータ品質の１または複数の指示を出力することが可能であり得る。例えば、信号品質メトリクスは、センサデータのインスタンスの品質の複合スコアを含み得る。別の例において、信号品質メトリクスは、複数のタイプのセンサデータの各々の品質についてのスコアを含み得る。例えば、信号品質メトリクスは、カメラデータについてのスコアおよびＬＩＤＡＲデータについてのスコアを含み得る。いくつかの実施形態において、スコアは、信号対ノイズ比の測定結果、分解能の測定結果、または、他の好適なタイプの品質メトリックなど、複数のタイプの品質メトリックのいずれかであり得る。いくつかの実施形態において、信号品質メトリクスは、複数のタイプの品質メトリックについてのスコアを含み得る、または、複数のタイプの品質メトリックに基づく単一スコアを含み得る。いくつかの実施形態において、信号品質メトリクスのスコアは、正規化された値であり得る（例えば０から１）。
図６５は、特定の実施形態による、ハンドオフ準備モデル６５０８をビルドするための訓練フェーズを描写する。様々な実施形態において、ハンドオフ準備モデル６５０８は、信号品質メトリクス情報６５０４および衝突情報グラウンドトゥルース６５０６を使用してビルドされる分類モデルであり得る。
ＭＬアルゴリズム６５０２は、信号品質メトリクス６５０４および衝突情報グラウンドトゥルース６５０６に基づいてハンドオフ準備モデル６５０８を訓練するための任意の好適なアルゴリズムを表し得る。ＭＬアルゴリズム６５０２は、信号品質メトリクス６５０４および衝突情報グラウンドトゥルース６５０６の様々なインスタンスを使用してコンテキストモデル６３０８を訓練し得る。訓練に使用される事例は、信号品質メトリクスおよび衝突情報のセットを含み得る。衝突情報のセットは、信号品質メトリクスの特定のインスタンスに関連付けられた任意の好適な安全性結果を含み得る。例えば、衝突情報のインスタンスは、自律車両が信号品質メトリクス下で操作されたときに事故が発生したかどうかを示し得る。別の例として、衝突情報のインスタンスは、信号品質メトリクス下で自律車両が操作されたときに事故が発生しそうだったかどうかを示し得る。別の例において、衝突情報のインスタンスは、信号品質メトリクス下で自律車両が操作されたとき、事故が発生したか、または、発生しそうだったかどうかを示し得る（例えば、起こりそうだった事故は、実際の事故と同じおうに扱われ得る）。様々な実施形態において、訓練データは、実際のデータ信号品質メトリクスおよび衝突情報、シミュレーションデータ信号品質メトリクスおよび衝突情報、合成データ信号品質メトリクスおよび衝突情報、またはそれらの組み合わせを含み得る。
図６６は、特定の実施形態による、センサデータ６６０２に基づいてハンドオフ判断６６０８を決定するための推論フェーズを描写する。運転時間に、例えば車載コンピューティングシステムによって実装され得る推論フェーズにおいて、センサデータ６６０２が収集されて、訓練されたコンテキストモデル６３０８に提供される。コンテキストモデルは、センサデータ６３０８を分析し、センサデータ６６０２からコンテキスト６６０４を決定する。決定されたコンテキスト６６０４は、センサデータ６６０２と共に信号品質メトリクスモデル６４０８に提供される。信号品質メトリクスモデル６４０８は、センサデータ６６０２およびコンテキスト６６０４を分析し、コンテキスト６６０４の観点から、センサデータ６６０２の品質に基づいて信号品質メトリクス６６０６を決定する。信号品質メトリクス６６０６は、それに基づくハンドオフ判断６６０８を決定するハンドオフ準備モデル６５０８に提供される。特定の実施形態において、ハンドオフ判断６６０８は、ハンドオフが安全か、またはそうでないかの二値の指示である。他の実施形態において、これは、３以上の可能な結果を有するマルチクラスの判断であり得る。例えば、ハンドオフ判断は、ハンドオフの安全性の異なる範囲を各々が表す任意の数の結果を含み得る。様々な実施形態において、車両は、ハンドオフ判断６６０８結果を利用して、ハンドオフするか、またはしないかを決定し得る、または、部分的ハンドオフ、例えば、いくつかの制御をハンドオフするが他はしない（例えばステアリングのみハンドオフするが、ブレーキはしない、その逆も成立する）ことを実行し得る。
様々な実施形態において、推論フェーズは、定期的に、または、トリガに応答して（または両方）実行され得る。例えば、自律車両が運転制御を処理している間、推論フェーズは定期的に実行され、自律車両がなお運転制御を確実に処理可能かどうか決定し得る。別の例として、推論フェーズは、制御を車両に移すための要求が人間の運転者から受信されたときにトリガされ得る。更に別の例として、推論フェーズは、コンテキストの変化、または、センサデータの品質の著しい変化によってトリガされ得る。
特定の実施形態において、車両が走行する道路についての高分解能マップの利用可能性など、静的データの既知のレベルに基づくハンドオフの先制的な計画。データのタイプは、車両が運転する必要がある特定エリアについて利用不可能であり得る。例えば、特定エリアのＨＤマップデータがまだ収集されていないからである。そのような場合において、システムは、ハンドオフについて先制的に（例えば、行程の開始前に）計画し、本明細書において説明されるハンドオフ技法のいずれかを使用して安全なハンドオフについて運転者を事前に準備させ得る。特定の例において、ＨＤマップデータ無しで、ある地域に車両が入ったとき（または入る直前に）ハンドオフ判断を決定するための推論フェーズがトリガされる。いくつかの実施形態において、ＨＤマップデータの利用可能性は、信号品質メトリクスにポジティブ（ＨＤマップデータが利用可能である場合）またはネガティブ（ＨＤマップデータが利用可能でない場合）な影響を与えるために信号品質メトリクスモデル６４０８への入力として使用され得る。いくつかの実施形態において、ＨＤマップは基本的に、追加センサ入力として扱われる。
様々な実施形態において、図６３～図６６を参照して説明されるＭＬアルゴリズムまたはモデルは、車載コンピューティングシステム、クラウドおよび／またはフォグベースコンピューティングリソースを使用して実装されるサポートシステムなどの任意の好適なコンピューティングシステムによって、または、別のデータ処理環境において訓練または実行され得る。
図６７は、特定の実施形態による、車両の制御をハンドオフするかどうか決定するためのフローを描写する。６７０２において、車両のコンピューティングシステムは、センサデータおよびセンサデータのコンテキストに基づいて信号品質メトリクスを決定する。６７０４において、車両の制御のハンドオフに関連付けられた安全性の可能性は、信号品質メトリクスに基づいて決定される。６７０６において、安全性の可能性に基づいて、ハンドオフが防止される、または開始される。
自律車両は、疲れ、覚醒度の変動レベル、感情の振れ、または他の要因など、人間に負の影響を与える要因の影響を受けないことに起因して、運転イベントに対してより良く、より一貫して応答するという観点から、人間の運転者より良い利点を提供する可能性があると予想される。しかしながら、自律車両は、機器の故障が起き得る、または、自律車両が適切に動作する準備がされちない状況を体験し得る（例えば、自律車両は、車両アルゴリズムが訓練されていない新しい特徴を有する地域に入り得る）ので、人間の運転者への車両のハンドオフ、または、車両の停車が必要となる。
本開示の様々な実施形態において、車両を人間の運転者にハンドオフする前に、運転者の状態（例えば、疲れのレベル、覚醒度のレベル、感情条件、または他の状態）が解析され、ハンドオフプロセスの安全性を改善する。最近のテスト車両の最近レポートされた多くの事故によって示唆されるように、準備できていない人への突然のハンドオフ制御は、まったくハンドオフしないことより危険となり得る。
典型的には、自律車両は、外に向いているセンサを有する。なぜなら、知覚システムは、環境のマッピングに焦点を当てられ、位置推定システムは、これらのセンサおよびマップデータからのデータに基づいて自車の場所を発見することに焦点を当てられるからである。本開示の様々な実施形態は、１または複数の車載カメラまたは他のセンサを提供して運転者の状態を追跡する。
図６８は、特定の実施形態による、運転者状態モデル６８０８の訓練フェーズを描写する。訓練フェーズにおいて、センサデータ６８０４および運転者状態グラウンドトゥルースデータ６８０６が、データに基づいて運転者状態モデル６８０８を訓練するＭＬアルゴリズム６８０２に提供される。様々な実施形態において、運転者状態モデル６８０８は、運転者の状態を記述するクラスを出力する分類モデルであり得る。他の実施形態において、運転者状態モデル６８０８は、運転者の状態についてのスコアを出力する回帰モデルであり得る（より高いスコアは、より望ましい状態を示す）。
様々な実施形態において、センサデータ６８０４は、任意の好適なセンサデータおよび／またはセンサデータから導出される情報を表し得る。例えば、センサデータ６８０４は、車両の内部のイメージをキャプチャする１または複数のカメラから収集されるイメージデータを含み得る、またはそれに基づき得る。いくつかの実施形態において、カメラに結合された１または複数のカメラまたはコンピューティングシステムは、顔、眉、または眼の動きを検出し、特徴を抽出し、検出された特徴によって示される疲れおよび覚醒度のレベルを追跡するためにＡＩアルゴリズムを実装し得る。
様々な実施形態において、センサデータ６８０４は、赤外線カメラから収集された１または複数の温度マップを含み得る、またはそれに基づき得る。いくつかの実施形態において、赤外線カメラに結合された赤外線カメラまたはコンピューティングシステムは、これらの温度マップに基づいて運転者の感情状態または他の物理的状態を追跡するためにＡＩアルゴリズムを実装し得る。ただの一例として、（例えば、温度マップにおいて赤色の領域の数の増加で示される）人間の運転者の体温の上昇は、興奮状態を示し得る。様々な実施形態において、センサデータ６８０４は、ステアリングホイール、アクセラレータ、または運転者シート上の触覚またはハプティックセンサから収集された圧力データを含み得る、またはそれに基づき得る。いくつかの実施形態において、そのような触覚またはハプティックセンサに結合れたコンピューティングシステムは、そのような圧力データを分析して、運転者の覚醒度レベルまたは他の物理的状態を追跡するためにＡＩアルゴリズムを実装し得る。
様々な実施形態において、センサデータ６８０４は、スマートウォッチまたは健康トラッカバンドなどのウェアラブルからの心電図（ＥＫＧ）または慣性測定ユニット（ＩＭＵ）データを含み得る、またはそれに基づき得る。そのようなウェアラブルまたはウェアラブル自体に結合されたコンピューティングシステムは、ＡＩアルゴリズムを利用して、ＥＫＧ機能を抽出し、運転者の健康状態または他の物理的状態を追跡し得る、または、ＩＭＵデータを分析して、特徴を抽出し、運転者の覚醒度または他の物理的状態のレベルを追跡し得る。
様々な実施形態において、センサデータ６８０４は、車室内マイクからの音声データを含み得る、またはそれに基づき得る。そのようなデータは、車両における乗員によって生成される音を隔離するために、ノイズキャンセリング技法で前処理され得る。例えば、音声が車載インフォテインメントシステムによって再生されている場合、再生されている音声からの信号が、任意の更なる処理の前に車室内マイクによってキャプチャされる音声から除かれ得る。生の音声の特徴は、ユーザの反応性レベル、または、全体的な物理的状態を測定するために直接使用され得る（例えば、不明瞭な発話は、酩酊を示し得る）が、運転者の状態を示す更なる特徴として使用できる音声イベント（例えば、笑う、泣く、欠伸、いびき、吐気、または他のイベント）を分類するためにも使用され得る。解析された音声データはまた、乗員が互いに、または、車両のインフォテインメントシステムと話している会話から検出された発話を含み得る（例えば、発話は、自動音声認識エンジンなどによってテキストに変換され得る）。一例において、ハンドオフについての運転者との通信に加えて、車両の会話システムは、間近のハンドオフについて運転者の確認を取得することを試み得る。発話はテキストに変換され、次に、高性能自然言語処理パイプライン（または同様のもの）によって解析され得、発話者の意図（例えば、ポジティブまたはネガティブな確認）を分類し、インタラクションの感情を分析し（例えば、罵り言葉などの言語的素材の場合はネガティブな感情）、または、話されている話題をモデリングする。そのような出力は次に、運転者の状態の追跡アルゴリズムに対する追加の特徴として使用され得る。
車両の状態についての特徴はまた、運転者の現在の覚醒度レベルについての洞察を提供し得る。例として、そのような特徴は、車両において現在再生されているメディア（例えば、映画、ビデオゲーム、音楽）、車室における照明のレベル、ダッシュボードの制御部との運転者のインタラクティブ性の量、窓の隙間レベル、車室内温度制御システムの状態（例えば、空調または暖房）、車両に接続されたデバイスの状態（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）を介して接続される携帯電話）、または、他の車両の状態の入力のうち１または複数を含み得る。そのような特徴は、運転者状態モデル６８０８を訓練するために、ＭＬアルゴリズム６８０２への入力としてセンサデータ６８０４内に含まれ得る。
特定の実施形態において、アクティビティラベルが、アクティビティ分類モデルによってセンサデータから導出され得る。例えば、モデルは、運転者が（例えば、イメージデータにおいて眼が閉じていること、音声データにおいていびきが聞かれること、および、体温の減少に基づいて）眠っているかどうか、（例えば、声の音量の上昇、心拍数の上昇、悪口のやりとりに基づいて）車室内の別の乗員と喧嘩しているかどうか、（例えば、マイクによって、吐く音がキャプチャされたこと、および、イメージデータに示される運転者が頭を下に曲げていることに基づいて）気分が悪いかどうか、または、任意の他の好適なアクティビティを検出し得る。
様々な実施形態において、生のセンサデータは、訓練アルゴリズム６８０２に供給され得る。加えて、または代替的に、生のセンサデータに基づく分類は、ＭＬアルゴリズム６８０２に供給され得、運転者状態モデル６８０８を訓練する。いくつかの実施形態において、上記のアクティビティラベルは、よりロバストな運転者状態追跡結果のために、（任意でより低いレベルの特徴および／または生のセンサデータと共に）訓練アルゴリズム６８０２に供給され得る。
運転者状態グラウンドトゥルース６８０６は、センサデータ６８０４のインスタンスに対応する既知の運転者の状態を含み得る。運転者状態モデル６８０８が分類アルゴリズムを実装するとき、運転者状態グラウンドトゥルース６８０６は様々なクラスの運転者状態を含み得る。運転者状態モデル６８０８が回帰アルゴリズムを実装するとき、運転者状態グラウンドトゥルース６８０６の各インスタンスは、運転者状態を示す数値スコアを含み得る。
様々な実施形態において、運転者状態グラウンドトゥルース６８０６およびセンサデータ６８０４は、運転者に固有であり得る、または、複数の異なる運転者について集約されるデータを含み得る。
図６９は、ハンドオフ判断モデル６９１０についての訓練フェーズを描写する。ＭＬ訓練アルゴリズム６９０２は、運転者履歴データ６９０４、運転者の状態６９０６、およびハンドオフ判断グラウンドトゥルース６９０８を使用してハンドオフ判断モデル６９１０を訓練する。代替的実施形態において、ＭＬアルゴリズム６９０２は単純に、運転者の状態６９０６およびハンドオフ判断グラウンドトゥルース６９０８を使用してハンドオフ判断モデル６９１０を訓練し得る。ハンドオフ判断グラウンドトゥルース６９０８は、実際の以前のハンドオフ判断およびそれぞれの結果（例えば、衝突または他の危険イベントが発生したかどうか）を含み得る。特定の実施形態において、データセットを強化するために、ハンドオフ判断グラウンドトゥルース６９０８のすべてまたは部分集合がシミュレートされ得る。
運転者履歴データ６９０４は、運転者の注意のレベルを通知し得る任意の好適なバックグラウンド情報を含み得る。例えば、履歴データ６９０４は、飲酒運転（ＤＵＩ）のインスタンス、過去の事故、運転者によって講じられる潜在的に危険なアクションのインスタンス（例えば、近づいてくる交通に向かって旋回する、別の車両の後部に追突することを回避するためにブレーキを急に踏む、ランブルストリップスの上を走行する）、運転者の健康状態、または他の好適なバックグラウンド情報を含む運転者についての履歴データを含み得る。いくつかの実施形態において、自律車両は、運転者が特殊ＩＤを挿入するための運転者ＩＤスロットを有し得、自律車両接続システムは、運転者についての関連する履歴データを引き出す。運転者のバックグラウンド情報は、任意の他の好適な方式で取得され得る。
描写される実施形態において、２以上のクラスを出力するハンドオフ判断モデル６９１０をビルドするために、訓練フェーズ中に、運転者の履歴データ６９０４は、運転者状態情報６９０６と共にＭＬアルゴリズム６９０２に供給される。一実施形態において、ハンドオフ判断モデル６９１０は、３クラス、すなわち、ハンドオフ、ハンドオフなし、または短期ハンドオフを出力する。別の実施形態において、ハンドオフ判断モデル６９１０は、２つのクラス、すなわち、ハンドオフまたはハンドオフ無しを出力する。更に別の実施形態において、クラスの１つは部分的ハンドオフであり得る。様々な例として、「ハンドオフ」のクラスは、ハンドオフが高レベルの信頼性で実行され得ることを示し得、「ハンドオフ無し」のクラスは、低いレベルの信頼性を示し得、車両による継続的制御が望ましくない状況において、運転者が準備できるまで、または、車が安全停止するまで、車の制御をリモートモニタリングシステムがテイクオーバするハンドオフの延期をもたらし得、「短期ハンドオフ」のクラスは、運転者の中間レベルの信頼性を表し得、いくつかの実施形態において、時間が限定された運転者への制御のハンドオフをもたらし得、その間、車は強制的に停止される（例えば、車は、車を制御し得る、または、ストレージ場所を車に提供し得る通信システムなどのスタンバイユニットによって安全停止され得る）。別の実施形態において、「部分的ハンドオフ」は、運転者の中間レベルの信頼性を表し得、一部の制御のみ（例えば、ブレーキ制御のみ、またはステアリング制御のみ）を運転者に渡すことをもたらし得る。一実施形態において、「条件付きハンドオフ」は、運転者の中間レベルの信頼性を表し得、運転者へハンドオフを渡すこと、ならびに、運転者アクションおよび／またはユーザの状態をモニタリングすることをもたらし得、車両が安全に操作されていることを確実にする。上は単に、可能なハンドオフクラスの例を表し、ハンドオフ判断モデル６９１０は、上のハンドオフクラスまたは他の好適なハンドオフクラスの任意の組み合わせを出力し得る。
様々な実施形態において、車両の外部センサを介して検出されたコンテキストはまた、ハンドオフの処理に成功する運転者の能力を評価するために考慮され得る。例えば、天候条件、可視性、条件、道路条件、交通状態または他の条件は、ハンドオフに望まししい覚醒度のレベルに影響し得る。例えば、条件が悪い場合、運転者にハンドオフする前に、異なるレベルの認識が必要とされ得る。これは、コンテキスト情報を機械学習アルゴリズム６９０２にフィードすることによって、または、任意の他の好適な方式で実装され得る。
図７０は、特定の実施形態による、ハンドオフ判断７００８を決定するための推論フェーズを描写する。上記のセンサデータ７００２は、運転者の状態７００４を出力する運転者状態モデル６８０８に提供される。運転者の状態７００４および履歴データ７００６は、上記のようなハンドオフ判断７００８または別の好適なハンドオフ判断を出力するハンドオフ判断モデル６９１０に提供される。他の実施形態において、ハンドオフ判断モデルは、他の要因（例えば、１または複数の外を向くセンサから決定される運転状況のコンテキスト）を考慮し得る、または、履歴データ７００６を省略し得る。
推論フェーズは、任意の好適なトリガに応答して実行され得る。例えば、推論フェーズは、車両が許容される安全性レベルで、それ自体独立に動作できないという決定に応答して実行され得る。別の例として、推論フェーズは、人間の運転者が車両を操作している間に定期的に実行され得、推論フェーズの結果は、運転者が車両を操作することに適するかどうかの決定であり得る。運転者が適していない場合、車両は、運転制御の全部または一部の制御をテイクオーバし得、警告を運転者に提供し得、または、運転者の覚醒度を増加させるアクション（例えば、大音量の音楽をかける、窓を開ける、運転者のシートまたはステアリングホイールを振動させる、または他の好適なアクション）を講じ得る。
システムが人間の運転者へのハンドオフを決定したとき、運転者は間近のハンドオフを通知される。それを行うべく、システムは、複数の可能な方式のうち１または複数で運転者に関与し得る。例えば、システムは言葉の方式で運転者に関与し得る。例えば、正確なセマンティックスおよびシンタックスのテキストが自然言語生成エンジンによってビルドされ、次に、テキスト音声変換エンジンによって合成発話音声に変換され得、ハンドオフを説明する言葉のメッセージを生成する。別の例として、システムは、運転者に物理的に関与し得る。例えば、運転者のシートまたはステアリングホイールに設置されたモータは、運転者を驚かせて事故を生じさせないように、運転者の安全性を考慮して、シートまたはステアリングホイールを激しく振動させ得る。他の実施形態において、システムは、ハンドオフを伝達するために任意の好適な方式で運転者に関与し得る。
図７１は、特定の実施形態による、ハンドオフ判断を生成するためのフローを描写する。７１０２において、センサデータが、車両の内部に配置された少なくとも１つのセンサから収集される。７１０４において、車両の内部の人の物理的状態を決定するために、センサデータは解析される。７１０６において、ハンドオフ判断が、人の物理的状態に少なくとも部分的に基づいて生成され、ハンドオフ判断は、人が車両を安全に操作可能であると予想されるかどうかを示す。
説明された本明細書において、いくつかの自律運転システムは、自律車両から車両内または（例えばリモートバレット用途における）遠隔の場所の人間のユーザへ制御を移すことをサポートする機能を装備され得る。いくつかの実装において、自律運転システムは、異なる条件および状況下で、乗員および道路安全性の両方を強化する目的で、乗員（ＥＧＯ）から自律（エージェント）車へ（その逆も成立する）制御を円滑に移すためのロジックベースのフレームワークを採用し得る。このフレームワークの少なくともいくつかの態様は、自律運転システムのハードウェアで実装されるように（例えば、ＦＰＧＡ、Ｈａｄｏｏｐクラスタなどを通じて）並列化され得る。
例えば、例示的なフレームワークは、自律車両または人間の運転者のいずれかが車両の制御を引き継ぐこと、および、２つの当事者間のこれらの制御要求を実装するための機構を示唆することが安全である異なる状況を考慮し得る。例として、安全な運転のために、自律車両が車両の制御を取り戻したいことがあり得る条件があり得る。自律車両には、運転者の認識状態を感知し（例えば、運転者が電話の呼び出に注意をそらされている、または、眠気を感じている、眠くなっているかどうかを決定する）、運転者の認識に基づいて制御をテイクオーバするかどうか決定するために使用され得るカメラまたは他の内部センサ（例えばマイク）が装備され得る。自律車両は、センサデータ（例えば、車内部からのカメラおよびマイクデータに対する分析結果）を分析し、運転者の認識レベルが低い場合、または、そうでなければ運転者が非安全と見なされる場合（例えば、飲酒運転、手を離した運転、運転席で眠っている、テキストを入力しながら運転している、無謀運転など）、または、自律車両が車における任意の異常なアクティビティ（例えば、喧嘩、または叫び声、または、人間の運転者もしくは乗員による他の非安全な運転挙動）を感知した場合に、運転者に制御を要求してテイクオーバするための機構を備え得る。このように、自律車両の内部および外部両方の人の安全性が強化され得る。
いくつかの実装において、認証ベース（例えばバイオメトリックを使用）コマンド制御が、自律走行車の未認可の使用を防止するために利用され得る。例として、いくつかの実施形態において、自律車両が盗まれる、または、誤った手に渡るとき、自律車両は、このシナリオを検出して、制御されないようそれ自体をロックすることが可能であり得る。例えば、自律車両の制御を要求するユーザを認証するために、認証機構が、バイオメトリック（例えば指紋、声および顔認識、運転者の免許証など）を使用する自律車両に含まれ得る。これらの機構は、自律車両の未認可の使用を防止し得る。いくつかの場合において、自律車両またはその態様の使用が、異なる許可レベルに基づいて提供され得る。例えば、一ユーザが、手動でどこでも車を完全に制御することが可能であり得る一方、別のユーザは、特定のジオフェンスされた場所における車を制御することのみ可能であり得る。別の例として、いくつかの実施形態において、非常に混雑した道路、悪い天気、壊れたセンサ（例えばカメラ、ＬＩＤＡＲ、レーダなど）など特定の状況に遭遇したとき、乗員は、自律車両の制御を要求し得る。要求に応答して、自律車両は、ユーザのバイオメトリックのうち１または複数に基づいてユーザを認証し得、認証した場合、自律車両の制御をユーザに渡し得る。別の例として、いくつかの実施形態において、エンティティ／ユーザ（例えば法執行機関、第１応答者、政府機関など）が自律車両をリモートで制御したいとき、自律車両は、制御をエンティティ／ユーザに移す前にユーザを確認し得る。
いくつかの実施形態において、例えば、周囲の自律車両が、自律車両が危険に運転している、または、他の車の挙動モデルの許容限界内にないと考える事例において、自律車両の制御は、複数の周囲の車（法執行機関の車両を含む）またはインフラストラクチャベースのセンサ／コントローラにクラウドソースされ得る。そのような事例において、制御を要求するエンティティ／エンティティは、制御を要求する人のバイオメトリックを通じて、または、自律車両／インフラストラクチャセンサについてのデジタルセキュリティ情報（例えばデジタル証明書）などによって認証され得る。
図７２は、少なくとも１つの実施形態による、上のフレームワークの高レベルブロック図を示す。例えば、シナリオ７２０２において、自律車両は、人間運転／手動オペレーションモードで操作している。自律車両が（例えば、自律車両の内部からのカメラまたはマイクデータを介して）非安全運転条件（例えば、図７２または他の非安全条件に列挙されるもの）を検出し、従って、制御を自律車両に戻し、自律運転モードに進む。このシナリオにおいて、自律車両は、制御を取り戻す前に、車両の制御を取り戻すための要求を運転者に現在し得る。
シナリオ７２０４において、人間の運転者は、自律オペレーションモードを進行させることに対して運転者が快適性を感じない状況（例えば、図７２に列挙されたもの、またはその他）を運転者が識別することなどに応答して、自律車両の制御を要求する。自律車両は、７２０５で認証要求を開始し得、例えば、バイオメトリックまたは他の認証方法を使用して、人間の運転者を認証し、有効な認証に応答して、それに基づいて、自律車両から人間の運転者へ制御を渡し得る（そうでない場合、自律車両は制御を保持する）。
シナリオにおいて、７２０６で、例えば、自律車両による非安全運転を観察したことに起因して、自律車両が盗まれたことがレポートされたことに起因して、混雑／道路制御の目的で自律車両を移動させる必要があることなどに起因して、法執行機関の職員または近隣の自律車両は、自律車両の制御を要求し得る。自律車両は、応答して、要求する人／エンティティを認証しするために７２０７で認証要求を開始し得、認証が有効であるとき、制御を自律車両から職員／近隣の自律車両へ渡し得る（そうでない場合、自律車両は制御を保持する）。
図７３は、少なくとも１つの実施形態による、自律車両のテイクオーバを制御する例示的プロセスのダイアグラムである。例示的プロセスにおけるオペレーションは、自律車両の態様またはコンポーネントによって実行され得る。例示的プロセス７３００は、追加の、または異なるオペレーションを含み得、オペレーションは、示される順序、または別の順序で実行され得る。いくつかの場合において、図７３に示されるオペレーションの１または複数は、複数のオペレーション、サブプロセス、または他のタイプのルーチンを含むプロセスとして実装される。いくつかの場合において、オペレーションが組み合わされ、別の順序で実行され、並行して実行され、反復され、またはそうでない場合、別の方式で繰り返され得る、または実行され得る。
７３０２において、自律車両は自律モードで操作され、これにより、自律車両は、自律車両のオペレーションの多くまたはすべての態様を制御する。
７３０４において、自律車両は、別のエンティティから要求を受信し、自律車両の制御をテイクオーバする。エンティティは、自律車両の人間の乗員／運転者、自律車両から遠隔地にいる人（例えば、法執行機関または政府職員）、または別の自律車両もしくは自律車両の近くの複数の自律車両（例えばクラウドソースされた制御）を含み得る。
７３０６において、自律車両は、クレデンシャルのエンティティに、制御を要求するエンティティを認証するよう促す。促すことは、指紋、音声認識のための声サンプル、顔認識のための顔サンプル、または、別のタイプのバイオメトリックなどのバイオメトリックを促すことを含み得る。促すことは、ユーザ名、パスワードなど、他のタイプのクレデンシャルを促すことを含み得る。
７３０８において、自律車両は、要求エンティティから入力を受信し、７３１０において、受信された入力に基づいて、エンティティが認証されたかどうか決定する。エンティティが認証された場合、自律車両は、テイクオーバを可能にし、７３１２で制御を要求エンティティに渡す。エンティティが入力に基づいて認証されない場合、自律車両はテイクオーバ要求を拒否し、自律オペレーションモードで動作することを継続する。
図７４は、少なくとも１つの実施形態による、自律車両のテイクオーバを制御する別の例示的プロセスのダイアグラムである。例示的プロセスにおけるオペレーションは、自律車両の態様またはコンポーネントによって実行され得る。例示的プロセス７４００は、追加の、または異なるオペレーションを含み得、オペレーションは、示される順序、または別の順序で実行され得る。いくつかの場合において、図７４に示されるオペレーションの１または複数は、複数のオペレーション、サブプロセス、または他のタイプのルーチンを含むプロセスとして実装される。いくつかの場合において、オペレーションが組み合わされ、別の順序で実行され、並行して実行され、反復され、またはそうでない場合、別の方式で繰り返され得る、または実行され得る。
７４０２において、自律車両は、手動／人間運転モードのオペレーションで操作され、これにより、（自律車両内部、または、自律車両から遠隔地のいずれかにいる）人間は、自律車両のオペレーションの１または複数の態様を制御する。
７４０４において、自律車両は、自律車両の内部に配置された１または複数のセンサからセンサデータを受信し、７４０６において、センサデータを分析し、人間のオペレータからの入力が安全かどうか決定する。入力が安全と決定された場合、自律車両は、手動オペレーションモードで動作することを継続する。入力が非安全と決定された場合、自律車両は、７４０８で人間のオペレータに制御のテイクオーバを要求し、自律車両は７４１０で自律オペレーションモードで動作する。
レベル２（「Ｌ２」または「Ｌ２＋」）自律車両から、完全自律性のレベル５（「Ｌ５」）自律車両に移行することは数年かかり得、自律車両業界は、いつでもどこで（運転者がいない状態で）完全な自律性の状態に到達するまで、人間の運転者の役割から責任を徐々に移すことを観察し得る。機械制御（自律モード）から人間制御（人間運転モード）への安全なテイクオーバの実装は、移行フェーズにおいて重大であるが、複数の課題がある。例えば、潜在的な課題の１つは、自律システムからの要求無しで発生する、人間の運転者からのランダムな介在を制御することである。別の課題は、イベントドリブンの介在から生じる。自律車両において発生し得る、３つのタイプのテイクオーバは、以下を含む。
車両要求テイクオーバ：車両が運転者に対して、自律モードから人間運転モードへのテイクオーバおよび受け渡しを要求するとき。いくつかの場合において、これは、最良の判断にいくらかの不確実があるとき、または、車両がジオフェンスされた領域から出てくるときなど、自律車両が知覚システムにとっての新しい状況に直面したときに発生し得る。人間のテイクオーバを要求するための一般的アプローチは、１または複数の方式（例えば、ダッシュボードに表示されるメッセージ、ビープ、または、ステアリングホイールの振動）で運転者に警告することによるものである。人間の運転者がテイクオーバに対応している間に、予想より長くかかる人間の反応時間、人間の集中力の欠如、または別の理由に起因して、テイクオーバにおいていくつかのミスが発生し得る。
人間の運転者によるランダムなテイクオーバ：可能なテイクオーバは、人間の運転者によりランダムに（例えば、車両から要求無しで）、予測されない理由で発生し得る。例えば、人間の運転者は、注意をそらされ得る、または、不適切に意図されない睡眠反応から目が覚め得る（完全な認識無しで、迅速にハンドルの制御を得る）。別の例として、人間の運転者は、急いでいて（例えば、飛行機、または、重要イベントに間に合わせる）、自律モードにおける車両速度に不満足であり得るので、速度を上げるために制御をテイクオーバし得る。これらのタイプのランダムなテイクオーバは、望ましくないことがあり得る。なぜなら、そのような予測されないテイクオーバにおいて、運転規則／ポリシーを設定することは実現可能でなく、ランダムなテイクオーバ自体が事故／衝突を引き起こし得るからである。
イベントドリブンの人間によるテイクオーバ：予測されないイベントに起因して人間による別の可能なテイクオーバが発生し得る。例えば、人間の運転者は、（例えば、閉所恐怖症、気分が悪いなどに起因して）突然に車から出る必要性を感じ得る。別の例として、人間の運転者と共に乗っている乗員が突然に高リスクシナリオに遭遇し得、人間の運転者はテイクオーバして車を停止させ得る。別の例として、人間の運転者は、走行している道路を不快に感じることがあり得（（例えば、暗い、未知の道路）、より快適に感じるために、制御を取得する必要性をトリガする。これらのタイプのテイクオーバは、予測されない方式で自律運転モードを撹乱し得、テイクオーバ自体が事故／衝突につながり得るので、望ましくないことがあり得る。また、以前の場合と同様に、そのような予測されないテイクオーバに運転規則／ポリシーを適用することは実現可能でなく、予測されないイベントによって引き起こされるテイクオーバは安全でない可能性が高いので、このタイプのテイクオーバは望ましくない。
これらのタイプのうち、ランダムおよびイベントドリブンテイクオーバは、非安全とみなされ得、従って、自律運転システムは具体的に、これらのタイプのテイクオーバを検出および制御するよう構成され得、自律運転モード中により安全な運転および予測不可能な挙動の回避を可能にし得る。特定の実施形態において、これらの潜在的な非安全テイクオーバの状況を軽減するべく、
・自律運転知覚フェーズ（例えば、車載知覚ソフトウェアスタックにおいて実装される）は、リアルタイムの非安全テイクオーバ検出についてのソフトウェアモジュールを含むように拡張され得る。
・自律運転行動フェーズ（例えば、車載システムにおいて実装される車両制御ソフトウェアおよびハードウェアは、検出された非安全テイクオーバをリアルタイムに緩和するためのソフトウェアモジュールを含むように拡大され得る。
・自律運転計画フェーズ（例えば、ルート計画サブシステム）は、乗員または運転者が不快になることを回避するための潜在的なルート変更または自律運転モードへの他の調整の考慮を含めるために、緩和の実行の手段として拡大され得る。
・自律運転知覚フェーズ（例えば、車載知覚ソフトウェアスタックにおいて実装される）は、リアルタイムの非安全テイクオーバ検出についてのソフトウェアモジュールを含むように拡張され得る。
・自律運転行動フェーズ（例えば、車載システムにおいて実装される車両制御ソフトウェアおよびハードウェアは、検出された非安全テイクオーバをリアルタイムに緩和するためのソフトウェアモジュールを含むように拡大され得る。
・自律運転計画フェーズ（例えば、ルート計画サブシステム）は、乗員または運転者が不快になることを回避するための潜在的なルート変更または自律運転モードへの他の調整の考慮を含めるために、緩和の実行の手段として拡大され得る。
図７５は、少なくとも１つの実施形態による、自律車両についての例示的な知覚、計画、行動の自律運転パイプライン７６００のダイアグラムである。特に、図７５は、潜在的な非安全テイクオーバをリアルタイムに検出および軽減するための自律車両知覚および制御における特定の考慮の概要を示す。知覚、計画、行動パイプラインのオペレーションは、自律車両の車載制御システムによって実行され得る。示されるように、例示的な知覚、計画、行動パイプラインは、感知／知覚フェーズ、計画フェーズおよび行動／制御フェーズを含む。
示される例において、制御システムは、車両知覚センサ（例えばカメラ、ＬＩＤＡＲなど）、車両制御要素（例えば、ステアリングホイールセンサ、ブレーキ／加速ペダルセンサ、内部カメラ、内部マイクなど）を含む、自律車両に結合された複数のセンサからセンサデータを受信する。制御システムは、感知／知覚フェーズにおけるセンサデータを使用して、自律車両の人間の運転者による非安全テイクオーバ要求を検出する。非安全テイクオーバの検出は、受信されたセンサデータに少なくとも部分的に基づき得る。例えば、テイクオーバの行動を感知するために、非安全テイクオーバは、アクセルペダル、ブレーキペダル、および／またはステアリングホイールに結合されたセンサに基づいて検出され得る。いくつかの場合において、車内部のカメラおよび／またはマイクは、運転者のアクションが自律車両の制御をテイクオーバするためのものであることを検出するために（例えば人工知能と共に）使用され得る。いくつかの実施形態において、ペダル／ステアリングホイールセンサおよび車載カメラからのデータは、人間による潜在的なテイクオーバ要求を検出するべく、および、アクションが実際に要求されたテイクオーバかどうかを決定するために、関連付けられ得る。例えば、突然目を覚ました、または注意散漫な運転者は、制御のランダムなテイクオーバを開始することを意図しないまま、ブレーキ、アクセラレータ、またはステアリングホイールのうち１または複数を作動させ得る。
要求されたテイクオーバが非安全であるという検出の後に、制御システムは非安全テイクオーバ要求を緩和する。このことは例えば、人間の運転者が自律車両を制御することを許可され得ないように、テイクオーバ要求をブロックすることを含み得る。例えば、ステアリングホイール、ブレーキアクチュエータ／ペダル、アクセラレータアクチュエータペダルは、自律運転モード中にロックされ得、（下で説明されるようにランダムテイクオーバ要求が安全であるという検出に応答し得て）自律車両が人間によるテイクオーバを要求しているときのみロック解除され得る。更に、非安全テイクオーバ要求に応答して、ドアはロックされたままであり得る。なぜなら、いくつかの場合において、ドアのロック解除は、車両が停止状態（移動していない）ときのみ可能になり得るからである。
いくつかの場合において、非安全テイクオーバ要求の緩和は、運転者／乗員の望みに合致するように自律運転モードを修正することを含み得る。例えば、制御システムは、運転者／乗員の快適性を保証するために、および、テイクオーバ要求によって導入される乗員／運転者に対するリスクを最小化するために、自律車両のルート（例えば、方向、速度など）を再計画し得る。いくつかの場合において、制御システムは、テイクオーバ要求に応答して、（例えば、音声プロンプト（音声認識に対応する自律車両の場合）および／またはテキストプロンプトを使用して）人間の運転者および／または乗員に入力を催促し得、運転者／乗員から受信された入力に基づいて、自律モードの１または複数の態様を修正し得る。
図７６は、少なくとも１つの実施形態による、自律車両の人間の運転者によるテイクオーバ要求を制御する例示的プロセスのダイアグラムである。特に、図７６は、非安全テイクオーバの検出および緩和のスキームを示す。例示的プロセスにおけるオペレーションは、自律車両のコンポーネントによって実行され得る（例えば、自律車両の制御システム）。例示的プロセス７６００は、追加の、または異なるオペレーションを含み得、オペレーションは、示される順序、または別の順序で実行され得る。いくつかの場合において、図７６に示されるオペレーションの１または複数は、複数のオペレーション、サブプロセス、または他のタイプのルーチンを含むプロセスとして実装される。いくつかの場合において、オペレーションが組み合わされ、別の順序で実行され、並行して実行され、反復され、またはそうでない場合、別の方式で繰り返され得る、または実行され得る。
７６０２において、自律車両は、自律運転モードで動作している。例えば、自律車両の制御システムが、知覚、計画、行動パイプラインなどを通じて、自律車両のオペレーションの１または複数の態様を制御し得る。７６０４において、自律車両は、（例えば、制御システムに渡されたセンサデータに基づいて）不規則または未知の状況に遭遇するかどうかを決定する。その場合、７６０６において、自律車両は、人間の運転者が自律車両の制御をテイクオーバすることを要求し、７６０８において、自律車両は人間運転モードのオペレーション（人間の運転者が自律車両を制御する）に入り、それで動作する。自律車両は次に、７６１０において、人間運転モードのオペレーション中に、通常／既知の条件に遭遇したかどうかを決定し得る。そうである場合、自律車両は、７６１２において、制御のテイクオーバを要求し得る、または、自律車両の制御を取り戻し得、自律オペレーションモードに再び入り得る。７６０４において不規則／未知の状況に遭遇しない場合、自律車両は、自律運転モードのオペレーションを継続し、これにより、不規則／未知の状況に遭遇したかどうかを継続的に決定し得る。
７６１４において、自律車両は、人間の運転者によるテイクオーバ要求を検出する。テイクオーバ要求は、自律車両の内部に配置されたセンサ（例えば、ステアリングホイールに結合されたセンサ、ブレーキアクチュエータ、アクセラレータアクチュエータ、または内部カメラまたはマイク）を含み得る、自律車両に結合された１または複数のセンサからのセンサデータに基づき得る。
７６１６において、自律車両は、テイクオーバ要求が非安全かどうか決定する。そうである場合、自律車両は、それに応答して非安全テイクオーバ要求を軽減し得る。例えば、７６１８において、自律車両はテイクオーバ要求をブロックし得る。加えて、自律車両は、テイクオーバ要求の原因または不規則な状況についてより深く理解するために、７６１８において、運転者に入力を促し得る（例えば、音声認識ソフトウェアを使用して運転者との会話を可能にする）。
７６２０において、運転者から受信された入力に基づいて、自律車両は、運転者の状況は何か、または、運転者がテイクオーバ要求を開始した理由を決定する。例えば、状況が、運転者または乗員にとってリスク（例えば、叫び声、非安全挙動など）であると識別される場合、ルートについての再計画が考慮される必要があり得るので、７６２２において自律車両は自律運転モードを修正して、路肩に停止し得る。例えば、状況が、運転者および／または乗員にとっての自律運転モードの不快感（例えば、未知のルート／道路、非常に暗い環境など）であると識別された場合、自律車両は自律運転モードを修正して、より多くの視覚情報を運転者／乗員に提供し得る（例えば、（追加の）ルートの詳細を表示する）、自律車両はまた、運転者および／または乗員が、自律運転モードでより高い快適性を獲得することを助けるべく、７６２４において、表示される追加情報を運転者が見ることを可能にするために、車内の照明を調整し得る。例えば、状況が、速度についての不満であると識別された場合（例えば、運転者が、速度を上げる、または遅くすることを自律車両に希望する）、計画フェーズは、別の速度および／またはルートを考慮し得、自律車両は、速度（またはルート）を変更するために自律運転モードを修正し得る。他の緩和戦略が、受信された運転者の入力に応答して採用され得る。
自律車両の潜在的利点の１つは、遥かに安全な運転環境の可能性である。しかしながら、自動化のためにエラーが無いシステムを作成するように最大限に努力しても、車両上の摩耗または裂けによって生じる機械的、物理的、および／または電子的損傷は不可避である。そのような損傷は、自律車両の機能不良を生じさせ得る。
自律車両、特にセンサに損傷が発生したとき、車両の機能が落ち得ることは不可避である。図７７に示されるように、自律車両の自動化のレベルは、人間の運転者から要求される参加の量に対して定義される。自律車両が問題に遭遇したとき、人間の乗員（またはリモートモニタリングエンティティ）は、運転制御をテイクオーバする必要があり得る、または、車両はオペレーションを中止し得る。
更に、車両に問題があるとき、その問題がセンサの問題、プロセッサもしくはメモリの機能不良、または、任意の他のハードウェア／ソフトウェアの問題のいずれであっても、事故が発生する確率が増加する。これは、人間の運転者が車両の制御を強制的にテイクオーバされる場合（特に、運転者がテイクオーバの準備をしていない場合）にも当てはまり得る。車両上で何が発生しているかを追跡する能力は、多くの当事者にとって貴重であると分かり得る。例えば、保険会社、運転者、または車両の製造者は、様々な責任問題について恩恵を受け得る。更に、車両の設計者は重大な状況において何が発生するか理解することから恩恵を受け得る。
包括的認知監視システム７８００が図７８に示される。システム７８００は、運転条件の連続的な解析結果および自律車両の（特に、自律車両の感知、計画、行動層の）正確度に基づいて、車両の自律性のレベルを監視および調整するようロジックで構成されたコンピューティングシステム（本明細書において説明されたコンピューティングシステムのサブシステムまたは実装など）である。システム７８００は、人間の運転者をモニタリングし、アラートし、再び関与させ、人間の運転者に対する運転制御の安全なハンドオフを実行することによって、自律車両に生じ得る問題を扱うためのマルチレベルのスマートな機構を備え得る。システム７８００はまた、自律車両のリモート監視および／または制御を可能にするよう構成され得る。システム７８００はまた、自律車両の自律レベルを低減し、それにより、車両のセンサまたはコンポーネントの故障の状況、または、車両が扱うことができない他の状況において、人間の運転者へに依存度を高めるためのシステムとみなされ得る。
システム７８００は、自律車両における自律性のレベルをモニタリングし得る。更に、システムは、自律レベルが正確かどうか決定し得、そうでない場合、車両の自律レベルを変更し得る。加えて、変更が必要である場合、システム７８００は、変更について運転者にアラートし得る。システムはまた、変更についてリモート監視システム７８１０にアラートし得る。
包括的認知監視システム（Ｃ２Ｓ２）７８０５は、自律車両の通常の自動化システムの最上位にあり得る（例えば監視し得る）。一例において、システム７８０５は、車両のセンサ（７８２０）、計画（７８３０）、および実行（７８４０）システムの上にあり得る。いくつかの実装にいて、Ｃ２Ｓ２は、自律車両の車載コンピューティングシステムのより上にあり得る、または、それと協調し得ることに留意されたい。特に、Ｃ２Ｓ２は、車両の自律レベルに影響し得る任意のシステムの上にあり得る。システム７８０５はまた、自律運転レベルおよびセンサ健全性モニタリングの履歴を記録し得る。収集データは、非常に簡潔であり、オフラインでアクセス可能であり得るので、任意の機能不良または事故の場合に参照できる。
いくつかの例において、Ｃ２Ｓ２７８０５は、車における自律性のレベルをモニタリングするために実行可能なロジックを含み、機能保証、品質保証、および安全性保証という３つの主なモジュールを含む。これら主なモジュールの各々は、車両についての自律性セットの現在の状態を受け入れる、または拒否するために、予め定義された重要業績評価指標（ＫＰＩ）のセットを有し得る。モニタリングされているモジュールのいずれかに起因して、自律性のレベルが許容されないとＣ２Ｓ２が決定した場合、Ｃ２Ｓ２は、車両の自律レベルを変更する能力を有し得る。更に、システムは、人間の運転者に変更を通知し得る。自律レベルを変更する能力は、非常に有益であり得る。例えば、何等かのセンサ障害がある場合に、車両の自律性を完全にオフにする代わりに、Ｃ２Ｓ２は、自律性を完全に除去することとは対照的に自律レベルを下げることができると決定し得る。このことは、（例えば、図７９に描写されるように）車両がＬ４からＬ３レベルに移行することを意味し得る。そのような変更がある場合、人間の運転者は、車両の制御に関与する必要ないことがあり得るが、いくつかの実施形態において、自律性の変化は運転者に伝達され得、運転者が必要とされた場合に、運転者がより多くの注意を払うことを可能にする。
引き続き図７８の例において、Ｃ２Ｓ２７８０５は、３つのシステム（センサ７８２０、計画７８３０、実行７８４０）の３つの主なブロック（機能保証、品質保証、安全性保証）の各々のＫＰＩを評価する。Ｃ２Ｓ２７８０５がシステムについて任意の問題を検出した場合、自律レベルを変更する必要があるかどうかを評価し得る。すべての問題が自律レベルの変更を必要とするわけではないことがあり得る。例えば、車両はセンサの１つに問題を有し得る。しかしながら、このセンサが、別のセンサに関して繰り返しのデータを生成する場合、車両は、自律性の現在のレベルを維持する能力を失わないことがあり得る。
しかしながら、他の例において、センサの問題は問題を引き起こし得る。製造者が、Ｌ４レベルの自律性あ可能な特定の車両を導入した場合でも、そのような指定は、実践では条件付きであり、車両の自律能力は経時的に変動し得る。例えば、センサコンポーネントの故障のようなシナリオにおいて、センサが故障する、または、乗員の安全性が危険にさらされるとき、自律レベルは変化する必要があり得る。Ｃ２Ｓ２７８０５は、自律性のレベルを変更し、運転者およびリモート監視システムの両方に通知し得る（７８１０）。
自律レベルのモニタリングおよび変更に加えて、Ｃ２Ｓ２７８０５はまた、アクションをリモート監視システム７８１０にレポートし返し得る。Ｃ２Ｓ２７８０５は自律レベルの変更をレポートするだけでなく、Ｃ２Ｓ２７８０５は、任意の重要なデータをリモートシステム７８１０にレポートし得る。例えば、必要な自律レベル変更がある状況において、または、自律車両を伴う事故がある状況においても、車両の移動、計画、自律レベルなどに関連するレベル変更およびデータの完全な記録が監視システム７８１０へ送信されて格納され得る。そのようなデータは、事故の障害を決定するため、および、改善などのためのデータに有用であり得る。望ましい場合、キャプチャされ得る任意のデータがリモート監視システム７８１０へ送信され得ることが想定される。
図７８に記載のシステムは単に、特定の実施形態において発生し得る代表的なモジュールである。他の実施形態は、本明細書で具体的に言及されない追加のモジュールを含み得る。加えて、すべてのモジュールが必要でないことがあり得、または、モジュールは他の実施形態において組み合わされ得る。
完全に人間が関与しない運転体験を自律車両に対して提供することが理想的であり得るが、自律車両における自律性のレベルに応じて、車両がオペレーション状態にあるとき、いくらかの人間の運転者のインタラクションが必要になり得る。これは特に、人間の運転者が制御をテイクオーバする必要があり得る緊急事態の場合において当てはまる。そのような状況において、人間の運転者への典型的なハンドオフは、成功する場合、平均で約３秒間かかり得る。しかしながら、人間は多くの場合不注意であり、容易に注意をそらされ、多くの場合、特定の状況に対する応答が遅い。したがって、迅速かつ安全なハンドオフを実現するべく、車両が自律ノードにおいて動作している間に運転者を関与させたままにすることは、困難であり得る。
従って、少なくともいくつかの状況において、自律車両におけるハンドオフのコンテキストにおいて、人はバックアップとして信頼できないことがあり得る。人が十分に迅速に反応できない場合、潜在的に危険な状況は、適時に反応できない不注意な運転者によって、一層悪化し得る。上のシステムの様々な実装は、自律運転者と人間の運転者との間のハンドオフを実行するための、より安全な方式を提供し得る。
図８０は、Ｌ４自律レベルにおいて動作する自律車両のデータのアーキテクチャフローの例を示す。図８０の例示的なフローは、感知モジュール８０１０、計画モジュール８０２０、行動モジュール８０３０、およびドライバ・バイ・ワイヤ（ＤＢＷ）モジュール８０４０を含み得る。例として、感知モジュール８０１０は、様々な知覚センサ（例えばカメラ、レーダ、ＬＩＤＡＲ、ＧＰＳなど）からのデータを処理することを担い得る。感知モジュール８０１０は、センサ２２５の任意の好適な特性を有し得る。車両の移動パラメータ（例えば、速度、位置、向きなど）を表し得る、感知モジュールによるデータ出力は、車両の周囲のオブジェクトを表すデータと共に、計画モジュール８０２０（本明細書のどこかで説明されるものなど、経路計画部モジュール（例えば２４２）の任意の好適な特性を有し得る）に渡され得る。計画モジュール８０２０は、現在の状況に基づき、運転中に道路上で講じられるアクションについて関連する判断を行い得る。ＤＢＷモジュール８０４０に与えられる特定の車両コマンドを生成するべく、計画モジュールによる判断は、コントローラを含み得る行動モジュール８０３０に通信され得る。そのようなコマンドは、例えば、具体的なステアリング角度および／または加速のためのコマンドを含み得る。これらのコマンドは次に、ＤＢＷモジュールによって実行される。上のフローは単に例示的であり、他のフローが存在し得ることに留意されたい。加えて、異なるレベルのインテリジェンスが異なる車両に存在することが可能である。例えば、Ｌ２レーティング車両は、Ｌ４レーティング車両と異なるレベルのインテリジェンスを有する。
現在、図８０の例のモジュールレベルのうち１つに故障がある状況において、または、車両の計画アルゴリズムが、特定の運転シナリオにおいてアクションを講じることができない場合に、車両は、運転者がテイクオーバする必要があることを示す信号を運転者へ自動的に送信する。この信号は視覚的、音声、またはその組み合わせであり得る。図８１は、運転者へのビデオ信号の例を示す。
図８２は、例示的な自律車両ハンドオフ状況のフローを示す。示されるように、フローの開始時、８２１０において車両は自律モードにあり得る。問題に気付き、自律レベルを変化する必要が生じると、テイクオーバ信号が送信される（８２２０）。最終的に、８２３０で自律モードが非アクティブ化される。
急激および突然でないハンドオフプロセスは、必要なときに運転者が車両に関与することを助ける。加えて、センサに故障がある場合に、車両が完全に非自律になる必要がないことがあり得る。単に自律レベルを低くすることが安全であり得る。例えば、Ｌ４モードで動作する自律車両については、車両が人間の運転者へ直接ハンドオフして自律性を切る必要がないことがあり得る。計画アルゴリズム（例えば計画モジュール８０２０によって実行される）は、複数のセンサ入力に依存する。自律システムの信頼性は、これらのセンサ入力に基づいて計画アルゴリズムが判断し得る精度によって定義される。すべてのシステムは、計画モジュールによる判断の信頼レベルを定義する重大および非重大センサ入力のセットを有する。そのセンサ（主に冗長なセンサ）の部分集合が動作を停止する場合、Ｌ４レベル車両は、もはや同じ信頼レベルで動作できない。例示的な状況において、車両は単純にＬ４からＬ３レベルの信頼性にダウングレードし得、運転者からのより大きいレベルの注意が必要となる。しかしながら、運転者が完全にテイクオーバして、車両が自律性システムを切る必要が無いことがあり得る。
図８３は、自律車両の制御を人間の運転者へハンドオフするフローの例を示す。加えて、図８３は、人間の反応と自律車両のアクションとの間の協調を示す。この協調は、点線によって示される。図８３の例示的なフローは、自律車両の計画モジュール８０２０において生じ得る。しかしながら、図８３のフローは、本明細書において言及されないものを含む、任意のモジュール、または、コンピューティングシステムの組み合わせによって実行され得ることに留意するべきである。
図８３の例は最初（８３１０）に、自律車両が通常、この例ではＬ４レベルにおいて自律モードで動作していることを示す。結果として、人間の運転者は非アクティブである（８３１５）。これは特に、自律車両の自律レベルが高い場合に当てはまり得る。
問題が発生するとき、車両はシステム機能不良アラートを送信し得る（８３２０）。従って、人間の運転者はアラートを受信し得る（８３２５）。このアラートは視覚的、聴覚的、触覚的または任意の他のタイプのアラートであり得る。
機能不良が、即時の運転者のインタラクションを必要とするほど十分に深刻でないと決定され場合、車両はより低い自律モードに切り替わり得る（８３３０）。この例において、車両はＬ４からＬ３に切り替わった。従って、人間の運転者は、（例えば８３２５で受信されたアラートに基づいて）この遷移を認識し、運転条件に注意を払い得、必要な場合は特定の量の時間にわたって車両の制御を取得し得る（８３３５）。いくつかの例において、車両は、特定のセンサの使用およびモニタリングを通じて運転者の関与を確認できる。例えば、車両は、注視モニタリング、ハプティックフィードバック、音声フィードバックなどを使用し得る。
別のエラーがある場合、車両は再度、システム機能不良アラートを送信し得る（８３４０）。送信後、運転者は再度、アラートを受信する（８３４５）。
次に、自律性のレベルが（この例ではＬ３からＬ２に）再度低減され得ることが再度決定された場合、車両は自律レベルを再度低くする（８３５０）。現在、対応する動きにおいて、運転者は、より大きな注意を払うことを開始している（８３５５）。この例において、車がＬ２モードなので、人間の運転者は、常に注意を払っている。
車は再度、自律レベルを（このときはＬ１に）低くする必要があるので、運転者はテイクオーバする必要がある。従って、車両はテイクオーバ信号を送信し得る（８３６０）。対応する動きにおいて、運転者は、テイクオーバ信号を受信し得る（８３７０）。
現在、車両は、運転者が車両の制御を取得可能かどうか確認し得る。従って、車両は、運転者が制御を取得することを待機する（８３６２）。上で言及されたように、車両は、運転者が実際に制御を取得しているかどうかモニタリングすることに加えて、モニタリングおよびセンサを使用して、運転者の準備状態を決定し得る。
ある期間の後に、運転者が制御を取得していない（または、安全に制御を取得できない）と車両が決定した場合、エマージェンシーシステムが起動される（８３６４）。これは、状況に応じて異なるアクションを実行することを含み得る。例えば、車両を停車させる必要があり得る。いくつかの状況において、停車して停止することが安全でないことがあり得るので、車両はある期間継続し得る。従って、車両は、安全に停止できるまで、減速し得る、および／または、道路の片側に停車し得る。エマージェンシーシステムが起動されると、対応して、緊急事態アクションの状態が完了する（８３７４）。
しかしながら、運転者がテイクオーバでき、ハンドオフが成功した場合、自律モードは非アクティブ化され得る（８３６６）。対応するアクションにおいて、運転者は、完全に関与して車両を運転する（８３７６）。示されるように、早期のアラート（ハンドオフが必要となる前に複数回）は、システム障害の前、および、運転者のテイクオーバが必須になる前に運転者がハンドオフの準備をすることを可能にする。
自律車両には、比較的小さい期間（例えばミリ秒）でも大量のデータを生成する複数のセンサが装備され得る。そのようなシステムに重要なリアルタイムデータ処理方式の想定の下で、時刻Ｔに収集されたデータは、生成される次のデータが時刻Ｔ＋１（ここでの単位１は、特定のセンサの最大分解能である）に記録される前に処理されるべきである。カメラ（概して、３０フレーム／秒で動作する）およびＬＩＤＡＲ（概して、２０スイープ／秒で動作する）の場合、それぞれ、３３ｍｓおよび５０ｍｓの分解能が、許容可能な分解能とみなされ得る。したがって、高速の判断が望ましい。ある期間にわたる一連の記録によってイベントまたは状況が形成されるので、現在のデータポイントおよび以前のデータポイントに基づく時系列の問題に基づいて様々な判断が行われ得る。実践において、予め定義された処理期間が考慮される。なぜなら、記録されたデータすべてを処理することは実現可能でないことがあり得る、経時的な記録データの効果は低減する傾向があるからである。
センサデータの予想される挙動に合致しないパターンを検出するプロセスは異常検出と呼ばれる。異常の理由の決定は、異常認識と称される。異常認識は、様々な理由から、機械学習アルゴリズムにとって難しいタスクである。第１に、機械学習アルゴリズムは、オブジェクトを検出および認識するための予測モデルのパラメータを推定するために、既知のデータを利用する（訓練フェーズ）。しかしながら、このことは、予め定義特性を有しない、珍しいイベントである異常の特性と対照的である（したがって、従来の訓練データに含まれる可能性が低い）。第２に、異常の概念は、必ずしも一定でないので、従来の分類問題において単一クラスとみなされないことがあり得る。第３に、従来の機械学習アルゴリズムにおけるクラスの数は、予め定義され、関連しない入力データが受信されるとき、ＭＬアルゴリズムは、もっとも可能性があるクラスを見つけ得、それに従ってデータをラベリングするので、異常は未検出になり得る。
本開示の様々な実施形態において、異常検出および認識についての機械学習アーキテクチャが提供される。特定の実施形態において、新しいクラス（例えば「既知でない」）が回帰型ニューラルネットワークに追加され、モデルを強化し、時間ベースの異常検出を可能にすると共に、不正確なポジティブケースを除去することによって異常検出レートを増加させる。様々な実施形態が、自律車両のためのオブジェクト検出を含む、様々な用途において好適であり得る。従って、一実施形態において、アーキテクチャの少なくとも一部が知覚エンジン２３８によって実装され得る。
特定の実施形態において、アーキテクチャは、ゲート付き回帰型ユニット（ＧＲＵ）または長短期メモリネットワーク（ＬＳＴＭ）ニューラルネットワークを含む、またはそれに基づく１または複数のＭＬモデルを含み得る。図８４は、例示的なＧＲＵおよびＬＳＴＭアーキテクチャを表す。そのようなネットワークは、自然言語処理（ＮＬＰ）によく使用される。２０１４年に導入されたＧＲＵは、ＬＳＴＭより単純なアーキテクチャを有し、近年、ますます多くの数の用途において使用されるようになってきている。ＧＲＵアーキテクチャにおいて、忘却ゲートおよび入力ゲートの両方が共に統合されて「更新ゲート」を形成する。また、セル状態および隠れ状態が組み合わされる。
図８５は、特定の実施形態による、異常検出のためのシステム８５００を描写する。異常検出部の追加は、システムのインテリジェンスを強化し、以前に検出されなかった未知の状況（例えば時間ベースのイベント）のレポートを可能にし得る。ＬＳＴＭまたはＧＲＵアーキテクチャに基づく新しいＭＬモデル（本明細書において、スマート回帰型ユニット（ＳＲＵ）モデル８５０２と称される）が提供され、標準のＬＳＴＭまたはＧＲＵモデル（「基準モデル」８５０４）に関連して使用され得る。様々な実施形態において、ＳＲＵモデル８５０２のアーキテクチャは、ベースライン予測部のアーキテクチャと同様であり得るが、異常を検出するために特別に調整され得る。様々な実施形態において、システム８５００は、新しく到達する異常データのシーケンスをエンコードすること（例えば、未知のクラスとしてシーケンスをエンコードすること）および異常タグに対して所与のデータ表現をデコードすること（例えば経時的に、新しい異常クラスを識別し、それに従ってラベルを適用する）の両方が可能である。任意の好適なデータシーケンスが、システム８５００によって異常として認識され得る。例えば、異常は未知の検出されたオブジェクト、または、未知の検出されたイベントシーケンスであり得る。様々な実施形態において、ＳＲＵモデルの追加は、以前にシステムによって知られていない未知の状況（時間ベースのイベント）をレポートするための、システムのインテリジェンスを強化し得る（訓練またはテストフェーズのいずれか）。システムは、異常データの新しいシーケンスをエンコードし、ラベルをそれに割り当て、新しいクラスを作成することを可能にし得る。ラベルが生成されるとき、このタイプの異常に対する任意の所与のデータ表現がデコードされ得る。
システム８５００は、訓練および推論フェーズにおける異常イベントを抽出するためのアプローチを示す。異常閾値８５０６は、訓練フェーズ中に計算され、ネットワークは、学習された、学習されていない、異常なイベント間の境界を計算する。特定の実施形態において、異常閾値８５０６は、基準モデル８５０４およびＳＲＵモデル８５０２の一方または両方によって使用されるシグモイド関数に基づく。異常閾値８５０６は、訓練中にＳＲＵモデル８５０２のパラメータを調整するために使用され得る。
予想される通常ケースを包含するように訓練データセット８５０８を豊富にすることによって、ネットワーク全体は、未知の状況のみを異常とみなす状態に収束し得る（これにより、異常サンプルは訓練データセットに含まれる必要がない）。これは、学習されたデータを用いて状況を正確に扱うことができないと異常検出部８５１０が認識する検出ポイントである。訓練データセット８５０８は、カメラからのイメージ、ＬＩＤＡＲからのポイントクラウド、イメージもしくはポイントクラウドから抽出された特徴、または、他の好適な入力データなど、任意の好適な情報を含み得る、または、それらに基づき得る。
訓練中、訓練データセット８５０８は、基準モデル８５０４およびＳＲＵモデル８５０２の両方に提供される。各モデルは、例えば、予測されたクラス、および、予測信頼性（例えば、分類が正確であるという、評価された確率を表す）を出力し得る。いくつかの実施形態において、出力は、関連付けられた予測信頼性を各々有する複数のクラスを含み得る。いくつかの実施形態において、例えば、ＧＲＵモデルに基づいて、出力は、入力に基づいて出力がどのように変化しているかを示す時系列であり得る。ＳＲＵモデル８５０２は、未知のクラスに対して基準モデル（例えば８５０４）より敏感であり得る。エラー算出部８５１２は、基準モデル８５０４の出力とＳＲＵモデル８５０２の出力との間の差に基づいてエラーを決定し得る。
推論中、テストデータ８５１４（いくつかの実施形態において、自律車両の１または複数のセンサから収集または導出される情報を含み得る）が基準モデル８５０４およびＳＲＵモデル８５０２に提供される。エラー算出部８５１２によって計算される、モデルの出力間の差を表すエラーが比較的高い場合、システム８５００は、オブジェクトのクラスが訓練データに含まれず、異常が検出されると決定する。例えば、推論中、システムは異常検出部８５１０を使用して、テストデータのエラーが異常閾値８５０６より大きいかどうか決定し得る。一例において、エラーが異常閾値８５０６より大きい場合、異常クラスはオブジェクトに割り当てられ得る。
様々な実施形態において、異常検出部８５１０は、未知のクラスのキャッチオールラベルをオブジェクトに割り当て得る。別の実施形態において、異常検出部８５１０は、特定の異常クラスをオブジェクトに割り当て得る。様々な実施形態において、異常検出部は、様々な異常クラスを様々なオブジェクトに割り当て得る。例えば、第１異常クラスは、同様の特性を有する第１の複数のオブジェクトの各々に割り当てられ得、第２異常クラスは、同様の特性を有する第２の複数のオブジェクトの各々に割り当てられ得る、などである。いくつかの実施形態において、オブジェクトのセットが、キャッチオール（例えばデフォルト）異常クラスとして分類され得るが、システム８５００が同様のオブジェクトを、同様の特性を有するものとして認識すると、新しい異常クラスがそのようなオブジェクトについて生成され得る。
ラベリングされた出力８５１４は、予測されるクラス（訓練データセットのクラスまたは異常クラスの１つであり得る）を示す。様々な実施形態において、ラベリングされた出力はまた、予測されたクラスについての予測信頼性（いくつかの場合、異常クラスの予測信頼性であり得る）を含み得る。
図８６は、特定の実施形態による、異常を検出するフローを描写する。８６０２において、イメージデータから抽出された特徴は、第１クラス予測モデルおよび第２クラス予測モデルに提供される。８６０４において、第１クラス予測モデルの出力と、第２クラス予測モデルの出力との間の差が決定される。８６０６において、異常クラスは、第１クラス予測モデルの出力と第２クラス予測モデルの出力との間の差に基づいて、抽出された特徴に割り当てられる。
自律車両は、その特性において大幅に変動する。例えば、車両の自律性のレベルは、Ｌ１からＬ５の範囲であり得る。更なる例として、車両は、幅広い様々なセンサを有し得る。そのようなセンサの例は、ＬＩＤＡＲ、カメラ、ＧＰＳ、超音波、レーダ、ハイパースペクトルセンサ、慣性測定ユニットおよび本明細書において説明される他のセンサを含む。加えて、車両は、装備する各タイプのセンサの数について変動し得る。例えば、特定の車両は、２つのカメラを有し得るが、別の車両は１２のカメラを有する。
加えて、車両は、異なる物理ダイナミクスを有し、異なる制御システムを装備する。一製造者は、別の製造者とは異なる制御スキームを有する異なる車載処理システムを有し得る。同様に、同じ製造者からの異なるモデル、または、同じモデルの車両からの異なるトリムレベルも、異なる車載処理および制御システムを有し得る。更に、異なるタイプの車両は、異なるコンピュータビジョンまたは他のコンピューティングアルゴリズムを実装し得、従って、車両は、同様の状況において、互いに異なるように応答し得る。
自律車両間の可能な差（例えば、自律レベル、センサ、アルゴリズム、処理システムなど）を考慮すると、異なる車両の相対的安全性レベルの間に差がある。これらの差はまた、各車両が走行する道路の一部に依存し得る。加えて、異なる車両は、他と比較して、例えば悪い天気など特定の状況の処理に優れ得る。
現在の自律車両は、遭遇し得るすべての状況、特に、遭遇し得るすべてのタイプの条件を扱うことが可能でないので、自律車両が、現在の条件における道路の一部を扱う能力を有するかどうかを決定するのに有用であり得る。
図８７は、一実施形態による、道路の一部上の車両の自律レベルを制限する方法８７００の例を示す。方法８７００は、自律運転安全性スコアを使用する、動的なジオフェンスの方法とみなされ得る。
方法８７００は、８７１０において、道路の一部について道路安全性スコアを決定する段階を備える。これは、道路の一部について、自律運転安全性スコアの限界を決定することを含み得る。この道路安全性スコアは、自律車両の安全性に重大な運転パラメータを重み付けおよびスコアリングすることによって計算される単一スコアであり得る。このスコアは、道路のエリアについての現在の安全性レベルを表し得る。このスコアは、正規化された値であり得、道路上の個々の自律車両のすべてについて、この値が同じであることを意味する。いくつかの実施形態において、この安全性スコアは、動的であり得、道路の特定のエリアの現在の条件に応じて常に変化する。スコアの計算において使用され得る基準の例は、これらに限定されないが、天候条件、時刻、運転表面の条件、道路上の他の車両の数、道路上の自律車両の割合、エリア内の歩行者の数、および、工事があるかどうかを含み得る。道路の一部上の自律的に運転する車両の安全性に影響し得る、これらの条件または他の条件のうち任意の１または複数が、道路スコアの決定において考慮され得る。いくつかの例において、スコア基準は、専門家および／またはレギュレータのグループによって決定され得る。特定の条件が他より安全性スコアに影響することを可能にするために、基準は重み付けされ得る。一例において、安全性スコアは、０から１００の範囲であり得るが、任意の数のセットが使用され得る、または、安全性スコアは、任意の他の好適な方式で表され得る。
図８８は、マップ８８００の例を示し、列挙された車道８８１０の各エリアは、道路の一部についての道路安全性スコア８８２０を示す。このマップは、現在のＧＰＳマップと同様の方式で車両により表示され得、交通および速度制限がマップに表示される。いくつかの例において、マッピングシステム（例えば、経路計画部モジュール２４２）は、センサからの入力、または、道路の地理的領域における他のデータに基づいて安全性スコアを計算し得る。他の例において、スコアは、車両の外部で（例えば１４０または１５０によって）計算され得、スコアは車両へ送信される。
方法８７００は更に、８７２０において、車両についての安全性スコアを決定する段階を備え得る。この安全性スコアは、自律車両安全性スコアとみなされ得る。安全性スコアは、自律車両の相対的安全性を表すために使用され得、車が自律的に運転し得る道路のスコア限界を決定するために使用され得る。道路安全性スコアと同様に、車両安全性スコアは、車両の重要な安全性要素を重み付けすることによって計算される単一スコアであり得る。車両安全性スコアに考慮される基準の例は、車両上のセンサのタイプ（例えば、ＬＩＤＡＲ、カメラ、ＧＰＳ、超音波、レーダ、ハイパースペクトルセンサ、および慣性測定ユニット）、各センサの数、センサの品質、車両によって実装される運転アルゴリズムの品質、利用可能な道路マッピングデータの量などを含み得る。各車両の安全性スコア（またはその一部）を決定するべく、車両の各タイプのテストが、専門家／レギュレータによって実行され得る。一例において、先進アルゴリズムおよび非常に多様なセットのセンサを有する車両は、１００点中８０点など、より高いスコアを有し得る。より低い先進アルゴリズムおよびより少ない数およびタイプのセンサを有する別の車両は、１００点中４０など、より低いスコアを有する。
次に、方法８７００は、８７３０において、車両安全性スコアを道路安全性スコアと比較する段階を備える。比較は、自律車両が、道路の所与の一部上で自律的に運転するのに十分に安全かどうかを決定することを含み得る。例えば、道路が９５の安全性スコアを有し、車が５０のスコアを有する場合、車は、道路のその区間を自律的に運転するほど十分に安全でないとみなされる。しかしながら、道路の安全性スコアが５０以下に低下すると、車は再度、自律的に運転され得る。車が自律的に運転するのに十分に安全でない場合、運転者は、運転の義務をテイクオーバするべきであり、従って、車両は運転者にハンドオフをアラートし得る。いくつかの例において、車が自律的に運転するのに十分安全かどうか決定するための階層的アプローチがあり得る。例えば、道路は複数のスコア、すなわち、Ｌ５スコア、Ｌ４スコア、およびＬ３スコアなどを有し得る。そのような例において、車安全性スコアは、個々の車両が、道路の所与の一部について、何の自律性のレベルを使用し得るか決定するために使用され得る。車が５０のスコアを有し、そのスコアが、Ｌ４オペレーションに好適なスコアの範囲内である場合、車両は、Ｌ４レベルの自律性で運転され得る。
最終的に、方法８７００は、８７４０において、道路の非安全部分から自律車両を防止して完了する。これは、道路の特定の区間において自律的に運転されることが可能でない車両にアラートすることを含み得る。追加的または代替的に、これは、運転者が運転義務をテイクオーバする必要がることを運転者にアラートし、運転者が関与したら、運転義務を運転者へハンドオーバすることを含み得る。上記のように、道路が階層的なスコアリングレベルを有する場合、道路の特定の一部において車両に許可される適切な自律性のレベルに応じて、車両の適切な自律レベルが決定され得、自律レベルが低下するので運転者が関与する、または関与の準備をする必要があるというアラートが提供され得る。
イメージおよびビデオデータは、移動車両（例えば車、バス、電車、ドローン、地下鉄など）および他の輸送車両、路肩センサ、歩行者、および他のソースなど、運転環境内の様々なアクターによって収集され得る。そのようなイメージおよびビデオデータは、場合によっては、人のイメージを含む可能性が高い。そのようなイメージは、例えば、車両に搭載された、外向きまたは内向きのイメージキャプチャデバイスによって、または、他の電子デバイスまたはネットワークから、車両に統合されたコンピューティングシステムへのイメージのデータ伝送によって取得され得る。このデータは、特定の時点における、人およびその場所を識別するために使用され得、安全性およびプライバシーに対する懸念の両方を生じさせる。それは特に、イメージが子供または他の脆弱な人を描写するときに問題である。
いくつかの実装において、例示的な自律運転システム（車載自律運転システム、および、クラウドまたはフォグにおいて実装されるサポートシステムを含む）は、機械学習モデルを利用して、車両に統合された、または、取り付けられたカメラまたは他のイメージキャプチャデバイスによってキャプチャされたイメージに描写される顔を偽装し得る。例示的実施形態において、訓練された敵対的生成ネットワーク（ＧＡＮ）が、単一モデルを使用する複数のドメイン（例えば顔属性）についてのイメージ‐イメージ変換を実行するために使用され得る。訓練されたＧＡＮモデルは、既知の顔を修正（または偽装する）ためにイメージにおいて描写される既知の顔に転写されるときに顔検出モデルが修正された（または偽装された）顔において既知の顔を識別することに失敗する顔属性、または、顔属性の組み合わせを選択するためにテストされ得る。訓練されたＧＡＮモデルは、選択された顔属性または顔属性の組み合わせを用いて構成され得る。構成されたＧＡＮモデルは、車両に関連付けられたイメージキャプチャデバイスによってキャプチャされたイメージ、または、他の電子デバイスまたはネットワークから車両におけるコンピューティングシステムによって受信された他のイメージを受信するために、車両においてプロビジョニングされ得る。構成されたＧＡＮモデルは、顔に関連付けられた、人についての情報を明らかにする特定の属性（または特徴）を保持しながら顔を偽装するべく、顔を描写する、キャプチャされた、または受信されたイメージに適用され得る。そのような情報は、例えば、イメージがキャプチャされたとき、人の注視および／または感情を含み得る。
移動車両において実装されるスマート運転システムが、より高性能に、更には、部分的または完全に自律的になるにつれて、移動車両によって収集されるイメージおよびビデオデータの量および品質は著しく増加した。イメージおよびビデオデータは、これらに必ずしも限定されないが、車、バス、電車、ドローン、ボート、地下鉄、飛行機、および他の輸送車両を含む任意のタイプの移動車両によって収集され得る。移動車両に搭載されたイメージキャプチャデバイスによって取得されるイメージおよびビデオデータの品質および品質が増加することにより、イメージおよびビデオデータにおいてキャプチャされた人の識別を可能にし得、特定の時点におけるそのような人の場所に関連する情報を明らかにし得る。そのような情報は、安全性およびプライバシーに対する懸念の両方を提起する。このことは、キャプチャされたデータが子供または他の脆弱な個人を含むとき、特に厄介であり得る。
自律車両の場合において、車両によって収集されたイメージおよびビデオデータ（例えば最大５ＴＢ／時間）は、自律運転機械学習（ＭＬ）モデルを訓練するのに使用できる。これらのモデルは、オブジェクトおよび歩行者を検出し、それらの軌道を予測して、車両の周囲のシーンを理解することを目的とする。
いくつかの地理的場所（例えば、欧州連合、米国のいくつかの州など）において、識別情報は保護され、その保護された情報を保持する任意のエンティティに対して、厳しい金銭的ペナルティが課され得る。更に、輸送車両が継続的にこのデータを収集していると知ることは、公共の信用および自律車両の採用に影響し得、更には、サービス車両に対する公共の感情に負の影響を与え得る。結果として、これらのユーザプライバシー問題は、対処されない場合、少なくともいくつかの自律車両技術の採用を潜在的に妨げ得る。
イメージおよびビデオデータのプライバシーを保護するための１つのアプローチは、データにおける顔をぼかす、または、ピクセル化することである。ぼかしおよびピクセル化は、人を総体的に検出することを目標とする基本のコンピュータ視覚アルゴリズムが採用される場合において効果的であり得るが、これらのアプローチは、人の注視および意図を理解することを目的とする現代のアルゴリズムでは効果的でない。そのような情報は特に、例えば、自律走行車が歩行者に遭遇して、歩行者が何をするか（例えば、横断歩道に入る、信号が変化するのを待つなど）の予測に基づいて反応（例えば、遅くする、停止する、クラクションを鳴らす、通常に継続する、など）を決定するときに有用であり得、更には必要であり得る。車両に内蔵された「インテリジェンス」を増加するために、歩行者の注視および意図は、ますます多く研究されいる。歩行者の顔から注視および意図を検出することによって、インテリジェンスアルゴリズムは、歩行者の軌道を予測し、ひいては事故を回避することを目的とする。例えば、自分の電話を見ている歩行者は、車両を直接見ている別の歩行者より、通過する車両を見逃す可能性が高い。機械学習アルゴリズムは、注視を予測するために顔からいくつかの目印を抽出する必要がある。顔のぼかしまたはピクセル化は、このタスクを非現実的にする。
図８９に示される通信システム８９００は、上記の問題の多く（それ以上）を解決する。少なくとも１つの実施形態において、プライバシー保護コンピュータビジョンシステムは、敵対的生成ネットワーク（ＧＡＮ）を採用して、データの実用性を維持しコンピュータビジョン能力への影響を最小限に抑えながら、コンピュータビジョンアプリケーションにおけるプライバシーを保護する。ＧＡＮは通常、本明細書において「生成器」（または「生成モデル」）および「識別器」（または「識別モデル」）と称され得る２つのニューラルネットワークから構成される。生成器は、１つ（真）データセットから学習し、次に、訓練データセットに似た新しいデータを生成することを試行する。識別器は、（生成器によって生成された）新しいデータと真のデータとを識別することを試行する。生成器の目標は、真のデータ分布から来たように見える新規の合成されたインスタンスを生成することによって、識別ネットワークのエラー率を増加させる（例えば識別器ネットワークを「だます」）ことである。
少なくとも１つの実施形態は、顔属性転写を専門とした、事前訓練されたＧＡＮモデルを使用し得る。通信システム８９００において、事前訓練されたＧＡＮモデルは、車両のコンピュータビジョン能力の一部であり得る他の機械学習能力が必要とする顔属性を維持しながら、現実の人のイメージにおける顔属性を、それらの属性のバリエーションと置き換えるために使用され得る。概して、ＧＡＮモデルは、属性の修正またはバリエーションを有する顔を描画する新しいイメージを生成するために、顔を描画する入力イメージ（例えば、現実の人の顔のデジタル画像）を処理するように事前訓練される。この新しいイメージは、本明細書において、「偽装された顔」または「偽の顔」と称される。通信システム８９００は、どの属性または特徴が入力イメージを修正するのに使用されるかを制御するために、１または複数の選択されたドメイン属性（例えば年齢、性別）を用いて、事前訓練されたＧＡＮモデルを構成し得る。
構成されたＧＡＮモデルは、車両の特定の範囲内に入る歩行者、他の車両オペレータの動作、乗員、または任意の他の個人のイメージをキャプチャするための１または複数のイメージキャプチャデバイスを有する車両においてプロビジョニングされ得る。人のイメージが車両のイメージキャプチャデバイスの１つによってキャプチャされるとき、イメージは、構成されたＧＡＮモデルによる処理のために準備され得る。処理は、例えば、イメージのサイズ修正、イメージにおいて描写される顔の検出、および、顔の調整を含み得る。処理されたイメージは、事前構成されたドメイン属性（例えば年齢、性別）に基づいてイメージに描写された顔を修正する、事前構成されたＧＡＮモデルに提供され得る。ＧＡＮモデルの生成器は、修正または偽装された顔を描画する新しいイメージを生成し、情報収集または他の目的で、顔が偽装された人の識別情報を明らかにすることなく、それを他の車両コンピュータビジョンアプリケーションおよび／または（例えばクラウドにおける）データ収集レポジトリへ提供する。ＧＡＮモデルによって生成された新しいイメージは、本明細書において、「偽装イメージ」および「偽イメージ」と称される。
通信システム８９００は、複数の例示的な潜在的利点を提供し得る。自律車両技術の予想される継続的成長により、日常的な使用において、大量の識別可能なイメージが生成される可能性が高い。本明細書において説明される実施形態は、データの実用性を維持しコンピュータビジョン能力への影響を最小限に抑えながら、個人を撮影することのプライバシーに対する懸念に対処する。特に、本明細書における実施形態は、車両において実装される他のコンピュータビジョン能力に必要な顔属性を保持しながら、人の顔のイメージを認識不可能にし得る。ユーザプライバシーは、社会的含意および法律的含意の両方を有し得る。例えば、リアルタイムにキャプチャされるイメージに固有のユーザプライバシー問題に対処しなければ、コンピュータビジョン能力の採用が妨げられ得る。本明細書における実施形態は、自律車両（およびイメージキャプチャデバイスを有する他の車両）のユーザプライバシー問題を軽減するので、実施形態は、自律車両への信用を増加させ、技術の採用を促進することを助け得、更に、車両製造業者、車両所有者、および無線サービスプロバイダが、数が増加している連邦、州、および／または地域のプライバシー規制を遵守することを助ける。
図８９を参照すると、図８９は、本明細書に説明される少なくとも１つの実施形態による、車両のコンピュータビジョンシステムにおけるプライバシーを保護するための通信システム８９００を示す。通信システム８９００は、敵対的生成ネットワーク（ＧＡＮ）構成システム８９１０、データ収集システム８９４０、および車両８９５０を備える。ネットワーク８９０５など、１または複数のネットワークは、車両８９５０とＧＡＮ構成システム８９１０との間の通信、および、車両８９５０とデータ収集システム８９４０との間の通信を促進し得る。
ＧＡＮ構成システム８９１０は、生成器８９２２および識別器８９２４を有するＧＡＮモデル８９２０を備える。ＧＡＮモデル８９２０は、選択された標的ドメインで構成され得、結果として、生成器８９３２、識別器８９３４、および標的ドメイン８９３６を有する、構成されたＧＡＮモデル８９３０が生じる。ＧＡＮモデル８９２０はまた、必ずしもこれらに限定されないが、多くの異なる実施形態で実現され得るプロセッサ８９３７およびメモリ８９３９を含む適切なハードウェアコンポーネントを含む。
構成されたＧＡＮモデルは、車両８９５０などの車両においてプロビジョニングされ得る。少なくとも１つの実施形態において、構成されたＧＡＮモデルは、車両のプライバシー保護コンピュータビジョンシステム８９５５の一部としてプロビジョニングされ得る。車両８９５０はまた、歩行者８９０２などの歩行者、他の運転者、乗員、および、車両の近傍の任意の他の人のイメージ（例えば（デジタル写真）をキャプチャするためのイメージキャプチャデバイス８９５４などの１または複数のイメージキャプチャデバイスを備え得る。コンピュータビジョンシステム８９５５はまた、イメージの評価を実行し、特定の実装に基づいて任意の適切なアクション（例えば、自律車両についての運転反応、運転者へのアラートの送信など）を講じるために、構成されたＧＡＮモデル８９３０からの偽装イメージを処理するためのアプリケーション８９５６を備え得る。必ずしもこれらに限定されないが、多くの異なる実施形態で実現され得るプロセッサ８９５７およびメモリ８９５９を含む適切なハードウェアコンポーネントはまた、車両８９５０においてプロビジョニングされる。
データ収集システム８９４０は、車両にプロビジョニングされるときに、構成されたＧＡＮモデル８９３０によって生成された、偽装イメージを格納するためのデータレポジトリ８９４２を含み得る。偽装イメージは、イメージ評価に関連付けられた情報、および／または、コンピュータビジョンシステム８９５２によって講じられるアクションと関連して格納され得る。一例示的実装において、データ収集システム８９４０は、偽装イメージなどの車両データ、および、自律車両によって生成された潜在的な他のデータを受信するためのクラウド処理システムであり得る。データ収集システム８９４０はまた、必ずしもこれらに限定されないが、多くの異なる実施形態において実現され得るプロセッサ８９４７およびメモリ８９４９を含む、適切なハードウェアコンポーネントを含む。
図９０Ａおよび図９０Ｂは、デジタル画像において描写された顔へ顔属性を転写することをもたらすために、本明細書において説明される実施形態において使用され得るＧＡＮモデル（例えば８９２０）を生成するための敵対的生成ネットワーク（ＧＡＮ）についての例示的な機械学習フェーズを示す。
図９０Ａにおいて、初期訓練フェーズが識別器８９２４について示される。一例において、識別器８９２４は、イメージを処理してそれらのイメージを現実または偽物として分類することを学習する標準畳み込みニューラルネットワーク（ＣＮＮ）であり得る。訓練データ９０１０は、現実のイメージ９０１２および偽イメージ９０１４を含み得る。現実のイメージ９０１２は人間の顔を描写し、偽イメージ９０１４は、人間の顔以外のものを描写する。深層学習（例えば畳み込みニューラルネットワークを介する）を適用してイメージを現実の顔または偽の顔として分類することを学習するために、訓練データは、識別器８９２４にフィードされる。
識別器が人間の顔のイメージを現実または偽物として分類するように訓練されると、ＧＡＮは、図９０Ｂに示されるように訓練され得る。一例において、生成器８９２２は、デコンボリューション（または逆畳み込み）ニューラルネットワークであり得る。生成器８９２２は、入力イメージ９０２２から入力イメージを取得し、標的ドメイン９０２４に基づいて顔属性転写を実行することによって、それを偽装された（または偽の）イメージに変換し得る。少なくとも１つの実施形態において、ドメイン属性は、空間的に複製され、入力イメージと連結される。生成器８９２２は、識別器によって現実のイメージから区別できない偽イメージ９０２６を生成することを試みる。
図９０Ａに示されるように現実または偽の人間の顔を認識するように訓練された識別器８９２４は、偽イメージ９０２６を受信し、畳み込みオペレーションを偽イメージに適用し、それを「現実」または「偽」として分類し得る。生成器は最初に高い損失値で偽イメージを生成し得る。訓練が継続するにつれて、生成器損失の逆伝搬は、生成器の重みおよびバイアスを更新して、より現実的なイメージを生成するために使用され得る。偽イメージが識別器を「騙して」、それを「現実」として分類させるとき、「現実」の人間の顔を「偽」の（例えば生成器によって生成された）人間の顔からより正確に区別するべく、識別器の重みおよびバイアスを更新するのに逆伝搬が使用される。図９０Ｂに示されるように、閾値の割合の偽イメージが識別器によって現実として分類されるまで、訓練は継続し得る。
図９１は、少なくとも１つの実施形態による、ＧＡＮ構成システム８９１０の追加の可能なコンポーネントおよび動作の詳細を示す。ＧＡＮ構成システム８９１０において、標的ドメインが識別され、ＧＡＮモデル８９２０を構成するために使用され得る。標的ドメインは、入力イメージにおいて描写される顔を修正するためにＧＡＮモデルによって使用される１または複数の属性を示す。標的ドメインにない特定の他の属性は修正されないので、従って、ＧＡＮモデルの生成器８９２２によって生成された、偽装イメージに保持される。例えば、車両技術において、保持することが望ましいことがあり得る属性は、顔によって表される、人の意図を示し得る注視属性を含む。人の軌道は、人の注視および推論された意図に基づいて決定され得る。車両技術において有用であり得る別の属性は感情である。キャプチャされたイメージにおける顔によって示される感情は、顔によって表される人が特定の感情を特定の時間に経験しているかどうか（例えば、ライドシェアサービスの乗員が満足しているかどうか、別の車両の運転者があおり運転の兆候を示しているか、歩行者が恐れているか、もしくは興奮しているかなど）を示し得る。任意の顔属性が保持され得るが、説明を容易にするべく、図９１に示されるＧＡＮ構成システム８９１０は、顔の他の識別する特徴を必要とすることなく、顔における注視および感情属性を変更なく維持する最適な標的ドメインを有するＧＡＮモデル８９２０の構成を参照して説明され得る。
少なくとも１つの実施形態において、イメージ変換に使用される標的ドメインは、顔の注視および／または感情を維持ながら、識別情報を最大限に偽装することを実現するために、選択され得る。例えば、最適な標的ドメインは、注視および感情表現を元のイメージのように、または、元のイメージと実質的に同様に維持しながら、人を認識する確率を最小化する１または複数の属性を示し得る。図９１は、最適な標的ドメインを決定するための１つの可能な実施形態を示す。
ＧＡＮ構成システム８９１０は、ＧＡＮモデル８９２０、属性検出エンジン８９１７（例えば感情検出モジュールおよび／または注視検出モジュール）および顔認識エンジン８９１８を含む。ＧＡＮモデル８９２０は、１または複数の顔属性を顔に転写することによって新しい偽装イメージ（例えば偽装イメージ９１１６）を生成するために、イメージに描写された顔を修正するよう事前訓練される。転写されるこの特定の顔属性は、ＧＡＮモデルの生成器の提供される、選択された標的ドメイン９１１４に基づく。例えば、ＳｔａｒＧＡＮ、ＩｃＧＡＮ、ＤＩＡＴ、またはＣｙｃｌｅＧＡＮを含む任意の数の好適なＧＡＮモデルが使用され得る。
望ましい顔属性（例えば、注視および意図、感情）を保持すると同時に、匿名の顔についての最適な標的ドメインでＧＡＮモデル８９２０を構成するべく、選択された標的ドメイン９１１４と共に、テストイメージ９１１２がＧＡＮモデル８９２０の生成器８９２２へフィードされ得る。所与のテストイメージについて、生成器８９２２は、選択された標的ドメイン９１１４に対応するテストイメージにおける属性が修正される、偽装イメージ（例えば、偽装イメージ９１１６）を生成し得る。例えば、選択された標的ドメインが「年齢」および「性別」についての属性識別子を含む場合、偽装イメージにおいて描写される顔は、テストイメージから修正され、より高齢に見える、または、反対の性別に見える。しかしながら、注視および感情など、顔における他の属性は不変のままであるか、または、少なくとも最小限に変更される。
少なくとも１つの実施形態において、属性検出エンジン８９１７が提供され得、望ましい属性が、偽装イメージ９１１６においてまだ検出可能であるかどうか評価する。例えば、感情検出器モジュールは、偽装イメージを評価し得、偽装イメージにおいて描写された、修正された顔において検出された感情が、テストイメージ（例えば９１１２）において描写された、対応する現実の顔において検出された感情と同じ（または実質的に同じ）かどうか決定し得る。別の例において、注視検出器モジュールは、偽装イメージを評価して、偽装イメージにおいて描写された、修正された顔において検出された注視が、テストイメージにおいて描写された、対応する現実のイメージにおいて検出された注視と同じ（または実質的に同じ）かどうかを決定し得る。従って、少なくともいくつかの実施形態において、テストイメージ９１１２、または、テストイメージにおいて示された属性を指定するラベル（例えば、うれしい、怒っている、注意をそらされている、注視の方向など）も属性検出エンジン８９１７に提供され得、比較を行う。他の望ましい属性はまた、偽装イメージにおける検出可能かどうかを決定するために評価され得る。望ましい１または複数の属性（例えば感情、注視）が検出されない場合、新しい属性または新しい属性のセットを示す新しい標的ドメインが、生成器８９２２への入力のために選択され得る。しかしながら、望ましい１または複数の属性が検出される場合、偽装イメージが顔認識エンジン８９１８にフィードされ得、偽装された顔が認識可能かどうか決定する。
顔認識エンジン８９１８は、選択された人のグループ（例えば有名人のグループ）を認識するよう構成または訓練される任意の好適な顔認識ソフトウェアであり得る。例えば、Ｃｅｌｅｂｒｉｔｙ Ｅｎｄｐｏｉｎｔは、１万人以上の有名人を検出できる顔認識エンジンであり、本明細書において説明される１または複数のテストシナリオにおいて使用され得、テストイメージ９１１２は、Ｃｅｌｅｂｒｉｔｙ Ｅｎｄｐｏｉｎｔによって認識可能な有名人のイメージである。少なくとも１つのシナリオにおいて、ＧＡＮモデル８９２０がテストイメージ９１１２を処理する前に、これらのテストイメージは、顔認識エンジン８９１８によって処理され得、顔認識エンジンにより認識可能であることを確実にする。別のシナリオにおいて、顔認識エンジン８９１８によって認識可能な特定のイメージは、テストイメージ９１１２として使用するためにＧＡＮ構成システム８９１０からアクセス可能であり得る。
偽装イメージが生成されると（望ましい属性は偽装イメージにおいてなお検出可能である）、偽装イメージから人を識別できるかどうか決定するために、偽装イメージは顔認識エンジン８９１８にフィードされ得る。顔認識エンジンが偽装イメージから人を認識する場合、生成器は、顔を十分に匿名化しない。したがって、新しい属性または新しい属性のセットを示す新しい標的ドメインが、生成器８９２２へ入力するために選択され得る。しかしながら、顔認識エンジンが偽装イメージから人を認識しない場合、偽装イメージを生成するために使用された、選択された標的ドメインが、望ましい属性を保持しながら顔の匿名化に成功したと決定される。少なくとも１つの実施形態において、望ましい属性を保持しながら、閾値の数（または割合）のイメージの匿名化に成功すると、イメージの匿名化に成功した、選択された標的ドメインは、ＧＡＮモデル８９２０を構成するのに使用され得る。一例において、選択された標的ドメインは、自律車両のリアルタイムオペレーションにおいて使用するためのＧＡＮモデル８９２０の標的ドメインのセットであり得る。
ＧＡＮ構成システム８９１０におけるアクティビティのいくつかは、ユーザアクションによって実行され得る、または自動化され得ることは明らかである。例えば、新しい標的ドメインは、最適な標的ドメインでＧＡＮモデルを構成する役割を担う、ユーザによるＧＡＮモデル８９２０への入力のために選択され得る。他のシナリオにおいて、標的ドメインは、自動的に選択され得る。また、偽装イメージとテストイメージとが視覚に比較され得るが、そのような手動の取り組みは、イメージにおいて描写される人の識別情報が十分に偽装されているかどうか、および、偽装イメージがコンピュータビジョンアプリケーションにおいて有用であるように望ましい属性が十分に保持されているかどうかを決定する効率性および正確度を著しく低減し得る。
図９２は、ＳｔａｒＧＡＮベースのモデルを使用して入力イメージ９２０２の異なる顔属性を修正することによって生成される、例示的な偽装イメージ９２０４を示す。入力イメージ９２０２を修正するのに使用される属性は、髪の色（例えば黒髪、金髪、茶髪）および性別（例えば男性、女性）を含む。ＳｔａｒＧＡＮベースのモデルはまた、年齢（例えば高齢に見える）および肌の色（例えば、青白い、茶色、オリーブなど）などの他の属性が修正されたイメージを生成するために使用され得る。加えて、これらの属性の組み合わせはまた、Ｈ＋Ｇ（例えば、髪の色および性別）、Ｈ＋Ａ（例えば、髪の色および年齢）、Ｇ＋Ａ（例えば、性別および年齢）およびＨ＋Ｇ＋Ａ（例えば、髪の色、性別、および年齢）を含むイメージを修正するのに使用され得る。他の既存のＧＡＮモデルは、再構築（例えば、顔構造の変化）、禿、前髪、眼鏡、厚化粧および笑顔などの属性修正を提供し得る。これらの属性の変換のうち１または複数は、テストイメージに適用され得、本明細書において以前に説明されたように、車両において使用されるＧＡＮモデルを構成するために使用される最適な標的ドメインを決定するために、変換されたもの（または偽装イメージ）は評価され得る。
図９３は、現実の顔の入力イメージ９３０２、ならびに、現実および偽装イメージを評価する顔認識エンジンの結果（例えば８９１８）から、ＳｔａｒＧＡＮベースのモデルによって生成された例示的な偽装イメージ９３０４を示す。偽装イメージ９３０４は、入力イメージ９３０２の異なる顔属性を変更することによって生成される。この例において入力イメージ９３０２を修正するのに使用される属性は、黒髪、金髪、茶髪、および性別（例えば男性）を含む。顔認識エンジンの使用は、ＧＡＮモデルから生成されたイメージが顔をどのように匿名化し得るかを示す。例えば、例示的な顔認識エンジンは、有名人を認識する。従って、非有名人の入力イメージが顔認識エンジンによって処理されるとき、結果は、入力イメージが認識されないこと、または、潜在的に非有名人入力イメージを誤識別し得ることを示し得る。図９３に示される顔認識エンジンの結果９３０６は、入力イメージ９３０２によって表される人が、顔認識エンジンが認識するよう訓練された有名人でないことを示す。しかしながら、顔認識エンジンは、偽装イメージ９３０４のいくつかを誤識別し得る。例えば、結果９３０６は、黒髪を有する偽装イメージは、女性有名人１として認識され、性別変換を有する偽装イメージは、男性有名人２として認識されることを示す。更に、性別が変更されるとき、顔認識エンジンは、偽装イメージが反対の性別の人を描画していると認識し、現実の人のプライバシー保護を増加させることに留意されたい。
他のテストシナリオにおいて、入力イメージは、顔認識エンジンによって認識可能な有名人を含み得る。有名人のこれらの入力イメージは、ＧＡＮモデルを通じてフィードされ、選択された標的ドメインに基づいて偽装され得る。本明細書において以前に説明されたように、最適な標的ドメインは、閾値の数の偽装イメージを認識しない、および／または、閾値の数の偽装イメージを不正確に認識する顔認識エンジンに基づいて識別され得る。
図９４Ａは、現実の顔の入力イメージ９４０２、ならびに、現実および偽装イメージを評価する感情検出エンジンの結果から、ＳｔａｒＧＡＮベースのモデルによって生成された例示的な偽装イメージ９４０４を示す。偽装イメージ９４０４は、入力イメージ９４０２の異なる顔属性を変更することによって生成される。入力イメージ９４０２を修正するのに使用される属性は、黒髪、金髪、茶髪、および性別（例えば男性）を含む。図９４Ａはまた、感情検出エンジンの例示的な結果９４０８Ａ－９４０８Ｅを示す。１つの例示的な感情検出エンジンは、イメージにおける顔の表情を入力として取得し得、顔の表情における感情を検出する。結果９４０８Ａ－９４０８Ｅに示されるように、黒髪を有する偽装イメージについての結果９４０８Ｂにおける怒りの最小限の検出、および、性別変換を有する偽装イメージについての結果９４０８Ｅにおける怒りおよび驚きの最小限の検出を例外として、怒り、軽蔑、嫌悪、恐怖、中立、悲しみ、驚きの感情は、概ね感情検出エンジンによって検出されない。代わりに、エンジンは入力イメージおよびすべての偽装イメージにおいて喜びを強く検出する。図９４Ａは、人の認識に失敗しているが、ＧＡＮモデルの偽装アプローチは、偽装イメージ９４０４の各々における入力イメージ９４０２からの感情を保持することを示す。
図９４Ｂは、図９４Ａに示される入力イメージ９４０２および偽装イメージ９４０４についての感情検出エンジンの例示的な処理に対応する、入力パラメータおよび出力結果のリスト９４５０を示す。
図９５は、ＩｃＧＡＮベースモデルによって実行される、現実の顔の入力イメージ９５１０から偽装イメージ９５２０への変換例を示す。図９５において、フレーム９５１２によって強調される、入力イメージにおける人の注視は、フレーム９５２２によって強調される偽装イメージにおいて同じまたは実質的に同じである。特定の識別用の特徴が修正されているので、顔は同じ人として認識可能されないことがあり得るが、注視など顔の他の特徴は保持される。自律車両シナリオにおいて、顔のイメージにおける注視の保持は、車両の車載インテリジェンスが、注視に基づいて、歩行している人の軌道を予測および予想すること、および、個々のプライバシーを犠牲にすることなく、保持された特徴から他の有用な情報を潜在的に収集することを可能にする。
図９６は、車両（例えば８９５０）において実装される、構成されたＧＡＮモデル（例えば８９３０）の追加的な可能な動作の詳細を示す。構成されたＧＡＮモデル８９３０は、キャプチャされたイメージに適用される１または複数の属性を示す標的ドメイン８９３６で構成される。少なくとも１つの実施形態において、標的ドメイン８９３６は、性別、髪の色、年齢、肌の色などの属性を表す１または複数の属性識別子を含み得る。一例において、生成器８９３２は、標的ドメイン８９３６によって示された属性を、キャプチャされたイメージ９６１２において描写される顔に転写し得る。この属性転写の結果は、生成器８９３２によって生成された偽装イメージ９６１６である。１つの非限定的な例において、標的ドメイン８９３６は、性別および年齢の属性識別子を含む。
キャプチャされたイメージ９６１２は、車両に搭載されたカメラまたは他のイメージキャプチャデバイスによって取得され得る。キャプチャされたイメージの可能なタイプの例は、必ずしもこれらに限定されないが、歩行者、自転車に乗っている人、走っている人、他の車両の運転者、および、車両内の乗員を含む。これらのタイプのキャプチャされたイメージの各々は関連する情報を提供し得、それにより、車両のコンピュータビジョンシステムは、車両の近傍にある人および他の車両を伴うリアルタイムのイベントについてインテリジェントな予測を行う。
偽装イメージ９６１６は、データを受信する権限がある任意の好適なシステム、アプリケーション、クラウドなどに提供され得る。例えば、偽装イメージ９６１６は、車両またはクラウドにおけるコンピュータビジョンシステム（例えば８９５５）のアプリケーション（例えば８９５６）に、および／または、データ収集システム（例えば８９１４０）に提供され得る。
少なくともいくつかの実施形態において、構成されたＧＡＮモデル８９３０は、継続的にリアルタイムに訓練され得る。これらの実施形態において、構成されたＧＡＮモデル８９３０は、生成器によって生成された、偽装イメージ９６１６などの偽装イメージを受信する識別器８９３４を実行する。識別器は、偽装イメージが現実か、または偽かを決定する。識別器が偽装イメージを現実として分類する場合、イメージが現実か、または偽かをより良く予測する方式を学習するために、識別器の損失値は、識別器に逆伝搬され得る。識別器が偽装イメージを偽として分類する場合、識別器を騙して現実として分類させる可能性がより高い偽装イメージを生成するように継続的に生成器を訓練するために、生成器の損失値は、生成器に逆伝搬され得る。しかしながら、連続的なリアルタイムの訓練は、少なくともいくつかの実施形態において実装されないことがあり得ることは明らかである。代わりい、構成されたＧＡＮモデル８９３０の生成器８９３２は、対応する識別器８９３４無しで、または、非アクティブな、または選択的にアクティブな識別器８９３４を用いて実装され得る。
図９７は、少なくとも１つの実施形態による、偽装イメージ９７１６を生成するための、車両８９５０における構成されたＧＡＮモデル８９３０の例示的なオペレーション、および、機械学習タスクにおける偽装イメージの使用を示す。９７１２において、人間の顔を有する車両データが、車両に搭載された１または複数のイメージキャプチャデバイスによって収集される。図９７に示されるオペレーションを視覚的に示すために、現実の顔を描画する例示的な入力イメージ９７０２、および、修正された顔を描画する例示的な偽装イメージ９７０８が示される。これらの例示的なイメージは、図９５を参照して以前に示され、説明された。イメージ９７０２は、説明の目的で提供されたものであり、顔は、車両に関連付けられたイメージキャプチャデバイスによって典型的にキャプチャされるイメージの小さい一部であり得ることに留意されたい。加えて、いくつかのシナリオにおいて、人間の顔９７１２を有する車両データは、車両に関連付けられたイメージキャプチャデバイスから受信された、キャプチャされたイメージ、および／または、車両とは別個（例えば、他の車両、ドローン、交通信号機など）のイメージキャプチャデバイスから受信されたキャプチャされたイメージを含み得る。
顔検出および調整モデル９７２０は、車両データからのイメージにおける顔を検出および調整し得る。少なくとも１つの実施形態において、マルチタスクカスケード畳み込みネットワーク（ＭＴＣＮＮ）などの教師あり学習モデルが、検出および調整の両方に使用され得る。顔の調整は、顔の特定のコンポーネント（例えば眼、鼻、口）の場所を推定することを伴うコンピュータビジョン技術である。図９７において、顔検出は、例示的なイメージ９７０４において示され、眼の調整は、例示的なイメージ９７０６において示される。
検出された顔は、標的ドメイン８９３６と共に、構成されたＧＡＮモデル８９３０にフィードされる。一例において、検出された顔に対する性別および年齢の変換の組み合わせは、感情および注視情報など、顔の望ましい特徴を維持しながら、顔認識の確率を低くし得る。イメージ９７０８に示されるように、構成されたＧＡＮモデル８９３０の生成器は、標的ドメイン８９３６、および、顔検出および調整モデル９７２０からの入力イメージに基づいて、偽装イメージ９７１６を生成する。
この例では顔認識９７１８は失敗しているが（例えば、偽装イメージ９７０８の顔は元のイメージ９７０２に示される同じ人として認識可能でない）、注視などの顔の特定の特徴は保持されていることに留意されたい。自律車両シナリオにおいて、車両の車載インテリジェンス（例えばコンピュータビジョンシステム８９５５）はなお、移動する人（例えば、歩行している、走っている、自転車に乗っている、車を運転しているなど）の軌道を注視に基づいて予測および予想し得る。イメージデータにおける人の識別用の特徴のいくつかは、イメージが処理されるときに（例えば変換または修正によって）破棄されるので、偽装イメージから有用な情報を取得するコンピュータビジョンアプリケーションの能力を損なうことなく、データにおいて人の識別情報を復元しようとする悪意のある、または詮索するアクター（例えば、ハッカーまたは監視エンティティ）の試みは失敗する。
偽装イメージは、特定の実装および必要性に基づいて、任意のシステム、アプリケーションまたはクラウドに提供され得る。この例において、顔によって表される人のアクションを予測することを助けるために、偽装イメージ９７１６は、車両上のコンピュータビジョンアプリケーション９７４０に提供される。例えば、注視検出９７４２は、人（例えば歩行者、別の運転者など）がどこを見ているかを決定し得、軌道予測９７４４は、人が取る可能性が高い軌道または経路を予測し得る。例えば、歩行者が電話を見えている、または、注意をそらされている他の兆候を示す場合、および、予測軌道が、人が車両の経路に入る可能性が高いことを示す場合、運転者にアラートする、クラクションを鳴らす、速度を低減する、停止する、または、任意の他の適切なアクション、またはアクションの組み合わせなど、１または複数のアクションを講じるために、適切なコマンドが発行され得る。
別の例において、偽装イメージ９７１６は、顔によって表される人の感情を決定するために使用され得る。これは、例えば、乗員がサービスに満足しているか、または不満足かを決定するために、輸送サービスプロバイダなどのサービスプロバイダにとって有用であり得る。少なくともいくつかのシナリオにおいて、そのような評価は、車両からリモートで、例えば、サービスプロバイダのクラウド処理システム９７５０によって行われ得る。したがって、車両上のイメージキャプチャデバイスによってキャプチャされた個人（例えばタクシーの中の乗員）の写真は、他のシステム、アプリケーション、デバイスなどと共有され得る。例えば、感情検出９７５２は、偽装イメージにおいて描写される人の特定の感情を検出し得る。アクション予測／評価９７５４は、偽装イメージにおいて描写される人が講じる可能性が高い特定のアクションを予測し得る。例えば、極端な怒りまたは苦痛は、アラートを運転者に送信するために使用され得る。本明細書における実施形態は、注視および感情検出の成功を可能にする特定の属性を保持しながら、顔を偽装することによってユーザのプライバシーを保護し、顔認識を防止する。
図９８を参照すると、図９８は、顔のイメージに対して属性転写を実行するように訓練される敵対的生成ネットワーク（ＧＡＮ）を構成することに関連付けられるオペレーションの高レベルの可能なフロー９８００を示す簡略フローチャートである。少なくとも１つの実施形態において、オペレーションのセットは図９８のアクティビティに対応する。ＧＡＮ構成システム８９１０は、オペレーションのセットの少なくとも一部を利用し得る。ＧＡＮ構成システム８９１０は、オペレーションを実行するための１または複数のデータプロセッサ８９３７を含み得る。少なくとも１つの実施形態において、ＧＡＮモデル８９２０の生成器８９２２、属性検出エンジン８９１７、および顔認識エンジン８９１８は各々、オペレーションの１または複数を実行し得る。いくつかの実施形態において、フロー９８００のオペレーションの少なくともいくつかは、ユーザインタラクションを用いて実行され得る。例えば、いくつかのシナリオにおいて、ユーザは、テストされる新しい標的ドメインについての属性を選択し得る。他の実施形態において、新しい標的ドメインについての属性が、例えばランダムに、または、アルゴリズムに基づいて自動的に選択され得る。
９８０２において、ＧＡＮモデルの生成器は、顔のテストイメージを受信する。少なくとも１つの実施形態において、フロー９８００において処理されたテストイメージは、エンジンによって認識可能であることを確実にするために、顔認識エンジン８９１８によってアプリオリに評価され得る。９８０４において、生成器は、テストイメージにおける顔を偽装するために使用される１または複数の属性を示す標的ドメインを取得する。
９８０６において、生成器はテストイメージに適用され、選択された標的ドメイン（例えば性別、年齢、髪の色など）に基づいて偽装イメージを生成する。偽装イメージは、１または複数の属性に基づいて修正されるテストイメージから顔を描写する。
９８０８において、偽装イメージが属性検出エンジンに提供され、偽装イメージにおいて望ましい属性が検出可能かどうかを決定する。例えば、注視属性は、保持することが望ましいことがあり得るので、コンピュータビジョンシステムアプリケーションは、注視を検出して、注視に関連付けられた人の意図および／または軌道を予測し得る。別の例において、感情は、第三者が顧客である人の感情を評価して、顧客の体験のタイプ（例えば、満足している、苛立っているなど）を決定し得るように、保持されることが望ましい属性であり得る。任意の他の所望の属性が、特定の実装および必要性、および／または、偽装イメージを消費する機械学習システムのタイプに基づいて評価され得る。
９８１０において、所望の属性が検出可能かどうかについて決定される。所望の属性のうち１または複数が検出可能でない場合、９８１６において、新しい標的ドメインがテストのために選択され得る。新しい標的ドメインは、単一属性または属性の組み合わせを示し得、ユーザによって手動で選択され得る、または自動的に選択され得る。フローが９８０４に戻り、ここで、新しく選択された標的ドメインが生成器で受信され、新しく選択された標的ドメインを使用して別のテストが実行される。
９８１０において、望ましい属性が偽装イメージにおいて検出可能であると決定された場合、９８１２において、偽装イメージが顔認識エンジンに提供され、偽装イメージが認識可能であるかどうかが決定される。９８１４において、偽装イメージが顔検出エンジンによって認識されるかどうかについて決定される。偽装イメージが認識される場合、９８１６において、新しい標的ドメインがテストのために選択され得る。新しい標的ドメインは、単一属性または属性の組み合わせを示し得、ユーザによって手動で選択され得る、または、自動的に選択され得る。フローは９８０４に戻り、ここで、新しく選択された標的ドメインが生成器で受信され、新しく選択された標的ドメインを使用して別のテストが実行される。
９８１４において、偽装イメージが顔検出エンジンによって認識されないと決定された場合、９８１８において、ＧＡＮモデルは、その標的ドメインを、偽装イメージを生成するために生成器によって使用された標的ドメインとして設定することによって構成され得る。少なくとも１つの実施形態において、生成器によって使用された、選択された標的ドメインは、同じ選択された標的ドメインに基づいて偽装された、特定の閾値の数の偽装イメージが顔検出エンジンによって認識されなくなるまで、生成器を構成するために使用されないことがあり得る。
図９９は、構成されたＧＡＮモデル（例えば８９３０）がシステムにおいて実装されるとき、車両（例えば８９５０）のプライバシー保護コンピュータビジョンシステム（例えば８９５５）のオペレーションに関連付けられたオペレーションの高レベルの可能なフロー９９００を示す簡略フローチャートである。少なくとも１つの実施形態において、オペレーションのセットは図９９のアクティビティに対応する。構成されたＧＡＮモデル８９３０ならびに顔検出および調整モデル９７２０は各々、オペレーションのセットのうち少なくとも一部を利用し得る。構成されたＧＡＮモデル８９３０ならびに顔検出および調整モデル９７２０は、オペレーションを実行するための１つより多くのデータプロセッサ８９５７を含み得る。
９９０２において、プライバシー保護コンピュータビジョンシステムは、車両に関連付けられたイメージキャプチャデバイスによってキャプチャされたイメージを受信する。他のシナリオにおいて、コンピュータビジョンシステムは、車両の近傍にある別のデバイスからイメージを受信し得る。例えば、イメージは、イメージを受信する車両の近くを通る別の車両によって取得され得る。
９９０４において、キャプチャされたイメージが顔を描写するかどうかが決定される。キャプチャされたイメージが顔を描写しないと決定された場合、フロー９９００は終了し得、構成されたＧＡＮモデルはキャプチャされたイメージを処理しない。
キャプチャされたイメージが顔を描写すると９９０４で決定された場合、９９０６において、キャプチャされたイメージにおいて顔が検出される。例えば、顔に対応する画素のセットが、キャプチャされたイメージにおいて検出され得る。９９０８において、顔のコンポーネント（例えば、眼頭、口角など）の場所を推定するために、検出された顔は調整される。９９１０において、生成器についての入力イメージが、検出された顔、および、顔コンポーネントの推定された場所に基づいて生成され得る。少なくとも１つの例において、マルチタスクカスケード畳み込みネットワーク（ＭＴＣＮＮ）などの教師あり学習モデルは、検出および調整の両方に使用され得る。
９９１２において、構成されたＧＡＮモデルの生成器は、入力イメージに適用され、生成器における標的ドメインセットに基づいて偽装イメージを生成する。標的ドメインによって示される属性は、少なくとも１つの実施形態における年齢および／または性別を含み得る。他の実施形態において、属性（例えば、髪の色、眼の色、肌の色、化粧など）の他の組み合わせ、または、単一属性は、そのような属性が認識可能されないが望ましい属性を保持する偽装イメージをもたらす場合、標的ドメインによって示され得る。
９９１４において、偽装イメージは、これらに必ずしも限定されないが、クラウドデータ収集システム、コンピュータビジョンシステムにおけるアプリケーション、および政府エンティティ（例えば、運輸省などの規制エンティティ）の１または複数を含む適切なデータ受信者へ送信される。
図１００は、構成されたＧＡＮモデル（例えば８９３０）が入力イメージに適用されるときに発生し得るオペレーションと関連付けられたオペレーションの高レベルの可能なフロー１００００を示す簡略フローチャートである。少なくとも１つの実施形態において、オペレーションのセットは、図１００のアクティビティに対応する。生成器８９３２および識別器８９３４を含む、構成されたＧＡＮモデル８９３０は各々、オペレーションのセットの少なくとも一部を利用し得る。構成されたＧＡＮモデル８９３０は、オペレーションを実行するために、１または複数のデータプロセッサ８９５７を含み得る。少なくとも１つの実施形態において、フロー１００００のオペレーションは、９９１２において示されるオペレーションに対応し得る。
１０００２において、車両における構成されたＧＡＮモデルの生成器は、入力イメージを受信する。入力イメージは、例えば、車両によってキャプチャされたイメージにおいて描写される顔を検出および調整することによって生成され得る。１０００４において、生成器は、生成器の事前構成された標的ドメイン（例えば性別および年齢）に基づいて入力イメージから偽装イメージを生成する。
１０００６において、構成されたＧＡＮモデルの識別器は、偽装イメージを生成器から受信する。１０００８において、識別器は、偽装イメージを現実または偽として分類するために、偽装イメージに対して畳み込みニューラルネットワークオペレーションを実行する。
１００１０において、偽装イメージの分類について決定される。識別器が偽装イメージを偽として分類した場合、１００１２において、識別器によって「現実」として分類される偽装イメージ（例えば識別器を騙す偽装イメージ）を生成するように生成器を継続的に訓練するために、生成器の損失が生成器へ伝搬される。１００１４において、生成器は、標的ドメインおよび生成器の損失に基づいて、入力イメージから別の偽装イメージを生成し得る。フローは次に１００１０に移り得、識別器が新しい偽装イメージをどのように分類するかが決定される。
１００１０において、識別器が偽装イメージを現実として分類した場合、１００１６において、より正確に偽イメージを認識するように継続的に識別器を訓練するために、識別器の損失は、識別器へ伝搬され得る。
フロー１００００は、構成されたＧＡＮモデルが、車両において実装されたときに、リアルタイムに生成器および識別器を継続的に訓練する例示的なフローを示す。いくつかのシナリオにおいて、例えば構成されたＧＡＮモデルを更新するために、追加の訓練が望ましくなるまで、訓練は、選択された期間中に停止され得る。これらのシナリオにおいて、少なくともいくらかの期間中、キャプチャされたイメージが処理されるとき、生成器のみがニューラルネットワークオペレーションを実行し得る。追加の訓練が開始されるまで、識別器は実行されないことがあり得る。
自律運転システムに関連して収集されるイメージデータに関連付けて保護されるプライバシーを提供するために、追加的（または代替的）な機能がいくつかの実装において提供され得る。例えば、オンデマンドプライバシー遵守システムが、自律車両のために提供され得る。実施形態において、プライバシー措置が必要となるまで、収集された車両データに対するプライバシー措置の適用を遅らせる「レイジー」なオンデマンド方式に関連して記述タグが使用される。記述タグが、データの異なる属性を指定するために使用される。図１０１から図１１１を参照して使用されるように、「属性」という用語は、データの特徴、特性、または性質を意味することが意図される。属性は、プライバシー規制および要件を遵守するために、プライバシーのプロビジョニングを主観的に定義するために使用され得る。「レイジー」なポリシーがデータセットに適用されるかどうかを決定するために、特定の車両からのデータセットに適用されるタグは、クラウドまたは車両において評価される。レイジーなポリシーが適用される場合、潜在的にプライバシーを損ない得る方式でデータセットが使用されるまで、データセットの特定の態様をプライバシー保護または匿名化するための処理を遅らせる。
自律車両などの新しい技術は、（ｉ）膨大なセンサデータの一群、および、（ｉｉ）収集データの使用および扱いを規制する、現行、策定中、および頻繁に変化する厳格な法則および規制を特徴とする。Ｌ４／Ｌ５自律車両、カメラ、およびビデオデータなど、いくつかのエッジデバイスにおいて、５ＴＢ／時間のレートで生成され得る。このデータは、プライバシーおよび安全性の懸念を提起し得る、様々な政府の規制の対象となり得る個人識別情報を含み得る。この個人識別情報は、これらに必ずしも限定されないが、子を含む人のイメージ、私有地の住所またはイメージ、車両の場所の厳密な座標、および／または、車両ナンバープレートのイメージを含み得る。いくつかの地方（例えば欧州連合）において、個人識別情報は、法律的に保護され、その保護された情報を保持する任意のエンティティに対して金銭的ペナルティが課され得る。
従来のデータセンタにおいて、データ管理技法は典型的に、新しいまたは修正された政府の法令の結果として突然に無効になり得る１つの遵守ポリシーを使用して、通常は１回だけ、データセット全体にわたって実装され得る。更に、いくつかのエッジデバイスによって生成されるデータの量（例えば５ＴＢ／時間）は、効率的な遵守ポリシーの適用を非スケーラブルにする。
概して、遵守を確実にするべく、データプライバシーなどの現在の遵守ポリシーは、すべてのデータファイルを処理することによって適用される。これらのポリシーは典型的に、潜在的なプライバシー違反を検出するために、予め定義された検索基準のセットを採用する。このアプローチは、自律車両などデータが豊富な環境において非効率であり、スケーラブルでない。現在、自律車両は、センサのアレイ全体で、５ＴＢ／時間ものデータを収集し得る。他のモバイルエッジデバイスと組み合わされたとき、センサデータが生成されるレートは、標準の処理チャネル、および、遵守を施行する追加のデータ管理分析を潜在的にあふれさせる。
追加的に、現在の遵守の解決手法は、プライバシー規制の連続的な変化および進歩、ならびに、ロケール、コンテキスト、および業界に関するこれらの規制の多様な性質に迅速に適合できない厳格な１回の実装である。例えば、米国における自律的な救急車は、運輸省の規制および医療保険の携行と責任に関する法律（ＨＩＰＡＡ）の両方の対象となるデータを収集し得る。更に、プライバシー規制は、州および国ごとに異なり得る。州または国の境界線を越える自律車両は、新しいロケールにおける規制を遵守するために、リアルタイムに処理を調整する必要がある。厳格な１回の実装は、潜在的に、これらおよび他のシナリオにおいて、遵守責任に晒されることを生じさせる。
現代のデータ遵守技法はまた、アプリケーションの開発を妨げ、展開の問題を生じさせ得る。典型的に、これらの技法は、データをサイロ化する、または、未処理のデータを共に削除するかのいずれかである。そのようなアクションは、データ処理に基づく、企業の能力開発パイプラインに対する重大な障害である。
図１０１に示される、自律車両のためのオンデマンドプライバシー遵守システム１０１００は、上記の問題の多く（それ以上）を解決する。本明細書の実施形態は、データに記述タグを取り付けることによって、車両によってキャプチャされた、またはそうでない場合、取得されたデータを豊富にする。タグは、遵守に必要なプライバシープロビジョニングを主観的に定義するために使用され得る異なる属性を指定する。少なくとも１つの実施形態において、タグはフラットであり、人間が割り当てること、理解することが容易である。それらは、例えば、場所、品質、時刻および／または使用を含む、データの異なる態様を説明するために使用され得る。本明細書において説明される少なくともいくつかの実施形態はまた、ピクチャにおけるオブジェクト、現在の場所、および／または時刻など、データの実際のコンテンツに基づく機械学習を使用する自動的タグ割り当てを含み得る。
実施形態はまた、プライバシー遵守に対処するために、「レイジー」なオンデマンド方式を適用する。レイジーなオンデマンド方式において、プライバシーポリシーを適用するためのデータ処理は、プライバシーを損ない得る状況においてデータが実際に使用されるまで可能な限り延期される。自律車両において収集されるデータは多くの場合、機械学習（ＭＬ）に使用される。機械学習は典型的には、データにサンプリングを適用して、訓練およびテストデータセットを生成する。単一の自律車両のみによって収集される大量のデータを考慮すると、これらのサンプルデータセットを処理してプライバシーポリシーをオンデマンドで適用することは、コンピューティングリソースのより良い使用を確実にする。更に、タグに基づいて、データがインデックス化および／またはストレージのために選択され得、これも、リソース使用を最適化する。
オンデマンドプライバシー遵守システム１０１００は複数の利点を提供する。システムは、車両内（モバイルエッジデバイス）で、または、データセンタ／クラウドインフラストラクチャのいずれかで実行され得る、コンピューティングが効率的でコンテクスチュアルドリブンの遵守ポリシーエンジンを含む。車両データ収集の実用性は、構造化メタデータと異なり、技術的および非技術的にフラットで人間が割り当て理解することが容易なタグを使用して豊富化される。本明細書の実施形態におけるタグの使用は、データセットにおけるすべてのフレームまたはファイルを検討する必要なく、正確なプライバシー遵守プロセスが正確なデータセットに対して実行されることを確実にする。従って、著しいデータセンタリソースが節約され得る。これらのタグは、車両データが規制プライバシー違反しないことを確実にする。従って、車両データを使用、格納、または処理するエンティティ（例えば企業、サービスプロバイダ、車両製造業者など）は、関連する遵守および規制法令への遵守を維持する。これにより、そのようなエンティティが重大な罰金を課されることを防止し得る。更に、規制が変更するとき、本明細書における実施形態は、重大なコードの変更またはシステムの再実装を必要とすることなく、これらの変更に対応できる。規制は、例えば、規制団体がプライバシー規制を追加または更新するとき、車両が１つの規制団体の対象となるエリアを出て別の規制団体の対象となるエリアに入る（例えば、運転して州の境界線を越える、運転して国境を越えるなど）ときに変化し得る。また、規制遵守に対処することにより、本明細書において説明される実施形態は、車両（および他のエッジデバイス）によって収集されたデータの信用性およびその管理ライフサイクルを増加させ得る。データプライバシーの保証に加えて、実施形態は、監査およびレポートの目的のために、追跡可能性を可能にする。更に、本明細書において説明されるモジュール型の拡張可能なフレームワークは、新しい革新的なプロセスを包含し得る。
図１０１を参照すると、オンデマンドプライバシー遵守システム１０１００は、クラウド処理システム１０１１０、車両１０１５０、および、車両１０１５０とクラウド処理システム１０１１０との間の通信を促進するネットワーク１０１０５を備える。クラウド処理システム１０１１０は、クラウド車両データシステム１０１２０、車両データを受信するためのデータインジェストコンポーネント１０１１２、クラウドポリシー１０１１４、およびタグインデックスデータ１０１１６を含む。車両１０１５０は、エッジ車両データシステム１０１４０、エッジポリシー１０１５４、データ収集部１０１５２、および多くのセンサ１０１５５Ａ－１０１５５Ｆを備える。図１０１の要素はまた、これらに必ずしも限定されないが、多くの異なる実施形態において実現され得るプロセッサ（例えば１０１１７、１０１５７）およびメモリ（例えば１０１１９、１０１５９）を含む適切なハードウェアコンポーネントを含み得る。
車両１０１５０において、データ収集部１０１５２は、センサ１０１５５Ａ－１０１５５Ｆからのほぼ連続的なデータフィードを受信し得る。センサは、静止イメージ（例えばピクチャ）および動くイメージ（例えばビデオ）をキャプチャするためのイメージキャプチャデバイスを含む、本明細書において説明される任意のタイプのセンサを含み得る。収集データは、少なくとも一時的にデータ収集部１０１５２に格納され、タグおよびエッジポリシー１０１５４を収集データから形成されたデータセットに適用するためにエッジ車両データシステム１０１４０に提供され得る。タグは、ウェブコンテンツを整理し、人間が容易に理解できる方式でラベリングし、検索のためにインデックス化することを助ける、任意のユーザ生成単語であり得る。エッジポリシー１０１５４が、タグに基づいてデータセットに適用され得る。ポリシーが、データセットに関連付けられた１または複数のタグを１または複数のプロセスに関連付ける。プロセスが、データセットに対する何等かの修正を実行するシステム設計における第１クラスのエンティティとして定義され、任意の個人識別情報へのアクセスを防止する。
少なくともいくつかのシナリオにおいて、車両によって収集された車両データのデータセットがクラウド処理システム１０１１０におけるクラウド車両データシステム１０１２０に提供され、タグに基づいてクラウドポリシー１０１１４をデータセットに適用する。このシナリオにおいて、車両から収集されたデータは、データセットに形成され、タグを付けられ、データインジェストコンポーネント１０１１２に提供され得る。これは次に、クラウドポリシー１０１１４がタグに基づいてデータセットに適用されるように、データセットをクラウド車両データシステム１０１２０に提供する。少なくとも１つの実施形態において、特定の車両（例えば１０１５０）からのデータセットに適用されるクラウドポリシー１０１１４は、データセットが車両に留まる場合にエッジ車両データシステム１０１４０によってデータセットに適用されるポリシーと同じであり得る。少なくともいくつかのシナリオにおいて、クラウド車両データシステム１０１２０はまた、タグをデータ（または、エッジ車両データシステム１０１４０によって既に適用されたタグを補完する追加タグ）に適用し得る。少なくともいくつかの実施形態において、タグ付けは、もっとも効率的に達成できる場所で実行され得る。例えば、クラウドにおいて地理的な（ジオ）タグ付けを可能にする技法が存在するが、多くの場合、それは車両によって実行される。なぜなら、イメージキャプチャデバイスは、全地球測位システムを含み、対象の場所に関連するリアルタイム情報を提供し得る。
図１０２を参照すると、図１０２は、車両によって収集されたデータ１０２１０、および、データのプライバシー遵守を確実にするために定義されるオブジェクトの表現を示す。オブジェクトは、１または複数のタグ１０２２０、１または複数のポリシー１０２３０、および１または複数のプロセス１０２４０を含む。少なくとも１つの実施形態において、データ１０２１０は、１または複数のファイル、イメージ、ビデオフレーム、記録、または、電子フォーマットの情報を含む任意のオブジェクトを含むデータセットであり得る。概して、データセットは、別個の要素（例えばファイル、イメージ、ビデオフレームなど）から形成される情報の関連するセットの一群である。
タグ１０２２０などのタグは、データの特性メタデータであり得る。タグは、データフォーマット（例えばビデオなど）、品質（例えば低分解能など）、ロケール（例えば米国、欧州連合など）、エリア（例えば高速道路、田舎、郊外、都市など）、交通量（例えば、少ない、普通、多いなど）、人間の存在（例えば、歩行者、自転車に乗っている人、運転者など）、および、データに関連する任意の他の情報を指定し得る。タグは、ウェブコンテンツを整理し、人間が容易に理解できる方式でラベリングし、検索のためにインデックス化することを助ける、任意のユーザ生成単語であり得る。いくつかの実施形態において、１または複数のタグが手動で割り当てられ得る。機械学習を使用して、少なくともいくつかのタグが自動的に割り当てられ得る。例えば、ニューラルネットワークは、収集データの様々な特性を識別し、各データセットをそれに従って分類するように訓練され得る。例えば、畳み込みニューラルネットワーク（ＣＮＮ）またはサポートベクタマシン（ＳＶＭ）アルゴリズムが、高速道路および郊外地域で取得された、データセットにおけるピクチャまたはビデオフレームを識別するために使用され得る。後者は、歩行者のピクチャおよびプライベート特性を含む確率がより高く、潜在的にプライバシー規制の対象となる。データセットは、「郊外」として分類され得、適切なタグがデータセットに取り付けられ得る、または、そうでない場合、関連付けられ得る。
プロセス１０２４０などのプロセスは、入力とｓちえデータセットを取得していくつかの処理をデータセットに適用する（その結果新しいデータセットが生じる）ＲＥＳＴアプリケーションプログラミングインタフェース（ＡＰＩ）として定義されるアクチュエーションアクションであり得る。プロセスの例は、これらに必ずしも限定されないが、データ匿名化スクリプトを個人識別情報（例えばＧＰＳ場所など）に適用すること、個人識別情報またはイメージ（例えば顔、ナンバープレート、プライベートまたは機密施設住所など）をぼかすこと、機密データをピクセル化すること、および、機密データを改訂することを含む。
プロセスは、システム設計において第１クラスのエンティティとして定義される。少なくとも１つの実施形態において、プロセスは、典型的な匿名化、改変、修正、圧縮、格納などであり得る。このことは、プロセスが容易に中止可能、交換可能、および追跡可能であるモジュール型のパイプライン設計が使用されることを可能にする。従って、データの変更は追跡され得、遵守要件は検査され得る。加えて、このモジュール型パイプライン設計は、新しい規制が施行される、または、既存の規制が更新されるとき、新しいプライバシープロセスの導入を促進する。
ポリシー１０２３０などのポリシーは、１または複数のタグを１または複数のプロセスに関連付ける。例えば、以前に説明されたように「郊外」でタグ付けされたデータセットは、人の顔およびプライベート特性情報を匿名化する（例えば、ぼかす、編集する、ピクセル化するなど）ために「郊外」タグをプライバシープロセスに関連付けるポリシーの対象になり得る。その場合のタグは、正しいプロセスを正しいデータセットに合致させることを、そのデータセットの性質、および、それが含む潜在的なプライバシーの含意に基づいて可能にする。
図１０３は、少なくとも１つの実施形態による、オンデマンドプライバシー遵守システム１０１００についての例示的なポリシーテンプレート１０３１０を示す。ポリシーテンプレート１０３１０は、ポリシーをオンデマンドポリシーとして定義する「レイジー」属性１０３１２を含み、その適用は延期され、後に要求されたときに適用される。より具体的には、潜在的にプライバシーを損ない得る状況においてデータセットが使用されるまで、ポリシーは適用されない。ポリシーがレイジーなポリシーとして指定されることが決定されると、データセットは、後の処理のためにマークされる。例えば、マークされた（例えばイメージの）データセットが機械学習のためにサンプリングされる前に、ポリシーは、データセットにおけるイメージにおける顔をぼかすために適用され得る。
ポリシーテンプレート１０３１０はまた、タグの連結または分離によって示される条件１０３１４を含む。したがって、１または複数のタグは、望ましい連結および／または分離で、条件１０３１４において使用され得る。タグの例は、必ずしもこれらに限定されないが、歩行者、夜、日、高速道路、田舎、郊外、都市、米国、ＥＵ、アジア、低分解能、高分解能、地理的（ジオ）場所、日付、時間を含み得る。
ポリシーテンプレート１０３１０は更に、データセット上のタグから、条件が満たされた場合に、データセットに対して実行される単一のプロセスまたはプロセスの連結を示すアクション１０３１６を含む。図１０３に示されるように、例示的な条件は、Ｈｉｇｈ－Ｒｅｓ ＡＮＤ Ｐｅｄｅｓｔｒｉａｎ ＡＮＤ （ＵＳ ＯＲ Ｅｕｒｏｐｅ）であり得、プロセスの例示的な連結は、顔をぼかし、データを圧縮する。したがって、この例示的なポリシーは、そのタグに従って、高分解能データおよび歩行者を含む、米国または欧州のいずれかで収集されたデータセットに適用可能である。データセットがタグのこの組み合わせを満たす場合、イメージにおける歩行者の顔をぼかし、データを圧縮するために、１または複数のプロセスが適用される。
図１０４は、可能なコンポーネントを示す簡略ブロック図、および、車両データシステム１０４００のオペレーションの一般的フローである。車両データシステム１０４００は、クラウド車両データシステム（例えば１０１２０）および／またはエッジ車両データシステム（例えば１０１４０）を表し得る。車両データシステム１０４００は、セグメンテーションエンジン１０４１０、タグ付けエンジン１０４２０、およびポリシー施行エンジン１０４３０を含む。車両データシステム１０４００は、車両からのデータセットをタグ付けし、データセットに取り付けられたタグに基づいてポリシーをデータセットに適用することによって、自律車両（例えば１０１５０）に取り付けられたセンサ（例えば１０１５５Ａ－１０１５５Ｆ）から収集されたデータについてのプライバシー遵守を確実にする。
セグメンテーションエンジン１０４１０は、新しいデータ１０４０２を受信し得る。これは、車両（例えば１０１５０）のデータ収集部（例えば１０１５２）によって収集されたデータである。セグメンテーションエンジン１０４１０は、新しいデータからデータセットを形成するために、新しいデータ１０４０２に対してセグメント化プロセスを実行し得る。例えば、新しいデータは、情報の関連するセットの一群を各々が含むデータセットにセグメント化され得る。例えば、データセットは、特定の日、地理的場所などに関連付けられたデータを含み得る。また、セグメント化は、用途に固有であり得る。少なくとも１つの実施形態において、タグは、データセットごとに適用され得る。
タグ付けエンジン１０４２０は、データセットのためにタグ１０４２４を出力する機械学習モデル１０４２２を含み得る。機械学習モデル１０４２２は、所与のデータ入力に基づいて適切なタグを識別するために訓練され得る。例えば、高速道路、郊外の車道、街路、または、田舎の道路のイメージまたはビデオフレームを与えられることにより、モデル１０４２２は、「高速道路」、「郊外」、「都市」または「田舎」などの適切なタグを識別し得る。使用され得る好適な機械学習技法の例は、必ずしもこれらに限定されないが、畳み込みニューラルネットワーク（ＣＮＮ）またはサポートベクタマシン（ＳＶＭ）アルゴリズムを含む。いくつかの例において、単一の機械学習モデル１０４２２は、各データセットについて１または複数のタグを生成し得る。他の実施形態において、１または複数の機械学習モデルは、データセットに適用可能であり得る様々なタグを識別するためにタグ付けエンジンにおいて使用され得る。
ポリシー施行エンジン１０４３０は、ポリシー選択部１０４３２、ポリシー１０４３４および処理キュー１０４３９を含み得る。ポリシー選択部１０４３２は、タグ付けエンジン１０４２０から、タグ付けされたデータセットを受信し得る。ポリシー１０４３４は、車両データシステム１０４００がエッジデバイス（例えば車両１０１５０）において実装される場合はエッジポリシー（例えば１０１５４）を、または、車両データシステム１０４００がクラウド処理システム（例えば１０１１０）において実装される場合はクラウドポリシー（例えば１０１１３）を表す。ポリシー選択部１０４３２は、データセット上で１または複数のタグを検出し、１０４３３において、検出されたタグに基づいて１または複数のポリシーを識別する。ポリシーは、どのプロセスがどの場合に適用可能が定義する。例えば、ポリシーは、米国のタグが付いたすべてのイメージについて、ナンバープレートをぼかし得る。
１０４３５において示されるように、ポリシー選択部１０４３２は、識別された１または複数のポリシーがレイジーなポリシーとして指定されるかどうかを決定する。データセットのタグに基づいてデータセットについて識別されるポリシーがレイジーとして指定される場合、データセットは、１０４３６に示されるように、オンデマンド処理についてマークされる。従って、レイジーなポリシーは、データセットに即時に適用されない。むしろ、データセットのコンテンツのプライバシーを損ない得る任意の他の方式でデータセットがクエリされ、読み取られ、コピーされ、またはアクセスされるまで、データセットはポリシーと共に格納される。例えば、識別されたポリシーが、イメージにおける顔をぼかすプロセスを示し、レイジーなポリシーとして指定される場合、データセットにおける任意のイメージは、顔をぼかすために即時に処理されず、むしろ、データセットはオンデマンド処理についてマークされて格納される。データセットが後にアクセスされるとき、識別されたポリシーを適用してデータセットのイメージにおける顔をぼかすために、データセットは処理キュー１０４３９に追加され得る。ポリシーが適用されると、データセットのアクセス要求が満たされ得る。
データセットのタグに基づいてデータセットについて識別されるポリシーがレイジーとして指定されない場合、データセットは、１０４３８に示されるように、処理キュー１０４３９に追加される。識別されたポリシーは次にデータセットに適用される。例えば、データセットについての識別されたポリシーが、ファイルにおけるデータを暗号化するためのプロセスを示し、レイジーなポリシーとして指定されない場合、データセットは、データセットの暗号化のために処理キュー１０４３９に追加される。データセットに関連付けられ、レイジーとして指定されるポリシーが無い場合、ポリシーのすべてがデータセットに適用される（例えば暗号化される）と、ポリシーはポリシー遵守データ１０４０６に追加され、ここで、更なるプライバシーポリシー処理無しでアクセスされ得る。
車両データシステム１０４００の能力のいくつかは、データフローを最適化するために、エッジデバイス（例えば車両１０１５０）において実装され得る。例えば、機密データがクラウド（例えば１０１１０）に保存されることを防止するために、プライバシーフィルタは、エッジに適用され得、したがって、ＥＵ一般データ保護規則（ＧＤＰＲ）などの最近の規制によって施行されるような、データ最小化規則の遵守を確実にする。例えば、プライバシーポリシーは、ＧＰＳ座標を都市など精度がより低い場所データで置き換えることによって場所データを匿名化することとして定義され得る。このポリシーは、高精度の場所がクラウドへ送信されることを防止するために、車両（エッジ）におけるすべての場所データに対して適用される非レイジーポリシーとして定義され得る。
少なくとも１つの実施形態において、コンテクスチュアルポリシーは、追加のコンテキストを、タグ付けされたデータセットに追加するリアルタイムイベントまたは他の情報に基づいて、車載処理に影響を与えるために使用され得る。限定ではなく例示として、２つの例を説明する。第１の例において、多くの国は、子供が危険にさらされたときにアラート（例えば、米国ではＡＭＢＥＲアラート）がトリガされるシステムを採用する。この子供安全性コンテクスチュアルポリシーは、インシデントの動的検索半径など、マイクロターゲティング地理領域へ、所有者がそのＡＭＢＥＲアラートタイプシステムを選択した車両へ伝達され得る。「高速道路」でタグ付けされたデータについては、ＡＭＢＥＲアラートタイプ条件下において、レイジーなポリシーは、「Ｎｏ」に設定され、データは、文字認識（ＯＣＲ）、車両の色（与えられる場合）、車両の説明（与えられる場合）と共に、ナンバープレートのリアルタイム処理のために車両機械学習エンジンへ送信される。このシナリオにおいて、「多数の車両」のプライバシーを維持するべく、「開始ヒットおよびヒット終了」内に取得されたＧＰＳ情報のみが、ＡＭＢＥＲアラートのアクター車両対象の周囲の「多数の車両」からｐｉｎｇまたはヒットを三角測量できる法執行機関へ送信される。
コンテクスチュアルポリシーを適用する第２の非限定的な例において、マイクロターゲティング地理領域がコンテクスチュアルポリシーについて選択され得る。例えば、いくつかの都市において、大きいホームレス人口は、公共公園の周囲、および、高速道路のランプ構造の横または下においてクラスタ化する傾向があり、固有のマイクロターゲティング地理領域を生じさせる。これらのローカライズされたマイクロ領域の場合、コンテクスチュアルポリシーまたは機能は、「人間の可能性が高い」である。データセットは「高速道路」または「高速道路ランプ」でタグ付けされ得、これらのタグについての関連ポリシーがレイジーなポリシーとして指定され得る場合でも、コンテクスチュアルポリシーは、レイジー処理をオーバーライドし、人間／歩行者についての処理のために、データを車載車両データシステム（例えば１０４００）へ送り得る。人間／歩行者は、道路自体では検出され得ないが、高速道路の周囲の人間のクラスタは、ほとんど警戒することなく道路を横断する個人の最高のインスタンスを有し得る。人間／歩行者の識別は、車両に反応時間を与えるために、そうでない場合に保証されるより遅い速度で作動するように車両における判断処理エンジンへ信号を送り得る。
継続的に高分解能マップを更新し、交通渋滞を追跡し、または、新しい使用事例が生じるときにモデルを再訓練するために、車両データシステム１０４００は、研究および設計システム（ここでは、機械学習モデルをビルドするために大量のデータが車両から収集される）、および、データが車両から収集される動作システムの両方において使用され得る。研究および設計システムにおいて、適切なタグを有するデータセットをどのように分類するかを学習するために、機械学習モデル１０４１４は、テストデータを用いて継続的に訓練され得る。テストデータは、テスト車両からの現実のデータを含み得る。
車両データシステム１０４００におけるタグ付け、ポリシー、および処理は、車両の計算リソース利用フレームワークに容易に統合される非常に効率的な施行ワークフローを作成するために使用される。１５０を超える電子制御ユニット、１～２個のＡＤＡＳ／ＡＶエンジン、および、中央サーバコントローラを有する車両において、算出された利用可能性およびポリシーに基づいて、処理を異なる算出ユニットへルーティングすることが可能である。
図１０５を参照すると、図１０５は、様々な可能な人間アクターならびにハードウェアおよび／またはソフトウェアアクターの視点から、エッジまたはクラウド車両データシステム１０４００の特徴およびアクティビティ１０５００を示す。少なくとも１つの例において、タグ付け１０５５０は、適切なタグ（例えば歩行者、高速道路、田舎、郊外、都市、ＧＰＳ、場所など）をデータセットに適用することを指す。少なくとも１つの実施形態において、自動化されたデータセットタグ付け１０４１２は、タグ付けエンジン１０４２０によって実行され得る。以前に説明されたように、タグ付けエンジン１０４２０（例えばＣＮＮ、ＳＶＭ）の機械学習モデルは、車両から収集されたイメージおよびデータにおける他の情報を認識し、入力データに適用するタグを出力するよう訓練され得る。また（または代替的に）、手動のタグ付けが、車両データシステムにおいて使用され得る。例えば、データプロバイダ１０５３８は、タグを定義し（１０５１５）、タグを更新し（１０５１７）、手動データセットタグ付け（１０５１９）を実行し得る。
データサイエンティスト１０５３６は、タグを定義し（１０５１５）、タグを更新し得（１０５１７）、加えて、モデルを定義し（１０５１２）てモデルを更新し得る（１０５１３）。適切なタグを選択するために、ＣＮＮまたはＳＶＭのような機械学習モデルは、データセットのコンテンツを区別するように訓練され得る。例えば、モデルは、高速道路および田舎の道路のイメージと、郊外の道路および街路のイメージとを区別するよう訓練され得る。郊外の道路および街路のイメージは、より多くの歩行者を有する可能性が高く、例えば顔をぼかすためのプライバシーポリシーが適用されるべきである。従って、一例において、タグ付けエンジン１０４２０によって使用される、訓練されたＣＮＮまたはＳＶＭモデルは、イメージのデータセットを、「高速道路」、「田舎」、「都市」または「郊外」として分類する。タグ付けエンジン１０４２０は、タグをデータセットに自動的に付加し得る。
ポリシー施行１０５６０について、データエンジニア１０５３４は、プロセスを定義し（１０５２５）プロセスを更新し得る（１０５２７）。例えば、第１プロセスは、イメージの顔をぼかすこととして定義され得、第２プロセスは、車のナンバープレートをぼかすこととして定義され得、第３プロセスは、ＧＰＳ座標をより精度が低い場所情報に置き換えることとして定義され得、第４プロセスは、データを暗号化することとして定義され得る。データ所有者１０５３２は、ポリシーを定義し（１０５２１）、ポリシーを更新し得る（１０５２３）。例えば、ポリシーは、特定の条件（例えば、タグの連結または分離）を選択し、アクション（例えばプロセスの連結）を条件に割り当てることによって定義され得る。ポリシーは、条件を満たすデータセットと関連付けられ得る。本明細書において更に説明されるように、ポリシーが「レイジー」なポリシーとして指定される場合、ポリシーによって定義されるアクションは、即時に、または、オンデマンドのいずれかで、タグ付けされたデータセットに対して実行される。
ポリシー施行エンジン１０４３０は、ポリシーがレイジーとして指定されない場合、ポリシーをリアルタイムに施行でき（１０５０４）、ポリシーがレイジーとして指定される場合、ポリシーをオンデマンドで施行できる（１０５０２）。データセットを消費する（例えば、データセットへのアクセスを要求する）データコンシューマ１０５４０は、ポリシー施行エンジン１０４３０をトリガして、データセットに関連付けられたポリシーを施行し得る。これは、ポリシーがレイジーなポリシーとして指定されるデータセットに関連付けられることに起因して、データセットがオンデマンド処理についてマークされるときに発生し得る。
図１０６は、自律車両によって収集されたデータについてポリシーを作成するためのオンデマンドプライバシー遵守システムの例示的なポータル画面ディスプレイ１０６００である。ポータル画面ディスプレイ１０６００は、ポリシーが生成され、任意で「レイジー」として指定されることを可能にする。説明１０６０２フィールドとは、ユーザが、「ナンバープレートをぼかす」などのポリシーの説明を提供することを可能にする。タグ選択ボックス１０６０４は、ユーザが、ポリシーについての条件として使用されるタグを選択することを可能にする。オンデマンドボックス１０６０６は、ポリシーを「レイジー」として指定するためにユーザによって選択され得る。ボックスが選択されない場合、ポリシーは「レイジー」として指定されない。ポリシー説明テーブル１０６０８は、どのポリシーが「レイジー」として指定され、どのポリシーが「レイジー」として指定されないかについての表示を提供する。例えば、図１０６の例において、顔をぼかすためのポリシーは、レイジーとして指定され、従って、オンデマンドでデータセットに適用される。別の例において、ナンバープレートぼかしポリシーは、「レイジー」として指定されず、従って、データセットに即時に適用され、データセットにおけるイメージにおけるナンバープレートをぼかす。
図１０７は、ナンバープレートぼかしポリシーをイメージに適用する前、および後に、車両から収集された例示的なイメージを示す。イメージ１０７００Ａは、不明瞭でなく、解読可能なナンバープレート１０７０４Ａを有するイメージである。ナンバープレートをぼかすポリシーは、１０７１０で適用され、イメージ１０７００Ｂを生じさせる。これは、イメージにおけるナンバープレートを表す画素に適用されたぼかし技法に起因して、不明瞭で解読不可能なナンバープレート１０７０４Ｂを有する。
図１０８は、顔をぼかすポリシーをイメージに適用する前および後に車両から収集された例示的なイメージを示す。イメージ１０８００Ａは、いくつかの不明瞭でなく認識可能な人間の顔（白色のフレームで強調される）を有するイメージである。顔をぼかすポリシーは、１０８１０で適用され、イメージ１０８００Ｂを生じさせる。これは、イメージにおける顔を表す画素に適用されるぼかし技法に起因して、不明瞭で認識不可能な顔（白色のフレームで強調される）を有する。
図１０９を参照すると、図１０９は、システム１０１００などのオンデマンドプライバシー遵守システムにおける、車両で収集されたデータのタグ付けに関連付けられたオペレーションの高レベルの可能なフロー１０９００を示す簡略フローチャートでわる。少なくとも１つの実施形態において、オペレーションのセットは、図１０９のアクティビティに対応する。車両データシステム１０４００は、オペレーションのセットの少なくとも一部を利用し得る。車両データシステム１０４００は、オペレーションを実行するための１または複数のデータプロセッサ（例えば、クラウド車両データシステムの場合１０１２７、エッジ車両データシステムの場合１０１５７）を含み得る。少なくとも１つの実施形態において、セグメンテーションエンジン１０４１０およびタグ付けエンジン１０４２０の各々は、オペレーションの１または複数を実行する。説明を容易にするために、車両１０１５０におけるエッジ車両データシステム１０１４０を参照してフロー１０９００が説明される。
１０９０２において、車両１０１５０によって収集されたデータがエッジ車両データシステム１０１４０によって受信される。データは、車両におけるデータ収集部１０１５２によって、イメージキャプチャデバイスを含む複数のセンサから収集され得る。
１０９０４において、車両の地理的場所が決定され、１０９０６において、日付および時刻が決定され得る。いくつかの実装において、地理的タグ付け、および／または、日付・時刻のタグ付けは、エッジにおいて実行されることが望ましいことがあり得る。ここでは、収集データが後に対応するクラウド車両データシステムへ、追加のタグ付けおよびポリシー施行のために送信される場合でも、リアルタイムの情報が容易に利用可能である。従って、１０９０８において、データがデータセットにセグメント化され得る。
１０９１０において、１または複数のタグが、車両の場所、および／または、一群のデータに関連付けられた日付および時刻を示すデータに取り付けられる。このシナリオにおいて、タグが適用され、地理的位置タグおよび／または日付・時刻タグがデータセットに適用され得る前に、セグメント化が実行される。他のシナリオにおいて、地理的位置タグおよび／または日付・時刻タグは、後にデータセットにセグメント化され、かつ、適切な地理的位置タグおよび／または日付・時刻タグでタグ付けされるデータの個々のインスタンスに適用され得る。
１０９１２において、データセットに関連付けられる１または複数のタグを識別するために、機械学習モデル（例えば、ＣＮＮ、ＳＶＭ）がデータセットに適用される。１０９１４において、識別された１または複数のタグがデータセットに関連付けられる。ポリシーは、データセットと共に格納される、それに添付される、それにマッピングされる、それにリンクされる、または、そうでない場合、それに関連付けられることにより、データセットに「取り付け」られ得る。
少なくともいくつかのシナリオにおいて、ユーザ（例えば車両所有者、データプロバイダ）が、タグをデータセットに手動で付加し得る。例えば、運転者が道路上で障害物または事故を見た場合、運転者は、手動で情報を車両データシステムに入れ得る。タグ付けエンジンは、その情報を使用して、１または複数の関連するデータセットについての新しいタグを作成し得る。したがって、追加のコンテクスチュアル情報が、リアルタイムでデータに手動で追加され得る。
図１１０は、システム１０１００などのオンデマンドプライバシー遵守システムにおいて、ポリシー施行に関連付けられたオペレーションの高レベルの可能なフロー１１０００を示す簡略フローチャートである。少なくとも１つの実施形態において、オペレーションのセットは、図１１０のアクティビティに対応する。車両データシステム１０４００などの車両データシステムは、オペレーションの少なくとも一部のセットを利用し得る。車両データシステム１０４００は、オペレーションを実行するために、１または複数のデータプロセッサ（例えば、クラウド車両データシステムの場合は１０１２７、エッジ車両データシステムの場合は１０１５７）を含み得る。少なくとも１つの実施形態において、ポリシー施行エンジン１０４３０は、オペレーションのうち１または複数を実行する。説明を容易にするために、車両１０１５０におけるエッジ車両データシステム１０１４０を参照して、フロー１１０００が説明される。
１１００２において、車両１０１５０のエッジ車両データシステム１０１４０におけるポリシー施行エンジンは、車両によって収集されたデータを含むタグ付けされたデータセットを受信する。データセットは、図１０９を参照して説明されたアクティビティの後に受信され得る。例えば、車両から収集されたデータがデータセットにセグメント化され、タグ付けエンジンによってタグ付けされると、タグ付けされたデータセットはポリシー施行エンジンによって受信される。
１１００４において、データに関連付けられた１または複数のタグが識別される。１１００６において、どのポリシーがデータセットに適用されるか決定される。例えば、データセットに関連付けられたタグが、特定のポリシーの条件を満たす場合、そのポリシーはデータセットに適用される。１１００８において、決定されたポリシーはデータセットに関連付けられる。ポリシーは、データセットと共に格納される、それに取り付けられる、それに添付される、それにマッピングされる、それにリンクされる、またはそうでない場合、それに任意の好適な方式で関連付けられることによって、データセットに「関連付け」られ得る。
１１０１０において、任意のコンテクスチュアルポリシーがデータセットに関連付けられるかどうかが決定される。コンテクスチュアルポリシーは、レイジーなポリシーおよび／または非レイジーポリシーをオーバーライドし得る。例えば、車両がＡＭＢＥＲタイプの子アラートを受信する場合、「高速道路」でタグ付けされたデータセットにおけるナンバープレートをぼかすためのレイジーなポリシーが「ＮＯ」に設定され得る。しかしながら、データセットにおけるナンバープレートを即時にぼかす代わりに、データセットにおけるナンバープレート情報を取得するためにＯＣＲが使用され得る。従って、コンテクスチュアルポリシーが適用可能である場合、１１０１２において、コンテクスチュアルポリシーがデータセットに適用されるように、データセットが処理キューに追加される。フローは次に、１１０２４に進み得、ここでは、データセットは、ポリシー遵守としてマークされ、後の使用（例えば、法執行機関への送信など）のために格納される。いくつかの場合において、コンテクスチュアルポリシーがもはや有効でなくなる（例えば、ＡＭＢＥＲタイプの子アラートがキャンセルされる）まで、使用は一時的であり得る。このシナリオにおいて、任意のレイジーなポリシーがデータセットに関連付けられ、まだデータセットに適用されていない場合、ポリシー施行エンジンは、データセットを再び処理して、任意の非レイジーポリシーを適用し、オンデマンドの処理のためにデータセットをマークし得る。
１１０１０において、コンテクスチュアルポリシーがデータセットに関連付けられていないと決定される場合、１１０１４において、任意の非レイジーポリシーがデータセットに関連付けられるかどうか決定され得る。非レイジーポリシーがデータセットに関連付けられない場合、このことは、１１０１６に示されるように、１または複数のレイジーなポリシーがデータセットに関連付けられることを意味する。すなわち、１１００８において、１または複数のポリシーがデータセットに関連付けられる場合、および、１または複数のポリシーがコンテクスチュアルでない（１１０１０で決定される）、かつ、非レイジー（１１０１４で決定される）でない場合、ポリシーはレイジーである。従って、１１０１８において、データセットは、オンデマンドのレイジーなポリシー処理についてマークされ、格納される。
１１０１４において、１または複数の非レイジーポリシーがデータセットに関連付けられると決定された場合、１１０２０において、非レイジーポリシーがデータセットに適用されるように、データセットが処理キューに追加される。１１０２２において、任意のレイジーなポリシーがデータセットに関連付けられるかどうかが決定される。１または複数のレイジーなポリシーがデータセットに関連付けられる場合、１１０１８において、データセットがオンデマンドのレイジーなポリシー処理についてマークされ、格納される。１または複数のレイジーなポリシーがデータセットに関連付けられない場合、１１０２４において、データセットはポリシー遵守としてマークされ、後のアクセスおよび／または使用のために格納される。
図１１１は、システム１０１００などのオンデマンドプライバシー遵守システムにおいて、ポリシー施行に関連付けられたオペレーションの高レベルの可能なフロー１１１００を示す簡略フローチャートである。少なくとも１つの実施形態において、オペレーションのセットは、図１１１のアクティビティに対応する。車両データシステム１０４００などの車両データシステムは、オペレーションの少なくとも一部のセットを利用し得る。車両データシステム１０４００は、オペレーションを実行するために、１または複数のデータプロセッサ（例えば、クラウド車両データシステムの場合は１０１２７、エッジ車両データシステムの場合は１０１５７）を含み得る。少なくとも１つの実施形態において、ポリシー施行エンジン１０４３０は、オペレーションのうち１または複数を実行する。概して、フロー１１１００は、オンデマンド処理についてマークされたデータセットに適用され得る。
少なくとも１つの実施形態において、データセットへのアクセスの要求が受信されたとき、データセットがオンデマンド処理についてマークされているかどうか決定され得ることに留意されたい。データセットがオンデマンド処理についてマークされる場合、１１１０２において、アクセスが要求されたデータセットがオンデマンド処理についてマークされているかについて決定される。データセットがオンデマンド処理についてマークされたので、データセットに関連付けられた少なくとも１つのポリシーがレイジーなポリシーとして指定される。データセットへのアクセスの要求は、例えば、任意の他の好適な方式でデータセットを読み取り、共有し、受信し、サンプリングし、またはアクセスするための、任意のデバイスまたはアプリケーションからの要求であり得る。
１１１０４において、データセットに関連付けられたポリシーが識別される。１１１０４において、識別されたポリシーがレイジーとして指定されているかどうかが決定される。識別されたポリシーがレイジーとして指定されていることが決定された場合、識別されたポリシーが１１１０６においてデータセットに適用される。識別されたポリシーがレイジーとして指定されない場合、または、識別されたポリシーがデータセットに適用されたとき、１１１０８において、別のポリシーがデータセットに関連付けられているかどうか決定される。別のポリシーがデータセットに関連付けられる場合、フローは１１１０４に戻り、データセットに関連付けられた別のポリシーを識別し、以前に説明されたように処理を継続する。データセットに関連付けられ、レイジーとして指定されたすべてのポリシーがデータセットに適用されるまで、フローはループを継続し得る。
１１１０８において、別のポリシーがデータセットに関連付けられていないと決定された場合、１１１１０において、適用可能な規制場所が変化したかどうか決定される。例えば、車両が、レイジーとして指定された少なくとも１つのポリシーを有するデータセットをローカルに（例えば車両に）格納する場合、および、車両が次に別の規制エリアに移動しする場合、新しい規制エリアが追加のプライバシー遵守アクションを要求するかどうかを決定するための評価が実行され得る。したがって、適用可能な規制場所が変化していない場合、フローは１１１１８に移り得、ポリシー遵守データセットへのアクセスが許可される。
適用可能な規制場所が変化した場合、１１１１２において、更新された地理的位置タグがデータセットに関連付けられる。１１１１４において、任意の新しい１または複数のポリシーがデータセットに適用するかどうかが決定される。（新しい地理的位置タグに少なくとも部分的に基づいて）新しいポリシーがデータセットに適用しない場合、フローは１１１１８に進み得、ポリシー遵守データセットへのアクセスが許可される。
少なくとも１つの新しいポリシーがデータセットに適用する場合、１１１１６において、新しいポリシー（または複数の新しいポリシー）がデータセットに適用される。次に、１１１１８において、ポリシー遵守データセットへのアクセスが許可され得る。
データセットがオンデマンド処理についてマークされず、データセットへのアクセスの要求が受信された場合、少なくとも１つの実施形態において、データセットがポリシー遵守であると決定され、フローが１１１１０に進み得ることに留意されたい。したがて、車両の新しい規制場所が、データセットに適用されるポリシーに影響するかどうかを決定するために、ポリシー遵守データセットがなお評価され得る。
図１１２は、少なくとも１つの実施形態による、自律車両１１２１０の自動化についての制御ループの簡略図である。図１１２に示されるように、自動運転は、論理エンジン１１２０２（知覚、融合計画、運転者ポリシー、および意思決定の態様を含む）を、および、そのようなエンジンの出力に基づくＡＶ１１２０４の分散型アクチュエーションを使用する非常に高速のフィードバックループを利用し得る。これらメタモジュールの各々は、信用できると想定される入力または処理に依存し得る。
図１１３は、少なくとも１つの実施形態による、自律車両の自動化のための汎用データ入力（ＧＤＩ）の簡略図である。スマートシティおよびスマートインフラストラクチャにおける自動運転および輸送のコンテキストにおいて、入力は、生データ１１３０２（例えば数、記号、事実）、情報１１３０４（例えば、処理されてモデルに整理されるデータ）、知識１１３０８（例えば、構造化またはコンテクスチュアルであり得る収集された情報）、体験１１３１０（例えば、過去のアクションを通じて取得された知識）、理論フレームワーク１１３０６（例えば、挙動を説明するため）、または、理解１１３１２（例えば、意味を割り当る、なぜ挙動が発生したか説明する、または解析を適用する）の形態をとり得る。これらの異なるタイプの入力の各々は、汎用データ入力（ＧＤＩ）と称され得る。図１１３に示されるように、ＧＤＩは、知恵（例えば、判断、評価された理解、適切／良好／正確／正しいアクション）を提供するために使用され得る。表示されるデータは、任意の好適なタイプのメモリによって格納され得、および／または、自律車両の車載コンピューティングシステムの１または複数のプロセッサによって処理され得る。
図１１４は、少なくとも１つの実施形態による、例示的なＧＤＩ共有環境１１４００のダイアグラムである。示される例において、他の車両アクター１１４０４によって囲まれる自車（例えば対象の自律車両）１１４０２、および、自車１１４０２の周囲の近傍１１４１２における車両アクター１１４０６の一団がある。加えて、自車１１４０２の周囲にインフラストラクチャセンサ（交通信号機センサ１１４０８および車道ランプセンサ１１４１０を含む）がある。
示されるように、自車１１４０２は、環境１１４００における他のアクターまたはセンサのうち１または複数と通信し得る。ＧＤＩは、示されるアクターの間で共有され得る。自車１１４０２と他のアクターとの間の通信は、以下ののシナリオ、すなわち、（１）自車と自車、（２）他の自律車両へのブロードキャスト（１：１または１：多）、（３）他のタイプのアクター／センサへのブロードキャスト（１：１または１：多）、（４）他の自律車両からの受信（１：１または１：多）、または（５）他のタイプのアクター／センサからの受信（１：１または１：多）のうち１または複数で実装され得る。
いくつかの実施形態において、自車１１４０２は、自身のセンサによって生成されたＧＤＩを処理し得、いくつかの場合において、ＧＤＩを近傍１１４００における他の車両と共有し得、その結果、他の車両は、ＧＤＩを使用して、判断を行い得る（例えば、計画および意思決定のためにそれぞれの論理エンジンを使用する）。（信用できると想定され得る）ＧＤＩは、自己の自律車両自身の異種混合センサ（以下の電子制御ユニット、すなわち、適合型クルーズ制御、電子ブレーキシステム、センサクラスタ、ゲートウェイデータトランスミッタ、荷重フィードバックアクセルペダル、ドア制御ユニット、サンルーフ制御ユニット、シートベルトプリテンショナ、シート制御ユニット、ブレーキアクチュエータ、閉鎖速度センサ、サイドサテライト、前方センサ、エアバッグ制御ユニット、または他の好適なコントローラもしくは制御ユニットのうち１または複数からの情報を含み得る）に、または、他のＧＤＩアクター車両（例えば、バス、または他のタイプの車両など、近くの車、一団のアクター車両）、スマートシティインフラストラクチャ要素（例えば、頭上の街灯または信号機などにおけるセンサ／コンピュータなどのインフラストラクチャセンサ）、マップサービスもしくはソフトウェア更新プロバイダのサードパーティアプリ、車両のＯＥＭ、政府エンティティなどに由来し得る。更に、いくつかの実施形態において、自車１１４０２は、近傍における他の車両および／またはインフラストラクチャセンサのうち１または複数からＧＤＩを受信し得る。これらのＧＤＩソースのうち任意の１つに対する任意の悪意ある攻撃は、１または複数の個人の怪我または死亡をもたらし得る。悪意ある攻撃が一団における車両、都市、またはインフラストラクチャに適用されるとき、車両は、恐ろしい結果をもたらすスケールで、誤ったアクションを伝搬し得、混乱を引き起こし、技術に対する公共の信用を損なう。
いくつかの事例において、潜在的に信用できないソースとデータを共有することは、ブロックチェーン技法を介して行われ得る。ＧＤＩの共有は、車両に関連付けられた１または複数のコンピューティングシステムによって実装される以下の要素のうち１または複数を含み得る。
・ＧＤＩをパッケージングする構造
・ＧＤＩがどのように他のＧＤＩに関連するか説明するトポロジ
・例えば許可ポリシー（例えば、Ｌｉｎｕｘ（登録商標）／ＵＮＩＸ（登録商標）システムにおけるｃｈｍｏｄと同様）
・誰がＧＤＩを読み取れるか決定するための読み取りアクセスポリシー
・誰がＧＤＩを書き込めるか決定するための書き込み制御ポリシー
・誰が実際に実行可能ＧＤＩコンポーネントを実行できるか（例えば、モデルを実行する、ソフトウェアを更新するなど）を決定する実行制御ポリシー
・トポロジの有効な状態を決定するための状態ポリシー
・ＧＤＩに適用される所有ポリシー（Ｌｉｎｕｘ（登録商標）／ＵＮＩＸ（登録商標）システムにおけるｃｈｇｒｐ／ｃｈｏｗｎと同様）。例えば、自己、グループ、すべて。
・ＧＤＩをパッケージングする構造
・ＧＤＩがどのように他のＧＤＩに関連するか説明するトポロジ
・例えば許可ポリシー（例えば、Ｌｉｎｕｘ（登録商標）／ＵＮＩＸ（登録商標）システムにおけるｃｈｍｏｄと同様）
・誰がＧＤＩを読み取れるか決定するための読み取りアクセスポリシー
・誰がＧＤＩを書き込めるか決定するための書き込み制御ポリシー
・誰が実際に実行可能ＧＤＩコンポーネントを実行できるか（例えば、モデルを実行する、ソフトウェアを更新するなど）を決定する実行制御ポリシー
・トポロジの有効な状態を決定するための状態ポリシー
・ＧＤＩに適用される所有ポリシー（Ｌｉｎｕｘ（登録商標）／ＵＮＩＸ（登録商標）システムにおけるｃｈｇｒｐ／ｃｈｏｗｎと同様）。例えば、自己、グループ、すべて。
図１１５は、少なくとも１つの実施形態による、例示的なブロックチェーントポロジ１１５００のダイアグラムである。示として、ＧＤＩの構造は、ヘッダ、ボディ（ＧＤＩの詳細を含む）、およびフッタを含む「ブロック」１１５０２を含み得る。トポロジは、暗号ベースのヘッダおよびフッタ（例えば図１１５を参照）を有する、ブロックの連結リスト（または線形ネットワーク）を含む。チェーンにおけるブロックｎのヘッダは、連結リストにおける先行ブロックｎ－１の後継として確立する情報を含む。いくつかの事例において、ブロックチェーンを（例えばブロックを格納し、新しいブロックを検証することによって）実装するコンピューティングシステムは、以下の要素の１または複数を施行し得る。
・例えば以下を含み得る許可ポリシー。
１．楕円曲線デジタル信号アルゴリズムなどの暗号ハッシュから生成された公開鍵‐秘密鍵のペアの合致に基づいて、誰がブロック情報を読み取ることができるかを示す読み取りアクセスポリシー。
２． 検証までの時間を重要な制約として、以前のブロックを検証する能力に基づいて、誰がブロックを追加できるか、ひいては、誰がヘッダ情報を付加ブロックに「書き込む」ことができるかを示す書き込み制御ポリシー。
３．スマートコントラクトとしてブロック情報に組み込まれた実行制御ポリシー。
・競合する状態情報が提示されるとき、ブロックチェーンのどの状態が有効かを決定するために、分散コンセンサスに基づく状態ポリシー。「有効な状態」を確立するの報酬は、書き込み制御許可である。これの例は、プルーフオブワーク（難易度が中央プラットフォームによって動的に調整される、目標経過時間内の暗号パズルを解く第１のマイナーは、「有効な状態」を確立したと見なされ、特定の時間に書き込み制御許可を報酬として与えられる）、プルーフオブステーク（暗号パズルを、最高のステーク／富／利益を有するマイナーに割り当て、パズルが解かれると、書き込み制御許可を報酬としてマイナーに割り当てる）、プルーフオブバーン（自分の通過を焼却することと引き換えに、書き込み制御許可を報酬として与える）などを含む。
・メッセージ詳細内にキャプチャされ得る所有権情報
・例えば以下を含み得る許可ポリシー。
１．楕円曲線デジタル信号アルゴリズムなどの暗号ハッシュから生成された公開鍵‐秘密鍵のペアの合致に基づいて、誰がブロック情報を読み取ることができるかを示す読み取りアクセスポリシー。
２． 検証までの時間を重要な制約として、以前のブロックを検証する能力に基づいて、誰がブロックを追加できるか、ひいては、誰がヘッダ情報を付加ブロックに「書き込む」ことができるかを示す書き込み制御ポリシー。
３．スマートコントラクトとしてブロック情報に組み込まれた実行制御ポリシー。
・競合する状態情報が提示されるとき、ブロックチェーンのどの状態が有効かを決定するために、分散コンセンサスに基づく状態ポリシー。「有効な状態」を確立するの報酬は、書き込み制御許可である。これの例は、プルーフオブワーク（難易度が中央プラットフォームによって動的に調整される、目標経過時間内の暗号パズルを解く第１のマイナーは、「有効な状態」を確立したと見なされ、特定の時間に書き込み制御許可を報酬として与えられる）、プルーフオブステーク（暗号パズルを、最高のステーク／富／利益を有するマイナーに割り当て、パズルが解かれると、書き込み制御許可を報酬としてマイナーに割り当てる）、プルーフオブバーン（自分の通過を焼却することと引き換えに、書き込み制御許可を報酬として与える）などを含む。
・メッセージ詳細内にキャプチャされ得る所有権情報
図１１６は、少なくとも１つの実施形態による、有向非巡回グラフ（ＤＡＧ）トポロジ１１６００を使用する例示的な「チェーンレス」ブロックのダイアグラムである。いくつかの事例において、スケーラビリティに対処するために、ＩＯＴＡプラットフォームなどのＤＡＧを使用する新しいプラットフォームが開発された。ＤＡＧにおいて、状態ポリシー（および書き込み制御許可）は、以前のブロックから任意の現在確認されないブロックを確認するために使用され得るプルーフオブワークに基づき得る。
しかしながら、いくつかの場合において、これらなどのブロック状技術は、所与のプラットフォームの許可ポリシー、状態ポリシー、またはスケーラビリティのうち１または複数を通じて、課題を提示し得る。例えば、許可および状態ポリシーにおいて固有のものは、現在まで十分である楕円曲線暗号（ＥＣＣ）の利用であり得るが、これらの暗号技術日付は、前進するのに不十分であり得る。例えば、ＥＣＣベースの署名（楕円曲線離散対数問題に基づき得る）は、効率的な量子アルゴリズムの対象になるとき、もっともリスクの高い技術のコンポーネントの１つであり得、もっとも危険なコンポーネントは、（１）公開鍵に関連付けられた静的アドレス、および、（２）未処理のブロック（ブロックチェーンまたはブロック‐ＤＡＧにまだ付加されていないブロック）。更に、そのような技術は、（例えば、一団の車両アクターに対する）悪いアクターによるサプライチェーン傍受の影響を受け得る。
そのようなブロック状技術およびシステムの例示的な問題は、許可ポリシーの問題を含む。静的アドレスが盗まれた場合、関連付けられたデータおよびトランザクション、ならびに貨幣価値のすべてがハッカー泥棒の財産になり得る。なぜなら、ハッカー泥棒は、完全な所有権を通じて、読み取り、書き込み、および／または実行許可を取得し得るからである。他の問題は、状態ポリシーに関連し得る。例えば、未処理ブロックの場合、量子アルゴリズムは、２０２８年までに公開鍵から秘密鍵を導出することが可能であると推定される。特に、ショアのアルゴリズムは、量子コンピュータを使用して、主な要因を決定し得る。グローバーのアルゴリズムは、キー検索を行うことができる。秘密鍵および既知のアドレスを用いて、そのアドレスから新しいブロックを導入することが可能である（場合によっては、有害なデータまたは有害なコントラクトと共に）。読み取りアクセスおよびコンセンサス（ひいては書き込み制御）は、楕円曲線暗号に基づいてきた。しかしながら、暗号通過実装における違反は、著しい貨幣の損失につながった。自律車両について提案された現在のブロックチェーン技術では、アドレスの窃盗、または、メッセージの窃盗（スマートコントラクトの窃盗を含む）は、車両のフィードバックループを通じて負の影響を与え、人間の生命の損失および／またはインフラストラクチャの災害的損傷をもたらし得る。他の問題はスケーラビリティに対応し得る。現代の分散化したブロックチェーン技術は現在、（分散化したピアツーピアプッシュモデルを使用して）秒あたり２０未満のトランザクションを実行する。一方、ＶｉｓａＮｅｔは、（集中型プルモデルを使用して）秒あたり最大５６Ｋのトランザクションメッセージを実行できる。自動運転およびスマートシティの場合、トランザクションは、少なくともＶｉｓａＮｅｔのオーダで実行される必要がある。
従って、本開示の態様は、これらの問題に対処することを助けるために、自律運転コンピューティングシステムにおいて実装され得る以下の要素のうち１または複数を含み得る。
・自律車両内において、（例えば、Ｉｎｔｅｌ ＳＧＸ（Ｓｏｆｔｗａｒｅ Ｇｕａｒｄ Ｅｘｔｅｎｓｉｏｎ）を利用して）１または複数のセキュアな秘密鍵が生成され得る。秘密鍵は、対応するそれぞれの公開鍵を生成するために使用され得る。
・デジタル署名は、秘密鍵に基づいてすべてのデータに使用され得る。デジタル署名は、後に秘密鍵を使用して暗号化されるセンサデータのハッシュであり得る。
・非許可型ブロックチェーンが自律車両の内部で使用され得る（例えば、誰かがブロックチェーンに追加することを検証する必要はないことがあり得る）。すべての通信バスは、ブロックを読み取ることが可能であり得、自律車両の内部ネットワークは、誰がブロックチェーンに書き込むことができるかを決定し得る。
・外来データが予想されるとき、自律車両は、（例えば、一団の車両（例えばバス）、所有された乗用車両、一時的／レンタルの乗用車両（例えばタクシー）などの車両タイプに基づき得、読み取りアクセスは鍵共有に基づき得るアクセスポリシーで）許可型ブロックチェーン、または、動的ＤＡＧシステムにインタフェース接続し得る。読み取りアクセスは、サブスクリプションベースであり得、例えば、ソフトウェアアップデートは、有料アップグレードポリシーに基づいて許可され得る。
・データ共有のためにデータをブロードキャストするとき、一時的公開鍵（例えば、一時的楕円曲線ディフィー・ヘルマン鍵共有、または別のタイプの１回時間署名スキームに基づく）が、共有されるデータをロック解除する秘密鍵を生成するために使用され得る。
・自律車両内において、（例えば、Ｉｎｔｅｌ ＳＧＸ（Ｓｏｆｔｗａｒｅ Ｇｕａｒｄ Ｅｘｔｅｎｓｉｏｎ）を利用して）１または複数のセキュアな秘密鍵が生成され得る。秘密鍵は、対応するそれぞれの公開鍵を生成するために使用され得る。
・デジタル署名は、秘密鍵に基づいてすべてのデータに使用され得る。デジタル署名は、後に秘密鍵を使用して暗号化されるセンサデータのハッシュであり得る。
・非許可型ブロックチェーンが自律車両の内部で使用され得る（例えば、誰かがブロックチェーンに追加することを検証する必要はないことがあり得る）。すべての通信バスは、ブロックを読み取ることが可能であり得、自律車両の内部ネットワークは、誰がブロックチェーンに書き込むことができるかを決定し得る。
・外来データが予想されるとき、自律車両は、（例えば、一団の車両（例えばバス）、所有された乗用車両、一時的／レンタルの乗用車両（例えばタクシー）などの車両タイプに基づき得、読み取りアクセスは鍵共有に基づき得るアクセスポリシーで）許可型ブロックチェーン、または、動的ＤＡＧシステムにインタフェース接続し得る。読み取りアクセスは、サブスクリプションベースであり得、例えば、ソフトウェアアップデートは、有料アップグレードポリシーに基づいて許可され得る。
・データ共有のためにデータをブロードキャストするとき、一時的公開鍵（例えば、一時的楕円曲線ディフィー・ヘルマン鍵共有、または別のタイプの１回時間署名スキームに基づく）が、共有されるデータをロック解除する秘密鍵を生成するために使用され得る。
デジタル署名を使用することによって、タイムスタンプおよび真の署名が、更なる下流での使用のために、すべてのデータに関連付けられ得る。静的秘密鍵はセキュアなエンクレーブにおいて維持され得る。加えて、コンセンサスプロトコルに対する時間的制約をアクチュエーション時間調整のオーダ（例えばミリ秒）に設定することにより、１または複数のセンサを標的とするスプーフィングまたはハッキングの試みが阻止され得る。更に、自律車両の内部ネットワーク内の（バスインタフェースまたはゲートウェイプロトコルレベルにおける）ネットワーク／ゲートウェイプロトコルは、検証されたブロックチェーンのみを中継し得る。追加的に、（ブロックチェーンを介して）車両内データベースを作成することにより、「ブラックボックス」（監査可能なデータレコーダ）が自律車両について生成され得る。
図１１７は、少なくとも１つの実施形態による、自律車両についての例示的なセキュアな車両内通信プロトコル１１７００の簡略ブロック図である。例えば、プロトコル１１７００は、悪意のあるアクターに対してデータを保護するために、図１１４の自車１１４０２によって使用され得る。例示的なプロトコルは、自律車両に結合されたセンサ（例えばＬＩＤＡＲ、カメラ、レーダ、超音波など）からのデータを自律車両のロジックユニット（例えば、図１１２に関連して上記されたものと同様のロジックユニット）へ通信するために使用され得る。示される例において、デジタル署名がセンサデータ（例えばオブジェクトリスト）に付加される。デジタル署名は、センサのためのセキュアな秘密鍵に基づき得る。秘密鍵は、例えば、ｓｅｃｐ２５６ｋ１などＥＣＣベースのプロトコルに基づいて生成され得る。いくつかの場合、デジタル署名は、センサデータをハッシュ化し、秘密鍵を使用してハッシュを暗号化することによって生成され得る。
（デジタル署名を有する）センサデータ１１７０２が、特定のネットワークプロトコル１１７０６を通じて、知覚、融合、意思決定ロジックユニット１１７０８（例えば車載コンピューティングシステム）へ通信される前に、ブロックベーストポロジー（例えば、示されるような非許可型ブロックチェーン）１１７０４においてブロックとして追加される。特定の実施形態において、ブロックチェーン上のデータのみが、自律車両内部のネットワーク／通信プロトコルによって転送され得る。ネットワークプロトコルは、ブロック／センサデータをロジックユニットへ通信する前に、ブロックのデータを検証し得る（例えば、センサデータのタイムスタンプをブロックチェーンのコンセンサスプロトコルにおける時間的制約と比較する）。更に、特定の実施形態において、ネットワークプロトコルは、ブロックをロジックユニットへ転送する前に、ブロックにおけるセンサデータのデジタル署名を検証し得る。例えば、ネットワークプロトコルは、センサデータのデジタル署名を生成するために使用された秘密鍵に関連付けられた公開鍵へのアクセスを有し得、（例えば、公開鍵を使用してハッシュを解読し、ハッシュが合致することを検証することにより）公開鍵を使用してデジタル署名を検証し得る。ブロックチェーン１１７０４は、ブロックチェーンに追加する前に任意の検証を要求しないので、非許可型とみなされ得る。いくつかの場合において、自律車両の１または複数の態様は、誰がブロックチェーンに書き込むことができるかを決定し得る。例えば、好ましくない地域を運転する間に、「好ましくない」地域のカメラ検出またはナビゲーションマップのアラートによってトリガされることにより、車両が当該地域を安全に脱出する時間まで、自律車両の内部ネットワークがすべてを検証するように戻り得ることが可能である。
図１１８は、少なくとも１つの実施形態による、自律車両についての例示的なセキュアな車両間通信プロトコル１１８００の簡略ブロック図である。例えば、プロトコル１１８００は、図１１４の自車１１４０２によって、他の車両、バックエンド（例えばクラウドベース）サポートシステム、またはインフラストラクチャセンサのうち１または複数からのデータを検証するために使用され得る。例示的なプロトコルは、自律車両（所有される車両、一時的／レンタル車両、または一団の車両を含み得る）からのセンサデータを別の自律車両のロジックユニット（例えば、図１１２に関して上記されるものと同様のロジックユニット）へ通信するために使用され得る。示される例において、第１自律車両からのセンサデータ（上記のデジタル署名を含み得る）が、ブロックベーストポロジー（例えば、または許可型ブロックチェーンまたは動的ＤＡＧのノード）１１８０２においてブロックとして追加され、第２自律車両へ送信され、ここで、１または複数のスマートコントラクト１１８０４が抽出される。スマートコントラクトは、知覚、融合、意思決定ロジックユニット１１８０８においてデータがどのように処理されるかをオーバーライドし得る、新しい規制遵守処理ポリシーまたは更には実行可能コードなどの情報を含み得る。例えば、新しいポリシーは、知覚フローをオーバーライドし得、その結果、歩行者／人およびその顔を検出するカメラ知覚エンジンコンポーネントは、顔の目印、姿勢、動きだけを抽出でき、全体的な特徴マップを抽出しない。同様に、第１自律車両が政府の警察の車である場合、スマートコントラクトは、一時的な知覚処理オーバーライドおよびナンバープレート検索を含み、現在の自律車両のカメラがその近傍において関心のあるナンバープレートを識別したかどうかを検出し得る。
特定の実施形態において、車両にとって外来のデータおよびソフトウェアアップデートは、スマートコントラクトとして到来し得る。スマートコントラクトおよび／またはセンサデータがネットワークプロトコル１１８０６によって検証される場合、センサデータは、第２自律車両の知覚、融合、意思決定ロジックユニット１１８０８へ通信される。いくつかの場合において、ネットワークプロトコルは（例えば、楕円曲線ディフィー・ヘルマンに基づいて）一時的公開鍵を使用し得る。一時的公開鍵を動的環境において使用することにより、車が運転してすれ違うアクター車両またはインフラストラクチャに一時的に接続されている間に、公開鍵が生成されてオンザフライで共有されることが可能になる。このタイプの一時的な鍵の交換は、自己の車が接続されている短い時間長の間だけのセキュアなデータ交換を可能にする。
図１１９は、少なくとも１つの実施形態による、自律車両についての例示的なセキュアな車両内通信プロトコルの簡略ブロック図である。示される例において、セキュアな車両内通信プロトコルは、互いに相互作用する２つのブロックチェーン（ＡおよびＢ）を利用する。加えて、車両内通信プロトコルは、車載「ブラックボックス」データベース１１９２０を利用する。例示的なセンサデータ１１９０２および１１９１２、ブロックチェーン１１９０４および１１９１４、ネットワークプロトコル１１９０６、およびロジックユニット１１９０８は、図１１７および上記で示される同様のコンポーネントと同様に実装され得、スマートコントラクト１１９１６は、図１１８おおび上記で示されるスマートコントラクト１１８０４と同様に実装され得る。
示される例において、自律車両のオペレーションを作動および制御するために、ロジックユニット１１９０８によって生成された情報は、（例えば、図１１２に関して上記されるように）自律車両のアクチュエーションユニット１１９１０に提供され得、アクチュエーションユニットはフィードバックをロジックユニットへ提供し得る。アクチュエーションに使用された後に、センサデータ１１９０２、ロジックユニット１１９０８によって生成された情報、または、アクチュエーションユニット１１９１０によって生成された情報は、自律車両についての「ブラックボックス」として作用し得る車載データベース１１９２０に格納され得る。
「ブラックボックス」は、特定の態様、ならびに、航空輸送の提供に使用される通信およびデータのロギングに使用されるブラックボックスと同様に作用し得る。例えば、ブロックチェーンに記録されるＧＤＩは不変なので、自律車両の内部のストレージシステムに格納される場合、事故のシナリオにおいて政府エンティティによって、または、ソフトウェアアップデート中にソフトウェアシステムベンダによって復元され得る。ＧＤＩは次に、潜在的な下流のアクチュエーションの大きいセットをシミュレートするために使用され得る。追加的に、アクチュエーションロガーがストレージシステムにも記録する場合、エンドポイントアクチュエーションロガーデータは、上流のＧＤＩと共に、任意の異常な中間ステージを識別するために使用され得る。このことは、自車の内部の障害の属性と共に、自律車両内における高確率の障害識別を、アクター車両、一団、インフラストラクチャ、または他の第三者からの異常なデータに提供する。
自律車両は、１または複数のＬＩＤＡＲ、レーダ、カメラ、全地球測位システム（ＧＰＳ）、慣性測定ユニット（ＩＭＵ）、オーディオセンサ、熱センサ、または他のセンサ（本明細書において説明されるもの、または、他の好適なセンサなど）など、様々な異なるタイプのセンサを有し得る。センサは、毎秒に大量のデータ（例えばテラバイト）をまとめて生成し得る。そのようなデータは、自律車両スタックの知覚およびセンサ融合システムによって消費され得る。多くの状況において、（例えば、静かな高速道路上で運転している間、少ない交通状態の間、または、信号機で停止している間などに）センサデータは、同じ情報をキャプチャする異なるセンサ、または、変化していない、もしくは、わずかに変化するだけの情報をキャプチャする特定のセンサに起因する様々な冗長性を含み得る。これらの冗長性は、処理パイプラインの異なるステージにおいて、ほぼリアルタイムにデータを処理するために使用されるハードウェア、特殊データを処理するビッグデータエコシステム、センサ融合アルゴリズム、および他のアルゴリズム最適化などのリソースの要件を著しく増加させ得る。いくつかのシステムにおいて、センサシステムの信号対ノイズ比（ＳＮＲ）を改善するべく、センサ融合アルゴリズム（例えば、カルマンフィルタに基づくアルゴリズムなど）は、等しい重みを使用して、複数のセンサからのデータを組み合わ得る。この結果、全体的な変動の改善に起因して、単一センサからのデータと比較して、ＳＮＲが改善され得る。
本開示の特定の実施形態において、改善されたセンサ融合システムは、システム全体のＳＮＲ要件をなお満たしたまま、費用効果の高い、および／または、電力効率的なセンサからの低品質信号を利用し得、システム全体のコスト低減をもたらす。様々な実施形態は、１）コンテキストに基づく非均一データサンプリング、および、２）コンテキストに基づく適合型センサ融合の一方または両方を通じて、センサデータ冗長性に関連付けられた欠点を低減し得る。
特定の実施形態において、自律車両のサンプリングシステムは、自律車両に関連付けられたコンテキストに基づいてデータをサンプリングすることによって、非均一データサンプリングを実行し得る。サンプリングは、シーン変更の頻度、天候条件、交通状況、または他のコンテクスチュアル情報（本明細書において説明されるコンテキストのいずれかなど）など、任意の好適なコンテキストに基づき得る。そのような非均一データサンプリングは、リソースの要件、および、全体的な処理パイプラインのコストを著しく低減し得る。設定された間隔（例えば１秒ごとに）ですべてのセンサからのデータをサンプリングする代わりに、１または複数のセンサのサンプリングはコンテキストに基づいてカスタマイズされ得る。
一実施形態において、センサのサンプリングレートは、所与の天候条件についてのセンサの感度に合わせて調整され得る。例えば、特定の天候条件が存在するときに有用なデータを生成することが分かっているセンサについてのサンプリングレートは、当該天候条件において使用不可能なデータな生成するセンサより頻繁にサンプリングされ得る。いくつかの実施形態において、様々なセンサのそれぞれのサンプリングレートは、交通密度またはシーン変更のレートと関連付けられる。例えば、少ない交通においてキャプチャされたサンプルと比較して、高密度の交通においては、より高いサンプリングレートが、１または複数のセンサに使用され得る。別の例として、シーンが静的であるときｎキャプチャされるサンプルの数と比較して、シーンが急激に変化するときは、単位時間あたり、より多くのサンプルがキャプチャされ得る。様々な実施形態において、安全性要件を危険にさらすことなくコストおよびエネルギーを節約するために、高いコスト、消費される単位電力あたりの低いスループット、および／または、高い電力要件を有するセンサが、低コスト、消費される単位電力あたりの高いスループット、および／または、低い電力要件を有するセンサと比較して、控えめに使用される。
図１２０Ａは、特定の実施形態による、複数のセンサについてのサンプリングレートを決定するためのシステムを描写する。システムは、グラウンドトルースデータ１２００２、機械学習アルゴリズム１２００４、および出力モデル１２００６を備える。グラウンドトルースデータ１２００２は、そのようなデータを処理して出力モデル１２００６を提供する機械学習アルゴリズム１２００４に提供される。特定の実施形態において、機械学習アルゴリズム１２００４および／または出力モデル１２００６は、機械学習エンジン２３２または異なるコンピューティングシステム（例えば１４０、１５０）の機械学習エンジンによって実装され得る。
本例において、グラウンドトルースデータ１２００２は、センサ群構成データ、センサあたりのサンプリングレート、コンテキスト、および安全性結果データを含み得る。グラウンドトルースデータ１２００２は、サンプリング期間に各々が対応し、センサ群構成、センサごとに使用されるサンプリングレート、サンプリング期間についてのコンテキスト、サンプリング期間にわたる安全性結果を示す複数のデータセットを含み得る。データセットは、実際の自律車両によって実行されるサンプリング、またはシミュレータによって生成されるデータに対応し得る。センサ群構成データは、センサのタイプ（例えば、ＬＩＤＡＲ、２Ｄカメラ、３Ｄカメラなど）、各タイプのセンサの数、センサの分解能、センサの自律車両上の場所、または、他の好適なセンサ情報など、自律車両のセンサの構成に関連付けられた情報を含み得る。センサごとのサンプリングレートは、サンプリング期間にわたって、対応する組の構成における各センサに使用されるサンプリングレートを含み得る。コンテキストデータは、サンプリング期間中に存在する任意の好適なコンテキストデータ（例えば、天気、交通、シーン変更など）を含み得る。安全性結果データは、サンプリング期間にわたる安全性データを含み得る。例えば、安全性結果データは、サンプリング期間にわたって事故が発生したかどうか、サンプリング期間にわたって、自律車両がどれくらい事故に近かったか、または、サンプリング期間にわたる他の安全性の表現の指示を含み得る。
機械学習アルゴリズム１２００４は、グラウンドトルースデータを分析し、モデル１２００６を出力する任意の好適な機械学習アルゴリズムであり得る。モデル１２００６は、特定のコンテキストに基づいて所与のセンサ群の複数のセンサの各々についてのサンプリングレートを提供するように調整される。各センサについてのサンプリングレートは、訓練フェーズ中に機械学習アルゴリズム１２００４を介して学習される。任意の好適な機械学習アルゴリズムが、出力モデル１２００６を提供するために使用され得る。非限定的な例として、機械学習アルゴリズムは、ランダムフォレスト、サポートベクタマシン、任意の好適なニューラルネットワーク、または（下で説明されるもの、または他の強化アルゴリズムなど）強化アルゴリズムを含み得る。特定の実施形態において、モデル１２００６は機械学習モデル２５６と共に格納され得る。
出力モデル１２００６は、特定のコンテキストを考慮して、サンプリングレートのベクトル（例えば、使用されるセンサ群の各センサにつき１つ）を出力するために推論フェーズ中に使用され得る。様々な実施形態において、許容されるレベルの安全性（例えば、事故が無い、交通の法律に従う割合など）をなお維持しながら、出力モデル１２００６は、サンプリング中に使用されるサンプリングレートまたは電力を可能な限り減少させるために調整され得る。他の実施形態において、モデル１２００６は、安全性、使用電力、センサスループット、または他の好適な特性など、任意の好適なオペレーション特性を選好するよう調整され得る。特定の実施形態において、モデル１２００６は、安全性と電力消費との間の同時最適化に基づく（例えば、モデルは、安全性の閾値レベルを維持しながら電力消費を最小化することを試み得る）。
センサのサンプリングレートを変動させることに加えて、または、代替的に、いくつかの実施形態において、センサ融合改善は、コンテキストに基づいて各センサについて重みを適合することによって実現される。ＳＮＲ（および結果として全体的な変動）は、コンテキストに基づいて異なるように、センサからのデータを適合的に重み付けすることによって改善され得る。
特定の実施形態において、オブジェクト追跡を支援するために、グラウンドトルースデータが異なるコンテキスト、および、これらの異なるコンテキスト下の様々な瞬間におけるオブジェクト位置について利用可能であるとき、融合加重は、コンテキストを予測する機械学習アルゴリズム、および、オブジェクト位置の予測を促進する追跡融合アルゴリズムの組み合わせを使用して、訓練データから決定され得る。
図１２０Ｂは、特定の実施形態による、コンテキストモデル１２０５８を生成するための機械学習アルゴリズム１２０５２を描写する。特定の実施形態において、機械学習アルゴリズム１２０５２およびコンテキストモデル１２０５８は、機械学習エンジン２３２、または、異なるコンピューティングシステムの機械学習エンジン（例えば１４０、１５０）によって実行され得る。図１２０Ｂは、コンテキストを確認するためのＭＬモデルをビルドするための訓練フェーズを描写する。機械学習アルゴリズム１２０５２は、センサデータ１２０５６および対応するコンテキスト情報１２０５４（グラウンドトゥルースとして）を分析するための任意の好適な機械学習アルゴリズムであり得る。センサデータ１２０５６は、１または複数の自律車両のセンサからキャプチャされ得る、または、シミュレーションデータであり得る。機械学習アルゴリズム１２０５２は、動作する自律車両からのセンサデータ入力に基づいてコンテキストを提供するように調整されるモデル１２０５８を出力する。機械学習アルゴリズムの任意の好適なタイプが、出力モデル１２０５８を訓練および出力するために使用され得る。非限定的な例として、コンテキストを予測するための機械学習アルゴリズムは、サポートベクタマシンまたはディープニューラルネットワークなどの分類アルゴリズムを含み得る。
図１２１は、特定の実施形態による、融合コンテキストディクショナリ１２１１０を生成するための融合アルゴリズム１２１０２を描写する。図１２１は、センサ融合加重を確認するためのＭＬモデルをビルドするための訓練フェーズを描写する。融合アルゴリズム１２１０２は、センサデータ１２１０４、対応するコンテキスト情報１２１０６（グラウンドトゥルースとして）、および対応するオブジェクトの場所１２１０８（グラウンドトゥルースとして）を分析するための任意の好適な機械学習アルゴリズムであり得る。センサデータ１２１０４は、１または複数の自律車両のセンサからキャプチャされ得る、または、シミュレーションデータであり得る（例えば、本明細書において説明されるシミュレーション技法、または、他の好適なシミュレーション技法のいずれかを使用する）。いくつかの実施形態において、センサデータ１２１０４は、ＭＬモデルを訓練するために使用されるセンサデータ１２０５６と同じであり得る、または、少なくとも部分的に異なるデータであり得る。同様に、コンテキスト情報１２１０６は、コンテキスト情報１２０５４と同じであり得る、または、少なくとも部分的に異なる情報であり得る。融合アルゴリズム１２１０２は、動作する自律車両からのセンサデータ入力に基づいて重みを提供するように調整される融合コンテキストディクショナリ１２１１０を出力する。
任意の好適な機械学習アルゴリズムが、融合コンテキストディクショナリを訓練および実装するために使用され得る。非限定的な例として、機械学習アルゴリズムは、センサ融合加重を予測するための回帰モデルを含み得る。
様々な実施形態において、融合アルゴリズム１２１０２はニューラルネットワークベースである。訓練中、融合アルゴリズム１２１０２は、様々なセンサからのデータ（例えばセンサデータ１２１０４）およびグラウンドトゥルースコンテキスト情報１２１０６を入力として取得し、異なる重みを使用してデータを共に融合し、融合されたデータを使用してオブジェクト位置を予測し、予測位置とグラウンドトゥルース位置（例えば、オブジェクトの場所１２１０８の対応する場所）との間の誤差を最小化する費用関数（平均平方二乗誤差（ＲＭＳＥ）または同様のものなど）を利用し得る。様々な実施形態において、融合アルゴリズムは、オブジェクト追跡性能を最大化するために、所与のコンテキストについて融合加重を選択し得る。したがって、融合アルゴリズム１２１０２は、特定の特性（例えばオブジェクト追跡性能）を最大化または最小化することを試みる最適化アルゴリズムを使用して訓練され得、融合コンテキストディクショナリ１２１１０の結果の重みは次に、予測条件の結果を考慮して、センサからのデータの新しいセットをより効果的に融合するために使用され得る。
図１２２は、特定の実施形態による、選択的サンプリングおよび融合センサ重みを決定するための推論フェーズを描写する。特定の実施形態において、推論フェーズは、機械学習エンジン２３２および／またはセンサ融合モジュール２３６によって実行され得る。推論フェーズ中に、自律車両によってキャプチャされたセンサデータ１２２０２は、コンテキストモデル１２０５８に提供される。コンテキストモデル１２０５８の出力はコンテキスト１２２０６である。コンテキスト１２２０６は、１２２１２において選択的サンプリングをトリガするために使用され得る。例えば、コンテキストは、自律車両の複数のセンサの各センサについてのサンプリングレートを提供し得る出力モデル１２００６に提供され得る。自律車両は次に、指定されたサンプリングレートを使用して、そのセンサを用いてデータをサンプルし得る。
１２２１４において、補間が実行され得る。例えば、第１センサが第２センサの２倍の頻度でサンプリングされ、第１および第２センサからのサンプルが共に融合される場合、第２センサのサンプルは、各センサについてのサンプル間の時間が同じになるように補間され得る。任意の好適な補間アルゴリズムが使用され得る。例えば、補間されたサンプルは、以前（時間的に）の実際のサンプルの値を取り得る。別の例として、補間されたサンプルは、以前の実際のサンプルおよび次の実際のサンプルの平均であり得る。例はセンサデータのレベルでの融合に焦点を当てるが、融合は追加または代替的に、出力でも実行され得る。例えば、オブジェクト追跡問題の解決において、異なるセンサで異なるアプローチが取られ得る。最終的に、後の解析ステージにおいて、個々の出力の補足的な面が組み合わされて、融合された出力が生成される。したがって、いくつかの実施形態において、代替的に、センサデータが共に融合された後に補間が実行され得る。
コンテキスト１２２０６はまた、融合コンテキストディクショナリ１２１１０へ提供され得、一連の融合加重１２２１０が融合コンテキストディクショナリ１２１１０から出力され、ここで、各融合加重は対応するセンサについての重みを指定する。融合加重は、センサデータに適合的に重み付けし、融合されたセンサデータ１２２１８を出力するために、融合ポリシーモジュール１２２１６において使用される。任意の好適な融合ポリシーが、２以上のセンサからのデータを組み合わせるために使用され得る。一実施形態において、融合ポリシーは、２以上のセンサからのデータの単純な重み付けされた平均を指定する。他の実施形態において、本明細書において説明された、より高性能の融合ポリシー（任意の融合ポリシーなど）が使用され得る。例えば、デンプスター・シェイファーベースのアルゴリズムがマルチセンサ融合に使用され得る。融合されたセンサデータ１２２１８は、オブジェクトの場所を検出するなど任意の好適な目的に使用され得る。
様々な実施形態において、シミュレーション、および、強化学習などの技法も、コンテキストベースのサンプリングポリシー（例えばレート）およびセンサ融合加重を自動的に学習するために使用され得る。どれだけ頻繁に異なるセンサをサンプリングするか、および、何の重みをどのセンサに割り当てるかを決定することは、運転シナリオの数が大きいことに起因して困難である。コンテキストベースのサンプリングの複雑性はまた、安全性を損なうことなく、高いオブジェクト追跡の正確度および低電力消費などの異なる目的を達成する要望によって増加する。現実世界において収集されたセンサデータをリプレイする、または、仮想道路ネットワークおよび交通状態をシミュレートするシミュレーションフレームワークは、コンテキストベースのモデルを訓練し、適合的なポリシーの影響を探索するための安全な環境を提供する。
上記の教師あり学習技法に加えて、様々な実施形態において、コンテキストベースのサンプリングおよび融合ポリシーの学習は、複数の目的を（例えば、安全性および電力消費の両方）サポートする強化学習モデルを訓練することによって決定され得る。様々な実施形態において、オブジェクト検出の正確度、オブジェクト追跡の正確度、電力消費、または安全性のうち任意の１または複数は、最適化された目的であり得る。いくつかの実施形態において、十分な実際のデータが利用可能でない場合、そのような学習は、シミュレートされた環境において実行され得る。特定の実施形態において、強化学習が、車両の経路におけるオブジェクト（例えば車および歩行者）を正確に識別することによって安全性を維持しながら、電力消費を低減するセンサ融合加重およびサンプリングポリシーを見つけるという目的を有するエージェントを訓練するために使用される。訓練中に、安全性は、安全性の閾値レベルが実現される厳しい制約であり得るが、電力消費の低減は、望ましいが必須ではない緩い制約である。
図１２３は、様々なコンテキストについてのセンサの異なる重みを提示する。表におけるＨは、特定のセンサからの測定結果に高いレーティングが与えられるシナリオを表す。様々な例において、カメラセンサ、レーダーセンサ、または音響センサに比べて、ＬＩＤＡＲセンサには、夜に比較的大きい重みが与えられるが、日中の間、カメラセンサには比較的大きい重みが与えられ得る。
図１２３は、融合コンテキストディクショナリ１２１１０によって、または、本明細書において説明される強化学習モデルによって提供され得る出力の例を表す（例えば、この例は、異なるコンテキストにおける様々なセンサの相対的な重みを表す）。他の実施形態において、センサ重み出力は、図１２３に示される高い、低いの分類によるレーティングの代わりに、数値であり得る。
図１２４Ａは、特定の実施形態による、異なるコンテキスト下のセンサの重みを学習するためのアプローチを示す。第１に、オブジェクトを可能な限り正確に検出するモデルが、例えば、カメラ、ＬＩＤＡＲ、またはレーダなどの各個々のセンサについて訓練され得る。任意の好適な機械学習モデルがオブジェクト検出モデルのために使用され得るが、いくつかの実施形態において、オブジェクト検出モデルは、カメラデータの場合、ディープニューラルネットワークなどの教師あり機械学習モデル、または、ＬＩＤＡＲポイントクラウドの場合、ＤＢＳＣＡＮ（ノイズのあるアプリケーションの密度ベース空間クラスタリング）などの教師なしモデルである。
次に、強化学習を使用することによって、コンテキストベースのセンサ融合ポリシーを自動的に学習するためにモデルが訓練され得る。強化学習モデルは、各センサによって検出されたオブジェクトの現在のセット、および、コンテキストを使用して、センサ融合ポリシーを学習する。ポリシーは、例えば、オブジェクト追跡の正確度を最大化する、および、電力消費を最小化するなど、複数の目的を含む報酬を最大化する各時間ステップで、適用するセンサ重みを予測する。
したがって、図１２４Ａに描写されるように、強化学習アルゴリズムエージェント（例えば、コンピューティングシステムの機械学習エンジンによって実装される）は、センサデータおよびコンテキストを含む環境に基づくセンサ融合ポリシー、ならびに、追跡正確度および電力消費などの結果に基づく報酬を管理し、センサ融合中に使用するためにセンサ重みの形成でアクションを生成し得る。任意の好適な強化学習アルゴリズムが、Ｑ学習ベースのアルゴリズムなどのエージェントを実装するために使用され得る。
このフレームワークにおいて、特定のセンサについての重みは、特定のコンテキストについてゼロの値であり得る。ゼロ値の重みまたは所与の閾値より下の重みは、その出力はセンサ融合中に使用されないので、センサがその特定のコンテキストについてサンプリングされる必要がないことを示す。各時間ステップにおいて、モデルは、所与のコンテキストについて、センサあたり１つの重みを有するベクトルを生成する。
このアプローチの代替的な実装は、マルチエージェント（センサごとに１エージェント）強化学習モデルを利用し得る。ここで、各エージェントは、重みおよびサンプリングレートに対してローカルの判断を行うが、モデルは、オブジェクト追跡の正確度の増加、および低電力消費など、全体的な目的（または目的の組み合わせ）を実現することを試みる。そのような実施形態において、特定のエージェントは、全体の目的を実現しない判断を行う場合、ペナルティを課され得る。
図１２４Ｂは、特定の実施形態による、異なるコンテキストにおいてセンサについての重みを学習するためのより詳細なアプローチを示す。このアプローチにおいて、オブジェクト検出モデル１２４５２はＬＩＤＡＲについて訓練され、オブジェクト検出モデル１２４５４はカメラについて訓練される。特定の実施形態において、オブジェクト検出モデル１２４５４は、ディープニューラルネットワークなどの教師あり機械学習モデルであり、オブジェクト検出モデルは、ＬＩＤＡＲポイントクラウドについてのＤＢＳＣＡＮなどの教師なしモデルである。
図１２４Ｂに描写されるように、強化学習アルゴリズムエージェントは、例えば、コンテキスト、検出されたオブジェクト、グラウンドトゥルースオブジェクト、センサ電力消費、および安全性、ならびに、検出の正確度、電力消費、安全性などの結果に基づく報酬１２４６０を含む、環境１２４５８に基づくセンサ融合ポリシー１２４５６を管理し得る。アクション１２４６２は、センサ融合中に使用するために、センサ重み１２４６４の形態で生成され得る。Ｑ学習ベースのアルゴリズムなど、任意の好適な強化学習アルゴリズムが、エージェントを実装するために使用され得る。
図１２５は、特定の実施形態による、サンプリングポリシーを決定するためのフローを描写する。１２５０２において、車両の複数のセンサによってサンプリングされたセンサデータが取得される。１２５０４において、サンプリングされたセンサデータに関連付けられたコンテキストが取得される。１２５０６において、車両のセンサについてのサンプリングレートのグループ、または、センサデータの融合を実行するために使用されるセンサについての重みのグループのうち一方または両方は、コンテキストに基づいて決定される。
様々な実施形態において、上記の推論モジュールのいずれかが、自律車両のコンピューティングシステム、または、自律車両に結合された他のコンピューティングシステムによって実装され得、一方、上記の訓練モジュールのいずれかが、１または複数の自律車両に結合されたコンピューティングシステムによって（例えば、複数の自律車両に結合された集中型コンピューティングシステムによって）、または、自律車両のコンピューティングシステムによって実装され得る。
上の例は、オブジェクト検出に関連して説明されたが、当該概念は、セマンティックセグメント化およびオブジェクト追跡などの他の自律運転オペレーションに適用され得る。
レベル５（「Ｌ５」完全自律）自律車両は、幅広い末端消費者への経済的なスケーラビリティを助けない主要な送信ソースとしてＬＩＤＡＲセンサを使用し得る。レベル２（「Ｌ２」）または他のより低いレベルの自律車両（より低いレベルの自動化）は、他方で、典型的にはカメラを主な感知ソースとして使用し得、情報の冗長およびカメラセンサとの相関のために、プログレッシブモード（通常、ＬＩＤＡＲセンサの低コストバージョン）においてＬＩＤＡＲを導入し得る。ＬＩＤＡＲがカメラを通じて提供する１つの情報は、車両と、その周囲にある車両／オブジェクトとの間の距離、また、周囲の車両およびオブジェクトの高さ情報である。しかしながら、ＬＩＤＡＲは、自律車両に含まれるもっとも高価なセンサ技術の１つであり得る。
従って、いくつかの実施形態において、低コストの光ベースの通信技術が、ＬＩＤＡＲセンサの代替として使用され得、情報を置き換えることによってセンサのコストの節約を提供しながら、ＬＩＤＡＲが提供する深度および高さ情報を提供する。そのような通信モジュールは、自律車両、路肩ユニット、および、運転環境内の交通およびイベントをモニタリングする他のシステムに配置され得る。いくつかの実装において、各車両の厳密な場所、車両の高さ、および、周囲の車両が安全距離を保持するために有用され得る車両のサイズ／高さに関連する任意の他の情報を（リアルタイムに）提供するためにＬｉ－Ｆｉ（Ｌｉｇｈｔ Ｆｉｄｅｌｉｔｙ）技術が活用され得る。車両に光源（例えばＬＥＤ）および光検出器を装備することによって、光ベースの通信技術（例えばＬｉ－Ｆｉ）が、自動車、バイク、自転車を含む異なるタイプの車両に適用され得る。Ｌｉ－Ｆｉは、異なるタイプの車両の間に適用され得る（例えば、自転車は、ＬｉＦｉを使用して、その周囲の車両に対し、場所、および、安全距離を維持することを助ける任意の他の有益な情報を提供し得る。
Ｌｉ－Ｆｉは、光波を通じてデータ（例えば位置情報）を送信するために光を使用するデバイス間の無線通信についての新しい技術である。Ｌｉ－Ｆｉは、無線通信（例えば、ＩＥＥＥ８０２．１１プロトコルなどの同様のプロトコルを利用し得る）の観点ではＷｉ－Ｆｉ（登録商標）と同様であるとみなされ得るが、Ｌｉ－Ｆｉは、無線周波数の電波の代わりに、光無線通信を使用し、より大きい帯域幅を可能にし得るという点で、Ｗｉ－Ｆｉ（登録商標）と異なる。Ｌｉ－Ｆｉは、ギガビット／秒（Ｇｂｐｓ）帯域幅に到達できる可視光無線通信（ＶＬＣ）を介して高速データの送信を可能にし得る。Ｌｉ－Ｆｉは、４００ＴＨｚ（７８０ｎｍ）と８００ＴＨｚ（３７５ｎｍ）との間の可視光を通信に使用し得るが、いくつかの事例において、紫外線（ＵＶ）または赤外線（ＩＲ）放射も通信に使用し得る。
図１２６は、少なくとも１つの実施形態による、自律車両１２６１０、１２６２０の間の例示的なＶＬＣまたはＬｉ－Ｆｉ通信の簡略図である。示される例において、送信側である車両の光源（例えば１２６１２、１２６２２）（例えば、発光ダイオード（ＬＥＤ）が取り付けられた車両のランプ）は、変調光ビーム（例えば１２６３１、１２６３２）を別の車両の光検出器（例えばフォトダイオード）へ送信する。車両には、ビームが組み込みデータ（例えば上記のような、および、下で更に説明されるような、送信車両の位置または高さ情報）を含むように、放射された照明ビームを変調し、受信された光信号を復調する信号処理モジュール（例えば１２６１６、１２６２６）が装備され得る。受信車両の光検出器（例えば１２６１４、１２６２４）は、送信車両から光信号を受信し、振幅の変化を電気信号（これは次に復調を通じて再びデータストリームに変換される）に変換する。いくつかの実施形態において、複数の光源からのＬｉ－Ｆｉデバイスの同時受信は、光検出器（例えばフォトダイオード）のアレイを含む光センサを有することによって可能となる。
これはまた、いくつか事例において、スループットを増加させるために、１つの光源からの、または、複数の光源からの複数のチャネルからの複数の受信を可能にし得る。複数のチャネルは、光（可視光、赤外線、および／または紫外線）スペクトル上の異なるチャネル（波長）として実装され得る。
位置または他の車両データ（例えば、車両の高さ、車両のサイズ、または、他の周囲の車両が送信車両の構造を作成することを助け得る他の情報）が、光波の変調を通じて送信され得る。送信されたデータのサイズは、数バイトのオーダであり得る。例えば、車両の位置情報は、およそ７～８バイト（例えば、「ＡＳＣＩＩコード」の各数字につき４ビット、各文字につき４ビット）を利用し得る、度分秒（ＤＭＳ）フォーマットに従う場合、およそ１２個の数字および２個の文字を利用し得る（例えば、自由の女神にもっとも近い場所の場合、４０° ４１' ２１．４" Ｎ ７４° ０２' ４０．２" Ｗ）。別の例として、車両の高さ情報（例えば、１つの１０進数を用いるメートル）は、およそ４ビットのデータを利用し得る。別の例として、（メートル単位で車両の長さおよび幅を含み得る）車両のサイズ情報は、長さについておよそ１バイトのデータを、幅について４ビットのデータを利用し得る（例えば、「バスとみなされる」長さについて１～２個の１０進数、幅について１個の１０進数）。
任意の好適な変調スキームが、車両間の通信に使用され得る。本開示の実施形態において使用され得る変調スキームの例は、以下を含む。
・振幅シフトキーイング（ＡＳＫ）の形態である、オンオフキーイング（ＯＯＫ）：２進数の数字列をモデリングするためにＬＥＤはオンまたはオンを切り替えられ得る。
・可変パルス位置変調（ＶＰＰＭ）：２Ｍの可能な必要な時間シフトの１つにおける単一パルスを送信することによって、Ｍビットがエンコードされる。これは、ビットレート（Ｍ／Ｔ ｂｐｓ）を有するために、Ｔ秒（変数である）ごとに繰り返される。
・色相偏移変調（ＣＳＫ）：定義するＩＥＥＥ８０２．１５．７規格において導入され、赤色、緑色、および青色ＬＥＤの混合を使用する光においてデータをエンコードし、各ＬＥＤの点滅のレートを変動させてデータを送信する。
・振幅シフトキーイング（ＡＳＫ）の形態である、オンオフキーイング（ＯＯＫ）：２進数の数字列をモデリングするためにＬＥＤはオンまたはオンを切り替えられ得る。
・可変パルス位置変調（ＶＰＰＭ）：２Ｍの可能な必要な時間シフトの１つにおける単一パルスを送信することによって、Ｍビットがエンコードされる。これは、ビットレート（Ｍ／Ｔ ｂｐｓ）を有するために、Ｔ秒（変数である）ごとに繰り返される。
・色相偏移変調（ＣＳＫ）：定義するＩＥＥＥ８０２．１５．７規格において導入され、赤色、緑色、および青色ＬＥＤの混合を使用する光においてデータをエンコードし、各ＬＥＤの点滅のレートを変動させてデータを送信する。
車両によって送信される位置、高さ、サイズ、または他の情報のサンプリングレートは、少なくとも２つの形態をとり得る。１つの例として、サンプリングはプロアクティブであり得、各車両は、その位置（または他の）情報を所与の頻度で常に送信する。例えば、プロアクティブなサンプリングは、非常に混雑したエリア、衝突のリスクが高いエリアにおいて、または、夜間時間の間に選択され得る。この場合における光検出器は、光検出器からの入力を常に考慮するセンサ融合を用いて、受信されたデータから「深度」情報を感知することをもたらす物理センサとみなされ得る。別の例として、サンプリングはイベントベースであり得、各車両は、周囲における他の車両を検出すると、その位置情報を送信する。この場合における光検出器は、周囲に交通車両が検出されたときはいつでもオンデマンドで受信されたデータから「深度」情報を感知することをもたらす物理センサとみなされ得、センサ融合は、イベントベース方式で、光検出器からの入力を考慮し得る。
いくつか場合において、各車両は、既存の光源（フロントライト、バックライト、サイドライト、または屋根に配置されたＬＥＤ）を活用し、それらのソースからの光波を変調して、特定の周波数で、または、イベントドリブンの形態（例えば、車両カメラが周囲の車両を検出するとき、または、車両が交通信号機または一時停止標識で停止するとき）で、要求されたデータを送信し得る。
図１２７Ａ、図１２７Ｂは、少なくとも１つの実施形態による、例示的なＶＬＣまたはＬｉ－Ｆｉセンサの、自律車両１２７００上での場所の簡略図である。図１２７Ａは、自律車両１２７００の鳥観図を示し、図１２７Ｂは、自律車両１２７００の側面図を示す。自律車両１２７００は、センサ１２７０２、１２７０３、１２７０４、１２７０５、１２７０６、１２７０７、１２７０８を含む。各センサは、光源（または複数の光源、例えばＬＥＤのアレイ）および光検出器（または複数の光検出器、例えば、光検出器のアレイ）の両方を含み得る。いくつかの実施形態において、車両の既存の光源（例えば、フロントライト（センサ１２７０２、１２７０３の場合）、バックライト（センサ１２７０７、１２７０８の場合）、サイドライト（センサ１２７０４、１２７０５の場合）が、各車両の位置情報をすべての視野の周囲の車両にリアルタイムに通信するために活用され得る。これにより、各車両は、すべての周囲の車両からの距離を計算する（ＬＩＤＡＲが現在提供する深度情報を置換する）ことが可能となる。高さ情報（および、サイズ、または、安全距離を維持し、周囲をリアルタイムに発見することを助ける任意の関連する情報）が提供され得る。センサはまた、センサ１２７０６について示されるように、車両の上部など、現在の光源が無い、車両の他の場所に配置され得る。センサはまた、図１２７Ａおよび図１２７Ｂに示されるもの以外の、自律車両１２７００上の他の場所に配置され得る。
図１２８は、少なくとも１つの実施形態による、対象の車両１２８１０と、交通車両１２８２０との間の例示的なＶＬＣまたはＬｉ－Ｆｉ通信の簡略図である。特に、図１２８は、対象の自律車両が、そのセンサ融合プロセスにおいて、交通車両によるＬｉ－Ｆｉデータ伝送から来る周囲の交通車両の位置情報をどのように考慮するか（および、交通車両が、周囲にある対象の車両の位置情報を同様の方式でどのように取得するか）を示す。対象の自律車両は、同じプロセスを利用して、他の交通車両からの他のＬｉ－Ｆｉデータ伝送（不図示）も処理し得る。
示される例において、各車両には、（数ある他のセンサの中でも特に）視覚システムおよびＬｉ－Ｆｉ送信機（例えばＬＥＤおよび信号処理回路／ソフトウェア）およびＬｉ－Ｆｉ受信機（例えば光検出器（ＰＤ）および信号処理回路／ソフトウェア）が装備される。示されるように、各車両におけるセンサ融合モジュール／スタックは、カメラベースの視覚システムから通常の入力を、光検出器から追加の入力を取得する。
図１２９は、少なくとも１つの実施形態による、自律車両のセンサ融合プロセスにおけるＶＬＣまたはＬｉ－Ｆｉ情報を使用する例示的プロセスの簡略図である。例示的プロセス１２９００におけるオペレーションは、（例えば、図１２８の自律車両の一方または両方）自律車両のコンポーネントによって実行され得る。例示的プロセス１２９００は、追加の、または異なるオペレーションを含み得、オペレーションは、示される順序、または別の順序で実行され得る。いくつかの場合において、図１２９に示されるオペレーションの１または複数は、複数のオペレーション、サブプロセス、または他のタイプのルーチンを含むプロセスとして実装される。いくつかの場合において、オペレーションが組み合わされ、別の順序で実行され、並行して実行され、反復され、またはそうでない場合、別の方式で繰り返され得る、または実行され得る。
１２９０２において、自律車両は、別の車両（「交通車両」）から、変調された光信号を受信する。いくつかの場合において、自律車両は、複数の交通車両から、変調された光信号を受信し得る。
１２９０４において、変調された光信号はサンプリングされる。サンプリングは、特定の周波数（例えば、数ミリ秒ごと）で、または検出されたイベント（例えば、自律車両の周囲のエリアにおける交通車両の存在の検出）に応答して行われ得る。
１２９０６において、サンプリングされた信号が復調され、交通車両についての位置およびサイズ情報が取得される。位置情報は、交通車両の厳密な場所を示す情報を含み得る。例えば、位置情報は、ＤＭＳフォーマット、または別のフォーマットで、交通車両の地理座標を含み得る。サイズ情報は、交通車両のサイズを示す情報を含み得、交通車両の長さ、幅、および／または高さ（例えば、メートル単位）を含み得る。
１２９０８において、１２９０６で取得された位置情報は、自律車両のセンサ融合プロセスにおいて使用される。例えば、自律車両は、自律運転パイプラインの知覚フェーズにおいて位置情報を使用し得る。
自律運転機能を実装するために利用される基礎的な技術およびコンポーネントのコストの低減は、大衆消費者市場に対して自律運転を経済的に実現可能にするために、および、道路上でのその採用を早めるために、重要な要素とみなされ得る。自律車両の高いコストの一部は、ＬＩＤＡＲセンサ、レーダーセンサ、カメラ、慣性測定ユニット（ＩＭＵ）、全地球航法衛星システム（ＧＮＳＳ）受信機、およびその他など、高性能のセンサの使用が原因である。高コストの一部は、高性能データ処理、高帯域幅のデータ通信、および高容量のストレージが必要とされることが原因である。センサおよびコンピューティング能力の両方は、自動車グレードコンポーネントを使用して、機能安全性規格を満たして、非常に大量のデータを非常にロバストな方式でリアルタイム処理する必要がある。高コストの一部は、自律車両の開発プロセスが原因である。
自律車両、および、関連付けられたセンサの開発プロセスは、典型的には、様々な方法のシミュレーションおよびフィールドテストによる、知覚、計画、および制御ソフトウェアアルゴリズム、ならびに、ハードウェアコンポーネントの開発、訓練、およびテストを含む。特に、自律車両についての現代の知覚システムは、知覚（例えばコンピュータビジョン）アルゴリズムの訓練を必要とする機械学習方法を利用し得、タスクおよびセンサに固有の訓練済みモデルを手元にもたらす。現代の機械学習ベースの方法は、非常に大量のデータセットの収集、および、グラウンドトゥルースアルゴリズム出力（例えば「データラベリング」）を取得するための非常に大きい努力を必要とするので、非常に高額である。これらのデータセットは一般に、使用される具体的なセンサおよびデータの特性に依存する。知覚アルゴリズムを、当該アルゴリズムが開発されたときに元々意図されたドメイン以外のドメインにおいて再利用することを容易にする取り組みは、転移学習およびドメイン適合の概念を伴う。著しい努力にもかかわらず、これらのアルゴリズムの再利用は、難しく解決不可能な問題のままである。
コストを低減する１つのアプローチは、様々な感知および計画データ処理サブシステムを、より少ないコンピューティングコンポーネントに統合し、処理パイプラインに必要なフットプリントおよび電力を徐々に低減し、経済的なスケールに到達することを含み得る。コスト低減に対する別のアプローチは、より少ないデータ処理コンポーネントの再利用を最大化し、単一の自律車両において実行される必要がある複数のタスク、および、自律車両の複数のタイプに跨って共通コンポーネントを利用することである。これは、共通の知覚アルゴリズム、共通のアルゴリズム訓練データセット、および共通の機械学習モデルの使用を伴い得る。
いくつか実施形態によれば、データ処理パイプラインは、カメラ（視覚）データおよびＬＩＤＡＲ（深度／距離／範囲）データの両方について共通コンポーネントを利用し、これにより、カメラデータおよびＬＩＤＡＲデータの両方について、共通の処理コンポーネントの利用を可能にし得る。これにより、自律車両の開発コストを低減し得、コンポーネント自体のコストを低減し得る。
いくつかの実施形態において、センサデータは、カメラデータおよびＬＩＤＡＲデータの両方が所持する生の物理特性から、より均一な方式のデータ処理を可能にする、より正規化されたフォーマットへ抽象化されたものであり得る。これらの技法は、データの忠実度、および、それに含まれる重大なシーンの情報を保持しながら、ノイズを低減し得る、または、データのセンサ固有の特性を低減し得る一種の前処理とみなされ得る。結果として生じる抽象化および正規化されたデータは、標準的な知覚コンポーネント／アルゴリズム（例えば、自律車両についての制御プロセスの知覚フェーズ／サブシステム）、例えば、自律運転に必要である、オブジェクト検出、道路標識検出、交通標識検出、交通信号検出、車両検出、または歩行者検出に提供され得る。結果として生じる抽象化および正規化されたデータは、データから、自律車両の周囲の世界の状態を認識する必要がある知覚アルゴリズムおよび他の処理コンポーネントについての、より容易な転移学習およびドメイン適合を可能にする。検出に加えて、知覚フェーズ／サブシステムは、より一般に、分類機能、例えば、特定の交通標識の検出、および／または、交通標識の厳密なタイプの分類、または、乗用車、バン、トラック、緊急車両、およびその他など、特定のタイプへの車両の分類を含み得る。更に、知覚フェーズ／サブシステムは、道路エージェントの位置および速度、ならびに、それらの状態の他の次元を推定することを伴い得る。更に、自律車両知覚フェーズ／サブシステムは、道路エージェントのアクションまたは挙動を分類または認識し得る。知覚フェーズ／システムのすべてのそのような機能は、センサの仕様に依存し得、センサデータの抽象の恩恵を受け得る。
いくつか事例において、センサデータ抽象化および正規化は、単一車両において使用される同じタイプの異なるセンサの間での共通処理を可能にし得る。例えば、複数のタイプのカメラが、単一車両において使用され得る（例えば、以下の遠近投影カメラ、魚眼カメラ、パノラマカメラの１または複数の組み合わせ）。異なるタイプのカメラは、非常に異なる視野、または、イメージプレーンへの異なる投影を有し得る。各タイプのカメラはまた、車両上の特定の構成において使用され得る。可視光、赤外線、サーマルビジョン、および他の波長でのイメージングなどのモダリティは、それ自体の特性を各々有する。同様に、異なる特性を有する複数のタイプのＬＩＤＡＲが車両上で使用され得る。従って、本開示の特定の態様において、異なるタイプのカメラからのセンサデータは、共通フォーマットに抽象化され得、異なるタイプのＬＩＤＡＲからのセンサデータは、同様に共通フォーマットに抽象化され得る。
本開示の態様は、モダリティおよびセンサタイプ内、および、それらに跨るセンサデータの低レベルの融合を可能にし得る。概して、自律運転およびモバイルロボティクスについての低レベルのセンサ融合は、重複する視野を有する複数のモダリティからのセンサデータを組み合わせることを含む。いくつかの場合、例えば、センサ融合は、以下の１または複数を含み得る。
・重複する視野内でデータを厳密に組み合わせるが、いくつかの重複（例えば、イメージモザイク、パノラマイメージ作成）を有する異なる視野からのデータを共に繋ぎ合わせることも含み得る。
・所与の分解能でキャプチャされた複数のカメライメージを組み合わせて、超分解能を実現する（例えば、カメラの分解能より高い分解能のイメージの作成）。これにより、より低コストのカメラを使用することによって、より高コストのカメラの分解能を実現することを可能にし得る。
・複数のＬＩＤＡＲデータスキャンを組み合わせて、その分解能を増加させる。我々の知識の範囲では、ＬＩＤＡＲデータで超分解能を実現することは、完全に新しい分野である。
・所与の限定されたダイナミックレンジでキャプチャされた複数のカメライメージを組み合わせて、より高いダイナミックレンジを実現する。
・複数のカメライメージまたは複数のＬＩＤＡＲスキャンを組み合わせて、ノイズ低減を実現する。例えば、各個々のカメライメージまたはＬＩＤＡＲスキャンに存在するノイズを抑制する。
・カメラおよびＬＩＤＡＲイメージを組み合わせて、両方のモダリティにおいて現在するオブジェクトの、より高い検出レートを実現する。ただし、「ノイズ」ソースは独立している。
・重複する視野内でデータを厳密に組み合わせるが、いくつかの重複（例えば、イメージモザイク、パノラマイメージ作成）を有する異なる視野からのデータを共に繋ぎ合わせることも含み得る。
・所与の分解能でキャプチャされた複数のカメライメージを組み合わせて、超分解能を実現する（例えば、カメラの分解能より高い分解能のイメージの作成）。これにより、より低コストのカメラを使用することによって、より高コストのカメラの分解能を実現することを可能にし得る。
・複数のＬＩＤＡＲデータスキャンを組み合わせて、その分解能を増加させる。我々の知識の範囲では、ＬＩＤＡＲデータで超分解能を実現することは、完全に新しい分野である。
・所与の限定されたダイナミックレンジでキャプチャされた複数のカメライメージを組み合わせて、より高いダイナミックレンジを実現する。
・複数のカメライメージまたは複数のＬＩＤＡＲスキャンを組み合わせて、ノイズ低減を実現する。例えば、各個々のカメライメージまたはＬＩＤＡＲスキャンに存在するノイズを抑制する。
・カメラおよびＬＩＤＡＲイメージを組み合わせて、両方のモダリティにおいて現在するオブジェクトの、より高い検出レートを実現する。ただし、「ノイズ」ソースは独立している。
一実施形態が図１３０Ａに示される。単一のセンサに由来するセンサデータ１３００２の単一のストリームについての処理パイプライン１３０００を示す。複数のセンサ抽象化アクション１３００４、１３００６、１３００８によって、元のセンサデータは、「シーンデータ」フォーマット１３０１０に変換および正規化される。シーンデータは後に、検出ステージ／アルゴリズム１３０１２へ提供される。これは、自律運転に重要な車両検出、歩行者検出、または他の検出コンポーネントを含み得る。シーンデータ１３０１０は元のセンサデータ１３００２から抽象化されたので、検出ステージは、複数のタイプのセンサに由来するシーンデータと組み合わせて使用され得る共通のオブジェクトモデルを使用する。ディープニューラルネット、畳み込みニューラルネット、完全接続ニューラルネット、再帰型ニューラルネットなどの機械学習モデルの場合、抽象化アクション（１３００４、１３００６、１３００８）が、訓練および推論の両方において適用される。簡潔性のために、図１３０Ａは、推論ステージのみを示す。
一例において、例示的なセンサ抽象化プロセスは、センサ応答値を正規化するアクション（例えば１３００４）を含み得る。カメライメージの場合、例えば、これは、画素値（例えば、グレースケールまたは色値）を正規化することを含み得る。例えば、自律車両の異なるカメラは、画素あたり８ビット、画素あたり１０ビットもしくは１２ビットなど、異なるビット深度、または、異なる色空間（多くの場合、ＲＧＢまたはＹＵＶ（ルミナンス、クロミナンス）として、または、異なる色空間において表される）を有し得る。応答正規化アクションは、センサ応答（例えば、カメラ応答機能）のモデルを使用して、応答値を正規化された範囲および表現に変換し得る。これはまた、いくつかの実施形態において、異なる露出を有する、キャプチャされたカメライメージを組み合わせて、高ダイナミックレンジのイメージにすることを可能にし得る。センサ応答モデルのパラメータは、（例えば、露出および他のセンサ設定から）既知であり得る、または、データ自体から推定され得る。
ＬＩＤＡＲの場合、生のセンサデータは、深度または距離の値の形態であり得る。水平角度（方位角）および鉛直角度（上下角）に基づいて、深度値は、Ｘ、Ｙ、Ｚ点位置の値に変換され得る。例として、Ｘ軸は、車両の長手方向軸に対して鉛直に近いことがあり得、Ｙ軸は、車両の長手方向軸に対して並行に近いことがあり得、Ｚ軸は、地上から上向きに近いことがあり得る。オブジェクト認識の目的で、生の深度値、または、Ｘ、Ｙ、Ｚ値のうち１もしくは２つのいずれかが、もっとも有用であり得る。したがって、ＬＩＤＡＲ値は、単一スカラーとして、または、値のペアもしくはトリプレットのいずれかとして表され得る。いくつかの実施形態において、値自体は、正規化された範囲に変換され得る。いくつかの事例において、ＬＩＤＡＲセンサは、水平および鉛直の視野に跨る深度または距離の値の２次元（２Ｄ）アレイを提供し得、アレイは、２Ｄイメージと同じ形式であり得る。ＬＩＤＡＲデータから直接取得されるそのようなイメージの例が図１３０Ｂに示される。本開示の特定の態様において、ＬＩＤＡＲセンサデータは、ポイントクラウドとして表されるのではなく、この２Ｄアレイ形式で保持され得る。データを２Ｄアレイに保持する重要な結果として、カメラおよびＬＩＤＡＲデータの両方が、２Ｄアレイまたはイメージとして表される。
引き続きこの例において、センサ抽象化プロセスは、センサデータを変形する（例えば１３００６）ことによって継続し得る。いくつかの実施形態において、変形ステージは、空間アップスケーリングまたはダウンスケールオペレーションを含み得る。単純なアップスケーリングまたはダウンスケーリングが、カメライメージまたはＬＩＤＡＲアレイの空間分解能を変更するために使用され得る。図１３０Ｂに示される例に示されるように、ＬＩＤＡＲセンサデータ１３０５０の分解能は、水平次元において高いことがあり得るが、鉛直次元において低いことがあり得る。共通の検出モデルを使用してセンサ抽象化、センサ融合およびオブジェクト検出を促進するべく、従って、ＬＩＤＡＲアレイの鉛直分解能を増加させることが望ましいことがあり得る。これを行うもっとも１つの方法は、画像処理において開発されたものと同一または同様の技法を使用するアップスケーリングオペレーションを適用することである。
いくつかの実施形態において、変形はまた、感知プロセスに固有の幾何学的影響の訂正を組み込む。例として、変形は、遠近投影カメラと魚眼カメラとの間の差を修正し得る。変形アクションは、魚眼イメージを遠近投影イメージまたはパノラマイメージに変換し得る。また、これは、後のステージにおいて、共通の検出モデルを可能にし得る。変形アクションはまた、カメラまたはＬＩＤＡＲセンサの構成および視野を考慮し得る。これにより、複数のセンサからのイメージまたはＬＩＤＡＲスキャンをモザイクまたはパノラマイメージに組み合わせること（すなわち、イメージの繋ぎ合わせ）を可能にし得る。
いくつかの実施形態において、変形アクションはまた、車の動きに起因する動き、および、振動に起因する意図されない動きの両方を含む、カメラの動きの訂正を組み込み得る。これにより、わずかに異なる時間にキャプチャされた複数のイメージまたはＬＩＤＡＲスキャンを組み合わせること、および、２つのキャプチャ時間の間のセンサの動きを説明することを可能にし得る。同じシーンの複数のイメージをこのように組み合わせることにより、分解能の改善（超分解能）、ノイズ低減、および、他の形式のセンサ融合が可能になる。センサの動きのパラメータ、および、他の必要なパラメータは（例えば他のセンサを使用して）測定され得る、または、データ自体から推定され得る。まとめると、変形アクションは、センサデータストリーム間の多くのタイプの幾何学的差を説明し得、正規化された構成への、データの空間的および時間的調整（または登録）をもたらし得る。
いくつかの実装において、センサ抽象化は、データに対するフィルタリング（例えば１３００８）の適用を継続し得る。このフィルタリングは、単一の瞬間からのデータを利用し得る、または、以前および現在の瞬間からのデータを使用するフィルタリングを伴い得る。例えば、単一のカメライメージまたは複数のカメライメージ（またはイメージフレーム）が使用され得る。
いくつかの実施形態において、フィルタリングの時間再帰的方法が使用され得る。時間再帰的イメージフィルタは、以前の瞬間に以前にフィルタリングされたイメージを使用し、それを現在時間に感知されたイメージデータと組み合わせ得る。具体的な例として、カルマンフィルタ（またはカルマンフィルタの変形）が使用され得る。フィルタ（例えば、カルマンフィルタまたはその変形）は、以前の瞬間からのデータに基づく予測アクション、および、現在時間からのデータに基づく更新アクションを組み込み得る。粒子フィルタ、ヒストグラムフィルタ、情報フィルタ、ベイズフィルタ、ガウスフィルタなど、当技術分野において既知の他のフィルタも使用され得る。
いくつかの場合において、フィルタリングアクションは、センサノイズモデルを使用して、異なるタイプのセンサ、カメラおよび／またはＬＩＤＡＲからのノイズを適切に説明し、抑制し得る。ノイズモデルは、フィルタリングの前にパイプラインオペレーションを追跡しながら（例えば、応答正規化および変形）、元のセンサデータにおけるノイズの性質および強さを、および、データにおけるノイズに対するそれらの影響を記述する。例として、元のデータにおけるノイズの強さは、応答正規化アクション中に調整される。また、ノイズの空間特性は変形アクション中に影響され得る。センサノイズモデルのパラメータは、測定に基づき得る、または、データ自体から推定され得る。フィルタリングアクションはまた、以前のデータから現在のデータを予測する不確実またはノイズをキャプチャし得るシーンモデルを使用し得る。例えば、現在時間のアクションのデータと、以前の時間のアクションのデータとの間の関係は、自律車両の動き、およびそのセンサに依存する。この動きは、いくらかの残りの不確実またはノイズ内で測定または推定され得る。シーンモデルは、この不確実性を説明する。シーンモデルはまた、（ノイズ無しで）シーン自体に起因して、真の信号における著しいバリエーションの大きさを記述し得る。この情報は、データにおいて観察されたバリエーションの大きさを重み付けするために、フィルタリングアクションによって使用され得る。フィルタリングアクションはまた、カメラの場合には、レンズ、イメージング、ソリッドステートセンサ特性など、追加の特性を含むセンサのモデルを使用し得、空間的なぼかし、または、他の効果を生じさせ得る。フィルタリングアクションは、これらの特性の効果を低減し得る、または、データを共通レベル、例えば、ぼかしの共通レベルに正規化し得る。したがって、イメージ（例えば）の場合において、フィルタリングアクションは、既知の畳み込みまたは逆畳み込み技法を使用して、状況に応じて、ぼかしのレベルを低減する、または、増加させるように動作し得る。センサモデルは、データ全体においても、ぼかしのレベルに対する、以前のデータ抽象化アクションの影響を追跡する。最終的に、フィルタリングアクションは、出力データ全体にわたって、その出力におけるノイズおよびぼかしのレベルを追跡する。この情報は、フィルタリングアクションが時間再帰的プロセス、例えば、カルマンフィルタリングのタイプである場合、次の瞬間に使用され得る。この情報はまた、抽象化されたセンサデータのセンサ融合など、後のプロセスによって、または、検出ステージによって使用され得る。
フィルタアクションはまた、個々のサンプルの有効性を考慮し得、有効性または占有マップを使用して、有効なサンプルを示し得る。ＬＩＤＡＲデータにおいて、例えば、ＬＩＤＡＲのリターンが受信されなかった、または、十分な信号強度で受信されなかった場合に、個々のサンプルは無効であり得る。また、異なる画角および視野でキャプチャされた複数のセンサイメージまたはアレイを考慮して、例えば、イメージを重複する（しかし同一でない）視野と組み合わせるとき、イメージまたはセンサアレイのいくつかの部分は有用でないとみなされ得る。
図１３１、図１３２および図１３３は、複数のセンサに由来するセンサデータの複数のストリームについての処理パイプラインの実施形態を示す。
図１３１は、センサデータ１３１０２の複数のストリームを処理するための例示的な並列処理パイプライン１３１００を示す。パイプライン１３１００の各態様は、異なるセンサ（センサＡおよびＢ）からの各パイプラインハンドラインセンサデータを有する、図１３０Ａおよび上記で示されるパイプライン１３０００における対応する態様と同一である。示される例において、共通の検出／知覚アルゴリズム（または訓練された機械学習モデル）（例えば１３１１２）は、１つより多くのセンサデータストリーム１３１０２に適用されるが、いずれの融合も無い。例えば、示される例において、共通オブジェクトモデルは、２つのパイプライン１３１００の検出ブロック１３１１２両方にフィードされる。データ抽象の概念の１つの利点は、検出／知覚アルゴリズムは、様々なセンサからの「抽象化」データに対して訓練され、それに適用され得、したがって、各センサについての検出アルゴリズムを開発するために必要なコスト／努力が低くなり得る。
図１３２は、複数のセンサからのデータがフィルタリングアクションによって組み合わされる処理パイプライン１３２００を示す。示される例において、センサ抽象化プロセスは、フィルタリングアクション１３２０８でストリームを組み合わせる前に、１３２０４でセンサデータ１３２０２の各ストリームをそれぞれ正規化すること、および、１３２０６でセンサデータ１３２０２の各ストリームをそれぞれ変形することを含む。センサ抽象化プロセスの各アクションは、上の図１３０Ａに関して説明された対応するセンサ抽象化プロセスアクションと同様に実行され得る。フィルタリングアクション１３２０８は、抽象化シーンデータ１３２１０を生成するためのシーンモデルと共に、各センサデータストリームそれぞれについてセンサノイズモデルを利用し得る。抽象化シーンデータは次に、オブジェクト検出のために検出プロセス／アルゴリズム１３２１２に渡され得る。検出プロセス／アルゴリズムは、図１３０Ａに関して上記された検出ステージ／アルゴリズムと同様に実行され得る。例として、パイプライン１３２００は、イメージモザイク処理、超分解能、または、高いダイナミックレンジイメージングの場合に使用され得、これにより、複数のイメージが、フィルタリングアクションによって組み合わされ得る。
図１３３は、上で説明されたセンサ抽象化のすべてのアクションの後に、複数のセンサからのデータが融合アクションによって組み合わされている処理パイプライン１３３００を示す。示される例において、センサ抽象化プロセスは、１３３０４でセンサデータ１３３０２の各ストリームをそれぞれ正規化すること、１３３０６でセンサデータ１３３０２の各ストリームをそれぞれ変形すること、および、１３２０８でセンサデータ１３３０３の各ストリームにそれぞれフィルタリングを適用することを含む。センサ抽象化プロセスの各アクションは、上の図１３０Ａに関連して説明される対応するセンサ抽象化プロセスアクションと同様に実行され得る。各データストリームについてのそれぞれのフィルタリングアクション１３２０８は、それぞれのセンサデータについての抽象化シーンデータ１３２１０を生成するためのシーンモデルと共に、対応するセンサデータストリームについてのセンサノイズモデルを利用し得る。抽象化シーンデータは次に、融合ステージ１３３１２に渡され得、ここで、融合データをオブジェクト検出のために検出プロセス／アルゴリズム１３２１４に提供する前に、抽象化シーンデータが融合される。検出プロセス／アルゴリズムは、図１３０Ａに関して上記された検出ステージ／アルゴリズムと同様に実行され得る。例として、パイプライン１３３００は、ＬＩＤＡＲおよびカメラデータの融合の場合に使用され得、これにより、ＬＩＤＡＲセンサからのデータおよびカメラからのデータは、検出ステージの前に組み合わされる。
図１３０Ａ、図１３０Ｂ、図１３２、図１３３において示される例示的プロセスにおけるオペレーションは、自律車両の様々な態様またはコンポーネントによって実行され得る。例示的プロセスは、追加または異なるオペレーションを含み得、オペレーションは、示される順序、または、別の順序で実行され得る。いくつかの場合において、図１３０Ａ、図１３０Ｂ、図１３２、図１３３に示されるオペレーションのうち１または複数は、複数のオペレーション、サブプロセス、または他のタイプのルーチンを含むプロセスとして実装される。いくつかの場合において、オペレーションが組み合わされ、別の順序で実行され、並行して実行され、反復され、またはそうでない場合、別の方式で繰り返され得る、または実行され得る。
自律車両は、１または複数のＬＩＤＡＲ、レーダ、カメラ、全地球測位システム（ＧＰＳ）、慣性測定ユニット（ＩＭＵ）、オーディオセンサ、熱センサ、または他のセンサ（本明細書において説明されるもの、または、他の好適なセンサなど）など、様々な異なるタイプのセンサを有し得る。これらのセンサは、車両によって実行される知覚を補助するために使用され得る。知覚は概して、自律車両スタックにおいて実行される第１の機能であるので、知覚におけるエラーは、センサ融合、位置推定、経路計画、または他のフェーズなどの後の機能に有害な方式で影響する。そのようなエラーは、事故につながり、結果として、自律車両の信用性および受け入れの損失につながり得る。知覚におけるエラーを軽減するべく、多くのシステムは、高品質、高分解能のカメラおよび他のセンサを利用する。しかしながら、これらの高品質コンポーネントは、自律車両のコストを増加させ、電力消費を増加させ得、その結果、自律車両の受け入れが遅くなり得る。
本開示の様々な実施形態は、超分解能アップスケーリング法に基づくスケーラブルセンサアプローチを提供することによって、この問題に対処し得る。例えば、比較的低分解能のセンサが配置され得る。そのようなセンサによって取得された低分解能データは、超分解能処理方法の使用によって、高分解能データにアップスケーリングされ得る。任意の好適な超分解能アップスケーリング法が利用され得る。例えば、アップスケーリングは、ディープ生成モデルなどの様々なディープニューラルネットワークによって実行され得る。別の例として、アップスケーリングは、知識蒸留技法を使用するモデル訓練を使用して実行され得る。様々な実施形態においてそのようなネットワークは、低分解能データから高分解能データを導出するために、現実世界データに対して訓練され得る。
図１３４は、特定の実施形態による、高分解能、および、対応する低分解能イメージを含む訓練データを生成するためのフローを描写する。フローは、１または複数の高分解能センサを使用する、（高品質を有する）高分解能イメージ１３４０２のキャプチャから開始し得る。１３４０４において、高分解能イメージは次に、１または複数の低分解能センサ（例えば低分解能イメージ１３４０６）を使用して生成されるイメージに見えるように変換される。高－低分解能変換１３４０４は、任意の好適な方式で実行され得る。様々な例において、１または複数のローパスフィルタが高分解能イメージに適用され得（例えば、イメージの円滑化をもたらす）、サブサンプリングが高分解能イメージに対して実行され得、ノイズが高分解能イメージに追加され得（例えば、天候条件（例えば雨または雪）を模倣するために、ごま塩ノイズが追加され得る）、高分解能イメージがダウンサンプリングされ得、カラーイメージのチャネル（例えばＲＧＢ値）がランダム化され得（例えば、様々な照明条件をシミュレートする）、他の技法が実行され得、または、技法の組み合わせがコンピューティングシステム（例えば車載コンピューティングシステム）によって実行され得る。図１３４のフローは、豊富な訓練データセットを生成するために、任意の数のセンサからのデータを使用して、任意の回数だけ実行され得る。
加えて、または代替的に、訓練データは、高分解能センサおよび低分解能センサを使用してイメージを同時にキャプチャすることによって取得され得る。結果として生じるイメージは、位置およびタイミングに関して較正され得、その結果、イメージは同じ視野を同時に表す。したがって、各高分解能イメージは、対応する低分解能イメージを有し得る。
図１３５は、特定の実施形態による、低分解能イメージからの高分解能イメージを生成するためのモデル１３５１０についての訓練フェーズを描写する。訓練フェーズ中に、深層学習ベースの生成ネットワーク１３５０２は、グラウンドトゥルースとしての高分解能イメージ１３５０６、および、対応する低分解能イメージ１３５０４を受信し得る。ネットワーク１３５０２は、出力として高分解能イメージ１３５０８を生成し、これらをグラウンドトゥルース高分解能イメージ１３５０６と比較する。生成された高分解能イメージと対応するグラウンドトゥルースイメージとの間のエラーは、逆伝搬され、ネットワーク１３５０２のパラメータを訓練する。いくつかの実施形態において、エラーは、敵対的攻撃に対するロバスト性も考慮する損失関数に基づく。モデル１３５１０が訓練されると、それは、低分解能カメラが装備された車における推論のために車両に配置され得る（例えば推論エンジンを使用）。訓練のための本方法の特定の利点は、グラウンドトゥルースについての高価ラベリングプロセスを要求せず、従って、感知において監督されないことである。
様々な実施形態において、任意の好適な機械学習モデルが、低分解能イメージ（イメージ超分解能とも称される）から高分解能イメージを生成するために使用され得る。例えば、生成系ニューラルネットワークが使用され得る（敵対は現在でもそうでなくてもよい）。いくつかの実施形態において、モデルは畳み込みニューラルネットワーク（ＣＮＮ）、近傍組み込み回帰、ランダムフォレスト、または他の好適な機械学習アーキテクチャに基づき得る。様々な例として、Ｖｅｒｙ－Ｄｅｅｐ Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ（ＶＤＳＲ）モデル、学習方法Ｓｉｎｇｌｅ Ｉｍａｇｅ Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ（ＳＩＳＲ）モデル、再構築方法ＳＩＳＲモデル、超分解能畳み込みニューラルネットワーク（ＳＲＣＮＮ）、または、任意の他の好適なモデルが使用され得る。
図１３６は、特定の実施形態による、モデル１３５１０が低分解能イメージから高分解能イメージを生成するための推論フェーズを描写する。推論フェーズ中、１または複数の低分解能カメラによってキャプチャされた低分解能イメージ１３６０２は、生成モデル１３５１０に供給される。生成モデル１３５１０は、訓練中に決定されたパラメータを使用してイメージ１３６０２を処理し、高分解能イメージ１３６０６を出力する。生成モデル１３５１０によって生成された高分解能イメージは、自律車両スタックの知覚または他の好適なブロックに使用され得る。
上の例は、カメライメージデータの処理に焦点を当てるが、同様の超分解能アップスケーリング法が、ＬＩＤＡＲデータなどの他のセンサデータに適用され得る。生のＬＩＤＡＲデータは、視野にまたがる深度または距離の測定値のアレイを含み得る。超分解能処理は、カメライメージデータと非常に似た方式で、そのような２次元（２Ｄ）アレイに適用され得る。上のように、深層学習ベースの生成ネットワークは、収集された高分解能ＬＩＤＡＲデータをグラウンドトゥルースとして使用して訓練され得る。次に、訓練されたネットワークは、自律車両に配備され得、低分解能ＬＩＤＡＲデータを高分解能ＬＩＤＡＲデータにアップスケーリングする。特定の実施形態において、同様の超分解能処理方法がまた、ポイントクラウドフォーマットのＬＩＤＡＲデータをアップスケーリングするために使用され得る。
本開示の様々な実施形態において、知識蒸留技法が、スケーラブル感知をサポートするために使用され得る。知識蒸留は、より大きい教師モデル、または、教師モデルのアンサンブルから知識を生徒に転送するための生徒モデルの正確度を改善するための技法である。ＬＩＤＡＲおよびカメラなどのセンサ間の感知技術における差にもかかわらず、検出できる特徴に重複がある。例えば、３Ｄカメラは、シーンの高分解能３Ｄマッピングを提供するＬＩＤＡＲセンサより低い分解能であるが、深度情報を提供し得る。一般的に、人間の観察者は低分解能イメージにおけるオブジェクトを正確に識別することが可能であり得るが、より低い分解能のセンサを使用して訓練されるモデルは、より高い分解能のセンサを使用して訓練されるモデルより正確度が低い傾向がある。本開示の特定の実施形態において、知識蒸留は、様々なタイプの高コストセンサ（例えばＬＩＤＡＲおよび高分解能カメラ）を使用して訓練された教師モデルのアンサンブルから、低コストのセンサ（例えば、低分解能カメラまたは低分解能ＬＩＤＡＲ）を使用する生徒モデルへ知識を転送するために使用され得る。
訓練中、知識蒸留は、モデルの主なタスク（例えばオブジェクト検出）についての損失を最小化するマルチタスク損失、および、教師ネットワークがその特徴をエンコードする方式と、生徒ネットワークがそれらをエンコードする方式との間の蒸留損失を使用して、教師から生徒へ知識を転送する。訓練データは、較正およびタイムスタンプを使用してデータを同期することによって生成され、高コストおよび低コストのセンサの両方が同じシーンを見ていることを確実にする。
図１３７は、特定の実施形態による、知識蒸留を使用して生徒モデル１３７０４を訓練するための訓練フェーズを描写する。第１に、モデル１３７１０および１３７１２のアンサンブル１３７０２を含む教師モデルは、高コストのセンサ１３７０６および１３７０８を使用して訓練され、可能な限り正確にオブジェクトを検出する。次に、教師モデル１３７１０および１３７１２のアンサンブル１３７０２からの知識は、教師モデルのアンサンブル１３７０２によって予測されるオブジェクト確率の分布からソフトターゲット１３７１２および１３７１４を算出し、それを使用して、情報をどのように一般化するかを生徒モデル１３７２０に教えることによって、生徒モデル１３７２０へ転送される。ソフトターゲット１３７１２および１３７１４は、生徒モデルの正確度を改善するために、グラウンドトゥルースラベル１３７２６から取得されたハードターゲット（予測１３７２４）に関連して使用される。
任意の好適なモデルが、モデルのアンサンブル１３７０２または生徒モデル１３７２０のいずれかに使用され得る。特定の実施形態において、これらのモデルの１または複数は、畳み込みニューラルネットワーク（ＣＮＮ）を含む。いくつかの実施形態において、これらのモデルの１または複数は、回帰型ニューラルネットワーク（ＲＮＮ）を含む（例えば、セグメント化モデルは、オブジェクトの境界となる多角形座標のシーケンスを予測することによって、シーンにおける画素をどのようにカテゴリ化するかを学習する。更に他の実施形態は、任意の好適なニューラルネットワーク、または、他の機械学習モデルを含むモデルを含み得る。
特定の実施形態において、ソフトターゲット１３７１２、１３７１４および１３７２２は、最終出力でないそれぞれの分類アルゴリズム（例えば、ニューラルネットワーク）の層から抽出され得る。例えば、オブジェクト検出モデルにおいて、ソフトターゲットは、オブジェクトの境界ボックスの次元の１または複数、オブジェクトについて決定された１または複数のクラス、または、各クラス（例えば、．７ｃａｔ、．３ｄｏｇ）に関連付けられた可能性を示し得る。セグメント化モデルにおいて、ソフトターゲットは、各画素について、異なるセマンティックカテゴリに関連するその画素のソフトマックス確率を示し得る。特定の実施形態において、ソフトターゲットは、ニューラルネットワークの特定の層の特徴マップからの情報を含み得る。
融合されたソフトターゲット１３７１６は、任意の好適な方式でソフトターゲット１３７１２および１３７１４から決定され得る。様々な例として、ソフトターゲットは、重み付けされた平均、デンプスター・シェイファー理論、決定木、ベイジアン推論、ファジーロジック、本明細書において説明されたコンテキストベースのセンサ融合方法から導出された任意の技法、または他の好適な方式を使用して組み合わされ得る。一実施形態において、境界ボックスについてユニオンオペレーションが実行され得、モデル１３７１０によって予測された境界ボックス、および、モデル１３７１２によって予測された境界ボックスに共通するエリアは、１３７１６において融合ソフトターゲットの境界ボックスであると決定される。様々な実施形態において、ソフトターゲットは、任意の好適な方式で共に融合され得る。
ハード予測１３７２４は、モデル１３７２０の最終的な出力であり得る。例として、ハード予測１３７２４は、検出されたオブジェクトまたは画素についてのクラス予測を含み得る。
蒸留損失１３７３０は、高コストセンサによって予測された融合ソフトターゲット１３７１６と、低コストカメラ１３７１８によって予測された、対応するソフトターゲット１３７２２との間の差である。
単に生徒損失１３７２８、例えば、ハード予測１３７２４とグラウンドトゥルースレベル１３７２６との間の差に対する生徒モデル１３７２０を最適化する代わりに、マルチタスク損失（生徒損失１３７２８および蒸留損失１３７３０を含む）が、生徒モデル１３７２０のパラメータを調整するために使用される。
図１３８は、特定の実施形態による、知識蒸留を使用して訓練される生徒モデルについての推論フェーズを描写する。推論中、生徒モデルは、１または複数の低コストのセンサからのデータのみを使用してオブジェクトを検出する（カメライメージデータの場合）。他の実施形態において、同様の推論プロセスは、（例えば、より低い分解能を有する低コストのＬＩＤＡＲからの）ＬＩＤＡＲデータ入力を伴い得る。その場合、生徒モデルはまた、ＬＩＤＡＲデータを入力として用いて訓練され得る。
様々な実施形態において、描写されるモデルは、任意の好適なセンサに適合され得る。親アンサンブル１３７０２または生徒モデルは、任意の数、品質、および／またはタイプのセンサを含み得る。例えば、生徒モデルは、（例えば、教師アンサンブルの一部である高分解能ＬＩＤＡＲセンサより低い分解能を有する）低コストＬＩＤＡＲセンサからのデータを使用して訓練され得る。別の実施形態において、生徒モデルは、生徒損失１３７２８を決定するために使用される融合ソフトおよびハードターゲットを用いて、低分解能カメラ１３７１８および低分解能ＬＩＤＡＲ（または任意の他の好適な品質またはタイプのセンサ）の両方からデータで訓練され、蒸留損失１３７３０を決定するために融合ソフトターゲット１３７１６と比較され得る。そのような実施形態において、同様の推論プロセスが、車両に配備されるときに入力されるＬＩＤＡＲおよびカメラデータの組み合わせに利用され得る。
特定の実施形態において、高分解能センサデータが自律車両からキャプチャされる。高分解能センサデータは、ローパスフィルタリング、サブサンプリング、または他の好適な技法などの技法を使用して、低分解能センサデータに変換される。低分解能センサデータを高分解能センサデータに変換するために、生成機械学習モデルが訓練される。推論中、訓練された生成機械学習モデルを使用して低分解能センサデータを高分解能センサデータに変換することによって、オブジェクト検出オペレーションが車両で実行される。
別の特定の実施形態において、異なるタイプのセンサ（例えばカメラ、ＬＩＤＡＲなど）からの高分解能データを使用することによって、自律車両スタックのタスクを実行するために、機械学習モデルのアンサンブルが訓練される。高分解能センサデータを使用して訓練される機械学習モデルのアンサンブルからの知識は、機械学習モデルのアンサンブルの融合ソフト予測目標と、生徒機械学習モデルのソフト予測目標との間の蒸留損失を組み込むことによって低分解能センサデータを使用して訓練される生徒機械学習モデルへ転送される。推論中、オブジェクト検出オペレーションは、低分解能センサデータを使用して訓練された生徒機械学習モデルを使用することによって、車両で実行される。
図１３９は、特定の実施形態による、オブジェクト検出において使用されるキャプチャされたイメージの分解能を増加させるためのフローを描写する。１３９０２において、第１画像データは、車両の第１センサによってキャプチャされ、第１画像データは第１分解能を有する。１３９０４において、第１画像データは、機械学習モデルを使用して、第２分解能を有する第２イメージデータに変換され、第２分解能は第１分解能より高い。１３９０６において、オブジェクト検出オペレーションが、第２イメージデータに基づいて車両について実行される。
図１４０は、特定の実施形態による方法のアンサンブルに基づいて機械学習モデルを訓練するためのフローを描写する。１４００２において、機械学習モデルのアンサンブルは、自律車両スタックのタスクを実行するために訓練され、アンサンブルは、第１分解能および第２機械学習モデルを有するイメージデータを使用して訓練された第１機械学習モデルを含む。１４００４において、第３機械学習モデルは、機械学習モデルのアンサンブルの融合ソフト予測目標と、第３機械学習モデルのソフト予測目標との間の蒸留損失に少なくとも部分的に基づいて訓練される。
人間の感知能力には限定があることが広く知られている。自律車両の可能な利点の１つは、自律車両上に複数のセンサがあることを前提とすれば、道路についての大量の情報を受信し、それにより、安全性を増加させる能力である。しかしながら、センサのアレイを有する自律車両であっても、エラーおよび死角の傾向がある。自律車両のこれらの知覚および動き計画部における限界を認め、説明することが重要である。
路肩ユニットに設置されたＬＩＤＡＲおよびレーダは、車道に沿って存在し得、道路上の車両に追加情報を提供し得る。同様に、協調感知の使用は、自律車両の協調運転に適する。一例として、協調運転が使用されながら、トラックおよびサービスフリートの隊列走行は、協調感知を使用し得る。別の例として、道路上のコンシューマ車両（互いを知らないことがあり得る）はまた、協調運転に寄与し、協調感知を実行し得る。
図１４１は、自律車両が、閉塞されたセンサを有すし、それにより、運転状況が潜在的に危険である状況の例を示す。示されるように、車両１４１０５は、車両１４１１０の後ろを走行している。車両１４１１０のサイズを考慮すれば、車両１４１１５は車両１４１０５について閉塞されている。図１４１に描写される状況において、車両１４１０５は、移動して車両１４１１０とすれ違う。しかしながら、同時に車両１４１１５がレーンを変更し、車両１４１０５は、この状況の潜在的な危険を認識しない。しかしながら、自律車両が周囲の車両および／または他の外部センサからの追加情報を受信することが可能であるとき、危険はいくらか緩和され得る。加えて、車両間の他の通信の使用は、更に安全な運転環境を生じさせ得る。
仮想現実知覚の概念は、例えば、道路上の動的な車、監視カメラ、交差点またはカーブに設置されたカメラ、交通標識、および交通信号機など、周囲の交通エージェントの眼を通じて車がその環境を見ていると想定する。この情報は、車両の知覚および／または動的マップが最新でないときに、オクルージョン検出に使用され得る。加えて、強化された知覚は、車両上のセンサのセットのみに依存することによって達成可能でない方式で知覚の視野を強化することによって、意思決定を改善し得る。例えば、車両上に無いセンサからの情報を有することにより、閉塞された歩行者の横断歩道に車両が近づくときに安全性を改善できる。車が他の交通エージェントからのセンサを使用して、閉塞された横断歩道を現在見ることができる場合、車両に近づく速度は、適切に決定され得る。
協調感知、協調意思決定、およびセマンティック通信言語を組み合わせるシステムおよび方法は、自律車両の安全性を大幅に改善できる。車両協調を使用するシステムの例は、図１４２に示される高レベルのアーキテクチャダイアグラムに示される。図１４２のシステム１４２００は、協調感知、意思決定、および、共通セマンティック通信言語を自律車両に提供し得る。それぞれの車両のセンサによって感知されたデータに基づいてデータを通信するとき、車両が１または複数の周囲の車両と通信するときに協調感知が発生する。
図１４２の例は、協調的に通信する２つの車両（Ｖ１およびＶ２）を含むシステムを示す。図１４２に描写される例によれば、各車両は、内部感知モジュール１４２２０、拡張感知モジュール１４２３０、外部感知モジュール１４２１０、協調型意思決定部１４２５０、自律車両意思決定モジュール１４２４０、ならびに、軌跡計画および実行モジュール１４２６０を備える。
内部感知モジュール１４２２０は、ルート計画および実行において自律車両によって従来使用されていたデータなどの自律車両の感知情報を含む。例として、感知モジュール１４２２０は、車載センサによって感知された情報を含み得る。外部感知モジュール１４２１０は、別の車両（例えば、Ｖ１の感知モジュール１４２１０は、Ｖ２から受信された感知情報を含み得る）から取得された情報を含む。このデータは任意の形態をとり得る。いくつかの実施形態において、データはセマンティック通信を介して交換される。本開示の様々な実施形態において、交通要素例えば、車両または路肩コンピューティングユニット）によって利用される新規のセマンティック言語は、車両が、高速かつセキュアなモードでその通信を管理することを可能にする。輸送における通信のための汎用言語は、感知データおよび計画データの両方を含み得、他の交通コンポーネントによって共有および利用され得る。セマンティック通信は、ブロードキャストとして、または、要求／応答方式に基づいて実行され得る。更に、セマンティック言語は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＺｉｇＢｅｅ（登録商標）など任意の利用可能な伝送プロトコルを使用して送信され得る。２つの車両が、それらのセンサから受信するデータすべてを共有することを試みる場合、データ転送のサイズは、大きすぎ、長すぎて、送信および分析できないことがあり得る。即時に判断される必要がある状況において、セマンティック通信は、道路上の重要な安全性問題に関する迅速な通信を可能にする。例として、セマンティック言語は、車両または他のオブジェクトの場所、車両またはオブジェクトについての移動パターンまたは計画（車両がレーンを変更する計画など）などの詳細を車両が互いに共有することを可能にする。
上記のように、１つの車両から別の車両への感知データの伝送は、協調感知とみなされ得る。自律車両には通常、広い範囲の多くの数のセンサが装備される。これらのセンサによって提供されるデータは、コンピュータ視覚アルゴリズムまたはＬＩＤＡＲ／ＲＡＤＡＲベースのデータ処理方法を使用して、リアルタイムで解析され得る。本明細書に提示される実施形態によれば、センサからのデータが処理よび解析され得、結果は、車両間で共有され得る。物理センサの各々は、範囲、視野、天候条件などに関して、それ自体の限定を有する。図１４１の例を参照して説明されるように、道路上には、車両のセンサのうち１または複数が閉塞されるような多くの事例がある。協調感知は、車両が、別の車両または他の交通オブジェクト（例えば、図１に示される任意のものなどの、道路に沿った交通センサおよびカメラ、または、他の好適なセンサ）からのデータを使用して自律車両の視野を拡張することを可能にする。
図１４２の例を参照すると、システム１４２００はまた、各車両上の協調意思決定モジュール１４２５０を含み得る。協調意思決定モジュール１４２５０は、車両について計画されたルートなど、別の車両の意思決定に関連するデータを受信し得る。したがって、自律車両は、新しいデータセットを考慮して、それ自体の経路計画、および、特に、動き計画を調整し得る。別の車両の意思決定に関連するデータは、他の車両が行う判断に関するデータを含み得る。例えば、２つの車両がレーンの切り替えを計画している場合、それらは互いにアラートし得、２つの車両はそれらのアクションをそれに従って協調および計画し得る。協調意思決定は、自律車両間の単純なネゴシエーションを使用することに比べて、より一般的で信頼性が高いことがあり得、いくつかの実施形態において、車両または他のセンサによって感知された追加のオブジェクトを考慮し得る。協調意思決定は、より複雑な最適化問題が解決されることを可能にし得、結果は、周囲の交通コンポーネント（例えば、他の車両または路肩支援コンピューティングユニット）と共有され得る。いくつかの例によれば、協調意思決定モジュール１４２５０は、セマンティック言語を使用して互いに通信する。
協調意思決定、協調感知、およびセマンティック言語のうち任意の１または複数は、自律車両がより効率的かつ安全に走行することを可能にし得る。例として、２つの主な潜在的な衝突状況は、２つの車両の間の速度差が大きいこと、および／または、前方の車両と後方の車両との間の距離が小さいことを伴う。時間ベース衝突インジケータは、数学的に定義され得る。そのようなインジケータは、安全な軌道と非安全な軌道とを区別するために使用され得る。いくつかの実施形態において、車両は、別の車両によって知覚された生データに対する計算および解析を繰り返すことなく、潜在的に危険な状況の全体的なピクチャを分析し得る。データセットが小さくされるとき、より小さい帯域幅が、情報を送信するために利用される。図１４３は、複数の自動車による複数のアクションが想定される状況の例を示す。協調意思決定、協調感知、およびセマンティック言語の組み合わせは、車両が、この状況および他の状況において、安全に操縦することを可能にする。
システム１４２００はまた、拡張された感知モジュール１４２３０を備える。これらのモジュールは、センサ情報を外部ソース（例えば、図１に示されるソースのいずれかなど、車両の外部の任意のソース）から受信する。このデータは、外部感知モジュール１４２１０およびセマンティック通信を介して、他の車両から受信されたセンサデータを補完し得る。一例において、モジュール１４２３０は、近くの別の車両または交通エージェントからの１または複数のセンサによって収集された（または、それによって収集されたデータに基づく）データを含む完全なデータストリームを受信し得る。
自律車両意思決定モジュール１４２４０は、内部または外部のセンサから受信された情報に基づいて、自律車両の運転の判断を行い得る。１つの例示的実施形態によれば、協調意思決定モジュール１４２５０は、自律車両意思決定モジュール１４２４０とは別個であり、意思決定および計画において自律車両によって追加情報が考慮されることを可能にする。
システム１４２００はまた、各車両について、軌跡計画および実行モジュール１４２６０を備える。モジュール１４２６０は、車両の意思決定モジュール１４２４０または１４２５０によって行われた運転の判断を実行し得る、または、これらのモジュールによって決定された判断に基づいて、車両の軌道を計画し得る。
図１４２において説明されるシステムは単に、特定の実施形態において発生し得るモジュールの代表である。他の実施形態は、本明細書において具体的に言及されない追加モジュールを含み得る。加えて、他の実施形態において、１または複数のモジュールが省略され得る、または、モジュールが組み合わされ得る。
自律車両の周囲３６０度の認識を実現するべく、様々なシステムは、異なるモダリティを有する多くのセンサを備え得る。いくつかの状況において、そのようなセンサは、センサ間の冗長性をもたらし得る。しかしながら、センサの数の増加により、ハードウェアコストが追加され得（例えば、センサ、関連付けられた処理ユニットの価格の両方の観点で）、具体的なセンサ構成に対する自律車両スタックの依存性をもたらし得る。このことは、様々なタイプの車両に跨る自律車両解決手法のスケーラビリティを阻害する（例えば、コンパクトな車両は、スポーツユーティリティ車両の構成とは非常に異なる構成を利用し得る）。固定センサが使用されるとき、センサ構成（例えば、センサのタイプ、および、車両上のセンサ位置）が、各自律車両タイプについてカスタマイズされ、車両の周囲の知覚の範囲における完全な冗長性を実現する。
本開示の様々な実施形態は、適合型イメージセンサを提供し、可変の視野（ＦＯＶ）および焦点範囲を可能にする。人間の視覚システムと同様に、特定の実施形態は、センサの鉛直および水平回転を可能にすることによって、物理的な動きをセンサに追加し得る（視野を拡大するための眼球および首の動きと同様）。特定の実施形態は、より大きいＦＯＶをカバーするために回転し得る１または複数のパン、チルト、ズーム（ＰＴＺ）カメラを利用し得る。カメラの回転後、車両に取り付けられた１または複数のマーカを使用して、較正フェーズが実行され得る。いくつかの実施形態において、較正プロセスを自動化するために機械学習アルゴリズムが訓練され得、特定のセンサが再構成されるときにマーカの使用を呼び出す。様々な実施形態は、車両上のセンサの固定位置、および、視野のフルカバレッジを実現するために利用される冗長センサの数に対する依存性を無くす。様々な実施形態において、外部機械施行およびインテリジェンス（例えば、生のセンサデータの前処理）は、既に存在するセンサに機能を追加し得る。センサ数の低減、感知される必要があるデータ量の低減、または、感知中に使用される電力の低減など、様々な利点が、本明細書において説明される実施形態のうち１または複数によって実現され得る。
標準的な単眼カメラの標準的な視野は、４０°×３０°であり、自律車両のコンテキストにおいて、比較的狭く、視野が限定されている。この制限されたセンサの視野に起因して、多くの自律車両は、車両上で異なる位置に複数のセンサを備える。ＡＶの軌道に応じて、車両周囲の様々なセンサによって感知されたデータは、等しく重要でなく、等しく有益な情報を有していない。例えば、空いた高速道路上で運転しているＡＶの場合、ＡＶにとってもっとも有益な情報は、１または複数の前向きのセンサから取得され得る（一方、後方センサからのデータは重要でないが、時々チェックされ得る）。
本開示の様々な実施形態において、車両は、センサが上下左右の方向に回転することを可能にするために、センサ用の自動化機械的マウントを備え得る。カメラの固定的な注視は限定され得るが（例えば、４０°×３０°）、機械的マウントの動きは、視野を効果的に増加させる。したがって、１または複数のセンサの注視／注意を移動させることによって、車両の環境からの有益な情報がキャプチャされ得る。特定の実施形態において、センサの移動は、車両周囲の検出された動きに基づいてインテリジェントに自動化される。
図１４４は、動的に適合可能なイメージセンサ１４４０２Ａ－Ｃおよび較正マーカ１４４０４Ａ－Ｄを有する車両１４４００を描写する。車両１４４は、本明細書において説明される車両（例えば１０５）のいずれかの特性のうち任意の１または複数を有し得る。イメージセンサ１４４０２は、センサの機能を実装するための任意の好適なロジックを含み得る。例は特定の数および位置のイメージセンサ１４４０２および較正マーカ１４４０４を描写するが、様々な実施形態は、車両の任意の好適な場所に搭載された任意の好適な数のイメージセンサおよび較正マーカを含み得る。
様々な実施形態において、較正マーカ１４４０４は車両１４４００に取り付けられる。マーカ１４４０４は、任意の好適な場所で車両の外側に配置され得る。マーカ１４４０４は、任意の好適な形状（例えば、小さい球、ドット、円柱など）を有し得る。較正中に実行されるイメージキャプチャ中の検出を助けるように、マーカは、マーカが取り付けられる車両１４４００の外側の部分とは異なる色であり得る。マーカおよびカメラの具体的な場所（およびそれらの間の距離）は、較正中に、イメージセンサ１４４０２の視野または他のパラメータを動的に調整するために使用され得る。
車両１４４００の制御ユニット（例えばシステムマネージャ２５０）からの制御信号に応答して、イメージセンサ１４４０２は水平および／または鉛直方向に回転し得る。いくつかの実施形態において、イメージセンサ１４４０２はまた、レール、または、他の機械的装置上に搭載され得る。その結果、イメージセンサは、制御信号に応答して、鉛直方向または水平方向に変位し得る。イメージセンサ１４４０２は、任意の好適な条件に応答して、任意の好適な位置へ移動（例えば、水平および／または鉛直方向に回転および／または変位）し得る。例えば、描写される実施形態において、車両は、通常のオペレーション中に、３つの前向きカメラ１４４０２Ａ、１４４０２Ｂおよび１４４０Ｃを有し得る。今後の車線変更に応答して、イメージセンサ１４４０２Ｃは、（例えば、車両１４４００の側面および後方の視野をキャプチャするために）図１４５に描写されるように水平方向に回転し得る。車線変更が完了すると（または、例えば、潜在的に危険なオブジェクトが視野にないという決定に応答して）、イメージセンサはその元の位置に戻り得る。センサ１４４０２Ｂは、制御信号に応答して、車両の他の側をキャプチャするために同様に回転し得る。別の例において、通常は前向きのセンサ（例えば１４４０２Ａ）は、車両１４４００の後方のイメージを定期的にキャプチャするために、水平方向（例えば１８０度）に回転し得る。
１または複数のマーカ１４４０４が、イメージセンサ１４４０２のうち１または複数の動きを較正するために使用され得る。例として、イメージセンサ１４４０２が動かされるとき、制御ユニットは、調整命令を提供し得る（命令は例えば、直接的な調整の単位、または、イメージセンサ１４４０２が調整の単位に変換し得るセンサ構成の識別情報を含み得る）。様々な例において、調整のユニットは、水平回転の角度、鉛直方向の回転の角度、水平方向の距離、鉛直方向の距離、ズームレベル、および／または他の好適な調整を含み得る。センサ１４４０２は、命令された調整に影響し得、イメージデータ（例えばピクチャまたはビデオ）のキャプチャを開始し得る。
センサ１４４０２からのイメージデータが、車両の制御ユニットへフィードバックされる。制御ユニットは、イメージを処理し、イメージデータにおける１または複数のマーカ１４４０４Ｄの場所および／またはサイズを検出し得る。１または複数のマーカがイメージにおける正確な場所に無い、および／または、正確なサイズでない場合、制御ユニットは、追加の調整命令を決定し、それらのセンサへ提供し得る。マーカが望ましいサイズになるまで、および／または、イメージデータ内における望ましい場所を有するまで、追加のイメージキャプチャおよび調整が実行され得る（いくつかの実施形態において、第２の調整の後に、イメージセンサは、マーカの追加的な解析無しで、好適な構成であるとと想定され得る）。様々な実施形態において、調整命令および結果（例えば、イメージにおけるマーカの場所およびサイズが反映される）は、制御ユニットによって格納され、将来の調整命令を洗練するために使用される。
特定の実施形態において、車両１４４００に組み込まれた明示的なマーカの代わりに、較正のためのマーカとして車の輪郭が使用され得るが、そのような実施形態は、較正のためにより集中的な処理を引き起こし得る。
いくつかの実施形態において、較正は、センサ１４４０２が動かされるたびに実行されない。他の実施形態において、較正は、センサ１４４０２が動かされるたびに実行されず、例えば定期的に、センサがｎ回動かされるたびに、または、較正が有用であるという決定に応答して実行され得る。
様々な実施形態において、制御ユニットは、車に関連付けられた、検出された条件に応答して、１または複数のセンサの動きを指示し得る。特定の実施形態において、そのような条件は、（例えば、１または複数のイメージセンサ１４４０２、または、車両もしくは関連付けられたセンサの他のセンサからの）センサデータの時間ベースの解析に基づいて検出され得る。いくつかの実施形態において、センサの動きは、１または複数のセンサの視野の動きに応答して指示され得る（例えば、特定のイメージセンサ１４４０２は、オブジェクトを追跡するように、例えば、車両１００とすれ違う、またはすれ違われる別の車両を追跡するように調整された動きを有し得る）。様々な実施形態において、動きは、運転環境の変化の検出に応答して指示され得る（例えば、高速道路上を運転している間、センサは主に前方方向を向き得るが、都市での運転中は、より頻繁に横を向き得る）。いくつかの実施形態において、センサの動きを指示するために使用される条件は、予測される条件であり得る（例えば、速度が遅くなること、都市での運転を示すオブジェクトを検出すること、および／または、ＧＰＳデータに基づく、高速道路から都市への予測された合流）。様々な実施形態において、機械学習は、１または複数のセンサの動きをトリガするための条件を検出するために利用され得る。
図１４６は、特定の実施形態による、車両のイメージセンサを調整するためのフローを描写する。１４６０２において、車両のイメージセンサについての位置調整命令が生成される。１４６０４において、車両のイメージセンサからのイメージデータが受信される。１４６０６において、イメージデータ内の車両のマーカの場所およびサイズが検出される。１４６０８において、車両のイメージセンサについての第２位置調整命令が、イメージデータ内の車両のマーカの場所およびサイズに基づいて生成される。
自律車両の自律性のレベルに応じて、車両が動作中に、いくつかの人間の運転者のインタラクションが必要となり得る。車両が通常は完全に自律的な方式で動作可能であるときでも、人間の運転者が制御をテイクオーバする必要があり得るいくつかの状況（例えば緊急事態）があり得る。他の状況において、例えば、人間の運転者が運転を望んでいるとき、または、人が車両を制御する有益な理由があるとき運転者が自律車両の制御をテイクオーバすることが望ましいことがあり得る。しかしながら、人間は多くの場合不注意であり、容易に注意をそらされ、特定の状況への応答が遅くなる。従って、少なくともいくつかの状況において、人は、自律車両におけるハンドオフのコンテキストにおいて、バックアップとして信頼できないことがあり得る。更に、人間の応答時間および反応は、状況のコンテキストに応じて変動し得る。例えば、一部の人は、他の人より反応時間が遅い。別の例として、一部の人は、緊急事態の状況において落ち着いて反応するが、他の人はパニックになる。
自律車両のハンドオフシステムおよびプロシージャが、車両の制御を人間にハンドオフするために、パーソナライズされたアプローチを実装することは有益であり得る。そのようなシステムおよびプロシージャは、ハンドオフの安全性および有効性を強化し得る。これは特に、人間の運転者が概して必要とされないレベル５の自律車両に当てはまり得る。いくつかの状況において、人間の運転者は、眠っている、または、注意をそらされていることがあり得るので、ハンドオフに関連付けられた危険が増加する。パーソナライズされ、協調されたハンドオフのためのアプローチは、ハンドオフを計画するとき、そのような状況における人間の運転者の注意レベルおよび／または反応特性を考慮し得る。
様々な実施形態において、パーソナライズされ、協調されたハンドオフのためのアプローチは、自律車両における計画されたハンドオフおよび計画されないハンドオフの両方に適用され得る。完全な自律性は望ましいことがあり得るが、現実世界のシナリオ（例えば、重大なセンサ障害、予期しない突然の道路条件変化（例えば鉄砲水）など）は、自律車両の能力を超えす状況を生じさせ得る。
本明細書における実施形態によれば、ハンドオフ問題に対する解決手法は、ハンドオフを計画するときに、運転者のアクティビティ、個人的な能力、および、目標ルートのうち１または複数を考慮する多角的アプローチを含み得る。このアプローチは、車両の制御を人間の運転者へハンドオフするかどうか、いつするかについて、システム（例えば車載処理システム２１０）がより良い判断を行うことを可能にする。加えて、様々な実施形態はまた、運転者に対してパーソナライズを経時的に提供し得、ハンドオフプロセスを徐々に改善するためにコンテクスチュアル情報参照を常に維持し得る。
図１４７は、自律車両を人間の運転者にハンドオフするための例示的なシステム１４７００を示す。システムはまた、自律車両を人間の運転者へ安全、適時、適合的にハンドオフするためのシステムとみなされ得る。いくつかの実施形態において、様々なモジュールは、車載処理システム（例えば２１０）によって実装され得る。他の実施形態において、モジュールの１または複数が、クラウドベースのコンピューティングシステム（例えば１４０または１５０）によって実装され得る。システム１４７００は、乗員アクティビティモニタリングモジュール１４７１０、パーソナライズ化乗員能力データベース１４７１５、一般乗員能力データベース１４７２０、ハンドオフ予想モジュール１４７２５、ハンドオフ処理モジュール１４７３０、および実行評価および最適化モジュール１４７３５を含む。システム１４７００は単に例示的なものであり、本明細書に具体的に提示される実施形態に限定されない。
乗員アクティビティモニタリング（ＯＡＭ）モジュール１４７１０は、自律車両の人間の運転者に関連する情報を抽出する。特定の実施形態において、ＯＡＭモジュール１４７１０は、規則ベースの機械学習および深層学習方法の組み合わせを実装する。ＯＡＭは、人間の運転者に関連付けられたステータス特性、例えば、運転者が向いている方向（例えば、人が道路を向いて座っているか、または車両の後方を向いて座っているか）、運転者のシートの配置（例えば、ステアリングホイールから運転者のシートまでの距離、シートの背もたれの傾斜角度、または、ステアリングホイールに対する運転者のシートの任意の他の特性）、運転者が起きているか、または眠っているか、運転者が別のアクティビティ（例えば、読書している、ビデオを見ている、ゲームで遊んでいるなど）に関与しているかどうか、または他のステータス特性を決定し得る。ここで列挙されるＯＡＭモジュール１４７１０による決定は単に例示的なものであり、ＯＡＭは、車両の完全の、または部分的な制御を取得する運転者の能力に関連するとみなされる、運転者の任意の特性を決定するために使用され得る。
ＯＡＭモジュール１４７１０は、複数の異なるセンサからのデータを入力として使用し得る。例えば、情報をＯＡＭモジュール１４７１０へ提供し得る車載センサは、例えば、カメラ、慣性測定ユニット、シート、および背もたれセンサ、超音波センサ、またはバイオメトリックセンサ（例えば、心拍数モニタ、体温モニタなど）を含む。センサからのデータは、生のフォーマットであり得る、または、前処理され得る。本明細書において列挙されるセンサは単に例示的なものであり、本明細書において列挙されているかどうかにかかわらず、任意のタイプのセンサが、ＯＡＭモジュール１４７１０へのデータ入力として使用され得る。
一般乗員能力（ＧＯＣ）データベース１４７２０は、自律車両の実際の運転者と同様の一般的な運転者の特性の統計的情報に関連するデータを含み得る。例えば、ＧＯＣデータベース１４７２０は、実際の運転者と同様の特性（例えば、性別、年齢、身体的フィットネスレベル）を有する運転者の特性応答の情報を含み得る。更に、データベース１４７２０に格納された情報は、グローバルであり得る、または、１または複数の特定の地理的エリアに固有であり得る。いくつかの実施形態において、ＧＯＣデータベース１４７２０は、車両の外部にあり得、クラウドを通じて自律車両が利用可能であり得る。ＧＯＣデータベース１４７２０は、任意の好適な時間で、または間隔で更新され得、その結果、自律車両のハンドオフオペレーションが経時的に改善され得る。ＤＯＣデータベース１４７２０は、１より多くのデータベースを含み得ることに留意されたい。
ＧＯＣデータベースにおけるデータのタイプの例は、特徴的な運転者（例えば、運転者と同様の特性、例えば、年齢、性別などを有する人）が、プロンプトに応答する、シートを１８０度回転させる、シートを特定の距離だけ長手方向に移動させる、自分の膝に置かれた自分の手をステアリングホイールに置く、離れているときに道路に関与する（これは、関与についてアラートされる前の運転者のアクティビティに依存し得る）時間量、または、ハンドオフに関連付けられた他の好適なアクティビティの時間量を含み得る。加えて、運転者の特性（例えば、運転者の健康状態）は、運転者の状況のコンテキストに対応する統計的データを生成するために使用され得る。例えば、データベースは、自律車両の運転者と同じ腰の問題を有する平均的な運転者は、シートを直立位置に動かす、または、シートをステアリングホイールに向かって前方に動かすために、平均で特定の量の時間を費やし得ることを示す情報をキャプチャし得る。
利用可能な統計的データを利用する以外に、例えば車載処理システム２１０によって実装される機械学習モデルはまた、自律車両の車内の生データを処理するために使用され得る。他の実施形態において、そのような機械学習モデルは、（自律車両にローカルに搭載されるのではなく）クラウド上で実行され得、推論出力が、車両の車内で利用され得る。
パーソナライズ化乗員能力（ＰＯＣ）データベース１４７１５は、ＧＯＣデータベース１４７２０と性質が同様であるデータを含み得る。しかしながら、ＰＯＣデータベースは、ＧＯＣデータベースと同様に、複数の運転者から集約された情報ではなく、運転者および車両固有の情報を含み得る。ＰＯＣデータベース１４７１５におけるデータは、システム１４７００の機能を改善することを助け売る。なぜなら、各人は、ＧＯＣデータベース１４７２０によって確立されるベースラインから変動するからである。ＰＯＣデータベース１４７１５におけるデータは、経時的に観察および測定され得る。システム１４７００のＰＯＣモジュール１４７１５は、運転者と仮想的な運転者との間の差を追跡する中心的な場所とみなされ得る。
運転者固有の情報に加えて、ＰＯＣデータベース１４７１５はまた、車両固有の情報を含み得る。例えば、運転者がシートを１８０度回転させる時間は、車両の技術的能力に依存し得、運転者はこのプロセスの速度を早くする、または遅くすることができない。
例として、運転者は音声プロンプトに応答するのに、平均的な運転者よりＸ１秒長い時間を費やす；運転者は自分のシートを回転させるのに平均よりＸ２秒短い時間を費やす（例えば、車両が迅速な回転動作を有する、および／または、運転者が比較的迅速に応答することが原因であり得る）；運転者は自分のシートを長手方向に動かすのに、平均的な運転者よりＸ３秒遅い；運転者は自分の手をステアリングホイールに乗せるのが平均よりＸ４秒速い；運転者は目を覚ましているときに道路に関与するのが、平均的な運転者よりＸ５秒速いなどのタイプのデータがＰＯＣデータベースに格納され得る。これらの例は、平均的な運転者に対する測定結果を説明するが、いくつかの実施形態において、ＰＯＣデータベースによって格納された情報は、絶対的な測定結果（例えば、運転者は、音声プロンプトに応答するのに平均でＹ１秒費やし、運転者は、自分のシートを回転させるのに、平均でＹ２秒費やす、など）を含み得る。加えて、ＧＯＣデータベースと同様に、ＰＯＣデータベースは、より多くのコンテキストを運転者の状況に提供し得る統計的データを生成するのに使用され得る運転者の他の特性を含み得る。例として、ＰＯＣデータベースは、背中の怪我に起因して、運転者がどれだけ迅速に自分のシートを直立位置に動かすか、または、自分のシートを前方に動かすかを示す情報を含み得る。
ハンドオフ予想（ＨＯＦ）モジュール１４７２５は、ハンドオフがいつ必要であり得るかを決定する。ＨＯＦモジュールは、自律運転者から人間の運転者へのハンドオフがいつどこで必要になり得るかを決定するために、例えば、事故、道路の渋滞、公共のイベント、歩行者、工事などの道路条件を考慮し得る。ＨＯＦモジュールは、例えば、リアルタイムの交通、事故、危険、および道路メンテナンスの更新と共に、ローカルマップおよびルート情報を受信し得る。この情報の一部または全部は、自律車両内にローカルで格納され得る、または、クラウドに格納され得る（車両はクラウドを通じて、そのような情報についての更新を受信し得る）。
図１４８は、地点Ａから地点Ｂへ行くために車両１４８０５が取るルート１４８００の例を示す。ルート１４８００は、車１４８０５のナビゲーションシステム（例えば経路計画部モジュール２４２）によって選択された。ＨＯＦモジュール１４７２５は、事故、渋滞のある道路区間、道路工事現場などの道路条件を考慮し得、人間の運転者へのハンドオフがどこで必要となり得るか決定する。図１４８の例において、そのようなハンドオフが必要となり得る３つのエリア（１４８１０、１４８２０、および１４８３０）が決定された。可能性のあるハンドオフ場所を識別した後に、ＨＯＦモジュール１４７２５は、異なる基準に基づいて、場所にランクを付け得る。そのような基準の例には、以下が含まれ得る。
１．あまり好ましくないことがあり得るが、識別された場所において人間の運転者へのハンドオフを必要としない代替的ルートがあるか？例として、場所１４８２０は、代替的ルート１４８１５と関連付けられ得る。
２．自律車両は、必要な場合に速度を低減することによって、および／または、断続的に停止することによって、識別されたハンドオフ場所を扱うことができるか？例として、場所１４８３０は、制御された安全な方式で交通を遅くさせる可能性がある、進行中の道路工事を有する。
３．人間の介入無しでは自律車両が扱うことが可能でない任意の区間がルート沿いにあるか。例として、場所１４８１０は、そのような場所であり得る。なぜなら、事故が交通に深刻な中断をもたらし得るからである。自律車両は、この特定の場所に近づいているとき、人間の運転者が準備できているかどうかを事前に確認する必要がある。
様々な実施形態において、ＨＯＦモジュール１４７２５は、ルート沿いのハンドオフ場所を決定し、その相対的重要性をレーティングし得る（例えば、どのハンドオフ場所がハンドオフを必要とする可能性がより高いか）。
図１４７に戻ると、ハンドオフ処理（ＨＯＨ）モジュール１４７３０は、ハンドオフ関連情報を考慮してハンドオフ判断を行い得る。ＨＯＨモジュール１４７３０は、ＯＡＭモジュール１４７１０、ＰＯＣデータベース１４７１５、ＧＯＣデータベース１４７２０、およびＨＯＦモジュール１４７２５の出力を受け付け、これらの１または複数に基づいてハンドオフ判断を行う。
最終的に、実行評価および最適化（ＥＡＯ）モジュール１４７３５は、ハンドオフの予想された結果を運転者のアクションと比較する。将来のハンドオフを改善するために、比較の結果は、ＰＯＣデータベース１４７１５およびＨＯＨモジュール１４７３０にフィードバックされる。情報を収集するために、ＥＡＯモジュール１４７３５は、ルートに沿った各ハンドオフイベントで、以下の例示的な基準、すなわち、運転者がハンドオフ要求に反応するのにどれだけ長くかかったか；ハンドオフの後に、運転者は予想されたステアリング範囲内であったかどうか；ハンドオフの後に、運転者の加速／減速が、予想された加速／減速範囲内であったかどうか；ハンドオフのすぐ後に、運転者が道路に関与するのにどれだけ長くかかったかを使用し得る。ここで列挙される基準は単に例示的なものであり、様々な実施形態において、すべての基準が使用されるわけでなく、または、列挙されていない基準が使用され得る。
ＰＯＣデータベース１４７１５内の更新は、ハンドオフプロセスが、運転者および自律車両の技術的能力に従って、よりパーソナライズされた情報を考慮することを可能にする。したがって、経時的に、自律車両における乗車の数が増加するとき、ＰＯＣデータベース１４７１５は、ＧＯＣデータベース１４７２０からの区別を開始する。
ＨＯＨモジュール１４７３０は、ＥＡＯモジュール１４７３５に由来するフィードバック情報を使用して、運転者が典型的挙動からの逸脱をいつどこで示したかを計算する。これは、運転者の予想される挙動からの逸脱に関連するので、ＰＯＣデータベース１４７１５が運転者について格納するものとは異なり得、将来のハンドオフにおいて考慮され得る。ＨＯＨモジュール１４７３０がそのような逸脱を将来のハンドオフに考慮する場合、自律車両が、運転者および自律車両のより代表的なデータに基づいてハンドオフの判断およびハンドオフ実行評価を行うとき、それは現実世界の観察に基づくので、道路安全性は改善し得る。
図１４９は、ＨＯＨモジュール１４７３０の高レベルの動作フロー１４９００の例を示す。この動作フローはまた、自律車両を人間の運転者にハンドオフするための方法とみなされ得る。最初、当該方法は、ＨＯＦモジュール１４７２５から、決定されたハンドオフ場所を取得することから開始する。これらは、ルートの算出された優先度から決定され得る。
次に、方法１４９００は、ＧＯＣデータベース１４７２０から一般的運転データを取得することを継続する。任意の一般的運転データを取得することは必要でないことがあり得ることに留意されたい。例えば、ＰＯＣデータベース１４７１５に格納されたデータの量が十分であるとき、ＧＯＣデータベース１４７２０からデータは、特定の決定から省略され得る。例えば、運転者が新しい車両を購入するとき、情報が古い車両またはクラウドから新しい車両へ転送され得るなど、１つの場所から別の場所へ、パーソナライズされたデータを転送することが可能であり得ることも留意されるべきである。
一般的データを取得した後に（利用される場合）、ＨＯＨモジュールは、ＰＯＣデータベース１４７１５からパーソナライズされたデータを取得することを継続する。例えば、車両が新品で、データがまだ取得されちないときなど、パーソナライズされたデータがない状況があり得ることに留意されたい。
次に、方法１４９００は、ＯＡＭモジュール１４７１０からデータを取得することを継続する。このデータは、運転者の注意レベル、アクティビティなどに関し、運転者についての情報を含み得る。
ＨＯＨモジュールは次に、ＨＯＦモジュール１４７２５によって決定される可能なハンドオフ場所の各々について、予想される運転者処理挙動を決定し得る。ＨＯＨモジュール１４７３０が、ハンドオフの時間であると決定した場合、運転者が促される。そうでない場合、ＨＯＨモジュール１４７３０は、他のモジュールのいずれかからの任意のリアルタイム更新があるかどうかを決定し得る。ある場合、１または複数の更新が、予想される運転者処理挙動を再決定するために使用され得る。
引き続き図１４９の例において、運転者が促された後に、ＨＯＨモジュール１４７３０は、運転者がテイクオーバ可能かどうかを決定する。そうである場合、ＨＯＨモジュールは、予想される運転者挙動をＥＡＯモジュール１４７３５へ提供し得、次に、車両の制御を運転者に渡し得る。更に、ハンドオフ中に運転者がどれだけうまく実行したかについてのデータがＥＡＯモジュール１４７３５から取得され得、予想される運転者挙動が、それに応答して更新され得る。例えば、運転者が制御を譲る準備ができるまで、または、ＡＶが安全に制御を再開すると決定されるまで、運転者は運転を継続し得る。
促されたときに運転者がテイクオーバの準備ができていない場合、ＨＯＨモジュール１４７３０は、ハンドオフの代替的手段があるかどうか評価し得る。これは例えば、代替ルートを取る、速度を遅くするなどを含み得る。代替的手段がある場合、代替的手段が選択され得る。車両が移動を継続することを可能にする代替的手段が無い場合、ＨＯＨモジュールは、車両を停止させ得る。これは、車両が安全な場所および方式で停止できることを確実にするために望ましいルートの変更を伴い得ることに留意されたい。車両が停止する場合、運転者がテイクオーバの準備をするまで、車両は静止したままであり得る。次に、運転者は、また自律車両に安全にテイクオーバさせる準備ができるまで運転し得る。他の実施形態において、車両が再び移動することを可能にする代替的手段があるまで、車両が停止したままであることも可能であり得る。これは例えば、車両を停止させた道路条件の変化、または、更には、開いた新しいルートを含み得る。
下の例は、図１４８のルートの例と組み合わせて、図１４９の例示的な動作フローを利用することによって、ＨＯＨモジュール１４７３０のオペレーションを示す。
移動の前に：
１．ＡとＢとの間の最適ルート（１４８００）が計算され、ＨＯＦモジュールに提供された。
２．ＨＯＦモジュール１４７２５は、リアルタイムの更新を使用して、３つのハンドオフエリア（１４８１０、１４８２０、１４８３０）を識別する。
３．ＨＯＦモジュールは、場所１４８１０が、（そのスポットにおける事故についての情報がほとんど無いので）運転者サポートが必要である可能性がもっとも高い場所であると判断する。
４．場所１４８３０は、継続中の道路工事に起因して、別のハンドオフが必要とされ得る、次に可能性の高い場所として選択される。
５．場所１４８２０は、道路上での歩行者の交通の増加が観察される別の潜在的ハンドオフエリアとして識別される。自律車両は、運転者からの支援を必要とすることなく、代替ルート１４８１５を取ることによって、乗車のこの区間を容易に扱うことができる。
６．ＧＯＣデータベース１４７２０は、運転者についての一般情報をＨＯＨモジュール１４７３０ｈに提供する。
７．ＰＯＣデータベースは空である（運転者は自分の車を買ったばかりであり、自分に基づいてパーソナライズされた情報が限定されるため）。
８．ＯＡＭモジュール１４７１０は、運転者が運転席に座っていること、その息子が後ろに座っていることを確認する。
９．運転者が運転している車両のモデルは、完全に回転可能な運転者シートを有し、運転中に運転者が後ろの席の乗員と自由に対話することを可能にする。したがって、運転者は、背中を道路に向け、息子と話すことを開始する。
１０．車室内カメラは、車において発生することのフルカバレッジを有するので、ＯＡＭモジュール１４７１０は、この会話アクティビティ、および、運転者のシート位置をリアルタイムに通知される。ＯＡＭモジュール１４７１０はまた、運転者が、話しながら、前に傾きながら、シートを息子の近くへわずかに移動させたことを通知する。
移動中：
１１．自律車両は、第１のハンドオフ場所１４８１０へ向かって前に移動することを開始する。この第１のハンドオフ場所は、もっとも重要な１つであり、車両が運転者の介在を必要とするので、ＨＯＨモジュール１４７３０は、今後のハンドオフについて、運転者に早く通知することを開始する。
１２．ＨＯＨモジュール１４７３０は、運転者が向きを変えて手をステアリングホイールに置くのにどれだけ長くかかる可能性が高いか認識する。
１３．ＨＯＨモジュール１４７３０はまた、若い運転者と比べて、高齢の運転者が完全に気付くには、概してより長くかかるとＧＯＣデータベース１４７２０から認識する。従って、例として、運転者が５０歳の男性である場合、運転者が自分の手をステアリングホイールに置いてすぐに、完全に運転のコンテキストを認識するのに１５～２０秒かかる。従って、場所１４８１０におけるハンドオフが近づくにつれて、追加の時間もＨＯＨモジュール１４７３０によって考慮される。
１４．ＨＯＨモジュール１４７３０はまた、ハンドオフをどのように実行するかを評価するために、運転者による予想応答時間をＥＡＯモジュール１４７３５に提供する。運転者は、車両によるハンドオフ要求に応答し、道路上の事故の中で車を誘導することに成功する。
１５．運転者は、事故の場所を立ち去った後に、スマートフォンで着信を受信したときに自律車両にハンドオフする。
１６．ＥＡＯモジュール１４７３５は、場所１４８１０におけるハンドオフの評価を開始する。運転者は、ＨＯＨモジュール１４７３０によって予想されるより１０秒後に反応したと考えられる。ＯＡＭモジュール１４７１０上のタイムスタンプは、運転者が車の制御を受けることが期待されたとき、予期しない遅延を生じさせた時間に玩具を息子に渡すことに忙しかったことを示す。
１７．計画されたハンドオフの追加の時間を残すべく、この異常は将来の参照のためにＨＯＨモジュール１４７３０にレポートされる。
１８．ハンドオフ中の運転者のパフォーマンスも、内部更新のために、ＰＯＣモジュール１４７１５にレポートされた。
１９．車両がハンドオフ１４８２０に近づくにつれて、ＯＡＭモジュール１４７１０は、運転者がまだ電話を使用していること、および、非常に悲嘆している兆候があるように見えることを確認する。
２０．ＨＯＨモジュール１４７３０は、代替ルート１４８１５に従うことによって、ハンドオフ場所１４８２０が回避され得ると認識する。このルートにより、余分な２分間が移動に追加されるが、運転者は妨害されることなく、電話の会話を継続することが可能である。
２１．ＨＯＨモジュール１４７３０は、場所１４８２０でハンドオフを要求しないと判断し、車両は自律的に継続する。
２２．ＨＯＨモジュール１４７３０は、ハンドオフ場所１４８３０における道路工事を認識し、この場所におけるハンドオフは場所１４８１０ほど重要でないが、人間の介在により、移動時間は少し短くなり得る。
２３．ＯＡＭモジュール１４７１０は、運転者がもはや電話で話しておらず、前方を向いて、車の前の交通を何気なく見ていることを示す。
２４．ＨＯＨモジュール１４７３０は、運転者が、非常に容易にテイクオーバ可能であり得ることを判断し、移動時間を節約するために任意のハンドオーバを通知する。
２５．テイクオーバによって更に数分節約することが良い考えであると判断すると、運転者はテイクオーバに同意し、場所１４８３０におけるハンドオフの実行が成功する。
２６．ＰＯＣモジュール１４７１５は、ハンドオフの後にＥＡＯモジュール１４７３５によって更新され、異常が検出されなかったので、ＨＯＨモジュール１４７３０はこの時間に通知を受信しない。
２７．移動の残りの間、運転者は、ハンドオフしないと判断し、目的地まで手動モードで運転する。
上の例は、単に例示的なものであり、より多くの、または、より少ない、更には異なるアクションが講じられ得る。同様に、図１４９の方法の例も例示的であり、方法におけるより多く、または、より少ない段階が講じられ得る。
人間の運転者がテイクオーバできる状態でない間、（ルート、ＥＴＡなどの観点で、移動の元々の目的を達成するべく）自律車両が人間の運転者へのハンドオフ以外に選択肢を有しない状況があり得ることにも留意されるべきである。そのようなシナリオにおいて、自律車両は、以下の安全な選択肢を選択し得る。停車して、人間の運転者がテイクオーバ可能になるまでの時間、安全停止する；遅いレーンへ向かって移動し、走行時間の増加と引き換えに、交通および道路条件に従って、移動速度を低減する；車両がハンドオーバ無しで進むことを可能にする代替的ルートを計算する（そのようなルートは、より長い、および／または、より遅いことがあり得る）；または、車両が最終目的地までずっと、ハンドオフ無しで進むことを可能にしないが、人間の運転者がテイクオーバする準備ができた時間まで、車両が安全停止することを可能にする代替的ルートを計算する。これらの解決手法は単に例示的なものであり、車両の強制ハンドオフに対する他の解決手法があり得る。
自律車両の自律性のレベルは、自律車両が装備するセンサの数およびタイプに大きく依存する。加えて、例えば自律高速道路運転など、自律車両の異なる機能の多くは、車両の制御システムのアルゴリズムによって処理される適切な情報を自律車両に提供する、特定のセットの正しく機能しているセンサで実現される。
センサは、自律車両のオペレーションにおいてそのような不可欠の役割を担うので、様々なセンサの健全性が知られることは重要である。センサの健全性の安全性の懸念に加えて（センサ障害がある場合、車両が自律的に運転を継続できない可能性がある）、車両のセンサの健全性を知ることには他の利点がある。これは例えば、運転者／乗員の信頼性を増加させること、および、自律車両の効率性を改善することを含み得る。
自律車両技術が改善するにつれて、自律車両上のセンサの数が増加する。例えば、自動化のレベル３に達するべく、一部の車の製造者は、車に１４以上のセンサを装備した。図１５０は、自律車両において一般に見られるセンサのアレイの例を示す。センサは例えば、レーダ、ＬＩＤＡＲ、カメラ、および超音波センサを含み得る。より多くのセンサがあることは、冗長性および機能の増加の原因となり得る。しかしながら、センサ障害のイベントにおいて、自律車両は、自己認識するよう構成され得、故障の後に車両の能力を決定可能であり得る。
図１５１は、車両にとって利用可能な感知および処理能力に基づいて自律車両機能を適合する動的自律レベル検出（ＤＡＬＤ）システム１５１００の例を示す。いくつかの実施形態において、システム１５１００は、運転者の望ましい体験（例えば、運転者が望む自律性レベル）、および、車両の現在のアクションの経過を考慮し得る。このＤＡＬＤシステムは，例えば、天候条件、センサ性能、車両カスタマイズ、および運転者の計画のうち１または複数など、異なる入力を活用して、定義されたルートについて、車両が機能するべき自律性の最大の必要なレベルを動的に決定する。したがって、車両は、既存のセンサの健全性、車両カスタマイズ（例えば、後方センサをブロックするトレーラを有する車両）、天候条件などに基づいてその機能を適合し得る。
引き続き図１５１を参照すると、システム１５１００はスコアモジュール１５１０５および安全性モジュール１５１１０を備える。スコアモジュール１５１０５はまた、「Ｌ」スコア計算モジュールとみなされ得る。スコアモジュールは、システム１５１００によって受信された異なる入力に基づいて、車両が実装できる自律性のレベル（Ｌ）を推定する。ＤＡＬＤシステム１５１００によって受信された入力の例は、センサ状態（または健全性）情報１５１３０、望ましいユーザ体験１５１４０、天候条件１５１５０、計算リソース１５１２０、および車両カスタマイズ状態１５１６０を含み得る。本明細書における入力のリストは単に例示的なものであり、列挙されたものより多くの、または少ない入力がシステム１５１００の入力とみなされ得ることに留意されたい。
例として、「Ｌ」スコアは以下のように定義され得る。
ｉｎｐｕｔｉは、図１５１に描写されるＤＡＬＤシステム１５１００へのＮ個の異なる入力の１つである。ｗｉは、各ｉｎｐｕｔｉに関連付けられた異なる重みである。自律車両の能力が経時的に変化し、例えば車両のセンサおよびアルゴリズムなどの自律車両のアーキテクチャに依存するにつれて、重みは動的に変化し得る。ｗｉ＝０は、ｉｎｐｕｔｉが無効であったことを意味する。自律車両は次に、車で利用可能な異なるレベルの自動化に対応する数にＬｓｃｏｒｅを適合させる必要がある。これは、車において利用可能な最大自動化レベルがレベル５である場合、０から５の整数であり得る。
少なくとものいくつかの実施形態において、寄与する入力の数が変化するとき、一貫してＬｓｃｏｒｅを生成するために、重みは以下の条件も満たす必要がある。
従って、実施形態において、１または複数の入力が０の重みを有するとき、残りの非ゼロの重みは、すべての時間で合計されて１となるよう調整される。
上のＬｓｃｏｒｅの例は、線形関係を示すが、Ｌｓｃｏｒｅは、より複雑な計算および較正を利用する、より高次の多項式に関して定義され得ることも可能である。従って、上の線形関係は、Ｌｓｃｏｒｅを計算するための比較的単純な方式を表す例として提供された。
引き続き図１５１を参照すると、「Ｌ」スコア計算モジュール１５１０５は、車両に依存し、現在の状態に基づく車両の能力を示すことが意図される。「Ｌ」スコアに影響し得る入力の例は、車両の計算能力１５１２０、車両のセンサ１５１３０、ユーザ体験１５１４０、天気１５１５０、および車両カスタマイズ１５１６０を含み得る。リストは、「Ｌ」スコアを計算するために使用され得るすべての要因を網羅するものではなく、列挙される要因のすべてが「Ｌ」スコア計算において使用される必要があるわけではない。
上記のように、センサ１５１３０は、自律車両の自律レベルに役立つ。したがって、センサ１５１２０は、「Ｌ」スコアに大きく影響し得る。センサまたは複数のセンサが損傷されるとき、ＤＡＬＤシステム１５１００は、センサを無効化し得る、または、影響のある／影響される１または複数のセンサについて、より小さい入力の重みを設定する。したがって、より低い信用性レベルを示し、「Ｌ」スコアを下げる可能性が高い。損傷したセンサ以外に、センサ入力の重み付けされたスコアが「Ｌ」スコア計算において下がり得る理由の例として、センサのパフォーマンスが不十分、センサの機能異常（例えば、漸進的な劣化に起因して異常に実行を開始するセンサ）、センサドリフト、および、計算およびバッテリ電力を節約し得るセンサの意図的な無効化（現在の運転性能に必要ない場合）がある。
他の環境条件を含み得る天気１５１５０はまた、車両の自律レベルに対する影響を有し得る。例として、自律車両は、例えば、適切に対応する準備ができていないにもかかわらずルート沿いに雪が降っているなど、危険な天候条件を検出した場合、自律レベルを下げ得る。そのような環境条件は、自律車両の感知能力に悪影響を与え得る、または、タイヤのトラクションを著しく減少させ得る。これは、自律レベルの退行を促し得る。
また、車両カスタマイズ１５１６０は、車両の自律レベルに影響し得る。センサが較正された後に、人が要素を車両に追加する場合、いくつかのセンサが閉塞され得る。いくつかの例において、車両の修正を行うとき、センサは、無効化される必要があり得る。そのような状況において、センサは、一時的または永続的な修正に起因して、より低い重みに重み付けされる必要があり得る。車両修正の例は、例えば、車両の後部に対するトレーラ／他のものの取り付け、ルーフラックの取り付け、または、更なる追加の積載（例えば、スーツケース、家具など）を含み得る。車両のセンサまたは処理に影響し得る車両の任意の変化は、車両カスタマイズ１５１６０に含まれ得ることに留意されたい。
車両の運転者／乗員は、運転／ルートの特定の態様を優先する必要があり得る。このユーザ体験１５１４０はまた、車両の自律レベルに影響し得る。例として、運転者は、自律車両が何回テイクオーバを要求し得る（市街地を運転する）かにかかわらず、走行の時間を優先することを望み得る。または、運転者は、より時間がかかるが、景色を優先させることを望み得る。運転者は、高速道路の運転など（最小限のセットのセンサで実現され得る）、より高いレベルの自律性が必要とされないルートを優先することもあり得る。例えば、運転者が単純に車の運転を楽しんでいる、または、景色を楽しんでいるときなど、いくつかの状況において、自律性のレベルは、完全に重要でないことがあり得る。
「Ｌ」スコアにおける別の要因は、利用可能な計算能力１５１２０でる。例えば、車のバッテリが完全に充電されていない場合、または、故障している場合、自律車両のより高いレベルの自動化を達成するのに必要な余分な計算のための電力が十分に無いことがあり得る。別の例として、ハードドライブなど、自律車両の自動運転能力に関連するコンポーネントが誤動作する、または、データを保持するための空間が限定される場合、自律車両は、所持する計算能力に基づいて、自律性のレベルを適合させる必要がある。
上記の入力を受信後、ＤＡＬＤシステム１５１００は、ルート沿いでどの機能を有効化するか決定し得る。したがって、システム１５１００は、移動の前に、自律車両に対して、高度なコンテクスチュアル認識を提供する。例えば、異常に機能するセンサがある場合、車両は、センサを無効化し得、そのセンサが現在の自律レベルにどのように寄与したか、および、どのアルゴリズムがそのセンサ情報に依存したかを決定し得る。車がセンサを無効化することによって機能し得る場合、センサの冗長性に起因して、「Ｌ」スコアは同じままであり得る。しかしながら、例えば、レベル４における位置推定に使用される３６０度ＬＩＤＡＲセンサなど、そのセンサが自律車両の性能に重要であった場合、自律車両は、センサ無しで自動化機能を最大化できるところまで、自律性のレベルを低減する必要がある。このことは、車両の設計に応じて、Ｌ３またはＬ２などの自律レベルに落とすことを意味し得る。別の例において、トレーラが車両に取り付けられていて任意の後方センサをブロックしている場合、自律レベルを低下させる必要もあり得る。更に別の例として、スノーボードを有するルーフラックが車のＧＰＳ信号に干渉しているとき、自律レベルは低下し得る。
引き続き図１５１を参照すると、自動化レベルインジケータ１５１７０は、より良い視覚化のために現在の「Ｌ」スコアを表示し得る。これにより、ユーザの認識および自律車両への信用が増加し得る。インジケータ１５１７０は、車両の能力に影響し得るイベントの後に自律レベルがどのように変化するかをユーザが見ることを可能にする。結果として、ユーザは、車両に対する変化（例えば、センサ損傷、カスタマイズなど）が車両の自律レベルにどのように影響するか認識し得、例えば、ユーザがルート沿いの安全性および自動化能力についてより懸念している場合、トレーラを引かないなど、他の代替的手段を考慮し得る。別の例として、ルート沿いの状況を扱うユーザの能力に対する自己信頼性のレベルにも影響し得る、または、車両が常にまたは時々、能力／期待を下回って実行している場合、運転者／所有者に対して車両のサービスを取得することを促し得る。
ＤＡＬＤシステム１５１００はまた、自律車両のどのパラメータが経路計画アルゴリズムにとって重要であるかを決定することを担う安全性チェックモジュール１５１８０を備える。そのようなパラメータの例は、異なる天候条件に起因して変化し得る、ルートの特定エリアにおける摩擦の係数、車両カスタマイズに起因して変化し得る、自律車両の最大加速度ならびに最大および最小ブレーキに影響する自律車両の重みを含み得る。各ルートおよび経路計画アルゴリズムに固有のパラメータを修正することが可能であることは、自律車両の安全性において重要な役割を果たす。安全性モジュールは、ユーザについての最良の制御パラメータを推定するべく、これらのパラメータの正確度を利用する。
明確な安全性の利点に加えて、システム１５１００の追加の利点は、自律車両に自己認識させ、その機能を動的に適合させることにより、車の電力消費および自律車両のメンテナンスコストが長期的に低減し得ることである。したがって、ユーザの入力は、システム１５１００にとって重要であり得る。最速ルート、または、景色の良いルートで行くというユーザの望みに応じて、例えば、Ｌ５自律車両は、センサステータスおよび予測された天候条件をチェックした後に、当該ルート（またはルートの一部）沿いで、Ｌ３モードに留まることを選択し得る。これにより、高価なセンサおよび計算リソースの劣化を回避し得る。
自律車両の普及に伴い、それらは家庭の共通の一部となり、通常の家庭用車両と置き換わる。それらがより一般化するにつれて、通常の日常的な通学または通勤だけでなく、従来の人間が運転する車両の機能を実行することが予想される。このことは、人が自律車両に対し、例えば、キャンプ旅行、週末のビーチまたは湖での保養、または、スポーツイベントでのテールゲートパーティを促進するなど、より多機能を提供することを期待することを意味する。従って、自律車両は、機器の一時的な運搬を実行可能であることが期待され得る。例として、そのような機器は、キャンピングギア、自転車、ボート、ジェットスキー、クーラー、グリルなどを含み得る。従って、自律車両は、トレーラ、フック、プラットフォーム、拡張、または同様のものを引く能力を含み得る。
しかしながら、自律車両上のそのような付属物は、センサのオクルージョンを生じさせ得、車両の寸法に関する、車両挙動モデルの変化を生じさせ得る。これは特に、車道に沿って操縦するときに、車両が現在補償する必要がある安全距離を維持するために不可欠の部分である事前に存在したパラメータに当てはまる。例として、図１５２を参照すると、自律車両が、別の車両の前に、寄せるための余裕が十分にあると考えるが、むしろ、制御システムが気付くより遥かに長い場合、後ろの車が停止するための十分な空間を有することを防止し得、または更に悪いことに、自律車両がすれ違う車両と衝突する。
他の例として、車両を下げる、または、オーバーサイズのタイヤ（ホイールウェルの外部に突出し得る）、スポイラ、または他の追加物を組み込むなど、車両所有者が車両カスタマイズを開始する場合、同様に考慮される必要がある。これらのカスタマイズは、車両パラメータのモデリングおよび較正を変更し得る。
したがって、車両の次元が修正によって拡張された限りにおいて、新しい車両寸法を取得することは重要であり得る。このことは、自律車両が、拡張を補償するために安全距離クリアランスモデルを変更するのにどれほどのガードバンドが必要かを決定することを可能にする。この距離はナビゲーションにとって重要であり、自律車両が事故を回避することを可能にし、駐車スポットからバックで出るとき、および、同様の自律アクションを実行するとき、適合型クルーズ制御などのシステムに適用可能である。
例えば、安全運転距離などの運転の安全性についてのモデルが存在するが、車両の寸法が変化したことを自律車両が認識している場合、自律車両の安全性は増加し得る。更に、自律車両のロボット運転者は、適切な実行のために、センサおよび厳格な較正を利用する。車両センサ較正の一部として、おそらく高度を除く車両参照ポイントが移動／変更される可能性が非常に低い座標系が採用される。一例として、図１５３に示されるアッカーマンモデルは、２つのホイールの間に車両の後方軸中心点を含む。このモデルに対する任意の変化は、そのような座標に関して考慮および参照され得る。例として、車両寸法の拡張が、ヒッチが車両に取り付けられる結果であるとき、ヒッチポイントを説明するために座標はオフセットされる。
車両モデリングシステムの妨害に加えて、トレーラヒッチの追加などのカスタマイズは、車両のセンサおよび車両の操縦性の両方を妨害し得る。これらの妨害は、車両の自律性のレベルに影響する可能性が高い。図１５４は、付属物１５４１０を有する車両１５４００の例を示す（例えば、この例では車両によって牽引されるボート）。例に示されるように、カスタマイズは閉塞エリア１５４２０を生成する。
車両の新しい寸法に対処するための１つの可能な解決手法は、トレーラまたはヒッチに対応するセンサを装着することである。しかしながら、これは、システムの複雑性を追加し、時間がかかり、高価であり得る。例えば、ユーザは、既存の車両システムに対する新しいセンサシステムの互換性について考慮する必要がある。較正のために厳格なステップを完了することは高価であり時間がかかる。要素に対する曝露があり得る（例えば、拡張がボート、ジェットスキー、カヌーなどである場合、センサは水中に浸され得る）。トレーラを越えて延在するポールまたは他のハードウェアがあり得る（例えば、ボートはトレーラより遥かに大きいことがあり得る）。加えて、そのような（例えば、ボートのための）トレーラの使用は、一時的（週末の外出）なので、この解決手法は非現実的であり、施行／観察される可能性が低い。
別の可能な代替的形態は、センサのオクルージョンを生じさせるカスタマイズの幅および深度を、いくらかの近似を伴ってキャプチャし得る３Ｄモデリングが可能である、車両モデルと同じ座標系に沿った超音波センサのアレイから実装される。
更に別の例として、単純で低コストの解決手法は、カスタマイズの結果（例えば、取り付けられたトレーラ／ヒッチ）である新しい外側の車両寸法をキャプチャおよびトレースする方法を含む。自律車両は次に、一時的に、（トレーラ／ヒッチが取り付けられている間に）必要に応じて補償し得る。
図１５５は、車両に結合された拡張によって追加された寸法を組み込んで、車両の新しい寸法をトレースする単純な方法の使用の例を示す。比較として、１５５１０は、車両に取り付けられていても、そうでなくてもよい超音波センサによって感知され得る、車両および拡張の３Ｄ超音波マップを示す。いくつか例において、１５５１０の例は自動化され得る。そのような例において、車両がオクルージョン、または、トレーラの取り付けを検出するとき、自動超音波走査が開始し、３Ｄモデルのレンダリングを作成する。別の例を１５５３０で示す。１５５３０の例において、車両の新しい寸法は、例えば、ＬＩＤＡＲベースの局などを使用して、ＬＩＤＡＲを使用してキャプチャされる。１５５２０は、車両の新しい寸法をトレースすることを促進するために、手動のウォークスルーを実行するユーザの例を示す。ウォークスルー後、車両の寸法の新しいモデル１５５４０が生成される。ウォークスルーを実行するべく、車両所有者は、センサを持ちながら、車両、および、所与の長さ（例えば腕の長さ）の拡張の経路に沿って歩き得る。いくつか例においてこのセンサは、スマートフォンとペアリングされ得る（例えば、通信可能に結合される）。他の例において、センサは車両とペアリングされ得る。様々な実施形態において、１５５２０に示されるように、車両の寸法は、車両の周囲を物理的に歩行することとは対照的に、ドローンおよびカメラを使用してトレースされ得る。トレースの結果は次に、自律車両に配信され得、多角形モデル表現１５５４０が近似され得る。このモデルは、自律車両の運転アルゴリズムに組み込まれ得る。
上の選択肢を組み込むためのシステムは、以下の要素、すなわち、ヒッチが拡張物に取り付けられたとき、または、それから取り外されたときを登録するセンサを有する車両上の統合型ヒッチを有する車両；ヒッチの取り付けの感知に応答して、「安全性なウォークスルー」が必要であることを運転者に警告するアラーム；トレースを作成するための感知要素／デバイス；トレース進行中に、相互参照として確認および働く非閉塞センサ；ならびにトレースの結果としての自律性レベルの変化および残った機能的センサを運転者に警告する車両警告システムのうち１または複数を含む。一実施形態において、感知要素／トレースデバイスは、スマートフォンカメラによってキャプチャされる１または複数のイメージに基づいて、新しい自律車両寸法を計算するスマートフォンアプリを含み得る。ユーザは単純に、車の周囲を歩き得る、または、ドローンが新しい寸法をスキャンするために使用され得る。別の例において、スキャンデバイスは、上記と同様の機能を実行する、統合型の取り外し可能な車両カメラを含み得る。スキャン後、トレースにギャップが存在する場合、または、結果が厳密な直線トレースでない（または、厳密に原点で停止しない）場合、トレースはなお、トレースのキャプチャされたポイントに基づいて車両の周囲の閉じ多角形／ループに変換され得る。車両は、元の寸法を考慮して、曲率上の「ピボット」ポイントの効果を補償し得、寸法の新しいモデルは、モデルが車両の限界の外部にあることを保証するオフセットを含み得る。これは追加された安全性バッファであり得る。他の実施形態において、例えば、車両に取り付けられても、そうでなくてもよい、超音波およびＬＩＤＡＲセンサなどの新しい寸法を決定する他の方法が使用され得る。
図１５６は、少なくとも１つの実施形態による、車両モデルオクルージョン補償フローの例を示す。図１５６の例はまた、自律車両の車両寸法を更新する方法とみなされ得る。
図１５６の例は、ヒッチスイッチが係合したかどうかを決定することを含むアクションを含む。いくつかの実施形態において、ヒッチは、ヒッチが係合したかどうかを示す自動センサ（例えば、スイッチ）を含み得る。様々な実施形態において、自律車両は追加的または代替的い、ヒッチが係合したことを示す手動スイッチを含み得る。
ヒッチスイッチが係合した場合、車両は、チェックを実行し、寸法が追加された車両が移動する前に、必要な安全性アクションのすべてが実行されたかどうかを決定し得る。実行された場合、フローは終了する。そうでない場合、車両は、新しい車両寸法をキャプチャする安全性ウォークスルーが完了したかどうかを決定し得る。そうでない場合、運転者は、ウォークスルーが必要であると警告され得、ウォークスルーが開始し得る。
ウォークスルーを実行するべく、車両は第１に、感知デバイスをアクティブ化し、および／または、ペアリングする。これは、スマートフォン内に統合された、または、それとペアリングされた感知デバイス、または同様のデバイス、または、車両に直接接続された別個のデバイスであり得る。デバイスがペアリング／アクティブされた後に、所有者は車両の周囲でウォークスルーを実行する。
次に、感知デバイスは、ウォークスルー中に取得されたデータを自律車両へ転送する。自律車両は次に、感知デバイスによって取得されたデータを多角形モデルへ変換し得る。自律車両は次に、例えば、安全距離アルゴリズムを含む自律車両アルゴリズムにおける新しい寸法を使用し得る。最終的に、自律車両は、自己テストを実行して、車両が動作する自律レベルに新しい寸法が影響するかどうかを決定し得る。レベルが変化した場合、この新しいレベルは、運転者に表示され得る（または、そうでない場合、伝達される）（または、レベルが変化していないことを示す指示が運転者に表示され得る、または伝達され得る）。
図１５７および図１５８は、本明細書において開示される実施形態に従って使用され得る例示的コンピュータアーキテクチャのブロック図である。プロセッサおよびコンピューティングシステムについての、当技術分野において知られた他のコンピュータアーキテクチャ設計も使用され得る。概して、本明細書において開示される実施形態の好適なコンピュータアーキテクチャは、これに限定されないが、図１５７および図１５８に示される構成を含み得る。
図１５７は、実施形態によるプロセッサの例示的な説明図である。プロセッサ１５７００は、上の実装に関連して使用され得るハードウェアデバイスのタイプの例である。プロセッサ１５７００は、マイクロプロセッサ、組み込みプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、マルチコアプロセッサ、シングルコアプロセッサ、または、コードを実行するための他のデバイスなど、任意のタイプのプロセッサであり得る。１つのプロセッサ１５７００のみが図１５７に示されているが、処理要素は代替的に、図１５７に示されるプロセッサ１５７００を１つより多く含み得る。プロセッサ１５７００はシングルスレッドコアであり得、または、少なくとも一実施形態では、プロセッサ１５７００は１つのコアにつき２つ以上のハードウェアスレッドコンテキスト（または「論理プロセッサ」）を含み得るという点で、マルチスレッドであってよい。
図１５７はまた、実施形態による、プロセッサ１５７００に結合されたメモリ１５７０２を示す。メモリ１５７０２は、当業者に知られている、またはそうでなければ当業者に利用可能な様々な種類のメモリ（メモリ階層の様々な層を含む）のいずれでもよい。そのようなメモリ素子は、これらに限定されないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）のロジックブロック、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ）、および、電気消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）を含み得る。
プロセッサ１５７００は、本明細書で詳述されたアルゴリズム、プロセス、または動作に関連付けられた任意のタイプの命令を実行することができる。概して、プロセッサ１５７００は、要素または項目（例えばデータ）を１つの状態または物から別の状態または物に変換し得る。
プロセッサ１５７００によって実行される１または複数の命令であってよいコード１５７０４が、メモリ１５７０２に格納されてよく、あるいは、ソフトウェア、ハードウェア、ファームウェア、若しくはこれらの任意の好適な組み合わせに、または必要に応じて特定のニーズに基づき、任意の他の内部または外部のコンポーネント、デバイス、要素、若しくはオブジェクトに格納されてよい。一例において、プロセッサ１５７００は、コード１５７０４により示された命令のプログラムシーケンスに従い得る。各命令はフロントエンドロジック１５７０６に入り、１または複数のデコーダ１５７０８によって処理される。デコーダは、その出力として、固定幅のマイクロオペレーションのようなマイクロオペレーションを、予め定義されたフォーマットで生成してよく、または、元のコード命令を反映する他の命令、マイクロ命令、もしくは制御信号を生成してよい。フロントエンドロジック１５７０６は、レジスタリネーミングロジック１５７１０およびスケジューリングロジック１５７１２も含む。これらのロジックは概して、リソースを割り当て、実行のために、命令に対応する動作をキューに入れる。
プロセッサ１５７００はまた、実行ユニット１５７１６ａ、１５７１６ｂ、１５７１６ｎなどのセットを有する実行ロジック１５７１４を含み得る。いくつかの実施形態は、特定の機能または機能のセット専用の多くの実行ユニットを含み得る。他の実施形態は、実行ユニットを１つのみを含んでよく、または特定の機能を実行する１つの実行ユニットを含んでよい。実行ロジック１５７１４はコード命令が特定するオペレーションを実行する。
コード命令によって指定される動作の実行の完了後、バックエンドロジック１５７１８は、コード１５７０４の命令をリタイアし得る。一実施形態において、プロセッサ１５７００はアウトオブオーダー実行を許可するが、命令のインオーダリタイアメントを要求する。リタイアメントロジック１５７２０は、様々な既知の形態（例えば、リオーダバッファ等）を取り得る。このようにプロセッサ１５７００は、少なくとも、レジスタリネーミングロジック１５７１０が使用するデコーダ、ハードウェアレジスタおよびテーブルと、実行ロジック１５７１４が変更する任意のレジスタ（図示せず）と、が生成する出力に関して、コード１５７０４の実行中に変換される。
図１５７には示されていないが、処理要素が、プロセッサ１５７００を備えたチップ上に他の要素を含むことができる。例えば、処理要素は、プロセッサ１５７００と共にメモリ制御ロジックを含み得る。処理要素は、Ｉ／Ｏ制御ロジックを含んでよく、および／または、メモリ制御ロジックと統合されたＩ／Ｏ制御ロジックを含んでよい。処理要素は、１または複数のキャッシュを含んでもよい。いくつかの実施形態において、非揮発性メモリ（フラッシュメモリまたはヒューズなど）も、プロセッサ１５７００と共にチップに含まれ得る。
図１５８は、一実施形態によるポイントツーポイント（ＰｔＰ）構成で配置されたコンピューティングシステム１５８００を示す。特に、図１５８は、プロセッサ、メモリ、および入力／出力デバイスが多くの数のポイントツーポイントインタフェースにより相互接続されているシステムを示す。概して、本明細書に説明されるコンピューティングシステムの１または複数は、コンピューティングシステム１５７００と同じまたは同様の方式で構成され得る。
プロセッサ１５８７０および１５８８０はまた、メモリ素子１５８３２および１５８３４と通信するための統合メモリコントローラロジック（ＭＣ）１５８７２および１５８８２を各々含み得る。代替的な実施形態において、メモリコントローラロジック１５８７２および１５８８２は、プロセッサ１５８７０および１５８８０とは別個のディスクリートロジックであり得る。メモリ素子１５８３２および／または１５８３４は、本明細書において説明されるオペレーションおよび機能を実現するために、プロセッサ１５８７０および１５８８０によって使用される様々なデータを格納し得る。
プロセッサ１５８７０および１５８８０は、本明細書において他の図に関連して説明されるものなど、任意のタイプのプロセッサであり得る。プロセッサ１５８７０および１５８８０はそれぞれ、ポイントツーポイントインタフェース回路１５８７８および１５８８８を使用して、ポイントツーポイント（ＰｔＰ）インタフェース１５８５０を介してデータを交換し得る。プロセッサ１５８７０および１５８８０は各々、ポイントツーポイントインタフェース回路１５８７６、１５８８６、１５８９４および１５８９８を使用して、個々のポイントツーポイントインタフェース１５８５２および１５８５４を介してチップセット１５８９０とデータを交換し得る。チップセット１５８９０はまた、ＰｔＰインタフェース回路であり得るインタフェース１５８３９を介して高性能グラフィック回路、機械学習アクセラレータ、または他のコプロセッサ１５８３８などのコプロセッサ１５８３８とデータを交換し得る。代替的な実施形態において、図１５８に示されるＰｔＰリンクのいずれか、またはすべては、ＰｔＰリンクではなく、マルチドロップバスとして実装され得る。
チップセット１５８９０は、インタフェース回路１５８９６を介してバス１５８２０と通信し得る。バス１５８２０は、バスブリッジ１５８１８およびＩ／Ｏデバイス１５８１６など、バスを介して通信する１または複数のデバイスを有し得る。バス１５８１０を介して、バスブリッジ１５８１８は、ユーザインタフェース１５８１２（キーボード、マウス、タッチスクリーン、または他の入力デバイスなど）、通信デバイス１５８２６（モデム、ネットワークインタフェースデバイス、または、コンピュータネットワーク１５８６０を通じて通信し得る他のタイプの通信デバイスなど）、音声Ｉ／Ｏデバイス１５８１４、および／または、データストレージデバイス１５８２８などの他のデバイスと通信し得る。データストレージデバイス１５８２８は、プロセッサ１５８７０および／または１５８８０によって実行され得るコード１５８３０を格納し得る。代替的な実施形態において、バスアーキテクチャの任意の部分は、１または複数のＰｔＰリンクで実装され得る。
図１５８に示されるコンピュータシステムは、本明細書で論じられる様々な実施形態を実装するのに利用され得るコンピューティングシステムの一実施形態に関する概略説明図である。図１５８に示されるシステムの様々なコンポーネントが、システムオンチップ（ＳｏＣ）アーキテクチャ、または本明細書で提供された例および実装態様の機能および特徴を実現することができる任意の他の好適な構成に、組み合わされてよいことが理解されよう。
本明細書において説明され示されるシステムおよび解決手法のいくつかは、複数の要素を含むものとして、または、それと関連付けられて説明されたが、明示的に示される、または説明されるすべての要素が、本開示の代替的な実装の各々において利用され得るわけではない。追加的に、本明細書において説明される要素の１または複数は、システムの外部に配置され得るが、他の事例において、特定の要素は、他の説明された要素、および、示された実装において説明されない他の要素のうちの１または複数の中に、または、その一部として含まれ得る。更に特定の要素は、他のコンポーネントと組み合わされ得、本明細書において説明される目的に加えて、代替的または追加的な目的で使用され得る。
更に、上で提示された例は、単に特定の原理および特徴を示す目的で提供される非限定的な例であり、本明細書において説明された概念の潜在的な実施形態を必ずしも限定または制限するものではないことが理解されるべきである。例えば、様々な異なる実施形態が、本明細書において説明されるコンポーネントの様々な実装を通じて実現される組み合わせを含む、本明細書において説明される特徴およびコンポーネントの様々な組み合わせを利用して実現され得る。他の実装、特徴および詳細が、本明細書の内容から理解されるはずである。
本開示は、特定の実装態様および概ね関連した方法の観点で説明されたが、これらの実装態様および方法の変更例および置換例が、当業者には明らかであろう。例えば、本明細書において説明される複数のアクションは、説明されるのとは異なる順序で実行され、なおも所望の複数の結果を実現し得る。一例として、添付図面において描写されるプロセスは、望ましい結果を実現するために、示される特定の順序または順番を必ずしも要求しない。特定の実装において、マルチタスクおよび並行処理が有利であり得る。追加的に、他のユーザインタフェースのレイアウトおよび機能がサポートされ得る。他のバリエーションは、以下の請求項の範囲内である。
本明細書は多数の特定の実装態様の詳細を含むが、これらは、あらゆる発明の範囲および特許請求され得ることの範囲を限定するものと解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有の特徴を説明するものと解釈されるべきである。別個の実施形態の文脈において本明細書で説明される特定の特徴は、単一の実施形態に組み合わせて実装されることもできる。逆に、単一の実施形態の文脈において説明される様々な特徴は、複数の実施形態で別個に、または任意の好適なサブコンビネーションで実装されることもできる。さらに、特徴は、特定の組み合わせで動作するものとして上述され、さらに最初にそのようなものとして特許請求され得るが、特許請求される組み合わせの１または複数の特徴は、いくつかの場合において、組み合わせから削除されることができ、特許請求される組み合わせは、サブコンビネーションまたはサブコンビネーションの変形形態を対象としてよい。
同様に、動作が特定の順序で図面に示されているが、これによって、望ましい結果を実現するために、そのような動作が示された特定の順序で実行される、若しくは順番に実行されること、または示された全ての動作が実行されることが必要とされていると理解されるべきではない。特定の環境では、マルチタスク処理および並列処理が有利になり得る。更に、上記の実施形態における様々なシステムコンポーネントを分離することは、全ての実施形態においてそのような分離を要求するものと理解されるべきでない。一般に、説明されるプログラムコンポーネントおよびシステムは、単一のソフトウェア製品に一緒に統合され、または複数のソフトウェア製品にパッケージされ得ることを理解されたい。
車載コンピューティングシステム（例えば、自動運転スタックの少なくとも一部を実装し、車両の自動運転機能を可能にするため使用される）、自律運転環境をサポートするクラウドまたはフォグベースシステムを実装する１または複数のコンピューティングシステム上の路肩コンピューティングシステム（例えば、車両とは別個であり、専用路肩キャビネット、交通標識、交通信号、または、街灯などにおいて実装される）を備えるコンピューティングシステムが提供され得る、または、自律運転環境からリモートにあるコンピューティングシステムは、１または複数のデータ処理装置（例えば、中央処理装置、グラフィクス処理ユニット、テンソル処理装置、ＡＳＩＣ、ＦＰＧＡなど）、加速器ハードウェア、他のハードウェア回路、ファームウェア、および／またはソフトウェアのうち１つまたはその組み合わせを使用して実装されるロジックを含み得る。当該ロジックは、以下のうちの１つまたはその組み合わせを実行または実装するためのものである。
例１は、命令を格納した非一時的機械可読ストレージデバイスであって、命令は機械によって実行されるとき、複数のセンサからセンサデータを受信することであって、複数のセンサは、第１セットのセンサおよび第２セットのセンサを含み、複数のセンサの少なくとも一部は車両に結合される、こと、第１セットのセンサによって生成されたセンサデータの少なくとも一部に基づいて、車両上のデータプロセッサを使用して、車両の制御を自動化すること、車両上のデータプロセッサを使用して、第２セットのセンサによって生成されたセンサデータから、自律車両内の１または複数の乗員の乗員属性を決定すること、乗員属性、および、第１セットのセンサによって生成されたセンサデータに基づいて、車両の車両属性を修正することを機械に行わせる、ストレージデバイスである。
例２は、例１の主題を含み、車両の自動制御は、車両の第１経路を決定することを含み、乗員属性に基づいて車両属性を修正することは、第１経路を第２経路に変更させ、車両の後の自動化制御を第２経路に基づかせる。
例３は、例１から２のいずれか一項の主題を含み、車両属性は、車両の車室の物理的属性を含み、乗員は車室内にいる。
例４は、例３の主題を含み、車室は、乗員の快適性を促進するよう構成される１または複数のデバイスを含み、車両属性の修正は、１または複数のデバイスを自律的に調整することを含む。
例５は、例１から４のいずれか一項の主題を含み、車両属性を修正することは、車両の自動化された制御、および、乗員属性に関連して決定された経路に基づいて、提示デバイスを使用して、レコメンドを乗員に提示することを含む。
例６は、例５の主題を含み、レコメンドは、乗員の属性に基づいて、車両の目的地または経路を変更するためのレコメンドを含む。
例７は、例１から６のいずれか一項の主題を含み、乗員属性は、車両内の１または複数の乗員の快適性またはプリファレンスに影響する属性を含む。
例８は、例１から７のいずれか一項の主題を含み、車両の自動化された制御は、第１機械学習モデルを使用して決定され、乗員属性は、第２機械学習モデルを使用して決定される。
例９は、例１から８のいずれか一項の主題を含み、車両属性は、車両の自動化された制御を通じて実現される運転スタイルを含み、車両属性を修正することは、乗員属性に基づいて運転スタイルを変更させる。
例１０は、例１から９のいずれか一項の主題を含み、第１セットのセンサおよび第２セットのセンサは少なくとも１つのセンサを共通に含む。
例１１は、例１から１０のいずれか一項の主題を含み、第１セットのセンサおよび第２セットのセンサのうち少なくとも１つのセンサは、車両にとって外的である。
例１２は、例１から１１のいずれか一項の主題を含み、命令は更に、第２セットのセンサからのセンサデータに基づいて、乗員の各々の識別情報を決定すること、および、１または複数の乗員の識別情報に対応するプリファレンス情報にアクセスすることであって、乗員属性はプリファレンス情報を含む、ことを機械に行わせるために実行可能である。
例１３は、例１から１２のいずれか一項の主題を含み、乗員属性は乗員の人間の属性を記述する。
例１４は、例１３の主題を含み、乗員は複数の乗員を含み、人間の属性は、複数の乗員を含む乗員のグループの組み合わされた属性を含み、車両属性は、組み合わされた属性に基づいて修正される。
例１５は、例１から１４のいずれか一項の主題を含み、命令は更に、無線通信チャネルを介して、第１セットのセンサまたは第２セットのセンサからのデータを含む特定のセンサデータをリモートコンピューティングシステムへ送信すること、および、特定のセンサデータに基づいて、リモートコンピューティングシステムからレコメンドデータを受信することであって、車両属性はレコメンドデータに基づいて修正される、ことを機械に行わせるために実行可能である。
例１６は、複数のセンサからセンサデータを受信する段階であって、複数のセンサは、第１セットのセンサおよび第２セットのセンサを含み、複数のセンサの少なくとも一部は車両に結合される、段階と、第１セットのセンサによって生成されたセンサデータの少なくとも一部に基づいて、車両上のデータプロセッサを使用して、車両の制御を自動化する段階と、車両上のデータプロセッサを使用して、第２セットのセンサによって生成されたセンサデータから、自律車両内の１または複数の乗員の乗員属性を決定する段階と、乗員属性、および、第１セットのセンサによって生成されたセンサデータに基づいて、車両の車両属性を修正する段階とを備える方法である。
例１７は、例１６の主題を含み、車両の自動制御は、車両の第１経路を決定することを含み、乗員属性に基づいて車両属性を修正することは、第１経路を第２経路に変更させ、車両の後の自動化制御を第２経路に基づかせる。
例１８は、例１６から１７のいずれか一項の主題を含み、車両属性は、車両の車室の物理的属性を含み、乗員は車室内にいる。
例１９は、例１８の主題を含み、車室は、乗員の快適性を促進するよう構成される１または複数のデバイスを含み、車両属性の修正は、１または複数のデバイスを自律的に調整することを含む。
例２０は、例１６から１９のいずれか一項の主題を含み、車両属性を修正することは、車両の自動化された制御、および、乗員属性に関連して決定された経路に基づいて、提示デバイスを使用して、レコメンドを乗員に提示することを含む。
例２１は、例２０の主題を含み、レコメンドは、乗員の属性に基づいて、車両の目的地または経路を変更するためのレコメンドを含む。
例２２は、例１６から２１のいずれか一項の主題を含み、乗員属性は、車両内の１または複数の乗員の快適性またはプリファレンスに影響する属性を含む。
例２３は、例１６から２２のいずれか一項の主題を含み、車両の自動化された制御は、第１機械学習モデルを使用して決定され、乗員属性は、第２機械学習モデルを使用して決定される。
例２４は、例１６から２３のいずれか一項の主題を含み、車両属性は、車両の自動化された制御を通じて実現される運転スタイルを含み、車両属性を修正することは、乗員属性に基づいて運転スタイルを変更させる。
例２５は、第１セットのセンサおよび第２セットのセンサは少なくとも１つのセンサを共通に含む、例１６から２４のいずれか一項の主題を含む。
例２６は、例１６から２５のいずれか一項の主題を含み、第１セットのセンサおよび第２セットのセンサのうち少なくとも１つのセンサは、車両にとって外的である。
例２７は、例１６から２６のいずれか一項の主題を含み、更に、第２セットのセンサからセンサデータに基づいて乗員の各々の識別情報を決定すること、および、乗員の１または複数の識別情報に対応するプリファレンス情報にアクセスすることであって、乗員属性はプリファレンス情報を含む、ことを含む。
例２８は、例１６から２７のいずれか一項の主題を含み、乗員属性は、乗員の人間の属性を記述する。
例２９は、例２８の主題を含み、乗員は複数の乗員を含み、人間の属性は、複数の乗員を含む乗員のグループの組み合わされた属性を含み、車両属性は、組み合わされた属性に基づいて修正される。
例３０は、以下を更に含む、例１６から２９のいずれか一項の主題を含む。
第１セットのセンサまたは第２セットのセンサからのデータを含む特定のセンサデータを、無線通信チャネルを介してリモートコンピューティングシステムへ送信すること。
特定のセンサデータに基づいてリモートコンピューティングシステムからレコメンドデータを受信することであって、車両属性は、レコメンドデータに基づいて修正される、こと。
例３１は、例１６から３０のいずれか一項の方法を実行するための手段を備えるシステムである。
例３２は、命令を格納する非一時的機械可読記憶媒体であって、命令は機械によって実行されるとき、機械に、第１セットのセンサによって生成された第１センサデータを受信することであって、第１センサデータは運転環境の属性を識別する、こと、第２セットのセンサによって生成された第２センサデータを受信することであって、第２センサデータは、運転環境における特定の車両内の一組の乗員の属性を識別する、こと、第１センサデータおよび第２センサデータに基づいてレコメンドを決定すること、無線通信チャネルを介して、レコメンドデータを特定の車両の車載コンピューティングシステムへ送信することであって、レコメンドデータはレコメンドを識別し、特定の車両のオペレーションに影響を及ぼすために車載コンピューティングシステムによって消費可能である、ことを行わせる、記憶媒体である。
例３３は、例３２の主題を含み、第１セットのセンサは、特定の車両上に統合される１または複数のセンサを含む。
例３４は、例３２から３３のいずれか一項の主題を含み、第１セットのセンサは、特定の車両にとって外的な１または複数のセンサを含む。
例３５は例３４の主題を含み、命令は更に、機械に、特定の車両の場所を決定すること、場所における１または複数の特定のセンサを識別すること、特定のセンサから特定のセンサデータにアクセスすることであって、第１センサデータは特定のセンサデータを含む、ことを行わせるために実行可能である。
例３６は、例３５の主題を含み、第１セットのセンサは、場所における別の車両に搭載された１または複数のセンサを含む。
例３７は、例３５から３６のいずれか一項の主題を含み、第１セットのセンサは、場所における路肩ユニットを含む。
例３８は、例３２から３７のいずれか一項の主題を含み、命令は更に、一組の乗員に関連付けられた１または複数のプロファイルを第２センサデータから決定することであって、レコメンドは１または複数のプロファイルに基づく、ことを機械に行わせるために実行可能である。
例３９は、例３２から３８のいずれか一項の主題を含み、レコメンドは、レコメンドに基づいて特定の車両の自動化された制御を車載コンピューティングシステムに変更させるために車載コンピューティングシステムによって消費可能である。
例４０は、例３９の主題を含み、自動化された制御の変更は、車両に、以前に決定された経路から逸脱させる。
例４１は、例３９から４０のいずれか一項の主題を含み、自動化された制御の変更は、レコメンドに基づいて、車両を第１運転スタイルから第２運転スタイルに変更させる。
例４２は、第１セットのセンサによって生成された第１センサデータを受信する段階であって、第１センサデータは運転環境の属性を識別する、段階と、第２セットのセンサによって生成された第２センサデータを受信する段階であって、第２センサデータは、運転環境における特定の車両内の一組の乗員の属性を識別する、段階と、第１センサデータおよび第２センサデータに基づいてレコメンドを決定する段階と、無線通信チャネルを介して、レコメンドデータを特定の車両の車載コンピューティングシステムへ送信する段階であって、レコメンドデータはレコメンドを識別し、特定の車両のオペレーションに影響を及ぼすために車載コンピューティングシステムによって消費可能である、段階とを備える方法である。
例４３は、例４２の主題を含み、第１セットのセンサは、特定の車両上に統合される１または複数のセンサを含む。
例４４は、例４２から４３のいずれか一項の主題を含み、第１セットのセンサは、特定の車両にとって外的な１または複数のセンサを含む。
例４５は例４４の主題を含み、命令は更に、特定の車両の場所を決定すること、場所における１または複数の特定のセンサを識別すること、特定のセンサから特定のセンサデータにアクセスすることであって、第１センサデータは特定のセンサデータを含む、ことを機械に行わせるために実行可能である。
例４６は、例４５の主題を含み、第１セットのセンサは、場所における別の車両に搭載された１または複数のセンサを含む。
例４７は、例４５から４６のいずれか一項の主題を含み、第１セットのセンサは、場所における路肩ユニットを含む。
例４８は、例４２から４７のいずれか一項の主題を含み、命令は更に、一組の乗員に関連付けられた１または複数のプロファイルを第２センサデータから決定することであって、レコメンドは１または複数のプロファイルに基づく、ことを機械に行わせるために実行可能である。
例４９は、例４２から４８のいずれか一項の主題を含み、レコメンドは、レコメンドに基づいて特定の車両の自動化された制御を車載コンピューティングシステムに変更させるために車載コンピューティングシステムによって消費可能である。
例５０は、例４９の主題を含み、自動化された制御の変更は、車両に、以前に決定された経路から逸脱させる。
例５１は、例４９から５０のいずれか一項の主題を含み、自動化された制御の変更は、レコメンドに基づいて、車両を第１運転スタイルから第２運転スタイルに変更させる。
例５２は、例４２から５１のいずれか一項の方法を実行するための手段を備えるシステムである。
例５３は、車両についての車載コンピューティングシステムであって、プロセッサハードウェアを備え、プロセッサハードウェアは、機械学習ハードウェアを含む、車載コンピューティングシステムと、ローカルセンサのセットと、アクチュエータのセットと、環境における運転条件を記述する第１センサデータを識別することであって、車両は環境の中、または近くに配置され、車載コンピューティングシステムは、第１センサデータを使用して車両の制御を自動化する、こと、第２センサデータを識別することであって、第２センサデータの少なくとも一部は、ローカルセンサのセットによって生成される、こと、車両内の一組の乗員の１または複数の乗員属性を第２センサデータから決定すること、ならびに、第１センサデータおよび第２センサデータに基づいて車載コンピューティングシステムについてのレコメンドを決定することを行うためにプロセッサハードウェアによって実行可能なレコメンドシステムとを備え、車載コンピューティングシステムは、車両の条件を変更するようにアクチュエータのセットのうち１または複数を作動させるためにレコメンドを消費する、システムである。
例５４は、例５３の主題を含み、１または複数のアクチュエータは、車両のステアリング、加速、またはブレーキのうち１つを制御するためのアクチュエータを含む。
例５５は、例５４の主題を含み、車載コンピューティングシステムは、車両についての第１経路計画を決定する、および、第１経路計画を拡張して、レコメンドに基づいて、車両についての異なる第２経路計画を形成するための経路計画エンジンを含む。
例５６は、例５３の主題を含み、１または複数はアクチュエータは、車両の車室内の物理的条件を調整するためのアクチュエータを含み、乗員は、車両の車室内に乗車する。
例５７は、例５３の主題を含み、第１センサデータの少なくとも一部は、ローカルセンサのセットによって生成される。
例５８は、例５３の主題を含み、レコメンドシステムは、無線通信チャネルを介してリモートコンピューティングシステムと通信すること、および、リモートコンピューティングシステムからレコメンドデータを受信することであって、レコメンドは、レコメンドデータに更に基づいて決定される、ことを行う。
例５９は、例５３の主題を含み、第１センサデータまたは第２センサデータの一部は、車両にとって外的であるセンサから受信される。
例６０は、例５３から５９のいずれか一項の主題を含み、レコメンドシステムは更に、レコメンドを記述するレコメンドデータを生成し、環境に関連付けられた別のシステムへレコメンドデータを送信させる。
例６１は、センサデータを複数のセンサから受信する段階であって、複数のセンサは、第１セットのセンサおよび第２セットのセンサを含み、複数のセンサの少なくとも一部は車両に結合される、段階と、車両上のデータプロセッサを使用して、少なくとも第１セットのセンサによって生成されたデータから車両についての経路を決定する段階と、車両上のデータプロセッサを使用して、少なくとも第２セットのセンサによって生成されたデータから、自律車両内の乗員の快適性またはプリファレンスに影響する属性を決定する段階とを備える方法である。
例６２は、例６１の主題を含み、更に、人間の属性に基づいて経路の変更を決定する段階を含む。
例６３は、例６１から６２のいずれか一項の主題を含み、更に、属性に基づいて、車両の車室内の１または複数のデバイスを自動的に調整する段階を含む。
例６４は、例６３の主題を含み、１または複数のデバイスは、車室に統合されたデバイスを含む。
例６５は、例６３から６４のいずれか一項の主題を含み、１または複数のデバイスは、車両にとって外的なデバイスを含む。
例６６は、例６１から６５のいずれか一項の主題を含み、経路は、第１機械学習モデルを使用して決定され、属性は、第２機械学習モデルを使用して決定される。
例６７は、例６１から６６のいずれか一項の主題を含み、更に、属性に基づいて車両の自律運転制御によって適用される運転のスタイルを調整することを含む。
例６８は、例６１から６７のいずれか一項の主題を含み、第１セットのセンサおよび第２セットのセンサは、少なくとも１つのセンサを共通に含む。
例６９は、例６１から６８のいずれか一項の主題を含み、第２セットのセンサにおける１または複数のセンサは、車両の周囲の環境に関連する環境情報を収集する。
例７０は、例６１から６９のいずれか一項の主題を含み、第２セットのセンサにおける１または複数のセンサは、車両における乗員の特性に関する情報を収集する。
例７１は、例６１から７０のいずれか一項の主題を含み、更に、乗員の各々の識別情報を決定すること、および、乗員のうち１または複数の識別情報に対応するプリファレンス情報にアクセスすることを含む。
例７２は、例６１から７１のいずれか一項の主題を含み、属性は、乗員の人間の属性を記述する。
例７３は、例７２の主題を含み、乗員は複数の乗員を含み、人間の属性は、複数の乗員を含む乗員のグループの組み合わされた属性を含む。
例７４は、例６１から７３のいずれか一項の主題を含み、属性は、自律運転経路計画に対応する車道の属性を記述する。
例７５は、例６１から７４のいずれか一項の主題を含み、属性は、自律運転経路計画に関する天候条件を記述する。
例７６は、例６１から７５のいずれか一項の方法を実行するための手段を備えるシステムである。
例７７は、例７６の主題を含み、手段は、命令を格納するためのコンピュータ可読媒体を含み、命令は、機械によって実行されるとき、例６１から７５のいずれか一項の方法の少なくとも一部を機械に実行させる。
例７８は、命令を格納した非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、複数のセンサからセンサデータを受信することであって、複数のセンサは第１セットのセンサおよび第２セットのセンサを含み、複数のセンサの少なくとも一部は車両に結合される、こと、車両上のデータプロセッサを使用して、少なくとも第１セットのセンサによって生成されたデータから車両についての経路を決定すること、および、車両上のデータプロセッサを使用して、少なくとも第２セットのセンサによって生成されたデータから、自律車両内の乗員の快適性またはプリファレンスに影響する属性を決定することを機械に行わせる。
例７９は、例７８の主題を含み、命令は更に、人間の属性に基づいて、経路の変更を決定するために実行可能である。
例８０は、例７８から７９のいずれか一項の主題を含み、命令は更に、属性に基づいて車両の車室内の１または複数のデバイスを自動的に調整するために実行可能である。
例８１は、例８０の主題を含み、１または複数のデバイスは、車室に統合されたデバイスを含む。
例８２は、例８０から８１のいずれか一項の主題を含み、１または複数のデバイスは、車両にとって外的なデバイスを含む。
例８３は、例７８から８２のいずれか一項の主題を含み、経路は、第１機械学習モデルを使用して決定され、属性は、第２機械学習モデルを使用して決定される。
例８４は、例７８から８３のいずれか一項の主題を含み、命令は更に、属性に基づいて車両の自律運転制御によって適用される運転のスタイルを調整するために実行可能である。
例８５は、例７８から８４のいずれか一項の主題を含み、第１セットのセンサおよび第２セットのセンサは、少なくとも１つのセンサを共通に含む。
例８６は、例７８から８５のいずれか一項の主題を含み、第２セットのセンサにおける１または複数のセンサは、車両の周囲の環境に関連する環境情報を収集する。
例８７は、例７８から８６のいずれか一項の主題を含み、第２セットのセンサにおける１または複数のセンサは、車両における乗員の特性に関する情報を収集する。
例８８は、例７８から８７のいずれか一項の主題を含み、命令は更に、乗員の各々の識別情報を決定すること、および、乗員のうち１または複数の識別情報に対応するプリファレンス情報にアクセスすることを行うために実行可能である。
例８９は、例７８から８８のいずれか一項の主題を含み、属性は、乗員の人間の属性を記述する。
例９０は、例８９の主題を含み、乗員は複数の乗員を含み、人間の属性は、複数の乗員を含む乗員のグループの組み合わされた属性を含む。
例９１は、例７８から９０のいずれか一項の主題を含み、属性は、自律運転経路計画に対応する車道の属性を記述する。
例９２は、例７８－９１のいずれか一項の主題を含み、属性は、自律運転経路計画に関する天候条件を記述する。
例９３は、特定のロケール内の特定の車両を識別する段階と、特定の車両の能力を決定する段階であって、能力は、特定の車両のセンサ能力を含む、段階と、レコメンドデータを特定の車両へ送信する段階であって、レコメンドデータは、特定の車両にとって外的な１または複数のセンサによって生成されたセンサデータに基づき、レコメンドデータは、特定の車両内の乗員にレコメンドを提示するためのものである、段階とを備える方法である。
例９４は、例９３の主題を含み、１または複数の外的センサは、航空ドローン、自律車両、または路肩ユニットのうち１つの上のセンサを含む。
例９５は、例９３から９４のいずれか一項の主題を含み、１または複数の外的センサは、複数の異なるデバイスからの複数のセンサを含む。
例９６は、例９３から９５のいずれか一項の主題を含み、特定の車両にとって外的なコンピューティングシステムにおいて１または複数の外的センサからセンサデータを収集する段階を更に含み、コンピューティングシステムは、レコメンドデータを特定の車両へ送信する。
例９７は、例９６の主題を含み、コンピューティングシステムは、センサデータの解析からレコメンドデータを生成する。
例９８は、例９７の主題を含み、解析は、機械学習モデルの適用を含む。
例９９は、例９３から９８のいずれか一項の主題を含み、特定の車両の能力に基づいて、特定の車両に提供されるレコメンドデータのタイプを決定する段階を更に含む。
例１００は、例９３から９９のいずれか一項の主題を含み、特定の車両の能力に基づいて、レコメンドデータを特定の車両へ送信するためのタイミングを決定する段階を更に含む。
例１０１は、例９３から１００のいずれか一項の方法を実行するための手段を備えるシステムである。
例１０２は、例１０１の主題を含み、手段は、命令を格納するためのコンピュータ可読媒体を含み、命令は、機械によって実行されるとき、例９３から１００のいずれか一項の方法の少なくとも一部を機械に実行させる。
例１０３は、第１車両に固定的に接続された１または複数の接続センサによって生成されたデータを受信する段階と、第１車両の外部のソースからレコメンドデータを受信する段階であって、レコメンドデータは、第１車両にとって外的な１または複数のセンサによって生成されたセンサデータに基づく、段階と、第１車両の車室内の１または複数の乗員についてのレコメンドを決定する段階と、第１車両内にレコメンドを提示する段階とを備える方法である。
例１０４は、例１０３の主題を含み、１または複数の外的センサは、航空ドローン、別の車両、または路肩ユニットのうち１つの上のセンサを含む。
例１０５は、例１０３から１０４のいずれか一項の主題を含み、外的センサは、１または複数の接続センサに存在しないセンサを含む。
例１０６は、例１０３から１０５のいずれか一項の主題を含み、更に、接続センサによって生成されたデータを使用して第１車両の車室における１または複数の乗員の識別情報を決定することを含む。
例１０７は、例１０６の主題を含み、識別情報に基づいて、乗員のうち１または複数のプリファレンスを決定することを更に含み、レコメンドは、プリファレンスに少なくとも部分的に基づいて決定される。
例１０８は、例１０３から１０７のいずれか一項の主題を含み、レコメンドは、小売店、レストランのうち１つのレコメンドを含む。
例１０９は、例１０３から１０８のいずれか一項の主題を含み、レコメンドは、第１車両について決定された経路を変更するためのレコメンドを含む。
例１１０は、例１０９の主題を含み、第１車両は自律運転ロジックを含み、レコメンドは自律運転ロジックに、変更を経路に適用させる。
例１１１は、例１０３から１１０のいずれか一項の方法を実行するための手段を備えるシステムである。
例１１２は、例１１１の主題を含み、手段は、命令を格納するためのコンピュータ可読媒体を含み、命令は、機械によって実行されるとき、例１０３から１１０のいずれか一項の方法の少なくとも一部を機械に実行させる。
例１１３は、例１１１の主題を含み、手段は、第１車両内の車載コンピューティングシステムを含む。
例１１４は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、特定のロケール内の特定の車両を識別すること、特定の車両の能力を決定することであって、能力は、特定の車両のセンサ能力を含む、こと、レコメンドデータを特定の車両へ送信することであって、レコメンドデータは、特定の車両にとって外的な１または複数のセンサによって生成されたセンサデータに基づき、レコメンドデータは、特定の車両内の乗員にレコメンドを提示するためのものである、ことを機械に行わせる。
例１１５は例１１４の主題を含み、１または複数の外的センサは、航空ドローン、自律車両、または路肩ユニットのうち１つの上のセンサを含む。
例１１６は、例１１４から１１５のいずれか１つの主題を含み、１または複数の外的センサは、複数の異なるデバイスからの複数のセンサを含む。
例１１７は、例１１４から１１６いずれか一項の主題を含み、命令は更に、特定の車両にとって外的なコンピューティングシステムにおいて１または複数の外的センサからセンサデータを収集することであって、コンピューティングシステムは、レコメンドデータを特定の車両へ送信する、ことを機械に行わせるために実行可能である。
例１１８は、例１１７の主題を含み、コンピューティングシステムは、センサデータの解析からレコメンドデータを生成する。
例１１９は、例５８の主題を含み、解析は、機械学習モデルの適用を含む。
例１２０は、例１１４－１１９のいずれか一項の主題を含み、命令は更に、特定の車両の能力に基づいて、特定の車両に提供されるレコメンドデータのタイプを決定することを機械に行わせるために実行可能である。
例１２１は、例１１４から１２０のいずれか一項の主題を含み、命令は更に、特定の車両の能力に基づいて、レコメンドデータを特定の車両へ送信するためのタイミングを決定することを機械に行わせるために実行可能である。
例１２２は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、第１車両に固定的に接続された１または複数の接続センサによって生成されたデータを受信すること、第１車両にとって外部なソースからレコメンドデータを受信することであって、レコメンドデータは、第１車両にとって外的な１または複数のセンサによって生成されるセンサデータに基づく、こと、第１車両の車室内の１または複数の乗員についてのレコメンドを決定すること、および、第１車両内のレコメンドを提示することを機械に行わせる。
例１２３は、例１２２の主題を含み、１または複数の外的センサは、航空ドローン、別の車両、または路肩ユニットのうち１つの上のセンサを含む。
例１２４は、例１２２から１２３のいずれか一項の主題を含み、外的センサは、１または複数の接続センサに存在しないセンサを含む。
例１２５は、例１２２－１２４のいずれか一項の主題を含み、命令は更に、接続センサによって生成されたデータを使用して、第１車両の車室における１または複数の乗員の識別情報を決定することを機械に行わせるために実行可能である。
例１２６は、例１２５の主題を含み、命令は更に、識別情報に基づいて、乗員のうち１または複数のプリファレンスを決定することであって、レコメンドは、プリファレンスに少なくとも部分的に基づいて決定される、ことを機械に行わせるために実行可能である。
例１２７は、例１２２－１２６のいずれか一項の主題を含み、レコメンドは、小売店、レストランのうち１つのレコメンドを含む。
例１２８は、例１２２から１２７のいずれか一項の主題を含み、レコメンドは、第１車両について決定された経路を変更するためのレコメンドを含む。
例１２９は、例１２８の主題を含み、第１車両は自律運転ロジックを含み、レコメンドは、自律運転ロジックに経路に変更を適用させる。
例１３０は、自律車両の少なくとも１つのデータプロセッサを使用して、自律車両上の少なくとも１つの特定のセンサのオペレーションが損なわれていると決定する段階と、無線通信チャネルを通じて、自律車両においてレコメンドデータを受信する段階であって、レコメンドデータは、自律車両にとって外的である１または複数のセンサによって生成されたセンサデータに基づく、段階と、レコメンドデータを使用して、少なくとも１つのセンサのオペレーションが損なわれているという決定に基づいて、自律車両の自律運転をサポートする段階とを備える方法である。
例１３１は、例１３０の主題を含み、レコメンドデータはセンサデータを含む。
例１３２は、例１３０または１３１のいずれか一項の主題を含み、自律車両のセンサのセットを使用して、ローカルセンサデータを生成する段階であって、特定のセンサはセンサのセットの外部にあり、レコメンドデータは、自律車両の自律運転をサポートするためにローカルセンサデータと共に使用される、段階を更に備える。
例１３３は、例１３０から１３２のいずれか一項の主題を含み、自律車両上の特定のセンサの場所を決定する段階と、レコメンドデータが自律車両の外部の位置に対応すると識別する段階であって、特定のセンサは、特定のセンサの場所に基づく位置に対応する情報を感知し、レコメンドデータは、特定のセンサを通じて取得される情報を少なくとも部分的に置換するための情報を提供する段階とを更に備える。
例１３４は、例１３０から１３３のいずれか一項の主題を含み、特定のセンサを失うことは、自律車両によってサポートされる自律性の最大レベルを特定のレベルからの別のより低いレベルに低下させ、レコメンドデータの使用は、自律車両が特定のレベルにオペレーションを維持することを可能にする。
例１３５は、例１３０から１３４のいずれか一項の主題を含み、自律車両上のセンサの１または複数が行程中に損なわれる可能性を予測するために、機械学習モデルを自律車両における入力に適用する段階と、可能性に基づいてレコメンダシステムを構成する段階とを更に備える。
例１３６は、例１３５の主題を含み、可能性に基づいてレコメンダシステムを構成する段階は、特定のセンサが損なわれていることを検出する前に、レコメンドデータの受信および処理を開始するために、レコメンダシステムのオペレーションを先制的にトリガする段階を含む。
例１３７は、例１３０から１３６のいずれか一項の主題を含み、特定のセンサは、自律運転をサポートするための入力として使用するための一群のセンサデータを生成するための自律車両上の組のセンサのうちの１つであり、方法は更に、特定のセンサが損なわれている結果として欠けている一群のセンサデータの一部に対応するレコメンドデータの一部を保持するためにレコメンドデータをフィルタリングする段階を備える。
例１３８は、例１３０から１３７のいずれか一項の主題を含み、１または複数の外的センサは、複数の他のデバイス上のセンサを含む。
例１３９は、例１３８の主題を含み、複数の他のデバイスは、他の自律車両、航空ドローン、および路肩センサのうち１または複数を含む。
例１４０は、例１３０から１３９のいずれか一項の主題を含み、自律車両についての走行計画を生成する段階であって、レコメンドデータは、走行計画に基づく道路の今後の区間に関する条件を記述する、段階を更に備える。
例１４１は、例１３０から１４０のいずれか一項の方法を実行するための手段を備えるシステムである。
例１４２は、例１４１の主題を含み、手段は、命令を格納するためのコンピュータ可読媒体を含み、命令は、機械によって実行されるとき、例１３０から１４０のいずれか一項の方法の少なくとも一部を機械に実行させる。
例１４３は、命令を格納した非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、自律車両の少なくとも１つのデータプロセッサを使用して、自律車両上の少なくとも１つの特定のセンサのオペレーションが損なわれていると決定すること、無線通信チャネルを通じて、自律車両においてレコメンドデータを受信することであって、レコメンドデータは、自律車両にとって外的である１または複数のセンサによって生成されたセンサデータに基づく、こと、レコメンドデータを使用して、少なくとも１つのセンサのオペレーションが損なわれているという決定に基づいて、自律車両の自律運転をサポートすることを機械に行わせる。
例１４４は、例１４３の主題を含み、レコメンドデータはセンサデータを 含む。
例１４５は、例１４３から１４４のいずれか一項の主題を含み、命令は更に、自律車両のセンサのセットを使用してローカルセンサデータを生成することを機械に行わせるために実行可能であり、特定のセンサは、センサのセットの外部にあり、レコメンドデータは、自律車両の自律運転をサポートするためにローカルセンサデータと共に使用される。
例１４６は、例１４３から１４５のいずれか一項の主題を含み、命令は更に、自律車両上の特定のセンサの場所を決定すること、および、レコメンドデータが自律車両の外部の位置に対応すると識別することであって、特定のセンサは、特定のセンサの場所に基づく位置に対応する情報を感知し、レコメンドデータは、特定のセンサを通じて取得される情報を少なくとも部分的に置換するための情報を提供することを機械に行わせるために実行可能である。
例１４７は、例１４３から１４６のいずれか一項の主題を含み、特定のセンサを失うことは、自律車両によってサポートされる自律性の最大レベルを特定のレベルからの別のより低いレベルに低下させ、レコメンドデータの使用は、自律車両が特定のレベルにオペレーションを維持することを可能にする。
例１４８は、例１４３から１４７のいずれか一項の主題を含み、命令は更に、自律車両上のセンサの１または複数が行程中に損なわれる可能性を予測するために、機械学習モデルを自律車両における入力に適用すること、および、可能性に基づいてレコメンダシステムを構成することを機械に行わせるために実行可能である。
例１４９は、例１４８の主題を含み、可能性に基づいてレコメンダシステムを構成する段階は、特定のセンサが損なわれていることを検出する前に、レコメンドデータの受信および処理を開始するために、レコメンダシステムのオペレーションを先制的にトリガする段階を含む。
例１５０は、例１４３から１４９のいずれか一項の主題を含み、特定のセンサは、自律運転をサポートするための入力として使用するための一群のセンサデータを生成するための自律車両上の組のセンサのうちの１つであり、記憶媒体は更に、特定のセンサが損なわれている結果として欠けている一群のセンサデータの一部に対応するレコメンドデータの一部を保持するためにレコメンドデータをフィルタリングすることを備える。
例１５１は、例１４３から１５０のいずれか一項の主題を含み、１または複数の外的センサは、複数の他のデバイス上のセンサを含む。
例１５２は、例１５１の主題を含み、複数の他のデバイスは、他の自律車両、航空ドローン、および路肩センサのうち１または複数を含む。
例１５３は、例１４３から１５２のいずれか一項の主題を含み、命令は更に、自律車両についての走行計画を生成することを機械に行わせるために実行可能であり、レコメンドデータは、走行計画に基づいて道路の今後の区間に関する条件を記述する。
例１５４は、車両上の１または複数のセンサのセットから、自律車両においてセンサデータを生成する段階と、自律車両が動作する環境の条件をセンサデータから決定する段階と、少なくとも１つの機械学習モデルへの入力として条件を提供することによって、自律車両で生成されるセンサデータを管理するための１または複数のプロシージャを自律的に決定する段階と、１または複数のプロシージャを車両におけるセンサデータの一群の少なくとも１つに適用し、車両の外部の１または複数のコンピューティングシステムにセンサデータをオフロードする段階とを備える方法である。
例１５５は、例１５４の主題を含み、１または複数のプロシージャは、センサデータの少なくとも一部を車両の外部の１または複数のコンピューティングシステムにオフロードするためのプロシージャを含む。
例１５６は、例１５５の主題を含み、条件は、車両が利用可能な無線通信チャネルの条件を含む。
例１５７は、例１５５から１５６のいずれか一項の主題を含み、条件は、データの一部の量、および、データの一部の緊急性を含む。
例１５８は、例１５５から１５７のいずれか一項の主題を含み、データの一部をオフロードするためのプロシージャは、特定の分解能でデータの一部を送信することを含む。
例１５９は、例１５５から１５８のいずれか一項の主題を含み、データの一部をオフロードするためのプロシージャは、特定の目標外部コンピューティングシステムへデータを送信することを含む。
例１６０は、例１５５から１５９のいずれか一項の主題を含み、車両の外部の１または複数のコンピューティングシステムは、他の車両、路肩ユニット、フォグベースのコンピューティングシステム、およびクラウドベースのコンピューティングシステムのうち１または複数を含む。
例１６１は、例１５４から１６０のいずれか一項の主題を含み、１または複数のプロシージャは、車両で生成されたセンサデータをフィルタリングして、車両内のデータレポジトリにおいて収集されるようにするためのプロシージャを含む。
例１６２は、例１６１の主題を含み、センサデータをフィルタするためのプロシージャは、センサデータのフィルタリングされた部分をドロップさせる。
例１６３は、例１５４から１６２のいずれか一項の主題を含み、更に、１または複数の自律運転機械学習モデルを使用して、車両についての経路計画を決定する段階であって、センサデータの少なくともいくつかは、入力として自律運転機械学習モデルに提供される、段階を備える。
例１６４は、例１６３の主題を含み、条件は、決定された経路計画におけるルート区間に影響するものとして検出されたイベントを含む。
例１６５は、例１６３から１６４のいずれか一項の主題を含み、条件は、決定された経路計画に関する運転環境の識別を含み、運転環境は、経路計画に影響する天気、経路計画の影響する交通状態、および、経路計画に影響する道路条件のうち１または複数を含む。
例１６６は、例１５４から１６５のいずれか一項の主題を含み、１または複数のプロシージャは、車両で実装された機械学習ベースのレコメンダシステムのレコメンドとして提供される。
例１６７は、例１５４から１６６のいずれか一項の主題を含み、１または複数のプロシージャは、車両の内部計算リソース、車両の内部メモリリソース、ネットワーク帯域幅、および、外部コンピューティングシステムのリソースのうち１または複数の車両の使用の効率性を強化するためのものである。
例１６８は、例１５４から１６７のいずれか一項の主題を含み、条件に基づいてセンサのセットのうち１または複数の品質レベルを調整することを更に含む。
例１６９は、例１５４から１６８のいずれか一項の方法を実行するための手段を備えるシステムである。
例１７０は、例１６の主題を含み、手段は、命令を格納するためのコンピュータ可読媒体を含み、命令は、機械によって実行されるとき、例１５４から１６８のいずれか一項の方法の少なくとも一部を機械に実行させる。
例１７１は、命令を格納した非一時的機械可読記憶媒体であり、命令が機械によって実行されるとき、車両上の１または複数のセンサのセットから、自律車両においてセンサデータを生成すること、自律車両が動作する環境の条件をセンサデータから決定すること、少なくとも１つの機械学習モデルへの入力として条件を提供することによって、自律車両で生成されるセンサデータを管理するための１または複数のプロシージャを自律的に決定すること、ならびに、１または複数のプロシージャを車両におけるセンサデータの一群の少なくとも１つに適用し、車両の外部の１または複数のコンピューティングシステムにセンサデータをオフロードすることを機械に行わせる。
例１７２は、例１７１の主題を含み、１または複数のプロシージャは、センサデータの少なくとも一部を車両の外部の１または複数のコンピューティングシステムにオフロードするためのプロシージャを含む。
例１７３は、例１７２の主題を含み、条件は、車両が利用可能な無線通信チャネルの条件を含む。
例１７４は、例１７２から１７３のいずれか一項の主題を含み、条件は、データの一部の量、および、データの一部の緊急性を含む。
例１７５は、例１７２から１７４のいずれか一項の主題を含み、データの一部をオフロードするためのプロシージャは、特定の分解能でデータの一部を送信することを含む。
例１７６は、例１７２から１７５のいずれか一項の主題を含み、データの一部をオフロードするためのプロシージャは、特定の目標外部コンピューティングシステムへデータを送信することを含む。
例１７７は、例１７２から１７６のいずれか一項の主題を含み、車両の外部の１または複数のコンピューティングシステムは、他の車両、路肩ユニット、フォグベースのコンピューティングシステム、およびクラウドベースのコンピューティングシステムのうち１または複数を含む。
例１７８は、例１７１から１７７のいずれか一項の主題を含み、１または複数のプロシージャは、車両で生成されたセンサデータをフィルタリングして、車両内のデータレポジトリにおいて収集されるようにする ためのプロシージャを含む。
例１７９は、例１７８の主題を含み、センサデータをフィルタするためのプロシージャは、センサデータのフィルタリングされた部分をドロップさせる。
例１８０は、例１７１から１７９のいずれか一項の主題を含み、命令は更に、１または複数の自律運転機械学習モデルを使用して車両についての経路計画を決定することを機械に行わせるために実行可能であり、センサデータの少なくともいくつかは、入力として自律運転機械学習モデルに提供される。
例１８１は、例１８０の主題を含み、条件は、決定された経路計画におけるルート区間に影響するものとして検出されたイベントを含む。
例１８２は、例１８０から１８１のいずれか一項の主題を含み、条件は、決定された経路計画に関する運転環境の識別を含み、運転環境は、経路計画に影響する天気、経路計画の影響する交通状態、および、経路計画に影響する道路条件のうち１または複数を含む。
例１８３は、例１７１から１８２のいずれか一項の主題を含み、１または複数のプロシージャは、車両で実装された機械学習ベースのレコメンダシステムのレコメンドとして提供される。
例１８４は、例１７１から１８３のいずれか一項の主題を含み、１または複数のプロシージャは、車両の内部計算リソース、車両の内部メモリリソース、ネットワーク帯域幅、および、外部コンピューティングシステムのリソースのうち１または複数の車両の使用の効率性を強化するためのものである。
例１８５は、例１７１から１８４のいずれか一項の主題を含み、命令は更に、条件に基づいてセンサのセットうち１または複数の品質レベルを調整することを機械に行わせるために実行可能である。
例１８６は、車両上のセンサのセットからセンサデータを生成する段階と、車両の経路計画を決定する段階と、１または複数の機械学習モデルおよびセンサデータに基づいて、経路計画に従って車両の運転を自律的に制御する段階と、車両の自律制御を中止するべきであると決定する段階と、ハンドオフ要求をリモートコンピューティングシステムへ送信する段階であって、リモートコンピューティングシステムは、リモートバレットサービスを提供する、段階と、リモートコンピューティングシステムから運転命令データを受信する段階と、命令データに含まれる命令に応答して、車両の自動運転を再開する段階とを備える方法。
例１８７は、例１８６の主題を含み、運転命令データは、リモートコンピューティングシステムにおいて人間のユーザの入力に基づいて生成される。
例１８８は、例１８６から１８７のいずれか一項の主題を含み、停車イベントを検出する段階であって、車両は、停車イベントに関連して停車して運転を中止し、ハンドオフ要求は停車イベントに応答して送信される、段階を更に備える。
例１８９は、例１８６から１８８のいずれか一項の主題を含み、車両の自律制御が中止するべきであると決定する段階は、特定の機械学習モデルを使用して、経路計画の今後の区間に関する条件が、今後の区間中に自律運転に対して困難性を提示する段階を予測する段階を含む。
例１９０は、例１８６から１８９のいずれか一項の主題を含み、自律制御は、車両上の１または複数の損なわれたセンサの検出に基づいて中止すべきであると決定される。
例１９１は、例１８６－１９０のいずれか一項の主題を含み、更に、車両内に適格な乗員が存在しないと決定する段階であって、ハンドオフ要求は、適格な乗員が存在しないという決定に少なくとも部分的に基づいて送信される、段階を備える。
例１９２は、例１８６から１９１のいずれか一項の主題を含み、更に、車両の周囲の動的表現をリモートコンピューティングシステムのユーザに提示するために、センサデータをリモートコンピューティングシステムへ送信する段階を備える。
例１９３は、例１９２の主題を含み、センサデータはビデオデータを含む。
例１９４は、例１９２から１９３のいずれか一項の主題を含み、センサデータは送信され、運転命令データは、１または複数の低遅延、高優先度の通信チャネルを介して受信される。
例１９５は、例１８６から１９４のいずれか一項の主題を含み、更に、車両の制御がリモートバレットサービスにハンドオーバされると識別するために、車両の乗員による消費のためのアラートを提示する段階を備える。
例１９６は、例１８６から１９５のいずれか一項の主題を含み、更に、経路計画に沿った条件の変化を検出する段階と、車両の運転の制御をリモートバレットサービスから車両の自律運転ロジックに戻す段階とを備える。
例１９７は、例１８６から１９６のいずれか一項の方法を実行するための手段を備えるシステムである。
例１９８は、例１９７の主題を含み、手段は、命令を格納するためのコンピュータ可読媒体を含み、命令は、機械によって実行されるとき、例１８６から１９６のいずれか一項の方法の少なくとも一部を機械に実行させる。
例１９９は、コンピューティング端末デバイスにおいて人間のユーザにユーザインタフェースを提供する段階と、自律的に運転するよう構成される車両からハンドオフ要求を受信する段階と、車両の周囲の環境を記述するセンサデータをリモートセンサデバイスから受信する段階と、センサデータに基づいて、ユーザインタフェース上に環境の表現を提示する段階と、表現に応答して、コンピューティング端末デバイスにおいてユーザ入力を受信する段階であって、ユーザ入力は、環境内の車両の運転を指示するための入力を含む、段階と、ユーザ入力に従って、車両をリモートに運転するために、ユーザ入力に対応する車両へ命令データを送信する段階とを備える方法である。
例２００は、例１９９の主題を含み、ハンドオフ要求は、車両の場所を識別する。
例２０１は、例２００の主題を含み、更に、場所に対応するセンサデバイスを決定する段階であって、センサデバイスは、車両の外部にある、段階と、センサデバイスから補完センサデータにアクセスする段階であって、表現は、補完センサデータに少なくとも部分的に基づいて提示される、段階を備える。
例２０２は、例１９９から２０１のいずれか一項の主題を含み、センサデバイスは、車両上のセンサデバイスを含む。
例２０３は、例１９９から２０２のいずれか一項の主題を含み、センサデバイスは、車両とは別個のセンサデバイスを含む。
例２０４は、例１９９から２０３のいずれか一項の主題を含み、更に、車両の運転の制御を車両に戻すための要求を車両から受信する段階と、制御を戻す確認を車両へ送信する段階と、車両へ命令データを伝送することを中止する段階とを備える。
例２０５は、例１９９から２０３のいずれか一項の主題を含み、リモートバレットサービスによる車両の制御中にユーザ入力に基づいて、環境および車両の性能を記述するレポートデータを生成する段階と、レポートデータをクラウドベースシステムへ送信する段階とを更に備える。
例２０６は、例１９９から２０５のいずれか一項の方法を実行するための手段を備えるシステムである。
例２０７は、例２０６の主題を含み、手段は、命令を格納するためのコンピュータ可読媒体を含み、命令は、機械によって実行されるとき、例１９９から２０５のいずれか一項の方法の少なくとも一部を機械に実行させる。
例２０８は、命令を格納した非一時的機械可読記憶媒体であり、命令は、機械によって実行されるとき、車両上のセンサのセットからセンサデータを生成すること、車両の経路計画を決定すること、１または複数の機械学習モデルおよびセンサデータに基づいて、経路計画に従って車両の運転を自律的に制御すること、車両の自律制御を中止するべきであると決定すること、ハンドオフ要求をリモートコンピューティングシステムへ送信することであって、リモートコンピューティングシステムは、リモートバレットサービスを提供する、こと、リモートコンピューティングシステムから運転命令データを受信すること、命令データに含まれる命令に応答して、車両の自動運転を再開することを機械に行わせる。
例２０９は、例２０８の主題を含み、運転命令データは、リモートコンピューティングシステムにおいて人間のユーザの入力に基づいて生成される。
例２１０は、例２０８から２０９のいずれか一項の主題を含み、命令は更に、停車イベントを検出することを機械に行わせるために実行可能であり、車両は、停車イベントに関連して停車して運転を中止し、ハンドオフ要求は停車イベントに応答して送信される。
例２１１は、例２０８から２０９のいずれか一項の主題を含み、車両の自律制御が中止するべきであると決定する段階は、特定の機械学習モデルを使用して、経路計画の今後の区間に関する条件が、今後の区間中に自律運転に対して困難性を提示する段階を予測する段階を含む。
例２１２は、例２０８から２１１のいずれか一項の主題を含み、自律制御は、車両上の１または複数の損なわれたセンサの検出に基づいて中止すべきであると決定される。
例２１３は、例２０８から２１２のいずれか一項の主題を含み、命令は更に、車両上に適格な乗員が現在しないと決定することを機械に行わせるために実行可能であり、ハンドオフ要求は、適格な乗員が存在しないという決定に少なくとも部分的に基づいて送信される。
例２１４は、例２０８から２１３のいずれか一項の主題を含み、命令は更に、リモートコンピューティングシステムのユーザに車両の周囲の動的表現を提示するために、センサデータをリモートコンピューティングシステムへ送信することを機械に行わせるために実行可能である。
例２１５は、例２１４の主題を含み、センサデータはビデオデータを含む。
例２１６は、例２１４から２１５のいずれか一項の主題を含み、センサデータは送信され、運転命令データは、１または複数の低遅延、高優先度の通信チャネルを介して受信される。
例２１７は、例２０８から２１６のいずれか一項の主題を含み、命令は更に、車両の制御がリモートバレットサービスにハンドオーバされることを識別するために車両の乗員によって消費されるアラートを現在することを機械に行わせるために実行可能である。
例２１８は、例２０８から２１７のいずれか一項の主題を含み、命令は更に、経路計画に沿った条件の変化を検出すること、車両の運転の制御をリモートバレットサービスから車両の自律運転ロジックに戻すことを機械に行わせるために実行可能である。
例２１９は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、コンピューティング端末デバイスにおいて人間のユーザにユーザインタフェースを提供すること、自律的に運転するよう構成される車両からハンドオフ要求を受信すること、車両の周囲の環境を記述するセンサデータをリモートセンサデバイスから受信すること、センサデータに基づいて、ユーザインタフェース上に環境の表現を提示すること、表現に応答して、コンピューティング端末デバイスにおいてユーザ入力を受信することであって、ユーザ入力は、環境内の車両の運転を指示するための入力を含む、こと、ユーザ入力に従って、車両をリモートに運転するために、ユーザ入力に対応する車両へ命令データを送信することを機械に行わせる。
例２２０は、例２１９の主題を含み、ハンドオフ要求は、車両の場所を識別する。
例２２１は、例２２０の主題を含み、命令は更に、場所に対応するセンサデバイスを決定することであって、センサデバイスは、車両の外部にある、こと、および、センサデバイスから補完センサデータにアクセスすることであって、表現は、補完センサデータに少なくとも部分的に基づいて提示される、ことを機械に行わせるために実行可能である。
例２２２は、例２１９から２２１のいずれか一項の主題を含み、センサデバイスは、車両上のセンサデバイスを含む。
例２２３は、例２１９から２２２のいずれか一項の主題を含み、センサデバイスは、車両とは別個のセンサデバイスを含む。
例２２４は、例２１９から２２３のいずれか一項の主題を含み、命令は更に、車両の運転の制御を車両に戻すための要求を車両から受信すること、制御を戻す確認を車両へ送信すること、車両へ命令データを伝送することを中止することを機械に行わせるために実行可能である。
例２２５は、例２１９から２２４のいずれか一項の主題を含み、命令は更に、リモートバレットサービスによる車両の制御中にユーザ入力に基づいて、環境および車両の性能を記述するレポートデータを生成すること、ならびに、レポートデータをクラウドベースシステムへ送信することを機械に行わせるために実行可能である。
例２２６は、車両上のセンサのセットからセンサデータを生成する段階と、車両についての経路計画を決定する段階と、１または複数の機械学習モデルおよびセンサデータに基づいて、経路計画に従って、車両の運転を自律的に制御する段階と、経路計画の今後の一部に関する条件を識別する段階と、条件に基づいて車両の運転の制御をリモートバレットサービスへハンドオフする機会を決定する段階と、機会に基づいて、ハンドオフ要求をリモートコンピューティングシステムへ送信する段階であって、リモートコンピューティングシステムは、リモートバレットサービスを提供する段階と、リモートコンピューティングシステムから運転命令データを受信する段階と、命令データに含まれる命令に応答して車両の運転を自動化する段階とを備える方法である。
例２２７は、例２２６の主題を含み、ハンドオフおよびハンドオフに対応する条件を識別するレポートデータを別のコンピューティングシステムへ送信する段階を更に備える。
例２２８は、例２２７の主題を含み、レポートデータはクラウドベースのアプリケーションへ送信される。
例２２９は、例２２７から２２８のいずれか一項の主題を含み、レポートデータは路肩ユニットへ送信される。
例２３０は、例２２６から２２９のいずれか一項の主題を含み、条件は、別のコンピューティングシステムから受信されたデータを識別する。
例２３１は、例２３０の主題を含み、条件は、機械学習モデルの適用を通じて識別され、他のシステムからのデータは、機械学習モデルへの入力として提供される。
例２３２は、例２３１の主題を含み、機械学習モデルは、リモートバレットサービスへのハンドオフまたは停車イベントのいずれかの他のインスタンスをレポートするデータに基づいて訓練される。
例２３３は、例２２６から２３２のいずれか一項の主題を含み、ハンドオフ要求は、停車イベントを回避するために送信される。
例２３４は、例２２６から２３３のいずれか一項の主題を含み、機会は、車両の自律運転機能の性能が条件に関して不十分であるという予測に対応する。
例２３５は、例２２６から２３４のいずれか一項の主題を含み、機会は、センサデータに含まれる情報に少なくとも部分的に基づいて決定される。
例２３６は、例２２６から２３５のいずれか一項の主題を含み、追加のデータにアクセスする段階と、追加のデータに基づいて、今後の経路に従う経路計画の別の一部に関する条件の改善を予測する段階と、予測される条件の改善に基づいて、制御を車両に返すことを要求するために要求データをリモートコンピューティングシステムへ送信する段階と、車両の運転の自律的制御を再開する段階とを更に備える。
例２３７は、例２２６から２３６のいずれか一項の主題を含み、制御をハンドオフする機会を決定することは、停車イベントを検出することを含む。
例２３８は、例２３７の主題を含み、停車イベントに関連付けられたセンサデータから条件を決定する段階と、条件を記述するデータをリモートコンピューティングシステムにアップロードする段階とを更に備える。
例２３９は、例２２６から２３８のいずれか一項の方法を実行するための手段を備えるシステムである。
例２４０は、例２３９の主題を含み、手段は、命令を格納するためのコンピュータ可読媒体を含み、命令は、機械によって実行されるとき、例２２６から２３８のいずれか一項の方法の少なくとも一部を機械に実行させる。
例２４１は、命令を格納する非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、車両上のセンサのセットからセンサデータを生成すること、車両についての経路計画を決定すること、１または複数の機械学習モデルおよびセンサデータに基づいて、経路計画に従って、車両の運転を自律的に制御すること、経路計画の今後の一部に関する条件を識別すること、条件に基づいて車両の運転の制御をリモートバレットサービスへハンドオフする機会を決定すること、機会に基づいて、ハンドオフ要求をリモートコンピューティングシステムへ送信することであって、リモートコンピューティングシステムは、リモートバレットサービスを提供すること、リモートコンピューティングシステムから運転命令データを受信すること、ならびに、命令データに含まれる命令に応答して車両の運転を自動化することを機械に行わせる。
例２４２は、例２４１の主題を含み、命令は更に、ハンドオフおよびハンドオフに対応する条件を識別するレポートデータを別のコンピューティングシステムへ送信することを機械に行わせるために実行可能である。
例２４３は、例２４２の主題を含み、レポートデータはクラウドベースのアプリケーションへ送信される。
例２４４は、例２４２から２４３のいずれか一項の主題を含み、レポートデータは路肩ユニットへ送信される。
例２４５は、例２４１から２４４のいずれか一項の主題を含み、条件は、別のコンピューティングシステムから受信されたデータから識別される。
例２４６は、例２４５の主題を含み、条件は、機械学習モデルの適用を通じて識別され、他のシステムからのデータは、機械学習モデルへの入力として提供される。
例２４７は、例２４６の主題を含み、機械学習モデルは、リモートバレットサービスへのハンドオフまたは停車イベントのいずれかの他のインスタンスをレポートするデータに基づいて訓練される。
例２４８は、例２４１から２４７のいずれか一項の主題を含み、ハンドオフ要求は、停車イベントを回避するために送信される。
例２４９は、例２４１から２４８のいずれか一項の主題を含み、機会は、車両の自律運転機能の性能が条件に関して不十分であるという予測に対応する。
例２５０は、例２４１から２４９のいずれか一項の主題を含み、機会は、センサデータに含まれる情報に少なくとも部分的に基づいて決定される。
例２５１は、例２４１から２５０のいずれか一項の主題を含み、命令は更に、追加のデータにアクセスすること、追加のデータに基づいて、今後の経路に従う経路計画の別の一部に関する条件の改善を予測すること、予測される条件の改善に基づいて、制御を車両に返すことを要求するために要求データをリモートコンピューティングシステムへ送信すること、ならびに、車両の運転の自律的制御を再開することを機械に行わせるために実行可能である。
例２５２は、例２４１から２５１のいずれか一項の主題を含み、制御をハンドオフする機会を決定することは、停車イベントを検出することを含む。
例２５３は、例２５２の主題を含み、命令は更に、停車イベントに関連付けられたセンサデータから条件を決定すること、および、条件を記述するデータをリモートコンピューティングシステムにアップロードすることを機械に行わせるために実行可能である。
例２５４は、自律車両に結合された複数のセンサからのセンサデータに基づいて生成される環境モデルを受信する段階と、環境モデルにおける情報に基づいて、自律車両以外の車両の１または複数の挙動のバリエーションを決定する段階と、環境モデルにおける情報に基づいて、自律車両以外の車両の１または複数の挙動と、自律車両によって実行される同じ１または複数の挙動との間の逸脱を決定する段階と、決定されたバリエーションおよび逸脱に基づいて、自律車両についての挙動モデルに対する１または複数の制約を決定する段階と、１または複数の制約を挙動モデルに適用して、自律車両のオペレーションを制御する段階とを備える方法である。
例２５５は、例２５４の主題を含み、環境モデルおよび自律車両についての地理的位置情報に基づいてシナリオを構築する段階と、自律車両の挙動モデルについての社会規範プロファイルにおけるシナリオに制約を関連付ける段階とを更に備える。
例２５６は、例２５５の主題を含み、シナリオは、自律車両の近くの車両の数、自律車両の近くの１または複数の車両の各々の速度、時刻、および天候条件情報のうち１または複数に基づく。
例２５７は、例２５４から２５６のいずれか一項の主題を含み、バリエーションを決定することは、観察された挙動が自律車両についての挙動モデルの現在のパラメータ内にあるかどうかを決定することを含む。
例２５８は、例２５７の主題を含み、バリエーションは、周囲の車両の観察結果からの現在の挙動モデルへのユークリッド距離に基づく。
例２５９は、例２５４から２５６のいずれか一項の主題を含み、逸脱の決定は、挙動の逸脱が、自律車両についての挙動モデルの現在のパラメータ内にあるかどうかを決定することを含む。
例２６０は、例２５９の主題を含み、逸脱は、挙動の制限として作用する負のフィードバックの違反（ｔｒａｎｓｇｒｅｓｓｉｏｎｓ）に基づく。
例２６１は、例２５４から２６０のいずれか一項の主題を含み、バリエーションおよび逸脱は、動的な障害物に関連付けられた環境モデルにおける情報に基づく。
例２６２は、メモリと、例２５４から２６１の方法のうち１または複数を実行するためにメモリに結合された処理回路とを備える装置である。
例２６３は、例２５４から２６１の方法のうち１または複数を実行するための手段を備えるシステムである。
例２６４は、少なくとも１つのコンピュータプロセッサによって実行されるとき、少なくとも１つのコンピュータプロセッサが例２５４から２６１の方法のオペレーションを実装することを可能にするように動作可能であるコンピュータ実行可能命令を含む１または複数の有形コンピュータ可読非一時的記憶媒体を備える製品である。
例２６５は、命令を格納した非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、自律車両に結合された複数のセンサからのセンサデータに基づいて生成される環境モデルを受信すること、環境モデルにおける情報に基づいて、自律車両以外の車両の１または複数の挙動のバリエーションを決定すること、環境モデルにおける情報に基づいて、自律車両以外の車両の１または複数の挙動と、自律車両によって実行される同じ１または複数の挙動との間の逸脱を決定すること、決定されたバリエーションおよび逸脱に基づいて、自律車両についての挙動モデルに対する１または複数の制約を決定すること、および、１または複数の制約を挙動モデルに適用して、自律車両のオペレーションを制御することを機械に行わせる。
例２６６は、例２６５の主題を含み、命令は更に、環境モデルおよび自律車両についての地理的位置情報に基づいてシナリオを構築すること、および、自律車両の挙動モデルについての社会規範プロファイルにおけるシナリオに制約を関連付けることを機械に行わせるために実行可能である。
例２６７は、例２６６の主題を含み、シナリオは、自律車両の近くの車両の数、自律車両の近くの１または複数の車両の各々の速度、時刻、および天候条件情報のうち１または複数に基づく。
例２６８は、例２６５から２６７のいずれか一項の主題を含み、バリエーションの決定は、観察された挙動が、自律車両についての挙動モデルの現在のパラメータ内にあるかどうかを決定することを含む。
例２６９は、例２６８の主題を含み、バリエーションは、周囲の車両の観察結果からの現在の挙動モデルへのユークリッド距離に基づく。
例２７０は、例２６５から２６７のいずれか一項の主題を含み、逸脱の決定は、挙動の逸脱が、自律車両についての挙動モデルの現在のパラメータ内にあるかどうかを決定することを含む。
例２７１は、例２７０の主題を含み、逸脱は、挙動の制限として作用する負のフィードバックの違反（ｔｒａｎｓｇｒｅｓｓｉｏｎｓ）に基づく。
例２７２は、例２６５から２７１のいずれか一項の主題を含み、バリエーションおよび逸脱は、動的な障害物に関連付けられた環境モデルにおける情報に基づく。
例２７３は、第１車両上のセンサのセットからセンサデータを生成する段階と、第１車両についての経路計画を決定する段階と、１または複数の機械学習モデルおよびセンサデータに基づいて、経路計画に従って、第１車両の運転を自律的に制御する段階と、第１車両の近傍における別の第２車両を識別する信号を第１車両において受信する段階と、第２車両に関連付けられた挙動モデルを取得するために第２車両と伝達する段階であって、挙動モデルは、第２車両の運転挙動を決定するための特定の機械学習モデルを含む、段階と、挙動モデルの信用性を決定する段階と、挙動モデルを使用して第２車両のアクションを予測する段階とを備える方法である。
例２７４は、例２７３の主題を含み、第２車両は自律運転機能を含み、挙動モデルは、自律運転挙動を決定するために第２車両によって使用される機械学習モデルに対応する。
例２７５は、例２７３から２７４のいずれか一項の主題を含み、挙動モデルの信用性を決定する段階は、モデルのフォーマットを検証する段階を含む。
例２７６は、例２７３から２７５のいずれか一項の主題を含み、挙動モデルの信用性を決定する段階は、モデルの正確度を検証する段階を含む。
例２７７は、例２７６の主題を含み、挙動モデルの正確度を検証する段階は、機械学習モデルの少なくとも１つに提供される入力、および、少なくとも１つの機械学習モデルによる対応する出力を格納する段階を含み、モデルの正確度は、入力を挙動モデルに提供し、挙動モデルの出力を、少なくとも１つの機械学習モデルの出力と比較することによって検証される。
例２７８は、例２７６の主題を含み、挙動モデルの正確度を検証する段階は、観察された条件に対応する挙動モデルに入力を提供する段階と、入力に基づいて、挙動モデルから第２車両の予想される挙動を決定する段階と、観察された条件に対応する第２車両の挙動を観察する段階と、観察された挙動を予想される挙動と比較する段階とを含む。
例２７９は、例２７３から２７８のいずれか一項の主題を含み、第２車両と通信する段階は、第１車両と第２車両との間でセキュア通信セッションを確立する段階を含み、挙動モデルは、セキュア通信セッション内の通信において受信される。
例２８０は、例２７９の主題を含み、セキュア通信セッションを確立する段階は、第１車両と第２車両との間でトークンを交換する段階を含み、各トークンは、対応する車両のそれぞれの識別子、それぞれの公開鍵、および、共有される秘密値を含む。
例２８１は、例２７３から２８０のいずれか一項の主題を含み、信号は、第２車両の識別情報および位置を示すためのビーコンを含む。
例２８２は、例２７３から２８１のいずれか一項の主題を含み、第１車両と他の車両とを識別するために、信号を第１車両の近傍における他の車両にブロードキャストする段階を更に備える。
例２８３は、例２７３から２８２のいずれか一項の主題を含み、挙動モデルは第２挙動モデルを含み、第２挙動モデルは、第１挙動モデルと第２挙動モデルとの間の挙動モデルの交換において取得され、第１車両は、機械学習モデルの１または複数に基づいて、挙動モデルの交換において、第１挙動モデルを第２車両へ送信する。
例２８４は、例２７３から２８３のいずれか一項の主題を含み、第２モデルについての挙動モデルが第１車両のモデルデータベースにあるかどうかを決定する段階であって、第２モデルについての挙動モデルは、挙動モデルがまだモデルデータベースにないという決定に基づいて取得される、段階を更に備える。
例２８５は、例２７３の主題を含み、第２車両は、人間運転モード、および、人間運転モード中の第２車両における人間の運転者の挙動モデルモデル特性を含む。
例２８６は、例２７３から２８５のいずれか一項の主題を含み、挙動モデルは、第２車両についての挙動モデルのセットの１つを含み、挙動モデルのセットは、複数のシナリオ固有の挙動モデルを含む。
例２８７は、例２８６の主題を含み、センサデータに少なくとも部分的に基づいて特定のシナリオを決定する段階と、挙動モデルのセットにおける特定の挙動モデルが特定のシナリオに対応すると決定する段階であって、特定の挙動モデルは、特定の挙動モデルが特定のシナリオに対応するという決定に基づいて、第２車両のアクションを予測するために使用される、段階とを更に備える。
例２８８は、例２７３から２８７のいずれか一項の主題を含み、挙動モデルから導出された、予測されたアクションを記述するデータを、第１車両の機械学習モデルの少なくとも１つへの入力として、第２車両へ提供する段階と、入力に基づいて機械学習モデルの少なくとも１つにおいて導出される出力に基づいて第１車両を運転する段階とを更に備える。
例２８９は、例２８８の主題を含み、予測されたアクションに基づいて第１車両を運転することは、第１車両のデフォルトの運転の判断とは異なる第１車両の挙動を生じさせる。
例２９０は、例２７３から２８９のいずれか一項の方法を実行するための手段を備えるシステムである。
例２９１は、例２９０の主題を含み、手段は、命令を格納するためのコンピュータ可読媒体を含み、命令は、機械によって実行されるとき、例２７３から２８９のいずれか一項の方法の少なくとも一部を機械に実行させる。
例２９２は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、第１車両上のセンサのセットからセンサデータを生成すること、第１車両についての経路計画を決定すること、１または複数の機械学習モデルおよびセンサデータに基づいて、経路計画に従って、第１車両の運転を自律的に制御すること、第１車両の近傍における別の第２車両を識別する信号を第１車両において受信すること、第２車両に関連付けられた挙動モデルを取得するために第２車両と伝達することであって、挙動モデルは、第２車両の運転挙動を決定するための特定の機械学習モデルを含む、こと、挙動モデルの信用性を決定すること、挙動モデルを使用して第２車両のアクションを予測することを機械に行わせる。
例２９３は、例２９２の主題を含み、第２車両は、自律運転機能を含み、挙動モデルは、自律運転挙動を決定するために第２車両によって使用される機械学習モデルに対応する。
例２９４は、例２９２から２９３のいずれか一項の主題を含み、挙動モデルの信用性を決定する段階は、モデルのフォーマットを検証する段階を含む。
例２９５は、例２９２から２９４のいずれか一項の主題を含み、挙動モデルの信用性を決定する段階は、モデルの正確度を検証する段階を含む。
例２９６は、例２９５の主題を含み、挙動モデルの正確度を検証する段階は、機械学習モデルの少なくとも１つに提供された入力、および、少なくとも１つの機械学習モデルによる対応する出力を格納する段階であって、モデルの正確度は、入力を挙動モデルに提供し、挙動モデルの出力を、少なくとも１つの機械学習モデルの出力と比較することによって検証される、段階を含む。
例２９７は、例２９５の主題を含み、挙動モデルの正確度を検証する段階は、観察された条件に対応する挙動モデルに入力を提供する段階と、入力に基づいて、挙動モデルから第２車両の予想される挙動を決定する段階と、観察された条件に対応する第２車両の挙動を観察する段階と、観察された挙動を予想される挙動と比較する段階とを備える。
例２９８は、例２９２－２９７のいずれか一項の主題を含み、第２車両と通信する段階は、第１車両と第２車両との間にセキュア通信セッションを確立する段階を含み、挙動モデルは、セキュア通信セッション内で通信において受信される。
例２９９は、例２９８の主題を含み、セキュア通信セッションを確立する段階は、第１車両と第２車両との間でトークンを交換する段階を含み、各トークンは、対応する車両のそれぞれの識別子、それぞれの公開鍵、および、共有される秘密値を含む。
例３００は、例２９２から２９９のいずれか一項の主題を含み、信号は、第２車両の識別情報および位置を示すためのビーコンを含む。
例３０１は、例２９２から３００のいずれか一項の主題を含み、第１車両と他の車両とを識別するために、信号を第１車両の近傍における他の車両にブロードキャストする段階を更に備える。
例３０２は、例２９２から３０１のいずれか一項の主題を含み、挙動モデルは第２挙動モデルを含み、第２挙動モデルは、第１挙動モデルと第２挙動モデルとの間の挙動モデルの交換において取得され、第１車両は、機械学習モデルの１または複数に基づいて、挙動モデルの交換において、第１挙動モデルを第２車両へ送信する。
例３０３は、例２９２から３０２のいずれか一項の主題を含み、命令は更に、第２モデルについての挙動モデルが第１車両のモデルデータベースにあるかどうかを決定することであって、第２モデルについての挙動モデルは、挙動モデルがまだモデルデータベースにないという決定に基づいて取得される、ことを機械に行わせるために実行可能である。
例３０４は、例２９２の主題を含み、第２車両は、人間運転モード、および、人間運転モード中の第２車両における人間の運転者の挙動モデルモデル特性を含む。
例３０５は、例２９２から３０４のいずれか一項の主題を含み、挙動モデルは、第２車両についての挙動モデルのセットの１つを含み、挙動モデルのセットは、複数のシナリオ固有の挙動モデルを含む。
例３０６は、例３０５の主題を含み、命令は更に、センサデータに少なくとも部分的に基づいて特定のシナリオを決定すること、挙動モデルのセットにおける特定の挙動モデルが特定のシナリオに対応すると決定することであって、特定の挙動モデルは、特定の挙動モデルが特定のシナリオに対応するという決定に基づいて、第２車両のアクションを予測するために使用される、ことを機械に行わせるために実行可能である。
例３０７は、例２９２から３０６のいずれか一項の主題を含み、命令は更に、挙動モデルから導出された、予測されたアクションを記述するデータを、第１車両の機械学習モデルの少なくとも１つへの入力として、第２車両へ提供すること、および、入力に基づいて機械学習モデルの少なくとも１つにおいて導出される出力に基づいて第１車両を運転することを機械に行わせるために実行可能である。
例３０８は、例３０７の主題を含み、予測されたアクションに基づいて第１車両を運転することは、第１車両のデフォルトの運転の判断とは異なる第１車両の挙動を生じさせる。
例３０９は、第１の複数の車両との第１コンセンサスネゴシエーションに参加する段階であって、第１の複数の車両の少なくとも一部の挙動モデルが第１コンセンサスネゴシエーションにおいて交換され、第１コンセンサスネゴシエーションに参加することは、交換された挙動モデルの各々を受信すること、および、第１コンセンサスネゴシエーションにおける挙動モデルの各々の有効性を決定することを含む、段階と、第２の複数の車両との第２コンセンサスネゴシエーションに参加する段階であって、第２の複数の車両の少なくとも一部の挙動モデルが、第２コンセンサスネゴシエーションにおいて交換され、第２コンセンサスネゴシエーションに参加することは、交換された挙動モデルの各々を受信すること、および、第２コンセンサスネゴシエーションにおける挙動モデルの各々の有効性を決定することを含む、段階と、第１および第２コンセンサスネゴシエーションからコンセンサス挙動モデルを生成する段階とを備える方法である。
例３１０は、例３０９の主題を含み、コンセンサス挙動モデルを第３の複数の車両に配布する段階を更に備える。
例３１１は、例３１０の主題を含み、コンセンサス挙動モデルは、第３のコンセンサスネゴシエーションにおいて配布される。
例３１２は、例３０９から３１１のいずれか一区の主題を含み、第１および第２コンセンサスネゴシエーションは、ビザンチンフォールトトレランスコンセンサスアルゴリズムに基づく。
例３１３は、例３０９から３１２のいずれか一項の主題を含み、挙動モデルは、ニューラルネットワークベースのモデルを含む。
例３１４は、例３０９から３１３のいずれか一項の主題を含み、第１または第２の複数の車両の少なくとも１つは、人間の運転者を有する非自律車両を含む。
例３１５は、例３１４の主題を含み、非自律車両に対応する挙動モデルを決定する段階を更に備える。
例３１６は、例３１５の主題を含み、１または複数の非自律車両の複数の挙動を観察するために、１または複数のローカルセンサにおいてセンサデータを生成する段階であって、非自律車両に対応する挙動モデルはセンサデータに基づく、段階を更に備える。
例３１７は、例３１６の主題を含み、非自律車両に対応する挙動モデルは更に、コンセンサス挙動モデルに基づく。
例３１８は、例３０９から３１７のいずれか一項の主題を含み、方法は、特定の道路区間に対応する静止コンピューティングノードを使用して実行され、静止コンピューティングノードは、特定の道路区間の近傍に配置される。
例３１９は、例３１８の主題を含み、コンセンサス挙動モデルは、特定の道路区間上の理想的な運転挙動を記述することを試みる。
例３２０は、例３０９から３１９のいずれか一項の方法を実行するための手段を備えるシステムである。
例３２１は、例３２０の主題を含み、手段は、命令を格納するためのコンピュータ可読媒体を含み、命令は、機械によって実行されるとき、例３０９から３１９のいずれか一項の方法の少なくとも一部を機械に実行させる。
例３２２は、命令を格納した非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、第１の複数の車両との第１コンセンサスネゴシエーションに参加することであって、第１の複数の車両の少なくとも一部の挙動モデルが第１コンセンサスネゴシエーションにおいて交換され、第１コンセンサスネゴシエーションに参加することは、交換された挙動モデルの各々を受信すること、および、第１コンセンサスネゴシエーションにおける挙動モデルの各々の有効性を決定することを含む、こと、第２の複数の車両との第２コンセンサスネゴシエーションに参加することであって、第２の複数の車両の少なくとも一部の挙動モデルが、第２コンセンサスネゴシエーションにおいて交換され、第２コンセンサスネゴシエーションに参加することは、交換された挙動モデルの各々を受信すること、および、第２コンセンサスネゴシエーションにおける挙動モデルの各々の有効性を決定することを含む、こと、ならびに、第１および第２コンセンサスネゴシエーションからコンセンサス挙動モデルを生成することを機械に行わせる。
例３２３は、例３２２の主題を含み、命令は更に、コンセンサス挙動モデルを第３の複数の車両に配布することを機械に行わせるために実行可能である。
例３２４は、例３２３の主題を含み、コンセンサス挙動モデルは、第３のコンセンサスネゴシエーションに配布される。
例３２５は、例３２２から３２４のいずれか一項の主題を含み、第１および第２コンセンサスネゴシエーションは、ビザンチンフォールトトレランスコンセンサスアルゴリズムに基づく。
例３２６は、例３２２から３２５のいずれか一項の主題を含み、挙動モデルはニューラルネットワークベースのモデルを含む。
例３２７は、例３２２から３２６のいずれか一項の主題を含み、第１または第２の複数の車両の少なくとも１つは、人間の運転者を有する非自律車両を含む。
例３２８は、例３２７の主題を含み、命令は更に、非自律車両に対応する挙動モデルを決定することを機械に行わせるために実行可能である。
例３２９は、例３２８の主題を含み、命令は更に、１または複数の非自律車両の複数の挙動を観察するために、１または複数のローカルセンサにおいてセンサデータを生成することであって、非自律車両に対応する挙動モデルはセンサデータに基づく、ことを機械に行わせるために実行可能である。
例３３０は、例３２９の主題を含み、非自律車両に対応する挙動モデルは更に、コンセンサス挙動モデルに基づく。
例３３１は、例３２２から３３０のいずれか一項の主題を含み、記憶媒体は、特定の道路区間に対応する静止コンピューティングノードを使用して実行される場合、静止コンピューティングノードは、特定の道路区間の近傍に配置される。
例３３２は、例３３１の主題を含み、コンセンサス挙動モデルは、特定の道路区間上の理想的な運転挙動を記述することを試みる。
例３３は、ＨＤマップデータをサーバから受信する段階と、センサデータを、自律車両に結合されたセンサデバイスから受信する段階と、センサデータの一群に関連付けられた情報に基づいてセンサデータについての信頼度スコアを算出する段階と、センサデータが取得されたときの自律車両の場所に対応するＨＤマップにおけるセンサデータおよび情報の比較に基づいてデルタ値を算出する段階と、信頼度スコアおよびデルタ値に基づいて、ＨＤマップの更新のために、センサデータをサーバに公開するかどうかを決定する段階とを備える方法である。
例３３４は、例３３３の主題を含み、信頼度スコアが第１閾値より上である、および、デルタ値が第２閾値より上であるという決定に応答して、センサデータをサーバに公開する段階を更に備える。
例３３５は、例３３３の主題を含み、センサデータの一群に関連付けられた情報は、データ収集の時間の天気データ、センサデバイス構成情報、センサデバイスオペレーション情報、ローカルセンサ実証データ、またはセンサデバイス認証ステータス情報のうち１または複数を含む。
例３３６は、例３３３から３３５のいずれか一項の主題を含み、疑似匿名性デジタル証明書を用いてセンサデータを署名する段階を更に備える。
例３３７は、例３３６の主題を含み、疑似匿名性デジタル証明書は、Ｖ２Ｘプロトコルに基づく。
例３３８は、例３３３から３３７の方法のうち１または複数を実行するための手段を備えるシステムである。
例３３９は、少なくとも１つのコンピュータプロセッサによって実行されるとき、少なくとも１つのコンピュータプロセッサが例３３３から３３７の方法のオペレーションを実装することを可能にするように動作可能であるコンピュータ実行可能命令を含む１または複数の有形コンピュータ可読非一時的記憶媒体を備える製品である。
例３４０は、自律車両からセンサデータを受信する段階であって、センサデータは、センサデータの信頼レベルを示す信頼度スコアを含む、段階と、自律車両に関連付けられた信用スコアに少なくとも部分的に基づいて、自律車両が信用されるかどうかを決定する段階であって、信用スコアは、信頼度スコア、および、以前に自律車両から受信されたセンサデータについての１または複数の他の信頼度スコアに少なくとも部分的に基づく、段階と、自律車両が信用されるという決定に応答して、センサデータを使用してＨＤマップを更新する段階とを備える方法である。
例３４１は、例３４０の主題を含み、信頼度スコアが閾値より上かどうかを決定する段階であって、ＨＤマップの更新は更に、信頼度スコアが閾値より上であることに応答する、段階を更に備える。
例３４２は、例３４０の主題を含み、信用スコアは更に、センサデータが、疑似匿名性デジタル証明書を使用して自律車両によって署名されるかどうかに基づく。
例３４３は、例３４０の主題を含み、自律車両が信用されるかどうかを決定する段階は、更に、自律車両がブラックリストに登録されているかどうかに基づく。
例３４４は、例３４０の主題を含み、自律車両が信用されるかどうかを決定する段階は更に、センサデータと、自律車両の近くの他の自律車両からのセンサデータとの相関に基づく。
例３４５は、例３４０の主題を含み、信頼度スコアに基づいて、自律車両についての信用スコアを更新する段階を更に備える。
例３４６は、例３４５の主題を含み、信用スコアを更新する段階は、信頼度スコアが第１閾値より上であることに応答して、信用スコアをインクリメントする段階、および、信頼度スコアが第２閾値より下であることに応答して、信用スコアをデクリメントする段階のうち１または複数を含む。
例３４７は、例３４０から３４６の方法のうち１または複数を実行するための手段を備えるシステムである。
例３４８は、少なくとも１つのコンピュータプロセッサによって実行されるとき、少なくとも１つのコンピュータプロセッサが例３４０から３４６の方法のオペレーションを実装することを可能にするように動作可能であるコンピュータ実行可能命令を含む１または複数の有形コンピュータ可読非一時的記憶媒体を備える製品である。
例３４９は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、ＨＤマップデータをサーバから受信すること、センサデータを、自律車両に結合されたセンサデバイスから受信すること、センサデータの一群に関連付けられた情報に基づいてセンサデータについての信頼度スコアを算出すること、センサデータが取得されたときの自律車両の場所に対応するＨＤマップにおけるセンサデータおよび情報の比較に基づいてデルタ値を算出すること、信頼度スコアおよびデルタ値に基づいて、ＨＤマップの更新のために、センサデータをサーバに公開するかどうかを決定することを機械に行わせる。
例３５０は、例３４９の主題を含み、命令は更に、信頼度スコアが第１閾値より上である、および、デルタ値が第２閾値より上であるという決定に応答して、センサデータをサーバに公開することを機械に行わせるために実行可能である。
例３５１は、例３４９の主題を含み、センサデータの一群に関連付けられた情報は、データ収集の時間の天気データ、センサデバイス構成情報、センサデバイスオペレーション情報、ローカルセンサ実証データ、またはセンサデバイス認証ステータス情報のうち１または複数を含む。
例３５２は、例３４９から３５１のいずれか一項の主題を含み、命令は更に、疑似匿名性デジタル証明書を用いてセンサデータを署名することを機械に行わせるために実行可能である。
例３５３は、例３５２の主題を含み、疑似匿名性デジタル証明書は、Ｖ２Ｘプロトコルに基づく。
例３５４は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、自律車両からセンサデータを受信することであって、センサデータは、センサデータの信頼レベルを示す信頼度スコアを含む、こと、自律車両に関連付けられた信用スコアに少なくとも部分的に基づいて、自律車両が信用されるかどうかを決定することであって、信用スコアは、信頼度スコア、および、以前に自律車両から受信されたセンサデータについての１または複数の他の信頼度スコアに少なくとも部分的に基づく、こと、ならびに、自律車両が信用されるという決定に応答して、センサデータを使用してＨＤマップを更新することを機械に行わせる。
例３５５は、例３５４の主題を含み、命令は更に、信頼度スコアが閾値より上であるかどうかを決定することを機械に行わせるために実行可能であり、ＨＤマップの更新は更に、信頼度スコアが閾値より上であることに応答する。
例３５６は、例３５４の主題を含み、信用スコアは更に、センサデータが、疑似匿名性デジタル証明書を使用して自律車両によって署名されるかどうかに基づく。
例３５７は、例３５４の主題を含み、自律車両が信用されるかどうかを決定することは更に、自律車両がブラックリストに登録されているかどうかに基づく。
例３５８は、例３５４の主題を含み、自律車両が信用されるかどうかを決定する段階は更に、センサデータと、自律車両の近くの他の自律車両からのセンサデータとの相関に基づく。
例３５９は、例３５４の主題を含み、命令は更に、信頼度スコアに基づいて、自律車両の信用スコアを更新することを機械に行わせるために実行可能である。
例３６０は、例３５９の主題を含み、信用スコアを更新する段階は、信頼度スコアが第１閾値より上であることに応答して、信用スコアをインクリメントする段階、および、信頼度スコアが第２閾値より下であることに応答して、信用スコアをデクリメントする段階のうち１または複数を含む。
例３６１は、自律車両からセンサデータを受信する段階と、センサデータから地理位置情報を取得する段階であって、地理位置情報は、自律車両の場所を示す、段階と、少なくとも地理位置情報に基づいてセンサデータについての適合性スコアを算出する段階と、適合性スコアを閾値と比較する段階と、適合性スコアが閾値より上であることに応答して、センサデータをデータベースに格納する段階とを備える方法である。
例３６２は、例３６１の主題を含み、方法は更に、地理位置情報に基づいて場所スコアを算出する段階を備え、適合性スコアを算出することは、場所スコア、および、センサデータに関連付けられた１または複数の他のスコアに基づく。
例３６３は、例３６２の主題を含み、場所スコアを算出する段階は、地理位置情報に関連付けられたヒートマップにアクセスする段階であって、ヒートマップは、複数の場所で収集されたセンサデータの量を示す、段階と、地理位置情報によって示される場所に関連付けられたヒートマップから値を取得する段階と、場所スコアを算出するためにヒートマップからの値を使用する段階とを含む。
例３６４は、例３６２から３６３のいずれか一項の主題を含み、適合性スコアは、場所スコア、および、センサデータに関連付けられた１または複数の他のスコアの加重和である。
例３６５は、例３６２から３６４のいずれか一項の主題を含み、場所スコアは、地理位置情報、および、環境情報の１または複数の追加カテゴリの加重和であり、環境情報の各カテゴリは、自律車両の場所の条件を示す。
例３６６は、例３６５の主題を含み、環境情報の１または複数の追加カテゴリは、自律車両の高度を示す高度情報、自律車両の外部の温度を示す温度情報、自律車両の近くの天候条件を示す天気情報、および、自律車両が横断するエリアの特徴を示す地勢情報のうち１または複数を含む。
例３６７は、例３６５の主題を含み、場所スコアを算出する段階は、環境情報の１または複数の追加カテゴリの各々について、追加カテゴリに関連付けられたヒートマップにアクセスする段階であって、ヒートマップは、複数の場所で収集されたセンサデータの量を示す、段階と、地理位置情報によって示される場所に関連付けられたヒートマップからの値を取得する段階と、取得された値を使用して場所スコアを算出する段階とを備える。
例３６８は、例３６２から３６７のいずれか一項の主題を含み、１または複数の他のスコアは、センサデータのノイズスコア、および、センサデータについてのオブジェクト多様性スコアのうち１または複数を含む。
例３６９は、例３６１から３６８のいずれか一項の主題を含み、センサデータから地理位置情報を取得する段階は、センサデータにおける地理的座標情報を取得する段階、および、センサデータのメタデータを分析して地理位置情報を取得する段階のうち１または複数を含む。
例３７０は、例３６１から３６９のいずれか一項の主題を含み、適合性スコアに基づいて、自律車両に関連付けられた車両依存性スコアを算出する段階を更に備える。
例２７１は、例３６１から３７０の方法のうち１または複数を実行するための手段を備えるシステムである。
例３７２は、少なくとも１つのコンピュータプロセッサによって実行されるとき、少なくとも１つのコンピュータプロセッサが例３６１から３７０の方法のオペレーションを実装することを可能にするように動作可能であるコンピュータ実行可能命令を含む１または複数の有形コンピュータ可読非一時的記憶媒体を備える製品である。
例３７３は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、自律車両からセンサデータを受信すること、センサデータから地理位置情報を取得することであって、地理位置情報は、自律車両の場所を示す、こと、少なくとも地理位置情報に基づいて、センサデータについての適合性スコアを算出すること、適合性スコアを閾値と比較すること、および、適合性スコアが閾値より上であることに応答して、センサデータをデータベースに格納することを機械に行わせる。
例３７４は、例３７３の主題を含み、記憶媒体は更に、地理位置情報に基づいて場所スコアを算出する段階を備え、適合性スコアを算出することは、場所スコア、および、センサデータに関連付けられた１または複数の他のスコアに基づく。
例３７５は、例３７４の主題を含み、場所スコアを算出する段階は、地理位置情報に関連付けられたヒートマップにアクセスする段階であって、ヒートマップは、複数の場所で収集されたセンサデータの量を示す、段階と、地理位置情報によって示される場所に関連付けられたヒートマップから値を取得する段階と、場所スコアを算出するためにヒートマップからの値を使用する段階とを含む。
例３７６は、例３７４から３７５のいずれか一項の主題を含み、適合性スコアは、場所スコア、および、センサデータに関連付けられた１または複数の他のスコアの加重和である。
例３７７は、例３７４から３７６のいずれか一項の主題を含み、場所スコアは、地理位置情報、および、環境情報の１または複数の追加カテゴリの加重和であり、環境情報の各カテゴリは、自律車両の場所の条件を示す。
例３７８は、例３７７の主題を含み、環境情報の１または複数の追加カテゴリは、自律車両の高度を示す高度情報、自律車両の外部の温度を示す温度情報、自律車両の近くの天候条件を示す天気情報、および、自律車両が横断するエリアの特徴を示す地勢情報のうち１または複数を含む。
例３７９は、例３７８の主題を含み、場所スコアを算出する段階は、環境情報の１または複数の追加カテゴリの各々について、追加カテゴリに関連付けられたヒートマップにアクセスする段階であって、ヒートマップは、複数の場所で収集されたセンサデータの量を示す、段階と、地理位置情報によって示される場所に関連付けられたヒートマップからの値を取得する段階と、取得された値を使用して場所スコアを算出する段階とを備える。
例３８０は、例３７４から３７９のいずれか一項の主題を含み、１または複数の他のスコアは、センサデータのノイズスコア、および、センサデータについてのオブジェクト多様性スコアのうち１または複数を含む。
例３８１は、例３７３から３８０のいずれか一項の主題を含み、センサデータから地理位置情報を取得する段階は、センサデータにおける地理的座標情報を取得する段階、および、センサデータのメタデータを分析して地理位置情報を取得する段階のうち１または複数を含む。
例３８２は、例３７３から３８１のいずれか一項の主題を含み、命令は更に、適合性スコアに基づいて、自律車両に関連付けられた車両依存性スコアを算出することを機械に行わせるために実行可能である。
例３８３は、自律車両に結合された複数のセンサからセンサデータを受信する段階と、センサデータに基づいて、自律車両以外の特定の車両によって実行される不規則挙動を検出する段階と、特定の車両についての識別子を生成する段階と、閾値数より多くの回数だけ不規則挙動が特定の車両によって実行されることの検出に応答して、自律車両の動的挙動ポリシーを開始する段階とを備える方法である。
例３８４は、例３８３の主題を含み、特定の車両によって実行される不規則挙動を検出する段階は、特定の車両によって実行される、観察された挙動を、自律車両の安全性モデルと比較する段階と、比較に基づいて、観察された挙動が自律車両の安全性モデルに違反すると決定する段階とを含む。
例３８５は、例３８３の主題を含み、特定の車両によって実行される不規則挙動を検出する段階は、特定の車両によって実行される、観察された挙動を、他の車両によって実行される、観察された挙動と比較する段階と、比較に基づいて、特定の車両によって実行される、観察された挙動が、他の車両によって実行される、観察された挙動から逸脱していると決定する段階とを含む。
例３８６は、例３８３の主題を含み、特定の車両によって実行される不規則挙動を検出する段階は、特定の車両によって実行される、観察された挙動を、他の車両によって実行される、観察された挙動と比較する段階と、比較に基づいて、他の車両によって実行される、観察された挙動が、特定の車両によって実行される、観察された挙動に反応して実行されると決定する段階とを含む。
例３８７は、例３８３から３８６のいずれか一項の主題を含み、不規則挙動の検出は、センサデータにおける音声および視覚的コンテクスチュアル情報に基づく。
例３８８は、例３８３から３８７のいずれか一項の主題を含み、特定の車両についての識別子を生成する段階は、特定の車両のそれぞれの特徴についての値を取得する段階と、値の組み合わせに暗号を適用して識別子を取得する段階とを含む。
例３８９は、例３８８の主題を含み、値は、他の車両を認識するために自律車両によって使用される深層学習モデルから代表的特徴を抽出することによって取得される。
例３９０は、例３８３から３８９のいずれか一項の主題を含み、他の車両によって不規則挙動の検出の頻度を追跡することを更に含む。
例３９１は、例３８３から３９０の方法のうち１または複数を実行するための手段を備えるシステムである。
例３９２は、少なくとも１つのコンピュータプロセッサによって実行されるとき、少なくとも１つのコンピュータプロセッサが例３８３から３９０の方法のうち１または複数のオペレーションを実装することを可能にするように動作可能であるコンピュータ実行可能命令を含む１または複数の有形コンピュータ可読非一時的記憶媒体を備える製品である。
例３９３は、複数の自律車両から不規則挙動追跡データを受信する段階であって、不規則挙動追跡データは、車両識別子を含むエントリを含み、関連付けられた不規則挙動は、車両識別子に関連付けられた車両によって実行されるものとして観察され、コンテキストデータは、自律車両によって不規則挙動が検出されたコンテキストを示す、段階と、１または複数の車両によって実行された不規則挙動の１または複数のシーケンスを識別する段階と、識別されたシーケンスおよび不規則挙動追跡データに基づいてコンテクスチュアル挙動パターンを識別する段階と、識別されたコンテクスチュアル挙動パターンに基づいて、１または複数の自律車両についての挙動ポリシーを修正する段階とを備える方法である。
例３９４は、例３９３の主題を含み、コンテクスチュアル挙動パターンを識別する段階は、識別されたシーケンスを示す第１セットのノードおよびコンテキストデータを示す第２セットのノードを含むコンテクスチュアルグラフを生成する段階であって、コンテクスチュアルグラフのエッジは、ノード間の関連の頻度を示す、段階と、コンテクスチュアルグラフを使用してコンテクスチュアル挙動パターンを識別する段階とを含む。
例３９５は、例３９３の主題を含み、１または複数の自律車両についての挙動ポリシーを修正する段階は、１または複数の自律車両が、識別されたコンテクスチュアル挙動パターンと関連付けられた特定のコンテキスト内にあると検出することに基づく。
例３９６は、例３９３から３９５のいずれか一項の主題を含み、コンテキストデータは、不規則挙動を実行する車両についての軌跡情報、不規則挙動を実行する車両についての車両属性、不規則挙動を実行する車両についての運転者属性、不規則挙動を実行する車両の地理的場所、不規則挙動を実行する車両の周囲の天候条件、および、不規則挙動を実行する車両の周囲の交通状態を示す交通情報のうち１または複数を含む。
例３９７は、例３９３から３９６のいずれか一項の主題を含み、不規則挙動の１または複数のシーケンスは、最長共通部分列（ＬＣＳ）に基づいて識別される。
例３９８は、例３９３から３９６の方法のうち１または複数を実行するための手段を備えるシステムである。
例３９９は、少なくとも１つのコンピュータプロセッサによって実行されるとき、少なくとも１つのコンピュータプロセッサが例３９３から３９６の方法のうち１または複数のオペレーションを実装することを可能にするように動作可能であるコンピュータ実行可能命令を含む１または複数の有形コンピュータ可読非一時的記憶媒体を備える製品である。
例４００は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、自律車両に結合された複数のセンサからセンサデータを受信すること、センサデータに基づいて、自律車両以外の特定の車両によって実行される不規則挙動を検出すること、特定の車両についての識別子を生成すること、および、閾値数より多くの回数だけ不規則挙動が特定の車両によって実行されることの検出に応答して、自律車両の動的挙動ポリシーを開始することを機械に行わせる。
例４０１は、例４００の主題を含み、特定の車両によって実行される不規則挙動を検出する段階は、特定の車両によって実行される、観察された挙動を、自律車両の安全性モデルと比較する段階と、比較に基づいて、観察された挙動が自律車両の安全性モデルに違反すると決定する段階とを含む。
例４０２は、例４００の主題を含み、特定の車両によって実行される不規則挙動を検出する段階は、特定の車両によって実行される、観察された挙動を、他の車両によって実行される、観察された挙動と比較する段階と、比較に基づいて、特定の車両によって実行される、観察された挙動が、他の車両によって実行される、観察された挙動から逸脱していると決定する段階とを含む。
例４０３は、例４００の主題を含み、特定の車両によって実行される不規則挙動を検出する段階は、特定の車両によって実行される、観察された挙動を、他の車両によって実行される、観察された挙動と比較する段階と、比較に基づいて、他の車両によって実行される、観察された挙動が、特定の車両によって実行される、観察された挙動に反応して実行されると決定する段階とを含む。
例４０４は、例４００から４０３のいずれか一項の主題を含み、不規則挙動の検出は、センサデータにおける音声および視覚的コンテクスチュアル情報に基づく。
例４０５は、例４００から４０４のいずれか一項の主題を含み、特定の車両についての識別子を生成する段階は、特定の車両のそれぞれの特徴についての値を取得する段階と、値の組み合わせに暗号を適用して識別子を取得する段階とを含む。
例４０６は、例４０５の主題を含み、値は、他の車両を認識するために自律車両によって使用される深層学習モデルから代表的特徴を抽出することによって取得される。
例４０７は、例４００から４０６のいずれか一項の主題を含み、他の車両によって不規則挙動の検出の頻度を追跡することを更に含む。
例４０８は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、複数の自律車両から不規則挙動追跡データを受信することであって、不規則挙動追跡データは、車両識別子を含むエントリを含み、関連付けられた不規則挙動は、車両識別子に関連付けられた車両によって実行されるものとして観察され、コンテキストデータは、自律車両によって不規則挙動が検出されたコンテキストを示す、こと、１または複数の車両によって実行された不規則挙動の１または複数のシーケンスを識別すること、識別されたシーケンスおよび不規則挙動追跡データに基づいてコンテクスチュアル挙動パターンを識別すること、識別されたコンテクスチュアル挙動パターンに基づいて、１または複数の自律車両についての挙動ポリシーを修正することを機械に行わせる。
例４０９は、例４０８の主題を含み、コンテクスチュアル挙動パターンを識別することは、識別されたシーケンスを示す第１セットのノードおよびコンテキストデータを示す第２セットのノードを含むコンテクスチュアルグラフを生成することであって、コンテクスチュアルグラフのエッジは、ノード間の関連の頻度を示す、こと、ならびに、コンテクスチュアルグラフを使用してコンテクスチュアル挙動パターンを識別することを含む。
例４１０は、例４０８の主題を含み、１または複数の自律車両についての挙動ポリシーを修正することは、１または複数の自律車両が、識別されたコンテクスチュアル挙動パターンと関連付けられた特定のコンテキスト内にあると検出することに基づく。
例４１１は、例４０８から４１０のいずれか一項の主題を含み、コンテキストデータは、不規則挙動を実行する車両についての軌跡情報、不規則挙動を実行する車両についての車両属性、不規則挙動を実行する車両についての運転者属性、不規則挙動を実行する車両の地理的場所、不規則挙動を実行する車両の周囲の天候条件、および、不規則挙動を実行する車両の周囲の交通状態を示す交通情報のうち１または複数を含む。
例４１２は、例４０８から４１１のいずれか一項の主題を含み、不規則挙動の１または複数のシーケンスは、最長共通部分列（ＬＣＳ）に基づいて識別される。
例４１３は、車両についての動きの第１の変更の分類を車両挙動モデルから受信する段階と、車両の動きの第１の変更が所与の時間間隔中に発生する可能性の予測を回帰モデルから受信する段階と、車両挙動モデルからの分類を回帰モデルからの予測と比較する段階と、比較に少なくとも部分的に基づいて、車両についての動きの第１の変更が障害であると決定する段階と、車両についての動きの第１の変更が障害であるという決定に基づいて、車両についての動きの第１の変更に影響を及ぼすために第１制御信号を送信する段階とを備える方法である。
例４１４は、例４１３の主題を含み、車両についての動きの第１の変更を示す第１制御イベントを車両挙動モデルにおいて受信する段階と、第１制御イベント、および、車両における１または複数のセンサからのデータに少なくとも部分的に基づいて、動きの第１の変更の分類を生成する段階とを更に備える。
例４１５は、例４１３の主題を含み、第１制御イベントを回帰モデルにおいて受信する段階と、現在の条件を示す１または複数の変数を取得する段階と、第１制御イベント、および、現在の条件を示す１または複数の変数の少なくとも一部に基づいて予測を生成する段階とを更に備える。
例４１６は、例４１５の主題を含み、現在の条件は、少なくとも１つの環境条件を含む。
例４１７は、例４１５から４１６のいずれか一項の主題を含み、現在の条件は、少なくとも１つの車両条件を含む。
例４１８は、例４１５から４１７のいずれか一項の主題を含み、１または複数の変数のうち少なくとも１つは、１または複数のリモートソースから取得される。
例４１９は、例４１４から４１８のいずれか一項の主題を含み、第１制御イベントは、ブレーキアクチュエータ、ステアリングアクチュエータ、またはスロットルアクチュエータに関連付けられる。
例４２０は、例４１３から４１９のいずれかの主題を含み、車両挙動モデルは隠れマルコフモデル（ＨＭＭ）アルゴリズムである。
例４２１は、例４１３から４２０のいずれか一項の主題を含み、回帰モデルは、期待値最大化（ＥＭ）アルゴリズムである。
例４２２は、例４１３から４２１のいずれか一項の主題を含み、障害は、車両のコンピューティングシステムに対する悪意ある攻撃、または、車両のコンピューティングシステムにおける故障のうちの１つである。
例４２３は、例４１３から４２２の方法のうち１または複数を実行するための手段を備えるシステムである。
例４２４は、命令を含む機械可読媒体であり、命令は実行されるとき、例４１３－４２２のうちのいずれか１つにおける例としての装置を実現する、または、方法を実装する。
例４２５は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、車両についての動きの第１の変更の分類を車両挙動モデルから受信すること、車両の動きの第１の変更が所与の時間間隔中に発生する可能性の予測を回帰モデルから受信すること、車両挙動モデルからの分類を回帰モデルからの予測と比較すること、比較に少なくとも部分的に基づいて、車両についての動きの第１の変更が障害であると決定すること、車両についての動きの第１の変更が障害であるという決定に基づいて、車両についての動きの第１の変更に影響を及ぼすために第１制御信号を送信することを機械に行わせる。
例４２６は、例４２５の主題を含み、命令は更に、車両についての動きの第１の変更を示す第１制御イベントを車両挙動モデルにおいて受信すること、第１制御イベント、および、車両における１または複数のセンサからのデータに少なくとも部分的に基づいて、動きの第１の変更の分類を生成することを機械に行わせるために実行可能である。
例４２７は、例４２５の主題を含み、命令は更に、第１制御イベントを回帰モデルにおいて受信すること、現在の条件を示す１または複数の変数を取得すること、第１制御イベント、および、現在の条件を示す１または複数の変数の少なくとも一部に基づいて予測を生成することを機械に行わせるために実行可能である。
例４２８は、例４２７の主題を含み、現在の条件は、少なくとも１つの環境条件を含む。
例４２９は、例４２７から４２８のいずれか一項の主題を含み、現在の条件は、少なくとも１つの車両の条件を含む。
例４３０は、例４２７から４２９のいずれか一項の主題を含み、１または複数の変数の少なくとも１つは、１または複数のリモートソースから取得される。
例４３１は、例４２６から４３０のいずれか一項の主題を含み、第１制御イベントは、ブレーキアクチュエータ、ステアリングアクチュエータ、またはスロットルアクチュエータに関連付けられる。
例４３２は、例４２５から４３１のいずれか一項の主題を含み、車両挙動モデルは、隠れマルコフモデル（ＨＭＭ）アルゴリズムである。
例４３３は、例４２５から４３２のいずれか一項の主題を含み、回帰モデルは、期待値最大化（ＥＭ）アルゴリズムである。
例４３４は、例４２５から４３３のいずれか一項の主題を含み、障害は、車両のコンピューティングシステムに対する悪意ある攻撃、または、車両のコンピューティングシステムにおける故障のうちの１つである。
例４３５は、車両の１または複数のセンサによってキャプチャされたデータから１または複数のオブジェクトのインスタンスを識別する段階と、インスタンスを複数のカテゴリに対してチェックし、インスタンスの複数のカテゴリのうちの少なくとも１つのカテゴリを割り当てることによってインスタンスのカテゴリ化を実行する段階と、インスタンスのカテゴリ化に基づいてスコアを決定する段階と、スコアに少なくとも部分的に基づいて、インスタンスについてのデータ処理ポリシーを選択する段階と、決定されたデータ処理ポリシーに基づいてインスタンスを処理する段階とを備える方法である。
例４３６は、例４３５の主題を含み、複数のカテゴリのうちのカテゴリは、１または複数のオブジェクトの検出の頻度を示すカテゴリである。
例４３７は、例４３６の主題を含み、検出の頻度は、インスタンスの１または複数の基礎のセンサデータストリームのキャプチャに関連付けられた特定のコンテキスト内の１または複数のオブジェクトの検出の頻度を示す。
例４３８は、例４３５から４３７のいずれかの主題を含み、複数のカテゴリのうちのカテゴリは、インスタンスの複数の検出されたオブジェクトのうちの多様性のレベルを示すカテゴリである。
例４３９は、例４３５から４３８のいずれかの主題を含み、複数のカテゴリのうちのカテゴリは、インスタンスについての１または複数の基礎のデータストリームのノイズレベルを示すカテゴリである。
例４４０は、例４３５から４３９のいずれかの主題を含み、更に以下を含む。
インスタンスのカテゴリ化、および、１または複数のセンサによってキャプチャされたデータのコンテキストに基づいてスコアを決定する。
例４４１は、例４３５から４４０のいずれかの主題を含み、選択されたデータ処理ポリシーは、インスタンス、および、インスタンスについての１または複数の基礎のセンサデータストリームを削除することである。
例４４２は、例４３５から４４０のいずれかの主題を含み、選択されたデータ処理ポリシーは、インスタンス、および、事例についての１または複数の基礎のセンサデータストリームを、オブジェクト検出モデルの訓練において使用するために保存することである。
例４４３は、例４３５から４４０のいずれかの主題を含み、選択されたデータ処理ポリシーは、インスタンスの検出されたイメージと同じタイプのオブジェクトである少なくとも１つのイメージを含む合成データを生成することであり、合成データは、オブジェクト検出モデルの訓練において使用される。
例４４４は、例４３５から４４３のいずれかの主題を含み、更に、カテゴリ化結果を機械学習訓練モデルに提供する段階と、車両によって検出されたオブジェクトのカテゴリ化において使用するために、機械学習訓練モデルのパラメータを車両のコンピューティングシステムに提供する段階とを備える。
例４４５は、例４３５から４４４の方法のうち１または複数を実行するためのコンピューティングシステムを備える車両である。
例４４６は、例４３５から４４４の方法のうちの１または複数を実行するための手段を備えるシステムである。
例４４７は、命令を含む機械可読媒体であり、命令は実行されるとき、例４３５－４４４のうちのいずれか１つにおける例としての装置を実現する、または、方法を実装する。
例４４８は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、車両の１または複数のセンサによってキャプチャされたデータから１または複数のオブジェクトのインスタンスを識別すること、インスタンスを複数のカテゴリに対してチェックし、インスタンスの複数のカテゴリのうちの少なくとも１つのカテゴリを割り当てることによってインスタンスのカテゴリ化を実行すること、インスタンスのカテゴリ化に基づいてスコアを決定すること、スコアに少なくとも部分的に基づいて、インスタンスについてのデータ処理ポリシーを選択すること、決定されたデータ処理ポリシーに基づいてインスタンスを処理することを機械に行わせる。
例４４９は、例４４８の主題を含み、複数のカテゴリのうちのカテゴリは、１または複数のオブジェクトの検出の頻度を示すカテゴリである。
例４５０は、例４４９の主題を含み、検出の頻度は、インスタンスの１または複数の基礎のセンサデータストリームのキャプチャに関連付けられた特定のコンテキスト内の１または複数のオブジェクトの検出の頻度を示す。
例４５１は、例４４８から４５０のいずれかの主題を含み、複数のカテゴリのうちのカテゴリは、インスタンスの複数の検出されたオブジェクトのうちの多様性のレベルを示すカテゴリである。
例４５２は、例４４８から４５１のいずれかの主題を含み、複数のカテゴリのうちのカテゴリは、インスタンスについての１または複数の基礎のデータストリームのノイズレベルを示すカテゴリである。
例４５３は、例４４８から４５２のいずれかの主題を含み、命令は更に、インスタンスのカテゴリ化、および、１または複数のセンサによってキャプチャされたデータのコンテキストに基づいてスコアを決定することを機械に行わせるために実行可能である。
例４５４は、例４４８から４５３のいずれかの主題を含み、選択されたデータ処理ポリシーは、インスタンス、および、インスタンスについての１または複数の基礎のセンサデータストリームを削除することである。
例４５５は、例４４８から４５４のいずれかの主題を含み、選択されたデータ処理ポリシーは、インスタンス、および、事例についての１または複数の基礎のセンサデータストリームを、オブジェクト検出モデルの訓練において使用するために保存することである。
例４５６は、例４４８から４５４のいずれかの主題を含み、選択されたデータ処理ポリシーは、インスタンスの検出されたイメージと同じタイプのオブジェクトである少なくとも１つのイメージを含む合成データを生成することであり、合成データは、オブジェクト検出モデルの訓練において使用される。
例４５７は、例４４８から４５６のいずれかの主題を含み、命令は更に、カテゴリ化結果を機械学習訓練モデルに提供すること、および、車両によって検出されたオブジェクトのカテゴリ化において使用するために、機械学習訓練モデルのパラメータを車両のコンピューティングシステムに提供することを機械に行わせるために実行可能である。
例４５８は、車両の１または複数のセンサからキャプチャされたセンサデータと関連付けられたコンテキストを識別する段階であって、コンテキストは複数のテキストキーワードを含む、段階と、コンテキストについての追加の画像データが望ましいと決定する段階と、コンテキストの複数のテキストキーワードを合成イメージ生成器に提供する段階であって、合成イメージ生成器は、コンテキストの複数のテキストキーワードに基づいて複数のイメージを生成するためのものである、段階とを備える方法である。
例４５９は、例４５８の主題を含み、合成イメージ生成器は敵対的生成ネットワークである。
例４６０は、例４５８から４５９のいずれかの主題を含み、コンテキストについての追加の画像データが望ましいと決定する段階は、コンテキストに関連付けられた利用可能なセンサデータの量を示すコンテキストの一般性のレベルを決定する段階を含む。
例４６１は、例４５８から４６０のいずれかの主題を含み、コンテキストについての追加の画像データが望ましいと決定する段階は、データベースからの結果を分析して、識別されたコンテキストが現実であるかどうかを決定する段階を含む。
例４６２は、例４６１の主題を含み、データベースは、様々な内部データソースから取得されたデータのコンパイルを含む。
例４６３は、例４６１から４６２のいずれかの主題を含み、データベースは、様々な内部データソースから取得されたイメージデータから抽出された複数のテキストキーワードを含む。
例４６４は、例４５８から４６３のいずれかの主題を含み、コンテキストの一般性のレベルを決定することに応答して、コンテキストが現実かどうかを決定する段階を更に備え、コンテキストが現実かどうかを決定することは、コンテキストの一般性のレベルの決定とは独立に決定される。
例４６５は、例４５８から４６４のいずれかの主題を含み、コンテキストの複数のテキストキーワードを合成イメージ生成器に提供することは、コンテキストが低いレベルの一般性を有するが、なお現実であるという決定に応答して実行される。
例４６６は、例４５８から４６５のいずれかの主題を含み、複数のテキストキーワードは、車両の動作環境を記述する。
例４６７は、例４５８から４６６のいずれかの主題を含み、識別されたコンテキストに関連付けられたセンサデータ、および、合成イメージ生成器によって生成された複数のイメージは、車両についての１または複数のモデルの訓練において使用するためにデータセットに追加される。
例４６８は、例４５８から４６７の方法のうちの１または複数を実行するための手段を備えるシステムである。
例４６９は、命令を含む機械可読媒体であり、命令は実行されるとき、例４５８から４６７のうちのいずれか１つにおける例としての装置を実現する、または、方法を実装する。
例４７０は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、車両の１または複数のセンサからキャプチャされたセンサデータと関連付けられたコンテキストを識別することであって、コンテキストは複数のテキストキーワードを含む、こと、コンテキストについての追加の画像データが望ましいと決定すること、コンテキストの複数のテキストキーワードを合成イメージ生成器に提供することであって、合成イメージ生成器は、コンテキストの複数のテキストキーワードに基づいて複数のイメージを生成するためのものである、ことを機械に行わせる。
例４７１は、例４７０の主題を含み、合成イメージ生成器は敵対的生成ネットワークである。
例４７２は、例４７０から４７１のいずれかの主題を含み、コンテキストについての追加の画像データが望ましいと決定することは、コンテキストに関連付けられた利用可能なセンサデータの量を示すコンテキストの一般性のレベルを決定することを含む。
例４７３は、例４７０から４７２のいずれかの主題を含み、コンテキストについての追加の画像データが望ましいと決定することは、データベースからの結果を分析して、識別されたコンテキストが現実かどうかを決定することを含む。
例４７４は、例４７３の主題を含み、データベースは、様々な内部データソースから取得されたデータのコンパイルを含む。
例４７５は、例４７３から４７４のいずれかの主題を含み、データベースは、様々な内部データソースから取得されたイメージデータから抽出された複数のテキストキーワードを含む。
例４７６は、例４７０から４７５のいずれかの主題を含み、命令は実行されるとき、コンテキストの一般性のレベルを決定することに応答して、コンテキストが現実かどうかを決定することを更に機械に行わせ、コンテキストが現実かどうかを決定することは、コンテキストの一般性のレベルの決定とは独立に決定される。
例４７７は、例４７０から４７６のいずれかの主題を含み、コンテキストの複数のテキストキーワードを合成イメージ生成器に提供することは、コンテキストが低いレベルの一般性を有するが、なお現実であるという決定に応答して実行される。
例４７８は、例４７０から４７７のいずれかの主題を含み、複数のテキストキーワードは、車両の動作環境を記述する。
例４７９は、例４７０から４７８のいずれかの主題を含み、識別されたコンテキストに関連付けられたセンサデータ、および、合成イメージ生成器によって生成された複数のイメージは、車両についての１または複数のモデルの訓練において使用するためにデータセットに追加される。
例４８０は、複数のイメージサンプルまたは複数の音声サンプルを含む良性データセットにアクセスする段階であって、良性データセットのサンプルは、既知のラベルを有する、段階と、複数の敵対的サンプルを含むシミュレートされた攻撃データセットを生成する段階であって、敵対的サンプルは、良性データセットのサンプルに対して複数の異なる攻撃方法を実行することによって生成される、段階と、敵対的サンプル、既知のラベル、および複数の良性サンプルを使用して機械学習分類モデルを訓練する段階とを備える方法である。
例４８１は、例４８０の主題を含み、車両の１または複数のセンサによって検出されたサンプルの分類に使用するために、訓練された機械学習分類モデルを車両に提供する段階を更に備える。
例４８２は、例４８０から４８１のいずれかの主題を含み、複数の異なる攻撃方法は、高速勾配符号法、反復高速勾配符号法、ディープフール法、または一般敵対的摂動のうち１または複数を含む。
例４８３は、例４８０から４８２のいずれかの主題を含み、予想された攻撃比率に基づく比率に従って、複数の異なる攻撃方法を実行することによって、シミュレートされた攻撃データセットを生成する段階を更に備える。
例４８４は、例４８０から４８３のいずれかの主題を含み、シミュレートされた攻撃データセットを生成することは、複数の異なる攻撃方法のうちの少なくとも１つの攻撃方法について複数の異なる攻撃強度を利用することを含む。
例４８５は、例４８０から４８４のいずれかの主題を含み、良性サンプルと敵対的サンプルとの複数の比率についての分類正確度を測定して、訓練中に使用する良性サンプルと敵対的サンプルとの最適比率を決定する段階を更に備える。
例４８６は、例４８０から４８５のいずれかの主題を含み、敵対的サンプルの誤分類についての訓練中にペナルティを課すことを更に備える。
例４８７は、例４８０から４８６のいずれかの主題を含み、良性データセットは、一群のイメージサンプルを含む。
例４８８は、例４８０から４８６のいずれかの主題を含み、良性データセットは、一群の音声サンプルを含む。
例４８９は、例４８０から４８８の方法のうちの１または複数を実行するための手段を備えるシステムである。
例４９０は、命令を含む機械可読媒体であり、命令は実行されるとき、例４８０から４８８のうちのいずれか１つにおける例としての装置を実現する、または、方法を実装する。
例４９１は、命令を格納した非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、複数のイメージサンプルまたは複数の音声サンプルを含む良性データセットにアクセスすることであって、良性データセットのサンプルは、既知のラベルを有する、こと、複数の敵対的サンプルを含むシミュレートされた攻撃データセットを生成することであって、敵対的サンプルは、良性データセットのサンプルに対して複数の異なる攻撃記憶媒体を実行することによって生成される、こと、ならびに、敵対的サンプル、既知のラベル、および複数の良性サンプルを使用して機械学習分類モデルを訓練することを機械に行わせる。
例４９２は、例４９１の主題を含み、命令は更に、実行されるとき、車両の１または複数のセンサによって検出されたサンプルの分類に使用するために、訓練された機械学習分類モデルを車両に提供することを機械に行わせる。
例４９３は、例４９１から４９２のいずれかの主題を含み、複数の異なる攻撃記憶媒体は、高速勾配符号記憶媒体、反復高速勾配符号記憶媒体、ディープフール記憶媒体、または一般敵対的摂動のうち１または複数を含む。
例４９４は、例４９１から４９３のいずれかの主題を含み、命令は更に、実行されるとき、予想された攻撃比率に基づく比率に従って、複数の異なる攻撃記憶媒体を実行することによって、シミュレートされた攻撃データセットを生成することを機械に行わせる。
例４９５は、例４９１から４９４のいずれかの主題を含み、シミュレートされた攻撃データセットを生成することは、複数の異なる攻撃記憶媒体のうちの少なくとも１つの攻撃記憶媒体について複数の異なる攻撃強度を利用することを含む。
例４９６は、例４９１から４９５のいずれかの主題を含み、命令は更に、実行されるとき、良性サンプルと敵対的サンプルとの複数の比率についての分類正確度を測定して、訓練中に使用する良性サンプルと敵対的サンプルとの最適比率を決定することを機械に行わせる。
例４９７は、例４９１から４９６のいずれかの主題を含み、命令は更に、実行されるとき、敵対的サンプルの誤分類についての訓練中にペナルティを課すことを機械に行わせる。
例４９８は、例４９１から４９７のいずれかの主題を含み、良性データセットは、一群のイメージサンプルを含む。
例４９９は、例４９１から４９７のいずれかの主題を含み、良性データセットは、一群の音声サンプルを含む。
例５００は、線形分類器によって車両からの入力サンプルを分類する段階と、非線形分類器によって車両からの入力サンプルを分類する段階と、線形分類器の正確度の変化を検出する段階と、線形分類器の正確度の変化に応答して少なくとも１つのアクションをトリガする段階とを備える方法である。
例５０１は、例５００の主題を含み、トリガされた少なくとも１つのアクションは、線形分類器および非線形分類器の再訓練を含む。
例５０２は、例５００から５０１のいずれかの主題を含み、トリガされた少なくとも１つのアクションは、最近分類された入力サンプルに基づいて合成データを生成する段階を含む。
例５０３は、例５００から５０２のいずれかの主題を含み、トリガされた少なくとも１つのアクションは、入力サンプルに対して攻撃が行われたかどうかを決定することを含む。
例５０４は、例５００から５０３のいずれかの主題を含み、トリガされた少なくとも１つのアクションは、最近分類された入力サンプルのランダムサンプリング、線形分類器および非線形分類器の再訓練に使用されるランダムサンプリング、再訓練において使用されない最近分類された入力サンプルの他のサンプルを含む。
例５０５は、例５００から５０４のいずれかの主題を含み、線形分類器の正確度の変化を検出する段階は、線形分類器の正確度が閾値より下に下がったと検出する段階を含む。
例５０６は、例５００から５０５のいずれかの主題を含み、非線形分類器を使用して入力サンプルを分類することに少なくとも部分的に基づいてオブジェクト検出を実行する段階を更に備える。
例５０７は、例５００から５０６のいずれかの主題を含み、入力サンプルは、車両の１または複数のセンサから収集される。
例５０８は、例５００から５０７の方法の１または複数を実行するための手段を備えるシステムである。
例５０９は、命令を含む機械可読媒体であり、命令は実行されるとき、例５００から５０７のうちのいずれか１つにおける例としての装置を実現する、または、方法を実装する。
例５１０は、命令を格納した非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、線形分類器によって車両からの入力サンプルを分類すること、非線形分類器によって車両からの入力サンプルを分類すること、線形分類器の正確度の変化を検出すること、線形分類器の正確度の変化に応答して少なくとも１つのアクションをトリガすることを機械に行わせる。
例５１１は、例５１０の主題を含み、トリガされた少なくとも１つのアクションは、線形分類器および非線形分類器の再訓練を含む。
例５１２は、例５１０から５１１のいずれかの主題を含み、トリガされた少なくとも１つのアクションは、最近分類された入力サンプルに基づく合成データの生成を含む。
例５１３は、例５１０から５１２のいずれかの主題を含み、トリガされた少なくとも１つのアクションは、入力サンプルに対して攻撃が行われたかどうかを決定することを含む。
例５１４は、例５１０から５１３のいずれかの主題を含み、トリガされた少なくとも１つのアクションは、最近分類された入力サンプルのランダムサンプリング、線形分類器および非線形分類器の再訓練に使用されるランダムサンプリング、再訓練において使用されない最近分類された入力サンプルの他のサンプルを含む。
例５１５は、例５１０から５１４のいずれかの主題を含み、線形分類器の正確度の変化を検出することは、線形分類器の正確度が閾値より下に下がったと検出することを含む。
例５１６は、例５１０から５１５のいずれかの主題を含み、命令は更に、実行されるとき、非線形分類器を使用して入力サンプルを分類することに少なくとも部分的に基づいてオブジェクト検出を実行することを機械に行わせる。
例５１７は、例５１０から５１６のいずれかの主題を含み、入力サンプルは、車両の１または複数のセンサから収集される。
例５１８は、車両への人間からの入力に応答して、１または複数の制御信号の第１セットを生成する段階と、１または複数の制御信号の第１セットが許容されない加速を生じさせるという決定に応答して、許容可能な加速を識別する段階と、許容可能な加速を、１または複数の制御信号の第２セットに変換する段階と、１または複数の制御信号の第１セットの代わりに、１または複数の制御信号の第２セットを車両アクチュエーションシステムに提供する段階とを備える方法である。
例５１９は、例５１８の主題を含み、許容可能な加速値の範囲を受信する段階と、許容可能な加速値の範囲から許容可能な加速を識別する段階とを更に備える。
例５２０は、例５１９の主題を含み、許容可能な加速値の範囲は、事故回避数学モデルに従って決定される。
例５２１は、例５１９から５２０のいずれかの主題を含み、許容可能な加速値の範囲は、責任感知型安全性モデルに従って決定される。
例５２２は、例５１８から５２１のいずれかの主題を含み、１または複数の制御信号が許容されない加速を生じさせると決定することは、機械学習モデルを使用して、１または複数の制御信号を予想される加速に変換することを含む。
例５２３は、例５１８から５２２のいずれかの主題を含み、許容可能な加速を１または複数の制御信号の第２セットに変換することは、車両に関連付けられたコンテキストに基づいて許容可能な加速を変換することを含み、コンテキストは、車両の１または複数のセンサを介して受信された入力に基づいて決定される。
例５２４は、例５２３の主題を含み、車両の１または複数のセンサを介して受信される入力は、道路条件、天候条件、タイヤ条件、または道路レイアウトのうち１または複数を示す。
例５２５は、例５１８から５２４のいずれかの主題を含み、許容可能な加速を１または複数の制御信号の第２セットに変換することは、車両の重みに基づいて許容可能な加速を変換することを含む。
例５２６は、例５１８から５２５のいずれかの主題を含み、許容可能な加速の識別は、許容可能な加速の範囲から、車両の運転者によって提供されたポリシー情報に基づいて、許容可能な加速を選択することを含む。
例５２７は、例５１８から５２６のいずれかの主題を含み、車両への人間からの入力に応答して、１または複数の制御信号の第３セットを生成する段階と、１または複数の制御信号の第３セットが許容可能な加速を生じさせるという決定に応答して、１または複数の制御信号の第３セットを車両アクチュエーションシステムに変更なく提供する段階とを更に備える。
例５２８は、例５１８から５２７の方法のうちの１または複数を実行するための手段を備えるシステムである。
例５２９は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、車両への人間からの入力に応答して、１または複数の制御信号の第１セットを生成すること、１または複数の制御信号の第１セットが許容されない加速を生じさせるという決定に応答して、許容可能な加速を識別すること、許容可能な加速を、１または複数の制御信号の第２セットに変換すること、ならびに、１または複数の制御信号の第１セットの代わりに、１または複数の制御信号の第２セットを車両アクチュエーションシステムに提供することを機械に行わせる。
例５３０は、例５２９の主題を含み、命令は更に、実行されるとき、許容可能な加速値の範囲を受信すること、および、許容可能な加速値の範囲から許容可能な加速を識別することを機械に行わせる。
例５３１は、例５３０の主題を含み、許容可能な加速値の範囲は、事故回避数学モデルに従って決定される。
例５３２は、例５３０から５３１のいずれかの主題を含み、許容可能な加速値の範囲は、責任感知型安全性モデルに従って決定される。
例５３３は、例５２９から５３２のいずれかの主題を含み、１または複数の制御信号が許容されない加速を生じさせると決定することは、機械学習モデルを使用して、１または複数の制御信号を予想される加速に変換することを含む。
例５３４は、例５２９から５３３のいずれかの主題を含み、許容可能な加速を１または複数の制御信号の第２セットに変換することは、車両に関連付けられたコンテキストに基づいて許容可能な加速を変換することを含み、コンテキストは、車両の１または複数のセンサを介して受信された入力に基づいて決定される。
例５３５は、例５３４の主題を含み、車両の１または複数のセンサを介して受信される入力は、道路条件、天候条件、タイヤ条件、または道路レイアウトのうち１または複数を示す。
例５３６は、例５２９から５３５のいずれかの主題を含み、許容可能な加速を１または複数の制御信号の第２セットに変換することは、車両の重みに基づいて許容可能な加速を変換することを含む。
例５３７は、例５２９から５３６のいずれかの主題を含み、許容可能な加速の識別は、許容可能な加速の範囲から、車両の運転者によって提供されたポリシー情報に基づいて、許容可能な加速を選択することを含む。
例５３８は、例５２９から５３７のいずれかの主題を含み、命令は更に、実行されるとき、車両への人間からの入力に応答して、１または複数の制御信号の第３セットを生成すること、１または複数の制御信号の第３セットが許容可能な加速を生じさせるという決定に応答して、１または複数の制御信号の第３セットを車両アクチュエーションシステムに変更なく提供することを機械に行わせる。
例５３９は、車両のコンピューティングシステムによって、センサデータおよびセンサデータのコンテキストに基づいて信号品質メトリクスを決定する段階と、信号品質メトリクスに基づいて、車両の制御のハンドオフに関連付けられた安全性の可能性を決定する段階と、安全性の可能性に基づいて車両の制御のハンドオフを防止する、または、ハンドオフを開始する段階とを備える方法である。
例５４０は、例５３９の主題を含み、機械学習モデルを使用して、センサデータに基づいてセンサデータのコンテキストを決定する段階を更に備える。
例５４１は、例５３９から５４０のいずれかの主題を含み、機械学習モデルを使用して、信号品質メトリクスに基づいて安全性の可能性を決定する段階を更に備える。
例５４２は、例５３９から５４１のいずれかの主題を含み、機械学習モデルを使用して、センサデータおよびセンサデータのコンテキストに基づいて信号品質メトリクスを決定する段階を更に備える。
例５４３は、例５３９から５４２のいずれかの主題を含み、車両が自律的に制御されている間に、車両の制御のハンドオフと関連付けられた安全性の可能性を定期的に決定する段階を更に備える。
例５４４は、例５３９から５４３のいずれかの主題を含み、車両の制御をハンドオフするための人間の運転者からの要求に応答して、車両の制御のハンドオフに関連付けられた安全性の可能性を決定する段階を更に備える。
例５４５は、例５３９から５４４のいずれかの主題を含み、エリアの高分解能マップが車両にとって利用不可能であるエリアに車両が入ることに応答して、車両の制御のハンドオフに関連付けられた安全性の可能性を決定する段階を更に備える。
例５４６は、例５３９から５４５のいずれかの主題を含み、信号品質メトリクスは、少なくとも部分的にセンサデータの信号対ノイズ比を示す。
例５４７は、例５３９から５４６のいずれかの主題を含み、信号品質メトリクスは、センサデータの分解能を少なくとも部分的に示す。
例５４８は、例５３９から５４７の方法のうち１または複数を実行するための手段を備えるシステムである。
例５４９は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、車両のコンピューティングシステムによって、センサデータおよびセンサデータのコンテキストに基づいて信号品質メトリクスを決定すること、信号品質メトリクスに基づいて、車両の制御のハンドオフに関連付けられた安全性の可能性を決定すること、ならびに、安全性の可能性に基づいて車両の制御のハンドオフを防止する、または、ハンドオフを開始することを機械に行わせる。
例５５０は、例５４９の主題を含み、命令は更に、実行されるとき、機械学習モデルを使用して、センサデータに基づいてセンサデータのコンテキストを決定することを機械に行わせる。
例５５１は、例５４９から５５０のいずれかの主題を含み、命令は更に、実行されるとき、機械学習モデルを使用して、信号品質メトリクスに基づいて安全性の可能性を決定することを機械に行わせる。
例５５２は、例５４９から５５１のいずれかの主題を含み、命令は更に、実行されるとき、機械学習モデルを使用して、センサデータおよびセンサデータのコンテキストに基づいて信号品質メトリクスを決定することを機械に行わせる。
例５５３は、例５４９から５５２のいずれかの主題を含み、命令は更に、実行されるとき、車両が自律的に制御されている間に、車両の制御のハンドオフと関連付けられた安全性の可能性を定期的に決定することを機械に行わせる。
例５５４は、例５４９から５５３のいずれかの主題を含み、命令は更に、実行されるとき、車両の制御をハンドオフするための人間の運転者からの要求に応答して、車両の制御のハンドオフに関連付けられた安全性の可能性を決定することを機械に行わせる。
例５５５は、例５４９から５５４のいずれかの主題を含み、命令は更に、実行されるとき、エリアの高分解能マップが車両にとって利用不可能であるエリアに車両が入ることに応答して、車両の制御のハンドオフに関連付けられた安全性の可能性を決定することを機械に行わせる。
例５５６は、例５４９から５５５のいずれかの主題を含み、信号品質メトリクスは、センサデータの信号対ノイズ比を少なくとも部分的に示す。
例５５７は、例５４９から５５６のいずれかの主題を含み、信号品質メトリクスは、センサデータの分解能を少なくとも部分的に示す。
例５５８は、車両の内部に配置された少なくとも１つのセンサからセンサデータを収集する段階と、センサデータを分析して、車両内部の人の物理的状態を決定する段階と、人の物理的状態に少なくとも部分的に基づいてハンドオフ判断を生成する段階であって、ハンドオフ判断は、人が車両を安全に操作することが可能であると予想されるかどうかを示す、段階とを備える方法である。
例５５９は、例５５８の主題を含み、車両内部の人の履歴運転データを識別する段階と、人の履歴運転データに更に基づいてハンドオフ判断を生成する段階とを更に備える。
例５６０は、例５５８から５５９のいずれかの主題を含み、センサデータを分析して、車両の外部の条件を示すコンテキストを決定する段階と、更にコンテキストに基づいてハンドオフ判断を生成する段階とを更に備える。
例５６１は、例５５８から５６０のいずれかの主題を含み、車両内部の人の物理的状態は、車両内部の人のイメージデータを含むセンサデータに少なくとも部分的に基づく。
例５６２は、例５５８から５６１のいずれかの主題を含み、車両内部の人の物理的状態は、車両内部の人の音声データを含むセンサデータに少なくとも部分的に基づく。
例５６３は、例５５８から５６２のいずれかの主題を含み、車両内部の人の物理的状態は、車両内部の人の温度データを含むセンサデータに少なくとも部分的に基づく。
例５６４は、例５５８から５６３のいずれかの主題を含み、車両内部の人の物理的状態は、接触感知器からの圧力データを含むセンサデータに少なくとも部分的に基づく。
例５６５は、例５５８から５６４のいずれかの主題を含み、車両内部の人の物理的状態は、人によって装着される健全性追跡デバイスから受信されたデータに少なくとも部分的に基づく。
例５６６は、例５５８から５６５のいずれかの主題を含み、センサデータに基づいて、車両内部の人によって特定のアクティビティが実行されると決定する段階であって、車両内部の人の物理的状態は、決定されたアクティビティに少なくとも部分的に基づく、段階を更に備える。
例５６７は、例５５８から５６６のいずれかの主題を含み、センサデータの音声データを前処理して、車両内部の人または１または複数の乗員によって発せられた音を単離する段階であって、車両内部の人の物理的状態は、前処理された音声データに少なくとも部分的に基づく、段階を更に備える。
例５６８は、例５５８から５６７のいずれかの主題を含み、センサデータは、車両で再生されているメディア、車両内部の照明レベル、人と１または複数のダッシュボード制御部との間のインタラクティブ性の量、窓の隙間レベル、車室内温度制御システムの状態、または、人の電話の状態のうち１または複数を含む。
例５６９は、例５５８から５６８のいずれかの主題を含み、人の物理的状態は、センサデータを入力として使用する機械学習アルゴリズムを使用して実行される。
例５７０は、例５５８から５６９のいずれかの主題を含み、機械学習アルゴリズムを使用してハンドオフ判断を生成する段階を更に備える。
例５７１は、例５５８から５７０の方法のうち１または複数を実行するための手段を備えるシステムである。
例５７２は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、車両の内部に配置された少なくとも１つのセンサからセンサデータを収集すること、センサデータを分析して、車両内部の人の物理的状態を決定すること、人の物理的状態に少なくとも部分的に基づいてハンドオフ判断を生成することであって、ハンドオフ判断は、人が車両を安全に操作することが可能であると予想されるかどうかを示す、ことを機械に行わせる。
例５７３は、例５７２の主題を含み、命令は更に、実行されるとき、車両内部の人の履歴運転データを識別すること、および、人の履歴運転データに更に基づいてハンドオフ判断を生成することを機械に行わせる。
例５７４は、例５７２から５７３のいずれかの主題を含み、命令は更に、実行されるとき、センサデータを分析して、車両の外部の条件を示すコンテキストを決定すること、および、更にコンテキストに基づいてハンドオフ判断を生成することを機械に行わせる。
例５７５は、例５７２から５７４のいずれかの主題を含み、車両内部の人の物理的状態は、車両内部の人のイメージデータを含むセンサデータに少なくとも部分的に基づく。
例５７６は、例５７２から５７５のいずれかの主題を含み、車両内部の人の物理的状態は、車両内部の人の音声データを含むセンサデータに少なくとも部分的に基づく。
例５７７は、例５７２から５７６のいずれかの主題を含み、車両内部の人の物理的状態は、車両内部の人の温度データを含むセンサデータに少なくとも部分的に基づく。
例５７８は、例５７２から５７７のいずれかの主題を含み、車両内部の人の物理的状態は、接触感知器からの圧力データを含むセンサデータに少なくとも部分的に基づく。
例５７９は、例５７２から５７８のいずれかの主題を含み、車両内部の人の物理的状態は、人によって装着される健全性追跡デバイスから受信されたデータに少なくとも部分的に基づく。
例５８０は、例５７２から５７９のいずれかの主題を含み、命令は更に、実行されるとき、センサデータに基づいて、車両内部の人によって特定のアクティビティが実行されると決定することであって、車両内部の人の物理的状態は、決定されたアクティビティに少なくとも部分的に基づく、ことを機械に行わせる。
例５８１は、例５７２から５８０のいずれかの主題を含み、命令は更に、実行されるとき、センサデータの音声データを前処理して、車両内部の人または１または複数の乗員によって発せられた音を単離することであって、車両内部の人の物理的状態は、前処理された音声データに少なくとも部分的に基づく、ことを機械に行わせる。
例５８２は、例５７２から５８１のいずれかの主題を含み、センサデータは、車両で再生されているメディア、車両内部の照明レベル、人と１または複数のダッシュボード制御部との間のインタラクティブ性の量、窓の隙間レベル、車室内温度制御システムの状態、または、人の電話の状態のうち１または複数を含む。
例５８３は、例５７２から５８２のいずれかの主題を含み、人の物理的状態は、センサデータを入力として使用する機械学習アルゴリズムを使用して実行される。
例５８４は、例５７２から２８３のいずれかの主題を含み、命令は更に、実行されるとき、機械学習アルゴリズムを使用してハンドオフ判断を生成することを機械に行わせる。
例５８５は、自律車両のコントローラによって、自律運転モードで自律車両を操作する段階と、コントローラ以外のエンティティによる自律車両の制御のテイクオーバの要求を受信する段階と、自律車両の制御のテイクオーバの要求の受信に応答して、要求エンティティにクレデンシャル催促する段階と、催促に応答して、入力を受信する段階と、受信された入力に基づく要求エンティティの認証に応答して、自律車両の制御をテイクオーバする要求を許可する段階とを備える方法である。
例５８６は、例５８５の主題を含み、要求エンティティにクレデンシャルを催促する段階は、認証のためのバイオメトリックを提供するように要求エンティティに催促する段階を含む。
例５８７は、例５８６の主題を含み、バイオメトリックは、指紋、音声認識のための声サンプル、および、顔認識のための顔サンプルのうち１または複数を含む。
例５８８は、例５８５から５８７のいずれか一項の主題を含み、要求エンティティは、自律車両内部の人を含む。
例５８９は、例５８５から５８７のいずれか一項の主題を含み、要求エンティティは、自律車両から遠隔地にいる人を含む。
例５９０は、例５８５から５８７のいずれか一項の主題を含み、要求エンティティは、自律車両の近接にある１または複数の他の自律車両を含む。
例５９１は、例５８５から５９０方法の１または複数を実行するための手段を備えるシステムである。
例５９２は、自律車両を手動オペレーションモードで操作する段階であって、自律車両は、人間からの入力に基づいて制御される、段階と、自律車両内部の複数のセンサからセンサデータを受信する段階と、センサデータの解析に基づいて、人間からの入力が非安全であると検出する段階と、非安全な人間からの入力の検出に応答して、自律オペレーションモードで自律車両を操作する段階とを備える方法である。
例５９３は、例５９２の主題を含み、人間からの入力が非安全であると検出する段階は、入力を提供する人間が注意をそらされていると決定する段階と、入力を提供する人間が酔っていると決定する段階と、入力を提供する人間に意識が無いと決定する段階とのうち１または複数を含む。
例５９４は、例５９２から５９３の方法のうち１または複数を実行するための手段を備えるシステムである。
例５９５は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、自律車両のコントローラによって、自律運転モードで自律車両を操作すること、コントローラ以外のエンティティによる自律車両の制御のテイクオーバの要求を受信すること、自律車両の制御のテイクオーバの要求の受信に応答して、要求エンティティにクレデンシャル催促すること、催促に応答して、入力を受信すること、受信された入力に基づく要求エンティティの認証に応答して、自律車両の制御をテイクオーバする要求を許可することを機械に行わせる。
例５９６は、例５９５の主題を含み、要求エンティティにクレデンシャルを催促することは、認証のためのバイオメトリックを提供するように要求エンティティに催促することを含む。
例５９７は、例５９６の主題を含み、バイオメトリックは、指紋、音声認識のための声サンプル、および、顔認識のための顔サンプルのうち１または複数を含む。
例５９８は、例５９５から５９７のいずれか一項の主題を含み、要求エンティティは、自律車両内部の人を含む。
例５９９は、例５９５から５９７のいずれか一項の主題を含み、要求エンティティは、自律車両から遠隔地にいる人を含む。
例６００は、例５９５から５９７のいずれか一項の主題を含み、要求エンティティは、自律車両の近接にある１または複数の他の自律車両を含む。
例６０１は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、自律車両を手動オペレーションモードで操作することであって、自律車両は、人間からの入力に基づいて制御される、こと、自律車両内部の複数のセンサからセンサデータを受信すること、センサデータの解析に基づいて、人間からの入力が非安全であると検出すること、非安全な人間からの入力の検出に応答して、自律オペレーションモードで自律車両を操作することを機械に行わせる。
例６０２は、例６０１の主題を含み、人間からの入力が非安全であると検出することは、入力を提供する人間が注意をそらされていると決定すること、入力を提供する人間が酔っていると決定すること、および、入力を提供する人間に意識が無いと決定することのうち１または複数を含む。
例６０３は、自律車両の制御システムによって、自律車両に結合された複数のセンサから取得されたセンサデータに基づいて自律オペレーションモードで自律車両を操作する段階と、自律車両の制御システムによって、自律車両の乗員によるテイクオーバ要求を検出する段階と、自律車両の制御システムによって、センサデータに基づいて、要求されたテイクオーバが安全かどうかを決定する段階と、要求されたテイクオーバが非安全であるという決定に応答して、要求されたテイクオーバをブロックする段階とを備える方法である。
例６０４は、例６０３の主題を含み、要求テイクオーバが非安全であるという決定に応答して、自律オペレーションモードを修正する段階を更に備える。
例６０５は、例６０４の主題を含み、決定に応答して、乗員に入力を催促する段階と、催促に応答して、乗員から入力を受信する段階であって、自律オペレーションモードの修正は、受信された入力に基づく、段階とを更に備える。
例６０６は、例６０３の主題を含み、自律車両に結合された複数のセンサは、自律車両内部の内部センサを含み、要求されたテイクオーバが安全かどうかを決定する段階は、内部センサから受信されたセンサデータに基づく。
例６０７は、例６０６の主題を含み、内部センサは、カメラおよびマイクの１または複数を含む。
例６０８は、例６０３から６０７のいずれか一項の主題を含み、要求されたテイクオーバが通常であるという決定に応答して、テイクオーバ要求を許可する段階を更に備える。
例６０９は、例６０３から６０７のいずれか一項の主題を含み、要求されたテイクオーバが非安全であるという決定に応答してテイクオーバ要求をブロックする段階を更に備える。
例６１０は、例６０３から６０９のいずれか一項の主題を含み、要求されたテイクオーバが非安全かどうかの決定は、自律運転パイプラインの感知／知覚フェーズ中に実行される。
例６１１は、例６０３から６０９のいずれか一項の主題を含み、要求されたテイクオーバのブロックは、自律運転パイプラインの行動／制御フェーズ中に実行される。
例６１２は、例６０５の主題を含み、自律オペレーションモードの修正は、自律運転パイプラインの計画フェーズ中に実行される。
例６１３は、例６０３から６１２の方法の１または複数を実行するための手段を備えるシステムである。
例６１４は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、自律車両の制御システムによって、自律車両に結合された複数のセンサから取得されたセンサデータに基づいて自律オペレーションモードで自律車両を操作すること、自律車両の制御システムによって、自律車両の乗員によるテイクオーバ要求を検出すること、自律車両の制御システムによって、センサデータに基づいて、要求されたテイクオーバが安全かどうかを決定すること、および、要求されたテイクオーバが非安全であるという決定に応答して、要求されたテイクオーバをブロックすることを機械に行わせる。
例６１５は、例６１４の主題を含み、命令は更に、実行されるとき、要求テイクオーバが非安全であるという決定に応答して、自律オペレーションモードを修正することを機械に行わせる。
例６１６は、例６１５の主題を含み、命令は更に、実行されるとき、決定に応答して、乗員に入力を催促すること、催促に応答して、乗員から入力を受信することであって、自律オペレーションモードの修正は、受信された入力に基づく、ことを機械に行わせる。
例６１７は、例６１４の主題を含み、自律車両に結合された複数のセンサは、自律車両内部の内部センサを含み、要求されたテイクオーバが安全かどうかを決定する段階は、内部センサから受信されたセンサデータに基づく。
例６１８は、例６１７の主題を含み、内部センサは、カメラおよびマイクの１または複数を含む。
例６１９は、例６１４から６１８のいずれか一項の主題を含み、命令は更に、実行されるとき、要求されたテイクオーバが通常であるという決定に応答して、テイクオーバ要求を許可することを機械に行わせる。
例６２０は、例６１４から６１８のいずれか一項の主題を含み、命令は更に、実行されるとき、要求されたテイクオーバが非安全であるという決定に応答して、テイクオーバ要求をブロックすることを機械に行わせる。
例６２１は、例６１４から６２０のいずれか一項の主題を含み、要求されたテイクオーバが非安全かどうかの決定は、自律運転パイプラインの感知／知覚フェーズ中に実行される。
例６２２は、例６１４から６２０のいずれか一項の主題を含み、要求されたテイクオーバのブロックは、自律運転パイプラインの行動／制御フェーズ中に実行される。
例６２３は、例６１６の主題を含み、自律オペレーションモードの修正は、自律運転パイプラインの計画フェーズ中に実行される。
例６２４は、監視システムによって、自律車両の少なくとも１つのサブシステムをモニタリングする段階と、監視システムによって、少なくとも１つのサブシステムのモニタリングに基づいて、第１自律レベルから第２自律レベルへ自律車両の自律レベルの変更を開始する段階とを備える方法である。
例６２５は、例６２４の主題を含み、自律車両の自律レベルをリモート監視システムに変更することを伝達する段階を更に備える。
例６２６は、例６２４から６２５のいずれかの主題を含み、自律レベルおよびセンサステータスの履歴を経時的に記録する段階を更に備える。
例６２７は、例６２４から６２６の主題のいずれかを含み、少なくとも１つのサブシステムは、センササブシステムを含み、自律レベルの変更は、センササブシステムの変更に少なくとも部分的に基づく。
例６２８は、例６２４から６２７の１または複数のいずれかの主題を含み、少なくとも１つのサブシステムは計画サブシステムを含み、自律レベルの変更は、計画サブシステムの変更に少なくとも部分的に基づく。
例６２８は、例６２４から６２８の１または複数のいずれかの主題を含み、少なくとも１つのサブシステムは、実行サブシステムを含み、自律レベルの変更は、実行サブシステムの変更に少なくとも部分的に基づく。
例６３０は、例６２４から６２９の１または複数のいずれかの主題を含み、監視システムは、少なくとも１つのサブシステムの機能保証をモニタリングするためのものである。
例６３１は、例６２４から６３０の１または複数のいずれかの主題を含み、包括的認知監視システムは、少なくとも１つのサブシステムの品質保証をモニタリングする。
例６３２は、例６２４から６３１の方法の１または複数を実行するための手段を備えるシステムである。
例６３３は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、監視システムによって、自律車両の少なくとも１つのサブシステムをモニタリングすること、監視システムによって、少なくとも１つのサブシステムのモニタリングに基づいて、第１自律レベルから第２自律レベルへ自律車両の自律レベルの変更を開始することを機械に行わせる。
例６３４は、例６３３の主題を含み、命令は更に、実行されるとき、自律車両の自律レベルをリモート監視システムに変更することを伝達することを機械に行わせる。
例６３５は、例６３３から６３４のいずれかの主題を含み、命令は更に、実行されるとき、自律レベルおよびセンサステータスの履歴を経時的に記録することを機械に行わせる。
例６３６は、例６３３から６３５のいずれかの主題を含み、少なくとも１つのサブシステムは、センササブシステムを含み、自律レベルの変更は、センササブシステムの変更に少なくとも部分的に基づく。
例６３７は、例６３３から６３６の１または複数のいずれかの主題を含み、少なくとも１つのサブシステムは、計画サブシステムを含み、自律レベルの変更は、計画サブシステムの変更に少なくとも部分的に基づく。
例６３８は、例６３３から６３７の１または複数のいずれかの主題を含み、少なくとも１つのサブシステムは、実行サブシステムを含み、自律レベルの変更は、実行サブシステムの変更に少なくとも部分的に基づく。
例６３９は、例６３３から６３８の１または複数のいずれかの主題を含み、監視システムは、少なくとも１つのサブシステムの機能保証をモニタリングするためのものである。
例６４０は、例６３３－６３９の１または複数のいずれかの主題を含み、包括的認知監視システムは、少なくとも１つのサブシステムの品質保証をモニタリングする。
例６４１は、自律車両のシステム障害を決定する段階と、自律車両の自律レベルを、運転者がテイクオーバを要求しない第１レベルに低減できると決定する段階と、自律レベルが第１レベルに低減すると運転者にアラートする段階と、自律レベルを第１レベルに低減する段階とを備える方法である。
例６４２は、例６４１の主題を含み、自律車両の追加的なシステム障害があると決定する段階と、自律レベルを第２レベルに低減できると決定する段階と、自律レベルが第２レベルに低減されると運転者にアラートする段階と、自律レベルを第２レベルに低減する段階とを更に備える。
例６４３は、例６４１－６４２の１または複数のいずれかの主題を含み、運転者の関与を確認する段階を更に備える。
例６４４は、例６４３の主題を含み、運転者の関与を確認する段階は、運転者をモニタリングする段階を含む。
例６４５は、例６４１から６４４の１または複数のいずれかの主題を含み、自律車両の追加のシステム障害があると決定する段階と、車両の自律性を非アクティブ化する必要があると決定する段階と、車両の自律性を非アクティブ化する必要があるという決定に応答して、運転者へのハンドオフを試行する段階とを更に備える。
例６４６は、例６４５の主題を含み、ハンドオフが成功したかどうかを決定する段階を更に備える。
例６４７は、例６４６の主題を含み、ハンドオフが成功した場合に、車両の自律性を非アクティブ化する段階を更に備える。
例６４８は、例６４６の主題を含み、ハンドオフが成功しなかった場合に、エマージェンシーシステムをアクティブ化する段階を更に備える。
例６４９は、例６４８の主題を含み、エマージェンシーシステムは、自律車両を安全停止させるためのものである。
例６５０は、例６４１から６４９の１または複数のいずれかを実行するための手段を備えるシステムである。
例６５１は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、自律車両のシステム障害を決定すること、自律車両の自律レベルを、運転者がテイクオーバを要求しない第１レベルに低減できると決定すること、自律レベルが第１レベルに低減すると運転者にアラートすること、および、自律レベルを第１レベルに低減することを機械に行わせる。
例６５２は、例６５１の主題を含み、命令は更に、実行されるとき、自律車両の追加的なシステム障害があると決定すること、自律レベルを第２レベルに低減できると決定すること、自律レベルが第２レベルに低減されると運転者にアラートすること、および、自律レベルを第２レベルに低減することを機械に行わせる。
例６５３は、例６５１から６５２の１または複数のいずれかの主題を含み、命令は更に、実行されるとき、運転者の関与を確認することを機械に行わせる。
例６５４は、例６５３の主題を含み、運転者の関与の確認は、運転者をモニタリングすることを含む。
例６５５は、例６５１から６５４の１または複数のいずれかの主題を含み、命令は更に、実行されるとき、自律車両の追加のシステム障害があると決定すること、車両の自律性を非アクティブ化する必要があると決定すること、および、車両の自律性を非アクティブ化する必要があるという決定に応答して、運転者へのハンドオフを試行することを機械に行わせる。
例６５６は、例６５５の主題を含み、命令は更に、実行されるとき、ハンドオフが成功したかどうかを決定することを機械に行わせる。
例６５７は、例６５６の主題を含み、命令は更に、実行されるとき、ハンドオフが成功した場合に車両の自律性を非アクティブ化することを機械に行わせる。
例６５８は、例６５６の主題を含み、命令は更に、実行されるとき、ハンドオフが成功しなかった場合にエマージェンシーシステムをアクティブ化することを機械に行わせる。
例６５９は、例６５８の主題を含み、エマージェンシーシステムは、自律車両を安全停止させるためのものである。
例６６０は、イメージデータから抽出された特徴を第１クラス予測モデルおよび第２クラス予測モデルに提供する段階と、第１クラス予測モデルの出力と第２クラス予測モデルの出力との間の差を決定する段階と、第１クラス予測モデルの出力と第２クラス予測モデルの出力との間の差に基づいて、異常クラスを抽出された特徴に割り当てる段階とを備える方法である。
例６６１は、例６６０の主題を含み、第１クラス予測モデルは、ゲート付き回帰型ユニット（ＧＲＵ）または長短期メモリネットワーク（ＬＳＴＭ）ニューラルネットワークを含むベースライン予測モデルである。
例６６２は、例６６０から６６１のいずれかの主題を含み、第２クラス予測モデルは、ＬＳＴＭニューラルネットワークに基づく。
例６６３は、例６６０から６６２のいずれかの主題を含み、第１クラス予測モデルの第２出力と第２クラス予測モデルの第２出力との間の第２の差に基づいて、第２異常クラスを第２抽出された特徴に割り当る段階を更に備える。
例６６４は、例６６０から６６３のいずれかの主題を含み、第１クラス予測モデルの出力と第２クラス予測モデルの出力との間の差に基づいて第１クラス予測モデルおよび第２クラス予測モデルの訓練中に異常閾値を決定する段階を更に備える。
例６６５は、例６６０から６６４のいずれかの主題を含み、抽出された特徴に割り当てられた異常クラスに関連付けられた予測信頼性を出力する段階を更に備える。
例６６６は、例６６０から６６５の方法の１または複数を実行するための手段を備えるシステムである。
例６６７は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、イメージデータから抽出された特徴を第１クラス予測モデルおよび第２クラス予測モデルに提供すること、第１クラス予測モデルの出力と第２クラス予測モデルの出力との間の差を決定すること、および、第１クラス予測モデルの出力と第２クラス予測モデルの出力との間の差に基づいて、異常クラスを抽出された特徴に割り当てることを機械に行わせる。
例６６８は、例６６７の主題を含み、第１クラス予測モデルは、ゲート付き回帰型ユニット（ＧＲＵ）または長短期メモリネットワーク（ＬＳＴＭ）ニューラルネットワークを含むベースライン予測モデルである。
例６６９は、例６６７から６６８のいずれかの主題を含み、第２クラス予測モデルは、ＬＳＴＭニューラルネットワークに基づく。
例６７０は、例６６７から６６９のいずれかの主題を含み、命令は更に、実行されるとき、第１クラス予測モデルの第２出力と第２クラス予測モデルの第２出力との間の第２の差に基づいて、第２異常クラスを第２抽出された特徴に割り当てることを機械に行わせる。
例６７１は、例６６７から６７０のいずれかの主題を含み、命令は更に、実行されるとき、第１クラス予測モデルの出力と第２クラス予測モデルの出力との間の差に基づいて第１クラス予測モデルおよび第２クラス予測モデルの訓練中に異常閾値を決定することを機械に行わせる。
例６７２は、例６６７から６７１のいずれかの主題を含み、命令は更に、実行されるとき、抽出された特徴に割り当てられた異常クラスに関連付けられた予測信頼性を出力することを機械に行わせる。
例６７３は、道路の一部上の車両の自律レベルを制限するための方法であり、車両についての安全性スコアを決定する段階と、道路の少なくとも一部についての道路スコアを決定する段階と、道路スコアを安全性スコアと比較する段階と、道路の少なくとも一部上の車両の許容可能な自律レベルを決定する段階とを備える。
例６７４は、例６７３の主題を含み、車両の許容可能な自律レベルを決定する段階は、安全性スコアが道路スコア以上である場合に、車両の自律的な運転を許可することを決定する段階を含む。
例６７５は、例６７３から６７４の１または複数のいずれかの主題を含み、安全性スコアは、複数の重み付けされた要素を使用して決定される。
例６７６は、例６７３から６７５の１または複数のいずれかの主題を含み、道路スコアは、複数の重み付けされた要素を使用して決定される。
例６７７は、例６７３から６７６の１または複数のいずれかの主題を含み、道路の少なくとも一部の現在の条件を考慮するために、道路スコアは動的に計算される。
例６７８は、例６７３から６７７の１または複数のいずれかの主題を含み、車両の現在の条件を考慮するために、安全性スコアは動的に計算される。
例６７９は、例６７３から６７８の１または複数のいずれかの主題を含み、マップユーザインタフェース上の道路の少なくとも一部についての道路スコアを表示する段階を更に備える。
例６８０は、例６７３から６７９の１または複数のいずれかの主題を含み、道路スコアは、天候条件についての重み値を使用して決定される。
例６８１は、例６７３から６８０の１または複数のいずれかの主題を含み、道路スコアは、道路の少なくとも一部の条件についての重み値を使用して決定される。
例６８２は、例６７３から６８１の１または複数のいずれかの主題を含み、安全性スコアは、車両のセンサについての重み値を使用して決定される。
例６８３は、例６７３から６８２の１または複数のいずれかの主題を含み、安全性スコアは、車両によって実装される１または複数の自律運転アルゴリズムについての重み値を使用して決定される。
例６８４は、例６７３から６８３の１または複数のいずれかの主題を含み、安全性スコアの計算は、車両に対してテストを実行することを含む。
例６８５は、例６７３から６８４の１または複数のいずれかを実行するための手段を備えるシステムである。
例６８６は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、車両についての安全性スコアを決定すること、道路の少なくとも一部についての道路スコアを決定すること、道路スコアを安全性スコアと比較すること、および、道路の少なくとも一部上の車両の許容可能な自律レベルを決定することを機械に行わせる。
例６８７は、例６８６の主題を含み、車両の許容可能な自律レベルを決定する段階は、安全性スコアが道路スコア以上である場合に、車両の自律的な運転を許可することを決定する段階を含む。
例６８８は、例６８６から６８７の１または複数のいずれかの主題を含み、安全性スコアは、複数の重み付けされた要素を使用して決定される。
例６８９は、例６８６から６８８の１または複数のいずれかの主題を含み、道路スコアは、複数の重み付けされ要素を使用して決定される。
例６９０は、例６８６から６８９の１または複数のいずれかの主題を含み、道路の少なくとも一部の現在の条件を考慮するために、道路スコアは動的に計算される。
例６９１は、例６８６から６９０の１または複数のいずれかの主題を含み、車両の現在の条件を考慮するために、安全性スコアは動的に計算される。
例６９２は、例６８６－６９１の１または複数のいずれかの主題を含み、命令は更に、実行されるとき、マップユーザインタフェース上に、道路の少なくとも一部についての道路スコアを表示することを機械に行わせる。
例６９３は、例６８６から６９２の１または複数のいずれかの主題を含み、道路スコアは、天候条件についての重み値を使用して決定される。
例６９４は、例６８６から６９３の１または複数のいずれかの主題を含み、道路スコアは、道路の少なくとも一部の条件についての重み値を使用して決定される。
例６９５は、例６８６から６９４の１または複数のいずれかの主題を含み、安全性スコアは、車両のセンサについての重み値を使用して決定される。
例６９６は、例６８６から６９５の１または複数のいずれかの主題を含み、安全性スコアは、車両によって実装される１または複数の自律運転アルゴリズムについての重み値を使用して決定される。
例６９７は、例６８６から６９６の１または複数のいずれかの主題を含み、安全性スコアの計算は、車両に対してテストを実行することを含む。
例６９８は、車両に関連付けられたイメージキャプチャデバイスによってキャプチャされたイメージを受信する段階と、キャプチャされたイメージにおける顔を検出する段階と、敵対的生成ネットワーク（ＧＡＮ）の第１ニューラルネットワークについての入力イメージを生成する段階であって、入力イメージは、キャプチャされたイメージにおいて検出された顔を描画する段階と、第１ニューラルネットワークを入力イメージに適用することに少なくとも部分的に基づいて、偽装イメージを生成する段階であって、入力イメージにおいて描写された顔の注視属性は偽装イメージに含まれ、入力イメージにおいて描写される顔の１または複数の他の属性は、偽装イメージにおいて修正される、段階とを備える方法である。
例６９９は、例６９８の主題を含み、第１ニューラルネットワークは生成モデルであり、ＧＡＮは、識別モデルである第２ニューラルネットワークを含む。
例７００は、例６９８から６９９のいずれか一項の主題を含み、第２ニューラルネットワークは、第１ニューラルネットワークによって生成された偽装イメージを現実または偽として分類するための畳み込みニューラルネットワークである。
例７０１は、例６９８から７００のいずれか一項の主題を含み、第１ニューラルネットワークは、偽装イメージを生成する逆畳み込みニューラルネットワークである。
例７０２は、例６９８から７０１のいずれか一項の主題を含み、キャプチャされたイメージにおいて検出された顔の１または複数の顔コンポーネントの場所を推定する段階であって、入力イメージは、１または複数の顔コンポーネントの検出されたイメージおよび場所の少なくとも一部にに基づいて生成される、段階を更に備える。
例７０３は、例６９８から７０２のいずれか一項の主題を含み、偽装イメージにおいて修正される１または複数の他の属性は、年齢および性別を含む。
例７０４は、例６９８から７０２のいずれか一項の主題を含み、偽装イメージにおいて修正される１または複数の他の属性は、年齢、性別、髪の色、禿、前髪、眼鏡、化粧、肌の色、および口の表情を含む属性のグループから選択される。
例７０５は、例６９８から７０４のいずれか一項の主題を含み、第１ニューラルネットワークは、キャプチャされたイメージにおいて検出された顔における、修正する１または複数の他の属性を示す標的ドメインに少なくとも部分的に基づいて、偽装イメージを生成する。
例７０６は、例７０５のいずれか一項の主題を含み、ＧＡＮモデルは、テストイメージから偽装イメージを生成するＧＡＮモデル、および、偽装イメージの少なくとも閾値数を識別できない顔認識モデルに基づいて標的ドメインで事前構成される。
例７０７は、例６９８から７０６のいずれか一項の主題を含み、キャプチャされたイメージにおいて検出された顔における感情属性は偽装イメージに含まれる。
例７０８は、例７０７の主題を含み、偽装イメージを、車両に関連付けられたデータ収集システムへ送信する段階であって、データ収集システムは、偽装イメージにおける感情属性に基づいて感情を検出するためのものである、段階を更に備える。
例７０９は、例６９８から７０８のいずれか一項の主題を含み、偽装イメージを車両のコンピュータビジョンアプリケーションに提供する段階であって、コンピュータビジョンアプリケーションは、偽装イメージにおける注視属性に基づいて注視を検出し、検出された注視に基づいて偽装イメージに表される人間の軌道を識別する、段階を更に備える。
例７１０は、例６９８から７０９の方法の１または複数を実行するための手段を備えるシステムである。
例７１１は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、車両に関連付けられたイメージキャプチャデバイスによってキャプチャされたイメージを受信すること、キャプチャされたイメージにおける顔を検出すること、敵対的生成ネットワーク（ＧＡＮ）の第１ニューラルネットワークについての入力イメージを生成することであって、入力イメージは、キャプチャされたイメージにおいて検出された顔を描画する、こと、第１ニューラルネットワークを入力イメージに適用することに少なくとも部分的に基づいて、偽装イメージを生成することであって、入力イメージにおいて描写された顔の注視属性は偽装イメージに含まれ、入力イメージにおいて描写される顔の１または複数の他の属性は、偽装イメージにおいて修正される、ことを機械に行わせる。
例７１２は、例７１１の主題を含み、第１ニューラルネットワークは、生成モデルであり、ＧＡＮは、識別モデルである第２ニューラルネットワークを含む。
例７１３は、例１から７１２のいずれか一項の主題を含み、第２ニューラルネットワークは、第１ニューラルネットワークによって生成された偽装イメージを現実または偽として分類するための畳み込みニューラルネットワークである。
例７１４は、例７１１から７１３のいずれか一項の主題を含み、第１ニューラルネットワークは、偽装イメージを生成する逆畳み込みニューラルネットワークである。
例７１５は、例７１１から７１４のいずれか一項の主題を含み、命令は更に、実行されるとき、キャプチャされたイメージにおいて検出された顔の１または複数の顔コンポーネントの場所を推定することであって、入力イメージは、１または複数の顔コンポーネントの検出されたイメージおよび場所の少なくとも一部にに基づいて生成される、ことを機械に行わせる。
例７１６は、例７１１から７１５のいずれか一項の主題を含み、偽装イメージにおいて修正される１または複数の他の属性は、年齢および性別を含む。
例７１７は、例７１１から７１５のいずれか一項の主題を含み、偽装イメージにおいて修正される１または複数の他の属性は、年齢、性別、髪の色、禿、前髪、眼鏡、化粧、肌の色、および口の表情を含む属性のグループから選択される。
例７１８は、例７１１から７１７のいずれか一項の主題を含み、第１ニューラルネットワークは、キャプチャされたイメージにおいて検出された顔における、修正する１または複数の他の属性を示す標的ドメインに少なくとも部分的に基づいて、偽装イメージを生成する。
例７１９は、例７１８のいずれか一項の主題を含み、ＧＡＮモデルは、テストイメージから偽装イメージを生成するＧＡＮモデル、および、偽装イメージの少なくとも閾値数を識別できない顔認識モデルに基づいて標的ドメインで事前構成される。
例７２０は、例７１１から７１９のいずれか一項の主題を含み、キャプチャされたイメージにおいて検出された顔における感情属性は、偽装イメージに含まれる。
例７２１は、例７２０の主題を含み、命令は更に、実行されるとき、偽装イメージを、車両に関連付けられたデータ収集システムへ送信することであって、データ収集システムは、偽装イメージにおける感情属性に基づいて感情を検出するためのものである、ことを機械に行わせる。
例７２２は、例７１１から７２１のいずれか一項の主題を含み、命令は更に、実行されるとき、偽装イメージを車両のコンピュータビジョンアプリケーションに提供することであって、コンピュータビジョンアプリケーションは、偽装イメージにおける注視属性に基づいて注視を検出し、検出された注視に基づいて偽装イメージにおいて表される人間の軌道を識別する、ことを機械に行わせる。
例７２３は、車両によって収集されたデータを含むデータセットを受信する段階であって、１または複数のタグはデータセットに関連付けられる、段階と、１または複数のタグに基づいて、データセットに適用される第１ポリシーを決定する段階と、第１ポリシーがレイジーなポリシーとして指定されるかどうかを決定する段階と、第１ポリシーがレイジーなポリシーとして指定されるという決定に基づいて、第１ポリシーをデータセットに適用することなく、オンデマンド処理についてデータセットをマークする段階と、オンデマンド処理についてデータセットをマークした後に、データセットについての第１要求を受信する段階と、データセットについての第１要求の受信に応答して、第１ポリシーをデータセットに適用する段階とを備える方法である。
例７２４は、例７２３の主題を含み、第１ポリシーをデータセットに適用する段階は、データセットにおけるイメージにおける１または複数の顔を不明瞭化する段階と、データセットにおけるイメージにおける１または複数のナンバープレートを不明瞭化する段階と、データセットにおける個人識別情報を匿名化する、または、データセットにおける場所情報を修正する段階とのうち少なくとも１つを含む。
例７２５は、例７２３から７２４のいずれか一項の主題を含み、車両の地理的場所を決定する段階と、タグをデータセットに関連付ける段階であって、タグは、車両の地理的場所を示す情報を含む、段階を更に備える。
例７２６は、例７２３から７２５のいずれか一項の主題を含み、機械学習モデルを使用して、データセットと関連付ける１または複数のタグの少なくとも１つを識別する段階を更に備える。
例７２７は、例７２３から７２６のいずれか一項の主題を含み、データセットは、車両または車両から遠隔地にあるクラウド処理システムのうちの１つにおけるポリシー施行エンジンで受信される。
例７２８は、例７２３から７２７のうちのいずれか一項の主題を含み、１または複数のタグに基づいて、データセットに適用される第２ポリシーを決定する段階と、第２ポリシーがレイジーなポリシーとして指定されるかどうかを決定する段階と、第２ポリシーがレイジーなポリシーとして指定されないという決定に基づいて、第２ポリシーをデータセットに適用する段階とを更に備える。
例７２９は、例７２８の主題を含み、第２ポリシーをデータセットに適用する段階は、データセットにおける少なくともいくつかのデータを不明瞭化、匿名化、または修正する段階を含む。
例７３０は、例７２３から７２９のいずれか一項の主題を含み、車両によって収集された第２データを含む第２データセットを受信する段階であって、１または複数の第２タグは、第２データセットに関連付けられる、段階と、１または複数の第２タグに基づいて、第２データセットに適用される第２ポリシーを決定する段階であって、第２ポリシーはレイジーなポリシーとして指定される、段階と、コンテクスチュアルポリシーが第２データセットに適用可能であるという決定に基づいて、レイジーなポリシーの指定をオーバーライドし、コンテクスチュアルポリシーを第２データセットに適用する段階とを更に備える。
例７３１は、例７３０の主題を含み、コンテクスチュアルポリシーは、第２ポリシーによって必要とされる少なくとも１つのアクションを含む。
例７３２は、例７２３から７３１のいずれか一項の主題を含み、データセットについての第１要求の受信に基づいて、車両の現在の場所を決定する段階と、車両の現在の場所が、データセットに関連付けられた前の場所とは異なる規制に関連付けられているかどうかを決定する段階と、車両の現在の場所が異なる規制に関連付けられているかどうかの決定に基づいて、更新されたタグをデータセットに付加する段階であって、更新されたタグは、車両の現在の場所を示す情報を含む、段階と、更新されたタグに少なくとも部分的に基づいて、新しいポリシーがデータセットに適用されると決定する段階と、新しいポリシーをデータセットに適用する段階とを更に備える。
例７３３は、例７２３から７３２のいずれか一項の主題を含み、車両によって収集された第３データを含む第３データセットを受信する段階であって、１または複数の第３タグは、第３データセットに関連付けられる、段階と、１または複数の第３タグに基づいて、第３データセットに適用される第３ポリシーを決定する段階と、第３ポリシーがレイジーなポリシーとして指定されていないという決定に基づいて、第３ポリシーを第３データセットに適用し、レイジーなポリシーとして指定される、第３データセットに適用されるポリシーが無いという決定、および、第３データセットに適用可能と決定された各ポリシーの第３データセットへの適用に基づいて、第３データセットをポリシー遵守としてマークする段階とを更に備える。
例７３４は、例７２３から７３３のいずれか一項の主題を含み、データセットについての第１要求の受信の後に、データセットについての第２要求を受信する段階と、データセットについての第２要求の受信に応答して、第４ポリシーをデータセットに適用する段階であって、規制の変化がデータセットにおけるデータに適用可能であることに応答して、１または複数のタグが第４ポリシーに関連付けられる、段階とを更に備える。
例７３５は、例７２３から７３４の方法の１または複数を実行するための手段を備えるシステムである。
例７３６は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、車両によって収集されたデータを含むデータセットを受信することであって、１または複数のタグはデータセットに関連付けられる、こと、１または複数のタグに基づいて、データセットに適用される第１ポリシーを決定すること、第１ポリシーがレイジーなポリシーとして指定されるかどうかを決定すること、第１ポリシーがレイジーなポリシーとして指定されるという決定に基づいて、第１ポリシーをデータセットに適用することなく、オンデマンド処理についてデータセットをマークすること、オンデマンド処理についてデータセットをマークした後に、データセットについての第１要求を受信すること、データセットについての第１要求の受信に応答して、第１ポリシーをデータセットに適用することを機械に行わせる。
例７３７は、例７３６の主題を含み、第１ポリシーをデータセットに適用することは、データセットにおけるイメージにおける１または複数の顔を不明瞭化すること、データセットにおけるイメージにおける１または複数のナンバープレートを不明瞭化すること、データセットにおける個人識別情報を匿名化する、または、データセットにおける場所情報を修正することのうち少なくとも１つを含む。
例７３８は、例７３６から７３７のいずれか一項の主題を含み、命令は更に、実行されるとき、車両の地理的場所を決定すること、および、タグをデータセットに関連付けることであって、タグは、車両の地理的場所を示す情報を含む、ことを機械に行わせる。
例７３９は、例７３６から７３８のいずれか一項の主題を含み、命令は更に、実行されるとき、機械学習モデルを使用して、データセットに関連付ける１または複数のタグの少なくとも１つを識別することを機械に行わせる。
例７４０は、例７３６から７３９のいずれか一項の主題を含み、データセットは、車両または車両から遠隔地にあるクラウド処理システムのうちの１つにおけるポリシー施行エンジンで受信される。
例７４１は、例７３６から７４０のうちのいずれか一項の主題を含み、命令は更に、実行されるとき、１または複数のタグに基づいて、データセットに適用される第２ポリシーを決定すること、第２ポリシーがレイジーなポリシーとして指定されるかどうかを決定すること、および、第２ポリシーがレイジーなポリシーとして指定されないという決定に基づいて、第２ポリシーをデータセットに適用することを機械に行わせる。
例７４２は、例７４１の主題を含み、第２ポリシーをデータセットに適用することは、データセットにおける少なくともいくつかのデータを不明瞭化、匿名化、または修正することを含む。
例７４３は、例７３６から７４２のいずれか一項の主題を含み、命令は更に、実行されるとき、車両によって収集された第２データを含む第２データセットを受信することであって、１または複数の第２タグは、第２データセットに関連付けられる、こと、１または複数の第２タグに基づいて、第２データセットに適用される第２ポリシーを決定することであって、第２ポリシーはレイジーなポリシーとして指定される、こと、および、コンテクスチュアルポリシーが第２データセットに適用可能であるという決定に基づいて、レイジーなポリシーの指定をオーバーライドし、コンテクスチュアルポリシーを第２データセットに適用することを機械に行わせる。
例７４４は、例７４３の主題を含み、コンテクスチュアルポリシーは、第２ポリシーによって必要とされる少なくとも１つのアクションを含む。
例７４５は、例７３６から７４４のいずれか一項の主題を含み、命令は更に、実行されるとき、データセットについての第１要求の受信に基づいて、車両の現在の場所を決定すること、車両の現在の場所が、データセットに関連付けられた前の場所とは異なる規制に関連付けられているかどうかを決定すること、車両の現在の場所が異なる規制に関連付けられているかどうかの決定に基づいて、更新されたタグをデータセットに付加することであって、更新されたタグは、車両の現在の場所を示す情報を含む、こと、更新されたタグに少なくとも部分的に基づいて、新しいポリシーがデータセットに適用されると決定すること、および、新しいポリシーをデータセットに適用することを機械に行わせる。
例７４６は、例７３６から７４５のいずれか一項の主題を含み、命令は更に、実行されるとき、車両によって収集された第３データを含む第３データセットを受信することであって、１または複数の第３タグは、第３データセットに関連付けられる、こと、１または複数の第３タグに基づいて、第３データセットに適用される第３ポリシーを決定すること、第３ポリシーがレイジーなポリシーとして指定されていないという決定に基づいて、第３ポリシーを第３データセットに適用し、レイジーなポリシーとして指定される、第３データセットに適用されるポリシーが無いという決定、および、第３データセットに適用可能と決定された各ポリシーの第３データセットへの適用に基づいて、第３データセットをポリシー遵守としてマークすることを機械に行わせる。
例７４７は、例７３６から７４６のいずれか一項の主題を含み、命令は更に、実行されるとき、データセットについての第１要求の受信の後に、データセットについての第２要求を受信すること、および、データセットについての第２要求の受信に応答して、第４ポリシーをデータセットに適用することであって、規制の変化がデータセットにおけるデータに適用可能であることに応答して、１または複数のタグが第４ポリシーに関連付けられる、ことを機械に行わせる。
例７４８は、自律車両に結合されたセンサからセンサデータを受信する段階と、デジタル署名をセンサデータに適用する段階と、新しいブロックをブロックベーストポロジーに追加する段階であって、新しいブロックはセンサデータおよびデジタル署名を含む、段階と、デジタル署名を検証する段階と、デジタル署名の検証に基づいて自律車両のロジックユニットにブロックを伝達する段階とを備える方法である。
例７４９は、例７４８の主題を含み、ブロックベーストポロジーは非許可型ブロックチェーンである。
例７５０は、例７４８の主題を含み、デジタル署名は楕円曲線暗号（ＥＣＣ）プロトコルに基づく。
例７５１は、例７４８から７５０のいずれか一項の主題を含み、ブロックを検証する段階は、コンセンサスプロトコルの時間的制約を使用してセンサデータのタイムスタンプを検証する段階を含む。
例７５２は、例７４８から７５１の方法のうち１または複数を実行するための手段を備えるシステムである。
例７５３は、ブロックベーストポロジーのブロックを第１自律車両で受信する段階であって、ブロックは、第２自律車両に結合されたセンサからのセンサデータ、および、センサデータに関連付けられたデジタル署名を含む、段階と、デジタル署名を検証する段階と、デジタル署名の検証に応答して、第１自律車両のロジックユニットにブロックを伝達する段階とを備える方法である。
例７５４は、例７５３の主題を含み、ブロックベーストポロジーは、ブロックチェーンまたは有向非巡回グラフ（ＤＡＧ）のうち１または複数を含む。
例７５５は、例７５３の主題を含み、ブロックベーストポロジーは、許可型ブロックチェーンである。
例７５６は、例７５３から７５５のいずれか一項の主題を含み、デジタル署名は、一時的公開鍵に基づいて生成される秘密鍵を使用して検証される。
例７５７は、例７５６の主題を含み、一時的公開鍵は、楕円曲線ディフィー・ヘルマン鍵共有に基づく。
例７５８は、例７５３から７５７のいずれか一項の主題を含み、ブロックから１または複数のスマートコントラクトを抽出する段階を更に備える。
例７５９は、例７５３から７５８の方法のうち１または複数を実行するための手段を備えるシステムである。
例７６０は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、自律車両に結合されたセンサからセンサデータを受信すること、デジタル署名をセンサデータに適用すること、新しいブロックをブロックベーストポロジーに追加することであって、新しいブロックはセンサデータおよびデジタル署名を含む、こと、デジタル署名を検証すること、デジタル署名の検証に基づいて自律車両のロジックユニットにブロックを伝達することを機械に行わせる。
例７６１は、例７６０の主題を含み、ブロックベーストポロジーは非許可型ブロックチェーンである。
例７６２は、例７６１の主題を含み、デジタル署名は、楕円曲線暗号（ＥＣＣ）プロトコルに基づく。
例７６３は、例７６０から７６２のいずれか一項の主題を含み、ブロックを検証することは、コンセンサスプロトコルの時間的制約を使用してセンサデータのタイムスタンプを検証することを含む。
例７６４は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、ブロックベーストポロジーのブロックを第１自律車両で受信することであって、ブロックは、第２自律車両に結合されたセンサからのセンサデータ、および、センサデータに関連付けられたデジタル署名を含む、こと、デジタル署名を検証すること、および、デジタル署名の検証に応答して、第１自律車両のロジックユニットにブロックを伝達することを機械に行わせる。
例７６５は、例７６４の主題を含み、ブロックベーストポロジーは、ブロックチェーンまたは有向非巡回グラフ（ＤＡＧ）の１または複数を含む。
例７６６は、例７６４の主題を含み、ブロックベーストポロジーは、許可型ブロックチェーンである。
例７６７は、例７６４から７６６のいずれか一項の主題を含み、デジタル署名は、一時的公開鍵に基づいて生成された秘密鍵を使用して検証される。
例７６８は、例７６７の主題を含み、一時的公開鍵は、楕円曲線ディフィー・ヘルマン鍵共有に基づく。
例７６９は、例７６４から７６８のいずれか一項の主題を含み、命令は更に、実行されるとき、ブロックから１または複数のスマートコントラクトを抽出することを機械に行わせる。
例７７０は、車両の複数のセンサによってサンプリングされたセンサデータを取得する段階と、サンプリングされたセンサデータに関連付けられたコンテキストを決定する段階と、コンテキストに基づいて、車両のセンサについてのサンプリングレートのグループ、または、センサデータの融合を実行するために使用されるセンサについての重みのグループの一方または両方を決定する段階とを備える方法である。
例７７１は、例７７０の主題を含み、サンプリングされたセンサデータを入力として受信する機械学習アルゴリズムの出力としてコンテキストを提供する段階を更に備える。
例７７２は、例７７１の主題を含み、機械学習アルゴリズムは、データセットをグラウンドトゥルースとして使用して訓練され、各データセットは、コンテキスト、複数のセンサについてのサンプリングレート、および、安全性結果を含む。
例７７３は、例７７０から７７２のいずれかの主題を含み、入力として複数のセンサからコンテキストを受信し、重みのグループを出力する融合コンテキストディクショナリを使用して、センサについての重みグループを提供する段階を更に備える。
例７７４は、例７７３の主題を含み、融合コンテキストディクショナリは、グラウンドトゥルースとしてコンテキスト情報およびオブジェクトの場所を使用して機械学習アルゴリズムを訓練することによって提供される。
例７７５は、例７７０から７７４のいずれかの主題を含み、コンテキストは、車両のセンサについてのサンプリングレートのグループ、および、センサデータの融合を実行するために使用されるセンサについての重みのグループを決定するために使用される。
例７７６は、例７７０から７７５のいずれかの主題を含み、重みのグループに基づいて、複数のセンサからのサンプルを組み合わせる段階を更に備える。
例７７７は、例７７０から７７６のいずれかの主題を含み、強化学習モデルを使用してコンテキストに基づいて重みのグループを決定する段階を更に備える。
例７７８は、例７７７の主題を含み、強化学習モデルは、センササンプルの環境およびコンテキストを使用して訓練される。
例７７９は、例７７７から７７８のいずれかの主題を含み、強化学習モデルは、オブジェクト追跡の正確度、および、電力消費の最小化に基づく報酬を使用して訓練される。
例７８０は、例７７０から７７９の方法の１または複数を実行するための手段を備えるシステムである。
例７８１は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、車両の複数のセンサによってサンプリングされたセンサデータを取得すること、サンプリングされたセンサデータに関連付けられたコンテキストを決定すること、コンテキストに基づいて、車両のセンサについてのサンプリングレートのグループ、または、センサデータの融合を実行するために使用されるセンサについての重みのグループの一方または両方を決定することを機械に行わせる。
例７８２は、例７８１の主題を含み、命令は更に、実行されるとき、サンプリングされたセンサデータを入力として受信する機械学習アルゴリズムの出力としてコンテキストを提供することを機械に行わせる。
例７８３は、例７８２の主題を含み、機械学習アルゴリズムは、データセットをグラウンドトゥルースとして使用して訓練され、各データセットは、コンテキスト、複数のセンサについてのサンプリングレート、および、安全性結果を含む。
例７８４は、例７８１から７８３のいずれかの主題を含み、命令は更に、実行されるとき、入力として複数のセンサからコンテキストを受信し、重みのグループを出力する融合コンテキストディクショナリを使用して、センサについての重みグループを提供することを機械に行わせる。
例７８５は、例７８４の主題を含み、融合コンテキストディクショナリは、グラウンドトゥルースとしてコンテキスト情報およびオブジェクトの場所を使用して機械学習アルゴリズムを訓練することによって提供される。
例７８６は、例７８１から７８５のいずれかの主題を含み、コンテキストは、車両のセンサについてのサンプリングレートのグループ、および、センサデータの融合を実行するために使用されるセンサについての重みのグループを決定するために使用される。
例７８７は、例７８１から７８６のいずれかの主題を含み、命令は更に、実行されるとき、重みのグループに基づいて、複数のセンサからのサンプルを組み合わせることを機械に行わせる。
例７８８は、例７８１から７８７のいずれかの主題を含み、命令は更に、実行されるとき、強化学習モデルを使用してコンテキストに基づいて重みのグループを決定することを機械に行わせる。
例７８９は、例７８８の主題を含み、強化学習モデルは、センササンプルの環境およびコンテキストを使用して訓練される。
例７９０は、例７８８から７８９のいずれかの主題を含み、強化学習モデルは、オブジェクト追跡の正確度、および、電力消費の最小化に基づく報酬を使用して訓練される。
例７９１は、変調された光信号を交通車両からの対象の自律車両で受信する段階と、変調された光信号をサンプリングする段階と、サンプリングされた光信号を復調して、交通車両についての位置情報を取得する段階と、自己のセンサ融合プロセスにおける交通車両の位置情報を使用する段階とを備える方法である。
例７９２は、例７９１の主題を含み、変調された光信号は、特定の周波数でサンプリングされる。
例７９３は、例７９２の主題を含み、特定の周波数は事前に選択される。
例７９４は、例７９２の主題を含み、特定の周波数は、イベントに基づいて選択される。
例７９５は、例７９１の主題を含み、変調された光信号は、交通車両の存在の検出に応答してサンプリングされる。
例７９６は、例７９１の主題を含み、位置情報は、度分秒フォーマットで交通車両の地理座標を含む。
例７９７は、例７９１の主題を含み、交通車両についてのサイズ情報を更に取得するために変調光は復調され、サイズ情報は、交通車両の長さ、幅または高さのうち１または複数を含む。
例７９８は、例７９１から７９７のいずれか一項の主題を含み、変調光はＬｉ－Ｆｉプロトコルに従って送信される。
例７９９は、例７９１から７９７のいずれか一項の主題を含み、変調された光信号は、オンオフキーイング（ＯＯＫ）、振幅シフトキーイング（ＡＳＫ）、可変パルス位置変調（ＶＰＰＭ）、または色相偏移変調（ＣＳＫ）に従って変調される。
例８００は、例７９１から７９７のいずれか一項の主題を含み、変調光は、３７５ｎｍから７８０ｎｍの間の波長を有する可視光、赤外線、および紫外線のうち１または複数を含む。
例８０１は、例７９１から８００の方法のうち１または複数を実行するための手段を備えるシステムである。
例８０２は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、変調された光信号を交通車両からの対象の自律車両で受信すること、変調された光信号をサンプリングすること、サンプリングされた光信号を復調して、交通車両についての位置情報を取得すること、および、自己のセンサ融合プロセスにおける交通車両の位置情報を使用することを機械に行わせる。
例８０３は、例８０２の主題を含み、変調された光信号は特定の周波数でサンプリングされる。
例８０４は、例８０３の主題を含み、特定の周波数は事前に選択される。
例８０５は、例８０３の主題を含み、特定の周波数は、イベントに基づいて選択される。
例８０６は、例８０２の主題を含み、変調された光信号は、交通車両の存在の検出に応答してサンプリングされる。
例８０７は、例８０２の主題を含み、位置情報は、度分秒フォーマットで交通車両の地理座標を含む。
例８０８は、例８０２の主題を含み、交通車両についてのサイズ情報を更に取得するために変調光は復調され、サイズ情報は、交通車両の長さ、幅または高さのうち１または複数を含む。
例８０９は、例８０２から８０８のいずれか一項の主題を含み、変調光は、Ｌｉ－Ｆｉプロトコルに従って送信される。
例８１０は、例８０２から８０８のいずれか一項の主題を含み、変調された光信号は、オンオフキーイング（ＯＯＫ）、振幅シフトキーイング（ＡＳＫ）、可変パルス位置変調（ＶＰＰＭ）、または色相偏移変調（ＣＳＫ）に従って変調される。
例８１１は、例８０２から８０８のいずれか一項の主題を含み、変調光は、３７５ｎｍから７８０ｎｍの間の波長を有する可視光、赤外線、および紫外線のうち１または複数を含む。
例８１２は、自律車両に結合されたセンサからセンサデータを取得する段階と、センサ抽象化プロセスをセンサデータに適用して、抽象化シーンデータを生成する段階であって、センサ抽象化プロセスは、応答正規化プロセスをセンサデータに適用すること、変形プロセスをセンサデータに適用すること、フィルタリングプロセスをセンサデータに適用することのうち１または複数を含む、段階と、自律車両についての制御プロセスの知覚フェーズにおいて抽象化シーンデータを使用する段階とを備える方法である。
例８１３は、例８１２の主題を含み、センサデータは、第１センサからの第１センサデータおよび第２センサからの第２センサデータを含み、第１センサおよび第２センサは、同じセンサタイプであり、センサ抽象化プロセスの適用は、それぞれの応答正規化プロセスを第１センサデータおよび第２センサデータの各々に適用すること、それぞれの変形プロセスを第１センサデータおよび第２センサデータの各々に適用すること、および、フィルタリングプロセスを第１センサデータおよび第２センサデータの組み合わせに適用することのうち１または複数を含む。
例８１４は、例８１２の主題を含み、センサデータは、第１センサからの第１センサデータおよび第２センサからの第２センサデータを含み、第１センサおよび第２センサは異なるセンサタイプであり、センサ抽象化プロセスの適用は、それぞれの応答正規化プロセスを第１センサデータおよび第２センサデータの各々に適用すること、それぞれの変形プロセスを第１センサデータおよび第２センサデータの各々に適用すること、ならびに、それぞれのフィルタリングプロセスを第１センサデータおよび第２センサデータの各々に適用して、第１センサデータに対応する第１抽象化シーンデータおよび第２センサデータに対応する第２抽象化シーンデータを生成することのうち１または複数を含み、方法は更に、融合プロセスを第１および第２抽象化シーンデータに適用する段階を備え、融合された第１および第２抽象化シーンデータは、知覚フェーズにおいて使用される。
例８１５は、例８１２から８１４のいずれか一項の主題を含み、応答正規化プロセスの適用は、イメージの画素値の正規化、イメージのビット深度の正規化、イメージの色空間の正規化、および、ＬＩＤＡＲデータにおける深度または距離の値の範囲の正規化のうち１または複数を含む。
例８１６は、例８１２から８１４のいずれか一項の主題を含み、応答正規化プロセスの適用は、センサ応答のモデルに基づく。
例８１７は、例８１２から８１４のいずれか一項の主題を含み、変形プロセスの適用は、空間アップスケールオペレーション、ダウンスケールオペレーション、センサに関連付けられた幾何学的影響についての補正処理、および、センサの動きについての補正処理のうち１または複数を実行することを含む。
例８１８は、例８１２から８１４のいずれか一項の主題を含み、変形プロセスの適用は、センサ構成情報に基づく。
例８１９は、例８１２から８１４のいずれか一項の主題を含み、フィルタリングプロセスの適用は、カルマンフィルタ、カルマンフィルタの変形、粒子フィルタ、ヒストグラムフィルタ、情報フィルタ、ベイズフィルタ、およびガウスフィルタのうち１または複数の適用を含む。
例８２０は、例８１２から８１４のいずれか一項の主題を含み、フィルタリングプロセスの適用は、センサについてのモデルおよびシーンモデルの１または複数に基づく。
例８２１は、例８１２から８１４のいずれか一項の主題を含み、フィルタリングプロセスの適用は、センサデータの有効性を決定すること、および、センサデータが無効であるという決定に応答してセンサデータを破棄することを含む。
例８２２は、例８１２から８２１の方法の１または複数を実行するための手段を備えるシステムである。
例８２３は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、自律車両に結合されたセンサからセンサデータを取得すること、センサ抽象化プロセスをセンサデータに適用して、抽象化シーンデータを生成することであって、センサ抽象化プロセスは、応答正規化プロセスをセンサデータに適用すること、変形プロセスをセンサデータに適用すること、フィルタリングプロセスをセンサデータに適用することのうち１または複数を含む、こと、および、自律車両についての制御プロセスの知覚フェーズにおいて抽象化シーンデータを使用することを機械に行わせる。
例８２４は、例８２３の主題を含み、センサデータは、第１センサからの第１センサデータおよび第２センサからの第２センサデータを含み、第１センサおよび第２センサは、同じセンサタイプであり、センサ抽象化プロセスの適用は、それぞれの応答正規化プロセスを第１センサデータおよび第２センサデータの各々に適用すること、それぞれの変形プロセスを第１センサデータおよび第２センサデータの各々に適用すること、および、フィルタリングプロセスを第１センサデータおよび第２センサデータの組み合わせに適用することのうち１または複数を含む。
例８２５は、例８２３の主題を含み、センサデータは、第１センサからの第１センサデータおよび第２センサからの第２センサデータを含み、第１センサおよび第２センサは異なるセンサタイプであり、センサ抽象化プロセスの適用は、それぞれの応答正規化プロセスを第１センサデータおよび第２センサデータの各々に適用すること、それぞれの変形プロセスを第１センサデータおよび第２センサデータの各々に適用すること、ならびに、それぞれのフィルタリングプロセスを第１センサデータおよび第２センサデータの各々に適用して、第１センサデータに対応する第１抽象化シーンデータおよび第２センサデータに対応する第２抽象化シーンデータを生成することのうち１または複数を含み、記憶媒体は更に、融合プロセスを第１および第２抽象化シーンデータに適用することを備え、融合された第１および第２抽象化シーンデータは、知覚フェーズにおいて使用される。
例８２５は、例８２３から８２５のいずれか一項の主題を含み、応答正規化プロセスの適用は、イメージの画素値の正規化、イメージのビット深度の正規化、イメージの色空間の正規化、および、ＬＩＤＡＲデータにおける深度または距離の値の範囲の正規化のうち１または複数を含む。
例８２７は、例８２３から８２５のいずれか一項の主題を含み、応答正規化プロセスの適用は、センサ応答のモデルに基づく。
例８２８は、例８２３から８２５のいずれか一項の主題を含み、変形プロセスの適用は、空間アップスケールオペレーション、ダウンスケールオペレーション、センサに関連付けられた幾何学的影響についての補正処理、および、センサの動きについての補正処理のうち１または複数を実行することを含む。
例８２９は、例８２３から８２５のいずれか一項の主題を含み、変形プロセスの適用は、センサ構成情報に基づく。
例８３０は、例８２３から８２５のいずれか一項の主題を含み、フィルタリングプロセスの適用は、カルマンフィルタ、カルマンフィルタの変形、粒子フィルタ、ヒストグラムフィルタ、情報フィルタ、ベイズフィルタ、およびガウスフィルタのうち１または複数の適用を含む。
例８３１は、例８２３から８２５のいずれか一項の主題を含み、フィルタリングプロセスの適用は、センサについてのモデルおよびシーンモデルのうち１または複数に基づく。
例８３２は、例８２３から８２５のいずれか一項の主題を含み、フィルタリングプロセスの適用は、センサデータの有効性を決定すること、および、センサデータが無効であるという決定に応答してセンサデータを破棄することを含む。
例８３３は、車両の第１センサによって第１画像データをキャプチャする段階であって、第１画像データは第１分解能を有する、段階と、機械学習モデルを使用して、第１画像データを、第２分解能を有する第２イメージデータに変換する段階であって、第２分解能は第１分解能より高い、段階と、第２イメージデータに基づいて車両についてのオブジェクト検出オペレーションを実行する段階とを備える方法である。
例８３４は、例８３３の主題を含み、車両の第１センサはカメラを含む。
例８３５は、例８３３の主題を含み、車両の第１センサはＬＩＤＡＲを含む。
例８３６は、例８３３から８３５のいずれかの主題を含み、機械学習モデルは、第２センサによってキャプチャされた第３イメージ、および、第３イメージを変形することによって生成された第４イメージを含む訓練セットを使用して訓練され、第３イメージより低い分解能を有するように見せる。
例８３７は、例８３６の主題を含み、第４イメージは、ローパスフィルタの第３イメージへの適用、第３イメージのサブサンプリング、第３イメージのダウンサンプリング、第３イメージへのノイズの注入、または、第３イメージのチャネルのランダム化のうち１または複数のいずれかを使用して第３イメージを変形することによって生成される。
例８３８は、例８３３から８３６のいずれかの主題を含み、機械学習モデルは、第１分解能を有する第２センサによってキャプチャされた第３イメージ、および、第２分解能を有する第３センサによってキャプチャされた第４イメージを含む訓練セットを使用して訓練される。
例８３９は、例８３３から８３８のいずれかの主題を含み、機械学習モデルは、畳み込みニューラルネットワークアーキテクチャを含む。
例８４０は、例８３３から８３９のいずれかの主題を含み、機械学習モデルは生成系ニューラルネットワークを含む。
例８４１は、例８３３から８４０の方法のうち１または複数を実行するための手段を備えるシステムである。
例８４２は、自律車両スタックのタスクを実行するために機械学習モデルのアンサンブルを訓練する段階であって、アンサンブルは、第１分解能を有するイメージデータを使用して訓練された第１機械学習モデル、および、第２機械学習モデルを含む、段階と、機械学習モデルのアンサンブルの融合されたソフト予測目標と第３機械学習モデルのソフト予測目標との間の蒸留損失に少なくとも部分的に基づいて第３機械学習モデルを訓練する段階とを備える方法である。
例８４３は、例８４２の主題を含み、グラウンドトゥルースレベルと、第３機械学習モデルのハード予測目標との間の差を表す損失に更に基づいて第３機械学習モデルを訓練する段階を更に備える。
例８４４は、例８４２から８４３のいずれかの主題を含み、第１分解能を有するイメージデータは、１または複数のＬＩＤＡＲによってキャプチャされたデータである。
例８４５は、例８４２から８４３のいずれかの主題を含み、第１分解能を有するイメージデータは、１または複数のカメラによってキャプチャされるデータである。
例８４６は、例８４２から８４５のいずれかの主題を含み、第３機械学習モデルは、第２分解能を有するイメージデータを使用して訓練され、第２分解能は、第１分解能より低い。
例８４７は、例８４２から８４６のいずれかの主題を含み、第３機械学習モデルは、１または複数のカメラによってキャプチャされたイメージデータを使用して訓練される。
例８４８は、例８４２から８４６のいずれかの主題を含み、第３機械学習モデルは、１または複数のＬＩＤＡＲによってキャプチャされたイメージデータを使用して訓練される。
例８４９は、例８４２から８４８のいずれかの主題を含み、第３機械学習モデルは、１または複数のＬＩＤＡＲによってキャプチャされたイメージデータを使用して訓練された第４機械学習モデル、および、１または複数のカメラによってキャプチャされたイメージデータを使用して訓練される第５機械学習モデルの組み合わせである。
例８５０は、例８４２から８４９の方法のうち１または複数を実行するための手段を備えるシステムである。
例８５１は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、車両の第１センサによって第１画像データをキャプチャすることであって、第１画像データは第１分解能を有する、こと、機械学習モデルを使用して、第１画像データを、第２分解能を有する第２イメージデータに変換することであって、第２分解能は第１分解能より高い、こと、および、第２イメージデータに基づいて車両についてのオブジェクト検出オペレーションを実行することを機械に行わせる。
例８５２は、例８５１の主題を含み、車両の第１センサはカメラを含む。
例８５３は、例８５１の主題を含み、車両の第１センサはＬＩＤＡＲを含む。
例８５４は、例８５１から８５３のいずれかの主題を含み、機械学習モデルは、第２センサによってキャプチャされた第３イメージ、および、第３イメージを変形することによって生成された第４イメージを含む訓練セットを使用して訓練され、第３イメージより低い分解能を有するように見せる。
例８５５は、例８５４の主題を含み、第４イメージは、ローパスフィルタの第３イメージへの適用、第３イメージのサブサンプリング、第３イメージのダウンサンプリング、第３イメージへのノイズの注入、または、第３イメージのチャネルのランダム化のうち１または複数のいずれかを使用して第３イメージを変形することによって生成される。
例８５６は、例８５１から８５４のいずれかの主題を含み、機械学習モデルは、第１分解能を有する第２センサによってキャプチャされた第３イメージ、および、第２分解能を有する第３センサによってキャプチャされた第４イメージを含む訓練セットを使用して訓練される。
例８５７は、例８５１から８５５のいずれかの主題を含み、機械学習モデルは、畳み込みニューラルネットワークアーキテクチャを含む。
例８５８は、例８５１から８５６のいずれかの主題を含み、機械学習モデルは生成系ニューラルネットワークを含む。
例８５９は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、自律車両スタックのタスクを実行するために機械学習モデルのアンサンブルを訓練することであって、アンサンブルは、第１分解能を有するイメージデータを使用して訓練された第１機械学習モデル、および、第２機械学習モデルを含む、こと、および、機械学習モデルのアンサンブルの融合されたソフト予測目標と第３機械学習モデルのソフト予測目標との間の蒸留損失に少なくとも部分的に基づいて第３機械学習モデルを訓練することを機械に行わせる。
例８６０は、例８５９の主題を含み、グラウンドトゥルースレベルと、第３機械学習モデルのハード予測目標との間の差を表す損失に更に基づいて第３機械学習モデルを訓練する段階を更に備える。
例８６１は、例８５９から８６０のいずれかの主題を含み、第１分解能を有するイメージデータは、１または複数のＬＩＤＡＲによってキャプチャされたデータである。
例８６２は、例８５９から８６０のいずれかの主題を含み、第１分解能を有するイメージデータは、１または複数のカメラによってキャプチャされたデータである。
例８６３は、例８５９から８６２のいずれかの主題を含み、第３機械学習モデルは、第２分解能を有するイメージデータを使用して訓練され、第２分解能は、第１分解能より低い。
例８６４は、例８５９から８６３のいずれかの主題を含み、第３機械学習モデルは、１または複数のカメラによってキャプチャされたイメージデータを使用して訓練される。
例８６５は、例８５９から８６３のいずれかの主題を含み、第３機械学習モデルは、１または複数のＬＩＤＡＲによってキャプチャされたイメージデータを使用して訓練される。
例８６６は、例８５９から８６５のいずれかの主題を含み、第３機械学習モデルは、１または複数のＬＩＤＡＲによってキャプチャｓらえたイメージデータを使用して訓練された第４機械学習モデル、および、１または複数のカメラによってキャプチャされたイメージデータを使用して訓練される第５機械学習モデルの組み合わせである。
例８６７は、感知されたデータを格納するメモリと、第１自律車両の内部感知モジュールであって、第１自律車両によって感知されたデータを第２自律車両の外部感知モジュールに伝達することを開始する回路を含む、内部感知モジュールと、第１自律車両の外部感知モジュールであって、第２自律車両の内部感知モジュールからデータを受信する、第１自律車両の外部感知モジュールと、第１自律車両の協調型意思決定部であって、第２自律車両の協調型意思決定部との通信に基づいて、運転アクションを決定する回路を含む、協調型意思決定部とを備えるシステムである。
例８６８は、例８６７の主題を含み、第１自律車両の内部感知モジュールは、セマンティック言語を使用して第２自律車両の外部感知モジュールと通信する。
例８６９は、例８６７－８６８の１または複数のいずれかの主題を含み、第１自律車両の外部感知モジュールは、セマンティック言語を使用して、第２自律車両の内部感知モジュールと通信する。
例８７０は、例８６７から８６９の１または複数のいずれかの主題を含み、第１自律車両の協調型意思決定部は、セマンティック言語を使用して、第２自律車両の協調意思決定モジュールと通信する。
例８７１は、例８６７から８７０の１または複数のいずれかの主題を含み、第１自律車両の拡張された感知モジュールを更に備える。
例８７２は、例８６７から８７１の１または複数のいずれかの主題を含み、第１自律車両の協調型意思決定部と第２自律車両の協調型意思決定部との間で伝達されるデータは、第１自律車両または第２自律車両のアクションの計画に関するデータを含む。
例８７３は、例８６７から８７２の１または複数のいずれかの主題を含み、第１自律車両の内部感知モジュールは、第１自律車両によって感知されたデータを分析する。
例８７４は、例８６７から８７３の１または複数のいずれかの主題を含み、１または複数の外部エージェントから感知されたデータを使用して第１自律車両の周囲を表示するために、１または複数の外部エージェントから感知されたデータを受信する回路を含む仮想現実知覚モジュールを更に備える。
例８７５は、セマンティック言語を使用して第１自律車両から第２自律車両へデータを共有する段階を備える方法である。
例８７６は、例８７５の主題を含み、データは、１または複数の交通状況に関連するクリティカルデータを含む。
例８７７は、例８７５から８７６の１または複数のいずれかを実行するための手段を備えるシステムである。
例８７８は、例８７７の主題を含み、手段は、命令を含む少なくとも１つの機械可読媒体を備え、命令は実行されるとき、例８７５－８７６の１または複数のいずれかの方法を実装する。
例８７９は、回路を含む制御ユニットによって、車両のイメージセンサについての位置調整命令を生成する段階と、車両のイメージセンサからのイメージデータを制御ユニットで受信する段階と、イメージデータ内の車両のマーカの場所およびサイズを検出する段階と、制御ユニットによって、イメージデータ内の車両のマーカの場所およびサイズに基づいて、車両のイメージセンサについての第２位置調整命令を生成する段階とを備える方法である。
例８８０は、例８７９の主題を含み、位置調整命令は、車両のイメージセンサの水平回転の角度を指定する。
例８８１は、例８７９から８８０のいずれかの主題を含み、位置調整命令は、車両のイメージセンサの鉛直方向の回転の角度を指定する。
例８８２は、例８７９から８８１のいずれかの主題を含み、位置調整命令は、車両のイメージセンサの水平方向の動きの距離を指定する。
例８８３は、例８７９から８８２のいずれかの主題を含み、位置調整命令は、車両のイメージセンサの鉛直方向の動きの距離を指定する。
例８８４は、例８７９から８８３のいずれかの主題を含み、車両に関連付けられた検出された条件に応答して、イメージセンサについての位置調整命令を生成する段階を更に備える。
例８８５は、例８７９から８８４のいずれかの主題を含み、位置調整命令は、車両のイメージセンサの一連の定期的な位置調整命令の一部である。
例８８６は、例８７９から８８５のいずれかの主題を含み、車両のマーカは、車両の外側に配置され、車両の外側とは異なる色である。
例８８７は、例８７９から８８６の方法の１または複数を実行するための手段を備えるシステムである。
例８８８は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、回路を含む制御ユニットによって、車両のイメージセンサについての位置調整命令を生成すること、車両のイメージセンサからのイメージデータを制御ユニットで受信すること、イメージデータ内の車両のマーカの場所およびサイズを検出すること、制御ユニットによって、イメージデータ内の車両のマーカの場所およびサイズに基づいて、車両のイメージセンサについての第２位置調整命令を生成することを機械に行わせる。
例８８９は、例８８８の主題を含み、位置調整命令は、車両のイメージセンサの水平回転の角度を指定する。
例８９０は、例８８８から８８９のいずれかの主題を含み、位置調整命令は、車両のイメージセンサの鉛直方向の回転の角度を指定する。
例８９１は、例８８８から８９０のいずれかの主題を含み、位置調整命令は、車両のイメージセンサの水平方向の動きの距離を指定する。
例８９２は、例８８８から８９１のいずれかの主題を含み、位置調整命令は、車両のイメージセンサの鉛直方向の動きの距離を指定する。
例８９３は、例８８８から８９２のいずれかの主題を含み、命令は更に、車両に関連付けられた検出された条件に応答して、イメージセンサについての位置調整命令を生成することを機械に行わせるように実行可能である。
例８９４は、例８８８から８９３のいずれかの主題を含み、位置調整命令は、車両のイメージセンサの一連の定期的な位置調整命令の一部である。
例８９５は、例８８８から８９４のいずれかの主題を含み、車両のマーカは、車両の外側に配置され、車両の外側とは異なる色である。
例８９６は、ルート上の運転者の自律車両の少なくとも１つのハンドオフ場所を決定する段階と、運転者の特性に関する情報を受信する段階と、運転者の注意の現在の状態に関する情報を受信する段階と、少なくとも１つのハンドオフ場所の各々の間の予想される運転者挙動を決定する段階とを備える方法である。
例８９７は、例８９６の主題を含み、運転者の特性に関する情報は一般情報を含む。
例８９８は、例８９６から８９７の１または複数のいずれかの主題を含み、運転者の特性に関する情報は、運転者に固有の情報を含む。
例８９９は、例８９６から８９８の１または複数のいずれかの主題を含み、運転者がハンドオフの準備をできているかどうか決定する段階を更に備える。
例９００は、例８９９の主題を含み、運転者がハンドオフの準備をできていると決定することに応答して、車両の制御を運転者にハンドオーバする段階を更に備える。
例９０１は、例８９９の主題を含み、運転者がハンドオフの準備をできていない場合、ハンドオフの代替的手段を算出する段階を更に備える。
例９０２は、例９０１の主題を含み、代替的手段は、代替ルートの発見を含む。
例９０３は、例９０１の主題を含み、代替的手段は、車両を停止させることを含む。
例９０４は、例８９６から９０３の１または複数のいずれかの主題を含み、運転者の特性に関する情報を更新する段階を更に備える。
例９０５は、例８９６から９０４の１または複数のいずれかを実行する手段を備えるシステムである。
例９０６は、例９０５の主題を含み、手段は、命令を含む少なくとも１つの機械可読媒体を備え、命令は実行されるとき、例８９６から９０４の１または複数のいずれかの方法を実装する。
例９０７は、乗員アクティビティモニタリングモジュール、パーソナライズ乗員能力データベース、一般乗員能力データベース、ハンドオフ予測モジュール、実行評価および最適化モジュール、ならびに、ハンドオフ処理モジュールを備えるシステムである。
例９０８は、メモリ、メモリに結合されたプロセッサ、安全性モジュール、および、車両のセンサの健全性に少なくとも部分的に基づいて、車両の自律レベルスコアを決定するスコアモジュールを備えるシステムである。
例９０９は、例９０８の主題を含み、自律レベルスコアを表示する自動化レベルインジケータを更に備える。
例９１０は、例９０８から９０９の１または複数のいずれかの主題を含み、少なくとも１つの入力は、１または複数のセンサに関連するデータを含む。
例９１１は、例９０８から９１０の１または複数のいずれかの主題を含み、少なくとも１つの入力は、天候条件に関連するデータを含む。
例９１２は、例９０８から９１１の１または複数のいずれかの主題を含み、少なくとも１つの入力は、車両にとって利用可能な計算能力に関連するデータを含む。
例９１３は、例９０８から９１２の１または複数のいずれかの主題を含み、少なくとも１つの入力は、車両カスタマイズに関連するデータを含む。
例９１４は、例９０８から９１３の１または複数のいずれかの主題を含み、少なくとも１つの入力は、ユーザ体験に関連するデータを含む。
例９１５は、車両に関連する複数の入力を受信する段階と、複数の入力を重み付けする段階と、複数の重み付けされた入力を組み合わせる段階と、組み合わされた重み付けされた入力を使用して、車両についての自律レベルスコアを決定する段階とを備える方法である。
例９１６は、例９１５の主題を含み、自動化レベルインジケータ上に自律レベルスコアを表示することを更に備える。
例９１７は、例９１５から９１６の１または複数のいずれかの主題を含み、運転者の特性に関する情報を更新することを更に備える。
例９１８は、例９１５から９１７の１または複数のいずれかを実行するための手段を備えるシステムである。
例９１９は、例９１８の主題を含み、手段は、命令を含む少なくとも１つの機械可読媒体を含み、命令は実行されるとき、例９１５から９１７の１または複数のいずれかの任意の方法を実装する。
例９２０は、車両の寸法が修正されたかどうかを決定する段階と、新しい車両寸法を取得する段階と、新しい車両寸法に基づいて新しい車両モデルを生成する段階と、新しい車両モデルに基づいて自律車両スタックの１または複数のアルゴリズムを調整する段階とを備える方法である。
例９２１は、例９２０の主題を含み、車両の寸法が修正されたかどうかを決定する段階は、センサを使用して、ヒッチが係合したかどうかを決定する段階を含む。
例９２２は、例９２０から９２１の１または複数のいずれかの主題を含み、新しい車両寸法を取得する段階は、超音波走査を実行する段階を含む。
例９２３は、例９２０から９２１の１または複数のいずれかの主題を含み、新しい車両寸法を取得する段階は、ウォークスルー中に車両をスキャンする段階を含む。
例９２４は、例９２３の主題を含み、ウォークスルー中にスキャンする段階は、スマートフォンを使用する段階を含む。
例９２５は、例９２０から９２４の１または複数のいずれかの主題を含み、車両寸法が変化したときに、運転者に新しい車両寸法を催促する段階を更に備える。
例９２６は、例９２０から９２５の１または複数のいずれかの主題を含み、車両の寸法が修正された後に、車両の自律レベルを決定する段階を更に備える。
例９２７は、例９２０から９２６の１または複数のいずれかの主題を含み、センサを使用して新しい車両寸法を確認する段階を更に備える。
例９２８は、例９２０から９２７の１または複数のいずれかを実行するための手段を備えるシステムである。
例９２９は、命令が格納された非一時的機械可読記憶媒体であり、命令は機械によって実行されるとき、車両の寸法が修正されたかどうかを決定すること、新しい車両寸法を取得すること、新しい車両寸法に基づいて新しい車両モデルを生成すること、および、新しい車両モデルに基づいて自律車両スタックの１または複数のアルゴリズムを調整することを機械に行わせる。
例９３０は、例９２９の主題を含み、車両の寸法が修正されたかどうかを決定する段階は、センサを使用して、ヒッチが係合されたかどうかを決定する段階を含む。
例９３１は、例９２９から９３０の１または複数のいずれかの主題を含み、新しい車両寸法を取得する段階は、超音波走査を実行する段階を含む。
例９３２は、例９２９から９３０の１または複数のいずれかの主題を含み、新しい車両寸法を取得する段階は、ウォークスルー中に車両をスキャンする段階を含む。
例９３３は、例９３２の主題を含み、ウォークスルー中にスキャンする段階は、スマートフォンを使用する段階を含む。
例９３４は、例９２９から９３３の１または複数のいずれかの主題を含み、命令は更に、車両寸法が変化したときに運転者に新しい車両寸法を催促することを機械に行わせるように実行可能である。
例９３５は、例９２９から９３４の１または複数のいずれかの主題を含み、命令は更に、車両の寸法が修正された後に、車両の自律レベルを決定することを機械に行わせるように実行可能である。
例９３６は、例９２９から９３５の１または複数のいずれかの主題を含み、命令は更に、センサを使用して新しい車両寸法を確認することを機械に行わせるように実行可能である。
例９３７は、車両の複数のセンサからセンサデータを受信するための少なくとも１つのインタフェースと、センサデータに基づいて経路計画に従って車両の運転を自律的に制御し、車両の自律制御を中止すべきであると決定し、ハンドオフ要求をリモートコンピューティングシステムへ送信するための１または複数のプロセッサとを備える装置を含み、リモートコンピューティングシステムは、リモートバレットサービスを提供し、リモートコンピューティングシステムから運転命令データを受信し、運転命令データに含まれる命令に基づいて、車両の運転を制御する。
例９３８は、例９３７の例を含み、運転命令データは、リモートコンピューティングシステムにおける人間のユーザの入力に基づいて生成される。
例９３９は、例９３７から９３８のいずれか一項を含み、１または複数のプロセッサは、停車イベントを検出し、車両は、停車イベントに関連して、停車して運転を中止し、ハンドオフ要求は、停車イベントに応答して送信される。
例９４０は、例９３７から９３８のいずれか一項を含み、車両の自律制御を中止すべきであると決定することは、特定の機械学習モデルを使用して、経路計画の今後の区間に関する条件が、今後の区間中の自律運転に対して困難を提示すると予測することを含む。
例９４１は、例９３７から９４０のいずれか一項を含み、１または複数のプロセッサは、車両の１または複数の損なわれたセンサの検出に基づいて、車両の自律制御を中止すべきであると決定する。
例９４２は、例９３７から９４１のいずれか一項を含み、１または複数のプロセッサは、車両内に適格な乗員が存在しないと決定し、ハンドオフ要求は、適格な乗員が存在しないという決定に少なくとも部分的に基づいて送信される。
例９４３は、例９３７から９４２のいずれか一項を含み、１または複数のプロセッサは、センサデータをリモートコンピューティングシステムへ送信し、車両の周囲の動的表現をリモートコンピューティングシステムのユーザに提示する。
例９４４は、例９４３の装置を含み、センサデータは、ビデオデータを含む。
例９４５は、例９３７から９４４のいずれか一項を含み、１または複数のプロセッサは、車両の制御がリモートバレットサービスにハンドオーバされると識別するために、車両の乗員による消費についてのアラートを伝達する。
例９４６は、例９３７から９４５のいずれか一項の装置を含み、１または複数のプロセッサは、経路計画に沿った条件の変化を検出し、車両の運転の制御をリモートバレットサービスから車両の自律運転ロジックに戻す。
例９４７は、車両の一組のセンサから生成されたセンサデータに基づいて、経路計画に従って車両の運転を自律的に制御する段階と、車両の自律制御を中止すべきであると決定する段階と、ハンドオフ要求をリモートコンピューティングシステムへ送信する段階であって、リモートコンピューティングシステムは、リモートバレットサービスを提供する、段階と、リモートコンピューティングシステムから運転命令データを受信し、運転命令データに含まれる命令に基づいて車両の運転を制御する段階とを備える方法である。
例９４８は、例９４７の方法を含み、運転命令データは、リモートコンピューティングシステムにおける人間のユーザの入力に基づいて生成される。
例９４９は、例９４７から９４８のいずれか一項の方法を含み、停車イベントを検出する段階を更に備え、車両は、停車イベントに関連して、停車して運転を中止し、ハンドオフ要求は、停車イベントに応答して送信される。
例９５０は、例９４７から９４８のいずれか一項の方法を含み、車両の自律制御を中止すべきであると決定することは、特定の機械学習モデルを使用して、経路計画の今後の区間に関する条件が、今後の区間中の自律運転に対して困難を提示すると予測することを含む。
例９５１は、例９４７から９５０のいずれか一項の方法を含み、車両上の１または複数の損なわれたセンサの検出に基づいて、車両の自律制御を中止すべきであると決定される。
例９５２は、例９４７から９５１のいずれか一項の方法を含み、車両内に適格な乗員が存在しないと決定する段階を更に備え、ハンドオフ要求は、適格な乗員が存在しないという決定に少なくとも部分的に基づいて送信される。
例９５３は、例９４７から９５２のいずれか一項の方法を含み、センサデータをリモートコンピューティングシステムへ送信して、車両の周囲の動的表現をリモートコンピューティングシステムのユーザに提示する段階を更に備える。
例９５４は、例９５３の方法を含み、センサデータはビデオデータを含む。
例９５５は、例９４７から９５４のいずれか一項を含み、車両の制御がリモートバレットサービスにハンドオーバされることを識別するために、車両の乗員による消費のためにアラートを提示する段階を更に備える。
例９５６は、例９４７から９５５のいずれか一項の方法を含み、経路計画に沿った条件の変化を検出する段階と、車両の運転の制御をリモートバレットサービスから車両の自律運転ロジックに戻す段階とを更に備える。
例９５７は、車両の一組のセンサから生成されたセンサデータに基づいて、経路計画に従って、車両の運転を自律的に制御する手段と、車両の自律制御を中止するべきと決定する手段と、ハンドオフ要求をリモートコンピューティングシステムへ送信する手段であって、リモートコンピューティングシステムはリモートバレットサービスを提供する、手段と、リモートコンピューティングシステムから運転命令データを受信する手段と、運転命令データに含まれる命令に基づいて、車両の運転を制御する手段とを備えるシステムを含む。
例９５８は、例９５７のシステムを含み、運転命令データは、リモートコンピューティングシステムにおける人間のユーザの入力に基づいて生成される。
例９５９は、例９５７から９５８のいずれかのシステムを含み、停車イベントを検出する手段を更に備え、車両は、停車イベントに関連して、停車して運転を中止し、ハンドオフ要求は、停車イベントに応答して送信される。
例９６０は、例９５７のシステムを含み、車両の自律制御を中止すべきであると決定することは、特定の機械学習モデルを使用して、経路計画の今後の区間に関する条件が、今後の区間中の自律運転に対して困難を提示すると予測することを含む。
例９６１は、命令が格納されたコンピュータ可読媒体を含み、命令は機械によって実行されるとき、車両の一組のセンサから生成されたセンサデータに基づいて、経路計画に従って車両の運転を自律的に制御すること、車両の自律制御を中止すべきであると決定すること、ハンドオフ要求をリモートコンピューティングシステムへ送信することであって、リモートコンピューティングシステムは、リモートバレットサービスを提供する、こと、リモートコンピューティングシステムから運転命令データを受信し、運転命令データに含まれる命令に基づいて車両の運転を制御することを機械に実行させる。
例９６２は、コンピューティング端末デバイスにおいて人間のユーザにユーザインタフェースを提供する段階と、自律的に運転するよう構成される車両からハンドオフ要求を受信する段階と、車両の周囲の環境を記述するセンサデータをリモートセンサデバイスから受信する段階と、センサデータに基づいて、ユーザインタフェース上に環境の表現を提示する段階と、表現に応答して、コンピューティング端末デバイスにおいてユーザ入力を受信する段階であって、ユーザ入力は、環境内の車両の運転を指示するための入力を含む、段階と、ユーザ入力に従って、車両をリモートに運転するために、ユーザ入力に対応する車両へ命令データを送信する段階とを備える方法を含む。
例９６３は、例９６２の方法を含み、ハンドオフ要求は車両の場所を識別する。
例９６４は、例９６３の方法を含み、更に、場所に対応するセンサデバイスを決定する段階であって、センサデバイスは、車両の外部にある、段階と、センサデバイスから補完センサデータにアクセスする段階であって、表現は、補完センサデータに少なくとも部分的に基づいて提示される、段階とを備える。
例９６５は、例９６２から９６４のいずれか一項の方法を含み、センサデバイスは車両上のセンサデバイスを含む。
例９６６は、例９６２から９６５のいずれか一項の方法を含み、センサデバイスは、車両とは別個のセンサデバイスを含む。
例９６７は、例９６２から９６６のいずれか一項の方法を含み、更に、車両の運転の制御を車両に戻すための要求を車両から受信する段階と、制御を戻す確認を車両へ送信する段階と、車両へ命令データを伝送することを中止する段階とを備える。
例９６８は、例９６２から９６６のいずれか一項の方法を含み、リモートバレットサービスによる車両の制御中にユーザ入力に基づいて、環境および車両の性能を記述するレポートデータを生成する段階と、レポートデータをクラウドベースシステムへ送信する段階とを更に備える。
例９６９は、例９６２から９６８のいずれか一項の方法を実行する手段を備えるシステムを含む。
例９７０は、例９６９のシステムを含み、手段は、命令を格納するためのコンピュータ可読媒体を含み、命令は、機械によって実行されるとき、例９６２から９６８のいずれか一項の方法の少なくとも一部を機械に実行させる。
例９７１は、車両上のセンサのセットからセンサデータを生成する段階と、車両についての経路計画を決定する段階と、１または複数の機械学習モデルおよびセンサデータに基づいて、経路計画に従って、車両の運転を自律的に制御する段階と、経路計画の今後の一部に関する条件を識別する段階と、条件に基づいて車両の運転の制御をリモートバレットサービスへハンドオフする機会を決定する段階と、機会に基づいて、ハンドオフ要求をリモートコンピューティングシステムへ送信する段階であって、リモートコンピューティングシステムは、リモートバレットサービスを提供する段階と、リモートコンピューティングシステムから運転命令データを受信する段階と、命令データに含まれる命令に応答して車両の運転を自動化する段階とを備える方法を含む。
例９７２は、例９７１の方法を含み、ハンドオフおよびハンドオフに対応する条件を識別するレポートデータを別のコンピューティングシステムへ送信する段階を更に備える。
例９７３は、例９７２の方法を含み、レポートデータはクラウドベースのアプリケーションへ送信される。
例９７４は、例９７２から９７３のいずれか一項の方法を含み、レポートデータは路肩ユニットへ送信される。
例９７５は、例９７１から９７４のいずれか一項の方法を含み、条件は、別のコンピューティングシステムから受信されたデータから識別される。
例９７６は、例９７５の方法を含み、条件は、機械学習モデルの適用を通じて識別され、他のシステムからのデータは、機械学習モデルへの入力として提供される。
例９７７は、例９７６の方法を含み、機械学習モデルは、リモートバレットサービスへのハンドオフまたは停車イベントのいずれかの他のインスタンスをレポートするデータに基づいて訓練される。
例９７８は、例９７１から９７７のいずれか一項の方法を含み、ハンドオフ要求は、停車イベントを回避するために送信される。
例９７９は、例９７１から９７８のいずれか一項の方法を含み、機会は、車両の自律運転機能の性能が条件を考慮して不十分であるという予測に対応する。
例９８０は、例９７１から９７９のいずれか一項の方法を含み、機会は、センサデータに含まれる情報に少なくとも部分的に基づいて決定される。
例９８１は、例９７１から９８０のいずれか一項の方法を含み、追加のデータにアクセスする段階と、追加のデータに基づいて、今後の経路に従う経路計画の別の一部に関する条件の改善を予測する段階と、予測される条件の改善に基づいて、制御を車両に返すことを要求するために要求データをリモートコンピューティングシステムへ送信する段階と、車両の運転の自律的制御を再開する段階とを更に備える。
例９８２は、例９７１から９８１のいずれか一項の方法を含み、制御をハンドオフする機会を決定する段階は、停車イベントを検出する段階を含む。
例９８３は、例９８２の方法を含み、停車イベントに関連付けられたセンサデータから条件を決定する段階と、条件を記述するデータをリモートコンピューティングシステムにアップロードする段階とを更に備える。
例９８４は、例９７１から９８３のいずれか一項の方法を実行するための手段を備えるシステムを含む。
例９８５は、例９８４のシステムを含み、手段は、命令を格納するためのコンピュータ可読媒体を含み、命令は、機械によって実行されるとき、例９７１から９８３のいずれか一項の方法の少なくとも一部を機械に実行させる。
例９８６は、自律車両に結合されたセンサからセンサデータを取得する段階と、センサ抽象化プロセスをセンサデータに適用して、抽象化シーンデータを生成する段階であって、センサ抽象化プロセスは、応答正規化プロセスをセンサデータに適用すること、変形プロセスをセンサデータに適用すること、フィルタリングプロセスをセンサデータに適用することのうち１または複数を含む、段階と、自律車両についての制御プロセスの知覚フェーズにおいて抽象化シーンデータを使用する段階とを備える方法である。
例９８７は、例９８６の主題を含み、センサデータは、第１センサからの第１センサデータおよび第２センサからの第２センサデータを含み、第１センサおよび第２センサは、同じセンサタイプであり、センサ抽象化プロセスの適用は、それぞれの応答正規化プロセスを第１センサデータおよび第２センサデータの各々に適用すること、それぞれの変形プロセスを第１センサデータおよび第２センサデータの各々に適用すること、および、フィルタリングプロセスを第１センサデータおよび第２センサデータの組み合わせに適用することのうち１または複数を含む。
例９８８は、例９８６の主題を含み、センサデータは、第１センサからの第１センサデータおよび第２センサからの第２センサデータを含み、第１センサおよび第２センサは異なるセンサタイプであり、センサ抽象化プロセスの適用は、それぞれの応答正規化プロセスを第１センサデータおよび第２センサデータの各々に適用すること、それぞれの変形プロセスを第１センサデータおよび第２センサデータの各々に適用すること、ならびに、それぞれのフィルタリングプロセスを第１センサデータおよび第２センサデータの各々に適用して、第１センサデータに対応する第１抽象化シーンデータおよび第２センサデータに対応する第２抽象化シーンデータを生成することのうち１または複数を含み、方法は更に、融合プロセスを第１および第２抽象化シーンデータに適用する段階を備え、融合された第１および第２抽象化シーンデータは、知覚フェーズにおいて使用される。
例９８９は、例Ｎ１から９８８のいずれか一項の主題を含み、応答正規化プロセスの適用は、イメージの画素値の正規化、イメージのビット深度の正規化、イメージの色空間の正規化、および、ＬＩＤＡＲデータにおける深度または距離の値の範囲の正規化のうち１または複数を含む。
例９９０は、例９８６から９８８のいずれか一項の主題を含み、応答正規化プロセスの適用は、センサ応答のモデルに基づく。
例９９１は、例９８６から９８８のいずれか一項の主題を含み、変形プロセスの適用は、空間アップスケールオペレーション、ダウンスケールオペレーション、センサに関連付けられた幾何学的影響についての補正処理、および、センサの動きについての補正処理のうち１または複数を実行することを含む。
例９９２は、例９８６から９８８のいずれか一項の主題を含み、変形プロセスの適用は、センサ構成情報に基づく。
例９９３は、例９８６から９８８のいずれか一項の主題を含み、フィルタリングプロセスの適用は、カルマンフィルタ、カルマンフィルタの変形、粒子フィルタ、ヒストグラムフィルタ、情報フィルタ、ベイズフィルタ、およびガウスフィルタのうち１または複数の適用を含む。
例９９４は、例９８６から９８８のいずれか一項の主題を含み、フィルタリングプロセスの適用は、センサについてのモデルおよびシーンモデルのうち１または複数に基づく。
例９９５は、例９８６から９８８のいずれか一項の主題を含み、フィルタリングプロセスの適用は、センサデータの有効性を決定し、センサデータが無効であるという決定に応答してセンサデータを破棄することを含む。
例９９６は、メモリ、および、例９８６から９９５の方法の１または複数を実行するためにメモリに結合された処理回路を備える装置である。
例９９７は、例９８６から９９５の方法の１または複数を実行するための手段を備えるシステムである。
例９９８は、少なくとも１つのコンピュータプロセッサによって実行されるとき、少なくとも１つのコンピュータプロセッサが例９８６から９９５の方法のうち１または複数のオペレーションを実装することを可能にするように動作可能であるコンピュータ実行可能命令を含む１または複数の有形コンピュータ可読非一時的記憶媒体を備える製品である。
こうして、主題に関する特定の実施形態が説明された。他の実施形態が、以下の特許請求の範囲内である。いくつかの場合において、特許請求の範囲において列挙される複数のアクションは、異なる順序で実行され、なおも所望の結果を実現し得る。加えて、添付図面に示した処理は、望ましい結果を実現するために、示されている特定の順序または順番を必ずしも必要とするものではない。
他の可能な項目
（項目１）
命令を格納した少なくとも１つの非一時的機械可読記憶媒体であって、上記命令は上記機械によって実行されるとき、上記機械に、
複数のセンサからセンサデータを受信することであって、上記複数のセンサは第１セットのセンサおよび第２セットのセンサを含み、上記複数のセンサの少なくとも一部は車両に結合される、こと、
上記第１セットのセンサによって生成された上記センサデータの少なくとも一部に基づいて、上記車両におけるプロセッサを使用して、上記車両の制御を自動化すること、
上記車両におけるプロセッサを使用して、上記第２セットのセンサによって生成されたセンサデータから上記自律車両内の１または複数の乗員の乗員属性を決定すること、および、
上記乗員属性、および、上記第１セットのセンサによって生成された上記センサデータに基づいて上記車両の車両属性を修正すること
を行わせる、記憶媒体。
（項目２）
上記車両の自動制御は、上記車両の第１経路を決定すること、および、上記乗員属性に基づいて上記車両属性を修正して上記第１経路を第２経路に変更することであって、上記車両の後の自動化制御は上記第２経路に基づく、ことを含む、項目１に記載の記憶媒体。
（項目３）
上記車両属性は、上記車両の車室の物理的属性を含み、上記乗員は上記車室内にいる、項目１から２のいずれか一項に記載の記憶媒体。
（項目４）
上記車室は、上記乗員の快適性を促進するよう構成される１または複数のデバイスを含み、上記車両属性の修正は、上記１または複数のデバイスを自律的に調整することを含む、項目３に記載の記憶媒体。
（項目５）
上記車両属性を修正することは、上記車両の自動化された制御および上記乗員属性に関連付けられたナビゲーション計画に基づいて、ユーザインタフェースデバイスを使用して、レコメンドを上記乗員に提示することを含む、項目１から４のいずれか一項に記載の記憶媒体。
（項目６）
上記レコメンドは、上記乗員属性に基づいて上記車両の目的地またはルートを変更するためのレコメンドを含む、項目５に記載の記憶媒体。
（項目７）
上記乗員属性は、上記車両における上記１または複数の乗員の快適性、プリファレンス、または必要性に影響する属性を含む、項目１から６のいずれか一項に記載の記憶媒体。
（項目８）
上記車両の自動化された制御は、第１機械学習モデルを使用して決定され、上記乗員属性は、第２機械学習モデルを使用して決定される、項目１から７のいずれか一項に記載の記憶媒体。
（項目９）
上記車両属性は、上記車両の上記自動化された制御を通じて実現される運転スタイルを含み、上記車両属性の修正は、上記乗員属性に基づいて上記運転スタイルを変更する、項目１から８のいずれか一項に記載の記憶媒体。
（項目１０）
上記第１セットのセンサおよび上記第２セットのセンサは、少なくとも１つのセンサを共通して含む、項目１から９のいずれか一項に記載の記憶媒体。
（項目１１）
上記第１セットのセンサおよび上記第２セットのセンサのうち少なくとも１つのセンサは、上記車両にとって外的である、項目１から１０のいずれか一項に記載の記憶媒体。
（項目１２）
上記命令は更に、
上記第２セットのセンサからのセンサデータに基づいて、上記乗員のうち１または複数の識別情報を決定すること、および、
上記１または複数の乗員の上記識別情報に対応するプリファレンス情報にアクセスすることであって、上記乗員属性は上記プリファレンス情報を含む、こと
を上記機械に行わせるために実行可能である、項目１から１１のいずれか一項に記載の記憶媒体。
（項目１３）
上記乗員属性は、上記乗員の人間の属性を説明する、項目１から１２のいずれか一項に記載の記憶媒体。
（項目１４）
上記乗員は複数の乗員を含み、上記人間の属性は、上記複数の乗員を含む乗員のグループの組み合わされた属性を含み、上記車両属性は、上記組み合わされた属性に基づいて修正される、項目１３に記載の記憶媒体。
（項目１５）
上記命令は更に、
無線通信チャネルを介して、上記第１セットのセンサまたは上記第２セットのセンサからのデータを含む特定のセンサデータを上記リモートコンピューティングシステムへ送信すること、および、
上記特定のセンサデータに基づいて、上記リモートコンピューティングシステムからレコメンドデータを受信することであって、上記車両属性はｚレコメンドデータに基づいて修正される、こと
を上記機械に行わせるために実行可能である、項目１から１４のいずれか一項に記載の記憶媒体。
（項目１６）
複数のセンサからセンサデータを受信する段階であって、上記複数のセンサは、第１セットのセンサおよび第２セットのセンサを含み、上記複数のセンサの少なくとも一部は車両に結合される、段階と、
上記第１セットのセンサによって生成された上記センサデータの少なくとも一部に基づいて、上記車両上のデータプロセッサを使用して、上記車両の制御を自動化する段階と、
上記車両上のデータプロセッサを使用して、上記第２セットのセンサによって生成されたセンサデータから、上記自律車両内の１または複数の乗員の乗員属性を決定する段階と、
上記乗員属性、および、上記第１セットのセンサによって生成されたセンサデータに基づいて、上記車両の車両属性を修正する段階と
を備える方法。
（項目１７）
上記車両の自動制御は、上記車両の第１経路を決定することを含み、上記乗員属性に基づいて上記車両属性を修正することは、上記第１経路を第２経路に変更させ、上記車両の後の自動化制御を上記第２経路に基づかせる、項目１６に記載の方法。
（項目１８）
上記車両属性は、上記車両の車室の物理的属性を含み、上記乗員は上記車室内にいる、項目１６または１７のいずれか一項に記載の方法。
（項目１９）
上記車両属性を修正することは、上記車両の自動化された制御、および、上記乗員属性に関連して決定された経路に基づいて、提示デバイスを使用して、レコメンドを上記乗員に提示することを含む、項目１６から１８のいずれか一項に記載の方法。
（項目２０）
上記車両属性は、上記車両の上記自動化された制御を通じて実現される運転スタイルを含み、上記車両属性を修正することは、上記乗員属性に基づいて上記運転スタイルを変更させる、項目１６から１９のいずれか一項に記載の方法。
（項目２１）
項目１６から２０のいずれか一項に記載の方法を実行するための手段を備えるシステム。
（項目２２）
命令を格納する少なくとも１つの非一時的機械可読記憶媒体であって、上記命令は機械によって実行されるとき、上記機械に、
第１セットのセンサによって生成された第１センサデータを受信することであって、上記第１センサデータは運転環境の属性を識別する、こと、
第２セットのセンサによって生成された第２センサデータを受信することであって、上記第２センサデータは、上記運転環境における特定の車両内の一組の乗員の属性を識別する、こと、
上記第１センサデータおよび上記第２センサデータに基づいてレコメンドを決定すること、
無線通信チャネルを介して、レコメンドデータを上記特定の車両の車載コンピューティングシステムへ送信することであって、上記レコメンドデータは上記レコメンドを識別し、上記特定の車両のオペレーションに影響を及ぼすために上記車載コンピューティングシステムによって消費可能である、こと
を行わせる、記憶媒体。
（項目２３）
上記第１セットのセンサは、上記特定の車両に統合される１または複数のセンサを含む、項目２２に記載の記憶媒体。
（項目２４）
上記第１セットのセンサは、上記特定の車両にとって外的な１または複数のセンサを含む、項目２２から２３のいずれか一項に記載の記憶媒体。
（項目２５）
上記命令は更に、上記機械に、
上記特定の車両の場所を決定すること、
上記場所における１または複数の特定のセンサを識別すること、
上記特定のセンサから特定のセンサデータにアクセスすることであって、第１センサデータは上記特定のセンサデータを含む、こと
を行わせるために実行可能である、項目２４に記載の記憶媒体。
（項目２６）
上記第１セットのセンサは、上記場所における別の車両に搭載された１または複数のセンサを含む、項目２５に記載の記憶媒体。
（項目２７）
上記第１セットのセンサは、上記場所における路肩ユニットを含む、項目２５から２６のいずれか一項に記載の記憶媒体。
（項目２８）
上記命令は更に、上記一組の乗員に関連付けられた１または複数のプロファイルを上記第２センサデータから決定することであって、上記レコメンドは上記１または複数のプロファイルに基づく、ことを上記機械に行わせるために実行可能である、項目２２から２７のいずれか一項に記載の記憶媒体。
（項目２９）
上記レコメンドは、上記レコメンドに基づいて上記特定の車両の自動化された制御を上記車載コンピューティングシステムに変更させるために上記車載コンピューティングシステムによって消費可能である、項目２２から２８のいずれか一項に記載の記憶媒体。
（項目３０）
上記自動化された制御の上記変更は、上記車両に、以前に決定された経路から逸脱させる、項目２９に記載の記憶媒体。
（項目３１）
上記自動化された制御の上記変更は、上記レコメンドに基づいて、上記車両を第１運転スタイルから第２運転スタイルに変更させる、項目２９から３０のいずれか一項に記載の記憶媒体。
（項目３２）
第１セットのセンサによって生成された第１センサデータを受信する段階であって、上記第１センサデータは運転環境の属性を識別する、段階と、
第２セットのセンサによって生成された第２センサデータを受信する段階であって、上記第２センサデータは、上記運転環境における特定の車両内の一組の乗員の属性を識別する、段階と、
上記第１センサデータおよび上記第２センサデータに基づいてレコメンドを決定する段階と、
無線通信チャネルを介して、レコメンドデータを上記特定の車両の車載コンピューティングシステムへ送信する段階であって、上記レコメンドデータは上記レコメンドを識別し、上記特定の車両のオペレーションに影響を及ぼすために上記車載コンピューティングシステムによって消費可能である、段階と
を備える方法。
（項目３３）
項目３２に記載の方法を実行するための手段を備えるシステム。
（項目３４）
システムであって、
車両についての車載コンピューティングシステムであって、プロセッサハードウェアを含み、上記プロセッサハードウェアは、機械学習ハードウェアを含む、車載コンピューティングシステムと、
ローカルセンサのセットと、
アクチュエータのセットと、
環境における運転条件を記述する第１センサデータを識別することであって、上記車両は上記環境の中、または近くに配置され、上記車載コンピューティングシステムは、上記第１センサデータを使用して上記車両の制御を自動化する、こと、
第２センサデータを識別することであって、上記第２センサデータの少なくとも一部は、上記ローカルセンサのセットによって生成される、こと
上記車両内の一組の乗員の１または複数の乗員属性を上記第２センサデータから決定すること、ならびに、
上記第１センサデータおよび上記第２センサデータに基づいて上記車載コンピューティングシステムについてのレコメンドを決定すること
を行うために上記プロセッサハードウェアによって実行可能なレコメンドシステムと
を備え、上記車載コンピューティングシステムは、上記車両の条件を変更するように上記アクチュエータのセットのうち１または複数を作動させるために上記レコメンドを消費する、
システム。
（項目３５）
上記１または複数のアクチュエータは、上記車両のステアリング、加速、またはブレーキのうち１つを制御するためのアクチュエータを含む、項目３４に記載のシステム。
（項目３６）
上記車載コンピューティングシステムは、
上記車両についての第１経路計画を決定する、および、
上記第１経路計画を拡張して、上記レコメンドに基づいて、上記車両についての異なる第２経路計画を形成する
ための経路計画エンジンを含む、項目３５に記載のシステム。
（項目３７）
上記１または複数はアクチュエータは、上記車両の車室内の物理的条件を調整するためのアクチュエータを含み、上記乗員は、上記車両の上記車室内に乗車する、項目３４に記載のシステム。
（項目３８）
上記第１センサデータの少なくとも一部は、上記ローカルセンサのセットによって生成される、項目３４に記載のシステム。
（項目３９）
上記レコメンドシステムは、
無線通信チャネルを介してリモートコンピューティングシステムと通信すること、および、
上記リモートコンピューティングシステムからレコメンドデータを受信することであって、上記レコメンドは、上記レコメンドデータに更に基づいて決定される、こと
を行う、項目３４に記載のシステム。
（項目４０）
上記第１センサデータまたは上記第２センサデータの一部は、上記車両にとって外的であるセンサから受信される、項目３４に記載のシステム。
（項目４１）
自律車両に結合されたセンサからセンサデータを取得する段階と、
抽象化シーンデータを生成するためにセンサ抽象化プロセスをセンサデータに適用する段階であって、上記センサ抽象化プロセスは、
応答正規化プロセスを上記センサデータに適用すること、
変形プロセスを上記センサデータに適用すること、および、
フィルタリングプロセスを上記センサデータに適用すること
のうち１または複数を含む、段階と、
上記自律車両についての制御プロセスの知覚フェーズにおいて上記抽象化シーンデータを使用する段階と
を備える方法。
（項目４２）
車両の第１センサによって第１画像データをキャプチャする段階であって、上記第１画像データは第１分解能を有する、段階と、
機械学習モデルを使用して、上記第１画像データを、第２分解能を有する第２イメージデータに変換する段階であって、上記第２分解能は上記第１分解能より高い、段階と、
上記第２イメージデータに基づいて、上記車両についてのオブジェクト検出オペレーションを実行する段階と
を備える方法。
（項目４３）
自律車両（ＡＶ）のコントローラによって、上記ＡＶを自律運転モードで操作する段階と、
上記コントローラ以外のエンティティによって、上記ＡＶの制御をテイクオーバするための要求を受信する段階と、
上記ＡＶの制御をテイクオーバするための要求を受信することに応答して、上記要求エンティティにクレデンシャルを催促する段階と、
上記催促に応答して入力を受信する段階と、
受信された上記入力に基づいて、上記要求エンティティを認証することに応答して、上記ＡＶの制御をテイクオーバするための要求を許可する段階と
を備える方法。
（項目４４）
自律車両（ＡＶ）の制御システムによって、上記ＡＶに結合された複数のセンサから取得されたセンサデータに基づいて、上記ＡＶを自律オペレーションモードで操作する段階と、
上記ＡＶの上記制御システムによって、上記ＡＶの乗員によるテイクオーバ要求を検出する段階と、
上記ＡＶの上記制御システムによって、上記センサデータに基づいて、上記要求されたテイクオーバが安全かどうかを決定する段階と、
上記要求されたテイクオーバが非安全であるという決定に応答して、上記要求されたテイクオーバをブロックする段階と
を備える方法。
（項目４５）
道路の一部上で車両の自律レベルを制限するための方法であって、
車両についての安全性スコアを決定する段階と、
道路の少なくとも一部について道路スコアを決定する段階と、
上記道路スコアを上記安全性スコアと比較する段階と、
上記道路の少なくとも一部における上記車両の許容可能な自律レベルを決定する段階と
を備える方法。
（項目４６）
車両に関連付けられたイメージキャプチャデバイスによってキャプチャされたイメージを受信する段階と、
上記キャプチャされたイメージにおける顔を検出する段階と、
敵対的生成ネットワーク（ＧＡＮ）の第１ニューラルネットワークについての入力イメージを生成する段階であって、上記入力イメージは、上記キャプチャされたイメージにおいて検出された上記直面を描画する、段階と、
上記第１ニューラルネットワークを上記入力イメージに適用することに少なくとも部分的に基づいて偽装イメージを生成する段階であって、上記入力イメージにおいて描写される上記顔の注視属性が上記偽装イメージに含まれ、上記入力イメージにおいて描写された上記顔の１または複数の他の属性が上記偽装イメージにおいて修正される、段階と
を備える方法。
（項目４７）
自律車両（ＡＶ）に結合されたセンサからセンサデータを受信する段階と、
デジタル署名を上記センサデータに適用する段階と、
新しいブロックをブロックベーストポロジーに追加する段階であって、上記新しいブロックは上記センサデータおよび上記デジタル署名を含む、段階と、
上記デジタル署名を検証する段階と、
検証される上記デジタル署名に基づいて、上記ブロックを上記ＡＶのロジックユニットに伝達する段階と
を備える方法。
（項目４８）
ルート上の、自律車両の運転者への少なくとも１つのハンドオフ場所を決定する段階と、
運転者の特性に関する情報を受信する段階と、
上記運転者の注意の現在の状態に関する情報を受信する段階と、
上記少なくとも１つのハンドオフ場所の各々にいる間に、予想される上記運転者の挙動を決定する段階と
を備える方法。
（項目４９）
車両のコンピューティングシステムによって、センサデータおよび上記センサデータのコンテキストに基づいて信号品質メトリクスを決定する段階と、
上記信号品質メトリクスに基づいて、上記車両の制御のハンドオフに関連付けられた安全性の可能性を決定する段階と、
上記安全性の可能性に基づいて、上記車両の制御のハンドオフを防止する、またはハンドオフを開始する段階と
を備える方法。
（項目５０）
自律車両のシステム障害を決定する段階と、
上記自律車両の自律レベルを、運転者のテイクオーバを必要としない第１レベルに低減できると決定する段階と、
上記自律レベルを上記第１レベルに低減することを上記運転者にアラートする段階と、
上記自律レベルを上記第１レベルに低減する段階と
を備える方法。
他の可能な項目
（項目１）
命令を格納した少なくとも１つの非一時的機械可読記憶媒体であって、上記命令は上記機械によって実行されるとき、上記機械に、
複数のセンサからセンサデータを受信することであって、上記複数のセンサは第１セットのセンサおよび第２セットのセンサを含み、上記複数のセンサの少なくとも一部は車両に結合される、こと、
上記第１セットのセンサによって生成された上記センサデータの少なくとも一部に基づいて、上記車両におけるプロセッサを使用して、上記車両の制御を自動化すること、
上記車両におけるプロセッサを使用して、上記第２セットのセンサによって生成されたセンサデータから上記自律車両内の１または複数の乗員の乗員属性を決定すること、および、
上記乗員属性、および、上記第１セットのセンサによって生成された上記センサデータに基づいて上記車両の車両属性を修正すること
を行わせる、記憶媒体。
（項目２）
上記車両の自動制御は、上記車両の第１経路を決定すること、および、上記乗員属性に基づいて上記車両属性を修正して上記第１経路を第２経路に変更することであって、上記車両の後の自動化制御は上記第２経路に基づく、ことを含む、項目１に記載の記憶媒体。
（項目３）
上記車両属性は、上記車両の車室の物理的属性を含み、上記乗員は上記車室内にいる、項目１から２のいずれか一項に記載の記憶媒体。
（項目４）
上記車室は、上記乗員の快適性を促進するよう構成される１または複数のデバイスを含み、上記車両属性の修正は、上記１または複数のデバイスを自律的に調整することを含む、項目３に記載の記憶媒体。
（項目５）
上記車両属性を修正することは、上記車両の自動化された制御および上記乗員属性に関連付けられたナビゲーション計画に基づいて、ユーザインタフェースデバイスを使用して、レコメンドを上記乗員に提示することを含む、項目１から４のいずれか一項に記載の記憶媒体。
（項目６）
上記レコメンドは、上記乗員属性に基づいて上記車両の目的地またはルートを変更するためのレコメンドを含む、項目５に記載の記憶媒体。
（項目７）
上記乗員属性は、上記車両における上記１または複数の乗員の快適性、プリファレンス、または必要性に影響する属性を含む、項目１から６のいずれか一項に記載の記憶媒体。
（項目８）
上記車両の自動化された制御は、第１機械学習モデルを使用して決定され、上記乗員属性は、第２機械学習モデルを使用して決定される、項目１から７のいずれか一項に記載の記憶媒体。
（項目９）
上記車両属性は、上記車両の上記自動化された制御を通じて実現される運転スタイルを含み、上記車両属性の修正は、上記乗員属性に基づいて上記運転スタイルを変更する、項目１から８のいずれか一項に記載の記憶媒体。
（項目１０）
上記第１セットのセンサおよび上記第２セットのセンサは、少なくとも１つのセンサを共通して含む、項目１から９のいずれか一項に記載の記憶媒体。
（項目１１）
上記第１セットのセンサおよび上記第２セットのセンサのうち少なくとも１つのセンサは、上記車両にとって外的である、項目１から１０のいずれか一項に記載の記憶媒体。
（項目１２）
上記命令は更に、
上記第２セットのセンサからのセンサデータに基づいて、上記乗員のうち１または複数の識別情報を決定すること、および、
上記１または複数の乗員の上記識別情報に対応するプリファレンス情報にアクセスすることであって、上記乗員属性は上記プリファレンス情報を含む、こと
を上記機械に行わせるために実行可能である、項目１から１１のいずれか一項に記載の記憶媒体。
（項目１３）
上記乗員属性は、上記乗員の人間の属性を説明する、項目１から１２のいずれか一項に記載の記憶媒体。
（項目１４）
上記乗員は複数の乗員を含み、上記人間の属性は、上記複数の乗員を含む乗員のグループの組み合わされた属性を含み、上記車両属性は、上記組み合わされた属性に基づいて修正される、項目１３に記載の記憶媒体。
（項目１５）
上記命令は更に、
無線通信チャネルを介して、上記第１セットのセンサまたは上記第２セットのセンサからのデータを含む特定のセンサデータを上記リモートコンピューティングシステムへ送信すること、および、
上記特定のセンサデータに基づいて、上記リモートコンピューティングシステムからレコメンドデータを受信することであって、上記車両属性はｚレコメンドデータに基づいて修正される、こと
を上記機械に行わせるために実行可能である、項目１から１４のいずれか一項に記載の記憶媒体。
（項目１６）
複数のセンサからセンサデータを受信する段階であって、上記複数のセンサは、第１セットのセンサおよび第２セットのセンサを含み、上記複数のセンサの少なくとも一部は車両に結合される、段階と、
上記第１セットのセンサによって生成された上記センサデータの少なくとも一部に基づいて、上記車両上のデータプロセッサを使用して、上記車両の制御を自動化する段階と、
上記車両上のデータプロセッサを使用して、上記第２セットのセンサによって生成されたセンサデータから、上記自律車両内の１または複数の乗員の乗員属性を決定する段階と、
上記乗員属性、および、上記第１セットのセンサによって生成されたセンサデータに基づいて、上記車両の車両属性を修正する段階と
を備える方法。
（項目１７）
上記車両の自動制御は、上記車両の第１経路を決定することを含み、上記乗員属性に基づいて上記車両属性を修正することは、上記第１経路を第２経路に変更させ、上記車両の後の自動化制御を上記第２経路に基づかせる、項目１６に記載の方法。
（項目１８）
上記車両属性は、上記車両の車室の物理的属性を含み、上記乗員は上記車室内にいる、項目１６または１７のいずれか一項に記載の方法。
（項目１９）
上記車両属性を修正することは、上記車両の自動化された制御、および、上記乗員属性に関連して決定された経路に基づいて、提示デバイスを使用して、レコメンドを上記乗員に提示することを含む、項目１６から１８のいずれか一項に記載の方法。
（項目２０）
上記車両属性は、上記車両の上記自動化された制御を通じて実現される運転スタイルを含み、上記車両属性を修正することは、上記乗員属性に基づいて上記運転スタイルを変更させる、項目１６から１９のいずれか一項に記載の方法。
（項目２１）
項目１６から２０のいずれか一項に記載の方法を実行するための手段を備えるシステム。
（項目２２）
命令を格納する少なくとも１つの非一時的機械可読記憶媒体であって、上記命令は機械によって実行されるとき、上記機械に、
第１セットのセンサによって生成された第１センサデータを受信することであって、上記第１センサデータは運転環境の属性を識別する、こと、
第２セットのセンサによって生成された第２センサデータを受信することであって、上記第２センサデータは、上記運転環境における特定の車両内の一組の乗員の属性を識別する、こと、
上記第１センサデータおよび上記第２センサデータに基づいてレコメンドを決定すること、
無線通信チャネルを介して、レコメンドデータを上記特定の車両の車載コンピューティングシステムへ送信することであって、上記レコメンドデータは上記レコメンドを識別し、上記特定の車両のオペレーションに影響を及ぼすために上記車載コンピューティングシステムによって消費可能である、こと
を行わせる、記憶媒体。
（項目２３）
上記第１セットのセンサは、上記特定の車両に統合される１または複数のセンサを含む、項目２２に記載の記憶媒体。
（項目２４）
上記第１セットのセンサは、上記特定の車両にとって外的な１または複数のセンサを含む、項目２２から２３のいずれか一項に記載の記憶媒体。
（項目２５）
上記命令は更に、上記機械に、
上記特定の車両の場所を決定すること、
上記場所における１または複数の特定のセンサを識別すること、
上記特定のセンサから特定のセンサデータにアクセスすることであって、第１センサデータは上記特定のセンサデータを含む、こと
を行わせるために実行可能である、項目２４に記載の記憶媒体。
（項目２６）
上記第１セットのセンサは、上記場所における別の車両に搭載された１または複数のセンサを含む、項目２５に記載の記憶媒体。
（項目２７）
上記第１セットのセンサは、上記場所における路肩ユニットを含む、項目２５から２６のいずれか一項に記載の記憶媒体。
（項目２８）
上記命令は更に、上記一組の乗員に関連付けられた１または複数のプロファイルを上記第２センサデータから決定することであって、上記レコメンドは上記１または複数のプロファイルに基づく、ことを上記機械に行わせるために実行可能である、項目２２から２７のいずれか一項に記載の記憶媒体。
（項目２９）
上記レコメンドは、上記レコメンドに基づいて上記特定の車両の自動化された制御を上記車載コンピューティングシステムに変更させるために上記車載コンピューティングシステムによって消費可能である、項目２２から２８のいずれか一項に記載の記憶媒体。
（項目３０）
上記自動化された制御の上記変更は、上記車両に、以前に決定された経路から逸脱させる、項目２９に記載の記憶媒体。
（項目３１）
上記自動化された制御の上記変更は、上記レコメンドに基づいて、上記車両を第１運転スタイルから第２運転スタイルに変更させる、項目２９から３０のいずれか一項に記載の記憶媒体。
（項目３２）
第１セットのセンサによって生成された第１センサデータを受信する段階であって、上記第１センサデータは運転環境の属性を識別する、段階と、
第２セットのセンサによって生成された第２センサデータを受信する段階であって、上記第２センサデータは、上記運転環境における特定の車両内の一組の乗員の属性を識別する、段階と、
上記第１センサデータおよび上記第２センサデータに基づいてレコメンドを決定する段階と、
無線通信チャネルを介して、レコメンドデータを上記特定の車両の車載コンピューティングシステムへ送信する段階であって、上記レコメンドデータは上記レコメンドを識別し、上記特定の車両のオペレーションに影響を及ぼすために上記車載コンピューティングシステムによって消費可能である、段階と
を備える方法。
（項目３３）
項目３２に記載の方法を実行するための手段を備えるシステム。
（項目３４）
システムであって、
車両についての車載コンピューティングシステムであって、プロセッサハードウェアを含み、上記プロセッサハードウェアは、機械学習ハードウェアを含む、車載コンピューティングシステムと、
ローカルセンサのセットと、
アクチュエータのセットと、
環境における運転条件を記述する第１センサデータを識別することであって、上記車両は上記環境の中、または近くに配置され、上記車載コンピューティングシステムは、上記第１センサデータを使用して上記車両の制御を自動化する、こと、
第２センサデータを識別することであって、上記第２センサデータの少なくとも一部は、上記ローカルセンサのセットによって生成される、こと
上記車両内の一組の乗員の１または複数の乗員属性を上記第２センサデータから決定すること、ならびに、
上記第１センサデータおよび上記第２センサデータに基づいて上記車載コンピューティングシステムについてのレコメンドを決定すること
を行うために上記プロセッサハードウェアによって実行可能なレコメンドシステムと
を備え、上記車載コンピューティングシステムは、上記車両の条件を変更するように上記アクチュエータのセットのうち１または複数を作動させるために上記レコメンドを消費する、
システム。
（項目３５）
上記１または複数のアクチュエータは、上記車両のステアリング、加速、またはブレーキのうち１つを制御するためのアクチュエータを含む、項目３４に記載のシステム。
（項目３６）
上記車載コンピューティングシステムは、
上記車両についての第１経路計画を決定する、および、
上記第１経路計画を拡張して、上記レコメンドに基づいて、上記車両についての異なる第２経路計画を形成する
ための経路計画エンジンを含む、項目３５に記載のシステム。
（項目３７）
上記１または複数はアクチュエータは、上記車両の車室内の物理的条件を調整するためのアクチュエータを含み、上記乗員は、上記車両の上記車室内に乗車する、項目３４に記載のシステム。
（項目３８）
上記第１センサデータの少なくとも一部は、上記ローカルセンサのセットによって生成される、項目３４に記載のシステム。
（項目３９）
上記レコメンドシステムは、
無線通信チャネルを介してリモートコンピューティングシステムと通信すること、および、
上記リモートコンピューティングシステムからレコメンドデータを受信することであって、上記レコメンドは、上記レコメンドデータに更に基づいて決定される、こと
を行う、項目３４に記載のシステム。
（項目４０）
上記第１センサデータまたは上記第２センサデータの一部は、上記車両にとって外的であるセンサから受信される、項目３４に記載のシステム。
（項目４１）
自律車両に結合されたセンサからセンサデータを取得する段階と、
抽象化シーンデータを生成するためにセンサ抽象化プロセスをセンサデータに適用する段階であって、上記センサ抽象化プロセスは、
応答正規化プロセスを上記センサデータに適用すること、
変形プロセスを上記センサデータに適用すること、および、
フィルタリングプロセスを上記センサデータに適用すること
のうち１または複数を含む、段階と、
上記自律車両についての制御プロセスの知覚フェーズにおいて上記抽象化シーンデータを使用する段階と
を備える方法。
（項目４２）
車両の第１センサによって第１画像データをキャプチャする段階であって、上記第１画像データは第１分解能を有する、段階と、
機械学習モデルを使用して、上記第１画像データを、第２分解能を有する第２イメージデータに変換する段階であって、上記第２分解能は上記第１分解能より高い、段階と、
上記第２イメージデータに基づいて、上記車両についてのオブジェクト検出オペレーションを実行する段階と
を備える方法。
（項目４３）
自律車両（ＡＶ）のコントローラによって、上記ＡＶを自律運転モードで操作する段階と、
上記コントローラ以外のエンティティによって、上記ＡＶの制御をテイクオーバするための要求を受信する段階と、
上記ＡＶの制御をテイクオーバするための要求を受信することに応答して、上記要求エンティティにクレデンシャルを催促する段階と、
上記催促に応答して入力を受信する段階と、
受信された上記入力に基づいて、上記要求エンティティを認証することに応答して、上記ＡＶの制御をテイクオーバするための要求を許可する段階と
を備える方法。
（項目４４）
自律車両（ＡＶ）の制御システムによって、上記ＡＶに結合された複数のセンサから取得されたセンサデータに基づいて、上記ＡＶを自律オペレーションモードで操作する段階と、
上記ＡＶの上記制御システムによって、上記ＡＶの乗員によるテイクオーバ要求を検出する段階と、
上記ＡＶの上記制御システムによって、上記センサデータに基づいて、上記要求されたテイクオーバが安全かどうかを決定する段階と、
上記要求されたテイクオーバが非安全であるという決定に応答して、上記要求されたテイクオーバをブロックする段階と
を備える方法。
（項目４５）
道路の一部上で車両の自律レベルを制限するための方法であって、
車両についての安全性スコアを決定する段階と、
道路の少なくとも一部について道路スコアを決定する段階と、
上記道路スコアを上記安全性スコアと比較する段階と、
上記道路の少なくとも一部における上記車両の許容可能な自律レベルを決定する段階と
を備える方法。
（項目４６）
車両に関連付けられたイメージキャプチャデバイスによってキャプチャされたイメージを受信する段階と、
上記キャプチャされたイメージにおける顔を検出する段階と、
敵対的生成ネットワーク（ＧＡＮ）の第１ニューラルネットワークについての入力イメージを生成する段階であって、上記入力イメージは、上記キャプチャされたイメージにおいて検出された上記直面を描画する、段階と、
上記第１ニューラルネットワークを上記入力イメージに適用することに少なくとも部分的に基づいて偽装イメージを生成する段階であって、上記入力イメージにおいて描写される上記顔の注視属性が上記偽装イメージに含まれ、上記入力イメージにおいて描写された上記顔の１または複数の他の属性が上記偽装イメージにおいて修正される、段階と
を備える方法。
（項目４７）
自律車両（ＡＶ）に結合されたセンサからセンサデータを受信する段階と、
デジタル署名を上記センサデータに適用する段階と、
新しいブロックをブロックベーストポロジーに追加する段階であって、上記新しいブロックは上記センサデータおよび上記デジタル署名を含む、段階と、
上記デジタル署名を検証する段階と、
検証される上記デジタル署名に基づいて、上記ブロックを上記ＡＶのロジックユニットに伝達する段階と
を備える方法。
（項目４８）
ルート上の、自律車両の運転者への少なくとも１つのハンドオフ場所を決定する段階と、
運転者の特性に関する情報を受信する段階と、
上記運転者の注意の現在の状態に関する情報を受信する段階と、
上記少なくとも１つのハンドオフ場所の各々にいる間に、予想される上記運転者の挙動を決定する段階と
を備える方法。
（項目４９）
車両のコンピューティングシステムによって、センサデータおよび上記センサデータのコンテキストに基づいて信号品質メトリクスを決定する段階と、
上記信号品質メトリクスに基づいて、上記車両の制御のハンドオフに関連付けられた安全性の可能性を決定する段階と、
上記安全性の可能性に基づいて、上記車両の制御のハンドオフを防止する、またはハンドオフを開始する段階と
を備える方法。
（項目５０）
自律車両のシステム障害を決定する段階と、
上記自律車両の自律レベルを、運転者のテイクオーバを必要としない第１レベルに低減できると決定する段階と、
上記自律レベルを上記第１レベルに低減することを上記運転者にアラートする段階と、
上記自律レベルを上記第１レベルに低減する段階と
を備える方法。
Claims (36)
- 複数のセンサからセンサデータを受信する手順であって、前記複数のセンサは第１セットのセンサおよび第２セットのセンサを含み、前記複数のセンサの少なくとも一部は車両に結合される、手順、
前記第１セットのセンサによって生成された前記センサデータの少なくとも一部に基づいて、前記車両におけるプロセッサを使用して、前記車両の制御を自動化する手順、
前記車両におけるプロセッサを使用して、前記第２セットのセンサによって生成されたセンサデータから前記車両内の１または複数の乗員の乗員属性を決定する手順、および、
前記乗員属性、および、前記第１セットのセンサによって生成された前記センサデータに基づいて前記車両の車両属性を修正する手順
をコンピュータに行わせるプログラム。 - 前記車両の自動制御は、前記車両の第１経路を決定する手順、および、前記乗員属性に基づいて前記車両属性を修正して前記第１経路を第２経路に変更し、前記車両の後のは自動化制御を前記第２経路に基づくように変更する、手順を含む、請求項１に記載のプログラム。
- 前記車両属性は、前記車両の車室の物理的属性を含み、前記１または複数の乗員は前記車室内にいる、請求項１または２に記載のプログラム。
- 前記車室は、前記１または複数の乗員の快適性を促進するよう構成される１または複数のデバイスを含み、前記車両属性の修正は、前記１または複数のデバイスを自律的に調整する手順を含む、請求項３に記載のプログラム。
- 前記車両属性を修正する手順は、前記車両の自動化された制御および前記乗員属性に関連付けられたナビゲーション計画に基づいて、ユーザインタフェースデバイスを使用して、レコメンドを前記１または複数の乗員に提示する手順を含む、請求項１から４のいずれか一項に記載のプログラム。
- 前記レコメンドは、前記乗員属性に基づいて前記車両の目的地またはルートを変更するためのレコメンドを含む、請求項５に記載のプログラム。
- 前記乗員属性は、前記車両における前記１または複数の乗員の快適性、プリファレンス、または必要性に影響する属性を含む、請求項１から６のいずれか一項に記載のプログラム。
- 前記車両の自動化された制御は、第１機械学習モデルを使用して決定され、前記乗員属性は、第２機械学習モデルを使用して決定される、請求項１から７のいずれか一項に記載のプログラム。
- 前記車両属性は、前記車両の前記自動化された制御を通じて実現される運転スタイルを含み、前記車両属性の修正は、前記乗員属性に基づいて前記運転スタイルを変更する、請求項１から８のいずれか一項に記載のプログラム。
- 前記第１セットのセンサおよび前記第２セットのセンサは、少なくとも１つのセンサを共通して含む、請求項１から９のいずれか一項に記載のプログラム。
- 前記第１セットのセンサおよび前記第２セットのセンサのうち少なくとも１つのセンサは、前記車両にとって外的である、請求項１から１０のいずれか一項に記載のプログラム。
- 前記プログラムは更に、
前記第２セットのセンサからのセンサデータに基づいて、前記１または複数の乗員の識別情報を決定する手順、および、
前記１または複数の乗員の前記識別情報に対応するプリファレンス情報にアクセスする手順であって、前記乗員属性は前記プリファレンス情報を含む、手順
を前記コンピュータに行わせる、請求項１から１１のいずれか一項に記載のプログラム。 - 前記乗員属性は、前記１または複数の乗員の人間の属性を説明する、請求項１から１２のいずれか一項に記載のプログラム。
- 前記１または複数の乗員は複数の乗員を含み、前記人間の属性は、前記複数の乗員を含む乗員のグループの組み合わされた属性を含み、前記車両属性は、前記組み合わされた属性に基づいて修正される、請求項１３に記載のプログラム。
- 前記プログラムは更に、
無線通信チャネルを介して、前記第１セットのセンサまたは前記第２セットのセンサからのデータを含む特定のセンサデータをリモートコンピューティングシステムへ送信する手順、および、
前記特定のセンサデータに基づいて、前記リモートコンピューティングシステムからレコメンドデータを受信する手順であって、前記車両属性は前記レコメンドデータに基づいて修正される、手順
をコンピュータに行わせる、請求項１から１４のいずれか一項に記載のプログラム。 - 請求項１から１５のいずれか一項に記載のプログラムを格納する記録媒体。
- 複数のセンサからセンサデータを受信する段階であって、前記複数のセンサは、第１セットのセンサおよび第２セットのセンサを含み、前記複数のセンサの少なくとも一部は車両に結合される、段階と、
前記第１セットのセンサによって生成された前記センサデータの少なくとも一部に基づいて、前記車両上のデータプロセッサを使用して、前記車両の制御を自動化する段階と、
前記車両上のデータプロセッサを使用して、前記第２セットのセンサによって生成されたセンサデータから、前記車両内の１または複数の乗員の乗員属性を決定する段階と、
前記乗員属性、および、前記第１セットのセンサによって生成された前記センサデータに基づいて、前記車両の車両属性を修正する段階と
を備える方法。 - 前記車両の自動制御は、前記車両の第１経路を決定することを含み、前記乗員属性に基づいて前記車両属性を修正することは、前記第１経路を第２経路に変更させ、前記車両の後の自動化制御を前記第２経路に基づかせる、請求項１７に記載の方法。
- 前記車両属性は、前記車両の車室の物理的属性を含み、前記１または複数の乗員は前記車室内にいる、請求項１７または１８に記載の方法。
- 前記車両属性を修正することは、前記車両の自動化された制御、および、前記乗員属性に関連して決定された経路に基づいて、提示デバイスを使用して、レコメンドを前記１または複数の乗員に提示することを含む、請求項１７から１９のいずれか一項に記載の方法。
- 前記車両属性は、前記車両の前記自動化された制御を通じて実現される運転スタイルを含み、前記車両属性を修正することは、前記乗員属性に基づいて前記運転スタイルを変更させる、請求項１７から２０のいずれか一項に記載の方法。
- 請求項１７から２１のいずれか一項に記載の方法を実行するための手段を備えるシステム。
- 第１セットのセンサによって生成された第１センサデータを受信する段階であって、前記第１センサデータは運転環境の属性を識別する、段階と、
第２セットのセンサによって生成された第２センサデータを受信する段階であって、前記第２センサデータは、前記運転環境における特定の車両内の一組の乗員の属性を識別する、段階と、
前記第１センサデータおよび前記第２センサデータに基づいてレコメンドを決定する段階と、
無線通信チャネルを介して、レコメンドデータを前記特定の車両の車載コンピューティングシステムへ送信する段階であって、前記レコメンドデータは前記レコメンドを識別し、前記特定の車両のオペレーションに影響を及ぼすために前記車載コンピューティングシステムによって消費可能である、段階と
を備える方法。 - 前記第１セットのセンサは、前記特定の車両上に統合された１または複数のセンサを含む、請求項２３に記載の方法。
- 前記第１セットのセンサは、前記特定の車両にとって外的な１または複数のセンサを含む、請求項２３または２４に記載の方法。
- 前記特定の車両の場所を決定する段階と、
前記場所における１または複数の特定のセンサを識別する段階と、
前記特定のセンサから特定のセンサデータにアクセスする段階であって、第１センサデータは前記特定のセンサデータを含む、段階と
を更に備える、請求項２５に記載の方法。 - 前記第１セットのセンサは、前記特定の車両の外部にある１または複数のセンサを含む、請求項２６に記載の方法。
- 前記一組の乗員に関連付けられた１または複数のプロファイルを前記第２センサデータから決定する段階であって、前記レコメンドは前記１または複数のプロファイルに基づく、段階を更に備える、請求項２３から２７のいずれか一項に記載の方法。
- 前記レコメンドは、前記レコメンドに基づいて前記特定の車両の自動化された制御を前記車載コンピューティングシステムに変更させるために前記車載コンピューティングシステムによって消費可能である、請求項２３から２８のいずれか一項に記載の方法。
- 前記自動化された制御の前記変更は、前記レコメンドに基づいて、前記車両を第１運転スタイルから第２運転スタイルに変更させる、請求項２９に記載の方法。
- 請求項２３から３０のいずれか一項に記載の方法を実行する手段を備えるシステム。
- システムであって、
車両についての車載コンピューティングシステムであって、プロセッサハードウェアを含み、前記プロセッサハードウェアは、機械学習ハードウェアを含む、車載コンピューティングシステムと、
ローカルセンサのセットと、
アクチュエータのセットと、
レコメンドシステムを
を備え、前記レコメンドシステムは、
環境における運転条件を記述する第１センサデータを識別することであって、前記車両は前記環境の中、または近くに配置され、前記車載コンピューティングシステムは、前記第１センサデータを使用して前記車両の制御を自動化する、こと、
第２センサデータを識別することであって、前記第２センサデータの少なくとも一部は、前記ローカルセンサのセットによって生成される、こと
前記車両内の一組の乗員の１または複数の乗員属性を前記第２センサデータから決定すること、ならびに、
前記第１センサデータおよび前記第２センサデータに基づいて前記車載コンピューティングシステムについてのレコメンドを決定すること
を行うために前記プロセッサハードウェアによって実行可能であり、
前記車載コンピューティングシステムは、前記車両の条件を変更するように前記アクチュエータのセットのうち１または複数を作動させるために前記レコメンドを消費する、
システム。 - 前記１または複数のアクチュエータは、前記車両のステアリング、加速、またはブレーキのうち１つを制御するためのアクチュエータを含む、請求項３２に記載のシステム。
- 前記車載コンピューティングシステムは、
前記車両についての第１経路計画を決定する、および、
前記第１経路計画を拡張して、前記レコメンドに基づいて、前記車両についての異なる第２経路計画を形成する
ための経路計画エンジンを含む、請求項３３に記載のシステム。 - 前記１または複数のアクチュエータは、前記車両の車室内の物理的条件を調整するためのアクチュエータを含み、前記乗員は、前記車両の前記車室内に乗車する、請求項３２に記載のシステム。
- 前記レコメンドシステムは、
無線通信チャネルを介してリモートコンピューティングシステムと通信すること、および、
前記リモートコンピューティングシステムからレコメンドデータを受信することであって、前記レコメンドは、前記レコメンドデータに更に基づいて決定される、こと
を行う、請求項３２に記載のシステム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962826955P | 2019-03-29 | 2019-03-29 | |
| US62/826,955 | 2019-03-29 | ||
| PCT/US2020/025404 WO2020205597A1 (en) | 2019-03-29 | 2020-03-27 | Autonomous vehicle system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022524932A true JP2022524932A (ja) | 2022-05-11 |
Family
ID=72666352
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021548178A Pending JP2022525391A (ja) | 2019-03-29 | 2020-03-27 | 自律走行車両システム |
| JP2021544522A Active JP7460044B2 (ja) | 2019-03-29 | 2020-03-27 | 自律車両、ならびに自律車両システムに係る装置、プログラム、およびコンピュータ可読媒体 |
| JP2021546208A Pending JP2022525586A (ja) | 2019-03-29 | 2020-03-27 | 自律車両システム |
| JP2021545802A Pending JP2022524932A (ja) | 2019-03-29 | 2020-03-27 | 自律車両システム |
Family Applications Before (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021548178A Pending JP2022525391A (ja) | 2019-03-29 | 2020-03-27 | 自律走行車両システム |
| JP2021544522A Active JP7460044B2 (ja) | 2019-03-29 | 2020-03-27 | 自律車両、ならびに自律車両システムに係る装置、プログラム、およびコンピュータ可読媒体 |
| JP2021546208A Pending JP2022525586A (ja) | 2019-03-29 | 2020-03-27 | 自律車両システム |
Country Status (7)
| Country | Link |
|---|---|
| US (4) | US20220126878A1 (ja) |
| EP (4) | EP3947080A4 (ja) |
| JP (4) | JP2022525391A (ja) |
| KR (4) | KR20210134317A (ja) |
| CN (4) | CN113508066A (ja) |
| DE (4) | DE112020001643T5 (ja) |
| WO (4) | WO2020205597A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7433542B1 (ja) | 2023-02-24 | 2024-02-19 | 三菱電機株式会社 | 遠隔監視装置、遠隔監視システム、及び、遠隔監視方法 |
Families Citing this family (441)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220018906A1 (en) * | 2014-02-27 | 2022-01-20 | Invently Automotive Inc. | Predicting An Outcome Associated With A Driver Of A vehicle |
| US10540723B1 (en) | 2014-07-21 | 2020-01-21 | State Farm Mutual Automobile Insurance Company | Methods of providing insurance savings based upon telematics and usage-based insurance |
| CN113778114A (zh) * | 2014-11-07 | 2021-12-10 | 索尼公司 | 控制系统、控制方法以及存储介质 |
| WO2016126317A1 (en) * | 2015-02-06 | 2016-08-11 | Delphi Technologies, Inc. | Method of automatically controlling an autonomous vehicle based on electronic messages from roadside infrastructure of other vehicles |
| US11231287B2 (en) * | 2016-12-22 | 2022-01-25 | Nissan North America, Inc. | Autonomous vehicle service system |
| EP3828657A1 (en) * | 2016-12-23 | 2021-06-02 | Mobileye Vision Technologies Ltd. | Navigational system |
| WO2018176000A1 (en) | 2017-03-23 | 2018-09-27 | DeepScale, Inc. | Data synthesis for autonomous control systems |
| US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
| US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US10569784B2 (en) * | 2017-09-28 | 2020-02-25 | Waymo Llc | Detecting and responding to propulsion and steering system errors for autonomous vehicles |
| US11215984B2 (en) * | 2018-01-09 | 2022-01-04 | Uatc, Llc | Systems and methods for controlling an autonomous vehicle |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| CN112106001B (zh) * | 2018-05-09 | 2024-07-05 | 上海丰豹商务咨询有限公司 | 一种车路驾驶任务智能化分配系统和方法 |
| WO2019220235A1 (en) * | 2018-05-14 | 2019-11-21 | 3M Innovative Properties Company | Autonomous navigation systems for temporary zones |
| US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US11167836B2 (en) | 2018-06-21 | 2021-11-09 | Sierra Nevada Corporation | Devices and methods to attach composite core to a surrounding structure |
| JP7199545B2 (ja) | 2018-07-20 | 2023-01-05 | メイ モビリティー，インコーポレイテッド | 自律エージェントによる行動方針選択のための多視点システムおよび方法 |
| US10909866B2 (en) * | 2018-07-20 | 2021-02-02 | Cybernet Systems Corp. | Autonomous transportation system and methods |
| US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
| US10768629B2 (en) * | 2018-07-24 | 2020-09-08 | Pony Ai Inc. | Generative adversarial network enriched driving simulation |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| JP7326667B2 (ja) | 2018-07-31 | 2023-08-16 | マーベル アジア ピーティーイー、リミテッド | ストレージエッジにおけるメタデータ生成 |
| DE102018118761A1 (de) * | 2018-08-02 | 2020-02-06 | Robert Bosch Gmbh | Verfahren zum zumindest teilautomatisierten Führen eines Kraftfahrzeugs |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| WO2020055910A1 (en) | 2018-09-10 | 2020-03-19 | Drisk, Inc. | Systems and methods for graph-based ai training |
| US11618400B2 (en) * | 2018-09-24 | 2023-04-04 | Robert Bosch Gmbh | Method and device for monitoring a motorcycle |
| KR102637599B1 (ko) * | 2018-10-08 | 2024-02-19 | 주식회사 에이치엘클레무브 | 차량간 통신 정보를 이용한 차선변경 제어장치 및 방법과, 그를 위한 성향 정보 산출 장치 |
| WO2020077117A1 (en) | 2018-10-11 | 2020-04-16 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
| US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
| US10748038B1 (en) | 2019-03-31 | 2020-08-18 | Cortica Ltd. | Efficient calculation of a robust signature of a media unit |
| US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US10969470B2 (en) | 2019-02-15 | 2021-04-06 | May Mobility, Inc. | Systems and methods for intelligently calibrating infrastructure devices using onboard sensors of an autonomous agent |
| US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
| US11953333B2 (en) * | 2019-03-06 | 2024-04-09 | Lyft, Inc. | Systems and methods for autonomous vehicle performance evaluation |
| US11694088B2 (en) | 2019-03-13 | 2023-07-04 | Cortica Ltd. | Method for object detection using knowledge distillation |
| CN110069064B (zh) * | 2019-03-19 | 2021-01-29 | 驭势科技（北京）有限公司 | 一种自动驾驶系统升级的方法、自动驾驶系统及车载设备 |
| US11440471B2 (en) * | 2019-03-21 | 2022-09-13 | Baidu Usa Llc | Automated warning system to detect a front vehicle slips backwards |
| DE102019204318A1 (de) * | 2019-03-28 | 2020-10-01 | Conti Temic Microelectronic Gmbh | Automatische Erkennung und Klassifizierung von Adversarial Attacks |
| DE102019205520A1 (de) * | 2019-04-16 | 2020-10-22 | Robert Bosch Gmbh | Verfahren zum Ermitteln von Fahrverläufen |
| US11288111B2 (en) | 2019-04-18 | 2022-03-29 | Oracle International Corporation | Entropy-based classification of human and digital entities |
| US11417212B1 (en) * | 2019-04-29 | 2022-08-16 | Allstate Insurance Company | Risk management system with internet of things |
| EP3739521A1 (en) * | 2019-05-14 | 2020-11-18 | Robert Bosch GmbH | Training system for training a generator neural network |
| US11775770B2 (en) * | 2019-05-23 | 2023-10-03 | Capital One Services, Llc | Adversarial bootstrapping for multi-turn dialogue model training |
| EP3748455B1 (en) * | 2019-06-07 | 2022-03-16 | Tata Consultancy Services Limited | A method and a system for hierarchical network based diverse trajectory proposal |
| DE102019208735B4 (de) * | 2019-06-14 | 2021-12-23 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Fahrassistenzsystems eines Fahrzeugs und Fahrerassistenzsystem für ein Fahrzeug |
| US11287829B2 (en) * | 2019-06-20 | 2022-03-29 | Cisco Technology, Inc. | Environment mapping for autonomous vehicles using video stream sharing |
| US20200410368A1 (en) * | 2019-06-25 | 2020-12-31 | International Business Machines Corporation | Extended rule generation |
| US10832294B1 (en) * | 2019-06-26 | 2020-11-10 | Lyft, Inc. | Dynamically adjusting transportation provider pool size |
| US11727265B2 (en) * | 2019-06-27 | 2023-08-15 | Intel Corporation | Methods and apparatus to provide machine programmed creative support to a user |
| US20190318265A1 (en) * | 2019-06-28 | 2019-10-17 | Helen Adrienne Frances Gould | Decision architecture for autonomous systems |
| CN110300175B (zh) * | 2019-07-02 | 2022-05-17 | 腾讯科技（深圳）有限公司 | 消息推送方法、装置、存储介质及服务器 |
| US12002361B2 (en) * | 2019-07-03 | 2024-06-04 | Cavh Llc | Localized artificial intelligence for intelligent road infrastructure |
| US11386229B2 (en) * | 2019-07-04 | 2022-07-12 | Blackberry Limited | Filtering personally identifiable information from vehicle data |
| CN110281950B (zh) * | 2019-07-08 | 2020-09-04 | 睿镞科技(北京)有限责任公司 | 基于三维声像传感器的载运工具控制与可视化环境体验 |
| WO2021010383A1 (ja) * | 2019-07-16 | 2021-01-21 | キヤノン株式会社 | 光学装置、それを備える車載システム及び移動装置 |
| JP2021015565A (ja) * | 2019-07-16 | 2021-02-12 | トヨタ自動車株式会社 | 車両制御装置 |
| JP7310403B2 (ja) * | 2019-07-23 | 2023-07-19 | トヨタ自動車株式会社 | 車両制御装置及び自動運転禁止システム |
| US11787407B2 (en) * | 2019-07-24 | 2023-10-17 | Pony Ai Inc. | System and method for sensing vehicles and street |
| EP3770881B1 (en) * | 2019-07-26 | 2023-11-15 | Volkswagen AG | Methods, computer programs, apparatuses, a vehicle, and a traffic entity for updating an environmental model of a vehicle |
| CN110415543A (zh) * | 2019-08-05 | 2019-11-05 | 北京百度网讯科技有限公司 | 车辆信息的交互方法、装置、设备以及存储介质 |
| US11482015B2 (en) * | 2019-08-09 | 2022-10-25 | Otobrite Electronics Inc. | Method for recognizing parking space for vehicle and parking assistance system using the method |
| US11586943B2 (en) | 2019-08-12 | 2023-02-21 | Micron Technology, Inc. | Storage and access of neural network inputs in automotive predictive maintenance |
| US11635893B2 (en) | 2019-08-12 | 2023-04-25 | Micron Technology, Inc. | Communications between processors and storage devices in automotive predictive maintenance implemented via artificial neural networks |
| US11586194B2 (en) | 2019-08-12 | 2023-02-21 | Micron Technology, Inc. | Storage and access of neural network models of automotive predictive maintenance |
| US11775816B2 (en) | 2019-08-12 | 2023-10-03 | Micron Technology, Inc. | Storage and access of neural network outputs in automotive predictive maintenance |
| US11748626B2 (en) | 2019-08-12 | 2023-09-05 | Micron Technology, Inc. | Storage devices with neural network accelerators for automotive predictive maintenance |
| US12061971B2 (en) | 2019-08-12 | 2024-08-13 | Micron Technology, Inc. | Predictive maintenance of automotive engines |
| US11853863B2 (en) | 2019-08-12 | 2023-12-26 | Micron Technology, Inc. | Predictive maintenance of automotive tires |
| US11361552B2 (en) | 2019-08-21 | 2022-06-14 | Micron Technology, Inc. | Security operations of parked vehicles |
| US11498388B2 (en) | 2019-08-21 | 2022-11-15 | Micron Technology, Inc. | Intelligent climate control in vehicles |
| US11702086B2 (en) | 2019-08-21 | 2023-07-18 | Micron Technology, Inc. | Intelligent recording of errant vehicle behaviors |
| EP3990862A4 (en) * | 2019-08-31 | 2023-07-05 | Cavh Llc | DISTRIBUTED DRIVING SYSTEMS AND METHODS FOR AUTOMATED VEHICLES |
| DE112019007681T5 (de) * | 2019-09-02 | 2022-06-09 | Mitsubishi Electric Corporation | Automatische Fahrsteuerungsvorrichtung und automatisches Fahrsteuerungsverfahren |
| US11650746B2 (en) | 2019-09-05 | 2023-05-16 | Micron Technology, Inc. | Intelligent write-amplification reduction for data storage devices configured on autonomous vehicles |
| US11409654B2 (en) | 2019-09-05 | 2022-08-09 | Micron Technology, Inc. | Intelligent optimization of caching operations in a data storage device |
| US11436076B2 (en) | 2019-09-05 | 2022-09-06 | Micron Technology, Inc. | Predictive management of failing portions in a data storage device |
| US11435946B2 (en) | 2019-09-05 | 2022-09-06 | Micron Technology, Inc. | Intelligent wear leveling with reduced write-amplification for data storage devices configured on autonomous vehicles |
| US11693562B2 (en) | 2019-09-05 | 2023-07-04 | Micron Technology, Inc. | Bandwidth optimization for different types of operations scheduled in a data storage device |
| US11077850B2 (en) * | 2019-09-06 | 2021-08-03 | Lyft, Inc. | Systems and methods for determining individualized driving behaviors of vehicles |
| US11577756B2 (en) * | 2019-09-13 | 2023-02-14 | Ghost Autonomy Inc. | Detecting out-of-model scenarios for an autonomous vehicle |
| US11460856B2 (en) * | 2019-09-13 | 2022-10-04 | Honda Motor Co., Ltd. | System and method for tactical behavior recognition |
| US10768620B1 (en) * | 2019-09-17 | 2020-09-08 | Ha Q Tran | Smart vehicle |
| DE102019214445A1 (de) * | 2019-09-23 | 2021-03-25 | Robert Bosch Gmbh | Verfahren zum Assistieren eines Kraftfahrzeugs |
| DE102019214482A1 (de) * | 2019-09-23 | 2021-03-25 | Robert Bosch Gmbh | Verfahren zum sicheren zumindest teilautomatisierten Führen eines Kraftfahrzeugs |
| US11455515B2 (en) * | 2019-09-24 | 2022-09-27 | Robert Bosch Gmbh | Efficient black box adversarial attacks exploiting input data structure |
| US11780460B2 (en) * | 2019-09-30 | 2023-10-10 | Ghost Autonomy Inc. | Determining control operations for an autonomous vehicle |
| US11645518B2 (en) * | 2019-10-07 | 2023-05-09 | Waymo Llc | Multi-agent simulations |
| US11210952B2 (en) * | 2019-10-17 | 2021-12-28 | Verizon Patent And Licensing Inc. | Systems and methods for controlling vehicle traffic |
| US20220383748A1 (en) * | 2019-10-29 | 2022-12-01 | Sony Group Corporation | Vehicle control in geographical control zones |
| US20210133493A1 (en) * | 2019-10-30 | 2021-05-06 | safeXai, Inc. | Disrupting object recognition functionality |
| US11577757B2 (en) * | 2019-11-01 | 2023-02-14 | Honda Motor Co., Ltd. | System and method for future forecasting using action priors |
| TWI762828B (zh) * | 2019-11-01 | 2022-05-01 | 緯穎科技服務股份有限公司 | 高速序列電腦匯流排的訊號調整方法及其相關電腦系統 |
| CN110764509A (zh) * | 2019-11-11 | 2020-02-07 | 北京百度网讯科技有限公司 | 任务调度方法、装置、设备及计算机可读存储介质 |
| KR20210059574A (ko) * | 2019-11-15 | 2021-05-25 | 한국전자통신연구원 | 릴레이 노드, 릴레이 네트워크 시스템 및 이의 동작 방법 |
| US11838400B2 (en) * | 2019-11-19 | 2023-12-05 | International Business Machines Corporation | Image encoding for blockchain |
| US11454967B2 (en) * | 2019-11-20 | 2022-09-27 | Verizon Patent And Licensing Inc. | Systems and methods for collecting vehicle data to train a machine learning model to identify a driving behavior or a vehicle issue |
| US11433892B2 (en) * | 2019-12-02 | 2022-09-06 | Gm Cruise Holdings Llc | Assertive vehicle detection model generation |
| KR20210070029A (ko) * | 2019-12-04 | 2021-06-14 | 삼성전자주식회사 | 반복적 생성을 통해 출력 콘텐트를 향상시키기 위한 디바이스, 방법, 및 프로그램 |
| EP3832420B1 (en) * | 2019-12-06 | 2024-02-07 | Elektrobit Automotive GmbH | Deep learning based motion control of a group of autonomous vehicles |
| KR20210073883A (ko) * | 2019-12-11 | 2021-06-21 | 현대자동차주식회사 | 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼, 이를 갖는 시스템, 그리고 이의 방법 |
| EP4073665A1 (en) * | 2019-12-13 | 2022-10-19 | Marvell Asia Pte, Ltd. | Automotive data processing system with efficient generation and exporting of metadata |
| US11250648B2 (en) | 2019-12-18 | 2022-02-15 | Micron Technology, Inc. | Predictive maintenance of automotive transmission |
| US11748488B2 (en) * | 2019-12-24 | 2023-09-05 | Sixgill Ltd. | Information security risk management |
| JPWO2021131474A1 (ja) * | 2019-12-26 | 2021-07-01 | ||
| US20210221390A1 (en) * | 2020-01-21 | 2021-07-22 | Qualcomm Incorporated | Vehicle sensor calibration from inter-vehicle communication |
| US11709625B2 (en) | 2020-02-14 | 2023-07-25 | Micron Technology, Inc. | Optimization of power usage of data storage devices |
| US11531339B2 (en) * | 2020-02-14 | 2022-12-20 | Micron Technology, Inc. | Monitoring of drive by wire sensors in vehicles |
| US11511771B2 (en) * | 2020-02-17 | 2022-11-29 | At&T Intellectual Property I, L.P. | Enhanced navigation and ride hailing |
| US11873000B2 (en) * | 2020-02-18 | 2024-01-16 | Toyota Motor North America, Inc. | Gesture detection for transport control |
| US11445369B2 (en) * | 2020-02-25 | 2022-09-13 | International Business Machines Corporation | System and method for credential generation for wireless infrastructure and security |
| US11531865B2 (en) * | 2020-02-28 | 2022-12-20 | Toyota Research Institute, Inc. | Systems and methods for parallel autonomy of a vehicle |
| US20210279640A1 (en) * | 2020-03-05 | 2021-09-09 | Uber Technologies, Inc. | Systems and Methods for Training Machine-Learned Models with Deviating Intermediate Representations |
| US11768958B2 (en) * | 2020-03-09 | 2023-09-26 | Truata Limited | System and method for objective quantification and mitigation of privacy risk |
| US20210286924A1 (en) * | 2020-03-11 | 2021-09-16 | Aurora Innovation, Inc. | Generating autonomous vehicle simulation data from logged data |
| EP3885237A1 (en) * | 2020-03-24 | 2021-09-29 | Aptiv Technologies Limited | Vehicle, system, and method for determining a position of a moveable element in a vehicle |
| JP2021157343A (ja) * | 2020-03-25 | 2021-10-07 | 京セラドキュメントソリューションズ株式会社 | データ連携システムおよび匿名化制御システム |
| EP4120215A4 (en) * | 2020-04-02 | 2023-03-22 | Huawei Technologies Co., Ltd. | PROCEDURE FOR IDENTIFYING ABNORMAL DRIVING BEHAVIOR |
| US11493354B2 (en) * | 2020-04-13 | 2022-11-08 | At&T Intellectual Property I, L.P. | Policy based navigation control |
| US12018980B2 (en) * | 2020-04-20 | 2024-06-25 | Schlumberger Technology Corporation | Dynamic systems and processes for determining a condition thereof |
| US20210331686A1 (en) * | 2020-04-22 | 2021-10-28 | Uatc, Llc | Systems and Methods for Handling Autonomous Vehicle Faults |
| US11790458B1 (en) * | 2020-04-23 | 2023-10-17 | State Farm Mutual Automobile Insurance Company | Systems and methods for modeling telematics, positioning, and environmental data |
| US11945404B2 (en) * | 2020-04-23 | 2024-04-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Tracking and video information for detecting vehicle break-in |
| CN111413892A (zh) * | 2020-04-29 | 2020-07-14 | 卡斯柯信号有限公司 | 面向轨交全自动无人驾驶场景验证的云仿真装置与方法 |
| EP4144065A4 (en) * | 2020-04-30 | 2024-08-28 | Intel Corp | INTEGRATION OF ARTIFICIAL INTELLIGENCE INTO VEHICLES |
| KR20210135389A (ko) * | 2020-05-04 | 2021-11-15 | 현대자동차주식회사 | 장애물 인식 장치, 그를 포함하는 차량 시스템 및 그 방법 |
| US11443045B2 (en) * | 2020-05-05 | 2022-09-13 | Booz Allen Hamilton Inc. | Methods and systems for explaining a decision process of a machine learning model |
| US20210347376A1 (en) * | 2020-05-07 | 2021-11-11 | Steering Solutions Ip Holding Corporation | Autonomous driver-feedback system and method |
| US11318960B1 (en) * | 2020-05-15 | 2022-05-03 | Gm Cruise Holdings Llc | Reducing pathogen transmission in autonomous vehicle fleet |
| KR20210144076A (ko) * | 2020-05-21 | 2021-11-30 | 현대자동차주식회사 | 차량 및 그의 안전 운전 지원 방법 |
| CN113763693B (zh) * | 2020-06-05 | 2023-07-14 | 北京图森未来科技有限公司 | 一种车辆数据处理方法、装置、介质和设备 |
| US11760361B2 (en) | 2020-06-11 | 2023-09-19 | Waymo Llc | Extracting agent intent from log data for running log-based simulations for evaluating autonomous vehicle software |
| US11769332B2 (en) * | 2020-06-15 | 2023-09-26 | Lytx, Inc. | Sensor fusion for collision detection |
| CN113835420A (zh) * | 2020-06-23 | 2021-12-24 | 上海丰豹商务咨询有限公司 | 一种用于自动驾驶系统的功能分配系统 |
| US11807240B2 (en) * | 2020-06-26 | 2023-11-07 | Toyota Research Institute, Inc. | Methods and systems for evaluating vehicle behavior |
| WO2021261680A1 (ko) | 2020-06-26 | 2021-12-30 | 주식회사 에스오에스랩 | 센서 데이터 공유 및 활용 방법 |
| JP2022007246A (ja) * | 2020-06-26 | 2022-01-13 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | 鞍乗型車両の制御装置、ライダー支援システム、及び、鞍乗型車両の制御方法 |
| US20230234599A1 (en) * | 2020-06-26 | 2023-07-27 | Sony Group Corporation | Information processing system, information processing device, and information processing method |
| US11605306B2 (en) * | 2020-06-30 | 2023-03-14 | Toyota Research Institute, Inc. | Systems and methods for driver training during operation of automated vehicle systems |
| US11588830B1 (en) * | 2020-06-30 | 2023-02-21 | Sequoia Benefits and Insurance Services, LLC | Using machine learning to detect malicious upload activity |
| WO2022006418A1 (en) | 2020-07-01 | 2022-01-06 | May Mobility, Inc. | Method and system for dynamically curating autonomous vehicle policies |
| DE102020208642A1 (de) * | 2020-07-09 | 2022-01-13 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zur Anomaliedetektion in technischen Systemen |
| WO2022015235A1 (en) * | 2020-07-13 | 2022-01-20 | Grabtaxi Holdings Pte. Ltd. | System and method for handling events of a fleet of personal mobility devices |
| US20220017095A1 (en) * | 2020-07-14 | 2022-01-20 | Ford Global Technologies, Llc | Vehicle-based data acquisition |
| CA3182998A1 (en) * | 2020-07-15 | 2022-01-20 | Paul R. Hallen | Digital image optimization for ophthalmic surgery |
| DE102020209538A1 (de) * | 2020-07-29 | 2022-02-03 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und Verfahren zum Ermitteln einer physikalischen Eigenschaft eines physikalischen Objekts |
| CA3126236A1 (en) * | 2020-07-29 | 2022-01-29 | Uatc, Llc | Systems and methods for sensor data packet processing and spatial memoryupdating for robotic platforms |
| US20220031208A1 (en) * | 2020-07-29 | 2022-02-03 | Covidien Lp | Machine learning training for medical monitoring systems |
| US11915122B2 (en) * | 2020-07-29 | 2024-02-27 | Micron Technology, Inc. | Gateway for distributing an artificial neural network among multiple processing nodes |
| JP2022026320A (ja) * | 2020-07-30 | 2022-02-10 | 株式会社Subaru | 運転交代制御装置 |
| US20220036094A1 (en) * | 2020-08-03 | 2022-02-03 | Healthcare Integrated Technologies Inc. | Method and system for monitoring subjects for conditions or occurrences of interest |
| US12054164B2 (en) * | 2020-08-14 | 2024-08-06 | Nvidia Corporation | Hardware fault detection for feedback control systems in autonomous machine applications |
| JP7010343B1 (ja) * | 2020-08-20 | 2022-01-26 | トヨタ自動車株式会社 | 機械学習装置 |
| JP6935837B1 (ja) | 2020-08-20 | 2021-09-15 | トヨタ自動車株式会社 | 機械学習装置及び機械学習システム |
| US20220068053A1 (en) * | 2020-08-25 | 2022-03-03 | ANI Technologies Private Limited | Determination of health status of vehicular systems in vehicles |
| CL2021002230A1 (es) * | 2020-08-27 | 2022-04-18 | Tech Resources Pty Ltd | Método y aparatos para coordinar múltiples trayectorias cooperativas de vehículos en redes de carreteras compartidas |
| US20220063660A1 (en) * | 2020-08-31 | 2022-03-03 | Nissan North America, Inc. | Drive Mode Selection |
| US11670120B2 (en) * | 2020-08-31 | 2023-06-06 | Toyota Research Institute, Inc. | System and method for monitoring test data for autonomous operation of self-driving vehicles |
| US11769410B2 (en) * | 2020-09-01 | 2023-09-26 | Qualcomm Incorporated | Techniques for sharing sensor messages in sidelink communications |
| US20220073085A1 (en) * | 2020-09-04 | 2022-03-10 | Waymo Llc | Knowledge distillation for autonomous vehicles |
| US20220076074A1 (en) * | 2020-09-09 | 2022-03-10 | Beijing Didi Infinity Technology And Development Co., Ltd. | Multi-source domain adaptation with mutual learning |
| US11615702B2 (en) * | 2020-09-11 | 2023-03-28 | Ford Global Technologies, Llc | Determining vehicle path |
| EP3967565B1 (en) * | 2020-09-14 | 2022-09-28 | Bayerische Motoren Werke Aktiengesellschaft | Methods and apparatuses for estimating an environmental condition |
| US12091303B2 (en) * | 2020-09-14 | 2024-09-17 | Lance A. Stacy | Motorized vehicles having sensors and methods of operating the same |
| US20220086175A1 (en) * | 2020-09-16 | 2022-03-17 | Ribbon Communications Operating Company, Inc. | Methods, apparatus and systems for building and/or implementing detection systems using artificial intelligence |
| KR20220037025A (ko) * | 2020-09-16 | 2022-03-24 | 현대자동차주식회사 | 차량의 위치 판단 장치 및 방법 |
| US11610412B2 (en) * | 2020-09-18 | 2023-03-21 | Ford Global Technologies, Llc | Vehicle neural network training |
| KR20220039903A (ko) * | 2020-09-21 | 2022-03-30 | 현대자동차주식회사 | 자율주행 제어 장치 및 방법 |
| CN114283606A (zh) * | 2020-09-27 | 2022-04-05 | 阿波罗智联(北京)科技有限公司 | 用于车辆导航的方法、装置、设备、系统和云控平台 |
| US11866070B2 (en) * | 2020-09-28 | 2024-01-09 | Guangzhou Automobile Group Co., Ltd. | Vehicle control method and apparatus, storage medium, and electronic device |
| US12100180B2 (en) * | 2020-09-28 | 2024-09-24 | Griffyn Robotech Pvt. Ltd. | Automated tuning and calibration of a computer vision system |
| US20220101184A1 (en) * | 2020-09-29 | 2022-03-31 | International Business Machines Corporation | Mobile ai |
| US20220101336A1 (en) * | 2020-09-30 | 2022-03-31 | EMC IP Holding Company LLC | Compliant and auditable data handling in a data confidence fabric |
| US12049116B2 (en) | 2020-09-30 | 2024-07-30 | Autobrains Technologies Ltd | Configuring an active suspension |
| DE102020212565A1 (de) * | 2020-10-06 | 2022-04-07 | Volkswagen Aktiengesellschaft | Fahrzeug, Vorrichtung, Computerprogramm und Verfahren zur Durchführung in einem Fahrzeug |
| US20220108569A1 (en) * | 2020-10-06 | 2022-04-07 | Ford Global Technologies, Llc | Automated detection of vehicle data manipulation and mechanical failure |
| KR20220045846A (ko) * | 2020-10-06 | 2022-04-13 | 현대자동차주식회사 | 트랙렛의 사전분포모델을 활용한 표적차량의 운동 및 형상 동시 추정방법 |
| JP2022061874A (ja) * | 2020-10-07 | 2022-04-19 | トヨタ自動車株式会社 | 車両自動走行システム |
| US20220114433A1 (en) * | 2020-10-08 | 2022-04-14 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods and systems for enhanced scene perception using vehicle platoon |
| US20220114888A1 (en) * | 2020-10-14 | 2022-04-14 | Deka Products Limited Partnership | System and Method for Intersection Navigation |
| US20220119004A1 (en) * | 2020-10-15 | 2022-04-21 | Atieva, Inc. | Defining driving envelope for assisted-driving system |
| US11927962B2 (en) * | 2020-10-15 | 2024-03-12 | Ford Global Technologies, Llc | System and method for detecting and addressing errors in a vehicle localization |
| US20220122456A1 (en) * | 2020-10-20 | 2022-04-21 | Here Global B.V. | Explanation of erratic driving behavior |
| KR20220052430A (ko) * | 2020-10-20 | 2022-04-28 | 현대자동차주식회사 | 자율주행차량의 거동 제어 장치 및 그 방법 |
| CN112567374A (zh) * | 2020-10-21 | 2021-03-26 | 华为技术有限公司 | 一种仿真交通场景文件生成方法及装置 |
| US20220122363A1 (en) * | 2020-10-21 | 2022-04-21 | Motional Ad Llc | IDENTIFYING OBJECTS USING LiDAR |
| US11516613B1 (en) * | 2020-10-22 | 2022-11-29 | Zoox, Inc. | Emergency sound localization |
| CN112258842A (zh) * | 2020-10-26 | 2021-01-22 | 北京百度网讯科技有限公司 | 交通监测方法、装置、设备及存储介质 |
| CN112257850B (zh) * | 2020-10-26 | 2022-10-28 | 河南大学 | 一种基于生成对抗网络的车辆轨迹预测方法 |
| JP7294301B2 (ja) * | 2020-10-28 | 2023-06-20 | トヨタ自動車株式会社 | 移動体、サーバおよび判定プログラム |
| US20220138325A1 (en) * | 2020-10-29 | 2022-05-05 | EMC IP Holding Company LLC | Secure enclave pathing configuration for data confidence fabrics |
| US11500374B2 (en) * | 2020-11-03 | 2022-11-15 | Kutta Technologies, Inc. | Intelligent multi-level safe autonomous flight ecosystem |
| KR20220063856A (ko) * | 2020-11-10 | 2022-05-18 | 현대자동차주식회사 | 자율 주행 제어 방법 및 장치 |
| US12026621B2 (en) * | 2020-11-30 | 2024-07-02 | Robert Bosch Gmbh | Method and system for low-query black-box universal attacks |
| US20220173889A1 (en) * | 2020-11-30 | 2022-06-02 | Motional Ad Llc | Secure Safety-Critical System Log |
| US20220169286A1 (en) * | 2020-12-01 | 2022-06-02 | Scott L. Radabaugh | Techniques for detecting and preventing vehicle wrong way driving |
| US11671857B2 (en) * | 2020-12-03 | 2023-06-06 | Mitsubishi Electric Corporation | Roadside communication system for monitoring and maintaining sensor data transmission |
| EP4009001A1 (en) * | 2020-12-04 | 2022-06-08 | Zenuity AB | Road segment selection along a route to be travelled by a vehicle |
| US11734017B1 (en) * | 2020-12-07 | 2023-08-22 | Waymo Llc | Methods and systems for processing vehicle sensor data across multiple digital signal processing cores virtually arranged in segments based on a type of sensor |
| US12033445B1 (en) * | 2020-12-07 | 2024-07-09 | Amazon Technologies, Inc. | Systems and methods for causal detection and diagnosis of vehicle faults |
| CN112455465B (zh) * | 2020-12-08 | 2022-02-01 | 广州小鹏自动驾驶科技有限公司 | 一种行驶环境感知方法、装置、电子设备和存储介质 |
| DE102020215852B4 (de) * | 2020-12-14 | 2022-07-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein | Robuste Ankunftszeitschätzung unter Verwendung von faltenden neuronalen Netzerken (oder anderen Funktionsapproximationen) auf randomisierten Kanalmodellen |
| JP7363756B2 (ja) * | 2020-12-16 | 2023-10-18 | トヨタ自動車株式会社 | 自動運転システム、自動運転車の制御方法 |
| US20210101619A1 (en) * | 2020-12-16 | 2021-04-08 | Mobileye Vision Technologies Ltd. | Safe and scalable model for culturally sensitive driving by automated vehicles |
| US20220198351A1 (en) * | 2020-12-17 | 2022-06-23 | Here Global B.V. | Contextually defining an interest index for shared and autonomous vehicles |
| US20220197236A1 (en) * | 2020-12-18 | 2022-06-23 | Rockwell Collins, Inc. | Hierarchical high integrity automation system |
| US12082082B2 (en) | 2020-12-22 | 2024-09-03 | Intel Corporation | Validation and training service for dynamic environment perception based on local high confidence information |
| US11995991B2 (en) * | 2020-12-22 | 2024-05-28 | Stack Av Co. | Shared control for vehicles travelling in formation |
| KR102622243B1 (ko) * | 2020-12-23 | 2024-01-08 | 네이버 주식회사 | 리스크 척도를 나타내는 파라미터에 기반하여 훈련된 모델을 사용하여, 주어진 상황에 대한 디바이스의 행동을 결정하는 방법 및 시스템 |
| US20220198921A1 (en) * | 2020-12-23 | 2022-06-23 | Sensible 4 Oy | Data collection and modeling systems and methods for autonomous vehicles |
| US20220324421A1 (en) * | 2020-12-23 | 2022-10-13 | ClearMotion, Inc. | Systems and methods for terrain-based insights for advanced driver assistance systems |
| US20220281456A1 (en) * | 2020-12-23 | 2022-09-08 | ClearMotion, Inc. | Systems and methods for vehicle control using terrain-based localization |
| CN112712719B (zh) * | 2020-12-25 | 2022-05-03 | 阿波罗智联(北京)科技有限公司 | 车辆控制方法、车路协同系统、路侧设备和自动驾驶车辆 |
| JP7196149B2 (ja) * | 2020-12-28 | 2022-12-26 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、及びプログラム |
| WO2022147445A1 (en) * | 2020-12-30 | 2022-07-07 | Koireader Technologies, Inc. | System for monitoring transportation, logistics, and distribution facilities |
| CN112686161A (zh) * | 2020-12-31 | 2021-04-20 | 遵义师范学院 | 基于神经网络的疲劳驾驶检测方法 |
| US11978289B2 (en) * | 2021-01-04 | 2024-05-07 | Guangzhou Automobile Group Co., Ltd. | Method, apparatus and non-transitory computer readable storage medium for driving evaluation |
| FR3118671A1 (fr) * | 2021-01-06 | 2022-07-08 | Psa Automobiles Sa | Méthodes et systèmes pour masquer des données visuelles à caractère personnel enregistrées pour tester une fonction d'aide à la conduite |
| US11858507B2 (en) * | 2021-01-13 | 2024-01-02 | GM Global Technology Operations LLC | Methods for cognitive situation awareness using an attention-based event structure |
| US20220219731A1 (en) * | 2021-01-14 | 2022-07-14 | Cavh Llc | Intelligent information conversion for automatic driving |
| US12003966B2 (en) * | 2021-01-19 | 2024-06-04 | Qualcomm Incorporated | Local misbehavior prevention system for cooperative intelligent transportation systems |
| US20220237309A1 (en) * | 2021-01-26 | 2022-07-28 | EMC IP Holding Company LLC | Signal of risk access control |
| WO2022165525A1 (en) * | 2021-01-28 | 2022-08-04 | Drisk, Inc. | Systems and methods for autonomous vehicle control |
| EP4036891B1 (en) * | 2021-01-29 | 2024-10-09 | Zenseact AB | Unforeseen vehicle driving scenarios |
| US11975725B2 (en) * | 2021-02-02 | 2024-05-07 | Toyota Research Institute, Inc. | Systems and methods for updating the parameters of a model predictive controller with learned external parameters generated using simulations and machine learning |
| JP2022119498A (ja) * | 2021-02-04 | 2022-08-17 | 本田技研工業株式会社 | 車両用シートベルト装置 |
| CN114913501A (zh) * | 2021-02-10 | 2022-08-16 | 通用汽车环球科技运作有限责任公司 | 注意力驱动的串流系统 |
| DE102021201522A1 (de) * | 2021-02-17 | 2022-08-18 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers |
| DE102021201512A1 (de) * | 2021-02-17 | 2022-08-18 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Modellierung der Umgebung eines automatisierten Fahrzeugs |
| DE102021104220A1 (de) * | 2021-02-23 | 2022-08-25 | Bayerische Motoren Werke Aktiengesellschaft | Erhöhen eines Automatisierungsgrads eines Fahrerassistenzsystems eines Kraftfahrzeugs |
| EP4052983B1 (en) * | 2021-03-04 | 2023-08-16 | Volvo Car Corporation | Method for transitioning a drive mode of a vehicle, drive control system for vehice and vehicle |
| US11727694B2 (en) * | 2021-03-04 | 2023-08-15 | Tangerine Innovation Holding Inc. | System and method for automatic assessment of comparative negligence for one or more vehicles involved in an accident |
| US11827245B2 (en) | 2021-03-09 | 2023-11-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for estimating motion of an automated vehicle for cooperative driving |
| EP4063222A1 (en) * | 2021-03-24 | 2022-09-28 | Zenseact AB | Precautionary vehicle path planning |
| US11810225B2 (en) * | 2021-03-30 | 2023-11-07 | Zoox, Inc. | Top-down scene generation |
| US11858514B2 (en) | 2021-03-30 | 2024-01-02 | Zoox, Inc. | Top-down scene discrimination |
| US20220318602A1 (en) * | 2021-03-31 | 2022-10-06 | Fujitsu Limited | Provision of semantic feedback on deep neural network (dnn) prediction for decision making |
| US11472436B1 (en) | 2021-04-02 | 2022-10-18 | May Mobility, Inc | Method and system for operating an autonomous agent with incomplete environmental information |
| US20220317635A1 (en) * | 2021-04-06 | 2022-10-06 | International Business Machines Corporation | Smart ecosystem curiosity-based self-learning |
| US12046046B2 (en) * | 2021-04-09 | 2024-07-23 | Magna Electronics, Llc | Tagging objects with fault override patterns during calibration of vehicle sensing systems |
| US20220327930A1 (en) * | 2021-04-12 | 2022-10-13 | International Business Machines Corporation | Cooperative operation of vehicles |
| CN113033471A (zh) * | 2021-04-15 | 2021-06-25 | 北京百度网讯科技有限公司 | 交通异常检测方法、装置、设备、存储介质以及程序产品 |
| CN114084170A (zh) * | 2021-04-15 | 2022-02-25 | 上海丰豹商务咨询有限公司 | 一种服务于cvcs的车载智能单元及其控制方法 |
| US11983933B1 (en) * | 2021-04-16 | 2024-05-14 | Zoox, Inc. | Boundary aware top-down trajectory prediction |
| US20220340153A1 (en) * | 2021-04-22 | 2022-10-27 | Gm Cruise Holdings Llc | Simulated test creation |
| US11854280B2 (en) * | 2021-04-27 | 2023-12-26 | Toyota Research Institute, Inc. | Learning monocular 3D object detection from 2D semantic keypoint detection |
| US11661077B2 (en) | 2021-04-27 | 2023-05-30 | Toyota Motor Engineering & Manufacturing North America. Inc. | Method and system for on-demand roadside AI service |
| US20220348223A1 (en) * | 2021-04-29 | 2022-11-03 | Tusimple, Inc. | Autonomous vehicle to oversight system communications |
| US11767032B2 (en) | 2021-04-29 | 2023-09-26 | Tusimple, Inc. | Direct autonomous vehicle to autonomous vehicle communications |
| US11767031B2 (en) | 2021-04-29 | 2023-09-26 | Tusimple, Inc. | Oversight system to autonomous vehicle communications |
| US11511772B2 (en) * | 2021-04-30 | 2022-11-29 | Deepx Co., Ltd. | NPU implemented for artificial neural networks to process fusion of heterogeneous data received from heterogeneous sensors |
| WO2022235353A1 (en) * | 2021-05-07 | 2022-11-10 | Oracle International Corporation | Variant inconsistency attack (via) as a simple and effective adversarial attack method |
| US11892314B2 (en) * | 2021-05-17 | 2024-02-06 | International Business Machines Corporation | Thermally efficient route selection |
| JP2022181267A (ja) * | 2021-05-26 | 2022-12-08 | 株式会社日立製作所 | 計算システム、計算方法 |
| US12077177B2 (en) * | 2021-05-26 | 2024-09-03 | Nissan North America, Inc. | Autonomous vehicle control and map accuracy determination based on predicted and actual trajectories of surrounding objects and vehicles |
| WO2022256249A1 (en) * | 2021-06-02 | 2022-12-08 | May Mobility, Inc. | Method and system for remote assistance of an autonomous agent |
| JP7521490B2 (ja) * | 2021-06-04 | 2024-07-24 | トヨタ自動車株式会社 | 情報処理サーバ、情報処理サーバの処理方法、プログラム |
| US20220388530A1 (en) * | 2021-06-07 | 2022-12-08 | Toyota Motor North America, Inc. | Transport limitations from malfunctioning sensors |
| US20220388538A1 (en) * | 2021-06-07 | 2022-12-08 | Autobrains Technologies Ltd | Cabin preferences setting that is based on identification of one or more persons in the cabin |
| US11955020B2 (en) | 2021-06-09 | 2024-04-09 | Ford Global Technologies, Llc | Systems and methods for operating drone flights over public roadways |
| US11624831B2 (en) * | 2021-06-09 | 2023-04-11 | Suteng Innovation Technology Co., Ltd. | Obstacle detection method and apparatus and storage medium |
| WO2022271750A1 (en) * | 2021-06-21 | 2022-12-29 | Cyngn, Inc. | Three-dimensional object detection with ground removal intelligence |
| KR20220170151A (ko) * | 2021-06-22 | 2022-12-29 | 현대자동차주식회사 | 차량 내부 네트워크에 대한 침입 대응 방법 및 장치 |
| US20220413502A1 (en) * | 2021-06-25 | 2022-12-29 | Here Global B.V. | Method, apparatus, and system for biasing a machine learning model toward potential risks for controlling a vehicle or robot |
| US20220410938A1 (en) * | 2021-06-29 | 2022-12-29 | Toyota Research Institute, Inc. | Systems and methods for predicting the trajectory of a moving object |
| US20230004170A1 (en) * | 2021-06-30 | 2023-01-05 | Delta Electronics Int'l (Singapore) Pte Ltd | Modular control system and method for controlling automated guided vehicle |
| US12057016B2 (en) * | 2021-07-20 | 2024-08-06 | Autobrains Technologies Ltd | Environmental model based on audio |
| US20230029093A1 (en) * | 2021-07-20 | 2023-01-26 | Nissan North America, Inc. | Computing Framework for Vehicle Decision Making and Traffic Management |
| JP7548149B2 (ja) * | 2021-07-21 | 2024-09-10 | トヨタ自動車株式会社 | 遠隔運転タクシーシステム、モビリティサービス管理方法、及び遠隔運転タクシー管理装置 |
| US20230027496A1 (en) * | 2021-07-22 | 2023-01-26 | Cnh Industrial America Llc | Systems and methods for obstacle detection |
| JP2023018693A (ja) * | 2021-07-28 | 2023-02-09 | 株式会社Subaru | 車両の制御装置 |
| CN115884911A (zh) * | 2021-07-30 | 2023-03-31 | 华为技术有限公司 | 故障检测方法、故障检测装置、服务器和车辆 |
| US12012125B2 (en) * | 2021-07-30 | 2024-06-18 | Nvidia Corporation | Communicating faults to an isolated safety region of a system on a chip |
| US11657701B2 (en) | 2021-08-03 | 2023-05-23 | Toyota Motor North America, Inc. | Systems and methods for emergency alert and call regarding driver condition |
| US11919534B2 (en) * | 2021-08-03 | 2024-03-05 | Denso Corporation | Driver state guide device and driver state guide method |
| US12110075B2 (en) | 2021-08-05 | 2024-10-08 | AutoBrains Technologies Ltd. | Providing a prediction of a radius of a motorcycle turn |
| US20230053243A1 (en) * | 2021-08-11 | 2023-02-16 | Baidu Usa Llc | Hybrid Performance Critic for Planning Module's Parameter Tuning in Autonomous Driving Vehicles |
| US11769227B2 (en) | 2021-08-12 | 2023-09-26 | Adobe Inc. | Generating synthesized digital images utilizing a multi-resolution generator neural network |
| US11861762B2 (en) * | 2021-08-12 | 2024-01-02 | Adobe Inc. | Generating synthesized digital images utilizing class-specific machine-learning models |
| US20230052436A1 (en) * | 2021-08-12 | 2023-02-16 | International Business Machines Corporation | Intelligent advanced engine braking system |
| US12030479B1 (en) | 2021-08-13 | 2024-07-09 | Oshkosh Defense, Llc | Prioritized charging of an energy storage system of a military vehicle |
| US11608050B1 (en) | 2021-08-13 | 2023-03-21 | Oshkosh Defense, Llc | Electrified military vehicle |
| US11498409B1 (en) | 2021-08-13 | 2022-11-15 | Oshkosh Defense, Llc | Electrified military vehicle |
| US12083995B1 (en) | 2021-08-13 | 2024-09-10 | Oshkosh Defense, Llc | Power export system for a military vehicle |
| US12060053B1 (en) | 2021-08-13 | 2024-08-13 | Oshkosh Defense, Llc | Military vehicle with control modes |
| US20230058508A1 (en) * | 2021-08-19 | 2023-02-23 | GM Global Technology Operations LLC | System amd method for providing situational awareness interfaces for a vehicle occupant |
| US11988749B2 (en) | 2021-08-19 | 2024-05-21 | Argo AI, LLC | System and method for hybrid LiDAR segmentation with outlier detection |
| JP7407152B2 (ja) * | 2021-08-20 | 2023-12-28 | Ｌｉｎｅヤフー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
| US20230056233A1 (en) * | 2021-08-20 | 2023-02-23 | Motional Ad Llc | Sensor attack simulation system |
| JP2023031631A (ja) * | 2021-08-25 | 2023-03-09 | トヨタ自動車株式会社 | 運転引継ぎシステム、運転引継ぎ方法 |
| CN113434355B (zh) * | 2021-08-26 | 2021-12-17 | 苏州浪潮智能科技有限公司 | 模块验证方法、uvm验证平台、电子设备及存储介质 |
| US20230060261A1 (en) * | 2021-09-01 | 2023-03-02 | State Farm Mutual Automobile Insurance Company | High Efficiency Isolation of Intersection and Road Crossings for Driving Analytics |
| US20230061830A1 (en) * | 2021-09-02 | 2023-03-02 | Canoo Technologies Inc. | Metamorphic labeling using aligned sensor data |
| US20230073933A1 (en) * | 2021-09-07 | 2023-03-09 | Argo AI, LLC | Systems and methods for onboard enforcement of allowable behavior based on probabilistic model of automated functional components |
| US11989853B2 (en) * | 2021-09-08 | 2024-05-21 | Qualcomm Incorporated | Higher-resolution terrain elevation data from low-resolution terrain elevation data |
| US20210403004A1 (en) * | 2021-09-10 | 2021-12-30 | Intel Corporation | Driver monitoring system (dms) data management |
| WO2023043684A1 (en) * | 2021-09-14 | 2023-03-23 | University Of Washington | Safe occlusion-aware cooperative adaptive cruise control under environmental interference |
| CN113747500B (zh) * | 2021-09-15 | 2023-07-14 | 北京航空航天大学 | 复杂异构移动边缘计算中基于生成对抗式网络的高能效低延迟工作流应用迁移方法 |
| US20230102929A1 (en) * | 2021-09-24 | 2023-03-30 | Embark Trucks, Inc. | Autonomous vehicle automated scenario characterization |
| US20230117467A1 (en) * | 2021-10-14 | 2023-04-20 | Lear Corporation | Passing assist system |
| DE102021126820A1 (de) * | 2021-10-15 | 2023-04-20 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Verarbeitungseinrichtung zum Steuern einer Fahrassistenzfunktion und Fahrassistenzsystem |
| CN113963200A (zh) * | 2021-10-18 | 2022-01-21 | 郑州大学 | 模态数据融合处理方法、装置、设备及存储介质 |
| US11760368B2 (en) * | 2021-10-19 | 2023-09-19 | Cyngn, Inc. | System and method of same-loop adaptive simulation for autonomous driving |
| TWI786893B (zh) * | 2021-10-19 | 2022-12-11 | 財團法人車輛研究測試中心 | 艙內監控與情境理解感知方法及其系統 |
| US12088717B2 (en) * | 2021-10-25 | 2024-09-10 | Verizon Patent And Licensing Inc. | Systems and methods for AI/machine learning-based blockchain validation and remediation |
| CN114115230B (zh) * | 2021-10-25 | 2023-10-03 | 武汉理工大学 | 人机协同的船舶远程驾驶控制方法、系统、装置及介质 |
| US20230130814A1 (en) * | 2021-10-27 | 2023-04-27 | Nvidia Corporation | Yield scenario encoding for autonomous systems |
| US11753017B2 (en) * | 2021-11-01 | 2023-09-12 | Ford Global Technologies, Llc | Systems and methods for providing off-track drivability guidance |
| US20230138610A1 (en) * | 2021-11-02 | 2023-05-04 | Robert Bosch Gmbh | Customizing Operational Design Domain of an Autonomous Driving System for a Vehicle Based on Driver's Behavior |
| US11781878B2 (en) * | 2021-11-04 | 2023-10-10 | International Business Machines Corporation | Recommend routes in enhanced navigation system |
| DE102021129085B3 (de) * | 2021-11-09 | 2023-02-02 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren zur Erzeugung eines Modells zur automatisierten Vorhersage von Interaktionen eines Benutzers mit einer Benutzerschnittstelle eines Kraftfahrzeugs, außerdem Datenverarbeitungseinheit für ein Kraftfahrzeug und Kraftfahrzeug |
| US20230153943A1 (en) * | 2021-11-16 | 2023-05-18 | Adobe Inc. | Multi-scale distillation for low-resolution detection |
| US12057013B2 (en) | 2021-11-17 | 2024-08-06 | Here Global B.V. | Method, apparatus and computer program product for suppressing false positives of road work detection within a road network |
| WO2023096632A1 (en) * | 2021-11-23 | 2023-06-01 | Hitachi, Ltd. | Method for false alarm prediction and severity classification in event sequences |
| US11804080B2 (en) * | 2021-11-29 | 2023-10-31 | Institute For Information Industry | Method and system for inspecting and scoring vehicle transportation |
| DE102021213418A1 (de) * | 2021-11-29 | 2023-06-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein | Schnittstellenkomponente für verteilte Komponenten eines Systems des maschinellen Lernens |
| US20230166766A1 (en) * | 2021-12-01 | 2023-06-01 | International Business Machines Corporation | Hybrid challenger model through peer-peer reinforcement for autonomous vehicles |
| US12012123B2 (en) | 2021-12-01 | 2024-06-18 | May Mobility, Inc. | Method and system for impact-based operation of an autonomous agent |
| US20230171275A1 (en) * | 2021-12-01 | 2023-06-01 | Gm Cruise Holdings Llc | Anomaly detection and onboard security actions for an autonomous vehicle |
| EP4191451A1 (en) * | 2021-12-01 | 2023-06-07 | Nxp B.V. | Architecture for monitoring, analyzing, and reacting to safety and cybersecurity events |
| US20230180018A1 (en) * | 2021-12-03 | 2023-06-08 | Hewlett Packard Enterprise Development Lp | Radio frequency plan generation for network deployments |
| DE102021132466B3 (de) | 2021-12-09 | 2023-06-15 | Joynext Gmbh | Erkennen eines Objekts in der Nähe eines Verkehrsteilnehmers |
| US11887200B2 (en) * | 2021-12-10 | 2024-01-30 | GM Global Technology Operations LLC | Systems and methods for enabling yielding decisions, conflict resolution, and user profile generation |
| US20230185621A1 (en) * | 2021-12-15 | 2023-06-15 | Coupang Corp. | Computer resource allocation systems and methods for optimizing computer implemented tasks |
| CN114385113B (zh) * | 2021-12-20 | 2024-07-23 | 同济大学 | 基于自适应驾驶风格动态切换模型的测试场景生成方法 |
| KR102418566B1 (ko) * | 2021-12-22 | 2022-07-08 | 재단법인 지능형자동차부품진흥원 | 엣지 인프라 기반의 자율 주행 안전 제어 시스템 및 방법 |
| US20230192130A1 (en) * | 2021-12-22 | 2023-06-22 | Gm Cruise Holdings Llc | System and method of using a machine learning model to aid a planning stack to choose a route |
| CN114283619A (zh) * | 2021-12-25 | 2022-04-05 | 重庆长安汽车股份有限公司 | 一种基于v2x的车辆避障系统、平台构架、方法及车辆 |
| US20230202470A1 (en) * | 2021-12-28 | 2023-06-29 | Argo AI, LLC | Integrated trajectory forecasting, error estimation, and vehicle handling when detecting an observed scenario |
| WO2023127654A1 (ja) * | 2021-12-28 | 2023-07-06 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム |
| US11973847B2 (en) | 2022-01-10 | 2024-04-30 | Ford Global Technologies, Llc | Intelligent ticketing and data offload planning for connected vehicles |
| US20230228860A1 (en) * | 2022-01-14 | 2023-07-20 | Honeywell International Inc. | Ground map monitor for map-based, vision navigation systems |
| US20230237802A1 (en) * | 2022-01-24 | 2023-07-27 | Tomahawk Robotics | Architecture for distributed artificial intelligence augmentation |
| US11999386B2 (en) | 2022-01-31 | 2024-06-04 | Stack Av Co. | User interfaces for autonomy state control and alerts |
| EP4224288A1 (en) * | 2022-02-07 | 2023-08-09 | Robert Ohrenstein | Gaze direction determination apparatus |
| US11954916B2 (en) * | 2022-02-07 | 2024-04-09 | GM Global Technology Operations LLC | Systems and methods for classifying detected objects in an image at an automated driving system |
| WO2023152638A1 (en) * | 2022-02-08 | 2023-08-17 | Mobileye Vision Technologies Ltd. | Knowledge distillation techniques |
| WO2023154568A1 (en) | 2022-02-14 | 2023-08-17 | May Mobility, Inc. | Method and system for conditional operation of an autonomous agent |
| US20230260387A1 (en) * | 2022-02-15 | 2023-08-17 | Johnson Controls Tyco IP Holdings LLP | Systems and methods for detecting security events in an environment |
| US12005914B2 (en) * | 2022-02-22 | 2024-06-11 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for driving condition-agnostic adaptation of advanced driving assistance systems |
| US12038870B2 (en) * | 2022-02-24 | 2024-07-16 | GM Global Technology Operations LLC | System and apparatus for on-demand, feature focused data collection in autonomous vehicles and autonomous driving systems |
| CN114343661B (zh) * | 2022-03-07 | 2022-05-27 | 西南交通大学 | 高铁司机反应时间估计方法、装置、设备及可读存储介质 |
| US20230289672A1 (en) * | 2022-03-14 | 2023-09-14 | Gm Cruise Holdings Llc | Adaptive social activities for autonomous vehicle (av) passengers |
| CN116811908A (zh) * | 2022-03-21 | 2023-09-29 | 通用汽车环球科技运作有限责任公司 | 与恶意v2v消息检测相关联的信誉分数管理系统和方法 |
| CN114596574A (zh) * | 2022-03-22 | 2022-06-07 | 北京百度网讯科技有限公司 | 文本识别方法、装置、电子设备和介质 |
| TWI812102B (zh) * | 2022-03-23 | 2023-08-11 | 國立高雄大學 | 二無人載具協同導航方法與系統 |
| JP2023142475A (ja) * | 2022-03-25 | 2023-10-05 | ロジスティード株式会社 | 運行支援方法、運行支援システム及びサーバ |
| CN114780655A (zh) * | 2022-03-28 | 2022-07-22 | 阿波罗智联(北京)科技有限公司 | 模型训练和地图数据处理方法、装置、设备及存储介质 |
| US20230315899A1 (en) * | 2022-03-30 | 2023-10-05 | Amazon Technologies, Inc. | Synthetic data generation |
| US20230311898A1 (en) * | 2022-03-30 | 2023-10-05 | Rivian Ip Holdings, Llc | Recommending activities for occupants during vehicle servicing |
| US12026996B2 (en) * | 2022-04-04 | 2024-07-02 | Ford Global Technologies, Llc | Vehicle data storage activation |
| EP4258140A1 (en) * | 2022-04-06 | 2023-10-11 | Elektrobit Automotive GmbH | Face anonymization using a generative adversarial network |
| US11889351B2 (en) * | 2022-04-13 | 2024-01-30 | James Tagg | Blockchain-based dynamic cellular network with proof-of-service |
| US20230329612A1 (en) * | 2022-04-14 | 2023-10-19 | Micron Technology, Inc. | Determining driver capability |
| CN114454889B (zh) * | 2022-04-14 | 2022-06-28 | 新石器慧通（北京）科技有限公司 | 用于远程驾驶的行驶路面状况反馈方法、装置和无人车 |
| US12091001B2 (en) * | 2022-04-20 | 2024-09-17 | Gm Cruise Holdings Llc | Safety measurement of autonomous vehicle driving in simulation |
| CN114779752B (zh) * | 2022-04-21 | 2024-06-07 | 厦门大学 | 网络攻击下智能电动车辆轨迹跟踪控制方法 |
| CN114973707B (zh) * | 2022-04-25 | 2023-12-01 | 天地（常州）自动化股份有限公司 | 煤矿井下巷道岔路口的联合管控方法 |
| US12062281B1 (en) * | 2022-05-02 | 2024-08-13 | John Gregory Baker | Roadway sight restriction early warning alarm system |
| US11507041B1 (en) * | 2022-05-03 | 2022-11-22 | The Florida International University Board Of Trustees | Systems and methods for boosting resiliency of a power distribution network |
| DE102022204557A1 (de) | 2022-05-10 | 2023-11-16 | Robert Bosch Gesellschaft mit beschränkter Haftung | Computerimplementiertes verfahren zur verhinderung von funktionsverlust bei verbindungsstörung zu einem backend in einem kommunikationssystem |
| DE102022204862A1 (de) * | 2022-05-17 | 2023-11-23 | Robert Bosch Gesellschaft mit beschränkter Haftung | Update einer Software eines Fahrzeugs auf Basis von Fahrzeugfelddaten |
| US11623658B1 (en) * | 2022-05-19 | 2023-04-11 | Aurora Operations, Inc. | System and method for generating information on remainder of measurement using sensor data |
| US12115974B2 (en) * | 2022-05-25 | 2024-10-15 | GM Global Technology Operations LLC | Data fusion-centric method and system for vehicle motion control |
| CN114839998B (zh) * | 2022-05-26 | 2024-09-10 | 四川轻化工大学 | 面向供能有限的移动机器人节能路径规划方法 |
| CN114973676B (zh) * | 2022-05-27 | 2023-08-29 | 重庆大学 | 一种快速路车道缩减区的混合交通众从牵制控制方法 |
| DE102022113992A1 (de) | 2022-06-02 | 2023-12-07 | Porsche Ebike Performance Gmbh | Verfahren, System und Computerprogrammprodukt zur interaktiven Kommunikation zwischen einem sich bewegenden Objekt und einem Benutzer |
| US20230399016A1 (en) * | 2022-06-14 | 2023-12-14 | Gm Cruise Holdings Llc | Multi-mode vehicle controller |
| FR3136882A1 (fr) * | 2022-06-21 | 2023-12-22 | Psa Automobiles Sa | Procédé et dispositif de prédiction d’une capacité à rouler d’un véhicule à la suite d’un accident |
| DE102022206280B4 (de) * | 2022-06-23 | 2024-01-18 | Zf Friedrichshafen Ag | Computer-implementiertes Verfahren und Vorrichtung zum Bestimmen eines Steuerbefehls zum Steuern eines Fahrzeugs |
| US20230419271A1 (en) * | 2022-06-24 | 2023-12-28 | Gm Cruise Holdings Llc | Routing field support to vehicles for maintenance |
| CN115042783A (zh) * | 2022-06-28 | 2022-09-13 | 重庆长安汽车股份有限公司 | 一种车辆速度规划方法、装置、电子设备及介质 |
| US12116003B2 (en) * | 2022-06-30 | 2024-10-15 | Nissan North America, Inc. | Vehicle notification system |
| CN115297230B (zh) * | 2022-07-01 | 2024-05-14 | 智己汽车科技有限公司 | 一种电子外后视镜和智驾侧后视摄像头复用的系统和方法 |
| US12071161B1 (en) * | 2022-07-06 | 2024-08-27 | Waymo Llc | Intervention behavior prediction |
| EP4307079A1 (en) * | 2022-07-12 | 2024-01-17 | Koa Health Digital Solutions S.L.U. | Method and system for optimizing model accuracy, battery consumption and data storage amounts |
| DE102022117683A1 (de) | 2022-07-14 | 2024-01-25 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren, System, sowie Computerprogramm zum Trainieren eines zum Betreiben eines Fahrzeugs ausgebildeten neuronalen Netzes und zum Betreiben eines Fahrzeugs mit einem neuronalen Netz |
| DE102022117676A1 (de) | 2022-07-14 | 2024-01-25 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren, System, sowie Computerprogramm zum Trainieren eines zum Betreiben eines Fahrzeugs ausgebildeten neuronalen Netzes und zum Betreiben eines Fahrzeugs mit einem neuronalen Netz |
| US11698910B1 (en) * | 2022-07-21 | 2023-07-11 | Plusai, Inc. | Methods and apparatus for natural language-based safety case discovery to train a machine learning model for a driving system |
| DE102022207506A1 (de) * | 2022-07-22 | 2024-01-25 | Continental Automotive Technologies GmbH | Vorrichtung und Verfahren zum Bereitstellen von Informationen und Unterhaltung in einem Kraftfahrzeug |
| CN115378653B (zh) * | 2022-07-25 | 2024-04-23 | 中国电子科技集团公司第三十研究所 | 一种基于lstm和随机森林的网络安全态势感知与预测方法及系统 |
| CN115114338B (zh) * | 2022-07-26 | 2022-12-20 | 成都秦川物联网科技股份有限公司 | 智慧城市公共场所人流量统计与调控方法及物联网系统 |
| EP4316937A1 (en) * | 2022-08-04 | 2024-02-07 | e.solutions GmbH | Electronic apparatus for trainable vehicle component setting and vehicle |
| KR20240021580A (ko) * | 2022-08-10 | 2024-02-19 | 현대자동차주식회사 | 자율주행 데이터 관리 장치 및 그 방법 |
| US20240051581A1 (en) * | 2022-08-15 | 2024-02-15 | Motional Ad Llc | Determination of an action for an autonomous vehicle in the presence of intelligent agents |
| DE102022122110A1 (de) | 2022-09-01 | 2024-03-07 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum fahren in einem parkbereich |
| CN117697733A (zh) * | 2022-09-09 | 2024-03-15 | 北京极智嘉科技股份有限公司 | 一种机器人调度方法和装置 |
| JPWO2024053116A1 (ja) * | 2022-09-11 | 2024-03-14 | ||
| TWI807997B (zh) * | 2022-09-19 | 2023-07-01 | 財團法人車輛研究測試中心 | 感測器融合之時序同步方法 |
| WO2024059925A1 (en) * | 2022-09-20 | 2024-03-28 | Huawei Technologies Canada Co., Ltd. | Systems and methods for cooperative perception |
| CN115489597B (zh) * | 2022-09-27 | 2024-08-23 | 吉林大学 | 一种适用于线控四轮转向智能汽车的转角控制系统 |
| DE102022125227A1 (de) | 2022-09-29 | 2024-04-04 | Cariad Se | Verfahren und System zum Abgleichen von Fahrzeugmodellen zwischen Recheneinrichtungen bei einer Zugangskontrolle in eine Zone, in welche ein Fahrzeug einzufahren versucht, sowie entsprechenden Recheneinrichtungen |
| DE102022125794A1 (de) | 2022-10-06 | 2024-04-11 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit fahrzeugexternen Sensorinformationen für einen Fernsteuerer, sowie elektronisches Fernsteuerungssystem |
| US20240116507A1 (en) * | 2022-10-06 | 2024-04-11 | Ford Global Technologies, Llc | Adaptive control systems and methods using wheel sensor data |
| US20240116512A1 (en) * | 2022-10-06 | 2024-04-11 | Ford Global Technologies, Llc | Drive mode adaptation systems and methods using wheel sensor data |
| US20240124020A1 (en) * | 2022-10-13 | 2024-04-18 | Zoox, Inc. | Stopping action of an autonomous vehicle |
| US20240227854A9 (en) * | 2022-10-20 | 2024-07-11 | Industry-Academic Cooperation Foundation, Dankook University | System for providing autonomous driving safety map service |
| EP4357212A1 (en) * | 2022-10-21 | 2024-04-24 | Zenseact AB | Ads development |
| CN115439719B (zh) * | 2022-10-27 | 2023-03-28 | 泉州装备制造研究所 | 一种针对对抗攻击的深度学习模型防御方法及模型 |
| US20240149881A1 (en) * | 2022-11-04 | 2024-05-09 | Gm Cruise Holdings Llc | Using mapping data for generating perception-impacting environmental features for autonomous vehicles |
| US20240157977A1 (en) * | 2022-11-16 | 2024-05-16 | Toyota Research Institute, Inc. | Systems and methods for modeling and predicting scene occupancy in the environment of a robot |
| US20240166236A1 (en) * | 2022-11-17 | 2024-05-23 | Gm Cruise Holdings Llc | Filtering autonomous driving simulation scenarios |
| US12105205B2 (en) * | 2022-11-23 | 2024-10-01 | Gm Cruise Holdings Llc | Attributing sensor realism gaps to sensor modeling parameters |
| KR102533711B1 (ko) * | 2022-11-24 | 2023-05-18 | 한국전자기술연구원 | 회전교차로에서의 차량 주행 제어 장치 |
| KR102533710B1 (ko) * | 2022-11-24 | 2023-05-18 | 한국전자기술연구원 | 회전교차로에서의 차량 주행 제어 장치 |
| US11691632B1 (en) * | 2022-12-06 | 2023-07-04 | Mercedes-Benz Group AG | Vehicle simulating method and system |
| KR102708275B1 (ko) * | 2022-12-07 | 2024-09-24 | 주식회사 에스더블유엠 | 딥러닝을 위한 폴리곤 매시 기반 3차원 객체 모델 및 주석데이터 생성장치 및 그 방법 |
| US20240190481A1 (en) * | 2022-12-08 | 2024-06-13 | Honda Motor Co., Ltd. | Adaptive trust calibration |
| CN116152887B (zh) * | 2022-12-08 | 2023-09-26 | 山东省人工智能研究院 | 一种基于ds证据理论的动态人脸表情识别方法 |
| US11697435B1 (en) * | 2022-12-09 | 2023-07-11 | Plusai, Inc. | Hierarchical vehicle action prediction |
| US12027053B1 (en) | 2022-12-13 | 2024-07-02 | May Mobility, Inc. | Method and system for assessing and mitigating risks encounterable by an autonomous vehicle |
| DE102022133370A1 (de) | 2022-12-15 | 2024-06-20 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Neukalibrieren eines Sensors einer Vorrichtung |
| CN115907591B (zh) * | 2022-12-15 | 2024-07-02 | 浙江蓝景科技有限公司杭州分公司 | 一种海洋云仓污染物运输车辆异常行为预警方法和系统 |
| US20240202854A1 (en) * | 2022-12-16 | 2024-06-20 | Here Global B.V. | Method to compute pedestrian real-time vulnerability index |
| US20240214812A1 (en) * | 2022-12-21 | 2024-06-27 | Qualcomm Incorporated | Mitigating the effects of disinforming rogue actors in perceptive wireless communications |
| DE102023100418A1 (de) | 2023-01-10 | 2024-07-11 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Nachverfolgung des lateralen Abstands eines Objektes |
| CN115933412B (zh) * | 2023-01-12 | 2023-07-14 | 中国航发湖南动力机械研究所 | 基于事件触发预测控制的航空发动机控制方法及装置 |
| US20240248983A1 (en) * | 2023-01-25 | 2024-07-25 | Crowdstrike, Inc. | Data-only decision validation models to update false predictions |
| CN116030418B (zh) * | 2023-02-14 | 2023-09-12 | 北京建工集团有限责任公司 | 一种汽车吊运行状态监测系统及方法 |
| WO2024179669A1 (en) * | 2023-02-28 | 2024-09-06 | Siemens Aktiengesellschaft | Method and apparatus for determine a risk profile of a traffic participant of a traffic scenario |
| US20240294177A1 (en) * | 2023-03-01 | 2024-09-05 | Continental Automotive Systems, Inc. | Crash avoidance via intelligent infrastructure |
| US20240294189A1 (en) * | 2023-03-01 | 2024-09-05 | Continental Automotive Systems, Inc. | Crash avoidance via intelligent infrastructure |
| CN115991186B (zh) * | 2023-03-06 | 2023-08-11 | 郑州轻工业大学 | 一种防晕车自动驾驶车辆纵横向控制方法 |
| CN116067434B (zh) * | 2023-03-07 | 2023-07-04 | 中铁大桥局集团有限公司 | 一种大节段桥梁的可视化安装系统和安装方法 |
| WO2024187273A1 (en) * | 2023-03-10 | 2024-09-19 | LoopX Innovation Inc. | Systems and methods for estimating a state for positioning autonomous vehicles transitioning between different environments |
| CN115951325B (zh) * | 2023-03-15 | 2023-06-02 | 中国电子科技集团公司第十五研究所 | 基于BiGRU的多舰船目标跟踪方法、存储介质及产品 |
| CN116545890A (zh) * | 2023-04-26 | 2023-08-04 | 苏州维格纳信息科技有限公司 | 一种基于区块链的信息传输管理系统 |
| CN116226788B (zh) * | 2023-05-06 | 2023-07-25 | 鹏城实验室 | 一种融合多种数据类型的建模方法及相关设备 |
| CN116546458B (zh) * | 2023-05-09 | 2024-08-13 | 西安电子科技大学 | 混合交通场景下的车联网双向多跳通信的方法 |
| CN116665064B (zh) * | 2023-07-27 | 2023-10-13 | 城云科技（中国）有限公司 | 基于生成蒸馏与特征扰动的城市变化图生成方法及其应用 |
| US12046137B1 (en) * | 2023-08-02 | 2024-07-23 | Plusai, Inc. | Automatic navigation based on traffic management vehicles and road signs |
| CN117152093B (zh) * | 2023-09-04 | 2024-05-03 | 山东奇妙智能科技有限公司 | 基于数据融合和深度学习的轮胎缺陷检测系统及方法 |
| CN117278328B (zh) * | 2023-11-21 | 2024-02-06 | 广东车卫士信息科技有限公司 | 基于车联网的数据处理方法及系统 |
| CN117395726B (zh) * | 2023-12-12 | 2024-03-01 | 江西师范大学 | 一种基于路径规划的移动边缘计算服务迁移方法 |
| CN118450404A (zh) * | 2024-07-02 | 2024-08-06 | 北京邮电大学 | 一种合同激励的异构数据传输方法与装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010036751A (ja) * | 2008-08-06 | 2010-02-18 | Denso Corp | 車両用シート空調システム |
| JP2014167438A (ja) * | 2013-02-28 | 2014-09-11 | Denso Corp | 情報通知装置 |
| JP2017024653A (ja) * | 2015-07-27 | 2017-02-02 | トヨタ自動車株式会社 | 乗員情報取得装置及び車両制御システム |
| JP2017062700A (ja) * | 2015-09-25 | 2017-03-30 | 株式会社デンソー | 制御装置、及び車両制御システム |
| JP2017081195A (ja) * | 2015-10-22 | 2017-05-18 | 株式会社デンソー | 車両用空調装置 |
| WO2018037446A1 (ja) * | 2016-08-22 | 2018-03-01 | 三菱電機株式会社 | 情報提示装置、情報提示システムおよび情報提示方法 |
| JP2018160136A (ja) * | 2017-03-23 | 2018-10-11 | 株式会社東芝 | 運転支援装置および運転支援システム |
Family Cites Families (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3374042B2 (ja) * | 1997-05-16 | 2003-02-04 | 本田技研工業株式会社 | 車車間通信方法 |
| US9075136B1 (en) * | 1998-03-04 | 2015-07-07 | Gtj Ventures, Llc | Vehicle operator and/or occupant information apparatus and method |
| JP2006085285A (ja) * | 2004-09-14 | 2006-03-30 | Matsushita Electric Ind Co Ltd | 危険車両予測装置 |
| KR101188584B1 (ko) * | 2007-08-28 | 2012-10-05 | 주식회사 만도 | 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치 |
| TWI314115B (en) * | 2007-09-27 | 2009-09-01 | Ind Tech Res Inst | Method and apparatus for predicting/alarming the moving of hidden objects |
| KR101733443B1 (ko) * | 2008-05-20 | 2017-05-10 | 펠리칸 이매징 코포레이션 | 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리 |
| EP2209091B1 (en) * | 2009-01-16 | 2012-08-08 | Honda Research Institute Europe GmbH | System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system |
| US11067405B2 (en) * | 2010-06-07 | 2021-07-20 | Affectiva, Inc. | Cognitive state vehicle navigation based on image processing |
| US9834153B2 (en) * | 2011-04-25 | 2017-12-05 | Magna Electronics Inc. | Method and system for dynamically calibrating vehicular cameras |
| DE112012004767T5 (de) * | 2011-11-16 | 2014-11-06 | Flextronics Ap, Llc | Vollständiges Fahrzeugökosystem |
| US8457827B1 (en) * | 2012-03-15 | 2013-06-04 | Google Inc. | Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles |
| US9495874B1 (en) * | 2012-04-13 | 2016-11-15 | Google Inc. | Automated system and method for modeling the behavior of vehicles and other agents |
| US9342074B2 (en) * | 2013-04-05 | 2016-05-17 | Google Inc. | Systems and methods for transitioning control of an autonomous vehicle to a driver |
| US20210118249A1 (en) * | 2014-11-13 | 2021-04-22 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle salvage and repair |
| WO2016109540A1 (en) * | 2014-12-29 | 2016-07-07 | Robert Bosch Gmbh | Systems and methods for operating autonomous vehicles using personalized driving profiles |
| US20180208209A1 (en) * | 2015-09-08 | 2018-07-26 | Apple Inc. | Comfort profiles |
| US9738287B2 (en) * | 2015-09-15 | 2017-08-22 | Ford Global Technologies, Llc | Preconditioning for vehicle subsystems |
| US10139828B2 (en) * | 2015-09-24 | 2018-11-27 | Uber Technologies, Inc. | Autonomous vehicle operated with safety augmentation |
| US10229363B2 (en) * | 2015-10-19 | 2019-03-12 | Ford Global Technologies, Llc | Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking |
| US10620635B2 (en) * | 2015-11-05 | 2020-04-14 | Hitachi, Ltd. | Moving object movement system and movement path selection method |
| CN108432209A (zh) * | 2015-11-30 | 2018-08-21 | 法拉第未来公司 | 基于车辆导航数据的信息娱乐 |
| US10308246B1 (en) * | 2016-01-22 | 2019-06-04 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle signal control |
| US10035519B2 (en) * | 2016-03-15 | 2018-07-31 | GM Global Technology Operations LLC | System and method for autonomous vehicle driving behavior modification |
| DE102016205153A1 (de) * | 2016-03-29 | 2017-10-05 | Avl List Gmbh | Verfahren zum Erzeugen von Steuerdaten für ein regelbasiertes Unterstützen eines Fahrers |
| US10872379B1 (en) * | 2016-04-11 | 2020-12-22 | State Farm Mutual Automobile Insurance Company | Collision risk-based engagement and disengagement of autonomous control of a vehicle |
| US9877470B2 (en) * | 2016-05-10 | 2018-01-30 | Crinklaw Farm Services, Inc. | Robotic agricultural system and method |
| US10059346B2 (en) * | 2016-06-07 | 2018-08-28 | Ford Global Technologies, Llc | Driver competency during autonomous handoff |
| KR102521934B1 (ko) * | 2016-06-13 | 2023-04-18 | 삼성디스플레이 주식회사 | 터치 센서 및 이를 이용한 터치 감지 방법 |
| US20180003511A1 (en) * | 2016-07-01 | 2018-01-04 | Uber Technologies, Inc. | Autonomous vehicle localization using submaps |
| US20180012197A1 (en) * | 2016-07-07 | 2018-01-11 | NextEv USA, Inc. | Battery exchange licensing program based on state of charge of battery pack |
| US11443395B2 (en) * | 2016-07-19 | 2022-09-13 | Redmon Jeang LLC | Mobile legal counsel system and method |
| US20180053102A1 (en) * | 2016-08-16 | 2018-02-22 | Toyota Jidosha Kabushiki Kaisha | Individualized Adaptation of Driver Action Prediction Models |
| KR101891599B1 (ko) | 2016-09-30 | 2018-08-24 | 엘지전자 주식회사 | 자율 주행 차량의 제어방법과 서버 |
| US9823657B1 (en) * | 2016-11-02 | 2017-11-21 | Smartdrive Systems, Inc. | Measuring operator readiness and readiness testing triggering in an autonomous vehicle |
| US11267461B2 (en) | 2016-11-18 | 2022-03-08 | Mitsubishi Electric Corporation | Driving assistance apparatus and driving assistance method |
| US10192171B2 (en) * | 2016-12-16 | 2019-01-29 | Autonomous Fusion, Inc. | Method and system using machine learning to determine an automotive driver's emotional state |
| DE102016225606B4 (de) | 2016-12-20 | 2022-12-29 | Audi Ag | Verfahren zum Betreiben einer Fahrerassistenzeinrichtung eines Kraftfahrzeugs |
| JP6513069B2 (ja) | 2016-12-27 | 2019-05-15 | 本田技研工業株式会社 | 運転支援装置および運転支援方法 |
| US10268195B2 (en) * | 2017-01-06 | 2019-04-23 | Qualcomm Incorporated | Managing vehicle driving control entity transitions of an autonomous vehicle based on an evaluation of performance criteria |
| JP6524144B2 (ja) | 2017-06-02 | 2019-06-05 | 本田技研工業株式会社 | 車両制御システム及び方法、並びに走行支援サーバ |
| US10831190B2 (en) * | 2017-08-22 | 2020-11-10 | Huawei Technologies Co., Ltd. | System, method, and processor-readable medium for autonomous vehicle reliability assessment |
| US10649458B2 (en) | 2017-09-07 | 2020-05-12 | Tusimple, Inc. | Data-driven prediction-based system and method for trajectory planning of autonomous vehicles |
| US20180022348A1 (en) * | 2017-09-15 | 2018-01-25 | GM Global Technology Operations LLC | Methods and systems for determining lane health from an autonomous vehicle |
| US20200228988A1 (en) * | 2017-09-29 | 2020-07-16 | Lg Electronics Inc. | V2x communication device and method for inspecting forgery/falsification of key thereof |
| US11086317B2 (en) * | 2018-03-30 | 2021-08-10 | Intel Corporation | Emotional adaptive driving policies for automated driving vehicles |
| JP7087623B2 (ja) * | 2018-04-19 | 2022-06-21 | トヨタ自動車株式会社 | 車両の制御装置 |
| US11104334B2 (en) * | 2018-05-31 | 2021-08-31 | Tusimple, Inc. | System and method for proximate vehicle intention prediction for autonomous vehicles |
| US11299149B2 (en) * | 2018-07-23 | 2022-04-12 | Denso International America, Inc. | Considerate driving system |
| US10442444B1 (en) * | 2018-08-06 | 2019-10-15 | Denso International America, Inc. | Vehicle behavior and driver assistance modules for a mobile network device implementing pseudo-vehicle behavior signal generation based on mobile sensor signals |
| US10902726B2 (en) * | 2018-08-23 | 2021-01-26 | Intel Corporation | Rogue vehicle detection and avoidance |
| US11192543B2 (en) * | 2018-12-21 | 2021-12-07 | Ford Global Technologies, Llc | Systems and methods for automated stopping and/or parking of autonomous vehicles |
| US10960838B2 (en) * | 2019-01-30 | 2021-03-30 | Cobalt Industries Inc. | Multi-sensor data fusion for automotive systems |
| US11077850B2 (en) * | 2019-09-06 | 2021-08-03 | Lyft, Inc. | Systems and methods for determining individualized driving behaviors of vehicles |
-
2020
- 2020-03-27 US US17/434,713 patent/US20220126878A1/en active Pending
- 2020-03-27 US US17/434,710 patent/US20220126864A1/en active Pending
- 2020-03-27 DE DE112020001643.9T patent/DE112020001643T5/de active Pending
- 2020-03-27 JP JP2021548178A patent/JP2022525391A/ja active Pending
- 2020-03-27 KR KR1020217027324A patent/KR20210134317A/ko unknown
- 2020-03-27 CN CN202080017720.2A patent/CN113508066A/zh active Pending
- 2020-03-27 EP EP20784044.8A patent/EP3947080A4/en active Pending
- 2020-03-27 US US17/434,716 patent/US20220126863A1/en active Pending
- 2020-03-27 JP JP2021544522A patent/JP7460044B2/ja active Active
- 2020-03-27 KR KR1020217027299A patent/KR20210134638A/ko unknown
- 2020-03-27 US US17/434,721 patent/US20220161815A1/en active Pending
- 2020-03-27 DE DE112020001649.8T patent/DE112020001649T5/de active Pending
- 2020-03-27 JP JP2021546208A patent/JP2022525586A/ja active Pending
- 2020-03-27 WO PCT/US2020/025404 patent/WO2020205597A1/en unknown
- 2020-03-27 DE DE112020001642.0T patent/DE112020001642T5/de active Pending
- 2020-03-27 KR KR1020217027159A patent/KR20210134635A/ko active Search and Examination
- 2020-03-27 JP JP2021545802A patent/JP2022524932A/ja active Pending
- 2020-03-27 CN CN202080020333.4A patent/CN113811474A/zh active Pending
- 2020-03-27 EP EP20785355.7A patent/EP3947095A4/en active Pending
- 2020-03-27 KR KR1020217027157A patent/KR20210134634A/ko active Search and Examination
- 2020-03-27 CN CN202080017414.9A patent/CN113811473A/zh active Pending
- 2020-03-27 WO PCT/US2020/025474 patent/WO2020205629A1/en unknown
- 2020-03-27 WO PCT/US2020/025520 patent/WO2020205655A1/en unknown
- 2020-03-27 WO PCT/US2020/025501 patent/WO2020205648A1/en unknown
- 2020-03-27 EP EP20782890.6A patent/EP3947094A4/en active Pending
- 2020-03-27 CN CN202080019759.8A patent/CN113825689A/zh active Pending
- 2020-03-27 EP EP20784924.1A patent/EP3947081A4/en active Pending
- 2020-03-27 DE DE112020001663.3T patent/DE112020001663T5/de active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010036751A (ja) * | 2008-08-06 | 2010-02-18 | Denso Corp | 車両用シート空調システム |
| JP2014167438A (ja) * | 2013-02-28 | 2014-09-11 | Denso Corp | 情報通知装置 |
| JP2017024653A (ja) * | 2015-07-27 | 2017-02-02 | トヨタ自動車株式会社 | 乗員情報取得装置及び車両制御システム |
| JP2017062700A (ja) * | 2015-09-25 | 2017-03-30 | 株式会社デンソー | 制御装置、及び車両制御システム |
| JP2017081195A (ja) * | 2015-10-22 | 2017-05-18 | 株式会社デンソー | 車両用空調装置 |
| WO2018037446A1 (ja) * | 2016-08-22 | 2018-03-01 | 三菱電機株式会社 | 情報提示装置、情報提示システムおよび情報提示方法 |
| JP2018160136A (ja) * | 2017-03-23 | 2018-10-11 | 株式会社東芝 | 運転支援装置および運転支援システム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7433542B1 (ja) | 2023-02-24 | 2024-02-19 | 三菱電機株式会社 | 遠隔監視装置、遠隔監視システム、及び、遠隔監視方法 |
| WO2024176438A1 (ja) * | 2023-02-24 | 2024-08-29 | 三菱電機株式会社 | 遠隔監視装置、遠隔監視システム、及び、遠隔監視方法 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2022524932A (ja) | 自律車両システム | |
| US12032730B2 (en) | Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness | |
| US10540557B2 (en) | Method and apparatus for providing driver information via audio and video metadata extraction | |
| US10950132B2 (en) | Method and system for providing artificial intelligence analytic (AIA) services using operator fingerprints and cloud data | |
| US10922567B2 (en) | Cognitive state based vehicle manipulation using near-infrared image processing | |
| US11507857B2 (en) | Systems and methods for using artificial intelligence to present geographically relevant user-specific recommendations based on user attentiveness | |
| US20190162549A1 (en) | Cognitive state vehicle navigation based on image processing | |
| US20210339759A1 (en) | Cognitive state vehicle navigation based on image processing and modes | |
| CN109476309A (zh) | 高级驾驶辅助系统中的动态传感器范围 | |
| US11572077B2 (en) | Method for distributed data analysis | |
| WO2021067380A1 (en) | Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness | |
| US20230112797A1 (en) | Systems and methods for using artificial intelligence to present geographically relevant user-specific recommendations based on user attentiveness | |
| CN114662378A (zh) | 运输环境数据服务 | |
| EP4374335A1 (en) | Electronic device and method | |
| US20230326194A1 (en) | System and method for feature visualization in a convolutional neural network | |
| US20240086709A1 (en) | Deep learning compute paths for faster vehicle reaction times |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230320 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240402 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240620 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20241001 |