JP2022069527A - カメラを用いた車両環境モデリング - Google Patents
カメラを用いた車両環境モデリング Download PDFInfo
- Publication number
- JP2022069527A JP2022069527A JP2022035929A JP2022035929A JP2022069527A JP 2022069527 A JP2022069527 A JP 2022069527A JP 2022035929 A JP2022035929 A JP 2022035929A JP 2022035929 A JP2022035929 A JP 2022035929A JP 2022069527 A JP2022069527 A JP 2022069527A
- Authority
- JP
- Japan
- Prior art keywords
- image
- ann
- output
- loss
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 claims abstract description 252
- 230000033001 locomotion Effects 0.000 claims abstract description 212
- 238000000034 method Methods 0.000 claims abstract description 146
- 238000012545 processing Methods 0.000 claims description 80
- 230000009471 action Effects 0.000 claims description 17
- 238000012549 training Methods 0.000 description 156
- 230000004044 response Effects 0.000 description 85
- 230000006870 function Effects 0.000 description 76
- 238000001514 detection method Methods 0.000 description 72
- 230000000875 corresponding effect Effects 0.000 description 38
- 230000015654 memory Effects 0.000 description 34
- 238000013527 convolutional neural network Methods 0.000 description 30
- 238000011156 evaluation Methods 0.000 description 30
- 238000005259 measurement Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 28
- 238000010801 machine learning Methods 0.000 description 26
- 238000012360 testing method Methods 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 15
- 239000000725 suspension Substances 0.000 description 14
- 238000013519 translation Methods 0.000 description 14
- 230000014616 translation Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 13
- 238000013507 mapping Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 13
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 13
- 230000006399 behavior Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 11
- 206010063659 Aversion Diseases 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000003068 static effect Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000009191 jumping Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 230000002441 reversible effect Effects 0.000 description 5
- 238000012502 risk assessment Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013213 extrapolation Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- ZGYIXVSQHOKQRZ-COIATFDQSA-N (e)-n-[4-[3-chloro-4-(pyridin-2-ylmethoxy)anilino]-3-cyano-7-[(3s)-oxolan-3-yl]oxyquinolin-6-yl]-4-(dimethylamino)but-2-enamide Chemical compound N#CC1=CN=C2C=C(O[C@@H]3COCC3)C(NC(=O)/C=C/CN(C)C)=CC2=C1NC(C=C1Cl)=CC=C1OCC1=CC=CC=N1 ZGYIXVSQHOKQRZ-COIATFDQSA-N 0.000 description 2
- ABDDQTDRAHXHOC-QMMMGPOBSA-N 1-[(7s)-5,7-dihydro-4h-thieno[2,3-c]pyran-7-yl]-n-methylmethanamine Chemical compound CNC[C@@H]1OCCC2=C1SC=C2 ABDDQTDRAHXHOC-QMMMGPOBSA-N 0.000 description 2
- HCDMJFOHIXMBOV-UHFFFAOYSA-N 3-(2,6-difluoro-3,5-dimethoxyphenyl)-1-ethyl-8-(morpholin-4-ylmethyl)-4,7-dihydropyrrolo[4,5]pyrido[1,2-d]pyrimidin-2-one Chemical compound C=1C2=C3N(CC)C(=O)N(C=4C(=C(OC)C=C(OC)C=4F)F)CC3=CN=C2NC=1CN1CCOCC1 HCDMJFOHIXMBOV-UHFFFAOYSA-N 0.000 description 2
- BYHQTRFJOGIQAO-GOSISDBHSA-N 3-(4-bromophenyl)-8-[(2R)-2-hydroxypropyl]-1-[(3-methoxyphenyl)methyl]-1,3,8-triazaspiro[4.5]decan-2-one Chemical compound C[C@H](CN1CCC2(CC1)CN(C(=O)N2CC3=CC(=CC=C3)OC)C4=CC=C(C=C4)Br)O BYHQTRFJOGIQAO-GOSISDBHSA-N 0.000 description 2
- YGYGASJNJTYNOL-CQSZACIVSA-N 3-[(4r)-2,2-dimethyl-1,1-dioxothian-4-yl]-5-(4-fluorophenyl)-1h-indole-7-carboxamide Chemical compound C1CS(=O)(=O)C(C)(C)C[C@@H]1C1=CNC2=C(C(N)=O)C=C(C=3C=CC(F)=CC=3)C=C12 YGYGASJNJTYNOL-CQSZACIVSA-N 0.000 description 2
- WNEODWDFDXWOLU-QHCPKHFHSA-N 3-[3-(hydroxymethyl)-4-[1-methyl-5-[[5-[(2s)-2-methyl-4-(oxetan-3-yl)piperazin-1-yl]pyridin-2-yl]amino]-6-oxopyridin-3-yl]pyridin-2-yl]-7,7-dimethyl-1,2,6,8-tetrahydrocyclopenta[3,4]pyrrolo[3,5-b]pyrazin-4-one Chemical compound C([C@@H](N(CC1)C=2C=NC(NC=3C(N(C)C=C(C=3)C=3C(=C(N4C(C5=CC=6CC(C)(C)CC=6N5CC4)=O)N=CC=3)CO)=O)=CC=2)C)N1C1COC1 WNEODWDFDXWOLU-QHCPKHFHSA-N 0.000 description 2
- VJPPLCNBDLZIFG-ZDUSSCGKSA-N 4-[(3S)-3-(but-2-ynoylamino)piperidin-1-yl]-5-fluoro-2,3-dimethyl-1H-indole-7-carboxamide Chemical compound C(C#CC)(=O)N[C@@H]1CN(CCC1)C1=C2C(=C(NC2=C(C=C1F)C(=O)N)C)C VJPPLCNBDLZIFG-ZDUSSCGKSA-N 0.000 description 2
- IRPVABHDSJVBNZ-RTHVDDQRSA-N 5-[1-(cyclopropylmethyl)-5-[(1R,5S)-3-(oxetan-3-yl)-3-azabicyclo[3.1.0]hexan-6-yl]pyrazol-3-yl]-3-(trifluoromethyl)pyridin-2-amine Chemical compound C1=C(C(F)(F)F)C(N)=NC=C1C1=NN(CC2CC2)C(C2[C@@H]3CN(C[C@@H]32)C2COC2)=C1 IRPVABHDSJVBNZ-RTHVDDQRSA-N 0.000 description 2
- KCBWAFJCKVKYHO-UHFFFAOYSA-N 6-(4-cyclopropyl-6-methoxypyrimidin-5-yl)-1-[[4-[1-propan-2-yl-4-(trifluoromethyl)imidazol-2-yl]phenyl]methyl]pyrazolo[3,4-d]pyrimidine Chemical compound C1(CC1)C1=NC=NC(=C1C1=NC=C2C(=N1)N(N=C2)CC1=CC=C(C=C1)C=1N(C=C(N=1)C(F)(F)F)C(C)C)OC KCBWAFJCKVKYHO-UHFFFAOYSA-N 0.000 description 2
- AYCPARAPKDAOEN-LJQANCHMSA-N N-[(1S)-2-(dimethylamino)-1-phenylethyl]-6,6-dimethyl-3-[(2-methyl-4-thieno[3,2-d]pyrimidinyl)amino]-1,4-dihydropyrrolo[3,4-c]pyrazole-5-carboxamide Chemical compound C1([C@H](NC(=O)N2C(C=3NN=C(NC=4C=5SC=CC=5N=C(C)N=4)C=3C2)(C)C)CN(C)C)=CC=CC=C1 AYCPARAPKDAOEN-LJQANCHMSA-N 0.000 description 2
- IDRGFNPZDVBSSE-UHFFFAOYSA-N OCCN1CCN(CC1)c1ccc(Nc2ncc3cccc(-c4cccc(NC(=O)C=C)c4)c3n2)c(F)c1F Chemical compound OCCN1CCN(CC1)c1ccc(Nc2ncc3cccc(-c4cccc(NC(=O)C=C)c4)c3n2)c(F)c1F IDRGFNPZDVBSSE-UHFFFAOYSA-N 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- FMASTMURQSHELY-UHFFFAOYSA-N n-(4-fluoro-2-methylphenyl)-3-methyl-n-[(2-methyl-1h-indol-4-yl)methyl]pyridine-4-carboxamide Chemical compound C1=CC=C2NC(C)=CC2=C1CN(C=1C(=CC(F)=CC=1)C)C(=O)C1=CC=NC=C1C FMASTMURQSHELY-UHFFFAOYSA-N 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- XIIOFHFUYBLOLW-UHFFFAOYSA-N selpercatinib Chemical compound OC(COC=1C=C(C=2N(C=1)N=CC=2C#N)C=1C=NC(=CC=1)N1CC2N(C(C1)C2)CC=1C=NC(=CC=1)OC)(C)C XIIOFHFUYBLOLW-UHFFFAOYSA-N 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- VCGRFBXVSFAGGA-UHFFFAOYSA-N (1,1-dioxo-1,4-thiazinan-4-yl)-[6-[[3-(4-fluorophenyl)-5-methyl-1,2-oxazol-4-yl]methoxy]pyridin-3-yl]methanone Chemical compound CC=1ON=C(C=2C=CC(F)=CC=2)C=1COC(N=C1)=CC=C1C(=O)N1CCS(=O)(=O)CC1 VCGRFBXVSFAGGA-UHFFFAOYSA-N 0.000 description 1
- DOMQFIFVDIAOOT-ROUUACIJSA-N (2S,3R)-N-[4-(2,6-dimethoxyphenyl)-5-(5-methylpyridin-3-yl)-1,2,4-triazol-3-yl]-3-(5-methylpyrimidin-2-yl)butane-2-sulfonamide Chemical compound COC1=C(C(=CC=C1)OC)N1C(=NN=C1C=1C=NC=C(C=1)C)NS(=O)(=O)[C@@H](C)[C@H](C)C1=NC=C(C=N1)C DOMQFIFVDIAOOT-ROUUACIJSA-N 0.000 description 1
- MAYZWDRUFKUGGP-VIFPVBQESA-N (3s)-1-[5-tert-butyl-3-[(1-methyltetrazol-5-yl)methyl]triazolo[4,5-d]pyrimidin-7-yl]pyrrolidin-3-ol Chemical compound CN1N=NN=C1CN1C2=NC(C(C)(C)C)=NC(N3C[C@@H](O)CC3)=C2N=N1 MAYZWDRUFKUGGP-VIFPVBQESA-N 0.000 description 1
- UKGJZDSUJSPAJL-YPUOHESYSA-N (e)-n-[(1r)-1-[3,5-difluoro-4-(methanesulfonamido)phenyl]ethyl]-3-[2-propyl-6-(trifluoromethyl)pyridin-3-yl]prop-2-enamide Chemical compound CCCC1=NC(C(F)(F)F)=CC=C1\C=C\C(=O)N[C@H](C)C1=CC(F)=C(NS(C)(=O)=O)C(F)=C1 UKGJZDSUJSPAJL-YPUOHESYSA-N 0.000 description 1
- MOWXJLUYGFNTAL-DEOSSOPVSA-N (s)-[2-chloro-4-fluoro-5-(7-morpholin-4-ylquinazolin-4-yl)phenyl]-(6-methoxypyridazin-3-yl)methanol Chemical compound N1=NC(OC)=CC=C1[C@@H](O)C1=CC(C=2C3=CC=C(C=C3N=CN=2)N2CCOCC2)=C(F)C=C1Cl MOWXJLUYGFNTAL-DEOSSOPVSA-N 0.000 description 1
- APWRZPQBPCAXFP-UHFFFAOYSA-N 1-(1-oxo-2H-isoquinolin-5-yl)-5-(trifluoromethyl)-N-[2-(trifluoromethyl)pyridin-4-yl]pyrazole-4-carboxamide Chemical compound O=C1NC=CC2=C(C=CC=C12)N1N=CC(=C1C(F)(F)F)C(=O)NC1=CC(=NC=C1)C(F)(F)F APWRZPQBPCAXFP-UHFFFAOYSA-N 0.000 description 1
- SRVXSISGYBMIHR-UHFFFAOYSA-N 3-[3-[3-(2-amino-2-oxoethyl)phenyl]-5-chlorophenyl]-3-(5-methyl-1,3-thiazol-2-yl)propanoic acid Chemical compound S1C(C)=CN=C1C(CC(O)=O)C1=CC(Cl)=CC(C=2C=C(CC(N)=O)C=CC=2)=C1 SRVXSISGYBMIHR-UHFFFAOYSA-N 0.000 description 1
- YFCIFWOJYYFDQP-PTWZRHHISA-N 4-[3-amino-6-[(1S,3S,4S)-3-fluoro-4-hydroxycyclohexyl]pyrazin-2-yl]-N-[(1S)-1-(3-bromo-5-fluorophenyl)-2-(methylamino)ethyl]-2-fluorobenzamide Chemical compound CNC[C@@H](NC(=O)c1ccc(cc1F)-c1nc(cnc1N)[C@H]1CC[C@H](O)[C@@H](F)C1)c1cc(F)cc(Br)c1 YFCIFWOJYYFDQP-PTWZRHHISA-N 0.000 description 1
- XYWIPYBIIRTJMM-IBGZPJMESA-N 4-[[(2S)-2-[4-[5-chloro-2-[4-(trifluoromethyl)triazol-1-yl]phenyl]-5-methoxy-2-oxopyridin-1-yl]butanoyl]amino]-2-fluorobenzamide Chemical compound CC[C@H](N1C=C(OC)C(=CC1=O)C1=C(C=CC(Cl)=C1)N1C=C(N=N1)C(F)(F)F)C(=O)NC1=CC(F)=C(C=C1)C(N)=O XYWIPYBIIRTJMM-IBGZPJMESA-N 0.000 description 1
- KVCQTKNUUQOELD-UHFFFAOYSA-N 4-amino-n-[1-(3-chloro-2-fluoroanilino)-6-methylisoquinolin-5-yl]thieno[3,2-d]pyrimidine-7-carboxamide Chemical compound N=1C=CC2=C(NC(=O)C=3C4=NC=NC(N)=C4SC=3)C(C)=CC=C2C=1NC1=CC=CC(Cl)=C1F KVCQTKNUUQOELD-UHFFFAOYSA-N 0.000 description 1
- CYJRNFFLTBEQSQ-UHFFFAOYSA-N 8-(3-methyl-1-benzothiophen-5-yl)-N-(4-methylsulfonylpyridin-3-yl)quinoxalin-6-amine Chemical compound CS(=O)(=O)C1=C(C=NC=C1)NC=1C=C2N=CC=NC2=C(C=1)C=1C=CC2=C(C(=CS2)C)C=1 CYJRNFFLTBEQSQ-UHFFFAOYSA-N 0.000 description 1
- ZRPZPNYZFSJUPA-UHFFFAOYSA-N ARS-1620 Chemical compound Oc1cccc(F)c1-c1c(Cl)cc2c(ncnc2c1F)N1CCN(CC1)C(=O)C=C ZRPZPNYZFSJUPA-UHFFFAOYSA-N 0.000 description 1
- GISRWBROCYNDME-PELMWDNLSA-N F[C@H]1[C@H]([C@H](NC1=O)COC1=NC=CC2=CC(=C(C=C12)OC)C(=O)N)C Chemical compound F[C@H]1[C@H]([C@H](NC1=O)COC1=NC=CC2=CC(=C(C=C12)OC)C(=O)N)C GISRWBROCYNDME-PELMWDNLSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- FEYNFHSRETUBEM-UHFFFAOYSA-N N-[3-(1,1-difluoroethyl)phenyl]-1-(4-methoxyphenyl)-3-methyl-5-oxo-4H-pyrazole-4-carboxamide Chemical compound COc1ccc(cc1)N1N=C(C)C(C(=O)Nc2cccc(c2)C(C)(F)F)C1=O FEYNFHSRETUBEM-UHFFFAOYSA-N 0.000 description 1
- 241001637516 Polygonia c-album Species 0.000 description 1
- LXRZVMYMQHNYJB-UNXOBOICSA-N [(1R,2S,4R)-4-[[5-[4-[(1R)-7-chloro-1,2,3,4-tetrahydroisoquinolin-1-yl]-5-methylthiophene-2-carbonyl]pyrimidin-4-yl]amino]-2-hydroxycyclopentyl]methyl sulfamate Chemical compound CC1=C(C=C(S1)C(=O)C1=C(N[C@H]2C[C@H](O)[C@@H](COS(N)(=O)=O)C2)N=CN=C1)[C@@H]1NCCC2=C1C=C(Cl)C=C2 LXRZVMYMQHNYJB-UNXOBOICSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- DGLFSNZWRYADFC-UHFFFAOYSA-N chembl2334586 Chemical compound C1CCC2=CN=C(N)N=C2C2=C1NC1=CC=C(C#CC(C)(O)C)C=C12 DGLFSNZWRYADFC-UHFFFAOYSA-N 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- NNKPHNTWNILINE-UHFFFAOYSA-N n-cyclopropyl-3-fluoro-4-methyl-5-[3-[[1-[2-[2-(methylamino)ethoxy]phenyl]cyclopropyl]amino]-2-oxopyrazin-1-yl]benzamide Chemical compound CNCCOC1=CC=CC=C1C1(NC=2C(N(C=3C(=C(F)C=C(C=3)C(=O)NC3CC3)C)C=CN=2)=O)CC1 NNKPHNTWNILINE-UHFFFAOYSA-N 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- LZMJNVRJMFMYQS-UHFFFAOYSA-N poseltinib Chemical compound C1CN(C)CCN1C(C=C1)=CC=C1NC1=NC(OC=2C=C(NC(=O)C=C)C=CC=2)=C(OC=C2)C2=N1 LZMJNVRJMFMYQS-UHFFFAOYSA-N 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- XGVXKJKTISMIOW-ZDUSSCGKSA-N simurosertib Chemical compound N1N=CC(C=2SC=3C(=O)NC(=NC=3C=2)[C@H]2N3CCC(CC3)C2)=C1C XGVXKJKTISMIOW-ZDUSSCGKSA-N 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Remote Sensing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
この特許出願は、2018年4月18日に出願した、“PARALLAXNET-LEARNING OF GEOMETRY FROM MONOCULAR VIDEO”という表題の米国仮出願第62/659,470号;2018年4月26日に出願した、“MOVING/NOT MOVING DNN”という表題の米国仮出願第62/662,965号;2018年4月27日に出願した、“ROD PLANE WITH DNN”という表題の米国仮出願第62/663,529号;2018年11月19日に出願した、“PUDDLE DETECTION FOR AUTONOMOUS VEHICLE CONTROL”という表題の米国仮出願第62/769,236号;及び2018年11月19日に出願した、“ROAD CONTUR MEASUREMENT FOR AUTONOMOUS VEHICLES”という表題の米国仮出願第62/769,241号;について、米国特許法第119条に基づいて、優先権の利益を主張するものであり、これら全ての文献の全体が参照により本明細書に組み込まれる。
DNNトレーニングエンジン550は、DNN500をトレーニングして、トレーニングデータのセットに基づいて道路構造532の正確な決定を生成するように構成される。図9は、DNNトレーニングシステム550をより詳細に示す図である。図示されるように、DNNトレーニングシステム550は、DNN500と同じ又は同様のアーキテクチャを有するDNN902、及びマルチモーダル損失関数適用エンジン950を含む。
δθ=δt×ヨーレート
δθピクセル=fδθ*π/180
1601での最初のワーピング操作の後に、本明細書では残差フローと呼ばれる、道路上の特徴の見かけの動きは、元の画像からワープされた画像への画像パッチの均一な変換として局所的に近似される。残差フローは、元の画像とワープされていない画像との間の実際の車両の動きに基づく差とは異なり、パッチの動きには、不均一なスケール変更も含まれる。
1.安全リスクを低減する際の行動の有効性
2.自律型車両による運転の丁寧さを促す際の行動の有効性
3.安全上のリスクを引き起こす、又は増大させる行動の可能性
4.車両の同乗者に不快感を与える又は増大させる行動の可能性、又は
5.失礼な運転行動を引き起こす行動の可能性。
N(t)=αF[N(t-1),R,T]+βNcurr+γNhist
ここで、N(t)は、方向及び大きさの情報を含む、更新された平面法線ベクトルを表す。例えば、N(t)は、カメラの高さ(すなわち、本明細書では、camHとも呼ばれる、地面Dまでの距離)で割った平面法線ベクトルNを表すことができる。一例では、N及びDは、同じα、β、δ係数を用いて個別に更新できる。
(Nnew;Dnew)=0:8_updatedR;T
(Nprev;Dprev)+0:1_(Ncurr;Dcurr)+0:1_history(Ncurr;Dcurr)
例1は、路面をモデル化するための装置であり、この装置は、路面を表す時間順に並べられた画像シーケンスを得るためのハードウェアセンサ・インターフェイスであって、画像シーケンスのうちの1つの画像が現在の画像である、ハードウェアセンサ・インターフェイスと;処理回路と;を含み、処理回路は、データセットを人工ニューラル・ネットワーク(ANN)に提供して、シーンの3次元構造を生成することであって、データセットには、現在の画像を含む画像シーケンスの一部、センサの動き、及びエピポールが含まれる、生成すること;及びシーンの3次元構造を用いて路面をモデル化すること;を行う。
[実施例1]
路面をモデル化するための装置であって、当該装置は、
路面を表す時間順に並べられた画像シーケンスを取得するためのハードウェアセンサ・インターフェイスであって、前記画像シーケンスのうちの1つの画像が現在の画像である、ハードウェアセンサ・インターフェイスと、
処理回路と、を含み、
該処理回路は、
データセットを人工ニューラル・ネットワーク(ANN)に提供して、シーンの3次元構造を生成することであって、前記データセットには、
前記現在の画像を含む前記画像シーケンスの一部と、
前記画像シーケンスを取り込んだセンサの動きと、
エピポールと、が含まれる、前記生成すること、及び
前記シーンの3次元構造を用いて前記路面をモデル化すること、を行う、
装置。
[実施例2]
前記エピポールは、前記現在の画像と同じ次元を有するグラデーション画像として提供され、該グラデーション画像のピクセルの値が、前記現在の画像のピクセルの前記エピポールからの距離を表す、実施例1に記載の装置。
[実施例3]
前記グラデーション画像は、前記エピポールからの水平距離のみを表し、第2のグラデーション画像が、前記エピポールからの垂直距離を表すために前記ANNに提供される、実施例2に記載の装置。
[実施例4]
前記センサの動きは、前記現在の画像と同じ次元を有する一定値の画像として提供される、実施例1に記載の装置。
[実施例5]
前記一定値は、前記センサの前進運動を平面からの前記センサの高さで割った比である、実施例4に記載の装置。
[実施例6]
前記路面をモデル化するために、前記処理回路は、前記シーンの前記3次元構造を第2のANNからの出力と比較することによって反射領域を特定し、前記第2のANNは、前記画像シーケンスの一部を受け入れ、第2の3次元構造を生成するようにトレーニングされ、前記第2のANNのトレーニングでは、前記画像シーケンスの一部で第1のANNのトレーニングよりもより多くの写真測量的損失が使用される、実施例1に記載の装置。
[実施例7]
前記処理回路は、前記3次元構造を用いて第2のANNを呼び出して、特徴が、前記路面の環境内で動いている物体又は動いていない物体を表すかどうかを判定するように構成される、実施例1に記載の装置。
[実施例8]
前記ANNは、畳み込みニューラル・ネットワーク(CNN)である、実施例1に記載の装置。
[実施例9]
前記センサの動き及び前記エピポールは、ボトルネック層で前記CNNに提供される、実施例8に記載の装置。
[実施例10]
前記ANNは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、未来の画像のモデルと前記未来の画像との間の差を測定することによって決定され、前記未来の画像の前記モデルは、前記未来の画像より前の画像のガンマ・ワーピングによって生成される、実施例1に記載の装置。
[実施例11]
前記ANNは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、2つの異なる時間における2つの画像の間の重複するセグメントのガンマの差によって決定され、推定が第1の画像で実行され、前記重複するセグメントは、第2の画像において前記センサに近くなる、実施例1に記載の装置。
[実施例12]
路面をモデル化する方法であって、当該方法は、
路面を表す時間順に並べられた画像シーケンスを取得するステップであって、前記画像シーケンスのうちの1つの画像が現在の画像である、取得するステップと、
データセットを人工ニューラル・ネットワーク(ANN)に提供して、シーンの3次元構造を生成するステップであって、前記データセットには、
前記現在の画像を含む前記画像シーケンスの一部と、
前記画像シーケンスを取り込んだセンサの動きと、
エピポールと、が含まれる、生成するステップと、
前記シーンの3次元構造を用いて前記路面をモデル化するステップと、を含む、
方法。
[実施例13]
前記エピポールは、前記現在の画像と同じ次元を有するグラデーション画像として提供され、該グラデーション画像のピクセルの値が、前記現在の画像のピクセルの前記エピポールからの距離を表す、実施例12に記載の方法。
[実施例14]
前記グラデーション画像は、前記エピポールからの水平距離のみを表し、第2のグラデーション画像が、前記エピポールからの垂直距離を表すために前記ANNに提供される、実施例13に記載の方法。
[実施例15]
前記センサの動きは、前記現在の画像と同じ次元を有する一定値の画像として提供される、実施例12に記載の方法。
[実施例16]
前記一定値は、前記センサの前進運動を平面からの前記センサの高さで割った比である、実施例15に記載の方法。
[実施例17]
前記路面のモデル化するステップは、前記シーンの前記3次元構造を第2のANNからの出力と比較することによって反射領域を特定するステップを含み、前記第2のANNは前記画像シーケンスの前記一部を受け入れ、第2の3次元構造を生成するようにトレーニングされ、前記第2のANNのトレーニングでは、前記画像シーケンスの前記一部で第1のANNをトレーニングするよりもより多くの写真測量的損失が使用される、実施例12に記載の方法。
[実施例18]
前記3次元構造を用いて第2のANNを呼び出して、特徴が、前記路面の環境内で動いている物体又は動いていない物体を表すかどうかを判定するステップを含む、実施例12に記載の方法。
[実施例19]
前記ANNは、畳み込みニューラル・ネットワーク(CNN)である、実施例12に記載の方法。
[実施例20]
前記センサの動き及びエピポールは、ボトルネック層で前記CNNに提供される、請求項19に記載の方法。
[実施例21]
前記ANNは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、未来の画像のモデルと前記未来の画像との間の差を測定することによって決定され、前記未来の画像の前記モデルは、前記未来の画像より前の画像のガンマ・ワーピングによって生成される、実施例12に記載の方法。
[実施例22]
前記ANNは、教師なしのトレーニング手法でトレーニングされ、この手法では、エラーが、2つの異なる時間における2つの画像の間の重複するセグメントのガンマの差によって決定され、推定が第1の画像で実行され、前記重複するセグメントは、第2の画像の前記センサに近くなる、実施例12に記載の方法。
Claims (24)
- 路面をモデル化するための装置であって、当該装置は、
表面を表す時間順に並べられた画像シーケンスを取得するための画像取込み装置であって、前記画像シーケンスのうちの1つの画像が現在の画像である、画像取込み装置と、
処理回路と、を有しており、
該処理回路は、
データセットを第1の人工ニューラル・ネットワーク(ANN)に提供して、シーンの3次元構造の第1の出力を生成することであって、前記データセットには、前記現在の画像を含む前記画像シーケンスの一部、センサの動き、及びエピポールが含まれる、生成すること、
前記データセットを第2のANNに提供して、前記シーンの写真測量的損失の第2の出力を生成すること、及び
前記第1の出力を前記第2の出力と比較して、前記表面の特徴を決定すること、を行う、
装置。 - 前記第1の出力はシーンの3次元構造であり、前記第2の出力は前記シーンの前記写真測量的損失に基づく3次元構造である、請求項1に記載の装置。
- 前記第1の出力はガンママップである、請求項2に記載の装置。
- 前記第1の出力を前記第2の出力と比較することは、前記第2の出力における穴を前記第1の出力における一定のガンマの隣接領域と位置合わせすることを含む、請求項3に記載の装置。
- 前記第1のANN及び前記第2のANNは、損失のタイプの間の重み付けが異なり、且つ同じタイプの損失を使用する損失関数を用いてトレーニングされる、請求項1に記載の装置。
- 前記損失のタイプは、測光損失、幾何学的損失、センサ動き損失、又は未来の画像損失のうちの少なくとも1つを含む、請求項5に記載の装置。
- 前記第1のANN及び前記第2のANNは、2つのチャネル出力を生成するようにトレーニングされた単一のANNとして実装され、第1のチャネルが前記第1の出力であり、第2のチャネルが前記第2の出力である、請求項1に記載の装置。
- 前記第1のANN及び前記第2のANNは、ボトルネックまで単一のANNを共有し、その後に分岐するように実装される、請求項1に記載の装置。
- 路面をモデル化するための方法であって、当該方法は、
表面を表す時間順に並べられた画像シーケンスを取得するステップであって、該画像シーケンスのうちの1つの画像が現在の画像である、取得するステップと、
データセットを第1の人工ニューラル・ネットワーク(ANN)に提供して、シーンの3次元構造の第1の出力を生成するステップであって、前記データセットには、前記現在の画像を含む前記画像シーケンスの一部、センサの動き、及びエピポールが含まれる、生成するステップと、
前記データセットを第2のANNに提供して、前記シーンの写真測量的損失の第2の出力を生成するステップと、
前記第1の出力を前記第2の出力と比較して、前記表面の特徴を決定するステップと、を含む、
方法。 - 前記第1の出力はシーンの3次元構造であり、前記第2の出力は前記シーンの前記写真測量的損失に基づく3次元構造である、請求項9に記載の方法。
- 前記第1の出力はガンママップである、請求項10に記載の方法。
- 前記第1の出力を前記第2の出力と比較するステップは、前記第2の出力における穴を前記第1の出力における一定のガンマの連続領域と位置合わせするステップを含む、請求項11に記載の方法。
- 前記第1のANN及び前記第2のANNは、損失のタイプの間の重み付けが異なり、且つ同じタイプの損失を使用する損失関数を用いてトレーニングされる、請求項9に記載の方法。
- 前記損失のタイプは、測光損失、幾何学的損失、センサ動き損失、又は未来の画像損失のうちの少なくとも1つを含む、請求項13に記載の方法。
- 前記第1のANN及び前記第2のANNは、2つのチャネル出力を生成するようにトレーニングされた単一のANNとして実装され、第1のチャネルが前記第1の出力であり、第2のチャネルが前記第2の出力である、請求項9に記載の方法。
- 前記第1のANN及び前記第2のANNは、ボトルネックまで単一のANNを共有し、その後に分岐するように実装される、請求項9に記載の方法。
- 路面をモデル化するための命令を含む少なくとも1つの機械可読媒体であって、前記命令が、処理回路によって実行されると、該処理回路に、
表面を表す時間順に並べられた画像シーケンスを取得することであって、前記画像シーケンスのうちの1つの画像が現在の画像である、取得すること、
データセットを第1の人工ニューラル・ネットワーク(ANN)に提供して、シーンの3次元構造の第1の出力を生成することであって、前記データセットには、前記現在の画像を含む前記画像シーケンスの一部、センサの動き、及びエピポールが含まれる、生成すること、
前記データセットを第2のANNに提供して、前記シーンの写真測量的損失の第2の出力を生成すること、及び
前記第1の出力を前記第2の出力と比較して、前記表面の特徴を決定すること、を含む動作を実行させる、
少なくとも1つの機械可読媒体。 - 前記第1の出力はシーンの3次元構造であり、前記第2の出力は前記シーンの前記写真測量的損失に基づく3次元構造である、請求項17に記載の少なくとも1つの機械可読媒体。
- 前記第1の出力はガンママップである、請求項18に記載の少なくとも1つの機械可読媒体。
- 前記第1の出力を前記第2の出力と比較することは、前記第2の出力における穴を前記第1の出力における一定のガンマの連続領域と位置合わせすることを含む、請求項19に記載の少なくとも1つの機械可読媒体。
- 前記第1のANN及び前記第2のANNは、損失のタイプの間の重み付けが異なり、且つ同じタイプの損失を使用する損失関数を用いてトレーニングされる、請求項17に記載の少なくとも1つの機械可読媒体。
- 前記損失のタイプは、測光損失、幾何学的損失、センサ動き損失、又は未来の画像損失のうちの少なくとも1つを含む、請求項21に記載の少なくとも1つの機械可読媒体。
- 前記第1のANN及び前記第2のANNは、2つのチャネル出力を生成するようにトレーニングされた単一のANNとして実装され、第1のチャネルが前記第1の出力であり、第2のチャネルが前記第2の出力である、請求項17に記載の少なくとも1つの機械可読媒体。
- 前記第1のANN及び前記第2のANNは、ボトルネックまで単一のANNを共有し、その後に分岐するように実装される、請求項17に記載の少なくとも1つの機械可読媒体。
Applications Claiming Priority (12)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862659470P | 2018-04-18 | 2018-04-18 | |
US62/659,470 | 2018-04-18 | ||
US201862662965P | 2018-04-26 | 2018-04-26 | |
US62/662,965 | 2018-04-26 | ||
US201862663529P | 2018-04-27 | 2018-04-27 | |
US62/663,529 | 2018-04-27 | ||
US201862769241P | 2018-11-19 | 2018-11-19 | |
US201862769236P | 2018-11-19 | 2018-11-19 | |
US62/769,236 | 2018-11-19 | ||
US62/769,241 | 2018-11-19 | ||
JP2020556952A JP7039727B2 (ja) | 2018-04-18 | 2019-04-18 | カメラを用いた車両環境モデリング |
PCT/IB2019/000506 WO2019202397A2 (en) | 2018-04-18 | 2019-04-18 | Vehicle environment modeling with a camera |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020556952A Division JP7039727B2 (ja) | 2018-04-18 | 2019-04-18 | カメラを用いた車両環境モデリング |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022069527A true JP2022069527A (ja) | 2022-05-11 |
JP7358540B2 JP7358540B2 (ja) | 2023-10-10 |
Family
ID=68236006
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020556952A Active JP7039727B2 (ja) | 2018-04-18 | 2019-04-18 | カメラを用いた車両環境モデリング |
JP2022035929A Active JP7358540B2 (ja) | 2018-04-18 | 2022-03-09 | カメラを用いた車両環境モデリング |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020556952A Active JP7039727B2 (ja) | 2018-04-18 | 2019-04-18 | カメラを用いた車両環境モデリング |
Country Status (6)
Country | Link |
---|---|
US (3) | US10872433B2 (ja) |
EP (1) | EP3673233A4 (ja) |
JP (2) | JP7039727B2 (ja) |
KR (3) | KR102265703B1 (ja) |
CN (2) | CN111566441B (ja) |
WO (1) | WO2019202397A2 (ja) |
Families Citing this family (99)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10181195B2 (en) * | 2015-12-28 | 2019-01-15 | Facebook, Inc. | Systems and methods for determining optical flow |
US10678244B2 (en) | 2017-03-23 | 2020-06-09 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US10802489B1 (en) | 2017-12-29 | 2020-10-13 | Apex Artificial Intelligence Industries, Inc. | Apparatus and method for monitoring and controlling of a neural network using another neural network implemented on one or more solid-state chips |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11958485B2 (en) * | 2018-03-01 | 2024-04-16 | Jaguar Land Rover Limited | Vehicle control method and apparatus |
CN111566441B (zh) | 2018-04-18 | 2022-08-09 | 移动眼视力科技有限公司 | 利用相机进行车辆环境建模 |
US20210387573A1 (en) * | 2018-04-30 | 2021-12-16 | Indigo Technologies, Inc. | Methods and apparatus to adjust a reactive system based on a sensory input and vehicles incorporating same |
JP6766844B2 (ja) * | 2018-06-01 | 2020-10-14 | 株式会社デンソー | 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
US10867390B2 (en) * | 2018-09-10 | 2020-12-15 | Arm Limited | Computer vision processing |
CN115512173A (zh) | 2018-10-11 | 2022-12-23 | 特斯拉公司 | 用于使用增广数据训练机器模型的系统和方法 |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11555903B1 (en) | 2018-11-30 | 2023-01-17 | Zoox, Inc. | Sensor calibration using dense depth maps |
US10916035B1 (en) * | 2018-11-30 | 2021-02-09 | Zoox, Inc. | Camera calibration using dense depth maps |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
KR20200069084A (ko) * | 2018-12-06 | 2020-06-16 | 팅크웨어(주) | 도로 제한 속도 판단 방법, 도로 제한 속도 판단 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US11373532B2 (en) * | 2019-02-01 | 2022-06-28 | Hitachi Astemo, Ltd. | Pothole detection system |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
JP2020147139A (ja) * | 2019-03-13 | 2020-09-17 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
US11748445B1 (en) | 2019-04-30 | 2023-09-05 | Apple Inc. | Techniques for managing feature maps |
US11410328B1 (en) * | 2019-04-30 | 2022-08-09 | Apple Inc. | Techniques for maintaining feature point maps |
CN114144809A (zh) * | 2019-05-30 | 2022-03-04 | 御眼视觉技术有限公司 | 通过摄像机进行交通工具环境建模 |
AU2020317303B2 (en) * | 2019-07-22 | 2023-12-07 | Nec Corporation | Information processing device, data generation method, and program |
US11600174B2 (en) * | 2019-07-22 | 2023-03-07 | Pony A1 Inc. | Systems and methods for autonomous road condition reporting |
US11403850B2 (en) * | 2019-07-24 | 2022-08-02 | Honda Motor Co., Ltd. | System and method for providing unsupervised domain adaptation for spatio-temporal action localization |
US10600210B1 (en) | 2019-07-25 | 2020-03-24 | Second Spectrum, Inc. | Data processing systems for real-time camera parameter estimation |
US11264009B2 (en) * | 2019-09-13 | 2022-03-01 | Mitsubishi Electric Research Laboratories, Inc. | System and method for a dialogue response generation system |
US11367290B2 (en) * | 2019-11-26 | 2022-06-21 | Apex Artificial Intelligence Industries, Inc. | Group of neural networks ensuring integrity |
US12081646B2 (en) | 2019-11-26 | 2024-09-03 | Apex Ai Industries, Llc | Adaptively controlling groups of automated machines |
US20210183088A1 (en) * | 2019-12-13 | 2021-06-17 | Nvidia Corporation | Depth estimation using a neural network |
US20240331375A1 (en) * | 2020-01-17 | 2024-10-03 | Percipient.ai Inc. | Systems for multiclass object detection and alerting and methods therefor |
KR20210106217A (ko) * | 2020-02-20 | 2021-08-30 | 삼성전자주식회사 | 인공 신경망의 재구성을 수행하는 프로세서, 이를 포함하는 전자 장치 및 프로세서의 동작 방법 |
KR20210106807A (ko) * | 2020-02-21 | 2021-08-31 | 현대자동차주식회사 | 노면 분류 장치 및 이를 이용한 차량의 터레인 모드 제어 시스템 |
US11436842B2 (en) * | 2020-03-13 | 2022-09-06 | Argo AI, LLC | Bulb mask representation for traffic light classification |
DE102020204321A1 (de) | 2020-04-02 | 2021-10-07 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Fahrerassistenzsystems und Fahrerassistenzsystem für ein Fahrzeug |
DE102020111557A1 (de) | 2020-04-28 | 2021-10-28 | Bayerische Motoren Werke Aktiengesellschaft | Vorrichtung und Verfahren zur Erkennung eines statischen Objektes |
US11830160B2 (en) * | 2020-05-05 | 2023-11-28 | Nvidia Corporation | Object detection using planar homography and self-supervised scene structure understanding |
DE102021111446A1 (de) * | 2020-05-05 | 2021-11-11 | Nvidia Corporation | Objektdetektion unter verwenden von planarer homographie und selbst-überwachtem szenenstruktur verständnis |
KR102305673B1 (ko) * | 2020-05-12 | 2021-09-28 | 한양대학교 산학협력단 | 카메라와 v2v를 이용한 주변차량 차선변경 의도 및 경로 예측 방법 |
CN111640330A (zh) * | 2020-05-29 | 2020-09-08 | 深圳市元征科技股份有限公司 | 一种基于边缘计算的防碰撞方法及相关装置 |
US11551363B2 (en) * | 2020-06-04 | 2023-01-10 | Toyota Research Institute, Inc. | Systems and methods for self-supervised residual flow estimation |
KR102173419B1 (ko) * | 2020-07-14 | 2020-11-03 | 주식회사 아프로시스템즈 | 관심 검지 영역 확장 기법을 이용한 적응적 물체 검지 시스템 |
US11227396B1 (en) * | 2020-07-16 | 2022-01-18 | Meta Platforms, Inc. | Camera parameter control using face vectors for portal |
WO2022016044A1 (en) | 2020-07-16 | 2022-01-20 | Mobileye Vision Technologies Ltd. | Systems and methods for dynamic road geometry modeling and navigation |
DE102020209214A1 (de) | 2020-07-22 | 2022-01-27 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Bestimmen einer Trajektorie zum Steuern eines Fahrzeugs |
US20220111862A1 (en) * | 2020-08-17 | 2022-04-14 | Autobrains Technologies Ltd | Determining driving features using context-based narrow ai agents selection |
US11494927B2 (en) | 2020-09-15 | 2022-11-08 | Toyota Research Institute, Inc. | Systems and methods for self-supervised depth estimation |
US11615544B2 (en) * | 2020-09-15 | 2023-03-28 | Toyota Research Institute, Inc. | Systems and methods for end-to-end map building from a video sequence using neural camera models |
US11910092B2 (en) * | 2020-10-01 | 2024-02-20 | Black Sesame Technologies Inc. | Panoramic look-around view generation method, in-vehicle device and in-vehicle system |
US20220161786A1 (en) * | 2020-11-24 | 2022-05-26 | Hyundai Motor Company | System for evaluating risk values associated with object on road for vehicle and method for the same |
US11673581B2 (en) | 2020-12-11 | 2023-06-13 | Waymo Llc | Puddle occupancy grid for autonomous vehicles |
US20240053167A1 (en) * | 2020-12-22 | 2024-02-15 | ClearMotion, Inc. | System and method for road feature detection |
US20240177417A1 (en) * | 2021-03-01 | 2024-05-30 | Mobileye Vision Technologies Ltd. | Vehicle environment modeling with a camera |
EP4063222A1 (en) * | 2021-03-24 | 2022-09-28 | Zenseact AB | Precautionary vehicle path planning |
JP7256835B2 (ja) * | 2021-03-24 | 2023-04-12 | 本田技研工業株式会社 | 画像処理装置 |
DE102021107904A1 (de) * | 2021-03-29 | 2022-09-29 | Conti Temic Microelectronic Gmbh | Verfahren und System zur Bestimmung der Bodenebene mit einem künstlichen neuronalen Netz |
CN113269969B (zh) * | 2021-04-16 | 2022-07-08 | 重庆电子工程职业学院 | 基于智慧交通的人工智能图像处理方法及大数据云服务器 |
DE102021203994A1 (de) * | 2021-04-21 | 2022-10-27 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Betreiben eines wenigstens teilweise automatisierten Fahrzeugs |
EP4330934A2 (en) * | 2021-04-29 | 2024-03-06 | Mobileye Vision Technologies Ltd. | Multi-frame image segmentation |
CN113104033B (zh) * | 2021-05-11 | 2022-06-03 | 东风柳州汽车有限公司 | 低速自动驾驶方法、装置、设备及存储介质 |
CN114643933A (zh) * | 2021-05-28 | 2022-06-21 | 义隆电子股份有限公司 | 行动载具的安全系统及其控制方法 |
DE102021205852A1 (de) | 2021-06-10 | 2022-12-15 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zum Bereitstellen von Konturdaten hinsichtlich einer Oberflächenkontur einer durch ein Fahrzeug befahrenen Fahrbahnoberfläche und Verfahren und Vorrichtung zum Steuern eines Betriebs eines Fahrzeugs |
CN113313047B (zh) * | 2021-06-11 | 2022-09-06 | 中国科学技术大学 | 一种基于车道结构先验的车道线检测方法及系统 |
EP4105818A1 (en) * | 2021-06-18 | 2022-12-21 | Continental Autonomous Mobility Germany GmbH | Method and system for estimating road lane geometry |
US11995764B2 (en) * | 2021-06-30 | 2024-05-28 | Here Global B.V. | Method, apparatus and computer program product for tunnel detection from a point cloud |
KR20230015114A (ko) * | 2021-07-22 | 2023-01-31 | 삼성전자주식회사 | 차량의 측방 카메라를 이용한 도로의 기울기 결정 방법 및 장치 |
KR102399047B1 (ko) * | 2021-08-12 | 2022-05-18 | (주)에이아이매틱스 | 자율주행에서의 시각적 속성 추정을 위한 시각 정보 처리 방법 및 시스템 |
EP4138048A1 (en) * | 2021-08-17 | 2023-02-22 | Zenseact AB | Training of 3d lane detection models for automotive applications |
KR20230031036A (ko) * | 2021-08-26 | 2023-03-07 | (주)서울로보틱스 | 3차원 공간에 대한 점군을 정합하는 방법 및 서버 |
US12073533B1 (en) * | 2021-09-03 | 2024-08-27 | Apple Inc. | Detecting specular surfaces |
US20230087261A1 (en) * | 2021-09-20 | 2023-03-23 | Qualcomm Incorporated | Three-dimensional target estimation using keypoints |
US20230089897A1 (en) * | 2021-09-23 | 2023-03-23 | Motional Ad Llc | Spatially and temporally consistent ground modelling with information fusion |
KR102653972B1 (ko) * | 2021-10-06 | 2024-04-02 | 세종대학교산학협력단 | 그래디언트 부스팅 네트워크를 이용한 단안 영상 기반 깊이 추정 방법 및 장치 |
CN114049388A (zh) | 2021-11-10 | 2022-02-15 | 北京地平线信息技术有限公司 | 图像数据的处理方法和装置 |
US12106492B2 (en) * | 2021-11-18 | 2024-10-01 | Volkswagen Aktiengesellschaft | Computer vision system for object tracking and time-to-collision |
KR102594184B1 (ko) * | 2021-11-19 | 2023-10-27 | 이종현 | 인공 지능 모델을 기반으로 엑스레이 이미지상에서 위험 물체를 검출하는 전자 장치 및 이의 동작 방법 |
DE102021133089A1 (de) | 2021-12-14 | 2023-06-15 | Cariad Se | Vorrichtung zur Ermittlung einer Topographie einer Fahrzeugumgebung, Fahrzeug und Verfahren |
US11999352B2 (en) * | 2021-12-15 | 2024-06-04 | Industrial Technology Research Institute | Method and system for extracting road data and method and system for controlling self-driving car |
US12086996B2 (en) * | 2022-01-03 | 2024-09-10 | GM Global Technology Operations LLC | On-vehicle spatial monitoring system |
WO2023134873A1 (en) * | 2022-01-17 | 2023-07-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Three-dimensional scanning of an environment having reflective surfaces |
US12094220B2 (en) | 2022-02-16 | 2024-09-17 | GM Global Technology Operations LLC | Methods and systems for camera to ground alignment |
US12094169B2 (en) | 2022-02-16 | 2024-09-17 | GM Global Technology Operations LLC | Methods and systems for camera to ground alignment |
US12043269B2 (en) * | 2022-02-16 | 2024-07-23 | GM Global Technology Operations LLC | Methods and systems for camera to ground alignment |
US12008681B2 (en) * | 2022-04-07 | 2024-06-11 | Gm Technology Operations Llc | Systems and methods for testing vehicle systems |
TWI822032B (zh) * | 2022-05-05 | 2023-11-11 | 國立陽明交通大學 | 影片播放系統、可攜式影片播放裝置及影片增強方法 |
WO2023219451A1 (en) * | 2022-05-13 | 2023-11-16 | Samsung Electronics Co., Ltd. | Method and apparatus for recognition of a motion in a video |
KR102526720B1 (ko) * | 2022-07-25 | 2023-04-27 | (주)이노시뮬레이션 | 포인트 클라우드 데이터를 이용한 3차원 가상 환경 모델링 방법 및 이를 실행하는 서버 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0933216A (ja) * | 1995-07-24 | 1997-02-07 | Mitsubishi Electric Corp | 車載用画像処理装置 |
JP2013239143A (ja) * | 2011-12-06 | 2013-11-28 | Mobileye Technologies Ltd | 道路の垂直輪郭検出 |
JP2014138420A (ja) * | 2013-01-16 | 2014-07-28 | Honda Research Institute Europe Gmbh | 自律車両用の奥行き検知方法及びシステム |
US20160325753A1 (en) * | 2015-05-10 | 2016-11-10 | Mobileye Vision Technologies Ltd. | Road profile along a predicted path |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100446636B1 (ko) * | 2002-11-21 | 2004-09-04 | 삼성전자주식회사 | 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법 |
KR101188588B1 (ko) * | 2008-03-27 | 2012-10-08 | 주식회사 만도 | 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법 |
US8699754B2 (en) * | 2008-04-24 | 2014-04-15 | GM Global Technology Operations LLC | Clear path detection through road modeling |
WO2010129907A2 (en) * | 2009-05-08 | 2010-11-11 | Scientific Systems Company Inc. | Method and system for visual collision detection and estimation |
CN102074043B (zh) | 2011-01-06 | 2012-05-02 | 浙江大学 | 用于车辆动力学研究的三维路面高程数据生成方法 |
EP2751777B1 (en) * | 2011-08-31 | 2019-08-07 | Apple Inc. | Method for estimating a camera motion and for determining a three-dimensional model of a real environment |
EP2574511B1 (en) * | 2011-09-30 | 2016-03-16 | Honda Research Institute Europe GmbH | Analyzing road surfaces |
US11263823B2 (en) * | 2012-02-24 | 2022-03-01 | Matterport, Inc. | Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications |
US9953229B2 (en) * | 2013-08-20 | 2018-04-24 | Harman International Industries, Incorporated | Traffic light detection |
CN105849771B (zh) * | 2013-12-19 | 2019-06-04 | 苹果公司 | 用于跟踪移动设备的方法和系统 |
EP3845426A1 (en) * | 2015-02-10 | 2021-07-07 | Mobileye Vision Technologies Ltd. | Sparse map for autonomous vehicle navigation |
US10115024B2 (en) * | 2015-02-26 | 2018-10-30 | Mobileye Vision Technologies Ltd. | Road vertical contour detection using a stabilized coordinate frame |
US10012723B2 (en) * | 2015-03-31 | 2018-07-03 | Amazon Technologies, Inc. | Modular LIDAR system |
EP3283843B1 (en) * | 2015-04-01 | 2024-01-10 | Vayavision Sensing Ltd. | Generating 3-dimensional maps of a scene using passive and active measurements |
JP6899369B2 (ja) * | 2015-08-03 | 2021-07-07 | トムトム グローバル コンテント ベスローテン フエンノートシャップ | ローカライゼーション基準データを生成及び使用する方法及びシステム |
CN105069842A (zh) * | 2015-08-03 | 2015-11-18 | 百度在线网络技术(北京)有限公司 | 道路三维模型的建模方法和装置 |
CN114612877A (zh) * | 2016-01-05 | 2022-06-10 | 御眼视觉技术有限公司 | 用于估计未来路径的系统和方法 |
US10127465B2 (en) * | 2016-06-27 | 2018-11-13 | Mobileye Vision Technologies Ltd. | Controlling host vehicle based on detected movement of a target vehicle |
US10546387B2 (en) * | 2017-09-08 | 2020-01-28 | Qualcomm Incorporated | Pose determination with semantic segmentation |
US10535138B2 (en) * | 2017-11-21 | 2020-01-14 | Zoox, Inc. | Sensor data segmentation |
WO2019182974A2 (en) * | 2018-03-21 | 2019-09-26 | Nvidia Corporation | Stereo depth estimation using deep neural networks |
CN111566441B (zh) | 2018-04-18 | 2022-08-09 | 移动眼视力科技有限公司 | 利用相机进行车辆环境建模 |
-
2019
- 2019-04-18 CN CN201980004560.5A patent/CN111566441B/zh active Active
- 2019-04-18 KR KR1020207034100A patent/KR102265703B1/ko active IP Right Grant
- 2019-04-18 CN CN202210872440.0A patent/CN115393536A/zh active Pending
- 2019-04-18 KR KR1020207006196A patent/KR102186299B1/ko active IP Right Grant
- 2019-04-18 JP JP2020556952A patent/JP7039727B2/ja active Active
- 2019-04-18 KR KR1020217017826A patent/KR102698110B1/ko active IP Right Grant
- 2019-04-18 EP EP19787733.5A patent/EP3673233A4/en active Pending
- 2019-04-18 US US16/387,969 patent/US10872433B2/en active Active
- 2019-04-18 WO PCT/IB2019/000506 patent/WO2019202397A2/en active Application Filing
-
2020
- 2020-11-25 US US17/104,572 patent/US11816991B2/en active Active
-
2022
- 2022-03-09 JP JP2022035929A patent/JP7358540B2/ja active Active
-
2023
- 2023-09-27 US US18/373,528 patent/US20240161622A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0933216A (ja) * | 1995-07-24 | 1997-02-07 | Mitsubishi Electric Corp | 車載用画像処理装置 |
JP2013239143A (ja) * | 2011-12-06 | 2013-11-28 | Mobileye Technologies Ltd | 道路の垂直輪郭検出 |
JP2014138420A (ja) * | 2013-01-16 | 2014-07-28 | Honda Research Institute Europe Gmbh | 自律車両用の奥行き検知方法及びシステム |
US20160325753A1 (en) * | 2015-05-10 | 2016-11-10 | Mobileye Vision Technologies Ltd. | Road profile along a predicted path |
Non-Patent Citations (2)
Title |
---|
"A Joint 3D-2D Based Method for Free Space Detection on Roads", 2018 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV), JPN6023004805, 12 March 2018 (2018-03-12), pages 643 - 651, ISSN: 0004989774 * |
SUDHEENDRA VIJAYANARASIMHAN ET AL.: "SfM-Net: Learning of Structure and Motion from Video", ARXIV.ORG, JPN7023000526, 25 April 2018 (2018-04-25), pages 1 - 9, ISSN: 0004989773 * |
Also Published As
Publication number | Publication date |
---|---|
CN111566441B (zh) | 2022-08-09 |
US20210118161A1 (en) | 2021-04-22 |
KR102265703B1 (ko) | 2021-06-17 |
EP3673233A2 (en) | 2020-07-01 |
KR20210072837A (ko) | 2021-06-17 |
KR102186299B1 (ko) | 2020-12-07 |
US20240161622A1 (en) | 2024-05-16 |
EP3673233A4 (en) | 2021-05-19 |
KR20200029049A (ko) | 2020-03-17 |
KR20200138410A (ko) | 2020-12-09 |
US11816991B2 (en) | 2023-11-14 |
JP7039727B2 (ja) | 2022-03-22 |
WO2019202397A3 (en) | 2019-11-28 |
JP7358540B2 (ja) | 2023-10-10 |
CN111566441A (zh) | 2020-08-21 |
US10872433B2 (en) | 2020-12-22 |
CN115393536A (zh) | 2022-11-25 |
KR102698110B1 (ko) | 2024-08-23 |
US20190325595A1 (en) | 2019-10-24 |
WO2019202397A2 (en) | 2019-10-24 |
JP2021513173A (ja) | 2021-05-20 |
WO2019202397A8 (en) | 2020-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7039727B2 (ja) | カメラを用いた車両環境モデリング | |
JP7383870B2 (ja) | デバイス、方法、システムおよびコンピュータプログラム | |
US10984261B2 (en) | Systems and methods for curb detection and pedestrian hazard assessment | |
US20200118283A1 (en) | Distance estimating method and apparatus | |
US11288833B2 (en) | Distance estimation apparatus and operating method thereof | |
JP2022517940A (ja) | ポットホール検出システム | |
Ding et al. | Fast lane detection based on bird’s eye view and improved random sample consensus algorithm | |
CN111091038A (zh) | 训练方法、计算机可读介质和检测消失点的方法及装置 | |
KR20210061069A (ko) | 3차원 객체를 표시하는 방법 및 장치 | |
Johnson et al. | Real-time side-slip angle measurements using digital image correlation | |
US11869253B2 (en) | Vehicle environment modeling with a camera | |
CN112800822A (zh) | 利用结构约束和物理约束进行3d自动标记 | |
KR102019594B1 (ko) | 저해상도 카메라를 위한 보정 기법을 이용한 차량 간 거리 추정 방법 및 그 장치 | |
WO2021215199A1 (ja) | 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220309 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7358540 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |