JP2022076453A - 自律システムにおける経路決定のための安全デコンポジション - Google Patents
自律システムにおける経路決定のための安全デコンポジション Download PDFInfo
- Publication number
- JP2022076453A JP2022076453A JP2021172882A JP2021172882A JP2022076453A JP 2022076453 A JP2022076453 A JP 2022076453A JP 2021172882 A JP2021172882 A JP 2021172882A JP 2021172882 A JP2021172882 A JP 2021172882A JP 2022076453 A JP2022076453 A JP 2022076453A
- Authority
- JP
- Japan
- Prior art keywords
- data
- localization
- vehicle
- fusion
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000354 decomposition reaction Methods 0.000 title description 4
- 230000004807 localization Effects 0.000 claims abstract description 197
- 230000004927 fusion Effects 0.000 claims description 127
- 238000012545 processing Methods 0.000 claims description 123
- 230000015654 memory Effects 0.000 claims description 110
- 238000000034 method Methods 0.000 claims description 102
- 238000013135 deep learning Methods 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 11
- 238000009877 rendering Methods 0.000 claims description 10
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 238000002604 ultrasonography Methods 0.000 claims 1
- 230000033228 biological regulation Effects 0.000 abstract description 11
- 238000012549 training Methods 0.000 description 133
- 238000010801 machine learning Methods 0.000 description 86
- 238000013528 artificial neural network Methods 0.000 description 78
- 238000003860 storage Methods 0.000 description 62
- 230000008569 process Effects 0.000 description 58
- 238000013473 artificial intelligence Methods 0.000 description 52
- 238000013500 data storage Methods 0.000 description 49
- 238000001514 detection method Methods 0.000 description 43
- 230000006870 function Effects 0.000 description 40
- 230000001149 cognitive effect Effects 0.000 description 31
- 125000000914 phenoxymethylpenicillanyl group Chemical group CC1(S[C@H]2N([C@H]1C(=O)*)C([C@H]2NC(COC2=CC=CC=C2)=O)=O)C 0.000 description 30
- 229920002451 polyvinyl alcohol Polymers 0.000 description 30
- 235000019422 polyvinyl alcohol Nutrition 0.000 description 30
- 238000003384 imaging method Methods 0.000 description 29
- 238000004891 communication Methods 0.000 description 26
- 238000013527 convolutional neural network Methods 0.000 description 25
- 230000002093 peripheral effect Effects 0.000 description 24
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 23
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 23
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 23
- 230000009471 action Effects 0.000 description 22
- 238000004422 calculation algorithm Methods 0.000 description 21
- 238000007726 management method Methods 0.000 description 21
- 238000012800 visualization Methods 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 15
- JVTAAEKCZFNVCJ-UWTATZPHSA-N D-lactic acid Chemical compound C[C@@H](O)C(O)=O JVTAAEKCZFNVCJ-UWTATZPHSA-N 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 230000001133 acceleration Effects 0.000 description 12
- 230000001976 improved effect Effects 0.000 description 11
- 230000004913 activation Effects 0.000 description 9
- 238000001994 activation Methods 0.000 description 9
- 230000006399 behavior Effects 0.000 description 9
- 238000007667 floating Methods 0.000 description 9
- 239000003795 chemical substances by application Substances 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 230000036541 health Effects 0.000 description 7
- 230000000670 limiting effect Effects 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 7
- 230000003068 static effect Effects 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000003491 array Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 238000013441 quality evaluation Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 230000019771 cognition Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000012502 risk assessment Methods 0.000 description 4
- 238000012163 sequencing technique Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000001052 transient effect Effects 0.000 description 4
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 3
- 241000269400 Sirenidae Species 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 230000007787 long-term memory Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000037361 pathway Effects 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 108091006146 Channels Proteins 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 238000006424 Flood reaction Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 102100030148 Integrator complex subunit 8 Human genes 0.000 description 1
- 101710092891 Integrator complex subunit 8 Proteins 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000012884 algebraic function Methods 0.000 description 1
- 206010002449 angioimmunoblastic T-cell lymphoma Diseases 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000001693 membrane extraction with a sorbent interface Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3811—Point data, e.g. Point of Interest [POI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
【課題】車線グラフ又は経路決定を生成するアーキテクチャを提供する。【解決手段】システムが、ローカリゼーションを決定するのに有用な複数のソースからのデータを互いに融合させる。安全準拠を確実にするために、この融合データは、安全が信用できるシステムからのデータと比較され、少なくとも2つの比較器が融合ローカリゼーション・データに関して一致する限り、融合ローカリゼーション・データは使用され安全規制に準拠していることが確認される。このシステムは、車線認知のために有用な利用可能な情報をも互いに融合させる。この融合データは、安全が信用できるシステムからのデータと比較され、これらの安全準拠システムのための少なくとも2つの比較器が融合車線グラフ・データに関して一致する限り、融合車線グラフ・データは、ナビゲーションのために提供され、規制に準拠していることが確認される。【選択図】図4
Description
本出願は、すべての目的のために、その全体が本明細書に組み込まれる、2020年11月9日に出願された、「Safety Decomposition for Autonomous Vehicles Path Detection」と題する米国仮出願第63/111,250号の優先権を主張する。
車両用であるのか、ロボット用であるのか、他の自動システム用であるのかにかかわらず、様々な産業がますます自動化の増加に向かうにつれて、対応して、この自動化によって実施される動作の安全を改善する必要がある。これは、自動機械が位置する環境の現在の条件の下でのその機械のための最適経路を決定するためになど、動き又はナビゲーションの正確さを改善することを含むことがある。多くの自動化システムでは、そのような経路を決定する際に有用なデータを提供する様々なセンサ及びソースがあり得る。そのような経路決定手法が特定の安全要件又は規制を満たすことを確実にするために、これらの要件又は規制に準拠することを決定する個々の決定が行われる。そのような手法は、たいていの場合、安全な動作を提供することができるが、安全であるが特に滑らかでない、又は継続的に楽しくない乗り心地を提供する自動車内の乗客の場合など、望ましいとは言えない動作体験を提供し得る。
"Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles" (e.g., Standard No. J3016-201806, published on June 15, 2018, Standard No. J3016-201609, published on September 30, 2016, and previous and future versions of this standard)
本開示による様々な実施例が、図面を参照しながら説明される。
様々な実施例による手法が、車両又はロボットなど、自動又は半自動デバイスのためのナビゲーション経路、グラフ、又は軌道の生成を提供することができる。特に、様々な実施例は、動作の安全に関係し得るような、対応する要件又は規制にも準拠する最適ローカリゼーション(localization)及び車線グラフ決定を決定するために、複数のソースからの情報を融合させるか又はさもなければ考慮する。自律(又は半自律)車両又はロボットの場合、これは、たとえば、マップ・データとリアルタイム認知(perception)データとの組合せに基づいてナビゲーション又は動きをダイレクトする際に使用するための最適車線グラフを決定することを伴い得る。少なくとも1つの実施例では、システム(たとえば、電子制御ユニット(ECU:electronic control unit))が、レーダー又はカメラ・システムからのデータなど、ローカリゼーションを決定するのを助けることができるセンサ・データを互いに融合させることができる。安全準拠(safety compliance)を提供するために、この融合(fused)データは、安全準拠(safety-compliant)カメラ又はレーダー・システムからのなど、安全が信用できる個々のシステムからのデータと比較され得る。これらの安全準拠システムのための少なくとも2つの比較器又は「投票器(voter)」が融合ローカリゼーション・データに関して一致する(agree with)限り、融合ローカリゼーション・データは、使用され得、安全規制に準拠していることが確認され(verify)得る。この融合ローカリゼーション・データは、車線認知システムへの入力として提供され得る。
同様の様式で、そのようなシステム(たとえば、ECU)は、カメラ又はLIDARシステムを使用して決定され得るようなHDグラフ及びライブ車線認知データ、並びに融合ローカリゼーション・データに関係し得るような、車線認知及びグラフ生成のために有用な利用可能で信頼できる情報を互いに融合させるか、又はさもなければ考慮することができる。安全準拠を提供するために、融合車線グラフ・データも、安全準拠カメラ又はLIDARシステムからのデータを使用して生成され得るものなど、安全が信用できるシステムからのデータと比較され得る。これらの安全準拠システムのための少なくとも2つの比較器が融合車線グラフ・データに関して一致する限り、融合車線グラフ・データは、ナビゲーションのために提供され得、安全規制に準拠していることが確認され得る。融合車線グラフ・データが、これらの比較器から少なくとも2つの票を受け取らなかったか、又はさもなければ1つ又は複数の他の安全基準を満たさないと決定された場合、これらの車線グラフ又はナビゲーション決定のうちの別のものが使用され得る。そのようなシステムは、車両上のシステムのうちの1つ又は複数が利用不可能になったか又は信頼できなくなった場合でも、車両が常に安全に動作することを確実にするために、ナビゲーション決定間の切替えを提供することができる。
そのようなシステムはまた、少なくともいくらかの量のデッド・レコニング(dead reckoning)を利用し得、ここで、ライブ認知データが利用不可能であるか又は少なくとも信頼できない場合、限られた時間期間の間、履歴データが利用され得る。さらに、ローカリゼーション・データ又はライブ認知データのいずれかについての互いに融合されるべき入力の選択は、信頼性及び利用可能性に応じて経時的に切り替えられ得る。1つ又は複数のアービタは、融合データを分析することができ、利用不可能であるか又は信頼できない場合、車両が安全に動作し続けることができることを確実にするために安全準拠信号のうちの1つを代用し得る。いくつかの実施例では、1つの信号が利用不可能であるか又は信頼できない場合に車両が安全に動作し続けることができることを確実にするために、車両データのために1つ及び衛星データのために1つなど、少なくとも2つのECUも使用され得、いずれか又は両方のECUからの車線グラフ上で動作するためにライブ切替えが実施され得る。
図1Aに示されている自律車両100について考える。少なくとも1つの実施例では、車両100は、限定はしないが、車、トラック、バス、及び/又は1人又は複数の乗客を収容する別のタイプの車両など、乗用車(passenger vehicle)であり得る。少なくとも1つの実施例では、車両100は、貨物を運搬するために使用されるセミ・トラクタ・トレーラ・トラックであり得る。少なくとも1つの実施例では、車両100は、乗客又は貨物を搬送することを意図していることも意図していないこともあるが、少なくともいくらかの量の車両の動き又は移動を必要とする1つ又は複数のタスクを実施することを意図していることがある、飛行機、ロボット車両、又は他の種類の車両であり得る。
自律車両は、米国運輸省の一部門である全米高速道路交通安全局(「NHTSA」:National Highway Traffic Safety Administration)、及び自動車技術者協会(「SAE」:Society of Automotive Engineers)の非特許文献1によって定義される自動化レベルという観点から説明され得る。1つ又は複数の実施例では、車両100は、自律運転レベルのレベル1~レベル5のうちの1つ又は複数による機能性に対応可能であり得る。たとえば、少なくとも1つの実施例では、車両100は、実施例に応じて、条件付き自動化(レベル3)、高度自動化(レベル4)、及び/又は完全自動化(レベル5)に対応可能であり得る。
少なくとも1つの実施例では、車両100は、限定はしないが、シャーシ、車両本体、ホイール(たとえば、2本、4本、6本、8本、18本など)、タイヤ、車軸、及び車両の他の構成要素など、構成要素を含み得る。少なくとも1つの実施例では、車両100は、限定はしないが、内燃機関、ハイブリッド電力プラント、完全電気エンジン、及び/又は別の推進システム・タイプなど、推進システム150を含み得る。少なくとも1つの実施例では、推進システム150は、車両100のドライブ・トレインに接続され得、ドライブ・トレインは、限定はしないが、車両100の推進を可能にするためのトランスミッションを含み得る。少なくとも1つの実施例では、推進システム150は、(1つ又は複数の)スロットル/アクセラレータ152から信号を受信したことに応答して制御され得る。
少なくとも1つの実施例では、限定はしないが、ハンドルを含み得る操縦システム154は、推進システム150が動作しているときに(たとえば、車両が動いているときに)車両100を(たとえば、所望の経路又はルートに沿って)操縦するために使用される。少なくとも1つの実施例では、操縦システム154は、(1つ又は複数の)操縦アクチュエータ156から信号を受信し得る。ハンドルは、完全自動化(レベル5)機能性について随意であり得る。少なくとも1つの実施例では、(1つ又は複数の)ブレーキ・アクチュエータ148及び/又はブレーキ・センサから信号を受信したことに応答して車両ブレーキを動作させるために、ブレーキ・センサ・システム146が使用され得る。
少なくとも1つの実施例では、限定はしないが、1つ又は複数のシステム・オン・チップ(「SoC」:system on chip)(図1Aに図示せず)及び/又は(1つ又は複数の)グラフィックス処理ユニット(「GPU」:graphics processing unit)を含み得る(1つ又は複数の)コントローラ136は、車両100の1つ又は複数の構成要素及び/又はシステムに(たとえば、コマンドを表す)信号を提供する。たとえば、少なくとも1つの実施例では、(1つ又は複数の)コントローラ136は、(1つ又は複数の)ブレーキ・アクチュエータ148を介して車両ブレーキを動作させるための信号、(1つ又は複数の)操縦アクチュエータ156を介して操縦システム154を動作させるための信号、及び/又は(1つ又は複数の)スロットル/アクセラレータ152を介して推進システム150を動作させるための信号を送出し得る。(1つ又は複数の)コントローラ136は、自律運転を可能にし、及び/又は人間のドライバが車両100を運転するのを支援するために、センサ信号を処理し、動作コマンド(たとえば、コマンドを表す信号)を出力する1つ又は複数の搭載(たとえば、一体型の)コンピューティング・デバイス(たとえば、スーパーコンピュータ)を含み得る。少なくとも1つの実施例では、(1つ又は複数の)コントローラ136は、自律運転機能のための第1のコントローラ136、機能的安全機能のための第2のコントローラ136、人工知能機能性(たとえば、コンピュータ・ビジョン)のための第3のコントローラ136、インフォテイメント機能性のための第4のコントローラ136、緊急事態における冗長性のための第5のコントローラ136、及び/又は他のコントローラを含み得る。少なくとも1つの実施例では、単一のコントローラ136が、上記の機能性のうちの2つ又はそれ以上に対処し得、2つ又はそれ以上のコントローラ136が、単一の機能性に対処し得、及び/又はこれらの任意の組合せであり得る。
少なくとも1つの実施例では、(1つ又は複数の)コントローラ136は、1つ又は複数のセンサから受信されたセンサ・データ(たとえば、センサ入力)に応答して、車両100の1つ又は複数の構成要素及び/又はシステムを制御するための信号を提供する。少なくとも1つの実施例では、センサ・データは、たとえば、限定はしないが、(1つ又は複数の)全地球的航法衛星システム(「GNSS」:global navigation satellite system)センサ158(たとえば、(1つ又は複数の)全地球測位システム・センサ)、(1つ又は複数の)RADARセンサ160、(1つ又は複数の)超音波センサ162、(1つ又は複数の)LIDARセンサ164、(1つ又は複数の)慣性測定ユニット(「IMU」:inertial measurement unit)センサ166(たとえば、(1つ又は複数の)加速度計、(1つ又は複数の)ジャイロスコープ、(1つ又は複数の)磁気コンパス、(1つ又は複数の)磁力計など)、(1つ又は複数の)マイクロフォン196、(1つ又は複数の)ステレオ・カメラ168、(1つ又は複数の)広角カメラ170(たとえば、魚眼カメラ)、(1つ又は複数の)赤外線カメラ172、(1つ又は複数の)周囲カメラ174(たとえば、360度カメラ)、長距離カメラ(図1Aに図示せず)、(1つ又は複数の)中距離カメラ(図1Aに図示せず)、(たとえば、車両100のスピードを測定するための)(1つ又は複数の)スピード・センサ144、(1つ又は複数の)振動センサ142、(1つ又は複数の)操縦センサ140、(たとえば、ブレーキ・センサ・システム146の一部としての)(1つ又は複数の)ブレーキ・センサ、及び/又は他のセンサ・タイプから、受信され得る。
少なくとも1つの実施例では、(1つ又は複数の)コントローラ136のうちの1つ又は複数は、車両100の計器クラスタ132からの(たとえば入力データによって表される)入力を受信し、ヒューマン・マシン・インターフェース(「HMI」:human-machine interface)ディスプレイ134、可聴アナンシエータ、拡声器を介して、及び/又は車両100の他の構成要素を介して、(たとえば、出力データ、ディスプレイ・データなどによって表される)出力を提供し得る。少なくとも1つの実施例では、出力は、車両速度、スピード、時間、マップ・データ(たとえば、高精細度マップ(図1Aに図示せず)、ロケーション・データ(たとえば、マップ上などの車両100のロケーション)、方向、他の車両のロケーション(たとえば、占有グリッド)、(1つ又は複数の)コントローラ136によって認知され(perceive)た物体及び物体のステータスに関する情報など、情報を含み得る。たとえば、少なくとも1つの実施例では、HMIディスプレイ134は、1つ又は複数の物体(たとえば、道路標識、警告標識、信号の変化など)の存在に関する情報、及び/或いは、車両が行った、行っている、又はこれから行う運転操作に関する情報(たとえば、現在車線変更中、3.22km(2マイル)先の出口34Bを出る、など)を表示し得る。
少なくとも1つの実施例では、車両100はネットワーク・インターフェース124をさらに含み、ネットワーク・インターフェース124は、1つ又は複数のネットワークを介して通信するために(1つ又は複数の)ワイヤレス・アンテナ126及び/又は(1つ又は複数の)モデムを使用し得る。たとえば、少なくとも1つの実施例では、ネットワーク・インターフェース124は、ロング・ターム・エボリューション(「LTE」:Long-Term Evolution)、広帯域符号分割多元接続(「WCDMA(登録商標)」:Wideband Code Division Multiple Access)、ユニバーサル・モバイル・テレコミュニケーション・システム(「UMTS」:Universal Mobile Telecommunications System)、モバイル通信用グローバル・システム(「GSM」:Global System for Mobile communication)、IMT-CDMAマルチ・キャリア(「CDMA2000」)などを介した通信が可能であり得る。また、少なくとも1つの実施例では、(1つ又は複数の)ワイヤレス・アンテナ126は、Bluetooth、Bluetooth低エネルギー(「LE」:Low Energy)、Z波、ZigBeeなどの(1つ又は複数の)ローカル・エリア・ネットワーク、及び/又はLoRaWAN、SigFoxなどの(1つ又は複数の)低電力ワイド・エリア・ネットワーク(「LPWAN」:low power wide-area network)を使用して、環境内の物体(たとえば、車両、モバイル・デバイスなど)間の通信を可能にし得る。
図1Bは、少なくとも1つの実施例による、図1Aの自律車両100についてのカメラ・ロケーション及び視野の一実例を示す。少なくとも1つの実施例では、カメラ及びそれぞれの視野は、1つの例示的な実施例であり、限定するものではない。たとえば、少なくとも1つの実施例では、追加及び/又は代替のカメラが含まれ得、及び/又は、カメラは車両100上の異なるロケーションに位置し得る。
少なくとも1つの実施例では、カメラについてのカメラ・タイプは、限定はしないが、車両100の構成要素及び/又はシステムとともに使用するために適応され得るデジタル・カメラを含み得る。少なくとも1つの実施例では、(1つ又は複数の)カメラのうちの1つ又は複数が、自動車安全性要求レベル(「ASIL」:automotive safety integrity level)B及び/又は別のASILにおいて動作し得る。少なくとも1つの実施例では、カメラ・タイプは、実施例に応じて、毎秒60フレーム(fps:frames per second)、120fps、240fpsなど、任意の画像キャプチャ・レートが可能であり得る。少なくとも1つの実施例では、カメラは、ローリング・シャッター、グローバル・シャッター、別のタイプのシャッター、又はそれらの組合せを使用することが可能であり得る。少なくとも1つの実施例では、カラー・フィルタ・アレイは、赤色、クリア、クリア、クリア(「RCCC」:red clear clear clear)のカラー・フィルタ・アレイ、赤色、クリア、クリア、青色(「RCCB:red clear clear blue」)のカラー・フィルタ・アレイ、赤色、青色、緑色、クリア(「RBGC」:red blue green clear)のカラー・フィルタ・アレイ、Foveon X3のカラー・フィルタ・アレイ、ベイヤー・センサ(「RGGB」)のカラー・フィルタ・アレイ、モノクロ・センサのカラー・フィルタ・アレイ、及び/又は別のタイプのカラー・フィルタ・アレイを含み得る。少なくとも1つの実施例では、光感度を上げるために、RCCC、RCCB、及び/又はRBGCのカラー・フィルタ・アレイをもつカメラなど、クリア・ピクセル・カメラが使用され得る。
少なくとも1つの実施例では、(1つ又は複数の)カメラのうちの1つ又は複数が、先進ドライバ支援システム(「ADAS」:advanced driver assistance system)機能を(たとえば、冗長設計又はフェイル・セーフ設計の一部として)実施するために使用され得る。たとえば、少なくとも1つの実施例では、車線逸脱警告、交通標識支援及びインテリジェント・ヘッドライト制御を含む機能を提供するために、多機能モノ・カメラが設置され得る。少なくとも1つの実施例では、(1つ又は複数の)カメラのうちの1つ又は複数(たとえば、カメラのすべて)が、画像データ(たとえば、ビデオ)を同時に記録し、提供し得る。
少なくとも1つの実施例では、カメラのうちの1つ又は複数が、カメラの画像データ・キャプチャ・アビリティを妨げ得る迷光及び車内からの反射(たとえば、ダッシュボードからフロントガラスに反射される反射)をなくすために、カスタム設計の(3次元(「3D」:three-dimensional)印刷された)アセンブリなどの取付けアセンブリにおいて取り付けられ得る。ドアミラー取付けアセンブリを参照すると、少なくとも1つの実施例では、ドアミラー・アセンブリは、カメラ取付けプレートがドアミラーの形状にマッチするように、カスタム3D印刷され得る。少なくとも1つの実施例では、(1つ又は複数の)カメラは、ドアミラーに組み込まれ得る。サイド・ビュー・カメラについて、(1つ又は複数の)カメラはまた、少なくとも1つの実施例では、各角にある4本のピラー内に組み込まれ得る。
少なくとも1つの実施例では、車両100の前方の環境の部分を含む視野をもつカメラ(たとえば、正面カメラ)は、正面の経路及び障害物を識別するのを助け、並びに、コントローラ136及び/又は制御SoCのうちの1つ又は複数の助けで、占有グリッドを生成すること及び/又は好ましい車両経路を決定することに不可欠な情報を提供するのを補助するために、周囲ビューのために使用され得る。少なくとも1つの実施例では、正面カメラは、限定はしないが、緊急ブレーキと、歩行者検出と、衝突回避とを含む、LIDARと同じADAS機能の多くを実施するために使用され得る。少なくとも1つの実施例では、正面カメラはまた、限定はしないが、車線逸脱警告(「LDW」:Lane Departure Warning)、自律走行制御(「ACC」:Autonomous Cruise Control)、及び/又は交通標識認識などの他の機能を含むADAS機能及びシステムのために使用され得る。
少なくとも1つの実施例では、たとえば、CMOS(「相補型金属酸化物半導体(complementary metal oxide semiconductor)」)カラー・イメージャを含む単眼カメラ・プラットフォームを含む様々なカメラが、正面構成において使用され得る。少なくとも1つの実施例では、周辺からビューに入ってくる物体(たとえば、歩行者、横断する交通、又は自転車)を認知するために、広角カメラ170が使用され得る。図1Bには1つの広角カメラ170のみが示されているが、他の実施例では、車両100上に(ゼロを含む)任意の数の広角カメラ170があり得る。少なくとも1つの実施例では、特にニューラル・ネットワークがそれに対してまだ訓練されていない物体について、深度ベースの物体検出のために、(1つ又は複数の)任意の数の長距離カメラ198(たとえば、ロングビュー・ステレオ・カメラ・ペア)が使用され得る。少なくとも1つの実施例では、(1つ又は複数の)長距離カメラ198は、物体検出及び分類、並びに基本的な物体追跡のためにも使用され得る。
少なくとも1つの実施例では、任意の数のステレオ・カメラ168も、正面構成に含まれ得る。少なくとも1つの実施例では、(1つ又は複数の)ステレオ・カメラ168のうちの1つ又は複数は、スケーラブル処理ユニットを備える一体型制御ユニットを含み得、この制御ユニットは、一体型のコントローラ・エリア・ネットワーク(「CAN」:Controller Area Network)又はイーサネット・インターフェースを単一のチップ上にもつプログラマブル論理(「FPGA」)及びマルチコア・マイクロプロセッサを提供し得る。少なくとも1つの実施例では、そのようなユニットは、画像中のすべてのポイントについての距離推定を含む、車両100の環境の3Dマップを生成するために使用され得る。少なくとも1つの実施例では、(1つ又は複数の)ステレオ・カメラ168のうちの1つ又は複数は、限定はしないが、(1つ又は複数の)コンパクト・ステレオ・ビジョン・センサを含み得、このセンサは、限定はしないが、車両100からターゲット物体までの距離を測定し、生成された情報(たとえば、メタデータ)を使用して自律緊急ブレーキ及び車線逸脱警告機能をアクティブ化し得る2つのカメラ・レンズ(左及び右に1つずつ)及び画像処理チップを含み得る。少なくとも1つの実施例では、本明細書で説明されるものに加えて、又はその代替として、他のタイプの(1つ又は複数の)ステレオ・カメラ168が使用され得る。
少なくとも1つの実施例では、車両100の側方の環境の部分を含む視野をもつカメラ(たとえば、サイド・ビュー・カメラ)が、周囲ビューのために使用され、占有グリッドを作成及び更新し、並びに側面衝突警告を生成するために使用される情報を提供し得る。たとえば、少なくとも1つの実施例では、(1つ又は複数の)周囲カメラ174(たとえば、図1Bに示されている4つの周囲カメラ174)が、車両100上に位置決めされ得る。少なくとも1つの実施例では、(1つ又は複数の)周囲カメラ174は、限定はしないが、任意の数及び組合せの広角カメラ170、(1つ又は複数の)魚眼カメラ、(1つ又は複数の)360度カメラなどを含み得る。たとえば、少なくとも1つの実施例では、4つの魚眼カメラが、車両100の前方、後方、及び側方に位置決めされ得る。少なくとも1つの実施例では、車両100は、3つの周囲カメラ174(たとえば、左、右、及び後方)を使用し得、第4の周囲ビュー・カメラとして、1つ又は複数の他のカメラ(たとえば、正面カメラ)を活用し得る。
少なくとも1つの実施例では、車両100の後方への環境の部分を含む視野をもつカメラ(たとえば、リア・ビュー・カメラ)が、駐車支援、周囲ビュー、後方衝突警告、並びに占有グリッドの作成及び更新のために使用され得る。少なくとも1つの実施例では、限定はしないが、本明細書で説明されるように、(1つ又は複数の)正面カメラとしても好適なカメラ(たとえば、長距離カメラ198、及び/又は(1つ又は複数の)中距離カメラ176、(1つ又は複数の)ステレオ・カメラ168)、(1つ又は複数の)赤外線カメラ172など)を含む、多種多様なカメラが使用され得る。
そのような車両が行き先へのナビゲーションなどのタスクを実施するために、制御システムが、そのタスクに対応する、所与の時間にとるべき1つ又は複数のアクションを決定することができる。自律車両の場合、これは、車両が、衝突を回避し、適切なスピードで動作しながら、車線マーカー内で、道路の現在の車線に沿ってナビゲートすることを引き起こす経路など、決定された経路に沿って決定されたやり方で車両が操作されることを引き起こすために、操縦又はブレーキ・システムなどに対する、1つ又は複数の調整を行うことを含み得る。とるべき適切なアクションを決定するために、少なくともいくつかのシステムでは、車両がたどるべきである経路又は軌道を最初に決定することが有益であり得る。ナビゲーション経路を決定することは、車両が現在動作している環境を前にモデル化したソースから取得され得るか、又は環境に関する情報を認知するためのセンサ又は他の機構を使用してリアルタイムで生成され得る、道路及び近くの物体の高精細度(HD:high definition)マップ、モデル、又は表現など、その環境に関する情報を決定するステップを含むことができる。少なくともいくつかの実施例では、関連するローカリゼーション・データ、或いは、安全要件又は動作要件を満たすのに十分な正確さをもつ、車両がその環境においてどこに位置するかを示すデータを決定することも有益であり得る。
しかしながら、上述のように、乗客に楽しい体験を提供するために、安全に加えて滑らかさ又は快適さについて少なくともいくぶん最適化されることになる経路又は一連の動作を決定することが望ましいことがある。多くの事例では、これは、安全に運転することが極めて重要であるので、安全と滑らかな動作との間の兼ね合いを伴うが、安全な動作の範囲内で、方向、加速、又は減速の急速な調整がないものなど、最も楽しい又は一貫性のある乗り心地を提供する経路を決定することが望ましいことがある。
少なくともいくつかのタイプの自動化についての問題をさらに複雑にするのは、自律車両などの自動又は半自動デバイス又はシステムの動作が、しばしば、極めて特定の又は最も厳しい安全要件又は規制に従わなければならないことである。最適経路を決定するために様々なソースからのデータを組み合わせることが望ましいことがあるが、そのような決定がそれらの要件又は規制を満たすことを証明することが困難であり得る。さらに、様々なソースからの情報は、所与のセンサ又はサブシステムの故障が、準最適な経路決定を生じ得るなど、車両の動作全体に影響を及ぼすことのないように、安全の理由でしばしば別に保管される。したがって、安全の見地から、異なるセンサ、サブシステム、又はソースからの情報を、別個の、並列の、又は冗長なデータ・ストリーム中で保管することが望ましいことがある。しかしながら、最適動作の見地から、考えられる最良の判定を所与の時間に行うために、利用可能である多くの情報を組み合わせることが好ましいことがある。
一例として、自律車両は、複雑な動的運転タスク(DDT:dynamic driving task)を実施する自動運転システム(ADS:Automated Driving System)を利用し得る。たとえば、自動車技術者協会(SAE)自動化レベル3~5は、現在、人間のドライバが故障イベント中に運転タスクのタスクを引き継ぐことを必要とされないように、クラッシュ回避能力を必要とする。危険なイベント及びそれらのリスクの分析は、ISO26262規格に従う危険分析及びリスク評価(HARA:hazard analysis and risk assessment)を使用して実施され得る。ADSシステムの安全な動作に強く結び付けられた、例示的なADSシステムの主要な機能性のうちの1つは、経路検出を伴う。経路検出モジュールは、運転可能な経路を識別することができ、道路のジオメトリ及びトポロジに関する情報を提供することができる。これは、たとえば、車両上のカメラによってキャプチャされた画像又はビデオ、信頼できるソースから取得されたLIDARデータ、GPSデータ、IMUデータ、又はHDマップ・データなど、ソースからのデータを使用して決定され得るような、道路車線の中心経路及び/又は境界についてのデータを含み得る。経路検出モジュールにおける故障は、車道を逸脱すること又は対向交通の経路に入ることなど、危険なイベントを生じ得る。HARA(危険分析及びリスク評価)分析は、そのような危険なイベントが致命的であり得、したがって、たとえば、最高自動車安全性要求レベル(ASIL)のASIL Dにおいて、これらの危険なイベントから保護する必要があることを示唆する。システムが、十分に高い安全性要求レベルでこれら及び他のそのような危険なイベントから保護することができることを確実にするために、上述の機能構成要素のいずれかを含むか又はそれに依拠する任意のシステム、サービス、又はプロセスは、最も厳しいASIL D準拠に関して確認及び検証される必要があり、これは、著しい開発労力及びコストを必要とし得る。
したがって、様々な実施例による手法は、作り出される結果の安全準拠を確実にしながら、安全と性能の両方についてコンカレントに最適化することを試みることができる。少なくとも1つの実施例では、ADSの経路検出モジュールが、設計におけるフレキシビリティ及びロバストネスの改善を提供すると同時に、開発、確認、及び検証の労力のために必要とされる労力の量を著しく低減することができる、ASIL D準拠などの安全準拠を提供することができる。そのようなシステムは、経路検出ソースの融合、並びにシステムによって作り出された融合経路の安全(たとえば、ASIL D)監視を提供することができる。そのようなシステムは、高い利用可能性を提供しながら、ローカリゼーションとライブ経路認知との異なる組合せ間のランタイム切替えを提供することができる。そのようなシステムは、デッド・レコニングなどのプロセスに少なくとも部分的に基づく、融合ローカリゼーションと融合経路との伝搬融合(propagated fusion)をも提供することができる。車両が現在の時間において車線マーカーを検出することができないが、それらのマーカーが前に検出され、それらのマーカーについての情報が記憶された場合、車両は、それのスピード及び方位に関する情報を、たとえば、スピード及び環境などのファクタに応じて数秒などの少なくとも時間期間の間認知データを推論するためにその履歴データとともに、使用することができる。
図2Aは、様々な実施例による、自動又は半自動システム、デバイス、又はプロセスとともに使用され得る例示的な経路検出機能安全アーキテクチャの概観200を示す。そのようなアーキテクチャは、自動安全システムが、SAEレベル3以上のADSを達成することを可能にすることができる。示されるように、そのようなアーキテクチャの構成要素は、ASIL D(最高程度の自動車危険回避)、ASIL B(D)(より低い程度)、及びQM(D)準拠を提供することができ、品質管理(QM:quality management)準拠は、安全要件を規定しない危険を表す。上述のように、そのようなシステムが、ひどい事故又は負傷につながり得る、車両が道路から外れることを引き起こす経路など、正しくない又は安全でない経路についての情報を、車両のコントローラに送出することを回避することが、重要であり得る。したがって、そのような経路決定システムは、経路についての情報が送出されることが、ASIL Dに準拠している経路データなど、安全完全性(safety integrity)を提供することを確実にするべきである。ASIL Dシステムにおける正しくない経路に直接つながる単一点障害を回避するために、単一の構成要素の故障が危険な挙動又は正しくない動作につながるべきでないようにシステムレベル冗長が採用されていることがある。
図2Aに示されているものなどのアーキテクチャは、監視すべき独立して及び多様に生成された車線グラフを利用し、運転のために使用される各最終車線グラフが、ASIL D保証をもつなど、安全であることを確実にすることができる。少なくとも1つの実施例では、車線グラフは、HDマップ、或いは車両上の1つ又は複数のカメラ又はライダー・ソースなどのライブ車線認知ソースからのデータを提供するか又は利用する、認知データ・ソース212など、様々なモジュールに基づいて独立して生成され得る。少なくとも1つの実施例では、組み合わせられたデータを使用して生成された車線グラフ、或いは「組み合わせられた」又は「融合」車線グラフが、少なくとも許容できる許容差又は変動内で、ライブ車線認知と対応するマップ・データの両方に関して一致することを確実にすることによって、ADSについてのASIL D要件が達成され得る。これは、たとえば、ASIL Dが、ISO26262に従って、スプリットされ、車線グラフ比較器216のセットのうちの認知車線グラフ比較器及びマップ車線グラフ比較器のためにASIL B(D)として割り振られる、独立した構成要素のペア間のASILデコンポジション方式と呼ばれることがある。
そのようなシステムは、ランタイムにおいて、最終出力がASIL D完全性などの完全性を有することを確実にするために異なる多様なモジュール間で、それらのモジュールの利用可能性に少なくとも部分的に依存して、切り替えることができる。そのようなシステムは、最終出力が安全要件及び他の関係する要件を満たしたことを確かめるために少なくとも2つの多様なモジュールが利用可能でない限り継続的な安全な動作を確実にすることができないことがあるので、ランタイムにおいて切り替えるアビリティは、システム利用可能性の増加を含む利益を提供する。組み合わせられた経路がたとえばASIL D完全性で正しいかどうかを経路決定システムが検出することができることが、安全のために常に十分であるとは限らない。ドライバがバックアップとして使用され得ないいくつかの場合には、そのようなシステムは、安全なロケーションにおいて車両が停止されることなど、システムが安全な状態に達するまで、システムが正しい経路を作り出し続けることができることを保証するべきである。少なくとも1つの実施例では、比較的単純及び軽量である1つ又は複数のソフトウェア構成要素が使用され得、これは、少なくとも、より低い安全完全性及びより高いレイテンシを提供し得るより複雑なソフトウェア構成要素に対して、利益を有する。
図2A中の高レベル・アーキテクチャ200は、2つの部分、すなわち、ローカリゼーションに関係する部分(図中の上側)と車線グラフ生成に関係する部分(図中の下側)とに分離される。これらの部分は、それぞれ、図2B及び図2Cにより詳細に示されている。ローカリゼーションは、利用可能で信頼できる情報に基づいて、道路上など、環境における(車両又はロボットなどの)物体の少なくとも現在ロケーションを決定することを伴うことができる。この実例では、他のオプションの中でも、カメラ(たとえば、フロント・ワイド・カメラ)及びレーダー・センサなど、複数のローカリゼーション・データ・ソース202があり得る。これらのソースの各々からのデータは、カメラ・ベース・ローカリゼーション決定及びレーダー・ベース・ローカリゼーション決定など、それぞれのローカリゼーション決定を生成するために使用され得、各決定は、それぞれの決定を行う目的で、キャプチャされた画像又はセンサ・データを分析することを伴うことができる。この実例では、これらの別個の決定は、ローカリゼーション融合構成要素204に渡され得、ローカリゼーション融合構成要素204は、利用可能な個々のローカリゼーション決定、少なくとも、少なくとも最小信頼性を伴って生成されるローカリゼーション決定に少なくとも部分的に基づいて、「組み合わせられた」又は「融合」ローカリゼーション決定を生成することができる。他のオプションの中でも、重み付き又は空間平均、利用可能な入力に基づいて最適値を推論するためのニューラル・ネットワーク、或いは複雑な融合機能に関係し得るような、様々なアルゴリズム又は手法が、これらの決定を組み合わせるために使用され得る。重み付けが使用される場合、これらは、個々の決定における相対信頼性値に少なくとも部分的に基づき得る。上述のように、カメラ又はセンサのビューの少なくとも一部分が信頼できなくなることを引き起こし得る妨害又は他のインシデントがあり得るので、異なるサブシステム又はソースからのデータを組み合わせるか又は融合させることが、有益であり得、そのデータは、そのカメラ又はセンサから取得された信頼できるデータを保持しながら、別のソースから確実に決定されるか又は埋められることが可能であり得る。その単一のシステムのみを使用することは、ビューの一部分が妨害される場合、十分な信頼性を伴って信頼できる決定が行われることができないことがあるので、問題を引き起こし得る。
個々のローカリゼーション決定と融合決定とを比較する1つ又は複数のローカリゼーション比較器206が使用され得る。本明細書で後でより詳細に説明されるように、これらの比較器は、衛星ベース・システムなど、他のシステムからのローカリゼーション決定など、追加の入力をも利用することができる。衛星システムの使用は、車両上で問題が発生し、車両が道路の脇に安全に寄って停止する必要があり、このタスクを実施するために衛星データに基づいて経路が生成され得る場合などの状況において有益であり得る。衛星システムは、個々の車両に関する問題の影響を受けないことがあり、追加の信頼できる入力を提供するために利用可能な追加のセンサ及び処理を有し得る。ローカリゼーション比較器によって作り出された結果は、ローカリゼーション信頼性モニタ208への入力として提供され得、ローカリゼーション信頼性モニタ208は、少なくとも融合ローカリゼーション・データについてのローカリゼーション信頼性値を継続的に決定210することができる。これは、十分な一致(agreement)があるかどうかを決定するために、各時点における融合ローカリゼーション決定を個々のローカリゼーション決定と比較することを伴うことができる。融合ローカリゼーションがASIL Dの個々のローカリゼーション決定に関して一致する場合、融合ローカリゼーション・データは、使用され、ASIL D(又は他のそのような要件)に準拠していることも確認され得る。
上述のように、ビューが不明瞭にされた、センサが飽和した、又は出来事がデータの信頼性に影響を及ぼすときなど、個々のセンサ又はソースが正確なローカリゼーション決定を提供することが可能でないことがあるときがあり得る。そのような事例では、ローカリゼーション・データの信頼性は、低いか、或いは、少なくとも、関連する安全規格又は要件によって必要とされるものよりも低くなり得る。図2Aに示されているものなどのアーキテクチャ200では、一致外であるソースが少なくともその時点について無視されるか又は廃棄され得るように、複数のソースが、動的に比較されるか、組み合わせられるか、又はいくつかの異なる組合せのいずれかにおいて選択され得る。少なくとも1つの実施例では、これらのASIL D準拠ソースのうちの少なくとも2つが、それらのソースのうちの1つからの使用されることになるそれぞれのローカリゼーション決定について一致することで、十分である。さらに、それらのソースのうちの少なくとも2つが融合ローカリゼーション決定に関して一致する場合、融合ローカリゼーション決定は利用され得る。上述のように、それぞれの比較を行うために1つ又は複数の比較器206が使用され得、これらの比較の結果は、どのローカリゼーション決定が信頼でき、使用されるべきであるかを決定するためにモニタ208によって分析され得る。最小1つの実施例では、これらの比較器206は、それらが、たとえば、許容範囲又はしきい値内で2つ又はそれ以上の入力が一致するかどうかを投票するので、投票器と見なされ得る。それぞれのモニタは、次いで、これらの投票器の結果を分析することができ、少なくとも2つの投票器が、融合ローカリゼーション決定が信頼できることに関して一致した場合、融合ローカリゼーション決定は利用され得る。この実例では、信頼性又は健全性決定210は、システムが適切に動作していることを確実にするためになど、検討のために提供され得る。健全性決定210と融合(又は個々の)ローカリゼーション決定とはまた、そのローカリゼーション決定に少なくとも部分的に基づいて適切な車線グラフを決定する目的で、HDマッピング・ソースなど、1つ又は複数の認知データ・ソースへの入力として提供され得る。
このアーキテクチャ200の車線グラフ部分は、ローカリゼーション部分といくぶん同様に動作する。1つ又は複数のHD車線グラフ・マップ、及びカメラ又はLIDARなどの1つ又は複数の認知ソースを含み得るような、1つ又は複数の認知データ・ソース212が利用され、1つ又は複数の認知ソースは、車線グラフのライブ又はリアルタイム決定を行うことを試みるために分析され得るデータを生成することができ、車線グラフのライブ又はリアルタイム決定は、このライブ認知データ、或いは、車両上の(又は車両に関連に関連付けられた)サブシステムが画像又はセンサ・データなどの利用可能な情報に基づいて適切な車線グラフであると認知するものに基づく。これらの提案される車線グラフは、車線グラフ融合モジュール214に提供され得、車線グラフ融合モジュール214は、これらの個々の車線グラフ決定(又は予測)を融合させるか又は組み合わせることに少なくとも部分的に基づいて融合又は組み合わせられた車線グラフ決定を生成することができる。比較器216のセットはまた、これらの個々の及び融合車線グラフを比較して、それらが十分に一致しているかどうかを決定することができる。これらの比較の結果は車線グラフ信頼性モニタ218に提供され得、車線グラフ信頼性モニタ218は、融合車線グラフ決定が、十分な信頼性を伴うこれらの個々の決定のうちの2つ又はそれ以上に関して一致するかどうかを決定することができ、少なくとも融合車線グラフに対する信頼性の決定220を出力することができる。融合決定に対する信頼性が、少なくとも、最小信頼性しきい値又は値を満たすなど、十分に高い場合、融合車線グラフ222は、たとえば、車両をナビゲートする際に使用するための制御システムに提供され得る。融合車線グラフに対する信頼性が十分に高くない場合、最高信頼性又は健全性スコアをもつ個々の車線グラフを選択することなどによって、継続的な安全な動作を提供するために、個々の又は他の融合ソースのうちの1つからの車線グラフが利用され得る。上述のように、個々の車線グラフを使用して動作することは、安全な動作を提供することができるが、性能の観点から最適でないことがある。
図2B及び図2Cは、この例示的なアーキテクチャ200の、それぞれ、ローカリゼーション決定部分230及び車線グラフ決定部分260のより詳細なビューを示す。図2Bでは、コーナー・レーダー232及びフロント・ワイド・カメラ236などのローカリゼーション・データ・ソースが、それぞれのローカリゼーション・モジュール234、238にデータを提供することができることが示され、ローカリゼーション・モジュール234、238は、融合ローカリゼーション決定を生成するためにローカリゼーション融合モジュール240に提供され得る個々のローカリゼーション決定を作り出すことができる。融合ローカリゼーション・データは、比較のために、それぞれの個々のローカリゼーション決定とともに、別個のカメラ・ローカリゼーション構成要素242及びレーダー・ローカリゼーション構成要素244に提供され得、これらは、ローカリゼーション信頼性(又は健全性)モニタ242に渡され得る。信頼性モニタは、それぞれの信頼性決定を生成することができる1次ローカリゼーション・モニタ244及び2次ローカリゼーション・モニタ246を含むことができ、信頼性決定は、単一のローカリゼーション信頼性値を生成するためにローカリゼーション・モニタによって分析され得る。少なくともいくつかの実施例では、これらの信頼性決定は、融合決定が信頼できるか否かを示すバイナリであり得る。信頼性は、少なくともいくつかの実施例では、しきい値に対する信頼性スコアを使用して決定され得る。この健全性情報は、伝搬ローカリゼーション・モジュールに渡され得、これは、後続の融合決定のためにローカリゼーション融合モジュールによって使用され得る。伝搬融合情報及び融合ローカリゼーション・データは、ローカリゼーション・アービタ246にも渡され得る。
図2Cでは、車線グラフ決定のためのアーキテクチャの部分260は、マップ車線グラフ262への、融合(又は個々の)ローカリゼーション決定及び信頼性値、又は健全性決定を受信することが示され、マップ車線グラフ262は、この情報を、たとえば、現在のロケーション及び環境条件又は状態についての車線グラフを生成するために、HDマップ・データとともに使用することができる。フロント・ワイド・カメラなど、1つ又は複数の構成要素は、キャプチャされた画像又はビデオ・データ中の車線マーカー及び車両などの物体を認識することに少なくとも部分的に基づいて車線グラフを生成するために車線認知グラフ構成要素266によって利用され得る画像データを提供することができる。これらの個々の車線グラフ決定は、車線グラフ融合モジュール274に提供され得、車線グラフ融合モジュール274は、これらの、又は他の提供される個々の車線グラフ決定に少なくとも部分的に基づいて融合車線グラフ決定を生成することができる。融合車線グラフ決定と個々の車線グラフ決定とは、情報を比較し、その結果を車線グラフ健全性モニタに提供するための比較器268、270に提供され得、車線グラフ健全性モニタは、比較データを分析し、健全性又は信頼性決定をヒューズ車線グラフ・モニタ・モジュール又は構成要素284に提供するための1次モニタ278及び2次モニタ280を含むことができ、ヒューズ車線グラフ・モニタ・モジュール又は構成要素284は、融合車線グラフについての健全性又は信頼性データを決定し、出力することができ、それにより、システムは、融合車線グラフがすべての安全要件を満たすことなどを確実にすることができる。この健全性情報はまた、データを、後続の融合車線グラフ決定のために車線グラフ融合モジュール274に、並びに、融合車線グラフ・データが利用可能であり、信頼できるかどうかを決定するためにローカリゼーション・アービタ272に提供するために、伝搬融合車線グラフ構成要素に提供され、融合車線グラフ・データが利用可能でなく、信頼できない場合、個々の車線グラフ決定のうちの1つ又は複数が利用されるべきである。
示されているように、車線グラフ機能の正確さを改善するために、車線グラフ融合モジュール274は、互いに融合され得る、HDマップ・ベース車線グラフ・データ及び認知ベース車線グラフ・データなど、車線グラフ・データの異なるソースを利用することができる。この機能は、このアーキテクチャの少なくとも1つの実施例では、QM(D)と格付けされ得、考えられる最も正確な車線グラフ出力を達成し、維持するために、任意の適切な融合機能が利用され得る。ローカリゼーション融合モジュール240が同様の様式で動作することができ、ローカリゼーション機能が、ローカリゼーション機能のための最も良好な正確さを達成するために、レーダー・ベース・ローカリゼーション・ソース及びカメラ・ベース・ローカリゼーション・ソースなど、複数のローカリゼーション・ソースのQM(D)融合を提供することができる。融合車線グラフ及び融合ローカリゼーションのために必要とされるASIL D完全性を達成するために、融合車線グラフと融合ローカリゼーションとが、カメラ・ローカリゼーション及びレーダー・ローカリゼーションとともに、HDマップ・ベース車線グラフ及び認知ベース車線グラフなど、2つの独立した多様なASIL B(D)ソースと比較され得、その結果がASIL Dモニタに送出され、ASIL Dモニタは2つの比較のステータスをチェックする。したがって、例示的なデコンポジション方式が、以下によって与えられ得る。
ASIL D → ASIL B(D) + ASIL B(D)
融合ローカリゼーション カメラ・ローカリゼーション比較器 レーダー・ローカリゼーション比較器
ASIL D → ASIL B(D) + ASIL B(D)
融合車線グラフ HDマップ・ベース車線グラフ 認知ベース車線グラフ
ASIL Dモニタ242、276は、ASIL D準拠車線グラフ又はローカリゼーション決定を確実にすることが可能であるように、両方の比較器が同時に有効であることを確実にするための、車線グラフ比較器入力又はローカリゼーション比較器入力に対する単純なチェックを提供する。
ASIL D → ASIL B(D) + ASIL B(D)
融合ローカリゼーション カメラ・ローカリゼーション比較器 レーダー・ローカリゼーション比較器
ASIL D → ASIL B(D) + ASIL B(D)
融合車線グラフ HDマップ・ベース車線グラフ 認知ベース車線グラフ
ASIL Dモニタ242、276は、ASIL D準拠車線グラフ又はローカリゼーション決定を確実にすることが可能であるように、両方の比較器が同時に有効であることを確実にするための、車線グラフ比較器入力又はローカリゼーション比較器入力に対する単純なチェックを提供する。
複雑な動的運転タスクを実施するADSシステムの最も重要な側面のうちの1つは、故障の場合のシステムの利用可能性である。SAE自動化レベル3~5で格付けされたADSシステムの場合、システムは、故障が検出され得、システムが、依然として正しく機能している他の利用可能な構成要素及び信号とともに動作し続けることができるように、設計されるべきである。伝搬融合車線グラフ構成要素282が、たとえば、認知車線グラフ比較器とマップ車線グラフ比較器の両方のチェックをパスした融合車線グラフの最後の良好な値に基づいて、道路上の車線ラインの表現を生成することができる。このモジュールは、融合車線グラフの最後の良好な値をとり、たとえば、相対エゴ・モーション(ego motion)(たとえば、車両の方向、スピード、及び加速/減速)を使用して、自車両(ego vehicle)の周りの新しい車線ラインを推定することができる。そのような手法は、現在のデータが十分に信頼できないことがあるとき、それが履歴データに少なくとも部分的に依拠するので、いくつかの実施例では、デッド・レコニングと呼ばれることがある。伝搬融合車線グラフ・モジュール282は、この実施例では、ASIL Dに準拠しており、独立して車線ラインを生成することができる。少なくともいくつかの実施例では、この伝搬融合車線グラフは、少なくとも部分的に、エラー累積のエゴ・モーション性質により、限られた時間期間の間のみ正確である。同様に、伝搬融合ローカリゼーション・モジュール248は、たとえば、カメラ・ローカリゼーション比較器とレーダー・ローカリゼーション比較器の両方のチェックをパスした融合ローカリゼーションの最後の良好な値に少なくとも部分的に基づいて、自車両の精密な6自由度(DOF:degrees-of-freedom)位置及び向きを生成することができる。モジュールは、融合ローカリゼーションの最後の良好な値をとり、相対エゴ・モーションを使用して、自車両の新しい6DOF位置及び向きを推定する。このモジュールも、ASIL Dに準拠しており、独立して6DOFローカリゼーション値を生成することができる。この伝搬ローカリゼーションも、少なくとも部分的に、エラー累積のエゴ・モーション性質により、限られた時間期間の間のみ正確であり得る。したがって、ASIL D保証付き車線グラフを変換し、限られた時間期間の間、利用可能なモニタなしにASIL D完全性を維持するために、デッド・レコニングが使用され得る。
ローカリゼーション融合と車線グラフ融合の両方のための伝搬融合は、システムの利用可能性をさらに改善するために、異なる変形態間のランタイム切替えと組み合わせて使用され得る。たとえば、システムが、レーダー・ベース・ローカリゼーション及びカメラ・ベース経路認知に関して稼働しており、カメラ・ベース経路認知が数秒間失われた場合、システムは、しばらくの間、伝搬融合車線グラフ上でこの変形態を続け、その後、カメラ・ベース及びレーダー・ベース・ローカリゼーション変形態に切り替えることができる。
この実例では、ローカリゼーション・アービタ246は、融合ローカリゼーション・データがいつ利用可能でない又は十分に信頼できないかを決定することができ、このデータを比較器及び信頼性モニタに提供することができ、それにより、システムは、少なくとも時間インスタンス又は時間期間の間、融合ローカリゼーション決定ではなく、個々のローカリゼーション決定を使用して動作することを決定することができる。アーキテクチャは、ローカリゼーション・ソースと車線グラフ・ソースとの融合がQM(D)において起こることを可能にする。これは、信号が比較器のテストをパスするのに十分に正確でないとき、運転のために融合機能が利用可能でないことを生じることがある。アービタは、融合信号が利用可能でないとき、ASIL B(D)ローカリゼーション及び車線グラフ信号を通ることができる。そのような手法をとる場合、比較器が、届く入力を独立してチェックし、ASIL Dモニタが、依然として、2つの独立したASIL B(D)値をチェックするので、ASIL D出力は、依然として成り立つ。
少なくとも1つの実施例では、ローカリゼーションとライブ経路認知との異なる組合せの間で動的に切り替えることが可能であることが、さらに有益であり得る。図3は、そのような動的切替えを提供することができる例示的なアーキテクチャ300を示す。これは、たとえば、ローカリゼーション及びライブ経路認知の代わりに、2つのローカリゼーション決定間のランタイム切替えを含むことができる。この例示的なアーキテクチャでは、マップ・ベース車線グラフはASIL D構成要素として働き、前のアーキテクチャについて説明された同じASIL Dデコンポジション引数が、ローカリゼーションのために使用され得る。ライブ認知/ローカリゼーション車線グラフ及びローカリゼーションのみの車線グラフ間のこのランタイム切替えは、かなりの量のフレキシビリティを提供することができ、利用可能性を著しく改善することができる。カメラ・ローカリゼーション及びレーダー・ローカリゼーションなど、ローカリゼーションの2つの独立したソースに基づく、マップ・ベース車線グラフ、並びに、カメラ車線認知及びLIDAR車線認知など、ライブ認知の2つの独立したソースに基づく、ライブ認知ベース車線グラフについてなど、他のタイプの動的切替えも可能である。マップ・ベース車線グラフ及びライブ認知ベース車線グラフについて、他の動的切替えが実施され得る。
図3のアーキテクチャ300は、図3中のアーキテクチャの上部分において表される車両中のメイン電子制御ユニット(ECU)、及び下部分において表される衛星ベースECUなど、少なくとも2つのECU間の動的切替えをも可能にする。示されているように、各ECUは、それぞれのローカリゼーション・データ302、320をとり、融合構成要素304、322を使用して融合ローカリゼーションを生成し、比較器306、324を使用して融合ローカリゼーションと個々のローカリゼーションとを比較し、その情報をローカリゼーション信頼性モニタ308に提供するための、同様の構成要素を含むことができる。この実例では、衛星ECUからのローカリゼーション・データの少なくとも一部が、メインECUの比較器306への入力として提供され得、これは、追加のローカリゼーション決定の間の一致を決定するのを助けることができる。示されているように、各ECUは、ローカリゼーション決定をとり、それを、マップ車線グラフ・モジュール312、328とともに使用することができ、それぞれの融合モジュール316、332を使用して融合車線グラフを決定するために1つ又は複数の認知データ・ソース310、330からのデータを使用することができ、融合車線グラフは、それぞれの車線グラフ信頼性モニタ318、336によって信頼性決定を行わせるためにそれぞれの比較器314、334によって個々の車線グラフと比較され得る。これらの車線グラフについての信頼性値は、どの車線グラフを利用すべきかを決定するために使用され得る。少なくともいくつかの実施例では、メインECUからの車線グラフは、それが十分な信頼性を提供しないのでない限り利用され、メインECUからの車線グラフが十分な信頼性を提供しない場合、衛星ECUからの車線グラフ決定が利用され得る。2つのECUにわたって機能構成要素を拡散することは、ECUにわたってローカリゼーション及び経路検出信号を通すことによって通常動作における利用可能性をなお一層改善することができ、これは、ECUのうちの1つの劣化した動作又は損失を補償することができる。
いくつかの状況では、少なくとも部分的に、環境における位置により、少なくともいくらかの量の切替えを実施することが望ましいことがある。たとえば、車両が極めてはっきりした車線マーカーをもつハイウェイ上で運転している場合、ライブ車線認知は、極めて正確な車線グラフを作り出し得る。しかしながら、車両が、どのように進むべきかに関するはっきりしたマーカーがない大きい交差点にいる場合があり得る。そのような状況では、ライブ車線認知は、信頼できる車線グラフを提供することが可能でないことがあるが、マップ・ベース車線グラフは十分に信頼できることがある。その場合、旅行中に、道路のみの条件、状態、又はタイプに基づいて安全に運転し続けるために、ライブ車線認知モードとローカリゼーション・モードとの間で複数回切り替えることが可能である。
安全を確実にするために極めて迅速に判定が行われる必要がある自律車両の場合、これらの構成要素の多く及びこの処理の大部分が、レイテンシ及び接続性の問題を回避するために、車両自体の上で行われ得る。したがって、車両は、この処理の少なくとも一部を実施するために1つ又は複数のプロセッサ(たとえば、CPU又はGPU)を有し得る。マップ・データの更新など、タイム・クリティカルでないことがあるこの機能性の部分が、他のオプションの中でも、リモート・サーバによって又はクラウドにおいて実施され得る。自律車両の場合、経路決定はミリ秒のオーダーで行われる必要があり得、したがって、融合プロセスが遅れるか又は時間期間の間少なくとも同じ時間スケールに関して結果を生成することができない場合に依拠され得る迅速で単純化した様式で、少なくとも独立した決定モジュールに結果を作り出させることが望ましい。
図4は、様々な実施例による、利用され得る、車線グラフなど、ナビゲーション経路を決定するための例示的なプロセス400を示す。本明細書で説明されるこの及び他のプロセスについて、別段に明記されない限り、様々な実施例の範囲内で、同様の又は代替の順序で、或いは少なくとも部分的に並列に実施される、追加の、より少数の、又は代替のステップがあり得ることを理解されたい。さらに、この実例は所与の車線内で動作する自律車両に関して説明されるが、他のタイプの安全準拠経路又はグラフが、様々な実施例による他の自律又は半自律車両、デバイス、ロボット、プロセス、或いはシステムのために決定され得ることを理解されたい。
この実例では、402において、少なくとも2つの独立した信用できるソースからローカリゼーション・データが取得される。これは、たとえば、様々なカメラ又はセンサを使用して画像又はセンサ・データをキャプチャすることと、データのそれぞれのタイプに基づいて、独立したローカリゼーション決定を行うこととを含むことができる。信用できるデータは、この実例では、安全に関係し得るような、1つ又は複数の規制又は要件に準拠すると決定されたシステム又はプロセスから取得され、少なくとも最小レベルの信頼性を伴って決定されるデータを指すことがある。404において、これらの独立した信用できるソースからの独立したローカリゼーション決定に少なくとも部分的に基づいて、融合ローカリゼーション決定が生成され得る。上述のように、融合決定は、信頼性及び利用可能性などのファクタに少なくとも部分的に基づき得るように、これらの個々の決定の任意の組合せ又はサブセットに基づいて行われ得る。406において、少なくとも独立した決定と融合ローカリゼーション決定との間の一致を決定するために、融合ローカリゼーション決定と個々のローカリゼーション決定とが1つ又は複数の比較器に提供され得る。少なくとも1つの実施例では、各比較器は、それぞれの独立したローカリゼーション決定を融合決定と比較する。408において、融合ローカリゼーション決定に対する信頼性が少なくとも最小信頼性しきい値を満たすことに基づく、融合決定が使用されるべきであるか否かに関するバイナリ判定など、融合ローカリゼーション決定に対する信頼性又はその健全性を決定するために、これらの比較器の結果が利用され得、融合ローカリゼーション決定に対する信頼性が少なくとも最小信頼性しきい値を満たさない場合、異なるローカリゼーション決定が使用のために選択されるべきである。
410において、独立した車線グラフを生成するために、少なくとも2つの独立した信用できるソースからのライブ認知データとともに、融合ローカリゼーション決定、又は融合決定が信頼性情報の健全性に従って選択されない場合は他のローカリゼーション決定が提供され得る。412において、これらの独立したソースからのこれらの個々の車線グラフに少なくとも部分的に基づいて、融合車線グラフが生成され得る。414において、融合車線グラフ決定と個々の車線グラフ決定とが、融合車線グラフと個々の車線グラフとの間の比較のために1つ又は複数の比較器に提供され得る。416において、(1つ又は複数の)比較器からの一致の数に少なくとも部分的に基づいて、融合車線グラフに対する信頼性が決定され得る。418において、融合車線グラフの信頼性又は健全性が少なくとも最小信頼性しきい値又は基準を満たすと決定された場合、420において、融合車線グラフは、それぞれの車両のナビゲーション又は動作のために、駆動ユニットなどの動作構成要素、或いは他のデバイス、システム、サービス、又はプロセスに提供され得る。融合線グラフに対する信頼性が少なくとも最小信頼性しきい値又は基準を満たさない場合、422において、ナビゲーション又は動作を提供するために代替車線グラフが選択され得、代替車線グラフは、他のオプションの中でも、個々の車線グラフのいずれか、或いは別のシステム又は制御ユニットからの融合車線グラフであり得る。
図5は、様々な実施例による、ローカリゼーション決定又は車線グラフ決定においてデッド・レコニングを利用することができる別の例示的なプロセス500を示す。この実例では、502において、少なくとも2つの独立した信用できるソースからライブ認知データが取得される。504において、これらの独立したソースの各々から受信されたライブ認知データは、そのデータが、1つ又は複数の安全規制又は要件の準拠を確実にするのに必要であり得るなど、少なくとも最小信頼性基準を満たすかどうかを決定するために、分析され得る。認知データが、時間期間の間これらの独立したソースのうちの1つから受信されない場合、そのソースは、不十分な信頼性を伴うこれらのソースのうちの1つと同様に扱われ得る。506において、これらの独立したソースのうちの少なくとも1つからの認知データが、対応する基準を満たさないと決定された場合、デッド・レコニング・プロセスが始動され得る。これは、580において、最近の融合及び/又は独立したローカリゼーション・データにアクセスすること、並びに、510において、車両の現在の動き(たとえば、エゴ・モーション)又は状態を決定することを伴うことができる。512において、最近のローカリゼーション・データ及び車両の動き又は状態に少なくとも部分的に基づいて、ローカリゼーション・データが少なくとも時間期間の間推論され得、推論は信頼できると決定される。これは、1つ又は複数の個々のローカリゼーション決定を推論すること、又は様々な実施例では融合ローカリゼーションを推論することを伴うことができる。代わりに、すべてのローカリゼーション・データがすべての関連する基準を満たすと決定された場合、514において、ライブ認知データを使用して個々のローカリゼーション決定が決定され得る。利用可能な3つ以上のローカリゼーション決定がある場合、516において、利用可能なローカリゼーション決定に少なくとも部分的に基づいて、融合ローカリゼーション決定が生成され得、この融合ローカリゼーション情報は、図4に関して説明されたものなどのプロセスを使用して、安全準拠について分析され得る。推論されたローカリゼーション決定のみが利用可能である場合、それは、信頼できるデータが再び利用可能になるまで、少なくとも、車両が安全に動作するか、又は安全なロケーションに移動することを可能にするために、経路決定のために利用され得る。
本明細書で提示される様々な手法は、スマート車両、ロボット、サーバ、パーソナル・コンピュータ、スマート車両、又は自動機器など、様々なタイプのデバイス又はシステム上でリアルタイムで実行するのに十分軽量である。そのような処理は、少なくとも1つのネットワークを介して受信されるセンサ又はマップ・データなど、そのデバイス又はシステム上でキャプチャ又は生成されたか、或いは外部ソースから受信されたデータを使用して実施され得る。ソースは、他のオプションの中でも、別個のクライアント・デバイス、デバイス管理システム、又はサード・パーティ・データ・プロバイダなど、任意の適切なソースであり得る。いくつかの事例では、このデータの処理及び/又は使用は、これらの他のデバイス、システム、又はエンティティのうちの1つによって実施され、次いで、使用のために車両(又は別のそのような受信側)に提供され得る。
一実例として、図6は、データを提供、生成、修正、符号化、及び/又は送信するために使用され得る例示的なネットワーク構成600を示す。少なくとも1つの実施例では、車両602、或いは他の自動又は半自動デバイス又はシステムが、車両602上の状態監視アプリケーション604の構成要素と、その車両にローカルに記憶されたデータとを使用して、データを生成するか又は受信することができる。少なくとも1つの実施例では、データ又はコンテンツ・サーバ620(たとえば、クラウド・サーバ又はエッジ・サーバ)上で実行している車両監視アプリケーション624が、セッション・マネージャと車両データベース634に記憶されたユーザ・データとを利用し得るような、少なくとも車両602に関連付けられたセッションを始動し得、経路、ローカリゼーション、又は動作に関係するコンテンツが、データ・マネージャ626によって決定されるか又は管理されることを引き起こすことができる。経路生成モジュール628が、他のオプションの中でも、マップ・データベース632にローカルに記憶されるか、サード・パーティ・サービス660から受信されるか、又は衛星670から受信され得る情報を使用して、マップ、経路、又はローカリゼーション・データを車両602に提供するために、様々なソースからのデータを利用することを試み得る。1つ又は複数の安全要件への、このデータの準拠が、安全モジュール630を使用して決定され得る。少なくともいくつかの実施例では、このデータは、車両602上で決定されたデータに関して、少なくとも冗長であることを意図し得る。このデータの少なくとも一部分が、ダウンロード、ストリーミング、又は別のそのような送信チャネルによって送出するために、適切な送信マネージャ622を使用して車両602に送信され得る。車両602に送信する前にこのデータを符号化及び/又は圧縮するために、エンコーダが使用され得る。少なくとも1つの実施例では、このデータを受信した車両602は、このデータを対応する状態モニタ604に提供することができ、状態モニタ604は、車両602に受信されたか又は車両602によってキャプチャされたデータを分析し、車両が決定された経路に沿ってナビゲートすることを引き起こし得るなど、車両のための制御システム606に提供すべき適切な動作命令又は決定を生成するか又は選択するための、経路生成器608及び安全準拠モジュール6104を、同じく(又は代替的に)含み得る。(1つ又は複数の)ネットワーク640を介して受信されたデータを適宜に復号するために、デコーダも使用され得る。少なくとも1つの実施例では、このデータの少なくとも一部(たとえば、マップ・データ又は履歴認知データ)がすでに、そのデータが前にダウンロードされたか或いはハード・ドライブ又は光ディスクにローカルに記憶されていることがある場合など、ネットワーク640を介した送信がデータの少なくともその部分のために必要とされないように、車両602に記憶されるか、車両602上で生成されるか、又は車両602にとってアクセス可能であり得る。少なくとも1つの実施例では、このデータをサーバ620から転送するために、データ・ストリーミングなどの送信機構が使用され得る。少なくとも1つの実施例では、このデータの少なくとも一部分は、関連する決定を行うための機能性をも含み得る別個のクライアント・デバイス650又はサード・パーティ・サービス660など、別のソースから取得、決定、又はストリーミングされ得る。少なくとも1つの実施例では、この機能性の部分は、複数のコンピューティング・デバイスを使用して、又は、CPUとGPUとの組合せを含み得るものなど、1つ又は複数のコンピューティング・デバイス内の複数のプロセッサを使用して、実施され得る。
この実例では、デバイスは、車両、ロボット、自動システム、デスクトップ・コンピュータ、ノートブック・コンピュータ、セット・トップ・ボックス、ストリーミング・デバイス、ゲーミング・コンソール、スマートフォン、タブレット・コンピュータ、スマート車両、ロボット支援機械、VRヘッドセット、ARゴーグル、ウェアラブル・コンピュータ、又はスマート・テレビジョンを含み得るような、算出又は検知能力をもつ任意の適切なデバイスを含むことができる。各デバイスは、他のオプションの中でも、インターネット、イーサネット、ローカル・エリア・ネットワーク(LAN:local area network)、又はセルラー・ネットワークを含み得るような、少なくとも1つのワイヤード又はワイヤレス・ネットワークにわたって要求を送信及び受信することが可能であり得る。この実例では、これらの要求は、データ・センタ又はサーバ・ファームを含み得るものなど、クラウド・プロバイダ環境における1つ又は複数の電子リソースを動作させるか又は制御し得る、クラウド・プロバイダに関連付けられたアドレスにサブミットされるか、又はそのアドレスから受信され得る。少なくとも1つの実施例では、要求は、ネットワーク・エッジ上に位置し、クラウド・プロバイダ環境に関連付けられた少なくとも1つのセキュリティ層の外側にある、少なくとも1つのエッジ・サーバによって受信されるか又は処理され得る。このようにして、クライアント・デバイスが、より近接しているサーバと対話することを可能にしながら、クラウド・プロバイダ環境におけるリソースのセキュリティをも改善することによって、レイテンシが低減され得る。
少なくとも1つの実施例では、そのようなシステムは、自動化動作のために使用され得る。他の実施例では、そのようなシステムは、自律機械アプリケーションをテスト又は検証するために画像又はビデオ・コンテンツを提供するために、或いは深層学習動作を実施するためになど、他の目的のために使用され得る。少なくとも1つの実施例では、そのようなシステムは、エッジ・デバイスを使用して実装され得るか、又は、1つ又は複数の仮想機械(VM:Virtual Machine)を組み込み得る。少なくとも1つの実施例では、そのようなシステムは、少なくとも部分的にデータ・センタにおいて、又は少なくとも部分的にクラウド・コンピューティング・リソースを使用して、実装され得る。
推論及び訓練論理
図7Aは、1つ又は複数の実施例に関連付けられた推論及び/又は訓練動作を実施するために使用される推論及び/又は訓練論理715を示す。推論及び/又は訓練論理715に関する詳細は、図7A及び/又は図7Bと併せて以下で提供される。
図7Aは、1つ又は複数の実施例に関連付けられた推論及び/又は訓練動作を実施するために使用される推論及び/又は訓練論理715を示す。推論及び/又は訓練論理715に関する詳細は、図7A及び/又は図7Bと併せて以下で提供される。
少なくとも1つの実施例では、推論及び/又は訓練論理715は、限定はしないが、1つ又は複数の実施例の態様において推論するために訓練及び/又は使用されるニューラル・ネットワークのニューロン又は層を構成するための順方向及び/若しくは出力の重み及び/又は入力/出力データ、並びに/或いは他のパラメータを記憶するためのコード及び/又はデータ・ストレージ701を含み得る。少なくとも1つの実施例では、訓練論理715は、タイミング及び/又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び/又はデータ・ストレージ701を含むか、又はそれに結合され得、コード及び/又はデータ・ストレージ701において、整数及び/又は浮動小数点ユニット(総称して、算術論理ユニット(ALU:arithmetic logic unit)を含む論理を構成するために、重み及び/又は他のパラメータ情報がロードされるべきである。少なくとも1つの実施例では、グラフ・コードなどのコードは、コードが対応するニューラル・ネットワークのアーキテクチャに基づいて、重み又は他のパラメータ情報をプロセッサALUにロードする。少なくとも1つの実施例では、コード及び/又はデータ・ストレージ701は、1つ又は複数の実施例の態様を使用する訓練及び/又は推論中の入力/出力データ及び/又は重みパラメータの順方向伝搬中に1つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び/又は入力/出力データを記憶する。少なくとも1つの実施例では、コード及び/又はデータ・ストレージ701の任意の部分は、プロセッサのL1、L2、又はL3キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。
少なくとも1つの実施例では、コード及び/又はデータ・ストレージ701の任意の部分は、1つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路の内部又は外部にあり得る。少なくとも1つの実施例では、コード及び/又はコード及び/又はデータ・ストレージ701は、キャッシュ・メモリ、動的なランダムにアドレス指定可能なメモリ(「DRAM」:dynamic randomly addressable memory)、静的なランダムにアドレス指定可能なメモリ(「SRAM」:static randomly addressable memory)、不揮発性メモリ(たとえば、フラッシュ・メモリ)、又は他のストレージであり得る。少なくとも1つの実施例では、コード及び/又はコード及び/又はデータ・ストレージ701が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、DRAM、SRAM、フラッシュ又は何らかの他のストレージ・タイプからなるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び/又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び/又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。
少なくとも1つの実施例では、推論及び/又は訓練論理715は、限定はしないが、1つ又は複数の実施例の態様において推論するために訓練及び/又は使用されるニューラル・ネットワークのニューロン又は層に対応する逆方向及び/若しくは出力の重み及び/又は入力/出力データを記憶するためのコード及び/又はデータ・ストレージ705を含み得る。少なくとも1つの実施例では、コード及び/又はデータ・ストレージ705は、1つ又は複数の実施例の態様を使用する訓練及び/又は推論中の入力/出力データ及び/又は重みパラメータの逆方向伝搬中に1つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び/又は入力/出力データを記憶する。少なくとも1つの実施例では、訓練論理715は、タイミング及び/又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び/又はデータ・ストレージ705を含むか、又はそれに結合され得、コード及び/又はデータ・ストレージ705において、整数及び/又は浮動小数点ユニット(総称して、算術論理ユニット(ALU)を含む論理を構成するために、重み及び/又は他のパラメータ情報がロードされるべきである。少なくとも1つの実施例では、グラフ・コードなどのコードは、コードが対応するニューラル・ネットワークのアーキテクチャに基づいて、重み又は他のパラメータ情報をプロセッサALUにロードする。少なくとも1つの実施例では、コード及び/又はデータ・ストレージ705の任意の部分は、プロセッサのL1、L2、又はL3キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。少なくとも1つの実施例では、コード及び/又はデータ・ストレージ705の任意の部分は、1つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路の内部又は外部にあり得る。少なくとも1つの実施例では、コード及び/又はデータ・ストレージ705は、キャッシュ・メモリ、DRAM、SRAM、不揮発性メモリ(たとえば、フラッシュ・メモリ)、又は他のストレージであり得る。少なくとも1つの実施例では、コード及び/又はデータ・ストレージ705が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、DRAM、SRAM、フラッシュ又は何らかの他のストレージ・タイプからなるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び/又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び/又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。
少なくとも1つの実施例では、コード及び/又はデータ・ストレージ701と、コード及び/又はデータ・ストレージ705とは、別個のストレージ構造であり得る。少なくとも1つの実施例では、コード及び/又はデータ・ストレージ701と、コード及び/又はデータ・ストレージ705とは、同じストレージ構造であり得る。少なくとも1つの実施例では、コード及び/又はデータ・ストレージ701と、コード及び/又はデータ・ストレージ705とは、部分的に同じストレージ構造であり、部分的に別個のストレージ構造であり得る。少なくとも1つの実施例では、コード及び/又はデータ・ストレージ701並びにコード及び/又はデータ・ストレージ705の任意の部分は、プロセッサのL1、L2、又はL3キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。
少なくとも1つの実施例では、推論及び/又は訓練論理715は、限定はしないが、訓練及び/又は推論コード(たとえば、グラフ・コード)に少なくとも部分的に基づく、又はそれによって示される論理演算及び/又は数学演算を実施するための、整数及び/又は浮動小数点ユニットを含む、1つ又は複数の算術論理ユニット(「ALU」)710を含み得、その結果が、アクティブ化ストレージ720に記憶されるアクティブ化(たとえば、ニューラル・ネットワーク内の層又はニューロンからの出力値)を作り出し得、これらのアクティブ化は、コード及び/又はデータ・ストレージ701並びに/或いはコード及び/又はデータ・ストレージ705に記憶される入力/出力及び/又は重みパラメータ・データの関数である。少なくとも1つの実施例では、アクティブ化ストレージ720に記憶されるアクティブ化は、命令又は他のコードを実施したことに応答して(1つ又は複数の)ALU710によって実施される線形代数及び又は行列ベースの数学に従って生成され、コード及び/又はデータ・ストレージ705並びに/或いはコード及び/又はデータ・ストレージ701に記憶された重み値は、バイアス値、勾配情報、運動量値などの他の値、或いは他のパラメータ又はハイパーパラメータとともにオペランドとして使用され、これらのいずれか又はすべてが、コード及び/若しくはデータ・ストレージ705又はコード及び/若しくはデータ・ストレージ701、或いはオンチップ又はオフチップの別のストレージに記憶され得る。
少なくとも1つの実施例では、(1つ又は複数の)ALU710は、1つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路内に含まれるが、別の実施例では、(1つ又は複数の)ALU710は、それらを使用するプロセッサ或いは他のハードウェア論理デバイス又は回路(たとえば、コプロセッサ)の外部にあり得る。少なくとも1つの実施例では、ALU710は、プロセッサの実行ユニット内に含まれるか、或いはさもなければ、同じプロセッサ内にあるか又は異なるタイプの異なるプロセッサ(たとえば、中央処理ユニット、グラフィックス処理ユニット、固定機能ユニットなど)間で分散されているかのいずれかであるプロセッサの実行ユニットによってアクセス可能なALUのバンク内に含まれ得る。少なくとも1つの実施例では、コード及び/又はデータ・ストレージ701と、コード及び/又はデータ・ストレージ705と、アクティブ化ストレージ720とは、同じプロセッサ或いは他のハードウェア論理デバイス又は回路上にあり得るが、別の実施例では、それらは、異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路中にあるか、或いは、同じプロセッサ又は他のハードウェア論理デバイス若しくは回路と、異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路との何らかの組合せ中にあり得る。少なくとも1つの実施例では、アクティブ化ストレージ720の任意の部分は、プロセッサのL1、L2、又はL3キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。さらに、推論及び/又は訓練コードが、プロセッサ或いは他のハードウェア論理又は回路にアクセス可能な他のコードとともに記憶され、プロセッサのフェッチ、復号、スケジューリング、実行、退去(retirement)及び/又は他の論理回路を使用してフェッチ及び/又は処理され得る。
少なくとも1つの実施例では、アクティブ化ストレージ720は、キャッシュ・メモリ、DRAM、SRAM、不揮発性メモリ(たとえば、フラッシュ・メモリ)、又は他のストレージであり得る。少なくとも1つの実施例では、アクティブ化ストレージ720は、完全に又は部分的に、1つ又は複数のプロセッサ又は他の論理回路内にあるか、又はその外部にあり得る。少なくとも1つの実施例では、アクティブ化ストレージ720が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、DRAM、SRAM、フラッシュ又は何らかの他のストレージ・タイプからなるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び/又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び/又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。少なくとも1つの実施例では、図7aに示されている推論及び/又は訓練論理715は、GoogleからのTensorflow(登録商標)処理ユニット、Graphcore(商標)からの推論処理ユニット(IPU:inference processing unit)、又はIntel CorpからのNervana(登録商標)(たとえば、「Lake Crest」)プロセッサなど、特定用途向け集積回路(「ASIC」:application-specific integrated circuit)と併せて使用され得る。少なくとも1つの実施例では、図7aに示されている推論及び/又は訓練論理715は、中央処理ユニット(「CPU」:central processing unit)ハードウェア、グラフィックス処理ユニット(「GPU」)ハードウェア、又は、フィールド・プログラマブル・ゲート・アレイ(「FPGA」:field programmable gate array)などの他のハードウェアと併せて使用され得る。
図7bは、少なくとも1つ又は複数の実施例による、推論及び/又は訓練論理715を示す。少なくとも1つの実施例では、推論及び/又は訓練論理715は、限定はしないが、ハードウェア論理を含み得、このハードウェア論理において、算出リソース(computational resource)が専用であるか、或いはさもなければ、ニューラル・ネットワーク内のニューロンの1つ又は複数の層に対応する重み値又は他の情報と併せてのみ使用される。少なくとも1つの実施例では、図7Bに示されている推論及び/又は訓練論理715は、GoogleからのTensorflow(登録商標)処理ユニット、Graphcore(商標)からの推論処理ユニット(IPU)、又はIntel CorpからのNervana(登録商標)(たとえば、「Lake Crest」)プロセッサなど、特定用途向け集積回路(ASIC)と併せて使用され得る。少なくとも1つの実施例では、図7Bに示されている推論及び/又は訓練論理715は、中央処理ユニット(CPU)ハードウェア、グラフィックス処理ユニット(GPU)ハードウェア、又は、フィールド・プログラマブル・ゲート・アレイ(FPGA)などの他のハードウェアと併せて使用され得る。少なくとも1つの実施例では、推論及び/又は訓練論理715は、限定はしないが、コード及び/又はデータ・ストレージ701とコード及び/又はデータ・ストレージ705とを含み、それらは、コード(たとえば、グラフ・コード)、重み値、並びに/或いは、バイアス値、勾配情報、運動量値、及び/又は他のパラメータ若しくはハイパーパラメータ情報を含む他の情報を記憶するために使用され得る。図7Bに示されている少なくとも1つの実施例では、コード及び/又はデータ・ストレージ701並びにコード及び/又はデータ・ストレージ705の各々は、それぞれ、算出ハードウェア702及び算出ハードウェア706など、専用算出リソースに関連付けられる。少なくとも1つの実施例では、算出ハードウェア702及び算出ハードウェア706の各々は、線形代数関数などの数学関数を、それぞれコード及び/又はデータ・ストレージ701並びにコード及び/又はデータ・ストレージ705に記憶された情報に対してのみ実施する1つ又は複数のALUを備え、その結果が、アクティブ化ストレージ720に記憶される。
少なくとも1つの実施例では、コード及び/又はデータ・ストレージ701及び705の各々と、対応する算出ハードウェア702及び706とは、それぞれ、ニューラル・ネットワークの異なる層に対応し、それにより、コード及び/又はデータ・ストレージ701と算出ハードウェア702との1つの「ストレージ/算出ペア701/702」から生じたアクティブ化は、ニューラル・ネットワークの概念的組織化をミラーリングするために、コード及び/又はデータ・ストレージ705と算出ハードウェア706との「ストレージ/算出ペア705/706」への入力として提供される。少なくとも1つの実施例では、ストレージ/算出ペア701/702及び705/706の各々は、2つ以上のニューラル・ネットワーク層に対応し得る。少なくとも1つの実施例では、ストレージ算出ペア701/702及び705/706の後に、又はそれらと並列に、追加のストレージ/算出ペア(図示せず)が、推論及び/又は訓練論理715中に含められ得る。
データ・センタ
図8は、少なくとも1つの実施例が使用され得る例示的なデータ・センタ800を示す。少なくとも1つの実施例では、データ・センタ800は、データ・センタ・インフラストラクチャ層810と、フレームワーク層820と、ソフトウェア層830と、アプリケーション層840とを含む。
図8は、少なくとも1つの実施例が使用され得る例示的なデータ・センタ800を示す。少なくとも1つの実施例では、データ・センタ800は、データ・センタ・インフラストラクチャ層810と、フレームワーク層820と、ソフトウェア層830と、アプリケーション層840とを含む。
少なくとも1つの実施例では、図8に示されているように、データ・センタ・インフラストラクチャ層810は、リソース・オーケストレータ812と、グループ化されたコンピューティング・リソース814と、ノード・コンピューティング・リソース(「ノードC.R.」:node computing resource)816(1)~816(N)とを含み得、ここで、「N」は、任意のすべての正の整数を表す。少なくとも1つの実施例では、ノードC.R.816(1)~816(N)は、限定はしないが、任意の数の中央処理ユニット(「CPU」)又は(アクセラレータ、フィールド・プログラマブル・ゲート・アレイ(FPGA)、グラフィックス・プロセッサなどを含む)他のプロセッサ、メモリ・デバイス(たとえば、動的読取り専用メモリ)、ストレージ・デバイス(たとえば、ソリッド・ステート又はディスク・ドライブ)、ネットワーク入力/出力(「NW I/O」:network input/output)デバイス、ネットワーク・スイッチ、仮想機械(「VM」)、電力モジュール、及び冷却モジュールなどを含み得る。少なくとも1つの実施例では、ノードC.R.816(1)~816(N)の中からの1つ又は複数のノードC.R.は、上述のコンピューティング・リソースのうちの1つ又は複数を有するサーバであり得る。
少なくとも1つの実施例では、グループ化されたコンピューティング・リソース814は、1つ又は複数のラック(図示せず)内に格納されたノードC.R.の別個のグループ化、又は様々な地理的ロケーション(同じく図示せず)においてデータ・センタ中に格納された多くのラックを含み得る。グループ化されたコンピューティング・リソース814内のノードC.R.の別個のグループ化は、1つ又は複数のワークロードをサポートするように構成されるか又は割り振られ得る、グループ化されたコンピュート・リソース、ネットワーク・リソース、メモリ・リソース、又はストレージ・リソースを含み得る。少なくとも1つの実施例では、CPU又はプロセッサを含むいくつかのノードC.R.は、1つ又は複数のワークロードをサポートするためのコンピュート・リソースを提供するために1つ又は複数のラック内でグループ化され得る。少なくとも1つの実施例では、1つ又は複数のラックはまた、任意の数の電力モジュール、冷却モジュール、及びネットワーク・スイッチを、任意の組合せで含み得る。
少なくとも1つの実施例では、リソース・オーケストレータ812は、1つ又は複数のノードC.R.816(1)~816(N)及び/又はグループ化されたコンピューティング・リソース814を構成するか、又はさもなければ、制御し得る。少なくとも1つの実施例では、リソース・オーケストレータ812は、データ・センタ800のためのソフトウェア設計インフラストラクチャ(「SDI」:software design infrastructure)管理エンティティを含み得る。少なくとも1つの実施例では、リソース・オーケストレータは、ハードウェア、ソフトウェア、又はそれらの何らかの組合せを含み得る。
少なくとも1つの実施例では、図8に示されているように、フレームワーク層820は、ジョブ・スケジューラ822と、構成マネージャ824と、リソース・マネージャ826と、分散型ファイル・システム828とを含む。少なくとも1つの実施例では、フレームワーク層820は、ソフトウェア層830のソフトウェア832、及び/又はアプリケーション層840の1つ又は複数のアプリケーション842をサポートするためのフレームワークを含み得る。少なくとも1つの実施例では、ソフトウェア832又は(1つ又は複数の)アプリケーション842は、それぞれ、アマゾン・ウェブ・サービス、Google Cloud、及びMicrosoft Azureによって提供されるものなど、ウェブ・ベースのサービス・ソフトウェア又はアプリケーションを含み得る。少なくとも1つの実施例では、フレームワーク層820は、限定はしないが、大規模データ処理(たとえば、「ビック・データ」)のために分散型ファイル・システム828を利用し得るApache Spark(商標)(以下「Spark」)など、無料でオープンソースのソフトウェア・ウェブ・アプリケーション・フレームワークのタイプであり得る。少なくとも1つの実施例では、ジョブ・スケジューラ822は、データ・センタ800の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Sparkドライバを含み得る。少なくとも1つの実施例では、構成マネージャ824は、ソフトウェア層830、並びに大規模データ処理をサポートするためのSpark及び分散型ファイル・システム828を含むフレームワーク層820など、異なる層を構成することが可能であり得る。少なくとも1つの実施例では、リソース・マネージャ826は、分散型ファイル・システム828及びジョブ・スケジューラ822をサポートするようにマッピングされたか又は割り振られた、クラスタ化された又はグループ化されたコンピューティング・リソースを管理することが可能であり得る。少なくとも1つの実施例では、クラスタ化された又はグループ化されたコンピューティング・リソースは、データ・センタ・インフラストラクチャ層810において、グループ化されたコンピューティング・リソース814を含み得る。少なくとも1つの実施例では、リソース・マネージャ826は、リソース・オーケストレータ812と協調して、これらのマッピングされた又は割り振られたコンピューティング・リソースを管理し得る。
少なくとも1つの実施例では、ソフトウェア層830中に含まれるソフトウェア832は、ノードC.R.816(1)~816(N)、グループ化されたコンピューティング・リソース814、及び/又はフレームワーク層820の分散型ファイル・システム828の少なくとも部分によって使用されるソフトウェアを含み得る。1つ又は複数のタイプのソフトウェアは、限定はしないが、インターネット・ウェブ・ページ検索ソフトウェアと、電子メール・ウイルス・スキャン・ソフトウェアと、データベース・ソフトウェアと、ストリーミング・ビデオ・コンテンツ・ソフトウェアとを含み得る。
少なくとも1つの実施例では、アプリケーション層840中に含まれる(1つ又は複数の)アプリケーション842は、ノードC.R.816(1)~816(N)、グループ化されたコンピューティング・リソース814、及び/又はフレームワーク層820の分散型ファイル・システム828の少なくとも部分によって使用される1つ又は複数のタイプのアプリケーションを含み得る。1つ又は複数のタイプのアプリケーションは、限定はしないが、任意の数のゲノミクス・アプリケーション、コグニティブ・コンピュート、及び、訓練又は推論ソフトウェア、機械学習フレームワーク・ソフトウェア(たとえば、PyTorch、TensorFlow、Caffeなど)を含む、機械学習アプリケーション、又は、1つ又は複数の実施例と併せて使用される他の機械学習アプリケーションを含み得る。
少なくとも1つの実施例では、構成マネージャ824、リソース・マネージャ826、及びリソース・オーケストレータ812のいずれかが、任意の技術的に実現可能な様式で獲得された任意の量及びタイプのデータに基づいて、任意の数及びタイプの自己修正アクションを実装し得る。少なくとも1つの実施例では、自己修正アクションは、データ・センタ800のデータ・センタ・オペレータを、不良の恐れのある構成を判定し、十分に利用されていない及び/又は性能の低いデータ・センタの部分を場合によっては回避することから解放し得る。
少なくとも1つの実施例では、データ・センタ800は、1つ又は複数の機械学習モデルを訓練するか、或いは、本明細書で説明される1つ又は複数の実施例による1つ又は複数の機械学習モデルを使用して情報を予測又は推論するためのツール、サービス、ソフトウェア又は他のリソースを含み得る。たとえば、少なくとも1つの実施例では、機械学習モデルは、データ・センタ800に関して上記で説明されたソフトウェア及びコンピューティング・リソースを使用して、ニューラル・ネットワーク・アーキテクチャに従って重みパラメータを計算することによって、訓練され得る。少なくとも1つの実施例では、1つ又は複数のニューラル・ネットワークに対応する訓練された機械学習モデルは、本明細書で説明される1つ又は複数の訓練技法を通して計算された重みパラメータを使用することによって、データ・センタ800に関して上記で説明されたリソースを使用して、情報を推論又は予測するために使用され得る。
少なくとも1つの実施例では、データ・センタは、上記で説明されたリソースを使用して訓練及び/又は推論を実施するために、CPU、特定用途向け集積回路(ASIC)、GPU、FPGA、又は他のハードウェアを使用し得る。その上、上記で説明された1つ又は複数のソフトウェア及び/又はハードウェア・リソースは、画像認識、音声認識、又は他の人工知能サービスなど、ユーザが、情報を訓練するか又は情報の推論を実施することを可能にするためのサービスとして構成され得る。
1つ又は複数の実施例に関連付けられた推論及び/又は訓練動作を実施するために、推論及び/又は訓練論理715が使用される。推論及び/又は訓練論理715に関する詳細は、図7A及び/又は図7Bと併せて以下で提供される。少なくとも1つの実施例では、推論及び/又は訓練論理715は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び/又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図8のシステムにおいて使用され得る。
そのような構成要素は、1つ又は複数の品質評価値から決定されたパラメータを使用して、単一の表現になるように構成画像を合成するために使用され得る。
コンピュータ・システム
図9は、例示的なコンピュータ・システムを示すブロック図であり、例示的なコンピュータ・システムは、少なくとも1つの実施例による、命令を実行するための実行ユニットを含み得るプロセッサとともに形成された、相互接続されたデバイス及び構成要素、システム・オン・チップ(SOC)又はそれらの何らかの組合せをもつシステム900であり得る。少なくとも1つの実施例では、コンピュータ・システム900は、限定はしないが、本明細書で説明される実施例などにおいて、本開示による、プロセス・データのためのアルゴリズムを実施するための論理を含む実行ユニットを採用するための、プロセッサ902などの構成要素を含み得る。少なくとも1つの実施例では、コンピュータ・システム900は、カリフォルニア州サンタクララのIntel Corporationから入手可能なPENTIUM(登録商標)プロセッサ・ファミリー、Xeon(商標)、Itanium(登録商標)、XScale(商標)及び/又はStrongARM(商標)、Intel(登録商標)Core(商標)、又はIntel(登録商標)Nervana(商標)マイクロプロセッサなどのプロセッサを含み得るが、(他のマイクロプロセッサ、エンジニアリング・ワークステーション、セット・トップ・ボックスなどを有するPCを含む)他のシステムも使用され得る。少なくとも1つの実施例では、コンピュータ・システム900は、ワシントン州レドモンドのMicrosoft Corporationから入手可能なWINDOWS(登録商標)オペレーティング・システムのあるバージョンを実行し得るが、他のオペレーティング・システム(たとえば、UNIX(登録商標)及びLinux(登録商標))、組み込みソフトウェア、及び/又はグラフィカル・ユーザ・インターフェースも使用され得る。
図9は、例示的なコンピュータ・システムを示すブロック図であり、例示的なコンピュータ・システムは、少なくとも1つの実施例による、命令を実行するための実行ユニットを含み得るプロセッサとともに形成された、相互接続されたデバイス及び構成要素、システム・オン・チップ(SOC)又はそれらの何らかの組合せをもつシステム900であり得る。少なくとも1つの実施例では、コンピュータ・システム900は、限定はしないが、本明細書で説明される実施例などにおいて、本開示による、プロセス・データのためのアルゴリズムを実施するための論理を含む実行ユニットを採用するための、プロセッサ902などの構成要素を含み得る。少なくとも1つの実施例では、コンピュータ・システム900は、カリフォルニア州サンタクララのIntel Corporationから入手可能なPENTIUM(登録商標)プロセッサ・ファミリー、Xeon(商標)、Itanium(登録商標)、XScale(商標)及び/又はStrongARM(商標)、Intel(登録商標)Core(商標)、又はIntel(登録商標)Nervana(商標)マイクロプロセッサなどのプロセッサを含み得るが、(他のマイクロプロセッサ、エンジニアリング・ワークステーション、セット・トップ・ボックスなどを有するPCを含む)他のシステムも使用され得る。少なくとも1つの実施例では、コンピュータ・システム900は、ワシントン州レドモンドのMicrosoft Corporationから入手可能なWINDOWS(登録商標)オペレーティング・システムのあるバージョンを実行し得るが、他のオペレーティング・システム(たとえば、UNIX(登録商標)及びLinux(登録商標))、組み込みソフトウェア、及び/又はグラフィカル・ユーザ・インターフェースも使用され得る。
実施例は、ハンドヘルド・デバイス及び組み込みアプリケーションなど、他のデバイスにおいて使用され得る。ハンドヘルド・デバイスのいくつかの実例は、セルラー・フォン、インターネット・プロトコル・デバイス、デジタル・カメラ、パーソナル・デジタル・アシスタント(「PDA」:personal digital assistant)、及びハンドヘルドPCを含む。少なくとも1つの実施例では、組み込みアプリケーションは、マイクロコントローラ、デジタル信号プロセッサ(「DSP」:digital signal processor)、システム・オン・チップ、ネットワーク・コンピュータ(「NetPC」:network computer)、セット・トップ・ボックス、ネットワーク・ハブ、ワイド・エリア・ネットワーク(「WAN」:wide area network)スイッチ、又は少なくとも1つの実施例による1つ又は複数の命令を実施し得る任意の他のシステムを含み得る。
少なくとも1つの実施例では、コンピュータ・システム900は、限定はしないが、プロセッサ902を含み得、プロセッサ902は、限定はしないが、本明細書で説明される技法による機械学習モデル訓練及び/又は推論を実施するための1つ又は複数の実行ユニット908を含み得る。少なくとも1つの実施例では、コンピュータ・システム900は、シングル・プロセッサ・デスクトップ又はサーバ・システムであるが、別の実施例では、コンピュータ・システム900は、マルチプロセッサ・システムであり得る。少なくとも1つの実施例では、プロセッサ902は、限定はしないが、複合命令セット・コンピュータ(「CISC」:complex instruction set computer)マイクロプロセッサ、縮小命令セット・コンピューティング(「RISC」:reduced instruction set computing)マイクロプロセッサ、超長命令語(「VLIW」:very long instruction word)マイクロプロセッサ、命令セットの組合せを実装するプロセッサ、又は、たとえばデジタル信号プロセッサなど、任意の他のプロセッサ・デバイスを含み得る。少なくとも1つの実施例では、プロセッサ902は、プロセッサ・バス910に結合され得、プロセッサ・バス910は、プロセッサ902とコンピュータ・システム900中の他の構成要素との間でデータ信号を送信し得る。
少なくとも1つの実施例では、プロセッサ902は、限定はしないが、レベル1(「L1」)の内部キャッシュ・メモリ(「キャッシュ」)904を含み得る。少なくとも1つの実施例では、プロセッサ902は、単一の内部キャッシュ又は複数のレベルの内部キャッシュを有し得る。少なくとも1つの実施例では、キャッシュ・メモリは、プロセッサ902の外部に存在し得る。他の実施例は、特定の実装形態及び必要性に応じて、内部キャッシュと外部キャッシュの両方の組合せをも含み得る。少なくとも1つの実施例では、レジスタ・ファイル906は、限定はしないが、整数レジスタ、浮動小数点レジスタ、ステータス・レジスタ、及び命令ポインタ・レジスタを含む様々なレジスタに、異なるタイプのデータを記憶し得る。
少なくとも1つの実施例では、限定はしないが、整数演算及び浮動小数点演算を実施するための論理を含む実行ユニット908も、プロセッサ902中に存在し得る。少なくとも1つの実施例では、プロセッサ902は、いくつかのマクロ命令のためのマイクロコードを記憶するマイクロコード(「uコード」)読取り専用メモリ(「ROM」:read only memory)をも含み得る。少なくとも1つの実施例では、実行ユニット908は、パック命令セット909に対処するための論理を含み得る。少なくとも1つの実施例では、パック命令セット909を、命令を実行するための関連する回路要素とともに汎用プロセッサ902の命令セットに含めることによって、多くのマルチメディア・アプリケーションによって使用される演算が、汎用プロセッサ902中のパック・データを使用して実施され得る。1つ又は複数の実施例では、多くのマルチメディア・アプリケーションが、パック・データの演算を実施するためにプロセッサのデータ・バスの全幅を使用することによって加速され、より効率的に実行され得、これは、一度に1つのデータ要素ずつ1つ又は複数の演算を実施するために、プロセッサのデータ・バスにわたってより小さい単位のデータを転送する必要をなくし得る。
少なくとも1つの実施例では、実行ユニット908はまた、マイクロコントローラ、組み込みプロセッサ、グラフィックス・デバイス、DSP、及び他のタイプの論理回路において使用され得る。少なくとも1つの実施例では、コンピュータ・システム900は、限定はしないが、メモリ920を含み得る。少なくとも1つの実施例では、メモリ920は、ダイナミック・ランダム・アクセス・メモリ(「DRAM」:Dynamic Random Access Memory)デバイス、スタティック・ランダム・アクセス・メモリ(「SRAM」:Static Random Access Memory)デバイス、フラッシュ・メモリ・デバイス、又は他のメモリ・デバイスとして実装され得る。少なくとも1つの実施例では、メモリ920は、プロセッサ902によって実行され得るデータ信号によって表される(1つ又は複数の)命令919及び/又はデータ921を記憶し得る。
少なくとも1つの実施例では、システム論理チップが、プロセッサ・バス910及びメモリ920に結合され得る。少なくとも1つの実施例では、システム論理チップは、限定はしないが、メモリ・コントローラ・ハブ(「MCH」:memory controller hub)916を含み得、プロセッサ902は、プロセッサ・バス910を介してMCH916と通信し得る。少なくとも1つの実施例では、MCH916は、命令及びデータ・ストレージのための、並びにグラフィックス・コマンド、データ及びテクスチャのストレージのための、高帯域幅メモリ経路918をメモリ920に提供し得る。少なくとも1つの実施例では、MCH916は、プロセッサ902と、メモリ920と、コンピュータ・システム900中の他の構成要素との間でデータ信号をダイレクトし、プロセッサ・バス910と、メモリ920と、システムI/O922との間でデータ信号をブリッジし得る。少なくとも1つの実施例では、システム論理チップは、グラフィックス・コントローラに結合するためのグラフィックス・ポートを提供し得る。少なくとも1つの実施例では、MCH916は、高帯域幅メモリ経路918を通してメモリ920に結合され得、グラフィックス/ビデオ・カード912は、アクセラレーテッド・グラフィックス・ポート(「AGP」:Accelerated Graphics Port)相互接続914を通してMCH916に結合され得る。
少なくとも1つの実施例では、コンピュータ・システム900は、MCH916をI/Oコントローラ・ハブ(「ICH」:I/O controller hub)930に結合するためのプロプライエタリ・ハブ・インターフェース・バスである、システムI/O922を使用し得る。少なくとも1つの実施例では、ICH930は、ローカルI/Oバスを介していくつかのI/Oデバイスに直接接続を提供し得る。少なくとも1つの実施例では、ローカルI/Oバスは、限定はしないが、周辺機器をメモリ920、チップセット、及びプロセッサ902に接続するための高速I/Oバスを含み得る。実例は、限定はしないが、オーディオ・コントローラ929と、ファームウェア・ハブ(「フラッシュBIOS」)928と、ワイヤレス・トランシーバ926と、データ・ストレージ924と、ユーザ入力及びキーボード・インターフェース925を含んでいるレガシーI/Oコントローラ923と、ユニバーサル・シリアル・バス(「USB」:Universal Serial Bus)などのシリアル拡張ポート927と、ネットワーク・コントローラ934とを含み得る。データ・ストレージ924は、ハード・ディスク・ドライブ、フロッピー・ディスク・ドライブ、CD-ROMデバイス、フラッシュ・メモリ・デバイス、又は他の大容量ストレージ・デバイスを備え得る。
少なくとも1つの実施例では、図9は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、他の実施例では、図9は、例示的なシステム・オン・チップ(「SoC」)を示し得る。少なくとも1つの実施例では、デバイスは、プロプライエタリ相互接続、標準相互接続(たとえば、PCIe)又はそれらの何らかの組合せで相互接続され得る。少なくとも1つの実施例では、コンピュータ・システム900の1つ又は複数の構成要素は、コンピュート・エクスプレス・リンク(CXL:compute express link)相互接続を使用して相互接続される。
1つ又は複数の実施例に関連付けられた推論及び/又は訓練動作を実施するために、推論及び/又は訓練論理715が使用される。推論及び/又は訓練論理715に関する詳細は、図7A及び/又は図7Bと併せて以下で提供される。少なくとも1つの実施例では、推論及び/又は訓練論理715は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び/又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図9のシステムにおいて使用され得る。
そのような構成要素は、1つ又は複数の品質評価値から決定されたパラメータを使用して、単一の表現になるように構成画像を合成するために使用され得る。
図10は、少なくとも1つの実施例による、プロセッサ1010を利用するための電子デバイス1000を示すブロック図である。少なくとも1つの実施例では、電子デバイス1000は、たとえば、限定はしないが、ノートブック、タワー・サーバ、ラック・サーバ、ブレード・サーバ、ラップトップ、デスクトップ、タブレット、モバイル・デバイス、電話、組み込みコンピュータ、又は任意の他の好適な電子デバイスであり得る。
少なくとも1つの実施例では、システム1000は、限定はしないが、任意の好適な数又は種類の構成要素、周辺機器、モジュール、又はデバイスに通信可能に結合されたプロセッサ1010を含み得る。少なくとも1つの実施例では、プロセッサ1010は、1℃バス、システム管理バス(「SMBus」:System Management Bus)、ロー・ピン・カウント(LPC:Low Pin Count)バス、シリアル周辺インターフェース(「SPI」:Serial Peripheral Interface)、高精細度オーディオ(「HDA」:High Definition Audio)バス、シリアル・アドバンス・テクノロジー・アタッチメント(「SATA」:Serial Advance Technology Attachment)バス、ユニバーサル・シリアル・バス(「USB」)(バージョン1、2、3)、又はユニバーサル非同期受信機/送信機(「UART」:Universal Asynchronous Receiver/Transmitter)バスなど、バス又はインターフェースを使用して結合した。少なくとも1つの実施例では、図10は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、他の実施例では、図10は、例示的なシステム・オン・チップ(「SoC」)を示し得る。少なくとも1つの実施例では、図10に示されているデバイスは、プロプライエタリ相互接続、標準相互接続(たとえば、PCIe)又はそれらの何らかの組合せで相互接続され得る。少なくとも1つの実施例では、図10の1つ又は複数の構成要素は、コンピュート・エクスプレス・リンク(CXL)相互接続を使用して相互接続される。
少なくとも1つの実施例では、図10は、ディスプレイ1024、タッチ・スクリーン1025、タッチ・パッド1030、ニア・フィールド通信ユニット(「NFC」:Near Field Communication)1045、センサ・ハブ1040、熱センサ1046、エクスプレス・チップセット(「EC」:Express Chipset)1035、トラステッド・プラットフォーム・モジュール(「TPM」:Trusted Platform Module)1038、BIOS/ファームウェア/フラッシュ・メモリ(「BIOS、FWフラッシュ」:BIOS/firmware/flash memory)1022、DSP1060、ソリッド・ステート・ディスク(「SSD」:Solid State Disk)又はハード・ディスク・ドライブ(「HDD」:Hard Disk Drive)などのドライブ1020、ワイヤレス・ローカル・エリア・ネットワーク・ユニット(「WLAN」:wireless local area network)1050、Bluetoothユニット1052、ワイヤレス・ワイド・エリア・ネットワーク・ユニット(「WWAN」:Wireless Wide Area Network)1056、全地球測位システム(GPS:Global Positioning System)1055、USB3.0カメラなどのカメラ(「USB3.0カメラ」)1054、及び/或いは、たとえばLPDDR3規格において実装された低電力ダブル・データ・レート(「LPDDR」:Low Power Double Data Rate)メモリ・ユニット(「LPDDR3」)1015を含み得る。これらの構成要素は、各々、任意の好適な様式で実装され得る。
少なくとも1つの実施例では、上記で説明された構成要素を通して、他の構成要素がプロセッサ1010に通信可能に結合され得る。少なくとも1つの実施例では、加速度計1041と、周囲光センサ(「ALS」:Ambient Light Sensor)1042と、コンパス1043と、ジャイロスコープ1044とが、センサ・ハブ1040に通信可能に結合され得る。少なくとも1つの実施例では、熱センサ1039と、ファン1037と、キーボード1046と、タッチ・パッド1030とが、EC1035に通信可能に結合され得る。少なくとも1つの実施例では、スピーカー1063と、ヘッドフォン1064と、マイクロフォン(「mic」)1065とが、オーディオ・ユニット(「オーディオ・コーデック及びクラスdアンプ」)1062に通信可能に結合され得、オーディオ・ユニット1062は、DSP1060に通信可能に結合され得る。少なくとも1つの実施例では、オーディオ・ユニット1064は、たとえば、限定はしないが、オーディオ・コーダ/デコーダ(「コーデック」)及びクラスD増幅器を含み得る。少なくとも1つの実施例では、SIMカード(「SIM」)1057は、WWANユニット1056に通信可能に結合され得る。少なくとも1つの実施例では、WLANユニット1050及びBluetoothユニット1052などの構成要素、並びにWWANユニット1056は、次世代フォーム・ファクタ(「NGFF」:Next Generation Form Factor)において実装され得る。
1つ又は複数の実施例に関連付けられた推論及び/又は訓練動作を実施するために、推論及び/又は訓練論理715が使用される。推論及び/又は訓練論理715に関する詳細は、図7A及び/又は図7Bと併せて以下で提供される。少なくとも1つの実施例では、推論及び/又は訓練論理715は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び/又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図10のシステムにおいて使用され得る。
そのような構成要素は、1つ又は複数の品質評価値から決定されたパラメータを使用して、単一の表現になるように構成画像を合成するために使用され得る。
図11は、少なくとも1つの実施例による、処理システムのブロック図である。少なくとも1つの実施例では、システム1100は、1つ又は複数のプロセッサ1102と1つ又は複数のグラフィックス・プロセッサ1108とを含み、単一プロセッサ・デスクトップ・システム、マルチプロセッサ・ワークステーション・システム、或いは多数のプロセッサ1102又はプロセッサ・コア1107を有するサーバ・システムであり得る。少なくとも1つの実施例では、システム1100は、モバイル・デバイス、ハンドヘルド・デバイス、又は組み込みデバイスにおいて使用するためのシステム・オン・チップ(SoC)集積回路内に組み込まれた処理プラットフォームである。
少なくとも1つの実施例では、システム1100は、サーバ・ベースのゲーミング・プラットフォーム、ゲーム及びメディア・コンソールを含むゲーム・コンソール、モバイル・ゲーミング・コンソール、ハンドヘルド・ゲーム・コンソール、又はオンライン・ゲーム・コンソールを含むことができるか、或いはそれらの内部に組み込まれ得る。少なくとも1つの実施例では、システム1100は、モバイル・フォン、スマート・フォン、タブレット・コンピューティング・デバイス又はモバイル・インターネット・デバイスである。少なくとも1つの実施例では、処理システム1100はまた、スマート・ウォッチ・ウェアラブル・デバイス、スマート・アイウェア・デバイス、拡張現実デバイス、又は仮想現実デバイスなどのウェアラブル・デバイスを含むことができるか、それらと結合することができるか、又はそれらの内部に組み込まれ得る。少なくとも1つの実施例では、処理システム1100は、1つ又は複数のプロセッサ1102と、1つ又は複数のグラフィックス・プロセッサ1108によって生成されるグラフィカル・インターフェースとを有するテレビ又はセット・トップ・ボックス・デバイスである。
少なくとも1つの実施例では、1つ又は複数のプロセッサ1102は、各々、実行されたときにシステム及びユーザ・ソフトウェアのための動作を実施する命令を処理するための1つ又は複数のプロセッサ・コア1107を含む。少なくとも1つの実施例では、1つ又は複数のプロセッサ・コア1107の各々は、特定の命令セット1109を処理するように構成される。少なくとも1つの実施例では、命令セット1109は、複合命令セット・コンピューティング(CISC:Complex Instruction Set Computing)、縮小命令セット・コンピューティング(RISC)、又は超長命令語(VLIW)を介したコンピューティングを容易にし得る。少なくとも1つの実施例では、プロセッサ・コア1107は、各々、異なる命令セット1109を処理し得、命令セット1109は、他の命令セットのエミュレーションを容易にするための命令を含み得る。少なくとも1つの実施例では、プロセッサ・コア1107はまた、デジタル信号プロセッサ(DSP)などの他の処理デバイスを含み得る。
少なくとも1つの実施例では、プロセッサ1102はキャッシュ・メモリ1104を含む。少なくとも1つの実施例では、プロセッサ1102は、単一の内部キャッシュ又は複数のレベルの内部キャッシュを有することができる。少なくとも1つの実施例では、キャッシュ・メモリは、プロセッサ1102の様々な構成要素の間で共有される。少なくとも1つの実施例では、プロセッサ1102はまた、外部キャッシュ(たとえば、レベル3(L3)キャッシュ又はラスト・レベル・キャッシュ(LLC:Last Level Cache))(図示せず)を使用し、外部キャッシュは、知られているキャッシュ・コヒーレンシ技法を使用してプロセッサ・コア1107の間で共有され得る。少なくとも1つの実施例では、追加として、レジスタ・ファイル1106がプロセッサ1102中に含まれ、レジスタ・ファイル1106は、異なるタイプのデータを記憶するための異なるタイプのレジスタ(たとえば、整数レジスタ、浮動小数点レジスタ、ステータス・レジスタ、及び命令ポインタ・レジスタ)を含み得る。少なくとも1つの実施例では、レジスタ・ファイル1106は、汎用レジスタ又は他のレジスタを含み得る。
少なくとも1つの実施例では、1つ又は複数のプロセッサ1102は、アドレス、データ、又は制御信号などの通信信号を、プロセッサ1102とシステム1100中の他の構成要素との間で送信するために、1つ又は複数のインターフェース・バス1110と結合される。少なくとも1つの実施例では、1つの実施例におけるインターフェース・バス1110は、ダイレクト・メディア・インターフェース(DMI:Direct Media Interface)バスのバージョンなどのプロセッサ・バスであり得る。少なくとも1つの実施例では、インターフェース1110は、DMIバスに限定されず、1つ又は複数の周辺構成要素相互接続バス(たとえば、PCI、PCI Express)、メモリ・バス、又は他のタイプのインターフェース・バスを含み得る。少なくとも1つの実施例では、(1つ又は複数の)プロセッサ1102は、統合されたメモリ・コントローラ1116と、プラットフォーム・コントローラ・ハブ1130とを含む。少なくとも1つの実施例では、メモリ・コントローラ1116は、メモリ・デバイスとシステム1100の他の構成要素との間の通信を容易にし、プラットフォーム・コントローラ・ハブ(PCH:platform controller hub)1130は、ローカルI/Oバスを介してI/Oデバイスへの接続を提供する。
少なくとも1つの実施例では、メモリ・デバイス1120は、ダイナミック・ランダム・アクセス・メモリ(DRAM)デバイス、スタティック・ランダム・アクセス・メモリ(SRAM)デバイス、フラッシュ・メモリ・デバイス、相変化メモリ・デバイス、又はプロセス・メモリとして働くのに好適な性能を有する何らかの他のメモリ・デバイスであり得る。少なくとも1つの実施例では、メモリ・デバイス1120は、1つ又は複数のプロセッサ1102がアプリケーション又はプロセスを実行するときの使用のためのデータ1122及び命令1121を記憶するために、システム1100のためのシステム・メモリとして動作することができる。少なくとも1つの実施例では、メモリ・コントローラ1116はまた、随意の外部グラフィックス・プロセッサ1112と結合し、外部グラフィックス・プロセッサ1112は、グラフィックス動作及びメディア動作を実施するために、プロセッサ1102中の1つ又は複数のグラフィックス・プロセッサ1108と通信し得る。少なくとも1つの実施例では、ディスプレイ・デバイス1111は、(1つ又は複数の)プロセッサ1102に接続することができる。少なくとも1つの実施例では、ディスプレイ・デバイス1111は、モバイル電子デバイス又はラップトップ・デバイスの場合のような内部ディスプレイ・デバイス、或いは、ディスプレイ・インターフェース(たとえば、DisplayPortなど)を介して取り付けられた外部ディスプレイ・デバイスのうちの1つ又は複数を含むことができる。少なくとも1つの実施例では、ディスプレイ・デバイス1111は、仮想現実(VR:virtual reality)アプリケーション又は拡張現実(AR:augmented reality)アプリケーションにおいて使用するための立体ディスプレイ・デバイスなどの頭部装着型ディスプレイ(HMD:head mounted display)を含むことができる。
少なくとも1つの実施例では、プラットフォーム・コントローラ・ハブ1130は、周辺機器が高速I/Oバスを介してメモリ・デバイス1120及びプロセッサ1102に接続することを可能にする。少なくとも1つの実施例では、I/O周辺機器は、限定はしないが、オーディオ・コントローラ1146と、ネットワーク・コントローラ1134と、ファームウェア・インターフェース1128と、ワイヤレス・トランシーバ1126と、タッチ・センサ1125と、データ・ストレージ・デバイス1124(たとえば、ハード・ディスク・ドライブ、フラッシュ・メモリなど)とを含む。少なくとも1つの実施例では、データ・ストレージ・デバイス1124は、ストレージ・インターフェース(たとえば、SATA)を介して、又は周辺構成要素相互接続バス(たとえば、PCI、PCI Express)などの周辺バスを介して、接続することができる。少なくとも1つの実施例では、タッチ・センサ1125は、タッチ・スクリーン・センサ、圧力センサ、又は指紋センサを含むことができる。少なくとも1つの実施例では、ワイヤレス・トランシーバ1126は、Wi-Fiトランシーバ、Bluetoothトランシーバ、或いは3G、4G、又はロング・ターム・エボリューション(LTE)トランシーバなどのモバイル・ネットワーク・トランシーバであり得る。少なくとも1つの実施例では、ファームウェア・インターフェース1128は、システム・ファームウェアとの通信を可能にし、たとえば、ユニファイド・エクステンシブル・ファームウェア・インターフェース(UEFI:unified extensible firmware interface)であり得る。少なくとも1つの実施例では、ネットワーク・コントローラ1134は、ワイヤード・ネットワークへのネットワーク接続を可能にすることができる。少なくとも1つの実施例では、高性能ネットワーク・コントローラ(図示せず)は、インターフェース・バス1110と結合する。少なくとも1つの実施例では、オーディオ・コントローラ1146は、マルチチャネル高精細度オーディオ・コントローラである。少なくとも1つの実施例では、システム1100は、レガシー(たとえば、パーソナル・システム2(PS/2:Personal System 2))デバイスをシステムに結合するための随意のレガシーI/Oコントローラ1140を含む。少なくとも1つの実施例では、プラットフォーム・コントローラ・ハブ1130は、キーボードとマウス1143との組合せ、カメラ1144、又は他のUSB入力デバイスなど、1つ又は複数のユニバーサル・シリアル・バス(USB)コントローラ1142接続入力デバイスにも接続することができる。
少なくとも1つの実施例では、メモリ・コントローラ1116及びプラットフォーム・コントローラ・ハブ1130のインスタンスが、外部グラフィックス・プロセッサ1112などの慎重な外部グラフィックス・プロセッサに組み込まれ得る。少なくとも1つの実施例では、プラットフォーム・コントローラ・ハブ1130及び/又はメモリ・コントローラ1116は、1つ又は複数のプロセッサ1102の外部にあり得る。たとえば、少なくとも1つの実施例では、システム1100は、外部のメモリ・コントローラ1116とプラットフォーム・コントローラ・ハブ1130とを含むことができ、それらは、(1つ又は複数の)プロセッサ1102と通信しているシステム・チップセット内のメモリ・コントローラ・ハブ及び周辺コントローラ・ハブとして構成され得る。
1つ又は複数の実施例に関連付けられた推論及び/又は訓練動作を実施するために、推論及び/又は訓練論理715が使用される。推論及び/又は訓練論理715に関する詳細は、図7A及び/又は図7Bと併せて以下で提供される。少なくとも1つの実施例では、推論及び/又は訓練論理715の部分又はすべてが、グラフィックス・プロセッサ1500に組み込まれ得る。たとえば、少なくとも1つの実施例では、本明細書で説明される訓練及び/又は推論技法は、グラフィックス・プロセッサにおいて具体化されたALUのうちの1つ又は複数を使用し得る。その上、少なくとも1つの実施例では、本明細書で説明される推論及び/又は訓練動作は、図7A又は図7Bに示されている論理以外の論理を使用して行われ得る。少なくとも1つの実施例では、重みパラメータは、本明細書で説明される1つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、使用事例、又は訓練技法を実施するためのグラフィックス・プロセッサのALUを構成する(示されている又は示されていない)オンチップ又はオフチップ・メモリ及び/又はレジスタに記憶され得る。
そのような構成要素は、1つ又は複数の品質評価値から決定されたパラメータを使用して、単一の表現になるように構成画像を合成するために使用され得る。
図12は、少なくとも1つの実施例による、1つ又は複数のプロセッサ・コア1202A~1202Nと、統合されたメモリ・コントローラ1214と、統合されたグラフィックス・プロセッサ1208とを有するプロセッサ1200のブロック図である。少なくとも1つの実施例では、プロセッサ1200は、破線ボックスによって表される追加コア1202Nまでの追加コアを含むことができる。少なくとも1つの実施例では、プロセッサ・コア1202A~1202Nの各々は、1つ又は複数の内部キャッシュ・ユニット1204A~1204Nを含む。少なくとも1つの実施例では、各プロセッサ・コアはまた、1つ又は複数の共有キャッシュド・ユニット1206へのアクセスを有する。
少なくとも1つの実施例では、内部キャッシュ・ユニット1204A~1204Nと共有キャッシュ・ユニット1206とは、プロセッサ1200内のキャッシュ・メモリ階層を表す。少なくとも1つの実施例では、キャッシュ・メモリ・ユニット1204A~1204Nは、各プロセッサ・コア内の命令及びデータ・キャッシュの少なくとも1つのレベル、及びレベル2(L2)、レベル3(L3)、レベル4(L4)などの共有中間レベル・キャッシュの1つ又は複数のレベル、又はキャッシュの他のレベルを含み得、ここで、外部メモリの前の最高レベルのキャッシュは、LLCとして分類される。少なくとも1つの実施例では、キャッシュ・コヒーレンシ論理は、様々なキャッシュ・ユニット1206及び1204A~1204N間でコヒーレンシを維持する。
少なくとも1つの実施例では、プロセッサ1200は、1つ又は複数のバス・コントローラ・ユニット1216とシステム・エージェント・コア1210とのセットをも含み得る。少なくとも1つの実施例では、1つ又は複数のバス・コントローラ・ユニット1216は、1つ又は複数のPCI又はPCIエクスプレス・バスなどの周辺バスのセットを管理する。少なくとも1つの実施例では、システム・エージェント・コア1210は、様々なプロセッサ構成要素のための管理機能性を提供する。少なくとも1つの実施例では、システム・エージェント・コア1210は、様々な外部メモリ・デバイス(図示せず)へのアクセスを管理するための1つ又は複数の統合されたメモリ・コントローラ1214を含む。
少なくとも1つの実施例では、プロセッサ・コア1202A~1202Nのうちの1つ又は複数は、同時マルチスレッディングのサポートを含む。少なくとも1つの実施例では、システム・エージェント・コア1210は、マルチスレッド処理中にコア1202A~1202Nを協調させ、動作させるための構成要素を含む。少なくとも1つの実施例では、システム・エージェント・コア1210は、追加として、電力制御ユニット(PCU:power control unit)を含み得、PCUは、プロセッサ・コア1202A~1202N及びグラフィックス・プロセッサ1208の1つ又は複数の電力状態を調節するための論理及び構成要素を含む。
少なくとも1つの実施例では、プロセッサ1200は、追加として、グラフィックス処理動作を実行するためのグラフィックス・プロセッサ1208を含む。少なくとも1つの実施例では、グラフィックス・プロセッサ1208は、共有キャッシュ・ユニット1206、及び1つ又は複数の統合されたメモリ・コントローラ1214を含むシステム・エージェント・コア1210と結合する。少なくとも1つの実施例では、システム・エージェント・コア1210は、1つ又は複数の結合されたディスプレイへのグラフィックス・プロセッサ出力を駆動するためのディスプレイ・コントローラ1211をも含む。少なくとも1つの実施例では、ディスプレイ・コントローラ1211はまた、少なくとも1つの相互接続を介してグラフィックス・プロセッサ1208と結合された別個のモジュールであり得るか、又はグラフィックス・プロセッサ1208内に組み込まれ得る。
少なくとも1つの実施例では、プロセッサ1200の内部構成要素を結合するために、リング・ベースの相互接続ユニット1212が使用される。少なくとも1つの実施例では、ポイントツーポイント相互接続、切替え相互接続、又は他の技法などの代替相互接続ユニットが使用され得る。少なくとも1つの実施例では、グラフィックス・プロセッサ1208は、I/Oリンク1213を介してリング相互接続1212と結合する。
少なくとも1つの実施例では、I/Oリンク1213は、様々なプロセッサ構成要素と、eDRAMモジュールなどの高性能組み込みメモリ・モジュール1218との間の通信を容易にするオン・パッケージI/O相互接続を含む、複数の種類のI/O相互接続のうちの少なくとも1つを表す。少なくとも1つの実施例では、プロセッサ・コア1202A~1202Nの各々と、グラフィックス・プロセッサ1208とは、共有ラスト・レベル・キャッシュとして組み込みメモリ・モジュール1218を使用する。
少なくとも1つの実施例では、プロセッサ・コア1202A~1202Nは、共通の命令セット・アーキテクチャを実行する同種のコアである。少なくとも1つの実施例では、プロセッサ・コア1202A~1202Nは、命令セット・アーキテクチャ(ISA:instruction set architecture)という観点から異種であり、ここで、プロセッサ・コア1202A~1202Nのうちの1つ又は複数は、共通の命令セットを実行し、プロセッサ・コア1202A~1202Nのうちの1つ又は複数の他のコアは、共通の命令セットのサブセット、又は異なる命令セットを実行する。少なくとも1つの実施例では、プロセッサ・コア1202A~1202Nは、マイクロアーキテクチャという観点から異種であり、ここで、電力消費量が比較的高い1つ又は複数のコアは、電力消費量がより低い1つ又は複数の電力コアと結合する。少なくとも1つの実施例では、プロセッサ1200は、1つ又は複数のチップ上に、又はSoC集積回路として実装され得る。
1つ又は複数の実施例に関連付けられた推論及び/又は訓練動作を実施するために、推論及び/又は訓練論理715が使用される。推論及び/又は訓練論理715に関する詳細は、図7a及び/又は図7Bと併せて以下で提供される。少なくとも1つの実施例では、推論及び/又は訓練論理715の部分又はすべてが、プロセッサ1200に組み込まれ得る。たとえば、少なくとも1つの実施例では、本明細書で説明される訓練及び/又は推論技法は、グラフィックス・プロセッサ1512、(1つ又は複数の)グラフィックス・コア1202A~1202N、又は図12中の他の構成要素において具体化されたALUのうちの1つ又は複数を使用し得る。その上、少なくとも1つの実施例では、本明細書で説明される推論及び/又は訓練動作は、図7A又は図7Bに示されている論理以外の論理を使用して行われ得る。少なくとも1つの実施例では、重みパラメータは、本明細書で説明される1つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、使用事例、又は訓練技法を実施するためのグラフィックス・プロセッサ1200のALUを構成する(示されている又は示されていない)オンチップ又はオフチップ・メモリ及び/又はレジスタに記憶され得る。
そのような構成要素は、1つ又は複数の品質評価値から決定されたパラメータを使用して、単一の表現になるように構成画像を合成するために使用され得る。
仮想化されたコンピューティング・プラットフォーム
図13は、少なくとも1つの実施例による、画像処理及び推論パイプラインを生成及び導入するプロセス1300のための例示的なデータ・フロー図である。少なくとも1つの実施例では、プロセス1300は、1つ又は複数の施設1302において、撮像デバイス、処理デバイス、及び/又は他のデバイス・タイプとともに使用するために導入され得る。プロセス1300は、訓練システム1304及び/又は導入システム1306内で実行され得る。少なくとも1つの実施例では、訓練システム1304は、導入システム1306における使用のための機械学習モデル(たとえば、ニューラル・ネットワーク、物体検出アルゴリズム、コンピュータ・ビジョン・アルゴリズムなど)の訓練、導入、及び実装を実施するために使用され得る。少なくとも1つの実施例では、導入システム1306は、施設1302におけるインフラストラクチャ要件を低減するために、処理及びコンピュート・リソースを分散型コンピューティング環境の間でオフロードするように構成され得る。少なくとも1つの実施例では、パイプライン中の1つ又は複数のアプリケーションは、アプリケーションの実行中に導入システム1306のサービス(たとえば、推論、視覚化、コンピュート、AIなど)を使用するか、又はコールし得る。
図13は、少なくとも1つの実施例による、画像処理及び推論パイプラインを生成及び導入するプロセス1300のための例示的なデータ・フロー図である。少なくとも1つの実施例では、プロセス1300は、1つ又は複数の施設1302において、撮像デバイス、処理デバイス、及び/又は他のデバイス・タイプとともに使用するために導入され得る。プロセス1300は、訓練システム1304及び/又は導入システム1306内で実行され得る。少なくとも1つの実施例では、訓練システム1304は、導入システム1306における使用のための機械学習モデル(たとえば、ニューラル・ネットワーク、物体検出アルゴリズム、コンピュータ・ビジョン・アルゴリズムなど)の訓練、導入、及び実装を実施するために使用され得る。少なくとも1つの実施例では、導入システム1306は、施設1302におけるインフラストラクチャ要件を低減するために、処理及びコンピュート・リソースを分散型コンピューティング環境の間でオフロードするように構成され得る。少なくとも1つの実施例では、パイプライン中の1つ又は複数のアプリケーションは、アプリケーションの実行中に導入システム1306のサービス(たとえば、推論、視覚化、コンピュート、AIなど)を使用するか、又はコールし得る。
少なくとも1つの実施例では、先進処理及び推論パイプラインにおいて使用されるアプリケーションのいくつかは、1つ又は複数の処理ステップを実施するために機械学習モデル又は他のAIを使用し得る。少なくとも1つの実施例では、機械学習モデルは、施設1302において生成された(及び、施設1302において1つ又は複数のピクチャ・アーカイブ及び通信システム(PACS:picture archiving and communication system)サーバに記憶された)(撮像データなどの)データ1308を使用して、施設1302において訓練され得るか、(1つ又は複数の)別の施設からの撮像又はシーケンシング・データ1308を使用して訓練され得るか、或いはそれらの組合せであり得る。少なくとも1つの実施例では、訓練システム1304は、導入システム1306のための実用的で導入可能な機械学習モデルを生成するためのアプリケーション、サービス、及び/又は他のリソースを提供するために使用され得る。
少なくとも1つの実施例では、モデル・レジストリ1324は、バージョン管理及び物体メタデータをサポートし得る物体ストレージによってバックアップされ得る。少なくとも1つの実施例では、物体ストレージは、たとえば、クラウド・プラットフォーム内から、クラウド・ストレージ(たとえば、図14のクラウド1426)互換アプリケーション・プログラミング・インターフェース(API:application programming interface)を通してアクセス可能であり得る。少なくとも1つの実施例では、モデル・レジストリ1324内の機械学習モデルは、システムの開発者又はパートナーがAPIと対話することによって、アップロード、リスト化、修正、又は削除され得る。少なくとも1つの実施例では、APIは、適切な資格をもつユーザがモデルをアプリケーションに関連付けることを可能にする方法へのアクセスを提供し得、それにより、モデルは、アプリケーションのコンテナ化されたインスタンス化の実行の一部として実行され得る。
少なくとも1つの実施例では、訓練パイプライン1404(図14)は、施設1302がそれ自体の機械学習モデルを訓練しているか、或いは、最適化又は更新される必要がある既存の機械学習モデルを有するシナリオを含み得る。少なくとも1つの実施例では、(1つ又は複数の)撮像デバイス、シーケンシング・デバイス、及び/又は他のデバイス・タイプによって生成された撮像データ1308が受信され得る。少なくとも1つの実施例では、撮像データ1308が受信されると、機械学習モデルについてのグランド・トゥルース・データとして使用されるべき撮像データ1308に対応するアノテーションを生成するのを補助するために、AI支援アノテーション1310が使用され得る。少なくとも1つの実施例では、AI支援アノテーション1310は、1つ又は複数の機械学習モデル(たとえば、畳み込みニューラル・ネットワーク(CNN:convolutional neural network))を含み得、1つ又は複数の機械学習モデルは、(たとえば、いくつかのデバイスからの)いくつかのタイプの撮像データ1308に対応するアノテーションを生成するように訓練され得る。少なくとも1つの実施例では、次いで、AI支援アノテーション1310は、グランド・トゥルース・データを生成するために、直接使用され得るか、或いは、アノテーション・ツールを使用して調整又は微調整され得る。少なくとも1つの実施例では、AI支援アノテーション1310、ラベル付きクリニック・データ1312、又はそれらの組合せが、機械学習モデルを訓練するためのグランド・トゥルース・データとして使用され得る。少なくとも1つの実施例では、訓練された機械学習モデルは出力モデル1316と呼ばれることがあり、本明細書で説明されるように、導入システム1306によって使用され得る。
少なくとも1つの実施例では、訓練パイプライン1404(図14)は、施設1302が、導入システム1306中の1つ又は複数のアプリケーションのための1つ又は複数の処理タスクを実施する際に使用するための機械学習モデルを必要とするが、施設1302は現在そのような機械学習モデルを有しないことがある(或いは、そのような目的のために最適化された、効率的な、又は有効なモデルを有しないことがある)シナリオを含み得る。少なくとも1つの実施例では、既存の機械学習モデルが、モデル・レジストリ1324から選択され得る。少なくとも1つの実施例では、モデル・レジストリ1324は、撮像データに対して様々な異なる推論タスクを実施するように訓練された機械学習モデルを含み得る。少なくとも1つの実施例では、モデル・レジストリ1324中の機械学習モデルは、施設1302とは異なる施設(たとえば、離れた場所にある施設)からの撮像データに関して訓練されていることがある。少なくとも1つの実施例では、機械学習モデルは、1つのロケーション、2つのロケーション、又は任意の数のロケーションからの撮像データに関して訓練されていることがある。少なくとも1つの実施例では、特定のロケーションからの撮像データに関して訓練されているとき、訓練は、そのロケーションにおいて行われ得るか、或いは少なくとも、撮像データの機密性を保護するか又は撮像データが構外へ転送されるのを制限する様式で、行われ得る。少なくとも1つの実施例では、1つのロケーションにおいてモデルが訓練されると、又は部分的に訓練されると、機械学習モデルはモデル・レジストリ1324に追加され得る。少なくとも1つの実施例では、次いで、機械学習モデルは、任意の数の他の施設において再訓練又は更新され得、再訓練又は更新されたモデルが、モデル・レジストリ1324において利用可能にされ得る。少なくとも1つの実施例では、次いで、機械学習モデルは、モデル・レジストリ1324から選択され得、出力モデル1316と呼ばれることがあり、導入システムの1つ又は複数のアプリケーションのための1つ又は複数の処理タスクを実施するために導入システム1306において使用され得る。
少なくとも1つの実施例では、訓練パイプライン1404(図14)、シナリオは、施設1302が、導入システム1306中の1つ又は複数のアプリケーションのための1つ又は複数の処理タスクを実施する際に使用するための機械学習モデルを必要とすることを含み得るが、施設1302は現在そのような機械学習モデルを有しないことがある(或いは、そのような目的のために最適化された、効率的な、又は有効なモデルを有しないことがある)。少なくとも1つの実施例では、モデル・レジストリ1324から選択された機械学習モデルは、母集団、機械学習モデルを訓練するために使用される訓練データの頑健性、訓練データの異常の多様性、及び/又は訓練データに伴う他の問題における差異のために、施設1302において生成される撮像データ1308のために微調整又は最適化されないことがある。少なくとも1つの実施例では、機械学習モデルを再訓練又は更新するためのグランド・トゥルース・データとして使用されるべき撮像データ1308に対応するアノテーションを生成するのを補助するために、AI支援アノテーション1310が使用され得る。少なくとも1つの実施例では、ラベル付きデータ1312が、機械学習モデルを訓練するためのグランド・トゥルース・データとして使用され得る。少なくとも1つの実施例では、機械学習モデルを再訓練又は更新することは、モデル訓練1314と呼ばれることがある。少なくとも1つの実施例では、モデル訓練1314、たとえばAI支援アノテーション1310、ラベル付きクリニック・データ1312、又はそれらの組合せは、機械学習モデルを再訓練又は更新するためのグランド・トゥルース・データとして使用され得る。少なくとも1つの実施例では、訓練された機械学習モデルは出力モデル1316と呼ばれることがあり、本明細書で説明されるように、導入システム1306によって使用され得る。
少なくとも1つの実施例では、導入システム1306は、ソフトウェア1318、サービス1320、ハードウェア1322、並びに/又は他の構成要素、特徴、及び機能性を含み得る。少なくとも1つの実施例では、導入システム1306は、ソフトウェア「スタック」を含み得、それにより、ソフトウェア1318は、サービス1320の上に築かれ得、サービス1320を使用して処理タスクのいくつか又はすべてを実施し得、サービス1320及びソフトウェア1318は、ハードウェア1322の上に築かれ、ハードウェア1322を使用して、導入システム1306の処理、ストレージ、及び/又は他のコンピュート・タスクを実行し得る。少なくとも1つの実施例では、ソフトウェア1318は、任意の数の異なるコンテナを含み得、各コンテナは、アプリケーションのインスタンス化を実行し得る。少なくとも1つの実施例では、各アプリケーションは、先進処理及び推論パイプライン中の1つ又は複数の処理タスク(たとえば、推論、物体検出、特徴検出、セグメント化、画像強調、キャリブレーションなど)を実施し得る。少なくとも1つの実施例では、先進処理及び推論パイプラインは、(たとえば、使用可能なデータ・タイプに出力をコンバートするために)パイプラインを通して処理した後に、各コンテナによる使用及び/又は施設1302による使用のための撮像データを受信及び構成するコンテナに加えて、撮像データ1308を処理するために所望されるか又は必要とされる異なるコンテナの選択に基づいて、定義され得る。少なくとも1つの実施例では、(たとえば、パイプラインを作り上げる)ソフトウェア1318内のコンテナの組合せは、(本明細書でより詳細に説明されるように)仮想機器と呼ばれることがあり、仮想機器は、サービス1320及びハードウェア1322を活用して、コンテナにおいてインスタンス化されたアプリケーションのいくつか又はすべての処理タスクを実行し得る。
少なくとも1つの実施例では、データ処理パイプラインは、推論要求(たとえば、導入システム1306のユーザからの要求)に応答して、特定のフォーマットで入力データ(たとえば、撮像データ1308)を受信し得る。少なくとも1つの実施例では、入力データは、1つ又は複数の撮像デバイスによって生成される1つ又は複数の画像、ビデオ、及び/又は他のデータ表現を表し得る。少なくとも1つの実施例では、データは、1つ又は複数のアプリケーションによる処理のためにデータを準備するために、データ処理パイプラインの一部としての事前処理を受け得る。少なくとも1つの実施例では、次のアプリケーションのための出力データを準備するために、並びに/或いは、(たとえば、推論要求への応答としての)ユーザによる送信及び/又は使用のための出力データを準備するために、パイプラインの1つ又は複数の推論タスク又は他の処理タスクの出力に対して後処理が実施され得る。少なくとも1つの実施例では、推論タスクは、訓練システム1304の出力モデル1316を含み得る、訓練された又は導入されたニューラル・ネットワークなど、1つ又は複数の機械学習モデルによって実施され得る。
少なくとも1つの実施例では、データ処理パイプラインのタスクは、(1つ又は複数の)コンテナ中にカプセル化され得、(1つ又は複数の)コンテナは、各々、アプリケーションの個別の完全に機能的なインスタンス化と、機械学習モデルを参照することが可能である仮想化コンピューティング環境とを表す。少なくとも1つの実施例では、コンテナ又はアプリケーションは、(本明細書でより詳細に説明される)コンテナ・レジストリのプライベート(たとえば、アクセスの制限された)エリアに公開され得、訓練された又は導入されたモデルは、モデル・レジストリ1324に記憶され、1つ又は複数のアプリケーションに関連付けられ得る。少なくとも1つの実施例では、アプリケーションの画像(たとえば、コンテナ画像)は、コンテナ・レジストリにおいて利用可能であり得、パイプラインにおける導入のためにユーザによってコンテナ・レジストリから選択されると、画像は、ユーザのシステムによる使用のためのアプリケーションのインスタンス化のためのコンテナを生成するために使用され得る。
少なくとも1つの実施例では、開発者(たとえば、ソフトウェア開発者、臨床医、医師など)は、供給されたデータに対して画像処理及び/又は推論を実施するためのアプリケーションを(たとえばコンテナとして)開発、公開、及び記憶し得る。少なくとも1つの実施例では、開発、公開、及び/又は記憶は、(たとえば、開発されたアプリケーション及び/又はコンテナがシステムに準拠するか又はシステムと互換性があることを確実にするために)システムに関連付けられたソフトウェア開発キット(SDK:software development kit)を使用して実施され得る。少なくとも1つの実施例では、開発されたアプリケーションは、システム(たとえば、図14のシステム1400)としてサービス1320のうちの少なくともいくつかをサポートし得るSDKを用いて、ローカルに(たとえば、第1の施設において、第1の施設からのデータに対して)テストされ得る。少なくとも1つの実施例では、DICOM物体は、1つから数百個の画像又は他のデータ・タイプをどこにでも含んでいることがあるので、及びデータの変動により、開発者は、入って来るデータの抽出及び準備を管理すること(たとえば、アプリケーションのための構築物を設定すること、事前処理をアプリケーションに組み込むことなど)について責任を負うことがある。少なくとも1つの実施例では、システム1400によって(たとえば、正確さについて)検証されると、アプリケーションは、ユーザの施設(たとえば、第2の施設)におけるデータに対して1つ又は複数の処理タスクを実施するために、ユーザによる選択及び/又は実装のためにコンテナ・レジストリにおいて利用可能になり得る。
少なくとも1つの実施例では、次いで、開発者は、アプリケーション又はコンテナを、システム(たとえば、図14のシステム1400)のユーザによるアクセス及び使用のためにネットワークを通して共有し得る。少なくとも1つの実施例では、完成した及び検証されたアプリケーション又はコンテナは、コンテナ・レジストリに記憶され得、関連する機械学習モデルは、モデル・レジストリ1324に記憶され得る。少なくとも1つの実施例では、推論又は画像処理要求を提供する要求元エンティティは、アプリケーション、コンテナ、データセット、機械学習モデルなどについてコンテナ・レジストリ及び/又はモデル・レジストリ1324をブラウズし、データ処理パイプライン中に含めるための要素の所望の組合せを選択し、撮像処理要求をサブミットし得る。少なくとも1つの実施例では、要求は、要求を実施するために必要である入力データ(及び、いくつかの実例では、関連する患者データ)を含み得、並びに/或いは、要求を処理する際に実行されるべき(1つ又は複数の)アプリケーション及び/又は機械学習モデルの選択を含み得る。少なくとも1つの実施例では、次いで、要求は、データ処理パイプラインの処理を実施するために導入システム1306(たとえば、クラウド)の1つ又は複数の構成要素に渡され得る。少なくとも1つの実施例では、導入システム1306による処理は、コンテナ・レジストリ及び/又はモデル・レジストリ1324からの選択された要素(たとえば、アプリケーション、コンテナ、モデルなど)を参照することを含み得る。少なくとも1つの実施例では、パイプラインによって結果が生成されると、結果は、参照のために(たとえば、ローカルの、構内のワークステーション又は端末上で実行している視聴アプリケーション・スイートにおいて視聴するために)ユーザに返され得る。
少なくとも1つの実施例では、パイプラインにおけるアプリケーション又はコンテナの処理又は実行を補助するために、サービス1320が活用され得る。少なくとも1つの実施例では、サービス1320は、コンピュート・サービス、人工知能(AI:artificial intelligence)サービス、視覚化サービス、及び/又は他のサービス・タイプを含み得る。少なくとも1つの実施例では、サービス1320は、ソフトウェア1318中の1つ又は複数のアプリケーションに共通である機能性を提供し得、したがって、機能性は、アプリケーションによってコール又は活用され得るサービスに対して抽象化され得る。少なくとも1つの実施例では、サービス1320によって提供される機能性は、動的に及びより効率的に稼働し得、また、(たとえば、並列コンピューティング・プラットフォーム1430(図14)を使用して)アプリケーションが並列にデータを処理することを可能にすることによって、良好にスケーリングし得る。少なくとも1つの実施例では、サービス1320によって与えられる同じ機能性を共有する各アプリケーションが、サービス1320のそれぞれのインスタンスを有することを必要とされるのではなく、サービス1320は、様々なアプリケーション間で及びそれらの間で共有され得る。少なくとも1つの実施例では、サービスは、非限定的な実例として、検出又はセグメント化タスクを実行するために使用され得る推論サーバ又はエンジンを含み得る。少なくとも1つの実施例では、機械学習モデル訓練及び/又は再訓練能力を提供し得るモデル訓練サービスが含まれ得る。少なくとも1つの実施例では、GPU加速データ(たとえば、DICOM、RIS、CIS、REST準拠、RPC、生など)抽出、リサイジング、スケーリング、及び/又は他の拡張を提供し得るデータ拡張サービスがさらに含まれ得る。少なくとも1つの実施例では、2次元(2D:two-dimentional)及び/又は3次元(3D)のモデルにリアル感を追加するために、レイ・トレーシング、ラスタ化、ノイズ除去、鮮鋭化などの画像レンダリング効果を追加し得る視覚化サービスが使用され得る。少なくとも1つの実施例では、仮想機器のパイプライン内の他のアプリケーションについてビーム形成、セグメント化、推論、撮像、及び/又はサポートを提供する仮想機器サービスが含まれ得る。
少なくとも1つの実施例では、サービス1320がAIサービス(たとえば、推論サービス)を含む場合、1つ又は複数の機械学習モデルは、(1つ又は複数の)機械学習モデル、又はその処理を、アプリケーション実行の一部として実行するように推論サービス(たとえば、推論サーバ)を(たとえば、APIコールとして)コールすることによって、実行され得る。少なくとも1つの実施例では、セグメント化タスクのための1つ又は複数の機械学習モデルを別のアプリケーションが含む場合、アプリケーションは、セグメント化タスクに関連付けられた処理動作のうちの1つ又は複数を実施するための機械学習モデルを実行するように、推論サービスをコールし得る。少なくとも1つの実施例では、セグメント化アプリケーションと異常検出アプリケーションとを含む先進処理及び推論パイプラインを実装するソフトウェア1318は、1つ又は複数の推論タスクを実施するために各アプリケーションが同じ推論サービスをコールし得るので、合理化され得る。
少なくとも1つの実施例では、ハードウェア1322は、GPU、CPU、グラフィックス・カード、AI/深層学習システム(たとえば、NVIDIAのDGXなどのAIスーパーコンピュータ)、クラウド・プラットフォーム、又はそれらの組合せを含み得る。少なくとも1つの実施例では、異なるタイプのハードウェア1322が、導入システム1306中のソフトウェア1318及びサービス1320の効率的で専用のサポートを提供するために使用され得る。少なくとも1つの実施例では、画像処理及び生成の効率、正確さ、及び有効性を改善するために、AI/深層学習システム内、クラウド・システム中、及び/又は導入システム1306の他の処理構成要素中で、ローカルで(たとえば、施設1302において)処理するためのGPU処理の使用が実装され得る。少なくとも1つの実施例では、ソフトウェア1318及び/又はサービス1320は、非限定的な実例として、深層学習、機械学習、及び/又は高性能コンピューティングに関するGPU処理のために最適化され得る。少なくとも1つの実施例では、導入システム1306及び/又は訓練システム1304のコンピューティング環境の少なくとも一部は、データセンタの1つ又は複数のスーパーコンピュータ又は高性能コンピューティング・システムにおいて、GPU最適化ソフトウェア(たとえば、NVIDIAのDGXシステムのハードウェアとソフトウェアとの組合せ)を用いて実行され得る。少なくとも1つの実施例では、ハードウェア1322は、任意の数のGPUを含み得、それらのGPUは、本明細書で説明されるように、データの並列処理を実施するためにコールされ得る。少なくとも1つの実施例では、クラウド・プラットフォームは、深層学習タスク、機械学習タスク、又は他のコンピューティング・タスクのGPU最適化実行のためのGPU処理をさらに含み得る。少なくとも1つの実施例では、クラウド・プラットフォーム(たとえば、NVIDIAのNGC)は、(たとえば、NVIDIAのDGXシステム上で提供される)(1つ又は複数の)AI/深層学習スーパーコンピュータ及び/又はGPU最適化ソフトウェアを、ハードウェア抽象化及びスケーリング・プラットフォームとして使用して、実行され得る。少なくとも1つの実施例では、クラウド・プラットフォームは、シームレスなスケーリング及びロード・バランシングを可能にするために、複数のGPUに対するアプリケーション・コンテナ・クラスタリング・システム又はオーケストレーション・システム(たとえば、KUBERNETES)を統合し得る。
図14は、少なくとも1つの実施例による、撮像導入パイプラインを生成及び導入するための例示的なシステム1400のためのシステム図である。少なくとも1つの実施例では、システム1400は、図13のプロセス1300、並びに/又は先進処理及び推論パイプラインを含む他のプロセスを実装するために使用され得る。少なくとも1つの実施例では、システム1400は、訓練システム1304と導入システム1306とを含み得る。少なくとも1つの実施例では、訓練システム1304及び導入システム1306は、本明細書で説明されるように、ソフトウェア1318、サービス1320、及び/又はハードウェア1322を使用して実装され得る。
少なくとも1つの実施例では、システム1400(たとえば、訓練システム1304及び/又は導入システム1306)は、(たとえば、クラウド1426を使用する)クラウド・コンピューティング環境において実装され得る。少なくとも1つの実施例では、システム1400は、ヘルスケア・サービス施設に関してローカルに、又はクラウド・コンピューティング・リソースとローカル・コンピューティング・リソースの両方の組合せとして、実装され得る。少なくとも1つの実施例では、クラウド1426中のAPIへのアクセスは、制定されたセキュリティ対策又はプロトコルを通して、許可されたユーザに限定され得る。少なくとも1つの実施例では、セキュリティ・プロトコルはウェブ・トークンを含み得、ウェブ・トークンは、認証(たとえば、AuthN、AuthZ、Glueconなど)サービスによって署名され得、適切な許可を持ち得る。少なくとも1つの実施例では、(本明細書で説明される)仮想機器のAPI、又はシステム1400の他のインスタンス化は、対話について検査又は許可されたパブリックIPのセットに限定され得る。
少なくとも1つの実施例では、システム1400の様々な構成要素は、ワイヤード及び/又はワイヤレス通信プロトコルを介して、限定はしないがローカル・エリア・ネットワーク(LAN)及び/又はワイド・エリア・ネットワーク(WAN)を含む様々な異なるネットワーク・タイプのいずれかを使用して、互いの間で通信し得る。少なくとも1つの実施例では、(たとえば、推論要求を送信するための、推論要求の結果を受信するためのなど)施設とシステム1400の構成要素との間の通信は、(1つ又は複数の)データ・バス、ワイヤレス・データ・プロトコル(Wi-Fi)、ワイヤード・データ・プロトコル(たとえば、イーサネット)などを介して通信され得る。
少なくとも1つの実施例では、訓練システム1304は、図13に関して本明細書で説明されたものと同様の訓練パイプライン1404を実行し得る。少なくとも1つの実施例では、1つ又は複数の機械学習モデルが導入システム1306によって導入パイプライン1410において使用されるべきである場合、訓練パイプライン1404は、1つ又は複数の(たとえば、事前訓練された)モデルを訓練又は再訓練し、並びに/或いは、事前訓練されたモデル1406のうちの1つ又は複数を(たとえば、再訓練又は更新の必要なしに)実装するために、使用され得る。少なくとも1つの実施例では、訓練パイプライン1404の結果として、(1つ又は複数の)出力モデル1316が生成され得る。少なくとも1つの実施例では、訓練パイプライン1404は、限定はしないが、撮像データ(又は他の入力データ)コンバージョン又は適応など、任意の数の処理ステップを含み得る。少なくとも1つの実施例では、導入システム1306によって使用される異なる機械学習モデルについて、異なる訓練パイプライン1404が使用され得る。少なくとも1つの実施例では、図13に関して説明された第1の実例と同様の訓練パイプライン1404は、第1の機械学習モデルのために使用され得、図13に関して説明された第2の実例と同様の訓練パイプライン1404は、第2の機械学習モデルのために使用され得、図13に関して説明された第3の実例と同様の訓練パイプライン1404は、第3の機械学習モデルのために使用され得る。少なくとも1つの実施例では、各それぞれの機械学習モデルについて何が必要とされるかに応じて、訓練システム1304内のタスクの任意の組合せが使用され得る。少なくとも1つの実施例では、機械学習モデルのうちの1つ又は複数は、すでに訓練され、導入の準備ができていることがあり、したがって、機械学習モデルは、訓練システム1304によるいかなる処理をも受けないことがあり、導入システム1306によって実装され得る。
少なくとも1つの実施例では、(1つ又は複数の)出力モデル1316及び/又は(1つ又は複数の)事前訓練されたモデル1406は、実装形態又は実施例に応じて任意のタイプの機械学習モデルを含み得る。少なくとも1つの実施例では、及び限定はしないが、システム1400によって使用される機械学習モデルは、線形回帰、ロジスティック回帰、判定ツリー、サポート・ベクター・マシン(SVM:support vector machine)、単純ベイズ、k近傍法(Knn:k-nearest neighbor)、k平均クラスタリング、ランダム・フォレスト、次元低減アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク(たとえば、オート・エンコーダ、畳み込み、リカレント、パーセプトロン、長/短期メモリ(LSTM:Long/Short Term Memory)、ホップフィールド、ボルツマン、深層信念、逆畳み込み、敵対的生成、液体状態機械など)を使用する(1つ又は複数の)機械学習モデル、及び/又は他のタイプの機械学習モデルを含み得る。
少なくとも1つの実施例では、訓練パイプライン1404は、少なくとも図15Bに関して本明細書でより詳細に説明されるように、AI支援アノテーションを含み得る。少なくとも1つの実施例では、ラベル付きデータ1312(たとえば、従来のアノテーション)は、任意の数の技法によって生成され得る。少なくとも1つの実施例では、ラベル又は他のアノテーションは、描画プログラム(たとえば、アノテーション・プログラム)、コンピュータ支援設計(CAD:computer aided design)プログラム、ラベル付けプログラム、グランド・トゥルースのためのアノテーション又はラベルを生成するのに好適な別のタイプのプログラム内で生成され得、及び/或いは、いくつかの実例では、手書きされ得る。少なくとも1つの実施例では、グランド・トゥルース・データは、合成的に作り出され(たとえば、コンピュータ・モデル又はレンダリングから生成され)、現実的に作り出され(たとえば、実世界のデータから設計され、作り出され)、(たとえば、データから特徴を抽出し、次いでラベルを生成するために、特徴分析及び学習を使用して)機械自動化され、人間によりアノテーション付けされ(たとえば、ラベラ、又はアノテーション専門家が、ラベルのロケーションを定義し)、及び/又はそれらの組合せであり得る。少なくとも1つの実施例では、撮像データ1308の各インスタンス(又は機械学習モデルによって使用される他のデータ・タイプ)について、訓練システム1304によって生成される対応するグランド・トゥルース・データがあり得る。少なくとも1つの実施例では、訓練パイプライン1404中に含まれるAI支援アノテーションに加えて、又はその代わりにのいずれかで、導入パイプライン1410の一部としてAI支援アノテーションが実施され得る。少なくとも1つの実施例では、システム1400は多層プラットフォームを含み得、多層プラットフォームは、1つ又は複数の医療撮像及び診断機能を実施し得る診断アプリケーション(又は他のアプリケーション・タイプ)のソフトウェア層(たとえば、ソフトウェア1318)を含み得る。少なくとも1つの実施例では、システム1400は、1つ又は複数の施設のPACSサーバ・ネットワークに、(たとえば、暗号化リンクを介して)通信可能に結合され得る。少なくとも1つの実施例では、システム1400は、機械学習モデルを訓練すること、機械学習モデルを導入すること、画像処理、推論、及び/又は他の動作などの動作を実施するために、PACSサーバからのデータにアクセスし、それを参照するように構成され得る。
少なくとも1つの実施例では、ソフトウェア層は、セキュアな、暗号化された、及び/又は認証されたAPIとして実装され得、このAPIを通して、アプリケーション又はコンテナが、(1つ又は複数の)外部環境(たとえば、施設1302)から呼び出され(たとえば、コールされ)得る。少なくとも1つの実施例では、次いで、アプリケーションは、それぞれのアプリケーションに関連付けられたコンピュート、AI、又は視覚化タスクを実施するために1つ又は複数のサービス1320をコール又は実行し得、ソフトウェア1318及び/又はサービス1320は、ハードウェア1322を活用して、処理タスクを有効で効率的な様式で実施し得る。
少なくとも1つの実施例では、導入システム1306は、導入パイプライン1410を実行し得る。少なくとも1つの実施例では、導入パイプライン1410は任意の数のアプリケーションを含み得、それらのアプリケーションは、上記で説明されたように、AI支援アノテーションを含む、撮像デバイス、シーケンシング・デバイス、ゲノミクス・デバイスなどによって生成された撮像データ(及び/又は他のデータ・タイプ)に連続的に、非連続的に、又は他のやり方で適用され得る。少なくとも1つの実施例では、本明細書で説明されるように、個々のデバイスのための導入パイプライン1410は、デバイスのための仮想機器(たとえば、仮想超音波機器、仮想CTスキャン機器、仮想シーケンシング機器など)と呼ばれることがある。少なくとも1つの実施例では、デバイスによって生成されるデータから所望される情報に応じて、単一のデバイスについて、2つ以上の導入パイプライン1410があり得る。少なくとも1つの実施例では、異常の検出がMRIマシンから所望される場合、第1の導入パイプライン1410があり得、画像強調がMRIマシンの出力から所望される場合、第2の導入パイプライン1410があり得る。
少なくとも1つの実施例では、画像生成アプリケーションは、機械学習モデルの使用を含む処理タスクを含み得る。少なくとも1つの実施例では、ユーザは、ユーザ自身の機械学習モデルを使用すること、又はモデル・レジストリ1324から機械学習モデルを選択することを所望し得る。少なくとも1つの実施例では、ユーザは、処理タスクを実施するために、ユーザ自身の機械学習モデルを実装するか、又はアプリケーション中に含めるための機械学習モデルを選択し得る。少なくとも1つの実施例では、アプリケーションは選択可能及びカスタマイズ可能であり得、アプリケーションの構築を定義することによって、特定のユーザのためのアプリケーションの導入及び実装が、よりシームレスなユーザ体験として提示される。少なくとも1つの実施例では、サービス1320及びハードウェア1322など、システム1400の他の特徴を活用することによって、導入パイプライン1410は、なお一層ユーザ・フレンドリになり、より容易な統合を提供し、より正確で、効率的で、タイムリーな結果を作り出し得る。
少なくとも1つの実施例では、導入システム1306はユーザ・インターフェース1414(たとえば、グラフィカル・ユーザ・インターフェース、ウェブ・インターフェースなど)を含み得、ユーザ・インターフェース1414は、(1つ又は複数の)導入パイプライン1410中に含めるためのアプリケーションを選択し、アプリケーションを配置し、アプリケーション又はそのパラメータ若しくは構築を修正又は変更し、セットアップ及び/又は導入中に(1つ又は複数の)導入パイプライン1410を使用し、それと対話し、並びに/或いは他のやり方で導入システム1306と対話するために使用され得る。少なくとも1つの実施例では、訓練システム1304に関して示されていないが、ユーザ・インターフェース1414(又は異なるユーザ・インターフェース)は、導入システム1306における使用のためのモデルを選択するために、訓練システム1304において訓練又は再訓練するためのモデルを選択するために、及び/或いは訓練システム1304と他のやり方で対話するために使用され得る。
少なくとも1つの実施例では、(1つ又は複数の)導入パイプライン1410のアプリケーション又はコンテナと、サービス1320及び/又はハードウェア1322との間で対話を管理するために、アプリケーション・オーケストレーション・システム1428に加えてパイプライン・マネージャ1412が使用され得る。少なくとも1つの実施例では、パイプライン・マネージャ1412は、アプリケーションからアプリケーションへの対話、アプリケーションからサービス1320への対話、及び/或いはアプリケーション又はサービスからハードウェア1322への対話を容易にするように構成され得る。少なくとも1つの実施例では、ソフトウェア1318中に含まれるように示されているが、これは限定を意図しておらず、(たとえば、図12ccに示されている)いくつかの実例では、パイプライン・マネージャ1412は、サービス1320中に含まれ得る。少なくとも1つの実施例では、アプリケーション・オーケストレーション・システム1428(たとえば、Kubernetes、DOCKERなど)は、コンテナ・オーケストレーション・システムを含み得、コンテナ・オーケストレーション・システムは、アプリケーションを、協調、管理、スケーリング、及び導入のための論理ユニットとして、コンテナにグループ化し得る。少なくとも1つの実施例では、(1つ又は複数の)導入パイプライン1410からのアプリケーション(たとえば、再構築アプリケーション、セグメント化アプリケーションなど)を個々のコンテナに関連付けることよって、各アプリケーションは、自己完結型環境(たとえば、カーネル・レベル)において実行して、スピード及び効率を向上させ得る。
少なくとも1つの実施例では、各アプリケーション及び/又はコンテナ(又はその画像)は、個々に開発、修正、及び導入され得(たとえば、第1のユーザ又は開発者が、第1のアプリケーションを開発、修正、及び導入し得、第2のユーザ又は開発者が、第1のユーザ又は開発者とは別に第2のアプリケーションを開発、修正、及び導入し得)、これは、(1つ又は複数の)別のアプリケーション又は(1つ又は複数の)コンテナのタスクに邪魔されることなしに単一のアプリケーション及び/又は(1つ又は複数の)コンテナのタスクに集中し、注意を払うことを可能にする。少なくとも1つの実施例では、異なるコンテナ間又はアプリケーション間の通信、及び協調が、パイプライン・マネージャ1412及びアプリケーション・オーケストレーション・システム1428によって補助され得る。少なくとも1つの実施例では、各コンテナ又はアプリケーションの予想される入力及び/又は出力が、(たとえば、アプリケーション又はコンテナの構築に基づいて)システムによって知られている限り、アプリケーション・オーケストレーション・システム1428及び/又はパイプライン・マネージャ1412は、アプリケーション又はコンテナの各々の間の通信、及びそれらの間のリソースの共有を容易にし得る。少なくとも1つの実施例では、(1つ又は複数の)導入パイプライン1410中のアプリケーション又はコンテナのうちの1つ又は複数は、同じサービス及びリソースを共有し得るので、アプリケーション・オーケストレーション・システム1428は、様々なアプリケーション又はコンテナの間でサービス又はリソースをオーケストレートし、ロード・バランシングを行い、共有を決定し得る。少なくとも1つの実施例では、アプリケーション又はコンテナのリソース要件、これらのリソースの現在の使用量又は計画された使用量、及びリソースの利用可能性を追跡するために、スケジューラが使用され得る。少なくとも1つの実施例では、したがって、スケジューラは、異なるアプリケーションにリソースを割り振り、システムの要件及び利用可能性を考慮してアプリケーションの間でリソースを分散させ得る。いくつかの実例では、スケジューラ(及び/又はアプリケーション・オーケストレーション・システム1428の他の構成要素)は、サービス品質(QoS:quality of service)、(たとえば、リアルタイム処理を実行すべきか遅延処理を実行すべきかを決定するための)データ出力を必要とする緊急度など、システムに課される制約(たとえば、ユーザ制約)に基づいて、リソースの利用可能性及び分散を決定し得る。
少なくとも1つの実施例では、導入システム1306中のアプリケーション又はコンテナによって活用及び共有されるサービス1320は、コンピュート・サービス1416、AIサービス1418、視覚化サービス1420、及び/又は他のサービス・タイプを含み得る。少なくとも1つの実施例では、アプリケーションは、サービス1320のうちの1つ又は複数をコール(たとえば、実行)して、アプリケーションのための処理動作を実施し得る。少なくとも1つの実施例では、コンピュート・サービス1416は、スーパーコンピューティング又は他の高性能コンピューティング(HPC:high-performance computing)タスクを実施するために、アプリケーションによって活用され得る。少なくとも1つの実施例では、アプリケーションのうちの1つ又は複数を通してデータを、及び/又は単一のアプリケーションの1つ又は複数のタスクを実質的に同時に処理するための(たとえば、並列コンピューティング・プラットフォーム1430を使用する)並列処理を実施するために、(1つ又は複数の)コンピュート・サービス1416が活用され得る。少なくとも1つの実施例では、並列コンピューティング・プラットフォーム1430(たとえば、NVIDIAのCUDA)は、GPU(たとえば、GPU1422)上での汎用コンピューティング(GPGPU:general purpose computing on GPUs)を可能にし得る。少なくとも1つの実施例では、並列コンピューティング・プラットフォーム1430のソフトウェア層は、コンピュート・カーネルの実行のために、仮想命令セット及びGPUの並列算出要素へのアクセスを提供し得る。少なくとも1つの実施例では、並列コンピューティング・プラットフォーム1430はメモリを含み得、いくつかの実施例では、メモリは、複数のコンテナの間で、及び/又は単一のコンテナ内の異なる処理タスクの間で共有され得る。少なくとも1つの実施例では、(たとえば、アプリケーションの複数の異なる段階又は複数のアプリケーションが同じ情報を処理している場合)並列コンピューティング・プラットフォーム1430のメモリの共有セグメントからの同じデータを使用するために、複数のコンテナについて及び/又はコンテナ内の複数のプロセスについて、プロセス間通信(IPC:inter-process communication)コールが生成され得る。少なくとも1つの実施例では、データのコピーをとり、データをメモリ中の異なるロケーションに移動すること(たとえば、読取り/書込み動作)ではなく、メモリの同じロケーション中の同じデータが、任意の数の処理タスクのために(たとえば、同じ時間、異なる時間などに)使用され得る。少なくとも1つの実施例では、データが使用されて、処理の結果として新しいデータが生成されるとき、データの新しいロケーションのこの情報は、様々なアプリケーション間で記憶及び共有され得る。少なくとも1つの実施例では、データのロケーションと、更新された又は修正されたデータのロケーションとは、コンテナ内でペイロードがどのように理解されるかの定義の一部であり得る。
少なくとも1つの実施例では、AIサービス1418は、アプリケーションに関連付けられた(たとえば、アプリケーションの1つ又は複数の処理タスクを実施する役割を課された)(1つ又は複数の)機械学習モデルを実行するための推論サービスを実施するために活用され得る。少なくとも1つの実施例では、AIサービス1418は、AIシステム1424を活用して、セグメント化、再構築、物体検出、特徴検出、分類、及び/又は他の推論タスクのための(1つ又は複数の)機械学習モデル(たとえば、CNNなどのニューラル・ネットワーク)を実行し得る。少なくとも1つの実施例では、(1つ又は複数の)導入パイプライン1410のアプリケーションは、訓練システム1304からの出力モデル1316及び/又はアプリケーションの他のモデルのうちの1つ又は複数を使用して、撮像データに関して推論を実施し得る。少なくとも1つの実施例では、アプリケーション・オーケストレーション・システム1428(たとえば、スケジューラ)を使用する推論の2つ又はそれ以上の実例が利用可能であり得る。少なくとも1つの実施例では、第1のカテゴリは、緊急時の至急の要求に関して推論を実施するための、又は診断時の放射線医のためのなど、より高いサービス・レベルの合意を達成し得る高優先度/低レイテンシ経路を含み得る。少なくとも1つの実施例では、第2のカテゴリは、至急でないことがある要求のために、又は分析が後で実施され得る場合に使用され得る標準優先度経路を含み得る。少なくとも1つの実施例では、アプリケーション・オーケストレーション・システム1428は、AIサービス1418の異なる推論タスクのための優先度経路に基づいて、リソース(たとえば、サービス1320及び/又はハードウェア1322)を分散させ得る。
少なくとも1つの実施例では、共有ストレージが、システム1400内でAIサービス1418に取り付けられ得る。少なくとも1つの実施例では、共有ストレージは、キャッシュ(又は他のストレージ・デバイス・タイプ)として動作し得、アプリケーションからの推論要求を処理するために使用され得る。少なくとも1つの実施例では、推論要求がサブミットされたとき、要求は、導入システム1306のAPIインスタンスのセットによって受信され得、要求を処理するために、1つ又は複数のインスタンスが(たとえば、最良な適合のために、ロード・バランシングのためになど)選択され得る。少なくとも1つの実施例では、要求を処理するために、要求がデータベースに入れられ得、機械学習モデルは、まだキャッシュにない場合、モデル・レジストリ1324から位置特定され得、検証ステップは、適切な機械学習モデルがキャッシュ(たとえば、共有ストレージ)にロードされ、及び/又はモデルのコピーがキャッシュに保存され得ることを確実にし得る。少なくとも1つの実施例では、アプリケーションがまだ稼働していない場合又はアプリケーションの十分なインスタンスがない場合、(たとえば、パイプライン・マネージャ1412の)スケジューラが、要求において参照されたアプリケーションを起動するために使用され得る。少なくとも1つの実施例では、モデルを実行するための推論サーバがまだ起動されていない場合、推論サーバが起動され得る。任意の数の推論サーバがモデルごとに起動され得る。少なくとも1つの実施例では、推論サーバがクラスタ化されたプル・モデルにおいて、ロード・バランシングが有利であるときはいつでもモデルがキャッシュされ得る。少なくとも1つの実施例では、推論サーバは、対応する分散型サーバに静的にロードされ得る。
少なくとも1つの実施例では、推論は、コンテナ中で稼働する推論サーバを使用して実施され得る。少なくとも1つの実施例では、推論サーバのインスタンスは、モデル(随意に、モデルの複数のバージョン)に関連付けられ得る。少なくとも1つの実施例では、モデルに対して推論を実施するための要求が受信されたとき、推論サーバのインスタンスが存在しない場合、新しいインスタンスがロードされ得る。少なくとも1つの実施例では、推論サーバを開始するとき、モデルが推論サーバに渡され得、それにより、推論サーバが異なるインスタンスとして稼働している限り、異なるモデルにサービスするために同じコンテナが使用され得る。
少なくとも1つの実施例では、アプリケーション実行中、所与のアプリケーションについての推論要求が受信され得、(たとえば、推論サーバのインスタンスをホストする)コンテナが(まだロードされていない場合)ロードされ得、開始プロシージャがコールされ得る。少なくとも1つの実施例では、コンテナ中の前処理論理が、(たとえば、(1つ又は複数の)CPU及び/又は(1つ又は複数の)GPUを使用して)入って来るデータに対する任意の追加の前処理をロード、復号、及び/又は実施し得る。少なくとも1つの実施例では、推論のためにデータが準備されると、コンテナは、必要に応じてデータに関して推論を実施し得る。少なくとも1つの実施例では、これは、1つの画像(たとえば、手のX線)に対する単一の推論コールを含み得るか、又は何百もの画像(たとえば、胸のCT)に関する推論を必要とし得る。少なくとも1つの実施例では、アプリケーションは、完了する前に結果を要約し得、これは、限定はしないが、単一の信頼性スコア、ピクセル・レベル・セグメント化、ボクセル・レベル・セグメント化、視覚化を生成すること、又は所見を要約するためにテキストを生成することを含み得る。少なくとも1つの実施例では、異なるモデル又はアプリケーションは、異なる優先度を割り当てられ得る。たとえば、リアルタイム(TAT<1分)の優先度を有するモデルもあれば、低優先度(たとえば、TAT<10分)を有するモデルもある。少なくとも1つの実施例では、モデル実行時間は、要求元の機関又はエンティティから測定され得、パートナー・ネットワーク・トラバーサル時間、並びに推論サービスに対する実行を含み得る。
少なくとも1つの実施例では、サービス1320と推論アプリケーションとの間での要求の転送は、ソフトウェア開発キット(SDK)の後ろに隠され得、キューを通してロバストなトランスポートが提供され得る。少なくとも1つの実施例では、個々のアプリケーション/テナントIDの組合せについて、要求がAPIを介してキューに入れられ、SDKは、キューから要求を引き出し、要求をアプリケーションに与える。少なくとも1つの実施例では、SDKが要求をピックアップする環境において、キューの名称が提供され得る。少なくとも1つの実施例では、キューを通した非同期通信は、その通信が、ワークが利用可能になったときに、アプリケーションの任意のインスタンスがそのワークをピックアップすることを可能にし得るので、有用であり得る。結果は、データが失われないことを確実にするために、キューを通して返送され得る。少なくとも1つの実施例では、最高優先度のワークは、アプリケーションのほとんどのインスタンスがキューに接続された、キューに進み得、一方で、最低優先度のワークは、単一のインスタンスがキューに接続された、受信された順番にタスクを処理するキューに進み得るので、キューは、ワークをセグメント化するアビリティをも提供し得る。少なくとも1つの実施例では、アプリケーションは、クラウド1426において生成されたGPU加速インスタンス上で稼働し得、推論サービスは、GPU上で推論を実施し得る。
少なくとも1つの実施例では、視覚化サービス1420が、アプリケーション及び/又は(1つ又は複数の)導入パイプライン1410の出力を見るための視覚化を生成するために活用され得る。少なくとも1つの実施例では、視覚化を生成するために視覚化サービス1420によってGPU1422が活用され得る。少なくとも1つの実施例では、レイ・トレーシングなどのレンダリング効果が、より高品質の視覚化を生成するために視覚化サービス1420によって実装され得る。少なくとも1つの実施例では、視覚化は、限定はしないが、2D画像レンダリング、3Dボリューム・レンダリング、3Dボリューム再構築、2Dトモグラフィ・スライス、仮想現実表示、拡張現実表示などを含み得る。少なくとも1つの実施例では、仮想化された環境が、システムのユーザ(たとえば、医師、看護師、放射線医など)による対話のための仮想インタラクティブ表示又は環境(たとえば、仮想環境)を生成するために使用され得る。少なくとも1つの実施例では、視覚化サービス1420は、内部ビジュアライザ、シネマティクス、及び/或いは他のレンダリング又は画像処理能力又は機能性(たとえば、レイ・トレーシング、ラスタ化、内部光学など)を含み得る。
少なくとも1つの実施例では、ハードウェア1322は、GPU1422、AIシステム1424、クラウド1426、並びに/或いは訓練システム1304及び/又は導入システム1306を実行するために使用される任意の他のハードウェアを含み得る。少なくとも1つの実施例では、GPU1422(たとえば、NVIDIAのTESLA及び/又はQUADRO GPU)は、任意の数のGPUを含み得、任意の数のGPUは、コンピュート・サービス1416、AIサービス1418、視覚化サービス1420、他のサービス、及び/或いはソフトウェア1318の特徴又は機能性のいずれかの処理タスクを実行するために使用され得る。たとえば、AIサービス1418に関して、GPU1422が、撮像データ(又は機械学習モデルによって使用される他のデータ・タイプ)に対する前処理、機械学習モデルの出力に対する後処理を実施するために、及び/又は推論を実施するために(たとえば、機械学習モデルを実行するために)使用され得る。少なくとも1つの実施例では、クラウド1426、AIシステム1424、及び/又はシステム1400の他の構成要素は、GPU1422を使用し得る。少なくとも1つの実施例では、クラウド1426は、深層学習タスクのためのGPU最適化プラットフォームを含み得る。少なくとも1つの実施例では、AIシステム1424は、GPUを使用し得、クラウド1426、或いは深層学習又は推論の役割を課された少なくとも一部分は、1つ又は複数のAIシステム1424を使用して実行され得る。したがって、ハードウェア1322は個別構成要素として示されているが、これは、限定を意図しておらず、ハードウェア1322の任意の構成要素が、ハードウェア1322の任意の他の構成要素と組み合わせられ、それらによって活用され得る。
少なくとも1つの実施例では、AIシステム1424は、推論、深層学習、機械学習、及び/又は他の人工知能タスクのために構成された専用のコンピューティング・システム(たとえば、スーパーコンピュータ又はHPC)を含み得る。少なくとも1つの実施例では、AIシステム1424(たとえば、NVIDIAのDGX)は、GPU最適化ソフトウェア(たとえば、ソフトウェア・スタック)を含み得、GPU最適化ソフトウェアは、CPU、RAM、ストレージ、及び/又は他の構成要素、特徴、又は機能性に加えて、複数のGPU1422を使用して実行され得る。少なくとも1つの実施例では、1つ又は複数のAIシステム1424は、システム1400のAIベースの処理タスクのいくつか又はすべてを実施するために、(たとえば、データ・センタにおいて)クラウド1426において実装され得る。
少なくとも1つの実施例では、クラウド1426は、GPU加速インフラストラクチャ(たとえば、NVIDIAのNGC)を含み得、GPU加速インフラストラクチャは、システム1400の処理タスクを実行するためのGPU最適化プラットフォームを提供し得る。少なくとも1つの実施例では、クラウド1426は、システム1400のAIベースのタスクのうちの1つ又は複数を実施するための(1つ又は複数の)AIシステム1424を(たとえば、ハードウェア抽象化及びスケーリング・プラットフォームとして)含み得る。少なくとも1つの実施例では、クラウド1426は、アプリケーションとサービス1320との間でシームレスなスケーリング及びロード・バランシングを可能にするために、複数のGPUを活用してアプリケーション・オーケストレーション・システム1428と統合し得る。少なくとも1つの実施例では、クラウド1426は、本明細書で説明されるように、コンピュート・サービス1416、AIサービス1418、及び/又は視覚化サービス1420を含む、システム1400のサービス1320の少なくともいくつかを実行する役割を課され得る。少なくとも1つの実施例では、クラウド1426は、大小のバッチ推論(たとえば、NVIDIAのTENSOR RTを実行すること)を実施し、加速並列コンピューティングAPI及びプラットフォーム1430(たとえば、NVIDIAのCUDA)を提供し、アプリケーション・オーケストレーション・システム1428(たとえば、KUBERNETES)を実行し、(たとえば、より高品質のシネマティクスを作り出すためのレイ・トレーシング、2Dグラフィックス、3Dグラフィックス、及び/又は他のレンダリング技法のための)グラフィックス・レンダリングAPI及びプラットフォームを提供し得、及び/又はシステム1400のための他の機能性を提供し得る。
図15Aは、少なくとも1つの実施例による、機械学習モデルを訓練、再訓練、又は更新するためのプロセス1500のためのデータ・フロー図を示す。少なくとも1つの実施例では、プロセス1500は、図14のシステム1400を非限定的な実例として使用して、実行され得る。少なくとも1つの実施例では、プロセス1500は、本明細書で説明されるように、システム1400のサービス1320及び/又はハードウェア1322を活用し得る。少なくとも1つの実施例では、プロセス1500によって生成される改良されたモデル1512は、導入パイプライン1410中の1つ又は複数のコンテナ化アプリケーションのために、導入システム1306によって実行され得る。
少なくとも1つの実施例では、モデル訓練1314は、新しい訓練データ(たとえば、顧客データセット1506、及び/又は入力データに関連付けられた新しいグランド・トゥルース・データなどの新しい入力データ)を使用して、初期モデル1504(たとえば、事前訓練されたモデル)を再訓練又は更新することを含み得る。少なくとも1つの実施例では、初期モデル1504を再訓練又は更新するために、初期モデル1504の(1つ又は複数の)出力又は損失層がリセット又は削除され得、及び/或いは、(1つ又は複数の)更新された又は新しい出力又は損失層と置き換えられ得る。少なくとも1つの実施例では、初期モデル1504は、前に微調整された、前の訓練から残っているパラメータ(たとえば、重み及び/又はバイアス)を有し得、したがって、訓練又は再訓練1314は、最初からモデルを訓練するほど長い時間がかからないか、又は多くの処理を必要としないことがある。少なくとも1つの実施例では、モデル訓練1314中に、初期モデル1504の(1つ又は複数の)リセットされた又は置き換えられた出力又は損失層を有することによって、パラメータは、新しい顧客データセット1506(たとえば、図13の画像データ1308)に関して予測を生成する際の(1つ又は複数の)出力又は損失層の正確さに関連付けられた損失計算に基づいて、新しいデータ・セットのために更新又は再調整され得る。
少なくとも1つの実施例では、事前訓練されたモデル1406は、データ・ストア又はレジストリ(たとえば、図13のモデル・レジストリ1324)に記憶され得る。少なくとも1つの実施例では、事前訓練されたモデル1406は、少なくとも部分的に、プロセス1500を実行する施設以外の1つ又は複数の施設において訓練されていることがある。少なくとも1つの実施例では、異なる施設の患者、対象者、又は顧客のプライバシー及び権利を保護するために、事前訓練されたモデル1406は、構内で生成された顧客又は患者データを使用して、構内で訓練されていることがある。少なくとも1つの実施例では、事前訓練されたモデル1406は、クラウド1426及び/又は他のハードウェア1322を使用して訓練され得るが、プライバシー保護された機密の患者データは、クラウド1426(又は他の構外のハードウェア)の任意の構成要素に転送されないか、それらの構成要素によって使用されないか、又はそれらの構成要素にとってアクセス不可能であり得る。少なくとも1つの実施例では、事前訓練されたモデル1406が2つ以上の施設からの患者データを使用して訓練される場合、事前訓練されたモデル1406は、各施設について個々に訓練されてから、別の施設からの患者又は顧客データに関して訓練され得る。少なくとも1つの実施例では、顧客又は患者データが(たとえば、権利放棄によって、実験での使用のために、など)プライバシー問題から解放された場合、或いは、顧客又は患者データがパブリック・データ・セット中に含まれる場合など、任意の数の施設からの顧客又は患者データが、データセンタ又は他のクラウド・コンピューティング・インフラストラクチャなど、構内及び/又は構外で事前訓練されたモデル1406を訓練するために使用され得る。
少なくとも1つの実施例では、導入パイプライン1410における使用のためのアプリケーションを選択するとき、ユーザは、特定のアプリケーションのために使用されるべき機械学習モデルをも選択し得る。少なくとも1つの実施例では、ユーザは、使用のためのモデルを有しないことがあり、したがって、ユーザは、アプリケーションとともに使用するために事前訓練されたモデル1406を選択し得る。少なくとも1つの実施例では、事前訓練されたモデル1406は、(たとえば、患者の多様性、人口統計、使用される医療撮像デバイスのタイプなどに基づいて)ユーザの施設の顧客データセット1506に関して正確な結果を生成するために最適化されないことがある。少なくとも1つの実施例では、事前訓練されたモデル1406を、(1つ又は複数の)アプリケーションとともに使用するために導入パイプライン1410に導入する前に、事前訓練されたモデル1406は、それぞれの施設において使用するために更新、再訓練、及び/又は微調整され得る。
少なくとも1つの実施例では、ユーザは、更新、再訓練、及び/又は微調整されるべきである事前訓練されたモデル1406を選択し得、事前訓練されたモデル1406は、プロセス1500内の訓練システム1304のための初期モデル1504と呼ばれることがある。少なくとも1つの実施例では、顧客データセット1506(たとえば、施設におけるデバイスによって生成された撮像データ、ゲノミクス・データ、シーケンシング・データ、又は他のデータ・タイプ)が、初期モデル1504に関して(限定はしないが、転移学習(transfer learning)を含み得る)モデル訓練1314を実施して、改良されたモデル1512を生成するために、使用され得る。少なくとも1つの実施例では、顧客データセット1506に対応するグランド・トゥルース・データが、訓練システム1304によって生成され得る。少なくとも1つの実施例では、グランド・トゥルース・データは、(たとえば、図13のラベル付きクリニック・データ1312として)施設において臨床医、科学者、医師、開業医によって、少なくとも部分的に生成され得る。
少なくとも1つの実施例では、グランド・トゥルース・データを生成するために、AI支援アノテーション1310がいくつかの実例において使用され得る。少なくとも1つの実施例では、(たとえば、AI支援アノテーションSDKを使用して実装された)AI支援アノテーション1310は、機械学習モデル(たとえば、ニューラル・ネットワーク)を活用して、顧客データセットについて示唆又は予測されるグランド・トゥルース・データを生成し得る。少なくとも1つの実施例では、ユーザ1510は、コンピューティング・デバイス1508上のユーザ・インターフェース(グラフィカル・ユーザ・インターフェース(GUI:graphical user interface))内でアノテーション・ツールを使用し得る。
少なくとも1つの実施例では、ユーザ1510は、コンピューティング・デバイス1508を介してGUIと対話して、(自動)アノテーションを編集又は微調整し得る。少なくとも1つの実施例では、ポリゴン編集特徴が、ポリゴンの頂点をより正確なロケーション又は微調整されたロケーションに移動するために使用され得る。
少なくとも1つの実施例では、顧客データセット1506が、関連するグランド・トゥルース・データを有すると、(たとえば、AI支援アノテーション、手動ラベル付けなどからの)グランド・トゥルース・データが、改良されたモデル1512を生成するために、モデル訓練1314中によって使用され得る。少なくとも1つの実施例では、顧客データセット1506は、初期モデル1504に任意の回数適用され得、グランド・トゥルース・データは、改良されたモデル1512について、許容可能なレベルの正確さが達成されるまで、初期モデル1504のパラメータを更新するために使用され得る。少なくとも1つの実施例では、改良されたモデル1512が生成されると、改良されたモデル1512は、医療撮像データに対して1つ又は複数の処理タスクを実施するために、施設において1つ又は複数の導入パイプライン1410内で導入され得る。
少なくとも1つの実施例では、改良されたモデル1512は、別の施設によって選択されるべきモデル・レジストリ1324において事前訓練されたモデル1406にアップロードされ得る。少なくとも1つの実施例では、彼のプロセスは任意の数の施設において完了され得、それにより、改良されたモデル1512は、より普遍的なモデルを生成するように新しいデータセットに関して任意の回数さらに改良され得る。
図15Bは、少なくとも1つの実施例による、事前訓練されたアノテーション・モデルを用いてアノテーション・ツールを拡張するためのクライアントサーバ・アーキテクチャ1532の例示的な図である。少なくとも1つの実施例では、AI支援アノテーション・ツール1536は、クライアントサーバ・アーキテクチャ1532に基づいてインスタンス化され得る。少なくとも1つの実施例では、撮像アプリケーション中のアノテーション・ツール1536は、放射線医が、たとえば、器官及び異常を識別するのを補助し得る。少なくとも1つの実施例では、撮像アプリケーションは、非限定的な実例として、(たとえば、3D MRI又はCTスキャンにおける)生画像1534において、関心のある特定の器官上の数個の極値点をユーザ1510が識別するのを助け、特定の器官のすべての2Dスライスについて自動アノテーション付けされた結果を受信する、ソフトウェア・ツールを含み得る。少なくとも1つの実施例では、結果は、訓練データ1538としてデータ・ストアに記憶され、(たとえば、限定はしないが)訓練のためのグランド・トゥルース・データとして使用され得る。少なくとも1つの実施例では、コンピューティング・デバイス1508が、AI支援アノテーション1310のために極値点を送出するとき、たとえば、深層学習モデルがこのデータを入力として受信し、セグメント化された器官又は異常の推論結果を返し得る。少なくとも1つの実施例では、図15B中のAI支援アノテーション・ツール1536Bなどの事前インスタンス化されたアノテーション・ツールは、たとえばアノテーション・モデル・レジストリに記憶された、事前訓練されたモデル1542のセットを含み得るアノテーション支援サーバ1540などのサーバに、APIコール(たとえば、APIコール1544)を行うことによって、拡張され得る。少なくとも1つの実施例では、アノテーション・モデル・レジストリは、特定の器官又は異常に対してAI支援アノテーションを実施するように事前訓練された、事前訓練されたモデル1542(たとえば、深層学習モデルなどの機械学習モデル)を記憶し得る。これらのモデルは、訓練パイプライン1404を使用することによって、さらに更新され得る。少なくとも1つの実施例では、事前インストールされたアノテーション・ツールは、新しいラベル付きクリニック・データ1312が追加されるにつれて、経時的に改善され得る。
そのような構成要素は、1つ又は複数の品質評価値から決定されたパラメータを使用して、単一の表現になるように構成画像を合成するために使用され得る。
自動技術
図16Aは、少なくとも1つの実施例による、図16Aの自律車両1600のための例示的なシステム・アーキテクチャを示すブロック図である。少なくとも1つの実施例では、図16A中の車両1600の構成要素、特徴、及びシステムの各々は、バス1602を介して接続されるものとして示されている。少なくとも1つの実施例では、バス1602は、限定はしないが、CANデータ・インターフェース(代替的に、本明細書では「CANバス」と呼ばれる)を含み得る。少なくとも1つの実施例では、CANバスは、ブレーキの作動、加速、ブレーキ制御、操縦、フロントガラス・ワイパなど、車両1600の様々な特徴及び機能性の制御を補助するために使用される、車両1600内部のネットワークであり得る。少なくとも1つの実施例では、バス1602は、各々がそれ自体の一意の識別子(たとえば、CAN ID)をもつ数十又はさらには数百のノードを有するように構成され得る。少なくとも1つの実施例では、バス1602は、ハンドル角度、対地スピード、エンジンの毎分回転数(「RPM」:revolutions per minute)、ボタン位置、及び/又は他の車両ステータス・インジケータを見いだすために読み取られ得る。少なくとも1つの実施例では、バス1602は、ASIL Bに準拠したCANバスであり得る。
図16Aは、少なくとも1つの実施例による、図16Aの自律車両1600のための例示的なシステム・アーキテクチャを示すブロック図である。少なくとも1つの実施例では、図16A中の車両1600の構成要素、特徴、及びシステムの各々は、バス1602を介して接続されるものとして示されている。少なくとも1つの実施例では、バス1602は、限定はしないが、CANデータ・インターフェース(代替的に、本明細書では「CANバス」と呼ばれる)を含み得る。少なくとも1つの実施例では、CANバスは、ブレーキの作動、加速、ブレーキ制御、操縦、フロントガラス・ワイパなど、車両1600の様々な特徴及び機能性の制御を補助するために使用される、車両1600内部のネットワークであり得る。少なくとも1つの実施例では、バス1602は、各々がそれ自体の一意の識別子(たとえば、CAN ID)をもつ数十又はさらには数百のノードを有するように構成され得る。少なくとも1つの実施例では、バス1602は、ハンドル角度、対地スピード、エンジンの毎分回転数(「RPM」:revolutions per minute)、ボタン位置、及び/又は他の車両ステータス・インジケータを見いだすために読み取られ得る。少なくとも1つの実施例では、バス1602は、ASIL Bに準拠したCANバスであり得る。
少なくとも1つの実施例では、CANに加えて、又はその代替として、FlexRay及び/又はイーサネットが使用され得る。少なくとも1つの実施例では、任意の数のバス1602があり得、これらのバスは、限定はしないが、0個以上のCANバス、0個以上のFlexRayバス、0個以上のイーサネット・バス、及び/又は、異なるプロトコルを使用する0個以上の他のタイプのバスを含み得る。少なくとも1つの実施例では、2つ又はそれ以上のバス1602が、異なる機能を実施するために使用され得、及び/又は、冗長性のために使用され得る。たとえば、第1のバス1602が衝突回避機能性のために使用され得、第2のバス1602が作動制御のために使用され得る。少なくとも1つの実施例では、各バス1602は、車両1600の構成要素のいずれかと通信し得、2つ又はそれ以上のバス1602が、同じ構成要素と通信し得る。少なくとも1つの実施例では、任意の数のシステム・オン・チップ(「SoC」)1604の各々、(1つ又は複数の)コントローラ1636の各々、及び/又は車両内の各コンピュータは、同じ入力データ(たとえば、車両1600のセンサからの入力)へのアクセスを有し得、共通のバス、そのようなCANバスに接続され得る。
少なくとも1つの実施例では、車両1600は、図1Aに関して本明細書で説明されるものなど、1つ又は複数のコントローラ1636を含み得る。(1つ又は複数の)コントローラ1636は、様々な機能のために使用され得る。少なくとも1つの実施例では、(1つ又は複数の)コントローラ1636は、車両1600の様々な他の構成要素及びシステムのいずれかに結合され得、車両1600、車両1600の人工知能、車両1600のためのインフォテイメントなどの制御のために使用され得る。
少なくとも1つの実施例では、車両1600は、任意の数のSoC1604を含み得る。SoC1604の各々は、限定はしないが、中央処理ユニット(「CPU」)1606、グラフィックス処理ユニット(「GPU」)1608、(1つ又は複数の)プロセッサ1610、(1つ又は複数の)キャッシュ1612、(1つ又は複数の)アクセラレータ1614、(1つ又は複数の)データ・ストア1616、並びに/又は示されていない他の構成要素及び特徴を含み得る。少なくとも1つの実施例では、車両1600を様々なプラットフォーム及びシステムにおいて制御するために、(1つ又は複数の)SoC1604が使用され得る。たとえば、少なくとも1つの実施例では、(1つ又は複数の)SoC1604は、1つ又は複数のサーバ(図16Aに図示せず)からネットワーク・インターフェース1624を介してマップのリフレッシュ及び/又は更新を取得し得る高精細度(「HD」)マップ1622をもつシステム(たとえば、車両1600のシステム)において組み合わせられ得る。
少なくとも1つの実施例では、(1つ又は複数の)CPU1606は、CPUクラスタ又はCPUコンプレックス(代替的に、本明細書では「CCPLEX」と呼ばれる)を含み得る。少なくとも1つの実施例では、(1つ又は複数の)CPU1606は、複数のコア及び/又はレベル2(「L2」)キャッシュを含み得る。たとえば、少なくとも1つの実施例では、(1つ又は複数の)CPU1606は、コヒーレントなマルチプロセッサ構成において8つのコアを含み得る。少なくとも1つの実施例では、(1つ又は複数の)CPU1606は、4つのデュアル・コア・クラスタを含み得、各クラスタは、専用L2キャッシュ(たとえば、2MBのL2キャッシュ)を有する。少なくとも1つの実施例では、(1つ又は複数の)CPU1606(たとえば、CCPLEX)は、(1つ又は複数の)CPU1606のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時のクラスタ動作をサポートするように構成され得る。
少なくとも1つの実施例では、(1つ又は複数の)CPU1606のうちの1つ又は複数は、電力管理能力を実装し得、電力管理能力は、限定はしないが、以下の特徴のうちの1つ又は複数を含む:個々のハードウェア・ブロックが、動的電力を節約するために、アイドル時に自動的にクロック・ゲート制御され得る;各コア・クロックは、割込み待ち(「WFI」:Wait for Interrupt)/イベント待ち(「WFE」:Wait for Event)命令の実行によりコアが能動的に命令を実行していないとき、ゲート制御され得る;各コアが独立して電力ゲート制御され得る;各コア・クラスタは、すべてのコアがクロック・ゲート制御又は電力ゲート制御されるとき、独立してクロック・ゲート制御され得る;及び/或いは、各コア・クラスタは、すべてのコアが電力ゲート制御されるとき、独立して電力ゲート制御され得る。少なくとも1つの実施例では、(1つ又は複数の)CPU1606は、電力状態を管理するための拡張アルゴリズムをさらに実装し得、許容された電力状態及び予想されるウェイクアップ時間が指定され、コア、クラスタ、及びCCPLEXのための入るべき最良の電力状態を、ハードウェア/マイクロコードが決定する。少なくとも1つの実施例では、処理コアは、ワークがマイクロコードにオフロードされたソフトウェアにおける簡単な電力状態エントリ・シーケンスをサポートし得る。
少なくとも1つの実施例では、(1つ又は複数の)GPU1608は、統合されたGPU(代替的に、本明細書では「iGPU」と呼ばれる)を含み得る。少なくとも1つの実施例では、(1つ又は複数の)GPU1608は、プログラマブルであり得、並列なワークロードについて効率的であり得る。少なくとも1つの実施例では、(1つ又は複数の)GPU1608は、少なくとも1つの実施例では、拡張テンソル命令セットを使用し得る。少なくとも1つの実施例では、(1つ又は複数の)GPU1608は、1つ又は複数のストリーミング・マイクロプロセッサを含み得、各ストリーミング・マイクロプロセッサは、レベル1(「L1」)キャッシュ(たとえば、少なくとも96KBのストレージ容量をもつL1キャッシュ)を含み得、ストリーミング・マイクロプロセッサのうちの2つ又はそれ以上は、L2キャッシュ(たとえば、512KBのストレージ容量をもつL2キャッシュ)を共有し得る。少なくとも1つの実施例では、(1つ又は複数の)GPU1608は、少なくとも8つのストリーミング・マイクロプロセッサを含み得る。少なくとも1つの実施例では、(1つ又は複数の)GPU1608は、(1つ又は複数の)コンピュート・アプリケーション・プログラミング・インターフェース(API)を使用し得る。少なくとも1つの実施例では、(1つ又は複数の)GPU1608は、1つ又は複数の並列なコンピューティング・プラットフォーム及び/又はプログラミング・モデル(たとえば、NVIDIAのCUDA)を使用し得る。
少なくとも1つの実施例では、(1つ又は複数の)GPU1608のうちの1つ又は複数は、自動車の及び組み込まれた使用事例における最良の性能のために電力最適化され得る。たとえば、1つの実施例では、(1つ又は複数の)GPU1608は、フィン電界効果トランジスタ(「FinFET」:Fin field-effect transistor)上で作製され得る。少なくとも1つの実施例では、各ストリーミング・マイクロプロセッサは、複数のブロックに区分けされたいくつかの混合精度処理コアを組み込み得る。たとえば、限定はしないが、64個のPF32コアと、32個のPF64コアとは、4つの処理ブロックに区分けされ得る。少なくとも1つの実施例では、各処理ブロックは、16個のFP32コア、8個のFP64コア、16個のINT32コア、深層学習行列算術のための2つの混合精度NVIDIA TENSOR CORE、レベル0(「L0」)命令キャッシュ、ワープ・スケジューラ、ディスパッチ・ユニット、及び/又は64KBのレジスタ・ファイルを割り振られ得る。少なくとも1つの実施例では、ストリーミング・マイクロプロセッサは、算出とアドレッシング計算との混合によるワークロードの効率的な実行を行うために、独立した並列の整数及び浮動小数点データ経路を含み得る。少なくとも1つの実施例では、ストリーミング・マイクロプロセッサは、並列スレッド間でよりきめ細かい同期及び協調を可能にするために、独立したスレッド・スケジューリング能力を含み得る。少なくとも1つの実施例では、ストリーミング・マイクロプロセッサは、性能を改善すると同時にプログラミングを簡単にするために、組み合わせられたL1データ・キャッシュ及び共有メモリ・ユニットを含み得る。
少なくとも1つの実施例では、(1つ又は複数の)GPU1608のうちの1つ又は複数は、いくつかの実例では、約900GB/秒のピーク・メモリ帯域幅を提供するために、高帯域幅メモリ(「HBM」:high bandwidth memory)及び/又は16GBのHBM2メモリ・サブシステムを含み得る。少なくとも1つの実施例では、HBMメモリに加えて、又はその代替として、グラフィックス・ダブル・データ・レート・タイプ・ファイブ同期ランダム・アクセス・メモリ(「GDDR5」:graphics double data rate type five)など、同期グラフィックス・ランダム・アクセス・メモリ(「SGRAM」:synchronous graphics random-access memory)が使用され得る。
少なくとも1つの実施例では、(1つ又は複数の)GPU1608は、統一メモリ技術を含み得る。少なくとも1つの実施例では、(1つ又は複数の)GPU1608が(1つ又は複数の)CPU1606のページ・テーブルに直接アクセスすることを可能にするために、アドレス・トランスレーション・サービス(「ATS」:address translation service)サポートが使用され得る。少なくとも1つの実施例では、(1つ又は複数の)GPU1608のメモリ管理ユニット(「MMU」:memory management unit)がミスに遭遇したとき、アドレス・トランスレーション要求が(1つ又は複数の)CPU1606に送信され得る。少なくとも1つの実施例では、それに応答して、(1つ又は複数の)CPU1606は、それのページ・テーブルにおいて、アドレスのための仮想-物理マッピングを探し得、トランスレーションを(1つ又は複数の)GPU1608に返送する。少なくとも1つの実施例では、統一メモリ技術は、(1つ又は複数の)CPU1606と(1つ又は複数の)GPU1608の両方のメモリについて単一の統一仮想アドレス空間を可能にし、それにより、(1つ又は複数の)GPU1608のプログラミングと、(1つ又は複数の)GPU1608へのアプリケーションの移植とを簡単にし得る。
少なくとも1つの実施例では、(1つ又は複数の)GPU1608は、他のプロセッサのメモリへの(1つ又は複数の)GPU1608のアクセスの頻度を追跡し得る任意の数のアクセス・カウンタを含み得る。少なくとも1つの実施例では、(1つ又は複数の)アクセス・カウンタは、最も頻繁にページにアクセスしているプロセッサの物理メモリにメモリ・ページが移動されることを確実にするのを助け、それにより、プロセッサ間で共有されるメモリ範囲の効率を改善し得る。
少なくとも1つの実施例では、(1つ又は複数の)SoC1604のうちの1つ又は複数は、本明細書で説明されるものを含む、任意の数のキャッシュ1612を含み得る。たとえば、少なくとも1つの実施例では、(1つ又は複数の)キャッシュ1612は、(1つ又は複数の)CPU1606と(1つ又は複数の)GPU1608の両方にとって利用可能である(たとえば、(1つ又は複数の)CPU1606と(1つ又は複数の)GPU1608の両方に接続された)レベル3(「L3」)キャッシュを含むことができる。少なくとも1つの実施例では、(1つ又は複数の)キャッシュ1612は、キャッシュ・コヒーレンス・プロトコル(たとえば、MEI、MESI、MSIなど)を使用することなどによって、ラインの状態を追跡し得るライト・バック・キャッシュを含み得る。少なくとも1つの実施例では、L3キャッシュは、実施例に応じて、4MB以上を含み得るが、より小さいキャッシュ・サイズが使用され得る。
少なくとも1つの実施例では、(1つ又は複数の)SoC1604のうちの1つ又は複数は、1つ又は複数のアクセラレータ1614(たとえば、ハードウェア・アクセラレータ、ソフトウェア・アクセラレータ、又はこれらの組合せ)を含み得る。少なくとも1つの実施例では、(1つ又は複数の)SoC1604は、最適化されたハードウェア・アクセラレータ及び/又は大型のオンチップ・メモリを含み得るハードウェア加速クラスタを含み得る。少なくとも1つの実施例では、大型のオンチップ・メモリ(たとえば、4MBのSRAM)は、ハードウェア加速クラスタが、ニューラル・ネットワーク及び他の計算を加速することを可能にし得る。少なくとも1つの実施例では、ハードウェア加速クラスタは、(1つ又は複数の)GPU1608を補完し、(1つ又は複数の)GPU1608のタスクのうちのいくつかをオフロードするために(たとえば、他のタスクを実施するために(1つ又は複数の)GPU1608のサイクルをより多く解放するために)使用され得る。少なくとも1つの実施例では、加速を受け入れるのに十分なほど安定している対象のワークロード(たとえば、認知、畳み込みニューラル・ネットワーク(「CNN」)、リカレント・ニューラル・ネットワーク(「RNN」:recurrent neural network)など)のために、(1つ又は複数の)アクセラレータ1614が使用され得る。少なくとも1つの実施例では、CNNは、領域ベースの、すなわち領域畳み込みニューラル・ネットワーク(「RCNN」:regional convolutional neural network)、及び(たとえば、物体検出のために使用されるような)高速RCNN、又は他のタイプのCNNを含み得る。
少なくとも1つの実施例では、(1つ又は複数の)アクセラレータ1614(たとえば、ハードウェア加速クラスタ)は、(1つ又は複数の)深層学習アクセラレータ(「DLA」:deep learning accelerator)を含み得る。(1つ又は複数の)DLAは、限定はしないが、1つ又は複数のTensor処理ユニット(「TPU」:Tensor processing unit)を含み得、1つ又は複数のTensor処理ユニットは、深層学習アプリケーション及び推論のために、追加の、毎秒10兆の演算を提供するように構成され得る。少なくとも1つの実施例では、(1つ又は複数の)TPUは、(たとえば、CNN、RCNNなどのための)画像処理機能を実施するように構成され、そのために最適化されたアクセラレータであり得る。(1つ又は複数の)DLAは、ニューラル・ネットワーク・タイプと浮動小数点演算の特定のセット、並びに推論のためにさらに最適化され得る。少なくとも1つの実施例では、(1つ又は複数の)DLAの設計は、一般的な汎用GPUよりも多くのミリメートル当たりの性能を提供し得、一般的には、CPUの性能をはるかに超える。少なくとも1つの実施例では、(1つ又は複数の)TPUは、たとえば、特徴と重みの両方のためのINT8、INT16、及びFP16のデータ・タイプをサポートする、単一インスタンスの畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実施し得る。少なくとも1つの実施例では、(1つ又は複数の)DLAは、たとえば、限定はしないが、カメラ・センサからのデータを使用する物体識別及び検出のためのCNN、カメラ・センサからのデータを使用する距離推定のためのCNN、マイクロフォン1696からのデータを使用する緊急車両検出及び識別及び検出のためのCNN、カメラ・センサからのデータを使用する顔認識及び車両所有者識別のためのCNN、並びに/或いはセキュリティ及び/又は安全関係イベントのためのCNNを含む、様々な機能のいずれかのための処理された又は処理されていないデータに対して、ニューラル・ネットワーク、特にCNNを、迅速に及び効率的に実行し得る。
少なくとも1つの実施例では、(1つ又は複数の)DLAは、(1つ又は複数の)GPU1608の任意の機能を実施し得、たとえば、推論アクセラレータを使用することによって、設計者は、任意の機能のために(1つ又は複数の)DLA又は(1つ又は複数の)GPU1608のいずれかをターゲットにし得る。たとえば、少なくとも1つの実施例では、設計者は、CNN及び浮動小数点演算の処理を(1つ又は複数の)DLAに集中させ、他の機能を(1つ又は複数の)GPU1608及び/又は(1つ又は複数の)他のアクセラレータ1614に任せ得る。
少なくとも1つの実施例では、(1つ又は複数の)アクセラレータ1614(たとえば、ハードウェア加速クラスタ)は、(1つ又は複数の)プログラマブル・ビジョン・アクセラレータ(「PVA」:programmable vision accelerator)を含み得、プログラマブル・ビジョン・アクセラレータは、本明細書では代替的にコンピュータ・ビジョン・アクセラレータと呼ばれることがある。少なくとも1つの実施例では、(1つ又は複数の)PVAは、先進ドライバ支援システム(「ADAS」)1638、自律運転、拡張現実(「AR」)アプリケーション、及び/又は仮想現実(「VR」)アプリケーションのために、コンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。(1つ又は複数の)PVAは、性能とフレキシビリティとの間の均衡を提供し得る。たとえば、少なくとも1つの実施例では、各(1つ又は複数の)PVAは、たとえば、限定はしないが、任意の数の縮小命令セット・コンピュータ(「RISC」:reduced instruction set computer)コア、ダイレクト・メモリ・アクセス(「DMA」:direct memory access)、及び/又は任意の数のベクトル・プロセッサを含み得る。
少なくとも1つの実施例では、RISCコアは、画像センサ(たとえば、本明細書で説明されるカメラのいずれかの画像センサ)、(1つ又は複数の)画像信号プロセッサなどと対話し得る。少なくとも1つの実施例では、RISCコアの各々は、任意の量のメモリを含み得る。少なくとも1つの実施例では、RISCコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用し得る。少なくとも1つの実施例では、RISCコアは、リアルタイム・オペレーティング・システム(「RTOS」:real-time operating system)を実行し得る。少なくとも1つの実施例では、RISCコアは、1つ又は複数の集積回路デバイス、特定用途向け集積回路(「ASIC」)、及び/又はメモリ・デバイスを使用して実装され得る。たとえば、少なくとも1つの実施例では、RISCコアは、命令キャッシュ及び/又は密結合RAMを含むことができる。
少なくとも1つの実施例では、DMAは、(1つ又は複数の)PVAの構成要素が(1つ又は複数の)CPU1606とは無関係にシステム・メモリにアクセスすることを可能にし得る。少なくとも1つの実施例では、DMAは、限定はしないが、多次元アドレッシング及び/又はサーキュラ・アドレッシングをサポートすることを含む、PVAに最適化を提供するために使用される任意の数の特徴をサポートし得る。少なくとも1つの実施例では、DMAは、6つ又はそれ以上のアドレッシング次元までをサポートし得、これらのアドレッシング次元は、限定はしないが、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び/又は深度ステッピングを含み得る。
少なくとも1つの実施例では、ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのためのプログラミングを効率的でフレキシブルに実行するように設計され得るプログラマブル・プロセッサであり、信号処理能力を提供し得る。少なくとも1つの実施例では、PVAは、PVAコアと、2つのベクトル処理サブシステム・パーティションとを含み得る。少なくとも1つの実施例では、PVAコアは、プロセッサ・サブシステム、(1つ又は複数の)DMAエンジン(たとえば、2つのDMAエンジン)、及び/又は他の周辺機器を含み得る。少なくとも1つの実施例では、ベクトル処理サブシステムは、PVAの1次処理エンジンとして動作し得、ベクトル処理ユニット(「VPU」:vector processing unit)、命令キャッシュ、及び/又はベクトル・メモリ(たとえば、「VMEM」:vector memory)を含み得る。少なくとも1つの実施例では、VPUは、たとえば、単一命令複数データ(「SIMD」:single instruction,multiple data)、超長命令語(「VLIW」)のデジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。少なくとも1つの実施例では、SIMDとVLIWとの組合せが、スループット及びスピードを向上させ得る。
少なくとも1つの実施例では、ベクトル・プロセッサの各々は、命令キャッシュを含み得、専用メモリに結合され得る。その結果、少なくとも1つの実施例では、ベクトル・プロセッサの各々は、他のベクトル・プロセッサとは無関係に実行するように構成され得る。少なくとも1つの実施例では、特定のPVA中に含まれるベクトル・プロセッサは、データ並列処理を採用するように構成され得る。たとえば、少なくとも1つの実施例では、単一のPVA中に含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、ただし画像の異なる領域上で実行し得る。少なくとも1つの実施例では、特定のPVA中に含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを同じ画像上で同時に実行するか、さらには、異なるアルゴリズムを連続した画像又は画像の部分上で実行し得る。少なくとも1つの実施例では、とりわけ、任意の数のPVAがハードウェア加速クラスタ中に含まれ得、任意の数のベクトル・プロセッサがPVAの各々中に含まれ得る。少なくとも1つの実施例では、(1つ又は複数の)PVAは、システムの全体的な安全性を向上させるために、追加のエラー訂正コード(「ECC」:Error Correction Code)メモリを含み得る。
少なくとも1つの実施例では、(1つ又は複数の)アクセラレータ1614(たとえば、ハードウェア加速クラスタ)は、(1つ又は複数の)アクセラレータ1614のための高帯域幅、低レイテンシのSRAMを提供するために、コンピュータ・ビジョン・ネットワーク・オンチップと、スタティック・ランダム・アクセス・メモリ(「SRAM」)とを含み得る。少なくとも1つの実施例では、オンチップ・メモリは、たとえば、限定はしないが、8つのフィールド構成可能メモリ・ブロックからなる少なくとも4MBのSRAMを含み得、これは、PVAとDLAの両方によってアクセス可能であり得る。少なくとも1つの実施例では、メモリ・ブロックの各ペアは、先進周辺バス(「APB」:advanced peripheral bus)インターフェースと、構成回路要素と、コントローラと、マルチプレクサとを含み得る。少なくとも1つの実施例では、任意のタイプのメモリが使用され得る。少なくとも1つの実施例では、PVA及びDLAは、メモリへの高速アクセスをPVA及びDLAに提供するバックボーンを介して、メモリにアクセスし得る。少なくとも1つの実施例では、バックボーンは、PVA及びDLAを(たとえば、APBを使用して)メモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。
少なくとも1つの実施例では、コンピュータ・ビジョン・ネットワーク・オンチップは、任意の制御信号/アドレス/データの送信の前に、PVAとDLAの両方が準備信号及び有効信号を提供すると決定するインターフェースを含み得る。少なくとも1つの実施例では、インターフェースは、制御信号/アドレス/データを送信するための別個の位相及び別個のチャネル、並びに継続的なデータ転送のためのバーストタイプ通信を提供し得る。少なくとも1つの実施例では、インターフェースは、国際標準化機構(「ISO」:International Organization for Standardization)26262又は国際電気標準会議(「IEC」:International Electrotechnical Commission)61508の規格に準拠し得るが、他の規格及びプロトコルが使用され得る。
少なくとも1つの実施例では、(1つ又は複数の)SoC1604のうちの1つ又は複数は、リアルタイム・レイ・トレーシング・ハードウェア・アクセラレータを含み得る。少なくとも1つの実施例では、リアルタイム・レイ・トレーシング・ハードウェア・アクセラレータは、RADAR信号解釈のための、音伝搬合成及び/又は分析のための、SONARシステムのシミュレーションのための、一般波形伝搬シミュレーションのための、ローカリゼーション及び/又は他の機能を目的としたLIDARデータとの比較のための、並びに/或いは他の使用法のための、リアルタイムの視覚化シミュレーションを生成するために、(たとえば、世界モデル内の)物体の位置及び範囲を迅速に及び効率的に決定するために使用され得る。
少なくとも1つの実施例では、(1つ又は複数の)アクセラレータ1614(たとえば、ハードウェア・アクセラレータ・クラスタ)は、自律運転のための多様な使用法を有する。少なくとも1つの実施例では、PVAは、ADAS及び自律車両における主要な処理段階のために使用され得るプログラマブル・ビジョン・アクセラレータであり得る。少なくとも1つの実施例では、PVAの能力は、低電力及び低レイテンシでの予測可能な処理を必要とするアルゴリズム・ドメインについて良好にマッチする。言い換えれば、PVAは、低レイテンシ及び低電力とともに予測可能なランタイムを必要とする半稠密(semi-dense)又は稠密な規則的算出に対して、小さいデータ・セット上でも、良好に機能する。少なくとも1つの実施例では、車両1600などの自律車両、PVAは、それらが、物体検出及び整数数値の演算において効率的であるので、従来のコンピュータ・ビジョン・アルゴリズムを稼働するように設計される。
たとえば、技術の少なくとも1つの実施例によれば、PVAは、コンピュータ・ステレオ・ビジョンを実施するために使用される。少なくとも1つの実施例では、いくつかの実例においてセミグローバルなマッチング・ベースのアルゴリズムが使用され得るが、これは、限定するものではない。少なくとも1つの実施例では、レベル3~5の自律運転のためのアプリケーションは、動き推定/ステレオ・マッチング(たとえば、動きからの構造(structure from motion)、歩行者認識、車線検出など)をオンザフライで使用する。少なくとも1つの実施例では、PVAは、2つの単眼カメラからの入力に対して、コンピュータ・ステレオ・ビジョン機能を実施し得る。
少なくとも1つの実施例では、PVAは、高密度オプティカル・フローを実施するために使用され得る。たとえば、少なくとも1つの実施例では、PVAは、未加工のRADARデータを(たとえば、4Dの高速フーリエ変換を使用して)処理して、処理されたRADARデータを提供することができる。少なくとも1つの実施例では、PVAは、たとえば、処理された飛行時間データを提供するために、未加工の飛行時間データを処理することによって、飛行時間の深度処理のために使用される。
少なくとも1つの実施例では、DLAは、たとえば、限定はしないが、各物体検出についての信頼性の測度を出力するニューラル・ネットワークを含む、制御及び運転の安全性を向上させるための任意のタイプのネットワークを稼働するために使用され得る。少なくとも1つの実施例では、信頼性は、他の検出と比較した各検出の確率として、又はその相対的な「重み」を提供するものとして表されるか、又は解釈され得る。少なくとも1つの実施例では、信頼性は、システムが、どの検出が偽陽性(false positive)検出ではなく真陽性(true positive)検出と見なされるべきであるかに関して、さらなる判定を行うことを可能にする。たとえば、少なくとも1つの実施例では、システムは、信頼性についてのしきい値を設定し、しきい値を超える検出のみを真陽性検出と見なし得る。自動緊急ブレーキ(「AEB」:automatic emergency braking)システムが使用される実施例では、偽陽性検出は、車両が自動的に緊急ブレーキをかけることを引き起こし、これは明らかに望ましくない。少なくとも1つの実施例では、非常に信頼性の高い検出が、AEBのためのトリガと見なされ得る。少なくとも1つの実施例では、DLAは、信頼性値を回帰するためにニューラル・ネットワークを稼働し得る。少なくとも1つの実施例では、ニューラル・ネットワークは、とりわけ、バウンディング・ボックスの次元、(たとえば、別のサブシステムから)取得されたグランド・プレーン推定値、車両1600の向きと相関する(1つ又は複数の)IMUセンサ1666からの出力、距離、ニューラル・ネットワーク及び/又は他のセンサ(たとえば、(1つ又は複数の)LIDARセンサ1664又は(1つ又は複数の)RADARセンサ1660)から取得された物体の3Dロケーション推定値など、パラメータの少なくとも一部のサブセットを、その入力としてとり得る。
少なくとも1つの実施例では、(1つ又は複数の)SoC1604のうちの1つ又は複数は、(1つ又は複数の)データ・ストア1616(たとえば、メモリ)を含み得る。少なくとも1つの実施例では、(1つ又は複数の)データ・ストア1616は、(1つ又は複数の)SoC1604のオンチップ・メモリであり得、このオンチップ・メモリは、(1つ又は複数の)GPU1608及び/又はDLA上で実行されるべきニューラル・ネットワークを記憶し得る。少なくとも1つの実施例では、(1つ又は複数の)データ・ストア1616は、容量が、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分なほど大きくなり得る。少なくとも1つの実施例では、(1つ又は複数の)データ・ストア1616は、(1つ又は複数の)L2又はL3キャッシュを備え得る。
少なくとも1つの実施例では、(1つ又は複数の)SoC1604のうちの1つ又は複数は、任意の数のプロセッサ1610(たとえば、組み込みプロセッサ)を含み得る。少なくとも1つの実施例では、(1つ又は複数の)プロセッサ1610は、ブート電力並びに管理機能及び関係するセキュリティ執行に対処するための専用プロセッサ及びサブシステムであり得る、ブート及び電力管理プロセッサを含み得る。少なくとも1つの実施例では、ブート及び電力管理プロセッサは、(1つ又は複数の)SoC1604のブート・シーケンスの一部であり得、ランタイム電力管理サービスを提供し得る。少なくとも1つの実施例では、ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、(1つ又は複数の)SoC1604の熱及び温度センサの管理、並びに/又は(1つ又は複数の)SoC1604の電力状態の管理を提供し得る。少なくとも1つの実施例では、各温度センサは、その出力周波数が温度に比例するリング発振器として実装され得、(1つ又は複数の)SoC1604は、リング発振器を使用して、(1つ又は複数の)CPU1606、(1つ又は複数の)GPU1608、及び/又は(1つ又は複数の)アクセラレータ1614の温度を検出し得る。少なくとも1つの実施例では、温度がしきい値を超えると決定された場合、ブート及び電力管理プロセッサは、温度障害ルーチンに入り、(1つ又は複数の)SoC1604を低電力状態にし、及び/又は車両1600を運転手-安全停止モード(chauffeur to safe stop mode)にし(たとえば、車両1600を安全停止させ)得る。
少なくとも1つの実施例では、(1つ又は複数の)プロセッサ1610は、オーディオ処理エンジンとして働き得る組み込みプロセッサのセットをさらに含み得る。少なくとも1つの実施例では、オーディオ処理エンジンは、複数のインターフェースを介した多チャネル・オーディオ、及び幅広くフレキシブルな様々なオーディオI/Oインターフェースのための、完全なハードウェア・サポートを可能にする、オーディオ・サブシステムであり得る。少なくとも1つの実施例では、オーディオ処理エンジンは、専用RAMをもつデジタル信号プロセッサをもつ専用プロセッサ・コアである。
少なくとも1つの実施例では、(1つ又は複数の)プロセッサ1610は、低電力センサ管理及び立ち上げ使用事例をサポートするのに必要なハードウェア特徴を提供し得る常時オン・プロセッサ・エンジンをさらに含み得る。少なくとも1つの実施例では、常時オン・プロセッサ・エンジンは、限定はしないが、プロセッサ・コア、密結合RAM、サポート周辺機器(たとえば、タイマ及び割込みコントローラ)、様々なI/Oコントローラ周辺機器、及びルーティング論理を含み得る。
少なくとも1つの実施例では、(1つ又は複数の)プロセッサ1610は、安全クラスタ・エンジンをさらに含み得、安全クラスタ・エンジンは、限定はしないが、自動車用途のための安全管理に対処するための専用プロセッサ・サブシステムを含む。少なくとも1つの実施例では、安全クラスタ・エンジンは、限定はしないが、2つ又はそれ以上のプロセッサ・コア、密結合RAM、サポート周辺機器(たとえば、タイマ、割込みコントローラなど)、及び/又はルーティング論理を含み得る。安全モードでは、2つ又はそれ以上のコアは、少なくとも1つの実施例では、ロックステップ・モードで動作し、それらの動作間で何らかの差を検出するための比較論理をもつ単一コアとして機能し得る。少なくとも1つの実施例では、(1つ又は複数の)プロセッサ1610は、リアルタイム・カメラ・エンジンをさらに含み得、リアルタイム・カメラ・エンジンは、限定はしないが、リアルタイム・カメラ管理に対処するための専用プロセッサ・サブシステムを含み得る。少なくとも1つの実施例では、(1つ又は複数の)プロセッサ1610は、高ダイナミック・レンジ信号プロセッサをさらに含み得、高ダイナミック・レンジ信号プロセッサは、限定はしないが、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る。
少なくとも1つの実施例では、(1つ又は複数の)プロセッサ1610は、ビデオ画像合成器を含み得、ビデオ画像合成器は、プレーヤ・ウィンドウのための最終画像を作り出すためにビデオ再生アプリケーションによって必要とされるビデオ後処理機能を実装する(たとえば、マイクロプロセッサ上に実装された)処理ブロックであり得る。少なくとも1つの実施例では、ビデオ画像合成器は、(1つ又は複数の)広角カメラ1670、(1つ又は複数の)周囲カメラ1674、及び/又は(1つ又は複数の)キャビン内監視カメラ・センサに対して、レンズゆがみ補正を実施し得る。少なくとも1つの実施例では、(1つ又は複数の)キャビン内監視カメラ・センサは、好ましくは、キャビン内のイベントを識別し、それに応じて応答するように構成された、(1つ又は複数の)SoC1604の別のインスタンス上で稼働しているニューラル・ネットワークによって監視される。少なくとも1つの実施例では、キャビン内システムは、限定はしないが、セルラー・サービスをアクティブ化し、電話をかけ、電子メールを書き、車両の行き先を変更し、車両のインフォテイメント・システム及び設定をアクティブ化又は変更し、或いはボイス作動式のウェブ・サーフィンを提供するために、読唇を実施し得る。少なくとも1つの実施例では、いくつかの機能は、車両が自律モードで動作しているときにドライバにとって利用可能であり、他の場合に使用不可にされる。
少なくとも1つの実施例では、ビデオ画像合成器は、空間と時間の両方のノイズ低減のための拡張された時間的ノイズ低減を含み得る。たとえば、少なくとも1つの実施例では、ビデオ中で動きが発生した場合、ノイズ低減が空間情報に適切に重み付けし、隣接するフレームによって提供される情報の重みを減少させる。少なくとも1つの実施例では、画像又は画像の一部分が動きを含まない場合、ビデオ画像合成器によって実施される時間的ノイズ低減は、前の画像からの情報を使用して、現在の画像中のノイズを低減し得る。
少なくとも1つの実施例では、ビデオ画像合成器はまた、入力されたステレオ・レンズ・フレームに対してステレオ平行化(stereo rectification)を実施するように構成され得る。少なくとも1つの実施例では、ビデオ画像合成器は、オペレーティング・システム・デスクトップが使用中であるとき、ユーザ・インターフェース合成のためにさらに使用され得、(1つ又は複数の)GPU1608は、新しい表面を継続的にレンダリングすることを必要とされない。少なくとも1つの実施例では、(1つ又は複数の)GPU1608が電源投入され、アクティブであり、3Dレンダリングを行っているとき、ビデオ画像合成器は、性能及び応答性を改善するために(1つ又は複数の)GPU1608をオフロードするために使用され得る。
少なくとも1つの実施例では、(1つ又は複数の)SoC1604のうちの1つ又は複数は、カメラからのビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース(「MIPI」:mobile industry processor interface)カメラ・シリアル・インターフェース、高速インターフェース、並びに/又はカメラ及び関係するピクセル入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。少なくとも1つの実施例では、(1つ又は複数の)SoC1604のうちの1つ又は複数は、(1つ又は複数の)入力/出力コントローラをさらに含み得、(1つ又は複数の)入力/出力コントローラは、ソフトウェアによって制御され得、特定の役割にコミットされていないI/O信号を受信するために使用され得る。
少なくとも1つの実施例では、(1つ又は複数の)SoC1604のうちの1つ又は複数は、周辺機器、オーディオ・エンコーダ/デコーダ(「コーデック」)、電力管理、及び/又は他のデバイスとの通信を可能にするための広範囲の周辺インターフェースをさらに含み得る。(1つ又は複数の)SoC1604は、(たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネットを介して接続された)カメラからのデータ、センサ(たとえば、イーサネットを介して接続され得る(1つ又は複数の)LIDARセンサ1664、(1つ又は複数の)RADARセンサ1660など)からのデータ、バス1602からのデータ(たとえば、車両1600のスピード、ハンドル位置など)、(たとえば、イーサネット又はCANバスを介して接続された)(1つ又は複数の)GNSSセンサ1658からのデータなどを処理するために使用され得る。少なくとも1つの実施例では、(1つ又は複数の)SoC1604のうちの1つ又は複数は、専用の高性能大容量ストレージ・コントローラをさらに含み得、この大容量ストレージ・コントローラは、それら自体のDMAエンジンを含み得、ルーチン・データ管理タスクから(1つ又は複数の)CPU1606を解放するために使用され得る。
少なくとも1つの実施例では、(1つ又は複数の)SoC1604は、自動化レベル3~5に及ぶフレキシブルなアーキテクチャをもつエンドツーエンド・プラットフォームであり得、それにより、多様性及び冗長性のためにコンピュータ・ビジョン及びADAS技法を活用し、効率的に利用する包括的な機能的安全性アーキテクチャを提供し、フレキシブルで、信頼できる運転ソフトウェア・スタックのためのプラットフォームを、深層学習ツールとともに提供する。少なくとも1つの実施例では、(1つ又は複数の)SoC1604は、従来のシステムよりも高速で、信頼でき、さらにはエネルギー効率及び空間効率が高くなり得る。たとえば、少なくとも1つの実施例では、(1つ又は複数の)アクセラレータ1614は、(1つ又は複数の)CPU1606、(1つ又は複数の)GPU1608、及び(1つ又は複数の)データ・ストア1616と組み合わせられたとき、レベル3~5の自律車両のための高速で効率的なプラットフォームを提供し得る。
少なくとも1つの実施例では、コンピュータ・ビジョン・アルゴリズムはCPU上で実行され得、このアルゴリズムは、多種多様な視覚データにわたって多種多様な処理アルゴリズムを実行するために、Cプログラミング言語などの高レベル・プログラミング言語を使用して構成され得る。しかしながら、少なくとも1つの実施例では、CPUは、しばしば、たとえば、実行時間及び電力消費に関係する要件など、多くのコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。少なくとも1つの実施例では、多くのCPUは、車両内ADASアプリケーション及び実際のレベル3~5の自律車両において使用される、複雑な物体検出アルゴリズムをリアルタイムで実行することができない。
本明細書で説明される実施例は、複数のニューラル・ネットワークが同時に及び/又は順次実施されることを可能にし、レベル3~5の自律運転機能性を可能にするために結果が一緒に組み合わせられることを可能にする。たとえば、少なくとも1つの実施例では、DLA又は個別GPU(たとえば、(1つ又は複数の)GPU1620)上で実行しているCNNは、テキスト及び単語認識を含み得、ニューラル・ネットワークがそれについて特に訓練されていない標識を含む交通標識をスーパーコンピュータが読み、理解することを可能にする。少なくとも1つの実施例では、DLAは、標識を識別し、解釈し、標識の意味的理解を提供することができ、その意味的理解を、CPUコンプレックス上で稼働している経路計画モジュールに渡すことができる、ニューラル・ネットワークをさらに含み得る。
少なくとも1つの実施例では、レベル3、4、又は5の運転に関して、複数のニューラル・ネットワークが同時に稼働され得る。たとえば、少なくとも1つの実施例では、電光とともに、「注意:点滅光は凍結状態(icy condition)を示す」からなる警告標識が、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。少なくとも1つの実施例では、標識自体は、第1の導入されたニューラル・ネットワーク(たとえば、訓練されたニューラル・ネットワーク)によって交通標識として識別され得、「点滅光は凍結状態を示す」というテキストは、第2の導入されたニューラル・ネットワークによって解釈され得、第2の導入されたニューラル・ネットワークは、点滅光が検出されたとき、凍結状態が存在することを車両の(好ましくはCPUコンプレックス上で実行している)経路計画ソフトウェアに知らせる。少なくとも1つの実施例では、点滅光は、第3の導入されたニューラル・ネットワークを複数のフレームにわたって動作させることによって識別され得、第3の導入されたニューラル・ネットワークが、車両の経路計画ソフトウェアに点滅光の存在(又は不在)を知らせる。少なくとも1つの実施例では、3つすべてのニューラル・ネットワークが、DLA内及び/又は(1つ又は複数の)GPU1608上などで同時に稼働し得る。
少なくとも1つの実施例では、顔認識及び車両所有者識別のためのCNNが、カメラ・センサからのデータを使用して、車両1600の承認済みのドライバ及び/又は所有者の存在を識別し得る。少なくとも1つの実施例では、所有者がドライバ・ドアに近づき、ライトをオンにしたときに車両を解錠し、セキュリティ・モードでは、所有者が車両から離れたときに車両を使用不可にするために、常時オン・センサ処理エンジンが使用され得る。このようにして、(1つ又は複数の)SoC1604は、窃盗及び/又は自動車乗っ取りに対するセキュリティを提供する。
少なくとも1つの実施例では、緊急車両検出及び識別のためのCNNが、マイクロフォン1696からのデータを使用して、緊急車両のサイレンを検出及び識別し得る。少なくとも1つの実施例では、(1つ又は複数の)SoC1604は、環境及び市街地の音を分類し、並びに視覚データを分類するために、CNNを使用する。少なくとも1つの実施例では、DLA上で稼働しているCNNは、緊急車両が近づいてくる相対的なスピードを(たとえば、ドップラ効果を使用することによって)識別するように訓練される。少なくとも1つの実施例では、CNNは、(1つ又は複数の)GNSSセンサ1658によって識別されるように、車両が動作している地域に特有の緊急車両を識別するようにも訓練され得る。少なくとも1つの実施例では、欧州で動作しているときは、CNNは欧州のサイレンを検出しようとし、米国にあるときは、CNNは北米のサイレンのみを識別しようとする。少なくとも1つの実施例では、緊急車両が検出されると、緊急車両安全ルーチンを実行し、車両の速度を落とし、道路脇に寄せ、車両を停止させ、及び/又は(1つ又は複数の)緊急車両が通過するまで、(1つ又は複数の)超音波センサ1662を併用して車両をアイドリングするために、制御プログラムが使用され得る。
少なくとも1つの実施例では、車両1600は、(1つ又は複数の)CPU1618(たとえば、(1つ又は複数の)個別CPU、又は(1つ又は複数の)dCPU)を含み得、(1つ又は複数の)CPU1618は、高速相互接続(たとえば、PCIe)を介して(1つ又は複数の)SoC1604に結合され得る。少なくとも1つの実施例では、(1つ又は複数の)CPU1618は、たとえばX86プロセッサを含み得る。(1つ又は複数の)CPU1618は、たとえば、ADASセンサと(1つ又は複数の)SoC1604との間で潜在的に一貫性のない結果を調停すること、並びに/或いは、(1つ又は複数の)コントローラ1636及び/又はチップ上のインフォテイメント・システム(「インフォテイメントSoC」)1630のステータス及び健全性を監視することを含む、様々な機能のいずれかを実施するために使用され得る。
少なくとも1つの実施例では、車両1600は、(1つ又は複数の)GPU1620(たとえば、(1つ又は複数の)個別GPU、又は(1つ又は複数の)dGPU)を含み得、(1つ又は複数の)GPU1620は、高速相互接続(たとえば、NVIDIAのNVLINK)を介して(1つ又は複数の)SoC1604に結合され得る。少なくとも1つの実施例では、(1つ又は複数の)GPU1620は、冗長な及び/又は異なるニューラル・ネットワークを実行することなどによって、追加の人工知能機能性を提供し得、車両1600のセンサからの入力(たとえば、センサ・データ)に少なくとも部分的に基づいて、ニューラル・ネットワークを訓練及び/又は更新するために使用され得る。
少なくとも1つの実施例では、車両1600は、ネットワーク・インターフェース1624をさらに含み得、ネットワーク・インターフェース1624は、限定はしないが、(1つ又は複数の)ワイヤレス・アンテナ1626(たとえば、セルラー・アンテナ、Bluetoothアンテナなど、異なる通信プロトコルのための1つ又は複数のワイヤレス・アンテナ1626)を含み得る。少なくとも1つの実施例では、ネットワーク・インターフェース1624は、クラウドとの(たとえば、(1つ又は複数の)サーバ及び/又は他のネットワーク・デバイスとの)、他の車両との、及び/又はコンピューティング・デバイス(たとえば、乗客のクライアント・デバイス)との、インターネットを介したワイヤレス接続性を可能にするために使用され得る。少なくとも1つの実施例では、他の車両と通信するために、車両160と他の車両との間に直接リンクが確立され得、及び/又は(たとえば、ネットワークにわたって及びインターネットを介して)間接リンクが確立され得る。少なくとも1つの実施例では、直接リンクは、車両間通信リンクを使用して提供され得る。車両間通信リンクは、車両1600の近傍の車両(たとえば、車両1600の前方、側方、及び/又は後方の車両)に関する情報を車両1600に提供し得る。少なくとも1つの実施例では、前述の機能性は、車両1600の協調型適応走行制御機能性の一部であり得る。
少なくとも1つの実施例では、ネットワーク・インターフェース1624は、変調及び復調機能性を提供し、(1つ又は複数の)コントローラ1636がワイヤレス・ネットワークを介して通信することを可能にする、SoCを含み得る。少なくとも1つの実施例では、ネットワーク・インターフェース1624は、ベースバンドから無線周波数へのアップ・コンバージョン、及び無線周波数からベースバンドへのダウン・コンバージョンのための無線周波数フロント・エンドを含み得る。少なくとも1つの実施例では、周波数コンバージョンは、任意の技術的に実現可能な様式で実施され得る。たとえば、周波数コンバージョンは、よく知られているプロセスを通して、及び/又はスーパー・ヘテロダイン・プロセスを使用して実施され得る。少なくとも1つの実施例では、無線周波数フロント・エンド機能性は、別個のチップによって提供され得る。少なくとも1つの実施例では、ネットワーク・インターフェースは、LTE、WCDMA(登録商標)、UMTS、GSM、CDMA2000、Bluetooth、Bluetooth LE、Wi-Fi、Z波、ZigBee、LoRaWAN、及び/又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能性を含み得る。
少なくとも1つの実施例では、車両1600は、(1つ又は複数の)データ・ストア1628をさらに含み得、(1つ又は複数の)データ・ストア1628は、限定はしないが、オフチップ(たとえば、(1つ又は複数の)SoC1604上にない)ストレージを含み得る。少なくとも1つの実施例では、(1つ又は複数の)データ・ストア1628は、限定はしないが、RAM、SRAM、ダイナミック・ランダム・アクセス・メモリ(「DRAM」)、ビデオ・ランダム・アクセス・メモリ(「VRAM」:video random-access memory)、フラッシュ、ハード・ディスク、並びに/或いは、少なくとも1ビットのデータを記憶し得る他の構成要素及び/又はデバイスを含む、1つ又は複数のストレージ要素を含み得る。
少なくとも1つの実施例では、車両1600は、マッピング、認知、占有グリッド生成、及び/又は経路計画機能を支援するために、(1つ又は複数の)GNSSセンサ1658(たとえば、GPS及び/又は補助GPSセンサ)をさらに含み得る。少なくとも1つの実施例では、たとえば、限定はしないが、イーサネット-シリアル(たとえば、RS-232)ブリッジをもつUSBコネクタを使用するGPSを含む、任意の数のGNSSセンサ1658が使用され得る。
少なくとも1つの実施例では、車両1600は、(1つ又は複数の)RADARセンサ1660をさらに含み得る。(1つ又は複数の)RADARセンサ1660は、暗闇及び/又は厳しい気象条件においてさえ、長距離車両検出のために車両1600によって使用され得る。少なくとも1つの実施例では、RADARの機能的安全性レベルは、ASIL Bであり得る。(1つ又は複数の)RADARセンサ1660は、いくつかの実例では、未加工のデータにアクセスするためのイーサネットへのアクセスとともに、制御のために(たとえば、(1つ又は複数の)RADARセンサ1660によって生成されたデータを送信するために)、及び物体追跡データにアクセスするために、CAN及び/又はバス1602を使用し得る。少なくとも1つの実施例では、多種多様なRADARセンサ・タイプが使用され得る。たとえば、限定はしないが、(1つ又は複数の)RADARセンサ1660は、前方、後方、及び側方のRADAR使用に好適であり得る。少なくとも1つの実施例では、(1つ又は複数の)RADARセンサ1660のうちの1つ又は複数は、(1つ又は複数の)パルス・ドップラRADARセンサである。
少なくとも1つの実施例では、(1つ又は複数の)RADARセンサ1660は、狭視野の長距離、広視野の短距離、短距離側方カバレージなど、異なる構成を含み得る。少なくとも1つの実施例では、長距離RADARは、適応走行制御機能性のために使用され得る。少なくとも1つの実施例では、長距離RADARシステムは、250m範囲内などの、2つ又はそれ以上の独立した走査によって実現される広い視野を提供し得る。少なくとも1つの実施例では、(1つ又は複数の)RADARセンサ1660は、静的物体と移動している物体とを区別するのを助け得、緊急ブレーキ支援及び前方衝突警告のためにADASシステム1638によって使用され得る。長距離RADARシステム中に含まれる(1つ又は複数の)センサ1660は、限定はしないが、複数の(たとえば、6つ又はそれ以上の)固定RADARアンテナ、並びに高速CAN及びFlexRayインターフェースをもつモノスタティック・マルチモーダルRADARを含み得る。少なくとも1つの実施例では、6つのアンテナがある場合、中央の4つのアンテナは、隣接する車線におけるトラフィックからの干渉が最小の状態で、より高速で車両1600の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。少なくとも1つの実施例では、他の2つのアンテナは、視野を拡大し、これは、車両1600の車線に入るか又はそこを出る車両を迅速に検出することを可能にし得る。
少なくとも1つの実施例では、中距離RADARシステムは、一実例として、最高160m(前方)又は80m(後方)の範囲と、最高42度(前方)又は150度(後方)の視野とを含み得る。少なくとも1つの実施例では、短距離RADARシステムは、限定はしないが、後方バンパの両端部に設置されるように設計された任意の数のRADARセンサ1660を含み得る。後方バンパの両端部に設置されたとき、少なくとも1つの実施例では、RADARセンサ・システムは、車両の後方及び隣の死角を常に監視する2本のビームを作成し得る。少なくとも1つの実施例では、短距離RADARシステムは、死角検出及び/又は車線変更支援のために、ADASシステム1638において使用され得る。
少なくとも1つの実施例では、車両1600は、(1つ又は複数の)超音波センサ1662をさらに含み得る。車両1600の前方、後方、及び/又は側方において位置決めされ得る(1つ又は複数の)超音波センサ1662は、駐車支援のために、並びに/又は占有グリッドを作成及び更新するために、使用され得る。少なくとも1つの実施例では、多種多様な(1つ又は複数の)超音波センサ1662が使用され得、異なる検出範囲(たとえば、2.5m、4m)について(1つ又は複数の)異なる超音波センサ1662が使用され得る。少なくとも1つの実施例では、(1つ又は複数の)超音波センサ1662は、機能的安全性レベルのASIL Bにおいて動作し得る。
少なくとも1つの実施例では、車両1600は、(1つ又は複数の)LIDARセンサ1664を含み得る。(1つ又は複数の)LIDARセンサ1664は、物体及び歩行者検出、緊急ブレーキ、衝突回避、並びに/又は他の機能のために使用され得る。少なくとも1つの実施例では、(1つ又は複数の)LIDARセンサ1664は、機能的安全性レベルASIL Bであり得る。少なくとも1つの実施例では、車両1600は、複数のLIDARセンサ1664(たとえば、2つ、4つ、6つなど)を含み得、それらのLIDARセンサ1664は、(たとえば、データをギガビット・イーサネット・スイッチに提供するために)イーサネットを使用し得る。
少なくとも1つの実施例では、(1つ又は複数の)LIDARセンサ1664は、360度の視野について、物体及びそれらの距離のリストを提供することが可能であり得る。少なくとも1つの実施例では、(1つ又は複数の)市販のLIDARセンサ1664は、たとえば、2cm~3cmの正確さをもつ、及び100Mbpsのイーサネット接続のサポートをもつ、ほぼ100mの宣伝された範囲を有し得る。少なくとも1つの実施例では、1つ又は複数の非突出型LIDARセンサ1664が使用され得る。そのような実施例では、(1つ又は複数の)LIDARセンサ1664は、車両1600の前方、後方、側方、及び/又は角に組み込まれ得る小さいデバイスとして実装され得る。少なくとも1つの実施例では、(1つ又は複数の)LIDARセンサ1664は、そのような実施例において、最高120度の水平視野と、35度の垂直視野とを、低反射性物体についてさえ200mの範囲で提供し得る。少なくとも1つの実施例では、(1つ又は複数の)前方に取り付けられたLIDARセンサ1664は、45度から135度の間の水平視野のために構成され得る。
少なくとも1つの実施例では、3DフラッシュLIDARなどのLIDAR技術も使用され得る。3DフラッシュLIDARは、レーザのフラッシュを送信ソースとして使用して、車両1600の周囲を最高でほぼ200mまで照射する。少なくとも1つの実施例では、フラッシュLIDARユニットは、限定はしないが、レセプタを含み、レセプタは、レーザ・パルスの通過時間と各ピクセル上での反射光とを記録し、それらは、車両1600から物体までの範囲に対応する。少なくとも1つの実施例では、フラッシュLIDARは、非常に正確でゆがみのない周囲画像が、レーザのフラッシュごとに生成されることを可能にし得る。少なくとも1つの実施例では、4つのフラッシュLIDARセンサが、車両1600の各側面において1つ導入され得る。少なくとも1つの実施例では、3DフラッシュLIDARシステムは、限定はしないが、ファン以外に可動部品のないソリッド・ステート3D凝視アレイ(staring array)LIDARカメラ(たとえば、非走査型LIDARデバイス)を含む。少なくとも1つの実施例では、(1つ又は複数の)フラッシュLIDARデバイスは、フレーム当たり5ナノ秒のクラスI(眼に安全な)レーザ・パルスを使用し得、3D範囲のポイント・クラウド及び位置同期された(co-registered)強度データの形態で反射レーザ光をキャプチャし得る。
少なくとも1つの実施例では、車両は、(1つ又は複数の)IMUセンサ1666をさらに含み得る。少なくとも1つの実施例では、(1つ又は複数の)IMUセンサ1666は、少なくとも1つの実施例では、車両1600の後方車軸の中央に位置し得る。少なくとも1つの実施例では、(1つ又は複数の)IMUセンサ1666は、たとえば、限定はしないが、(1つ又は複数の)加速度計、(1つ又は複数の)磁力計、(1つ又は複数の)ジャイロスコープ、(1つ又は複数の)磁気コンパス、及び/又は他のセンサ・タイプを含み得る。6軸の用途においてなど、少なくとも1つの実施例では、(1つ又は複数の)IMUセンサ1666は、限定はしないが、加速度計とジャイロスコープとを含み得る。9軸の用途においてなど、少なくとも1つの実施例では、(1つ又は複数の)IMUセンサ1666は、限定はしないが、加速度計と、ジャイロスコープと、磁力計とを含み得る。
少なくとも1つの実施例では、(1つ又は複数の)IMUセンサ1666は、微小電気機械システム(「MEMS」:micro-electro-mechanical systems)慣性センサ、高感度GPS受信機、及び先進Kalmanフィルタリング・アルゴリズムを組み合わせて、位置、速度、及び姿勢の推定値を提供する、小型の高性能GPS補強型慣性航法システム(「GPS/INS」:GPS-Aided Inertial Navigation System)として実装され得る。少なくとも1つの実施例では、(1つ又は複数の)IMUセンサ1666は、車両1600が、速度の変化を直接観察し、それを、GPSから(1つ又は複数の)IMUセンサ1666に相関させることによって、磁気センサからの入力を必要とせずに方位を推定することを可能にし得る。少なくとも1つの実施例では、(1つ又は複数の)IMUセンサ1666と(1つ又は複数の)GNSSセンサ1658とは、単一の統合されたユニットにおいて組み合わせられ得る。
少なくとも1つの実施例では、車両1600は、車両1600の中及び/又はその周りに置かれた(1つ又は複数の)マイクロフォン1696を含み得る。少なくとも1つの実施例では、(1つ又は複数の)マイクロフォン1696は、とりわけ、緊急車両検出及び識別のために使用され得る。
少なくとも1つの実施例では、車両1600は、(1つ又は複数の)ステレオ・カメラ1668、(1つ又は複数の)広角カメラ1670、(1つ又は複数の)赤外線カメラ1672、(1つ又は複数の)周囲カメラ1674、(1つ又は複数の)長距離カメラ1698、(1つ又は複数の)中距離カメラ1676、及び/又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。少なくとも1つの実施例では、カメラは、車両1600の全周辺の周りで画像データをキャプチャするために使用され得る。少なくとも1つの実施例では、使用されるカメラのタイプは、車両1600に依存する。少なくとも1つの実施例では、車両1600の周りで必要なカバレージを提供するために、カメラ・タイプの任意の組合せが使用され得る。少なくとも1つの実施例では、カメラの数は、実施例に応じて異なり得る。たとえば、少なくとも1つの実施例では、車両1600は、6台のカメラ、7台のカメラ、10台のカメラ、12台のカメラ、又は別の数のカメラを含むことができる。カメラは、一実例として、限定はしないが、ギガビット・マルチメディア・シリアル・リンク(「GMSL」:Gigabit Multimedia Serial Link)及び/又はギガビット・イーサネットをサポートし得る。少なくとも1つの実施例では、(1つ又は複数の)カメラの各々は、図16A及び図16Bに関して本明細書でより詳細に前に説明された。
少なくとも1つの実施例では、車両1600は、(1つ又は複数の)振動センサ1642をさらに含み得る。少なくとも1つの実施例では、(1つ又は複数の)振動センサ1642は、(1つ又は複数の)車軸など、車両1600の構成要素の振動を測定し得る。たとえば、少なくとも1つの実施例では、振動の変化は、路面の変化を示し得る。少なくとも1つの実施例では、2つ又はそれ以上の振動センサ1642が使用されるとき、路面の摩擦又はすべり量を決定するために振動の差が使用され得る(たとえば、振動の差が動力駆動車軸と自由回転車軸との間のものであるとき)。
少なくとも1つの実施例では、車両1600は、ADASシステム1638を含み得る。ADASシステム1638は、限定はしないが、いくつかの実例では、SoCを含み得る。少なくとも1つの実施例では、ADASシステム1638は、限定はしないが、任意の数及び組合せの自律/適応/自動走行制御(「ACC」:autonomous/adaptive/automatic cruise control)システム、協調型適応走行制御(「CACC」:cooperative adaptive cruise control)システム、正面クラッシュ警告(「FCW」:forward crash warning)システム、自動緊急ブレーキ(「AEB」)システム、車線逸脱警告(「LDW」)システム、車線維持支援(「LKA」:lane keep assist)システム、死角警告(「BSW」:blind spot warning)システム、後方クロス・トラフィック警告(「RCTW」:rear cross-traffic warning)システム、衝突警告(「CW」:collision warning)システム、車線センタリング(「LC」:lane centering)システム、並びに/或いは他のシステム、特徴、及び/又は機能性を含み得る。
少なくとも1つの実施例では、ACCシステムは、(1つ又は複数の)RADARセンサ1660、(1つ又は複数の)LIDARセンサ1664、及び/又は任意の数のカメラを使用し得る。少なくとも1つの実施例では、ACCシステムは、縦方向ACCシステム及び/又は横方向ACCシステムを含み得る。少なくとも1つの実施例では、縦方向ACCシステムは、車両1600の直前の車両までの距離を監視及び制御し、車両1600のスピードを自動的に調整して、前の車両からの安全な距離を維持する。少なくとも1つの実施例では、横方向ACCシステムは、距離の維持を実施し、必要なときに車線を変更するよう車両1600に忠告する。少なくとも1つの実施例では、横方向ACCは、LC及びCWなど、他のADAS用途に関係する。
少なくとも1つの実施例では、CACCシステムは、他の車両からの情報を使用し、この情報は、ワイヤレス・リンクを介して、又は間接的に、ネットワーク接続を介して(たとえば、インターネットを介して)、他の車両からネットワーク・インターフェース1624及び/又は(1つ又は複数の)ワイヤレス・アンテナ1626を介して受信され得る。少なくとも1つの実施例では、直接リンクは車両間(「V2V」:vehicle-to-vehicle)通信リンクによって提供され得、間接リンクはインフラストラクチャ車両間(「I2V」:infrastructure-to-vehicle)通信リンクによって提供され得る。一般に、V2V通信概念は、直前の先行車両(たとえば、車両1600の直前で同じ車線にいる車両)に関する情報を提供し、I2V通信概念は、さらにその前の交通に関する情報を提供する。少なくとも1つの実施例では、CACCシステムは、I2V情報ソースとV2V情報ソースのいずれか又は両方を含み得る。少なくとも1つの実施例では、車両1600の前の車両の情報があれば、CACCシステムは、より信頼できるものとなり得、それは、交通の流れの円滑さを改善し、道路上での渋滞を低減する可能性を有する。
少なくとも1つの実施例では、FCWシステムは、危険物についてドライバにアラートするように設計され、それにより、ドライバは是正アクションをとり得る。少なくとも1つの実施例では、FCWシステムは、ディスプレイ、スピーカー、及び/又は振動構成要素など、ドライバ・フィードバックに電気的に結合された専用プロセッサ、DSP、FPGA、及び/又はASICに結合された、正面カメラ及び/又は(1つ又は複数の)RADARセンサ1660を使用する。少なくとも1つの実施例では、FCWシステムは、音、視覚的警告、振動及び/又はクイック・ブレーキ・パルスなどの形態で警告を提供し得る。
少なくとも1つの実施例では、AEBシステムは、別の車両又は他の物体との差し迫った前方衝突を検出し、指定された時間又は距離パラメータ内にドライバが是正アクションをとらない場合、自動的にブレーキをかけ得る。少なくとも1つの実施例では、AEBシステムは、専用プロセッサ、DSP、FPGA、及び/又はASICに結合された(1つ又は複数の)正面カメラ及び/又は(1つ又は複数の)RADARセンサ1660を使用し得る。少なくとも1つの実施例では、AEBシステムが危険物を検出したとき、AEBシステムは、通常、最初に、是正アクションをとって衝突を回避するようにドライバにアラートし、ドライバが是正アクションをとらない場合、AEBシステムは、予測される衝突を防ぐか、又は少なくともその衝撃を軽減するために、自動的にブレーキをかけ得る。少なくとも1つの実施例では、AEBシステムは、動的ブレーキ・サポート及び/又はクラッシュ直前ブレーキなどの技法を含み得る。
少なくとも1つの実施例では、LDWシステムは、車両1600が車線の目印に交差したときにドライバにアラートするために、ハンドル又は座席の振動など、視覚的、聴覚的、及び/又は触覚的警告を提供する。少なくとも1つの実施例では、LDWシステムは、ドライバが方向指示器をアクティブ化することによって意図的な車線逸脱を示すとき、アクティブ化しない。少なくとも1つの実施例では、LDWシステムは、ディスプレイ、スピーカー、及び/又は振動構成要素など、ドライバ・フィードバックに電気的に結合された専用プロセッサ、DSP、FPGA、及び/又はASICに結合された、正面向きのカメラを使用し得る。少なくとも1つの実施例では、LKAシステムは、LDWシステムの変形形態である。LKAシステムは、車両1600が車線から出始めた場合に車両1600を是正するために操縦入力又はブレーキ制御を提供する。
少なくとも1つの実施例では、BSWシステムは、自動車の死角にある車両を検出し、その車両についてドライバに警告する。少なくとも1つの実施例では、BSWシステムは、合流すること又は車線を変更することが安全ではないことを示すために、視覚的、聴覚的、及び/又は触覚的なアラートを提供し得る。少なくとも1つの実施例では、BSWシステムは、ドライバが方向指示器を使用したときに追加の警告を提供し得る。少なくとも1つの実施例では、BSWシステムは、ディスプレイ、スピーカー、及び/又は振動構成要素など、ドライバ・フィードバックに電気的に結合された専用プロセッサ、DSP、FPGA、及び/又はASICに結合された、(1つ又は複数の)背面向きのカメラ及び/又は(1つ又は複数の)RADARセンサ1660を使用し得る。
少なくとも1つの実施例では、RCTWシステムは、車両1600が後退しているときに物体が後方カメラの範囲外で検出されたとき、視覚的、聴覚的、及び/又は触覚的な通知を提供し得る。少なくとも1つの実施例では、RCTWシステムは、クラッシュを回避するために車両ブレーキがかけられることを確実にするためのAEBシステムを含む。少なくとも1つの実施例では、RCTWシステムは、ディスプレイ、スピーカー、及び/又は振動構成要素など、ドライバ・フィードバックに電気的に結合された専用プロセッサ、DSP、FPGA、及び/又はASICに結合された、1つ又は複数の背面RADARセンサ1660を使用し得る。
少なくとも1つの実施例では、従来のADASシステムは、偽陽性結果を出しがちなことがあり、これは、ドライバにとって迷惑であり、気が散るものであり得るが、従来のADASシステムが、ドライバにアラートし、ドライバが、安全条件が本当に存在するかどうかを判定し、それに応じて行動することを可能にするので、通常は大したことにはならない。少なくとも1つの実施例では、車両1600自体が、矛盾する結果の場合、1次コンピュータ(たとえば、第1のコントローラ1636)からの結果に従うのか、2次コンピュータ(たとえば、第2のコントローラ1636)からの結果に従うのかを判定する。たとえば、少なくとも1つの実施例では、ADASシステム1638は、バックアップ・コンピュータ合理性モジュールに認知情報を提供するためのバックアップ及び/又は2次コンピュータであり得る。少なくとも1つの実施例では、バックアップ・コンピュータ合理性モニタが、ハードウェア構成要素上の冗長な多様なソフトウェアを稼働して、認知及び動的運転タスクの障害を検出し得る。少なくとも1つの実施例では、ADASシステム1638からの出力は、監督MCU(supervisory MCU)に提供され得る。少なくとも1つの実施例では、1次コンピュータからの出力と2次コンピュータからの出力とが矛盾する場合、監督MCUが、安全な動作を確実にするために矛盾をどのように調和させるかを決定する。
少なくとも1つの実施例では、1次コンピュータは、選定された結果における1次コンピュータの信頼性を示す信頼性スコアを監督MCUに提供するように構成され得る。少なくとも1つの実施例では、信頼性スコアがしきい値を超える場合、2次コンピュータが、矛盾する又は一貫性のない結果を提供するかどうかにかかわらず、監督MCUは、1次コンピュータの指示に従い得る。少なくとも1つの実施例では、信頼性スコアがしきい値を満たさない場合、及び1次コンピュータと2次コンピュータとが異なる結果(たとえば、矛盾)を示す場合、監督MCUは、コンピュータ間で調停して、適切な帰結を決定し得る。
少なくとも1つの実施例では、監督MCUは、2次コンピュータが誤アラームを提供する条件を、1次コンピュータ及び2次コンピュータからの出力に少なくとも部分的に基づいて決定するように訓練及び構成された(1つ又は複数の)ニューラル・ネットワークを稼働するように構成され得る。少なくとも1つの実施例では、監督MCU中の(1つ又は複数の)ニューラル・ネットワークは、2次コンピュータの出力がいつ信用でき得るかと、それがいつ信用できないかとを学習し得る。たとえば、少なくとも1つの実施例では、2次コンピュータがRADARベースのFCWシステムであるとき、監督MCU中の(1つ又は複数の)ニューラル・ネットワークは、アラームをトリガする排水溝格子又はマンホール・カバーなど、実際には危険物ではない金属物体をFCWシステムがいつ識別しているかを学習し得る。少なくとも1つの実施例では、2次コンピュータがカメラ・ベースのLDWシステムであるとき、監督MCU中のニューラル・ネットワークは、自転車又は歩行者が存在し、車線逸脱が実際には最も安全な操作であるときにLDWを無効にするように学習し得る。少なくとも1つの実施例では、監督MCUは、(1つ又は複数の)ニューラル・ネットワークを、関連するメモリとともに稼働するのに好適なDLA又はGPUのうちの少なくとも1つを含み得る。少なくとも1つの実施例では、監督MCUは、(1つ又は複数の)SoC1604の構成要素を備え、及び/又はその構成要素として含められ得る。
少なくとも1つの実施例では、ADASシステム1638は、コンピュータ・ビジョンの従来のルールを使用してADAS機能性を実施する2次コンピュータを含み得る。少なくとも1つの実施例では、2次コンピュータは、従来のコンピュータ・ビジョン・ルール(if-then)を使用し得、監督MCU中の(1つ又は複数の)ニューラル・ネットワークの存在が、信頼性、安全性及び性能を改善し得る。たとえば、少なくとも1つの実施例では、多様な実装及び意図的な非同一性が、システム全体を、特にソフトウェア(又はソフトウェアとハードウェアのインターフェース)機能性によって引き起こされる障害に対して、より障害耐性のあるものにする。たとえば、少なくとも1つの実施例では、1次コンピュータ上で稼働しているソフトウェアにおいてソフトウェア・バグ又はエラーがあり、2次コンピュータ上で稼働している非同一のソフトウェア・コードが、同じ全体的な結果を提供する場合、監督MCUは、全体的な結果が正しく、1次コンピュータ上のソフトウェア又はハードウェアにおけるバグが重大なエラーを引き起こしていないという、より高い信頼性を有し得る。
少なくとも1つの実施例では、ADASシステム1638の出力は、1次コンピュータの認知ブロック及び/又は1次コンピュータの動的運転タスク・ブロックにフィードされ得る。たとえば、少なくとも1つの実施例では、ADASシステム1638が、直前の物体により正面クラッシュ警告を示す場合、認知ブロックは、物体を識別するときにこの情報を使用し得る。少なくとも1つの実施例では、2次コンピュータは、本明細書で説明されるように、訓練された、したがって偽陽性のリスクを低減する、それ自体のニューラル・ネットワークを有し得る。
少なくとも1つの実施例では、車両1600は、インフォテイメントSoC1630(たとえば、車両内インフォテイメント・システム(IVI:in-vehicle infotainment))をさらに含み得る。SoCとして示され、説明されるが、インフォテイメント・システム1630は、少なくとも1つの実施例では、SoCでないことがあり、限定はしないが、2つ又はそれ以上の個別の構成要素を含み得る。少なくとも1つの実施例では、インフォテイメントSoC1630は、限定はしないが、ハードウェアとソフトウェアとの組合せを含み得、この組合せは、オーディオ(たとえば、音楽、パーソナル・デジタル・アシスタント、ナビゲーション命令、ニュース、ラジオなど)、ビデオ(たとえば、TV、映画、ストリーミングなど)、電話(たとえば、ハンズフリー通話)、ネットワーク接続性(たとえば、LTE、Wi-Fiなど)、及び/又は情報サービス(たとえば、ナビゲーション・システム、後方駐車支援、無線データ・システム、燃料レベル、合計走行距離、ブレーキ燃料レベル、オイル・レベル、ドアの開閉、空気フィルタ情報などの車両関係情報など)を車両1600に提供するために使用され得る。たとえば、インフォテイメントSoC1630は、ラジオ、ディスク・プレーヤ、ナビゲーション・システム、ビデオ・プレーヤ、USB及びBluetooth接続性、カーピュータ、車内エンタテイメント、Wi-Fi、ハンドル・オーディオ制御、ハンズフリー・ボイス制御、ヘッドアップ・ディスプレイ(「HUD」:heads-up display)、HMIディスプレイ1634、テレマティックス・デバイス、(たとえば、様々な構成要素、特徴、及び/又はシステムを制御し、及び/又はそれらと対話するための)制御パネル、及び/又は他の構成要素を含むことができる。少なくとも1つの実施例では、インフォテイメントSoC1630は、ADASシステム1638からの情報、計画された車両操作、軌道などの自律運転情報、周囲環境情報(たとえば、交差点情報、車両情報、道路情報など)、及び/又は他の情報など、(たとえば、視覚的及び/又は聴覚的な)情報を車両の(1人又は複数の)ユーザに提供するために、さらに使用され得る。
少なくとも1つの実施例では、インフォテイメントSoC1630は、任意の量及びタイプのGPU機能性を含み得る。少なくとも1つの実施例では、インフォテイメントSoC1630は、バス1602(たとえば、CANバス、イーサネットなど)を介して、車両1600の他のデバイス、システム、及び/又は構成要素と通信し得る。少なくとも1つの実施例では、インフォテイメントSoC1630は監督MCUに結合され得、それにより、(1つ又は複数の)1次コントローラ1636(たとえば、車両1600の1次及び/又はバックアップ・コンピュータ)が故障した場合、インフォテイメント・システムのGPUが、いくつかの自己運転機能を実施し得る。少なくとも1つの実施例では、インフォテイメントSoC1630は、本明細書で説明されるように、車両1600を運転手-安全停止モードにし得る。
少なくとも1つの実施例では、車両1600は、計器クラスタ1632(たとえば、デジタル・ダッシュボード、電子計器クラスタ、デジタル計器パネルなど)をさらに含み得る。少なくとも1つの実施例では、計器クラスタ1632は、限定はしないが、コントローラ及び/又はスーパーコンピュータ(たとえば、個別のコントローラ又はスーパーコンピュータ)を含み得る。少なくとも1つの実施例では、計器クラスタ1632は、限定はしないが、スピードメータ、燃料レベル、油圧、タコメータ、オドメータ、方向インジケータ、シフトレバー位置インジケータ、(1つ又は複数の)シート・ベルト警告灯、(1つ又は複数の)駐車ブレーキ警告灯、(1つ又は複数の)エンジン不調灯、補助拘束システム(たとえば、エアバッグ)情報、ライト制御、安全システム制御、ナビゲーション情報など、任意の数及び組合せの計装セットを含み得る。いくつかの実例では、情報は表示され、及び/又は、インフォテイメントSoC1630と計器クラスタ1632との間で共有され得る。少なくとも1つの実施例では、計器クラスタ1632は、インフォテイメントSoC1630の一部として含められ得、その逆もまた同様である。
1つ又は複数の実施例に関連付けられた推論及び/又は訓練動作を実施するために、推論及び/又は訓練論理715が使用される。推論及び/又は訓練論理715に関する詳細は、図7A及び/又は図7Bと併せて以下で提供される。少なくとも1つの実施例では、推論及び/又は訓練論理715は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び/又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図16Aのシステムにおいて使用され得る。
図16Bは、少なくとも1つの実施例による、(1つ又は複数の)クラウド・ベースのサーバと図16Aの自律車両1600との間の通信のためのシステム1676の図である。少なくとも1つの実施例では、システム1676は、限定はしないが、(1つ又は複数の)サーバ1678と、(1つ又は複数の)ネットワーク1690と、車両1600を含む任意の数及びタイプの車両とを含み得る。少なくとも1つの実施例では、(1つ又は複数の)サーバ1678は、限定はしないが、(総称して、本明細書ではGPU1684と呼ばれる)複数のGPU1684(A)~1684(H)、(総称して、本明細書ではPCIeスイッチ1682と呼ばれる)PCIeスイッチ1682(A)~1682(D)、及び/又は(総称して、本明細書ではCPU1680と呼ばれる)CPU1680(A)~1680(B)を含み得る。GPU1684と、CPU1680と、PCIeスイッチ1682とは、たとえば、限定はしないが、NVIDIAによって開発されたNVLinkインターフェース1688及び/又はPCIe接続1686など、高速相互接続で相互接続され得る。少なくとも1つの実施例では、GPU1684は、NVLink及び/又はNVSwitch SoCを介して接続され、GPU1684とPCIeスイッチ1682とは、PCIe相互接続を介して接続される。少なくとも1つの実施例では、8つのGPU1684と、2つのCPU1680と、4つのPCIeスイッチ1682とが示されているが、これは限定するものではない。少なくとも1つの実施例では、(1つ又は複数の)サーバ1678の各々は、限定はしないが、任意の数のGPU1684、CPU1680、及び/又はPCIeスイッチ1682を任意の組合せで含み得る。たとえば、少なくとも1つの実施例では、(1つ又は複数の)サーバ1678は、各々、8つ、16個、32個、及び/又はそれ以上のGPU1684を含むことができる。
少なくとも1つの実施例では、(1つ又は複数の)サーバ1678は、最近始まった道路工事など、予想外の又は変更された道路条件を示す画像を表す画像データを、(1つ又は複数の)ネットワーク1690を介して、車両から受信し得る。少なくとも1つの実施例では、(1つ又は複数の)サーバ1678は、ニューラル・ネットワーク1692、更新されたニューラル・ネットワーク1692、及び/或いは、限定はしないが、交通及び道路条件に関する情報を含む、マップ情報1694を、(1つ又は複数の)ネットワーク1690を介して、車両に送信し得る。少なくとも1つの実施例では、マップ情報1694の更新は、限定はしないが、建築現場、穴、迂回路、洪水、及び/又は他の障害物に関する情報など、HDマップ1622についての更新を含み得る。少なくとも1つの実施例では、ニューラル・ネットワーク1692、更新されたニューラル・ネットワーク1692、及び/又はマップ情報1694は、環境における任意の数の車両から受信されたデータにおいて表された新しい訓練及び/又は体験から、並びに/或いは、データ・センタにおいて(たとえば、(1つ又は複数の)サーバ1678及び/又は他のサーバを使用して)実施された訓練に少なくとも部分的に基づいて、生じていることがある。
少なくとも1つの実施例では、(1つ又は複数の)サーバ1678は、訓練データに少なくとも部分的に基づいて機械学習モデル(たとえば、ニューラル・ネットワーク)を訓練するために使用され得る。少なくとも1つの実施例では、訓練データは、車両によって生成され得、及び/又はシミュレーションにおいて(たとえば、ゲーム・エンジンを使用して)生成され得る。少なくとも1つの実施例では、任意の量の訓練データが、(たとえば、関連するニューラル・ネットワークが教師あり学習から恩恵を受ける場合)タグ付けされ、及び/又は他の前処理を受ける。少なくとも1つの実施例では、任意の量の訓練データが、(たとえば、関連するニューラル・ネットワークが教師あり学習を必要としない場合)タグ付けされず、及び/又は前処理されない。少なくとも1つの実施例では、機械学習モデルが訓練されると、機械学習モデルは、車両によって使用(たとえば、(1つ又は複数の)ネットワーク1690を介して車両に送信され得、及び/又は、機械学習モデルは、車両をリモートで監視するために(1つ又は複数の)サーバ1678によって使用され得る。
少なくとも1つの実施例では、(1つ又は複数の)サーバ1678は、車両からデータを受信し、リアルタイム・インテリジェント推論のために最新のリアルタイム・ニューラル・ネットワークにデータを適用し得る。少なくとも1つの実施例では、(1つ又は複数の)サーバ1678は、NVIDIAによって開発されたDGX及びDGXステーション・マシンなど、(1つ又は複数の)GPU1684によって動く深層学習スーパーコンピュータ及び/又は専用AIコンピュータを含み得る。しかしながら、少なくとも1つの実施例では、(1つ又は複数の)サーバ1678は、CPUによって動くデータ・センタを使用する深層学習インフラストラクチャを含み得る。
少なくとも1つの実施例では、(1つ又は複数の)サーバ1678の深層学習インフラストラクチャは、高速リアルタイム推論が可能であり得、その能力を使用して、車両1600中のプロセッサ、ソフトウェア、及び/又は関連するハードウェアの健全性を評定及び確認し得る。たとえば、少なくとも1つの実施例では、深層学習インフラストラクチャは、一連の画像、及び/又は(たとえば、コンピュータ・ビジョン及び/又は他の機械学習物体分類技法を介して)その一連の画像において車両1600が位置を特定した物体など、周期的な更新を車両1600から受信し得る。少なくとも1つの実施例では、深層学習インフラストラクチャは、それ自体のニューラル・ネットワークを稼働して物体を識別し、それらを、車両1600によって識別された物体と比較し得、結果がマッチせず、車両1600中のAIが誤動作していると深層学習インフラストラクチャが結論付けた場合、(1つ又は複数の)サーバ1678は、車両1600のフェイル・セーフ・コンピュータに、制御を掌握し、乗客に通知し、安全な駐車操作を完了するように命令する信号を、車両1600に送信し得る。
少なくとも1つの実施例では、(1つ又は複数の)サーバ1678は、(1つ又は複数の)GPU1684と、1つ又は複数のプログラマブル推論アクセラレータ(たとえば、NVIDIAのTensorRT3)とを含み得る。少なくとも1つの実施例では、GPUによって動くサーバと推論の加速との組合せが、リアルタイム応答を可能にし得る。性能がそれほど重要ではない場合など、少なくとも1つの実施例では、CPU、FPGA、及び他のプロセッサによって動くサーバが、推論のために使用され得る。少なくとも1つの実施例では、1つ又は複数の実施例を実施するために、推論及び/又は訓練論理715が使用される。推論及び/又は訓練論理715に関する詳細は、図7A及び/又は図7Bと併せて以下で提供される。
他の変形形態は、本開示の範囲内にある。したがって、開示される技法は、様々な修正及び代替構築が可能であるが、それらのいくつかの例示的な実施例が図面に示され、上記で詳細に説明された。しかしながら、特定の1つ又は複数の開示された形態に本開示を限定する意図はなく、その反対に、添付の特許請求の範囲において定義されるように、開示の趣旨及び範囲に入るすべての修正形態、代替構築、及び等価物を網羅することを意図している。
開示される実施例を説明する文脈において(特に、以下の特許請求の範囲の文脈において)「a」及び「an」及び「the」という用語、並びに同様の指示語を使用することは、本明細書に別段の記載のない限り、又は文脈によって明らかに否定されない限り、単数と複数の両方を網羅すると解釈されるべきであり、用語の定義であると解釈されるべきではない。「含む、備える(comprising)」、「有する(having)」、「含む(including)」、及び「含んでいる(containing)」という用語は、別段の記載のない限り、オープンエンドの用語(「限定はしないが、~を含む(including, but not limited to,)」を意味する)と解釈されるべきである。「接続される」という用語は、修飾されず、物理的接続を指しているとき、何か介在するものがある場合でも、部分的に又は完全に中に含まれているか、取り付けられるか、又は互いに接合されるものとして解釈されるべきである。本明細書で値の範囲を詳述することは、本明細書に別段の記載のない限り、及び各別個の値が、本明細書に個々に詳述されているかのように明細書に組み込まれていない限り、範囲内に入る各別個の値を個々に参照する簡潔な方法として働くことを単に意図しているにすぎない。「セット」(たとえば、「項目のセット」)又は「サブセット」という用語の使用は、文脈によって別段の記載がないか又は否定されない限り、1つ又は複数の部材を備える空ではない集合として解釈されるべきである。さらに、文脈によって別段の記載がないか又は否定されない限り、対応するセットの「サブセット」という用語は、対応するセットの厳密なサブセットを必ずしも指すとは限らず、サブセットと、対応するセットとは、等しくなり得る。
「A、B、及びCのうちの少なくとも1つ」又は「A、B及びCのうちの少なくとも1つ」という形態の言い回しなどの結合語は、別段の具体的な記載がないか又はさもなければ文脈によって明確に否定されない限り、別様に、項目、用語などが、A又はB又はCのいずれか、或いはAとBとCとのセットの任意の空でないサブセットであり得ることを提示するために一般に使用される文脈で、理解される。たとえば、3つの部材を有するセットの説明的な実例では、「A、B、及びCのうちの少なくとも1つ」並びに「A、B及びCのうちの少なくとも1つ」という結合句は、次のセットのいずれかを指す:{A}、{B}、{C}、{A、B}、{A、C}、{B、C}、{A、B、C}。したがって、そのような結合語は、いくつかの実施例が、Aのうちの少なくとも1つ、Bのうちの少なくとも1つ、及びCのうちの少なくとも1つの各々が存在することを必要とすることを全体的に暗示するものではない。さらに、別段の記載がないか又は文脈によって否定されない限り、「複数(plurality)」という用語は、複数である状態を示す(たとえば、「複数の項目(a plurality of items)」は複数の項目(multiple items)を示す)。複数(plurality)は、少なくとも2つの項目であるが、明示的に、又は文脈によってのいずれかでそのように示されているとき、それよりも多いことがある。さらに、別段の記載がないか又はさもなければ文脈から明らかでない限り、「~に基づいて」という言い回しは、「少なくとも部分的に~に基づいて」を意味し、「~のみに基づいて」を意味しない。
本明細書で説明されるプロセスの動作は、本明細書に別段の記載がないか又はさもなければ文脈によって明確に否定されない限り、任意の好適な順序で実施され得る。少なくとも1つの実施例では、本明細書で説明されるプロセス(又はその変形及び/又は組合せ)などのプロセスは、実行可能命令で構成された1つ又は複数のコンピュータ・システムの制御下で実施され、1つ又は複数のプロセッサ上で、ハードウェアによって、又はそれらの組合せによって集合的に実行するコード(たとえば、実行可能命令、1つ又は複数のコンピュータ・プログラム、又は1つ又は複数のアプリケーション)として実装される。少なくとも1つの実施例では、コードは、たとえば、1つ又は複数のプロセッサによって実行可能な複数の命令を備えるコンピュータ・プログラムの形態で、コンピュータ可読記憶媒体に記憶される。少なくとも1つの実施例では、コンピュータ可読記憶媒体は、一時的信号(たとえば、伝搬する一時的な電気又は電磁送信)を除外するが、一時的信号のトランシーバ内の非一時的データ・ストレージ回路要素(たとえば、バッファ、キャッシュ、及びキュー)を含む非一時的コンピュータ可読記憶媒体である。少なくとも1つの実施例では、コード(たとえば、実行可能コード又はソース・コード)は、1つ又は複数の非一時的コンピュータ可読記憶媒体のセットに記憶され、この記憶媒体は、コンピュータ・システムの1つ又は複数のプロセッサによって実行されたときに(すなわち、実行された結果として)、コンピュータ・システムに本明細書で説明される動作を実施させる実行可能命令を記憶している(又は、実行可能命令を記憶するための他のメモリを有する)。非一時的コンピュータ可読記憶媒体のセットは、少なくとも1つの実施例では、複数の非一時的コンピュータ可読記憶媒体を備え、複数の非一時的コンピュータ可読記憶媒体の個々の非一時的記憶媒体のうちの1つ又は複数は、コードのすべてがないが、複数の非一時的コンピュータ可読記憶媒体は、集合的にコードのすべてを記憶している。少なくとも1つの実施例では、実行可能命令は、異なる命令が異なるプロセッサによって実行されるように実行され、たとえば、非一時的コンピュータ可読記憶媒体は命令を記憶し、メイン中央処理ユニット(「CPU」)は命令のいくつかを実行し、グラフィックス処理ユニット(「GPU」)は他の命令を実行する。少なくとも1つの実施例では、コンピュータ・システムの異なる構成要素は、別個のプロセッサを有し、異なるプロセッサが命令の異なるサブセットを実行する。
したがって、少なくとも1つの実施例では、コンピュータ・システムは、本明細書で説明されるプロセスの動作を単独で又は集合的に実施する1つ又は複数のサービスを実装するように構成され、そのようなコンピュータ・システムは、動作の実施を可能にする適用可能なハードウェア及び/又はソフトウェアで構成される。さらに、本開示の少なくとも1つの実施例を実装するコンピュータ・システムは、単一のデバイスであり、別の実施例では、分散型コンピュータ・システムが本明細書で説明される動作を実施するように、及び単一のデバイスがすべての動作を実施しないように、異なるやり方で動作する複数のデバイスを備える分散型コンピュータ・システムである。
本明細書で提供されるあらゆる実例、又は例示的な言葉(たとえば、「など、などの(such as)」)の使用は、本開示の実施例をより明らかにすることのみを意図しており、別段の主張のない限り、本開示の範囲に制限を加えるものではない。本明細書のいかなる言葉も、特許請求されていない任意の要素を、本開示の実践に不可欠なものとして示すと解釈されるべきではない。
本明細書で引用される出版物、特許出願、及び特許を含むすべての参考文献は、各参考文献が参照により組み込まれることが個別に明確に示され、その全体が本明細書に記載されたかのように、それと同程度まで参照により本明細書に組み込まれる。
明細書及び特許請求の範囲において、「結合される」及び「接続される」という用語が、その派生語とともに使用され得る。これらの用語は、互いに同義語として意図されていないことがあることが理解されるべきである。むしろ、特定の実例では、「接続される」又は「結合される」は、2つ又はそれ以上の要素が物理的又は電気的に互いに直接又は間接的に接触していることを示すために使用され得る。「結合される」はまた、2つ又はそれ以上の要素が直接互いに接触していないが、それでもなお互いに連動又は対話することを意味し得る。
別段の具体的な記載がない限り、明細書全体を通して、「処理する(processing)」、「算出する(computing)」、「計算する(calculating)」、又は「決定する(determining)」などの用語は、コンピューティング・システムのレジスタ及び/又はメモリ内の、電子的などの物理的な量として表されるデータを、コンピューティング・システムのメモリ、レジスタ又は他のそのような情報ストレージ、送信、若しくはディスプレイ・デバイス内の物理的な量として同様に表される他のデータになるように操作及び/又は変換する、コンピュータ又はコンピューティング・システム、或いは同様の電子コンピューティング・デバイスのアクション及び/又はプロセスを指す。
同様に、「プロセッサ」という用語は、レジスタ及び/又はメモリからの電子データを処理し、その電子データを、レジスタ及び/又はメモリに記憶され得る他の電子データに変換する任意のデバイス、又はデバイスの一部分を指し得る。非限定的な実例として、「プロセッサ」は、CPU又はGPUであり得る。「コンピューティング・プラットフォーム」は、1つ又は複数のプロセッサを備え得る。本明細書で使用される「ソフトウェア」プロセスは、たとえば、タスク、スレッド、及び知的エージェントなど、経時的にワークを実施するソフトウェア及び/又はハードウェア・エンティティを含み得る。また、各プロセスは、命令を直列で又は並列で、連続的に又は断続的に行うための複数のプロセスを指し得る。「システム」及び「方法」という用語は、1つ又は複数の方法をシステムが具体化し得、方法がシステムと考えられ得る場合に限り、本明細書において交換可能に使用される。
本明細書では、アナログ・データ又はデジタル・データを取得すること、獲得すること、受信すること、或いはそれらをサブシステム、コンピュータ・システム、又はコンピュータ実装機械に入力することに言及し得る。アナログ・データ又はデジタル・データを取得すること、獲得すること、受信すること、又は入力することは、関数コール、又はアプリケーション・プログラミング・インターフェースへのコールのパラメータとしてデータを受信することによってなど、様々なやり方で実現され得る。いくつかの実装形態では、アナログ・データ又はデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、直列又は並列インターフェースを介してデータを転送することによって実現され得る。別の実装形態では、アナログ・データ又はデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、提供するエンティティから獲得するエンティティにコンピュータ・ネットワークを介してデータを転送することによって実現され得る。アナログ・データ又はデジタル・データを提供すること、出力すること、送信すること、送出すること、又は提示することにも言及し得る。様々な実例では、アナログ・データ又はデジタル・データを提供する、出力する、送信する、送出する、又は提示するプロセスは、関数コールの入力又は出力パラメータ、アプリケーション・プログラミング・インターフェース又はプロセス間通信機構のパラメータとしてデータを転送することによって実現され得る。
上記の説明は、説明された技法の例示的な実装形態について述べているが、他のアーキテクチャが、説明された機能性を実装するために使用され得、本開示の範囲内にあることが意図される。さらに、説明を目的として、責任の具体的な分散が上記で定義されたが、様々な機能及び責任は、状況に応じて異なるやり方で分散及び分割され得る。
さらに、主題は、構造的特徴及び/又は方法論的行為に特有の言語で説明されたが、添付の特許請求の範囲で特許請求される主題は、説明された特有の特徴又は行為に必ずしも限定されるとは限らないことが理解されるべきである。むしろ、特有の特徴及び行為は、特許請求の範囲を実装する例示的な形態として開示される。
Claims (20)
- ローカリゼーション・データの少なくとも2つのソースを使用して、ローカリゼーション決定を生成するステップと、
前記ローカリゼーション決定に対する信用を確認するために、前記ローカリゼーション決定を少なくとも2つの信用できるローカリゼーション値と比較するステップと、
環境認知の少なくとも2つのソースと前記ローカリゼーション決定とを使用して、ナビゲーション経路を生成するステップと、
前記ナビゲーション経路に対する信用を確認するために、前記ナビゲーション経路をナビゲーション経路データの少なくとも2つの信用できるソースと比較するステップと、
前記環境内の物体をナビゲートするために、前記ナビゲーション経路を制御システムに提供するステップと
を含む、方法。 - 前記物体が車両であり、前記ナビゲーション経路が、マップ・データの少なくとも1つのソースと前記車両上に対応する環境の認知の少なくとも1つのソースとを使用して生成された車線グラフを備える、請求項1に記載の方法。
- ローカリゼーション・データの前記ソースが、カメラ、全地球測位システム(GPS)、又はレーダー・システムのうちの少なくとも1つを含む、請求項1に記載の方法。
- 環境認知の前記ソースが、カメラ、レーダー・システム、又はLIDARシステム、超音波システム、或いは高精細度(HD)マップ・データのうちの少なくとも1つを含む、請求項1に記載の方法。
- 前記少なくとも2つの信用できるローカリゼーション値と比較する前記ステップを実施する前に、前記ローカリゼーション決定の信頼性を決定するステップと、
前記信頼性が信頼性しきい値を下回る場合、前記ローカリゼーション決定を、ローカリゼーション・データの前記少なくとも2つのソースからの最も信頼性があるローカリゼーション値で置き換えるステップと
をさらに含む、請求項1に記載の方法。 - ナビゲーション経路データの前記少なくとも2つの信用できるソースと比較する前記ステップを実施する前に、前記ナビゲーション経路の信頼性を決定するステップと、
前記信頼性が信頼性しきい値を下回る場合、前記ナビゲーション経路を、最高信頼性レベルに対応する、ローカリゼーション・データの前記少なくとも2つのソースからのナビゲーション・データで置き換えるステップと
をさらに含む、請求項1に記載の方法。 - ローカリゼーション・データの少なくとも1つのソースが一時的に利用不可能であるか又は信頼できないと決定するステップと、
ローカリゼーション・データの前記少なくとも1つのソースの代わりに履歴ローカリゼーション・データを利用するステップと
をさらに含む、請求項1に記載の方法。 - 利用可能性又は信頼性決定に基づいて、ローカリゼーション・データの前記少なくとも2つのソース又は環境認知の前記少なくとも2つのソースの選択を動的に調整するステップ
をさらに含む、請求項1に記載の方法。 - 並列経路生成器を使用して第2のナビゲーション経路を生成するステップと、
前記物体のナビゲーションのために前記ナビゲーション経路を提供すべきなのか、前記第2のナビゲーション経路を提供すべきなのかを動的に決定するステップと
をさらに含む、請求項1に記載の方法。 - 少なくとも2つの独立したソースから受信された独立したローカリゼーション決定に少なくとも部分的に基づいて融合ローカリゼーション決定を生成するためのローカリゼーション融合モジュールと、
前記融合ローカリゼーション決定と前記独立したローカリゼーション決定との一致に少なくとも部分的に基づいて前記融合ローカリゼーション決定に対する信頼性を決定するためのローカリゼーション・モニタと、
少なくとも2つの独立したソースから受信された独立した車線グラフに少なくとも部分的に基づいて、及びさらに前記融合ローカリゼーション決定に少なくとも部分的に基づいて、融合車線グラフを生成するための車線グラフ融合モジュールと、
前記融合車線グラフと前記独立した車線グラフとの一致に少なくとも部分的に基づいて前記融合車線グラフに対する信頼性を決定するための車線グラフ・モニタと、
前記融合車線グラフが少なくとも最小レベルの信頼性を有することに応答して、前記車両が前記融合車線グラフに従ってナビゲートすることを引き起こすための制御システムと
を備える、車両制御システム。 - 前記制御システムは、前記融合車線が最小レベル未満の信頼性を有することに応答して、前記車両が代替車線グラフに従ってナビゲートすることを引き起こすことになり、前記代替車線グラフが、少なくとも、前記独立した車線グラフ又は2次車線グラフ・ソースからの車線グラフのうちの1つを備える、請求項10に記載の車両制御システム。
- 前記独立したローカリゼーション決定又は前記独立した車線グラフのうちの少なくとも1つを決定する際に使用するためのデータをキャプチャするように構成された2つ又はそれ以上のセンサ・タイプの複数のセンサであって、前記センサ・タイプが、カメラ、レーダー、超音波、LIDAR、GPS、又はIMUデータのうちの少なくとも1つを含む、複数のセンサをさらに備える、請求項10に記載の車両制御システム。
- 前記独立したローカリゼーション決定を前記融合ローカリゼーション決定と比較するための複数のローカリゼーション比較器と、
前記独立した車線グラフを前記融合車線グラフと比較するための複数の車線グラフ比較器であって、前記ローカリゼーション・モニタが、前記ローカリゼーション比較器の結果に少なくとも部分的に基づいて前記融合ローカリゼーション決定に対する前記信頼性を決定し、前記車線グラフ・モニタが、前記車線グラフ比較器の結果に少なくとも部分的に基づいて前記融合車線グラフに対する前記信頼性を決定する、複数の車線グラフ比較器と
をさらに備える、請求項10に記載の車両制御システム。 - ローカリゼーション・データの少なくとも1つのソースがいつ一時的に利用不可能であるか又は信頼できないかを決定するためのアービタであって、履歴ローカリゼーション・データが、ローカリゼーション・データの前記少なくとも1つのソースの代わりに利用されることを可能にされる、アービタをさらに備える、請求項10に記載の車両制御システム。
- 前記車両制御システムが、利用可能性又は信頼性決定に基づいて前記少なくとも2つの独立したソースの選択を動的に調整することを可能にされる、請求項10に記載の車両制御システム。
- 1つ又は複数の処理ユニットと、
命令を含むメモリと
を備えるシステムであって、前記命令は、1つ又は複数のプロセッサによって実行されたとき、前記システムが、
ローカリゼーション・データの少なくとも2つのソースを使用して、ローカリゼーション決定を生成することと、
前記ローカリゼーション決定に対する信用を確認するために、前記ローカリゼーション決定を少なくとも2つの信用できるローカリゼーション値と比較することと、
環境認知の少なくとも2つのソースと前記ローカリゼーション決定とを使用して、ナビゲーション経路を生成することと、
前記ナビゲーション経路に対する信用を確認するために、前記ナビゲーション経路をナビゲーション経路データの少なくとも2つの信用できるソースと比較することと、
前記環境内の物体をナビゲートするために、前記ナビゲーション経路を制御システムに提供することとを実行する、システム。 - 前記1つ又は複数の処理ユニットは、
前記少なくとも2つの信用できるローカリゼーション値と比較する前記ステップを実施する前に、前記ローカリゼーション決定の信頼性を決定することと、
前記信頼性が信頼性しきい値を下回る場合、前記ローカリゼーション決定を、ローカリゼーション・データの前記少なくとも2つのソースからの最も信頼性があるローカリゼーション値で置き換えることと、
ナビゲーション経路データの前記少なくとも2つの信用できるソースと比較する前記ステップを実施する前に、前記ナビゲーション経路の信頼性を決定することと、
前記信頼性が信頼性しきい値を下回る場合、前記ナビゲーション経路を、ローカリゼーション・データの前記少なくとも2つのソースからの最も信頼性があるナビゲーション・データで置き換えることと
をさらに実行する、請求項16に記載のシステム。 - 1つ又は複数の処理ユニットは、
ローカリゼーション・データの少なくとも1つのソースが一時的に利用不可能であるか又は信頼できないと決定することと、
ローカリゼーション・データの前記少なくとも1つのソースの代わりに履歴ローカリゼーション・データを利用することと
をさらに実行する、請求項16に記載のシステム。 - 1つ又は複数の処理ユニットが、
並列経路生成器を使用して第2のナビゲーション経路を生成することと、
前記物体のナビゲーションのために前記ナビゲーション経路を提供すべきなのか、前記第2のナビゲーション経路を提供すべきなのかを動的に決定することと
をさらに実行する、請求項16に記載のシステム。 - 前記システムが、
シミュレーション動作を実施するためのシステム、
自律機械アプリケーションをテスト又は検証するためのシミュレーション動作を実施するためのシステム、
グラフィカル出力をレンダリングするためのシステム、
深層学習動作を実施するためのシステム、
エッジ・デバイスを使用して実装されるシステム、
1つ又は複数の仮想機械(VM)を組み込んだシステム、
少なくとも部分的にデータ・センタにおいて実装されるシステム、或いは
少なくとも部分的にクラウド・コンピューティング・リソースを使用して実装されるシステム
のうちの少なくとも1つを備える、請求項16に記載のシステム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063111250P | 2020-11-09 | 2020-11-09 | |
US63/111,250 | 2020-11-09 | ||
US17/483,019 | 2021-09-23 | ||
US17/483,019 US20220144304A1 (en) | 2020-11-09 | 2021-09-23 | Safety decomposition for path determination in autonomous systems |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022076453A true JP2022076453A (ja) | 2022-05-19 |
Family
ID=81256369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021172882A Pending JP2022076453A (ja) | 2020-11-09 | 2021-10-22 | 自律システムにおける経路決定のための安全デコンポジション |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220144304A1 (ja) |
JP (1) | JP2022076453A (ja) |
CN (1) | CN115840438A (ja) |
DE (1) | DE102021128559A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11697346B1 (en) * | 2022-03-29 | 2023-07-11 | GM Global Technology Operations LLC | Lane position in augmented reality head-up display system |
DE102022206924A1 (de) | 2022-07-06 | 2024-01-11 | Robert Bosch Gesellschaft mit beschränkter Haftung | Computerimplementiertes Verfahren und Steuergerät zum Bestimmen eines geforderten Sicherheitsintegritätsniveaus sicherheitsbezogener Fahrzeugfunktionen |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102463176B1 (ko) * | 2017-10-16 | 2022-11-04 | 삼성전자주식회사 | 위치 추정 장치 및 방법 |
US10648820B2 (en) * | 2018-01-03 | 2020-05-12 | Deere & Company | Methods and apparatus for assessing coordinate data |
US20200232806A1 (en) * | 2019-01-23 | 2020-07-23 | Uber Technologies, Inc | Local map server and multiplexer |
DE102019003246A1 (de) * | 2019-05-08 | 2020-11-12 | Daimler Ag | Verfahren zur Ermittlung von Messwerten mittels mindestens zweier unterschiedlicher Messverfahren und dessen Verwendung |
-
2021
- 2021-09-23 US US17/483,019 patent/US20220144304A1/en active Pending
- 2021-10-22 JP JP2021172882A patent/JP2022076453A/ja active Pending
- 2021-11-03 DE DE102021128559.3A patent/DE102021128559A1/de active Pending
- 2021-11-08 CN CN202111314001.XA patent/CN115840438A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220144304A1 (en) | 2022-05-12 |
DE102021128559A1 (de) | 2022-05-12 |
CN115840438A (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220026987A1 (en) | Gaze detection using one or more neural networks | |
US20220122001A1 (en) | Imitation training using synthetic data | |
JP2022538813A (ja) | 自律マシン・アプリケーションのための交差点領域検出及び分類 | |
JP2023531330A (ja) | マシン学習を使用した自律マシン・アプリケーションのためのセンサ融合 | |
US20220391766A1 (en) | Training perception models using synthetic data for autonomous systems and applications | |
US20230078218A1 (en) | Training object detection models using transfer learning | |
US20230139682A1 (en) | Continuous training of an object detection and classification model for varying environmental conditions | |
US20220297706A1 (en) | Combining rule-based and learned sensor fusion for autonomous systems and applications | |
US11830259B2 (en) | Robust state estimation | |
US20230065399A1 (en) | Context-based state estimation | |
US11803192B2 (en) | Visual odometry in autonomous machine applications | |
US20230341235A1 (en) | Automatic graphical content recognition for vehicle applications | |
US20220144304A1 (en) | Safety decomposition for path determination in autonomous systems | |
US20220340149A1 (en) | End-to-end evaluation of perception systems for autonomous systems and applications | |
US20230169721A1 (en) | Consistent sampling for spatial hashing | |
CN115705618A (zh) | 环视系统的拼接质量评估 | |
JP2023051713A (ja) | 自律マシン・アプリケーションにおける深層学習を使用する視認距離推定 | |
US20230112004A1 (en) | Method to estimate processing rate requirement for safe av driving to prioritize resource usage | |
US20230271330A1 (en) | Interactive cost corrections with natural language feedback | |
CN117581117A (zh) | 自主机器系统和应用中使用LiDAR数据的动态对象检测 | |
CN116772874A (zh) | 用于自主系统和应用的使用占用网格进行危险检测 | |
CN116106934A (zh) | 用于自主机器应用的基于粒子的危险检测 | |
US20230130478A1 (en) | Hybrid solution for stereo imaging | |
US11989948B1 (en) | Accelerated non-maximum suppression in machine learning applications | |
WO2022198084A1 (en) | Combining rule-based and learned sensor fusion for autonomous systems and applications |