JP2020529070A - ベクトル計算ユニット - Google Patents

ベクトル計算ユニット Download PDF

Info

Publication number
JP2020529070A
JP2020529070A JP2020503785A JP2020503785A JP2020529070A JP 2020529070 A JP2020529070 A JP 2020529070A JP 2020503785 A JP2020503785 A JP 2020503785A JP 2020503785 A JP2020503785 A JP 2020503785A JP 2020529070 A JP2020529070 A JP 2020529070A
Authority
JP
Japan
Prior art keywords
vector
unit
instruction
compute
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020503785A
Other languages
English (en)
Other versions
JP7426925B2 (ja
Inventor
サルマ,デブジット ダス
サルマ,デブジット ダス
タルペス,エミル
ジョセフ バノン,ピーター
ジョセフ バノン,ピーター
Original Assignee
テスラ,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/710,433 external-priority patent/US10671349B2/en
Application filed by テスラ,インコーポレイテッド filed Critical テスラ,インコーポレイテッド
Publication of JP2020529070A publication Critical patent/JP2020529070A/ja
Priority to JP2023081312A priority Critical patent/JP7498831B2/ja
Application granted granted Critical
Publication of JP7426925B2 publication Critical patent/JP7426925B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/76Architectures of general purpose stored program computers
    • G06F15/80Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8053Vector processors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/76Architectures of general purpose stored program computers
    • G06F15/80Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8053Vector processors
    • G06F15/8092Array of vector units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F5/00Methods or arrangements for data conversion without changing the order or content of the data handled
    • G06F5/06Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443Sum of products
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/57Arithmetic logic units [ALU], i.e. arrangements or devices for performing two or more of the operations covered by groups G06F7/483 – G06F7/556 or for performing logical operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003Arrangements for executing specific machine instructions
    • G06F9/30007Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/3001Arithmetic instructions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003Arrangements for executing specific machine instructions
    • G06F9/30007Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30036Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003Arrangements for executing specific machine instructions
    • G06F9/3004Arrangements for executing specific machine instructions to perform operations on memory
    • G06F9/30043LOAD or STORE instructions; Clear instruction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3836Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • G06F9/3853Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution of compound instructions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3887Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by a single instruction for multiple data lanes [SIMD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3889Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by multiple instructions, e.g. MIMD, decoupled access or execute
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/76Architectures of general purpose stored program computers
    • G06F15/80Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8007Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors single instruction multiple data [SIMD] multiprocessors
    • G06F15/8023Two dimensional arrays, e.g. mesh, torus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/57Arithmetic logic units [ALU], i.e. arrangements or devices for performing two or more of the operations covered by groups G06F7/483 – G06F7/556 or for performing logical operations
    • G06F7/575Basic arithmetic logic units, i.e. devices selectable to perform either addition, subtraction or one of several logical operations, using, at least partially, the same circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Neurology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Complex Calculations (AREA)
  • Advance Control (AREA)
  • Multi Processors (AREA)
  • Image Processing (AREA)

Abstract

マイクロプロセッサシステムは、計算配列とベクトル計算ユニットとを備える。計算配列は、複数の計算ユニットを含む。ベクトル計算ユニットは、計算配列と通信しており、複数の処理要素を含む。処理要素は、計算配列から出力データ要素を受け取り、受け取った出力データ要素を並列処理するように構成される。【選択図】図1

Description

[関連出願の相互参照]
本出願は、2018年2月1日に出願されたVECTOR COMPUTATIONAL UNITというタイトルが付けられた米国仮特許出願第62/625,251号の優先権を主張し、かつ2017年7月24日に出願されたACCELERATED MATHEMATICAL ENGINEというタイトルが付けられた米国仮特許出願第62/536,399号の優先権を主張しており、また2017年7月24日に出願されたACCELERATED MATHEMATICAL ENGINEというタイトルが付けられた米国仮特許出願第62/536,399号の優先権を主張する2017年9月20日に出願されたACCELERATED MATHEMATICAL ENGINEというタイトルが付けられた同時出願中の米国特許出願第15/710,433号の一部継続であり、これらの特許はすべて、あらゆる目的のために参照により本明細書に組み込まれている。
機械学習および人工知能の処理には、通常、大量のデータセットに対して数学的演算を実行する必要があり、多くの場合、複数の畳み込み層とプーリング層の解明を伴う。機械学習および人工知能技術は通常、行列演算および活性化関数などの非線形関数を利用する。機械学習のアプリケーションには、自動運転およびドライバ支援自動車が含まれる。一部のシナリオでは、コンピュータプロセッサを使用して機械学習のトレーニングと推論を実行する。従来のコンピュータプロセッサは、1つの数学的演算を非常に高速に実行することは可能であるが、通常、限られた量のデータにしか同時に作用することができない。1つの代替として、グラフィカル処理ユニット(GPU)が利用される場合もあり、より大きなデータセットに対して同じ数学的演算を並列して実行することが可能である。複数のプロセッサコアを利用することによって、GPUは複数のタスクを並列して実行してもよく、通常、従来のコンピュータプロセッサよりも高速で並列処理を利用した大規模なグラフィックス処理タスクを完了することが可能である。ただし、GPUも従来のコンピュータプロセッサも、もともと機械学習や人工知能操作用に設計されたものではない。機械学習および人工知能操作は、非常に大きなデータセットに対して一セットの特定の機械学習プロセッサ操作を繰り返し適用することに依存している場合が多い。したがって、各並列操作に関して複数の処理コアのオーバーヘッドなしで、大きなデータセットに対して機械学習および人工知能固有の処理操作を並列して実行することをサポートするマイクロプロセッサシステムに対する要望がある。
本発明の様々な実施形態は、以下の詳細な説明および添付の図面に開示されている。
機械学習処理を実行するためのマイクロプロセッサシステムの一実施形態を示すブロック図である。
機械学習処理を実行するためのマイクロプロセッサシステムの一実施形態を示すブロック図である。
機械学習処理を実行するためのマイクロプロセッサシステムの一実施形態を示すブロック図である。
機械学習処理を実行するためのベクトル計算ユニットの一実施形態を示すブロック図である。
ベクトルレジスタの例示的なエイリアシングを示す表である。
マイクロプロセッサシステムに関するプロセッサ命令を決定するためのプロセスの一実施形態を示すフロー図である。
ベクトル計算ユニットの実行を進行させるためのプロセスの一実施形態を示すフロー図である。
ベクトル計算ユニットによりベクトルデータを処理するためのプロセスの一実施形態を示すフロー図である。
ベクトル計算ユニット命令の符号化フォーマットの一実施形態を示すブロック図である。
ベクトル計算ユニットにより単一のベクトル計算ユニット命令を実行するためのプロセスの実施形態を示すフロー図である。
ベクトル計算ユニットの例示的な命令サイクルを示す図である。
計算配列の計算ユニットの一実施形態を示すブロック図である。
本発明は、プロセス、装置、システム、物質の組成、コンピュータ可読記憶媒体で具現化されるコンピュータプログラム製品、ならびに/またはプロセッサに結合されたメモリに格納された、および/もしくはプロセッサに結合されたメモリによって提供される命令を実行するように構成されたプロセッサなどのプロセッサとして含め、多数の方法で実行することができる。本明細書では、これらの実装形態、または本発明が採り得る他の任意の形態は、技術と呼ばれる場合がある。一般に、開示されるプロセスのステップの順序は、本発明の範囲内で変更されてもよい。特に明記しない限り、タスクを実行するように構成されていると説明されるプロセッサやメモリなどのコンポーネントは、特定の時間にタスクを実行するように一時的に構成されている一般的なコンポーネント、またはタスクを実行するように製造された特定のコンポーネントとして実装されてもよい。本明細書で使用される「プロセッサ」という用語は、コンピュータプログラム命令などのデータを処理するように構成された1つまたは複数のデバイス、回路、および/または処理コアを指す。
本発明の1つまたは複数の実施形態の詳細な説明が、本発明の原理を説明する添付の図とともに以下に提供される。本発明はそのような実施形態に関連して説明されるが、本発明はいかなる実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ制限され、本発明は、多数の代替形態、修正形態および均等物を包含する。本発明の完全な理解を提供するために、多数の特定の詳細が以下の説明に記載されている。これらの詳細は例の目的のために提供されており、本発明はこれらの特定の詳細の一部またはすべてがなくても、特許請求の範囲に従って実施され得る。明確にするために、本発明が不必要に不明瞭にならないように、本発明に関連する技術分野で知られている技術資料は詳細には説明されていない。
ベクトル計算ユニットおよびベクトル計算ユニット命令セットアーキテクチャを利用するマイクロプロセッサシステムが開示されている。例えば、マイクロプロセッサシステムは、ベクトル計算ユニットと通信する計算配列を含む。様々な実施形態において、計算配列は、2つの入力ベクトルに対して算術演算を実行することが可能なマトリクスプロセッサであり、入力ベクトルからM個のオペランドとN個のオペランドを受け取る複数の計算ユニットを含む。いくつかの実施形態では、計算ユニットは、ドット積の生成および畳み込みのための様々な処理の実行などの操作を実行するための算術論理演算ユニット、アキュムレータおよびシャドウレジスタを含むサブ回路である。各コアがその固有の独自の処理命令を受け取るように構成されている従来のグラフィカル処理ユニット(GPU)または中央処理ユニット(CPU)処理コアとは異なり、計算配列の計算ユニットは各々、計算配列が受け取った個々の命令に応答して同じ計算を並列して実行する。様々な実施形態において、ベクトル計算ユニットは、入力データのベクトルに対してロード操作、算術演算およびストア操作を並列して実行するための複数の処理要素を含む。ベクトル計算ユニットの処理要素は、計算配列から出力を受け取るように構成される。様々な実施形態において、計算配列の出力およびベクトル計算ユニットへの入力は、データの配列である。ベクトル計算ユニットに受け取られた入力は、単一のプロセッサ命令に応答して並列処理される。計算配列と同様に、ベクトル計算ユニットの処理要素はそれぞれ、ベクトル計算ユニットが受け取った個々の命令に応答して同じ計算を並列して実行する。いくつかの実施形態では、マイクロプロセッサシステムは、ベクトル計算ユニットに命令を提供するように構成された制御ユニットをさらに含む。各単一のプロセッサ命令は、ベクトル計算ユニットによって実行される複数のコンポーネント命令を指定してもよい。単一の命令に応答して、ベクトル計算ユニットの複数の処理要素のそれぞれは、他の処理要素と並列してベクトル入力の異なるデータ要素を処理する。いくつかの実施形態では、ベクトル計算ユニットの出力は、プーリング作業などの後処理を実行するための後処理ユニットに供給される。
いくつかの実施形態では、マイクロプロセッサシステムは、少なくとも計算配列と、ベクトル計算ユニットとを含む。例えば、計算配列の出力がベクトル計算ユニットへの入力として供給されるように、計算配列はベクトル計算ユニットに通信可能に接続される。様々な実施形態において、計算配列は複数の計算ユニットを含む。例えば、計算ユニットは、1つまたは複数の乗算、加算およびシフト演算を実行する機能を含むマトリクスプロセッサのサブ回路であり得る。別の例として、計算ユニットは、ドット積演算を実行する機能を含むサブ回路であり得る。様々な実施形態において、計算配列には、データ入力に対して複数の操作を並列して実行するのに十分な数の計算ユニットが含まれる。例えば、M個のオペランドとN個のオペランドを受け取るように構成された計算配列には、少なくともM×N個の計算ユニットが含まれてよい。様々な実施形態において、マイクロプロセッサシステムは、計算配列とベクトル計算ユニットとの間の処理を調整するための制御ユニットをさらに含む。例えば、制御ユニットは、メモリから計算配列に供給されるデータ、計算配列からベクトル計算ユニットに供給されるデータ、および/またはベクトル計算ユニットからメモリに格納される、または後処理ユニットに供給されるデータを調整してもよい。いくつかの実施形態では、制御ユニットは、計算配列命令を計算配列に提供する、ベクトル計算ユニット命令をベクトル計算ユニットに提供する、および/または後処理命令を後処理ユニットに提供するように構成される。
いくつかの実施形態では、計算配列と通信するベクトル計算ユニットは、入力として計算配列から出力データ要素を受け取るように構成された複数の処理要素を含む。例えば、ベクトルエンジンなどのベクトル計算ユニットは、処理するためのベクトルを入力として受け取る。ベクトル計算ユニットは、入力ベクトルの各要素に対する処理要素を含んでもよい。N個の要素(またはオペランド)のベクトルを受け取るように構成された例示的なベクトル計算ユニットは、N個の要素を並列して処理するためのN個の処理要素を含んでよい。様々な実施形態において、処理要素は、計算配列から出力データ要素を受け取るように構成される。例えば、計算配列からの出力は、ベクトル計算ユニットの処理要素が受け取るように供給されるデータ要素のベクトルであり得る。様々な実施形態において、各ベクトル計算ユニットは、単一のプロセッサ命令に応答して、計算配列から受け取った出力データ要素を並列処理する。例えば、単一のプロセッサ命令が、対応するデータ要素に対して実行されるベクトル計算ユニットの処理要素のそれぞれに適用される。
いくつかの実施形態では、制御ユニットは、ベクトル計算ユニットに少なくとも単一のプロセッサ命令を提供するように構成される。単一のプロセッサ命令は、(例えば、単一のプロセッサ命令に応答して)ベクトル計算ユニットによって実行される複数のコンポーネント命令を指定する。例えば、制御ユニットは、複数のコンポーネント命令を含む命令トライアドなどの単一のベクトル命令をベクトル計算ユニットに提供する。いくつかの実施形態では、命令トライアドは、別個のロード命令、算術論理演算ユニット(ALU)命令およびストア命令などの最大3つのコンポーネント命令を含む簡素なプロセッサ命令である。3つのコンポーネント命令は、ベクトル計算ユニットによって受け取られ、(例えば、命令トライアドに応じて)実行される。例えば、ロード命令、ALU命令およびストア命令をバンドルする命令トライアドを受け取るベクトル計算ユニットは、そのロード命令、算術命令およびストア命令を実行する。様々な実施形態では、単一のプロセッサ命令に応答して、ベクトル計算ユニットの複数の処理要素は、他の処理要素と並列して異なるデータ要素を処理するように構成される。例えば、各処理要素は、入力ベクトルからベクトル計算ユニットへの異なるデータ要素を並列処理することが可能である。
別の例として、単一のベクトルプロセッサ命令トライアドのコンポーネント命令の各々がベクトル入力の各要素に適用されて、ベクトル計算ユニットを使用してN個の要素の入力ベクトル全体の処理を並列して完了する場合もある。
図1は、機械学習処理を実行するためのマイクロプロセッサシステムの一実施形態を示すブロック図である。示される例では、マイクロプロセッサシステム100は、制御ユニット101、データ入力103、重み入力105、マトリクスプロセッサ107、ベクトルエンジン111および後処理ユニット115を含む。データ入力103および重み入力105は、マトリクスプロセッサ107のためのデータを準備するための入力モジュールである。いくつかの実施形態では、データ入力103および重み入力105はそれぞれ、入力データフォーマッタ、キャッシュもしくはバッファ、および/またはマトリクスプロセッサ107のためのデータを準備するための論理回路を含む。例えば、データ入力103は、画像データに対応する2次元配列からN個のオペランドを準備し、重み入力105は、マトリクスプロセッサ107によって処理される重み値のベクトルに対応するM個のオペランドを準備することができる。いくつかの実施形態では、図5のプロセスは、マトリクスプロセッサ107に対するマトリクスプロセッサ命令およびベクトルエンジン111に対するベクトルエンジン命令を含む、マイクロプロセッサシステム100上で機能するための命令を準備するために実行される。いくつかの実施形態では、ベクトルエンジン111を含むマイクロプロセッサシステム100は、図6A、図6Bおよび図8に関して以下で説明するプロセスを実行する。
いくつかの実施形態では、マトリクスプロセッサ107は、複数の計算ユニットを含む計算配列である。例えば、重み入力105およびデータ入力103からそれぞれM個のオペランドおよびN個のオペランドを受け取るマトリクスプロセッサはM×N個の計算ユニットを含む。示される図では、マトリクスプロセッサ107の内部の小さな正方形は、マトリクスプロセッサ107が計算ユニットの論理的2次元配列を含むことを示している。計算ユニット109は、マトリクスプロセッサ107の複数の計算ユニットのうちの1つである。いくつかの実施形態では、各計算ユニットは、データ入力103から1つのオペランドを受け取り、重み入力105から1つのオペランドを受け取るように構成される。いくつかの実施形態では、計算ユニットは論理的二次元配列に従って構成されるが、マトリクスプロセッサは必ずしも物理的な二次元配列として配置された計算ユニットで製造されるわけではない。例えば、データ入力103のi番目のオペランドおよび重み入力105のj番目のオペランドは、マトリクスプロセッサ107のi番目×j番目の計算ユニットによって処理されるように構成される。
様々な実施形態において、コンポーネントデータ入力103、重み入力105、マトリクスプロセッサ107、ベクトルエンジン111および後処理ユニット115のデータ幅は広いデータ幅であり、複数のオペランドを並列して転送する能力を含む。いくつかの実施形態では、データ入力103および重み入力105はそれぞれ96バイト幅である。いくつかの実施形態では、データ入力103は192バイト幅であり、重み入力105は96バイト幅である。様々な実施形態において、データ入力103および重み入力105の幅は動的に構成することが可能である。例えば、データ入力103は、96バイトまたは192バイトに動的に構成されてもよく、重み入力105は、96バイトまたは48バイトに動的に構成されてもよい。いくつかの実施形態では、動的な構成は制御ユニット101によって制御される。さまざまな実施形態において、96バイトのデータ幅により、96個のオペランドを並列して処理することが可能になる。例えば、データ入力103が96バイト幅になるように構成された実施形態では、データ入力103は、96のオペランドをマトリクスプロセッサ107に並列して転送することができる。
様々な実施形態において、マトリクスプロセッサ107は、データ入力103からNバイトを受け取り、重み入力105からMバイトを受け取るように構成されており、少なくともM×Nの計算ユニットを含む。例えば、マトリクスプロセッサ107は、データ入力103から96バイトを受け取り、重み入力105から96バイトを受け取るように構成されてもよく、少なくとも96×96の計算ユニットを含む。別の例として、マトリクスプロセッサ107は、データ入力103から192バイトを受け取り、重み入力105から48バイトを受け取るように構成されてもよく、少なくとも192×48の計算ユニットを含む。様々な実施形態において、マトリクスプロセッサ107の次元は動的に構成されてもよい。例えば、マトリクスプロセッサ107のデフォルト次元は、データ入力103から96バイトを受け取り、重み入力105から96バイトを受け取るように構成され得るが、入力次元は、192バイトおよび48バイトにそれぞれ動的に構成されてもよい。様々な実施形態において、各計算ユニットの出力サイズは、入力サイズと等しいか、それより大きい。例えば、いくつかの実施形態では、各計算ユニットへの入力は2つの1バイトのオペランドであり、1つはデータ入力103からのオペランドに相当し、もう1つは重み入力105からのものであり、2つのオペランドの処理の出力は4バイトの結果である。別の例として、マトリクスプロセッサ107は、データ入力103から96バイトを受け取り、重み入力105から96バイトを受け取り、96個の4バイト結果を出力するように構成されてもよい。いくつかの実施形態では、マトリクスプロセッサ107の出力はベクトルである。例えば、入力ベクトルの各要素(またはオペランド)のサイズが1バイトである2つの96幅の入力ベクトルを受け取るように構成されたマトリクスプロセッサは、ベクトル結果の各要素が4バイトのサイズである96幅のベクトル結果を出力することができる。
様々な実施形態において、マトリクスプロセッサ107の各計算ユニットは、算術論理演算ユニット、アキュムレータおよびシャドウレジスタを含むサブ回路である。示される例では、マトリクスプロセッサ107の計算ユニットは、重み入力105およびデータ入力103それぞれからのM個のオペランドおよびN個のオペランドに対して算術演算を実行することができる。様々な実施形態において、各計算ユニットは、1つまたは複数の乗算、加算、累積および/またはシフト演算を実行するように構成される。いくつかの実施形態では、各計算ユニットはドット積演算を実行するように構成される。例えば、いくつかの実施形態では、計算ユニットは、ドット積結果を計算するために複数のドット積成分演算を実行してもよい。例えば、マトリクスプロセッサ107の計算ユニットの配列は、機械学習モデルを使用して推論を実行するために必要な畳み込みステップを実行するために利用されてもよい。画像などの二次元データセットは、フォーマットされ、一度に1つのベクトルで、データ入力103を使用してマトリクスプロセッサ107に供給されてもよい。並行して、重みをフォーマットし、重み入力105を使用してそれらをベクトルとしてマトリクスプロセッサ107に供給することにより、重みのベクトルが2次元データセットに適用されてもよい。マトリクスプロセッサ107の対応する計算ユニットは、重み入力およびデータ入力の対応するオペランドに対してマトリクスプロセッサ命令を並列して実行する。
いくつかの実施形態では、ベクトルエンジン111は、マトリクスプロセッサ107に通信可能に結合されたベクトル計算ユニットである。ベクトルエンジン111は、処理要素113を含めた複数の処理要素を含む。示される図では、ベクトルエンジン111内の小さな正方形は、ベクトルエンジン111が、ベクトルとして配置された複数の処理要素を含むことを示している。いくつかの実施形態では、処理要素は、データ入力103と同じ方向でベクトル内に配置される。いくつかの実施形態では、処理要素は、重み入力105と同じ方向でベクトル内に配置される。様々な実施形態において、ベクトルエンジン111の処理要素のデータサイズは、マトリクスプロセッサ107の計算ユニットのデータサイズと同じサイズか、またはそれより大きい。例えば、いくつかの実施形態では、計算ユニット109は、サイズがそれぞれ1バイトの2つのオペランドを受け取り、サイズが4バイトの結果を出力する。処理要素113は、計算ユニット109からの4バイトの結果をサイズが4バイトの入力として受け取る。様々な実施形態において、ベクトルエンジン111の出力は、ベクトルエンジン111への入力と同じサイズである。いくつかの実施形態では、ベクトルエンジン111の出力は、ベクトルエンジン111への入力と比較してサイズが小さい。例えば、ベクトルエンジン111は、サイズがそれぞれ4バイトの最大96個の要素を受け取り、サイズがそれぞれ1バイトの96個の要素を出力する場合もある。様々な実施形態において、ベクトルエンジン111は、出力結果に対して量子化を実行し、その結果、ベクトルエンジン111の出力は、ベクトルエンジン111への入力と比較してサイズが小さくなる。様々な実施形態において、量子化が単一の命令の一部として実行される。例えば、量子化および非線形関数は、単一のプロセッサ命令として実行される。上記のように、いくつかの実施形態では、データ入力103および重み入力105からマトリクスプロセッサ107への通信チャネルは、各要素が1バイトのサイズの96要素幅であり、ベクトルエンジン111の出力サイズ(各要素のサイズが1バイトの96個の要素幅)に一致する。
いくつかの実施形態では、処理要素113を含めたベクトルエンジン111の処理要素はそれぞれ、算術論理演算ユニット(ALU)(図示せず)を含む。例えば、いくつかの実施形態では、各処理要素のALUは算術演算を実行することが可能である。いくつかの実施形態では、処理要素の各ALUは、正規化線形ユニット(ReLU)関数および/またはスケーリング関数を並列して実行することが可能である。いくつかの実施形態では、各ALUは、非線形活性化関数を含む非線形関数を実行することが可能である。様々な実施形態において、ベクトルエンジン111の各処理要素は、入力オペランドを受け取るための1つまたは複数のフリップフロップを含む。いくつかの実施形態では、各処理要素は、ベクトルエンジンアキュムレータのスライスおよび/またはベクトルエンジン111のベクトルレジスタにアクセスできる。例えば、96個の要素を受け取ることが可能なベクトルエンジンは、96個の要素幅のアキュムレータと、1つまたは複数の96個の要素のベクトルレジスタとを含む。各処理要素は、アキュムレータおよび/またはベクトルレジスタの1要素スライスにアクセスできる。いくつかの実施形態では、各要素はサイズが4バイトである。さまざまな実施形態において、アキュムレータおよび/またはベクトルレジスタは、少なくとも入力データベクトルのサイズに適合するサイズにされている。いくつかの実施形態では、ベクトルエンジン111は、ベクトルエンジン111の出力に適合するサイズの追加のベクトルレジスタを含む。
いくつかの実施形態では、ベクトルエンジン111の処理要素は、マトリクスプロセッサ107からデータを受け取るように構成され、各処理要素は、データの受け取った部分を並列処理することができる。処理要素の一例として、ベクトルエンジン111の処理要素113は、マトリクスプロセッサ107の計算ユニット109からデータを受け取る。様々な実施形態において、ベクトルエンジン111は単一のベクトルプロセッサ命令を受け取り、次いで各処理要素は他の処理要素と並列してこのプロセッサ命令を実行する。いくつかの実施形態では、プロセッサ命令は、ロード操作、ストア操作および/または算術論理演算ユニット操作などの1つまたは複数のコンポーネント命令を含む。様々な実施形態では、no−op操作を使用して、コンポーネント命令を置き換えることができる。
示される例では、データ入力103とマトリクスプロセッサ107との間、重み入力105とマトリクスプロセッサ107との間、マトリクスプロセッサ107とベクトルエンジン111との間、ベクトルエンジン111と後処理ユニット115との間の点線の矢印は、データ要素のベクトルなど、複数のデータ要素を送信することが可能なコンポーネントのそれぞれのペア間の結合を示している。一例として、マトリクスプロセッサ107とベクトルエンジン111との間の通信チャネルは、96×32ビット幅であり、各要素のサイズが32ビットである96個の要素の並行した転送をサポートすることができる。別の例として、ベクトルエンジン111と後処理ユニット115との間の通信チャネルは96×1バイト幅であり、各要素のサイズが1バイトである場合の96個の要素の並列した転送をサポートしてもよい。様々な実施形態において、データ入力103および重み入力105は、メモリモジュール(図1には図示せず)に結合され、メモリモジュールからそれぞれ入力データを受け取ってもよい。いくつかの実施形態では、ベクトルエンジン111は、メモリモジュール(図1には示されない)に追加的に結合され、マトリクスプロセッサ107からの入力に加えて、またはその代わりにメモリモジュールから入力データを受け取る場合もある。様々な実施形態では、メモリモジュールは通常、スタティックランダムアクセスメモリ(SRAM)である。
いくつかの実施形態では、マトリクスプロセッサ107の1つまたは複数の計算ユニットは、マトリクスプロセッサ107が複数のレーンを有するように、1つのレーンに一緒にグループ化されてもよい。様々な実施形態において、マトリクスプロセッサ107のレーンは、データ入力103または重み入力105のいずれかと整列されてよい。例えば、重み入力105と整列されたレーンには、重み入力105のすべてのオペランドを入力として受け取るように構成された一セットの計算ユニットが含まれる。同様に、データ入力103と整列されたレーンには、データ入力103のすべてのオペランドを入力として受け取るように構成された計算ユニットのセットが含まれる。図1に示される例では、レーンは重み入力105に沿って垂直列に並べられ、各レーンはベクトルエンジン111の対応するレーンに供給される。いくつかの実施形態において、各レーンは、乗算、加算および/または累積ならびにシフト機能を含むサブ回路の垂直列である。いくつかの実施形態では、マトリクスプロセッサ107はタイルの行列を含み、各タイルは計算ユニットの行列である。例えば、96x96マトリクスプロセッサには6x6タイルの行列が含まれ、各タイルには16x16の計算ユニットが含まれる。いくつかの実施形態では、垂直レーンはタイルの単一の列である。いくつかの実施形態では、水平レーンはタイルの単一の行である。様々な実施形態において、レーンの次元は動的に構成されてもよく、マトリクスプロセッサ107、ベクトルエンジン111および/または後処理ユニット115への入力に対して整列操作を実行するために利用されてもよい。いくつかの実施形態では、動的構成は、制御ユニット101によって、もしくは制御ユニット101を使用して、および/または制御ユニット101によって制御されるプロセッサ命令を使用して実行される。
いくつかの実施形態では、制御ユニット101は、マトリクスプロセッサ107、ベクトルエンジン111および後処理ユニット115によって実行される処理を同期させる。例えば、制御ユニット101は、マトリクスプロセッサ107、ベクトルエンジン111および後処理ユニット115のそれぞれにプロセッサ固有の命令を送ることができる。制御ユニット101は、マトリクスプロセッサ命令をマトリクスプロセッサ107に送信してもよい。マトリクスプロセッサ命令は、データ入力103および/または重み入力105からの指定されたオペランドを使用して、ドット積またはドット積成分などの算術演算を実行するように計算配列に指示する計算配列命令であり得る。制御ユニット101は、ベクトルエンジン111にベクトルプロセッサ命令を送ることができる。例えば、ベクトルプロセッサ命令は、ベクトル計算ユニットによって一緒に実施される複数のコンポーネント命令を備えた単一のプロセッサ命令を含んでもよい。制御ユニット101は、後処理ユニット115に後処理命令を送信してもよい。様々な実施形態において、制御ユニット101は、データ入力103および重み入力105からマトリクスプロセッサ107に、マトリクスプロセッサ107からベクトルエンジン111に、およびベクトルエンジン111から後処理ユニット115に供給されるデータを同期させる。いくつかの実施形態では、制御ユニット101は、プロセッサ固有のメモリ、キューおよび/またはデキュー操作を利用することにより、データ入力103、重み入力105、マトリクスプロセッサ107、ベクトルエンジン111および/または後処理ユニット115を含む、マイクロプロセッサシステム100の異なるコンポーネント間でデータを同期させる。いくつかの実施形態では、データと命令の同期は制御ユニット101によって実行される。いくつかの実施形態では、データおよび命令の同期は、マトリクスプロセッサ107、ベクトルエンジン111および/または後処理ユニット115の間で処理を同期させるための1つまたは複数のシーケンサを含む制御ユニット101によって実行される。
いくつかの実施形態では、マトリクスプロセッサ107およびベクトルエンジン111は、畳み込み層を処理するために利用される。いくつかの実施形態において、ベクトルエンジン111を利用して、マトリクスプロセッサ107の出力に対して活性化関数などの非線形関数を実行する。例えば、マトリクスプロセッサ107を使用してドット積を計算し、ベクトルエンジン111を使用して、正規化線形ユニット(ReLU)関数またはシグモイド関数などの活性化関数を実行することができる。いくつかの実施形態では、プーリング作業を実行するのに後処理ユニット115が使用される。いくつかの実施形態において、後処理ユニット115は、処理されたデータをフォーマットし、メモリに格納するために利用され、メモリ書き込みレイテンシを同期させるために利用されてもよい。
図2は、機械学習処理を実行するためのマイクロプロセッサシステムの一実施形態を示すブロック図である。示される例では、マイクロプロセッサシステム200は、制御ユニット201、ベクトル入力203、ベクトルエンジン入力キュー207、ベクトルエンジン211および後処理ユニット215を含む。ベクトルエンジン入力キュー207は、計算ユニット209および221〜229を含む複数の計算ユニットを含み、ベクトルエンジン211は、処理要素213および231を含む複数の処理要素を含む。ベクトル入力203は、ベクトルエンジン入力キュー207にデータを供給するための入力モジュールである。いくつかの実施形態では、ベクトル入力203は、入力データフォーマッタ、キャッシュもしくはバッファおよび/またはベクトルエンジン入力キュー207用のデータを準備するための論理回路を含む。例えば、ベクトル入力203は、ベクトルエンジン入力キュー207を先入れ先出し(FIFO)入力キューとして利用するベクトルエンジン211によって処理される2次元配列からN個のオペランドを準備することができる。いくつかの実施形態では、ベクトル入力203は、データを取り出すためのスタティックランダムアクセスメモリ(SRAM)などのメモリ(図2には示されていない)に結合されている。
様々な実施形態において、制御ユニット201、ベクトル入力203、ベクトルエンジン入力キュー207、ベクトルエンジン211および後処理ユニット215はそれぞれ、図1の制御ユニット101、データ入力103、マトリクスプロセッサ107、ベクトルエンジン111、および後処理ユニット115である。例えば、図1のマトリクスプロセッサ107は、図1のデータ入力103からデータを受け取り、入力の各ベクトルを図1のベクトルエンジン111に繰り返しシフトすることにより、ベクトルエンジン入力キュー207などの入力キューを実装するために使用されてよい。
いくつかの実施形態では、ベクトルエンジン入力キュー207は計算配列ユニットであり、その列が先入れ先出し(FIFO)キューである計算ユニットの行列を含む。示される例では、ベクトルエンジン入力キュー207はベクトル入力203の入力キューであり、複数のデータ要素をベクトル入力203からベクトルエンジン211に供給するワイド先入れ先出し(FIFO)キューとして機能する。例えば、計算ユニット221〜229は、単一のFIFOキューとして一緒に機能する計算ユニットの垂直列を構成する。様々な実施形態において、ベクトルエンジン入力キュー207は、計算ユニット221〜229と同様の計算ユニットの垂直列で構成される複数のFIFOキューを含む。例えば、ベクトルエンジン入力キュー207が96計算ユニット幅である実施形態では、ベクトルエンジン入力キュー207は96のFIFOキューに対応する96の垂直列の計算ユニットを有する。さらなる例として、ベクトルエンジン入力キュー207が96計算ユニット長である実施形態では、ベクトルエンジン入力キュー207は96段長のFIFOキューを有する。
様々な実施形態において、各先入れ先出し(FIFO)キューは並列して機能し、ベクトル入力203から受け取った入力をFIFOキューに沿ってベクトルエンジン211にシフトする。計算ユニット221を含むベクトルエンジン入力キュー207の計算ユニットの第1の行は、ベクトル入力203に接続されている。計算ユニットの最初の行は、ベクトル入力203からのデータの行全体を並行して受け取るように構成される。ベクトルエンジン入力キュー207の計算ユニットの最後の行は、ベクトルエンジン211の処理要素の行に接続されている。例えば、ベクトルエンジン入力キュー207の計算ユニットの最後の行には、計算ユニット229および209が含まれる。計算ユニット209は処理要素213に接続され、計算ユニット229は処理要素231に接続される。処理要素213および231は、それぞれ計算ユニット209および229のデータ出力要素を受け取るように構成される。ベクトルエンジン211の処理要素は、ベクトルエンジン入力キュー207の計算ユニットの最後の行からデータの行全体を並行して受け取る。様々な実施形態において、ベクトルエンジン入力キュー207の計算ユニットの最後の行にデキューするのに利用可能なデータがある場合、ベクトルエンジン入力キュー207がキュー操作を受け取る準備ができていることを示すデキュー準備信号をベクトルエンジン211が受け取る。
説明される例では、計算ユニットの最初の行からのデータは、ベクトルエンジン211に向かう論理方向で計算ユニットの次の行にその列を下にシフトされる。例えば、ベクトル入力203のデータ要素に対応する入力は、計算ユニット221においてオペランドとして受け取られ、計算ユニット221で受け取ったオペランドが計算ユニット221から、中間計算ユニット222〜228を介して計算ユニット229まで増分式にシフトされるまで、計算ユニット221から計算ユニット222にシフトされ、計算ユニット222から計算ユニット223にシフトされ、計算ユニット223から計算ユニット224にシフトされるなどする。様々な実施形態において、FIFOに押し込まれたデータ要素は、FIFOが計算ユニット内での深さと同じ数のシフトを取る。例えば、96の計算ユニットと、96の段とを有するFIFOキューでは、挿入された要素をデキューするには96回のシフトが必要である。様々な実施形態において、FIFOの各段は、他の段と並列してオペランドをシフトすることができる。例えば、FIFOキューにおける各中間計算ユニットは、そのオペランドを次の計算ユニットにシフトする一方で、最初の計算ユニットはベクトル入力203から次のデータ要素を取り出し、最後の計算ユニットは、ベクトルエンジン211の対応する処理要素によって受け取られるデータ要素をデキューすることができる。説明した例では、計算ユニットの各行に沿った各計算ユニットは、ベクトル入力203から最初に受け取った対応するデータ要素をベクトルエンジン211にシフトするために並列して動作する。
いくつかの実施形態では、ベクトルエンジン入力キュー207はベクトル入力203に結合され、計算ユニットの行列の一次元はベクトル入力203の次元と一致する。例えば、96バイトの幅を有するベクトル入力203を備えた実施形態では、ベクトルエンジン入力キュー207は、少なくとも96バイトの幅を有する計算ユニットの行列を有する。いくつかの実施形態では、ベクトル入力203の幅およびベクトルエンジン入力キュー207への入力の対応する幅は動的に構成可能である。例えば、ベクトル入力203は96バイトまたは96×2バイトになるように動的に構成することができ、ベクトルエンジン入力キュー207への入力の対応する幅は96バイトまたは96×2バイトにそれぞれ構成可能である。いくつかの実施形態では、構成は、制御ユニット201および/またはベクトルエンジン入力キュー207へのプロセッサ命令を使用して実行される。
いくつかの実施形態では、ベクトルエンジン211は、ベクトルエンジン入力キュー207に通信可能に結合されたベクトル計算ユニットである。ベクトルエンジン211は、処理要素213および231を含む複数の処理要素を含む。示される図では、ベクトルエンジン211内の小さな正方形は、ベクトルエンジン211が、ベクトルとして配置された複数の処理要素を含むことを示している。いくつかの実施形態では、処理要素は、ベクトル入力203と同じ方向でベクトルに配置される。様々な実施形態では、ベクトルエンジン211の処理要素のデータサイズは、ベクトルエンジン入力キュー207の計算ユニットのデータサイズと同じか、それより大きい。例えば、いくつかの実施形態において、計算ユニット209は、サイズが1バイトのオペランドを受け取り、やはり1バイトのサイズを有する処理要素213への出力をデキューする。処理要素213は、サイズが1バイトの入力として計算セル209から1バイトの出力を受け取る。様々な実施形態において、ベクトルエンジン211の出力は、ベクトルエンジン211への入力と同じサイズである。様々な実施形態において、ベクトルエンジン211の出力は、ベクトルエンジン211への入力と比較してサイズが小さい。例えば、ベクトルエンジン211は、サイズがそれぞれ4バイトの最大96個の要素を受け取り、サイズがそれぞれ1バイトの96個の要素を出力する場合もある。いくつかの実施形態では、ベクトル入力203からベクトルエンジン入力キュー207への通信チャネルは、各要素が1バイトのサイズの96要素幅であり、ベクトルエンジン211の出力サイズ(各要素が1バイトのサイズの96要素幅)に一致する。
いくつかの実施形態では、処理要素213および231を含む、ベクトルエンジン211の処理要素はそれぞれ、算術論理演算ユニット(図示せず)を含み、図1のベクトルエンジン111に関してさらに詳細に説明される。いくつかの実施形態では、ベクトルエンジン211の処理要素は、ベクトルエンジン入力キュー207からデータを受け取るように構成されており、各処理要素は、受け取ったデータの部分を並列処理することができる。処理要素の一例として、ベクトルエンジン211の処理要素213および231は、ベクトルエンジン入力キュー207の計算ユニット209および229からそれぞれデータを受け取る。様々な実施形態では、ベクトルエンジン211は単一のベクトルプロセッサ命令を受け取り、次いで各処理要素は他の処理要素と並列してプロセッサ命令を実行する。いくつかの実施形態では、プロセッサ命令は、ロード操作、ストア操作および/または算術論理演算ユニット操作などの1つまたは複数のコンポーネント命令を含む。様々な実施形態では、no−op操作を使用して、コンポーネント命令を置き換えることができる。
示される例では、ベクトル入力203とベクトルエンジン入力キュー207、ベクトルエンジン入力キュー207とベクトルエンジン211、およびベクトルエンジン211と後処理ユニット215の間の点線の矢印は、複数のデータ要素を送信することが可能なコンポーネントのそれぞれのペア間の結合を示している。一例として、ベクトルエンジン入力キュー207とベクトルエンジン211との間の通信チャネルは、96×32ビット幅であり、各要素のサイズが32ビットである96個の要素の並列転送をサポートすることができる。別の例として、ベクトルエンジン211と後処理ユニット215との間の通信チャネルは、96×1バイト幅であり、各要素のサイズが1バイトである96個の要素の並列転送をサポートすることができる。様々な実施形態において、ベクトル入力203はメモリモジュール(図2には示されていない)に結合され、メモリモジュールから入力データを受け取る場合もある。いくつかの実施形態では、ベクトルエンジン211は、メモリモジュール(図1には図示せず)に追加的に結合され、ベクトルエンジン入力キュー207からの入力に加えて、または代替として、メモリモジュールから入力データを受け取る場合もある。様々な実施形態では、メモリモジュールは通常、スタティックランダムアクセスメモリ(SRAM)である。
いくつかの実施形態では、ベクトルエンジン入力キュー207の1つまたは複数の計算ユニットは、ベクトルエンジン入力キュー207が複数の垂直列レーンを有するように、特定の垂直列に一緒にグループ化され得る。図2に示す例では、レーンは上記の先入れ先出し(FIFO)キューと同じ垂直列に沿って配置され、各レーンはベクトルエンジン211の対応するレーンに供給される。いくつかの実施形態において、各レーンは、乗算、加算および/または累積ならびにシフト機能を含むサブ回路の垂直列である。いくつかの実施形態では、垂直レーンは計算ユニットの単一の列である。いくつかの実施形態では、垂直レーンは、隣接する計算ユニットの複数の列のグループである。様々な実施形態において、レーンの次元は動的に構成されてもよく、ベクトルエンジン入力キュー207、ベクトルエンジン211および/または後処理ユニット215への入力に対して整列操作を実行するために利用されてもよい。いくつかの実施形態では、動的構成は、制御ユニット201によって、もしくは制御ユニット201を使用して、および/または制御ユニット201によって制御されるプロセッサ命令を使用して実行される。
いくつかの実施形態では、制御ユニット201は、ベクトルエンジン入力キュー207、ベクトルエンジン211、および/または後処理ユニット215によって実行される処理を同期させる。例えば、制御ユニット201は、プロセッサ固有の命令をベクトルエンジン入力キュー207、ベクトルエンジン211および後処理ユニット215のそれぞれに送信することができる。制御ユニット201は、ベクトルエンジン入力キュー命令をベクトルエンジン入力キュー207に送信してもよい。いくつかの実施形態では、ベクトルエンジン入力キュー命令は、図1のマトリクスプロセッサ107が応答することが可能なマトリクスプロセッサ命令のサブセットであり、図1に関してさらに説明される。ベクトルエンジン入力キュー命令は、ロード操作、シフト操作、または入力キューとインターフェースするための他の適切な命令を実行するように計算配列に指示する計算配列命令であり得る。制御ユニット201は、ベクトルエンジン211にベクトルプロセッサ命令を送ることができる。例えば、ベクトルプロセッサ命令は、ベクトル計算ユニットによって一緒に実施される複数のコンポーネント命令を備えた単一のプロセッサ命令を含んでもよい。制御ユニット201は、後処理ユニット215に後処理命令を送信してもよい。様々な実施形態において、制御ユニット201は、ベクトル入力203からベクトルエンジン入力キュー207に、ベクトルエンジン入力キュー207からベクトルエンジン211に、およびベクトルエンジン211から後処理ユニット215に供給されるデータを同期させる。いくつかの実施形態では、制御ユニット201は、プロセッサ固有のメモリ、キューおよび/またはデキュー操作を利用することにより、異なるコンポーネントのベクトル入力203、ベクトルエンジン入力キュー207、ベクトルエンジン211および/または後処理ユニット215の間でデータを同期させる。制御ユニット201の機能は、図1の制御ユニット101に関してさらに詳細に説明される。
いくつかの実施形態では、制御ユニット201は、ベクトルエンジン入力キュー207、ベクトルエンジン211および/または後処理ユニット215によって受け取られるデータ要素のサイズおよび数を構成するために利用される。例えば、いくつかの実施形態では、制御ユニット201を使用して、ベクトルエンジン入力キュー207への入力を、各々がサイズ1バイトの96個の要素、または各々がサイズ2バイトの48個の要素、各々がサイズ2バイトの96個の要素、各々がサイズ4バイトの192個の要素などの他の適切な変動値として構成してもよい。いくつかの実施形態では、ベクトルエンジン入力キュー207は、一連のロード操作および論理シフト演算を実行することにより、それが受け取ることが可能なものよりも大きいサイズのデータ要素を出力することが可能である。例えば、4バイトの入力データ要素の4つの連続する1バイト部分を読み取り、各バイトを適切なビットフィールドに論理的にシフトすることにより、4バイトの入力データ要素がベクトルエンジン入力キュー207にロードされる。別の例として、いくつかの実施形態では、制御ユニット201を使用して、ベクトルエンジン211への入力を、各々がサイズ4バイトの96個の要素、または各々がサイズ1バイトの各96個の要素、各々がサイズ2バイトの48個の要素などの他の適切な変動値として構成してもよい。
様々な実施形態において、後処理ユニット215は、ベクトルエンジン211からの出力の後処理を実行するために利用される。後処理ユニット215の後処理機能は、図1の後処理ユニット115に関してさらに詳細に説明される。
図3は、機械学習処理を実行するためのマイクロプロセッサシステムの一実施形態を示すブロック図である。示される例では、マイクロプロセッサシステム300は、制御ユニット301、メモリ307、ベクトルエンジン311、および後処理ユニット315を含む。様々な実施形態において、メモリ307は通常、スタティックランダムアクセスメモリ(SRAM)である。様々な実施形態において、後処理ユニット315は、ベクトルエンジン311から入力データを受け取り、ベクトルエンジン311からの出力の後処理を実行するために利用される。後処理ユニット315の後処理機能は、図1の後処理ユニット115に関してさらに詳細に説明される。
図3のブロック図は、ベクトルエンジン311がメモリ307に結合され、メモリ307から直接データを取り出すことができるシステムアーキテクチャの実施形態を描いている。様々な実施形態において、メモリ307とベクトルエンジン311との間の通信チャネルのサイズは、メモリ307からベクトルエンジン311に複数のデータ要素を並列して転送するように構成され得る。例えば、ベクトルエンジン311が各々が32ビットサイズの96個の要素を並行して受け取ることが可能な実施形態では、メモリ307とベクトルエンジン311間の通信チャネルのサイズは、各々が32ビットサイズの96個の要素をメモリ307からベクトルエンジン311に並列して転送するように構成される。いくつかの実施形態では、メモリ307は、ベクトルエンジン311に転送する前にメモリからのデータをフォーマットするためのデータキャッシュもしくはバッファおよび/または論理回路を含み得るデータフォーマッタ(図示せず)を含む。例えば、サイズ1バイトのデータ要素がメモリ307内のワード境界に格納される場合もあり、データフォーマッタを利用して、データをバイト境界にフォーマットする、および/またはマスクする。様々な実施形態において、制御ユニット301、ベクトルエンジン311および後処理ユニット315は、それぞれ、図1の制御ユニット101、ベクトルエンジン111および後処理ユニット115である。様々な実施形態では、ベクトルエンジン311は、図1のマトリクスプロセッサ107に関して説明したように、マトリクスプロセッサ(図示せず)にさらに結合されてもよい。
いくつかの実施形態では、ベクトルエンジン311は、メモリ307に通信可能に結合されたベクトル計算ユニットである。ベクトルエンジン311は、処理要素313を含む複数の処理要素を含む。示される図では、ベクトルエンジン311内の小さな正方形は、ベクトルエンジン311がベクトルとして配置された複数の処理要素を含むことを示している。いくつかの実施形態では、処理要素313を含むベクトルエンジン311の処理要素はそれぞれ、算術論理演算ユニット(図示せず)を含む。ベクトルエンジン311の処理要素は、メモリ307からデータを受け取するように構成され、処理要素のそれぞれは、受け取ったデータの一部を並列して処理することができる。様々な実施形態において、ベクトルエンジン311は単一のベクトルプロセッサ命令を受け取り、次いで処理要素の各々は他の処理要素と並列してプロセッサ命令を実行する。いくつかの実施形態では、プロセッサ命令は、ロード操作、ストア操作および/または算術論理演算ユニット操作などの1つまたは複数のコンポーネント命令を含む。ベクトルエンジン311の機能は、それぞれ図1および図2のベクトルエンジン111および211に関してさらに詳細に説明される。
いくつかの実施形態では、制御ユニット301は、ベクトルエンジン311および後処理ユニット315によって実行される処理と、メモリ307へのアクセスを同期させる。例えば、制御ユニット301は、プロセッサ固有の命令をベクトルエンジン311および後処理ユニット315のそれぞれに送ることができる。いくつかの実施形態では、制御ユニット301は、ベクトルプロセッサ命令をベクトルエンジン311に送信してもよい。例えば、ベクトルプロセッサ命令は、ベクトル計算ユニットによって一緒に実施される複数のコンポーネント命令を備えた単一のプロセッサ命令を含んでもよい。いくつかの実施形態では、制御ユニット301は、後処理ユニット315に後処理命令を送信してもよい。様々な実施形態において、制御ユニット301は、ベクトルエンジン311によってメモリ307から受け取り、後処理ユニット315によってベクトルエンジン311から受け取るデータを同期させる。いくつかの実施形態では、制御ユニット301は、ベクトルエンジンおよび/または後処理ユニットプロセッサ固有の動作を利用することにより、異なるコンポーネントベクトルエンジン311および/または後処理ユニット315の間でデータを同期させる。制御ユニット301の機能は、図1の制御ユニット101に関してさらに詳細に説明される。
いくつかの実施形態において、制御ユニット301は、ベクトルエンジン311および/または後処理ユニット315が受け取るデータ要素のサイズおよび数を構成するために利用される。例えば、いくつかの実施形態では、制御ユニット301を使用して、各々がサイズ4バイトの96個のデータ要素、または各々がサイズ1バイトの96個の要素、各々がサイズ2バイトの48個の要素などの他の適切な変動値を受け取るようにベクトルエンジン311を構成することができる。図1および2に関してさらに説明されるように、ベクトルエンジン311と後処理ユニット315との間の点線の矢印は、複数のデータ要素を送信することができるコンポーネントのそれぞれのペア間の結合を描いている。一例として、ベクトルエンジン311と後処理ユニット315との間の通信チャネルは、96×1バイト幅であり、各要素のサイズが1バイトである96個の要素の並列転送をサポートすることができる。
図4Aは、機械学習処理を実行するためのベクトル計算ユニットの一実施形態を示すブロック図である。示される例では、マイクロプロセッサシステム400は、ベクトル計算ユニット401、入力バス411および出力バス431を含む。ベクトル計算ユニット401への入力は、入力バス411から届く。ベクトル計算ユニット401からの出力は、出力バス431に書き込まれる。いくつかの実施形態では、入力バス411および出力バス431は、入力バス411と出力バス431の両方の機能を含む単一のバスである。様々な実施形態において、入力バス411および出力バス431は、複数のデータ要素の並列転送を可能にするワイドデータバスである。例えば、計算ユニット401の並列処理機能に対応するために、入力バス411は96×32ビット幅であり、出力バス431は96バイト幅であり得る。いくつかの実施形態では、ベクトル計算ユニット401は、入力バス411を介してベクトル計算ユニット命令を受け取る。いくつかの実施形態では、ベクトル計算ユニット401は、命令バス(図示せず)などの入力バス411以外の通信チャネルを介してベクトル計算ユニット命令を受け取る。
様々な実施形態において、ベクトル計算ユニット401は、それぞれ図1、図2および図3のベクトルエンジン111、211および/または311である。いくつかの実施形態では、入力バス411は、図1のマトリクスプロセッサ107、図2のベクトルエンジン入力キュー207および/または図3のメモリ307に接続される。いくつかの実施形態では、出力バス431は、それぞれ図1、図2および図3の後処理ユニット115、215および/または315に接続される。様々な実施形態では、ベクトル計算ユニット401は、図1、図2および図3の制御ユニット101、201および/または301など、ベクトル計算ユニット401の外部にある、マイクロプロセッサシステム400の制御ユニット(図示せず)に双方向で結合される。様々な実施形態において、マイクロプロセッサシステム400の制御ユニットは、ベクトル計算ユニット命令をベクトル計算ユニット401に送信する。いくつかの実施形態では、マイクロプロセッサシステム400の制御ユニットは、命令およびデータをベクトル計算ユニット401に同期させるための1つまたは複数のシーケンサを含む。
示される例では、ベクトル計算ユニット401は、レジスタ421、ベクトルエンジン制御論理423、入力バッファ425、算術論理演算ユニット(ALU)427および出力バッファ429を含む。入力バス411からの入力データは入力バッファ425によって受け取られ、出力バス431に書き込まれる出力は出力バッファ429から書き込まれる。いくつかの実施形態において、入力バッファ425および出力バッファ429はデータバッファまたはキャッシュであり、メモリ同期機能を提供する。例えば、いくつかの実施形態では、入力バス411からの入力読み取りおよび/または出力バス431への出力書き込みは、入力バッファ425を利用して入力データを受け取り、計算した結果を格納するために出力バッファ429を利用することにより平滑化することができる予測不可能なレイテンシを有する。別の例として、ALU427からの出力が書き込みのための準備ができているとき、出力バス431を利用できない場合がある。いくつかの実施形態では、出力バッファ429は、出力バス431が出力バッファ429に格納された結果を書き込むために利用可能になるまで、ALU427が保留中のデータの処理を継続することを許可する。様々な実施形態において、入力バス411および出力バス431は、マイクロプロセッサシステム400の制御ユニット(図示せず)によって制御される通信チャネルである。
上述のように、様々な実施形態において、ベクトル計算ユニットは複数の処理要素を含む。いくつかの実施形態では、各処理要素は、データをロードし、データを格納し、算術論理演算ユニット操作を実行するための個々の機能を含む。個々の処理要素は、図4Aのブロック図には示されない。様々な実施形態において、算術論理演算ユニット(ALU)427は、各処理ユニットの対応する算術論理演算ユニット(ALU)を含む。同様に、入力バッファ425および出力バッファ429は、各処理ユニットに対応する入力バッファおよび出力バッファを含む。様々な実施形態において、ALU427は、ベクトル計算ユニット401への入力ベクトルのすべての要素を並列処理するためのALU論理を含む。いくつかの実施形態では、ALU427は、ALU結果を量子化するための論理を含む。様々な実施形態において、ALU論理、例えば、非線形関数および量子化を実行するための論理は、単一のプロセッサ命令に応答して実行することができる。
様々な実施形態において、レジスタ421は、ベクトル計算ユニット401の機能を実施するためのレジスタを含む。例えば、レジスタ421を使用して、他の適切な機能の中でもベクトル計算ユニット命令を実行するためのオペランドを格納する、ビットマスクを実装する、および異なるメモリサイズのレジスタエイリアスを使用してベクトル要素を参照することができる。いくつかの実施形態では、レジスタ421は、算術命令ベクトルレジスタ、マスクレジスタ、加算、減算、浮動小数点演算などの算術演算を実行するためのレジスタ、および/またはベクトル要素のエイリアシング用のレジスタを含む。いくつかの実施形態では、ベクトル要素のエイリアシングに使用されるレジスタは、算術演算を実行するためにも利用される。
いくつかの実施形態では、レジスタ421は算術命令ベクトルレジスタを含む。例えば、レジスタは、ロード操作、ストア操作および算術論理演算ユニット(ALU)操作のオペランドとして使用されてもよい。別の例として、いくつかの実施形態では、ALU操作は、ソースレジスタとして3つ、および宛先レジスタとして1つの最大4つのベクトルレジスタを引数として取ってもよい。様々な実施形態において、プロセッサ動作によって使用されるベクトルレジスタは、ベクトル要素のサイズに基づいて異なるベクトル要素にエイリアスされる。例えば、いくつかの実施形態では、8ビット、16ビット、32ビットで、および/または浮動小数点値で動作するためにベクトルレジスタの異なるセットが利用可能である。いくつかの実施形態では、32ビット値用のベクトルレジスタのセットは、浮動小数点値にも使用される。様々な実施形態において、32ビットのベクトルレジスタは、16ビットのベクトルレジスタおよび8ビットのベクトルレジスタにエイリアスされる。例えば、1つの32ビットベクトルレジスタは、2つの16ビットベクトルレジスタと、4つの8ビットベクトルレジスタにエイリアスされる。別の例として、8つの96×32ビットベクトルレジスタ(レジスタRD0〜RD7)を備えたベクトル計算ユニット401は、16個の96×16ビットベクトルレジスタ(レジスタRW0〜RW15)と32個の96×8ビットベクトルレジスタ(レジスタRB0〜RB31)にエイリアスされる。RD0は96×32ビットのベクトルレジスタであり、RW0は96×16ビットのベクトルレジスタであり、RB0は96×8ビットのベクトルレジスタである。ベクトルレジスタのエイリアシングの別の例が図4Bに描かれる。
いくつかの実施形態では、レジスタ421は、ベクトル計算ユニット401の処理要素の数に基づいた1つまたは複数のビットマスクレジスタを含む。例えば、96個の処理要素を持つベクトル計算ユニットには、1つまたは複数の96個のビットマスクレジスタが含まれてよい。様々な実施形態において、マスクレジスタは、メモリからビットマスクをロードすることにより設定されてよい。マスクレジスタを使用して、ベクトル計算ユニット401への入力データに対して実行された論理演算の結果を格納することができる。
いくつかの実施形態では、レジスタ421は、加算、減算および浮動小数点演算などの算術演算を実行するためのレジスタを含む。例えば、いくつかの実施形態では、ベクトル計算ユニット401は、ベクトル加算命令およびベクトル減算命令のキャリーアウトビットならびに浮動小数点命令に対応するステータスビットを格納するためのレジスタを含む。
いくつかの実施形態では、ベクトル計算ユニット401は、ベクトル計算ユニット命令のシーケンスを格納するための命令バッファ(図示せず)を含む。いくつかの実施形態では、命令バッファはコマンドキューである。さまざまな実施形態において、命令バッファは、実行される現在および/または最後の命令を参照するための1つまたは複数のポインタを含む。様々な実施形態において、命令バッファは、ベクトル計算ユニット命令のキャッシュとして機能する。例えば、1つまたは複数のベクトル計算ユニット命令は、ベクトル計算ユニット401の命令バッファにロードされ、命令を実行することができるようになるまでキャッシュされる。命令が実行されて不要になると、新しい命令が命令バッファにロードされてよい。いくつかの実施形態では、マイクロプロセッサシステム400の制御論理(図示せず)を介して外部命令コマンドキューからベクトル計算ユニット命令を受け取る。
いくつかの実施形態では、ベクトル計算ユニット401は、ベクトルエンジン制御論理423を含む。ベクトルエンジン制御論理423は、ベクトル計算ユニット命令のフェッチ、命令の復号化および/または命令の実行を含めたベクトル計算ユニット401の機能を実装するために利用される。様々な実施形態において、ベクトルエンジン制御論理423は、入力バッファ425、出力バッファ429およびレジスタ421を介して、データを読み取る、書き込む、マスキングする、および/またはエイリアシングするための論理を含む。いくつかの実施形態では、ベクトル計算ユニット401は、デキュー準備完了信号を受け取り、ベクトルエンジン制御論理423を使用して、データが入力バス411を介して利用可能であると判定する。例えば、ベクトルエンジン制御論理423は、デキュー準備信号を受け取ると、入力バス411に取り付けられた入力先入れ先出しキュー(図示せず)からデータをデキューすることができる。
図4Bは、ベクトルレジスタの例示的なエイリアシングを示す表である。表450は、16個の96×16ビットベクトルレジスタ(レジスタRW0〜RW15)と32個の96×8ビットベクトルレジスタ(レジスタRB0〜RB31)にエイリアスされた8個の96×32ビットベクトルレジスタ(レジスタRD0〜RD7)を有するベクトル計算ユニットの実施形態のベクトルレジスタのエイリアシングを例示する。いくつかの実施形態では、表450のベクトルレジスタは、図4Aのベクトル計算ユニット401のレジスタ421のベクトルレジスタである。示される例では、行451には、バイト0、1、2および3の列が含まれており、これらの列は、その下の行に列記される各レジスタにエイリアスされる。行453、463および473は、96×32ビットのベクトルレジスタRD0、RD1およびRD7に対応している。行455、465および475は、96×16ビットのベクトルレジスタRW0〜RW3およびRW14〜RW15に対応していている。行457、467および477は、96×8ビットのベクトルレジスタRB0〜RB7およびRB28〜RB31に対応している。この例では、バイト0〜3は、それぞれ図1、図2、図3のベクトルエンジン111、211、および/または311などのベクトル計算ユニットの96個のレーンのうちの1つである。
示される例では、表450は、ベクトル計算ユニットの実施形態の96個のレーンのうちの単一レーンに関するベクトルレジスタエイリアシングを示している。96x32ビットのベクトルレジスタRD0は、バイト0からバイト3までの順の4バイトを利用する。96×16ビットのベクトルレジスタRW0およびRW1は、それぞれ2バイトにエイリアスされる。ベクトルレジスタRW0は、バイト0とバイト1にエイリアスされ、ベクトルレジスタRW1は、バイト2とバイト3にエイリアスされる。96×8ビットベクトルレジスタRB0〜RB3は、各々がバイト0〜3にそれぞれ対応する1バイトにエイリアスされる。同様に、96×32ビットベクトルレジスタRD1は、96×16ビットベクトルレジスタRW2(バイト0および1)およびRW3(バイト2および3)に、そしてバイト0〜3に関して96×8ビットベクトルレジスタRB4〜RB7にそれぞれエイリアスされる。別の例として、96×32ビットベクトルレジスタRD7は、96×16ビットベクトルレジスタRW14(バイト0および1)およびRW15(バイト2および3)に、そしてバイト0〜3に関して96×8ビットベクトルレジスタRB28〜B31にそれぞれエイリアスされる。
様々な実施形態において、ベクトル計算ユニット命令は、ベクトルレジスタの96個のレーンすべてにおいて並列して動作する。例えば、96個のレーンのそれぞれについて、ベクトルレジスタRB0はバイト0で動作し、ベクトルレジスタRB5はバイト1で動作し、ベクトルレジスタRW2はバイト0および1で動作し、ベクトルレジスタRW15はバイト2および3で動作し、ベクトルレジスタRD7は並列してバイト0〜3で動作する。
図5は、マイクロプロセッサシステムのためのプロセッサ命令を決定するためのプロセスの一実施形態を示すフロー図である。いくつかの実施形態では、図5のプロセスは、高レベルのプログラミング言語で書かれたソフトウェアプログラムを、計算配列およびベクトル計算ユニットを備えたマイクロプロセッサシステムのための計算配列命令およびベクトル計算ユニット命令のシーケンスに変換する。様々な実施形態において、マイクロプロセッサシステムは図1のマイクロプロセッサシステム100であり、計算配列は図1のマトリクスプロセッサ107であり、ベクトル計算ユニットは図1のベクトルエンジン111である。様々な実施形態において、図5のプロセスは、自動運転および運転者支援自動車などの機械学習モデルを使用して推論を実行するアプリケーションを含む、機械学習に依存するアプリケーションを実装するために利用される。
501において、実行される処理、ならびに計算配列、ベクトル計算ユニットおよび/または後処理ユニットなどの異なる共処理コンポーネントに割り当てられる処理のサブセットに関する決定がなされる。様々な実施形態では、処理は、異なる共処理コンポーネントの機能および効率に基づいて割り当てられる。例えば、特定の行列関連の作業は計算配列に割り当てられ、活性化関数などの非線形関数を含む作業はベクトル計算ユニットに割り当てられる。いくつかの実施形態では、プーリング作業が後処理ユニットに割り当てられる。別の例として、いくつかの実施形態では、501において、畳み込み演算がドット積演算を必要とすること、およびドット積演算は、計算配列によって実行される行列処理を最適に利用するという決定がなされる。いくつかの実施形態では、この決定は、本明細書に記載されるマイクロプロセッサシステムを対象とするように機械学習アプリケーションをコンパイルすることによって実行される。
503において、501で決定され、割り当てられた処理に対応する1つまたは複数のマトリクスプロセッサ命令が決定される。例えば、501でマトリクスプロセッサにより実行されると決定されたドット積演算が1つまたは複数のマトリクスプロセッサ命令に変換される。様々な実施形態において、マトリクスプロセッサ命令は計算配列命令である。一例として、計算配列命令は、図1のデータ入力103などのデータ入力コンポーネントから1つまたは複数のデータベクトルを受け取り、図1の重み入力105などの対応する重み入力コンポーネントから1つまたは複数の重みベクトルを受け取ることを要求する場合がある。追加の計算配列命令は、ドット積演算を処理するための乗算、累積およびシフト演算を含む場合がある。例えば、1つまたは複数のドット積成分演算を使用してドット積結果を計算してもよい。様々な実施形態において、計算配列命令は、計算配列の対応する計算ユニットが受け取った入力データに対して実行される処理に向けられる。いくつかの実施形態では、追加の計算配列命令は、ベクトル計算ユニットによる処理のためにドット積結果を準備するための命令を含む。
505において、ベクトル計算ユニットによって実行されるベクトルエンジン命令に関して決定がなされる。例えば、501でベクトルエンジンにより実行されると決定された活性化関数に関連する動作は、1つまたは複数のベクトルエンジン命令に変換される。様々な実施形態では、ベクトルエンジン命令はベクトル計算ユニット命令である。一例として、ベクトル計算ユニット命令は、図1のマトリクスプロセッサ107などの計算配列から1つまたは複数のデータベクトルを受け取ることを要求する場合がある。追加のベクトル計算ユニット命令には、正規化線形ユニット(ReLu)関数などの非線形活性化関数を実行する作業が含まれる場合もある。様々な実施形態において、ベクトル計算ユニット命令は、ベクトル計算ユニットの対応する処理要素が受け取った入力データに対して実行される処理に向けられる。いくつかの実施形態では、追加のベクトル計算ユニット命令は、後処理ユニットによる後処理のために処理要素の結果を準備するための命令を含む。
様々な実施形態において、各ベクトル計算ユニット命令は、ベクトル計算ユニットによって一緒に実行される複数のコンポーネント命令を指定する単一のプロセッサ命令である。複数のコンポーネント命令の実行は、単一のベクトル計算ユニット命令に応答して、異なるデータ入力要素上で並列してベクトル計算ユニットの処理要素によって実行される。例えば、いくつかの実施形態では、単一のプロセッサ命令は、3つのコンポーネント命令、すなわち別個のロード命令、算術論理演算ユニット命令およびストア命令を含む。3つのコンポーネント命令は、ベクトル計算ユニットによって受け取られ、実行される。いくつかの実施形態では、コンポーネント命令を単一の処理命令にバンドルする作業が505で実行される。様々な実施形態において、ベクトル計算ユニット命令にバンドルするためのコンポーネント命令の順序および選択は、決定されたデータハザードに基づいている。
507において、後処理ユニットによって実行される後処理命令に関して決定がなされる。例えば、後処理機能に関連する動作は、501で後処理ユニットにより実行されると決定され、1つまたは複数の後処理命令に変換される。一例として、後処理命令は、図1のベクトルエンジン111などのベクトル計算ユニットから1つまたは複数のデータベクトルを受け取ることを要求する場合がある。追加の後処理命令には、マックスプーリング(maxpooling)などのプーリング層機能を実行する操作が含まれる場合がある。様々な実施形態において、後処理命令は、とりわけカーネルサイズ、ストライドおよび/または空間範囲などのプーリング機能を構成するための命令を含んでもよい。いくつかの実施形態では、追加の後処理命令は、後処理の結果を準備し書き出すための命令を含む。
509において、503、505および507で決定されたコプロセッサ命令のコレクションの実行に対応するシーケンスがスケジューリングされる。例えば、計算配列、ベクトル計算ユニットおよび/または後処理ユニットなどの様々なコプロセッサのそれぞれのプロセッサ命令の相対的な順序および/またはシーケンスが決定される。いくつかの実施形態では、シーケンスは、コプロセッサ間の相互作用および依存関係に依存している。例えば、ベクトル計算ユニットへの入力は、計算配列からの出力結果の可用性に依存する場合がある。様々な実施形態において、データハザードを含む依存関係が決定され、考慮される。例えば、様々な実施形態において、ベクトル計算ユニット命令は複数のコンポーネント命令を含み、複数のベクトル計算ユニット命令が並列に実行されるように実行することができる。利用できないデータリソースに基づいたデータハザードが特定され、考慮される。例えば、ロード操作の完了に依存する算術論理演算ユニット操作が実行される前にロード操作を完了することができるように、ベクトル計算ユニット命令のコンポーネント命令にno−opが挿入されてもよい。いくつかの実施形態では、コンポーネント命令を単一のベクトル計算ユニット命令にバンドルする作業が509で決定される。いくつかの実施形態では、コプロセッサ命令の順序付けなどの命令スケジューリングの一部またはすべてが、マトリクスプロセッサおよびベクトルエンジンに対して503および505でそれぞれ実行される。例えば、いくつかの実施形態では、各単一のベクトル計算ユニット命令のコンポーネント命令をバンドルする作業は505で決定される。
いくつかの実施形態では、マイクロプロセッサシステムの制御ユニットおよび/または1つもしくは複数のシーケンサを使用して、コプロセッサ命令のコレクションの処理を開始し調整する。例えば、509で決定した命令シーケンスは、図1の制御ユニット101などの制御ユニットによって、および/または1つもしくは複数のシーケンサによって使用されて、図1のマトリクスプロセッサ107などの計算配列、図1のベクトルエンジン111などのベクトル計算ユニットおよび/または図1の後処理ユニット113などの後処理ユニットに対して、対応するコプロセッサ命令を発行する。いくつかの実施形態では、1つまたは複数のシーケンサの機能は、制御ユニットによって実行される。例えば、いくつかの実施形態では、制御ユニットは、とりわけ、実行シーケンサ、メモリアクセスシーケンサ、ネットワークシーケンサおよび/またはベクトルエンジンシーケンサを含む。
図6Aは、ベクトル計算ユニットの実行を進行させるためのプロセスの一実施形態を示すフロー図である。図6Aのプロセスは、ベクトルの要素を並列に処理するためにベクトル計算ユニットによって実行されてよい。様々な実施形態では、ベクトル計算ユニットは、それぞれ図1、図2、図3および図4Aのベクトルエンジン111、211、311および/またはベクトル計算ユニット401である。いくつかの実施形態では、図6Aのプロセスは、図1の制御ユニット101などの制御ユニットによって開始される。様々な実施形態において、図6Aのプロセスのステップ間の移行は、図4Aのベクトルエンジン制御論理423などのベクトル計算ユニットの制御論理によって実行される。
601において、ベクトルエンジン命令が取得される。様々な実施形態において、ベクトルエンジン命令はベクトル計算ユニット命令であり、複数のコンポーネント命令を指定する。例えば、命令トライアドは、最大3つのコンポーネント命令を指定する単一のベクトル計算ユニット命令である。命令トライアドの例は、単一の命令としてロード操作、算術論理演算ユニット操作およびストア操作を含む。601において、命令が取得されると、プロセスは603と605の両方に進む。
603において、追加の命令が保留中であるかどうかについての判定がなされる。例えば、次のベクトルエンジン命令が利用可能であり、取得の準備ができている場合がある。別の例として、保留中の命令をキャッシュするための命令バッファが空である場合があり、次の利用可能な命令を取得する、および/または待機する必要がある。いくつかの実施形態では、追加の命令の可用性は、命令バッファ内の最後の有効な命令を参照するポインタの検査に基づいている。利用可能な追加の命令がないことに応答して、処理はステップ609に進む。1つまたは複数の追加の命令が利用可能になったことに応じて処理は601に戻る。
605において、601で取得したベクトルエンジン命令がデコードされる。様々な実施形態において、単一のベクトルエンジン命令は、1つまたは複数のコンポーネント命令を指定する。様々な実施形態において、命令およびコンポーネント命令はデコードされる。例えば、ロードコンポーネント命令、算術論理演算ユニットコンポーネント命令およびストアコンポーネント命令を含む命令トライアドが、個別のコンポーネント操作にデコードされる。いくつかの実施形態では、復号化は、各コンポーネント操作のオペコードと、そのオペコードに対応する引数の両方を決定する。一例として、ロードコンポーネント命令には、バイトベクトルデキュー操作に対応するオペコードと、デキューの結果としてバイトのベクトルを格納する対応する宛先ベクトルレジスタの両方が含まれる。別の例として、追加コンポーネント命令には、符号付き16ビット加算操作に対応するオペコードと、ソースおよび宛先引数に関する対応するベクトルレジスタの両方が含まれる。
607において、605でデコードされた命令が実行される。いくつかの実施形態では、複数のコンポーネント命令を指定する単一のベクトルエンジン命令が、ベクトル計算ユニットの処理要素によって実行される。例えば、処理要素のベクトルは、605でデコードされた単一のベクトルエンジン命令を実行する。いくつかの実施形態では、単一のベクトルエンジン命令のコンポーネント命令の各々は、処理要素のそれぞれによって並列してさらに実行される。例えば、各処理要素に対して、ロード命令と算術論理演算ユニット命令が並列して実行されてよい。いくつかの実施形態では、ロード命令、算術論理演算ユニット命令およびストア命令が並列に実行されてもよい。例えば、入力データのベクトルが入力アキュムレータからベクトルレジスタにロードされる、算術論理演算ユニット(ALU)によって浮動小数点乗算演算が2つの異なるベクトルレジスタに対して実行される、および16ビット要素のベクトルがベクトルレジスタからメモリに格納されるなどのコンポーネント操作が、ベクトルエンジンの各処理セルによって並列して実行される。様々な実施形態では、処理要素がコンポーネント命令の実行を終えると、ベクトルエンジン命令の処理は完了する。
609において、ベクトル計算ユニットは次の命令を待つ。例えば、ベクトル計算ユニットは、保留中の命令をキャッシュするための命令バッファが実行される有効な命令を含むまで待機する。別の例として、ベクトル計算ユニットは、メモリから次の命令を受け取り、ベクトル計算ユニットに対して利用可能になるまで待機する。いくつかの実施形態では、ベクトル計算ユニットは、追加の命令が利用可能になるのを待ちながら609で停止する。様々な実施形態では、ベクトル計算ユニットは、追加の命令を待っている間に609において割り込みに応答してもよい。追加の命令の到着に応答して、処理は601に戻る。
図6Bは、ベクトル計算ユニットによってベクトルデータを処理するためのプロセスの一実施形態を示すフロー図である。例えば、図6Bは、計算配列および/または先入れ先出し(FIFO)キューなどの入力ソースからベクトル計算ユニットが受け取ったベクトルデータに適用されるプロセスを図示している。いくつかの実施形態では、図6Bのプロセスは、ベクトル結果を計算するためにベクトル入力に対してベクトル演算を実行するためにベクトル計算ユニットによって実行されるステップを例示している。様々な実施形態において、図6Bのプロセスは、ベクトル計算ユニットの複数の処理要素を利用して、ベクトルの要素に対する処理を並列して実行する。様々な実施形態において、ベクトル計算ユニットは、それぞれ図1、図2、図3および図4Aのベクトルエンジン111、211、311および/またはベクトル計算ユニット401である。
651において、ロード操作がデコードされ、発行される。いくつかの実施形態では、データをベクトル計算ユニットに受け入れるためにロード操作が必要である。例えば、いくつかの実施形態において、デキュー操作は、ベクトル計算ユニットの処理要素が受け取る計算配列からのデータ要素のベクトルをデキューするロード操作である。様々な実施形態では、ロード操作は、単一のベクトル計算ユニット命令を構成する複数のコンポーネント命令のうちの1つであり得る。ロード操作の復号化により、特定のタイプのロード操作および適切な操作が決定される。例えば、指定された異なるベクトルレジスタに異なるサイズのベクトル要素をロードするためのさまざまなロード操作が存在する。651において、ロード操作がデコードされ発行されて、先入れ先出し(FIFO)キューからのデータ結果のベクトルのデキューなどの入力データの受け取りを開始する。
653において、ベクトル計算ユニットは、651で発行されたロード操作の結果として、ベクトルの形で入力データを受け取る。例えば、ベクトル計算ユニットは、図1のマトリクスプロセッサ107などの計算配列、図2のベクトルエンジン入力キュー207などの先入れ先出し(FIFO)キューなどの計算配列、またはその他の適切なデータソースから入力データ要素のベクトルを受け取る。いくつかの実施形態では、入力データは入力バッファに格納される。いくつかの実施形態において、入力バッファは、フリップフロップおよび/または1つもしくは複数のアキュムレータのセットを利用して入力データを格納する。入力データを入力ステップ655において1つまたは複数のベクトルレジスタにロードすることができるように、入力ベクトルのサイズの入力バッファを使用して入力データを格納する場合もある。
655において、653で受け取ったベクトルデータが適切なレジスタにロードされる。例えば、653で読み取られたベクトルデータは、ロード命令によって指定されたベクトルレジスタにロードされる。いくつかの実施形態では、レジスタエイリアスを使用して、データがどのようにベクトルレジスタにロードされるかを決定する。例えば、データは同じレジスタのメモリ位置にロードされるが、使用される命令およびエイリアスされたレジスタに基づいて、バイト、ハーフワードまたはワード境界に合わせて調節されてもよい。いくつかの実施形態では、ベクトルレジスタへのベクトルデータのロードは、ベクトルビットマスクなどのビットマスクを利用してベクトルのどのバイトをどのレジスタメモリ位置にロードするかを決定する。例えば、96ビットマスクを使用して、ベクトルレジスタのどの要素がデータを受け取るかを決定してもよい。
657において、追加のデータが必要かどうかに対する判定がなされる。例えば、現在のベクトル計算ユニットの命令に基づいて、算術論理演算ユニット(ALU)操作を実行する前に追加のデータが必要になる場合がある。追加のデータが必要とされないことに応じて、処理は661に進む。一例として、現在のベクトル計算ユニット命令が、no−op操作ではないALUコンポーネント操作(追加操作など)を含む場合には処理は661へと続く。追加のデータを必要としていることに応じて、例えば、ロード操作が保留中であり、ALU操作が保留中ではない場合、処理は659に進む。いくつかの実施形態では、命令トライアドは、ALU操作が現在の命令に対して実行されるべきでないことを示すno−opでALU操作を置き換える場合もある。
659において、追加のデータが処理のためにベクトル計算ユニットにロードされる。例えば、入力重みのベクトルなどの追加の入力データは、メモリの読み取り、マトリクスプロセッサの結果の受け取り、先入れ先出し(FIFO)キューのキュー解除、またはその他の適切な手法によってロードされてよい。いくつかの実施形態では、静的ランダムアクセスメモリ(SRAM)などのメモリを読み取ることにより、追加のデータがロードされてもよい。様々な実施形態では、読み取りバッファなどの追加のコンポーネントを利用して、データのロード作業を同期させる、および/または読み取り遅延と待ち時間を考慮してもよい。様々な実施形態において、659でロードされるデータは、重み入力のベクトルなどの入力データのベクトルであり得る。
661において、ベクトル算術論理演算ユニット(ALU)操作が実行される。様々な実施形態において、ベクトルALU操作は、とりわけ、加算演算子(符号付きおよび符号なし)、減算演算子(符号付きおよび符号なし)、乗算演算子、絶対値演算子および論理演算子のためのベクトル演算を含む。ベクトルALU操作は、異なるオペランドサイズで実行されてよい。オペランドサイズの例には、8ビット、16ビット、32ビットおよび浮動小数点の値が含まれる。いくつかの実施形態において、異なるオペランドサイズは、レジスタエイリアシングおよび/または操作のオペコードに基づいて決定される。例えば、8ビットのオペランドのベクトル加算演算では、8ビットのベクトルレジスタを使用する。図4Aおよび4Bに関してより詳細に説明したように、レジスタエイリアシングによって、異なるエイリアスを使用して同じメモリ位置を参照することが可能になる。例えば、32ビットのメモリブロックは、所望される結果に応じて、単一の4バイトのオペランド、2つの2バイトのオペランド、または4つの1バイトのオペランドとして参照することができる。様々な実施形態において、ベクトル計算ユニットの各処理要素は、他の処理要素と並列して同じALU操作(例えば加算、減算、乗算など)を実行する。いくつかの実施形態では、出力結果はALU結果の量子化バージョンである。例えば、出力結果は、表現するのにALUの結果よりも少ないビットしか必要としない量子化されたバージョンである。いくつかの実施形態では、ALU結果は、入力オペランドよりも少ないビットを使用して表される結果を使用して計算される。例えば、入力オペランドのサイズはそれぞれ4バイトであり、出力結果のサイズは1バイトであり得る。
663において、661で実行された算術論理演算ユニット(ALU)操作のベクトル結果がベクトル計算ユニットから書き出される。いくつかの実施形態では、出力バスがデータを受け取るのに利用できない場合、次のALU操作のために処理を継続することを可能にする出力バッファを利用してベクトル結果が書き出される。いくつかの実施形態では、ベクトル出力の結果は、それぞれ図1、図2および図3の後処理ユニット115、215および/または315などの後処理ユニットに転送される。例えば、ALU操作の実行の結果は、後処理プーリング作業を実行するための後処理ユニットに書き込まれる。いくつかの実施形態では、出力ベクトルの結果は、スタティックランダムアクセスメモリ(SRAM)などのメモリに書き込まれる。さまざまな実施形態において、出力は、各要素が1バイトのサイズを有する96個の要素ベクトルなどの要素のベクトルとして書き出される。
図7は、ベクトル計算ユニット命令の符号化フォーマットの一実施形態を示すブロック図である。示される例では、ベクトル計算ユニット命令710は、単一の命令によって指定される複数のコンポーネント命令の符号化を描いている。ベクトル計算ユニット命令740は、単一の命令によって指定される複数のコンポーネント命令のそれぞれのフォーマットをさらに詳細に説明する。ベクトル計算ユニット命令710は、符号化された命令トライアドであり、ロード操作711、算術論理演算ユニット(ALU)操作713およびストア操作715を含む。ベクトル計算ユニット命令740は、オペコード741、レジスタ743、オペコード751、レジスタ753、オペコード構成フィールド755、即値フィールド757、オペコード761およびレジスタ763などのフィールドを含む。ベクトル計算ユニット命令710によって表されるコンポーネント命令(ロード操作、ALU操作およびストア操作に対応)のフィールドは、ベクトル計算ユニット命令740にマッピングされる。ベクトル計算ユニット命令740には、符号化されたロード操作(オペコード741およびレジスタ743)、算術論理演算ユニット操作(オペコード751、レジスタ753、オペコード構成フィールド755および即値フィールド757)およびストア操作(オペコード761およびレジスタ763)が含まれる。
いくつかの実施形態では、ベクトル計算ユニット命令は、3つのコンポーネント命令を指定する命令トライアドである。例えば、ロード操作、算術論理演算ユニット(ALU)操作およびストア操作は、128ビットフォーマットを使用して単一の命令にバンドルされてもよい。様々な実施形態では、より大きな、またはより小さなビットフォーマットを利用して、必要に応じて3つのコンポーネント命令をバンドルしてもよい。いくつかの実施形態では、ロード操作およびストア操作は13ビットに符号化され、ALU操作は64ビットに符号化される。様々な実施形態において、バンドルされたロード操作、ストア操作およびALU操作によって使用されないいずれの残りのビットも、パディングビットである。いくつかの実施形態では、オペコードは8ビットに符号化され、レジスタは5ビットに符号化され、即値フィールドは32ビットに符号化される。様々な実施形態では、異なる長さの符号化が適切に利用されてよく、また命令サイズ、サポートされるベクトル演算の数、レジスタの数、ベクトルサイズおよび/または他の適切な要因に基づいている。一部のシナリオでは、1つまたは複数のコンポーネント命令が使用されない場合、no−op操作が使用される。
示される例では、ベクトル計算ユニット命令740の符号化されたロード操作は、オペコード741およびレジスタ743を含む。オペコード741はベクトルロード操作に対応し、レジスタ743はそのロード操作に関する対応する宛先ベクトルレジスタである。例えば、オペコード741を使用してデータをロードするデキュー操作のためのオペコードを格納することができ、レジスタ743はロードされたデータを格納するための宛先レジスタである。様々な実施形態において、ロード操作は、ベクトル計算ユニットによる処理のために、入力データのベクトルをベクトルレジスタにロードするのに使用される。いくつかの実施形態では、オペコード741は8ビットフィールドであり、レジスタ743は5ビットフィールドである。
示される例では、ベクトル計算ユニット命令740の符号化されたストア操作は、オペコード761およびレジスタ763を含む。オペコード761は、ベクトルストア操作に対応しており、レジスタ763は、ストア操作がデータのベクトルをそこから読み取るべき対応するソースベクトルレジスタである。例えば、オペコード761を使用して、レジスタ763からのデータをスタティックランダムアクセスメモリ(SRAM)などの外部メモリに格納するストア操作のためのオペコードを格納することができる。いくつかの実施形態では、格納作業に使用されるメモリの開始アドレスは、メモリ位置を参照するための書き込みポインタを使用して外部シーケンサまたは制御ユニットによって維持される。いくつかの実施形態において、ストア操作は、データのベクトルを出力データバスに書き込むのに使用される。いくつかの実施形態では、オペコード761は8ビットフィールドであり、レジスタ763は5ビットフィールドである。
示される例では、符号化された算術論理演算ユニット(ALU)操作には、オペコード751、レジスタ753、オペコード構成フィールド755および即値フィールド757が含まれる。オペコード751は、ALUオペコードの符号化に使用される。例えば、ALUオペコードには、とりわけ加算演算子(符号付きおよび符号なし)、減算演算子(符号付きおよび符号なし)、乗算演算子、絶対値演算子および論理演算子のためのベクトル演算に対応するオペコードが含まれてよい。ベクトルALU操作に応じて、操作はレジスタ753、オペコード構成フィールド755および即値フィールド757といったフィールドを利用してよい。いくつかの実施形態では、レジスタ753は、3つのソースレジスタと1つの宛先レジスタを含む最大4つのベクトルレジスタを指定する。いくつかの実施形態では、レジスタ753は20ビットフィールドであり、各レジスタに対して5ビットを利用する。
いくつかの実施形態では、符号化された算術論理演算ユニット(ALU)操作は、特定のALU操作によって利用されるオペコード構成フィールド755を含む。いくつかの実施形態では、オペコード構成フィールド755は5ビットフィールドであり、レジスタサイズフィールド(2ビット)、マスクビット(1ビット)および即値有効ビット(1ビット)を含む。例えば、一部のシナリオでは、レジスタサイズフィールド(2ビット)に格納されている値を使用して、レジスタのサイズ(8ビット、16ビットまたは32ビット)を指定してもよい。追加の例として、マスクビット(1ビット)を使用して即値フィールド757をビットマスクとして処理する場合もあり、即値有効ビット(1ビット)を使用して即値フィールド757の有効性を識別してもよい。様々な実施形態において、即値フィールド757は、即値フィールドを必要とするALU操作に利用される32ビットのフィールドである。例えば、ベクトル移動操作は、32ビット値を即値フィールド757から宛先ベクトルレジスタに移動するように構成されてよい。
いくつかの実施形態において、ベクトル計算ユニットは、ベクトルビットマスクをベクトルマスクレジスタにロードするために、ベクトルマスク移動命令(図示せず)をサポートする。いくつかの実施形態では、ベクトルマスク移動命令は、対応するオペコードフィールド、宛先レジスタフィールドおよび即値フィールドを含む。一例として、ベクトルマスクの移動は、即値フィールドに格納されているベクトルビットマスクをベクトルマスクレジスタにロードする。いくつかの実施形態において、ベクトル計算ユニットによってサポートされるベクトルのサイズ(例えば、96個の要素幅)は、ビットマスクを格納するのに十分な大きさの即値フィールド(例えば96ビット)を必要とする。いくつかの実施形態では、ベクトルマスク移動命令は、ベクトル計算ユニット命令710および740の符号化フォーマットに制限されない。例えば、即値フィールドのサイズに基づいて、ベクトルマスクの移動は他のコンポーネント命令と一緒にバンドルされない場合もある。
様々な実施形態において、ベクトル計算ユニット命令のコンポーネント命令は、図5のプロセスを使用して一緒にバンドルされる。いくつかの実施形態では、図7の符号化フォーマットは、それぞれ図1、図2、図3および図4Aのベクトルエンジン111、211、311および/またはベクトル計算ユニット401などのベクトル計算ユニットによって利用される。いくつかの実施形態では、ベクトル計算ユニット命令は、マイクロプロセッサシステムのシーケンサまたは特定のシーケンサを含む制御ユニットによってベクトル計算ユニットに対して発行される。
図8は、ベクトル計算ユニットにより単一のベクトル計算ユニット命令を実行するためのプロセスの一実施形態を示すフロー図である。図8のプロセスは、ベクトル計算ユニットの処理要素を利用して、ベクトルの要素に対して並列してベクトル計算ユニットによって実行されてよい。いくつかの実施形態では、図8のプロセスは、それぞれ図1、図2、図3および図4Aのベクトルエンジン111、211、311および/またはベクトル計算ユニット401などのベクトル計算ユニットによって実行される。
801において、ベクトル計算ユニット命令がフェッチされる。いくつかの実施形態では、命令は、命令バッファおよび/またはコマンドキューからフェッチされる。様々な実施形態において、命令バッファは、実行される現在の命令を参照するための1つまたは複数のポインタを含む。様々な実施形態において、命令バッファは、ベクトル計算ユニット命令のキャッシュとして機能する。
821において、ベクトル計算ユニット命令がデコードされる。例えば、命令トライアドであるベクトル計算ユニット命令は、その3つのコンポーネント命令にデコードされる。様々な実施形態において、各コンポーネント命令によって利用される引数およびフィールドがデコードされる。例えば、図7のレジスタ753などのレジスタフィールドで指定されたベクトルレジスタは、ソースレジスタと、宛先レジスタにデコードされる。
831において、コンポーネント命令が発行される。いくつかの実施形態では、コンポーネント命令の発行は、リソースハザードおよび/またはデータハザードが存在するかどうかを判定することを含む。ハザードが存在する場合、いくつかの実施形態では、ベクトル計算ユニットはハザードが解決されるのを待つ。例えば、前のクロックサイクルでのロード操作によってリソースハザードが生じた場合、ベクトル計算ユニットは、そのロードが完了し、リソースが利用可能になるまで1つまたは複数のクロックサイクルを待機する。
いくつかの実施形態では、複数のコンポーネント命令が一緒に発行され、並列して実行される。例えば、命令トライアドのロード操作、算術論理演算ユニット(ALU)操作およびストア操作は、同じクロックサイクルの中で一緒に実行される。コンポーネント命令が一緒に実行されるシナリオでは、ロード操作(ステップ845)、ALU操作(ステップ855)およびストア操作(ステップ865)の実行に対応する各ステップは、対応するno−op代替手段(ステップ843、854および863)と共に、同じクロックサイクル内で開始され、実行は並列して進行する。
いくつかの実施形態では、異なるコンポーネント命令が、開始をずらして実行される。例えば、いくつかの実施形態では、ロード操作が最初に実行され、続いて算術論理演算ユニット(ALU)操作が実行され、次にストア操作が実行される。ずらされるシナリオでは、最初のベクトル計算ユニット命令のALU操作は、次のベクトル計算ユニット命令のロード操作と並列して実行されてもよい。
さまざまな実施形態において、異なる算術論理演算ユニット(ALU)操作を含む異なる操作は完了するために1つまたは複数のクロックサイクルを要するが、同じクロックサイクルの終わりまでに異なる操作が完了するという保証はない。いくつかの実施形態では、フェッチステップ(ステップ801)、デコードステップ(ステップ821)および発行ステップ(ステップ831)のうちの1つまたは複数が同じ命令サイクル内で実行されてもよい。
841において、ベクトル計算ユニット命令がロード操作を含むかどうかに対する判定がなされる。例えば、一部のシナリオでは、ロード操作が実行されるべきでないことを示すために、ロード操作をno−opで置き換える場合もある。no−opに応答して、処理は843に続く。ロード操作が存在する場合、処理は845に続く。
843において、no−opが処理され、ロード操作は実行されない。例えば、841では命令の中にロード命令が存在せず、代わりにno−opのオペコードが使用された。
845において、ベクトル計算ユニットによってロード操作が実行される。例えば、ベクトルエンジン入力キュー207などの先入れ先出しキューから入力ベクトルをロードするためのデキュー操作が実行される。
851において、ベクトル計算ユニット命令が算術論理演算ユニット(ALU)操作を含むかどうかに対する判定がなされる。例えば、一部のシナリオでは、ALU操作が実行されるべきではないことを示すために、ALU操作をno−opで置き換える場合もある。no−opに応答して、処理は853に続く。ALU操作が存在する場合、処理は855に続く。
853において、no−opが処理され、算術論理演算ユニット(ALU)操作は実行されない。例えば、851の命令にALU命令が存在せず、代わりにno−opのためのオペコードが使用された。
855において、ベクトル計算ユニットによって算術論理演算ユニット(ALU)操作が実行される。例えば、ベクトル加算演算に応答して、ベクトル計算ユニットの算術論理演算ユニットはベクトル加算演算を実行して、2つのソースベクトルレジスタの内容を加算し、その結果を宛先ベクトルレジスタに格納する。いくつかの実施形態では、ベクトル計算ユニットの算術論理演算ユニットは、図4Aの算術論理演算ユニット(ALU)427である。
861において、ベクトル計算ユニット命令がストア操作を含むかどうかに対する判定がなされる。例えば、一部のシナリオでは、ストア操作が実行されるべきではないことを示すために、ストア操作をno−opで置き換える場合もある。no−opに応答して、処理は863に続く。ストア操作が存在する場合、処理は865に続く。
863において、no−opが処理され、ストア操作は実行されない。例えば、861の命令にはストア命令が存在せず、代わりにno−opのためのオペコードが使用された。
865において、ベクトル計算ユニットによってストア操作が実行される。例えば、ベクトルレジスタ内のベクトルデータをメモリに格納するストア操作が実行される。
図9は、ベクトル計算ユニットの例示的な命令サイクルを示す図である。図9のプロセスは、並列して実行される3つのベクトル計算ユニット命令の順序およびシーケンスの例を示しているが、開始がずらされた状態である。いくつかの実施形態では、図9の例示的な命令サイクルは、それぞれ図1、図2、図3および図4Aのベクトルエンジン111、211、311および/またはベクトル計算ユニット401によって利用される。図9の例では、単一の命令としてバンドルされたコンポーネント命令は、ロード操作が最初に実行され、その後に算術論理演算ユニット(ALU)操作が実行され、次にストア操作が実行されるように開始をずらして実行される。いくつかの実施形態では、順次ベクトル計算ユニット命令はパイプライン化されるが、コンポーネント命令は並列に実行され、図9に示されるずらした開始には従わない。
示される例では、第1の命令サイクル910は、最初のベクトル計算ユニット命令に相当するフェッチステップ911、デコードステップ921、発行ステップ931、ロード実行ステップ941、算術論理演算ユニット(ALU)実行ステップ951およびストア実行ステップ961を含む。第2の命令サイクル920は、第2のベクトル計算ユニット命令に対応するフェッチステップ923、デコードステップ933、発行ステップ943、ロード実行ステップ953、算術論理演算ユニット(ALU)実行ステップ963およびストア実行ステップ973を含む。第3の命令サイクル930は、第3のベクトル計算ユニット命令に対応するフェッチステップ935、デコードステップ945、発行ステップ955、ロード実行ステップ965、算術論理演算ユニット(ALU)実行ステップ975およびストア実行ステップ985を含む。いくつかの実施形態では、点線の垂直線はクロックサイクル境界である。様々な実施形態において、同じクロックサイクル境界内のステップは、同じクロックサイクルの中で開始される。
いくつかの実施形態では、命令サイクルの開始は、1段分だけずらされている。例えば、第1の命令サイクル910は、第2の命令サイクル920と比較して処理において1段先であり、第3の命令サイクル930の2段先である。任意の所与のクロックサイクルの中で、異なるベクトル計算ユニット命令は、フェッチ、デコード、発行、ロード実行、算術論理演算ユニット(ALU)実行、ストア実行といった、異なる段に関連付けられたハードウェアリソースを利用することができる。一例として、第1、第2および第3の命令サイクル910、920および930の発行段931、デコード段933およびフェッチ段935は、それぞれ同じクロックサイクルの中で実行される。別の例として、第1、第2および第3の命令サイクル910、920および930のストア実行ステップ961、算術論理演算ユニット(ALU)実行ステップ963およびロード実行ステップ965は、それぞれ同じクロックサイクルの中で実行される。
いくつかの実施形態では、ベクトル計算ユニットの命令サイクルは、クロックサイクルごとに1つのベクトル計算ユニット命令のスループットを達成する。いくつかの実施形態において、フェッチステップ、デコードステップおよび/または発行ステップは、単一のクロックサイクルに圧縮される。例えば、いくつかの実施形態において、フェッチ時間を最小化するために命令バッファが利用され、フェッチステップとデコードステップは一緒に実行される。いくつかの実施形態では、命令サイクルの各段は、完了するのに1つまたは複数のクロックサイクルを要する場合がある。いくつかの実施形態では、段自体がパイプライン化される。例えば、実行ステップが完了するまでに2サイクル以上かかる場合、複数のクロックサイクルにわたって完了するために、実行ステップがパイプライン化される場合もある。いくつかの実施形態では、複数の実行ステップがパイプライン方式で並列に処理されてもよく、各実行ステップは異なるベクトル計算ユニット命令に対応してもよい。いくつかの実施形態では、フェッチステップ911、923および935は図8のステップ801に対応し、デコードステップ921、933および945は図8のステップ821に対応し、発行ステップ931、943および955は図8のステップ831に対応し、ロード実行ステップ941、953および965は、図8のステップ845に対応し、算術論理演算ユニット(ALU)実行ステップ951、963および975は、図8のステップ855に対応し、ストア実行ステップ961、973および985は図8のステップ865に対応している。
代替の実施形態(図示せず)では、命令サイクルのフェッチ段、デコード段および発行段は図9と同じ順序で実行される。図9の例示的な実施形態とは対照的に、ロード実行ステップ、算術論理演算ユニット(ALU)実行ステップおよびストア実行ステップは、同じクロックサイクルの中に一緒に並列して実行される。例えば、同じベクトル計算ユニット命令のロード実行ステップ941、ALU実行ステップ951およびストア実行ステップ961は一緒に実行される。
図10は、計算配列の計算ユニットの一実施形態を示すブロック図である。示される例では、計算ユニット1000は、入力値重み1002、データ1004およびResultIn1006、信号ClearAcc信号1008、Clock信号1010、ResultEnable信号1012、ResultCapture信号1014およびShiftEn信号1016、コンポーネントアキュムレータ1024、マルチプレクサ1026、シャドウレジスタ1028、乗算器1030および加算器1032、論理1034、1036および1038ならびに出力値ResultOut1050を含む。いくつかの実施形態では、論理1034、1036および1038はANDゲートである。いくつかの実施形態では、必要に応じて追加の信号が含まれる。様々な実施形態において、図10の計算ユニットは、図1のマトリクスプロセッサ107などの計算配列の計算ユニット109などの複数の計算ユニットのそれぞれに対して繰り返される。計算ユニット1000を利用して、計算操作を並列して実施することができる。様々な実施形態において、計算配列の各計算ユニットは、他の計算ユニットと並列して計算を実行する。様々な実施形態において、計算ユニット1000は、1つまたは複数の乗算、加算、累積および/またはシフト演算を実行する機能を含むマトリクスプロセッサのサブ回路である。例えば、計算ユニット1000は、ドット積演算を実行するための機能を含むサブ回路であってもよい。様々な実施形態において、計算ユニット1000は、図1の計算ユニット109、および/または図2の計算ユニット209および/または221〜229である。
いくつかの実施形態では、Clock信号1010は、計算ユニット1000が受け取ったクロック信号である。様々な実施形態において、計算配列の各計算ユニットは同じクロック信号を受け取り、このクロック信号を利用して各計算ユニットの処理を他の計算ユニットと同期させる。
示される例では、乗算器1030は、入力値データ1004と、重み1002を受け取り、それらに対して乗算演算を実行する。乗算器1030の出力は、加算器1032に供給される。加算器1032は、乗算器1030の出力と、論理1034の出力を受け取り、それらに対して加算を実行する。加算器1032の出力は、アキュムレータ1024に供給される。いくつかの実施形態では、入力値データ1004および重み1002は、計算ユニットを横断し、対応するデータおよび/または重みを隣接する計算ユニットに供給するラインである。例えば、いくつかの実施形態では、データ1004は同じ列のすべての計算ユニットに供給され、重み1002は同じ行のすべての計算ユニットに供給される。様々な実施形態において、データ1004および重み1002は、データ入力103および重み入力105から計算ユニット1000にそれぞれ供給される入力要素に対応する。さまざまな実施形態において、データ1004および重み1002は、データハードウェアデータフォーマッタおよび重みハードウェアデータフォーマッタから計算ユニット1000にそれぞれ供給される入力要素に対応する。
いくつかの実施形態では、ClearAcc信号1008はアキュムレータ1024の内容をクリアする。一例として、アキュムレータ1024をクリアすることによって累積演算をリセットし、乗算器1030の結果を累積するために使用することができる。いくつかの実施形態では、新しいドット積演算を実行するために、ClearAcc信号1008を使用してアキュムレータ1024をクリアする。例えば、要素ごとの乗算は乗算器1030によって実行され、部分ドット積の結果は加算器1032およびアキュムレータ1024を使用して加算される。
様々な実施形態において、アキュムレータ1024は、加算器1032の結果および間接的に乗算器1030の結果を累積することが可能なアキュムレータである。例えば、いくつかの実施形態では、アキュムレータ1024は、ClearAcc信号1008のステータスに基づいて、乗算器1030の結果をアキュムレータ1024の内容と一緒に累積するように構成される。別の例として、ClearAcc信号1008のステータスに基づいて、アキュムレータ1024に格納されている現在の結果は加算器1032によって無視される場合もある。示される例では、アキュムレータ1024は32ビット幅のアキュムレータである。様々な実施形態において、アキュムレータ1024は、必要に応じて異なるサイズ、例えば8ビット、16ビット、64ビットなどである場合もある。様々な実施形態において、計算配列の複数の計算ユニットの各アキュムレータは同一サイズである。様々な実施形態において、アキュムレータ1024は、データを累積して保存する、データを累積して消去する、または単にデータを消去する場合がある。いくつかの実施形態では、アキュムレータ1024は、累積レジスタとして実装されてもよい。いくつかの実施形態では、アキュムレータ1024は、レジスタを含む一セットの算術論理演算ユニット(ALU)を含む場合もある。
いくつかの実施形態では、データ1004が有効であるという決定に応答して、ResultEnable信号1012が起動される。例えば、ResultEnable信号1012が有効にされて、乗算器1030および加算器1032によるアキュムレータ1024への処理などの計算ユニットによる処理を有効にすることができる。
いくつかの実施形態では、ResultCapture信号1014は、マルチプレクサ1026の機能を決定するために利用される。マルチプレクサ1026は、ResultIn1006、アキュムレータ1024の出力およびResultCapture信号1014を入力として受け取る。様々な実施形態において、ResultCapture信号1014は、ResultIn1006またはアキュムレータ1024の出力のいずれかをマルチプレクサ1026の出力として通過させることを可能にするために使用される。いくつかの実施形態では、マルチプレクサ1026は出力レジスタとして実装される。いくつかの実施形態では、ResultIn1006は、計算ユニット1000と同じ列の計算ユニットに接続される。例えば、隣接する計算ユニットの出力は、入力値ResultIn1006として計算ユニット1000に供給される。いくつかの実施形態では、隣接する計算ユニットの入力は、計算ユニットの対応するResultOut値である。
いくつかの実施形態では、シャドウレジスタ1028は、マルチプレクサ1026の出力を入力として受け取る。いくつかの実施形態では、シャドウレジスタ1028は、ResultCapture信号1014の値に応じて、マルチプレクサ1026を介してアキュムレータ1024の出力を受け取るように構成される。示される例では、シャドウレジスタ1028の出力は、出力値ResultOut1050である 様々な実施形態では、結果がシャドウレジスタ1028に挿入されると、アキュムレータ1024を使用して新しい計算を開始することができる。例えば、最終的なドット積結果がシャドウレジスタ1028に格納されると、アキュムレータ1024はクリアされ、新たな重み入力値およびデータ入力値に対する新たなドット積演算の部分結果、ならびに最終的には最終結果を累積し、格納するために使用されてよい。示される例では、シャドウレジスタ1028はShiftEn信号1016を受け取る。様々な実施形態において、ShiftEn信号1016は、シャドウレジスタ1028への値の格納を有効にする、または無効にするために使用される。いくつかの実施形態では、ShiftEn信号1016は、シャドウレジスタ1028に格納された値を出力値ResultOut1050にシフトするために使用される。例えば、ShiftEn信号1016が有効な場合、シャドウレジスタ1028に格納されている値は、出力値ResultOut1050としてシャドウレジスタ1028からシフトアウトされる。いくつかの実施形態では、ResultOut1050は、隣接する計算ユニットの入力値ResultInに接続される。いくつかの実施形態では、計算ユニットの列の最後のセルは、計算配列の出力に接続される。様々な実施形態において、計算配列の出力は、ベクトル処理のために図1のベクトルエンジン111などのベクトルエンジンに供給される。例えば、図1の計算セル109などの計算セルの出力ResultOut1050は、図1のベクトルエンジン111の処理要素113などのベクトルエンジンの処理要素に供給されてもよい。
示される例では、シャドウレジスタ1028は32ビット幅である。様々な実施形態では、シャドウレジスタ1028は、必要に応じて、例えば8ビット、16ビット、64ビットなどの異なるサイズにされてもよい。様々な実施形態では、計算配列の複数の計算ユニットの各シャドウレジスタは同じサイズである。様々な実施形態では、シャドウレジスタ1028はアキュムレータ1024と同じサイズである。様々な実施形態において、マルチプレクサ1026のサイズは、アキュムレータ1024および/またはシャドウレジスタ1028のサイズに基づいている(例えば、同じサイズ、またはそれより大きい)。
いくつかの実施形態では、論理1034、1036および1038は、制御信号などの信号を受け取って計算ユニット1000の機能を有効化する、および/または構成する。様々な実施形態では、論理1034、1036および1038は、ANDゲートを使用して、および/またはANDゲートに対応する機能を使用して実装される。例えば、上述のように、論理1034はClearAcc信号1008と、アキュムレータ1024に格納された値に対応する入力値とを受け取る。ClearAcc信号1008に基づいて、論理1034の出力が決定され、加算器1032に供給される。別の例として、論理1036はResultEnable信号1012およびClock信号1010を受け取る。ResultEnable信号1012に基づいて、論理1036の出力が決定され、アキュムレータ1024に供給される。別の例として、論理1038はShiftEn信号1016およびClock信号1010を受け取る。ShiftEn信号1016に基づいて、論理1038の出力が決定され、シャドウレジスタ1028に供給される。
様々な実施形態において、計算ユニットは、乗算、加算演算およびシフト演算を同時に実行する、すなわち単一のサイクルの中で実行することができ、それにより各サイクルで発生する操作の総数が2倍になる。いくつかの実施形態では、結果は、単一のクロックサイクル内で、すなわち中間の実行操作および保存操作を必要とせずに、マルチプレクサ1026からシャドウレジスタ1028に移動される。様々な実施形態において、クロックサイクルは、Clock信号1010で受け取った信号に基づいている。
様々な実施形態において、入力値の重み1002およびデータ1004は8ビット値である。いくつかの実施形態では、重み1002は符号付きの値であり、データ1004は符号なしである。様々な実施形態において、重み1002およびデータ1004は、必要に応じて符号が付けられてもよいし、符号が付けられなくてもよい。いくつかの実施形態では、ResultIn1006およびResultOut1050は32ビット値である。様々な実施形態において、ResultIn1006およびResultOut1050は、入力オペランドの重み1002およびデータ1004よりも多いビットを使用して実装される。多数のビットを利用することにより、例えばドット積結果を計算するために重み1002とデータ1004の複数のペアを乗算した結果が、スカラー結果をオーバーフローさせることなく累積されてよい。
いくつかの実施形態では、計算ユニット1000は、アキュムレータ1024で中間計算結果および/または最終計算結果を生成する。最終計算結果は、マルチプレクサ1026を介してシャドウレジスタ1028に格納される。いくつかの実施形態では、マルチプレクサ1026は出力レジスタとして機能し、アキュムレータ1024の出力を格納する。様々な実施形態において、最終計算結果は畳み込み演算の結果である。例えば、ResultOut1050における最終結果は、重み1002を使用して入力値として計算ユニット1000が受け取ったフィルタと、データ1004を使用して入力値として計算ユニット1000が受け取ったセンサデータの2次元領域との畳み込みの結果である。
一例として、センサデータの領域に対応する2×2データ入力行列[d0 d1;d2 d3]、および重みの2×2行列[w0 w1;w2 w3]に対応するフィルタに対して、計算ユニット1000を使用して畳み込み演算を実行することができる。2×2データ入力行列には、1行目[d0 d1]と2行目[d2 d3]がある。フィルタ行列には、1行目[w0 w1]と2行目[w2 w3]がある。様々な実施形態では、計算ユニット1000は、データ1004を介してクロックサイクルごとに1要素で1次元入力ベクトル[d0 d1 d2 d3]としてデータ行列を受け取り、重み1002を介してクロックサイクルごとに1要素で1次元入力ベクトル[w0 w1 w2 w3]として重み行列を受け取る。計算ユニット1000を使用して、2つの入力ベクトルのドット積が実行され、ResultOut1050においてスカラー結果が生成される。例えば、乗算器1030を使用して、入力重みとデータベクトルの対応する各要素を乗算し、その結果は格納され、アキュムレータ1024における前の結果に追加される。例えば、要素d0に要素w0を乗算した結果(例えば、d0*w0)が、クリアされたアキュムレータ1024に最初に格納される。次に、要素d1に要素w1を乗算し、加算器1032を使用して、アキュムレータ1024に格納されている前の結果(例えば、d0*w0)に加算して、d0*w0+d1*w1の等価値を計算する。処理は要素d2とw2の3番目のペアに進み、アキュムレータ1024でd0*w0+d1*w1+d2*w2の等価値を計算する。要素の最後のペアが乗算され、ドット積の最終結果(例:d0*w0+d1*w1+d2*w2+d3*w3)がアキュムレータ1024に格納される。次に、ドット積の結果がシャドウレジスタ1028にコピーされる。シャドウレジスタ1028に格納されると、例えば、センサデータの異なる領域を使用して、新しいドット積演算を開始することができる。ShiftEn信号1016に基づいて、シャドウレジスタ1028に格納されたドット積結果はシャドウレジスタ1028からResultOut1050にシフトされる。様々な実施形態において、重み行列およびデータ行列は、上記の例とは異なる次元である場合もある。例えば、より大きな次元が使用される場合もある。
いくつかの実施形態では、バイアスパラメータが導入され、アキュムレータ1024を使用してドット積結果に追加される。いくつかの実施形態では、他の入力値としての乗算一致素子と共に、重み1002またはデータ1004のいずれかにおける入力としてバイアスパラメータを受け取る。バイアスパラメータを一致素子に対して乗算してバイアスパラメータを保持し、乗算の結果(バイアスパラメータなど)は加算器1032を使用してドット積結果に可算される。加算結果であるバイアス値によるドット積結果オフセットは、アキュムレータ1024に格納され、シャドウレジスタ1028を使用してResultOut1050でシフトアウトされる。いくつかの実施形態では、図1のベクトルエンジン111などのベクトルエンジンを使用してバイアスが導入される。
前述の実施形態は、理解を明確にする目的で一部の詳細において説明されているが、本発明は提供された詳細に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示された実施形態は例示的であり、限定的ではない。

Claims (25)

  1. 複数の計算ユニットを含む計算配列と、
    該計算配列と通信するベクトル計算ユニットと、を備える、マイクロプロセッサシステム。
  2. 前記ベクトル計算ユニットは、複数の処理要素を含み、該処理要素は、前記計算配列から出力データ要素を受け取り、該受け取った出力データ要素を並列処理するように構成される、請求項1に記載のシステム。
  3. 前記処理要素は、単一のプロセッサ命令に応答して、前記受け取った出力データ要素を並列処理する、請求項2に記載のシステム。
  4. 前記計算配列がマトリクスプロセッサを含む、請求項1に記載のシステム。
  5. 前記計算配列は、2つのベクトル入力オペランドを受け取るように構成される、請求項1に記載のシステム。
  6. 前記複数の計算ユニットの各計算ユニットは、算術論理演算ユニット、アキュムレータおよびシャドウレジスタを含む、請求項1に記載のシステム。
  7. 前記複数の計算ユニットの各計算ユニットは、乗算演算および加算演算を実行するように構成される、請求項1に記載のシステム。
  8. 前記複数の計算ユニットの各計算ユニットは、ドット積成分演算を実行するように構成される、請求項1に記載のシステム。
  9. 前記複数の計算ユニットの各計算ユニットは、単一の計算配列命令に応答して、ドット積結果成分を並列して計算するように構成される、請求項1に記載のシステム。
  10. 前記複数の処理要素の各処理要素は、他の処理要素と並列して算術論理演算ユニット操作を実行するように構成された算術論理演算ユニットを含む、請求項2に記載のシステム。
  11. 通知信号が、前記計算配列からの出力データ要素が前記ベクトル計算ユニット用に準備ができていることを識別する、請求項2に記載のシステム。
  12. 前記計算配列は、先入れ先出しキューとして動作するように構成される、請求項1に記載のシステム。
  13. 前記計算配列からの前記出力データ要素は、ドット積結果に相当する、請求項2に記載のシステム。
  14. 前記計算配列からの前記出力データ要素は、画像データに対して実行された畳み込み結果に相当する、請求項2に記載のシステム。
  15. 前記単一のプロセッサ命令は、非線形関数の結果を計算するために使用される、請求項3に記載のシステム。
  16. 前記非線形関数は、正規化線形ユニット関数またはシグモイド関数である、請求項15に記載のシステム。
  17. 前記ベクトル計算ユニットと通信する後処理ユニットをさらに備える、請求項1に記載のシステム。
  18. 前記後処理ユニットは、プーリング機能を実行するように構成される、請求項17に記載のシステム。
  19. 前記計算配列から受け取った前記出力データ要素はアキュムレータに格納される、請求項2に記載のシステム。
  20. 前記複数の処理要素の各処理要素は、前記アキュムレータのスライスおよび1つまたは複数のベクトルレジスタのスライスにアクセスするように構成される、請求項19に記載のシステム。
  21. 前記ベクトル計算ユニットは、前記計算配列からの出力データ要素に適合するサイズの複数のベクトルレジスタをさらに含む、請求項2に記載のシステム。
  22. 複数の計算ユニットを含み、該複数の計算ユニットの各計算ユニットが単一の計算配列命令に応答してドット積成分演算を実行するように構成された計算配列と、
    該計算配列と通信するベクトル計算ユニットであって、該ベクトル計算ユニットは複数の処理要素を含み、該処理要素は、前記計算配列から出力データ要素を受け取り、単一のベクトル計算ユニット命令に応答して、該受け取った出力データ要素を並列処理するように構成されるベクトル計算ユニットと、
    を備える、マイクロプロセッサシステム。
  23. 前記単一の計算配列命令を前記計算配列に提供し、前記単一のベクトル計算ユニット命令を前記ベクトル計算ユニットに提供するように構成された制御ユニットをさらに備える、請求項22に記載のシステム。
  24. 前記制御ユニットは、前記計算配列から転送された前記出力データ要素を前記ベクトル計算ユニットの前記処理要素に同期させる、請求項23に記載のシステム。
  25. ベクトル計算ユニットのための単一のプロセッサ命令を受け取り、該ベクトル計算ユニットは計算配列と通信しており、該計算配列から出力データ要素を受け取るように構成された複数の処理要素を含む工程と、
    前記計算配列から該出力データ要素を受け取り、該計算配列は複数の計算ユニットを含む工程と、
    該単一のプロセッサ命令に応答して、該受け取った出力データ要素を並列処理する工程と、を含む方法。
JP2020503785A 2017-07-24 2018-06-20 ベクトル計算ユニット Active JP7426925B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023081312A JP7498831B2 (ja) 2017-07-24 2023-05-17 ベクトル計算ユニット

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762536399P 2017-07-24 2017-07-24
US62/536,399 2017-07-24
US15/710,433 2017-09-20
US15/710,433 US10671349B2 (en) 2017-07-24 2017-09-20 Accelerated mathematical engine
US201862625251P 2018-02-01 2018-02-01
US62/625,251 2018-02-01
US15/920,156 US11409692B2 (en) 2017-07-24 2018-03-13 Vector computational unit
US15/920,156 2018-03-13
PCT/US2018/038618 WO2019022872A1 (en) 2017-07-24 2018-06-20 VECTORIAL CALCULATION UNIT

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023081312A Division JP7498831B2 (ja) 2017-07-24 2023-05-17 ベクトル計算ユニット

Publications (2)

Publication Number Publication Date
JP2020529070A true JP2020529070A (ja) 2020-10-01
JP7426925B2 JP7426925B2 (ja) 2024-02-02

Family

ID=65018702

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020503785A Active JP7426925B2 (ja) 2017-07-24 2018-06-20 ベクトル計算ユニット
JP2023081312A Active JP7498831B2 (ja) 2017-07-24 2023-05-17 ベクトル計算ユニット

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023081312A Active JP7498831B2 (ja) 2017-07-24 2023-05-17 ベクトル計算ユニット

Country Status (8)

Country Link
US (2) US11409692B2 (ja)
EP (2) EP4242941A3 (ja)
JP (2) JP7426925B2 (ja)
KR (3) KR102549680B1 (ja)
CN (2) CN118035625A (ja)
CA (1) CA3070934C (ja)
MX (2) MX2020000951A (ja)
WO (1) WO2019022872A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157287B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system with variable latency memory access
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11277455B2 (en) 2018-06-07 2022-03-15 Mellanox Technologies, Ltd. Streaming system
US20200106828A1 (en) * 2018-10-02 2020-04-02 Mellanox Technologies, Ltd. Parallel Computation Network Device
US11056098B1 (en) 2018-11-28 2021-07-06 Amazon Technologies, Inc. Silent phonemes for tracking end of speech
GB2580151B (en) * 2018-12-21 2021-02-24 Graphcore Ltd Identifying processing units in a processor
US10824370B2 (en) * 2019-02-07 2020-11-03 quadric.io, Inc. Systems and methods for implementing random access memory in a flow-based machine perception and dense algorithm integrated circuit based on computing and coalescing of indices
US11625393B2 (en) 2019-02-19 2023-04-11 Mellanox Technologies, Ltd. High performance computing system
EP3699770A1 (en) 2019-02-25 2020-08-26 Mellanox Technologies TLV Ltd. Collective communication system and methods
CN111814093A (zh) * 2019-04-12 2020-10-23 杭州中天微系统有限公司 一种乘累加指令的处理方法和处理装置
US11657252B2 (en) * 2019-06-07 2023-05-23 Meta Platforms, Inc. Point to point connected processing elements with data joiner components
US11829439B2 (en) 2019-12-30 2023-11-28 Qualcomm Incorporated Methods and apparatus to perform matrix multiplication in a streaming processor
US11750699B2 (en) 2020-01-15 2023-09-05 Mellanox Technologies, Ltd. Small message aggregation
US11252027B2 (en) 2020-01-23 2022-02-15 Mellanox Technologies, Ltd. Network element supporting flexible data reduction operations
KR20210105053A (ko) * 2020-02-18 2021-08-26 에스케이하이닉스 주식회사 연산 회로 및 그것을 포함하는 딥 러닝 시스템
US11876885B2 (en) 2020-07-02 2024-01-16 Mellanox Technologies, Ltd. Clock queue with arming and/or self-arming features
US20220051086A1 (en) * 2020-08-17 2022-02-17 Alibaba Group Holding Limited Vector accelerator for artificial intelligence and machine learning
US20220076105A1 (en) * 2020-09-09 2022-03-10 Allegro MicroSystems, LLC, Manchester, NH Method and apparatus for trimming sensor output using a neural network engine
US11556378B2 (en) 2020-12-14 2023-01-17 Mellanox Technologies, Ltd. Offloading execution of a multi-task parameter-dependent operation to a network device
CN112988114B (zh) * 2021-03-12 2022-04-12 中国科学院自动化研究所 基于gpu的大数计算系统
WO2023167980A1 (en) 2022-03-04 2023-09-07 Tesla, Inc. Enhanced fractional interpolation for convolutional processor in autonomous or semi-autonomous systems
WO2023167981A1 (en) 2022-03-04 2023-09-07 Tesla, Inc. Efficient multiply-accumulate units for convolutional neural network processing including max pooling
WO2023200725A1 (en) 2022-04-12 2023-10-19 Tesla, Inc. Transposing information using shadow latches and active latches for efficient die area in processing system
WO2023212203A1 (en) 2022-04-29 2023-11-02 Tesla, Inc. Matrix multiplication performed using convolution engine which includes array of processing elements
WO2023220073A1 (en) 2022-05-10 2023-11-16 Tesla, Inc. Efficient selection of single instruction multiple data operations for neural processing units
US11922237B1 (en) 2022-09-12 2024-03-05 Mellanox Technologies, Ltd. Single-step collective operations
WO2024072984A1 (en) 2022-09-30 2024-04-04 Tesla, Inc. Actuator and actuator design methodology
CN115905791B (zh) * 2022-11-25 2023-08-04 湖南胜云光电科技有限公司 一种数字信号的处理系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04295953A (ja) * 1991-03-25 1992-10-20 Nippon Telegr & Teleph Corp <Ntt> 要素プロセッサの2次元アレイを内蔵する並列データ処理装置および要素プロセッサのサブアレイユニット
US6847365B1 (en) * 2000-01-03 2005-01-25 Genesis Microchip Inc. Systems and methods for efficient processing of multimedia data
US20050172106A1 (en) * 2003-12-09 2005-08-04 Arm Limited Aliasing data processing registers
JP2015056124A (ja) * 2013-09-13 2015-03-23 株式会社東芝 行列演算装置
US20160342891A1 (en) * 2015-05-21 2016-11-24 Google Inc. Neural Network Processor
US20160379109A1 (en) * 2015-06-29 2016-12-29 Microsoft Technology Licensing, Llc Convolutional neural networks on hardware accelerators
JP2017027149A (ja) * 2015-07-16 2017-02-02 ルネサスエレクトロニクス株式会社 半導体装置

Family Cites Families (920)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5239636A (en) 1988-09-09 1993-08-24 Advanced Micro Devices, Inc. Buffer memory subsystem for peripheral controllers
US5267185A (en) 1989-04-14 1993-11-30 Sharp Kabushiki Kaisha Apparatus for calculating matrices
AU641418B2 (en) 1989-09-20 1993-09-23 Fujitsu Limited A parallel data processing system for processing and transmitting data concurrently
US5138695A (en) 1989-10-10 1992-08-11 Hnc, Inc. Systolic array image processing system
CA2045756C (en) 1990-06-29 1996-08-20 Gregg Bouchard Combined queue for invalidates and return data in multiprocessor system
JP2578262Y2 (ja) 1991-07-31 1998-08-06 エルナー株式会社 座付き偏平形電解コンデンサ及びこれに用いる座板材
US5311459A (en) 1992-09-17 1994-05-10 Eastman Kodak Company Selectively configurable integrated circuit device for performing multiple digital signal processing functions
AU5412694A (en) 1992-11-05 1994-05-24 Commonwealth Of Australia, The Scalable dimensionless array
US6002880A (en) 1992-12-29 1999-12-14 Philips Electronics North America Corporation VLIW processor with less instruction issue slots than functional units
US5717947A (en) 1993-03-31 1998-02-10 Motorola, Inc. Data processing system and method thereof
US5519864A (en) 1993-12-27 1996-05-21 Intel Corporation Method and apparatus for scheduling the dispatch of instructions from a reservation station
JP3547482B2 (ja) 1994-04-15 2004-07-28 株式会社日立製作所 情報処理装置
US5887183A (en) 1995-01-04 1999-03-23 International Business Machines Corporation Method and system in a data processing system for loading and storing vectors in a plurality of modes
US5850530A (en) 1995-12-18 1998-12-15 International Business Machines Corporation Method and apparatus for improving bus efficiency by enabling arbitration based upon availability of completion data
US5727299A (en) 1996-06-24 1998-03-17 Dominion Tool & Die Company, Inc. Wheel alignment machine and method
KR100267089B1 (ko) * 1996-08-19 2000-11-01 윤종용 스칼라/벡터연산이조합된단일명령복수데이터처리
US6587573B1 (en) 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US6272257B1 (en) 1997-04-30 2001-08-07 Canon Kabushiki Kaisha Decoder of variable length codes
US6446190B1 (en) 1998-03-12 2002-09-03 Bops, Inc. Register file indexing methods and apparatus for providing indirect control of register addressing in a VLIW processor
JP3941252B2 (ja) 1998-08-07 2007-07-04 マツダ株式会社 車両の位置検出装置
KR100326702B1 (ko) 1999-03-16 2002-03-12 이계안 차선이탈 경보장치의 실 도로폭 산출방법
US6654507B2 (en) 2000-12-14 2003-11-25 Eastman Kodak Company Automatically producing an image of a portion of a photographic image
GB2370438A (en) 2000-12-22 2002-06-26 Hewlett Packard Co Automated image cropping using selected compositional rules.
JP2002333978A (ja) 2001-05-08 2002-11-22 Nec Corp Vliw型プロセッサ
KR100440953B1 (ko) 2001-08-18 2004-07-21 삼성전자주식회사 영상 압축 비트 스트림의 트랜스코딩 방법
US6882755B2 (en) 2001-10-19 2005-04-19 Hewlett-Packard Development Company, L.P. Image transmission for low bandwidth with region of interest
JP3822515B2 (ja) 2002-03-29 2006-09-20 株式会社東芝 障害物検知装置及びその方法
KR100801683B1 (ko) 2003-02-21 2008-02-11 젠텍스 코포레이션 자동 차량 외부 등화 제어 장치 및 자동 차량 장비 제어 장치
SE526424C2 (sv) 2003-06-02 2005-09-13 Lear Corp Aktivt mörkerseendesystem för ett inre passagerarutrymme hos ett fordon samt metod för att styra nämnda system
US20130111188A9 (en) 2003-07-24 2013-05-02 Martin Vorbach Low latency massive parallel data processing device
US20060280364A1 (en) 2003-08-07 2006-12-14 Matsushita Electric Industrial Co., Ltd. Automatic image cropping system and method for use with portable devices equipped with digital cameras
JP4300098B2 (ja) 2003-11-13 2009-07-22 日本電信電話株式会社 オブジェクト識別方法とその装置、プログラム及び記録媒体
US20050125477A1 (en) * 2003-12-04 2005-06-09 Genov Roman A. High-precision matrix-vector multiplication on a charge-mode array with embedded dynamic memory and stochastic method thereof
US7219085B2 (en) 2003-12-09 2007-05-15 Microsoft Corporation System and method for accelerating and optimizing the processing of machine learning techniques using a graphics processing unit
US20050162445A1 (en) 2004-01-22 2005-07-28 Lumapix Method and system for interactive cropping of a graphical object within a containing region
US7797363B2 (en) * 2004-04-07 2010-09-14 Sandbridge Technologies, Inc. Processor having parallel vector multiply and reduce operations with sequential semantics
US20060072847A1 (en) 2004-10-01 2006-04-06 Microsoft Corporation System for automatic image cropping based on image saliency
JP4282583B2 (ja) 2004-10-29 2009-06-24 シャープ株式会社 動画編集装置及び方法
US8913830B2 (en) 2005-01-18 2014-12-16 Siemens Aktiengesellschaft Multilevel image segmentation
TW200630819A (en) 2005-02-23 2006-09-01 Northern Taiwan Inst Of Science And Technology Method of using intelligent theory to design heat dissipation module and device thereof
TW200630834A (en) 2005-02-23 2006-09-01 Northern Taiwan Inst Of Science And Technology Method and device using intelligent theory to evaluate permeability of heat pipe
TW200630833A (en) 2005-02-23 2006-09-01 Northern Taiwan Inst Of Science And Technology Method and device using intelligent theory to design heat dissipation opening of computer housing
JP2008533615A (ja) 2005-03-14 2008-08-21 エル ターラー、ステフエン ニューラルネットワーク開発およびデータ解析ツール
US8106956B2 (en) 2005-06-27 2012-01-31 Nokia Corporation Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products
US7533071B2 (en) 2005-06-28 2009-05-12 Neurosciences Research Foundation, Inc. Neural modeling and brain-based devices using special purpose processor
US7814297B2 (en) * 2005-07-26 2010-10-12 Arm Limited Algebraic single instruction multiple data processing
US20070198815A1 (en) * 2005-08-11 2007-08-23 Coresonic Ab Programmable digital signal processor having a clustered SIMD microarchitecture including a complex short multiplier and an independent vector load unit
US7747070B2 (en) 2005-08-31 2010-06-29 Microsoft Corporation Training convolutional neural networks on graphics processing units
US20070255903A1 (en) 2006-05-01 2007-11-01 Meir Tsadik Device, system and method of accessing a memory
JP4388939B2 (ja) 2006-09-25 2009-12-24 富士フイルム株式会社 画像再生装置ならびにその制御方法およびその制御プログラム
US11625761B2 (en) 2007-09-06 2023-04-11 Mohammad A. Mazed System and method for machine learning and augmented reality based user application
US20090016571A1 (en) 2007-03-30 2009-01-15 Louis Tijerina Blur display for automotive night vision systems with enhanced form perception from low-resolution camera images
US7904867B2 (en) 2007-04-04 2011-03-08 Synopsys, Inc. Integrating a boolean SAT solver into a router
JP4513865B2 (ja) 2008-01-25 2010-07-28 セイコーエプソン株式会社 並列演算装置および並列演算方法
US8108328B2 (en) 2008-07-17 2012-01-31 Tokyo Electron Limited Neural network based hermite interpolator for scatterometry parameter estimation
US8165380B2 (en) 2008-09-11 2012-04-24 PACSPLUS Co., Ltd. Method, apparatus and program for processing mammographic image
JP2010079840A (ja) 2008-09-29 2010-04-08 Nec Electronics Corp デジタル演算回路
JP2010114731A (ja) 2008-11-07 2010-05-20 Toshiba Corp カメラモジュールの製造方法
CN101742324A (zh) 2008-11-14 2010-06-16 北京中星微电子有限公司 视频编解码方法、视频编解码系统及编解码器
JP5376920B2 (ja) 2008-12-04 2013-12-25 キヤノン株式会社 コンボリューション演算回路、階層的コンボリューション演算回路及び物体認識装置
KR100966288B1 (ko) 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
KR101082878B1 (ko) 2009-01-29 2011-11-11 연세대학교 산학협력단 홍채 영상 복원 방법
CN101477692B (zh) 2009-02-13 2012-08-22 阿里巴巴集团控股有限公司 图像特征提取方法及装置
US8284997B2 (en) 2009-03-11 2012-10-09 Honeywell International Inc. Vision-based vehicle navigation system and method
WO2010124376A1 (en) 2009-04-27 2010-11-04 Vincent Charles Cheung Method, system and computer product for distribution of data objects
GB2470782B (en) * 2009-06-05 2014-10-22 Advanced Risc Mach Ltd A data processing apparatus and method for handling vector instructions
US8406515B2 (en) 2009-06-24 2013-03-26 Hewlett-Packard Development Company, L.P. Method for automatically cropping digital images
US8442927B2 (en) 2009-07-30 2013-05-14 Nec Laboratories America, Inc. Dynamically configurable, multi-ported co-processor for convolutional neural networks
US20120134595A1 (en) 2009-08-11 2012-05-31 Koninklijke Philips Electronics N.V. Method and apparatus for providing an image for display
US8509526B2 (en) 2010-04-13 2013-08-13 International Business Machines Corporation Detection of objects in digital images
JP5503419B2 (ja) 2010-06-03 2014-05-28 株式会社日立製作所 無人搬送車および走行制御方法
US8578136B2 (en) * 2010-06-15 2013-11-05 Arm Limited Apparatus and method for mapping architectural registers to physical registers
US10645344B2 (en) 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
JP5656563B2 (ja) 2010-11-02 2015-01-21 キヤノン株式会社 文書管理システム、文書管理システムの制御方法、プログラム
JP5170226B2 (ja) 2010-12-10 2013-03-27 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
CN102541814B (zh) * 2010-12-27 2015-10-14 北京国睿中数科技股份有限公司 用于数据通信处理器的矩阵计算装置和方法
US8924455B1 (en) 2011-02-25 2014-12-30 Xilinx, Inc. Multiplication of matrices using systolic arrays
US8862653B2 (en) * 2011-04-26 2014-10-14 University Of South Carolina System and method for sparse matrix vector multiplication processing
EP2723069B1 (en) 2011-06-16 2017-10-18 Aisin Seiki Kabushiki Kaisha Vehicle periphery monitoring device
JP5911165B2 (ja) 2011-08-05 2016-04-27 株式会社メガチップス 画像認識装置
JP6117206B2 (ja) 2011-08-25 2017-04-19 コーネル ユニヴァーシティー 機械視覚のための網膜符号化器
US9595074B2 (en) * 2011-09-16 2017-03-14 Imagination Technologies Limited Multistage collector for outputs in multiprocessor systems
US8773498B2 (en) 2011-09-30 2014-07-08 Polycom, Inc. Background compression and resolution enhancement technique for video telephony and video conferencing
US8588470B2 (en) 2011-11-18 2013-11-19 Xerox Corporation Methods and systems for improved license plate signature matching by similarity learning on synthetic images
US8594217B2 (en) 2011-12-06 2013-11-26 The Mathworks, Inc. Parallel implementation of maximum a posteriori probability decoder
US20130159665A1 (en) 2011-12-15 2013-06-20 Verisilicon Holdings Co., Ltd. Specialized vector instruction and datapath for matrix multiplication
US9430391B2 (en) 2012-03-29 2016-08-30 Advanced Micro Devices, Inc. Managing coherent memory between an accelerated processing device and a central processing unit
WO2013145015A1 (ja) 2012-03-29 2013-10-03 トヨタ自動車株式会社 路面状態推定装置
JP5863536B2 (ja) 2012-03-29 2016-02-16 富士重工業株式会社 車外監視装置
US9738223B2 (en) 2012-05-31 2017-08-22 GM Global Technology Operations LLC Dynamic guideline overlay with image cropping
US9208432B2 (en) 2012-06-01 2015-12-08 Brain Corporation Neural network learning and collaboration apparatus and methods
US8976269B2 (en) 2012-06-22 2015-03-10 California Institute Of Technology Compressive sensing based bio-inspired shape feature detection CMOS imager
US9008422B2 (en) 2012-06-28 2015-04-14 Lexmark International, Inc. Methods of content-driven image cropping
JP6044134B2 (ja) 2012-06-29 2016-12-14 カシオ計算機株式会社 最適画像サイズによる画像領域分割装置、方法、およびプログラム
CN102737236B (zh) 2012-07-06 2015-06-24 北京大学 一种基于多模态传感器数据自动获取车辆训练样本方法
JP6011104B2 (ja) 2012-07-24 2016-10-19 株式会社デンソー 車両用視界支援装置
WO2014025765A2 (en) 2012-08-06 2014-02-13 University Of Miami Systems and methods for adaptive neural decoding
US9477925B2 (en) 2012-11-20 2016-10-25 Microsoft Technology Licensing, Llc Deep neural networks training for speech and pattern recognition
US9081385B1 (en) 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images
US9811775B2 (en) 2012-12-24 2017-11-07 Google Inc. Parallelizing neural networks during training
US9501276B2 (en) 2012-12-31 2016-11-22 Intel Corporation Instructions and logic to vectorize conditional loops
US9754154B2 (en) 2013-02-15 2017-09-05 Microsoft Technology Licensing, Llc Identification using depth-based head-detection data
EP2961336B1 (en) 2013-02-28 2024-03-27 Ares Trading S.A. Apparatus, method, and system for automated, non-invasive cell activity tracking
US9165203B2 (en) 2013-03-15 2015-10-20 Arris Technology, Inc. Legibility enhancement for a logo, text or other region of interest in video
US9764468B2 (en) 2013-03-15 2017-09-19 Brain Corporation Adaptive predictor apparatus and methods
CN103236037B (zh) 2013-04-03 2016-05-11 北京航空航天大学 基于分层退化模型的无人机实时图像模拟方法
US9542643B2 (en) 2013-05-21 2017-01-10 Qualcomm Incorporated Efficient hardware implementation of spiking networks
JP2015004922A (ja) 2013-06-24 2015-01-08 株式会社ニコン 焦点調節装置及び撮像装置
CN103366339B (zh) 2013-06-25 2017-11-28 厦门龙谛信息系统有限公司 车载多广角摄像头图像合成处理装置及方法
GB2518589B (en) 2013-07-30 2019-12-11 Holition Ltd Image processing
US9317775B2 (en) 2013-08-14 2016-04-19 Ricoh Co., Ltd. Recognition procedure for identifying multiple items in images
US20150067273A1 (en) * 2013-08-30 2015-03-05 Microsoft Corporation Computation hardware with high-bandwidth memory interface
CN103500322B (zh) 2013-09-10 2016-08-17 北京航空航天大学 基于低空航拍图像的车道线自动识别方法
US20150104102A1 (en) 2013-10-11 2015-04-16 Universidade De Coimbra Semantic segmentation method with second-order pooling
US9448936B2 (en) 2014-01-13 2016-09-20 Apple Inc. Concurrent store and load operations
US10769446B2 (en) 2014-02-28 2020-09-08 Second Spectrum, Inc. Methods and systems of combining video content with one or more augmentations
US10832057B2 (en) 2014-02-28 2020-11-10 Second Spectrum, Inc. Methods, systems, and user interface navigation of video content based spatiotemporal pattern recognition
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9275289B2 (en) 2014-03-27 2016-03-01 Xerox Corporation Feature- and classifier-based vehicle headlight/shadow removal in video
US9384402B1 (en) 2014-04-10 2016-07-05 Google Inc. Image and video compression for remote vehicle assistance
JP2015215837A (ja) * 2014-05-13 2015-12-03 株式会社デンソー 演算処理装置
JP2016013793A (ja) 2014-07-03 2016-01-28 株式会社デンソー 画像表示装置、画像表示方法
US20150046332A1 (en) 2014-08-08 2015-02-12 Brighterion, Inc. Behavior tracking smart agents for artificial intelligence fraud protection and management
SG10201405182WA (en) 2014-08-25 2016-03-30 Univ Singapore Technology & Design Method and system
US10824952B2 (en) 2014-09-22 2020-11-03 International Business Machines Corporation Reconfigurable array processor for pattern matching
US10229478B2 (en) 2014-09-26 2019-03-12 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
US20160132786A1 (en) 2014-11-12 2016-05-12 Alexandru Balan Partitioning data for training machine-learning classifiers
EP3035249B1 (en) 2014-12-19 2019-11-27 Intel Corporation Method and apparatus for distributed and cooperative computation in artificial neural networks
CN105809655B (zh) 2014-12-30 2021-06-29 清华大学 车辆检查方法和系统
US9916540B2 (en) 2015-01-22 2018-03-13 Microsoft Technology Licensing, Llc Scalable-effort classifiers for energy-efficient machine learning
CA3067160A1 (en) 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
JP6525707B2 (ja) 2015-04-23 2019-06-05 キヤノン株式会社 画像処理装置、その制御方法及びプログラム、並びに撮像装置
US9886418B2 (en) 2015-04-28 2018-02-06 Intel Corporation Matrix operands for linear algebra operations
CN104835114A (zh) 2015-05-06 2015-08-12 山东大学 一种图像自适应显示方法
US9542751B2 (en) 2015-05-08 2017-01-10 Qualcomm Incorporated Systems and methods for reducing a plurality of bounding regions
GB201508074D0 (en) 2015-05-12 2015-06-24 Apical Ltd People detection
US10192162B2 (en) 2015-05-21 2019-01-29 Google Llc Vector computation unit in a neural network processor
US10438117B1 (en) 2015-05-21 2019-10-08 Google Llc Computing convolutions using a neural network processor
US10083395B2 (en) 2015-05-21 2018-09-25 Google Llc Batch processing in a neural network processor
US9805303B2 (en) 2015-05-21 2017-10-31 Google Inc. Rotating data for neural network computations
US10049322B2 (en) 2015-05-21 2018-08-14 Google Llc Prefetching weights for use in a neural network processor
WO2016207875A1 (en) 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
US10062010B2 (en) 2015-06-26 2018-08-28 Intel Corporation System for building a map and subsequent localization
US10410096B2 (en) 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
US10242293B2 (en) 2015-08-04 2019-03-26 The Asan Foundation Method and program for computing bone age by deep neural network
US10970617B2 (en) 2015-08-21 2021-04-06 Institute Of Automation Chinese Academy Of Sciences Deep convolutional neural network acceleration and compression method based on parameter quantification
US9767565B2 (en) 2015-08-26 2017-09-19 Digitalglobe, Inc. Synthesizing training data for broad area geospatial object detection
KR101738422B1 (ko) 2015-09-14 2017-05-23 한국과학기술원 다종 센서 기반 시각 신경 회로 장치 및 이를 이용한 객체 탐색 시스템, 방법
US9442496B1 (en) 2015-09-18 2016-09-13 Amazon Technologies, Inc. Active airborne noise abatement
US10282623B1 (en) 2015-09-25 2019-05-07 Apple Inc. Depth perception sensor data processing
US9886377B2 (en) 2015-10-05 2018-02-06 Intel Corporation Pipelined convolutional operations for processing clusters
US9704045B2 (en) 2015-10-06 2017-07-11 Yahoo! Inc. User classification based upon images
US11074492B2 (en) 2015-10-07 2021-07-27 Altera Corporation Method and apparatus for performing different types of convolution operations with the same processing elements
US10614354B2 (en) 2015-10-07 2020-04-07 Altera Corporation Method and apparatus for implementing layers on a convolutional neural network accelerator
US10726328B2 (en) 2015-10-09 2020-07-28 Altera Corporation Method and apparatus for designing and implementing a convolution neural net accelerator
US11250335B2 (en) 2015-10-26 2022-02-15 NetraDyne, Inc. Joint processing for embedded data inference
CN105318888B (zh) 2015-12-07 2018-08-14 北京航空航天大学 基于无人机感知的无人驾驶车辆路径规划方法
CN105550701B (zh) 2015-12-09 2018-11-06 福州华鹰重工机械有限公司 实时图像提取识别方法及装置
US10318848B2 (en) 2015-12-15 2019-06-11 Qualcomm Incorporated Methods for object localization and image classification
KR20180084952A (ko) 2015-12-21 2018-07-25 로베르트 보쉬 게엠베하 다중 카메라 차량 시스템들을 위한 동적 이미지 혼합
US10282789B1 (en) 2015-12-29 2019-05-07 State Farm Mutual Automobile Insurance Company Method of controlling for undesired factors in machine learning models
US10482380B2 (en) 2015-12-30 2019-11-19 Amazon Technologies, Inc. Conditional parallel processing in fully-connected neural networks
US11170293B2 (en) 2015-12-30 2021-11-09 Microsoft Technology Licensing, Llc Multi-model controller
US10373019B2 (en) 2016-01-13 2019-08-06 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
US20170206434A1 (en) 2016-01-14 2017-07-20 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
CN109069072B (zh) 2016-02-08 2021-11-30 纽洛斯公司 欺骗检测系统和方法
WO2017139575A1 (en) 2016-02-11 2017-08-17 Ebay Inc. Semantic category classification
GB2601067B (en) 2016-03-02 2022-08-31 Holition Ltd Locating and augmenting object features in images
WO2017158622A2 (en) 2016-03-16 2017-09-21 INDIAN INSTITUTE OF TECHNOLOGY MADRAS (IIT Madras) Method for managing image data at electronic device
US10599428B2 (en) 2016-03-23 2020-03-24 Arm Limited Relaxed execution of overlapping mixed-scalar-vector instructions
EP3229172A1 (en) 2016-04-04 2017-10-11 Conti Temic microelectronic GmbH Driver assistance system with variable image resolution
US10789544B2 (en) 2016-04-05 2020-09-29 Google Llc Batching inputs to a machine learning model
US20180284755A1 (en) 2016-05-09 2018-10-04 StrongForce IoT Portfolio 2016, LLC Methods and systems for data storage in an industrial internet of things data collection environment with large data sets
US10366290B2 (en) 2016-05-11 2019-07-30 Baidu Usa Llc System and method for providing augmented virtual reality content in autonomous vehicles
EP3748558A1 (en) 2016-06-13 2020-12-09 Google LLC Automated telephone call initiating system and method
US10019009B2 (en) 2016-06-15 2018-07-10 Allstate Insurance Company Vehicle control systems
US10489972B2 (en) 2016-06-28 2019-11-26 Cognata Ltd. Realistic 3D virtual world creation and simulation for training automated driving systems
US9858636B1 (en) 2016-06-30 2018-01-02 Apple Inc. Configurable convolution engine
US11298072B2 (en) 2016-07-01 2022-04-12 Bostel Technologies, Llc Dermoscopy diagnosis of cancerous lesions utilizing dual deep learning algorithms via visual and audio (sonification) outputs
US10474162B2 (en) 2016-07-01 2019-11-12 Uatc, Llc Autonomous vehicle localization using passive image data
WO2018013495A1 (en) 2016-07-11 2018-01-18 Gravity Jack, Inc. Augmented reality methods and devices
MX2019000713A (es) 2016-07-18 2019-11-28 Nant Holdings Ip Llc Sistemas, aparatos y metodos para maquina de aprendizaje distribuido.
CN106295678B (zh) 2016-07-27 2020-03-06 北京旷视科技有限公司 神经网络训练与构建方法和装置以及目标检测方法和装置
CN106156754B (zh) 2016-07-29 2019-05-31 浙江工业大学 一种基于最大外切矩阵感兴趣区域提取和双边滤波的手指多模态预处理方法
US20180039853A1 (en) 2016-08-02 2018-02-08 Mitsubishi Electric Research Laboratories, Inc. Object Detection System and Object Detection Method
CN106250103A (zh) * 2016-08-04 2016-12-21 东南大学 一种卷积神经网络循环卷积计算数据重用的系统
US10664750B2 (en) 2016-08-10 2020-05-26 Google Llc Deep machine learning to predict and prevent adverse conditions at structural assets
US10891538B2 (en) 2016-08-11 2021-01-12 Nvidia Corporation Sparse convolutional neural network accelerator
KR102462502B1 (ko) 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
EP3504661B1 (en) 2016-08-24 2023-08-16 Google LLC Change detection based imagery acquisition tasking system
US10019655B2 (en) 2016-08-31 2018-07-10 Adobe Systems Incorporated Deep-learning network architecture for object detection
US10317901B2 (en) 2016-09-08 2019-06-11 Mentor Graphics Development (Deutschland) Gmbh Low-level sensor fusion
US20180068459A1 (en) 2016-09-08 2018-03-08 Ford Global Technologies, Llc Object Distance Estimation Using Data From A Single Camera
US10394237B2 (en) 2016-09-08 2019-08-27 Ford Global Technologies, Llc Perceiving roadway conditions from fused sensor data
US10467459B2 (en) 2016-09-09 2019-11-05 Microsoft Technology Licensing, Llc Object detection based on joint feature extraction
CN106419893A (zh) 2016-09-18 2017-02-22 广州视源电子科技股份有限公司 睡眠状态检测方法和装置
US10133273B2 (en) 2016-09-20 2018-11-20 2236008 Ontario Inc. Location specific assistance for autonomous vehicle control system
GB201616097D0 (en) 2016-09-21 2016-11-02 Univ Oxford Innovation Ltd Segmentation of path proposals
EP3485337B1 (en) 2016-09-23 2020-10-21 Apple Inc. Decision making for autonomous vehicle motion control
US11544539B2 (en) 2016-09-29 2023-01-03 Tsinghua University Hardware neural network conversion method, computing device, compiling method and neural network software and hardware collaboration system
CN106650922B (zh) 2016-09-29 2019-05-03 清华大学 硬件神经网络转换方法、计算装置、软硬件协作系统
US10514711B2 (en) 2016-10-09 2019-12-24 Airspace Systems, Inc. Flight control using computer vision
KR101851155B1 (ko) 2016-10-12 2018-06-04 현대자동차주식회사 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
CN106504253A (zh) 2016-10-14 2017-03-15 国政通科技股份有限公司 一种医疗影像照片的处理方法及系统
US10127043B2 (en) 2016-10-19 2018-11-13 Rex Computing, Inc. Implementing conflict-free instructions for concurrent operation on a processor
CN107031600A (zh) 2016-10-19 2017-08-11 东风汽车公司 基于高速公路的自动驾驶系统
US10346723B2 (en) 2016-11-01 2019-07-09 Snap Inc. Neural network for object detection in images
JP6803982B2 (ja) 2016-11-03 2020-12-23 華為技術有限公司Huawei Technologies Co.,Ltd. 光学撮像方法および装置
US10289934B2 (en) 2016-11-08 2019-05-14 Nec Corporation Landmark localization on objects in images using convolutional neural networks
CN106598226B (zh) 2016-11-16 2019-05-21 天津大学 一种基于双目视觉和深度学习的无人机人机交互方法
EP3541313B1 (en) 2016-11-16 2023-05-10 Navix International Limited Estimators for ablation effectiveness
US10650071B2 (en) 2016-11-28 2020-05-12 Google Llc Search and retrieval of keyed data maintained using a keyed database
CN108122234B (zh) 2016-11-29 2021-05-04 北京市商汤科技开发有限公司 卷积神经网络训练及视频处理方法、装置和电子设备
CN106558058B (zh) 2016-11-29 2020-10-09 北京图森未来科技有限公司 分割模型训练方法、道路分割方法、车辆控制方法及装置
US10417560B2 (en) 2016-12-01 2019-09-17 Via Alliance Semiconductor Co., Ltd. Neural network unit that performs efficient 3-dimensional convolutions
US10438115B2 (en) 2016-12-01 2019-10-08 Via Alliance Semiconductor Co., Ltd. Neural network unit with memory layout to perform efficient 3-dimensional convolutions
US10395165B2 (en) 2016-12-01 2019-08-27 Via Alliance Semiconductor Co., Ltd Neural network unit with neural memory and array of neural processing units that collectively perform multi-word distance rotates of row of data received from neural memory
US10699119B2 (en) 2016-12-02 2020-06-30 GEOSAT Aerospace & Technology Methods and systems for automatic object detection from aerial imagery
US10529088B2 (en) 2016-12-02 2020-01-07 Gabriel Fine Automatically determining orientation and position of medically invasive devices via image processing
US10380741B2 (en) 2016-12-07 2019-08-13 Samsung Electronics Co., Ltd System and method for a deep learning machine for object detection
KR20180068511A (ko) 2016-12-14 2018-06-22 삼성전자주식회사 영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법
US11593632B2 (en) 2016-12-15 2023-02-28 WaveOne Inc. Deep learning based on image encoding and decoding
CN110832417B (zh) 2016-12-30 2023-06-09 辉达公司 使用高清地图为自主车辆生成路线
WO2018126215A1 (en) 2016-12-30 2018-07-05 DeepMap Inc. High definition map updates
US11023807B2 (en) 2016-12-30 2021-06-01 Microsoft Technology Licensing, Llc Neural network processor
US10586148B2 (en) 2016-12-31 2020-03-10 Via Alliance Semiconductor Co., Ltd. Neural network unit with re-shapeable memory
US10565494B2 (en) 2016-12-31 2020-02-18 Via Alliance Semiconductor Co., Ltd. Neural network unit with segmentable array width rotator
US10565492B2 (en) 2016-12-31 2020-02-18 Via Alliance Semiconductor Co., Ltd. Neural network unit with segmentable array width rotator
US10140574B2 (en) 2016-12-31 2018-11-27 Via Alliance Semiconductor Co., Ltd Neural network unit with segmentable array width rotator and re-shapeable weight memory to match segment width to provide common weights to multiple rotator segments
US10262218B2 (en) 2017-01-03 2019-04-16 Qualcomm Incorporated Simultaneous object detection and rigid transform estimation using neural network
US10824934B2 (en) * 2017-01-12 2020-11-03 Texas Instruments Incorporated Methods and apparatus for matrix processing in a convolutional neural network
US10228693B2 (en) 2017-01-13 2019-03-12 Ford Global Technologies, Llc Generating simulated sensor data for training and validation of detection models
US10192016B2 (en) 2017-01-17 2019-01-29 Xilinx, Inc. Neural network based physical synthesis for circuit designs
US20180211403A1 (en) 2017-01-20 2018-07-26 Ford Global Technologies, Llc Recurrent Deep Convolutional Neural Network For Object Detection
US11210584B2 (en) 2017-01-31 2021-12-28 International Business Machines Corporation Memory efficient convolution operations in deep learning neural networks
US10740563B2 (en) 2017-02-03 2020-08-11 Benedict R. Dugan System and methods for text classification
CN106779060B (zh) 2017-02-09 2019-03-08 武汉魅瞳科技有限公司 一种适于硬件设计实现的深度卷积神经网络的计算方法
JP2018136803A (ja) 2017-02-23 2018-08-30 株式会社日立製作所 画像認識システム
US10359783B2 (en) 2017-02-28 2019-07-23 Warfarer, Inc. Transportation system
US11157801B2 (en) 2017-02-28 2021-10-26 Microsoft Technology Licensing, Llc Neural network processing with the neural network model pinned to on-chip memories of hardware nodes
US10146225B2 (en) 2017-03-02 2018-12-04 GM Global Technology Operations LLC Systems and methods for vehicle dimension prediction
US10733482B1 (en) 2017-03-08 2020-08-04 Zoox, Inc. Object height estimation from monocular images
US10261786B2 (en) * 2017-03-09 2019-04-16 Google Llc Vector processing unit
US10311312B2 (en) 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
US10671873B2 (en) 2017-03-10 2020-06-02 Tusimple, Inc. System and method for vehicle wheel detection
JP6665819B2 (ja) 2017-03-17 2020-03-13 トヨタ自動車株式会社 車載表示装置
US11067995B2 (en) 2017-03-20 2021-07-20 Mobileye Vision Technologies Ltd. Navigation by augmented path prediction
US10692000B2 (en) 2017-03-20 2020-06-23 Sap Se Training machine learning models
CN107103113B (zh) 2017-03-23 2019-01-11 中国科学院计算技术研究所 面向神经网络处理器的自动化设计方法、装置及优化方法
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
JP6658643B2 (ja) 2017-03-24 2020-03-04 トヨタ自動車株式会社 車両用視認装置
US9965865B1 (en) 2017-03-29 2018-05-08 Amazon Technologies, Inc. Image data segmentation using depth data
US10248121B2 (en) 2017-03-31 2019-04-02 Uber Technologies, Inc. Machine-learning based autonomous vehicle management system
CN110651310B (zh) 2017-04-05 2023-09-08 卡内基梅隆大学 估计对象密度和/或流量的深度学习方法及相关方法和软件
US10296828B2 (en) 2017-04-05 2019-05-21 Here Global B.V. Learning a similarity measure for vision-based localization on a high definition (HD) map
DE202017102238U1 (de) 2017-04-13 2017-05-12 Robert Bosch Gmbh Aktorsteuerungssystem
DE202017102235U1 (de) 2017-04-13 2017-05-12 Robert Bosch Gmbh Trainingssystem
US10303961B1 (en) 2017-04-13 2019-05-28 Zoox, Inc. Object detection and passenger notification
US10346454B2 (en) 2017-04-17 2019-07-09 Mammoth Medical, Llc System and method for automated multi-dimensional network management
EP3612984A4 (en) 2017-04-18 2021-03-24 D5A1 Llc MULTI-LEVEL MACHINE LEARNING AND RECOGNITION
DE102018200724A1 (de) 2017-04-19 2018-10-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples"
CN107169560B (zh) 2017-04-19 2020-10-16 清华大学 一种自适应可重构的深度卷积神经网络计算方法和装置
CN107169421B (zh) 2017-04-20 2020-04-28 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
US10860760B2 (en) 2017-04-21 2020-12-08 Intel Corporation Systems and methods for implementing learned parameter systems on a programmable integrated circuit
DE202017102381U1 (de) 2017-04-21 2017-05-11 Robert Bosch Gmbh Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples"
US10585621B2 (en) 2017-04-21 2020-03-10 Intel Corporation Statically-schedulable feed and drain structure for systolic array architecture
US10436615B2 (en) 2017-04-24 2019-10-08 Carnegie Mellon University Virtual sensor system
US10460053B2 (en) 2017-04-24 2019-10-29 Toyota Research Institute, Inc. Systems and methods for surface property identification using waveform classification
US10108867B1 (en) 2017-04-25 2018-10-23 Uber Technologies, Inc. Image-based pedestrian detection
CN107133943B (zh) 2017-04-26 2018-07-06 贵州电网有限责任公司输电运行检修分公司 一种防震锤缺陷检测的视觉检测方法
US10319066B2 (en) 2017-04-27 2019-06-11 Apple Inc. Convolution engine with per-channel processing of interleaved channel data
US10318794B2 (en) 2017-04-28 2019-06-11 Microsoft Technology Licensing, Llc Intelligent auto cropping of digital images
US10838936B2 (en) 2017-05-12 2020-11-17 Harris Lee Cohen Computer-implemented methods, computer readable medium and systems for generating an orchard data model for a precision agriculture platform
EP3757823B1 (en) * 2017-05-17 2023-07-05 Google LLC Low latency matrix multiply unit
US10372130B1 (en) 2017-05-19 2019-08-06 Zoox, Inc. Communicating reasons for vehicle actions
US20180374105A1 (en) 2017-05-26 2018-12-27 Get Attached, Inc. Leveraging an intermediate machine learning analysis
WO2018218155A1 (en) 2017-05-26 2018-11-29 Google Llc Machine-learned model system
US10310087B2 (en) 2017-05-31 2019-06-04 Uber Technologies, Inc. Range-view LIDAR-based object detection
US11954486B2 (en) 2017-06-05 2024-04-09 Umajin Inc. Location tracking system and methods
US11273553B2 (en) 2017-06-05 2022-03-15 Autodesk, Inc. Adapting simulation data to real-world conditions encountered by physical processes
US11361243B2 (en) 2017-06-07 2022-06-14 Accenture Global Solutions Limited Recommending machine learning techniques, features, and feature relevance scores
US10853739B2 (en) 2017-06-09 2020-12-01 Sap Se Machine learning models for evaluating entities in a high-volume computer network
CN108229526B (zh) 2017-06-16 2020-09-29 北京市商汤科技开发有限公司 网络训练、图像处理方法、装置、存储介质和电子设备
US10007269B1 (en) 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
JP7050006B2 (ja) 2017-06-28 2022-04-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 移動体制御装置、移動体制御方法、及び学習方法
US10567674B2 (en) 2017-06-30 2020-02-18 Harman International Industries, Incorporated Systems and methods for detecting objects in imaging systems
US10474161B2 (en) 2017-07-03 2019-11-12 Baidu Usa Llc High resolution 3D point clouds generation from upsampled low resolution lidar 3D point clouds and camera images
US10474160B2 (en) 2017-07-03 2019-11-12 Baidu Usa Llc High resolution 3D point clouds generation from downsampled low resolution LIDAR 3D point clouds and camera images
US10671082B2 (en) 2017-07-03 2020-06-02 Baidu Usa Llc High resolution 3D point clouds generation based on CNN and CRF models
CN109215067B (zh) 2017-07-03 2023-03-10 百度(美国)有限责任公司 基于cnn和crf模型生成高分辨率3-d点云
US10402687B2 (en) 2017-07-05 2019-09-03 Perceptive Automata, Inc. System and method of predicting human interaction with vehicles
US10606990B2 (en) 2017-07-06 2020-03-31 Ebay Inc. Machine learning system for computing asset access
JP7080594B2 (ja) 2017-07-06 2022-06-06 株式会社東芝 計測装置および方法
US10592785B2 (en) 2017-07-12 2020-03-17 Futurewei Technologies, Inc. Integrated system for detection of driver condition
DE102017116017A1 (de) 2017-07-17 2019-01-17 Valeo Schalter Und Sensoren Gmbh Kraftfahrzeug-Sensorvorrichtung mit mehreren Sensoreinheiten und mehreren neuronalen Netzen zum Erzeugen einer kombinierten Repräsentation einer Umgebung
US10733755B2 (en) 2017-07-18 2020-08-04 Qualcomm Incorporated Learning geometric differentials for matching 3D models to objects in a 2D image
DE102017116411B4 (de) 2017-07-20 2022-02-03 Infineon Technologies Ag Elektronischen Steuerungseinheit, Gatewayschaltung für eine elektronische Airbag-Steuerungseinheit, Sicherheitssystem für ein Fahrzeug und Umgebungssensorelement
US10579063B2 (en) 2017-07-21 2020-03-03 Uatc, Llc Machine learning for predicting locations of objects perceived by autonomous vehicles
US10650278B1 (en) 2017-07-21 2020-05-12 Apple Inc. Semantic labeling of point clouds using images
US11157287B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system with variable latency memory access
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10395144B2 (en) 2017-07-24 2019-08-27 GM Global Technology Operations LLC Deeply integrated fusion architecture for automated driving systems
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10542930B1 (en) 2017-07-25 2020-01-28 BlueOwl, LLC Audio assessment for analyzing sleep trends using machine learning techniques
CN107451659B (zh) 2017-07-27 2020-04-10 清华大学 用于位宽分区的神经网络加速器及其实现方法
CN107368926B (zh) 2017-07-28 2018-07-10 中南大学 一种智能环境运载机器人识别楼层的多自然传感参数融合处理方法
JP7002729B2 (ja) 2017-07-31 2022-01-20 株式会社アイシン 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム
EP3651055A4 (en) 2017-08-01 2020-10-21 Huawei Technologies Co., Ltd. METHOD, APPARATUS AND DEVICE FOR GESTURE RECOGNITION
CN109389552B (zh) 2017-08-02 2023-03-28 中山大学 一种基于上下文相关多任务深度学习的图像超分辨算法
US11170288B2 (en) 2017-08-03 2021-11-09 Facebook, Inc. Systems and methods for predicting qualitative ratings for advertisements based on machine learning
KR102541559B1 (ko) 2017-08-04 2023-06-08 삼성전자주식회사 관심 객체를 검출하는 방법 및 장치
KR102601604B1 (ko) 2017-08-04 2023-11-13 삼성전자주식회사 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치
US10656657B2 (en) 2017-08-08 2020-05-19 Uatc, Llc Object motion prediction and autonomous vehicle control
US10423934B1 (en) 2017-08-10 2019-09-24 Zoox, Inc. Automated vehicle diagnostics and maintenance
US10167800B1 (en) 2017-08-18 2019-01-01 Microsoft Technology Licensing, Llc Hardware node having a matrix vector unit with block-floating point processing
CN108229647A (zh) 2017-08-18 2018-06-29 北京市商汤科技开发有限公司 神经网络结构的生成方法和装置、电子设备、存储介质
US10860924B2 (en) 2017-08-18 2020-12-08 Microsoft Technology Licensing, Llc Hardware node having a mixed-signal matrix vector unit
US20190228037A1 (en) 2017-08-19 2019-07-25 Wave Computing, Inc. Checkpointing data flow graph computation for machine learning
US10216189B1 (en) 2017-08-23 2019-02-26 Uber Technologies, Inc. Systems and methods for prioritizing object prediction for autonomous vehicles
US10629080B2 (en) 2017-08-31 2020-04-21 Uatc Llc Autonomous vehicles featuring vehicle intention system
US10783381B2 (en) 2017-08-31 2020-09-22 Tusimple, Inc. System and method for vehicle occlusion detection
US11455565B2 (en) 2017-08-31 2022-09-27 Ford Global Technologies, Llc Augmenting real sensor recordings with simulated sensor data
US20190072978A1 (en) 2017-09-01 2019-03-07 GM Global Technology Operations LLC Methods and systems for generating realtime map information
US11430331B2 (en) 2017-09-08 2022-08-30 Uatc, Llc Power and thermal management systems and methods for autonomous vehicles
US20190079526A1 (en) 2017-09-08 2019-03-14 Uber Technologies, Inc. Orientation Determination in Object Detection and Tracking for Autonomous Vehicles
JP6939307B2 (ja) 2017-09-19 2021-09-22 トヨタ自動車株式会社 水系リチウムイオン二次電池、負極活物質複合体の製造方法及び水系リチウムイオン二次電池の製造方法
CN107507134B (zh) 2017-09-21 2020-09-11 大连理工大学 基于卷积神经网络的超分辨率方法
US10402646B2 (en) 2017-09-21 2019-09-03 Amazon Technologies, Inc. Object detection and avoidance for aerial vehicles
US10551297B2 (en) 2017-09-22 2020-02-04 Saudi Arabian Oil Company Thermography image processing with neural networks to identify corrosion under insulation (CUI)
US11521301B2 (en) 2017-09-22 2022-12-06 Hoffman-La Roche, Inc. Artifacts removal from tissue images
US10891715B2 (en) 2017-09-22 2021-01-12 Continental Automotive Systems, Inc. Deep neural network for image enhancement
US20190095946A1 (en) 2017-09-25 2019-03-28 Get Attached, Inc. Automatically analyzing media using a machine learning model trained on user engagement information
US10546197B2 (en) 2017-09-26 2020-01-28 Ambient AI, Inc. Systems and methods for intelligent and interpretive analysis of video image data using machine learning
KR20200129168A (ko) 2017-09-27 2020-11-17 구글 엘엘씨 고해상도 이미지 세분화를 위한 종단간 네트워크 모델
US10679129B2 (en) 2017-09-28 2020-06-09 D5Ai Llc Stochastic categorical autoencoder network
US10872531B2 (en) 2017-09-29 2020-12-22 Uber Technologies, Inc. Image processing for vehicle collision avoidance system
CN107742311B (zh) 2017-09-29 2020-02-18 北京易达图灵科技有限公司 一种视觉定位的方法及装置
WO2019068076A1 (en) 2017-09-29 2019-04-04 United Parcel Service Of America, Inc. IDENTIFICATION, ANALYSIS AND PREDICTIVE MITIGATION OF PARCEL DAMAGE
WO2019067695A1 (en) 2017-10-01 2019-04-04 Airspace Systems, Inc. FLIGHT CONTROL USING VISION BY COMPUTER
US20190101914A1 (en) 2017-10-02 2019-04-04 Allstate Insurance Company Data Processing System with Machine Learning Engine for Providing Driving Data Analysis and Vehicle Control Functions
US10579897B2 (en) 2017-10-02 2020-03-03 Xnor.ai Inc. Image based object detection
US10678997B2 (en) 2017-10-05 2020-06-09 Microsoft Technology Licensing, Llc Machine learned models for contextual editing of social networking profiles
US10733262B2 (en) 2017-10-05 2020-08-04 Adobe Inc. Attribute control for updating digital content in a digital medium environment
US11748653B2 (en) 2017-10-05 2023-09-05 DataRobot, Inc. Machine learning abstraction
WO2019070290A1 (en) 2017-10-06 2019-04-11 Hitachi, Ltd. MANAGEMENT AND EXECUTION OF A REPAIR
DE102017123452A1 (de) 2017-10-10 2019-04-11 Connaught Electronics Ltd. Verfahren zum Erzeugen eines ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs in einer vorbestimmten Zielansicht zeigenden Ausgangsbildes, Kamerasystem sowie Kraftfahrzeug
US10652565B1 (en) 2017-10-12 2020-05-12 Amazon Technologies, Inc. Image compression and decompression using embeddings
CN107622258B (zh) 2017-10-16 2020-10-30 中南大学 一种结合静态底层特征和运动信息的快速行人检测方法
US20190122104A1 (en) 2017-10-19 2019-04-25 General Electric Company Building a binary neural network architecture
US20190122111A1 (en) 2017-10-24 2019-04-25 Nec Laboratories America, Inc. Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions
WO2019083578A1 (en) 2017-10-27 2019-05-02 Google Llc SYSTEMS AND METHODS FOR ENHANCED OPTIMIZATION OF AUTOMATIC LEARNING MODELS
US10467501B2 (en) 2017-10-30 2019-11-05 Sap Se Computer vision architecture with machine learned image recognition models
CN107729998B (zh) 2017-10-31 2020-06-05 中国科学院计算技术研究所 一种用于神经网络处理器的方法
US10346721B2 (en) 2017-11-01 2019-07-09 Salesforce.Com, Inc. Training a neural network using augmented training datasets
WO2019089339A1 (en) 2017-11-02 2019-05-09 The Trustees Of Princeton University Method and system for neural network synthesis
KR102589303B1 (ko) 2017-11-02 2023-10-24 삼성전자주식회사 고정 소수점 타입의 뉴럴 네트워크를 생성하는 방법 및 장치
US11054811B2 (en) 2017-11-03 2021-07-06 Drishti Technologies, Inc. Systems and methods for line balancing
WO2019093993A1 (en) 2017-11-07 2019-05-16 Google Llc Semantic state based sensor tracking and updating
US10591914B2 (en) 2017-11-08 2020-03-17 GM Global Technology Operations LLC Systems and methods for autonomous vehicle behavior control
US20190147112A1 (en) 2017-11-13 2019-05-16 Facebook, Inc. Systems and methods for ranking ephemeral content item collections associated with a social networking system
US11635815B2 (en) 2017-11-13 2023-04-25 Bios Health Ltd Neural interface
US10678839B2 (en) 2017-11-13 2020-06-09 Facebook, Inc. Systems and methods for ranking ephemeral content item collections associated with a social networking system
US10824862B2 (en) 2017-11-14 2020-11-03 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
US20190145765A1 (en) 2017-11-15 2019-05-16 Uber Technologies, Inc. Three Dimensional Object Detection
US10803325B2 (en) 2017-11-15 2020-10-13 Uatc, Llc Autonomous vehicle lane boundary detection systems and methods
US20190147255A1 (en) 2017-11-15 2019-05-16 Uber Technologies, Inc. Systems and Methods for Generating Sparse Geographic Data for Autonomous Vehicles
US10803328B1 (en) 2017-11-15 2020-10-13 Uatc, Llc Semantic and instance segmentation
US11556777B2 (en) 2017-11-15 2023-01-17 Uatc, Llc Continuous convolution and fusion in neural networks
EP3710980A1 (en) 2017-11-15 2020-09-23 Uatc, Llc Autonomous vehicle lane boundary detection systems and methods
US11475351B2 (en) 2017-11-15 2022-10-18 Uatc, Llc Systems and methods for object detection, tracking, and motion prediction
US10970553B2 (en) 2017-11-15 2021-04-06 Uatc, Llc Semantic segmentation of three-dimensional data
KR102095335B1 (ko) 2017-11-15 2020-03-31 에스케이텔레콤 주식회사 연산 가속화가 적용된 신경망 모델의 생성 및 활용을 위한 장치 및 방법
US11080537B2 (en) 2017-11-15 2021-08-03 Uatc, Llc Autonomous vehicle lane boundary detection systems and methods
US11061402B2 (en) 2017-11-15 2021-07-13 Uatc, Llc Sparse convolutional neural networks
US10828790B2 (en) 2017-11-16 2020-11-10 Google Llc Component feature detector for robotic systems
US10698868B2 (en) 2017-11-17 2020-06-30 Accenture Global Solutions Limited Identification of domain information for use in machine learning models
US10409898B2 (en) 2017-11-17 2019-09-10 Adobe Inc. Generating a targeted summary of textual content tuned to a target audience vocabulary
EP3486674A1 (en) 2017-11-17 2019-05-22 Koninklijke Philips N.V. Artificial intelligence-enabled localization of anatomical landmarks
KR102073351B1 (ko) 2017-11-17 2020-02-05 주식회사 하이퍼커넥트 서버 및 그것의 동작 방법
US10535138B2 (en) 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
US20180074506A1 (en) 2017-11-21 2018-03-15 GM Global Technology Operations LLC Systems and methods for mapping roadway-interfering objects in autonomous vehicles
CN107885214A (zh) 2017-11-22 2018-04-06 济南浪潮高新科技投资发展有限公司 一种基于fpga的加速自动驾驶视觉感知的方法及装置
US11989861B2 (en) 2017-11-28 2024-05-21 Intel Corporation Deep learning-based real-time detection and correction of compromised sensors in autonomous machines
JP2019101535A (ja) 2017-11-29 2019-06-24 コニカミノルタ株式会社 教師データ作成装置および該方法ならびに画像セグメンテーション装置および該方法
KR20200100672A (ko) 2017-12-04 2020-08-26 옵티멈 세미컨덕터 테크놀로지스 인코포레이티드 신경망 가속기의 시스템 및 아키텍쳐
US10762396B2 (en) 2017-12-05 2020-09-01 Utac, Llc Multiple stage image based object detection and recognition
US10693740B2 (en) 2017-12-07 2020-06-23 Accenture Global Solutions Limited Data transformation of performance statistics and ticket information for network devices for use in machine learning models
US10528824B2 (en) 2017-12-11 2020-01-07 GM Global Technology Operations LLC Artificial neural network for lane feature classification and localization
US10747844B2 (en) 2017-12-12 2020-08-18 Tesla, Inc. Systems and methods for converting a matrix input to a vectorized input for a matrix processor
US10768628B2 (en) 2017-12-12 2020-09-08 Uatc, Llc Systems and methods for object detection at various ranges using multiple range imagery
RU2691214C1 (ru) 2017-12-13 2019-06-11 Общество с ограниченной ответственностью "Аби Продакшн" Распознавание текста с использованием искусственного интеллекта
US10599958B2 (en) 2017-12-14 2020-03-24 Avigilon Corporation Method and system for classifying an object-of-interest using an artificial neural network
KR101969864B1 (ko) 2017-12-15 2019-04-18 동국대학교 산학협력단 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법
EP3727980A4 (en) 2017-12-18 2021-08-04 PlusAI Corp METHOD AND SYSTEM FOR PERSONALIZED MOTION PLANNING IN AUTONOMOUS DRIVING VEHICLES
US20190185010A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for self capability aware route planning in autonomous driving vehicles
US11183274B2 (en) 2017-12-18 2021-11-23 International Business Machines Corporation Analysis of answers to questions
GB2582116B (en) 2017-12-18 2022-05-11 Motorola Solutions Inc Method and device for generating an augmented image
DE102017130566B4 (de) 2017-12-19 2021-07-22 Mekra Lang Gmbh & Co. Kg Sichtsystem zur Erfassung einer Fahrzeugumgebung und Spiegelersatzsystem für ein Fahrzeug mit einem Sichtsystem
US10713502B2 (en) 2017-12-19 2020-07-14 Micron Technology, Inc. Providing autonomous vehicle assistance
US10402986B2 (en) 2017-12-20 2019-09-03 Facebook, Inc. Unsupervised video segmentation
WO2019126755A1 (en) 2017-12-21 2019-06-27 Fugro N.V. Generating and classifying training data for machine learning functions
US10175697B1 (en) 2017-12-21 2019-01-08 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
US10872254B2 (en) 2017-12-22 2020-12-22 Texas Instruments Incorporated Digital mirror systems for vehicles and methods of operating the same
US10748247B2 (en) 2017-12-26 2020-08-18 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
US10657418B2 (en) 2017-12-27 2020-05-19 International Business Machines Corporation Object detection on local devices using remotely generated machine learning models
CN109791626B (zh) 2017-12-29 2022-12-27 清华大学 神经网络权重编码方法、计算装置及硬件系统
US10755115B2 (en) 2017-12-29 2020-08-25 Here Global B.V. Method, apparatus, and system for generating synthetic image data for machine learning
CN108111873B (zh) 2017-12-29 2020-04-14 国网山东省电力公司泰安供电公司 一种基于机器学习的gis图像数据传输方法
US20190204842A1 (en) 2018-01-02 2019-07-04 GM Global Technology Operations LLC Trajectory planner with dynamic cost learning for autonomous driving
US11170006B2 (en) 2018-01-03 2021-11-09 Facebook, Inc. Machine-learning model for ranking diverse content
US10657391B2 (en) 2018-01-05 2020-05-19 Uatc, Llc Systems and methods for image-based free space detection
US20190217791A1 (en) 2018-01-12 2019-07-18 Uber Technologies, Inc. Systems and Methods for Streaming Processing for Autonomous Vehicles
US10896763B2 (en) 2018-01-12 2021-01-19 Koninklijke Philips N.V. System and method for providing model-based treatment recommendation via individual-specific machine learning models
EP3514494A1 (en) 2018-01-19 2019-07-24 Zenuity AB Constructing and updating a behavioral layer of a multi layered road network high definition digital map
US10909368B2 (en) 2018-01-23 2021-02-02 X Development Llc Crop type classification in images
US20180150081A1 (en) 2018-01-24 2018-05-31 GM Global Technology Operations LLC Systems and methods for path planning in autonomous vehicles
CN108399362B (zh) 2018-01-24 2022-01-07 中山大学 一种快速行人检测方法及装置
US10872204B2 (en) 2018-01-26 2020-12-22 Ge Inspection Technologies, Lp Generating natural language recommendations based on an industrial language model
KR102098713B1 (ko) 2018-01-29 2020-04-08 주식회사 유엑스팩토리 Cnn과 rnn이 하나의 고성능 저전력 칩으로 집적된 이기종 프로세서 구조
US10962973B2 (en) 2018-01-30 2021-03-30 Uatc, Llc Autonomous vehicle safe stop
US10586280B2 (en) 2018-01-30 2020-03-10 PointPredictive Inc. Risk-based machine learning classsifier
CN111602149B (zh) 2018-01-30 2024-04-02 D5Ai有限责任公司 自组织偏序网络
CN110096937A (zh) 2018-01-31 2019-08-06 北京四维图新科技股份有限公司 一种用于辅助车辆自动驾驶的图像识别的方法及装置
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
DE112019000065T5 (de) 2018-02-02 2020-03-05 Nvidia Corporation Sicherheitsprozeduranalyse zur hindernisvermeidung in einem autonomen fahrzeug
US20190244138A1 (en) 2018-02-08 2019-08-08 Apple Inc. Privatized machine learning using generative adversarial networks
US11789449B2 (en) 2018-02-09 2023-10-17 Nvidia Corporation Controlling autonomous vehicles using safe arrival times
US10996683B2 (en) 2018-02-09 2021-05-04 Skydio, Inc. Aerial vehicle touchdown detection
US10489126B2 (en) 2018-02-12 2019-11-26 Oracle International Corporation Automated code generation
CN110147698A (zh) 2018-02-13 2019-08-20 Kpit技术有限责任公司 用于车道检测的系统和方法
KR101996167B1 (ko) 2018-02-14 2019-07-03 동국대학교 산학협력단 자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법
US10839578B2 (en) 2018-02-14 2020-11-17 Smarter Reality, LLC Artificial-intelligence enhanced visualization of non-invasive, minimally-invasive and surgical aesthetic medical procedures
US10955851B2 (en) 2018-02-14 2021-03-23 Zoox, Inc. Detecting blocking objects
US10805629B2 (en) 2018-02-17 2020-10-13 Google Llc Video compression through motion warping using learning-based motion segmentation
US11210537B2 (en) 2018-02-18 2021-12-28 Nvidia Corporation Object detection and detection confidence suitable for autonomous driving
US10628432B2 (en) 2018-02-19 2020-04-21 Microsoft Technology Licensing, Llc Personalized deep models for smart suggestions ranking
US20190266610A1 (en) 2018-02-21 2019-08-29 Accenture Global Solutions Limited Transaction management using machine learning and similarity analysis
CN111788589A (zh) 2018-02-23 2020-10-16 Asml荷兰有限公司 训练用于计算光刻术的机器学习模型的方法
CN110197270B (zh) 2018-02-27 2020-10-30 上海寒武纪信息科技有限公司 集成电路芯片装置及相关产品
DE112019000122T5 (de) 2018-02-27 2020-06-25 Nvidia Corporation Echtzeiterfassung von spuren und begrenzungen durch autonome fahrzeuge
KR102022388B1 (ko) 2018-02-27 2019-09-18 (주)캠시스 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법
US11501105B2 (en) 2018-03-02 2022-11-15 Zoox, Inc. Automatic creation and updating of maps
KR101967339B1 (ko) 2018-03-06 2019-04-09 단국대학교 산학협력단 심층학습 기반의 adas 센서 고장 진단 및 백업을 위한 장치 및 방법
US10990832B2 (en) 2018-03-06 2021-04-27 Phantom AI, Inc. Lane line reconstruction using future scenes and trajectory
US10621513B2 (en) 2018-03-08 2020-04-14 Capital One Services, Llc System and method for deploying and versioning machine learning models
US10157331B1 (en) 2018-03-08 2018-12-18 Capital One Services, Llc Systems and methods for image preprocessing to improve accuracy of object recognition
US10223611B1 (en) 2018-03-08 2019-03-05 Capital One Services, Llc Object detection using image classification models
US10572757B2 (en) 2018-03-09 2020-02-25 Ricoh Co., Ltd. User interface for object detection and labeling
US10628686B2 (en) 2018-03-12 2020-04-21 Waymo Llc Neural networks for object detection and characterization
US11128854B2 (en) 2018-03-13 2021-09-21 Magic Leap, Inc. Image-enhanced depth sensing via depth sensor control
US10755112B2 (en) 2018-03-13 2020-08-25 Toyota Research Institute, Inc. Systems and methods for reducing data storage in machine learning
US10798368B2 (en) 2018-03-13 2020-10-06 Lyft, Inc. Exposure coordination for multiple cameras
US11221413B2 (en) 2018-03-14 2022-01-11 Uatc, Llc Three-dimensional object detection
US20190286973A1 (en) 2018-03-14 2019-09-19 Microsoft Technology Licensing, Llc Hardware accelerated neural network subgraphs
US20190287028A1 (en) 2018-03-15 2019-09-19 Arm Ltd. Systems, devices, and/or processes for behavioral content processing
US11429862B2 (en) 2018-03-20 2022-08-30 Sri International Dynamic adaptation of deep neural networks
US11657087B2 (en) 2018-03-19 2023-05-23 Verily Life Sciences Llc Surgical video retrieval based on preoperative images
JP2019164793A (ja) 2018-03-19 2019-09-26 エスアールアイ インターナショナル ディープニューラルネットワークの動的適応
US10901508B2 (en) 2018-03-20 2021-01-26 X Development Llc Fused electroencephalogram and machine learning for precognitive brain-computer interface for computer control
WO2019183087A1 (en) 2018-03-20 2019-09-26 Phantom AI, Inc. Data augmentation using computer simulated objects for autonomous control systems
WO2019182782A1 (en) 2018-03-21 2019-09-26 Zoox, Inc. Generating maps without shadows
US10699477B2 (en) 2018-03-21 2020-06-30 Zoox, Inc. Generating maps without shadows
US20190294975A1 (en) 2018-03-21 2019-09-26 Swim.IT Inc Predicting using digital twins
US10836379B2 (en) 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking
US10627818B2 (en) 2018-03-28 2020-04-21 Zoox, Inc. Temporal prediction model for semantic intent understanding
WO2019191578A1 (en) 2018-03-30 2019-10-03 Wave Computing, Inc. Data flow graph computation for machine learning
CN108491889A (zh) 2018-04-02 2018-09-04 深圳市易成自动驾驶技术有限公司 图像语义分割方法、装置及计算机可读存储介质
US10140544B1 (en) 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
US10468062B1 (en) 2018-04-03 2019-11-05 Zoox, Inc. Detecting errors in sensor data
US10776939B2 (en) 2018-04-03 2020-09-15 Altumview Systems Inc. Obstacle avoidance system based on embedded stereo vision for unmanned aerial vehicles
US10887433B2 (en) 2018-04-03 2021-01-05 Pony Ai Inc. System and method for incremental data processing
US20190311290A1 (en) 2018-04-06 2019-10-10 Mentor Graphics Corporation Deep Learning Based Test Compression Analyzer
US10414395B1 (en) 2018-04-06 2019-09-17 Zoox, Inc. Feature-based prediction
US10725475B2 (en) 2018-04-09 2020-07-28 Toyota Jidosha Kabushiki Kaisha Machine learning enhanced vehicle merging
US10769494B2 (en) 2018-04-10 2020-09-08 Pony Ai Inc. Enhanced training information generation
US10740914B2 (en) 2018-04-10 2020-08-11 Pony Ai Inc. Enhanced three-dimensional training data generation
CN108520247B (zh) 2018-04-16 2020-04-28 腾讯科技(深圳)有限公司 对图像中的对象节点的识别方法、装置、终端及可读介质
US11132444B2 (en) 2018-04-16 2021-09-28 International Business Machines Corporation Using gradients to detect backdoors in neural networks
US10816992B2 (en) 2018-04-17 2020-10-27 Baidu Usa Llc Method for transforming 2D bounding boxes of objects into 3D positions for autonomous driving vehicles (ADVs)
JP7039727B2 (ja) 2018-04-18 2022-03-22 モービルアイ ヴィジョン テクノロジーズ リミテッド カメラを用いた車両環境モデリング
US20200151692A1 (en) 2018-04-18 2020-05-14 Sbot Technologies, Inc. d/b/a Caper Inc. Systems and methods for training data generation for object identification and self-checkout anti-theft
US10321728B1 (en) 2018-04-20 2019-06-18 Bodygram, Inc. Systems and methods for full body measurements extraction
US11030486B2 (en) 2018-04-20 2021-06-08 XNOR.ai, Inc. Image classification through label progression
US11244484B2 (en) 2018-04-23 2022-02-08 Accenture Global Solutions Limited AI-driven design platform
DE102018206208A1 (de) 2018-04-23 2019-10-24 Robert Bosch Gmbh Verfahren, Vorrichtung, Erzeugnis und Computerprogramm zum Betreiben eines technischen Systems
US10565475B2 (en) 2018-04-24 2020-02-18 Accenture Global Solutions Limited Generating a machine learning model for objects based on augmenting the objects with physical properties
CN108549934B (zh) 2018-04-25 2020-06-19 福州瑞芯微电子股份有限公司 一种基于自动集群神经网络芯片组的运算方法和装置
CN108647591A (zh) 2018-04-25 2018-10-12 长沙学院 一种基于视觉-语义特征的视频中行为识别方法和系统
US20190329790A1 (en) 2018-04-25 2019-10-31 Uber Technologies, Inc. Systems and Methods for Using Machine Learning to Determine Passenger Ride Experience
US11138745B2 (en) 2018-04-30 2021-10-05 Uatc, Llc Object association for autonomous vehicles
US11334753B2 (en) 2018-04-30 2022-05-17 Uatc, Llc Traffic signal state classification for autonomous vehicles
US11244195B2 (en) 2018-05-01 2022-02-08 Adobe Inc. Iteratively applying neural networks to automatically identify pixels of salient objects portrayed in digital images
US11494200B2 (en) 2018-05-02 2022-11-08 Microsoft Technology Licensing, Llc. Configuring an electronic device using artificial intelligence
US10803743B2 (en) 2018-05-02 2020-10-13 Lyft, Inc. Monitoring ambient light for object detection
US20190340499A1 (en) 2018-05-04 2019-11-07 Microsoft Technology Licensing, Llc Quantization for dnn accelerators
US10699140B2 (en) 2018-05-04 2020-06-30 Qualcomm Incorporated System and method for capture and distribution of information collected from signs
US11645493B2 (en) 2018-05-04 2023-05-09 Microsoft Technology Licensing, Llc Flow for quantized neural networks
JP7440420B2 (ja) 2018-05-07 2024-02-28 グーグル エルエルシー 包括的機械学習サービスを提供するアプリケーション開発プラットフォームおよびソフトウェア開発キット
EP3791236A4 (en) 2018-05-07 2022-06-08 Strong Force Iot Portfolio 2016, LLC METHODS AND SYSTEMS FOR DATA COLLECTION, LEARNING AND STREAMING MACHINE SIGNALS FOR ANALYSIS AND MAINTENANCE USING THE INDUSTRIAL INTERNET OF THINGS
CN112088383A (zh) 2018-05-10 2020-12-15 松下半导体解决方案株式会社 神经网络构筑装置、信息处理装置、神经网络构筑方法及程序
US20190349571A1 (en) 2018-05-11 2019-11-14 Ford Global Technologies, Llc Distortion correction for vehicle surround view camera projections
US10748021B2 (en) 2018-05-11 2020-08-18 Samsung Electronics Co., Ltd. Method of analyzing objects in images recorded by a camera of a head mounted device
US20210221404A1 (en) 2018-05-14 2021-07-22 BrainVu Ltd. Driver predictive mental response profile and application to automated vehicle brain interface control
US10776626B1 (en) 2018-05-14 2020-09-15 Amazon Technologies, Inc. Machine learning based identification of visually complementary item collections
US11164016B2 (en) 2018-05-17 2021-11-02 Uatc, Llc Object detection and property determination for autonomous vehicles
US11126873B2 (en) 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
US20190354850A1 (en) 2018-05-17 2019-11-21 International Business Machines Corporation Identifying transfer models for machine learning tasks
US11138471B2 (en) 2018-05-18 2021-10-05 Google Llc Augmentation of audiographic images for improved machine learning
US11301733B2 (en) 2018-05-18 2022-04-12 Google Llc Learning data augmentation strategies for object detection
CN108710865B (zh) 2018-05-28 2022-04-22 电子科技大学 一种基于神经网络的司机异常行为检测方法
US20190373322A1 (en) 2018-05-29 2019-12-05 Sony Interactive Entertainment LLC Interactive Video Content Delivery
US11491350B2 (en) 2018-05-30 2022-11-08 Siemens Healthcare Gmbh Decision support system for individualizing radiotherapy dose
TWI681366B (zh) 2018-05-31 2020-01-01 廣達電腦股份有限公司 非線性延展裁切影像之方法及系統
US20190370575A1 (en) 2018-05-31 2019-12-05 Uber Technologies, Inc. Systems and Methods for Implementing Trip Checks for Vehicles
US20190370398A1 (en) 2018-06-01 2019-12-05 SayMosaic Inc. Method and apparatus for searching historical data
CN108764185B (zh) 2018-06-01 2022-07-19 京东方科技集团股份有限公司 一种图像处理方法及装置
US11966835B2 (en) 2018-06-05 2024-04-23 Nvidia Corp. Deep neural network accelerator with fine-grained parallelism discovery
US20190042944A1 (en) 2018-06-08 2019-02-07 Intel Corporation Artificial neural network training using flexible floating point tensors
US11334960B2 (en) 2018-06-08 2022-05-17 Uatc, Llc Systems and methods for pipelined processing of sensor data using hardware
US11740630B2 (en) 2018-06-12 2023-08-29 Skydio, Inc. Fitness and sports applications for an autonomous unmanned aerial vehicle
US20190378051A1 (en) 2018-06-12 2019-12-12 Bank Of America Corporation Machine learning system coupled to a graph structure detecting outlier patterns using graph scanning
US20190378049A1 (en) 2018-06-12 2019-12-12 Bank Of America Corporation Ensemble of machine learning engines coupled to a graph structure that spreads heat
WO2019241022A1 (en) 2018-06-13 2019-12-19 Nvidia Corporation Path detection for autonomous machines using deep neural networks
CN110832275B (zh) 2018-06-14 2021-05-18 北京嘀嘀无限科技发展有限公司 基于双目图像更新高分辨率地图的系统和方法
US11370423B2 (en) 2018-06-15 2022-06-28 Uatc, Llc Multi-task machine-learned models for object intention determination in autonomous driving
US11341356B2 (en) 2018-06-15 2022-05-24 Uatc, Llc System and method for determining object intention through visual attributes
US11048265B2 (en) 2018-06-18 2021-06-29 Zoox, Inc. Occlusion aware planning
JP7422687B2 (ja) 2018-06-18 2024-01-26 ズークス インコーポレイテッド オクルージョン認識プランニング
US10642275B2 (en) 2018-06-18 2020-05-05 Zoox, Inc. Occulsion aware planning and control
US11966838B2 (en) 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
US11501140B2 (en) 2018-06-19 2022-11-15 International Business Machines Corporation Runtime reconfigurable neural network processor core
US10726264B2 (en) 2018-06-25 2020-07-28 Microsoft Technology Licensing, Llc Object-based localization
CN108898177A (zh) 2018-06-26 2018-11-27 广东电网有限责任公司 一种输电线路走廊地表分类方法、系统、介质及设备
WO2020006154A2 (en) 2018-06-26 2020-01-02 Itay Katz Contextual driver monitoring system
CN108845574B (zh) 2018-06-26 2021-01-12 北京旷视机器人技术有限公司 目标识别与追踪方法、装置、设备及介质
US10685159B2 (en) 2018-06-27 2020-06-16 Intel Corporation Analog functional safety with anomaly detection
US11454975B2 (en) 2018-06-28 2022-09-27 Uatc, Llc Providing actionable uncertainties in autonomous vehicles
US10810445B1 (en) 2018-06-29 2020-10-20 Zoox, Inc. Pipeline with point cloud filtering
US10921817B1 (en) 2018-06-29 2021-02-16 Zoox, Inc. Point cloud filtering with semantic segmentation
US11500477B2 (en) 2018-07-02 2022-11-15 Google Llc Systems and methods for interacting and interfacing with an artificial intelligence system
CN109086867B (zh) 2018-07-02 2021-06-08 武汉魅瞳科技有限公司 一种基于fpga的卷积神经网络加速系统
KR20200004700A (ko) 2018-07-04 2020-01-14 삼성전자주식회사 뉴럴 네트워크에서 파라미터를 처리하는 방법 및 장치
US10685188B1 (en) 2018-07-06 2020-06-16 Facebook, Inc. Systems and methods for training machine learning models for language clusters
US11537906B2 (en) 2018-07-12 2022-12-27 The Regents Of The University Of California Machine learning based target localization for autonomous unmanned vehicles
JP7140580B2 (ja) 2018-07-13 2022-09-21 マクセル株式会社 ステレオ撮像装置
EP3820753B1 (en) 2018-07-14 2023-08-02 Moove.AI Vehicle-data analytics
EP3824473A1 (en) 2018-07-18 2021-05-26 NVIDIA Corporation Virtualized computing platform for inferencing, advanced processing, and machine learning applications
US10901416B2 (en) 2018-07-19 2021-01-26 Honda Motor Co., Ltd. Scene creation system for autonomous vehicles and methods thereof
US11042157B2 (en) 2018-07-23 2021-06-22 Baidu Usa Llc Lane/object detection and tracking perception system for autonomous vehicles
US20200033865A1 (en) 2018-07-24 2020-01-30 Qualcomm Incorporated Managing Cleaning Robot Behavior
US10768629B2 (en) 2018-07-24 2020-09-08 Pony Ai Inc. Generative adversarial network enriched driving simulation
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11284051B2 (en) 2018-07-30 2022-03-22 Pony Ai Inc. Systems and methods for autonomous vehicle interactive content presentation
US11353871B2 (en) 2018-07-30 2022-06-07 Pony Ai Inc. Systems and methods for vehicle smart seats
US20200034665A1 (en) 2018-07-30 2020-01-30 DataRobot, Inc. Determining validity of machine learning algorithms for datasets
EP3830790A1 (en) 2018-07-31 2021-06-09 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts Method and system for augmented imaging using multispectral information
US11584379B2 (en) 2018-08-06 2023-02-21 Honda Motor Co., Ltd. System and method for learning naturalistic driving behavior based on vehicle dynamic data
US10706308B2 (en) 2018-08-07 2020-07-07 Accenture Global Solutions Limited Image processing for automated object identification
US10609434B2 (en) 2018-08-07 2020-03-31 Adobe Inc. Machine-learning based multi-step engagement strategy generation and visualization
US10733638B1 (en) 2018-08-08 2020-08-04 Facebook, Inc. Analyzing tracking requests generated by client devices based on attributes describing items
US11138350B2 (en) 2018-08-09 2021-10-05 Zoox, Inc. Procedural world generation using tertiary data
WO2020034663A1 (en) 2018-08-13 2020-02-20 The Hong Kong Polytechnic University Grid-based image cropping
US11861458B2 (en) 2018-08-21 2024-01-02 Lyft, Inc. Systems and methods for detecting and recording anomalous vehicle events
US20200065879A1 (en) 2018-08-22 2020-02-27 Midea Group Co., Ltd. Methods and systems for home device recommendation
US10755575B2 (en) 2018-08-30 2020-08-25 Cisco Technology, Inc. Raw sensor data sharing for enhanced fleet-wide environmental awareness and safety
US10871444B2 (en) 2018-08-30 2020-12-22 Saudi Arabian Oil Company Inspection and failure detection of corrosion under fireproofing insulation using a hybrid sensory system
US11307584B2 (en) 2018-09-04 2022-04-19 Skydio, Inc. Applications and skills for an autonomous unmanned aerial vehicle
US11521009B2 (en) 2018-09-04 2022-12-06 Luminar, Llc Automatically generating training data for a lidar using simulated vehicles in virtual space
US10839230B2 (en) 2018-09-06 2020-11-17 Ford Global Technologies, Llc Multi-tier network for task-oriented deep neural network
US20200158822A1 (en) 2018-09-06 2020-05-21 Airspace Systems, Inc. Unmanned aerial vehicle radar detection
WO2020056157A1 (en) 2018-09-12 2020-03-19 Electra Vehicles, Inc. Systems and methods for managing energy storage systems
US11195030B2 (en) 2018-09-14 2021-12-07 Honda Motor Co., Ltd. Scene classification
US11465630B2 (en) 2018-09-14 2022-10-11 Uatc, Llc Driving surface friction estimations using vehicle steering
US11427223B2 (en) 2018-09-14 2022-08-30 Uatc, Llc Driving surface friction estimations for autonomous vehicles
EP3627399A1 (en) 2018-09-19 2020-03-25 Tata Consultancy Services Limited Systems and methods for real time configurable recommendation using user data
GB2577485B (en) 2018-09-20 2022-06-15 Jaguar Land Rover Ltd Control system for a vehicle
US11449771B2 (en) 2018-09-21 2022-09-20 Woven Planet North America, Inc. Systems and methods for processing vehicle data
US10846888B2 (en) 2018-09-26 2020-11-24 Facebook Technologies, Llc Systems and methods for generating and transmitting image sequences based on sampled color information
DE102018216413A1 (de) 2018-09-26 2020-03-26 Robert Bosch Gmbh Vorrichtung und Verfahren zur automatischen Bildverbesserung bei Fahrzeugen
CN109359731B (zh) 2018-09-27 2022-01-28 中科物栖(北京)科技有限责任公司 一种基于芯片设计缺陷的神经网络处理方法及装置
US10943101B2 (en) 2018-09-28 2021-03-09 Accenture Global Solutions Limited Target recognition and verification using image processing techniques and/or artifical intelligence
US11526713B2 (en) 2018-09-28 2022-12-13 Intel Corporation Embedding human labeler influences in machine learning interfaces in computing environments
CN112585620A (zh) 2018-09-28 2021-03-30 苹果公司 用于监督式学习的分布式标记
WO2020062031A1 (en) 2018-09-28 2020-04-02 Baidu.Com Times Technology (Beijing) Co., Ltd. A pedestrian interaction system for low speed scenes for autonomous vehicles
US11169531B2 (en) 2018-10-04 2021-11-09 Zoox, Inc. Trajectory prediction on top-down scenes
WO2020076356A1 (en) 2018-10-08 2020-04-16 Google Llc Systems and methods for providing feedback for artificial intelligence-based image capture devices
CN109389207A (zh) 2018-10-09 2019-02-26 四川理工学院 一种自适应神经网络学习方法及神经网络系统
US11403565B2 (en) 2018-10-10 2022-08-02 Wipro Limited Method and system for generating a learning path using machine learning
KR102545105B1 (ko) 2018-10-10 2023-06-19 현대자동차주식회사 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량
US11068724B2 (en) 2018-10-11 2021-07-20 Baidu Usa Llc Deep learning continuous lane lines detection system for autonomous vehicles
US11704568B2 (en) 2018-10-16 2023-07-18 Carnegie Mellon University Method and system for hand activity sensing
US11676244B2 (en) 2018-10-19 2023-06-13 Mineral Earth Sciences Llc Crop yield prediction at field-level and pixel-level
EP3867872A4 (en) 2018-10-19 2022-08-03 Climate LLC MACHINE LEARNING METHOD OF RECOGNIZING CLOUDS AND CLOUD SILHOUETTES ON SATELLITE IMAGES
US11430025B2 (en) 2018-10-19 2022-08-30 Airbnb, Inc. Synthetic data generation modeling system
US11163998B2 (en) 2018-10-22 2021-11-02 Woven Planet North America, Inc. Systems and methods for automated image labeling for images captured from vehicles
US11055866B2 (en) 2018-10-29 2021-07-06 Samsung Electronics Co., Ltd System and method for disparity estimation using cameras with different fields of view
US11568260B2 (en) 2018-10-29 2023-01-31 Google Llc Exponential modeling with deep learning features
KR20200052444A (ko) 2018-10-30 2020-05-15 삼성전자주식회사 신경망을 이용하여 예측 결과를 출력하는 방법, 신경망을 생성하는 방법 및 그 장치들
CN109579856A (zh) 2018-10-31 2019-04-05 百度在线网络技术(北京)有限公司 高精度地图生成方法、装置、设备及计算机可读存储介质
US11604992B2 (en) 2018-11-02 2023-03-14 Microsoft Technology Licensing, Llc Probabilistic neural network architecture generation
US11829143B2 (en) 2018-11-02 2023-11-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11403492B2 (en) 2018-11-02 2022-08-02 Aurora Operations, Inc. Generating labeled training instances for autonomous vehicles
US20200143279A1 (en) 2018-11-06 2020-05-07 DeepSig Inc. Radio frequency band segmentation, signal detection and labelling using machine learning
CN111158355A (zh) 2018-11-07 2020-05-15 富华科精密工业(深圳)有限公司 自动导航云服务器及自动导航控制方法
WO2020097221A1 (en) 2018-11-08 2020-05-14 Evangelos Simoudis Systems and methods for managing vehicle data
US11481665B2 (en) 2018-11-09 2022-10-25 Hewlett Packard Enterprise Development Lp Systems and methods for determining machine learning training approaches based on identified impacts of one or more types of concept drift
US11124185B2 (en) 2018-11-13 2021-09-21 Zoox, Inc. Perception collision avoidance
CN113016005A (zh) 2018-11-13 2021-06-22 三星电子株式会社 联合无监督对象分割与修复
US11715012B2 (en) 2018-11-16 2023-08-01 Uatc, Llc Feature compression and localization for autonomous devices
US11494937B2 (en) 2018-11-16 2022-11-08 Uatc, Llc Multi-task multi-sensor fusion for three-dimensional object detection
US11755018B2 (en) 2018-11-16 2023-09-12 Uatc, Llc End-to-end interpretable motion planner for autonomous vehicles
US20200162489A1 (en) 2018-11-16 2020-05-21 Airspace Systems, Inc. Security event detection and threat assessment
US11449713B2 (en) 2018-11-16 2022-09-20 Uatc, Llc Attention based feature compression and localization for autonomous devices
US11217012B2 (en) 2018-11-16 2022-01-04 Uatc, Llc System and method for identifying travel way features for autonomous vehicle motion control
US11461963B2 (en) 2018-11-16 2022-10-04 Uatc, Llc Systems and methods for generating synthetic light detection and ranging data via machine learning
US11610115B2 (en) 2018-11-16 2023-03-21 Nvidia Corporation Learning to generate synthetic datasets for training neural networks
US11354820B2 (en) 2018-11-17 2022-06-07 Uatc, Llc Image based localization system
US11346950B2 (en) 2018-11-19 2022-05-31 Huawei Technologies Co., Ltd. System, device and method of generating a high resolution and high accuracy point cloud
US10904072B2 (en) 2018-11-19 2021-01-26 Accenture Global Solutions Limited System and method for recommending automation solutions for technology infrastructure issues
US10853670B2 (en) 2018-11-21 2020-12-01 Ford Global Technologies, Llc Road surface characterization using pose observations of adjacent vehicles
KR20200063329A (ko) 2018-11-21 2020-06-05 삼성전자주식회사 영상 처리 장치 및 그 제어방법
US11636681B2 (en) 2018-11-21 2023-04-25 Meta Platforms, Inc. Anticipating future video based on present video
US11423196B2 (en) 2018-11-28 2022-08-23 Toyota Research Institute, Inc. Systems and methods for predicting responses of a particle to a stimulus
US10867444B2 (en) 2018-11-29 2020-12-15 Adobe Inc. Synthetic data generation for training a machine learning model for dynamic object compositing in scenes
US11215997B2 (en) 2018-11-30 2022-01-04 Zoox, Inc. Probabilistic risk assessment for trajectory evaluation
US20200175354A1 (en) 2018-12-03 2020-06-04 Deep Learn, Inc. Time and accuracy estimate-based selection of machine-learning predictive models
CN109615073B (zh) 2018-12-03 2021-06-04 郑州云海信息技术有限公司 一种神经网络模型的构建方法、设备以及存储介质
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
DE102018130821A1 (de) 2018-12-04 2020-06-04 Valeo Schalter Und Sensoren Gmbh Verfahren zum Beurteilen einer Umgebung eines Kraftfahrzeugs durch ein künstliches neuronales Netz mit einer Aggregationseinheit; Steuereinheit, Fahrerassistenzsystem sowie Computerprogrammprodukt
US20200175371A1 (en) 2018-12-04 2020-06-04 Bank Of America Corporation System and method for self constructing deep neural network design through adversarial learning
US11093783B2 (en) 2018-12-05 2021-08-17 Subaru Corporation Vehicle detection apparatus
US11048318B2 (en) 2018-12-06 2021-06-29 Intel Corporation Reducing microprocessor power with minimal performance impact by dynamically adapting runtime operating configurations using machine learning
JP7369921B2 (ja) 2018-12-10 2023-10-27 株式会社小糸製作所 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法
KR20200070831A (ko) 2018-12-10 2020-06-18 삼성전자주식회사 인공 신경망을 압축하기 위한 장치 및 방법
CN110084086A (zh) 2018-12-11 2019-08-02 安徽江淮汽车集团股份有限公司 一种基于视觉传感器的自动驾驶车辆可行驶区域检测方法
CN111326023B (zh) 2018-12-13 2022-03-29 丰翼科技(深圳)有限公司 一种无人机航线预警方法、装置、设备及存储介质
US11092966B2 (en) 2018-12-14 2021-08-17 The Boeing Company Building an artificial-intelligence system for an autonomous vehicle
WO2020123163A1 (en) 2018-12-14 2020-06-18 Apple Inc. Machine learning assisted image prediction
US10915783B1 (en) 2018-12-14 2021-02-09 Amazon Technologies, Inc. Detecting and locating actors in scenes based on degraded or supersaturated depth data
US20200193313A1 (en) 2018-12-14 2020-06-18 Parallel Machines, Inc. Interpretability-based machine learning adjustment during production
CN113196173A (zh) 2018-12-14 2021-07-30 Asml荷兰有限公司 用于对图像图案分组以确定图案化过程中晶片行为的设备和方法
US11693901B2 (en) 2018-12-18 2023-07-04 Google Llc Systems and methods for geolocation prediction
US10846831B2 (en) 2018-12-19 2020-11-24 GM Global Technology Operations LLC Computing system for rectifying ultra-wide fisheye lens images
US10937186B2 (en) 2018-12-19 2021-03-02 Fca Us Llc Techniques for precisely locating landmarks in monocular camera images with deep learning
JP7293644B2 (ja) 2018-12-20 2023-06-20 カシオ計算機株式会社 画像識別装置、識別器学習方法、画像識別方法及びプログラム
US10817732B2 (en) 2018-12-20 2020-10-27 Trimble Inc. Automated assessment of collision risk based on computer vision
US11443515B2 (en) 2018-12-21 2022-09-13 Ambient AI, Inc. Systems and methods for machine learning enhanced intelligent building access endpoint security monitoring and management
JP7214873B2 (ja) 2018-12-21 2023-01-30 ウェイモ エルエルシー 自律型車両のセンサデータリポジトリの検索
CN109978132A (zh) 2018-12-24 2019-07-05 中国科学院深圳先进技术研究院 一种精细化车辆识别的神经网络方法及系统
WO2020139355A1 (en) 2018-12-27 2020-07-02 Didi Research America, Llc System for automated lane marking
US11087173B2 (en) 2018-12-27 2021-08-10 Beijing Didi Infinity Technology And Development Co., Ltd. Using image pre-processing to generate a machine learning model
WO2020139357A1 (en) 2018-12-27 2020-07-02 Didi Research America, Llc Using image pre-processing to generate a machine learning model
CN109934163B (zh) 2018-12-27 2022-07-08 北京航空航天大学 一种基于场景先验和特征再融合的航空图像车辆检测方法
US11023745B2 (en) 2018-12-27 2021-06-01 Beijing Didi Infinity Technology And Development Co., Ltd. System for automated lane marking
US20220078637A1 (en) 2018-12-28 2022-03-10 Telefonaktiebolaget Lm Ericsson (Publ) Wireless device, a network node and methods therein for updating a first instance of a machine learning model
US11170299B2 (en) 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
KR102097120B1 (ko) 2018-12-31 2020-04-09 주식회사 애자일소다 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법
US20200209857A1 (en) 2018-12-31 2020-07-02 Uber Technologies, Inc. Multimodal control system for self driving vehicle
US20200209874A1 (en) 2018-12-31 2020-07-02 Chongqing Jinkang New Energy Vehicle, Ltd. Combined virtual and real environment for autonomous vehicle planning and control testing
US20200331476A1 (en) 2018-12-31 2020-10-22 Chongqing Jinkang New Energy Vehicle, Ltd. Automatic lane change with minimum gap distance
US20200210840A1 (en) 2018-12-31 2020-07-02 Microsoft Technology Licensing, Llc Adjusting precision and topology parameters for neural network training based on a performance metric
US20200218722A1 (en) 2019-01-04 2020-07-09 SayMosaic Inc. System and method for natural language processing (nlp) based searching and question answering
KR20200085490A (ko) 2019-01-07 2020-07-15 에스케이플래닛 주식회사 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 비휘발성 기록매체
WO2020146445A1 (en) 2019-01-08 2020-07-16 Philip Christopher Du Toit Classifying perceived objects based on activity
US11294472B2 (en) 2019-01-11 2022-04-05 Microsoft Technology Licensing, Llc Augmented two-stage hand gesture input
CN109886997B (zh) 2019-01-23 2023-07-11 平安科技(深圳)有限公司 基于目标检测的识别框确定方法、装置及终端设备
CN109948428B (zh) 2019-01-28 2022-12-09 上海理工大学 面向传感信息处理的gpu集群深度学习边缘计算系统
US10373026B1 (en) 2019-01-28 2019-08-06 StradVision, Inc. Learning method and learning device for generation of virtual feature maps whose characteristics are same as or similar to those of real feature maps by using GAN capable of being applied to domain adaptation to be used in virtual driving environments
US10692002B1 (en) 2019-01-28 2020-06-23 StradVision, Inc. Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using GAN and testing method and testing device using the same
CN111488770A (zh) 2019-01-28 2020-08-04 初速度(苏州)科技有限公司 交通标志识别方法、神经网络模型的训练方法和装置
US11087175B2 (en) 2019-01-30 2021-08-10 StradVision, Inc. Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them
US10628688B1 (en) 2019-01-30 2020-04-21 Stadvision, Inc. Learning method and learning device, and testing method and testing device for detecting parking spaces by using point regression results and relationship between points to thereby provide an auto-parking system
US20200242511A1 (en) 2019-01-30 2020-07-30 Oracle International Corporation Dynamic Data Selection for a Machine Learning Model
US10776673B2 (en) 2019-01-31 2020-09-15 StradVision, Inc. Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same
US10824947B2 (en) 2019-01-31 2020-11-03 StradVision, Inc. Learning method for supporting safer autonomous driving without danger of accident by estimating motions of surrounding objects through fusion of information from multiple sources, learning device, testing method and testing device using the same
US10540572B1 (en) 2019-01-31 2020-01-21 StradVision, Inc. Method for auto-labeling training images for use in deep learning network to analyze images with high precision, and auto-labeling device using the same
US10943355B2 (en) 2019-01-31 2021-03-09 Uatc, Llc Systems and methods for detecting an object velocity
WO2020157761A1 (en) 2019-01-31 2020-08-06 Amnon Buxboim Automated evaluation of embryo implantation potential
US10726279B1 (en) 2019-01-31 2020-07-28 StradVision, Inc. Method and device for attention-driven resource allocation by using AVM and reinforcement learning to thereby achieve safety of autonomous driving
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11317863B2 (en) 2019-02-01 2022-05-03 Starkey Laboratories, Inc. Efficient wellness measurement in ear-wearable devices
WO2020163455A1 (en) 2019-02-05 2020-08-13 Urugus S.A. Automatic optimization of machine learning algorithms in the presence of target datasets
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
JP7492524B2 (ja) 2019-02-11 2024-05-29 フラッグシップ・パイオニアリング・イノベーションズ・ブイアイ,エルエルシー 機械学習支援ポリペプチド解析
US11635767B2 (en) 2019-02-13 2023-04-25 Semyon Nisenzon System and method of using multi-resolution camera clusters input data for controlling autonomous vehicles
US10568570B1 (en) 2019-02-14 2020-02-25 Trungram Gyaltrul Sherpa Methods and systems for providing a preferred fitness state of a user
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US10726374B1 (en) 2019-02-19 2020-07-28 Icertis, Inc. Risk prediction based on automated analysis of documents
US10970911B2 (en) 2019-02-21 2021-04-06 Facebook Technologies, Llc Graphics processing chip with machine-learning based shader
US11977388B2 (en) 2019-02-21 2024-05-07 Nvidia Corporation Quantizing autoencoders in a neural network
CN109902732B (zh) 2019-02-22 2021-08-27 哈尔滨工业大学(深圳) 车辆自动分类方法及相关装置
US11635764B2 (en) 2019-02-22 2023-04-25 Uatc, Llc. Motion prediction for autonomous devices
US11562176B2 (en) 2019-02-22 2023-01-24 Cisco Technology, Inc. IoT fog as distributed machine learning structure search platform
US10872326B2 (en) 2019-02-25 2020-12-22 Walmart Apollo, Llc Systems and methods of product recognition through multi-model image processing
WO2020174262A1 (en) 2019-02-27 2020-09-03 Telefonaktiebolaget Lm Ericsson (Publ) Transfer learning for radio resource management
US11710034B2 (en) 2019-02-27 2023-07-25 Intel Corporation Misuse index for explainable artificial intelligence in computing environments
WO2020176304A1 (en) 2019-02-28 2020-09-03 Skidmore Owings & Merrill Llp Machine learning tool for structures
CN110223301B (zh) 2019-03-01 2021-08-03 华为技术有限公司 一种图像裁剪方法和电子设备
CN109949257B (zh) 2019-03-06 2021-09-10 西安电子科技大学 基于深度学习的感兴趣区域压缩感知图像重构方法
US10930065B2 (en) 2019-03-08 2021-02-23 X Development Llc Three-dimensional modeling with two dimensional data
CN109978161B (zh) 2019-03-08 2022-03-04 吉林大学 一种通用的卷积-池化同步处理卷积核系统
US10949997B2 (en) 2019-03-08 2021-03-16 Ford Global Technologies, Llc Vehicle localization systems and methods
WO2020185779A1 (en) 2019-03-11 2020-09-17 Nvidia Corporation Intersection detection and classification in autonomous machine applications
CN109902186B (zh) 2019-03-12 2021-05-11 北京百度网讯科技有限公司 用于生成神经网络的方法和装置
US20200294162A1 (en) 2019-03-13 2020-09-17 Opendoor Labs Inc. Value prediction error generation system
AU2019201716A1 (en) 2019-03-13 2020-10-01 Canon Kabushiki Kaisha System and method of generating a neural network architecture
EP3924845A4 (en) 2019-03-14 2022-12-07 Hewlett-Packard Development Company, L.P. RESPONDING TO MACHINE LEARNING REQUESTS FROM MULTIPLE CUSTOMERS
US11483370B2 (en) 2019-03-14 2022-10-25 Hewlett-Packard Development Company, L.P. Preprocessing sensor data for machine learning
CN109871828B (zh) 2019-03-15 2022-12-02 京东方科技集团股份有限公司 视频识别方法和识别装置、存储介质
CN116569211A (zh) 2019-03-15 2023-08-08 辉达公司 使用变换训练神经网络的技术
CN109975308B (zh) 2019-03-15 2023-03-24 维库(厦门)信息技术有限公司 一种基于深度学习的表面检测方法
WO2020190880A1 (en) 2019-03-16 2020-09-24 Nvidia Corporation Object detection using skewed polygons suitable for parking space detection
WO2020190781A1 (en) 2019-03-16 2020-09-24 Nvidia Corporation Leveraging multidimensional sensor data for computationally efficient object detection
US11580386B2 (en) 2019-03-18 2023-02-14 Electronics And Telecommunications Research Institute Convolutional layer acceleration unit, embedded system having the same, and method for operating the embedded system
CN113615135B (zh) 2019-03-19 2023-05-23 利维帕尔森有限公司 到不同端点的动态通信路由
US10402641B1 (en) 2019-03-19 2019-09-03 Capital One Services, Llc Platform for document classification
US11475298B2 (en) 2019-03-20 2022-10-18 Gyrfalcon Technology Inc. Using quantization in training an artificial intelligence model in a semiconductor solution
US11559221B2 (en) 2019-03-22 2023-01-24 Siemens Healthcare Gmbh Multi-task progressive networks for patient modeling for medical scans
JP7240916B2 (ja) 2019-03-22 2023-03-16 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および情報処理プログラム
CA3134819A1 (en) 2019-03-23 2020-10-01 Uatc, Llc Systems and methods for generating synthetic sensor data via machine learning
US11548533B2 (en) 2019-03-23 2023-01-10 Uatc, Llc Perception and motion prediction for autonomous devices
US20200302662A1 (en) 2019-03-23 2020-09-24 Uatc, Llc System and Methods for Generating High Definition Maps Using Machine-Learned Models to Analyze Topology Data Gathered From Sensors
WO2020198119A1 (en) 2019-03-23 2020-10-01 Uatc, Llc Depth estimation for autonomous devices
JP2022527072A (ja) 2019-03-25 2022-05-30 ズークス インコーポレイテッド 属性に基づく歩行者の予測
US11021148B2 (en) 2019-03-25 2021-06-01 Zoox, Inc. Pedestrian prediction based on attributes
US11351991B2 (en) 2019-03-25 2022-06-07 Zoox, Inc. Prediction based on attributes
US11199415B2 (en) 2019-03-26 2021-12-14 Lyft, Inc. Systems and methods for estimating vehicle position based on contextual sensor information
CN109951710B (zh) 2019-03-26 2021-07-02 中国民航大学 基于深度学习的机坪监控视频压缩方法及系统
US10790919B1 (en) 2019-03-26 2020-09-29 Electronic Arts Inc. Personalized real-time audio generation based on user physiological response
US10953334B2 (en) 2019-03-27 2021-03-23 Electronic Arts Inc. Virtual character generation from image or video data
US10657934B1 (en) 2019-03-27 2020-05-19 Electronic Arts Inc. Enhancements for musical composition applications
US11740335B2 (en) 2019-03-27 2023-08-29 Zoox, Inc. Identifying and/or removing false positive detections from LIDAR sensor output
US11276216B2 (en) 2019-03-27 2022-03-15 Electronic Arts Inc. Virtual animal character generation from image or video data
US20200311601A1 (en) 2019-03-29 2020-10-01 Optum, Inc. Hybrid rule-based and machine learning predictions
US10661902B1 (en) 2019-03-29 2020-05-26 QuantumID Technologies Inc Artificial intelligence system for estimating excess non-sapient payload capacity on mixed-payload aeronautic excursions
KR20210134317A (ko) 2019-03-29 2021-11-09 인텔 코포레이션 자율 차량 시스템
US11709495B2 (en) 2019-03-29 2023-07-25 SafeAI, Inc. Systems and methods for transfer of material using autonomous machines with reinforcement learning and visual servo control
US10559386B1 (en) 2019-04-02 2020-02-11 Kpn Innovations, Llc Methods and systems for an artificial intelligence support network for vibrant constituional guidance
US11877801B2 (en) 2019-04-02 2024-01-23 Medicrea International Systems, methods, and devices for developing patient-specific spinal implants, treatments, operations, and/or procedures
WO2020198779A1 (en) 2019-04-04 2020-10-08 Presagen Pty Ltd Method and system for selecting embryos
US11250062B2 (en) 2019-04-04 2022-02-15 Kpn Innovations Llc Artificial intelligence methods and systems for generation and implementation of alimentary instruction sets
US11636380B2 (en) 2019-04-09 2023-04-25 Nxp B.V. Method for protecting a machine learning model against extraction using an ensemble of a plurality of machine learning models
CN111797657A (zh) 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 车辆周边障碍检测方法、装置、存储介质及电子设备
US10943132B2 (en) 2019-04-10 2021-03-09 Black Sesame International Holding Limited Distant on-road object detection
EP3722992B1 (en) 2019-04-10 2023-03-01 Teraki GmbH System and method for pre-processing images captured by a vehicle
WO2020210733A1 (en) 2019-04-11 2020-10-15 Agilent Technologies, Inc. Deep learning based training of instance segmentation via regression layers
US10928508B2 (en) 2019-04-12 2021-02-23 Ford Global Technologies, Llc Camera and radar fusion
CN109961491B (zh) 2019-04-12 2023-05-26 上海联影医疗科技股份有限公司 多模态图像截断补偿方法、装置、计算机设备和介质
US11373044B2 (en) 2019-04-12 2022-06-28 Asapp, Inc. Maintaining machine language model state across communications channels
US20200327449A1 (en) 2019-04-15 2020-10-15 Accenture Global Solutions Limited User retention platform
EP3725354B1 (en) 2019-04-15 2023-04-12 Nxp B.V. Audio controller
JP2020173744A (ja) 2019-04-15 2020-10-22 株式会社日立製作所 機械学習を用いた画像処理方式,およびそれを用いた電子制御装置
JP7188255B2 (ja) 2019-04-16 2022-12-13 富士通株式会社 学習方法、学習プログラムおよび学習装置
CN109901595A (zh) 2019-04-16 2019-06-18 山东大学 一种基于单目摄像头和树莓派的自动驾驶系统及方法
US11790171B2 (en) 2019-04-16 2023-10-17 Covera Health Computer-implemented natural language understanding of medical reports
US11809993B2 (en) 2019-04-18 2023-11-07 Google Llc Systems and methods for determining graph similarity
US11126890B2 (en) 2019-04-18 2021-09-21 Adobe Inc. Robust training of large-scale object detectors with a noisy dataset
US10893070B2 (en) 2019-04-18 2021-01-12 Facebook, Inc. Detecting a page for a real-world entity, an imposter of a real-world entity, or a non-real-world entity that complies with or violates a policy of an online system
CN110060202B (zh) 2019-04-19 2021-06-08 湖北亿咖通科技有限公司 一种单目slam算法的初始化方法及系统
US10833785B1 (en) 2019-04-23 2020-11-10 DeepSig Inc. Processing communications signals using a machine-learning network
US20200342968A1 (en) 2019-04-24 2020-10-29 GE Precision Healthcare LLC Visualization of medical device event processing
US11257272B2 (en) 2019-04-25 2022-02-22 Lucid VR, Inc. Generating synthetic image data for machine learning
WO2020219303A1 (en) 2019-04-26 2020-10-29 Nvidia Corporation Intersection pose detection in autonomous machine applications
CN110111340B (zh) 2019-04-28 2021-05-14 南开大学 基于多路割的弱监督实例分割方法
CN110175671B (zh) 2019-04-28 2022-12-27 华为技术有限公司 神经网络的构建方法、图像处理方法及装置
US11176493B2 (en) 2019-04-29 2021-11-16 Google Llc Virtualizing external memory as local to a machine learning accelerator
US10789402B1 (en) 2019-05-01 2020-09-29 Xilinx, Inc. Compiler and hardware abstraction layer architecture for a neural network accelerator
GB2583509B (en) 2019-05-01 2023-02-22 Advanced Risc Mach Ltd System and method for fault detection and correction
US10924661B2 (en) 2019-05-02 2021-02-16 International Business Machines Corporation Generating image capture configurations and compositions
US10475208B1 (en) 2019-05-02 2019-11-12 Capital One Services, Llc Vehicle analysis platform
US11556615B2 (en) 2019-05-03 2023-01-17 Tesla, Inc. Data path for scalable matrix node engine with mixed data formats
WO2020227128A1 (en) 2019-05-03 2020-11-12 Image Stream Medical, Inc. Context and state aware operating room
CN110135485A (zh) 2019-05-05 2019-08-16 浙江大学 单目相机与毫米波雷达融合的物体识别与定位方法和系统
US11556861B2 (en) 2019-05-06 2023-01-17 Google Llc Debugging correctness issues in training machine learning models
US11461664B2 (en) 2019-05-07 2022-10-04 Kpn Innovations, Llc. Methods and systems for an artificial intelligence alimentary professional support network for vibrant constitutional guidance
US10949684B2 (en) 2019-05-08 2021-03-16 Ford Global Technologies, Llc Vehicle image verification
US10832418B1 (en) 2019-05-09 2020-11-10 Zoox, Inc. Object velocity from images
CN110334801A (zh) 2019-05-09 2019-10-15 苏州浪潮智能科技有限公司 一种卷积神经网络的硬件加速方法、装置、设备及系统
US20200356107A1 (en) 2019-05-10 2020-11-12 Uber Technologies, Inc. Walkway Detection for Autonomous Light Electric Vehicle
US20200364508A1 (en) 2019-05-14 2020-11-19 Nvidia Corporation Using decay parameters for inferencing with neural networks
EP3739486A1 (en) 2019-05-14 2020-11-18 CrowdStrike, Inc. Applications of machine learning models to a binary search engine based on an inverted index of byte sequences
CN110069071B (zh) 2019-05-15 2022-06-14 深圳铂石空间科技有限公司 无人机导航方法与装置、存储介质、电子设备
US11263467B2 (en) 2019-05-15 2022-03-01 Apical Limited Image processing
US11701771B2 (en) 2019-05-15 2023-07-18 Nvidia Corporation Grasp generation using a variational autoencoder
US11475277B2 (en) 2019-05-16 2022-10-18 Google Llc Accurate and interpretable classification with hard attention
US11869037B2 (en) 2019-05-17 2024-01-09 gStore LLC Integrating content-delivery platforms into programmatic environments generated by executed applications
KR102071179B1 (ko) 2019-05-20 2020-01-29 주식회사 루닛 데이터 셋의 연속적인 학습 방법 및 장치
KR102043143B1 (ko) 2019-05-20 2019-11-11 호서대학교 산학협력단 인공신경망을 이용한 agv 주행제어 방법 및 장치
US20200372402A1 (en) 2019-05-24 2020-11-26 Bank Of America Corporation Population diversity based learning in adversarial and rapid changing environments
US11610142B2 (en) 2019-05-28 2023-03-21 Ati Technologies Ulc Safety monitor for image misclassification
US11803981B2 (en) 2019-05-30 2023-10-31 Mobileye Vision Technologies Ltd. Vehicle environment modeling with cameras
CN110225341B (zh) 2019-06-03 2020-08-28 中国科学技术大学 一种任务驱动的码流结构化图像编码方法
KR20200142266A (ko) 2019-06-12 2020-12-22 (주)리터너블 객체 인식 시스템 및 이를 사용한 객체 인식 방법
US11928557B2 (en) 2019-06-13 2024-03-12 Lyft, Inc. Systems and methods for routing vehicles to capture and evaluate targeted scenarios
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
US11113568B2 (en) 2019-06-14 2021-09-07 Canon Kabushiki Kaisha Devices, systems, and methods for device-error analysis using computer vision and machine learning
US11494930B2 (en) 2019-06-17 2022-11-08 SafeAI, Inc. Techniques for volumetric estimation
KR20220024718A (ko) 2019-06-18 2022-03-03 몰로코, 인크. 머신 러닝 서비스를 제공하기 위한 방법 및 시스템
CN112101562B (zh) 2019-06-18 2024-01-30 第四范式(北京)技术有限公司 机器学习建模过程的实现方法和系统
US11501109B2 (en) 2019-06-20 2022-11-15 Western Digital Technologies, Inc. Non-volatile memory die with on-chip data augmentation components for use with machine learning
US20200402155A1 (en) 2019-06-20 2020-12-24 Bank Of America Corporation Systems for providing real-time resource distribution to a resource event having standard delayed resource availability
US11087463B2 (en) 2019-06-21 2021-08-10 StraxCorp Pty. Ltd. Image analysis method and system for assessing bone fragility
US11192558B2 (en) 2019-06-24 2021-12-07 Here Global B.V. Method, apparatus, and system for providing road curvature data
CN110310264B (zh) 2019-06-25 2021-07-20 北京邮电大学 一种基于dcnn的大尺度目标检测方法、装置
US11436837B2 (en) 2019-06-25 2022-09-06 Nvidia Corporation Intersection region detection and classification for autonomous machine applications
US20200410288A1 (en) 2019-06-26 2020-12-31 Here Global B.V. Managed edge learning in heterogeneous environments
US11158056B2 (en) 2019-06-26 2021-10-26 Intel Corporation Surround camera system with seamless stitching for arbitrary viewpoint selection
WO2020264010A1 (en) 2019-06-28 2020-12-30 Zoox, Inc. Low variance region detection for improved detection
DE102019209565A1 (de) 2019-06-28 2020-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes
US11657094B2 (en) 2019-06-28 2023-05-23 Meta Platforms Technologies, Llc Memory grounded conversational reasoning and question answering for assistant systems
US11163990B2 (en) 2019-06-28 2021-11-02 Zoox, Inc. Vehicle control system and method for pedestrian detection based on head detection in sensor data
US11170567B2 (en) 2019-06-28 2021-11-09 Woven Planet North America, Inc. Dynamic object detection model based on static map collection data
US20210006835A1 (en) 2019-07-01 2021-01-07 Microsoft Technology Licensing, Llc Blurring to improve visual quality in an area of interest in a frame
CN110414362A (zh) 2019-07-02 2019-11-05 安徽继远软件有限公司 基于生成式对抗网络的电力图像数据增广方法
US20210004795A1 (en) 2019-07-03 2021-01-07 Sap Se Anomaly and fraud detection using duplicate event detector
US11467588B2 (en) 2019-07-03 2022-10-11 Denso International America, Inc. Systems and methods for controlling an autonomous vehicle using target orientated artificial intelligence
KR20210004306A (ko) 2019-07-04 2021-01-13 삼성전자주식회사 뉴럴 네트워크 장치 및 뉴럴 네트워크의 파라미터 양자화 방법
US11023749B2 (en) 2019-07-05 2021-06-01 Zoox, Inc. Prediction on top-down scenes based on action data
US11681925B2 (en) 2019-07-08 2023-06-20 Vianai Systems, Inc. Techniques for creating, analyzing, and modifying neural networks
US11475675B2 (en) 2019-07-08 2022-10-18 Uatc, Llc Systems and methods for identifying unknown instances
CN110321965B (zh) 2019-07-10 2021-06-18 腾讯科技(深圳)有限公司 物体重识别模型的训练方法、物体重识别的方法及装置
US20210011908A1 (en) 2019-07-11 2021-01-14 Ghost Locomotion Inc. Model-based structured data filtering in an autonomous vehicle
US11829896B2 (en) 2019-07-11 2023-11-28 Ghost Autonomy Inc. Uncertainty-based data filtering in a vehicle
US20210012239A1 (en) 2019-07-12 2021-01-14 Microsoft Technology Licensing, Llc Automated generation of machine learning models for network evaluation
US11379287B2 (en) 2019-07-17 2022-07-05 Factualvr, Inc. System and method for error detection and correction in virtual reality and augmented reality environments
US11191342B2 (en) 2019-07-18 2021-12-07 L'oreal Techniques for identifying skin color in images having uncontrolled lighting conditions
CN110473173A (zh) 2019-07-24 2019-11-19 熵智科技(深圳)有限公司 一种基于深度学习语义分割的缺陷检测方法
US11941976B2 (en) 2019-07-25 2024-03-26 Pony Ai Inc. System and method for sharing data collected from the street sensors
CN110599537A (zh) 2019-07-25 2019-12-20 中国地质大学(武汉) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
US10893107B1 (en) 2019-07-25 2021-01-12 Amazon Technologies, Inc. Techniques for managing processing resources
US20210030276A1 (en) 2019-07-29 2021-02-04 DawnLight Technologies Inc. Remote Health Monitoring Systems and Method
CN112308095A (zh) 2019-07-30 2021-02-02 顺丰科技有限公司 图片预处理及模型训练方法、装置、服务器及存储介质
US11200456B2 (en) 2019-07-31 2021-12-14 GE Precision Healthcare LLC Systems and methods for generating augmented training data for machine learning models
CN110399875A (zh) 2019-07-31 2019-11-01 山东浪潮人工智能研究院有限公司 一种基于深度学习与像素投影的通用表格信息提取方法
US11182903B2 (en) 2019-08-05 2021-11-23 Sony Corporation Image mask generation using a deep neural network
CN110426051B (zh) 2019-08-05 2021-05-18 武汉中海庭数据技术有限公司 一种车道线绘制方法、装置及存储介质
US11449709B2 (en) 2019-08-08 2022-09-20 Nvidia Corporation Domain restriction of neural networks through synthetic data pre-training
US11537880B2 (en) 2019-08-12 2022-12-27 Bank Of America Corporation System and methods for generation of synthetic data cluster vectors and refinement of machine learning models
US11531883B2 (en) 2019-08-12 2022-12-20 Bank Of America Corporation System and methods for iterative synthetic data generation and refinement of machine learning models
US11348339B2 (en) 2019-08-13 2022-05-31 Uatc, Llc Association and tracking for autonomous devices
US11593753B2 (en) 2019-08-13 2023-02-28 United Parcel Service Of America, Inc. Multi-phase consolidation optimization tool
US11556992B2 (en) 2019-08-14 2023-01-17 Royal Bank Of Canada System and method for machine learning architecture for enterprise capitalization
US11634162B2 (en) 2019-08-16 2023-04-25 Uatc, Llc. Full uncertainty for motion planning in autonomous vehicles
CN110543837B (zh) 2019-08-16 2022-03-15 北京航空航天大学 一种基于潜在目标点的可见光机场飞机检测方法
US11302009B2 (en) 2019-08-19 2022-04-12 Fotonation Limited Method of image processing using a neural network
US11144754B2 (en) 2019-08-19 2021-10-12 Nvidia Corporation Gaze detection using one or more neural networks
US11594036B2 (en) 2019-08-21 2023-02-28 Micron Technology, Inc. Advanced driver-assistance system (ADAS) operation utilizing algorithmic skyline detection
US11232110B2 (en) 2019-08-23 2022-01-25 Capital One Services, Llc Natural language keyword tag extraction
CN110516665A (zh) 2019-08-23 2019-11-29 上海眼控科技股份有限公司 识别图像叠加文字区域的神经网络模型构建方法与系统
CN110619283B (zh) 2019-08-26 2023-01-10 海南撰云空间信息技术有限公司 一种无人机正射影像道路自动提取方法
CN110619282B (zh) 2019-08-26 2023-01-10 海南撰云空间信息技术有限公司 一种无人机正射影像建筑物自动提取方法
CN110569899B (zh) 2019-09-03 2022-06-10 嘉陵江亭子口水利水电开发有限公司 坝面缺陷分类模型训练方法及装置
CN110619330A (zh) 2019-09-18 2019-12-27 上海眼控科技股份有限公司 识别模型的训练方法、装置、计算机设备及识别方法
CN110751280A (zh) 2019-09-19 2020-02-04 华中科技大学 一种应用于卷积神经网络的可配置卷积加速器
US11726950B2 (en) 2019-09-28 2023-08-15 Intel Corporation Compute near memory convolution accelerator
CN110659628A (zh) 2019-10-09 2020-01-07 山东浪潮人工智能研究院有限公司 一种基于深度学习的煤矿监控视频解压缩方法及系统
CN110599864A (zh) 2019-10-28 2019-12-20 苏州智行众维智能科技有限公司 一种基于室内交通场景模拟传感器建模和验证装置及方法
CN110826566B (zh) 2019-11-01 2022-03-01 北京环境特性研究所 一种基于深度学习的目标切片提取方法
US10819923B1 (en) 2019-11-19 2020-10-27 Waymo Llc Thermal imaging for self-driving cars
CN110966991B (zh) 2019-11-21 2021-07-02 中国人民解放军国防科技大学 一种无控制点下的单幅无人机影像定位方法
CN110956185B (zh) 2019-11-21 2023-04-18 大连理工大学人工智能大连研究院 一种图像显著目标的检测方法
CN110631593B (zh) 2019-11-25 2020-02-21 奥特酷智能科技(南京)有限公司 一种用于自动驾驶场景的多传感器融合定位方法
DE102019008316A1 (de) 2019-11-29 2020-08-13 Daimler Ag Verfahren zur Objekterkennung und Abstandsbestimmung
CN111126453B (zh) 2019-12-05 2022-05-03 重庆邮电大学 基于注意力机制和切割填充的细粒度图像分类方法及系统
CN110688992B (zh) 2019-12-09 2020-08-04 中智行科技有限公司 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆
CN111027549A (zh) 2019-12-10 2020-04-17 北京服装学院 一种针对女上装关键点识别方法
CN111027575B (zh) 2019-12-13 2022-06-17 广西师范大学 一种自注意对抗学习的半监督语义分割方法
US10902551B1 (en) 2019-12-17 2021-01-26 X Development Llc True positive transplant
US11536574B2 (en) 2019-12-27 2022-12-27 Intel Corporation System and method for acceleration-based vector field maps
US10796355B1 (en) 2019-12-27 2020-10-06 Capital One Services, Llc Personalized car recommendations based on customer web traffic
US10732261B1 (en) 2019-12-31 2020-08-04 Aurora Innovation, Inc. Generating data using radar observation model based on machine learning
CN111062973B (zh) 2019-12-31 2021-01-01 西安电子科技大学 基于目标特征敏感性和深度学习的车辆跟踪方法
US11341170B2 (en) 2020-01-10 2022-05-24 Hearst Magazine Media, Inc. Automated extraction, inference and normalization of structured attributes for product data
CN111047225B (zh) 2020-01-10 2021-03-23 惠州光弘科技股份有限公司 一种基于边缘侧模型处理的smt表面组装组件焊点的质量评定方法
CN111275618B (zh) 2020-01-12 2023-09-29 杭州电子科技大学 一种基于双支感知的深度图超分辨率重建网络构建方法
CN111275080B (zh) 2020-01-14 2021-01-08 腾讯科技(深圳)有限公司 基于人工智能的图像分类模型训练方法、分类方法及装置
US10845943B1 (en) 2020-02-14 2020-11-24 Carmax Business Services, Llc Systems and methods for generating a 360-degree viewing experience
CN111275129A (zh) 2020-02-17 2020-06-12 平安科技(深圳)有限公司 一种图像数据的增广策略选取方法及系统
CN111461110B (zh) 2020-03-02 2023-04-28 华南理工大学 一种基于多尺度图像和加权融合损失的小目标检测方法
CN111598095B (zh) 2020-03-09 2023-04-07 浙江工业大学 一种基于深度学习的城市道路场景语义分割方法
CN111444821B (zh) 2020-03-24 2022-03-25 西北工业大学 一种城市道路标志自动识别方法
US11455793B2 (en) 2020-03-25 2022-09-27 Intel Corporation Robust object detection and classification using static-based cameras and events-based cameras
US11597393B2 (en) 2020-03-26 2023-03-07 Intel Corporation Systems, methods, and devices for driving control
US11586854B2 (en) 2020-03-26 2023-02-21 Intel Corporation Devices and methods for accurately identifying objects in a vehicle's environment
US11568655B2 (en) 2020-03-26 2023-01-31 Intel Corporation Methods and devices for triggering vehicular actions based on passenger actions
US11886968B2 (en) 2020-03-27 2024-01-30 Intel Corporation Methods and devices for detecting objects and calculating a time to contact in autonomous driving systems
CN111461052B (zh) 2020-04-13 2023-05-23 安徽大学 基于迁移学习的多个生育期小麦倒伏区域识别方法
CN111461053B (zh) 2020-04-13 2023-05-23 安徽大学 基于迁移学习的多个生育期小麦倒伏区域识别系统
CN111539514B (zh) 2020-04-16 2023-06-06 北京百度网讯科技有限公司 用于生成神经网络的结构的方法和装置
CN111428943B (zh) 2020-04-23 2021-08-03 福瑞泰克智能系统有限公司 障碍物车辆轨迹预测的方法、设备和计算机设备
KR102189262B1 (ko) 2020-04-29 2020-12-11 주식회사 글로벌브릿지 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법
CN111565318A (zh) 2020-05-06 2020-08-21 中国科学院重庆绿色智能技术研究院 一种基于稀疏样本的视频压缩方法
CN111582216B (zh) 2020-05-15 2023-08-04 安徽师范大学 一种无人驾驶车载交通信号灯识别系统及方法
CN111693972B (zh) 2020-05-29 2022-11-15 东南大学 一种基于双目序列图像的车辆位置与速度估计方法
CN111783545A (zh) 2020-06-02 2020-10-16 山西潞安环保能源开发股份有限公司五阳煤矿 一种基于生成对抗网络的煤矿无人机图像增强方法
CN111767801B (zh) 2020-06-03 2023-06-16 中国地质大学(武汉) 一种基于深度学习的遥感影像水域自动提取方法及系统
CN111814623A (zh) 2020-06-29 2020-10-23 浙江工业大学 一种基于深度神经网络的车辆车道偏离视觉检测方法
CN111860499B (zh) 2020-07-01 2022-07-12 电子科技大学 一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法
CN111783971B (zh) 2020-07-02 2024-04-09 上海赛昉科技有限公司 一种用于深度神经网络的可高度灵活配置的数据后处理器
CN111882579A (zh) 2020-07-03 2020-11-03 湖南爱米家智能科技有限公司 基于深度学习和目标跟踪的大输液异物检测方法、系统、介质及设备
CN111899227A (zh) 2020-07-06 2020-11-06 北京交通大学 基于无人机作业的铁路扣件缺陷自动采集辨识方法
CN111768002B (zh) 2020-07-10 2021-06-22 南开大学 一种基于弹性有效位的深度神经网络量化方法
CN111814902A (zh) 2020-07-21 2020-10-23 南方电网数字电网研究院有限公司 目标检测模型训练方法、目标识别方法、装置和介质
CN111898507B (zh) 2020-07-22 2022-06-03 武汉大学 一种预测无标签遥感影像地表覆盖类别的深度学习方法
CN111898523A (zh) 2020-07-29 2020-11-06 电子科技大学 一种基于迁移学习的遥感图像特种车辆目标检测方法
CN111897639B (zh) 2020-07-29 2022-12-27 平安科技(深圳)有限公司 图像增广方法、装置、计算机设备及存储介质
CN111899245B (zh) 2020-07-30 2021-03-09 推想医疗科技股份有限公司 图像分割、模型的训练方法及装置,电子设备及存储介质
CN111881856B (zh) 2020-07-31 2023-01-31 蚂蚁胜信(上海)信息技术有限公司 基于图像的车辆定损方法和装置
CN112101175B (zh) 2020-09-09 2024-05-10 沈阳帝信人工智能产业研究院有限公司 基于局部图像的高速公路车辆检测及多属性特征提取方法
CN112115953B (zh) 2020-09-18 2023-07-11 南京工业大学 一种基于rgb-d相机结合平面检测与随机抽样一致算法的优化orb算法
CN112232497A (zh) 2020-10-12 2021-01-15 苏州浪潮智能科技有限公司 一种编译ai芯片的方法、系统、设备及介质
CN112329552B (zh) 2020-10-16 2023-07-14 爱驰汽车(上海)有限公司 基于汽车的障碍物检测方法及装置
CN112348783B (zh) 2020-10-27 2022-08-05 基建通(三亚)国际科技有限公司 基于图像的人物识别方法、装置及计算机可读存储介质
CN112183739B (zh) 2020-11-02 2022-10-04 中国科学技术大学 基于忆阻器的低功耗脉冲卷积神经网络的硬件架构
CN112308799A (zh) 2020-11-05 2021-02-02 山东交通学院 基于多传感器海上道路复杂环境能见度优化屏幕显示方法
CN112288658B (zh) 2020-11-23 2023-11-28 杭州师范大学 一种基于多残差联合学习的水下图像增强方法
CN114445420A (zh) 2021-12-31 2022-05-06 湖南科技大学 编解码结构结合注意力机制的图像分割模型及其训练方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04295953A (ja) * 1991-03-25 1992-10-20 Nippon Telegr & Teleph Corp <Ntt> 要素プロセッサの2次元アレイを内蔵する並列データ処理装置および要素プロセッサのサブアレイユニット
US6847365B1 (en) * 2000-01-03 2005-01-25 Genesis Microchip Inc. Systems and methods for efficient processing of multimedia data
US20050172106A1 (en) * 2003-12-09 2005-08-04 Arm Limited Aliasing data processing registers
JP2015056124A (ja) * 2013-09-13 2015-03-23 株式会社東芝 行列演算装置
US20160342891A1 (en) * 2015-05-21 2016-11-24 Google Inc. Neural Network Processor
US20160379109A1 (en) * 2015-06-29 2016-12-29 Microsoft Technology Licensing, Llc Convolutional neural networks on hardware accelerators
JP2017027149A (ja) * 2015-07-16 2017-02-02 ルネサスエレクトロニクス株式会社 半導体装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
NORMAN P. JOUPPI, ET AL.: ""In-Datacenter Performance Analysis of a Tensor Processing Unit"", ARXIV:1704.04760V1, vol. version v1, JPN6021019275, 16 April 2017 (2017-04-16), pages 1 - 17, ISSN: 0004513657 *
岩瀬 正(外3名): "「SIMD型並列計算機における高速処理方式」", 電気学会論文誌C, vol. 122, no. 5, JPN6022010943, 1 May 2002 (2002-05-01), JP, pages 878 - 884, ISSN: 0005102198 *
有馬 裕(外4名): "「ニューロチップの最近の話題」", システム/制御/情報, vol. 38, no. 8, JPN6022010942, 15 August 1994 (1994-08-15), JP, pages 13 - 19, ISSN: 0005102199 *
石井 潤(外2名): "「可変データビット幅を持つDNNとそのアクセラレータアーキテクチャの検討」", 電子情報通信学会技術研究報告, vol. 117, no. 153, JPN6023028730, 19 July 2017 (2017-07-19), JP, pages 137 - 144, ISSN: 0005102201 *
高橋 義造 編, 「並列処理機構」, vol. 初版, JPN6022010940, 25 August 1989 (1989-08-25), JP, pages 67 - 77, ISSN: 0005102200 *

Also Published As

Publication number Publication date
CN118035625A (zh) 2024-05-14
WO2019022872A1 (en) 2019-01-31
JP2023103392A (ja) 2023-07-26
MX2020000951A (es) 2020-07-22
JP7498831B2 (ja) 2024-06-12
EP3659074A1 (en) 2020-06-03
CN111095242B (zh) 2024-03-22
CA3070934C (en) 2023-03-21
US20190026250A1 (en) 2019-01-24
EP4242941A3 (en) 2023-12-06
KR102661605B1 (ko) 2024-04-30
KR102549680B1 (ko) 2023-06-30
EP4242941A2 (en) 2023-09-13
EP3659074A4 (en) 2021-04-14
CA3070934A1 (en) 2019-01-31
JP7426925B2 (ja) 2024-02-02
KR102346079B1 (ko) 2022-01-03
KR20200027558A (ko) 2020-03-12
EP3659074B1 (en) 2023-08-16
CN111095242A (zh) 2020-05-01
MX2023010745A (es) 2023-09-20
KR20220017944A (ko) 2022-02-14
KR20230100755A (ko) 2023-07-05
US20230115874A1 (en) 2023-04-13
US11409692B2 (en) 2022-08-09

Similar Documents

Publication Publication Date Title
JP7498831B2 (ja) ベクトル計算ユニット
US11797304B2 (en) Instruction set architecture for a vector computational unit
EP3513281B1 (en) Vector multiply-add instruction
JP2022064892A (ja) 加速数学エンジン
JP2021108102A (ja) 行列演算アクセラレータの命令のための装置、方法、およびシステム
CN110073329A (zh) 访存设备、计算设备和应用于卷积神经网络运算的设备
JP2021057004A (ja) 行列演算アクセラレータの命令のための装置、方法、及びシステム
US20070250681A1 (en) Independent programmable operation sequence processor for vector processing
US20210049011A1 (en) Universal floating-point instruction set architecture for computing directly with decimal character sequences and binary formats in any combination
CN110991619A (zh) 神经网络处理器、芯片和电子设备
CN111047036A (zh) 神经网络处理器、芯片和电子设备
CN115129370A (zh) 在计算架构中支持8位浮点格式操作数
CN111091181B (zh) 卷积处理单元、神经网络处理器、电子设备及卷积运算方法
CN111047035B (zh) 神经网络处理器、芯片和电子设备
JPH09325953A (ja) プロセッサおよびデータ処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210525

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220322

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220621

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220921

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230517

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230525

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240123

R150 Certificate of patent or registration of utility model

Ref document number: 7426925

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150