CN110520856A - 处理不邻近存储器作为邻近存储器以提高神经网络的性能 - Google Patents
处理不邻近存储器作为邻近存储器以提高神经网络的性能 Download PDFInfo
- Publication number
- CN110520856A CN110520856A CN201880025244.1A CN201880025244A CN110520856A CN 110520856 A CN110520856 A CN 110520856A CN 201880025244 A CN201880025244 A CN 201880025244A CN 110520856 A CN110520856 A CN 110520856A
- Authority
- CN
- China
- Prior art keywords
- data
- line buffer
- neural network
- computer
- network environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015654 memory Effects 0.000 title claims abstract description 100
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 92
- 239000000872 buffer Substances 0.000 claims abstract description 117
- 238000012545 processing Methods 0.000 claims abstract description 62
- 238000006073 displacement reaction Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims description 52
- 230000000977 initiatory effect Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000007613 environmental effect Effects 0.000 claims description 7
- 238000004148 unit process Methods 0.000 claims description 4
- 230000008901 benefit Effects 0.000 claims description 2
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 abstract description 30
- 238000003860 storage Methods 0.000 description 29
- 238000013507 mapping Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 10
- 230000000712 assembly Effects 0.000 description 9
- 238000000429 assembly Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000001537 neural effect Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 5
- 210000005036 nerve Anatomy 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000013506 data mapping Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 210000005223 peripheral sensory neuron Anatomy 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/324—Power saving characterised by the action undertaken by lowering clock frequency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/325—Power saving in peripheral device
- G06F1/3275—Power saving in memory, e.g. RAM, cache
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/0207—Addressing or allocation; Relocation with multidimensional access, e.g. row/column, matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
- G06F12/023—Free address space management
- G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0862—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with prefetch
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/10—Address translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/16—Handling requests for interconnection or transfer for access to memory bus
- G06F13/1668—Details of memory controller
- G06F13/1673—Details of memory controller using buffers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/16—Handling requests for interconnection or transfer for access to memory bus
- G06F13/1668—Details of memory controller
- G06F13/1689—Synchronisation and timing concerns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
- G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/76—Architectures of general purpose stored program computers
- G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
- G06F15/8007—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors single instruction multiple data [SIMD] multiprocessors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30076—Arrangements for executing specific machine instructions to perform miscellaneous control operations, e.g. NOP
- G06F9/30087—Synchronisation or serialisation instructions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3854—Instruction completion, e.g. retiring, committing or graduating
- G06F9/3858—Result writeback, i.e. updating the architectural state or memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
- G06F9/3887—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by a single instruction for multiple data lanes [SIMD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5033—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering data affinity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0495—Quantised networks; Sparse networks; Compressed networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3066—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction by means of a mask or a bit-map
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
- H03M7/3088—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method employing the use of a dictionary, e.g. LZ78
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6005—Decoder aspects
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6011—Encoder aspects
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6058—Saving memory space in the encoder or decoder
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/70—Type of the data to be coded, other than image and sound
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/02—Topology update or discovery
- H04L45/04—Interdomain routing, e.g. hierarchical routing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/48—Indexing scheme relating to G06F9/48
- G06F2209/484—Precedence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/48—Indexing scheme relating to G06F9/48
- G06F2209/485—Resource constraint
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/10—Providing a specific technical effect
- G06F2212/1016—Performance improvement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/60—Details of cache memory
- G06F2212/6026—Prefetching based on access pattern detection, e.g. stride based prefetch
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/65—Details of virtual memory and virtual address translation
- G06F2212/657—Virtual address space management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/466—Transaction processing
- G06F9/467—Transactional memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/46—Conversion to or from run-length codes, i.e. by representing the number of consecutive digits, or groups of digits, of the same kind by a code word and a digit indicative of that kind
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/50—Routing or path finding of packets in data switching networks using label swapping, e.g. multi-protocol label switch [MPLS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Neurology (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Advance Control (AREA)
- Memory System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
- Power Sources (AREA)
- Bus Control (AREA)
- Complex Calculations (AREA)
- Multi Processors (AREA)
- Image Input (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
神经网络(NN)的性能可能会受到所执行的操作的数目的限制。使用涉及将存储器块移位所选择的移位步幅以用于协作神经元的线缓冲器,可以像在单个线缓冲器写入周期中那样处理可操作地驻留在存储器中并且需要向协作线缓冲器中的多个写入周期的数据,从而增强了NN/DNN的性能。控制器和/或迭代器可以生成具有用于与线缓冲器通信的存储器块移位值的一个或多个指令。移位值可以使用输入数据的各种特性以及包括数据维度在内的NN/DNN来计算。线缓冲器可以读取数据以进行处理,移位存储器块的数据,并且将数据写入线缓冲器中以进行后续处理。
Description
背景技术
在人工神经网络(NN)中,神经元是用于对大脑中的生物神经元建模的基本单位。人工神经元的模型包括输入向量与权重向量的内积再加上应用了非线性的偏差。对于深度神经网络(DNN)(例如,如由示例性DNN模块表示的),可以将神经元紧密地映射到人工神经元。可操作地,当DNN的神经元连续处理数据并且避免出现神经元或一组神经元在处理周期内不处理数据的情况时,DNN便会发挥其最佳性能。
在处理跨NN或DNN的数据时,需要执行示例性处理操作的控制器对大量数据进行迭代以便应用特定操作。这样的要求可能会影响整个NN或DNN性能,从而导致关键时延,从而损害期望的指定处理目标(例如,在示例性输入数据中标识对象和/或对象特性——图像、声音、地理坐标等)。通常,一些现有的NN和DNN在对NN/DNN的各种协作存储器组件(例如,线缓冲器)执行包括存储器读取和写入在内的各种操作时会花费可避免的处理时间(例如,每秒浮点/定点操作(GFlops/s))和存储器空间(例如,每秒传输的字节数(GBytes/s))。具体地,当前的实践并未标识输入/数据的关键特征和/或未向NN或DNN的协作组件提供有关如何最佳地管理/指示协作的NN或DNN存储器组件(包括线缓冲器在内)中的输入数据的读取/写入操作以避免这样的性能问题的指令。与NN或DNN中的低效率的数据处理相关联的性能影响的部分原因是NN或DNN的神经处理组件中间的数据的低效处理。这种低效的数据管理和处理需要附加的通常是可避免的计算/神经处理器操作,这进一步影响了整个NN/DNN的性能。
更有利的NN/DNN将部署指令集,该指令集指示NN/DNN的协作存储器组件、特别是线缓冲器以可操作地将存储器块移位每个连贯的神经元的移位步幅。可操作地,存储器块的移位可以允许在单个处理周期中从单个存储器块提取针对多个重叠/连贯的滑动窗口的数据。这样,存储器中的数据可以被视为用于处理的邻近的(contiguous)存储器块,从而提高NN/DNN的整体性能。
关于这些考虑和其他考虑,提出了本文中给出的公开内容。
发明内容
本文中描述的技术提供了要在示例性神经网络(NN)和/或深度神经网络(DNN)环境中使用的一个或多个硬件迭代器的虚拟化,其中协作的线缓冲器组件可操作地允许提高整体性能并且优化存储器管理的数据处理。在说明性实现中,示例性DNN环境可以包括一个或多个处理块(例如,计算机处理单元CPU)、存储器控制器、线缓冲器、高带宽结构(例如,本地或外部结构)(例如,在示例性DNN模块与DNN环境的协作组件之间传递数据和/或数据元素的数据总线)、操作控制器和DNN模块。在说明性实现中,示例性DNN模块可以包括示例性DNN状态控制器、描述符列表控制器(DLC)、dMA(DDMA)、DMA流激活(DSA)、操作控制器、加载控制器和存储库控制器。
在说明性操作中,NN/DNN环境的操作控制器可以可操作地处理大量数据,以便应用一个或多个期望数据处理操作(例如,卷积、最大池化、标量乘法/加法、求和、完全连接等)。在说明性操作中,参与的用户可以通过使用可操作地从协作操作控制器/迭代器接收执行各种操作(包括但不限于数据处理和存储器管理操作)的一个或多个指令的线缓冲器,来指定正被处理的数据的维度以及有关如何处理该数据以供NN/DNN计算环境使用的配置。
在说明性实现中,要由NN/DNN环境处理的数据可以表示为blob。通常,blob表示存储器中需要迭代的数据。每个blob可以维持由各种维度(诸如宽度、高度、通道数、内核数和其他可用维度单位)定义的逻辑映射形状。在说明性操作中,操作控制器可以遍历多维blob(例如,由逻辑数据映射定义)或这样的blob的较小N维切片,其中N是维数(例如,对于表示具有宽度、高度和通道数的图像的3D blob,N=3)(例如,使用一个或多个硬件或虚拟迭代器)。遍历的blob可以利用一个或多个指令被传送到协作线缓冲器以管理线缓冲器中遍历数据的读取/写入。数据的blob可以由NN/DNN的各种组件来处理,包括能够处理输入数据的迭代器和能够处理输出数据的迭代器,这些数据可以说明性地从NN/DNN的一个或多个协作处理单元被输出。
示意性地,线缓冲器可以可操作地将存储器块的数据移位一个或多个协作处理单元(诸如神经元)的移位步幅。可以将线缓冲器构造为将数据存储在预定义数目的行(row)/线(line)(例如,64行、线)中,该行/线可以接收行/线中的所选择的数目的数据(例如,可以为线缓冲器的每行接收32字节的数据)。线缓冲器可以操作以按照所计算的移位步幅来移位存储器块数据,该移位步幅说明性地可以基于输入数据的特性(例如,移位步幅、连续性、高度、宽度、内核等)(例如,如果步幅的值为0,则线缓冲器的线可以具有相同的数据,而如果步幅的值为1,则数据可以被移位1以允许线缓冲器内的更有效的读取/写入操作)。可操作地,线缓冲器可以从可操作地驻留在存储器中的协作存储器块读取附加数据,以允许从协作存储器进行单次读取,从而使得存储器块的数据已经在邻近的存储器块中。
说明性地,写入线缓冲器的数据可以由一个或多个协作处理单元(诸如一个或多个神经元)可操作地处理以生成输出数据。输出数据还可以包括一个或多个数据元素,该数据元素代表在将所生成的输出数据写入协作存储器组件时可以被丢弃的、在示例性移位步幅操作期间被插入的数据元素。
应当理解,尽管关于系统进行了描述,但是上述主题内容也可以被实现为计算机控制的装置、计算机过程、计算系统或诸如计算机可读介质和/或专用芯片组等制品。通过阅读以下详细说明并且审查相关联的附图,这些和各种其他特征将变得很清楚。提供本“发明内容”以便以简化的形式介绍一些概念,这些概念将在下面的“具体实施方式”中进一步描述。
本“发明内容”既不旨在标识所要求保护的主题内容的关键特征或必要特征,也不旨在用于限制所要求保护的主题内容的范围。此外,所要求保护的主题内容不限于解决在本公开的任何部分中指出的任何或所有缺点的实现。
附图说明
参考附图描述“具体实施方式”。在附图中,附图标记的(多个)最左边的数字标识该附图标记首次出现的附图。不同附图中的相同附图标记表示相似或相同的项目。对多个项目中的单独项目的引用可以使用带有字母序列中的字母的附图标记来引用每个单独项目。对项目的通用引用可以使用不带字母序列的特定附图标记。
图1图示了根据本文中描述的系统和方法的示例性神经网络计算环境的框图。
图2图示了利用有向线缓冲器的示例性神经网络环境的框图。
图3图示了根据本文中描述的系统和方法的在说明性逻辑数据映射中表示的示例性输入数据的框图。
图4图示了在说明性逻辑数据映射中表示的示例性输入数据的框图,其示出了使用可操作以跨越说明性逻辑数据映射的一条或多条线的说明性的n个滑动窗口。
图5图示了根据本文中描述的系统和方法的在说明性逻辑数据映射中表示的示例性输入数据的框图,其示出了使用可操作以跨越说明性逻辑数据映射的一条或多条线的说明性的n个滑动窗口,这些说明性逻辑数据映射可操作以允许数据填充作为处理增强。
图6图示了根据本文中描述的系统和方法的在说明性逻辑数据映射中表示的示例性输入数据的框图,其示出了使用移位步幅以允许在有向线缓冲器内进行邻近的存储器读取/写入操作。
图6A图示了在说明性逻辑数据映射中表示的示例性输出数据的框图,其示出了在示例性输出写入操作期间所插入的移位步幅数据位的丢弃。
图7是根据本文中描述的系统和方法的用于使用有向线缓冲器的示例性神经网络环境中的数据处理的示例性过程的流程图。
图8示出了针对能够执行本文中描述的方法的计算机的说明性计算机架构的附加细节。
图9示出了根据本文中描述的系统和方法进行协作的说明性计算设备的附加细节。
具体实施方式
以下“具体实施方式”描述了要在示例性神经网络(NN)和/或深度神经网络(DNN)环境中使用的一个或多个硬件迭代器的虚拟化技术,其中协作的线缓冲器组件可操作地允许提高整体性能并且优化存储器管理的数据处理。在说明性实现中,示例性DNN环境可以包括一个或多个处理块(例如,计算机处理单元CPU)、存储器控制器、线缓冲器、高带宽结构(例如,本地或外部结构)(例如,在示例性DNN模块与DNN环境的协作组件之间传递数据和/或数据元素的数据总线)、操作控制器和DNN模块。在说明性实现中,示例性DNN模块可以包括示例性DNN状态控制器、描述符列表控制器(DLC)、dMA(DDMA)、DMA流激活(DSA)、操作控制器、加载控制器和存储库控制器。
应当理解,所描述的主题内容可以被实现为计算机控制的装置、计算机过程、计算系统或诸如计算机可读存储介质等制品。除了很多其他益处之外,本文中的技术提高了关于各种计算资源的效率。例如,确定移位步幅可以减少执行诸如面部识别、对象识别、图像生成等很多复杂任务所需要的计算周期数目。
另外,通过引入这种任务的更准确和更快的完成,可以实现改进的人际交互。另外,使用移位步幅可以减少网络业务,减少功耗和存储器使用。也可以从本文中公开的技术的实现中实现除了本文中提及的那些以外的其他技术效果。
在说明性操作中,NN/DNN环境的操作控制器可以可操作地处理大量数据以便应用一个或多个期望数据处理操作(例如,卷积、最大池化、标量乘法/加法、求和、完全连接等)。在说明性操作中,参与的用户可以通过使用可操作地从协作操作控制器/迭代器接收执行各种操作(包括但不限于数据处理和存储器管理操作)的一个或多个指令的线缓冲器,来指定正被处理的数据的维度以及有关如何处理该数据以供NN/DNN计算环境使用的配置。
在说明性实现中,要由NN/DNN环境处理的数据可以表示为blob。通常,blob表示存储器中需要迭代的数据。每个blob可以维持由各种维度(诸如宽度、高度、通道数、内核数和其他可用维度单位)定义的逻辑映射形状。在说明性操作中,操作控制器可以遍历多维blob(例如,由逻辑数据映射定义)或这样的blob的较小N维切片,其中N是维数(例如,对于表示具有宽度、高度和通道数的图像的3D blob,N=3)(例如,使用一个或多个硬件或虚拟迭代器)。遍历的blob可以利用一个或多个指令被传送到协作线缓冲器以管理线缓冲器中遍历数据的读取/写入。数据的blob可以由NN/DNN的各种组件来处理,包括能够处理输入数据的迭代器和能够处理输出数据的迭代器,这些数据可以说明性地从NN/DNN的一个或多个协作处理单元被输出。
示意性地,线缓冲器可以可操作地将存储器块的数据移位可以被视为可以在任何位置写入线缓冲器中的存储器块中的一个或多个值的移位的移位步幅。可以将线缓冲器构造为将数据存储在预定义数目的行/线(例如,64行、线)中,该行/线可以接收行/线中的所选择的数目的数据(例如,可以为线缓冲器的每行接收32字节的数据)。线缓冲器可以操作以按照移位步幅来移位存储器块数据,该移位步幅说明性地可以基于输入数据的特性(例如,移位步幅、连续性、高度、宽度、内核等)(例如,如果步幅的值为0,则线缓冲器的线可以具有相同的数据,而如果步幅的值为1,则数据可以被移位1以允许线缓冲器内的更有效的读取/写入操作)。可操作地,线缓冲器可以从可操作地驻留在存储器中的协作存储器块读取附加数据,以允许从协作存储器进行单次读取,从而使得存储器块的数据已经在邻近的存储器块中。
说明性地,写入线缓冲器的数据可以由一个或多个协作处理单元(诸如一个或多个神经元)可操作地处理以生成输出数据。输出数据还可以包括一个或多个数据元素,该数据元素代表在将所生成的输出数据写入协作存储器组件时可以被丢弃的、在示例性移位步幅操作期间被插入的数据元素。
神经网络背景:
在人工神经网络中,神经元是用于对大脑中的生物神经元建模的基本单位。人工神经元的模型可以包括输入向量与权重向量的内积再加上应用了非线性的偏差。比较而言,在示例性DNN模块中,神经元(例如,图1的105)被紧密映射到人工神经元。
说明性地,可以将DNN模块视为超标量处理器。可操作地,它可以将一个或多个指令调度到称为神经元的多个执行单元。执行单元可以是“同时调度同时完成”,其中每个执行单元与所有其他执行单元同步。DNN模块可以被分类为SIMD(单指令流、多数据流)架构。
转向图1的示例性DNN环境100,DNN模块105具有带有唯一的L1和L2高速缓存结构的存储器子系统。这些不是传统的高速缓存,而是专门为神经处理而设计的。为了方便起见,这些高速缓存结构采用了反映其预期目的的名称。通过示例,L2高速缓存150可以说明性地以在所选择的频率(例如,每秒十六吉比特(16GBps))下操作的高速专用接口来维持所选择的存储容量(例如,一兆字节(1MB))。L1高速缓存可以维持所选择的存储容量(例如,可以在内核数据与激活数据之间分配的八千字节(8KB))。L1高速缓存可以称为线缓冲器,而L2高速缓存可以称为BaSRAM。
DNN模块可以是仅召回的神经网络,并且以编程方式支持多种网络结构。可以在服务器场或数据中心中离线执行网络训练。训练的结果是可以称为权重或内核的一组参数。这些参数表示可以应用于输入的变换函数,其结果是分类或语义标记的输出。
在说明性操作中,DNN模块可以接受平面数据作为输入。输入不仅限于图像数据,只要所呈现的数据是统一的平面格式,DNN就可以对其进行操作。
DNN模块对与神经网络的层相对应的层描述符列表进行操作。说明性地,DNN模块可以将层描述符列表视为指令。这些描述符可以从存储器中被预取到DNN模块中,并且按顺序执行。
通常,可以有两种主要类的层描述符:1)存储器到存储器移动描述符,以及2)操作描述符。存储器到存储器移动描述符可以用于将数据从主存储器移至本地高速缓存/从本地高速缓存移至主存储器以供操作描述符使用。存储器到存储器移动描述符所遵循的执行流水线与操作描述符不同。存储器到存储器移动描述符的目标流水线可以是内部DMA引擎,而操作描述符的目标流水线可以是神经元处理元件。操作描述符能够执行很多不同的层操作。
DNN的输出也是数据的blob。可以可选地将输出流式传输到本地高速缓存或流式传输到主存储器。DNN模块可以在软件允许的范围内尽早提取数据。软件可以通过使用描述符之间的隔离和设置依赖关系来控制预取。在满足依赖关系之前,将阻止具有依赖关系集的描述符前进。
现在转向图1,示例性神经网络环境100可以包括各种协作组件,包括DNN模块105、高速缓冲存储器125或150、低带宽结构110、桥接器组件115、高带宽结构120、SOC 130、PCIE“端点”135、泰思立达(Tensilica)节点140、存储器控制器145、LPDDR4存储器155和输入数据源102。此外,如图所示,DNN模块105还可以包括多个组件,包括预取105(A)、DMA 105(B)、寄存器接口105(D)、加载/存储单元105(C)、层控制器105(D)、保存/恢复组件105(E)和神经元105(F)。可操作地,示例性DNN环境100可以根据所选择的规范来处理数据,其中DNN模块执行本文中描述的一个或多个功能。
图2图示了可操作以采用有向线缓冲器220作为数据处理的一部分的示例性神经网络环境200。如图所示,示例性神经网络环境200(本文中也称为计算设备或计算设备环境)包括与线缓冲器220协作以提供用于数据处理的一个或多个指令的一个或多个操作控制器235。线缓冲器220可以操作以通过外部结构230和结构215从协作的外部存储器组件225接收数据,以及操作以从(多个)迭代器240(例如,基于硬件和/或虚拟化的迭代器)接收一个或多个指令/命令(例如,从协作存储器组件读取数据的指令/命令和/或将从协作存储器组件加载的数据写入线缓冲器的指令)。可操作地,线缓冲器220可以根据从一个或多个操作控制器235(本文中也称为“协作控制器组件235”)接收的一个或多个指令根据所选择的步幅宽度来移位数据。此外,线缓冲器220可以与(多个)处理单元(例如,(多个)神经元)协作以提供写入的比特移位数据以直接或间接地通过结构215进行进一步处理。神经网络环境结构可以是能够通过各种数据的数据总线。有向线缓冲器可以被认为是一种能够根据所接收的一个或多个指令来读取和写入数据和/或数据元素的存储器组件。
在说明性操作中,示例性神经网络环境200可以根据图7所述的过程可操作地处理数据。特定于图2所述的组件,这些组件仅是说明性的,本领域的普通技术人员将理解图6和图7所述的处理也可以由除了图2所示的组件之外的其他组件执行。
另外,如图2所示,示例性神经网络环境可以可选地包括可以说明性地操作以迭代输入数据(未示出)以用于由一个或多个神经元处理器205处理的一个或多个迭代器(例如,基于硬件和/或虚拟化的迭代器)(如虚线所示)。本领域技术人员应当理解,示例性的一个或多个迭代器的这种可选包括仅是说明性的,因为本文中公开的系统和方法所描述的发明概念在示例性神经网络环境200中可操作,其在无需任何迭代器的情况下操作。
图3图示了用于示例性输入数据的说明性逻辑数据映射300。如图所示,数据305可以表示为具有一定维度340的数据(例如,使得整体上考虑的数据维度可以定义数据卷),包括通道计数310、高度315和宽度320。在本文中描述的系统和方法,可以分配和准备数据305用于由协作的n个神经元330来处理,使得可以将第一部分a传送到第一神经元,将第二部分b传送到第二神经元,依此类推,直到n个部分被传送到n个神经元。
在说明性操作中,数据305的各部分可以基于由示例性神经网络环境(例如,图2的200)的协作控制器组件提供的一个或多个指令使用n个滑动窗口/内核325来确定。此外,如图所示,输入数据部分a、b、c和d可以使用由示例性神经网络环境(例如,图2的200)的协作操作控制器组件(235)提供的一个或多个初始化参数寻址到物理存储器325。
图4示出了示例性输入数据(未示出)的示例性逻辑数据图400。示例性逻辑数据图400包括第一线410(用对角线标记示出)和第二线420(以虚线示出)。每个地图线可以包括多个滑动窗口(例如,用于第一线410的430、440和450、以及用于第二线420的460、470和480)。另外,如图所示,逻辑数据图400示出了滑动窗口跨越输入数据的数据维度边界(例如,跨越第一线410和第二线420)的能力。这种能力允许提高性能,因为可以通过协作的神经网络处理组件(例如,图2的205)更有效地准备更多数据用于后续处理。
图5类似于图4,并且被呈现以描述本文中描述的系统和方法允许使用填充来进一步增强示例性神经网络环境(例如,图1的100和图2的200)的性能特性的能力。如图所示,逻辑数据图500(未示出的示例性输入数据的)可以包括跨越一个或多个线(例如,510和520)的各种滑动窗口(530、540、550、560、570和580)。另外,逻辑数据图500还可以包括填充580。
在说明性操作中,在示例性神经网络环境(图1的100或图2的200)的运行时,可以动态添加填充580。图2的操作控制器235可以指定要在输入数据(例如,blob)的图3所示的每个维度340上使用的填充量(例如,使得维度的总和可以被视为数据卷),并且神经网络环境(例如,迭代器控制器指令)可以可操作地构造数据卷,就好像填充在物理上存在于存储器中。还可以通过示例神经网络环境(例如,迭代器控制器指令)在添加了填充的迭代器输出位置生成默认值。
图6是示例性线缓冲器数据600的框图。如图6所示,示例性线缓冲器输入数据600可以包括线缓冲器数据600的边界逻辑映射605。逻辑映射可以包括高度和宽度以及数据元素(605(1)、605(2)、605(3)、605(4)、605(5)、605(6)、605(7)、605(8)、605(9)、605(10)、605(11)、605(12)、605(13)、605(14)、605(15)、605(16)、605(17)、605(18)、605(19)、605(20)、605(21)、605(22)、605(23)、605(24)、605(25)、605(26)
等)。示例性数据元素可以存储在逻辑映射中的行610、615和620中,并且可以使用n个滑动窗口进行迭代。线缓冲器数据600也可以表示为具有连续数据块的解散逻辑映射625,该邻近的数据块具有单独的数据段630和635。单独的数据段可以表示跨线缓冲器输入数据的一个或多个行(row)/行(line)存储的数据量。另外,如图6所示,解散的数据段630和635中的每个可以包括线缓冲器输入数据块跨越输入数据的两行一个或多个位置640。可操作地,示例性线缓冲器可以根据所选择的步幅宽度来移位存储器块数据以写入不邻近的存储器块作为邻近的存储器块。在说明性实现中,线缓冲器数据600可以包括从协作数据存储器和/或协作迭代器组件中取回的数据。
作为示例,在加载用于处理卷积层的数据时,示例性线缓冲器可以接收一个存储器块(例如,32字节数据),并且通过将块移动每个连续神经元的移位步幅,可以在单个周期中将该数据块的一部分分配给多个神经元。这样,可以在单个周期中从单个块中提取多个重叠/连续滑动窗口的数据。当滑动窗口从一条线到另一条线跨跃输入时,并且在内核宽度大于1的情况下,从上一行的最后窗口到下一行的第一窗口的数据中将存在不连续点。因此,即使这些窗口的数据位于说明性本地存储器中的相同存储器块中,也可能需要线缓冲器执行两次写入以解决这种不连续性。
此外,如图6所示,示例性线数据600可以物理地存储在说明性存储器块中。如图所示,根据两个示例性存储器块写入场景655和650,说明性地示出示例性存储器块。说明性的第一数据写入场景655中的示例性行缓冲存储器数据670A可以包括表示来自多个存储位置(例如,655(1)、650(2)、655(3)、655(4)、655(5)、655(6)、655(7)、655(8)和655(9))的数据655A的第一周期写入的数据。类似地,说明性的第二数据写入场景655中的示例性行缓冲存储器数据670A可以包括表示来自多个存储位置(例如,650(10)、650(11)、650(12)、650(13)、650(14)、650(15)、650(16))的数据650A的第二周期写入的数据。
另外,如图6所示,根据示例性线缓冲器移位步幅操作660,示例性线缓冲器数据可以从存储在存储器块680中的数据写入单周期写入操作。如图所示,存储器块680可以包括多个存储位置(例如,680(1)、680(2)、680(3)、680(4)、680(5)、680(6)、680(7)、680(8)、680(9)、680(10)、680(11)、680(12)、680(13)、680(14)、680(16)等)。在说明性实现中,如图6所示,可以根据线缓冲器移位步幅操作660来存储线缓冲器675的示例性线缓冲器数据675A。在移位步幅移位操作660中,应用计算出的移位步幅来移位存储器块680数据的数据以写入线缓冲器数据675A。可以将附加移位步幅位645作为线缓冲器675的一部分写入线缓冲器675,从而允许对存储器块680数据进行单周期处理680A,而不是像存储器块写入场景650和655的存储器块写入那样的两个周期。
说明性地,根据存储器块680的单周期处理680A操作,与双周期处理655A和650A相比,如图6所示的单写入操作可以在线缓冲器中产生额外的行。可操作地,如图6A中说明性地描述的,NN可以处理线缓冲器中的额外数据行,作为诸如卷积等NN数据处理操作的一部分,以产生输出数据,然后可以在由诸如神经元等一个或多个协作处理单元生成的输出数据的运行时保存操作期间将其丢弃。
应当理解,尽管图6的示例性存储器块数据被示出为应用值为1的移位步幅以允许将存储器视为具有邻近的存储器块,但是该移位步幅仅是描述性的,并且可以具有实现示例性神经网络环境预期的各种数据处理操作的存储结果所需要的任何值。。
图6A示出了具有根据两个输出数据生成场景I和II表示的输出数据的说明性输出数据环境680的示例性逻辑数据映射。如图6A所示,很多神经元682可以处理数据元素(未示出)以生成相应的输出数据,诸如684(M)、686(M)、688(M)、690(M)和692(M),以存储在诸如示例性线缓冲器等协作存储器组件682(M)中。根据示例性输出数据生成场景I,神经元684、686、688和690可以可操作地处理数据元素(未示出)以生成相应的输出数据684(M)、686(M)、688(M)和690(6M)。根据示例性输出数据生成场景II,神经元684、686、688、690和692可以可操作地处理数据元素(未示出)以生成相应的输出数据684(M)、686(M)、688(M)、690(M)和692(M)。如根据示例性辅助输出生成场景II所示,可以在由示例性逻辑数据映射的阴影/条纹区域指示的输出数据写入操作期间,可操作地丢弃可以由示例性神经元692生成的示例性输出数据元素692(M)。
在说明性实现中,示例性输出数据生成场景II可以表示部署诸如图6所述的移位步幅操作的示例性神经网络环境的数据处理,使得由移位步幅操作表示的附加数据元素由示例性神经元682处理以生成多余的输出数据,该多余的输出数据可以在将输出数据示例性存储在协作存储器组件中期间被丢弃。
图7是利用有向线缓冲器来最小化NN/DNN环境中的存储器读取的说明性过程700的流程图。如图所示,处理开始于框705,在框705,从神经网络计算环境的协作组件(例如,操作控制器)接收一个或多个初始化参数,其中一个或多个初始化参数可以包括表示输入数据的维度的数据以及表示输入数据的行之间的所计算的数据块不连续性的数据。然后,处理进行到框710,在框710,计算可以用于对所取回的数据进行移位的移位步幅。说明性地,移位步幅可以使用一个或多个初始化参数生成一个或多个有向线缓冲器写入指令(LBWI)来计算。
处理然后进行到框715,在框715,可以从神经网络环境的协作存储器存储库和/或协作迭代器组件中取回数据。然后,在框720,将数据写入与一个或多个处理单元相关联的线缓冲器的一个或多个行中。可以根据所生成的有向线缓冲器写入指令(LBWI)来写入数据。LBWI可以包括根据框705的所接收的导致对线缓冲器中的输入数据进行单周期处理的初始化参数来将数据写入到以移位步幅移位的线缓冲器中的一个或多个指令。
然后,处理进行到框725,在框725,将数据传送到一个或多个协作处理单元(例如,神经元)以进行后续数据处理。然后,经处理的数据可以用作神经网络环境和/或协作计算环境的一个或多个协作组件的输入。可以显示这样的输出以供参与的用户交互。另外,在框725,当从一个或多个协作处理单元向神经网络环境的其他协作组件进行写入时,可以丢弃写入线缓冲器中并且由一个或多个协作处理单元处理的附加的移位步幅块。
然后在框735执行检查以确定是否存在要处理的其他输入数据(即,作为迭代操作的一部分)。如果没有附加输入数据,则处理在框740处终止。但是,如果附加输入数据需要迭代操作,则处理然后返回框705并且从那里继续进行。
图8所示的计算机架构800包括中央处理单元802(“CPU”)、系统存储器804(包括随机存取存储器806(“RAM”)和只读存储器(“ROM”)808)、以及将存储器804耦合到CPU 802的系统总线810。包含用于帮助诸如在启动过程中在计算架构800内的各个元件之间传输信息的基本例程的基本输入/输出系统存储在ROM 808中。计算架构800还包括用于存储操作系统814、其他数据和一个或多个应用程序的大容量存储设备812。
大容量存储设备812通过连接到总线810的大容量存储控制器(未示出)连接到CPU802。大容量存储设备812及其关联的计算机可读介质为计算架构800提供非易失性存储。尽管本文中包含的计算机可读介质的描述是指大容量存储设备,诸如固态驱动器、硬盘或CD-ROM驱动器,但是本领域技术人员应当理解,计算机可读介质介质可以是计算架构800可以访问的任何可用的计算机存储介质或通信介质。
通信介质包括诸如载波或其他传输机制等调制数据信号中的计算机可读指令、数据结构、程序模块或其他数据,并且包括任何传递介质。术语“调制数据信号”是指具有以能够将信息编码在信号中的方式来改变或设置其一个或多个特性的信号。作为示例而非限制,通信介质包括诸如有线网络或直接有线连接等有线介质、以及诸如声学、RF、红外和其他无线介质等无线介质。以上任何内容的组合也应当被包括在计算机可读介质的范围内。
通过示例而非限制,计算机存储介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。例如,计算机介质包括但不限于RAM、ROM、EPROM、EEPROM、闪存或其他固态存储技术、CD-ROM、数字多功能磁盘(“DVD”)、HD-DVD、BLU-RAY或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁性存储设备、或者可以用于存储期望信息并且可以由计算机架构800访问的任何其他介质。出于权利要求的目的,短语“计算机存储介质”、“计算机可读存储介质”及其变体不包括波、信号和/或其他瞬态和/或无形通信介质本身。
根据各种技术,计算机架构800可以使用通过网络820和/或另一网络(未示出)到远程计算机805的逻辑连接来在联网环境中操作。计算机架构800可以通过连接到总线810的网络接口单元816连接到网络820。应当理解,网络接口单元816也可以用于连接到其他类型的网络和远程计算机系统。计算机架构800还可以包括用于接收和处理来自多个其他设备(包括键盘、物理传感器825、鼠标、或电子触笔(图8中未示出))的输入的输入/输出控制器818。类似地,输入/输出控制器818可以向显示屏、打印机或其他类型的输出设备(在图8中也未示出)提供输出。还应当理解,经由通过网络接口单元816到网络820的连接,计算架构可以使得DNN模块105能够与计算环境100通信。
应当理解,本文中描述的软件组件可以在被加载到CPU 802和/或DNN模块105中并且被执行时,将CPU 802和/或DNN模块105和整个计算机800从通用计算系统变换为被定制为促进本文中呈现的功能性的专用计算系统。CPU 802和/或DNN模块105可以由可以单独或共同地呈现任何数目的状态的任何数目的晶体管或其他分立电路元件和/或芯片组构成。更具体地,响应于本文中公开的软件模块内所包含的可执行指令,CPU 802和/或DNN模块105可以作为有限状态机操作。这些计算机可执行指令可以通过指定CPU 802如何在状态之间转变来对CPU 802进行变换,从而对构成CPU 802的晶体管或其他分立硬件元件进行变换。
对本文中呈现的软件模块进行编码还可以变换本文中提出的计算机可读介质的物理结构。在本说明书的不同实现中,物理结构的特定变换可以取决于各种因素。这样的因素的示例可以包括但不限于用于实现计算机可读介质的技术、计算机可读介质被表征为主存储装置还是辅助存储装置等。例如,如果计算机可读介质被实现为基于半导体的存储器,则可以通过变换半导体存储器的物理状态来将本文中公开的软件编码在计算机可读介质上。例如,该软件可以变换构成半导体存储器的晶体管、电容器或其他分立电路元件的状态。该软件还可以变换这些组件的物理状态,以便在其上存储数据。
作为另一示例,本文中公开的计算机可读介质可以使用磁性或光学技术来实现。在这样的实现中,当软件被编码在其中时,本文中提出的软件可以变换磁性或光学介质的物理状态。这些变换可以包括更改给定磁性介质内的特定位置的磁性特性。这些变换还可以包括更改给定光学介质内的特定位置的物理特征或特性,以改变这些位置的光学特性。在不背离本说明书的范围和精神的情况下,物理介质的其他变换是可能的,提供前述示例仅是为了促进该讨论。
鉴于以上内容,应当理解,在计算机架构800中发生了很多类型的物理变换,以便存储和执行本文中呈现的软件组件。还应当理解,计算机架构800可以包括其他类型的计算设备,包括手持式计算机、嵌入式计算机系统、个人数字助理和本领域技术人员已知的其他类型的计算设备。还可以设想,计算机架构800可以不包括图8所示的所有组件,可以包括图8中未明确示出的其他组件,或者可以使用与图8所示的架构完全不同的架构。
如上所述的计算系统800可以被部署为计算机网络的一部分。通常,对计算环境的上述描述适用于部署在网络环境中的服务器计算机和客户端计算机两者。
图9图示了其中可以采用本文中描述的装置和方法的示例性说明性联网计算环境900,其中服务器经由通信网络与客户端计算机通信。如图9所示,(多个)服务器905可以经由通信网络820(其可以是固定有线或无线LAN、WAN、内联网、外联网、对等网络、虚拟专用网络、因特网、蓝牙通信网络、专有低电压通信网络或其他通信网络中的一个或者组合)与多个客户端计算环境(诸如平板个人计算机910、移动电话915、电话920、(多个)个人计算机801、个人数字助理925、智能电话手表/个人目标跟踪器(例如,Apple手表、Samsung、FitBit等)930和智能电话935)互连。在通信网络820是因特网的网络环境中,例如,(多个)服务器905可以是专用计算环境服务器,该服务器可操作以经由多种已知协议中的任何一种来处理数据并且向和从客户端计算环境801、910、915、920、925、930和935传送数据,已知协议诸如超文本传输协议(HTTP)、文件传输协议(FTP)、简单对象访问协议(SOAP)或无线应用协议(WAP)。另外,网络计算环境900可以利用各种数据安全协议,诸如安全套接字层(SSL)或良好隐私(PGP)。每个客户端计算环境801、910、915、920、925、930和935可以配备有操作系统814,该操作系统814可操作以支持一个或多个计算应用或终端会话,诸如web浏览器(未示出)或其他图形用户界面(图中未示出)或移动桌面环境(未示出),以获取对(多个)服务器计算环境905的访问。
(多个)服务器905可以被通信地耦合到其他计算环境(未示出),并且接收有关参与用户的交互/资源网络的数据。在说明性操作中,用户(未示出)可以与在(多个)客户端计算环境上运行的计算应用交互,以获取期望数据和/或计算应用。数据和/或计算应用可以被存储在(多个)服务器计算环境905上,并且在示例性通信网络820上通过客户端计算环境801、910、915、920、925、930和935被传送到协作用户。参与用户(未示出)可以请求访问全部或部分容纳在(多个)服务器计算环境905上的特定数据和应用。这些数据可以在客户端计算环境801、910、915、920、925、930、935与(多个)服务器计算环境905之间被传送以用于处理和存储。(多个)服务器计算环境905可以托管用于数据和应用的生成、认证、加密和通信的计算应用、过程和小程序,并且可以与其他服务器计算环境(未示出)、第三方服务供应者(未示出)、网络附加存储装置(“NAS”)和存储区域网络(“SAN”)协作,以实现应用/数据交易。
示例条款
可以鉴于以下条款考虑本文中提出的公开内容。
示例条款A,一种用于增强的数据处理的系统,该系统包括:至少一个处理器、可操作以执行以读取和/或写入数据的至少一个线缓冲器、以及与至少一个处理器通信的至少一个存储器,至少一个存储器上存储有计算机可读指令,计算机可读指令在由至少一个处理器执行时使至少一个处理器:从神经网络环境的协作控制器组件接收一个或多个初始化参数,初始化参数包括代表要由神经网络环境处理的数据的维度的数据和代表数据的一个或多个行之间的一个或多个数据元素的一个或多个不连续性的数据,从神经网络环境的协作存储器组件加载数据,根据初始化参数来计算代表比特数的移位步幅,用以移位数据的一个或多个数据元素,从神经网络环境的协作控制器组件接收一个或多个指令,以将数据元素移位到经加载的数据中,以生成用于写入至少一个线缓冲器中的移位步幅移位的数据,以及将至少一个线缓冲器中的被写入的数据传送到神经网络环境的一个或多个处理组件以用于处理。
示例条款B,示例条款A的系统,其中移位步幅的应用导致至少一个线缓冲器中的线缓冲器数据的单周期处理。
示例条款C,示例条款A和B的系统,其中计算机可读指令还使至少一个处理器将由协作迭代器遍历的数据传送到线缓冲器。
示例条款D,示例条款A至C的系统,其中计算机可读指令还使至少一个处理器利用一个或多个滑动窗口来遍历数据,窗口可操作以选择数据卷的一个或多个数据元素作为被传送到一个或多个处理组件的一个或多个部分。
示例条款E,示例条款A至D的系统,其中计算机可读指令还使至少一个处理器使用跨越经加载的数据的数据维度边界的一个或多个滑动窗口来遍历经加载的数据。
示例条款F,示例条款A至E中的系统,其中计算机可读指令还使至少一个处理器将一个或多个数据填充插入到经加载的数据中。
示例条款G,示例条款A至F的系统,其中计算机可读指令还使一个或多个附加比特被一个或多个处理单元处理,以生成用于写入至少一个存储器中的输出数据并且在执行输出数据写入时丢弃经处理的一个或多个附加比特。
示例条款H,一种计算机实现的方法,包括:从神经网络环境的协作控制器组件接收一个或多个初始化参数,初始化参数包括代表要由神经网络环境处理的数据的维度的数据和代表数据的一个或多个行之间的一个或多个数据元素的一个或多个不连续性的数据;从神经网络环境的协作存储器组件加载数据;由神经网络环境的协作迭代器组件根据所选择的迭代操作迭代经加载的数据;根据初始化参数计算代表比特数的移位步幅,用以插入数据的一个或多个数据元素;从神经网络环境的协作控制器组件接收一个或多个指令;根据一个或多个初始化参数,将移位步幅应用于经加载的数据中,以生成有向线缓冲器数据并且将有向线缓冲器数据写入线缓冲器中;以及将线缓冲器中的被写入的数据传送到神经网络环境的一个或多个处理组件以用于处理。
示例条款I,示例条款H的计算机实现的方法,其中经加载的数据的一个或多个部分是不相等的部分。
示例条款J,示例条款H和I的计算机实现的方法,其中滑动窗口可操作以跨越数据的数据维度边界。
示例条款K,示例条款H至J的计算机实现的方法,还包括:将填充子卷插入到经加载的数据中,经加载的数据由从协作控制器组件接收到的一个或多个指令以及所接收的一个或多个初始化参数来定义。
示例条款L,示例条款H至K的计算机实现的方法,还包括:由一个或多个处理单元处理线缓冲器中的被写入的数据,以生成输出数据。
示例条款M,示例条款H至L的计算机实现的方法,还包括:由输出迭代器组件处理输出数据,以丢弃由于所计算的移位步幅的应用而被处理的附加比特。
示例条款N,示例条款H至M的计算机实现的方法,还包括:清除被写入的有向线缓冲器数据的线缓冲器,以接收附加有向线缓冲器数据以用于写入线缓冲器中。
示例条款O,示例条款H至N的计算机实现的方法,还包括:将有向线缓冲器数据写入线缓冲器中的所选择的数目的线中,其中线缓冲器的每条线与神经网络环境的协作处理单元相关联。
示例条款P,一种其上存储有计算机可执行指令的计算机可读存储介质,计算机可执行指令在由计算设备的一个或多个处理器执行时使计算设备的一个或多个处理器:从神经网络环境的协作控制器组件接收一个或多个初始化参数,初始化参数包括代表要由神经网络环境处理的数据的维数的数据和代表数据的一个或多个行之间的一个或多个数据元素的一个或多个不连续性的数据;从神经网络环境的协作存储器组件加载数据;由神经网络环境的协作迭代器组件根据所选择的迭代操作迭代经加载的数据;根据初始化参数,计算代表用于移位数据的一个或多个数据元素的比特数的移位步幅;从神经网络环境的协作控制器组件接收一个或多个指令,以将一个或多个比特插入到经加载的数据中,以生成有向线缓冲器数据并且将有向线缓冲器数据写入线缓冲器的一条或多条线中,其中线缓冲器的一条或多条线与神经网络环境的一个或多个处理组件相关联;以及将线缓冲器的一条或多条线中的被写入的数据传送到与线缓冲器的一条或多条线相关联的神经网络环境的一个或多个处理组件以用于处理。
示例条款Q,示例条款P的计算机可读存储介质,其中指令还使计算设备的一个或多个处理器将附加数据卷插入经加载的数据。
示例条款R,示例条款P和Q的计算机可读存储介质,其中指令还引起计算设备的一个或多个处理器:由一个或多个处理单元处理被写入的数据以生成输出数据。
示例条款S,示例条款P至R的计算机可读存储介质,其中指令还使计算设备的一个或多个处理器:由输出迭代器丢弃输出数据的一个或多个比特,被丢弃的比特表示在应用移位步幅时插入的一个或多个比特。
示例条款T,示例条款P至S的计算机可读存储介质,其中指令还使计算设备的一个或多个处理器:利用经加载的数据的逻辑数据映射来遍历经加载的数据,经加载的数据的遍历包括将一个或多个滑动窗口应用于逻辑数据映射以将经加载的数据的部分与一个或多个物理存储器地址相关联。
示例条款U,示例条款P至T的计算机可读介质,其中存储器组件与物理传感器协作,物理传感器能够产生包括音频数据、视频数据、触觉感觉数据和其他数据在内的输入数据以用于随后由一个或多个协作处理单元处理。
示例条款V,示例条款P至U的计算机可读介质,其中协作处理单元与一个或多个输出物理组件电子地协作,一个或多个输出物理组件可操作以接收包括音频数据、视频数据、触觉数据和其他数据在内的经处理的输入数据以用于人类交互。
示例条款W,示例条款P至V的计算机可读介质,还包括:首先根据所计算的第一移位比特值来移位经加载的数据,并且然后根据另一移位比特值来移位经加载的数据。
结论
总之,尽管已经用特定于结构特征和/或方法动作的语言描述了各种技术,但是应当理解,所附表示中限定的主题内容不必限于所描述的特定特征或动作。而是,特定特征和动作被公开作为实现所要求保护的主题内容的示例形式。
Claims (15)
1.一种用于减少神经网络环境中的功耗的系统,所述系统包括:
至少一个处理器;
至少一个线缓冲器,所述至少一个线缓冲器可操作以执行读取和/或写入数据;以及
与所述至少一个处理器通信的至少一个存储器,所述至少一个存储器上存储有计算机可读指令,所述计算机可读指令在由所述至少一个处理器执行时使所述至少一个处理器:
从所述神经网络环境的协作控制器组件接收一个或多个初始化参数,所述初始化参数包括代表要由所述神经网络环境处理的所述数据的维度的数据和代表所述数据的一个或多个行之间的一个或多个数据元素的一个或多个不连续性的数据;
从所述神经网络环境的协作存储器组件加载数据;
根据所述初始化参数计算代表比特数的移位步幅,用以移位所述数据的所述一个或多个数据元素;
从所述神经网络环境的所述协作控制器组件接收一个或多个指令,以将所述数据元素移位到经加载的所述数据中,以生成用于写入所述至少一个线缓冲器中的已移位移位步幅的数据;以及
将所述至少一个线缓冲器中的被写入的所述数据传送到所述神经网络环境的一个或多个处理组件以用于处理。
2.根据权利要求1所述的系统,其中所述移位步幅的应用导致所述至少一个线缓冲器中的线缓冲器数据的单周期处理。
3.根据权利要求1所述的系统,其中所述计算机可读指令还使所述至少一个处理器将由协作迭代器遍历的数据传送到所述线缓冲器。
4.根据权利要求3所述的系统,其中所述计算机可读指令还使所述至少一个处理器利用一个或多个滑动窗口来遍历所述数据,所述窗口操作以选择数据卷的一个或多个数据元素作为被传送到所述一个或多个处理组件的一个或多个部分。
5.根据权利要求4所述的系统,其中所述计算机可读指令还使所述至少一个处理器使用跨越经加载的所述数据的数据维度边界的一个或多个滑动窗口来遍历经加载的所述数据。
6.根据权利要求1所述的系统,其中所述计算机可读指令还使所述至少一个处理器将一个或多个数据填充插入到经加载的所述数据中。
7.根据权利要求1所述的系统,其中所述计算机可读指令还使一个或多个附加比特被所述一个或多个处理单元处理,以生成用于写入所述至少一个存储器中的输出数据并且在执行输出数据写入时丢弃被处理的所述一个或多个附加比特。
8.一种用于减少神经网络环境中的功耗的计算机实现的方法,包括:
从所述神经网络环境的协作控制器组件接收一个或多个初始化参数,所述初始化参数包括代表要由所述神经网络环境处理的数据的维度的数据和代表所述数据的一个或多个行之间的一个或多个数据元素的一个或多个不连续性的数据;
从所述神经网络环境的协作存储器组件加载数据;
由所述神经网络环境的协作迭代器组件根据所选择的迭代操作迭代经加载的所述数据;
根据所述初始化参数计算代表比特数的移位步幅,用以插入所述数据的一个或多个数据元素;
根据所述一个或多个初始化参数,从所述神经网络环境的所述协作控制器组件接收一个或多个指令,并且将所述移位步幅应用于经加载的所述数据中,以生成有向线缓冲器数据并且将所述有向线缓冲器数据写入线缓冲器中;以及
将所述线缓冲器中的被写入的数据传送到所述神经网络环境的一个或多个处理组件以用于处理。
9.根据权利要求8所述的计算机实现的方法,其中经加载的所述数据的一个或多个部分是不相等的部分。
10.根据权利要求8所述的计算机实现的方法,其中滑动窗口操作以跨越所述数据的数据维度边界。
11.根据权利要求8所述的计算机实现的方法,还包括:
将填充子卷插入到经加载的所述数据中,经加载的所述数据由从所述协作控制器组件接收到的所述一个或多个指令以及所接收的所述一个或多个初始化参数来定义。
12.根据权利要求8所述的计算机实现的方法,还包括:
由所述一个或多个处理单元处理所述线缓冲器中的被写入的所述数据,以生成输出数据。
13.根据权利要求12所述的计算机实现的方法,还包括:
由输出迭代器组件处理所述输出数据,以丢弃由于一个或多个移位步幅比特的插入而被处理的附加比特。
14.根据权利要求8所述的计算机实现的方法,还包括:
清除被写入的所述有向线缓冲器数据的所述线缓冲器,以接收附加的有向线缓冲器数据以用于写入所述线缓冲器中。
15.根据权利要求8所述的计算机实现的方法,还包括:将所述有向线缓冲器数据写入所述线缓冲器中的所选择的数目的线中,其中所述线缓冲器的每条线与所述神经网络环境的协作处理单元相关联。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762486432P | 2017-04-17 | 2017-04-17 | |
US62/486,432 | 2017-04-17 | ||
US15/829,832 US10963403B2 (en) | 2017-04-17 | 2017-12-01 | Processing discontiguous memory as contiguous memory to improve performance of a neural network environment |
US15/829,832 | 2017-12-01 | ||
PCT/US2018/026357 WO2018194850A1 (en) | 2017-04-17 | 2018-04-06 | Processing discontiguous memory as contiguous memory to improve performance of a neural network environment |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110520856A true CN110520856A (zh) | 2019-11-29 |
CN110520856B CN110520856B (zh) | 2023-03-31 |
Family
ID=63790158
Family Applications (17)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880025503.0A Active CN110520853B (zh) | 2017-04-17 | 2018-04-06 | 直接存储器访问的队列管理 |
CN201880025227.8A Active CN110520870B (zh) | 2017-04-17 | 2018-04-06 | 用于具有动态向量长度和码本大小的高吞吐量向量去量化的灵活硬件 |
CN201880025417.XA Active CN110520846B (zh) | 2017-04-17 | 2018-04-06 | 对数据分区的动态排序 |
CN202310874704.0A Pending CN116909985A (zh) | 2017-04-17 | 2018-04-06 | 对数据分区的动态排序 |
CN201880024892.5A Active CN110506260B (zh) | 2017-04-17 | 2018-04-06 | 用于神经网络环境中的增强数据处理的方法、系统和介质 |
CN201880025244.1A Active CN110520856B (zh) | 2017-04-17 | 2018-04-06 | 处理不邻近存储器作为邻近存储器以提高神经网络的性能 |
CN201880025504.5A Active CN110520857B (zh) | 2017-04-17 | 2018-04-06 | 使用虚拟化数据迭代器对神经网络进行数据处理性能增强 |
CN202310865940.6A Pending CN116909984A (zh) | 2017-04-17 | 2018-04-06 | 使用虚拟化数据迭代器对神经网络进行数据处理性能增强 |
CN201880025415.0A Active CN110546628B (zh) | 2017-04-17 | 2018-04-06 | 用有向线缓冲器最小化存储器读取提高神经网络环境性能 |
CN201880025488.XA Active CN110537194B (zh) | 2017-04-17 | 2018-04-13 | 被配置用于层和操作防护和依赖性管理的功率高效的深度神经网络处理器及方法 |
CN201880025508.3A Active CN110582785B (zh) | 2017-04-17 | 2018-04-16 | 配置用于执行层描述符列表的具有功率效率的深度神经网络模块 |
CN201880025480.3A Active CN110546611B (zh) | 2017-04-17 | 2018-04-16 | 通过跳过处理操作来减少神经网络处理器中的功耗 |
CN201880025130.7A Active CN110546654B (zh) | 2017-04-17 | 2018-04-16 | 通过构造接口的带宽控制来增强dnn模块的处理性能 |
CN201880025426.9A Active CN110678843B (zh) | 2017-04-17 | 2018-04-16 | 在深度神经网络模块中动态划分工作负载以降低功率消耗 |
CN201880025420.1A Active CN110520909B (zh) | 2017-04-17 | 2018-04-16 | 使用激活数据的压缩和解压缩来减少存储器带宽利用率的神经网络处理器 |
CN201880025126.0A Active CN110546610B (zh) | 2017-04-17 | 2018-04-16 | 通过数据共享和分配增强人工智能/机器硬件的处理性能 |
CN202410312381.0A Pending CN118153639A (zh) | 2017-04-17 | 2018-04-16 | 用于增强数据处理的系统、方法及神经网络处理器 |
Family Applications Before (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880025503.0A Active CN110520853B (zh) | 2017-04-17 | 2018-04-06 | 直接存储器访问的队列管理 |
CN201880025227.8A Active CN110520870B (zh) | 2017-04-17 | 2018-04-06 | 用于具有动态向量长度和码本大小的高吞吐量向量去量化的灵活硬件 |
CN201880025417.XA Active CN110520846B (zh) | 2017-04-17 | 2018-04-06 | 对数据分区的动态排序 |
CN202310874704.0A Pending CN116909985A (zh) | 2017-04-17 | 2018-04-06 | 对数据分区的动态排序 |
CN201880024892.5A Active CN110506260B (zh) | 2017-04-17 | 2018-04-06 | 用于神经网络环境中的增强数据处理的方法、系统和介质 |
Family Applications After (11)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880025504.5A Active CN110520857B (zh) | 2017-04-17 | 2018-04-06 | 使用虚拟化数据迭代器对神经网络进行数据处理性能增强 |
CN202310865940.6A Pending CN116909984A (zh) | 2017-04-17 | 2018-04-06 | 使用虚拟化数据迭代器对神经网络进行数据处理性能增强 |
CN201880025415.0A Active CN110546628B (zh) | 2017-04-17 | 2018-04-06 | 用有向线缓冲器最小化存储器读取提高神经网络环境性能 |
CN201880025488.XA Active CN110537194B (zh) | 2017-04-17 | 2018-04-13 | 被配置用于层和操作防护和依赖性管理的功率高效的深度神经网络处理器及方法 |
CN201880025508.3A Active CN110582785B (zh) | 2017-04-17 | 2018-04-16 | 配置用于执行层描述符列表的具有功率效率的深度神经网络模块 |
CN201880025480.3A Active CN110546611B (zh) | 2017-04-17 | 2018-04-16 | 通过跳过处理操作来减少神经网络处理器中的功耗 |
CN201880025130.7A Active CN110546654B (zh) | 2017-04-17 | 2018-04-16 | 通过构造接口的带宽控制来增强dnn模块的处理性能 |
CN201880025426.9A Active CN110678843B (zh) | 2017-04-17 | 2018-04-16 | 在深度神经网络模块中动态划分工作负载以降低功率消耗 |
CN201880025420.1A Active CN110520909B (zh) | 2017-04-17 | 2018-04-16 | 使用激活数据的压缩和解压缩来减少存储器带宽利用率的神经网络处理器 |
CN201880025126.0A Active CN110546610B (zh) | 2017-04-17 | 2018-04-16 | 通过数据共享和分配增强人工智能/机器硬件的处理性能 |
CN202410312381.0A Pending CN118153639A (zh) | 2017-04-17 | 2018-04-16 | 用于增强数据处理的系统、方法及神经网络处理器 |
Country Status (19)
Country | Link |
---|---|
US (20) | US10795836B2 (zh) |
EP (14) | EP3612937A1 (zh) |
JP (1) | JP7004741B2 (zh) |
KR (2) | KR102663557B1 (zh) |
CN (17) | CN110520853B (zh) |
AU (1) | AU2018256212B2 (zh) |
BR (1) | BR112019021541A2 (zh) |
CA (1) | CA3056660A1 (zh) |
CL (1) | CL2019002864A1 (zh) |
CO (1) | CO2019011014A2 (zh) |
IL (1) | IL269888B (zh) |
MX (2) | MX2019012388A (zh) |
MY (1) | MY201868A (zh) |
NZ (1) | NZ756870A (zh) |
PH (1) | PH12019550191A1 (zh) |
RU (1) | RU2767447C2 (zh) |
SG (1) | SG11201909175XA (zh) |
WO (15) | WO2018194849A1 (zh) |
ZA (1) | ZA201905874B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113760182A (zh) * | 2020-06-02 | 2021-12-07 | 想象技术有限公司 | 存储器中的数据操控 |
Families Citing this family (104)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8515052B2 (en) | 2007-12-17 | 2013-08-20 | Wai Wu | Parallel signal processing system and method |
US10635969B2 (en) | 2016-10-14 | 2020-04-28 | International Business Machines Corporation | Core utilization optimization by dividing computational blocks across cores |
US10248906B2 (en) | 2016-12-28 | 2019-04-02 | Intel Corporation | Neuromorphic circuits for storing and generating connectivity information |
US10795836B2 (en) | 2017-04-17 | 2020-10-06 | Microsoft Technology Licensing, Llc | Data processing performance enhancement for neural networks using a virtualized data iterator |
US11164071B2 (en) * | 2017-04-18 | 2021-11-02 | Samsung Electronics Co., Ltd. | Method and apparatus for reducing computational complexity of convolutional neural networks |
EP3657340A1 (en) * | 2017-05-23 | 2020-05-27 | Shanghai Cambricon Information Technology Co., Ltd | Processing method and accelerating device |
CN110502330A (zh) * | 2018-05-16 | 2019-11-26 | 上海寒武纪信息科技有限公司 | 处理器及处理方法 |
US11514355B2 (en) * | 2017-06-28 | 2022-11-29 | General Electric Company | Flat representation of machine learning model |
EP3651020A1 (en) * | 2017-11-20 | 2020-05-13 | Shanghai Cambricon Information Technology Co., Ltd | Computer equipment, data processing method, and storage medium |
EP3489865B1 (en) * | 2017-11-22 | 2021-01-06 | Commissariat à l'énergie atomique et aux énergies alternatives | A stdp-based learning method for a network having dual accumulator neurons |
US10747844B2 (en) * | 2017-12-12 | 2020-08-18 | Tesla, Inc. | Systems and methods for converting a matrix input to a vectorized input for a matrix processor |
US11995448B1 (en) * | 2018-02-08 | 2024-05-28 | Marvell Asia Pte Ltd | Method and apparatus for performing machine learning operations in parallel on machine learning hardware |
KR20190097930A (ko) * | 2018-02-13 | 2019-08-21 | 삼성전자주식회사 | 채널 별 메모리 용량을 조절하는 메모리 장치 및 이를 포함하는 메모리 시스템 |
US10948966B1 (en) * | 2018-03-07 | 2021-03-16 | Facebook, Inc. | Systems and methods for optimizing power usage for systems within quality-of-service constraints |
US11126362B2 (en) * | 2018-03-14 | 2021-09-21 | International Business Machines Corporation | Migrating storage data |
CN109313673A (zh) * | 2018-04-17 | 2019-02-05 | 深圳鲲云信息科技有限公司 | 网络模型的运行方法及相关产品 |
US10404276B1 (en) * | 2018-04-27 | 2019-09-03 | Nicira, Inc. | Stable variable-length order-preserving encoding scheme |
US20190340490A1 (en) * | 2018-05-04 | 2019-11-07 | Apple Inc. | Systems and methods for assigning tasks in a neural network processor |
US10997510B1 (en) | 2018-05-22 | 2021-05-04 | Marvell Asia Pte, Ltd. | Architecture to support tanh and sigmoid operations for inference acceleration in machine learning |
US11016801B1 (en) | 2018-05-22 | 2021-05-25 | Marvell Asia Pte, Ltd. | Architecture to support color scheme-based synchronization for machine learning |
US10360654B1 (en) * | 2018-05-25 | 2019-07-23 | Intel Corporation | Software scoreboard information and synchronization |
US10657087B2 (en) * | 2018-05-31 | 2020-05-19 | Toshiba Memory Corporation | Method of out of order processing of scatter gather lists |
US11561833B1 (en) * | 2018-06-28 | 2023-01-24 | Amazon Technologies, Inc. | Allocation and placement of resources for network computation |
CN112585589A (zh) * | 2018-08-09 | 2021-03-30 | 华为技术有限公司 | 将压缩数据块和未压缩数据块压紧的设备及方法 |
EP3757896B1 (en) * | 2018-08-28 | 2023-01-11 | Cambricon Technologies Corporation Limited | Method and device for pre-processing data in a neural network |
KR20200034499A (ko) * | 2018-09-21 | 2020-03-31 | 삼성전자주식회사 | 메모리 장치와 통신하는 데이터 처리 장치 및 방법 |
US11295205B2 (en) * | 2018-09-28 | 2022-04-05 | Qualcomm Incorporated | Neural processing unit (NPU) direct memory access (NDMA) memory bandwidth optimization |
CN109359732B (zh) * | 2018-09-30 | 2020-06-09 | 阿里巴巴集团控股有限公司 | 一种芯片及基于其的数据处理方法 |
US20200117981A1 (en) * | 2018-10-11 | 2020-04-16 | International Business Machines Corporation | Data representation for dynamic precision in neural network cores |
KR20200053886A (ko) | 2018-11-09 | 2020-05-19 | 삼성전자주식회사 | 뉴럴 프로세싱 유닛, 뉴럴 프로세싱 시스템, 및 어플리케이션 시스템 |
CN109669774B (zh) * | 2018-11-14 | 2020-12-08 | 新华三技术有限公司成都分公司 | 硬件资源的量化方法、编排方法、装置及网络设备 |
US11663001B2 (en) * | 2018-11-19 | 2023-05-30 | Advanced Micro Devices, Inc. | Family of lossy sparse load SIMD instructions |
KR102107077B1 (ko) * | 2018-11-20 | 2020-05-06 | 주식회사 아나패스 | 컨볼루션 신경망 추론에서 컨볼루션 연산을 수행하기 위한 라인 단위 메모리 관리 방법 및 그 추론 장치 |
US10990525B2 (en) * | 2018-12-12 | 2021-04-27 | Mipsology SAS | Caching data in artificial neural network computations |
US11342933B2 (en) * | 2018-12-14 | 2022-05-24 | Advanced Micro Devices, Inc. | Lossy significance compression with lossy restoration |
CN109657788A (zh) * | 2018-12-18 | 2019-04-19 | 北京中科寒武纪科技有限公司 | 数据处理方法、装置及相关产品 |
CN109740735B (zh) * | 2018-12-29 | 2020-12-29 | 百度在线网络技术(北京)有限公司 | 多神经网络输出方法及装置、服务器、计算机可读介质 |
CN109922007B (zh) * | 2019-01-15 | 2022-04-01 | 西安仙农电子科技有限公司 | 一种基于卷积神经网络的负载均衡方法 |
CN111488114B (zh) * | 2019-01-28 | 2021-12-21 | 北京灵汐科技有限公司 | 一种可重构的处理器架构及计算设备 |
US11687783B2 (en) * | 2019-02-04 | 2023-06-27 | International Business Machines Corporation | L2-nonexpansive neural networks |
US11521014B2 (en) | 2019-02-04 | 2022-12-06 | International Business Machines Corporation | L2-nonexpansive neural networks |
US11625554B2 (en) | 2019-02-04 | 2023-04-11 | International Business Machines Corporation | L2-nonexpansive neural networks |
US11036545B2 (en) * | 2019-03-15 | 2021-06-15 | Intel Corporation | Graphics systems and methods for accelerating synchronization using fine grain dependency check and scheduling optimizations based on available shared memory space |
CN111767078A (zh) * | 2019-04-02 | 2020-10-13 | 上海寒武纪信息科技有限公司 | 数据运行方法、装置和相关产品 |
CN109992225B (zh) * | 2019-04-04 | 2022-02-22 | 中科寒武纪科技股份有限公司 | 数据输出方法及相关装置 |
CN111782577B (zh) * | 2019-04-04 | 2023-03-24 | 安徽寒武纪信息科技有限公司 | 数据处理装置及方法以及相关产品 |
KR20200119164A (ko) * | 2019-04-09 | 2020-10-19 | 한국전자통신연구원 | 정보 처리 장치 및 그것에 포함된 신경망 연산 장치의 동작 방법 |
KR20200129957A (ko) * | 2019-05-10 | 2020-11-18 | 삼성전자주식회사 | 피처맵 데이터에 대한 압축을 수행하는 뉴럴 네트워크 프로세서 및 이를 포함하는 컴퓨팅 시스템 |
US10504005B1 (en) * | 2019-05-10 | 2019-12-10 | Capital One Services, Llc | Techniques to embed a data object into a multidimensional frame |
US11204745B2 (en) * | 2019-05-23 | 2021-12-21 | Xilinx, Inc. | Dataflow graph programming environment for a heterogenous processing system |
US11175898B2 (en) * | 2019-05-31 | 2021-11-16 | Apple Inc. | Compiling code for a machine learning model for execution on a specialized processor |
KR20200139909A (ko) | 2019-06-05 | 2020-12-15 | 삼성전자주식회사 | 전자 장치 및 그의 연산 수행 방법 |
US11556798B2 (en) * | 2019-06-18 | 2023-01-17 | Qualcomm Incorporated | Optimizing machine learning model performance |
US11403097B2 (en) | 2019-06-26 | 2022-08-02 | Intel Corporation | Systems and methods to skip inconsequential matrix operations |
US11461622B2 (en) * | 2019-06-28 | 2022-10-04 | Amazon Technologies, Inc. | Dynamic code loading for multiple executions on a sequential processor |
US11630770B2 (en) * | 2019-07-11 | 2023-04-18 | Meta Platforms Technologies, Llc | Systems and methods for reading and writing sparse data in a neural network accelerator |
US11816568B2 (en) * | 2019-09-13 | 2023-11-14 | Latent AI, Inc. | Optimizing execution of a neural network based on operational performance parameters |
US10915811B1 (en) | 2019-09-18 | 2021-02-09 | International Business Machines Corporation | Intercalation cells for multi-task learning |
US11475283B2 (en) * | 2019-10-24 | 2022-10-18 | Apple Inc. | Multi dimensional convolution in neural network processor |
KR20210053384A (ko) | 2019-11-01 | 2021-05-12 | 삼성전자주식회사 | 스토리지 장치 및 스토리지 장치의 동작 방법 |
US11513799B2 (en) | 2019-11-04 | 2022-11-29 | Apple Inc. | Chained buffers in neural network processor |
KR20210065605A (ko) * | 2019-11-27 | 2021-06-04 | 한국전자통신연구원 | 선인출 정보를 이용한 메모리 제어 방법 및 장치 |
CN111091184B (zh) * | 2019-12-19 | 2022-03-22 | 浪潮(北京)电子信息产业有限公司 | 一种深度神经网络的量化方法、装置、电子设备及介质 |
CN111162792A (zh) * | 2019-12-19 | 2020-05-15 | 深圳市航天泰瑞捷电子有限公司 | 一种电力负荷数据的压缩方法及装置 |
US11620516B2 (en) * | 2019-12-23 | 2023-04-04 | Arm Limited | Specializing neural networks for heterogeneous systems |
CN111126589B (zh) * | 2019-12-31 | 2022-05-20 | 昆仑芯(北京)科技有限公司 | 神经网络数据处理装置、方法和电子设备 |
CN111178490B (zh) * | 2019-12-31 | 2021-08-24 | 北京百度网讯科技有限公司 | 数据输出方法、获取方法、装置和电子设备 |
KR102399197B1 (ko) | 2020-01-17 | 2022-05-18 | 경희대학교 산학협력단 | 이상치 인지 근사적 코딩을 수행하는 전자 장치 그리고 그것의 동작 방법 |
US11023400B1 (en) | 2020-01-20 | 2021-06-01 | International Business Machines Corporation | High performance DMA transfers in host bus adapters |
US20210224191A1 (en) * | 2020-01-22 | 2021-07-22 | Alibaba Group Holding Limited | Compression and decompression module in a cache controller for reducing off-chip data traffic |
KR102498066B1 (ko) * | 2020-02-20 | 2023-02-10 | 한국과학기술원 | 딥러닝 강화학습 가속기 |
KR20210108749A (ko) | 2020-02-26 | 2021-09-03 | 삼성전자주식회사 | 가속기, 가속기의 동작 방법 및 이를 포함한 가속기 시스템 |
CN111431539B (zh) * | 2020-03-04 | 2023-12-08 | 嘉楠明芯(北京)科技有限公司 | 一种神经网络数据的压缩方法、装置及计算机可读存储介质 |
CN111290979B (zh) * | 2020-03-23 | 2021-08-17 | 优刻得科技股份有限公司 | 数据传输方法、装置及系统 |
CN113592082A (zh) * | 2020-04-30 | 2021-11-02 | 意法半导体股份有限公司 | 用于从人工神经网络分配中间数据的设备和方法 |
KR20210136476A (ko) * | 2020-05-07 | 2021-11-17 | 삼성전자주식회사 | 쿼드 트리 방법의 파라미터들을 이용하여 압축하는 장치 및 방법 |
JP2023530471A (ja) * | 2020-06-18 | 2023-07-18 | インターデジタル ヴイシー ホールディングス フランス,エスエーエス | ディープニューラルネットワークを符号化/復号するためのシステム及び方法 |
CN111723053A (zh) * | 2020-06-24 | 2020-09-29 | 北京航天数据股份有限公司 | 一种数据的压缩方法及装置、解压方法及装置 |
US11275701B2 (en) * | 2020-06-24 | 2022-03-15 | Qualcomm Incorporated | Secure timer synchronization between function block and external SOC |
US20220004399A1 (en) * | 2020-07-03 | 2022-01-06 | Mediatek Inc. | Dynamic loading neural network inference at dram/on-bus sram/serial flash for power optimization |
CN111884658A (zh) * | 2020-07-09 | 2020-11-03 | 上海兆芯集成电路有限公司 | 数据解压缩方法、数据压缩方法及卷积运算装置 |
US11720404B2 (en) * | 2020-07-16 | 2023-08-08 | Samsung Electronics Co., Ltd. | Systems and methods for arbitrating access to a shared resource |
EP4184392A4 (en) * | 2020-07-17 | 2024-01-10 | Sony Group Corp | NEURONAL NETWORK PROCESSING APPARATUS, INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING SYSTEM, ELECTRONIC INSTRUMENT, NEURONAL NETWORK PROCESSING METHOD AND PROGRAM |
CN111858058A (zh) * | 2020-07-24 | 2020-10-30 | 成都成信高科信息技术有限公司 | 基于并行计算的sgd负载均衡方法、装置及存储介质 |
FR3113158B1 (fr) * | 2020-08-03 | 2024-04-05 | Commissariat Energie Atomique | Architecture de calcul systolique pour la mise en œuvre de réseaux de neurones artificiels traitant plusieurs types de convolutions |
JP6835285B1 (ja) * | 2020-09-15 | 2021-02-24 | 富士電機株式会社 | データ圧縮方法、データ圧縮装置、データ圧縮プログラム、データ伸長方法、データ伸長装置およびデータ伸長プログラム |
US11470004B2 (en) * | 2020-09-22 | 2022-10-11 | Advanced Micro Devices, Inc. | Graded throttling for network-on-chip traffic |
JP2022094508A (ja) | 2020-12-15 | 2022-06-27 | 富士通株式会社 | 演算処理装置、演算処理方法および演算処理プログラム |
TWI745227B (zh) * | 2021-02-01 | 2021-11-01 | 國立陽明交通大學 | 用於進行原始服務端與外地服務端之間的第三方認證的通訊系統及方法 |
KR102298766B1 (ko) * | 2021-02-15 | 2021-09-07 | 주식회사 딥이티 | 타겟 디바이스에 대한 딥러닝 모델 변환 장치 및 방법 |
US11256987B1 (en) * | 2021-06-02 | 2022-02-22 | SambaNova Systems, Inc. | Memory efficient dropout, with reordering of dropout mask elements |
JP2023018365A (ja) | 2021-07-27 | 2023-02-08 | 富士通株式会社 | 情報処理プログラム、情報処理方法及び情報処理装置 |
US20230079975A1 (en) * | 2021-09-10 | 2023-03-16 | Arm Limited | Power management for system-on-chip |
CN118176728A (zh) * | 2021-11-01 | 2024-06-11 | Lg 电子株式会社 | 特征编码/解码方法和装置以及存储比特流的记录介质 |
EP4191476A1 (en) * | 2021-12-01 | 2023-06-07 | Nokia Technologies Oy | Machine learning accelerator |
US11816364B2 (en) * | 2022-01-13 | 2023-11-14 | Microsoft Technology Licensing, Llc | Performance evaluation of an application based on detecting degradation caused by other computing processes |
CN114466082B (zh) * | 2022-01-29 | 2024-01-09 | 上海阵量智能科技有限公司 | 数据压缩、数据解压方法、系统及人工智能ai芯片 |
US11720252B1 (en) * | 2022-03-04 | 2023-08-08 | Microsoft Technology Licensing, Llc | Method and apparatus for compressing and decompressing sparse data sets |
US20230350678A1 (en) * | 2022-04-28 | 2023-11-02 | Qualcomm Incorporated | Instruction Set Architecture for Neural Network Quantization and Packing |
WO2023250093A1 (en) * | 2022-06-22 | 2023-12-28 | Brainchip, Inc. | Method and system for implementing temporal convolution in spatiotemporal neural networks |
KR20240002346A (ko) * | 2022-06-29 | 2024-01-05 | 삼성전자주식회사 | Ai 부호화/복호화를 이용하여 영상을 처리하는 전자 장치 및 그 제어 방법 |
KR20240007495A (ko) * | 2022-07-08 | 2024-01-16 | 리벨리온 주식회사 | 뉴럴 코어, 이를 포함하는 뉴럴 프로세싱 장치 및 뉴럴 프로세싱 장치의 데이터 로드 방법 |
CN115309349B (zh) * | 2022-10-12 | 2023-01-20 | 深圳鲲云信息科技有限公司 | 深度学习的稀疏数据存储方法、计算机设备和存储介质 |
US11983128B1 (en) * | 2022-12-16 | 2024-05-14 | Amazon Technologies, Inc. | Multidimensional and multiblock tensorized direct memory access descriptors |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060047864A1 (en) * | 2004-08-26 | 2006-03-02 | International Business Machines Corporation | System and method for DMA controller with multi-dimensional line-walking functionality |
CN101253493A (zh) * | 2005-08-31 | 2008-08-27 | 微软公司 | 在图形处理单元上训练卷积神经网络 |
US20100180100A1 (en) * | 2009-01-13 | 2010-07-15 | Mavrix Technology, Inc. | Matrix microprocessor and method of operation |
CN101932996A (zh) * | 2007-09-24 | 2010-12-29 | 认知电子公司 | 具有降低功耗的并行处理计算机系统及提供该系统的方法 |
EP3035249A1 (en) * | 2014-12-19 | 2016-06-22 | Intel Corporation | Method and apparatus for distributed and cooperative computation in artificial neural networks |
CN106250981A (zh) * | 2015-06-10 | 2016-12-21 | 三星电子株式会社 | 减少存储器访问和网络内带宽消耗的脉冲神经网络 |
US20160379109A1 (en) * | 2015-06-29 | 2016-12-29 | Microsoft Technology Licensing, Llc | Convolutional neural networks on hardware accelerators |
TW201701199A (zh) * | 2015-05-21 | 2017-01-01 | 咕果公司 | 類神經網路處理器中之批次處理 |
Family Cites Families (185)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4298954A (en) | 1979-04-30 | 1981-11-03 | International Business Machines Corporation | Alternating data buffers when one buffer is empty and another buffer is variably full of data |
JPH0642237B2 (ja) | 1983-12-28 | 1994-06-01 | 株式会社日立製作所 | 並列処理装置 |
US5056015A (en) * | 1988-03-23 | 1991-10-08 | Du Pont Pixel Systems Limited | Architectures for serial or parallel loading of writable control store |
EP0334624A3 (en) * | 1988-03-23 | 1993-03-31 | Du Pont Pixel Systems Limited | Microcoded computer system |
EP0340901A3 (en) * | 1988-03-23 | 1992-12-30 | Du Pont Pixel Systems Limited | Access system for dual port memory |
JP2703010B2 (ja) | 1988-12-23 | 1998-01-26 | 株式会社日立製作所 | ニユーラルネツト信号処理プロセツサ |
US5369773A (en) | 1991-04-26 | 1994-11-29 | Adaptive Solutions, Inc. | Neural network using virtual-zero |
US5357597A (en) * | 1991-06-24 | 1994-10-18 | International Business Machines Corporation | Convolutional expert neural system (ConExNS) |
US5487153A (en) | 1991-08-30 | 1996-01-23 | Adaptive Solutions, Inc. | Neural network sequencer and interface apparatus |
WO1993014459A1 (en) | 1992-01-17 | 1993-07-22 | Caelum Research Corporation | Modular parallel processing system |
JPH06195322A (ja) | 1992-10-29 | 1994-07-15 | Hitachi Ltd | 汎用型ニューロコンピュータとして用いられる情報処理装置 |
JP2938711B2 (ja) | 1993-05-10 | 1999-08-25 | 松下電器産業株式会社 | 並列計算機 |
US5859990A (en) | 1995-12-29 | 1999-01-12 | Intel Corporation | System for transferring data segments from a first storage device to a second storage device using an alignment stage including even and odd temporary devices |
US5933654A (en) | 1996-09-24 | 1999-08-03 | Allen-Bradley Company, Llc | Dynamic buffer fracturing by a DMA controller |
US6006325A (en) * | 1996-12-19 | 1999-12-21 | Institute For The Development Of Emerging Architectures, L.L.C. | Method and apparatus for instruction and data serialization in a computer processor |
US6547364B2 (en) * | 1997-07-12 | 2003-04-15 | Silverbrook Research Pty Ltd | Printing cartridge with an integrated circuit device |
KR100258355B1 (ko) * | 1997-12-26 | 2000-06-01 | 김영환 | 8 비트 병렬 셀 단위 인터리버 |
US6307867B1 (en) | 1998-05-14 | 2001-10-23 | Telefonaktiebolaget Lm Ericsson (Publ) | Data transmission over a communications link with variable transmission rates |
US6654761B2 (en) * | 1998-07-29 | 2003-11-25 | Inxight Software, Inc. | Controlling which part of data defining a node-link structure is in memory |
JP2000059227A (ja) | 1998-08-07 | 2000-02-25 | Matsushita Electric Ind Co Ltd | 符号化/復号化装置、及び符号化/復号化方法 |
JP2000261416A (ja) * | 1999-03-09 | 2000-09-22 | Nec Eng Ltd | 二重化データ転送回路 |
US6785239B1 (en) | 1999-06-01 | 2004-08-31 | Cisco Technology, Inc. | Reducing delays in a communication network using a re-fragmentation pipeline |
JP2001188767A (ja) | 1999-12-28 | 2001-07-10 | Fuji Xerox Co Ltd | ニューラルネットワーク演算装置及びニューラルネットワークの演算方法 |
US6424737B1 (en) | 2000-01-24 | 2002-07-23 | Sony Corporation | Method and apparatus of compressing images using localized radon transforms |
AU2001243463A1 (en) | 2000-03-10 | 2001-09-24 | Arc International Plc | Memory interface and method of interfacing between functional entities |
GB2382898B (en) | 2000-12-29 | 2005-06-29 | Zarlink Semiconductor Ltd | A method of managing data |
JP2002259939A (ja) * | 2001-03-05 | 2002-09-13 | Kitakiyuushiyuu Techno Center:Kk | 連想メモリーベースコンピュータ |
US6990079B2 (en) | 2001-06-08 | 2006-01-24 | International Business Machines Corporation | Optimizing fragment sizes in frame relay networks |
US7012893B2 (en) | 2001-06-12 | 2006-03-14 | Smartpackets, Inc. | Adaptive control of data packet size in networks |
US7106968B2 (en) | 2001-07-06 | 2006-09-12 | Optix Networks Inc. | Combined SONET/SDH and OTN architecture |
US6954744B2 (en) * | 2001-08-29 | 2005-10-11 | Honeywell International, Inc. | Combinatorial approach for supervised neural network learning |
US6836767B2 (en) | 2001-10-03 | 2004-12-28 | International Business Machines Corporation | Pipelined hardware implementation of a neural network circuit |
US6961719B1 (en) * | 2002-01-07 | 2005-11-01 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Hybrid neural network and support vector machine method for optimization |
US7245627B2 (en) | 2002-04-23 | 2007-07-17 | Mellanox Technologies Ltd. | Sharing a network interface card among multiple hosts |
US7539608B1 (en) | 2002-05-10 | 2009-05-26 | Oracle International Corporation | Techniques for determining effects on system performance of a memory management parameter |
US7020207B1 (en) * | 2002-12-02 | 2006-03-28 | Hitachi, Ltd. | Video error concealment mechanism for block based video decompression |
US7444637B2 (en) | 2003-02-18 | 2008-10-28 | Microsoft Corporation | Systems and methods for scheduling coprocessor resources in a computing system |
US7137021B2 (en) * | 2003-05-15 | 2006-11-14 | International Business Machines Corporation | Power saving in FPU with gated power based on opcodes and data |
GB0313986D0 (en) * | 2003-06-17 | 2003-07-23 | Zarlink Semiconductor Inc | Data memory extension for use in double buffered TDM switches |
US20050125797A1 (en) * | 2003-12-09 | 2005-06-09 | International Business Machines Corporation | Resource management for a system-on-chip (SoC) |
JP4452690B2 (ja) | 2003-12-09 | 2010-04-21 | パナソニック株式会社 | 電子装置、その制御方法、ホスト装置及びその制御方法 |
US7480640B1 (en) * | 2003-12-16 | 2009-01-20 | Quantum Leap Research, Inc. | Automated method and system for generating models from data |
US7376853B2 (en) | 2004-03-15 | 2008-05-20 | Canon Kabushiki Kaisha | Network apparatus, method for controlling the same, and program for the same |
US7284075B2 (en) | 2004-03-23 | 2007-10-16 | Intel Corporation | Inbound packet placement in host memory |
US7644239B2 (en) * | 2004-05-03 | 2010-01-05 | Microsoft Corporation | Non-volatile memory cache performance improvement |
US9143393B1 (en) * | 2004-05-25 | 2015-09-22 | Red Lambda, Inc. | System, method and apparatus for classifying digital data |
US20050289253A1 (en) * | 2004-06-24 | 2005-12-29 | Edirisooriya Samantha J | Apparatus and method for a multi-function direct memory access core |
US20060050693A1 (en) * | 2004-09-03 | 2006-03-09 | James Bury | Building data packets for an advanced switching fabric |
US20060100997A1 (en) * | 2004-10-27 | 2006-05-11 | Wall Gary C | Data caching |
US8190796B2 (en) * | 2004-11-02 | 2012-05-29 | Standard Microsystems Corporation | Hardware supported peripheral component memory alignment method |
CN1790918A (zh) | 2004-12-17 | 2006-06-21 | 中国科学院半导体研究所 | 基于虚拟信源和神经网络的无损数据压缩方法 |
US20060143401A1 (en) * | 2004-12-27 | 2006-06-29 | Jacob Doweck | Method and apparatus for prefetching based on cache fill buffer hits |
EP1701249A1 (en) * | 2005-03-11 | 2006-09-13 | Interuniversitair Microelektronica Centrum Vzw | Ultra low power ASIP (Application-Domain specific Instruction-set Processor) microcomputer |
US7793040B2 (en) * | 2005-06-01 | 2010-09-07 | Microsoft Corporation | Content addressable memory architecture |
CN101401100B (zh) * | 2006-03-14 | 2012-10-10 | 国际商业机器公司 | 通过确定输入数据中的模式进行数据挖掘 |
KR101027356B1 (ko) * | 2006-03-31 | 2011-04-11 | 퀄컴 인코포레이티드 | 고속 미디어 액세스 제어를 위한 메모리 관리를 위한 방법, 장치, 무선 통신 디바이스 및 프로그램을 기록한 컴퓨터 판독 가능 매체 |
US9542642B2 (en) | 2006-04-06 | 2017-01-10 | Samuel F. Wood | Packet data neural network system and method |
US7764710B1 (en) * | 2006-04-25 | 2010-07-27 | Altera Corporation | Method and apparatus for processing communication protocol frame input |
US7620784B2 (en) * | 2006-06-09 | 2009-11-17 | Microsoft Corporation | High speed nonvolatile memory device using parallel writing among a plurality of interfaces |
US8718065B2 (en) | 2006-08-15 | 2014-05-06 | Broadcom Corporation | Transmission using multiple physical interface |
US7496707B2 (en) | 2006-08-22 | 2009-02-24 | International Business Machines Corporation | Dynamically scalable queues for performance driven PCI express memory traffic |
US20080091868A1 (en) * | 2006-10-17 | 2008-04-17 | Shay Mizrachi | Method and System for Delayed Completion Coalescing |
US8249171B2 (en) | 2006-11-10 | 2012-08-21 | Texas Instruments Incorporated | MPEG-2 transport stream packet synchronizer |
US20080168013A1 (en) * | 2006-12-05 | 2008-07-10 | Paul Cadaret | Scalable pattern recognition system |
WO2008070812A2 (en) * | 2006-12-06 | 2008-06-12 | Fusion Multisystems, Inc. (Dba Fusion-Io) | Apparatus, system, and method for data storage using progressive raid |
WO2008067676A1 (en) | 2006-12-08 | 2008-06-12 | Medhat Moussa | Architecture, system and method for artificial neural network implementation |
CN101221541B (zh) * | 2007-01-09 | 2011-04-20 | 张立军 | 用于soc的可编程通信控制器 |
US7620749B2 (en) * | 2007-01-10 | 2009-11-17 | International Business Machines Corporation | Descriptor prefetch mechanism for high latency and out of order DMA device |
JP5184824B2 (ja) * | 2007-06-15 | 2013-04-17 | キヤノン株式会社 | 演算処理装置及び方法 |
US8190834B2 (en) | 2007-06-15 | 2012-05-29 | Emc Corporation | Process for contiguously streaming data from a content addressed storage system |
US7822951B2 (en) | 2007-08-01 | 2010-10-26 | Advanced Micro Devices, Inc. | System and method of load-store forwarding |
CN101183873B (zh) | 2007-12-11 | 2011-09-28 | 广州中珩电子科技有限公司 | 一种基于bp神经网络的嵌入式系统数据压缩解压缩方法 |
US8244953B1 (en) | 2007-12-18 | 2012-08-14 | Emc Corporation | System and method for faster data retrieval from tape media |
US8244721B2 (en) * | 2008-02-13 | 2012-08-14 | Microsoft Corporation | Using related users data to enhance web search |
US7730244B1 (en) * | 2008-03-27 | 2010-06-01 | Xilinx, Inc. | Translation of commands in an interconnection of an embedded processor block core in an integrated circuit |
US8201166B2 (en) * | 2008-04-30 | 2012-06-12 | Hewlett-Packard Development Company, L.P. | Virtualization platform configured with virtual connect control |
GB0811057D0 (en) | 2008-06-17 | 2008-07-23 | Univ Ulster | Artificial neural network architecture |
US8566515B2 (en) * | 2009-01-12 | 2013-10-22 | Maxim Integrated Products, Inc. | Memory subsystem |
US8392687B2 (en) * | 2009-01-21 | 2013-03-05 | Micron Technology, Inc. | Solid state memory formatting |
JP5458629B2 (ja) * | 2009-03-31 | 2014-04-02 | ブラザー工業株式会社 | ノード装置、ノード処理プログラム及び検索方法 |
US20100257174A1 (en) | 2009-04-02 | 2010-10-07 | Matthew Dino Minuti | Method for data compression utilizing pattern-analysis and matching means such as neural networks |
US20100281192A1 (en) | 2009-04-30 | 2010-11-04 | Novafora, Inc. | Apparatus and method for transferring data within a data processing system |
EP2259214B1 (en) | 2009-06-04 | 2013-02-27 | Honda Research Institute Europe GmbH | Implementing a neural associative memory based on non-linear learning of discrete synapses |
JP5608738B2 (ja) * | 2009-06-26 | 2014-10-15 | インテル・コーポレーション | 無制限トランザクショナルメモリ(utm)システムの最適化 |
US8442927B2 (en) | 2009-07-30 | 2013-05-14 | Nec Laboratories America, Inc. | Dynamically configurable, multi-ported co-processor for convolutional neural networks |
US8316194B2 (en) * | 2009-12-15 | 2012-11-20 | Intel Corporation | Mechanisms to accelerate transactions using buffered stores |
US20110153877A1 (en) * | 2009-12-23 | 2011-06-23 | King Steven R | Method and apparatus to exchange data via an intermediary translation and queue manager |
CN102971997B (zh) * | 2010-01-18 | 2016-11-09 | 马维尔国际有限公司 | 包括数据分段和数据描述分段的分组缓冲器 |
US8713260B2 (en) | 2010-04-02 | 2014-04-29 | Intel Corporation | Adaptive block pre-fetching method and system |
US8549506B2 (en) * | 2010-04-27 | 2013-10-01 | Microsoft Corporation | Resumable methods |
US8965819B2 (en) * | 2010-08-16 | 2015-02-24 | Oracle International Corporation | System and method for effective caching using neural networks |
US8701099B2 (en) * | 2010-11-02 | 2014-04-15 | International Business Machines Corporation | Accelerating generic loop iterators using speculative execution |
US9300321B2 (en) * | 2010-11-05 | 2016-03-29 | University of Maribor | Light detection and ranging (LiDAR)data compression and decompression methods and apparatus |
US8515882B2 (en) | 2010-11-18 | 2013-08-20 | International Business Machines Corporation | Efficient storage of individuals for optimization simulation |
CN102480337B (zh) | 2010-11-30 | 2016-04-13 | 国际商业机器公司 | 无线电软件系统以及用于其的解码装置和方法 |
US8966413B2 (en) * | 2011-02-17 | 2015-02-24 | The Board Of Trustees Of The Leland Stanford Junior University | System and method for a chip generator |
US8892488B2 (en) * | 2011-06-01 | 2014-11-18 | Nec Laboratories America, Inc. | Document classification with weighted supervised n-gram embedding |
US9288251B2 (en) * | 2011-06-10 | 2016-03-15 | Citrix Systems, Inc. | Adaptive bitrate management on progressive download with indexed media files |
CN102332162A (zh) | 2011-09-19 | 2012-01-25 | 西安百利信息科技有限公司 | 基于人工神经网络的医学图像兴趣区自动识别和分级压缩方法 |
US9015092B2 (en) * | 2012-06-04 | 2015-04-21 | Brain Corporation | Dynamically reconfigurable stochastic learning apparatus and methods |
US9326075B2 (en) | 2011-10-07 | 2016-04-26 | Cochlear Limited | Flexible protocol for an implanted prosthesis |
US9235799B2 (en) * | 2011-11-26 | 2016-01-12 | Microsoft Technology Licensing, Llc | Discriminative pretraining of deep neural networks |
CN102523452B (zh) | 2011-12-29 | 2014-12-17 | 西安空间无线电技术研究所 | 图像转换压缩传输方法 |
CN102609222B (zh) * | 2012-02-13 | 2015-03-25 | 山东华芯半导体有限公司 | 基于命令描述符的闪存控制方法 |
US9128925B2 (en) * | 2012-04-24 | 2015-09-08 | Freescale Semiconductor, Inc. | System and method for direct memory access buffer utilization by setting DMA controller with plurality of arbitration weights associated with different DMA engines |
KR101619686B1 (ko) * | 2012-04-25 | 2016-05-10 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 네트워크 기반 컴퓨팅을 위한 워크로드 예측 |
US9703500B2 (en) * | 2012-04-25 | 2017-07-11 | International Business Machines Corporation | Reducing power consumption by migration of data within a tiered storage system |
US9015096B2 (en) * | 2012-05-30 | 2015-04-21 | Qualcomm Incorporated | Continuous time spiking neural network event-based simulation that schedules co-pending events using an indexable list of nodes |
US9432489B2 (en) * | 2012-06-05 | 2016-08-30 | Intel Corporation | Systems and methods for processing encoded data streams |
US9159020B2 (en) * | 2012-09-14 | 2015-10-13 | International Business Machines Corporation | Multiplexing physical neurons to optimize power and area |
US20160013773A1 (en) * | 2012-11-06 | 2016-01-14 | Pavel Dourbal | Method and apparatus for fast digital filtering and signal processing |
WO2014085975A1 (zh) * | 2012-12-04 | 2014-06-12 | 中国科学院半导体研究所 | 可动态重构的多级并行单指令多数据阵列处理系统 |
CN104756068B (zh) | 2012-12-26 | 2018-08-17 | 英特尔公司 | 合并相邻的聚集/分散操作 |
CN105264779B (zh) * | 2013-01-22 | 2019-06-07 | 阿尔特拉公司 | 使用simd指令的数据压缩和解压 |
US10909137B2 (en) | 2014-10-06 | 2021-02-02 | Fisher-Rosemount Systems, Inc. | Streaming data for analytics in process control systems |
CN104050200B (zh) | 2013-03-15 | 2017-12-08 | 伊姆西公司 | 用于数据拷贝的方法和装置 |
US9760346B2 (en) * | 2013-05-31 | 2017-09-12 | Microsoft Technology Licensing, Llc | Deeply parallel source code compilation |
US9053015B2 (en) | 2013-06-17 | 2015-06-09 | Topcon Positioning Systems, Inc. | NAND flash memory interface controller with GNSS receiver firmware booting capability |
CA2924375A1 (en) * | 2013-09-19 | 2015-03-26 | Sysomos L.P. | Systems and methods for actively composing content for use in continuous social communication |
US9280465B2 (en) * | 2013-10-08 | 2016-03-08 | Globalfoundries Inc. | Techniques for moving checkpoint-based high-availability log and data directly from a producer cache to a consumer cache |
US20150286873A1 (en) * | 2014-04-03 | 2015-10-08 | Bruce L. Davis | Smartphone-based methods and systems |
US9286171B2 (en) * | 2013-12-12 | 2016-03-15 | International Business Machines Corporation | Priming failover of stateful offload adapters |
GB2521828A (en) | 2013-12-23 | 2015-07-08 | Sony Corp | Data encoding and decoding |
JP6273010B2 (ja) * | 2013-12-23 | 2018-01-31 | インテル コーポレイション | 入出力データアライメント |
US9851771B2 (en) | 2013-12-28 | 2017-12-26 | Intel Corporation | Dynamic power measurement and estimation to improve memory subsystem power performance |
US10097372B2 (en) * | 2014-01-09 | 2018-10-09 | Ciena Corporation | Method for resource optimized network virtualization overlay transport in virtualized data center environments |
EP2896428B1 (fr) * | 2014-01-16 | 2016-11-09 | Sorin CRM SAS | Ensemble de réseau de neurones pour l'évaluation et l'adaptation d'une thérapie antitachycardique par un défibrillateur implantable |
US10339447B2 (en) * | 2014-01-23 | 2019-07-02 | Qualcomm Incorporated | Configuring sparse neuronal networks |
US9563369B2 (en) * | 2014-04-14 | 2017-02-07 | Microsoft Technology Licensing, Llc | Fine-grained bandwidth provisioning in a memory controller |
US10635967B2 (en) * | 2014-04-15 | 2020-04-28 | Intel Corporation | Methods, systems and computer program products for neuromorphic graph compression using associative memories |
US9219499B2 (en) | 2014-05-16 | 2015-12-22 | Robert Bosch Gmbh | Run time compression method for a vehicle communication bus |
US9892125B1 (en) * | 2014-05-23 | 2018-02-13 | MapD Technologies, Inc. | Method for logging update queries |
US9959142B2 (en) * | 2014-06-17 | 2018-05-01 | Mediatek Inc. | Dynamic task scheduling method for dispatching sub-tasks to computing devices of heterogeneous computing system and related computer readable medium |
CN106170800A (zh) * | 2014-09-12 | 2016-11-30 | 微软技术许可有限责任公司 | 经由输出分布来学习学生dnn |
US9990307B1 (en) | 2014-10-29 | 2018-06-05 | Netronome Systems, Inc. | Split packet transmission DMA engine |
EP3035204B1 (en) | 2014-12-19 | 2018-08-15 | Intel Corporation | Storage device and method for performing convolution operations |
US10223635B2 (en) | 2015-01-22 | 2019-03-05 | Qualcomm Incorporated | Model compression and fine-tuning |
CN104573064B (zh) * | 2015-01-23 | 2017-12-08 | 四川中科腾信科技有限公司 | 一种大数据环境下的数据处理方法 |
US10234930B2 (en) * | 2015-02-13 | 2019-03-19 | Intel Corporation | Performing power management in a multicore processor |
US20160267377A1 (en) * | 2015-03-12 | 2016-09-15 | Staples, Inc. | Review Sentiment Analysis |
CN105518709B (zh) * | 2015-03-26 | 2019-08-09 | 北京旷视科技有限公司 | 用于识别人脸的方法、系统和计算机程序产品 |
US9378044B1 (en) * | 2015-03-28 | 2016-06-28 | Vmware, Inc. | Method and system that anticipates deleterious virtual-machine state changes within a virtualization layer |
US9928144B2 (en) * | 2015-03-30 | 2018-03-27 | Commvault Systems, Inc. | Storage management of data using an open-archive architecture, including streamlined access to primary data originally stored on network-attached storage and archived to secondary storage |
FR3035243B1 (fr) * | 2015-04-20 | 2018-06-29 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Placement d'une tache de calcul sur un processeur fonctionnellement asymetrique |
US9965824B2 (en) * | 2015-04-23 | 2018-05-08 | Google Llc | Architecture for high performance, power efficient, programmable image processing |
US20160328644A1 (en) | 2015-05-08 | 2016-11-10 | Qualcomm Incorporated | Adaptive selection of artificial neural networks |
US20160335119A1 (en) | 2015-05-12 | 2016-11-17 | minds.ai inc | Batch-based neural network system |
CN106203619B (zh) * | 2015-05-29 | 2022-09-13 | 三星电子株式会社 | 数据优化的神经网络遍历 |
US9595002B2 (en) * | 2015-05-29 | 2017-03-14 | Sas Institute Inc. | Normalizing electronic communications using a vector having a repeating substring as input for a neural network |
US20160350653A1 (en) * | 2015-06-01 | 2016-12-01 | Salesforce.Com, Inc. | Dynamic Memory Network |
US20160358069A1 (en) * | 2015-06-03 | 2016-12-08 | Samsung Electronics Co., Ltd. | Neural network suppression |
US20160378491A1 (en) | 2015-06-26 | 2016-12-29 | Microsoft Technology Licensing, Llc | Determination of target location for transfer of processor control |
US10275001B2 (en) | 2015-06-26 | 2019-04-30 | Intel Corporation | Thermal throttling of electronic devices |
US11244225B2 (en) | 2015-07-10 | 2022-02-08 | Samsung Electronics Co., Ltd. | Neural network processor configurable using macro instructions |
HUE047807T2 (hu) | 2015-10-04 | 2020-05-28 | Atomwise Inc | Rendszer konvolúciós hálózat alkalmazására térbeli adatokon |
US11029949B2 (en) * | 2015-10-08 | 2021-06-08 | Shanghai Zhaoxin Semiconductor Co., Ltd. | Neural network unit |
CN106484362B (zh) * | 2015-10-08 | 2020-06-12 | 上海兆芯集成电路有限公司 | 利用使用者指定二维定点算术运算的装置 |
US10471594B2 (en) * | 2015-12-01 | 2019-11-12 | Kindred Systems Inc. | Systems, devices, and methods for the distribution and collection of multimodal data associated with robots |
CN105488563A (zh) * | 2015-12-16 | 2016-04-13 | 重庆大学 | 面向深度学习的稀疏自适应神经网络、算法及实现装置 |
US10007519B2 (en) * | 2015-12-22 | 2018-06-26 | Intel IP Corporation | Instructions and logic for vector bit field compression and expansion |
US11232085B2 (en) * | 2016-01-07 | 2022-01-25 | Amazon Technologies, Inc. | Outlier detection for streaming data |
CN107578099B (zh) * | 2016-01-20 | 2021-06-11 | 中科寒武纪科技股份有限公司 | 计算装置和方法 |
US10565207B2 (en) * | 2016-04-12 | 2020-02-18 | Hsilin Huang | Method, system and program product for mask-based compression of a sparse matrix |
CN106203624B (zh) * | 2016-06-23 | 2019-06-21 | 上海交通大学 | 基于深度神经网络的矢量量化系统及方法 |
CN106204468B (zh) * | 2016-06-27 | 2019-04-26 | 深圳市未来媒体技术研究院 | 一种基于ReLU卷积神经网络的图像去噪方法 |
US10528864B2 (en) * | 2016-08-11 | 2020-01-07 | Nvidia Corporation | Sparse convolutional neural network accelerator |
WO2018058452A1 (zh) * | 2016-09-29 | 2018-04-05 | 北京中科寒武纪科技有限公司 | 一种执行人工神经网络运算的装置和方法 |
US10296292B2 (en) * | 2016-10-20 | 2019-05-21 | Advanced Micro Devices, Inc. | Dynamic variable precision computation |
CN106530200B (zh) | 2016-10-23 | 2020-01-07 | 深圳大学 | 一种基于深度学习模型的隐写图像检测方法及系统 |
US9959498B1 (en) | 2016-10-27 | 2018-05-01 | Google Llc | Neural network instruction set architecture |
CN106529670B (zh) * | 2016-10-27 | 2019-01-25 | 中国科学院计算技术研究所 | 一种基于权重压缩的神经网络处理器、设计方法、芯片 |
US10067710B2 (en) * | 2016-11-23 | 2018-09-04 | Advanced Micro Devices, Inc. | Detecting buffer overflows in general-purpose GPU applications |
US10037490B2 (en) * | 2016-12-13 | 2018-07-31 | Google Llc | Performing average pooling in hardware |
US20180164866A1 (en) * | 2016-12-13 | 2018-06-14 | Qualcomm Incorporated | Low-power architecture for sparse neural network |
US10169296B2 (en) * | 2016-12-30 | 2019-01-01 | Intel Corporation | Distributed matrix multiplication for neural networks |
US11562115B2 (en) | 2017-01-04 | 2023-01-24 | Stmicroelectronics S.R.L. | Configurable accelerator framework including a stream switch having a plurality of unidirectional stream links |
US10096134B2 (en) * | 2017-02-01 | 2018-10-09 | Nvidia Corporation | Data compaction and memory bandwidth reduction for sparse neural networks |
US10333549B1 (en) * | 2017-03-08 | 2019-06-25 | iDensify LLC | System and components for encoding integers |
US10909447B2 (en) | 2017-03-09 | 2021-02-02 | Google Llc | Transposing neural network matrices in hardware |
US10795836B2 (en) | 2017-04-17 | 2020-10-06 | Microsoft Technology Licensing, Llc | Data processing performance enhancement for neural networks using a virtualized data iterator |
US10671349B2 (en) * | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US20190081637A1 (en) * | 2017-09-08 | 2019-03-14 | Nvidia Corporation | Data inspection for compression/decompression configuration and data type determination |
KR20190066473A (ko) * | 2017-12-05 | 2019-06-13 | 삼성전자주식회사 | 뉴럴 네트워크에서 컨볼루션 연산을 처리하는 방법 및 장치 |
US11671111B2 (en) * | 2019-04-17 | 2023-06-06 | Samsung Electronics Co., Ltd. | Hardware channel-parallel data compression/decompression |
CN112465129B (zh) * | 2019-09-09 | 2024-01-09 | 上海登临科技有限公司 | 片内异构人工智能处理器 |
-
2017
- 2017-09-01 US US15/694,663 patent/US10795836B2/en active Active
- 2017-09-12 US US15/702,311 patent/US10540584B2/en active Active
- 2017-09-28 US US15/719,351 patent/US11256976B2/en active Active
- 2017-10-17 US US15/786,514 patent/US20180300602A1/en not_active Abandoned
- 2017-11-15 US US15/813,952 patent/US11182667B2/en active Active
- 2017-12-01 US US15/829,832 patent/US10963403B2/en active Active
-
2018
- 2018-01-26 US US15/881,519 patent/US11010315B2/en active Active
- 2018-04-06 EP EP18725024.6A patent/EP3612937A1/en not_active Withdrawn
- 2018-04-06 CN CN201880025503.0A patent/CN110520853B/zh active Active
- 2018-04-06 EP EP18720860.8A patent/EP3612945B1/en active Active
- 2018-04-06 EP EP18720710.5A patent/EP3612942B1/en active Active
- 2018-04-06 EP EP18720861.6A patent/EP3612946B1/en active Active
- 2018-04-06 WO PCT/US2018/026356 patent/WO2018194849A1/en unknown
- 2018-04-06 WO PCT/US2018/026354 patent/WO2018194847A1/en unknown
- 2018-04-06 CN CN201880025227.8A patent/CN110520870B/zh active Active
- 2018-04-06 CN CN201880025417.XA patent/CN110520846B/zh active Active
- 2018-04-06 EP EP18724637.6A patent/EP3612948A1/en active Pending
- 2018-04-06 CN CN202310874704.0A patent/CN116909985A/zh active Pending
- 2018-04-06 CN CN201880024892.5A patent/CN110506260B/zh active Active
- 2018-04-06 EP EP18720863.2A patent/EP3612989B1/en active Active
- 2018-04-06 CN CN201880025244.1A patent/CN110520856B/zh active Active
- 2018-04-06 EP EP18720862.4A patent/EP3612947B1/en active Active
- 2018-04-06 WO PCT/US2018/026357 patent/WO2018194850A1/en unknown
- 2018-04-06 WO PCT/US2018/026358 patent/WO2018194851A1/en unknown
- 2018-04-06 CN CN201880025504.5A patent/CN110520857B/zh active Active
- 2018-04-06 CN CN202310865940.6A patent/CN116909984A/zh active Pending
- 2018-04-06 CN CN201880025415.0A patent/CN110546628B/zh active Active
- 2018-04-06 WO PCT/US2018/026352 patent/WO2018194845A1/en unknown
- 2018-04-06 WO PCT/US2018/026353 patent/WO2018194846A1/en unknown
- 2018-04-06 WO PCT/US2018/026355 patent/WO2018194848A1/en unknown
- 2018-04-11 US US15/950,550 patent/US11100390B2/en active Active
- 2018-04-11 US US15/951,106 patent/US11100391B2/en active Active
- 2018-04-11 US US15/950,644 patent/US10628345B2/en active Active
- 2018-04-12 US US15/951,690 patent/US11205118B2/en active Active
- 2018-04-13 US US15/953,388 patent/US11405051B2/en active Active
- 2018-04-13 EP EP18721658.5A patent/EP3612990B1/en active Active
- 2018-04-13 WO PCT/US2018/027674 patent/WO2018194939A1/en unknown
- 2018-04-13 CN CN201880025488.XA patent/CN110537194B/zh active Active
- 2018-04-13 US US15/953,356 patent/US11528033B2/en active Active
- 2018-04-13 US US15/953,195 patent/US11341399B2/en active Active
- 2018-04-13 WO PCT/US2018/027680 patent/WO2018194940A1/en active Application Filing
- 2018-04-13 US US15/953,330 patent/US11476869B2/en active Active
- 2018-04-16 NZ NZ756870A patent/NZ756870A/en unknown
- 2018-04-16 CN CN201880025508.3A patent/CN110582785B/zh active Active
- 2018-04-16 MY MYPI2019006051A patent/MY201868A/en unknown
- 2018-04-16 RU RU2019136750A patent/RU2767447C2/ru active
- 2018-04-16 KR KR1020237037000A patent/KR102663557B1/ko active IP Right Grant
- 2018-04-16 AU AU2018256212A patent/AU2018256212B2/en active Active
- 2018-04-16 CN CN201880025480.3A patent/CN110546611B/zh active Active
- 2018-04-16 CN CN201880025130.7A patent/CN110546654B/zh active Active
- 2018-04-16 EP EP18722339.1A patent/EP3612933A1/en active Pending
- 2018-04-16 MX MX2019012388A patent/MX2019012388A/es unknown
- 2018-04-16 EP EP18724644.2A patent/EP3612988A2/en not_active Withdrawn
- 2018-04-16 CN CN201880025426.9A patent/CN110678843B/zh active Active
- 2018-04-16 WO PCT/US2018/027837 patent/WO2018194996A1/en unknown
- 2018-04-16 KR KR1020197033456A patent/KR102596644B1/ko active IP Right Grant
- 2018-04-16 EP EP18723123.8A patent/EP3612936B1/en active Active
- 2018-04-16 EP EP18722340.9A patent/EP3612934A1/en active Pending
- 2018-04-16 EP EP18721932.4A patent/EP3613026B1/en active Active
- 2018-04-16 JP JP2019555659A patent/JP7004741B2/ja active Active
- 2018-04-16 SG SG11201909175X patent/SG11201909175XA/en unknown
- 2018-04-16 CA CA3056660A patent/CA3056660A1/en active Pending
- 2018-04-16 CN CN201880025420.1A patent/CN110520909B/zh active Active
- 2018-04-16 CN CN201880025126.0A patent/CN110546610B/zh active Active
- 2018-04-16 CN CN202410312381.0A patent/CN118153639A/zh active Pending
- 2018-04-16 WO PCT/US2018/027835 patent/WO2018194994A2/en unknown
- 2018-04-16 WO PCT/US2018/027828 patent/WO2018194988A1/en unknown
- 2018-04-16 WO PCT/US2018/027840 patent/WO2018194998A1/en unknown
- 2018-04-16 BR BR112019021541-7A patent/BR112019021541A2/pt unknown
- 2018-04-16 WO PCT/US2018/027834 patent/WO2018194993A1/en unknown
- 2018-04-16 WO PCT/US2018/027836 patent/WO2018194995A1/en unknown
- 2018-04-16 EP EP18721665.0A patent/EP3612991B1/en active Active
-
2019
- 2019-09-05 ZA ZA2019/05874A patent/ZA201905874B/en unknown
- 2019-09-14 PH PH12019550191A patent/PH12019550191A1/en unknown
- 2019-10-04 CO CONC2019/0011014A patent/CO2019011014A2/es unknown
- 2019-10-07 IL IL269888A patent/IL269888B/en unknown
- 2019-10-07 CL CL2019002864A patent/CL2019002864A1/es unknown
- 2019-10-16 MX MX2023008178A patent/MX2023008178A/es unknown
-
2020
- 2020-04-08 US US16/843,800 patent/US11176448B2/en active Active
- 2020-07-29 US US16/942,728 patent/US11030131B2/en active Active
-
2021
- 2021-04-15 US US17/232,074 patent/US11750212B2/en active Active
-
2022
- 2022-01-25 US US17/583,499 patent/US11722147B2/en active Active
- 2022-11-11 US US18/054,851 patent/US11909422B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060047864A1 (en) * | 2004-08-26 | 2006-03-02 | International Business Machines Corporation | System and method for DMA controller with multi-dimensional line-walking functionality |
CN101253493A (zh) * | 2005-08-31 | 2008-08-27 | 微软公司 | 在图形处理单元上训练卷积神经网络 |
CN101932996A (zh) * | 2007-09-24 | 2010-12-29 | 认知电子公司 | 具有降低功耗的并行处理计算机系统及提供该系统的方法 |
US20100180100A1 (en) * | 2009-01-13 | 2010-07-15 | Mavrix Technology, Inc. | Matrix microprocessor and method of operation |
EP3035249A1 (en) * | 2014-12-19 | 2016-06-22 | Intel Corporation | Method and apparatus for distributed and cooperative computation in artificial neural networks |
TW201701199A (zh) * | 2015-05-21 | 2017-01-01 | 咕果公司 | 類神經網路處理器中之批次處理 |
CN106250981A (zh) * | 2015-06-10 | 2016-12-21 | 三星电子株式会社 | 减少存储器访问和网络内带宽消耗的脉冲神经网络 |
US20160379109A1 (en) * | 2015-06-29 | 2016-12-29 | Microsoft Technology Licensing, Llc | Convolutional neural networks on hardware accelerators |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113760182A (zh) * | 2020-06-02 | 2021-12-07 | 想象技术有限公司 | 存储器中的数据操控 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110520856A (zh) | 处理不邻近存储器作为邻近存储器以提高神经网络的性能 | |
US11501160B2 (en) | Cloud computing data compression for allreduce in deep learning | |
US11487342B2 (en) | Reducing power consumption in a neural network environment using data management | |
US11507349B2 (en) | Neural processing element with single instruction multiple data (SIMD) compute lanes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |