CN110520909B - 使用激活数据的压缩和解压缩来减少存储器带宽利用率的神经网络处理器 - Google Patents
使用激活数据的压缩和解压缩来减少存储器带宽利用率的神经网络处理器 Download PDFInfo
- Publication number
- CN110520909B CN110520909B CN201880025420.1A CN201880025420A CN110520909B CN 110520909 B CN110520909 B CN 110520909B CN 201880025420 A CN201880025420 A CN 201880025420A CN 110520909 B CN110520909 B CN 110520909B
- Authority
- CN
- China
- Prior art keywords
- zero
- data block
- block
- bytes
- compressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007906 compression Methods 0.000 title claims abstract description 109
- 230000006835 compression Effects 0.000 title claims abstract description 107
- 230000006837 decompression Effects 0.000 title claims abstract description 78
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 50
- 230000004913 activation Effects 0.000 title abstract description 77
- 210000002569 neuron Anatomy 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 abstract description 15
- 239000000872 buffer Substances 0.000 description 19
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000012546 transfer Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000004744 fabric Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000000344 soap Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 229920000638 styrene acrylonitrile Polymers 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/16—Handling requests for interconnection or transfer for access to memory bus
- G06F13/1668—Details of memory controller
- G06F13/1673—Details of memory controller using buffers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/324—Power saving characterised by the action undertaken by lowering clock frequency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/325—Power saving in peripheral device
- G06F1/3275—Power saving in memory, e.g. RAM, cache
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/0207—Addressing or allocation; Relocation with multidimensional access, e.g. row/column, matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
- G06F12/023—Free address space management
- G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0862—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with prefetch
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/10—Address translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/16—Handling requests for interconnection or transfer for access to memory bus
- G06F13/1668—Details of memory controller
- G06F13/1689—Synchronisation and timing concerns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
- G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/76—Architectures of general purpose stored program computers
- G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
- G06F15/8007—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors single instruction multiple data [SIMD] multiprocessors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30076—Arrangements for executing specific machine instructions to perform miscellaneous control operations, e.g. NOP
- G06F9/30087—Synchronisation or serialisation instructions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3854—Instruction completion, e.g. retiring, committing or graduating
- G06F9/3858—Result writeback, i.e. updating the architectural state or memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
- G06F9/3887—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by a single instruction for multiple data lanes [SIMD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/466—Transaction processing
- G06F9/467—Transactional memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5033—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering data affinity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0495—Quantised networks; Sparse networks; Compressed networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3066—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction by means of a mask or a bit-map
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
- H03M7/3088—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method employing the use of a dictionary, e.g. LZ78
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/46—Conversion to or from run-length codes, i.e. by representing the number of consecutive digits, or groups of digits, of the same kind by a code word and a digit indicative of that kind
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6005—Decoder aspects
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6011—Encoder aspects
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6058—Saving memory space in the encoder or decoder
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/70—Type of the data to be coded, other than image and sound
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/02—Topology update or discovery
- H04L45/04—Interdomain routing, e.g. hierarchical routing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/50—Routing or path finding of packets in data switching networks using label swapping, e.g. multi-protocol label switch [MPLS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/48—Indexing scheme relating to G06F9/48
- G06F2209/484—Precedence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/48—Indexing scheme relating to G06F9/48
- G06F2209/485—Resource constraint
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/10—Providing a specific technical effect
- G06F2212/1016—Performance improvement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/60—Details of cache memory
- G06F2212/6026—Prefetching based on access pattern detection, e.g. stride based prefetch
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/65—Details of virtual memory and virtual address translation
- G06F2212/657—Virtual address space management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Hardware Design (AREA)
- Neurology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Advance Control (AREA)
- Memory System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
- Power Sources (AREA)
- Bus Control (AREA)
- Complex Calculations (AREA)
- Multi Processors (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Input (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
深度神经网络(“DNN”)模块可以压缩和解压缩神经元生成的激活数据,以减少存储器总线带宽的利用率。压缩单元可以接收由DNN模块中的神经元生成的未压缩数据块。压缩单元生成压缩输出块的掩码部分和数据部分。掩码部分对未压缩数据块中的零字节和非零字节的存在和位置进行编码。数据部分存储来自未压缩数据块的截断的非零字节。解压缩单元可以从DNN处理器中的存储器或应用主机的存储器中接收压缩数据块。解压缩单元使用掩码部分和数据部分对压缩数据块进行解压缩。这可以减少存储器总线利用率,允许DNN模块更快地完成处理操作,并降低功耗。
Description
背景技术
在诸如人脑的生物神经系统中的信息处理和通信模式之后,对深度神经网络(“DNN”)进行松散建模。DNN可以被利用来解决复杂的分类问题,诸如但不限于对象检测、语义标记和特征提取。结果,DNN形成了用于诸如计算机视觉、语音标识和机器翻译之类的许多人工智能(“AI”)应用的基础。DNN在这些领域中的许多领域中都可以匹配甚至超过人类的准确性。
DNN的高级性能源于它们在对大数据集使用统计学习以获得输入空间的有效表示之后从输入数据中提取高级特征的能力。但是,DNN的卓越性能是以高计算复杂度为代价的。诸如图形处理单元(“GPU”)之类的高性能通用处理器通常被利用来提供许多DNN应用所需的高水平计算性能。
尽管像GPU之类的通用处理器可以为实现DNN提供高水平的计算性能,但是这些类型的处理器通常不适合在低功耗至关重要的计算设备中长时间执行DNN操作时使用。例如,诸如GPU之类的通用处理器可能不适合在像智能电话或交替/虚拟现实(AR/VR)设备之类的电池供电的便携式设备中执行长时间运行的DNN任务时使用,其中需要降低功耗以延长电池寿命。
在执行诸如人体移动的检测之类的连续DNN任务时,降低功耗在诸如以太网供电(“POE”)安全相机之类的非电池供电的设备中也很重要。在该特定示例中,POE交换机只能提供有限的电量,并且降低如安全相机之类的POE设备的功耗允许使用提供更少功率的POE交换机。
已经开发出可以提供高性能DNN处理、同时与通用处理器相比降低了功耗的专用集成电路(“ASIC”)。但是,尽管在该领域取得了进步,但仍然需要提高执行DNN处理的ASIC的性能并降低其功耗,尤其是对于在低功耗至关重要的计算设备中使用。
关于这些和其他技术挑战,提出了本文进行的公开。
发明内容
公开了一种DNN模块或处理器,其可以压缩和解压缩激活数据以减少存储器总线带宽的利用率。特别地,DNN模块可以利用压缩来减少神经元输出与板载(on-board)存储器或非板载(off-board)存储器之间的总线带宽的利用率。DNN模块还可以利用解压缩来减少板载存储器或非板载存储器与神经元输入之间的存储器总线带宽的利用率。减少的带宽利用率可以使得能够加快处理,并且因此还可以降低功耗。还可以通过所公开的主题的实现来实现本文未具体提及的其他技术益处。
为了实现上面简要提及的技术益处,公开了一种DNN处理器,其包括一个或多个神经元和压缩单元。压缩单元可以接收由一个或多个神经元生成的未压缩数据块。在一些实施例中,未压缩数据块包括固定数目的字节,诸如64个字节。
为了对未压缩数据块进行压缩,压缩单元可以生成压缩输出块的掩码部分和数据部分。压缩输出块的掩码部分包括与未压缩数据块中的字节的固定数目相等的数目的比特。例如,如果未压缩数据块包括64个字节的数据,则掩码部分将包括64个比特(即8个字节)。
在一些实施例中,压缩输出块的掩码部分中的每个比特对应于未压缩数据块中的一个字节。例如,掩码部分的比特一可以对应于未压缩数据块中的第一个字节,掩码部分的比特二可以对应于未压缩数据块中的第二个字节,依此类推。在其他实施例中,压缩输出块的掩码部分中的两个或更多比特对应于未压缩数据块中的一个字节。在这些实施例中,压缩输出块的掩码部分中的比特不仅可以指示未压缩块中的对应字节,还可以指示其近似量级。
当掩码部分的各个比特对应于未压缩块中的字节时,压缩单元将压缩输出块的掩码部分中的每个比特设置为逻辑假(其在本文中还可以被称为“逻辑零”),其中未压缩数据块中的对应字节包含全零(即“零字节”)。压缩单元还将压缩输出块的掩码部分中的每个比特设置为逻辑真(其在本文中还可以被称为“逻辑一”),其中未压缩数据块中的对应字节至少包含一个非零比特(即“非零字节”)。以这种方式,压缩输出块的掩码部分对未压缩数据块中零字节和非零字节的存在和位置进行编码。
压缩单元通过确定未压缩数据块中的非零字节的数目来生成压缩输出块的数据部分。然后,基于未压缩数据块中的非零字节的数目和压缩输出块的数据部分中可用的字节的数目,压缩单元确定压缩输出块的数据部分中的可用于存储未压缩数据块的每个非零字节的比特的数目。例如,如果压缩数据块的数据部分为24个字节(即192个比特)宽,并且未压缩数据块中有47个非零字节,则数据部分中存在四个比特可用于存储来自未压缩数据块中的每个非零字节。
在一些实施例中,压缩单元还可以确定在压缩输出块的数据部分中可用于存储未压缩数据块的非零字节的附加比特的数目(如果有的话)。例如,在上面给出的示例中,四个附加比特可用于存储非零字节(即192对47取余(mod)=四个比特)。压缩单元可以在截断未压缩数据块中的一个或多个非零字节之前将这些附加比特指派给该一个或多个非零字节。例如,压缩单元可以将这些附加比特指派给压缩输出块的数据部分中的前几个字节。
然后,压缩单元将未压缩数据块中的非零字节截断为数据部分中可用的所确定的比特的数目,以存储每个非零字节(即,在上述示例中为四个)。在一个实施例中,压缩单元截断非零字节的最低有效比特(“LSB”)以适合于数据部分中的可用比特数内。在另一个实施例中,压缩单元截断非零字节的最高有效比特(“MSB”)。然后,压缩单元将截断的非零字节存储在压缩输出块的数据部分中。然后可以将包括掩码部分和数据部分的压缩输出块输出到例如DNN处理器中的板载存储器或DNN处理器的应用主机的非板载存储器。
DNN模块还可以包括解压缩单元,其可以解压缩已经以上述方式压缩的数据块。例如,解压缩单元可以从DNN处理器中的存储器或应用主机的存储器中接收压缩数据块。然后,解压缩单元可以基于压缩输出块的掩码部分中的逻辑真比特的数目来确定未压缩数据块的数据部分中的非零字节的数目。解压缩单元还可以基于压缩输出块的掩码部分中的逻辑真比特的位置来确定非零字节在未压缩数据块中的位置。解压缩单元可以以类似的方式确定零字节在未压缩数据块中的位置。
解压缩单元还可以确定被压缩单元用来在压缩输出块的数据部分中存储截断的非零字节的比特的数目。解压缩单元可以基于压缩数据块中的非零字节的数目和未压缩输出块的数据部分中可用的字节的数目,确定用于存储每个截断的非零字节的比特的数目。
例如,在上面给出的示例中,如果压缩数据块的数据部分为24个字节(即192个比特)宽,并且未压缩数据块中存在47个非零字节,则压缩单元将利用四比特来将未压缩数据块的每个截断的非零字节存储在数据部分中。解压缩单元还可以确定压缩单元分配给存储在压缩输出块的数据部分中的一个或多个截断的非零字节的附加比特的数目(如果有的话)。
对于压缩输出块的掩码部分中为逻辑零的每个比特位置,解压缩单元将零字节插入到解压缩输出块的对应位置中。对于掩码部分中为逻辑一的每个位置,解压缩单元将来自压缩输入块的对应位置中的截断的非零字节以及与在压缩输出块的压缩期间被截断的比特的数目相等的数目的零比特一起插入到解压缩输出块的对应位置中。根据压缩期间哪些比特被截断,可以将零比特插入到被截断的非零字节的LSB或MSB中。
在一些实施例中,解压缩单元还向存储在解压缩输出块中的一个或多个截断的非零字节添加偏移(例如,00000001)。例如,可以将偏移添加到未压缩数据块的非零字节,该非零字节在压缩之后变为零字节。以这种方式,非零字节在压缩和解压缩时将不会变为零字节。在其他实施例中,可以将偏移添加到解压缩输出块中的所有字节。
如以上简要讨论的,本文公开的技术的实现可以减少DNN模块中的存储器总线带宽利用率,允许DNN模块更快地完成处理操作,并降低功耗。还可以通过所公开技术的实现来实现本文未具体确定的其他技术益处。
应当理解,上述主题可以被实现为计算机控制的装置、计算机实现的方法、计算设备或诸如计算机可读介质之类的制品。通过阅读以下具体实施方式并查看相关附图,这些和各种其他特征将变得显而易见。
提供本发明内容以简化形式介绍所公开技术的一些方面的简要描述,在以下具体实施方式中进一步描述。本发明内容既不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于限制所要求保护的主题的范围。此外,要求保护的主题不限于解决在本公开的任何部分中指出的任何或所有缺点的实现。
附图说明
图1是根据一个实施例的计算架构图,其示出了实现本文所公开的技术的各方面的DNN模块的配置和操作的各方面;
图2A和图2B是示出根据一个实施例的用于对激活数据进行压缩的DNN模块的配置和操作的各方面的计算系统架构图;
图3是示出根据一个实施例的用于参考示例未压缩激活数据块来对激活数据进行压缩的DNN模块的操作的各方面的数据结构图;
图4是示出根据本文公开的一个实施例的例程的流程图,该例程图示出了用于对激活数据进行压缩的所公开的DNN模块的操作的各方面;
图5A和图5B是示出根据一个实施例的用于对激活数据进行解压缩的DNN模块的配置和操作的各方面的计算系统架构图;
图6是图示出根据一个实施例的、用于参考示例压缩激活数据块来对激活数据进行解压缩的DNN模块的操作的各方面的数据结构图;
图7是示出根据本文公开的一个实施例的例程的流程图,该例程图示出了用于对激活数据进行解压缩的所公开的DNN模块的操作的各方面;
图8是根据一个实施例的示出了用于计算设备的示例性计算机硬件和软件架构的计算机架构图,该计算设备可以充当本文提出的DNN模块的应用主机;和
图9是图示出根据本文提出的各种实施例在其中可以实现所公开技术的各方面的分布式计算环境的网络图。
具体实施方式
以下详细描述针对一种DNN模块,该模块可以压缩和解压缩激活数据以减少存储器总线带宽的利用率。如以上简要讨论的,所公开技术的实现可以减少DNN模块中的存储器总线带宽利用率,允许DNN模块更快地完成处理操作,并降低功耗。还可以通过所公开的主题的实现来实现本文未具体提及的其他技术益处。
虽然在硬件DNN模块的一般上下文中呈现本文所述的主题,但本领域技术人员将认识到,可以结合其他类型的计算系统和模块来执行其他实现。本领域技术人员还将认识到,本文描述的主题可以与其他计算机系统配置一起被实践,包括手持式设备、多处理器系统、基于微处理器的或可编程的消费电子产品、嵌入在设备中的计算或处理系统(诸如可穿戴计算设备、汽车、家庭自动化等)、小型计算机、大型计算机等等。
如下面将更详细描述的,公开了一种被配置为压缩其神经元的输出的DNN模块。压缩的输出可以被存储在DNN模块上的存储器中,或者可以被存储在DNN模块外部的存储器中,诸如由应用主机为DNN模块提供的存储器。DNN模块随后可以对先前压缩的数据进行解压缩,并将解压缩数据提供给神经元。
根据一个实施例,DNN处理器中的压缩单元以固定的压缩比(例如2:1)压缩未压缩的激活数据的固定长度块(例如64个字节)。由压缩单元生成的压缩激活数据可以包括具有固定长度(例如32个字节)的数据块,其包括固定长度的掩码部分(例如8个字节)和固定长度的数据部分(例如24个字节)。
在一个实施例中,压缩输出块的掩码部分的比特对应于未压缩输入块内的字节。例如,掩码部分的第一比特可以对应于未压缩输入块中的第一字节,掩码部分的第二比特可以对应于未压缩输入块中的第二字节,依此类推。如果未压缩输入块中的字节为零,则可以将压缩激活数据的掩码部分中的对应比特设置为逻辑零,并且如果未压缩输入块中的字节为非零,则可以将压缩激活数据的掩码部分中的对应比特设置为逻辑一。
如以上简要讨论的,在一些实施例中,压缩输出块的掩码部分中的两个或更多比特对应于未压缩数据块中的字节。在这些实施例中,压缩输出块的掩码部分中的比特不仅可以指示未压缩块中的对应字节,还可以指示其近似量级。
压缩输出块的数据部分包括未压缩输入块的非零字节,这些非零字节已经被截断以使用压缩数据部分中的可用比特数表示输入块的非零字节。在一些实施例中,通过将数据部分中的可用比特的总数(例如192个比特)除以未压缩输入块中的非零字节数,来确定针对每个非零字节的压缩输出块的数据部分中的可用比特的数目。该计算的结果指示压缩输出块的数据部分中可用于表示未压缩输入块中的非零数据的每个字节的比特数。任何剩余比特可以被用来提供附加比特,以用于表示压缩输出块的数据部分中的一些非零值。
一旦确定了压缩输出块的数据部分中可用于表示未压缩输入块中的每个非零字节的比特数,就将未压缩输入块中的非零值的LSB截断以适合于可用比特数内。在其他实施例中,非零值的MSB可以被截断。截断的非零值然后可以被存储在压缩输出块的数据部分中。可以对未压缩输入激活值的每个块重复此过程。然后可以将压缩输出块存储在模块上或模块外的存储器中,以供以后进行解压缩并由神经元使用。
所公开的DNN模块还可以包括解压缩单元,该解压缩单元用于对已经由压缩单元以上述方式压缩的激活值进行解压缩。解压缩单元接收包括掩码部分和数据部分的压缩激活数据块。解压缩单元可以利用掩码部分的比特来标识将在解压缩输出块中出现的非零字节的数目以及它们在解压缩输出块中的位置。该掩码还指示零字节在解压缩输出块中的位置。
在一些实施例中,解压缩单元通过将压缩块的数据部分中的可用比特总数(例如192个比特)除以由掩码指定的未压缩输入块中的非零字节数来确定由压缩单元用来表示每个非零字节的比特数。解压缩单元还可以假设压缩单元使用任何剩余比特来提供附加比特,以用于表示压缩块的数据部分中的一些非零值(例如,前N个值)。
对于掩码中为逻辑零的每个比特位置,解压缩单元可以将零字节插入到其对应位置处的解压缩输出块中。对于掩码中为逻辑一的每个比特位置,解压缩单元将来自压缩输入块的数据部分中的对应位置的截断的非零字节插入到解压缩输出块中的对应位置处。解压缩单元还在非零值的LSB或MSB中适当地插入零,以替换压缩期间被截断的那些比特。
在一些实施例中,解压缩单元向被截断的非零值添加偏移值以确保解压缩时非零未压缩值不会变为零字节。然后可以将解压缩输出块存储在模块上或模块外的存储器中,以供神经元使用。下面将提供有关DNN模块、压缩单元和解压缩单元的操作的其他详细信息。
在下面的详细描述中,对构成其一部分的附图进行了参考,并且通过图示的方式示出了具体的配置或示例。现在参考附图,其中在所有几个附图中相同的附图标记表示相同的元件,将描述可以对激活数据进行压缩和解压缩以减少存储器总线带宽利用率的DNN模块的各方面。
图1是根据一个实施例的计算架构图,其示出了实现本文所公开的技术的DNN模块105的配置和操作的各方面。在一些实施例中,本文公开的DNN模块105被配置为解决分类问题(和相关问题),诸如但不限于对象检测、语义标记和特征提取。
为了提供此功能性,DNN模块105可以实现仅召回神经网络,并以编程方式支持各种各样的网络结构。可以在服务器场、数据中心或其他合适的计算环境中脱机执行由DNN模块105实施的对于网络的训练。训练DNN的结果是可以被称为“权重”或“内核”的参数集合。这些参数表示可以被应用于输入的转换函数,其结果是分类或语义标记的输出。
本文公开的DNN模块105可以被认为是超标量处理器。DNN模块105可以将一个或多个指令调度到多个执行单元(被称为神经元105F)。执行单元可以是“同时调度同时完成”,其中每个执行单元与每个其他执行单元同步。DNN模块105可以被分类为单个指令流、多个数据流(“SIMD”)架构。
DNN模块105包括多个神经元105F(例如,二的幂)。神经元105F是人工神经网络中的基本单元,其被用来对大脑中的生物神经元进行建模。神经元105F的模型可以包括输入矢量与被添加到偏置的权重矢量的内积,并且应用了激活函数。由本文描述的DNN模块105中的神经元105F执行的处理被紧密地映射到人造神经元。
DNN模块105中的每个神经元105F能够执行加权和、最大池化、旁路以及潜在的其他类型的操作。神经元105F处理每个时钟周期的输入和权重数据。就内核内的过程而言,每个神经元105F与所有其他神经元105F同步,以将DNN模块105内的内核数据的流动最小化。
每个神经元105F可以包含乘法器、加法器、比较器以及多个累加器(图1中未示出)。通过具有多个累加器,神经元105F能够一次为多个不同的活动内核维持上下文。每个累加器能够从BaSRAM 150的读取来进行加载(如下所述)。累加器可以将它们自己与来自其他神经元105F的其他累加器的内容进行求和。
DNN模块105接受平面数据作为输入,诸如图像数据。然而,到DNN模块105的输入不限于图像数据。而是,DNN模块105可以对以统一平面格式呈现给DNN模块105的任何输入数据进行操作。在一个特定实施例中,DNN模块105可以接受多平面一字节或两字节数据帧作为输入。
每个输入帧可以与NxKxHxW个内核集合进行卷积,其中N是内核数,K是每个内核的通道数,H是高度,并且W是宽度。在跨输入数据的重叠间隔上执行卷积,其中间隔由X和Y方向上的步幅来定义。这些函数由神经元105F执行,并由DNN模块105和软件可见控制寄存器进行管理。
DNN模块105支持三种主要的数据类型:权重;输入数据/特征图;和激活数据。在大多数情况下,输入数据/特征图和激活数据是针对同一数据的两个名称,区别在于当指代层的输出时,使用术语激活数据。当指代层的输入时,使用术语输入数据/特征图。
DNN模块105中的神经元105F计算其输入的加权和,并将加权和通过“激活函数”或“传递函数”传递。传递函数通常具有S形形状,但也可以采取以下形式:分段线性函数、阶跃函数或另一类型的函数。激活函数允许神经元105F在分类边界为非线性的情况下训练到更大组的输入和所期望的输出。
DNN模块105在与神经网络的层相对应的层描述符的列表上进行操作。DNN模块105可以将层描述符的列表视为指令。可以将这些描述符从存储器中预先提取到DNN模块105中并按顺序执行。描述符列表充当对DNN模块105的指令集。可以在DNN模块105外部的设备上执行软件工具和/或编译器,以创建在DNN模块105上执行的描述符列表。
通常,可以存在两大类的描述符:存储器到存储器移动(“M2M”)描述符;和操作描述符。M2M描述符可以被用来将数据在主存储器与本地缓冲器(即下述的行缓冲器125)之间往返移动,以供操作描述符消耗。M2M描述符遵循与操作描述符不同的执行管道。用于M2M描述符的目标管道可以是内部DMA引擎105B或配置寄存器105G,而用于操作描述符的目标管道可以是神经元105F。
操作描述符指定如下特定操作:神经元105F应该在位于本地静态随机存取存储器(“SRAM”)存储器中的数据结构上执行。操作描述符按顺序进行处理,并且能够执行许多不同的层操作,本文中至少描述了其中一些。
如图1中所图示,DNN模块105具有存储器子系统,该存储器子系统具有唯一的L1和L2缓冲器结构。图1中所示的L1和L2缓冲器是专门为神经网络处理而设计的。举例来说,L2缓冲器150可以通过以所选择的频率操作的高速专用接口来维持所选择的存储容量。L1缓冲器125可以维持所选择的存储容量,该所选择的存储容量可以在内核和激活数据之间进行分割。L1缓冲器125在本文中可以被称为“行缓冲器125”,并且L2缓冲器150在本文中可以被称为BaSRAM 150。
在一些实施例中,计算数据(即,输入数据、权重和激活数据)以行优先(row-major)被存储在BaSRAM 150中。可以将计算数据组织为两个行缓冲器,其中在本文中可被称为“输入缓冲器”的一个行缓冲器包含输入数据,并且可被称为“权重缓冲器”的另一个行缓冲器包含内核权重。由加载/存储单元105C从BaSRAM 150填充行缓冲器。在每个行缓冲器中累积数据,直到其达到其预定容量为止。然后在一些实施例中,将行缓冲器数据复制到阴影缓冲器,并呈现给神经元105F。
DNN模块105还可以包括许多其他组件,包括但不限于寄存器接口105G、预取单元105A、保存/恢复单元105E、层控制器105D和寄存器接口105G。在一些实施例中,DNN模块105可以包括附加的或替代的组件。
在一些配置中,DNN模块105与其他外部计算组件结合来操作。例如,在一些实施例中,DNN模块105连接到主机应用处理器片上系统(“主机SoC”)130。DNN模块105可以例如通过PCIe接口连接到主机SoC 130。诸如PCIe端点135之类的适当的PCIe组件可以被利用来启用这些连接。
主机SoC 130用作DNN模块105的应用处理器。主操作系统、应用和辅助传感器处理由主机SoC 130执行。主机SoC 130还可以被连接到诸如外部相机之类的输入数据源102,其将诸如图像数据之类的输入数据提供给DNN模块105。
DDR DRAM 155还可以连接到可以被用作主系统存储器的主机SoC 130。该存储器可以通过存储器控制器145在高带宽结构120(例如PCIe总线)上从主机SoC 130进行存取。高带宽结构120向双向直接存储器存取(“DMA”)提供小型消息收发事务和较大DMA事务。桥接器115和低带宽结构110可以将DNN模块105连接到主机SoC 130,以用于子模块配置和其他功能。
DNN模块105可以包括被配置为将数据移入和移出主存储器155的DMA引擎105B。在一些实施例中,DMA引擎105B具有两个通道。一个通道专用于提取操作描述符,而另一个通道专用于M2M操作。可以将DMA描述符嵌入在M2M描述符中。在这种上下文中,描述符是DMA描述符,其被用来移动存储器的内容,请勿与上述操作描述符混淆。
为了卸载本地BaSRAM存储器150,并为输入数据和权重数据提供更多的空间,可以可选地将激活输出直接流式传输到DDR存储器155。当将数据流式传输到DDR存储器155时,DNN模块105将累积足够的数据用于高带宽结构120上的突发事务,并将缓冲足够的事务以将神经元105F上的背压最小化。下面将提供关于DNN模块105的操作的其他细节。
图2A和图2B是示出根据一个实施例的用于对激活数据进行压缩的DNN模块105的配置和操作的各方面的计算系统架构图。如图2中所示并且如在上面简要讨论的,DNN模块105包括一个或多个神经元105F和压缩单元200。在一些实施例中,压缩单元200由加载/存储单元105C实现,但是在其他实施例中可以以其他方式实现。
压缩单元200可以接收由一个或多个神经元105F生成的未压缩激活数据块202。在一些实施例中,未压缩数据块202包括固定数目的字节,诸如64个字节。
压缩单元200可以对未压缩数据块202进行压缩以生成压缩激活数据块204。然后,可以将压缩激活数据块204存储在存储器206中。例如,压缩激活数据块204可以被存储在由应用主机提供的LPDDR4存储器155中,或者可以被存储在由DNN模块105提供的BASRAM 150中。如下面将更详细地公开的,当从LPDDR4存储器155或BASRAM 150存储或取回压缩或解压缩的激活数据时,本文公开的技术可以利用压缩和解压缩来减少存储器总线利用率的利用率。关于这些技术的附加细节在下面关于图2A-图9而被公开。
如图2B中所图示,压缩单元200可以生成压缩输出数据块204的掩码部分208和数据部分210。压缩输出块204的掩码部分208包括与未压缩数据块202中的固定字节数相等的数目的比特。例如,如果未压缩数据块202包括64个字节的数据,则压缩输出块204的掩码部分208将包括64个比特(即8个字节)。
在一些实施例中,压缩输出块204的掩码部分208中的每个比特对应于未压缩数据块202中的一个字节。例如,掩码部分208的比特一可以对应于未压缩数据块202中的第一字节,掩码部分208的比特二可以对应于未压缩数据块202中的第二字节,以此类推。
压缩单元200将压缩输出块204的掩码部分208中的每个比特设置为逻辑零,其中,未压缩数据块202中的对应字节为零字节。压缩单元200还将压缩输出块204的掩码部分208中的每个比特设置为逻辑一,其中,未压缩数据块202中的对应字节是非零字节。以这种方式,压缩输出块204的掩码部分208对未压缩数据块202中的零字节和非零字节的存在和位置进行编码。
压缩单元200通过确定未压缩数据块202中的非零字节数来生成压缩输出块204的数据部分210。然后,压缩单元200基于未压缩数据块202中的非零字节数和压缩输出块204的数据部分210中可用的字节数,来确定压缩输出块204的数据部分210中的、可用于存储未压缩数据块202的每个非零字节的比特的数目。例如,如果压缩数据块204的数据部分210为24个字节(即192个比特)宽,并且未压缩数据块202中存在47个非零字节,则数据部分210中的四个比特可用于存储来自未压缩数据块202的每个非零字节。
在一些实施例中,压缩单元200还可以确定压缩输出块204的数据部分210中的、可用于存储未压缩数据块202的非零字节的附加比特的数目(如果有的话)。在以上给出的示例中,例如,四个附加比特可用于存储非零字节(即192对47取余(mod)=四个比特)。压缩单元200可以在截断未压缩数据块204中的一个或多个非零字节之前将这些附加比特指派给该一个或多个非零字节。例如,压缩单元200可以将这些附加比特指派给压缩输出块204的数据部分210中的前N个字节。
然后,压缩单元200将未压缩数据块202中的非零字节截断为数据部分210中可用的、用以存储每个非零字节的所确定的比特的数目(即,在上述示例中为四个)。在一个实施例中,压缩单元200截断非零字节的LSB以适合数据部分210中的可用比特数。在另一个实施例中,压缩单元200截断非零字节的MSB。压缩单元200然后将被截断的非零字节存储在压缩输出块204的数据部分210中。然后可以将包括掩码部分208和数据部分210的压缩输出块204输出到例如DNN模块105中的板载存储器或DNN模块105的应用主机的非板载存储器。下面将关于图3和图4提供关于上述压缩过程的其他细节。
如以上简要讨论的,在一些实施例中,压缩输出块204的掩码部分208中的两个或更多比特对应于未压缩数据块202中的字节。在这些实施例中,压缩输出块204的掩码部分208中的比特可以不仅指示未压缩块202中的对应字节,而且还指示其近似量级。例如而非限制,掩码部分208可以在未压缩数据块202中每字节包括两比特。在该示例中,00可以指示在未压缩数据块202中对应的非零值的MSB是零,01可以指示MSB<64,10可以指示MSB<128,并且11可以指示MSB>128。这些值可以被利用来标识未压缩数据块202中的字节的哪个MSB可以被截断。例如,如果特定字节的MSB<64,则可以将前两个MSB截断而不会丢失数据。
图3是图示了根据一个实施例的用于参考示例未压缩激活数据块202来对未压缩激活数据块202进行压缩的DNN模块105的操作的各方面的数据结构图。在图3所示的示例中,未压缩激活数据块202为64个字节长。未压缩激活数据块202的字节零、一和63是零字节。未压缩激活数据块202的字节二、三和62是非零字节,分别存储值112、121和二。示例未压缩激活数据块202的字节4至61可以存储零或非零字节。
如上所讨论,压缩单元200可以生成掩码部分208,其对未压缩激活数据块202中的零字节和非零字节的存在和位置进行编码。在该示例中,例如,掩码部分208的比特零、一和63已被设置为逻辑零,以指示在未压缩激活数据块202中的对应位置中存在零字节。类似地,掩码部分208的比特二、三和62已被设置为逻辑一,以指示未压缩激活数据块202的字节二、三和62存储非零字节。
如上所讨论,压缩单元200通过确定未压缩数据块202中的非零字节数来生成压缩输出块204的数据部分210。例如,在图3中所示的示例中,未压缩数据块202包括47个非零字节(图3中未全部示出)。然后,压缩单元200基于未压缩数据块202中的非零字节数以及压缩输出块204的数据部分210中的可用字节数,来确定压缩输出块204的数据部分210中的、可用于存储未压缩数据块202的每个非零字节的比特的数目。
例如,在图3中所示的示例中,压缩数据块204的数据部分210是24个字节(即192个比特)宽,并且未压缩数据块202中存在47个非零字节。结果,在数据部分210中存在四个比特可用,以存储来自未压缩数据块202的每个非零字节(即192/47=4余数4)。
还如上所讨论,压缩单元200还可以确定压缩输出块204的数据部分210中的、可用于存储未压缩数据块202的非零字节的附加比特的数目(如果有的话)。在图3中所示的示例中,例如,四个附加比特可用于存储非零字节(即192对47取余(mod)=四个比特)。压缩单元200可以在截断未压缩数据块204中的一个或多个非零字节之前将这些附加比特指派给该一个或多个非零字节。在图3中所示的示例中,已经将四个附加比特之一指派给未压缩激活数据块202中的前四个非零字节中的每一个非零字节。结果,未压缩激活数据块202的前四个字节将被截断为五个比特而不是四个比特。
压缩单元200然后将未压缩数据块202中的非零字节截断为数据部分210中可用的、用以存储每个非零字节的所确定的比特的数目(即,对于前四个非零字节为五个比特——在上面的示例中为四个)。在图3中所示的示例中,在一个实施例中,压缩单元200截断非零字节的LSB以适合数据部分210中的可用比特数(即,在该示例中为四)。在另一个实施例中,压缩单元200截断非零字节的MSB。
如图3中所示,未压缩激活数据块202的第二字节存储值113(01110001)。因为已经将五个比特指派给了未压缩激活数据块202中的前四个非零值,所以该值的三个LSB被截断,导致值01110被存储在压缩激活数据块210中的第一位置中。未压缩激活数据块202的第三字节存储值121(01111001)。因为已经将五个比特指派给了未压缩激活数据块202中的前四个非零值,所以该值的三个LSB被截断,导致值01111被存储在压缩激活数据块210中的第二位置中。
在图3中所示的示例中,未压缩激活数据块202的第62个字节存储值2(00000010)。由于已将四个比特指派给了未压缩激活数据块202中的第5至第63个非零值,因此该值的四个LSB被截断,导致值0000被存储在压缩激活数据块210中的第62个位置中。未压缩激活数据块202中的其他非零字节可以以类似的方式被截断并存储在压缩激活数据块204的数据部分210中。
一旦未压缩激活数据块202的所有非零字节都已被存储在数据部分203中,则压缩单元200将包括掩码部分208和数据部分210的压缩输出块204存储在例如DNN模块105中的板载存储器中或DNN模块105的应用主机的非板载存储器中。在下面关于图4提供关于压缩过程的附加细节。
图4是示出根据本文公开的一个实施例的例程400的流程图,该例程图示出了用于对未压缩激活数据块202进行压缩的DNN模块105的操作的各方面。应当理解的是,本文中关于图4和其他图描述的逻辑操作可以被实现为:(1)在计算设备上运行的一系列计算机实现的动作或程序模块,和/或(2)在计算设备内的互连机器逻辑电路或电路模块。
本文公开的技术的特定实现是取决于计算设备的性能和其他要求的选择问题。因此,本文描述的逻辑操作被不同地称为状态、操作、结构设备、动作或模块。这些状态、操作、结构设备、动作和模块可以以硬件、软件、固件、专用数字逻辑及其任何组合来实现。应当理解,可以执行比附图中所示并在本文中所述的更多或更少的操作。这些操作还可以以与本文描述的顺序不同的顺序来执行。
例程400在操作402开始,其中压缩单元200确定未压缩激活数据块202中的非零字节数。然后,例程400进行到操作404,其中压缩单元200确定未压缩激活数据块202中的非零字节数是否小于或等于压缩激活数据块204中的数据部分210中可用的字节数。如果非零字节数小于或等于压缩激活数据块204的数据部分210中可用的字节数,则不需要压缩未压缩激活数据块202的非零字节。因此,在这种情况下,例程400继续进行到操作408,其中非零字节被存储在数据部分210中而没有被截断。
如果未压缩激活数据块202中的非零字节数大于压缩激活数据块204中的数据部分210中可用的字节数,则例程400从操作406进行到操作412。在操作412处,压缩单元200确定压缩输出数据块204的数据部分210中的、可用于以上述方式存储未压缩激活数据块202的被截断的非零字节的比特的数目。然后,例程400从操作412进行到操作414。
在操作414处,压缩单元200确定在压缩输出块204的数据部分210中的、可用于存储未压缩数据块202的非零字节的附加比特的数目(如果有的话)。如上所讨论,压缩单元200可以在截断未压缩数据块202中的一个或多个非零字节之前将这些附加比特指派给该一个或多个非零字节。这在操作416处发生。
例程400从操作416进入操作418,其中压缩单元200将压缩激活数据块204的掩码部分208中的比特设置为逻辑一,其中未压缩激活块202中的对应字节不为零。压缩单元200还将压缩激活数据块204的掩码部分208中的比特设置为逻辑零,其中未压缩激活块202中的对应字节为零。
例程400然后从操作418进入操作420,其中压缩单元200将未压缩数据块202中的非零字节的LSB或MSB截断为数据部分210中可用于每个非零字节的所确定的比特的数目。被截断的非零字节然后被存储在压缩激活数据块204的数据部分210中。压缩单元200然后将包括掩码部分208和数据部分210的压缩输出块204存储在DNN模块105中的板载存储器中或在DNN模块105的应用主机的非板载存储器中。例程400从操作408和420前进到操作410,其在此结束。
图5A和图5B是示出根据一个实施例的用于对压缩激活数据进行解压缩的DNN模块105的配置和操作的各方面的计算系统架构图。如以上简要讨论的以及如图5A和图5B中所示,DNN模块105还可以包括解压缩单元500,其可以对已经以上述方式压缩的激活数据块204进行解压缩。
例如,解压缩单元500可以从诸如DNN处理器中的存储器或应用主机的存储器之类的存储装置206接收压缩激活数据块204。然后,解压缩单元500可以基于压缩块204的掩码部分208中的逻辑真比特的数目来确定压缩数据块204的数据部分210中的非零字节数。解压缩单元500还可以基于压缩输出块204的掩码部分208中的逻辑真比特的位置来确定解压缩数据块502中的非零字节的位置。解压缩单元500可以以类似的方式确定零字节在解压缩数据块502中的位置。
解压缩单元500还可以确定被压缩单元200用来将每个被截断的非零字节存储在压缩输出块204的数据部分210中的比特的数目。解压缩单元500可以基于压缩数据块204中的非零字节数(如掩码部分208所指示的)和解压缩输出块502的目标大小来确定被用来存储每个被截断的非零字节的比特数。
例如,在上面给出的示例中,如果压缩数据块204的数据部分为24个字节(即192个比特)宽,并且在未压缩数据块202中有47个非零字节,则这意味着压缩单元200利用四个比特将未压缩数据块202的每个截断的非零字节存储在数据部分210中。解压缩单元500还可以确定压缩单元200中被分配给存储在压缩输出块204的数据部分210中的一个或多个截断的非零字节的附加比特的数目(如果有的话)。
对于压缩输出块204的掩码部分208中为逻辑零的每个比特位置,解压缩单元500将零字节插入到解压缩输出块502的对应位置中。对于掩码部分208中为逻辑一的每个位置,解压缩单元500将来自压缩输入块204的对应位置的截断的非零字节以及与压缩输出块204的压缩期间被截断的比特数相等的数目的零比特一起插入到解压缩输出块502的对应位置中。取决于压缩期间哪些比特被截断,可以将零比特插入到被截断的非零字节的LSB或MSB中。
如上所提及,在一些实施例中,解压缩单元500还向存储在解压缩输出块502中的一个或多个截断的非零字节添加偏移(例如,00000001)。例如,可以将偏移添加到未压缩数据块202的非零字节,该非零字节在压缩之后变为零字节。以这种方式,非零字节在解压缩时将不会变为零字节。
图6是图示出根据一个实施例的、用于参考示例压缩激活数据块来对激活数据进行解压缩的DNN模块105的操作的各方面的数据结构图。图6中所示的示例图示出了在以上关于图3描述的示例中生成的压缩激活数据204的解压缩。如图6中所示,掩码部分208在比特零、一和63中存储零,并且在比特二、三和62中存储一。数据部分210以图6中所示的方式存储值01110、01111和0000。
当解压缩单元500执行上述处理操作时,掩码部分208的第一比特位置中的逻辑零将使解压缩单元500将零字节存储为解压缩激活数据块502的第一字节。类似地,掩码部分208的第二比特位置中的逻辑零将使解压缩单元500将零字节存储为解压缩激活数据块502的第二字节。
掩码部分208的第三位置中的逻辑一将使解压缩单元500取回数据部分210的前五个比特(即01110)并插入三个LSB,从而得到值01110000(112),其被存储为解压缩激活数据块502的第三字节。类似地,掩码部分208的第四比特位置中的逻辑一将使解压缩单元500取回数据部分210的第二个五个比特(即01111)并插入三个LSB,从而得到值01111000(120),其被存储为解压缩激活数据块502的第四字节。
掩码部分208的第63个比特位置中的逻辑一将使解压缩单元500取回数据部分210的最后四个比特(即0000)并插入四个零LSB,从而得到被存储在解压缩激活数据块502的第63个字节位置中的零值。掩码部分208的最后比特位置中的逻辑零将使解压缩单元500将零字节存储为解压缩数据块502的最后一个字节。
如上所讨论,解压缩单元500可以将偏移值添加到解压缩激活数据块502中的某些字节。例如,解压缩单元500可以将偏移值(诸如00000001)添加到在压缩激活数据块204中被压缩为零字节的但在未压缩激活数据块202中是非零的字节中。
在图6中所示的示例中,数据部分210中的最后一个字节在未压缩激活数据块202中为非零(即二),但是在压缩激活数据块504中变为零。因此,解压缩单元500可以将偏移值(诸如00000001)添加到该字节,从而确保未压缩激活数据块202中的非零字节将不被压缩为零字节。
图7是示出了根据本文公开的一个实施例的例程700的流程图,该例程图示出了用于对激活数据进行解压缩的DNN模块105的操作的各方面。例程700开始于操作702,其中解压缩单元500利用压缩激活数据块204的掩码部分208来确定非零字节的数目及其在解压缩激活数据502块中的位置。
例程700从操作702进行到操作704,其中解压缩单元500确定压缩激活数据块204中的非零字节数是否小于或等于解压缩激活数据块502的字节数。如上所讨论,如果非零字节数小于或等于解压缩激活数据块502的字节数,则不需要对压缩激活数据块204的非零字节进行解压缩。因此,在这种情况下,例程700进行到操作708,其中将压缩激活数据块204中的非零字节存储在解压缩激活数据块502中而无需修改。
如果压缩激活数据块504中的非零字节数大于解压缩激活数据块502中的非零字节数,则例程700从操作4706进行到操作712。在操作712处,解压缩单元500确定压缩输出数据块204的数据部分210中的、被压缩单元200用来存储未压缩激活数据块202的每个被截断的非零字节的比特的数目。例程700然后以上述方式从操作712进行到操作714。
在操作714处,解压缩单元500确定被用来存储未压缩数据块202的非零字节的附加比特的数目(如果有的话)。解压缩单元500可以以上述方式将这些附加比特指派给解压缩数据块502中的一个或多个非零字节。这在操作716处发生。
例程700从操作716进入操作718,其中对于压缩输出块204的掩码部分208中为逻辑零的每个比特位置,解压缩单元500将零字节插入到解压缩输出块502的对应位置中。对于压缩输出块204的掩码部分208中为逻辑一的每个比特位置,解压缩单元500将来自压缩输入块204的对应位置的截断的非零字节以及与压缩输出块204的压缩期间被截断的比特数相等的数目的零比特一起插入到解压缩输出块502的对应位置中。取决于压缩期间哪些比特被截断,可以将零比特插入到被截断的非零字节的LSB或MSB中。这在操作720处发生。
在一些实施例中,解压缩单元500还可以向存储在解压缩输出块502中的一个或多个截断的非零字节添加偏移值。例如,可以将偏移量添加到未压缩数据块202的非零字节,该非零字节在压缩之后变为零字节。以这种方式,非零字节在压缩和解压缩时将不会变为零字节。在其他实施例中,可以将偏移添加到解压缩激活数据块502中的所有字节。
然后,解压缩单元500将解压缩输出块502存储在DNN模块105中的板载存储器中或DNN模块105的应用主机的非板载存储器中,以供神经元105F使用。例程400从操作708和720前进至操作710,其在此结束。
图8是示出了用于计算设备的示例性计算机硬件和软件架构的计算机架构图,该计算设备可以充当本文提出的DNN模块105的应用主机。特别地,图8中所图示的架构可以被利用来实现服务器计算机、移动电话、电子阅读器、智能电话、台式计算机、AR/VR设备、平板计算机、膝上型计算机或适合与DNN模块105一起使用的另一种类型的计算设备。
图8中所图示的计算机800包括中央处理单元802(“CPU”)、系统存储器804和系统总线810,系统总线810将存储器804耦合到CPU 802,系统存储器804包括随机存取存储器806(“RAM”)和只读存储器(“ROM”)808。包含诸如在启动期间帮助在计算机800内的元件之间传递信息的基本例程在内的基本输入/输出系统(“BIOS”或“固件”)可以被存储在ROM808中。计算机800还包括大容量存储设备812,大容量存储设备812用于存储操作系统822、应用程序和其他类型的程序。大容量存储设备812还可以被配置为存储其他类型的程序和数据。
大容量存储设备812通过连接到总线810的大容量存储控制器(未示出)而连接到CPU 802。大容量存储设备812及其关联的计算机可读介质为计算机800提供了非易失性存储。尽管对本文所包含的计算机可读介质的说明是指大容量存储设备,诸如硬盘、CD-ROM驱动器、DVD-ROM驱动器或USB存储密钥,但本领域技术人员应理解,计算机可读介质可以是计算机800可以访问的任何可用计算机存储介质或通信介质。
通信介质包括诸如载波或其他传输机制的调制数据信号中的计算机可读指令、数据结构、程序模块或其他数据,并且包括任何递送介质。术语“调制数据信号”意指具有以将信息编码在信号中的方式改变或设置其一个或多个特性的信号。作为示例而非限制,通信介质包括:诸如有线网络或直接有线连接之类的有线介质,以及诸如声学、射频、红外和其他无线介质之类的无线介质。以上任何内容的组合也应被包括在计算机可读介质的范围内。
作为示例而非限制,计算机存储介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。例如,计算机存储介质包括但不限于RAM、ROM、EPROM、EEPROM、闪存或其他固态存储器技术、CD-ROM、数字多功能磁盘(“DVD”)、HD-DVD、BLU-RAY或其他光学存储设备、磁带盒、磁带、磁盘存储装置或其他磁性存储设备、或可以被用来存储所期望的信息并可由计算机800访问的任何其他介质。对于权利要求书而言,短语“计算机存储介质”及其变体不包括波或信号本身或通信介质。
根据各种配置,计算机800可以使用通过诸如网络820之类的网络到远程计算机的逻辑连接来在联网环境中操作。计算机800可以通过连接到总线810的网络接口单元816而连接到网络820。应当理解,网络接口单元816还可以被利用来连接到其他类型的网络和远程计算机系统。计算机800还可以包括用于接收和处理来自许多其他设备的输入的输入/输出控制器818,包括键盘、鼠标、触摸输入、电子笔(图8中未示出)或诸如摄像机之类的物理传感器。类似地,输入/输出控制器818可以将输出提供给显示屏或其他类型的输出设备(在图8中也未示出)。
应当理解,本文描述的软件组件在被加载到CPU 802中并被执行时,可以将CPU802和整个计算机800从通用计算设备转换为被定制来促进本文介绍的功能性的专用计算设备。CPU 802可以由任意数目的晶体管或其他分立电路元件构成,它们可以单独或共同地呈现任意数目的状态。更具体地,响应于本文公开的软件模块内所包含的可执行指令,CPU802可以作为有限状态机操作。这些计算机可执行指令可以通过指定CPU 802如何在状态之间转移来对CPU 802进行变换,从而对构成CPU 802的晶体管或其他分立的硬件元素进行变换。
对本文提出的软件模块进行编码还可以变换本文提出的计算机可读介质的物理结构。在本说明书的不同实现中,物理结构的特定变换取决于各种因素。这种因素的示例包括但不限于用于实现计算机可读介质的技术,计算机可读介质被表征为主要存储装置还是辅助存储装置等。例如,如果计算机可读介质被实现为基于半导体的存储器,则可以通过变换半导体存储器的物理状态来将本文公开的软件编码在计算机可读介质上。例如,该软件可以变换构成半导体存储器的晶体管、电容器或其他分立电路元件的状态。该软件还可以变换这些组件的物理状态,以便在其上存储数据。
作为另一个示例,可以使用磁性或光学技术来实现本文公开的计算机可读介质。在这种实现中,当软件被编码在其中时,本文提出的软件可以变换磁性或光学介质的物理状态。这些变换可以包括改变给定磁性介质内的特定位置的磁性特性。这些变换还可以包括改变给定光学介质内的特定位置的物理特征或特性,以改变那些位置的光学特性。在不背离本说明书的范围和精神的情况下,物理介质的其他变换是可能的,提供前述示例仅是为了促进该讨论。
鉴于以上所述,应当理解,在计算机800中发生了许多类型的物理变换,以便存储和执行本文提出的软件组件。还应当理解,图8中所示的用于计算机800的架构是可替代的,或者类似的架构可以被利用来实现其他类型的计算设备,包括手持计算机、视频游戏设备、嵌入式计算机系统、诸如智能电话、平板电脑和AR/VR设备之类的移动设备、以及本领域技术人员已知的其他类型的计算设备。还可以想到,计算机800可以不包括图8中所示的所有组件,可以包括在图8中未明确示出的其他组件,或者可以利用与图8中所示的架构完全不同的架构。
图9是图示出了根据本文提出的各种实施例在其中可以实现所公开技术的各方面的分布式网络计算环境900的网络图。如图9中所示,一个或多个服务器计算机900A可以经由通信网络820(其可以是固线或无线LAN、WAN、内联网、外联网、对等网络、虚拟专用网、互联网、蓝牙通信网络、专有低压通信网络或其他通信网络中的任一个或组合)来与许多客户端计算设备(诸如但不限于平板计算机900B、游戏机900C、智能手表900D、诸如智能电话之类的电话900E、个人计算机900F以及AR/VR设备900G)互连。
例如,在通信网络820是互联网的网络环境中,服务器计算机900A可以是专用服务器计算机,该专用服务器计算机可操作以经由多种已知协议(诸如超文本传输协议(“HTTP”)、文件传输协议(“FTP”)或简单对象访问协议(“SOAP”))来与客户端计算设备900B-900G往返进行数据通信和处理。另外,网络计算环境900可以利用各种数据安全协议,诸如安全套接字层(“SSL”)或相当好的隐私(“PGP”)。每个客户端计算设备900B-900G可以配备有操作系统,该操作系统可操作来支持诸如网络浏览器(图9中未示出)或其他图形用户界面(图9中未示出)或移动桌面环境(图9中未示出)之类的一个或多个计算应用或终端会话,以获得对服务器计算机900A的访问权。
服务器计算机900A可以可通信地耦合到其他计算环境(图9中未示出),并接收有关参与用户的交互/资源网络的数据。在说明性操作中,用户(图9中未示出)可以与在客户端计算设备900B-900G上运行的计算应用进行交互,以获得期望的数据和/或执行其他计算应用。
数据和/或计算应用可以被存储在一个或多个服务器900A上,并在示例性通信网络820上通过客户端计算设备900B-900G传送给合作用户。参与用户(图9中未示出)可以请求访问全部或部分地容纳在服务器计算机8800A上的特定数据和应用。这些数据可以在客户端计算设备900B-900G和服务器计算机900A之间被传送以进行处理和存储。
服务器计算机900A可以托管用于数据和应用的生成、认证、加密和通信的计算应用、过程和小程序,并且可以与其他服务器计算环境(图9中未示出)、第三方服务提供者(图9中未示出)、网络附加存储装置(“NAS”)和存储区域网络(“SAN”)协作,以实现应用/数据事务。
应当理解,为了便于讨论,图8中所示的计算架构和图9中所示的分布式网络计算环境已被简化。还应当理解,计算架构和分布式计算网络可以包括并利用更多的计算组件、设备、软件程序、网络设备以及本文未具体描述的其他组件。
本文提出的公开内容还涵盖以下条款中提出的主题:
条款1.一种神经网络处理器,包括:一个或多个神经元;以及压缩单元,所述压缩单元被配置为:接收由所述神经网络处理器中的所述神经元中的至少一个神经元生成的未压缩数据块,所述未压缩数据块包括固定数目的字节;生成压缩输出块的掩码部分,所述掩码部分包括与所述未压缩数据块中的字节的所述固定数目相等的数目的比特,所述掩码部分中的每个比特对应于所述未压缩数据块中的字节,以及其中所述掩码部分中的每个比特在所述未压缩数据块中的对应字节为零的情况下被设置为逻辑零,并且在所述未压缩数据块中的对应字节为非零的情况下被设置为逻辑一;通过以下操作生成所述压缩输出块的数据部分:确定所述未压缩数据块中的非零字节的数目,基于所述未压缩数据块中的所述非零字节的数目,确定所述压缩输出块的所述数据部分中可用于存储所述未压缩数据块的截断的非零字节的比特的数目,将所述未压缩数据块中的所述非零字节截断为所确定的所述比特的数目,以及将所述截断的非零字节存储在所述压缩输出块的所述数据部分中;以及输出所述压缩输出块,所述压缩输出块包括所述掩码部分和所述数据部分。
条款2.根据条款1所述的神经网络处理器,其中所述神经网络处理器还包括解压缩单元,所述解压缩单元被配置为:接收所述压缩输出块;基于所述压缩输出块的所述掩码部分,确定所述未压缩数据块的所述数据部分中的所述非零字节的数目;基于所述压缩输出块的所述掩码部分,确定所述非零字节在所述未压缩数据块中的位置;确定被所述压缩单元用来在所述压缩输出块的所述数据部分中存储所述截断的非零字节的所述比特的数目;对于所述压缩输出块的所述掩码部分中为逻辑零的每个位置,将零字节插入解压缩输出块的对应位置中;和对于所述掩码部分中为逻辑一的每个位置,将来自所述压缩输入块的对应位置中的所述截断的非零字节以及与在所述压缩输出块的压缩期间被截断的比特的数目相等的数目的零比特一起插入到所述解压缩输出块的对应位置中。
条款3.根据条款1和2中任一项所述的神经网络处理器,其中所述压缩单元还被配置为:确定所述压缩输出块的所述数据部分中可用于存储所述未压缩数据块的截断的非零字节的附加比特的数目;以及在截断所述未压缩数据块中所述非零字节中的的一个或多个非零字节之前,将所述附加比特分配给所述一个或多个非零字节。
条款4.根据条款1-3中任一项所述的神经网络处理器,其中所述解压缩单元还被配置为确定分配给存储在所述压缩输出块的所述数据部分中的所述一个或多个非零字节的所述附加比特的数目。
条款5.根据条款1-4中任一项所述的神经网络处理器,其中所述解压缩单元还被配置为向存储在所述解压缩输出块中的所述截断的非零字节中的一个或多个字节添加偏移。
条款6.根据条款1-5中任一项所述的神经网络处理器,其中所述非零字节的一个或多个最低有效比特(LSB)被截断。
条款7.根据条款1-6中任一项所述的神经网络处理器,其中所述非零字节的一个或多个最高有效比特(MSB)被截断。
条款8:一种神经网络处理器,包括:一个或多个神经元;以及解压缩单元,所述解压缩单元被配置为:接收包括掩码部分和数据部分的压缩数据块;基于所述掩码部分中的比特确定解压缩数据块中的非零字节的数目;至少部分地基于所述非零字节的数目,确定被用来在所述压缩输出数据块的所述数据部分中存储截断的非零字节的比特的数目;对于所述压缩数据块的所述掩码部分中为逻辑零的每个比特位置,将零字节插入到所述解压缩数据块的对应位置中;和对于所述压缩数据块的所述掩码部分中为逻辑一的每个位置,将来自所述压缩数据块的所述数据部分中的所述对应位置的截断的非零字节以及与在所述压缩数据块的压缩期间被截断的比特的数目相等的数目的零比特插入所述解压缩数据块中的对应位置中。
条款9.根据条款8所述的神经网络处理器,还包括压缩单元,所述压缩单元被配置为:接收由所述神经网络处理器中的至少一个神经元生成的未压缩数据块,所述未压缩数据块包括固定数目的字节;生成所述压缩数据块的所述掩码部分,所述掩码部分包括与所述未压缩数据块中的字节的所述固定数目相等的数目的比特,所述掩码部分中的每个比特对应于所述未压缩数据块中的字节,并且其中所述掩码部分中的每个比特在所述未压缩数据块中的对应字节为零的情况下包括逻辑零,并且在所述未压缩数据块中的对应字节为非零的情况下包括逻辑一;通过以下操作生成所述压缩数据块的所述数据部分:确定所述未压缩数据块中的非零字节的数目,基于所述未压缩数据块中的所述非零字节的数目,确定所述压缩数据块的所述数据部分中可用于存储所述未压缩数据块的截断的非零字节的比特的数目,将所述未压缩数据块中的所述非零字节截断为确定的比特的数目,以及将所述截断的非零字节存储在所述压缩数据块的所述数据部分中;以及输出所述压缩数据块,所述压缩数据块包括所述掩码部分和所述数据部分。
条款10.根据条款8和9中任一项所述的神经网络处理器,其中所述压缩单元还被配置为:如果所述未压缩数据块中的所述非零字节的数目小于或等于所述压缩数据块的所述数据部分中的字节的数目,则将所述未压缩数据块中的所述非零字节存储在所述压缩数据块的所述数据部分中而不截断。
条款11.根据条款8-10中任一项所述的神经网络处理器,其中所述压缩单元还被配置为:确定所述压缩输出块的所述数据部分中可用于存储所述未压缩数据块的截断的非零字节的附加比特的数目;和在截断所述未压缩数据块中的所述非零字节中的一个或多个非零字节之前,将所述附加比特分配给所述一个或多个非零字节。
条款12.根据条款8-11中任一项所述的神经网络处理器,其中所述解压缩单元还被配置为:确定分配给存储在所述压缩输出块的所述数据部分中的所述一个或多个非零字节的附加比特的数目。
条款13.根据条款8-12中任一项所述的神经网络处理器,其中在所述压缩数据块的压缩期间,所述非零字节的一个或多个最低有效比特(LSB)被截断。
条款14.根据条款8-13中任一项所述的神经网络处理器,其中在所述压缩数据块的压缩期间,所述非零字节的一个或多个最高有效比特(MSB)被截断。
条款15:一种计算机实现的方法,其包括:在神经网络处理器的压缩单元处接收由所述神经网络处理器中的至少一个神经元生成的未压缩数据块,所述未压缩数据块包括固定数目的字节;生成压缩输出块的掩码部分,所述掩码部分包括:与所述未压缩数据块中的字节的所述固定数目相等的数目的比特,所述掩码部分中的每个比特对应于所述未压缩数据块中的字节,以及其中所述掩码部分中的每个比特在所述未压缩数据块中的对应字节为零的情况下包括逻辑零,并且在所述未压缩数据块中的对应字节为非零的情况下包括逻辑一;通过以下操作生成所述压缩输出块的数据部分:确定所述未压缩数据块中的非零字节的数目,基于所述未压缩数据块中的所述非零字节的数目,确定所述压缩输出块的所述数据部分中的、可用于存储所述未压缩数据块的截断的非零字节的比特的数目,将所述未压缩数据块中的所述非零字节截断为所确定的比特的数目,以及将所述截断的非零字节存储在所述压缩输出块的所述数据部分中;以及将所述压缩输出块存储在所述神经网络处理器的存储器中,所述压缩输出块包括所述掩码部分和所述数据部分。
条款16.根据条款15所述的计算机实现的方法,该方法还包括:确定所述压缩输出块的所述数据部分中的、可用于存储所述未压缩数据块的截断的非零字节的附加比特的数目;和在截断所述未压缩数据块中的所述非零字节中的一个或多个非零字节之前,将所述附加比特分配给所述一个或多个非零字节。
条款17.根据条款15和16中任一项所述的计算机实现的方法,还包括:如果所述未压缩数据块中的所述非零字节的数目小于或等于所述压缩数据块的所述数据部分中的字节的数目,则将所述未压缩数据块中的所述非零字节存储在所述压缩数据块的所述数据部分中而不截断。
条款18.根据条款15-17中任一项所述的计算机实现的方法,该方法还包括:在神经网络处理器的解压缩单元处接收所述压缩输出块;基于所述压缩输出块的所述掩码部分,确定所述未压缩数据块的所述数据部分中的所述非零字节的数目;基于所述压缩输出块的所述掩码部分,确定所述非零字节在所述未压缩数据块中的位置;确定被所述压缩单元用来在所述压缩输出块的所述数据部分中存储所述截断的非零字节的所述比特的数目;对于所述压缩输出块的所述掩码部分中为逻辑零的每个比特位置,将零字节插入到解压缩输出块的对应位置中;以及对于所述压缩输出块的所述掩码部分中为逻辑一的每个位置,将来自所述压缩输出块的对应位置中的所述截断的非零字节以及与在所述压缩输出块的压缩期间被截断的所述比特的数目相等的数目的零比特一起插入到所述解压缩输出块的对应位置中。
条款19.根据条款15-18中任一项所述的计算机实现的方法,还包括将偏移添加到存储在所述解压缩输出块中的所述截断的非零字节中的一个或多个字节。
条款20.根据条款15-19中任一项所述的计算机实现的方法,其中将偏移添加到存储在所述解压缩输出块中的所述截断的非零字节的一个或多个最低有效比特(LSB)。
基于前述,应当理解,本文已经公开了可以压缩和解压缩激活数据以减少存储器总线带宽的利用率的DNN模块。尽管已经以计算机结构特征、方法和转换动作、特定的计算机器和计算机可读介质专用的语言描述了本文介绍的主题,但是应该理解,所附权利要求书中提出的主题不必受限于本文描述的特定特征、动作或介质。相反,特定特征、动作和介质作为实现所要求保护的主题的示例形式而被公开。
上面描述的主题仅以举例说明的方式而被提供,并且不应被解释为限制性的。可以在不遵循所示出和描述的示例配置和应用的情况下并且在不脱离在所附权利要求中阐述的本公开的范围的情况下,对本文描述的主题进行各种修改和改变。
Claims (20)
1.一种神经网络处理器,包括:
一个或多个神经元;和
压缩单元,所述压缩单元被配置为:
接收由所述神经网络处理器中的所述神经元中的至少一个神经元生成的未压缩数据块,所述未压缩数据块包括固定数目的字节;
生成压缩输出块的掩码部分,所述掩码部分包括与所述未压缩数据块中的字节的所述固定数目相等的数目的比特,所述掩码部分中的每个比特对应于所述未压缩数据块中的字节,以及其中所述掩码部分中的每个比特在所述未压缩数据块中的对应字节为零的情况下被设置为逻辑零,并且在所述未压缩数据块中的对应字节为非零的情况下被设置为逻辑一;
通过以下操作生成所述压缩输出块的数据部分:
确定所述未压缩数据块中的非零字节的数目,
基于所述未压缩数据块中的所述非零字节的数目,确定所述压缩输出块的所述数据部分中的、可用于存储所述未压缩数据块的截断的非零字节的比特的数目,
将所述未压缩数据块中的所述非零字节截断为所确定的所述比特的数目,以及
将所述截断的非零字节存储在所述压缩输出块的所述数据部分中;以及
输出所述压缩输出块,所述压缩输出块包括所述掩码部分和所述数据部分。
2.根据权利要求1所述的神经网络处理器,其中所述神经网络处理器还包括解压缩单元,所述解压缩单元被配置为:
接收所述压缩输出块;
基于所述压缩输出块的所述掩码部分,确定所述未压缩数据块的所述数据部分中的所述非零字节的数目;
基于所述压缩输出块的所述掩码部分,确定所述非零字节在所述未压缩数据块中的位置;
确定被所述压缩单元用来在所述压缩输出块的所述数据部分中存储所述截断的非零字节的所述比特的数目;
对于所述压缩输出块的所述掩码部分中为逻辑零的每个位置,将零字节插入到解压缩输出块的对应位置中;以及
对于所述掩码部分中为逻辑一的每个位置,将来自压缩输入块的对应位置中的所述截断的非零字节以及与在所述压缩输出块的压缩期间被截断的所述比特的数目相等的数目的零比特一起插入到所述解压缩输出块的对应位置中。
3.根据权利要求1所述的神经网络处理器,其中所述压缩单元还被配置为:
确定所述压缩输出块的所述数据部分中的、可用于存储所述未压缩数据块的截断的非零字节的附加比特的数目;以及
在截断所述未压缩数据块中的所述非零字节中的一个或多个非零字节之前,将所述附加比特分配给所述非零字节中的所述一个或多个非零字节。
4.根据权利要求2所述的神经网络处理器,其中所述解压缩单元还被配置为:确定向在所述压缩输出块的所述数据部分中存储的所述非零字节中的所述一个或多个非零字节分配的附加比特的数目。
5.根据权利要求2所述的神经网络处理器,其中所述解压缩单元还被配置为向在所述解压缩输出块中存储的所述截断的非零字节中的一个或多个截断的非零字节添加偏移。
6.根据权利要求1所述的神经网络处理器,其中所述非零字节的一个或多个最低有效比特(LSB)被截断。
7.根据权利要求1所述的神经网络处理器,其中所述非零字节的一个或多个最高有效比特(MSB)被截断。
8.一种神经网络处理器,包括:
一个或多个神经元;和
解压缩单元,所述解压缩单元被配置为:
接收包括掩码部分和数据部分的压缩数据块;
基于所述掩码部分中的比特,确定解压缩数据块中的非零字节的数目;
至少部分地基于所述非零字节的数目,确定被用来在所述压缩数据块的所述数据部分中存储截断的非零字节的比特的数目;
对于所述压缩数据块的所述掩码部分中为逻辑零的每个比特位置,将零字节插入到所述解压缩数据块的对应位置中;以及
对于所述压缩数据块的所述掩码部分中为逻辑一的每个位置,将来自所述压缩数据块的所述数据部分中的对应位置的截断的非零字节以及与在所述压缩数据块的压缩期间被截断的比特的数目相等的数目的零比特插入所述解压缩数据块中的对应位置中。
9.根据权利要求8所述的神经网络处理器,还包括压缩单元,所述压缩单元被配置为:
接收由所述神经网络处理器中的所述神经元中的至少一个神经元生成的未压缩数据块,所述未压缩数据块包括固定数目的字节;
生成所述压缩数据块的所述掩码部分,所述掩码部分包括与所述未压缩数据块中的字节的所述固定数目相等的数目的比特,所述掩码部分中的每个比特对应于所述未压缩数据块中的字节,并且其中所述掩码部分中的每个比特在所述未压缩数据块中的对应字节为零的情况下包括逻辑零,并且在所述未压缩数据块中的对应字节为非零的情况下包括逻辑一;
通过以下操作生成所述压缩数据块的所述数据部分:
确定所述未压缩数据块中的非零字节的数目,
基于所述未压缩数据块中的所述非零字节的数目,确定所述压缩数据块的所述数据部分中的、可用于存储所述未压缩数据块的截断的非零字节的比特的数目,
将所述未压缩数据块中的所述非零字节截断为所确定的所述比特的数目,以及
将所述截断的非零字节存储在所述压缩数据块的所述数据部分中;以及
输出所述压缩数据块,所述压缩数据块包括所述掩码部分和所述数据部分。
10.根据权利要求9所述的神经网络处理器,其中所述压缩单元还被配置为:如果所述未压缩数据块中的所述非零字节的数目小于或等于所述压缩数据块的所述数据部分中的字节的数目,则将所述未压缩数据块中的所述非零字节存储在所述压缩数据块的所述数据部分中而不截断。
11.根据权利要求9所述的神经网络处理器,其中所述压缩单元还被配置为:
确定所述压缩输出块的所述数据部分中的、可用于存储所述未压缩数据块的截断的非零字节的附加比特的数目;以及
在截断所述未压缩数据块中的所述非零字节中的一个或多个非零字节之前,将所述附加比特分配给所述非零字节中的所述一个或多个非零字节。
12.根据权利要求8所述的神经网络处理器,其中所述解压缩单元还被配置为:确定向在所述压缩输出块的所述数据部分中存储的所述非零字节中的所述一个或多个非零字节分配的附加比特的数目。
13.根据权利要求8所述的神经网络处理器,其中所述非零字节的一个或多个最低有效比特(LSB)在所述压缩数据块的压缩期间被截断。
14.根据权利要求8所述的神经网络处理器,其中所述非零字节的一个或多个最高有效比特(MSB)在所述压缩数据块的压缩期间被截断。
15.一种计算机实现的方法,包括:
在神经网络处理器的压缩单元处接收由所述神经网络处理器中的至少一个神经元生成的未压缩数据块,所述未压缩数据块包括固定数目的字节;
生成压缩输出块的掩码部分,所述掩码部分包括:
与所述未压缩数据块中的字节的所述固定数目相等的数目的比特,
所述掩码部分中的每个比特对应于所述未压缩数据块中的字节,以及
其中所述掩码部分中的每个比特在所述未压缩数据块中的对应字节为零的情况下包括逻辑零,并且在所述未压缩数据块中的对应字节为非零的情况下包括逻辑一;
通过以下操作生成所述压缩输出块的数据部分:
确定所述未压缩数据块中的非零字节的数目,
基于所述未压缩数据块中的所述非零字节的数目,确定所述压缩输出块的所述数据部分中的、可用于存储所述未压缩数据块的截断的非零字节的比特的数目,
将所述未压缩数据块中的所述非零字节截断为所确定的所述比特的数目,以及
将所述截断的非零字节存储在所述压缩输出块的所述数据部分中;以及
将所述压缩输出块存储在所述神经网络处理器的存储器中,所述压缩输出块包括所述掩码部分和所述数据部分。
16.根据权利要求15所述的计算机实现的方法,还包括:
确定所述压缩输出块的所述数据部分中的、可用于存储所述未压缩数据块的截断的非零字节的附加比特的数目;以及
在截断所述未压缩数据块中的所述非零字节中的一个或多个非零字节之前,将所述附加比特分配给所述非零字节中的所述一个或多个非零字节。
17.根据权利要求16所述的计算机实现的方法,还包括:如果所述未压缩数据块中的所述非零字节的数目小于或等于所述压缩数据块的所述数据部分中的字节的数目,则将所述未压缩数据块中的所述非零字节存储在所述压缩数据块的所述数据部分中而不截断。
18.根据权利要求15所述的计算机实现的方法,还包括:
在神经网络处理器的解压缩单元处接收所述压缩输出块;
基于所述压缩输出块的所述掩码部分,确定所述未压缩数据块的所述数据部分中的所述非零字节的数目;
基于所述压缩输出块的所述掩码部分,确定所述非零字节在所述未压缩数据块中的位置;
确定被所述压缩单元用来在所述压缩输出块的所述数据部分中存储所述截断的非零字节的所述比特的数目;
对于所述压缩输出块的所述掩码部分中为逻辑零的每个比特位置,将零字节插入到解压缩输出块的对应位置中;以及
对于所述压缩输出块的所述掩码部分中为逻辑一的每个位置,将来自所述压缩输出块的对应位置中的所述截断的非零字节以及与在所述压缩输出块的压缩期间被截断的所述比特的数目相等的数目的零比特一起插入到所述解压缩输出块的对应位置中。
19.根据权利要求18所述的计算机实现的方法,进一步包括:向在所述解压缩输出块中存储的所述截断的非零字节中的一个或多个截断的非零字节添加偏移。
20.根据权利要求19所述的计算机实现的方法,其中所述偏移被添加到在所述解压缩输出块中存储的所述截断的非零字节的一个或多个最低有效比特(LSB)。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762486432P | 2017-04-17 | 2017-04-17 | |
US62/486,432 | 2017-04-17 | ||
US15/953,356 US11528033B2 (en) | 2017-04-17 | 2018-04-13 | Neural network processor using compression and decompression of activation data to reduce memory bandwidth utilization |
US15/953,356 | 2018-04-13 | ||
PCT/US2018/027840 WO2018194998A1 (en) | 2017-04-17 | 2018-04-16 | Neural network processor using compression and decompression of activation data to reduce memory bandwidth utilization |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110520909A CN110520909A (zh) | 2019-11-29 |
CN110520909B true CN110520909B (zh) | 2021-03-19 |
Family
ID=63790158
Family Applications (16)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880025503.0A Active CN110520853B (zh) | 2017-04-17 | 2018-04-06 | 直接存储器访问的队列管理 |
CN202310874704.0A Pending CN116909985A (zh) | 2017-04-17 | 2018-04-06 | 对数据分区的动态排序 |
CN201880024892.5A Active CN110506260B (zh) | 2017-04-17 | 2018-04-06 | 用于神经网络环境中的增强数据处理的方法、系统和介质 |
CN201880025504.5A Active CN110520857B (zh) | 2017-04-17 | 2018-04-06 | 使用虚拟化数据迭代器对神经网络进行数据处理性能增强 |
CN201880025244.1A Active CN110520856B (zh) | 2017-04-17 | 2018-04-06 | 处理不邻近存储器作为邻近存储器以提高神经网络的性能 |
CN202310865940.6A Pending CN116909984A (zh) | 2017-04-17 | 2018-04-06 | 使用虚拟化数据迭代器对神经网络进行数据处理性能增强 |
CN201880025417.XA Active CN110520846B (zh) | 2017-04-17 | 2018-04-06 | 对数据分区的动态排序 |
CN201880025227.8A Active CN110520870B (zh) | 2017-04-17 | 2018-04-06 | 用于具有动态向量长度和码本大小的高吞吐量向量去量化的灵活硬件 |
CN201880025415.0A Active CN110546628B (zh) | 2017-04-17 | 2018-04-06 | 用有向线缓冲器最小化存储器读取提高神经网络环境性能 |
CN201880025488.XA Active CN110537194B (zh) | 2017-04-17 | 2018-04-13 | 被配置用于层和操作防护和依赖性管理的功率高效的深度神经网络处理器及方法 |
CN201880025480.3A Active CN110546611B (zh) | 2017-04-17 | 2018-04-16 | 通过跳过处理操作来减少神经网络处理器中的功耗 |
CN201880025126.0A Active CN110546610B (zh) | 2017-04-17 | 2018-04-16 | 通过数据共享和分配增强人工智能/机器硬件的处理性能 |
CN201880025426.9A Active CN110678843B (zh) | 2017-04-17 | 2018-04-16 | 在深度神经网络模块中动态划分工作负载以降低功率消耗 |
CN201880025508.3A Active CN110582785B (zh) | 2017-04-17 | 2018-04-16 | 配置用于执行层描述符列表的具有功率效率的深度神经网络模块 |
CN201880025420.1A Active CN110520909B (zh) | 2017-04-17 | 2018-04-16 | 使用激活数据的压缩和解压缩来减少存储器带宽利用率的神经网络处理器 |
CN201880025130.7A Active CN110546654B (zh) | 2017-04-17 | 2018-04-16 | 通过构造接口的带宽控制来增强dnn模块的处理性能 |
Family Applications Before (14)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880025503.0A Active CN110520853B (zh) | 2017-04-17 | 2018-04-06 | 直接存储器访问的队列管理 |
CN202310874704.0A Pending CN116909985A (zh) | 2017-04-17 | 2018-04-06 | 对数据分区的动态排序 |
CN201880024892.5A Active CN110506260B (zh) | 2017-04-17 | 2018-04-06 | 用于神经网络环境中的增强数据处理的方法、系统和介质 |
CN201880025504.5A Active CN110520857B (zh) | 2017-04-17 | 2018-04-06 | 使用虚拟化数据迭代器对神经网络进行数据处理性能增强 |
CN201880025244.1A Active CN110520856B (zh) | 2017-04-17 | 2018-04-06 | 处理不邻近存储器作为邻近存储器以提高神经网络的性能 |
CN202310865940.6A Pending CN116909984A (zh) | 2017-04-17 | 2018-04-06 | 使用虚拟化数据迭代器对神经网络进行数据处理性能增强 |
CN201880025417.XA Active CN110520846B (zh) | 2017-04-17 | 2018-04-06 | 对数据分区的动态排序 |
CN201880025227.8A Active CN110520870B (zh) | 2017-04-17 | 2018-04-06 | 用于具有动态向量长度和码本大小的高吞吐量向量去量化的灵活硬件 |
CN201880025415.0A Active CN110546628B (zh) | 2017-04-17 | 2018-04-06 | 用有向线缓冲器最小化存储器读取提高神经网络环境性能 |
CN201880025488.XA Active CN110537194B (zh) | 2017-04-17 | 2018-04-13 | 被配置用于层和操作防护和依赖性管理的功率高效的深度神经网络处理器及方法 |
CN201880025480.3A Active CN110546611B (zh) | 2017-04-17 | 2018-04-16 | 通过跳过处理操作来减少神经网络处理器中的功耗 |
CN201880025126.0A Active CN110546610B (zh) | 2017-04-17 | 2018-04-16 | 通过数据共享和分配增强人工智能/机器硬件的处理性能 |
CN201880025426.9A Active CN110678843B (zh) | 2017-04-17 | 2018-04-16 | 在深度神经网络模块中动态划分工作负载以降低功率消耗 |
CN201880025508.3A Active CN110582785B (zh) | 2017-04-17 | 2018-04-16 | 配置用于执行层描述符列表的具有功率效率的深度神经网络模块 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880025130.7A Active CN110546654B (zh) | 2017-04-17 | 2018-04-16 | 通过构造接口的带宽控制来增强dnn模块的处理性能 |
Country Status (19)
Country | Link |
---|---|
US (20) | US10795836B2 (zh) |
EP (14) | EP3612989B1 (zh) |
JP (1) | JP7004741B2 (zh) |
KR (2) | KR102663557B1 (zh) |
CN (16) | CN110520853B (zh) |
AU (1) | AU2018256212B2 (zh) |
BR (1) | BR112019021541A2 (zh) |
CA (1) | CA3056660A1 (zh) |
CL (1) | CL2019002864A1 (zh) |
CO (1) | CO2019011014A2 (zh) |
IL (1) | IL269888B (zh) |
MX (1) | MX2019012388A (zh) |
MY (1) | MY201868A (zh) |
NZ (1) | NZ756870A (zh) |
PH (1) | PH12019550191A1 (zh) |
RU (1) | RU2767447C2 (zh) |
SG (1) | SG11201909175XA (zh) |
WO (15) | WO2018194849A1 (zh) |
ZA (1) | ZA201905874B (zh) |
Families Citing this family (107)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8515052B2 (en) | 2007-12-17 | 2013-08-20 | Wai Wu | Parallel signal processing system and method |
US10635969B2 (en) | 2016-10-14 | 2020-04-28 | International Business Machines Corporation | Core utilization optimization by dividing computational blocks across cores |
US10248906B2 (en) * | 2016-12-28 | 2019-04-02 | Intel Corporation | Neuromorphic circuits for storing and generating connectivity information |
US10795836B2 (en) | 2017-04-17 | 2020-10-06 | Microsoft Technology Licensing, Llc | Data processing performance enhancement for neural networks using a virtualized data iterator |
US11164071B2 (en) * | 2017-04-18 | 2021-11-02 | Samsung Electronics Co., Ltd. | Method and apparatus for reducing computational complexity of convolutional neural networks |
EP3657398A1 (en) * | 2017-05-23 | 2020-05-27 | Shanghai Cambricon Information Technology Co., Ltd | Weight quantization method for a neural network and accelerating device therefor |
CN110502330A (zh) * | 2018-05-16 | 2019-11-26 | 上海寒武纪信息科技有限公司 | 处理器及处理方法 |
US11514355B2 (en) * | 2017-06-28 | 2022-11-29 | General Electric Company | Flat representation of machine learning model |
KR102569086B1 (ko) * | 2017-11-20 | 2023-08-22 | 상하이 캠브리콘 인포메이션 테크놀로지 컴퍼니 리미티드 | 태스크 병렬 처리 방법, 장치, 시스템, 기억 매체 및 컴퓨터 기기 |
EP3489865B1 (en) * | 2017-11-22 | 2021-01-06 | Commissariat à l'énergie atomique et aux énergies alternatives | A stdp-based learning method for a network having dual accumulator neurons |
US10747844B2 (en) * | 2017-12-12 | 2020-08-18 | Tesla, Inc. | Systems and methods for converting a matrix input to a vectorized input for a matrix processor |
US11995448B1 (en) * | 2018-02-08 | 2024-05-28 | Marvell Asia Pte Ltd | Method and apparatus for performing machine learning operations in parallel on machine learning hardware |
KR20190097930A (ko) * | 2018-02-13 | 2019-08-21 | 삼성전자주식회사 | 채널 별 메모리 용량을 조절하는 메모리 장치 및 이를 포함하는 메모리 시스템 |
US10948966B1 (en) * | 2018-03-07 | 2021-03-16 | Facebook, Inc. | Systems and methods for optimizing power usage for systems within quality-of-service constraints |
US11126362B2 (en) * | 2018-03-14 | 2021-09-21 | International Business Machines Corporation | Migrating storage data |
CN109313673A (zh) * | 2018-04-17 | 2019-02-05 | 深圳鲲云信息科技有限公司 | 网络模型的运行方法及相关产品 |
US10404276B1 (en) * | 2018-04-27 | 2019-09-03 | Nicira, Inc. | Stable variable-length order-preserving encoding scheme |
US20190340490A1 (en) * | 2018-05-04 | 2019-11-07 | Apple Inc. | Systems and methods for assigning tasks in a neural network processor |
US11016801B1 (en) | 2018-05-22 | 2021-05-25 | Marvell Asia Pte, Ltd. | Architecture to support color scheme-based synchronization for machine learning |
US10997510B1 (en) | 2018-05-22 | 2021-05-04 | Marvell Asia Pte, Ltd. | Architecture to support tanh and sigmoid operations for inference acceleration in machine learning |
US10360654B1 (en) * | 2018-05-25 | 2019-07-23 | Intel Corporation | Software scoreboard information and synchronization |
US10657087B2 (en) * | 2018-05-31 | 2020-05-19 | Toshiba Memory Corporation | Method of out of order processing of scatter gather lists |
US11561833B1 (en) * | 2018-06-28 | 2023-01-24 | Amazon Technologies, Inc. | Allocation and placement of resources for network computation |
WO2020032816A1 (en) * | 2018-08-09 | 2020-02-13 | Huawei Technologies Co., Ltd | Device and method for compacting compressed and uncompressed data blocks |
KR102519467B1 (ko) * | 2018-08-28 | 2023-04-06 | 캠브리콘 테크놀로지스 코퍼레이션 리미티드 | 데이터 전처리 방법, 장치, 컴퓨터 설비 및 저장 매체 |
KR20200034499A (ko) * | 2018-09-21 | 2020-03-31 | 삼성전자주식회사 | 메모리 장치와 통신하는 데이터 처리 장치 및 방법 |
US11295205B2 (en) * | 2018-09-28 | 2022-04-05 | Qualcomm Incorporated | Neural processing unit (NPU) direct memory access (NDMA) memory bandwidth optimization |
CN109359732B (zh) | 2018-09-30 | 2020-06-09 | 阿里巴巴集团控股有限公司 | 一种芯片及基于其的数据处理方法 |
US20200117981A1 (en) * | 2018-10-11 | 2020-04-16 | International Business Machines Corporation | Data representation for dynamic precision in neural network cores |
KR20200053886A (ko) * | 2018-11-09 | 2020-05-19 | 삼성전자주식회사 | 뉴럴 프로세싱 유닛, 뉴럴 프로세싱 시스템, 및 어플리케이션 시스템 |
CN109669774B (zh) * | 2018-11-14 | 2020-12-08 | 新华三技术有限公司成都分公司 | 硬件资源的量化方法、编排方法、装置及网络设备 |
US11663001B2 (en) | 2018-11-19 | 2023-05-30 | Advanced Micro Devices, Inc. | Family of lossy sparse load SIMD instructions |
KR102107077B1 (ko) * | 2018-11-20 | 2020-05-06 | 주식회사 아나패스 | 컨볼루션 신경망 추론에서 컨볼루션 연산을 수행하기 위한 라인 단위 메모리 관리 방법 및 그 추론 장치 |
US10990525B2 (en) * | 2018-12-12 | 2021-04-27 | Mipsology SAS | Caching data in artificial neural network computations |
US11342933B2 (en) * | 2018-12-14 | 2022-05-24 | Advanced Micro Devices, Inc. | Lossy significance compression with lossy restoration |
CN109657788A (zh) * | 2018-12-18 | 2019-04-19 | 北京中科寒武纪科技有限公司 | 数据处理方法、装置及相关产品 |
CN109740735B (zh) * | 2018-12-29 | 2020-12-29 | 百度在线网络技术(北京)有限公司 | 多神经网络输出方法及装置、服务器、计算机可读介质 |
CN109922007B (zh) * | 2019-01-15 | 2022-04-01 | 西安仙农电子科技有限公司 | 一种基于卷积神经网络的负载均衡方法 |
CN111488114B (zh) * | 2019-01-28 | 2021-12-21 | 北京灵汐科技有限公司 | 一种可重构的处理器架构及计算设备 |
US11687783B2 (en) * | 2019-02-04 | 2023-06-27 | International Business Machines Corporation | L2-nonexpansive neural networks |
US11625554B2 (en) | 2019-02-04 | 2023-04-11 | International Business Machines Corporation | L2-nonexpansive neural networks |
US11521014B2 (en) | 2019-02-04 | 2022-12-06 | International Business Machines Corporation | L2-nonexpansive neural networks |
US11036545B2 (en) * | 2019-03-15 | 2021-06-15 | Intel Corporation | Graphics systems and methods for accelerating synchronization using fine grain dependency check and scheduling optimizations based on available shared memory space |
CN111767078A (zh) * | 2019-04-02 | 2020-10-13 | 上海寒武纪信息科技有限公司 | 数据运行方法、装置和相关产品 |
CN111782577B (zh) * | 2019-04-04 | 2023-03-24 | 安徽寒武纪信息科技有限公司 | 数据处理装置及方法以及相关产品 |
CN109992225B (zh) * | 2019-04-04 | 2022-02-22 | 中科寒武纪科技股份有限公司 | 数据输出方法及相关装置 |
KR20200119164A (ko) * | 2019-04-09 | 2020-10-19 | 한국전자통신연구원 | 정보 처리 장치 및 그것에 포함된 신경망 연산 장치의 동작 방법 |
KR20200129957A (ko) * | 2019-05-10 | 2020-11-18 | 삼성전자주식회사 | 피처맵 데이터에 대한 압축을 수행하는 뉴럴 네트워크 프로세서 및 이를 포함하는 컴퓨팅 시스템 |
US10504005B1 (en) * | 2019-05-10 | 2019-12-10 | Capital One Services, Llc | Techniques to embed a data object into a multidimensional frame |
US11204745B2 (en) * | 2019-05-23 | 2021-12-21 | Xilinx, Inc. | Dataflow graph programming environment for a heterogenous processing system |
US11175898B2 (en) * | 2019-05-31 | 2021-11-16 | Apple Inc. | Compiling code for a machine learning model for execution on a specialized processor |
KR20200139909A (ko) | 2019-06-05 | 2020-12-15 | 삼성전자주식회사 | 전자 장치 및 그의 연산 수행 방법 |
CN114008636A (zh) * | 2019-06-18 | 2022-02-01 | 高通股份有限公司 | 优化机器学习模型性能 |
US11403097B2 (en) | 2019-06-26 | 2022-08-02 | Intel Corporation | Systems and methods to skip inconsequential matrix operations |
US11461622B2 (en) * | 2019-06-28 | 2022-10-04 | Amazon Technologies, Inc. | Dynamic code loading for multiple executions on a sequential processor |
US11630770B2 (en) * | 2019-07-11 | 2023-04-18 | Meta Platforms Technologies, Llc | Systems and methods for reading and writing sparse data in a neural network accelerator |
US20210081806A1 (en) * | 2019-09-13 | 2021-03-18 | Latent AI, Inc. | Using a runtime engine to facilitate dynamic adaptation of deep neural networks for efficient processing |
US10915811B1 (en) | 2019-09-18 | 2021-02-09 | International Business Machines Corporation | Intercalation cells for multi-task learning |
US11475283B2 (en) * | 2019-10-24 | 2022-10-18 | Apple Inc. | Multi dimensional convolution in neural network processor |
KR20210053384A (ko) | 2019-11-01 | 2021-05-12 | 삼성전자주식회사 | 스토리지 장치 및 스토리지 장치의 동작 방법 |
US11513799B2 (en) | 2019-11-04 | 2022-11-29 | Apple Inc. | Chained buffers in neural network processor |
KR20210065605A (ko) * | 2019-11-27 | 2021-06-04 | 한국전자통신연구원 | 선인출 정보를 이용한 메모리 제어 방법 및 장치 |
CN111091184B (zh) * | 2019-12-19 | 2022-03-22 | 浪潮(北京)电子信息产业有限公司 | 一种深度神经网络的量化方法、装置、电子设备及介质 |
CN111162792A (zh) * | 2019-12-19 | 2020-05-15 | 深圳市航天泰瑞捷电子有限公司 | 一种电力负荷数据的压缩方法及装置 |
US11620516B2 (en) * | 2019-12-23 | 2023-04-04 | Arm Limited | Specializing neural networks for heterogeneous systems |
CN111178490B (zh) | 2019-12-31 | 2021-08-24 | 北京百度网讯科技有限公司 | 数据输出方法、获取方法、装置和电子设备 |
CN111126589B (zh) * | 2019-12-31 | 2022-05-20 | 昆仑芯(北京)科技有限公司 | 神经网络数据处理装置、方法和电子设备 |
KR102399197B1 (ko) | 2020-01-17 | 2022-05-18 | 경희대학교 산학협력단 | 이상치 인지 근사적 코딩을 수행하는 전자 장치 그리고 그것의 동작 방법 |
US11023400B1 (en) | 2020-01-20 | 2021-06-01 | International Business Machines Corporation | High performance DMA transfers in host bus adapters |
US20210224191A1 (en) * | 2020-01-22 | 2021-07-22 | Alibaba Group Holding Limited | Compression and decompression module in a cache controller for reducing off-chip data traffic |
KR102498066B1 (ko) * | 2020-02-20 | 2023-02-10 | 한국과학기술원 | 딥러닝 강화학습 가속기 |
KR20210108749A (ko) | 2020-02-26 | 2021-09-03 | 삼성전자주식회사 | 가속기, 가속기의 동작 방법 및 이를 포함한 가속기 시스템 |
CN111431539B (zh) * | 2020-03-04 | 2023-12-08 | 嘉楠明芯(北京)科技有限公司 | 一种神经网络数据的压缩方法、装置及计算机可读存储介质 |
CN111290979B (zh) * | 2020-03-23 | 2021-08-17 | 优刻得科技股份有限公司 | 数据传输方法、装置及系统 |
CN111522643A (zh) * | 2020-04-22 | 2020-08-11 | 杭州迪普科技股份有限公司 | 基于fpga的多队列调度方法、装置、计算机设备及存储介质 |
CN113592082A (zh) * | 2020-04-30 | 2021-11-02 | 意法半导体股份有限公司 | 用于从人工神经网络分配中间数据的设备和方法 |
KR20210136476A (ko) * | 2020-05-07 | 2021-11-17 | 삼성전자주식회사 | 쿼드 트리 방법의 파라미터들을 이용하여 압축하는 장치 및 방법 |
US20210377122A1 (en) * | 2020-05-26 | 2021-12-02 | Synopsys, Inc. | Mixed-precision neural networks |
GB202008299D0 (en) | 2020-06-02 | 2020-07-15 | Imagination Tech Ltd | Manipulation of data in a memory |
EP4169165A1 (en) * | 2020-06-18 | 2023-04-26 | InterDigital VC Holdings France, SAS | Systems and methods for encoding/decoding a deep neural network |
US11275701B2 (en) * | 2020-06-24 | 2022-03-15 | Qualcomm Incorporated | Secure timer synchronization between function block and external SOC |
CN111723053A (zh) * | 2020-06-24 | 2020-09-29 | 北京航天数据股份有限公司 | 一种数据的压缩方法及装置、解压方法及装置 |
US20220004399A1 (en) * | 2020-07-03 | 2022-01-06 | Mediatek Inc. | Dynamic loading neural network inference at dram/on-bus sram/serial flash for power optimization |
CN111884658A (zh) * | 2020-07-09 | 2020-11-03 | 上海兆芯集成电路有限公司 | 数据解压缩方法、数据压缩方法及卷积运算装置 |
US11720404B2 (en) * | 2020-07-16 | 2023-08-08 | Samsung Electronics Co., Ltd. | Systems and methods for arbitrating access to a shared resource |
JPWO2022014500A1 (zh) * | 2020-07-17 | 2022-01-20 | ||
CN111858058A (zh) * | 2020-07-24 | 2020-10-30 | 成都成信高科信息技术有限公司 | 基于并行计算的sgd负载均衡方法、装置及存储介质 |
FR3113158B1 (fr) * | 2020-08-03 | 2024-04-05 | Commissariat Energie Atomique | Architecture de calcul systolique pour la mise en œuvre de réseaux de neurones artificiels traitant plusieurs types de convolutions |
JP6835285B1 (ja) * | 2020-09-15 | 2021-02-24 | 富士電機株式会社 | データ圧縮方法、データ圧縮装置、データ圧縮プログラム、データ伸長方法、データ伸長装置およびデータ伸長プログラム |
US11470004B2 (en) * | 2020-09-22 | 2022-10-11 | Advanced Micro Devices, Inc. | Graded throttling for network-on-chip traffic |
JP2022094508A (ja) | 2020-12-15 | 2022-06-27 | 富士通株式会社 | 演算処理装置、演算処理方法および演算処理プログラム |
TWI745227B (zh) * | 2021-02-01 | 2021-11-01 | 國立陽明交通大學 | 用於進行原始服務端與外地服務端之間的第三方認證的通訊系統及方法 |
KR102298766B1 (ko) * | 2021-02-15 | 2021-09-07 | 주식회사 딥이티 | 타겟 디바이스에 대한 딥러닝 모델 변환 장치 및 방법 |
US11256987B1 (en) * | 2021-06-02 | 2022-02-22 | SambaNova Systems, Inc. | Memory efficient dropout, with reordering of dropout mask elements |
JP2023018365A (ja) | 2021-07-27 | 2023-02-08 | 富士通株式会社 | 情報処理プログラム、情報処理方法及び情報処理装置 |
US20230079975A1 (en) * | 2021-09-10 | 2023-03-16 | Arm Limited | Power management for system-on-chip |
WO2023075564A1 (ko) * | 2021-11-01 | 2023-05-04 | 엘지전자 주식회사 | 피쳐 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
EP4191476A1 (en) * | 2021-12-01 | 2023-06-07 | Nokia Technologies Oy | Machine learning accelerator |
US11816364B2 (en) * | 2022-01-13 | 2023-11-14 | Microsoft Technology Licensing, Llc | Performance evaluation of an application based on detecting degradation caused by other computing processes |
CN114466082B (zh) * | 2022-01-29 | 2024-01-09 | 上海阵量智能科技有限公司 | 数据压缩、数据解压方法、系统及人工智能ai芯片 |
US11720252B1 (en) * | 2022-03-04 | 2023-08-08 | Microsoft Technology Licensing, Llc | Method and apparatus for compressing and decompressing sparse data sets |
US20230350678A1 (en) * | 2022-04-28 | 2023-11-02 | Qualcomm Incorporated | Instruction Set Architecture for Neural Network Quantization and Packing |
WO2023250093A1 (en) * | 2022-06-22 | 2023-12-28 | Brainchip, Inc. | Method and system for implementing temporal convolution in spatiotemporal neural networks |
KR20240002346A (ko) * | 2022-06-29 | 2024-01-05 | 삼성전자주식회사 | Ai 부호화/복호화를 이용하여 영상을 처리하는 전자 장치 및 그 제어 방법 |
KR20240007495A (ko) * | 2022-07-08 | 2024-01-16 | 리벨리온 주식회사 | 뉴럴 코어, 이를 포함하는 뉴럴 프로세싱 장치 및 뉴럴 프로세싱 장치의 데이터 로드 방법 |
CN115309349B (zh) * | 2022-10-12 | 2023-01-20 | 深圳鲲云信息科技有限公司 | 深度学习的稀疏数据存储方法、计算机设备和存储介质 |
US11983128B1 (en) * | 2022-12-16 | 2024-05-14 | Amazon Technologies, Inc. | Multidimensional and multiblock tensorized direct memory access descriptors |
Family Cites Families (194)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4298954A (en) | 1979-04-30 | 1981-11-03 | International Business Machines Corporation | Alternating data buffers when one buffer is empty and another buffer is variably full of data |
JPH0642237B2 (ja) | 1983-12-28 | 1994-06-01 | 株式会社日立製作所 | 並列処理装置 |
EP0340901A3 (en) * | 1988-03-23 | 1992-12-30 | Du Pont Pixel Systems Limited | Access system for dual port memory |
EP0334624A3 (en) * | 1988-03-23 | 1993-03-31 | Du Pont Pixel Systems Limited | Microcoded computer system |
US5056015A (en) * | 1988-03-23 | 1991-10-08 | Du Pont Pixel Systems Limited | Architectures for serial or parallel loading of writable control store |
JP2703010B2 (ja) | 1988-12-23 | 1998-01-26 | 株式会社日立製作所 | ニユーラルネツト信号処理プロセツサ |
US5369773A (en) | 1991-04-26 | 1994-11-29 | Adaptive Solutions, Inc. | Neural network using virtual-zero |
US5357597A (en) * | 1991-06-24 | 1994-10-18 | International Business Machines Corporation | Convolutional expert neural system (ConExNS) |
US5487153A (en) | 1991-08-30 | 1996-01-23 | Adaptive Solutions, Inc. | Neural network sequencer and interface apparatus |
WO1993014459A1 (en) | 1992-01-17 | 1993-07-22 | Caelum Research Corporation | Modular parallel processing system |
JPH06195322A (ja) | 1992-10-29 | 1994-07-15 | Hitachi Ltd | 汎用型ニューロコンピュータとして用いられる情報処理装置 |
JP2938711B2 (ja) | 1993-05-10 | 1999-08-25 | 松下電器産業株式会社 | 並列計算機 |
US5859990A (en) | 1995-12-29 | 1999-01-12 | Intel Corporation | System for transferring data segments from a first storage device to a second storage device using an alignment stage including even and odd temporary devices |
US5933654A (en) | 1996-09-24 | 1999-08-03 | Allen-Bradley Company, Llc | Dynamic buffer fracturing by a DMA controller |
US6006325A (en) * | 1996-12-19 | 1999-12-21 | Institute For The Development Of Emerging Architectures, L.L.C. | Method and apparatus for instruction and data serialization in a computer processor |
US6547364B2 (en) * | 1997-07-12 | 2003-04-15 | Silverbrook Research Pty Ltd | Printing cartridge with an integrated circuit device |
KR100258355B1 (ko) * | 1997-12-26 | 2000-06-01 | 김영환 | 8 비트 병렬 셀 단위 인터리버 |
US6307867B1 (en) | 1998-05-14 | 2001-10-23 | Telefonaktiebolaget Lm Ericsson (Publ) | Data transmission over a communications link with variable transmission rates |
US6654761B2 (en) * | 1998-07-29 | 2003-11-25 | Inxight Software, Inc. | Controlling which part of data defining a node-link structure is in memory |
JP2000059227A (ja) | 1998-08-07 | 2000-02-25 | Matsushita Electric Ind Co Ltd | 符号化/復号化装置、及び符号化/復号化方法 |
JP2000261416A (ja) * | 1999-03-09 | 2000-09-22 | Nec Eng Ltd | 二重化データ転送回路 |
US6785239B1 (en) | 1999-06-01 | 2004-08-31 | Cisco Technology, Inc. | Reducing delays in a communication network using a re-fragmentation pipeline |
JP2001188767A (ja) | 1999-12-28 | 2001-07-10 | Fuji Xerox Co Ltd | ニューラルネットワーク演算装置及びニューラルネットワークの演算方法 |
US6424737B1 (en) | 2000-01-24 | 2002-07-23 | Sony Corporation | Method and apparatus of compressing images using localized radon transforms |
WO2001069411A2 (en) | 2000-03-10 | 2001-09-20 | Arc International Plc | Memory interface and method of interfacing between functional entities |
GB2382898B (en) | 2000-12-29 | 2005-06-29 | Zarlink Semiconductor Ltd | A method of managing data |
JP2002259939A (ja) * | 2001-03-05 | 2002-09-13 | Kitakiyuushiyuu Techno Center:Kk | 連想メモリーベースコンピュータ |
US6990079B2 (en) | 2001-06-08 | 2006-01-24 | International Business Machines Corporation | Optimizing fragment sizes in frame relay networks |
US7012893B2 (en) | 2001-06-12 | 2006-03-14 | Smartpackets, Inc. | Adaptive control of data packet size in networks |
US7106968B2 (en) | 2001-07-06 | 2006-09-12 | Optix Networks Inc. | Combined SONET/SDH and OTN architecture |
US6954744B2 (en) * | 2001-08-29 | 2005-10-11 | Honeywell International, Inc. | Combinatorial approach for supervised neural network learning |
US6836767B2 (en) | 2001-10-03 | 2004-12-28 | International Business Machines Corporation | Pipelined hardware implementation of a neural network circuit |
US6961719B1 (en) * | 2002-01-07 | 2005-11-01 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Hybrid neural network and support vector machine method for optimization |
US7245627B2 (en) | 2002-04-23 | 2007-07-17 | Mellanox Technologies Ltd. | Sharing a network interface card among multiple hosts |
US7539608B1 (en) | 2002-05-10 | 2009-05-26 | Oracle International Corporation | Techniques for determining effects on system performance of a memory management parameter |
US7020207B1 (en) * | 2002-12-02 | 2006-03-28 | Hitachi, Ltd. | Video error concealment mechanism for block based video decompression |
US7444637B2 (en) | 2003-02-18 | 2008-10-28 | Microsoft Corporation | Systems and methods for scheduling coprocessor resources in a computing system |
US7137021B2 (en) * | 2003-05-15 | 2006-11-14 | International Business Machines Corporation | Power saving in FPU with gated power based on opcodes and data |
GB0313986D0 (en) * | 2003-06-17 | 2003-07-23 | Zarlink Semiconductor Inc | Data memory extension for use in double buffered TDM switches |
CN100437456C (zh) | 2003-12-09 | 2008-11-26 | 松下电器产业株式会社 | 电子装置及其控制方法、主机装置及其控制方法 |
US20050125797A1 (en) * | 2003-12-09 | 2005-06-09 | International Business Machines Corporation | Resource management for a system-on-chip (SoC) |
US7480640B1 (en) * | 2003-12-16 | 2009-01-20 | Quantum Leap Research, Inc. | Automated method and system for generating models from data |
US7376853B2 (en) | 2004-03-15 | 2008-05-20 | Canon Kabushiki Kaisha | Network apparatus, method for controlling the same, and program for the same |
US7284075B2 (en) | 2004-03-23 | 2007-10-16 | Intel Corporation | Inbound packet placement in host memory |
US7644239B2 (en) * | 2004-05-03 | 2010-01-05 | Microsoft Corporation | Non-volatile memory cache performance improvement |
US9143393B1 (en) * | 2004-05-25 | 2015-09-22 | Red Lambda, Inc. | System, method and apparatus for classifying digital data |
US20050289253A1 (en) * | 2004-06-24 | 2005-12-29 | Edirisooriya Samantha J | Apparatus and method for a multi-function direct memory access core |
US7363397B2 (en) | 2004-08-26 | 2008-04-22 | International Business Machines Corporation | System and method for DMA controller with multi-dimensional line-walking functionality |
US20060050693A1 (en) * | 2004-09-03 | 2006-03-09 | James Bury | Building data packets for an advanced switching fabric |
US20060100997A1 (en) * | 2004-10-27 | 2006-05-11 | Wall Gary C | Data caching |
US8190796B2 (en) * | 2004-11-02 | 2012-05-29 | Standard Microsystems Corporation | Hardware supported peripheral component memory alignment method |
CN1790918A (zh) | 2004-12-17 | 2006-06-21 | 中国科学院半导体研究所 | 基于虚拟信源和神经网络的无损数据压缩方法 |
US20060143401A1 (en) * | 2004-12-27 | 2006-06-29 | Jacob Doweck | Method and apparatus for prefetching based on cache fill buffer hits |
EP1701249A1 (en) * | 2005-03-11 | 2006-09-13 | Interuniversitair Microelektronica Centrum Vzw | Ultra low power ASIP (Application-Domain specific Instruction-set Processor) microcomputer |
US7793040B2 (en) * | 2005-06-01 | 2010-09-07 | Microsoft Corporation | Content addressable memory architecture |
US7747070B2 (en) * | 2005-08-31 | 2010-06-29 | Microsoft Corporation | Training convolutional neural networks on graphics processing units |
CN101401100B (zh) * | 2006-03-14 | 2012-10-10 | 国际商业机器公司 | 通过确定输入数据中的模式进行数据挖掘 |
RU2419226C2 (ru) * | 2006-03-31 | 2011-05-20 | Квэлкомм Инкорпорейтед | Управление памятью для высокоскоростного управления доступом к среде |
US9542642B2 (en) | 2006-04-06 | 2017-01-10 | Samuel F. Wood | Packet data neural network system and method |
US7764710B1 (en) * | 2006-04-25 | 2010-07-27 | Altera Corporation | Method and apparatus for processing communication protocol frame input |
US7620784B2 (en) * | 2006-06-09 | 2009-11-17 | Microsoft Corporation | High speed nonvolatile memory device using parallel writing among a plurality of interfaces |
US8718065B2 (en) | 2006-08-15 | 2014-05-06 | Broadcom Corporation | Transmission using multiple physical interface |
US7496707B2 (en) | 2006-08-22 | 2009-02-24 | International Business Machines Corporation | Dynamically scalable queues for performance driven PCI express memory traffic |
US20080091868A1 (en) * | 2006-10-17 | 2008-04-17 | Shay Mizrachi | Method and System for Delayed Completion Coalescing |
US8249171B2 (en) | 2006-11-10 | 2012-08-21 | Texas Instruments Incorporated | MPEG-2 transport stream packet synchronizer |
US20080168013A1 (en) * | 2006-12-05 | 2008-07-10 | Paul Cadaret | Scalable pattern recognition system |
CN101689130A (zh) * | 2006-12-06 | 2010-03-31 | 弗森多系统公司(dba弗森-艾奥) | 采用渐进raid存储数据的装置、系统和方法 |
US8103606B2 (en) | 2006-12-08 | 2012-01-24 | Medhat Moussa | Architecture, system and method for artificial neural network implementation |
CN101221541B (zh) * | 2007-01-09 | 2011-04-20 | 张立军 | 用于soc的可编程通信控制器 |
US7620749B2 (en) * | 2007-01-10 | 2009-11-17 | International Business Machines Corporation | Descriptor prefetch mechanism for high latency and out of order DMA device |
US8190834B2 (en) | 2007-06-15 | 2012-05-29 | Emc Corporation | Process for contiguously streaming data from a content addressed storage system |
JP5184824B2 (ja) * | 2007-06-15 | 2013-04-17 | キヤノン株式会社 | 演算処理装置及び方法 |
US7822951B2 (en) | 2007-08-01 | 2010-10-26 | Advanced Micro Devices, Inc. | System and method of load-store forwarding |
US8200992B2 (en) * | 2007-09-24 | 2012-06-12 | Cognitive Electronics, Inc. | Parallel processing computer systems with reduced power consumption and methods for providing the same |
CN101183873B (zh) | 2007-12-11 | 2011-09-28 | 广州中珩电子科技有限公司 | 一种基于bp神经网络的嵌入式系统数据压缩解压缩方法 |
US8244953B1 (en) | 2007-12-18 | 2012-08-14 | Emc Corporation | System and method for faster data retrieval from tape media |
US8244721B2 (en) * | 2008-02-13 | 2012-08-14 | Microsoft Corporation | Using related users data to enhance web search |
US7730244B1 (en) * | 2008-03-27 | 2010-06-01 | Xilinx, Inc. | Translation of commands in an interconnection of an embedded processor block core in an integrated circuit |
US8201166B2 (en) * | 2008-04-30 | 2012-06-12 | Hewlett-Packard Development Company, L.P. | Virtualization platform configured with virtual connect control |
GB0811057D0 (en) | 2008-06-17 | 2008-07-23 | Univ Ulster | Artificial neural network architecture |
US8566515B2 (en) * | 2009-01-12 | 2013-10-22 | Maxim Integrated Products, Inc. | Memory subsystem |
US20100180100A1 (en) | 2009-01-13 | 2010-07-15 | Mavrix Technology, Inc. | Matrix microprocessor and method of operation |
US8392687B2 (en) * | 2009-01-21 | 2013-03-05 | Micron Technology, Inc. | Solid state memory formatting |
JP5458629B2 (ja) * | 2009-03-31 | 2014-04-02 | ブラザー工業株式会社 | ノード装置、ノード処理プログラム及び検索方法 |
US20100257174A1 (en) | 2009-04-02 | 2010-10-07 | Matthew Dino Minuti | Method for data compression utilizing pattern-analysis and matching means such as neural networks |
US20100281192A1 (en) | 2009-04-30 | 2010-11-04 | Novafora, Inc. | Apparatus and method for transferring data within a data processing system |
EP2259214B1 (en) | 2009-06-04 | 2013-02-27 | Honda Research Institute Europe GmbH | Implementing a neural associative memory based on non-linear learning of discrete synapses |
GB2484416B (en) * | 2009-06-26 | 2015-02-25 | Intel Corp | Optimizations for an unbounded transactional memory (utm) system |
US8442927B2 (en) | 2009-07-30 | 2013-05-14 | Nec Laboratories America, Inc. | Dynamically configurable, multi-ported co-processor for convolutional neural networks |
US8316194B2 (en) * | 2009-12-15 | 2012-11-20 | Intel Corporation | Mechanisms to accelerate transactions using buffered stores |
US20110153877A1 (en) * | 2009-12-23 | 2011-06-23 | King Steven R | Method and apparatus to exchange data via an intermediary translation and queue manager |
CN102971997B (zh) * | 2010-01-18 | 2016-11-09 | 马维尔国际有限公司 | 包括数据分段和数据描述分段的分组缓冲器 |
US8713260B2 (en) | 2010-04-02 | 2014-04-29 | Intel Corporation | Adaptive block pre-fetching method and system |
US8549506B2 (en) * | 2010-04-27 | 2013-10-01 | Microsoft Corporation | Resumable methods |
US8965819B2 (en) * | 2010-08-16 | 2015-02-24 | Oracle International Corporation | System and method for effective caching using neural networks |
US8701099B2 (en) * | 2010-11-02 | 2014-04-15 | International Business Machines Corporation | Accelerating generic loop iterators using speculative execution |
US9300321B2 (en) * | 2010-11-05 | 2016-03-29 | University of Maribor | Light detection and ranging (LiDAR)data compression and decompression methods and apparatus |
US8515882B2 (en) | 2010-11-18 | 2013-08-20 | International Business Machines Corporation | Efficient storage of individuals for optimization simulation |
CN102480337B (zh) | 2010-11-30 | 2016-04-13 | 国际商业机器公司 | 无线电软件系统以及用于其的解码装置和方法 |
US8966413B2 (en) * | 2011-02-17 | 2015-02-24 | The Board Of Trustees Of The Leland Stanford Junior University | System and method for a chip generator |
US8892488B2 (en) * | 2011-06-01 | 2014-11-18 | Nec Laboratories America, Inc. | Document classification with weighted supervised n-gram embedding |
WO2012170904A2 (en) * | 2011-06-10 | 2012-12-13 | Bytemobile, Inc. | Adaptive bitrate management on progressive download with indexed media files |
CN102332162A (zh) | 2011-09-19 | 2012-01-25 | 西安百利信息科技有限公司 | 基于人工神经网络的医学图像兴趣区自动识别和分级压缩方法 |
US9015092B2 (en) * | 2012-06-04 | 2015-04-21 | Brain Corporation | Dynamically reconfigurable stochastic learning apparatus and methods |
US9326075B2 (en) | 2011-10-07 | 2016-04-26 | Cochlear Limited | Flexible protocol for an implanted prosthesis |
US9235799B2 (en) * | 2011-11-26 | 2016-01-12 | Microsoft Technology Licensing, Llc | Discriminative pretraining of deep neural networks |
CN102523452B (zh) | 2011-12-29 | 2014-12-17 | 西安空间无线电技术研究所 | 图像转换压缩传输方法 |
CN102609222B (zh) * | 2012-02-13 | 2015-03-25 | 山东华芯半导体有限公司 | 基于命令描述符的闪存控制方法 |
US9128925B2 (en) * | 2012-04-24 | 2015-09-08 | Freescale Semiconductor, Inc. | System and method for direct memory access buffer utilization by setting DMA controller with plurality of arbitration weights associated with different DMA engines |
US9703500B2 (en) * | 2012-04-25 | 2017-07-11 | International Business Machines Corporation | Reducing power consumption by migration of data within a tiered storage system |
US9509632B2 (en) * | 2012-04-25 | 2016-11-29 | Empire Technology Development Llc | Workload prediction for network-based computing |
US9015096B2 (en) * | 2012-05-30 | 2015-04-21 | Qualcomm Incorporated | Continuous time spiking neural network event-based simulation that schedules co-pending events using an indexable list of nodes |
US9432489B2 (en) * | 2012-06-05 | 2016-08-30 | Intel Corporation | Systems and methods for processing encoded data streams |
US9159020B2 (en) * | 2012-09-14 | 2015-10-13 | International Business Machines Corporation | Multiplexing physical neurons to optimize power and area |
US20160013773A1 (en) * | 2012-11-06 | 2016-01-14 | Pavel Dourbal | Method and apparatus for fast digital filtering and signal processing |
WO2014085975A1 (zh) * | 2012-12-04 | 2014-06-12 | 中国科学院半导体研究所 | 可动态重构的多级并行单指令多数据阵列处理系统 |
KR20150064197A (ko) | 2012-12-26 | 2015-06-10 | 인텔 코포레이션 | 인접한 수집/분산 연산들의 통합 |
EP2949047B1 (en) * | 2013-01-22 | 2021-03-31 | Altera Corporation | Data compression and decompression using simd instructions |
US10909137B2 (en) | 2014-10-06 | 2021-02-02 | Fisher-Rosemount Systems, Inc. | Streaming data for analytics in process control systems |
CN104050200B (zh) | 2013-03-15 | 2017-12-08 | 伊姆西公司 | 用于数据拷贝的方法和装置 |
US9760346B2 (en) * | 2013-05-31 | 2017-09-12 | Microsoft Technology Licensing, Llc | Deeply parallel source code compilation |
WO2014204331A1 (en) | 2013-06-17 | 2014-12-24 | Llc "Topcon Positioning Systems" | Nand flash memory interface controller with gnss receiver firmware booting capability |
EP3047390A1 (en) * | 2013-09-19 | 2016-07-27 | Sysomos L.P. | Systems and methods for actively composing content for use in continuous social communication |
US9280465B2 (en) * | 2013-10-08 | 2016-03-08 | Globalfoundries Inc. | Techniques for moving checkpoint-based high-availability log and data directly from a producer cache to a consumer cache |
US20150286873A1 (en) * | 2014-04-03 | 2015-10-08 | Bruce L. Davis | Smartphone-based methods and systems |
US9286171B2 (en) * | 2013-12-12 | 2016-03-15 | International Business Machines Corporation | Priming failover of stateful offload adapters |
EP3087454A4 (en) * | 2013-12-23 | 2017-08-02 | Intel Corporation | Input output data alignment |
GB2521828A (en) * | 2013-12-23 | 2015-07-08 | Sony Corp | Data encoding and decoding |
US9851771B2 (en) | 2013-12-28 | 2017-12-26 | Intel Corporation | Dynamic power measurement and estimation to improve memory subsystem power performance |
US10097372B2 (en) * | 2014-01-09 | 2018-10-09 | Ciena Corporation | Method for resource optimized network virtualization overlay transport in virtualized data center environments |
EP2896428B1 (fr) * | 2014-01-16 | 2016-11-09 | Sorin CRM SAS | Ensemble de réseau de neurones pour l'évaluation et l'adaptation d'une thérapie antitachycardique par un défibrillateur implantable |
US10339447B2 (en) * | 2014-01-23 | 2019-07-02 | Qualcomm Incorporated | Configuring sparse neuronal networks |
US9563369B2 (en) * | 2014-04-14 | 2017-02-07 | Microsoft Technology Licensing, Llc | Fine-grained bandwidth provisioning in a memory controller |
EP3132389A1 (en) * | 2014-04-15 | 2017-02-22 | Intel Corporation | Methods, systems and computer program products for neuromorphic graph compression using associative memories |
US9219499B2 (en) | 2014-05-16 | 2015-12-22 | Robert Bosch Gmbh | Run time compression method for a vehicle communication bus |
US9892125B1 (en) * | 2014-05-23 | 2018-02-13 | MapD Technologies, Inc. | Method for logging update queries |
US9959142B2 (en) * | 2014-06-17 | 2018-05-01 | Mediatek Inc. | Dynamic task scheduling method for dispatching sub-tasks to computing devices of heterogeneous computing system and related computer readable medium |
RU2666631C2 (ru) * | 2014-09-12 | 2018-09-11 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Обучение dnn-студента посредством распределения вывода |
US9990307B1 (en) | 2014-10-29 | 2018-06-05 | Netronome Systems, Inc. | Split packet transmission DMA engine |
EP3035204B1 (en) | 2014-12-19 | 2018-08-15 | Intel Corporation | Storage device and method for performing convolution operations |
EP3035249B1 (en) | 2014-12-19 | 2019-11-27 | Intel Corporation | Method and apparatus for distributed and cooperative computation in artificial neural networks |
US10223635B2 (en) | 2015-01-22 | 2019-03-05 | Qualcomm Incorporated | Model compression and fine-tuning |
CN104573064B (zh) * | 2015-01-23 | 2017-12-08 | 四川中科腾信科技有限公司 | 一种大数据环境下的数据处理方法 |
US10234930B2 (en) * | 2015-02-13 | 2019-03-19 | Intel Corporation | Performing power management in a multicore processor |
CA2923600A1 (en) * | 2015-03-12 | 2016-09-12 | Staples, Inc. | Review sentiment analysis |
US10262190B2 (en) * | 2015-03-26 | 2019-04-16 | Beijing Kuangshi Technology Co., Ltd. | Method, system, and computer program product for recognizing face |
US9378044B1 (en) * | 2015-03-28 | 2016-06-28 | Vmware, Inc. | Method and system that anticipates deleterious virtual-machine state changes within a virtualization layer |
US9928144B2 (en) * | 2015-03-30 | 2018-03-27 | Commvault Systems, Inc. | Storage management of data using an open-archive architecture, including streamlined access to primary data originally stored on network-attached storage and archived to secondary storage |
FR3035243B1 (fr) * | 2015-04-20 | 2018-06-29 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Placement d'une tache de calcul sur un processeur fonctionnellement asymetrique |
US9965824B2 (en) * | 2015-04-23 | 2018-05-08 | Google Llc | Architecture for high performance, power efficient, programmable image processing |
US20160328644A1 (en) | 2015-05-08 | 2016-11-10 | Qualcomm Incorporated | Adaptive selection of artificial neural networks |
US20160335119A1 (en) | 2015-05-12 | 2016-11-17 | minds.ai inc | Batch-based neural network system |
US10083395B2 (en) * | 2015-05-21 | 2018-09-25 | Google Llc | Batch processing in a neural network processor |
US9595002B2 (en) * | 2015-05-29 | 2017-03-14 | Sas Institute Inc. | Normalizing electronic communications using a vector having a repeating substring as input for a neural network |
CN106203619B (zh) * | 2015-05-29 | 2022-09-13 | 三星电子株式会社 | 数据优化的神经网络遍历 |
US20160350653A1 (en) * | 2015-06-01 | 2016-12-01 | Salesforce.Com, Inc. | Dynamic Memory Network |
US20160358069A1 (en) * | 2015-06-03 | 2016-12-08 | Samsung Electronics Co., Ltd. | Neural network suppression |
CN106250981B (zh) * | 2015-06-10 | 2022-04-01 | 三星电子株式会社 | 减少存储器访问和网络内带宽消耗的脉冲神经网络 |
US20160378491A1 (en) | 2015-06-26 | 2016-12-29 | Microsoft Technology Licensing, Llc | Determination of target location for transfer of processor control |
US10275001B2 (en) | 2015-06-26 | 2019-04-30 | Intel Corporation | Thermal throttling of electronic devices |
US20160379109A1 (en) * | 2015-06-29 | 2016-12-29 | Microsoft Technology Licensing, Llc | Convolutional neural networks on hardware accelerators |
US11244225B2 (en) | 2015-07-10 | 2022-02-08 | Samsung Electronics Co., Ltd. | Neural network processor configurable using macro instructions |
EP3680820B1 (en) | 2015-10-04 | 2021-12-01 | Atomwise Inc. | Method for applying a convolutional network to spatial data |
CN106503796B (zh) * | 2015-10-08 | 2019-02-12 | 上海兆芯集成电路有限公司 | 多运算神经网络单元 |
US11029949B2 (en) * | 2015-10-08 | 2021-06-08 | Shanghai Zhaoxin Semiconductor Co., Ltd. | Neural network unit |
US10471594B2 (en) * | 2015-12-01 | 2019-11-12 | Kindred Systems Inc. | Systems, devices, and methods for the distribution and collection of multimodal data associated with robots |
CN105488563A (zh) * | 2015-12-16 | 2016-04-13 | 重庆大学 | 面向深度学习的稀疏自适应神经网络、算法及实现装置 |
US10007519B2 (en) * | 2015-12-22 | 2018-06-26 | Intel IP Corporation | Instructions and logic for vector bit field compression and expansion |
US11232085B2 (en) * | 2016-01-07 | 2022-01-25 | Amazon Technologies, Inc. | Outlier detection for streaming data |
CN107578099B (zh) * | 2016-01-20 | 2021-06-11 | 中科寒武纪科技股份有限公司 | 计算装置和方法 |
US10565207B2 (en) * | 2016-04-12 | 2020-02-18 | Hsilin Huang | Method, system and program product for mask-based compression of a sparse matrix |
CN106203624B (zh) * | 2016-06-23 | 2019-06-21 | 上海交通大学 | 基于深度神经网络的矢量量化系统及方法 |
CN106204468B (zh) * | 2016-06-27 | 2019-04-26 | 深圳市未来媒体技术研究院 | 一种基于ReLU卷积神经网络的图像去噪方法 |
US10528864B2 (en) * | 2016-08-11 | 2020-01-07 | Nvidia Corporation | Sparse convolutional neural network accelerator |
WO2018058452A1 (zh) * | 2016-09-29 | 2018-04-05 | 北京中科寒武纪科技有限公司 | 一种执行人工神经网络运算的装置和方法 |
US10296292B2 (en) * | 2016-10-20 | 2019-05-21 | Advanced Micro Devices, Inc. | Dynamic variable precision computation |
CN106530200B (zh) | 2016-10-23 | 2020-01-07 | 深圳大学 | 一种基于深度学习模型的隐写图像检测方法及系统 |
CN106529670B (zh) * | 2016-10-27 | 2019-01-25 | 中国科学院计算技术研究所 | 一种基于权重压缩的神经网络处理器、设计方法、芯片 |
US9959498B1 (en) | 2016-10-27 | 2018-05-01 | Google Llc | Neural network instruction set architecture |
US10067710B2 (en) * | 2016-11-23 | 2018-09-04 | Advanced Micro Devices, Inc. | Detecting buffer overflows in general-purpose GPU applications |
US10037490B2 (en) * | 2016-12-13 | 2018-07-31 | Google Llc | Performing average pooling in hardware |
US20180164866A1 (en) * | 2016-12-13 | 2018-06-14 | Qualcomm Incorporated | Low-power architecture for sparse neural network |
US10169296B2 (en) * | 2016-12-30 | 2019-01-01 | Intel Corporation | Distributed matrix multiplication for neural networks |
US10402527B2 (en) | 2017-01-04 | 2019-09-03 | Stmicroelectronics S.R.L. | Reconfigurable interconnect |
US10096134B2 (en) * | 2017-02-01 | 2018-10-09 | Nvidia Corporation | Data compaction and memory bandwidth reduction for sparse neural networks |
US10333549B1 (en) * | 2017-03-08 | 2019-06-25 | iDensify LLC | System and components for encoding integers |
US10909447B2 (en) | 2017-03-09 | 2021-02-02 | Google Llc | Transposing neural network matrices in hardware |
US10795836B2 (en) | 2017-04-17 | 2020-10-06 | Microsoft Technology Licensing, Llc | Data processing performance enhancement for neural networks using a virtualized data iterator |
US10671349B2 (en) * | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US20190081637A1 (en) * | 2017-09-08 | 2019-03-14 | Nvidia Corporation | Data inspection for compression/decompression configuration and data type determination |
KR20190066473A (ko) * | 2017-12-05 | 2019-06-13 | 삼성전자주식회사 | 뉴럴 네트워크에서 컨볼루션 연산을 처리하는 방법 및 장치 |
US20200250842A1 (en) * | 2019-01-31 | 2020-08-06 | Samsung Electronics Co., Ltd. | Method and apparatus with convolution neural network processing |
US11671111B2 (en) * | 2019-04-17 | 2023-06-06 | Samsung Electronics Co., Ltd. | Hardware channel-parallel data compression/decompression |
CN112465129B (zh) * | 2019-09-09 | 2024-01-09 | 上海登临科技有限公司 | 片内异构人工智能处理器 |
-
2017
- 2017-09-01 US US15/694,663 patent/US10795836B2/en active Active
- 2017-09-12 US US15/702,311 patent/US10540584B2/en active Active
- 2017-09-28 US US15/719,351 patent/US11256976B2/en active Active
- 2017-10-17 US US15/786,514 patent/US20180300602A1/en not_active Abandoned
- 2017-11-15 US US15/813,952 patent/US11182667B2/en active Active
- 2017-12-01 US US15/829,832 patent/US10963403B2/en active Active
-
2018
- 2018-01-26 US US15/881,519 patent/US11010315B2/en active Active
- 2018-04-06 WO PCT/US2018/026356 patent/WO2018194849A1/en unknown
- 2018-04-06 WO PCT/US2018/026352 patent/WO2018194845A1/en unknown
- 2018-04-06 EP EP18720863.2A patent/EP3612989B1/en active Active
- 2018-04-06 CN CN201880025503.0A patent/CN110520853B/zh active Active
- 2018-04-06 CN CN202310874704.0A patent/CN116909985A/zh active Pending
- 2018-04-06 CN CN201880024892.5A patent/CN110506260B/zh active Active
- 2018-04-06 WO PCT/US2018/026353 patent/WO2018194846A1/en unknown
- 2018-04-06 WO PCT/US2018/026355 patent/WO2018194848A1/en unknown
- 2018-04-06 CN CN201880025504.5A patent/CN110520857B/zh active Active
- 2018-04-06 EP EP18724637.6A patent/EP3612948A1/en active Pending
- 2018-04-06 EP EP18720862.4A patent/EP3612947B1/en active Active
- 2018-04-06 CN CN201880025244.1A patent/CN110520856B/zh active Active
- 2018-04-06 CN CN202310865940.6A patent/CN116909984A/zh active Pending
- 2018-04-06 EP EP18720710.5A patent/EP3612942B1/en active Active
- 2018-04-06 EP EP18720860.8A patent/EP3612945B1/en active Active
- 2018-04-06 WO PCT/US2018/026357 patent/WO2018194850A1/en unknown
- 2018-04-06 CN CN201880025417.XA patent/CN110520846B/zh active Active
- 2018-04-06 CN CN201880025227.8A patent/CN110520870B/zh active Active
- 2018-04-06 WO PCT/US2018/026354 patent/WO2018194847A1/en unknown
- 2018-04-06 WO PCT/US2018/026358 patent/WO2018194851A1/en unknown
- 2018-04-06 CN CN201880025415.0A patent/CN110546628B/zh active Active
- 2018-04-06 EP EP18720861.6A patent/EP3612946B1/en active Active
- 2018-04-06 EP EP18725024.6A patent/EP3612937A1/en not_active Withdrawn
- 2018-04-11 US US15/950,644 patent/US10628345B2/en active Active
- 2018-04-11 US US15/950,550 patent/US11100390B2/en active Active
- 2018-04-11 US US15/951,106 patent/US11100391B2/en active Active
- 2018-04-12 US US15/951,690 patent/US11205118B2/en active Active
- 2018-04-13 WO PCT/US2018/027680 patent/WO2018194940A1/en active Application Filing
- 2018-04-13 EP EP18721658.5A patent/EP3612990B1/en active Active
- 2018-04-13 US US15/953,330 patent/US11476869B2/en active Active
- 2018-04-13 CN CN201880025488.XA patent/CN110537194B/zh active Active
- 2018-04-13 WO PCT/US2018/027674 patent/WO2018194939A1/en unknown
- 2018-04-13 US US15/953,356 patent/US11528033B2/en active Active
- 2018-04-13 US US15/953,195 patent/US11341399B2/en active Active
- 2018-04-13 US US15/953,388 patent/US11405051B2/en active Active
- 2018-04-16 WO PCT/US2018/027836 patent/WO2018194995A1/en unknown
- 2018-04-16 RU RU2019136750A patent/RU2767447C2/ru active
- 2018-04-16 EP EP18723123.8A patent/EP3612936B1/en active Active
- 2018-04-16 NZ NZ756870A patent/NZ756870A/en unknown
- 2018-04-16 CN CN201880025480.3A patent/CN110546611B/zh active Active
- 2018-04-16 BR BR112019021541-7A patent/BR112019021541A2/pt unknown
- 2018-04-16 EP EP18722339.1A patent/EP3612933A1/en active Pending
- 2018-04-16 EP EP18721665.0A patent/EP3612991B1/en active Active
- 2018-04-16 CN CN201880025126.0A patent/CN110546610B/zh active Active
- 2018-04-16 KR KR1020237037000A patent/KR102663557B1/ko active IP Right Grant
- 2018-04-16 WO PCT/US2018/027837 patent/WO2018194996A1/en unknown
- 2018-04-16 MX MX2019012388A patent/MX2019012388A/es unknown
- 2018-04-16 AU AU2018256212A patent/AU2018256212B2/en active Active
- 2018-04-16 EP EP18722340.9A patent/EP3612934A1/en active Pending
- 2018-04-16 WO PCT/US2018/027835 patent/WO2018194994A2/en unknown
- 2018-04-16 EP EP18724644.2A patent/EP3612988A2/en not_active Withdrawn
- 2018-04-16 CN CN201880025426.9A patent/CN110678843B/zh active Active
- 2018-04-16 EP EP18721932.4A patent/EP3613026B1/en active Active
- 2018-04-16 CN CN201880025508.3A patent/CN110582785B/zh active Active
- 2018-04-16 CN CN201880025420.1A patent/CN110520909B/zh active Active
- 2018-04-16 JP JP2019555659A patent/JP7004741B2/ja active Active
- 2018-04-16 MY MYPI2019006051A patent/MY201868A/en unknown
- 2018-04-16 SG SG11201909175X patent/SG11201909175XA/en unknown
- 2018-04-16 WO PCT/US2018/027840 patent/WO2018194998A1/en unknown
- 2018-04-16 KR KR1020197033456A patent/KR102596644B1/ko active IP Right Grant
- 2018-04-16 WO PCT/US2018/027828 patent/WO2018194988A1/en unknown
- 2018-04-16 CN CN201880025130.7A patent/CN110546654B/zh active Active
- 2018-04-16 WO PCT/US2018/027834 patent/WO2018194993A1/en unknown
- 2018-04-16 CA CA3056660A patent/CA3056660A1/en active Pending
-
2019
- 2019-09-05 ZA ZA2019/05874A patent/ZA201905874B/en unknown
- 2019-09-14 PH PH12019550191A patent/PH12019550191A1/en unknown
- 2019-10-04 CO CONC2019/0011014A patent/CO2019011014A2/es unknown
- 2019-10-07 IL IL269888A patent/IL269888B/en unknown
- 2019-10-07 CL CL2019002864A patent/CL2019002864A1/es unknown
-
2020
- 2020-04-08 US US16/843,800 patent/US11176448B2/en active Active
- 2020-07-29 US US16/942,728 patent/US11030131B2/en active Active
-
2021
- 2021-04-15 US US17/232,074 patent/US11750212B2/en active Active
-
2022
- 2022-01-25 US US17/583,499 patent/US11722147B2/en active Active
- 2022-11-11 US US18/054,851 patent/US11909422B2/en active Active
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110520909B (zh) | 使用激活数据的压缩和解压缩来减少存储器带宽利用率的神经网络处理器 | |
US11494237B2 (en) | Managing workloads of a deep neural network processor | |
US20230196086A1 (en) | Increased precision neural processing element | |
US11507349B2 (en) | Neural processing element with single instruction multiple data (SIMD) compute lanes | |
CN118153639A (zh) | 用于增强数据处理的系统、方法及神经网络处理器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40016535 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |