CN110546610B - 通过数据共享和分配增强人工智能/机器硬件的处理性能 - Google Patents

通过数据共享和分配增强人工智能/机器硬件的处理性能 Download PDF

Info

Publication number
CN110546610B
CN110546610B CN201880025126.0A CN201880025126A CN110546610B CN 110546610 B CN110546610 B CN 110546610B CN 201880025126 A CN201880025126 A CN 201880025126A CN 110546610 B CN110546610 B CN 110546610B
Authority
CN
China
Prior art keywords
data
processing
computer
neuron buffer
buffer memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880025126.0A
Other languages
English (en)
Other versions
CN110546610A (zh
Inventor
C·B·麦克布赖德
A·A·安巴德卡
K·D·塞多拉
B·博布罗夫
G·彼得
L·M·瓦尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110546610A publication Critical patent/CN110546610A/zh
Application granted granted Critical
Publication of CN110546610B publication Critical patent/CN110546610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/324—Power saving characterised by the action undertaken by lowering clock frequency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3275—Power saving in memory, e.g. RAM, cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0207—Addressing or allocation; Relocation with multidimensional access, e.g. row/column, matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0862—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with prefetch
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10—Address translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G06F13/1673—Details of memory controller using buffers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G06F13/1689—Synchronisation and timing concerns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8007—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors single instruction multiple data [SIMD] multiprocessors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30076—Arrangements for executing specific machine instructions to perform miscellaneous control operations, e.g. NOP
    • G06F9/30087—Synchronisation or serialisation instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3854—Instruction completion, e.g. retiring, committing or graduating
    • G06F9/3858—Result writeback, i.e. updating the architectural state or memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3887—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by a single instruction for multiple data lanes [SIMD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/466—Transaction processing
    • G06F9/467—Transactional memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5033—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering data affinity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3066—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction by means of a mask or a bit-map
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
    • H03M7/3088—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method employing the use of a dictionary, e.g. LZ78
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/46—Conversion to or from run-length codes, i.e. by representing the number of consecutive digits, or groups of digits, of the same kind by a code word and a digit indicative of that kind
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6005—Decoder aspects
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6011—Encoder aspects
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6058—Saving memory space in the encoder or decoder
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/70—Type of the data to be coded, other than image and sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/02—Topology update or discovery
    • H04L45/04—Interdomain routing, e.g. hierarchical routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/50—Routing or path finding of packets in data switching networks using label swapping, e.g. multi-protocol label switch [MPLS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/484—Precedence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/485—Resource constraint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/60—Details of cache memory
    • G06F2212/6026—Prefetching based on access pattern detection, e.g. stride based prefetch
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/65—Details of virtual memory and virtual address translation
    • G06F2212/657—Virtual address space management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Neurology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Advance Control (AREA)
  • Memory System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Power Sources (AREA)
  • Bus Control (AREA)
  • Complex Calculations (AREA)
  • Multi Processors (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Input (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

具有与一个或多个存储器组件协作的示例性DNN模块的示例性人工智能/机器学习硬件计算环境可以执行数据共享和分发以及缓冲器数据的重用，以减少存储器组件读/写的数目，从而增强整体硬件性能并降低功耗。说明性地，根据示例性硬件的所选操作来读取来自协作存储器组件的数据，并将其写入对应的其他存储器组件以供一个或多个处理元件(例如，神经元)使用。以该方式读取数据，来优化每个处理周期的一个或多个处理元件的参与，以及重用先前存储在一个或多个协作存储器组件中的数据。可操作地，将写入的数据在被处理元件消费之前复制到阴影存储器缓冲器。

Description

通过数据共享和分配增强人工智能/机器硬件的处理性能
背景技术
通过示例性人工智能/机器学习硬件环境表达的深度神经网络(“DNN”)在经过生物神经系统(诸如人脑)中的信息处理和通信模式之后被松散地建模。DNN可以被用来解决复杂的分类问题，诸如但不限于对象检测、语义标记和特征提取。结果，DNN构成了许多人工智能(“AI”)应用的基础，诸如计算机视觉、语音识别和机器翻译。DNN可以在许多上述领域中匹配或超过人类的准确性。
DNN的高性能源于它们在使用大数据集上的统计学习来获得输入空间的有效表示之后，从输入数据中提取高级特征的能力。然而，DNN的优越性能是以高计算复杂性为代价的。高性能通用处理器，诸如图形处理单元(“GPU”)，通常用于提供许多DNN应用所需的高水平计算性能。
虽然如GPU一类的通用处理器可以为实现DNN提供高水平的计算性能，但是这些类型的处理器通常不适合用于在低功耗至关重要的计算设备中长时间执行DNN操作。例如，诸如GPU一类的通用处理器可能不适合用于在电池供电的便携式设备中执行长时间运行的DNN任务，如智能电话或替代现实/虚拟现实(“AR/VR”)设备，其中需要降低功耗以延长电池寿命。
在执行连续的DNN任务(诸如检测人体移动)的同时降低功耗在非电池供电设备中也可以是重要的，例如诸如通过以太网供电(“POE”)安全相机。在该具体示例中，POE交换机只能提供有限量的功率，而如安全相机等POE设备的功率降低可以导致POE交换机的更低的功耗和成本。
已经开发了专用集成电路(“ASIC”)，与通用处理器相比，其可以提供高性能DNN处理，同时降低了功耗。然而，尽管在该领域取得了进步，但仍然需要改进性能并降低执行DNN处理的ASIC的功耗，特别是用于低功耗至关重要的计算设备。
当前的实践提供了管理存储器和/或处理的各种机制，以确保请求用于示例性计算环境的共享资源的组件之间的平衡。利用当前的实践，这种存储器/处理器管理不足以优化在DNN模块的协作存储器元件之间执行的读/写操作的数目以及每个可用处理元件(诸如协作DNN芯片的神经元)的总体效用。此外，当前的实践集中于系统的整体处理/存储器管理，而不考虑人工智能/机器学习硬件组件的总体功耗和处理性能。
关于这些和其他技术挑战，本文所公开的内容被呈现。
发明内容
公开了一种表示为DNN模块的人工智能/机器学习硬件，其可以通过执行优化的数据共享和分发以及跨示例性环境的各种协作存储器组件的数据重用来增强模块的处理单元的处理性能，以及通过增强的存储器管理降低功耗。本文未具体提及的其他技术益处也可以通过所公开的主题内容的实现来实现。
为了实现上文简要提到的技术益处，说明性地，在具有DNN模块的示例性计算环境中，可以操作DNN模块以优化数据共享和分发以及跨一个或多个协作存储器组件(诸如示例性神经元缓冲器和/或线缓冲器)的数据重用。说明性地，可以测量性能的两个方面。第一组件(计算)可以根据多个单元来测量，包括但不限于每秒的浮点操作(例如，GFlops/s)和每秒的乘法加法(例如，GMAC/s)。第二组件(数据传输)可以通过每秒传输的字节数(例如GBytes/s)来测量。为了确保示例性DNN模块的最高性能，可以优化和平衡计算和数据传输速率两者。这种优化可以导致由本文所描述的示例性人工智能/机器学习硬件实现的整体处理性能的增强和总体降低的功耗。
在示例性DNN环境中的数据传输可以进一步分解为两种数据传输，诸如第一指令获取和第二算法数据传输。在说明性实现中，示例性NN环境算法可以依赖于一个或多个函数，该一个或多个函数可以被分解成若干不同矩阵操作，诸如卷积、反卷积、乘法、加法等，以从输入数据推断/学习一个或多个接下来的操作。说明性地，这种推断/学习可以基于表示为其他输入数据的某种其他上下文。这些操作中的许多操作本质上是并行的，并且可以利用在示例性DNN硬件中实现的同时处理。
为了在具有有限带宽使用的高吞吐量下实现这种并行处理，这里描述的系统和方法可以说明性地构造输入数据，以便由硬件中的示例性DNN环境进行处理，使得对于输入数据的每个所需使用，输入数据的同时和近期使用在不重新读取来自一个或多个协作存储器组件的相同输入数据的情况下发生。在说明性操作中，这里描述的系统和方法可以说明性地操作为数据缓冲器，该数据缓冲器可以在本地可操作地存储数据并且可以依赖于要处理的数据的时间和空间所在。
这里描述的系统和方法可操作地最小化从存储器的数据读取的数目，并且最大化在该数据离开DNN环境的协作存储器组件(诸如数据缓冲器)之前对该数据执行的操作的数目。可操作地，所需的公共数据可以分布在数据的许多消费者中间，诸如示例性DNN环境的神经元。这里描述的系统和方法还通过允许一个或多个维度中的数据共享/分发的可扩展性来解决诸如数据缓冲器的协作存储器组件的可扩展性，包括但不限于：1)跨越许多协作数据消费者(例如，神经元)和2)在可用于数据共享机会的时间窗口中。
可操作地，可以跨协作数据消费者共享数据，使得有足够的步骤时间来移除可能的数据取回未命中停顿(即，数据在协作存储器组件中不可用于供数据消费者消费)，从而消除了等待返回数据的数百个停顿周期。
在说明性实现中，由协作数据消费者执行的函数可以由示例性DNN模块的示例性操作控制器接收，作为处理示例性输入数据的一部分。可操作地，然后可以组织输入数据以减少来自一个或多个协作存储器组件的存储器读取的数目，以使(多个)给定操作完全执行到完成。
说明性地，由于多个处理操作共享相同的输入数据和/或输入数据的可变配置，因此可以减少带宽要求，因为存储器读取被优化。在说明性实现中，这里描述的系统和方法可以根据推送模型(例如，在被一个或多个协作消费者(例如，神经元)消费之前，数据被预先填充在协作存储器组件中的模型)，在跨一个或多个协作存储器组件存储的数据的多个副本上操作。说明性地，神经元存储缓冲器可操作，以在单个周期中重新配置从协作本地存储器读取的数据，使得从外部存储器读取的所有X个元素都被写入预期的存储器位置。在没有这种数据的即时(on-the-fly)重新配置的情况下，必须多次读取相同的数据，这需要附加的处理时间和增加的功耗。
在说明性实现中，可以利用神经元缓冲器，其以所选择的速率可操作地向一个或多个协作的神经元提供输入数据，该所选择的速率确保在处理周期期间一个或多个协作神经元的最大处理操作。神经元缓冲器的大小可以取决于神经元的数目、数据单元的大小以及数据快照表示的周期数。在说明性实现中，示例性神经元缓冲器可以包括四个存储器结构。可以为示例性操作数A分配这些存储器结构中的两个，并且可以为示例性操作数B分配两个示例性存储器结构。应当理解，尽管使用两个操作数描述了说明性实现，但是这里描述的发明构思考虑使用任何数目的操作数。在说明性实现中，每个操作数对可以包括主存储器和包括双缓冲器存储器组件的阴影存储器，其中阴影副本表示为处理而消费的当前数据，并且主副本表示用于消费的下一数据块。
在说明性实现中，主存储器缓冲器可以被部署为数据重新配置存储器和阴影缓冲器存储器，作为可以保持重新配置存储器的多个快照的示例性队列。通过示例，如果阴影缓冲器存储器配置具有队列大小＝1，则系统可以可操作地连续地从外部存储器读取数据并将其置于重新配置(主)存储器中。一旦主存储器被填满，主存储器元素就可以被复制到阴影存储器队列中的下一可用位置，主数据存储器元素也在复制后被擦除，使主存储器缓冲器可用于将新数据写入其中。
在说明性操作中，神经元缓冲器的行可以被映射到每个神经元。例如，行[0]可以表示神经元[0]的数据，行[1]可以表示神经元[1]的数据。神经元的数目可以称为N。此外，神经元缓冲器的列可以在时钟周期方面被映射到时间。例如，列[0]是协作神经元将在周期0中相对于驻留在示例性阴影缓冲器中的数据的最后副本处理的数据。被处理的周期数可以称为K。
在说明性操作中，输入数据可以从本地存储器读取并写入神经元缓冲器A和B操作数存储器中的任一个或两者，使得主缓冲器有足够的数据来可操作地使N个神经元忙于K个周期。说明性地，在对主缓冲器的最终写入时，可以将数据复制到阴影寄存器。执行复制到阴影的控制信息被包括在其他控制信息中，该其他控制信息定义了由协作存储器组件处理的读/写操作。
在说明性操作中，在发生复制到阴影之后的周期，神经元可以可操作地处理被复制到阴影副本的数据。可操作地，一个或多个协作神经元可以从操作数A缓冲器和操作数B缓冲器读取值。然后将这两个值相乘并添加到神经元中的示例性累加器组件。
如上文简要讨论的，假设DNN模块可以优化示例性神经网络环境的协作处理单元可用的带宽，则本文公开的技术的实现提供DNN模块的增强的处理性能和降低的功耗，通过所公开的技术的实现，也可以实现本文未具体标识的其他技术益处。
应当理解，上述主题内容可以被实现为计算机控制的装置，计算机实现的方法，计算设备，或者诸如计算机可读介质之类的制品。通过阅读以下详细描述和对相关联附图的回顾，这些和各种其他特征将是明显的。
提供本发明内容是为了以简化的形式介绍所公开技术的一些方面的简要描述，这些技术将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题内容的关键特征或必要特征，也不旨在将本发明内容用以限制所要求保护的主题内容的范围。此外，所要求保护的主题内容不限于解决在本公开的任何部分中提到的任何或所有缺点的实现。
附图说明
图1是根据一个实施例的计算架构图，该计算架构图实现本文所公开的技术的各方面的DNN模块的配置和操作的各方面。
图2图示了根据本文描述的系统和方法的具有协作组件的示例性神经网络环境的框图。
图3图示了根据这里描述的系统和方法的说明性逻辑数据映射中表示的示例性输入数据的框图。
图4图示了在说明性逻辑数据映射中表示的示例性输入数据的框图，该说明性逻辑数据映射示出了使用说明性n个滑动窗口可操作以跨越说明性逻辑数据映射的一条或多条线。
图5图示了根据这里描述的系统和方法的在说明性逻辑数据映射中表示的示例性输入数据的框图，该说明性逻辑数据映射示出了使用说明性n个滑动窗口，其可操作以跨越说明性逻辑数据映射的一条或多条线，以允许数据填充作为处理增强。
图6是示出了示例性人工智能/机器学习硬件环境的各种组件的交互的框图，该环境可操作以利用缓冲器数据的重用来执行数据共享和分发。
图7是根据本文描述的系统和方法的用于根据示例性数据分发/共享/重用来处理数据的说明性过程的流程图。
图8是根据一个实施例的计算机架构图，其示出了用于计算设备的说明性计算机硬件和软件架构，该计算设备可以充当针对本文呈现的DNN模块的应用主机；以及
图9是图示了根据本文呈现的各种实施例的分布式计算环境的网络图，在该分布式计算环境中可以实现所公开的技术的各方面。
具体实施方式
以下详细描述涉及人工智能/机器学习硬件环境，诸如神经网络模块，其可以通过执行优化的数据共享和分发来增强模块的处理单元的处理性能，以及跨示例性环境的各种协作存储器组件重用数据，以及通过增强的存储器管理来降低功耗。
如上面简要讨论的，这里公开的技术的实现提供了DNN模块的增强的处理性能和降低的功耗，假设DNN模块可以优化示例性神经网络环境的协作处理单元可用的带宽。本文未具体提及的其他技术益处也可以通过所公开的主题内容的实现来实现。
为了实现上面简要提到的技术益处，说明性地，在具有DNN模块的示例性计算环境中，可以操作DNN模块以优化数据共享和分发以及跨一个或多个协作存储器组件(诸如示例性神经元缓冲器和/或线缓冲器)重用数据。说明性地，可以测量两个性能组件。第一组件(计算)可以用每秒浮点操作(例如GFlops/s)来测量。第二组件(数据传输)可以通过每秒传输的字节数(例如GBytes/s)来测量。为了确保示例性DNN模块的最高性能，可以优化和平衡计算和数据传输速率。
在示例性DNN环境中的数据传输可以进一步被分解为两种数据传输，诸如第一指令获取和第二算法数据传输。在说明性实现中，示例性NN环境算法可以依赖于一个或多个函数，其可以被分解成若干不同矩阵操作，诸如卷积，反卷积，乘法，加法等，以从输入数据推断/学习一个或多个接下来的操作。说明性地，这种推断/学习可以基于被表示为其他输入数据的某种其他上下文。这些操作中的许多操作本质上是并行的，并且可以利用在示例性DNN硬件中实现的同时处理。
为了在具有有限带宽使用的高吞吐量下实现这种并行处理，这里描述的系统和方法可以说明性地构造输入数据以供硬件中的示例性DNN环境处理，使得可以发生输入数据的同时和近期未来使用，而无需为每个输入数据的所需使用重新读取来自一个或多个协作存储器组件的相同输入数据。在说明性操作中，这里描述的系统和方法可以说明性地操作为数据缓冲器，该数据缓冲器可以在本地可操作地存储数据并且可以依赖于要处理的数据的时间和空间所在。
这里描述的系统和方法可操作地最小化从存储器的数据读取的数目，并在该数据离开诸如数据缓冲器的DNN环境的协作存储器组件之前最大化对该数据执行的操作的数目。可操作地，所需的公共数据可以分布在数据的许多消费者中间，诸如示例性DNN环境的神经元。本文描述的系统和方法还通过允许一个或多个维度中的数据共享/分发的可扩展性来解决诸如数据缓冲器的协作存储器组件的可扩展性，包括但不限于：1)跨越一个或多个协作数据消费者(例如，神经元)以及2)在可用于数据共享机会的时间窗口中。
可操作地，可以在协作数据消费者之间共享数据，使得有足够的步骤时间来移除可能的数据取回未命中停顿(即，数据在协作存储器组件中不可用于供数据消费者消费)，从而消除了等待返回数据的数百个停顿周期。
在说明性实现中，由协作数据消费者执行的函数可以由示例性DNN模块的示例性操作控制器接收，作为处理示例性输入数据的一部分。然后，可以可操作地组织输入数据以减少来自一个或多个协作存储器组件的存储器读取的数目，以使给定操作完全执行到完成。说明性地，由于多个处理操作共享相同的输入数据，因此可以减少带宽要求，因为优化了存储器读取。在说明性实现中，这里描述的系统和方法可以根据推送模型(例如，在被一个或多个协作消费者(例如，神经元)消费之前，数据被预先填充在协作存储器组件中的模型)对存储在一个或多个协作存储器组件上的数据的多个副本进行操作。说明性地，神经元存储器缓冲器可操作以在单个周期中重新配置从协作本地存储器读取的数据，使得从外部存储器读取的所有X个元素被写入预期存储器位置。如果没有这种数据的即时重新配置，则必须多次读取相同的数据倍数，这需要附加的处理时间和增加地功耗。
在说明性实现中，可以利用神经元缓冲器，其以所选择的速率可操作地向一个或多个协作神经元提供输入数据，其确保了在处理周期期间一个或多个协作神经元的最大处理操作。神经元缓冲器的大小可以取决于神经元的数目，数据单元的大小以及数据快照表示的周期数。
在说明性实现中，示例性神经元缓冲器可以包括四个存储器结构。可以为示例性操作数A分配这些存储器结构中的两个，并且可以为示例性操作数B分配两个示例性存储器结构。应当理解，尽管使用两个操作数描述了说明性实现，但是这里描述的发明构思考虑使用任何数目的操作数。在说明性实现中，每个操作数对可以包括主存储器和包括双缓冲器存储器组件的阴影存储器，其中，阴影副本表示用于处理所消费的当前数据，而主副本表示用于消费的下一数据块。
在说明性操作中，神经元缓冲器的行可以映射到每个神经元。例如，行[0]是神经元[0]的数据，行[1]是神经元[1]的数据。神经元的数目可以称为N。此外，神经元缓冲器的列可以在时钟周期方面被映射到时间。例如，列[0]是协作神经元将在周期0中相对于驻留在示例性阴影缓冲器中的数据的最后副本处理的数据。被处理的周期数可以称为K并且可操作地配置。
在说明性操作中，输入数据可以从本地存储器读取并写入神经元缓冲器A和B操作数存储器中的任一个或两者，使得主缓冲器具有足够的数据以使N个神经元保持忙碌K个周期。说明性地，在对主缓冲器的最终写入时，然后可以将数据复制到阴影寄存器。用于执行复制到阴影的控制信息被包括在其他控制信息中，该控制信息定义由协作存储器组件处理的读/写操作。
在说明性操作中，在发生复制到阴影之后的周期，神经元可以可操作地处理被复制到阴影副本的数据。说明性地，阴影副本存储器缓冲器可以具有与主存储器缓冲器相同的大小，或者是主存储器缓冲器的大小的倍数，以便作为队列操作以在任何给定时间保持主存储器数据的N个副本。可操作地，一个或多个协作神经元可以从操作数A缓冲器和操作数B缓冲器读取值。然后将这两个值相乘并添加到神经元中的示例性累加器组件。
在说明性实现中，主存储器缓冲器可以被部署为数据重新配置存储器和阴影缓冲器存储器，作为可以保持重新配置存储器的多个快照的示例性队列。通过示例，如果阴影缓冲器存储器配置具有队列大小＝1，则系统可以可操作地连续地从外部存储器读取数据并将其置于重新配置(主)存储器中。在填充主内存后，就可以将主存储器元素复制到阴影存储器队列中的下一可用位置，在复制后也会擦除主数据存储器元素，使主存储器缓冲器可用于将新数据写入其中。
尽管在硬件DNN模块的一般上下文中呈现了本文描述的主题内容，但是本领域技术人员将认识到，可以结合其他类型的计算系统和模块来执行其他实现，包括各种人工智能和/或机器学习硬件组件。本领域技术人员还将理解，本文描述的主题内容可以用其他计算机系统配置来实践，包括手持式设备，多处理器系统，基于微处理器或可编程的消费电子产品，嵌入式设备中的计算或处理系统(诸如可穿戴计算设备，汽车，家庭自动化等)，小型计算机，大型计算机等。
在以下详细描述中，参考形成其一部分的附图，并且这些附图通过图示的具体配置或示例被示出。现在参考附图，其中相同的附图标记在若干附图中表示相同的元件，将描述具有增强的处理并通过协作的结构接口的带宽控制利用较少功率的示例性DNN模块的各方面。
图1是根据一个实施例的计算架构图，其示出实现本文公开的技术的深度神经网络(“DNN”)模块105的配置和操作的各方面。这里公开的DNN模块105在一些实施例中被配置为解决分类问题(和相关问题)，诸如但不限于对象检测、语义标记和特征提取。
为了提供该功能性，DNN模块105可以实现仅召回神经网络并且以编程方式支持各种网络结构。针对由DNN模块105实现的网络的训练可以在服务器群、数据中心或另一合适的计算环境中离线执行。训练DNN的结果是一组参数，其可以称为“权重”或“内核”。这些参数表示可以被应用于输入的变换函数，其结果是分类或语义标记的输出。
这里公开的DNN模块105可以被认为是超标量处理器。DNN模块105可以将一个或多个指令调度(dispatch)给多个执行单元，称为神经元105F。执行单元可以是“同时调度同时完成”，其中每个执行单元与每个其他执行单元同步。DNN模块105可以被分类为单个指令流，多数据流(“SIMD”)架构。
DNN模块105包括多个神经元105F(例如，2的幂)。神经元105F是人工神经网络中的基本单元，其被用于模拟大脑中的生物神经元。神经元105F的模型可以包括输入向量的内积，其中权重向量被添加到偏置，并且应用了激活函数。由本文描述的DNN模块105中的神经元105F执行的处理被紧密地映射到人工神经元。
DNN模块105中的每个神经元105F能够执行加权和，最大池化，旁路以及潜在的其他类型的操作。神经元105F在每个时钟周期处理输入和权重数据。就内核内的进展而言，每个神经元105F与所有其他神经元105F同步，以最小化DNN模块105内的内核数据流。
每个神经元105F可以包含乘法器，加法器，比较器和多个累加器(图1中未示出)。通过具有多个累加器，神经元105F能够一次维持针对多个不同活动内核的上下文。每个累加器能够从BaSRAM150的读取被加载(下面描述)。累加器可以将其自身与来自其他神经元105F的其他累加器的内容求和。
DNN模块105接受平面数据作为输入，诸如图像数据。然而，DNN模块105的输入不限于图像数据。而是，DNN模块105可以按照均匀平面格式对呈现给DNN模块105的任何输入数据进行操作。在一个特定实施例中，DNN模块105可以接受多平面单字节或双字节数据帧作为输入。
每个输入帧可以与NxKxHxW内核集合进行卷积，其中N是内核的数目，K是每个内核的通道数，H是高度，并且W是宽度。在输入数据上的重叠间隔上执行卷积，其中间隔由X和Y方向上的步幅限定。这些函数由神经元105F执行，并由DNN模块105和软件可视控制寄存器管理。
DNN模块105支持三种主要数据类型：权重；输入数据/特征映射；和激活数据。在大多数情况下，输入数据/特征映射和激活数据是相同数据的两个名称，区别在于当引用层的输出时使用术语激活数据。当引用层的输入时，使用术语输入数据/特征映射。
DNN模块105中的神经元105F计算其输入的加权和并通过“激活函数”或“传递函数”传递加权和。传递函数通常具有S形形状，但也可以采用分段线性函数、阶梯函数或另一类型函数的形式。激活函数允许神经元105F训练到输入和期望输出的更大集合，其中分类边界是非线性的。
DNN模块105对层描述符列表进行操作，层列描述符对应于神经网络的层。层描述符列表可以由DNN模块105处理为指令。这些描述符可以从存储器被预取到DNN模块105中并按顺序执行。描述符列表用作DNN模块105的一组指令。可以在DNN模块105外部的设备上执行软件工具和/或编译器，以创建在DNN模块105上执行的描述符列表。
通常，可以有两类主要的描述符：存储器到存储器移动(“M2M”)描述符；以及操作描述符。M2M描述符可以被用来将数据移入/移出主存储器到/来自本地缓冲器(即下面描述的线缓冲器125)，以供操作描述符消费。M2M描述符遵循与操作描述符不同的执行管道。用于M2M描述符的目标流水线可以是内部DMA引擎105B或配置寄存器105G，而用于操作描述符的目标流水线可以是神经元105F。
操作描述符指定神经元105F应该对位于本地静态随机存取存储器(“SRAM”)存储器中的数据结构执行的特定操作。操作描述符按顺序处理并且能够进行许多不同的层操作，其中至少一些在此描述。
如图1所示，DNN模块105具有存储器子系统，其具有唯一L1和L2缓冲结构。图1中所示的L1和L2缓冲器被设计专门用于神经网络处理。通过示例，L2缓冲器150可以保持所选择的存储容量。L1缓冲器125可以保持可以在内核和激活数据之间分配的所选存储容量。L1缓冲器125在这里可以称为“线缓冲器125”，并且L2缓冲器150在这里可以称为BaSRAM150。
在一些实施例中，计算数据(即输入数据，权重和激活数据)被存储在BaSRAM150行-主(row-major)中。计算数据可以被组织为两个线缓冲器，其中一个线缓冲器包含输入数据，其在本文中可以称为“输入缓冲器”，而另一个线缓冲器包含内核权重，其在本文中可以称为“权重缓冲器”。通过加载/存储单元105C从BaSRAM150填充线缓冲器。数据在每个线缓冲器中累积，直到达到其预定容量。然后，在一些实施例中将线缓冲器数据复制到阴影缓冲器并呈现给神经元105F。
DNN模块105还可以包括许多其他组件，包括但不限于寄存器接口105G，预取单元105A，保存/恢复单元105E，层控制器105D和寄存器接口105G。在一些实施例中，DNN模块105可以包括附加或替代组件。
在一些配置中，DNN模块105与其他外部计算组件一起操作。例如，在一些实施例中，DNN模块105被连接到主机应用处理器片上系统(“主机SoC”)130。例如，DNN模块105可以通过PCIe接口被连接到主机SoC130。可以利用适当的PCIe组件(诸如PCIe端点135)来实现这些连接。
主机SoC130用作DNN模块105的应用处理器。主操作系统、应用和辅助传感器处理由主机SoC130执行。主机SoC130还可以被连接到输入数据源102，诸如外部相机，其向DNN模块105提供输入数据，诸如图像数据。
DDR DRAM155还可以被连接到可以用作主系统存储器的主机SoC130。该存储器可跨高速带宽结构120(例如PCIe总线)从主机SoC130通过存储器控制器145访问。高带宽结构120提供双向直接存储器访问(“DMA”)小消息传递事务和更大的DMA事务。桥接器115和低带宽结构110可以将DNN模块105连接到主机SoC130，以用于子模块配置和其他函数。
DNN模块105可以包括DMA引擎105B，其被配置为将数据移入和移出主存储器155。在一些实施例中，DMA引擎105B具有两个通道。一个通道专用于获取操作描述符，而另一个通道专用于M2M操作。DMA描述符可以被嵌入M2M描述符中。该上下文中的描述符是用于移动存储器内容的DMA描述符，而不与上述操作描述符混淆。
为了卸载本地BaSRAM存储器150，并为输入数据和权重数据提供更多空间，激活输出可以可选地直接被流传输到DDR存储器155。当将数据流传输到DDR存储器155时，DNN模块105将为高带宽结构120上的突发事务累积足够的数据，并将缓冲足够的事务以最小化神经元105F上的背压。下面将提供关于DNN模块105的操作的附加细节。
图2图示了可操作以采用定向线缓冲器220作为数据处理的一部分的示例性神经网络环境200。如图所示，示例性神经网络环境200(这里也称为计算设备或计算设备环境)包括一个或多个操作控制器235，其与线缓冲器220协作以提供用于数据处理的一个或多个指令。
线缓冲器220可以操作以通过外部结构230和结构215从协作外部存储器组件225接收数据，以及操作以从(多个)迭代器240(例如，基于硬件和/或虚拟化迭代器)接收一个或多个指令/命令(例如，用于从协作存储器组件读取数据的指令/命令和/或用于写入从线缓冲器中的协作存储器组件加载的数据的指令)。此外，如图2所示，示例性神经网络环境还可以包括直接存储器访问模块(DMA)模块240和数据链路控制(DLC)模块245。
可操作地，线缓冲器220可以根据从一个或多个操作控制器235(这里也称为“协作控制器组件235”)接收的一个或多个指令根据选择的步幅宽度移位数据。此外，线缓冲器220可以与(多个)处理单元(例如，(多个)神经元)协作以提供写入的位移位数据，以便通过结构215直接或间接地进行进一步处理。神经网络环境结构可以是能够传递各种数据的数据总线。定向线缓冲器可以被认为是能够根据一个或多个接收的指令读取和写入数据和/或数据元素的存储器组件。
可操作DMA模块240可以与DLC模块245协作以提供指令来节流调节外部结构，以处理去往/来自外部存储器225和存储器210的数据。在说明性操作中，DMA模块240可以提供一个或多个指令以根据所选择的节流协议来节流调节跨外部存储器225和/或存储器210的数据处理，所选择的节流协议包括但不限于在去往和/或来自一个或多个协作存储器组件(例如，210和225)的经处理的存储器元件之间插入间隙，并且限制对从一个或多个协作存储器组件(例如，210和225)存储/取回的数据执行的事务的数目。其他节流技术可以包括在给定处理周期期间限制一个或多个处理单元205的操作。说明性地，DMA模块240可以在驻留在一个或多个协作存储器组件210和225中的一个或多个可配置寄存器(未示出)上操作。
在说明性操作中，示例性神经网络环境200可以根据图7中描述的过程可操作地处理数据。具体到图2中描述的组件，这些组件仅仅是说明性的，因为本领域普通技术人员将理解图6和图7中描述的处理也由除图2中所示的组件之外的其他组件执行。
而且，如图2所示，示例性神经网络环境可以可选地包括一个或多个迭代器(例如，基于硬件和/或虚拟化的迭代器)(如虚线所示)，其可以说明性地操作以迭代输入数据(未示出)用于由另外一个神经元处理器205处理。本领域技术人员可以理解，示例性一个或多个迭代器的这种可选包含仅仅是说明性的，因为本文公开的系统和方法描述的发明构思在没有任何迭代器的情况下操作的示例性神经网络环境200中可操作。
图3图示了用于示例性输入数据的示例逻辑数据映射300。如图所示，数据305可以表示为具有特定维度340的数据(例如，使得整个数据维度可以定义数据卷(volume))，该维度340包括通道计数310、高度315和宽度320。根据这里描述的系统和方法，数据305可以被分配和准备用于通过协作n个神经元330进行处理，使得第一部分a可以被传送到第一神经元，第二部分b可以被传送到第二神经元等等，直到n个部分被传送到n个神经元。
在说明性操作中，基于由示例性神经网络环境(例如，图2的200)的协作控制器组件提供的一个或多个指令，可以使用n个滑动窗口/内核325来确定数据305的部分。此外，如图所示，输入数据部分a，b，c和d可以使用由示例性神经网络环境(例如，图2中的200)的协作操作控制器组件(235)提供的一个或多个初始化参数被寻址到物理存储器325。
图4图示了示例性输入数据(未示出)的示例性逻辑数据映射400。示例性逻辑数据映射400包括第一线410(用对角线标记图示)和第二线420(由虚线图示)。每条映射线可以包括多个滑动窗口(例如，第一线410的430，440和450以及第二线420的460，470和480)。另外，如图所示，逻辑数据映射400示出了滑动窗口跨越输入数据的数据维度边界(例如，跨越第一线410和第二线420)的能力。这种能力允许提高的性能，因为可以更有效地准备更多数据，以便由协作神经网络处理组件(例如，图2的205)进行后续处理。
图5类似于图4，并且被呈现以描述这里描述的系统和方法的能力，以允许使用填充来进一步增强示例性神经网络环境(例如，图1中的100和图2中的200)的性能特征。如图所示，逻辑数据映射500(未示出其示例性输入数据)可以包括跨越一条或多条线(例如，510和520)的各种滑动窗口(530，540，550，560，570和580)。另外，逻辑数据映射500还可以包括填充580。
在说明性操作中，在示例性神经网络环境(图1的100或图2的200)的运行时，可以动态地添加填充580。图2的操作控制器235可以指定在输入数据(例如，二进制大对象(blob))的图3中所示的每个维度340上使用的填充量(例如，使得共同采用的维度可以被认为是数据卷)，并且神经网络环境(例如，迭代器控制器指令)可以可操作地构造数据卷，就像填充物理上存在于存储器中一样。还可以通过添加填充的迭代器输出位置中的示例性神经网络环境(例如，迭代器控制器指令)来生成默认值。
这里公开的技术的特定实现是取决于计算设备的性能和其他要求的选择问题。因此，这里描述的逻辑操作被不同地称为状态，操作，结构设备，动作或模块。这些状态，操作，结构设备，动作和模块可以用硬件，软件，固件，专用数字逻辑及其任何组合来实现。应当理解，可以执行比图中所示以及在此描述的更多或更少的操作。这些操作也可以以与这里描述的顺序不同的顺序执行。
图6是示出了示例性计算环境600(例如，表示为说明性DNN计算环境的人工智能/机器学习硬件环境)的各种组件的交互的示意图，示例性计算环境600可操作以执行数据分发/共享以及缓冲器重用，以增强整体处理性能以及降低示例性计算环境600的功耗。如图所示，示例性计算环境协作本地存储器组件605，神经元缓冲器610以及神经元635(例如，示例性协作一个或多个处理单元)。此外，如图6所示，神经元缓冲器610可以包括协作的主神经元缓冲器操作数A存储器组件615，协作的阴影神经元缓冲器操作数A存储器组件620，协作的主神经元缓冲器操作数B存储器组件630和协作阴影神经元缓冲器操作数B存储器组件625。说明性地，阴影神经元缓冲器可以被实现为阴影存储器组件的队列。
在说明性实现中，神经元缓冲器610可以被用于以保持所有神经元在每个周期忙碌的速率向神经元635提供输入。说明性地，神经元缓冲器510的大小可以取决于神经元635的数目，数据单元的大小(例如，一个或两个字节-未示出)，以及每个神经元预加载的值的数目，这可以相当于神经元可以对输入数据执行的计算周期数。
在说明性实现中，神经元缓冲器610可以包括四个存储器结构：协作的主神经元缓冲器操作数A存储器组件615，协作的阴影神经元缓冲器操作数A存储器组件620，协作的主神经元缓冲器操作数B存储器组件630，以及协作的阴影神经元缓冲器操作数B存储器组件625。在说明性实现中，可以为操作数A分配这些存储器结构中的两个，并且可以为操作数B分配其中两个。
本领域普通技术人员应理解，在一些实现中，本文公开的技术使用两个操作数，但是也可以使用任何数目的操作数以及各种数据单元大小(即，可以使用任何数据单元大小)。说明性地，每个操作数对可以包括主存储器和阴影存储器。可操作地，这些存储器对可以是双缓冲器，其中写入数据的阴影副本可以存储当前数据以供神经元635消费，并且写入主神经元缓冲器操作数存储器组件中的数据是要复制到阴影副本以供神经元635消费的下一数据。此外，应当理解，可以仅使用主存储缓冲器来部署本文描述的发明构思，而无需将数据复制到阴影存储缓冲器。在这种情况下，说明性地，计算环境的控制逻辑将确保神经元将具有用于从主存储缓冲器处理的相干数据。
在说明性操作中，神经元缓冲器610的行可以被映射到每个神经元635。通过示例，例如，行[0]可以表示神经元[0]的数据，并且行[1]可以表示神经元[1]的数据。在该示例中，神经元的数目可以由变量N表示。说明性地，神经元缓冲器610的列可以在时钟周期方面被映射到时间。例如，列[0]可以表示神经元635可以在周期0中相对于存储在协作阴影神经元缓冲器存储器组件(例如，620或625)中的数据的最后副本处理的数据。在该示例中，处理示例性输入数据所需的周期数可以用变量K表示。
因此，在说明性操作中，可以从协作的本地存储器组件605读取示例性输入数据640，并将其写入神经元缓冲器操作数存储器组件615或630中的任一个或两者。在说明性操作中，可以重复这样的数据读取，直到主缓冲器615和630具有足够的数据以使N个神经元忙于K个周期。可操作地，在最终写入主缓冲器615和630时，可以将输入数据复制到协作的阴影神经元缓冲器操作数存储器组件620和630。执行“复制到阴影”的控制信息可以被包括在定义读/写操作的其他控制信息中。
示例性神经元635可以在复制到阴影发生之后的周期中开始对阴影复制中的数据进行操作。在说明性操作中，一个或多个神经元635可以从协作神经元缓冲器操作数A存储器组件615和协作神经元缓冲器操作数B存储器组件630读取值。在示例性操作中，然后可以将两个读取值相乘并将其添加到一个或多个神经元635中的累加器(未示出)。
在说明性操作中，可以存在许多神经元缓冲器控制参数，其可以影响将数据写入主神经元缓冲器操作数存储器组件615和630。这些参数可以包括但不限于：数据块(DataBlock)—这可以是三十二(32)个字节的数据，该数据可以从协作的本地存储器组件605(例如1MB存储器)读取并且可以写入神经元缓冲器610；开始(Start)—输入块中的开始位置，从该位置开始读取数据；结束(End)—输入块中的结束位置，用于读取数据到该结束位置；列偏移(Column Offset)—每个神经元缓冲器条目中首先写入数据的列；线偏移(Line Offset)—可以写入第一个完整写入宽度的神经元缓冲器条目；最小线偏移(Minimum Line Offset)—可以写入数据的最小神经元缓冲器条目；最大线偏移(MaximumLine Offset)—可以写入数据的最大神经元缓冲器条目；宽度(Width)—可以写入神经元缓冲器条目的字值总数；步幅(Stride)—更新每个神经元缓冲器条目后可以被用于移位数据块的步幅；步幅余数(Stride Remainder)—在最后一次数据写入一个或多个神经元期间可能错过的完整步幅的值的数目；步幅重复(Stride Repeat)—在递增之前指定步幅的行数；以及步幅复位(Stride Reset)—指定一个或多个神经元中的修改常量选择值。另外，在说明性操作中，可以存在影响参数范围的许多参数约束。
如图6所示，可以从本地存储器组件605读取数据并将其写入神经元缓冲器610。对缓冲器610的写入可以在单个时钟周期中发生。写入可以由这里描述的的参数限制，使得仅可以更新期望窗口中的单元。所有其他单元格可以保留其先前的值。在期望窗口内的一些单元也可以取决于步幅而保留其先前的值。
缓冲线(buffer-line)写入背后的基本前提是缓冲器中的所有行可以同时(即，相同的时钟周期)被写入，使得每行可以利用相同的数据，并且每行可以利用不同的移位值，这取决于这里描述的参数。如图6所示，数据输入块640可以包括多个单元645。如图所示，输入数据640可以被写入神经元缓冲器610，使得行1-行5全部接收数据“76543”。如图所示，行1可以将数据左移一个周期，因为它比线偏移(LineOffset)设置小1。行2可以操作为不移位数据，因为它与线偏移设置对齐。行5可以将数据右移3个单元，因为行5比线偏移高3条线。对于此示例，步幅值可以被设置为值1。备选地，如果步幅值被设置为2，则行1将数据左移2个单元，依此类推其他步幅值。
在说明性实现中，可以根据多个等式来表达行移位操作，包括但不限于：
a[N]＝(neuronIndex-lineOffset)>>strideRepeat；
a[n]＝(strideReset！＝0)？a[n]&((1<<strideReset)-1)：a[n]；以及
Shift[N]＝(a[N]*stride)+strideRemainder余+(开始start-列偏移columnOffset)。
在说明性实现中，神经元缓冲器中的N条线中的每一条可以接收与输入相同的M字节数据。说明性地，每行(n)可以移位输入数据以使其进入正确的位置。例如，如果等式中的stride被设置为值0，则每个行将具有相同的数据。然而，在此示例中，如果将stride设置为值1，则数据可以向右移位一。以这种方式，神经元缓冲器610可以有效地分发数据以用于重叠消费。
神经元缓冲器的列可以表示消费数据的周期。如图6所示，由于神经元缓冲器可以包含16列，因此列可以表示一个或多个协作神经元635可以参与的16个数据周期。对于每个神经元缓冲器，可以有2个数据副本-主副本和阴影副本。当迭代器填充主副本时，神经元可以在阴影副本上操作。
在说明性操作中，一旦填充了主副本并且消费了阴影副本，则可以将主副本数据移动到阴影副本，并且迭代器可以开始用下一组数据填充主副本。在说明性操作中，从主缓冲器到阴影副本的写入可以是神经元的同步点。在这样的示例性点，所有神经元必须已完成对阴影副本中的所有数据的处理，因为其内容将被完全重写。
在说明性实现中，由两个相邻神经元使用的数据可以完全相同或者可以包括来自相邻神经元的数据的子集。在这种实例中，主缓冲器存储器和与主缓冲器存储器相关联的数据重新配置逻辑可以可操作地重新配置要由神经元使用的数据，从而导致减少来自外部存储器的多个数据读取。通过示例，如果输入数据需要与步幅1进行3乘3的卷积以产生64个输出，则将需要64乘3乘3的输入值(即，每个神经元3乘3输入值)。计算的数据输入大小(即，假设正在输出单行数据)可以被计算为(63+3)*3。应用这里描述的发明概念，可以读取66*3个元素用于输入，而常规方法将必须读取64乘3乘3个元素(即，几乎是本文描述的操作系统和方法所要求的元素的3倍)。而且，对于仅在单个元素上工作的神经元，可能需要9个周期来消化数据。相比之下，利用可以支持每个周期读取32个元素的数据输入接口，在短至7个周期内，可以读取和重新配置输入数据(即，32*7>66*3)。然而，根据目前的方法，填充数据需要18个周期。结果，神经元将被有效地停顿9个周期，因为它们将在9个周期中完成处理。
图7是说明性过程700的流程图，说明性过程700在被说明性地表示为示例性DNN网络环境的说明性人工智能/机器学习硬件环境中执行数据分发和共享以及缓冲器重用。如图所示，处理开始于框705，其中接收来自计算环境的协作组件的一个或多个系统参数以用于处理示例性输入数据，该一个或多个系统参数可以代表所需处理(例如，要执行的数据函数)和存储器资源。
处理然后进行到框710，其中读取来自协作本地存储器组件的数据。然后，在框715，可以将读入(read-in)数据写入协作的主神经元缓冲器操作数存储器组件，使得可以重组读入数据，以优化在协作存储器本地存储器组件和/或主神经元缓冲器操作数存储器组件上执行的读/写操作的数目。
处理然后进行到框720，其中在填充主神经元缓冲器操作数存储器组件时，将被写入主神经元缓冲器操作数存储器组件的数据的副本写入阴影神经元缓冲器操作数存储器组件。在框725，存储在阴影神经元缓冲器操作数存储器组件中的数据可用于由一个或多个协作处理单元的消费。
处理然后进行到框730，其中执行检查以确定是否存在需要处理的附加数据。如果没有附加数据，则处理在框735处终止。如果附加数据需要处理，则处理返回到框710并从那里继续。
图8是示出用于计算设备的说明性计算机硬件和软件架构的计算机架构图，该计算设备可以充当本文呈现的DNN模块105的应用主机。特别地，图8中所示的架构可以被用于实现服务器计算机，移动电话，电子阅读器，智能电话，台式计算机，AR/VR设备，平板计算机，膝上型计算机或适用于与DNN模块105一起使用的另一类型的计算设备。
图8所示的计算机800包括中央处理单元802(“CPU”)；系统存储器804，包括随机存取存储器806(“RAM”)和只读存储器(“ROM”)808；以及将存储器804耦合到CPU802的系统总线810。包含有助于在计算机800内的元件之间传递信息的基本例程的基本输入/输出系统(“BIOS”或“固件”)，诸如在启动期间，可以被存储在ROM808中。计算机800还包括大容量存储设备812，用于存储操作系统822，应用程序和其他类型的程序。大容量存储设备812还可以被配置为存储其他类型的程序和数据。
大容量存储设备812通过连接到总线810的大容量存储控制器(未示出)被连接到CPU802。大容量存储设备812及其相关联的计算机可读介质为计算机800提供非易失性存储装置。虽然这里包含的计算机可读介质的描述是指大容量存储设备，诸如硬盘，CD-ROM驱动器，DVD-ROM驱动器或USB存储密钥，但是本领域技术人员应该理解，计算机可读介质可以是可以由计算机800访问的任何可用计算机存储介质或通信介质。
通信介质包括计算机可读指令、数据结构、程序模块或经调制的数据信号(诸如载波或其他运输机制)中的其他数据，并且包括任何递送介质。术语“经调制的数据信号”表示以一种方式改变或设置其一个或多个特性以便对信号中的信息进行编码的信号。通过示例而非限制，通信介质包括诸如有线网络或直接有线连接的有线介质，以及诸如声学、射频、红外和其他无线介质的无线介质。上述任何组合也应被包括在计算机可读介质的范围内。
通过示例而非限制，计算机存储介质可以包括易失性和非易失性、可移除和不可移除介质，其以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的任何方法或技术实现。例如，计算机存储介质包括但不限于RAM，ROM，EPROM，EEPROM，闪存或其他固态存储器技术，CD-ROM，数字通用盘(“DVD”)，HD-DVD，BLU-RAY，或其他光学存储装置，磁带盒，磁带，磁盘存储设备或其他磁存储设备，或可以被用来存储期望信息并且可以由计算机800访问的任何其他介质。出于权利要求的目的，短语“计算机存储介质”及其变体不包括波或信号本身或通信介质。
根据各种配置，计算机800可以使用通过诸如网络820的网络到远程计算机的逻辑连接在联网环境中操作。计算机800可以通过连接到总线810的网络接口单元816连接到网络820。应当理解，网络接口单元816还可以用于连接到其他类型的网络和远程计算机系统。计算机800还可以包括输入/输出控制器818，用于接收和处理来自多个其他设备的输入，包括键盘，鼠标，触摸输入，电子触笔(图8中未标示出)或物理传感器，诸如视频相机。类似地，输入/输出控制器818可以向显示屏或其他类型的输出设备(也未在图8中示出)提供输出。
应当理解，这里描述的软件组件在被加载到CPU802中并被执行时，可以将CPU802和整个计算机800从通用计算设备变换为专用计算设备，该专用计算设备被定制以便于在此呈现的功能性。CPU802可以由任何数目的晶体管或其他分立电路元件构成，其可以单独地或共同地假设任何数目的状态。更具体地，响应于包含在本文公开的软件模块内的可执行指令，CPU802可以作为有限状态机操作。这些计算机可执行指令可以通过指定CPU802如何在状态之间转换来变换CPU802，从而变换构成CPU802的晶体管或其他分立硬件元件。
对本文呈现的软件模块进行编码还可以转换本文呈现的计算机可读介质的物理结构。在本说明书的不同实现中，物理结构的特定变换取决于各种因素。这些因素的示例包括但不限于用于实现计算机可读介质的技术，计算机可读介质是否被表征为主存储装置或辅助存储装置等。例如，如果计算机可读介质被实现为基于半导体的存储器，则可以通过变换半导体存储器的物理状态将本文公开的软件编码在计算机可读介质上。例如，软件可以转换构成半导体存储器的晶体管，电容器或其他分立电路元件的状态。该软件还可以转换这些组件的物理状态，以便在其上存储数据。
作为另一示例，本文公开的计算机可读介质可以使用磁或光技术来实现。在这样的实现中，当在其中编码软件时，本文呈现的软件可以转换磁或光介质的物理状态。这些变换可以包括更改给定磁介质内的特定位置的磁特性。这些变换还可以包括更改给定光学介质内的特定位置的物理特征或特性，以改变那些位置的光学特性。在不脱离本说明书的范围和精神的情况下，物理介质的其他变换是可能的，前述示例仅被提供以便于该讨论。
鉴于上述情况，应当理解，在计算机800中发生许多类型的物理变换，以便存储和执行这里给出的软件组件。还应当理解，图8所示的用于计算机800或类似架构的架构可以被用来实现其他类型的计算设备，包括手持式计算机，视频游戏设备，嵌入式计算机系统，移动设备诸如智能手机，平板电脑和AR/VR设备，以及本领域技术人员已知的其他类型的计算设备。还预期计算机800可能不包括图8中所示的所有组件，可以包括未在图8中明确示出的其他组件，或者可以利用与图8中所示的完全不同的架构。
图9是根据本文给出的各种实施例的网络图，其图示了分布式网络计算环境900，其中可以实现所公开的技术的各方面。如图9所示，一个或多个服务器计算机900A可以经由通信网络820(其可以是固定有线或无线LAN，WAN，内联网，外联网，对等网络，虚拟私用网络，因特网，蓝牙通信网络，专有低电压通信网络或其他通信网络中的任一个或其组合)与多个客户端计算设备互连，客户端计算设备诸如但不限于：平板电脑900B，游戏控制台900C，智能手表900D，电话900E诸如智能电话，个人计算机900F和AR/VR设备900G。
例如，在通信网络820是因特网的网络环境中，服务器计算机900A可以是专用服务器计算机，其可操作以经由多个已知协议中的任何协议处理和传送去往和来自客户端计算设备900B-900G的数据，多个已知协议诸如：超文本传输协议(“HTTP”)，文件传输协议(“FTP”)或简单对象访问协议(“SOAP”)。另外，联网计算环境900可以利用各种数据安全协议，诸如安全套接字层(“SSL”)或非常好的隐私(“PGP”)。客户端计算设备900B-900G中的每一个可以配备有可操作以支持一个或多个计算应用或终端会话的操作系统，诸如web浏览器(图9中未示出)，或其他图形用户界面(图9中未示出)，或移动桌面环境(图9中未示出)，以获得对服务器计算机900A的访问。
服务器计算机900A可以被通信地耦合到其他计算环境(图9中未示出)，并且接收关于参与用户的交互/资源网络的数据。在说明性操作中，用户(图9中未示出)可以与在客户端计算设备900B-900G上运行的计算应用程序交互，以获得期望的数据和/或执行其他计算应用。
数据和/或计算应用可以被存储在一个服务器900A或多个服务器900A上，并在示例性通信网络820上通过客户端计算设备900B-900G传送给协作用户。参与用户(图9中未示出)可以请求访问全部或部分地容纳在服务器计算机900A上的特定数据和应用。可以在客户端计算设备900B-900G与服务器计算机900A之间传送这些数据以进行处理和存储。
服务器计算机900A可以托管用于数据和应用的生成，认证，加密和通信的计算应用，过程和小程序，并且可以与其他服务器计算环境(图9中未示出)，第三方服务提供者(图9中未示出)，网络附加存储装置(“NAS”)和存储区域网络(“SAN”)协作，以实现应用/数据事务。
应当理解，为了便于讨论，已经简化了图8中所示的计算架构和图9中所示的分布式网络计算环境。还应当理解，计算架构和分布式计算网络可以包括并利用更多计算组件，设备，软件程序，联网设备和本文未具体描述的其他组件。
示例条款
本文呈现的公开内容涵盖以下条款中阐述的主题内容。
示例条款A，一种用于人工智能/机器学习计算环境中的增强的数据处理的系统，该系统包括：至少一个神经网络处理器；至少一个存储器组件；以及与至少一个神经网络处理器通信的至少一个存储器，至少一个存储器具有存储在其上的计算机可读指令，该计算机可读指令在由至少一个处理器执行时使至少一个处理器：从计算环境的协作组件接收一个或多个处理参数，该一个或多个处理参数代表数据处理的特性，该数据处理的特性包括输入数据的特性和将由计算环境执行的处理类型；从存储器组件读取输入数据；在人工智能/机器学习计算环境的一个或多个数据处理周期期间，根据一个或多个处理参数重组经读取的输入数据以用于写入协作神经元缓冲器；将经重组的数据写入神经元缓冲器的一个或多个主神经元缓冲器存储器组件；以及将一个或多个主神经元缓冲器存储器组件的被写入的数据复制到一个或多个阴影神经元缓冲器存储器组件。
示例条款B，示例性条款A的系统，其中计算机可读指令还使至少一个处理器将被复制到一个或多个阴影神经元缓冲器存储器组件的数据传送到一个或多个协作神经元以用于处理。
示例条款C，示例条款A和B的系统，其中在存储器容量在一个数据事务处理周期期间达到一个或多个主神经元缓冲器存储器组件之后，一个或多个主神经元缓冲器存储器组件的写入数据的复制操作被执行。
示例条款D，示例条款A至C的系统，其中计算机可读指令还使至少一个处理器根据所选择的步幅值重组数据。
示例条款E，示例条款A至D的系统，其中一个或多个主神经元缓冲器存储器组件包括多个行和列，列的数目与处理输入数据所需的数据周期的数目成比例。
示例条款F，示例条款A至E的系统，其中计算机可读指令还使至少一个处理器通过一个或多个其他计算环境组件处理一个或多个处理参数，以生成特定于经读取的输入数据的重组的一个或多个指令。
示例条款G，示例条款A至F的系统，其中数据的重组由一个或多个其他计算环境组件计算，以在数据事务周期期间将数据传送到每个可用的一个或多个神经元。
示例条款H，一种计算机实现的方法，包括：从计算环境的协作组件接收一个或多个处理参数，该一个或多个处理参数代表数据处理的特性，该数据处理的特性包括输入数据的特性和将由计算环境执行的处理的类型；从存储器组件读取输入数据；根据一个或多个处理参数重组经读取的输入数据以用于写入协作神经元缓冲器；将经重组的数据写入神经元缓冲器的一个或多个主神经元缓冲器存储器组件；将一个或多个主神经元缓冲器存储器组件的被写入的数据复制到一个或多个阴影神经元缓冲器存储器组件；以及将被复制到一个或多个阴影神经元缓冲器存储器组件的数据传送给一个或多个协作神经元以用于处理。
示例条款I，示例条款H的计算机实现的方法，还包括从存储器组件读取数据以用于写入协作的第一主神经元缓冲器存储器组件。
示例条款J，示例条款H和I的计算机实现的方法，还包括从存储器组件读取数据以用于写入协作的第二主神经元缓冲器存储器组件。
示例条款K，权利要求示例条款H至J的计算机实现的方法，还包括将被写入协作的第一主神经元缓冲器存储器的数据复制到协作的第一阴影神经元缓冲器存储器组件，并且将被写入协作的第二主神经元缓冲器存储器组件的数据复制到协作的第二阴影神经元缓冲器存储器组件。
示例条款L，示例条款H至K的计算机实现的方法，还包括对从协作的第一阴影神经元缓冲器存储器组件读取的数据和从协作的第二阴影神经元缓冲器存储器组件读取的数据执行所选择的函数，这种函数包括用以生成函数应用的数据的加法、乘法、减法和其他算术函数。
示例条款M，示例条款H至L的计算机实现的方法，还将函数应用的数据传送到一个或多个协作神经元以用于处理。
示例条款N，示例条款H至M的计算机实现的方法，还包括将协作的第一主神经元缓冲器存储器组件的行映射到一个或多个协作神经元的神经元。
示例条款O，示例条款H至N的计算机实现的方法，还包括将协作的第一主神经元缓冲器存储器组件的列映射到代表计算环境的时钟周期的时间变量。
示例条款P，一种计算机可读存储介质，具有存储在其上的计算机可执行指令，计算机可执行指令在由计算设备的一个或多个处理器执行时使计算设备的一个或多个处理器：从计算环境的协作组件接收一个或多个处理参数，该一个或多个处理参数代表数据处理的特性，该数据处理的特性包括输入数据的特性和将由计算环境执行的处理的类型；从存储器组件读取输入数据；根据一个或多个处理参数重组经读取的输入数据以用于写入协作神经元缓冲器；将经重组的数据写入神经元缓冲器的一个或多个主神经元缓冲器存储器组件；以及将一个或多个主神经元缓冲器存储器组件的被写入的数据复制到一个或多个阴影神经元缓冲器存储器组件。
示例条款Q，示例条款P的计算机可读存储介质，其中指令还使计算设备的一个或多个处理器：选择一个或多个处理参数，以用于从一组处理参数重组经读取的输入数据。
示例条款R，示例条款P和Q的计算机可读存储介质，其中指令还使计算设备的一个或多个处理器：将一个或多个阴影神经元缓冲器存储器组件的写入数据传送到一个或多个协作神经元。
示例条款S，示例条款P至R的计算机可读存储介质，其中指令还使计算设备的一个或多个处理器：在与一个或多个协作神经元通信之前，对从一个或多个阴影神经元缓冲器存储器组件读取的数据执行包括加法、乘法、减法、除法或其他算术函数的所选函数。
示例条款T，示例条款P至S的计算机可读存储介质，其中指令还使计算设备的一个或多个处理器：根据所选择的步幅值重组经读取的输入数据。
示例条款U，示例条款P至T的计算机可读介质，其中存储器组件与能够产生输入数据的物理传感器协作，输入数据包括音频数据、视频数据、触觉传感数据和其他数据，以供一个或多个协作处理单元进行后续处理。
示例条款V，示例条款P至U的计算机可读介质，其中协作处理单元与一个或多个输出物理组件电子地协作，该一个或多个输出物理组件可操作以接收经处理的输入数据以用于人类交互，输入数据包括音频数据、视频数据、触觉传感数据和其他数据。
基于前述内容，应当理解，本文已经公开了结构带宽控制，其导致DNN模块的增强的处理性能和更低的功耗。尽管已经用计算机结构特征、方法和变换动作、特定计算机器和计算机可读介质专用的语言描述了本文呈现的主题内容，但应理解，所附权利要求中阐述的主题内容不必限于这里描述的特定特征、动作或介质。而是，公开了特定特征、动作和介质作为实现所要求保护的主题内容的示例形式。
上述主题内容仅通过说明被提供，而不应被解释为限制性的。可以对本文描述的主题内容进行各种修改和改变，而不遵循所图示和描述的示例配置和应用，并且不脱离在所附权利要求中阐述的本公开的范围。

Claims (22)

1.一种用于人工智能/机器学习计算环境(200)中的增强的数据处理的系统，所述系统包括：
至少一个神经网络处理器(105)；
至少一个存储器组件(220，225)；以及
至少一个存储器(210)，所述至少一个存储器(210)与所述至少一个神经网络处理器(105)通信，所述至少一个存储器(210)具有被存储在其上的计算机可读指令，所述计算机可读指令在由所述至少一个处理器执行时使所述至少一个处理器：
从所述计算环境(200)的协作组件接收一个或多个处理参数，所述一个或多个处理参数代表数据处理的特性，所述数据处理的特性包括输入数据(640)的特性和将由所述计算环境(200)执行的处理的类型；
从所述存储器组件(220，225)读取所述输入数据(640)；
在所述人工智能/机器学习计算环境(200)的一个或多个数据处理周期期间，根据所述一个或多个处理参数重组经读取的所述输入数据以用于写入协作神经元缓冲器(610)；
将经重组的所述数据写入所述神经元缓冲器(610)的一个或多个主神经元缓冲器存储器组件(615，630)；以及
将所述一个或多个主神经元缓冲器存储器组件(615，630)的被写入的所述数据复制到一个或多个阴影神经元缓冲器存储器组件(620，625)。
2.根据权利要求1所述的系统，其中所述计算机可读指令还使所述至少一个处理器将被复制到所述一个或多个阴影神经元缓冲器存储器组件的所述数据传送到一个或多个协作神经元以用于处理。
3.根据权利要求2所述的系统，其中在所述一个或多个主神经元缓冲器存储器组件的存储器在数据事务处理周期期间已满之后，所述一个或多个主神经元缓冲器存储器组件的被写入的所述数据的复制操作被执行。
4.根据权利要求3所述的系统，其中所述计算机可读指令还使所述至少一个处理器根据所选择的步幅值重组所述数据。
5.根据权利要求4所述的系统，其中所述一个或多个主神经元缓冲器存储器组件包括多个行和列，列的数目与处理所述输入数据所需的数据周期的数目成比例。
6.根据权利要求5所述的系统，其中所述计算机可读指令还使所述至少一个处理器通过一个或多个其他计算环境组件处理所述一个或多个处理参数，以生成特定于经读取的所述输入数据的所述重组的一个或多个指令。
7.根据权利要求6所述的系统，其中所述数据的所述重组由所述一个或多个其他计算环境组件计算，以在数据事务周期期间将数据传送到每个可用的一个或多个神经元。
8.一种计算机实现的方法，包括：
从计算环境(200)的协作组件接收一个或多个处理参数，所述一个或多个处理参数代表数据处理的特性，所述数据处理的特性包括输入数据(640)的特性和将由所述计算环境(200)执行的处理的类型；
从存储器组件(220，225)输入数据读取输入数据(640)；
根据所述一个或多个处理参数重组经读取的所述输入数据(640)以用于写入协作神经元缓冲器(610)；
将经重组的所述数据写入所述神经元缓冲器(610)的一个或多个主神经元缓冲器存储器组件(615，630)；
将所述一个或多个主神经元缓冲器存储器组件(615，630)的被写入的所述数据复制到一个或多个阴影神经元缓冲器存储器组件(620，625)；以及
将被复制到所述一个或多个阴影神经元缓冲器存储器组件的所述数据传送到一个或多个协作神经元(635)以用于处理。
9.根据权利要求8所述的计算机实现的方法，还包括从所述存储器组件读取数据以用于写入协作的第一主神经元缓冲器存储器组件。
10.根据权利要求9所述的计算机实现的方法，还包括从所述存储器组件读取数据以用于写入协作的第二主神经元缓冲器存储器组件。
11.根据权利要求10所述的计算机实现的方法，还包括将被写入所述协作的第一主神经元缓冲器存储器的所述数据复制到协作的第一阴影神经元缓冲器存储器组件，并且将被写入所述协作的第二主神经元缓冲器存储器组件的所述数据复制到协作的第二阴影神经元缓冲器存储器组件。
12.根据权利要求11所述的计算机实现的方法，还包括对从所述协作的第一阴影神经元缓冲器存储器组件读取的所述数据和从所述协作的第二阴影神经元缓冲器存储器组件读取的数据执行所选择的函数，所述函数包括用以生成函数应用的数据的加法、乘法、减法和其他算术函数。
13.根据权利要求12所述的计算机实现的方法，还将所述函数应用的数据传送到一个或多个协作神经元以用于处理。
14.根据权利要求11所述的计算机实现的方法，还包括将所述协作的第一主神经元缓冲器存储器组件的行映射到所述协作神经元中的所述一个或多个协作神经元的神经元。
15.根据权利要求8所述的计算机实现的方法，还包括将所述协作的第一主神经元缓冲器存储器组件的列映射到代表所述计算环境的时钟周期的时间变量。
16.一种计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令在由计算设备的一个或多个处理器执行时使得所述计算设备的所述一个或多个处理器：
从计算环境(200)的协作组件接收一个或多个处理参数，所述一个或多个处理参数代表数据处理的特性，所述数据处理的特性包括输入数据(640)的特性和将由所述计算环境(200)执行的处理的类型；
从存储器组件(220，225)读取输入数据(640)；
根据所述一个或多个处理参数重组经读取的所述输入数据(640)以用于写入协作神经元缓冲器(610)；
将经重组的所述数据写入所述神经元缓冲器(610)的一个或多个主神经元缓冲器存储器组件(615，630)；以及
将所述一个或多个主神经元缓冲器存储器组件(615，630)的被写入的所述数据复制到一个或多个阴影神经元缓冲器存储器组件(620，625)。
17.根据权利要求16所述的计算机可读存储介质，其中所述指令还使得所述计算设备的所述一个或多个处理器：
选择所述一个或多个处理参数，以用于从一组处理参数重组经读取的所述输入数据。
18.根据权利要求17所述的计算机可读存储介质，其中所述指令还使得所述计算设备的所述一个或多个处理器：
将所述一个或多个阴影神经元缓冲器存储器组件的被写入的所述数据传送到一个或多个协作神经元。
19.根据权利要求18所述的计算机可读存储介质，其中所述指令还使得所述计算设备的所述一个或多个处理器：
在与所述一个或多个协作神经元通信之前，对从所述一个或多个阴影神经元缓冲器存储器组件读取的所述数据执行包括加法、乘法、减法、除法或其他算术函数的所选函数。
20.根据权利要求16所述的计算机可读存储介质，其中所述指令还使得所述计算设备的所述一个或多个处理器：
根据所选择的步幅值重组经读取的所述输入数据。
21.根据权利要求16所述的计算机可读存储介质，其中所述存储器组件与能够产生输入数据的物理传感器协作，所述输入数据包括音频数据、视频数据、触觉传感数据和其他数据，以供所述一个或多个协作处理单元进行后续处理。
22.根据权利要求21所述的计算机可读存储介质，其中所述协作处理单元与一个或多个输出物理组件电子地协作，所述一个或多个输出物理组件可操作以接收经处理的输入数据以用于人类交互，所述经处理的输入数据包括音频数据、视频数据、触觉传感数据和其他数据。
CN201880025126.0A 2017-04-17 2018-04-16 通过数据共享和分配增强人工智能/机器硬件的处理性能 Active CN110546610B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762486432P 2017-04-17 2017-04-17
US62/486,432 2017-04-17
US15/953,388 US11405051B2 (en) 2017-04-17 2018-04-13 Enhancing processing performance of artificial intelligence/machine hardware by data sharing and distribution as well as reuse of data in neuron buffer/line buffer
US15/953,388 2018-04-13
PCT/US2018/027836 WO2018194995A1 (en) 2017-04-17 2018-04-16 Enhancing processing performance of artificial intelligence/machine hardware by data sharing and distribution as well as reuse of data in neuron buffer/line buffer

Publications (2)

Publication Number Publication Date
CN110546610A CN110546610A (zh) 2019-12-06
CN110546610B true CN110546610B (zh) 2023-02-10

Family

ID=63790158

Family Applications (16)

Application Number Title Priority Date Filing Date
CN201880025503.0A Active CN110520853B (zh) 2017-04-17 2018-04-06 直接存储器访问的队列管理
CN202310874704.0A Pending CN116909985A (zh) 2017-04-17 2018-04-06 对数据分区的动态排序
CN201880024892.5A Active CN110506260B (zh) 2017-04-17 2018-04-06 用于神经网络环境中的增强数据处理的方法、系统和介质
CN201880025504.5A Active CN110520857B (zh) 2017-04-17 2018-04-06 使用虚拟化数据迭代器对神经网络进行数据处理性能增强
CN201880025244.1A Active CN110520856B (zh) 2017-04-17 2018-04-06 处理不邻近存储器作为邻近存储器以提高神经网络的性能
CN202310865940.6A Pending CN116909984A (zh) 2017-04-17 2018-04-06 使用虚拟化数据迭代器对神经网络进行数据处理性能增强
CN201880025417.XA Active CN110520846B (zh) 2017-04-17 2018-04-06 对数据分区的动态排序
CN201880025227.8A Active CN110520870B (zh) 2017-04-17 2018-04-06 用于具有动态向量长度和码本大小的高吞吐量向量去量化的灵活硬件
CN201880025415.0A Active CN110546628B (zh) 2017-04-17 2018-04-06 用有向线缓冲器最小化存储器读取提高神经网络环境性能
CN201880025488.XA Active CN110537194B (zh) 2017-04-17 2018-04-13 被配置用于层和操作防护和依赖性管理的功率高效的深度神经网络处理器及方法
CN201880025480.3A Active CN110546611B (zh) 2017-04-17 2018-04-16 通过跳过处理操作来减少神经网络处理器中的功耗
CN201880025126.0A Active CN110546610B (zh) 2017-04-17 2018-04-16 通过数据共享和分配增强人工智能/机器硬件的处理性能
CN201880025426.9A Active CN110678843B (zh) 2017-04-17 2018-04-16 在深度神经网络模块中动态划分工作负载以降低功率消耗
CN201880025508.3A Active CN110582785B (zh) 2017-04-17 2018-04-16 配置用于执行层描述符列表的具有功率效率的深度神经网络模块
CN201880025420.1A Active CN110520909B (zh) 2017-04-17 2018-04-16 使用激活数据的压缩和解压缩来减少存储器带宽利用率的神经网络处理器
CN201880025130.7A Active CN110546654B (zh) 2017-04-17 2018-04-16 通过构造接口的带宽控制来增强dnn模块的处理性能

Family Applications Before (11)

Application Number Title Priority Date Filing Date
CN201880025503.0A Active CN110520853B (zh) 2017-04-17 2018-04-06 直接存储器访问的队列管理
CN202310874704.0A Pending CN116909985A (zh) 2017-04-17 2018-04-06 对数据分区的动态排序
CN201880024892.5A Active CN110506260B (zh) 2017-04-17 2018-04-06 用于神经网络环境中的增强数据处理的方法、系统和介质
CN201880025504.5A Active CN110520857B (zh) 2017-04-17 2018-04-06 使用虚拟化数据迭代器对神经网络进行数据处理性能增强
CN201880025244.1A Active CN110520856B (zh) 2017-04-17 2018-04-06 处理不邻近存储器作为邻近存储器以提高神经网络的性能
CN202310865940.6A Pending CN116909984A (zh) 2017-04-17 2018-04-06 使用虚拟化数据迭代器对神经网络进行数据处理性能增强
CN201880025417.XA Active CN110520846B (zh) 2017-04-17 2018-04-06 对数据分区的动态排序
CN201880025227.8A Active CN110520870B (zh) 2017-04-17 2018-04-06 用于具有动态向量长度和码本大小的高吞吐量向量去量化的灵活硬件
CN201880025415.0A Active CN110546628B (zh) 2017-04-17 2018-04-06 用有向线缓冲器最小化存储器读取提高神经网络环境性能
CN201880025488.XA Active CN110537194B (zh) 2017-04-17 2018-04-13 被配置用于层和操作防护和依赖性管理的功率高效的深度神经网络处理器及方法
CN201880025480.3A Active CN110546611B (zh) 2017-04-17 2018-04-16 通过跳过处理操作来减少神经网络处理器中的功耗

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN201880025426.9A Active CN110678843B (zh) 2017-04-17 2018-04-16 在深度神经网络模块中动态划分工作负载以降低功率消耗
CN201880025508.3A Active CN110582785B (zh) 2017-04-17 2018-04-16 配置用于执行层描述符列表的具有功率效率的深度神经网络模块
CN201880025420.1A Active CN110520909B (zh) 2017-04-17 2018-04-16 使用激活数据的压缩和解压缩来减少存储器带宽利用率的神经网络处理器
CN201880025130.7A Active CN110546654B (zh) 2017-04-17 2018-04-16 通过构造接口的带宽控制来增强dnn模块的处理性能

Country Status (19)

Country Link
US (20) US10795836B2 (zh)
EP (14) EP3612989B1 (zh)
JP (1) JP7004741B2 (zh)
KR (2) KR102663557B1 (zh)
CN (16) CN110520853B (zh)
AU (1) AU2018256212B2 (zh)
BR (1) BR112019021541A2 (zh)
CA (1) CA3056660A1 (zh)
CL (1) CL2019002864A1 (zh)
CO (1) CO2019011014A2 (zh)
IL (1) IL269888B (zh)
MX (1) MX2019012388A (zh)
MY (1) MY201868A (zh)
NZ (1) NZ756870A (zh)
PH (1) PH12019550191A1 (zh)
RU (1) RU2767447C2 (zh)
SG (1) SG11201909175XA (zh)
WO (15) WO2018194849A1 (zh)
ZA (1) ZA201905874B (zh)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8515052B2 (en) 2007-12-17 2013-08-20 Wai Wu Parallel signal processing system and method
US10635969B2 (en) 2016-10-14 2020-04-28 International Business Machines Corporation Core utilization optimization by dividing computational blocks across cores
US10248906B2 (en) * 2016-12-28 2019-04-02 Intel Corporation Neuromorphic circuits for storing and generating connectivity information
US10795836B2 (en) 2017-04-17 2020-10-06 Microsoft Technology Licensing, Llc Data processing performance enhancement for neural networks using a virtualized data iterator
US11164071B2 (en) * 2017-04-18 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for reducing computational complexity of convolutional neural networks
EP3657398A1 (en) * 2017-05-23 2020-05-27 Shanghai Cambricon Information Technology Co., Ltd Weight quantization method for a neural network and accelerating device therefor
CN110502330A (zh) * 2018-05-16 2019-11-26 上海寒武纪信息科技有限公司 处理器及处理方法
US11514355B2 (en) * 2017-06-28 2022-11-29 General Electric Company Flat representation of machine learning model
KR102569086B1 (ko) * 2017-11-20 2023-08-22 상하이 캠브리콘 인포메이션 테크놀로지 컴퍼니 리미티드 태스크 병렬 처리 방법, 장치, 시스템, 기억 매체 및 컴퓨터 기기
EP3489865B1 (en) * 2017-11-22 2021-01-06 Commissariat à l'énergie atomique et aux énergies alternatives A stdp-based learning method for a network having dual accumulator neurons
US10747844B2 (en) * 2017-12-12 2020-08-18 Tesla, Inc. Systems and methods for converting a matrix input to a vectorized input for a matrix processor
US11995448B1 (en) * 2018-02-08 2024-05-28 Marvell Asia Pte Ltd Method and apparatus for performing machine learning operations in parallel on machine learning hardware
KR20190097930A (ko) * 2018-02-13 2019-08-21 삼성전자주식회사 채널 별 메모리 용량을 조절하는 메모리 장치 및 이를 포함하는 메모리 시스템
US10948966B1 (en) * 2018-03-07 2021-03-16 Facebook, Inc. Systems and methods for optimizing power usage for systems within quality-of-service constraints
US11126362B2 (en) * 2018-03-14 2021-09-21 International Business Machines Corporation Migrating storage data
CN109313673A (zh) * 2018-04-17 2019-02-05 深圳鲲云信息科技有限公司 网络模型的运行方法及相关产品
US10404276B1 (en) * 2018-04-27 2019-09-03 Nicira, Inc. Stable variable-length order-preserving encoding scheme
US20190340490A1 (en) * 2018-05-04 2019-11-07 Apple Inc. Systems and methods for assigning tasks in a neural network processor
US11016801B1 (en) 2018-05-22 2021-05-25 Marvell Asia Pte, Ltd. Architecture to support color scheme-based synchronization for machine learning
US10997510B1 (en) 2018-05-22 2021-05-04 Marvell Asia Pte, Ltd. Architecture to support tanh and sigmoid operations for inference acceleration in machine learning
US10360654B1 (en) * 2018-05-25 2019-07-23 Intel Corporation Software scoreboard information and synchronization
US10657087B2 (en) * 2018-05-31 2020-05-19 Toshiba Memory Corporation Method of out of order processing of scatter gather lists
US11561833B1 (en) * 2018-06-28 2023-01-24 Amazon Technologies, Inc. Allocation and placement of resources for network computation
WO2020032816A1 (en) * 2018-08-09 2020-02-13 Huawei Technologies Co., Ltd Device and method for compacting compressed and uncompressed data blocks
KR102519467B1 (ko) * 2018-08-28 2023-04-06 캠브리콘 테크놀로지스 코퍼레이션 리미티드 데이터 전처리 방법, 장치, 컴퓨터 설비 및 저장 매체
KR20200034499A (ko) * 2018-09-21 2020-03-31 삼성전자주식회사 메모리 장치와 통신하는 데이터 처리 장치 및 방법
US11295205B2 (en) * 2018-09-28 2022-04-05 Qualcomm Incorporated Neural processing unit (NPU) direct memory access (NDMA) memory bandwidth optimization
CN109359732B (zh) 2018-09-30 2020-06-09 阿里巴巴集团控股有限公司 一种芯片及基于其的数据处理方法
US20200117981A1 (en) * 2018-10-11 2020-04-16 International Business Machines Corporation Data representation for dynamic precision in neural network cores
KR20200053886A (ko) * 2018-11-09 2020-05-19 삼성전자주식회사 뉴럴 프로세싱 유닛, 뉴럴 프로세싱 시스템, 및 어플리케이션 시스템
CN109669774B (zh) * 2018-11-14 2020-12-08 新华三技术有限公司成都分公司 硬件资源的量化方法、编排方法、装置及网络设备
US11663001B2 (en) 2018-11-19 2023-05-30 Advanced Micro Devices, Inc. Family of lossy sparse load SIMD instructions
KR102107077B1 (ko) * 2018-11-20 2020-05-06 주식회사 아나패스 컨볼루션 신경망 추론에서 컨볼루션 연산을 수행하기 위한 라인 단위 메모리 관리 방법 및 그 추론 장치
US10990525B2 (en) * 2018-12-12 2021-04-27 Mipsology SAS Caching data in artificial neural network computations
US11342933B2 (en) * 2018-12-14 2022-05-24 Advanced Micro Devices, Inc. Lossy significance compression with lossy restoration
CN109657788A (zh) * 2018-12-18 2019-04-19 北京中科寒武纪科技有限公司 数据处理方法、装置及相关产品
CN109740735B (zh) * 2018-12-29 2020-12-29 百度在线网络技术（北京）有限公司 多神经网络输出方法及装置、服务器、计算机可读介质
CN109922007B (zh) * 2019-01-15 2022-04-01 西安仙农电子科技有限公司 一种基于卷积神经网络的负载均衡方法
CN111488114B (zh) * 2019-01-28 2021-12-21 北京灵汐科技有限公司 一种可重构的处理器架构及计算设备
US11687783B2 (en) * 2019-02-04 2023-06-27 International Business Machines Corporation L2-nonexpansive neural networks
US11625554B2 (en) 2019-02-04 2023-04-11 International Business Machines Corporation L2-nonexpansive neural networks
US11521014B2 (en) 2019-02-04 2022-12-06 International Business Machines Corporation L2-nonexpansive neural networks
US11036545B2 (en) * 2019-03-15 2021-06-15 Intel Corporation Graphics systems and methods for accelerating synchronization using fine grain dependency check and scheduling optimizations based on available shared memory space
CN111767078A (zh) * 2019-04-02 2020-10-13 上海寒武纪信息科技有限公司 数据运行方法、装置和相关产品
CN111782577B (zh) * 2019-04-04 2023-03-24 安徽寒武纪信息科技有限公司 数据处理装置及方法以及相关产品
CN109992225B (zh) * 2019-04-04 2022-02-22 中科寒武纪科技股份有限公司 数据输出方法及相关装置
KR20200119164A (ko) * 2019-04-09 2020-10-19 한국전자통신연구원 정보 처리 장치 및 그것에 포함된 신경망 연산 장치의 동작 방법
KR20200129957A (ko) * 2019-05-10 2020-11-18 삼성전자주식회사 피처맵 데이터에 대한 압축을 수행하는 뉴럴 네트워크 프로세서 및 이를 포함하는 컴퓨팅 시스템
US10504005B1 (en) * 2019-05-10 2019-12-10 Capital One Services, Llc Techniques to embed a data object into a multidimensional frame
US11204745B2 (en) * 2019-05-23 2021-12-21 Xilinx, Inc. Dataflow graph programming environment for a heterogenous processing system
US11175898B2 (en) * 2019-05-31 2021-11-16 Apple Inc. Compiling code for a machine learning model for execution on a specialized processor
KR20200139909A (ko) 2019-06-05 2020-12-15 삼성전자주식회사 전자 장치 및 그의 연산 수행 방법
CN114008636A (zh) * 2019-06-18 2022-02-01 高通股份有限公司 优化机器学习模型性能
US11403097B2 (en) 2019-06-26 2022-08-02 Intel Corporation Systems and methods to skip inconsequential matrix operations
US11461622B2 (en) * 2019-06-28 2022-10-04 Amazon Technologies, Inc. Dynamic code loading for multiple executions on a sequential processor
US11630770B2 (en) * 2019-07-11 2023-04-18 Meta Platforms Technologies, Llc Systems and methods for reading and writing sparse data in a neural network accelerator
US20210081806A1 (en) * 2019-09-13 2021-03-18 Latent AI, Inc. Using a runtime engine to facilitate dynamic adaptation of deep neural networks for efficient processing
US10915811B1 (en) 2019-09-18 2021-02-09 International Business Machines Corporation Intercalation cells for multi-task learning
US11475283B2 (en) * 2019-10-24 2022-10-18 Apple Inc. Multi dimensional convolution in neural network processor
KR20210053384A (ko) 2019-11-01 2021-05-12 삼성전자주식회사 스토리지 장치 및 스토리지 장치의 동작 방법
US11513799B2 (en) 2019-11-04 2022-11-29 Apple Inc. Chained buffers in neural network processor
KR20210065605A (ko) * 2019-11-27 2021-06-04 한국전자통신연구원 선인출 정보를 이용한 메모리 제어 방법 및 장치
CN111091184B (zh) * 2019-12-19 2022-03-22 浪潮(北京)电子信息产业有限公司 一种深度神经网络的量化方法、装置、电子设备及介质
CN111162792A (zh) * 2019-12-19 2020-05-15 深圳市航天泰瑞捷电子有限公司 一种电力负荷数据的压缩方法及装置
US11620516B2 (en) * 2019-12-23 2023-04-04 Arm Limited Specializing neural networks for heterogeneous systems
CN111178490B (zh) 2019-12-31 2021-08-24 北京百度网讯科技有限公司 数据输出方法、获取方法、装置和电子设备
CN111126589B (zh) * 2019-12-31 2022-05-20 昆仑芯(北京)科技有限公司 神经网络数据处理装置、方法和电子设备
KR102399197B1 (ko) 2020-01-17 2022-05-18 경희대학교 산학협력단 이상치 인지 근사적 코딩을 수행하는 전자 장치 그리고 그것의 동작 방법
US11023400B1 (en) 2020-01-20 2021-06-01 International Business Machines Corporation High performance DMA transfers in host bus adapters
US20210224191A1 (en) * 2020-01-22 2021-07-22 Alibaba Group Holding Limited Compression and decompression module in a cache controller for reducing off-chip data traffic
KR102498066B1 (ko) * 2020-02-20 2023-02-10 한국과학기술원 딥러닝 강화학습 가속기
KR20210108749A (ko) 2020-02-26 2021-09-03 삼성전자주식회사 가속기, 가속기의 동작 방법 및 이를 포함한 가속기 시스템
CN111431539B (zh) * 2020-03-04 2023-12-08 嘉楠明芯(北京)科技有限公司 一种神经网络数据的压缩方法、装置及计算机可读存储介质
CN111290979B (zh) * 2020-03-23 2021-08-17 优刻得科技股份有限公司 数据传输方法、装置及系统
CN111522643A (zh) * 2020-04-22 2020-08-11 杭州迪普科技股份有限公司 基于fpga的多队列调度方法、装置、计算机设备及存储介质
CN113592082A (zh) * 2020-04-30 2021-11-02 意法半导体股份有限公司 用于从人工神经网络分配中间数据的设备和方法
KR20210136476A (ko) * 2020-05-07 2021-11-17 삼성전자주식회사 쿼드 트리 방법의 파라미터들을 이용하여 압축하는 장치 및 방법
US20210377122A1 (en) * 2020-05-26 2021-12-02 Synopsys, Inc. Mixed-precision neural networks
GB202008299D0 (en) 2020-06-02 2020-07-15 Imagination Tech Ltd Manipulation of data in a memory
EP4169165A1 (en) * 2020-06-18 2023-04-26 InterDigital VC Holdings France, SAS Systems and methods for encoding/decoding a deep neural network
US11275701B2 (en) * 2020-06-24 2022-03-15 Qualcomm Incorporated Secure timer synchronization between function block and external SOC
CN111723053A (zh) * 2020-06-24 2020-09-29 北京航天数据股份有限公司 一种数据的压缩方法及装置、解压方法及装置
US20220004399A1 (en) * 2020-07-03 2022-01-06 Mediatek Inc. Dynamic loading neural network inference at dram/on-bus sram/serial flash for power optimization
CN111884658A (zh) * 2020-07-09 2020-11-03 上海兆芯集成电路有限公司 数据解压缩方法、数据压缩方法及卷积运算装置
US11720404B2 (en) * 2020-07-16 2023-08-08 Samsung Electronics Co., Ltd. Systems and methods for arbitrating access to a shared resource
JPWO2022014500A1 (zh) * 2020-07-17 2022-01-20
CN111858058A (zh) * 2020-07-24 2020-10-30 成都成信高科信息技术有限公司 基于并行计算的sgd负载均衡方法、装置及存储介质
FR3113158B1 (fr) * 2020-08-03 2024-04-05 Commissariat Energie Atomique Architecture de calcul systolique pour la mise en œuvre de réseaux de neurones artificiels traitant plusieurs types de convolutions
JP6835285B1 (ja) * 2020-09-15 2021-02-24 富士電機株式会社 データ圧縮方法、データ圧縮装置、データ圧縮プログラム、データ伸長方法、データ伸長装置およびデータ伸長プログラム
US11470004B2 (en) * 2020-09-22 2022-10-11 Advanced Micro Devices, Inc. Graded throttling for network-on-chip traffic
JP2022094508A (ja) 2020-12-15 2022-06-27 富士通株式会社 演算処理装置、演算処理方法および演算処理プログラム
TWI745227B (zh) * 2021-02-01 2021-11-01 國立陽明交通大學 用於進行原始服務端與外地服務端之間的第三方認證的通訊系統及方法
KR102298766B1 (ko) * 2021-02-15 2021-09-07 주식회사 딥이티 타겟 디바이스에 대한 딥러닝 모델 변환 장치 및 방법
US11256987B1 (en) * 2021-06-02 2022-02-22 SambaNova Systems, Inc. Memory efficient dropout, with reordering of dropout mask elements
JP2023018365A (ja) 2021-07-27 2023-02-08 富士通株式会社 情報処理プログラム、情報処理方法及び情報処理装置
US20230079975A1 (en) * 2021-09-10 2023-03-16 Arm Limited Power management for system-on-chip
WO2023075564A1 (ko) * 2021-11-01 2023-05-04 엘지전자 주식회사 피쳐 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
EP4191476A1 (en) * 2021-12-01 2023-06-07 Nokia Technologies Oy Machine learning accelerator
US11816364B2 (en) * 2022-01-13 2023-11-14 Microsoft Technology Licensing, Llc Performance evaluation of an application based on detecting degradation caused by other computing processes
CN114466082B (zh) * 2022-01-29 2024-01-09 上海阵量智能科技有限公司 数据压缩、数据解压方法、系统及人工智能ai芯片
US11720252B1 (en) * 2022-03-04 2023-08-08 Microsoft Technology Licensing, Llc Method and apparatus for compressing and decompressing sparse data sets
US20230350678A1 (en) * 2022-04-28 2023-11-02 Qualcomm Incorporated Instruction Set Architecture for Neural Network Quantization and Packing
WO2023250093A1 (en) * 2022-06-22 2023-12-28 Brainchip, Inc. Method and system for implementing temporal convolution in spatiotemporal neural networks
KR20240002346A (ko) * 2022-06-29 2024-01-05 삼성전자주식회사 Ai 부호화/복호화를 이용하여 영상을 처리하는 전자 장치 및 그 제어 방법
KR20240007495A (ko) * 2022-07-08 2024-01-16 리벨리온 주식회사 뉴럴 코어, 이를 포함하는 뉴럴 프로세싱 장치 및 뉴럴 프로세싱 장치의 데이터 로드 방법
CN115309349B (zh) * 2022-10-12 2023-01-20 深圳鲲云信息科技有限公司 深度学习的稀疏数据存储方法、计算机设备和存储介质
US11983128B1 (en) * 2022-12-16 2024-05-14 Amazon Technologies, Inc. Multidimensional and multiblock tensorized direct memory access descriptors

Family Cites Families (194)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4298954A (en) 1979-04-30 1981-11-03 International Business Machines Corporation Alternating data buffers when one buffer is empty and another buffer is variably full of data
JPH0642237B2 (ja) 1983-12-28 1994-06-01 株式会社日立製作所 並列処理装置
EP0340901A3 (en) * 1988-03-23 1992-12-30 Du Pont Pixel Systems Limited Access system for dual port memory
EP0334624A3 (en) * 1988-03-23 1993-03-31 Du Pont Pixel Systems Limited Microcoded computer system
US5056015A (en) * 1988-03-23 1991-10-08 Du Pont Pixel Systems Limited Architectures for serial or parallel loading of writable control store
JP2703010B2 (ja) 1988-12-23 1998-01-26 株式会社日立製作所 ニユーラルネツト信号処理プロセツサ
US5369773A (en) 1991-04-26 1994-11-29 Adaptive Solutions, Inc. Neural network using virtual-zero
US5357597A (en) * 1991-06-24 1994-10-18 International Business Machines Corporation Convolutional expert neural system (ConExNS)
US5487153A (en) 1991-08-30 1996-01-23 Adaptive Solutions, Inc. Neural network sequencer and interface apparatus
WO1993014459A1 (en) 1992-01-17 1993-07-22 Caelum Research Corporation Modular parallel processing system
JPH06195322A (ja) 1992-10-29 1994-07-15 Hitachi Ltd 汎用型ニューロコンピュータとして用いられる情報処理装置
JP2938711B2 (ja) 1993-05-10 1999-08-25 松下電器産業株式会社 並列計算機
US5859990A (en) 1995-12-29 1999-01-12 Intel Corporation System for transferring data segments from a first storage device to a second storage device using an alignment stage including even and odd temporary devices
US5933654A (en) 1996-09-24 1999-08-03 Allen-Bradley Company, Llc Dynamic buffer fracturing by a DMA controller
US6006325A (en) * 1996-12-19 1999-12-21 Institute For The Development Of Emerging Architectures, L.L.C. Method and apparatus for instruction and data serialization in a computer processor
US6547364B2 (en) * 1997-07-12 2003-04-15 Silverbrook Research Pty Ltd Printing cartridge with an integrated circuit device
KR100258355B1 (ko) * 1997-12-26 2000-06-01 김영환 8 비트 병렬 셀 단위 인터리버
US6307867B1 (en) 1998-05-14 2001-10-23 Telefonaktiebolaget Lm Ericsson (Publ) Data transmission over a communications link with variable transmission rates
US6654761B2 (en) * 1998-07-29 2003-11-25 Inxight Software, Inc. Controlling which part of data defining a node-link structure is in memory
JP2000059227A (ja) 1998-08-07 2000-02-25 Matsushita Electric Ind Co Ltd 符号化／復号化装置、及び符号化／復号化方法
JP2000261416A (ja) * 1999-03-09 2000-09-22 Nec Eng Ltd 二重化データ転送回路
US6785239B1 (en) 1999-06-01 2004-08-31 Cisco Technology, Inc. Reducing delays in a communication network using a re-fragmentation pipeline
JP2001188767A (ja) 1999-12-28 2001-07-10 Fuji Xerox Co Ltd ニューラルネットワーク演算装置及びニューラルネットワークの演算方法
US6424737B1 (en) 2000-01-24 2002-07-23 Sony Corporation Method and apparatus of compressing images using localized radon transforms
WO2001069411A2 (en) 2000-03-10 2001-09-20 Arc International Plc Memory interface and method of interfacing between functional entities
GB2382898B (en) 2000-12-29 2005-06-29 Zarlink Semiconductor Ltd A method of managing data
JP2002259939A (ja) * 2001-03-05 2002-09-13 Kitakiyuushiyuu Techno Center:Kk 連想メモリーベースコンピュータ
US6990079B2 (en) 2001-06-08 2006-01-24 International Business Machines Corporation Optimizing fragment sizes in frame relay networks
US7012893B2 (en) 2001-06-12 2006-03-14 Smartpackets, Inc. Adaptive control of data packet size in networks
US7106968B2 (en) 2001-07-06 2006-09-12 Optix Networks Inc. Combined SONET/SDH and OTN architecture
US6954744B2 (en) * 2001-08-29 2005-10-11 Honeywell International, Inc. Combinatorial approach for supervised neural network learning
US6836767B2 (en) 2001-10-03 2004-12-28 International Business Machines Corporation Pipelined hardware implementation of a neural network circuit
US6961719B1 (en) * 2002-01-07 2005-11-01 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Hybrid neural network and support vector machine method for optimization
US7245627B2 (en) 2002-04-23 2007-07-17 Mellanox Technologies Ltd. Sharing a network interface card among multiple hosts
US7539608B1 (en) 2002-05-10 2009-05-26 Oracle International Corporation Techniques for determining effects on system performance of a memory management parameter
US7020207B1 (en) * 2002-12-02 2006-03-28 Hitachi, Ltd. Video error concealment mechanism for block based video decompression
US7444637B2 (en) 2003-02-18 2008-10-28 Microsoft Corporation Systems and methods for scheduling coprocessor resources in a computing system
US7137021B2 (en) * 2003-05-15 2006-11-14 International Business Machines Corporation Power saving in FPU with gated power based on opcodes and data
GB0313986D0 (en) * 2003-06-17 2003-07-23 Zarlink Semiconductor Inc Data memory extension for use in double buffered TDM switches
CN100437456C (zh) 2003-12-09 2008-11-26 松下电器产业株式会社 电子装置及其控制方法、主机装置及其控制方法
US20050125797A1 (en) * 2003-12-09 2005-06-09 International Business Machines Corporation Resource management for a system-on-chip (SoC)
US7480640B1 (en) * 2003-12-16 2009-01-20 Quantum Leap Research, Inc. Automated method and system for generating models from data
US7376853B2 (en) 2004-03-15 2008-05-20 Canon Kabushiki Kaisha Network apparatus, method for controlling the same, and program for the same
US7284075B2 (en) 2004-03-23 2007-10-16 Intel Corporation Inbound packet placement in host memory
US7644239B2 (en) * 2004-05-03 2010-01-05 Microsoft Corporation Non-volatile memory cache performance improvement
US9143393B1 (en) * 2004-05-25 2015-09-22 Red Lambda, Inc. System, method and apparatus for classifying digital data
US20050289253A1 (en) * 2004-06-24 2005-12-29 Edirisooriya Samantha J Apparatus and method for a multi-function direct memory access core
US7363397B2 (en) 2004-08-26 2008-04-22 International Business Machines Corporation System and method for DMA controller with multi-dimensional line-walking functionality
US20060050693A1 (en) * 2004-09-03 2006-03-09 James Bury Building data packets for an advanced switching fabric
US20060100997A1 (en) * 2004-10-27 2006-05-11 Wall Gary C Data caching
US8190796B2 (en) * 2004-11-02 2012-05-29 Standard Microsystems Corporation Hardware supported peripheral component memory alignment method
CN1790918A (zh) 2004-12-17 2006-06-21 中国科学院半导体研究所 基于虚拟信源和神经网络的无损数据压缩方法
US20060143401A1 (en) * 2004-12-27 2006-06-29 Jacob Doweck Method and apparatus for prefetching based on cache fill buffer hits
EP1701249A1 (en) * 2005-03-11 2006-09-13 Interuniversitair Microelektronica Centrum Vzw Ultra low power ASIP (Application-Domain specific Instruction-set Processor) microcomputer
US7793040B2 (en) * 2005-06-01 2010-09-07 Microsoft Corporation Content addressable memory architecture
US7747070B2 (en) * 2005-08-31 2010-06-29 Microsoft Corporation Training convolutional neural networks on graphics processing units
CN101401100B (zh) * 2006-03-14 2012-10-10 国际商业机器公司 通过确定输入数据中的模式进行数据挖掘
RU2419226C2 (ru) * 2006-03-31 2011-05-20 Квэлкомм Инкорпорейтед Управление памятью для высокоскоростного управления доступом к среде
US9542642B2 (en) 2006-04-06 2017-01-10 Samuel F. Wood Packet data neural network system and method
US7764710B1 (en) * 2006-04-25 2010-07-27 Altera Corporation Method and apparatus for processing communication protocol frame input
US7620784B2 (en) * 2006-06-09 2009-11-17 Microsoft Corporation High speed nonvolatile memory device using parallel writing among a plurality of interfaces
US8718065B2 (en) 2006-08-15 2014-05-06 Broadcom Corporation Transmission using multiple physical interface
US7496707B2 (en) 2006-08-22 2009-02-24 International Business Machines Corporation Dynamically scalable queues for performance driven PCI express memory traffic
US20080091868A1 (en) * 2006-10-17 2008-04-17 Shay Mizrachi Method and System for Delayed Completion Coalescing
US8249171B2 (en) 2006-11-10 2012-08-21 Texas Instruments Incorporated MPEG-2 transport stream packet synchronizer
US20080168013A1 (en) * 2006-12-05 2008-07-10 Paul Cadaret Scalable pattern recognition system
CN101689130A (zh) * 2006-12-06 2010-03-31 弗森多系统公司（dba弗森-艾奥） 采用渐进raid存储数据的装置、系统和方法
US8103606B2 (en) 2006-12-08 2012-01-24 Medhat Moussa Architecture, system and method for artificial neural network implementation
CN101221541B (zh) * 2007-01-09 2011-04-20 张立军 用于soc的可编程通信控制器
US7620749B2 (en) * 2007-01-10 2009-11-17 International Business Machines Corporation Descriptor prefetch mechanism for high latency and out of order DMA device
US8190834B2 (en) 2007-06-15 2012-05-29 Emc Corporation Process for contiguously streaming data from a content addressed storage system
JP5184824B2 (ja) * 2007-06-15 2013-04-17 キヤノン株式会社 演算処理装置及び方法
US7822951B2 (en) 2007-08-01 2010-10-26 Advanced Micro Devices, Inc. System and method of load-store forwarding
US8200992B2 (en) * 2007-09-24 2012-06-12 Cognitive Electronics, Inc. Parallel processing computer systems with reduced power consumption and methods for providing the same
CN101183873B (zh) 2007-12-11 2011-09-28 广州中珩电子科技有限公司 一种基于bp神经网络的嵌入式系统数据压缩解压缩方法
US8244953B1 (en) 2007-12-18 2012-08-14 Emc Corporation System and method for faster data retrieval from tape media
US8244721B2 (en) * 2008-02-13 2012-08-14 Microsoft Corporation Using related users data to enhance web search
US7730244B1 (en) * 2008-03-27 2010-06-01 Xilinx, Inc. Translation of commands in an interconnection of an embedded processor block core in an integrated circuit
US8201166B2 (en) * 2008-04-30 2012-06-12 Hewlett-Packard Development Company, L.P. Virtualization platform configured with virtual connect control
GB0811057D0 (en) 2008-06-17 2008-07-23 Univ Ulster Artificial neural network architecture
US8566515B2 (en) * 2009-01-12 2013-10-22 Maxim Integrated Products, Inc. Memory subsystem
US20100180100A1 (en) 2009-01-13 2010-07-15 Mavrix Technology, Inc. Matrix microprocessor and method of operation
US8392687B2 (en) * 2009-01-21 2013-03-05 Micron Technology, Inc. Solid state memory formatting
JP5458629B2 (ja) * 2009-03-31 2014-04-02 ブラザー工業株式会社 ノード装置、ノード処理プログラム及び検索方法
US20100257174A1 (en) 2009-04-02 2010-10-07 Matthew Dino Minuti Method for data compression utilizing pattern-analysis and matching means such as neural networks
US20100281192A1 (en) 2009-04-30 2010-11-04 Novafora, Inc. Apparatus and method for transferring data within a data processing system
EP2259214B1 (en) 2009-06-04 2013-02-27 Honda Research Institute Europe GmbH Implementing a neural associative memory based on non-linear learning of discrete synapses
GB2484416B (en) * 2009-06-26 2015-02-25 Intel Corp Optimizations for an unbounded transactional memory (utm) system
US8442927B2 (en) 2009-07-30 2013-05-14 Nec Laboratories America, Inc. Dynamically configurable, multi-ported co-processor for convolutional neural networks
US8316194B2 (en) * 2009-12-15 2012-11-20 Intel Corporation Mechanisms to accelerate transactions using buffered stores
US20110153877A1 (en) * 2009-12-23 2011-06-23 King Steven R Method and apparatus to exchange data via an intermediary translation and queue manager
CN102971997B (zh) * 2010-01-18 2016-11-09 马维尔国际有限公司 包括数据分段和数据描述分段的分组缓冲器
US8713260B2 (en) 2010-04-02 2014-04-29 Intel Corporation Adaptive block pre-fetching method and system
US8549506B2 (en) * 2010-04-27 2013-10-01 Microsoft Corporation Resumable methods
US8965819B2 (en) * 2010-08-16 2015-02-24 Oracle International Corporation System and method for effective caching using neural networks
US8701099B2 (en) * 2010-11-02 2014-04-15 International Business Machines Corporation Accelerating generic loop iterators using speculative execution
US9300321B2 (en) * 2010-11-05 2016-03-29 University of Maribor Light detection and ranging (LiDAR)data compression and decompression methods and apparatus
US8515882B2 (en) 2010-11-18 2013-08-20 International Business Machines Corporation Efficient storage of individuals for optimization simulation
CN102480337B (zh) 2010-11-30 2016-04-13 国际商业机器公司 无线电软件系统以及用于其的解码装置和方法
US8966413B2 (en) * 2011-02-17 2015-02-24 The Board Of Trustees Of The Leland Stanford Junior University System and method for a chip generator
US8892488B2 (en) * 2011-06-01 2014-11-18 Nec Laboratories America, Inc. Document classification with weighted supervised n-gram embedding
WO2012170904A2 (en) * 2011-06-10 2012-12-13 Bytemobile, Inc. Adaptive bitrate management on progressive download with indexed media files
CN102332162A (zh) 2011-09-19 2012-01-25 西安百利信息科技有限公司 基于人工神经网络的医学图像兴趣区自动识别和分级压缩方法
US9015092B2 (en) * 2012-06-04 2015-04-21 Brain Corporation Dynamically reconfigurable stochastic learning apparatus and methods
US9326075B2 (en) 2011-10-07 2016-04-26 Cochlear Limited Flexible protocol for an implanted prosthesis
US9235799B2 (en) * 2011-11-26 2016-01-12 Microsoft Technology Licensing, Llc Discriminative pretraining of deep neural networks
CN102523452B (zh) 2011-12-29 2014-12-17 西安空间无线电技术研究所 图像转换压缩传输方法
CN102609222B (zh) * 2012-02-13 2015-03-25 山东华芯半导体有限公司 基于命令描述符的闪存控制方法
US9128925B2 (en) * 2012-04-24 2015-09-08 Freescale Semiconductor, Inc. System and method for direct memory access buffer utilization by setting DMA controller with plurality of arbitration weights associated with different DMA engines
US9703500B2 (en) * 2012-04-25 2017-07-11 International Business Machines Corporation Reducing power consumption by migration of data within a tiered storage system
US9509632B2 (en) * 2012-04-25 2016-11-29 Empire Technology Development Llc Workload prediction for network-based computing
US9015096B2 (en) * 2012-05-30 2015-04-21 Qualcomm Incorporated Continuous time spiking neural network event-based simulation that schedules co-pending events using an indexable list of nodes
US9432489B2 (en) * 2012-06-05 2016-08-30 Intel Corporation Systems and methods for processing encoded data streams
US9159020B2 (en) * 2012-09-14 2015-10-13 International Business Machines Corporation Multiplexing physical neurons to optimize power and area
US20160013773A1 (en) * 2012-11-06 2016-01-14 Pavel Dourbal Method and apparatus for fast digital filtering and signal processing
WO2014085975A1 (zh) * 2012-12-04 2014-06-12 中国科学院半导体研究所 可动态重构的多级并行单指令多数据阵列处理系统
KR20150064197A (ko) 2012-12-26 2015-06-10 인텔 코포레이션 인접한 수집/분산 연산들의 통합
EP2949047B1 (en) * 2013-01-22 2021-03-31 Altera Corporation Data compression and decompression using simd instructions
US10909137B2 (en) 2014-10-06 2021-02-02 Fisher-Rosemount Systems, Inc. Streaming data for analytics in process control systems
CN104050200B (zh) 2013-03-15 2017-12-08 伊姆西公司 用于数据拷贝的方法和装置
US9760346B2 (en) * 2013-05-31 2017-09-12 Microsoft Technology Licensing, Llc Deeply parallel source code compilation
WO2014204331A1 (en) 2013-06-17 2014-12-24 Llc "Topcon Positioning Systems" Nand flash memory interface controller with gnss receiver firmware booting capability
EP3047390A1 (en) * 2013-09-19 2016-07-27 Sysomos L.P. Systems and methods for actively composing content for use in continuous social communication
US9280465B2 (en) * 2013-10-08 2016-03-08 Globalfoundries Inc. Techniques for moving checkpoint-based high-availability log and data directly from a producer cache to a consumer cache
US20150286873A1 (en) * 2014-04-03 2015-10-08 Bruce L. Davis Smartphone-based methods and systems
US9286171B2 (en) * 2013-12-12 2016-03-15 International Business Machines Corporation Priming failover of stateful offload adapters
EP3087454A4 (en) * 2013-12-23 2017-08-02 Intel Corporation Input output data alignment
GB2521828A (en) * 2013-12-23 2015-07-08 Sony Corp Data encoding and decoding
US9851771B2 (en) 2013-12-28 2017-12-26 Intel Corporation Dynamic power measurement and estimation to improve memory subsystem power performance
US10097372B2 (en) * 2014-01-09 2018-10-09 Ciena Corporation Method for resource optimized network virtualization overlay transport in virtualized data center environments
EP2896428B1 (fr) * 2014-01-16 2016-11-09 Sorin CRM SAS Ensemble de réseau de neurones pour l'évaluation et l'adaptation d'une thérapie antitachycardique par un défibrillateur implantable
US10339447B2 (en) * 2014-01-23 2019-07-02 Qualcomm Incorporated Configuring sparse neuronal networks
US9563369B2 (en) * 2014-04-14 2017-02-07 Microsoft Technology Licensing, Llc Fine-grained bandwidth provisioning in a memory controller
EP3132389A1 (en) * 2014-04-15 2017-02-22 Intel Corporation Methods, systems and computer program products for neuromorphic graph compression using associative memories
US9219499B2 (en) 2014-05-16 2015-12-22 Robert Bosch Gmbh Run time compression method for a vehicle communication bus
US9892125B1 (en) * 2014-05-23 2018-02-13 MapD Technologies, Inc. Method for logging update queries
US9959142B2 (en) * 2014-06-17 2018-05-01 Mediatek Inc. Dynamic task scheduling method for dispatching sub-tasks to computing devices of heterogeneous computing system and related computer readable medium
RU2666631C2 (ru) * 2014-09-12 2018-09-11 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Обучение dnn-студента посредством распределения вывода
US9990307B1 (en) 2014-10-29 2018-06-05 Netronome Systems, Inc. Split packet transmission DMA engine
EP3035204B1 (en) 2014-12-19 2018-08-15 Intel Corporation Storage device and method for performing convolution operations
EP3035249B1 (en) 2014-12-19 2019-11-27 Intel Corporation Method and apparatus for distributed and cooperative computation in artificial neural networks
US10223635B2 (en) 2015-01-22 2019-03-05 Qualcomm Incorporated Model compression and fine-tuning
CN104573064B (zh) * 2015-01-23 2017-12-08 四川中科腾信科技有限公司 一种大数据环境下的数据处理方法
US10234930B2 (en) * 2015-02-13 2019-03-19 Intel Corporation Performing power management in a multicore processor
CA2923600A1 (en) * 2015-03-12 2016-09-12 Staples, Inc. Review sentiment analysis
US10262190B2 (en) * 2015-03-26 2019-04-16 Beijing Kuangshi Technology Co., Ltd. Method, system, and computer program product for recognizing face
US9378044B1 (en) * 2015-03-28 2016-06-28 Vmware, Inc. Method and system that anticipates deleterious virtual-machine state changes within a virtualization layer
US9928144B2 (en) * 2015-03-30 2018-03-27 Commvault Systems, Inc. Storage management of data using an open-archive architecture, including streamlined access to primary data originally stored on network-attached storage and archived to secondary storage
FR3035243B1 (fr) * 2015-04-20 2018-06-29 Commissariat A L'energie Atomique Et Aux Energies Alternatives Placement d'une tache de calcul sur un processeur fonctionnellement asymetrique
US9965824B2 (en) * 2015-04-23 2018-05-08 Google Llc Architecture for high performance, power efficient, programmable image processing
US20160328644A1 (en) 2015-05-08 2016-11-10 Qualcomm Incorporated Adaptive selection of artificial neural networks
US20160335119A1 (en) 2015-05-12 2016-11-17 minds.ai inc Batch-based neural network system
US10083395B2 (en) * 2015-05-21 2018-09-25 Google Llc Batch processing in a neural network processor
US9595002B2 (en) * 2015-05-29 2017-03-14 Sas Institute Inc. Normalizing electronic communications using a vector having a repeating substring as input for a neural network
CN106203619B (zh) * 2015-05-29 2022-09-13 三星电子株式会社 数据优化的神经网络遍历
US20160350653A1 (en) * 2015-06-01 2016-12-01 Salesforce.Com, Inc. Dynamic Memory Network
US20160358069A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Neural network suppression
CN106250981B (zh) * 2015-06-10 2022-04-01 三星电子株式会社 减少存储器访问和网络内带宽消耗的脉冲神经网络
US20160378491A1 (en) 2015-06-26 2016-12-29 Microsoft Technology Licensing, Llc Determination of target location for transfer of processor control
US10275001B2 (en) 2015-06-26 2019-04-30 Intel Corporation Thermal throttling of electronic devices
US20160379109A1 (en) * 2015-06-29 2016-12-29 Microsoft Technology Licensing, Llc Convolutional neural networks on hardware accelerators
US11244225B2 (en) 2015-07-10 2022-02-08 Samsung Electronics Co., Ltd. Neural network processor configurable using macro instructions
EP3680820B1 (en) 2015-10-04 2021-12-01 Atomwise Inc. Method for applying a convolutional network to spatial data
CN106503796B (zh) * 2015-10-08 2019-02-12 上海兆芯集成电路有限公司 多运算神经网络单元
US11029949B2 (en) * 2015-10-08 2021-06-08 Shanghai Zhaoxin Semiconductor Co., Ltd. Neural network unit
US10471594B2 (en) * 2015-12-01 2019-11-12 Kindred Systems Inc. Systems, devices, and methods for the distribution and collection of multimodal data associated with robots
CN105488563A (zh) * 2015-12-16 2016-04-13 重庆大学 面向深度学习的稀疏自适应神经网络、算法及实现装置
US10007519B2 (en) * 2015-12-22 2018-06-26 Intel IP Corporation Instructions and logic for vector bit field compression and expansion
US11232085B2 (en) * 2016-01-07 2022-01-25 Amazon Technologies, Inc. Outlier detection for streaming data
CN107578099B (zh) * 2016-01-20 2021-06-11 中科寒武纪科技股份有限公司 计算装置和方法
US10565207B2 (en) * 2016-04-12 2020-02-18 Hsilin Huang Method, system and program product for mask-based compression of a sparse matrix
CN106203624B (zh) * 2016-06-23 2019-06-21 上海交通大学 基于深度神经网络的矢量量化系统及方法
CN106204468B (zh) * 2016-06-27 2019-04-26 深圳市未来媒体技术研究院 一种基于ReLU卷积神经网络的图像去噪方法
US10528864B2 (en) * 2016-08-11 2020-01-07 Nvidia Corporation Sparse convolutional neural network accelerator
WO2018058452A1 (zh) * 2016-09-29 2018-04-05 北京中科寒武纪科技有限公司 一种执行人工神经网络运算的装置和方法
US10296292B2 (en) * 2016-10-20 2019-05-21 Advanced Micro Devices, Inc. Dynamic variable precision computation
CN106530200B (zh) 2016-10-23 2020-01-07 深圳大学 一种基于深度学习模型的隐写图像检测方法及系统
CN106529670B (zh) * 2016-10-27 2019-01-25 中国科学院计算技术研究所 一种基于权重压缩的神经网络处理器、设计方法、芯片
US9959498B1 (en) 2016-10-27 2018-05-01 Google Llc Neural network instruction set architecture
US10067710B2 (en) * 2016-11-23 2018-09-04 Advanced Micro Devices, Inc. Detecting buffer overflows in general-purpose GPU applications
US10037490B2 (en) * 2016-12-13 2018-07-31 Google Llc Performing average pooling in hardware
US20180164866A1 (en) * 2016-12-13 2018-06-14 Qualcomm Incorporated Low-power architecture for sparse neural network
US10169296B2 (en) * 2016-12-30 2019-01-01 Intel Corporation Distributed matrix multiplication for neural networks
US10402527B2 (en) 2017-01-04 2019-09-03 Stmicroelectronics S.R.L. Reconfigurable interconnect
US10096134B2 (en) * 2017-02-01 2018-10-09 Nvidia Corporation Data compaction and memory bandwidth reduction for sparse neural networks
US10333549B1 (en) * 2017-03-08 2019-06-25 iDensify LLC System and components for encoding integers
US10909447B2 (en) 2017-03-09 2021-02-02 Google Llc Transposing neural network matrices in hardware
US10795836B2 (en) 2017-04-17 2020-10-06 Microsoft Technology Licensing, Llc Data processing performance enhancement for neural networks using a virtualized data iterator
US10671349B2 (en) * 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US20190081637A1 (en) * 2017-09-08 2019-03-14 Nvidia Corporation Data inspection for compression/decompression configuration and data type determination
KR20190066473A (ko) * 2017-12-05 2019-06-13 삼성전자주식회사 뉴럴 네트워크에서 컨볼루션 연산을 처리하는 방법 및 장치
US20200250842A1 (en) * 2019-01-31 2020-08-06 Samsung Electronics Co., Ltd. Method and apparatus with convolution neural network processing
US11671111B2 (en) * 2019-04-17 2023-06-06 Samsung Electronics Co., Ltd. Hardware channel-parallel data compression/decompression
CN112465129B (zh) * 2019-09-09 2024-01-09 上海登临科技有限公司 片内异构人工智能处理器

Also Published As

Publication number Publication date
CN110520846B (zh) 2023-07-28
US11182667B2 (en) 2021-11-23
US20180300607A1 (en) 2018-10-18
CN110546654B (zh) 2024-03-29
EP3612946B1 (en) 2023-12-06
EP3612989B1 (en) 2024-05-29
CN116909985A (zh) 2023-10-20
US20210232904A1 (en) 2021-07-29
CN110678843A (zh) 2020-01-10
US11750212B2 (en) 2023-09-05
WO2018194851A1 (en) 2018-10-25
CN110520846A (zh) 2019-11-29
WO2018194849A1 (en) 2018-10-25
CL2019002864A1 (es) 2020-03-06
WO2018194994A2 (en) 2018-10-25
EP3612942A1 (en) 2020-02-26
RU2019136750A3 (zh) 2021-12-22
WO2018194995A1 (en) 2018-10-25
PH12019550191A1 (en) 2020-06-29
US11030131B2 (en) 2021-06-08
AU2018256212B2 (en) 2022-08-11
US20180300613A1 (en) 2018-10-18
WO2018194996A1 (en) 2018-10-25
US20180300603A1 (en) 2018-10-18
EP3612934A1 (en) 2020-02-26
US20180300606A1 (en) 2018-10-18
EP3612942B1 (en) 2021-03-03
US11256976B2 (en) 2022-02-22
EP3612989A1 (en) 2020-02-26
CN110520909B (zh) 2021-03-19
US10795836B2 (en) 2020-10-06
WO2018194845A1 (en) 2018-10-25
EP3612990B1 (en) 2022-04-27
CN110546654A (zh) 2019-12-06
WO2018194848A1 (en) 2018-10-25
CA3056660A1 (en) 2018-10-25
MY201868A (en) 2024-03-21
CN110520853A (zh) 2019-11-29
RU2019136750A (ru) 2021-05-18
EP3612936B1 (en) 2023-10-18
WO2018194940A1 (en) 2018-10-25
KR102596644B1 (ko) 2023-10-31
US20180299943A1 (en) 2018-10-18
US11176448B2 (en) 2021-11-16
US20180300605A1 (en) 2018-10-18
EP3612988A2 (en) 2020-02-26
US20200356500A1 (en) 2020-11-12
WO2018194993A1 (en) 2018-10-25
CN116909984A (zh) 2023-10-20
US20180300617A1 (en) 2018-10-18
US11341399B2 (en) 2022-05-24
WO2018194988A1 (en) 2018-10-25
US11205118B2 (en) 2021-12-21
CN110520856B (zh) 2023-03-31
EP3612945A1 (en) 2020-02-26
CN110520857A (zh) 2019-11-29
US20180300602A1 (en) 2018-10-18
US11528033B2 (en) 2022-12-13
US20180300601A1 (en) 2018-10-18
ZA201905874B (en) 2020-11-25
WO2018194846A1 (en) 2018-10-25
US20180300614A1 (en) 2018-10-18
US20180300615A1 (en) 2018-10-18
AU2018256212A1 (en) 2019-09-19
CN110546628B (zh) 2023-10-20
WO2018194939A1 (en) 2018-10-25
US10628345B2 (en) 2020-04-21
US11405051B2 (en) 2022-08-02
CN110506260B (zh) 2023-09-22
EP3612947A1 (en) 2020-02-26
US11909422B2 (en) 2024-02-20
CO2019011014A2 (es) 2019-10-21
US20200233820A1 (en) 2020-07-23
EP3612946A1 (en) 2020-02-26
IL269888B (en) 2022-04-01
EP3612936A1 (en) 2020-02-26
EP3612945B1 (en) 2024-05-29
NZ756870A (en) 2023-07-28
US20230071352A1 (en) 2023-03-09
CN110546611A (zh) 2019-12-06
US11476869B2 (en) 2022-10-18
CN110537194B (zh) 2023-07-07
WO2018194998A1 (en) 2018-10-25
CN110546628A (zh) 2019-12-06
US20180300616A1 (en) 2018-10-18
CN110506260A (zh) 2019-11-26
CN110537194A (zh) 2019-12-03
EP3613026B1 (en) 2021-05-26
CN110520870B (zh) 2023-07-14
JP2020517014A (ja) 2020-06-11
KR102663557B1 (ko) 2024-05-03
SG11201909175XA (en) 2019-11-28
CN110582785A (zh) 2019-12-17
US11100390B2 (en) 2021-08-24
CN110520853B (zh) 2023-08-15
US10540584B2 (en) 2020-01-21
CN110520909A (zh) 2019-11-29
CN110582785B (zh) 2024-02-27
EP3612991B1 (en) 2023-12-13
EP3612948A1 (en) 2020-02-26
BR112019021541A2 (pt) 2020-05-12
JP7004741B2 (ja) 2022-01-21
US11100391B2 (en) 2021-08-24
EP3613026A1 (en) 2020-02-26
US20180300634A1 (en) 2018-10-18
RU2767447C2 (ru) 2022-03-17
US20180300633A1 (en) 2018-10-18
US10963403B2 (en) 2021-03-30
EP3612947B1 (en) 2023-09-06
EP3612991A1 (en) 2020-02-26
CN110520857B (zh) 2023-07-28
KR20190141694A (ko) 2019-12-24
US20180300604A1 (en) 2018-10-18
CN110546610A (zh) 2019-12-06
EP3612990A1 (en) 2020-02-26
CN110520856A (zh) 2019-11-29
EP3612937A1 (en) 2020-02-26
WO2018194847A1 (en) 2018-10-25
KR20230152828A (ko) 2023-11-03
CN110546611B (zh) 2023-05-02
EP3612933A1 (en) 2020-02-26
US11010315B2 (en) 2021-05-18
US11722147B2 (en) 2023-08-08
CN110520870A (zh) 2019-11-29
MX2019012388A (es) 2020-01-23
WO2018194850A1 (en) 2018-10-25
US20220147833A1 (en) 2022-05-12
CN110678843B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN110546610B (zh) 通过数据共享和分配增强人工智能/机器硬件的处理性能
US11487342B2 (en) Reducing power consumption in a neural network environment using data management
US11507349B2 (en) Neural processing element with single instruction multiple data (SIMD) compute lanes
CN118153639A (zh) 用于增强数据处理的系统、方法及神经网络处理器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant