CN110546628B - 用有向线缓冲器最小化存储器读取提高神经网络环境性能 - Google Patents

用有向线缓冲器最小化存储器读取提高神经网络环境性能 Download PDF

Info

Publication number
CN110546628B
CN110546628B CN201880025415.0A CN201880025415A CN110546628B CN 110546628 B CN110546628 B CN 110546628B CN 201880025415 A CN201880025415 A CN 201880025415A CN 110546628 B CN110546628 B CN 110546628B
Authority
CN
China
Prior art keywords
data
line buffer
neural network
computer
network environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880025415.0A
Other languages
English (en)
Other versions
CN110546628A (zh
Inventor
G·彼得
C·B·麦克布赖德
A·A·安巴德卡
K·D·塞多拉
B·博布罗夫
L·M·瓦尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110546628A publication Critical patent/CN110546628A/zh
Application granted granted Critical
Publication of CN110546628B publication Critical patent/CN110546628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G06F13/1673—Details of memory controller using buffers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/324—Power saving characterised by the action undertaken by lowering clock frequency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3275—Power saving in memory, e.g. RAM, cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0207—Addressing or allocation; Relocation with multidimensional access, e.g. row/column, matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0862—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with prefetch
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10—Address translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G06F13/1689—Synchronisation and timing concerns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8007—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors single instruction multiple data [SIMD] multiprocessors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30076—Arrangements for executing specific machine instructions to perform miscellaneous control operations, e.g. NOP
    • G06F9/30087—Synchronisation or serialisation instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3854—Instruction completion, e.g. retiring, committing or graduating
    • G06F9/3858—Result writeback, i.e. updating the architectural state or memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3887—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by a single instruction for multiple data lanes [SIMD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5033—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering data affinity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3066—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction by means of a mask or a bit-map
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
    • H03M7/3088—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method employing the use of a dictionary, e.g. LZ78
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/46—Conversion to or from run-length codes, i.e. by representing the number of consecutive digits, or groups of digits, of the same kind by a code word and a digit indicative of that kind
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6005—Decoder aspects
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6011—Encoder aspects
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6058—Saving memory space in the encoder or decoder
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/70—Type of the data to be coded, other than image and sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/02—Topology update or discovery
    • H04L45/04—Interdomain routing, e.g. hierarchical routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/50—Routing or path finding of packets in data switching networks using label swapping, e.g. multi-protocol label switch [MPLS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/484—Precedence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/485—Resource constraint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/60—Details of cache memory
    • G06F2212/6026—Prefetching based on access pattern detection, e.g. stride based prefetch
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/65—Details of virtual memory and virtual address translation
    • G06F2212/657—Virtual address space management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/466—Transaction processing
    • G06F9/467—Transactional memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Neurology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Advance Control (AREA)
  • Memory System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Power Sources (AREA)
  • Bus Control (AREA)
  • Complex Calculations (AREA)
  • Multi Processors (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Input (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

神经网络(NN)和/或深度神经网络(DNN)的性能可以受到正在执行的操作的数目以及NN/DNN的各种存储器组件中间的数据管理的限制。使用可操作地在数据块中插入要处理的一个或多个移位比特的有向线缓冲器，可以优化对线缓冲器的数据读/写以便由NN/DNN进行处理，从而增强NN/DNN的整体性能。可操作地，操作控制器和/或迭代器能够生成具有所计算的(多个)移位比特的一个或多个指令，以用于传送到线缓冲器。说明性地，可以使用输入数据的各种特性以及包括数据维度的NN/DNN来计算(多个)移位比特。线缓冲器可以读取用于处理的数据，插入移位比特并将数据写入线缓冲器中以供(多个)协作处理单元进行后续处理。

Description

用有向线缓冲器最小化存储器读取提高神经网络环境性能
背景技术
在人工神经网络(NN)中，神经元是用于对大脑中的生物神经元建模的基本单位。人工神经元的模型包括输入向量的内积，其中权重向量被添加到应用了非线性的偏差。对于深度神经网络(DNN)(例如，如由示例性DNN模块表示的)，可以将神经元紧密地映射到人工神经元。
在处理跨NN或DNN的数据时，需要执行示例性处理操作的控制器对大量数据进行迭代，以便应用特定操作。这样的要求可能会影响整个NN或DNN性能，从而导致损害期望的指定处理目标(例如，标识示例性输入数据中的对象和/或对象特性——图像、声音、地理坐标等)的关键时延。通常，一些现有的NN和DNN在执行各种操作时会花费可避免的处理时间(例如，每秒浮点/定点操作(GFlops/s))和存储器空间(例如，每秒传输的字节数(GBytes/s))，各种操作包括对NN/DNN的各种协作存储器组件(例如，线(line)缓冲器)的存储器读取和写入。具体地，当前的实践并未标识输入/数据的关键特征和/或未向NN或DNN的协作组件提供有关如何最佳地管理/指示协作NN或DNN存储器组件(包括线缓冲器)中的输入数据的读/写操作的指令，以避免此类性能问题。与NN或DNN中低效率的数据处理相关联的性能影响的部分原因是NN或DNN的神经处理组件中间的数据低效处理。这种低效的数据管理和处理需要附加的、通常是可避免的计算/神经处理器操作，从而进一步给整体NN/DNN性能带来压力。
一种更有利的NN/DNN将部署指令集，该指令集指示NN/DNN的协作存储器组件，特别是线缓冲器，基于指定的数据维度(例如，逻辑数据模型中表示的数据大小、数据连续性等)可操作地计算和插入一个或多个移位比特，其将在数据处理周期期间最小化对协作存储器组件的读取和写入的数目。可操作地，一个或多个移位比特可以允许将数据作为单个连续数据块写入(并随后读取)，从而允许减少的存储器操作。
相对于这些考虑和其他考虑，提出了本文的公开内容。
发明内容
本文所描述的技术提供了将在示例性神经网络(NN)和/或深度神经网络(DNN)环境中使用的一个或多个硬件迭代器的虚拟化，其中有向线缓冲器可操作地允许处理数据，其改进整体性能并优化存储器管理。在说明性实现中，示例性DNN环境可以包括一个或多个处理块(例如，计算机处理单元-CPU)，存储器控制器，线缓冲器，高带宽结构(例如，本地或外部结构)(例如，数据总线在DNN环境的示例性DNN模块与协作组件之间传递数据和/或数据元素)，操作控制器和DNN模块。在说明性实现中，示例性DNN模块可以包括示例性DNN状态控制器，描述符列表控制器(DLC)，dMA(DDMA)，DMA流激活(DSA)，操作控制器，负载控制器和存储控制器。
在说明性操作中，NN/DNN环境的操作控制器可以可操作地处理大量数据，以便应用一个或多个期望的数据处理操作(例如，卷积，最大池化，标量乘法/加法，求和，完全连接，等等)。在说明性操作中，参与的用户可以指定正被处理的数据的维度，以及有关如何通过使用有向线缓冲器(例如，一种具有一个或多个指令以插入一个或多个计算出的移位比特的线缓冲器)来处理供NN/DNN计算环境使用的数据的配置。
在说明性实现中，将由NN/DNN环境处理的数据可以被表示为blob。通常，blob表示存储器中需要迭代的数据。每个blob可以维持由各种维度(诸如宽度，高度，通道数，内核数和其他可用维度单位)定义的逻辑映射形状。在说明性操作中，操作控制器可以遍历多维blob(例如，由逻辑数据映射定义)或此类blob的较小N维切片，其中N是维数(例如，对于表示具有宽度、高度和通道数的图像的3D blob-N＝3)(例如，使用一个或多个硬件或虚拟迭代器)。遍历的blob可以利用一条或多条指令被传送到协作的线缓冲器，以管理线缓冲器内遍历的数据的读/写。
说明性地，线缓冲器可以在所遍历的数据上可操作地插入一个或多个移位比特，其可以最小化线缓冲器在其操作期间要执行的数据写入的数目。可以构造线缓冲器以将数据存储在预定义数目的行(row)/线(line)(例如64行，线)中，该行/线可以接收行/线中间的所选择的数据量(例如，可以为线缓冲器的每条线接收32个字节的数据)。线缓冲器可以操作以基于输入数据的特性(例如步幅值，连续性，高度，宽度，内核等)使用一个或多个计算的移位比特来移位输入数据(例如，如果步幅的值为0，那么线缓冲器的线可以具有相同的数据，而如果步幅的值为1，则数据可以被移位1以允许线缓冲器内更有效的读/写操作)。可以为每组输入数据计算出所计算的一个或多个移位比特，以允许生成到线缓冲器的一个或多个指令，用以从协作存储器或协作组件(例如，迭代器–硬件或虚拟)读取，插入适当量的所计算的一个或多个移位比特，以及将数据写入线缓冲器。
可操作地，线缓冲器的列(column)可以代表示例性处理周期，其中数据被一个或多个协作处理单元消费(例如，线缓冲器可以支持16列，其代表16个数据周期以供神经元对其进行操作)。线缓冲器还可以维持从协作存储器单元加载的输入数据的两个副本(例如，主副本和阴影副本)。主副本可以用来自NN/DNN环境的其他协作组件(例如，迭代器-硬件和/或虚拟迭代器)的数据来填充，并且其他协作组件可以对其他副本(例如，阴影副本)进行操作(例如，处理单元/神经元可以对阴影副本进行操作，消费阴影副本中的数据)。可操作地，一旦主副本达到其最大存储容量并消费了阴影副本，则可以将主副本数据移至阴影副本，并且NN/DNN协作组件(例如迭代器)可以开始用下一组数据填充主副本。
应当理解，尽管关于系统进行了描述，但是上述主题内容还可以被实现为计算机控制的装置，计算机过程，计算系统或诸如计算机可读介质和/或专用芯片组的制品。通过阅读以下详细描述并回顾相关联附图，这些和各种其他特征将变得明显。提供本发明内容以简化形式介绍一些概念，这些概念将在下面的详细描述中进一步描述。
本发明内容既不旨在标识所要求保护的主题内容的关键特征或必要特征，也不旨在用以限制所要求保护的主题内容的范围。此外，所要求保护的主题内容不限于解决在本公开的任何部分中指出的任何或所有缺点的实现。
附图说明
参照附图描述详细描述。在附图中，附图标记的最左边的(多个)数字标识该附图标记首次出现的附图。不同附图中的相同附图标记表示相似或相同的项目。对多个项目中的单独项目的引用可以使用带有字母序列中的字母的附图标记来引用每个单独项目。对项目的通用引用可以使用不带字母序列的特定附图标记。
图1图示了根据本文描述的系统和方法的示例性神经网络计算环境的框图。
图2图示了利用有向线缓冲器的示例性神经网络环境的框图。
图3图示了根据本文描述的系统和方法的在说明性逻辑数据映射中表示的示例性输入数据的框图。
图4图示了在说明性逻辑数据映射中表示的示例性输入数据的框图，该说明性逻辑数据映射示出了对说明性n个滑动窗口的使用，说明性n个滑动窗口可操作以跨越说明性逻辑数据映射的一条或多条线。
图5图示了在说明性逻辑数据映射中表示的示例性输入数据的框图，该说明性逻辑数据映射根据本文描述的系统和方法示出了对说明性n个滑动窗口的使用，说明性n个滑动窗口可操作以跨越说明性逻辑数据映射的一条或多条线，可操作以允许数据填充作为处理增强。
图6图示了在说明性逻辑数据映射中表示的示例性输入数据的框图，该逻辑数据映射根据本文描述的系统和方法示出了使用移位比特以允许在有向线缓冲器内进行连续的存储器读/写操作。
图7是根据本文描述的系统和方法的用于在示例性神经网络环境中使用有向线缓冲器处理数据的说明性过程的流程图。
图8示出了用于能够执行本文描述的方法的计算机的说明性计算机架构的附加细节。
图9示出了根据本文描述的系统和方法进行协作的说明性计算设备的附加细节。
具体实施方式
以下详细说明描述了在示例性神经网络(NN)和/或深度神经网络(DNN)环境中利用有向线(line)缓冲器的技术，其中有向线缓冲器可操作地允许处理数据，处理数据改进了总体性能并优化了存储器管理。在说明性实现中，示例性DNN环境可以包括一个或多个处理块(例如，计算机处理单元-CPU)，存储器控制器，线缓冲器，高带宽结构(例如，本地或外部结构)(例如，数据总线在DNN环境的示例性DNN模块与协作组件之间传递数据和/或数据元素)，操作控制器和DNN模块。在说明性实现中，示例性DNN模块可以包括示例性DNN状态控制器，描述符列表控制器(DLC)，dMA(DDMA)，DMA流激活(DSA)，操作控制器，负载控制器和存储控制器。出于本文描述的系统和方法的目的，可以在神经网络(NN)和/或深度神经网络(NN)中实现发明构思。当在本公开中提及神经网络(NN)时，还应意味着包括并可适用于深度神经网络(DNN)。
在说明性操作中，NN/DNN环境的操作控制器可以可操作地处理大量数据，以便应用一个或多个期望的数据处理操作(例如，卷积，最大池化，标量乘法/加法，求和，完全连接，等等)。在说明性操作中，参与的用户可以指定正被处理的数据的维度，以及有关如何通过使用有向线缓冲器(例如，具有一个或多个指令以插入一个或多个计算出的移位比特的线缓冲器)来处理供NN/DNN计算环境使用的数据的配置。
在说明性实现中，将由NN/DNN环境处理的数据可以被表示为blob。通常，blob表示存储器中需要迭代的数据。每个blob可以维持由各种维度(例如宽度，高度，通道数，内核数和其他可用维度单位)定义的逻辑映射形状。在示例性操作中，操作控制器可以遍历多维blob(例如，由逻辑数据映射定义)或此类blob的较小N维切片，其中N是维数(例如，对于表示具有宽度、高度和通道数的图像的3D blob-N＝3)(例如，使用一个或多个硬件或虚拟迭代器)。遍历的blob可以利用一个或多个指令被传送到协作的线缓冲器，以管理线缓冲器内遍历的数据的读/写。
说明性地，线缓冲器可以在所遍历的数据上可操作地插入一个或多个移位比特，其可以最小化线缓冲器在其操作期间要执行的数据写入的数目。可以构造线缓冲器以将数据存储在预定义数目的行(row)/线(line)(例如64行，线)中，该行/线可以接收行/线中间的所选择的数据量(例如，可以为线缓冲器的每条线接收32个字节的数据)。线缓冲器可以操作以基于输入数据的特性(例如步幅值，连续性，高度，宽度，内核等)使用一个或多个计算的移位比特来移位输入数据(例如，如果步幅的值为0，那么线缓冲器的线可以具有相同的数据，而如果步幅的值为1，则数据可以被移位1以允许线缓冲器内更有效的读/写操作)。可以为每组输入数据计算出所计算的移位比特，以允许生成到线缓冲器的一个或多个指令，用以从协作存储器或协作组件(例如，迭代器–硬件或虚拟)读取，并插入适当量的所计算的移位一个或多个比特，以及将数据写入线缓冲器。
可操作地，线缓冲器的列(column)可以代表示例性处理周期，其中数据被一个或多个协作处理单元消费(例如，线缓冲器可以支持16列，其代表16个数据周期以供神经元对其进行操作)。线缓冲器还可以维持从协作存储器单元加载的输入数据的两个副本(例如，主副本和阴影副本)。主副本可以用来自NN/DNN环境的其他协作组件(例如，迭代器–硬件和/或虚拟迭代器)的数据来填充，并且其他协作组件可以对其他副本(例如，阴影副本)进行操作(例如，处理单元/神经元可以对阴影副本进行操作，消费阴影副本中的数据)。可操作地，一旦主副本达到其最大存储容量并消费了阴影副本，则可以将主副本数据移至阴影副本，并且NN/DNN协作组件(例如迭代器)可以开始用下一组数据填充主副本。
通常，可以使用线缓冲器以在每个处理周期期间占据神经元的速率向NN/DNN的一个或多个处理单元(例如，处理神经元)提供输入。可以将示例性NN/DNN中的数据存储在逻辑数据映射的行(例如，blob)中。这样，说明性线缓冲器的大小可以取决于神经元的数目、blob的宽度、沿着blob的宽度的步幅以及blob的填充量。
线缓冲器的同时读取和写入可以导致处理低效率，因为当线缓冲器达到其存储容量时，线缓冲器通常可操作地被流水线传输到数据的阴影副本中。可操作地，可以在线缓冲器达到其最大存储容量时创建副本。此外，可以指示协作神经元从阴影副本中读取，从而提高处理效率。
在DNN芯片的示例性架构中，线缓冲器可以被表示为分级存储器。作为分级存储器，它可以操作以在其中加载一个或多个协作神经元(例如，处理单元)可以取回以执行期望的处理的数据。说明性地，可以将一个或多个协作神经元连接到线缓冲器中的一个或多个行，以便克服物理或处理方面的限制。线缓冲器可以可操作地从存储器块加载数据，并将数据从该存储器块写入与一个或多个神经元相关联的一个或多个行。这样的操作可以通过在将数据从存储块传递到线缓冲器中的下一行之前使用计算出的比特数来移位存储块的数据来实现。这样，可操作地，这允许线缓冲器执行从协作存储块的单次读取，以及对线缓冲器中多个位置的多次写入。这种方法使我们大大减少从存储器中读取的次数，并减少写入线缓冲器所需的周期数量。
神经网络背景：
在人工神经网络中，神经元是用于对大脑中的生物神经元建模的基本单位。人工神经元的模型可以包括输入向量的内积，其中将权重向量添加到偏置中并应用了非线性。相比之下，在示例性DNN模块中的神经元(例如，图1的105)被紧密映射到人工神经元。
说明性地，可以将DNN模块视为超标量处理器。可操作地，它可以将一个或多个指令调度到多个执行单元，称为神经元。执行单元可以是“同时调度同时完成”，其中每个执行单元都与所有其他执行单元同步。DNN模块可以分类为SIMD(单指令流，多数据流)架构。
转到图1的示例性DNN环境100，DNN模块105具有存储器子系统，该存储器子系统具有唯一的L1和L2缓存结构。这些不是传统的高速缓存，而是专门为神经处理而设计的。为了方便起见，这些缓存结构已经采用了反映其预期目的的名称。通过示例，L2高速缓存150可以说明性地用以所选择频率(例如每秒十六吉比特(16GBps))操作的高速专用接口来维持所选择的存储容量(例如，一兆字节(1MB))。L1高速缓存可以维持所选择的存储容量(例如，八千字节(8KB))，其可以在内核数据和激活数据之间进行分配。L1高速缓存可以称为线缓冲器，而L2高速缓存可以称为BaSRAM。
DNN模块可以是仅召回的神经网络，并以编程方式支持多种网络结构。可以在服务器场或数据中心中离线进行网络的训练；DNN模块不执行任何训练函数。训练的结果是一组可以称为权重或内核的参数。这些参数表示可以应用于输入的变换函数，其结果是分类或语义标记的输出。
在说明性操作中，DNN模块可以接受平面数据作为输入。输入不仅限于图像数据，只要呈现的数据是统一的平面格式，DNN就可以对其进行操作。
DNN模块在对应于神经网络各层的层描述符列表上进行操作。说明性地，DNN模块可以将层描述符列表视为指令。这些描述符可以从存储器被预取到DNN模块中，并按顺序执行。
通常，层描述符可以有两种主要类别：1)存储器到存储器移动描述符，以及2)操作描述符。存储器到存储器移动描述符可以被用来将数据移至主存储器/从主存储器移至本地高速缓存/从本地高速缓存移出，以供操作描述符消费。存储器到存储器的移动描述符所遵循的执行流水线与操作描述符不同。存储器到存储器移动描述符的目标流水线可以是内部DMA引擎，而操作描述符的目标流水线可以是神经元处理元件。操作描述符能够执行许多不同的层操作。
DNN的输出也是数据的blob。可选地，可以将输出流式传输到本地高速缓存或流式传输到主存储器。DNN模块可以在软件允许的范围内预取数据。软件可以通过使用隔离和设置描述符之间的依赖关系来控制预取。具有依赖关系集合的描述符在满足依赖关系之前被阻止进行。
现在转到图1，示例性神经网络环境100可以包括各种协作组件，包括DNN模块105，高速缓存存储器125或150，低带宽结构110，桥接组件115，高带宽结构120，SOC 130，PCIE“断点”135，Tensilica(泰思立达)节点140，存储器控制器145，LPDDR4存储器155和输入数据源102。此外，如图所示，DNN模块105还可以包括多个组件，包括预取105(A)，DMA 105(B)，寄存器接口105(D)，加载/存储单元105(C)，层控制器105(D)，保存/恢复组件105(E)和神经元105(F)。可操作地，示例性DNN环境100可以根据所选规范来处理数据，其中DNN模块执行此处所述的一个或多个函数。
图2图示了示例性神经网络环境200，其可操作以采用有向线缓冲器220作为数据处理的一部分。如图所示，示例性神经网络环境200(在本文中也称为计算设备或计算设备环境)包括一个或多个操作控制器230，其与线缓冲器220协作以提供一个或多个指令用于数据处理。线缓冲器220可以操作以通过外部结构230和结构215从协作的外部存储器组件225接收数据，以及可以操作以从(多个)迭代器240(例如，基于硬件和/或虚拟化的迭代器)接收一个或多个指令/命令。来自迭代器240的指令/命令可以包括从协作存储器组件读取数据的命令或指令和/或将从协作存储器组件加载的数据写入线缓冲器的指令。可操作地，线缓冲器220可以根据从一个或多个操作控制器235(在本文中也称为“协作控制器组件235”)接收的一个或多个指令，将所计算的一个或多个移位比特插入数据中，并将移位后的数据写入线缓冲器220中。此外，线缓冲器220可以与(多个)处理单元(例如，(多个)神经元)协作以提供写入的经比特移位的数据以用于进一步处理。神经网络环境结构可以是能够传递各种数据的数据总线。有向缓冲器可以被认为是一种能够根据一个或多个所接收到的指令读取和写入数据和/或数据元素的存储器组件。
在说明性操作中，示例性神经网络环境200可以根据图7中描述的过程可操作地处理数据。特定于图2中描述的组件，这些组件仅是说明性的，如本领域的普通技术人员将理解的是，图6和图7中描述的处理将由除图2所图示的组件之外的其他组件执行。
而且，如图2所示，示例性神经网络环境可以可选地包括一个或多个迭代器(例如，基于硬件的和/或虚拟化的迭代器)(如虚线所示)，其可以说明性地操作以迭代输入数据(未示出)以由一个或多个神经元处理器205进行处理。本领域技术人员应当理解，示例性一个或多个迭代器的这种可选包括仅是示例性的，因为本文公开的系统和方法所描述的发明构思在示例性神经网络环境200中可操作而无需任何迭代器。
图3图示了用于示例性输入数据的示例性逻辑数据映射300。如图所示，数据305可以被表示为具有特定维度340的数据(例如，使得整体上可以认为数据维度可以定义数据卷(volume))，维度340包括通道计数310，高度315和宽度320。根据本文描述的系统和方法，可以通过协作n个神经元330来对数据305进行分部和准备以进行处理，以便将第一部分a传送给第一神经元，将第二部分b传送给第二神经元，依此类推，直到将n个部分传送给n个神经元为止。
在说明性操作中，基于由示例性神经网络环境(例如，图2的200)的协作控制器组件提供的一个或多个指令，可以使用n个滑动窗口/内核325来确定数据305的各部分。进一步如图所示，输入数据部分a，b，c和d可以使用示例性神经网络环境(例如，图2的200)的协作操作控制器组件(235)提供的一个或多个初始化参数被寻址到物理存储器325。
图4图示了示例性输入数据(未示出)的示例性逻辑数据映射400。示例性逻辑数据映射400包括第一线410(用对角线标记图示)和第二线420(以虚线示出)。每个地图线可以包括多个滑动窗口(例如，第一线410为430、440和450，第二线420为460、470和480)。另外，如图所示，逻辑数据映射400示出了滑动窗口跨越输入数据的数据维度边界(例如，跨越第一线410和第二线420)的能力。这种能力允许提高性能，因为可以更有效地准备更多数据以用于由协作神经网络处理组件(例如，图2的205)的后续处理。
图5类似于图4，并且被呈现为描述本文描述的系统和方法的能力，以允许使用填充以进一步增强示例性神经网络环境(例如，图1的100和图2的200)的性能特性。如图所示，逻辑数据映射500(未示出的示例性输入数据的逻辑数据映射)可以包括跨过一条或多条线(例如510和520)的各种滑动窗口(530、540、550、560、570和580)。另外，逻辑数据映射500还可以包括填充580。
在示例性操作中，在示例性神经网络环境(图1的100或图2的200)的运行时，可以动态添加填充580。图2的操作控制器230可以指定输入数据(例如，blob)的、要在图3所示的每个维度340上使用的填充量(例如，使得共同采取的维度可以被认为是数据卷)，并且神经网络环境(例如，迭代器控制器指令)可以可操作地构造数据卷，就好像填充物理存在于存储器中一样。还可以通过示例性神经网络环境(例如，迭代器控制器指令)在添加了填充的迭代器输出位置中生成默认值。
图6是示例性线缓冲器数据600的框图。如图6所示，示例性线缓冲器数据600可以包括线缓冲器数据600的限制逻辑映射605。逻辑映射可以包括高度和宽度以及数据元素(605(0)，605(1)，605(2)，605(3)，605(4)，605(5)，605(6)，605(7)，605(8)，605(9)，605(10)，605(11)，605(12)，605(13)，605(14)，605(15)，605(16)，605(17)，605(18)，605(19)，605(20)，605(21)，605(22)，605(23)，605(24)，605(25)，605(26)等)。可以在逻辑映射中将示例性数据元素存储在行610、615和620中，并且可以使用n个滑动窗口对其进行迭代。线缓冲器数据600也可以被表示为具有连续数据块的未拆开的(unraveled)逻辑映射625，该连续数据块具有单独的数据段630和635。各个数据段可表示跨线缓冲器的一个或多个行/线存储的数据量。此外，如图6所示，每个未拆开的数据段630和635可以包括一个或多个滑动窗口(例如2x2)640，其可以导致附加的所需线缓冲器写入操作，而该写入操作直接影响示例性神经网络环境的整体性能。滑动窗口640可以通过执行一个或多个比特移位操作来解决这些不希望的结果。在说明性实现中，线缓冲器数据600可以包括从协作数据存储库和/或协作迭代器组件取回的数据。
此外，如图6所示，示例性线数据600可以物理地被存储在说明性线缓冲器存储块680中。示例性线缓冲器存储块680可以包括多个存储位置(例如680(0)，680(1)，680(2)，680(3)，680(4)，680(5)，680(6)，680(7)，680(8)，680(9)，680(10)，680(11)，680(12)，680(13)，680(14)，680(15)等)。如图6所示，根据一个或多个数据移位操作，示例性线缓冲器存储器块680可以可操作地用于存储有向线缓冲器数据(例如，根据一个或多个接收的指令由示例性数据操纵的数据)。
在说明性实现中，并且如图6所示，可以根据单个移位操作685将示例性线缓冲器数据600存储为数据卷积过程的一部分。在单个移位操作中，可以将计算出的一个或多个移位比特650插入线缓冲器存储器块位置八(8)和九(9)，以允许拆开线缓冲器数据600，并且可以导致意外写入线缓冲器中的多余数据。要插入的所计算的比特的数目可以根据加载数据的特性而变化。为了消除该附加的线缓冲器写入操作，可以执行双移位操作660。如图所示，在双移位操作中，数据以线缓冲器数据的元素的周期数目(例如，每9个元素)移位了所计算的比特量(例如，所计算的比特的数目可以根据加载数据的特性而变化)，该周期数目允许对数据进行连续的单次写入(例如，排除任何多余的数据)。
图7是说明性过程700的流程图，该说明性过程700利用有向线缓冲器来最小化NN/DNN环境中的存储器读取。如图所示，处理开始于框705，其中一个或多个初始化参数从神经网络环境的协作组件(例如，操作控制器)被接收，在神经网络环境中，该一个或多个初始化参数可以包括代表针对输入数据的维度的数据以及代表输入数据的行之间的数据块的所计算的非连续性的数据。然后，处理进行到框710，其中用以移位所取回的数据的比特数目可以使用该一个或多个初始化参数来计算，以生成一个或多个有向线缓冲器写入指令。
处理进行到框715，其中可以从神经网络环境的协作存储器存储库和/或协作迭代器组件中取回数据。然后在框720，将数据写入与一个或多个处理单元相关联的线缓冲器的一个或多个行。可以根据所生成的有向线缓冲器写入指令(LBWI)写入数据。LBWI可以包括一个或多个指令，以将数据写入线缓冲器中，该数据根据框705的所接收到的初始化参数被移位一个或多个所计算的位，其导致将输入数据单次写入线缓冲器中。在说明性实现中，可以基于输入数据的维度来计算并插入一个以上移位比特。可操作地，可以首先为数据(例如，连续数据)插入(多个)第一移位比特，然后可以为该数据插入其他(多个)移位比特(例如，以处理不连续数据)，从而使得最少量的数据写入到线缓冲器。说明性地，这种操作可以被认为是双移位操作，其中，通过示例，对于连续数据集，数据可以被移位一个比特，然后在数据中出现的不连续性的每个实例处被移位两个比特。
然后，处理进行到框725，其中将经比特移位的数据传送到一个或多个处理单元(例如，(多个)神经元)以用于后续数据处理。然后，经处理的数据可以充当神经网络环境和/或协作计算环境的一个或多个协作组件的输入。可以显示此类输出以供参与用户进行交互。
说明性地，如图3所描绘的，示例性逻辑数据映射协议可以将二维平面文件类型数据可操作地呈现为多维特征数据，使得可以将输入数据可视化地表示为具有特定高度，宽度，深度(例如，通道数)，深度切片(例如，内核数)的blob。该逻辑数据映射允许使用滑动窗口来关联输入数据的一个或多个数据元素以用于迭代操作。说明性地，滑动窗口可以跨越两条逻辑映射的输入数据宽度线。
然后在框735，执行检查以确定是否存在要处理的附加输入数据(即，作为迭代操作的一部分)。如果没有附加输入数据，则处理在框740处终止。然而，如果附加输入数据需要迭代操作，则处理然后返回到框705并从那里进行。
图8所图示的计算机架构800包括中央处理单元802(“CPU”)，系统存储器804(包括随机存取存储器806(“RAM”)和只读存储器(“ROM”)808)，以及将存储器804耦合到CPU 802的系统总线810。一个包含有助于在计算机架构800内的元件之间传输信息的基本例程的基本输入/输出系统(诸如在启动期间)被存储在ROM 808中。计算机架构800还包括大容量存储设备812，用于存储操作系统814，其他数据以及一个或多个应用程序。
大容量存储设备812通过连接到总线810的大容量存储控制器(未示出)被连接到CPU 802。大容量存储设备812及其关联的计算机可读介质为计算机架构800提供了非易失性存储装置。尽管此处包含的计算机可读介质的描述是指大容量存储设备，诸如固态驱动器、硬盘或CD-ROM驱动器，但本领域技术人员应该理解，计算机可读介质可以是计算机架构800可以访问的任何可用的计算机存储介质或通信介质。
通信介质包括计算机可读指令、数据结构、程序模块或经调制的数据信号(诸如载波或其他运输机制)中的其他数据，并且包括任何递送介质。术语“经调制的数据信号”是指具有以将信息编码在信号中的方式来改变或设置其一个或多个特性的信号。通过示例而非限制，通信介质包括诸如有线网络或直接有线连接之类的有线介质，以及诸如声学，RF，红外和其他无线介质之类的无线介质。以上任何内容的组合也应被包括在计算机可读介质的范围内。
通过示例而非限制，计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质，诸如计算机可读指令，数据结构，程序模块或其他数据。例如，计算机介质包括但不限于RAM，ROM，EPROM，EEPROM，闪存或其他固态存储器技术，CD-ROM，数字多功能磁盘(“DVD”)，HD-DVD，BLU-RAY或其他光学存储装置，磁带盒，磁带，磁盘存储装置或其他磁性存储设备，或任何其他可以用于存储期望信息并且可以由计算机架构800可访问的介质。出于权利要求的目的，短语“计算机存储介质”，“计算机可读存储介质”及其变体本身不包括波、信号和/或其他瞬态和/或无形的通信介质。
根据各种技术，计算机架构800可以通过网络820和/或另一网络(未示出)，使用到远程计算机805的逻辑连接在联网环境中操作。计算机架构800可以通过连接到总线810的网络接口单元816连接到网络820。应当理解，网络接口单元816也可以用于连接到其他类型的网络和远程计算机系统。计算机架构800还可以包括输入/输出控制器818，用于接收和处理来自多个其他设备的输入，其他设备包括键盘，鼠标或电子触笔(图8中未示出)。类似地，输入/输出控制器818可以将输出提供给显示屏，打印机或其他类型的输出设备(也在图8中未示出)。还应当理解，经由通过网络接口单元816到网络820的连接，计算架构可以使DNN模块105能够与计算环境100通信。
应当理解，本文描述的软件组件可以在被加载到CPU 802和/或DNN模块105中并被执行时，将CPU 802和/或DNN模块105以及整个计算机架构800从通用计算系统变换为专用计算系统，该专用计算系统被定制以便于此处呈现的功能性。CPU 802和/或DNN模块105可以由任何数目的晶体管或其他分立电路元件和/或芯片组构成，其可以单独或共同地呈现任何数目的状态。更具体地，响应于本文所公开的软件模块内包含的可执行指令，CPU 802和/或DNN模块105可以作为有限状态机操作。这些计算机可执行指令可以通过指定CPU 802如何在状态之间转变来对CPU 802进行变换，从而对构成CPU 802的晶体管或其他分立的硬件元素进行变换。
对本文呈现的软件模块进行编码也可以变换本文呈现的计算机可读介质的物理结构。在本说明书的不同实现中，物理结构的特定变换可以取决于各种因素。这样的因素的示例可以包括但不限于：用于实现计算机可读介质的技术，计算机可读介质被表征为主存储装置还是辅助存储装置等。例如，如果计算机可读介质被实现为基于半导体的存储器，则本文中公开的软件可以通过变换半导体存储器的物理状态而被编码在计算机可读介质上。例如，软件可以变换构成半导体存储器的晶体管、电容器或其他分立电路元件的状态。该软件还可以变换这些组件的物理状态，以便在其上存储数据。
作为另一示例，可以使用磁性或光学技术来实现本文所公开的计算机可读介质。在这样的实现中，当本文呈现的软件在磁性或光学介质中被编码时，该软件可以变换磁性或光学介质的物理状态。这些变换可以包括更改给定磁性介质内特定位置的磁性特性。这些变换还可以包括更改给定光学介质内特定位置的物理特征或特性，以改变那些位置的光学特性。在不脱离本说明书的范围和精神的情况下，物理介质的其他变换是可能的，其中提供前述示例仅是为了便于该讨论。
鉴于以上内容，应当理解，在计算机架构800中发生了许多类型的物理变换，以便存储和执行本文呈现的软件组件。还应当理解，计算机架构800可以包括其他类型的计算设备，包括手持式计算机，嵌入式计算机系统，个人数字助理以及本领域技术人员已知的其他类型的计算设备。还预期计算机架构800可以不包括图8所示的所有组件，可以包括未在图8中明确示出的其他组件，或者可以利用与图8中示出的架构完全不同的架构。
如上所述的计算系统800可以被部署为计算机网络的一部分。通常，以上对计算环境的描述适用于部署在网络环境中的服务器计算机和客户端计算机两者。
图9图示了示例性说明性的联网计算环境900，其中服务器经由通信网络与客户端计算机进行通信，其中可以采用本文所述的装置和方法。如图9所示，(多个)服务器905可以经由通信网络820(其可以是固定有线或无线LAN，WAN，内联网，外联网，对等网络，虚拟专用网，互联网，蓝牙通信网络，专有低电压通信网络，或其他通讯网络中的任一者或者是其组合)与多个客户端计算环境互连，客户端计算环境诸如平板个人计算机910，移动电话915，电话920，(多个)个人计算机801，个人数字助理925，智能电话手表/个人目标跟踪器(例如Apple手表，三星，FitBit等)930，以及智能电话935。例如，在通信网络820是互联网的网络环境中，(多个)服务器905可以是专用计算环境服务器，该服务器可操作以经由多种已知协议中的任何一种来处理和传送去往和来自客户端计算环境801、910、915、920、925、930、935的数据，已知协议诸如超文本传输协议(HTTP)，文件传输协议(FTP)，简单对象访问协议(SOAP)或无线应用协议(WAP)。另外，联网计算环境900可以利用各种数据安全协议，诸如安全套接字层(SSL)或非常好的保密性(PGP)。每个客户端计算环境801、810、815、820、825、830和835可以配备有操作系统814，其可操作以支持一个或多个计算应用或终端会话，诸如web浏览器(未示出)，其他图形用户界面(未示出)或移动桌面环境(未示出)，以访问(多个)服务器计算环境905。
(多个)服务器905可以被通信地耦合到其他计算环境(未示出)，并且接收关于参与用户的交互/资源网络的数据。在说明性操作中，用户(未示出)可以与在(多个)客户端计算环境上运行的计算应用交互，以获得期望的数据和/或计算应用。数据和/或计算应用可以被存储在(多个)服务器计算环境905上，并通过示例性通信网络820上的客户端计算环境901、910、915、920、925、930和935被传送到协作用户。参与用户(未示出)可以请求访问全部或部分容纳在(多个)服务器计算环境905上的特定数据和应用。这些数据可以在客户端计算环境801、910、915、920、925、930、935与(多个)服务器计算环境905之间被传送以用于处理和存储。(多个)服务器计算环境905可以托管用于数据和应用的生成、认证、加密以及通信的计算应用、过程和小应用，并且可以与其他服务器计算环境(未示出)、第三方服务提供者(未示出)、网络附加存储装置(NAS)和存储区域网络(SAN)协作以实现应用/数据事务。
示例条款
可以根据以下条款考虑本文呈现的公开内容。
示例条款A，一种用于在神经网络环境中使用一个或多个虚拟化硬件迭代器进行增强的数据处理的系统，该系统包括：至少一个处理器，至少一个线缓冲器，其可操作以执行读取和/或写入数据，以及与至少一个处理器通信的至少一个存储器，该至少一个存储器具有存储在其上的计算机可读指令，该计算机可读指令在由至少一个处理器执行时使至少一个处理器：从神经网络环境的协作控制器组件接收一个或多个初始化参数，该初始化参数包括代表要由神经网络环境处理的数据的维度的数据和代表数据的一个或多个行之间的一个或多个数据元素的一个或多个不连续性的数据，从神经网络环境的协作存储器组件加载数据，根据初始化参数计算代表比特数，以移位数据的一个或多个数据元素，根据一个或多个初始化参数，从神经网络环境的协作控制器组件接收一个或多个指令，以将一个或多个移位比特插入到经加载的数据中，以生成有向线缓冲器数据，并且将有向线缓冲器数据写入线缓冲器，并将线缓冲器中的被写入的数据传送到神经网络环境中的一个或多个处理组件以用于处理。
示例条款B，示例条款A的系统，其中一个或多个移位比特的插入导致在至少一个线缓冲器中对有向线缓冲器数据的单次写入。
示例性条款C，示例性条款A和B的系统，其中计算机可读指令还使至少一个处理器将由协作迭代器遍历的数据传送到线缓冲器。
示例条款D，示例条款A到C的系统，其中计算机可读指令还使至少一个处理器利用一个或多个滑动窗口遍历数据，窗口可操作以选择数据卷的一个或多个数据元素作为被传送到一个或多个处理组件的一个或多个部分。
示例性条款E，示例性条款A至D的系统，其中计算机可读指令还使至少一个处理器使用跨越经加载的数据的数据维度边界的一个或多个滑动窗口来遍历经加载的数据。
示例条款F，示例性条款A至E的系统，其中计算机可读指令还使至少一个处理器将一个或多个数据填充插入到经加载的数据。
示例条款G，示例性条款A至F的系统，其中计算机可读指令还使线缓冲器中的被写入的数据的副本用于由神经网络环境的一个或多个处理组件处理。
示例条款H，一种计算机实现的方法，包括：从神经网络环境的协作控制器组件接收一个或多个初始化参数，该初始化参数包括代表要由神经网络环境处理的数据的维度的数据和代表数据的一个或多个行之间的一个或多个数据元素的一个或多个不连续性的数据，从神经网络环境的协作存储器组件加载数据，由神经网络环境的协作迭代器组件根据所选择的迭代操作迭代经加载的数据，根据初始化参数计算代表比特数的移位比特，以移位数据的一个或多个数据元素，根据一个或多个初始化参数，从神经网络环境的协作控制器组件接收一个或多个指令，以将一个或多个移位比特插入到经加载的数据中，以生成有向线缓冲器数据，并且将有向线缓冲器数据写入线缓冲器中，以及将线缓冲器中的被写入的数据传送到神经网络环境的一个或多个处理组件以用于处理。
示例条款I，示例条款H的计算机实现方法，其中经加载的数据的一个或多个部分是不相等的部分。
示例条款J，示例条款H和I的计算机实现方法，其中滑动窗口可操作以跨越数据的数据维度边界。
示例条款K，示例条款H至J的计算机实现方法，还包括：将填充子卷插入到经加载的数据中，经加载的数据由从协作控制器组件接收到的一个或多个指令以及由所接收的一个或多个初始化参数定义。
示例条款L，示例条款H至K的计算机实现的方法，还包括：生成被写入的有向线缓冲器数据的副本。
示例条款M，示例条款H至K的计算机实现的方法，还包括：由神经网络环境的一个或多个协作处理单元处理被写入的有向线缓冲数据的经生成的副本。
示例条款N，示例条款H至M的计算机实现的方法，还包括：清除被写入的有向线缓冲器数据的线缓冲器，以接收附加有向线缓冲器数据以用于写入线缓冲器中。
示例条款O，示例条款H至N的计算机实现的方法，还包括：将有向线缓冲器数据写入线缓冲器中所选择数目的行中，其中线缓冲器的每条线与神经网络环境的协作处理单元相关联。
示例条款P，一种存储有计算机可执行指令的计算机可读存储介质，计算机可执行指令在由计算设备的一个或多个处理器执行时使该计算设备的一个或多个处理器：从神经网络环境的协作控制器组件接收一个或多个初始化参数，该初始化参数包括代表要由神经网络环境处理的数据维度的数据和代表数据的一个或多个行的一个或多个数据元素之间的一个或多个不连续性的数据，从神经网络环境的协作存储器组件加载数据，由神经网络环境的协作迭代器组件根据所选择的迭代操作迭代经加载的数据，根据初始化参数计算代表比特数的移位比特，以移位数据的一个或多个数据元素，从神经网络环境的协作控制器组件接收一个或多个指令，以将一个或多个移位比特插入到经加载的数据中，以生成有向线缓冲器数据，并且将有向线缓冲器数据写入在线缓冲器的一条或多条线中，其中线缓冲器的一条或多条线与神经网络环境的一个或多个处理组件相关联，以及将线缓冲器的一条或多条线中的被写入的数据传送到神经网络环境的一个或多个处理组件以用于处理，该一个或多个处理组件与线缓冲器的一条或多条线相关联。
示例条款Q，示例条款P的计算机可读存储介质，其中指令还使计算设备的一个或多个处理器将附加数据卷插入经加载的数据。
示例条款R，示例条款P和Q的计算机可读存储介质，其中指令还使计算设备的一个或多个处理器从代表所计算的移位比特的初始化参数中取回步幅值。
示例条款S，示例条款P至R的计算机可读存储介质，其中指令还使计算设备的一个或多个处理器根据所选择的处理周期数来处理被写入的有向线缓冲器数据，其中所选择的处理周期数基于线缓冲器列的数目。
示例条款T，示例条款P至S的计算机可读存储介质，其中指令还使计算设备的一个或多个处理器利用经加载的数据的逻辑数据映射来遍历经加载的数据，遍历经加载的数据包括将一个或多个滑动窗口应用于逻辑数据映射以将经加载的数据的部分与一个或多个物理存储器地址相关联。
示例条款U，示例条款P至T的计算机可读介质，其中存储器组件与物理传感器协作，该物理传感器能够产生包括音频数据、视频数据、触觉感觉数据和其他数据的输入数据，以用于由一个或多个协作处理单元进行后续处理。
示例条款V，示例条款P至U的计算机可读介质，其中协作处理单元与一个或多个输出物理组件电子地协作，该一个或多个输出物理组件可操作以接收人类交互的经处理的输入数据，输入数据包括音频数据、视频数据、触觉感觉数据和其他数据。
示例条款W，示例条款P至V的计算机可读介质，其中计算连续的针对经加载的数据的连续的第一移位比特值和针对经加载的数据的不连续的另一移位比特值。
示例条款X，示例条款P至W的计算机可读介质，还包括：首先根据所计算的第一移位比特值来移位经加载的数据，然后根据另一移位比特值来移位经加载的数据。
结论
总之，尽管已经以特定于结构特征和/或方法动作的语言描述了各种技术，但是应当理解，所附表示中限定的主题内容不必限于所描述的特定特征或动作。而是，特定特征和动作被公开为实现所要求保护的主题内容的示例形式。

Claims (24)

1.一种用于在神经网络环境中使用一个或多个虚拟化硬件迭代器进行增强的数据处理的系统，所述系统包括：
至少一个处理器；
至少一个线缓冲器，所述至少一个线缓冲器可操作以读取和/或写入数据；以及
与所述至少一个处理器通信的至少一个存储器，所述至少一个存储器具有存储在其上的计算机可读指令，所述计算机可读指令在由所述至少一个处理器执行时使所述至少一个处理器：
从所述神经网络环境的协作控制器组件接收一个或多个初始化参数，所述初始化参数指示要由所述神经网络环境处理的所述数据的维度和代表所述数据的一个或多个行之间的一个或多个数据元素的一个或多个不连续性的数据；
从所述神经网络环境的协作存储器组件加载要由所述神经网络环境处理的所述数据；
根据所述初始化参数计算代表比特数的移位比特，以移位所述数据的所述一个或多个数据元素，以使能所述数据的连续的单次写入；
向经加载的所述数据插入一个或多个数据填充；
根据所述一个或多个初始化参数，从所述神经网络环境的所述协作控制器组件接收一个或多个指令，以将一个或多个移位比特插入到经加载的数据中，以生成有向线缓冲器数据，并且将所述有向线缓冲器数据写入所述至少一个线缓冲器中，其中对于连续数据，数据移位一比特，并且在所述数据中出现的所述不连续性的每个不连续性处，数据移位两比特以允许拆开数据并且消除至少一个线缓冲器中的多余数据写入；以及
将填充子卷插入到由接收到的一个或多个指令和由所述初始化参数定义的经加载的所述数据中；以及
将所述至少一个线缓冲器中的被写入的所述有向线缓冲数据传送到所述神经网络环境的至少一个处理器以用于处理，其中要移位的比特数是根据所述线缓冲器数据的元素的周期数目计算的，所述周期数目允许所述数据的连续的单次写入数据。
2.根据权利要求1所述的系统，其中所述一个或多个移位比特的所述插入导致在所述至少一个线缓冲器中对所述有向线缓冲器数据的单次写入。
3.根据权利要求1所述的系统，其中所述计算机可读指令还使所述至少一个处理器将由协作迭代器遍历的数据传送到所述线缓冲器。
4.根据权利要求3所述的系统，其中所述计算机可读指令还使所述至少一个处理器利用一个或多个滑动窗口来遍历所述数据，所述窗口可操作以选择所述数据元素的一个或多个数据元素。
5.根据权利要求4所述的系统，其中所述计算机可读指令还使所述至少一个处理器使用跨越所述经加载的数据的数据维度边界的一个或多个滑动窗口来遍历所述经加载的数据。
6.根据权利要求1所述的系统，其中所述计算机可读指令还使所述至少一个处理器将一个或多个数据填充插入到所述经加载的数据。
7.根据权利要求1所述的系统，其中所述计算机可读指令还使所述至少一个线缓冲器中的被写入的所述有向线缓存器数据的副本被所述神经网络环境的所述一个或多个虚拟化硬件迭代器创建和访问。
8.一种计算机实现的方法，包括：
从神经网络环境的协作控制器组件接收一个或多个初始化参数，所述初始化参数指示要由所述神经网络环境处理的数据的维度和代表所述数据的一个或多个行之间的一个或多个数据元素的一个或多个不连续性的数据；
从所述神经网络环境的协作存储器组件加载要由所述神经网络环境处理的所述数据；
由所述神经网络环境的协作迭代器组件根据所选择的迭代操作迭代经加载的数据；
根据所述初始化参数计算代表比特数的移位比特，以移位所述数据的所述一个或多个数据元素，以使能所述数据的连续的单次写入；
向经加载的所述数据插入一个或多个数据填充；
根据所述一个或多个初始化参数，从所述神经网络环境的所述协作控制器组件接收一个或多个指令，以将所述移位比特中的一个或多个移位比特插入到所述经加载的数据中，以生成有向线缓冲器数据，并且将所述有向线缓冲器数据写入线缓冲器中，其中对于连续数据，数据移位一比特，并且在所述数据中出现的所述不连续性的每个不连续性处，数据移位两比特以允许拆开数据并且消除至少一个线缓冲器中的多余数据写入；以及
将填充子卷插入到由接收到的一个或多个指令和由所述初始化参数定义的经加载的所述数据中；以及
将所述线缓冲器中的被写入的所述有向线缓冲数据传送到所述神经网络环境的一个或多个处理组件以用于处理，其中要移位的比特数是根据所述线缓冲器数据的元素的周期数目计算的，所述周期数目允许所述数据的连续的单次写入数据。
9.根据权利要求8所述的计算机实现的方法，其中所述一个或多个移位比特的插入导致在所述至少一个线缓冲器中对所述有向线缓冲器数据的单次写入。
10.根据权利要求8所述的计算机实现的方法，还包括利用一个或多个滑动窗口来遍历所述数据，其中滑动窗口可操作以跨越所述数据的数据维度边界。
11.根据权利要求8所述的计算机实现的方法，还包括：
将填充子卷插入到所述经加载的数据中，所述经加载的数据由从所述协作控制器组件接收到的所述一个或多个指令以及所接收的所述一个或多个初始化参数来定义。
12.根据权利要求8所述的计算机实现的方法，还包括：
生成被写入的有向线缓冲器数据的副本。
13.根据权利要求12所述的计算机实现的方法，还包括：
由所述神经网络环境的一个或多个协作处理单元处理被写入的所述有向线缓冲器数据的经生成的所述副本。
14.根据权利要求8所述的计算机实现的方法，还包括：
清除被写入的所述有向线缓冲器数据的所述线缓冲器，以接收附加的有向线缓冲器数据以用于写入所述线缓冲器中。
15.根据权利要求8所述的计算机实现的方法，还包括：将所述有向线缓冲器数据写入所述线缓冲器中的所选择数目的线中，其中所述线缓冲器的每条线与所述神经网络环境的协作处理单元相关联。
16.一种计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令在由计算设备的一个或多个处理器执行时使得所述计算设备的所述一个或多个处理器：
从神经网络环境的协作控制器组件接收一个或多个初始化参数，所述初始化参数指示要由所述神经网络环境处理的数据的维度和代表所述数据的一个或多个行之间的一个或多个数据元素的一个或多个不连续性的数据；
从所述神经网络环境的协作存储器组件加载要由所述神经网络环境处理的所述数据；
由所述神经网络环境的协作迭代器组件根据所选择的迭代操作迭代经加载的数据；
根据所述初始化参数计算代表比特数的移位比特，以移位所述数据的所述一个或多个数据元素，以使能所述数据的连续的单次写入；
向经加载的所述数据插入一个或多个数据填充；
从所述神经网络环境的所述协作控制器组件接收一个或多个指令，以将所述移位比特中的一个或多个移位比特插入到所述经加载的数据中，以生成有向线缓冲器数据，并且将所述有向线缓冲器数据写入线缓冲器中的一条或多条线，其中所述线缓冲器的一条或多条线与所述神经网络环境的一个或多个处理组件相关联，其中对于连续数据，数据移位一比特，并且在所述数据中出现的所述不连续性的每个不连续性处，数据移位两比特以允许拆开数据并且消除至少一个线缓冲器中的多余数据写入；以及
将填充子卷插入到由接收到的一个或多个指令和由所述初始化参数定义的经加载的所述数据中；以及
将所述线缓冲器的所述一条或多条线中的被写入的所述有向线缓冲数据传送到所述神经网络环境的一个或多个处理组件以用于处理，所述一个或多个处理组件与所述线缓冲器的所述一条或多条线相关联，其中要移位的比特数是根据所述线缓冲器数据的元素的周期数目计算的，所述周期数目允许所述数据的连续的单次写入数据。
17.根据权利要求16所述的计算机可读存储介质，其中所述指令还使所述计算设备的所述一个或多个处理器：
将附加数据卷插入所述经加载的数据。
18.根据权利要求17所述的计算机可读存储介质，其中所述指令还使所述计算设备的所述一个或多个处理器：
从代表所计算的所述移位比特的所述初始化参数中取回步幅值。
19.根据权利要求16所述的计算机可读存储介质，其中所述指令还使所述计算设备的所述一个或多个处理器：
根据所选择的处理周期数来处理被写入的所述有向线缓冲器数据，其中所述所选择的处理周期数基于线缓冲器列的数目。
20.根据权利要求16所述的计算机可读存储介质，其中所述指令还使所述计算设备的所述一个或多个处理器：
利用所述经加载的数据的逻辑数据映射来遍历所述经加载的数据，所述经加载的数据的所述遍历包括将一个或多个滑动窗口应用于所述逻辑数据映射以将所述经加载的数据的部分与一个或多个物理存储器地址相关联。
21.根据权利要求16所述的计算机可读存储介质，其中所述存储器组件与物理传感器协作，所述物理传感器能够产生包括音频数据、视频数据、触觉感觉数据和其他数据的输入数据，以用于后续处理。
22.根据权利要求21所述的计算机可读存储介质，其中所述处理组件与一个或多个输出物理组件电子地协作，所述一个或多个输出物理组件可操作以接收用于人类交互的经处理的输入数据，所述经处理的输入数据包括音频数据、视频数据、触觉感觉数据和其他数据。
23.根据权利要求16所述的计算机可读存储介质，还包括计算针对所述经加载的数据的连续的第一移位比特值和针对所述经加载的数据的不连续的另一移位比特值。
24.根据权利要求23所述的计算机可读存储介质，还包括：首先根据所计算的第一移位比特值来移位所述经加载的数据，然后根据另一移位比特值来移位所述经加载的数据。
CN201880025415.0A 2017-04-17 2018-04-06 用有向线缓冲器最小化存储器读取提高神经网络环境性能 Active CN110546628B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762486432P 2017-04-17 2017-04-17
US62/486,432 2017-04-17
US15/786,514 US20180300602A1 (en) 2017-04-17 2017-10-17 Minimizing memory reads and increasing performance of a neural network environment using a directed line buffer
US15/786,514 2017-10-17
PCT/US2018/026355 WO2018194848A1 (en) 2017-04-17 2018-04-06 Minimizing memory reads and increasing performance of a neural network environment using a directed line buffer

Publications (2)

Publication Number Publication Date
CN110546628A CN110546628A (zh) 2019-12-06
CN110546628B true CN110546628B (zh) 2023-10-20

Family

ID=63790158

Family Applications (16)

Application Number Title Priority Date Filing Date
CN201880025503.0A Active CN110520853B (zh) 2017-04-17 2018-04-06 直接存储器访问的队列管理
CN202310874704.0A Pending CN116909985A (zh) 2017-04-17 2018-04-06 对数据分区的动态排序
CN201880024892.5A Active CN110506260B (zh) 2017-04-17 2018-04-06 用于神经网络环境中的增强数据处理的方法、系统和介质
CN201880025504.5A Active CN110520857B (zh) 2017-04-17 2018-04-06 使用虚拟化数据迭代器对神经网络进行数据处理性能增强
CN201880025244.1A Active CN110520856B (zh) 2017-04-17 2018-04-06 处理不邻近存储器作为邻近存储器以提高神经网络的性能
CN202310865940.6A Pending CN116909984A (zh) 2017-04-17 2018-04-06 使用虚拟化数据迭代器对神经网络进行数据处理性能增强
CN201880025417.XA Active CN110520846B (zh) 2017-04-17 2018-04-06 对数据分区的动态排序
CN201880025227.8A Active CN110520870B (zh) 2017-04-17 2018-04-06 用于具有动态向量长度和码本大小的高吞吐量向量去量化的灵活硬件
CN201880025415.0A Active CN110546628B (zh) 2017-04-17 2018-04-06 用有向线缓冲器最小化存储器读取提高神经网络环境性能
CN201880025488.XA Active CN110537194B (zh) 2017-04-17 2018-04-13 被配置用于层和操作防护和依赖性管理的功率高效的深度神经网络处理器及方法
CN201880025480.3A Active CN110546611B (zh) 2017-04-17 2018-04-16 通过跳过处理操作来减少神经网络处理器中的功耗
CN201880025126.0A Active CN110546610B (zh) 2017-04-17 2018-04-16 通过数据共享和分配增强人工智能/机器硬件的处理性能
CN201880025426.9A Active CN110678843B (zh) 2017-04-17 2018-04-16 在深度神经网络模块中动态划分工作负载以降低功率消耗
CN201880025508.3A Active CN110582785B (zh) 2017-04-17 2018-04-16 配置用于执行层描述符列表的具有功率效率的深度神经网络模块
CN201880025420.1A Active CN110520909B (zh) 2017-04-17 2018-04-16 使用激活数据的压缩和解压缩来减少存储器带宽利用率的神经网络处理器
CN201880025130.7A Active CN110546654B (zh) 2017-04-17 2018-04-16 通过构造接口的带宽控制来增强dnn模块的处理性能

Family Applications Before (8)

Application Number Title Priority Date Filing Date
CN201880025503.0A Active CN110520853B (zh) 2017-04-17 2018-04-06 直接存储器访问的队列管理
CN202310874704.0A Pending CN116909985A (zh) 2017-04-17 2018-04-06 对数据分区的动态排序
CN201880024892.5A Active CN110506260B (zh) 2017-04-17 2018-04-06 用于神经网络环境中的增强数据处理的方法、系统和介质
CN201880025504.5A Active CN110520857B (zh) 2017-04-17 2018-04-06 使用虚拟化数据迭代器对神经网络进行数据处理性能增强
CN201880025244.1A Active CN110520856B (zh) 2017-04-17 2018-04-06 处理不邻近存储器作为邻近存储器以提高神经网络的性能
CN202310865940.6A Pending CN116909984A (zh) 2017-04-17 2018-04-06 使用虚拟化数据迭代器对神经网络进行数据处理性能增强
CN201880025417.XA Active CN110520846B (zh) 2017-04-17 2018-04-06 对数据分区的动态排序
CN201880025227.8A Active CN110520870B (zh) 2017-04-17 2018-04-06 用于具有动态向量长度和码本大小的高吞吐量向量去量化的灵活硬件

Family Applications After (7)

Application Number Title Priority Date Filing Date
CN201880025488.XA Active CN110537194B (zh) 2017-04-17 2018-04-13 被配置用于层和操作防护和依赖性管理的功率高效的深度神经网络处理器及方法
CN201880025480.3A Active CN110546611B (zh) 2017-04-17 2018-04-16 通过跳过处理操作来减少神经网络处理器中的功耗
CN201880025126.0A Active CN110546610B (zh) 2017-04-17 2018-04-16 通过数据共享和分配增强人工智能/机器硬件的处理性能
CN201880025426.9A Active CN110678843B (zh) 2017-04-17 2018-04-16 在深度神经网络模块中动态划分工作负载以降低功率消耗
CN201880025508.3A Active CN110582785B (zh) 2017-04-17 2018-04-16 配置用于执行层描述符列表的具有功率效率的深度神经网络模块
CN201880025420.1A Active CN110520909B (zh) 2017-04-17 2018-04-16 使用激活数据的压缩和解压缩来减少存储器带宽利用率的神经网络处理器
CN201880025130.7A Active CN110546654B (zh) 2017-04-17 2018-04-16 通过构造接口的带宽控制来增强dnn模块的处理性能

Country Status (19)

Country Link
US (20) US10795836B2 (zh)
EP (14) EP3612989B1 (zh)
JP (1) JP7004741B2 (zh)
KR (2) KR102663557B1 (zh)
CN (16) CN110520853B (zh)
AU (1) AU2018256212B2 (zh)
BR (1) BR112019021541A2 (zh)
CA (1) CA3056660A1 (zh)
CL (1) CL2019002864A1 (zh)
CO (1) CO2019011014A2 (zh)
IL (1) IL269888B (zh)
MX (1) MX2019012388A (zh)
MY (1) MY201868A (zh)
NZ (1) NZ756870A (zh)
PH (1) PH12019550191A1 (zh)
RU (1) RU2767447C2 (zh)
SG (1) SG11201909175XA (zh)
WO (15) WO2018194849A1 (zh)
ZA (1) ZA201905874B (zh)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8515052B2 (en) 2007-12-17 2013-08-20 Wai Wu Parallel signal processing system and method
US10635969B2 (en) 2016-10-14 2020-04-28 International Business Machines Corporation Core utilization optimization by dividing computational blocks across cores
US10248906B2 (en) * 2016-12-28 2019-04-02 Intel Corporation Neuromorphic circuits for storing and generating connectivity information
US10795836B2 (en) 2017-04-17 2020-10-06 Microsoft Technology Licensing, Llc Data processing performance enhancement for neural networks using a virtualized data iterator
US11164071B2 (en) * 2017-04-18 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for reducing computational complexity of convolutional neural networks
EP3657398A1 (en) * 2017-05-23 2020-05-27 Shanghai Cambricon Information Technology Co., Ltd Weight quantization method for a neural network and accelerating device therefor
CN110502330A (zh) * 2018-05-16 2019-11-26 上海寒武纪信息科技有限公司 处理器及处理方法
US11514355B2 (en) * 2017-06-28 2022-11-29 General Electric Company Flat representation of machine learning model
KR102569086B1 (ko) * 2017-11-20 2023-08-22 상하이 캠브리콘 인포메이션 테크놀로지 컴퍼니 리미티드 태스크 병렬 처리 방법, 장치, 시스템, 기억 매체 및 컴퓨터 기기
EP3489865B1 (en) * 2017-11-22 2021-01-06 Commissariat à l'énergie atomique et aux énergies alternatives A stdp-based learning method for a network having dual accumulator neurons
US10747844B2 (en) * 2017-12-12 2020-08-18 Tesla, Inc. Systems and methods for converting a matrix input to a vectorized input for a matrix processor
US11995448B1 (en) * 2018-02-08 2024-05-28 Marvell Asia Pte Ltd Method and apparatus for performing machine learning operations in parallel on machine learning hardware
KR20190097930A (ko) * 2018-02-13 2019-08-21 삼성전자주식회사 채널 별 메모리 용량을 조절하는 메모리 장치 및 이를 포함하는 메모리 시스템
US10948966B1 (en) * 2018-03-07 2021-03-16 Facebook, Inc. Systems and methods for optimizing power usage for systems within quality-of-service constraints
US11126362B2 (en) * 2018-03-14 2021-09-21 International Business Machines Corporation Migrating storage data
CN109313673A (zh) * 2018-04-17 2019-02-05 深圳鲲云信息科技有限公司 网络模型的运行方法及相关产品
US10404276B1 (en) * 2018-04-27 2019-09-03 Nicira, Inc. Stable variable-length order-preserving encoding scheme
US20190340490A1 (en) * 2018-05-04 2019-11-07 Apple Inc. Systems and methods for assigning tasks in a neural network processor
US11016801B1 (en) 2018-05-22 2021-05-25 Marvell Asia Pte, Ltd. Architecture to support color scheme-based synchronization for machine learning
US10997510B1 (en) 2018-05-22 2021-05-04 Marvell Asia Pte, Ltd. Architecture to support tanh and sigmoid operations for inference acceleration in machine learning
US10360654B1 (en) * 2018-05-25 2019-07-23 Intel Corporation Software scoreboard information and synchronization
US10657087B2 (en) * 2018-05-31 2020-05-19 Toshiba Memory Corporation Method of out of order processing of scatter gather lists
US11561833B1 (en) * 2018-06-28 2023-01-24 Amazon Technologies, Inc. Allocation and placement of resources for network computation
WO2020032816A1 (en) * 2018-08-09 2020-02-13 Huawei Technologies Co., Ltd Device and method for compacting compressed and uncompressed data blocks
KR102519467B1 (ko) * 2018-08-28 2023-04-06 캠브리콘 테크놀로지스 코퍼레이션 리미티드 데이터 전처리 방법, 장치, 컴퓨터 설비 및 저장 매체
KR20200034499A (ko) * 2018-09-21 2020-03-31 삼성전자주식회사 메모리 장치와 통신하는 데이터 처리 장치 및 방법
US11295205B2 (en) * 2018-09-28 2022-04-05 Qualcomm Incorporated Neural processing unit (NPU) direct memory access (NDMA) memory bandwidth optimization
CN109359732B (zh) 2018-09-30 2020-06-09 阿里巴巴集团控股有限公司 一种芯片及基于其的数据处理方法
US20200117981A1 (en) * 2018-10-11 2020-04-16 International Business Machines Corporation Data representation for dynamic precision in neural network cores
KR20200053886A (ko) * 2018-11-09 2020-05-19 삼성전자주식회사 뉴럴 프로세싱 유닛, 뉴럴 프로세싱 시스템, 및 어플리케이션 시스템
CN109669774B (zh) * 2018-11-14 2020-12-08 新华三技术有限公司成都分公司 硬件资源的量化方法、编排方法、装置及网络设备
US11663001B2 (en) 2018-11-19 2023-05-30 Advanced Micro Devices, Inc. Family of lossy sparse load SIMD instructions
KR102107077B1 (ko) * 2018-11-20 2020-05-06 주식회사 아나패스 컨볼루션 신경망 추론에서 컨볼루션 연산을 수행하기 위한 라인 단위 메모리 관리 방법 및 그 추론 장치
US10990525B2 (en) * 2018-12-12 2021-04-27 Mipsology SAS Caching data in artificial neural network computations
US11342933B2 (en) * 2018-12-14 2022-05-24 Advanced Micro Devices, Inc. Lossy significance compression with lossy restoration
CN109657788A (zh) * 2018-12-18 2019-04-19 北京中科寒武纪科技有限公司 数据处理方法、装置及相关产品
CN109740735B (zh) * 2018-12-29 2020-12-29 百度在线网络技术（北京）有限公司 多神经网络输出方法及装置、服务器、计算机可读介质
CN109922007B (zh) * 2019-01-15 2022-04-01 西安仙农电子科技有限公司 一种基于卷积神经网络的负载均衡方法
CN111488114B (zh) * 2019-01-28 2021-12-21 北京灵汐科技有限公司 一种可重构的处理器架构及计算设备
US11687783B2 (en) * 2019-02-04 2023-06-27 International Business Machines Corporation L2-nonexpansive neural networks
US11625554B2 (en) 2019-02-04 2023-04-11 International Business Machines Corporation L2-nonexpansive neural networks
US11521014B2 (en) 2019-02-04 2022-12-06 International Business Machines Corporation L2-nonexpansive neural networks
US11036545B2 (en) * 2019-03-15 2021-06-15 Intel Corporation Graphics systems and methods for accelerating synchronization using fine grain dependency check and scheduling optimizations based on available shared memory space
CN111767078A (zh) * 2019-04-02 2020-10-13 上海寒武纪信息科技有限公司 数据运行方法、装置和相关产品
CN111782577B (zh) * 2019-04-04 2023-03-24 安徽寒武纪信息科技有限公司 数据处理装置及方法以及相关产品
CN109992225B (zh) * 2019-04-04 2022-02-22 中科寒武纪科技股份有限公司 数据输出方法及相关装置
KR20200119164A (ko) * 2019-04-09 2020-10-19 한국전자통신연구원 정보 처리 장치 및 그것에 포함된 신경망 연산 장치의 동작 방법
KR20200129957A (ko) * 2019-05-10 2020-11-18 삼성전자주식회사 피처맵 데이터에 대한 압축을 수행하는 뉴럴 네트워크 프로세서 및 이를 포함하는 컴퓨팅 시스템
US10504005B1 (en) * 2019-05-10 2019-12-10 Capital One Services, Llc Techniques to embed a data object into a multidimensional frame
US11204745B2 (en) * 2019-05-23 2021-12-21 Xilinx, Inc. Dataflow graph programming environment for a heterogenous processing system
US11175898B2 (en) * 2019-05-31 2021-11-16 Apple Inc. Compiling code for a machine learning model for execution on a specialized processor
KR20200139909A (ko) 2019-06-05 2020-12-15 삼성전자주식회사 전자 장치 및 그의 연산 수행 방법
CN114008636A (zh) * 2019-06-18 2022-02-01 高通股份有限公司 优化机器学习模型性能
US11403097B2 (en) 2019-06-26 2022-08-02 Intel Corporation Systems and methods to skip inconsequential matrix operations
US11461622B2 (en) * 2019-06-28 2022-10-04 Amazon Technologies, Inc. Dynamic code loading for multiple executions on a sequential processor
US11630770B2 (en) * 2019-07-11 2023-04-18 Meta Platforms Technologies, Llc Systems and methods for reading and writing sparse data in a neural network accelerator
US20210081806A1 (en) * 2019-09-13 2021-03-18 Latent AI, Inc. Using a runtime engine to facilitate dynamic adaptation of deep neural networks for efficient processing
US10915811B1 (en) 2019-09-18 2021-02-09 International Business Machines Corporation Intercalation cells for multi-task learning
US11475283B2 (en) * 2019-10-24 2022-10-18 Apple Inc. Multi dimensional convolution in neural network processor
KR20210053384A (ko) 2019-11-01 2021-05-12 삼성전자주식회사 스토리지 장치 및 스토리지 장치의 동작 방법
US11513799B2 (en) 2019-11-04 2022-11-29 Apple Inc. Chained buffers in neural network processor
KR20210065605A (ko) * 2019-11-27 2021-06-04 한국전자통신연구원 선인출 정보를 이용한 메모리 제어 방법 및 장치
CN111091184B (zh) * 2019-12-19 2022-03-22 浪潮(北京)电子信息产业有限公司 一种深度神经网络的量化方法、装置、电子设备及介质
CN111162792A (zh) * 2019-12-19 2020-05-15 深圳市航天泰瑞捷电子有限公司 一种电力负荷数据的压缩方法及装置
US11620516B2 (en) * 2019-12-23 2023-04-04 Arm Limited Specializing neural networks for heterogeneous systems
CN111178490B (zh) 2019-12-31 2021-08-24 北京百度网讯科技有限公司 数据输出方法、获取方法、装置和电子设备
CN111126589B (zh) * 2019-12-31 2022-05-20 昆仑芯(北京)科技有限公司 神经网络数据处理装置、方法和电子设备
KR102399197B1 (ko) 2020-01-17 2022-05-18 경희대학교 산학협력단 이상치 인지 근사적 코딩을 수행하는 전자 장치 그리고 그것의 동작 방법
US11023400B1 (en) 2020-01-20 2021-06-01 International Business Machines Corporation High performance DMA transfers in host bus adapters
US20210224191A1 (en) * 2020-01-22 2021-07-22 Alibaba Group Holding Limited Compression and decompression module in a cache controller for reducing off-chip data traffic
KR102498066B1 (ko) * 2020-02-20 2023-02-10 한국과학기술원 딥러닝 강화학습 가속기
KR20210108749A (ko) 2020-02-26 2021-09-03 삼성전자주식회사 가속기, 가속기의 동작 방법 및 이를 포함한 가속기 시스템
CN111431539B (zh) * 2020-03-04 2023-12-08 嘉楠明芯(北京)科技有限公司 一种神经网络数据的压缩方法、装置及计算机可读存储介质
CN111290979B (zh) * 2020-03-23 2021-08-17 优刻得科技股份有限公司 数据传输方法、装置及系统
CN111522643A (zh) * 2020-04-22 2020-08-11 杭州迪普科技股份有限公司 基于fpga的多队列调度方法、装置、计算机设备及存储介质
CN113592082A (zh) * 2020-04-30 2021-11-02 意法半导体股份有限公司 用于从人工神经网络分配中间数据的设备和方法
KR20210136476A (ko) * 2020-05-07 2021-11-17 삼성전자주식회사 쿼드 트리 방법의 파라미터들을 이용하여 압축하는 장치 및 방법
US20210377122A1 (en) * 2020-05-26 2021-12-02 Synopsys, Inc. Mixed-precision neural networks
GB202008299D0 (en) 2020-06-02 2020-07-15 Imagination Tech Ltd Manipulation of data in a memory
EP4169165A1 (en) * 2020-06-18 2023-04-26 InterDigital VC Holdings France, SAS Systems and methods for encoding/decoding a deep neural network
US11275701B2 (en) * 2020-06-24 2022-03-15 Qualcomm Incorporated Secure timer synchronization between function block and external SOC
CN111723053A (zh) * 2020-06-24 2020-09-29 北京航天数据股份有限公司 一种数据的压缩方法及装置、解压方法及装置
US20220004399A1 (en) * 2020-07-03 2022-01-06 Mediatek Inc. Dynamic loading neural network inference at dram/on-bus sram/serial flash for power optimization
CN111884658A (zh) * 2020-07-09 2020-11-03 上海兆芯集成电路有限公司 数据解压缩方法、数据压缩方法及卷积运算装置
US11720404B2 (en) * 2020-07-16 2023-08-08 Samsung Electronics Co., Ltd. Systems and methods for arbitrating access to a shared resource
JPWO2022014500A1 (zh) * 2020-07-17 2022-01-20
CN111858058A (zh) * 2020-07-24 2020-10-30 成都成信高科信息技术有限公司 基于并行计算的sgd负载均衡方法、装置及存储介质
FR3113158B1 (fr) * 2020-08-03 2024-04-05 Commissariat Energie Atomique Architecture de calcul systolique pour la mise en œuvre de réseaux de neurones artificiels traitant plusieurs types de convolutions
JP6835285B1 (ja) * 2020-09-15 2021-02-24 富士電機株式会社 データ圧縮方法、データ圧縮装置、データ圧縮プログラム、データ伸長方法、データ伸長装置およびデータ伸長プログラム
US11470004B2 (en) * 2020-09-22 2022-10-11 Advanced Micro Devices, Inc. Graded throttling for network-on-chip traffic
JP2022094508A (ja) 2020-12-15 2022-06-27 富士通株式会社 演算処理装置、演算処理方法および演算処理プログラム
TWI745227B (zh) * 2021-02-01 2021-11-01 國立陽明交通大學 用於進行原始服務端與外地服務端之間的第三方認證的通訊系統及方法
KR102298766B1 (ko) * 2021-02-15 2021-09-07 주식회사 딥이티 타겟 디바이스에 대한 딥러닝 모델 변환 장치 및 방법
US11256987B1 (en) * 2021-06-02 2022-02-22 SambaNova Systems, Inc. Memory efficient dropout, with reordering of dropout mask elements
JP2023018365A (ja) 2021-07-27 2023-02-08 富士通株式会社 情報処理プログラム、情報処理方法及び情報処理装置
US20230079975A1 (en) * 2021-09-10 2023-03-16 Arm Limited Power management for system-on-chip
WO2023075564A1 (ko) * 2021-11-01 2023-05-04 엘지전자 주식회사 피쳐 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
EP4191476A1 (en) * 2021-12-01 2023-06-07 Nokia Technologies Oy Machine learning accelerator
US11816364B2 (en) * 2022-01-13 2023-11-14 Microsoft Technology Licensing, Llc Performance evaluation of an application based on detecting degradation caused by other computing processes
CN114466082B (zh) * 2022-01-29 2024-01-09 上海阵量智能科技有限公司 数据压缩、数据解压方法、系统及人工智能ai芯片
US11720252B1 (en) * 2022-03-04 2023-08-08 Microsoft Technology Licensing, Llc Method and apparatus for compressing and decompressing sparse data sets
US20230350678A1 (en) * 2022-04-28 2023-11-02 Qualcomm Incorporated Instruction Set Architecture for Neural Network Quantization and Packing
WO2023250093A1 (en) * 2022-06-22 2023-12-28 Brainchip, Inc. Method and system for implementing temporal convolution in spatiotemporal neural networks
KR20240002346A (ko) * 2022-06-29 2024-01-05 삼성전자주식회사 Ai 부호화/복호화를 이용하여 영상을 처리하는 전자 장치 및 그 제어 방법
KR20240007495A (ko) * 2022-07-08 2024-01-16 리벨리온 주식회사 뉴럴 코어, 이를 포함하는 뉴럴 프로세싱 장치 및 뉴럴 프로세싱 장치의 데이터 로드 방법
CN115309349B (zh) * 2022-10-12 2023-01-20 深圳鲲云信息科技有限公司 深度学习的稀疏数据存储方法、计算机设备和存储介质
US11983128B1 (en) * 2022-12-16 2024-05-14 Amazon Technologies, Inc. Multidimensional and multiblock tensorized direct memory access descriptors

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261416A (ja) * 1999-03-09 2000-09-22 Nec Eng Ltd 二重化データ転送回路
US6449277B1 (en) * 1997-12-26 2002-09-10 Hyundai Electronics Industries, Co., Ltd. Interleaver for parallel 8 bit cell of ATM systems and a method therefor
CN1801121A (zh) * 2004-05-03 2006-07-12 微软公司 非易失性存储器高速缓存性能改进
CN101221541A (zh) * 2007-01-09 2008-07-16 张立军 用于soc的可编程通信控制器及其编程模型
US7764710B1 (en) * 2006-04-25 2010-07-27 Altera Corporation Method and apparatus for processing communication protocol frame input
JP2010238143A (ja) * 2009-03-31 2010-10-21 Brother Ind Ltd ノード装置、ノード処理プログラム及び検索方法
CN102460376A (zh) * 2009-06-26 2012-05-16 英特尔公司 无约束事务存储器（utm）系统的优化
CN103282891A (zh) * 2010-08-16 2013-09-04 甲骨文国际公司 用于使用神经网络来进行有效的缓存的系统和方法
CN104516832A (zh) * 2013-10-08 2015-04-15 国际商业机器公司 操作数据处理系统的方法、数据处理系统以及处理器
CN104573064A (zh) * 2015-01-23 2015-04-29 四川中科腾信科技有限公司 一种大数据环境下的数据处理方法
CN104714905A (zh) * 2013-12-12 2015-06-17 国际商业机器公司 用于执行从第一适配器到第二适配器的失效转移操作的方法和系统
WO2016171909A1 (en) * 2015-04-23 2016-10-27 Google Inc. Architecture for high performance, power efficient, programmable image processing

Family Cites Families (182)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4298954A (en) 1979-04-30 1981-11-03 International Business Machines Corporation Alternating data buffers when one buffer is empty and another buffer is variably full of data
JPH0642237B2 (ja) 1983-12-28 1994-06-01 株式会社日立製作所 並列処理装置
EP0340901A3 (en) * 1988-03-23 1992-12-30 Du Pont Pixel Systems Limited Access system for dual port memory
EP0334624A3 (en) * 1988-03-23 1993-03-31 Du Pont Pixel Systems Limited Microcoded computer system
US5056015A (en) * 1988-03-23 1991-10-08 Du Pont Pixel Systems Limited Architectures for serial or parallel loading of writable control store
JP2703010B2 (ja) 1988-12-23 1998-01-26 株式会社日立製作所 ニユーラルネツト信号処理プロセツサ
US5369773A (en) 1991-04-26 1994-11-29 Adaptive Solutions, Inc. Neural network using virtual-zero
US5357597A (en) * 1991-06-24 1994-10-18 International Business Machines Corporation Convolutional expert neural system (ConExNS)
US5487153A (en) 1991-08-30 1996-01-23 Adaptive Solutions, Inc. Neural network sequencer and interface apparatus
WO1993014459A1 (en) 1992-01-17 1993-07-22 Caelum Research Corporation Modular parallel processing system
JPH06195322A (ja) 1992-10-29 1994-07-15 Hitachi Ltd 汎用型ニューロコンピュータとして用いられる情報処理装置
JP2938711B2 (ja) 1993-05-10 1999-08-25 松下電器産業株式会社 並列計算機
US5859990A (en) 1995-12-29 1999-01-12 Intel Corporation System for transferring data segments from a first storage device to a second storage device using an alignment stage including even and odd temporary devices
US5933654A (en) 1996-09-24 1999-08-03 Allen-Bradley Company, Llc Dynamic buffer fracturing by a DMA controller
US6006325A (en) * 1996-12-19 1999-12-21 Institute For The Development Of Emerging Architectures, L.L.C. Method and apparatus for instruction and data serialization in a computer processor
US6547364B2 (en) * 1997-07-12 2003-04-15 Silverbrook Research Pty Ltd Printing cartridge with an integrated circuit device
US6307867B1 (en) 1998-05-14 2001-10-23 Telefonaktiebolaget Lm Ericsson (Publ) Data transmission over a communications link with variable transmission rates
US6654761B2 (en) * 1998-07-29 2003-11-25 Inxight Software, Inc. Controlling which part of data defining a node-link structure is in memory
JP2000059227A (ja) 1998-08-07 2000-02-25 Matsushita Electric Ind Co Ltd 符号化／復号化装置、及び符号化／復号化方法
US6785239B1 (en) 1999-06-01 2004-08-31 Cisco Technology, Inc. Reducing delays in a communication network using a re-fragmentation pipeline
JP2001188767A (ja) 1999-12-28 2001-07-10 Fuji Xerox Co Ltd ニューラルネットワーク演算装置及びニューラルネットワークの演算方法
US6424737B1 (en) 2000-01-24 2002-07-23 Sony Corporation Method and apparatus of compressing images using localized radon transforms
WO2001069411A2 (en) 2000-03-10 2001-09-20 Arc International Plc Memory interface and method of interfacing between functional entities
GB2382898B (en) 2000-12-29 2005-06-29 Zarlink Semiconductor Ltd A method of managing data
JP2002259939A (ja) * 2001-03-05 2002-09-13 Kitakiyuushiyuu Techno Center:Kk 連想メモリーベースコンピュータ
US6990079B2 (en) 2001-06-08 2006-01-24 International Business Machines Corporation Optimizing fragment sizes in frame relay networks
US7012893B2 (en) 2001-06-12 2006-03-14 Smartpackets, Inc. Adaptive control of data packet size in networks
US7106968B2 (en) 2001-07-06 2006-09-12 Optix Networks Inc. Combined SONET/SDH and OTN architecture
US6954744B2 (en) * 2001-08-29 2005-10-11 Honeywell International, Inc. Combinatorial approach for supervised neural network learning
US6836767B2 (en) 2001-10-03 2004-12-28 International Business Machines Corporation Pipelined hardware implementation of a neural network circuit
US6961719B1 (en) * 2002-01-07 2005-11-01 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Hybrid neural network and support vector machine method for optimization
US7245627B2 (en) 2002-04-23 2007-07-17 Mellanox Technologies Ltd. Sharing a network interface card among multiple hosts
US7539608B1 (en) 2002-05-10 2009-05-26 Oracle International Corporation Techniques for determining effects on system performance of a memory management parameter
US7020207B1 (en) * 2002-12-02 2006-03-28 Hitachi, Ltd. Video error concealment mechanism for block based video decompression
US7444637B2 (en) 2003-02-18 2008-10-28 Microsoft Corporation Systems and methods for scheduling coprocessor resources in a computing system
US7137021B2 (en) * 2003-05-15 2006-11-14 International Business Machines Corporation Power saving in FPU with gated power based on opcodes and data
GB0313986D0 (en) * 2003-06-17 2003-07-23 Zarlink Semiconductor Inc Data memory extension for use in double buffered TDM switches
CN100437456C (zh) 2003-12-09 2008-11-26 松下电器产业株式会社 电子装置及其控制方法、主机装置及其控制方法
US20050125797A1 (en) * 2003-12-09 2005-06-09 International Business Machines Corporation Resource management for a system-on-chip (SoC)
US7480640B1 (en) * 2003-12-16 2009-01-20 Quantum Leap Research, Inc. Automated method and system for generating models from data
US7376853B2 (en) 2004-03-15 2008-05-20 Canon Kabushiki Kaisha Network apparatus, method for controlling the same, and program for the same
US7284075B2 (en) 2004-03-23 2007-10-16 Intel Corporation Inbound packet placement in host memory
US9143393B1 (en) * 2004-05-25 2015-09-22 Red Lambda, Inc. System, method and apparatus for classifying digital data
US20050289253A1 (en) * 2004-06-24 2005-12-29 Edirisooriya Samantha J Apparatus and method for a multi-function direct memory access core
US7363397B2 (en) 2004-08-26 2008-04-22 International Business Machines Corporation System and method for DMA controller with multi-dimensional line-walking functionality
US20060050693A1 (en) * 2004-09-03 2006-03-09 James Bury Building data packets for an advanced switching fabric
US20060100997A1 (en) * 2004-10-27 2006-05-11 Wall Gary C Data caching
US8190796B2 (en) * 2004-11-02 2012-05-29 Standard Microsystems Corporation Hardware supported peripheral component memory alignment method
CN1790918A (zh) 2004-12-17 2006-06-21 中国科学院半导体研究所 基于虚拟信源和神经网络的无损数据压缩方法
US20060143401A1 (en) * 2004-12-27 2006-06-29 Jacob Doweck Method and apparatus for prefetching based on cache fill buffer hits
EP1701249A1 (en) * 2005-03-11 2006-09-13 Interuniversitair Microelektronica Centrum Vzw Ultra low power ASIP (Application-Domain specific Instruction-set Processor) microcomputer
US7793040B2 (en) * 2005-06-01 2010-09-07 Microsoft Corporation Content addressable memory architecture
US7747070B2 (en) * 2005-08-31 2010-06-29 Microsoft Corporation Training convolutional neural networks on graphics processing units
CN101401100B (zh) * 2006-03-14 2012-10-10 国际商业机器公司 通过确定输入数据中的模式进行数据挖掘
RU2419226C2 (ru) * 2006-03-31 2011-05-20 Квэлкомм Инкорпорейтед Управление памятью для высокоскоростного управления доступом к среде
US9542642B2 (en) 2006-04-06 2017-01-10 Samuel F. Wood Packet data neural network system and method
US7620784B2 (en) * 2006-06-09 2009-11-17 Microsoft Corporation High speed nonvolatile memory device using parallel writing among a plurality of interfaces
US8718065B2 (en) 2006-08-15 2014-05-06 Broadcom Corporation Transmission using multiple physical interface
US7496707B2 (en) 2006-08-22 2009-02-24 International Business Machines Corporation Dynamically scalable queues for performance driven PCI express memory traffic
US20080091868A1 (en) * 2006-10-17 2008-04-17 Shay Mizrachi Method and System for Delayed Completion Coalescing
US8249171B2 (en) 2006-11-10 2012-08-21 Texas Instruments Incorporated MPEG-2 transport stream packet synchronizer
US20080168013A1 (en) * 2006-12-05 2008-07-10 Paul Cadaret Scalable pattern recognition system
CN101689130A (zh) * 2006-12-06 2010-03-31 弗森多系统公司（dba弗森-艾奥） 采用渐进raid存储数据的装置、系统和方法
US8103606B2 (en) 2006-12-08 2012-01-24 Medhat Moussa Architecture, system and method for artificial neural network implementation
US7620749B2 (en) * 2007-01-10 2009-11-17 International Business Machines Corporation Descriptor prefetch mechanism for high latency and out of order DMA device
US8190834B2 (en) 2007-06-15 2012-05-29 Emc Corporation Process for contiguously streaming data from a content addressed storage system
JP5184824B2 (ja) * 2007-06-15 2013-04-17 キヤノン株式会社 演算処理装置及び方法
US7822951B2 (en) 2007-08-01 2010-10-26 Advanced Micro Devices, Inc. System and method of load-store forwarding
US8200992B2 (en) * 2007-09-24 2012-06-12 Cognitive Electronics, Inc. Parallel processing computer systems with reduced power consumption and methods for providing the same
CN101183873B (zh) 2007-12-11 2011-09-28 广州中珩电子科技有限公司 一种基于bp神经网络的嵌入式系统数据压缩解压缩方法
US8244953B1 (en) 2007-12-18 2012-08-14 Emc Corporation System and method for faster data retrieval from tape media
US8244721B2 (en) * 2008-02-13 2012-08-14 Microsoft Corporation Using related users data to enhance web search
US7730244B1 (en) * 2008-03-27 2010-06-01 Xilinx, Inc. Translation of commands in an interconnection of an embedded processor block core in an integrated circuit
US8201166B2 (en) * 2008-04-30 2012-06-12 Hewlett-Packard Development Company, L.P. Virtualization platform configured with virtual connect control
GB0811057D0 (en) 2008-06-17 2008-07-23 Univ Ulster Artificial neural network architecture
US8566515B2 (en) * 2009-01-12 2013-10-22 Maxim Integrated Products, Inc. Memory subsystem
US20100180100A1 (en) 2009-01-13 2010-07-15 Mavrix Technology, Inc. Matrix microprocessor and method of operation
US8392687B2 (en) * 2009-01-21 2013-03-05 Micron Technology, Inc. Solid state memory formatting
US20100257174A1 (en) 2009-04-02 2010-10-07 Matthew Dino Minuti Method for data compression utilizing pattern-analysis and matching means such as neural networks
US20100281192A1 (en) 2009-04-30 2010-11-04 Novafora, Inc. Apparatus and method for transferring data within a data processing system
EP2259214B1 (en) 2009-06-04 2013-02-27 Honda Research Institute Europe GmbH Implementing a neural associative memory based on non-linear learning of discrete synapses
US8442927B2 (en) 2009-07-30 2013-05-14 Nec Laboratories America, Inc. Dynamically configurable, multi-ported co-processor for convolutional neural networks
US8316194B2 (en) * 2009-12-15 2012-11-20 Intel Corporation Mechanisms to accelerate transactions using buffered stores
US20110153877A1 (en) * 2009-12-23 2011-06-23 King Steven R Method and apparatus to exchange data via an intermediary translation and queue manager
CN102971997B (zh) * 2010-01-18 2016-11-09 马维尔国际有限公司 包括数据分段和数据描述分段的分组缓冲器
US8713260B2 (en) 2010-04-02 2014-04-29 Intel Corporation Adaptive block pre-fetching method and system
US8549506B2 (en) * 2010-04-27 2013-10-01 Microsoft Corporation Resumable methods
US8701099B2 (en) * 2010-11-02 2014-04-15 International Business Machines Corporation Accelerating generic loop iterators using speculative execution
US9300321B2 (en) * 2010-11-05 2016-03-29 University of Maribor Light detection and ranging (LiDAR)data compression and decompression methods and apparatus
US8515882B2 (en) 2010-11-18 2013-08-20 International Business Machines Corporation Efficient storage of individuals for optimization simulation
CN102480337B (zh) 2010-11-30 2016-04-13 国际商业机器公司 无线电软件系统以及用于其的解码装置和方法
US8966413B2 (en) * 2011-02-17 2015-02-24 The Board Of Trustees Of The Leland Stanford Junior University System and method for a chip generator
US8892488B2 (en) * 2011-06-01 2014-11-18 Nec Laboratories America, Inc. Document classification with weighted supervised n-gram embedding
WO2012170904A2 (en) * 2011-06-10 2012-12-13 Bytemobile, Inc. Adaptive bitrate management on progressive download with indexed media files
CN102332162A (zh) 2011-09-19 2012-01-25 西安百利信息科技有限公司 基于人工神经网络的医学图像兴趣区自动识别和分级压缩方法
US9015092B2 (en) * 2012-06-04 2015-04-21 Brain Corporation Dynamically reconfigurable stochastic learning apparatus and methods
US9326075B2 (en) 2011-10-07 2016-04-26 Cochlear Limited Flexible protocol for an implanted prosthesis
US9235799B2 (en) * 2011-11-26 2016-01-12 Microsoft Technology Licensing, Llc Discriminative pretraining of deep neural networks
CN102523452B (zh) 2011-12-29 2014-12-17 西安空间无线电技术研究所 图像转换压缩传输方法
CN102609222B (zh) * 2012-02-13 2015-03-25 山东华芯半导体有限公司 基于命令描述符的闪存控制方法
US9128925B2 (en) * 2012-04-24 2015-09-08 Freescale Semiconductor, Inc. System and method for direct memory access buffer utilization by setting DMA controller with plurality of arbitration weights associated with different DMA engines
US9703500B2 (en) * 2012-04-25 2017-07-11 International Business Machines Corporation Reducing power consumption by migration of data within a tiered storage system
US9509632B2 (en) * 2012-04-25 2016-11-29 Empire Technology Development Llc Workload prediction for network-based computing
US9015096B2 (en) * 2012-05-30 2015-04-21 Qualcomm Incorporated Continuous time spiking neural network event-based simulation that schedules co-pending events using an indexable list of nodes
US9432489B2 (en) * 2012-06-05 2016-08-30 Intel Corporation Systems and methods for processing encoded data streams
US9159020B2 (en) * 2012-09-14 2015-10-13 International Business Machines Corporation Multiplexing physical neurons to optimize power and area
US20160013773A1 (en) * 2012-11-06 2016-01-14 Pavel Dourbal Method and apparatus for fast digital filtering and signal processing
WO2014085975A1 (zh) * 2012-12-04 2014-06-12 中国科学院半导体研究所 可动态重构的多级并行单指令多数据阵列处理系统
KR20150064197A (ko) 2012-12-26 2015-06-10 인텔 코포레이션 인접한 수집/분산 연산들의 통합
EP2949047B1 (en) * 2013-01-22 2021-03-31 Altera Corporation Data compression and decompression using simd instructions
US10909137B2 (en) 2014-10-06 2021-02-02 Fisher-Rosemount Systems, Inc. Streaming data for analytics in process control systems
CN104050200B (zh) 2013-03-15 2017-12-08 伊姆西公司 用于数据拷贝的方法和装置
US9760346B2 (en) * 2013-05-31 2017-09-12 Microsoft Technology Licensing, Llc Deeply parallel source code compilation
WO2014204331A1 (en) 2013-06-17 2014-12-24 Llc "Topcon Positioning Systems" Nand flash memory interface controller with gnss receiver firmware booting capability
EP3047390A1 (en) * 2013-09-19 2016-07-27 Sysomos L.P. Systems and methods for actively composing content for use in continuous social communication
US20150286873A1 (en) * 2014-04-03 2015-10-08 Bruce L. Davis Smartphone-based methods and systems
EP3087454A4 (en) * 2013-12-23 2017-08-02 Intel Corporation Input output data alignment
GB2521828A (en) * 2013-12-23 2015-07-08 Sony Corp Data encoding and decoding
US9851771B2 (en) 2013-12-28 2017-12-26 Intel Corporation Dynamic power measurement and estimation to improve memory subsystem power performance
US10097372B2 (en) * 2014-01-09 2018-10-09 Ciena Corporation Method for resource optimized network virtualization overlay transport in virtualized data center environments
EP2896428B1 (fr) * 2014-01-16 2016-11-09 Sorin CRM SAS Ensemble de réseau de neurones pour l'évaluation et l'adaptation d'une thérapie antitachycardique par un défibrillateur implantable
US10339447B2 (en) * 2014-01-23 2019-07-02 Qualcomm Incorporated Configuring sparse neuronal networks
US9563369B2 (en) * 2014-04-14 2017-02-07 Microsoft Technology Licensing, Llc Fine-grained bandwidth provisioning in a memory controller
EP3132389A1 (en) * 2014-04-15 2017-02-22 Intel Corporation Methods, systems and computer program products for neuromorphic graph compression using associative memories
US9219499B2 (en) 2014-05-16 2015-12-22 Robert Bosch Gmbh Run time compression method for a vehicle communication bus
US9892125B1 (en) * 2014-05-23 2018-02-13 MapD Technologies, Inc. Method for logging update queries
US9959142B2 (en) * 2014-06-17 2018-05-01 Mediatek Inc. Dynamic task scheduling method for dispatching sub-tasks to computing devices of heterogeneous computing system and related computer readable medium
RU2666631C2 (ru) * 2014-09-12 2018-09-11 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Обучение dnn-студента посредством распределения вывода
US9990307B1 (en) 2014-10-29 2018-06-05 Netronome Systems, Inc. Split packet transmission DMA engine
EP3035204B1 (en) 2014-12-19 2018-08-15 Intel Corporation Storage device and method for performing convolution operations
EP3035249B1 (en) 2014-12-19 2019-11-27 Intel Corporation Method and apparatus for distributed and cooperative computation in artificial neural networks
US10223635B2 (en) 2015-01-22 2019-03-05 Qualcomm Incorporated Model compression and fine-tuning
US10234930B2 (en) * 2015-02-13 2019-03-19 Intel Corporation Performing power management in a multicore processor
CA2923600A1 (en) * 2015-03-12 2016-09-12 Staples, Inc. Review sentiment analysis
US10262190B2 (en) * 2015-03-26 2019-04-16 Beijing Kuangshi Technology Co., Ltd. Method, system, and computer program product for recognizing face
US9378044B1 (en) * 2015-03-28 2016-06-28 Vmware, Inc. Method and system that anticipates deleterious virtual-machine state changes within a virtualization layer
US9928144B2 (en) * 2015-03-30 2018-03-27 Commvault Systems, Inc. Storage management of data using an open-archive architecture, including streamlined access to primary data originally stored on network-attached storage and archived to secondary storage
FR3035243B1 (fr) * 2015-04-20 2018-06-29 Commissariat A L'energie Atomique Et Aux Energies Alternatives Placement d'une tache de calcul sur un processeur fonctionnellement asymetrique
US20160328644A1 (en) 2015-05-08 2016-11-10 Qualcomm Incorporated Adaptive selection of artificial neural networks
US20160335119A1 (en) 2015-05-12 2016-11-17 minds.ai inc Batch-based neural network system
US10083395B2 (en) * 2015-05-21 2018-09-25 Google Llc Batch processing in a neural network processor
US9595002B2 (en) * 2015-05-29 2017-03-14 Sas Institute Inc. Normalizing electronic communications using a vector having a repeating substring as input for a neural network
CN106203619B (zh) * 2015-05-29 2022-09-13 三星电子株式会社 数据优化的神经网络遍历
US20160350653A1 (en) * 2015-06-01 2016-12-01 Salesforce.Com, Inc. Dynamic Memory Network
US20160358069A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Neural network suppression
CN106250981B (zh) * 2015-06-10 2022-04-01 三星电子株式会社 减少存储器访问和网络内带宽消耗的脉冲神经网络
US20160378491A1 (en) 2015-06-26 2016-12-29 Microsoft Technology Licensing, Llc Determination of target location for transfer of processor control
US10275001B2 (en) 2015-06-26 2019-04-30 Intel Corporation Thermal throttling of electronic devices
US20160379109A1 (en) * 2015-06-29 2016-12-29 Microsoft Technology Licensing, Llc Convolutional neural networks on hardware accelerators
US11244225B2 (en) 2015-07-10 2022-02-08 Samsung Electronics Co., Ltd. Neural network processor configurable using macro instructions
EP3680820B1 (en) 2015-10-04 2021-12-01 Atomwise Inc. Method for applying a convolutional network to spatial data
CN106503796B (zh) * 2015-10-08 2019-02-12 上海兆芯集成电路有限公司 多运算神经网络单元
US11029949B2 (en) * 2015-10-08 2021-06-08 Shanghai Zhaoxin Semiconductor Co., Ltd. Neural network unit
US10471594B2 (en) * 2015-12-01 2019-11-12 Kindred Systems Inc. Systems, devices, and methods for the distribution and collection of multimodal data associated with robots
CN105488563A (zh) * 2015-12-16 2016-04-13 重庆大学 面向深度学习的稀疏自适应神经网络、算法及实现装置
US10007519B2 (en) * 2015-12-22 2018-06-26 Intel IP Corporation Instructions and logic for vector bit field compression and expansion
US11232085B2 (en) * 2016-01-07 2022-01-25 Amazon Technologies, Inc. Outlier detection for streaming data
CN107578099B (zh) * 2016-01-20 2021-06-11 中科寒武纪科技股份有限公司 计算装置和方法
US10565207B2 (en) * 2016-04-12 2020-02-18 Hsilin Huang Method, system and program product for mask-based compression of a sparse matrix
CN106203624B (zh) * 2016-06-23 2019-06-21 上海交通大学 基于深度神经网络的矢量量化系统及方法
CN106204468B (zh) * 2016-06-27 2019-04-26 深圳市未来媒体技术研究院 一种基于ReLU卷积神经网络的图像去噪方法
US10528864B2 (en) * 2016-08-11 2020-01-07 Nvidia Corporation Sparse convolutional neural network accelerator
WO2018058452A1 (zh) * 2016-09-29 2018-04-05 北京中科寒武纪科技有限公司 一种执行人工神经网络运算的装置和方法
US10296292B2 (en) * 2016-10-20 2019-05-21 Advanced Micro Devices, Inc. Dynamic variable precision computation
CN106530200B (zh) 2016-10-23 2020-01-07 深圳大学 一种基于深度学习模型的隐写图像检测方法及系统
CN106529670B (zh) * 2016-10-27 2019-01-25 中国科学院计算技术研究所 一种基于权重压缩的神经网络处理器、设计方法、芯片
US9959498B1 (en) 2016-10-27 2018-05-01 Google Llc Neural network instruction set architecture
US10067710B2 (en) * 2016-11-23 2018-09-04 Advanced Micro Devices, Inc. Detecting buffer overflows in general-purpose GPU applications
US10037490B2 (en) * 2016-12-13 2018-07-31 Google Llc Performing average pooling in hardware
US20180164866A1 (en) * 2016-12-13 2018-06-14 Qualcomm Incorporated Low-power architecture for sparse neural network
US10169296B2 (en) * 2016-12-30 2019-01-01 Intel Corporation Distributed matrix multiplication for neural networks
US10402527B2 (en) 2017-01-04 2019-09-03 Stmicroelectronics S.R.L. Reconfigurable interconnect
US10096134B2 (en) * 2017-02-01 2018-10-09 Nvidia Corporation Data compaction and memory bandwidth reduction for sparse neural networks
US10333549B1 (en) * 2017-03-08 2019-06-25 iDensify LLC System and components for encoding integers
US10909447B2 (en) 2017-03-09 2021-02-02 Google Llc Transposing neural network matrices in hardware
US10795836B2 (en) 2017-04-17 2020-10-06 Microsoft Technology Licensing, Llc Data processing performance enhancement for neural networks using a virtualized data iterator
US10671349B2 (en) * 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US20190081637A1 (en) * 2017-09-08 2019-03-14 Nvidia Corporation Data inspection for compression/decompression configuration and data type determination
KR20190066473A (ko) * 2017-12-05 2019-06-13 삼성전자주식회사 뉴럴 네트워크에서 컨볼루션 연산을 처리하는 방법 및 장치
US20200250842A1 (en) * 2019-01-31 2020-08-06 Samsung Electronics Co., Ltd. Method and apparatus with convolution neural network processing
US11671111B2 (en) * 2019-04-17 2023-06-06 Samsung Electronics Co., Ltd. Hardware channel-parallel data compression/decompression
CN112465129B (zh) * 2019-09-09 2024-01-09 上海登临科技有限公司 片内异构人工智能处理器

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449277B1 (en) * 1997-12-26 2002-09-10 Hyundai Electronics Industries, Co., Ltd. Interleaver for parallel 8 bit cell of ATM systems and a method therefor
JP2000261416A (ja) * 1999-03-09 2000-09-22 Nec Eng Ltd 二重化データ転送回路
CN1801121A (zh) * 2004-05-03 2006-07-12 微软公司 非易失性存储器高速缓存性能改进
US7764710B1 (en) * 2006-04-25 2010-07-27 Altera Corporation Method and apparatus for processing communication protocol frame input
CN101221541A (zh) * 2007-01-09 2008-07-16 张立军 用于soc的可编程通信控制器及其编程模型
JP2010238143A (ja) * 2009-03-31 2010-10-21 Brother Ind Ltd ノード装置、ノード処理プログラム及び検索方法
CN102460376A (zh) * 2009-06-26 2012-05-16 英特尔公司 无约束事务存储器（utm）系统的优化
CN103282891A (zh) * 2010-08-16 2013-09-04 甲骨文国际公司 用于使用神经网络来进行有效的缓存的系统和方法
CN104516832A (zh) * 2013-10-08 2015-04-15 国际商业机器公司 操作数据处理系统的方法、数据处理系统以及处理器
CN104714905A (zh) * 2013-12-12 2015-06-17 国际商业机器公司 用于执行从第一适配器到第二适配器的失效转移操作的方法和系统
CN104573064A (zh) * 2015-01-23 2015-04-29 四川中科腾信科技有限公司 一种大数据环境下的数据处理方法
WO2016171909A1 (en) * 2015-04-23 2016-10-27 Google Inc. Architecture for high performance, power efficient, programmable image processing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
用递阶控制思想改进基于结构的神经网络模型;杨海威,詹永麒,施光林,乔俊伟;上海交通大学学报(08);全文 *

Also Published As

Publication number Publication date
CN110520846B (zh) 2023-07-28
US11182667B2 (en) 2021-11-23
US20180300607A1 (en) 2018-10-18
CN110546654B (zh) 2024-03-29
EP3612946B1 (en) 2023-12-06
EP3612989B1 (en) 2024-05-29
CN116909985A (zh) 2023-10-20
US20210232904A1 (en) 2021-07-29
CN110678843A (zh) 2020-01-10
US11750212B2 (en) 2023-09-05
WO2018194851A1 (en) 2018-10-25
CN110520846A (zh) 2019-11-29
WO2018194849A1 (en) 2018-10-25
CL2019002864A1 (es) 2020-03-06
CN110546610B (zh) 2023-02-10
WO2018194994A2 (en) 2018-10-25
EP3612942A1 (en) 2020-02-26
RU2019136750A3 (zh) 2021-12-22
WO2018194995A1 (en) 2018-10-25
PH12019550191A1 (en) 2020-06-29
US11030131B2 (en) 2021-06-08
AU2018256212B2 (en) 2022-08-11
US20180300613A1 (en) 2018-10-18
WO2018194996A1 (en) 2018-10-25
US20180300603A1 (en) 2018-10-18
EP3612934A1 (en) 2020-02-26
US20180300606A1 (en) 2018-10-18
EP3612942B1 (en) 2021-03-03
US11256976B2 (en) 2022-02-22
EP3612989A1 (en) 2020-02-26
CN110520909B (zh) 2021-03-19
US10795836B2 (en) 2020-10-06
WO2018194845A1 (en) 2018-10-25
EP3612990B1 (en) 2022-04-27
CN110546654A (zh) 2019-12-06
WO2018194848A1 (en) 2018-10-25
CA3056660A1 (en) 2018-10-25
MY201868A (en) 2024-03-21
CN110520853A (zh) 2019-11-29
RU2019136750A (ru) 2021-05-18
EP3612936B1 (en) 2023-10-18
WO2018194940A1 (en) 2018-10-25
KR102596644B1 (ko) 2023-10-31
US20180299943A1 (en) 2018-10-18
US11176448B2 (en) 2021-11-16
US20180300605A1 (en) 2018-10-18
EP3612988A2 (en) 2020-02-26
US20200356500A1 (en) 2020-11-12
WO2018194993A1 (en) 2018-10-25
CN116909984A (zh) 2023-10-20
US20180300617A1 (en) 2018-10-18
US11341399B2 (en) 2022-05-24
WO2018194988A1 (en) 2018-10-25
US11205118B2 (en) 2021-12-21
CN110520856B (zh) 2023-03-31
EP3612945A1 (en) 2020-02-26
CN110520857A (zh) 2019-11-29
US20180300602A1 (en) 2018-10-18
US11528033B2 (en) 2022-12-13
US20180300601A1 (en) 2018-10-18
ZA201905874B (en) 2020-11-25
WO2018194846A1 (en) 2018-10-25
US20180300614A1 (en) 2018-10-18
US20180300615A1 (en) 2018-10-18
AU2018256212A1 (en) 2019-09-19
WO2018194939A1 (en) 2018-10-25
US10628345B2 (en) 2020-04-21
US11405051B2 (en) 2022-08-02
CN110506260B (zh) 2023-09-22
EP3612947A1 (en) 2020-02-26
US11909422B2 (en) 2024-02-20
CO2019011014A2 (es) 2019-10-21
US20200233820A1 (en) 2020-07-23
EP3612946A1 (en) 2020-02-26
IL269888B (en) 2022-04-01
EP3612936A1 (en) 2020-02-26
EP3612945B1 (en) 2024-05-29
NZ756870A (en) 2023-07-28
US20230071352A1 (en) 2023-03-09
CN110546611A (zh) 2019-12-06
US11476869B2 (en) 2022-10-18
CN110537194B (zh) 2023-07-07
WO2018194998A1 (en) 2018-10-25
CN110546628A (zh) 2019-12-06
US20180300616A1 (en) 2018-10-18
CN110506260A (zh) 2019-11-26
CN110537194A (zh) 2019-12-03
EP3613026B1 (en) 2021-05-26
CN110520870B (zh) 2023-07-14
JP2020517014A (ja) 2020-06-11
KR102663557B1 (ko) 2024-05-03
SG11201909175XA (en) 2019-11-28
CN110582785A (zh) 2019-12-17
US11100390B2 (en) 2021-08-24
CN110520853B (zh) 2023-08-15
US10540584B2 (en) 2020-01-21
CN110520909A (zh) 2019-11-29
CN110582785B (zh) 2024-02-27
EP3612991B1 (en) 2023-12-13
EP3612948A1 (en) 2020-02-26
BR112019021541A2 (pt) 2020-05-12
JP7004741B2 (ja) 2022-01-21
US11100391B2 (en) 2021-08-24
EP3613026A1 (en) 2020-02-26
US20180300634A1 (en) 2018-10-18
RU2767447C2 (ru) 2022-03-17
US20180300633A1 (en) 2018-10-18
US10963403B2 (en) 2021-03-30
EP3612947B1 (en) 2023-09-06
EP3612991A1 (en) 2020-02-26
CN110520857B (zh) 2023-07-28
KR20190141694A (ko) 2019-12-24
US20180300604A1 (en) 2018-10-18
CN110546610A (zh) 2019-12-06
EP3612990A1 (en) 2020-02-26
CN110520856A (zh) 2019-11-29
EP3612937A1 (en) 2020-02-26
WO2018194847A1 (en) 2018-10-25
KR20230152828A (ko) 2023-11-03
CN110546611B (zh) 2023-05-02
EP3612933A1 (en) 2020-02-26
US11010315B2 (en) 2021-05-18
US11722147B2 (en) 2023-08-08
CN110520870A (zh) 2019-11-29
MX2019012388A (es) 2020-01-23
WO2018194850A1 (en) 2018-10-25
US20220147833A1 (en) 2022-05-12
CN110678843B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN110546628B (zh) 用有向线缓冲器最小化存储器读取提高神经网络环境性能
US11487342B2 (en) Reducing power consumption in a neural network environment using data management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant