JP2019061677A - 積層型メモリ装置及びその動作方法並びにメモリシステム - Google Patents

積層型メモリ装置及びその動作方法並びにメモリシステム Download PDF

Info

Publication number
JP2019061677A
JP2019061677A JP2018180170A JP2018180170A JP2019061677A JP 2019061677 A JP2019061677 A JP 2019061677A JP 2018180170 A JP2018180170 A JP 2018180170A JP 2018180170 A JP2018180170 A JP 2018180170A JP 2019061677 A JP2019061677 A JP 2019061677A
Authority
JP
Japan
Prior art keywords
semiconductor die
data
memory
output
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018180170A
Other languages
English (en)
Other versions
JP2019061677A5 (ja
JP7317478B2 (ja
Inventor
ヒョン 昇 申
Hyun-Sung Shin
ヒョン 昇 申
益 準 崔
Ik-Joon Choi
益 準 崔
昭 映 金
So-Young Kim
昭 映 金
泰 奎 卞
Tae-Kyu Byun
泰 奎 卞
載 允 尹
Jae-Youn Youn
載 允 尹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2019061677A publication Critical patent/JP2019061677A/ja
Publication of JP2019061677A5 publication Critical patent/JP2019061677A5/ja
Application granted granted Critical
Publication of JP7317478B2 publication Critical patent/JP7317478B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/18Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different subgroups of the same main group of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C5/00Details of stores covered by group G11C11/00
    • G11C5/06Arrangements for interconnecting storage elements electrically, e.g. by wiring
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C7/00Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1078Data input circuits, e.g. write amplifiers, data input buffers, data input registers, data input level conversion circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/06Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • G06F12/0646Configuration or reconfiguration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • G06F3/0611Improving I/O performance in relation to response time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625Power saving in storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659Command handling arrangements, e.g. command buffers, queues, command scheduling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/52Multiplying; Dividing
    • G06F7/523Multiplying only
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C5/00Details of stores covered by group G11C11/00
    • G11C5/02Disposition of storage elements, e.g. in the form of a matrix array
    • G11C5/04Supports for storage elements, e.g. memory modules; Mounting or fixing of storage elements on such supports
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C5/00Details of stores covered by group G11C11/00
    • G11C5/06Arrangements for interconnecting storage elements electrically, e.g. by wiring
    • G11C5/063Voltage and signal distribution in integrated semi-conductor memory access lines, e.g. word-line, bit-line, cross-over resistance, propagation delay
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C5/00Details of stores covered by group G11C11/00
    • G11C5/06Arrangements for interconnecting storage elements electrically, e.g. by wiring
    • G11C5/066Means for reducing external access-lines for a semiconductor memory clip, e.g. by multiplexing at least address and data signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C7/00Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/06Sense amplifiers; Associated circuits, e.g. timing or triggering circuits
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C7/00Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C7/00Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1006Data managing, e.g. manipulating data before writing or reading out, data bus switches or control circuits therefor
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C7/00Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1048Data bus control circuits, e.g. precharging, presetting, equalising
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C7/00Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1051Data output circuits, e.g. read-out amplifiers, data output buffers, data output registers, data output level conversion circuits
    • G11C7/1069I/O lines read out arrangements
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C7/00Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1078Data input circuits, e.g. write amplifiers, data input buffers, data input registers, data input level conversion circuits
    • G11C7/1096Write circuits, e.g. I/O line write drivers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C7/00Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/22Read-write [R-W] timing or clocking circuits; Read-write [R-W] control signal generators or management 
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C8/00Arrangements for selecting an address in a digital store
    • G11C8/12Group selection circuits, e.g. for memory block selection, chip selection, array selection
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L23/00Details of semiconductor or other solid state devices
    • H01L23/48Arrangements for conducting electric current to or from the solid state body in operation, e.g. leads, terminal arrangements ; Selection of materials therefor
    • H01L23/481Internal lead connections, e.g. via connections, feedthrough structures
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L24/00Arrangements for connecting or disconnecting semiconductor or solid-state bodies; Methods or apparatus related thereto
    • H01L24/01Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L24/18High density interconnect [HDI] connectors; Manufacturing methods related thereto
    • H01L24/23Structure, shape, material or disposition of the high density interconnect connectors after the connecting process
    • H01L24/24Structure, shape, material or disposition of the high density interconnect connectors after the connecting process of an individual high density interconnect connector
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C2207/00Indexing scheme relating to arrangements for writing information into, or reading information out from, a digital store
    • G11C2207/22Control and timing of internal memory operations
    • G11C2207/2272Latency related aspects
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/10Bump connectors; Manufacturing methods related thereto
    • H01L2224/15Structure, shape, material or disposition of the bump connectors after the connecting process
    • H01L2224/16Structure, shape, material or disposition of the bump connectors after the connecting process of an individual bump connector
    • H01L2224/161Disposition
    • H01L2224/16151Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive
    • H01L2224/16221Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked
    • H01L2224/16225Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked the item being non-metallic, e.g. insulating substrate with or without metallisation
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/18High density interconnect [HDI] connectors; Manufacturing methods related thereto
    • H01L2224/23Structure, shape, material or disposition of the high density interconnect connectors after the connecting process
    • H01L2224/24Structure, shape, material or disposition of the high density interconnect connectors after the connecting process of an individual high density interconnect connector
    • H01L2224/241Disposition
    • H01L2224/24135Connecting between different semiconductor or solid-state bodies, i.e. chip-to-chip
    • H01L2224/24145Connecting between different semiconductor or solid-state bodies, i.e. chip-to-chip the bodies being stacked
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/15Details of package parts other than the semiconductor or other solid state devices to be connected
    • H01L2924/151Die mounting substrate
    • H01L2924/153Connection portion
    • H01L2924/1531Connection portion the connection portion being formed only on the surface of the substrate opposite to the die mounting surface
    • H01L2924/15311Connection portion the connection portion being formed only on the surface of the substrate opposite to the die mounting surface being a ball array, e.g. BGA
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/15Details of package parts other than the semiconductor or other solid state devices to be connected
    • H01L2924/181Encapsulation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computing Systems (AREA)
  • Dram (AREA)
  • Semiconductor Memories (AREA)
  • Memory System (AREA)

Abstract

【課題】同一のデータを入力の一部とする複数の演算を含むデータプロセスを効率良く遂行することができる積層型メモリ装置及びこれを含むメモリシステムを提供する。【解決手段】積層型メモリ装置は、少なくとも1つのロジック半導体ダイと、ロジック半導体ダイの上に積層される複数のメモリ半導体ダイと、ロジック半導体ダイ及び複数のメモリ半導体ダイを電気的に接続する複数のシリコン貫通ビアとを有する。メモリ半導体ダイ各々にはデータを格納するメモリ集積回路が形成され、メモリ半導体ダイの内の1つ以上は演算ユニットをさらに含む演算半導体ダイであり、演算ユニットはブロードキャストデータ及び内部データに基づいて演算を実行し、演算結果データを生成するように構成され、ブロードキャストデータはシリコン貫通ビアを介して、演算半導体ダイに共通に提供され、内部データは演算半導体ダイのメモリ集積回路から各々読み出される。【選択図】図1

Description

本発明は半導体集積回路に関し、特に、積層型メモリ装置、積層型メモリ装置を含むシステム及び積層型メモリ装置の動作方法に関する。
メモリ帯域幅と遅延時間(latency or delay time)は多くのプロセスシステムで重要な性能のボトルネック(performance bottle neck)の原因となる。
メモリ容量を増やすためにメモリチップのパッケージの内部に積層された半導体ダイ(semiconductor dies)はシリコン貫通ビア(via)又は基板貫通ビア(through−silicon via:TSV、又はthrough−substrate via)を通じて電気的に接続される。
このような積層技術を通じてメモリ装置の容量を増加し、かつ帯域幅と遅延時間のペナルティを抑制することができる。
外部装置の積層型メモリ装置に対する各々のアクセス(access)は、積層された半導体ダイの間でのデータ交信を要求し、外部装置と積層型メモリ装置との間のデバイス間(inter−device)帯域幅と遅延時間のペナルティが各アクセス当たり2回発生する。
したがって、外部装置が遂行するデータプロセスが積層型メモリ装置への多重アクセスを要求する時、このような帯域幅と遅延時間はシステムのプロセス効率と電力消費量に顕著な影響を及ぼす、という問題がある。
特開2009−252277号公報
本発明は上記従来の積層型メモリ装置における問題点に鑑みてなされたものであって、本発明の目的は、同一のデータを入力の一部とする複数の演算を含むデータプロセスを効率良く遂行することができる積層型メモリ装置及びこれを含むメモリシステムを提供することにある。
また、同一のデータを入力の一部とする複数の演算を含むデータプロセスを効率良く遂行することができる積層型メモリ装置の動作方法を提供することにある。
上記目的を達成するためになされた本発明による積層型メモリ装置は、少なくとも1つのロジック半導体ダイ(semiconductor die)と、前記ロジック半導体ダイの上に積層される複数のメモリ半導体ダイと、前記ロジック半導体ダイ及び前記複数のメモリ半導体ダイを電気的に接続する複数のシリコン貫通ビア(via)と、を有し、前記メモリ半導体ダイ各々には、データを格納するメモリ集積回路が形成され、前記メモリ半導体ダイの内の1つ以上は、演算ユニットをさらに含む演算半導体ダイであり、前記演算ユニットは、ブロードキャストデータ及び内部データに基づいて演算を実行し、演算結果データを生成するように構成され、前記ブロードキャストデータは、前記シリコン貫通ビアを介して、前記演算半導体ダイに共通に提供され、前記内部データは、前記演算半導体ダイの前記メモリ集積回路から各々読み出されることを特徴とする。
上記目的を達成するためになされた本発明によるメモリシステムは、ベース基板と、前記ベース基板の上に積層される少なくとも1つのロジック半導体ダイと、前記ベース基板又は前記ロジック半導体ダイの上に積層される複数のメモリ半導体ダイと、前記メモリ半導体ダイの内の1つ以上の演算半導体ダイに各々形成された複数の演算ユニットと、を有し、前記複数の演算ユニットは、ブロードキャストデータ及び内部データに基づいて演算を実行して、演算結果データを生成し、前記ブロードキャストデータは、演算半導体ダイに共通に提供され、前記内部データは、前記演算半導体ダイに含まれるメモリ集積回路から各々読み出されることを特徴とする。
上記目的を達成するためになされた本発明による積層型メモリ装置の動作方法は、積層された複数のメモリ半導体ダイのうちの1つ以上の演算半導体ダイに複数の演算ユニットを形成するステップと、前記複数のメモリ半導体ダイを電気的に接続する複数のシリコン貫通ビア(via)を介してブロードキャストデータを前記各演算ユニットに共通に提供するステップと、前記演算半導体ダイのメモリ集積回路から各々読み出される内部データを前記複数の演算ユニットに各々提供するステップと、前記複数の演算ユニットを用いて前記共通のブロードキャストデータ及び前記各々の内部データに基づく複数の演算を同時に実行するステップと、を有することを特徴とする。
本発明に係る積層型メモリ装置及びその動作方法並びにメモリシステムによれば、メモリ集約的(memory−intensive)またはデータ集約的(data−intensive)なデータプロセスをメモリ半導体ダイに含まれた複数の演算ユニットにより並列的に遂行することによって、積層型メモリ装置、ロジック半導体ダイ、及び外部装置の間に交信するデータの量を減少してデータプロセシング時間及び電力消費を減少することができる。
また、複数の演算ユニットをメモリバンク内に配置してマトリックス−ベクトル乗算(matrix−vector multiplication:MV)のためのカーネルウェイト(kernel weights)のメモリ帯域幅(memory bandwidth)を増加させ、ブロードキャスティングを通じてマトリックス−ベクトル乗算のためのアクティベーション(activations)のメモリ帯域幅を増加させることによって、MLP(multilayer perceptron)、RNN(recurrent neural network)、CNN(convolutional neural network)などのデータプロセシング時間及び電力消費を減少することができる。
本発明の実施形態に係る積層型メモリ装置の動作方法を説明するためのフローチャートである。 本発明の実施形態に係る積層型メモリ装置を含むメモリシステムを示す分解斜視図である。 本発明の実施形態に係る高帯域幅メモリの構造の一例を示す図である。 図2の積層型メモリ装置に含まれる1つのメモリバンクの構造の一例を示す図である。 図2の積層型メモリ装置のメモリ半導体ダイに含まれるメモリ集積回路の一実施形態を示すブロック図である。 本発明の実施形態に係る演算ユニットの概略構成を示す回路図である。 本発明の実施形態に係る積層型メモリ装置における通常のアクセス動作時、データ転送経路を示す分解斜視図である。 図7のデータ転送経路を具現する一実施形態を示す回路図である。 図7のデータ転送経路を具現する一実施形態を示す回路図である。 本発明の実施形態に係る積層型メモリ装置におけるブロードキャストデータの転送経路の実施形態を示す分解斜視図である。 図9のブロードキャストデータの転送経路を具現する一実施形態を示す回路図である。 図9のブロードキャストデータの転送経路を具現する他の実施形態を示す回路図である。 図9のブロードキャストデータの転送経路を具現する他の実施形態を示す回路図である。 本発明の実施形態に係る積層型メモリ装置におけるブロードキャストデータの転送経路の一実施形態を示す分解斜視図である。 図12のブロードキャストデータの転送経路を具現する一実施形態を示す回路図である。 図12のブロードキャストデータの転送経路を具現する他の実施形態を示す回路図である。 図12のブロードキャストデータの転送経路を具現する他の実施形態を示す回路図である。 図12のブロードキャストデータの転送経路を具現する他の実施形態を示す回路図である。 本発明の実施形態に係る積層型メモリ装置における演算回路の出力データの第1転送経路の実施形態を示す分解斜視図である。 図15の出力データの第1転送経路を具現する一実施形態を示す回路図である。 本発明の実施形態に係る積層型メモリ装置における演算回路の出力データの第2転送経路の実施形態を示す分解斜視図である。 図17の出力データの第2転送経路を具現する一実施形態を示す回路図である。 本発明の実施形態に係る積層型メモリ装置における演算回路の出力データの転送経路の実施形態を示す分解斜視図である。 図19の出力データの転送経路を具現する一実施形態を示す回路図である。 本発明の実施形態に係る積層型メモリ装置における演算回路の出力データの転送経路の実施形態を示す分解斜視図である。 図21の出力データの転送経路を具現する一実施形態を示す回路図である。 本発明の実施形態に係る積層型メモリ装置におけるブロードキャストデータの転送経路の一実施形態を示す分解斜視図である。 図23のブロードキャストデータの転送経路を具現する一実施形態を示す回路図である。 本発明の実施形態に係る積層型メモリ装置に含まれる演算ユニットの一実施形態を示すブロック図である。 本発明の一実施形態に係る演算結果データの出力方法を説明するための図である。 本発明の実施形態に係る演算回路を用いたマトリックス演算を説明するための図である。 本発明の実施形態に係る積層型メモリ装置の動作を説明するためのタイミング図である。 本発明の実施形態に係る積層型メモリ装置のパッケージング構造を示す概略図である。 本発明の実施形態に係る積層型メモリ装置のパッケージング構造を示す概略図である。 本発明の実施形態に係る積層型メモリ装置を応用した例であるモバイルシステムの概略構成を示すブロック図である。
次に、本発明に係る積層型メモリ装置及びその動作方法並びにメモリシステムを実施するための形態の具体例を図面を参照しながら説明する。
図1は、本発明の実施形態に係る積層型メモリ装置の動作方法を説明するためのフローチャートである。
図1を参照すると、積層された複数のメモリ半導体ダイのうちの1つ以上の演算半導体ダイに複数の演算ユニットを形成する(ステップS100)。
つまり、メモリ半導体ダイ各々には、データを格納するメモリ集積回路が形成され、メモリ半導体ダイの内の1つ以上は、演算ユニットをさらに形成した演算半導体ダイと称する。
メモリ半導体ダイを電気的に接続するシリコン貫通ビア又は基板貫通ビア(through−silicon via:TSV、又はthrough−substrate via)を介してブロードキャストデータを演算ユニットに共通に提供する(ステップS200)。
一方、演算半導体ダイのメモリ集積回路から各々読み出される内部データを演算ユニットに各々提供する(ステップS300)。
演算ユニットを用いて共通のブロードキャストデータ及び各々の内部データに対する複数の演算を同時に実行する(ステップS400)。
このように、本発明の実施形態に係る積層型メモリ装置の動作方法は、メモリ集約的(memory−intensive)又はデータ集約的(data−intensive)なデータプロセスをメモリ半導体ダイに含まれた複数の演算ユニットにより並列的に実行することによって、積層型メモリ装置、ロジック半導体ダイ、及び外部装置の間を交信するデータの量を減少させてデータプロセシング時間及び電力消費を減少することができる。
図2は、本発明の実施形態に係る積層型メモリ装置を含むメモリシステムを示す分解斜視図である。
図2を参照すると、メモリシステム10は、積層型メモリ装置1000及びホスト装置2000を含む。
積層型メモリ装置1000は、垂直に積層された少なくとも1つのベース半導体ダイ(base semiconductor die)又はロジック半導体ダイ(logic semiconductor die)1010及び複数のメモリ半導体ダイ(memory semiconductor die)(1070、1080)を含む。
図2には1つのロジック半導体ダイ及び2つのメモリ半導体ダイを示したが、2つ以上のロジック半導体ダイ及び1つ又は3個以上のメモリ半導体ダイが積層構造に含まれることもできる。
また、図2にはロジック半導体ダイ1010がメモリ半導体ダイ(1070、1080)と共に垂直に積層される実施形態を示したが、図29を参照して後述するように、ロジック半導体ダイ1010を除外したメモリ半導体ダイ(1070、1080)のみが共に垂直に積層され、ロジック半導体ダイ1010はインターポーザ又はベース基板を介して積層されたメモリ半導体ダイ(1070、1080)と電気的に接続することもできる。
ロジック半導体ダイ1010は、メモリインターフェース(MIF)1020及びメモリ半導体ダイ(1070、1080)に形成されたメモリ集積回路(1071、1081)へのアクセスを可能にするためのロジックを含む。
このようなロジックは、メモリ制御部(CTRL)1030、グローバルバッファ(GBF)1040、及びデータトランスフォームロジック(DTL)1050を含み得る。
メモリインターフェース1020は、インターコネクタ装置12を介してホスト装置2000のような外部装置との交信を実行する。
メモリ制御部1030は、積層型メモリ装置1000の全般的な動作を制御する。
データトランスフォームロジック1050は、メモリ半導体ダイ(1070、1080)と交信するデータ又はメモリインターフェース1020を通じて交信するデータに対する演算を実行することができる。
例えば、データトランスフォームロジック1050は、マックスプーリング(max pooling)、ReLU(rectified linear unit)、チャンネル単位加算(channel−wise addition)などの演算を実行することができる。
メモリ半導体ダイ(1070、1080)は、メモリ集積回路(MEM)(1071、1081)を各々含む。
メモリ半導体ダイ(1070、1080)の内の少なくとも1つのメモリ半導体ダイ1080は、演算回路100をさらに含む演算半導体ダイに該当する。
後述するように、演算回路100は1つ以上の演算ブロックを含むことができ、演算ブロックの各々は、1つ以上の演算ユニットを含むことができる。
演算ユニットにはシリコン貫通ビア(TSV)を通じてブロードキャストデータが共通に提供され、演算半導体ダイ1080のメモリ集積回路1081から各々読み出される内部データが提供される。
演算ユニットは、共通のブロードキャストデータ及び各々の内部データに基づいて演算を実行して各々の演算結果データを提供する。
ホスト装置2000は、ホストインターフェース(HIF)2110及びプロセッサコア(processor core:CR1、CR2)(2120、2130)を含み得る。
ホストインターフェース2110は、インターコネクタ装置12を介して積層型メモリ装置1000のような外部装置との交信を実行する。
図3は、本発明の実施形態に係る高帯域幅メモリの構造の一例を示す図である。
図3を参照すると、高帯域幅メモリ(high bandwidth memory:HBM)1001は、複数のDRAM半導体ダイ、例えば、第1〜第4メモリ半導体ダイ(1100、1200、1300、1400)が積層された構造を含む。
高帯域幅メモリは、チャンネルと称する複数の独立したインターフェースを介して積層された構造の高帯域幅動作に最適化できる。
HBM標準に従って各々のDRAMスタックは最大8個のチャンネルまで支援することができる。
図3には4個のDRAM半導体ダイが積層され、各々のDRAM半導体ダイが2つのチャンネル(CHANNEL(0)、CHANNEL(1))を支援する例を示す。
例えば、図3に示すように、第4メモリ半導体ダイ1400は2つのチャンネル(CHANNEL(0)、CHANNEL(1))に対応する2つのメモリ集積回路(1401、1402)を含む。
各々のメモリ半導体ダイは、積層構造に追加的なキャパシティ(capacity)及び追加的なチャンネルを提供することができる。
例えば、図3の第4メモリ半導体ダイ1400は前述した演算ユニットを含む演算半導体ダイに該当する。
各チャンネルに対応するメモリ集積回路(1401、1402)の各々は、複数のメモリバンク(MB)を含み、各メモリバンク(MB)は演算ブロック(CB)を含むことができる。
図4を参照して後述するように、各演算ブロック(CB)は、複数の演算ユニット(CU)を含み得る。
このように、演算ユニットは、演算半導体ダイ1400に含まれるメモリバンク(MB)の内部に分散して配置できる。
高帯域幅メモリ1001の各々のチャンネルは、メモリバンクの独立したセットに対するアクセスを提供する。
一般的に、高帯域幅メモリは、1つのチャンネルからのリクエストは他のチャンネルに付着されたデータにアクセスできない。
チャンネルは独立的にクロッキングされ、互いに同期化される必要がない。
しかしながら、本発明の実施形態に係る高帯域幅メモリ1001は、前述したブロードキャストデータの転送及び/又は演算結果データの転送のために互いに異なるメモリ半導体ダイのデータにアクセスすることができる。
高帯域幅メモリ1001は、スタック構造の下部に位置し、信号の再分配及び他の機能を提供するインターフェースダイを選択的に含むことができる。
メモリ半導体ダイ(1100、1200、1300、1400)に通常的に具現される機能がこのようなインターフェースダイ又はロジック半導体ダイに具現できる。
図4は、図2の積層型メモリ装置に含まれる1つのメモリバンクの構造の一例を示す図である。
図4を参照すると、メモリバンク200は、複数のデータブロック(DBK1〜DBKn)及び演算ブロック300を含む。
データブロック(DBK1〜DBKn)は同一の構造を有し、図4には例示的に第1データブロックDBK1の構造を示す。
各データブロックは、複数のサブメモリセルアレイ(SARR)を含み、サブメモリセルアレイ(SARR)の各々は複数のメモリセルを含む。
読み出し動作時、ビットラインセンスアンプ(BLSA)は、メモリセルに格納されたデータをセンシング及び増幅してローカル入出力ライン(LIO)とグローバル入出力ライン(GIO)を順次に経て外部に転送する。
また、書き込み動作時、外部から提供されるデータは、グローバル入出力ライン(GIO)及びローカル入出力ライン(LIO)を順次に経てメモリセルに格納される。
このようなデータブロックの階層的構造は多様に変更できる。
演算ブロック300は、複数の演算ユニット(CU1〜CUn)を含む。
図4にはデータブロック1つ毎に演算ユニットを1つずつ配置する例を示したが、複数のデータブロック毎に1つの演算ユニットを配置することもできる。
前述したように、演算ユニット(CU1〜CUn)の各々は、シリコン貫通ビアを介して演算半導体ダイに共通に提供されるブロードキャストデータ(DA)及び内部データ(DW1〜DWn)の各々を受信し、これらに基づいた演算を実行して演算結果データ(DR1〜DRn)の各々を提供する。
図4を参照して1つのメモリバンク200に対して演算ユニットの配置を説明したが、積層型メモリ装置は複数の演算半導体ダイを含み、各演算半導体ダイは複数のメモリバンクを含み、このような全ての演算半導体ダイに含まれた全てのメモリバンクに対して図4に示したような演算ユニットが配置できる。
全ての演算ユニットは、同一のブロードキャストデータを受信し、対応するデータブロックから各々の内部データを受信することができる。
このように積層型メモリ装置に分散して形成される複数の演算ユニットを用いて演算を並列的に実行することによって、積層型メモリ装置、ロジック半導体ダイ、及び外部装置の間で交信するデータの量を減少させてデータプロセシング時間及び電力消費を減少させることができる。
図5は、図2の積層型メモリ装置のメモリ半導体ダイに含まれるメモリ集積回路の一実施形態を示すブロック図である。
図5を参照し、メモリ集積回路の一例としてDRAMに対する説明をするが、本発明の実施形態に係る積層型メモリ装置は、DRAM、TRAM(Topological switching RAM)、及びSRAMのような揮発性メモリアーキテクチャ、またはROM、フラッシュメモリ、FRAM(登録商標)、MRAM、PRAMなどの不揮発性メモリアーキテクチャを含む多様なメモリアーキテクチャで具現できる。
図5を参照すると、メモリ領域400又はメモリ装置の内部回路は、制御ロジック410、アドレスレジスタ420、バンク制御ロジック430、ロウアドレスマルチプレクサ440、コラムアドレスラッチ450、ロウデコーダ460、コラムデコーダ470、メモリセルアレイ480、演算回路100、入出力ゲーティング回路490、データ入出力バッファ495、及びリフラッシュカウンター445を含む。
メモリセルアレイ480は、複数のバンクアレイ(480a〜480h)を含む。
ロウデコーダ460は、複数のバンクアレイ(480a〜480h)に各々接続された複数のバンクロウデコーダ(460a〜460h)を含み、コラムデコーダ470は複数のバンクアレイ(480a〜480h)に各々結合された複数のバンクコラムデコーダ(470a〜470h)を含む。
演算回路100は、複数のバンクアレイ(480a〜480h)に各々接続された複数の演算ブロック(CB)(100a〜100h)を含む。
前述したように、演算ブロック(100a〜100h)の各々は、ブロードキャストデータを共通に受信し、バンクアレイ(480a〜480h)から各内部データを受信する複数の演算ユニット(図示せず)を含む。
アドレスレジスタ420は、メモリコントローラからバンクアドレス(BANK_ADDR)、ロウアドレス(ROW_ADDR)、及びコラムアドレス(COL_ADDR)を含むアドレス信号(ADD)を受信する。
アドレスレジスタ420は、受信したバンクアドレス(BANK_ADDR)をバンク制御ロジック430に提供し、受信したロウアドレス(ROW_ADDR)をロウアドレスマルチプレクサ440に提供し、受信したコラムアドレス(COL_ADDR)をコラムアドレスラッチ450に提供する。
バンク制御ロジック430は、バンクアドレス(BANK_ADDR)に応答してバンク制御信号を生成する。
バンク制御信号に応答して、複数のバンクロウデコーダ(460a〜460h)のうち、バンクアドレス(BANK_ADDR)に対応するバンクロウデコーダが活性化され、複数のバンクコラムデコーダ(470a〜470h)のうち、バンクアドレス(BANK_ADDR)に対応するバンクコラムデコーダが活性化する。
ロウアドレスマルチプレクサ440は、アドレスレジスタ420からロウアドレス(ROW_ADDR)を受信し、リフラッシュカウンター445からリフラッシュロウアドレス(REF_ADDR)を受信する。
ロウアドレスマルチプレクサ440は、ロウアドレス(ROW_ADDR)又はリフラッシュロウアドレス(REF_ADDR)をロウアドレス(RA)として選択的に出力する。
ロウアドレスマルチプレクサ440から出力されたロウアドレス(RA)は、バンクロウデコーダ(460a〜460h)に各々印加される。
バンクロウデコーダ(460a〜460h)のうち、バンク制御ロジック430により活性化されたバンクロウデコーダは、ロウアドレスマルチプレクサ440から出力されたロウアドレス(RA)をデコーディングしてロウアドレスに対応するワードラインを活性化する。
コラムアドレスラッチ450は、アドレスレジスタ420からコラムアドレス(COL_ADDR)を受信し、受信したコラムアドレス(COL_ADDR)を一時的に格納する。
また、コラムアドレスラッチ450は、バーストモード(burst mode)で、受信したコラムアドレス(COL_ADDR)を徐々に増加させることができる。
コラムアドレスラッチ450は、一時的に格納された、または徐々に増加したコラムアドレス(COL_ADDR)をバンクコラムデコーダ(470a〜470h)に各々印加する。
バンクコラムデコーダ(470a〜470h)のうち、バンク制御ロジック430により活性化されたバンクコラムデコーダは、入出力ゲーティング回路490を介してバンクアドレス(BANK_ADDR)及びコラムアドレス(COL_ADDR)に対応するセンスアンプを活性化させる。
入出力ゲーティング回路490は、入出力データをゲーティングする回路と共に、入力データマスクロジック、バンクアレイ(480a〜480h)から出力されたデータを格納するための読出データラッチ、及びバンクアレイ(480a〜480h)にデータを書き込むための書込ドライバを含むことができる。
バンクアレイ(480a〜480h)の内の1つのバンクアレイから読み出されるデータ(DQ)は、1つのバンクアレイに対応するセンスアンプにより感知され、読出データラッチに格納される。
読出データラッチに格納されたデータ(DQ)は、データ入出力バッファ495を介してメモリコントローラに提供される。
バンクアレイ(480a〜480h)の内の1つのバンクアレイに書き込まれるデータ(DQ)は、メモリコントローラからデータ入出力バッファ495に提供される。
データ入出力バッファ495に提供されたデータ(DQ)は、書込ドライバを介して1つのバンクアレイに書き込まれる。
制御ロジック410は、半導体メモリ領域400の動作を制御する。
制御ロジック410は、半導体メモリ領域400に書き込み動作又は読み出し動作が実行されるように制御信号を生成する。
制御ロジック410は、メモリコントローラから受信されるコマンド(CMD)をデコーディングするコマンドデコーダ411及び半導体メモリ領域400の動作モードを設定するためのモードレジスタセット(mode register set:MRS)412を含むことができる。
図6は、本発明の実施形態に係る演算ユニット概略構成を示す回路図である。
図6を参照すると、演算ユニット(CU)の内部データ(DW[N−1:0])を受信する第1入力端子は第1ノードN1に接続され、演算ユニット(CU)のブロードキャストデータ(DA[N−1:0])を受信する第2入力端子は第2ノードN2に接続される。
第1ノードN1は、グローバル入出力ライン(GIO、GIOB)の信号を増幅して出力する入出力センスアンプ(IOSA)の出力端子に該当する。
第2ノードN2は、グローバル入出力ライン(GIO、GIOB)を駆動する入出力ドライバ(IODRV)の入力端子に該当する。
通常の読み出し動作時には演算ユニット(CU)はディスエーブルされ、入出力センスアンプ(IOSA)はグローバル入出力ライン(GIO、GIOB)を介して伝達される読出データを増幅して外部に提供し、通常の書き込み動作時には演算ユニット(CU)はディスエーブルされ、入出力ドライバ(IODRV)は外部から提供された書込データに基づいてグローバル入出力ライン(GIO、GIOB)を駆動する。
一方、演算動作時には演算ユニット(CU)がイネーブルされてブロードキャストデータ(DA[N−1:0])及び内部データ(DW[N−1:0])を受信する。
この際、入出力センスアンプ(IOSA)はイネーブルされて内部データ(DW[N−1:0])を出力し、入出力ドライバ(IODRV)はディスエーブルされてブロードキャストデータ(DA[N−1:0])が内部のメモリセルに提供されることを遮断する。
一実施形態において、図6に示したように、演算ユニット(CU)の演算結果データを提供する出力端子は、入出力センスアンプの出力端子、即ち第1ノードN1に接続され、したがって、通常の読み出し経路を用いて演算結果データ(DR)が提供できる。
演算ユニット(CU)が演算結果データ(DR)を提供する間、入出力センスアンプ(IOSA)はディスエーブルされる。
他の実施形態において、演算ユニット(CU)の出力端子は、第1ノードN1に接続されず、通常の読み出し経路と区別される別個の経路を介して提供することもできる。
更に他の実施形態において、演算ユニット(CU)の出力端子は、第2ノードN2に接続され、通常の書き込み経路を介して内部のメモリセルに格納することもできる。
図6には、図の便宜上、1ビットに該当する1つの差動グローバルライン対(GIO、GIOB)を示したが、1つの演算ユニット(CU)はN個のグローバルライン対に接続されてNビットのブロードキャストデータ(DA[N−1:0])、及びNビットの内部データ(DW[N−1:0])を受信することができる。
例えば、積層型メモリ装置の動作モードによって、Nは、8、16、又は32であり得る。
以下では、図7から図24を参照して本発明の実施形態に係る積層型メモリ装置のデータ転送経路の実施形態を説明する。
図7から図24には説明及び図の便宜のために、1つのロジック半導体ダイ1010と第1〜第4メモリ半導体ダイ(1100、1200、1300、1400)を示すが、ロジック半導体ダイの個数及びメモリ半導体ダイの個数は多様に決定できる。
図7は、本発明の実施形態に係る積層型メモリ装置における通常のアクセス動作時、データ転送経路を示す分解斜視図であり、図8a及び8bは、図7のデータ転送経路を具現する一実施形態を示す回路図である。
図7の積層メモリ装置を参照すると、第1〜第4メモリ半導体ダイ(1100、1200、1300、1400)に各々対応する第1〜第4データバス(DBUS1〜DBUS4)を介してロジック半導体ダイ1010と第1〜第4メモリ半導体ダイ(1100、1200、1300、1400)との間にデータ交信が実行できる。
即ち、通常の読み出し及び書き込み動作時には、第1データバスDBUS1を介してロジック半導体ダイ1010と第1メモリ半導体ダイ1100との間にデータが転送され、第2データバスDBUS2を介してロジック半導体ダイ1010と第2メモリ半導体ダイ1200との間にデータが転送され、第3データバスDBUS3を介してロジック半導体ダイ1010と第3メモリ半導体ダイ1300との間にデータが転送され、第4データバスDBUS4を介してロジック半導体ダイ1010と第4メモリ半導体ダイ1400との間にデータが転送される。
通常の読み出し及び書き込み動作時には、第1〜第4メモリ半導体ダイ(1100、1200、1300、1400)の間のデータ転送は実行できない。
データバス(DBUS1〜DBUS4)の各々は、複数のデータ経路を含み、各データ経路は積層された半導体ダイに形成されたシリコン貫通ビアを接続して垂直に長く延長できる。
図8a及び8bを参照すると、ロジック半導体ダイ1010と第1〜第4メモリ半導体ダイ(1100、1200、1300、1400)には対応するデータバス(DBUS1〜DBUS4)を介して両方向通信を実行する送信回路(TX1〜TX4、TX11〜TX14、TX21〜TX24、TX31〜TX34、TX41〜TX44)及び受信回路(RX1〜RX4、RX11〜RX14、RX21〜RX24、RX31〜RX34、RX41〜RX44)を含む。
製造工程の統一のために、第1〜第4メモリ半導体ダイ(1100、1200、1300、1400)の各々に、第1〜第4データバス(DBUS1〜DBUS4)の対応する送信回路(TX1〜TX4、TX11〜TX14、TX21〜TX24、TX31〜TX34、TX41〜TX44)及び受信回路(RX1〜RX4、RX11〜RX14、RX21〜RX24、RX31〜RX34、RX41〜RX44)を全て備えて、これらを選択的にイネーブルすることができる。
図8aは、通常の書き込み動作に対応するデータ転送経路を示し、図8bは通常の読み出し動作に対応するデータ転送経路を示す。
図8aを参照すると、通常の書き込み動作時にはロジック半導体ダイ1010の送信回路(TX1〜TX4)、とメモリ半導体ダイ(1100、1200、1300、1400)の各受信回路(RX11、RX22、RX33、RX44)がイネーブルされてデータバス(DBUS1〜DBUS4)の各々を介してロジック半導体ダイ1010からメモリ半導体ダイ(1100、1200、1300、1400)に書込データが転送される。
ロジック半導体ダイ1010の第1送信回路TX1と第1メモリ半導体ダイ1100の第1受信回路RX11がイネーブルされて対応する第1データバスDBUS1を介して書込データWR1が転送される。
ロジック半導体ダイ1010の第2送信回路TX2と第2メモリ半導体ダイ1200の第2受信回路RX22がイネーブルされて対応する第2データバスDBUS2を介して書込データWR2が転送される。
ロジック半導体ダイ1010の第3送信回路TX3と第3メモリ半導体ダイ1300の第3受信回路RX33がイネーブルされて対応する第3データバスDBUS3を介して書込データWR3が転送される。
ロジック半導体ダイ1010の第4送信回路TX4と第4メモリ半導体ダイ1400の第4受信回路RX44がイネーブルされて対応する第4データバスDBUS4を介して書込データWR4が転送される。
図8bを参照すると、通常の読み出し動作時には、メモリ半導体ダイ(1100、1200、1300、1400)の各送信回路(TX11、TX22、TX33、TX44)とロジック半導体ダイ1010の受信回路(RX1〜RX4)がイネーブルされてデータバス(DBUS1〜DBUS4)の各々を介してメモリ半導体ダイ(1100、1200、1300、1400)からロジック半導体ダイ1010に読出データが転送される。
第1メモリ半導体ダイ1100の第1送信回路TX11とロジック半導体ダイ1010の第1受信回路RX1がイネーブルされて対応する第1データバスDBUS1を介して読出データRD1が転送される。
第2メモリ半導体ダイ1200の第2送信回路TX22とロジック半導体ダイ1010の第2受信回路RX2がイネーブルされて対応する第2データバスDBUS2を介して読出データRD2が転送される。
第3メモリ半導体ダイ1300の第3送信回路TX33とロジック半導体ダイ1010の第3受信回路RX3がイネーブルされて対応する第3データバスDBUS3を介して読出データRD3が転送される。
第4メモリ半導体ダイ1400の第4送信回路TX44とロジック半導体ダイ1010の第4受信回路RX4がイネーブルされて対応する第4データバスDBUS4を介して読出データRD4が転送される。
このような方式により通常の書き込み動作及び読み出し動作は、メモリ半導体ダイ(1100、1200、1300、1400)に各々対応するデータバス(DBUS1〜DBUS4)を介してデータが転送できる。
図9から図24は、本発明の実施形態に係る演算動作のためのデータ転送経路の実施形態を示す図である。
基本的な構成及び動作は図7、図8a、及び図8bと同一であるので重複説明は省略する。
図9は、本発明の実施形態に係る積層型メモリ装置におけるブロードキャストデータの転送経路の一実施形態を示す分解斜視図であり、図10は図9のブロードキャストデータの転送経路を具現する一実施形態を示す回路図である。
積層されたメモリ半導体ダイ(1100、1200、1300、1400)の一部は、演算回路(CAL)が形成された演算半導体ダイに該当し、残りの一部は演算回路(CAL)が形成されない入出力半導体ダイに該当する。
図9には、第1、第2、及び第3メモリ半導体ダイ(1100、1200、1300)が演算半導体ダイに該当し、第4メモリ半導体ダイ1400が入出力半導体ダイに該当する例を示す。
図9を参照すると、ブロードキャストデータ(DA)は、ロジック半導体ダイ1010を経由せず、入出力半導体ダイ1400から演算半導体ダイ(1100、1200、1300)に直接伝達される。
入出力半導体ダイ1400は、演算半導体ダイ(1100、1200、1300)に各々対応するデータバス(DBUS1、DBUS2、DBUS3)をブロードキャストデータ(DA)で同時に駆動する。
演算半導体ダイ(1100、1200、1300)の各々は、演算半導体ダイ(1100、1200、1300)に各々対応するデータバス(DBUS1、DBUS2、DBUS3)を介してブロードキャストデータ(DA)を受信する。
図10を参照すると、入出力半導体ダイ1400の第1送信回路TX41と第1演算半導体ダイ1100の第1受信回路RX11がイネーブルされて対応する第1データバスDBUS1を介してブロードキャストデータ(DA)が転送される。
入出力半導体ダイ1400の第2送信回路TX42と第2演算半導体ダイ1200の第2受信回路RX22がイネーブルされて対応する第2データバスDBUS2を介してブロードキャストデータ(DA)が転送される。
入出力半導体ダイ1400の第3送信回路TX43と第3演算半導体ダイ1300の第3受信回路RX33がイネーブルされて対応する第3データバスDBUS3を介してブロードキャストデータ(DA)が転送される。
このようなブロードキャストデータ(DA)の転送は、全ての演算半導体ダイ(1100、1200、1300)に対して同時に実行できる。
図10を参照して送信回路と受信回路の選択的なイネーブルによりブロードキャストデータ(DA)の転送を遂行する実施形態を説明したが、ブロードキャストデータ(DA)の転送は、図11a及び11bを参照して後述するように、データバスの選択的な接続を通じても実行できる。
図11a及び11bは、図9のブロードキャストデータの転送経路を具現する他の実施形態を示す回路図である。
図11aを参照すると、隣接するデータバス(DBUS1〜DBUS4)の間にはスイッチ制御信号(SCON1、SCON2、SCON3)に応答してターンオンされるスイッチ回路(SW1、SW2、SW3)が各々結合される。
スイッチ回路(SW1、SW2、SW3)が全てターンオンされれば、データバス(DBUS1〜DBUS4)が全て電気的に接続される。
この場合、入出力半導体ダイ1400は対応する第4データバスDBUS4のみをブロードキャストデータ(DA)として駆動しても第1、第2、及び第3データバス(DBUS1、DBUS2、DBUS3)を介して演算半導体ダイ(1100、1200、1300)に各々ブロードキャストデータ(DA)が転送される。
図11bを参照すると、入出力半導体ダイ1400に対応する第4データバスDBUS4と演算半導体ダイ(1100、1200、1300)に対応するデータバス(DBUS1、DBUS2、DBUS3)の間にはスイッチ制御信号(SCON1、SCON2、SCON3)に応答してターンオンされるスイッチ回路(SW1、SW2、SW3)が各々結合される。
スイッチ回路(SW1、SW2、SW3)が全てターンオンされれば、データバス(DBUS1〜DBUS4)が全て電気的に接続される。
この場合、入出力半導体ダイ1400は対応する第4データバスDBUS4をブロードキャストデータ(DA)として駆動しても第1、第2、及び第3データバス(DBUS1、DBUS2、DBUS3)を介して演算半導体ダイ(1100、1200、1300)に各々ブロードキャストデータ(DA)が転送される。
図12は、本発明の実施形態に係る積層型メモリ装置におけるブロードキャストデータの転送経路の一実施形態を示す分解斜視図であり、図13は図12のブロードキャストデータの転送経路を具現する一実施形態を示す回路図である。
図12を参照すると、ブロードキャストデータ(DA)は、ロジック半導体ダイ1010を経由せず、入出力半導体ダイ1400から演算半導体ダイ(1100、1200、1300)に直接伝達される。
入出力半導体ダイ1400は、入出力半導体ダイ1400に対応する第4データバスDBUS4をブロードキャストデータ(DA)として駆動する。
演算半導体ダイ(1100、1200、1300)の各々は、入出力半導体ダイ1400に対応する第4データバスDBUS4を介してブロードキャストデータ(DA)を受信する。
図13を参照すると、入出力半導体ダイ1400の第4送信回路TX44がイネーブルされると共に、第1演算半導体ダイ1100の第4受信回路RX14、第2演算半導体ダイ1200の第4受信回路RX24、及び第3演算半導体ダイ1300の第4受信回路RX34がイネーブルされて第4データバスDBUS4を介してブロードキャストデータ(DA)が同時に転送される。
図13を参照して送信回路と受信回路の選択的なイネーブルによりブロードキャストデータ(DA)の転送を遂行する実施形態を説明したが、ブロードキャストデータ(DA)の転送は、図14a、図14b、及び図14cを参照して後述するようにデータバスの選択的な接続を通じても実行できる。
図14a、14b、14cは、図12のブロードキャストデータの転送経路を具現する他の実施形態を示す回路図である。
図14a、14b、14cを参照すると、入出力半導体ダイ1400に対応する第4データバスDBUS4と演算半導体ダイ(1100、1200、1300)に対応するデータバス(DBUS1、DBUS2、DBUS3)の間にはスイッチ制御信号(SCON1、SCON2、SCON3)に応答してターンオンされるスイッチ回路(SW1、SW2、SW3)が各々結合される。
スイッチ回路(SW1、SW2、SW3)が全てターンオンされれば、データバス(DBUS1〜DBUS4)が全て電気的に接続される。
この場合、入出力半導体ダイ1400は対応する第4データバスDBUS4のみをブロードキャストデータ(DA)として駆動しても演算半導体ダイ(1100、1200、1300)では第1、第2、及び第3データバス(DBUS1、DBUS2、DBUS3)に対応する受信回路(RX11、RX22、RX33)を各々イネーブルすることによってブロードキャストデータ(DA)を受信することができる。
一実施形態において、図15から図18を参照して後述するように、演算半導体ダイ(1100、1200、1300)に含まれた演算回路(CAL)から出力される演算結果データ(DR1、DR2、DR3)は、演算半導体ダイ(1100、1200、1300)からロジック半導体ダイ1010に伝達された後、ロジック半導体ダイ1010から入出力半導体ダイ1400に伝達される。
他の実施形態において、図19から図22を参照して後述するように、演算結果データ(DR1、DR2、DR3)は、ロジック半導体ダイ1010を経由せず、演算半導体ダイ(1100、1200、1300)から入出力半導体ダイ1400に直接伝達される。
図15は、本発明の実施形態に係る積層型メモリ装置における演算回路の出力データの第1転送経路の一実施形態を示す分解斜視図であり、図16は図15の出力データの第1転送経路を具現する一実施形態を示す回路図である。
図15を参照すると、演算結果データ(DR1、DR2、DR3)は、演算半導体ダイ(1100、1200、1300)に各々対応するデータバス(DBUS1、DBUS2、DBUS3)を介して演算半導体ダイ(1100、1200、1300)からロジック半導体ダイ1010に同時に伝達される。
図2を参照して前述したように、ロジック半導体ダイ1010はグローバルバッファ1040を含むことができ、演算半導体ダイ(1100、1200、1300)から伝達される演算結果データ(DR1、DR2、DR3)は、グローバルバッファ1040に格納できる。
図16を参照すると、第1演算半導体ダイ1100の第1送信回路TX11とロジック半導体ダイ1010の第1受信回路RX1がイネーブルされて対応する第1データバスDBUS1を介して演算結果データDR1が転送される。
第2演算半導体ダイ1200の第2送信回路TX22とロジック半導体ダイ1010の第2受信回路RX2がイネーブルされて対応する第2データバスDBUS2を介して演算結果データDR2が転送される。
第3演算半導体ダイ1300の第3送信回路TX33とロジック半導体ダイ1010の第3受信回路RX3がイネーブルされて対応する第3データバスDBUS3を介して演算結果データDR3が転送される。
このような演算結果データ(DR1、DR2、DR3)の転送は、全ての演算半導体ダイ(1100、1200、1300)に対して同時に遂行できる。
図17は、本発明の実施形態に係る積層型メモリ装置における演算回路の出力データの第2転送経路の一実施形態を示す分解斜視図であり、図18は図17の出力データの第2転送経路を具現する一実施形態を示す回路図である。
図17を参照すると、演算結果データ(DR)は入出力半導体ダイ1400に対応する第4データバスDBUS4を通じてロジック半導体ダイ1010から入出力半導体ダイ1400に時分割方式により順次に伝達される。
ロジック半導体ダイ1010から入出力半導体ダイ1400に伝達される演算結果データ(DR)は、演算半導体ダイ(1100、1200、1300)からロジック半導体ダイ1010に伝達される演算結果データ(DR1、DR2、DR3)と同一であることもあり得、図2のデータトランスフォームロジック1050により処理されたデータであり得る。
図18を参照すると、ロジック半導体ダイ1010の第4送信回路TX4と入出力半導体ダイ1400の第4受信回路RX44がイネーブルされて対応する第4データバスDBUS4を介して演算結果データ(DR)が転送される。
この場合、演算結果データ(DR)は、通常の書き込み動作を通じて入出力半導体ダイ1400のメモリ集積回路に格納される。
演算結果データ(DR)の量が多い場合には時分割方式により順次に伝達される。
図19は、本発明の実施形態に係る積層型メモリ装置における演算回路の出力データの転送経路の一実施形態を示す分解斜視図であり、図20は、図19の出力データの転送経路を具現する一実施形態を示す回路図である。
図19を参照すると、演算結果データ(DR1、DR2、DR3)は、ロジック半導体ダイ1010を経由せず、演算半導体ダイ(1100、1200、1300)から入出力半導体ダイ1400に直接伝達される。
演算半導体ダイ(1100、1200、1300)は、演算半導体ダイ(1100、1200、1300)に各々対応するデータバス(DBUS1、DBUS2、DBUS3)を各々の演算結果データ(DR1、DR2、DR3)として順次に駆動する。
入出力半導体ダイ1400は、演算半導体ダイ(1100、1200、1300)に対応するデータバス(DBUS1、DBUS2、DBUS3)を介して演算結果データ(DR1、DR2、DR3)を順次に受信する。
図20を参照すると、第1演算半導体ダイ1100の第1送信回路TX11と入出力半導体ダイ1400の第1受信回路RX41がイネーブルされて対応する第1データバスDBUS1を介して演算結果データDR1が転送される。
第2演算半導体ダイ1200の第2送信回路TX22と入出力半導体ダイ1400の第2受信回路RX42がイネーブルされて対応する第2データバスDBUS2を介して演算結果データDR2が転送される。
第3演算半導体ダイ1300の第3送信回路TX33と入出力半導体ダイ1400の第3受信回路RX43がイネーブルされて対応する第3データバスDBUS3を介して演算結果データDR3が転送される。
このような演算結果データ(DR1、DR2、DR3)の転送は、演算半導体ダイ(1100、1200、1300)に対して1つずつ順次に実行できる。
図21は、本発明の実施形態に係る積層型メモリ装置における演算回路の出力データの転送経路の一実施形態を示す分解斜視図であり、図22は、図21の出力データの転送経路を具現する一実施形態を示す回路図である。
図21を参照すると、演算結果データ(DR1、DR2、DR3)は、ロジック半導体ダイ1010を経由せず、演算半導体ダイ(1100、1200、1300)から入出力半導体ダイ1400に直接伝達される。
演算半導体ダイ(1100、1200、1300)は、入出力半導体ダイ1400に対応する第4データバスDBUS4を各々の演算結果データ(DR1、DR2、DR3)として順次に駆動する。
入出力半導体ダイ1400は、入出力半導体ダイ1400に対応する第4データバスDBUS4を介して各々の演算結果データ(DR1、DR2、DR3)を順次に受信する。
図22を参照すると、第1演算半導体ダイ1100の第4送信回路TX14、第2演算半導体ダイ1200の第4送信回路TX24、及び第3演算半導体ダイ1300の第4送信回路TX34が順次にイネーブルされて第4データバスDBUS4を介して演算結果データ(DR1、DR2、DR3)を順次に出力する。
入出力半導体ダイ1400の第4受信回路RX44は、続けてイネーブルされた状態を維持して演算結果データ(DR1、DR2、DR3)を順次に受信する。
図23は、本発明の実施形態に係る積層型メモリ装置におけるブロードキャストデータの転送経路の一実施形態を示す分解斜視図であり、図24は図23のブロードキャストデータの転送経路を具現する一実施形態を示す回路図である。
図23に示すように、積層されたメモリ半導体ダイ(1100、1200、1300、1400)の全部は、演算回路(CAL)が形成された演算半導体ダイに該当することができる。
この場合、第1〜第4演算半導体ダイ(1100、1200、1300、1400)のうちの1つから残りの演算半導体ダイにブロードキャストデータ(DA)を伝達することができる。
ブロードキャストデータ(DA)を提供する演算半導体ダイは、ロジック半導体ダイ1010から提供されるコマンドに基づいて決定できる。
図23には第3演算半導体ダイ1300がブロードキャストデータ(DA)を提供する例を示す。
図23を参照すると、ブロードキャストデータ(DA)はロジック半導体ダイ1010を経由せず、1つの演算半導体ダイ、即ち第3演算半導体ダイ1300から他の演算半導体ダイ、即ち第1、第2、及び第4演算半導体ダイ(1100、1200、1400)に直接伝達される。
第3演算半導体ダイ1300は、第1、第2、及び第4演算半導体ダイ(1100、1200、1400)に各々対応するデータバス(DBUS1、DBUS2、DBUS4)をブロードキャストデータ(DA)で同時に駆動する。
第1、第2、及び第4演算半導体ダイ(1100、1200、1400)の各々は、対応するデータバス(DBUS1、DBUS2、DBUS4)を介してブロードキャストデータ(DA)を受信する。
図24を参照すると、第3演算半導体ダイ1300の第1送信回路TX31と第1演算半導体ダイ1100の第1受信回路RX11がイネーブルされて対応する第1データバスDBUS1を介してブロードキャストデータ(DA)が転送される。
第3演算半導体ダイ1300の第2送信回路TX32と第2演算半導体ダイ1200の第2受信回路RX22がイネーブルされて対応する第2データバスDBUS2を介してブロードキャストデータ(DA)が転送される。
第3演算半導体ダイ1300の第4送信回路TX34と第4演算半導体ダイ1400の第4受信回路RX44がイネーブルされて対応する第4データバスDBUS4を介してブロードキャストデータ(DA)が転送される。
このようなブロードキャストデータ(DA)の転送は、全ての演算半導体ダイ(1100、1200、1400)に対して同時に実行される。
一方、図24に示してはいないが、第3演算半導体ダイ1300の第3送信回路TX33と第3受信回路RX33がイネーブルされてブロードキャストデータ(DA)が第3演算半導体ダイ1300の演算ユニットの対応する入力端子に提供できる。
この場合、第3演算半導体ダイ1300はブロードキャストデータ(DA)を提供する役割だけでなく、他の演算半導体ダイと同様に演算動作を実行することができる。
図25は、本発明の実施形態に係る積層型メモリ装置に含まれる演算ユニットの一実施形態を示すブロック図である。
図25を参照すると、各演算ユニット500は、乗算部520及び累積部540を含む。
乗算部520は、バッファ(521、522)と乗算器523を含み、ブロードキャストデータ(DA[N−1:0])及び内部データ(DW[N−1:0])を乗算して出力する。
累積部540は、加算器541とバッファ542を含み、乗算部520の出力を累積して演算結果データ(DR)を提供する。
累積部540は、リセット信号(RST)に応答して初期化され、出力制御信号(OUTEN)に応答して演算結果データ(DR)を出力する。
このような演算ユニット500を用いて図27を参照して後述するマトリックス演算を効率良く実行することができる。
図26は、本発明の一実施形態に係る演算結果データの出力方法を説明するための図である。
図26には1つのチャンネル(CHANNEL−0)に対応する演算結果データの出力方法の一実施形態を示す。
1つのチャンネル(CHANNEL−0)は、複数のメモリバンク(BANK0〜BANK15)を含み、メモリバンク(BANK0〜BANK15)の各々は、複数の演算ユニット(CU0〜CU15)を含む。
メモリバンク(BANK0〜BANK15)は、HBM標準に規定された通り、2つのシュードチャンネル(PSE−0、PSE−1)に区分できる。
演算ユニットが形成される演算半導体ダイの各々は、図26に示すようなバンク合算器(610a〜610p)をさらに含む。
バンク合算器(610a〜610p)は、メモリバンク(BANK0〜BANK15)の各々に該当する演算ユニットの出力を合算して各々のバンク結果信号(BR0〜BR15)を発生する。
各々の演算半導体ダイで発生するバンク結果信号(BR0〜BR15)は、各々の演算半導体ダイに対応するデータバスDBUSを介して同時に出力できる。
例えば、1つのチャンネル(CHANNEL−0)に対応するデータバスDBUSが128ビットに対応し、1つのチャンネル(CHANNEL−0)が16個のメモリバンク(BANK0〜BANK15)を含む場合、1つのバンク合算器の出力は1つのバイト、即ち8ビットに対応するデータバスDBUSのデータ経路を介して出力される。
即ち、第1バンク合算器610aのバンク結果信号BR0は、データバスDBUSの第1バイト(BY0)に対応するデータ経路を介して出力され、第2バンク合算器610bのバンク結果信号BR1は、データバスDBUSの第2バイト(BY1)に対応するデータ経路を介して出力され、このような方式により、第16バンク合算器610pのバンク結果信号BR15はデータバスDBUSの第16バイト(BY15)に対応するデータ経路を介して出力される。
図27は、本発明の実施形態に係る演算回路を用いたマトリックス演算を説明するための図である。
図27は、本発明の実施形態に係る積層型メモリ装置が複数の演算ユニット(CU0−0〜CU95−15)を用いてマトリックス−ベクトル(matrix−vector:MV)乗算(multiplication)を実行する方法を示す。
図27で、i番目行の演算ユニット(CUi−0〜CUi−15)は、i番目メモリバンクBANKiに対応する。
例えば、MV乗算は32ビットモードであり、各メモリバンクは16個の演算ユニットCUを含むことができる。
例えば、4個のメモリ半導体ダイの各々が2つのチャンネルを含み、各チャンネルが16個のメモリバンクを含むことができる。
この場合、1つの半導体ダイは前述した入出力半導体ダイに用いられ、3個のメモリ半導体ダイが演算半導体ダイに用いられる場合、演算半導体ダイに含まれるメモリバンクの個数は96個(6チャンネル×16メモリバンク)でありうる。
第1動作周期(T1)で第1セットのブロードキャストデータ(DA0〜DA15)が、第2動作周期(T2)で第2セットのブロードキャストデータ(DA16〜DA31)が順次にアクティベーション(activations)として全てのメモリバンクの全ての演算ユニットに共通に提供される。
このような方式によりアクティベーションが順次にブロードキャストできる。
一方、第1動作周期(T1)で第1セットの内部データ(DW0〜DW95)が、第2動作周期(T2)で第2セットの内部データ(DW96〜DW191)がウェイト(weights)として順次に演算ユニットに各々提供される。
内部データは、各々のメモリバンクから読み出されたデータに該当する。
このように、順次に提供されるアクティベーション及びウェイトに基づいて演算ユニットは内積演算(dot product operations)を実行する。
同一のメモリバンクの演算ユニットは同一の出力アクティベーションの部分和を提供する。
したがって、内積演算が完了した後に部分和は、図26のバンク合算器により合算されて、最終結果、即ちバンク結果信号(BR0〜BR95)が提供される。
本発明の実施形態に係る積層型メモリ装置において、図27に示すようなMV乗算は、1×1畳み込み(convolution)、又は完全接続されたレイヤ(fully−connected layer)に該当する。
MLP及びRNNの場合にブロードキャストデータ、即ちブロードキャスティングされたアクティベーションは1次元入力アクティベーションのサブ−アレイに該当する。
CNNの場合に入力アクティベーションは、入力アクティベーションテンソルで1×1サブ−コラムに該当する。
図28は、本発明の実施形態に係る積層型メモリ装置の動作を説明するためのタイミング図である。
図9を参照して前述したように、本発明の実施形態に係る積層型メモリ装置で、第1、第2、及び第3メモリ半導体ダイ(1100、1200、1300)は、演算回路CAL、即ち演算ユニットCUが形成される第1、第2、及び第3演算半導体ダイに該当し、第4メモリ半導体ダイ1400は、演算回路CALが形成されていない入出力半導体ダイでありうる。
この場合、前述したブロードキャストデータは、入出力半導体ダイ1400から提供される。
HBM標準に規定された通り、第1演算半導体ダイ1100は第1チャンネルCH0及び第2チャンネルCH1を含み、第2演算半導体ダイ1200は第3チャンネルCH2及び第4チャンネルCH3を含み、第3演算半導体ダイ1300は第5チャンネルCH4及び第6チャンネルCH5を含み、入出力半導体ダイ1400は第7チャンネルCH6及び第8チャンネルCH7を含む。
各チャンネルは、シュードチャンネル(PSE)「0」及び「1」として動作することができる。
本発明の実施形態に係る積層型メモリ装置は、演算ユニットを用いた複数の演算を並列的に実行するために図28に示したMRST、ABRO、MAC、SUM、MWRTのような新しいコマンドを規定することができる。
図28で、時点(T0〜TN+1)は、コマンドの相対的なタイミングを示す。
MRSTは、演算ユニットのバッファをリセットするためのコマンドである。
例えば、MRSTに基づいて図25のリセット信号(RST)が活性化され、バッファ542が初期化される。
また、MRSTは、ブロードキャストデータの転送のためにロジック半導体ダイ1010のメモリ制御部1030のチャンネル選択器をセッティングする。
ABROは、ブロードキャストデータの転送を開始する(initiate)。
ABROは、読出コマンドと類似しているが、読出データが外部に転送されず、演算半導体ダイの演算ユニットに伝達されるようにする。
ABROは、シュードチャンネル単位で発行される。
MACは、演算半導体ダイで演算動作を開始する。
MACは、読出コマンドと類似しているが、読出された内部データは演算ユニットのみまで伝達され、TSVを通じての外部または他の半導体ダイへの転送は防止される。
MACは、全ての演算半導体ダイにブロードキャスティングされ、シュードチャンネル単位で発行される。
SUMは、演算結果データを演算ユニットからロジック半導体ダイに転送する。
例えば、SUMに基づいて図25の出力制御信号(OUTEN)が活性化され、演算結果データ(DR)は図26のバンク合算器(610a〜610p)により合算されてバンク結果信号(BR)としてロジック半導体ダイ1010に提供される。
MWRTは、演算結果データをロジック半導体ダイ1010から入出力半導体ダイに転送するようにロジック半導体ダイ1010のメモリ制御部1030のチャンネル選択器をセッティングする。
図28で、第7チャンネルCH6と第8チャンネルCH7は、入出力半導体ダイ1400に該当し、ブロードキャストデータ及び演算結果データを格納し、第1〜第6チャンネル(CH0〜CH5)は、演算半導体ダイ(1100、1200、1300)に該当し、内部データを格納し、演算動作を実行する。
図28に示したように、ABRO、MAC、MWRTは、シュードチャンネル単位で、即ち第1シュードチャンネル(PSE−0)と第2シュードチャンネル(PSE−1)に対して交互に(alternatively)発行され、これによって、演算ユニットの動作が効率良く実行できる。
例えば、T2時点では第2シュードチャンネル(PSE−1)に対するブロードキャストデータの転送と第1シュードチャンネル(PSE−0)に対する内部データの転送及び演算が同時に実行できる。
図29及び図30は、本発明の実施形態に係る積層型メモリ装置のパッケージング構造を示す概略図である。
図29を参照すると、メモリチップ801は、インターポーザ(interposer:ITP)、及びインターポーザITPの上に実装される積層型メモリ装置を含む。
積層型メモリ装置は、ロジック半導体ダイLSD及び複数のメモリ半導体ダイ(MSD1〜MSD4)を含む。
図30を参照すると、メモリチップ802は、ベース基板(base substrate:BSUB)及びベース基板BSUBの上に実装される積層型メモリ装置を含む。
積層型メモリ装置は、ロジック半導体ダイLSD及び複数のメモリ半導体ダイ(MSD1〜MSD4)を含む。
図29にはロジック半導体ダイLSDを除外したメモリ半導体ダイ(MSD1〜MSD4)のみが共に垂直に積層され、ロジック半導体ダイLSDは、インターポーザITP(又はベース基板BSUB)を介して積層されたメモリ半導体ダイ(MSD1〜MSD4)と電気的に接続される構造を示す。
一方、図30では、ロジック半導体ダイLSDは、メモリ半導体ダイ(MSD1〜MSD4)と共に垂直に積層される構造を示す。
メモリ半導体ダイ(MSD1〜MSD4)の1つ以上は、前述した演算回路(CAL)を含むことができる。
演算回路(CAL)は、共通のブロードキャストデータと各内部データに基づいた演算を遂行する複数の演算ユニットを含む。
ベース基板BSUBは、インターポーザITPを含むものとして見なす。
ベース基板BSUBは、印刷回路基板(printed circuit board:PCB)でありうる。
ベース基板BSUBの下面には外部接続部材、例えば導電性バンプBMPが形成することができ、ベース基板BSUBの上面にも内部接続部材、例えば導電性バンプBMPを形成する。
図29の実施形態ではロジック半導体ダイLSDとメモリ半導体ダイ(MSD1〜MSD4)はインターポーザITPに形成された導電ラインパターンを介して互いに電気的に接続される。
このように積層された半導体ダイ(LSD、MSD1〜MSD4)は、封入部材RSNを用いてパッケージングされる。
図31は、本発明の実施形態に係る積層型メモリ装置を応用した例であるモバイルシステムの概略構成を示すブロック図である。
図31を参照すると、モバイルシステム3000は、アプリケーションプロセッサ3100、通信部3200、メモリ装置3300、不揮発性メモリ装置3400、ユーザインターフェース3500、及びパワーサプライ3600を含む。
アプリケーションプロセッサ3100は、インターネットブラウザ、ゲーム、動画像などを提供するアプリケーションを実行する。
通信部3200は、外部装置と無線通信または有線通信を実行する。
メモリ装置3300は、アプリケーションプロセッサ3100により処理されるデータを格納するか、又は動作メモリ(Working Memory)として動作する。
例えば、メモリ装置3300は、DDR SDRAM、LPDDR SDRAM、GDDR SDRAM、RDRAMなどの動的ランダムアクセスメモリでありうる。
不揮発性メモリ装置3400は、モバイルシステム3000をブーティング(booting)するためのブートイメージを格納することができる。
ユーザインターフェース3500は、キーパッド、タッチスクリーンのような1つ以上の入力装置、及び/又はスピーカー、ディスプレイ装置のような1つ以上の出力装置を含む。
パワーサプライ3600は、モバイルシステム3000の電源電圧を供給する。
また、実施形態に従って、モバイルシステム3000は、カメライメージプロセッサ(Camera Image Processor:CIS)をさらに含むことができ、メモリカード(Memory Card)、ソリッドステートドライブ(Solid State Drive:SSD)、ハードディスクドライブ(Hard Disk Drive:HDD)、CD−ROMなどの格納装置をさらに含むことができる。
メモリ装置3300及び/又は不揮発性メモリ装置3400は、図1から図30を参照して前述したような積層型構造として具現できる。
積層型構造は、TSVを通じて接続される積層された複数のメモリ半導体ダイを含み、メモリ半導体ダイの1つ以上には前述したような演算ユニットが形成される。
以上、説明したように、本発明の実施形態に係る積層型メモリ装置、これを含むシステム、及びその動作方法は、メモリ集約的(memory−intensive)又はデータ集約的(data−intensive)なデータプロセスをメモリ半導体ダイに含まれた複数の演算ユニットにより並列的に実行することによって、積層型メモリ装置、ロジック半導体ダイ、及び外部装置との間で交信するデータの量を減少させてデータプロセシング時間及び電力消費を減少させることができる。
尚、本発明は、上述の実施形態に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
本発明は、メモリ装置及びこれを含む電子機器、システムに好適に利用される。
特に、本発明の実施形態は、メモリカード、ソリッドステートドライブ(Solid State Drive:SSD)、コンピュータ、ノートブックコンピュータ、携帯電話、スマートフォン、MP3プレーヤ、PDA(Personal Digital Assistants)、PMP(Portable Multimedia Player)、デジタルTV、デジタルカメラ、ポータブルゲームコンソールなどの電子機器にさらに有用に適用できる。
10 メモリシステム
12 インターコネクタ装置
100 演算回路
100a〜100h 演算ブロック
200 メモリバンク
300 演算ブロック
400 メモリ領域
410 制御ロジック
411 コマンドデコーダ
412 モードレジスタセット
420 アドレスレジスタ
430 バンク制御ロジック
440 ロウアドレスマルチプレクサ
445 リフラッシュカウンター
450 コラムアドレスラッチ
460 ロウデコーダ
460a〜460h バンクロウデコーダ
470 コラムデコーダ
470a〜470h バンクコラムデコーダ
480 メモリセルアレイ
480a〜480h バンクアレイ
490 入出力ゲーティング回路
495 データ入出力バッファ
1000 積層型メモリ装置
1001 高帯域幅メモリ
1010 ロジック半導体ダイ
1020 メモリインターフェース
1030 メモリ制御部
1040 グローバルバッファ
1050 データトランスフォームロジック
1070、1080 メモリ半導体ダイ(演算半導体ダイを含む)
1071、1081 メモリ集積回路(MEM)
1100〜1400 第1〜第4メモリ半導体ダイ(入出力半導体ダイ、演算半導体ダイを含む)
1401、1402 メモリ集積回路
2000 ホスト装置
2110 ホストインターフェース
2120、2130 プロセッサコア

Claims (20)

  1. 少なくとも1つのロジック半導体ダイ(semiconductor die)と、
    前記ロジック半導体ダイの上に積層される複数のメモリ半導体ダイと、
    前記ロジック半導体ダイ及び前記複数のメモリ半導体ダイを電気的に接続する複数のシリコン貫通ビア(via)と、を有し、
    前記メモリ半導体ダイ各々には、データを格納するメモリ集積回路が形成され、
    前記メモリ半導体ダイの内の1つ以上は、演算ユニットをさらに含む演算半導体ダイであり、
    前記演算ユニットは、ブロードキャストデータ及び内部データに基づいて演算を実行し、演算結果データを生成するように構成され、
    前記ブロードキャストデータは、前記シリコン貫通ビアを介して、前記演算半導体ダイに共通に提供され、
    前記内部データは、前記演算半導体ダイの前記メモリ集積回路から各々読み出されることを特徴とする積層型メモリ装置。
  2. 前記メモリ半導体ダイの各々は、複数のメモリバンクを含み、前記演算ユニットは前記演算半導体ダイに含まれる前記メモリバンクの内部に分散して配置されることを特徴とする請求項1に記載の積層型メモリ装置。
  3. 前記演算半導体ダイの前記メモリバンクに含まれる前記演算ユニットは、前記ブロードキャストデータを共通に受信して前記演算を並列的に実行することを特徴とする請求項2に記載の積層型メモリ装置。
  4. 前記メモリバンクの各々は、複数のデータブロックを含み、前記演算半導体ダイに含まれる前記データブロックの一定の個数毎に演算ユニットが1つずつ配置されることを特徴とする請求項2に記載の積層型メモリ装置。
  5. 前記演算ユニットの前記内部データを受信する第1入力端子は、グローバル入出力ラインの信号を増幅して出力する入出力センスアンプの出力端子に接続され、
    前記演算ユニットの前記ブロードキャストデータを受信する第2入力端子は、前記グローバル入出力ラインを駆動する入出力ドライバの入力端子に接続されることを特徴とする請求項1に記載の積層型メモリ装置。
  6. 前記メモリ半導体ダイのうちの少なくとも1つは、前記演算ユニットを含まない入出力半導体ダイであることを特徴とする請求項1に記載の積層型メモリ装置。
  7. 前記ブロードキャストデータは、前記ロジック半導体ダイを経由せず、前記入出力半導体ダイから前記演算半導体ダイに直接伝達されることを特徴とする請求項6に記載の積層型メモリ装置。
  8. 前記入出力半導体ダイは、前記ブロードキャストデータと共に前記演算半導体ダイに各々対応する複数のデータバスを同時に駆動し、
    前記演算半導体ダイの各々は、対応するデータバスの1つを介して前記ブロードキャストデータを受信することを特徴とする請求項6に記載の積層型メモリ装置。
  9. 前記入出力半導体ダイは、前記ブロードキャストデータと共に前記入出力半導体ダイに対応するデータバスを駆動し、
    前記演算半導体ダイの各々は、前記入出力半導体ダイに対応するデータバスを介して前記ブロードキャストデータを受信することを特徴とする請求項6に記載の積層型メモリ装置。
  10. 前記演算結果データは、前記演算半導体ダイから前記ロジック半導体ダイに伝達された後、前記ロジック半導体ダイから前記入出力半導体ダイに伝達されることを特徴とする請求項6に記載の積層型メモリ装置。
  11. 前記演算結果データは、前記演算半導体ダイに各々対応するデータバスを介して前記演算半導体ダイから前記ロジック半導体ダイに同時に伝達され、
    前記演算結果データは、前記入出力半導体ダイに対応するデータバスを介して前記ロジック半導体ダイから前記入出力半導体ダイに時分割方式により順次に伝達されることを特徴とする請求項10に記載の積層型メモリ装置。
  12. 前記演算結果データは、前記ロジック半導体ダイを経由せず、前記演算半導体ダイから前記入出力半導体ダイに直接伝達されることを特徴とする請求項6に記載の積層型メモリ装置。
  13. 前記各演算半導体ダイは、前記演算結果データと共に対応するデータバスを駆動し、
    前記入出力半導体ダイは、前記演算半導体ダイに対応するデータバスを介して前記演算結果データを順次に受信することを特徴とする請求項12に記載の積層型メモリ装置。
  14. 前記演算半導体ダイは、前記演算結果データと共に前記入出力半導体ダイに対応するデータバスを順次に駆動し、
    前記入出力半導体ダイは、前記入出力半導体ダイに対応するデータバスを介して前記演算結果データを順次に受信することを特徴とする請求項12に記載の積層型メモリ装置。
  15. 前記メモリ半導体ダイの全部は、前記演算ユニットをさらに含む前記演算半導体ダイであることを特徴とする請求項1に記載の積層型メモリ装置。
  16. 前記演算半導体ダイの各々は、複数のバンク合算器をさらに含み、
    前記複数のバンク合算器は、前記各メモリバンク内の前記演算ユニットの出力を合算して各々のバンク結果信号を生成することを特徴とする請求項2に記載の積層型メモリ装置。
  17. 前記演算ユニットの各々は、前記ブロードキャストデータと前記内部データを乗算して出力する乗算部と、
    前記乗算部の出力を累積して前記演算結果データを提供する累積部と、を含むことを特徴とする請求項1に記載の積層型メモリ装置。
  18. 前記ロジック半導体ダイは、前記メモリ半導体ダイから提供されたデータ、又は外部装置から提供されたデータを処理するデータトランスフォームロジックをさらに含むことを特徴とする請求項1に記載の積層型メモリ装置。
  19. ベース基板と、
    前記ベース基板の上に積層される少なくとも1つのロジック半導体ダイと、
    前記ベース基板又は前記ロジック半導体ダイの上に積層される複数のメモリ半導体ダイと、
    前記メモリ半導体ダイの内の1つ以上の演算半導体ダイに各々形成された複数の演算ユニットと、を有し、
    前記複数の演算ユニットは、ブロードキャストデータ及び内部データに基づいて演算を実行して、演算結果データを生成し、
    前記ブロードキャストデータは、演算半導体ダイに共通に提供され、前記内部データは、前記演算半導体ダイに含まれるメモリ集積回路から各々読み出されることを特徴とするメモリシステム。
  20. 積層された複数のメモリ半導体ダイのうちの1つ以上の演算半導体ダイに複数の演算ユニットを形成するステップと、
    前記複数のメモリ半導体ダイを電気的に接続する複数のシリコン貫通ビア(via)を介してブロードキャストデータを前記各演算ユニットに共通に提供するステップと、
    前記演算半導体ダイのメモリ集積回路から各々読み出される内部データを前記複数の演算ユニットに各々提供するステップと、
    前記複数の演算ユニットを用いて前記共通のブロードキャストデータ及び前記各々の内部データに基づく複数の演算を同時に実行するステップと、を有することを特徴とする積層型メモリ装置の動作方法。
JP2018180170A 2017-09-27 2018-09-26 積層型メモリ装置及びメモリシステム Active JP7317478B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170125481A KR102395463B1 (ko) 2017-09-27 2017-09-27 적층형 메모리 장치, 이를 포함하는 시스템 및 그 동작 방법
KR10-2017-0125481 2017-09-27

Publications (3)

Publication Number Publication Date
JP2019061677A true JP2019061677A (ja) 2019-04-18
JP2019061677A5 JP2019061677A5 (ja) 2021-11-04
JP7317478B2 JP7317478B2 (ja) 2023-07-31

Family

ID=65638267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018180170A Active JP7317478B2 (ja) 2017-09-27 2018-09-26 積層型メモリ装置及びメモリシステム

Country Status (7)

Country Link
US (3) US10553260B2 (ja)
JP (1) JP7317478B2 (ja)
KR (1) KR102395463B1 (ja)
CN (1) CN109560078B (ja)
DE (1) DE102018108702A1 (ja)
SG (1) SG10201808209UA (ja)
TW (1) TWI750365B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021198841A1 (ja) * 2020-04-03 2021-10-07 株式会社半導体エネルギー研究所 半導体装置
US11355181B2 (en) * 2020-01-20 2022-06-07 Samsung Electronics Co., Ltd. High bandwidth memory and system having the same
WO2022238798A1 (ja) * 2021-05-10 2022-11-17 株式会社半導体エネルギー研究所 半導体装置
WO2024028680A1 (ja) * 2022-08-02 2024-02-08 株式会社半導体エネルギー研究所 半導体装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102395463B1 (ko) 2017-09-27 2022-05-09 삼성전자주식회사 적층형 메모리 장치, 이를 포함하는 시스템 및 그 동작 방법
KR20200066953A (ko) 2018-12-03 2020-06-11 삼성전자주식회사 Pim을 채용하는 반도체 메모리 장치 및 그 동작 방법
US11094371B2 (en) 2019-03-11 2021-08-17 Samsung Electronics Co., Ltd. Memory device for processing operation and method of operating the same
US11171115B2 (en) 2019-03-18 2021-11-09 Kepler Computing Inc. Artificial intelligence processor with three-dimensional stacked memory
US11836102B1 (en) 2019-03-20 2023-12-05 Kepler Computing Inc. Low latency and high bandwidth artificial intelligence processor
CN111952298B (zh) * 2019-05-17 2023-12-29 芯盟科技有限公司 神经网络智能芯片及其形成方法
US11844223B1 (en) 2019-05-31 2023-12-12 Kepler Computing Inc. Ferroelectric memory chiplet as unified memory in a multi-dimensional packaging
US11043472B1 (en) 2019-05-31 2021-06-22 Kepler Compute Inc. 3D integrated ultra high-bandwidth memory
US11335383B2 (en) * 2019-05-31 2022-05-17 Micron Technology, Inc. Memory component for a system-on-chip device
TWI809298B (zh) 2019-08-14 2023-07-21 美商若響半導體股份有限公司 啟動記憶體之方法,記憶體和記憶體控制器及其操作方法,以及計算記憶體系統
CN110942793B (zh) * 2019-10-23 2021-11-23 北京新忆科技有限公司 存储器
KR20210081663A (ko) 2019-12-24 2021-07-02 삼성전자주식회사 인터커넥트 장치, 인터커넥트 장치의 동작 방법 및 인터커넥트 장치를 포함하는 AI(Artificial Intelligence) 가속기 시스템
US11842266B2 (en) * 2020-01-07 2023-12-12 SK Hynix Inc. Processing-in-memory (PIM) device, controller for controlling the PIM device, and PIM system including the PIM device and the controller
US20210350837A1 (en) * 2020-01-07 2021-11-11 SK Hynix Inc. Processing-in-memory (pim) device
US11537323B2 (en) * 2020-01-07 2022-12-27 SK Hynix Inc. Processing-in-memory (PIM) device
KR20210098728A (ko) * 2020-02-03 2021-08-11 삼성전자주식회사 적층형 메모리 장치 및 상기 적층형 메모리 장치의 동작 방법
US11189347B2 (en) * 2020-03-13 2021-11-30 Micron Technology, Inc. Resource management for memory die-specific operations
CN115335908A (zh) * 2020-03-30 2022-11-11 拉姆伯斯公司 具有集成高带宽存储器的堆叠裸片神经网络
CN113704137A (zh) * 2020-07-30 2021-11-26 西安紫光国芯半导体有限公司 存内计算模块和方法、存内计算网络及构建方法
KR20220030106A (ko) 2020-09-02 2022-03-10 삼성전자주식회사 저장 장치, 저장 장치의 동작 방법 및 이를 포함한 전자 장치
KR20220031793A (ko) 2020-09-03 2022-03-14 삼성전자주식회사 메모리 장치, 그것을 포함하는 메모리 시스템, 그것을 제어하는 제어기 및 그것의 동작 방법
KR20220032366A (ko) 2020-09-07 2022-03-15 삼성전자주식회사 가변적인 모드 설정을 수행하는 메모리 장치 및 그 동작방법
TWI792665B (zh) * 2021-01-21 2023-02-11 創惟科技股份有限公司 人工智慧(ai)演算法運算加速處理器與其方法、計算機系統與非暫態電腦可讀取媒體
US11791233B1 (en) 2021-08-06 2023-10-17 Kepler Computing Inc. Ferroelectric or paraelectric memory and logic chiplet with thermal management in a multi-dimensional packaging
US20230051863A1 (en) * 2021-08-10 2023-02-16 Micron Technology, Inc. Memory device for wafer-on-wafer formed memory and logic
US11893240B2 (en) 2021-10-28 2024-02-06 Qualcomm Incorporated Reducing latency in pseudo channel based memory systems

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60262253A (ja) * 1984-06-07 1985-12-25 Agency Of Ind Science & Technol メモリデ−タ処理回路
JPH07141175A (ja) * 1993-05-28 1995-06-02 Texas Instr Inc <Ti> アクティブメモリおよび処理方式
JPH10289192A (ja) * 1997-04-15 1998-10-27 Nec Corp コプロセッサ内蔵パケット型メモリlsi及びパケット型メモリ/コプロセッサバスとそれらの制御方法
JP2008140220A (ja) * 2006-12-04 2008-06-19 Nec Corp 半導体装置
JP2015176435A (ja) * 2014-03-17 2015-10-05 国立研究開発法人産業技術総合研究所 Lsiチップ積層システム
JP2017515239A (ja) * 2014-05-08 2017-06-08 マイクロン テクノロジー, インク. ハイブリッドメモリキューブシステム相互接続ディレクトリベースキャッシュコヒーレンス方法
US20170263306A1 (en) * 2016-03-10 2017-09-14 Micron Technology, Inc. Apparatuses and methods for logic/memory devices

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5159572A (ja) 1974-11-20 1976-05-24 Matsushita Electric Ind Co Ltd Kutsukinguteeburunadono choriki
DE69132495T2 (de) 1990-03-16 2001-06-13 Texas Instruments Inc Verteilter Verarbeitungsspeicher
WO2003088033A1 (en) 2002-04-09 2003-10-23 University Of Rochester Multiplier-based processor-in-memory architectures for image and graphics processing
JP4309368B2 (ja) * 2005-03-30 2009-08-05 エルピーダメモリ株式会社 半導体記憶装置
JP4423453B2 (ja) 2005-05-25 2010-03-03 エルピーダメモリ株式会社 半導体記憶装置
JP4799157B2 (ja) 2005-12-06 2011-10-26 エルピーダメモリ株式会社 積層型半導体装置
JP5331427B2 (ja) 2008-09-29 2013-10-30 株式会社日立製作所 半導体装置
US8127185B2 (en) * 2009-01-23 2012-02-28 Micron Technology, Inc. Memory devices and methods for managing error regions
US8234460B2 (en) 2009-06-04 2012-07-31 Micron Technology, Inc. Communication between internal and external processors
US9477636B2 (en) 2009-10-21 2016-10-25 Micron Technology, Inc. Memory having internal processors and data communication methods in memory
US8719516B2 (en) 2009-10-21 2014-05-06 Micron Technology, Inc. Memory having internal processors and methods of controlling memory access
US8612809B2 (en) 2009-12-31 2013-12-17 Intel Corporation Systems, methods, and apparatuses for stacked memory
US8437163B2 (en) * 2010-02-11 2013-05-07 Micron Technology, Inc. Memory dies, stacked memories, memory devices and methods
KR101667656B1 (ko) 2010-03-24 2016-10-20 삼성전자주식회사 패키지-온-패키지 형성방법
US9804996B2 (en) 2012-12-21 2017-10-31 Advanced Micro Devices, Inc. Computation memory operations in a logic layer of a stacked memory
US9820074B2 (en) 2013-03-15 2017-11-14 Apple Inc. Memory management techniques and related systems for block-based convolution
US8971124B1 (en) 2013-08-08 2015-03-03 Micron Technology, Inc. Apparatuses and methods for performing logical operations using sensing circuitry
US9019785B2 (en) 2013-09-19 2015-04-28 Micron Technology, Inc. Data shifting via a number of isolation devices
KR102246878B1 (ko) * 2014-05-29 2021-04-30 삼성전자 주식회사 반도체 메모리 장치, 이를 포함하는 메모리 모듈, 및 이를 포함하는 메모리 시스템
US9514093B2 (en) 2014-09-26 2016-12-06 Intel Corporation Method and apparatus for stacking core and uncore dies having landing slots
US9411726B2 (en) 2014-09-30 2016-08-09 Samsung Electronics Co., Ltd. Low power computation architecture
US9836277B2 (en) * 2014-10-01 2017-12-05 Samsung Electronics Co., Ltd. In-memory popcount support for real time analytics
US9880752B2 (en) * 2015-09-28 2018-01-30 Western Digital Technologies, Inc. Memory die temperature adjustment based on a power condition
CN106782666B (zh) * 2015-11-25 2020-05-05 北京大学深圳研究生院 一种三维堆叠存储器
JP2017123208A (ja) 2016-01-06 2017-07-13 ルネサスエレクトロニクス株式会社 半導体記憶装置
US11079936B2 (en) 2016-03-01 2021-08-03 Samsung Electronics Co., Ltd. 3-D stacked memory with reconfigurable compute logic
KR101838379B1 (ko) 2016-05-04 2018-03-13 연세대학교 산학협력단 자바강황 추출물 또는 잔소리졸을 유효성분으로 함유하는 타액 분비 증강용, 또는 구강건조증 예방, 개선 또는 치료용 조성물
KR102395463B1 (ko) 2017-09-27 2022-05-09 삼성전자주식회사 적층형 메모리 장치, 이를 포함하는 시스템 및 그 동작 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60262253A (ja) * 1984-06-07 1985-12-25 Agency Of Ind Science & Technol メモリデ−タ処理回路
JPH07141175A (ja) * 1993-05-28 1995-06-02 Texas Instr Inc <Ti> アクティブメモリおよび処理方式
JPH10289192A (ja) * 1997-04-15 1998-10-27 Nec Corp コプロセッサ内蔵パケット型メモリlsi及びパケット型メモリ/コプロセッサバスとそれらの制御方法
JP2008140220A (ja) * 2006-12-04 2008-06-19 Nec Corp 半導体装置
JP2015176435A (ja) * 2014-03-17 2015-10-05 国立研究開発法人産業技術総合研究所 Lsiチップ積層システム
JP2017515239A (ja) * 2014-05-08 2017-06-08 マイクロン テクノロジー, インク. ハイブリッドメモリキューブシステム相互接続ディレクトリベースキャッシュコヒーレンス方法
US20170263306A1 (en) * 2016-03-10 2017-09-14 Micron Technology, Inc. Apparatuses and methods for logic/memory devices

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11355181B2 (en) * 2020-01-20 2022-06-07 Samsung Electronics Co., Ltd. High bandwidth memory and system having the same
WO2021198841A1 (ja) * 2020-04-03 2021-10-07 株式会社半導体エネルギー研究所 半導体装置
WO2022238798A1 (ja) * 2021-05-10 2022-11-17 株式会社半導体エネルギー研究所 半導体装置
WO2024028680A1 (ja) * 2022-08-02 2024-02-08 株式会社半導体エネルギー研究所 半導体装置

Also Published As

Publication number Publication date
US10923165B2 (en) 2021-02-16
CN109560078B (zh) 2023-10-03
DE102018108702A1 (de) 2019-03-28
US20210166740A1 (en) 2021-06-03
CN109560078A (zh) 2019-04-02
SG10201808209UA (en) 2019-04-29
TW201915730A (zh) 2019-04-16
TWI750365B (zh) 2021-12-21
US11114139B2 (en) 2021-09-07
JP7317478B2 (ja) 2023-07-31
US20190096453A1 (en) 2019-03-28
KR102395463B1 (ko) 2022-05-09
US20200152244A1 (en) 2020-05-14
KR20190036358A (ko) 2019-04-04
US10553260B2 (en) 2020-02-04

Similar Documents

Publication Publication Date Title
JP7317478B2 (ja) 積層型メモリ装置及びメモリシステム
KR102453542B1 (ko) 스킵 연산 모드를 지원하는 메모리 장치 및 그 동작 방법
US10410685B2 (en) Memory device for performing internal process and operating method thereof
CN109783410B (zh) 执行并行运算处理的存储器设备和包括其的存储器模块
US10474593B2 (en) Memory device communicating with system on chip through at least two channels, electronic device including the same, and operating method of electronic device
KR102467698B1 (ko) 적층형 메모리 장치, 이를 포함하는 시스템 및 그 동작 방법
US9818707B2 (en) Stacked memory chip having reduced input-output load, memory module and memory system including the same
US11474950B2 (en) Memory controller including plurality of address mapping tables, system on chip, and electronic device
US11158357B2 (en) Method of performing internal processing operations with pre-defined protocol interface of memory device
US11276459B2 (en) Memory die including local processor and global processor, memory device, and electronic device
US20230051126A1 (en) Signal routing between memory die and logic die for performing operations
US11281397B2 (en) Stacked memory device performing function-in-memory (FIM) operation and method of operating the same
TWI757300B (zh) 用於執行內部程序之記憶體裝置及其操作方法
KR102345539B1 (ko) 내부 프로세스를 수행하는 메모리 장치 및 그 동작방법
KR20170102418A (ko) 재구성 가능한 계산 로직을 포함하는 3차원-적층 메모리

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210924

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230524

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230719

R150 Certificate of patent or registration of utility model

Ref document number: 7317478

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150