CN111813736A - 片上系统及信号处理方法 - Google Patents

片上系统及信号处理方法 Download PDF

Info

Publication number
CN111813736A
CN111813736A CN202010286390.9A CN202010286390A CN111813736A CN 111813736 A CN111813736 A CN 111813736A CN 202010286390 A CN202010286390 A CN 202010286390A CN 111813736 A CN111813736 A CN 111813736A
Authority
CN
China
Prior art keywords
memory
chip
sensor data
memory controller
coupled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010286390.9A
Other languages
English (en)
Other versions
CN111813736B (zh
Inventor
齐峥
顾群
熊成玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Intelligent Technology Chongqing Co Ltd
Original Assignee
Black Sesame Intelligent Technology Chongqing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Intelligent Technology Chongqing Co Ltd filed Critical Black Sesame Intelligent Technology Chongqing Co Ltd
Publication of CN111813736A publication Critical patent/CN111813736A/zh
Application granted granted Critical
Publication of CN111813736B publication Critical patent/CN111813736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/76Architectures of general purpose stored program computers
    • G06F15/78Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7807System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
    • G06F15/7825Globally asynchronous, locally synchronous, e.g. network on chip
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/76Architectures of general purpose stored program computers
    • G06F15/78Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7807System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
    • G06F15/781On-chip cache; Off-chip memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/0207Addressing or allocation; Relocation with multidimensional access, e.g. row/column, matrix
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/0223User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023Free address space management
    • G06F12/0238Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G06F12/0246Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12Replacement control
    • G06F12/121Replacement control using replacement algorithms
    • G06F12/128Replacement control using replacement algorithms adapted to multidimensional cache systems, e.g. set-associative, multicache, multiset or multilevel
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • G06F13/16Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668Details of memory controller
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/14Protection against unauthorised use of memory or access to memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10Providing a specific technical effect
    • G06F2212/1052Security improvement
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Robotics (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

一种片上系统,包括:多端口存储器控制器,其具有多级存储器层级;多层总线,其耦合至所述多端口存储器控制器,以基于所述多级存储器层级来分隔存储器访问流量;互连的多个片上网络,其耦合至所述多层总线;多个网络域,其耦合至所述多个片上网络;以及至少一个非网络域,其直接地耦合至所述多端口存储器控制器。

Description

片上系统及信号处理方法
技术领域
本发明涉及应用于自动驾驶应用的图像感测中的片上系统的架构和数据流。
背景技术
本发明描述了片上系统(SoC)架构和数据流。图像感测流水线已经成为了自动驾驶片上系统(SoC)平台中的中心子系统。3级有条件自动驾驶(L3)和上述的自动驾驶系统具有持续感知且高度可靠的感测流水线。L3允许驾驶员将安全性关键功能转移给车辆。该L3图像感测流水线需要支持多个传感器以及利用多种数据处理方法从而确保冗余性和准确性。
图像传感器的输入已从过去支持视频图形阵列(VGA)或以每秒30帧(FPS)的720p分辨率的一个或两个传感器增加到目前支持每秒60帧的1080p或4K的多个传感器。
对于诸如夜视、隧道中的图像分析、在太阳下和面对太阳、以及雾天或雨天天气等驾驶情况,图像分析需要支持低光和高动态范围(HDR)。
感测流水线需要支持对处于距离超过100米处的小物体的检测。当前的这些需求使复杂且高性能数据处理算法成为必要,该复杂且高性能数据处理算法需要密集的计算和存储器带宽。
相比之下,目前的智能手机具有以低于每秒100亿次运算(Giga Operations perSecond,GOPS)处理数据的能力,而通常的自动驾驶系统实质上需要比计算需求高出1000倍以上的每秒20至50万亿次运算(Tera Operations per Second,TOPS)的处理能力。
通常来说,感测流水线使用感测、图像信号处理器、计算机视觉(CV)和人工智能(AI)处理的离散处理步骤。这种多芯片解决方案有独立运行的处理步骤。这些步骤可以接收来自其他步骤的主动反馈以允许适应性处理,这需要步骤更为紧密地耦合。例如,图像信号处理器可以基于来自神经网络检测结果统计的反馈来调整感测参数。此外,计算机视觉(CV)处理可与网络架构的不同阶段耦合,以向系统的其他部分提供前馈或反馈数据。
目前,对于自动驾驶系统(ADS)的计算需要高性能、高带宽以及复杂的过程控制。ADS的性能需求反过来要求感测流水线利用更复杂的算法,在功耗约束条件下提供实时处理。
发明内容
第一示例性的片上系统,包括至少一个:多端口存储器控制器,其具有多级存储器层级;多层总线,其耦合至所述多端口存储器控制器,以基于所述多级存储器层级来分开存储器访问流量;互连的多个片上网络,其耦合至所述多层总线;多个网络域,其耦合至所述多个片上网络;以及至少一个非网络域,其直接地耦合至所述多端口存储器控制器。
第二示例性的片上系统,包括至少一个:多端口存储器控制器,多层总线利用多级存储器层级耦合至所述多端口存储器控制器;多个互连的网络域,其耦合至所述多层总线,其中,经由所述多端口存储器控制器基于所述多级存储器层级通过所述多层总线层级来控制对所述多个互连的网络域的存储器访问;至少一个非网络域,其直接地连接至所述多端口存储器控制器,所述至少一个非网络域在所述至少一个非网络域中接收多个原始传感器数据流;多个信号处理器,其将所述多个原始传感器数据流解析成多个已处理的传感器数据;至少一个传感器数据存储器,其经由所述多端口存储器控制器存储所述多个已处理的传感器数据;至少一个中央处理器单元,其分析所述多个已处理的传感器数据;至少一个中央数据存储器,其基于所述多级存储器层级经由多层总线层级来存储至少一个分析结果;以及输出接口,其输出人类可读数据和机器可操作数据中的至少一种数据。
第三示例性的信号处理方法,包括以下步骤中的至少一个:将多个互连的网络域和至少一个非网络域的存储器访问划分成多级存储器层级;经由多端口存储器控制器基于所述多级存储器层级通过多层总线层级来控制对所述多个互连的网络域的存储器访问;通过对所述多端口存储器控制器的直接存储器访问来控制对所述至少一个非网络域的存储器访问;在所述至少一个非网络域中接收多个原始传感器数据流;通过多个信号处理器将所述多个原始传感器数据流解析为多个已处理的传感器数据;经由所述多端口存储器控制器将所述多个已处理的传感器数据存储在多个传感器数据存储器中;基于所述多级存储器层级并且经由所述多层总线层级通过所述多个互连的网络域中的至少一个从所述多个传感器数据存储器接收所述多个已处理的传感器数据;在至少一个中央处理器单元中分析所述多个已处理的传感器数据;以及将分析结果输出为人类可读数据和机器可操作数据中的至少一种数据。
根据本申请的一个方面,提供示例一的片上系统,该片上系统包括多端口存储器控制器,其具有多级存储器层级;多层总线,其耦合至所述多端口存储器控制器以基于所述多级存储器层级来分开存储器访问流量;互连的多个片上网络,其耦合至所述多层总线;多个网络域,其耦合至所述多个片上网络;以及至少一个非网络域,其直接地耦合至所述多端口存储器控制器。
根据该示例一的片上系统,可选地,所述多个网络域中的至少一个网络域包括CPU和GPU中的至少一个。
根据该示例一的片上系统,可选地,所述至少一个非网络域包括网络引擎、图像信号处理器和计算机视觉处理器中的至少一个。
根据示例一的片上系统,可选地,所述至少一个非网络域至少包括比特流存储器。
根据示例一的片上系统,可选地,所述网络域中的至少一个网络域包括安全和安保域、CPU域、视频显示域和输入输出域中的至少一个。
根据本申请的又一个方面,提供示例二的片上系统,包括多端口存储器控制器;多层总线,其利用多级存储器层级耦合至所述多端口存储器控制器;多个互连的网络域,其耦合至所述多层总线,其中,经由所述多端口存储器控制器基于所述多级存储器层级通过多层总线层级来控制对所述多个互连的网络域的存储器访问;至少一个非网络域,其直接连接至所述多端口存储器控制器,所述至少一个非网络域在所述至少一个非网络域中接收多个原始传感器数据流;多个信号处理器,其将所述多个原始传感器数据流解析成多个已处理的传感器数据;至少一个传感器数据存储器,其经由所述多端口存储器控制器存储所述多个已处理的传感器数据;至少一个中央处理器单元,其分析所述多个已处理的传感器数据;至少一个中央数据存储器,其基于所述多级存储器层级经由所述多层总线层级来存储至少一个分析结果;以及输出接口,其以人类可读数据和机器可操作数据中的至少一种方式,输出所述至少一个分析结果。
根据示例二的片上系统,可选地,所述多个信号处理器中的至少一个为ARM处理器。
根据示例二的片上系统,可选地,所述至少一个中央处理器中的至少一个为RISC处理器。
根据示例二的片上系统,可选地,所述多个信号处理器中的至少一个为中央处理单元、数字信号处理器、专用硬件处理引擎中的一个。
根据示例二的片上系统,可选地,还包括:耦合至所述多个信号处理器中的至少一个处理器的至少一个随机存取存储器控制器以及耦合至所述至少一个随机存取存储器控制器的至少一个随机存取存储器。
根据示例二的片上系统,可选地,还包括:耦合至所述多个信号处理器中的至少一个处理器的至少一个直接存储器访问、耦合至所述至少一个直接存储器访问的至少一个随机存取存储器控制器、以及耦合至所述至少一个随机存取存储器控制器的至少一个随机存取存储器。
根据示例二的片上系统,可选地,还包括:耦合至所述至少一个中央处理器中的至少一个中央处理器的至少一个储存控制器以及耦合至至少一个储存控制器的至少一个闪存。
根据示例二的片上系统,可选地,所述原始传感器数据流中的至少一个包括图像数据、激光雷达数据、雷达数据、红外数据和音频数据中的至少一种。
根据示例二的片上系统,可选地,所述多层总线中的至少两个是异构的。
根据示例二的片上系统,可选地,所述多个信号处理器和所述至少一个中央处理器单元中的至少一个是异构的。
根据示例二的片上系统,可选地,所述多个传感器数据存储器和所述至少一个中央数据存储器形成所述多级存储器层级。
根据本申请的再一方面,提供示例三的信号处理方法,包括:将多个互连的网络域和至少一个非网络域的存储器访问划分成多级存储器层级;经由多端口存储器控制器基于所述多级存储器层级通过多层总线层级来控制对所述多个互连的网络域的存储器访问;通过对所述多端口存储器控制器的直接存储器访问来控制对所述至少一个非网络域的存储器访问;在所述至少一个非网络域中接收多个原始传感器数据流;通过多个信号处理器将所述多个原始传感器数据流解析为多个已处理的传感器数据;经由所述多端口存储器控制器将所述多个已处理的传感器数据存储在多个传感器数据存储器中;基于所述多级存储器层级通过所述多层总线层级通过所述多个互连的网络域中的至少一个从所述多个传感器数据存储器接收所述多个已处理的传感器数据;在至少一个中央处理器单元中分析所述多个已处理的传感器数据;以及将分析结果输出成人类可读数据和机器可操作数据中的至少一种。
根据示例三的所述的信号处理方法,可选地,对所述多个已处理的传感器数据的存储利用比特流存储器。
根据示例三的所述的信号处理方法,可选地,解析所述多个原始传感器数据流和分析所述多个已处理的传感器数据是异构的。
根据示例三的所述的信号处理方法,可选地,通过对所述多端口存储器控制器的直接存储器访问来控制对所述至少一个非网络域的存储器访问是利用比控制对所述多个互连的网络域的存储器访问更宽的总带宽来执行的。
本发明公开的SoC系统,可为增强的计算需求提供可行的解决方案。
附图说明
在附图中:
图1是根据本发明的一个实施例的第一示例性系统的示意图;
图2是根据本发明的一个实施例的第二示例性系统的示意图;以及
图3是根据本发明的一个实施例的示例性的信号处理方法。
具体实施方式
以下列出的实施例仅用于说明此装置和方法的应用,而不是限制本发明的范围。对该装置和方法的等同形式的修改应归入到本申请权利要求的范围内。
贯穿以下说明书和权利要求某些术语用于指代特定系统部件。如本领域技术人员将理解的,不同的公司可以不同的名称来指代部件和/或方法。本文无意对名称不同但功能并非不同的部件和/或方法做出区分。
在以下讨论和权利要求中,术语“包括”和“包含”以开放式的方式使用,因此可以被解释为“包括,但不限于…”。此外,术语“耦合”旨在表示间接或直接的连接。因此,如果第一设备与第二设备耦合,则该连接可以通过直接连接或通过经由其他设备和连接的间接连接来实现。
端到端高性能流水线
所公开的架构包括端到端图像处理流水线(pipeline),该端到端图像处理流水线可以被灵活地配置成支持多个传感器流。在一个示例性的实施例中,所述传感器流的数量为12个。所述传感器流可以由中心化图像信号处理器作为内处理来直接地处理,或者被存储到随机存取存储器中,随后在存储转发处理中进行处理。
在内处理情况下,图像可以由片上比特(bit)流存储器进行暂时地缓冲。所述缓冲允许后续的去噪、内插等类似处理。
在存储转发处理的情况下,可以将传感器的多个曝光帧合并以形成高动态分辨率(HDR)帧。存储转发处理情况还允许用于传感器流的图像信号处理器被旁通,其中,所述图像信号处理器被与图像传感器集成在一起。
所述端到端流水线还允许利用诸如立体、金字塔、光流的计算机视觉功能和用于检测、分割和分类的神经网络功能的结合来对视频帧进行流处理。在处理之后,可对视频流进行编码以便储存和在网络上再传输。
块流存储器(BSMEM,其主要用于二维图像块流传输)和块张量存储器(BTMEM,其主要用于三维神经网络张量块流传输)被集成在灵活的端到端处理流水线中。这些模块用作高效内部数据传输的片上共享存储器,以及用作直接存储器访问(DMA)代理以便不同的引擎能够访问用于数据储存的片外随机存取存储器。该些模块作为智能缓存代理来跟踪数据访问请求,以最大限度地利用片上随机访问存储器(RAM)并且最小化随机存储器访问请求的数量。在需要访问随机存取存储器(RAM)的情况下,所述模块通过将请求、读数据预提取和写数据合并进行组合来有效地执行访问。
异构计算
所述架构部署了多种类型的计算资源。
在应用级别,该架构部署了多个ARM A级中央处理单元(CPU),其被构建为big.LITTLE架构。ARM的big.LITTLE是异构计算架构,其以更强性能的处理器内核(big)链接较低能耗的处理器内核(linking less powerful processor cores,LITTLE)。两组内核访问相同的随机存取存储器,从而允许在大内核和小内核之间切换正在处理的工作负载。该架构允许使计算功率适应动态工作负载的多内核处理。大CPU用于高级面向用户的应用或高级自动驾驶应用,这些应用集成了诸如感测、地图和定位、路径规划等多功能控制。LITTLE CPU内核用于控制小任务。
为了控制实时的感测流水线,部署了若干多线程精简指令集5(RISC-V)实时控制器。所述RISC-V控制器可以并发地执行多个控制线程。所述控制线程管理用于特定感测流水线阶段的实时任务处理。利用事件同步方案来同步所述线程。
该架构利用被优化用于特定计算算法的专用硬件引擎,包括硬件图像信号处理器、流水线功能、HDR、去马赛克、色调映射、去噪声、翘曲和计算机视觉功能(例如立体视觉、光学流)、以及用于各种层类型的神经网络处理功能。本发明中描述的架构原理将各种计算资源进无缝组合从而将效率最大化。多线程RISC-V控制器在实时计算任务调度中起着关键作用。通过利用这种架构,每个计算功能实质上变成了独立的子系统。
类似地,在一个示例中,实时安全性关键控制任务由专用的安全性子系统处理,该子系统具有两个ARM R类(R-class)实时CPU,该CPU以锁步方式执行以提供冗余。
多级存储器层级
所公开的架构部署了多级存储器层级,以提供用于本地化处理的存储器带宽,并且通过减少对全局存储器(特别是对于片外随机存取存储器)的访问频率来使功耗最小化。在一个示例中,为了解决神经网络的高并行处理和存储需求,部署了五级存储器。
随机存取存储器由芯片共享,块张量存储器(BTMEM)由复合网引擎共享,数据缓冲器(DBUF)由多个子模块和阵列共享,输入缓冲器(IBUF)、权值缓冲器(WBUF)和输出缓冲器(OBUF)由乘法器累加器(MAC)阵列、本地寄存器和乘法器累加器(MAC)单元中的累加器共同共享。
数据越接近计算元件,内存访问的频率和带宽就越高。数据越远离计算元件,就可以提供更多的容量。
除了用于硬件的存储器层级,还为CPU配置了多个缓存和本地RAM。ARM A类(A-class)CPU采用两级片上缓存,一级缓存专用于内核而二级缓存由相同集群的内核共享。实时CPU(如ARM R类安全CPU或RISC-V控制器)使用一级缓存与紧密耦合存储器的组合。所述紧密耦合存储器使得实时任务更具确定性。
多层总线层级
所公开的架构部署了不同的片上网络(NOC),以将逻辑划分成多个总线层级和子系统。所述存储器控制器使用多个端口来连接不同的NOC以将存储器访问流量分开,从而获得更好的服务质量(QoS)。中央处理单元(CPU)和图形处理单元(GPU)连接至以非常高的速度运行的低延迟缓存相干NOC。SoC连接至可扩展系统NOC以共享带宽分布和路由,从而获得高速度。感测流水线模块直接地连接至存储器控制器,用于高优先级低延迟实时的访问,安全性CPU和安全性外设连接至独立的安全性NOC以便隔离及保护。
将多层总线层级与多端口存储器控制器组合可以提供对不同的本地和全局流量类型的有效分离。这些存储器流量类型包括延迟敏感、突发带宽流量,实时、高带宽流量,延迟敏感、低带宽流量以及尽力而为(best effort)、大带宽流量。
图1描绘了示例性的架构100,该架构具有一系列的域:安全和安保域110、CPU域112、视频显示域114、输入输出(IO)域116、和感测视觉AI域118。
图1中的多个域直接地或者通过一系列片上网络(NOC)连接至存储器。安全和安保域110连接至安全片上网络120以便隔离和保护。包含CPU和/或GPU的CPU域112连接至以非常高的速度运行的低延迟缓存相干片上网络122。视频显示域114经由比特流存储器和比特测试存储器连接至存储器控制器128。IO域116连接至可扩展系统SoC片上网络(NOC)126,以共享带宽分布和路由。感测视觉AI域118直接地连接至存储器控制器128,用于高优先级低延迟实时访问。安全NOC 120直接连接至IO域116中的高级外围总线130,并且连接至IO域116中的系统NOC 126。CPU域112中的相干NOC 122直接连接至感测视觉AI域118中的存储器控制器128,并且连接至IO域116中的系统NOC 126。感测视觉AI域118中的存储器和处理器直接连接至存储器控制器128。这样,各个NOC和感测视觉AI域通过多层层级中的存储器控制器连接至多级存储器。
安全和安保域110中的安全NOC络120可以连接至以下类型系统中的至少一个系统。只读存储器(ROM)/一次性可编程(OTP),可以提供能够以高速读但只能编程一次的存储器。四路串行外围接口(QSPI)闪存可以提供接口总线,以利用四个串行引脚连接高速NOR闪存设备,这显著地增加了数据传输吞吐量。具有灵活数据速率的控制器局域网(CAN-FD)可以为自动数据下载提供传输协议,在CAN-FD中传输期间,比特率可由于没有其它节点需要被同步的事实而增加。联合测试动作组(JTAG)可以提供用于利用专用串行调试端口来实现低开销访问的测试电路板的接口。系统直接存储器访问(SDMA)是这样一种控制器:其可用作全局数据传输代理以处理来自软件的各种数据传输需求,例如存储器到存储器的数据拷贝。性能验证测试(PVT)是输出性能指标的性能测试。资源保护单元(RPU)提供安全和安保的防火墙保护,并且防止非安全/安保关键应用代码访问关键接口或资源。安全微处理器控制单元(MCU)可以提供小型安全计算机。随机数生成器(RNG)提供真正的随机数资源来保护固件和安全应用。高级加密标准(AES)是加密的密码。安全哈希算法2(SHA2)是加密的哈希函数。里维斯、沙米尔和阿德尔曼法(Rivest,Shamir and Adelman,RSA)/椭圆曲线法(EC)是公共密钥密码方法,EC是基于椭圆曲线的代数结构的。此外,安全和安保NOC可以连接至多个处理器,例如ARM等。
CPU域112中的相干NOC 122可以连接至ARM处理器、其二级缓存和GPU。
视频显示器域114可以具有以下耦合。高清晰度多媒体接口(HDMI)物理层(PHY)允许传输未压缩的视频数据和数字音频数据。视频输出(VOUT)高清晰度多媒体接口(HDMI)可以提供未压缩视频数据的传输。视频压缩解压缩模块(CODEC)压缩数据以传输,以及解压缩所接收到的数据。
视频感测AI域118可以具有域内的以下部件和连接。块流存储器(BSMEM)是比特二进制序列的储存器。视频输入接口(VIN)是将视频流发送到设备中的并行信号传送接口。移动产业处理器接口(MIPI)相机串行接口2(CSI-2)是用于在相机和主机设备之间进行点对点图像和视频传输的高速协议。计算机视觉(CV)提取、分析和确定来自视频的信息。图像信号处理器(ISP)是在图像分析中使用的专用数字信号处理器(DSP)。块张量存储器(BTMEM)是一种高速存储器。NET是神经网络处理器。双数据速率存储器控制器(DDRC)是随机存取存储器控制器。32比特(32b)双数据速率第四代同步动态随机存取存储器(DDR4)物理层(PHY)是一种具有高带宽(双数据速率(DDR))接口的同步动态随机存取存储器(SDRAM)。
IO域116系统NOC 126可以具有以下连接中的至少一个。高级外围总线(APB)130可以在具有多个控制器和外围设备的多处理器系统中提供对功能块的管理。内部集成电路(I2C)可以提供两线接口来连接低速设备。通用异步接收发射机(UART)可以提供异步串行通信,在该异步串行通信中数据格式和传输速度是可重配置的。串行外围接口(SPI)可以提供用于短距离通信的同步串行通信接口。通用输入输出(GPIO)可以提供未指定用途的数字信号引脚,该引脚的行为是运行时可配置的。脉冲宽度调制(PWM)利用调制(涉及打开和关闭方波)以数字信号来模拟模拟输出。这种调制技术允许对功率进行精确控制。集成电路内置音频(I2S)可以提供用于耦合数字音频设备的串行总线接口。看门狗(WDOG)计时器在主程序不对其进行轮询(poll)的情况下,生成系统重置。它可能会自动重置由于故障而挂起的设备。以太网介质访问控制(MAC)可以提供可提供流控制和多路复用的逻辑链路层。第三代高速外围组件互连(PCIe Gen3)到物理层(PHY)可以提供高速串行扩展总线。通用串行总线(USB)3.0动态内容传递(DCD)-通用串行总线物理层(USB PHY)可以为计算机和电子设备提供接口,其中内容可以在有效信道上传送,然后根据系统需要,信道可以被停用或挂起。安全数字卡输入输出(SDIO)可以提供基于闪存的可移除存储卡以及嵌入式多媒体控制器(eMMC)可以提供由与非型(NAND)闪存和储存控制器组成的储存设备。IO域还可以包括定时器输入。
图2描述了第二示例性的系统架构200。相机210接收视频馈送,该视频馈送被路由到MIPI接口212并且被路由到执行视频流的解交织的视频输入接口(VIN)214。视频输入接口214连接至比特流存储器216,该比特流存储器216耦合至随机存取存储器218。比特流存储器216连接至图像信号处理器220和编码器232。所述图像信号处理器可以提供高动态分辨率融合、去马赛克、色调映射和白平衡、去噪声、锐化、压缩、缩放和颜色转换中的至少一种。图像信号处理器220连接至计算机视觉处理器222。计算机视觉处理器222可以提供翘曲、立体视觉和光学流中的至少一种。计算机视觉处理器222连接至比特传输存储器224,该比特传输存储器224继而连接至其他传感器接口226、随机存储器228和神经网络处理器230。神经网络处理器230可以提供分类、对象识别、自由空间识别、分割和传感器融合中的至少一种。编码器232连接至比特流存储器234和随机存取存储器236。随机存取存储器236连接至神经网络处理器230和eMMC闪存接口238、USB接口242和PCIe接口246。eMMC闪存接口238连接至闪存驱动器240。USB接口242连接至USB闪存驱动器244,以及PCIe接口246连接至外部串行高级技术附件(SATA)控制器248,该控制器248继而连接至外部磁盘250。随机存取存储器218、228和236可以是分离的或者集成的。比特流存储器216和234可以是分离的或者集成的。
图3描绘了信号处理的示例性方法。该方法包括如下描述的处理310、312、314、316、318、320、322、324、326中的至少一个。如图3所示的信号处理的示例方法包括将对图1的多个互连的网络域110、112和116以及对图1的至少一个非网络域114和118的存储器访问划分(310)成多级存储器层级。所述芯片被分成图1的子域110、112、114、116和118,这些子域控制整体设计的主要子系统。在一个示例中,所述域可包括图1的安全和安保域110、CPU域112、图1的视频显示域114、图1的感测视觉AI域118、和图1的IO域116。这些域具有相关联的带宽和速度。该方法还包括经由图1中的多端口存储器控制器128基于所述多级存储器层级经由图1的多层总线层级120、122、126来控制(312)对所述多个互连的网络域的存储器访问。所述多层总线允许域彼此连接并且连接到多端口总线。在该示例中,图1的安全NOC120、图1的相干NOC 122和图1的系统NOC 126彼此连接,并且连接至图1的多总线存储器控制器128。该方法包括通过对图1的所述多端口存储器控制器128的直接存储器访问来控制(314)对所述至少一个非网络域(图1的感测视觉AI域118)的存储器访问。该方法还包括在图1的至少一个非网络域118中接收(316)多个原始传感器数据流(图2中的相机210和MIPI212)。所述原始传感器流可以包括图像数据、光成像和测距(LIDAR)数据、无线电检测和测距(RADAR)数据、红外数据、音频数据等数据中的一种。然后,该方法包括通过多个信号处理器(图2所图示的一个示例中的图像信号处理器220、计算机视觉处理器222和神经网络处理器230)将所述多个原始传感器数据流解析(318)为多个已处理的传感器数据。该方法还包括经由图1中的所述多端口存储器控制器128将所述多个已处理的传感器数据存储(320)在多个传感器数据存储器(图2中的比特传输存储器224)中,以及通过基于所述多级存储器层级的图1的多层总线层级120、122、126和130,通过图1的多个互连的网络域110、112和116中的至少一个,从所述多个传感器数据存储器接收(322)多个已处理的传感器数据。然后,该方法包括在至少一个中央处理器单元(图1的CPU域112)中分析(324)所述多个已处理的传感器数据,以及将分析结果输出(326)为人类可读数据和机器可操作数据中的至少一种数据。
本领域的技术人员将了解,本文中所描述的各种说明性的块、模块、元件、部件、方法和算法可实施为电子硬件、计算机软件或两者的结合。为了说明硬件和软件的这种可互换性,上文已经在其功能方面对各种说明性的块、模块、元件、部件、方法和算法进行了总体描述。将该功能实施为硬件还是软件取决于强加在整个系统上的特定应用和设计约束。熟练的技术人员可以针对每个特定应用以不同方式实现所描述的功能。在不脱离本主题技术的范围的情况下,各种部件和块可以被不同的方式布置(例如以不同的顺序布置,或以不同的方式划分)。
应理解,所公开的过程中的步骤的特定顺序或层级是对示例方法的一种说明。基于设计偏好,可以理解,过程中的步骤的特定顺序或层级可以被重新布置。一些步骤可以同时进行。所附方法权利要求以样本顺序呈现各个步骤的元素,并不意味着受限于所呈现的特定顺序或层级。
提供前面的描述是为了使本领域技术人员能够实践本文中所描述的各种方面。前面的描述提供了本主题技术的各种示例,并且本主题技术不限于这些示例。对于本领域技术人员来说,对这些方面的各种修改是明显的,并且本文限定的一般原理可以应用于其他方面。因此,权利要求并不旨在受限于本文所示的方面,而是旨在使全部范围与权利要求的语言表述相一致,其中对单数元素的引用并不旨在表示“一个且仅一个”,除非被专门地如此陈述,而是表示“一个或多个”。除非另外特别说明,否则术语“一些”是指一个或多个。男性中的代词(例如,他的)包括女性和中性(例如,她和它的),反之亦然标题和副标题(如果有的话)仅为了方便而使用,并不限制本发明。谓语“被配置以”、“可操作以”和“被编程以”并不暗示着对主语的任何特定的有形或无形修改,而是旨在可被互换地使用。例如,被配置以监视和控制操作或部件的处理器,还可以表示,该处理器被编程以监视和控制操作,或者该处理器可操作以监视和控制操作。同样地,被配置以执行代码的处理器,可以被解释为,被编程以执行代码的处理器或可操作以执行代码的处理器。
诸如“方面”之类的短语并不暗示这样的方面对于本技术是必不可少的,或者这样的方面适用于主题技术的所有配置。涉及一方面的公开可适用于所有配置、或一个或多个配置。一个方面可以提供一个或多个示例。诸如“方面”的短语可以指代一个或多个方面,反之亦然。诸如“实施例”之类的短语并不暗示这样的实施例对于主题技术是必不可少的,或者这样的实施例适用于主题技术的所有配置。涉及一个实施例的公开可应用于所有实施例,或一个或多个实施例。一个实施例可提供一个或多个示例。诸如“实施例”的短语可以指代一个或多个实施例,反之亦然。诸如“配置”之类的短语并不暗示这样的配置对于主题技术是必不可少的,或者这样的配置适用于主题技术的所有配置。涉及一种配置的公开可应用于所有配置、或一个或多个配置。一种配置可提供一个或多个示例。诸如“配置”的短语可以指一个或多个配置,反之亦然。
本文使用词语“示例”来表示“用作示例或说明”。本文描述为“示例”的任何方面或设计不必被解释为比其他方面或设计更优选或更具优势。
本领域普通技术人员已知或以后将知道的,贯穿本发明所描述的各个方面的元件的所有结构和功能等同物通过引用被明确地并入本文,并且旨在由权利要求所涵盖。此外,无论在权利要求中是否明确地叙述了这样的公开,本文的公开都不旨在捐献于公众。此外,关于在说明书或权利要求书中使用“包括”、“具有”或类似术语的含义,这样的术语旨在被包括在术语“包含”的方式内,类似于当“包括”在权利要求中被用作连接词时,对“包括”的解释那样。
对“一个实施例”、“实施例”、“一些实施例”、“各种实施例”或类似表述的引用表明特定元件或特性被包括在本发明的至少一个实施例中。虽然短语可能出现在多个地方,但短语不一定是指同一个实施例。结合本发明,本领域技术人员将能够设计和并入适合于实现上述功能的各种机制中的任何一种。
应理解,本发明仅教导了说明性的实施例的一个示例,并且本领域技术人员在阅读本发明之后可以容易地设计出本发明的许多变型,并且本发明的范围由以下权利要求确定。

Claims (20)

1.一种片上系统,包括:
多端口存储器控制器,其具有多级存储器层级;
多层总线,其耦合至所述多端口存储器控制器以基于所述多级存储器层级来分开存储器访问流量;
互连的多个片上网络,其耦合至所述多层总线;
多个网络域,其耦合至所述多个片上网络;以及
至少一个非网络域,其直接地耦合至所述多端口存储器控制器。
2.根据权利要求1所述的片上系统,其特征在于,所述多个网络域中的至少一个网络域包括CPU和GPU中的至少一个。
3.根据权利要求1所述的片上系统,其特征在于,所述至少一个非网络域包括网络引擎、图像信号处理器和计算机视觉处理器中的至少一个。
4.根据权利要求1所述的片上系统,其特征在于,所述至少一个非网络域至少包括比特流存储器。
5.根据权利要求1所述的片上系统,其特征在于,所述网络域中的至少一个网络域包括安全和安保域、CPU域、视频显示域和输入输出域中的至少一个。
6.一种片上系统,包括:
多端口存储器控制器;
多层总线,其利用多级存储器层级耦合至所述多端口存储器控制器;
多个互连的网络域,其耦合至所述多层总线,其中,经由所述多端口存储器控制器基于所述多级存储器层级通过多层总线层级来控制对所述多个互连的网络域的存储器访问;
至少一个非网络域,其直接连接至所述多端口存储器控制器,所述至少一个非网络域在所述至少一个非网络域中接收多个原始传感器数据流;
多个信号处理器,其将所述多个原始传感器数据流解析成多个已处理的传感器数据;
至少一个传感器数据存储器,其经由所述多端口存储器控制器存储所述多个已处理的传感器数据;
至少一个中央处理器单元,其分析所述多个已处理的传感器数据;
至少一个中央数据存储器,其基于所述多级存储器层级经由所述多层总线层级来存储至少一个分析结果;以及
输出接口,其以人类可读数据和机器可操作数据中的至少一种方式,输出所述至少一个分析结果。
7.根据权利要求6所述的片上系统,其特征在于,所述多个信号处理器中的至少一个为ARM处理器。
8.根据权利要求6所述的片上系统,其特征在于,所述至少一个中央处理器中的至少一个为RISC处理器。
9.根据权利要求6所述的片上系统,其特征在于,所述多个信号处理器中的至少一个为中央处理单元、数字信号处理器、专用硬件处理引擎中的一个。
10.根据权利要求6所述的片上系统,其特征在于,还包括:耦合至所述多个信号处理器中的至少一个处理器的至少一个随机存取存储器控制器以及耦合至所述至少一个随机存取存储器控制器的至少一个随机存取存储器。
11.根据权利要求6所述的片上系统,其特征在于,还包括:耦合至所述多个信号处理器中的至少一个处理器的至少一个直接存储器访问、耦合至所述至少一个直接存储器访问的至少一个随机存取存储器控制器、以及耦合至所述至少一个随机存取存储器控制器的至少一个随机存取存储器。
12.根据权利要求6所述的片上系统,其特征在于,还包括:耦合至所述至少一个中央处理器中的至少一个中央处理器的至少一个储存控制器以及耦合至至少一个储存控制器的至少一个闪存。
13.根据权利要求6所述的片上系统,其特征在于,所述原始传感器数据流中的至少一个包括图像数据、激光雷达数据、雷达数据、红外数据和音频数据中的至少一种。
14.根据权利要求6所述的片上系统,其特征在于,所述多层总线中的至少两个是异构的。
15.根据权利要求6所述的片上系统,其特征在于,所述多个信号处理器和所述至少一个中央处理器单元中的至少一个是异构的。
16.根据权利要求6所述的片上系统,其特征在于,所述多个传感器数据存储器和所述至少一个中央数据存储器形成所述多级存储器层级。
17.一种信号处理方法,包括:
将多个互连的网络域和至少一个非网络域的存储器访问划分成多级存储器层级;
经由多端口存储器控制器基于所述多级存储器层级通过多层总线层级来控制对所述多个互连的网络域的存储器访问;
通过对所述多端口存储器控制器的直接存储器访问来控制对所述至少一个非网络域的存储器访问;
在所述至少一个非网络域中接收多个原始传感器数据流;
通过多个信号处理器将所述多个原始传感器数据流解析为多个已处理的传感器数据;
经由所述多端口存储器控制器将所述多个已处理的传感器数据存储在多个传感器数据存储器中;
基于所述多级存储器层级通过所述多层总线层级通过所述多个互连的网络域中的至少一个从所述多个传感器数据存储器接收所述多个已处理的传感器数据;
在至少一个中央处理器单元中分析所述多个已处理的传感器数据;以及
将分析结果输出成人类可读数据和机器可操作数据中的至少一种。
18.根据权利要求17所述的信号处理方法,其特征在于,对所述多个已处理的传感器数据的存储利用比特流存储器。
19.根据权利要求17所述的信号处理方法,其特征在于,解析所述多个原始传感器数据流和分析所述多个已处理的传感器数据是异构的。
20.根据权利要求17所述的信号处理方法,其特征在于,通过对所述多端口存储器控制器的直接存储器访问来控制对所述至少一个非网络域的存储器访问是利用比控制对所述多个互连的网络域的存储器访问更宽的总带宽来执行的。
CN202010286390.9A 2019-01-22 2020-04-13 片上系统及信号处理方法 Active CN111813736B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962795405P 2019-01-22 2019-01-22
US16/381,692 2019-04-11
US16/381,692 US20200234396A1 (en) 2019-01-22 2019-04-11 Heterogeneous computation and hierarchical memory image sensing pipeline

Publications (2)

Publication Number Publication Date
CN111813736A true CN111813736A (zh) 2020-10-23
CN111813736B CN111813736B (zh) 2023-06-16

Family

ID=71610183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010286390.9A Active CN111813736B (zh) 2019-01-22 2020-04-13 片上系统及信号处理方法

Country Status (2)

Country Link
US (1) US20200234396A1 (zh)
CN (1) CN111813736B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210109881A1 (en) * 2020-12-21 2021-04-15 Intel Corporation Device for a vehicle
US11675722B2 (en) * 2021-04-16 2023-06-13 Apple Inc. Multiple independent on-chip interconnect
US12001383B2 (en) * 2021-07-07 2024-06-04 Groq, Inc. Deterministic memory for tensor streaming processors

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050203988A1 (en) * 2003-06-02 2005-09-15 Vincent Nollet Heterogeneous multiprocessor network on chip devices, methods and operating systems for control thereof
US20090276572A1 (en) * 2008-05-01 2009-11-05 Heil Timothy H Memory Management Among Levels of Cache in a Memory Hierarchy
US20130080671A1 (en) * 2010-05-27 2013-03-28 Panasonic Corporation Bus controller and control unit that outputs instruction to the bus controller
US20130138858A1 (en) * 2011-11-29 2013-05-30 Robert P. Adler Providing A Sideband Message Interface For System On A Chip (SoC)
CN103823668A (zh) * 2012-11-16 2014-05-28 芯迪半导体科技(上海)有限公司 一种多网络接口间建立网桥的方法
US20140156929A1 (en) * 2012-12-04 2014-06-05 Ecole Polytechnique Federale De Lausanne (Epfl) Network-on-chip using request and reply trees for low-latency processor-memory communication
US20140365703A1 (en) * 2012-11-08 2014-12-11 Panasonic Corporation Bus system for semiconductor circuit
US20160224508A1 (en) * 2015-01-29 2016-08-04 The Intellisis Corporation Memory Controller for a Network on a Chip Device
US20170031853A1 (en) * 2015-07-30 2017-02-02 Advanced Micro Devices, Inc. Communication device with selective encoding
US20170061236A1 (en) * 2015-09-02 2017-03-02 Apple Inc. Detecting keypoints in image data
EP3235195A1 (en) * 2014-12-17 2017-10-25 INTEL Corporation Spatially divided circuit-switched channels for a network-on-chip
EP3346423A1 (en) * 2017-01-04 2018-07-11 STMicroelectronics Srl Deep convolutional network heterogeneous architecture system and device

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050203988A1 (en) * 2003-06-02 2005-09-15 Vincent Nollet Heterogeneous multiprocessor network on chip devices, methods and operating systems for control thereof
US20090276572A1 (en) * 2008-05-01 2009-11-05 Heil Timothy H Memory Management Among Levels of Cache in a Memory Hierarchy
US20130080671A1 (en) * 2010-05-27 2013-03-28 Panasonic Corporation Bus controller and control unit that outputs instruction to the bus controller
US20130138858A1 (en) * 2011-11-29 2013-05-30 Robert P. Adler Providing A Sideband Message Interface For System On A Chip (SoC)
US20140365703A1 (en) * 2012-11-08 2014-12-11 Panasonic Corporation Bus system for semiconductor circuit
CN103823668A (zh) * 2012-11-16 2014-05-28 芯迪半导体科技(上海)有限公司 一种多网络接口间建立网桥的方法
US20140156929A1 (en) * 2012-12-04 2014-06-05 Ecole Polytechnique Federale De Lausanne (Epfl) Network-on-chip using request and reply trees for low-latency processor-memory communication
EP3235195A1 (en) * 2014-12-17 2017-10-25 INTEL Corporation Spatially divided circuit-switched channels for a network-on-chip
US20160224508A1 (en) * 2015-01-29 2016-08-04 The Intellisis Corporation Memory Controller for a Network on a Chip Device
US20170031853A1 (en) * 2015-07-30 2017-02-02 Advanced Micro Devices, Inc. Communication device with selective encoding
US20170061236A1 (en) * 2015-09-02 2017-03-02 Apple Inc. Detecting keypoints in image data
EP3346423A1 (en) * 2017-01-04 2018-07-11 STMicroelectronics Srl Deep convolutional network heterogeneous architecture system and device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHEKHAR BHANSALI.ETC: "3D heterogeneous sensor system on a chip for defense and security applications", 《UNATTENDED/UNMANNED GROUND,OCEAN,AND AIR SENSOR TECHNOLOGIES AND APPLICATIONS VI》, vol. 5417, pages 413 - 424 *

Also Published As

Publication number Publication date
US20200234396A1 (en) 2020-07-23
CN111813736B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN111813736B (zh) 片上系统及信号处理方法
US10649927B2 (en) Dual in-line memory module (DIMM) programmable accelerator card
US20190370005A1 (en) Apparatus, systems, and methods for providing computational imaging pipeline
US9195610B2 (en) Transaction info bypass for nodes coupled to an interconnect fabric
US11580026B2 (en) Systems and methods for efficient data buffering
CN105740195B (zh) Or链式总线的增强数据总线反转编码的方法和装置
US20120290763A1 (en) Method and system of complete mutual access of multiple-processors
JP7053713B2 (ja) 低電力コンピュータイメージング
US7761696B1 (en) Quiescing and de-quiescing point-to-point links
CN109690499B (zh) 使用模式适配器的用于图像和视觉处理块的数据同步
US20130054852A1 (en) Deadlock Avoidance in a Multi-Node System
US8738863B2 (en) Configurable multi-level buffering in media and pipelined processing components
EP4235441A1 (en) System, method and apparatus for peer-to-peer communication
CN109564562B (zh) 大数据运算加速系统和芯片
CN103093446B (zh) 基于多处理器片上系统的多源图像融合装置和方法
US20150113196A1 (en) Emi mitigation on high-speed lanes using false stall
US11544009B2 (en) Heterogeneous computation and hierarchical memory image sensing pipeline
US20090019207A1 (en) Dual bus matrix architecture for micro-controllers
US20210089446A1 (en) Systems and methods for efficient data buffering
KR20180025114A (ko) 사물 인터넷용 시스템 온 칩 이중 프로세서 구조
CN204515761U (zh) 片上系统
CN113301269B (zh) 在线和离线交错的带宽高效的图像信号处理
CN104598407A (zh) 片上系统及控制方法
US10261817B2 (en) System on a chip and method for a controller supported virtual machine monitor
US10178310B1 (en) Data unit feed synchronization to multiple pipelines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant