CN112508133B - 一种多模态信息融合的集装箱类型识别方法及系统 - Google Patents

一种多模态信息融合的集装箱类型识别方法及系统 Download PDF

Info

Publication number
CN112508133B
CN112508133B CN202110135310.4A CN202110135310A CN112508133B CN 112508133 B CN112508133 B CN 112508133B CN 202110135310 A CN202110135310 A CN 202110135310A CN 112508133 B CN112508133 B CN 112508133B
Authority
CN
China
Prior art keywords
container
information
perception
module
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110135310.4A
Other languages
English (en)
Other versions
CN112508133A (zh
Inventor
周振宇
尹俊奇
任林涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MATRIXTIME ROBOTICS (SHANGHAI) Co.,Ltd.
Original Assignee
Matrixtime Robotics Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matrixtime Robotics Shanghai Co ltd filed Critical Matrixtime Robotics Shanghai Co ltd
Priority to CN202110135310.4A priority Critical patent/CN112508133B/zh
Publication of CN112508133A publication Critical patent/CN112508133A/zh
Application granted granted Critical
Publication of CN112508133B publication Critical patent/CN112508133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06C—DIGITAL COMPUTERS IN WHICH ALL THE COMPUTATION IS EFFECTED MECHANICALLY
    • G06C3/00—Arrangements for table look-up, e.g. menstruation table
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体公开了一种多模态信息融合的集装箱类型识别方法及系统，包括如下步骤：1）构建集装箱信息的编码表；2）对集装箱数据进行采集并进行视觉感知，获取感知信息；3）将感知所得信息在编码表中检索，对比检索的结果与感知所得信息的差异：若被检索则输出编码表对应的集装箱类型，若无法被检索或感知所得信息错误则多模态信息融合与感知模块预测集装箱类型。本发明可以利用集装箱多种不同的模态信息，各模态信息相互依赖且相互补充，可更加全面的对集装箱进行描述；此外本方法通过抽象本发明对集装箱的感知结果，将感知结果与本地集装箱信息数据库进行查询与比对，从而可更鲁棒和准确的对集装箱类型进行识别。

Description

一种多模态信息融合的集装箱类型识别方法及系统
技术领域
本发明涉及图像识别技术领域，特别涉及一种多模态信息融合的集装箱类型识别方法及系统。
背景技术
在港口自动化改造进程中，集装箱类型的自动化识别主要采用机器视觉的方法，通过识别集装箱箱面上存在的箱型码来区分集装箱的类型。尽管该类方法对大部分场景能完成分类任务，但是在面对一些特殊场景时，如集装箱箱面由于污损、遮挡或其他等原因导致箱型码区域无法被正确辨识时，将导致该类方法失效。
发明内容
本发明的目的在于提一种基于机器视觉与多模态信息融合的集装箱类型识别方法，用以解决在特殊场景下集装箱类型识别困难的问题。
鉴于此，本发明的方案如下：
一种多模态信息融合的集装箱类型识别方法，包括以下步骤：
S1.构建集装箱信息的编码表，采集集装箱数据并进行视觉感知，获取感知信息；
S2.将感知所得信息在编码表中检索，获得的集装箱类型；
S3.对S2中无法被检索或感知错误的结果进行特征编码与特征融合，获得融合编码；
S4. 以融合编码为输入，利用深度神经网络模型对集装箱类型进行预测。
进一步地，所述编码表基于集装箱的数字序列，颜色外观以及几何形状信息；所述集装箱对应的编码唯一。
进一步地，所述集装箱数据的采集方法包括数字图像采集和三维扫描数据采集。
进一步地，所述视觉感知包含对集装箱数字序列信息感知、颜色外观的感知以及几何形状的感知。优选地，所述数字序列信息感知和颜色外观的感知均以集装箱的彩色数字图像为输入，对其集装箱的箱号、箱型码、颜色进行识别。优选地，所述几何形状的感知利用三维传感器获取集装箱的三维点云信息，对集装箱的高度、长度、表面形状进行测量与识别。
进一步地，所述特征编码采用词嵌入以及独热编码。
进一步地，所述特征融合对特征编码的结果进行拼接，组成融合特征。
本发明另一个目的在于提供一种多模态信息融合的集装箱类型识别系统，包括视觉感知模块、结果检查模块、信息融合模块以及集装箱类型预测模块；其中：
所述视觉感知模块对图像中的集装箱相关内容进行感知和识别；
所述结果检查模块通过将视觉感知模块的集装箱抽象描述结果进行编码并与本地集装箱信息编码表进行检索与比对，对感知结果的正确与否进行判定；
所述信息融合模块对视觉感知模块所感知的内容进行分析与信息融合，得到集装箱的信息；
所述集装箱类型预测模块对信息融合模块的结果进行推理与预测，输出集装箱的类型。
进一步地，所述视觉感知模块包括集装箱数字序列信息感知子模块、集装箱颜色外观感知子模块以及集装箱几何形状的感知子模块；所述信息融合模块输出集装箱的信息包括集装箱的数字序列，颜色外观以及几何形状。
相对于现有技术，本发明的有益效果为：
1. 本发明提一种利用集装箱多模态信息进行融合的集装箱类型识别方法，可充分利用集装箱各个模态下的语义信息，各模态信息相互依赖且相互补充，可更加全面的对集装箱进行描述，具有更好的鲁棒性和准确性。
2. 本发明构建了一个关于集装箱信息的信息的编码表，通过利用信息的编码表，可以对本发明所感知的结果进行错误检查，从而增加方法的健壮性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明一种基于机器视觉与多模态信息融合的集装箱类型识别方法总体流程图。
图2为本发明视觉感知流程图。
图3为本发明集装箱信息融合流程图。
图4为本发明融合成一个1570维的特征向量的示意图。
具体实施方式
为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。
本发明提供一种的集装箱类型识别系统主要包括：“视觉感知模块”，“结果检查模块”、“信息融合模块”以及“集装箱类型预测模块”，其中：
“视觉感知模块”对图像中的集装箱相关内容进行感知和识别，包括集装箱数字序列信息感知子模块、集装箱颜色外观感知子模块以及集装箱几何形状的感知子模块；
“结果检查模块”通过将“视觉感知模块”的集装箱抽象描述结果进行编码并与本地集装箱信息编码表进行检索与比对，对感知结果的正确与否进行判定；
“信息融合模块”对“视觉感知模块”所感知的内容进行分析与信息融合，从而得到关于集装箱的抽象描述，包括其数字序列描述（集装箱箱号、集装箱箱型码）、颜色外观描述（集装箱颜色），几何形状描述（集装箱高度、集装箱长度、表面形状）；“集装箱类型预测模块”对“信息融合模块”的结果进行推理与预测，输出集装箱的类型。
基于上述集装箱类型识别系统，本发明的多模态信息融合的集装箱类型识别方法步骤为：
步骤1，构建一个关于集装箱信息的编码表T0；所述信息的编码表对全球所有现役集装箱信息进行编码，包括对集装箱所有者，颜色、重量、长度、高度、箱号、箱型码等信息进行编码。各集装箱的编码具有唯一性，且符合一定的编码规则，存储于所述编码表T0中。
步骤2，对集装箱数据进行采集，所述数据采集包括数字图像采集和三维扫描数据采集；
步骤3，对采集的数据进行视觉感知；本发明所述“视觉感知模块”模块包含对集装箱数字序列信息感知、颜色外观的感知以及几何形状的感知三部分。其中数字序列信息感知和颜色外观的感知均以集装箱的彩色数字图像为输入，对其集装箱箱号、集装箱箱型码、集装箱颜色进行识别。几何形状的感知利用三维传感器获取集装箱的三维点云信息，从而对集装箱高度、集装箱长度、表面形状进行测量与识别。
所述对集装箱数字序列信息感知，采用基于机器视觉的文本检测与识别方法，可对集装箱上的集装箱箱号与箱型码文本进行检测识别。
所述对集装箱颜色外观的感知，采用基于机器视觉的图像分类方法，对集装箱图像进行颜色分类，可以准确识别所感知集装箱的颜色。
所述对集装箱几何形状的感知，采用基于机器视觉的三维点云处理方法，对所采集的三维点云数据进行集装箱箱门、箱面区域进行分割，并对其长度、高度进行测量。所述集装箱表面形状识别，采用模板匹配的方法，将所采集的集装箱点云数据与对本方法预先存储的各种样式的集装箱类型模板进行匹配，挑选出最相似的形状类型。
步骤4，对感知的结果进行检查，本发明以所述“视觉感知模块”的结果为输入，将其进行编码并将其在本发明所述编码表T0中进行检索，对比检索的结果与“视觉感知模块”结果的差异。对于一个现役合法的集装箱，其编码结果具有唯一性。若当前结果无法被检索，则说明感知结果存在一定的错误，或者说明该集装箱未被收录至当前编码表中。对于上述感知结果存在部分错误的或者无法在信息编码表T0中检索的集装箱，需要通过本发明所述的多模态信息融合与感知模块进行预测。
步骤5，对感知的结果进行信息融合，本发明“信息融合模块”抽取“视觉感知模块”的感知结果进行特征编码与特征融合。
所述特征编码主要采用词嵌入（Word2vec）技术以及独热编码（one hotencoding）两种。其中集装箱箱号、箱型码、集装箱颜色、采用Word2vec技术转化为512维度的词向量;集装箱外型则采用独热编码转化为32维的向量，分别对应32种类型的形状;高度和长度则将对应的数值归一化，组合成一个2维的张量。对于受限于感知模块的性能瓶颈，或者由于场景缺陷导致的部分感知结果无法被正确识别的情况，则采用0进行相应填充。经过特征编码后，可以保留各感知结果的独有信息，也便于将多模态信息进行组合。
所述特征融合采用特征拼接的方式，将经过特征编码的结果进行拼接，组合成一个512+512+512+32+2 = 1570维的融合特征。
如图4所示，对于感知信息为集装箱号：SITU2854623,箱型码：22G1,集装箱颜色：蓝色 ，高度：2591mm,长度：6096 mm,表面形状：普通集装箱外形。将融合成一个1570维的特征向量。该特征具有具有更丰富的集装箱的语义信息，更利于对集装箱类型的预测。
本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。

Claims (9)

1.一种多模态信息融合的集装箱类型识别方法，包括以下步骤：
S1.构建集装箱信息的编码表，采集集装箱数据并进行视觉感知，获取感知信息；视觉感知包括几何形状的感知，几何形状利用三维传感器获取集装箱的三维点云信息，对集装箱的高度、长度、表面形状进行测量与识别；
S2.将感知所得信息在编码表中检索，获得集装箱的类型；
S3.对S2中无法被检索或感知错误的结果进行特征编码与特征编码的融合，获得融合编码；
S4. 以融合编码为输入，利用深度神经网络模型对集装箱类型进行预测。
2.根据权利要求1所述的集装箱类型识别方法，其特征在于，所述视觉感知还包含对集装箱数字序列信息感知、颜色外观的感知。
3.根据权利要求2所述的集装箱类型识别方法，其特征在于，所述编码表基于集装箱的数字序列，颜色外观以及几何形状信息；所述集装箱对应的编码唯一。
4.根据权利要求2所述的集装箱类型识别方法，其特征在于，所述数字序列信息感知和颜色外观的感知均以集装箱的彩色数字图像为输入，对其集装箱的箱号、箱型码、颜色进行识别。
5.根据权利要求1所述的集装箱类型识别方法，其特征在于，所述集装箱数据的采集方法包括数字图像采集和三维扫描数据采集。
6.根据权利要求1所述的集装箱类型识别方法，其特征在于，所述特征编码采用词嵌入以及独热编码。
7.根据权利要求1所述的集装箱类型识别方法，其特征在于，所述步骤S3中特征编码的融合为对特征编码的结果进行拼接，组成融合特征。
8.一种多模态信息融合的集装箱类型识别系统，其特征在于，包括视觉感知模块、结果检查模块、信息融合模块以及集装箱类型预测模块；
所述视觉感知模块对图像中的集装箱相关内容进行感知和识别，包括对几何形状感知子模块：利用三维传感器获取集装箱的三维点云信息，对集装箱的高度、长度、表面形状进行测量与识别；
所述结果检查模块通过将视觉感知模块的集装箱抽象描述结果进行编码并与本地集装箱信息编码表进行检索与比对，对感知结果的正确与否进行判定；
所述信息融合模块对视觉感知模块所感知的内容进行分析与信息融合，得到集装箱的信息；
所述集装箱类型预测模块对信息融合模块的结果进行推理与预测，输出集装箱的类型。
9.根据权利要求8所述的集装箱类型识别系统，其特征在于，所述视觉感知模块包括集装箱数字序列信息感知子模块、集装箱颜色外观感知子模块；所述信息融合模块输出集装箱的信息包括集装箱的数字序列，颜色外观以及几何形状。
CN202110135310.4A 2021-02-01 2021-02-01 一种多模态信息融合的集装箱类型识别方法及系统 Active CN112508133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110135310.4A CN112508133B (zh) 2021-02-01 2021-02-01 一种多模态信息融合的集装箱类型识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110135310.4A CN112508133B (zh) 2021-02-01 2021-02-01 一种多模态信息融合的集装箱类型识别方法及系统

Publications (2)

Publication Number Publication Date
CN112508133A CN112508133A (zh) 2021-03-16
CN112508133B true CN112508133B (zh) 2021-06-04

Family

ID=74953103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110135310.4A Active CN112508133B (zh) 2021-02-01 2021-02-01 一种多模态信息融合的集装箱类型识别方法及系统

Country Status (1)

Country Link
CN (1) CN112508133B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104040588A (zh) * 2011-12-20 2014-09-10 Ocws物流私人有限公司 用于管理运输资源和运输货运集装箱的系统和方法
CN104361322A (zh) * 2014-11-06 2015-02-18 同方威视技术股份有限公司 载车上的集装箱号码识别方法和系统
CN106067023A (zh) * 2016-06-02 2016-11-02 北京国泰星云科技有限公司 基于图像处理的集装箱箱号及集卡车号识别系统及方法
CN106101651A (zh) * 2016-07-29 2016-11-09 天津埃特维科技有限公司 自动化集装箱码头视频监控系统
CN108229506A (zh) * 2016-12-13 2018-06-29 上海安维尔信息科技股份有限公司 基于层次聚类和深度学习的箱号识别方法
CN109242843A (zh) * 2018-09-04 2019-01-18 深圳市平方科技股份有限公司 一种集装箱表面图像及集装箱号码图像采集方法
CN109784272A (zh) * 2019-01-13 2019-05-21 南京邮电大学盐城大数据研究院有限公司 一种集装箱识别系统及集装箱识别方法
US10762331B1 (en) * 2019-10-11 2020-09-01 Zebra Technologies Corporation Three-dimensional (3D) depth and two-dimensional (2D) imaging systems and methods for automatic container door status recognition
CN111854610A (zh) * 2020-07-29 2020-10-30 上海振华重工(集团)股份有限公司 一种用于识别集装箱的装置及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104040588A (zh) * 2011-12-20 2014-09-10 Ocws物流私人有限公司 用于管理运输资源和运输货运集装箱的系统和方法
CN104361322A (zh) * 2014-11-06 2015-02-18 同方威视技术股份有限公司 载车上的集装箱号码识别方法和系统
CN106067023A (zh) * 2016-06-02 2016-11-02 北京国泰星云科技有限公司 基于图像处理的集装箱箱号及集卡车号识别系统及方法
CN106101651A (zh) * 2016-07-29 2016-11-09 天津埃特维科技有限公司 自动化集装箱码头视频监控系统
CN108229506A (zh) * 2016-12-13 2018-06-29 上海安维尔信息科技股份有限公司 基于层次聚类和深度学习的箱号识别方法
CN109242843A (zh) * 2018-09-04 2019-01-18 深圳市平方科技股份有限公司 一种集装箱表面图像及集装箱号码图像采集方法
CN109784272A (zh) * 2019-01-13 2019-05-21 南京邮电大学盐城大数据研究院有限公司 一种集装箱识别系统及集装箱识别方法
US10762331B1 (en) * 2019-10-11 2020-09-01 Zebra Technologies Corporation Three-dimensional (3D) depth and two-dimensional (2D) imaging systems and methods for automatic container door status recognition
CN111854610A (zh) * 2020-07-29 2020-10-30 上海振华重工(集团)股份有限公司 一种用于识别集装箱的装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
铁路货场集装箱箱号智能识别及辅助管理系统研究;张乘;《现代信息科技》;20191010;第3卷(第19期);第188-191页 *

Also Published As

Publication number Publication date
CN112508133A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN110570389B (zh) 车辆损伤识别方法及装置
JP2018537772A (ja) 複数の写真の一致性に基づく保険賠償詐欺防止方法、システム、装置及び読み取り可能な記録媒体
CN109934093B (zh) 一种识别货架商品的方法、计算机可读介质及识别系统
EP3229169A1 (en) Code recognition device
EP2557524A1 (en) Method for automatic tagging of images in Internet social networks
CN103679164A (zh) 一种基于移动终端的标志识别处理方法和系统
US10963739B2 (en) Learning device, learning method, and learning program
EP3403811B1 (en) Shaping processing apparatus, shaping processing system, and program
CN109073663A (zh) 用于建立样品试管组的方法、计算机程序产品和系统
US20170193340A1 (en) System, method and computer program product for training a three dimensional object indentification system and identifying three dimensional objects using semantic segments
CN111325265B (zh) 一种针对篡改图像的检测方法及装置
KR20200130636A (ko) 라벨링 데이터 정제방법, 장치 및 프로그램
CN111259980B (zh) 标注数据的处理方法和装置
Rane et al. Chartreader: Automatic parsing of bar-plots
CN112232368A (zh) 目标识别模型训练方法、目标识别方法及其相关装置
CN112508133B (zh) 一种多模态信息融合的集装箱类型识别方法及系统
WO2020237480A1 (zh) 基于图像识别的控制方法与装置
CN114758341A (zh) 一种智能化合同图像识别与合同要素抽取方法及装置
CN117115569B (zh) 基于机器学习的物像自动识别分类方法及系统
CN113420704A (zh) 一种基于视觉传感器的物体识别方法、装置及机器人
CN111126436B (zh) 视觉匹配方法及装置
CN110443306B (zh) 葡萄酒木塞的鉴伪方法
WO2019194052A1 (ja) 画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体
CN111445267A (zh) 基于rfid的食品防伪溯源系统及方法
CN116662211B (zh) 显示界面测试方法、装置及设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210507

Address after: Room b02-59, 3b / F, 2300 Yangshupu Road, Yangpu District, Shanghai

Applicant after: MATRIXTIME ROBOTICS (SHANGHAI) Co.,Ltd.

Address before: 211500 east side of 5th floor, building 4, Zhicheng Park, No.6 Zhida Road, Jiangbei new district, Nanjing City, Jiangsu Province

Applicant before: Jushi Technology (Jiangsu) Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant