CN111524183A - 一种基于透视投影变换的目标行列定位方法 - Google Patents
一种基于透视投影变换的目标行列定位方法 Download PDFInfo
- Publication number
- CN111524183A CN111524183A CN202010263407.9A CN202010263407A CN111524183A CN 111524183 A CN111524183 A CN 111524183A CN 202010263407 A CN202010263407 A CN 202010263407A CN 111524183 A CN111524183 A CN 111524183A
- Authority
- CN
- China
- Prior art keywords
- target
- projection transformation
- positioning method
- points
- joint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Abstract
本发明涉及一种基于透视投影变换的目标行列定位方法,该方法通过对教室中学生的行列定位实现对学生身份的确定,包括以下步骤:获取课堂视频;从所述课堂视频中提取帧图像,对所述帧图像进行畸变校正处理;检测所述帧图像中所有的人体关节点模型;基于所述人体关节点模型所有目标的获得目标代表点,对所述目标代表点进行投影变换,获得各目标的俯视投影坐标;对所述俯视投影坐标进行聚类,获得各目标的行列定位结果。与现有技术相比,本发明代替人脸识别技术达到识别学生身份的目的,具有准确率高和速度快等优点。
Description
技术领域
本发明涉及一种目标行列位置识别方法,尤其是涉及一种基于透视投影变换的目标行列定位方法。
背景技术
如今人工智能技术不断发展,逐步渗透进社会各行各业,教育也不例外。而智慧教育相较于传统教育,能够时刻关注到课堂中每一个学生的学习状态,通过持续的跟踪观察,针对学生提供个性化的教学服务。而传统教学中则很难做到这一点。
要想实现学生的个性化服务,就必须做到将识别出的动作和姿态关联到其对应的学生主体以及确定学生的身份。然而教室场景下学生数量较多,姿态各异,并且存在遮挡,此外还有摄像头的位置、精度等因素的影响,都对解决这一问题增加了难度。
关于确定学生身份这一问题,一种自然的想法是使用人脸识别算法识别出学生身份。如文献Joint Face Detection and Alignment Using Multitask CascadedConvolutional Networks(K.Zhang,Z.Zhang,Z.Li,Y.Qiao,IEEE Signal ProcessingLetters(SPL),vol.23,no.10,pp.1499-1503,2016)公开的MTCNN,是一种用于检测图像中人脸的位置以及特征点的算法。该方法构建了三个网络来对图像进行处理,每个网络的结构参见图1,而每层网络的作用如下:
(1)Proposal Network(P-Net):该网络主要获取人脸区域的候选窗口和边界框的回归向量,之后对边界框做回归来校准候选区域,最后采用非极大值抑制(NMS)来合并高度重叠的候选窗口。
(2)Refine Network(R-Net):该网络仍然通过边界框回归和NMS来校准候选区域并去掉错误的区域,但其因为结构较P-Net多了一个全连接层,因此对错误区域有更好的抑制作用。
(3)Output Network(O-Net):该网络作用与R-Net类似,但通过增加了一个卷积层来提供更多监督,从而增加精度。此外,该网络还会同时输出人脸的五个关键特征点(Landmark)。
上述三个网络的具体训练步骤可分为三个任务:人脸/非人脸分类、边界框回归和人脸关键特征点定位。在计算出人脸范围及特征点后,通过计算特征与已存储的带有身份标识的人脸数据的特征相似度,即可识别出人脸的身份。
上述现有的人脸识别过程具有以下不足:
1、采用人脸识别技术对图像分辨率有较高要求,因而要求较高的摄像头精度采集数据。在教室场景下,后排学生分辨率往往很低,从而会严重影响识别结果。
2、如果采用高精度摄像头,则会大大提高使用成本。
3、进行人脸特征相似度匹配时,耗时相对较长。
发明内容
本发明的目的在于克服上述现有人脸识别过程存在的缺陷而提供一种基于透视投影变换的目标行列定位方法,是一种利用人体关节点模型生成的代表点计算对象行列位置的方法,可以实现代替人脸识别技术达到识别学生身份的目的。
本发明的目的可以通过以下技术方案来实现:
一种基于透视投影变换的目标行列定位方法,该方法通过对教室中学生的行列定位实现对学生身份的确定,包括以下步骤:
获取课堂视频;
从所述课堂视频中提取帧图像,对所述帧图像进行畸变校正处理;
检测所述帧图像中所有的人体关节点模型;
基于所述人体关节点模型所有目标的获得目标代表点,对所述目标代表点进行投影变换,获得各目标的俯视投影坐标;
对所述俯视投影坐标进行聚类,获得各目标的行列定位结果。
进一步地,从所述课堂视频中提取帧图像具体为:以2~5秒为间隔提取所述帧图像。
进一步地,所述畸变校正处理具体为:获取相机内参矩阵,根据相机内参矩阵对获取到的帧图像进行畸变校正。
进一步地,所述人体关节点模型基于PifPaf网络获得,所述PifPaf网络包括用于预测人体关节点位置的第一子网络和用于预测关节点之间连接关系的第二子网络。
进一步地,各目标的所述目标代表点基于对应人体关节点模型中各关节点的坐标加权平均值获得,计算公式为:
其中,(xi,yi)为目标i的目标代表点,wj为权值,(xij,yij)为对应于目标i的人体关节点模型中关节点j的坐标,N为关节点个数。
进一步地,设置所述权值时,手部关节点和脚部关节点的权值最小。
进一步地,设置所述权值时,膝盖部关节点的权值最大。
进一步地,所述投影变换具体为:
进一步地,进行所述聚类前采用局部异常因子算法进行游离异常点剔除。
与现有技术相比,本发明具有如下有益效果:
1、本发明应用于教学课堂这一独特的场景,基于这一场景具有每个学生与其座位一一对应这一特点,本发明转变了解决问题的角度,不直接确定每个学生的身份,转而采用通过确定学生是位于教室座位第几行和第几列来间接确定学生身份的方法。本发明首先使用人体姿态估计识别出图像中所有目标的关节点模型,利用关节点计算出图像中其对应的目标代表点,获得所有目标代表点后通过投影变换获取目标代表点之间的相对位置关系,之后计算出目标行列位置,进而确定学生身份。经过实际场景的验证,该方法具有较好的准确率和速度。
2、本发明可在教室场景下快速、准确地确定每个学生身份,对图像分辨率无高要求。
3、本发明解决人脸识别技术所需要的高质量图像问题,使能够用于一般质量图像。
4、本发明降低了方案时间复杂度,做到实时响应。
附图说明
图1为MTCNN的三层网络结构;
图2为本发明流程示意图;
图3为图像畸变校正前后对比图;
图4为PifPaf网络结构;
图5为人体关节点模型检测示意图;
图6为投影变换前后学生代表点示意图;
图7为学生行列定位结果展示。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
缩略语和关键术语定义
关节点:姿态识别中预测的属于人体各部位关节的点。
代表点:用以代表一个人在图像中的位置,二维坐标。
姿态估计(Pose Estimation):对目标物体的方位指向等进行估计的方法。
透视投影变换(Perspective Projection Transformation):将相机坐标系中的物体投影到另一平面。
人脸识别:利用人脸中的特征关键点进行匹配,确定身份。
镜头畸变:因为像机镜头的固有特征导致成像与实际失真的情况。
局部异常因子(Local Outlier Factor,LOF):一种通过计算附近点密度与当前点比值关系,即局部可达密度的算法。
K-Means聚类算法:一种迭代求解的聚类算法,最终将数据聚集到K个类别中。
本实施例提供一种基于透视投影变换的对象定位方法,该方法用于实现对教室中学生的行列定位,主要包括人体关节点检测、代表点计算和行列定位等步骤。如图2所示,该方法的具体步骤如下所述。
步骤1:获取课堂视频。
步骤2:对课堂视频数据进行预处理,以2~5秒为间隔从所述课堂视频中提取帧图像,对所述帧图像进行畸变校正处理。畸变校正处理具体为:获取相机内参矩阵,根据相机内参矩阵对获取到的帧图像进行畸变校正,本实施例中,课堂数据按照3秒取一帧进行截图,并采用张正友标定法获取或通过摄像机官方提供的工具包直接获取相机内参矩阵,畸变处理前后图像如图3所示。
步骤3:检测所述帧图像中所有的人体关节点模型。
人体关节点检测可以使用如图4所示的PifPaf网络结构获得。该PifPaf网络包括用于预测人体关节点位置的第一子网络Part Intensity Field(PIF)和用于预测关节点之间连接关系的第二子网络Part Association Field(PAF)。
(1)PIF
PIF是一种置信图和回归相结合的方法,传统的PIF具有三个参数:置信度c,坐标x和y。PifPaf对其进行了扩展增加了两个参数,分别为需要预测的关节点个数b以及一个尺度σ。故对图像上的每一点(i,j),输出为之后将其与一个非规范高斯核(unnormalized Gaussian kernel)卷积来获取高分辨率的关节点置信图。公式如下:
它的含义即为融合所有预测位置的置信度以及对应位置的高斯分布的值来提高结果的准确度。
(2)PAF
找到关节点与相互之间的连接后,最后需要将属于同一个人的关节点连起来构成人体模型,采用一种Greedy Decoding方法利用上述PAF方法得到的结果重新计算score值,最终按照得分高的进行选择,逐步形成人体关节点模型。公式如下:
步骤4:基于所述人体关节点模型所有目标的获得目标代表点,并获得相互之间的相对位置关系,对所述目标代表点进行投影变换,获得各目标的俯视投影坐标。应用于教室场景中的具体流程大致为:对每一名学生i,计算其N个关节点的坐标加权平均值,再将其投影到同一水平面获取其相对关系。
各目标的所述目标代表点基于对应人体关节点模型中各关节点的坐标加权平均值获得,计算公式为:
其中,(xi,yi)为目标i的目标代表点,wj为权值,(xij,yij)为对应于目标i的人体关节点模型中关节点j的坐标,N为关节点个数。
设置所述权值时,手部关节点和脚部关节点的权值最小,以较好获得位于胸部的学生代表点。进一步地,在设置权值时,可将膝盖部关节点的权值最大,能更大幅度降低站立状态的学生代表点。
具体对于wj的取值,初始值都设为1。但我们期望每个代表点都能较好地位于人体中心,考虑到人体小臂小腿等部位自由度较大,其不同位姿会影响到平均值的结果,因此当检测到手脚等对应的关节点时,在计算代表点时不考虑这些关节点,即修改wj=0,j∈{hand,feet}(或可根据情况调整其权重较小)。如此只利用主体躯干部分的关节点,能较好获得位于胸部的学生代表点。另外,当学生站立时,其代表点会较大幅度提高,会对后续定位工作引起较大的误差。需要对站立的人体代表点进行“下沉”,这就是我们引入权重的主要目的。考虑到坐姿状态相较站姿,膝盖等下半身关节相对人体的位置更高,而上半身相对不变,因此适当增加膝盖部位的权重,经过测试,最终令wj=1.75,j∈{knee,hip}其对于坐姿状态的学生代表点下移幅度较小,但能更大幅度降低站立状态的学生代表点,从而提高准确率。
此时获得的学生代表点坐标(x,y)是在相机坐标系中的,还需要对其进行投影变换,将其投影到水平坐标系(p,q)上。变换公式为:
单应矩阵通过位于同一平面的四个点的转换关系计算获得。本实施例中,为求得该矩阵,可将参数正则化,即令某一参数为1,不妨设h33=1。此时还剩8个参数,需要至少8个点来确定,其中原图和投影后的图各取4个。因此,针对教室这一固定场景,可以先确定四个位于同一平面的点,如地板或桌子所在平面等,计算出之后即可使用对学生代表点进行变换。最终变换结果可参见图6,可以看到变换后的结果更容易分辨行列。
步骤5:对所述俯视投影坐标进行聚类,获得各目标的行列定位结果。
获得全部学生代表点的俯视投影坐标后,就需要开始确定学生行列位置。首先需要明确的一点是对于教室中行列的总数是已知的,所以可以分别对行和列采用已确定K值的K-Means算法进行计算。
在聚类之前,考虑到会有出现在座位区域之外的老师成为干扰因素,还需要先将这些单独的老师的代表点进行剔除。本发明采用局部异常因子(Local Outlier Factor,LOF)算法对这些游离在外的代表点进行异常点剔除。
最后根据已给出的行或列总数分别进行K-Means聚类算法即可求得代表点对应的行列位置。为了更加明显的区分这些点,还可以先使用位于(0,1)之间的幂和函数进行区分再聚类提升效果。最终结果可参见图7。
对于在实际场景中进行测试的结果,以正检数/检测出的学生个数作为评价标准,平均准确率为92.48%。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由本发明所确定的保护范围内。
Claims (10)
1.一种基于透视投影变换的目标行列定位方法,其特征在于,该方法通过对教室中学生的行列定位实现对学生身份的确定,包括以下步骤:
获取课堂视频;
从所述课堂视频中提取帧图像,对所述帧图像进行畸变校正处理;
检测所述帧图像中所有的人体关节点模型;
基于所述人体关节点模型所有目标的获得目标代表点,对所述目标代表点进行投影变换,获得各目标的俯视投影坐标;
对所述俯视投影坐标进行聚类,获得各目标的行列定位结果。
2.根据权利要求1所述的基于透视投影变换的目标行列定位方法,其特征在于,从所述课堂视频中提取帧图像具体为:以2~5秒为间隔提取所述帧图像。
3.根据权利要求1所述的基于透视投影变换的目标行列定位方法,其特征在于,所述畸变校正处理具体为:获取相机内参矩阵,根据相机内参矩阵对获取到的帧图像进行畸变校正。
4.根据权利要求1所述的基于透视投影变换的目标行列定位方法,其特征在于,所述人体关节点模型基于PifPaf网络获得,所述PifPaf网络包括用于预测人体关节点位置的第一子网络和用于预测关节点之间连接关系的第二子网络。
6.根据权利要求5所述的基于透视投影变换的目标行列定位方法,其特征在于,设置所述权值时,手部关节点和脚部关节点的权值最小。
7.根据权利要求5所述的基于透视投影变换的目标行列定位方法,其特征在于,设置所述权值时,膝盖部关节点的权值最大。
10.根据权利要求1所述的基于透视投影变换的目标行列定位方法,其特征在于,进行所述聚类前采用局部异常因子算法进行游离异常点剔除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010263407.9A CN111524183A (zh) | 2020-04-07 | 2020-04-07 | 一种基于透视投影变换的目标行列定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010263407.9A CN111524183A (zh) | 2020-04-07 | 2020-04-07 | 一种基于透视投影变换的目标行列定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111524183A true CN111524183A (zh) | 2020-08-11 |
Family
ID=71911631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010263407.9A Pending CN111524183A (zh) | 2020-04-07 | 2020-04-07 | 一种基于透视投影变换的目标行列定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111524183A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112261477A (zh) * | 2020-10-22 | 2021-01-22 | 新东方教育科技集团有限公司 | 视频处理方法及装置、训练方法和存储介质 |
CN112954451A (zh) * | 2021-02-05 | 2021-06-11 | 广州市奥威亚电子科技有限公司 | 视频人物添加信息的方法、装置、设备及存储介质 |
CN113033348A (zh) * | 2021-03-11 | 2021-06-25 | 北京文安智能技术股份有限公司 | 行人重识别的俯视图像校正方法、存储介质和电子设备 |
CN113538578A (zh) * | 2021-06-22 | 2021-10-22 | 恒睿(重庆)人工智能技术研究院有限公司 | 目标定位方法、装置、计算机设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080112592A1 (en) * | 2006-06-19 | 2008-05-15 | Weiguo Wu | Motion Capture Apparatus and Method, and Motion Capture Program |
CN102663779A (zh) * | 2012-05-03 | 2012-09-12 | 西安电子科技大学 | 基于随机高斯隐变量的人体运动跟踪方法 |
US20140079297A1 (en) * | 2012-09-17 | 2014-03-20 | Saied Tadayon | Application of Z-Webs and Z-factors to Analytics, Search Engine, Learning, Recognition, Natural Language, and Other Utilities |
CN106815855A (zh) * | 2015-12-02 | 2017-06-09 | 山东科技职业学院 | 基于产生式和判别式结合的人体运动跟踪方法 |
CN110287792A (zh) * | 2019-05-23 | 2019-09-27 | 华中师范大学 | 一种处于自然教学环境的课堂中学生学习状态实时分析方法 |
CN110827432A (zh) * | 2019-11-11 | 2020-02-21 | 深圳算子科技有限公司 | 一种基于人脸识别的课堂考勤方法及系统 |
-
2020
- 2020-04-07 CN CN202010263407.9A patent/CN111524183A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080112592A1 (en) * | 2006-06-19 | 2008-05-15 | Weiguo Wu | Motion Capture Apparatus and Method, and Motion Capture Program |
CN102663779A (zh) * | 2012-05-03 | 2012-09-12 | 西安电子科技大学 | 基于随机高斯隐变量的人体运动跟踪方法 |
US20140079297A1 (en) * | 2012-09-17 | 2014-03-20 | Saied Tadayon | Application of Z-Webs and Z-factors to Analytics, Search Engine, Learning, Recognition, Natural Language, and Other Utilities |
CN106815855A (zh) * | 2015-12-02 | 2017-06-09 | 山东科技职业学院 | 基于产生式和判别式结合的人体运动跟踪方法 |
CN110287792A (zh) * | 2019-05-23 | 2019-09-27 | 华中师范大学 | 一种处于自然教学环境的课堂中学生学习状态实时分析方法 |
CN110827432A (zh) * | 2019-11-11 | 2020-02-21 | 深圳算子科技有限公司 | 一种基于人脸识别的课堂考勤方法及系统 |
Non-Patent Citations (1)
Title |
---|
关桂珍 等: "步态骨骼模型的协同表示识别方法" * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112261477A (zh) * | 2020-10-22 | 2021-01-22 | 新东方教育科技集团有限公司 | 视频处理方法及装置、训练方法和存储介质 |
CN112954451A (zh) * | 2021-02-05 | 2021-06-11 | 广州市奥威亚电子科技有限公司 | 视频人物添加信息的方法、装置、设备及存储介质 |
CN113033348A (zh) * | 2021-03-11 | 2021-06-25 | 北京文安智能技术股份有限公司 | 行人重识别的俯视图像校正方法、存储介质和电子设备 |
CN113538578A (zh) * | 2021-06-22 | 2021-10-22 | 恒睿(重庆)人工智能技术研究院有限公司 | 目标定位方法、装置、计算机设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021196294A1 (zh) | 一种跨视频人员定位追踪方法、系统及设备 | |
CN111524183A (zh) | 一种基于透视投影变换的目标行列定位方法 | |
CN109522850B (zh) | 一种基于小样本学习的动作相似度评估方法 | |
CN107392964B (zh) | 基于室内特征点和结构线结合的室内slam方法 | |
US7706601B2 (en) | Object posture estimation/correlation system using weight information | |
CN106055091B (zh) | 一种基于深度信息和校正方式的手部姿态估计方法 | |
CN104484648B (zh) | 基于轮廓识别的机器人可变视角障碍物检测方法 | |
CN106408591B (zh) | 一种抗遮挡的目标跟踪方法 | |
CN109903313B (zh) | 一种基于目标三维模型的实时位姿跟踪方法 | |
CN111144207B (zh) | 一种基于多模态信息感知的人体检测和跟踪方法 | |
CN109949375A (zh) | 一种基于深度图感兴趣区域的移动机器人目标跟踪方法 | |
CN110555408B (zh) | 一种基于自适应映射关系的单摄像头实时三维人体姿态检测方法 | |
Cheng et al. | Improving visual localization accuracy in dynamic environments based on dynamic region removal | |
CN110795982A (zh) | 一种基于人体姿态分析的表观视线估计方法 | |
CN103514441A (zh) | 基于移动平台的人脸特征点定位跟踪方法 | |
Wen et al. | Hybrid semi-dense 3D semantic-topological mapping from stereo visual-inertial odometry SLAM with loop closure detection | |
CN111797688A (zh) | 一种基于光流和语义分割的视觉slam方法 | |
CN108470356A (zh) | 一种基于双目视觉的目标对象快速测距方法 | |
CN110516548B (zh) | 一种基于三维眼球模型和Snakuscule的虹膜中心定位方法 | |
CN111860297A (zh) | 一种应用于室内固定空间的slam回环检测方法 | |
WO2015165227A1 (zh) | 人脸识别方法 | |
CN116030519A (zh) | 一种直播教学平台的学习注意力检测与评估方法 | |
Feng | Mask RCNN-based single shot multibox detector for gesture recognition in physical education | |
CN113762009B (zh) | 一种基于多尺度特征融合及双注意力机制的人群计数方法 | |
Sun et al. | Automatic targetless calibration for LiDAR and camera based on instance segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210907 Address after: 200240 No. 800, Dongchuan Road, Shanghai, Minhang District Applicant after: SHANGHAI JIAO TONG University Applicant after: SHANGHAI INFORMATION INDUSTRY Address before: 200240 No. 800, Dongchuan Road, Shanghai, Minhang District Applicant before: SHANGHAI JIAO TONG University |
|
TA01 | Transfer of patent application right |