CN110689624B - 一种将混合现实场景中虚拟模型与实物配准的方法 - Google Patents

一种将混合现实场景中虚拟模型与实物配准的方法 Download PDF

Info

Publication number
CN110689624B
CN110689624B CN201910962405.6A CN201910962405A CN110689624B CN 110689624 B CN110689624 B CN 110689624B CN 201910962405 A CN201910962405 A CN 201910962405A CN 110689624 B CN110689624 B CN 110689624B
Authority
CN
China
Prior art keywords
virtual model
mixed reality
model
actual object
reality scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910962405.6A
Other languages
English (en)
Other versions
CN110689624A (zh
Inventor
任臻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Citic Innovation Incubation Shenzhen equity Investment Management Co ltd
Original Assignee
Beijing Huaning Quanshi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huaning Quanshi Technology Co ltd filed Critical Beijing Huaning Quanshi Technology Co ltd
Priority to CN201910962405.6A priority Critical patent/CN110689624B/zh
Publication of CN110689624A publication Critical patent/CN110689624A/zh
Application granted granted Critical
Publication of CN110689624B publication Critical patent/CN110689624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种将混合现实场景中虚拟模型与实物配准的方法,首先利用标定点构建空间非直角坐标系,然后分别利用模型与物体上的坐标系求取姿态,最终获得物体姿态在混合现实设备参考系中的表示形式,实现模型与物体的姿态同步;利用坐标对应关系求物体中心点在混合现实设备参考系中的坐标,实现模型与物体的位置同步,最终实现模型与物体的配准。本发明有益效果为:通过图像识别的方法获取标定点的坐标信息,不需要额外的位置传感器,方法简单易行;对物体的姿态没有限制,物体采用任意姿态,均可以实现模型与物体的姿态同步,可以将混合现实场景中的虚拟模型与实际物体配准叠加,增强混合现实设备使用者对现实信息的获取。

Description

一种将混合现实场景中虚拟模型与实物配准的方法
技术领域
本发明属于涉及混合现实计算技术领域,具体涉及用于混合现实场景与实际物体的配准的一种将混合现实场景中虚拟模型与实物配准的方法。
背景技术
混合现实技术是当前比较热门的一个课题,在混合现实技术的各种实际应用中,需要把虚拟模型放置在实际空间中的某一个位置上,一般可以把应用分成两类,一种是没有实际物体的,把虚拟模型放置在空间中进行补足,例如混合现实拍照,把一个游戏人物放在空间中和自己合影,另一种则是有实际物体的,把虚拟模型与实际物体进行叠加以增强信息,例如把一个杯子的模型套在实际的杯子上,把虚拟模型与实际物体进行叠加以增强信息。
微软的HoloLens是当前应用最多的混合现实设备之一,该设备可以采集影像和深度信息,并利用这些信息重建现实场景,但是该设备识别并重建的场景是针对整个房间构建的模型,房间中的很多细节都会缺失,如较难识别的黑色物体和比较细小的物体等。在这种情况下,要把一个虚拟模型与实际物
现有技术中,发明专利号201610112630.7所公开的一种混合现实仿真系统的快速配准方法,该专利所述的配准方法需要在模型和实际物体上进行标定,使用定位传感器,并且需要虚拟模型与实际物体的姿态相同;发明专利号201810630885.1所公开的一种基于混合现实的特征点定位方法,该专利所述的方法需要采集人体的特征点,并构建点云,然后用点云与事先准备的模型进行比对,该专利最终落实到模型的比对与相似度分析,分析两者是否是同一个人,与本发明解决的不属于同一问题。
发明内容
本发明的目的在克服上述现有技术存在的不足,提供一种将混合现实场景中虚拟模型与实物配准的方法,能够快速的将虚拟模型与实际物体叠加,通过在虚拟模型上附加信息,来增强混合现实体验者对现实的认知。
本发明的目的通过以下技术方案实现:
本发明提供一种将混合现实场景中虚拟模型与实物配准的方法,本方法的基本思想是:
首先利用标定点构建空间非直角坐标系,然后分别在以模型与物体上标定点构建的两个坐标系中求取姿态参数,最终获得物体姿态在混合现实设备参考系中的表示形式,实现模型与物体的姿态同步;利用坐标对应关系求物体中心点在混合现实设备参考系中的坐标,实现模型与物体的位置同步,最终实现模型与物体的配准。
本发明的具体技术方案为:
一种将混合现实场景中虚拟模型与实物配准的方法,包括如下步骤:
Q1、在虚拟模型与实际物体上,分别标定不共面的四个标定点,虚拟模型上标定点的位置与实际物体上标定点的位置一一对应;
Q2、假设虚拟模型的中心点坐标记为(0,0,0),虚拟模型上的4个标定点分别记为Am,Bm,Cm,Dm,这四个点的坐标信息都为已知,记Am的坐标信息为:(xAm,yAm,zAm),同理,记Bm,Cm,Dm的坐标信息分别为:(xBm,yBm,zBm)、(xCm,yCm,zCm)、(xDm,yDm,zDm);依次定位实际物体的4个标定点的空间坐标,分别记为(xAo,yAo,zAo)、(xBo,yBo,zBo)、(xCo,yCo,zCo)、(xDo,yDo,zDo);
Q3、虚拟模型和实际物体的姿态用up和forward向量表示,构建一个右手坐标系,该右手坐标系确定虚拟模型的上方、前方、左方的方向,表示虚拟模型的姿态,初始状态下,虚拟模型的up向量为(0,0,1),forward向量为(1,0,0),计算向量AmBm、AmCm、AmDm,由于Am,Bm,Cm,Dm四个点不共面,AmBm、AmCm、AmDm这三个向量构成一个非直角坐标系,此时存在一组且仅有一组系数a、b、c满足:a*AmBm+b*AmCm+c*AmDm=up;同理,存在一组且仅有一组系数d、e、f满足:d*AmBm+e*AmCm+f*AmDm=forward;
Q4、计算实际物体向量AoBo、AoCo、AoDo,计算a*AoBo+b*AoCo+c*AoDo=upo和d*AoBo+e*AoCo+f*AoDo=forwardo
Q5、把虚拟模型进行旋转,使虚拟模型和实际物体姿态相同。
上述技术方案中,在所述实际物体上标定点的方式为:在实际物体上粘贴事先制好的易于识别的图像。
上述技术方案中,所述易于识别的图像不限制图像的形式。
上述技术方案中,所述易于识别的图像通过混合现实设备采集。
上述技术方案中,所述混合现实设备为微软公司生产的HoloLens混合现实眼镜。
本发明有益效果为:通过图像识别的方法获取标定点的坐标信息,不需要额外的位置传感器,方法简单易行;对实际物体的姿态没有限制,实际物体采用任意姿态,均可以实现模型与实际物体的姿态同步,可以将混合现实场景中的虚拟模型与实际物体配准叠加,增强混合现实设备使用者对现实信息的获取。
附图说明
图1是本发明的实施例1的示意图;
图2是本发明的实施例2的示意图。
其中:1模型,2物体。
具体实施方式
下面结合附图和实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种将混合现实场景中虚拟模型与实物配准的方法,本方法的实现使用的硬件设备为一台具有图像获取功能的混合现实设备,现有技术的混合现实设备,都可以实现本方法采集图像的目的,优选的混合现实设备为微软公司生产的HoloLens混合现实眼镜。
本发明的方法,通过采集获取实际物体上标定点的坐标信息,根据实际物体上标定点的坐标信息,计算出实际物体的姿态,然后再将模型的姿态调整为相同姿态。
具体为:
在虚拟模型(以下简称模型)与实际物体(以下简称物体)上,分别标定不共面的四个点,模型与物体上的点位置上一一对应,即模型在哪个位置上有标定点,在物体的对应点上也粘贴一个标定点,假设模型的中心点坐标记为(0,0,0),模型上的4个标定点分别记为Am,Bm,Cm,Dm,那么Am,Bm,Cm,Dm四个点的坐标信息都为已知,记四个点的的坐标信息分别为(xAm,yAm,zAm)、(xBm,yBm,zBm)、(xCm,yCm,zCm)、(xDm,yDm,zDm);物体上的4个标定点分别记为Ao,Bo,Co,Do,在物体上粘贴的标定点为事先制好的易于识别的图像,选择易于识别的图像不限制图像的形式,不同图像的识别效果均相同,本发明实施例选择易于识别的图像是二维码,但并不需要识别该二维码内的信息。
本发明所述方法不针对运动中的物体,只针对不运动的物体,因此实施例采集时,要保持物体的位置和姿态不动,使用混合现实设备观察模型,利用图像识别技术获取标定点的空间坐标,需要说明的是,本发明是利用Vuforia工具实现该步骤,利用Vuforia工具可以快速识别一张图片,并把一个物体放置在该图片上,此时根据混合现实设备所使用的参考系定位物体的空间坐标,该部分是本发明实现的方式,使用其他图像识别技术或者工具同样可以完成该目的,依次定位物体的4个标定点的空间坐标,分别记为(xAo,yAo,zAo)、(xBo,yBo,zBo)、(xCo,yCo,zCo)、(xDo,yDo,zDo),此时已经获取了模型与物体上4个标定点的坐标,共8个坐标。
根据图1所示,左边是模型,右边是物体,目标是根据八个标注出的点坐标,求物体的姿态向量的upo和forwardo的坐标表示:
首先计算模型的姿态变换,使模型能够与物体保持相同姿态,模型和物体的姿态用up和forward向量表示,确定这两个向量后可以构建一个右手坐标系,该右手坐标系确定模型的上方、前方、左方的方向,可以表示模型的姿态,初始状态下,模型的up向量为(0,0,1),forward向量为(1,0,0),计算向量AmBm、AmCm、AmDm,由于Am,Bm,Cm,Dm四个点不共面,因此AmBm、AmCm、AmDm这三个向量可以构成一个非直角坐标系,此时必然存在一组系数a、b、c满足:a*AmBm+b*AmCm+c*AmDm=up;
同样的,有一组系数d、e、f满足:d*AmBm+e*AmCm+f*AmDm=forward。六个系数的计算方式按照一般的三元一次方程组求解,由于方程中涉及的向量不共面,因此方程具有唯一确定解。
同理:计算向量AoBo、AoCo、AoDo
计算upo=a*AoBo+b*AoCo+c*AoDo和forwardo=d*AoBo+e*AoCo+f*AoDo,此时的目的在于获得的物体姿态,在取得了物体姿态后,就可以把模型进行旋转,使两者的姿态相同。
根据图2所示,左边是模型,右边是物体,此时两者的姿态已经相同,要将模型与物体的坐标统一,则需要求出O'点的坐标。由于O点的坐标是(0,0,0),因此O'的坐标就是向量OO'的坐标。由于模型已经经过旋转,因此模型上标定点的坐标发生变化,新的坐标点坐标记为(xAm',yAm',zAm')、(xBm',yBm',zBm')、(xCm',yCm',zCm')、(xDm',yDm',zDm'),分别计算向量AmAo、BmBo、CmCo、DmDo,得到向量坐标表示分别为(xO-xAm',yO-yAm',zO-zAm')、(xO-xBm',yO-yBm',zO-zBm')、(xO-xCm',yO-yCm',zO-zCm')、(xO-xDm',yO-yDm',zO-zDm'),理想状态下,这4个向量完全相同,但由于采集中不可避免的存在误差,这四个向量通常不完全相同,因此需要求4个向量的平均值,把平均值作为向量OO'的坐标表示形式,即为物体中心点的坐标。得到物体中心点坐标后,就可以把模型平移过去,此时模型与物体的位置和姿态都相同,完成物体与模型的配准。
根据上述的技术内容,下面以实际实施例予以说明本发明的技术方案。
1,在模型和实物上各标定4个标定点,此时可以获取到模型上的点的坐标,也就是Am(-1,1.6,-1.5)、Bm(0,3,-0.5)、Cm(1.3,3,1)、Dm(0,-1.6,1.5)。
2,利用识别技术,获取物体上的4个标定点的坐标,也就是Ao(6.09,5.49,11.69)、Bo(6.85,6.63,12.73)、Co(6.94,6.23,14.67)、Do(2.51,4.47,14.01)。这里的坐标假设为理想状况,即完美对应,实际应用中,该步骤获取的坐标与理想坐标会有一定的误差。
3,求向量AmBm、AmCm、AmDm,结果分别为(1,-2.1,2)、(2.3,1.4,2.5)、(1,3.2,3)。
4,解方程a*AmBm+b*AmCm+c*AmDm=up、和d*AmBm+e*AmCm+f*AmDm=forward,
可以求出abcdef的值分别为:
a=0.34,b=-0.3,c=0.35,d=-0.21,e=0.73,f=-0.46,此处计算保留两位小数,在实际计算与应用中,精度会取更高一点。
5,计算向量AoBo、AoCo、AoDo,结果分别为AoBo(0.76,1.41,1.04),AoCo(0.85,0.74,2.98),AoDo(-3.58,-1.02,2.32)。
6,计算upo=a*AoBo+b*AoCo+c*AoDo和forwardo=d*AoBo+e*AoCo+f*AoDo,得到upo=(-1.24,-0.09,0.27),forwardo=(-1.18,-0.22,3.02)。
7,根据模型与物体的姿态参数,旋转模型,旋转模型后,(xAm',yAm',zAm')、(xBm',yBm',zBm')、(xCm',yCm',zCm')、(xDm',yDm',zDm'),分别为(1.74,0.54,0.81),(2.52,1.68,1.85),(2.61,1.28,3.79),(-1.81,-0.47,3.13)。
8,计算AmAo、BmBo、CmCo、DmDo,得到4个向量的结果均为(4.35,4.95,10.88),则OO’的坐标表示也是(4.35,4.95,10.88)。这里四个向量完全相同是因为采集物体上的点时是理想的,实际情况中由于采集到的坐标不可避免存在误差,后续的计算都会有误差存在,此时得到的4个向量不完全相同,OO’的计算就需要求平均值。
9,OO’表示模型与实际物体的位移,因此把模型平移到物体位置,完成匹配。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (5)

1.一种将混合现实场景中虚拟模型与实物配准的方法,其特征在于:包括步骤:
Q1、在虚拟模型与实际物体上,分别标定不共面的四个标定点,虚拟模型上标定点的位置与实际物体上标定点的位置一一对应;
Q2、假设虚拟模型的中心点坐标记为(0,0,0),虚拟模型上的4个标定点分别记为Am,Bm,Cm,Dm,这四个点的坐标信息都为已知,记Am的坐标信息为:(xAm,yAm,zAm),同理,记Bm,Cm,Dm的坐标信息分别为:(xBm,yBm,zBm)、(xCm,yCm,zCm)、(xDm,yDm,zDm);依次定位实际物体的4个标定点的空间坐标,分别记为(xAo,yAo,zAo)、(xBo,yBo,zBo)、(xCo,yCo,zCo)、(xDo,yDo,zDo);
Q3、虚拟模型和实际物体的姿态用up和forward向量表示,构建一个右手坐标系,该右手坐标系确定虚拟模型的上方、前方、左方的方向,表示虚拟模型的姿态,初始状态下,虚拟模型的up向量为(0,0,1),forward向量为(1,0,0),计算向量AmBm、AmCm、AmDm,由于Am,Bm,Cm,Dm四个点不共面,AmBm、AmCm、AmDm这三个向量构成一个非直角坐标系,此时存在一组且仅有一组系数a、b、c满足:a*AmBm+b*AmCm+c*AmDm=up;同理,存在一组且仅有一组系数d、e、f满足:d*AmBm+e*AmCm+f*AmDm=forward;
Q4、计算实际物体向量AoBo、AoCo、AoDo,计算a*AoBo+b*AoCo+c*AoDo=upo和d*AoBo+e*AoCo+f*AoDo=forwardo;
Q5、把虚拟模型进行旋转,使虚拟模型和实际物体姿态相同。
2.根据权利要求1所述的一种将混合现实场景中虚拟模型与实物配准的方法,其特征在于:在所述实际物体上标定点的方式为:在实际物体上粘贴事先制好的易于识别的图像。
3.根据权利要求2所述的一种将混合现实场景中虚拟模型与实物配准的方法,其特征在于:所述易于识别的图像不限制图像的形式。
4.根据权利要求3所述的一种将混合现实场景中虚拟模型与实物配准的方法,其特征在于:所述易于识别的图像通过混合现实设备采集。
5.根据权利要求4所述的一种将混合现实场景中虚拟模型与实物配准的方法,其特征在于:所述混合现实设备为微软公司生产的HoloLens混合现实眼镜。
CN201910962405.6A 2019-10-11 2019-10-11 一种将混合现实场景中虚拟模型与实物配准的方法 Active CN110689624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910962405.6A CN110689624B (zh) 2019-10-11 2019-10-11 一种将混合现实场景中虚拟模型与实物配准的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910962405.6A CN110689624B (zh) 2019-10-11 2019-10-11 一种将混合现实场景中虚拟模型与实物配准的方法

Publications (2)

Publication Number Publication Date
CN110689624A CN110689624A (zh) 2020-01-14
CN110689624B true CN110689624B (zh) 2023-03-03

Family

ID=69112113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910962405.6A Active CN110689624B (zh) 2019-10-11 2019-10-11 一种将混合现实场景中虚拟模型与实物配准的方法

Country Status (1)

Country Link
CN (1) CN110689624B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476833B (zh) * 2020-04-02 2020-11-13 北京触幻科技有限公司 基于ct/mri的模型在混合现实下与实物配准的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923705A (zh) * 2009-06-10 2010-12-22 曹莉 一种在一般坐标系中对三维构造进行坐标变换并装配组合的方法
CN105096384A (zh) * 2015-07-22 2015-11-25 深圳多新哆技术有限责任公司 调整虚拟物件位置及姿态角的方法及装置
CN105354820A (zh) * 2015-09-30 2016-02-24 深圳多新哆技术有限责任公司 调整虚拟现实图像的方法及装置
CN105787941A (zh) * 2016-03-01 2016-07-20 天津天堰科技股份有限公司 一种混合现实仿真系统的快速配准方法
WO2018159168A1 (en) * 2017-02-28 2018-09-07 Mitsubishi Electric Corporation System and method for virtually-augmented visual simultaneous localization and mapping

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923705A (zh) * 2009-06-10 2010-12-22 曹莉 一种在一般坐标系中对三维构造进行坐标变换并装配组合的方法
CN105096384A (zh) * 2015-07-22 2015-11-25 深圳多新哆技术有限责任公司 调整虚拟物件位置及姿态角的方法及装置
CN105354820A (zh) * 2015-09-30 2016-02-24 深圳多新哆技术有限责任公司 调整虚拟现实图像的方法及装置
CN105787941A (zh) * 2016-03-01 2016-07-20 天津天堰科技股份有限公司 一种混合现实仿真系统的快速配准方法
WO2018159168A1 (en) * 2017-02-28 2018-09-07 Mitsubishi Electric Corporation System and method for virtually-augmented visual simultaneous localization and mapping

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
混合硬件跟踪定位的空间信息虚实配准;武雪玲等;《地理与地理信息科学》;20100515(第03期);全文 *

Also Published As

Publication number Publication date
CN110689624A (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN104781849B (zh) 单眼视觉同时定位与建图(slam)的快速初始化
US11481982B2 (en) In situ creation of planar natural feature targets
CN103810685B (zh) 一种深度图的超分辨率处理方法
CN108830894A (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
CN106600627A (zh) 一种基于标志点的刚体运动捕捉方法及系统
CN107004279A (zh) 自然用户界面相机校准
Hołowko et al. Application of multi-resolution 3D techniques in crime scene documentation with bloodstain pattern analysis
Hübner et al. Marker-based localization of the microsoft hololens in building models
JP2018081410A (ja) コンピュータープログラム
KR102152436B1 (ko) 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법
US20220110684A1 (en) Method and assembly for spatial mapping of a model, such as a holographic model, of a surgical tool and/or anatomical structure onto a spatial position of the surgical tool respectively anatomical structure, as well as a surgical tool
JP2015186531A (ja) 動作情報処理装置、及びプログラム
WO2021002025A1 (ja) 骨格認識方法、骨格認識プログラム、骨格認識システム、学習方法、学習プログラムおよび学習装置
CN111260793A (zh) 面向增强和混合现实的远程虚实高精度匹配定位的方法
CN110689624B (zh) 一种将混合现实场景中虚拟模型与实物配准的方法
McIlroy et al. Kinectrack: 3d pose estimation using a projected dense dot pattern
US10713833B2 (en) Method and device for controlling 3D character using user's facial expressions and hand gestures
CN111539299B (zh) 一种基于刚体的人体运动捕捉方法、装置、介质及设备
KR20140077029A (ko) 복강경 수술용 시뮬레이션 장치 및 방법
CN111179341B (zh) 一种增强现实设备与移动机器人的配准方法
CN105917385A (zh) 信息处理设备和信息处理方法
Phan et al. Towards 3D human posture estimation using multiple kinects despite self-contacts
CN106408654A (zh) 一种三维地图的创建方法及系统
CN109829960A (zh) 一种vr动漫系统交互方法
WO2023120770A1 (ko) 3차원 공간에서 생성한 인지적 매쉬 정보와 가상 객체들간의 상호작용 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230329

Address after: Building 5, Building 6, No.8 Chuangye Road, Haidian District, Beijing, 100000, 5-8-14

Patentee after: Beijing Love Resume Technology Co.,Ltd.

Address before: 100000 R-35, Floor 3, 1-4, Building 1, No. 225, Chaoyang North Road, Chaoyang District, Beijing

Patentee before: Beijing Huaning Quanshi Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230620

Address after: 200040 Floor 5, No. 1728, West Nanjing Road, Jing'an District, Shanghai

Patentee after: CITIC Innovation Incubation(Shenzhen)Equity Investment Management Co.,Ltd.

Address before: Building 5, Building 6, No.8 Chuangye Road, Haidian District, Beijing, 100000, 5-8-14

Patentee before: Beijing Love Resume Technology Co.,Ltd.