CN110914873B - 增强现实方法、装置、混合现实眼镜及存储介质 - Google Patents

增强现实方法、装置、混合现实眼镜及存储介质 Download PDF

Info

Publication number
CN110914873B
CN110914873B CN201980002020.3A CN201980002020A CN110914873B CN 110914873 B CN110914873 B CN 110914873B CN 201980002020 A CN201980002020 A CN 201980002020A CN 110914873 B CN110914873 B CN 110914873B
Authority
CN
China
Prior art keywords
coordinate
virtual
reality glasses
mixed reality
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980002020.3A
Other languages
English (en)
Other versions
CN110914873A (zh
Inventor
邓生全
吴少滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Iwin Visual Technology Co ltd
Original Assignee
Shenzhen Iwin Visual Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Iwin Visual Technology Co ltd filed Critical Shenzhen Iwin Visual Technology Co ltd
Publication of CN110914873A publication Critical patent/CN110914873A/zh
Application granted granted Critical
Publication of CN110914873B publication Critical patent/CN110914873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请适用于计算机技术领域,提出一种增强现实方法,包括:获取混合现实眼镜的摄像头采集的真实场景中的第一图像;基于混合现实眼镜的第一现实坐标、混合现实眼镜的第一虚拟坐标以及目标对象的第二现实坐标,确定目标对象在摄像头预览画面中的第二虚拟坐标;基于第一映射关系,确定与第一属性信息相匹配的第二属性信息,在目标区域将第一属性信息与第二属性信息进行叠加。由于进行了现实坐标与虚拟坐标的转换,实现了将目标对象的现实坐标与虚拟坐标相结合来进行现实增强,不需要实时计算影像的位置及角度,使得增强之后的图像具有较好的稳定性。

Description

增强现实方法、装置、混合现实眼镜及存储介质
技术领域
本申请属于计算机技术领域,尤其涉及一种增强现实方法、装置、混合现实眼镜及存储介质。
背景技术
增强现实(Augmented Reality,AR)是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动的过程。由于AR技术需要实时地计算摄影机影像的位置及角度,导致增强之后的图像不稳定。
技术问题
本申请实施例的目的之一在于:提供一种增强现实方法、装置、混合显示眼镜及存储介质,旨在解决增强之后的图像不稳定问题。
技术解决方案
为了解决上述技术问题,本申请实施例提供了增强现实方法、装置、增强现实眼镜及存储介质,以解决现有的增强现实技术由于需要实时地计算摄影机影像的位置及角度,导致增强之后的图像不稳定问题。
本申请实施例的第一方面提供了一种增强现实方法,包括:
获取混合现实眼镜的摄像头采集的真实场景中的第一图像,所述第一图像包括目标对象的第一属性信息,所述目标对象的第一属性信息与待叠加对象的第二属性信息之间存在第一映射关系,所述待叠加对象为所述增强现实眼镜的显示区域中的虚拟对象;
基于所述混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述增强现实眼镜的显示区域中的第二虚拟坐标;
其中,所述第一现实坐标与所述第二现实坐标均为相对于第一坐标原点的坐标,所述第一虚拟坐标与所述第二虚拟坐标均为相对于第二坐标原点的坐标;所述第一坐标原点为所述第一图像的坐标原点,所述第二坐标原点为所述增强现实眼镜的显示区域的坐标原点;
基于所述第一映射关系,确定与所述第一属性信息相匹配的所述第二属性信息,在目标区域将所述第一属性信息与所述第二属性信息进行叠加,所述目标区域为所述第二虚拟坐标在所述增强现实眼镜的显示区域中对应的区域。
在一种可选的实现方式中,所述基于所述混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述增强现实眼镜的显示区域中的第二虚拟坐标,包括:
获取所述混合现实眼镜相对于所述第一坐标原点的第一现实坐标,以及获取所述混合现实眼镜相对于所述第二坐标原点的第一虚拟坐标;
确定所述第一现实坐标与所述第一虚拟坐标之间的第一坐标转换关系式;
根据所述第一坐标转换关系式,将所述第二现实坐标转换为所述第二虚拟坐标,得到所述目标对象在所述增强现实眼镜的显示区域中的所述第二虚拟坐标。
在一种可选的实现方式中,所述混合现实眼镜的第一虚拟坐标为所述第二坐标原点;
所述确定所述第一现实坐标与所述第一虚拟坐标之间的第一坐标转换关系式,包括:
将所述第一现实坐标映射在所述第二坐标原点上,得到所述第一坐标原点与所述第二坐标原点之间的所述第一坐标转换关系式。
在一种可选的实现方式中,基于所述混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述增强现实眼镜的显示区域中的第二虚拟坐标,包括:
根据预设的坐标校准法则确定所述第一现实坐标与所述第一虚拟坐标之间的第二坐标转换关系式;
根据所述第二坐标转换关系式,确定所述目标对象在所述增强现实眼镜的显示区域中的所述第二虚拟坐标。
在一种可选的实现方式中,所述增强现实眼镜和所述目标对象均具有GPS定位系统,所述第一现实坐标为所述增强现实眼镜的第一GPS坐标,所述第二现实坐标为所述目标对象的第二GPS坐标。
在一种可选的实现方式中,所述基于所述混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述摄像头预览画面中的第二虚拟坐标,包括:
获取所述增强现实眼镜的第一GPS坐标和所述目标对象的第二GPS坐标;
将所述第一GPS坐标映射为虚拟坐标原点;
计算所述第一GPS坐标与所述第二GPS坐标之间的坐标转换关系;
基于所述虚拟坐标原点,所述第一GPS坐标与所述第二GPS坐标之间的坐标转换关系,确定所述目标对象的所述第二虚拟坐标。
本申请实施例的第二方面提供了一种增强现实装置,包括:
获取模块,用于获取混合现实眼镜的摄像头采集的真实场景中的第一图像,所述第一图像包括目标对象的第一属性信息,所述目标对象的第一属性信息与待叠加对象的第二属性信息之间存在第一映射关系,所述待叠加对象为所述增强现实眼镜的显示区域中的虚拟对象;
确定模块,用于基于所述混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述增强现实眼镜的显示区域中的第二虚拟坐标;
叠加模块,用于基于所述第一映射关系,确定与所述第一属性信息相匹配的所述第二属性信息,在目标区域将所述第一属性信息与所述第二属性信息进行叠加,所述目标区域为所述第二虚拟坐标在所述增强现实眼镜的显示区域中对应的区域。
在一种可选的实现方式中,所述确定模块,包括:
第一获取单元,用于获取所述混合现实眼镜相对于所述第一坐标原点的第一现实坐标,以及获取所述混合现实眼镜相对于所述第二坐标原点的第一虚拟坐标;
第一确定单元,用于确定所述第一现实坐标与所述第一虚拟坐标之间的第一坐标转换关系式;
转换单元,用于根据所述第一坐标转换关系式,将所述第二现实坐标转换为所述第二虚拟坐标,得到所述目标对象在所述增强现实眼镜的显示区域中的所述第二虚拟坐标。
在一种可选的实现方式中,所述混合现实眼镜的第一虚拟坐标为所述第二坐标原点;
所述第一确定单元,包括:
映射子单元,用于将所述第一现实坐标映射在所述第二坐标原点上,得到所述第一坐标原点与所述第二坐标原点之间的所述第一坐标转换关系式。
在一种可选的实现方式中,所述确定模块,包括:
第二确定单元,用于根据预设的坐标校准法则确定所述第一现实坐标与所述第一虚拟坐标之间的第二坐标转换关系式;
第三确定单元,用于根据所述第二坐标转换关系式,确定所述目标对象在所述增强现实眼镜的显示区域中的所述第二虚拟坐标。
在一种可选的实现方式中,所述增强现实眼镜和所述目标对象均具有GPS定位系统,所述第一现实坐标为所述增强现实眼镜的第一GPS坐标,所述第二现实坐标为所述目标对象的第二GPS坐标。
在一种可选的实现方式中,所述确定模块,包括:
第二获取单元,用于获取所述增强现实眼镜的第一GPS坐标和所述目标对象的第二GPS坐标;
映射单元,用于将所述第一GPS坐标映射为虚拟坐标原点;
计算单元,用于计算所述第一GPS坐标与所述第二GPS坐标之间的坐标转换关系;
第四确定单元,用于基于所述虚拟坐标原点,所述第一GPS坐标与所述第二GPS坐标之间的坐标转换关系,确定所述目标对象的所述第二虚拟坐标。
本申请实施例的第三方面提供了一种增强现实眼镜,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上第一方面提供的实施例所述增强现实方法。
本申请实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上第一方面提供的实施例所述增强现实方法。
本申请第一方面提供的增强现实方法,与现有技术相比,通过获取混合现实眼镜的摄像头采集的真实场景中的第一图像,所述第一图像包括目标对象的第一属性信息,所述目标对象的第一属性信息与待叠加对象的第二属性信息之间存在第一映射关系,所述待叠加对象为所述增强现实眼镜的显示区域中的虚拟对象;基于所述混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述增强现实眼镜的显示区域中的第二虚拟坐标;基于所述第一映射关系,确定与所述第一属性信息相匹配的所述第二属性信息,在目标区域将所述第一属性信息与所述第二属性信息进行叠加,所述目标区域为所述第二虚拟坐标在所述增强现实眼镜的显示区域中对应的区域。由于基于混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述增强现实眼镜的显示区域中的第二虚拟坐标;并在目标区域将相匹配的第一属性信息与第二属性信息进行叠加,所述目标区域为所述第二虚拟坐标在所述增强现实眼镜的显示区域中对应的区域,实现了将目标对象的现实坐标与虚拟坐标相结合来进行现实增强,不需要实时计算影像的位置及角度,使得增强之后的图像具有较好的稳定性。
本申请第二至第四方面提供的实施例与现有技术相比,存在的有益效果与本申请第一方面提供的实施例与现有技术相比,存在的有益效果相同,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请第一实施例提供的增强现实方法的实现流程图;
图2是图1中S102的第一具体实现流程图;
图3是图1中S102的第二具体实现流程图;
图4是是图1中S102的第三具体实现流程图;
图5是图4中S405的具体实现流程图;
图6是本申请提供的增强现实装置的装置示意图;
图7是本申请实施例提供的增强现实眼镜的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
需要说明的是,增强现实(Augmented Reality,AR)技术是一种将虚拟信息与真实世界巧妙融合的技术,广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,从而实现对真实世界的“增强”。
目前,常见的增强现实技术,由于需要实时计算摄影机影像的位置及角度,且没有进行现实坐标与虚拟坐标的结合,导致增强之后的图像不稳定。
为了解决上述技术问题,本申请实施例提供了增强现实方法、装置、增强现实眼镜及存储介质。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。如图1所示,是本申请第一实施例提供的增强现实方法的实现流程图,本实施例的执行主体为增强现实眼镜,可由增强现实眼镜中的软件或硬件实现。详述如下:
S101,获取混合现实眼镜的摄像头采集的真实场景中的第一图像。其中,所述第一图像包括目标对象的第一属性信息,所述目标对象的第一属性信息与待叠加对象的第二属性信息之间存在第一映射关系,所述待叠加对象为预览画面中的虚拟对象。
其中,混合现实眼镜是能够完成混合现实技术的眼镜,用户佩戴本申请实施例中的混合现实眼镜能够观察到在现实场景中呈现虚拟场景信息,其将现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路,增强用户体验的真实感。
在一种可选的实现方式中,混合现实眼镜包括摄像头,所述摄像头用于采集真实场景中的第一图像,所述第一图像包括需要进行现实增强的目标对象,通常,目标对象为具有固定的第一属性信息的人和物体;其中,所述第一属性信息为目标对象在应用场景中的特征信息,例如,假设所述目标对象为比赛现场的选手,则所述目标对象的第一属性信息包括该选手在所述比赛现场的位置、队服颜色等。对应于上述的比赛应用场景,待叠加对象为所述比赛现场的辅助信息,如球场、队员数量等辅助信息,所述辅助信息的第二属性信息与所述选手的第一属性信息相匹配,例如,所述辅助信息为球场,则该辅助信息的第二属性信息包括与所述选手的位置相匹配的球场的中心位置,球场的边界点位置等,通过增强现实技术可以将比赛现场的辅助信息与该选手所在的第一图像进行叠加显示,实现增强真实场景与虚拟场景融合显示。
S102,基于所述混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述摄像头预览画面中的第二虚拟坐标。
其中,所述第一现实坐标与所述第二现实坐标均为相对于第一坐标原点的坐标,所述第一虚拟坐标与所述第二虚拟坐标均为相对于第二坐标原点的坐标;所述第一坐标原点为所述第一图像的坐标原点,所述第二坐标原点为所述增强现实眼镜的显示区域的坐标原点。
需要说明的是,所述增强现实眼镜的显示区域为预设显示区域中显示的画面,用于显示虚拟物体(待叠加对象)信息,本申请的实施例中,通过增强现实眼镜的摄像头获取真实场景的第一图像,增强现实眼镜的预览画面显示待叠加对象,基于第一图像中目标对象与预览画面中待叠加对象之间的坐标关系,实现透过增强现实眼镜的屏幕就能观察到将待叠加对象叠加到目标对象,实现增强现实的效果。
在一种可选的实现方式中,如图2所示,是图1中S102的第一具体实现流程图,由图2可知,S102包括:
S1021,获取所述混合现实眼镜相对于所述第一坐标原点的第一现实坐标,以及获取所述混合现实眼镜相对于所述第二坐标原点的第一虚拟坐标。
其中,所述第一现实坐标以真实场景为参考,所述第一虚拟坐标以增强现实眼镜的屏幕为参考,若能获取真实场景与增强现实眼镜屏幕的位置关系,则可以确定在增强现实眼镜的显示区域(增强现实眼镜的屏幕)的某一位置显示所需要叠加的待叠加对象,这样透过增强现实眼镜观测真实场景信息时,即可实现待叠加对象与目标对象的融合。
S1022,确定所述第一现实坐标与所述第一虚拟坐标之间的第一坐标转换关系式。
可以理解地,坐标均由相应的坐标原点确定,因此,坐标之间的转换关系也可以认为是坐标原点之间的转换关系。在本实施例中,通过确定所述第一坐标原点与所述第二坐标原点之间的坐标关系,确定所述第一现实坐标与所述第一虚拟坐标之间的第一坐标转换关系。
在一种可选的实现方式中,S1022包括:
将所述第一现实坐标映射在所述第二坐标原点上,得到所述第一坐标原点与所述第二坐标原点之间的所述第一坐标转换关系式。
其中,将所述第一现实坐标映射在所述第二坐标原点上指的是初始化所述第二坐标原点,使得所述第一现实坐标与所述第二坐标原点重合的过程。
S1023,根据所述第一坐标转换关系式,将所述第二现实坐标转换为所述第二虚拟坐标,得到所述目标对象在所述增强现实眼镜的显示区域中的所述第二虚拟坐标。
在一种可选的实现方式中,所述混合现实眼镜的第一虚拟坐标为所述第二坐标原点。
可以理解地,图2所示实施例仅示出了一种确定所述目标对象在所述摄像头预览画面中的第二虚拟坐标的方式,在不同的实施例中,可以选择不同的方式确定。
例如,如图3所示,是图1中S102的第二具体实现流程图,由图3可知,在本实施例中,S102包括:
S1024,根据预设的坐标校准法则确定所述第一现实坐标与所述第一虚拟坐标之间的第二坐标转换关系式。
其中,预设的坐标校准法则是通过将预设的校准图放置在距离增强现实眼镜的正前方一定距离,使得增强现实眼镜的摄像头在采集真实场景中的第一图像时,也能够采集到校准图,所述校准图上标记有校准点。
S1025,根据所述第二坐标转换关系式,确定所述目标对象在所述摄像头预览画面中的所述第二虚拟坐标。
在一种可选的实现方式中,所述增强现实眼镜和所述目标对象均具有GPS定位系统,所述第一现实坐标为所述增强现实眼镜的第一GPS坐标,所述第二现实坐标为所述目标对象的第二GPS坐标。
如图4所示,是图1中S102的第三具体实现流程图,由图4可知,在本实施例中,S102包括:
S401,获取所述增强现实眼镜的第一GPS坐标和所述目标对象的第二GPS坐标。
其中,所述增强现实眼镜的第一GPS坐标由所述增强现实眼镜的GPS定位系统定位得到,所述目标对象的第二GPS坐标由所述目标对象的GPS定位系统定位得到。
S402,将所述第一GPS坐标映射为虚拟坐标原点。
其中,在获取所述第一GPS坐标之后,初始化虚拟坐标原点,在本实施例中,将所述第一GPS坐标映射为初始化的虚拟坐标原点,建立GPS坐标与虚拟坐标之间的映射关系。可以理解地,通常在所述增强现实眼镜的使用期间,初始化所述虚拟坐标原点之后,所述虚拟坐标原点为一固定位置,不再发生变化。
S403,计算所述第一GPS坐标与所述第二GPS坐标之间的坐标转换关系。
可以理解地,所述第一GPS坐标和所述第二GPS坐标分别为GPS坐标系下的位置坐标,其表示物体在GPS坐标系下的位置,通过计算所述第一GPS坐标和所述第二GPS坐标之间的坐标转换关系,可以确定所述目标对象和所述增强现实设置之间的位置关系。
S404,基于所述虚拟坐标原点,所述第一GPS坐标与所述第二GPS坐标之间的坐标转换关系,确定所述目标对象的所述第二虚拟坐标。
S103,基于所述第一映射关系,确定与所述第一属性信息相匹配的所述第二属性信息,在目标区域将所述第一属性信息与所述第二属性信息进行叠加,所述目标区域为所述第二虚拟坐标在所述增强现实眼镜的显示区域中对应的区域。
通过上述方法得到的摄像头预览画面中待叠加对象和真实场景中目标对象之间的坐标转换关系式,对于增强现实眼镜的显示区域中可进行增强现实叠加的区域内任意一点,通过得到的坐标转换关系式可以得到该点在真实场景中对应点的坐标,然后在增强现实眼镜的显示区域中的对应点坐标处将需要叠加的待叠加对象的第二属性信息和目标对象的第一属性信息进行叠加,即可实现虚拟和现实场景的虚实融合。
通过上述分析可知,本实施例提供的增强现实方法,通过获取混合现实眼镜的摄像头采集的真实场景中的第一图像,所述第一图像包括目标对象的第一属性信息,所述目标对象的第一属性信息与待叠加对象的第二属性信息之间存在第一映射关系,所述待叠加对象为所述增强现实眼镜的显示区域中的虚拟对象;基于所述混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述增强现实眼镜的显示区域中的第二虚拟坐标;基于所述第一映射关系,确定与所述第一属性信息相匹配的所述第二属性信息,在目标区域将所述第一属性信息与所述第二属性信息进行叠加,所述目标区域为所述第二虚拟坐标在所述增强现实眼镜的显示区域中对应的区域。由于基于混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述摄像头预览画面中的第二虚拟坐标;并在目标区域将相匹配的第一属性信息与第二属性信息进行叠加,所述目标区域为所述第二虚拟坐标在所述增强现实眼镜的显示区域中对应的区域,实现了将目标对象的现实坐标与虚拟坐标相结合来进行现实增强,不需要实时计算影像的位置及角度,使得增强之后的图像具有较好的稳定性。
对应于本申请第一实施例提供的增强现实方法,如图6所示,是本申请提供的增强现实装置的装置示意图。
由图6可知,本申请实施例提供的增强现实装置6包括:
获取模块601,用于获取混合现实眼镜的摄像头采集的真实场景中的第一图像,所述第一图像包括目标对象的第一属性信息,所述目标对象的第一属性信息与待叠加对象的第二属性信息之间存在第一映射关系,所述待叠加对象为所述增强现实眼镜的显示区域中的虚拟对象;
确定模块602,用于基于所述混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述增强现实眼镜的显示区域中的第二虚拟坐标;
叠加模块603,用于基于所述第一映射关系,确定与所述第一属性信息相匹配的所述第二属性信息,在目标区域将所述第一属性信息与所述第二属性信息进行叠加,所述目标区域为所述第二虚拟坐标在所述增强现实眼镜的显示区域中对应的区域。
在一种可选的实现方式中,确定模块602,包括:
第一获取单元,用于获取所述混合现实眼镜相对于所述第一坐标原点的第一现实坐标,以及获取所述混合现实眼镜相对于所述第二坐标原点的第一虚拟坐标;
第一确定单元,用于确定所述第一现实坐标与所述第一虚拟坐标之间的第一坐标转换关系式;
转换单元,用于根据所述第一坐标转换关系式,将所述第二现实坐标转换为所述第二虚拟坐标,得到所述目标对象在所述增强现实眼镜的显示区域中的所述第二虚拟坐标。
在一种可选的实现方式中,所述混合现实眼镜的第一虚拟坐标为所述第二坐标原点;
所述第一确定单元,包括:
映射子单元,用于将所述第一现实坐标映射在所述第二坐标原点上,得到所述第一坐标原点与所述第二坐标原点之间的所述第一坐标转换关系式。
在一种可选的实现方式中,确定模块602,包括:
第二确定单元,用于根据预设的坐标校准法则确定所述第一现实坐标与所述第一虚拟坐标之间的第二坐标转换关系式;
第三确定单元,用于根据所述第二坐标转换关系式,确定所述目标对象在所述增强现实眼镜的显示区域中的所述第二虚拟坐标。
在一种可选的实现方式中,所述增强现实眼镜和所述目标对象均具有GPS定位系统,所述第一现实坐标为所述增强现实眼镜的第一GPS坐标,所述第二现实坐标为所述目标对象的第二GPS坐标。
在一种可选的实现方式中,确定模块,包括:
第二获取单元,用于获取所述增强现实眼镜的第一GPS坐标和所述目标对象的第二GPS坐标;
映射单元,用于将所述第一GPS坐标映射为虚拟坐标原点;
计算单元,用于计算所述第一GPS坐标与所述第二GPS坐标之间的坐标转换关系;
第四确定单元,用于基于所述虚拟坐标原点,所述第一GPS坐标与所述第二GPS坐标之间的坐标转换关系,确定所述目标对象的所述第二虚拟坐标。
如图7所示,是本申请实施例提供的增强现实眼镜的示意图。由图7可知,该实施例的增强现实眼镜7包括:处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72,例如增强现实程序。所述处理器70执行所述计算机程序72时实现上述各个增强现实方法实施例中的步骤,例如图1所示的步骤101至103。或者,所述处理器70执行所述计算机程序72时实现上述增强现实装置实施例中各模块/单元的功能,例如图6所示模块601至603的功能。
示例性的,所述计算机程序72可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器71中,并由所述处理器70执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序72在所述增强现实眼镜7中的执行过程。例如,所述计算机程序72可以被分割成获取模块、确定模块、叠加模块(虚拟装置中的模块),各模块具体功能如下:
获取模块,用于获取混合现实眼镜的摄像头采集的真实场景中的第一图像,所述第一图像包括目标对象的第一属性信息,所述目标对象的第一属性信息与待叠加对象的第二属性信息之间存在第一映射关系,所述待叠加对象为所述增强现实眼镜的显示区域中的虚拟对象;
确定模块,用于基于所述混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述摄像头预览画面中的第二虚拟坐标;
叠加模块,用于基于所述第一映射关系,确定与所述第一属性信息相匹配的所述第二属性信息,在目标区域将所述第一属性信息与所述第二属性信息进行叠加,所述目标区域为所述第二虚拟坐标在所述增强现实眼镜的显示区域中对应的区域。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个通信单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (15)

1.一种增强现实方法,其特征在于,包括:
获取混合现实眼镜的摄像头采集的真实场景中的第一图像,所述第一图像包括目标对象的第一属性信息,所述目标对象的第一属性信息与待叠加对象的第二属性信息之间存在第一映射关系,所述待叠加对象为所述混合现实眼镜的显示区域中的虚拟对象;
基于所述混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述摄像头预览画面中的第二虚拟坐标;
其中,所述第一现实坐标与所述第二现实坐标均为相对于第一坐标原点的坐标,所述第一虚拟坐标与所述第二虚拟坐标均为相对于第二坐标原点的坐标;所述第一坐标原点为所述第一图像的坐标原点,所述第二坐标原点为所述混合现实眼镜的显示区域的坐标原点;
基于所述第一映射关系,确定与所述第一属性信息相匹配的所述第二属性信息,在目标区域将所述第一图像与所述第二属性信息进行叠加显示,得到增强之后的第二图像,所述目标区域为所述第二虚拟坐标在所述混合现实眼镜的显示区域中对应的区域。
2.如权利要求1所述的增强现实方法,其特征在于,所述基于所述混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述混合现实眼镜的显示区域中的第二虚拟坐标,包括:
获取所述混合现实眼镜相对于所述第一坐标原点的第一现实坐标,以及获取所述混合现实眼镜相对于所述第二坐标原点的第一虚拟坐标;
确定所述第一现实坐标与所述第一虚拟坐标之间的第一坐标转换关系式;
根据所述第一坐标转换关系式,将所述第二现实坐标转换为所述第二虚拟坐标,得到所述目标对象在所述混合现实眼镜的显示区域中的所述第二虚拟坐标。
3.如权利要求2所述的增强现实方法,其特征在于,所述混合现实眼镜的第一虚拟坐标为所述第二坐标原点;
所述确定所述第一现实坐标与所述第一虚拟坐标之间的第一坐标转换关系式,包括:
将所述第一现实坐标映射在所述第二坐标原点上,得到所述第一坐标原点与所述第二坐标原点之间的所述第一坐标转换关系式。
4.如权利要求1所述的增强现实方法,其特征在于,基于所述混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述混合现实眼镜的显示区域中的第二虚拟坐标,包括:
根据预设的坐标校准法则确定所述第一现实坐标与所述第一虚拟坐标之间的第二坐标转换关系式;
根据所述第二坐标转换关系式,确定所述目标对象在所述混合现实眼镜的显示区域中的所述第二虚拟坐标。
5.如权利要求4所述的增强现实方法,其特征在于,所述混合现实眼镜和所述目标对象均具有GPS定位系统,所述第一现实坐标为所述混合现实眼镜的第一GPS坐标,所述第二现实坐标为所述目标对象的第二GPS坐标。
6.如权利要求5所述的增强现实方法,其特征在于,所述基于所述混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述摄像头预览画面中的第二虚拟坐标,包括:
获取所述混合现实眼镜的第一GPS坐标和所述目标对象的第二GPS坐标;
将所述第一GPS坐标映射为虚拟坐标原点;
计算所述第一GPS坐标与所述第二GPS坐标之间的坐标转换关系;
基于所述虚拟坐标原点,所述第一GPS坐标与所述第二GPS坐标之间的坐标转换关系,确定所述目标对象的所述第二虚拟坐标。
7.一种增强现实装置,其特征在于,包括:
获取模块,用于获取混合现实眼镜的摄像头采集的真实场景中的第一图像,所述第一图像包括目标对象的第一属性信息,所述目标对象的第一属性信息与待叠加对象的第二属性信息之间存在第一映射关系,所述待叠加对象为所述混合现实眼镜的显示区域中的虚拟对象;
确定模块,用于基于所述混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述摄像头预览画面中的第二虚拟坐标;
其中,所述第一现实坐标与所述第二现实坐标均为相对于第一坐标原点的坐标,所述第一虚拟坐标与所述第二虚拟坐标均为相对于第二坐标原点的坐标;所述第一坐标原点为所述第一图像的坐标原点,所述第二坐标原点为所述混合现实眼镜的显示区域的坐标原点;
叠加模块,用于基于所述第一映射关系,确定与所述第一属性信息相匹配的所述第二属性信息,在目标区域将所述第一属性信息与所述第二属性信息进行叠加,所述目标区域为所述第二虚拟坐标在所述混合现实眼镜的显示区域中对应的区域。
8.如权利要求7所述的增强现实装置,其特征在于,所述确定模块,包括:
第一获取单元,用于获取所述混合现实眼镜相对于所述第一坐标原点的第一现实坐标,以及获取所述混合现实眼镜相对于所述第二坐标原点的第一虚拟坐标;
第一确定单元,用于确定所述第一现实坐标与所述第一虚拟坐标之间的第一坐标转换关系式;
转换单元,用于根据所述第一坐标转换关系式,将所述第二现实坐标转换为所述第二虚拟坐标,得到所述目标对象在所述混合现实眼镜的显示区域中的所述第二虚拟坐标。
9.一种混合现实眼镜,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如下步骤:
获取混合现实眼镜的摄像头采集的真实场景中的第一图像,所述第一图像包括目标对象的第一属性信息,所述目标对象的第一属性信息与待叠加对象的第二属性信息之间存在第一映射关系,所述待叠加对象为所述混合现实眼镜的显示区域中的虚拟对象;
基于所述混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述摄像头预览画面中的第二虚拟坐标;
其中,所述第一现实坐标与所述第二现实坐标均为相对于第一坐标原点的坐标,所述第一虚拟坐标与所述第二虚拟坐标均为相对于第二坐标原点的坐标;所述第一坐标原点为所述第一图像的坐标原点,所述第二坐标原点为所述混合现实眼镜的显示区域的坐标原点;
基于所述第一映射关系,确定与所述第一属性信息相匹配的所述第二属性信息,在目标区域将所述第一图像与所述第二属性信息进行叠加显示,得到增强之后的第二图像,所述目标区域为所述第二虚拟坐标在所述混合现实眼镜的显示区域中对应的区域。
10.如权利要求9所述的混合现实眼镜,其特征在于,所述基于所述混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述混合现实眼镜的显示区域中的第二虚拟坐标,包括:
获取所述混合现实眼镜相对于所述第一坐标原点的第一现实坐标,以及获取所述混合现实眼镜相对于所述第二坐标原点的第一虚拟坐标;
确定所述第一现实坐标与所述第一虚拟坐标之间的第一坐标转换关系式;
根据所述第一坐标转换关系式,将所述第二现实坐标转换为所述第二虚拟坐标,得到所述目标对象在所述混合现实眼镜的显示区域中的所述第二虚拟坐标。
11.如权利要求10所述的混合现实眼镜,其特征在于,所述混合现实眼镜的第一虚拟坐标为所述第二坐标原点;
所述确定所述第一现实坐标与所述第一虚拟坐标之间的第一坐标转换关系式,包括:
将所述第一现实坐标映射在所述第二坐标原点上,得到所述第一坐标原点与所述第二坐标原点之间的所述第一坐标转换关系式。
12.如权利要求9所述的混合现实眼镜,其特征在于,基于所述混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述混合现实眼镜的显示区域中的第二虚拟坐标,包括:
根据预设的坐标校准法则确定所述第一现实坐标与所述第一虚拟坐标之间的第二坐标转换关系式;
根据所述第二坐标转换关系式,确定所述目标对象在所述混合现实眼镜的显示区域中的所述第二虚拟坐标。
13.如权利要求12所述的混合现实眼镜,其特征在于,所述混合现实眼镜和所述目标对象均具有GPS定位系统,所述第一现实坐标为所述混合现实眼镜的第一GPS坐标,所述第二现实坐标为所述目标对象的第二GPS坐标。
14.如权利要求13所述的混合现实眼镜,其特征在于,所述基于所述混合现实眼镜的第一现实坐标、所述混合现实眼镜的第一虚拟坐标以及所述目标对象的第二现实坐标,确定所述目标对象在所述摄像头预览画面中的第二虚拟坐标,包括:
获取所述混合现实眼镜的第一GPS坐标和所述目标对象的第二GPS坐标;
将所述第一GPS坐标映射为虚拟坐标原点;
计算所述第一GPS坐标与所述第二GPS坐标之间的坐标转换关系;
基于所述虚拟坐标原点,所述第一GPS坐标与所述第二GPS坐标之间的坐标转换关系,确定所述目标对象的所述第二虚拟坐标。
15.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述增强现实方法的步骤。
CN201980002020.3A 2019-10-17 2019-10-17 增强现实方法、装置、混合现实眼镜及存储介质 Active CN110914873B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/111692 WO2021072702A1 (zh) 2019-10-17 2019-10-17 增强现实方法、装置、混合现实眼镜及存储介质

Publications (2)

Publication Number Publication Date
CN110914873A CN110914873A (zh) 2020-03-24
CN110914873B true CN110914873B (zh) 2023-02-14

Family

ID=69814305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980002020.3A Active CN110914873B (zh) 2019-10-17 2019-10-17 增强现实方法、装置、混合现实眼镜及存储介质

Country Status (2)

Country Link
CN (1) CN110914873B (zh)
WO (1) WO2021072702A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111162840B (zh) * 2020-04-02 2020-09-29 北京外号信息技术有限公司 用于设置光通信装置周围的虚拟对象的方法和系统
CN111653175B (zh) * 2020-06-09 2022-08-16 浙江商汤科技开发有限公司 一种虚拟沙盘展示方法及装置
CN111651050A (zh) * 2020-06-09 2020-09-11 浙江商汤科技开发有限公司 城市虚拟沙盘的展示方法、装置、计算机设备及存储介质
CN111651055A (zh) * 2020-06-09 2020-09-11 浙江商汤科技开发有限公司 城市虚拟沙盘展示方法、装置、计算机设备及存储介质
CN111857341B (zh) * 2020-06-10 2023-06-13 浙江商汤科技开发有限公司 一种展示控制方法及装置
WO2022027304A1 (zh) * 2020-08-05 2022-02-10 华为技术有限公司 一种自动驾驶车辆的测试方法及装置
CN114125415A (zh) * 2020-08-28 2022-03-01 奥迪股份公司 通过增强现实呈现车辆异常部件的系统、方法和存储介质
CN112165604A (zh) * 2020-09-10 2021-01-01 珠海格力电器股份有限公司 基于ar的保护女性的方法和装置
CN112710608B (zh) * 2020-12-16 2023-06-23 深圳晶泰科技有限公司 实验观测方法及系统
CN112634462A (zh) * 2020-12-21 2021-04-09 上海影创信息科技有限公司 Ar眼镜的温度匹配增强真实感方法和系统
CN113842227B (zh) * 2021-09-03 2024-04-05 上海涞秋医疗科技有限责任公司 医疗辅助三维模型定位匹配方法、系统、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500452A (zh) * 2013-10-12 2014-01-08 杭州师范大学 基于空间关系和图像分析的景区景物移动增强现实方法
CN109445112A (zh) * 2019-01-05 2019-03-08 西安维度视界科技有限公司 一种ar眼镜及基于ar眼镜的增强现实方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102678B (zh) * 2013-04-15 2018-06-05 腾讯科技(深圳)有限公司 增强现实的实现方法以及实现装置
US9734403B2 (en) * 2014-04-25 2017-08-15 Huntington Ingalls Incorporated Augmented reality display of dynamic target object information
CN108958462A (zh) * 2017-05-25 2018-12-07 阿里巴巴集团控股有限公司 一种虚拟对象的展示方法及装置
CN108154558B (zh) * 2017-11-21 2021-10-15 中电海康集团有限公司 一种增强现实方法、装置和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500452A (zh) * 2013-10-12 2014-01-08 杭州师范大学 基于空间关系和图像分析的景区景物移动增强现实方法
CN109445112A (zh) * 2019-01-05 2019-03-08 西安维度视界科技有限公司 一种ar眼镜及基于ar眼镜的增强现实方法

Also Published As

Publication number Publication date
WO2021072702A1 (zh) 2021-04-22
CN110914873A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN110914873B (zh) 增强现实方法、装置、混合现实眼镜及存储介质
CN107223269B (zh) 三维场景定位方法和装置
CN107820593B (zh) 一种虚拟现实交互方法、装置及系统
CN110427917B (zh) 用于检测关键点的方法和装置
CN111815754B (zh) 一种三维信息确定方法、三维信息确定装置及终端设备
CN109801379B (zh) 通用的增强现实眼镜及其标定方法
CN110866977B (zh) 增强现实处理方法及装置、系统、存储介质和电子设备
CN111815755A (zh) 虚拟物体被遮挡的区域确定方法、装置及终端设备
CN112581629A (zh) 增强现实显示方法、装置、电子设备及存储介质
CN106355153A (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN107437272B (zh) 基于增强现实的互动娱乐方法、装置及终端设备
CN110850961B (zh) 一种头戴式显示设备的校准方法及头戴式显示设备
CN109241956B (zh) 合成图像的方法、装置、终端及存储介质
CN103400119A (zh) 基于人脸识别技术的混合显示眼镜交互展示方法
CN107995481B (zh) 一种混合现实的显示方法及装置
CN108230384A (zh) 图像深度计算方法、装置、存储介质和电子设备
CN110120087B (zh) 三维虚拟沙盘的标签标注方法、装置及终端设备
CN111815786A (zh) 信息显示方法、装置、设备和存储介质
CN108765575A (zh) 一种基于ar的工业设备图鉴展示方法和系统
CN106997366B (zh) 数据库构建方法、增强现实融合追踪方法及终端设备
CN113838217A (zh) 信息展示方法、装置、电子设备及可读存储介质
KR102176805B1 (ko) 뷰 방향이 표시되는 vr 컨텐츠 제공 시스템 및 방법
CN112911266A (zh) 基于增强现实技术的物联网实训系统的实现方法及系统
CN111223139B (zh) 目标定位方法及终端设备
CN113450448A (zh) 图像的处理方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Augmented reality methods, devices, mixed reality glasses, and storage media

Effective date of registration: 20231201

Granted publication date: 20230214

Pledgee: Shenzhen high tech investment and financing Company limited by guarantee

Pledgor: SHENZHEN IWIN VISUAL TECHNOLOGY Co.,Ltd.

Registration number: Y2023980068888

PE01 Entry into force of the registration of the contract for pledge of patent right