CN112561952B - 用于为目标设置可呈现的虚拟对象的方法和系统 - Google Patents
用于为目标设置可呈现的虚拟对象的方法和系统 Download PDFInfo
- Publication number
- CN112561952B CN112561952B CN201910917441.0A CN201910917441A CN112561952B CN 112561952 B CN112561952 B CN 112561952B CN 201910917441 A CN201910917441 A CN 201910917441A CN 112561952 B CN112561952 B CN 112561952B
- Authority
- CN
- China
- Prior art keywords
- information
- target
- camera
- virtual object
- relative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000003287 optical effect Effects 0.000 claims abstract description 154
- 238000004891 communication Methods 0.000 claims abstract description 35
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 description 17
- 230000003190 augmentative effect Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 239000011521 glass Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
提供了用于为目标设置可呈现的虚拟对象的方法和系统，其中，所述现实场景中安装有摄像头和光通信装置，所述摄像头和所述光通信装置之间具有相对位姿，所述方法包括：使用所述摄像头跟踪所述现实场景中的目标；根据所述摄像头的跟踪结果获得所述目标的位置信息；设置与所述目标相关联的具有空间位置信息的虚拟对象，其中，所述虚拟对象的空间位置信息基于所述目标的位置信息而确定；以及将所述虚拟对象的相关信息发送给第一设备，该信息中包括所述虚拟对象的空间位置信息，其中，所述虚拟对象的相关信息能够被所述第一设备使用以基于其通过所述光通信装置确定的位置信息和姿态信息在其显示媒介上呈现所述虚拟对象。
Description
技术领域
本发明属于增强现实技术领域，尤其涉及一种用于为现实场景中的目标设置可呈现的虚拟对象的方法和系统。
背景技术
本部分的陈述仅仅是为了提供与本发明相关的背景信息，以帮助理解本发明，这些背景信息并不一定构成现有技术。
近年来，增强现实(Augmented Reality，AR)技术取得了长足的进展。增强现实技术也被称为混合现实技术，其通过计算机技术将虚拟对象叠加到现实场景中，使得现实场景和虚拟对象能够实时地呈现到同一个画面或空间中，从而增强用户对现实世界的感知。由于增强现实技术能够对真实环境进行增强显示输出，其在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等技术领域，获得了越来越广泛的应用。
在一种增强现实应用中，可以在视野中的固定位置处叠加一些数据信息，例如，飞行员在驾驶飞机的时候，可以通过佩戴显示头盔来查看在现实场景上叠加的飞行数据，这些数据通常都是显示在视野中的固定位置处(例如，始终在视野的右上角)，因而缺乏足够的灵活性，特别是，所叠加的虚拟对象无法随着现实场景中的真实目标的移动而移动。在另一种增强现实应用中，可以在用户手机拍摄到的人物附近叠加一些虚拟对象，但是这种方式准确度不足，并且不适合在多个人之间的AR交互。
发明内容
本发明的方案提供了一种用于为现实场景中的目标设置可呈现的虚拟对象的方法和系统，其通过使用光通信装置和摄像头，使得能够基于现实场景中的目标的位置信息为其设置相关联的虚拟对象，该虚拟对象能够在设备的显示媒介上精确地呈现，并且所呈现的虚拟对象能够跟随现实场景中的目标。
本发明的一个方面涉及一种用于为现实场景中的目标设置可呈现的虚拟对象的方法，其中，所述现实场景中安装有摄像头和光通信装置，所述摄像头和所述光通信装置之间具有相对位姿，所述方法包括：使用所述摄像头跟踪所述现实场景中的目标；根据所述摄像头的跟踪结果获得所述目标的位置信息；设置与所述目标相关联的具有空间位置信息的虚拟对象，其中，所述虚拟对象的空间位置信息基于所述目标的位置信息而确定；以及将所述虚拟对象的相关信息发送给第一设备，该信息中包括所述虚拟对象的空间位置信息，其中，所述虚拟对象的相关信息能够被所述第一设备使用以基于其通过所述光通信装置确定的位置信息和姿态信息在其显示媒介上呈现所述虚拟对象。
可选地，其中，所述根据所述摄像头的跟踪结果获得所述目标的位置信息包括：根据所述摄像头的跟踪结果获得所述目标相对于所述摄像头的位置信息，以及根据所述目标相对于所述摄像头的位置信息以及所述摄像头和所述光通信装置之间的相对位姿来确定所述目标相对于所述光通信装置的位置信息。
可选地，其中，所述虚拟对象的空间位置信息是相对于所述光通信装置的空间位置信息。
可选地，其中，所述根据所述摄像头的跟踪结果获得所述目标的位置信息包括：根据所述摄像头的跟踪结果获得所述目标相对于所述摄像头的位置信息，以及根据所述目标相对于所述摄像头的位置信息以及所述摄像头在所述现实场景中的位姿信息来确定所述目标在所述现实场景中的位置信息。
可选地，其中，根据与所述目标有关的信息来配置所述虚拟对象的相关信息。
可选地，所述方法还包括：根据所述摄像头的跟踪结果获得与所述目标有关的信息。
可选地，其中，所述根据与所述目标有关的信息来配置所述虚拟对象的相关信息包括：从设施接收与所述目标有关的信息；将所述信息与所述摄像头跟踪的位于相对于所述设施的预定位置处的目标建立联系；以及根据所述信息配置所述目标的虚拟对象的相关信息。
可选地，其中，所述根据与所述目标有关的信息来配置所述虚拟对象的相关信息包括：从第二设备接收信息，该信息包括所述第二设备的位置信息；将所述第二设备的位置信息与根据所述摄像头的跟踪结果确定的一个或多个目标的位置信息进行比较，以确定与所述第二设备匹配的目标；以及根据来自所述第二设备的信息配置与所述第二设备匹配的目标的虚拟对象的相关信息。
可选地，其中，所述第二设备至少部分地通过采集包括所述光通信装置的图像并分析该图像来确定其位置信息。
可选地，所述方法还包括：根据所述摄像头的跟踪结果获得所述目标的姿态信息；以及其中，所述设置与所述目标相关联的具有空间位置信息的虚拟对象包括根据所述目标的姿态信息设置所述虚拟对象的姿态信息。
可选地，其中，所述虚拟对象的姿态能够根据所述第一设备相对于所述虚拟对象的位置和/或姿态变化而调整。
可选地，其中，所述第一设备至少部分地通过采集包括所述光通信装置的图像并分析该图像来确定其相对于所述光通信装置的位置信息和姿态信息。
可选地，其中，根据与所述第一设备有关的信息确定要发送给所述第一设备的所述虚拟对象的相关信息。
本发明的另一个方面涉及一种用于为现实场景中的目标设置可呈现的虚拟对象的系统，包括：安装于所述现实场景中的摄像头，其用于跟踪所述现实场景中的目标；安装于所述现实场景中的光通信装置，其中，所述光通信装置和所述摄像头具有相对位姿；以及服务器，其用于执行上述方法。
可选地，所述系统还包括能够获得与所述目标有关的信息的设施。
可选地，所述系统还包括所述第一设备，其用于：从所述服务器接收所述虚拟对象的相关信息；至少部分地通过所述光通信装置确定所述第一设备的位置信息和姿态信息；以及基于所述位置信息和姿态信息以及所述虚拟对象的相关信息在所述第一设备的显示媒介上呈现所述虚拟对象。
本发明的另一个方面涉及一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现上述方法。
本发明的另一个方面涉及一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现上述方法。
附图说明
以下参照附图对本发明实施例作进一步说明，其中：
图1示出了一种示例性的光标签；
图2示出了根据一个实施例的包含用于为目标设置可呈现的虚拟对象的系统的现实场景；
图3示出了根据一个实施例的用于为目标设置可呈现的虚拟对象的方法；以及
图4示出了根据一个实施例的由图2中的第一用户通过手机屏幕或者AR眼镜观察到的示意图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
光通信装置也称为光标签，这两个术语在本文中可以互换使用。光标签能够通过不同的发光方式来传递信息，其具有识别距离远、可见光条件要求宽松的优势，并且光标签所传递的信息可以随时间变化，从而可以提供大的信息容量和灵活的配置能力。相比于传统的二维码，光标签具有更远的识别距离和更强的信息交互能力，从而可以为用户提供巨大的便利性。
光标签中通常可以包括控制器和至少一个光源，该控制器可以通过不同的驱动模式来驱动光源，以向外传递不同的信息。图1示出了一种示例性的光标签100，其包括三个光源(分别是第一光源101、第二光源102、第三光源103)。光标签100还包括控制器(在图1中未示出)，其用于根据要传递的信息为每个光源选择相应的驱动模式。例如，在不同的驱动模式下，控制器可以使用不同的驱动信号来控制光源的发光方式，从而使得当使用具有成像功能的设备拍摄光标签100时，其中的光源的成像可以呈现出不同的外观(例如，不同的颜色、图案、亮度、等等)。通过分析光标签100中的光源的成像，可以解析出各个光源此刻的驱动模式，从而解析出光标签100此刻传递的信息。
为了基于光标签向用户提供相应的服务，每个光标签可以被分配一个标识信息(ID)，该标识信息用于由光标签的制造者、管理者或使用者等唯一地识别或标识光标签。通常，可由光标签中的控制器驱动光源以向外传递该标识信息，而用户可以使用设备对光标签进行图像采集来获得该光标签传递的标识信息，从而可以基于该标识信息来访问相应的服务，例如，访问与标识信息相关联的网页、获取与标识信息相关联的其他信息(例如，与该标识信息对应的光标签的位置信息)等等。本文提到的设备例如可以是用户携带或控制的设备(例如，手机、平板电脑、智能眼镜、AR眼镜、智能头盔、智能手表等等)，也可以是能够自主移动的机器(例如，无人机、无人驾驶汽车、机器人等等)。设备可以通过其上的摄像头对光标签进行图像采集来获得包含光标签的图像，并通过分析图像中的光标签(或光标签中的各个光源)的成像以识别出光标签传递的信息。
可以在服务器上保存每个光标签的标识信息(ID)或其他信息，例如与该光标签相关的服务信息、与该光标签相关的描述信息或属性，如光标签的位置信息、型号信息、物理尺寸信息、物理形状信息、姿态或朝向信息等。光标签也可以具有统一的或默认的物理尺寸信息和物理形状信息等。设备可以使用识别出的光标签的标识信息来从服务器查询获得与该光标签有关的其他信息。光标签的位置信息可以是指该光标签在物理世界中的实际位置，其可以通过地理坐标信息来指示。服务器可以是在计算装置上运行的软件程序、一台计算装置或者由多台计算装置构成的集群。光标签可以是离线的，也即，光标签不需要与服务器进行通信。当然，可以理解，能够与服务器进行通信的在线光标签也是可行的。
图2示出了根据一个实施例的包含用于为目标设置可呈现的虚拟对象的系统的现实场景，该现实场景例如可以是一个银行网点，其中有三个用户，分别是第一用户、第二用户和第三用户，第一用户可以是银行网点工作人员，第二用户和第三用户可以是银行客户。第一用户携带有能够识别光标签的设备，例如手机或者AR眼镜。
所述系统包括摄像头、光标签以及服务器(图2中未示出)，其中，摄像头和光标签各自以特定的位置和姿态(下文中可以统称为“位姿”)安装于现实场景中。在一个实施例中，服务器可以获得摄像头和光标签各自的位姿信息，并且可以基于摄像头和光标签各自的位姿信息得到摄像头和光标签之间的相对位姿信息。在一个实施例中，服务器也可以直接得到摄像头和光标签之间的相对位姿信息。如此，服务器可以获得摄像头坐标系和光标签坐标系之间的变换矩阵，该变换矩阵例如可以包括两个坐标系之间的旋转矩阵R和位移向量t。通过摄像头坐标系和光标签坐标系之间的变换矩阵，可以将一个坐标系中的坐标转换为另一个坐标系中的坐标。在一个实施例中，可以在安装摄像头和光标签时，对两者的位姿信息进行人工标定，并将位姿信息存储于服务器。摄像头可以是安装于固定位置并且具有固定朝向的摄像头，但可以理解，摄像头也可以是可移动(例如，可以改变位置或调整方向)的摄像头，只要能够确定其当前位姿信息即可。可以由服务器设置摄像头的当前位姿信息，并基于该位姿信息控制摄像头的移动，也可以由摄像头本身或者其他装置来控制摄像头的移动，并将摄像头的当前位姿信息发送给服务器。在一些实施例中，系统中可以包括不止一个摄像头，也可以包括不止一个光标签。
在一个实施例中，可以为现实场景建立一个场景坐标系(其也可称为现实世界坐标系)，并且可以基于摄像头在现实场景中的位姿信息来确定摄像头坐标系与场景坐标系之间的变换矩阵，以及基于光标签在现实场景中的位姿信息来确定光标签坐标系与场景坐标系之间的变换矩阵。在这种情况下，可以将摄像头坐标系或光标签坐标系中的坐标转换为场景坐标系中的坐标，而不在摄像头坐标系和光标签坐标系之间进行变换，但是可以理解，摄像头和光标签之间的相对位姿信息或变换矩阵仍然能够被服务器知悉。因此，在本申请中，在摄像头和光标签之间具有相对位姿是指客观上在两者之间存在相对位姿，而并不要求系统预先存储上述两者之间的相对位姿信息或者使用该相对位姿信息。例如，一个实施例中，在系统中可以仅存储摄像头和光标签各自在场景坐标系中的位姿信息，并且可以不计算或者使用两者的相对位姿。
摄像头用于跟踪现实场景中的目标，该目标可以是静止的或移动的，其例如可以是场景中的人员、静止物体、可移动的物体、等等。对于图2所示的场景，系统可以通过摄像头来跟踪其中的第一用户、第二用户和第三用户的位置。摄像头例如可以是单目摄像头、双目摄像头、或者其他形式的摄像头。可以使用摄像头通过现有技术中的各种方法来跟踪现实场景中的人或物体的位置。例如，对于使用单个单目摄像头的情况，可以结合场景信息(例如，场景中的人或物体所处的平面的信息)来确定场景中的目标的位置信息。对于使用双目摄像头的情况，可以根据目标在摄像头视野中的位置以及目标的深度信息，来确定目标的位置信息。对于使用多个摄像头的情况，可以根据目标在各个摄像头视野中的位置，来确定目标的位置信息。
在一个实施例中，确定场景中的目标的位置信息的过程可以由摄像头来执行，并可以将相应的结果发送给服务器。在另一个实施例中，可以由服务器根据摄像头拍摄的图像来确定场景中的目标的位置信息。服务器可以将所确定的目标的位置信息转换为在光标签坐标系或场景坐标系下的位置信息。在获得了目标的位置信息之后，服务器可以设置与目标相关联的具有空间位置信息的虚拟对象，虚拟对象的空间位置信息可以基于目标的位置信息来确定。例如，可以将虚拟对象的空间位置设置为位于相应目标的正上方，或者位于目标附近的其他位置。
在设置了虚拟对象之后，服务器可以将虚拟对象的相关信息发送给某个能够识别光标签的设备。对于图2所示的场景，服务器可以将与第二用户关联的虚拟对象以及与第三用户关联的虚拟对象发送给第一用户携带的光标签识别设备。光标签识别设备上具有摄像头和显示媒介，识别设备通过对光标签进行扫描，可以确定其相对于光标签的位置和姿态信息，该位置和姿态信息也可以被进一步转换为场景坐标系下的位置和姿态信息。之后，识别设备能够使用虚拟对象的相关信息以基于其位置信息和姿态信息在其显示媒介上的合适位置处呈现相应的虚拟对象。
可以理解，第二用户或第三用户也可以携带光标签识别设备，并可以以与第一用户类似的方式通过光标签识别设备的显示媒介观察到与其他用户关联的虚拟对象。本发明的方案特别适合于场景中的多人AR交互。
图3示出了根据一个实施例的用于为目标设置可呈现的虚拟对象的方法，其可以使用上述系统来实现，并且可以包括如下步骤：
步骤301：使用摄像头跟踪现实场景中的目标。
通过使用摄像头针对现实场景持续地采集图像，可以对现实场景中存在的目标进行视觉跟踪。基于摄像头的视觉跟踪技术涉及对图像序列中的目标进行检测、提取、识别或跟踪，以获得目标的位置、姿态、速度、加速度或运动轨迹等。视觉跟踪技术属于本领域的现有技术，在此不再赘述。
在一个实施例中，摄像头在跟踪目标时，可以仅进行连续图像采集，并将所采集的图像作为跟踪结果提供给服务器，之后，可以由服务器分析这些图像并确定各个目标的位置信息。在另一个实施例中，摄像头还可以对所采集的图像执行进一步的处理，例如图像处理、目标检测、目标提取、目标识别、确定目标位置或姿态等，相应的处理结果可以作为跟踪结果被提供给服务器。
步骤302：根据摄像头的跟踪结果获得所述目标的位置信息。
服务器可以从摄像头接收跟踪结果，并根据该跟踪结果获得现实场景中的目标的位置信息。在一个实施例中，服务器最终获得的目标位置信息可以是目标在摄像头坐标系下的位置信息、目标在光标签坐标系下的位置信息、或者是目标在场景坐标系下的位置信息。服务器可以根据不同坐标系之间的变换矩阵来实现目标位置在不同坐标系之间的转换。例如，服务器可以首先根据摄像头的跟踪结果获得目标相对于所述摄像头的位置信息(也即，在摄像头坐标系下的位置信息)，然后可以根据目标相对于摄像头的位置信息以及摄像头和光标签之间的相对位姿信息来确定目标相对于光标签的位置信息(也即，在光标签坐标系下的位置信息)，也可以根据目标相对于摄像头的位置信息以及摄像头在现实场景中的位姿信息来确定目标在现实场景中的位置信息(也即，在场景坐标系下的位置信息)。
在一个实施例中，除了获得目标的位置信息之外，服务器还可以根据摄像头的跟踪结果获得目标的姿态信息，例如，人或者物体的朝向等。
步骤303：设置与所述目标相关联的具有空间位置信息的虚拟对象。
在确定了目标的位置信息之后，服务器可以为该目标设置相关联的虚拟对象，该虚拟对象具有空间位置信息，其可以基于目标的位置信息来确定。例如，可以将虚拟对象的空间位置配置为位于目标位置上方的预定距离处。虚拟对象的空间位置信息例如可以是其相对于光标签的空间位置信息，也可以是其在场景坐标系中的位置信息。
在一个实施例中，服务器除了配置虚拟对象的空间位置信息之外，还可以配置任何其他与虚拟对象有关的信息。与虚拟对象有关的信息是用于描述该虚拟对象的相关信息，例如可以包括虚拟对象中包含的图片、文字、数字、图标等，也可以包括虚拟对象的形状信息、颜色信息、尺寸信息、姿态信息等。基于该信息，设备可以呈现出相应的虚拟对象。服务器可以根据与目标有关的信息来配置对应于该目标的虚拟对象的相关信息，如此，可以为各个目标定制相应的虚拟对象。
在一个实施例中，服务器可以根据摄像头的跟踪结果来获得与目标有关的信息。例如，服务器可以根据摄像头的跟踪结果判断目标是人还是物体、目标是男人还是女人、目标是什么物体、目标是移动的还是静止的、目标的移动速度、目标的移动方向、等等。这些与目标有关的信息可以用于配置对应于该目标的虚拟对象的相关信息。
在一个实施例中，也可以通过其他设施来获得与目标有关的信息。例如，可以通过指纹或静脉采集设备、人脸识别设备、身份证读取设备等设施来获得人员的身份信息，可以通过读卡器等设施来获得人员的性别信息、职业信息、身份信息、会员卡信息等。在这些设施获得了人员信息之后，服务器可以从设施接收该信息并将该信息与摄像头当前所跟踪的位于预定位置(例如，这些设施的前方、后方、左侧、右侧、上方、下方、附近等)的人员建立联系，从而可以使用该人员的信息(例如，性别信息、职业信息、身份信息、会员卡信息等)来配置与该人员对应的虚拟对象的相关信息。类似地，也可以通过场景中的设施来获得物体的相关信息，并用该信息配置与该物体对应的虚拟对象的相关信息。
在一个实施例中，服务器还可以设置虚拟对象的姿态信息，虚拟对象的姿态信息可以基于目标的姿态信息来设置，但也可以通过其他方式来设置。
步骤304：将所述虚拟对象的相关信息发送给能够识别光标签的设备，该信息中包括所述虚拟对象的空间位置信息。
在为目标设置了虚拟对象之后，服务器可以将虚拟对象的相关信息发送给能够识别光标签的设备，该设备例如可以是手机、AR眼镜等，其具有摄像头和显示媒介。虚拟对象的相关信息中包括虚拟对象的空间位置信息，在一个实施例中，还可以包括虚拟对象的姿态信息。
在一个实施例中，可以根据与设备有关的信息确定要发送给该设备的所述虚拟对象的相关信息。与设备有关的信息可以包括该设备本身的相关信息、该设备的用户的相关信息、等等。例如，可以根据设备用户的不同权限或者不同等级，选择虚拟对象的一部分或者全部相关信息发送给设备。
在一个实施例中，光标签识别设备可以通过扫描场景中布置的光标签来识别光标签传递的信息(例如标识信息)，并使用该信息访问服务器(例如，通过无线信号进行访问)以从服务器获得虚拟对象的相关信息。在一个实施例中，服务器可以使用光标签以光通信方式将虚拟对象的相关信息发送到光标签识别设备。虚拟对象的相关信息能够被光标签识别设备使用以基于其通过光标签确定的位置信息和姿态信息在其显示媒介上呈现所述虚拟对象。
可以通过光标签来确定设备的位置和姿态信息，该位置和姿态信息可以是设备相对于光标签的位置和姿态信息(也即，在光标签坐标系下的位置和姿态信息)，但也可以是被转换到其他坐标系(例如场景坐标系)下的位置和姿态信息。
在一个实施例中，设备可以通过采集包括光标签的图像并分析该图像来确定其相对于光标签的位置信息。例如，设备可以通过图像中的光标签成像大小以及可选的其他信息(例如，光标签的实际物理尺寸信息、设备的摄像头的焦距)来确定光标签与设备的相对距离(成像越大，距离越近；成像越小，距离越远)。设备可以使用光标签的标识信息从服务器获得光标签的实际物理尺寸信息，或者光标签可以具有统一的物理尺寸并在设备上存储该物理尺寸。设备可以通过包括光标签的图像中的光标签成像的透视变形以及可选的其他信息(例如，光标签的成像位置)，来确定设备相对于光标签的方向信息。设备可以使用光标签的标识信息从服务器获得光标签的物理形状信息，或者光标签可以具有统一的物理形状并在设备上存储该物理形状。在一个实施例中，设备也可以通过其上安装的深度摄像头或双目摄像头等来直接获得光标签与设备的相对距离。设备也可以采用现有的任何其他定位方法来确定其相对于光标签的位置信息。
在一个实施例中，设备可以扫描光标签，并可以根据光标签的成像来确定其相对于光标签的姿态信息，当光标签的成像位置或成像区域位于第二设备成像视野的中心时，可以认为第二设备当前正对着光标签。在确定设备的姿态时可以进一步考虑光标签的成像的方向。随着设备的姿态发生改变，光标签在设备上的成像位置和/或成像方向会发生相应的改变，因此，可以根据光标签在设备上的成像来获得设备相对于光标签的姿态信息。
在一个实施例中，也可以以如下方式来确定设备相对于光标签的位置和姿态信息。具体地，可以根据光标签建立一个坐标系，该坐标系可以被称为光标签坐标系。可以将光标签上的一些点确定为在光标签坐标系中的一些空间点，并且可以根据光标签的物理尺寸信息和/或物理形状信息来确定这些空间点在光标签坐标系中的坐标。光标签上的一些点例如可以是光标签的外壳的角、光标签中的光源的端部、光标签中的一些标识点、等等。根据光标签的物体结构特征或几何结构特征，可以在设备相机拍摄的图像中找到与这些空间点分别对应的像点，并确定各个像点在图像中的位置。根据各个空间点在光标签坐标系中的坐标以及对应的各个像点在图像中的位置，结合设备相机的内参信息，可以计算得到拍摄该图像时设备相机在光标签坐标系中的位姿信息(R，t)，其中R为旋转矩阵，其可以用于表示设备相机在光标签坐标系中的姿态信息，t为位移向量，其可以用于表示设备相机在光标签坐标系中的位置信息。计算R、t的方法在现有技术中是已知的，例如，可以利用3D-2D的PnP(Perspective-n-Point)方法来计算R、t，为了不模糊本发明，在此不再详细介绍。
在设备通过光标签获得了位置和姿态信息之后，可以例如使用设备内置的加速度传感器、陀螺仪、摄像头等通过本领域已知的方法(例如，惯性导航、视觉里程计、SLAM、VSLAM、SFM等)来测量或跟踪设备的位置和姿态变化，从而获得设备新的位置和姿态信息。
在获得了虚拟对象的空间位置信息以及设备的位置和姿态信息之后，便可以在通过设备的显示媒介呈现的现实场景中的合适位置处叠加该虚拟对象。在虚拟对象具有姿态信息的情况下，可以进一步确定所叠加的虚拟对象的姿态。虚拟对象的姿态可以随着设备相对于虚拟对象的位置和/姿态而调整，例如使得虚拟对象的某个方向(例如虚拟对象的正面方向)始终朝向设备。在一个实施例中，可以基于设备和虚拟对象的位置在空间中确定一个从虚拟对象到设备的方向，并基于该方向来确定虚拟对象的姿态。通过上述方法，同一个虚拟对象对于处于不同位置的设备实际上可以具有各自的姿态。
在一个实施例中，在叠加了虚拟对象之后，设备用户可以对该虚拟对象执行各种交互操作。例如，设备用户可以点击虚拟对象以查阅其详情、改变虚拟对象的姿态、改变虚拟对象的大小或颜色、在虚拟对象上添加标注、等等。在一个实施例中，在设备用户改变了虚拟对象的属性之后，可以把虚拟对象的修改后的属性信息上传到服务器。服务器可以基于修改后的属性信息来更新其存储的虚拟对象的相关信息。
图3所示的方法可以持续执行或者定期重复执行，使得虚拟对象能够始终跟踪场景中的目标。
在一个实施例中，位于现实场景中的跟踪目标可以是设备或者持有该设备的人，并可以根据该设备的相关信息来设置与相应虚拟对象有关的信息。具体地，设备可以例如使用上文提到的方式通过光标签来确定其位置信息，并将该位置信息发送到服务器，该位置信息可以是设备相对于光标签的位置信息。设备所发送的位置信息可以是设备在扫描光标签时获得的位置信息，也可以是设备在扫描光标签之后使用内置的加速度传感器、陀螺仪、摄像头等通过本领域已知的方法(例如，惯性导航、视觉里程计、SLAM、VSLAM、SFM等)测量或跟踪获得的新的位置信息。另外，设备还可以将一些其他信息发送给服务器，例如，设备标识号、设备用户名、设备所有人的职业信息、设备所有人的身份信息、设备所有人的性别信息、设备所有人的年龄信息、设备上某个应用的账户信息、与设备所执行的某个操作有关的信息、等等。服务器可以将设备的位置信息与根据摄像头的跟踪结果确定的一个或多个目标的位置信息进行比较，以确定与设备匹配的目标。例如，服务器可以从一个或多个目标的位置信息中选择与设备的位置信息最接近的一个，并认为相应的目标与设备匹配。在确定了与设备匹配的目标之后，服务器可以根据来自设备的信息配置对应于该目标的虚拟对象的相关信息。通过上述方式，场景中的设备(例如，机器人、无人车等)或者持有设备(例如，手机、AR眼镜等)的人员可以自主地向服务器上传相关信息，从而不再需要使用专门的设施(例如，刷卡器、指纹采集设备等)来获得与设备或人员有关的信息。
图4示出了根据一个实施例的由图2中的第一用户通过手机屏幕或者AR眼镜观察到的示意图像，其中包含第二用户和第三用户。如上文提到的，第一用户可以是银行网点工作人员，第二用户和第三用户可以是银行客户。如图4所示，第一用户通过手机屏幕或者AR眼镜不仅能够观察到第二用户和第三用户，还可以观察到各个用户头上叠加的虚拟对象(例如，“VIP”、“普通”等)，这些对象可以用来指示用户的客户等级，例如，是VIP客户还是普通客户。用户的客户等级例如可以通过读取用户的身份信息、银行卡信息等来获取，也可以通过从用户手机接收其电话号码信息、银行账户信息等来获取。
在本发明的一个实施例中，可以以计算机程序的形式来实现本发明。计算机程序可以存储于各种存储介质(例如，硬盘、光盘、闪存等)中，当该计算机程序被处理器执行时，能够用于实现本发明的方法。
在本发明的另一个实施例中，可以以电子设备的形式来实现本发明。该电子设备包括处理器和存储器，在存储器中存储有计算机程序，当该计算机程序被处理器执行时，能够用于实现本发明的方法。
本文中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此，短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个本文中各处的出现并非必须指代相同的实施例。此外，特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此，结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合，只要该组合不是不符合逻辑的或不能工作。本文中出现的类似于“根据A”、“基于A”、“通过A”或“使用A”的表述意指非排他性的，也即，“根据A”可以涵盖“仅仅根据A”，也可以涵盖“根据A和B”，除非特别声明其含义为“仅仅根据A”。在本申请中为了清楚说明，以一定的顺序描述了一些示意性的操作步骤，但本领域技术人员可以理解，这些操作步骤中的每一个并非是必不可少的，其中的一些步骤可以被省略或者被其他步骤替代。这些操作步骤也并非必须以所示的方式依次执行，相反，这些操作步骤中的一些可以根据实际需要以不同的顺序执行，或者并行执行，只要新的执行方式不是不符合逻辑的或不能工作。
由此描述了本发明的至少一个实施例的几个方面，可以理解，对本领域技术人员来说容易地进行各种改变、修改和改进。这种改变、修改和改进意于在本发明的精神和范围内。虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。
Claims (21)
1.一种用于为现实场景中的目标设置可呈现的虚拟对象的方法，其中，所述现实场景中安装有摄像头、光通信装置和服务器，所述摄像头和所述光通信装置之间具有相对位姿，所述方法包括：
使用所述摄像头跟踪所述现实场景中的目标；
由服务器根据所述摄像头的跟踪结果获得所述目标的位置信息；
由服务器设置与所述目标相关联的具有空间位置信息的虚拟对象，其中，所述虚拟对象的空间位置信息基于所述目标的位置信息而确定；以及
由服务器经由光通信装置将所述虚拟对象的相关信息发送给第一设备，该相关信息中包括所述虚拟对象的空间位置信息，其中，所述虚拟对象的相关信息能够被所述第一设备使用以基于第一设备通过所述光通信装置确定的位置信息和姿态信息在第一设备显示媒介上呈现所述虚拟对象；
其中，所述第一设备至少部分地通过采集包括所述光通信装置的图像并分析该图像来确定其相对于所述光通信装置的位置信息和姿态信息，以及其中，所述虚拟对象的姿态能够根据第一设备相对于虚拟对象的位置和/或姿态变化而调整。
2.根据权利要求1所述的方法，其中，所述根据所述摄像头的跟踪结果获得所述目标的位置信息包括：
根据所述摄像头的跟踪结果获得所述目标相对于所述摄像头的位置信息，以及
根据所述目标相对于所述摄像头的位置信息以及所述摄像头和所述光通信装置之间的相对位姿来确定所述目标相对于所述光通信装置的位置信息。
3.根据权利要求2所述的方法，其中，所述虚拟对象的空间位置信息是相对于所述光通信装置的空间位置信息。
4.根据权利要求1所述的方法，其中，所述根据所述摄像头的跟踪结果获得所述目标的位置信息包括：
根据所述摄像头的跟踪结果获得所述目标相对于所述摄像头的位置信息，以及
根据所述目标相对于所述摄像头的位置信息以及所述摄像头在所述现实场景中的位姿信息来确定所述目标在所述现实场景中的位置信息。
5.根据权利要求1-4中任一项所述的方法，其中，根据与所述目标有关的信息来配置所述虚拟对象的相关信息。
6.根据权利要求5所述的方法，还包括：根据所述摄像头的跟踪结果获得与所述目标有关的信息。
7.根据权利要求5所述的方法，其中，所述根据与所述目标有关的信息来配置所述虚拟对象的相关信息包括：
从设施接收与所述目标有关的信息；
将所述与所述目标有关的信息与所述摄像头跟踪的位于相对于所述设施的预定位置处的目标建立联系；以及
根据所述与所述目标有关的信息配置所述目标的虚拟对象的相关信息。
8.根据权利要求5所述的方法，其中，所述根据与所述目标有关的信息来配置所述虚拟对象的相关信息包括：
从第二设备接收信息，该信息包括所述第二设备的位置信息；
将所述第二设备的位置信息与根据所述摄像头的跟踪结果确定的一个或多个目标的位置信息进行比较，以确定与所述第二设备匹配的目标；以及
根据来自所述第二设备的信息配置与所述第二设备匹配的目标的虚拟对象的相关信息。
9.根据权利要求8所述的方法，其中，所述第二设备至少部分地通过采集包括所述光通信装置的图像并分析该图像来确定其位置信息。
10.根据权利要求1-4中任一项所述的方法，还包括：
根据所述摄像头的跟踪结果获得所述目标的姿态信息；
以及其中，所述设置与所述目标相关联的具有空间位置信息的虚拟对象包括根据所述目标的姿态信息设置所述虚拟对象的姿态信息。
11.根据权利要求1-4中任一项所述的方法，其中，根据与所述第一设备有关的信息确定要发送给所述第一设备的所述虚拟对象的相关信息。
12.一种用于为现实场景中的目标设置可呈现的虚拟对象的系统，包括：
安装于所述现实场景中的摄像头，其用于跟踪所述现实场景中的目标；
安装于所述现实场景中的光通信装置，其中，所述光通信装置和所述摄像头具有相对位姿；以及
服务器，其用于：
根据所述摄像头的跟踪结果获得所述目标的位置信息；
设置与所述目标相关联的具有空间位置信息的虚拟对象，其中，所述虚拟对象的空间位置信息基于所述目标的位置信息而确定；
将所述虚拟对象的相关信息发送给第一设备，该相关信息中包括所述虚拟对象的空间位置信息，其中，所述虚拟对象的相关信息能够被所述第一设备使用以基于第一设备通过所述光通信装置确定的位置信息和姿态信息在第一设备显示媒介上呈现所述虚拟对象；
其中，所述第一设备至少部分地通过采集包括所述光通信装置的图像并分析该图像来确定其相对于所述光通信装置的位置信息和姿态信息，以及其中，所述虚拟对象的姿态能够根据第一设备相对于虚拟对象的位置和/或姿态变化而调整。
13.根据权利要求12所述的系统，其中，所述根据所述摄像头的跟踪结果获得所述目标的位置信息包括：
根据所述摄像头的跟踪结果获得所述目标相对于所述摄像头的位置信息，以及
根据所述目标相对于所述摄像头的位置信息以及所述摄像头和所述光通信装置之间的相对位姿来确定所述目标相对于所述光通信装置的位置信息。
14.根据权利要求12所述的系统，其中，所述根据所述摄像头的跟踪结果获得所述目标的位置信息包括：
根据所述摄像头的跟踪结果获得所述目标相对于所述摄像头的位置信息，以及
根据所述目标相对于所述摄像头的位置信息以及所述摄像头在所述现实场景中的位姿信息来确定所述目标在所述现实场景中的位置信息。
15.根据权利要求12-14中任一项所述的系统，其中，所述服务器还用于：
根据与所述目标有关的信息来配置所述虚拟对象的相关信息。
16.根据权利要求15所述的系统，其中，所述服务器还用于：
根据所述摄像头的跟踪结果获得与所述目标有关的信息。
17.根据权利要求15所述的系统，其中，所述系统还包括能够获得与所述目标有关的信息的设施，以及其中，所述根据与所述目标有关的信息来配置所述虚拟对象的相关信息包括：
从所述设施接收所述与所述目标有关的信息；
将所述与所述目标有关的信息与所述摄像头跟踪的位于相对于所述设施的预定位置处的目标建立联系；以及
根据所述与所述目标有关的信息配置所述目标的虚拟对象的相关信息。
18.根据权利要求15所述的系统，其中，所述根据与所述目标有关的信息来配置所述虚拟对象的相关信息包括：
从第二设备接收信息，该信息包括所述第二设备的位置信息；
将所述第二设备的位置信息与根据所述摄像头的跟踪结果确定的一个或多个目标的位置信息进行比较，以确定与所述第二设备匹配的目标；以及
根据来自所述第二设备的信息配置与所述第二设备匹配的目标的虚拟对象的相关信息。
19.根据权利要求12-14中任一项所述的系统，所述第一设备用于：
从所述服务器接收所述虚拟对象的相关信息；
至少部分地通过所述光通信装置确定所述第一设备的位置信息和姿态信息；以及
基于所述位置信息和姿态信息以及所述虚拟对象的相关信息在所述第一设备的显示媒介上呈现所述虚拟对象。
20.一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求1-11中任一项所述的方法。
21.一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求1-11中任一项所述的方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910917441.0A CN112561952B (zh) | 2019-09-26 | 2019-09-26 | 用于为目标设置可呈现的虚拟对象的方法和系统 |
| PCT/CN2020/117640 WO2021057887A1 (zh) | 2019-09-26 | 2020-09-25 | 用于为目标设置可呈现的虚拟对象的方法和系统 |
| TW109133377A TWI750822B (zh) | 2019-09-26 | 2020-09-25 | 用於為目標設置可呈現的虛擬對象的方法和系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910917441.0A CN112561952B (zh) | 2019-09-26 | 2019-09-26 | 用于为目标设置可呈现的虚拟对象的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112561952A CN112561952A (zh) | 2021-03-26 |
| CN112561952B true CN112561952B (zh) | 2024-09-10 |
Family
ID=75029790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910917441.0A Active CN112561952B (zh) | 2019-09-26 | 2019-09-26 | 用于为目标设置可呈现的虚拟对象的方法和系统 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN112561952B (zh) |
| TW (1) | TWI750822B (zh) |
| WO (1) | WO2021057887A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114415839A (zh) * | 2022-01-27 | 2022-04-29 | 歌尔科技有限公司 | 一种信息显示方法、装置、设备及存储介质 |
| CN116205952B (zh) * | 2023-04-19 | 2023-08-04 | 齐鲁空天信息研究院 | 人脸识别与跟踪的方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200638772A (en) * | 2005-04-20 | 2006-11-01 | Univ Nat Chiao Tung | Picture capturing and tracking method of dual cameras |
| CN106408667A (zh) * | 2016-08-30 | 2017-02-15 | 西安小光子网络科技有限公司 | 基于光标签的定制现实方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102009049073A1 (de) * | 2009-10-12 | 2011-04-21 | Metaio Gmbh | Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung |
| US20140240354A1 (en) * | 2013-02-28 | 2014-08-28 | Samsung Electronics Co., Ltd. | Augmented reality apparatus and method |
| US9600983B1 (en) * | 2015-11-18 | 2017-03-21 | Abl Ip Holding Llc | Method and system for dynamic reassignment of an identification code in a light-based positioning system |
| CA2919392C (en) * | 2016-02-01 | 2022-05-31 | Jean-Paul Boillot | Range finder device for monitoring robot processing tool position |
| CN106446883B (zh) * | 2016-08-30 | 2019-06-18 | 西安小光子网络科技有限公司 | 基于光标签的场景重构方法 |
| CN106339488B (zh) * | 2016-08-30 | 2019-08-30 | 西安小光子网络科技有限公司 | 一种基于光标签的虚拟设施插入定制实现方法 |
| US11460915B2 (en) * | 2017-03-10 | 2022-10-04 | Brainlab Ag | Medical augmented reality navigation |
| WO2019000461A1 (zh) * | 2017-06-30 | 2019-01-03 | 广东欧珀移动通信有限公司 | 定位方法、装置、存储介质及服务器 |
| CN109936712B (zh) * | 2017-12-19 | 2020-12-11 | 陕西外号信息技术有限公司 | 基于光标签的定位方法及系统 |
-
2019
- 2019-09-26 CN CN201910917441.0A patent/CN112561952B/zh active Active
-
2020
- 2020-09-25 TW TW109133377A patent/TWI750822B/zh not_active IP Right Cessation
- 2020-09-25 WO PCT/CN2020/117640 patent/WO2021057887A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200638772A (en) * | 2005-04-20 | 2006-11-01 | Univ Nat Chiao Tung | Picture capturing and tracking method of dual cameras |
| CN106408667A (zh) * | 2016-08-30 | 2017-02-15 | 西安小光子网络科技有限公司 | 基于光标签的定制现实方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI750822B (zh) | 2021-12-21 |
| CN112561952A (zh) | 2021-03-26 |
| TW202114409A (zh) | 2021-04-01 |
| WO2021057887A1 (zh) | 2021-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110457414B (zh) | 离线地图处理、虚拟对象显示方法、装置、介质和设备 | |
| US8860760B2 (en) | Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene | |
| US10928914B2 (en) | Individually interactive multi-view display system for non-stationary viewing locations and methods therefor | |
| US9275079B2 (en) | Method and apparatus for semantic association of images with augmentation data | |
| Anagnostopoulos et al. | Gaze-Informed location-based services | |
| US11263818B2 (en) | Augmented reality system using visual object recognition and stored geometry to create and render virtual objects | |
| KR101181967B1 (ko) | 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템 | |
| US20230400327A1 (en) | Localization processing service and observed scene reconstruction service | |
| CN108430032B (zh) | 一种实现vr/ar设备位置共享的方法及设备 | |
| CN112561952B (zh) | 用于为目标设置可呈现的虚拟对象的方法和系统 | |
| Schütt et al. | Semantic interaction in augmented reality environments for microsoft hololens | |
| CN106909219B (zh) | 基于三维空间的交互控制方法和装置、智能终端 | |
| CN112528699B (zh) | 用于获得场景中的设备或其用户的标识信息的方法和系统 | |
| US20220157032A1 (en) | Multi-modality localization of users | |
| CN112788443B (zh) | 基于光通信装置的交互方法和系统 | |
| CN112581630B (zh) | 一种用户交互方法和系统 | |
| CN112561953B (zh) | 用于现实场景中的目标识别与跟踪的方法和系统 | |
| CN118339424A (zh) | 用于真实世界测绘的物体和相机定位系统以及定位方法 | |
| CN111242107B (zh) | 用于设置空间中的虚拟对象的方法和电子设备 | |
| CN112053444B (zh) | 基于光通信装置叠加虚拟对象的方法和相应的电子设备 | |
| CN111753565B (zh) | 用于呈现与光通信装置有关的信息的方法和电子设备 | |
| WO2023074852A1 (ja) | 情報処理装置 | |
| CN112053451B (zh) | 基于光通信装置叠加虚拟对象的方法和相应的电子设备 | |
| KR102245760B1 (ko) | 테이블 탑 디바이스 및 이를 포함하는 테이블 탑 시스템 | |
| TWI759764B (zh) | 基於光通信裝置疊加虛擬物件的方法、電子設備以及電腦可讀取記錄媒體 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230803 Address after: B708, Tiandao United Building, Building 1, No. 35 Jinghai Fourth Road, Daxing District Economic and Technological Development Zone, Beijing, 100023 Applicant after: Beijing Yimu Technology Co.,Ltd. Address before: 100176 room 801, 8 / F, block B, AVIC Plaza, 15 ronghua South Road, Yizhuang Economic and Technological Development Zone, Daxing District, Beijing Applicant before: BEIJING WHYHOW INFORMATION TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |