CN109166150A - 获取位姿的方法、装置存储介质 - Google Patents

获取位姿的方法、装置存储介质 Download PDF

Info

Publication number
CN109166150A
CN109166150A CN201811205148.3A CN201811205148A CN109166150A CN 109166150 A CN109166150 A CN 109166150A CN 201811205148 A CN201811205148 A CN 201811205148A CN 109166150 A CN109166150 A CN 109166150A
Authority
CN
China
Prior art keywords
collecting device
information collecting
current time
posture
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811205148.3A
Other languages
English (en)
Other versions
CN109166150B (zh
Inventor
杨宇
周国栋
王冉冉
刘帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Electronics Co Ltd
Original Assignee
Qingdao Hisense Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Electronics Co Ltd filed Critical Qingdao Hisense Electronics Co Ltd
Priority to CN201811205148.3A priority Critical patent/CN109166150B/zh
Publication of CN109166150A publication Critical patent/CN109166150A/zh
Application granted granted Critical
Publication of CN109166150B publication Critical patent/CN109166150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种获取位姿的方法、装置及存储介质，属于VR/AR技术领域。在本发明中，确定信息采集装置的位姿时，先获取信息采集装置的角速度和加速度，根据角速度和加速度确定信息采集装置的姿态，再根据至少一个特征点对确定至少一个特征点中每个特征点的空间坐标，然后根据至少一个特征点对的空间坐标确定信息采集装置的空间位置，即得到了信息采集装置的位姿，不用设置双目相机当前的位姿为R和T，不必进行迭代运算，直接根据信息采集装置的角速度和加速度和至少一个特征点对就可以确定信息采集装置的位姿，计算过程简单，从而减小了从目标对象在现实世界中发起一个位姿到虚拟场景显示装置显示目标对象的位姿所需的时间。

Description

获取位姿的方法、装置存储介质
技术领域
本发明涉及VR/AR(Virtual Reality/Augmented Reality，虚拟现实/增强现实)技术领域，特别涉及一种获取位姿的方法、装置及存储介质。
背景技术
VR/AR技术是指获取目标对象的位姿，并将获取到的目标对象的位姿映射到虚拟场景中。其中，目标对象的位姿包括目标对象的姿态和目标对象的位置，姿态用于描述目标对象的运动方向。实际应用中，如果获取到的目标对象的位姿与目标对象实际的位姿不一致时，会严重影响用户体验，因此，如何精确地获取目标对象的位姿已经成为研究的热点。
相关技术中目标对象身上通常佩戴有信息采集装置，该信息采集装置可以为VR/AR设备，因此，获取目标对象的位姿也即是获取信息采集装置的位姿。另外，信息采集装置中通常包括双目相机，通过双目相机采集的图像即可获取信息采集装置的位姿。其中，通过双目相机采集的图像获取信息采集装置的位姿的实现方式通常为：获取双目相机当前时刻采集的一帧图像，确定该图像中的所有特征点，并确定标准图像中所有特征点，其中标准图像中的每个特征点对应的拍摄位置的空间坐标已知。对于当前时刻采集的图像中的任一特征点A，从标准图像的所有特征点中查找与特征点A匹配的特征点，得到特征点B。对于特征点A，如果已知双目相机当前的位姿，便可根据双目相机当前的位姿和特征点A在相机坐标系下的坐标确定特征点A对应的拍摄位置的空间坐标。另外，由于特征点A与特征点B匹配，因此特征点B对应的拍摄位置的空间坐标应该和特征点A对应的拍摄位置的空间坐标一致。因此，先设置双目相机当前的位姿为R和T，其中，R表示姿态，T表示位置。然后按照设置的R和T，确定特征点A对应的拍摄位置的空间坐标，如果确定出的确定特征点A对应的拍摄位置的空间坐标和特征点B对应的拍摄位置的空间坐标不一致，则重新设置R和T的数值，并循环执行上述过程，直至根据重新设置R和T的数值确定出的确定特征点A对应的拍摄位置的空间坐标和特征点B对应的拍摄位置的空间坐标一致，则将最后一次设置的R和T作为信息采集装置的位姿。
在上述由双目相机采集的图像来获取信息采集装置的位姿过程中，需要不断设置双目相机当前的位姿为R和T，因此整个过程需要不断的迭代重复运算，使得整个计算过程复杂，从而使得虚拟场景显示装置显示目标对象的位姿时，从目标对象在现实世界中发起一个位姿后到虚拟场景显示装置显示目标对象的位姿所需的时间较长，导致虚拟场景显示装置显示的目标对象的位姿相对于目标对象在现实世界中的位姿有延迟。
发明内容
本发明实施例提供了一种获取位姿的方法、装置存储介质，可以减小从目标对象在现实世界中发起一个位姿到虚拟场景显示装置显示目标对象的位姿所需的时间。所述技术方案如下：
第一方面，提供了一种获取位姿的方法，所述方法包括：
获取信息采集装置在当前时刻的加速度和角速度，并根据获取的加速度和角速度确定所述信息采集装置在当前时刻的姿态；
获取所述信息采集装置当前时刻采集的第一图像中的多个第一特征点和当前时刻之前采集的第二图像中的多个第二特征点，并对所述多个第一特征点和所述多个第二特征点进行特征点匹配，得到至少一个特征点对，每个特征点对包括一个第一特征点和一个第二特征点，所述第二图像中每个第二特征点存在一个空间坐标，所述第二图像中每个第二特征点的空间坐标是指对应的特征点所代表的空间位置处的坐标；
根据所述至少一个特征点对和所述信息采集装置在当前时刻的姿态确定所述信息采集装置在当前时刻的位置，并将确定出的位置和所述信息采集装置在当前时刻的姿态作为所述信息采集装置在当前时刻的位姿。
可选地，所述根据所述至少一个特征点对和所述信息采集装置在当前时刻的姿态确定所述信息采集装置在当前时刻的位置，包括：
对于所述至少一个特征点对中每个特征点对，根据每个特征点对包括的第一特征点和第二特征点、以及所述信息采集装置在当前时刻的姿态，确定与每个特征点对对应的位置，得到与所述至少一个特征点对一一对应的至少一个位置；
根据所述至少一个位置，确定所述信息采集装置在当前时刻的位置。
可选地，所述根据每个特征点对包括的第一特征点和第二特征点、以及所述信息采集装置在当前时刻的姿态，确定与每个特征点对对应的位置，包括：
对于所述至少一个特征点对中任一特征点对A，根据所述特征点对A包括的第二特征点的空间坐标，确定所述特征点对A包括的第一特征点的空间坐标；
确定所述特征点对A包括的第一特征点的相机坐标，所述相机坐标是指所述特征点对A包括的第一特征点在所述双目相机的相机坐标系下的坐标；
根据所述特征点对A包括的第一特征点的空间坐标、所述特征点对A包括的第一特征点的相机坐标、以及所述信息采集装置在当前时刻的姿态，确定与所述特征点对A对应的位置。
可选地，所述根据所述至少一个位置，确定所述信息采集装置在当前时刻的位置，包括：
确定所述至少一个位置的平均位置，将确定的平均位置作为所述信息采集装置在当前时刻的位置。
可选地，所述根据获取的加速度和角速度确定所述信息采集装置在当前时刻的姿态，包括：
根据所述角速度确定第一姿态，并根据所述加速度确定第二姿态；
获取所述第一姿态的权重和所述第二姿态的权重；
根据所述第一姿态、所述第二姿态、所述第一姿态的权重和所述第二姿态的权重，确定所述信息采集装置在当前时刻的姿态。
可选地，所述根据所述至少一个特征点对和所述信息采集装置在当前时刻的姿态确定所述信息采集装置在当前时刻的位置之后，还包括：
确定所述第一图像中未匹配成功的第一特征点；
根据所述信息采集装置在当前时刻的位置、所述信息采集装置的姿态和每个未匹配成功的第一特征点的相机坐标，确定每个未匹配成功的第一特征点的空间坐标；
根据所述第二图像，确定所述至少一个特征点对中每个第一特征点的空间坐标；
存储所述第一图像中每个未匹配成功的第一特征点的空间坐标和所述至少一个特征点对中每个第一特征点的空间坐标。
可选地，所述将确定出的位置和所述信息采集装置在当前时刻的姿态作为所述信息采集装置在当前时刻的位姿之后，还包括：
确定所述信息采集装置在目标预测时刻的位姿，所述目标预设时刻为在当前时刻之后、且距离当前时刻参考时长的时刻；
在当前时刻向虚拟场景显示装置发送所述信息采集装置在目标预测时刻的位姿。
可选地，所述根据所述信息采集装置在当前时刻的位姿，确定所述信息采集装置在目标预测时刻的位姿，包括：
确定所述信息采集装置在目标预测时刻的位置；
根据所述角速度、所述信息采集装置在当前时刻的姿态，确定所述信息采集装置在目标预测时刻的姿态，将确定得到的所述信息采集装置在目标预测时刻的位置和所述信息采集装置在目标预测时刻的姿态作为所述信息采集装置在目标预测时刻的位姿。
可选地，所述确定所述信息采集装置在目标预测时刻的位置，包括：
对所述加速度进行校正，得到所述信息采集装置的运动加速度；
获取所述信息采集装置在当前时刻之前的多个时刻中每个时刻的位置，得到多个位置；
根据所述多个位置，确定所述信息采集装置的运动速度；
根据所述信息采集装置的运动速度、所述信息采集装置的运动加速度以及所述信息采集装置的当前位置，确定所述信息采集装置在目标预测时刻的位置。
第二方面，提供了一种获取位姿的装置，所述装置包括：
第一确定模块，用于获取信息采集装置在当前时刻的加速度和角速度，并根据获取的加速度和角速度确定所述信息采集装置在当前时刻的姿态；
匹配模块，用于获取所述信息采集装置当前时刻采集的第一图像中的多个第一特征点和当前时刻之前采集的第二图像中的多个第二特征点，并对所述多个第一特征点和所述多个第二特征点进行特征点匹配，得到至少一个特征点对，每个特征点对包括一个第一特征点和一个第二特征点，所述第二图像中每个第二特征点存在一个空间坐标，所述第二图像中每个第二特征点的空间坐标是指对应的特征点所代表的空间位置处的坐标；
第二确定模块，根据所述至少一个特征点对和所述信息采集装置在当前时刻的姿态确定所述信息采集装置在当前时刻的位置，并将确定出的位置和所述信息采集装置在当前时刻的姿态作为所述信息采集装置在当前时刻的位姿。
可选地，所述第二确定模块包括：
第一确定单元，用于对于所述至少一个特征点对中每个特征点对，根据每个特征点对包括的第一特征点和第二特征点、以及所述信息采集装置在当前时刻的姿态，确定与每个特征点对对应的位置，得到与所述至少一个特征点对一一对应的至少一个位置；
第二确定单元，用于根据所述至少一个位置，确定所述信息采集装置在当前时刻的位置。
可选地，所述第一确定单元用于：
对于所述至少一个特征点对中任一特征点对A，根据所述特征点对A包括的第二特征点的空间坐标，确定所述特征点对A包括的第一特征点的空间坐标；
确定所述特征点对A包括的第一特征点的相机坐标，所述相机坐标是指所述特征点对A包括的第一特征点在所述双目相机的相机坐标系下的坐标；
根据所述特征点对A包括的第一特征点的空间坐标、所述特征点对A包括的第一特征点的相机坐标、以及所述信息采集装置在当前时刻的姿态，确定与所述特征点对A对应的位置。
可选地，所述第二确定单元用于：
确定所述至少一个位置的平均位置，将确定的平均位置作为所述信息采集装置在当前时刻的位置。
可选地，所述第一确定模块包括：
第三确定单元，用于根据所述角速度确定第一姿态，并根据所述加速度确定第二姿态；
获取单元，用于获取所述第一姿态的权重和所述第二姿态的权重；
第四确定单元，用于根据所述第一姿态、所述第二姿态、所述第一姿态的权重和所述第二姿态的权重，确定所述信息采集装置在当前时刻的姿态。
可选地，所述装置还包括：
第三确定模块，用于确定所述第一图像中未匹配成功的第一特征点；
第四确定模块，用于根据所述信息采集装置在当前时刻的位置、所述信息采集装置的姿态和每个未匹配成功的第一特征点的相机坐标，确定每个未匹配成功的第一特征点的空间坐标；
第五确定模块，用于根据所述第二图像，确定所述至少一个特征点对中每个第一特征点的空间坐标；
存储模块，用于存储所述第一图像中每个未匹配成功的第一特征点的空间坐标和所述至少一个特征点对中每个第一特征点的空间坐标。
可选地，所述装置还包括：
第六确定模块，用于确定所述信息采集装置在目标预测时刻的位姿，所述目标预设时刻为在当前时刻之后、且距离当前时刻参考时长的时刻；
发送模块，用于在当前时刻向虚拟场景显示装置发送所述信息采集装置在目标预测时刻的位姿。
可选地，所述第六确定模块包括：
第五确定单元，用于确定所述信息采集装置在目标预测时刻的位置；
第六确定单元，用于根据所述角速度、所述信息采集装置在当前时刻的姿态，确定所述信息采集装置在目标预测时刻的姿态，将确定得到的所述信息采集装置在目标预测时刻的位置和所述信息采集装置在目标预测时刻的姿态作为所述信息采集装置在目标预测时刻的位姿。
可选地，所述第五确定单元用于：
对所述加速度进行校正，得到所述信息采集装置的运动加速度；
获取所述信息采集装置在当前时刻之前的多个时刻中每个时刻的位置，得到多个位置；
根据所述多个位置，确定所述信息采集装置的运动速度；
根据所述信息采集装置的运动速度、所述信息采集装置的运动加速度以及所述信息采集装置的当前位置，确定所述信息采集装置在目标预测时刻的位置。
第三方面，一种虚拟现实装置，其特征在于，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行上述第一方面的任一项方法的步骤。
第四方面，一种计算机可读存储介质,计算机可读存储介质上存储有指令，指令被处理器执行时实现上述第一方面的任一项方法的步骤。
第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面的任一方法的步骤。
本发明实施例提供的技术方案带来的有益效果是：
在本发明中，确定信息采集装置的位姿时，先获取信息采集装置的角速度和加速度，根据角速度和加速度确定信息采集装置的姿态，再根据至少一个特征点对确定至少一个特征点中每个特征点的空间坐标，然后根据至少一个特征点对的空间坐标确定信息采集装置的空间位置，即得到了信息采集装置的位姿，不用设置双目相机当前的位姿为R和T，不必进行迭代运算，直接根据信息采集装置的角速度和加速度和至少一个特征点对就可以确定信息采集装置的位姿，计算过程简单，从而减小了从目标对象在现实世界中发起一个位姿到虚拟场景显示装置显示目标对象的位姿所需的时间。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种获取位姿的系统示意图；
图2是本发明实施例提供的一种获取位姿的方法流程图；
图3是本发明实施例提供的一种获取位姿的装置结构示意图；
图4是本发明实施例提供的一种第二确定模块的结构示意图；
图5是本发明实施例提供的一种第一确定模块的结构示意图；
图6是本发明实施例提供的另一种获取位姿的装置结构示意图；
图7是本发明实施例提供的另一种获取位姿的装置结构示意图；
图8是本发明实施例提供的一种第六确定模块的结构示意图；
图9是本发明实施例提供的一种终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种获取位姿的系统示意图，如图1所示，该系统100包括信息采集装置110、位姿确定装置120和虚拟场景显示装置130，信息采集装置110和位姿确定装置120之间通过有线或无线方式连接，位姿确定装置120和虚拟场景显示装置130之间也通过有线或无线方式连接。
其中，信息采集装置通常佩戴在目标对象的身上，信息采集装置110用来采集图像、加速度和角速度等信息，信息采集装置110将采集的这些信息发送到位姿确定装置120，位姿确定装置120根据信息采集装置110发送的这些信息确定信息采集装置110的位姿，之后位姿确定装置120将确定的信息采集装置110的位姿发送到虚拟场景显示装置130，虚拟场景显示装置130按照信息采集装置110的位姿在虚拟场景中显示目标对象，也就是说，虚拟场景显示装置130将显示屏中的目标对象的位姿显示为信息采集装置110的位姿。
在本发明实施例中，信息采集装置110、位姿确定装置120和虚拟场景显示装置130可以集成在VR/AR设备。可选地，VR/AR设备也可以只包括信息采集装置110和虚拟场景显示装置130，此时位姿确定装置120可以为后台终端或后台服务器。
其中，虚拟场景显示装置可以为VR眼镜，也可以为显示屏，本发明实施例对此不做限定。后台终端可以为计算机、平板电脑或手机等终端。另外，信息采集装置还能够采集地磁场信息等信息，在此不做限定。
图2是本发明实施例提供的一种获取位姿的方法流程图，应用于图1所示的位姿确定装置，如图2所示，该方法包括如下步骤：
步骤201：获取信息采集装置在当前时刻的加速度和角速度，并根据获取的加速度和角速度确定所述信息采集装置在当前时刻的姿态。
由于信息采集装置一般佩戴在目标对象身上，因此确定信息采集装置的位姿，也就确定了目标对象的位姿。
通常，信息采集装置中包括惯性传感器，其中惯性传感器包括陀螺仪、加速度计和磁力计。陀螺仪可以测得信息采集装置的角速度，加速度计可以测得信息采集装置的加速度，磁力计可以测得信息采集装置所在的位置处的磁场强度和方向。因此，在本发明实施例中，根据信息采集装置的惯性传感器采集的数据就可以直接获取信息采集装置在当前时刻的加速度和角速度。
另外，在一种可能的实现方式中，根据获取的加速度和角速度确定信息采集装置在当前时刻的姿态具体可以为：根据角速度确定第一姿态，并根据加速度确定第二姿态；获取第一姿态的权重和第二姿态的权重；根据第一姿态、第二姿态、第一姿态的权重和第二姿态的权重，确定信息采集装置在当前时刻的姿态。
其中，信息采集装置的姿态可以采用信息采集装置绕空间坐标系中的三个坐标轴的旋转角度来表示，为了后续便于说明，将信息采集装置绕X轴旋转的角称为横滚角，绕Y轴旋转的角称为俯仰角，绕Z轴旋转的角称为偏航角。因此，根据角速度确定第一姿态具体可以为：根据信息采集装置获取的角速度，确定该角速度在X轴、Y轴和Z轴上的三个分量，将这三个分量分别积分得到三个角度，即上述的三个旋转角度，将得到的三个旋转角度作为信息采集装置的第一姿态。
另外，根据加速度确定第二姿态具体可以按照下式进行确定：
假设第二姿态也采用旋转角表示，比如，第二姿态表示为(φ，θ，ψ)，其中φ为横滚角，θ为俯仰角，ψ为偏航角，加速度计测得的信息采集装置的加速度为地磁场和重力加速度分别为m和g，在世界坐标系下，
g＝[0,0,G]T
m＝[mx,my,mz]T
其中G为重力加速度常数，mx,my,mz为地磁场在不同坐标轴上的分量。
根据下式：
得出：
结合磁场计读数：
mxf＝mxcosθcosψ+my cosθsinψ-mz sinθ
得出：
其中，ψm＝arctan2(mx,my)，为在x轴上的分量，为在x轴上的分量，为在x轴上的分量，mxf为磁场计的读数。
另外，获取第一姿态的权重和第二姿态的权重具体可以为：假设第一姿态为qa，第二姿态为qb，第一姿态的权重和第二姿态的权重可以通过角速度确定。其中，当角速度较大时，说明目标对象运动快，状态不稳定，可以将第二姿态的权重设置为较小数值，权重可以设置为0.1；当角速度较小时，说明目标对象近似静止或运动很慢，状态稳定，可以将第二姿态的权重设置为较大数值，权重可以设置为0.9。另外，第一姿态的权重与第二姿态的权重之和为1，确定了第二姿态的权重之后，便可以确定第一姿态的权重。在具体的实现中，可以按照角速度的大小，调节第二姿态的权重的数值。
另外，根据第一姿态、第二姿态、第一姿态的权重和第二姿态的权重，确定信息采集装置在当前时刻的姿态具体可以按照下式进行：
其中，qa是第一姿态，qb是第二姿态，t是第二姿态的权重，t在0-1之间取值，θ为：是第一姿态qa与第二姿态qb的夹角的一半，qm是信息采集装置在当前时刻的姿态。
其中，θ可以按照下式进行计算：
cosθ＝qa.w*qb.w+qa.x*qb.x+qa.y*qb.y+qa.z*qb.z
其中，qa.w、qa.x、qa.y和qa.z为第一姿态qa用四元数表示时的四个量，qb.w、qb.x、qb.y和qb.z为第二姿态qb用四元数表示时的四个量。其中，第一姿态可以用四元数进行表示，第一姿态qa可以用四元数表示为qa(w,x,y,z)，第二姿态qb可以用四元数表示为qb(w,x,y,z)，第一姿态的四元数中的每个量便可以表示为：qa.w、qa.x、qa.y和qa.z，第二姿态的四元数中的每个量便可以表示为：qb.w、qb.x、qb.y和qb.z。
步骤202：获取信息采集装置当前时刻采集的第一图像中的多个第一特征点和当前时刻之前采集的第二图像中的多个第二特征点，并对多个第一特征点和多个第二特征点进行特征点匹配，得到至少一个特征点对，每个特征点对包括一个第一特征点一个第二特征点，第二图像中每个第二特征点存在一个空间坐标，第二图像中每个第二特征点的空间坐标是指对应的特征点所代表的空间位置处的坐标。
其中，获取信息采集装置当前时刻采集的第一图像中的多个第一特征点具体可以为：在第一图像中任选一个像素点p，假定其像素值为Ip，以像素点p为中心，以指定步长为半径画圆，得到一个圆形区域，该圆形区域包括像素点p周围的多个像素点，设定阈值t，如果该多个像素点中有连续的n个像素点的像素值都小于Ip-t或者有连续的n个像素点的像素值都大于Ip+t，那么这个像素点p就可以作为一个特征点，其中n可以为与多个像素点的个数成一定比例的数。按照这种方式，便可以获取信息采集装置当前时刻采集的第一图像中的多个第一特征点。其中，指定步长可以为预设数值个像素点，比如可以为3个像素点、4个像素点等等。
可选地，获取信息采集装置当前时刻采集的第一图像中的多个第一特征点还可以为：在第一图像中任选一像素点p，假定其像素值为Ip，以像素点p为中心，以指定步长为半径画圆，得到一个圆形区域，该圆形区域包括像素点p点周围的多个像素点，设定阈值t，并且以像素点p为交点设置两条互相垂直的直线，这两条互相垂直的直线与该圆形区域相交的四个像素点中有至少三个像素点的像素值是否大于Ip+t，如果四个像素点中有至少三个像素点的像素值大于Ip+t，则可以将像素点p作为一个特征点，如果四个像素点中少于三个像素点的像素值大于Ip+t，则判断多个像素点中连续n个像素点的像素值都小于Ip-t或者有连续的n个像素点的像素值都大于Ip+t，根据判断的结果决定是否将像素点p作为特征点，其中，n可以为与多个像素点的个数成一定比例的数。对于第一图像中其他像素点，均可按照上述方式确定该像素点是否是第一特征点。
当然，获取信息采集装置当前时刻采集的第一图像中的多个第一特征点还可以有其他方式，本发明在此不做限定。
获取第二图像的多个第二特征点的方式可以参照获取第一图像中的多个第一特征点的实施方式，在此不再赘述。
另外，对多个第一特征点和多个第二特征点进行特征点匹配的具体实现方式可以为：对于多个第一特征点中的任一个第一特征点，确定这个第一特征点的像素值，从多个第二特征点中查找与这个第一特征点的像素值的差小于参考阈值的像素值对应的第二特征点，并将查找到的第二特征点作为与这个第一特征点匹配的第二特征点，这样就得到一个特征点对，按照这种方式，就可以得到至少一个特征点对。
例如，对于多个第一特征点中任一第一特征点，如果该第一特征点的像素值为100，在第二图像中查找到一个第二特征点的像素值为102，设定参考阈值为3，由于100与102的差小于3，因此可以将这个像素值为102的第二特征点作为与该第一特征点匹配的一个第二特征点，这样便得到一个特征点对。以此类推，便可以得到至少一个特征点对。
步骤203：根据至少一个特征点对和信息采集装置在当前时刻的姿态确定信息采集装置在当前时刻的位置，并将确定出的位置和信息采集装置在当前时刻的姿态作为信息采集装置在当前时刻的位姿。
其中，根据至少一个特征点对和信息采集装置在当前时刻的姿态确定信息采集装置在当前时刻的位置具体可以按照以下两个步骤实现：
(1)对于至少一个特征点对中每个特征点对，根据每个特征点对包括的第一特征点和第二特征点、以及信息采集装置在当前时刻的姿态，确定与每个特征点对对应的位置，得到与少一个特征点对一一对应的至少一个位置；
其中，根据每个特征点对包括的第一特征点和第二特征点、以及信息采集装置在当前时刻的姿态，确定与每个特征点对对应的位置具体可以为：对于至少一个特征点对中任一特征点对A，根据特征点对A包括的第二特征点的空间坐标，确定特征点对A包括的第一特征点的空间坐标。确定特征点对A包括的第一特征点的相机坐标，相机坐标是指特征点对A包括的第一特征点在双目相机的相机坐标系下的坐标。根据特征点对A包括的第一特征点的空间坐标、特征点对A包括的第一特征点的相机坐标、以及信息采集装置在当前时刻的姿态，确定与特征点对A对应的位置。
其中，根据特征点对A包括的第二特征点的空间坐标，确定特征点对A包括的第一特征点的空间坐标具体可以为：如果两个特征点相互匹配，表明这两个特征点分别所代表的拍摄位置的空间坐标一致，由于特征点对A中的第一特征点是与第二特征点匹配的，第二特征点的空间坐标是已知的，因此可以将第二特征点的空间坐标作为第一特征点的空间坐标，也即是确定了特征点对A包括的第一特征点的空间坐标。
其中，确定特征点对A包括的第一特征点的相机坐标，相机坐标是指特征点对A包括的第一特征点在双目相机的相机坐标系下的坐标，具体可以为：由于第一特征点在第一图像中，并且相机坐标系包括Xc轴、Yc轴和Zc轴，相机坐标系以双目相机的光心为原点，Xc轴与空间坐标系下的X轴平行，Yc轴与空间坐标系下的Y轴平行，Zc轴与双目相机的光轴平行。其中，双目相机的光轴是指通过双目相机每个镜头中心的线。双目相机的相机坐标系确定之后，可以根据双目相机的相机参数和第一特征点在第一图像中的坐标确定第一特征点的相机坐标。
其中，在一种可能的实现方式中，根据特征点对A包括的第一特征点的空间坐标、特征点对A包括的第一特征点的相机坐标、以及信息采集装置在当前时刻的姿态，可以按照下式确定与特征点对A对应的位置：
R×Pc(x,y,z)+T＝Pw(x,y,z)
其中，R是信息采集装置在当前时刻的姿态，Pc(x,y,z)是特征点对A包括的第一特征点的相机坐标，Pw(x,y,z)是特征点对A包括的第一特征点的空间坐标，T为此次确定出的信息采集装置的位置，为了后续便于说明，将此次确定出的信息采集装置的位置称为与特征点对A对应的位置。
其中，信息采集装置的姿态可以用上述的三个旋转角度表示，也可以用四元数和旋转矩阵来表示，并且四元数与旋转矩阵可以相互转换，四元数和旋转矩阵分别与上述的旋转角也可以相互转换。例如，信息采集装置的姿态用四元数表示为R＝q0+q1i+q2j+q3k，则将表示信息采集装置的姿态的四元数转换为旋转矩阵，就可以表示为：
上述公式就可以写成下式所表示的形式：
其中，上述公式中的R11与上述矩阵中对应，上述公式中R12至R33与上述矩阵中对应位置处的元素对应。另外，上述公式中的xc、yc、zc分别为特征点对A包括的第一特征点的相机坐标中的Xc坐标轴上、Yc坐标轴上和Zc坐标轴上的坐标，Tx、Ty、Tz分别为此次确定出的信息采集装置的位置在X坐标轴上、Y坐标轴上和Z坐标轴上的分量，xw、yw、zw分别为特征点对A包括的第一特征点的空间坐标中的X坐标轴上、Y坐标轴上和Z坐标轴上的坐标。
(2)根据至少一个位置，确定信息采集装置在当前时刻的位置，具体可以为：确定至少一个位置的平均位置，将确定的平均位置作为信息采集装置在当前时刻的位置。
其中，在一种可能的实现方式中，确定至少一个位置的平均位置具体可以为：将确定的至少一个位置求和，再将得出的至少一个位置的和除以至少一个位置的个数，按照这种方式就可以确定至少一个位置的平均位置。
例如，至少一个位置为n个位置，至少一个位置中每个位置用Ti表示，并且每个位置Ti都可以用(Tx，Ty，Tz)表示，则至少一个位置的平均位置就可以按照下式表示：
例如，至少一个为值3个位置，每个位置用Ti表示，即第一个位置用T1表示，第二个位置用T2表示，第三个位置用T3表示，并且每个位置都可以用(Tx，Ty，Tz)表示，即第一个位置T1表示为(T1x，T1y，T1z)，第二个位置T2表示为(T2x，T2y，T2z)，第三个位置T3表示为(T3x，T3y，T3z)，则这三个位置的平均位置就可以按照下式表示：
可选地，确定至少一个位置的平均位置还可以为：通过计算至少一个位置的标准差，然后计算至少一个位置中每个位置相对于标准差的偏差，去掉至少一个位置中偏差较大的位置，然后将剩下的位置求平均。
例如，至少一个位置为n个位置，至少一个位置中每个位置用Ti表示，计算得到的n个位置的标准差为F，将至少一个位置中每个位置与标准差F对比，如果偏差较大的位置有m个，则剩下的位置有n-m个，将n-m个位置通过下式求平均，得到平均位置：
另外，将步骤201至步骤203确定的信息采集装置当前时刻的位姿发送到虚拟场景显示装置，虚拟场景显示装置按照接收到的信息采集装置的位姿显示目标对象当前时刻的位姿。
例如，信息采集装置佩戴在目标对象身上，目标对象在现实世界中的位姿是跑步的动作，则信息采集装置采集与目标对象相关的数据，将这些数据发送到位姿确定装置，位姿确定装置根据这些数据确定信息采集装置的位姿为跑步的动作，之后位姿确定装置将确定的信息采集装置的位姿发送到虚拟场景显示装置，虚拟场景显示装置按照确定的信息采集装置的跑步的动作的位姿显示目标对象的位姿是跑步的动作。
另外，在步骤203根据至少一个特征点对和信息采集装置在当前时刻的姿态确定信息采集装置在当前时刻的位置之后，还需确定第一图像中多个第一特征点中每个第一特征点的空间坐标，并存储确定的空间坐标，便于在当前时刻之后的某个时刻根据上述步骤201至步骤203确定信息采集装置在该时刻的位姿。
其中，确定第一图像中多个第一特征点中每个第一特征点的空间坐标，并存储确定的空间坐标具体可以为：确定第一图像中未匹配成功的第一特征点；根据信息采集装置在当前时刻的位置、信息采集装置的姿态和每个未匹配成功的第一特征点的相机坐标，确定每个未匹配成功的第一特征点的空间坐标；根据第二图像，确定至少一个特征点对中每个第一特征点的空间坐标；存储第一图像中每个未匹配成功的第一特征点的空间坐标和至少一个特征点对中每个第一特征点的空间坐标。
其中，确定第一图像中未匹配成功的第一特征点具体可以为：在将第一图像中确定的多个第一特征点与第二图像中确定的多个第二特征点匹配之后，在第一图像中多个第一特征点中去除与第二图像中多个第二特征点匹配的特征点，将多个第一特征点中剩下的特征点作为第一图像中未匹配成功的第一特征点。
根据信息采集装置在当前时刻的位置、信息采集装置的姿态和每个未匹配成功的第一特征点的相机坐标，确定每个未匹配成功的第一特征点的空间坐标的实施方式可以如下式所示：
R×Pc1(x,y,z)+T＝Pw1(x,y,z)
其中，R是信息采集装置的姿态，Pc1(x,y,z)是每个未匹配成功的第一特征点的相机坐标，T是信息采集装置在当前时刻的位置，Pw1(x,y,z)是每个未匹配成功的第一特征点的空间坐标。
另外，根据第二图像，确定至少一个特征点对中每个第一特征点的空间坐标具体可以为：由于第二图像中所有的特征点的空间坐标是已知的，又由于至少一个特征点对中的第一特征点和第二特征点在现实世界中是同一个点，因此第一特征点的空间坐标与第二特征点的空间坐标相等，由此可以确定至少一个特征点对中每个第一特征点的空间坐标。
其中，存储第一图像中每个未匹配成功的第一特征点的空间坐标和至少一个特征点对中每个第一特征点的空间坐标，将存储的第一图像中每个未匹配成功的第一特征点的空间坐标和至少一个特征点对中每个第一特征点的空间坐标作为历史信息，便于确定当前时刻之后信息采集装置获取的第三图像中的多个特征点的空间坐标，并根据确定的空间坐标确定信息采集装置在采集第三图像时的位姿。
另外，在根据步骤201至步骤203确定出信息采集装置的位姿之后，可以将信息采集装置当前时刻的位姿发送至虚拟场景显示装置，当虚拟场景显示装置接收到信息采集装置当前时刻的位姿时，由于信息采集装置当前时刻的位姿也即是目标对象当前时刻的位姿，因此虚拟场景显示装置可以直接按照信息采集装置当前时刻的位姿显示目标对象。
在上述虚拟场景显示装置按照信息采集装置当前时刻的位姿显示目标对象的过程中，需要耗费一定的时间，因此，在本发明实施例中，在根据步骤201至步骤203确定出信息采集装置的位姿之后，还可以对目标对象的位姿进行预测，并将预测的位姿发送给虚拟场景显示装置，以使虚拟场景显示装置显示预测的位姿，这样可以进一步减小从目标对象在现实世界中发起一个位姿到虚拟场景显示装置显示目标对象的位姿所需的时间。
具体地，可以通过下述步骤204和步骤205对目标对象的位姿进行预测。
步骤204：确定信息采集装置在目标预测时刻的位姿，目标预设时刻为在当前时刻之后、且距离当前时刻参考时长的时刻。
其中，确定信息采集装置在目标预测时刻的位姿具体可以为：确定信息采集装置在目标预测时刻的位置。根据角速度、信息采集装置在当前时刻的姿态，确定信息采集装置在目标预测时刻的姿态，将确定得到的信息采集装置在目标预测时刻的位置和信息采集装置在目标预测时刻的姿态作为信息采集装置在目标预测时刻的位姿。
其中，确定信息采集装置在目标预测时刻的位置具体可以为：对加速度进行校正，得到信息采集装置的运动加速度；获取信息采集装置在当前时刻之前的多个时刻中每个时刻的位置，得到多个位置；根据多个位置，确定信息采集装置的运动速度；根据信息采集装置的运动速度、信息采集装置的运动加速度以及信息采集装置的当前位置，确定信息采集装置在目标预测时刻的位置。
其中，在一种可能的实现方式中，对加速度进行校正，得到信息采集装置的运动加速度可以为：获取的信息采集装置在当前时刻的加速度中包括重力加速度，将这个加速度转换为世界坐标系下的加速度，将转换为世界坐标系下的加速度减去重力加速度，便可以得到信息采集装置的运动加速度。
其中，由于信息采集装置在当前时刻的位置可以按照上述步骤(2)确定，则信息采集装置在当前时刻之前的多个时刻中每个时刻的位置也可以按照上述步骤(2)确定，也即是，在本发明实施例中，在每次信息采集装置采集一帧图像时，位姿确定装置都可以根据上述步骤201至步骤203确定信息采集装置在当前时刻的位置，并将确定的位置和采集图像时的时刻存储在位置与时刻的对应关系中。因此，在一种可能的实现方式中，获取信息采集装置在当前时刻之前的多个时刻中每个时刻的位置，得到多个位置可以为：确定当前时刻之前且距离当前时刻最近的多个时刻，然后从位置与时刻的对应关系中获取与多个时刻一一对应的多个位置。
其中，在一种可能的实现方式中，根据多个位置，确定信息采集装置的运动速度可以为：选取三个位置，位置1、位置2和位置3，由于这三个位置的空间坐标可以按照上述步骤(1)确定，并且位置1到位置2的时间可以确定，位置2到位置3的时间可以确定，则可以按照位置2与位置1的空间坐标的差值求出位置2与位置1之间的位移，位置1到位置2的时间确定之后，将位置2与位置1之间的位移除以位置1到位置2的时间便可以得出第一运动速度，同理位置3与位置2之间的位移可以确定，位置2到位置3的时间确定之后，将位置3与位置2之间的位移除以位置2到位置3的时间便可以得出第二运动速度，将第一运动速度与第二运动速度求平均运动速度，即将第一运动速度与第二运动速度相加，之后除以2，得到的平均运动速度作为信息采集装置的运动速度。
当然，根据多个位置，确定信息采集装置的运动速度还可以有其他实施方式，例如，选取五个位置，或者更多数目的位置来确定信息采集装置的运动速度，本发明在此不做限定。
另外，根据信息采集装置的运动速度、信息采集装置的运动加速度以及信息采集装置的当前位置，确定信息采集装置在目标预测时刻的位置具体可以按照下式：
其中，S0为信息采集装置的当前位置，v0为信息采集装置的运动速度，a为信息采集装置的运动加速度，t为的目标预测时刻与当前时刻之间的时长，也即是上述参考时长，St为信息采集装置在目标预测时刻的位置。其中，参考时长t可以根据虚拟场景显示设备的设备类型确定，也可以人工设置，本发明实施例在此不做具体限定。比如，参考时长可以为10ms、15ms或20ms等等。
另外，上述公式中的S0可以为步骤203确定出的信息采集装置在当前时刻的位置。可选地，上述公式中的S0还可以通过其他方式确定。比如，获取信息采集装置在当前时刻之前的3个时刻中每个时刻的位置，然后确定这三个位置的平均位置，将这个平均位置作为上述公式中的S0，这样可以避免由当前时刻的信息采集装置的位置预测下一时刻的信息采集装置的位置的误差较大的可能性，这种误差较大的可能性体现在：由于当前时刻目标对象的抖动或其他原因造成计算出的当前时刻位置不准确，从而使得用当前时刻不准确的位置预测下一时刻的位置的误差较大。
另外，根据角速度、信息采集装置在当前时刻的姿态，确定信息采集装置在目标预测时刻的姿态具体可以为：根据角速度确定信息采集装置的姿态变化量，然后根据信息采集装置的姿态变化量与信息采集装置在当前时刻的姿态，按照下式便可以得到信息采集装置在目标预测时刻的姿态：
R*dq＝Rt
其中，Rt为信息采集装置在目标预测时刻的姿态，R为信息采集装置在当前时刻的姿态，dq为信息采集装置的姿态变化量。
其中，根据角速度确定信息采集装置的姿态变化量可以按照下式进行：
假设角速度h在空间坐标系中的三个坐标轴上的分量为hx、hy和hz，并且t为上述的参考时长，角速度的模为H，则
将信息采集装置的姿态变化量用dq表示，并且dq为一个四元数，则
步骤205：在当前时刻向虚拟场景显示装置发送信息采集装置在目标预测时刻的位姿。
其中，在当前时刻，根据上述步骤204可以得到信息采集装置在目标预测时刻的位姿，然后位姿确定装置将得到的位姿发送到虚拟场景显示装置，虚拟场景显示装置按照接收到得的位姿显示目标对象，这样可以使得目标对象在目标预测时刻可以通过虚拟场景显示装置实时的看到目标对象在目标预测时刻发起的位姿。这是因为，一般情况下，信息采集装置在获取到与目标对象相关的数据之后，将这些数据发送到位姿确定装置，位姿确定装置根据这些数据确定目标对象的位姿之后，将确定的目标对象的位姿发送到虚拟场景显示装置，虚拟场景显示装置显示确定的目标对象的位姿，但由于位姿确定装置根据与目标对象相关的数据确定目标对象的位姿需要一段时间，虚拟场景显示装置显示确定的目标对象的位姿也需要一段时间，因此，目标对象在某个时刻发起一个位姿之后，虚拟场景显示装置在该时刻之后的下一个时刻可能才显示该时刻目标对象的位姿。而步骤204和步骤205能够根据目标对象在当前时刻的位姿预测下一时刻目标对象的位姿，并将预测的位姿发送到虚拟场景显示装置，在目标对象在下一时刻发起一个位姿之后，虚拟场景显示装置正好显示的是这个时刻目标对象的位姿。
例如，目标对象在t1时刻发起一个位姿，位姿确定装置在t2时刻确定了目标对象在t1时刻的位姿，如果此时直接将确定的位姿发送到虚拟场景显示装置，虚拟场景显示装置在t3时刻才显示目标对象的t1时刻的位姿。但经过步骤204和步骤205，此时上述过程便转变为下述过程：目标对象在t1时刻发起一个位姿，位姿确定装置在t2时刻确定了目标对象在t1时刻的位姿，根据确定的位姿预测目标对象在t3时刻的位姿，并预测的位姿发送到虚拟场景显示装置，虚拟场景显示装置显示预测的t3时刻的位姿。目标对象在t3时刻发起一个位姿之后，正好虚拟场景显示装置显示的也是预测的t3时刻的位姿，这样使得虚拟场景显示装置显示的目标对象的位姿与目标对象发起的位姿能够基本同步。
在本发明中，确定信息采集装置的位姿时，先获取信息采集装置的角速度和加速度，根据角速度和加速度确定信息采集装置的姿态，再根据至少一个特征点对确定至少一个特征点中每个特征点的空间坐标，然后根据至少一个特征点对的空间坐标确定信息采集装置的空间位置，即得到了信息采集装置的位姿，不用设置双目相机当前的位姿为R和T，不必进行迭代运算，直接根据信息采集装置的角速度和加速度和至少一个特征点对就可以确定信息采集装置的位姿，计算过程简单，从而减小了从目标对象在现实世界中发起一个位姿到虚拟场景显示装置显示目标对象的位姿所需的时间。
图3是本发明实施例提供的一种获取位姿的装置示意图，如图3所示，装置包括：
第一确定模块301，用于获取信息采集装置在当前时刻的加速度和角速度，并根据获取的加速度和角速度确定信息采集装置在当前时刻的姿态；
匹配模块302，用于获取信息采集装置当前时刻采集的第一图像中的多个第一特征点和当前时刻之前采集的第二图像中的多个第二特征点，并对多个第一特征点和多个第二特征点进行特征点匹配，得到至少一个特征点对，每个特征点对包括一个第一特征点和一个第二特征点，第二图像中每个第二特征点存在一个空间坐标，第二图像中每个第二特征点的空间坐标是指对应的特征点所代表的空间位置处的坐标；
第二确定模块303，根据至少一个特征点对和信息采集装置在当前时刻的姿态确定信息采集装置在当前时刻的位置，并将确定出的位置和信息采集装置在当前时刻的姿态作为信息采集装置在当前时刻的位姿。
可选地，如图4所示，第二确定模块303包括：
第一确定单元3031，用于对于至少一个特征点对中每个特征点对，根据每个特征点对包括的第一特征点和第二特征点、以及信息采集装置在当前时刻的姿态，确定与每个特征点对对应的位置，得到与至少一个特征点对一一对应的至少一个位置；
第二确定单元3032，用于根据至少一个位置，确定信息采集装置在当前时刻的位置。
可选地，第一确定单元用于：
对于至少一个特征点对中任一特征点对A，根据特征点对A包括的第二特征点的空间坐标，确定特征点对A包括的第一特征点的空间坐标；
确定特征点对A包括的第一特征点的相机坐标，相机坐标是指特征点对A包括的第一特征点在双目相机的相机坐标系下的坐标；
根据特征点对A包括的第一特征点的空间坐标、特征点对A包括的第一特征点的相机坐标、以及信息采集装置在当前时刻的姿态，确定与特征点对A对应的位置。
可选地，第二确定单元用于：
确定至少一个位置的平均位置，将确定的平均位置作为信息采集装置在当前时刻的位置。
可选地，如图5所示，第一确定模块301包括：
第三确定单元3011，用于根据角速度确定第一姿态，并根据加速度确定第二姿态；
获取单元3012，用于获取第一姿态的权重和第二姿态的权重；
第四确定单元3013，用于根据第一姿态、第二姿态、第一姿态的权重和第二姿态的权重，确定信息采集装置在当前时刻的姿态。
可选地，如图6所示，装置还包括：
第三确定模块304，用于确定第一图像中未匹配成功的第一特征点；
第四确定模块305，用于根据信息采集装置在当前时刻的位置、信息采集装置的姿态和每个未匹配成功的第一特征点的相机坐标，确定每个未匹配成功的第一特征点的空间坐标；
第五确定模块306，用于根据第二图像，确定至少一个特征点对中每个第一特征点的空间坐标；
存储模块307，用于存储第一图像中每个未匹配成功的第一特征点的空间坐标和至少一个特征点对中每个第一特征点的空间坐标。
可选地，如图7所示，装置还包括：
第六确定模块308，用于确定信息采集装置在目标预测时刻的位姿，目标预设时刻为在当前时刻之后、且距离当前时刻参考时长的时刻；
发送模块309，用于在当前时刻向虚拟场景显示装置发送信息采集装置在目标预测时刻的位姿。
可选地，如图8所示，第六确定模块308包括：
第五确定单元3081，用于确定信息采集装置在目标预测时刻的位置；
第六确定单元3082，用于根据角速度、信息采集装置在当前时刻的姿态，确定信息采集装置在目标预测时刻的姿态，将确定得到的信息采集装置在目标预测时刻的位置和信息采集装置在目标预测时刻的姿态作为信息采集装置在目标预测时刻的位姿。
可选地，第五确定单元3081用于：
对加速度进行校正，得到信息采集装置的运动加速度；
获取信息采集装置在当前时刻之前的多个时刻中每个时刻的位置，得到多个位置；
根据多个位置，确定信息采集装置的运动速度；
根据信息采集装置的运动速度、信息采集装置的运动加速度以及信息采集装置的当前位置，确定信息采集装置在目标预测时刻的位置。
在本发明中，确定信息采集装置的位姿时，先获取信息采集装置的角速度和加速度，根据角速度和加速度确定信息采集装置的姿态，再根据至少一个特征点对确定至少一个特征点中每个特征点的空间坐标，然后根据至少一个特征点对的空间坐标确定信息采集装置的空间位置，即得到了信息采集装置的位姿，不用设置双目相机当前的位姿为R和T，不必进行迭代运算，直接根据信息采集装置的角速度和加速度和至少一个特征点对就可以确定信息采集装置的位姿，计算过程简单，从而减小了从目标对象在现实世界中发起一个位姿到虚拟场景显示装置显示目标对象的位姿所需的时间。
要说明的是：上述实施例提供的获取位姿的装置在获取位姿时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的获取位姿的装置与获取位姿的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图9示出了本发明一个示例性实施例提供的终端900的结构框图。该终端900可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端900包括有：处理器901和存储器902。
处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的获取位姿的方法。
在一些实施例中，终端900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、触摸显示屏905、摄像头组件906、音频电路907、定位组件908和电源909中的至少一种。
外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏905用于显示UI(UserInterface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(VirtualReality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。
定位组件908用于定位终端900的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制触摸显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测终端900的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对终端900的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在终端900的侧边框和/或触摸显示屏905的下层。当压力传感器913设置在终端900的侧边框时，可以检测用户对终端900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在触摸显示屏905的下层时，由处理器901根据用户对触摸显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置终端900的正面、背面或侧面。当终端900上设置有物理按键或厂商Logo时，指纹传感器914可以与物理按键或厂商Logo集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制触摸显示屏905的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏905的显示亮度；当环境光强度较低时，调低触摸显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。
接近传感器916，也称距离传感器，通常设置在终端900的前面板。接近传感器916用于采集用户与终端900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与终端900的正面之间的距离逐渐变小时，由处理器901控制触摸显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与终端900的正面之间的距离逐渐变大时，由处理器901控制触摸显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图9中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行上述图2所示实施例提供的获取位姿的方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述图2所示实施例提供的获取位姿的方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
综上所述，仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种获取位姿的方法，其特征在于，所述方法包括：
获取信息采集装置在当前时刻的加速度和角速度，并根据获取的加速度和角速度确定所述信息采集装置在当前时刻的姿态；
获取所述信息采集装置当前时刻采集的第一图像中的多个第一特征点和当前时刻之前采集的第二图像中的多个第二特征点，并对所述多个第一特征点和所述多个第二特征点进行特征点匹配，得到至少一个特征点对，每个特征点对包括一个第一特征点和一个第二特征点，所述第二图像中每个第二特征点存在一个空间坐标，所述第二图像中每个第二特征点的空间坐标是指对应的特征点所代表的空间位置处的坐标；
根据所述至少一个特征点对和所述信息采集装置在当前时刻的姿态确定所述信息采集装置在当前时刻的位置，并将确定出的位置和所述信息采集装置在当前时刻的姿态作为所述信息采集装置在当前时刻的位姿。
2.如权利要求1所述的方法，其特征在于，所述根据所述至少一个特征点对和所述信息采集装置在当前时刻的姿态确定所述信息采集装置在当前时刻的位置，包括：
对于所述至少一个特征点对中每个特征点对，根据每个特征点对包括的第一特征点和第二特征点、以及所述信息采集装置在当前时刻的姿态，确定与每个特征点对对应的位置，得到与所述至少一个特征点对一一对应的至少一个位置；
根据所述至少一个位置，确定所述信息采集装置在当前时刻的位置。
3.如权利要求2所述的方法，其特征在于，所述根据每个特征点对包括的第一特征点和第二特征点、以及所述信息采集装置在当前时刻的姿态，确定与每个特征点对对应的位置，包括：
对于所述至少一个特征点对中任一特征点对A，根据所述特征点对A包括的第二特征点的空间坐标，确定所述特征点对A包括的第一特征点的空间坐标；
确定所述特征点对A包括的第一特征点的相机坐标，所述相机坐标是指所述特征点对A包括的第一特征点在所述双目相机的相机坐标系下的坐标；
根据所述特征点对A包括的第一特征点的空间坐标、所述特征点对A包括的第一特征点的相机坐标、以及所述信息采集装置在当前时刻的姿态，确定与所述特征点对A对应的位置。
4.如权利要求2所述的方法，其特征在于，所述根据所述至少一个位置，确定所述信息采集装置在当前时刻的位置，包括：
确定所述至少一个位置的平均位置，将确定的平均位置作为所述信息采集装置在当前时刻的位置。
5.如权利要求1所述的方法，其特征在于，所述根据获取的加速度和角速度确定所述信息采集装置在当前时刻的姿态，包括：
根据所述角速度确定第一姿态，并根据所述加速度确定第二姿态；
获取所述第一姿态的权重和所述第二姿态的权重；
根据所述第一姿态、所述第二姿态、所述第一姿态的权重和所述第二姿态的权重，确定所述信息采集装置在当前时刻的姿态。
6.如权利要求1至5任一所述的方法，其特征在于，所述根据所述至少一个特征点对和所述信息采集装置在当前时刻的姿态确定所述信息采集装置在当前时刻的位置之后，还包括：
确定所述第一图像中未匹配成功的第一特征点；
根据所述信息采集装置在当前时刻的位置、所述信息采集装置的姿态和每个未匹配成功的第一特征点的相机坐标，确定每个未匹配成功的第一特征点的空间坐标；
根据所述第二图像，确定所述至少一个特征点对中每个第一特征点的空间坐标；
存储所述第一图像中每个未匹配成功的第一特征点的空间坐标和所述至少一个特征点对中每个第一特征点的空间坐标。
7.如权利要求1至5任一所述的方法，其特征在于，所述将确定出的位置和所述信息采集装置在当前时刻的姿态作为所述信息采集装置在当前时刻的位姿之后，还包括：
确定所述信息采集装置在目标预测时刻的位姿，所述目标预设时刻为在当前时刻之后、且距离当前时刻参考时长的时刻；
在当前时刻向虚拟场景显示装置发送所述信息采集装置在目标预测时刻的位姿。
8.如权利要求7所述的方法，其特征在于，所述根据所述信息采集装置在当前时刻的位姿，确定所述信息采集装置在目标预测时刻的位姿，包括：
确定所述信息采集装置在目标预测时刻的位置；
根据所述角速度、所述信息采集装置在当前时刻的姿态，确定所述信息采集装置在目标预测时刻的姿态，将确定得到的所述信息采集装置在目标预测时刻的位置和所述信息采集装置在目标预测时刻的姿态作为所述信息采集装置在目标预测时刻的位姿。
9.如权利要求8所述的方法，其特征在于，所述确定所述信息采集装置在目标预测时刻的位置，包括：
对所述加速度进行校正，得到所述信息采集装置的运动加速度；
获取所述信息采集装置在当前时刻之前的多个时刻中每个时刻的位置，得到多个位置；
根据所述多个位置，确定所述信息采集装置的运动速度；
根据所述信息采集装置的运动速度、所述信息采集装置的运动加速度以及所述信息采集装置的当前位置，确定所述信息采集装置在目标预测时刻的位置。
10.一种虚拟现实装置，其特征在于，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行权利要求1至权利要求9的任一项方法的步骤。
CN201811205148.3A 2018-10-16 2018-10-16 获取位姿的方法、装置存储介质 Active CN109166150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811205148.3A CN109166150B (zh) 2018-10-16 2018-10-16 获取位姿的方法、装置存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811205148.3A CN109166150B (zh) 2018-10-16 2018-10-16 获取位姿的方法、装置存储介质

Publications (2)

Publication Number Publication Date
CN109166150A true CN109166150A (zh) 2019-01-08
CN109166150B CN109166150B (zh) 2021-06-01

Family

ID=64878305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811205148.3A Active CN109166150B (zh) 2018-10-16 2018-10-16 获取位姿的方法、装置存储介质

Country Status (1)

Country Link
CN (1) CN109166150B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与系统
CN110986930A (zh) * 2019-11-29 2020-04-10 北京三快在线科技有限公司 设备定位方法、装置、电子设备及存储介质
CN111750850A (zh) * 2019-03-27 2020-10-09 杭州海康威视数字技术股份有限公司 角度信息获取方法、装置和系统
CN112181141A (zh) * 2020-09-23 2021-01-05 北京市商汤科技开发有限公司 Ar定位的方法、装置、电子设备及存储介质
CN113657224A (zh) * 2019-04-29 2021-11-16 北京百度网讯科技有限公司 车路协同中用于确定对象状态的方法、装置、设备
CN113689484A (zh) * 2021-08-25 2021-11-23 北京三快在线科技有限公司 深度信息的确定方法、装置、终端及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419055A (zh) * 2008-10-30 2009-04-29 北京航空航天大学 基于视觉的空间目标位姿测量装置和方法
CN101608920A (zh) * 2008-06-18 2009-12-23 中国科学院国家天文台 一种组合式空间位姿精密动态测量装置及方法
CN102023707A (zh) * 2010-10-15 2011-04-20 哈尔滨工业大学 基于dsp-pc机器视觉系统的斑纹式数据手套
CN105806343A (zh) * 2016-04-19 2016-07-27 武汉理工大学 基于惯性传感器的室内3d定位系统及方法
CN106525003A (zh) * 2016-12-16 2017-03-22 深圳市未来感知科技有限公司 一种基于双目视觉的姿态测量方法
CN107168515A (zh) * 2017-03-31 2017-09-15 北京奇艺世纪科技有限公司 一种vr一体机中手柄的定位方法和装置
CN107705333A (zh) * 2017-09-21 2018-02-16 歌尔股份有限公司 基于双目相机的空间定位方法及装置
CN107888828A (zh) * 2017-11-22 2018-04-06 网易（杭州）网络有限公司 空间定位方法及装置、电子设备、以及存储介质
CN108257177A (zh) * 2018-01-15 2018-07-06 天津锋时互动科技有限公司深圳分公司 基于空间标识的定位系统与方法
US20180225837A1 (en) * 2015-08-04 2018-08-09 Tianjin Sharpnow Technology Co., Ltd. Scenario extraction method, object locating method and system thereof

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101608920A (zh) * 2008-06-18 2009-12-23 中国科学院国家天文台 一种组合式空间位姿精密动态测量装置及方法
CN101419055A (zh) * 2008-10-30 2009-04-29 北京航空航天大学 基于视觉的空间目标位姿测量装置和方法
CN102023707A (zh) * 2010-10-15 2011-04-20 哈尔滨工业大学 基于dsp-pc机器视觉系统的斑纹式数据手套
US20180225837A1 (en) * 2015-08-04 2018-08-09 Tianjin Sharpnow Technology Co., Ltd. Scenario extraction method, object locating method and system thereof
CN105806343A (zh) * 2016-04-19 2016-07-27 武汉理工大学 基于惯性传感器的室内3d定位系统及方法
CN106525003A (zh) * 2016-12-16 2017-03-22 深圳市未来感知科技有限公司 一种基于双目视觉的姿态测量方法
CN107168515A (zh) * 2017-03-31 2017-09-15 北京奇艺世纪科技有限公司 一种vr一体机中手柄的定位方法和装置
CN107705333A (zh) * 2017-09-21 2018-02-16 歌尔股份有限公司 基于双目相机的空间定位方法及装置
CN107888828A (zh) * 2017-11-22 2018-04-06 网易（杭州）网络有限公司 空间定位方法及装置、电子设备、以及存储介质
CN108257177A (zh) * 2018-01-15 2018-07-06 天津锋时互动科技有限公司深圳分公司 基于空间标识的定位系统与方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许鹏: "基于视觉伺服机理的遥操作机器人虚拟力反馈控制研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111750850A (zh) * 2019-03-27 2020-10-09 杭州海康威视数字技术股份有限公司 角度信息获取方法、装置和系统
CN111750850B (zh) * 2019-03-27 2021-12-14 杭州海康威视数字技术股份有限公司 角度信息获取方法、装置和系统
CN113657224A (zh) * 2019-04-29 2021-11-16 北京百度网讯科技有限公司 车路协同中用于确定对象状态的方法、装置、设备
CN113657224B (zh) * 2019-04-29 2023-08-18 北京百度网讯科技有限公司 车路协同中用于确定对象状态的方法、装置、设备
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与系统
CN110296691B (zh) * 2019-06-28 2020-09-22 上海大学 融合imu标定的双目立体视觉测量方法与系统
CN110986930A (zh) * 2019-11-29 2020-04-10 北京三快在线科技有限公司 设备定位方法、装置、电子设备及存储介质
CN110986930B (zh) * 2019-11-29 2022-07-15 北京三快在线科技有限公司 设备定位方法、装置、电子设备及存储介质
CN112181141A (zh) * 2020-09-23 2021-01-05 北京市商汤科技开发有限公司 Ar定位的方法、装置、电子设备及存储介质
CN112181141B (zh) * 2020-09-23 2023-06-23 北京市商汤科技开发有限公司 Ar定位的方法、装置、电子设备及存储介质
CN113689484A (zh) * 2021-08-25 2021-11-23 北京三快在线科技有限公司 深度信息的确定方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN109166150B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
US11205282B2 (en) Relocalization method and apparatus in camera pose tracking process and storage medium
CN109166150A (zh) 获取位姿的方法、装置存储介质
JP7145331B2 (ja) 仮想環境における仮想アイテムの観察方法、装置およびコンピュータプログラム
CN110148178B (zh) 相机定位方法、装置、终端及存储介质
CN109712224A (zh) 虚拟场景的渲染方法、装置及智能设备
CN110276840A (zh) 多虚拟角色的控制方法、装置、设备及存储介质
CN110309243A (zh) 获取实景电子地图的方法、装置、设备和存储介质
CN110134744A (zh) 对地磁信息进行更新的方法、装置和系统
CN108491748B (zh) 图形码的识别及生成方法、装置及计算机可读存储介质
CN109862412A (zh) 合拍视频的方法、装置及存储介质
CN111897429A (zh) 图像显示方法、装置、计算机设备及存储介质
CN110210573A (zh) 对抗图像的生成方法、装置、终端及存储介质
US11790607B2 (en) Method and apparatus for displaying heat map, computer device, and readable storage medium
CN110081902A (zh) 导航中的方向指示方法、装置及终端
CN109558837A (zh) 人脸关键点检测方法、装置及存储介质
CN109583370A (zh) 人脸结构网格模型建立方法、装置、电子设备及存储介质
CN109276895A (zh) 积木系统、拓扑结构识别的方法、装置及系统
CN110288689A (zh) 对电子地图进行渲染的方法和装置
CN113384880A (zh) 虚拟场景显示方法、装置、计算机设备及存储介质
CN110248197A (zh) 语音增强方法及装置
CN108844529A (zh) 确定姿态的方法、装置及智能设备
CN108196701A (zh) 确定姿态的方法、装置及vr设备
CN109491753A (zh) 悬浮窗口显示方法、装置及存储介质
CN112967261B (zh) 图像融合方法、装置、设备及存储介质
CN109413440A (zh) 虚拟物品管理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 266555 Qingdao economic and Technological Development Zone, Shandong, Hong Kong Road, No. 218

Applicant after: Hisense Visual Technology Co., Ltd.

Address before: 266555 Qingdao economic and Technological Development Zone, Shandong, Hong Kong Road, No. 218

Applicant before: QINGDAO HISENSE ELECTRONICS Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant