CN116402826B - 视觉坐标系的修正方法、装置、设备及存储介质 - Google Patents

视觉坐标系的修正方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116402826B
CN116402826B CN202310678928.4A CN202310678928A CN116402826B CN 116402826 B CN116402826 B CN 116402826B CN 202310678928 A CN202310678928 A CN 202310678928A CN 116402826 B CN116402826 B CN 116402826B
Authority
CN
China
Prior art keywords
coordinate system
pose
visual coordinate
difference
virtual visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310678928.4A
Other languages
English (en)
Other versions
CN116402826A (zh
Inventor
王洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tianqu Xingkong Technology Co ltd
Original Assignee
Shenzhen Tianqu Xingkong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tianqu Xingkong Technology Co ltd filed Critical Shenzhen Tianqu Xingkong Technology Co ltd
Priority to CN202310678928.4A priority Critical patent/CN116402826B/zh
Publication of CN116402826A publication Critical patent/CN116402826A/zh
Application granted granted Critical
Publication of CN116402826B publication Critical patent/CN116402826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及数据识别技术领域，公开了一种视觉坐标系的修正方法、装置、设备及存储介质，所述方法包括：获取目标区域的拍摄图像特征集，根据拍摄图像特征集建立目标虚拟视觉坐标系；根据目标区域的初始虚拟视觉坐标系和目标虚拟视觉坐标系确定第一位姿差；根据待比对图像和拍摄图像特征集确定第二位姿差；根据第一位姿差和第二位姿差计算出修正位姿差；通过修正位姿差对目标区域的初始虚拟视觉坐标系进行修正；通过上述方式，在计算出虚拟视觉坐标系之间的第一位姿差和图像特征之间的第二位姿差后，根据第一位姿差和第二位姿差计算的修正位姿差对初始虚拟视觉坐标系进行修正，从而能够有效提高修正视觉坐标系的准确性，保证虚拟视觉系统的稳定性。

Description

视觉坐标系的修正方法、装置、设备及存储介质
技术领域
本发明涉及数据识别技术领域，尤其涉及视觉坐标系的修正方法、装置、设备及存储介质。
背景技术
随着虚拟现实技术的不断发展，虚拟现实技术下的产物AR眼镜被广泛应用在各种暗光场景，例如，游戏房、卧室、车内等，而AR眼镜的原理是通过不同的视觉场以及在局部空间中营造出不同的画面深度感知，在用户大脑视觉系统中形成一个虚拟现实视场，这样就会使得用户群体的大脑系统里面形成一个虚拟环境，显然，AR眼镜离不开虚拟视觉坐标系，而目前常用的虚拟坐标系是直接通过位姿传感器直接设定，且在初始设定后，不再进行修正，但是在实际过程中，会出现头部跟随身体运动以及佩戴-摘下-佩戴等情况，使得用户的头部位姿的发生变化，造成用户通过AR眼镜每次看到的内容都不一样的情况，从而无法保证虚拟视觉系统的稳定性。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种视觉坐标系的修正方法、装置、设备及存储介质，旨在解决现有技术因不及时修正虚拟视觉坐标系造成无法保证虚拟视觉系统的稳定性的技术问题。
为实现上述目的，本发明提供了一种视觉坐标系的修正方法，所述视觉坐标系的修正方法包括以下步骤：
获取目标区域的拍摄图像特征集，根据所述拍摄图像特征集建立目标虚拟视觉坐标系；
根据所述目标区域的初始虚拟视觉坐标系和目标虚拟视觉坐标系确定第一位姿差；
根据待比对图像和所述拍摄图像特征集确定第二位姿差；
根据所述第一位姿差和所述第二位姿差计算出修正位姿差；
通过所述修正位姿差对所述目标区域的初始虚拟视觉坐标系进行修正。
可选地，所述获取目标区域的拍摄图像特征集，根据所述拍摄图像特征集建立目标虚拟视觉坐标系之前，还包括：
获取AR眼镜的当前视野角度；
根据所述当前视野角度从若干数量的方向对目标区域进行拍摄，得到第一拍摄图像；
按照预设角度对所述AR眼镜的当前视野角度进行调整，得到目标视野角度；
根据所述目标视野角度从所述若干数量的方向对所述目标区域进行拍摄，得到第二拍摄图像；
分别对所述第一拍摄图像和所述第二拍摄图像进行特征提取，得到第一拍摄特征和第二拍摄特征；
根据所述第一拍摄特征和所述第二拍摄特征生成所述目标区域的拍摄图像特征集。
可选地，所述根据所述目标区域的初始虚拟视觉坐标系和目标虚拟视觉坐标系确定第一位姿差，包括：
通过六轴位姿传感器对虚拟视觉系统进行设定，得到目标区域的初始虚拟视觉坐标系；
根据所述目标区域的初始虚拟视觉坐标系和所述目标虚拟视觉坐标系建立视觉坐标系映射关系；
对所述视觉坐标系映射关系进行识别，得到所述初始虚拟视觉坐标系和所述目标虚拟视觉坐标系之间的差异数据；
根据预设位姿算法和所述差异数据计算出第一位姿差。
可选地，所述根据预设位姿算法和所述差异数据计算出第一位姿差，包括：
根据所述差异数据得到初始虚拟视觉坐标系和所述目标虚拟视觉坐标系的差异坐标点；
根据所述初始虚拟视觉坐标系的差异坐标点设定理想优化坐标点；
根据所述理想优化坐标点和最小二乘规则构造目标优化函数；
通过所述目标优化函数对所述差异坐标进行计算，得到坐标平移量和梯度向量；
根据所述预设位姿算法对所述坐标平移量和所述梯度向量进行计算，得到第一位姿差。
可选地，所述根据待比对图像和所述拍摄图像特征集确定第二位姿差，包括：
对所述待比对图像进行识别，得到待比对图像特征；
对所述图像特征集进行遍历，得到若干数量的图像特征；
将所述待比对图像特征与若干数量的图像特征进行匹配，得到当前图像特征匹配结果；
根据所述当前图像特征匹配结果得到图像特征差异数据；
根据预设位姿算法和所述图像特征差异数据计算出第二位姿差。
可选地，所述通过所述修正位姿差对所述目标区域的初始虚拟视觉坐标系进行修正，包括：
获取标准位姿差数值；
在所述修正位姿差对应的数值大于所述标准位姿差数值时，通过目标摄像设备在预设时间内拍摄预设帧数的图片；
对所述预设帧数的图片进行识别，得到若干数量的图像特征；
提取所述若干数量的图像特征中的相同图像特征；
根据预设位姿算法对所述相同图像特征对应的预设帧数的图片进行计算，得到若干数量的修正位姿差；
对所述若干数量的修正位姿差进行均值计算，得到平均修正位姿差；
根据所述平均修正位姿差对所述目标区域的初始虚拟视觉坐标系进行修正。
可选地，所述根据所述平均修正位姿差对所述目标区域的初始虚拟视觉坐标系进行修正之后，还包括：
在用户以当前头部位姿佩戴AR眼镜时，获取在初始虚拟视觉坐标系下的第一虚拟视觉数据；
在用户的目标头部位姿与当前头部位姿不一致时，获取在调整后的虚拟视觉坐标系下的第二虚拟视觉数据；
计算所述第一虚拟视觉数据和所述第二虚拟视觉数据之间的虚拟视觉数据误差；
在所述虚拟视觉数据误差小于预设数据误差阈值时，通过所述调整后的虚拟视觉坐标系获取其他发生变化的头部位姿的虚拟视觉数据。
此外，为实现上述目的，本发明还提出一种视觉坐标系的修正装置，所述视觉坐标系的修正装置包括：
建立模块，获取目标区域的拍摄图像特征集，根据所述拍摄图像特征集建立目标虚拟视觉坐标系；
确定模块，用于根据所述目标区域的初始虚拟视觉坐标系和目标虚拟视觉坐标系确定第一位姿差；
所述确定模块，用于根据待比对图像和所述拍摄图像特征集确定第二位姿差；
计算模块，用于根据所述第一位姿差和所述第二位姿差计算出修正位姿差；
修正模块，用于通过所述修正位姿差对所述目标区域的初始虚拟视觉坐标系进行修正。
此外，为实现上述目的，本发明还提出一种视觉坐标系的修正设备，所述视觉坐标系的修正设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视觉坐标系的修正程序，所述视觉坐标系的修正程序配置为实现如上文所述的视觉坐标系的修正方法。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有视觉坐标系的修正程序，所述视觉坐标系的修正程序被处理器执行时实现如上文所述的视觉坐标系的修正方法。
本发明提出的视觉坐标系的修正方法，通过获取目标区域的拍摄图像特征集，根据所述拍摄图像特征集建立目标虚拟视觉坐标系；根据所述目标区域的初始虚拟视觉坐标系和目标虚拟视觉坐标系确定第一位姿差；根据待比对图像和所述拍摄图像特征集确定第二位姿差；根据所述第一位姿差和所述第二位姿差计算出修正位姿差；通过所述修正位姿差对所述目标区域的初始虚拟视觉坐标系进行修正；通过上述方式，在计算出虚拟视觉坐标系之间的第一位姿差和图像特征之间的第二位姿差后，根据第一位姿差和第二位姿差计算的修正位姿差对初始虚拟视觉坐标系进行修正，从而能够有效提高修正视觉坐标系的准确性，保证虚拟视觉系统的稳定性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的视觉坐标系的修正设备的结构示意图；
图2为本发明视觉坐标系的修正方法第一实施例的流程示意图；
图3为本发明视觉坐标系的修正方法第二实施例的流程示意图；
图4为本发明视觉坐标系的修正装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的视觉坐标系的修正设备结构示意图。
如图1所示，该视觉坐标系的修正设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对视觉坐标系的修正设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视觉坐标系的修正程序。
在图1所示的视觉坐标系的修正设备中，网络接口1004主要用于与网络一体化平台工作站进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明视觉坐标系的修正设备中的处理器1001、存储器1005可以设置在视觉坐标系的修正设备中，所述视觉坐标系的修正设备通过处理器1001调用存储器1005中存储的视觉坐标系的修正程序，并执行本发明实施例提供的视觉坐标系的修正方法。
基于上述硬件结构，提出本发明视觉坐标系的修正方法实施例。
参照图2，图2为本发明视觉坐标系的修正方法第一实施例的流程示意图。
在第一实施例中，所述视觉坐标系的修正方法包括以下步骤：
步骤S10，获取目标区域的拍摄图像特征集，根据所述拍摄图像特征集建立目标虚拟视觉坐标系。
需要说明的是，本实施例的执行主体为视觉坐标系的修正设备，还可为其他可实现相同或相似功能的设备，例如虚拟视觉控制器等，本实施例对此不作限制，在本实施例中，以虚拟视觉控制器为例进行说明。
应当理解的是，目标区域指的是用户佩戴AR眼镜时所在的位置区域，该目标区域可以为暗光环境下的游戏房等，拍摄图像特征集指的是由各个拍摄图像的特征构成的集合，目标虚拟视觉坐标系指的是根据拍摄图像特征集通过六轴位姿传感器建立的视觉坐标系。
进一步地，步骤S10之前，还包括：获取AR眼镜的当前视野角度；根据所述当前视野角度从若干数量的方向对目标区域进行拍摄，得到第一拍摄图像；按照预设角度对所述AR眼镜的当前视野角度进行调整，得到目标视野角度；根据所述目标视野角度从所述若干数量的方向对所述目标区域进行拍摄，得到第二拍摄图像；分别对所述第一拍摄图像和所述第二拍摄图像进行特征提取，得到第一拍摄特征和第二拍摄特征；根据所述第一拍摄特征和所述第二拍摄特征生成所述目标区域的拍摄图像特征集。
可以理解的是，当前视野角度指的是AR眼镜所能看到的视野角度，例如，当前视野角度为正面向窗户的视野角度，然后从若干数量的方向对目标区域进行拍摄，该若干数量可以为九，即以当前视野角度通过摄像设备从九个指定方向拍摄出目标区域的第一拍摄图像，然后按照预设角度调整AR眼镜的当前视野角度，具体是调整用户的身体实现，例如，用户的身体旋转180度，此时预设角度为180度，也就是当前视野角度调整180度，在调整完成后，再次通过以标视野角度通过摄像设备从九个指定方向拍摄出目标区域的第二拍摄图像，然后提取出第一拍摄图像的第一拍摄特征，以及提取出第二拍摄图像的第二拍摄特征，然后由第一拍摄特征和第二拍摄特征生成目标区域的拍摄图像特征集。
步骤S20，根据所述目标区域的初始虚拟视觉坐标系和目标虚拟视觉坐标系确定第一位姿差。
可以理解的是，第一位姿差指的是目标区域的初始虚拟视觉坐标系和目标虚拟视觉坐标系之间的位姿差，通过第一位姿差可表明初始虚拟视觉坐标系和目标虚拟视觉坐标系之间的位姿差异，第一位姿差与位姿差异呈正相关，即第一位姿差对应的数值越大，表明目标虚拟视觉坐标系与初始虚拟视觉坐标系之间的位姿差异越大，反之，则越小。
步骤S30，根据待比对图像和所述拍摄图像特征集确定第二位姿差。
应当理解的是，待比对图像指的是通过内置在AR眼镜内的摄像设备拍摄的图像，第二位姿差指的是待比对图像的特征与拍摄图像特征集中各特征之间的位姿差，通过第二位姿差可表明待比对图像的特征与拍摄图像特征集中各特征之间的位姿差异。
进一步地，步骤S30，包括：对所述待比对图像进行识别，得到待比对图像特征；对所述拍摄图像特征集进行遍历，得到若干数量的图像特征；将所述待比对图像特征与若干数量的图像特征进行匹配，得到当前图像特征匹配结果；根据所述当前图像特征匹配结果得到图像特征差异数据；根据预设位姿算法和所述图像特征差异数据计算出第二位姿差。
可以理解的是，在得到待比对图像后，识别出待比对图像特征，然后遍历出图像特征集中若干数量的图像特征，再将待比对图像特征以此与若干数量的图像特征进行单独匹配，然后从当前图像特征匹配结果中提取出匹配成功的图像特征，然后计算出匹配成功的图像特征之间的图像特征差异数据。
应当理解的是，预设位姿算法指的是计算多个同类型对象之间的位姿差的算法，该预设位姿算法的输入为差异数据，输出为位姿差，在本实施例中，通过预设位姿算法计算出待比对图像与图像特征集中匹配成功的特征之间的第二位姿差。
步骤S40，根据所述第一位姿差和所述第二位姿差计算出修正位姿差。
可以理解的是，修正位姿差指的是修正虚拟视觉坐标系的位姿差，该修正位姿差是将第一位姿差和第二位姿差进行计算得到的，在得到第一位姿差和第二位姿差后，将第一位姿差和第二位姿差输入至位姿差算法，然后由位姿差算法计算出第一位姿差和第二位姿差之间的修正位姿差。
步骤S50，通过所述修正位姿差对所述目标区域的初始虚拟视觉坐标系进行修正。
进一步地，步骤S50，包括：获取标准位姿差数值；在所述修正位姿差对应的数值大于所述标准位姿差数值时，通过目标摄像设备在预设时间内拍摄预设帧数的图片；对所述预设帧数的图片进行识别，得到若干数量的图像特征；提取所述若干数量的图像特征中的相同图像特征；根据预设位姿算法对所述相同图像特征对应的预设帧数的图片进行计算，得到若干数量的修正位姿差；对所述若干数量的修正位姿差进行均值计算，得到平均修正位姿差；根据所述平均修正位姿差对所述目标区域的初始虚拟视觉坐标系进行修正。
可以理解的是，标准位姿差数值指的是虚拟视觉系统的标准位姿差对应的数值，在得到标准位姿差数值后，判断修正位姿差对应的数值是否大于标准位姿差数值，若是，则表明需要对初始虚拟视觉坐标系进行修正，此时通过目标摄像设备在预设时间内拍摄预设帧数的图片，该目标摄像设备可以为ccd摄像头组，通过预设时间体现目标摄像设备连续拍摄的过程，此时预设帧数的图片可以称作虚拟视觉系统的修正图片集，然后对预设帧数的图片进行识别，再从识别出的若干数量的图像特征中提取出相同的图像特征。
应当理解的是，在得到相同图像特征后，获取相同图像特征对应的预设帧数的图片，此时的预设帧数的图片为多张，然后通过预设位姿算法计算相同图像特征之间的修正位姿差，此时的修正位姿差的数量为多个，然后对若干数量的修正位姿差进行均值计算，再由平均修正位姿差对目标区域的初始虚拟视觉坐标系进行修正。
进一步地，所述根据所述平均修正位姿差对所述目标区域的初始虚拟视觉坐标系进行修正之后，还包括：在用户以当前头部位姿佩戴AR眼镜时，获取在初始虚拟视觉坐标系下的第一虚拟视觉数据；在用户的目标头部位姿与当前头部位姿不一致时，获取在调整后的虚拟视觉坐标系下的第二虚拟视觉数据；计算所述第一虚拟视觉数据和所述第二虚拟视觉数据之间的虚拟视觉数据误差；在所述虚拟视觉数据误差小于预设数据误差阈值时，通过所述调整后的虚拟视觉坐标系获取其他发生变化的头部位姿的虚拟视觉数据。
应当理解的是，第一虚拟视觉数据指的是在用户初次佩戴AR眼镜时初始虚拟视觉坐标系下的虚拟视觉数据，第二虚拟视觉数据指的是在用户的头部位姿发生变化时在调整后的虚拟视觉坐标系下的虚拟视觉数据，然后计算出第一虚拟视觉数据和第二虚拟视觉数据之间的虚拟视觉数据误差，再判断虚拟视觉数据误差是否小于预设数据误差阈值，若是，则表明通过调整后的虚拟视觉坐标系可以弥补头部位姿变化带来的虚拟视觉误差，此时，在用户的头部位姿再次发生变化时，通过调整后的虚拟视觉坐标系使得用户看到的虚拟视觉图像数据可以保持一致。
本实施例通过获取目标区域的拍摄图像特征集，根据所述拍摄图像特征集建立目标虚拟视觉坐标系；根据所述目标区域的初始虚拟视觉坐标系和目标虚拟视觉坐标系确定第一位姿差；根据待比对图像和所述拍摄图像特征集确定第二位姿差；根据所述第一位姿差和所述第二位姿差计算出修正位姿差；通过所述修正位姿差对所述目标区域的初始虚拟视觉坐标系进行修正；通过上述方式，在计算出虚拟视觉坐标系之间的第一位姿差和图像特征之间的第二位姿差后，根据第一位姿差和第二位姿差计算的修正位姿差对初始虚拟视觉坐标系进行修正，从而能够有效提高修正视觉坐标系的准确性，保证虚拟视觉系统的稳定性。
在一实施例中，如图3所述，基于第一实施例提出本发明视觉坐标系的修正方法第二实施例，所述步骤S20，包括：
步骤S201，通过六轴位姿传感器对虚拟视觉系统进行设定，得到目标区域的初始虚拟视觉坐标系。
应当理解的是，六轴位姿传感器是一种六轴的高精度、高稳定性的姿态传感器，在用户佩戴AR眼镜时，通过六轴位姿传感器设定在目标区域的初始虚拟视觉坐标系。
步骤S202，根据所述目标区域的初始虚拟视觉坐标系和所述目标虚拟视觉坐标系建立视觉坐标系映射关系。
可以理解的是，视觉坐标系映射关系指的是目标区域的初始虚拟视觉坐标系与目标虚拟视觉坐标系之间的映射关系，例如，初始虚拟数据坐标系的特征点与目标虚拟视觉坐标系的特征点的映射关系。
步骤S203，对所述视觉坐标系映射关系进行识别，得到所述初始虚拟视觉坐标系和所述目标虚拟视觉坐标系之间的差异数据。
应当理解的是，差异数据指的是初始虚拟视觉坐标系与目标虚拟视觉坐标系的差异数据，该差异数据是从视觉坐标系映射关系的识别结果中提取的，具体是在得到视觉坐标系映射关系后，对视觉坐标系映射关系进行识别，得到视觉坐标系映射关系的识别结果，此时的识别结果中存在差异数据和非差异数据，然后从识别结果中提取出初始虚拟视觉坐标系和所述目标虚拟视觉坐标系之间的差异数据。
步骤S204，根据预设位姿算法和所述差异数据计算出第一位姿差。
可以理解的是，在得到初始虚拟视觉坐标系和目标虚拟视觉坐标系之间的差异数据后，将差异数据输入至预设位姿算法，由预设位姿算法输出第一位姿差。
进一步地，步骤S204，包括：根据所述差异数据得到初始虚拟视觉坐标系和所述目标虚拟视觉坐标系的差异坐标点；根据所述初始虚拟视觉坐标系的差异坐标点设定理想优化坐标点；根据所述理想优化坐标点和最小二乘规则构造目标优化函数；通过所述目标优化函数对所述差异坐标进行计算，得到坐标平移量和梯度向量；根据所述预设位姿算法对所述坐标平移量和所述梯度向量进行计算，得到第一位姿差。
应当理解的是，差异坐标点指的是初始虚拟视觉坐标系和目标虚拟视觉坐标系之间存在差异数据对应的坐标点，对于初始虚拟视觉坐标系来说，差异坐标点为P初(x1，y1)，对于目标虚拟视觉坐标系来说，差异坐标点为P目(x2，y2)，此时差异坐标点P初与差异坐标点P目之间的偏差通过以下公式进行计算，具体为：
；
其中，M为偏差，x1为差异坐标点P初的横坐标，y1为差异坐标点P初的纵坐标，x2为差异坐标点P目的横坐标，y2为差异坐标点P目的纵坐标。
可以理解的是，在得到差异坐标点后，根据差异坐标点计算两者之间的偏差，然后根据偏差设定理想优化坐标点，例如，理想优化坐标点为P理(x3，y3)，理想优化坐标点的参数可以通过以下公式进行计算，具体为：
；
其中，x3为理想化坐标点的横坐标，y3为理想化坐标点的纵坐标，为理想化坐标点与差异坐标点P初的连线方向与水平方向之间的夹角，a为设定的横坐标常数项，b为设定纵坐标常数项。
应当理解的是，在得到理想优化坐标点后，根据理想优化坐标点和最小二乘规则构造目标优化函数，然后根据目标优化函数分别计算出坐标平移量和梯度向量，然后将坐标平移量和梯度向量输入至预设位姿算法，由预设位姿算法计算并输出第一位姿差。
本实施例通过六轴位姿传感器对虚拟视觉系统进行设定，得到目标区域的初始虚拟视觉坐标系；根据所述目标区域的初始虚拟视觉坐标系和所述目标虚拟视觉坐标系建立视觉坐标系映射关系；对所述视觉坐标系映射关系进行识别，得到所述初始虚拟视觉坐标系和所述目标虚拟视觉坐标系之间的差异数据；根据预设位姿算法和所述差异数据计算出第一位姿差；通过上述方式，在设定目标区域的初始虚拟视觉坐标系后，建立目标区域的初始虚拟视觉坐标系和目标虚拟视觉坐标系之间的映射关系，然后对视觉坐标系映射关系进行识别，再根据预设位姿算法和差异数据计算出第一位姿差，从而能够有效提高得到第一位姿差的准确性。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有视觉坐标系的修正程序，所述视觉坐标系的修正程序被处理器执行时实现如上文所述的视觉坐标系的修正方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
此外，参照图4，本发明实施例还提出一种视觉坐标系的修正装置，所述视觉坐标系的修正装置包括：
建立模块10，获取目标区域的拍摄图像特征集，根据所述拍摄图像特征集建立目标虚拟视觉坐标系。
确定模块20，用于根据所述目标区域的初始虚拟视觉坐标系和目标虚拟视觉坐标系确定第一位姿差。
所述确定模块20，用于根据待比对图像和所述拍摄图像特征集确定第二位姿差。
计算模块30，用于根据所述第一位姿差和所述第二位姿差计算出修正位姿差。
修正模块40，用于通过所述修正位姿差对所述目标区域的初始虚拟视觉坐标系进行修正。
本实施例获取目标区域的拍摄图像特征集，根据所述拍摄图像特征集建立目标虚拟视觉坐标系；根据所述目标区域的初始虚拟视觉坐标系和目标虚拟视觉坐标系确定第一位姿差；根据待比对图像和所述拍摄图像特征集确定第二位姿差；根据所述第一位姿差和所述第二位姿差计算出修正位姿差；通过所述修正位姿差对所述目标区域的初始虚拟视觉坐标系进行修正；通过上述方式，在计算出虚拟视觉坐标系之间的第一位姿差和图像特征之间的第二位姿差后，根据第一位姿差和第二位姿差计算的修正位姿差对初始虚拟视觉坐标系进行修正，从而能够有效提高修正视觉坐标系的准确性，保证虚拟视觉系统的稳定性。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的视觉坐标系的修正方法，此处不再赘述。
本发明所述视觉坐标系的修正装置的其他实施例或具有实现方法可参照上述各方法实施例，此处不再赘余。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器（Read Only Memory，ROM）/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，一体化平台工作站，或者网络设备等）执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种视觉坐标系的修正方法，其特征在于，所述视觉坐标系的修正方法包括以下步骤：
获取目标区域的拍摄图像特征集，根据所述拍摄图像特征集建立目标虚拟视觉坐标系；
根据所述目标区域的初始虚拟视觉坐标系和目标虚拟视觉坐标系确定第一位姿差；
根据待比对图像和所述拍摄图像特征集确定第二位姿差；
根据所述第一位姿差和所述第二位姿差计算出修正位姿差；
通过所述修正位姿差对所述目标区域的初始虚拟视觉坐标系进行修正；
所述根据所述目标区域的初始虚拟视觉坐标系和目标虚拟视觉坐标系确定第一位姿差，包括：
通过六轴位姿传感器对虚拟视觉系统进行设定，得到目标区域的初始虚拟视觉坐标系；
根据所述目标区域的初始虚拟视觉坐标系和所述目标虚拟视觉坐标系建立视觉坐标系映射关系；
对所述视觉坐标系映射关系进行识别，得到所述初始虚拟视觉坐标系和所述目标虚拟视觉坐标系之间的差异数据；
根据预设位姿算法和所述差异数据计算出第一位姿差；
所述根据待比对图像和所述拍摄图像特征集确定第二位姿差，包括：
对所述待比对图像进行识别，得到待比对图像特征；
对所述拍摄图像特征集进行遍历，得到若干数量的图像特征；
将所述待比对图像特征与若干数量的图像特征进行匹配，得到当前图像特征匹配结果；
根据所述当前图像特征匹配结果得到图像特征差异数据；
根据预设位姿算法和所述图像特征差异数据计算出第二位姿差；
所述通过所述修正位姿差对所述目标区域的初始虚拟视觉坐标系进行修正，包括：
获取标准位姿差数值；
在所述修正位姿差对应的数值大于所述标准位姿差数值时，通过目标摄像设备在预设时间内拍摄预设帧数的图片；
对所述预设帧数的图片进行识别，得到若干数量的图像特征；
提取所述若干数量的图像特征中的相同图像特征；
根据预设位姿算法对所述相同图像特征对应的预设帧数的图片进行计算，得到若干数量的修正位姿差；
对所述若干数量的修正位姿差进行均值计算，得到平均修正位姿差；
根据所述平均修正位姿差对所述目标区域的初始虚拟视觉坐标系进行修正。
2.如权利要求1所述的视觉坐标系的修正方法，其特征在于，所述获取目标区域的拍摄图像特征集，根据所述拍摄图像特征集建立目标虚拟视觉坐标系之前，还包括：
获取AR眼镜的当前视野角度；
根据所述当前视野角度从若干数量的方向对目标区域进行拍摄，得到第一拍摄图像；
按照预设角度对所述AR眼镜的当前视野角度进行调整，得到目标视野角度；
根据所述目标视野角度从所述若干数量的方向对所述目标区域进行拍摄，得到第二拍摄图像；
分别对所述第一拍摄图像和所述第二拍摄图像进行特征提取，得到第一拍摄特征和第二拍摄特征；
根据所述第一拍摄特征和所述第二拍摄特征生成所述目标区域的拍摄图像特征集。
3.如权利要求1所述的视觉坐标系的修正方法，其特征在于，所述根据预设位姿算法和所述差异数据计算出第一位姿差，包括：
根据所述差异数据得到初始虚拟视觉坐标系和所述目标虚拟视觉坐标系的差异坐标点；
根据所述初始虚拟视觉坐标系的差异坐标点设定理想优化坐标点；
根据所述理想优化坐标点和最小二乘规则构造目标优化函数；
通过所述目标优化函数对所述差异坐标进行计算，得到坐标平移量和梯度向量；
根据所述预设位姿算法对所述坐标平移量和所述梯度向量进行计算，得到第一位姿差。
4.如权利要求1至3中任一项所述的视觉坐标系的修正方法，其特征在于，所述根据所述平均修正位姿差对所述目标区域的初始虚拟视觉坐标系进行修正之后，还包括：
在用户以当前头部位姿佩戴AR眼镜时，获取在初始虚拟视觉坐标系下的第一虚拟视觉数据；
在用户的目标头部位姿与当前头部位姿不一致时，获取在调整后的虚拟视觉坐标系下的第二虚拟视觉数据；
计算所述第一虚拟视觉数据和所述第二虚拟视觉数据之间的虚拟视觉数据误差；
在所述虚拟视觉数据误差小于预设数据误差阈值时，通过所述调整后的虚拟视觉坐标系获取其他发生变化的头部位姿的虚拟视觉数据。
5.一种视觉坐标系的修正装置，其特征在于，所述视觉坐标系的修正装置包括：
建立模块，获取目标区域的拍摄图像特征集，根据所述拍摄图像特征集建立目标虚拟视觉坐标系；
确定模块，用于根据所述目标区域的初始虚拟视觉坐标系和目标虚拟视觉坐标系确定第一位姿差；
所述确定模块，还用于根据待比对图像和所述拍摄图像特征集确定第二位姿差；
计算模块，用于根据所述第一位姿差和所述第二位姿差计算出修正位姿差；
修正模块，用于通过所述修正位姿差对所述目标区域的初始虚拟视觉坐标系进行修正；
所述确定模块，还用于通过六轴位姿传感器对虚拟视觉系统进行设定，得到目标区域的初始虚拟视觉坐标系；根据所述目标区域的初始虚拟视觉坐标系和所述目标虚拟视觉坐标系建立视觉坐标系映射关系；对所述视觉坐标系映射关系进行识别，得到所述初始虚拟视觉坐标系和所述目标虚拟视觉坐标系之间的差异数据；根据预设位姿算法和所述差异数据计算出第一位姿差；
所述确定模块，还用于对所述待比对图像进行识别，得到待比对图像特征；对所述拍摄图像特征集进行遍历，得到若干数量的图像特征；将所述待比对图像特征与若干数量的图像特征进行匹配，得到当前图像特征匹配结果；根据所述当前图像特征匹配结果得到图像特征差异数据；根据预设位姿算法和所述图像特征差异数据计算出第二位姿差；
所述修正模块，还用于获取标准位姿差数值；在所述修正位姿差对应的数值大于所述标准位姿差数值时，通过目标摄像设备在预设时间内拍摄预设帧数的图片；对所述预设帧数的图片进行识别，得到若干数量的图像特征；提取所述若干数量的图像特征中的相同图像特征；根据预设位姿算法对所述相同图像特征对应的预设帧数的图片进行计算，得到若干数量的修正位姿差；对所述若干数量的修正位姿差进行均值计算，得到平均修正位姿差；根据所述平均修正位姿差对所述目标区域的初始虚拟视觉坐标系进行修正。
6.一种视觉坐标系的修正设备，其特征在于，所述视觉坐标系的修正设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视觉坐标系的修正程序，所述视觉坐标系的修正程序配置有实现如权利要求1至4中任一项所述的视觉坐标系的修正方法。
7.一种计算机可读存储介质，其特征在于，所述存储介质上存储有视觉坐标系的修正程序，所述视觉坐标系的修正程序被处理器执行时实现如权利要求1至4中任一项所述的视觉坐标系的修正方法。
CN202310678928.4A 2023-06-09 2023-06-09 视觉坐标系的修正方法、装置、设备及存储介质 Active CN116402826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310678928.4A CN116402826B (zh) 2023-06-09 2023-06-09 视觉坐标系的修正方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310678928.4A CN116402826B (zh) 2023-06-09 2023-06-09 视觉坐标系的修正方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116402826A CN116402826A (zh) 2023-07-07
CN116402826B true CN116402826B (zh) 2023-09-26

Family

ID=87008052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310678928.4A Active CN116402826B (zh) 2023-06-09 2023-06-09 视觉坐标系的修正方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116402826B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109211267A (zh) * 2018-08-14 2019-01-15 广州虚拟动力网络技术有限公司 一种惯性动作捕捉姿态快速校准方法及系统
CN109218562A (zh) * 2018-09-07 2019-01-15 百度在线网络技术（北京）有限公司 时钟同步方法、装置、设备、存储介质和车辆
WO2021189784A1 (zh) * 2020-03-23 2021-09-30 南京科沃斯机器人技术有限公司 一种场景重建方法、系统、装置及扫地机器人
WO2021208372A1 (zh) * 2020-04-14 2021-10-21 北京迈格威科技有限公司 室内视觉导航方法、装置、系统及电子设备
CN114066972A (zh) * 2021-10-25 2022-02-18 中国电子科技集团公司第五十四研究所 一种基于单目视觉的无人机自主定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10503968B2 (en) * 2016-03-22 2019-12-10 Intel Corporation Identifying a local coordinate system for gesture recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109211267A (zh) * 2018-08-14 2019-01-15 广州虚拟动力网络技术有限公司 一种惯性动作捕捉姿态快速校准方法及系统
CN109218562A (zh) * 2018-09-07 2019-01-15 百度在线网络技术（北京）有限公司 时钟同步方法、装置、设备、存储介质和车辆
WO2021189784A1 (zh) * 2020-03-23 2021-09-30 南京科沃斯机器人技术有限公司 一种场景重建方法、系统、装置及扫地机器人
WO2021208372A1 (zh) * 2020-04-14 2021-10-21 北京迈格威科技有限公司 室内视觉导航方法、装置、系统及电子设备
CN114066972A (zh) * 2021-10-25 2022-02-18 中国电子科技集团公司第五十四研究所 一种基于单目视觉的无人机自主定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于无人机影像的乡村道路信息提取及安全导引优化设计;李旭亮 等;导航定位学报;第123-130页 *

Also Published As

Publication number Publication date
CN116402826A (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN109461174B (zh) 视频目标区域跟踪方法和视频平面广告植入方法及系统
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
US20200177866A1 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
JP2019522851A (ja) ３次元空間内の姿勢推定
CN112083403B (zh) 用于虚拟场景的定位追踪误差校正方法及系统
AU2020203790B2 (en) Transformed multi-source content aware fill
US9613404B2 (en) Image processing method, image processing apparatus and electronic device
CN110869978B (zh) 信息处理装置和信息处理方法
US20220414908A1 (en) Image processing method
CN113409391A (zh) 视觉定位方法及相关装置、设备和存储介质
CN109902675B (zh) 物体的位姿获取方法、场景重构的方法和装置
US20240202975A1 (en) Data processing
CN113052907A (zh) 一种动态环境移动机器人的定位方法
CN111105467A (zh) 一种图像标定方法、装置及电子设备
CN116402826B (zh) 视觉坐标系的修正方法、装置、设备及存储介质
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN115174878B (zh) 投影画面校正方法、装置和存储介质
JP6952298B2 (ja) 視線変換装置及び視線変換方法
CN111353945A (zh) 鱼眼图像校正方法、装置及存储介质
CN115086625A (zh) 投影画面的校正方法、装置、系统、校正设备和投影设备
KR102146839B1 (ko) 실시간 가상현실 구축을 위한 시스템 및 방법
CN111260544B (zh) 数据处理方法及装置、电子设备和计算机存储介质
JP6781996B1 (ja) 画像補正処理システム
CN110319776B (zh) 一种基于slam的三维空间距离测量方法及装置
KR102090533B1 (ko) 멀티마커 기반의 증강현실 시스템의 카메라 자세 추정 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant