CN115164823B - 一种摄像机陀螺仪信息的获取方法及设备 - Google Patents
一种摄像机陀螺仪信息的获取方法及设备 Download PDFInfo
- Publication number
- CN115164823B CN115164823B CN202210530826.3A CN202210530826A CN115164823B CN 115164823 B CN115164823 B CN 115164823B CN 202210530826 A CN202210530826 A CN 202210530826A CN 115164823 B CN115164823 B CN 115164823B
- Authority
- CN
- China
- Prior art keywords
- camera
- world space
- matrix
- similar point
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims abstract description 109
- 230000036544 posture Effects 0.000 claims abstract description 27
- 230000009469 supplementation Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000004364 calculation method Methods 0.000 abstract description 6
- 230000015654 memory Effects 0.000 description 15
- 238000004590 computer program Methods 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 241001482237 Pica Species 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本申请的目的是提供一种摄像机陀螺仪信息的获取方法及设备，本申请获取摄像机在不同姿态时的两个相似点，第一相似点对应第一二维坐标，第二相似点对应第二二维坐标；基于第一相似点构建摄像机的基准姿态，基于基准姿态和摄像机的位置坐标对世界空间坐标系进行调整，得到虚拟世界空间坐标系；基于虚拟世界空间坐标系，构建第一MVP矩阵并确定第一MVP逆矩阵并基于第一二维坐标与第一MVP逆矩阵得到第一世界空间坐标；基于第二二维坐标与第一世界空间坐标，确定第二MVP矩阵；构建摄像机LookAt矩阵，基于第二MVP矩阵和摄像机LookAt矩阵，得到第二相似点对应的第二俯仰角和第二偏航角，实现了通过图形分析技术和三维空间分析技术动态计算摄像机陀螺仪信息。
Description
技术领域
本申请涉及计算机领域，尤其涉及一种获取摄像机陀螺仪的方法及设备。
背景技术
目前，在视频中为建筑、道路或其它要素手动绘制叠加的AR可视化元素，仅可针对摄像机固定姿态，当摄像机姿态(即陀螺仪信息)发生变化时，叠加的AR可视化元素位置将发生错乱。现有技术中，摄像机陀螺仪信息主要通过对接摄像机SDK来进行获取，不同摄像机厂商、不同设备平台、不同型号设备对应的SDK均不相同，所使用的对接方案也五花八门，对接成本很高。因此，对于存在大量设备且存在不同摄像机供货商和不同设备型号的场景，使用一套控制系统来同时对接所有摄像机SDK不切实际且成本高昂。因此，如何使用一种通用、快捷且方便的方案来动态获取摄像机陀螺仪信息，对AR元素的可视化叠加至关重要。
发明内容
本申请的一个目的是提供一种摄像机陀螺仪信息的获取方法及设备，以实现通过图形分析技术和三维空间分析技术动态计算摄像机陀螺仪信息。
根据本申请的一个方面，提供了一种摄像机陀螺仪信息的获取方法，其中，所述方法包括：
获取摄像机在不同姿态时相互对应的两个相似点，其中，第一相似点对应第一二维坐标，第二相似点对应第二二维坐标；
基于所述第一相似点对应的所述摄像机的第一俯仰角和第一偏航角构建所述摄像机的基准姿态，并基于所述基准姿态和所述摄像机的位置坐标对所述摄像机所处的世界空间坐标系进行调整，得到虚拟世界空间坐标系；
基于所述虚拟世界空间坐标系，构建第一MVP矩阵并确定所述第一MVP矩阵对应的第一MVP逆矩阵并基于所述第一二维坐标与所述第一MVP逆矩阵得到所述第一相似点在所述虚拟世界空间坐标系中的第一世界空间坐标；
基于所述第二二维坐标与所述第一世界空间坐标，确定第二MVP矩阵；
构建所述第二相似点对应的摄像机LookAt矩阵，基于所述第二MVP矩阵和所述摄像机LookAt矩阵，得到在所述虚拟世界空间坐标系中所述第二相似点对应的摄像机姿态的第二俯仰角和第二偏航角。
进一步地，上述一种摄像机陀螺仪信息的获取方法中，其中，所述获取摄像机在不同姿态时对应的两个相似点，包括：
从所述摄像机的实时视频流中获取所述摄像机在不同姿态时分别对应的第一视频截图和第二视频截图；
从所述第一视频截图与所述第二视频截图中分别获取至少两个相似点对，每个所述相似点对中包括相互对应的两个相似点；
从所述至少两个相似点对中选取出一个相似点对，其中，选出的相似点对中包括所述第一相似点及其对应的所述第一二维坐标和所述第二相似点及其对应的所述第二二维坐标。
进一步地，上述一种摄像机陀螺仪信息的获取方法中，其中，所述基于所述虚拟世界空间坐标系，构建第一MVP矩阵，包括：
获取所述摄像机的摄像机分辨率与视场角参数；
获取所述摄像机在所述虚拟世界空间坐标系中的摄像机世界空间坐标与所述第一相似点对应的摄像机第一方向信息；
基于所述摄像机分辨率与所述视场角参数，构建透视投射矩阵；
基于所述摄像机世界空间坐标与所述摄像机第一方向信息，对所述透视投射矩阵进行参数补充，得到所述第一MVP矩阵。
进一步地，上述一种摄像机陀螺仪信息的获取方法中，其中，所述获取所述摄像机在所述世界空间坐标系中的摄像机世界空间坐标与所述第一相似点对应的摄像机第一方向信息，包括：
基于所述虚拟世界空间坐标系，确定所述摄像机在所述虚拟世界空间坐标系中的所述摄像机世界空间坐标；
基于所述摄像机世界空间坐标获取所述摄像机第一方向信息。
进一步地，上述一种摄像机陀螺仪信息的获取方法中，其中，所述构建所述第二相似点对应的摄像机LookAt矩阵，包括：
构建所述第二相似点对应的摄像机姿态的方向向量、右向量及上向量；
基于所述摄像机世界空间坐标与所述方向向量、所述右向量及所述上向量，构建所述第二相似点对应的所述摄像机LookAt矩阵。
根据本申请的另一方面，还提供了一种非易失性存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述一种摄像机陀螺仪信息的获取方法。
根据本申请的另一方面，还提供了一种摄像机陀螺仪信息的获取设备，其中，所述设备包括：
一个或多个处理器；
非易失性存储介质，用于存储一个或多个计算机可读指令，
当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述一种摄像机陀螺仪信息的获取方法。
与现有技术相比，本申请获取摄像机在不同姿态时相互对应的两个相似点，其中，第一相似点对应第一二维坐标，第二相似点对应第二二维坐标；基于所述第一相似点对应的所述摄像机的第一俯仰角和第一偏航角构建所述摄像机的基准姿态，并基于所述基准姿态和所述摄像机的位置坐标对所述摄像机所处的世界空间坐标系进行调整，得到虚拟世界空间坐标系；基于所述虚拟世界空间坐标系，构建第一MVP矩阵并确定所述第一MVP矩阵对应的第一MVP逆矩阵并基于所述第一二维坐标与所述第一MVP逆矩阵得到所述第一相似点在所述虚拟世界空间坐标系中的第一世界空间坐标；基于所述第二二维坐标与所述第一世界空间坐标，确定第二MVP逆矩阵，并确定所述第二MVP逆矩阵对应的第二MVP矩阵；构建所述第二相似点对应的摄像机LookAt矩阵，基于所述第二MVP矩阵和所述摄像机LookAt矩阵，得到在所述虚拟世界空间坐标系中所述第二相似点对应的摄像机姿态的第二俯仰角和第二偏航角，实现了通过图形分析技术和三维空间分析技术动态计算摄像机陀螺仪信息。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个方面的一种摄像机陀螺仪信息的获取方法的流程示意图；
图2示出根据本申请一个方面的一种摄像机陀螺仪信息的获取方法的世界空间坐标系示意图；
图3示出根据本申请一个方面的一种摄像机陀螺仪信息的获取方法的虚拟世界空间坐标系示意图；
图4示出根据本申请一个方面的一种摄像机陀螺仪信息的获取方法的透视投射矩阵示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
如图1所示，本申请一个方面的一种摄像机陀螺仪信息的获取方法的流程示意图。其中，所述方法包括：步骤S11、步骤S12、步骤S13、步骤S14及步骤S15，具体包括如下步骤：
步骤S11，获取摄像机在不同姿态时相互对应的两个相似点，其中，第一相似点对应第一二维坐标，第二相似点对应第二二维坐标。在此，通过两个相似点分别对应的摄像机的不同姿态，得到第一相似点对应的摄像机姿态与第二相似点对应的摄像机之间的姿态相对变化量，进而得到摄像机的陀螺仪变化信息。
步骤S12，基于所述第一相似点对应的所述摄像机的第一俯仰角和第一偏航角构建所述摄像机的基准姿态，并基于所述基准姿态和所述摄像机的位置坐标对所述摄像机所处的世界空间坐标系进行调整，得到虚拟世界空间坐标系。
在此，由于第一相似点对应的摄像机陀螺仪初始信息未知，即第一相似点对应的摄像机姿态未知，为了便于计算，需要基于第一相似点对应的摄像机的姿态构建摄像机的基准姿态，使得第一相似点对应的摄像机姿态的俯仰角和偏航角均为0，则基于第一相似点得到的第二相似点对应的摄像机姿态即为第一相似点对应的摄像机姿态与第二相似点对应的摄像机之间的姿态相对变化量，即摄像机的陀螺仪变化信息。如图2所示，对世界空间坐标系进行调整之前，世界空间坐标系与摄像机姿态的关系。为了构建摄像机的基准姿态，需要对世界空间坐标系进行调整，以使第一相似点对应的摄像机姿态的俯仰角和偏航角在调整后的世界空间坐标系中均为0；同时，基于摄像机的位置坐标对世界空间坐标系进行调整，以使摄像机在调整后的世界空间中的坐标的x分量和y分量均为0。如图3所示，将世界空间坐标系进行调整后，得到虚拟世界空间坐标系。此时，由于最终计算的是第一相似点对应的摄像机姿态与第二相似点对应的摄像机之间的姿态相对变化量，世界空间坐标系仅用来暂存相似点的世界空间坐标，因此，无论是世界空间坐标系怎样旋转和偏移，即，无论是在世界空间坐标系中，还是虚拟世界空间坐标系，对最终的姿态相对变化量不存在影响。
步骤S13，基于所述虚拟世界空间坐标系，构建第一MVP矩阵并确定所述第一MVP矩阵对应的第一MVP逆矩阵并基于所述第一二维坐标与所述第一MVP逆矩阵得到所述第一相似点在所述虚拟世界空间坐标系中的第一世界空间坐标。
在此，基于摄像机的MVP矩阵，可以将一个世界空间坐标系中的点映射到标准化设备坐标(Normalized Device Coordinate，NDC)，NDC坐标忽略z分量就是二维平面坐标。因此，基于虚拟世界空间坐标系，构建第一相似点对应的第一MVP矩阵，并得到第一MVP矩阵的逆矩阵，即第一MVP逆矩阵，通过第一MVP逆矩阵对第一相似点进行转化，得到第一相似点对应的在虚拟空间坐标系中的第一世界空间坐标。
例如，在本申请的一优选实施例中，基于第一相似点ScreenA的第一二维坐标，添加z分量1000米作为NDC1坐标，根据第一MVP矩阵的逆矩阵第一MVP逆矩阵，可以得到第一相似点ScreenA在虚拟世界空间坐标系中的第一虚拟空间坐标WordPoint。
步骤S14，基于所述第二二维坐标与所述第一世界空间坐标，确定第二MVP矩阵。
在此，由于相似点的世界空间坐标相同，第一相似点与第二相似点为互相对应的相似点，因此，在虚拟世界空间坐标系中，第二相似点对应的第二世界空间坐标与第一相似点点对应的第一世界空间坐标相同。基于第二相似点对应的第二二维坐标与第一世界空间坐标，能够得到基于虚拟世界空间坐标系的第二相似点对应的第二MVP矩阵。
例如，在本申请的一优选实施例中，基于第二相似点ScreenB的第二二维坐标，添加z分量1000米作为NDC2坐标，根据第一虚拟空间坐标WordPoint，可以得到第二相似点ScreenB对应的第二MVP矩阵。将第二MVP矩阵命名为NEWMVP，则，
NEWMVP*WordPoint＝NDC2
步骤S15，构建所述第二相似点对应的摄像机LookAt矩阵，基于所述第二MVP矩阵和所述摄像机LookAt矩阵，得到在所述虚拟世界空间坐标系中所述第二相似点对应的摄像机姿态的第二俯仰角和第二偏航角。
在此，构建第二相似点对应的摄像机LookAt矩阵，得到包含未知量第二俯仰角和第二偏航角的LookAt矩阵，基于LookAt矩阵与MVP矩阵之间的关系，从而得到未知量第二俯仰角和第二偏航角，此时，第二相似点对应的摄像机姿态的第二俯仰角和第二偏航角即为摄像机的姿态相对变化量，即摄像机的陀螺仪变化信息。
通过上述步骤S11至步骤S15，本申请获取摄像机在不同姿态时相互对应的两个相似点，其中，第一相似点对应第一二维坐标，第二相似点对应第二二维坐标；基于所述第一相似点对应的所述摄像机的第一俯仰角和第一偏航角构建所述摄像机的基准姿态，并基于所述基准姿态和所述摄像机的位置坐标对所述摄像机所处的世界空间坐标系进行调整，得到虚拟世界空间坐标系；基于所述虚拟世界空间坐标系，构建第一MVP矩阵并确定所述第一MVP矩阵对应的第一MVP逆矩阵并基于所述第一二维坐标与所述第一MVP逆矩阵得到所述第一相似点在所述虚拟世界空间坐标系中的第一世界空间坐标；基于所述第二二维坐标与所述第一世界空间坐标，确定第二MVP逆矩阵，并确定所述第二MVP逆矩阵对应的第二MVP矩阵；构建所述第二相似点对应的摄像机LookAt矩阵，基于所述第二MVP矩阵和所述摄像机LookAt矩阵，得到在所述虚拟世界空间坐标系中所述第二相似点对应的摄像机姿态的第二俯仰角和第二偏航角，实现了通过图形分析技术和三维空间分析技术动态计算摄像机陀螺仪信息。
接着本申请的上述实施例，所述步骤S11中，所述获取摄像机在不同姿态时对应的两个相似点，包括：
从所述摄像机的实时视频流中获取所述摄像机在不同姿态时分别对应的第一视频截图和第二视频截图。
从所述第一视频截图与所述第二视频截图中分别获取至少两个相似点对，每个所述相似点对中包括相互对应的两个相似点。在此，通过OpenCV(跨平台计算机视觉和机器学习软件库)获取第一视频截图和第二视屏截图中的相似点对。
从所述至少两个相似点对中选取出一个相似点对，其中，选出的相似点对中包括所述第一相似点及其对应的所述第一二维坐标和所述第二相似点及其对应的所述第二二维坐标。在此，第一相似点属于第一视频截图，第二相似点属于第二视频截图。
例如，在本申请的一优选实施例中，从摄像机的实时视频流中获取摄像机在不同姿态时的两张视频截图，分别为第一视频截图PicA和第二视频截图PicB，通过OpenCV找出PicA和PicB中的相似点，取其中一对点位坐标，分别命名为第一相似点ScreenA和第二相似点ScreenB，其中，点ScreenA属于第一视频截图PicA，点ScreenB属于第二视频截图PicB。
接着本申请的上述实施例，所述步骤S13中，所述基于所述虚拟世界空间坐标系，构建第一MVP矩阵，包括：
获取所述摄像机的摄像机分辨率与视场角参数。
获取所述摄像机在所述虚拟世界空间坐标系中的摄像机世界空间坐标与所述第一相似点对应的摄像机第一方向信息。
基于所述摄像机分辨率与所述视场角参数，构建透视投射矩阵。
在此，利用摄像机分辨率和视场角参数(FOV参数)，构建虚拟数字摄像机，通过开源工具OpenGL Mathematics(GLM)，可以方便的得到虚拟数字摄像机。根据近面参数、远面参数、FOV参数及宽高比ASPECT-RATIO，构建虚拟数字摄像机对于世界空间坐标系的可视范围。其中，如图4所示，FOV参数为摄像机视场角参数，宽高比ASPECT-RATIO则使用摄像机分辨率参数求得，近面参数表示离摄像机很近的部分，即方椎体的尖角部分，远面参数用于保证所得的视频截图在这个方椎体内部。由于基于真实摄像机FOV参数和宽高比参数构建的数字摄像机，决定了第二俯仰角PitchB和第二偏航角YawB的值，因此，只要保证近面距离足够近，远面距离足够远即可。
例如，可以将虚拟数字摄像机的透视投射近面距离假定为0.01米，透视投射远面距离假定为1000米，此时表示摄像机能够看到前面0.01米到1000米距离内的物体；也可以将透视投射近面距离调整为0.0001，透视投射远面距离调整为10000，当然也可按照摄像机的实际场景调整到5000，这些都是常规参数，设置的目的在于基本贴近真实摄像机。
因此，在本申请中，远面距离的假定值可任意设定，并不会影响要计算的PitchB和YawB变量的值。当虚拟数字摄像机创建后，目前就包含了透视投射矩阵(PerspectiveProjection Matrix)。
基于所述摄像机世界空间坐标与所述摄像机第一方向信息，对所述透视投射矩阵进行参数补充，得到所述第一MVP矩阵。
在此，在之前得到的透视投射矩阵的基础上，利用摄像机在虚拟世界空间坐标系中的摄像机世界空间坐标，以及摄像机在虚拟世界空间坐标系中的朝向信息，即摄像机第一方向信息，对虚拟数字摄像机的参数进行补充，得到包含第一MVP矩阵的虚拟数字摄像机，即：
MVP Matrix＝Projection Matrix*View Matrix*Model Matrix
需要说明的是，在摄像机系统中，假定摄像机的上方向永远为y轴正方向，即摄像机的滚转角Roll为0。
接着本申请的上述实施例，其中，所述获取所述摄像机在所述世界空间坐标系中的摄像机世界空间坐标与所述第一相似点对应的摄像机第一方向信息，包括：
基于所述虚拟世界空间坐标系，确定所述摄像机在所述虚拟世界空间坐标系中的所述摄像机世界空间坐标。
在此，由于在构建虚拟世界空间坐标系时，对世界空间坐标进行调整，使得摄像机在虚拟世界空间坐标系中的x分量和y分量均为0，而z分量的大小对最终的姿态相对变化量不产生影响，因此z分量可以去任意值。例如，在本申请中，为了计算方便，将摄像机在虚拟世界空间坐标系中的摄像机世界空间坐标优选为(0,0,1).
基于所述摄像机世界空间坐标获取所述摄像机第一方向信息。在此，摄像机第一方向信息用于表示，在虚拟世界空间坐标系中，摄像机世界空间坐标指向虚拟世界空间坐标系原点的朝向信息。
例如，在本申请的一优选实施例中，摄像机世界空间坐标(0,0,1)，则摄像机第一方向信息即为由摄像机世界空间坐标(0,0,1)指向虚拟世界空间坐标系原点(0,0,0)。
接着本申请的上述实施例，所述步骤S15中，所述构建所述第二相似点对应的摄像机LookAt矩阵，包括：
构建所述第二相似点对应的摄像机姿态的方向向量、右向量及上向量。
在此，因为摄像机的位置不变，摄像机在虚拟世界空间坐标系中的摄像机世界空间坐标也不变，摄像机的上方向不变，因此，基于未知量第二相似点对应的摄像机姿态的第二俯仰角和第二偏航角，得到用未知量第二俯仰角和未知量第二偏航角表示的衍生变量方向向量、右向量及上向量，即，将第二相似点对应的摄像机姿态的方向向量、右向量及上向量用其对应的第二俯仰角和第二偏航角进行表示，得到包含第二俯仰角和第二偏航角的方向向量、右向量及上向量。
基于所述摄像机世界空间坐标与所述方向向量、所述右向量及所述上向量，构建所述第二相似点对应的所述摄像机LookAt矩阵。
在此，由于构建的方向向量、右向量及上向量中包含有第二俯仰角和第二偏航角，因此，构建的摄像机LookAt矩阵也包含第二俯仰角和第二偏航角，基于摄像机LookAt矩阵与第二MVP矩阵的关系，能够得到第二俯仰角和第二偏航角。
例如，在本申请的一优选实施例中，摄像机世界空间坐标用向量P(0,0,1)进行表示，方向向量D、右向量R及上向量U，则摄像机LookAt矩阵如下所示，
根据本申请的另一方面，还提供了一种非易失性存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述一种摄像机陀螺仪信息的获取方法。
根据本申请的另一方面，还提供了一种摄像机陀螺仪信息的获取设备，其中，所述设备包括：
一个或多个处理器；
非易失性存储介质，用于存储一个或多个计算机可读指令，
当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述一种摄像机陀螺仪信息的获取方法。
在此，在此，所述一种摄像机陀螺仪信息的获取设备中的各实施例的详细内容，具体可参见上述一种摄像机陀螺仪信息的获取方法的实施例的对应部分，在此，不再赘述。
综上所述，本申请获取摄像机在不同姿态时相互对应的两个相似点，其中，第一相似点对应第一二维坐标，第二相似点对应第二二维坐标；基于所述第一相似点对应的所述摄像机的第一俯仰角和第一偏航角构建所述摄像机的基准姿态，并基于所述基准姿态和所述摄像机的位置坐标对所述摄像机所处的世界空间坐标系进行调整，得到虚拟世界空间坐标系；基于所述虚拟世界空间坐标系，构建第一MVP矩阵并确定所述第一MVP矩阵对应的第一MVP逆矩阵并基于所述第一二维坐标与所述第一MVP逆矩阵得到所述第一相似点在所述虚拟世界空间坐标系中的第一世界空间坐标；基于所述第二二维坐标与所述第一世界空间坐标，确定第二MVP逆矩阵，并确定所述第二MVP逆矩阵对应的第二MVP矩阵；构建所述第二相似点对应的摄像机LookAt矩阵，基于所述第二MVP矩阵和所述摄像机LookAt矩阵，得到在所述虚拟世界空间坐标系中所述第二相似点对应的摄像机姿态的第二俯仰角和第二偏航角，实现了通过图形分析技术和三维空间分析技术动态计算摄像机陀螺仪信息。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (5)
1.一种摄像机陀螺仪信息的获取方法，其中，所述方法包括：
获取摄像机在不同姿态时相互对应的两个相似点，其中，第一相似点对应第一二维坐标，第二相似点对应第二二维坐标；
基于所述第一相似点对应的所述摄像机的第一俯仰角和第一偏航角构建所述摄像机的基准姿态，并基于所述基准姿态和所述摄像机的位置坐标对所述摄像机所处的世界空间坐标系进行调整，得到虚拟世界空间坐标系；
基于所述虚拟世界空间坐标系，构建第一MVP矩阵并确定所述第一MVP矩阵对应的第一MVP逆矩阵并基于所述第一二维坐标与所述第一MVP逆矩阵得到所述第一相似点在所述虚拟世界空间坐标系中的第一世界空间坐标；
基于所述第二二维坐标与所述第一世界空间坐标，确定第二MVP矩阵；
构建所述第二相似点对应的摄像机LookAt矩阵，基于所述第二MVP矩阵和所述摄像机LookAt矩阵，得到在所述虚拟世界空间坐标系中所述第二相似点对应的摄像机姿态的第二俯仰角和第二偏航角；
其中，所述基于所述虚拟世界空间坐标系，构建第一MVP矩阵，包括：获取所述摄像机的摄像机分辨率与视场角参数；获取所述摄像机在所述虚拟世界空间坐标系中的摄像机世界空间坐标与所述第一相似点对应的摄像机第一方向信息；基于所述摄像机分辨率与所述视场角参数，构建透视投射矩阵；基于所述摄像机世界空间坐标与所述摄像机第一方向信息，对所述透视投射矩阵进行参数补充，得到所述第一MVP矩阵；其中，所述构建所述第二相似点对应的摄像机LookAt矩阵，包括：构建所述第二相似点对应的摄像机姿态的方向向量、右向量及上向量；基于所述摄像机世界空间坐标与所述方向向量、所述右向量及所述上向量，构建所述第二相似点对应的所述摄像机LookAt矩阵。
2.根据权利要求1所述的方法，其中，所述获取摄像机在不同姿态时对应的两个相似点，包括：
从所述摄像机的实时视频流中获取所述摄像机在不同姿态时分别对应的第一视频截图和第二视频截图；
从所述第一视频截图与所述第二视频截图中分别获取至少两个相似点对，每个所述相似点对中包括相互对应的两个相似点；
从所述至少两个相似点对中选取出一个相似点对，其中，选出的相似点对中包括所述第一相似点及其对应的所述第一二维坐标和所述第二相似点及其对应的所述第二二维坐标。
3.根据权利要求1所述的方法，其中，所述获取所述摄像机在所述世界空间坐标系中的摄像机世界空间坐标与所述第一相似点对应的摄像机第一方向信息，包括：
基于所述虚拟世界空间坐标系，确定所述摄像机在所述虚拟世界空间坐标系中的所述摄像机世界空间坐标；
基于所述摄像机世界空间坐标获取所述摄像机第一方向信息。
4.一种非易失性存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如权利要求1至3中任一项所述的方法。
5.一种摄像机陀螺仪信息的获取设备，其中，所述设备包括：
一个或多个处理器；
非易失性存储介质，用于存储一个或多个计算机可读指令，
当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至3中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210530826.3A CN115164823B (zh) | 2022-05-16 | 2022-05-16 | 一种摄像机陀螺仪信息的获取方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210530826.3A CN115164823B (zh) | 2022-05-16 | 2022-05-16 | 一种摄像机陀螺仪信息的获取方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115164823A CN115164823A (zh) | 2022-10-11 |
| CN115164823B true CN115164823B (zh) | 2024-04-02 |
Family
ID=83483608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210530826.3A Active CN115164823B (zh) | 2022-05-16 | 2022-05-16 | 一种摄像机陀螺仪信息的获取方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115164823B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116091742B (zh) * | 2022-12-29 | 2024-04-02 | 维坤智能科技（上海）有限公司 | 一种三维场景的相机观测点展示优化的方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107314771A (zh) * | 2017-07-04 | 2017-11-03 | 合肥工业大学 | 基于编码标志点的无人机定位以及姿态角测量方法 |
| CN108458714A (zh) * | 2018-01-11 | 2018-08-28 | 山东大学 | 一种姿态检测系统中不含重力加速度的欧拉角求解方法 |
| CN109345593A (zh) * | 2018-09-04 | 2019-02-15 | 海信集团有限公司 | 一种摄像机姿态的检测方法及装置 |
| CN111443808A (zh) * | 2019-08-16 | 2020-07-24 | 武汉雄楚高晶科技有限公司 | 一种生成目标的三维信息数据的方法及陀螺仪系统 |
| CN111521157A (zh) * | 2020-05-29 | 2020-08-11 | 成都赫尔墨斯科技股份有限公司 | 一种飞行器观察区域坐标计算方法及系统 |
| CN111770270A (zh) * | 2020-06-24 | 2020-10-13 | 杭州海康威视数字技术股份有限公司 | 一种相机姿态的校正方法、摄像机 |
| CN113415433A (zh) * | 2021-07-30 | 2021-09-21 | 成都纵横大鹏无人机科技有限公司 | 基于三维场景模型的吊舱姿态修正方法、装置和无人机 |
| CN113658249A (zh) * | 2021-08-23 | 2021-11-16 | 京东方科技集团股份有限公司 | 虚拟现实场景的渲染方法、装置、设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112738487B (zh) * | 2020-12-24 | 2022-10-11 | 阿波罗智联(北京)科技有限公司 | 图像投射方法、装置、设备及存储介质 |
-
2022
- 2022-05-16 CN CN202210530826.3A patent/CN115164823B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107314771A (zh) * | 2017-07-04 | 2017-11-03 | 合肥工业大学 | 基于编码标志点的无人机定位以及姿态角测量方法 |
| CN108458714A (zh) * | 2018-01-11 | 2018-08-28 | 山东大学 | 一种姿态检测系统中不含重力加速度的欧拉角求解方法 |
| CN109345593A (zh) * | 2018-09-04 | 2019-02-15 | 海信集团有限公司 | 一种摄像机姿态的检测方法及装置 |
| CN111443808A (zh) * | 2019-08-16 | 2020-07-24 | 武汉雄楚高晶科技有限公司 | 一种生成目标的三维信息数据的方法及陀螺仪系统 |
| CN111521157A (zh) * | 2020-05-29 | 2020-08-11 | 成都赫尔墨斯科技股份有限公司 | 一种飞行器观察区域坐标计算方法及系统 |
| CN111770270A (zh) * | 2020-06-24 | 2020-10-13 | 杭州海康威视数字技术股份有限公司 | 一种相机姿态的校正方法、摄像机 |
| CN113415433A (zh) * | 2021-07-30 | 2021-09-21 | 成都纵横大鹏无人机科技有限公司 | 基于三维场景模型的吊舱姿态修正方法、装置和无人机 |
| CN113658249A (zh) * | 2021-08-23 | 2021-11-16 | 京东方科技集团股份有限公司 | 虚拟现实场景的渲染方法、装置、设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于定位与姿态感知的虚实漫游方法应用研究;赵海英 等;《图学学报》;第37卷(第1期);第110-114页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115164823A (zh) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10964049B2 (en) | Method and device for determining pose of camera | |
| US10600150B2 (en) | Utilizing an inertial measurement device to adjust orientation of panorama digital images | |
| CN111737518B (zh) | 基于三维场景模型的图像展示方法、装置及电子设备 | |
| US7768527B2 (en) | Hardware-in-the-loop simulation system and method for computer vision | |
| US8243061B2 (en) | Image processing apparatus and method of controlling operation of same | |
| US20200184726A1 (en) | Implementing three-dimensional augmented reality in smart glasses based on two-dimensional data | |
| CN109752003B (zh) | 一种机器人视觉惯性点线特征定位方法及装置 | |
| JP6571262B2 (ja) | 複数のモデルに基づくオブジェクトの表示 | |
| US10235800B2 (en) | Smoothing 3D models of objects to mitigate artifacts | |
| US20190156583A1 (en) | Augmented reality with graphics rendering controlled by mobile device position | |
| US10769811B2 (en) | Space coordinate converting server and method thereof | |
| CN111161398B (zh) | 一种图像生成方法、装置、设备及存储介质 | |
| US10762713B2 (en) | Method for developing augmented reality experiences in low computer power systems and devices | |
| US20220375164A1 (en) | Method and apparatus for three dimensional reconstruction, electronic device and storage medium | |
| CN115164823B (zh) | 一种摄像机陀螺仪信息的获取方法及设备 | |
| KR20200136723A (ko) | 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치 | |
| CN115240140A (zh) | 基于图像识别的设备安装进度监控方法及系统 | |
| Tian et al. | Registration and occlusion handling based on the FAST ICP-ORB method for augmented reality systems | |
| CN108734792B (zh) | 具有远程交互功能的全息投影辅助教学方法、装置及系统 | |
| CN116128744A (zh) | 消除图像畸变的方法、电子设备、存储介质及车辆 | |
| CN112734628B (zh) | 一种经三维转换后的跟踪点的投影位置计算方法及系统 | |
| CN114596407A (zh) | 资源对象三维模型生成交互方法和装置，显示方法和装置 | |
| CN116642511A (zh) | Ar导航图像渲染方法、装置、电子设备及存储介质 | |
| CN112634439A (zh) | 一种3d信息展示方法及装置 | |
| CN108171802A (zh) | 一种云端与终端结合实现的全景增强现实实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |