CN113658263B - 基于视觉场景的电磁干扰源可视化标注方法 - Google Patents

基于视觉场景的电磁干扰源可视化标注方法 Download PDF

Info

Publication number
CN113658263B
CN113658263B CN202110673992.4A CN202110673992A CN113658263B CN 113658263 B CN113658263 B CN 113658263B CN 202110673992 A CN202110673992 A CN 202110673992A CN 113658263 B CN113658263 B CN 113658263B
Authority
CN
China
Prior art keywords
electromagnetic interference
interference source
space
positioning
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110673992.4A
Other languages
English (en)
Other versions
CN113658263A (zh
Inventor
刘卫东
白亚坤
金梦哲
孙晨阳
方庆园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shijiazhuang Tiedao University
Original Assignee
Shijiazhuang Tiedao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shijiazhuang Tiedao University filed Critical Shijiazhuang Tiedao University
Priority to CN202110673992.4A priority Critical patent/CN113658263B/zh
Publication of CN113658263A publication Critical patent/CN113658263A/zh
Application granted granted Critical
Publication of CN113658263B publication Critical patent/CN113658263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本发明公开了一种基于视觉场景的电磁干扰源可视化标注方法，所述方法包括如下步骤：利用TDOA定位原理求解出电磁干扰源在天线阵列即电磁干扰源定位空间系统中的坐标；获取到相机的内参矩阵K和畸变系数；在天线阵列中放置用于求解相机位姿的ArUco标识控制点，记录其在天线阵列即电磁干扰源定位空间系统坐标系中的3D空间坐标；使用相机的畸变系数、内参矩阵K和4组控制点的2D‑3D点对坐标使用P3P方法计算出相机在天线阵列中的位姿R、t；求解出电磁干扰源在场景图像中的像素坐标。所述方法可以对电磁干扰源进行可视化标注，有利于对实时场景中电磁干扰源，如静电放电源进行快速定位和成因分析。

Description

基于视觉场景的电磁干扰源可视化标注方法
技术领域
本发明涉及电磁干扰技术领域，尤其涉及一种基于视觉场景的电磁干扰源可视化标注方法。
背景技术
为了实现对静电放电源的准确定位，泰国宋卡王子大学的Kittikhun Thongpull等人在ESD检测器的基础上，结合无线传感网络，研究了基于接收信号强度(ReceivedSignal Strength Indication，RSSI)的静电放电定位方法，并将其用于在硬盘生产车间内对静电放电源进行实时监测和定位。RSSI方法是一种将测得的信号强度采用经验模型模拟信号路径耗损，计算目标距离，进而利用定位算法得到目标位置的定位方法。该定位方法的显著优势是不必高速测量静电放电信号的全时域波形，只需要获得信号强度信息即可，大大降低了数据计算量和测试设备的成本，但由此付出的代价就是RSSI定位方法的定位精度较低，稳定性较差。在开展的模拟实验测试中，对于一个1.5m×1.5m的小型被监测区域，需要通过多次测量并取平均值来降低其定位误差，此时的平均定位误差大于10cm，且随着被监测区域的扩大，该定位误差还会进一步增大。这主要是由于RSSI参数对室内复杂环境的适应能力较弱，容易受电磁辐射信号反射、多径传播、衰减、绕射等因素的影响，通过增加无线传感器节点，在一定程度上可以提高RSSI的定位精度，但这也进一步增加了定位系统的复杂性和设备成本。
与RSSI定位方法不同，基于到达时差(Time Difference Of Arrival，TDOA)的定位方法具有较高的定位精度和较大的区域覆盖能力，该方法在高压局部放电等瞬态电磁干扰源的空间定位中已得到广泛应用。比如，日本Osaka大学的A.Tungkanawanich等人曾利用4个电容加载式宽带测试天线组成“Y”型阵列，基于TDOA方法对水平距离约6米处的局部放电源实现了空间定位；英国Strathclyde大学的P.J.Moore等人通过改进时延估计算法，在实验室内对水平距离约25米处的局部放电源实现了二维定位，并利用自行研制的4元宽带接收天线阵列在户外实现了15米以内局部放电源的空间定位。在此基础上，P.J.Moore等人还相继开发出了4元可移动车载式、6元可移动分布式等变电站局部放电监测系统，可以有效实现对数十米区域范围内局部放电源的空间定位。
综上所述，基于电磁辐射RSSI或TDOA信息构建静电放电空间定位系统在原理和技术上是可行的，但两者在实际应用中也各有优劣：前者对测试系统的硬件配置要求较低，但其定位精度也相对较低；后者的定位精度相对较高，但通常需要高速数据采样作为支撑，对测试系统的硬件要求较高。特别是对于静电放电这种频率高、频谱范围宽的瞬态脉冲信号，在实际工程应用中，受测试系统硬件配置等因素的制约，使用高速采样对其进行多通道的实时和同步数据采集具有较大难度。因此，在构建静电放电在线监测和定位系统时，如何平衡定位精度与数据采样速率之间的矛盾也是一个值得深入研究的现实问题。
此外，基于RSSI或TDOA等定位方法求解得到的定位结果通常只是目标在三维空间中的坐标值，这样的定位结果在监测现场并不能直接得到目标位置的直观与实时显示，从计算得到定位结果到最终排查定位到实际的静电放电源位置还需要一个测量过程并花费大量时间，且在此过程中还会引入额外的定位测量误差，导致定位精度下降。更加值得注意的是，与其它类型的瞬态电磁干扰源不同，静电放电的产生往往是一个动态过程，在静电的产生积累和静电放电过程中，接触分离、周围环境突变等动态过程普遍存在，即参与静电放电的各个对象随时间变化往往会发生位置等方面的相对改变。而目前常见的目标定位方法，受信号传输延迟、计算速度、定位排查等因素的制约，在定位过程中不可避免的存在一定的时间滞后性。对于接触分离、周边环境突变等动态过程所引发的静电放电现象，现有定位方法的非实时性容易导致对静电放电发生位置、参与对象等关键因素的误判，不利于科学分析静电放电的成因。
发明内容
本发明所要解决的技术问题是如何提供一种可在实时场景中对电磁干扰源进行可视化标注，快速定位电磁干扰源发生位置及其场景信息的电磁干扰源可视化标注方法。
为解决上述技术问题，本发明所采取的技术方案是：一种基于视觉场景的电磁干扰源可视化标注方法，其特征在于包括：
在待监测的场景中布设用于捕捉电磁干扰源脉辐射信号的天线阵列，利用TDOA定位原理求解出电磁干扰源在天线阵列即电磁干扰源定位空间系统中的坐标；
对用于对待监测场景的图像信息进行采集的相机进行标定，获取到相机的内参矩阵K和畸变系数；
在天线阵列中放置用于求解相机位姿的ArUco标识控制点，记录其在天线阵列即电磁干扰源定位空间系统坐标系中的3D空间坐标，使用相机拍摄含有ArUco标识控制点的场景图像，计算机识别并输出ArUco标识的角点在场景图像中的2D像素坐标，需要4组；
使用相机的畸变系数、内参矩阵K和4组控制点的2D-3D点对坐标使用P3P方法计算出相机在天线阵列中的位姿R、t，将该位姿记为相机的外参；
使用相机内参矩阵K、外参构建投影矩阵P，并将电磁干扰源在3D坐标代入，求解出电磁干扰源在场景图像中的像素坐标，进行标注，将电磁干扰源的三维坐标通过坐标转换映射到二维场景图像上所对应的点处，从而实现对静电放电源发生装置的可视化定位。
采用上述技术方案所产生的有益效果在于：所述方法通过对实时场景信息的回溯和对电磁干扰源位置的图像匹配，可以实现电磁干扰源三维空间位置的可视化实时显示，尤其适合捕获动态过程中形成的电磁干扰现象和研究分析电磁干扰的成因，对于快速定位和排查电磁干扰危险源，准确复现电磁干扰的发生过程，科学分析电磁干扰的成因并进行相应的电磁防护加固等具有重要意义，所述系统可用于对电气设备局部放电等瞬态电磁干扰源的在线监测与定位，具有广阔的应用前景。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明实施例所述系统的原理框图；
图2是本发明实施例中基于TDOA来进行空间定位的示意图；
图3是本发明实施例中四元平面阵列示意图；
图4是本发明实施例中高低四元阵列示意图；
图5是本发明实施例中布谷鸟算法流程图；
图6a-图6b是本发明实施例中两种标识的示意图；
图7a-图7b是本发明实施例中后台角点的像素坐标以及标识id的输出结果图；
图8是本发明实施例中信息融合示意图；
图9是本发明实施例中所述系统的实际图；
图10是本发明实施例中所述系统的示意图；
图11是本发明实施例中实验相机标定重投影误差图；
图12是本发明实施例中四元平面阵静电放电源A的脉冲信号波形图；
图13是本发明实施例中四元平面阵静电放电源B的脉冲信号波形图；
图14是本发明实施例中高低四元阵静电放电源A的脉冲信号波形图；
图15是本发明实施例中高低四元阵静电放电源B的脉冲信号波形图
图16是本发明实施例中人工选择控制点对A点标注结果图；
图17是本发明实施例中ArUco码控制点对A点标注结果图；
图18是本发明实施例中人工选择控制点对B点标注结果图；
图19是本发明实施例中ArUco码控制点对B点标注结果图；
图20是本发明实施例中景深因素影响示意图；
图21是本发明实施例中新增2号相机标定重投影误差图；
图22是本发明实施例中有障碍条件下的静电放电源脉冲信号波形图；
图23是本发明实施例中1号相机视角的电磁干扰源标注结果图；
图24是本发明实施例中2号相机视角的电磁干扰源标注结果图；
图25是本发明实施例中不同视角下对同一电磁干扰源进行可视化标注图；
图26是本发明实施例中不同视角下对同一电磁干扰源进行可视化标注图；
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
如图1所示，本发明实施例公开了一种基于视觉场景的电磁干扰源可视化标注方法，包括如下步骤：
在待监测的场景中布设用于捕捉电磁干扰源脉辐射信号的天线阵列，利用TDOA定位原理求解出电磁干扰源在天线阵列即电磁干扰源定位空间系统中的坐标；
对用于对待监测场景的图像信息进行采集的相机进行标定，获取到相机的内参矩阵K和畸变系数；
在天线阵列中放置用于求解相机位姿的ArUco标识控制点，记录其在天线阵列即电磁干扰源定位空间系统坐标系中的3D空间坐标，使用相机拍摄含有ArUco标识控制点的场景图像，计算机识别并输出ArUco标识的角点在场景图像中的2D像素坐标，需要4组；
使用相机的畸变系数、内参矩阵K和4组控制点的2D-3D点对坐标使用P3P方法计算出相机在天线阵列中的位姿R、t，将该位姿记为相机的外参；
使用相机内参矩阵K、外参构建投影矩阵P，并将电磁干扰源在3D坐标代入，求解出电磁干扰源在场景图像中的像素坐标，进行标注，将电磁干扰源的三维坐标通过坐标转换映射到二维场景图像上所对应的点处，从而实现对静电放电源发生装置的可视化定位。
进一步的，视频图像采集包括多个摄像机，通过所述多个摄像机构建一个多视角且具有较大区域覆盖能力的视频图像信息采集系统，对被监测区域内的动态场景进行实时采集和记录；所述视频图像采集系统基于时间同步原理，根据静电放电发生的时间T，计算得到其对应的视频帧数N，据此回溯并提取得到第N帧以及第N帧前后所对应的视频图像，由此得到反映静电放电发生时及其发生前后所对应的实时场景信息。
进一步的，所述电磁干扰源空间定位系统结合时延估计信息以及根据接收天线阵列所建立的空间定位模型，利用双曲面体交汇或智能搜索迭代求解方法，计算得到静电放电源发生装置的空间三维坐标。
所述电磁干扰源空间定位系统的定位坐标系与视频图像采集系统繁荣视觉坐标系的信息融合方法如下：以电磁干扰源定位空间下的三维坐标系作为整个可视化标注系统的基准坐标系，即世界坐标系；通过在电磁干扰源空间定位系统的四元天线阵列中布置控制点，使得视频图像采集系统中相机拍摄到含有控制点的场景信息，估计出相机相对于电磁干扰源定位坐标系的相对位姿情况，即获得相机相对于可视化标注系统的相对位姿情况；进而将通过四元天线阵列得到的电磁干扰源空间坐标数据和通过P3P位姿估计方法得到的相机位姿数据进行融合。
基于布谷鸟优化算法的电磁干扰源空间定位方法的流程如下：
输入高低四元天线阵列的几何关系参数：相邻天线直接的水平距离L，高低位天线的垂直距离差h，以1号位天线为基准的时延τi1，构建最小适应度函数；
输入最小适应度函数，确定布谷鸟算法中的控制参数，运行算法，得到电磁干扰源三维空间定位结果。
四元天线阵列电磁干扰源空间定位算法原理：
如图2所示，假设在空间中存在一静电放电源S(x，y，z)，两根天线的坐标分别为M1(x1，y1，z1)和M2(x2，y2，z2)；d1、d2分别表示静电放电源到两根天线的距离；静电放电源到达两根检测天线的时间差τ12，电磁波在空中的传播速度为c；则有如下关系：
上式是基于两根天线的情况下，所有满足该时延条件下的所有点的集合；在此原理的基础上，通过增加天线的数量，对目标点的集合增加更多的约束，进而获取到目标点的三维坐标；
在四元定位的模型中，其中最简单的模型就是四元平面十字阵。现在以该阵型为例，对四元空间定位方法的原理进行说明。首先需要在电磁干扰源定位空间中构建一个三维坐标系，四个天线阵元分别位于正方形的四个顶点位置，以正方形的中心为坐标系原点(如图3所示)。
其中，Mi表示四元十字平面阵的天线位置所在，相邻两根天线之间的距离为L，那么在电磁干扰源定位空间中，各个天线的坐标依次为(L/2，L/2，0),(-L/2，L/2，0),(-L/2，-L/2，0),(L/2，-L/2，0)；S(x，y，z)为电磁干扰源，与坐标原点o的距离为r，到M1天线的距离用R1表示，d12、d13、d14分别为电磁波传播距离差，时延用τij表示，i和j分别表示天线的编号；电磁波在空气中的传播速度为c＝3×108m/s；
结合上式的介绍以及四元平面十字阵的空间几何关系，可以构建如下的空间约束关系。
结合空间几何中的三角形余弦定理，通过对上面方程求解得到下述结果：
上述的求解结果是在针对电磁干扰源距离天线阵列较远的情况下得到的，因为在求解的过程中将r和R1做了近似处理，这样的处理在R1＞＞d12，d13，d14的情况下可以使用，但是在电磁干扰源距离阵列较近的情况下x、y的值可以使用，z的值就出现了较大的误差；在上式中z的计算取了绝对值，这是因为四元平面阵在使用时是贴近地面布置的，所以对于z轴负方向的区域就省略了；在实际计算的时候，需要使用dij＝τijc来计算电磁波在阵列中的传播距离差，所以在计算电磁干扰源的空间位置坐标时，还需要提供电磁波在阵列中的时延情况；
四元平面阵的好处在于布置简单，在方位角的估计上具有不错的效果，但是，存在着一些问题，在被测仰角足够大时，精度才会有所提升。它具有一定的盲区，最为明显的盲区就是在z轴方向上，在这个区域由于电磁波到达各个天线的时间差不多，会导致时延为0，对于后续的计算无法进行。在使用四元阵列估计电磁干扰源时还有一个问题，就是电磁波在空气中传播的速度相较于声波的传播速度会快很多，所以声学定位的时候，天线间的相邻距离可以取得小一些，但是在电磁干扰源定位的时候，布局就需要大一些，才能够获取到相对较为明显的时延值，后续才能较为准确的计算空间坐标。尤其是当本申请在室内对电磁干扰源进行定位的时候，往往都是近场或小仰角的情况。最后本申请决定采用高低四元阵列，在平面四元阵列的基础上，将2号位和4号位的天线所在位置升高，这样会在z轴方向上有更多的约束，可以在一定程度上解决上述的问题。
高低四元天线阵列模型：
高低四元阵的阵列模型于四元平面阵列模型比较相似，如图4所示，与四元十字平面阵不同的是高低四元阵是将2号位的天线和4号位的天线水平位置升高相同的高度h，其他保持不变。这样的好处主要体现在通过增加了两根天线的高度，进而增加了对电磁干扰源在z轴上的约束，起到了对z轴上求解结果的修正作用，其空间约束关系如下：
对于上式的求解，若在R1＞＞d12，d14，h的情况下，可以将R1和r近似相等，进而可以估计出仰角和方位角，但是空间目标的三维坐标却很难通过解析求解的方式计算出来。本申请将会会采用区域搜索的方法进行求解，空间区域搜索算法是在已知区域中找到满足约束关系的点。但是由于搜索的空间较大，计算量会相对较大，所以本申请会采用一些加速优化算法。采用该种方法，只要在时延估计准确的情况下，就可以计算出一个较为准确的空间位置。使用搜索方法的好处主要是可以不用直接求解非线性方程组，不需要对方程组进行假设简化，这样即便电磁干扰源距离接收天线阵列较近，也可以获得较好的搜索结果。基于布谷鸟优化算法的定位方法：
基本思想：首先在可行域内随机生成一组点，这些点看作是鸟巢；然后这组点的值带入适应度函数，计算得到的适应度值看作是鸟的健康值，记录这组数值；之后通过更新鸟巢的位置，通过模仿布谷鸟寻找新的鸟巢产卵来实现，记录新一代的鸟的健康值；通过对健康值进行比较，选出最好的结果；同时，在每次更新鸟巢进行产卵的过程中，都有一定的概率被鸟巢的主人发现，发现后，便将该鸟巢对应的数值淘汰；对上述过程不断的迭代，直到满足条件或者收敛为止。不难发现，每个被布谷鸟使用的鸟巢即代表一个可行解，通过不断的迭代对可行解进行更新。
具体的，包括如下步骤：
确定鸟巢更新的数学模型：
上式中的代表的是第t次更新中的第i个解，α为迭代的步长因子，一般情况下取0.01，可以根据实际情况改变，/>表示点对点的乘法；
Y关于莱维随机数的计算方法：
其中，u和v服从标准的正态分布，β的取值在(1，2)的范围内；
步长因子则采用下面的计算方式。
Xb表示目前的最优解；
综上，就可以得到采用莱维飞行模式获得的新的鸟巢的位置，即新的解：
对于正常更新鸟巢位置时的步长因子做如下的调整：
其中，ti表示当前的迭代次数，tmax表示迭代的最大次数，进而鸟巢位置的更新方式得到了如下的改变：
当随机数大于淘汰概率Pa时，就会将该位置淘汰，并在附近重新生成一个新的解：
其中，表示在第t次迭代的两个随机解，ν则是服从[0,1]上的均匀分布，用该方法来替换被发现的位置，而在采用了自适应步长的情况下，对于淘汰位置的更新采用了如下的方法。
β的取值范围在(1，2)的区间内，淘汰概率Pa取为0.25；
以上就是关于布谷鸟优化算法的介绍，关于布谷鸟算法的控制参数，需要注意的是，β的取值最好在(1，2)的区间内，淘汰概率Pa一般取为0.25，即在每次迭代的时候，只有四分之一的鸟巢不会发现布谷鸟的蛋。另外，鸟巢的个数，以及迭代的次数，都需要针对世界的适应度函数来进行调整。如果想要提高结果的精确度，可以通过增加鸟巢的数目来达到效果。此外，关于自适应步长因子中的系数0.001，本申请也需要针对实际情况做调整，才能达到较为理想的条件。
对于本申请实现布谷鸟算法的大致思路如下：
确定算法中的控制参数：鸟巢数量N，解的维度D，可行解的上下限，淘汰概率Pa以及迭代的最大次数；
随机初始化鸟巢的位置，并且计算各个位置的适应度值，更新最优鸟巢的位置Xb以及最优解f；
使用莱维飞行模式更新鸟巢的位置，并将本代的适应度值与上一代进行比较，更新适应度较好的鸟巢位置；
生成随机数与淘汰概率做比较，对淘汰的鸟巢位置进行更新，计算适应度值，再次更新较好的鸟巢位置；
再次迭代，直到达到最大的迭代次数，输出最后的最优鸟巢位置和最优解，所述流程如图5所示；
布谷鸟算法求解电磁干扰源空间位置：
高低四元阵求解电磁干扰源的空间几何关系，构建最小适应度函数，有如下关系：
设将f看作是待求解的目标函数，那问题就转化为：x、y、z在满足各自的区间限制下，求解f的最小值即可，记为fmin，用数学语言描述如下：
其中，x、y、z的限制条件组成了该问题的优化搜索空间Q，即优化算法中可行解的上下限，(x，y，z)对应的就是布谷鸟算法中鸟巢的位置，将f看作最小适应度函数，带入到布谷鸟优化算法模型中进行求解，当f取得最小值时，获得最优解fmin，对应的鸟巢的位置(x，y，z)就是通过布谷鸟算法求解到的电磁干扰源空间位置坐标。
基于布谷鸟优化算法的电磁干扰源空间定位算法的大致流程如下：
1)输入四元高低阵列的几何关系参数：相邻天线直接的水平距离L，高低位天线的垂直距离差h，以1号位天线为基准的时延τi1，构建最小适应度函数；
2)输入最小适应度函数，确定布谷鸟算法中的控制参数，运行算法，得到结果。
通过上述的步骤，便完成使用布谷鸟算法求解高低四元阵定位的电磁干扰源三维空间坐标的模型，解决了使用近似求解导致近场情况下的定位不准的问题。
完成两个坐标系的融合，即估计出相机的位姿，通过P3P的方法需要世界坐标系中已知的四个点来实现。这四个点，可以称为控制点。这四个点的选取需要满足如下的条件：和场景中的其他物体相比具有明显的特征；考虑到相机的位置不同，需要从不同的角度都可以拍摄到；最重要的是它在世界坐标系中的位置坐标要明确。
对于控制点的选取，本申请采用人工设置控制点的方法，来完成相机位姿的估计。可以选择两种方法来实现控制点的选取：一种是人工筛选，通过事先选择好位置后，放置一张2×2的棋盘格便于人工从图像中点击来选取得到控制点在图像中的像素位置，而后，通过输入其在电磁干扰源定位坐标系中的三维坐标，来进行相机位姿的计算；另一种方法则是通过布置特殊的类二维码标识，使得计算机在处理图像时，可以自动识别标识，获得控制点在二维图像中的位置，再通过输入其在三维空间中的位置完成相机位姿的计算，两种标识的示意图如图6a-6b所示。
其中，图6b称为ArUco标识，ArUco的全称是Augmented Reality University ofCordoba。其主要用途就是用于相机的位姿估计，具有检测速度快，使用简单的优点，同时也有着较强的鲁棒性。ArUco的本质是一种编码，主要由较宽的黑色边框以及内部的二进制矩阵组成。其中的二进制矩阵主要用于编码的识别、提供错误检测和纠正。标记的大小确定了内部矩阵的大小，例如4×4的标识就有16个bit的大小。每个标识的序号都是确定的，所有的标识根据其规格对应不同的字典。当计算机识别到该标识后，会返回一个标识序列，该序列中包含了两个结果：标识的序号和标识四个角点在图像中的位置。后台角点的像素坐标以及标识id的输出结果如图7a-7b所示。基于上述的描述，使用ArUco标识可以更加轻松的获取到控制点在图像中的像素坐标位置。
基于P3P的信息融合方法：
要想对图像中的电磁干扰源进行最终的标注，需要输入三个信息：电磁干扰源的三维空间坐标、相机的内参和相机在世界坐标系中的位姿。其中，相机内参可以通过对所使用的相机进行标定获取；电磁干扰源的三维空间坐标可以通过基于四元天线阵列的电磁干扰源空间定位方法得到；相机在世界坐标系中的位姿情况则可以通过本章前面提到的P3P模型获得。
相机的内参是针对于相机本身的，不存在与其他模块的融合问题，而电磁干扰源的三维空间坐标和相机的位姿情况则是相对情况下的数据。原因在于使用相机的投影模型对三维空间中的目标点进行变换时，有一个统一的三维世界坐标系，不论是目标点的三维坐标，还是相机的位姿情况都是基于这一个坐标系而言的。而使用前面研究的方法得到的数据则是在各自独立系统下的数据，得到的电磁干扰源三维空间坐标是在电磁干扰源定位空间下的三维坐标系的数据，使用P3P模型得到的相机位姿是在相机位姿估计空间下的三维坐标系的数据，这导致所得到的数据是在不同的坐标系基准下的，无法做到数据的互通及使用。
导致上述问题出现的根本原因是参考的基准坐标系不统一，基于这个问题本申请提出了如下的解决方法：以电磁干扰源定位空间下的三维坐标系作为整个可视化标注系统的基准坐标系，即世界坐标系。通过在四元天线阵列中布置控制点，使得相机拍摄到含有控制点的场景信息，就可以估计出相机相对于电磁干扰源定位坐标系的相对位姿情况，即可以获得相机相对于可视化标注系统的相对位姿情况。进而将通过天线阵列得到的电磁干扰源空间坐标数据和通过P3P估计得到的相机位姿数据进行了融合，信息融合示意图如图8所示。
之所以采取这样的方法是因为相较于相机，电磁干扰源定位所使用的天线系统更为复杂，需要经过人工划定坐标系，测量好位置后，才能使用。而相机的摆放位置则没有太多的约束，相对自由。同时，考虑到在估计相机位姿的时候需要知道摆放的控制点在三维坐标系中的坐标，将控制点摆放在之前布置好的天线阵列中也可以更快更准确的获取到控制点的三维坐标。在实际的应用中，很多时候室内的摄像头都是提前安装好的，在进行电磁干扰源可视化标注的时候，只需人工将天线阵列布置好，在天线阵列形成的坐标系中放好控制点，就可以进行后续的步骤，更加便捷。
电磁干扰源的可视化标注实验测试与验证：
为了模拟电磁干扰源，同时也为了方便测量电磁干扰源的空间坐标，本申请采用了静电放电源，使用静电高压发生器作为电源，通过串联电阻控制放电电流，并与接地端构成了一个尖端模拟放电装置，实验模拟装置实物图(如图9所示)。
使用上述装置，可以方便人工对于静电放电源空间位置的测量，便于对最后的标注效果进行对比。
在电磁干扰源定位模块中，本申请采用四元接收天线阵列作为电磁干扰源的信号接收阵列，同时使用TEKLEDYNELECROY的高速数字存储示波器处理天线接收到的信号。该示波器具有1GHz带宽，20GS/s的采样率，最多支持四通道的信号采集。使用示波器采集数据后，对四通道的信号进行时延估计计算。最后，将估计的时延结果输入电脑中，进行下一步的计算。
对于天线阵列的布置，本申请使用了四元平面阵列和四元高低阵列作为对比。对于四元高低阵列，首先需要对电磁干扰源定位坐标系(世界坐标系)进行确定，之后按照逆时针方向标号(1～4号)摆放天线的位置，天线之间的水平间隔为3m，将2号、4号天线与坐标系xoy平面的垂直距离升高至1m。本申请采用的天线为普通的可伸缩拉杆天线，采用三脚架固定，1、3号天线距离地面0.55m，2、4号天线距离地面1.55m，平面阵列则将四根天线的高度都设为0.55m。则在四元高低阵列中各天线的坐标分别为(1.5，1.5，0)，(-1.5，1.5，1.0)，(-1.5，-1.5，0)，(1.5，-1.5，1.0)，以m为单位。在四元平面阵列中各天线的坐标分别为(1.5，1.5，0)，(-1.5，1.5，0)，(-1.5，-1.5，0)，(1.5，-1.5，0)。使用高频同轴线将天线和示波器相连，使其标号与示波器的通道号相对应。
由于单目相机没有深度的信息显示，考虑到在实际环境中会存在真实目标物被遮挡的情况，本申请采用了两个机位对场景进行拍摄。相机依旧采用第二章中的相机，相机的位置采用随机摆放的方式，同时和电脑相连接。控制点的摆放选择在如下的坐标点：人工选择点(-1.50，-0.30，-0.55)，(-1.50，0.90，-0.55)，(-2.10，0.30，-0.55)，(-2.70，0.30，-0.35)；ArUco控制点(-1.50，0.30，-0.55)，(-2.10，0.90，-0.55)，(-2.10，-0.30，-0.55)，(-2.70，0.38，-0.37)。装置示意图(如图10所示)。
实验的软件系统主要有以下几部分构成：相机标定程序、基于投影模型的可视化标注程序、基于布谷鸟优化算法的电磁干扰源空间三维坐标搜索程序以及基于P3P方法的相机位姿估计程序等。
电磁干扰源可视化标注实验
1)单视角下的电磁干扰源可视化标注实验：
将实验环境搭建好后，由于使用的相机需要手动调整焦距，所以首先对相机的镜头调整焦距，使得拍摄的场景图像足够清晰。调整焦距后，就需要对相机进行重新标定，对相机标定，标定结果如下。
表1实验所用相机标定结果
相机的重投影误差为0.41pixels，图11为重投影误差统计图；使用相机对包含静电放电源和控制点的场景进行拍摄，获取到场景的图像信息。通过获取到控制点在图像中的像素坐标，对相机的位姿进行估计得到如下结果，记录在表2中。
表2控制点选取和相机位姿求解结果
将静电放电源发生装置的尖端放电处分别放置在世界坐标系的(-3.30，0.90，0.80)，(-3.30，2.10，0.20)处，记为静电放电源A和静电放电源B。打开电源产生静电放电后，利用四元接收天线阵列和高速数字存储示波器捕获静电放电源产生的电磁脉冲辐射信号，并对实测信号进行数据采集和存储。四元平面阵下天线接收到的脉冲信号(如图12、13所示)，四元高低阵下天线接收到的脉冲信号(图14、15所示)。
根据示波器接收到的静电放电源的脉冲信号，以1号天线所在的位置为基准，可以得到静电放电源脉冲信号到达各个天线的时延估计结果，结果如表3所示。
表3时延估计结果
从上述表格中可以看出，两种阵型对于时延的差异不是很大，但是考虑到电磁波的传播速度较快，所以在距离差较小的情况下时延的差异也会相对较小。在该精度下的估计出的电磁干扰源三维空间坐标如表4所示。
表4电磁干扰源三维空间定位情况
通过对上述的表格可以看出在理论时延的估计下，静电放电源的三维空间坐标的位置定位相差不多，但是在实测的数据中发现，使用四元平面天线阵列进行定位时，在垂直方向上的坐标定位相较于四元高低天线阵列来说总是存在着一定的差距，更加验证了四元高低接收天线具有一定的优越性，对于垂直方向上的约束更加强一些。经过计算在三维空间中的定位距离误差，也可以发现，在时延估计精度相差不大的情况下，四元高低阵列的空间定位精度也相对较高。对于后续的标记，本申请也采用了精度较高的定位结果来进行标注。
综合上述的数据，本申请完成了该场景下相机模型的构建，并对静电放电源进行标注显示。对于静电放电源A的标注结果(如图16、17所示)，对于静电放电源B的标注结果(如图18、19所示)；
对于标注误差的计算，本申请将参考目标检测中的一种评估方法-交并比(Intersection over Union，IoU)。它指的是在目标检测中预测框和目标框的交叠率，即它们的交集(相交面积)与并集(总面积)的比值。比值越接近1，标注的结果就越理想，在接近0.5的情况下就是较好的标注结果。同时本申请也计算了标注框相交面积与目标标注框面积的比值，记为标注占比率，作为参考。同样比值越接近1，标注的效果越好。表5是对上述标注结果的交叠率、标注占比率的计算结果。
表5电磁干扰源可视化标注交叠率、占比率
从上面的结果可以看到，对于A点的标注交叠比较低，未达到0.5，且最小的交叠比为0.3126，是在人工选择控制点的情况得到的。其标注占比率也未达到0.5。在使用计算机自动识别的ArUco控制点时，交叠率为0.3768，未达到0.5，但是标注占比率为0.5491，超过了0.5。对于B点的标注结果，无论是人工选择控制点还是计算机自动识别ArUco控制点，交叠比的结果都达到了0.6811，标注占比率的结果达到了0.8103。虽然最终的标注结果存在一定的误差，但是无论是交叠比还是标注占比率都在0.5左右，可以标注出有效的场景信息和电磁干扰源。证明了本申请提出的电磁干扰源可视化标注方法具有较好的效果，可以在场景图像中准确的找到电磁干扰源的位置。
此外，对比表3和表4的结果看到，虽然电磁干扰源A的空间定位结果要优于电磁干扰源B，但是，最后的交叠率和占比率却低于电磁干扰源B。这是因为对于空间定位的结果是一个三维空间的距离差，而计算交叠率和占比率是一个经过三维到二维转换后的结果，这是因为景深因素造成的。当一个三维空间中的点映射到二维图像中时，会将景深的信息弱化，另外两个维度上的误差就会被放大。就会出现空间定位上的结果可能会相对较差，但是在图像上标注的结果却相对较好。这也是单目相机的一个弊端。下面，本申请举一个特殊例子对该问题进行进一步的说明，如图20所示。
图20中，电磁干扰源定位位置A相较于电磁干扰源位置B，距离电磁干扰源的真实位置要小很多。但是，将位置A和位置B投影在图片中后，很明显B会和电磁干扰源在图像中的真实位置重合，但是A距离真实位置却会出现一定的偏差。尽管会出现这样的误差，但是当电磁干扰源空间定位的结果足够准确，上述的影响就会很小，甚至忽略。
通过对实验结果的对比分析可见，当前电磁干扰源的可视化标注误差主要来源于接收天线阵列的定位误差，通过优化接收天线阵型和提高时延估计精度等，可以进一步提升电磁干扰源的可视化标注精度。
2)双视角下的电磁干扰源可视化标注实验
通过多次的实验，结合实际工程应用中的情况，从某个视角对场景中的电磁干扰源进行监控时，可能会出现目标物被遮挡的情况，从而导致在该视角下虽然可以实现对电磁干扰源的标注，但却无法从图像上提供关于电磁干扰源的有效信息，进而影响对电磁干扰源类型及其形成原因的分析评估。之所以出现这种情况，是由于在使用单目相机的情况下，会忽略掉场景深度的信息。针对于这种情况，本申请进行了场景模拟与实验测试。同时为了解决这种情况所带来的问题，结合实际工程使用的情况，本申请采用了双视角下对同一个电磁干扰源从不同的视觉角度进行可视化标注。
在另外一个角度新增加了一台相机。其中，前面的相机为1号相机，在场景的左视角位置，新增的相机为2号相机，在场景的右视角位置。下面是新增2号相机的相机标定结果。
表6新增2号相机标定结果
新增2相机的重投影误差为0.38pixels，重投影误差统计图如图21所示。
为了模拟上面提到的场景，本申请在静电放电源发生装置的尖端放电处的前面增加了遮挡物。此时在1号相机拍摄的场景图像中将无法看到静电放电尖端，其标注结果无法提供关于静电放电源的有效信息。而在增设的2号相机拍摄的场景图像中，则可以清楚的看到静电放电的尖端，其标注的结果也将是有效的场景信息。
该次实验中的静电放电源空间位置和静电放电源B的位置相同，接收天线阵列采用四元高低天线阵列，阵列的部署也与单视角下的一致，其他条件也均与单视角相同。
基于上述条件，在该次实验中，天线阵列捕捉到的脉冲信号如图22所示。通过此脉冲信号得到的时延数据为(9，3，-4)，进而得到的电磁干扰源空间坐标为(-3.3047，1.9965，0.1016)。两个视角下的电磁干扰源可视化标注结果如图23以及图24所示。
从图23以及图24两幅标注图像对比来看，1号相机视角下虽然也会对静电放电源尖端进行标注，但不论是使用理论时延还是实测时延的标注结果，都只是标注在了障碍物的表面，无法对障碍物后面的场景进行标注。这就是单视角下单目相机的缺陷，由于无法获取场景的景深信息，当相机与电磁干扰源之间存在障碍物时，就会出现无效化的标注信息。这样的标注信息很明显不能够对后续科研人员研究电磁干扰源的起因提供有利的帮助。但是，通过增设2号相机，从另一个视角来对目标场景进行拍摄取景，就可以获取到障碍物后面的场景信息。在这种视角下对电磁干扰源进行可视化的标注，可以正确的捕捉到电磁干扰源的所在位置，对后续的分许可以提供有效的信息。更重要的是，通过不同视角下对同一个电磁干扰源进行可视化的标注，可以提供更加丰富的场景信息，可以从两个角度对发生静电放电的尖端进行观察，如图25-图26所示，这对于后续的分析也可以提供更多的帮助。
综上，采用双视角的方法对电磁干扰源进行标注可以有效的弥补单视角下因为遮挡物而导致的不能准确对电磁干扰源进行标注的问题。同时由于两个视角的存在，即便是不存在遮挡，也可以实现从不同的角度对电磁干扰源进行观察，也可以提供更加全面的场景信息。这对于后续的科学分析会有较大的帮助，即使在未到达现场的情况下，也可以通过从不同角度对发生电磁干扰的场景进行一个初步的分析。

Claims (6)

1.一种基于视觉场景的电磁干扰源可视化标注方法，其特征在于包括：
在待监测的场景中布设用于捕捉电磁干扰源脉辐射信号的天线阵列，利用TDOA定位原理求解出电磁干扰源在天线阵列即电磁干扰源定位空间系统中的坐标；
对用于对待监测场景的图像信息进行采集的相机进行标定，获取到相机的内参矩阵K和畸变系数；
在天线阵列中放置用于求解相机位姿的ArUco标识控制点，记录其在天线阵列即电磁干扰源定位空间系统坐标系中的3D空间坐标，使用相机拍摄含有ArUco标识控制点的场景图像，计算机识别并输出ArUco标识的角点在场景图像中的2D像素坐标，需要4组；
使用相机的畸变系数、内参矩阵K和4组控制点的2D-3D点对坐标使用P3P方法计算出相机在天线阵列中的位姿R、t，将该位姿记为相机的外参；
使用相机内参矩阵K、外参构建投影矩阵P，并将电磁干扰源在3D坐标代入，求解出电磁干扰源在场景图像中的像素坐标，进行标注，将电磁干扰源的三维坐标通过坐标转换映射到二维场景图像上所对应的点处，从而实现对静电放电源发生装置的可视化定位。
2.如权利要求1所述的基于视觉场景的电磁干扰源可视化标注方法，其特征在于：对待监测场景的图像信息进行采集包括多个摄像机，通过所述多个摄像机构建一个多视角且具有较大区域覆盖能力的视频图像信息采集系统，对被监测区域内的动态场景进行实时采集和记录。
3.如权利要求1所述的基于视觉场景的电磁干扰源可视化标注方法，其特征在于：所述电磁干扰源空间定位系统结合时延估计信息以及根据接收天线阵列所建立的空间定位模型，利用双曲面体交汇或智能搜索迭代求解方法，计算得到电磁干扰源的空间三维坐标。
4.如权利要求1所述的基于视觉场景的电磁干扰源可视化标注方法，其特征在于，基于布谷鸟优化算法的电磁干扰源空间定位方法如下：
输入高低四元天线阵列的几何关系参数：相邻天线直接的水平距离L，高低位天线的垂直距离差h，以1号位天线为基准的时延τi1，构建最小适应度函数；
输入最小适应度函数，确定布谷鸟算法中的控制参数，运行算法，得到电磁干扰源三维空间定位结果。
5.如权利要求4所述的基于视觉场景的电磁干扰源可视化标注方法，其特征在于，所述高低四元天线阵列模型的构建方法如下：
假设在空间中存在一静电放电源S(x，y，z)，两根天线的坐标分别为M1(x1，y1，z1)和M2(x2，y2，z2)；d1、d2分别表示静电放电源到两根天线的距离；静电放电源到达两根检测天线的时间差τ12，电磁波在空中的传播速度为c；则有如下关系：
上式是基于两根天线的情况下，所有满足该时延条件下的所有点的集合；在此原理的基础上，通过增加天线的数量，对目标点的集合增加更多的约束，进而获取到目标点的三维坐标；
以该阵型为例，对四元空间定位方法的原理进行说明，首先需要在电磁干扰源定位空间中构建一个三维坐标系，四个天线阵元分别位于正方形的四个顶点位置，以正方形的中心为坐标系原点：
Mi表示四元十字平面阵的天线位置所在，相邻两根天线之间的距离为L，那么在电磁干扰源定位空间中，各个天线的坐标依次为(L/2，L/2，0),(-L/2，L/2，0),(-L/2，-L/2，0),(L/2，-L/2，0)；S(x，y，z)为电磁干扰源，与坐标原点o的距离为r，到M1天线的距离用R1表示，d12、d13、d14分别为电磁波传播距离差，时延用τij表示，i和j分别表示天线的编号；电磁波在空气中的传播速度为c＝3×108m/s；
结合上式的介绍以及四元平面十字阵的空间几何关系，可以构建如下的空间约束关系；
结合空间几何中的三角形余弦定理，通过对上面方程求解得到下述结果：
上述的求解结果是在针对电磁干扰源距离天线阵列较远的情况下得到的，因为在求解的过程中将r和R1做了近似处理，这样的处理在R1＞＞d12，d13，d14的情况下可以使用，但是在电磁干扰源距离阵列较近的情况下x、y的值可以使用，z的值就出现了较大的误差；在上式中z的计算取了绝对值，这是因为四元平面阵在使用时是贴近地面布置的，所以对于z轴负方向的区域就省略了；在实际计算的时候，需要使用dij＝τijc来计算电磁波在阵列中的传播距离差，所以在计算电磁干扰源的空间位置坐标时，还需要提供电磁波在阵列中的时延情况；
高低四元阵的阵列模型于四元平面阵列模型比较相似，其空间约束关系如下：
6.如权利要求4所述的基于视觉场景的电磁干扰源可视化标注方法，其特征在于，确定布谷鸟算法中的控制参数，运行算法，得到电磁干扰源三维空间定位结果的方法如下：
确定鸟巢更新的数学模型：
上式中的代表的是第t次更新中的第i个解，α为迭代的步长因子，一般情况下取0.01，可以根据实际情况改变，/>表示点对点的乘法；
Y关于莱维随机数的计算方法：
其中，u和v服从标准的正态分布，β的取值在(1，2)的范围内；
步长因子则采用下面的计算方式；
Xb表示目前的最优解；
综上，就可以得到采用莱维飞行模式获得的新的鸟巢的位置，即新的解：
对于正常更新鸟巢位置时的步长因子做如下的调整：
其中，ti表示当前的迭代次数，tmax表示迭代的最大次数，进而鸟巢位置的更新方式得到了如下的改变：
当随机数大于淘汰概率Pa时，就会将该位置淘汰，并在附近重新生成一个新的解：
其中，表示在第t次迭代的两个随机解，ν则是服从[0,1]上的均匀分布，用该方法来替换被发现的位置，而在采用了自适应步长的情况下，对于淘汰位置的更新采用了如下的方法：
β的取值范围在(1，2)的区间内，淘汰概率Pa取为0.25；
对于实现布谷鸟算法的方法如下：
确定算法中的控制参数：鸟巢数量N，解的维度D，可行解的上下限，淘汰概率Pa以及迭代的最大次数；
随机初始化鸟巢的位置，并且计算各个位置的适应度值，更新最优鸟巢的位置Xb以及最优解f；
使用莱维飞行模式更新鸟巢的位置，并将本代的适应度值与上一代进行比较，更新适应度较好的鸟巢位置；
生成随机数与淘汰概率做比较，对淘汰的鸟巢位置进行更新，计算适应度值，再次更新较好的鸟巢位置；
再次迭代，直到达到最大的迭代次数，输出最后的最优鸟巢位置和最优解；
高低四元阵求解电磁干扰源的空间几何关系，构建最小适应度函数，有如下关系：
设将f看作是待求解的目标函数，那问题就转化为：x、y、z在满足各自的区间限制下，求解f的最小值即可，记为fmin，用数学语言描述如下：
其中，x、y、z的限制条件组成了该问题的优化搜索空间Q，即优化算法中可行解的上下限，(x，y，z)对应的就是布谷鸟算法中鸟巢的位置，将f看作最小适应度函数，带入到布谷鸟优化算法模型中进行求解，当f取得最小值时，获得最优解fmin，对应的鸟巢的位置(x，y，z)就是通过布谷鸟算法求解到的电磁干扰源空间位置坐标。
CN202110673992.4A 2021-06-17 2021-06-17 基于视觉场景的电磁干扰源可视化标注方法 Active CN113658263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110673992.4A CN113658263B (zh) 2021-06-17 2021-06-17 基于视觉场景的电磁干扰源可视化标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110673992.4A CN113658263B (zh) 2021-06-17 2021-06-17 基于视觉场景的电磁干扰源可视化标注方法

Publications (2)

Publication Number Publication Date
CN113658263A CN113658263A (zh) 2021-11-16
CN113658263B true CN113658263B (zh) 2023-10-31

Family

ID=78476959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110673992.4A Active CN113658263B (zh) 2021-06-17 2021-06-17 基于视觉场景的电磁干扰源可视化标注方法

Country Status (1)

Country Link
CN (1) CN113658263B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114255285B (zh) * 2021-12-23 2023-07-18 奥格科技股份有限公司 视频与城市信息模型三维场景融合方法、系统及存储介质
KR20230101336A (ko) 2021-12-29 2023-07-06 세메스 주식회사 정전기 가시화 장치
CN115267852B (zh) * 2022-09-27 2023-01-13 北京凯芯微科技有限公司 抗干扰gnss信号处理芯片、接收机和处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015096806A1 (zh) * 2013-12-29 2015-07-02 刘进 智能机姿态测定、全景影像生成及目标识别方法
WO2015154601A1 (zh) * 2014-04-08 2015-10-15 中山大学 一种基于无特征提取的紧致sfm三维重建方法
CN108431736A (zh) * 2015-10-30 2018-08-21 奥斯坦多科技公司 用于身体上姿势接口以及投影显示的系统和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10231614B2 (en) * 2014-07-08 2019-03-19 Wesley W. O. Krueger Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
US9788714B2 (en) * 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
US10317989B2 (en) * 2016-03-13 2019-06-11 Logitech Europe S.A. Transition between virtual and augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015096806A1 (zh) * 2013-12-29 2015-07-02 刘进 智能机姿态测定、全景影像生成及目标识别方法
WO2015154601A1 (zh) * 2014-04-08 2015-10-15 中山大学 一种基于无特征提取的紧致sfm三维重建方法
CN108431736A (zh) * 2015-10-30 2018-08-21 奥斯坦多科技公司 用于身体上姿势接口以及投影显示的系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
摄影测量与遥感学;测绘文摘(01);全文 *

Also Published As

Publication number Publication date
CN113658263A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN113658263B (zh) 基于视觉场景的电磁干扰源可视化标注方法
CN111383285B (zh) 一种基于毫米波雷达与摄像机传感器融合标定方法及系统
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
JP2015201850A (ja) 撮像装置のパラメータ推定方法
EP3818741A1 (en) Method, apparatus and computer program for performing three dimensional radio model construction
CN104346608A (zh) 稀疏深度图稠密化方法和装置
CN113390514B (zh) 一种基于多传感器阵列的三维红外温度测量方法
CN115359130B (zh) 雷达和相机的联合标定方法、装置、电子设备及存储介质
CN113066112B (zh) 一种基于三维模型数据的室内外融合方法及装置
CN107610219A (zh) 一种三维场景重构中几何线索感知的像素级点云稠密化方法
CN109903382A (zh) 点云数据的融合方法及装置
CN114140539A (zh) 一种室内物体的位置获取方法和装置
CN116030208A (zh) 一种真实无人机虚拟仿真输电线路场景搭建方法及系统
CN114460588B (zh) 基于主动式声学成像仪的高精度成像方法
CN114972645A (zh) 一种三维重建方法、装置、计算机设备及存储介质
CN114529615A (zh) 雷达标定方法、装置及存储介质
CN114137564A (zh) 一种室内物体自动标识定位方法和装置
CN113160292B (zh) 一种基于智能移动终端的激光雷达点云数据三维建模装置及方法
CN105139432B (zh) 基于高斯模型的红外弱小目标图像仿真方法
CN114092790A (zh) 一种基于接收信号强度的doa估计方法
CN113532424A (zh) 一种获取多维信息的一体化设备与协同测量方法
CN111263295B (zh) 一种wlan室内定位方法和装置
CN108334697B (zh) 用于评估三维重建软件的仿真实验方法
CN114329724A (zh) 基于视觉的建筑信息模型bim更新方法及系统
CN115103439A (zh) 超宽带视觉辅助定位方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant