CN107703956A - 一种基于惯性捕捉技术的虚拟交互系统及其工作方法 - Google Patents
一种基于惯性捕捉技术的虚拟交互系统及其工作方法 Download PDFInfo
- Publication number
- CN107703956A CN107703956A CN201710897035.3A CN201710897035A CN107703956A CN 107703956 A CN107703956 A CN 107703956A CN 201710897035 A CN201710897035 A CN 201710897035A CN 107703956 A CN107703956 A CN 107703956A
- Authority
- CN
- China
- Prior art keywords
- image
- gondola
- action
- head
- inertia
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000003993 interaction Effects 0.000 title claims abstract description 27
- 230000009471 action Effects 0.000 claims abstract description 64
- 230000033001 locomotion Effects 0.000 claims abstract description 41
- 230000005540 biological transmission Effects 0.000 claims abstract description 36
- 238000007689 inspection Methods 0.000 claims abstract description 25
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 18
- 230000007547 defect Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 16
- 230000000875 corresponding effect Effects 0.000 claims description 10
- 230000005611 electricity Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000011217 control strategy Methods 0.000 claims description 3
- 230000002950 deficient Effects 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012856 packing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000009987 spinning Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000009897 systematic effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 abstract description 10
- 238000011160 research Methods 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 abstract description 2
- 238000012546 transfer Methods 0.000 description 4
- 210000000697 sensory organ Anatomy 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于惯性捕捉技术的虚拟交互系统及其工作方法，本发明通过利用虚拟交互技术和动作捕捉技术相结合，实现用户使用惯性动作来定位场景中的某个模组，从而决定是否与它进行互动；研究虚拟现实与无人机结合的吊舱实时控制技术，实现对输电线路杆塔的准确对焦和智能化采集；研究高清图像的高速传输技术，实现对第一视角巡检工作的有效支撑，提高了在机器人巡检方面的工作效率和工作质量，节约了人力资源成本，为检测工作带来巨大的经济效益。
Description
技术领域
本发明涉及一种基于惯性捕捉技术的虚拟交互系统及其工作方法。
背景技术
一般意义上的人机界面是把操作者与计算机当作两个相互分离的实体，而把界面作为信息传递的载体，用户只能把操作命令输入到计算机之中，然后计算机再把相应的信息与动作反馈出来。此种交互方法中，用户只能和计算机接触，而与所研究的对象很难进行自发地、主动地相互沟通。
目前无人机巡检已成为输电线路巡检的一个重要手段。巡检过程中，无人机携带摄像头进行飞行，由飞手在地面通过遥控装置控制无人机的飞行姿态，由地面操控站工作人员通过电脑控制无人机中摄像头角度并进行拍照并保存在飞机的存储卡中。在飞行结束后将存储卡中的图像传至后台，后台通过对图像的识别进行缺陷的判断。目前采用该工作模式缺陷识别率约在70％左右。距离有人机巡检尚有较大的差距。经过分析，造成识别率低的主要原因在于：
1、摄像头角度、焦距均受制于飞机飞行姿态，通过地面操控站控制摄像头比较繁琐，经常无法获得最优的拍摄角度；
2、考虑到线路安全的原因，无人机需与线路保持至少30米的安全距离，加大了拍摄的难度，影响了照片的清晰度；
3、受拍摄角度、距离、天气等因素影响，照片清晰度及分辨率无法完全满足自动识别要求，直接影响了缺陷识别率。
而有人机巡检则是采用直升机搭载巡检人员，通过人眼+望远镜的方式巡视线路、识别缺陷。在这种模式下，人的巡视自由度比较大，头部转向灵活、定位方便准确，这都是无人机巡检时无法做到的。因此如果能在保持无人机飞行机动性的同时提升摄像头拍摄灵活性，将会大幅提升无人机的巡检效能和实用性。
发明内容
本发明为了解决上述问题，提出了一种基于惯性捕捉技术的虚拟交互系统及其工作方法，本发明利用虚拟交互技术和动作捕捉技术相结合，能够利用人眼的灵活动作来定位场景中的某个模组，从而决定是否与无人机进行互动，同时实现对输电线路杆塔的准确对焦和智能化采集，实现对第一视角巡检工作的有效支撑。
为更好的说明技术方案，先进行如下陈述，虚拟交互系统是把用户和周围环境作为一个整体来看待的，形成一个虚拟的交互环境，用户能够经过感官，如视觉与触觉，与环境之内的物体进行主动的交互动作。
为了实现上述目的，本发明采用如下技术方案：
一种基于惯性捕捉技术的虚拟交互系统，包括虚拟现实设备、动作模型库、图像传输模块、图像全景拼接模块、云台实时控制模块和人机交互模块，其中：
所述虚拟现实设备，被配置为确定运动目标的速度、位置和动作方向，以捕捉操控者的惯性动作，同时，接收并显示人机交互模块传输的图像；
所述动作模型库，被配置为存储有云台/吊舱的上下方向动作、云台/吊舱的左右方向动作、云台/吊舱的远近方向动作、云台/吊舱的旋转动作、云台/吊舱的定位动作以及云台/吊舱的定位或关闭动作的模板模型；
所述图像传输模块，被配置为接收并传输无人机采集的输电线路图像；
所述图像全景拼接模块，被配置为对输电线路图像进行特征点提取、特征点匹配和图像融合，得到输电线路状态全景图像；
所述云台实时控制模块，被配置为对杆塔、云台和吊舱设备进行坐标系间的对应关系与参数转换，根据回传的全景图像，将图像目标偏移量转换成惯性转动数据，通过转换参数将采集到的图像偏移量转换成云台的机械控制量和吊舱的控制量；
所述人机交互模块，被配置为采集无人机云台的系统参数、实时视频和缺陷定位信息，并将这些信息按照相应的格式进行打包传输，下发云台实时控制模块确定的云台或/和吊舱控制策略方案，对其进行智能化控制，并将信息反馈给虚拟现实设备。
进一步的，所述虚拟现实设备包括惯性捕捉模块、显示模块和传感器设备，所述传感器设备，包括但不限于陀螺仪、加速度计和/或磁力计，测量运动目标当前的运动状态和角速度状态；所述惯性捕捉模块通过对运动目标在三维空间中的运动进行记录，通过其速度和位置参数获取相关的物理信息，进而进行运动轨迹的模拟，所述显示模块显示图像或视频信息。
进一步的，所述的运动状态包括向前、向后、向上、向下、向左、向右其中的一种或者多种，所述的角速度状态包括加速或者减速。
进一步的，所述虚拟现实设备还包括数据处理单元，接收惯性捕捉模块和传感器设备采集到的运动学信息，当目标在运动时，改变运动目标的位置信息，从而得到运动目标的轨迹，利用惯性导航原理完成运动目标的动作捕捉。
进一步的，所述数据处理单元与动作模型库进行实时数据的传输，读取所有的移动动作模型，将移动动作模型与捕捉到的动作数据结合，实现与模型的匹配，从而驱动云台的运动，最后是模型与捕捉数据匹配，以及让模型能跟着捕捉下来的动作数据一起变化。
进一步的，所述图像传输模块对图像数据进行压缩与格式转换，在保证图像有效性与帧率的前提下，最大化的压缩数据通信通道占比，在地面接收端，利用解码机制完成高清图像的恢复，在图像数据传输过程时，采用不同的数据传输链路传输不同的控制信号。
所述虚拟现实设备为VR或AR头显设备。
基于上述系统的工作方法，包括以下步骤：
(1)利用虚拟现实设备采集到运动目标的运动学信息，完成运动目标的动作捕捉；
(2)将确定的运动目标的空间姿态和动作与存储的动作模型相匹配，识别出动作目标发出的动作指令，并发送给无人机并控制其完成对应的动作；
(3)无人机执行相应的动作，在所能观察到的视线范围内采集场景图像，对图像进行抽帧、量化和解码处理；
(4)利用图像拼接技术进行高压杆塔图像的合成，得到超高分辨率全景图像；
(5)对云台或/和吊舱进行坐标转换，根据回传的全景图像，将图像目标偏移量转换成惯性转动数据，通过转换参数将采集到的图像偏移量转换成云台的机械控制量和吊舱的控制量，以实现保持无人机飞行机动性的同时提升图像采集的灵活性与实时性。
进一步的，所述步骤(1)中，将采集到的原始数据，包括加速度值和角速度值，利用数据融合算法计算出物体空间姿态角，包括翻滚角、俯仰角和/或航向角。
进一步的，所述步骤(3)中，图像处理具体包括：在不影响视觉效果的前提下，对视频进行抽帧处理；将图像的模拟信号用256个像素值进行量化和编码，完成数据信号处理，进而对图像进行反量化处理、帧内预测与帧内补偿处理，恢复视频数据。
进一步的，所述步骤(4)中，对图像进行特征点提取，读取超高分辨率高压杆塔图像，并对图像进行采样缩小；利用双线性插值法将待拼接超高分辨率图像进行采样缩小，对采样缩小后的所有图像利用ORB算法进行特征提取。
进一步的，所述步骤(4)中，利用提取的ORB特征进行最邻近匹配，通过RASANC算法对得到的匹配点对进行筛选，得到粗匹配点对；利用提取的粗匹配点对坐标，计算出在原始超高分辨率图像中的对应坐标，并在原始超高分辨率图像的匹配点对所在的图像块中再次提取ORB特征，进行精确匹配。
进一步的，所述步骤(4)中，利用渐入渐出法对超高分辨率相邻图像进行融合，得到超高分辨率全景图像。
进一步的，所述步骤(5)中，包括：
(1)坐标转换：杆塔、无人机平台、吊舱设备处于三个坐标系中，将杆塔与无人机平台进行结合与转换、无人机平台与吊舱进行结合转换，从而三者直接的递进关联转换；
(2)确定转动量：根据虚拟现实设备现实时显示的巡视视频信息，精确的发现输电线路部件及缺陷位置，定位到部件及缺陷的位置，并启动虚拟设备聚焦功能，实时获取虚拟设备的惯性信息，通过坐标转换映射到吊舱坐标系中，得到吊舱的机械控制量；
(3)基于无人机地面站编码器进行吊舱机械控制量的通信编码，控制量由角度、位置偏移量信息，转换成吊舱的水平、垂直和角速度信息，通过数据控制链路上传至吊舱，驱动吊舱及搭载的可见光采集设备完成图像采集。
进一步的，无人机控制平台配置如下工作：
(1)打开视频路径并设置好参数及视频窗口大小，然后初始化通讯参数，获取无人机实时视频资源并显示。
(2)通过观察实时视频的动态，根据检测模式及用户经验，判断是否接受当前的位置；
(3)分析无人机巡检过程中缺陷定位的技术因素、外部因素以及偶然因素，识别各业务流程节点可能影响缺陷定位精确度的因素，制定应对策略；
(4)通过用户的思维习惯，判断云台调整的位置以及通过视频角度来调整无人机吊舱的位置；
(5)根据用户动作对云台进行方向控制和功能控制，同时，也对无人机的吊舱实时控制，实现对输电线路杆塔的准确对焦和智能化采集。
与现有技术相比，本发明的有益效果为：
(1)本发明提高工作效率，节约成本支出，提高了在机器人巡检方面的工作效率和工作质量，节约了人力资源成本，为检测工作带来巨大的经济效益。
(2)加快技术创新能力，提升应用水平，攻克一批虚拟现实交互操作的核心关键技术，在感知、传输、处理、应用等技术领域取得重要研究成果。
(3)实现操作智能化，确保运检安全，推动用户使用机器人、无人机等智能设备的意愿，促进我国机器人产业的健康持续发展，从而为减少安全事故，降低机器人出错率做出贡献。
(4)优化用户体验，促进新技术推广应用，用户能够经过感官(视觉与触觉)与环境之内的物体进行主动的交互动作，这种基于虚拟现实的人机交互模式，相对于传统意义上的人机交互界面在技术上有了很大的进步。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1虚拟交互软件架构图；
图2惯性动作采集及控制模型流程图；
图3基于惯性动作捕捉技术的虚拟交互平台系统实时控制结构图；
图4基于惯性动作捕捉技术的虚拟交互平台硬件架构设计图；
图5 H.264编码图；
图6 H.264解码图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本发明中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本发明各部件或元件结构关系而确定的关系词，并非特指本发明中任一部件或元件，不能理解为对本发明的限制。
本发明中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本发明中的具体含义，不能理解为对本发明的限制。
正如背景技术所介绍的，现有技术中存在无人机巡检受到角度、聚焦和线路安全等多种因素的限制，其工作模式缺陷识别率约在70％左右，距离有人机巡检尚有较大的差距的不足，为了解决如上的技术问题，本申请提出了一种基于惯性捕捉技术的虚拟交互系统及其工作方法，本发明提供了逼真的、智能的、具有可交互性、可扩展性的三维可视互动操作环境；研究VR/AR头显设备对高清摄像头的云台操作控制技术，实现用户使用惯性动作来定位场景中的某个模组，从而决定是否与它进行互动；研究虚拟现实与无人机结合的吊舱实时控制技术，实现对输电线路杆塔的准确对焦和智能化采集；研究高清图像的高速传输技术，实现对第一视角巡检工作的有效支撑。
一种典型的实施例，如图1所示，一种基于惯性捕捉技术的虚拟交互系统是把用户和周围环境作为一个整体来看待的，采用相关的硬件设施与软件形成一个虚拟的交互环境，用户能够经过感官(视觉与触觉)与环境之内的物体进行主动的交互动作。其特征在于：VR头显装置、动作捕捉模块、动作模型库、图像传输模块、图像全景拼接模块、云台实时控制模块、人机交互模块。
所述VR头显装置，是一种综合计算机图形技术、多媒体技术、传感器技术、人机交互技术、网络技术、立体显示技术以及仿真技术等多种科学技术综合发展起来的计算机领域的最新设备。
所述惯性捕捉模块，是通过对物体在三维空间中的运动进行记录，通过其速度、位置等参数获取相关的物理信息，进而进行运动轨迹的模拟。采用这种技术，被追踪目标需要在VR头显设备上佩戴集成加速度计，陀螺仪和磁力计等惯性传感器设备，这是一整套的动作捕捉系统，需要多个元器件协同工作，其由惯性器件和数据处理单元组成。
陀螺仪、加速度计和磁力计等惯性传感器设备：用于测量设备当前运动状态和角速度状态，所述的运动状态包括向前、向后、向上、向下、向左、向右其中的一种或者多种，所述的角速度状态包括加速或者减速。
数据处理单元，是利用惯性器件采集到的运动学信息，当目标在运动时，这些元器件的位置信息被改变，从而得到目标运动的轨迹，之后再通过惯性导航原理便可完成运动目标的动作捕捉。
数据处理单元还与动作模型库进行实时数据的传输，所有的移动动作模型我们存储在动作模块数据库中，为了让捕捉到的动作数据来驱动云台控制，我们需要将模型与捕捉到的动作数据结合，实现与模型的匹配，从而驱动云台的运动，最后是模型与捕捉数据匹配，以及让模型能跟着捕捉下来的动作数据动起来。
动作模型库包括云台/吊舱的上下方向动作、云台/吊舱的左右方向动作、云台/吊舱的远近方向动作、云台/吊舱的旋转动作、云台/吊舱的定位动作以及云台/吊舱的定位、关闭动作。
图像传输模块，是在无人机巡检过程中通过通讯系统回传的图像资料，实时展示输电线路状态。输电线路通常地理位置偏僻，公用通信网络覆盖率较差，而无人机巡检对数据传输的质量、实时性要求较高，无法通过公用通信网络完成数据传输任务。为实现高质量的巡检通信，满足VR设备的显示需求，需架设巡检专用的数据通信网络，完成视频数据的实时传输。
为实现高清图像的实时传输，对图像数据进行压缩与格式转换，在保证图像有效性与帧率的前提下，最大化的压缩数据通信通道占比。在地面接收端，利用解码机制完成高清图像的恢复。在图像数据传输过程时，与无人机控制信号、云台控制信号等数据，采用不同的数据传输链路，即开辟专门的高清图像传输链路。在进行VR设备显示时，只需显示机载端下行数据链的数据。
图像全景拼接模块，采用普通的数字成像设备无法一次拍摄全景且超高分辨率的图像。利用图像拼接技术可以顺利解决上述问题，成功实现超高分辨率高压杆塔图像的合成。全景图像拼接技术主要涉及特征点提取、特征点匹配和图像融合技术三方面，其中特征点的提取效果直接影响后期图像拼接效果。
云台实时控制模块，杆塔、无人机平台、吊舱设备处于三个坐标系中，要完成对无人机吊舱的控制，首先，计算三个坐标系间的对应关系与转换参数；其次，根据回传的图像，将图像目标偏移量由VR设备转换成惯性转动数据；最后，通过转换参数将采集到的图像偏移量转换成云台的机械控制量。云台控制量通过地面站进行逻辑编码，并由数据发射设备传输至机载端，由机载机器码解码控制量，完成吊舱的控制。
人机交互模块，通过高清图像的高速传输通讯通道采集无人机云台的系统参数、实时视频和缺陷定位信息，并将这些信息按照相应的格式进行打包传输。人机交互平台并通过该通道下发云台/吊舱控制策略方案，对其进行智能化控制。
如图3所示，一种基于惯性捕捉技术的虚拟交互系统的工作方法，包括以下步骤：
步骤一、惯性动作捕捉，采集惯性传感器设备的数据信息，被追踪目标需要在VR头显设备上佩戴集成加速度计，陀螺仪和磁力计等惯性传感器设备，这是一整套的动作捕捉系统，需要多个元器件协同工作，其由惯性器件和数据处理单元组成，数据处理单元利用惯性器件采集到的运动学信息，当目标在运动时，这些元器件的位置信息被改变，从而得到目标运动的轨迹，之后再通过惯性导航原理便可完成运动目标的动作捕捉。
将采集到的原始数据如加速度值、角速度值等传输到微处理器核心中，经过数据融合算法计算出物体空间姿态角如翻滚角、俯仰角、航向角(欧拉角表示形式)等。再将众多传感器节点处的数据汇总传输到动作模型库中进行处理。
步骤二、如图2所示，动作存储及模型匹配，所有的移动动作模型我们存储在动作模块数据库中，为了让捕捉到的动作数据来驱动云台控制，我们需要将模型与捕捉到的动作数据结合，实现与模型的匹配，从而驱动云台的运动。机器人将危险环境的信息传送给控制者，控制者根据信息做出各种动作，运动捕捉系统将动作捕捉下来，实时传送给机器人并控制其完成同样的动作。
步骤三、图像的采集与传输，通过视频采集装置采集所能观察到的视线范围内的场景图像。输电线路通常地理位置偏僻，公用通信网络覆盖率较差，而无人机巡检对数据传输的质量、实时性要求较高，无法通过公用通信网络完成数据传输任务。为实现高质量的巡检通信，满足VR设备的显示需求，需架设巡检专用的数据通信网络，完成视频数据的实时传输。
为实现输电线路图像在VR设备上的高清、快速展示，利用H.246图像压缩技术对高清图像与视频进行压缩编码与解码，如图5、图6所示，主要包括：
1)抽帧处理：在不影响视觉效果的前提下，对视频进行抽帧处理；
2)图像量化：将图像的模拟信号用256个像素值进行量化、编码，完成数据信号处理。
3)视频解码：对图像进行反量化处理、帧内预测与帧内补偿处理，恢复视频数据。
步骤四、图像的拼接与实时展示，采用普通的数字成像设备无法一次拍摄全景且超高分辨率的图像。利用图像拼接技术可以顺利解决上述问题，成功实现超高分辨率高压杆塔图像的合成。
(1)特征点提取
首先读取超高分辨率高压杆塔图像，并对图像进行采样缩小；利用双线性插值法将待拼接超高分辨率图像进行采样缩小。然后对采样缩小后的所有图像利用ORB算法进行特征提取。ORB特征采用了Oriented FAST特征点检测算子以及Rotated BRIEF特征描述子。ORB算法不仅具有SIFT特征的检测效果，而且还具有旋转、尺度缩放、亮度变化不变性等方面的特性，最重要的是其时间复杂度比SIFT有了大大的减少，使得ORB算法在高清图像拼接以及实时视频图像拼接方面有了很大的应用前景。
(2)特征点匹配
利用提取的ORB特征进行最邻近匹配，通过RASANC算法对得到的匹配点对进行筛选，得到粗匹配点对。利用提取的粗匹配点对坐标，计算出在原始超高分辨率图像中的对应坐标，并在原始超高分辨率图像的匹配点对所在的图像块中再次提取ORB特征，进行精确匹配。最后计算相邻图像间的变换矩阵H。
(3)图像融合
利用渐入渐出法对超高分辨率相邻图像进行融合，得到超高分辨率全景图像，拼接结束。
步骤五、云台实时控制，对云台/吊舱的实时控制主要包括以下几个步骤：
(4)坐标转换。杆塔、无人机平台、吊舱设备处于三个坐标系中，将杆塔(即大地坐标)与无人机平台进行结合与转换、无人机平台与吊舱进行结合转换，从而三者直接的递进关联转换。
(5)确定转动量。操控人员根据虚拟现实设备现实时显示的巡视视频信息，精确的发现输电线路部件及缺陷位置。定位到部件及缺陷的位置，并启动虚拟设备聚焦功能，实时获取虚拟设备的惯性信息，通过坐标转换映射到吊舱坐标系中，得到吊舱的机械控制量。
(6)信息传输。基于无人机地面站编码器进行吊舱机械控制量的通信编码，控制量由角度、位置偏移量信息，转换成了吊舱的水平、垂直、角速度信息，通过数据控制链路上传至吊舱，驱动吊舱及搭载的可见光采集设备完成图像采集。
步骤六、人机交互模块的具体含义及其工作方式如图4所示：
1)视频显示：平台初始阶段，首先打开视频路径并设置好参数及视频窗口大小，然后初始化通讯参数，获取无人机实时视频资源并显示。
2)信息接收：用户通过观察实时视频的动态，根据用户常规的检测模式及其经验，判断是否接受当前的位置。
3)用户决策：分析无人机巡检过程中缺陷定位的技术因素、外部因素、偶然因素等，识别各业务流程节点可能影响缺陷定位精确度的因素，制定应对策略。
4)思维控制：通过用户的思维习惯，判断云台调整的位置以及通过视频角度来调整无人机吊舱的位置。
5)云台控制：云台的控制是根据用户的头部动作来决定的，头部动作包括上下、左右以及前后方向的移动，也包括旋转、固定等表现型的动作，从而对云台进行方向控制、功能控制。
6)设备控制：云台的控制同时，也对无人机的吊舱实时控制，实现对输电线路杆塔的准确对焦和智能化采集。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (14)
1.一种基于惯性捕捉技术的虚拟交互系统，其特征是：包括虚拟现实设备、动作模型库、图像传输模块、图像全景拼接模块、云台实时控制模块和人机交互模块，其中：
所述虚拟现实设备，被配置为确定运动目标的速度、位置和动作方向，以捕捉操控者的惯性动作，同时，接收并显示人机交互模块传输的图像；
所述动作模型库，被配置为存储有云台/吊舱的上下方向动作、云台/吊舱的左右方向动作、云台/吊舱的远近方向动作、云台/吊舱的旋转动作、云台/吊舱的定位动作以及云台/吊舱的定位或关闭动作的模板模型；
所述图像传输模块，被配置为接收并传输无人机采集的输电线路图像；
所述图像全景拼接模块，被配置为对输电线路图像进行特征点提取、特征点匹配和图像融合，得到输电线路状态全景图像；
所述云台实时控制模块，被配置为对杆塔、云台、吊舱设备进行坐标系间的对应关系与参数转换，根据回传的全景图像，将图像目标偏移量转换成惯性转动数据，通过转换参数将采集到的图像偏移量转换成云台的机械控制量和吊舱的控制量；
所述人机交互模块，被配置为采集无人机云台的系统参数、实时视频和缺陷定位信息，并将这些信息按照相应的格式进行打包传输，下发云台实时控制模块确定的云台或/和吊舱控制策略方案，对其进行智能化控制，并将信息反馈给虚拟现实设备。
2.如权利要求1所述的一种基于惯性捕捉技术的虚拟交互系统，其特征是：所述虚拟现实设备包括惯性捕捉模块、显示模块和传感器设备，所述传感器设备，包括但不限于陀螺仪、加速度计和/或磁力计，测量运动目标当前的运动状态和角速度状态；所述惯性捕捉模块通过对运动目标在三维空间中的运动进行记录，通过其速度和位置参数获取相关的物理信息，进而进行运动轨迹的模拟，所述显示模块显示图像或视频信息。
3.如权利要求2所述的一种基于惯性捕捉技术的虚拟交互系统，其特征是：所述的运动状态包括向前、向后、向上、向下、向左、向右其中的一种或者多种，所述的角速度状态包括加速或者减速。
4.如权利要求1所述的一种基于惯性捕捉技术的虚拟交互系统，其特征是：所述虚拟现实设备还包括数据处理单元，接收惯性捕捉模块和传感器设备采集到的运动学信息，当目标在运动时，改变运动目标的位置信息，从而得到运动目标的轨迹，利用惯性导航原理完成运动目标的动作捕捉。
5.如权利要求4所述的一种基于惯性捕捉技术的虚拟交互系统，其特征是：所述数据处理单元与动作模型库进行实时数据的传输，读取所有的移动动作模型，将移动动作模型与捕捉到的动作数据结合，实现与模型的匹配，从而驱动云台的运动，最后是模型与捕捉数据匹配，以及让模型能跟着捕捉下来的动作数据一起变化。
6.如权利要求1所述的一种基于惯性捕捉技术的虚拟交互系统，其特征是：所述图像传输模块对图像数据进行压缩与格式转换，在保证图像有效性与帧率的前提下，最大化的压缩数据通信通道占比，在地面接收端，利用解码机制完成高清图像的恢复，在图像数据传输过程时，采用不同的数据传输链路传输不同的控制信号。
7.基于如权利要求1-6中任一项所述的系统的工作方法，其特征是：包括以下步骤：
(1)利用虚拟现实设备采集到运动目标的运动学信息，完成运动目标的动作捕捉；
(2)将确定的运动目标的空间姿态和动作与存储的动作模型相匹配，识别出动作目标发出的动作指令，并发送给无人机并控制其完成对应的动作；
(3)无人机执行相应的动作，在所能观察到的视线范围内采集场景图像，对图像进行抽帧、量化和解码处理；
(4)利用图像拼接技术进行高压杆塔图像的合成，得到超高分辨率全景图像；
(5)对云台或/和吊舱进行坐标转换，根据回传的全景图像，将图像目标偏移量转换成惯性转动数据，通过转换参数将采集到的图像偏移量转换成云台的机械控制量和吊舱的控制量，以实现保持无人机飞行机动性的同时提升图像采集的灵活性与实时性。
8.如权利要求7所述的工作方法，其特征是：所述步骤(1)中，将采集到的原始数据，包括加速度值和角速度值，利用数据融合算法计算出物体空间姿态角，包括翻滚角、俯仰角和/或航向角。
9.如权利要求7所述的工作方法，其特征是：所述步骤(3)中，图像处理具体包括：在不影响视觉效果的前提下，对视频进行抽帧处理；将图像的模拟信号用256个像素值进行量化和编码，完成数据信号处理，进而对图像进行反量化处理、帧内预测与帧内补偿处理，恢复视频数据。
10.如权利要求7所述的工作方法，其特征是：所述步骤(4)中，对图像进行特征点提取，读取超高分辨率高压杆塔图像，并对图像进行采样缩小；利用双线性插值法将待拼接超高分辨率图像进行采样缩小，对采样缩小后的所有图像利用ORB算法进行特征提取。
11.如权利要求10所述的工作方法，其特征是：所述步骤(4)中，利用提取的ORB特征进行最邻近匹配，通过RASANC算法对得到的匹配点对进行筛选，得到粗匹配点对；利用提取的粗匹配点对坐标，计算出在原始超高分辨率图像中的对应坐标，并在原始超高分辨率图像的匹配点对所在的图像块中再次提取ORB特征，进行精确匹配。
12.如权利要求7所述的工作方法，其特征是：所述步骤(4)中，利用渐入渐出法对超高分辨率相邻图像进行融合，得到超高分辨率全景图像。
13.如权利要求7所述的工作方法，其特征是：所述步骤(5)中，包括：
(1)坐标转换：杆塔、无人机平台、吊舱设备处于三个坐标系中，将杆塔与无人机平台进行结合与转换、无人机平台与吊舱进行结合转换，从而三者直接的递进关联转换；
(2)确定转动量：根据虚拟现实设备现实时显示的巡视视频信息，精确的发现输电线路部件及缺陷位置，定位到部件及缺陷的位置，并启动虚拟设备聚焦功能，实时获取虚拟设备的惯性信息，通过坐标转换映射到吊舱坐标系中，得到吊舱的机械控制量；
(3)基于无人机地面站编码器进行吊舱机械控制量的通信编码，控制量由角度、位置偏移量信息，转换成吊舱的水平、垂直和角速度信息，通过数据控制链路上传至吊舱，驱动吊舱及搭载的可见光采集设备完成图像采集。
14.如权利要求7所述的工作方法，其特征是：无人机控制平台配置包括：
(1)打开视频路径并设置好参数及视频窗口大小，然后初始化通讯参数，获取无人机实时视频资源并显示。
(2)通过观察实时视频的动态，根据检测模式及用户经验，判断是否接受当前的位置；
(3)分析无人机巡检过程中缺陷定位的技术因素、外部因素以及偶然因素，识别各业务流程节点可能影响缺陷定位精确度的因素，制定应对策略；
(4)通过用户的思维习惯，判断云台调整的位置以及通过视频角度来调整无人机吊舱的位置；
(5)根据用户动作对云台进行方向控制和功能控制，同时，也对无人机的吊舱实时控制，实现对输电线路杆塔的准确对焦和智能化采集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710897035.3A CN107703956A (zh) | 2017-09-28 | 2017-09-28 | 一种基于惯性捕捉技术的虚拟交互系统及其工作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710897035.3A CN107703956A (zh) | 2017-09-28 | 2017-09-28 | 一种基于惯性捕捉技术的虚拟交互系统及其工作方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107703956A true CN107703956A (zh) | 2018-02-16 |
Family
ID=61175056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710897035.3A Pending CN107703956A (zh) | 2017-09-28 | 2017-09-28 | 一种基于惯性捕捉技术的虚拟交互系统及其工作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107703956A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109946564A (zh) * | 2019-03-15 | 2019-06-28 | 山东鲁能智能技术有限公司 | 一种配网架空线路巡检数据采集方法及巡检系统 |
| CN111207741A (zh) * | 2020-01-16 | 2020-05-29 | 西安因诺航空科技有限公司 | 一种基于室内视觉vicon系统的无人机导航定位方法 |
| CN111708916A (zh) * | 2020-06-21 | 2020-09-25 | 深圳天海宸光科技有限公司 | 一种无人机集群视频智能化处理系统及方法 |
| CN115468560A (zh) * | 2022-11-03 | 2022-12-13 | 国网浙江省电力有限公司宁波供电公司 | 基于多传感信息融合的质检方法、机器人、设备及介质 |
| CN117389338A (zh) * | 2023-12-12 | 2024-01-12 | 天津云圣智能科技有限责任公司 | 无人机的多视角交互方法、装置及存储介质 |
| CN117873119A (zh) * | 2024-03-11 | 2024-04-12 | 北京数易科技有限公司 | 一种基于虚拟现实的机动装备移动控制方法、系统及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855649A (zh) * | 2012-08-23 | 2013-01-02 | 山东电力集团公司电力科学研究院 | 基于orb特征点的高压杆塔高清图像全景拼接方法 |
| CN104615147A (zh) * | 2015-02-13 | 2015-05-13 | 中国北方车辆研究所 | 一种变电站巡检目标的精确定位方法和系统 |
| CN105222761A (zh) * | 2015-10-29 | 2016-01-06 | 哈尔滨工业大学 | 借助虚拟现实及双目视觉技术实现的第一人称沉浸式无人机驾驶系统及驾驶方法 |
| CN204992418U (zh) * | 2015-09-22 | 2016-01-20 | 南方电网科学研究院有限责任公司 | 一种无人机输电线路缺陷自动巡检装置 |
| US20160035224A1 (en) * | 2014-07-31 | 2016-02-04 | SZ DJI Technology Co., Ltd. | System and method for enabling virtual sightseeing using unmanned aerial vehicles |
| CN105551032A (zh) * | 2015-12-09 | 2016-05-04 | 国网山东省电力公司电力科学研究院 | 一种基于视觉伺服的杆塔图像采集系统及其方法 |
| CN106092054A (zh) * | 2016-05-30 | 2016-11-09 | 广东能飞航空科技发展有限公司 | 一种电力线路识别精准定位导航方法 |
-
2017
- 2017-09-28 CN CN201710897035.3A patent/CN107703956A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855649A (zh) * | 2012-08-23 | 2013-01-02 | 山东电力集团公司电力科学研究院 | 基于orb特征点的高压杆塔高清图像全景拼接方法 |
| US20160035224A1 (en) * | 2014-07-31 | 2016-02-04 | SZ DJI Technology Co., Ltd. | System and method for enabling virtual sightseeing using unmanned aerial vehicles |
| CN104615147A (zh) * | 2015-02-13 | 2015-05-13 | 中国北方车辆研究所 | 一种变电站巡检目标的精确定位方法和系统 |
| CN204992418U (zh) * | 2015-09-22 | 2016-01-20 | 南方电网科学研究院有限责任公司 | 一种无人机输电线路缺陷自动巡检装置 |
| CN105222761A (zh) * | 2015-10-29 | 2016-01-06 | 哈尔滨工业大学 | 借助虚拟现实及双目视觉技术实现的第一人称沉浸式无人机驾驶系统及驾驶方法 |
| CN105551032A (zh) * | 2015-12-09 | 2016-05-04 | 国网山东省电力公司电力科学研究院 | 一种基于视觉伺服的杆塔图像采集系统及其方法 |
| CN106092054A (zh) * | 2016-05-30 | 2016-11-09 | 广东能飞航空科技发展有限公司 | 一种电力线路识别精准定位导航方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109946564A (zh) * | 2019-03-15 | 2019-06-28 | 山东鲁能智能技术有限公司 | 一种配网架空线路巡检数据采集方法及巡检系统 |
| CN109946564B (zh) * | 2019-03-15 | 2021-07-27 | 国网智能科技股份有限公司 | 一种配网架空线路巡检数据采集方法及巡检系统 |
| CN111207741A (zh) * | 2020-01-16 | 2020-05-29 | 西安因诺航空科技有限公司 | 一种基于室内视觉vicon系统的无人机导航定位方法 |
| CN111708916A (zh) * | 2020-06-21 | 2020-09-25 | 深圳天海宸光科技有限公司 | 一种无人机集群视频智能化处理系统及方法 |
| CN115468560A (zh) * | 2022-11-03 | 2022-12-13 | 国网浙江省电力有限公司宁波供电公司 | 基于多传感信息融合的质检方法、机器人、设备及介质 |
| CN117389338A (zh) * | 2023-12-12 | 2024-01-12 | 天津云圣智能科技有限责任公司 | 无人机的多视角交互方法、装置及存储介质 |
| CN117389338B (zh) * | 2023-12-12 | 2024-03-08 | 天津云圣智能科技有限责任公司 | 无人机的多视角交互方法、装置及存储介质 |
| CN117873119A (zh) * | 2024-03-11 | 2024-04-12 | 北京数易科技有限公司 | 一种基于虚拟现实的机动装备移动控制方法、系统及介质 |
| CN117873119B (zh) * | 2024-03-11 | 2024-05-28 | 北京数易科技有限公司 | 一种基于虚拟现实的机动装备移动控制方法、系统及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107703956A (zh) | 一种基于惯性捕捉技术的虚拟交互系统及其工作方法 | |
| CN108139799B (zh) | 基于用户的兴趣区(roi)处理图像数据的系统和方法 | |
| CN106485736A (zh) | 一种无人机全景视觉跟踪方法、无人机以及控制终端 | |
| US20180190014A1 (en) | Collaborative multi sensor system for site exploitation | |
| CN106657923B (zh) | 基于位置的场景切换式共享观景系统 | |
| CN107071389A (zh) | 航拍方法、装置和无人机 | |
| CN106020234B (zh) | 一种无人机飞行控制的方法、装置及设备 | |
| CN103024350A (zh) | 一种双目ptz视觉系统的主从跟踪方法及应用该方法的系统 | |
| CN109164829A (zh) | 一种基于力反馈装置和vr感知的飞行机械臂系统及控制方法 | |
| CN112419233B (zh) | 一种数据标注方法、装置、设备以及计算机可读存储介质 | |
| CN108259827B (zh) | 一种实现安防的方法、装置、ar设备及系统 | |
| CN106060523B (zh) | 全景立体图像采集、显示方法及相应的装置 | |
| CN103543827A (zh) | 基于单个摄像机的沉浸式户外活动交互平台的实现方法 | |
| CN106657792B (zh) | 共享式观景装置 | |
| CN109062407A (zh) | 基于vr技术的远程移动终端三维显控系统和方法 | |
| CN111208842B (zh) | 一种虚拟无人机与实体无人机混合集群任务控制系统 | |
| CN103716399A (zh) | 基于无线网络的远程交互果实采摘协同异步控制系统及方法 | |
| CN108650522A (zh) | 基于自动控制的可即时获取高清照片的直播系统 | |
| CN114586548B (zh) | 一种虚拟远程水果采摘系统及方法 | |
| CN112815923A (zh) | 视觉定位方法和装置 | |
| CN112669469B (zh) | 基于无人机和全景相机的发电厂虚拟漫游系统及方法 | |
| CN114972818A (zh) | 一种基于深度学习与混合现实技术的目标锁定系统 | |
| CN114281100A (zh) | 一种不悬停无人机巡检系统及其方法 | |
| CN110009595A (zh) | 一种图像数据处理方法、装置、图像处理芯片及飞行器 | |
| CN109709975A (zh) | 一种基于视觉slam的四旋翼飞行器室内安防系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 250101 block B, Yinhe building, 2008 Xinjie street, hi tech Zone, Ji'nan, Shandong. Applicant after: Shandong Luneng Intelligent Technology Co., Ltd. Applicant after: Electric Power Research Institute of State Grid Shandong Electric Power Company Applicant after: State Grid Corporation of China Address before: 250101 B block 626, Yinhe building, 2008 Xinjie street, Ji'nan high tech Zone, Shandong. Applicant before: Shandong Luneng Intelligent Technology Co., Ltd. Applicant before: Electric Power Research Institute of State Grid Shandong Electric Power Company Applicant before: State Grid Corporation of China |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 250101 Electric Power Intelligent Robot Production Project 101 in Jinan City, Shandong Province, South of Feiyue Avenue and East of No. 26 Road (ICT Industrial Park) Applicant after: National Network Intelligent Technology Co., Ltd. Applicant after: Electric Power Research Institute of State Grid Shandong Electric Power Company Applicant after: State Grid Co., Ltd. Address before: 250101 block B, Yinhe building, 2008 Xinjie street, hi tech Zone, Ji'nan, Shandong. Applicant before: Shandong Luneng Intelligent Technology Co., Ltd. Applicant before: Electric Power Research Institute of State Grid Shandong Electric Power Company Applicant before: State Grid Corporation |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210225 Address after: Room 902, 9 / F, block B, Yinhe building, 2008 Xinluo street, high tech Zone, Jinan City, Shandong Province, 250101 Applicant after: Shandong Luneng Software Technology Co.,Ltd. intelligent electrical branch Applicant after: ELECTRIC POWER RESEARCH INSTITUTE OF STATE GRID SHANDONG ELECTRIC POWER Co. Applicant after: STATE GRID CORPORATION OF CHINA Address before: 250101 power intelligent robot production project 101 south of Feiyue Avenue and east of No.26 Road (in ICT Industrial Park) in Suncun District of Gaoxin, Jinan City, Shandong Province Applicant before: National Network Intelligent Technology Co.,Ltd. Applicant before: ELECTRIC POWER RESEARCH INSTITUTE OF STATE GRID SHANDONG ELECTRIC POWER Co. Applicant before: STATE GRID CORPORATION OF CHINA |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180216 |