CN109634409A - Ar控制方法及分离式ar设备 - Google Patents

Ar控制方法及分离式ar设备 Download PDF

Info

Publication number
CN109634409A
CN109634409A CN201811419071.XA CN201811419071A CN109634409A CN 109634409 A CN109634409 A CN 109634409A CN 201811419071 A CN201811419071 A CN 201811419071A CN 109634409 A CN109634409 A CN 109634409A
Authority
CN
China
Prior art keywords
equipment
data
sensing data
separate type
control instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811419071.XA
Other languages
English (en)
Inventor
徐泽明
王来华
邱春华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Augmented Reality Technology Co Ltd
Original Assignee
Shenzhen Augmented Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Augmented Reality Technology Co Ltd filed Critical Shenzhen Augmented Reality Technology Co Ltd
Priority to CN201811419071.XA priority Critical patent/CN109634409A/zh
Publication of CN109634409A publication Critical patent/CN109634409A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明揭示了一种AR控制方法及分离式AR设备，属于计算机技术领域。该分离式AR设备包括传感器、操作执行模块，所述传感器实时获取传感器数据并上传服务器，然后在接收所述服务器根据所述传感器数据所对应的运动行为而下发的控制指令后，通过所述操作执行模块执行相应的操作。上述AR控制方法及分离式AR设备将传感器数据的处理过程交由性能强大的服务器执行，大大提高了数据处理的效率，并减少了AR设备的硬件需求，实现AR设备的轻量化、微型化，兼顾性能与重量的要求。

Description

AR控制方法及分离式AR设备
技术领域
本发明涉及计算机应用技术领域，特别涉及一种AR控制方法及分离式AR设备。
背景技术
在目前工业应用领域中，工人作业时均依赖双手，双手在作业时往往无法同时查看操作指导说明或记录某些工业参数，即在工人需要查看指导说明或者记录某些工业设备参数时，必须停止操作或者通过其他工人协同作业，这样传统作业模式效率低下、操作不便、人力成本高。
工业AR技术就是为解决上述工业应用痛点而生，但工业AR技术依赖大量运算，由于硬件技术自身所限，目前的AR设备通常需配备大量的硬件模块，以满足AR设备的性能需求，然而这导致AR设备过于庞大，无法实现轻量化、微型化，使性能与重量无法兼顾。
发明内容
为了解决相关技术中的AR设备无法实现性能与重量兼顾的技术问题，本发明提供了一种AR控制方法及分离式AR设备。
第一方面，提供了一种AR控制方法，运行于分离式AR设备，包括：
实时获取传感器数据；
将所述传感器数据上传服务器；
接收所述服务器根据所述传感器数据所对应的运动行为而下发的控制指令，并根据所述控制指令执行相应的操作。
可选的，所述将所述传感器数据上传服务器的方式包括蓝牙、Zigbee、Wi-Fi等。
可选的，所述控制指令为图像显示指令，
所述根据所述控制信息执行相应的操作的步骤具体为：
根据所述图像显示指令，对当前采集的图像数据进行显示。
第二方面，提供了一种AR控制方法，该方法运行于服务器，包括：
接收分离式AR设备上传的传感器数据；
根据所述传感器数据识别对应的运动行为；
根据所述运动行为向所述分离式AR设备发送相应的控制指令。
可选的，所述根据所述传感器数据识别对应的运动行为的步骤包括：
对所述传感器数据进行数据分析，将所述传感器数据转换为姿态数据；
根据所述姿态数据识别对应的运动行为。
可选的，所述根据所述姿态数据识别对应的运动行为的步骤包括：
根据所述姿态数据在三轴方向上的变化；
将所述变化与对各运动行为预设的变化特征进行匹配运算，确定所述变化对应的运动行为。
第三方面，提供了一种分离式AR设备，包括传感器、操作执行模块；
所述传感器实时获取传感器数据并上传服务器，然后在接收所述服务器根据所述传感器数据所对应的运动行为而下发的控制指令后，通过所述操作执行模块执行相应的操作。
可选的，所述操作执行模块包括显示单元，所述显示单元在所述控制指令的控制下对所述控制数据进行显示。
可选的，所述分离式AR设备还包括图像采集模块，所述图像采集模块用于根据所述控制指令进行图像数据的采集。
本发明的实施例提供的技术方案可以包括以下有益效果：
分离式AR设备只需采集传感器数据并上传服务器，对传感器数据的处理由性能强大的服务器执行，大大提高了数据处理的效率，并减少了AR设备的硬件需求，实现AR设备的轻量化、微型化，兼顾性能与重量的要求。。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种AR控制方法的流程图。
图2是根据一示例性实施例示出的另一种AR控制方法的流程图。
图3是根据一示例性实施例示出的一种分离式AR设备100的框图。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种AR控制方法的流程图。该AR控制方法用于AR眼镜等AR设备中。如图1所示，该AR控制方法可以包括步骤S110、步骤S120和步骤S130。
步骤S110，实时获取传感器数据。
步骤S120，将传感器数据上传服务器。
步骤S130，接收服务器根据传感器数据所对应的运动行为而下发的控制指令，并根据控制指令执行相应的操作。
传感器数据是AR设备自身所装设的传感器所采集的运动数据。
例如，通过9轴传感器采集3轴加速度计、3轴陀螺仪、3轴磁力计的值即可获得三个方向的的绝对角速率、加速度以及磁场强度。
AR设备在获取到表征其自身运动的传感器数据后，将传感器数据上传服务器。
将传感器数据上传服务器的方式包括蓝牙、Zigbee、Wi-Fi等。
由于传感器数据为普通文本信息，其数据量在KB甚至字节级别，数据量较小，对于网络性能的要求极小，因此，低功耗的传输方式通常能够满足传感器数据上传的需求。
服务器在接收传感器数据后，将对传感器数据进行数据处理，通过识别传感器数据所对应的运动行为，进而根据运动行为向AR设备发送控制指令。
AR设备接收控制指令后，将根据控制指令执行相应的操作。
例如，控制指令为图像显示指令，AR设备将根据图像显示指令，对当前采集的图像数据进行显示。
通过如上所述的方法，AR设备只需采集传感器数据并上传服务器，对传感器数据的处理由性能强大的服务器执行，大大提高了数据处理的效率，并减少了AR设备的硬件需求，实现AR设备的轻量化、微型化，兼顾性能与重量的要求。
图2是根据一示例性实施例示出的另一种AR控制方法的流程图。该AR控制方法用于服务器、电脑等设备中。如图2所示，该AR控制方法可以包括步骤S210、步骤S220和步骤S230。
步骤S210，接收分离式AR设备上传的传感器数据。
步骤S220，根据传感器数据识别对应的运动行为。
步骤S230，根据运动行为向分离式AR设备发送相应的控制指令。
如前所述的，传感器数据是分离式AR设备自身所装设的传感器所采集的运动数据，分离式AR设备在获取到传感器数据后上传服务器，服务器接收分离式AR设备上传的传感器数据后，将对根据传感器数据识别对应的运动行为。
具体的，步骤S220可包括步骤S221、步骤S222。
步骤S221，对传感器数据进行数据分析，将传感器数据转换为姿态数据。
步骤S222，根据姿态数据识别对应的运动行为。
通过9轴传感器采集3轴加速度计、3轴陀螺仪、3轴磁力计的值即可获得三个方向的的绝对角速率、加速度以及磁场强度，并采用特定姿态解算方法和卡尔曼滤波信息融合得到载体的四元数、姿态数据等。其中姿态数据是由四元数转换而来的欧拉角数据。
姿态数据包括俯仰角(pitch)、偏航角(yaw)和旋转角(roll)，分别代表物体绕坐标系三个轴(x,y,z轴)的旋转角度。
根据数据实时计算姿态数据在三轴方向上的变化，根据实时三轴变化即可判断分离式AR设备的运动行为。
服务器接收传感器数据后将实时解析处理传感器数据，根据传感器数据变化规律解析成为头戴设备即人头部的运动行为，如抬头、低头、摇头、点头。不同的头部运动行为对应不同的操作指令，不同的操作指令可以控制图像采集设备和系统的业务逻辑，如低头可以控制图像采集设备采集视角向下，抬头控制图像采集设备采集视角向上从而达到控制图像采集设备的采集视角；向左扭头可以控制系统执行下一步流程等。
其次也可以根据传感器数据计算人体头部的俯仰角判断当前用户行为，如当前俯仰角大于某个值时判定用户为某种状态，如大于45度则判断为需要查看菜单项目，则系统自动弹出菜单栏，小于45度则认定开始操作，则进入相应的操作界面。其次可以根据使用者的初始位置或者头戴设备添加GPS设备来实时获取使用者位置信息，可以根据使用者所处的位置显示不同的视频画面，如在设备正面时可以播放设备原理讲解视频，并展示设备整体结构。处于设备背面则开始介绍设备，当到达设备首次操作点时，自动进入操作任务。
例如，在一定时间内俯仰角数据瞬间大于某个阈值则可以判断为抬头行为，如低于阈值则判断为低头。向左向右则同理根据偏航角同理计算。摇头则可以根据在一定时间区域内，如果偏航角大小波形为锯齿形，即偏航角大小几乎不变但是方向正负切换时判定为摇头。其中阈值开放给用户自定义，用户可以自己需求的灵敏度设置点头、低头、摇头等行为的阈值。
通过如上所述的方法，AR设备只需采集传感器数据并上传服务器，服务器接收传感器数据实时进行数据处理，由于服务器性能强大，大大减短了数据处理的时间，提高了数据处理效率，并减少了AR设备的硬件需求，实现AR设备的轻量化、微型化，兼顾性能与重量的要求。
下述为本发明分离式AR设备的实施例，可以用于执行本上述AR控制方法实施例。对于本发明分离式AR设备实施例中未披露的细节，请参照本公开AR控制方法实施例。
图3是根据一示例性实施例示出的一种分离式AR设备100的框图，该分离式AR设备100包括但不限于：传感器110、操作执行模块120、图像采集模块130。
传感器110实时获取传感器数据并上传服务器，然后在接收服务器根据传感器数据所对应的运动行为而下发的控制指令后，通过操作执行模块120执行相应的操作。
服务器根据传感器数据识别对应的运动行为已在上述AR控制方法实施例中进行描述，在此不再赘述。
例如，通过操作执行模块120对分离式AR设备进行开关操作。
又例如，操作执行模块包括显示单元，显示单元在控制指令的控制下对图像数据进行显示。
图像采集模块130用于根据控制指令进行图像数据的采集。
图像采集模块130可为摄像头，可以根据需求自定义摄像头，如工业场景则可以采用工业级超高清摄像头。图像采集模块130可以根据需求具体部署，如生产线上方的高清摄像头。
由上述可以看出，分离式AR设备10只需装设传感器、操作执行模块即可实现AR功能需求，在采集传感器数据后上传服务器，通过性能强大的服务器实时进行数据处理，大大减短了数据处理的时间，提高了数据处理效率，并减少了AR设备的硬件需求，实现AR设备的轻量化、微型化，兼顾性能与重量的要求。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (9)

1.一种AR控制方法，其特征在于，所述方法运行于分离式AR设备，所述方法包括：
实时获取传感器数据；
将所述传感器数据上传服务器；
接收所述服务器根据所述传感器数据所对应的运动行为而下发的控制指令，并根据所述控制指令执行相应的操作。
2.根据权利要求2所述的方法，其特征在于，所述将所述传感器数据上传服务器的方式包括蓝牙、Zigbee、Wi-Fi等。
3.根据权利要求1所述的方法，其特征在于，所述控制指令为图像显示指令，
所述根据所述控制信息执行相应的操作的步骤具体为：
根据所述图像显示指令，对当前采集的图像数据进行显示。
4.一种AR控制方法，其特征在于，所述方法运行于服务器，所述方法包括：
接收分离式AR设备上传的传感器数据；
根据所述传感器数据识别对应的运动行为；
根据所述运动行为向所述分离式AR设备发送相应的控制指令。
5.根据权利要求4所述的方法，其特征在于，所述根据所述传感器数据识别对应的运动行为的步骤包括：
对所述传感器数据进行数据分析，将所述传感器数据转换为姿态数据；
根据所述姿态数据识别对应的运动行为。
6.根据权利要求5所述的方法，其特征在于，所述根据所述姿态数据识别对应的运动行为的步骤包括：
根据所述姿态数据在三轴方向上的变化；
将所述变化与对各运动行为预设的变化特征进行匹配运算，确定所述变化对应的运动行为。
7.一种分离式AR设备，其特征在于，包括传感器、操作执行模块；
所述传感器实时获取传感器数据并上传服务器，然后在接收所述服务器根据所述传感器数据所对应的运动行为而下发的控制指令后，通过所述操作执行模块执行相应的操作。
8.根据权利要求7所述的分离式AR设备，其特征在于，所述操作执行模块包括显示单元，所述显示单元在所述控制指令的控制下对所述控制数据进行显示。
9.根据权利要求7所述的分离式AR设备，其特征在于，所述分离式AR设备还包括图像采集模块，所述图像采集模块用于根据所述控制指令进行图像数据的采集。
CN201811419071.XA 2018-11-26 2018-11-26 Ar控制方法及分离式ar设备 Pending CN109634409A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811419071.XA CN109634409A (zh) 2018-11-26 2018-11-26 Ar控制方法及分离式ar设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811419071.XA CN109634409A (zh) 2018-11-26 2018-11-26 Ar控制方法及分离式ar设备

Publications (1)

Publication Number Publication Date
CN109634409A true CN109634409A (zh) 2019-04-16

Family

ID=66069524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811419071.XA Pending CN109634409A (zh) 2018-11-26 2018-11-26 Ar控制方法及分离式ar设备

Country Status (1)

Country Link
CN (1) CN109634409A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103513770A (zh) * 2013-10-09 2014-01-15 中国科学院深圳先进技术研究院 基于三轴陀螺仪的人机接口设备及人机交互方法
CN106066701A (zh) * 2016-07-05 2016-11-02 成都福兰特电子技术股份有限公司 一种ar和vr数据处理设备与方法
CN106095089A (zh) * 2016-06-06 2016-11-09 郑黎光 一种获取感兴趣目标信息的方法
CN106909215A (zh) * 2016-12-29 2017-06-30 深圳市皓华网络通讯股份有限公司 基于精确定位和增强现实的消防作战三维可视化指挥系统
CN207306182U (zh) * 2017-04-26 2018-05-04 左志权 一种基于wifi传输的智能消防头盔装置
CN207337157U (zh) * 2017-11-07 2018-05-08 东莞市芯萌慧显电子科技有限公司 一种消防员红外定位ar显示头盔及消防指挥系统
CN108205197A (zh) * 2016-12-19 2018-06-26 精工爱普生株式会社 显示装置和显示装置的控制方法
US20180321817A1 (en) * 2017-05-02 2018-11-08 Colopl, Inc. Information processing method, computer and program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103513770A (zh) * 2013-10-09 2014-01-15 中国科学院深圳先进技术研究院 基于三轴陀螺仪的人机接口设备及人机交互方法
CN106095089A (zh) * 2016-06-06 2016-11-09 郑黎光 一种获取感兴趣目标信息的方法
CN106066701A (zh) * 2016-07-05 2016-11-02 成都福兰特电子技术股份有限公司 一种ar和vr数据处理设备与方法
CN108205197A (zh) * 2016-12-19 2018-06-26 精工爱普生株式会社 显示装置和显示装置的控制方法
CN106909215A (zh) * 2016-12-29 2017-06-30 深圳市皓华网络通讯股份有限公司 基于精确定位和增强现实的消防作战三维可视化指挥系统
CN207306182U (zh) * 2017-04-26 2018-05-04 左志权 一种基于wifi传输的智能消防头盔装置
US20180321817A1 (en) * 2017-05-02 2018-11-08 Colopl, Inc. Information processing method, computer and program
CN207337157U (zh) * 2017-11-07 2018-05-08 东莞市芯萌慧显电子科技有限公司 一种消防员红外定位ar显示头盔及消防指挥系统

Similar Documents

Publication Publication Date Title
CN107819799B (zh) 用于无人驾驶车辆的数据获取方法和装置
CN113874870A (zh) 基于图像的定位
US8374421B1 (en) Methods and systems for extracting still frames from a compressed video
JP7146087B2 (ja) ニューラルネットワークのトレーニング方法、視線追跡方法及び装置並びに電子機器
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
CN110673647B (zh) 全向避障方法及无人飞行器
JP2016045874A (ja) 情報処理装置、情報処理方法、及びプログラム
CN106131483A (zh) 一种基于虚拟现实的巡检方法及相关设备、系统
CN105234951A (zh) 一种智能化引导式机械手视觉系统及其工作方法
WO2020190380A1 (en) Fixed holograms in mobile environments
CN109992111B (zh) 增强现实扩展方法和电子设备
US20190271543A1 (en) Method and system for lean angle estimation of motorcycles
CN113228103A (zh) 目标跟踪方法、装置、无人机、系统及可读存储介质
KR20210086207A (ko) 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법
Palossi et al. Target following on nano-scale unmanned aerial vehicles
US20170371417A1 (en) Technologies for adaptive downsampling for gesture recognition
CN108881846B (zh) 信息融合方法、装置及计算机可读存储介质
JP2016195323A (ja) 情報処理装置、情報処理方法、プログラム
CN111221420B (zh) 一种基于智能手表的2d移动轨迹识别方法和系统
JP7107596B2 (ja) 駅監視システム及び駅監視方法
CN109634409A (zh) Ar控制方法及分离式ar设备
CN107566685B (zh) 一种图像数据处理方法及电子设备
CN114740854A (zh) 一种机器人避障控制方法和装置
WO2018100631A1 (ja) 情報処理装置
Taherizadeh et al. Real-time data-intensive telematics functionalities at the extreme edge of the network: experience with the PrEstoCloud project

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416

RJ01 Rejection of invention patent application after publication