CN111565307A - 一种基于mr远程空间同步指导方法和系统 - Google Patents

一种基于mr远程空间同步指导方法和系统 Download PDF

Info

Publication number
CN111565307A
CN111565307A CN202010357486.XA CN202010357486A CN111565307A CN 111565307 A CN111565307 A CN 111565307A CN 202010357486 A CN202010357486 A CN 202010357486A CN 111565307 A CN111565307 A CN 111565307A
Authority
CN
China
Prior art keywords
remote
field
gesture
display screen
binocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010357486.XA
Other languages
English (en)
Inventor
杨杰
李丰
王轶
储园
祝云峰
钟其波
李镜晓
陈红波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming Escher Technology Co ltd
Original Assignee
Kunming Escher Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming Escher Technology Co ltd filed Critical Kunming Escher Technology Co ltd
Priority to CN202010357486.XA priority Critical patent/CN111565307A/zh
Publication of CN111565307A publication Critical patent/CN111565307A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于MR远程空间同步指导方法，其特征在于，包括：现场端MR设备采集现场的双目立体图像并发送到远程端MR设备；远程端MR设备接收双目立体图像并进行双目立体显示；同时在远程端MR设备的双目立体视觉中进行手势空间标记，将手势空间标记的信息同步到现场端MR设备并显示；还公开了一种基于MR远程空间同步指导系统；解决了现有MR远程协助中指导不准确的问题，实现了现场端和远程端同步和精准定位指导。

Description

一种基于MR远程空间同步指导方法和系统
技术领域
本发明涉及MR应用领域，尤其是一种基于MR远程空间同步指导方法和系统。
背景技术
MR，既是“混合现实”(Mixed Reality)，而是由“智能硬件之父”多伦多大学教授SteveMann提出的介导现实，全称Mediated Reality。混合现实是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。
在现场进行设备检修时，传统的远程协助通过图像和语音进行指导，一般在远程端设有显示器，现场的图像传送到远程端显示，远程人员看到的是平面的显示图像，并且指导也只能通过语音进行，很多具体位置上的指导需要远程指导人员将位置描述的很清楚，但是在复杂检修场景中，远程指导人员通过语音图像与现场人员进行交流时，容易出现对设备指导定位不精准从而产生误操作事件。
另一方面人眼的立体视觉，也是靠双眼的，有了两只眼睛，才可以受到某一物体的距离远近，否则只知道“物体在看过去的视线方向，而无法判断距离”；指导人员和现场人员在看到图像时，无法准确判断距离，从而造成指导定位不精准。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供一种基于MR远程空间同步指导方法和系统，解决现有MR远程协助的远程端查看的现场信息不完全和指导定位不精准的问题；通过在远程端MR设备的双目立体视觉中进行手势空间标记，将远程的手势指导同步到现场显示中，更加准确指导现场工作人员。
本发明采用的技术方案如下：
本发明一种基于MR远程空间同步指导方法，包括：现场端MR设备采集现场的双目立体图像并发送到远程端MR设备；远程端MR设备接收双目立体图像并进行双目立体显示；同时在远程端MR设备的双目立体视觉中进行手势空间标记，将手势空间标记的信息同步到现场端MR设备并显示。
以上方法，远程端MR设备接收双目立体图像并进行双目立体显示，实现远程端以第一双目立体视觉查看现场，有助于更好地分析观察现场；手势标记和同步，能够将远程端进行的手势指导准确的同步到现场端MR设备中，现场端能够同步感知远程端的场景；提高沟通效率和指导定位的精准度。
进一步的，在远程端MR设备的双目立体视觉中进行手势空间标记的方法：远程端MR设备的双目摄像头采集远程工作人员的手势，记录手势标记在空间中的位置。
以上方法，通过双目摄像头可以采集手势，并记录手势的位置，从而将手势在双目立体视觉中准确的标记。
进一步的，所述手势标记在空间中的位置为手势标记在左右显示屏图像中的位置，即在左右显示屏位置的视差。
以上方法，由于手势标记在双目立体图像显示中主要体现在左右显示屏位置的视差，反之根据在左右显示屏位置的视差，也能得到手势标记在左右显示屏图像中的位置，从而在现场进行显示。
进一步的，所述手势标记在左右显示屏位置的视差的计算方法：手势标记在左右显示屏位置的视差x-x’＝(B*F)/Z，其中，x为在左显示屏上距离屏中心的坐标位置，x’为在右显示屏上距离屏中心的坐标位置；B为左右显示屏的中心距离；F为显示屏到眼的距离；Z是目标物M到眼的距离，M为手势标记点。
以上方法，根据在左右显示屏上距离屏中心的坐标位置、左右显示屏的中心距离、显示屏到眼的距离和目标物M到眼的距离，计算得到手势标记在左右显示屏位置的视差(x-x’)信息，再将视差(x-x’)信息传送到现场MR端，通过双目MR在左右显示屏显示空间标记。
进一步的，还包括远程端和现场端之间的语音通话和语音控制。
以上方法，远程端和现场端之间通过语音通话，可通过语音实现远程协助指导，同时实现语音指令控制远程协助功能，对现场工作人员彻底解放双手。
本发明一种基于MR远程空间同步指导系统，包括现场端MR设备和远程端MR设备；所述现场端MR设备，用于采集现场双目立体图像和双目立体图像的显示，以及远程端发送的手势空间标记信息的显示；所述远程端MR设备，用于显示现场端发送的双目立体图像，并采集远程工作人员的手势，记录手势标记在空间中的位置。
以上结构，分别采用现场端MR设备和远程端MR设备，建立通信连接，将现场看到的和远程看到的同步，同时将远程的手势指导同步到现场设备上显示，远程指导更精确和方便。
进一步的，所述现场端MR设备包括双目MR显示屏一和双目摄像头一；所述远程端MR设备包括双目摄像头二和双目MR显示屏二；所述双目摄像头二，用于采集手势。
进一步的，所述现场端MR设备和远程端MR设备还包括语音交互系统一和语音交互系统二，用于现场端MR设备和远程端MR设备之间的语音通话和语音控制。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、现场端和远程端显示图像的同步，现场端的第一双目立体视角图像在远程端能同步感知，远程场景被现场端感知；从而现场端和远程端之间没有信息的偏差，信息同步快。
2、在远程端的MR立体标记，能在现场端的立体视觉中显示，提高沟通效率和指导定位的精准度。
3、基于MR远程空间同步指导既能进行语音通话，又支持语音操作；现场端和远程端通过语音通话方便指导；现场端还能进行语音指令控制，解放现场人员的双手。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明一种基于MR远程空间同步指导方法流程图。
图2是本发明一种基于MR远程空间同步指导系统的结构示意图。
图3是实施例中手势标记在双目立体视觉中的定位图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
如图1所示，本发明一种基于MR远程空间同步指导方法，包括：现场端MR设备采集现场的双目立体图像并发送到远程端MR设备；远程端MR设备接收双目立体图像并进行双目立体显示；同时在远程端MR设备的双目立体视觉中进行手势空间标记，将手势空间标记的信息同步到现场端MR设备并显示。
在实施例中，具体步骤包括：
1、现场MR端与远程MR端建立通信连接，包括语音、图像和数据的连接；
2、现场MR端通过双目摄像头采集现场双目立体图像；
3、远程MR端接收现场MR端的双目立体图像；
4、远程MR端接收的双目立体图像在远程MR端的双目显示器上显示，实现远程端以第一双目立体视觉查看现场，有助于更好地分析观察现场；
5、在远程MR端,通过双目摄像头采集工作人员的手势，并实现在双目立体视觉中进行空间标记，标记具体空间信息，可以更加准确指导工作人员；
6、在现场MR端，接收远程端的双目空间标记，并通过MR双目显示器与工作现场光线进行混合显示；
7、同时现场MR与远程MR通过语音交互系统进行交流，语音交互系统不仅具有通话功能，可实现语音指令控制远程协助功能，对现场工作人员彻底解放双手。
在一个实施例中，公开了在远程端MR设备的双目立体视觉中进行手势空间标记的方法：远程端MR设备的双目摄像头采集远程工作人员的手势，记录手势标记在空间中的位置。现场MR端双目MR显示与远程手势空间标记位置同步的方法：
1、远程MR端人员通过双目MR显示，用手势在双目立体视觉下进行空间指导；
2、根据在远程端手势标记的空间位置，获取标记分别在左右图像的位置信息；
3、将标记位置信息发送到现场MR端的双目MR显示器上；
4、MR设备将空间标记和工作现场实时混合显示，精准定位指导位置，实现远程空间标记协助。
如图3所示，图中公开了手势标记在双目立体视觉中的定位图，其中，M为成像目标(空间标记)，即手势标记点，O和O’分别为左眼和右眼的位置，B为左右显示屏的中心距离，F为显示屏到眼的距离，Z是目标物M到眼的距离，x为在左显示屏上距离屏中心的坐标位置，x’为在右显示屏上距离屏中心的坐标位置；
根据定位图中的相关参数，计算手势标记在空间中的位置为手势标记在左右显示屏图像中的位置，即在左右显示屏位置的视差：手势标记在左右显示屏位置的视差x-x’＝(B*F)/Z。
在另一个实施例中，基于MR远程空间同步指导方法还包括远程端和现场端之间的语音通信。
如图2所示，本发明公开了一种基于MR远程空间同步指导系统，包括现场端MR设备和远程端MR设备；所述现场端MR设备，用于采集现场双目立体图像和双目立体图像的显示，以及远程端发送的手势空间标记信息的显示；所述远程端MR设备，用于显示现场端发送的双目立体图像，并采集远程工作人员的手势，记录手势标记在空间中的位置。
其中，所述现场MR端包括双目MR显示一和双目摄像头一；所述远程MR端包括双目摄像头二和双目MR显示二；所述双目摄像头二，用于采集手势；所述现场MR端和远程MR端还包括语音交互系统一和语音交互系统二，用于现场MR端和远程MR端之间的语音通话和操作。
双目摄像头一采集工作现场的双目图像，在双目MR显示一中显示，并发送到远程MR端的双目MR显示二中显示，现场工作人员和远程指导人员都能看到现场双目立体图像，实现双目立体视觉；远程指导人员根据看到的现场图像，进行指导，通过语音通话指导和双目空间标记；在指导中，利用双目摄像头二采集指导人员的手势，并计算手势标记在空间中的位置，将位置信息发送给现场MR端的双目MR显示一上，MR设备将空间标记和工作现场实时混合显示，精准定位指导位置，实现远程空间标记协助。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (8)

1.一种基于MR远程空间同步指导方法，其特征在于，包括：现场端MR设备采集现场的双目立体图像并发送到远程端MR设备；远程端MR设备接收双目立体图像并进行双目立体显示；同时在远程端MR设备的双目立体视觉中进行手势空间标记，将手势空间标记的信息同步到现场端MR设备并显示。
2.根据权利要求1所述的基于MR远程空间同步指导方法，其特征在于，在远程端MR设备的双目立体视觉中进行手势空间标记的方法：远程端MR设备的双目摄像头采集远程工作人员的手势，记录手势标记在空间中的位置。
3.根据权利要求2所述的基于MR远程空间同步指导方法，其特征在于，所述手势标记在空间中的位置为手势标记在左右显示屏图像中的位置，即在左右显示屏位置的视差。
4.根据权利要求3所述的基于MR远程空间同步指导方法，其特征在于，所述手势标记在左右显示屏位置的视差的计算方法：手势标记在左右显示屏位置的视差x-x’＝(B*F)/Z，其中，x为在左显示屏上距离屏中心的坐标位置，x’为在右显示屏上距离屏中心的坐标位置；B为左右显示屏的中心距离；F为显示屏到眼的距离；Z是目标物M到眼的距离，M为手势标记点。
5.根据权利要求1所述的基于MR远程空间同步指导方法，其特征在于，还包括远程端和现场端之间的语音通话和语音控制。
6.一种基于MR远程空间同步指导系统，其特征在于，包括现场端MR设备和远程端MR设备；所述现场端MR设备，用于采集现场双目立体图像和双目立体图像的显示，以及远程端发送的手势空间标记信息的显示；所述远程端MR设备，用于显示现场端发送的双目立体图像，并采集远程工作人员的手势，记录手势标记在空间中的位置。
7.根据权利要求6所述的基于MR远程空间同步指导系统，其特征在于，所述现场端MR设备包括双目MR显示屏一和双目摄像头一；所述远程端MR设备包括双目摄像头二和双目MR显示屏二；所述双目摄像头二，用于采集手势。
8.根据权利要求6所述的基于MR远程空间同步指导系统，其特征在于，所述现场端MR设备和远程端MR设备还包括语音交互系统一和语音交互系统二，用于现场端MR设备和远程端MR设备之间的语音通话和语音控制。
CN202010357486.XA 2020-04-29 2020-04-29 一种基于mr远程空间同步指导方法和系统 Pending CN111565307A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010357486.XA CN111565307A (zh) 2020-04-29 2020-04-29 一种基于mr远程空间同步指导方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010357486.XA CN111565307A (zh) 2020-04-29 2020-04-29 一种基于mr远程空间同步指导方法和系统

Publications (1)

Publication Number Publication Date
CN111565307A true CN111565307A (zh) 2020-08-21

Family

ID=72071839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010357486.XA Pending CN111565307A (zh) 2020-04-29 2020-04-29 一种基于mr远程空间同步指导方法和系统

Country Status (1)

Country Link
CN (1) CN111565307A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036998A (zh) * 2020-09-01 2020-12-04 中国银行股份有限公司 金融行业机房内运维远程协作处理方法及各处理端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107340853A (zh) * 2016-11-18 2017-11-10 北京理工大学 一种基于虚拟现实与手势识别的远程呈现交互方法和系统
CN108509026A (zh) * 2018-02-06 2018-09-07 西安电子科技大学 基于增强交互方式的远程维修支持系统及方法
US20180324229A1 (en) * 2017-05-05 2018-11-08 Tsunami VR, Inc. Systems and methods for providing expert assistance from a remote expert to a user operating an augmented reality device
CN109462637A (zh) * 2018-10-17 2019-03-12 广东电网有限责任公司 基于电力设备3d模型库的mr专家远程协作方法及系统
CN109460150A (zh) * 2018-11-12 2019-03-12 北京特种机械研究所 一种虚拟现实人机交互系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107340853A (zh) * 2016-11-18 2017-11-10 北京理工大学 一种基于虚拟现实与手势识别的远程呈现交互方法和系统
US20180324229A1 (en) * 2017-05-05 2018-11-08 Tsunami VR, Inc. Systems and methods for providing expert assistance from a remote expert to a user operating an augmented reality device
CN108509026A (zh) * 2018-02-06 2018-09-07 西安电子科技大学 基于增强交互方式的远程维修支持系统及方法
CN109462637A (zh) * 2018-10-17 2019-03-12 广东电网有限责任公司 基于电力设备3d模型库的mr专家远程协作方法及系统
CN109460150A (zh) * 2018-11-12 2019-03-12 北京特种机械研究所 一种虚拟现实人机交互系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036998A (zh) * 2020-09-01 2020-12-04 中国银行股份有限公司 金融行业机房内运维远程协作处理方法及各处理端

Similar Documents

Publication Publication Date Title
CN107976811B (zh) 一种基于虚拟现实混合的仿真实验室及其仿真方法
CN106363637B (zh) 一种机器人快速示教方法及装置
CN108022302B (zh) 一种Inside-Out空间定位的AR立体显示装置
Kim et al. A helmet mounted display for telerobotics
Sauer et al. Augmented workspace: Designing an AR testbed
CN111526118A (zh) 一种基于混合现实的远程操作引导系统及方法
US10386633B2 (en) Virtual object display system, and display control method and display control program for the same
CN103543827B (zh) 基于单个摄像机的沉浸式户外活动交互平台的实现方法
CN109246414B (zh) 一种投影式增强现实图像生成方法及系统
US20110109628A1 (en) Method for producing an effect on virtual objects
CN106707810A (zh) 基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统和方法
EP3415866B1 (en) Device, system, and method for displaying measurement gaps
JP7464235B2 (ja) 多層ビューイングシステムおよび方法
CN116911823A (zh) 一种基于ar眼镜的变电站的巡检交互方法、系统
CN105183161A (zh) 一种用户在现实环境和虚拟环境中同步移动的方法
CN110717994A (zh) 远程视频交互的实现方法及相关设备
CN112509401A (zh) 一种基于增强现实投影交互的远程实操教学方法与系统
CN111565307A (zh) 一种基于mr远程空间同步指导方法和系统
CN110430421A (zh) 一种用于五面led-cave的光学跟踪定位系统
JP2011153995A (ja) 立体映像表示装置の立体ノギス像形成装置およびプログラム
CN116912722A (zh) 一种基于ar设备的设备巡检过程的远程沟通方法、系统
CN110298918A (zh) 一种基于gpu实时三维建模显示装置及三维建模显示方法
CN117826976A (zh) 一种基于xr的多人协同方法及系统
CN114979568A (zh) 一种基于增强现实技术的远程作业指导方法
CN113674426A (zh) 使用ar技术的设备检修方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200821