CN113918015B - 一种增强现实的交互方法和装置 - Google Patents

一种增强现实的交互方法和装置 Download PDF

Info

Publication number
CN113918015B
CN113918015B CN202111171422.1A CN202111171422A CN113918015B CN 113918015 B CN113918015 B CN 113918015B CN 202111171422 A CN202111171422 A CN 202111171422A CN 113918015 B CN113918015 B CN 113918015B
Authority
CN
China
Prior art keywords
display area
limb
display
coordinate system
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111171422.1A
Other languages
English (en)
Other versions
CN113918015A (zh
Inventor
梁效富
高磊
武永超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN202111171422.1A priority Critical patent/CN113918015B/zh
Publication of CN113918015A publication Critical patent/CN113918015A/zh
Priority to PCT/KR2022/015033 priority patent/WO2023059087A1/en
Application granted granted Critical
Publication of CN113918015B publication Critical patent/CN113918015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/0209—Systems with very large relative bandwidth, i.e. larger than 10 %, e.g. baseband, pulse, carrier-free, ultrawideband
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申请公开了一种增强现实的交互方法和装置，其中方法包括：在增强现实(AR)场景中，基于超宽带(UWB)雷达传感器，监测用户的指定肢体动作；其中，所述UWB雷达传感器的覆盖区域和AR显示区域重叠；当监测到指定的肢体动作时，根据所述肢体动作对应的操作在所述AR场景进行相应渲染；其中，如果所述肢体动作对应的操作属于针对场景中具体对象的操作，则根据相应监测时获得的肢体定位坐标，确定所述AR显示区域中的目标操作对象。采用本申请，既可以保障操作方便性，又可以提高操作识别的准确性。

Description

一种增强现实的交互方法和装置
技术领域
本发明涉及计算机应用技术，特别是涉及一种增强现实(AR)的交互方法和装置。
背景技术
针对AR场景的交互，目前提出了一种实现方案，该方案中利用摄像头捕捉用户的操作手势，根据所捕捉的操作手势对AR场景中的目标对象执行相应的操作。该方案不需要引用类似键盘或鼠标等的外接设备，因此可以解决用户使用AR头戴设备时，需要借助外接的键盘、鼠标等设备进行输入，操作复杂的问题。
发明人在实现本发明的过程中发现：上述方案需要依赖摄像设备捕捉用户操作手势，而摄像设备识别精度不高，并且AR场景中的目标操作对象也容易被其他显示内容遮挡，从而导致基于摄像设备捕捉的画面无法对用户操作准确识别，因此，会存在对连续性动作识别精度差的问题。
发明内容
有鉴于此，本发明的主要目的在于提供一种增强现实(AR)的交互方法和装置，可以在保障用户操作方便性的同时，提高AR场景下用户操作识别的准确性。
为了达到上述目的，本申请实施例提出的技术方案为：
一种增强现实的交互方法，包括：
在AR场景中，基于超宽带(UWB)雷达传感器，监测用户的指定肢体动作；其中，所述UWB雷达传感器的覆盖区域和AR显示区域重叠；
当监测到指定的肢体动作时，根据所述肢体动作对应的操作在所述AR场景进行相应渲染；其中，如果所述肢体动作对应的操作属于针对场景中具体对象的操作，则根据相应监测时获得的肢体定位坐标，确定所述AR显示区域中的目标操作对象。
较佳地，所述方法进一步包括：
所述UWB雷达传感器的发射点为AR显示区域的视锥体顶点；用于UWB雷达定位的球形坐标系的原点为所述AR显示区域的视锥体顶点；
所述根据相应监测时获得的肢体定位坐标，确定所述AR显示区域中的目标操作对象包括：
将所述球形坐标系中位于所述肢体定位坐标的显示对象，作为所述目标操作对象。
较佳地，所述方法进一步包括：
AR显示区域在球形坐标系中由具有不同球半径的球面切割为相应数量的子显示区域；所述AR显示区域中的显示对象在所述球形坐标系的位置为所述显示对象在所属子显示区域所对应球面上的位置。
较佳地，所述显示对象在所述球形坐标系的位置由球半径R和坐标(x,y,z)共同表征；其中，R为显示对象所属子显示区域所对应球面的球半径，坐标(x,y,z)为显示对象在所属子显示区域所对应球面上的坐标。
较佳地，所述球半径基于预设的球半径间隔得到。
较佳地，所述指定肢体动作为手势动作。
本发明实施例还公开了一种增强现实的交互装置，包括：
监测模块，用于在AR场景中，基于UWB雷达传感器，监测用户的指定肢体动作；其中，所述UWB雷达传感器的覆盖区域和AR显示区域重叠；
渲染模块，用于当监测到指定的肢体动作时，根据所述肢体动作对应的操作在所述AR场景进行相应渲染；其中，如果所述肢体动作对应的操作属于针对场景中具体对象的操作，则根据相应监测时获得的肢体定位坐标，确定所述AR显示区域中的目标操作对象。
较佳地，所述UWB雷达传感器的发射点为AR显示区域的视锥体顶点；用于UWB雷达定位的球形坐标系的原点为所述AR显示区域的视锥体顶点；
渲染模块，用于根据相应监测时获得的肢体定位坐标，确定所述AR显示区域中的目标操作对象包括：
将所述球形坐标系中位于所述肢体定位坐标的显示对象，作为所述目标操作对象。
较佳地，所述AR场景的AR显示区域在球形坐标系中由具有不同球半径的球面切割为相应数量的子显示区域；所述AR显示区域中的显示对象在所述球形坐标系的位置为所述显示对象在所属子显示区域所对应球面上的位置。
本申请实施例还公开了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如上所述的增强现实的交互方法的步骤。
本申请实施例还公开了一种电子设备，包括如上所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
由上述技术方案可见，本发明实施例提出的增强现实的交互方案，在AR场景中，利用UWB雷达传感器，监测用户的指定肢体动作，并使得所述UWB雷达传感器的覆盖区域和AR显示区域重叠，如此，可以在当监测到指定的肢体动作时，能够根据相应的肢体定位坐标，快速、准确地确定出相应的AR显示区域中的目标操作对象，从而可以对用户操作指令进行快速准确的识别，因此，采用本发明实施例，可以在保障用户操作方便性的同时，提高AR场景下用户操作识别的准确性。
附图说明
图1为本发明实施例的方法流程示意图；
图2为本发明实施例的球形坐标系统示意图；
图3为本发明实施例的视锥体示意图；
图4为本发明实施例中经过分层切割后的视锥体横向切面示意图；
图5为本发明实施例的手指拖动动作示意图；
图6为本发明实施例的手势动作集合示意图；
图7为本发明实施例的场景一示意图；
图8为本发明实施例对场景一中物体移动的过程示意图；
图9为本发明实施例的场景二示意图；
图10为本发明实施例对场景二中小车旋转的过程示意图；
图11为本发明实施例对AR场景中的物体进行复制/粘贴的过程示意图；
图12为本发明实施例的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。
图1为本发明实施例的流程示意图，如图1所示，该实施例实现的增强现实的交互方法主要包括下述步骤：
步骤101、在AR场景中，基于UWB雷达传感器，监测用户的指定肢体动作；其中，所述UWB雷达传感器的覆盖区域和AR显示区域重叠。
本步骤中，在AR场景中，需要基于UWB雷达传感器，监测用户的指定肢体动作，如此，可以充分利用UWB雷达传感器的定位优势，快速、准确地对用户的指定肢体动作进行实时捕捉。并且，通过使得UWB雷达传感器的覆盖区域和AR显示区域相重叠，有利于将对肢体动作监测时获得的肢体定位坐标与AR显示区域中的具体对象相关联，这样，用户直接利用肢体动作，即可在AR场景中指示出需要操作的具体对象，从而可以在保障用户操作方便性的同时，对用户的操作指令进行快速、准确识别。
采用UWB雷达技术，基于发射和回收波形，可以对用户的肢体动作(包括单点静止动作和连续动作)进行准确定位和识别。本步骤中对用户肢体动作的监测具体可以采用现有技术实现，在此不再赘述。
在一种实施方式中，考虑到从视野原点出发用户的可视范围是一个视椎体形状，为了减少交互运算开销，可以通过将UWB雷达传感器的发射点调整为AR显示区域的视锥体顶点，使得UWB雷达(发射+接收)覆盖区域和AR显示区域相重叠。另外，将用于UWB雷达定位的球形坐标系统(如图2所示)的原点设置为所述AR显示区域的视锥体(如图3所示)顶点，以便可以直接利用UWB雷达定位的球形坐标系，对AR显示区域中各个显示内容的位置进行标识。这样，用于对AR显示区域中内容进行定位的坐标系与UWB雷达定位的坐标系一致，从而使得肢体动作的定位坐标和目标操作对象在AR显示区域的坐标一致，进而可以直接基于肢体动作的定位坐标，对AR显示区域中的目标操作对象进行快速定位。
在一种实施方式中，为了便于对AR显示区域目标操作对象的位置进行标识，可以利用球形坐标系对AR显示区域中的显示对象进行位置标识，具体地，可以利用球形坐标系中由以坐标系原点为球心、具有不同球半径的球面对AR显示区域进行切割，得到相应数量的子显示区域，这样，每个子显示区域将由不同球半径的球面界定，利用AR显示区域中子显示区域对应的最大球半径球面，即可对AR显示区域的显示对象的位置进行准确标识，即AR显示区域中的显示对象在所述球形坐标系的位置为所述显示对象在所属子显示区域所对应球面上的位置。
在一种实施方式中，AR场景中的每个显示对象在球形坐标系的位置具体可以由球半径R和坐标(x,y,z)共同表征。
其中，R为显示对象所属子显示区域所对应球面的球半径，坐标(x,y,z)为显示对象在所属子显示区域所对应球面上的坐标。
这里，每个子显示区域所对应球面具体可以为该子显示区域对应的最大球半径或最小球半径对应的球面。
图4给出了一个从视野原点到视野远平面的视锥体横向切面示意图，如图所示，AR显示区域中的两个点(P和Q)位于该切平面上，点P位于球半径Rp的球面上，点Q位于Rq和Rp之间的球半径对应的球面上，这样，点P和点Q在各自球面的坐标可以分别标记为P(Px,Py,Pz),Q(Qx,Qy,Qz)，相应的，点P和点Q的位置可以分别标记为Fp(Rq，Px,Py,Pz),Fq(Rp，Qx,Qy,Qz)。
在一种实施方式中，所述指定肢体动作具体可以为手势动作，但不限于此，例如，也可以为脚部动作等。
对于所述指定肢体动作，可以根据发射波形和反射波形来定义不同的肢体动作，例如，对于手指拖动动作，如图5所示，手指点选在P点Fp(Rp,Xp,Yp,Zp)，然后拖动手指到Q点Fq(Rq,Xq,Yq,Zq)，定义为拖动。需要说明的是，手指点选在某个位置时，基于单点的回波信号，可以准确定位该点的位置信息。
在实际应用中，具体可根据实际需要设置指定的肢体动作集合，以手势动作为例，可以设置如图6所示的手势动作集合，但不限于此。
在一种实施方式中，所述球半径可以基于预设的球半径间隔得到，即得到一组间隔相同的球半径，这样，对AR显示区域进行切割后所得到的相邻子显示区域之间的距离也相同。
所述球半径间隔越小，AR显示区域的切割粒度越小，利用子显示区域对场景内容的位置标记越准确，在实际应用中，球半径间隔可由本领域技术人员根据实际需要设置合适取值。
步骤102、当监测到指定的肢体动作时，根据所述肢体动作对应的操作在所述AR场景进行相应渲染；其中，如果所述肢体动作对应的操作属于针对场景中具体对象的操作，则根据相应监测时获得的肢体定位坐标，确定所述AR显示区域中的目标操作对象。
本步骤中，如果当前监测到的肢体动作属于针对具体对象的操作，则需要利用肢体定位坐标与AR场景中显示内容的关联性，基于肢体定位坐标，快速、准确地确定出AR显示区域中的目标操作对象。
在一种实施方式中，具体可以采用下述方法确定目标操作对象：
将所述球形坐标系中位于所述肢体定位坐标的对象，作为所述目标操作对象。
通过上述实施例可以看出，上述技术方案通过引入UWB雷达技术，并采用UWB雷达覆盖区域和AR显示区域重叠校准的方式，实现用户与AR场景的交互，进一步地，结合对AR显示区域标记不同分层，可以提高对用户操作识别的准确性，且运算开销小。下面结合几种具体应用场景，对上述方法实施例的具体实现进行详细说明。
场景一：对AR场景中的虚拟物体进行移动
图7为场景一的示意图。图8为对场景一中物体移动的过程示意图。如图8所示，手指点选虚拟物体，拖动到选定区域，手指松开，被点选物体在新位置重新渲染。在图7中，点选沙发(虚拟物体)挪动其位置，可以选择更合理的家居布局。
场景二：对AR场景中的虚拟物体进行旋转
图9为场景二的示意图。图10为对场景二中小车旋转的过程示意图。如图10所示，手指点选虚拟物体，旋转一定角度(例如，顺时针旋转180°)，手指松开，被点选物体在当前位置重新渲染，但是渲染的角度旋转了180°。在图9中，选中小车玩具(虚拟物体)对其旋转，可以看到其他面的更多信息。
场景三：对AR场景中的虚拟物体进行复制/粘贴
图11为对AR场景中的物体进行复制/粘贴的过程示意图。如图11所示，双手点选虚拟物体，保持左手不动，右手拖动虚拟物体，右手松开，被点选物体在当前位置(右手松开的位置)重复渲染一个虚拟物体(和最初点选的虚拟物体原样复制)，两个虚拟物体完全相同，只是所在位置不同。
基于上述方法实施例，本申请实施例还公开了一种增强现实的交互装置，如图所示，该交互装置包括：
监测模块，用于在增强现实AR场景中，基于UWB雷达传感器，监测用户的指定肢体动作；其中，所述UWB雷达传感器的覆盖区域和AR显示区域重叠；
渲染模块，用于当监测到指定的肢体动作时，根据所述肢体动作对应的操作在所述AR场景进行相应渲染；其中，如果所述肢体动作对应的操作属于针对场景中具体对象的操作，则根据相应监测时获得的肢体定位坐标，确定所述AR显示区域中的目标操作对象。
在一种实施方式中，所述UWB雷达传感器的发射点为AR显示区域的视锥体顶点；用于UWB雷达定位的球形坐标系的原点为所述AR显示区域的视锥体顶点。
所述渲染模块，具体用于根据相应监测时获得的肢体定位坐标，确定所述AR显示区域中的目标操作对象，包括：将所述球形坐标系中位于所述肢体定位坐标的显示对象，作为所述目标操作对象。
在一种实施方式中，所述AR场景的AR显示区域在球形坐标系中由具有不同球半径的球面切割为相应数量的子显示区域；所述AR显示区域中的显示对象在所述球形坐标系的位置为所述显示对象在所属子显示区域所对应球面上的位置。
在一种实施方式中，所述指定肢体动作为手势动作。
在一种实施方式中，所述球半径基于预设的球半径间隔得到。
在一种实施方式中，所述显示对象在所述球形坐标系的位置具体可以由球半径R和坐标(x,y,z)共同表征。
其中，半径R为显示对象所属子显示区域所对应球面的球半径，坐标(x,y,z)为显示对象在所属子显示区域所对应球面上的坐标。
基于上述增强现实的交互方法实施例，本申请实施例实现了一种增强现实的交互电子设备，包括处理器和存储器；所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如上所述的增强现实的交互方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施方式的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。此外，还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述增强现实的交互方法实施方式中任一实施方式的功能。
其中，存储器具体可以实施为电可擦可编程只读存储器(EEPROM)、快闪存储器(Flash memory)、可编程程序只读存储器(PROM)等多种存储介质。处理器可以实施为包括一或多个中央处理器或一或多个现场可编程门阵列，其中现场可编程门阵列集成一或多个中央处理器核。具体地，中央处理器或中央处理器核可以实施为CPU或MCU。
本申请实施例实现了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上所述的增强现实的交互方法的步骤。
需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。
各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件(如专用处理器，如FPGA或ASIC)用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路(如由软件进行配置)来实现硬件模块，可以根据成本和时间上的考虑来决定。
在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。为使图面简洁，各图中的只示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”并不表示将本发明相关部分的数量限制为“仅此一个”，并且“一个”不表示排除本发明相关部分的数量“多于一个”的情形。在本文中，“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等仅用于表示相关部分之间的相对位置关系，而非限定这些相关部分的绝对位置。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种增强现实的交互方法，其特征在于，包括：
在增强现实AR场景中，基于超宽带UWB雷达传感器，监测用户的指定肢体动作；其中，所述UWB雷达传感器的覆盖区域和AR显示区域重叠；所述UWB雷达传感器的发射点为AR显示区域的视锥体顶点；用于UWB雷达定位的球形坐标系的原点为所述AR显示区域的视锥体顶点；所述AR显示区域在球形坐标系中由具有不同球半径的球面切割为相应数量的子显示区域；
当监测到指定的肢体动作时，根据所述肢体动作对应的操作在所述AR场景进行相应渲染；其中，如果所述肢体动作对应的操作属于针对场景中具体对象的操作，则根据相应监测时获得的肢体定位坐标，确定所述AR显示区域中的目标操作对象；其中，所述AR显示区域中的显示对象在所述球形坐标系的位置为所述显示对象在所属子显示区域所对应球面上的位置。
2.根据权利要求1所述的方法，其特征在于，
所述根据相应监测时获得的肢体定位坐标，确定所述AR显示区域中的目标操作对象包括：
将所述球形坐标系中位于所述肢体定位坐标的显示对象，作为所述目标操作对象。
3.根据权利要求1所述的方法，其特征在于，所述显示对象在所述球形坐标系的位置由球半径R和坐标(x,y,z)共同表征；其中，R为显示对象所属子显示区域所对应球面的球半径，坐标(x,y,z)为显示对象在所属子显示区域所对应球面上的坐标。
4.根据权利要求1所述的方法，其特征在于，所述球半径基于预设的球半径间隔得到。
5.根据权利要求1所述的方法，其特征在于，所述指定肢体动作为手势动作。
6.一种增强现实的交互装置，其特征在于，包括：
监测模块，用于在增强现实AR场景中，基于超宽带UWB雷达传感器，监测用户的指定肢体动作；其中，所述UWB雷达传感器的覆盖区域和AR显示区域重叠；所述UWB雷达传感器的发射点为AR显示区域的视锥体顶点；用于UWB雷达定位的球形坐标系的原点为所述AR显示区域的视锥体顶点；所述AR显示区域在球形坐标系中由具有不同球半径的球面切割为相应数量的子显示区域；
渲染模块，用于当监测到指定的肢体动作时，根据所述肢体动作对应的操作在所述AR场景进行相应渲染；其中，如果所述肢体动作对应的操作属于针对场景中具体对象的操作，则根据相应监测时获得的肢体定位坐标，确定所述AR显示区域中的目标操作对象；其中，所述AR显示区域中的显示对象在所述球形坐标系的位置为所述显示对象在所属子显示区域所对应球面上的位置。
7.根据权利要求6所述的装置，其特征在于，
渲染模块，用于根据相应监测时获得的肢体定位坐标，确定所述AR显示区域中的目标操作对象包括：
将所述球形坐标系中位于所述肢体定位坐标的显示对象，作为所述目标操作对象。
8.一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至5中任一项所述的增强现实的交互方法的步骤。
9.一种电子设备，其特征在于，包括如权利要求8所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
CN202111171422.1A 2021-10-08 2021-10-08 一种增强现实的交互方法和装置 Active CN113918015B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111171422.1A CN113918015B (zh) 2021-10-08 2021-10-08 一种增强现实的交互方法和装置
PCT/KR2022/015033 WO2023059087A1 (en) 2021-10-08 2022-10-06 Augmented reality interaction method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111171422.1A CN113918015B (zh) 2021-10-08 2021-10-08 一种增强现实的交互方法和装置

Publications (2)

Publication Number Publication Date
CN113918015A CN113918015A (zh) 2022-01-11
CN113918015B true CN113918015B (zh) 2024-04-19

Family

ID=79238238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111171422.1A Active CN113918015B (zh) 2021-10-08 2021-10-08 一种增强现实的交互方法和装置

Country Status (2)

Country Link
CN (1) CN113918015B (zh)
WO (1) WO2023059087A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240047186A (ko) * 2022-10-04 2024-04-12 삼성전자주식회사 증강현실 장치 및 이의 동작 방법
CN117368869B (zh) * 2023-12-06 2024-03-19 航天宏图信息技术股份有限公司 雷达三维威力范围的可视化方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106055089A (zh) * 2016-04-27 2016-10-26 深圳市前海万象智慧科技有限公司 基于人机交互设备的手势识别的控制系统及其控制方法
CN111149079A (zh) * 2018-08-24 2020-05-12 谷歌有限责任公司 包括雷达系统的智能电话、系统和方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7942744B2 (en) * 2004-08-19 2011-05-17 Igt Virtual input system
WO2013032955A1 (en) * 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
US9921657B2 (en) * 2014-03-28 2018-03-20 Intel Corporation Radar-based gesture recognition
US9761049B2 (en) * 2014-03-28 2017-09-12 Intel Corporation Determination of mobile display position and orientation using micropower impulse radar
US11986963B2 (en) * 2018-03-05 2024-05-21 The Regents Of The University Of Colorado Augmented reality coordination of human-robot interaction
JP7341166B2 (ja) * 2018-05-22 2023-09-08 マジック リープ， インコーポレイテッド ウェアラブルシステムのためのトランスモード入力融合

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106055089A (zh) * 2016-04-27 2016-10-26 深圳市前海万象智慧科技有限公司 基于人机交互设备的手势识别的控制系统及其控制方法
CN111149079A (zh) * 2018-08-24 2020-05-12 谷歌有限责任公司 包括雷达系统的智能电话、系统和方法

Also Published As

Publication number Publication date
WO2023059087A1 (en) 2023-04-13
CN113918015A (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
KR102590841B1 (ko) 가상 오브젝트 구동 방법, 장치, 전자기기 및 판독 가능 저장매체
JP7248799B2 (ja) 画像処理方法、画像処理装置、コンピュータプログラム、及び画像処理機器
CN113918015B (zh) 一种增强现实的交互方法和装置
US20220066545A1 (en) Interactive control method and apparatus, electronic device and storage medium
KR102114496B1 (ko) 혼합 현실에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버
CN110986969B (zh) 地图融合方法及装置、设备、存储介质
CN112652016A (zh) 点云预测模型的生成方法、位姿估计方法及其装置
US11995254B2 (en) Methods, devices, apparatuses, and storage media for mapping mouse models for computer mouses
CN108170166A (zh) 机器人的跟随控制方法及其智能装置
CN106802664A (zh) 一种无人机无头模式的飞行控制方法及无人机
CN111433783A (zh) 手部模型生成方法、装置、终端设备及手部动作捕捉方法
CN115847384B (zh) 机械臂安全平面信息显示方法及相关产品
JP2022013648A (ja) 画像を処理するための方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
CN113119104B (zh) 机械臂控制方法、机械臂控制装置、计算设备及系统
CN112697151B (zh) 移动机器人的初始点的确定方法、设备和存储介质
CN111915642A (zh) 图像样本的生成方法、装置、设备和可读存储介质
CN111489433A (zh) 车辆损伤定位的方法、装置、电子设备以及可读存储介质
CN105446690A (zh) 具有目标定位功能的信息融合及多信息显示方法
CN112308766B (zh) 一种图像数据展示方法、装置、电子设备及存储介质
CN114926542A (zh) 基于光学定位系统的混合现实固定参考系校准方法
CN111913565B (zh) 虚拟内容控制方法、装置、系统、终端设备及存储介质
CN107944337A (zh) 一种低空目标智能跟踪方法及系统、存储介质及电子终端
CN110471577B (zh) 一种360度全方位虚拟触控方法、系统、平台及存储介质
CN111047710B (zh) 虚拟现实系统及交互设备显示方法和计算机可读存储介质
CN114373016A (zh) 一种在扩展现实技术场景中实现点的定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant