CN112835484A - 基于操作体的动态显示方法、装置、存储介质及电子设备 - Google Patents

基于操作体的动态显示方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN112835484A
CN112835484A CN202110141872.XA CN202110141872A CN112835484A CN 112835484 A CN112835484 A CN 112835484A CN 202110141872 A CN202110141872 A CN 202110141872A CN 112835484 A CN112835484 A CN 112835484A
Authority
CN
China
Prior art keywords
icon
screen
operation body
determining
physical quantity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110141872.XA
Other languages
English (en)
Other versions
CN112835484B (zh
Inventor
龙纪舟
李少朋
徐亮
孙浚凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Robotics Technology Research and Development Co Ltd
Original Assignee
Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Robotics Technology Research and Development Co Ltd filed Critical Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority to CN202110141872.XA priority Critical patent/CN112835484B/zh
Publication of CN112835484A publication Critical patent/CN112835484A/zh
Priority to PCT/CN2022/073218 priority patent/WO2022166620A1/zh
Priority to US18/001,824 priority patent/US20230229283A1/en
Priority to JP2022565861A priority patent/JP2023523452A/ja
Application granted granted Critical
Publication of CN112835484B publication Critical patent/CN112835484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

本公开实施例公开了一种基于操作体的动态显示方法、装置、计算机可读存储介质及电子设备，其中，该方法包括：响应于操作体在空间中相对于屏幕做出的隔空操作，确定待展示的图标在屏幕上的位置；在所确定的位置展示图标；响应于检测到操作体产生移动，确定操作体的第一移动物理量；基于第一移动物理量，确定图标在屏幕上的第二移动物理量；基于第二移动物理量，控制图标在屏幕上拖动。本公开实施例可以实现操作体进行隔空操作时，通过在屏幕上拖动图标以实时反馈操作体的移动轨迹，使用户可以参照图标的移动轨迹实时了解隔空操作是否准确，改善了用户的操控感，有助于提高隔空操作的准确率。

Description

基于操作体的动态显示方法、装置、存储介质及电子设备
技术领域
本公开涉及计算机技术领域，尤其是一种基于操作体的动态显示方法、装置、计算机可读存储介质及电子设备。
背景技术
随着计算机软硬件能力的不断提升，以及人们对人机交互的不断增长的需求，隔空操作识别受到广泛的关注。隔空操作方法可以应用在AR(Augmented Reality，增强现实)/VR(Virtual Reality，虚拟现实)、智能手机、智能家电等场景，在人们不方便直接用手操作控制面板的时候利用隔空操作对机器进行操控，方便了人们的生活。
发明内容
本公开的实施例提供了一种基于操作体的动态显示方法、装置、计算机可读存储介质及电子设备。
本公开的实施例提供了一种基于操作体的动态显示方法，该方法包括：响应于操作体在空间中相对于屏幕做出的隔空操作，确定待展示的图标在屏幕上的位置；在所确定的位置展示图标；响应于检测到操作体产生移动，确定操作体的第一移动物理量；基于第一移动物理量，确定图标在屏幕上的第二移动物理量；基于第二移动物理量，控制图标在屏幕上拖动。
根据本公开实施例的另一个方面，提供了一种基于操作体的动态显示装置，该装置包括：第一确定模块，用于响应于操作体在空间中相对于屏幕做出的隔空操作，确定待展示的图标在屏幕上的位置；展示模块，用于在所确定的位置展示图标；第二确定模块，用于响应于检测到操作体产生移动，确定操作体的第一移动物理量；第三确定模块，用于基于第一移动物理量，确定图标在屏幕上的第二移动物理量；控制模块，用于基于第二移动物理量，控制图标在屏幕上拖动。
根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序用于执行上述基于操作体的动态显示方法。
根据本公开实施例的另一个方面，提供了一种电子设备，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行指令以实现上述基于操作体的动态显示方法。
基于本公开上述实施例提供的基于操作体的动态显示方法、装置、计算机可读存储介质及电子设备，当操作体在空间做出隔空操作时，确定操作体映射到屏幕上的图标的位置，在检测到操作体移动时，确定操作体的第一移动物理量，并基于第一移动物理量确定图标在屏幕上的第二移动物理量，最后基于第二移动物理量，控制图标在屏幕上拖动，从而实现了操作体进行隔空操作时，通过在屏幕上拖动图标以实时反馈操作体的移动轨迹，使用户可以参照图标的移动轨迹实时了解隔空操作是否准确，改善了用户的操控感，有助于提高隔空操作的准确率。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开所适用的系统图。
图2是本公开一示例性实施例提供的基于操作体的动态显示方法的流程示意图。
图3A是本公开一示例性实施例提供的基于操作体的动态显示方法的一个应用场景的示例性示意图。
图3B是本公开又一示例性实施例提供的基于操作体的动态显示方法的另一个应用场景的示例性示意图。
图3C是本公开又一示例性实施例提供的基于操作体的动态显示方法的另一个应用场景的示例性示意图。
图3D是本公开又一示例性实施例提供的基于操作体的动态显示方法的另一个应用场景的示例性示意图。
图4是本公开又一示例性实施例提供的基于操作体的动态显示方法的流程示意图。
图5是本公开另一示例性实施例提供的基于操作体的动态显示方法的流程示意图。
图6是本公开另一示例性实施例提供的基于操作体的动态显示方法的流程示意图。
图7是本公开另一示例性实施例提供的基于操作体的动态显示方法的流程示意图。
图8是本公开一示例性实施例提供的基于操作体的动态显示装置的结构示意图。
图9是本公开另一示例性实施例提供的基于操作体的动态显示装置的结构示意图。
图10是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
申请概述
现有的隔空操作方法，通常只有当操作体操作成功后，系统才会给予视觉上的反馈，例如反馈为界面弹窗展示，在操作成功之前往往没有任何反馈，导致用户不知道操作体当前的隔空操作是否合格，并会导致隔空操作的实际效果与预期效果不符，从而使用户对预期动作的控制感较低。
示例性系统
图1示出了可以应用本公开的实施例的基于操作体的动态显示方法或基于操作体的动态显示装置的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、网络102、服务器103和操作体位置采集设备104。网络102用于在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用，例如虚拟现实应用、增强现实应用、搜索类应用、网页浏览器应用、即时通信工具等。
终端设备101可以是各种电子设备，包括但不限于诸如车载终端(例如车机、车辆上中控台，等)、移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。
服务器103可以是提供各种服务的服务器，例如对终端设备101上传的针对操作体的待识别数据(例如包含操作体的图像、点云等数据)进行识别的后台服务器。后台服务器可以对接收到的待识别数据进行处理，得到处理结果(例如在屏幕上显示的图标对应的移动物理量)。
操作体位置采集设备104可以是各种用于采集操作体的位置的设备，例如单目摄像头、双目立体摄像头、激光雷达、三维结构光成像设备等。
需要说明的是，本公开的实施例所提供的基于操作体的动态显示方法可以由服务器103执行，也可以由终端设备101执行，相应地，基于操作体的动态显示装置可以设置于服务器103中，也可以设置于终端设备101中。
应该理解，图1中的终端设备、网络、服务器和操作体位置采集设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、服务器和操作体位置采集设备。在用于识别操作体的位置的数据不需要从远程获取的情况下，上述系统架构可以不包括网络，只包括操作体位置采集设备和终端设备，或者只包括操作体位置采集设备和服务器。
示例性方法
图2是本公开一示例性实施例提供的基于操作体的动态显示方法的流程示意图。本实施例可应用在电子设备(如图1所示的终端设备101或服务器103)上，如图2所示，该方法包括如下步骤：
步骤201，响应于操作体在空间中相对于屏幕做出的隔空操作，确定待展示的图标在屏幕上的位置。
在本实施例中，电子设备可以响应于操作体在空间中相对于屏幕做出的隔空操作，确定待展示的图标在屏幕上的位置。其中，操作体是对被控设备进行隔空操作的各种硬件实体或者是用户特定的身体部位，例如，操作体可以是用户的手部、头部等身体部位，还可以是手柄等可以实时向上述电子设备输出位置信息的硬件实体，还可以是其他具有特定形状的物体。
电子设备可以基于各种方法实时确定操作体的位置。通常，电子设备可以获取如图1所示的操作体位置采集设备104对操作体采集的待识别数据，并对待识别数据进行识别，从而确定操作体的位置。作为示例，操作体位置采集设备104可以是单目摄像头，电子设备可以对单目摄像头实时采集的图像帧进行识别，确定操作体在图像帧中的位置。再例如，操作体位置采集设备104可以是双目立体相机，电子设备可以对双目立体相机实时采集的双目图像进行识别，确定操作体在三维空间中的位置。
电子设备可以将所确定的操作体的位置，映射到屏幕上的对应位置作为待展示的图标在屏幕上的位置。该屏幕可以是电子设备包括的屏幕，也可以是与电子设备连接的设备包括的屏幕。例如，该屏幕可以是车辆上中控台的屏幕。通常，可以预先设置操作体的位置与屏幕上的位置的对应关系，根据该对应关系，将操作体的位置映射到屏幕上。作为示例，当操作体位置采集设备104是单目摄像头时，电子设备可以根据预先设置的、单目摄像头拍摄的图像中的像素点与屏幕的像素点的对应关系，确定操作体对应的位于屏幕上的位置为位置。再例如，当操作体位置采集设备104是激光雷达时，电子设备可以根据预先设置的、激光雷达的探测范围中的点与屏幕的像素点的对应关系，确定操作体对应的位于屏幕上的位置。
在本实施例中，电子设备可以实时确定操作体在空间中是否做出隔空操作。例如，当检测到操作体出现在操作体位置采集设备104的探测范围内或者操作体在操作体位置采集设备104的探测范围内移动时，确定操作体做出了隔空操作。
步骤202，在所确定的位置展示图标。
在本实施例中，电子设备可以在待展示的图标在屏幕上的位置展示上述图标。其中，图标可以为各种类型及形状。例如，图标可以是静态图，也可以是动态图。图标的形状可以是固定形状也可以是实时变化的形状。作为示例，图标可以是水滴形状的图标，且该图标可以是表示水滴的晃动状态的动态图。
步骤203，响应于检测到操作体产生移动，确定操作体的第一移动物理量。
在本实施例中，电子设备可以响应于检测到操作体产生移动，确定操作体的第一移动物理量。其中，第一移动物理量可以包括但不限于以下至少一种：移动速度、移动方向、移动幅度等。需要说明的是，第一移动物理量可以是操作体在空间中的实际物理量，也可以是将移动物体映射到其他维度(例如二维像平面或三维虚拟空间)的物理量。作为示例，当操作体位置采集设备104是单目摄像头时，第一移动物理量可以是操作体映射到单目摄像头拍摄的图像中的物理量。再例如，当操作体位置采集设备104是激光雷达等三维探测设备时，第一移动物理量可以是操作体在空间中的实际物理量。
步骤204，基于第一移动物理量，确定图标在屏幕上的第二移动物理量。
在本实施例中，电子设备可以基于第一移动物理量，确定图标在屏幕上的第二移动物理量。具体地，电子设备可以预先设置的、第一移动物理量所在的维度与屏幕的映射关系，确定图标在屏幕上的第二移动物理量。第二移动物理量可以包括但不限于以下至少一种：移动速度、移动方向、移动幅度(即，图标在屏幕上的移动距离)等。
作为示例，当操作体位置采集设备104是单目摄像头时，电子设备可以根据预先设置的、单目摄像头拍摄的图像中的像素点与屏幕的像素点的对应关系，确定图标在屏幕上的第二移动物理量。再例如，当操作体位置采集设备104是激光雷达等三维探测设备时，电子设备可以根据预先设置的、三维探测设备的探测范围中的点与屏幕的像素点的对应关系，确定图标在屏幕上的第二移动物理量。
步骤205，基于第二移动物理量，控制图标在屏幕上拖动。
在本实施例中，电子设备可以基于第二移动物理量，控制图标在屏幕上拖动。其中，拖动的过程中，图标的形状可以保持不变，也可以产生预设的动态效果(例如拖尾、变形等)。
本公开的上述实施例提供的方法，当操作体在空间做出隔空操作时，确定操作体映射到屏幕上的图标的位置，在检测到操作体移动时，确定操作体的第一移动物理量，并基于第一移动物理量确定图标在屏幕上的第二移动物理量，最后基于第二移动物理量，控制图标在屏幕上拖动，从而实现了操作体进行隔空操作时，通过在屏幕上拖动图标以实时反馈操作体的移动轨迹，使用户可以参照图标的移动轨迹实时了解隔空操作是否准确，通过图标在屏幕上的第二移动物理量来体现出操作体隔空操作的重量感，大大改善了用户的操控感，有助于提高隔空操作的准确率。
在一些可选的实现方式中，步骤205可以如下执行：
首先，基于第二移动物理量，确定图标在屏幕上的拖尾长度、第一移动方向以及第一移动速度。
通常，第二移动物理量可以包括上述第一移动方向和第一移动速度。拖尾长度可以对应于第一移动速度。例如，当第一移动速度越快，拖尾长度越长。作为示例，拖尾长度可以由移动的图标在每个位置的显示时长体现，例如，图标在经过的每个位置的显示时长相同，若第一移动速度越快，则图标由第一时刻的位置移动到第二时刻的位置之间的距离越长，表现出拖尾长度较长；相反，若第一移动速度越慢，则图标由第一时刻的位置移动到第二时刻的位置之间的距离越短，表现出拖尾长度较短。
然后，基于拖尾长度调整图标的尾部形状。
通常，图标在移动时，可以包括头部和尾部，若拖尾长度越长，则尾部形状可以较小幅度地由粗变化到细，若拖尾长度越短，则尾部形状可以较大幅度地由粗变化到细。作为示例，尾部形状可以由在移动的图标在经过的每个位置的形状变化体现，例如，移动的图标在经过每个位置的显示时长相同，且显示的尺寸由大变化到小，若第一移动速度越快，则图标由第一时刻的位置移动到第二时刻的位置之间的距离越长，表现出拖尾长度较长且尾部由粗到细的变化幅度较小；相反，若第一移动速度越慢，则图标由第一时刻的位置移动到第二时刻的位置之间的距离越短，表现出拖尾长度较短且尾部由粗到细的变化幅度较大。
最后，控制图标以第一移动速度沿着第一移动方向拖动。
参考图3A，其示出了本公开实施例的一个应用场景的示意图。该应用场景下，操作体为用户的手部，屏幕为车辆的中控台上的屏幕。屏幕上的标号A-F对应的方框可以表示各个功能模块的触发区域，例如导航模块、收音机模块、蓝牙音乐模块等。标号G对应的区域可以是显示各种信息的区域，例如当前时间、车辆当前的位置、车内温度等信息。电子设备识别车辆顶部的摄像头拍摄的用户手部的位置，通过本公开实施例并将手部位置实时映射到屏幕上，在屏幕的对应位置显示水滴形状的图标。电子设备通过识别图标的移动轨迹，控制中控台执行相应的功能，从而实现用户对中控台的隔空操作。例如图标从左向右移动表示播放下一首音乐，图标在屏幕上做圆周运动表示关闭屏幕等等。如图3A所示，当用户手部移动较慢时，屏幕上的图标如301所示，拖尾长度较短；当用户手部移动较快时，屏幕上的图标如302所示，拖尾长度较长。
本实现方式通过在图标移动时显示相应长度的拖尾，可以使用户更直观地感受到当前操作体移动速度的快慢，从而可以有助于使用户更有效地调整操作体的移动速度，进而提高隔空操作的准确性。
在一些可选的实现方式中，电子设备还可以执行如下步骤：
响应于检测到操作体离开用于检测操作体的隔空操作的设备的检测边界，在图标所处的屏幕上的当前显示位置，按照第一预设动画演示图标的形状变化。
其中，用于检测操作体的隔空操作的设备可以是如图1所示的操作体位置采集设备104。作为示例，当操作体位置采集设备104为单目摄像头时，上述检测边界可以是拍摄的图像中划定的边界，该边界可以是图像的显示范围的边界，也可以是在图像中设置的特定大小的范围的边界。再例如，当操作体位置采集设备104是激光雷达等三维探测设备时，上述检测边界可以是三维探测设备的探测范围中划定的边界，该边界可以是上述探测范围的实际边界，也可以是在探测范围中设置的特定大小的范围的边界。
通常，上述检测边界对应于屏幕的显示边界，当检测到操作体离开检测边界时，在屏幕的显示边界上可以按照第一预设动画演示图标的形状变化。作为示例，图标的形状可以是水滴的形状，第一预设动画可以是表示水滴被撞碎的动画。
参考图3B，其示出了本公开实施例的另一个应用场景的示意图。如图3B所示，当用户手部(即操作体)的移动幅度过大离开了诸如单目摄像头或三维探测设备的检测边界时，相应的，水滴图标会移动到屏幕的显示边界，则在屏幕的边界位置，展示第一预设动画，其中，如图3B中的标号303所示，第一预设动画为水滴被撞碎的过程。需要说明的是，水滴被撞碎的速度以及水滴的破裂程度与手势的速度呈正向关系，例如，手势的速度越快，水滴被撞碎的越快并且水滴呈现出的零碎颗粒更多。
本实现方式通过在操作体离开检测边界时，在屏幕上演示第一预设动画，可以实现动态地提示用户当前操作体达到了操作体位置采集设备的检测边界，使用户及时调整操作体的位置至操作体位置采集设备的检测范围内，从而有助于提高用户进行隔空操作的准确性，改善用户的操控感。
在一些可选的实现方式中，电子设备还可以执行如下步骤：
响应于根据第一移动物理量确定操作体的移动速度大于或等于第一预设速度，在图标所处的屏幕上的当前显示位置，按照第二预设动画演示图标的形状变化。其中，第一移动物理量可以包括操作体的移动速度，从而可以根据第一移动物理量确定操作体当前的移动速度。第二预设动画可以与上述第一预设动画相同或不同。作为示例，图标的形状可以是水滴的形状，第二预设动画可以是表示水滴分裂的动画。
参考图3C，其示出了本公开实施例的另一个应用场景的示意图。如图3C所示，当检测到用户手部(即操作体)的移动速度过大时，在图标移动到的当前位置，展示第二预设动画，其中，如图3C中的标号304所示，第二预设动画为水滴分裂过程的部分演示。需要说明的是，水滴分裂的速度以及水滴的分裂程度与手势的速度呈正向关系，例如，手势的速度越快，水滴分裂的越快并且水滴呈现出的零碎颗粒更多。
本实现方式通过在操作体的速度过大时演示第二预设动画，提示用户调整操作体的移动速度至预设的正常速度范围，从而有助于使用户将操作体的移动速度控制在合理范围，提高用户进行隔空操作的准确性，改善用户的操控感。
需要说明的是，本公开中的图标包括主体部分和尾部，图3A-图3C中的图标，以水滴形状来列举的情形下，主体部分31和尾部32是合为一体的结构。如图3A所示，两个虚线框3011和3012分别表示主体部分和尾部。此外，如图3D所示，本公开中的图标，主体部分和尾部还可以是分裂的结构，如图3D中的图标305，包括主体部分3051和尾部3052，并且，尾部3052可以通过离散且在面积上依次递减的水滴分布的方式，来呈现出用户进行隔空操作的重量感，改善用户的操控感。
在一些可选的实现方式中，电子设备还可以执行如下步骤：
若根据第二移动物理量确定图标的移动速度小于或等于第二预设速度，基于操作体距离屏幕所在的平面的垂直距离，调整图标的主体在屏幕上的显示尺寸。其中，第二移动物理量可以包括图标的移动速度，从而可以根据第二移动物理量确定图标当前的移动速度。当图标的移动速度小于或等于第二预设速度时，表示当前图标处于近似静止状态，也即操作体在与屏幕所在的平面平行的平面上处于近似静止状态，此时，用户可以调整操作体与屏幕所在平面的垂直距离，图标的大小随着上述垂直距离的变化而变化。通常，上述垂直距离越小，图标的尺寸越大，从而可以模拟操作体按压屏幕的效果。
上述垂直距离可以按照现有的各种测距方法得到。例如，可以使用激光雷达、红外测距仪，超声波测距仪、双目立体相机等三维探测设备，确定操作体与屏幕所在平面的垂直距离。
本实现方式通过根据操作体与屏幕所在平面的垂直距离调整图标的显示尺寸，从而可以模拟出用户进行隔空操作的重量感，进一步改善用户的操控性。
在一些可选的实现方式中，电子设备还可以执行如下步骤：
首先，在用于检测操作体的隔空操作的设备为第一摄像头的情况下，确定操作体与相机的距离。该距离可以是精确距离，也可以是估计距离。例如，电子设备可以根据操作体在第一摄像头拍摄的图像中的大小，估计操作体与相机的距离。
然后，确定操作体与第一摄像头之间的距离对应的目标焦距。其中，距离与焦距的对应关系可以预先设定，电子设备可以根据该对应关系，将当前操作体与第一摄像头之间的距离对应的焦距作为目标焦距。
最后，调整第一摄像头的焦距至目标焦距；或者，若距离对应的焦距超过第一摄像头的最大焦距，将第一摄像头切换至第二摄像头，基于第二摄像头采集操作体的图像，其中，第二摄像头的焦距大于第一摄像头的焦距。
通常，第二摄像头可以是长焦摄像头，用于拍摄近距离的物体，第二摄像头可以安装在第一摄像头旁边。本实现方式通过根据操作体与第一摄像头之间的距离调整第一摄像头的焦距，或者在第一摄像头的焦距无法调整到与距离相对应时，切换到第二摄像头进行拍摄，可以使拍摄的操作体的图像保持清晰，从而有助于提高对操作体进行识别的准确性，进而提高隔空操作的准确性。
进一步参考图4，示出了基于操作体的动态显示方法的又一个实施例的流程示意图。如图4所示，在上述图2所示实施例的基础上，步骤201可以包括如下步骤：
步骤2011，响应于检测到多帧图像中存在操作体，基于多帧图像确定操作体在空间中相对于屏幕做出的隔空操作。
在本实施例中，上述多帧图像可以是单目摄像头拍摄的，且该多帧图像包括的图像的数量可以任意设置，例如，该多帧图像可以包括当前拍摄的一帧图像和上一帧图像。
通常，当检测到上述多帧图像中的任意一帧图像出现操作体，即可确定操作体做出隔空操作。
步骤2012，基于多帧图像确定操作体的像面坐标位置。
在本实施例中，电子设备可以对多帧图像中的每帧图像进行操作体识别，确定操作体在各帧图像中的像面坐标位置。
步骤2013，基于像面坐标位置，确定待展示的图标在屏幕上的位置。
在本实施例中，电子设备可以根据预先设置的、单目摄像头拍摄的图像中的像素点与屏幕的像素点的对应关系，确定各帧图像中的操作体的像面坐标位置对应的位于屏幕上的位置作为待展示的图标的位置。需要说明的是，在设置该对应关系时，可以设置上述图像中的每个像素点对应于屏幕中的像素点，也可以设置图像中的部分像素点对应于屏幕中的像素点，例如设置图像中的某个区域中的每个像素与屏幕中的每个像素的对应关系。
上述图4对应实施例提供的方法，通过使用摄像头对操作体拍摄图像，并通过对图像进行识别以确定操作体对应的图标在屏幕上的位置，其所需要的设备成本较低，且便于安装，只需将摄像头安装到空间中的特定位置，即可利用摄像头拍摄的图像实现实时地确定屏幕上的图标的位置，从而有助于降低隔空操作系统的成本，提高隔空操作的效率。
在一些可选的实现方式中，如图5所示，基于步骤2021-步骤2023，上述步骤203可以如下执行：
步骤20311，确定操作体在第一帧图像中的第一像面坐标以及操作体在第二帧图像中的第二像面坐标。
其中，第二帧图像为与第一帧图像间隔预设帧数的图像。第一帧图像和第二帧图像可以包含在上述步骤2021描述的多帧图像中。作为示例，第二帧图像可以是当前拍摄的一帧图像，第一帧图像可以是前一帧图像。需要说明的是，确定操作体在图像中的像面坐标的方法可以为现有的目标检测方法(例如基于神经网络的目标检测模型)，这里不再赘述。
步骤20312，基于第一像面坐标与第二像面坐标以及图像预设帧率，确定操作体的第一移动物理量。
其中，本步骤中的第一移动物理量是图像中的操作体的移动物理量，例如包括但不限于图像中的操作体的移动速度、移动方向、移动幅度中的至少一项。
上述图5对应实施例提供的方法，通过确定操作体在两帧图像中的像面坐标，并基于像面坐标确定操作体在图像中的第一移动物理量，其确定第一移动物理量的过程简便、快捷，从而可以有效提高隔空操作的效率。
进一步参考图6，示出了基于操作体的动态显示方法的又一个实施例的流程示意图。如图6所示，在上述图2所示实施例的基础上，步骤203可以包括如下步骤：
步骤20321，响应于检测到操作体产生移动，确定操作体在空间中的第一三维坐标。
在本实施例中，可以使用双目立体相机、激光雷达等三维探测设备实时获取相应类型的数据帧，根据数据帧实时检测操作体的三维空间的坐标位置。根据数据帧确定操作体的三维坐标的方法是现有技术，这里不再赘述。当检测到操作体的三维坐标发生变化时，即可确定操作体产生了移动，接着可以将检测到操作体移动时的三维坐标作为第一三维坐标、)，或者，将检测到操作体移动时的前一帧数据对应的三维坐标作为第一三维坐标。
步骤20322，确定操作体在空间中从第一三维坐标到第二三维坐标的第二移动速度和第二移动方向。
在本实施例中，第二三维坐标可以根据位于第一三维坐标对应的数据帧之后的数据帧确定。进而根据第一三维坐标和第二三维坐标，可以确定操作体在空间中的移动速度和移动方向作为第二移动速度和第二移动方向。
例如，第一三维坐标为(X1,Y1,Z1)，第二三维坐标为(X2,Y2,Z2)，则可以基于采集图像数据的帧率确定从(X1,Y1,Z1)到(X2,Y2,Z2)的时间，再基于(X1,Y1,Z1)和(X2,Y2,Z2)的空间几何关系，确定出操作体在空间中的移动速度和移动方向，再基于得到的移动速度和移动方向，进一步确定第二移动速度和第二移动方向(例如将上述得到的移动速度和移动方向确定为第二移动速度和第二移动方向)。
步骤20323，基于第二移动速度和第二移动方向，确定操作体的第一移动物理量。
在本实施例中，第一移动物理量可以包括上述第二移动速度和第二移动方向，还可以包括其他物理量，例如移动幅度等。
上述图6对应实施例提供的方法，通过检测操作体在空间中的三维坐标确定在空间中的第一移动物理量，可以准确地反映操作体在空间中的移动状态，从而有助于根据第一移动物理量，进一步更准确地在屏幕上的对应位置显示图标，从而使隔空操作的过程更接近空间中的实际情况，提高隔空操作的准确性，进一步改善用户的操控感。
在一些可选的实现方式中，基于步骤20321-步骤20323，上述步骤204可以进一步包括如下子步骤：
首先，基于目标空间范围和屏幕的显示范围的预设映射关系，确定第二移动速度和第二移动方向在屏幕上各自对应的第三移动速度和第三移动方向。
其中，上述用于检测操作体的三维坐标的设备可以为上述步骤20321中描述的三维探测设备。目标空间范围是用于检测操作体的三维坐标的设备的空间检测范围。需要说明的是，目标空间范围可以是上述三维探测设备的整个空间检测范围，也可以是预先设定的整个空间检测范围包括的一部分空间检测范围。
在本实施例中，电子设备可以根据预先设置的、目标空间范围中的点与屏幕的像素点的对应关系，确定第三移动速度和第三移动方向。例如，可以根据该对应关系，确定上述第一三维坐标和第二三维坐标分别映射到屏幕上的第一点和第二点，根据第一点和第二点的坐标和移动时间可以确定图标在屏幕上的移动速度和移动方向作为第三移动速度和第三移动方向。
然后，基于第三移动速度和第三移动方向，确定图标在屏幕上的第二移动物理量。其中，第二移动物理量可以包括上述第三移动速度和第三移动方向，还可以包括其他物理量，例如图标的移动幅度等。
本实现方式通过目标空间范围和屏幕的显示范围的预设映射关系，确定图标在屏幕上的第三移动速度和第三移动方向，使第二移动物理量可以准确地反映操作体在三维空间中的移动状态，从而有助于提高隔空操作的精准性。
在一些可选的实现方式中，如图7所示，基于上述可选实现方式，步骤205可以包括如下子步骤：
步骤2051，确定操作体与屏幕所在的平面的垂直距离。
上述垂直距离可以按照现有的各种测距方法得到。例如，可以使用上述三维探测设备，或红外测距仪，超声波测距仪等测距设备，确定操作体与屏幕所在平面的垂直距离。
步骤2052，将图标的尺寸调整至预设的、与垂直距离对应的图标尺寸。
其中，图标尺寸与垂直距离的对应关系可以预先设置，电子设备可以根据该对应关系，确定当前的垂直距离对应的图标尺寸。通常，上述垂直距离越小，图标的尺寸越大，从而可以模拟操作体按压屏幕的效果。
步骤2053，基于第二移动物理量，确定图标在屏幕上的拖尾长度。
其中，本步骤中的拖尾长度的概念与上述图2对应实施例的可选实现方式中描述的拖尾长度的概念相同，这里不再赘述。
步骤2054，基于拖尾长度调整图标的尾部形状。
其中，本步骤中的尾部形状的概念与上述图2对应实施例的可选实现方式中描述的尾部形状的概念相同，这里不再赘述。
步骤2055，控制图标以第三移动速度沿着第三移动方向拖动。
本实现方式通过在图标移动时显示相应长度的拖尾的同时，根据操作体与屏幕的距离调整图标的尺寸，可以使操作体在移动的过程中，模拟操作体按压屏幕的效果，使用户可以通过视觉感受到隔空操作的重量感，进一步改善用户的操控性。
需要说明的是，本公开所述的基于操作体的方式动态显示图标的方法流程，是通过视觉方面来体现操作体的重量感，本公开还可以基于图标、语音、文本等方式任一组合，例如，当图标在屏幕上拖动时，同时还可以基于第二移动物理量，来确定用于提示操作体的语音效果，并通过播放语音效果，例如，第二移动物理量所包含的移动速度越快，则语音效果表现为音量越大，从而进一步改善操作体的操控性。再例如，当图标在屏幕上拖动时，同时还可以基于第二移动物理量，来生成用于提示操作体的文本消息，并通过屏幕展示该文本消息。
示例性装置
图8是本公开一示例性实施例提供的基于操作体的动态显示装置的结构示意图。本实施例可应用在电子设备上，如图8所示，基于操作体的动态显示装置包括：第一确定模块801，用于响应于操作体在空间中相对于屏幕做出的隔空操作，确定待展示的图标在屏幕上的位置；展示模块802，用于在所确定的位置展示图标；第二确定模块803，用于响应于检测到操作体产生移动，确定操作体的第一移动物理量；第三确定模块804，用于基于第一移动物理量，确定图标在屏幕上的第二移动物理量；控制模块805，用于基于第二移动物理量，控制图标在屏幕上拖动。
在本实施例中，第一确定模块801可以响应于操作体在空间中相对于屏幕做出的隔空操作，确定待展示的图标在屏幕上的位置。其中，操作体是对被控设备进行隔空操作的各种物体，例如，操作体可以是用户的手部、头部等身体部位，还可以是体感手柄等可以实时向上述装置输出位置信息的物体，还可以是其他具有特定形状的物体。
第一确定模块801可以基于各种方法实时确定操作体的位置。通常，第一确定模块801可以获取如图1所示的操作体位置采集设备104对操作体采集的待识别数据，并对待识别数据进行识别，从而确定操作体的位置。作为示例，操作体位置采集设备104可以是单目摄像头，第一确定模块801可以对单目摄像头实时采集的图像帧进行识别，确定操作体在图像帧中的位置。再例如，操作体位置采集设备104可以是双目立体相机，第一确定模块801可以对双目立体相机实时采集的双目图像进行识别，确定操作体在三维空间中的位置。
第一确定模块801可以将所确定的操作体的位置，映射到屏幕上的对应位置作为待展示的图标在屏幕上的位置。该屏幕可以是该装置包括的屏幕，也可以是与该装置连接的设备包括的屏幕。例如，该屏幕可以是车辆上中控台的屏幕。通常，可以预先设置操作体的位置与屏幕上的位置的对应关系，根据该对应关系，将操作体的位置映射到屏幕上。
在本实施例中，第一确定模块801可以实时确定操作体在空间中是否做出隔空操作。例如，当检测到操作体出现在操作体位置采集设备104的探测范围内或者操作体在操作体位置采集设备104的探测范围内移动时，确定操作体做出了隔空操作。
在本实施例中，展示模块802可以在待展示的图标在屏幕上的位置展示上述图标。其中，图标可以为各种类型及形状。例如，图标可以是静态图，也可以是动态图。图标的形状可以是固定形状也可以是实时变化的形状。作为示例，图标可以是水滴形状的图标，且该图标可以是表示水滴的晃动状态的动态图。
在本实施例中，第二确定模块803可以响应于检测到操作体产生移动，确定操作体的第一移动物理量。其中，第一移动物理量可以包括但不限于以下至少一种：移动速度、移动方向、移动幅度等。需要说明的是，第一移动物理量可以是操作体在空间中的实际物理量，也可以是将移动物体映射到其他维度(例如二维像平面或三维虚拟空间)的物理量。作为示例，当操作体位置采集设备104是单目摄像头时，第一移动物理量可以是操作体映射到单目摄像头拍摄的图像中的物理量。再例如，当操作体位置采集设备104是激光雷达等三维探测设备时，第一移动物理量可以是操作体在空间中的实际物理量。
在本实施例中，第三确定模块804可以基于第一移动物理量，确定图标在屏幕上的第二移动物理量。具体地，第三确定模块804可以预先设置的、第一移动物理量所在的维度与屏幕的映射关系，确定图标在屏幕上的第二移动物理量。第二移动物理量可以包括但不限于以下至少一种：移动速度、移动方向、移动幅度等。
在本实施例中，控制模块805可以基于第二移动物理量，控制图标在屏幕上拖动。其中，拖动的过程中，图标的形状可以保持不变，也可以产生预设的动态效果(例如拖尾、变形等)。
参照图9，图9是本公开另一示例性实施例提供的基于操作体的动态显示装置的结构示意图。
在一些可选的实现方式中，第一确定模块801可以包括：第一确定单元8011，用于响应于检测到多帧图像中存在操作体，基于多帧图像确定操作体在空间中相对于屏幕做出的隔空操作；第二确定单元8012，用于基于多帧图像确定操作体的像面坐标位置；第三确定单元8013，用于基于像面坐标位置，确定待展示的图标在屏幕上的位置。
在一些可选的实现方式中，第二确定模块803可以包括：第四确定单元8031，用于确定操作体在第一帧图像中的第一像面坐标以及操作体在第二帧图像中的第二像面坐标，第二帧图像为与第一帧图像间隔预设帧数的图像；第五确定单元8032，用于基于第一像面坐标与第二像面坐标以及图像预设帧率，确定操作体的第一移动物理量。
在一些可选的实现方式中，控制模块805可以包括：第六确定单元8051，用于基于第二移动物理量，确定图标在屏幕上的拖尾长度、第一移动方向以及第一移动速度；第一调整单元8052，用于基于拖尾长度调整图标的尾部形状；第一控制单元8053，用于控制图标以第一移动速度沿着第一移动方向拖动。
在一些可选的实现方式中，第二确定模块803可以包括：第七确定单元8033，用于响应于检测到操作体产生移动，确定操作体在空间中的第一三维坐标；第八确定单元8034，用于确定操作体在空间中从第一三维坐标到第二三维坐标的第二移动速度和第二移动方向；第九确定单元8035，用于基于第二移动速度和第二移动方向，确定操作体的第一移动物理量。
在一些可选的实现方式中，第三确定模块804可以包括：第十确定单元8041，用于基于目标空间范围和屏幕的显示范围的预设映射关系，确定第二移动速度和第二移动方向在屏幕上各自对应的第三移动速度和第三移动方向，其中，目标空间范围是用于检测操作体的三维坐标的设备的空间检测范围；第十一确定单元8042，用于基于第三移动速度和第三移动方向，确定图标在屏幕上的第二移动物理量。
在一些可选的实现方式中，控制模块805可以包括：第十二确定单元8054，用于确定操作体与屏幕所在的平面的垂直距离；第二调整单元8055，用于将图标的尺寸调整至预设的、与垂直距离对应的图标尺寸；第十三确定单元8056，用于基于第二移动物理量，确定图标在屏幕上的拖尾长度；第三调整单元8057，用于基于拖尾长度调整图标的尾部形状；第二控制单元8058，用于控制图标以第三移动速度沿着第三移动方向拖动。
在一些可选的实现方式中，该装置还可以包括：第一演示模块806，用于响应于检测到操作体离开用于检测操作体的隔空操作的设备的检测边界，在图标所处的屏幕上的当前显示位置，按照第一预设动画演示图标的形状变化。
在一些可选的实现方式中，该装置还可以包括：第二演示模块807，用于响应于根据第一移动物理量确定操作体的移动速度大于或等于第一预设速度，在图标所处的屏幕上的当前显示位置，按照第二预设动画演示图标的形状变化。
在一些可选的实现方式中，该装置还可以包括：第一调整模块808，用于若根据第二移动物理量确定图标的移动速度小于或等于第二预设速度，基于操作体距离屏幕所在的平面的垂直距离，调整图标的主体在屏幕上的显示尺寸。
在一些可选的实现方式中，该装置还可以包括：第四确定模块809，用于在用于检测操作体的隔空操作的设备为第一摄像头的情况下，确定操作体与第一摄像头的距离；第二调整模块810，用于确定操作体与第一摄像头之间的距离对应的目标焦距；调整第一摄像头的焦距至目标焦距；或者，若距离对应的焦距超过第一摄像头的最大焦距，将第一摄像头切换至第二摄像头，基于第二摄像头采集操作体的图像，其中，第二摄像头的焦距大于第一摄像头的焦距。
本公开上述实施例提供的基于操作体的动态显示装置，当操作体在空间做出隔空操作时，确定操作体映射到屏幕上的图标的位置，在检测到操作体移动时，确定操作体的第一移动物理量，并基于第一移动物理量确定图标在屏幕上的第二移动物理量，最后基于第二移动物理量，控制图标在屏幕上拖动，从而实现了操作体进行隔空操作时，通过在屏幕上拖动图标以实时反馈操作体的移动轨迹，使用户可以参照图标的移动轨迹实时了解隔空操作是否准确，改善了用户的操控感，有助于提高隔空操作的准确率。
示例性电子设备
下面，参考图10来描述根据本公开实施例的电子设备。该电子设备可以是如图1所示的终端设备101和服务器103中的任一个或两者、或与它们独立的单机设备，该单机设备可以与终端设备101和服务器103进行通信，以从它们接收所采集到的输入信号。
图10图示了根据本公开实施例的电子设备的框图。
如图10所示，电子设备1000包括一个或多个处理器1001和存储器1002。
处理器1001可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1000中的其他组件以执行期望的功能。
存储器1002可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1001可以运行程序指令，以实现上文的本公开的各个实施例的基于操作体的动态显示方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如待识别数据、移动物理量等各种内容。
在一个示例中，电子设备1000还可以包括：输入装置1003和输出装置1004，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，在该电子设备是终端设备101或服务器103时，该输入装置1003可以是摄像头、激光雷达、等设备，用于输入对操作体采集的待识别数据。在该电子设备是单机设备时，该输入装置1003可以是通信网络连接器，用于从终端设备101和服务器103接收所输入的待识别数据。
该输出装置1004可以向外部输出各种信息，包括第二移动物理量等。该输出设备1004可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图10中仅示出了该电子设备1000中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备1000还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的基于操作体的动态显示方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的基于操作体的动态显示方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种基于操作体的动态显示方法，包括：
响应于操作体在空间中相对于屏幕做出的隔空操作，确定待展示的图标在所述屏幕上的位置；
在所述位置展示所述图标；
响应于检测到所述操作体产生移动，确定所述操作体的第一移动物理量；
基于所述第一移动物理量，确定所述图标在所述屏幕上的第二移动物理量；
基于所述第二移动物理量，控制所述图标在所述屏幕上拖动。
2.根据权利要求1所述的方法，其中，所述响应于操作体在空间中相对于屏幕做出的隔空操作，确定待展示的图标在所述屏幕上的位置，包括：
响应于检测到多帧图像中存在操作体，基于所述多帧图像确定所述操作体在空间中相对于屏幕做出的隔空操作；
基于所述多帧图像确定所述操作体的像面坐标位置；
基于所述像面坐标位置，确定待展示的图标在所述屏幕上的位置。
3.根据权利要求2所述的方法，其中，所述响应于检测到所述操作体产生移动，确定所述操作体的第一移动物理量，包括：
确定所述操作体在第一帧图像中的第一像面坐标以及所述操作体在第二帧图像中的第二像面坐标，其中，所述第二帧图像为与所述第一帧图像间隔预设帧数的图像；
基于所述第一像面坐标与所述第二像面坐标以及图像预设帧率，确定所述操作体的第一移动物理量。
4.根据权利要求1所述的方法，其中，所述基于所述第二移动物理量，控制所述图标在所述屏幕上拖动，包括：
基于所述第二移动物理量，确定所述图标在所述屏幕上的拖尾长度、第一移动方向以及第一移动速度；
基于所述拖尾长度调整所述图标的尾部形状；
控制所述图标以所述第一移动速度沿着所述第一移动方向拖动。
5.根据权利要求1所述的方法，其中，所述响应于检测到所述操作体产生移动，确定所述操作体的第一移动物理量，包括：
响应于检测到所述操作体产生移动，确定所述操作体在所述空间中的第一三维坐标；
确定所述操作体在所述空间中从所述第一三维坐标到第二三维坐标的第二移动速度和第二移动方向；
基于所述第二移动速度和所述第二移动方向，确定所述操作体的第一移动物理量。
6.根据权利要求5所述的方法，其中，所述基于所述第一移动物理量，确定所述图标在所述屏幕上的第二移动物理量，包括：
基于目标空间范围和所述屏幕的显示范围的预设映射关系，确定所述第二移动速度和所述第二移动方向在所述屏幕上各自对应的第三移动速度和第三移动方向，其中，所述目标空间范围是用于检测所述操作体的三维坐标的设备的空间检测范围；
基于所述第三移动速度和所述第三移动方向，确定所述图标在所述屏幕上的第二移动物理量。
7.根据权利要求6所述的方法，其中，所述基于所述第二移动物理量，控制所述图标在所述屏幕上拖动，包括：
确定所述操作体与所述屏幕所在的平面的垂直距离；
将所述图标的尺寸调整至预设的、与所述垂直距离对应的图标尺寸；
基于所述第二移动物理量，确定所述图标在所述屏幕上的拖尾长度；
基于所述拖尾长度调整所述图标的尾部形状；
控制所述图标以所述第三移动速度沿着所述第三移动方向拖动。
8.根据权利要求1所述的方法，其中，所述方法还包括：
响应于检测到所述操作体离开用于检测所述操作体的隔空操作的设备的检测边界，在所述图标所处的所述屏幕上的当前显示位置，按照第一预设动画演示所述图标的形状变化。
9.根据权利要求1所述的方法，其中，所述方法还包括：
响应于根据所述第一移动物理量确定所述操作体的移动速度大于或等于第一预设速度，在所述图标所处的所述屏幕上的当前显示位置，按照第二预设动画演示所述图标的形状变化。
10.根据权利要求1所述的方法，其中，所述方法还包括：
若根据所述第二移动物理量确定所述图标的移动速度小于或等于第二预设速度，基于所述操作体距离所述屏幕所在的平面的垂直距离，调整所述图标的主体在所述屏幕上的显示尺寸。
11.根据权利要求1所述的方法，其中，所述方法还包括：
在用于检测所述操作体的隔空操作的设备为第一摄像头的情况下，确定所述操作体与所述第一摄像头的距离；
确定所述操作体与所述第一摄像头之间的距离对应的目标焦距；调整所述第一摄像头的焦距至所述目标焦距；或者，若所述距离对应的焦距超过所述第一摄像头的最大焦距，将所述第一摄像头切换至第二摄像头，基于所述第二摄像头采集所述操作体的图像，其中，所述第二摄像头的焦距大于所述第一摄像头的焦距。
12.一种基于操作体的动态显示装置，包括：
第一确定模块，用于响应于操作体在空间中相对于屏幕做出的隔空操作，确定待展示的图标在所述屏幕上的位置；
展示模块，用于在所述位置展示所述图标；
第二确定模块，用于响应于检测到所述操作体产生移动，确定所述操作体的第一移动物理量；
第三确定模块，用于基于所述第一移动物理量，确定所述图标在所述屏幕上的第二移动物理量；
控制模块，用于基于所述第二移动物理量，控制所述图标在所述屏幕上拖动。
13.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-11任一所述的方法。
14.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-11任一所述的方法。
CN202110141872.XA 2021-02-02 2021-02-02 基于操作体的动态显示方法、装置、存储介质及电子设备 Active CN112835484B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110141872.XA CN112835484B (zh) 2021-02-02 2021-02-02 基于操作体的动态显示方法、装置、存储介质及电子设备
PCT/CN2022/073218 WO2022166620A1 (zh) 2021-02-02 2022-01-21 基于操作体的动态显示方法、装置、存储介质及电子设备
US18/001,824 US20230229283A1 (en) 2021-02-02 2022-01-21 Dynamic display method and apparatus based on operating body, storage medium and electronic device
JP2022565861A JP2023523452A (ja) 2021-02-02 2022-01-21 操作体に基づく動的表示方法、装置、記憶媒体及び電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110141872.XA CN112835484B (zh) 2021-02-02 2021-02-02 基于操作体的动态显示方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112835484A true CN112835484A (zh) 2021-05-25
CN112835484B CN112835484B (zh) 2022-11-08

Family

ID=75931610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110141872.XA Active CN112835484B (zh) 2021-02-02 2021-02-02 基于操作体的动态显示方法、装置、存储介质及电子设备

Country Status (4)

Country Link
US (1) US20230229283A1 (zh)
JP (1) JP2023523452A (zh)
CN (1) CN112835484B (zh)
WO (1) WO2022166620A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113608616A (zh) * 2021-08-10 2021-11-05 深圳市慧鲤科技有限公司 虚拟内容的显示方法及装置、电子设备和存储介质
WO2022166620A1 (zh) * 2021-02-02 2022-08-11 北京地平线机器人技术研发有限公司 基于操作体的动态显示方法、装置、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246351A (zh) * 2013-05-23 2013-08-14 刘广松 一种用户交互系统和方法
CN105204764A (zh) * 2015-09-06 2015-12-30 惠州Tcl移动通信有限公司 具有悬浮屏的手持终端、显示设备及遥控方法
CN105430158A (zh) * 2015-10-28 2016-03-23 努比亚技术有限公司 一种隔空操作的处理方法及终端
CN108874136A (zh) * 2018-06-13 2018-11-23 北京百度网讯科技有限公司 动态图像生成方法、装置、终端和存储介质
CN109725724A (zh) * 2018-12-29 2019-05-07 百度在线网络技术（北京）有限公司 有屏设备的手势控制方法和装置
US20190146588A1 (en) * 2014-12-19 2019-05-16 Immersion Corporation Systems and Methods for Haptically-Enabled Interactions with Objects
CN110099211A (zh) * 2019-04-22 2019-08-06 联想(北京)有限公司 视频拍摄方法和电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2455841A3 (en) * 2010-11-22 2015-07-15 Samsung Electronics Co., Ltd. Apparatus and method for selecting item using movement of object
US8854433B1 (en) * 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
CN104471511B (zh) * 2012-03-13 2018-04-20 视力移动技术有限公司 识别指点手势的装置、用户接口和方法
CN112835484B (zh) * 2021-02-02 2022-11-08 北京地平线机器人技术研发有限公司 基于操作体的动态显示方法、装置、存储介质及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246351A (zh) * 2013-05-23 2013-08-14 刘广松 一种用户交互系统和方法
US20190146588A1 (en) * 2014-12-19 2019-05-16 Immersion Corporation Systems and Methods for Haptically-Enabled Interactions with Objects
CN105204764A (zh) * 2015-09-06 2015-12-30 惠州Tcl移动通信有限公司 具有悬浮屏的手持终端、显示设备及遥控方法
CN105430158A (zh) * 2015-10-28 2016-03-23 努比亚技术有限公司 一种隔空操作的处理方法及终端
CN108874136A (zh) * 2018-06-13 2018-11-23 北京百度网讯科技有限公司 动态图像生成方法、装置、终端和存储介质
CN109725724A (zh) * 2018-12-29 2019-05-07 百度在线网络技术（北京）有限公司 有屏设备的手势控制方法和装置
CN110099211A (zh) * 2019-04-22 2019-08-06 联想(北京)有限公司 视频拍摄方法和电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022166620A1 (zh) * 2021-02-02 2022-08-11 北京地平线机器人技术研发有限公司 基于操作体的动态显示方法、装置、存储介质及电子设备
CN113608616A (zh) * 2021-08-10 2021-11-05 深圳市慧鲤科技有限公司 虚拟内容的显示方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN112835484B (zh) 2022-11-08
JP2023523452A (ja) 2023-06-05
US20230229283A1 (en) 2023-07-20
WO2022166620A1 (zh) 2022-08-11

Similar Documents

Publication Publication Date Title
US11099637B2 (en) Dynamic adjustment of user interface
CN109313812B (zh) 具有上下文增强的共享体验
CN109905754B (zh) 虚拟礼物收取方法、装置及存储设备
CN105612478B (zh) 用户接口程序化的缩放
EP2352078B1 (en) Information processing apparatus, information processing method, information recording medium, and program
CN112835484B (zh) 基于操作体的动态显示方法、装置、存储介质及电子设备
CN109118532B (zh) 视觉景深估计方法、装置、设备及存储介质
US10969946B2 (en) Methods, devices, and systems for controlling movement of a moving object
EP4318186A1 (en) Multi-screen interaction method and apparatus, and terminal device and vehicle
CN108027936B (zh) 用于在视频内容内呈现交互式元素的方法、系统和介质
CN113483774B (zh) 导航方法、装置、电子设备及可读存储介质
CN111078011A (zh) 手势控制方法、装置、计算机可读存储介质及电子设备
KR20160096966A (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
CN111045586B (zh) 基于三维场景的界面切换方法、车机设备及车辆
CN113689508A (zh) 点云标注方法、装置、存储介质及电子设备
CN113325987A (zh) 引导操作体进行隔空操作的方法和装置
CN108874141B (zh) 一种体感浏览方法和装置
CN109857244B (zh) 一种手势识别方法、装置、终端设备、存储介质及vr眼镜
CN111429519B (zh) 三维场景显示方法、装置、可读存储介质及电子设备
CN112468865B (zh) 一种视频处理方法、vr终端及计算机可读存储介质
EP3739897A1 (en) Information displaying method and electronic device therefor
CN111352510B (zh) 一种虚拟模型的创建方法、系统、装置及头戴式设备
CN111475096B (zh) 将页面投射至显示屏的方法、装置及计算机可读存储介质
US20210385299A1 (en) Method and apparatus for augmented reality interaction and presentation
WO2023219612A1 (en) Adaptive resizing of manipulatable and readable objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant