CN111930231A - 交互控制方法、终端设备及存储介质 - Google Patents

交互控制方法、终端设备及存储介质 Download PDF

Info

Publication number
CN111930231A
CN111930231A CN202010734378.XA CN202010734378A CN111930231A CN 111930231 A CN111930231 A CN 111930231A CN 202010734378 A CN202010734378 A CN 202010734378A CN 111930231 A CN111930231 A CN 111930231A
Authority
CN
China
Prior art keywords
limb
image data
user
historical
control method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010734378.XA
Other languages
English (en)
Other versions
CN111930231B (zh
Inventor
王程龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Optical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Optical Technology Co Ltd filed Critical Goertek Optical Technology Co Ltd
Priority to CN202010734378.XA priority Critical patent/CN111930231B/zh
Priority to PCT/CN2020/123470 priority patent/WO2022021631A1/zh
Publication of CN111930231A publication Critical patent/CN111930231A/zh
Application granted granted Critical
Publication of CN111930231B publication Critical patent/CN111930231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种交互控制方法，包括以下步骤：获取用户的肢体图像数据；确定所述肢体图像数据与历史肢体图像数据之间的相似度，其中，所述历史肢体图像数据为所述终端设备保存的肢体图像数据；在所述相似度满足预设条件时，根据所述历史肢体图像数据确定所述用户的肢体对应的三维模型；根据所述三维模型，在显示画面中渲染所述用户肢体的三维图像，以基于所述包含所述三维图像的显示画面进行交互控制。本发明还公开了一种终端设备及计算机可读存储介质，达成了提升HMD人机交互的方案的便捷性的效果。

Description

交互控制方法、终端设备及存储介质
技术领域
本发明涉及虚拟现实技术领域，尤其涉及交互控制方法、终端设备及计算机可读存储介质。
背景技术
随着科技的发展，虚拟现实、增强现实和混合现实等技术已经深入人们的生活。而HMD(头戴式显示设备)是用于实现支持虚拟现实、增强现实和混合现实等技术的常见装置。
在现有的增强现实和/或混合现实的HMD设备控制方案中，一般通过手柄和/或遥控器等外接设备来实现人机交互，这样导致现有的交互控制方案十分依赖于外接设备。并且，用户通过外接设备实现人机交互时，经常由于对外接设备的操控不熟练等原因，导致人机交互的效果大折扣。此外，外接设备与HMD设备的连接与调试需要一定的专业知识，并且调试步骤是否繁琐。
基于以上原因，现有的通过外接设备实现HMD人机交互的方案存在便捷性较差的缺点。
发明内容
本发明的主要目的在于提供一种交互控制方法、终端设备及计算机可读存储介质，旨在达成提升HMD人机交互的方案的便捷性的效果。
为实现上述目的，本发明提供一种交互控制方法，所述交互控制方法包括以下步骤：
获取用户的肢体图像数据；
确定所述肢体图像数据与历史肢体图像数据之间的相似度，其中，所述历史肢体图像数据为所述终端设备保存的肢体图像数据；
在所述相似度满足预设条件时，根据所述历史肢体图像数据确定所述用户的肢体对应的三维模型；
根据所述三维模型，在显示画面中渲染所述用户肢体的三维图像，以基于所述包含所述三维图像的显示画面进行交互控制。
可选地，所述根据所述三维模型，在显示画面中渲染所述用户肢体的三维图像，以基于所述包含所述三维图像的显示画面进行交互控制的步骤之前，还包括：
在所述相似度不满足预设条件时，获取所述用户的肢体特征信息以及所述用户的肢体深度数据；
基于所述肢体特征信息、所述肢体图像数据和所述肢体深度数据确定所述三维模型。
可选地，所述基于所述肢体特征信息、所述肢体图像数据和所述肢体深度数据确定所述三维模型的步骤之后，还包括：
将所述肢体图像数据作为历史肢体图像数据与所述三维模型关联保存。
可选地，所述获取所述用户的肢体特征信息以及所述用户的肢体深度数据的步骤之前，还包括：
获取用户身份信息；
所述获取所述用户的肢体特征信息以及所述用户的肢体深度数据的步骤包括：
根据所述身份信息获取所述肢体特征信息；
通过肢体深度数据采集装置采集所述用户的肢体深度数据。
可选地，所述根据所述身份信息获取所述肢体特征信息的步骤包括：
获取预存的与所述身份信息关联的所述肢体特征信息。
可选地，所述获取用户身份信息的步骤包括：
获取所述终端设备中的骨传导传感器采集的骨传导信号，并获取所述骨传导信号对应的骨声纹特征；
根据所述骨声纹特征确定所述身份信息。
可选地，所述获取所述终端设备中的骨传导传感器采集的骨传导信号，并获取所述骨传导信号对应的骨声纹特征步骤之前还包括：
控制所述终端设备中的音频播放装置播放预设音频文件。
可选地，所述根据所述历史肢体图像数据确定所述三维模型的步骤包括：
在相似度满足预设条件的所述历史肢体图像数据为多个时，获取与所述肢体图像数据之间的相似度最大的所述历史肢体图像数据关联的所述三维模型。
可选地，所述预设条件包括所述肢体图像数据与所述历史肢体图像数据之间的相似度大于预设相似度。
此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的交互控制程序，所述交互控制程序被所述处理器执行时实现如上所述的交互控制方法的步骤。
可选地，所述终端设备为头戴式显示器；所述头戴式显示器包括音频播放装置以及骨传导传感器，其中，所述音频播放装置与所述骨传导传感器设置于所述头戴式显示器的不同位置上。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有交互控制程序，所述交互控制程序被处理器执行时实现如上所述的交互控制方法的步骤。
本发明实施例提出的一种交互控制方法、终端设备及计算机可读存储介质，先获取用户的肢体图像数据，然后确定所述肢体图像数据与历史肢体图像数据之间的相似度，其中，所述历史肢体图像数据为所述终端设备保存的肢体图像数据，在所述相似度满足预设条件时，根据所述历史肢体图像数据确定所述用户的肢体对应的三维模型，并根据所述三维模型，在显示画面中渲染所述用户肢体的三维图像，以基于所述包含所述三维图像的显示画面进行交互控制。由于用户可以通过自身肢体实现与终端设备之间的交互控制，从而降低了终端设备对外设的依赖。与此同时，还避免了用户通过外设与终端设备进行交互控制时存在的控制方案便捷性较差的缺陷。从而达成了降低终端设备对外设的依赖，以及提高终端设备的交互控制方案的便捷性的效果。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明交互控制方法的一实施例的流程示意图；
图3为本发明交互控制方法的另一实施例的流程示意图；
图4为本发明交互控制方法的另一实施例中的一种实施方式的流程示意图；
图5为本发明交互控制方法的又一实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在现有的增强现实和/或混合现实的HMD设备控制方案中，一般通过手柄和/或遥控器等外接设备来实现人机交互，这样导致现有的交互控制方案十分依赖于外接设备。并且，用户通过外接设备实现人机交互时，经常由于对外接设备的操控不熟练等原因，导致人机交互的效果大折扣。此外，外接设备与HMD设备的连接与调试需要一定的专业知识，并且调试步骤是否繁琐。
基于以上原因，现有的通过外接设备实现HMD人机交互的方案存在便捷性较差的缺点。
为解决上述缺陷，本发明实施体提出一种交互控制方法，其主要解决方案为：
获取用户的肢体图像数据；
确定所述肢体图像数据与历史肢体图像数据之间的相似度，其中，所述历史肢体图像数据为所述终端设备保存的肢体图像数据；
在所述相似度满足预设条件时，根据所述历史肢体图像数据确定所述用户的肢体对应的三维模型；
根据所述三维模型，在显示画面中渲染所述用户肢体的三维图像，以基于所述包含所述三维图像的显示画面进行交互控制。
由于用户可以通过自身肢体实现与终端设备之间的交互控制，从而降低了终端设备对外设的依赖。与此同时，还避免了用户通过外设与终端设备进行交互控制时存在的控制方案便捷性较差的缺陷。从而达成了降低终端设备对外设的依赖，以及提高终端设备的交互控制方案的便捷性的效果。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是HMD等终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如按键等，可选用户接口1003还可以包括无线接口。网络接口1004可选的可以包括无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及交互控制程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的交互控制程序，并执行以下操作：
获取用户的肢体图像数据；
确定所述肢体图像数据与历史肢体图像数据之间的相似度，其中，所述历史肢体图像数据为所述终端设备保存的肢体图像数据；
在所述相似度满足预设条件时，根据所述历史肢体图像数据确定所述用户的肢体对应的三维模型；
根据所述三维模型，在显示画面中渲染所述用户肢体的三维图像，以基于所述包含所述三维图像的显示画面进行交互控制。
进一步地，处理器1001可以调用存储器1005中存储的交互控制程序，还执行以下操作：
在所述相似度不满足预设条件时，获取所述用户的肢体特征信息以及所述用户的肢体深度数据；
基于所述肢体特征信息、所述肢体图像数据和所述肢体深度数据确定所述三维模型。
进一步地，处理器1001可以调用存储器1005中存储的交互控制程序，还执行以下操作：
将所述肢体图像数据作为历史肢体图像数据与所述三维模型关联保存。
进一步地，处理器1001可以调用存储器1005中存储的交互控制程序，还执行以下操作：
获取用户身份信息；
所述获取所述用户的肢体特征信息以及所述用户的肢体深度数据的步骤包括：
根据所述身份信息获取所述肢体特征信息；
通过肢体深度数据采集装置采集所述用户的肢体深度数据。
进一步地，处理器1001可以调用存储器1005中存储的交互控制程序，还执行以下操作：
获取预存的与所述身份信息关联的所述肢体特征信息。
进一步地，处理器1001可以调用存储器1005中存储的交互控制程序，还执行以下操作：
获取所述终端设备中的骨传导传感器采集的骨传导信号，并获取所述骨传导信号对应的骨声纹特征；
根据所述骨声纹特征确定所述身份信息。
进一步地，处理器1001可以调用存储器1005中存储的交互控制程序，还执行以下操作：
控制所述终端设备中的音频播放装置播放预设音频文件。
进一步地，处理器1001可以调用存储器1005中存储的交互控制程序，还执行以下操作：
在相似度满足预设条件的所述历史肢体图像数据为多个时，获取与所述肢体图像数据之间的相似度最大的所述历史肢体图像数据关联的所述三维模型。
参照图2，在本发明交互控制方法的一实施例中，所述交互控制方法包括以下步骤：
步骤S10、获取用户的肢体图像数据；
步骤S20、确定所述肢体图像数据与历史肢体图像数据之间的相似度，其中，所述历史肢体图像数据为所述终端设备保存的肢体图像数据；
步骤S30、在所述相似度满足预设条件时，根据所述历史肢体图像数据确定所述用户的肢体对应的三维模型；
步骤S40、根据所述三维模型，在显示画面中渲染所述用户肢体的三维图像，以基于所述包含所述三维图像的显示画面进行交互控制。
随着增强现实和混合现实等技术的快速发展，增强现实和混合现实等技术已经深入人们。因此，出现了各种用于显示基于增强现实和混合现实等技术对应的显示画面的终端设备。其中头戴式显示器，就是最为常见的一种。
当用户通过头戴式显示器观看对应的虚拟现实和混合现实的视频数据时，还可以通过遥控器或者手柄等装置与终端设备进行互动，从而根据互动控制指令修改终端设备的显示内容。但是由于用户佩戴头戴式显示器时，无法看到显示区域以外的区域。因此，当用户通过遥控或者手柄进行交互时，经常会出现按错按键，无线遥控未对准控制设备导致无法进行交互以及有线手柄接口脱落导致无法控制等现象的发生。并且，遥控/手柄的控制方式还会导致现有的交互控制方案十分依赖于外接设备。此外，外接设备与HMD设备的连接与调试需要一定的专业知识，并且调试步骤是否繁琐。
基于以上原因，现有的通过外接设备实现HMD人机交互的方案存在便捷性较差的缺点。
所述终端设备设置有采集装置，所述采集装置包括用于采集用户的肢体图像数据的图像采集装置和用于采集肢体深度数据的肢体深度数据采集装置。其中，所述图像采集装置可以是摄像机，用于拍摄包含用户肢体的视频或者图片，所述肢体深度数据采集装置可以TOF(Time Of Flight，飞行时间测距法)摄像机，用于采集所述肢体相对终端设备的肢体深度数据。
在本实施例中，终端设备先通过采集装置获取用户的肢体图像数据，其中，由于在于终端设备进行交互时，通过不同的手势进行交互是较为便捷的控制方式，因此，所述肢体一般是指用户的手部。
具体地，当获取到所述肢体图像数据后，获取数据库中保存的历史肢体图像数据。然后计算所述当前图形数据与所述历史肢体图像数据之间汉明距离，然后根据所述汉明距离确定所述肢体图像数据与历史肢体图像数据之间的相似度。示例性地，作为一种实现方式，可以计算当前采集肢体图像数据与历史肢体图像数据的哈希序列，通过哈希序列计算出汉明距离，以根据汉明距离判定是否需要重新建模。因为有的时候用户的肢体运动的状态改变较小，就没有必要再次进行3D建模，直接利用历史肢体图像数据的建模信息就行。利用以下公式计算相似度：
Figure BDA0002603971730000081
其中，Htemple(i)表示历史肢体图像数据帧中的哈希序列第i位。Hobject(i)表示当前肢体图像数据帧对应的待匹配窗口的哈希序列第i位，Dh M为相似度因子。
可以理解的是，当所述历史图形数据帧与当前肢体图像数据帧之间的汉明距离越大时，两者之前的相似度就越小。
当确定当前肢体图像数据与历史肢体图像数据之间的相似度之后，可以判断所述相似度是否满足预设条件。其中，所述预设条件可以设置为所述肢体图像数据与所述历史肢体图像数据之间的相似度大于预设相似度。
可以理解的是，当数据库中保存有多帧历史肢体图像数据时，可以与当前肢体图像数据与多帧历史图像护具一一对比，以确定当前肢体图像数据与各个历史肢体图像数据之间的相似度。进而，所述预设条件也设置因为存在与所述当前图像之间的相似度大于预设阈值的历史肢体图像数据。
当确定了多个与当前肢体图像数据相似度大于预设阈值的历史肢体图像数据时，将所述历史肢体图像数据中，与当前肢体图像数据之间的相似度最大(即汉明距离最小)的历史肢体图像数据关联的三维模型作为当前肢体图像数据对应的三维模型。并根据所述三维模型，在显示画面中渲染所述肢体。
根据所述三维模型对终端设备的当前显示画面进行进一步地渲染，以将所述用户的肢体渲染至所述显示画面中，从而生成保护所述用户肢体的显示画面。例如，在当前显示画面显示的是一游戏的选择界面时，可以将所述用户的肢体的三维模型叠加值显示画面中的预定位置中，以使得用户可以通过所述肢体选定画面中预设选项。
进一步地，在生成保护所述用户肢体的显示画面后，可以基于所述肢体的姿态(当肢体为手时，所述肢体的姿态可以是手势)和/或所述肢体相对于显示画面中的其它显示内容的位置确定用户当前下发的交互控制指令，以进行交互控制。例如，在一选择界面中，通过肢体在画面中的相对位置，确定用户选中的选项。
在本实施例公开的技术方案中，先获取用户的肢体图像数据，然后确定所述肢体图像数据与历史肢体图像数据之间的相似度，其中，所述历史肢体图像数据为所述终端设备保存的肢体图像数据，在所述相似度满足预设条件时，根据所述历史肢体图像数据确定所述用户的肢体对应的三维模型，并根据所述三维模型，在显示画面中渲染所述用户肢体的三维图像，以基于所述包含所述三维图像的显示画面进行交互控制。由于用户可以通过自身肢体实现与终端设备之间的交互控制，从而降低了终端设备对外设的依赖。与此同时，还避免了用户通过外设与终端设备进行交互控制时存在的控制方案便捷性较差的缺陷。从而达成了降低终端设备对外设的依赖，以及提高终端设备的交互控制方案的便捷性的效果。
参照图3，基于上述实施例，在本发明的另一实施例中，所述步骤S40之前，还包括：
步骤S50、在所述相似度不满足预设条件时，获取所述用户的肢体特征信息以及所述用户的肢体深度数据；
步骤S60、基于所述肢体特征信息、所述肢体图像数据和所述肢体深度数据确定所述三维模型。
在本实施例中，终端设备先获取用户的肢体特征信息，以及通过采集装置获取所述用户的肢体深度数据。
具体地，用户在获取所述肢体特征信息时，可以先获取当前终端设备使用用户的身份信息，进而根据所述身份信息查找本地数据库或者云端数据库中是否保存有该用户对应的肢体特征信息。如果是，则直接读取本地数据库或者云端数据库中保存的肢体特征信息，否则，输出提示信息，提示用户输入肢体特征信息，并接收用户当前输入的肢体特征信息，以达到获取用户的肢体特征信息的目地。
当获取到所述肢体特征信息、肢体图像数据和所述肢体深度数据后，基于所述肢体特征信息、肢体图像数据和所述肢体深度数据建立所述用户的肢体的3D(threedimensional，三维)模型。可以理解的是，在建立用户的肢体的三维模型时，由于可以直接加载用户提前录入的手部特征信息，因此可以减少终端设备三维建模所需要的时间。此外，在进行三维建模时，TOF摄像机的传感器中，通过二维地址阵列的每个像素点的距离来获取肢体图像数据对应的景深信息(即肢体深度数据)，其中，采集到的像素点越亮就表明该点越近，然后根据所述肢体深度数据和肢体图像数据确定肢体的三维信息，并结合肢体的肢体特征信息构建该肢体的三维模型。
当获取到所述图像数据时，由于所述图像数据为平面数据，因此只能获取肢体的二维模型，进而基于所述TOF数据(肢体深度数据)以及所述肢体特征数据，在所述二维模型的基础上，建立肢体的三维模型。由于在建立三维模型的过程中，将所述肢体特征信息作为构建三维模型的基础数据，使得提升了三维模型与用户的真实肢体的相似度。
当构建出肢体的三维模型后，根据所述三维模型，在显示画面中渲染所述用户肢体的三维图像，以基于所述包含所述三维图像的显示画面进行交互控制。
可选地，作为一种实现方式，参照图4，上述步骤S60之后，还包括：
步骤S70、将所述肢体图像数据与所述三维模型关联保存。
在本实施例中，在根据当前帧的肢体图像数据和肢体深度数据，以及所述肢体特征信息构建用户的肢体的三维模型后，可以将所述肢体图像数据作为历史肢体图像数据保存至数据库中，并且将根据所述当前帧肢体图像数据生成的三维模型与所述当前帧肢体图像数据关联保存。
示例性地，可以将所述肢体图像数据作为历史肢体图像数据保存至终端设备的本地数据库的persist(保持)分区中。
可以理解的是，当所述终端设备为可联网设备时，所述数据库既可以是本地数据库，也可以是云端数据库，本实施例对此不作限定。
可以理解的是，将所述肢体图像数据与所述三维模型保存至数据库中需要占用数据库的存储空间。因此，在实施本发明记载的交互控制方法时，可以根据需求确定缓存数量。例如，可以设置用于缓存所述肢体图像数据及所述三维模型的数据库的大小，然后在保存的所述肢体图像数据及关联的三维模型所占存储空间大于预设大小时，将当前数据库中，最先保存至所述数据库中的肢体图像数据及关联三维模型删除，以保障数据库中保存的肢体图像数据及关联三维模型所占用的存储空间小于预定值。或者，也可以预先设定数据库中保存的肢体图像数据的帧数，保存的肢体图像数据的帧数大于预设数值时，删除最先存入数据库中的图像帧及其关联的三维模型。
需要说明的是，由于可以将肢体图像数据与对应的三维模型关联保存，使得在用户肢体运动幅度较小时，无需重新建立三维模型，这样提升了肢体三维模型的生成速度。并且避免了重复建模导致的计算资源浪费的缺陷。从而达成了提高终端设备的数据处理速度和减小终端设备的系统开销的效果。
在本实施例公开的技术方案中，先获取用户的肢体特征信息，以及所述用户的肢体图像数据和肢体深度数据，然后基于所述肢体特征信息、所述肢体图像数据和所述肢体深度数据确定所述用户肢体对应的三维模型，最后根据所述三维模型，在显示画面中渲染所述肢体，以基于所述包含所述肢体的显示画面进行交互控制。由于用户可以通过自身肢体实现与终端设备之间的交互控制，从而降低了终端设备对外设的依赖。与此同时，还避免了用户通过外设与终端设备进行交互控制时存在的控制方案便捷性较差的缺陷。从而达成了降低终端设备对外设的依赖，以及提高终端设备的交互控制方案的便捷性的效果。
参照图5，在又一实施例中，基于以上任一实施例，所述步骤S50之前，还包括：
步骤S70、获取用户身份信息。
在本实施例中，所述终端设备还设置用生物特征采集装置，其中，所述生物特征采集装置可以设置为骨声纹特征采集装置、人脸特征采集装置、瞳孔特征采集装置、指纹特征采集装置和/或声纹特征采集装置。使得终端设备可以通过所述生物特征采集装置采集用户的骨声纹特征、人脸特征、瞳孔特征、指纹特征和/或声纹特征等生物特征。进而根据所述生物特征进行用户识别，并根据用户识别结果确定用户身份信息。
示例性地，所述终端设备设置有骨声纹特征采集装置，其中，所述骨声纹采集装置设置有音频播放装置和骨传导传感器。其中，所述骨传导传感器在所述终端设备的使用过程中，与用户躯干贴合。并且，所述骨传导传感器与所述音频播放装置设置于所述终端设备的不同位置上。
当所述终端设备为HMD时，所述骨传导传感器与用户头部的第一位置接触，所述音频播放装置也可以设置为与用户的头部的第二位置接触。使得在所述终端设备通过音频播放装置播放特定音频数据时，所述特定音频数据可以通过用户头骨的传递，传递至所述骨传导传感器所在位置。以使得骨传导传感器可以接收到所述用户的头骨传递过来的音频信号。由于每一用户的头骨都是不同的，因此对音频信号的传递效果也是不同的，从而导致骨传导传感器接收到的骨声纹的特征也会因用户不同而不同。进而使得在进行用户识别时，可以根据所述骨声纹特征区分不同的用户。
进一步地，在根据用户的生物特征确定用户的身份信息后，终端设备可以确定本地数据库和/或云端数据库中是否保存有与所述身份信息关联的肢体特征信息。如果是，则读取本地数据库和获取云端数据库中保存的所述肢体特征信息，作为所述用户的肢体特征信息。否则，输出提示信息，提示用户录入肢体特征信息。并接收所述用户的当前录入的肢体特征信息。
可选地，在用户录入所述肢体特征信息后，还可以获取用户的生物特征，并根据所述生物特征构建所述用户对应的身份信息，进而将所述身份信息及所述肢体特征关联保存至本地数据库和/或云端数据库中。
需要说明的是，在用户进行肢体特征信息录入的过程中，可以通过语音提示用户如何进行肢体特征信息录入。例如，当所述肢体为手时，可以通过语音提示用户将手部进行弯曲，旋转角度，以使手部的正面和背面都进行扫描和拍摄从而获取完整的手部的肢体特征信息。
在本实施例公开的技术方案中，可以通过用户身份信息获取用户的肢体特征信息，从而避免了每次使用设备用户均需要进行特征信息录入，这样达成了简化终端设备的使用步骤的效果。
此外，本发明实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的交互控制程序，所述交互控制程序被所述处理器执行时实现如上各个实施例所述的交互控制方法的步骤。
可选地，所述终端设备为头戴式显示器；所述头戴式显示器包括音频播放装置以及骨传导传感器，其中，所述音频播放装置与所述骨传导传感器设置于所述头戴式显示器的不同位置上。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有交互控制程序，所述交互控制程序被处理器执行时实现如上各个实施例所述的交互控制方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是智能手机等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种交互控制方法，其特征在于，所述交互控制方法应用于终端设备，所述交互控制方法包括：
获取用户的肢体图像数据；
确定所述肢体图像数据与历史肢体图像数据之间的相似度，其中，所述历史肢体图像数据为所述终端设备保存的肢体图像数据；
在所述相似度满足预设条件时，根据所述历史肢体图像数据确定所述用户的肢体对应的三维模型；
根据所述三维模型，在显示画面中渲染所述用户肢体的三维图像，以基于所述包含所述三维图像的显示画面进行交互控制。
2.如权利要求1所述的交互控制方法，其特征在于，所述根据所述三维模型，在显示画面中渲染所述用户肢体的三维图像，以基于所述包含所述三维图像的显示画面进行交互控制的步骤之前，还包括：
在所述相似度不满足预设条件时，获取所述用户的肢体特征信息以及所述用户的肢体深度数据；
基于所述肢体特征信息、所述肢体图像数据和所述肢体深度数据确定所述三维模型。
3.如权利要求2所述的交互控制方法，其特征在于，所述基于所述肢体特征信息、所述肢体图像数据和所述肢体深度数据确定所述三维模型的步骤之后，还包括：
将所述肢体图像数据作为历史肢体图像数据与所述三维模型关联保存。
4.如权利要求2所述的交互控制方法，其特征在于，所述获取所述用户的肢体特征信息以及所述用户的肢体深度数据的步骤之前，还包括：
获取用户身份信息；
所述获取所述用户的肢体特征信息以及所述用户的肢体深度数据的步骤包括：
根据所述身份信息获取所述肢体特征信息；
通过肢体深度数据采集装置采集所述用户的肢体深度数据。
5.如权利要求4所述的交互控制方法，其特征在于，所述根据所述身份信息获取所述肢体特征信息的步骤包括：
获取预存的与所述身份信息关联的所述肢体特征信息。
6.如权利要求4所述的交互控制方法，其特征在于，所述获取用户身份信息的步骤包括：
获取所述终端设备中的骨传导传感器采集的骨传导信号，并获取所述骨传导信号对应的骨声纹特征；
根据所述骨声纹特征确定所述身份信息。
7.如权利要求6所述的交互控制方法，其特征在于，所述获取所述终端设备中的骨传导传感器采集的骨传导信号，并获取所述骨传导信号对应的骨声纹特征步骤之前还包括：
控制所述终端设备中的音频播放装置播放预设音频文件。
8.如权利要求1所述的交互控制方法，其特征在于，所述根据所述历史肢体图像数据确定所述三维模型的步骤包括：
在相似度满足预设条件的所述历史肢体图像数据为多个时，获取与所述肢体图像数据之间的相似度最大的所述历史肢体图像数据关联的所述三维模型。
9.如权利要求1所述的交互控制方法，其特征在于，所述预设条件包括所述肢体图像数据与所述历史肢体图像数据之间的相似度大于预设相似度。
10.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的交互控制程序，所述交互控制程序被所述处理器执行时实现如权利要求1至9中任一项所述的交互控制方法的步骤。
11.如权利要求10所述的终端设备，其特征在于，所述终端设备为头戴式显示器；所述头戴式显示器包括音频播放装置以及骨传导传感器，其中，所述音频播放装置与所述骨传导传感器设置于所述头戴式显示器的不同位置上。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有交互控制程序，所述交互控制程序被处理器执行时实现如权利要求1至9中任一项所述的交互控制方法的步骤。
CN202010734378.XA 2020-07-27 2020-07-27 交互控制方法、终端设备及存储介质 Active CN111930231B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010734378.XA CN111930231B (zh) 2020-07-27 2020-07-27 交互控制方法、终端设备及存储介质
PCT/CN2020/123470 WO2022021631A1 (zh) 2020-07-27 2020-10-24 交互控制方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010734378.XA CN111930231B (zh) 2020-07-27 2020-07-27 交互控制方法、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN111930231A true CN111930231A (zh) 2020-11-13
CN111930231B CN111930231B (zh) 2022-02-25

Family

ID=73315386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010734378.XA Active CN111930231B (zh) 2020-07-27 2020-07-27 交互控制方法、终端设备及存储介质

Country Status (2)

Country Link
CN (1) CN111930231B (zh)
WO (1) WO2022021631A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113268626A (zh) * 2021-05-26 2021-08-17 中国人民武装警察部队特种警察学院 数据处理方法、装置、电子设备及存储介质
CN113476837A (zh) * 2021-07-01 2021-10-08 网易（杭州）网络有限公司 画质展示方法、装置、设备和存储介质
CN117133281A (zh) * 2023-01-16 2023-11-28 荣耀终端有限公司 语音识别方法和电子设备
CN113476837B (zh) * 2021-07-01 2024-06-04 网易（杭州）网络有限公司 画质展示方法、装置、设备和存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6694163B1 (en) * 1994-10-27 2004-02-17 Wake Forest University Health Sciences Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
CN102789313A (zh) * 2012-03-19 2012-11-21 乾行讯科（北京）科技有限公司 一种用户交互系统和方法
CN103440677A (zh) * 2013-07-30 2013-12-11 四川大学 一种基于Kinect体感设备的多视点自由立体交互系统
CN104915978A (zh) * 2015-06-18 2015-09-16 天津大学 基于体感相机Kinect的真实感动画生成方法
CN105589553A (zh) * 2014-09-23 2016-05-18 上海影创信息科技有限公司 一种智能设备的手势控制方法和系统
US20170053437A1 (en) * 2016-06-06 2017-02-23 Jian Ye Method and apparatus for positioning navigation in a human body by means of augmented reality based upon a real-time feedback
US20170352091A1 (en) * 2014-12-16 2017-12-07 Metail Limited Methods for generating a 3d virtual body model of a person combined with a 3d garment image, and related devices, systems and computer program products
CN108985262A (zh) * 2018-08-06 2018-12-11 百度在线网络技术（北京）有限公司 肢体运动指导方法、装置、服务器及存储介质
CN109085966A (zh) * 2018-06-15 2018-12-25 广东康云多维视觉智能科技有限公司 一种基于云计算的三维展示系统及方法
WO2019074776A1 (en) * 2017-10-13 2019-04-18 Microsoft Technology Licensing, Llc SOIL DETECTION IN VIRTUAL AND AUGMENTED REALITY DEVICES USING STEREO IMAGES
CN109660899A (zh) * 2018-12-28 2019-04-19 广东思派康电子科技有限公司 计算机可读存储介质和应用该介质的骨声纹检测耳机
CN109671141A (zh) * 2018-11-21 2019-04-23 深圳市腾讯信息技术有限公司 图像的渲染方法和装置、存储介质、电子装置
CN110236895A (zh) * 2019-05-10 2019-09-17 苏州米特希赛尔人工智能有限公司 Ai盲人导航眼镜

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104656890A (zh) * 2014-12-10 2015-05-27 杭州凌手科技有限公司 虚拟现实智能投影手势互动一体机及互动实现方法
CN109359514B (zh) * 2018-08-30 2020-08-04 浙江工业大学 一种面向deskVR的手势跟踪识别联合策略方法
CN110221690B (zh) * 2019-05-13 2022-01-04 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
CN110335342B (zh) * 2019-06-12 2020-12-08 清华大学 一种用于沉浸式模拟器的手部模型实时生成方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6694163B1 (en) * 1994-10-27 2004-02-17 Wake Forest University Health Sciences Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
CN102789313A (zh) * 2012-03-19 2012-11-21 乾行讯科（北京）科技有限公司 一种用户交互系统和方法
CN103440677A (zh) * 2013-07-30 2013-12-11 四川大学 一种基于Kinect体感设备的多视点自由立体交互系统
CN105589553A (zh) * 2014-09-23 2016-05-18 上海影创信息科技有限公司 一种智能设备的手势控制方法和系统
US20170352091A1 (en) * 2014-12-16 2017-12-07 Metail Limited Methods for generating a 3d virtual body model of a person combined with a 3d garment image, and related devices, systems and computer program products
CN104915978A (zh) * 2015-06-18 2015-09-16 天津大学 基于体感相机Kinect的真实感动画生成方法
US20170053437A1 (en) * 2016-06-06 2017-02-23 Jian Ye Method and apparatus for positioning navigation in a human body by means of augmented reality based upon a real-time feedback
WO2019074776A1 (en) * 2017-10-13 2019-04-18 Microsoft Technology Licensing, Llc SOIL DETECTION IN VIRTUAL AND AUGMENTED REALITY DEVICES USING STEREO IMAGES
CN109085966A (zh) * 2018-06-15 2018-12-25 广东康云多维视觉智能科技有限公司 一种基于云计算的三维展示系统及方法
CN108985262A (zh) * 2018-08-06 2018-12-11 百度在线网络技术（北京）有限公司 肢体运动指导方法、装置、服务器及存储介质
CN109671141A (zh) * 2018-11-21 2019-04-23 深圳市腾讯信息技术有限公司 图像的渲染方法和装置、存储介质、电子装置
CN109660899A (zh) * 2018-12-28 2019-04-19 广东思派康电子科技有限公司 计算机可读存储介质和应用该介质的骨声纹检测耳机
CN110236895A (zh) * 2019-05-10 2019-09-17 苏州米特希赛尔人工智能有限公司 Ai盲人导航眼镜

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113268626A (zh) * 2021-05-26 2021-08-17 中国人民武装警察部队特种警察学院 数据处理方法、装置、电子设备及存储介质
CN113268626B (zh) * 2021-05-26 2024-04-26 中国人民武装警察部队特种警察学院 数据处理方法、装置、电子设备及存储介质
CN113476837A (zh) * 2021-07-01 2021-10-08 网易（杭州）网络有限公司 画质展示方法、装置、设备和存储介质
CN113476837B (zh) * 2021-07-01 2024-06-04 网易（杭州）网络有限公司 画质展示方法、装置、设备和存储介质
CN117133281A (zh) * 2023-01-16 2023-11-28 荣耀终端有限公司 语音识别方法和电子设备

Also Published As

Publication number Publication date
WO2022021631A1 (zh) 2022-02-03
CN111930231B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
US10460512B2 (en) 3D skeletonization using truncated epipolar lines
US10445482B2 (en) Identity authentication method, identity authentication device, and terminal
US10003769B2 (en) Video telephony system, image display apparatus, driving method of image display apparatus, method for generating realistic image, and non-transitory computer readable recording medium
WO2018219120A1 (zh) 图像显示方法、图像处理方法、装置、终端及服务器
CN109741463B (zh) 虚拟现实场景的渲染方法、装置及设备
WO2019148968A1 (zh) 移动终端、人脸解锁方法及相关产品
US20230274471A1 (en) Virtual object display method, storage medium and electronic device
JP2021526698A (ja) 画像生成方法および装置、電子機器、並びに記憶媒体
CN111930231B (zh) 交互控制方法、终端设备及存储介质
US11362825B2 (en) Extended reality authentication
CN109426343B (zh) 基于虚拟现实的协作训练方法及系统
CN112749956A (zh) 信息处理方法、装置及设备
CN111798549A (zh) 舞蹈的编辑方法、装置及计算机存储介质
JP2021056884A (ja) コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム
CN111901518B (zh) 显示方法、装置和电子设备
CN107408186A (zh) 隐私内容的显示
CN115702443A (zh) 将存储的数字化妆增强应用于数字图像中的已辨识面部
CN115495169B (zh) 数据获取、页面生成方法、装置、设备及可读存储介质
JP7291106B2 (ja) コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム
CN114416237A (zh) 显示状态切换方法、装置及系统、电子设备、存储介质
CN110941344B (zh) 获取注视点数据的方法及相关装置
CN115543135A (zh) 显示屏幕的控制方法、装置及设备
CN112817441A (zh) 一种按键与人眼识别结合的方法和装置
CN113204724A (zh) 创建互动信息的方法、装置、电子设备及存储介质
CN111324878A (zh) 一种基于人脸识别的身份验证方法、装置、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221130

Address after: 261031 No. 268 Dongfang Road, hi tech Industrial Development Zone, Shandong, Weifang

Patentee after: GOERTEK Inc.

Address before: 261031 east of Dongming Road, north of Yuqing East Street, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee before: GoerTek Optical Technology Co.,Ltd.

TR01 Transfer of patent right