CN113986093A - 互动方法及相关装置 - Google Patents

互动方法及相关装置 Download PDF

Info

Publication number
CN113986093A
CN113986093A CN202111131758.5A CN202111131758A CN113986093A CN 113986093 A CN113986093 A CN 113986093A CN 202111131758 A CN202111131758 A CN 202111131758A CN 113986093 A CN113986093 A CN 113986093A
Authority
CN
China
Prior art keywords
gesture
virtual
image
images
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111131758.5A
Other languages
English (en)
Inventor
许哲豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN202111131758.5A priority Critical patent/CN113986093A/zh
Publication of CN113986093A publication Critical patent/CN113986093A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/825—Fostering virtual characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8058—Virtual breeding, e.g. tamagotchi

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供一种互动方法及相关装置，其中，该方法包括：响应于第一用户操作，显示第一界面，该第一界面包括第一虚拟宠物和第一虚拟手部模型；获取一帧或多帧图像，并根据该一帧或多帧图像识别第一手势动作；将该第一虚拟手部模型显示为该第一手势动作，并将该第一虚拟宠物显示为第一交互动作，该第一交互动作与该第一手势动作用于该第一虚拟宠物和该第一虚拟手部模型进行互动。通过上述方法，可以让电子设备根据用户的手势对虚拟手部模型和虚拟宠物进行控制，通过虚拟手部模型有效地实现用户与虚拟宠物之间的互动。

Description

互动方法及相关装置
技术领域
本申请实施例涉及计算机技术领域，具体涉及一种互动方法及相关装置。
背景技术
随着城市化发展和人们思维方式的转变，饲养宠物是当今社会常见的现象。各种猫咪、小狗等宠物不仅可以填补内心的空虚，还可以给生活增加许多乐趣。
但是，饲养宠物也带来了许多问题：一方面，饲养宠物需要花费大量时间和金钱，成本高，比如需要经常为宠物注射疫苗，需要对宠物的吃喝拉撒负责等。另一方面，宠物管理不当容易出现宠物伤人事件。
因此，如何实现用户与虚拟宠物之间的互动是本领域技术人员正在研究的问题。
发明内容
本申请实施例提供了一种互动方法及相关装置，通过本申请的一些实施例，可以让电子设备根据用户的手势对虚拟手部模型和虚拟宠物进行控制，通过虚拟手部模型有效地实现用户与虚拟宠物之间的互动。
第一方面，本申请实施例提供了一种互动方法，该方法包括：
响应于第一用户操作，电子设备显示第一界面，该第一界面包括第一虚拟宠物和第一虚拟手部模型；
该电子设备获取一帧或多帧图像，并根据该一帧或多帧图像识别第一手势动作；
该电子设备将该第一虚拟手部模型显示为该第一手势动作，并将该第一虚拟宠物显示为第一交互动作，该第一交互动作与该第一手势动作用于该第一虚拟宠物和该第一虚拟手部模型进行互动。
可以理解的是，本申请所示的互动方法由电子设备执行，该电子设备可以称为互动装置。示例性地，该电子设备可以是手机、平板电脑、台式电脑等设备。
示例性地，电子设备可以包括显示屏，该显示屏用于显示该第一界面。该第一用户操作可以理解为点击操作、滑动操作以及长按操作等用户操作，该第一用户操作用于触发电子设备显示第一界面。
示例性地，该第一虚拟宠物可以理解为电子设备利用计算机技术生成的二维(2D)或三维(3D)宠物模型，具体地，该第一虚拟宠物的类型可以是小猫、小狗以及小鸟等，本申请对此不作限定。该第一虚拟手部模型可以理解为电子设备利用计算机技术生成的2D或3D手部模型。
示例性地，电子设备可以通过手势姿势估计算法对获取的一帧或多帧图像进行分析，识别出一帧或多帧图像对应的第一手势动作，然后，再根据该第一手势动作对该第一虚拟宠物和第一虚拟手部模型进行控制，通过该第一虚拟手部模型有效地实现用户与虚拟宠物之间的互动。
在一种可能的实现方式中，该电子设备根据该一帧或多帧图像识别第一手势动作，包括：
在该电子设备获取一帧图像的情况下，该电子设备从该一帧图像中识别出该一帧图像对应的多个手势关键点；该一帧图像对应的多个手势关键点与手部的手指位置和手腕位置对应；
该电子设备根据该一帧图像对应的手势关键点识别出该第一手势动作。
在一种可能的实现方式中，该电子设备根据该一帧或多帧图像识别第一手势动作，包括：
在该电子设备获取多帧图像的情况下，该电子设备从第一图像中识别出该第一图像对应的多个手势关键点，该第一图像为该多帧图像中的一帧图像；该第一图像对应的多个手势关键点与手部的手指位置以及手腕位置对应；
该电子设备根据该多帧图像中每帧图像对应的手势关键点识别出该第一手势动作；该多帧图像中的至少两帧图像对应的多个手势关键点的位置不同。
在一种可能的实现方式中，该多个手势关键点包括21个手势关键点，手势关键点0表示与手腕最接近的点；手势关键点1至手势关键点4表示与手掌大拇指对应的点；手势关键点5至手势关键点8表示与手掌食指对应的点；手势关键点9至手势关键点12表示与手掌中指对应的点；手势关键点13至手势关键点16表示与手掌无名指对应的点；手势关键点17至手势关键点20表示与手掌小拇指对应的点。
在一种可能的实现方式中，该第一虚拟手部模型的初始位置与该第一虚拟宠物的以下任一项部位对应：该第一虚拟宠物的头部、该第一虚拟宠物的尾部、该第一虚拟宠物的脚部。
在一种可能的实现方式中，该电子设备将该第一虚拟手部模型显示为该第一手势动作，包括：
该电子设备将该第一虚拟手部模型显示为数据库中与该第一手势动作匹配度最高的手势动作，该数据库中包括至少两种手势动作。
在一种可能的实现方式中，该第一手势动作包括以下任一项或多项：招手、抚摸、拍打、握拳；该第一交互动作包括以下任一项或多项：摇头、摇尾巴、吐舌头、招手、趴下。
第二方面，本申请实施例提供了一种互动装置，该装置包括：
响应单元，用于响应第一用户操作；并控制显示单元显示第一界面，该第一界面包括第一虚拟宠物和第一虚拟手部模型；
获取单元，用于获取一帧或多帧图像；
识别单元，用于根据该一帧或多帧图像识别第一手势动作；并控制该显示单元将该第一虚拟手部模型显示为该第一手势动作，并将该第一虚拟宠物显示为第一交互动作，该第一交互动作与该第一手势动作用于该第一虚拟宠物和该第一虚拟手部模型进行互动。
在一种可能的实现方式中，该识别单元，具体用于在获取一帧图像的情况下，从该一帧图像中识别出该一帧图像对应的多个手势关键点；该一帧图像对应的多个手势关键点与手部的手指位置和手腕位置对应；
该识别单元，具体用于根据该一帧图像对应的手势关键点识别出该第一手势动作。
在一种可能的实现方式中，该识别单元，具体用于在获取多帧图像的情况下，从第一图像中识别出该第一图像对应的多个手势关键点，该第一图像为该多帧图像中的一帧图像；该第一图像对应的多个手势关键点与手部的手指位置以及手腕位置对应；
该识别单元，具体用于根据该多帧图像中每帧图像对应的手势关键点识别出该第一手势动作；该多帧图像中的至少两帧图像对应的多个手势关键点的位置不同。
在一种可能的实现方式中，该多个手势关键点包括21个手势关键点，手势关键点0表示与手腕最接近的点；手势关键点1至手势关键点4表示与手掌大拇指对应的点；手势关键点5至手势关键点8表示与手掌食指对应的点；手势关键点9至手势关键点12表示与手掌中指对应的点；手势关键点13至手势关键点16表示与手掌无名指对应的点；手势关键点17至手势关键点20表示与手掌小拇指对应的点。
在一种可能的实现方式中，该第一虚拟手部模型的初始位置与该第一虚拟宠物的以下任一项部位对应：该第一虚拟宠物的头部、该第一虚拟宠物的尾部、该第一虚拟宠物的脚部。
在一种可能的实现方式中，该显示单元，具体用于将该第一虚拟手部模型显示为数据库中与该第一手势动作匹配度最高的手势动作，该数据库中包括至少两种手势动作。
在一种可能的实现方式中，该第一手势动作包括以下任一项或多项：招手、抚摸、拍打、握拳；该第一交互动作包括以下任一项或多项：摇头、摇尾巴、吐舌头、招手、趴下。
第三方面，本申请实施例公开了一种电子设备，包括：处理器和存储器，其中，该存储器中存储有计算机程序，该处理器调用该存储器中存储的计算机程序，用于执行如第一方面或者第一方面的任意一种可能的实施方式中的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当该计算机程序在一个或多个处理器上运行时，使得如第一方面或者第一方面的任意一种可能的实施方式中的方法被执行。
第五方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括程序指令，该程序指令当被处理器执行时使该处理器执行如第一方面或者第一方面的任意一种可能的实施方式中的方法。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图作简单的介绍。
图1是本申请实施例提供的一种互动方法的流程示意图；
图2是本申请实施例提供的一种显示第一虚拟宠物和第一虚拟手部模型的示意图；
图3是本申请实施例提供的一种识别第一手势动作的示意图；
图4是本申请实施例提供的另一种识别第一手势动作的示意图；
图5是本申请实施例提供的一种交互装置的结构示意图；
图6是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“该”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。本申请的说明书、权利要求书及附图中的术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。
随着城市化的发展，人与人之间的物理距离缩短了，但是心里距离却逐渐增加。为了填补内心的空虚，各种猫咪、小狗等小动物进入千家万户。然而，饲养小猫小狗等宠物也带来了许多问题：一方面，饲养宠物需要花费大量时间和金钱，成本高，比如需要经常为宠物注射疫苗，需要对宠物的吃喝拉撒负责等。另一方面，宠物管理不当容易出现宠物伤人事件。
目前，深度学习的浪潮席卷各行各业，基于深度学习的算法无论在算法准确率还是在执行速度上都远远优于传统算法，使得多种应用场景变得可能。另外，计算机图形学的发展也同样迅速，高逼真、高自由度的模型能够很简单地创造出来。因此，为了满足用户不方便饲养宠物，但是又希望与宠物进行互动的愿望，可以利用深度学习算法、计算机图形学等技术，让用户通过电子设备与虚拟宠物进行互动。
示例性地，风靡一时的汤姆猫应用通过用户点击屏幕做出反应，实现用户与汤姆猫的互动。但是，该方案操作功能单一、参与感低。
一些产品通过遥控远端的电子设备来与饲养的宠物互动。但是，上述方案成本高昂，宠物走动后不易寻找，另外，上述方案同样功能单一，参与感低。
一些产品使用智能穿戴式手套，或者，传感器(例如谷歌的soli传感器)来捕捉手势动作，进而通过手势与虚拟宠物进行互动。但是，上述方案需要增加额外的设备，同样成本昂贵，难以被用户接受。
基于以上问题，本申请提供了一种互动方法及相关装置，通过本申请的一些实施例，可以让电子设备根据用户的手势对虚拟手部模型和虚拟宠物进行控制，通过虚拟手部模型有效地实现用户与虚拟宠物之间的互动。本申请所示的互动方法可以由电子设备执行，该电子设备可以称为互动装置。示例性地，该电子设备可以是手机、平板电脑、台式电脑等设备。
请参阅图1，图1是本申请实施例提供的一种互动方法的流程示意图。如图1所示，该互动方法包括：
101：响应于第一用户操作，电子设备显示第一界面，该第一界面包括第一虚拟宠物和第一虚拟手部模型。
示例性地，该第一用户操作可以理解为点击操作、滑动操作以及长按操作等用户操作，该第一用户操作用于触发电子设备显示第一界面。如该电子设备可以包括显示屏，电子设备通过显示屏接收该第一用户操作，响应于该第一用户操作，该显示屏显示第一界面。
本申请实施例中，该第一虚拟宠物可以理解为电子设备利用计算机技术生成的二维(2D)或三维(3D)宠物模型，具体地，该第一虚拟宠物的类型可以是小猫、小狗以及小鸟等，本申请对此不作限定。该第一虚拟手部模型可以理解为电子设备利用计算机技术生成的2D或3D手部模型。示例性地，该第一虚拟宠物为3D模型，该第一虚拟手部模型也为3D模型；或者，该第一虚拟宠物为3D模型，该第一虚拟手部模型为2D模型，本申请对此不作限定。
示例性地，请参阅图2，图2是本申请实施例提供的一种显示第一虚拟宠物和第一虚拟手部模型的界面示意图。
可选地，该第一虚拟手部模型的初始位置与该第一虚拟宠物的以下任一项部位对应：该第一虚拟宠物的头部、该第一虚拟宠物的尾部、该第一虚拟宠物的脚部。
如图2所示，响应于作用在“宠物小屋”应用上的点击操作，电子设备从界面21跳转到界面22。其中，作用在“宠物小屋”应用上的点击操作可以理解为上述第一用户操作，界面22可以理解为上述第一界面。界面22显示虚拟猫咪模型222和虚拟手部模型221，虚拟猫咪模型222可以理解为上述第一虚拟宠物，虚拟手部模型221可以理解为上述第一虚拟手部模型。另外，图2中的虚拟手部模型221可以与虚拟猫咪模型222的头部对应，即虚拟手部模型221位于虚拟猫咪模型222的头部的上方。
102：电子设备获取一帧或多帧图像。
本申请实施例中，上述一帧或多帧图像可以是电子设备实时采集得到的图像；也可以是电子设备存储器中存储的图像；还可以是从其他电子设备接收到的图像，上述其他电子设备可以是手机、平板电脑以及服务器等。本申请实施例对于电子设备如何获得上述一帧或多帧图像不作限定。例如，当电子设备获取的是一帧图像时，则该电子设备可以获取一张照片或图片等。又例如，当电子设备获取的是多帧图像时，该电子设备可以获取多张照片或多张图片，或者，该电子设备可以获得该多帧图像对应的视频流，即该多帧图像可以包括视频。
示例性地，电子设备可以包括摄像头，通过摄像头实时采集视频，并从实时采集的视频中获取一帧或多帧图像。
示例性地，电子设备可以包括存储器，该存储器可以存储相机、社交软件、游戏软件等应用软件中的图像或视频，电子设备直接从存储器中获取上述一帧或多帧图像。
103：电子设备根据该一帧或多帧图像识别第一手势动作。
在一些实施例中，在电子设备获取一帧图像的情况下，电子设备从所述一帧图像中识别出所述一帧图像对应的多个手势关键点；所述一帧图像对应的多个手势关键点与手部的手指位置和手腕位置对应；
电子设备根据所述一帧图像对应的手势关键点识别出所述第一手势动作。
示例性地，请参阅图3，图3是本申请实施例提供的一种识别第一手势动作的示意图。
图3中的301部分可以理解为上述一帧图像，图像301中包括一个手掌。
根据手掌的关节位置，比如一般的手掌有5个手指，14个关节，电子设备可以用多个关键点来表示一个手掌。如图3中的302部分，电子设备从图像301中识别出21个手势关键点，以0至20进行编号，上述21个手势关键点与图像301中的手掌对应。其中，编号为0的手势关键点表示与手腕最接近的点；编号1至编号4的手势关键点表示与手掌大拇指对应的点；编号5至编号8的手势关键点表示与手掌食指对应的点；编号9至编号12的手势关键点表示与手掌中指对应的点；编号13至编号16的手势关键点表示与手掌无名指对应的点；编号17至编号20的手势关键点表示与手掌小拇指对应的点。
可选地，电子设备可以记录21个手势关键点的位置信息。示例性地，电子设备可以将距离手腕最近的手势关键点作为参考点，如图3中编号为0的手势关键点，然后记录其他手势关键点相对于该参考点的位置信息。
在一些实施例中，电子设备可以通过手指的手部关键点组成的向量之间的角度计算识别出手势动作，示例性地，将编号0至编号2的手势关键点作为第一向量，将编号2至编号4的手势关键点作为第二向量，计算该第一向量和第二向量之间的第一夹角。在该第一夹角大于或等于第一阈值的情况下，电子设备识别出图像301中手掌的大拇指为弯曲动作；在该第一夹角小于第一阈值的情况下，电子设备识别出图像301中手掌的大拇指为伸直动作。可以理解的是，其他手指的动作可以通过类似方法确定，这里不再赘述。
可以理解的是，上述第一阈值为角度值，可以取30度、35度等，本申请对此不作限定。
在另一些实施例中，电子设备可以计算手指的手部关键点组成的向量之间的角度，直接将该角度作为该手指的动作。示例性地，将编号0至编号2的手势关键点作为第一向量，将编号2至编号4的手势关键点作为第二向量，计算出该第一向量和第二向量之间的夹角为30度，那么大拇指的弯曲程度为35度。
在确定每个手指的动作之后，电子设备综合各个手指的动作即可得到图像301中手掌的手势动作。如图3中的303部分，电子设备通过各个手势关键点的相对位置确定出图像301中手掌的手势动作。
在一些实施例中，在电子设备获取多帧图像的情况下，电子设备从第一图像中识别出所述第一图像对应的多个手势关键点，所述第一图像为所述多帧图像中的一帧图像；所述第一图像对应的多个手势关键点与手部的手指位置以及手腕位置对应；
电子设备根据所述多帧图像中每帧图像对应的手势关键点识别出所述第一手势动作；所述多帧图像中的至少两帧图像对应的多个手势关键点的位置不同。
示例性地，请参阅图4，图4是本申请实施例提供的另一种识别第一手势动作的示意图。如图4中的401部分，该401部分可以理解为多帧图像。其中，4011部分可以理解为上述第一图像，即图像4011为多帧图像401中的一帧图像。如图4所示，电子设备分别对每一帧图像(如图4中的第1帧图像、第2帧图像至第N帧图像)进行识别，得到每一帧图像对应的手势关键点，进而识别出每一帧图像的手势动作。具体可参阅图3对应的实施例的描述这里不再赘述。之后，电子设备可计算相邻两帧图像中的手势关键点的位置变化量矩阵，根据手势关键点位置坐标变化量矩阵计算手势关键点距离变化量矩阵，将多个相邻两帧图像计算得到的距离变化量矩阵串联起来作为多帧图像401的特征，最后，电子设备可利用分类器对多帧图像401进行分类，识别出多帧图像401对应的手势动作。
本申请实施例中，通过多帧图像中相邻图像的手势关键点对应的距离变化量矩阵来确定手势动作，可以提高手势识别的正确率，进而提升用户体验。
104：电子设备将该第一虚拟手部模型显示为该第一手势动作，并将该第一虚拟宠物显示为第一交互动作，该第一交互动作与该第一手势动作用于该第一虚拟宠物和该第一虚拟手部模型进行互动。
在电子设备识别出第一手势动作之后，将第一虚拟手部模型显示为该第一手势动作。相应地，第一虚拟宠物以第一交互动作与第一虚拟手部模型进行互动。
在一些实施例中，所述第一手势动作包括以下任一项或多项：招手、抚摸、拍打、握拳；所述第一交互动作包括以下任一项或多项：摇头、摇尾巴、吐舌头、招手、趴下。
示例性地，电子设备识别出该第一手势动作为“抚摸”的情况下，电子设备可以将图2中的手势模型221显示为“抚摸”状态；设定虚拟猫咪模型222的动作为摇尾巴。或者，电子设备识别出该第一手势动作为“拍打”的情况下，电子设备可以将图2中的手势模型221显示为“拍打”状态；设定虚拟猫咪模型222的动作为“猫爪收缩”，以实现手势模型221与虚拟猫咪模型222的互动。
综上可知，通过本申请实施例提供的互动方法，电子设备可以在不外接其他电子设备的情况下，识别出用户的手势动作来控制虚拟手部模型和虚拟宠物，进而通过虚拟手部模型有效地实现用户与虚拟宠物之间的互动。另外，由于不用额外接入其他设备，适用场景更广，操作更简单，且成本更低。
在一些实施例中，如图2所示的虚拟手部模型221和虚拟猫咪模型222，响应于用户对虚拟手部模型221的第二用户操作，例如滑动操作、点击操作等，电子设备根据该第二用户操作移动虚拟手部模型221的位置，以便于虚拟猫咪模型222与虚拟手部模型221之间的互动更加逼真，增强用户体验。
在另一些实施例中，电子设备将该第一虚拟手部模型显示为该第一手势动作，包括：
电子设备将该第一虚拟手部模型显示为数据库中与该第一手势动作匹配度最高的手势动作，该数据库中包括至少两种手势动作。
具体的，电子设备在数据库中存储常见的手势动作，例如，抚摸、挥手、握拳等。在电子设备通过上述一帧或多帧图像识别出该第一手势动作后，电子设备计算该第一手势动作与数据库中的手势动作的相似度，将该第一虚拟手部模型显示为数据库中与该第一手势动作匹配度最高的手势动作，使得第一虚拟手部模型显示的动作更加灵动逼真，进而提高用户体验。
在又一些实施例中，该数据库中每个手势动作对应一种或多种交互动作；该第一交互动作为该一种或多种交互动作中的一种。
具体地，电子设备在数据库中存储的手势动作对应一种或多种交互动作，可以理解的是，手势动作和交互动作可根据经验进行对应。例如，手势动作为“抚摸”，可对应交互动作为“摇尾巴”、“眯眼”或者“缓慢摇头”等。手势动作为“拍打”，可对应交互动作为“猫爪收缩”、“哭泣”或者“后退”等，使得第一虚拟手部模型和第一虚拟宠物的交互更加灵动逼真，进而提高用户体验。
上述详细阐述了本申请实施例的方法，下面提供本申请实施例的装置。
请参阅图5，图5是本申请实施例提供的一种交互装置的结构示意图。该交互装置50用于执行上述交互方法(如图1所示的方法)，但凡能够实现本申请提供的交互方法的装置都属于本申请的保护范围。示例性地，该交互装置50可以为手机、台式电脑以及便携笔记本等，本申请实施例不作限定。如图5所示，该交互装置50包括响应单元501、显示单元502、获取单元503以及识别单元504。其中，各个单元的描述如下：
响应单元501，用于响应第一用户操作；并控制显示单元502显示第一界面，该第一界面包括第一虚拟宠物和第一虚拟手部模型；
获取单元503，用于获取一帧或多帧图像；
识别单元504，用于根据该一帧或多帧图像识别第一手势动作；并控制显示单元502将该第一虚拟手部模型显示为该第一手势动作，并将该第一虚拟宠物显示为第一交互动作，该第一交互动作与该第一手势动作用于该第一虚拟宠物和该第一虚拟手部模型进行互动。
可选地，该识别单元504，具体用于在获取一帧图像的情况下，从该一帧图像中识别出该一帧图像对应的多个手势关键点；该一帧图像对应的多个手势关键点与手部的手指位置和手腕位置对应；
该识别单元504，具体用于根据该一帧图像对应的手势关键点识别出该第一手势动作。
可选地，该识别单元504，具体用于在获取多帧图像的情况下，从第一图像中识别出该第一图像对应的多个手势关键点，该第一图像为该多帧图像中的一帧图像；该第一图像对应的多个手势关键点与手部的手指位置以及手腕位置对应；
该识别单元504，具体用于根据该多帧图像中每帧图像对应的手势关键点识别出该第一手势动作；该多帧图像中的至少两帧图像对应的多个手势关键点的位置不同。
可选地，该多个手势关键点包括21个手势关键点，手势关键点0表示与手腕最接近的点；手势关键点1至手势关键点4表示与手掌大拇指对应的点；手势关键点5至手势关键点8表示与手掌食指对应的点；手势关键点9至手势关键点12表示与手掌中指对应的点；手势关键点13至手势关键点16表示与手掌无名指对应的点；手势关键点17至手势关键点20表示与手掌小拇指对应的点。
可选地，该第一虚拟手部模型的初始位置与该第一虚拟宠物的以下任一项部位对应：该第一虚拟宠物的头部、该第一虚拟宠物的尾部、该第一虚拟宠物的脚部。
可选地，该显示单元502，具体用于将该第一虚拟手部模型显示为数据库中与该第一手势动作匹配度最高的手势动作，该数据库中包括至少两种手势动作。
可选地，该第一手势动作包括以下任一项或多项：招手、抚摸、拍打、握拳；该第一交互动作包括以下任一项或多项：摇头、摇尾巴、吐舌头、招手、趴下。
请参阅图6，图6是本申请实施例提供的一种电子设备的结构示意图。该电子设备60可以用于实现上述交互方法。示例性地，电子设备60可以是手机、台式电脑、便携笔记本等设备。
如图6所示，该电子设备60包括存储器601、处理器602。可选地，该电子设备60还可以包含通信接口603以及总线604；进一步可选地，该电子设备60还可以包括显示屏605。其中，存储器601、处理器602、通信接口603以及显示屏605通过总线604实现彼此之间的通信连接。
其中，存储器601用于提供存储空间，存储空间中可以存储操作系统和计算机程序等数据。存储器601包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)。
处理器602是进行算术运算和逻辑运算的模块，可以是中央处理器(centralprocessing unit，CPU)、显卡处理器(graphics processing unit，GPU)或微处理器(microprocessor unit，MPU)等处理模块中的一种或者多种的组合。另外，存储器601中存储有计算机程序，处理器602可以调用存储器701中存储的计算机程序以执行相应的方法。
显示屏605用于实现电子设备60的显示功能。示例性地，显示屏605可用于显示图片或视频等。
本申请实施例中，如图6所示的电子设备60，显示屏605，用于接收第一用户操作；
处理器602，用于响应该第一用户操作，并控制显示屏605显示第一界面，该第一界面包括第一虚拟宠物和第一虚拟手部模型；
处理器602还用于获取一帧或多帧图像；
处理器602还用于根据该一帧或多帧图像识别第一手势动作；并控制显示屏605将该第一虚拟手部模型显示为该第一手势动作，并将该第一虚拟宠物显示为第一交互动作，该第一交互动作与该第一手势动作用于该第一虚拟宠物和该第一虚拟手部模型进行互动。
可以理解的是，处理器602可以用于实现交互装置50中响应单元501、获取单元503以及识别单元504的功能，显示屏605可以用于实现交互装置50中显示单元502的功能。
本申请实施例还提供一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机程序，当上述计算机程序在一个或多个处理器上运行时，可以实现图1至图4所示的方法。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以上述权利要求的保护范围为准。

Claims (10)

1.一种互动方法，其特征在于，所述方法包括：
响应于第一用户操作，电子设备显示第一界面，所述第一界面包括第一虚拟宠物和第一虚拟手部模型；
所述电子设备获取一帧或多帧图像，并根据所述一帧或多帧图像识别第一手势动作；
所述电子设备将所述第一虚拟手部模型显示为所述第一手势动作，并将所述第一虚拟宠物显示为第一交互动作，所述第一交互动作与所述第一手势动作用于所述第一虚拟宠物和所述第一虚拟手部模型进行互动。
2.根据权利要求1所述的方法，其特征在于，所述电子设备根据所述一帧或多帧图像识别第一手势动作，包括：
在所述电子设备获取一帧图像的情况下，所述电子设备从所述一帧图像中识别出所述一帧图像对应的多个手势关键点；所述一帧图像对应的多个手势关键点与手部的手指位置和手腕位置对应；
所述电子设备根据所述一帧图像对应的手势关键点识别出所述第一手势动作。
3.根据权利要求1所述的方法，其特征在于，所述电子设备根据所述一帧或多帧图像识别第一手势动作，包括：
在所述电子设备获取多帧图像的情况下，所述电子设备从第一图像中识别出所述第一图像对应的多个手势关键点，所述第一图像为所述多帧图像中的一帧图像；所述第一图像对应的多个手势关键点与手部的手指位置以及手腕位置对应；
所述电子设备根据所述多帧图像中每帧图像对应的手势关键点识别出所述第一手势动作；所述多帧图像中的至少两帧图像对应的多个手势关键点的位置不同。
4.根据权利要求2或3所述的方法，其特征在于，所述多个手势关键点包括21个手势关键点，手势关键点0表示与手腕最接近的点；手势关键点1至手势关键点4表示与手掌大拇指对应的点；手势关键点5至手势关键点8表示与手掌食指对应的点；手势关键点9至手势关键点12表示与手掌中指对应的点；手势关键点13至手势关键点16表示与手掌无名指对应的点；手势关键点17至手势关键点20表示与手掌小拇指对应的点。
5.根据权利要求4所述的方法，其特征在于，所述第一虚拟手部模型的初始位置与所述第一虚拟宠物的以下任一项部位对应：所述第一虚拟宠物的头部、所述第一虚拟宠物的尾部、所述第一虚拟宠物的脚部。
6.根据权利要求5所述的方法，其特征在于，所述电子设备将所述第一虚拟手部模型显示为所述第一手势动作，包括：
所述电子设备将所述第一虚拟手部模型显示为数据库中与所述第一手势动作匹配度最高的手势动作，所述数据库中包括至少两种手势动作。
7.根据权利要求5或6所述的方法，其特征在于，所述第一手势动作包括以下任一项或多项：招手、抚摸、拍打、握拳；所述第一交互动作包括以下任一项或多项：摇头、摇尾巴、吐舌头、招手、趴下。
8.一种互动装置，其特征在于，所述装置包括：
响应单元，用于响应第一用户操作；并控制显示单元显示第一界面，所述第一界面包括第一虚拟宠物和第一虚拟手部模型；
获取单元，用于获取一帧或多帧图像；
识别单元，用于根据所述一帧或多帧图像识别第一手势动作；并控制所述显示单元将所述第一虚拟手部模型显示为所述第一手势动作，并将所述第一虚拟宠物显示为第一交互动作，所述第一交互动作与所述第一手势动作用于所述第一虚拟宠物和所述第一虚拟手部模型进行互动。
9.一种电子设备，其特征在于，包括：处理器和存储器，其中，所述存储器中存储有计算机程序，所述处理器调用所述存储器中存储的计算机程序，用于执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在一个或多个处理器上运行时，使得如权利要求1-7中任一项所述的方法被执行。
CN202111131758.5A 2021-09-26 2021-09-26 互动方法及相关装置 Pending CN113986093A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111131758.5A CN113986093A (zh) 2021-09-26 2021-09-26 互动方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111131758.5A CN113986093A (zh) 2021-09-26 2021-09-26 互动方法及相关装置

Publications (1)

Publication Number Publication Date
CN113986093A true CN113986093A (zh) 2022-01-28

Family

ID=79736769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111131758.5A Pending CN113986093A (zh) 2021-09-26 2021-09-26 互动方法及相关装置

Country Status (1)

Country Link
CN (1) CN113986093A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117193534A (zh) * 2023-09-13 2023-12-08 北京小米机器人技术有限公司 运动交互方法、装置、电子设备及存储介质
WO2023246381A1 (zh) * 2022-06-22 2023-12-28 京东方科技集团股份有限公司 一种用于光场显示器的交互方法、装置、光场显示器系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023246381A1 (zh) * 2022-06-22 2023-12-28 京东方科技集团股份有限公司 一种用于光场显示器的交互方法、装置、光场显示器系统
CN117193534A (zh) * 2023-09-13 2023-12-08 北京小米机器人技术有限公司 运动交互方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10832039B2 (en) Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium
Singh et al. Video benchmarks of human action datasets: a review
CN112926423B (zh) 捏合手势检测识别方法、装置及系统
Betancourt et al. The evolution of first person vision methods: A survey
CN102301311B (zh) 标准姿势
US20130335318A1 (en) Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers
CN109325450A (zh) 图像处理方法、装置、存储介质及电子设备
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及系统
CN113986093A (zh) 互动方法及相关装置
CN111862341A (zh) 虚拟对象的驱动方法、装置、显示设备及计算机存储介质
US20060153425A1 (en) Method of processing three-dimensional image in mobile device
WO2022088819A1 (zh) 视频处理方法、视频处理装置和存储介质
CN112150349A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN114049468A (zh) 一种展示方法、装置、设备及存储介质
CN105468249B (zh) 智能互动系统及其控制方法
CN112416126A (zh) 页面滚动控制方法和装置、存储介质及电子设备
CN112613490B (zh) 一种行为识别方法、装置、机器可读介质及设备
Hoshino Hand gesture interface for entertainment games
KR102143227B1 (ko) 객체의 3차원 형상 정보 생성 방법 및 그 장치
CN114546103A (zh) 扩展现实中通过手势的操作方法和头戴式显示器系统
CN117472189B (zh) 具有实物感的打字或触控的实现方法
EP4290478A1 (en) Method for processing image acquired from imaging device linked with computing device, and system using same
CN116095293A (zh) 虚拟道具的显示方法、装置、设备以及存储介质
Darrell et al. A novel environment for situated vision and behavior
Subramaniam et al. Controlling Robotic Module throughout Universe by using Microsoft Kinect Motion Sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination