CN114035684A - 用于输出信息的方法和装置 - Google Patents
用于输出信息的方法和装置 Download PDFInfo
- Publication number
- CN114035684A CN114035684A CN202111314319.8A CN202111314319A CN114035684A CN 114035684 A CN114035684 A CN 114035684A CN 202111314319 A CN202111314319 A CN 202111314319A CN 114035684 A CN114035684 A CN 114035684A
- Authority
- CN
- China
- Prior art keywords
- action
- user
- target scene
- scene
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了用于输出信息的方法和装置,涉及人工智能领域,尤其涉及智能镜领域。具体实现方案为:响应于接收到进入目标场景的指令,输出目标场景的画面;获取用户动作图像;识别出用户动作图像中的骨骼关键点,并根据骨骼关键点确定出用户的动作;将动作与目标场景的操作映射表进行匹配,其中,操作映射表用于表征用户的动作和目标对象的操作的对应关系;控制目标对象执行匹配成功的操作。该实施方式利用智能镜实现了健身功能。
Description
技术领域
本公开涉及人工智能领域,尤其涉及智能镜领域,具体为一种用于输出信息的方法和装置。
背景技术
智能镜子指能够运行应用程序,并拥有独立应用商店,支持语音识别、手势识别、多点触控等交互方式,能够为多用户提供丰富功能的智能终端设备。当智能镜子被唤醒时,即变成一个智能互助中心,可以成为用户生活和工作的小助手。家用智能镜子的显示器通常可以显示日常的天气、热点新闻,路况信息,日程安排,穿衣指数,健康管理等。
目前智能镜子市场上已有众多概念性产品,也在居家生活、酒店、医疗、服装、美容等领域做出了尝试。但形如智能家居体系没有广泛普及,智能镜子在诸多领域市场尚未完全打开。
发明内容
本公开提供了一种用于输出信息的方法、装置、设备、存储介质以及计算机程序产品。
根据本公开的第一方面,提供了一种用于输出信息的方法,包括:响应于接收到进入目标场景的指令,输出目标场景的画面;获取用户动作图像;识别出用户动作图像中的骨骼关键点,并根据所述骨骼关键点确定出用户的动作;将所述动作与所述目标场景的操作映射表进行匹配,其中,所述操作映射表用于表征用户的动作和目标对象的操作的对应关系;控制所述目标对象执行匹配成功的操作。
根据本公开的第二方面,提供了一种用于输出信息的装置,包括:输出单元,被配置成响应于接收到进入目标场景的指令,输出目标场景的画面;获取单元,被配置成获取用户动作图像;识别单元,被配置成识别出用户动作图像中的骨骼关键点,并根据所述骨骼关键点确定出用户的动作;匹配单元,被配置成将所述动作与所述目标场景的操作映射表进行匹配,其中,所述操作映射表用于表征用户的动作和目标对象的操作的对应关系;控制单元,被配置成控制所述目标对象执行匹配成功的操作。
根据本公开的第三方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面所述的方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行第一方面所述的方法。
根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现第一方面所述的方法。
本公开的实施例提供的用于输出信息的方法和装置,无需私人教练,就能利用视觉方法达到健身的目的。并且由于提升了互动性,让用户的体验更好。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是本公开的一个实施例可以应用于其中的示例性系统架构图;
图2是根据本公开的用于输出信息的方法的一个实施例的流程图;
图3a-3e是根据本公开的用于输出信息的方法的应用场景的示意图;
图4是根据本公开的用于输出信息的方法的又一个实施例的流程图;
图5是根据本公开的用于输出信息的装置的一个实施例的结构示意图;
图6是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1示出了可以应用本公开的用于输出信息的方法或用于输出信息的装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如游戏类、健身类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是具有摄像头、显示屏并且支持视频播放的各种电子设备,包括但不限于智能镜、智能手机、平板电脑。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上播放的视频提供支持的后台服务器。终端设备101、102、103可通过摄像头采集用户动作图像。后台服务器可以对接收到的用户动作图像进行分析等处理,并根据用户动作操控场景中目标对象,例如,让游戏中的飞机按照用户移动方向飞行。
可选地,终端设备101、102、103可以安装人体识别模型,直接将采集的用户动作图像进行识别。终端设备101、102、103上安装的游戏也可以是单机的,则可不需要服务器即可完成本申请的实施方式。但如果应用场景是天气预报,则需要从服务器获取天气信息,而动作识别过程可由终端设备完成。
需要说明的是,服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。服务器也可以是云服务器,或者是带人工智能技术的智能云计算服务器或智能云主机。
需要说明的是,本公开的实施例所提供的用于输出信息的方法一般由终端设备执行,相应地,用于输出信息的装置一般设置于终端设备中。可选地,用于输出信息的方法还可由服务器执行,相应地,用于输出信息的装置设置于服务器中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了根据本公开的用于输出信息的方法的一个实施例的流程200。该用于输出信息的方法,包括以下步骤:
步骤201,响应于接收到进入目标场景的指令,输出目标场景的画面。
在本实施例中,用户可利用执行主体(例如图1所示的终端设备)的屏幕输入进入目标场景的指令。执行主体也可接收用户通过语音输入的目标场景的指令。目标场景可以包括游戏、健身、天气预报等。终端设备预先安装了相应的应用程序,接收到进入目标场景的指令后,启动应用程序,输出目标场景的画面,例如游戏画面、天气预报画面等。
步骤202,获取用户动作图像。
在本实施例中,可通过终端设备的摄像头采集用户动作图像或视频。在用户授权的情况下,摄像头的角度可以采集到用户的全身照,包括上肢动作和下肢动作。为了全面采集,摄像头的数量可以不唯一。并且还可以分布式设置多个摄像头(摄像头可以不安装在终端设备上,而是通过无线连接传递数据),可以同时采集用户正面和背面的图像。即使智能镜的较小也能通过摄像头采集用户全身照进行全身展示,即,利用与普通洗手台或梳妆台的镜子大小相同的智能镜可以代替全身镜来展示用户全身。
步骤203,识别出用户动作图像中的骨骼关键点,并根据骨骼关键点确定出用户的动作。
在本实施例中,可由终端设备或服务器通过预先训练的人体关键点识别模型检测出视频中人体的关键点。例如,颈部、肘关节、腕关节等。提取身体部位的骨骼关键点。通过骨骼关键点确定出用户的动作,包括骨骼关键点的位置、角度、持续时间等,例如,平移、蹲、跳、走步、跑步、弯腰、手势、头部转动、眼球转动等。
可选地,还可识别出用户的眼球位置变化、眼球转动速度变化,对眼球转动进行追踪。
步骤204,将动作与目标场景的操作映射表进行匹配。
在本实施例中,操作映射表用于表征用户的动作和目标对象的操作的对应关系。目标对象是场景画面中被操作的目标,例如,飞机游戏中用于攻击的飞机是目标对象。可以通过人体的运动来代替游戏手柄来控制游戏对象。不同目标场景对应不同的操作映射表,例如,飞机游戏场景中,人体左右移动对应飞机左右移动,跑步代表发射子弹,跑步速度可以控制子弹发射速度。操作映射表作为说明书可以屏幕上直接输出,用户也可以自定义操作映射表,例如将原本的跑步代表发射子弹改为拍手代表发射子弹。在游戏过程中隐藏操作映射表,在用户需要帮助时通过语音方式或触摸屏幕的方式调用操作映射表。
可选地,可根据用户的头部动作设置操作映射表,例如,头部向左转则目标对象向左移,低头则目标对象向下移,抬头则目标对象向上移。
可选地,可通过眼球控制目标对象,例如,眼球向左转则目标对象向左移,从而实现锻炼眼部的目的。
步骤205,控制目标对象执行匹配成功的操作。
在本实施例中,目标对象跟随用户的动作完成指定的操作,例如,随着用户不同方向移动控制目标对象改变位置,用户左移则目标对象左移,用户向前移动则目标对象也前移。用户跳起,则目标对象也跳起。用户还可通过弯腰等动作调整目标对象的俯仰角。
本公开的上述实施例提供的方法,不需要手动控制就能进行交互式体验,既解放了双手又锻炼了身体,让用户的体验更好。
在本实施例的一些可选的实现方式中,目标场景为游戏场景,动作包括以下至少一项:肢体位置变化、肢体移动速度变化、眼球位置变化、眼球转动速度变化。;肢体位置变化可包括平移、蹲、跳、走步、跑步、弯腰、手势等。肢体移动速度变化可包括快跑、慢跑、快跳、慢跳等。可以根据单位时间内肢体移动的距离计算肢体移动速度,把肢体移动速度划分成多个等级。眼球位置变化可包括眼球向上下左右等方向转动。眼球转动速度变化可包括快速转动眼球和慢速转动眼球。可以根据单位时间内眼球转动的距离计算眼球转动速度,把眼球转动速度划分成多个等级。操作包括以下至少一项:根据动作的方向移动、根据动作的强度调整属性。如图3a所示,在飞机大战游戏中,身体左右倾斜为左右控制,跑步可以升级子弹(目标对象的属性)。跑步速度越快则可将子弹速度设置的越快,甚至从单发升级到连发等。如图3b所示,管道鸟游戏中,身体蹲、跳用于控制飞鸟上下。具体操作可以界面上提示,用户按照提示做动作即可。该方案可用户人体的动作替换游戏手柄,游戏得分的计算方法仍保持不变。可以提高游戏的趣味性,让用户身临其境,提升用户体验。
在本实施例的一些可选的实现方式中,该方法还包括:根据用户的动作的类型、次数和持续时间计算消耗的热量;输出热量。可针对不同动作的类型设置热量(单位为卡路里,简称卡),例如,走一步多少卡,跳一次多少卡,平板支撑坚持10秒钟多少卡。然后累计每个动作的热量数,在显示界面上输出。除可以根据游戏得分设置关卡外,还可根据用户的消耗的热量设置关卡,消耗一定热量才能进入下一关。
在本实施例的一些可选的实现方式中,目标场景为健身场景;以及将动作与目标场景的操作映射表进行匹配,包括:确定动作与目标场景中目标对象的健身动作的匹配度和消耗的热量;控制目标对象执行匹配成功的操作,包括:若匹配度大于预定匹配度阈值,则目标对象更换健身动作,并输出热量。如图3c所示,界面提示要求用户做的健身动作。将用户的动作与画面中的健身动作进行匹配(骨骼关键点位置匹配),根据用户的骨骼关键点与健身动作中骨骼关键点的距离计算匹配度,若匹配度大于预定匹配度阈值则认为动作匹配成功,可更换健身动作进入下一关,直到完成健身任务(健身时间达到一定时长和/或消耗的热量达到一定量)。例如,目标对象(显示界面中的人物)先提示向右侧弯腰拉伸,匹配度达到匹配度阈值后,提示向左侧弯腰拉伸。这种方式不仅可以进行健身教学,还能保证用户的动作准确性,提升健身效果,还能实时计算消耗的热量,提高用户动作的积极性。
进一步参考图4,其示出了用于输出信息的方法的又一个实施例的流程400。该用于输出信息的方法的流程400,包括以下步骤:
步骤401,响应于接收到播放天气预报的指令,输出天气预报的画面。
在本实施例中,执行主体(例如图1所示的终端设备)可通过屏幕接收用户输入的播放天气预报的指令。执行主体也可接收用户通过语音输入的播放天气预报的指令。接收到播放天气预报的指令后,启动应用程序,从服务器获取天气预报的内容,输出天气预报的画面。可以只从服务器获取天气预报的文字信息,由终端设备安装的天气预报应用程序根据文字信息生成动画画面。例如,如图3d所示,天气预报为雾,则除显示温度信息之外,还显示雾气缭绕的动画,第一幅图中动画播放280毫秒后下面的天气数值从无到有出现,出现时间为400毫秒,动画中一笔笔写出“雾”字,写完如第二幅图所示。如图3e所示,天气预报为雨,则除显示温度信息之外,还显示雨滴落下的动画。
步骤402,获取用户动作图像。
在本实施例中,可通过终端设备的摄像头采集用户动作图像或视频。在用户授权的情况下,摄像头的角度可以采集到用户的全身照,包括上肢动作和下肢动作。
步骤403,识别出用户动作图像中的骨骼关键点,并根据骨骼关键点确定出用户的手势。
在本实施例中,可由终端设备或服务器通过预先训练的人体关键点识别模型检测出视频中人体的关键点。例如,颈部、肘关节、腕关节等。提取身体部位的骨骼关键点。通过骨骼关键点确定出用户的动作,包括骨骼关键点的位置、角度、持续时间等,例如,平移、蹲、跳、走步、跑步、弯腰、手势、头部转动、眼球转动等。
特别是针对手部关键点重点进行检测,得到用户的手势。例如,手部摆动、手掌平放等。摆动可以是任意方向的,还能检测手掌翻转。
步骤404,根据手势确定天气元素的操作。
在本实施例中,不同的手势代表对天气元素的不同的操作。天气元素指的是天气预报动画中的主角,例如,雾、霜、雨滴、雪花等。例如,手部摆动代表要擦除天气元素,手掌平放代表停止天气元素移动。如图3d所示,第三幅图中显示了用户做出手部摆动的动作后,雾被擦除。天气元素的变化随手部移动,比例用户只水平方向摆动手部,则擦除一行雾,如果用户只竖直方向摆动手部,则擦除一列雾。对于其它天气的动画也是同样处理,例如,擦除霜、霾、沙尘暴等。还可通过手势让天气元素的移动暂停。如图3e所示,第一幅图中一笔笔写出“雨”字,第三幅图中显示下雨动画。用户做出手掌平放的动作,则雨滴停止下落,并处于静止状态。如果用户在预定时间内改变手势,则雨滴继续下落,逐渐显示完整的天气信息,如第二幅图所示。可以预定义一些手势,让已静止的画面动起来,例如,手部上下移动,则显示下雨的动画。
针对不同天气即使相同的动作也可代表不同的操作,例如,在雾天画面前,用户手部摆动代表要擦除雾气。在雪天画面前用户手部摆动代表雪花飞舞的方向。还可将画面中的天气元素划分成多个区域,例如,对应于人体的头部、左臂、右臂、左腿、右腿,可分区控制天气元素的变化,这样用户在跳舞时,天气元素也跟着变化起舞,例如,抬左臂降右臂,则画面中左上部分的雪花向上飞,右上部分的雪花向下飞。提高了互动性,让用户身临其境。
步骤405,对天气元素执行确定出的操作。
在本实施例中,实时检测用户的动作,并确定出与动作对应的对天气元素的操作,然后执行该操作。如图3d中第三幅图所示,跟随用户摆动手部的动作擦除雾气。擦除后如果预定时间内用户没有其它动作,则显示第四幅画面,雾字从无到有的出现,背景雾气从有到无消失。用户可以在显示的雾气中写字,如果用户不接触屏幕,则可通过手势识别的方式检测用户手势识别出用户想写的字。如果用户触摸屏幕,则通过触摸屏蔽检测用户输入的字。
可选地,还可进行人脸图像识别,识别出人脸的面部动作。如果用户做出哈气的动作,则显示出雾气画面,用户可通过手势擦除雾气,也可通过触摸屏幕的方式擦除。可以模拟雾气的出现和自动消失过程,增加了趣味性。用户可以在模拟的雾气中写字,增强了互动性。
从图4中可以看出,与图2对应的实施例相比,本实施例中的用于输出信息的方法的流程400体现了天气预报情景下人机互动的步骤。由此,本实施例描述的方案可以引入天气交互彩蛋,提高用户对天气预报的兴趣,从而提高天气预报应用程序的使用率和使用时间。
进一步参考图5,作为对上述各图所示方法的实现,本公开提供了一种用于输出信息的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的用于输出信息的装置500包括:输出单元501、获取单元502、识别单元503、匹配单元504和控制单元505。其中,输出单元501,被配置成响应于接收到进入目标场景的指令,输出目标场景的画面;获取单元502,被配置成获取用户动作图像;识别单元503,被配置成识别出用户动作图像中的骨骼关键点,并根据所述骨骼关键点确定出用户的动作;匹配单元504,被配置成将所述动作与所述目标场景的操作映射表进行匹配,其中,所述操作映射表用于表征用户的动作和目标对象的操作的对应关系;控制单元505,被配置成控制所述目标对象执行匹配成功的操作。
在本实施例中,用于输出信息的装置500的输出单元501、获取单元502、识别单元503、匹配单元504和控制单元505的具体处理可以参考图2对应实施例中的步骤201、步骤202、步骤203、步骤204和步骤205。
在本实施例的一些可选的实现方式中,目标场景为游戏场景,所述动作包括以下至少一项:肢体位置变化、肢体移动速度变化、眼球位置变化、眼球转动速度变化;所述操作包括以下至少一项:根据动作的方向移动、根据动作的强度调整属性。
在本实施例的一些可选的实现方式中,装置500还包括计算单元(附图中未示出),被配置成:根据所述用户的动作的类型、次数和持续时间计算消耗的热量;输出所述热量。
在本实施例的一些可选的实现方式中,目标场景为健身场景;以及匹配单元504进一步被配置成:确定所述动作与所述目标场景中目标对象的健身动作的匹配度和消耗的热量;控制单元505进一步被配置成:若匹配度大于预定匹配度阈值,则所述目标对象更换健身动作,并输出所述热量。
在本实施例的一些可选的实现方式中,目标场景为天气预报;以及匹配单元504进一步被配置成:根据手势确定所述目标场景中天气元素的操作,其中,所述操作包括以下至少一项:擦除天气元素、停止天气元素移动、更改天气元素移动方向。
本公开的技术方案中,不涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行流程200或400所述的方法。
一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行流程200或400所述的方法。
一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现流程200或400所述的方法。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如用于输出信息的方法。例如,在一些实施例中,用于输出信息的方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的用于输出信息的方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行用于输出信息的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (13)
1.一种用于输出信息的方法,包括:
响应于接收到进入目标场景的指令,输出目标场景的画面;
获取用户动作图像;
识别出用户动作图像中的骨骼关键点,并根据所述骨骼关键点确定出用户的动作;
将所述动作与所述目标场景的操作映射表进行匹配,其中,所述操作映射表用于表征用户的动作和目标对象的操作的对应关系;
控制所述目标对象执行匹配成功的操作。
2.根据权利要求1所述的方法,其中,所述目标场景为游戏场景,所述动作包括以下至少一项:肢体位置变化、肢体移动速度变化、眼球位置变化、眼球转动速度变化;所述操作包括以下至少一项:根据动作的方向移动、根据动作的强度调整属性。
3.根据权利要求2所述的方法,其中,所述方法还包括:
根据所述用户的动作的类型、次数和持续时间计算消耗的热量;
输出所述热量。
4.根据权利要求1所述的方法,其中,所述目标场景为健身场景;以及
所述将所述动作与所述目标场景的操作映射表进行匹配,包括:
确定所述动作与所述目标场景中目标对象的健身动作的匹配度和消耗的热量;
所述控制所述目标对象执行匹配成功的操作,包括:
若匹配度大于预定匹配度阈值,则所述目标对象更换健身动作,并输出所述热量。
5.根据权利要求1所述的方法,其中,所述目标场景为天气预报;以及
所述将所述动作与所述目标场景的操作映射表进行匹配,包括:
根据手势确定所述目标场景中天气元素的操作,其中,所述操作包括以下至少一项:擦除天气元素、停止天气元素移动、更改天气元素移动方向。
6.一种用于输出信息的装置,包括:
输出单元,被配置成响应于接收到进入目标场景的指令,输出目标场景的画面;
获取单元,被配置成获取用户动作图像;
识别单元,被配置成识别出用户动作图像中的骨骼关键点,并根据所述骨骼关键点确定出用户的动作;
匹配单元,被配置成将所述动作与所述目标场景的操作映射表进行匹配,其中,所述操作映射表用于表征用户的动作和目标对象的操作的对应关系;
控制单元,被配置成控制所述目标对象执行匹配成功的操作。
7.根据权利要求6所述的装置,其中,所述目标场景为游戏场景,所述动作包括以下至少一项:肢体位置变化、肢体移动速度变化、眼球位置变化、眼球转动速度变化;所述操作包括以下至少一项:根据动作的方向移动、根据动作的强度调整属性。
8.根据权利要求7所述的装置,其中,所述装置还包括计算单元,被配置成:
根据所述用户的动作的类型、次数和持续时间计算消耗的热量;
输出所述热量。
9.根据权利要求6所述的装置,其中,所述目标场景为健身场景;以及
所述匹配单元进一步被配置成:
确定所述动作与所述目标场景中目标对象的健身动作的匹配度和消耗的热量;
所述控制单元进一步被配置成:
若匹配度大于预定匹配度阈值,则所述目标对象更换健身动作,并输出所述热量。
10.根据权利要求6所述的装置,其中,所述目标场景为天气预报;以及
所述匹配单元进一步被配置成:
根据手势确定所述目标场景中天气元素的操作,其中,所述操作包括以下至少一项:擦除天气元素、停止天气元素移动、更改天气元素移动方向。
11.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。
13.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111314319.8A CN114035684A (zh) | 2021-11-08 | 2021-11-08 | 用于输出信息的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111314319.8A CN114035684A (zh) | 2021-11-08 | 2021-11-08 | 用于输出信息的方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114035684A true CN114035684A (zh) | 2022-02-11 |
Family
ID=80136692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111314319.8A Pending CN114035684A (zh) | 2021-11-08 | 2021-11-08 | 用于输出信息的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114035684A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100194872A1 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Body scan |
US20150105159A1 (en) * | 2013-10-14 | 2015-04-16 | Microsoft Corporation | Boolean/float controller and gesture recognition system |
JP2018175505A (ja) * | 2017-04-14 | 2018-11-15 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
CN109453517A (zh) * | 2018-10-16 | 2019-03-12 | Oppo广东移动通信有限公司 | 虚拟角色控制方法和装置、存储介质、移动终端 |
CN112925418A (zh) * | 2018-08-02 | 2021-06-08 | 创新先进技术有限公司 | 一种人机交互方法和装置 |
CN112973110A (zh) * | 2021-03-19 | 2021-06-18 | 深圳创维-Rgb电子有限公司 | 云游戏控制方法、装置、网络电视及计算机可读存储介质 |
CN113325950A (zh) * | 2021-05-27 | 2021-08-31 | 百度在线网络技术(北京)有限公司 | 功能控制方法、装置、设备以及存储介质 |
-
2021
- 2021-11-08 CN CN202111314319.8A patent/CN114035684A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100194872A1 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Body scan |
US20150105159A1 (en) * | 2013-10-14 | 2015-04-16 | Microsoft Corporation | Boolean/float controller and gesture recognition system |
JP2018175505A (ja) * | 2017-04-14 | 2018-11-15 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
CN112925418A (zh) * | 2018-08-02 | 2021-06-08 | 创新先进技术有限公司 | 一种人机交互方法和装置 |
CN109453517A (zh) * | 2018-10-16 | 2019-03-12 | Oppo广东移动通信有限公司 | 虚拟角色控制方法和装置、存储介质、移动终端 |
CN112973110A (zh) * | 2021-03-19 | 2021-06-18 | 深圳创维-Rgb电子有限公司 | 云游戏控制方法、装置、网络电视及计算机可读存储介质 |
CN113325950A (zh) * | 2021-05-27 | 2021-08-31 | 百度在线网络技术(北京)有限公司 | 功能控制方法、装置、设备以及存储介质 |
Non-Patent Citations (2)
Title |
---|
刘俊杰;丁厶琦;林东民;: "基于摄像头感测的体感游戏设计与开发", 无线互联科技, no. 05, pages 63 - 64 * |
达达、周森: "别小看小度,旗下潮品「添添」又添智能健身镜", HTTPS://ZHUANLAN.ZHIHU.COM/P/429752282, pages 1 - 11 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105373224B (zh) | 一种基于普适计算的混合现实游戏系统及方法 | |
US9245177B2 (en) | Limiting avatar gesture display | |
US9448636B2 (en) | Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices | |
CN111488824A (zh) | 运动提示方法、装置、电子设备和存储介质 | |
CN106462725A (zh) | 监测游戏场所的活动的系统和方法 | |
CN105431813A (zh) | 基于生物计量身份归属用户动作 | |
CN109550250B (zh) | 虚拟对象骨骼数据处理方法及装置、存储介质、电子设备 | |
KR20120052228A (ko) | 사용자로부터 학습된 입력을 통해 비주얼 형상을 활성화하는 방법 | |
CN102947774A (zh) | 用于驱动交互式故事的自然用户输入 | |
CN112684970B (zh) | 虚拟场景的适配显示方法、装置、电子设备及存储介质 | |
US20200409471A1 (en) | Human-machine interaction system, method, computer readable storage medium and interaction device | |
RU2667720C1 (ru) | Способ имитационного моделирования и управления виртуальной сферой в мобильном устройстве | |
US20220070513A1 (en) | Video distribution system, video distribution method, video distribution program, information processing terminal, and video viewing program | |
CN113240778A (zh) | 虚拟形象的生成方法、装置、电子设备和存储介质 | |
CN111643890A (zh) | 卡牌游戏的交互方法、装置、电子设备及存储介质 | |
CN111694426A (zh) | Vr虚拟采摘互动体验系统、方法、电子设备及存储介质 | |
CN114245155A (zh) | 直播方法、装置及电子设备 | |
CN113952709A (zh) | 游戏交互的方法及装置、存储介质、电子设备 | |
CN111773669B (zh) | 一种在虚拟环境中生成虚拟对象方法及装置 | |
CN114035684A (zh) | 用于输出信息的方法和装置 | |
CN106730834A (zh) | 游戏数据处理方法以及装置 | |
CN109917907B (zh) | 一种基于卡片的动态故事板交互方法 | |
CN111784809A (zh) | 虚拟角色骨骼动画控制方法及装置、存储介质及电子设备 | |
CN112200169A (zh) | 用于训练模型的方法、装置、设备以及存储介质 | |
CN111388997A (zh) | 游戏中的天气控制方法及系统、可读存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |