CN108062533A - 用户肢体动作的解析方法、系统及移动终端 - Google Patents

用户肢体动作的解析方法、系统及移动终端 Download PDF

Info

Publication number
CN108062533A
CN108062533A CN201711464338.2A CN201711464338A CN108062533A CN 108062533 A CN108062533 A CN 108062533A CN 201711464338 A CN201711464338 A CN 201711464338A CN 108062533 A CN108062533 A CN 108062533A
Authority
CN
China
Prior art keywords
user
action
image
facial image
expression picture
Prior art date
Application number
CN201711464338.2A
Other languages
English (en)
Inventor
张文波
刘裕峰
刘锦龙
Original Assignee
北京达佳互联信息技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京达佳互联信息技术有限公司 filed Critical 北京达佳互联信息技术有限公司
Priority to CN201711464338.2A priority Critical patent/CN108062533A/zh
Publication of CN108062533A publication Critical patent/CN108062533A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00302Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00335Recognising movements or behaviour, e.g. recognition of gestures, dynamic facial expressions; Lip-reading
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6201Matching; Proximity measures
    • G06K9/6215Proximity measures, i.e. similarity or distance measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6267Classification techniques
    • G06K9/6268Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches

Abstract

本发明实施例公开了一种用户肢体动作的解析方法、系统及移动终端,包括下述步骤:获取用户的肢体图像;识别所述肢体图像表征的肢体语言;匹配与所述肢体语言具有相同含义的可视化信息或音频信息。通过识别图片中用户的肢体图像表征的肢体语言,并匹配与该肢体语言具有相同含义可视化信息或音频信息。以此,将图像中的肢体特征所表述的信息通过能够被人类直接解读的方式进行呈现,实现了对于人类肢体动作的深层次解读,方便语言障碍者或者语言不通用户之间的交流。

Description

用户肢体动作的解析方法、系统及移动终端

技术领域

[0001] 本发明实施例图像处理领域,尤其是一种用户肢体动作的解析方法、系统及移动 终端。

背景技术

[0002] 理解外部世界的一门科学,所讨论的问题是为了完成某一任务需要从图像中获取 哪些信息,以及如何利用这些信息获得必要的解释,图像理解的研究涉及和包含了研宄获 取图像的方法、装置和具体的应用实现。

[0003] 现有技术中,图像理解技术被用于识别图片中的文字信息,将位图形态的文字进 行识别并转换为可编辑文字。本发明创造的发明人在研究中发现,现有技术中的图像理解 仅限于将固定位图图样,转化为可编辑形态,无法在对图像信息进行理解后,根据理解结果 进行更深层次的解析和应用。

发明内容

[0004] 本发明实施例提供一种通过解析图像中用户的肢体语言,并根据理解结果匹配能 够被人类直接感知的信息对理解结果进行展示和应用的用户肢体动作的解析方法、系统及 移动终立而。

[0005] 为解决上述技术问题,本发明创造的实施例采用的一个技术方案是:提供一种用 户肢体动作的解析方法,包括下述步骤:

[0006] 获取用户的肢体图像;

[0007] 识别所述肢体图像表征的肢体语言;

[0008] 匹配与所述肢体语言具有相同含义的可视化信息或音频信息。

[0009] 可选地,所述用户肢体动作的解析方法还包括下述步骤:

[0010] 获取用户的人脸图像;

[0011] 识别所述人脸图像表征的人体脸部动作信息;

[0012] 匹配与所述人体脸部动作信息具有相同动作含义的表情图片。

[0013] 可选地,所述获取用户的人脸图像的步骤之前,还包括下述步骤:

[0014] 调用预存储的至少一个所述表情图片; _

[0015] 将所述表情图片按预设脚本放置在显示容器内,以使所述表情图片可视化显示。

[0016] 可选地,所述匹配与所述人体脸部动作具有相同动作含义的表情图片的步骤,具 体包括下述步骤:

[0017] 将所述人体脸部动作信息与所述显示容器范围内的表情图片进行比对;

[0018] 当显示容器内的表情图片所表征的动作含义与所述人体脸部动作信息相同时,确 认所述显示容器内存在与所述人体脸部动作具有相同动作含义的表情图片。

[0019] 可选地,所述匹配与所述人体脸部动作具有相同动作含义的表情图片的步骤之 后,还包括下述步骤:

[0020] 获取所述人体脸部动作信息与所述表情图片的匹配度信息;

[0021] 根据预设的匹配规则计算所述匹配度信息对应的奖励分值。

[0022]可选地,所述根据预设的匹配规则计算所述匹配度信息对应的奖励分值的步骤之 后,还包括下述步骤:

[0023] 记录预设第一时间阈值内所有的奖励分值;

[0024] 将所述奖励分值累加形成用户在所述第一时间阈值内的最终得分。

[0025] 可选地,所述用户肢体动作的解析方法还包括下述步骤:

[0026]在预设的单位时间内从表情包中随机抽取预设数量的表征人类情绪的表情图片, 并将所述表情图片放置在显示容器内;

[0027]在所述单位时间内定时或实时采集用户的人脸图像,并识别所述人脸图像所表征 的情绪信息及所述人脸图像与所述情绪信息的匹配度;

[0028]匹配与所述人脸图像具有相同情绪含义的表情图片,并根据所述匹配度确认所述 人脸图像的奖励分值。

[0029]可选地,所述在所述单位时间内定时或实时采集用户的人脸图像,并识别所述人 脸图像所表征的情绪信息的步骤,具体包括下述步骤:

[0030] 采集用户的人脸图像;

[0031] 将所述人脸图像输入到预设的情绪识别模型中,并获取所述人脸图像的分类结果 及分类数据;

[0032] 根据所述分类结果确定所述人脸图像的情绪信息,并根据所述分类数据确定所述 人脸图像与所述情绪信息的匹配度。

[0033] 为解决上述技术问题,本发明实施例还提供一种用户肢体动作的解析系统,包括: [0034]获取模块,用于获取用户的肢体图像;

[0035] 处理模块,用于识别所述肢体图像表征的肢体语言;

[0036]执行模块,用于匹配与所述肢体语言具有相同含义的可视化信息或音频信息。 [0037]可选地,所述用户肢体动作的解析系统还包括:

[0038]第一获取子模块,用于获取用户的人脸图像;

[0039] 第一处理子模块,用于识别所述人脸图像表征的人体脸部动作信息;

[0040] 第一执行子模块,用于匹配与所述人体脸部动作信息具有相同动作含义的表情图 片。

[0041] 可选地,所述用户肢体动作的解析系统还包括:

[0042] 第一调用子模块,用于调用预存储的至少一个所述表情图片;

[0043]第一显示子模块,用于将所述表情图片按预设脚本放置在显示容器内,以使所述 表情图片可视化显示。

[0044]可选地,所述用户肢体动作的解析系统还包括:

[0045]第一比对子模块,用于将所述人体脸部动作信息与所述显示容器范围内的表情图 片进行比对;

[0046]第一确认子模块,用于当显示容器内的表情图片所表征的动作含义与所述人体脸 部动作信息相同时,确认所述显示容器内存在与所述人体脸部动作具有相同动作含义的表 情图片。

[0047] 可选地,所述用户肢体动作的解析系统还包括:

[0048] 第二获取子模块,用于获取所述人体脸部动作信息与所述表情图片的匹配度信 息;

[0049]第二执行子模块,用于根据预设的匹配规则计算所述匹配度信息对应的奖励分 值。

[0050] 可选地,所述用户肢体动作的解析系统还包括:

[0051]第一记录子模块,用于记录预设第一时间阈值内所有的奖励分值;

[0052]第三执行子模块,用于将所述奖励分值累加形成用户在所述第一时间阈值内的最 终得分。

[0053]可选地,所述用户肢体动作的解析系统还包括:

[0054]第三获取子模块,用于在预设的单位时间内从表情包中随机抽取预设数量的表征 人类情绪的表情图片,并将所述表情图片放置在显示容器内;

[0055]第二处理子模块,用于在所述单位时间内定时或实时采集用户的人脸图像,并识 别所述人脸图像所表征的情绪信息及所述人脸图像与所述情绪信息的匹配度;

[0056]第四执行子模块,用于匹配与所述人脸图像具有相同情绪含义的表情图片,并根 据所述匹配度确认所述人脸图像的奖励分值。

[0057]可选地,所述用户肢体动作的解析系统还包括:

[0058]第一采集子模块,用于采集用户的人脸图像;

[0059]第三处理子模块,用于将所述人脸图像输入到预设的情绪识别模型中,并获取所 述人脸图像的分类结果及分类数据;

[0060] 第五执行子模块,用于根据所述分类结果确定所述人脸图像的情绪信息,并根据 所述分类数据确定所述人脸图像与所述情绪信息的匹配度。

[0061] 为解决上述技术问题,本发明实施例还提供一种移动终端,包括:

[0062] 一个或多个处理器;

[0063] 存储器;

[0064] 一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被 配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述所述的用户 肢体动作的解析方法。

[0065] 本发明实施例的有益效果是:通过识别图片中用户的肢体图像表征的肢体语言, 并匹配与该肢体语言具有相同含义可视化信息或音频信息。以此,将图像中的肢体特征所 表述的信息通过能够被人类直接解读的方式进行呈现,实现了对于人类肢体动作的深层次 解读,方便语言障碍者或者语言不通用户之间的交流。

附图说明

[0066]为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使 用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于 本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附 图。

[0067]图1为本发明实施例用户肢体动作的解析方法的基本流程示意图;

[0068]图2为本发明实施例用户肢体动作的解析方法第一种实施方式的展示示意图; [0069]图3为本发明实施例用户肢体动作的解析方法第二种实施方式的展示示意图; [0070]图4为本发明实施例解析用户面部表情进行应用的流程示意图;

[0071]图5为本发明实施例显示表情图片的一种实施方式流程示意图;

[0072]图6为本发明实施例确认显示容器范围内的表情图片与人体脸部动作信息相同的 流程示意图;

[0073]图7为本发明实施例通过匹配结果进行奖励的流程示意图;

[0074]图8为本发明实施例统计等分的具体流程示意图;

[0075]图9为本发明实施例解析人脸图像情绪信息的流程示意图;

[0076]图10为本发明实施例人脸图像的情绪信息分类与匹配度检测的流程示意图;

[0077]图11为本发明实施例用户肢体动作的解析方法第三种实施方式的展示示意图; [0078]图12为本发明实施例用户肢体动作的解析系统基本结构框图;

[0079]图13为本发明实施例移动终端基本结构示意图。

具体实施方式

[0080]为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的 附图,对本发明实施例中的技术方案进行清楚、完整地描述。

[0081]在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照 特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺 序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号 本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可 以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不 同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。

[0082]下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完 整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于 本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施 例,都属于本发明保护的范围。

[0083] 实施例

[0084] 请参阅图1,图1为本实施例用户肢体动作的解析方法的基本流程示意图。

[0085]如图1所示,一种用户肢体动作的解析方法,包括下述步骤:

[0086] S1100、获取用户的肢体图像;

[0087]需要指出的是本实施例中的肢体图像包括(不限于):人脸图像、手势动作图像或 嘴唇动作图像。

[0088]终端通过访问本地存储空间指定区域,获取存储在本地存储空间内的包括有用户 肢体图像的目标图像。或通过开启设置在终端上或者于终端连接的拍摄设备,直接实时获 取用户的肢体图像。

[0089] S1200、识别所述肢体图像表征的肢体语言;

[0090]肢体语§是指肢体图像的动作表征的具体含义,肢体语言包括(不限于):用户脸 部图像表征的情绪信息、手势动作图像动作表征的语言信息或嘴唇动作图像表征的语言信 息。

[0091] 本实施方式中,识别肢体图像表征的肢体语言采用的技术方案为:通过深度学习 的方法进行识别。具体地,收集大量的包括人体肢体图像的图片作为训练样本,根据人们对 于各种肢体图像所表述的肢体语言的主观判断,获取每个训练样本肢体动作的主观含义, 并将该含义设为人们对该训练样本的期望输出。然后将训练样本输入到卷积神经网络模型 中,通过对训练样本特征的提取,并输出训练样本数据的分类数据,分类数据为训练样本在 本轮训练中各分类结果(分类结果根据需求认为设定,分类结果根据输出的复杂程度能够 为若干个,分类结果越多则训练的复杂程度越高)的概率值,本实施例中分类结果为不同的 肢体语言的名称。其中概率值最大且大于预设的衡量阈值的分类结果,为本轮训练中该训 练样本的激励输出。比较该期望输出与激励输出是否一致,当期望输出与激励输出一致时 训练结束(有时需要反复输入以验证输出的稳定性,稳定性较好时结束训练),当期望输出 与激励输出不一致时,通过反向传播算法,校正卷积神经网络的权值,以调整输出的结果, 调整后将训练样本重新输入,循环往复直至期望输出与激励输出一致时训练结束。

[0092] 通过大量的能够表征不同肢体语言的肢体图像训练至收敛的卷积神经网络模型, 能够快速且准确的确定输入其中的肢体图像(未参与训练)的肢体语言。

[0093] S1300、匹配与所述肢体语言具有相同含义的可视化信息或音频信息。

[0094]可视化信息是指能够被人类眼镜观测到的信息,包括(不限于):文字信息、图片信 息或视频信息。

[0095]通过卷积神经网络模型获取到用户肢体图像所表征的肢体语言,即获取到用户肢 体图像表征的文字信息。以该文字信息为检索关键字,在本地数据库中检索与该文字信息 具有相同含义的可视化信息或音频信息。在一些实施方式中,为方便匹配,将存储在本地数 据库中的可视化信息或音频信息,根据其表达的含义设定一个或多个标签,以方便肢体语 言通过检索标签进行对应匹配。

[0096]请参阅图2,图2为本实施例用户肢体动作的解析方法第一种实施方式的展示示意 图。

[0097]如图2所示,在一些实施方式中,用户肢体动作的解析方法被用于解析用户的肢体 动作,并将该动作转化为文字语言,通过实时获取用户的肢体图像,将该图像转化为文字语 言进行输出。例如,识别哑语或特种作战的手语,并将该肢体语言转化为文字。图2中,将用 户的肢体语言所表述的“你好”转化为文字。

[0098]请参阅图3,图3为本实施中用户肢体动作的解析方法第二种实施方式的展示示意 图。

[00"]如图3所示,在一些实施方式中,对用户的脸部表情动作所表征的情绪信息进行识 另IJ。并检索与该情绪具有相同情绪含义的表情进行输出,但不限于于此,在一些实施方式 中,能够输出与该情绪具有相同情绪含义的文字、图片、动画或语音。如图3所示,在进行聊 天时,用户出现喜悦的表情时,向对方发送具有喜悦含义的表情。

[0100]上述实施方式,通过识别图片中用户的肢体图像表征的肢体语言,并匹配与该肢 体语言具有相同含义可视化信息或音频信息。以此,将图像中的肢体特征所表述的信息通 过能够被人类直接解读的方式进行呈现,实现了对于人类肢体动作的深层次解读,方便语 言障碍者或者语言不通用户之间的交流。

[0101 ]请参阅图4,图4为本实施例解析用户面部表情进行应用的流程示意图。

[0102]如图4所示,用户肢体动作的解析方法还包括下述步骤:

[0103] S2100、获取用户的人脸图像;

[0104]终端通过访问本地存储空间指定区域,获取存储在本地存储空间内的包括有用户 人脸图像的目标图像。或通过开启设置在终端上或者于终端连接的拍摄设备,直接实时获 取用户的人脸图像。

[0105] S2200、识别所述人脸图像表征的人体脸部动作信息;

[0106]人体脸部动作信息包括人体脸部动作所表征的情绪信息,如喜怒哀乐等;同时也 能够是表征用户无情绪表征的动作,例如撇嘴、吐舌或皱额头等。

[0107]本实施方式中,识别人脸图像表征的人体脸部动作信息采用的技术方案为:通过 深度学习的方法进行识别。具体地,收集大量的包括人体人脸图像的图片作为训练样本,根 据人们对于各种人脸图像所表述的人体脸部动作信息的主观判断,获取每个训练样本肢体 动作的主观含义,并将该含义设为人们对该训练样本的期望输出。然后将训练样本输入到 卷积神经网络模型中,通过对训练样本特征的提取,并输出训练样本数据的分类数据,分类 数据为训练样本在本轮训练中各分类结果(分类结果根据需求认为设定,分类结果根据输 出的复杂程度能够为若干个,分类结果越多则训练的复杂程度越高)的概率值,本实施例中 分类结果为不同的人体脸部动作信息的名称。其中概率值最大且大于预设的衡量阈值的分 类结果,为本轮训练中该训练样本的激励输出。比较该期望输出与激励输出是否一致,当期 望输出与激励输出一致时训练结束(有时需要反复输入以验证输出的稳定性,稳定性较好 时结束训练),当期望输出与激励输出不一致时,通过反向传播算法,校正卷积神经网络的 权值,以调整输出的结果,调整后将训练样本重新输入,循环往复直至期望输出与激励输出 一致时训练结束。

[0108]通过大量的能够表征不同人体脸部动作信息的人脸图像训练至收敛的卷积神经 网络模型,能够快速且准确的确定输入其中的人脸图像(未参与训练)的人体脸部动作信 息。

[0109] S2300、匹配与所述人体脸部动作信息具有相同动作含义的表情图片。

[0110]表情图片指终端中存储模拟用户表情设计而成的表情或动画表情。

[0111]通过卷积神经网络模型获取到用户人脸图像所表征的人体脸部动作信息,即获取 到用户人脸图像表征的文字信息。以该文字信息为检索关键字,在本地数据库中检索与该 文字信息具有相同含义的表情图片。在一些实施方式中,为方便匹配,将存储在本地数据库 中的表情图片,根据其表达的含义设定一个或多个标签,以方便人体脸部动作信息通过检 索标签进行对应匹配。

[0112]通过对用户的表情信息进行解析后,获得该表情所表征的具体含义,然后匹配与 该表情含义相同的表情图片,方便用户用户输入,同时也结合解析结果对用户表情做更深 层次的交互处理。

[0113]请参阅图5,图5为本实施例显示表情图片的一种实施方式流程示意图。

[0114] 如图5所示,步骤S2100之前还包括下述步骤:

[0115] S2011、调用预存储的至少一个所述表情图片;

[0116]终端存储空间内在指定的区域内存储或文件夹内存储有包括若干表情图片的表 情包或者乱码在该区域或文件夹内的多个表情包。其中,每一张表情图片内均表征有一个 人体脸部动作。

[0117] 根据预设脚本调用一个或多个表情图片进行显示。

[0118] S2012、将所述表情图片按预设脚本放置在显示容器内,以使所述表情图片可视化 显不。

[0119]脚本是用于控制表情图片显示动作的预设程序,其中设定了表情图片在显示区域 停留时间的时间控件、设定图片在显示区域运动轨迹的运动控件和设定图片在显示区域匹 配成功时表情图片发光的渲染控件。遍历上述控件即能够完成表情图片在显示容器内的显 不。

[0120]将表情图片放入显示容器内,放置在显示容器内的表情图片通过预设脚本设定的 参数,在显示容器内进行排版渲染后,展示于终端的显示区域供用户观看。

[0121]在一些实施方式中,表情图片被用于模仿应用程序,在终端摄像头开启状态下,实 时采集用户的人脸图像,然后将人脸图像显示在终端屏幕中,用户模仿显示屏幕范围内的 表情图片的动作,将用户模仿的图像进行分类识别,当用户脸部表情与显示屏幕范围内的 一个或多个表情图片表征的动作相同时,对该匹配成功的表情图片进行计分,并按预设脚 本对该表情图片的发光渲染。

[0122]请参阅图6,图6为本实施例确认显示容器范围内的表情图片与人体脸部动作信息 相同的流程示意图。

[0123]如图6所示,步骤S2300具体包括下述步骤:

[0124] SMIO、将所述人体脸部动作信息与所述显示容器范围内的表情图片进行比对; [0125]实时采集用户的人脸图像,然后将人脸图像显示在终端屏幕中,用户模仿显示屏 幕范围内的表情图片的动作,将用户模仿的图像进行分类识别,然后将分类结果与显示容 器范围内的表情图片表征的动作信息进行比对。

[0126] S2320、当显示容器内的表情图片所表征的动作含义与所述人体脸部动作信息相 同时,确认所述显示容器内存在与所述人体脸部动作具有相同动作含义的表情图片。

[0127]当用户脸部表情与显示屏幕范围内的一个或多个表情图片表征的动作相同时,确 认所述显示容器内存在与所述人体脸部动作具有相同动作含义的表情图片。

[0128]在一些实施方式中,当用户的表情动作与表情图片的表征的动作含义相同时,还 需要根据二者的匹配度计算奖励分值。具体请参阅图7,图7为本实施例通过匹配结果进行 奖励的流程示意图。

[0129]如图7所示,步骤S2300之后还包括下述步骤:

[0130] S2411、获取所述人体脸部动作信息与所述表情图片的匹配度信息;

[0131]本实施方式中,人体脸部动作信息动作的解析通过卷积神经网络模型的分类结果 进行确认,卷积神经网络模型分类层输出的分类结果,为该人脸图像属于各分类结果的概 率值(通常为0-1之间的多个数值)。例如分类结果的设定为喜怒哀乐四种情绪结果,人脸图 像输入后,得到[0.75 0.2 0.4 0.3],由于其中0.75为最大值且大于预设阈值〇_5,则该人 脸图像的分类结果为“笑”。则人体脸部动作信息与所述表情图片的匹配度信息为〇.75,即 人脸图像的动作与表情图片的相似度为75%。

[G132] S2412、根据预设的匹配规则计算所述匹配度信息对应的奖励分值。

[0133]匹配规则为预设的根据匹配度计算奖励分值的方法。举例说明,根据匹配度将匹 配结果划分为“完美、很好、不错和错过”,其中,“完美”为匹配度为0.9-1.0区间内的分类结 果;“很好”为0 • 7-0 • 9区间内的分类结果;“不错”为0 • 5-0 • 7区间内的分类结果;“错过”为 0.5以下的分类结果。并设定一次“完美”的匹配结果分值为30分;一次“很好”的匹配结果分 值为20分;一次“不错”的匹配结果分值为10分;一次“错过”的匹配结果分值为〇分。

[0134] 根据预设的匹配规则计算匹配度信息对应的奖励分值。

[0135]通过匹配度对匹配结果进行打分,能够对匹配结果的匹配质量进行进一步的细 化,能够得到更精准的奖励分值。

[0136]在一些实施方式中,在预设的一个时间段内持续的对匹配结果进行记录,并在时 间结束后对持续时间段内用户的得分进行统计。具体请参阅图8,图8为本实施例统计等分 的具体流程示意图。

[0137] 如图8所示,步骤S2412之后还包括下述步骤:

[0138] S2421、记录预设第一时间阈值内所有的奖励分值;

[0139] 第一时间阈值为预定的一局匹配游戏的时间长度,例如设定一局匹配游戏的时间 长度为3分钟。具体时间长度的设置不局限与此,在一些选择性实施例中,第一时间阈值的 时间长度能够更短或者更长。

[0140] S%22、将所述奖励分值累加形成用户在所述第一时间阈值内的最终得分。

[0141]统计第一时间阈值内用户的奖励分值的总分值,作为用户在第一时间阈值内参与 匹配的总得分。

[0142]请参阅图9,图9为本实施例解析人脸图像情绪信息的流程示意图。

[0143] 如图9所示,用户肢体动作的解析方法还包括下述步骤:

[0144] S3100、在预设的单位时间内从表情包中随机抽取预设数量的表征人类情绪的表 情图片,并将所述表情图片放置在显示容器内;

[0145]单位时间为向显示容器加载一波表情图片的时间,例如加载一波表情图片的时间 为5秒,S卩一波表情图片出现在显示容器内的时间为5秒,5秒后新的一波表情图片会进行替 换。单位时间加载的表情图片能够预设设定,设定规则能够是固定的,例如单位时间内每一 波表情图片的添加均为5个;在一些实施方式中,表情图片的添加能够是递增的,递增的数 量根据实际情况设定,如每次递增一个、两个或者更多个。

[0146] S3200、在所述单位时间内定时或实时采集用户的人脸图像,并识别所述人脸图像 所表征的情绪信息及所述人脸图像与所述情绪信息的匹配度;

[0147]以单位时间为限,通过开启终端自带或者与其连接的拍摄设备实时获取用户的人 脸图像,但不限于此,在一些实施方式中,能够通过定时的方式(如0.1s)提取人脸图像。 [0148]人脸图像的情绪信息解析通过卷积神经网络模型的分类结果进行确认,卷积神经 网络模型分类层输出的分类结果,为该人脸图像属于各分类结果的概率值(通常为0-1之间 的多个数值)。例如分类结果的设定为喜怒哀乐四种情绪结果,人脸图像输入后,得到[0.75 0.20.4 0_3],由于其中0_75为最大值且大于预设阈值0.5,则该人脸图像的分类结果为 “笑”。根据分类结果确定在显示容器内与“笑”情绪相同的表情图片。则情绪信息与所述表 情图片的匹配度信息为0.75,即人脸图像的动作与表情图片的相似度为75%。

[0149] S33〇0、匹配与所述人脸图像具有相同情绪含义的表情图片,并根据所述匹配度确 认所述人脸图像的奖励分值。

[0150]匹配规则为预设的根据匹配度计算奖励分值的方法。举例说明,根据匹配度将匹 配结果划分为“完美、很好、不错和错过”,其中,“完美”为匹配度为0.9_1 • 0区间内的分类结 果;“很好”为0 • 7_〇 • 9区间内的分类结果;“不错”为0.5-0 • 7区间内的分类结果;“错过”为 0.5以下的分类结果。并设定一次“完美”的匹配结果分值为30分;一次“很好”的匹配结果分 值为20分;一次“不错”的匹配结果分值为10分;一次“错过”的匹配结果分值为0分。

[0151]根据预设的匹配规则计算匹配度信息对应的奖励分值。

[0152]请参阅图10,图10为本实施例人脸图像的情绪信息分类与匹配度检测的流程示意 图。

[0153] 如图10所示,步骤3200具体包括下述步骤:

[0154] S3210、采集用户的人脸图像;

[0155]以单位时间为限,通过开启终端自带或者与其连接的拍摄设备实时获取用户的人 脸图像,但不限于此,在一些实施方式中,能够通过定时的方式(如0.1s)提取人脸图像。 [0156] S3220、将所述人脸图像输入到预设的情绪识别模型中,并获取所述人脸图像的分 类结果及分类数据;

[0157]情绪识别模型具体为训练至收敛状态的卷积神经网络模型。

[0158] 本实施方式中,识别人脸图像表征的情绪信息采用的技术方案为:通过深度学习 的方法进行识别。具体地,收集大量的包括人体人脸图像的图片作为训练样本,根据人们对 于各种人脸图像所表述的情绪信息的主观判断,获取每个训练样本肢体动作的主观含义, 并将该含义设为人们对该训练样本的期望输出。然后将训练样本输入到卷积神经网络模型 中,通过对训练样本特征的提取,并输出训练样本数据的分类数据,分类数据为训练样本在 本轮训练中各分类结果(分类结果根据需求认为设定,分类结果根据输出的复杂程度能够 为若干个,分类结果越多则训练的复杂程度越高)的概率值,本实施例中分类结果为不同的 情绪信息的名称。其中概率值最大且大于预设的衡量阈值的分类结果,为本轮训练中该训 练样本的激励输出。比较该期望输出与激励输出是否一致,当期望输出与激励输出一致时 训练结束(有时需要反复输入以验证输出的稳定性,稳定性较好时结束训练),当期望输出 与激励输出不一致时,通过反向传播算法,校正卷积神经网络的权值,以调整输出的结果, 调整后将训练样本重新输入,循环往复直至期望输出与激励输出一致时训练结束。

[0159] S3230、根据所述分类结果确定所述人脸图像的情绪信息,并根据所述分类数据确 定所述人脸图像与所述情绪信息的匹配度。

[0160]人体脸部动作信息动作的解析通过卷积神经网络模型的分类结果进行确认,卷积 神经网络模型分类层输出的分类结果,为该人脸图像属于各分类结果的概率值(通常为0-1 之间的多个数值)。例如分类结果的设定为喜怒哀乐四种情绪结果,人脸图像输入后,得到 [0.75 0.2 0.4 0.3],由于其中0.75为最大值且大于预设阈值〇.5,则该人脸图像的分类结 果为“笑”。则人体脸部动作信息与所述表情图片的匹配度信息为0.75,即人脸图像的动作 与表情图片的相似度为75%。

[0161]请参阅图11,图11为本实施中用户肢体动作的解析方法第三种实施方式的展示示 意图。

[0162]如图11所示,在终端的显示区域同时显示用户的自拍图像,同时在屏幕内显示表 情图片,用户根据显示的表情图片模仿做相同的表情动作,终端检测模仿表情是否有与显 示区域内的某个表情图片相同,匹配相同时,对匹配成功的表情进行放大显示,同时根据匹 配程度显示相应的奖励分值。

[0163] 为解决上述技术问题,本发明实施例还提供一种视频动态编辑装置。具体请参阅 图12,图12为本实施例用户肢体动作的解析系统基本结构框图。

[0164] 如图12所示,一种用户肢体动作的解析系统,包括:获取模块2100、处理模块2200 和执行模块2300。其中,获取模块2100用于获取用户的肢体图像;处理模块2200用于识别肢 体图像表征的肢体语言;执行模块2300用于匹配与肢体语言具有相同含义的可视化信息或 音频信息。

[0165] 上述实施方式通过识别图片中用户的肢体图像表征的肢体语言,并匹配与该肢体 语言具有相同含义可视化信息或音频信息。以此,将图像中的肢体特征所表述的信息通过 能够被人类直接解读的方式进行呈现,实现了对于人类肢体动作的深层次解读,方便语言 障碍者或者语言不通用户之间的交流。

[0166] 在一些实施方式中,用户肢体动作的解析系统还包括:第一获取子模块、第一处理 子模块和第一执行子模块。其中,第一获取子模块用于获取用户的人脸图像;第一处理子模 块用于识别人脸图像表征的人体脸部动作信息;第一执行子模块用于匹配与人体脸部动作 信息具有相同动作含义的表情图片。

[0167] 在一•些实施方式中,用户肢体动作的解析系统还包括:第一'调用子換块和第一'显 示子模块。其中,第一调用子模块用于调用预存储的至少一个表情图片;第一显示子模块用 于将表情图片按预设脚本放置在显示容器内,以使表情图片可视化显示。

[0168] 在一些实施方式中,用户肢体动作的解析系统还包括:第一比对子模块和第一确 认子模块。其中,第一比对子模块用于将人体脸部动作信息与显示容器范围内的表情图片 进行比对;第一确认子模块用于当显示容器内的表情图片所表征的动作含义与人体脸部动 作信息相同时,确认显示容器内存在与人体脸部动作具有相同动作含义的表情图片。

[0169] 在一些实施方式中,用户肢体动作的解析系统还包括:第二获取子模块和第二执 行子模块。其中,第二获取子模块和第二执行子模块。其中,第二获取子模块用于获取人体 脸部动作信息与表情图片的匹配度信息;第二执行子模块用于根据预设的匹配规则计算匹 配度信息对应的奖励分值。

[0170] 在一些实施方式中,用户肢体动作的解析系统还包括:第一记录子模块和第三执 行子模块。其中,第一记录子模块用于记录预设第一时间阈值内所有的奖励分值;第三执行 子模块用于将奖励分值累加形成用户在第一时间阈值内的最终得分。

[0171] 在一些实施方式中,用户肢体动作的解析系统还包括:第三获取子模块、第二处理 子模块和第四执行子模块。其中,第三获取子模块用于在预设的单位时间内从表情包中随 机抽取预设数量的表征人类情绪的表情图片,并将表情图片放置在显示容器内;第二处理 子模块用于在单位时间内定时或实时采集用户的人脸图像,并识别人脸图像所表征的情绪 信息及人脸图像与情绪信息的匹配度;第四执行子模块用于匹配与人脸图像具有相同情绪 含义的表情图片,并根据匹配度确认人脸图像的奖励分值。

[0172] 在一些实施方式中,用户肢体动作的解析系统还包括:第一采集子模块、第三处理 子模块和第五执行子模块,其中,第一采集子模块用于采集用户的人脸图像;第三处理子模 块用于将人脸图像输入到预设的情绪识别模型中,并获取人脸图像的分类结果及分类数 据;第五执行子模块用于根据分类结果确定人脸图像的情绪信息,并根据分类数据确定人 脸图像与情绪信息的匹配度。

[0173]本实施例中的终端是指移动终端与PC端,并以移动终端为例进行说明。

[0174]本实施例还提供一种移动终端。具体请参阅图I3,图I3为本实施例移动终端基本 结构示意图。

[0175]需要指出的是本实施列中,移动终端的存储器152〇内存储用于实现本实施例中用 户肢体动作的解析方法中的所有程序,处理器1580能够调用该存储器1520内的程序,执行 上述用户肢体动作的解析方法所列举的所有功能。由于移动终端实现的功能在本实施例中 的用户肢体动作的解析方法进行了详述,在此不再进行赘述。

[0176] 本发明实施例还提供了移动终端,如图13所示,为了便于说明,仅示出了与本发明 实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该终端可以为 包括移动终端、平板电脑、PDA (Personal Digital Assistant,个人数字助理)、p〇S(P〇int of Sales,销售终端)、车载电脑等任意终端设备,以终端为移动终端为例:

[0177] 图13示出的是与本发明实施例提供的终端相关的移动终端的部分结构的框图。参 考图13,移动终端包括:射频(Radio Frequency,RF)电路1510、存储器1520、输入单元1530、 显不单兀1540、传感器1550、音频电路1560、无线保真(wireless fidelity,Wi-Fi)模块 1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解,图13中示出的移动终 端结构并不构成对移动终端的限定,可以包括比图示更多或更少的部件,或者组合某些部 件,或者不同的部件布置。

[0178]下面结合图13对移动终端的各个构成部件进行具体的介绍:

[0179] RF电路1510可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的 下行信息接收后,给处理器158〇处理;另外,将设计上行的数据发送给基站。通常,RF电路 1510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier,LNA)、双工器等。此外,RF电路1510还可以通过无线通信与网络和其他设备通 信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(Global System of Mobile communication,GSM)、通用分组无线服务(General Packet Radio Service,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址 (Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution, LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。

[0180]存储器1520可用于存储软件程序以及模块,处理器1580通过运行存储在存储器 1520的软件程序以及模块,从而执行移动终端的各种功能应用以及数据处理。存储器1520 可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所 需的应用程序(比如声纹播放功能、图像播放功能等)等;存储数据区可存储根据移动终端 的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1520可以包括高速随机存 取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易 失性固态存储器件。

[0181]输入单元1M0可用于接收输入的数字或字符信息,以及产生与移动终端的用户设 置以及功能控制有关的键信号输入。具体地,输入单元1530可包括触控面板1531以及其他 输入设备1532。触控面板1531,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如 用户使用手指、触笔等任何适合的物体或附件在触控面板1531上或在触控面板1531附近的 操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1531可包括触摸检 测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作 带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将 它转换成触点坐标,再送给处理器1580,并能接收处理器1580发来的命令并加以执行。此 夕卜,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1531。除了触 控面板1531,输入单元IMO还可以包括其他输入设备I532。具体地,其他输入设备1532可以 包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等 中的一种或多种。

[0182]显示单元IMO可用于显示由用户输入的信息或提供给用户的信息以及移动终端 的各种菜单。显示单元1M0可包括显示面板1541,可选的,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,0LED)等形式 来配置显示面板1541。进一步的,触控面板1幻1可覆盖显示面板1541,当触控面板1531检测 到在其上或附近的触摸操作后,传送给处理器1580以确定触摸事件的类型,随后处理器 1580根据触摸事件的类型在显示面板1541上提供相应的视觉输出。虽然在图13中,触控面 板1531与显示面板1541是作为两个独立的部件来实现移动终端的输入和输入功能,但是在 某些实施例中,可以将触控面板1M1与显示面板B41集成而实现移动终端的输入和输出功 能。

[0183]移动终端还可包括至少一种传感器1550,比如光传感器、运动传感器以及其他传 感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环 境光线的明暗来调节显示面板1541的亮度,接近传感器可在移动终端移动到耳边时,关闭 显不面板1541和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般 为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应 用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击) 等;至于移动终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感 器,在此不再赘述。

[0184]音频电路156〇、扬声器15W,传声器15G2可提供用户与移动终端之间的音频接口。 音频电路156〇可将接收到的音频数据转换后的电信号,传输到扬声器1561,由扬声器1561 转换为声纹信号输出;另一方面,传声器1562将收集的声纹信号转换为电信号,由音频电路 1560接收后转换为音频数据,再将音频数据输出处理器丨58〇处理后,经RF电路151〇以发送 给比如另一移动终端,或者将音频数据输出至存储器1520以便进一步处理。

[0185] Wi-Fi属于短距离无线传输技术,移动终端通过wi-Fi模块1570可以帮助用户收发 电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图13 示出了Wi-Fi模块1570,但是可以理解的是,其并不属于移动终端的必须构成,完全可以根 据需要在不改变发明的本质的范围内而省略。

[0186]处理器1580是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各 个部分,通过运行或执行存储在存储器1520内的软件程序和/或模块,以及调用存储在存储 器152〇内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。可 选的,处理器1580可包括一个或多个处理单元;优选的,处理器1580可集成应用处理器和调 制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处 理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1580 中。

[0187] 移动终端还包括给各个部件供电的电源1590 (比如电池),优选的,电源可以通过 电源管理系统与处理器1580逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功 耗管理等功能。

[0188] 尽管未示出,移动终端还可以包括摄像头、蓝牙模块等,在此不再赘述。

[0189] 需要说明的是,本发明的说明书及其附图中给出了本发明的较佳的实施例,但是, 本发明可以通过许多不同的形式来实现,并不限于本说明书所描述的实施例,这些实施例 不作为对本发明内容的额外限制,提供这些实施例的目的是使对本发明的公开内容的理解 更加透彻全面。并且,上述各技术特征继续相互组合,形成未在上面列举的各种实施例,均 视为本发明说明书记载的范围;进一步地,对本领域普通技术人员来说,可以根据上述说明 加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1. 一种用户肢体动作的解析方法,其特征在于,包括下述步骤: 获取用户的肢体图像; 识别所述肢体图像表征的肢体语言; 1 匹配与所述肢体语言具有相同含义的可视化信息或音频信息。 一
2. 根据权利要求1所述的用户肢体动作的解析方法,其特征在于,所述用户肢体动作的 解析方法还包括下述步骤: 获取用户的人脸图像; 识别所述人脸图像表征的人体脸部动作信息; 匹配与所述人体脸部动作信息具有相同动作含义的表情图片。
3. 根据权利要求2所述的用户肢体动作的解析方法,其特征在于,所述获取用户的人脸 图像的步骤之前,还包括下述步骤: 调用预存储的至少一个所述表情图片; — 将所述表情图片按预设脚本放置在显示容器内,以使所述表情图片可视化显示。、
4. 根据权利要求3所述的用户肢体动作的解析方法,其特征在于,所述匹配与所述人体 脸部动作具有相同动作含义的表情图片的步骤,具体包括下述步骤:一 将所述人体脸部动作信息与所述显示容器范围内的表情图片进行比对; 当显示容器内的表情图片所表征的动作含义与所述人体脸部动作信息相同时,确认所 述显示容器内存在与所述人体脸部动作具有相同动作含义的表情图片。
5. 根据权利要求3所述的用户肢体动作的解析方法,其特征在于,所述匹配与所述人体 脸部动作具有相同动作含义的表情图片的步骤之后,还包括下述步骤: 获取所述人体脸部动作信息与所述表情图片的匹配度信息; 根据预设的匹配规则计算所述匹配度信息对应的奖励分值。
6. 根据权利要求5所述的用户肢体动作的解析方法,其特征在于,所述根据预设的匹配 规则计算所述匹配度信息对应的奖励分值的步骤之后,还包括下述步骤: 记录预设第一时间阈值内所有的奖励分值; 将所述奖励分值累加形成用户在所述第一时间阈值内的最终得分。
7. 根据权利要求2所述的用户肢体动作的解析方法,其特征在于,所述用户肢体动作的 解析方法还包括下述步骤: 在预设的单位时间内从表情包中随机抽取预设数量的表征人类情绪的表情图片,并将 所述表情图片放置在显示容器内; 在所述单位时间内定时或实时采集用户的人脸图像,并识别所述人脸图像所表征的情 绪信息及所述人脸图像与所述情绪信息的匹配度; 匹配与所述人脸图像具有相同情绪含义的表情图片,并根据所述匹配度确认所述人脸 图像的奖励分值。
8.根据权利要求7所述的用户肢体动作的解析方法,其特征在于,所述在所述单位时间 内定时或实时采集用户的人脸图像,并识别所述人脸图像所表征的情绪信息的步骤,具体 包括下述步骤: 采集用户的人脸图像; 将所述人脸图像输入到预设的情绪识别模型中,并获取所述人脸图像的分类结果及分 类数据; 根据所述分类结果确定所述人脸图像的情绪信息,并根据所述分类数据确定所述人脸 图像与所述情绪信息的匹配度。
9. 一种用户肢体动作的解析系统,其特征在于,包括: 获取模块,用于获取用户的肢体图像; 处理模块,用于识别所述肢体图像表征的肢体语言; 执行模块,用于匹配与所述肢体语言具有相同含义的可视化信息或音频信息。
10. —种移动终端,其特征在于,包括: 一个或多个处理器; 存储器; 一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置 为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行权利要求1-8任意一 项所述的用户肢体动作的解析方法。
CN201711464338.2A 2017-12-28 2017-12-28 用户肢体动作的解析方法、系统及移动终端 CN108062533A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711464338.2A CN108062533A (zh) 2017-12-28 2017-12-28 用户肢体动作的解析方法、系统及移动终端

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711464338.2A CN108062533A (zh) 2017-12-28 2017-12-28 用户肢体动作的解析方法、系统及移动终端
PCT/CN2018/116700 WO2019128558A1 (zh) 2017-12-28 2018-11-21 用户肢体动作的解析方法、系统及移动终端

Publications (1)

Publication Number Publication Date
CN108062533A true CN108062533A (zh) 2018-05-22

Family

ID=62140685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711464338.2A CN108062533A (zh) 2017-12-28 2017-12-28 用户肢体动作的解析方法、系统及移动终端

Country Status (2)

Country Link
CN (1) CN108062533A (zh)
WO (1) WO2019128558A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128558A1 (zh) * 2017-12-28 2019-07-04 北京达佳互联信息技术有限公司 用户肢体动作的解析方法、系统及移动终端

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101314081A (zh) * 2008-07-11 2008-12-03 深圳华为通信技术有限公司 一种演讲背景匹配方法和装置
CN101442861A (zh) * 2008-12-19 2009-05-27 上海广茂达灯光景观工程有限公司 Led灯光场景控制系统及其控制方法
CN103842941A (zh) * 2011-09-09 2014-06-04 泰利斯航空电子学公司 响应于所感测出的乘客比划动作而执行交通工具娱乐系统的控制
CN104333730A (zh) * 2014-11-26 2015-02-04 北京奇艺世纪科技有限公司 一种视频通信方法及装置
CN104345873A (zh) * 2013-08-06 2015-02-11 北大方正集团有限公司 用于网络视频会议系统的文件操作方法和装置
CN104349214A (zh) * 2013-08-02 2015-02-11 北京千橡网景科技发展有限公司 视频播放方法和设备
CN104464390A (zh) * 2013-09-15 2015-03-25 南京大五教育科技有限公司 一种体感教育系统
CN104598012A (zh) * 2013-10-30 2015-05-06 中国艺术科技研究所 一种互动型广告设备及其工作方法
CN105976843A (zh) * 2016-05-18 2016-09-28 乐视控股(北京)有限公司 车内音乐控制方法、装置及汽车
CN106257489A (zh) * 2016-07-12 2016-12-28 乐视控股(北京)有限公司 表情识别方法及系统
CN106502424A (zh) * 2016-11-29 2017-03-15 上海小持智能科技有限公司 基于语音手势及肢体动作互动的增强现实系统
CN106997457A (zh) * 2017-03-09 2017-08-01 广东欧珀移动通信有限公司 人物肢体识别方法、人物肢体识别装置及电子装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062533A (zh) * 2017-12-28 2018-05-22 北京达佳互联信息技术有限公司 用户肢体动作的解析方法、系统及移动终端

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101314081A (zh) * 2008-07-11 2008-12-03 深圳华为通信技术有限公司 一种演讲背景匹配方法和装置
CN101442861A (zh) * 2008-12-19 2009-05-27 上海广茂达灯光景观工程有限公司 Led灯光场景控制系统及其控制方法
CN103842941A (zh) * 2011-09-09 2014-06-04 泰利斯航空电子学公司 响应于所感测出的乘客比划动作而执行交通工具娱乐系统的控制
CN104349214A (zh) * 2013-08-02 2015-02-11 北京千橡网景科技发展有限公司 视频播放方法和设备
CN104345873A (zh) * 2013-08-06 2015-02-11 北大方正集团有限公司 用于网络视频会议系统的文件操作方法和装置
CN104464390A (zh) * 2013-09-15 2015-03-25 南京大五教育科技有限公司 一种体感教育系统
CN104598012A (zh) * 2013-10-30 2015-05-06 中国艺术科技研究所 一种互动型广告设备及其工作方法
CN104333730A (zh) * 2014-11-26 2015-02-04 北京奇艺世纪科技有限公司 一种视频通信方法及装置
CN105976843A (zh) * 2016-05-18 2016-09-28 乐视控股(北京)有限公司 车内音乐控制方法、装置及汽车
CN106257489A (zh) * 2016-07-12 2016-12-28 乐视控股(北京)有限公司 表情识别方法及系统
CN106502424A (zh) * 2016-11-29 2017-03-15 上海小持智能科技有限公司 基于语音手势及肢体动作互动的增强现实系统
CN106997457A (zh) * 2017-03-09 2017-08-01 广东欧珀移动通信有限公司 人物肢体识别方法、人物肢体识别装置及电子装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128558A1 (zh) * 2017-12-28 2019-07-04 北京达佳互联信息技术有限公司 用户肢体动作的解析方法、系统及移动终端

Also Published As

Publication number Publication date
WO2019128558A1 (zh) 2019-07-04

Similar Documents

Publication Publication Date Title
CN103309673B (zh) 一种基于手势的会话处理方法、装置
CN105187930B (zh) 基于视频直播的互动方法及装置
CN105549740B (zh) 一种播放音频数据的方法和装置
CN103501485B (zh) 推送应用的方法、装置和终端设备
CN106951170A (zh) 一种移动终端的分屏处理方法和装置、移动终端
CN103744592B (zh) 一种信息处理的方法及终端
CN105701154B (zh) 广告清除方法和装置
CN105824641B (zh) 图形码显示方法及装置
CN105308634B (zh) 用于从相应应用程序分享内容的设备、方法和图形用户界面
CN103914502B (zh) 使用情形识别的智能搜索服务的方法及其终端
CN103686246B (zh) 传输流视频选时播放方法、装置、设备及系统
CN105828145A (zh) 互动方法及装置
CN104301824B (zh) 线控设备、控制器、方法及装置
CN105363201B (zh) 提示信息的显示方法及装置
CN103530624B (zh) 一种生成信息的方法、装置及终端设备
CN107155066A (zh) 一种拍摄方法、设备及计算机存储介质
CN105094513B (zh) 用户头像设置方法、装置及电子设备
CN106531149B (zh) 信息处理方法及装置
CN104036536B (zh) 一种定格动画的生成方法和装置
CN104408051B (zh) 歌曲推荐方法及装置
CN104751152B (zh) 一种翻译方法及装置
CN106331826A (zh) 一种设置直播模板和视频模式的方法、装置和系统
CN106126171B (zh) 一种音效处理方法及移动终端
CN105208057B (zh) 网络账户的关联方法及装置
CN104820546B (zh) 功能信息展示方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination