CN110737332A - 一种手势沟通方法和服务器 - Google Patents

一种手势沟通方法和服务器 Download PDF

Info

Publication number
CN110737332A
CN110737332A CN201910906260.8A CN201910906260A CN110737332A CN 110737332 A CN110737332 A CN 110737332A CN 201910906260 A CN201910906260 A CN 201910906260A CN 110737332 A CN110737332 A CN 110737332A
Authority
CN
China
Prior art keywords
information
gesture
user
specific type
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910906260.8A
Other languages
English (en)
Inventor
张昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Liandi Information Accessibility Co Ltd
Original Assignee
Shenzhen Liandi Information Accessibility Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Liandi Information Accessibility Co Ltd filed Critical Shenzhen Liandi Information Accessibility Co Ltd
Priority to CN201910906260.8A priority Critical patent/CN110737332A/zh
Publication of CN110737332A publication Critical patent/CN110737332A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及互联网技术领域，特别涉及一种手势沟通方法和服务器，包括获取用户信息及用户的手势信息；根据手势信息及用户信息，确定手势信息是否为预设特定类型手势信息；当手势信息属于特定类型手势信息时，将手势信息与预设的特定类型手势识别数据库进行匹配；若匹配成功，则根据预设的手势识别规则将手势信息识别为对应的文字和/或语音信息，不但能够提高手势沟通的准确性，而且能够提高特定类型手势的匹配效率。

Description

一种手势沟通方法和服务器
技术领域
本发明涉及互联网技术领域，特别涉及一种手势沟通方法和服务器。
背景技术
随着科学技术的进步，互联网技术以及电子技术的得以快速发展。聋哑人与正常人的沟通通常需要借助手语，但是，现实生活中懂手语的人很少，聋哑人在与正常人用手语沟通时，正常人往往很难看懂并理解聋哑人手语所要表达的意思。
传统的对于聋哑人与正常人之间的沟通时通过手势追踪功能来解决聋哑人的手语沟通问题，但是手势追踪技术仅限于简单的手势，对于复杂或特殊的手势其并不能很准确的获取聋哑人想要表达的意思。
同时，对于手势的理解也运用在其它行业和领域，如交通指挥、军事作战、工地指挥等，各个领域的手势区别较大，普通人在没有深入学习的情况下很难完全理解。并且，基于未来的人机交互，手势也将成为一种必然的沟通方式。
发明内容
基于此，有必要针对上述技术问题，提供一种手势沟通方法和服务器，不但能够提高手势沟通的准确性，而且能够提高特定类型手势的匹配效率。
第一方面，本发明实施例提供了一种手势沟通方法，所述方法应用于服务器，所述方法包括：
获取用户信息及用户的手势信息；
根据所述手势信息及所述用户信息，确定所述手势信息是否为预设特定类型手势信息；
当所述手势信息属于特定类型手势信息时，将所述手势信息与预设的特定类型手势识别数据库进行匹配，如果匹配成功，则根据预设的手势识别规则将所述手势信息识别为对应的文字和/或语音信息。
在一些实施例中，所述用户信息包括用户的账号信息、地域信息和/或群组信息，所述账号信息、地域信息和/或群组信息分别对应不同的特定类型手势识别数据库。
在一些实施例中，所述根据所述手势信息及所述用户信息，确定所述手势信息是否为预设特定类型手势信息，包括：
根据手势信息识别所述手势信息是否为标准手势，如果不是标准手势，则根据所述用户信息确定是否存在对应的特定类型手势识别数据库，如果存在，则确定所述手势信息是否为预设特定类型手势信息。
在一些实施例中，所述方法还包括：
预先录制用户的特定类型手势识别数据库，并分别与用户的账号信息、地域信息和/或群组信息进行对应，
所述当所述手势信息属于特定类型手势信息时，将所述手势信息与预设的特定类型手势识别数据库进行匹配，包括：
将所述手势信息分别与所述、用户的账号信息、地域信息和/或群组信息分别对应的特定类型手势识别数据库进行匹配。
在一些实施例中，所述将所述手势信息分别与所述用户的账号信息、地域信息和/或群组信息分别对应的特定类型手势识别数据库进行匹配，包括：
将手势信息拆分为连续的手势动作，并根据相邻手势动作的时间间隙进行分组，形成分组手势动作，将所述分组手势动作与特定类型手势识别数据库中的手势动作进行匹配。
在一些实施例中，所述根据预设的手势识别规则将所述手势信息识别为对应的文字和/或语音信息，包括：
通过语义识别和文字重组将所述手势信息转换为对应的文字和/或语音信息。
在一些实施例中，所述方法还包括：
将所述文字和/或语音信息呈现给交流对象。
在一些实施例中，所述方法还包括：
获取所述交流对象的语音信息；
将所述交流对象的语音信息转换成文字信息呈现给所述用户。
第二方面，本发明实施例还提供了一种手势沟通装置，包括：
获取模块，用于获取用户信息及用户的手势信息；
确定模块，用于根据所述手势信息及所述用户信息，确定所述手势信息是否为预设特定类型手势信息；
匹配模块，用于当所述手势信息属于特定类型手势信息时，将所述手势信息与预设的特定类型手势识别数据库进行匹配；
识别模块，用于当所述手势信息与预设的特定类型手势识别数据库匹配成功，则根据预设的手势识别规则将所述手势信息识别为对应的文字和/或语音信息。
第三方面，本发明实施例还提供了一种服务器，包括：
至少一个处理器；以及
与所述至少一个处理通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令程序，所述指令程序被所述至少一个处理器执行，直至所述至少一个处理器用于执行上述手势沟通方法。
第四方面，本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被服务器执行时，使所述服务器执行如上所述的手势沟通方法。
第五方面，本发明实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被处理器执行时，使所述处理器执行上述手势沟通方法。
与现有技术相比，本发明的有益效果是：区别于现有技术的情况，本发明实施例中的手势沟通方法，服务器获取用户信息和用户的手势信息，根据所述手势信息及用户信息，确定所述手势信息是否为预设特定类型手势信息，当所述手势信息属于特定类型手势信息时，将所述手势信息与预设的特定类型手势识别库进行匹配，若匹配成功，则根据预设的手势识别规则将所述手势识别为对应的文字和/或语音信息，不但能够提高手势沟通的准确性，而且能够提高特定类型手势的匹配效率。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例提供的手势沟通方法应用场景示意图；
图2是本发明手势沟通方法的一个实施例的流程图；
图3是本发明手势沟通方法的一个实施例的具体流程图；
图4是本发明手势沟通装置的一个实施例的结构示意图；
图5是本发明实施例提供的服务器的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。再者，本发明所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。
本发明提供的手势沟通方法适用于图1所示的应用场景，在本实施例中，该应用场景包括终端设备和服务器，图1示例性的示出了服务器10，用户侧的终端设备20、终端设备21，...，终端设备N，交流对象侧的终端设备30，在实际的环境中包括更多的终端设备。所述服务器用于获取用户侧的终端设备采集到的用户信息以及用户手势信息，并根据该手势信息和用户信息确定手势信息是否为数预设特定手势信息，若是，则将所述手势信息与预设的特定类型手势识别数据库进行匹配，若匹配成功，则根据预设的手势识别规则将所述手势信息识别为对应的文字和/或语音信息，并发送给交流对象侧的终端设备，由此可以提供手势沟通的准确性。其中，所述终端设备通过网络连接所述服务器，所述网络用于在所述终端设备和所述服务器之间提供通信链路的介质，网络可以包括各种连接类型，比如有线、无线通信链路或者光纤电缆等，所述用户侧的终端设备和交流对象侧的终端设备通信连接。
其中，所述终端设备可以是例如是智能手机、平板电脑、个人电脑及手提电脑等。服务器可以是一台服务器，例如机架式服务器、刀片式服务器、塔式服务器或者机柜式服务器等，也可以是由若干台服务器组成的服务器集群，或者是一个云计算服务中心。
需要说明的是，本申请实施例提供的方法还可以进一步的拓展到其他合适的应用环境中，而不限于图1所示的应用环境。在实际的应用过程中，该应用环境还可以包括更多或者更少的终端设备和服务器。
如图2所示，本发明实施例提供了一种手势沟通方法，所述方法应用于服务器，包括：
步骤202，获取用户信息及用户的手势信息。
在本发明实施例中，所述用户为先天性或遗传性耳聋用户，亦可以为正常人，所述用户信息用于唯一标识该用户，所述用户的手势信息为用于沟通表达的手势动作，用户的手势信息可以为用户自定义的手势信息。具体地，当所述用户需要和交流对象沟通时，用户手动触发终端设备上的摄像头，通过终端设备上的摄像头，拍摄所述用户和所述用户的手势动作，得到对应的图像，并将其发送给服务器，服务器获取终端设备发送的用户图像和用户的手势动作图像，通过人脸识别技术对所述用户图像进行分析得到所述用户信息，通过图像识别技术对所述用户的手势动作进行识别，得到对应的手势信息。
可以理解的是，在其他一些实施例中，用户可以通过终端设备登录服务器，而用户在登录服务器时需要通过注册时使用的账号和秘密进行登录，服务器通过账号和秘密确定用户是否具有登录资格，当用户具有登录资格时，则允许所述用户登录，服务器可以通过账号确定哪个用户登录，从而确定所述用户信息，同时服务器获取终端设备发发送的用户的手势信息。
步骤204,根据所述手势信息及所述用户信息，确定所述手势信息是否为预设特定类型手势信息。
在本发明实施例中，所述特定类型手势信息是区别于标准手势信息而言的，预设特定类型手势信息可以为具有个性化的特殊手势信息，预设特定类型手势信息是预先录制好的。服务器根据获取到的所述用户信息和所述用户手势信息，判断所述手势信息是否为预设类型手势信息。
步骤206，当所述手势信息属于特定类型手势信息时，将所述手势信息与预设的特定类型手势识别数据库进行匹配。
在本发明实施例中，特定类型手势识别数据库中预先存储有用户信息以及特定类型手势信息，将所述用户信息以及特定类型手势信息与特定类型手势识别数据库进行绑定。当服务器确定所述手势信息属于特定类型手势信息时，则将所述手势信息与预设的特定类型手势识别数据库进行匹配可以知道该手势信息是否存在于数据库中。
步骤208，若匹配成功，则根据预设的手势识别规则将所述手势信息识别为对应的文字和/或语音信息。
在本发明实施例中，所述手势识别规则用于确定所述手势所要表达的含义，当手势信息与预设的特定类型手势识别库匹配成功后，服务器则根据预设的手势识别规则对所述手势信息进行识别，并将所述手势信息转换为对应的文字和/或语音信息。
在本发明实施例中，服务器获取用户信息及用户的手势信息后，根据获取到的所述手势信息和所述用户信息，确定所述手势信息是否为特定类型手势信息，当所述手势信息属于特定类型手势信息时，将所述手势信息与预设的特定类型手势识别数据库进行匹配，若手势信息与预设的特地类型手势识别数据库中的手势信息匹配成功，则根据预设的手势识别规则将所述手势信息识别为对应的文字和/或语音信息，不但能够提高手势沟通的准确性，而且能够提高特定类型手势的匹配效率。
在一些实施例中，所述用户信息包括用户的账号信息、地域信息和/或群组信息，所述账号信息、地域信息和/或群组信息分别对应不同的特定类型手势识别数据库。
用户的账号信息用来标识该用户身份信息的字符串，其可以为一串数字编号，也可以为数字与字母的组合等，不同的用户的账号信息是不同的，例如，所述用户的账号信息可以为第三方应用程序的账号信息，第三方应用程序可以为即时通信应用平台或者其他应用平台，其中，即时通信平台可以包括微信、QQ以及小程序等。地域信息可以为用户所处的国家、地区、城市等，用来标识该用户的归属地。群组信息可以为具有相同特征的用户所组成的组合，用来标识同一类用户，不同的特定类型手势识别数据库分别对应不同的账号信息、地域信息和/或群组信息，可以通过账号信息、地域信息和/或群组信息确定用户所对应的特定类型手势识别数据库。
在一些实施例中，所述根据所述手势信息及所述用户信息，确定所述手势信息是否为预设特定类型手势信息，包括：根据手势信息识别所述手势信息是否为标准手势，如果不是标准手势，则根据所述用户信息确定是否存在对应的特定类型手势识别数据库，如果存在，则确定所述手势信息是否为预设特定类型手势信息。
具体地，服务器通过图像识别技术识别出手势信息是否为标准手势，如果不是标准手势，则根据所述用户信息确定服务器中是否存在对应的特定类型手势识别数据库，如果存在手势信息对应的特定类型手势识别数据库，则确定所述手势信息为预设特定类型手势信息。若不存在手势信息对应的特定类型手势识别数据库，则需要将手势信息添加至特地类型手势识别数据库，便于后续对手势信息进行识别。
可以理解的是，在其他一些实施例中，服务器通过图像识别技术识别出手势信息为标准手势时，则将手势信息与服务器中对应的标准手势识别数据库进行匹配。
在一些实施例中，所述方法还包括：预先录制用户的特定类型手势识别数据库，并分别与用户的账号信息、地域信息和/或群组信息进行对应。
具体地，预先录制用户的特定类型手势识别数据库，将用户的账号信息、地域信息和/或群组信息存储在特定类型手势识别数据库中，不同的用户的账号信息、地域信息和/或群组信息对应不同的特定类型手势识别数据库。
在一些实施例中，所述当所述手势信息属于特定类型手势信息时，将所述手势信息与预设的特定类型手势识别数据库进行匹配，包括：将所述手势信息分别与所述用户的账号信息、地域信息和/或群组信息分别对应的特定类型手势识别数据库进行匹配。
具体地，服务器中预先存储有多个特定类型手势识别数据库，服务器通过在数据库中查找对应的用户的账号信息、地域信息和/或群组信息来确定所述用户属于哪类特定类型手势识别数据库，具体地，将所述用户的账号信息、地域信息和/或群组分别与对应的特定类型手势识别数据库进行匹配。服务器所支撑的最多用户与服务器在单位时间内的吞吐量有关。
在一些实施例中，所述将所述手势信息分别与所述用户的账号信息、地域信息和/或群组信息分别对应的特定类型手势识别数据库进行匹配，包括：将手势信息拆分为连续的手势动作，并根据相邻手势动作的时间间隙进行分组，形成分组手势动作，将所述分组手势动作与特定类型手势识别数据库中的手势动作进行匹配。
具体地，服务器获取到用户的手势信息后，对获取到的用户的手势信息进行分解，将所述用户的手势信息拆分为连续的手势动作，然后根据相邻手势动作的时间间隙进行分组，形成分组手势动作，将分组手势动作与特定手势识别数据库中的手势动作进行匹配，将匹配度最高的手势动作确定为用户所要表达的手势动作，然后将匹配度最高的手势动作对应的含义，定义为手势动作所要表达的含义，根据上述方法，确定分组手势动作中每个手势动作所要表达的含义后，并按照顺序将分组手势动作中的单个手势动作的含义进行组合，并对组合后的语句进行校正。具体地，通过语义识别技术对组合后的语句进行词语解析、信息抽取、时间因果等技术处理，最终得到正确的语句，然后通过文字重组技术将正确的语句进行重新排列组合，便于理解。可以理解的是，还可以通过手势转文字引擎将所述手势转换为对应的文字信息。
在一些实施例中，所述方法还包括：将所述文字和/或语音信息呈现给交流对象。
具体地，在本发明实施例中，交流对象作为与用户沟通的对象，服务器将文字和/或语音信息发送给交流对象的终端设备，并在终端设备上将手势信息以文字和/或语音的形式进行呈现。
在一些实施例中，所述方法还包括：获取所述交流对象的语音信息，将所述交流对象的语音信息转换成文字信息呈现给所述用户。
具体地，终端设备上的麦克风获取交流对象的语音信息，然后通过语义转文字引擎对语音信息的内容进行解析，转换为对应的文字信息，然后交流对象的终端设备将文字信息发送给所述用户的终端设备，并在终端设备上进行呈现所述文字信息，由此可实现用户与交流对象的沟通。
在一个实施例中，提供了一种手势沟通方法，实现该方法的具体步骤如下：
首先，如图3所示，用户通过终端设备上的第三方应用程序登录服务器，服务器获取终端设备侧用户的登录账号信息、登录IP地址等信息，从而确定用户的账号信息以及地域信息等，同时服务器获取用户通过终端设备发送的手势信息，例如用户的OK手势图片。可以理解的是，用户还可以手动触发终端设备上的摄像头，通过终端设备上的摄像头对用户以及用户的手势动作进行拍照，得到对应的用户图像和手势动作图像，然后将拍摄得到的图像发送给服务器，服务器获取终端设备发送的图像后，通过人脸识别技术和图像处理技术对所述图像中用户以及手势动作进行分析处理，得到对应的用户信息和用户手势信息，需要说明的是，一副图像中既可以包括用户图像也可以包括用户的手势动作图像。
接着，服务器根据获取到的用户信息和手势信息判断所述手势信息为标准类型手势信息还是特定类型手势信息，具体地，优先将所述手势信息与标准类型手势数据库进行匹配，若标准类型手势数据库中不存在对应的手势信息，则表示匹配失败，从而根据用户信息即用户的账号信息、地域信息和/或群组信息确定是否存在对应的特定类型手势识别数据库，若存在，则确定手势信息为预设的特定类型手势信息，然后将所述特定类型手势信息进行分解，将所述用户的手势信息拆分为连续的手势动作，然后根据相邻手势动作的时间间隙进行分组，形成分组手势动作，将分组手势动作与特定手势识别数据库中的手势动作进行匹配，将匹配度最高的手势动作确定为用户所要表达的手势动作，然后将匹配度最高的手势动作对应的含义，定义为手势动作所要表达的含义，根据上述方法，确定分组手势动作中每个手势动作所要表达的含义后，并按照顺序将分组手势动作中的单个手势动作的含义进行组合，并对组合后的语句进行校正。
接着，通过语义识别技术对组合后的语句进行词语解析、信息抽取、时间因果等技术处理，得到正确的语句，然后通过文字重组技术将正确的语句进行重新排列组合，最终得到符合阅读习惯的语句，并将最终的语句发送给交流对象的终端设备，并在终端设备上将手势信息以文字和/或语音的形式进行呈现。或者通过手势转文字引擎将手势转换为对应的文字，同时，终端设备上的麦克风获取交流对象的语音信息，然后通过语音转文字引擎对语音信息的内容进行解析，转换为对应的文字信息，接着交流对象的终端设备将文字信息发送给所述用户的终端设备，并在终端设备上进行呈现所述文字信息，从而能够提高手势沟通的准确性，而且能够提高特定类型手势的匹配效率。
同时，若所述手势信息与预设的特定类型手势识别数据库匹配失败，则需要将手势信息添加至特定类型手势识别数据库，一方面丰富数据库的数据，另一方面便于后续对手势信息进行识别。
当所述手势信息属于标准类型手势信息时，则将所述标准类型手势信息与标准类型手势数据库中的手势信息进行匹配，若标准类型手势数据库中存在对应的手势信息，则表示匹配成功，将标准类型手势信息通过手势转换文字引擎将标准类型手势信息转换为对应的手势含义，通过文字或语音呈现给用户。
需要说明的是，在上述各个实施例中，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。
相应的，本发明实施例还提供了一种手势沟通装置400，如图4所示，包括:
获取模块402，用于获取用户信息及用户的手势信息。
确定模块404，用于根据所述手势信息及所述用户信息，确定所述手势信息是否为预设特定类型手势信息；
匹配模块406，用于当所述手势信息属于特定类型手势信息时，将所述手势信息与预设的特定类型手势识别数据库进行匹配
识别模块408，用于当所述手势信息与预设的特定类型手势识别数据库匹配成功，则根据预设的手势识别规则将所述手势信息识别为对应的文字和/或语音信息。
本发明实施例提供的手势沟通装置，通过获取模块获取用户信息及用户的手势信息，然后确定模块根据所述手势信息及用户信息确定所述手势信息是否为预设特定类型手势信息，接着当所述手势信息属于特定类型手势信息时，匹配模块将所述手势信息与预设的特定类型手势识别数据库进行匹配，最后当所述手势信息与预设的特定类型手势识别数据库匹配成功时，识别模块根据预设的手势识别规则将所述手势信息识别为对应的文字和/或语音信息，由此可提高手势沟通的准确性。
可选的，在装置的其他实施例中，所述用户信息包括用户的账号信息、地域信息和/或群组信息，所述账号信息、地域信息和/或群组信息分别对应不同的特定类型手势识别数据库。
可选的，在装置的其他实施例中，所述确定模块404具体用于：
根据手势信息识别所述手势信息是否为标准手势，如果不是标准手势，则根据所述用户信息确定是否存在对应的特定类型手势识别数据库，如果存在，则确定所述手势信息是否为预设特定类型手势信息。
可选的，在装置的其他实施例中，如图4所示，装置400还包括：
录制模块410，用于预先录制用户的特定类型手势识别数据库，并分别与用户的账号信息、地域信息和/或群组信息进行对应。
可选的，在装置的其他实施例中，匹配模块406具体用于：
将所述手势信息分别与所述用户的账号信息、地域信息和/或群组信息分别对应的特定类型手势识别数据库进行匹配。
将手势信息拆分为连续的手势动作，并根据相邻手势动作的时间间隙进行分组，形成分组手势动作，将所述分组手势动作与特定类型手势识别数据库中的手势动作进行匹配。
可选的，在装置的其他实施例中，识别模块408具体用于：
通过语义识别和文字重组将所述手势信息转换为对应的文字和/或语音信息。
可选的，在装置的其他实施例中，如图4所示，装置400还包括：
呈现模块412，用于将所述文字和/或语音信息呈现给交流对象。
可选的，在装置的其他实施例中，所述获取模块402具体用于：
获取所述交流对象的语音信息。
可选的，在装置的其他实施例中，所述呈现模块412具体用于：
将所述交流对象的语音信息转换成文字信息呈现给所述用户。
需要说明的是，上述手势沟通装置可执行本发明实施例所提供的手势沟通方法，具备执行方法相应的功能模块和有益效果。未在手势沟通装置实施例中详尽描述的技术细节，可参见本发明实施例所提供的手势沟通方法。
图5是本发明实施例提供的服务器的硬件结构示意图，如图5所示，该服务器500包括：
一个或多个处理器502以及存储器504，图5中以一个处理器502为例。
处理器502和存储器504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
存储器504作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的手势沟通方法对应的指令/模块(例如，附图4所示的获取模块402、确定模块404、匹配模块406和识别模块408)。处理器502通过运行存储在存储器504中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的手势沟通方法。
存储器504可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据数据处理的装置使用所创建的数据等。此外，存储器504可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器504可选包括相对于处理器502远程设置的存储器，这些远程存储器可以通过网络连接至手势沟通装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器504中，当被所述一个或者多个服务器500执行时，执行上述任意方法实施例中的手势沟通方法，例如，执行以上描述的图2中的方法步骤202至步骤208；实现图4中的模块402至412的功能。
本发明实施例的服务器500以多种形式存在，在执行以上描述的图2所示的各个步骤；也可实现图4所述的各个模块的功能时，上述服务器500包括但不限于：
(1)塔式服务器
一般的塔式服务器机箱和我们常用的PC机箱差不多，而大型的塔式机箱就要粗大很多，总的来说外形尺寸没有固定标准。
(2)机架式服务器
机架式服务器是由于满足企业的密集部署，形成的以19英寸机架作为标准宽度的服务器类型，高度则从1U到数U。将服务器放置到机架上，并不仅仅有利于日常的维护及管理，也可能避免意想不到的故障。首先，放置服务器不占用过多空间。机架服务器整齐地排放在机架中，不会浪费空间。其次，连接线等也能够整齐地收放到机架里。电源线和LAN线等全都能在机柜中布好线，可以减少堆积在地面上的连接线，从而防止脚踢掉电线等事故的发生。规定的尺寸是服务器的宽(48.26cm＝19英寸)与高(4.445cm的倍数)。由于宽为19英寸，所以有时也将满足这一规定的机架称为“19英寸机架”。
(3)刀片式服务器
刀片服务器是一种HAHD(High Availability High Density，高可用高密度)的低成本服务器平台，是专门为特殊应用行业和高密度计算机环境设计的，其中每一块“刀片”实际上就是一块系统母板，类似于一个个独立的服务器。在这种模式下，每一个母板运行自己的系统，服务于指定的不同用户群，相互之间没有关联。不过可以使用系统软件将这些母板集合成一个服务器集群。在集群模式下，所有的母板可以连接起来提供高速的网络环境，可以共享资源，为相同的用户群服务。
(4)云服务器
云服务器(Elastic Compute Service,ECS)是一种简单高效、安全可靠、处理能力可弹性伸缩的计算服务。其管理方式比物理服务器更简单高效，用户无需提前购买硬件，即可迅速创建或释放任意多台云服务器。云服务器的分布式存储用于将大量服务器整合为一台超级计算机，提供大量的数据存储和处理服务。分布式文件系统、分布式数据库允许访问共同存储资源，实现应用数据文件的IO共享。虚拟机可以突破单个物理机的限制，动态的资源调整与分配消除服务器及存储设备的单点故障,实现高可用性。
本发明实施例中的终端设备以多种形式存在，包括但不限于：
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
本发明实施例提供了一种计算机程序产品，包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时时，使所述计算机执行：图2中的方法步骤202至步骤208。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种手势沟通方法，其特征在于，所述方法应用于服务器，所述方法包括：
获取用户信息及用户的手势信息；
根据所述手势信息及所述用户信息，确定所述手势信息是否为预设特定类型手势信息；
当所述手势信息属于特定类型手势信息时，将所述手势信息与预设的特定类型手势识别数据库进行匹配；
若匹配成功，则根据预设的手势识别规则将所述手势信息识别为对应的文字和/或语音信息。
2.根据权利要求1所述的方法，其特征在于，所述用户信息包括用户的账号信息、地域信息和/或群组信息，所述账号信息、地域信息和/或群组信息分别对应不同的特定类型手势识别数据库。
3.根据权利要求2所述的方法，其特征在于，所述根据所述手势信息及所述用户信息，确定所述手势信息是否为预设特定类型手势信息，包括：
根据手势信息识别所述手势信息是否为标准手势，如果不是标准手势，则根据所述用户信息确定是否存在对应的特定类型手势识别数据库，如果存在，则确定所述手势信息是否为预设特定类型手势信息。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
预先录制用户的特定类型手势识别数据库，并分别与用户的账号信息、地域信息和/或群组信息进行对应，
所述当所述手势信息属于特定类型手势信息时，将所述手势信息与预设的特定类型手势识别数据库进行匹配，包括：
将所述手势信息分别与所述用户的账号信息、地域信息和/或群组信息分别对应的特定类型手势识别数据库进行匹配。
5.根据权利要求4所述的方法，其特征在于，所述将所述手势信息分别与所述用户的账号信息、地域信息和/或群组信息分别对应的特定类型手势识别数据库进行匹配，包括：
将手势信息拆分为连续的手势动作，并根据相邻手势动作的时间间隙进行分组，形成分组手势动作，将所述分组手势动作与特定类型手势识别数据库中的手势动作进行匹配。
6.根据权利要求5所述的方法，其特征在于，所述根据预设的手势识别规则将所述手势信息识别为对应的文字和/或语音信息，包括：
通过语义识别和文字重组将所述手势信息转换为对应的文字和/或语音信息。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
将所述文字和/或语音信息呈现给交流对象。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
获取所述交流对象的语音信息；
将所述交流对象的语音信息转换成文字信息呈现给所述用户。
9.一种服务器，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令程序，所述指令程序被所述至少一个处理器执行，直至所述至少一个处理器用于执行如权利要求1至8任一项所述手势沟通方法。
10.一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被处理器执行时，使所述处理器执行权利要求1至8任一项所述手势沟通方法。
CN201910906260.8A 2019-09-24 2019-09-24 一种手势沟通方法和服务器 Pending CN110737332A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910906260.8A CN110737332A (zh) 2019-09-24 2019-09-24 一种手势沟通方法和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910906260.8A CN110737332A (zh) 2019-09-24 2019-09-24 一种手势沟通方法和服务器

Publications (1)

Publication Number Publication Date
CN110737332A true CN110737332A (zh) 2020-01-31

Family

ID=69269485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910906260.8A Pending CN110737332A (zh) 2019-09-24 2019-09-24 一种手势沟通方法和服务器

Country Status (1)

Country Link
CN (1) CN110737332A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873426A (zh) * 2012-12-10 2014-06-18 腾讯科技（深圳）有限公司 一种加入社交群组的方法、服务器、终端以及系统
CN104485037A (zh) * 2015-01-12 2015-04-01 重庆中电大宇卫星应用技术研究所 一种聋哑人用的手势发音说话手套
US9773245B1 (en) * 2011-12-05 2017-09-26 Amazon Technologies, Inc. Acquiring items using gestures on a touchscreen
US20170277684A1 (en) * 2016-03-28 2017-09-28 Avaya Inc. Sign language communication with communication devices
US20180088677A1 (en) * 2016-09-29 2018-03-29 Alibaba Group Holding Limited Performing operations based on gestures
US20180314336A1 (en) * 2017-04-26 2018-11-01 Smartstones, Inc. Gesture Recognition Communication System
CN109920309A (zh) * 2019-01-16 2019-06-21 深圳壹账通智能科技有限公司 手语转换方法、装置、存储介质和终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9773245B1 (en) * 2011-12-05 2017-09-26 Amazon Technologies, Inc. Acquiring items using gestures on a touchscreen
CN103873426A (zh) * 2012-12-10 2014-06-18 腾讯科技（深圳）有限公司 一种加入社交群组的方法、服务器、终端以及系统
CN104485037A (zh) * 2015-01-12 2015-04-01 重庆中电大宇卫星应用技术研究所 一种聋哑人用的手势发音说话手套
US20170277684A1 (en) * 2016-03-28 2017-09-28 Avaya Inc. Sign language communication with communication devices
US20180088677A1 (en) * 2016-09-29 2018-03-29 Alibaba Group Holding Limited Performing operations based on gestures
US20180314336A1 (en) * 2017-04-26 2018-11-01 Smartstones, Inc. Gesture Recognition Communication System
CN109920309A (zh) * 2019-01-16 2019-06-21 深圳壹账通智能科技有限公司 手语转换方法、装置、存储介质和终端

Similar Documents

Publication Publication Date Title
US10777207B2 (en) Method and apparatus for verifying information
CN111741356B (zh) 双录视频的质检方法、装置、设备及可读存储介质
CN109033798B (zh) 一种基于语义的点选验证码识别方法及其装置
US10579837B2 (en) Method, device and electronic apparatus for testing capability of analyzing a two-dimensional code
US20170318013A1 (en) Method and system for voice-based user authentication and content evaluation
CN111640420B (zh) 音频数据的处理方法和装置、存储介质
CN113761514B (zh) 一种云桌面多因子安全认证方法及系统
CN110910874A (zh) 一种互动课堂语音控制方法、终端设备、服务器和系统
CN110738056A (zh) 用于生成信息的方法和装置
CN111079499B (zh) 一种学习环境中的书写内容识别方法及系统
CN111427990A (zh) 一种智慧校园教学辅助的智能考试控制系统及方法
CN110970030A (zh) 一种语音识别转换方法及系统
CN109829431B (zh) 用于生成信息的方法和装置
CN108804917B (zh) 一种文件检测方法、装置、电子设备及存储介质
CN112528799B (zh) 一种教学直播方法、装置、计算机设备和存储介质
CN114356747A (zh) 显示内容的测试方法、装置、设备、存储介质及程序产品
CN114760274B (zh) 在线课堂的语音交互方法、装置、设备及存储介质
CN110737332A (zh) 一种手势沟通方法和服务器
US9898457B1 (en) Identifying non-natural language for content analysis
CN113342932B (zh) 目标词向量的确定方法、装置、存储介质和电子装置
CN111507758B (zh) 一种基于语义分析的调研方法、装置、系统及服务器
CN114745594A (zh) 直播回放视频的生成方法、装置、电子设备及存储介质
CN110378378B (zh) 事件检索方法、装置、计算机设备及存储介质
CN111241378A (zh) 教学信息查询方法及装置
CN112328871A (zh) 一种基于rpa模块的回复生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination