CN110840652A - 可穿戴设备、信息处理方法和装置 - Google Patents

可穿戴设备、信息处理方法和装置 Download PDF

Info

Publication number
CN110840652A
CN110840652A CN201911092258.8A CN201911092258A CN110840652A CN 110840652 A CN110840652 A CN 110840652A CN 201911092258 A CN201911092258 A CN 201911092258A CN 110840652 A CN110840652 A CN 110840652A
Authority
CN
China
Prior art keywords
sign language
information
voice
analysis
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911092258.8A
Other languages
English (en)
Inventor
江小夏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Haiyi Tongzhan Information Technology Co Ltd
Original Assignee
Beijing Haiyi Tongzhan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Haiyi Tongzhan Information Technology Co Ltd filed Critical Beijing Haiyi Tongzhan Information Technology Co Ltd
Priority to CN201911092258.8A priority Critical patent/CN110840652A/zh
Publication of CN110840652A publication Critical patent/CN110840652A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F11/00Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
    • A61F11/04Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Abstract

本公开的实施例公开了可穿戴设备、信息处理方法和装置。该可穿戴设备的一具体实施方式包括:图像识别单元,用于对手语图像进行识别,生成手语信息;服务单元,用于基于手语算法,对手语信息进行内容解析,生成手语解析后的点震信息;振动单元,将手语解析后的点震信息转化为点震动。该实施方式实现了沟通双方即使因国别不同而采用不同的手语语言种类仍能进行较好地沟通,扩大了手语的适用范围。

Description

可穿戴设备、信息处理方法和装置
技术领域
本公开的实施例涉及计算机技术领域,具体涉及互联网技术领域,尤其涉及可穿戴设备、信息处理方法和装置。
背景技术
聋哑人士通过手语进行沟通已经是一种主流和便捷的沟通方式,但是手语需要单独学习并非所有人都可以熟练掌握。目前市面上各类设备都在尝试帮助残障人士进行正常沟通,但由于各个国家的手语语言不同使设备的应用范围受到了限制。
目前手语技术重点在实现手语识别和合成技术,几乎没有考虑如何为残障人士提供更加便利和智能的沟通方式。
发明内容
本公开的实施例提出了可穿戴设备和用于可穿戴设备的信息处理方法。
第一方面,本公开的实施例提供了一种可穿戴设备,该设备包括:图像识别单元,用于对手语图像进行识别,生成手语信息;服务单元,用于基于手语算法,对手语信息进行内容解析,生成手语解析后的点震信息;振动单元,将手语解析后的点震信息转化为点震动。
在一些实施例中,图像识别单元通过如下方式得到手语图像:捕捉处于预设范围内的人的手臂动作和手指动作,基于手臂动作和手指动作转换得到的手臂骨骼点和手指骨骼点连线,生成手语图像。
在一些实施例中,服务单元基于预设的手语语言种类选取与手语信息相匹配的手语算法。
在一些实施例中,服务单元进一步用于:基于预设的母语类型选取与手语信息相匹配的手语算法;基于该手语算法,对手语信息进行内容解析,生成手语解析后的与母语类型相对应的语音信息。
在一些实施例中,该设备还包括:骨传感单元,将手语解析后的语音信息进行传导。
在一些实施例中,该设备还包括:语音单元,对采集的语音进行识别,生成语音文字;服务单元进一步用于:基于预设的手语语言种类选取与语音文字相匹配的语音算法;基于该语音算法,对语音文字进行内容解析,生成语音解析后的与手语语言种类相对应的点震信息;振动单元将与手语语言种类相对应的点震信息转化为点震动。
在一些实施例中,服务单元进一步用于:基于预设的母语类型选取与语音文字相匹配的语音算法;基于该语音算法,对语音文字进行内容解析,生成语音解析后的与母语类型相对应的语音信息。
在一些实施例中,该设备还包括:骨传感单元,将语音解析后的语音信息进行传导。
在一些实施例中,语音单元基于语音文字内容,设置手语语言种类和母语类型。
在一些实施例中,该设备还包括:触摸板,基于接收到的触摸操作,设置手语语言种类和母语类型。
在一些实施例中,该设备还包括:红外光单元,基于红外光谱技术判定信息发送方是否位于红外光点位置,当确认信息发送方位于红外光点位置时,图像识别单元开始工作。
第二方面,本公开的实施例提供了一种用于可穿戴设备的信息处理方法,该方法包括:对预设范围内的手语图像进行识别,生成手语信息;基于手语算法,对手语信息进行内容解析,生成手语解析后的点震信息;将手语解析后的点震信息转化为点震动。
在一些实施例中,对预设范围内的手语图像进行识别,生成手语信息,包括:捕捉处于预设范围内的人的手臂动作和手指动作,基于手臂动作和手指动作转换得到的手臂骨骼点和手指骨骼点连线,生成手语图像;对该手语图像的变化进行识别,生成手语信息。
在一些实施例中,手语算法是基于预设的手语语言种类选取出的与手语信息相匹配的手语算法。
在一些实施例中,点震信息包括点震动的数量和点震动的长短频率。
在一些实施例中,该方法还包括:基于预设的母语类型选取与手语信息相匹配的手语算法;基于该手语算法,对手语信息进行内容解析,生成手语解析后的与母语类型相对应的语音信息;将手语解析后的语音信息进行传导。
在一些实施例中,该方法还包括:对采集的语音进行识别,生成语音文字;基于预设的手语语言种类选取与语音文字相匹配的语音算法;基于该语音算法,对语音文字进行内容解析,生成语音解析后的与手语语言种类相对应的点震信息;将与手语语言种类相对应的点震信息转化为点震动。
在一些实施例中,该方法还包括:基于预设的母语类型选取与语音文字相匹配的语音算法;基于该语音算法,对语音文字进行内容解析,生成语音解析后的与母语类型相对应的语音信息;将语音解析后的语音信息进行传导。
在一些实施例中,该方法还包括:基于该语音文字的内容,设置手语语言种类和母语类型。
在一些实施例中,该方法还包括:基于接收到的触摸操作,设置手语语言种类和母语类型。
在一些实施例中,在对预设范围内的手语图像进行识别,生成手语信息之前,还包括:基于红外光谱技术判定信息发送方是否位于红外光点位置,当确认信息发送方位于红外光点位置时,捕捉手语图像。
第三方面,本公开的实施例提供了一种用于可穿戴设备的信息处理装置,包括:图像识别模块,用于对预设范围内的手语图像进行识别,生成手语信息;内容解析模块,用于基于手语算法,对手语信息进行内容解析,生成手语解析后的点震信息;信息转化模块,用于将所述手语解析后的点震信息转化为点震动。
第四方面,本公开的实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第二方面中任一实现方式描述的方法。
第五方面,本公开的实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,该计算机程序被处理器执行时实现如第二方面中任一实现方式描述的方法。
本公开的实施例提供的可穿戴设备和用于可穿戴设备的信息处理方法,通过基于手语算法,将不同手语种类的手语信息进行内容解析,并将点震信息转化为点震动,使信息接收者获得能够读懂的点震信息,实现了沟通双方即使因国别不同而采用不同的手语语言种类仍能进行较好地沟通,扩大了手语的适用范围。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:
图1是本公开的一些实施例可以应用于其中的示例性系统架构图;
图2是根据本公开的可穿戴设备的一个实施例的结构示意图;
图3是根据本公开的可穿戴设备的又一个实施例的结构示意图;
图4是根据本公开的可穿戴设备的再一个实施例的结构示意图;
图5是根据本公开的用于可穿戴设备的信息处理方法的一个实施例的流程图;
图6是根据本公开的用于可穿戴设备的信息处理方法的又一个实施例的流程图;
图7是根据本公开的用于可穿戴设备的信息处理方法的再一个实施例的流程图;
图8是根据本公开的用于可穿戴设备的信息处理装置的一个实施例的结构示意图;
图9是根据本公开的实施例的可穿戴设备的一个应用场景的结构示意图;
图10是适于用来实现本公开的实施例的可穿戴设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的实施例的可穿戴设备或信息处理方法的示例性系统架构100。
如图1所示,系统架构100可以包括可穿戴设备101,网络102和服务器103。网络102用以在可穿戴设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
可穿戴设备101可以是可穿戴在用户身上的电子设备,包括但不限于可穿戴外骨骼设备等。当可穿戴设备101穿戴在用户身上时,可以捕捉处于预设范围内的人身体的各种动作(例如人的手臂动作、手指动作等),从而可以获取对方沟通者的动作图像(例如手语图像等)。
用户可以使用可穿戴设备101通过网络102与服务器103交互,以接收或发送消息等。
服务器103可以是提供各种服务的服务器,例如对可穿戴设备103提供支持的后台服务器。后台服务器可以对接收到的数据进行分析等处理,并将处理结果(例如手语信息)反馈给可穿戴设备。
需要说明的是,本公开的实施例所提供的信息处理方法一般由可穿戴设备101执行。
需要说明的是,服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解,图1中的服务器也可以位于可穿戴设备中,本领域的技术人员可以根据实际应用场景的需要进行设置。
应该理解,图1中的可穿戴设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的可穿戴设备、网络和服务器。在可穿戴设备具有提供各种服务功能的情况下,图1中的系统架构可不包含服务器。
继续参考图2,示出了根据本公开的可穿戴设备的一个实施例的结构,该可穿戴设备200包括:图像识别单元201、服务单元202和振动单元203。
上述图像识别单元201,用于对手语图像进行识别,生成手语信息;上述服务单元202,用于基于手语算法,对手语信息进行内容解析,生成手语解析后的点震信息;上述振动单元203,将手语解析后的点震信息转化为点震动。
在本实施例中,该设备200通过图像识别单元201对信息发送方的手语图像进行识别,生成发送方的手语信息。之后,服务单元202基于不同的手语算法,对发送方的手语信息进行内容解析,生成手语解析后的点震信息。最后,振动单元203将生成的点震信息转化为信息接收者能够读懂的盲文的点震动信息,通过震动的方式将该点震动信息传达给接收者。本实施例通过基于手语算法,将不同手语种类的手语信息进行内容解析,并将点震信息转化为点震动,使信息接收者获得能够读懂的点震信息,实现了沟通双方即使因国别不同而采用不同的手语语言种类仍能进行较好地沟通,扩大了手语的适用范围。
作为示例,图像识别单元可以采用400万像素小型摄像头传感器,清晰捕捉八米范围内的手语图像进而获取手语信息。
在本实施例的一些可选实现方式中,图像识别单元通过如下方式得到手语图像:捕捉处于预设范围内的人的手臂动作和手指动作,基于手臂动作和手指动作转换得到的手臂骨骼点和手指骨骼点连线,生成手语图像。
在本实施例的一些可选实现方式中,服务单元基于预设的手语语言种类选取与手语信息相匹配的手语算法。其中,手语语言种类至少包括:中文、英文、法语、德语、西班牙语和国际手语;通过预设的手语语言种类选取出与手语信息相匹配的手语算法,然后根据预设的手语算法进行手语识别,无需分别对每个手语图像去查找匹配的手语算法,提高了手语识别的准确度,减轻设备服务单元的算法压力。
进一步参考图3,示出了根据本公开的可穿戴设备的又一个实施例的结构,该可穿戴设备300包括:图像识别单元301、服务单元302、振动单元303和骨传感单元304。
在本实施例中,该设备300通过图像识别单元对信息发送方的手语图像进行识别,生成发送方的手语信息。之后,服务单元除基于不同的手语算法,对发送方的手语信息进行内容解析,生成手语解析后的点震信息之外,还基于预设的母语类型选取与手语信息相匹配的手语算法,并基于该手语算法,对手语信息进行内容解析,生成信息接收者能够听懂的语音信息。最后,振动单元将生成的点震信息转化为信息接收者能够读懂的盲文的点震动,通过震动的方式将该点震动信息告知信息的接收者;而骨传感单元通过设备上的骨传感器将手语解析后的语音信息传导给信息的接收者。
在残障人士沟通中,针对信息接收者还具备一定听觉能力的残障人士或者听觉能力正常的人士,可使用本实施例的可穿戴设备将残障人士发送的手语信息转化成语音信息传导给信息的接收者,实现良好的沟通。本实施例通过基于手语算法,对手语信息进行内容解析,生成手语解析后的与母语类型相对应的语音信息,并利用骨传导技术将语音信息传导给使用者的听觉神经,除采用盲文点震动的触觉方式将点震信息传达给信息接收者,又增加一种用户接收信息的方式,扩大了用户接收信息的维度,方便用户快速便捷的沟通。通过利用骨传导技术将语音信息传导给使用者的听觉神经,使用户只有在佩戴时,才能接收到语音信息,解决了沟通中信息送达经常会忽略使用者隐私的问题,保护了沟通双方的秘密,提高了沟通的安全性。
继续参考图4,示出了根据本公开的可穿戴设备的再一个实施例的结构,该可穿戴设备400包括:图形识别单元401、语音单元402、服务单元403和振动单元404。
在本实施例中,该设备400通过图像识别单元对信息发送方的手语图像进行识别,生成发送方的手语信息;而语音单元通过采集信息发送方的语音并对采集的语音进行识别,生成发送方的语音文字。之后,服务单元基于预设的手语语言种类选取与语音单元生成的语音文字相匹配的语音算法,并基于该语音算法,对语音单元生成的语音文字进行内容解析,生成语音解析后的与手语语言种类相对应的点震信息。最后,振动单元将语音解析后的点震信息转化为信息接收者能够读懂的盲文的点震动并通过震动的方式告知信息的接收者。在残障人士沟通交流中,针对信息发送方可以通过语音进行交流时,可使用本实施例的可穿戴设备将信息发送方的语音信息转化为盲文的点震动,通过震动的方式告知信息的接收者,实现良好的沟通。通过基于预设的手语语言种类选取与语音单元生成的语音文字相匹配的语音算法,并基于该语音算法,对语音单元生成的语音文字进行内容解析,生成语音解析后的与手语语言种类相对应的点震信息,增加了一种发送者通过语音进行传输的沟通方式,扩大了用户发送信息的维度,方便用户快速便捷的沟通。
在本实施例的一些可选实现方式中,服务单元基于预设的母语类型选取与语音文字相匹配的语音算法;基于该语音算法,对语音文字进行内容解析,生成语音解析后的与母语类型相对应的语音信息。在非残障人士沟通中,人们也可使用本实施例的可穿戴设备实现语音翻译类沟通。增加了可穿戴设备的使用者人群,扩大了设备应用范围。
在本实施例的一些可选实现方式中,该设备还包括:骨传感单元,骨传感单元通过骨传感器将语音解析后的语音信息传导给信息的接收者。通过利用骨传导技术将语音信息传导给使用者的听觉神经,使用户只有在佩戴时,才能接收到语音信息,解决了沟通中信息送达经常会忽略使用者隐私的问题,保护了沟通双方的秘密,提高了沟通的安全性。
在本实施例的一些可选实现方式中,语音单元进一步用于:基于语音文字内容,设置手语语言种类和母语类型;在正常情况下设备是关闭状态,使用者可通过发送语音文字启动设备。
在本实施例的一些可选实现方式中,该设备还包括:触摸板,用户可以手动滑动触摸板设置手语语言种类和母语类型;正常情况下设备是关闭状态,使用者可通过双击触摸板启动设备。
在本实施例的一些可选实现方式中,该设备还包括:红外光单元,红外光单元利用红外光谱技术判定信息发送方是否位于红外光点位置,当确认信息发送方位于红外光点位置时,表明发送方已处于手语信息识别的最佳位置,通知图像识别单元开始工作。
作为示例,当设备开启后会自动启动红外光单元,红外光照射到地面,穿戴者只需要正视前方,红外光照射的位置就是最佳的交流距离,交流者站在红外光点位置时即可进行手语动作,如果站立的位置红外光被遮挡了则设备会通过点震动和语音信息告知佩戴者,让双方调整位置使交流者位于红外点位置,以便进行手语识别。
在本实施例的一些可选实现方式中,该设备还包括:网络单元和供电单元,其中,网络单元可以实时与服务单元进行通讯,实现各个单元与服务单元之间的信息发送与接收。供电单元给本设备提供电力,例如可以使用2000毫安的锂电池,同时提供DC接口用于给设备充电。
继续参考图5,示出了根据本公开用于可穿戴设备的信息处理方法的一个实施例的流程500。该信息处理方法,包括以下步骤:
步骤501,对预设范围内的手语图像进行识别,生成手语信息。
步骤502,基于手语算法,对手语信息进行内容解析,生成手语解析后的点震信息。
步骤503,将手语解析后的点震信息转化为点震动。
在本实施例的一些可选实现方式中,对预设范围内的手语图像进行识别,生成手语信息,包括:捕捉处于预设范围内的人的手臂动作和手指动作,基于手臂动作和手指动作转换得到的手臂骨骼点和手指骨骼点连线,生成手语图像,对该手语图像的变化进行识别,生成手语信息。
在本实施例的一些可选实现方式中,手语算法是基于预设的手语语言种类选取出的与手语信息相匹配的手语算法。
在本实施例的一些可选实现方式中,点震信息包括:点震动的数量和点震动的长短频率,使点震信息按照点震动的长短频率和点震动的数量进行传输。
进一步参考图6,示出了根据本公开用于可穿戴设备的信息处理方法的又一个实施例的流程600。该信息处理方法,包括以下步骤:
步骤601,对预设范围内的手语图像进行识别,生成手语信息。
步骤602,基于手语算法,对手语信息进行内容解析,生成手语解析后的点震信息。
步骤603,将手语解析后的点震信息转化为点震动。
步骤604,基于预设的母语类型选取与手语信息相匹配的手语算法。
步骤605,基于该手语算法,对手语信息进行内容解析,生成手语解析后的与母语类型相对应的语音信息。
步骤606,在用户佩戴时,将手语解析后的语音信息进行传导。
在残障人士沟通中,针对信息接收者还具备一定听觉能力的残障人士或者听觉能力正常的人士,可使用本实施例的信息处理方法将残障人士发送的手语信息转化成语音信息传导给信息的接收者,实现良好的沟通。
进一步参考图7,示出了根据本公开用于可穿戴设备的信息处理方法的再一个实施例的流程700。该信息处理方法,包括以下步骤:
步骤701,对预设范围内的手语图像进行识别,生成手语信息。
步骤702,基于手语算法,对手语信息进行内容解析,生成手语解析后的点震信息。
步骤703,对采集的语音进行识别,生成语音文字。
步骤704,基于预设的手语语言种类选取与语音文字相匹配的语音算法。
步骤705,基于该语音算法,对语音文字进行内容解析,生成语音解析后的与手语语言种类相对应的点震信息。
步骤706,将手语解析后的点震信息转化为点震动。
步骤707,将语音解析后的点震信息转化为点震动。
在残障人士沟通交流中,针对信息发送方可以通过语音进行交流时,可使用本实施例的信息处理方法将信息发送方的语音信息转化为盲文的点震动,通过震动的方式告知信息的接收者,实现良好的沟通。
在本实施例的一些可选实现方式中,该方法还包括:基于预设的母语类型选取与语音文字相匹配的语音算法;基于该语音算法,对语音文字进行内容解析,生成语音解析后的与母语类型相对应的语音信息;在用户佩戴时,将语音解析后的语音信息传导到接收者耳内。
在本实施例的一些可选实现方式中,该方法还包括:基于该语音文字的内容,设置手语语言种类和母语类型;基于语音文字启动设备。
在本实施例的一些可选实现方式中,该方法还包括:基于接收到的触摸操作,设置手语语言种类和母语类型;基于接收到的触摸操作,启动设备。
在本实施例的一些可选实现方式中,在对预设范围内的手语图像进行识别,生成手语信息之前,还包括:基于红外光谱技术判定信息发送方是否位于红外光点位置,当确认信息发送方位于红外光点位置时,捕捉手语图像。
进一步参考图8,作为对上述图5~图7所示方法的实现,本申请提供了一种用于可穿戴设备的信息处理装置的一个实施例,该装置实施例与图5所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图8所示,本实施例的用于可穿戴设备的信息处理装置800包括:图像识别模块801、内容解析模块802和信息转化模块803。其中,图像识别模块,用于对预设范围内的手语图像进行识别,生成手语信息;内容解析模块,用于基于手语算法,对手语信息进行内容解析,生成手语解析后的点震信息;信息转化模块,用于将所述手语解析后的点震信息转化为点震动。
在本实施例的一些可选实现方式中,图像识别模块,用于捕捉处于预设范围内的人的手臂动作和手指动作,基于手臂动作和手指动作转换得到的手臂骨骼点和手指骨骼点连线,生成手语图像;对该手语图像的变化进行识别,生成手语信息。
在本实施例的一些可选实现方式中,装置还包括:母语选取模块,用于基于预设的母语类型选取与手语信息相匹配的手语算法;手语内容解析模块,用于基于该手语算法,对手语信息进行内容解析,生成手语解析后的与母语类型相对应的语音信息;语音传导模块,用于将手语解析后的语音信息进行传导。
在本实施例的一些可选实现方式中,装置还包括:语音识别模块,用于对采集的语音进行识别,生成语音文字;算法选取模块,用于基于预设的手语语言种类选取与语音文字相匹配的语音算法;语音解析模块,用于基于该语音算法,对语音文字进行内容解析,生成语音解析后的与手语语言种类相对应的点震信息。
在本实施例的一些可选实现方式中,信息转化模块,用于将与手语语言种类相对应的点震信息转化为点震动。
在本实施例的一些可选实现方式中,语音传导模块,用于将语音解析后的语音信息进行传导。
在本实施例的一些可选实现方式中,装置还包括:位置确定模块,用于基于红外光谱技术判定信息发送方是否位于红外光点位置,当确认信息发送方位于红外光点位置时,捕捉手语图像。
进一步参考图9,其示出了根据本公开的实施例的可穿戴设备的一个应用场景的结构示意图,包括:图像识别单元201、服务单元202、振动单元203、骨传感单元304、语音单元402和红外光单元901。其中,每个单元的功能如上述所述,这里不再赘述。
下面参考图10,其示出了适于用来实现本公开的实施例的电子设备(例如图1中的服务器)1000的结构示意图。本公开的实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图10示出的服务器仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图10所示,电子设备1000可以包括处理装置(例如中央处理器、图形处理器等)1001,其可以根据存储在只读存储器(ROM)1002中的程序或者从存储装置1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中,还存储有电子设备1000操作所需的各种程序和数据。处理装置1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
通常,以下装置可以连接至I/O接口1005:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1006;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1007;包括例如磁带、硬盘等的存储装置1008;以及通信装置1009。通信装置1009可以允许电子设备1000与其他设备进行无线或有线通信以交换数据。虽然图10示出了具有各种装置的电子设备1000,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图10中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置1009从网络上被下载和安装,或者从存储装置1008被安装,或者从ROM 1002被安装。在该计算机程序被处理装置1001执行时,执行本公开的实施例的方法中限定的上述功能。
需要说明的是,本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:对预设范围内的手语图像进行识别,生成手语信息;基于手语算法,对手语信息进行内容解析,生成手语解析后的点震信息;将手语解析后的点震信息转化为点震动。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

Claims (24)

1.一种可穿戴设备,包括:
图像识别单元,用于对手语图像进行识别,生成手语信息;
服务单元,用于基于手语算法,对所述手语信息进行内容解析,生成手语解析后的点震信息;
振动单元,将所述手语解析后的点震信息转化为点震动。
2.根据权利要求1所述的可穿戴设备,其中,所述图像识别单元通过如下方式得到所述手语图像:
捕捉处于预设范围内的人的手臂动作和手指动作,基于所述手臂动作和手指动作转换得到的手臂骨骼点和手指骨骼点连线,生成所述手语图像。
3.根据权利要求1所述的可穿戴设备,其中,所述服务单元基于预设的手语语言种类选取与所述手语信息相匹配的手语算法。
4.根据权利要求1所述的可穿戴设备,其中,所述服务单元进一步用于:
基于预设的母语类型选取与所述手语信息相匹配的手语算法;
基于所述手语算法,对所述手语信息进行内容解析,生成手语解析后的与母语类型相对应的语音信息。
5.根据权利要求4所述的可穿戴设备,还包括:
骨传感单元,将手语解析后的所述语音信息进行传导。
6.根据权利要求1所述的可穿戴设备,还包括:
语音单元,用于对采集的语音进行识别,生成语音文字;
所述服务单元进一步用于:
基于预设的手语语言种类选取与所述语音文字相匹配的语音算法;
基于所述语音算法,对语音文字进行内容解析,生成语音解析后的与手语语言种类相对应的点震信息;
所述振动单元将与手语语言种类相对应的所述点震信息转化为点震动。
7.根据权利要求6所述的可穿戴设备,其中,所述服务单元进一步用于:
基于预设的母语类型选取与所述语音文字相匹配的语音算法;
基于所述语音算法,对所述语音文字进行内容解析,生成语音解析后的与母语类型相对应的语音信息。
8.根据权利要求7所述的可穿戴设备,还包括:
骨传感单元,用于将语音解析后的所述语音信息进行传导。
9.根据权利要求6所述的可穿戴设备,所述语音单元基于所述语音文字内容,设置手语语言种类和母语类型。
10.根据权利要求1所述的可穿戴设备,还包括:
触摸板,基于接收到的触摸操作,设置手语语言种类和母语类型。
11.根据权利要求1所述的可穿戴设备,还包括:
红外光单元,基于红外光谱技术判定信息发送方是否位于红外光点位置,当确认信息发送方位于红外光点位置时,所述图像识别单元开始工作。
12.一种用于可穿戴设备的信息处理方法,包括:
对预设范围内的手语图像进行识别,生成手语信息;
基于手语算法,对所述手语信息进行内容解析,生成手语解析后的点震信息;
将所述手语解析后的点震信息转化为点震动。
13.根据权利要求12所述的信息处理方法,所述对预设范围内的手语图像进行识别,生成手语信息,包括:
捕捉处于预设范围内的人的手臂动作和手指动作;
基于所述手臂动作和手指动作转换得到的手臂骨骼点和手指骨骼点连线,生成所述手语图像;
对所述手语图像的变化进行识别,生成所述手语信息。
14.根据权利要求12所述的信息处理方法,所述手语算法是基于预设的手语语言种类选取出的与所述手语信息相匹配的手语算法。
15.根据权利要求12所述的信息处理方法,所述点震信息包括点震动的数量和点震动的长短频率。
16.根据权利要求12所述的信息处理方法,还包括:
基于预设的母语类型选取与所述手语信息相匹配的手语算法;
基于所述手语算法,对所述手语信息进行内容解析,生成手语解析后的与母语类型相对应的语音信息;
将手语解析后的所述语音信息进行传导。
17.根据权利要求12所述的信息处理方法,还包括:
对采集的语音进行识别,生成语音文字;
基于预设的手语语言种类选取与所述语音文字相匹配的语音算法;
基于所述语音算法,对语音文字进行内容解析,生成语音解析后的与手语语言种类相对应的点震信息;
将与手语语言种类相对应的所述点震信息转化为点震动。
18.根据权利要求17所述的信息处理方法,还包括:
基于预设的母语类型选取与所述语音文字相匹配的语音算法;
基于所述语音算法,对所述语音文字进行内容解析,生成语音解析后的与母语类型相对应的语音信息;
将语音解析后的所述语音信息进行传导。
19.根据权利要求17所述的信息处理方法,还包括:
基于所述语音文字的内容,设置手语语言种类和母语类型。
20.根据权利要求12所述的信息处理方法,还包括:
基于接收到的触摸操作,设置手语语言种类和母语类型。
21.根据权利要求12所述的信息处理方法,在所述对预设范围内的手语图像进行识别,生成手语信息之前,还包括:
基于红外光谱技术判定信息发送方是否位于红外光点位置,当确认信息发送方位于红外光点位置时,捕捉所述手语图像。
22.一种用于可穿戴设备的信息处理装置,包括:
图像识别模块,用于对预设范围内的手语图像进行识别,生成手语信息;
内容解析模块,用于基于手语算法,对所述手语信息进行内容解析,生成手语解析后的点震信息;
信息转化模块,用于将所述手语解析后的点震信息转化为点震动。
23.一种设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求12-21中任一所述的方法。
24.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求12-21中任一所述的方法。
CN201911092258.8A 2019-11-11 2019-11-11 可穿戴设备、信息处理方法和装置 Pending CN110840652A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911092258.8A CN110840652A (zh) 2019-11-11 2019-11-11 可穿戴设备、信息处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911092258.8A CN110840652A (zh) 2019-11-11 2019-11-11 可穿戴设备、信息处理方法和装置

Publications (1)

Publication Number Publication Date
CN110840652A true CN110840652A (zh) 2020-02-28

Family

ID=69601225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911092258.8A Pending CN110840652A (zh) 2019-11-11 2019-11-11 可穿戴设备、信息处理方法和装置

Country Status (1)

Country Link
CN (1) CN110840652A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111562815A (zh) * 2020-05-04 2020-08-21 北京花兰德科技咨询服务有限公司 无线头戴装置及语言翻译系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5203704A (en) * 1990-12-21 1993-04-20 Mccloud Seth R Method of communication using pointing vector gestures and mnemonic devices to assist in learning point vector gestures
CN101089918A (zh) * 2006-06-13 2007-12-19 上海市莘格高级中学 手语翻译器
CN201035501Y (zh) * 2006-10-10 2008-03-12 刘向东 智能同步手语翻译系统
DE102006017509B4 (de) * 2006-04-13 2008-08-14 Maxie Pantel Vorrichtung zur Übersetzung von Gebärdensprache
US20100215271A1 (en) * 2009-02-25 2010-08-26 Honda Motor Co., Ltd. Body feature detection and human pose estimation using inner distance shape contexts
CN102104670A (zh) * 2009-12-17 2011-06-22 深圳富泰宏精密工业有限公司 手语识别系统及方法
CN102236986A (zh) * 2010-05-06 2011-11-09 鸿富锦精密工业(深圳)有限公司 手语翻译系统、手语翻译装置及手语翻译方法
CN202601031U (zh) * 2012-06-28 2012-12-12 惠州东风易进工业有限公司 一种便于聋盲人士与普通人的沟通翻译设备
CN102956132A (zh) * 2011-08-25 2013-03-06 鸿富锦精密工业(深圳)有限公司 手语翻译系统、手语翻译装置及手语翻译方法
CN204242466U (zh) * 2014-12-08 2015-04-01 安徽工程大学 手语互译装置
CN105100482A (zh) * 2015-07-30 2015-11-25 努比亚技术有限公司 一种实现手语识别的移动终端、系统及其通话实现方法
CN105913015A (zh) * 2016-04-07 2016-08-31 安徽大学 一种手语识别转换系统
CN106200988A (zh) * 2016-08-30 2016-12-07 上海交通大学 一种可穿戴式手语识别装置及手语翻译方法
CN107358955A (zh) * 2017-06-27 2017-11-17 浙江大学 一种集光、振动刺激于一体的语音信号输出装置及方法
CN108268835A (zh) * 2017-12-28 2018-07-10 努比亚技术有限公司 手语翻译方法、移动终端及计算机可读存储介质
CN109857262A (zh) * 2019-03-16 2019-06-07 上海萃钛智能科技有限公司 一种智能交流装置及智能交流装置系统及交流方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5203704A (en) * 1990-12-21 1993-04-20 Mccloud Seth R Method of communication using pointing vector gestures and mnemonic devices to assist in learning point vector gestures
DE102006017509B4 (de) * 2006-04-13 2008-08-14 Maxie Pantel Vorrichtung zur Übersetzung von Gebärdensprache
CN101089918A (zh) * 2006-06-13 2007-12-19 上海市莘格高级中学 手语翻译器
CN201035501Y (zh) * 2006-10-10 2008-03-12 刘向东 智能同步手语翻译系统
US20100215271A1 (en) * 2009-02-25 2010-08-26 Honda Motor Co., Ltd. Body feature detection and human pose estimation using inner distance shape contexts
CN102104670A (zh) * 2009-12-17 2011-06-22 深圳富泰宏精密工业有限公司 手语识别系统及方法
CN102236986A (zh) * 2010-05-06 2011-11-09 鸿富锦精密工业(深圳)有限公司 手语翻译系统、手语翻译装置及手语翻译方法
CN102956132A (zh) * 2011-08-25 2013-03-06 鸿富锦精密工业(深圳)有限公司 手语翻译系统、手语翻译装置及手语翻译方法
CN202601031U (zh) * 2012-06-28 2012-12-12 惠州东风易进工业有限公司 一种便于聋盲人士与普通人的沟通翻译设备
CN204242466U (zh) * 2014-12-08 2015-04-01 安徽工程大学 手语互译装置
CN105100482A (zh) * 2015-07-30 2015-11-25 努比亚技术有限公司 一种实现手语识别的移动终端、系统及其通话实现方法
CN105913015A (zh) * 2016-04-07 2016-08-31 安徽大学 一种手语识别转换系统
CN106200988A (zh) * 2016-08-30 2016-12-07 上海交通大学 一种可穿戴式手语识别装置及手语翻译方法
CN107358955A (zh) * 2017-06-27 2017-11-17 浙江大学 一种集光、振动刺激于一体的语音信号输出装置及方法
CN108268835A (zh) * 2017-12-28 2018-07-10 努比亚技术有限公司 手语翻译方法、移动终端及计算机可读存储介质
CN109857262A (zh) * 2019-03-16 2019-06-07 上海萃钛智能科技有限公司 一种智能交流装置及智能交流装置系统及交流方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111562815A (zh) * 2020-05-04 2020-08-21 北京花兰德科技咨询服务有限公司 无线头戴装置及语言翻译系统
CN111562815B (zh) * 2020-05-04 2021-07-13 北京花兰德科技咨询服务有限公司 无线头戴装置及语言翻译系统

Similar Documents

Publication Publication Date Title
CN110162670B (zh) 用于生成表情包的方法和装置
CN104243279B (zh) 信息处理方法、信息处理设备和穿戴式电子设备
KR20180096183A (ko) 다국어 처리를 수행하는 인공 지능 시스템의 제어 방법
CN109993150B (zh) 用于识别年龄的方法和装置
WO2018107489A1 (zh) 一种聋哑人辅助方法、装置以及电子设备
CN111582090A (zh) 人脸识别方法、装置及电子设备
WO2021088790A1 (zh) 用于目标设备的显示样式调整方法和装置
CN110840652A (zh) 可穿戴设备、信息处理方法和装置
CN107561695A (zh) 一种智能眼镜及其控制方法
KR102299571B1 (ko) 장애인을 위한 동시통역 서비스 제공 시스템 및 그 방법
CN111554314A (zh) 噪声检测方法、装置、终端及存储介质
CN111046223A (zh) 一种视觉障碍者语音辅助方法、终端、服务器及系统
CN106031135A (zh) 可穿戴设备和通信控制方法
CN111353470B (zh) 图像的处理方法、装置、可读介质和电子设备
CN114661942A (zh) 流调数据的处理方法、装置、电子设备及计算机可读介质
CN114844985A (zh) 数据质检方法、装置、设备及存储介质
CN111524518B (zh) 增强现实处理方法及装置、存储介质和电子设备
CN113220912A (zh) 一种交互辅助方法、装置及计算机可读存储介质
CN111985252A (zh) 对话翻译方法及装置、存储介质和电子设备
CN112000561A (zh) 画像生成方法、画像生成装置、介质与电子设备
CN115066908A (zh) 用户终端及其控制方法
JP2016206433A (ja) 情報処理装置、情報処理方法及びプログラム
CN111104827A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN113538048B (zh) 需求信息获得方法、装置、终端设备以及存储介质
CN112311652A (zh) 消息发送方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200228