CN108363980B - 基于3d成像技术的手语翻译装置及手语翻译方法 - Google Patents

基于3d成像技术的手语翻译装置及手语翻译方法 Download PDF

Info

Publication number
CN108363980B
CN108363980B CN201810158834.3A CN201810158834A CN108363980B CN 108363980 B CN108363980 B CN 108363980B CN 201810158834 A CN201810158834 A CN 201810158834A CN 108363980 B CN108363980 B CN 108363980B
Authority
CN
China
Prior art keywords
feature points
sign language
module
language translation
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810158834.3A
Other languages
English (en)
Other versions
CN108363980A (zh
Inventor
戴佑俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Angrui Shanghai Information Technology Co Ltd
Original Assignee
Angrui Shanghai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Angrui Shanghai Information Technology Co Ltd filed Critical Angrui Shanghai Information Technology Co Ltd
Priority to CN201810158834.3A priority Critical patent/CN108363980B/zh
Publication of CN108363980A publication Critical patent/CN108363980A/zh
Application granted granted Critical
Publication of CN108363980B publication Critical patent/CN108363980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于3D成像技术的手语翻译装置及手语翻译方法，所述手语翻译装置包括至少一个3D摄像机、一识别模块、一处理模块以及一输出模块，所述3D摄像机用于获取一手部的3D影像；所述识别模块用于识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应；所述处理模块用于识别与特征点组合匹配的手势；所述输出模块用于输出3D影像匹配手势所对应的信息。本发明基于3D成像技术的手语翻译装置及手语翻译方法能够更准确的获取手语的影像，从而建立更加清晰准确的模型，进而能够准确的将手语翻译出来。

Description

基于3D成像技术的手语翻译装置及手语翻译方法
技术领域
本发明涉及一种基于3D成像技术的手语翻译装置及手语翻译方法。
背景技术
通常正常人与聋哑人士沟通时需要学习一套手语，手语的学习需要花费相当大的精力及相当长的时间。另外，大多数手语的表达方式因国籍或地区的不同而不同，故不同国籍或地区的聋哑人士相互进行交流也存在沟通的问题。
现有的手语翻译装置多存在于概念阶段，实现起来复杂且无法准确翻译手语的含义。
发明内容
本发明要解决的技术问题是为了克服现有技术中手语翻译装置实现起来复杂且无法准确翻译手语的含义的缺陷，提供一种能够更准确的获取手语的影像，从而建立更加清晰准确的模型，进而能够准确的将手语翻译出来的手语翻译装置及手语翻译方法。
本发明是通过下述技术方案来解决上述技术问题：
一种基于3D成像技术的手语翻译装置，其特点在于，所述手语翻译装置包括至少一个3D摄像机、一识别模块、一处理模块以及一输出模块，
所述3D摄像机用于获取一手部的3D影像；
所述识别模块用于识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应；
所述处理模块用于识别与特征点组合匹配的手势；
所述输出模块用于输出3D影像匹配手势所对应的信息。
较佳地，所述3D摄像机包括一红外线发射器及一红外线接收器，所述红外线发射器用于发射红外散斑场，所述红外线接收器用于接收红外散斑场的反馈，所述3D摄像机的个数为3个，一个3D摄像机从正面拍摄所述手部，另外两个3D摄像机分别从两侧拍摄所述手部，所述手语翻译装置还包括一拼接模块，
所述拼接模块用于识别3个3D摄像机获取的3D影像上的特征点，并将3个3D影像通过相同特征点重合的方式缝合以生成一3D模型；
所述识别模块用于识别3D模型结构层上的空间特征点，每一3D模型与由自身空间特征点形成的特征点组合相对应。
较佳地，所述结构层上的特征点包括每个指尖的指尖特征点、每个指关节的关节特征点、手心特征点及手背特征点，所述特征点组合记录全部特征点在3D空间中的相对位置关系。
较佳地，所述手语翻译装置还包括一记录模块以及一调整模块，
所述3D摄像机用于按顺序获取若干手部的3D影像；
所述记录模块用于按所述顺序记录每一3D影像匹配手势所对应的信息；
所述调整模块用于根据全部信息的语境重新调节每个信息的顺序；
所述输出模块用于按最新顺序输出全部信息。
较佳地，所述手语翻译装置还包括一训练模块，
所述训练模块用于利用一数据库对一目标手势做模型训练，所述数据库包括若干含义为所述目标手势的3D影像。
本发明还提供一种利用手语翻译装置实现的手语翻译方法，其特点在于，所述手语翻译装置包括至少一个3D摄像机，所述手语翻译方法包括：
所述3D摄像机获取一手部的3D影像；
识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应；
识别与特征点组合匹配的手势；
输出3D影像匹配手势所对应的信息。
较佳地，所述3D摄像机包括一红外线发射器及一红外线接收器，所述红外线发射器用于发射红外散斑场，所述红外线接收器用于接收红外散斑场的反馈，所述3D摄像机的个数为3个，一个3D摄像机从正面拍摄所述手部，另外两个3D摄像机分别从两侧拍摄所述手部，所述手语翻译方法包括：
识别3个3D摄像机获取的3D影像上的特征点，并将3个3D影像通过相同特征点重合的方式缝合以生成一3D模型；
识别3D模型结构层上的特征点，每一3D模型与由自身特征点形成的特征点组合相对应。
较佳地，所述结构层上的特征点包括每个指尖的指尖特征点、每个指关节的关节特征点、手心特征点及手背特征点，所述特征点组合记录全部特征点在3D空间中的相对位置关系。
较佳地，所述手语翻译方法包括：
所述3D摄像机按顺序获取若干手部的3D影像；
按所述顺序记录每一3D影像匹配手势所对应的信息；
根据全部信息的语境重新调节每个信息的顺序；
按最新顺序输出全部信息。
较佳地，所述手语翻译方法包括：
利用一数据库对一目标手势做模型训练，所述数据库包括若干含义为所述目标手势的3D影像。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：本发明基于3D成像技术的手语翻译装置及手语翻译方法能够更准确的获取手语的影像，从而建立更加清晰准确的模型，进而能够准确的将手语翻译出来。
附图说明
图1为本发明实施例1手语翻译方法的流程图。
图2为本发明实施例1手语翻译方法的另一流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例一种基于3D成像技术的手语翻译装置，所述手语翻译装置包括1个3D摄像机。
3D摄像机包括一红外线发射器及一红外线接收器，所述红外线发射器用于发射红外散斑场，所述红外线接收器用于接收红外散斑场的反馈。
所述手语翻译装置还包括一识别模块、一处理模块、一输出模块、一记录模块、一调整模块以及一训练模块。
所述3D摄像机用于获取一手部的3D影像。
所述3D影像包括结构层和像素层。
本发明能够通过手型的空间模型辨别手部的手势。
所述识别模块用于识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应。
识别特征点从而能够得到一个手部的特征点组合，相似的手势其特征点组合存在规律并极为相似。
所述处理模块用于识别与特征点组合匹配的手势。
所述输出模块用于输出3D影像匹配手势所对应的信息。
另外，本实施例的手语翻译装置还具有自动校准功能，具体地：
所述3D摄像机用于按顺序获取若干手部的3D影像。
所述记录模块用于按所述顺序记录每一3D影像匹配手势所对应的信息。
所述记录模块能够获取多个有顺序的手势的信息，这些信息是分离的并带有时序的，这些分离的词语根据手语的时序拼接无法带来更好的阅读体验。
所述调整模块用于根据全部信息的语境重新调节每个信息的顺序。
本实施例通过获取信息后，根据信息的语境以及语言使用习惯重新调整信息的排列顺序，更方便用户阅读。
所述输出模块用于按最新顺序输出全部信息。
所述训练模块用于利用一数据库对一目标手势做模型训练，所述数据库包括若干含义为所述目标手势的3D影像。
本实施例通过输入大量的手势3D影像，能够训练识别3D影像中手部影像所对应的手势准确度。
参见图1，利用本实施例的手语翻译装置，本实施例还提供一种手语翻译方法，包括：
步骤100、所述3D摄像机获取一手部的3D影像；
步骤101、识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应。
步骤102、识别与特征点组合匹配的手势。
步骤103、输出3D影像匹配手势所对应的信息。
进一步地，本实施例的手语翻译方法包括：
步骤200、所述3D摄像机按顺序获取若干手部的3D影像。
步骤201、识别每一3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应。
步骤202、对于每一特征点组合，获取与特征点组合匹配的手势。
步骤203、按所述顺序记录每一3D影像匹配手势所对应的信息。
步骤204、根据全部信息的语境重新调节每个信息的顺序。
步骤205、按最新顺序输出全部信息。
本实施例的手语翻译方法还包括：利用一数据库对一目标手势做模型训练，所述数据库包括若干含义为所述目标手势的3D影像。
本实施例基于3D成像技术的手语翻译装置及手语翻译方法能够更准确的获取手语的影像，从而建立更加清晰准确的模型，进而能够准确的将手语翻译出来。
实施例2
本实施例与实施例1基本相同，不同之处仅在于：
所述3D摄像机的个数为3个，一个3D摄像机从正面拍摄所述手部，另外两个3D摄像机分别从两侧拍摄所述手部，所述手语翻译装置还包括一拼接模块。
所述拼接模块用于识别3个3D摄像机获取的3D影像上的特征点，并将3个3D影像通过相同特征点重合的方式缝合以生成一3D模型。
所述识别模块用于识别3D模型结构层上的空间特征点，每一3D模型与由自身空间特征点形成的特征点组合相对应。
所述3D模型还可以通过在3D影像的结构层上识别至少3个峰值点，然后将3D影像的结构层通过相同峰值点重合的方式缝合，所述峰值点包括凸点和凹点，峰值点重合的数量至少为3个。
所述结构层上的特征点包括每个指尖的指尖特征点、每个指关节的关节特征点、手心特征点及手背特征点，所述特征点组合记录全部特征点在3D空间中的相对位置关系。
相对应的，本实施例的手语翻译方法包括：
识别3个3D摄像机获取的3D影像上的特征点，并将3个3D影像通过相同特征点重合的方式缝合以生成一3D模型；
识别3D模型结构层上的特征点，每一3D模型与由自身特征点形成的特征点组合相对应。
其中，所述结构层上的特征点包括每个指尖的指尖特征点、每个指关节的关节特征点、手心特征点及手背特征点，所述特征点组合记录全部特征点在3D空间中的相对位置关系。
本实施例的手语翻译装置能够获取一个完整的手部3D模型，利用3D模型的空间特征点的组合方式能够和手势更好的对应，从而使手语翻译的更加准确。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (4)

1.一种基于3D成像技术的手语翻译装置，其特征在于，所述手语翻译装置包括3个3D摄像机、一识别模块、一处理模块以及一输出模块，
所述3D摄像机用于获取一手部的3D影像；
所述处理模块用于识别与特征点组合匹配的手势；
所述3D摄像机包括一红外线发射器及一红外线接收器，所述红外线发射器用于发射红外散斑场，所述红外线接收器用于接收红外散斑场的反馈，一个3D摄像机从正面拍摄所述手部，另外两个3D摄像机分别从两侧拍摄所述手部，所述手语翻译装置还包括一拼接模块，
所述拼接模块用于通过识别模块识别3个3D摄像机获取的3D影像上的特征点，并将3个3D影像通过相同特征点重合的方式缝合以生成一3D模型；
所述识别模块用于识别3D模型结构层上的空间特征点，每一3D模型与由自身空间特征点形成的特征点组合相对应；
所述结构层上的特征点包括每个指尖的指尖特征点、每个指关节的关节特征点、手心特征点及手背特征点，所述特征点组合记录全部特征点在3D空间中的相对位置关系；
所述手语翻译装置还包括一记录模块以及一调整模块，
所述3D摄像机用于按顺序获取若干手部的3D影像；
所述记录模块用于按所述顺序记录每一3D影像匹配手势所对应的信息；
所述调整模块用于根据全部信息的语境重新调节每个信息的顺序；
所述输出模块用于按最新顺序输出全部信息。
2.如权利要求1所述的手语翻译装置，其特征在于，所述手语翻译装置还包括一训练模块，
所述训练模块用于利用一数据库对一目标手势做模型训练，所述数据库包括若干含义为所述目标手势的3D影像。
3.一种利用手语翻译装置实现的手语翻译方法，其特征在于，所述手语翻译装置包括3个3D摄像机，所述手语翻译方法包括：
所述3D摄像机获取一手部的3D影像；
识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应；
识别与特征点组合匹配的手势；
输出3D影像匹配手势所对应的信息；
所述3D摄像机包括一红外线发射器及一红外线接收器，所述红外线发射器用于发射红外散斑场，所述红外线接收器用于接收红外散斑场的反馈，一个3D摄像机从正面拍摄所述手部，另外两个3D摄像机分别从两侧拍摄所述手部，所述识别3D影像上的特征点包括：
识别3个3D摄像机获取的3D影像上的特征点，并将3个3D影像通过相同特征点重合的方式缝合以生成一3D模型；
识别3D模型结构层上的特征点，每一3D模型与由自身特征点形成的特征点组合相对应；
所述结构层上的特征点包括每个指尖的指尖特征点、每个指关节的关节特征点、手心特征点及手背特征点，所述特征点组合记录全部特征点在3D空间中的相对位置关系；
所述手语翻译方法包括：
所述3D摄像机按顺序获取若干手部的3D影像；
按所述顺序记录每一3D影像匹配手势所对应的信息；
根据全部信息的语境重新调节每个信息的顺序；
输出3D影像匹配手势所对应的信息，其中所述信息的输出为按最新顺序输出全部信息。
4.如权利要求3所述的手语翻译方法，其特征在于，所述手语翻译方法包括：
利用一数据库对一目标手势做模型训练，所述数据库包括若干含义为所述目标手势的3D影像。
CN201810158834.3A 2018-02-26 2018-02-26 基于3d成像技术的手语翻译装置及手语翻译方法 Active CN108363980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810158834.3A CN108363980B (zh) 2018-02-26 2018-02-26 基于3d成像技术的手语翻译装置及手语翻译方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810158834.3A CN108363980B (zh) 2018-02-26 2018-02-26 基于3d成像技术的手语翻译装置及手语翻译方法

Publications (2)

Publication Number Publication Date
CN108363980A CN108363980A (zh) 2018-08-03
CN108363980B true CN108363980B (zh) 2021-04-16

Family

ID=63002920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810158834.3A Active CN108363980B (zh) 2018-02-26 2018-02-26 基于3d成像技术的手语翻译装置及手语翻译方法

Country Status (1)

Country Link
CN (1) CN108363980B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102956132A (zh) * 2011-08-25 2013-03-06 鸿富锦精密工业（深圳）有限公司 手语翻译系统、手语翻译装置及手语翻译方法
CN104978886A (zh) * 2015-06-29 2015-10-14 广西瀚特信息产业股份有限公司 一种基于体感技术的手语翻译系统及处理方法
CN105069444A (zh) * 2015-09-07 2015-11-18 哈尔滨市一舍科技有限公司 一种手势识别装置
CN105068662A (zh) * 2015-09-07 2015-11-18 哈尔滨市一舍科技有限公司 一种用于人机交互的电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102956132A (zh) * 2011-08-25 2013-03-06 鸿富锦精密工业（深圳）有限公司 手语翻译系统、手语翻译装置及手语翻译方法
CN104978886A (zh) * 2015-06-29 2015-10-14 广西瀚特信息产业股份有限公司 一种基于体感技术的手语翻译系统及处理方法
CN105069444A (zh) * 2015-09-07 2015-11-18 哈尔滨市一舍科技有限公司 一种手势识别装置
CN105068662A (zh) * 2015-09-07 2015-11-18 哈尔滨市一舍科技有限公司 一种用于人机交互的电子设备

Also Published As

Publication number Publication date
CN108363980A (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
US11270099B2 (en) Method and apparatus for generating facial feature
US10438080B2 (en) Handwriting recognition method and apparatus
CN106462766B (zh) 在预览模式中进行图像捕捉参数调整
CN109635621A (zh) 用于第一人称视角中基于深度学习识别手势的系统和方法
WO2016180285A1 (zh) 智能眼镜
CN115357748A (zh) 头戴式装置
CN107766403B (zh) 一种相册处理方法、移动终端以及计算机可读存储介质
Lee et al. Revisiting blind photography in the context of teachable object recognizers
US20160277707A1 (en) Message transmission system, message transmission method, and program for wearable terminal
US8606000B2 (en) Device and method for identification of objects using morphological coding
WO2021258862A1 (zh) 打字方法及装置、设备、存储介质
TWM457241U (zh) 結合擴增實境的圖像文字辨識系統
KR102057581B1 (ko) 카메라를 구비하는 장치의 자동 포커싱 장치 및 방법
EP2959406B1 (en) Automatic image rectification for visual search
CN111078982B (zh) 一种电子页面的检索方法、电子设备及存储介质
CN108363980B (zh) 基于3d成像技术的手语翻译装置及手语翻译方法
CN110443122B (zh) 信息处理方法及相关产品
US10593077B2 (en) Associating digital ink markups with annotated content
JP5351084B2 (ja) 画像認識装置及び画像認識方法
CN108509903B (zh) 基于3d成像技术的唇语翻译装置及唇语翻译方法
WO2011021193A1 (en) Device and method for identification of objects using morphological coding
KR101723500B1 (ko) 정보 제공 장치 및 그 방법
KR100983779B1 (ko) 도서 정보 서비스 장치 및 방법
CN111079491B (zh) 一种书写内容识别方法、电子设备及存储介质
US10776617B2 (en) Sign-language automated teller machine

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant