CN108920721A - 影像生成方法及影像生成装置 - Google Patents
影像生成方法及影像生成装置 Download PDFInfo
- Publication number
- CN108920721A CN108920721A CN201810855585.3A CN201810855585A CN108920721A CN 108920721 A CN108920721 A CN 108920721A CN 201810855585 A CN201810855585 A CN 201810855585A CN 108920721 A CN108920721 A CN 108920721A
- Authority
- CN
- China
- Prior art keywords
- image
- keyword
- gesture
- generation device
- text information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 6
- 206010011878 Deafness Diseases 0.000 abstract description 9
- 238000004891 communication Methods 0.000 abstract description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种影像生成方法及影像生成装置，所述影像生成方法包括：获取一文本信息；识别所述文本信息中的关键字；在一影像数据库中获取与关键字对应的手势影像；按照所述文本信息中关键字的次序输出关键字对应的手势影像。本发明的影像生成方法及影像生成装置能够服务于聋哑群体，为聋哑群体的沟通及交流带来便利，而且所述影像生成方法及影像生成装置能够更准确的获取信息的影像。
Description
技术领域
本发明涉及一种影像生成方法及影像生成装置。
背景技术
通常正常人与聋哑人士沟通时需要学习一套手语，手语的学习需要花费相当大的精力及相当长的时间。另外，大多数手语的表达方式因国籍或地区的不同而不同，故不同国籍或地区的聋哑人士相互进行交流也存在沟通的问题。
现有的影像生成装置多存在于概念阶段，实现起来复杂且无法准确翻译手语的含义。
发明内容
本发明要解决的技术问题是为了克服现有技术中影像生成装置实现起来复杂且无法准确翻译手语的含义的缺陷，提供一种方便与聋哑群体沟通的的影像生成装置及影像生成装置。
本发明是通过下述技术方案来解决上述技术问题：
一种影像生成方法，其特点在于，所述影像生成方法包括：
获取一文本信息；
识别所述文本信息中的关键字；
在一影像数据库中获取与关键字对应的手势影像；
按照所述文本信息中关键字的次序输出关键字对应的手势影像。
较佳地，所述获取一文本信息包括：
采集语音音频；
识别所述语音音频中的语音数据；
根据所述语音数据生成所述文本信息。
较佳地，所述手势影像为3D影像，所述影像生成方法包括：
获取一手部的3D影像；
识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应；
识别与特征点组合匹配的手势；
获取3D影像匹配手势所对应的关键字；
按照所述3D影像的时序输出3D影像匹配手势所对应的关键字。
一种影像生成装置，其特点在于，所述影像生成装置包括一获取模块、一识别模块、一处理模块以及一输出模块，
所述获取模块用于获取一文本信息；
所述识别模块用于识别所述文本信息中的关键字；
所述处理模块用于在一影像数据库中获取与关键字对应的手势影像；
所述输出模块用于按照所述文本信息中关键字的次序输出关键字对应的手势影像。
较佳地，所述影像生成装置还包括一麦克风以及一生成模块，
所述麦克风用于采集语音音频；
所述识别模块还用于识别所述语音音频中的语音数据；
所述生成模块用于根据所述语音数据生成所述文本信息。
较佳地，所述影像生成装置还包括至少一3D摄像机，
所述3D摄像机用于获取一手部的3D影像；
所述识别模块还用于识别3D模型上的特征点组合，并识别与特征点组合匹配的手势，每一3D影像与由自身特征点形成的特征点组合相对应；
所述获取模块还用于获取3D影像匹配手势所对应的关键字；
所述输出模块还用于按照所述3D影像的时序输出3D影像匹配手势所对应的关键字。
较佳地，所述3D摄像机的数量为3个，3个3D摄像机用于获取同一时刻的3D影像；
所述识别模块还用于在结构层上识别3个同一时刻的3D影像上的特征点，并将3个3D影像通过将相同特征点组合重合的方式缝合以生成一3D模型；
所述识别模块还用于识别3D影像上的特征点，并识别与特征点组合匹配的手势，其中，特征点组合为结构层上的特征点组合。
较佳地，所述影像生成装置包括一人字形支架，所述人字形支架的一侧设有一彩色显示屏，所述彩色显示屏上设有一3D摄像机，所述人字形支架的另一侧设有一黑白显示屏，所述黑白显示屏上设有所述麦克风，
所述彩色显示屏用于按照所述文本信息中关键字的次序显示关键字对应的手势影像；
所述黑白显示屏用于按照所述3D影像的时序输出3D影像匹配手势所对应的关键字。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：本发明的影像生成方法及影像生成装置能够服务于聋哑群体，为聋哑群体的沟通及交流带来便利，而且所述影像生成方法及影像生成装置能够更准确的获取信息的影像。
附图说明
图1为本发明实施例1影像生成装置的结构示意图。
图2为本发明实施例1影像生成方法的流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例一种影像生成装置，所述影像生成装置包括一所述影像生成装置包括一人字形支架11，所述人字形支架的一侧设有一彩色显示屏12，所述彩色显示屏上设有一3D摄像机14，所述人字形支架的另一侧设有一黑白显示屏13，所述黑白显示屏上设有一麦克风15。
所述影像生成装置还包括一获取模块、一识别模块、一处理模块、一生成模块以及一输出模块，
所述获取模块用于获取一文本信息；
所述识别模块用于识别所述文本信息中的关键字；
所述处理模块用于在一影像数据库中获取与关键字对应的手势影像；
所述输出模块用于按照所述文本信息中关键字的次序输出关键字对应的手势影像。
本实施例汇中所述输出模块包括彩色显示屏和黑白显示屏。
所述彩色显示屏用于按照所述文本信息中关键字的次序输出关键字对应的手势影像。
所述麦克风用于采集语音音频；
所述识别模块还用于识别所述语音音频中的语音数据；
所述生成模块用于根据所述语音数据生成所述文本信息。
所述3D摄像机用于获取一手部的3D影像；
所述识别模块还用于识别3D影像上的特征点，并识别与特征点组合匹配的手势，每一3D影像与由自身特征点形成的特征点组合相对应；
所述获取模块还用于获取3D影像匹配手势所对应的关键字；
所述输出模块还用于按照所述3D影像的时序输出3D影像匹配手势所对应的关键字。
本实施例中所述黑白显示屏用于按照所述3D影像的时序输出3D影像匹配手势所对应的关键字。
参见图2，利用上述影像生成装置，本实施例还提供一种影像生成方法，包括：
步骤100、通过所述麦克风采集语音音频。
步骤101、识别所述语音音频中的语音数据。
步骤102、根据所述语音数据生成文本信息。
步骤103、识别所述文本信息中的关键字。
步骤104、在一影像数据库中获取与关键字对应的手势影像。
步骤105、按照所述文本信息中关键字的次序输出关键字对应的手势影像。
步骤106、通过3D摄像机获取一手部的3D影像。
步骤107、识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应。
步骤108、识别与特征点组合匹配的手势。
步骤109、获取3D影像匹配手势所对应的关键字。
步骤110、按照所述3D影像的时序输出3D影像匹配手势所对应的关键字。
本实施例的影像生成方法及影像生成装置能够服务于聋哑群体，为聋哑群体的沟通及交流带来便利，而且所述影像生成方法及影像生成装置能够更准确的获取信息的影像。
实施例2
本实施例与实施例1基本相同，不同之处仅在于：
所述3D摄像机的数量为3个，3个3D摄像机用于获取同一时刻的3D影像；
所述识别模块还用于在结构层上识别3个同一时刻的3D影像上的特征点，并将3个3D影像通过将相同特征点组合重合的方式缝合以生成一3D模型；
所述识别模块还用于识别3D模型上的特征点组合，并识别与特征点组合匹配的手势，其中，特征点组合为结构层上的特征点组合。
3个结构层上的特征点能够确定一个模型的空间位置，通过空间为至进行缝合使模型更加逼真。
另外通过结构层的特征点组合进行手势匹配，能够简化运算，从而降低运算所占资源。
实施例3
所述影像生成装置为一3D拍照手机，所述输出模块为显示屏。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (8)
1.一种影像生成方法，其特征在于，所述影像生成方法包括：
获取一文本信息；
识别所述文本信息中的关键字；
在一影像数据库中获取与关键字对应的手势影像；
按照所述文本信息中关键字的次序输出关键字对应的手势影像。
2.如权利要求1所述的影像生成方法，其特征在于，所述获取一文本信息包括：
采集语音音频；
识别所述语音音频中的语音数据；
根据所述语音数据生成所述文本信息。
3.如权利要求1所述的影像生成方法，其特征在于，所述手势影像为3D影像，所述影像生成方法包括：
获取一手部的3D影像；
识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应；
识别与特征点组合匹配的手势；
获取3D影像匹配手势所对应的关键字；
按照所述3D影像的时序输出3D影像匹配手势所对应的关键字。
4.一种影像生成装置，其特征在于，所述影像生成装置包括一获取模块、一识别模块、一处理模块以及一输出模块，
所述获取模块用于获取一文本信息；
所述识别模块用于识别所述文本信息中的关键字；
所述处理模块用于在一影像数据库中获取与关键字对应的手势影像；
所述输出模块用于按照所述文本信息中关键字的次序输出关键字对应的手势影像。
5.如权利要求4所述的影像生成装置，其特征在于，所述影像生成装置还包括一麦克风以及一生成模块，
所述麦克风用于采集语音音频；
所述识别模块还用于识别所述语音音频中的语音数据；
所述生成模块用于根据所述语音数据生成所述文本信息。
6.如权利要求4所述的影像生成装置，其特征在于，所述影像生成装置还包括至少一3D摄像机，
所述3D摄像机用于获取一手部的3D影像；
所述识别模块还用于识别3D影像上的特征点，并识别与特征点组合匹配的手势，每一3D影像与由自身特征点形成的特征点组合相对应；
所述获取模块还用于获取3D影像匹配手势所对应的关键字；
所述输出模块还用于按照所述3D影像的时序输出3D影像匹配手势所对应的关键字。
7.如权利要求6所述的影像生成装置，其特征在于，所述3D摄像机的数量为3个，3个3D摄像机用于获取同一时刻的3D影像；
所述识别模块还用于在结构层上识别3个同一时刻的3D影像上的特征点，并将3个3D影像通过将相同特征点组合重合的方式缝合以生成一3D模型；
所述识别模块还用于识别3D模型上的特征点组合，并识别与特征点组合匹配的手势，其中，特征点组合为结构层上的特征点组合。
8.如权利要求6所述的影像生成装置，其特征在于，所述影像生成装置包括一人字形支架，所述人字形支架的一侧设有一彩色显示屏，所述彩色显示屏上设有一3D摄像机，所述人字形支架的另一侧设有一黑白显示屏，所述黑白显示屏上设有所述麦克风，
所述彩色显示屏用于按照所述文本信息中关键字的次序显示关键字对应的手势影像；
所述黑白显示屏用于按照所述3D影像的时序输出3D影像匹配手势所对应的关键字。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810855585.3A CN108920721A (zh) | 2018-07-31 | 2018-07-31 | 影像生成方法及影像生成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810855585.3A CN108920721A (zh) | 2018-07-31 | 2018-07-31 | 影像生成方法及影像生成装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108920721A true CN108920721A (zh) | 2018-11-30 |
Family
ID=64393152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810855585.3A Pending CN108920721A (zh) | 2018-07-31 | 2018-07-31 | 影像生成方法及影像生成装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108920721A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102104670A (zh) * | 2009-12-17 | 2011-06-22 | 深圳富泰宏精密工业有限公司 | 手语识别系统及方法 |
| CN103078783A (zh) * | 2012-12-18 | 2013-05-01 | 北京维盛泰科科技有限公司 | 一种基于模式识别技术的助残无障碍交流方法 |
| CN104538025A (zh) * | 2014-12-23 | 2015-04-22 | 西北师范大学 | 手势到汉藏双语语音转换方法及装置 |
| CN105957514A (zh) * | 2016-07-11 | 2016-09-21 | 吉林宇恒光电仪器有限责任公司 | 一种便携式聋哑人交流设备 |
-
2018
- 2018-07-31 CN CN201810855585.3A patent/CN108920721A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102104670A (zh) * | 2009-12-17 | 2011-06-22 | 深圳富泰宏精密工业有限公司 | 手语识别系统及方法 |
| CN103078783A (zh) * | 2012-12-18 | 2013-05-01 | 北京维盛泰科科技有限公司 | 一种基于模式识别技术的助残无障碍交流方法 |
| CN104538025A (zh) * | 2014-12-23 | 2015-04-22 | 西北师范大学 | 手势到汉藏双语语音转换方法及装置 |
| CN105957514A (zh) * | 2016-07-11 | 2016-09-21 | 吉林宇恒光电仪器有限责任公司 | 一种便携式聋哑人交流设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230377376A1 (en) | Automated sign language translation and communication using multiple input and output modalities | |
| CN110084775B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| US20090257730A1 (en) | Video server, video client device and video processing method thereof | |
| CN103973968B (zh) | 电子装置及其影像合成方法 | |
| CN103731583B (zh) | 用于拍照智能化合成、打印处理方法 | |
| CN107798932A (zh) | 一种基于ar技术的早教训练系统 | |
| CN109658352A (zh) | 图像信息的优化方法及装置、电子设备和存储介质 | |
| US9076345B2 (en) | Apparatus and method for tutoring in convergence space of real and virtual environment | |
| CN102956132A (zh) | 手语翻译系统、手语翻译装置及手语翻译方法 | |
| US20210366087A1 (en) | Image colorizing method and device | |
| CN110728191A (zh) | 手语翻译方法、基于mr的手语-语音交互方法及系统 | |
| JP2020533657A (ja) | 電極シートのバリを検出するための方法および装置 | |
| WO2021012491A1 (zh) | 多媒体信息展示方法、装置、计算机设备及存储介质 | |
| WO2017003031A1 (ko) | 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치 | |
| CN105469042A (zh) | 一种改进型的人像比对方法 | |
| CN113453027A (zh) | 直播视频、虚拟上妆的图像处理方法、装置及电子设备 | |
| US11830204B2 (en) | Systems and methods for performing motion transfer using a learning model | |
| TWM457241U (zh) | 結合擴增實境的圖像文字辨識系統 | |
| CN112330579A (zh) | 视频背景更换方法、装置、计算机设备及计算机可读介质 | |
| CN107945139A (zh) | 一种图像处理方法、存储介质及智能终端 | |
| CN116248811B (zh) | 视频处理方法、装置及存储介质 | |
| CN108920721A (zh) | 影像生成方法及影像生成装置 | |
| CN110505405A (zh) | 基于体感技术的视频拍摄系统及方法 | |
| KR20170127354A (ko) | 페이셜 모션 캡쳐를 이용한 얼굴 변환 화상 대화 장치 및 방법 | |
| CN109495694A (zh) | 一种基于rgb-d的环境感知方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |