CN109063624A - 信息处理方法、系统、电子设备和计算机可读存储介质 - Google Patents
信息处理方法、系统、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN109063624A CN109063624A CN201810841361.7A CN201810841361A CN109063624A CN 109063624 A CN109063624 A CN 109063624A CN 201810841361 A CN201810841361 A CN 201810841361A CN 109063624 A CN109063624 A CN 109063624A
- Authority
- CN
- China
- Prior art keywords
- information
- voice messaging
- gesture
- posture information
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 41
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 109
- 206010011878 Deafness Diseases 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000009471 action Effects 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000006854 communication Effects 0.000 abstract description 14
- 238000004891 communication Methods 0.000 abstract description 13
- 230000036544 posture Effects 0.000 description 68
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241001672694 Citrus reticulata Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000012491 analyte Substances 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Social Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例公开了一种信息处理方法、系统、电子设备和计算机可读存储介质，该方法包括：获取所述第一处理装置采集的手势姿态信息，并根据动作识别模型对所述手势姿态信息进行识别；当识别出所述手势姿态信息与预设标准姿态信息匹配时，通过所述第一处理装置输出与所述手势姿态信息对应的第一输出信息；获取所述第二处理装置采集的语音信息，并根据语音识别模型对所述语音信息进行识别；当识别出所述语音信息与预设音频信息匹配时，通过所述第二处理装置输出与所述语音信息对应的第二输出信息。通过上述方法，丰富了聋哑人与正常人之间的沟通交流方式，使聋哑人与正常人能够高效沟通。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种信息处理方法、系统、电子设备和计算机可读存储介质。
背景技术
随着社会的科技发展和进步，聋哑人群越来越得到社会的关注和重视，聋哑人群需要更高效率的与正常人进行沟通，来满足生活、工作等需求，而正常人也需要更好的理解与聋哑人沟通过程中所表达的内容，因此通过辅助产品来实现正常人与聋哑人之间的沟通显得尤为重要。
传统的辅助沟通产品通常需要聋哑人长期佩带设备，识别手语精准度不高，并且交流方式单一，导致单方面的沟通方式无法满足不同人群的需求，例如：当聋哑人使用手语沟通时，不懂手语的正常人无法理解到聋哑人需要表达的内容；或者，当不懂手语的正常人说话时，聋哑人无法理解正常人所表达的内容。
因此，现有的社交方法和方式无法全面性的满足聋哑人在沟通方面的需求，如何满足聋哑人与正常人高效的沟通，成为亟待解决的问题。
发明内容
本发明实施例提供一种信息处理方法、系统、电子设备和计算机可读存储介质，丰富了沟通交流方式，使聋哑人与正常人能够高效沟通。
一种信息处理方法，应用于便于聋哑人与正常人沟通的信息处理系统，所述信息处理系统包括第一处理装置和第二处理装置，所述第一处理装置用于处理第一类用户的手势姿态信息，所述第二处理装置用于处理第二类用户的语音信息；所述方法包括：
获取所述第一处理装置采集的手势姿态信息，并根据动作识别模型对所述手势姿态信息进行识别；
当识别出所述手势姿态信息与预设标准姿态信息匹配时，通过所述第一处理装置输出与所述手势姿态信息对应的第一输出信息；
获取所述第二处理装置采集的语音信息，并根据语音识别模型对所述语音信息进行识别；
当识别出所述语音信息与预设音频信息匹配时，通过所述第二处理装置输出与所述语音信息对应的第二输出信息。
可选的，在其中一个实施例中，所述第一处理装置包括图像采集模块；所述获取所述第一处理装置采集的手势姿态信息，包括：
获取所述图像采集模块采集的具有所述手势姿态信息的图像；
分析所述图像中的手势特征；其中所述手势特征包括形状、运动轨迹、颜色、轮廓、深度中的一种或一种以上。
可选的，在其中一个实施例中，在所述根据动作识别模型对所述手势姿态信息进行识别之前，所述方法还包括：
采集国际标准手语的手势特征作为预设标准姿态信息，并建立所述预设标准姿态信息与所述第一输出信息的对应关系。
可选的，在其中一个实施例中，所述第一处理装置还包括音频播放模块和第一显示模块，所述第一输出信息包括语音信息和文字信息；
所述通过所述第一处理装置输出与所述手势姿态信息对应的第一输出信息，包括：
通过所述音频播放模块播放与所述手势姿态信息对应的语音信息；
通过所述第一显示模块显示与所述手势姿态信息对应的文字信息。
可选的，在其中一个实施例中，所述第二处理装置包括音频采集模块，所述获取所述第二处理装置采集的语音信息，并根据语音识别模型对所述语音信息进行识别，包括：
建立预设音频信息与所述第二输出信息的映射关系；
获取基于所述第二处理装置中的音频采集模块采集的语音信息；
对所述语音信息进行预处理，并根据所述预设音频信息与第二输出信息的映射关系，确定与所述语音信息对应的第二输出信息。
可选的，在其中一个实施例中，所述第二处理装置还包括第二显示模块，所述通过所述第二处理装置输出与所述语音信息匹配的第二输出信息，包括：
基于所述第二处理装置中的第二显示模块输出所述第二输出信息，其中所述第二输出信息包括文字、手势动作、动画中的一种或一种以上。
可选的，在其中一个实施例中，所述方法还包括：
建立存储多个数据信息的数据库；所述数据信息包括预设标准姿态信息和预设语音信息；
对同一个数据信息进行特征学习，并根据预设训练模型对每个所述数据信息进行模拟训练；
根据训练后的数据信息更新所述数据库中的原有数据信息。
一种信息处理系统，所述信息处理系统包括第一处理装置和第二处理装置，所述第一处理装置用于处理第一类用户的手势姿态信息，所述第二处理装置用于处理第二类用户的语音信息；
其中，所述第一处理装置包括第一控制模块，所述第一控制模块用于获取所述第一处理装置采集的手势姿态信息，并根据动作识别模型对所述手势姿态信息进行识别，当识别出所述手势姿态信息与预设标准姿态信息匹配时，通过所述第一处理装置输出与所述手势姿态信息对应的第一输出信息；
所述第二处理装置包括第二控制模块，所述第二控制模块用于获取所述第二处理装置采集的语音信息，并根据语音识别模型对所述语音信息进行识别，当识别出所述语音信息与预设音频信息匹配时，通过所述第二处理装置输出与所述语音信息匹配的第二输出信息。
一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述方法的步骤。
一种计算机可读存储介质，包括计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行所述方法的步骤。
实施本发明实施例，将具有如下有益效果：
上述信息处理方法、系统、电子设备和计算机可读存储介质，通过获取第一处理装置采集的手势姿态信息，并根据动作识别模型对手势姿态信息进行识别，当识别出手势姿态信息与预设标准姿态信息匹配时，通过第一处理装置输出与手势姿态信息对应的第一输出信息，能够将聋哑人的手势姿态信息转换为正常人能理解的信息。
通过获取第二处理装置采集的语音信息，并根据语音识别模型对语音信息进行识别，当识别出语音信息与预设音频信息匹配时，通过第二处理装置输出与语音信息对应的第二输出信息，能够将正常人的语音信息转换为聋哑人能理解的信息；因此，通过上述方法，丰富了聋哑人与正常人之间的沟通交流方式，使聋哑人与正常人能够高效沟通。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中信息处理方法的流程示意图；
图2为另一个实施例中信息处理方法的流程示意图；
图3为另一个实施例中信息处理方法的流程示意图；
图4为另一个实施例中信息处理方法的流程示意图；
图5为一个实施例中信息处理系统的结构框图；
图6为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请。可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一应用程序称为第二应用程序，且类似地，可将第二进应用程序为第一应用程序。第一应用程序和第二应用程序两者都是应用程序，但其不是同一应用程序。
以下提供一种信息处理方法，该信息处理方法应用于便于聋哑人与正常人沟通的信息处理系统，该信息处理系统包括第一处理装置和第二处理装置，所述第一处理装置用于处理第一类用户的手势姿态信息，所述第二处理装置用于处理第二类用户的语音信息，
需要说明的是，第一类用户指的是具有听觉与语言障碍的聋哑人群，第二类用户指的是正常人群。第一处理装置和第二处理装置均设置在用于辅助第一类用户与外界进行沟通交流的设备上，具体的，第一处理装置和第二处理装置可以设置在可穿戴设备上，以方便第一类用户与外界即时沟通，例如，将第一处理装置设置在眼镜上，将第二处理装置设置在手环上，可以理解，还可以将第一处理装置和第二处理装置设置在同一可穿戴设备上，例如将第一处理装置和第二处理装置同时设置在眼镜上，本申请实施例对此不进行限定。
如图1所示，为一个实施例中信息处理方法的流程图，该信息处理方法，包括以下步骤102～步骤108：
步骤102：获取所述第一处理装置采集的手势姿态信息，并根据动作识别模型对所述手势姿态信息进行识别。
其中，手势姿态信息指的是人手或者手和手臂结合产生的各种姿势或动作，本实施例的手势姿态信息可以理解为手语(sign language)的手部动作信息，手语指的是用手势比量动作，根据手势的变化模拟形象或者音节以构成一定意思或词语，是听力障碍还有无法言语的人(即聋哑人)互相交际和交流思想的一种手的语言。动作识别模型指的是能够对输入的手势动作进行分类识别的模型。
进一步的，第一处理装置包括图像采集模块，如图2所示，步骤102中获取所述第一处理装置采集的手势姿态信息的过程还包括以下步骤1021～步骤1022：
步骤1021：获取所述图像采集模块采集的具有所述手势姿态信息的图像。
具体的，图像采集模块包括至少一个摄像头，所述摄像头可以采集图像或视频，当通过所述摄像头采集到具有手势姿态信息的图像或视频时，对所述摄像头采集的图像或视频进行特征分析。
步骤1022：分析所述图像中的手势特征。
其中，所述手势特征包括但不限于形状、运动轨迹、颜色、轮廓和深度。具体的，对采集到的具有手势姿态信息的图像或视频进行手势分割，从而准确地提取图像中的人手部分，进一步的，对人手部分进行手势特征提取，根据提取的多个特征点分析手语动作。
可选的，在其他实施例中，还可以通过传感器模块采集所述手势姿态信息，传感器模块包括但不限于加速度传感器、弯曲传感器和磁传感器，结合多个传感器采集手势姿态信息，具体可包括手势动作的运动轨迹，手掌、手指的弯曲度以及手指之间的空间夹角等信息。通过分析传感器模块采集的数据分析手语动作。
在一个实施例中，在所述根据动作识别模型对所述手势姿态信息进行识别之前，该信息处理方法还包括：采集国际标准手语的手势特征作为预设标准姿态信息，并建立所述预设标准姿态信息与所述第一输出信息的对应关系。
具体的，国际标准手语指的是聋哑人国际标准手语，采集国际标准手语中的手势样本数据，对所述手势样本数据进行统计分类，并利用所述手势样本数据提取特征，对每个手势样本数据的特征进行分析处理，对每个手势样本数据进行翻译，匹配对应的文字和语音，从而建立预设标准姿态信息与所述第一输出信息的对应关系。
步骤104：当识别出所述手势姿态信息与预设标准姿态信息匹配时，通过所述第一处理装置输出与所述手势姿态信息对应的第一输出信息。
在一个实施例中，所述第一处理装置还包括音频播放模块和第一显示模块，音频播放模块包括扬声器、扩音器等，第一显示模块包括显示屏幕，例如镜面显示屏、液晶显示屏、等离子显示屏、射线管显示屏等。所述第一输出信息包括语音信息和文字信息。
具体的，通过所述音频播放模块播放与所述手势姿态信息对应的语音信息，通过所述第一显示模块显示与所述手势姿态信息对应的文字信息。例如，当识别出所述手势姿态信息与预设标准姿态信息匹配时，将手势姿态信息转换为语音，并通过扬声器播放所述语音；或者，将手势姿态信息转换为文字，并通过显示屏幕将所述文字显示在屏幕画面中。
步骤106：获取所述第二处理装置采集的语音信息，并根据语音识别模型对所述语音信息进行识别。
其中，语音信息指的是第二类用户的说话语音，也即是正常人群的说话语音，当正常人群与聋哑人群说话交流时，通过第二处理装置采集正常人群的说话语音，获取所述第二处理装置采集的语音信息，并根据语音识别模型对所述语音信息进行识别。
具体的，在一个实施例中，所述第二处理装置包括音频采集模块，如图3所示，步骤106的处理过程还包括以下步骤1061～步骤1063：
步骤1061：建立预设音频信息与所述第二输出信息的映射关系。
预设音频信息指的是语言词汇的标准发音，包括但不限于普通话的标准发音、方言的标准发音、英语发音等。采集多个语言词汇的声音样本数据，对所述声音样本数据进行统计分类，并利用所述声音样本数据提取特征，对每个声音样本数据的特征进行分析处理，对每个声音样本数据进行翻译，匹配对应的文字、手势动作、动画等，从而建立预设音频信息与所述第二输出信息的映射关系。
步骤1062：获取基于所述第二处理装置中的音频采集模块采集的语音信息。
音频采集模块包括麦克风，基于第二处理装置中的麦克风采集正常人群的说话语音。
步骤1063：对所述语音信息进行预处理，并根据所述预设音频信息与第二输出信息的映射关系，确定与所述语音信息对应的第二输出信息。
具体的，预处理的过程包括滤除噪声、混响处理、修复衰减。在对采集的语音信息进行预处理后，根据所述预设音频信息与第二输出信息的映射关系，确定与采集的语音信息对应的第二输出信息。
步骤108：当识别出所述语音信息与预设音频信息匹配时，通过所述第二处理装置输出与所述语音信息对应的第二输出信息。
具体的，所述第二处理装置还包括第二显示模块，第二显示模块包括显示屏幕，例如镜面显示屏、液晶显示屏、等离子显示屏、射线管显示屏等。当识别出所述语音信息与预设音频信息匹配时，基于所述第二处理装置中的显示屏幕显示所述第二输出信息，其中所述第二输出信息包括但不限于文字、手势动作、动画。
在一个实施例中，如图4所示，该信息处理方法还包括：
步骤402：建立存储多个数据信息的数据库；所述数据信息包括预设标准姿态信息和预设语音信息。
步骤404：对同一个数据信息进行特征学习，并根据预设训练模型对每个所述数据信息进行模拟训练。
步骤406：根据训练后的数据信息更新所述数据库中的原有数据信息。
具体的，通过AI算法对同一手势生成的数据以及同一语言词汇的声音数据进行深度学习训练并分析，将提取分类后的手势姿态信息、语音信息与标准库进行调整、校对、匹配。以实现不断优化对第一类用户的手势姿态信息的识别过程、以及对第二类用户的语音信息的识别过程。
上述信息处理方法，通过获取第一处理装置采集的手势姿态信息，并根据动作识别模型对手势姿态信息进行识别，当识别出手势姿态信息与预设标准姿态信息匹配时，通过第一处理装置输出与手势姿态信息对应的第一输出信息，能够将聋哑人的手势姿态信息转换为正常人能理解的信息。
通过获取第二处理装置采集的语音信息，并根据语音识别模型对语音信息进行识别，当识别出语音信息与预设音频信息匹配时，通过第二处理装置输出与语音信息对应的第二输出信息，能够将正常人的语音信息转换为聋哑人能理解的信息；因此，通过上述方法，丰富了聋哑人与正常人之间的沟通交流方式，使聋哑人与正常人能够高效沟通。
基于相同的发明构思，还提供一种信息处理系统，如图5所示，为一个实施例中信息处理系统的结构框图，该信息处理系统，包括：第一处理装置110和第二处理装置120，第一处理装置110包括第一控制模块112、图像采集模块114、音频播放模块116和第一显示模块118，图像采集模块114、音频播放模块116、第一显示模块118分别与第一控制模块112电性连接；第二处理装置120包括第二控制模块122、音频采集模块124和第二显示模块126，音频采集模块124、第二显示模块126分别与第二控制模块122电性连接。
其中，第一处理装置110用于处理第一类用户的手势姿态信息，第二处理装置120用于处理第二类用户的语音信息。第一控制模块112用于获取第一处理装置110采集的手势姿态信息，并根据动作识别模型对所述手势姿态信息进行识别，当识别出所述手势姿态信息与预设标准姿态信息匹配时，通过第一处理装置110输出与所述手势姿态信息对应的第一输出信息。第二控制模块122用于获取第二处理装置120采集的语音信息，并根据语音识别模型对所述语音信息进行识别，当识别出所述语音信息与预设音频信息匹配时，通过第二处理装置120输出与所述语音信息匹配的第二输出信息。
图像采集模块114用于采集具有所述手势姿态信息的图像；音频播放模块116用于播放与所述手势姿态信息对应的语音信息；第一显示模块118用于显示与所述手势姿态信息对应的文字信息。
音频采集模块124用于采集外界的语音信息；第二显示模块126用于输出所述第二输出信息。
上述信息处理系统，能够将聋哑人的手势姿态信息转换为正常人能理解的信息，并且将正常人的语音信息转换为聋哑人能理解的信息；因此，通过上述装置，丰富了聋哑人与正常人之间的沟通交流方式，使聋哑人与正常人能够高效沟通。
上述信息处理系统中各个模块的划分仅用于举例说明，在其他实施例中，可将信息处理系统按照需要划分为不同的模块，以完成上述信息处理系统的全部或部分功能。
关于信息处理系统的具体限定可以参见上文中对于信号处理方法的限定，在此不再赘述。上述信息处理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本申请实施例中提供的信息处理系统中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述的信息处理方法的步骤。
图6为一个实施例中电子设备的内部结构示意图。该终端包括通过系统总线连接的处理器、存储器和显示屏。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序、和/或指令代码等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于电子设备的信息处理方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random-Access-Memory，RAM)等。例如，在一个实施例中，存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统、数据库和计算机程序。该数据库中存储有用于实现以上各个实施例所提供的一种信息处理方法相关的数据。该计算机程序可被处理器所执行，以用于实现本申请各个实施例所提供的一种信息处理方法。内存储器为非易失性存储介质中的操作系统、数据库和计算机程序提供高速缓存的运行环境。显示屏可以是触摸屏，比如为电容屏或电子屏，用于显示电子设备的界面信息。该电子设备可以是可穿戴式电子设备、手机、电脑或者个人数字助理等。
本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行如上述各实施例中所描述的信息处理方法。
本申请实施例还提供了一种计算机程序产品。一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各实施例中所描述的信息处理方法。
在上述实施例中，可以全部或部分的通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种信息处理方法，应用于便于聋哑人与正常人沟通的信息处理系统，其特征在于，所述信息处理系统包括第一处理装置和第二处理装置，所述第一处理装置用于处理第一类用户的手势姿态信息，所述第二处理装置用于处理第二类用户的语音信息；所述方法包括：
获取所述第一处理装置采集的手势姿态信息，并根据动作识别模型对所述手势姿态信息进行识别；
当识别出所述手势姿态信息与预设标准姿态信息匹配时，通过所述第一处理装置输出与所述手势姿态信息对应的第一输出信息；
获取所述第二处理装置采集的语音信息，并根据语音识别模型对所述语音信息进行识别；
当识别出所述语音信息与预设音频信息匹配时，通过所述第二处理装置输出与所述语音信息对应的第二输出信息。
2.根据权利要求1所述的方法，其特征在于，所述第一处理装置包括图像采集模块；所述获取所述第一处理装置采集的手势姿态信息，包括：
获取所述图像采集模块采集的具有所述手势姿态信息的图像；
分析所述图像中的手势特征；其中所述手势特征包括形状、运动轨迹、颜色、轮廓、深度中的一种或一种以上。
3.根据权利要求2所述的方法，其特征在于，在所述根据动作识别模型对所述手势姿态信息进行识别之前，所述方法还包括：
采集国际标准手语的手势特征作为预设标准姿态信息，并建立所述预设标准姿态信息与所述第一输出信息的对应关系。
4.根据权利要求3所述的方法，其特征在于，所述第一处理装置还包括音频播放模块和第一显示模块，所述第一输出信息包括语音信息和文字信息；
所述通过所述第一处理装置输出与所述手势姿态信息对应的第一输出信息，包括：
通过所述音频播放模块播放与所述手势姿态信息对应的语音信息；
通过所述第一显示模块显示与所述手势姿态信息对应的文字信息。
5.根据权利要求1所述的方法，其特征在于，所述第二处理装置包括音频采集模块，所述获取所述第二处理装置采集的语音信息，并根据语音识别模型对所述语音信息进行识别，包括：
建立预设音频信息与所述第二输出信息的映射关系；
获取基于所述第二处理装置中的音频采集模块采集的语音信息；
对所述语音信息进行预处理，并根据所述预设音频信息与第二输出信息的映射关系，确定与所述语音信息对应的第二输出信息。
6.根据权利要求5所述的方法，其特征在于，所述第二处理装置还包括第二显示模块，所述通过所述第二处理装置输出与所述语音信息匹配的第二输出信息，包括：
基于所述第二处理装置中的第二显示模块输出所述第二输出信息，其中所述第二输出信息包括文字、手势动作、动画中的一种或一种以上。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
建立存储多个数据信息的数据库；所述数据信息包括预设标准姿态信息和预设语音信息；
对同一个数据信息进行特征学习，并根据预设训练模型对每个所述数据信息进行模拟训练；
根据训练后的数据信息更新所述数据库中的原有数据信息。
8.一种信息处理系统，其特征在于，所述信息处理系统包括第一处理装置和第二处理装置，所述第一处理装置用于处理第一类用户的手势姿态信息，所述第二处理装置用于处理第二类用户的语音信息；
其中，所述第一处理装置包括第一控制模块，所述第一控制模块用于获取所述第一处理装置采集的手势姿态信息，并根据动作识别模型对所述手势姿态信息进行识别，当识别出所述手势姿态信息与预设标准姿态信息匹配时，通过所述第一处理装置输出与所述手势姿态信息对应的第一输出信息；
所述第二处理装置包括第二控制模块，所述第二控制模块用于获取所述第二处理装置采集的语音信息，并根据语音识别模型对所述语音信息进行识别，当识别出所述语音信息与预设音频信息匹配时，通过所述第二处理装置输出与所述语音信息匹配的第二输出信息。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810841361.7A CN109063624A (zh) | 2018-07-26 | 2018-07-26 | 信息处理方法、系统、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810841361.7A CN109063624A (zh) | 2018-07-26 | 2018-07-26 | 信息处理方法、系统、电子设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109063624A true CN109063624A (zh) | 2018-12-21 |
Family
ID=64835621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810841361.7A Pending CN109063624A (zh) | 2018-07-26 | 2018-07-26 | 信息处理方法、系统、电子设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109063624A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109920309A (zh) * | 2019-01-16 | 2019-06-21 | 深圳壹账通智能科技有限公司 | 手语转换方法、装置、存储介质和终端 |
| CN110322760A (zh) * | 2019-07-08 | 2019-10-11 | 北京达佳互联信息技术有限公司 | 语音数据生成方法、装置、终端及存储介质 |
| CN110931042A (zh) * | 2019-11-14 | 2020-03-27 | 北京欧珀通信有限公司 | 同声传译方法、装置、电子设备以及存储介质 |
| CN111354362A (zh) * | 2020-02-14 | 2020-06-30 | 北京百度网讯科技有限公司 | 用于辅助听障者交流的方法和装置 |
| CN111435268A (zh) * | 2019-01-11 | 2020-07-21 | 合肥虹慧达科技有限公司 | 基于图像的识别与重建的人机交互方法和使用该方法的系统及装置 |
| CN112686132A (zh) * | 2020-12-28 | 2021-04-20 | 南京工程学院 | 一种手势识别方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976675A (zh) * | 2016-05-17 | 2016-09-28 | 福建万亿店中店电子商务有限责任公司 | 聋哑人与人的智能信息交流装置及其交流方法 |
| CN108268835A (zh) * | 2017-12-28 | 2018-07-10 | 努比亚技术有限公司 | 手语翻译方法、移动终端及计算机可读存储介质 |
| CN207624216U (zh) * | 2017-08-17 | 2018-07-17 | 山东师范大学 | 一种语音和手语双向互译系统 |
| CN108877410A (zh) * | 2018-08-07 | 2018-11-23 | 深圳市漫牛医疗有限公司 | 一种聋哑人手语交互方法以及聋哑人手语交互装置 |
-
2018
- 2018-07-26 CN CN201810841361.7A patent/CN109063624A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976675A (zh) * | 2016-05-17 | 2016-09-28 | 福建万亿店中店电子商务有限责任公司 | 聋哑人与人的智能信息交流装置及其交流方法 |
| CN207624216U (zh) * | 2017-08-17 | 2018-07-17 | 山东师范大学 | 一种语音和手语双向互译系统 |
| CN108268835A (zh) * | 2017-12-28 | 2018-07-10 | 努比亚技术有限公司 | 手语翻译方法、移动终端及计算机可读存储介质 |
| CN108877410A (zh) * | 2018-08-07 | 2018-11-23 | 深圳市漫牛医疗有限公司 | 一种聋哑人手语交互方法以及聋哑人手语交互装置 |
Non-Patent Citations (2)
| Title |
|---|
| 张毅等: "《移动机器人技术基础与制作》", 31 January 2013 * |
| 胡航: "《语音信号处理》", 31 July 2009 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111435268A (zh) * | 2019-01-11 | 2020-07-21 | 合肥虹慧达科技有限公司 | 基于图像的识别与重建的人机交互方法和使用该方法的系统及装置 |
| CN109920309A (zh) * | 2019-01-16 | 2019-06-21 | 深圳壹账通智能科技有限公司 | 手语转换方法、装置、存储介质和终端 |
| CN110322760A (zh) * | 2019-07-08 | 2019-10-11 | 北京达佳互联信息技术有限公司 | 语音数据生成方法、装置、终端及存储介质 |
| CN110931042A (zh) * | 2019-11-14 | 2020-03-27 | 北京欧珀通信有限公司 | 同声传译方法、装置、电子设备以及存储介质 |
| CN110931042B (zh) * | 2019-11-14 | 2022-08-16 | 北京欧珀通信有限公司 | 同声传译方法、装置、电子设备以及存储介质 |
| CN111354362A (zh) * | 2020-02-14 | 2020-06-30 | 北京百度网讯科技有限公司 | 用于辅助听障者交流的方法和装置 |
| CN112686132A (zh) * | 2020-12-28 | 2021-04-20 | 南京工程学院 | 一种手势识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109063624A (zh) | 信息处理方法、系统、电子设备和计算机可读存储介质 | |
| CN109377539B (zh) | 用于生成动画的方法和装置 | |
| US12033621B2 (en) | Method for speech recognition based on language adaptivity and related apparatus | |
| JP7191987B2 (ja) | 話者埋め込みと訓練された生成モデルとを使用する話者ダイアライゼーション | |
| CN110853618B (zh) | 一种语种识别的方法、模型训练的方法、装置及设备 | |
| US20190188903A1 (en) | Method and apparatus for providing virtual companion to a user | |
| CN109859772B (zh) | 情绪识别方法、装置及计算机可读存储介质 | |
| CN112562691B (zh) | 一种声纹识别的方法、装置、计算机设备及存储介质 | |
| US20150325240A1 (en) | Method and system for speech input | |
| EP4099709A1 (en) | Data processing method and apparatus, device, and readable storage medium | |
| US20240070397A1 (en) | Human-computer interaction method, apparatus and system, electronic device and computer medium | |
| CN107430858A (zh) | 传送标识当前说话者的元数据 | |
| Yousaf et al. | A Novel Technique for Speech Recognition and Visualization Based Mobile Application to Support Two‐Way Communication between Deaf‐Mute and Normal Peoples | |
| CN113380271B (zh) | 情绪识别方法、系统、设备及介质 | |
| WO2020238045A1 (zh) | 智能语音识别方法、装置及计算机可读存储介质 | |
| CN109256133A (zh) | 一种语音交互方法、装置、设备及存储介质 | |
| CN113129867B (zh) | 语音识别模型的训练方法、语音识别方法、装置和设备 | |
| CN112071322A (zh) | 一种端到端的声纹识别方法、装置、存储介质及设备 | |
| CN110602516A (zh) | 基于视频直播的信息交互方法、装置及电子设备 | |
| US20230127787A1 (en) | Method and apparatus for converting voice timbre, method and apparatus for training model, device and medium | |
| CN114895817B (zh) | 交互信息处理方法、网络模型的训练方法及装置 | |
| CN112309365A (zh) | 语音合成模型的训练方法、装置、存储介质以及电子设备 | |
| CN109947971B (zh) | 图像检索方法、装置、电子设备及存储介质 | |
| CN113420556A (zh) | 基于多模态信号的情感识别方法、装置、设备及存储介质 | |
| CN110946554A (zh) | 咳嗽类型识别方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181221 |