CN109948153A - 一种涉及视频和音频多媒体信息处理的人机交流系统 - Google Patents
一种涉及视频和音频多媒体信息处理的人机交流系统 Download PDFInfo
- Publication number
- CN109948153A CN109948153A CN201910173277.7A CN201910173277A CN109948153A CN 109948153 A CN109948153 A CN 109948153A CN 201910173277 A CN201910173277 A CN 201910173277A CN 109948153 A CN109948153 A CN 109948153A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- subsystem
- sound
- man
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006854 communication Effects 0.000 title claims abstract description 23
- 238000004891 communication Methods 0.000 title claims abstract description 20
- 230000010365 information processing Effects 0.000 title claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 238000007405 data analysis Methods 0.000 claims abstract description 12
- 238000005516 engineering process Methods 0.000 claims abstract description 11
- 238000013500 data storage Methods 0.000 claims abstract description 8
- 230000015654 memory Effects 0.000 claims description 8
- 230000001073 episodic memory Effects 0.000 claims 1
- 230000036651 mood Effects 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 6
- 230000010354 integration Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 abstract description 2
- 210000004556 brain Anatomy 0.000 abstract 1
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 2
- 238000004868 gas analysis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000014860 sensory perception of taste Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Abstract
本发明公开了一种涉及视频和音频多媒体信息处理的人机交流系统，包括数据采集、数据存储、数据分析和语音/文字/视频输出，所述数据采集包括影像数据采集、语音/文字/气体数据采集和数据分析；所述数据存储、数据分析均设在服务器系统中，服务器的构架分别是技术层服务器和数据层；所述技术层服务器包括客户端子系统、影像子系统、语音子系统、气体子系统、场景子系统和综合分析子系统；所述数据层包括影像数据库和语音/文字数据库。本发明综合了影像、语音、语义多种算法，使对话内容在全方位、多层级整合中保持连贯性、一致性和自主性；本发明串联了影像数据、语音/文字/气体数据，且系统使机器拥有类人的思维方式，使人机交流更贴近“人‑人”交流，使系统处理交流信息的过程更接近人脑处理方式，使人机交流更顺畅，范围更广。
Description
技术领域
本发明涉及智能自动化领域和机器人神经网络技术领域，具体是一种涉及视频和音频多媒体信息处理的人机交流系统。
背景技术
当前，随着科学技术的不断进步，机器人技术领域也得到了快速的发展，在机器人的行为逻辑以及人机互动中，人机对话是最常见的，而人机对话一般是指人与人机语音或文字对答。当前的人机对话系统只是在特定环境下的语音或文字对答。随着人工智能及信息技术不断发展成熟，特定环境下人机语音或文字对答已经不能满足社会发展的脚步。市场及应用上迫切需要一种在任意环境下的人机语音或文字自然对话系统，用以解决词不达意，人机交流不知所云等自然交流困难的问题。
发明内容
本发明的目的在于提供一种涉及视频和音频多媒体信息处理的人机交流系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种涉及视频和音频多媒体信息处理的人机交流系统，包括数据采集、数据存储、数据分析和语音/文字/视频输出，所述数据采集包括影像数据采集、语音/文字/气体数据采集和数据分析；所述数据存储、数据分析均设在服务器系统中，服务器的构架分别是技术层服务器和数据层；所述技术层服务器包括客户端子系统、影像子系统、语音子系统、气体子系统、场景子系统和综合分析子系统；所述数据层包括影像数据库、气体信息库和语音/文字数据库。
作为本发明的进一步方案：所述客户端子系统包括语音、文字、影像、气体识别系统。
作为本发明的进一步方案：所述影像子系统包括影像识别、影像存储和影像分析。
作为本发明的进一步方案：所述语音子系统包括声音文字识别、声音文字存储和声音文字分析。
作为本发明的进一步方案：所述场景子系统包括词汇场和影像场。
作为本发明的进一步方案：所述气体子系统包括气体识别和气体反馈。
作为本发明的再进一步方案：所述综合分析子系统包括形象记忆、动作记忆、逻辑记忆和情绪记忆。
与现有技术相比，本发明的有益效果体现在以下几个方面：
一、本发明综合了影像、语音、语义、气体多种算法，使对话内容在全方位、多层级整合中保持连贯性、一致性和自主性。
二、本发明综合各种算法；包括深度学习、加强学习、专家系统共同构建整个系统，并基于数据库不断跟新，使得影像场、词汇场更科学、更智能，从而实现机器对语音及文字理解和认识，为机器与人自然沟通提供了快速有效的解决方案。
三、本发明串联了影像数据、语音/文字/气体数据，且系统使机器拥有类人的思维方式。
四、本发明支持气体分析，可通过气体识别可能来源，扩大了人机交流过程可提问的范围，进行气体追踪。
五、本发明使用影像场、语义场（词汇场）处理技术，对数据库中相关碎片记忆的匹配并进行语言重组；避免了人机互动通过选择题、判断题等方式进行选择，只需要像人与人交流一样的正常说话，即可由系统自行分析出人要表述的内容，此交流过程内容一致，对话可以承上启下；相比于现有的人机对话通过固定语言环境机器给出选择题，人进行答案的选择，本系统流程更人性化、自然化多样化。
附图说明
图1为一种涉及视频和音频多媒体信息处理的人机交流系统的流程示意图。
图2为一种涉及视频和音频多媒体信息处理的人机交流系统中服务器系统的架构示意图。
图3为一种涉及视频和音频多媒体信息处理的人机交流系统的执行示意图。
具体实施方式
下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
请参阅图1-3，一种涉及视频和音频多媒体信息处理的人机交流系统，包括数据采集、数据存储、数据分析和语音/文字输出，本系统的流程是先进行数据采集，然后将数据传输到服务器，并在服务器中进场存储，其后再通过服务器分析数据，并最终以语音/文字的形式输出；所述数据采集包括影像数据采集、语音/文字数据采集和数据分析。
所述影像数据采集用于对影像内容进采集，此影像内容主要包括四种用途：
1.环境的识别：用于识别人机对话场景内容，了解所处环境信息；
2.影像内容：用于识别人机对话目标内容；
3.影像对比：用于识别人机对话的相关信息；并基于影像识别、智能算法来了解与影像相关知识信息；
4.影像认知：用于人机对话的影像储备，将影像录入到相关信息中，通过深度学习、强化学习、智能算法等来认识并记住影像信息。
所述语音/文字数据采集用于对语音内容的采集，此语音内容主要包括四种用途：
1.语音的出处:用于识别人机对话的声音方向及事物，并基于声音方向分析及发出声音事物；
2.语音音色：用于人机对话音色的对比，并基于声波及声频，得到发声的具体事务；发生环境的基本情况。
3.语音/文字内容：用于人机对话主体内容识别；
4.语音/文字认知：用于机器的语音储备，将语音、文字录入相关信息，通过深度学习、强化学习、智能算法来认识并记住声音。将语言进行区分，不同国家不同地域做进一步的数据采集，同时记录语言发音习惯。
所述数据分析用于影像场、词汇场中，此语义内容主要包括四种用途：
1.语义语言：用于人机对话主体内容识别；
2.方言-外语：用于识别人机对话的特定人群；
3.语法：用于人机对话的修辞方法内容识别；
4.语义认知：用于人机的语义储备，基于语音识别，将语音录入相关信息，通过深度学习、强化学习、智能算法来认识并记住语义信息。
所述气体数据分析用于对气体内容进行模拟分析，此内容主要包括三种用途：
1.气体分析：用于分辨气体气味；
2.气体定位：用于气体发生位置环境；
3.气体模拟：用于交流气体气味识别；
所述影像语言分析用于对影像内容进行语言影像输出，此内容主要包括四种用途：
1.语音：用于生成语音数据进行交流；
2.语音输出：用于提高交流；
3.影像：用于生成示例视频；
4.影像语言输出：用于将机械语言、视频影像，转换成动态的语音、视频。通过语音视频交流，在视觉听觉方面提升交流体验。
所述数据存储、数据分析均设在服务器系统中，服务器的构架分别是技术层服务器和数据层，所述技术层服务器包括客户端子系统、影像子系统、语音子系统、气体子系统、场景子系统和综合分析子系统。
所述客户端子系统包括语音、文字、影像、气体识别系统，使得客户用语言、文字或者影像就能够与机器进行互动；
所述影像子系统包括影像识别、影像存储和影像分析，通过客户影像信息互动内容来进行影像子系统集合，从中得到客户影像信息相关的全部资料；
所述语音子系统包括声音文字识别、声音文字存储和声音文字分析，并通过客户语音/文字信息进入语音子系统集合，并从中得到与客户语音/文字信息相关的全部资料；
所述场景子系统包括词汇场和影像场，词汇场是客户相关意义的语音/文字；例如客户A，那么词汇场会导出a1、a2、a3......的集合；影像场同样是客户相关意义的影像A，那么影像场导出a1、a2、a3......集合；
所述综合分析子系统包括形象记忆、动作记忆、逻辑记忆和情绪记忆，本系统是对数据库中相关碎片记忆的匹配并进行重组，通过客户A影像场及词汇场重新分配整合得出应答B，机器输出语音/文字，通过综合分析算法，实现人机对话交流的连贯性；保持对话内容的一致性，从而实现机器的自主思维。
所述数据层包括影像数据库和语音/文字数据库，影像数据库能够采集存储各种影像数据，语音/文字数据库能够采集存储各种声音、语音或文字数据。
所述气体子系统包括气体的分析和气体的模拟，实现人在听觉、视觉和味觉三方面的交流。
本发明的系统在工作时，其工作执行步骤如下：
S1.语音（声音）或文字内容输入到机器以及机器听到声音看到的图像进行主题内容归类；
S2.归类后主题内容分别在影像数据库、语音数据库、语义数据库中匹配与主题相关信息数据。对新的信息资料进行存储；
S3.影像场、词汇场进行主题相关信息同质化分类；A1、A2、A3......
S4.同质化相关信息综合分析主题叙述内容描述的是什么，给出相应答案；
S5.语音/文字回答进行输出。进入下一个交流循环；
通过串联各子系统从而实现机器自主思维、在任何环境下人机自由对话。
本发明综合了影像、语音、语义多种算法，使对话内容在全方位、多层级整合中保持连贯性、一致性和自主性。
本发明综合各种算法；包括深度学习、加强学习、专家系统共同构建整个系统，并基于数据库不断跟新，使得影像场、词汇场更科学、更智能，从而实现机器对语音及文字理解和认识，为机器与人自然沟通提供了快速有效的解决方案。
本发明串联了影像数据、语音/文字数据，且系统使机器拥有类人的思维方式。
本发明使用影像场、语义场（词汇场）处理技术，对数据库中相关碎片记忆的匹配并进行语言重组；避免了人机互动通过选择题、判断题等方式进行选择，只需要像人与人交流一样的正常说话，即可由系统自行分析出人要表述的内容，此交流过程内容一致，对话可以承上启下；相比于现有的人机对话通过固定语言环境机器给出选择题，人进行答案的选择，本系统流程更人性化、自然化多样化。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下作出各种变化。
Claims (6)
1.一种涉及视频和音频多媒体信息处理的人机交流系统，包括数据采集、数据存储、数据分析和语音/文字/气体输出，其特征在于，所述数据采集包括影像数据采集、语音/文字/气体数据采集和数据分析；所述数据存储、数据分析均设在服务器系统中，服务器的构架分别是技术层服务器和数据层；所述技术层服务器包括客户端子系统、影像子系统、语音子系统、气体子系统、场景子系统和综合分析子系统；所述数据层包括影像数据库和语音/文字/气体数据库。
2.根据权利要求1所述的一种涉及视频和音频多媒体信息处理的人机交流系统，其特征在于，所述客户端子系统包括语音、文字、影像、气体识别系统。
3.根据权利要求1所述的一种涉及视频和音频多媒体信息处理的人机交流系统，其特征在于，所述影像子系统包括影像识别、影像存储、影像分析和影像输出。
4.根据权利要求1所述的一种涉及视频和音频多媒体信息处理的人机交流系统，其特征在于，所述语音子系统包括声音文字识别、声音文字存储和声音文字分析。
5.根据权利要求1所述的一种涉及视频和音频多媒体信息处理的人机交流系统，其特征在于，所述场景子系统包括词汇场和影像场。
6.根据权利要求1所述的一种涉及视频、气体和音频多媒体信息处理的人机交流系统，其特征在于，所述综合分析子系统包括形象记忆、动作记忆、逻辑记忆、场景记忆和情绪记忆。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910173277.7A CN109948153A (zh) | 2019-03-07 | 2019-03-07 | 一种涉及视频和音频多媒体信息处理的人机交流系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910173277.7A CN109948153A (zh) | 2019-03-07 | 2019-03-07 | 一种涉及视频和音频多媒体信息处理的人机交流系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109948153A true CN109948153A (zh) | 2019-06-28 |
Family
ID=67009255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910173277.7A Pending CN109948153A (zh) | 2019-03-07 | 2019-03-07 | 一种涉及视频和音频多媒体信息处理的人机交流系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109948153A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110688911A (zh) * | 2019-09-05 | 2020-01-14 | 深圳追一科技有限公司 | 视频处理方法、装置、系统、终端设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1938714A (zh) * | 2004-03-23 | 2007-03-28 | 英国电讯有限公司 | 用于对视频序列的场景进行语义分段的方法和系统 |
| JP2007272772A (ja) * | 2006-03-31 | 2007-10-18 | Xing Inc | 対話型インターフェイス制御システム |
| CN104951077A (zh) * | 2015-06-24 | 2015-09-30 | 百度在线网络技术（北京）有限公司 | 基于人工智能的人机交互方法、装置和终端设备 |
| CN106057205A (zh) * | 2016-05-06 | 2016-10-26 | 北京云迹科技有限公司 | 一种智能机器人自动语音交互方法 |
| CN109256149A (zh) * | 2018-08-09 | 2019-01-22 | 上海常仁信息科技有限公司 | 一种机器人的情感交流系统和方法 |
-
2019
- 2019-03-07 CN CN201910173277.7A patent/CN109948153A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1938714A (zh) * | 2004-03-23 | 2007-03-28 | 英国电讯有限公司 | 用于对视频序列的场景进行语义分段的方法和系统 |
| JP2007272772A (ja) * | 2006-03-31 | 2007-10-18 | Xing Inc | 対話型インターフェイス制御システム |
| CN104951077A (zh) * | 2015-06-24 | 2015-09-30 | 百度在线网络技术（北京）有限公司 | 基于人工智能的人机交互方法、装置和终端设备 |
| CN106057205A (zh) * | 2016-05-06 | 2016-10-26 | 北京云迹科技有限公司 | 一种智能机器人自动语音交互方法 |
| CN109256149A (zh) * | 2018-08-09 | 2019-01-22 | 上海常仁信息科技有限公司 | 一种机器人的情感交流系统和方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110688911A (zh) * | 2019-09-05 | 2020-01-14 | 深圳追一科技有限公司 | 视频处理方法、装置、系统、终端设备及存储介质 |
| CN110688911B (zh) * | 2019-09-05 | 2021-04-02 | 深圳追一科技有限公司 | 视频处理方法、装置、系统、终端设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102170563B1 (ko) | 인공 지능에 기반한 휴먼 머신 인터랙티브 방법 및 장치 | |
| US11475897B2 (en) | Method and apparatus for response using voice matching user category | |
| Cole et al. | Perceptive animated interfaces: First steps toward a new paradigm for human-computer interaction | |
| CN109359215A (zh) | 视频智能推送方法和系统 | |
| CN107958433A (zh) | 一种基于人工智能的在线教育人机交互方法与系统 | |
| CN110427472A (zh) | 智能客服匹配的方法、装置、终端设备及存储介质 | |
| Scherer et al. | A generic framework for the inference of user states in human computer interaction: How patterns of low level behavioral cues support complex user states in HCI | |
| CN107133303A (zh) | 用于输出信息的方法和装置 | |
| CN110148400A (zh) | 发音类型的识别方法、模型的训练方法、装置及设备 | |
| CN110517689A (zh) | 一种语音数据处理方法、装置及存储介质 | |
| CN111651497B (zh) | 用户标签挖掘方法、装置、存储介质及电子设备 | |
| Wu et al. | Multimodal large language models: A survey | |
| Antunes et al. | A framework to support development of sign language human-computer interaction: Building tools for effective information access and inclusion of the deaf | |
| Baird et al. | Emotion recognition in public speaking scenarios utilising an lstm-rnn approach with attention | |
| Catania et al. | CORK: A COnversational agent framewoRK exploiting both rational and emotional intelligence | |
| CN115731751A (zh) | 一种融合人工智能和虚拟现实技术的在线教学系统 | |
| CN110245253B (zh) | 一种基于环境信息的语义交互方法及系统 | |
| US11587561B2 (en) | Communication system and method of extracting emotion data during translations | |
| CN109948153A (zh) | 一种涉及视频和音频多媒体信息处理的人机交流系统 | |
| CN117251057A (zh) | 一种基于aigc构建ai数智人的方法及系统 | |
| CN115222857A (zh) | 生成虚拟形象的方法、装置、电子设备和计算机可读介质 | |
| Grifoni et al. | When language evolution meets multimodality: Current status and challenges toward multimodal computational models | |
| Srinivasan et al. | Natural Language Processing: Concepts and Applications Using Chatbot | |
| Hirsch et al. | RehaLingo-towards a speech training system for aphasia | |
| CN117560340B (zh) | 基于模拟角色的信息交互方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190628 |
|
| WD01 | Invention patent application deemed withdrawn after publication |