CN108229641A - 一种基于多层代理的人工智能分析系统 - Google Patents

一种基于多层代理的人工智能分析系统 Download PDF

Info

Publication number
CN108229641A
CN108229641A CN201711387902.5A CN201711387902A CN108229641A CN 108229641 A CN108229641 A CN 108229641A CN 201711387902 A CN201711387902 A CN 201711387902A CN 108229641 A CN108229641 A CN 108229641A
Authority
CN
China
Prior art keywords
module
analysis
image
artificial intelligence
agent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711387902.5A
Other languages
English (en)
Inventor
丁娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU CREATEVIEW OPTOELECTRONICS TECHNOLOGY Co Ltd
Original Assignee
GUANGZHOU CREATEVIEW OPTOELECTRONICS TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU CREATEVIEW OPTOELECTRONICS TECHNOLOGY Co Ltd filed Critical GUANGZHOU CREATEVIEW OPTOELECTRONICS TECHNOLOGY Co Ltd
Priority to CN201711387902.5A priority Critical patent/CN108229641A/zh
Publication of CN108229641A publication Critical patent/CN108229641A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting

Abstract

本发明公开了一种基于多层代理的人工智能分析系统，包括行为分析模块、语句分析模块和图片分析模块，本方法十分简单，本发明通过行为以及面部神态来与神态肢体动作数据库进行对比，能够准确反映出不同神态下人体的不同精神状态从而可以输出交流的语言来安慰或者与他人交谈，实现人工智能；预处理模块用于将摄像头拍摄到的内容进行提取处理，获得特征信息，并将特征信息发送至对比模块能够准确进行行为分析，提高分析的准确性；语句分析模块通过将声音信号进行缩句，提出核心词语，并进行通过其修饰词来进行用户的情感预测，且通过与反应库中的词句进行对比，反应库中的词句进行输出，能够扩大意图分析领域，适用更大范围的搜索。

Description

一种基于多层代理的人工智能分析系统
技术领域
本发明涉及数据分析领域，具体为一种基于多层代理的人工智能分析系统。
背景技术
人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。
随着互联网的快速发展和崛起，搜索引擎的功能以及人工机器人对话功能也日益强大，搜索引擎可以通过搜索者输入的语句信息进行分析，且能够知道用户的意图，但是这样的意图分析方式较为单一，仅能够识别特定领域的意图，识别领域小，且仅能够通过文字来进行分析。人工智能基本局限于聊天机器人的范畴，是指计算机软件来模拟具有一定语言功能的程序单元，实现与人进行简单的交流，目前现存的聊天机器人都受限于人工智能领域的研究和实现尚不成熟，本身尚未具有智能功能，只能接收用户的文本输入，同样给出简单的文本回复，与大众想象中的人工智能还相去甚远。
发明内容
本发明的目的在于提供一种基于多层代理的人工智能分析系统，以解决上述背景技术中提出的问题。
为了实现上述目的，本发明采用的技术方案为：一种基于多层代理的人工智能分析系统，其特征在于：包括行为分析模块，用于对行为进行分析处理；
语句分析模块，用于针对输入文字类型的语言以及语音语言进行分析处理；
图片分析模块，用于针对输入图像进行对于图像的分析处理。
作为上述一种优选方式，所述行为分析模块包括摄像头，用于获取实时行为动作信息；行为处理模块，用于对实时行为动作信息进行分析处理，判断用户的状态；其中实时行为动作信息包括人体的肢体行为、面部神态；神态肢体动作数据库，用于存储各种神态以及肢体动作，每个神态和每个肢体动作均对应表示该状态的词句、以及根据其词句所需做出的反应命令。
通过上述技术方案，通过行为以及面部神态来与神态肢体动作数据库进行对比，能够准确反映出不同神态下人体的不同精神状态从而可以输出交流的语言来安慰或者与他人交谈，实现人工智能。
作为上述一种优选方式，所述行为处理模块包括对比模块，用于将通过摄像头获取的神态以及肢体动作与神态肢体动作数据库中进行对比，一致的则提取数据库中该肢体神态所表示的词句并输出值行为处理模块。
作为上述一种优选方式，所述行为处理模块还包括预处理模块和输出分析模块，所述预处理模块用于将摄像头拍摄到的内容进行提取处理，获得特征信息，并将特征信息发送至对比模块，所述输出分析模块用于将对比装置得到的与神态肢体动作数据库中的数据中所夹带的反应命令作为输出。
通过上述技术方案，预处理模块用于将摄像头拍摄到的内容进行提取处理，获得特征信息，并将特征信息发送至对比模块能够准确进行行为分析，提高分析的准确性。
作为上述一种优选方式，所述语句分析模块包括声音接收模块、核心词提取模块，反应库以及处理输出模块。
作为上述一种优选方式，所述声音接收模块将接收声音信号，并将声音信号发送至核心词提取模块，所述核心词提取模块将根据语句的主谓宾以及语句包含的修饰词来进行核心词的提取，提取后的核心词与反应库中的核心词进行对比，一致的核心词，则将信息发送至处理输出模块进行输出；其中反应库中包括词语以及该词语所包含的输出命令语句。
通过上述技术方案，语句分析模块通过将声音信号进行缩句，提出核心词语，并进行通过其修饰词来进行用户的情感预测，且通过与反应库中的词句进行对比，反应库中的词句进行输出，能够扩大意图分析领域，适用更大范围的搜索。
作为上述一种优选方式，所述图片分析模块包括图像处理模块、图像对比模块和图像数据库以及近似图像输出模块。
作为上述一种优选方式，所述图像数据库内存储各种图像，所述图像处理模块用于处理待处理的图像，并将信息发送至图像对比模块，图像对比模块将图像以及数据库的图像进行对比找到近似图像，通过近似图像输出模块进行输出。
作为上述一种优选方式，所述行为分析模块和语句分析模块的输出模块均通过语音形式进行输出，所述图像分析模块以图像形式进行输出。
本发明具有以下效益：本方法十分简单，本发明通过行为以及面部神态来与神态肢体动作数据库进行对比，能够准确反映出不同神态下人体的不同精神状态从而可以输出交流的语言来安慰或者与他人交谈，实现人工智能；预处理模块用于将摄像头拍摄到的内容进行提取处理，获得特征信息，并将特征信息发送至对比模块能够准确进行行为分析，提高分析的准确性；语句分析模块通过将声音信号进行缩句，提出核心词语，并进行通过其修饰词来进行用户的情感预测，且通过与反应库中的词句进行对比，反应库中的词句进行输出，能够扩大意图分析领域，适用更大范围的搜索。
附图说明
图1为本发明系统结构示意图。
附图标记：1-行为分析模块；2-语句分析模块；3-图片分析模块；4-摄像头；5-行为处理模块；6-神态肢体动作数据库；7-对比模块；8-预处理模块；9-输出分析模块；10-声音接收模块；11-核心词提取模块；12-反应库； 13-处理输出模块；14-图像处理模块；15-图像对比模块；16-图像数据库； 17-近似图像输出模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明采用的技术方案为：一种基于多层代理的人工智能分析系统，其特征在于：包括行为分析模块1，用于对行为进行分析处理；
语句分析模块2，用于针对输入文字类型的语言以及语音语言进行分析处理；
图片分析模块3，用于针对输入图像进行对于图像的分析处理。
作为上述一种优选方式，所述行为分析模块1包括摄像头4，用于获取实时行为动作信息；行为处理模块5，用于对实时行为动作信息进行分析处理，判断用户的状态；其中实时行为动作信息包括人体的肢体行为、面部神态；神态肢体动作数据库6，用于存储各种神态以及肢体动作，每个神态和每个肢体动作均对应表示该状态的词句、以及根据其词句所需做出的反应命令。
通过上述技术方案，通过行为以及面部神态来与神态肢体动作数据库6 进行对比，能够准确反映出不同神态下人体的不同精神状态从而可以输出交流的语言来安慰或者与他人交谈，实现人工智能。
作为上述一种优选方式，所述行为处理模块5包括对比模块7，用于将通过摄像头4获取的神态以及肢体动作与神态肢体动作数据库6中进行对比，一致的则提取数据库中该肢体神态所表示的词句并输出值行为处理模块5。
作为上述一种优选方式，所述行为处理模块5还包括预处理模块8和输出分析模块9，所述预处理模块8用于将摄像头4拍摄到的内容进行提取处理，获得特征信息，并将特征信息发送至对比模块7，所述输出分析模块9用于将对比装置得到的与神态肢体动作数据库6中的数据中所夹带的反应命令作为输出。
通过上述技术方案，预处理模块8用于将摄像头拍摄到的内容进行提取处理，获得特征信息，并将特征信息发送至对比模块7能够准确进行行为分析，提高分析的准确性。
作为上述一种优选方式，所述语句分析模块2包括声音接收模块10、核心词提取模块11，反应库12以及处理输出模块13。
作为上述一种优选方式，所述声音接收模块10将接收声音信号，并将声音信号发送至核心词提取模块11，所述核心词提取模块11将根据语句的主谓宾以及语句包含的修饰词来进行核心词的提取，提取后的核心词与反应库12 中的核心词进行对比，一致的核心词，则将信息发送至处理输出模块13进行输出；其中反应库12中包括词语以及该词语所包含的输出命令语句。
通过上述技术方案，语句分析模块2通过将声音信号进行缩句，提出核心词语，并进行通过其修饰词来进行用户的情感预测，且通过与反应库12中的词句进行对比，反应库12中的词句进行输出，能够扩大意图分析领域，适用更大范围的搜索。
作为上述一种优选方式，所述图片分析模块3包括图像处理模块14、图像对比模块15和图像数据库16以及近似图像输出模块17。
作为上述一种优选方式，所述图像数据库16内存储各种图像，所述图像处理模块14用于处理待处理的图像，并将信息发送至图像对比模块15，图像对比模块15将图像以及数据库的图像进行对比找到近似图像，通过近似图像输出模块17进行输出。
作为上述一种优选方式，所述行为分析模块1和语句分析模块2的输出模块均通过语音形式进行输出，所述图像分析模块以图像形式进行输出。
本发明采用多元化进行分析，能够适用更多人群。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于多层代理的人工智能分析系统，其特征在于：包括行为分析模块(1)，用于对行为进行分析处理；
语句分析模块(2)，用于针对输入文字类型的语言以及语音语言进行分析处理；
图片分析模块(3)，用于针对输入图像进行对于图像的分析处理。
2.根据权利要求1所述的基于一种基于多层代理的人工智能分析系统，其特征在于：所述行为分析模块(1)包括摄像头(4)，用于获取实时行为动作信息；
行为处理模块(5)，用于对实时行为动作信息进行分析处理，判断用户的状态；其中实时行为动作信息包括人体的肢体行为、面部神态；
神态肢体动作数据库(6)，用于存储各种神态以及肢体动作，每个神态和每个肢体动作均对应表示该状态的词句、以及根据其词句所需做出的反应命令。
3.根据权利要求2所述的基于一种基于多层代理的人工智能分析系统，其特征在于：所述行为处理模块(5)包括对比模块(7)，用于将通过摄像头(4)获取的神态以及肢体动作与神态肢体动作数据库(6)中进行对比，一致的则提取数据库中该肢体神态所表示的词句并输出值行为处理模块(5)。
4.根据权利要求3所述的基于一种基于多层代理的人工智能分析系统，其特征在于：所述行为处理模块(5)还包括预处理模块(8)和输出分析模块(9)，所述预处理模块(8)用于将摄像头(4)拍摄到的内容进行提取处理，获得特征信息，并将特征信息发送至对比模块(7)，所述输出分析模块(9)用于将对比装置得到的与神态肢体动作数据库(6)中的数据中所夹带的反应命令作为输出。
5.根据权利要求1所述的基于一种基于多层代理的人工智能分析系统，其特征在于：所述语句分析模块(2)包括声音接收模块(10)、核心词提取模块(11)，反应库(12)以及处理输出模块(13)。
6.根据权利要求5所述的基于一种基于多层代理的人工智能分析系统，其特征在于：所述声音接收模块(10)将接收声音信号，并将声音信号发送至核心词提取模块(11)，所述核心词提取模块(11)将根据语句的主谓宾以及语句包含的修饰词来进行核心词的提取，提取后的核心词与反应库(12)中的核心词进行对比，一致的核心词，则将信息发送至处理输出模块(13)进行输出；其中反应库(12)中包括词语以及该词语所包含的输出命令语句。
7.根据权利要求1所述的基于一种基于多层代理的人工智能分析系统，其特征在于：所述图片分析模块(3)包括图像处理模块(14)、图像对比模块(15)和图像数据库(16)以及近似图像输出模块(17)。
8.根据权利要求7所述的基于一种基于多层代理的人工智能分析系统，其特征在于：所述图像数据库(16)内存储各种图像，所述图像处理模块(14)用于处理待处理的图像，并将信息发送至图像对比模块(15)，图像对比模块(15)将图像以及数据库的图像进行对比找到近似图像，通过近似图像输出模块(17)进行输出。
9.根据权利要求1所述的基于一种基于多层代理的人工智能分析系统，其特征在于：所述行为分析模块(1)和语句分析模块(2)的输出模块均通过语音形式进行输出，所述图像分析模块以图像形式进行输出。
CN201711387902.5A 2017-12-20 2017-12-20 一种基于多层代理的人工智能分析系统 Pending CN108229641A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711387902.5A CN108229641A (zh) 2017-12-20 2017-12-20 一种基于多层代理的人工智能分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711387902.5A CN108229641A (zh) 2017-12-20 2017-12-20 一种基于多层代理的人工智能分析系统

Publications (1)

Publication Number Publication Date
CN108229641A true CN108229641A (zh) 2018-06-29

Family

ID=62652624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711387902.5A Pending CN108229641A (zh) 2017-12-20 2017-12-20 一种基于多层代理的人工智能分析系统

Country Status (1)

Country Link
CN (1) CN108229641A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105082150A (zh) * 2015-08-25 2015-11-25 国家康复辅具研究中心 一种基于用户情绪及意图识别的机器人人机交互方法
US20160216944A1 (en) * 2015-01-27 2016-07-28 Fih (Hong Kong) Limited Interactive display system and method
CN106528531A (zh) * 2016-10-31 2017-03-22 北京百度网讯科技有限公司 基于人工智能的意图分析方法及装置
CN106683672A (zh) * 2016-12-21 2017-05-17 竹间智能科技（上海）有限公司 一种基于情感和语义的智能对话方法及系统
CN106713859A (zh) * 2016-12-19 2017-05-24 贵州大学 一种图片视觉监控搜索系统及其搜索方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160216944A1 (en) * 2015-01-27 2016-07-28 Fih (Hong Kong) Limited Interactive display system and method
CN105082150A (zh) * 2015-08-25 2015-11-25 国家康复辅具研究中心 一种基于用户情绪及意图识别的机器人人机交互方法
CN106528531A (zh) * 2016-10-31 2017-03-22 北京百度网讯科技有限公司 基于人工智能的意图分析方法及装置
CN106713859A (zh) * 2016-12-19 2017-05-24 贵州大学 一种图片视觉监控搜索系统及其搜索方法
CN106683672A (zh) * 2016-12-21 2017-05-17 竹间智能科技（上海）有限公司 一种基于情感和语义的智能对话方法及系统

Similar Documents

Publication Publication Date Title
CN107563498B (zh) 基于视觉与语义注意力相结合策略的图像描述方法及系统
CN107609572B (zh) 基于神经网络和迁移学习的多模态情感识别方法、系统
CN106985137B (zh) 用于智能机器人的多模态交互方法及系统
CN109308466A (zh) 一种对交互语言进行情绪识别的方法
CN107301168A (zh) 智能机器人及其情绪交互方法、系统
CN110675859B (zh) 结合语音与文本的多情感识别方法、系统、介质及设备
CN109710748A (zh) 一种面向智能机器人的绘本阅读交互方法和系统
US20180151183A1 (en) Method and device for searching according to speech based on artificial intelligence
CN109101663A (zh) 一种基于互联网的机器人对话系统
CN111402928B (zh) 基于注意力的语音情绪状态评估方法、装置、介质及设备
CN109871450A (zh) 基于绘本阅读的多模态交互方法及系统
CN110415701A (zh) 唇语的识别方法及其装置
EP4198807A1 (en) Audio processing method and device
Wu et al. Multimodal large language models: A survey
KR20210052036A (ko) 복수 의도어 획득을 위한 합성곱 신경망을 가진 장치 및 그 방법
CN106557165B (zh) 智能设备的动作模拟交互方法和装置及智能设备
CN112307975A (zh) 融合语音与微表情的多模态情感识别方法及系统
CN111092798B (zh) 一种基于口语理解的可穿戴系统
CN108182940A (zh) 一种基于自然语言智能理解对话的机器人及语音交互方法
CN107123420A (zh) 一种语音识别系统及其交互方法
CN108229641A (zh) 一种基于多层代理的人工智能分析系统
CN110491372A (zh) 一种反馈信息生成方法、装置、存储介质和智能设备
CN116758451A (zh) 基于多尺度和全局交叉注意力的视听情感识别方法及系统
Zhang et al. Audio-visual attentive fusion for continuous emotion recognition
CN113420783B (zh) 一种基于图文匹配的智能人机交互方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180629

RJ01 Rejection of invention patent application after publication