CN105095272B - 基于图像识别的问答处理方法、装置及系统 - Google Patents

Abstract

本申请涉及一种基于图像识别的问答处理方法、装置及系统，所述方法包括：接收用户发送的包含提示信息的图片；对所述图片进行图像识别处理，得到所述图片的提示信息文本；对所述提示信息文本进行文本语义分析，提取得到所述提示信息文本中的关键词；从用户信息库中，查找得到所述用户的用户信息；从知识数据库中查询得到与所述提示信息文本相关的第一知识信息；生成所述提示信息文本的答案并显示。本申请能自动快速识别与用户发送的图片相关的问题，并能准确快速地进行处理获取答案，为用户提供了更加便捷的交互方式，扩展了自动问答平台的服务范围。

Description

基于图像识别的问答处理方法、装置及系统

技术领域

本申请涉及计算机网络技术领域，尤其涉及一种基于图像识别的问答处理方法、装置及系统。

背景技术

随着计算机网络技术的迅速发展，越来越多的用户通过互联网获取信息或进行相互通讯。网络中的问答平台是一种利用网络通讯工具、网页或手机客户端等获取信息和进行信息交流的平台，它集成了自动切分词、智能搜索、自动分类等一整套的自然语言处理和信息检索技术，为用户提供了一个交流平台。用户可以通过网页在问答平台上提交各种问题以获取解答，也可以通过即时通讯工具等联系相关客服人员，寻求解决方案。

例如，如果用户在使用某个产品或者服务时，遇到操作提示或异常提示，那么，用户可以通过旺旺,qq等聊天工具与该产品的在线客服人员进行咨询。在聊天过程中，往往会将提示的页面，截取图片发送给客服人员，帮助确定异常原因。而客服人员往往也需要根据经验，从图片中寻找问题的原因。这种传统的服务方式，需要公司提供在线客服的人工服务，需要承受相应的成本。而且，对于客服人员的业务能力有所要求，需要能从截图中快速识别问题原因，需要一定的经验才能熟练操作业务。

由此可见，现有的问答平台的服务方式，不论是人工热线，还是人工在线，都需要人的参与，系统均不能直接识别图片及相关问题，也就无法自动地获取相应的答案。

发明内容

本申请的目的是，提供一种基于图像识别的问答处理方法、装置及系统，能自动快速识别与用户发送的图片相关的问题，并能准确快速地进行处理获取答案，为用户提供了更加便捷的交互方式，扩展了自动问答平台的服务范围。

本申请提供了一种基于图像识别的问答处理方法，所述方法包括：

接收用户发送的包含提示信息的图片；

对所述图片进行图像识别处理，得到所述图片的提示信息文本；

对所述提示信息文本进行文本语义分析，提取得到所述提示信息文本中的关键词；

从用户信息库中，查找得到所述用户的用户信息；

根据所述关键词和所述用户信息，从知识数据库中查询得到与所述提示信息文本相关的第一知识信息；

利用所述用户信息和所述第一知识信息，生成所述提示信息文本的答案并显示。

又一方面，本申请还提供了一种基于图像识别的问答处理装置，所述装置包括：

接收单元，用于接收所述用户发送的包含提示信息的图片；

图像识别单元，用于对所述接收单元接收的所述图片进行图像识别处理，得到所述图片的提示信息文本；

语义识别单元，用于对所述图像识别单元得到的所述提示信息文本进行文本语义分析，提取得到所述提示信息文本中的关键词；

第一查询单元，用于从用户信息库中，查找得到所述用户的用户信息；

第二查询单元，用于根据所述语义识别单元得到的所述关键词和所述第一查询单元得到的所述用户信息，从知识数据库中查询得到与所述提示信息文本相关的第一知识信息；

答案生成单元，用于利用所述第一查询单元得到的所述用户信息和所述第二查询单元得到的所述第一知识信息，生成所述提示信息文本的答案并显示。

又一方面，本申请还提供了一种基于图像识别的问答系统，所述系统包括：交互平台、图像识别平台、语义识别平台、知识数据库、用户信息库和后台服务器；

所述交互平台，用于与用户进行交互；

所述图像识别平台，用于对图片进行图像识别处理，得到所述图片中的文本；

所述语义识别平台，用于对文本进行文本语义分析，提取得到所述文本中的关键词；

所述知识数据库，用于存储大量的知识数据信息；

所述用户信息库，用于存储大量的用户信息；

所述交互平台接收所述用户发送的包含提示信息的第一图片；

所述图像识别平台对所述交互平台接收的所述第一图片进行图像识别处理，得到所述第一图片的提示信息文本；

所述后台服务器通过所述语义识别平台对所述图像识别平台得到的所述提示信息文本进行文本语义分析，提取得到所述提示信息文本中的第一关键词；

所述后台服务器从所述用户信息库中，查找得到所述用户的用户信息；

所述后台服务器根据所述第一关键词和所述用户信息，从所述知识数据库中查询得到与所述第一图片的提示信息文本相关的第一知识信息；

所述后台服务器利用所述用户信息和所述第一知识信息，生成所述提示信息文本的答案并通过所述交互平台显示。

本申请提供的基于图像识别的问答处理方法、装置及系统，通过图像识别和语义分析对问答平台中用户发送的图片进行识别，可以自动快速识别与用户发送的图片相关的问题，并能准确快速地进行处理获取答案，为用户提供了更加便捷的交互方式，用户可以通过在聊天工具中截取并发送图片，就能自助得到问题的答案，非常直观方便，扩展了自动问答平台的服务范围。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1a为本申请实施例提供的浏览器中文本形式的问题输入框的示意图；

图1b为本申请实施例提供的浏览器中图片形式的输入框的示意图；

图2为本申请实施例提供的基于图像识别的问答处理方法流程图；

图3a为本申请实施例提供的包含提示信息的一个图片示意图；

图3b为本申请实施例提供的包含提示信息的又一个图片示意图；

图3c为本申请实施例提供的包含提示信息的又一个图片示意图；

图4为本申请实施例提供的基于图像识别的问答处理装置示意图；

图5为本申请实施例提供的基于图像识别的问答系统的示意图；

图6为本申请实施例提供的基于图像识别的问答系统的处理流程示意图。

具体实施方式

为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供的基于图像识别的问答处理方法、装置及系统，适用于各种需要为用户提供答案或解决方案的场景，例如，网络中的问答平台等，尤其适用于自动问答平台，例如，网页中具有即时通讯功能的智能机器人等。或者，也适用于网站或商家为用户提供咨询等服务的在线云客服或客户端等，客户端可以分为电脑PC客户端、无线客户端和浏览器三部分。

PC部分包括安装于PC上的即时通讯工具(如阿里旺旺、腾讯qq、微信等等)以及网页版的即时通讯工具(例如，webqq、网页版的旺旺、网页版的微信)的公共账号。用户通过发送消息或图片进行咨询服务。在接收到用户发送的图片后，根据本申请提供的问答处理方法进行处理，再进行自动解答。

无线部分包括安装于无线终端上的即时通讯软件(如手机旺旺、手机qq、微信、来往等等)中的公共账号或其他应用软件中的公共账号，例如应用软件“支付宝钱包”中的公众号(如“支付宝12306公众服务”、“中信银行信用卡”等等公众号)。用户可以通过应用软件“支付宝钱包”添加该些公众号后，在遇到异常问题时，即可发送消息或图片进行咨询服务。在接收到用户发送的图片后，根据本申请提供的问答处理方法进行处理，再进行自动解答。

浏览器部分包括支持图片上传功能的浏览器页面。例如，某个网站可以提供一个专门用于客户服务的问答平台，该问答平台中既可以包括以文本形式提交的问题输入框，如图1a所示，以便于用户输入文本问题，还可以包括以图片形式提交的输入框，如图1b所示，以便于用户通过提交问题的相关图片。用户通过点击“浏览”按钮可以选择上传的文件路径，在选择好所要上传的图片的文件路径后，“浏览”按钮会变成“上传图片”按钮，作为系统指定的图片识别接口，用户通过点击“上传图片”按钮即可将图片上传到系统，系统在接收到用户发送的图片后根据本申请提供的问答处理方法进行识别处理，再进行自动解答。

图2是本实施例提供的基于图像识别的问答处理方法流程图，如图2所示，本申请的基于图像识别的问答处理方法包括：

S101、接收用户发送的包含提示信息的图片。

系统通过交互平台接收所述用户发送的包含提示信息的图片。

交互平台包括但不限于即时通讯工具、网页或手机客户端等，即通过上述应用场景中的各个问答平台中与用户进行交互的接口。

所述提示信息可以是文本形式的错误提示或异常提示信息，也可以是包含错误或异常提示信息的二维码。其中，二维码就是把文字、符号等数据以图形的形式表示出来，可以存储更多的数据。系统可以先将错误提示或异常提示的文本信息映射到二维码中，在生成错误提示或异常提示页面时显示该二维码，用户可以将该二维码截图后发送给公共账号或系统的图片识别接口。

在本申请实施例中以文本形式的错误提示或异常提示信息为例进行说明。

举个例子，当用户进行支付宝充值时，页面提示额度受限。用户可以通过即时通讯工具将该页面截取图片发送给客服，截取的图片如图3a所示，其中包含“抱歉，无法完成充值”等提示信息。需要说明的是，这里的客服不是人工客服，而是系统，即智能客服，可以对应于不同商家的客服，例如，微信或来往等聊天工具中不同商家的公共账号。系统则可以接收到用户发送的包含提示信息的图片。

在实际使用过程中，出现错误提示或异常提示的场景可以很多，用户进行咨询所截取的图片可能包含的提示信息也可以是多种多样。

如图3b中所示，包含“账户名或登录密码不正确”等的提示信息，或者，如图3c中所示，包含“账户名是电子邮箱或手机号码”等的提示信息。

S102、对所述图片进行图像识别处理，得到所述图片的提示信息文本。

系统对用户发送的图片进行图像识别处理，提取得到图片中的提示信息，并以文本的形式存储，形成提示信息文本。

对于提示信息是二维码的图片，经过图像识别后也是以文本的形式存储对应的提示信息，形成提示信息文本。

图像识别的过程是提取图片中图像的主要特征的过程，从而识别出图片中的文字、数字、符号等信息。

例如，对图3a进行图像识别后，可以提取到“支付宝|我的收银台”、“抱歉，无法完成充值”、“充值金额超限，可通过招行网银专业版-直付通进行限额修改。如何提高限额？”以及“您可能需要：选择其他方式充值”等提示信息。

类似地，也可以对图3b和图3c的图片进行图像识别，得到图片中的提示信息，形成提示信息文本。

优选的，在进行图像识别过程中，可以针对规定的特定区域内的图像进行识别。

例如，可以规定在某个特定符号的附近区域进行识别，其余区域不进行识别。如图3a～图3c中，如果规定识别区域是“×”符号后面或下面一定范围的区域，则在进行图像识别时，只需要对这些规定的识别区域进行识别，提高处理效率。

这样，对图3a的规定识别区域进行图像识别后，可以提取到“抱歉，无法完成充值”的信息，得到提示信息文本“抱歉，无法完成充值”。

S103、对所述提示信息文本进行文本语义分析，提取得到所述提示信息文本中的关键词。

对S102图像识别提取到的提示信息文本进行文本语义分析，主要进行分词、过滤、词性标注、匹配等处理，得到所述提示信息文本中的关键词。

例如，对于“抱歉，无法完成充值”这个提示信息文本，进行分词等处理之后，可以得到该提示信息文本的关键词为“无法”、“充值”等。此时，系统则可以识别到出现的异常问题是无法充值的问题。

对于相对复杂的提示信息文本还可以进行无效词过滤、词性标注或者匹配等处理，这些为现有技术不再赘述。

S104、从用户信息库中，查找得到所述用户的用户信息。

根据所述用户的用户标识，从用户信息库中，找到该用户的用户信息。

其中，用户标识(User ID)可以由与用户进行交互的交互平台记录，再发送给系统的后台服务器进行查找处理。

用户信息库中存储了大量的用户数据信息，包括用户个人资料、关联的银行卡等等用户数据。

通常，用户个人资料会保存有用户账号，用户名，联系电话，地址等相关个人信息，在当用户例如在进行充值时出现“抱歉，无法完成充值”的页面时，在步骤101用户将包括该提示信息的图片发送给系统，系统根据交互平台记录的该用户的信息，例如记录的用户标识(例如用户账号或者用户名信息)，在用户信息库中，通过该用户的用户账号或者用户名查找到其对应存储的该用户的用户信息。或者，当用户通过即时通讯工具与系统进行交互时，系统已经记录了该用户，例如记录了即时通讯工具的登录名等用户标识，来唯一针对该用户进行处理，因此在后续该步骤中，系统根据一开始记录的用户标识来在用户信息库中查找该用户对应的用户信息。

S105、根据所述关键词和所述用户信息，从知识数据库中查询得到与所述提示信息文本相关的第一知识信息。

结合S103得到的关键词和S104得到的用户信息，到知识数据库中查询，得到相关的知识信息。

知识数据库中存储了大量的信息，可以以关键词索引的方式，或者，以问题和答案的方式存储知识信息。如果是以关键词索引的方式存储知识信息的，则通过关键词则可以匹配得到相关的知识信息。如果是以问题和答案的方式存储知识信息，则可以通过关键词先进行问题的匹配，得到相匹配的问题和对应的答案。

例如，对于上述例子中，关键词“无法”“充值”以及该用户关联的银行卡有招商银行信用卡等相关的用户信息，则可以利用这些信息从知识数据库中查询得到该用户招商银行信用卡每天的付款限额是5000元等这样相关的知识信息。

由于系统会自动生成日志信息，尤其是在用户出现异常操作等重大事件时，系统会自动将用户出现的异常操作等记录到日志信息中。因此为了给用户带来更好的体验，本申请还可以利用日志信息对用户提交的图片或问题进行进一步的异常问题判断，以提高准确性，避免提供不相关的答案或解决方案。

优选地，在根据所述关键词和所述用户信息，从知识数据库中查询得到与所述图片中的提示信息文本相关的第一知识信息之前，所述方法还包括：

根据日志信息，判断所述用户是否出现与所述提示信息文本相关的异常问题，如果是，则执行所述根据所述关键词和所述用户信息，从知识数据库中查询得到与所述图片中的提示信息文本相关的第一知识信息。如果否，说明该用户并未出现对应的异常或错误，则结束流程，不再向用户提供问题答案。这样，可以提高确定问题的准确性，以便提供给准确的答案给用户。

例如，上述例子中，日志信息中记录的该用户是在使用招商银行信用卡进行快捷支付付款时出现了超出额度限制的异常问题，则可以进一步地确定用户实际所想要咨询的问题是快捷支付超限的问题，进行再进行查询得到相关的答案或解决方案。

S106、利用所述用户信息和所述第一知识信息，生成所述提示信息文本的答案并显示。

将S104查询得到的所述用户信息和S105查询得到的所述第一知识信息进行组装，生成与所述提示信息文本相关的答案，显示给用户。

具体地，可以根据预设的答案模板，组装所述用户信息和所述第一知识信息，生成所述提示信息文本的答案。

例如，在查询得到该用户招商银行信用卡每天的付款限额是5000元等这样相关的知识信息之后，利用该用户信息和查找到的知识信息组装成答案，显示给用户。答案模板可以是“XXX，您好！您的XXX银行卡每天的支付限额是XXX元。如有问题，请您咨询XXX，谢谢您的支持！”这样，将用户信息和查询得到的知识信息填入到该模板中即可，得到相应的答案。

如果通过日志信息还确定是快捷支付，则答案模板可以是“XXX，您好！您的XXX银行卡每天的快捷支付限额是XXX元。”等。

这样，即可组装生成与所述提示信息文本相关的答案，即与用户发送的图片相关的答案，显示给用户。

需要说明的是，答案模板在此为示例，并非用于限制。当然，组装所述用户信息和所述第一知识信息，生成所述提示信息文本的答案也并非限于使用模板的方式，还可以使用应用程序自动生成或者其他方式生成。

本申请实施例提供的基于图像识别的问答处理方法，通过图像识别和语义分析对问答平台中用户发送的图片进行识别，可以自动快速识别与用户发送的图片相关的问题，并能准确快速地进行处理获取答案，为用户提供了更加便捷的交互方式，非常直观方便。

以上是对本申请实施例所提供的基于图像识别的问答处理方法进行的详细描述，下面对本申请提供的基于图像识别的问答处理装置及系统进行详细描述。

图4是本实施例提供的基于图像识别的问答处理装置示意图，如图4所示，本申请的基于图像识别的问答处理装置包括：接收单元201、图像识别单元202、语义识别单元203、第一查询单元204、第二查询单元205和答案生成单元206。

接收单元201用于接收所述用户发送的包含提示信息的图片。

接收单元201通过即时通讯工具、网页或手机客户端接收所述用户发送的包含提示信息的图片。

图像识别单元202用于对接收单元201接收的所述图片进行图像识别处理，得到所述图片的提示信息文本。

语义识别单元203用于对图像识别单元202得到的所述提示信息文本进行文本语义分析，提取得到所述提示信息文本中的关键词。

第一查询单元204用于从用户信息库中，查找得到所述用户的用户信息。

第一查询单元204根据所述用户的用户标识，从用户信息库中，找到该用户的用户信息。

第二查询单元205用于根据语义识别单元204得到的所述关键词和所述第一查询单元得到的所述用户信息，从知识数据库中查询得到与所述提示信息文本相关的第一知识信息。

答案生成单元206用于利用第一查询单元204得到的所述用户信息和第二查询单元205得到的所述第一知识信息，生成所述提示信息文本的答案并显示给所述用户。

答案生成单元206具体用于根据预设的答案模板，组装所述用户信息和所述第一知识信息，生成所述提示信息文本的答案，显示给用户。

可选的，本申请的基于图像识别的问答处理装置还可以包括：确认单元(图未示)。所述确认单元用于根据日志信息，判断所述用户是否出现与图像识别单元202得到的所述提示信息文本相关的异常问题，如果是，则利用第二查询单元205根据所述关键词和所述用户信息，从知识数据库中查询得到与所述图片中的提示信息文本相关的第一知识信息。否则，说明该用户未出现相关的异常问题，结束流程。这样，可以提高确定问题的准确性，以便提供给准确的答案给用户。

例如，在用户出现限额的操作问题之后，日志信息中会有记录该用户出现了这个限额的操作问题，这样，在处理时，如果图像识别单元202得到的提示信息文本是限额的问题，则先通过确认单元确认日志信息中是否有该用户出现限额问题的记录，如果有，则说明该用户确实出现了这个异常问题，则利用第二查询单元205进行查询，否则，结束流程。

上述各单元的功能可对应于图2详细描述的上述问答处理方法的处理步骤，于此不再赘述。

图5是本实施例提供的基于图像识别的问答系统示意图，如图5所示，该系统包括：交互平台301、图像识别平台302、语义识别平台303、知识数据库304、用户信息库305和后台服务器306。

交互平台301用于与用户进行交互。

图像识别平台302用于对图片进行图像识别处理，得到所述图片中的文本。

语义识别平台303用于对文本进行文本语义分析，提取得到所述文本中的关键词。

知识数据库304用于存储大量的知识数据信息。

用户信息库305用于存储大量的用户信息。

后台服务器306与交互平台301、图像识别平台302、语义识别平台303、知识数据库304、用户信息库305相连接。

交互平台301接收所述用户发送的包含提示信息的第一图片。图像识别平台302对交互平台301接收的所述第一图片进行图像识别处理，得到所述第一图片的提示信息文本。后台服务器306通过语义识别平台303对图像识别平台302得到的所述提示信息文本进行文本语义分析，提取得到所述提示信息文本中的第一关键词。后台服务器306从用户信息库104中，查找得到所述用户的用户信息。后台服务器306根据所述第一关键词和所述用户信息，从知识数据库105中查询得到与所述第一图片的提示信息文本相关的第一知识信息。后台服务器306利用所述用户信息和所述第一知识信息，生成所述提示信息文本的答案并通过交互平台301显示给用户。

具体地，后台服务器306执行的基于图像识别的问答处理方法的过程可以如图2所示，于此不再赘述。

或者，图像识别平台302也可以设置成与交互平台301直接相连接，具体如图6所示，在该问答系统中，交互平台301通过聊天客户端与用户进行交互，接收用户截取的包含操作提示或异常提示页面的图片，交互平台301直接向图像识别平台302发送其从用户侧接收到的第一图片，图像识别平台302对交互平台301发送的所述第一图片进行图像识别处理，得到所述第一图片的提示信息文本，并返回识别到的提示信息文本给交互平台301。交互平台301再将所述提示信息文本和所述用户的用户标识一并发送给后台服务器306。后台服务器306再进行后续的处理。

具体包括以下步骤：

S200、用户截取操作提示或异常提示页面，以图片的形式发给交互平台301，图中为聊天客户端。

S201、交互平台301将图片传送给图像识别平台302。

S202、图像识别平台302对所述图片进行图像识别，返回所述图片的提示信息文本给交互平台301。

S203、交互平台301向后台服务器306提交所述提示信息文本和S200中用户的用户标识。

S204、后台服务器306将提示信息文本发送给语义识别平台303，语义识别平台303对所述提示信息文本进行语义识别，返回识别的反映所述提示信息文本语义的关键词给后台服务器306。

S205、后台服务器306根据用户标识，到用户信息库304中查询S200中用户的用户信息，用户信息库304查询到所述用户的用户信息后返回给后台服务器306。

S206、后台服务器306传递S204的关键词和S205的用户信息给知识数据库305，知识数据库305查询到相关的知识信息后，返回给后台服务器306。

S207、后台服务器306组装答案，并返回给交互平台301。

S208、交互平台301将答案显示出来，以供用户查看。

本申请提供的基于图像识别的问答处理方法、装置及系统，通过图像识别和语义分析对问答平台中用户发送的图片进行识别，可以自动快速识别与用户发送的图片相关的问题，并能准确快速地进行处理获取答案，为用户提供了更加便捷的交互方式，用户可以通过在聊天工具中截取并发送图片，就能自助得到问题的答案，非常直观方便，扩展了自动问答平台的服务范围。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种基于图像识别的问答处理方法，其特征在于，所述方法包括：

接收用户发送的包含提示信息的图片；

对所述图片进行图像识别处理，得到所述图片的提示信息文本；

对所述提示信息文本进行文本语义分析，提取得到所述提示信息文本中的关键词；

从用户信息库中，查找得到所述用户的用户信息；根据日志信息，判断所述用户是否出现与所述提示信息文本相关的异常问题，如果是，根据所述关键词和所述用户信息，从知识数据库中查询得到与所述提示信息文本相关的第一知识信息；

利用所述用户信息和所述第一知识信息，生成所述提示信息文本的答案并显示。

2.根据权利要求1所述的方法，其特征在于，所述利用所述用户信息和所述第一知识信息，生成所述提示信息文本的答案，具体包括：

根据预设的答案模板，组装所述用户信息和所述第一知识信息，生成所述提示信息文本的答案。

3.根据权利要求1所述的方法，其特征在于，所述接收用户发送的包含提示信息的图片，具体包括：

通过即时通讯工具、网页或手机客户端接收所述用户发送的包含提示信息的图片。

4.一种基于图像识别的问答处理装置，其特征在于，所述装置包括：

接收单元，用于接收用户发送的包含提示信息的图片；

图像识别单元，用于对所述接收单元接收的所述图片进行图像识别处理，得到所述图片的提示信息文本；

语义识别单元，用于对所述图像识别单元得到的所述提示信息文本进行文本语义分析，提取得到所述提示信息文本中的关键词；

第一查询单元，用于从用户信息库中，查找得到所述用户的用户信息；确认单元，用于根据日志信息，判断所述用户是否出现与所述图像识别单元得到的所述提示信息文本相关的异常问题，如果是，还包括第二查询单元，用于根据所述语义识别单元得到的所述关键词和所述第一查询单元得到的所述用户信息，从知识数据库中查询得到与所述提示信息文本相关的第一知识信息；

答案生成单元，用于利用所述第一查询单元得到的所述用户信息和所述第二查询单元得到的所述第一知识信息，生成所述提示信息文本的答案并显示。

5.根据权利要求4所述的装置，其特征在于，所述答案生成单元具体用于根据预设的答案模板，组装所述用户信息和所述第一知识信息，生成所述提示信息文本的答案。

6.根据权利要求4所述的装置，其特征在于，所述接收单元通过即时通讯工具、网页或手机客户端接收所述用户发送的包含提示信息的图片。

7.一种基于图像识别的问答系统，其特征在于，所述系统包括：交互平台、图像识别平台、语义识别平台、知识数据库、用户信息库和后台服务器；

所述交互平台，用于与用户进行交互；

所述图像识别平台，用于对图片进行图像识别处理，得到所述图片中的文本；

所述语义识别平台，用于对文本进行文本语义分析，提取得到所述文本中的关键词；

所述知识数据库，用于存储大量的知识数据信息；

所述用户信息库，用于存储大量的用户信息；

所述交互平台接收所述用户发送的包含提示信息的第一图片；

所述图像识别平台对所述交互平台接收的所述第一图片进行图像识别处理，得到所述第一图片的提示信息文本；

所述后台服务器通过所述语义识别平台对所述图像识别平台得到的所述提示信息文本进行文本语义分析，提取得到所述提示信息文本中的第一关键词；

所述后台服务器从所述用户信息库中，查找得到所述用户的用户信息；

所述后台服务器根据日志信息，判断所述用户是否出现与所述提示信息文本相关的异常问题，如果是，根据所述第一关键词和所述用户信息，从所述知识数据库中查询得到与所述第一图片的提示信息文本相关的第一知识信息；

所述后台服务器利用所述用户信息和所述第一知识信息，生成所述提示信息文本的答案并通过所述交互平台显示。