CN105912717A - 基于图像的信息搜索方法及装置 - Google Patents

Abstract

本发明适用于电子终端技术领域，提供了基于图像的信息搜索方法及装置，包括：获取摄像头拍摄的包含搜索对象的图像；接收用户发出的语音指令；调用与所述语音指令对应的图像处理操作，并对所述图像执行所述图像处理操作；基于执行了所述图像处理操作后的图像对所述搜索对象进行内容识别，并获取搜索结果。本发明中，当电子终端获取到摄像头拍摄的包含搜索对象的图像之后，基于用户发出的语音指令对该图像进行调整，以实现图像的效果优化，降低了在图像中对搜索对象进行内容识别的难度，提高了搜索过程中的信息匹配准确度。

Description

基于图像的信息搜索方法及装置

技术领域

本发明属于电子终端技术领域，尤其涉及基于图像的信息搜索方法及装置。

背景技术

目前，市面上的很多电子教育产品都可以实现拍照搜题功能，通过拍摄单词或词组以搜索对应的释义，或者通过拍摄题目以搜索对应的答案。拍照搜题功能的实现需要经过以下步骤：启动摄像头－对焦拍照－在图像中截取搜索对象－通过OCR技术将搜索对象转换成文本－服务器搜索并匹配搜索结果－服务器将搜索结果反馈给电子终端。

在拍照搜索功能的实现过程中，页面中搜索对象与非搜索对象的间距可能非常窄，或者由于摄像头与页面不平行导致拍摄出的搜索对象在图像中倾斜，以上情况均会提高在图像中对搜索对象进行内容识别的难度，降低了拍照搜题过程中的信息匹配准确度。

发明内容

有鉴于此，本发明实施例提供了基于图像的信息搜索方法及装置，以解决现有技术会提高在图像中对搜索对象进行内容识别的难度，降低了搜索过程中的信息匹配准确度的问题。

第一方面，提供了基于图像的信息搜索方法，包括：

获取摄像头拍摄的包含搜索对象的图像；

接收用户发出的语音指令；

调用与所述语音指令对应的图像处理操作，并对所述图像执行所述图像处理操作；

基于执行了所述图像处理操作后的图像对所述搜索对象进行内容识别，并获取搜索结果。

第二方面，提供了基于图像的信息搜索装置，包括：

获取单元，用于获取摄像头拍摄的包含搜索对象的图像；

接收单元，用于接收用户发出的语音指令；

处理单元，用于调用与所述语音指令对应的图像处理操作，并对所述图像执行所述图像处理操作；

搜索单元，用于基于执行了所述图像处理操作后的图像对所述搜索对象进行内容识别，并获取搜索结果。

本发明实施例中，当电子终端获取到摄像头拍摄的包含搜索对象的图像之后，基于用户发出的语音指令对该图像进行调整，以实现图像的效果优化，降低了在图像中对搜索对象进行内容识别的难度，提高了搜索过程中的信息匹配准确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于图像的信息搜索方法的实现流程图；

图2是本发明另一实施例提供的基于图像的信息搜索方法的实现流程图；

图3是本发明另一实施例提供的基于图像的信息搜索方法的实现流程图；

图4是本发明实施例提供的基于图像的信息搜索方法S103的具体实现流程图；

图5是本发明实施例提供的基于图像的信息搜索方法S402的具体实现流程图；

图6是本发明实施例提供的基于图像的信息搜索装置的结构框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

本发明实施例获取摄像头拍摄的包含搜索对象的图像；接收用户发出的语音指令；调用与所述语音指令对应的图像处理操作，并对所述图像执行所述图像处理操作；基于执行了所述图像处理操作后的图像对所述搜索对象进行内容识别，并获取搜索结果。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

图1示出了本发明实施例提供的基于图像的信息搜索方法的实现流程，在本发明实施例中，基于图像的信息搜索，其图像是通过摄像头拍摄的包含搜索对象的图像。图1所对应的实施例的实现流程详述如下：

在S101中，获取摄像头拍摄的包含搜索对象的图像。

在本发明实施例中，通过操控电子终端的摄像头，拍摄包含搜索对象的图像，其中，搜索对象包括但不限于书本上的习题、书本上的单词或词组，课文题目、书本封面上的书名等等。

在S102中，接收用户发出的语音指令。

在获取到摄像头拍摄的图像之后，需要提取出其中搜索对象所处的图像区域，并对该图像区域中的搜索对象进行内容识别，以实现后续的搜索操作，为了更加准确、快速地对图像区域中的搜索对象进行内容识别，在本发明实施例中，用户在查看了图像之后，可以输入语音指令，在语音指令中对其查看到的图像中存在的问题进行描述，例如，图像对焦不清晰，图像中的搜索对象向左/右倾斜，图像亮度不够等，电子终端通过麦克风等声音拾取装置获取到用户发出的语音指令。

进一步地，作为本发明的一个实施例，为了提高用户通过语音指令实现图像处理的操作效率，在获取到摄像头拍摄的包含搜索对象的图像之后，接收用户发出的语音指令之前，如图2所示，所述方法还包括：

S105，对所述图像进行预处理。

对图像进行预处理，可以通过图像自动校正程序，对图像中出现的明显问题进行校正，例如明显的过度曝光、亮度过暗、比例失调等问题，对于这样的明显问题进行自动校正，可以有效地减少用户通过语音指令对图像进行调整的次数，以提高整个信息搜索过程的执行效率。

在S103中，调用与所述语音指令对应的图像处理操作，并对所述图像执行所述图像处理操作。

根据用户发出的语音指令的指令内容，在应用后台调用该指令内容所对应的图像处理操作，并在摄像头拍摄的图像中执行该图像处理操作，从而对该图像进行效果优化，以便于应用后台更好地对图像中的搜索对象进行内容识别。

在S104中，基于执行了所述图像处理操作后的图像对所述搜索对象进行内容识别，并获取搜索结果。

基于效果优化后的图像，应用后台对其中的搜索对象进行内容识别，例如，采用光学字符识别(Optical Character Recognition，OCR)技术，通过检测暗、亮的模式确定搜索对象的形状，然后用字符识别方法将形状翻译成计算机文字，从而得到文本格式的搜索对象。

具体地，电子终端将文本格式的搜索对象上传至服务器，服务器在接收到搜索对象之后，进行数据矫正及解析，在数据库中对解析出的内容进行搜索匹配，从而获取到该搜索对象对应的搜索结果，并将该搜索结果返回至电子终端，电子终端显示该搜索结果，从而完成整个基于图像的信息搜索过程。

作为本发明的一个实施例，可以由应用预先定义好各图像处理操作所对应的语音指令内容，例如，对于提高图像亮度，对应的语音指令内容为“调亮图像”，那么在获取到摄像头拍摄的图像之后，用户发出语音指令之前，如图3所示，所述方法还包括：

S106，显示各项图像处理操作对应的语音指令内容。

即，在电子终端界面上显示预先定义好的各图像处理操作所对应的语音指令内容，用户根据实际的图像处理需求，从中选择合适的语音指令内容，并说出该语音指令内容，从而完成语音指令的输入。图3对应的实施例中，由于语音指令内容是应用预先定义好的，因此在对用户发出的语音指令进行解析时，系统可以直接将语音指令中的声音数据与预先定义好的语音指令内容进行匹配，这样能够很好地减轻语音指令解析过程中的工作量，提高了语音指令的解析效率。

作为本发明的另一实施例，S103中所述调用与所述语音指令对应的图像处理操作具体可以通过如图4所示的方式实现：

S401，解析所述语音指令的指令内容。

S402，在预设数据库中为所述指令内容匹配对应的图像处理操作。

在图4对应实施例中，是先通过语音转换，将语音指令中的指令内容解析成文本格式的指令内容，然后再在预设数据库中为该文本格式的指令内容匹配对应的图像处理操作，相比于图3对应的实施例，由于在本实施例中应用未预先定义好语音指令内容，因此用户在发出语音指令时，可能会存在口语化描述等情况，在此对指令内容进行图像处理操作时，需要考虑多种相同图像处理操作的不同指令表达，通过增加语义解析模块来分析出用户发出的语音指令的实际含义，并对其匹配对应的图像处理操作。

此外，在图4对应实施例的基础之上，作为本发明的一个实施例，S402还可以通过如图5所示的方式实现：

S501，显示所述指令内容，以使用户根据显示的所述指令内容输入指令。

S502，若用户输入确认指令，则在预设数据库中为所述指令内容匹配对应的图像处理操作。

在图5对应实施例中，解析出用户发出的语音指令的指令内容之后，显示该指令内容，以便用户确认指令内容识别的正确性，只有在用户确认并输入了确认指令之后，才在预设数据库中执行相关的匹配操作，以减少因指令内容识别错误时造成的无谓操作。

本发明实施例中，当电子终端获取到摄像头拍摄的包含搜索对象的图像之后，基于用户发出的语音指令对该图像进行调整，以实现图像的效果优化，降低了在图像中对搜索对象进行内容识别的难度，提高了搜索过程中的信息匹配准确度。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

对应于上文实施例所述的基于图像的信息搜索方法，图6示出了本发明实施例提供的基于图像的信息搜索装置的结构框图，所述基于图像的信息搜索装置可以内置于电子终端或电子终端的应用系统内。为了便于说明，仅示出了与本实施例相关的部分。

参照图6，该装置包括：

获取单元61，获取摄像头拍摄的包含搜索对象的图像；

接收单元62，接收用户发出的语音指令；

处理单元63，调用与所述语音指令对应的图像处理操作，并对所述图像执行所述图像处理操作；

搜索单元64，基于执行了所述图像处理操作后的图像对所述搜索对象进行内容识别，并获取搜索结果。

可选地，所述装置还包括：

预处理单元，对所述图像进行预处理。

可选地，所述装置还包括：

显示单元，显示各项图像处理操作对应的语音指令内容。

可选地，所述处理单元包括：

解析子单元，解析所述语音指令的指令内容；

匹配子单元，在预设数据库中为所述指令内容匹配对应的图像处理操作。

可选地，所述匹配子单元具体用于：

显示所述指令内容，以使用户根据显示的所述指令内容输入指令；

若用户输入确认指令，则在预设数据库中为所述指令内容匹配对应的图像处理操作。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像的信息搜索方法，其特征在于，包括：

获取摄像头拍摄的包含搜索对象的图像；

接收用户发出的语音指令；

调用与所述语音指令对应的图像处理操作，并对所述图像执行所述图像处理操作；

基于执行了所述图像处理操作后的图像对所述搜索对象进行内容识别，并获取搜索结果。

2.如权利要求1所述的方法，其特征在于，在所述获取移动终端的摄像头拍摄的包含搜索对象的图像之后，所述接收用户发出的语音指令之前，所述方法还包括：

对所述图像进行预处理。

3.如权利要求1所述的方法，其特征在于，在所述获取移动终端的摄像头拍摄的包含搜索对象的图像之后，所述方法还包括：

显示各项图像处理操作对应的语音指令内容。

4.如权利要求1所述的方法，其特征在于，所述调用与所述语音指令对应的图像处理操作包括：

解析所述语音指令的指令内容；

在预设数据库中为所述指令内容匹配对应的图像处理操作。

5.如权利要求4所述的方法，其特征在于，所述在预设数据库中为所述指令内容匹配对应的图像处理操作包括：

显示所述指令内容，以使用户根据显示的所述指令内容输入指令；

若用户输入确认指令，则在预设数据库中为所述指令内容匹配对应的图像处理操作。

6.一种基于图像的信息搜索装置，其特征在于，包括：

获取单元，用于获取摄像头拍摄的包含搜索对象的图像；

接收单元，用于接收用户发出的语音指令；

处理单元，用于调用与所述语音指令对应的图像处理操作，并对所述图像执行所述图像处理操作；

搜索单元，用于基于执行了所述图像处理操作后的图像对所述搜索对象进行内容识别，并获取搜索结果。

7.如权利要求6所述的装置，其特征在于，所述装置还包括：

预处理单元，用于对所述图像进行预处理。

8.如权利要求6所述的装置，其特征在于，所述装置还包括：

显示单元，用于显示各项图像处理操作对应的语音指令内容。

9.如权利要求6所述的装置，其特征在于，所述处理单元包括：

解析子单元，用于解析所述语音指令的指令内容；

匹配子单元，用于在预设数据库中为所述指令内容匹配对应的图像处理操作。

10.如权利要求9所述的装置，其特征在于，所述匹配子单元具体用于：

显示所述指令内容，以使用户根据显示的所述指令内容输入指令；

若用户输入确认指令，则在预设数据库中为所述指令内容匹配对应的图像处理操作。