CN111680177A - 数据搜索方法及电子设备、计算机可读存储介质 - Google Patents

Abstract

数据搜索方法及电子设备、计算机可读存储介质，该方法包括：获取通过摄像头采集的图像；当根据该图像检测到指定操作时，将检测到该指定操作的图像作为目标图像，并确定电子设备的当前使用场景；确定上述目标图像中与该当前使用场景对应的目标搜索对象，并对该目标搜索对象的图像内容进行识别；根据识别到的图像内容，在数据库中搜索与上述当前使用场景匹配的交互数据，并按照与该当前使用场景对应的方式输出该交互数据。实施本申请实施例，能够提高根据图像进行数据搜索的效率。

Description

数据搜索方法及电子设备、计算机可读存储介质

技术领域

本申请涉及信息搜索技术领域，尤其涉及一种数据搜索方法及电子设备、计算机可读存储介质。

背景技术

当前，市面上的一些电子设备(如平板电脑、智能手机等)可以根据其显示的图像实现数据搜索功能，即通过手动调整电子屏幕上显示的搜图框，对该搜图框内显示的图像进行相关数据的搜索。但在实践中发现，手动调整搜图框往往十分繁琐，需要对搜图框反复拖拉、缩放，不容易准确框选到需要搜索的对象，降低了根据图像进行数据搜索的效率。

发明内容

本申请实施例公开了一种数据搜索方法及电子设备、计算机可读存储介质，能够提高根据图像进行数据搜索的效率。

本申请实施例第一方面公开一种数据搜索方法，包括：

获取通过摄像头采集的图像；

当根据所述图像检测到指定操作时，将检测到所述指定操作的图像作为目标图像，并确定电子设备的当前使用场景；

确定所述目标图像中与所述当前使用场景对应的目标搜索对象，并对所述目标搜索对象的图像内容进行识别；

根据识别到的图像内容，在数据库中搜索与所述当前使用场景匹配的交互数据，并按照与所述当前使用场景对应的方式输出所述交互数据。

作为一种可选的实施方式，在本申请实施例第一方面中，所述当前使用场景包括针对整个页面内容的场景，所述目标搜索对象包括所述目标图像对应的页面标识，对所述页面标识的图像内容进行识别所得到的图像内容包括页面标识内容，所述根据识别到的图像内容，在数据库中搜索与所述当前使用场景匹配的交互数据，并按照与所述当前使用场景对应的方式输出所述交互数据，包括：

获取所述目标图像对应的书本信息；

在数据库中搜索与所述书本信息以及所述页面标识内容匹配的书本页面数据；

从所述书本页面数据中确定出与所述针对整个页面内容的场景匹配的交互数据；

按照与所述针对整个页面内容的场景对应的方式输出所述交互数据，所述方式至少包括控制扬声器播放与所述交互数据对应的语音，或控制屏幕显示与所述交互数据对应的图像。

作为另一种可选的实施方式，在本申请实施例第一方面中，所述当前使用场景包括针对部分页面内容的场景，所述确定所述目标图像中与所述当前使用场景对应的目标搜索对象，包括：

确定与所述针对部分页面内容的场景以及所述指定操作对应的搜索坐标和搜索框属性；

在所述目标图像上对应于所述搜索坐标的位置，生成具备所述搜索框属性的搜索框；

从所述目标图像中获取由所述搜索框限定的部分图像，并将所述部分图像作为与所述针对部分页面内容的场景对应的目标搜索对象。

作为另一种可选的实施方式，在本申请实施例第一方面中，在所述在所述目标图像上对应于所述搜索坐标的位置，生成具备所述搜索框属性的搜索框之后，所述从所述目标图像中获取由所述搜索框限定的部分图像之前，所述方法还包括：

根据所述针对部分页面内容的场景，判断是否需要检测对所述搜索框的调整操作；

当判断结果表示需要时，触发检测所述调整操作；

当检测到所述调整操作时，根据所述调整操作对所述搜索框进行调整，所述调整至少包括对所述搜索框进行平移、旋转或缩放。

作为另一种可选的实施方式，在本申请实施例第一方面中，所述指定操作包括将指示物放在物理页面上的操作，在所述当根据所述图像检测到指定操作时，将检测到所述指定操作的图像作为目标图像之后，所述方法还包括：

对所述目标图像进行图像特征识别，获取所述目标图像对应的目标图像特征数据；

根据所述目标图像特征数据，从所述目标图像中去除所述指示物；

从已去除所述指示物的所述目标图像中检测所述物理页面，并根据检测到的所述物理页面以及所述目标图像特征数据，对所述目标图像进行梯形校正。

作为另一种可选的实施方式，在本申请实施例第一方面中，所述确定电子设备的当前使用场景，包括：

当根据所述图像检测到指定操作时，检测对电子设备上显示的AR虚拟形象的交互操作；

当检测到所述交互操作时，采集对应的交互动作数据和交互语音数据；

根据所述交互动作数据和交互语音数据，确定用户使用意图；

根据所述用户使用意图，确定所述电子设备的当前使用场景。

作为另一种可选的实施方式，在本申请实施例第一方面中，所述按照与所述当前使用场景对应的方式输出所述交互数据，包括：

按照与所述当前使用场景对应的方式，通过所述AR虚拟形象输出所述交互数据；

在所述按照与所述当前使用场景对应的方式，通过所述AR虚拟形象输出所述交互数据之后，所述方法还包括：

检测对所述AR虚拟形象的反馈操作，并采集反馈数据，所述反馈数据包括针对所述交互数据的反馈动作数据和反馈语音数据；

根据所述当前使用场景和所述反馈数据，触发所述AR虚拟形象进行互动。

本申请实施例第二方面公开一种电子设备，包括：

获取单元，用于获取通过摄像头采集的图像；

第一确定单元，用于当根据所述图像检测到指定操作时，将检测到所述指定操作的图像作为目标图像，并确定电子设备的当前使用场景；

第二确定单元，用于确定所述目标图像中与所述当前使用场景对应的目标搜索对象，并对所述目标搜索对象的图像内容进行识别；

搜索单元，用于根据识别到的图像内容，在数据库中搜索与所述当前使用场景匹配的交互数据，并按照与所述当前使用场景对应的方式输出所述交互数据。

本申请实施例第三方面公开了另一种电子设备，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本申请实施例第一方面公开的任意一种数据搜索方法中的全部或部分步骤。

本申请实施例第四方面公开了一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本申请实施例第一方面公开的任意一种数据搜索方法中的全部或部分步骤。

本申请实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本申请实施例第一方面的任意一种数据搜索方法中的全部或部分步骤。

与现有技术相比，本申请实施例具有以下有益效果：

本申请实施例中，通过先确定电子设备的当前使用场景，能够根据在该当前使用场景下最具可能性的搜索情况来确定目标图像中的目标搜索对象，进而能够直接搜索与该目标搜索对象匹配的交互数据并进行输出。可见，实施本申请实施例，能够避免根据图像进行数据搜索时在目标图像上反复调整搜索框的繁琐操作，准确定位在当前使用场景下最具可能性的目标搜索对象，从而能够缩短搜索所需时间，有利于提高根据图像进行数据搜索的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图进行简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例公开的一种数据搜索方法的应用场景示意图；

图2是本申请实施例公开的一种数据搜索方法的流程示意图；

图3是本申请实施例公开的一系列图像处理效果的示意图；

图4是本申请实施例公开的另一种数据搜索方法的流程示意图；

图5是本申请实施例公开的又一种数据搜索方法的流程示意图；

图6是本申请实施例公开的又一种数据搜索方法的流程示意图；

图7是图6公开的数据搜索方法中采用的一种AR虚拟形象显示效果的示意图；

图8是本申请实施例公开的一种电子设备的模块化示意图；

图9是本申请实施例公开的另一种电子设备的模块化示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例公开了一种数据搜索方法及电子设备、计算机可读存储介质，能够提高根据图像进行数据搜索的效率。以下将结合附图进行详细描述。

请参阅图1，图1是本申请实施例公开的一种数据搜索方法的应用场景示意图。如图1所示，应用该方法的电子设备10(如平板电脑、点读机等)可以设置有拍摄模组20，拍摄模组20用于采集包含物理页面30(指与虚拟页面或电子书页面相对的物理实体页面，如物理实体书本的翻开页面或试卷、报刊的页面等)的图像；在拍摄模组20正前方还可以设置有反光装置40(如反光镜、棱镜或凸透镜等)，反光装置40用于改变拍摄模组20的光路，进而使得拍摄模组20拍摄到物理页面30在反光装置40中的成像，以获取包含该物理页面30的图像；该电子设备10的电子屏幕50可以显示上述包含物理页面30的图像，也可以显示其他需要显示的图像。

在本申请实施例中，当用户如图1左侧所示将物理页面30放置在电子设备10前方时，电子屏幕50可以如图1右侧所示显示摄像模组20通过上述方法采集的图像，该图像可以包含物理页面30以及用户手部在该物理页面30上的指定操作(如手指指着该物理页面30某处)。在此基础上，电子设备10可以在检测到上述采集的图像包含上述指定操作时，将检测到包含指定操作的图像作为目标图像，并确定该电子设备10的使用场景(如利用物理页面30上的内容进行点读、口语测评、口语陪练等)；然后，可以从上述目标图像中获取与上述当前使用场景对应的目标搜索对象(如物理页面30上的页面标识、被搜索框限定的部分图像等)，并对该目标搜索对象的图像内容进行识别；最后，可以根据上述识别到的图像内容，在数据库中搜索与上述当前使用场景匹配的交互数据(如当前使用场景为点读时，搜索被搜索框限定的部分图像对应的待点读数据)，并按照与上述当前使用场景对应的方式输出该交互数据(如当前使用场景为点读时，通过语音播放该交互数据)。可选地，电子设备10可以具备AR(Augmented Reality，增强现实)功能，在通过电子屏幕50输出上述交互数据时，可以将上述目标图像作为现实背景，而将交互数据作为虚拟前景，并将该交互数据叠加显示在目标图像上，从而实现通过AR显示交互数据的效果。通过实施上述实施例所描述的方法，能够根据在当前使用场景下最具可能性的搜索情况来直接确定目标图像中的目标搜索对象，进而直接搜索与该目标搜索对象匹配的交互数据并进行输出，从而缩短搜索所需时间，提高根据图像进行数据搜索的效率。

需要说明的是，图1所示的电子设备10为平板电脑，这仅仅是一种示例，并不构成本申请实施例中对电子设备10的设备类型的限定。在一些实施例中，电子设备10可以包括具备显示功能和拍摄功能的各类设备或系统(如平板电脑、智能手机、智能手表等)；在另一些实施例中，电子设备10也可以包括仅具备拍摄功能，而不具备显示功能的各类设备或系统(如摄像机、直播源获取系统等)。

此外，图1所示的电子设备10采用拍摄模组20和反光装置40配合拍摄的方法，也仅仅是一种示例，并不构成本申请实施例中对通过摄像头采集图像的方法的限定。在一些实施例中，电子设备10可以通过后置摄像头采集图像；在另一些实施例中，电子设备10也可以控制其他电子设备通过其摄像头采集图像。

为更好地说明本申请实施例公开的数据搜索方法，图2公开了一种数据搜索方法的流程示意图。如图2所示，该方法可以包括以下步骤：

201、获取通过摄像头采集的图像。

202、当根据该图像检测到指定操作时，将检测到该指定操作的图像作为目标图像，并确定电子设备的当前使用场景。

具体地，电子设备可以通过摄像头采集包含物理页面的一帧或多帧图像，其中，该物理页面可以包括物理实体书本的翻开页面，也可以包括试卷、报刊等页面，本申请实施例不作具体限定。在此基础上，电子设备可以通过图像特征识别来获取上述图像的图像特征数据，并根据该图像特征数据判断上述图像中是否包含指定操作，从而实现对该指定操作的检测，进而可以将检测到该指定操作的图像作为目标图像。示例性地，该指定操作可以包括用户手部针对上述物理页面的指定动作(如手指指着该物理页面某处，或手指圈出该物理页面上的部分内容等)，也可以包括用户手持物品所进行的指定动作(如手持触控笔敲击物理页面，划过物理页面或圈出物理页面上的部分内容等)。具体举例来说，当电子设备获取摄像头采集的包含物理页面以及用户手指的一帧图像时，可以通过提取该图像的语义特征，分割出用户手指和不含用户手指的物理页面，进而判断该用户手指的动作是否符合预设动作要求(如食指伸展而其他手指握拳)，或该用户手指指尖所指的物理页面上的内容是否符合预设内容要求(如指尖指向英语课本的单词)；当电子设备获取摄像头采集的包含物理页面以及用户手指的多帧图像时，可以通过语义分割获取每一帧图像中的用户手指，并按时间顺序将其组合起来，进而判断其指尖的移动轨迹是否符合预设轨迹要求(如指尖的移动轨迹形成圆周)。

在本实施例中，当根据摄像头采集的图像检测到上述指定操作时，可以根据该指定操作确定电子设备的当前使用场景，其中，当前使用场景包括但不限于点读、口语评测、口语陪练、翻译等。具体地，可以预设分别对应于多个使用场景的多个指定操作，如当上述指定操作包括用户手部针对上述物理页面的指定动作时，可以预设手指敲击动作对应点读场景、手指圈画动作对应口语测评场景、手指划线动作对应翻译场景等。

作为一种可选的实施方式，电子设备可以根据当检测到上述指定操作时的其他交互操作来确定该电子设备的当前使用场景，而上述指定操作仅仅作为确定当前使用场景的触发条件。示例性地，当根据摄像头采集的图像检测到上述指定操作时，电子设备可以继续检测语音信号，并根据从该语音信号中提取的语音指令来确定电子设备的当前使用场景；可选地，电子设备也可以在其电子屏幕上显示AR虚拟形象(即叠加显示在采集的图像上的虚拟形象)，并检测用户与该AR虚拟形象之间的交互动作，进而根据该交互动作确定电子设备的当前使用场景；可选地，电子设备还可以配备与其连接的触控笔，并检测用户是否按下该触控笔上对应于不同功能的实体按键，进而根据所按下的按键对应的功能确定该电子设备的当前使用场景；可选地，电子设备还可以通过OCR(Optical Character Recognition，光学字符识别)技术对上述指定操作所针对的物理页面进行识别，获取对应的页面字符数据，进而根据该页面字符数据获取其自然语义，最后基于该自然语义确定该电子设备的当前使用场景。

203、确定上述目标图像中与上述当前使用场景对应的目标搜索对象，并对该目标搜索对象的图像内容进行识别。

具体地，摄像头采集的一帧或多帧图像中，可以包括至少一帧包含上述物理页面以及指定操作的目标图像。在此基础上，可以根据预设的与多个使用场景对应的一个或多个搜索对象，从上述目标图像中获取与根据步骤202确定的当前使用场景对应的目标搜索对象，其中，目标搜索对象可以包括物理页面上的页面标识(如页码、所属章节名称、所属书本名称、所属学科名称等)、部分页面内容(如单个或多个字符、词语、句子、段落、模块、插图等)或整个页面内容。示例性地，对于物理页面为英语课本页面的点读场景，通常需要针对生词或句子进行点读，此时可将目标搜索对象设置为英语课本页面中的生词模块或首个句子；对于英语课本页面的口语测评场景，可能需要根据整个页面内容进行口语测评，此时可以将目标搜索对象设置为整个页面内容，或设置为该英语课本页面的页码。通过上述方法从目标图像中获取与当前使用场景对应的目标搜索对象，能够根据在该当前使用场景下最具可能性的搜索情况来确定目标搜索对象，从而避免在一些场景下需要选择目标搜索对象或反复调整目标搜索对象，缩短搜索流程，减少搜索所需时间。

由于上述目标搜索对象是从目标图像中确定出来的，其本质上是包含在该目标图像中的部分图像，因此在确定了与上述当前使用场景对应的目标搜索对象之后，可以对该目标搜索对象的图像内容进行识别，如通过OCR获取其对应的文字内容，或通过自然语义识别获取其对应的图像语义，进而可以根据上述识别到的图像内容进行进一步的搜索。

作为另一种可选的实施方式，上述指定操作可以包括将指示物放在物理页面上的操作，其中，指示物可以包括用户手部，也可以包括触控笔、扫描笔、普通写字笔(如铅笔、圆珠笔等)、木棍等易于指示的物理实体。在上述从摄像头采集的图像中获取包含上述指定操作的目标图像之后，电子设备还可以对该目标图像进行图像特征识别，获取该目标图像对应的目标图像特征数据；当根据该目标图像特征数据判断出上述指示物稳定放置在物理页面上的时候，可以从该目标图像中去除上述指示物；然后，可以从该目标图像中检测物理页面的位置，进而可以根据检测到的物理页面以及上述目标图像特征数据，对该目标图像进行梯形校正，以消除因拍摄角度不佳可能带来的梯形失真问题；最后，对于进行了梯形校正的目标图像，可以执行上述确定该目标图像中与上述当前使用场景对应的目标搜索对象的步骤。

示例性地，请参阅图3，图3是本申请实施例公开的一系列图像处理效果的示意图。结合图3所示，在从摄像头采集的图像中获取包含物理页面以及用户手部放在物理页面上的目标图像(图3(a))之后，可以对该目标图像进行图像特征识别，并根据获取的目标图像特征数据对用户手部以及物理页面进行分割(图3(b))，以及判断该用户手部是否已经稳定放置在物理页面上；当判断出放置稳定后，可以去除分割出的用户手部(图3(c))；继而，可以检测该物理页面的位置，并根据检测结果以及上述目标图像特征数据进行梯形校正(图3(d))；最后，可以从已进行过梯形校正的目标图像中获取与上述当前使用场景对应的目标搜索对象。

作为另一种可选的实施方式，当上述指定操作包括将指示物放在物理页面上的操作时，电子设备还可以检测该指示物的指示位置，并将目标图像上与该指示位置距离最近，且与上述当前使用场景对应的搜索对象确定为目标搜索对象；可选地，当该指示位置的预设距离范围内不存在与上述当前使用场景对应的搜索对象时，可以将目标图像上的首个与上述当前使用场景对应的搜索对象确定为目标搜索对象，其中，上述首个对应的搜索对象，指在目标图像上按从左到右、从上到下的顺序首个对应的搜索对象。示例性地，电子设备可以检测用户手指指尖在目标图像上的位置，并在该位置的预设距离范围(如1cm、3cm等范围)内识别与上述当前使用场景对应的搜索对象，并将其中距离最近的一个搜索对象确定为目标搜索对象；当上述预设距离范围内不存在对应的搜索对象时，则按从左到右、从上到下的顺序对目标图像中的搜索对象进行识别，并将首个识别出的搜索对象确定为目标搜索对象。通过实施上述方法，能够根据用户在物理页面上放置的指示物来辅助确定目标搜索对象，从而提升所获取目标搜索对象符合用户意图的准确率，进一步减少潜在的对目标搜索对象进行调整的步骤，减少搜索所需时间。

作为另一种可选的实施方式，每一种使用场景对应的搜索对象可以分别具备不同的特殊标记，该特殊标记可以包括颜色标记、字体标记、模式标记、符号标记等。示例性地，当前使用场景对应的搜索对象可以标记为特定颜色(如红色、黄色等)，或者使用特定字体(如黑体、粗体、斜体等)，或者具备特定模式(如带下划线、高亮显示等)，又或者在附近设有特定符号(如使用三角符号标记，使用线框框出等)。在此基础上，当确定了电子设备的当前使用场景之后，可以获取该当前使用场景对应的搜索对象所具备的特殊标记，进而在目标图像中识别出与该特殊标记匹配的目标搜索对象。例如，若当前使用场景对应的搜索对象均标红，则电子设备可以对目标图像进行颜色通道分离，若该目标图像中的部分区域的各颜色通道灰度值与标红的搜索对象匹配，则可以从该部分区域中获取与当前使用场景对应的目标搜索对象，从而提升获取目标搜索对象的效率。

204、根据识别到的图像内容，在数据库中搜索与上述当前使用场景匹配的交互数据，并按照与该当前使用场景对应的方式输出该交互数据。

具体地，电子设备可以在数据库中搜索与上述识别到的图像内容关联的数据，并根据上述当前使用场景，从中进一步筛选出应用于该当前使用场景的交互数据。其中，上述交互数据可以包括语音数据(如单词读音、课文语音、对话语音等)、文字数据(如单词释义、翻译、例句等)、图像数据(如示意图、思维导图、关联视频等)等。示例性地，对于目标图像包含英语课本页面的口语测评场景，可能需要根据整个页面内容进行口语测评，此时可以将目标搜索对象设置为该英语课本页面的页码，从而在获取该页码后，可以在数据库中搜索与该页码匹配且对应于该英语课本页面的学习数据；由于当前使用场景为口语测评，此时可以从上述学习数据中获取全部的口语对话数据；在此基础上，可以按照与当前使用场景对应的方式，即按照口语测评的方式，通过扬声器输出上述口语对话数据中对话一方的语音，并根据对话另一方的语音判断用户的回答是否准确，从而实现口语测评。

示例性地，对于目标图像包含英语课本页面的点读场景，可以将目标搜索对象设置为生词模块，从而可以在数据库中搜索与该生词模块匹配的生词学习数据，该生词学习数据可以包括中英双语释义、生词翻译、生词读音、例句及其语音等；然后，可以按照上述生词模块中的生词排列顺序，或者针对用户手动选择的单个生词，通过电子屏幕显示上述中英双语释义、生词翻译以及例句，并通过扬声器播放上述生词读音以及例句语音。

示例性地，对于目标图像包含英语课本页面的口语陪练场景，可以将目标搜索对象设置为该英语课本页面所属章节名称，从而可以在数据库中搜索与该章节名称匹配的语料库数据；然后，可以根据该语料库数据，通过麦克风接收用户语音，并通过扬声器播放对应于该用户语音的智能问答语音，从而实现英语口语问答陪练。

可见，实施上述实施例所描述的数据搜索方法，能够通过先确定电子设备的当前使用场景，再根据在该当前使用场景下最具可能性的搜索情况来确定目标图像中的目标搜索对象，进而能够根据该目标搜索对象直接搜索应用于当前使用场景的交互数据并进行输出，因此能够避免根据图像进行数据搜索时在目标图像上反复调整搜索框的繁琐操作，准确定位在当前使用场景下最具可能性的目标搜索对象，从而能够缩短搜索所需时间，有利于提高根据图像进行数据搜索的效率。

请参阅图4，图4是本申请实施例公开的另一种数据搜索方法的流程示意图。如图4所示，该方法可以包括以下步骤：

401、当根据摄像头采集的图像检测到指定操作时，将检测到该指定操作的图像作为目标图像，并确定电子设备的当前使用场景，该当前使用场景包括针对整个页面内容的场景。

其中，步骤401与上述步骤201至202类似。需要说明的是，上述当前使用场景包括针对整个页面内容的场景，即该当前使用场景可以针对摄像头采集的图像中所包含的物理页面上的全部内容，也可以针对上述物理页面中全部的某一类内容(如该物理页面上的全部对话、全部插图等)。

402、确定目标图像中与上述当前使用场景对应的目标搜索对象，并对该目标搜索对象的图像内容进行识别，其中，该目标搜索对象包括上述目标图像对应的页面标识，对该页面标识的图像内容进行识别所得到的图像内容包括页面标识内容。

其中，步骤402与上述步骤203类似。需要说明的是，上述目标图像对应的页面标识可以包括该目标图像所包含的物理页面上的页面标识，如页码、所属章节名称、所属书本名称、所属学科名称等。类似地，对上述页面标识识别所得到的页面标识内容也可以对应包括上述各示例。在当前使用场景包括针对整个页面内容的场景的情况下，根据上述页面标识内容，可准确确定包含该页面标识内容的物理页面，进而可以准确确定对应的整个页面内容。

403、获取上述目标图像对应的书本信息。

具体地，电子设备可以根据上述页面标识获取目标图像对应的书本信息，例如根据上述页面标识中的所属书本名称、所属学科名称等获取目标图像所包含的物理页面的书本名称、学科分类等。可选地，电子设备也可以请求用户预先选择书本信息，从而可以直接获取经过用户确认的书本信息，保证所获取书本信息的准确性。

404、在数据库中搜索与上述书本信息以及页面标识内容匹配的书本页面数据。

根据书本信息(如书本名称)以及页面标识内容(如页码、章节名称等)，可以在数据库中查询匹配于该书本信息以及页面标识内容的书本页面数据，即上述目标图像所包含的物理页面对应的书本页面数据。其中，该书本页面数据可以仅包括与该物理页面对应的学习数据(如文字数据、静态图像数据等)，也可以包括学习数据和拓展链接，该拓展链接可用于在接下来的步骤405中获取与上述学习数据对应的多媒体拓展数据(如语音数据、视频等)。

405、从该书本页面数据中确定出与上述针对整个页面内容的场景匹配的交互数据。

406、按照与上述针对整个页面内容的场景对应的方式输出该交互数据，上述方式至少包括控制扬声器播放与该交互数据对应的语音，或控制屏幕显示与该交互数据对应的图像。

其中，步骤405至406与上述步骤204类似。需要说明的是，如上述书本页面数据包括学习数据和拓展链接时，该拓展链接可用于链接至数据库中与上述学习数据对应的多媒体拓展数据，也可以链接至互联网上与该学习数据对应的多媒体拓展数据，从而从该书本页面数据中确定出的交互数据可以包括语音数据(如单词读音、课文语音、对话语音等)、文字数据(如单词释义、翻译、例句等)、图像数据(如示意图、思维导图、关联视频等)等。示例性地，若当前使用场景为针对整个英语课本页面的口语测评场景，则电子设备可以根据所获取的该英语课本的课本名称和页码，在数据库中搜索匹配的英语课本页面数据，进而可以获取该页面上的口语对话数据，以及相应的对话语音；在此基础上，可以按照口语测评的方式，电子设备通过扬声器输出上述口语对话数据中一方的对话语音，并引导用户按照另一方的对话语音进行回答，从而实现口语测评；此外，电子设备还可以在通过屏幕同时输出上述口语对话数据的对话文字或图像。

可见，实施上述实施例所描述的数据搜索方法，能够在针对整个页面内容的场景下，利用页面标识快速获得所需搜索的交互数据，提升了数据搜索效率。

请参阅图5，图5是本申请实施例公开的又一种数据搜索方法的流程示意图。如图5所示，该方法可以包括以下步骤：

501、当根据摄像头采集的图像检测到指定操作时，将检测到该指定操作的图像作为目标图像，并确定电子设备的当前使用场景，该当前使用场景包括针对部分页面内容的场景。

其中，步骤501与上述步骤201至202类似。需要说明的是，上述当前使用场景包括针对部分页面内容的场景，即该当前使用场景仅需要对摄像头采集的图像中包含的物理页面上的部分内容(如该物理页面上的部分模块、语句、字词等)进行搜索。

502、确定与上述针对部分页面内容的场景以及指定操作对应的搜索坐标和搜索框属性。

具体地，电子设备可以针对每个不同的使用场景，即针对每个不同的针对部分页面内容的场景，预设对应的一个或多个搜索框，其具有预设的搜索坐标(即搜索框的中心位置)和搜索框属性(如搜索框形状、大小等)。示例性地，对于点读场景，可以预设位于目标图像左上角、具有单个字词大小的矩形搜索框；对于搜题场景，可以预设位于目标图像上半侧、具有常规题目所占空间大小的矩形搜索框。进一步地，根据上述指定操作(如用户手部针对目标图像所包含的物理页面的指定动作)，电子设备可以进一步限定上述搜索坐标和搜索框属性，如根据用户的手指指尖位置确定搜索框的中心位置，以及根据用户的手指指尖移动轨迹确定搜索框的形状和大小。在此基础上，根据当前使用场景直接调出对应预设的搜索坐标和搜索框属性，然后通过接下来的步骤503生成对应的搜索框，能够迅速获取当前使用场景下最具可能性的目标搜索对象，缩短搜索所需时间。

503、在上述目标图像上对应于该搜索坐标的位置，生成具备该搜索框属性的搜索框。

在本实施例中，电子设备可以在其电子屏幕上显示上述目标图像，进而可以继续在该电子屏幕上叠加显示上述搜索框。

504、根据上述针对部分页面内容的场景，判断是否需要检测对该搜索框的调整操作。

具体地，对于部分点读场景，当点读内容具有固定位置或固定大小时，可以无需对搜索框进行位置或大小的调整。例如，若当前使用场景为针对书本脚注的搜索场景，由于书本脚注的位置通常固定在书本页面下方，且其长度和高度通常会限制在一定范围内(通常是一至两行，用于简单解释正文内容或说明正文内容的来源)，在此情况下所需搜索框的位置和大小通常不会变化，则电子设备可以判断出不需要检测对搜索框的调整操作。

505、当上述判断结果表示需要时，触发检测调整操作。

506、当检测到调整操作时，根据该调整操作对上述搜索框进行调整，该调整至少包括对该搜索框进行平移、旋转或缩放。

具体地，电子设备可以检测对其电子屏幕的触控操作，该触控操作可以对应于上述搜索框的位置。示例性地，当电子设备检测到单点触控操作时，可以根据该单点触控操作的移动轨迹来对该搜索框进行平移；当电子设备检测到双点触控操作时，可以根据该双点触控操作的移动轨迹来对该搜索框进行旋转；当电子设备检测到三点触控操作时，可以根据该三点触控操作的移动轨迹来对该搜索框进行缩放。

作为一种可选的实施方式，电子设备还可以检测包含预设关键词的语音信号，并根据该语音信号提取出针对上述预设关键词的语音指令，以根据该语音指令对上述搜索框进行调整。举例来说，当电子设备检测到包含“搜索框”这一关键词的语音信号时，可以从该语音信号中提取针对搜索框的语音指令；当该语音指令包含“搜索框”以及“向左移动”“X厘米”等关键词时，可以根据包含这些关键词的上述语音指令，调整搜索框向左移动X厘米。

507、从上述目标图像中获取由该搜索框限定的部分图像。

508、将上述部分图像作为与上述针对部分页面内容的场景对应的目标搜索对象。

509、对上述目标搜索对象的图像内容进行识别。

其中，步骤507至509与上述步骤203类似。需要说明的是，上述由搜索框限定的部分图像，指的是从目标图像中截取的对应于调整搜索框后的搜索坐标和搜索框属性的部分图像。

510、根据上述针对部分页面内容的场景，在数据库中搜索与上述目标搜索对象匹配的交互数据，并按照与上述场景对应的方式输出该交互数据。

其中，步骤510与上述步骤204类似，此处不再赘述。

作为一种可选的实施方式，上述目标搜索对象还可以包括目标图像对应的页面标识，从而电子设备可以利用该页面标识，在准确确定包含该页面标识的物理页面之后，再根据所确定的物理页面以及根据上述搜索框限定的部分图像所获取的目标搜索对象，在数据库中搜索对应的互动数据，从而能够利用物理页面的页面标识在搜索互动数据时加以限制，缩小搜索范围，提升数据搜索的准确性。

可见，实施上述实施例所描述的数据搜索方法，能够在针对部分页面内容的场景下，利用根据不同使用场景设置的搜索框来获取目标搜索对象，避免了根据图像进行数据搜索时过多调整搜索框的繁琐操作，有利于进一步缩短搜索所需时间，提高数据搜索效率。

请参阅图6，图6是本申请实施例公开的又一种数据搜索方法的流程示意图。如图6所示，该方法可以包括以下步骤：

601、当根据摄像头采集的图像检测到指定操作时，将检测到该指定操作的图像作为目标图像，并检测对电子设备上显示的AR虚拟形象的交互操作。

示例性地，请参阅图7，图7是本申请实施例所描述的数据搜索方法中采用的一种AR虚拟形象显示效果的示意图。如图7所示，当根据摄像头采集的图像检测到指定操作时，电子设备可以在其屏幕上显示AR虚拟形象，并通过该AR虚拟形象与用户进行动作交互(如图7左侧所示)和语音交互(如图7右侧所示)，在此过程中检测用户对该AR虚拟形象的交互操作，该交互操作可以包括交互动作和交互语音。

602、当检测到上述交互操作时，采集对应的交互动作数据和交互语音数据。

603、根据该交互动作数据和交互语音数据，确定用户使用意图。

具体地，对于上述交互动作数据，电子设备可以获取用户在交互时直接选择确认的用户使用意图，也可以从中提取交互动作特征，并与预先存储的对应于电子设备不同使用场景的预设动作特征比对，以确定用户使用意图；对于上述交互语音数据，电子设备可以对该交互语音数据进行自然语言识别，从而确定用户使用意图。

604、根据该用户使用意图，确定电子设备的当前使用场景。

在本申请实施例中，上述电子设备的当前使用场景，可以包括针对整个页面内容的场景，也可以包括针对部分页面内容的场景。

作为一种可选的实施方式，电子设备在根据交互动作数据和交互语音数据确定用户意图时，还可以同时确定对应于该用户意图的置信度；当该置信度低于预设阈值时，电子设备可以根据用户意图和其置信度生成引导问题，并通过AR虚拟形象发出该引导问题；然后，电子设备可以检测对该引导问题的答复信息，并根据该答复信息修正上述用户意图；最后，电子设备可以根据修正后的用户意图确定该电子设备的当前使用场景。示例性地，当由于噪声干扰而导致电子设备确定出两个用户意图时，若其中第一用户意图的置信度为A(A＜50％)，而第二用户意图的置信度为B(B＝100％－A)，则电子设备可以先生成关于第二用户意图的引导问题“是否进行……”，并通过AR虚拟形象发出该引导问题；若用户的答复信息为肯定，则可以修正上述用户意图为第二用户意图；若用户的答复信息为否定，则可以修正上述用户意图为第一用户意图。因此，通过实施上述方法，能够根据用户反馈修正电子设备确认的用户意图，从而提高识别电子设备的当前使用场景的准确率，有利于改善搜索结果，提升数据搜索的准确性。

605、确定上述目标图像中与上述当前使用场景对应的目标搜索对象，并对该目标搜索对象的图像内容进行识别。

606、根据识别到的图像内容，在数据库中搜索与上述当前使用场景匹配的交互数据。

其中，步骤605至606与上述步骤203至204类似。需要说明的是，上述步骤204中“按照与上述当前使用场景对应的方式输出该交互数据”在本实施例的具体实现请参见接下来的步骤607。

607、按照与上述当前使用场景对应的方式，通过AR虚拟形象输出该交互数据。

具体地，电子设备可以通过AR虚拟形象输出上述交互数据，例如使用该AR虚拟形象对应的声纹输出语音数据，或者通过该AR虚拟形象的动作展示文字数据以及图像数据。示例性地，对于目标图像包含英语课本页面的点读场景，可以将目标搜索对象设置为生词模块，从而可以在数据库中搜索与该生词模块匹配的生词学习数据，该生词学习数据可以包括中英双语释义、生词翻译、生词读音、例句及其语音等；然后，可以按照上述生词模块中的生词排列顺序，或者针对用户手动选择的单个生词，在显示的AR虚拟形象附近显示上述中英双语释义、生词翻译以及例句，并通过扬声器播放上述生词读音以及例句语音。

608、检测对上述AR虚拟形象的反馈操作，并采集反馈数据，该反馈数据包括针对上述交互数据的反馈动作数据和反馈语音数据。

609、根据上述当前使用场景和反馈数据，触发上述AR虚拟形象进行互动。

举例来说，对于口语陪练场景，电子设备在通过AR虚拟形象首次输出交互数据(如口语对话中对话一方的语音)之后，可以检测用户的反馈语音数据(如针对上述语音的回复)，并按照口语陪练的方式持续输出交互数据和检测反馈语音数据的过程，从而实现口语陪练。又举例来说，对于点读场景，电子设备可以在输出交互数据(如所点读字词的读音)之后，可以检测用户的反馈动作数据(如对所点读字词的摹写)和反馈语音数据(如对所点读字词的跟读)，然后根据上述反馈数据进行评分，从而实现可交互的点读，有利于提升用户利用电子设备进行点读的参与感。

可见，实施上述实施例所描述的数据搜索方法，能够通过AR虚拟形象实现根据图像进行数据搜索前后的互动，在增强用户参与度的同时，还能够根据用户反馈改善搜索结果，提升数据搜索的准确性。

请参阅图8，图8是本申请实施例公开的一种电子设备的模块化示意图。如图8所示，该电子设备可以包括获取单元801、第一确定单元802、第二确定单元803以及搜索单元804，其中：

获取单元801，用于获取通过摄像头采集的图像；

第一确定单元802，用于当根据上述图像检测到指定操作时，将检测到该指定操作的图像作为目标图像，并确定电子设备的当前使用场景；

第二确定单元803，用于确定该目标图像中与上述当前使用场景对应的目标搜索对象，并对该目标搜索对象的图像内容进行识别；

搜索单元804，用于根据识别到的图像内容，在数据库中搜索与上述当前使用场景匹配的交互数据，并按照与上述当前使用场景对应的方式输出该交互数据。

可见，通过实施上述实施例所描述的电子设备，能够根据在当前使用场景下最具可能性的搜索情况来确定目标图像中的目标搜索对象，进而能够根据该目标搜索对象直接搜索与当前使用场景匹配的交互数据并进行输出，因此能够避免根据图像进行数据搜索时在目标图像上反复调整搜索框的繁琐操作，准确定位在当前使用场景下最具可能性的目标搜索对象，从而能够缩短搜索所需时间，有利于提高根据图像进行数据搜索的效率。

作为一种可选的实施方式，上述当前使用场景可以包括针对整个页面内容的场景，上述目标搜索对象可以包括上述目标图像对应的页面标识，对该页面标识的图像内容进行识别所得到的图像内容可以包括页面标识内容，在此情况下，上述实施例的搜索单元804可以包括未图示的信息获取子单元、数据搜索子单元、数据确定子单元以及数据输出子单元，其中：

信息获取子单元，用于获取上述目标图像对应的书本信息；

数据搜索子单元，用于在数据库中搜索与该书本信息以及上述页面标识内容匹配的书本页面数据；

数据确定子单元，用于从该书本页面数据中确定出与上述针对整个页面内容的场景匹配的交互数据；

数据输出子单元，用于按照与上述针对整个页面内容的场景对应的方式输出该交互数据，上述方式至少包括控制扬声器播放与该交互数据对应的语音，或控制屏幕显示与该交互数据对应的图像。

可见，通过实施上述实施例所描述的电子设备，在针对整个页面内容的场景下，利用页面标识快速获得所需搜索的交互数据，进一步提升了数据搜索效率。

作为另一种可选的实施方式，上述当前使用场景可以包括针对部分页面内容的场景，在此情况下，上述实施例的第一单元802可以包括未图示的第一获取子单元、确定子单元、生成子单元、判断子单元、触发子单元、调整子单元、第二获取子单元以及第三获取子单元，其中：

第一获取子单元，用于在上述获取单元801获取通过摄像头采集的图像之后，当根据该图像检测到指定操作时，将检测到该指定操作的图像作为目标图像；

确定子单元，用于确定与上述针对部分页面内容的场景以及指定操作对应的搜索坐标和搜索框属性；

生成子单元，用于在上述目标图像上对应于该搜索坐标的位置，生成具备该搜索框属性的搜索框；

判断子单元，用于根据上述针对部分页面内容的场景，判断是否需要检测对搜索框的调整操作；

触发子单元，用于当上述判断结果表示需要时，触发检测该调整操作；

调整子单元，用于当检测到上述调整操作时，根据该调整操作对搜索框进行调整，上述调整至少包括对该搜索框进行平移、旋转或缩放；

第二获取子单元，用于从上述目标图像中获取由搜索框限定的部分图像；

第三获取子单元，用于将上述部分图像作为与上述针对部分页面内容的场景对应的目标搜索对象。

可见，通过实施上述实施例所描述的电子设备，在针对部分页面内容的场景下，利用根据不同使用场景设置的搜索框来获取目标搜索对象，避免了根据图像进行数据搜索时过多调整搜索框的繁琐操作，有利于更进一步缩短搜索所需时间，提高数据搜索效率。

作为另一种可选的实施方式，上述指定操作可以包括将指示物放在物理页面上的操作，在此情况下，上述实施例的电子设备还可以包括未图示的识别单元、去除单元以及校正单元，其中：

识别单元，用于对上述第一确定单元802确定的目标图像进行图像特征识别，获取该目标图像对应的目标图像特征数据；

去除单元，用于根据该目标图像特征数据，从目标图像中去除上述指示物；

校正单元，用于从已去除上述指示物的目标图像中检测上述物理页面，并根据检测到的物理页面以及上述目标图像特征数据，对目标图像进行梯形校正。

可见，通过实施上述实施例所描述的电子设备，根据用户在物理页面上放置的指示物来辅助确定目标搜索对象，从而提升所获取目标搜索对象符合用户意图的准确率，进一步减少潜在的对目标搜索对象进行调整的步骤，减少搜索所需时间。

作为另一种可选的实施方式，上述实施例的第一确定单元802可以包括检测子单元、采集子单元、意图确定子单元以及场景确定子单元，其中：

检测子单元，用于当根据摄像头采集的图像检测到指定操作时，检测对电子设备上显示的AR虚拟形象的交互操作；

采集子单元，用于当检测到上述交互操作时，采集对应的交互动作数据和交互语音数据；

意图确定子单元，用于根据上述交互动作数据和交互语音数据，确定用户使用意图；

场景确定子单元，用于根据上述用户使用意图，确定电子设备的当前使用场景。

作为另一种可选的实施方式，上述实施例的搜索单元804在根据识别到的图像内容，在数据库中搜索与上述当前使用场景匹配的交互数据之后，可以按照与上述当前使用场景对应的方式，通过AR虚拟形象输出该交互数据；

上述实施例的电子设备还可以包括反馈检测单元和互动触发单元，其中：

反馈检测单元，用于检测对上述AR虚拟形象的反馈操作，并采集反馈数据，该反馈数据包括针对上述交互数据的反馈动作数据和反馈语音数据；

互动触发单元，用于根据上述当前使用场景和反馈数据，触发该AR虚拟形象进行互动。

可见，通过实施上述实施例所描述的电子设备，通过AR虚拟形象实现根据图像进行数据搜索前后的互动，在增强用户参与度的同时，还能够根据用户反馈改善搜索结果，提升数据搜索的准确性。

请参阅图9，图9是本申请实施例公开的又一种电子设备的模块化示意图。如图9所示，该电子设备可以包括：

存储有可执行程序代码的存储器901；

与存储器901耦合的处理器902；

其中，处理器902调用存储器901中存储的可执行程序代码，执行图上述实施例中任意一种数据搜索方法中的全部或部分步骤。

存储器901可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选地，该存储器901还可以包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器901可用于存储指令、程序、代码、代码集或指令集，其包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令、用于实现上述各个方法实施例的指令等；存储数据区可存储根据服务器的使用所创建的数据等。

处理器902可以包括一个或多个处理核心，并利用各种接口和线路连接整个服务器内的各个部分，通过运行或执行存储在存储器901内的指令、程序、代码集或指令集，以及调用存储在存储器901内的数据，执行服务器的各种功能和处理数据。可选地，处理器902可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器902可集成中央处理器(Central Processing Unit，CPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统和应用程序等；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器902中，单独通过一块芯片进行实现。

此外，本申请实施例进一步公开了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行上述实施例中任意一种数据搜索方法中的全部或部分步骤。

此外，本申请实施例进一步公开一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述实施例中任意一种数据搜索方法中的全部或部分步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本申请实施例公开的一种数据搜索方法及电子设备、计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据搜索方法，其特征在于，包括：

获取通过摄像头采集的图像；

当根据所述图像检测到指定操作时，将检测到所述指定操作的图像作为目标图像，并确定电子设备的当前使用场景；

确定所述目标图像中与所述当前使用场景对应的目标搜索对象，并对所述目标搜索对象的图像内容进行识别；

根据识别到的图像内容，在数据库中搜索与所述当前使用场景匹配的交互数据，并按照与所述当前使用场景对应的方式输出所述交互数据。

2.根据权利要求1所述的方法，其特征在于，所述当前使用场景包括针对整个页面内容的场景，所述目标搜索对象包括所述目标图像对应的页面标识，对所述页面标识的图像内容进行识别所得到的图像内容包括页面标识内容，所述根据识别到的图像内容，在数据库中搜索与所述当前使用场景匹配的交互数据，并按照与所述当前使用场景对应的方式输出所述交互数据，包括：

获取所述目标图像对应的书本信息；

在数据库中搜索与所述书本信息以及所述页面标识内容匹配的书本页面数据；

从所述书本页面数据中确定出与所述针对整个页面内容的场景匹配的交互数据；

按照与所述针对整个页面内容的场景对应的方式输出所述交互数据，所述方式至少包括控制扬声器播放与所述交互数据对应的语音，或控制屏幕显示与所述交互数据对应的图像。

3.根据权利要求1所述的方法，其特征在于，所述当前使用场景包括针对部分页面内容的场景，所述确定所述目标图像中与所述当前使用场景对应的目标搜索对象，包括：

确定与所述针对部分页面内容的场景以及所述指定操作对应的搜索坐标和搜索框属性；

在所述目标图像上对应于所述搜索坐标的位置，生成具备所述搜索框属性的搜索框；

从所述目标图像中获取由所述搜索框限定的部分图像，并将所述部分图像作为与所述针对部分页面内容的场景对应的目标搜索对象。

4.根据权利要求3所述的方法，其特征在于，在所述在所述目标图像上对应于所述搜索坐标的位置，生成具备所述搜索框属性的搜索框之后，所述从所述目标图像中获取由所述搜索框限定的部分图像之前，所述方法还包括：

根据所述针对部分页面内容的场景，判断是否需要检测对所述搜索框的调整操作；

当判断结果表示需要时，触发检测所述调整操作；

当检测到所述调整操作时，根据所述调整操作对所述搜索框进行调整，所述调整至少包括对所述搜索框进行平移、旋转或缩放。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述指定操作包括将指示物放在物理页面上的操作，在所述当根据所述图像检测到指定操作时，将检测到所述指定操作的图像作为目标图像之后，所述方法还包括：

对所述目标图像进行图像特征识别，获取所述目标图像对应的目标图像特征数据；

根据所述目标图像特征数据，从所述目标图像中去除所述指示物；

从已去除所述指示物的所述目标图像中检测所述物理页面，并根据检测到的所述物理页面以及所述目标图像特征数据，对所述目标图像进行梯形校正。

6.根据权利要求1至4任一项所述的方法，其特征在于，所述确定电子设备的当前使用场景，包括：

当根据所述图像检测到指定操作时，检测对电子设备上显示的AR虚拟形象的交互操作；

当检测到所述交互操作时，采集对应的交互动作数据和交互语音数据；

根据所述交互动作数据和交互语音数据，确定用户使用意图；

根据所述用户使用意图，确定所述电子设备的当前使用场景。

7.根据权利要求6所述的方法，其特征在于，所述按照与所述当前使用场景对应的方式输出所述交互数据，包括：

按照与所述当前使用场景对应的方式，通过所述AR虚拟形象输出所述交互数据；

在所述按照与所述当前使用场景对应的方式，通过所述AR虚拟形象输出所述交互数据之后，所述方法还包括：

检测对所述AR虚拟形象的反馈操作，并采集反馈数据，所述反馈数据包括针对所述交互数据的反馈动作数据和反馈语音数据；

根据所述当前使用场景和所述反馈数据，触发所述AR虚拟形象进行互动。

8.一种电子设备，其特征在于，包括：

获取单元，用于获取通过摄像头采集的图像；

第一确定单元，用于当根据所述图像检测到指定操作时，将检测到所述指定操作的图像作为目标图像，并确定电子设备的当前使用场景；

第二确定单元，用于确定所述目标图像中与所述当前使用场景对应的目标搜索对象，并对所述目标搜索对象的图像内容进行识别；

搜索单元，用于根据识别到的图像内容，在数据库中搜索与所述当前使用场景匹配的交互数据，并按照与所述当前使用场景对应的方式输出所述交互数据。

9.一种电子设备，其特征在于，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至7任一项所述的方法。

Images