CN110998507B - 电子装置及其用于提供搜索结果的方法 - Google Patents

Abstract

提供了一种在电子装置中提供搜索结果的方法及其电子装置。该方法包括：显示包括对象的屏幕并感测选择对象的用户输入。在该方法中，响应于所述用户输入，捕获包括对象的屏幕以生成捕获的图像。该方法还包括：将捕获的图像的至少一部分发送到外部装置，从外部装置接收基于与对象对应的对象信息和与对象相关的附加信息而获得的搜索结果，并显示接收到的搜索结果。

Description

电子装置及其用于提供搜索结果的方法

技术领域

本公开涉及一种电子装置及其用于提供搜索结果的方法，并且更具体地，涉及一种提供与电子装置的屏幕上包括的对象有关的搜索结果的方法。

另外，本公开涉及一种使用机器学习算法模拟人脑的功能(诸如识别和判断)的人工智能(AI)系统及其应用。

背景技术

随着通信技术和电子装置的用户界面的发展，用户可通过电子装置容易地接收必要的信息而不受位置和时间的限制。

如果电子装置提供包括对象的屏幕，则用户可能希望检索与该对象有关的信息。

为此，用户可单独存储对象，将存储的对象用作关键词来执行图像搜索或通过直接输入与该对象有关的文本来执行文本搜索。

近来，已经在各个领域中使用了实现人类水平智能的AI系统。AI系统是一个与现有的基于规则的智能系统不同的系统，在该系统中，机器可学习、判断并变得越来越智能。随着AI系统的使用增加，识别率和对用户品味的理解也随之提高，因此，现有的基于规则的智能系统正逐渐被基于深度学习的AI系统所取代。

AI技术由机器学习(例如，深度学习)和利用机器学习的元技术组成。

机器学习是一种无需用户帮助即可对输入数据的特征进行分类/学习的算法技术。元技术是一种使用诸如深度学习的机器学习算法来模拟诸如人脑识别和判断的功能的技术，并且由诸如语言理解、视觉理解、推理/预测、知识表示和操作控制的技术领域组成。

应用AI技术的各种领域如下。语言理解是一种用于识别并应用/处理人类语言/字符的技术，并且包括自然语言处理、机器翻译、对话系统、查询响应、语音识别/合成等。视觉理解是一种将对象识别并处理为人类视觉的技术，并且包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解和图像增强。推理和预测是一种用于判断和逻辑推断和预测信息的技术，包括基于知识/概率的推理、优化预测、偏好库计划和推荐。知识表示是一种将人类经验信息自动处理为知识数据的技术，并且包括知识建立(数据生成/分类)和知识管理(数据利用)。操作控制是一种控制车辆的自主行驶和机器人的运动的技术，并且包括运动控制(导航、碰撞、行驶)、操纵控制(行为控制)等。

在相关技术中，用户必须经历几个步骤以便检索与包括在屏幕上的对象有关的信息，这是不方便的。特别地，如果电子装置不支持图像搜索，则用户不得不手动输入关于对象的文本。另外，当在各个领域中搜索与对象有关的信息时，用户不得不基于搜索结果再次频繁地执行搜索，这增加了不便性。

以上信息作为背景信息呈现仅以帮助理解本公开。对于以上内容中的任何内容是否可用作关于本公开的现有技术，未作出决定，也未作出断言。

发明内容

技术问题

说明性的非限制性实施例可克服上述缺点以及上面未描述的其他缺点。不一定需要本公开来克服上述任何缺点，并且说明性的非限制性实施例可不克服上述任何问题。应该参考所附权利要求以确定发明构思的真实范围。

解决方案

根据本公开的一方面，提供了一种在显示装置中提供搜索结果的方法，所述方法包括：显示应用执行屏幕，在显示所述应用执行屏幕的同时接收用户输入，基于所述用户输入生成与所述应用执行屏幕有关的图像，并显示搜索结果，所述搜索结果是使用关于在生成的图像上的与所述用户输入对应的第一区域的第一信息以及关于在生成的图像上的与第一区域不同的第二区域的第二信息来执行的，并且第一信息第二信息是通过训练的模型获得的。

可基于与所述用户输入对应的触摸坐标从生成的图像获取第一区域。

所述方法还可包括：显示生成的图像以代替所述应用执行屏幕。

所述方法可由AI代理执行。

第一信息可以是通过识别生成的图像的第一区域而获取的信息。

第二信息可以是通过识别生成的图像的第二区域而获取的信息。

用户输入可以是关于应用执行屏幕的输入。

所述方法还可包括：将针对显示所述搜索结果的用户反馈发送到外部装置。

所述方法还可包括：将生成的图像的至少一部分发送到外部搜索服务器并从外部搜索服务器接收所述搜索结果。

显示搜索结果的步骤可包括：在显示所述应用执行屏幕的同时显示所述搜索结果。

根据本公开的另一方面，提供了一种电子装置，该电子装置包括显示器；用户输入接口；通信器；处理器，被配置为电连接到显示器、用户输入接口和通信器；以及存储器，被配置为存储由处理器执行的至少一个计算机程序，并且所述至少一个计算机程序在被执行时促使电子装置执行以下操作：在显示器上显示应用执行屏幕，响应于在显示器上显示应用执行屏幕的同时接收到用户输入，根据所述用户输入生成与所述应用执行屏幕有关的图像，并显示搜索结果，所述搜索结果是使用关于在生成的图像上的与用户输入对应的第一区域的第一信息以及关于在生成的图像上的与第一区域不同的第二区域的第二信息来执行的。

可基于与所述用户输入对应的触摸坐标从生成的图像获取第一区域。

所述至少一个计算机程序在被执行时还促使电子装置执行以下操作：显示生成的图像以代替所述应用执行屏幕。

所述至少一个计算机程序可由AI代理执行。

第一信息可以是通过识别生成的图像的第一区域而获取的信息。

第二信息可以是通过识别生成的图像的第二区域而获取的信息。

所述用户输入可以是关于所述应用执行屏幕的输入。

所述至少一个计算机程序在被执行时还促使电子装置执行以下操作：将针对显示所述搜索结果的用户反馈发送到外部装置。

显示搜索结果的操作可包括在显示所述应用执行屏幕的同时显示所述搜索结果。

根据本公开的一方面，提供了一种在电子装置中使用训练的模型来获取信息的方法。所述方法包括：显示应用执行屏幕；根据用户输入生成与所述应用执行屏幕有关的图像；通过第一模型获取关于生成的图像上的第一区域的第一信息，第一模型是通过将生成的图像用作输入数据来训练的；并通过第二模型获取关于生成的图像上的与第一区域不同的第二区域的第二信息，第二模型是通过将获取的第一信息和生成的图像用作输入数据来训练的。

有益效果

根据本公开的一方面，用户可容易地检索与包括在屏幕中的对象有关的搜索结果。

另外，通过使用基于对象的选择而获取的环境信息来提供搜索结果，可提供反映用户搜索意图的用户定制搜索结果。

因此，减少了用户的检索步骤的数量和用户的重新搜索的数量，并因此，可提高电子装置的用户的满意度和便利性。

附图说明

从以下结合附图进行的描述，本公开的某些实施例的以上和/或其他方面、特征和优点将变得更加明显。理解这些附图仅描绘了某些实施例，因此不应被认为是对本公开的范围的限制，通过使用附图，以附加的特征和细节对本文的原理进行了描述和说明，其中：

图1是示出根据各种实施例的使用电子装置来获得搜索结果的过程的示图；

图2a和图2b是示出根据各种实施例的包括电子装置的网络系统的框图；

图3至图5是示出根据各种实施例的提供搜索结果的网络系统的流程图；

图6是示出根据各种实施例的提供与对象有关的搜索结果的过程的示图；

图7是示出根据各种实施例的使用外围信息的与对象有关的搜索结果的示图；

图8a至图8c是示出根据各种实施例的使用电子装置选择对象的示图；

图9a至图9e是示出根据各种实施例的与对象有关的搜索结果的示图；

图10a和图10b是示出根据各种实施例的与对象有关的搜索结果正在被检索的示图。

图11是示出根据各种实施例的获得与对象有关的搜索结果的过程的示图；

图12是示出根据各种实施例的使用拍摄信息来获得与对象有关的搜索结果的过程的示图；

图13至图16c是示出根据各种实施例的提供与对象有关的搜索结果的过程的示图。

图17是示出根据各种实施例的与外部装置相关联地提供与对象有关的搜索结果的过程的流程图；

图18是示出根据各种实施例的电子装置的配置的框图；

图19a至图19c是示出根据各种实施例的训练组件和检测器的配置的框图；

图20是示出根据各种实施例的控制电子装置的方法的示图；

图21是示出根据各种实施例的使用识别模型来控制电子装置的方法的流程图；

图22至图25是示出根据各种实施例的在使用识别模型的网络系统中提供搜索结果的流程图。

图26和图27是示出根据各种实施例的由电子装置使用识别模型来提供搜索结果的过程的流程图；以及

图28和图29是示出根据各种实施例的由系统使用识别模型来提供搜索结果的流程图。

具体实施方式

最佳模式

在下文中，将参照附图描述各种实施例。然而，应当理解，本公开不限于在下文中描述的特定实施例，而是包括实施例的各种修改、等同和/或替换。关于附图的说明，相同的附图标号可用于相似的组成元件。

在本说明书中，表述“包括”、“可包括”、“包含”或“可包含”可指特征(例如，数值、函数、操作或诸如部件的元件等)的存在，但除非另有特别说明，否则不排除附加特征的存在。

在描述中，术语“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或更多个”可包括一起列举的项目的所有可能的组合。例如，术语“A或B”、“A和B中的至少一个”或“A或B中的至少一个”可包括：(1)至少一个A、(2)至少一个B或(3)至少一个A和至少一个B两者。

如本文所使用的表述“1”、“2”、“第一”或“第二”可使用各种元件而不管元件的顺序和/或重要性，并且它们仅用于将一个元件与另一元件区分开而不限制相应的元件。

如果元件(例如，第一元件)“(可操作地或通信地)与另一元件(例如，第二元件)结合/结合到所述另一元件”或“连接到”另一元件(例如，第二元件)，则应该理解的是，任何这样的元件可直接连接到另一元件，或者可通过又一元件(例如，第三元件)连接。另一方面，如果一个元件(例如，第一元件)“直接结合到”或“直接连接到”另一元件(例如，第二元件)，则应该理解的是，在这些元件之间没有其他元件(例如，第三组件)。

在说明书中，术语“被配置为”在某些情况下可被改变为例如“适合于”、“具有…的能力”、“被设计为”、“被适配为”、“被制造为”或“能够”。术语“被配置为(被设置为)”不一定意味着在硬件级别上“专门被设计为”。在某些情况下，术语“被配置为…的装置”可指“能够”与另一装置或组件一起做某事的“装置”。例如，“被配置为(或被设置为)执行A、B和C的子处理器”可指可执行相应操作的专用处理器(例如，嵌入式处理器)或可通过运行存储在存储装置中的一个或更多个软件程序来执行相应的操作的通用处理器(例如，CPU或应用处理器)。

根据各种实施例的电子设备可包括例如智能电话、平板PC、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、PDA、便携式多媒体播放器(PMP)、MP3播放器、医疗装置和可穿戴装置中的至少一个。可穿戴装置可以是配件型(例如，手表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜或头戴式装置(HMD))、织物或衣服集成型(例如，电子衣服)、身体附着型(例如，皮肤垫或纹身)或生物可植入型中的至少一个。在一些实施例中，电子装置可包括例如电视机、数字视频盘(DVD)播放器、音频播放器、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、媒体盒(例如，Samsung HomeSync^TM、Apple TV^TM、或Google TV^TM)、游戏机(例如，Xbox^TM、PlayStation^TM)、电子词典、电子钥匙、摄录机和电子相框中的至少一个。

在其他实施例中，电子装置可包括医疗装置(例如，各种便携式医疗测量装置(诸如血糖仪、心率仪、血压仪或体温仪)、磁共振血管造影(MRA)装置、磁共振成像(MRI)装置、计算机断层扫描(CT)装置、相机、超声装置)、导航装置、全球导航卫星系统(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐装置、船用电子装置(例如，船用导航装置、陀螺罗盘等)、航空电子装置、安全装置、车辆头单元、工业或家用机器人、无人机、金融机构的ATM、商店的销售点(POS)、物联网(IoT)互联网装置(例如，灯泡、各种传感器、洒水装置、火警器、恒温器、路灯、烤面包机、健身器材、热水箱、加热器、锅炉等)中的至少一个。

在本说明书中，术语“用户”可表示使用电子装置的人或使用电子装置的设备(例如，人工智能电子设备)。

图1是示出根据各种实施例的使用电子装置来获得搜索结果的过程的示图。

首先，如图1的(a)中所示，电子装置A可显示包括对象111(例如，建筑)的屏幕。对象可以是例如内容110中包括的多个对象的一部分。在这种情况下，可能出现电子装置A的用户U希望具有与对象111有关的附加信息的情况。例如，用户U可能希望知道作为对象111的建筑的名称或用途。另外，包括对象111的屏幕可以是应用执行屏幕。

因此，如图1的(b)中所示，用户U可选择对象111。例如，用户U可长按显示对象111的显示区域的点。可选地，为了选择对象111，用户U可使用手指或电子笔多次触摸或用力触摸对象，画出对象111的外围，或者输入拖动以穿过对象的至少一部分。可选地，用户U可在按压设置在电子装置A上的按钮(例如，用于执行AI功能的按钮)之后(或在按压设置在电子装置A上的按钮(例如，用于执行AI功能的按钮)的同时)触摸对象111。用户可使用在词典中定义的动作来选择对象111。稍后将参照各种实施例描述具体示例。

电子装置A可感测选择点的用户输入。响应于用户输入，电子装置A可生成与应用执行屏幕有关的图像。详细地，电子装置A可捕获包括对象111的屏幕并生成捕获的图像。捕获的图像可被存储在例如电子装置A的存储器中。

在这种情况下，根据实施例，电子装置A可显示生成的捕获的图像来代替包括对象111的屏幕。

随后，电子装置A可基于与用户输入对应的触摸坐标从捕获的图像检测与对象111有关的对象区域(或第一区域)。在这种情况下，检测到的捕获区域可被突出显示或显示在弹出屏幕中。这里，突出显示可指示选择的对象区域与其他区域有区别地显示，表示以不同的阴影、不同的对比度或互补色显示，以虚线或实线显示或用指示对象区域的指示符显示。稍后将通过各种实施例来描述被突出显示的对象区域的具体示例，并且仅通过示例的方式而非限制的方式提供以上内容。

电子装置A可基于检测到的对象区域来获取关于包括在对象区域中的对象的信息(或第一信息)，并且可基于捕获的图像的外围区域(或第二区域)获取关于对象的环境信息(或第二信息)。在这种情况下，电子装置A可使用训练模型来获取关于对象的信息和环境信息，这将在下面更详细地描述。

电子装置A可使用关于对象111的信息和根据对象111的选择而获取的环境信息121来获取与对象111有关的搜索结果。

这里，环境信息是根据对象的选择而获取的信息，并且可包括与当用户选择对象111时在包括对象111的屏幕中的对象的外围区域有关的外围信息。对象111的外围信息可以是位置与选择的对象相邻的另一对象(例如，文本或图像)或者是在包括对象111的整个文档中当前显示的文档中包括的文本的一部分。

在另一示例中，如果存在一个包括用户选择的对象111的图像，则根据对象111的选择而获取的外围信息可包括关于被估计为通过图像分析已捕获的获取的图像的位置和时间的信息、关于除选择的对象以外的其他对象的信息或关于其他对象的附加信息。

另外，环境信息可包括在用户选择对象111时由设置在电子装置A上的相机捕获的拍摄信息。这里，“在用户选择对象111时”是指当用户选择对象111时的时间或在用户选择对象111之后的预定时间(例如，1秒至10秒)内的时间。

另外，电子装置A不仅可使用环境信息而且还可以使用用户1相对于电子装置A的使用历史信息来获取与对象111有关的搜索结果。可选地，电子装置A可通过使用电子装置A的用户的简况来获取与对象111有关的搜索结果。

参照图1的(c)，电子装置A可在屏幕上显示获取的与对象有关的搜索结果131。搜索结果可显示在显示区域的未显示对象的一部分上使得搜索结果可不与所选对象重叠。在这种情况下，可改变对象的显示位置使得对象与搜索结果不重叠。例如，如果搜索结果显示在显示器的下部区域，则对象的显示位置可改变为显示器的上部区域，并且如果搜索结果显示在显示器的上部区域，则对象的显示位置可改变为显示器的下部区域。

可选地，可在与显示对象的屏幕分离的屏幕上显示搜索结果。例如，可在显示对象的屏幕上显示单独的弹出窗口，并且可在弹出窗口中显示搜索结果。在这种情况下，根据所选对象的位置确定弹出窗口的显示位置，并且弹出窗口的大小是根据屏幕上的对象的大小和整个屏幕上除对象以外的屏幕大小(屏幕的其余区域)确定的。即使当在与显示对象的屏幕分离的屏幕上显示搜索结果时，也可显示弹出窗口以使该弹出窗口不与对象重叠。

当然，可显示显示搜索结果的单独屏幕来代替显示对象的屏幕。在这种情况下，可在显示搜索结果的单独屏幕上一起显示所选对象的图像和与对象有关的搜索结果。这里，可透明地显示单独屏幕的背景部分，使得可显示包括对象的屏幕。

与对象相关联的搜索结果可包括例如关于对象的详细信息、与对象相关联的广告信息、对象的购买信息、与对象相关联的其他对象的信息等。具体地，可通过搜索引擎经由报纸文章中的网络文档搜索、上传到SNS的文档、网站中提供的文档等来收集关于对象的详细信息。另外，可在提供与对象有关的商品和服务的广告的网站或者制造商品的制造商或提供服务的公司的网站上收集与对象有关的广告信息。可通过搜索引擎在销售商品和服务的网站上搜索商品和服务来收集与对象有关的购买信息。可通过在搜索引擎中使用与对应于对象的查询具有高度相似性和相关性的另一查询的搜索来收集关于与该对象相关联的其他对象的信息。

另外，与对象有关的搜索结果可包括各种内容(例如，文本、图像、视频等)和UI元素(例如，图标、超链接等)。例如，如果所选对象是“建筑”，则与对象有关的搜索结果可包括用于引导到所选对象的文本内容和图像内容、用于执行关于所选对象的控制操作(例如，存储、共享等)的图标、以及用于访问包括关于所选对象的附加信息(例如，位置信息、游览信息)的网页的超链接。

可根据用户输入来改变与对象有关的搜索结果。例如，如果所选对象是“酒店”，则可提供包括“关于酒店的详细信息”的屏幕(例如，弹出屏幕)作为与该对象有关的搜索结果。如果在提供“关于酒店的详细信息”的同时接收到用户输入(例如，拖动输入)，可删除包括“关于酒店的详细信息”的屏幕，并且可提供包括“关于酒店评价的信息”的新屏幕。

与对象有关的搜索结果不仅可被提供为视觉信息，而且可被提供为听觉、触觉和嗅觉信息中的至少一个的组合。稍后将通过各种实施例详细描述关于与对象有关的搜索结果的具体示例。

根据各种实施例，电子装置A可通过将对象区域和对象的外围信息用作输入数据以及与对象有关的附加信息来获取反映环境的对象信息(例如，对象名称和对象的位置、对象名称和附近的其他对象、对象名称和包括该对象的文档的主题等)，并通过使用反映了附加信息的对象信息来获取与对象有关的搜索结果。

可选地，电子装置A可以通过将对象区域用作训练的对象识别模型的输入数据来获取一般对象信息(例如，对象名称、对象ID、对象类型、对象属性等)，并通过使用获取的一般对象信息和单独收集的环境信息(例如，对象位置信息、其他外围对象、包括该对象的文档的主题等)来获取与该对象有关的搜索结果。可通过考虑识别模型的应用领域或装置的计算机性能来建立实施例中的训练的对象识别模型。例如，可将训练的对象识别模型设置为通过将对象区域和对象的外围信息用作输入数据来估计反映环境的对象信息。训练的对象识别模型可以是例如基于神经网络的模型。可将对象识别模型设计为在计算机上模拟人脑结构，并且可包括多个加权网络节点以模拟人神经网络的神经元。多个网络节点可各自建立连接关系，使得神经元模拟通过突触交换信号的神经元的突触活动。另外，对象识别模型可包括例如神经网络模型或从神经网络模型发展的深度学习模型。在深度学习模型中，多个网络节点位于不同的深度(或层)并可根据卷积连接关系交换数据。识别模型的示例包括但不限于深度神经网络(DNN)、递归神经网络(RNN)、双向递归深度神经网络(BRDNN)等。

如上所述，电子装置A可使用AI代理来搜索与用户选择的对象有关的信息。在这种情况下，AI代理是用于提供基于AI(AI)的服务(例如，语音识别服务、秘书服务、翻译服务、搜索服务等)的专有程序，并且可通过现有的通用处理器(例如，CPU)或专门用于AI的单独处理器(例如，GPU等)执行AI代理。特别地，AI代理可控制稍后将描述的各种模块。

具体地，如果通过预定的用户输入(例如，长按等)选择了屏幕上的对象111或者在按下电子装置A上的按钮(例如，执行AI代理的按钮)之后选择对象111，则AI代理可操作。AI代理可通过捕获包括对象111的屏幕来生成捕获的图像，基于与用户输入对应的触摸坐标从捕获的图像检测与对象111有关的对象区域，并且通过使用检测到的对象区域和根据对象111的选择而获取的环境信息121(例如，对象的外围信息等)来获取并提供与对象111有关的搜索结果。

当然，当在屏幕上触摸特定图标或按下按钮(例如，用于执行AI代理的按钮)时，AI代理可操作。在这种情况下，AI代理可通过捕获当前显示的屏幕来生成捕获的图像，基于与稍后被输入以选择对象的用户输入对应的触摸坐标从捕获的图像中检测与对象111有关的对象区域，并且通过使用检测到的对象区域和根据对象111的选择而获取的环境信息121来获取并提供与对象111有关的搜索结果。

可在感测到关于对象111的预定用户输入或选择电子装置A上的按钮之前执行AI代理。在这种情况下，在感测到关于对象111的预定用户输入或者选择了电子装置A上的按钮之后，电子装置A的AI代理可捕获屏幕并且搜索并提供与对象111有关的信息。例如，如果由用于AI的专用处理器执行AI代理，则在感测到关于对象111的预定用户输入或选择设置在电子装置A上的按钮之前，由通用处理器执行电子装置A的功能，并且在感测到关于对象111的预定用户输入或者选择了设置在电子装置A上的按钮之后，可以由专用AI处理器执行电子装置A的功能。

在感测到关于对象111的预定用户输入或选择设置在电子装置A上的按钮之前，AI代理可处于待机状态。这里，待机状态是一种感测到用于控制AI代理的操作的开始的预定用户输入的状态。如果在AI代理处于待机状态时感测到关于对象111的预定用户输入或选择了设置在电子装置A上的按钮，则电子装置A可操作AI代理，使用AI代理捕获屏幕，并且搜索并提供与对象111有关的信息。

可在感测到关于对象111的预定用户输入或者选择设置在电子装置A上的按钮之前终止AI代理。如果在AI代理被终止的同时感测到关于对象111的预定用户输入或者选择了设置在电子装置A上的按钮，则电子装置A可执行AI代理，使用执行的AI代理捕获屏幕，并且搜索并提供与对象111有关的信息。

另外，AI代理可控制将在下面更详细地描述的各种装置或模块。

另外，下面将通过各种实施例更详细地描述在电子装置A与服务器之间使用训练的对象识别模型来获取与对象有关的搜索结果的具体示例。

图2a是示出根据各种实施例的电子装置A的配置的框图。如图2a中所示，电子装置A包括显示器110、存储器120、用户输入接口130、通信器150和处理器140。图2a中所示的配置是用于实现各种实施例的示例，并且对相关领域技术人员显而易见的适当的硬件/软件配置可被进一步包括在电子装置A中。

显示器110可提供各种屏幕。特别地，显示器110可提供包括对象的屏幕。显示器110可在包括对象的屏幕上进一步提供包括与对象有关的搜索结果的屏幕(例如，弹出屏幕)。可选地，显示器110可单独地提供包括与对象有关的搜索结果的屏幕。

存储器120例如可存储关于电子装置A的其他元件中的至少一个元件的命令或数据。可将存储器120实现为非易失性存储器、易失性存储器、闪存、硬盘驱动器(HDD)或固态驱动器(SDD)。存储器120可被处理器140访问，并且可由处理器140对数据执行读出、记录、校正、删除、更新等。根据实施例，存储器的术语可包括存储器120、处理器140内的只读存储器(ROM)(未示出)和随机存取存储器(RAM)(未示出)或安装在电子装置A上的存储卡(未示出)(例如，微型安全数字(SD)卡或记忆棒)。此外，存储器120可存储程序、数据等以构成将在显示器110的显示区域上显示的各种屏幕。

此外，存储器120可存储AI代理以提供与所选对象有关的信息，并且可存储识别模型(对象识别模型、外围信息识别模型、面部识别模型等)。

如图2b所示，存储器120可存储搜索动作感测模块141、屏幕捕获/坐标收集模块142、用户UI模块143、对象区域检测/分类模块144、面部检测模块145、搜索结果获取模块146等。

用户输入接口130可接收各种用户输入并将它们发送到处理器140。特别地，用户输入接口130可包括触摸传感器、(数字)笔传感器、压力传感器或键。触摸传感器可例如使用静电型、压敏型、红外型和紫外线型中的至少一种。(数字)笔传感器可以是例如触摸板的一部分或包括用于识别的附加薄片。键例如可包括物理按钮、光学键或小键盘。

特别地，用户输入接口130可根据预定的用户触摸(例如，长按触摸)来获取输入信号以选择对象或者获取按下特定按钮并触摸对象的用户输入。用户输入接口130可将输入信号发送到处理器140。

通信器150可执行与外部电子装置或服务器的通信。在这种情况下，通信器150可将捕获的图像发送到外部服务器，或者可发送关于对象区域的信息和环境信息(例如，对象的外围信息等)。另外，通信器150可接收关于捕获的图像或对象区域的信息以及响应于环境信息的关于对象的搜索结果。

处理器140可电连接到显示器110、存储器120和用户输入接口130，并且控制整体操作和功能。特别地，处理器140可执行使用搜索动作感测模块141、屏幕捕获/坐标收集模块142、用户UI模块143、对象区域检测/分类模块144、面部检测模块145、搜索结果获取模块146等来搜索与用户选择的对象有关的信息的功能。

具体地，处理器140可使用用户输入接口130根据用户输入来获取输入信号以选择在显示器110上显示的屏幕的对象。另外，响应于输入信号，处理器140可通过捕获包括对象的屏幕来生成捕获的图像，并将生成的捕获的图像存储在存储器130中。处理器140可使用与包括在捕获的图像中的对象对应的对象区域和根据对象的选择而获取的环境信息来获取与对象有关的搜索结果，并控制显示器110显示对象和搜索结果。

处理器140可控制通信器150将捕获的图像的至少一部分发送到外部服务器。在这种情况下，处理器140可控制通信器150来一起发送关于选择的对象区域的信息(例如，对象区域的坐标信息等)。处理器140可通过通信器150从外部服务器接收基于与包括在捕获的图像中的对象有关的信息和与该对象有关的附加信息而检索的搜索结果，并控制显示器110显示与该对象有关的搜索结果。下面将参照图2b更详细地描述处理器140。

图2b是示出根据各种实施例的包括电子装置A的网络系统的配置的框图。

网络系统可包括电子装置A、推荐装置B、对象识别装置C、用户特征识别装置D和附加数据收集装置E。

这里，为了便于说明，将推荐装置B、对象识别装置C、用户特征识别装置D和附加数据收集装置E区分开，并且将推荐装置B、对象识别装置C、用户特征识别装置D和附加数据收集装置E中的每个中所包括的模块的至少一部分组合成一个或更多个服务器(例如，由多个装置组成的云)。可选地，推荐装置B、对象识别装置C、用户特征识别装置D和附加数据收集装置E中的每个中包括的模块的至少一部分可被设置在电子装置A上。

本文使用的术语“模块”由硬件、软件或固件组成，并且可与诸如逻辑、逻辑块、组件或电路的术语互换使用。

在图2b中，电子装置A可包括显示器110、存储器120、用户输入接口130、通信器150、相机160和处理器140。已经参照图2a对显示器110、存储器120、用户输入接口130和通信器150进行了详细描述，因此为了简洁起见将不再提供进一步的描述。处理器140的至少一部分可作为根据特定目的或功能而被彼此区分的多个模块进行操作。用于处理器140作为多个模块进行操作的软件可被存储在存储器120中。在这种情况下，存储器120可存储多个允许处理器140作为多个模块中的每个模块进行操作的指令。所述多个指令可包含由编译器产生的代码或由处理器执行以实现一个或更多个模块的代码。

处理器140可包括搜索动作感测模块141、屏幕捕获/坐标收集模块142、用户UI模块143、对象区域检测/分类模块144、面部检测模块145和搜索结果获取模块146。

搜索动作感测模块141可通过用户输入接口130根据用户输入(例如，长触摸、多触摸、笔动作等)来获取输入信号以选择包括在显示器110上显示的屏幕中的对象。

一旦搜索动作感测模块141获取了输入信号，屏幕捕获/坐标收集模块142就可以捕获屏幕并生成捕获的图像，并且收集与显示器110上的一个点对应的坐标(或坐标值)。例如，屏幕捕获/坐标收集模块142可通过捕获当前显示在显示器110上的屏幕来生成捕获的图像，并收集与显示器110的用户选择的一个点对应的坐标。

在另一示例中，如果通过在外壳上作为用户输入接口130的物理按钮或触摸传感器获取输入信号，则搜索动作感测模块141可通过捕获当前显示在显示器110上的屏幕来生成捕获图像，并根据通过用户输入接口130另外获取的输入信号来收集与显示器110的用户选择的一个点对应的坐标。

对象区域检测/分类模块144可基于捕获的图像和收集的坐标从捕获的图像中检测与对象有关的对象区域，并将该对象区域存储在存储器120中。在这种情况下，检测到的对象区域可包括例如捕获的图像中的与对象区域对应的图像。对象区域检测/分类模块144可确定与检测到的对象区域对应的对象的类别(或对象的分类)。例如，对象区域检测/分类模块144可将检测到的对象的类别确定为面部、商品、衣物或食物之一。

根据各种实施例，对象区域检测/分类模块144可被选择性地设置在多个对象识别装置C之一中。在这种情况下，对象识别装置C的对象区域检测/分类模块201可与电子装置A的对象区域检测/分类模块144对应。

对象区域检测/分类模块144可被划分为多个模块。在这种情况下，对象区域检测模块可被配置为在电子装置A中操作，并且对象区域分类模块可被配置为在诸如对象识别装置C的外部装置中操作。

面部检测模块145可通过控制设置在电子装置A中的相机160来获取包括正在使用电子装置A的用户的面部的图像，从该图像检测用户的面部，并且将与检测到的面部有关的信息(例如，面部图像、面部视频等)存储在存储器120中。例如，面部检测模块145可获取面部信息作为根据对象的选择而获取的环境信息并将面部信息存储在存储器120中。

搜索结果获取模块146可通过通信器150将检测到的对象区域和/或环境信息(例如，外围信息或面部信息)发送到至少一个外部装置。例如，搜索结果获取模块146可将通过对象区域检测/分类模块144检测到的捕获的图像的对象区域发送到对象识别装置C，并将通过面部检测模块145检测到的关于面部的面部信息发送到用户特征识别装置D。

作为将对象区域和环境信息发送到外部装置的结果，搜索结果获取模块146可获取与对象有关的搜索结果。例如，搜索结果获取模块146可从推荐装置B获取与对象有关的搜索结果。

用户UI模块143可控制显示器110使得由搜索结果获取模块146获取的与对象有关的搜索结果被提供给用户。

对象识别装置C可包括对象区域检测/分类模块201、详细对象识别模块202和外围信息识别模块203。

当对象区域检测/分类模块201从电子装置A接收到捕获的图像和用户选择的坐标时，对象区域检测/分类模块201可基于捕获的图像和收集的坐标来从捕获的图像检测用户选择的对象区域，并确定与检测到的对象区域对应的对象的类别(或对象的分类)。例如，对象区域检测/分类模块201可将检测到的对象的类别确定为面部、商品、衣物或食物之一。

对象区域检测/分类模块201可被单独地配置，并且对象区域检测模块可被配置为在电子装置A中操作，并且对象区域分类模块可被配置为在对象识别装置C中操作。在这种情况下，电子装置的对象区域检测模块可从捕获的图像检测用户选择的对象区域，并将与该对象区域有关的信息发送到对象识别装置C，而对象识别装置的对象区域分类模块可使用接收到的关于对象区域的信息来确定对象区域的类别。

对象识别装置C可具有与多个对象类别中的每个类别对应的多个详细对象识别模块。

在这种情况下，当确定对象类别时，与对象类别对应的详细对象识别模块202可更详细地识别检测到的对象区域。例如，详细对象识别模块202可识别对象区域和获取的关于对象区域的对象信息。具体地，如果与从对象区域检测/分类模块201检测到的对象区域有关的对象类别是面部，则详细对象识别模块202可将人的面部识别为对象信息。

特别地，对象识别装置C可将检测到的对象区域用作训练的对象识别模型的输入数据来估计与对象区域有关的对象信息。训练的对象识别模型例如可以是基于神经网络的识别模型或基于深度学习的识别模型。另外，对象识别装置C可通过经由基于规则的对象识别模型分析检测到的对象区域来估计与对象区域有关的对象信息。

根据各种实施例，对象区域检测/分类模块201可选择性地设置在电子装置A和对象识别装置C之一中。在这种情况下，对象识别装置C的对象区域检测/分类模块201可与电子装置A的对象区域检测/分类模块144对应。例如，对象区域检测/分类模块201可设置在电子装置A中，详细对象识别模块202可设置在对象识别装置C中。可选地，对象区域检测/分类模块201和详细对象识别模块202都可设置在电子装置A或对象识别装置C中。

对象识别装置C可包括识别与对象有关的外围信息的外围信息识别模块203。

外围信息识别模块203可获取与对象有关的外围信息。特别地，外围信息识别模块203可从对象周围的外围信息中获取与对象有关的信息作为外围信息。例如，如果所选对象111(图1)是包括在屏幕上显示的文档中的词语或图像，则基于对象111的选择而获取的外围信息是从显示对象的屏幕获得的信息，并且可将与对象111最相关的信息或最有助于将对象与其他对象区分开的信息确定为外围信息。

外围信息识别模块203可使用作为训练的模型的外围信息识别模块来确定(或估计、决定)外围信息。例如，对象识别装置C可通过将关于在显示对象的屏幕上的对象的外围区域的图像用作训练的外围信息识别模型的输入数据来确定与对象有关的外围信息。训练的对象识别模型可以是例如基于神经网络的识别模型或基于深度学习的识别模型。

另外，外围信息识别模块203可使用基于规则的外围信息识别模块来确定(或估计、决定)外围信息。例如，对象识别装置C可通过经由预定规则分析关于在显示对象的屏幕上的对象的外围区域的图像来确定与对象有关的外围信息。

根据各种实施例，可通过外围信息识别模型来获取与对象的相关度最高的词语作为外围信息。在这种情况下，外围信息识别模型可以是将对象和对象的外围信息用作学习数据训练的模型。例如，可基于在一个屏幕上显示对象和外围信息的概率或在搜索对象时一起检索到外围信息的概率，将与对象相关度最高的词语确定为具有最高概率的外围信息。

例如，如果用户选择的对象是“埃菲尔铁塔”的图像或“埃菲尔铁塔”的文本，则作为将对象的外围信息应用于外围信息识别模型的结果，外围信息识别模块203可将“旅行”、“历史”和“建筑信息”确定为与对象具有最高相关度的外围信息。

可选地，如果用户选择的对象是“著名歌手”的图像或文本，则作为将对象的外围信息应用于外围信息识别模型的结果，外围信息识别模块203可以将“音乐会”、“专辑”和“歌曲标题”确定为与对象具有最高相关度的外围信息。

在另一实施例中，可通过外围信息识别模型来获取可用于更准确地将对象111与其他相似对象区分开的信息。可最准确地用来将对象111与其他相似对象区分开的信息的示例包括具有该对象的正/负属性的词语。外围信息识别模型可以是通过将具有对象的正/负属性的词语和与对象有关的信息用作学习数据来训练的模块。具有正/负属性的词语是关于使得将对象与其他对象区分开的属性的信息。在这种情况下，外围信息识别模型可以是与对对象与外围信息之间的相关性进行估计的外围识别模型相同的识别模型，或者可以是不同的识别模型。

例如，如果用户选择的对象是“汽车”的图像或文本，则外围信息识别模块203可将与“汽车”的对象高度相关并且具有正/负属性的词语(诸如“燃油效率”、“销量”和“价格”)确定为关于对象的外围信息，作为将对象的外围信息应用于外围信息识别模型的结果。

可选地，如果用户选择的对象是“家用电器”的图像或文本，则外围信息识别模块203可将与“家用电器”的对象高度相关并且具有正/负属性的词语(例如，“功耗”、“安装的功能”或“价格”)确定为关于对象的外围信息，作为将对象的外围信息应用于外围信息识别模型的结果。

可用来更准确地将对象111与其他相似对象区分开的信息的另一示例是对象的附加标识信息。当使用训练的外围信息识别模型输入关于对象的信息时，可获取对象的附加标识信息作为用于将对象与其他对象区分开的外围信息。在这种情况下，可获得多个附加标识信息，基于概率在多个附加标识信息中选择最有用的信息。在这种情况下，从与显示对象的屏幕中的外围区域有关的图像获取多个外围信息，并且基于获取的多个外围信息中的概率，具有最高概率的外围信息被选择为附加标识信息。

如果用户选择的对象是与“人的面部”对应的图像或与“人的名字”对应的文本，则外围信息识别模块203可将“职业”、“性别”和“年龄”确定为附加标识信息，作为将对象的外围信息应用于外围信息识别模型的结果。

可选地，如果用户选择的对象是“汽车”或“产品”的图像，则外围信息识别模块203可以将“制造商”、“型号名称”和“规格”确定为附加标识信息，作为将对象的外围信息应用于外围信息识别模型的结果。

如果用户选择的对象是“建筑”或“地点”的图像，则外围信息识别模块203可将“建筑名称或地名”、“地区名称或国家/地区名称”或“其他地标”确定为附加标识信息，作为将对象的外围信息应用于外围信息识别模型的结果。

在各种实施例中，可训练外围信息识别模型，使得基于对象的类型来确定对象的外围信息。在这种情况下，可通过监督学习来训练外围信息识别模型以确定用于区分与对象相似的其他对象的最有用的信息。

另外，可通过监督学习来训练外围信息识别模型以基于对象的类型来确定对象的外围信息的类型，使得可检索适合于该对象的类型的详细信息。此外，可基于包括在包括对象的文档或图像中的外围信息的频率，通过无监督学习来训练对象与外围信息之间的相关性。另外，可使用关于搜索结果的用户反馈通过强化学习来训练外围信息识别模型。

用户特征识别装置D可从电子装置A接收面部信息。例如，用户特征识别装置D可通过电子装置A的通信器150从电子装置A接收由电子装置A的面部检测模块146检测到的关于用户面部的面部信息。

用户特征识别装置D可从接收到的面部信息确定用户的特征，并存储用户的特征信息。用户的特征信息的示例包括例如用户的年龄、性别、面部表情等。

特别地，用户特征识别装置D可通过将面部信息用作训练的面部识别模型的输入数据来估计与面部信息有关的用户特征信息。训练后的面部识别模型可以是例如基于神经网络的识别模型或基于深度学习的识别模型。

附加数据收集装置E可收集例如电子装置A的用户简况、电子装置的使用历史信息或从电子装置A获得的来自用户的反馈。

用户简况是用户先前在电子装置A中注册的用户信息并且可包括例如用户的姓名、性别、ID、优选类别和生物特征信息(例如身高、体重、病史等)中的至少一项。使用历史信息可包括例如用户的对象搜索历史、关于搜索结果的反馈历史或产品购买历史。用户反馈可包括例如关于与对象有关的搜索结果的用户反馈和关于对象信息的用户反馈中的至少一个反馈。具体地，关于与对象有关的搜索结果的用户反馈可包括例如是否另外选择关于对象的搜索结果、用户是否访问了与该对象有关的网站、用户是否存储或共享与该对象有关的搜索结果、用户是否购买了与该对象有关的产品等。关于对象信息的用户反馈可包括例如关于用户是否已经确认了对象信息的信息、关于用户对对象信息的修改的信息、关于用户对对象的重新选择的信息。

推荐装置B可使用对象信息、环境信息(外围信息)和环境识别信息中的至少一种来提供与对象有关的搜索结果。例如，推荐信息装置B可使用从对象识别装置C接收的对象信息、环境信息和环境识别信息中的至少一种，并且还可使用从用户特征识别装置D和/或附加数据收集装置E接收到的用户特征信息和/或附加数据。

更具体地，推荐装置B可请求单独的搜索引擎使用接收到的对象信息、环境信息和环境识别信息来执行搜索。推荐装置B可通过应用优先级来将从搜索引擎接收的搜索结果提供给电子装置A。例如，推荐装置A可使用用户的特征信息和/或附加数据将优先级应用于搜索结果，并将搜索结果提供给电子装置A。换句话说，环境信息可用于获取与对象有关的搜索结果，或者可用于通过对与对象有关的搜索结果应用优先级来对搜索结果进行优先级排序。

搜索引擎是在由搜索服务提供商使用/维护/管理的服务器中运行的软件，并且从外部装置(例如，推荐装置B)接收对象信息和/或环境信息作为搜索词。一旦接收到搜索请求，搜索引擎可从预先收集和存储的数据中搜索与搜索词有关的数据，并将检索到的数据提供给外部装置。

推荐装置B可不仅通过使用对象信息，而且还可通过使用对象的环境信息、用户的特征信息和附加数据中的至少一个来提供搜索结果，因此，可提供与用户的意图匹配的搜索结果。

相机160可拍摄或捕获图像。特别地，相机160可拍摄或捕获正在使用电子装置A的用户的面部并获取包括用户的面部的图像，以便获取用户的面部图像作为环境信息。

图3是示出根据各种实施例的由包括电子装置A的网络系统提供搜索结果的过程的流程图。

参照图3，电子装置A的用户可选择包括在屏幕中的对象(操作301)。例如，用户可通过执行预定动作或用户定义的动作(例如，长触摸、多触摸、笔动作等)来选择对象。

响应于用户输入，屏幕捕获/坐标收集模块142可捕获包括对象的屏幕并收集与用户选择的点对应的坐标(例如，触摸坐标)(在操作303)。

电子装置A可将捕获屏幕的图像和收集的坐标发送到对象识别装置C(在操作305)。在这种情况下，对象识别装置C可设置在电子装置A中，或者可设置在通信地连接到电子装置A的单独的服务器中。

对象识别装置C的对象区域检测/分类模块201可基于接收到的捕获的图像和所选坐标在捕获的图像中检测与所选坐标对应的对象区域，并对对象区域进行分类(在操作307)。在这种情况下，对象类别可以是图形、人物、商品、地点、植物和食物中的一种，并且对象类别可根据电子装置A提供的应用服务被不同地定义。

根据各种实施例，电子装置A的对象区域检测/分类模块144可基于接收到的捕获的图像和所选坐标在捕获的图像中检测与所选坐标对应的对象区域，并对对象区域进行分类。在这种情况下，电子装置A可将对象区域和对象类别发送到对象识别装置C。

根据各种实施例，电子装置A的对象区域检测模块144可检测对象区域，并且电子装置A可将检测到的对象区域发送到对象识别装置C。在这种情况下，对象识别装置C的对象区域分类模块201可以确定对象区域的对象类别。

对象区域检测/分类模块201可基于分类的对象类别将对象区域发送到多个不同的详细对象识别模块之中的一个详细对象识别模块。详细对象识别模块的类型包括面部对象识别模块、产品对象识别模块、人物对象识别模块、地点对象识别模块和食物对象识别模块。

与在对象区域检测/分类模块201中分类的对象的类别相比，对象识别装置C的详细对象识别模块202可识别对象区域并获取更详细的对象信息(在操作309)。例如，面部对象识别模块可获取人的名字作为对象信息，并且产品对象识别模块可将产品的ID识别为对象信息。

另外，详细对象识别模块202可执行更详细的分类，并且基于分类的详细类别获取对象信息。例如，产品对象识别模块可通过将商品的类别分类为时装、箱包、鞋子、帽子、包装商品或新鲜食品来执行详细分类。详细对象识别模块202可通过识别详细类别中的对象来获取对象信息。

一旦获取了对象信息，对象识别装置C就可将获取的对象信息发送到环境分析/推荐装置G(在操作311)。环境分析/推荐装置G可与上述的推荐装置B和对象识别装置C的外围信息识别模块203中的至少一个对应。

环境分析/推荐装置G可获取根据对象的选择而获取的环境信息(在操作313)。例如，环境分析/推荐装置G可获取在包括对象的屏幕中位于对象周围的外围信息和由设置在电子装置A中的相机拍摄的拍摄信息中的至少一个作为环境信息，该环境信息是从电子装置A发送的基于对象的选择而获得的。

环境分析/推荐装置G可基于在用户选择对象时获取的环境信息和对象信息来获得推荐信息作为与对象相关的搜索结果(在操作315)。在这种情况下，环境分析/推荐装置G可通过分析对象信息和环境信息来获取最佳推荐信息。

例如，关于用户选择的对象的对象信息可包括名人的名字，并且环境信息可包括位于用户选择的对象周围的文本信息。在这种情况下，环境分析/推荐装置G可分析文本信息并且获取音乐会门票作为与对象有关的搜索结果。

在另一示例中，如果对象信息是与产品有关的信息，并且电子装置A的使用历史信息是用户选择产品并连续进行价格比较的历史信息，则环境分析/推荐装置G可获取价格比较信息作为与对象有关的搜索结果。

在另一示例中，如果对象信息是关于产品的信息，并且电子装置A的使用历史信息包括用户的偏好信息或用户的兴趣信息作为购买历史信息，则环境分析/推荐装置G可获取与用户先前购买的产品的品味(例如，衣服的风格)相匹配的信息作为与对象有关的搜索结果。

在另一示例中，环境信息可以是由设置在电子装置A中的相机拍摄或捕获的信息。在这种情况下，如果分析的信息是作为用户特征信息的表示年龄、外貌、性别、面部表情或情绪的信息，则环境分析/推荐装置G可基于用户的年龄、外貌、性别、面部表情或情绪来获取与对象有关的搜索结果。

在另一示例中，对象信息可以是与产品有关的信息，并且环境信息可以是位于对象周围的文本信息。在这种情况下，如果文本信息已经包括价格信息，则环境分析/推荐装置G可确定用户对诸如产品规格的详细信息比对产品的价格信息更感兴趣并获取产品的规格信息。

随后，环境分析/推荐装置G可将与对象有关的搜索结果作为推荐信息发送到电子装置A(在操作317)。在这种情况下，推荐信息可包括与和用户的选择意图匹配的对象有关的定制搜索结果。电子装置A可在显示区域上将接收到的与对象有关的搜索结果显示为推荐信息(在操作319)。

图4是示出根据各种实施例的由包括电子装置A的网络系统提供搜索结果的过程的流程图。

在图4中，根据用户对对象的选择将捕获的图像和收集的坐标发送到对象识别装置C的操作401至操作405与图3的操作301至操作305对应或相似，因此为了简洁起见将不提供所述操作的进一步描述。

另外，电子装置A不仅可将捕获的图像和收集的坐标发送到对象识别装置C，还可将环境信息发送到对象识别装置C。在这种情况下，环境信息可以是在用户选择的对象周围的外围信息(例如，文本信息或图像信息)。

对象识别装置C可检测并分类对象区域(在操作409)。另外，对象识别装置C可考虑分类的类别来详细地识别对象区域(在操作411)。在这种情况下，对象识别装置C可通过利用在操作407接收到的环境信息识别对象区域来改善识别结果(在操作413)。

对象识别装置C可获取对象信息作为改进的识别结果，并且将获取的对象信息发送到环境分析/推荐装置G(在操作415)。

一旦环境分析/推荐装置G基于接收到的对象信息将与对象有关的搜索结果发送到电子装置A，电子装置A就可在显示区域中显示搜索结果。操作417至操作421与图3中的操作315至操作319对应或相似，因此为了简洁起见将不提供所述操作的进一步的描述。

图5是示出根据各种实施例的由包括电子装置A的网络系统提供搜索结果的过程的流程图。

在图5中，对象识别装置C可将与用户选择的对象对应的对象区域的识别结果(例如，对象信息)发送到电子装置A(在操作501)。

响应于以上所述操作，电子装置A可将关于识别结果的用户反馈发送到对象识别装置(在操作503中)。

例如，电子装置A可获取从对象识别装置C接收到的对象区域的识别结果，并将识别结果显示在显示区域中。用户可提供关于显示的识别结果的用户反馈。例如，用户可输入关于弹出窗口的响应反馈，该弹出窗口请求确认识别结果或确认识别结果是否是用户想要的。

如果对象识别装置C使用训练的对象识别模型识别对象，则可使用接收到的响应反馈来更新识别对象的对象识别模型(在操作505)。在这种情况下，从用户接收到的关于识别结果的反馈越多，则对象识别模型的识别功能就可得到更多的改善。

根据各种实施例，即使没有用户反馈，对象识别装置C也可通过使用由电子装置A发送的用于对象识别的捕获的图像或对象区域以监督/无监督学习方法训练对象识别模型。

对象识别装置C可将作为对象识别模型的输出值的识别结果(例如，对象信息)发送到环境分析/推荐装置G(在操作507)。

另外，电子装置A可将环境信息、用户简况和使用历史信息中的至少一个发送到附加数据收集装置E(在操作509-操作513)。

使用历史信息是电子装置A的使用历史信息，并且可包括例如关于搜索结果的使用历史信息。使用历史信息可包括例如基于搜索结果的购买产品的购买历史、关于用户的搜索结果评估历史以及搜索搜索结果或选择连接链接的历史中的至少一项。另外，附加数据收集装置E可收集关于搜索结果的用户特征信息。在这种情况下，用户特征信息是基于在提供搜索结果之后由相机拍摄的信息来分析的信息，并且可包括关于用户针对搜索结果的面部表情或情绪的信息。例如，如果搜索结果不准确，则用户可能会皱眉，或者如果用户找到了他所需的信息(搜索结果准确)，则用户可能会微笑。

可将由附加数据收集装置E收集的数据(例如，环境信息、用户简况、使用历史信息或用户的特征信息等)发送到环境分析/推荐装置G(在操作515)。附加数据收集装置E可周期性地(例如，每小时或每天)将数据发送到环境分析/推荐装置G，或者可在产生特定事件信号时(例如，当请求数据时)将数据发送到环境分析/推荐装置G。

环境分析/推荐装置G可基于从对象识别装置C接收到的对象信息和从附加数据收集装置E接收到的收集数据(例如，环境信息、用户简况、用户特征信息、用户的使用历史等)来获取与用户的意图匹配的与对象有关的搜索结果(推荐信息)(在操作517)。

在这种情况下，环境分析/推荐装置G可请求搜索引擎使用从对象识别装置C接收的对象信息和从附加数据收集装置E接收的收集数据来执行搜索。环境分析/推荐装置G可将优先级应用于从搜索引擎接收到的搜索结果(或对从搜索引擎接收到的搜索结果确定优先级)，并将搜索结果提供给电子装置A。例如，环境分析/推荐装置G可通过搜索引擎使用对象信息获取搜索结果，基于使用历史信息(例如，购买历史信息、搜索历史信息、识别结果满意度信息等)将优先级应用于搜索结果(或对搜索结果确定优先级)，并将搜索结果提供给或推荐给电子装置A。换句话说，环境分析/推荐装置G可向具有使用历史的搜索结果分配高优先级，并将搜索结果提供给或推荐给电子装置A。在另一示例中，如果用户使用电子装置A的使用历史包括关于与对象区域的识别结果相似的识别结果的使用历史(例如，购买历史、搜索历史、识别结果满意度等)，则环境分析/推荐装置G可针对利用使用历史的识别结果确定用户的主要兴趣领域(目的/目标)，并且可基于确定结果向电子装置A提供或推荐符合用户意图的定制信息。

随后，当环境分析/推荐装置G将获取的与对象有关的搜索结果发送到电子装置A时(在操作519)，电子装置A可在显示区域中显示接收到的搜索结果(在操作521)。

图6是示出根据各种实施例的提供与对象有关的搜索结果的过程的示图。

首先，参照图6的(a)，电子装置A可感测使用通过用户的手指的触摸动作、触摸笔或笔动作选择包括在屏幕中的对象的用户输入。响应于用户输入，如图6的(b)所示，电子装置A可通过捕获包括对象的屏幕来生成捕获的图像610。在这种情况下，电子装置A可通过后台线程捕获屏幕。

参照图6的(c)，电子装置A可基于捕获的图像610中的与用户的选择对应的触摸坐标来检测对象区域611。电子装置A可识别对象区域611并对对象区域611进行分类。电子装置A可将对象区域发送到用于详细对象识别的与分类类别有关的详细对象识别装置H。详细对象识别装置H可例如与图2的详细对象识别模块202对应。

另外，电子装置A可将由电子装置A捕获的拍摄信息发送到用户特征识别装置D。用户特征识别装置D可基于接收到的拍摄信息来识别用户特征。例如，用户特征识别装置D可识别用户的年龄、性别、面部表情等。

详细对象识别装置H可识别与对象区域对应的对象，并获取对象信息(例如，对象名称、对象标识符、对象的详细级别)。详细对象识别装置H可将详细信息发送到详细信息获取装置I。

详细信息获取装置I可基于接收到的对象信息获取与对象有关的详细信息作为与对象信息有关的第一搜索结果。关于对象的详细信息可包括对象的一般信息或购买信息。如果对象是人，则一般信息可包括例如姓名、年龄、性别、职业等。购买信息可包括关于与人有关的产品(例如，音乐会门票、书籍、唱片、VOD等)的信息或用于购买商品的信息。

详细对象识别装置可从详细信息获取装置I获取关于对象信息的详细信息，并将该详细信息发送到环境分析/推荐装置G。可选地，详细信息获取装置I可将关于对象信息的详细信息直接发送到环境分析/推荐装置G。

环境分析/推荐装置G可通过使用从详细对象识别装置H接收到的对象信息或详细信息、从用户特征识别装置D接收到的用户特征信息、从电子装置A接收到的用户简况以及环境信息中的至少一个来获取推荐信息作为第二搜索结果。例如，环境分析/推荐装置G可基于在用户选择的对象周围的外围信息(例如，文本信息、图像信息)以及使用电子装置A的使用历史数据621分析的关于用户偏好和兴趣的信息来获取最佳推荐信息。

在这种情况下，环境分析/推荐装置G可请求搜索引擎基于从详细对象识别装置H接收到的对象信息和详细信息、从用户特征识别装置D接收的用户特征信息、从电子装置A接收的用户简况以及环境信息中的至少一个来执行搜索。环境分析/推荐装置G可将相对于从搜索引擎接收到的搜索结果的用户偏爱的搜索结果提供给电子装置A。例如，环境分析/推荐装置G可通过搜索引擎使用对象信息和详细信息来获取搜索结果，基于用户特征信息(例如，用户的性别、年龄、情绪、面部表情等)、用户简况(例如，用户的偏爱领域、搜索历史、购买历史等)和环境信息从搜索结果中确定用户偏爱的搜索结果，并将搜索结果提供或推荐给电子装置A。可选地，环境分析/推荐装置G可基于用户特征信息、用户简况和环境信息中的至少一项来确定搜索结果的优先级，并且将搜索结果提供或推荐给电子装置A。

随后，环境分析/推荐装置G可将作为获取的推荐信息的与对象有关的搜索结果发送到电子装置A。

电子装置A可通过屏幕向用户提供接收到的与对象有关的搜索结果631。

图7是示出根据各种实施例的使用外围信息来提供与对象有关的搜索结果的示图。

在图7中，电子装置A可基于所选对象701和对象周围的外围信息(例如，文本、图像等)702来提供与对象有关的搜索结果703。例如，可在电子装置A上显示包括图像和文本的报纸文章。在这种情况下，如果用户选择特定歌手的面部701，则对象识别装置C可分析图像中的所选面部，并获取与该面部对应的特定歌手的名称作为对象信息。

对象识别装置C可分析包括图像的报纸文章的文本，并且从报纸文章的全部内容中获取关键字“年终音乐会”702作为与特定歌手有关的环境识别信息。在这种情况下，环境分析/推荐装置G可以将从对象识别装置C接收的“特定歌手的姓名”和“年终音乐会”中的每个用作搜索查询。例如，环境分析/推荐装置G可请求搜索引擎使用诸如上面提到的搜索查询之类的查询来执行关于相关信息的搜索。随后，环境分析/推荐装置G可从搜索引擎接收基于查询的搜索结果。对象识别装置C可使用用户特征信息、附加数据等来选择性地提供接收到的搜索结果。

根据各种实施例，对象识别装置C可从包括对象的文档的整个内容或对象周围的句子中推断出与对象具有最高相关度的词语，以便推导出与对象有关的环境识别信息。另外，对象识别装置C可推断出包括对象的图像被估计为被拍摄的地点或时间。在这种情况下，对象识别装置C可将对象的外围信息用作训练的外围信息识别模型的输入数据来推断出与对象有关的环境识别信息。训练的外围信息识别模型可以是例如基于神经网络的识别模型或基于深度学习的识别模型。

图8a至图8c是示出根据各种实施例的使用电子装置来选择对象的示图。

例如，如图8a所示，用户可触摸(例如，长触摸或多触摸)显示对象的显示区域的一个点801以选择对象。可选地，如图8b中所示，用户可使用电子笔在显示对象的显示区域上进行绘制(绘制部分803)(围绕对象绘制)。

可选地，如图8c中所示，电子装置A可在屏幕上显示提供与对象有关的搜索结果的UI(例如，图标)805。例如，如果用户从电子装置A抽出电子笔，则电子装置A可基于作为抽出电子笔的结果而生成的事件来显示提供与对象有关的搜索结果的UI 805。在另一示例中，根据从显示区域的边缘(例如，边缘区域)向中心拖动的用户输入，电子装置A可显示提供与对象有关的搜索结果的UI 805。

在这种情况下，如果用户选择UI 805，则电子装置A可捕获包括在显示UI之前已经在显示区域上显示的对象的屏幕，并且电子装置A可显示捕获的图像作为捕获屏幕的结果。一旦显示了捕获的图像，则如图8c的右侧所示，例如用户可通过使用电子笔在捕获的图像中绘制区域807来选择对象。

图9a至图9e是示出根据各种实施例的与对象有关的搜索结果的示图。

例如，参照图9a，如果用户选择作为对象的建筑901，则电子装置A可在显示区域的一部分上显示关于建筑的详细信息902作为与对象有关的搜索结果。在这种情况下，如果建筑是可以住宿的建筑物，则电子装置A还可显示用于接收房间预订等的UI元素903作为搜索结果。

在另一示例中，参照图9b，如果用户选择名人905，则电子装置A可在显示区域的一部分上显示名人的简况信息906作为搜索结果。在这种情况下，电子装置A还可显示用于提供与对象有关的另一搜索结果的UI元素907。

例如，如果对象是名人，则电子装置A还可显示用于选择搜索类别(诸如用户简况、广播信息、电影出现信息、专辑信息、表演信息等)的UI元素。在这种情况下，如果接收到选择广播信息的用户输入，则电子装置A可在显示区域的一部分上显示与广播信息有关的搜索结果。

另外，可根据搜索结果的优先级按先后顺序显示用于选择各个类别信息的UI元素。例如，如果存在多个与用户意图匹配的搜索类别，则可依次列出根据最适合用户意图的优先级来选择各个类别信息的UI元素。

在另一示例中，参照图9c，用户可选择文本908作为对象。例如，如果文本908是电影标题，则电子装置A可在显示区域的一部分上显示电影相关内容、等级、缩略图、预告图像、电影预约UI元素等中的至少一项作为与文本908有关的搜索结果909。

在另一示例中，参照图9d，用户可通过使用电子笔沿对角线拖动对象来选择对象911。在这种情况下，电子装置A可突出并显示与对角线拖动对应的对象区域912。另外，电子装置A可在显示区域的一部分上显示关于对象的详细信息913作为与对象911有关的搜索结果。例如，电子装置A可将对象911视为产品，并显示与对象有关的产品价格、卖方、类似产品等。

在另一示例中，参照图9e，用户可使用电子笔沿着对象914的边界绘制。在这种情况下，电子装置A可突出并显示根据绘制输入被分割的对象区域915。另外，电子装置A可在显示区域的一部分上显示关于对象的详细信息916作为与对象有关的搜索结果。

图10a和10b是示出根据各种实施例的与对象有关的搜索结果正在被检索的示图。

如图10a所示，如果用户选择了对象，则电子装置A可将指示正在检索与该对象有关的搜索结果的消息1001(例如，正在进行搜索)和所选对象一起显示作为过渡效果。可选地，如以上关于图9e所述，如图10b中所示，如果用户选择了对象，则电子装置A可在屏幕上显示指示正在检索与该对象有关的搜索结果的消息1002。

这样，当显示与用户选择的对象对应的对象区域和搜索状态消息时，可以为用户提供缩短了检索与对象有关的搜索结果的时间的感觉。

图11是示出根据各种实施例的获得与对象有关的搜索结果的过程的示图。

例如，参照图11的(a)，用户可执行捕获包括对象1101的屏幕1102的用户输入。根据用户输入，如图11的(b)中所示，电子装置A可生成捕获的图像1103，并通过对生成的捕获的图像1103执行文本识别(例如，光学字符阅读器(OCR))或图像识别来检测文本1104和对象区域1105。

电子装置A可使用检测到的对象区域和文本来提供与对象有关的搜索结果。

例如，参照图11的(a)，如果屏幕1102是包括对象1101的网页，则电子装置A可通过基于文本识别和图像识别分析捕获的网页来检测对象区域1105和文本1104，并且显示作为与对象有关的搜索结果(作为环境信息)的产品信息1106。产品信息1106可包括例如用于购买与对象有关的产品的UI元素(未示出)。在这种情况下，响应于对UI元素的选择，电子装置A可在显示区域上显示产品购买屏幕。

图12是示出根据各种实施例的使用拍摄信息获得与对象有关的搜索结果的过程的示图。

参照图12(上部)，如果用户选择了对象1201，则电子装置A可使用相机(例如，前置相机)拍摄正在选择对象的用户。

电子装置A可通过使用通过拍摄用户而生成的拍摄信息来获取用户特征信息。例如，电子装置A可基于拍摄信息来识别用户的性别、年龄、面部表情、情绪等。随后，电子装置A可通过使用与所选对象对应的对象区域和用户特征信息来获取与该对象有关的搜索结果。如图12(下部)中所示，与对象有关的搜索结果1203可显示在显示区域上。

因此，可提供考虑用户的特征和用户的状态的搜索结果，因此可提高使用电子装置A的用户的满意度。

图13是示出根据各种实施例的提供与对象有关的搜索结果的过程的示图。

在图13中，根据各种示例性实施例，如果电子装置A提供与对象有关的搜索结果，则电子装置A可将搜索结果包括在弹出屏幕中并提供该搜索结果。

在这种情况下，如图13的(a)中所示，弹出屏幕1301可从显示区域的一侧逐渐出现并显示在显示区域的预定义的部分上，如图13的(b)中所示。在这种情况下，可以在显示区域上显示弹出屏幕1301，以便不与对象重叠。

这里，可根据所选对象的位置确定弹出屏幕1301的显示位置，并且可根据屏幕上的对象的大小和整个屏幕上不包括对象的屏幕的大小来确定弹出屏幕的大小。弹出屏幕的背景部分可被透明显示，使得包含对象的屏幕是可见的。

在屏幕上显示搜索结果的方法(未示出)可包括在包括对象的屏幕的一部分上显示搜索结果以便不与所选对象重叠的方法。在这种情况下，可改变对象的显示位置，使得对象不与搜索结果重叠。例如，如果搜索结果显示在屏幕的下部区域中，则可改变对象的显示位置使得对象显示在屏幕的上部区域中，并且如果搜索结果显示在屏幕的上部区域中，则可改变对象的显示位置使得对象显示在屏幕的下部区域中。

图14是示出根据各种实施例的与对象有关的多个搜索结果的示图。

在图14中，根据各种示例性实施例，电子装置A可通过对类别进行搜索来获取与对象有关的搜索结果。例如，如果用户选择的对象是酒店建筑，则搜索类别可能包括“酒店信息”、“酒店评价”、“酒店位置”等。在这种情况下，电子装置A可根据用户输入基于与用户意图相匹配的优先级来依次提供与搜索类别对应的搜索结果。

例如，参照图14的(a)，电子装置A可显示排名最高的搜索结果(例如，酒店信息)(1401)作为与对象有关的搜索结果。在这种情况下，如果接收到用户输入(例如，滑动输入)，则如图14的(b)中所示，电子装置A可显示第二优先级的搜索结果(例如，酒店评论)1402。

随后，如图14的(c)中所示，如果接收到进一步的用户输入(例如，另一次滑动)，则电子装置可显示下一个优先级的搜索结果(例如，酒店位置)1403。如图14的(d)所示，如果接收到另外的用户输入，则电子装置A可显示用于发送信息(例如，关于酒店使用的查询或允许用户输入/撰写酒店评论)的输入窗口1404。在这种情况下，如果用户在输入窗口中创建评论并选择发送按钮，则电子装置A可将输入的评论发送到与对象有关的外部装置(例如，管理员邮件服务器)。

图15是示出根据各种实施例的提供与对象有关的搜索结果的示图。

参照图15的(a)，电子装置A可在显示区域上显示根据各种实施例获取的与对象有关的搜索结果1501。在这种情况下，如果与对象有关的搜索结果1501是与多个搜索类别中的一个类别有关的结果，则可在显示区域的一部分上显示多个搜索类别中的每个类别的各自的标识信息1502～1505。

在这种情况下，如图15的(b)所示，响应于从多个识别信息1502～1505中选择识别信息的用户输入1503，电子装置A可在显示区域上显示与所选类别有关的搜索结果1511。这里，可在显示区域的一部分上显示除了所选类别以外的其他类别的识别信息1502、1504、1505、1506。

图16a至图16c是示出根据各种实施例的在执行各种应用时提供与用户选择的对象有关的搜索结果的示图。

如果在执行应用时感测到选择在应用执行屏幕中包括的对象的预定用户输入(例如，长按触摸、双击触摸、水平拖动触摸、强压力触摸、以闭合曲线在显示对象的区域上进行的绘制输入等)，则电子装置A可捕获当前显示的应用执行屏幕并通过识别选择的对象来搜索相关信息。如果在执行应用时感测到选择在应用执行屏幕中包括的特定图标或设置在电子装置A上的特定按钮的用户输入，则电子装置A可捕获当前显示的应用执行屏幕并通过识别所选对象来搜索相关信息。

在这种情况下，电子装置A可在应用执行屏幕上以上下方向提供包括与所选对象有关的搜索结果的屏幕(例如，弹出屏幕)。

可针对多个搜索类别中的每个类别获取提供的搜索结果，并且可基于用户特征信息(例如，用户年龄、性别、心情等)和用户简况信息(例如，用户搜索历史、用户购买历史、反馈信息等)来确定与多个搜索类别有关的优先级。

搜索结果提供关于具有高优先级的搜索类别的详细信息，并提供其他搜索类别的菜单。例如，如果所选对象是“酒店”，则可为作为具有高优先级的搜索类别的“酒店评论”提供详细信息，并且可为诸如“酒店预订”、“前往酒店的路线”、“附近的旅游景点”的搜索类别提供菜单(或图标)。

电子装置A可基于关于多个类别的用户选择和用户的情绪状态来生成反馈信息并更新用户简况。

根据实施例，当生成网络浏览器应用时，电子装置A可根据用户输入来接收选择在网络浏览器应用的执行屏幕上显示的对象的用户输入。在这种情况下，用户输入可包括对显示对象触摸超过预定时间的长按触摸输入、多次触摸显示对象的触摸标签触摸输入、在水平方向上拖动包括显示对象的区域的拖动输入、以及以闭合曲线绘制包括显示对象的区域的触摸输入。另外，如图16a的(a)中所示，电子装置A可在网络浏览器应用的执行屏幕上显示搜索按钮1610，并且可在用户选择搜索按钮1610之后接收选择对象的用户输入。在选择了特定按钮(例如，用于执行人工代理等的按钮)之后，电子装置A可接收选择对象的用户输入。

一旦如上所述接收到用户输入，电子装置A就可捕获网络浏览器应用的当前正在显示的执行屏幕并生成捕获的图像。

电子装置A可基于关于用户从捕获的图像选择的对象的对象信息来获取关于选择的对象的搜索结果。在这种情况下，如图16a的(b)和图16a的(c)中所示，可通过从下方向上方移动来提供包括关于所选对象的搜索结果的弹出屏幕1620。如图16a的(c)所示，电子装置A可在网络浏览器应用的执行屏幕上包括弹出屏幕1620。换句话说，电子装置A可在显示器110上去除网络浏览器应用的执行屏幕。

特别地，可以在弹出屏幕1620中包括多个类别(例如，购买历史信息、相关新闻类别、评论类别等)。在这种情况下，可针对优先级基于用户简况信息被确定为高的购买信息类别提供详细信息，并且可针对优先级被确定为低的新闻类别仅提供与评论类别有关的图标。

电子装置A可通过包括关于多个类别的用户选择的结果来更新用户反馈信息。

另外，电子装置A可通过使用用户语音来获取关于所选对象的搜索结果。例如，如果在选择对象的同时输入了用户语音“我可以在哪里购买？”，则电子装置A可将“购买信息类别”确定为关于所选对象的搜索类别，并且基于确定的对象信息和搜索类别来提供搜索结果。

根据另一实施例，当执行图库应用时，如图16b的(a)所示，可根据用户输入来接收选择显示在图库应用的执行屏幕上的对象的用户输入。这里，已经在上面关于图16a解释了用户输入，因此为了简洁起见将不再提供进一步的描述。

一旦接收到用户输入，电子装置A就可捕获图库应用的正在显示的执行屏幕并生成捕获的图像。

电子装置A可基于关于用户从捕获的图像选择的对象的对象信息来获取关于所选对象的搜索结果。在这种情况下，如果所选对象包括文本，则电子装置A可使用OCR识别包括在对象中的文本并将识别的文本用作对象信息。可选地，电子装置A可将图库应用的执行屏幕中包括的图像的元数据(例如，拍摄位置信息、拍摄时间信息等)用作环境信息。例如，如果所选对象是“埃菲尔铁塔”，则电子装置A可基于图像“法国、巴黎”的元数据中包括的位置信息来识别用户选择的对象是埃菲尔铁塔。

如图16b的(b)中所示，电子装置A可通过将包括关于所选对象的搜索结果的弹出屏幕1640从下方移动到上方来在执行屏幕的下部区域中提供弹出屏幕1640。

特别地，弹出屏幕1640可包括多个类别(例如，详细信息类别、外围信息类别、相关图像类别等)。在这种情况下，可为优先级基于用户简况信息被确定为高的详细信息类别提供详细信息，并且可为外围信息类别和优先级被确定为低的相关图像类别仅提供图标。

电子装置A可通过包括关于多个类别的用户选择的结果来更新用户反馈信息。

根据另一实施例，当执行相机应用时，可根据用户输入接收选择显示在相机应用的执行屏幕上的对象的用户输入。这里，已经在上面关于图16a解释了用户输入，因此为了简洁起见将不再提供进一步的描述。

另外，如图16c的(a)所示，电子装置A可在相机应用的执行屏幕上显示AR功能按钮1650，并且在用户选择了AR功能按钮1650之后，如图16c的(b)中所示，电子装置A可接收选择对象的用户输入。

一旦接收到用户输入，电子装置A就可捕获相机应用的正在显示的执行屏幕并生成捕获的图像。然而，电子装置A可不单独捕获屏幕，并且可使用在拍摄的多个图像中的包括对象的图像。

电子装置A可基于关于用户从捕获的图像中选择的对象的对象信息来获取关于所选对象的搜索结果。在这种情况下，如果所选对象包括文本，则电子装置A可使用OCR识别包括在对象中的文本并将识别的文本用作对象信息。可选地，电子装置A可将拍摄图像的元数据(例如，拍摄位置信息、拍摄时间信息等)用作环境信息。

如图16c的(c)中所示，电子装置A可通过将包括关于所选对象的搜索结果的弹出屏幕1660从下方移动到上方来在执行屏幕的下部区域中提供弹出屏幕1660。

特别地，弹出屏幕1660可包括多个类别(例如，详细信息类别、外围信息类别、相关图像类别等)。在这种情况下，可为优先级基于用户简况信息被确定为高的详细信息类别提供详细信息，并且可为外围信息类别和优先级被确定为低的相关图像类别仅提供图标。

电子装置A可通过反映关于多个类别的用户选择的结果来更新用户反馈信息。

图17是示出根据各种实施例的与外部装置相关联地提供与对象有关的搜索结果的过程的流程图。

首先，电子装置A可显示包括对象的屏幕(在操作1701)。

在这种情况下，如果感测到选择对象的用户输入(在操作1702-是)，则电子装置A可捕获包括对象的屏幕并生成捕获的图像(在操作1703)。在这种情况下，捕获的图像可显示在显示区域上而不是显示在包括对象的屏幕上。另外，可基于与用户输入对应的触摸坐标从捕获的图像检测对象。

另外，电子装置A可将捕获的图像的一部分发送到外部装置(在操作1704)。在这种情况下，电子装置A还可发送关于与所选对象对应的对象区域的信息(例如，对象区域的坐标)。

电子装置A可从外部装置接收基于与包括在捕获的图像中的对象对应的对象信息和与该对象有关的附加信息而检索到的搜索结果(在操作1705)。

在这种情况下，对象信息是通过从捕获的图像的至少一部分识别出与对象对应的对象区域而获取的信息，并且附加信息可以是通过从捕获的图像的至少一部分识别出对象区域的外围区域而获取的信息。特别地，对象信息可以是通过应用被设置用于估计对象区域的训练的识别模型而获取作为对象信息的信息，并且附加信息可以是通过应用被设置用于通过外围区域估计附加信息的训练的识别模型而获取的信息。

检索到的搜索结果可以是基于搜索类别检索到的搜索结果，其中，该搜索类别是通过应用被设置用于估计对象信息和附加信息的训练的识别模型而获得的。在这种情况下，检索到的搜索结果可以是通过另外使用对象信息、电子装置A的除了附加信息之外的使用历史信息、电子装置A的用户的用户简况以及由设置在在电子装置A上的相机拍摄的拍摄信息中的至少一个而检索到的。

随后，电子装置A可在显示区域上显示获取的搜索结果(在操作1706)。这里，电子装置A可在显示区域的一侧显示搜索结果以不与对象重叠。另外，电子装置A可将对象信息与搜索结果一起显示。电子装置A可将根据搜索结果和对象信息的显示的用户反馈发送到外部装置。

图18是示出根据各种实施例的电子装置的配置的框图。

如图18中所示，电子装置100可包括图像捕获器1810、图像处理器1820、显示器1830、通信器1840、存储器1850、音频处理器1860、音频输出器1870、用户输入接口1880和处理器1890中的至少一个。另外，图18中所示的元件仅是示例性实施例之一，并且不一定限于上述框图。因此，可省略或修改图18中所示的电子装置100的一个或更多个元件，或者可根据电子装置A的类型或目的将一个或更多个元件添加到电子装置100。

图像捕获器1810可通过各种源获取图像数据。例如，可将图像捕获器1810实现为相机并且通过拍摄外部环境来获取拍摄信息。通过图像捕获器1810获取的图像数据可由图像处理器1820处理。

图像处理器1820可处理由图像捕获器1810接收到的图像数据。图像处理器1820可针对图像数据执行诸如解码、缩放、噪声滤波、帧速率转换、分辨率转换等的各种图像处理。

显示器1830可在显示区域(或显示器)上显示由图像处理器1820处理的图像数据。显示区域可指显示器1830的暴露在电子装置A的壳体的一侧上的至少一部分。

显示器1830的至少一部分可以以柔性显示器的形式被实现，并且可连接到电子装置A的正面区域、侧面区域和背面区域中的至少一个区域。由于基板像纸张一样薄且柔性，因此柔性显示器可具有可被折弯、弯曲或卷起而不会被损坏这样的特性。

显示器1830可被实现为通过连接到触摸面板1881而分层的触摸屏。触摸屏不仅可具有显示功能，而且还可具有检测触摸输入位置、触摸区域以及触摸输入压力的功能。此外，触摸屏可具有检测接近触摸以及真实触摸的功能。

通信器1840可根据各种通信方式与各种类型的外部装置进行通信。通信器1840可包括Wi-Fi芯片1841、蓝牙芯片1842、无线通信芯片1843和近场通信(NFC)芯片1844中的至少一个。处理器1890可通过使用通信器1840执行与外部服务器或各种类型的外部装置的通信。

存储器1850可存储电子装置A的操作所必需的各种程序和数据。存储器1850可被实现为非易失性存储器、易失性存储器、闪存、硬盘驱动器(HDD)或固态驱动器(SDD)。存储器1850可由处理器1890访问，并且可由处理器1890对数据执行读出、记录、校正、删除、更新等。根据实施例，存储器可包括存储器1850、控制器1890内的只读存储器(ROM)(未示出)和随机存取存储器(RAM)(未示出)以及安装在电子装置A上的存储卡(未示出)(例如，微型安全数字(SD)卡或记忆棒)。

此外，存储器1850可存储用于构成将在显示器1830的显示区域上显示的各种屏幕的程序、数据等。另外，存储器1850可存储各种实施例的各种识别模型。

音频处理器1860可被配置为对音频数据执行处理。音频处理器1860可针对音频数据执行诸如解码、放大、噪声过滤等的各种处理。由音频处理器1860处理的音频数据可被输出到音频输出器1870。

音频输出器1870具有这样的配置：该配置不仅输出由音频处理器1860执行诸如解码、放大、噪声滤波之类的各种处理的各种音频数据，而且还输出各种警报声音或语音消息。特别地，音频输出器1870可被实现为扬声器，但这仅是示例。音频输出器1870可被实现为可输出音频数据的输出端。

用户输入接口1880可接收各种用户输入，并将各种用户输入发送到处理器1890。用户输入接口1880可例如包括触摸面板1881、(数字)笔传感器1882、键1883。触摸面板1881可例如使用静电型、压敏型、红外型和超声型中的至少一种。触摸面板1881还可包括控制电路。触摸面板1881还可包括触觉层以向用户提供触觉响应。(数字)笔传感器1882例如可以是触摸面板的一部分或包括单独的检测片。键1883例如可包括物理按钮、光学键或小键盘。

处理器1890(或控制器)可使用存储在存储器1850中的各种程序来控制电子装置A的整体操作。

处理器1890可包括RAM 1891、ROM 1892、图形处理器1893、主中央处理器(CPU)1894、第一接口1895-1至第n接口1895-n、以及总线1896。这里，RAM 1891、ROM 1892、图形处理器1893、主CPU 1894以及第一接口1895-1至第n接口1895-n可通过总线1896互连。

参照图19a，处理器1900可包括训练组件1910和检测器1920中的至少一个。图19a的处理器1900可与电子装置A的处理器1890或数据学习服务器(未示出)的处理器对应。

训练组件1910可生成或训练具有用于确定预定情况的标准的识别模型。训练组件1910可使用收集的学习数据来生成具有确定标准的识别模型。

例如，训练组件1910可生成、训练或更新对象识别模型，该对象识别模型具有用于将包括对象的图像用作学习数据来确定哪个对象被包括在图像中的标准。

在另一示例中，训练组件1910可生成、训练或更新外围信息识别模型，该外围信息识别模型具有用于将包括在包括对象的屏幕中的外围信息用作学习数据来确定在图像中包括的对象周围的各种附加信息的标准。

在另一示例中，训练组件1910可生成、训练或更新面部识别模型，该面部识别模型具有用于将由相机拍摄的图像用作学习数据来确定在图像中包括的用户的面部的标准。

检测器1920可将预定数据用作训练的识别模型的输入数据来估计包括在预定数据中的识别目标。

例如，检测器1920可将包括对象的对象区域(或图像)用作训练的识别模型的输入数据来获取(或估计、推断)与对象区域中包括的对象有关的对象信息。

在另一示例中，检测器1920可通过将对象信息和环境信息中的至少一个信息应用于训练的识别模型来估计(或者确定、推断)用于提供搜索结果的搜索类别。在这种情况下，可根据优先级获取多个搜索结果。

在另一示例中，检测器1920可通过将环境信息(例如，对象的外围信息)应用于训练的识别模型来估计与对象有关的环境识别信息(例如，与对象有关的附加信息等)。

训练组件1910的至少一部分和检测器1920的至少一部分可被实现为软件模块或以至少一个硬件芯片的形式被实现并且被安装在电子装置中。例如，训练组件1910和检测器1920中的至少一个可以以专用于人工智能(AI)的硬件芯片的形式被制造，或被制造为将被安装在上述各种电子装置或对象识别装置上的现有通用处理器(例如，CPU或应用处理器)或纯图形处理器(例如，GPU)的一部分。在这种情况下，专用于AI的硬件芯片可以是专门用于概率计算的专用处理器，并且该硬件芯片具有比现有通用处理器更高的并行处理性能，因此可快速处理AI领域中的例如机器学习的操作。如果训练组件1910和检测器1920被实现为软件模块(或包括指令的程序模块)，则软件模块可被存储在计算机可读取的非暂时性计算机可读介质中。在这种情况下，软件模块可由操作系统(OS)或预定的应用提供。可选地，软件模块的一部分可由OS提供，并且其余部分可由预定的应用提供。

这里，训练组件1910和检测器1920可被安装在单个装置上，或者每个单元可被安装在单独的电子装置上。例如，训练组件1910和检测器1920之一可被包括在电子装置A中，而其余单元或另一组件可被包括在外部服务器中。另外，训练组件1910可通过有线或无线方式将由训练组件1910建立的模型信息提供给检测器1920，或者输入到检测器1920的数据可作为附加的学习数据被提供给训练组件1910。

图19b和19c是分别示出根据各种实施例的训练组件1910和检测器1920的框图。

参照图19b，根据实施例的训练组件1910可包括学习数据获取单元1910-1和模型学习单元1910-4。训练组件1910还可包括学习数据预处理单元1910-2、学习数据选择单元1910-3和模型评估单元1910-5中的至少一个单元。

学习数据获取单元1910-1可获取用于识别模型推断将识别的对象所必需的学习数据。根据实施例，数据学习获取单元1910-1可获取包括对象的整个图像、与对象区域对应的图像、对象信息和环境信息中的至少一个作为学习数据。学习数据可以是由训练组件1910或训练组件1910的制造商收集或测试的数据。

模型学习单元1910-4可使用学习数据训练识别或检测以具有关于如何确定预定识别目标的确定标准。例如，模型学习单元1910-4可通过将学习数据的至少一部分用作确定标准的监督学习来训练识别模型。作为另一示例，模型学习单元1910-4可通过无监督学习来训练识别模型，该无监督学习通过使用学习数据来学习用于确定情况的数据类型以找到用于确定情况的标准而无需进一步的指导。作为另一示例，模型学习单元1910-4可通过强化学习来学习识别模型，该强化学习使用关于根据学习而进行的情况确定的结果是否正确的反馈。另外，模型学习单元1910-4例如可使用包括误差反向传播方法或梯度下降方法等的学习算法来训练数据识别模型。

另外，模型学习单元1910-4可学习用于使用输入数据来推断将识别的对象的学习数据的标准。

如果存在多个预先建立的数据识别模型，则模型学习单元1910-4可将在输入学习数据与基本学习数据之间具有高相关性的识别模型确定为要学习的数据识别模型。在这种情况下，可根据数据的类型对基本学习数据进行预分类，并且可根据数据的类型对识别模型进行预建立。例如，可通过各种标准(诸如生成学习数据的区域、生成学习数据的时间、学习数据的大小、学习数据的类型、学习数据的创建者、学习数据中的对象类型等)对基本学习数据进行预分类。

一旦训练了识别模型，模型学习单元1910-4就可存储训练后的识别模型。在这种情况下，模型学习单元1910-4可将训练后的识别模型存储在电子装置A的存储器1850中。可选地，模型学习单元1910-4可将训练后的识别模型存储在通过有线或无线方式连接到电子装置A的服务器存储器中。

训练组件1910还可包括学习数据预处理单元1910-2和学习数据选择单元1910-3以改善识别模型的分析结果或节省生成识别模型所需的资源或时间。

预处理单元1910-2可对获取的数据进行预处理，使得获取的数据可用于确定情况的学习。预处理单元1910-2可以以预定格式对获取的数据进行预处理，使得获取的数据可用于确定情况的学习。

学习数据选择单元1910-3可从由学习数据获取单元1910-1获取的数据或由学习数据预处理单元1910-2预处理的数据选择学习所必需的数据。选择的学习数据可被提供给模型学习单元1910-4。学习数据选择单元1910-3可根据预定的选择标准从获取的数据或预处理的数据中选择学习所必需的学习数据。另外，学习数据选择单元1910-3可通过模型学习单元1910-4的学习来根据预定的选择标准选择学习数据。

训练组件1910还可包括模块评估单元1910-5以改善数据识别模型的分析结果。

模型评估单元1910-5可将评估数据输入到数据识别模型，并且如果通过评估数据输出的分析结果不满足预定标准，则允许模型学习单元1910-4再次学习。在这种情况下，评估数据可以是用于评估识别模型的预定数据。

例如，如果在训练的数据识别模型针对评估数据的多个分析结果中的分析结果不准确的评估数据的数量或比例超过预定阈值，则模型评估单元1910-5可评估出预定标准未被满足。

另一方面，当存在多个训练的数据识别模型时，模型评估单元1910-5可评估每个训练的识别模型是否满足预定标准，并且将满足预定标准的模型确定为最终识别模型。在这种情况下，当存在满足预定标准的多个模型时，模型评估单元1910-5可将先前以评估分数的降序设置的任何一个或预定数量的模型确定为最终识别模型。

参照图19c，根据实施例，检测器1920可包括识别数据获取单元1920-1和识别结果提供单元1920-4。

检测器1920还可包括识别数据预处理单元1920-2、识别数据选择单元1920-3和模型更新单元1920-5中的至少一个。

识别数据获取单元1920-1可获取用于确定情况的数据。识别结果提供单元1920-4可将由识别数据获取单元1920-1获取的数据作为输入数据应用于训练的识别模型以确定情况。识别结果提供单元1920-4可根据数据分析目的提供分析结果。识别结果提供单元1920-4可通过将由稍后将描述的识别数据预处理单元1920-2或识别数据选择单元1920-3选择的数据作为输入值应用于识别模型来获取分析结果。分析结果可由识别模型确定。

根据实施例，识别结果提供单元1920-4可通过将训练的识别模型应用于由识别数据获取单元1920-1获取的包括对象的对象区域来获取(或推断)与对象区域对应的对象信息。

根据另一实施例，识别结果提供单元1920-4可通过将由识别数据获取单元1920-1获取的对象区域、对象信息和环境信息中的至少一个应用于训练的识别模型来获取(或推断)搜索类别以提供搜索结果。

检测器1920还可包括识别数据预处理单元1920-2和识别数据选择单元1920-3以改善识别模型的分析结果或节省提供分析结果所需的资源或时间。

识别数据预处理单元1920-2可预处理获取的数据，使得获取的数据可用于确定情况。识别数据预处理单元1920-2可将获取的数据处理为预定格式，使得识别结果提供单元1920-4可利用获取的数据来确定情况。

识别数据选择单元1920-3可从由识别数据获取单元1920-1获取的数据或由识别数据预处理单元1920-2预处理的数据选择确定情况所需的数据。选择的数据可被提供给识别结果提供单元1920-4。识别数据选择单元1920-3可根据用于确定情况的预定标准来选择获取的数据的全部或一部分或者预处理的数据的全部或一部分。另外，识别数据选择单元1920-3可通过模型学习单元1910-4的学习来根据预定的选择标准选择学习数据。

模型更新单元1920-5可基于关于由识别结果提供单元1920-4提供的分析结果的评估来进行控制以更新识别模型。例如，模型更新单元1920-5可将由识别结果提供单元1920-4提供的分析结果提供给模型学习单元1910-4，并请求模型学习单元1910-4进一步学习或更新识别模型。

图20是示出根据各种示例性实施例的通过彼此互锁来学习和识别数据的电子装置A和服务器S的配置的示图。

参照图20，服务器S可学习用于确定情况的标准，并且电子装置A可基于服务器S的学习结果来确定情况。

在这种情况下，服务器S的模型学习单元1910-4可执行图19a中所示的训练组件1910的功能。服务器S的模型学习单元1910-4可学习关于使用哪个对象图像、对象信息或环境信息来确定预定情况以及如何使用数据来确定情况的标准。

另外，电子装置A的识别结果提供单元1920-4可通过将由识别数据选择单元1920-3选择的数据应用于服务器S生成的识别模型来确定对象信息或搜索类别。电子装置A的识别结果提供单元1920-4可从服务器S接收由服务器S生成的识别模型并使用接收到的识别模型来确定情况。在这种情况下，电子装置A的识别结果提供单元1920-4可通过将由识别数据选择单元1920-3选择的对象图像应用于从服务器S接收到的识别模型来确定与对象图像对应的对象信息。识别结果提供单元1920-4可通过使用环境信息和环境识别信息中的至少一个来确定搜索类别以获取搜索结果。

图21是示出根据各种实施例的电子装置使用识别模型的流程图。

参照图21，电子装置A可显示包括对象的屏幕(在操作2101)。

如果感测到选择对象的用户输入(在操作2102-是)，则电子装置A可捕获包括对象的屏幕并生成捕获的图像(在操作2103)。

随后，电子装置A可使用与包括在捕获的图像中的对象区域对应的对象信息和与外围区域对应的关于对象的附加信息中的至少一个来获取与对象有关的搜索结果(在操作2104)。

在这种情况下，应用关于对象区域的信息和关于外围区域的信息中的至少一个的结果可以是例如对象信息、关于对象的附加信息和搜索类别中的至少一个。电子装置A可使用对象信息、关于对象的附加信息和搜索类别中的至少一个来获取与对象有关的搜索结果。例如，电子装置A可将对象信息、附加信息和搜索类别发送到推荐装置B，并且响应于此获取与对象有关的搜索结果。

一旦获取了搜索结果，电子装置A就可在显示区域上显示获取的与对象有关的搜索结果(在操作2105)。

图22至图25是示出根据各种实施例的由网络系统使用识别模型的流程图。

参照图22至图25，使用识别模型的网络系统可包括第一元件2201、2301、2401、2501、第二元件2202、2302、2402、2502和第三元件2203、2303、2403。

这里，第一元件2201、2301、2401、2501可以是电子装置A，第二元件2202、2302、2402、2502可以是存储识别模型的服务器S。可选地，第一元件2201、2301、2401、2501可以是通用处理器，而第二元件2202、2302、2402、2502可以是仅AI的处理器。可选地，第一元件2201、2301、2401、2501可以是至少一个应用，并且第二元件2202、2302、2402、2502可以是操作系统(OS)。换句话说，与第一元件2201、2301、2401、2401相比，第二元件2202、2302、2402、2502可以更集成、更专用、延迟更少、性能更优越或具有更大的资源，因此，与第一元件2201、2301、2401、2501相比，第二元件2202、2302、2402、2502可以能够更快且更有效地处理生成、更新或应用数据识别模型所需的许多操作。

在这种情况下，可定义用于在第一元件2201、2301、2401、2501与第二元件2202、2302、2402、2502之间发送/接收数据的接口。

例如，可定义具有作为将被应用于识别模型的学习数据的参数值(或中间值或转移值)的应用程序接口(API)。API可被定义为一组子程序或函数，其中，可调用该一组子程序或函数以用于从一个协议(例如，电子装置A中定义的协议)到另一协议(例如，服务器S中定义的协议)的处理。换句话说，可提供这样的环境：在该环境中可通过API在任意一个协议中执行另一协议的操作。

另外，第三元件2203、2303、2403可基于从第一元件2201、2301、2401、2501和第二元件2202、2302、2402、2502中的至少一个接收到的数据来获取与对象有关的搜索结果。第三元件2203、2303、2403例如可与图2b的推荐装置B对应。在这种情况下，第三元件2203、2303、2403接收到的数据可以是对象区域、环境信息、对象信息和搜索类别中的至少一个。根据实施例，第三元件2203、2303、2403可连同第二元件2202、2302、2402、2502一起实现为单个装置。

根据实施例，在图22中，第一元件2201可显示包括对象的屏幕(在操作2211)。

在这种情况下，如果接收到选择对象的用户输入，则第一元件2201可捕获包括该对象的屏幕并生成捕获的图像(在操作2212)。

随后，第一元件2201可获取包括在捕获的图像中的与对象对应的对象区域(在操作2213)，并将获取的对象区域发送到第二元件2202(在操作2214)。

第二元件2202可通过将接收到的对象区域输入到识别模型来获取对象信息(在操作2215)。

第二元件2202可将对象信息发送到第三元件2203(在操作2216)。第三元件2203可使用对象信息来获取与对象有关的搜索结果(操作2217)。在这种情况下，第三元件2203不仅可通过使用对象信息，还可通过使用附加数据(例如，用户特征信息、用户简况、用户反馈等)来获取搜索结果。

当第三元件2203将与对象有关的搜索结果发送到第一元件2201时(在操作2218)，第一元件2201可在显示区域上显示接收的与对象有关的搜索结果(在操作2219)。第三元件2203可将与对象有关的搜索结果直接发送到第一元件2201，或通过第二元件2202来发送与对象有关的搜索结果。

根据另一实施例，在图23中，第一元件2301可显示包括对象的屏幕(在操作2311)。

在这种情况下，如果接收到选择对象的用户输入，则第一元件2301可捕获包括该对象的屏幕并生成捕获的图像(在操作2312)。

第一元件2301可将捕获的图像发送到第二元件2302(在操作2313)。在这种情况下，第一元件2301可将捕获的图像与关于与所选对象对应的对象区域的信息一起发送。

第二元件2302可将接收到的捕获的图像划分为对象区域和外围区域(在操作2314)。在这种情况下，第二元件2302可基于接收的关于对象区域的信息将捕获的图像划分为对象区域和外围区域。根据另一实施例，第一元件2301可将捕获的图像划分为对象区域和外围区域并将对象区域和外围区域发送到第二元件2302。

第二元件2302可通过将对象区域和外围区域输入到识别模块来获取对象信息和关于对象的附加信息(操作2315)。在这种情况下，第二元件2302可通过将对象区域输入到对象识别模型来获取对象信息，并且通过将外围区域输入到外围信息识别模型来获取关于对象的附加信息。另外，第二元件2302可基于对象信息和关于对象的附加信息来确定搜索类别和关于搜索类别的优先级。

第二元件2302可通过将对象区域输入到识别模型来获取对象信息，并且通过关于与在包括对象的屏幕中的外围区域对应的部分的应用资源分析来获取附加信息。在这种情况下，第二元件2302可基于对象信息和关于对象的附加信息来确定搜索类别和关于搜索类别的优先级。

应用资源分析表示对当执行应用时在执行屏幕上显示的UI元素在屏幕上的位置、类型和内容(例如，图像和文本的内容等)进行解析。关于与外围区域对应的部分的应用资源分析表示当生成捕获的图像时通过使用屏幕上的UI元素在应用程序执行屏幕中的位置来分析在与外围区域对应的位置处显示的UI元素的类型或内容。

第二元件2302可通过分析UI元素的类型或内容来获取关于对象的附加信息。在这种情况下，第一元件2301可通过分析UI元素的类型和内容来获取关于对象的附加信息，并将该附加信息发送到第二元件2302。

第二元件2302可将作为在2315的操作中的识别模型应用的结果的对象信息和附加信息发送到第三元件2303(在操作2316)。在这种情况下，第二元件2302还可将关于搜索类别的信息发送到第三元件2303。

第三元件2303可使用接收到的对象信息和附加信息来获取与对象有关的搜索结果(在操作2317)。在这种情况下，第三元件2303可通过一起使用搜索类别来获取搜索结果。另外，第三元件2303不仅可通过使用对象信息和附加信息还可通过使用其他数据(例如，用户特征信息、用户简况、用户反馈等)来获取搜索结果。在这种情况下，所述其他数据可从第一元件2301或另一元件被发送，或者可被预先存储在第三元件2303中。

当第三元件2303将与对象有关的搜索结果发送到第一元件2301时(在操作2318)，第一元件2301可在显示区域上显示接收到的与对象有关的搜索结果(在操作2319)。

根据另一实施例，在图24中，第一元件2401可显示包括对象的屏幕(在操作2411)。

在这种情况下，如果接收到选择对象的用户输入，则第一元件2401可捕获包括对象的屏幕并生成捕获的图像(在操作2412)。

第一元件2401可将生成的捕获的图像划分为对象区域和外围区域(在操作2413)。在这种情况下，第一元件2401可基于用户触摸点来确定对象区域，并且可基于关于确定的对象区域的信息将捕获的图像划分为对象区域和外围区域。第一元件2401可将对象区域和外围区域发送到第二元件2402(在操作2415)。

第二元件2402可通过将对象区域和外围区域输入到识别模型来获取对象信息和关于对象的附加信息(在操作2416)。在这种情况下，第二元件2402可通过将对象区域输入到对象识别模型来获取对象信息，并且通过将外围区域输入到外围信息识别模型来获取关于对象的附加信息。另外，第二元件2402可基于对象信息和附加信息来确定搜索类别和关于搜索类别的优先级。

第二元件2402可将获取的对象信息和附加信息发送到第三元件2403(在操作2417)。在这种情况下，第二元件2402也可将关于搜索类别的信息发送到第三元件2403。

第三元件2403可使用接收到的对象信息和附加信息来获取与对象有关的搜索结果(在操作2418)。在这种情况下，第三元件2403可通过一起使用搜索类别来获取搜索结果。另外，第三元件2403不仅可通过使用对象信息和附加信息还可通过使用其他数据(例如，用户特征信息、用户简况、用户反馈等)来获取搜索结果。在这种情况下，所述其他数据可从第一元件2401或另一个元件被发送，或者可被预先存储在第三元件2403中。

当第三元件2403将与对象有关的搜索结果发送到第一元件2401时(在操作2419)，第一元件2401可在显示区域上显示接收到的与对象有关的搜索结果(在操作2420)。

根据另一实施例，在图25中，第一元件2501可显示包括对象的屏幕(在操作2511)。

在这种情况下，如果接收到选择对象的用户输入，则第一元件2501可捕获包括该对象的屏幕并生成捕获的图像(在操作2512)。

第一元件2501可将捕获的图像发送到第二元件2502(在操作2513)。在这种情况下，第一元件2501可将捕获的图像与关于与所选对象对应的对象区域的信息一起发送。

第二元件2502可将接收到的捕获的图像划分为对象区域和外围区域(在操作2514)。在这种情况下，第二元件2502可基于接收到的对象区域的信息将接收到的捕获的图像划分为对象区域和外围区域。

第二元件2502通过将对象区域和外围区域输入到识别模型来获取对象信息和关于对象的附加信息(在操作2515)。在这种情况下，第二元件2502可通过将对象区域输入到对象识别模型来获取对象信息，并且可通过将外围区域输入到外围信息识别模型来获取关于对象的附加信息。另外，第二元件2502可基于对象信息和附加信息来确定搜索类别和关于搜索类别的优先级。

第二元件2502可使用获取的对象信息和附加信息来获取与对象有关的搜索结果(操作2516)。在这种情况下，第二元件2502可通过将对象信息和附加信息作为输入数据应用于识别模型来获取搜索结果。这里，第二元件2502可一起使用搜索类别来获取搜索结果。另外，第二元件2503不仅可通过使用对象信息和附加信息还可通过使用其他数据(例如，用户特征信息、用户简况、用户反馈等)来获取搜索结果。在这种情况下，所述其他数据可从第一元件2501或另一元件被发送，或者可被预先存储在第二元件2502中。

当第二元件2502将与对象有关的搜索结果发送到第一元件2501时(在操作2517)，第一元件2501可在显示区域上显示接收的与对象有关的搜索结果(在操作2518)。

图26和图27是示出根据另一实施例的使用识别模型提供关于用户选择的第一区域的搜索结果的过程的流程图。

在图26中，电子装置A可显示应用执行屏幕(在操作2610)。在这种情况下，至少一个对象可被包括在应用执行屏幕中。

当显示应用执行屏幕时，电子装置A可接收用户输入(在操作2620)。在这种情况下，用户输入可以是关于应用执行屏幕的输入，以便在应用执行屏幕中选择对象。特别地，当接收到用户输入时，电子装置A可执行AI代理以便执行关于包括所选对象的第一区域的搜索。

电子装置A可根据用户输入来捕获应用执行屏幕并生成图像(在操作2630)。在这种情况下，电子装置A可显示生成的图像而不显示应用执行屏幕。

电子装置A可显示搜索结果，所述搜索结果是使用关于在生成的图像上的与用户输入对应的第一区域的第一信息和关于与第一区域不同的第二区域的第二信息执行搜索的结果(在操作2640)。这里，第一区域可以是从基于与用户输入对应的触摸坐标生成的图像获取的区域。第二区域可以是在生成的图像中除第一区域之外的区域。

可通过训练的模型获取关于第一区域的第一信息和关于第二区域的第二信息。换句话说，可通过将生成的图像输入到训练的第一模型来获取第一信息，并且可通过将第一信息和生成的图像输入到训练的第二模型来获取第二信息。在这种情况下，训练的模型可被存储在电子装置A或外部服务器中。

根据实施例，获取第一信息和第二信息的操作以及搜索关于第一区域的信息的操作可由外部搜索服务器执行。换句话说，电子装置A可将生成的图像的至少一部分发送到外部搜索服务器并从外部搜索服务器接收搜索结果。

另外，电子装置A可在应用执行屏幕上显示搜索结果，并将关于对搜索结果的显示的用户反馈发送到存储训练的模型的外部装置。

在图27中，电子装置A可显示应用执行屏幕(在操作2710)。在这种情况下，至少一个对象可被包括在应用执行屏幕中。

电子装置A可捕获应用执行屏幕并生成图像(在操作2720)。这里，如果接收到关于应用执行屏幕中的包括对象的第一区域的用户输入，则电子装置A可捕获应用执行屏幕并生成图像。在这种情况下，电子装置A可显示关于应用执行屏幕的生成的图像。

电子装置A可通过将生成的图像用作输入数据的训练的第一模型来获取关于第一区域的第一信息(在操作2730)。这里，第一模型可被存储在电子装置A中，但这仅是示例。第一模型可被存储在外部服务器中。

电子装置A可通过将第一信息和生成的图像用作输入数据的训练的第二模型来获取关于第二区域的第二信息(在操作2740)。在这种情况下，第二模型可被存储在电子装置A中，但这仅是示例。第二模型可被存储在外部服务器中。

如果第一模型和第二模型被存储在外部服务器中，则电子装置A可将生成的图像发送到外部服务器，并且可接收通过将图像输入到第一模型而获取的第一信息和通过将图像和第一信息输入到第二模型而获取的第二信息。

如上所述，通过不仅获取关于感测到用户输入的第一区域的第一信息而且获取关于第二区域的第二信息，可以更准确地搜索关于第一区域的信息。

图28和图29是示出根据各种实施例的系统使用识别模型的流程图。

在图28中，电子装置A可显示应用执行屏幕(在操作2810)。在这种情况下，至少一个对象可被包括在应用执行屏幕中。

电子装置A可捕获应用执行屏幕并生成图像(在操作2820)。具体地，如果在显示应用执行屏幕时接收到用于选择对象的用户命令，则电子装置A可捕获应用执行屏幕并生成图像。

电子装置A可将生成的图像发送到服务器S(在操作2830)。这里，服务器S可存储训练的模型并基于检索到的信息执行搜索功能。

服务器S可通过将生成的图像用作输入数据的训练的第一模型来获取关于第一区域的第一信息(在操作2840)。在这种情况下，第一区域可以是包括基于接收到用户输入的触摸坐标而检测到的对象的区域。

服务器S可通过将第一信息和生成的图像用作输入数据的训练的第二模型获取关于第二区域的第二信息(在操作2850)。在这种情况下，第二区域可以是在生成的图像中除第一区域之外的区域。

服务器S可基于第一信息和第二信息来搜索与第一区域有关的信息(在操作2860)。换句话说，服务器S可基于关于对象的信息和在对象周围的外围区域的附加信息来搜索关于包括对象的第一区域的信息。

服务器S可将与第一区域有关的搜索结果发送到电子装置A(在操作2870)，并且电子装置A可提供接收到的搜索结果(在操作2880)。

换句话说，如图28中所示，电子装置A可捕获应用程序执行屏幕并将生成的图像提供给服务器S，并且服务器S可通过将生成的图像输入到训练的识别模型来获取第一信息和第二信息，并基于第一信息和第二信息来搜索信息。

另外，在上述实施例中，描述了一个服务器S通过训练的模型获取第一信息和第二信息，但这仅是示例。多个服务器可划分并执行以上操作。换句话说，第一服务器可通过训练的模型来获取第一信息和第二信息，并且第二服务器可基于从第一服务器获取的第一信息和第二信息来搜索与第一区域有关的信息。

在图29中，电子装置A可显示应用执行屏幕(在操作2910)。在这种情况下，至少一个对象可被包括在应用执行屏幕中。

电子装置A可捕获应用执行屏幕并生成图像(在操作2920)。具体地，如果在显示应用执行屏幕时接收到用于选择对象的用户命令，则电子装置A可捕获应用执行屏幕并生成图像。

电子装置A可通过将生成的图像用作输入数据的训练的第一模型来获取关于第一区域的第一信息(在操作2930)。

电子装置A可将生成的图像和第一信息发送到服务器S(在操作2940)。

服务器S可通过将第一信息和生成的图像用作输入数据的训练的第二模型来获取关于第二区域的第二信息(在操作2950)。

服务器S可基于第一信息和第二信息来搜索与第一区域有关的信息(在操作2960)。

服务器S可将与第一区域有关的搜索结果发送到电子装置A(在操作2970)，并且电子装置A可提供接收到的搜索结果(在操作2980)。

换句话说，在上述实施例中，可由电子装置A执行通过用于识别对象的第一模型获取第一信息的操作，并且可由服务器S执行通过用于推断环境信息的第二模型获取第二信息的操作。换句话说，可由电子装置A执行即使是少量处理也可执行的对象识别操作，可由服务器S执行需要大量处理的推断环境的操作。

另外，在图28和图29中所示的上述实施例中，一个服务器S通过训练的模型获取第一信息和第二信息，并搜索与第一区域有关的信息，但这仅是示例。多个服务器可划分并执行以上操作。换句话说，第一服务器可通过训练的模型来获取第一信息和第二信息，并且第二服务器可基于从第一服务器获取的第一信息和第二信息来搜索与第一区域有关的信息。

这里使用的术语“模块”涵盖由硬件、软件或固件组成的单元，并且可与例如逻辑、逻辑块、部件或电路的术语互换使用。模块可以是执行一个或更多个功能的集成配置部件或最小单元或其一部分。例如，模块可被配置为专用集成电路(ASIC)。

各种实施例可被实现为包括存储在可由机器(例如，计算机)读取的机器可读存储介质中的指令的软件。机器是能够从存储介质调用存储的指令并根据所调用的指令进行操作的装置，并且可包括根据各个实施例的电子装置(例如，电子装置A)。如果指令由处理器执行，则处理器可直接或在处理器的控制下使用其他元件执行与指令对应的功能。指令可包括由编译器生成的代码或由解释器可执行的代码。可以以非暂时性存储介质的形式提供可由装置读取的存储介质。这里，术语“非暂时性”是指存储介质不包括信号并且存储介质是有形的，但是不区分数据是永久存储还是临时存储在存储介质中。

可在计算机程序产品中提供根据各种实施例的方法。计算机程序产品可作为商品在买卖双方之间进行交易。计算机程序产品采用可被装置读取的存储介质(例如，光盘只读存储器(CD-ROM))的形式，或者可通过应用商店(例如PlayStore^TM)在线分发。在在线分发的情况下，至少一部分计算机程序产品可被至少临时存储在诸如制造商的服务器、应用商店的服务器或中继服务器的存储器的存储介质中，或者可被临时生成。

根据各种实施例的由块代表的组件、元件、模块或单元中的至少一个可被实现为执行上述各个功能的各种数量的硬件、软件和/或固件结构。例如，这些组件、元件、模块或单元中的至少一个可使用直接电路结构(诸如存储器、处理器、逻辑电路、查找表等)，其中，直接电路结构可通过一个或更多个微处理器或其他控制设备的控制来执行各自的功能。而且，这些组件、元件、模块或单元中的至少一个可由包含一个或更多个用于执行特定逻辑功能的可执行指令的模块、程序或部分代码具体实现，并由一个或更多个微处理器或其他控制设备执行。而且，这些组件、元件、模块或单元中的至少一个还可包括处理器(诸如执行各个功能的中央处理单元(CPU)、微处理器等)或者可由处理器(诸如执行各个功能的中央处理单元(CPU)、微处理器等)实现。这些组件、元件、模块或单元中的两个或更多个可被组合为执行组合的两个或更多个组件、元件、模块或单元的所有操作或功能的一个单独的组件、元件、模块或单元。而且，这些组件、元件、模块或单元中的至少一个的至少一部分功能可由这些组件、元件、模块或单元中的另一个来执行。以上示例性实施例的功能方面可以以运行在一个或更多个处理器上的算法来实现。此外，由块或处理操作表示的组件、元件、模块或单元可采用电子配置、信号处理和/或控制、数据处理等任何数量的相关技术。根据各种实施例的由模块、程序或其他元件执行的操作可被顺序地、并行地、迭代地或启发式地执行，或者至少一些操作可以以不同的顺序被执行、被省略，或者可添加其他操作。

前述各种实施例和优点仅是示例性的，并且不应被解释为限制本公开。本公开可被容易地应用于其他类型的设备。而且，各种实施例的描述旨在是说明性的，而不是限制权利要求的范围，并且许多替换、修改和变化对于本领域技术人员将是显而易见的。

Claims (10)

1.一种在电子设备中提供搜索结果的方法，所述方法包括：

显示屏幕；

接收用于选择显示在所述屏幕上的图像对象的用户触摸输入；

基于所述用户触摸输入，通过捕获所述屏幕来生成图像，并基于与所述用户触摸输入对应的触摸坐标检测与所述图像中包括的所述图像对象对应的第一区域；

通过使用被训练以识别所述图像中包括的所述图像对象的经训练的对象识别模型，获得用于识别所述第一区域中包括的所述图像对象的第一信息；

在与所述第一区域不同的第二区域上显示的多个词语之中识别与所述图像对象相关的至少一个词语；

获取第二信息，其中，第二信息包括识别的与所述图像对象相关的所述至少一个词语，第二信息不同于第一信息；

通过将第一信息和第二信息输入到搜索引擎，获取搜索结果；以及

显示所述搜索结果。

2.如权利要求1所述的方法，其中，通过触摸所述屏幕上显示所述图像对象的至少一个位置来选择所述图像对象。

3.如权利要求1所述的方法，其中，所述用户触摸输入包括长触摸输入、多触摸输入、长按触摸输入、双击触摸输入、水平拖动触摸输入和强压力触摸输入中的一个。

4.如权利要求1所述的方法，其中，所述搜索结果包括关于所述图像对象的详细信息、与所述图像对象关联的广告信息、所述图像对象的购买信息、与所述图像对象关联的其他对象的信息中的至少一个。

5.如权利要求1所述的方法，其中，基于与所述用户触摸输入对应的触摸坐标从生成的图像获取所述第一区域。

6.如权利要求1所述的方法，其中，由AI处理器执行提供所述搜索结果的搜索。

7.如权利要求1所述的方法，还包括：

将生成的图像的至少一部分发送到外部搜索服务器；以及

从外部搜索服务器接收所述搜索结果。

8.如权利要求1所述的方法，其中，显示所述搜索结果的步骤包括：在显示所述屏幕的同时显示所述搜索结果。

9.一种电子装置，包括：

显示器；

用户输入接口；

通信器；

处理器，被配置为与显示器、用户输入接口和通信器电连接；以及

存储器，被配置为存储由处理器执行的至少一个计算机程序，

其中，所述至少一个计算机程序包括：

在显示器上显示屏幕；

响应于经由用户输入接口接收到用户触摸输入，通过捕获所述屏幕来生成图像，并基于与所述用户触摸输入对应的触摸坐标检测与所述图像中包括的所述图像对象对应的第一区域；

通过使用被训练以识别所述图像中包括的所述图像对象的经训练的对象识别模型，获取用于识别所述第一区域中包括的所述图像对象的第一信息；

在与所述第一区域不同的第二区域上显示的多个词语之中识别与所述图像对象相关的至少一个词语；

获取第二信息，其中，第二信息包括识别的与所述图像对象相关的所述至少一个词语，第二信息不同于第一信息；

通过将第一信息和第二信息输入到搜索引擎，获取搜索结果；以及

显示所述搜索结果。

10.如权利要求9所述的装置，其中，所述处理器被配置为在执行所述至少一个计算机程序时执行根据权利要求2至8中任一项所述的方法。