CN111919222B - 识别图像中的对象的装置和方法 - Google Patents

Abstract

提供了一种电子设备，并且该电子设备包括：具有第一外表面的壳体；通过第一外表面的第一部分暴露并且包括第一视场(FOV)的第一成像设备；通过与第一部分相邻的第二部分暴露并且包括比第一FOV窄的第二FOV的第二成像设备；通信电路；可操作地连接到第一成像设备、第二成像设备和通信电路的至少一个处理器；以及可操作地连接到处理器，并配置为存储指令的存储器，所述指令在被处理器执行时使处理器：通过第一成像设备从第一时间点生成包括第一对象和第二对象的第一图像，通过第二成像设备从第一时间点，与生成第一图像同步地生成包括第一对象的第二图像，通过通信电路将第一图像和第二图像发送到外部服务器，接收第一对象和第二对象的对象识别信息，检测电子设备的运动，通过第二成像设备从与第一时间点不同的第二时间点生成包括第二对象的第三图像，至少部分地基于所述信息或检测到的运动，从第三图像中提取对象图像，该对象图像小于第三图像，以及通过通信电路将对象图像和对象识别信息发送到外部服务器。

Description

识别图像中的对象的装置和方法

技术领域

本公开一般涉及用于识别图像中的对象的装置和方法。

背景技术

由于技术的最新发展，对各种类型的图像的需求已经增加。为了提供这样的图像，已经提供了包括多个图像传感器的电子设备。

电子设备可以使用相机来提供对象识别服务以提高用户便利性。例如，电子设备可以基于通过相机获取的预览图像来识别对象，并且提供与所识别的对象有关的搜索服务。

电子设备可以包括相机模块，该相机模块包括：第一相机，其对应于宽视场(FOV)并且提供了低放大率的预览图像；第二相机，其对应于窄FOV并且提供了高放大率的预览图像。当用户放大预览图像时，电子设备可以将第一相机切换到第二相机并提供放大的预览图像。因此，当电子设备基于放大后的预览执行跟踪操作时，电子设备变得对电子设备或对象的运动的变化敏感，并且因此产生与调用跟踪引擎的较短时间段相对应的负载。因此，需要一种改进电子设备的负载的方法。

为了减轻电子设备的负载以及用于对象识别的与服务器交换的数据的消耗，有利的是提供一种基于关于通过第一相机识别的对象的信息执行通过第二相机获取的对象识别的电子设备和方法。

发明内容

问题的解决方案

做出本公开旨在解决上述问题和缺点，并至少提供下面描述的优点。根据本公开的一方面，提供了一种电子设备，所述电子设备包括：壳体，所述壳体包括第一外表面；第一成像设备，所述第一成像设备通过所述第一外表面的第一部分暴露并且包括第一视场(FOV)；第二成像设备，所述第二成像设备通过与所述第一部分相邻的第二部分暴露并且包括比所述第一FOV窄的第二FOV；通信电路；至少一个处理器，所述至少一个处理器可操作地连接到所述第一成像设备、所述第二成像设备和所述通信电路；以及存储器，所述存储器可操作地连接到所述处理器，并配置为存储指令，所述指令在被处理器执行时使所述处理器：通过所述第一成像设备从第一时间点生成包括第一对象和第二对象的第一图像，通过所述第二成像设备从所述第一时间点，与生成所述第一图像同步地生成包括所述第一对象的第二图像，通过所述通信电路将所述第一图像和所述第二图像发送到外部服务器，接收所述第一对象和所述第二对象的对象识别信息，检测所述电子设备的运动，通过所述第二成像设备从与所述第一时间点不同的第二时间点生成包括所述第二对象的第三图像，至少部分地基于所述信息或检测到的运动，从所述第三图像中提取对象图像，所述对象图像小于所述第三图像，以及通过所述通信电路将所述对象图像和所述对象识别信息发送到所述外部服务器。

根据本公开的另一方面，提供了一种操作电子设备的方法。所述方法包括：通过第一成像设备在第一时间点生成包括第一对象和第二对象的第一图像；通过第二成像设备在所述第一时间点，与生成所述第一图像同步地生成包括所述第一对象的第二图像；向所述外部服务器发送所述第一图像和所述第二图像；从所述外部服务器接收所述第一对象和所述第二对象的对象识别信息；检测所述电子设备的运动；通过所述第二成像设备在与所述第一时间点不同的第二时间点生成包括所述第二对象的第三图像；至少部分地基于所述信息或检测到的运动从所述第三图像中提取对象图像，所述对象图像小于所述第三图像；以及向所述外部服务器发送所述对象图像和所述对象识别信息。所述第一成像设备包括第一视场(FOV)，所述第二成像设备包括比所述第一FOV窄的第二FOV。

附图说明

根据以下结合附图的描述，本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显，其中：

图1是示出了根据实施例的网络环境中的电子设备的框图；

图2是示出了根据实施例的电子设备的功能框图；

图3A示出了根据实施例的由电子设备的第一相机和第二相机获取的预览图像的区域；

图3B示出了根据实施例的由电子设备的第一相机和第二相机中的每一个获取的预览图像；

图4A是示出了根据实施例的电子设备识别对象的操作的流程图；

图4B是示出了根据实施例的根据电子设备的移动而改变的预览图像的概念图；

图4C示出了根据实施例的通过电子设备的移动而改变的预览图像的示例；

图5A是示出了根据实施例的电子设备识别对象的操作的流程图；

图5B示出了根据实施例的在电子设备的运动之前接收的图像；

图5C示出了根据实施例的在电子设备的运动之后接收的图像；

图6是示出了根据实施例的用于获取第二远摄图像的电子设备的操作的流程图；

图7是示出了根据实施例的用于识别第二远摄图像中的第二对象的电子设备的操作的流程图；

图8是示出了根据实施例的电子设备获取关于第一宽图像中包括的第一对象的信息的操作的流程图；

图9是示出了根据实施例的电子设备确定第二远摄图像是否包括在第一宽图像的识别信息中的操作的流程图；

图10A是示出了根据实施例的电子设备将第二远射图像映射到第一宽图像的识别信息的操作的流程图；

图10B示出了根据实施例的第二远摄图像和第一宽图像之间的映射的示例；

图11A是示出了根据实施例的电子设备确定第二远摄图像是否包括在第一宽图像的识别信息中的操作的流程图；以及

图11B示出了根据实施例的由电子设备的第二相机获取的第二远射图像的示例。

具体实施方式

图1是示出了根据各种实施例的网络环境100中的电子设备101的框图。参照图1，网络环境100中的电子设备101可经由第一网络198(例如，短距离无线通信网络)与电子设备102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子设备104或服务器108进行通信。根据实施例，电子设备101可经由服务器108与电子设备104进行通信。根据实施例，电子设备101可包括处理器120、存储器130、输入设备150、声音输出设备155、显示设备160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电源管理模块188、电池189、通信模块190、用户标识模块(SIM)196或天线模块197。在一些实施例中，可从电子设备101中省略所述部件中的至少一个(例如，显示设备160或相机模块180)，或者可将一个或更多个其他部件添加到电子设备101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示设备160(例如，显示器)中。

处理器120可运行例如软件(例如，程序140)来控制电子设备101的与处理器120连接的至少一个其他部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。

在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子设备101(而非主处理器121)的部件之中的至少一个部件(例如，显示设备160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子设备101的部件之中的至少一个部件(例如，显示设备160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。

存储器130可存储由电子设备101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。

可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。

输入设备150可从电子设备101的外部(例如，用户)接收将由电子设备101的其他部件(例如，处理器120)使用的命令或数据。输入设备150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。

声音输出设备155可将声音信号输出到电子设备101的外部。声音输出设备155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。

显示设备160可向电子设备101的外部(例如，用户)视觉地提供信息。显示设备160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示设备160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。

音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入设备150获得声音，或者经由声音输出设备155或与电子设备101直接(例如，有线地)连接或无线连接的外部电子设备(例如，电子设备102)的耳机输出声音。

传感器模块176可检测电子设备101的操作状态(例如，功率或温度)或电子设备101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。

接口177可支持将用来使电子设备101与外部电子设备(例如，电子设备102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。

连接端178可包括连接器，其中，电子设备101可经由所述连接器与外部电子设备(例如，电子设备102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。

触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。

相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。

电源管理模块188可管理对电子设备101的供电。根据实施例，可将电源管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。

电池189可对电子设备101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。

通信模块190可支持在电子设备101与外部电子设备(例如，电子设备102、电子设备104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子设备进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户标识模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子设备101。

天线模块197可将信号或电力发送到电子设备101的外部(例如，外部电子设备)或者从电子设备101的外部(例如，外部电子设备)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，PCB)中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子设备之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。

上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。

根据实施例，可经由与第二网络199连接的服务器108在电子设备101和外部电子设备104之间发送或接收命令或数据。电子设备102和电子设备104中的每一个可以是与电子设备101相同类型的装置，或者是与电子设备101不同类型的装置。根据实施例，将在电子设备101运行的全部操作或一些操作可在外部电子设备102、外部电子设备104或服务器108中的一个或更多个运行。例如，如果电子设备101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子设备101可请求所述一个或更多个外部电子设备执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子设备101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子设备执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子设备可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子设备101。电子设备101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。

根据各种实施例的电子设备可以是各种类型的电子设备之一。电子设备可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子设备不限于以上所述的那些电子设备。

应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其他方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。

如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。

可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子设备101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子设备101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其他部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。

可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，PlayStoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。

根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其他部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其他操作。

图2是示出了根据实施例的电子设备的功能框图。电子设备的功能配置可以被包括在图1的电子设备101中。

参照图2，电子设备101包括相机模块180、服务模块200、用户输入模块260、显示设备160、存储器130、传感器模块176和数据库270。

显示设备160可以以图像或视频的形式输出数据或信号。显示设备160可以从相机模块180的ISP 181接收数据或信号，并且显示预览图像。预览图像是通过相机模块180的相机镜头接收的实时图像，并且可以包括被提供用来获取用户的静止图像的图像。

存储器130可以存储用于控制电子设备101的指令、控制指令代码、控制数据或用户数据。例如，存储器130可以包括应用146、OS 142、中间件144和设备驱动器。存储器130可以存储用于对象识别的信息。例如，存储器130可以包括用于对多个对象进行分类的类型信息以及关于类型信息中包括的多种类型中的每一种类型的关键点的信息。类型信息可以是基于可以被分类为公共类型的多个对象的公共特征而生成的信息。关键点信息可以是通过图像处理获取的信息。例如，对应于每种类型的对象可以与包括公共特征拐角点的形状相对应。存储器130可以将关于每种类型的特征形状的信息存储为关键点信息。存储器130可以存储通过图像获取的对象的识别信息。例如，存储器130可以包括关于多个对象的识别结果的信息，该多个对象包括在通过与宽FOV相对应的相机获取的图像中。关于识别结果的信息可以包括关于对象类型的信息以及对象在通过与宽FOV相对应的相机获取的图像内的位置。关于识别结果的信息可以是关于通过电子设备101将预览图像提供给外部装置(例如，服务器108)并由外部装置处理和接收的信息。此外，关于识别结果的信息可以是由电子设备101的服务模块200中包括的图像识别引擎210(高级图像识别(AIR)框架)处理的信息。

相机模块180可以执行用于在屏幕上实时显示从多个图像传感器接收的视频或图像的图像处理，并且执行用于压缩要存储在存储器130中的图像的任务。相机模块180还可以包括：多个图像传感器、ISP 181、缓冲器183和缩放器185。例如，相机模块180可以包括具有不同视角的多个图像传感器，并且可以执行压缩屏幕图像的任务，该屏幕图像与从多个图像传感器接收到并实时显示在屏幕上的视频或图像相对应，并与要存储在存储器中的图像相对应。屏幕显示的图像可以根据电子设备101的显示标准而变化。例如，对于要在全高清(FHD)屏幕上显示的图像，可以以FHD分辨率生成预览图像。在另一示例中，可以以根据相机的像素确定的更高的分辨率来存储图像，并且可以根据用户定义来存储不同的分辨率。例如，用户可以存储具有与5MB和3MB的容量相对应的分辨率的图像。此外，相机模块180可以使用从多个传感器接收的多个视频或图像来确定并生成关于要显示的图像的信息。相机模块180可以包括多个ISP 181和缩放器185，以便同时处理通过多个图像传感器接收的图像。通过多个ISP181和多个缩放器185，相机模块180可以同时处理与宽FOV相对应的图像和与窄FOV相对应的图像。相机模块180可以被称为成像设备或图像装置。

服务模块200还可以包括图像识别引擎210、用户接口模块220、代理管理模块230、信息管理模块240和视觉人工智能模块250。图像识别引擎210(AIR框架)可包括对象检测引擎212、跟踪引擎214和对象识别引擎216。图像识别引擎210可以分析从存储器130或相机模块180接收的图像。分析结果可以计算用于在输出的一部分中引导用户输入到显示设备160的信息，或者可以需要用户通过用户输入模块260在分析结果中反馈该分析结果。图像分析可以由电子设备101执行，或者电子设备101可以通过网络199将与图像有关的信息(图像文件、关键点、分析的内容、关键字或元数据)发送到服务代理服务器108，然后接收服务代理服务器108执行的分析信息。

用户接口模块220可以根据通过用户输入模块260接收到的用户输入，将相机应用中的图像分析结果输出到显示设备160，或者当分析结果需要用户反馈时，提供用于接收用户输入的用户界面。

代理管理模块230可以根据图像分析结果或用户输入来确定向其发送查询的代理服务器108。例如，当在屏幕上显示指示以下内容的用户界面时：通过对输入到相机预览的图像的分析，图像与代码搜索和产品搜索有关，如果用户选择了产品搜索，则代理服务器108可以通过查询将找到该产品的感兴趣区域(ROI)上的图像和信息发送到产品搜索站点(例如，亚马逊、阿里巴巴和淘宝)。如果图像分析需要更高分辨率的照片，则可以向相机模块180请求高分辨率图像。相机模块180可以基于用户请求时间点将高分辨率图像发送到服务模块200，服务模块200可以基于高分辨率图像执行图像分析。例如，高分辨率图像可以包括在接收到用户输入的时间点的高分辨率图像、在相机环形缓冲器中存储的图像之中具有最高质量的图像、预存储的图像或基于用户请求以指定的分辨率新拍摄的图像。

信息管理模块240可以整合由图像识别引擎210检测到的信息，解析所整合的信息，并将该信息发送到应用(例如，信息相机应用)。可以按照优先引擎的感兴趣区域、QR码信息、条形码信息、分类器信息以及识别的引擎的类型的顺序来确定发送到应用的信息的优先级。例如，可以基于QR码、条形码、风景、对象和文档的顺序来确定优先引擎的感兴趣区域。可以基于从信息管理模块240接收的信息通过显示设备160来显示应用，并且可以使用与服务器108进行通信所需的信息。信息管理模块240可以包括运动跟踪器。运动传感器可以包括用于检测电子设备101的运动的准确性的运动向量，并且可以基于运动向量来检查电子设备101的稳定性。当电子设备101的运动不大时或者当电子设备101的运动量小于或等于阈值时，例如，当稳定性小于或等于阈值时，可以发送运动值，以使服务模块200的图像识别引擎210检测对象。运动跟踪器可以根据检测到的对象的特征信息的大小来计算检测到的对象的复杂度。

信息管理模块240可以进一步包括视觉特征引擎。视觉特征引擎可以基于由信息管理模块240测量的电子设备101的运动程度和当检测到对象时可以测量的对象的复杂度来示出用于检测对象的特征效果。此外，视觉特征引擎可以连续地显示跟踪对象的效果。视觉特征引擎可以基于对象的深度信息和色度变化来显示效果，或者可以基于电子设备的运动或对象的运动来显示跟踪效果。

信息管理模块240可以进一步包括识别预处理模块。识别预处理模块可以基于第一相机和第二相机的视角之间的差异以及包括焦距的配置来确定拍摄区域的映射信息。预处理识别模块可以基于从传感器模块176接收到的关于电子设备101的运动的信息以及关于与第一相机对应的第一视角和与第二相机对应的第二视角的信息来映射预先识别的对象的位置，并生成识别出的对象的类型信息。

数据库270可以存储用于提供视觉人工智能服务的信息。例如，数据库270可以存储关于对象的预定类型(例如，圆柱形容器、管状容器、人、钢琴和小狗等)的信息。因此，电子设备101可以在电子设备101中执行图像分析处理，而无需将图像发送到服务器108来分析图像。

此外，数据库270可以存储关于预搜索对象的信息。例如，电子设备101可以根据来自用户的请求提供饮料A的对象识别服务，并将对应的信息存储在数据库270中。因此，当识别出与饮料A相同的对象时，电子设备101可以将图像发送到服务器108，并在无需从服务器108接收图像分析结果的情况下，基于预先存储的信息显示与饮料A相对应的关于对象识别的信息。

视觉人工智能模块250(视觉智能代理)可以对输入图像的分析结果进行分类和存储。例如，视觉人工智能模块250可以将输入图像分类为人、家具、衣服和汽车，然后进行细分并将图像存储为特定的家具类型(例如，椅子、桌子、架子和灯等)和衣服类型(例如，上衣、下衣、裙子、裤子、T恤和外套等)。视觉人工智能模块250可以利用图像数据的信息(例如，图像被保存的时间点和图像被拍摄的位置，以及图像的颜色、意境和风景)来建立数据库并使用输入图像进行搜索。

图3A示出了根据实施例的由电子设备的第一相机和第二相机获取的预览图像的区域。

参照图3A，电子设备301包括第一相机310和第二相机320。电子设备301可以包括壳体，并且第一相机310和第二相机320可以位于壳体的一个表面上。例如，第一相机310和第二相机320可以位于电子设备301的包括显示设备160的一侧的一个表面上。

此外，第一相机310和第二相机320可以以预定间隔平行布置，以基于透视获取深度信息。第一相机310和第二相机320可以对应于不同的放大率。例如，第一相机310可以是用于获取低放大率的预览图像(例如，×1至×2)的相机，第二相机320可以是用于获取高放大率的预览图像(例如，×2至×4)的相机。

第一相机310可以是对应于宽FOV的相机。由第一相机310获取的图像可以对应于第一图像330。对应于宽FOV的第一相机310可以被称为广角相机、宽相机或低放大率相机。由第一相机310获取的第一图像330可以被称为宽图像、广角图像或低放大率图像。参照图3A，第一图像330可以是属于与第一长度的宽度311相对应的宽FOV的图像。参照图3B，第一图像330可以包括第一对象331至第三对象333的全部。

第二相机320可以是对应于窄FOV的相机。由第二相机320获取的图像可以对应于第二图像340。对应于窄FOV的第二相机320可以被称为高放大率相机。由第二相机320获取的第二图像340可以被称为低放大率图像。参照图3A，第二图像340可以是属于与第二长度的宽度321相对应的窄FOV的图像，并且可以包括第一对象331至第三对象333中的一些。例如，第二图像340可以仅包括第一对象331。

图4A是示出了根据实施例的电子设备识别对象的操作的流程图。图4A的步骤401至步骤415可以由例如图1的电子设备101或图3A的电子设备301执行。在下文中，步骤401至步骤415可以由电子设备101的处理器120执行的指令(命令)来实现。

参照图4A，在步骤401中，电子设备101的处理器120生成包括第一对象331至第三对象333的第一宽图像410。第一宽图像410可以对应于由第一相机310获取的第一图像330。第一相机310可以是与宽FOV相对应的相机，因此电子设备101可以获取包括多个对象(例如，第一对象331至第三对象333)的第一图像330。例如，参照图4B，第一图像可以对应于第一宽图像410。第一宽图像410可以是在第一时间点通过第一相机310获取的图像。即，第一图像330可以包括在第一时间点通过第一相机330获取的静止图像，并且第一相机310可以是对应于宽FOV的相机，因此可以获取包括多个对象的图像。

在步骤403中，电子设备101生成包括第一对象331的第一远摄图像420。第一远摄图像420可以对应于由第二相机320获取的第二图像340。例如，参照图4B，第二图像340可以对应于第一远摄图像420。第一远摄图像420可以是在第一时间点通过第二相机320获取的图像。也就是说，第一图像330和第二图像340可以在与第一时间点对应的相同时间点获得。电子设备101的相机模块180可以包括并行配置以在第一时间点处理第一图像330和第二图像340的两个或更多个图像信号处理器181、缓冲器183和缩放器185。第二图像340是与窄FOV相对应的第二相机320获取的并因此可以仅包括除了第二对象332和第三对象333之外的第一对象331的图像。

电子设备101的用户可以调整预览图像的放大率。在预定放大率或更小放大率的情况下，电子设备101可以以预览图像的形式显示通过第一相机310接收的图像。在预定放大率或更大放大率的情况下，电子设备101可以以预览图像的形式显示通过第二相机320接收的图像。

电子设备101可以通过第一相机310和第二相机320同时接收并处理图像。即，在与第一时间点相对应的相同时间点，第一相机310可以接收与宽域相对应的第一宽图像410，第二相机320可以接收与窄域相对应的第一远摄图像420。电子设备101可以通过并行配置的两个或更多个图像信号处理器181、缓冲器183以及缩放器185，将在第一时间点通过第一相机310和第二相机320接收的图像转换为第一图像330和第二图像340。

在步骤405中，电子设备101将第一宽图像410和第一远摄图像420发送到服务器108。电子设备101可以将第一图像330和第一远摄图像420发送到服务器108以便对第一宽图像410中包括的第一对象331至第三对象333执行对象识别。服务器108可以包括图像分析引擎，并且对从电子设备101接收的第一宽图像410和第一远摄图像420中包括的第一对象331至第三对象333执行对象识别。

服务器108可以接收具有低放大率的宽FOV的第一图像330，并提取第一图像330中包括的多个对象的关键点，以便确定与多个对象中的每个对象对应的类型(例如，圆柱形容器、管状容器、人、小狗和钢琴等)。例如，参照图4C，服务器可以接收以低放大率拍摄并且对应于宽FOV的第一宽图像410，并且将第一对象331识别为第三对象333。服务器108可以提取第一对象331至第三对象333的关键点并确定第一对象331至第三对象333中每个对象的类型。例如，服务器108可以确定第一对象331至第三对象333中的每个对象对应于圆柱形容器。

服务器108可以接收以高放大率拍摄并且属于与窄FOV相对应的第一对象331的第二图像340，并且服务器108可以获取附加信息。例如，参照图4C，服务器可以接收以高放大率拍摄并且对应于狭窄FOV的第一远摄图像420，并且识别第一对象331。服务器108可以基于可以通过以高放大率拍摄而获取的信息来生成附加识别信息。例如，服务器108可以识别包括在第一远摄图像420中的对象(例如，第一对象331)的产品名称。因此，服务器108可以发送关于可以基于所识别的产品名称而提供的附加识别结果的信息。例如，服务器108可以识别第一对象331的产品名称，并且另外向电子设备101发送关于第一对象331的所识别的产品名称的信息、在线市场上销售的产品的价格以及在电子设备101附近的便利店中销售的产品的价格。

在上述实施例中，第一图像330和第二图像340被发送到服务器108，但是本公开不限于此。根据另一实施例，电子设备101可以基于包括在服务模块200中的图像识别引擎210(AIR框架)，对第一图像330或第二图像340中包括的第一对象331至第三对象333执行对象识别。

在步骤407中，电子设备101接收关于在第一对象331上执行的识别对象的信息。服务器108可以对从电子设备101接收的第一宽图像410和第一远射图像420执行对象识别，并向电子设备101发送关于所识别的对象的信息。第一宽图像410的识别信息可以包括关于包括在第一宽图像410中的第一对象331至第三对象333的类型的信息。例如，第一对象331至第三对象333的类型可对应于圆柱形容器。第一远摄图像420的识别信息可以包括关于第一远摄图像420中包括的第一对象331的产品名称、在线市场上销售的产品的价格以及在电子设备101附近的便利店销售的产品的价格的信息。

在步骤409中，电子设备101检测电子设备101的运动。电子设备101可以通过传感器模块176获取关于电子设备101的运动的感测数据。传感器模块176可以进一步包括陀螺仪传感器、加速度传感器和重力传感器。例如，电子设备101可以获取与由陀螺仪传感器测量的每个速度有关的感测数据，并且基于感测数据识别电子设备101向左或向右旋转多少。在另一示例中，电子设备101可以获取由重力传感器测量的感测数据，并基于感测数据识别电子设备101向上或向下移动多少。电子设备101可以通过获取关于左旋和右旋的感测数据以及关于上旋和下旋的感测数据来检测其运动。

在步骤411中，电子设备101生成包括第二对象332的第二远摄图像440。第二远摄图像440可以对应于在检测到电子设备101的运动之后的第二时间点通过第二相机320获取的图像。例如，参照图4B，第二远摄图像440可以对应于在电子设备101的运动之后由与窄FOV相对应的第二相机320获取的图像。参照图4C，第二远摄图像440可以对应于包括第二对象332的图像。

电子设备101可以基于第一宽图像410和第一远摄图像420的缩放信息以及关于电子设备101的运动的信息来生成第二远摄图像440。电子设备101可以基于关于第二相机320的缩放倍率的信息和关于运动的信息，确定第二远摄图像440是否位于第一宽图像410内。因此，当确定第二远摄图像440位于第一宽图像410内时，电子设备101可以通过不对从第二相机320接收的图像进行处理而生成第二宽图像430。

此外，当确定第二远摄图像440不在第一宽图像410内时，电子设备101可以通过处理从第二相机320接收的图像来生成第二宽图像430。为了获取关于新生成的第二宽图像430中包括的对象的类型的信息，电子设备101可以将生成的第二宽图像430发送到服务器108，或者可以使用电子设备101的图像识别引擎210。

在步骤413中，电子设备101从第二远摄图像440中提取对象图像。对象图像可以是与第二远摄图像440中的部分区域相对应的图像。具体地，对象图像可以是针对包括第二远摄图像440中的对象的区域的图像。电子设备101可以提取第二远摄图像440中的第二对象332以及第一宽图像410中的第二对象332的关键点，并且比较所提取的关键点以便获得匹配关键点的数量。当匹配的关键点的数量大于或等于预设数量时，电子设备101可以确定第一宽图像410的第二对象332与第二远射图像440的第二对象332相同。当确定第一宽图像410的第二对象332与第二远摄图像440的第二对象332相同时，电子设备101可以基于提取的关键点获取与第二远摄图像440中包括的第二对象332有关的坐标信息。电子设备101可以基于所获取的坐标信息来提取第二远摄图像440中的第二对象332所在的部分区域。所提取的与第二对象332相对应的部分区域可以与对象图像相对应。

在步骤415中，电子设备101将对象图像发送到服务器108。电子设备101可以将从第二远摄图像440提取的对象图像发送到服务器108。对象图像可以是与第二远摄图像440的部分区域相对应的图像，或者可以仅包括与第二远摄图像440的第二对象332有关的区域。在电子设备101可以确定第一宽图像410的识别信息中的第二对象332的类型信息是第二远射图像440的第二对象332的类型信息的情况下，电子设备101可以确定第一宽图像410的第二对象332与第二远摄图像440的第二对象332对应。因此，电子设备101可以向服务器108发送对象图像和第二对象332的类型信息。因此，电子设备101可以减少通过与服务器108通信所交换的数据量，并且服务器108可以基于第二远摄图像440中仅包括第二对象332的区域的对象图像对第二对象221执行对象识别，从而提高了对象识别的速度。

图5A是示出了根据实施例的电子设备识别对象的操作的流程。图5A的步骤501至步骤513可以由图1的电子设备101或图3A的电子设备301执行。步骤501至步骤513可以由电子设备101的处理器120执行的指令(命令)来实现。

参照图5A，在步骤501中，电子设备101的处理器120通过第一相机310获取属于与第一FOV相对应的第一区域的第一宽图像410。电子设备101可以获取布置在与宽FOV相对应的第一区域中的包括第一对象331至第三对象333的第一宽图像410。例如，参照图5B，第一相机310的FOV可以具有角度B 510，并且可以获取包括第一对象331、第二对象332和第三对象333的图像。

在步骤503中，电子设备101通过第二相机320获取属于与第二FOV相对应的第二区域的第一远摄图像420。电子设备101可以通过第二相机320获取属于与第二FOV相对应的第二区域的第一远摄图像420。电子设备101可以获取布置在与窄FOV相对应的第二区域中的包括第一对象331的第一远摄图像420。例如，参照图5B，第二相机320的FOV可以具有角度A520并且获取仅包括第一对象331的图像。

在步骤505中，电子设备101获取关于第一区域与第二区域之间的相对位置的第一信息。电子设备101可以获取关于第二区域在第一区域中的相对位置的信息。即，电子设备101可以通过识别与第一区域的部分区域相对应的第二区域来获取关于相对位置的第一信息。例如，第一信息可以包括指示第二区域位于第一区域的中心或右上部分的信息。

在步骤507中，电子设备101通过第二相机320获取属于从第二区域改变而来的第三区域的第二远摄图像440。电子设备101可以通过传感器模块176检测运动，并基于检测到的运动的第二信息获取属于与第二相机320的改变后的第二FOV相对应的第三区域的第二远摄图像440。第二信息可以对应于从传感器模块176接收的信息，并且可以包括关于电子设备101的左右运动的大小以及电子设备101的上下运动的大小的信息。例如，参照图5C，电子设备的处理器可以检测到电子设备向左旋转角度C 530。电子设备101可以获取包括第二对象332的图像，该第二对象332在第一电子设备101的运动之前未在第一远射图像420中被检测到，但是响应于运动通过第二相机320在第二远摄图像440中新检测到了第二对象332。

在步骤509中，电子设备101基于第一信息和第二信息来识别第二远摄图像440中的第二对象332。电子设备101可以基于关于第一远射图像420在第一宽图像410内的位置的第一信息和关于电子设备101的运动的第二信息来确定第二远射图像440的位置。当确定的第二远摄图像440的位置离开了第一宽图像410时，电子设备101可以重新生成与宽FOV相对应的第二宽图像。当确定的第二远摄图像440的位置没有离开第一宽图像410时，电子设备101可以识别第二远摄图像440中包括根据电子设备101的运动而改变的第二对象332。第二对象332可以与包括在第一宽图像410中的对象中的一个相对应。

在步骤511中，电子设备101获取关于第二远摄图像440中包括的第二对象332的信息。电子设备101可以提取第二远摄图像440中的第二对象332以及第一远射图像410中的第二对象332的关键点，并比较提取的关键点，以获取匹配关键点的数量。当匹配关键点的数量大于或等于预设数量时，电子设备101可以确定第一宽图像410的第二对象332与第二远射图像440的第二对象332相同。当确定第一宽图像410的第二对象332与第二远摄图像440的第二对象332相同时，电子设备101可以基于提取的关键点获取与第二远摄图像440中包括的第二对象332有关的坐标信息。电子设备101可以基于所获取的坐标信息来提取第二对象332在第二远摄图像440中的部分区域。

在步骤513中，电子设备101可以存储关于第二对象332的信息。电子设备101可以将所提取的部分区域存储为第二对象332的对象图像。此外，电子设备101可以将关于第一宽图像410包括的识别信息中的第二对象332的信息作为第二对象332的类型信息使用。电子设备101可以将对象识别准确度、先前执行的对象识别以及关于其用户反馈的信息另外存储为对象识别准确度，并将其用于对象识别。例如，当先前执行的对象识别准确度超过预定参考值时，由于对相应对象的对象识别的误识别概率较低，所以电子设备101可以直接显示对象信息。在另一示例中，当先前执行的对象识别准确度低于或等于预定参考值时，针对相应对象的对象识别的误识别概率较高，从而电子设备101可以被配置为通过第二相机以高放大率获取的对象的图像再一次识别相应对象。在这种情况下，当重新识别的对象和预先识别的对象的结果彼此相同时，可以显示对象信息。

图6是示出了根据实施例的电子设备获取第二远摄图像的操作的流程图。获取第二远摄图像的操作可以对应于图5A所示的步骤507的详细描述。

参照图6，在步骤601中，电子设备101的处理器120确定是否检测到相机的运动。电子设备101可以从传感器模块176获取感测数据，并且基于感测数据来检测电子设备101的运动。第一相机310和第二相机320位于电子设备101的壳体的一个表面上。当第一相机310和第二相机320检测到电子设备101的运动时，电子设备101可以检测第一相机310和第二相机320的运动。例如，当检测到电子设备101的运动时，电子设备101执行步骤603。在另一示例中，当未检测到电子设备101的运动时，电子设备101连续识别是否检测到电子设备101的运动。

在步骤603中，电子设备101获取第二远摄图像440。可以根据检测到的电子设备101的运动来改变通过第一相机310和第二相机320接收到的图像。例如，参照图4C，第一相机310可以在电子设备的移动之前获取第一宽图像410，并且可以获取根据电子设备101的移动而改变的第二宽图像430。第二相机320可以在电子设备101移动之前获取第一宽图像410并获取根据电子设备101的移动而改变的第二远射图像440。

在步骤605中，电子设备101确定是否存在第一宽图像410的识别信息。电子设备101可以通过第一相机310获取第一宽图像410，并将获取的第一宽图像410发送到服务器108。因此，响应于发送，电子设备101可以确定是否接收到服务器108执行的第一宽图像410的识别信息。第一宽图像410的识别信息可以包括第一宽图像410中包括的多个对象的类型信息。例如，第一宽图像410的识别信息可以包括指示第一对象331至第三对象333的类型对应于圆柱容器的信息。

在步骤607中，电子设备101生成并显示第二宽图像430的识别信息。当未从服务器108接收到第一宽图像410的识别信息时，电子设备101无法通过第一宽图像410的识别信息来生成第二远射图像440的识别信息。因此，电子设备101可以将第二宽图像430发送到服务器108，并接收由服务器108执行的对象识别的结果，以获取并显示第二宽图像430的识别信息。

图7是示出了根据实施例的电子设备识别第二远摄图像中的第二对象的操作的流程图。识别第二对象的操作可以对应于图5A所示的步骤509的详细描述。

参照图7，在步骤701中，电子设备101的处理器120基于运动确定第二远摄图像440是否被包括在第一宽图像410的识别信息中。电子设备101可以通过传感器模块176(例如，陀螺仪传感器)获取关于电子设备101的运动的信息。电子设备101可以基于关于运动的信息来确定运动之后由第二相机获取的第二远摄图像440是否被包括在由第一相机310在运动之前获取的第一宽图像410中。电子设备101可以基于缩放信息、关于电子设备101的运动的信息以及在电子设备101运动之前第二相机320获取的第二图像420在第一相机310获取的第一图像410中的相对位置信息来确定由第二相机320获取的第二远摄图像440是否包括在由第一相机310在运动之前获取的第一宽图像410中。

电子设备101可以基于第一相机310和第二相机320的缩放信息来确定第二远摄图像440是否包括在第一宽图像410中。例如，当第二相机320的缩放信息对应于4倍光学变焦，并且第一宽图像410的面积(例如，图3A的311)是100，第一远射图像420和第二远射图像440的面积(例如，图3A的321)可以对应于25。当第二相机320的缩放信息对应于10倍变焦时，第一远摄图像420和第二远摄图像440的面积可以对应于10。在10倍变焦的情况下，第二远摄图像440在第一宽图像410中所占据的面积非常小，因此，尽管电子设备101的运动相对较大，但是第二远射图像440可以被包括在第一宽图像410中。另一方面，在4倍变焦的情况下，第二远射图像440在第一宽图像410中所占据的面积可以大于或等于预定大小。因此，尽管电子设备101的运动相对较小，但是第二远摄图像440可以包括未被包括在第一宽图像410中的图像。

另外，电子设备101可以基于第一宽图像410中的第一远摄图像420的相对位置信息来确定第二远摄图像440是否包括在第一宽图像410中。例如，当在运动之前第一远射图像420位于第一宽图像410的右侧部分时，即使在向左方向上存在相对较大的运动，电子设备101仍可以位于第一宽图像410内。在另一示例中，当在电子设备101运动之前第一远摄图像420位于第一宽图像410中的左侧部分时，即使在向右方向上存在相对较大运动，电子设备101仍可以位于第一宽图像410内。因此，电子设备101可以基于第一远摄图像420在第一宽图像410中的相对位置信息、第一相机310和第二相机320的缩放信息和关于电子设备的运动的信息，来确定第二远摄图像440是否包括在第一宽图像410中。

在步骤703中，电子设备101基于电子设备101的运动信息和相机放大率信息，将第二远射图像440映射到第一宽图像410的识别信息。电子设备101可以提取包括在第一宽图像410中的第二对象332的关键点，并且提取包括在第二远摄图像440中的第二对象332的关键点，以便获取匹配关键点的数量。由于第一相机310和第二相机320对应于不同的放大率，因此如果在不考虑放大率信息的情况下比较关键点，则电子设备101可能无法提取匹配关键点。因此，电子设备101可以基于用于放大率的第一缩放信息和第二缩放信息来提取匹配关键点。当匹配关键点的数量大于或等于预定数量时，电子设备101可以确定第一宽图像410中的第二对象332与第二远射图像440中的第二对象332相同，并将第一宽图像410的识别信息之中的第二对象332的识别信息映射到第二远摄图像440中的第二对象332的识别信息。

在步骤705中，电子设备101获取第二宽图像430。当第二远摄图像440未包括在第一宽图像410的识别信息中时，电子设备101可以通过第一相机31获取第二宽图像430来识别新对象。第二宽图像430可以对应于由相机获取的与宽FOV相对应的图像。电子设备101可以基于关于电子设备101的运动的信息来自适应地改变用于生成第二宽图像430的识别信息的操作时间段。例如，电子设备101可以通过传感器模块176中包括的加速度传感器来获取关于电子设备101移动多快的信息。当基于从加速度传感器接收到的信息确定电子设备101移动得比预定速度快时，电子设备101可以不执行用于确定第二远摄图像440是否包括在第一宽图像410中的操作。当电子设备101快速移动时，在大多数情况下，第二时间点的第二远摄图像440可能不会包括在第一时间的第一宽图像410中，并且电子设备101可以省略用于确定第二远摄图像440是否包括在第一宽图像410中的操作并通过将第二宽图像430发送到服务器108来获取对象识别信息。在另一示例中，当基于从加速度传感器接收到的信息确定电子设备101比预定速度更慢地移动时，电子设备101可以操作来确定第二远摄图像440是否包括在第一宽图像410中。这是因为，当电子设备101缓慢移动时，根据操作时间段的第二远摄图像440很有可能被包括在第一宽图像410。

在步骤707中，电子设备101生成第二远摄图像440的识别信息。也就是说，电子设备101可以将第二远摄图像440发送到服务器108，以便获取在根据运动获取的第二远摄图像440中包括的多个对象的识别信息。服务器108可以接收第二远射图像440并且基于图像识别引擎执行对象识别过程。此后，当服务器108将对第二远摄图像440的对象识别处理的结果发送到电子设备101时，电子设备101可以获取第二远摄图像440的识别信息。电子设备101可以基于电子设备101的服务模块200中包括的图像识别引擎210来生成第二远摄图像440的识别信息，而不是将第二远摄图像440发送到服务器108。

图8是示出了根据实施例的电子设备获取关于第三图像中包括的第二对象的信息的操作的流程图。获取关于第二对象332的信息的操作可以对应于图5A所示的步骤511的详细描述。

在步骤801中，电子设备101的处理器120基于第一宽图像410的区域信息来确定第二远摄图像440中第二对象332的预期位置和类型。当在电子设备101运动之后获取的第二远射图像440被包括在第一宽图像410的识别信息中时，电子设备101可以基于第一宽图像的识别信息来识别第二远射图像440的第二对象332。

电子设备101可以确定第三图像中包括的第二对象332的预期位置。例如，电子设备101可以通过第二相机320的缩放信息来确定第二远摄图像440在第一远射图像410中的区域的大小。此外，电子设备101可以基于关于第一远射图像420在第一宽图像410中的位置的区域信息和关于电子设备101的运动的信息，来确定第二远射图像440在第一宽图像410中的预期位置。例如，第一远摄图像420在电子设备101移动之前可以位于第一宽图像410的中心，并且电子设备101可以向左移动1cm并且向上移动1cm。在运动之后，电子设备101可以确定第二远射图像440的预期位置位于距第一宽图像410的中心向左1cm和向上1cm的区域中。电子设备101可以基于第一宽图像410的识别信息中包括的类型信息来确定第二远射图像440中的第二对象332的类型。电子设备101可以将获取的第一宽图像410内的预期位置处的第二对象332与第二宽图像410的第二对象332进行比较，并确定是否将第一宽图像410的第二对象332的类型信息用作第二远摄图像440的第二对象332的类型信息。例如，电子设备101可以确定与第一宽图像410的预期位置相对应的第二对象332与通过根据缩放信息进行大小调整的第二远摄图像440中包括的第二对象332相同，并提取和比较关键点。当与第一宽图像410的预期位置相对应的第二对象332与第二远摄图像440中包括的第二对象332相同时，电子设备101可以确定包括在第一远射图像410的识别信息中的第二对象332的类型信息与第二远摄图像440的第二对象332的类型信息相同，而无需将第二宽图像430发送到服务器108以识别第二远摄图像440的第二对象332的类型。

根据实施例，电子设备101可以基于关于第一相机310和第二相机320的放大率的信息来确定关键点是否彼此匹配。例如，电子设备101可以提取第一远射图像410的第二对象332的关键点和第二远摄图像440的第二对象332的关键点，并且基于关于放大率的信息来比较关键点。当电子设备101在不考虑关于放大率信息的情况下将从第一宽图像410提取的关键点与从第二远射图像440提取的关键点进行比较时，即使第二对象332实际上彼此相同，电子设备101也可能无法匹配关键点。因此，电子设备101可以根据第一相机310的放大率来缩小从第二远摄图像440提取的关键点，然后将缩小后的关键点与第一宽图像410的关键点进行比较，或者可以根据第二相机320的放大率来放大从第一宽图像410提取的第二对象332的关键点，然后将放大后的关键点与从第二远摄图像440提取的关键点进行比较。因此，电子设备101可以考虑具有不同放大率的第一相机310和第二相机320之间的放大率差来匹配关键点。

在步骤803中，电子设备101提取与所确定的第二对象332的预期位置有关的部分图像，且基于类型生成并发送识别数据。例如，为了识别第二远摄图像440中包括的第二对象332，在无需将第二宽图像430发送到服务器108的情况下，电子设备101可以通过仅基于第一宽图像410的预期区域来提取第二远摄图像440的与第二对象332相对应的部分区域来获取对象图像，并且可以将对象图像发送到服务器108。此外，电子设备101可以将在第一宽图像410的识别信息中包括的第二对象332的类型信息与对象图像一起发送到服务器108。因此，服务器108可以基于仅包括第二对象332和第二对象332的类型信息的对象图像来识别第二对象332。例如，服务器108可以不对第二宽图像430的整个图像执行对象识别处理，而是基于仅包括第二远射图像440中所包括的第二对象332的区域(例如，包括饮料A的文本的区域)和类型信息(例如，圆柱形的容器)的对象图像440，针对与圆柱形容器相对应的第二对象332生成饮料(Drink)A的识别信息，并将生成的识别信息发送到电子设备101。

图9是示出了根据实施例的用于确定第二远摄图像是否包括在电子设备的第一宽图像的识别信息中的操作的流程图。图9的步骤可以包括在图7所示的步骤701中。图9所示的步骤可以由图1所示的处理器120执行。

在步骤901中，处理器120识别缩放信息和相对位置。处理器120可以识别关于第一相机310和第二相机320的放大率的信息。例如，与宽FOV相对应的第一相机310可以对应于1x至2x的放大率。在另一示例中，与窄FOV相对应的第二相机320可以对应于2x至4x的放大率。处理器120可以识别第二区域在第一区域中的相对位置。第一区域可以包括由第一相机310获取的图像的区域。第二区域可以包括由第二相机320获取的图像的区域。例如，第一区域可以是被包括在第一宽图像410中的区域。在另一个示例中，第二区域可以是被包括在第一远摄图像420中的区域。

在步骤903中，处理器120获取电子设备101的运动的传感器数据。处理器120可以从传感器模块176获取关于电子设备101的运动的数据。例如，传感器模块176可以包括加速度传感器和陀螺仪传感器。加速度传感器可以包括关于电子设备101的速度变化的感测数据。陀螺仪传感器可以获取关于电子设备101的倾斜度的感测数据。关于倾斜度的感测数据可以包括指示与俯仰、滚动和偏航有关的变化量的数据。

在步骤905中，处理器120基于传感器数据、缩放信息和关于相对位置的信息，来确定在电子设备运动之后的第二时间点与第二相机320的FOV相对应的第三区域是否位于第一宽图像内。处理器120可以基于传感器数据和缩放信息在电子设备101运动之后的第二时间点预测与第二相机320的FOV相对应的第三区域。例如，处理器120可以基于关于电子设备101的速度变化和关于电子设备101的倾斜度的感测数据，来获取关于电子设备101的运动的信息，即，第一相机310和第二相机320的运动。处理器120可以基于所获取的关于第二相机310的运动的信息、第二相机320的缩放信息以及关于相对位置的信息，来确定在第二时间点预测的第三区域。例如，当第二区域位于第一区域中的左侧部分上时，电子设备101向右移动的情况与电子设备101向左移动的情况相比，处理器可以确定第二区域更可能位于第一区域内。在另一示例中，当第二相机320的放大率对应于高放大率时，处理器120可以确定第二区域的大小小于第一区域。处理器120可以基于第二区域的大小来配置较大的针对电子设备101离开第一区域的运动的阈值。

图10A是示出了根据实施例的电子设备将第二远射图像映射到第一宽图像的识别信息的操作的流程图。电子设备将第二远射图像映射到第一宽图像的识别信息的操作可以对应于图7所示的步骤703。

参照图10A，在步骤1001中，电子设备101的处理器120从图10B的第一宽图像410的识别信息中提取对象的关键点。电子设备101可以基于第一宽图像410提取感兴趣区域，并且基于图10B的所提取的感兴趣区域中的与第二对象332相对应的区域中包括的多个拐角点来提取关键点。

在步骤1003中，电子设备101基于所提取的关键点来生成对象坐标。电子设备101可以基于通过多个拐角点生成的关键点来生成第一宽图像410中包括的第二对象的坐标信息。例如，基于与第一相机310相对应的第一缩放信息，坐标信息可以包括图10B的第一宽图像410上的坐标值。由于图10B的包括相同对象的第二远摄图像440上的坐标值是基于不同的第二缩放信息的，所以坐标值可以变化。

在步骤1005中，电子设备101将所生成的对象坐标与第一宽图像410的与图10B的第二远摄图像440的对象的配置的位置信息相对应的关键点进行匹配。当第一缩放信息和第二缩放信息具有不同的值时，电子设备101可以获取第一缩放信息和第二缩放信息之间的比率，并基于所获取的比率通过计算来调整第二远摄图像440中包括的对象的大小。

在步骤1007中，电子设备101确定关键点的数量是否大于或等于预设数量。在从图10B的第二远摄图像440获取的关键点中，电子设备101可以获取与从图10B的第一宽图像410获取的关键点匹配的关键点的数量。电子设备101可以确定匹配的关键点的数量是否大于或等于预设数量。基于确定结果，可以确定包括在图10B的第一宽图像410中的对象是否与包括在图10B的第二远摄图像440中的对象相同。例如，当匹配关键点的数量小于预设数量时，第一宽图像410的对象和第二远摄图像440的对象彼此不同，使得匹配关键点的数量可以较小。因此，电子设备101可以确定第一宽图像410的对象和第二远摄图像440的对象彼此不同，并且为了获取第二远摄图像440中包括的对象的识别信息，将第二宽图像430发送到服务器108。

在步骤1009中，电子设备101确定图10B的第一宽图像410的对象与图10的第二远摄图像440的对象相同。当匹配关键点的数量大于或等于预设数量时(步骤1007中的“是”)，第一宽图像410的对象和第二远摄图像440的对象彼此相同，因此匹配的关键点数量可以大于预设数量。因此，电子设备101可以确定第一宽图像410的对象与第二远摄图像440的对象相同。此后，为了识别第二远摄图像440的对象，电子设备101可以不将第二宽图像430发送到服务器108。例如，电子设备101可以通过仅将与第二远摄图像440中包括的第二对象332相对应的对象图像和第一宽图像410的第二对象332的类型信息发送给服务器108来获取识别信息。

图11A是示出了根据实施例的电子设备确定第二远摄图像是否包括在第一宽图像的识别信息中的操作的流程。图11A所示的步骤可以对应于图10A所示的步骤1001至步骤1003。

参照图11A，在步骤1101中，电子设备101的处理器120将第一宽图像410和第一远射图像420的坐标进行映射。电子设备101可以基于与属于宽FOV的第一相机310相对应的第一缩放信息和与属于窄FOV的第二相机320对应的第二缩放信息，来确定第一宽图像410和第一远射图像420的大小。例如，当图11B中所示的电子设备上正在显示的预览图像的第一缩放信息对应于1x的放大率时，电子设备101可以确定第一宽图像410的面积是100，并且当图11B中所示的电子设备上正在显示的预览图像的第二缩放信息对应于4x的放大率时，可以确定第一远摄图像420的面积是25。电子设备101可以比较在各个图像内显示的对象，并且将与第一宽图像410相对应的区域的坐标和与第一远摄图像420相对应的区域的坐标进行映射。

在步骤1103中，电子设备101确定第一远摄图像420是否对应于放大状态。电子设备101可以基于与第二相机320相对应的第一缩放信息来确定第一远摄图像420对应于放大状态。当第一远摄图像420不对应于放大状态时，因为不需要基于第一缩放信息和第二缩放信息来考虑放大率差来映射坐标，所以电子设备101可以结束处理。

在步骤1105中，电子设备101通过将第一远摄图像420映射到第一宽图像410来获取第一远摄图像420在第一宽图像410内的坐标信息。当确定第一宽图像410对应于放大状态时，电子设备101可以将第一远摄图像420的坐标映射到第一宽图像410。由于由与广角FOV相对应的第一相机310获取的第一宽图像410对应于放大状态，所以电子设备101可以基于第一宽图像410的放大率来计算坐标信息。

在步骤1107中，电子设备101计算第一远摄图像420的坐标信息。电子设备101可以基于获取的坐标信息来计算对象在第一远摄图像420中所显示的区域的坐标信息。电子设备101可以基于计算出的坐标信息仅提取第一远摄图像420的一些区域，并将所提取的区域发送到服务器108，以接收对象的识别信息。

电子设备101可以包括用于存储指令的存储器、对应于第一FOV的第一相机310、对应于比第一FOV窄的第二FOV的第二相机320、传感器模块176和处理器120。处理器120可以：通过第一相机310获取与对应于第一FOV的第一区域有关的第一图像(例如，第一宽图像410)，该第一图像包括第一对象331和第二对象332；通过第二相机320获取与对应于第二FOV的第二区域有关并包括在第一区域内的第二图像(例如，第一远摄图像420)；基于第一图像(例如，第一宽图像410)和第二图像(例如，第一远射图像420)来获取关于第一区域和第二区域之间的相对位置的第一信息；获取与根据电子设备的运动从第二区域改变而来的第三区域相对应的第三图像(例如，第二远摄图像440)；基于关于电子设备的运动的第二信息和第一信息，识别包括在第三图像(例如，第二远摄图像440)中的第二对象332；基于关于通过获取第一图像(例如，第一宽图像410)而识别的第二对象332的信息来获取关于第二对象332的信息；以及将关于第二对象332的信息存储在存储器中。

处理器可以获取第一图像(例如，第一宽图像410)，并将关于获取的第一图像(例如，第一宽图像410)信息发送到服务器。

可以基于第一信息、第二信息、与第一相机310相对应的第一缩放信息以及与第二相机320相对应的第二缩放信息中的至少一条来确定第三图像(例如，第二远摄图像440)。

处理器120可以提取与第二对象332的区域相对应的对象图像，基于第二对象332的类型来生成第二对象332的识别信息，并且发送所生成的识别信息和所提取的对象图像。

处理器120可以基于第二信息来确定与第一图像(例如，第一宽图像410)的识别信息的生成有关的第一时间段，并确定与将第四图像(例如，第二宽图像430)映射到第一图像(例如，第一宽图像410)有关的第二时间段。

该电子设备可以进一步包括图像识别引擎，该图像识别引擎用于基于第一图像(例如，第一宽图像410)来生成第一识别信息，并且基于第三图像(例如，第二远射图像440)来生成第二识别信息。

传感器模块176可以包括陀螺仪传感器(未示出)和重力传感器。处理器120可以通过陀螺仪传感器获取与第二信息中的旋转有关的信息并通过重力传感器获取第二信息中与竖直运动和水平运动有关的信息。

当第二图像(例如，第一远射图像420)离开第一图像(例如，第一宽图像410)的范围时，处理器可以从第二相机310接收第三图像(例如，第二远射图像440)，并从第三图像生成除第一图像区域以外的区域的识别信息。

第一识别信息可以包括与第一对象331和第二对象332的类型有关的信息，第二识别信息可以包括第二对象332的产品名称、第二对象332的销售地点以及价格对比信息。

可以基于与第一相机310相对应的第一缩放信息和与第二相机320相对应的第二缩放信息来确定映射。

处理器120还可存储对象识别准确度，并基于准确度直接显示对象信息。

处理器120可以基于对象识别准确度来通过第二相机320再次识别对象。

当基于第二信息，运动的范围超过预定范围时，处理器120可以通过第一相机310生成第三图像(例如，第二宽图像430)。

根据本公开的权利要求和/或说明书中所述的实施例的方法可以以硬件、软件或硬件和软件的组合来实现。

当该方法由软件实现时，可以提供用于存储一个或更多个程序(软件模块)的计算机可读存储介质。可以将存储在计算机可读存储介质中的一个或更多个程序配置为由电子设备内的一个或更多个处理器执行。至少一个程序可以包括使电子设备执行根据由所附权利要求限定和/或本文公开的本公开的各种实施例的方法的指令。

程序(软件模块或软件)可以存储在包括随机存取存储器和闪存的非易失性存储器、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、磁盘存储设备、CD-ROM、数字多功能光盘(DVD)或其他类型的光学存储设备或磁带中。可替换地，一些或所有前述存储器的任何组合可以形成其中存储有程序的存储器。此外，在电子设备中可以包括多个这样的存储器。

此外，程序可以存储在可连接的存储设备中，该存储设备可通过通信网络(例如，因特网、内联网、LAN、WAN和存储区域网络(SAN)或其组合)访问。这样的存储设备可以经由外部端口访问电子设备。此外，通信网络上的单独的存储设备可以访问便携式电子设备。

在本公开的上述详细实施例中，包括在本公开中的组件以单数或复数表示。然而，选择单数形式或复数形式是为了便于描述以适合于所呈现的情况，并且本公开的各种实施例不限于其单个元件或多个元件。此外，在说明书中表达的多个元件可以被配置成单个元件，或者在说明书中的单个元件可以被配置成多个元件。

根据本公开，电子设备及其操作方法可以通过使用从广角相机获取的图像的识别信息执行对象识别来减少调用对象识别引擎的时间，从而减少电子设备的负担。

另外，根据本公开的电子设备及其操作方法可以通过使用从广角相机获取的图像的识别信息执行对象识别来减少与服务器交换的数据的消耗，并根据数据传输来减少识别延迟。

尽管已经参考本公开的某些实施例具体地示出和描述了本公开，但是本领域普通技术人员将理解，在不脱离由如所附权利要求书及其等同物所定义的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (15)

1.一种电子设备，所述电子设备包括：

壳体，所述壳体包括第一外表面；

第一成像设备，所述第一成像设备通过所述第一外表面的第一部分暴露并且包括第一FOV，FOV即视场；

第二成像设备，所述第二成像设备通过所述第一外表面的与所述第一部分相邻的第二部分暴露并且包括比所述第一FOV窄的第二FOV；

通信电路；

至少一个处理器，所述至少一个处理器可操作地连接到所述第一成像设备、所述第二成像设备和所述通信电路；以及

存储器，所述存储器可操作地连接到所述处理器，并配置为存储指令，所述指令在被处理器执行时使所述处理器：

通过所述第一成像设备在第一时间点生成包括第一对象和第二对象的第一图像，

通过所述第二成像设备在所述第一时间点，与生成所述第一图像同步地生成包括所述第一对象的第二图像，

通过所述通信电路将所述第一图像和所述第二图像发送到外部服务器，

接收所述第一对象和所述第二对象的对象识别信息，

检测所述电子设备的运动，

通过所述第二成像设备在与所述第一时间点不同的第二时间点生成包括所述第二对象的第三图像，

至少部分地基于所述对象识别信息和检测到的运动，从所述第三图像中提取与所述第二对象相对应的部分区域，所述部分区域小于所述第三图像，以及

通过所述通信电路将所述部分区域和所述对象识别信息发送到所述外部服务器。

2.根据权利要求1所述的电子设备，其中，所述指令在被执行时，进一步使所述处理器：通过所述通信电路从所述外部服务器接收所述第二对象的识别信息。

3.根据权利要求1所述的电子设备，其中，所述指令在被执行时，进一步使所述处理器：在所述第三图像不在所述第一图像的对象识别信息中时，基于所述第一时间点和所述第二时间点的移动信息，通过所述第一成像设备从所述第二时间点生成包括所述第二对象的第四图像。

4.根据权利要求3所述的电子设备，其中，所述指令在被执行时，进一步使所述处理器：基于关于所述电子设备的运动的信息，确定与生成所述第三图像的识别信息有关的第一时间段，并确定与将所述第三图像映射到所述第一图像有关的第二时间段。

5.根据权利要求1所述的电子设备，所述电子设备还包括：图像识别引擎，所述图像识别引擎被配置为基于所述第一图像生成第一识别信息并基于所述第二图像生成第二识别信息。

6.根据权利要求1所述的电子设备，其中，所述指令在被执行时，进一步使所述处理器：存储对象识别准确度并基于所述准确度直接显示对象信息。

7.根据权利要求1所述的电子设备，其中，所述指令在被执行时，进一步使所述处理器：在所述运动的范围超过预定范围时，基于关于所述电子设备的运动的第二信息，通过所述第一成像设备生成第四图像。

8.根据权利要求5所述的电子设备，其中，所述第一识别信息包括与所述第一对象和所述第二对象的类型有关的信息，所述第二识别信息包括关于所述第二对象的产品名称、产品的销售地点和价格对比的信息。

9.一种操作电子设备的方法，所述方法包括：

通过第一成像设备在第一时间点生成包括第一对象和第二对象的第一图像；

通过第二成像设备在所述第一时间点，与生成所述第一图像同步地生成包括所述第一对象的第二图像；

向外部服务器发送所述第一图像和所述第二图像；

从所述外部服务器接收所述第一对象和所述第二对象的对象识别信息；

检测所述电子设备的运动；

通过所述第二成像设备在与所述第一时间点不同的第二时间点生成包括所述第二对象的第三图像；

至少部分地基于所述对象识别信息和检测到的运动从所述第三图像中提取与所述第二对象相对应的部分区域，所述部分区域小于所述第三图像；以及

向所述外部服务器发送所述部分区域和所述对象识别信息，

其中，所述第一成像设备包括第一FOV，所述第二成像设备包括比所述第一FOV窄的第二FOV，FOV即视场。

10.根据权利要求9所述的方法，所述方法还包括：从所述外部服务器接收所述第二对象的识别信息。

11.根据权利要求9所述的方法，所述方法还包括：当所述第三图像不在所述第一图像的所述对象识别信息中时，基于所述第一时间点和所述第二时间点的运动信息，通过所述第一成像设备从所述第二时间点生成包括所述第二对象的第四图像。

12.根据权利要求9所述的方法，所述方法还包括：

基于关于所述电子设备的运动的信息，确定与生成所述第三图像的识别信息有关的第一时间段；以及

确定与将所述第三图像映射到所述第一图像有关的第二时间段。

13.根据权利要求9所述的方法，所述方法还包括：

基于所述第一图像生成第一识别信息；以及

基于所述第二图像生成第二识别信息。

14.根据权利要求9所述的方法，所述方法还包括：

存储对象识别准确度；以及

基于所述对象识别准确度直接显示对象信息。

15.根据权利要求9所述的方法，所述方法还包括：

当所述运动的范围超过预定范围时，基于关于所述电子设备的运动的第二信息，通过所述第一成像设备生成第四图像。