CN109756763A - 用于基于优先级处理图像的电子装置及其操作方法 - Google Patents

用于基于优先级处理图像的电子装置及其操作方法 Download PDF

Info

Publication number
CN109756763A
CN109756763A CN201811275193.6A CN201811275193A CN109756763A CN 109756763 A CN109756763 A CN 109756763A CN 201811275193 A CN201811275193 A CN 201811275193A CN 109756763 A CN109756763 A CN 109756763A
Authority
CN
China
Prior art keywords
electronic device
external
image
original image
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811275193.6A
Other languages
English (en)
Other versions
CN109756763B (zh
Inventor
李勇周
金哉坤
任娜里
黄珉哲
朴智允
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109756763A publication Critical patent/CN109756763A/zh
Application granted granted Critical
Publication of CN109756763B publication Critical patent/CN109756763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

提供一种电子装置，其包括相机、通信模块、显示器和处理器。处理器可被配置为通过使用相机获取一个或多个外部对象的原始图像，通过将原始图像分割成与一个或多个外部对象相对应的多个区域来识别一个或多个外部对象，基于一个或多个外部对象中的至少一个感兴趣对象为多个区域中的至少一个部分区域确定优先级，根据优先级将对应于至少部分区域的数据发送到外部电子装置，使得外部电子装置生成用于至少部分区域的图像处理信息，并且经由显示器显示通过使用图像处理信息根据优先级顺序地校正了至少部分区域的原始图像。

Description

用于基于优先级处理图像的电子装置及其操作方法
技术领域
本公开一般涉及通过使用外部电子装置处理图像的电子装置及其操作方法。
背景技术
随着诸如智能电话之类的便携式电子装置的性能的逐渐提高，电子装置正在提供各种服务，包括诸如电话呼叫和发送文本消息之类的基本服务，还有诸如图像/视频服务之类的多媒体服务。
为了提供多媒体服务，电子装置可通过使用图像信号处理器(ISP)处理通过图像传感器获取的原始图像。
发明内容
图像处理云服务可以为在电子装置中执行图像处理提供增加的效率。云服务可基于可能难以在电子装置上执行的诸如图像匹配的图像处理技术来提供高质量图像。
因此，电子装置可将图像发送到云服务器以提供高质量图像。云服务器可通过使用基于所接收图像生成的图像处理信息来向电子装置提供高质量图像。然而，图像处理时间可能根据多个用户所使用的云服务器的网络环境而被延迟，从而导致电子装置和云服务器之间的数据传输速率降低。
本公开旨在解决上述问题和缺点，并且至少提供下面描述的优点。
根据本公开的一方面，一种电子装置包括：相机；通信模块；显示器；以及处理器。处理器可被配置为通过使用相机获取一个或多个外部对象的原始图像，通过使用原始图像识别一个或多个外部对象，将原始图像分割成与一个或多个外部对象相对应的多个区域，基于一个或多个外部对象中的至少一个感兴趣对象确定多个区域中的至少部分区域的优先级，根据优先级将与至少部分区域对应的数据发送到外部电子装置，使得外部电子装置生成针对至少部分区域的图像处理信息，并且经由显示器显示通过使用图像处理信息根据优先级顺序地校正了至少部分区域的所述原始图像。
根据本公开的另一方面，一种操作电子装置的方法包括：通过使用相机获取一个或多个外部对象的原始图像，通过使用原始图像识别一个或多个外部对象，将原始图像分割成与一个或多个外部对象相对应的多个区域，基于一个或多个外部对象中的至少一个感兴趣对象确定多个区域中的至少部分区域的优先级，根据优先级将与至少部分区域对应的数据发送到外部电子装置，使得外部电子装置生成针对至少部分区域的图像处理信息，并且经由显示器显示通过使用图像处理信息根据优先级顺序地校正了至少部分区域的所述原始图像。
附图说明
通过以下结合附图的描述，本公开的某些实施例的以上和其他方面、特征和优点将更加明显，其中：
图1是根据一个实施例的网络环境中的电子装置的框图。
图2A是根据一个实施例的相机模块的框图；
图2B示出了根据一个实施例的电子装置和外部电子装置的操作的概念示意图；
图3是根据一个实施例的电子装置和外部电子装置的操作的流程图；
图4是根据一个实施例的电子装置的操作的流程图；
图5是根据一个实施例的用于在电子装置中显示改善的图像的流程图；
图6是根据一个实施例的电子装置和外部电子装置的操作的流程图；
图7是根据一个实施例的电子装置的操作的流程图；
图8是根据一个实施例的电子装置的操作的图示；
图9是根据一个实施例的用于在电子装置中选择感兴趣对象的流程图；
图10是根据一个实施例的用于在电子装置中选择感兴趣对象的图示；
图11是根据一个实施例的用于在电子装置中发送附加信息的流程图；
图12是根据一个实施例的用于在电子装置中发送与用户级别相对应的数据的流程图；
图13是根据一个实施例的外部电子装置的操作的流程图；
图14是根据一个实施例的电子装置和外部电子装置的操作的流程图；
图15是根据一个实施例的电子装置的操作的流程图；和
图16是根据一个实施例的外部电子装置的操作的流程图。
具体实施例
参考附图描述本公开的各种实施例。然而，本公开的各种实施例不限于特定实施例，并且应当理解，可以不同地进行本文描述的实施例的修改、等同和/或替代。关于附图的描述，类似的部件可以用类似的附图标号标记。
图1是示出根据实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标或键盘。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，AP)独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括一个天线，该天线包括辐射元件，辐射元件由导电材料或形成在衬底(例如，PCB)中或衬底上的导电图案构成。根据一个实施例，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据一个实施例，除了辐射元件之外的另一部件(例如，射频集成电路(RFIC))可以附加地形成为天线模块197的一部分。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图2A是示出根据实施例的相机模块180的框图200。参照图2A，相机模块180可包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或图像信号处理器260。镜头组件210可采集从将被拍摄图像的物体发出或反射的光。镜头组件210可包括一个或更多个透镜。相机模块180可包括多个镜头组件210。在这种情况下，相机模块180可形成例如双相机、360度相机或球形相机。多个镜头组件210中的一些镜头组件210可具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学变焦)，或者至少一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或更多个镜头属性。镜头组件210可包括例如广角镜头或长焦镜头。
闪光灯220可发光，其中，发出的光用于增强从物体反射的光。根据实施例，闪光灯220可包括一个或更多个发光二极管(LED)(例如，红绿蓝色(RGB)LED、白色LED、红外(IR)LED或紫外(UV)LED)或氙灯。图像传感器230可通过将从物体发出或反射并经由镜头组件210透射的光转换为电信号来获取与物体相应的图像。图像传感器230可包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如，RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器230中的每个图像传感器。
图像稳定器240可沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个透镜，或者响应于相机模块180或包括相机模块180的电子装置101的移动来控制图像传感器230的可操作属性(例如，调整读出时序)。这样，允许补偿由于正被捕捉的图像的移动而产生的负面效果(例如，图像模糊)的至少一部分。图像稳定器240可使用布置在相机模块180之内或之外的陀螺仪传感器或加速度传感器来感测相机模块180或电子装置101的这样的移动。可将图像稳定器240实现为例如光学图像稳定器。
存储器250可至少暂时地存储经由图像传感器230获取的图像的至少一部分以用于后续的图像处理任务。例如，如果快速捕捉了多个图像或者由于快门时滞而导致图像捕捉延迟，则可将获取的原始图像(例如，拜耳图案图像、高分辨率图像)存储在存储器250中，并且可经由显示装置160来预览其相应的副本图像(例如，低分辨率图像)。然后，如果满足了指定的条件(例如，通过用户的输入或系统命令)，则可由例如图像信号处理器260来获取和处理存储在存储器250中的原始图像的至少一部分。根据实施例，可将存储器250配置为存储器130的至少一部分，或者可将存储器250配置为独立于存储器130进行操作的分离的存储器。
图像信号处理器260可对经由图像传感器230获取的图像或存储在存储器250中的图像执行一个或更多个图像处理。所述一个或更多个图像处理可包括例如深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。另外或可选地，图像信号处理器260可对包括在相机模块180中的部件中的至少一个部件(例如，图像传感器230)执行控制(例如，曝光时间控制或读出时序控制)。可将由图像信号处理器260处理的图像存储回存储器250以用于进一步处理，或者可将该图像提供给在相机模块180之外的外部部件(例如，存储器130、显示装置160、电子装置102、电子装置104或服务器108)。根据实施例，可将图像信号处理器260配置为处理器120的至少一部分，或者可将图像信号处理器260配置为独立于处理器120进行操作的分离的处理器。如果将图像信号处理器260配置为与处理器120分离的处理器，则可由处理器120经由显示装置160将由图像信号处理器260处理的至少一个图像按照其原样显示，或者可将所述至少一个图像在被进一步处理后进行显示。
根据实施例，电子装置101可包括具有不同属性或功能的多个相机模块180。在这种情况下，所述多个相机模块180中的至少一个相机模块180可形成例如广角相机，并且所述多个相机模块180中的至少另一个相机模块180可形成长焦相机。类似地，所述多个相机模块180中的至少一个相机模块180可形成例如前置相机，并且所述多个相机模块180中的至少另一个相机模块180可形成后置相机。
图2B示出了根据一个实施例的电子装置和外部电子装置的操作的概念示意图。
参考图2B，电子装置(例如，图1的电子装置101)包括图像传感器230、ISP 260和存储器130。外部电子装置201(例如，图1的电子装置102、图1的电子装置104或图1的服务器108)包括识别模块202、ISP 204和存储装置206。识别模块202可以是逻辑模块，并且可实现为外部电子装置201的处理器。ISP 204也可实现为外部电子装置201的处理器。例如，外部电子装置201的处理器可执行识别和图像处理。电子装置101可包括能够相对于外部电子装置201发送和接收数据的通信模块190。外部电子装置201可包括能够相对于电子装置101发送和接收数据的通信模块。
图像传感器230(例如，图1的相机模块180)可获取外部对象的图像，并且可生成与其对应的原始图像231。图像传感器230可将原始图像231转发到ISP 260。图像传感器230可生成小原始图像232并经由通信模块将其发送到外部电子装置201。可替换地，作为图像传感器230的替代，电子装置101的处理器120可生成小原始图像232并且经由通信模块190将所生成的小原始图像232发送到外部电子装置201。图像传感器230可以将原始图像231以压缩状态发送到ISP 260或外部电子装置201。原始图像231可以被压缩并存储在图像传感器230内的存储器中，从而能够处理原始图像231的一部分。外部电子装置201的识别模块202可经由通信模块获取小原始图像232，并且可以从小原始图像232分割至少一个图像区域。识别模块202可以识别作为因分割而被划分的至少一个图像区域。可生成与从识别模块202生成的多个图像区域相关联的信息。例如，该信息可以是包括图像区域的识别结果和坐标信息中的至少一个的校正区域信息203。校正区域信息203可以被发送到电子装置101。ISP260可通过使用校正区域信息203来校正原始图像231，从而生成校正后的原始图像205。校正后的图像205可具有例如YUV格式(例如，YCbCr格式)。校正后的图像205可以存储在存储器130中。可替换地，可以例如根据联合图像专家组(JPEG)方案压缩校正后的图像205，并且可将压缩的图像存储在存储器130中。
从图像传感器230提供的原始图像231可以与小原始图像232分开地发送到外部电子装置201。由于原始图像231在容量上大于小原始图像232，所以小原始图像232可以首先被发送到外部电子装置201，随后原始图像231被发送到外部电子装置201。例如，小原始图像232可发送到外部电子装置201，同时ISP 260对原始图像231执行校正。原始图像231可以以由图像传感器230生成的完整方式上载到外部电子装置201，或者可以更新经过镜头失真补偿或噪声消除的预处理图像。
可以在外部电子装置201中执行上述预处理。外部电子装置201可以执行去马赛克处理或图像格式转换，或者可以执行用于提高图像识别率的预处理。外部电子装置201的ISP 204可以校正接收到的原始图像231。外部电子装置201可使用先前生成的校正区域信息203来校正原始图像231，或者可通过使用扩展的校正区域信息来校正原始图像231。原始图像231可以具有比小原始图像232更高的质量。因此，外部电子装置201的ISP 204可以从高质量图像获取更具体的扩展的校正区域信息。ISP 204可一同使用先前生成的校正区域信息和原始图像231来生成扩展的校正区域信息。ISP 204可使用扩展的校正区域信息来校正原始图像231，从而获取高质量图像205。高质量图像205可以存储在外部电子装置201的存储装置206中，并且可被下载至电子装置101。
电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。电子装置不限于上述那些。
根据一个实施例，电子装置可包括相机；通信模块；显示器；和处理器。处理器可被配置为通过使用相机获取一个或多个外部对象的原始图像，通过使用原始图像识别一个或多个外部对象，将原始图像分割成与一个或多个外部对象对应的多个区域，基于一个或多个外部对象中的至少一个感兴趣对象确定多个区域中的至少部分区域的优先级，根据优先级将对应于至少部分区域的数据发送到外部电子装置，使得外部电子装置生成针对至少部分区域的图像处理信息，并且经由显示器显示通过使用图像处理信息根据优先级顺序地校正了至少部分区域的原始图像。
根据一个实施例，处理器还可被配置为在显示原始图像的同时接收与多个区域中的、原始图像的不同部分区域相对应的附加图像处理信息，通过使用附加图像处理信息来校正原始图像的不同部分区域，并显示不同部分区域被校正过的原始图像。
根据一个实施例，处理器还可被配置为附加地基于与外部电子装置的通信环境来确定与至少部分区域相对应的数据的传输顺序。
根据一个实施例，处理器还可被配置为经由通信模块来接收由外部电子装置使用图像处理信息生成的校正后的原始图像。
根据一个实施例，处理器还可被配置为通过使用图像处理信息根据优先级顺序地校正至少部分区域。
根据一个实施例，处理器还可被配置为基于以下中的至少一种来选择感兴趣对象：从原始图像检测的一个或多个外部对象的速度、一个或多个外部对象的捕捉频率、一个或多个外部对象的移动、一个或多个外部对象的大小、一个或多个外部对象的用户偏好，一个或多个外部对象的图像处理时间以及一个或多个外部对象中的受到焦点调整的其他对象。
根据一个实施例，处理器还可被配置为确定电子装置的移动变化是否小于电子装置的参考变化，如果电子装置的移动变化小于参考变化，则识别外部对象，基于所识别的外部对象确定外部对象的移动变化是否小于参考变化，并且如果外部对象的移动变化小于参考变化，则选择感兴趣的对象。
根据一个实施例，处理器还可被配置为根据优先级将与至少部分区域相对应的数据发送到外部电子装置，使得外部电子装置在原始图像被捕捉之前生成针对至少部分区域的图像处理信息。
根据一个实施例，处理器还可被配置为在原始图像被捕捉之后经由通信模块接收由外部电子装置通过使用图像处理信息生成的校正后的原始图像。
根据一个实施例，处理器可被配置为在原始图像被捕捉之后通过使用图像处理信息根据优先级顺序地校正至少部分区域。
图3是根据一个实施例的电子装置和外部电子装置的操作的流程图。
电子装置可包括图1的电子装置101或电子装置101的至少一部分(例如，处理器120)。此外，外部电子装置可包括图1的电子装置102、图1的电子装置104、图1的服务器108或图2的外部电子装置201。
参考图3，在操作303中，电子装置301通过经由相机(例如，图1的相机模块180)捕捉原始图像来执行原始图像获取和识别。例如，处理器120可将对象识别算法或纹理识别算法应用于所获取的原始图像以识别外部对象。另外，处理器120可基于外部对象将原始图像分割成多个区域。另外，处理器120可以在外部对象中选择至少一个感兴趣对象，并且可以识别与多个区域中的与至少一个感兴趣对象相对应的至少部分区域。
在操作305中，电子装置301确定原始图像的至少部分区域的优先级。例如，处理器120可以确定与原始图像中所包括的多个区域中的与至少一个感兴趣对象相对应的部分区域的优先级。
在操作307中，电子装置301基于所确定的优先级将与部分区域相对应的数据发送到外部电子装置302。例如，对应于部分区域的数据可包括以下中的至少一种：与部分区域对应的图像、感兴趣对象的位置信息、感兴趣对象的方向信息、捕捉位置信息、捕捉时间信息、视角信息以及电子装置301的旋转信息。
根据一个实施例，电子装置301可基于与外部电子装置302的通信环境来确定与至少部分区域相对应的数据的传输顺序。例如，当根据通信环境延迟数据传输速率时，电子装置301可以首先发送与具有少量数据的部分区域相对应的数据。
在操作309中，外部电子装置302基于与部分区域相对应的数据生成图像处理信息。例如，图像处理信息可包括以下中的至少一种：自动曝光信息、改善的自动白平衡信息、改善的自动聚焦信息、改善的对象识别信息以及改善的深度图信息。
在操作311中，外部电子装置302将图像处理信息发送到电子装置301。例如，外部电子装置302可经由通信接口(例如，图1的通信模块190)将所生成的图像处理信息发送到电子装置301。
在操作313中，电子装置301校正至少部分区域。例如，处理器120可基于所接收的图像处理信息校正原始图像的至少部分区域。
在操作315中，电子装置301显示改善的图像。例如，处理器120可经由显示装置160显示与至少部分区域被校正过的原始图像相对应的改善图像。
根据一个实施例，电子装置301和外部电子装置302可以重复执行操作307至315。例如，电子装置301和外部电子装置302可以顺序地处理多个部分区域中的每一个。
在操作317中，电子装置301发送与低优先级相对应的数据。例如，对应于低优先级的数据可以是多个区域中的一个不同部分区域。该不同部分区域可以是与对应于高优先级并因此已经被处理的部分区域相比具有较低优先级的区域。即使在发送了与低优先级相对应的数据之后，电子装置301也可以发送与下一个优先级相对应的数据。可以根据所确定的优先级发送与每个优先级相对应的数据(例如，部分区域)。
在操作319中，外部电子装置302生成附加图像处理信息。例如，附加图像处理信息可以是与多个部分区域中的一个不同部分区域相对应的不同图像处理信息。外部电子装置302可基于与低优先级相对应的数据生成附加图像处理信息。另外，外部电子装置302可通过使用已经被处理的图像处理信息来生成附加图像处理信息。即使在生成附加图像处理信息之后，外部电子装置302也可基于与下一个优先级相对应的数据生成下一个(例如，后续的)附加图像处理信息。例如，外部电子装置302可以顺序地和重复地生成用于校正与每个优先级相对应的数据(例如，部分区域)的图像处理信息。
根据一个实施例，作为分析对应于低优先级的数据的结果，外部电子装置302可以确定不需要图像质量改善，并且可以不生成附加图像处理信息。
在操作321中，外部电子装置302将附加图像处理信息发送到电子装置301。例如，外部电子装置302可以顺序地向电子装置301发送用于校正与每个优先级对应的数据(例如，部分区域)的多条图像处理信息。
在操作323中，电子装置301校正与低优先级相对应的不同部分区域。例如，处理器120可通过使用不同图像处理信息额外地校正原始图像的不同部分区域。处理器120可以校正对应于低优先级的不同部分区域，然后校正对应于下一个优先级的部分区域。例如，处理器120可以顺序地校正与各个优先级对应的多个部分区域。
在操作325中，电子装置301显示附加改善图像。例如，处理器120可以顺序地显示与每个优先级相对应的部分区域被校正过的附加改善图像。在经由图1的显示装置160显示与低优先级相对应的部分区域被较正过的附加改善图像之后，处理器120可以显示与下一个优先级相对应的部分区域被校正过的附加改善图像。也就是说，处理器120可以顺序地显示多个附加改善图像。例如，接下来要显示的附加改善图像可以是通过先前显示的附加改善图像的累积校正而获取的图像。因此，在顺序显示的附加改善图像中，最后显示的附加改善图像可以是具有最佳图像质量的图像。
根据一个实施例，电子装置301和外部电子装置302可以重复执行操作317至325。例如，电子装置301和外部电子装置302可基于优先级顺序地校正多个部分区域，并且可以顺序地显示经过校正的附加改善图像。
在操作327中，在确定原始图像的图像质量改善完成时，电子装置301存储经过原始图像的图像质量改善的最终图像。另外，在操作329中，与电子装置301相关联的外部电子装置302从电子装置301接收最终图像并存储所接收的最终图像。
根据一个实施例，可以在外部电子装置302中执行校正原始图像的操作。例如，外部电子装置302可以分别基于图像处理信息和附加图像处理信息生成改善图像和附加改善图像。
根据一个实施例，校正原始图像的操作可以在电子装置301和外部电子装置302中一起执行。可以在电子装置301中执行生成改善图像的操作，并且可以在外部电子装置302中执行改善附加改善图像的操作。另一方面，可以在外部电子装置302中执行生成改善图像的操作，并且可以在电子装置301中执行改善附加改善图像的操作。
下面将参考图4和图5详细描述电子装置301的图像处理操作。
图4是根据一个实施例的电子装置的操作的流程图。电子装置可包括图1的电子装置101、图3的电子装置301或电子装置101的至少一部分(例如，处理器120)。此外，外部电子装置可包括图1的电子装置102、图1的电子装置104、图1的服务器108、图2的外部电子装置201或图3的外部电子装置302。
参考图4，在操作401中，电子装置301通过经由图1的相机模块180捕捉图像来获取包括一个或多个外部对象的原始图像。原始图像可以是未经过图像处理的图像。
在操作403中，电子装置301通过使用原始图像识别一个或多个外部对象。例如，处理器120可通过将对象识别算法或文本识别算法应用于所获取的原始图像来识别外部对象。处理器120可通过使用各种识别算法识别至少一个图像区域，并且可通过使用通过机器学习或深度学习获得的识别算法来识别一个或多个外部对象。处理器120可基于所识别的一个或多个外部对象将原始图像分割成多个区域。多个区域可以是可通过围绕一个或多个外部对象中的每一个的轮廓分割的区域。
在操作405中，电子装置301基于至少一个感兴趣对象确定多个区域中的部分区域的优先级。例如，电子装置301可以从一个或多个外部对象中选择至少一个感兴趣对象。感兴趣对象可包括在多个区域中的至少部分区域中。感兴趣对象可通过考虑以下要素中的至少一个来确定：从原始图像检测到的外部对象的速度、外部对象的捕捉频率、外部对象的大小、基于存储在外部电子装置302中的用户数据库检测到的外部对象的用户偏好、外部对象的图像处理时间以及外部对象中的经过焦点调整的对象。例如，处理器120可基于从外部电子装置302接收的用户配置或数据库信息来确定用于选择感兴趣对象的至少一个要素。从外部电子装置302接收的数据库信息可包括以下中的至少一个：外部对象的捕捉频率、外部对象的用户偏好以及外部对象的图像处理时间。
根据一个实施例，处理器120可通过考虑用于选择感兴趣对象的要素中的任何一个来选择感兴趣对象。例如，处理器120可基于外部对象的检测速度仅选择具有大于或等于阈值速度的检测速度的外部对象。检测速度可以是通过原始图像检测到的外部对象的移动速度。另外，处理器120可检测外部对象的移动并且选择检测到的移动小于或等于阈值的外部对象作为感兴趣对象。
另外，处理器120可通过考虑用于选择感兴趣对象的一个或多个要素来选择感兴趣对象。例如，处理器120可基于外部对象的检测速度选择对象A作为感兴趣对象，或者可基于用户偏好选择对象B作为感兴趣对象。
处理器120可通过考虑图像处理时间来选择感兴趣对象。例如，当多个外部对象对应于感兴趣对象时，处理器120可通过考虑图像处理时间将被延迟来仅选择多个外部对象中的一些作为感兴趣对象。处理器120可以不选择需要很长时间进行图像处理的外部对象。处理器120可以选择需要短时间进行图像处理的外部对象作为感兴趣对象。根据一个实施例，基于用于选择感兴趣对象的要素的部分区域的优先级可以暗示用于处理至少一个感兴趣对象的优先级。
处理器120可通过优先考虑要被选择为感兴趣对象的要素中的至少一个或多个来确定优先级。例如，较之用户偏好，处理器120可以优先考虑对象的检测速度(例如，具有更高的优先级)，并且可将基于检测速度被选择为感兴趣对象的对象A的优先级设置为高于基于用户偏好被选择为感兴趣对象的对象B的优先级。
根据一个实施例，当基于要被选择为感兴趣对象的要素中的任何一个来选择感兴趣对象时，处理器120可以根据与该一个要素相对应的值来确定优先级。例如，处理器120可以选择具有比阈值速度更高的检测速度的对象C和D，并且可将具有更高检测速度的对象C的优先级设置为比对象D的优先级高。
在操作407，电子装置301根据优先级将对应于至少部分区域的数据发送到外部电子装置302，使得外部电子装置302生成至少部分区域的图像处理信息。例如，处理器120可以根据确定的优先级经由图1的通信模块190将对应于部分区域的多条数据顺序地发送到外部电子装置302。处理器120可以首先经由通信模块190向外部电子装置302发送与包括具有最高优先级的感兴趣对象的部分区域相对应的数据，然后可以经由通信模块190将与包括对应于较低优先级的感兴趣对象的部分区域相对应的数据发送到外部电子装置302。
根据一个实施例，处理器120可基于关于外部电子装置302的通信环境来确定与一个或多个部分区域相对应的数据的传输顺序。当根据外部电子装置302的通信环境减小数据传输速度时，处理器120可以首先发送与具有少量数据的部分区域相对应的数据。
在操作409中，电子装置301使用图像处理信息来显示包括根据优先级顺序校正后的至少部分区域的改善图像。例如，处理器120可以顺序地校正多个部分区域，并且可以在显示装置160上显示部分区域被校正过的改善图像。
根据一个实施例，电子装置301可以在显示改善图像的同时接收与多个区域中的不同部分区域(例如，第一部分区域)相对应的附加图像处理信息。电子装置301可通过使用附加图像处理信息来校正原始图像的不同部分区域。另外，电子装置301可以显示不同部分区域(例如，第二部分区域)被附加校正过的附加改善图像。例如，电子装置301可以显示与低优先级相对应的部分区域被校正过的改善图像，随后可以显示与下一个优先级相对应的部分区域被校正过的附加改善图像。电子装置301可基于一个或多个优先级顺序地校正多个部分区域，并且可以顺序地显示多个部分区域被顺序校正的附加改善图像。下面将参考图5详细描述显示改善图像的操作。
图5是根据一个实施例的用于在电子装置中显示改善图像的流程图。电子装置可包括图1的电子装置101、图3的电子装置301或电子装置101的至少一部分(例如，处理器120)。此外，在下面的描述中，外部电子装置可包括图1的电子装置102、图1的电子装置104、图1的服务器108、图2的外部电子装置201或者图3的外部电子装置302。
参考图5，在操作501中，电子装置301存储改善的图像。例如，处理器120可将包括顺序校正后的部分区域的改善图像顺序存储到电子装置301(例如，存储器130)中。每当一个部分区域被校正时，处理器120可通过应用它来存储改善的图像。或者，处理器120可将包括以特定时段校正的部分区域的改善图像存储到存储器130中。
在操作503中，电子装置301执行图像应用。例如，处理器120基于用户的输入执行图像应用(例如，图库)。
在操作505中，电子装置301显示改善的图像。例如，在检测到用于从被执行应用程序中选择改善图像的用户输入时，处理器120可以在图1的显示装置160上显示改善图像。
在操作507中，电子装置301确定是否检测到附加校正。例如，处理器120可以在显示改善图像的同时检测多个区域中的不同部分区域的校正。不同部分区域可以是尚未经过图像处理并且对应于低优先级的区域。
如果没有检测到附加校正，则电子装置301返回到先前的程序并且可以显示改善图像。或者，电子装置301可以结束显示改善图像的操作。
如果检测到附加校正，则进行到操作509，电子装置301显示附加改善图像。例如，处理器120可以用附加改善图像替换当前正被显示的改善图像，并且可通过图像应用显示附加改善图像。可替换地，处理器120可将附加改善图像与改善图像一起显示。
根据一个实施例，电子装置301可以重复执行操作507和509。例如，电子装置301可以显示与低优先级对应的部分区域被校正过的附加改善图像，或者可以用与下一个优先级相对应的部分区域被校正过的附加改善图像替换当前正被显示的附加改善图像。
从原始图像获取具有改善图像质量的最终图像的操作可包括：经由显示器正在显示经由相机临时获取的原始图像的预览操作、外部电子装置201中的对获取的原始图像的图像处理操作，以及电子装置101中的对捕捉原始图像的图像处理操作。预览操作可以是用户通过将相机聚焦在要捕捉的外部对象上来准备捕捉图像的操作。
下面参考图6至图16详细描述生成图像处理信息的操作以用于准备预览操作。下面参考图6至图16描述在电子装置中校正原始图像的操作。下面参考图14至图16描述由外部电子装置校正原始图像的操作。
图6是根据一个实施例的电子装置和外部电子装置的操作的流程图。电子装置可包括图1的电子装置101、图3的电子装置301或者电子装置101的至少一部分(例如，处理器120)。此外，在下面的描述中，外部电子装置可包括图1的电子装置102、图1的电子装置104、图1的服务器108、图2的外部电子装置201或者图3的外部电子装置302。
参考图6，在操作603中，电子装置601经由图1的相机模块180在预览期间获取并识别原始图像。例如，处理器120可以从在预览期间获取的原始图像中识别一个或多个外部对象。另外，处理器120可基于一个或多个外部对象将原始图像分割成多个区域。此外，处理器120可以在一个或多个外部对象中选择至少一个感兴趣对象。另外，处理器120可以识别与至少一个感兴趣对象相对应的至少一个部分区域。
在操作605中，电子装置601将与原始图像的至少部分区域相对应的数据发送到外部电子装置602。与部分区域相对应的数据可包括以下中的至少一个：与部分区域对应的图像、感兴趣对象的位置信息、感兴趣对象的方向信息、捕捉位置信息、捕捉时间信息、视角信息和电子装置601的旋转信息。
在操作607中，外部电子装置602基于与部分区域对应的数据绘制虚拟图像。例如，外部电子装置602可以在预览之前绘制虚拟图像以生成用于改善部分区域的图像质量的图像处理信息。绘制的虚拟图像可以具有与对应于部分区域的感兴趣对象的相似性，并且可以具有一些差异。
在操作609中，外部电子装置602发送基于与部分区域对应的数据生成的图像处理信息。图像处理信息可包括绘制的虚拟图像。另外，图像处理信息可包括以下中的至少一种：自动曝光信息、改善的自动白平衡信息、改善的自动聚焦信息、改善的对象识别信息和改善的深度图信息。
在操作611中，电子装置601捕捉原始图像。例如，处理器120可通过使用相机模块180来检测用户的捕捉输入，并且可基于检测到的捕捉输入来捕捉原始图像。
在操作613中，在捕捉原始图像时，电子装置601将捕捉信息发送到外部电子装置602。捕捉信息可包括与在捕捉原始图像时获取的原始图像的至少一部分有关的信息，或者可包括与在捕捉原始图像之前和之后原始图像的变化有关的信息。
在操作615中，电子装置601组合原始图像和虚拟图像。例如，处理器120可通过组合所捕捉的原始图像和从外部电子装置602接收的虚拟图像来生成改善图像。
在操作617中，电子装置601显示改善图像。改善图像可以是与高优先级对应的部分区域被校正过的图像。
在操作619中，外部电子装置602生成附加图像处理信息。例如，外部电子装置可生成与对应于低优先级的不同部分区域相对应的附加图像处理信息。外部电子装置602可生成与尚未被绘制且对应于低优先级的部分区域相对应的附加图像处理信息。外部电子装置602可基于与在捕捉原始图像之前和之后原始图像的变化有关的信息来生成附加图像处理信息。另外，外部电子装置602可生成用于校正与下一个最低优先级对应的部分区域的附加图像处理信息。例如，外部电子装置602可以根据确定的优先级顺序地生成多条附加图像处理信息。
根据一个实施例，作为分析与不同部分区域相对应的数据的结果，外部电子装置602可以确定不需要图像质量改善，并且可以不生成附加的图像处理信息。在这种情况下，可以省略生成附加改善图像的操作，并且可将对应于感兴趣对象的部分区域被完全校正的改善图像存储为最终图像。
在操作621中，外部电子装置602将附加图像处理信息发送到电子装置601。附加图像处理信息可包括与尚未被绘制并且对应于低优先级的部分区域相对应的附加虚拟图像。例如，即使在与低优先级相对应的附加图像处理信息被发送之后，外部电子装置602也可以发送与下一个优先级相对应的附加图像处理信息。例如，外部电子装置602可以根据确定的优先级顺序地发送与各个优先级对应的多条附加图像处理信息。
在操作623中，电子装置601组合改善图像和附加虚拟图像。例如，每当接收到附加图像处理信息时，处理器120可以顺序地组合改善图像和附加虚拟图像。
在操作625中，电子装置601显示附加改善图像。例如，处理器120可以顺序地显示与每个优先级对应的部分区域被校正过的附加改善图像。在显示与低优先级对应的部分区域被校正过的附加改善图像之后，处理器120可以显示与下一优先级对应的部分区域被校正过的附加改善图像。接下来要显示的附加改善图像可以是通过先前显示的附加改善图像的累积校正而获取的图像。因此，在顺序显示的附加改善图像中，最后显示的附加改善图像可以是附加改善图像中具有最佳图像质量的图像。
在操作627中，在确定原始图像的图像质量改善完成时，电子装置601存储经过原始图像的图像质量改善的最终图像。另外，在操作629中，与电子装置601相关联的外部电子装置602还从电子装置601接收最终图像并存储所接收的最终图像。
即使在存储最终图像之后，外部电子装置602也可以附加地改善最终图像的图像质量。外部电子装置602可将附加地改善了图像质量的最终图像发送到电子装置601。
根据一个实施例，可以重复执行电子装置601的操作605和外部电子装置602的操作607和609。例如，电子装置601可以根据优先级顺序地将对应多个部分区域的数据发送到外部电子装置602，并且外部电子装置602可以将分别对应多个部分区域的多条图像处理信息发送到电子装置601。
电子装置601可以通过考虑图像处理时间在捕捉原始图像之前将与多个部分区域对应的数据的全部或一部分发送到外部电子装置602。在在捕捉原始图像之前仅发送与多个部分区域对应的数据的一部分情况下，电子装置601可以在捕捉原始图像之后顺序地或同时地将与未发送的部分区域相对应的数据发送到外部电子装置602。
根据一个实施例，电子装置601和外部电子装置602可以重复执行操作619至625。例如，电子装置601可通过根据多条图像处理信息顺序地组合原始图像和虚拟图像来顺序地生成和显示改善图像。
下面将参考图7和图12描述电子装置601的图像处理操作，并且下面将参考图13描述外部电子装置602的图像处理操作。
图7是根据一个实施例的电子装置的操作的流程图。图8是根据一个实施例的电子装置的操作的图示。电子装置可包括图1的电子装置101、图3的电子装置301、图6的电子装置601或电子装置101的至少一部分(例如，处理器120)。此外，在下面的描述中，外部电子装置可包括图1的电子装置102、图1的电子装置104、图2的外部电子装置201、图3的外部电子装置302或图6的外部电子装置602。
图4的操作409将在下面参考图7描述。当图7的电子装置的操作与图4的电子装置的操作相同时，将省略其描述以避免冗余。
参考图8，电子装置601可以在预览期间获取包括一个或多个外部对象的原始图像801。电子装置601可使用原始图像801来识别一个或多个外部对象，并且可基于一个或多个外部对象将原始图像分割成多个区域。例如，如图8所示，可以识别包括在原始图像801中的对象，并且对象可以是第一人物对象802、第二人物对象803、椅子对象804、树对象805或云对象806。多个区域可以是围绕第一人物对象802、第二人物对象803、椅子对象804、树对象805和云对象806中的每一个的区域。
电子装置601可以在一个或多个外部对象中选择至少一个感兴趣对象。例如，处理器120可通过仅考虑用于选择感兴趣对象的任何一个要素来选择感兴趣对象。处理器120可基于外部对象的检测速度仅选择具有大于或等于阈值速度的检测速度的外部对象。如果第一人物对象802和第二人物对象803的检测速度大于或等于图8的对象的阈值速度，则处理器120可以选择第一人物对象802和第二人物对象803作为感兴趣对象。
处理器120可通过考虑用于选择感兴趣对象的要素中的至少一个或多个来选择感兴趣对象。例如，处理器120可基于外部对象的检测速度选择第一人物对象802和第二人物对象803作为感兴趣对象，并且可基于用户偏好选择椅子对象804作为感兴趣对象。在识别用户经常在与图1的椅子对象804相同或相似的椅子上捕捉的信息时，处理器120可以确定用户更喜欢将椅子对象804选择为感兴趣对象。
处理器120可通过考虑图像处理时间来选择感兴趣的对象。例如，当多个外部对象对应于感兴趣对象时，处理器120可通过考虑图像处理时间将被延迟来仅选择多个外部对象中的一些作为感兴趣对象。在确定用于第一人物对象802、第二人物对象803和椅子对象804的图像处理时间将超过阈值时间时，处理器120可以仅选择第一人物对象802、第二人物对象803和椅子对象804中的一些但不是全部作为感兴趣对象。
在捕捉原始图像801之前发送与部分区域对应的数据的操作可以重复多次。重复次数可以等于或小于基于感兴趣对象选择的部分区域的数量。
参考图7，在操作701中，电子装置601检测捕捉事件。例如，处理器120可以检测指示从图1的相机模块180捕捉原始图像801的事件。
电子装置601可以在捕捉原始图像801之前将与至少一个感兴趣对象相对应的至少一个部分区域的全部或一部分完全或部分地发送到外部电子装置602。在仅发送部分区域的一部分的情况下，电子装置601可以在捕捉原始图像801之后发送尚未发送到外部电子装置602的部分区域。部分区域的发送顺序可基于优先级。
电子装置601可基于从外部电子装置602发送的图像处理信息来组合原始图像801和虚拟图像。例如，处理器120可基于图像处理信息顺序地或者同时地组合所捕捉的原始图像801和所接收的虚拟图像。可以接收多个虚拟图像801直到捕捉到原始图像801，并且可以根据接收顺序将虚拟图像顺序地与原始图像801组合。可替换地，可以同时组合所接收的多个虚拟图像和原始图像801。
在操作705中，电子装置601通过组合原始图像801和虚拟图像来显示改善图像。例如，处理器120可以根据接收多个虚拟图像的顺序顺序地或同时地获取改善图像。
电子装置601可以在捕捉事件之后向外部电子装置602发送与多个区域中的低优先级相对应的不同部分区域，并且可通过接收与对应低优先级的不同部分区域相对应的附加图像处理信息来获取附加改善图像。
电子装置601可以顺序地获取附加改善图像，以顺序地将附加改善图像显示到图1的显示装置160。另外，电子装置601可以检测来自图像应用的用户输入，以将附加改善图像顺序地显示到显示装置160。
图9的操作对应于图4的操作403和405。图9是根据一个实施例的用于在电子装置中选择感兴趣对象的流程图。图10是根据一个实施例的用于在电子装置中选择感兴趣对象的示图。电子装置可包括图1的电子装置101、图3的电子装置301、图6的电子装置601或者电子装置101的至少一部分(例如，处理器120)。此外，在下面的描述中，外部电子装置可包括图1的电子装置102、图1的电子装置104、图1的服务器108、图2的外部电子装置201、图3的外部电子装置302或者图6的外部电子装置602。在下文中，将详细描述图4的操作步骤403和405。
参考图9和图10，在操作901中，电子装置601获取原始图像1001。所获取的原始图像可以是通过图1的相机模块180获取的图像或在预览期间获取的图像。
在操作903中，电子装置601确定电子装置601的移动变化是否超过参考变化。例如，响应于在预览操作中获取原始图像1001，处理器120可经由传感器模块检测电子装置601的移动或者检测在预览操作中获取的多个原始图像之间的差异或者模糊图像的水平，并且可以将检测到的移动变化和参考变化进行比较。这里，参考变化可以是电子装置的移动很显著并因此难以获取聚焦的图像的情况。
如果电子装置的移动变化超过参考变化，则电子装置601可以监视电子装置的移动变化，直到电子装置的移动变化变得小于参考变化。例如，当电子装置601的移动变化很显著并因此难以聚焦原始图像1001时，处理器120可以监视电子装置的移动变化而不必执行识别外部对象的过程。当在监视期间检测到电子装置的移动变化小于参考变化时，电子装置601可以执行操作905。
另一方面，如果电子装置的移动变化小于参考变化，则进行到操作905，电子装置601识别外部对象。例如，处理器120可以从所获取的原始图像1001识别第一人物对象1002、第二人物对象1003、第三人物对象1004、足球对象1005、球门柱对象1006和树对象1007。
在操作907中，电子装置601确定外部对象的移动变化是否超过参考变化。例如，处理器120可以确定在从原始图像1001识别的对象1002至1007中是否存在移动变化超过参考变化的对象。
如果外部对象的移动变化超过参考变化，则电子装置601可以监视外部对象的移动变化，直到外部对象的移动变化变得小于参考变化。例如，处理器120可以确定识别出的对象1002至1007中的第一人物对象1002、第二人物对象1003或第三人物对象1004的移动变化超过参考变化，并且可以监视外部对象的移动变化，直到外部对象的移动变化变得小于参考变化，而不必对感兴趣对象作出选择，从而避免了对象1002到1004的图像处理时间的延迟，其中对象1002到1004中的每一个都超过参考变化。电子装置601可以周期性地监视对象1002至1007的移动变化，并且如果外部对象的移动变化变得小于参考变化，则可以执行选择感兴趣对象的程序。
此外，如果外部对象的移动变化不超过参考变化，则进行到操作909，电子装置601可以选择感兴趣的对象。例如，处理器120可以选择通过电子装置601所存储的多个图像中的移动水平小于或等于阈值的外部对象(例如，第二人物对象1003)作为感兴趣对象。在操作909之后，返回到先前的图4中的程序，电子装置601可以执行操作407至409。
图11是根据一个实施例的用于在电子装置中发送附加信息的流程图。图12是根据一个实施例的用于在电子装置中发送与用户级别相对应的数据的流程图。电子装置可包括图1的电子装置101、图3的电子装置301、图6的电子装置601或者电子装置101的至少一部分(例如，处理器120)。此外，在下面的描述中，外部电子装置可包括图1的电子装置102、图1的电子装置104、图1的服务器108、图2的外部电子装置201、图3的外部电子装置302或者图6的外部电子装置602。在下文中，将参考图11和图12详细描述图4的操作步骤407。
参考图11，在操作1101中，电子装置601检测所发送的部分区域的变化。部分区域的变化可包括对应于部分区域的感兴趣对象的方向、位置、亮度或姿势的变化。用于改变部分区域的事件可包括面向左侧的人的面部改变为面向右侧的事件。另外，部分区域的变化可包括添加、删除或改变与部分区域相对应的感兴趣对象。
在操作1103中，电子装置601确定所发送的部分区域的变化是否超过参考变化。例如，处理器120可以确定由于与感兴趣对象相对应的人的面部观看的方向的改变而额外需要绘制虚拟图像的操作。另外，处理器120可以确定因为在所发送的部分区域中添加了不同对象而额外需要虚拟图像绘制操作。另外，处理器120可以确定由于包括在所发送的部分区域中的对象的消失而不需要虚拟图像绘制操作。例如，处理器120可以确定感兴趣对象的方向是否改变超过参考角度。
如果所发送的部分区域的变化不超过参考变化，则返回到先前的过程，电子装置601执行图4的操作407到409。
可替换地，如果所发送的部分区域的变化超过参考变化，则进行到操作1105，电子装置601将包括改变的部分区域的附加信息发送到外部电子装置602。例如，在与感兴趣对象相对应的人的注视面向右侧的部分区域的信息事先被发送的情况下，处理器120可以检测到与感兴趣对象相对应的人的注视面向左侧，并且可以确定作为感兴趣对象的人的注视的变化超过参考变化。因此，处理器120可以确定图像质量待改善的感兴趣对象的一部分存在变化，并且可将包括与感兴趣对象相对应的部分区域的变化信息的附加信息发送到外部电子装置602。外部电子装置602可基于附加信息生成用于改善相应部分区域的图像质量的图像处理信息。此后，返回到先前的程序，电子装置601可以重复执行图4的操作407到409。
参考图12，在操作1201中，电子装置601识别用户的级别。例如，由外部电子装置602提供的图像质量改善服务可包括免费服务和付费服务，并且处理器120可以识别电子装置601的用户是使用付费服务还是免费服务。
在操作1203中，电子装置601确定与用户级别相对应的传输数据量。例如，如果用户是付费用户，则处理器120可以增加传输数据量。可替换地，如果用户是免费用户，则处理器120可以减少传输数据量。
在操作1205中，电子装置601基于所确定的传输数据量将对应于部分区域的数据发送到外部电子装置601。例如，如果用户是付费用户，则处理器120可基于增加的传输数据量经由图1的通信模块190将对应于部分区域的数据发送到外部电子装置601。可替换地，如果用户是免费用户，则处理器120可基于减少的传输数据量经由数据通信模块190将对应于部分区域的数据发送到外部电子装置601。
外部电子装置602可以根据用户的级别确定图像处理顺序和数据传输速度。例如，外部电子装置602可以优先处理由付费用户发送的图像数据。
图13是根据一个实施例的外部电子装置的操作的流程图。电子装置可包括图1的电子装置101、图3的电子装置301、图6的电子装置601或者电子装置101的至少一部分(例如，处理器120)。此外，在下面的描述中，外部电子装置可包括图1的电子装置102、图1的电子装置104、图1的服务器108、图2的外部电子装置201、图3的外部电子装置302或者图6的外部电子装置602。
参考图13，在操作1301中，外部电子装置602从电子装置601接收与至少部分区域相对应的数据。
在操作1303中，外部电子装置602基于与至少部分区域相对应的数据绘制虚拟图像。例如，外部电子装置602可以绘制虚拟图像以生成能够改善部分区域的图像质量的图像处理信息。
在操作1305中，外部电子装置602将图像处理信息发送到电子装置601。图像处理信息可包括绘制的虚拟图像。
根据一个实施例，外部电子装置602可以重复执行操作1301至1305。例如，外部电子装置602可以根据接收对应于多个部分区域的数据的顺序顺序地执行针对相应部分区域的操作1303和1305。
外部电子装置602在操作1307中从电子装置601接收捕捉信息，并且在操作1309中存储捕捉信息。外部电子装置602可通过存储捕捉信息来获取所捕捉的原始图像的至少一部分。
在操作1311中，外部电子装置602生成附加图像处理信息。例如，外部电子装置602可以针对与低优先级相对应的不同部分区域生成附加图像处理信息，并且此后生成关于与下一优先级相对应的部分区域的附加图像处理信息。例如，外部电子装置602可基于优先级顺序地生成与多个部分区域相对应的附加图像处理信息。另外，如果确定不需要原始图像的附加图像质量改善，则外部电子装置602可不生成附加图像处理信息。
在操作1313中，外部电子装置602将附加图像处理信息发送到电子装置601。例如，外部电子装置602可以根据生成信息的顺序顺序地或同时地向电子装置601发送基于优先级顺序生成的多条附加图像处理信息。
将参考图14至图16描述由外部电子装置执行的校正原始图像的操作。
图14是根据本公开的实施例的电子装置和外部电子装置的操作的流程图。电子装置可包括图1的电子装置101、图3的电子装置301、图6的电子装置601或者电子装置101的至少一部分(例如，处理器120)。此外，在下面的描述中，外部电子装置可包括图1的电子装置102、图1的电子装置104、图1的服务器108、图2的外部电子装置201、图3的外部电子装置302或者图6的外部电子装置602。
参考图14，电子装置1401在操作1403中在预览期间获取并识别原始图像，并且在操作1405中根据优先级将与原始图像的至少部分区域相对应的数据发送到外部电子装置1402。在操作1407中，外部电子装置1402基于与部分区域对应的数据绘制虚拟图像。电子装置1401在操作1409中捕捉原始图像，并且在捕捉原始图像时在操作1411中将捕捉信息发送到外部电子装置1402。由于操作1403至1411与图6中的操作603至613相同或相似，将省略相同的描述以避免冗余。
根据一个实施例，与图6的操作不同，外部电子装置1402可以不将图像处理信息发送到电子装置1401。另外，与图6的操作不同，外部电子装置1402可以不生成图像处理信息。
在操作1413中，外部电子装置1402组合原始图像和虚拟图像。例如，外部电子装置1402可以顺序地或同时地组合原始图像和顺序生成的多个虚拟图像。也就是说，可以根据与部分区域相对应的数据的数量来重复执行操作1413。
在操作1415中，外部电子装置1402向电子装置1401发送通过组合原始图像和虚拟图像而生成的改善图像。
电子装置1401在操作1417中显示改善的图像，并且外部电子装置1402在操作1419中生成附加图像处理信息。例如，外部电子装置1402可生成用于校正与低优先级相对应的部分区域的附加图像处理信息，并且可生成用于校正与下一个优先级相对应的部分区域的附加图像处理信息。也就是说，外部电子装置1402可基于优先级顺序地生成用于校正多个部分区域的多条附加图像处理信息。
外部电子装置1402在操作1421中组合改善图像和附加虚拟图像，并且在操作1423中将附加改善图像发送到电子装置1401。在发送对应于低优先级的部分区域被校正过的附加改善图像之后，外部电子装置1402可以发送对应于下一个优先级的部分区域被校正过的附加改善图像。也就是说，外部电子装置1402可基于优先级顺序地将多个附加改善图像发送到电子装置1401。
在操作1425中，电子装置1401显示附加改善图像。例如，在显示与低优先级对应的部分区域被校正过的附加改善图像之后，电子装置1401可以显示与下一优先级对应的部分区域被校正过的附加改善图像。接下来要显示的附加改善图像可以是通过先前显示的附加改善图像的累积校正而获取的图像。因此，在顺序显示的附加改善图像中，最后显示的附加改善图像可以是附加改善图像中具有最佳(即，最大改善)图像质量的图像。
在操作1427中，电子装置1401存储图像质量改善完成的最终图像，并且在操作1429中，外部电子装置1402还存储图像质量改善完成的最终图像。在确定即使在存储最终图像之后也需要图像质量改善时，外部电子装置1402可以另外校正包括在最终图像中的部分区域。
下面将参考图15描述电子装置1401的图像处理操作，并且下面将参考图16描述外部电子装置1402的图像处理操作。
图15是根据一个实施例的电子装置的操作的流程图。电子装置可包括图1的电子装置101、图3的电子装置301、图6的电子装置601、图14的电子装置1401或者电子装置101的至少一部分(例如，处理器120)。此外，在下面的描述中，外部电子装置可包括图1的电子装置102、图1的电子装置104、图1的服务器108、图2的外部电子装置201、图3的外部电子装置302、图6的外部电子装置602或图14的外部电子装置1402。在下文中，将参考图15详细描述图4的操作步骤409。当图15的电子装置的操作与图4的电子装置的操作相同时，将省略其描述以避免冗余。
电子装置1401可以在预览期间获取包括一个或多个外部对象的原始图像，通过使用原始图像识别一个或多个外部对象，在一个或多个外部对象中选择至少一个感兴趣对象，基于一个或多个外部对象中的至少一个感兴趣对象确定用于多个区域中的至少部分区域的优先级，并根据优先级将对应于至少部分区域的数据发送到外部电子装置1402，使得外部电子装置1402生成与至少部分区域有关的图像处理信息。
参考图15，在操作1501中，电子装置1401检测捕捉事件。由于操作1501与图7的操作701相同或类似，将省略其描述以避免冗余。
在操作1503中，电子装置1401从外部电子装置1402接收改善图像。例如，处理器120可经由图1的通信模块190从外部电子装置1402顺序地接收多个改善图像，或者可以接收一个改善图像。
在操作1505中，电子装置1401在接收到改善图像时显示改善图像。例如，处理器120可以根据接收多个改善图像的顺序顺序地显示改善图像。
电子装置1401可通过检测来自图像应用的用户输入在显示器上显示改善的图像。
在捕捉事件之后，电子装置1401可以从外部电子装置1402接收在多个区域中的对应于低优先级的部分区域被校正过的附加改善图像以显示附加改善图像，并且可以从外部电子装置1402接收对应于下一个优先级的部分区域被校正过的附加改善图像以显示附加改善图像。也就是说，电子装置1401可基于优先级顺序地显示附加改善图像。
下面将参考图16描述外部电子装置1402的操作。
图16是根据一个实施例的外部电子装置的操作的流程图。电子装置可包括图1的电子装置101、图3的电子装置301、图6的电子装置601、图14的电子装置1401或者电子装置101的至少一部分(例如，处理器120)。此外，在下面的描述中，外部电子装置可包括图1的电子装置102、图1的电子装置104、图1的服务器108、图2的外部电子装置201、图3的外部电子装置302、图6的外部电子装置602或图14的外部电子装置1402。
参考图16，外部电子装置1402在操作1601中从电子装置1401接收与至少部分区域相对应的数据，并且在操作1603中基于与至少部分区域相对应的数据绘制虚拟图像。由于操作1601和1603与图13的操作1301和1303相同或相似，将省略相同的描述以避免冗余。
外部电子装置1402在操作1605中从电子装置1401接收捕捉信息，并且在操作1607中存储捕捉信息。由于操作1605和1607与图13的操作1307和1309相同或相似，将省略相同的描述以避免冗余。
外部电子装置1402在操作1609中组合原始图像和虚拟图像。例如，处理器120可以顺序地或同时地组合捕捉的原始图像和多个预先绘制的虚拟图像。
在操作1611中，外部电子装置1402将改善图像发送到电子装置1401。例如，处理器120可以顺序地向电子装置1401发送通过顺序地组合原始图像和多个虚拟图像而生成的改善图像。可替换地，外部电子装置1402可以向电子装置1401发送通过同时组合原始图像和多个虚拟图像而生成的改善图像。
外部电子装置1402可以向电子装置1401发送对应于低优先级的部分区域被校正过的附加改善图像，并且可以向电子装置1401发送对应于下一个优先级的部分区域被校正过的附加改善图像。也就是说，外部电子装置1402可基于优先级向电子装置1401顺序地发送多个附加改善图像。
根据一个实施例，操作电子装置的方法可包括通过使用相机获取一个或多个外部对象的原始图像，通过使用原始图像识别一个或多个外部对象，将原始图像分割成与一个或多个外部对象相对应的多个区域，基于一个或多个外部对象中的至少一个感兴趣对象确定多个区域中的至少部分区域的优先级，根据优先级将对应于至少部分区域的数据发送到外部电子装置使得外部电子装置生成针对至少部分区域的图像处理信息，并显示通过使用图像处理信息根据优先级顺序校正了至少部分区域的原始图像。
根据一个实施例，该方法还可包括：在显示原始图像的同时，接收与多个区域中的不同部分区域相对应的附加图像处理信息，通过使用附加图像处理信息来校正原始图像的不同部分区域，以及显示不同部分区域被校正过的原始图像。
根据一个实施例，该方法还可包括：基于与外部电子装置的通信环境，确定与至少部分区域相对应的数据的传输顺序。
根据一个实施例，该方法还可包括：经由通信模块接收由外部电子装置通过使用图像处理信息生成的校正后的原始图像。
根据一个实施例，该方法还可包括：通过使用图像处理信息根据优先级顺序地校正至少部分区域。
根据一个实施例，该方法还可包括：基于以下中的至少一个来选择感兴趣对象：从原始图像检测的一个或多个外部对象的速度、一个或多个外部对象的捕捉频率、一个或多个外部对象的移动，一个或多个外部对象的大小、一个或多个外部对象的用户偏好、一个或多个外部对象的图像处理时间、以及在一个或多个外部对象中受到焦点调整的附加对象。
根据一个实施例，该方法还可包括：确定电子装置的移动变化是否小于电子装置的参考变化，如果电子装置的移动变化小于参考变化，则识别外部对象，基于所识别的外部对象确定外部对象的移动变化是否小于参考变化，并且如果外部对象的移动变化小于参考变化，则选择感兴趣对象。
根据一个实施例，可以根据优先级将对应于至少部分区域的数据发送到外部电子装置，使得外部电子装置在原始图像被捕捉之前针对至少部分区域生成图像处理信息。
根据一个实施例，该方法还可包括：在捕捉原始图像之后接收由外部电子装置通过使用图像处理信息生成的校正后的原始图像。
根据一个实施例，该方法还可包括：在捕捉原始图像之后通过使用图像处理信息根据优先级顺序地校正至少部分区域。
因此，根据各种实施例，电子装置及其操作方法可通过优先发送图像中包括的对象的一个或多个部分来增加电子装置和云服务器之间的传输速度。
此外，根据各种实施例，外部电子装置及其操作方法可通过在捕捉图像之前生成改善图像质量所需的虚拟图像来提高图像处理速度。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，PlayStoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
虽然已经参考本发明的某些实施例具体示出和描述了本公开，但是本领域普通技术人员将理解，在不脱离如所附权利要求及其等同所定义的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (20)

1.一种电子装置，包括：
相机；
通信模块；
显示器；和
处理器，所述处理器被配置为：
通过使用所述相机获取一个或多个外部对象的原始图像；
通过将所述原始图像分割成与所述一个或多个外部对象相对应的多个区域来识别所述一个或多个外部对象；
基于所述一个或多个外部对象中的至少一个感兴趣对象，确定所述多个区域中的至少部分区域的优先级；
根据所述优先级将与所述至少部分区域相对应的数据发送到外部电子装置，使得所述外部电子装置生成用于所述至少部分区域的图像处理信息；和
经由所述显示器显示通过使用所述图像处理信息根据所述优先级顺序地校正了所述至少部分区域的所述原始图像。
2.根据权利要求1所述的电子装置，其中，所述处理器还被配置为：
在显示所述原始图像的同时，接收与所述多个区域中的、所述原始图像的不同部分区域相对应的附加图像处理信息；
通过使用所述附加图像处理信息来校正所述原始图像的所述不同部分区域；和
显示所述不同部分区域被校正后的所述原始图像。
3.根据权利要求1所述的电子装置，其中，所述处理器还被配置为：基于与所述外部电子装置的通信环境，确定与所述至少部分区域相对应的数据的传输顺序。
4.根据权利要求1所述的电子装置，其中，所述处理器还被配置为：经由所述通信模块接收由所述外部电子装置通过使用所述图像处理信息生成的校正后的原始图像。
5.根据权利要求1所述的电子装置，其中，所述处理器还被配置为：通过使用所述图像处理信息根据所述优先级顺序地校正所述至少部分区域。
6.根据权利要求1所述的电子装置，其中，所述处理器还被配置为基于以下中的至少一个选择所述感兴趣对象：从所述原始图像检测的所述一个或多个外部对象的速度、所述一个或多个外部对象的捕捉频率、所述一个或多个外部对象的移动、所述一个或多个外部对象的大小、所述一个或多个外部对象的用户偏好、所述一个或多个外部对象的图像处理时间、以及所述一个或多个外部对象中受到焦点调整的附加对象。
7.根据权利要求1所述的电子装置，其中，所述处理器还被配置为：
确定所述电子装置的移动变化是否小于所述电子装置的参考变化；
如果所述电子装置的移动变化小于所述参考变化，则识别所述外部对象；
基于所识别的外部对象确定所述外部对象的移动变化是否小于所述参考变化；和
如果所述外部对象的移动变化小于所述参考变化，则选择所述感兴趣对象。
8.根据权利要求7所述的电子装置，其中，所述处理器还被配置为：根据所述优先级将与所述至少部分区域相对应的数据发送到所述外部电子装置，使得所述外部电子装置在所述原始图像被捕捉之前针对所述至少部分区域生成所述图像处理信息。
9.根据权利要求8所述的电子装置，其中，所述处理器还被配置为：在所述原始图像被捕捉之后经由所述通信模块接收由所述外部电子装置通过使用所述图像处理信息生成的校正后的原始图像。
10.根据权利要求8所述的电子装置，其中，所述处理器还被配置为：在所述原始图像被捕捉之后通过使用所述图像处理信息根据所述优先级顺序地校正所述至少部分区域。
11.一种操作电子装置的方法，所述方法包括：
通过使用相机获取一个或多个外部对象的原始图像；
通过使用所述原始图像识别所述一个或多个外部对象；
将所述原始图像分割成与所述一个或多个外部对象相对应的多个区域；
基于所述一个或多个外部对象中的至少一个感兴趣对象，确定所述多个区域中的至少部分区域的优先级；
根据所述优先级将与所述至少部分区域相对应的数据发送到外部电子装置，以使所述外部电子装置生成用于所述至少部分区域的图像处理信息；和
显示通过使用所述图像处理信息根据所述优先级顺序地校正了所述至少部分区域的所述原始图像。
12.根据权利要求11所述的方法，还包括：
在显示所述原始图像的同时接收与所述多个区域中的不同部分区域相对应的附加图像处理信息；
通过使用所述附加图像处理信息校正所述原始图像的所述不同部分区域；和
显示所述不同部分区域被校正后的所述原始图像。
13.根据权利要求11所述的方法，还包括：基于与所述外部电子装置的通信环境，确定与所述至少部分区域相对应的数据的传输顺序。
14.根据权利要求11所述的方法，还包括：经由所述通信模块接收由所述外部电子装置通过使用所述图像处理信息生成的校正后的原始图像。
15.根据权利要求11所述的方法，还包括：通过使用所述图像处理信息根据所述优先级顺序地校正所述至少部分区域。
16.根据权利要求11所述的方法，还包括基于以下中的至少一个选择所述感兴趣对象：从所述原始图像检测的所述一个或多个外部对象的速度、所述一个或多个外部对象的捕捉频率、所述一个或多个外部对象的移动、所述一个或多个外部对象的大小、所述一个或多个外部对象的用户偏好、所述一个或多个外部对象的图像处理时间、以及所述一个或多个外部对象中受到焦点调整的附加对象。
17.根据权利要求11所述的方法，还包括：
确定所述电子装置的移动变化是否小于所述电子装置的参考变化；
如果所述电子装置的移动变化小于所述参考变化，则识别所述外部对象；
基于所识别的外部对象确定所述外部对象的移动变化是否小于所述参考变化；和
如果所述外部对象的移动变化小于所述参考变化，则选择所述感兴趣对象。
18.根据权利要求17所述的方法，其中，根据所述优先级将与所述至少部分区域相对应的数据发送到所述外部电子装置，使得所述外部电子装置在所述原始图像被捕捉之前针对所述至少部分区域生成所述图像处理信息。
19.根据权利要求18所述的方法，还包括：在所述原始图像被捕捉之后，接收由所述外部电子装置通过使用所述图像处理信息生成的校正后的原始图像。
20.根据权利要求18所述的方法，还包括：在所述原始图像被捕捉之后，通过使用所述图像处理信息根据所述优先级顺序地校正所述至少部分区域。
CN201811275193.6A 2017-11-03 2018-10-30 用于基于优先级处理图像的电子装置及其操作方法 Active CN109756763B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0145999 2017-11-03
KR1020170145999A KR102383134B1 (ko) 2017-11-03 2017-11-03 우선 순위에 기반하여 이미지를 처리하는 전자 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
CN109756763A true CN109756763A (zh) 2019-05-14
CN109756763B CN109756763B (zh) 2022-05-27

Family

ID=64109790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811275193.6A Active CN109756763B (zh) 2017-11-03 2018-10-30 用于基于优先级处理图像的电子装置及其操作方法

Country Status (4)

Country Link
US (1) US10885609B2 (zh)
EP (1) EP3481052B1 (zh)
KR (1) KR102383134B1 (zh)
CN (1) CN109756763B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111618856A (zh) * 2020-05-27 2020-09-04 山东交通学院 基于视觉兴奋点的机器人控制方法、系统及机器人
WO2021217584A1 (zh) * 2020-04-30 2021-11-04 深圳市大疆创新科技有限公司 相机调用方法以及设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324528A (zh) * 2018-03-28 2019-10-11 富泰华工业（深圳）有限公司 摄像装置、影像处理系统及方法
KR102440073B1 (ko) * 2020-08-24 2022-09-05 주식회사 테스트웍스 최적화 모델 선택 장치 및 방법
US11570367B2 (en) * 2021-01-06 2023-01-31 Samsung Electronics Co., Ltd. Method and electronic device for intelligent camera zoom
CN114820591B (zh) * 2022-06-06 2023-02-21 北京医准智能科技有限公司 图像处理方法、装置、电子设备及介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01103364A (ja) * 1987-10-16 1989-04-20 Canon Inc 画像処理装置
KR20080022980A (ko) * 2006-09-08 2008-03-12 주식회사 메디슨 영상 처리 시스템 및 방법
JP2010103612A (ja) * 2008-10-21 2010-05-06 Nikon Corp 電子カメラおよび画像処理プログラム
CN102695446A (zh) * 2009-12-28 2012-09-26 奥林巴斯株式会社 图像处理装置、电子设备、程序和图像处理方法
US20130188045A1 (en) * 2012-01-20 2013-07-25 Nokia Corporation High Resolution Surveillance Camera
CN103503435A (zh) * 2011-04-08 2014-01-08 诺基亚公司 图像视角误差校正装置和方法
CN103826057A (zh) * 2012-11-19 2014-05-28 索尼公司 图像处理设备、图像处理方法和图像拍摄设备
CN104011531A (zh) * 2011-12-27 2014-08-27 佳能株式会社 图像处理装置、图像显示系统、图像处理方法以及图像处理程序
JP2015061293A (ja) * 2013-09-20 2015-03-30 株式会社Ｊｖｃケンウッド カメラシステム、マスターカメラ装置およびスレーブカメラ装置
US20170048461A1 (en) * 2015-08-12 2017-02-16 Samsung Electronics Co., Ltd. Method for processing image and electronic device supporting the same
CN106576143A (zh) * 2014-07-25 2017-04-19 三星电子株式会社 图像拍摄装置和图像拍摄方法
JP2017169140A (ja) * 2016-03-17 2017-09-21 ヤフー株式会社 生成装置、生成方法、及び生成プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001080561A1 (en) 2000-04-18 2001-10-25 Rtimage Inc. System and method for the lossless progressive streaming of images over a communication network
US8289400B2 (en) * 2009-06-05 2012-10-16 Apple Inc. Image capturing device having continuous image capture
US8990874B2 (en) 2010-09-10 2015-03-24 Jeffrey Huang Apparatus and method for automatic realtime cloud computing processing for live multimedia content
US20120215890A1 (en) 2011-02-22 2012-08-23 International Business Machines Corporation Network-aware structured content downloads
TW201419846A (zh) 2012-11-09 2014-05-16 Inst Information Industry 動態解析度調節方法系統與動態解析度調節方法
WO2015131206A1 (en) * 2014-02-28 2015-09-03 Nant Vision, Inc. Object recognition trait analysis systems and methods
KR102244855B1 (ko) * 2014-04-11 2021-04-27 삼성전자 주식회사 전자 장치의 입출력 장치 선택 방법 및 이를 이용한 전자 장치
US20150350504A1 (en) * 2014-06-03 2015-12-03 2P & M Holdings, LLC RAW Camera Peripheral for Handheld Mobile Unit
US9386234B2 (en) * 2014-07-31 2016-07-05 Apple Inc. Auto filter extent management
KR102399049B1 (ko) * 2015-07-15 2022-05-18 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 처리 방법
US9977429B2 (en) * 2016-05-04 2018-05-22 Motorola Solutions, Inc. Methods and systems for positioning a camera in an incident area

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01103364A (ja) * 1987-10-16 1989-04-20 Canon Inc 画像処理装置
KR20080022980A (ko) * 2006-09-08 2008-03-12 주식회사 메디슨 영상 처리 시스템 및 방법
JP2010103612A (ja) * 2008-10-21 2010-05-06 Nikon Corp 電子カメラおよび画像処理プログラム
CN102695446A (zh) * 2009-12-28 2012-09-26 奥林巴斯株式会社 图像处理装置、电子设备、程序和图像处理方法
CN103503435A (zh) * 2011-04-08 2014-01-08 诺基亚公司 图像视角误差校正装置和方法
CN104011531A (zh) * 2011-12-27 2014-08-27 佳能株式会社 图像处理装置、图像显示系统、图像处理方法以及图像处理程序
US20130188045A1 (en) * 2012-01-20 2013-07-25 Nokia Corporation High Resolution Surveillance Camera
CN103826057A (zh) * 2012-11-19 2014-05-28 索尼公司 图像处理设备、图像处理方法和图像拍摄设备
JP2015061293A (ja) * 2013-09-20 2015-03-30 株式会社Ｊｖｃケンウッド カメラシステム、マスターカメラ装置およびスレーブカメラ装置
CN106576143A (zh) * 2014-07-25 2017-04-19 三星电子株式会社 图像拍摄装置和图像拍摄方法
US20170048461A1 (en) * 2015-08-12 2017-02-16 Samsung Electronics Co., Ltd. Method for processing image and electronic device supporting the same
JP2017169140A (ja) * 2016-03-17 2017-09-21 ヤフー株式会社 生成装置、生成方法、及び生成プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KEDAR A. PATWARDHAN等: "Video Inpainting Under Constrained Camera Motion", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
刘慧青等: "基于低秩表示的图像修复方法", 《宁波大学学报(理工版)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021217584A1 (zh) * 2020-04-30 2021-11-04 深圳市大疆创新科技有限公司 相机调用方法以及设备
CN111618856A (zh) * 2020-05-27 2020-09-04 山东交通学院 基于视觉兴奋点的机器人控制方法、系统及机器人
CN111618856B (zh) * 2020-05-27 2021-11-05 山东交通学院 基于视觉兴奋点的机器人控制方法、系统及机器人

Also Published As

Publication number Publication date
EP3481052B1 (en) 2021-06-16
CN109756763B (zh) 2022-05-27
EP3481052A1 (en) 2019-05-08
KR102383134B1 (ko) 2022-04-06
US20190139195A1 (en) 2019-05-09
KR20190050516A (ko) 2019-05-13
US10885609B2 (en) 2021-01-05

Similar Documents

Publication Publication Date Title
CN109756763A (zh) 用于基于优先级处理图像的电子装置及其操作方法
US11138434B2 (en) Electronic device for providing shooting mode based on virtual character and operation method thereof
CN109525774A (zh) 用于校正图像的电子装置及操作该电子装置的方法
CN109658338A (zh) 使用外部电子装置处理原始图像的方法和电子装置
CN109309796A (zh) 使用多个相机获取图像的电子装置和用其处理图像的方法
US10681287B2 (en) Apparatus and method for displaying AR object
CN110288547A (zh) 用于生成图像去噪模型的方法和装置
CN109756671A (zh) 使用多个相机记录图像的电子装置及其操作方法
CN112602111A (zh) 模糊基于深度信息组合多个图像而获得的图像的电子设备及驱动该电子设备的方法
CN109788189A (zh) 将相机与陀螺仪融合在一起的五维视频稳定化装置及方法
KR102383129B1 (ko) 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치
CN109672827A (zh) 用于组合多个图像的电子装置及其方法
US10929961B2 (en) Electronic device and method for correcting images using external electronic device
US11563889B2 (en) Electronic device and method for controlling camera using external electronic device
US11995750B2 (en) Electronic device and method of providing user interface for emoji editing while interworking with camera function by using said electronic device
EP3621292B1 (en) Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof
US20200310637A1 (en) Electronic device performing function according to gesture input and operation method thereof
CN109803066A (zh) 用于在相机模块内生成时钟信号的电子装置和方法
CN113366527A (zh) 用于处理图像的电子装置和方法
US11930281B2 (en) Electronic device with camera and method thereof
WO2019000464A1 (zh) 一种图像显示方法、装置、存储介质和终端
CN111886874A (zh) 用于通知图像信号处理的更新的电子设备及用于操作电子设备的方法
CN115066882A (zh) 用于执行自动对焦的电子装置和方法
CN115516494A (zh) 用于生成图像的方法及其电子装置
US20190349519A1 (en) Electronic device and image processing method therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant