CN109658338A - 使用外部电子装置处理原始图像的方法和电子装置 - Google Patents

使用外部电子装置处理原始图像的方法和电子装置 Download PDF

Info

Publication number
CN109658338A
CN109658338A CN201811178408.2A CN201811178408A CN109658338A CN 109658338 A CN109658338 A CN 109658338A CN 201811178408 A CN201811178408 A CN 201811178408A CN 109658338 A CN109658338 A CN 109658338A
Authority
CN
China
Prior art keywords
image
electronic device
correction
server
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811178408.2A
Other languages
English (en)
Inventor
金成旿
金映助
金炯柱
崔钟凡
朴夏中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109658338A publication Critical patent/CN109658338A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00167—Processing or editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H04N1/411—Bandwidth or redundancy reduction for the transmission or storage or reproduction of two-tone pictures, e.g. black and white pictures
    • H04N1/413—Systems or arrangements allowing the picture to be reproduced without loss or modification of picture-information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H04N1/411—Bandwidth or redundancy reduction for the transmission or storage or reproduction of two-tone pictures, e.g. black and white pictures
    • H04N1/413—Systems or arrangements allowing the picture to be reproduced without loss or modification of picture-information
    • H04N1/419—Systems or arrangements allowing the picture to be reproduced without loss or modification of picture-information in which encoding of the length of a succession of picture-elements of the same value along a scanning line is the only encoding step
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

示例性电子装置包括相机、通信模块和至少一个处理器。至少一个处理器配置成：通过使用相机获取外部目标的原始图像；通过第一图像处理方案由原始图像生成第一校正图像；控制经由通信模块将原始图像发送至外部电子装置，以使得外部电子装置能够生成与第二校正图像和第三校正图像之间的差异对应的差异图像信息，其中第二校正图像通过以第一图像处理方案处理原始图像而生成且第三校正图像通过以第二图像处理方案处理原始图像而生成；以及通过使用差异图像信息进一步校正第一校正图像，以使得经进一步校正的第一校正图像与第三校正图像对应。

Description

使用外部电子装置处理原始图像的方法和电子装置
技术领域
本公开各实施方式涉及用于通过使用外部电子装置处理经由相机获取的原始图像的方法和电子装置。
背景技术
处理图像的电子装置可经由图像传感器获取原始图像，并通过使用内置的图像信号处理器(ISP)处理所获取的原始图像。ISP可通过图像质量增强算法处理所接收的原始图像，从而提供具有改善的图像质量的图像。ISP可执行各种处理，诸如但不限于白平衡、颜色调整(例如，颜色矩阵、颜色校正和颜色增强)、滤色器阵列插值、降噪(NR)/锐化和图像增强(例如，高动态范围(HDR)和面部检测)。从ISP输出的图像可具有例如YUV格式。从ISP输出的图像可经过例如联合图像专家组(JPEG)压缩，并且被压缩的图像可存储在电子装置中。
另一方面，图像处理云系统提供用于生成图像备份和新媒体内容的服务。诸如图像匹配的基于计算机视觉的技术(其可能难以在终端中执行)可被应用于上传至云服务器的图像。例如，云服务器可通过使用基于机器学习的软件来执行图像识别。
ISP可设置在电子装置中的应用处理器(AP)内。由于ISP被布置在AP中，芯片价格和散热已成为持续关注的问题。此外，传感器规格上的变化以及所引起的对处理算法的修改可能导致处理图像的电子装置应配备新硬件ISP的问题。
上述信息作为背景信息呈现仅用以帮助理解本公开。至于上述内容中的任何内容是否可以适合作为本公开的现有技术，没有做出确定，也没有做出断言。
发明内容
根据各实施方式的用于处理图像的示例性电子装置可：将原始图像发送至云服务器；从云服务器接收经过在电子装置的图像信号处理器(ISP)中难以执行或耗费很多时间执行的校正的图像与电子装置校正的图像之间的差异；以及基于由电子装置校正的图像和所接收的差异来生成通过云服务器校正的图像。
根据本公开的一方面，电子装置可包括相机、通信模块(包括例如通信电路)和至少一个处理器。至少一个处理器可配置成：通过使用相机获取外部目标的原始图像；通过第一图像处理方案由原始图像生成第一校正图像；经由通信模块将原始图像发送至外部电子装置，以使外部电子装置能够生成与第二校正图像和第三校正图像之间的差异对应的差异图像信息，其中第二校正图像通过以第一图像处理方案处理原始图像而生成且第三校正图像通过以第二图像处理方案处理原始图像而生成；以及通过使用差异图像信息进一步校正第一校正图像，以使经进一步校正的第一校正图像与第三校正图像对应。
根据本公开的另一方面，电子装置可包括通信模块(包括例如通信电路)和至少一个处理器。至少一个处理器可配置成：经由通信模块接收由外部电子装置获取的原始图像；生成与第一校正图像和第二校正图像之间的差异对应的差异图像信息，其中，第一校正图像通过以与外部电子装置对应地设置的第一图像处理方案处理原始图像来生成且第二校正图像通过以与电子装置对应地设置的第二图像处理方案处理原始图像而生成，并经由通信模块将差异图像信息发送至外部电子装置。
根据本公开的另一方面，电子装置可包括相机、通信模块和至少一个处理器。至少一个处理器可配置成：通过使用相机获取外部目标的原始图像；通过将原始图像的格式转换成预定格式来生成第一转换图像；经由通信模块将原始图像发送至外部电子装置；经由通信模块从外部电子装置接收与第二转换图像和第一校正图像之间的差异对应的差异图像信息，其中，第二转换图像通过将原始图像的格式转换成预定格式来生成且第一校正图像通过将存储在外部电子装置中的图像处理方案应用于原始图像而生成；以及通过使用所接收的差异图像信息和第一转换图像生成与第一校正图像对应的第二校正图像。
通过下文结合附图披露本公开的示例性实施方式的详细描述，本公开的其它方面、有益效果和显著特征对本领域技术人员将变得显而易见。
附图说明
通过结合附图的以下描述，本公开的某些示例性实施方式的以上及其它方面、特征和有益效果将更加明显，在附图中：
图1是示出根据各实施方式的网络环境中的电子装置的框图；
图2A是示出根据各实施方式的相机模块的框图；
图2B是示出根据各实施方式的电子装置和服务器的框图；
图2C和图2D是示出根据各实施方式的由服务器生成的校正区域信息的视图；
图3是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图；
图4A是示出根据各实施方式的由电子装置或服务器校正的图像的视图；
图4B是示出根据各实施方式的由服务器校正的图像的视图；
图4C是示出根据各实施方式的差异图像的视图；
图5是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图；
图6是示出根据各实施方式的电子装置和服务器的框图；
图7A是示出根据各实施方式的行程编码的流程图；
图7B是示出根据各实施方式的压缩过程的流程图；
图8A和图8B是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图；
图9是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图；
图10是示出根据各实施方式的电子装置和服务器中的图像处理程序的视图；
图11是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图；
图12是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图；
图13是示出根据各实施方式的服务器和不具有图像信号处理器(ISP)的电子装置的框图；
图14是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图；
图15是示出根据各实施方式的电子装置和服务器的框图；
图16是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图；
图17是示出根据各实施方式的电子装置和服务器的框图；以及
图18是示出根据各实施方式的用于操作电子装置和服务器的方法的视图。
在全部附图中，相同的附图标记应理解为表示相同的部分、部件和结构。
具体实施方式
图1是示出根据各实施方式的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施方式，电子装置101可经由服务器108与电子装置104进行通信。根据实施方式，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施方式中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或多个其它部件添加到电子装置101中。在一些实施方式中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施方式，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施方式，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施方式，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施方式，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施方式，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施方式，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施方式，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或多个特定协议。根据实施方式，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施方式，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施方式，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施方式，相机模块180可包括一个或多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施方式，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施方式，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施方式，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送至电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施方式，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，PCB)中或形成在基底上的导电材料或导电图案构成。根据实施方式，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施方式，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施方式，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施方式，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图2是示出根据各实施方式的相机模块180的框图200。参照图2，相机模块180可包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)和/或图像信号处理器260。镜头组件210可采集从将被拍摄图像的目标发出或反射的光。镜头组件210可包括一个或多个透镜。根据示例性实施方式，相机模块180可包括多个镜头组件210。在这种情况下，相机模块180可形成例如双相机、360度相机或球形相机。多个镜头组件210中的一些镜头组件210可具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学变焦)，或者至少一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或多个镜头属性。镜头组件210可包括例如广角镜头或长焦镜头。闪光灯220可发光，其中，发出的光用于增强从目标反射的光。根据示例性实施方式，闪光灯220可包括一个或多个发光二极管(LED)(例如，红绿蓝色(RGB)LED、白色LED、红外(IR)LED和/或紫外(UV)LED)或氙灯。
图像传感器230可通过将从目标发出或反射并经由镜头组件210透射的光转换为电信号来获取与目标相应的图像。根据示例性实施方式，图像传感器230可包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如，RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器230中的每个图像传感器。
图像稳定器240可沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个透镜，或者响应于相机模块180或包括相机模块180的电子装置101的移动来控制图像传感器230的可操作属性(例如，调整读出时序)。这样，允许补偿由于正被捕捉的图像的移动而产生的负面效果(例如，图像模糊)的至少一部分。根据示例性实施方式，图像稳定器240可使用布置在相机模块180之内或之外的陀螺仪传感器(未示出)和/或加速度传感器(未示出)来感测相机模块180或电子装置101的这样的移动。根据示例性实施方式，可将图像稳定器240实现为例如光学图像稳定器。
存储器250可至少暂时地存储经由图像传感器230获取的图像的至少一部分以用于后续的图像处理任务。例如，如果快速捕捉了多个图像或者由于快门时滞而导致图像捕捉延迟，则可将获取的原始图像(例如，拜耳图案图像、高分辨率图像)存储在存储器250中，并且可经由显示装置160来预览其相应的副本图像(例如，低分辨率图像)。然后，如果满足了指定的条件(例如，通过用户的输入或系统命令)，则可例如由图像信号处理器260来获取和处理存储在存储器250中的原始图像的至少一部分。根据示例性实施方式，可将存储器250配置为存储器130的至少一部分，或者可将存储器250配置为独立于存储器130进行操作的分离的存储器。
图像信号处理器260可对经由图像传感器230获取的图像或存储在存储器250中的图像执行一种或多种类型的图像处理。所述一种或多种类型的图像处理可包括：例如而不限于，深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成和/或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化和/或柔化)。另外或可选地，图像信号处理器260可对包括在相机模块180中的部件中的至少一个部件(例如，图像传感器230)执行控制(例如，曝光时间控制或读出时序控制)。可将由图像信号处理器260处理的图像存储回存储器250以用于进一步处理，或者可将该图像提供给在相机模块180之外的外部部件(例如，存储器130、显示装置160、电子装置102、电子装置104或服务器108)。根据示例性实施方式，可将图像信号处理器260配置为处理器120的至少一部分，或者可将图像信号处理器260配置为独立于处理器120进行操作的分离的处理器。如果将图像信号处理器260配置为与处理器120分离的处理器，则可由处理器120经由显示装置160将由图像信号处理器260处理的至少一个图像按照其原样显示，或者可将所述至少一个图像在被进一步处理后进行显示。
根据示例性实施方式，电子装置101可包括具有不同属性或功能的多个相机模块180。在这种情况下，所述多个相机模块180中的至少一个相机模块180可形成例如广角相机，并且所述多个相机模块180中的至少另一个相机模块180可形成长焦相机。类似地，所述多个相机模块180中的至少一个相机模块180可形成例如前置相机，并且所述多个相机模块180中的至少另一个相机模块180可形成后置相机。
图2B是示出根据各实施方式的电子装置和服务器的框图。
参照图2B，根据各实施方式，电子装置101可包括处理器120、存储器130、显示装置160、相机模块180和通信模块190。服务器108可包括处理器270、存储器280和通信模块(包括例如通信电路)284。根据示例性实施方式，相机模块180可包括图像传感器230、处理器264和存储器250。处理器264可包括原始图像处理器261、图像信号处理器(ISP)260和编码器265，并且原始图像处理器261可包括轻量级图像生成器262和原始图像压缩器263。处理器270可包括预处理器271、引擎272、编码器273和ISP 274。存储器280可包括数据库(DB)存储器281、图像存储器282和原始图像存储器283。
根据各实施方式，图像传感器230可以以多种格式获取目标的原始图像。例如，图像传感器230可根据滤色器阵列(CFA)模式以多种格式获取原始图像。如果图像传感器230包括双像素结构(或者2个光电二极管(2PD)结构)，则图像传感器230可获取包括与一个像素中的不同相位差(或时间差)有关的信息的原始图像。此外，图像传感器230可包括具有相同或不同性能的多个图像传感器，例如但不限于双传感器(例如，RGB传感器+RGB传感器、RGB传感器+黑白(mono)传感器或者广角传感器+远程传感器)，和/或图像传感器230可包括包含多个传感器的阵列传感器。在这种情况下，图像传感器230可针对一个场景获取一个或多个原始图像。所获取的原始图像可原样地或者在附加处理之后被存储在存储器130或存储器250中。
根据各实施方式，图像传感器230可获取多种格式的原始图像。例如，如果原始图像为拜耳(Bayer)格式，则像素可在原始图像中以红色、绿色和蓝色中的一种来表示并具有8位至16位的位深度。例如，可对原始图像应用CFA模式。原始图像可呈具有与每个像素的多种颜色(例如，红色、绿色和蓝色中的两个或更多个)有关的信息的层结构中。除了颜色信息(RGB信息)之外，图像传感器230可获取例如具有相位差信息的原始图像。可与原始图像相关联地存储用于与图像拍摄有关的信息(例如，拍摄时间、位置和照度)的元数据。
根据各实施方式，处理器264可执行与从图像传感器230接收的原始图像有关的多种处理。处理器264可独立地实施或被合并至另一处理器(例如，处理器120)中。处理器264中的轻量级图像生成器262、原始图像压缩器263、ISP 260和编码器265中的至少一项可被合并至另一处理器(例如，处理器120)中。处理器264可位于相机模块180的内部或外部(例如，在电子装置101或服务器108中)，或者既可位于相机模块180的内部又可位于相机模块180的外部。在处理器264中执行的处理可以由处理器264单独执行或由多个处理器以分布式方式执行。
根据各实施方式，原始图像处理器261可对从图像传感器230获取的原始图像执行多种处理。例如，原始图像处理器261可对原始图像执行镜头失真补偿和/或去除至少部分噪声。轻量级图像生成器262可通过使用原始图像生成在大小上小于原始图像的轻量级图像。由于原始图像的大小可能相对较大，因此轻量级图像生成器262可在存储、处理或发送原始图像之前生成比原始图像小的轻量级图像。例如，轻量级图像生成器262可通过对原始图像执行诸如尺寸缩小(down-scaling)、下采样(down-sampling)或压缩的多种处理来生成轻量级图像。尺寸缩小可表示例如减小原始图像的大小或分辨率的过程。下采样可表示通过仅选择由采样产生的多个样本中的一个或一部分来生成轻量级图像的过程。原始图像压缩器263可通过多种图像压缩算法(不限于任何特定的压缩方案)来压缩原始图像或轻量级图像。
ISP 260可如之前参照图2A描述的那样对经由图像传感器230获取的图像或者存储在存储器250中的图像执行图像处理。编码器265可通过对原始图像进行编码来生成编码图像。编码图像可具有多种格式，诸如联合图像编码专家组(JPEG)、运动图像专家组(MPEG)和/或360度图像格式。
根据各实施方式，原始图像、轻量级图像、压缩图像和编码图像中的至少一项可被暂时存储或非暂时地存储在存储器250中。处理器120可经由例如通信模块190向服务器108发送原始图像和压缩图像中的至少一者。服务器108可经由通信模块284接收原始图像和压缩图像中的至少一者。通信模块284可与例如通信模块190通信。服务器108可负责用于电子装置101的网络管理、与可用服务和授权有关的服务管理、存储管理等。原始图像可被暂时或非暂时地存储在服务器108的原始图像存储器283中。
根据各实施方式，预处理器271可在将所接收的原始图像发送至引擎272或ISP274之前执行所需的处理。例如，如果预处理器271经由通信模块284接收到已压缩原始图像，则预处理器271可对已压缩原始图像进行解压从而获得原始图像。此外，预处理器271可经由通信模块284接收原始图像。预处理器271可针对已接收的原始图像或通过解压而获取的原始图像执行图像质量增强算法、去马赛克和图像格式转换中的至少一项。
根据各实施方式，引擎272可通过分析原始图像(或图像文件)来执行多种操作(例如，目标识别、速度矢量决策、面部识别、分割、场景解析和/或纹理识别)。引擎272可使用多种算法来执行多种操作。根据各实施方式，由于服务器108可具有相对高的计算能力、相对大的存储大小和相对大的资源，因此服务器108可使用高计算要求的算法和新开发的算法。作为多种操作的结果，引擎272可生成、存储和/或向ISP 274发送可用的校正区域信息(例如，目标识别结果、速度矢量、面部识别结果、分割结果、场景类别和/或纹理信息)。引擎272可以以多层的形式生成校正区域信息。将参照图2C和图2D更详细地描述由引擎272生成的校正区域信息。
根据各实施方式，ISP 274可通过使用与由引擎272分析的原始图像有关的各种信息(例如，校正区域信息)对原始图像执行各种图像处理。在另一示例性实施方式中，电子装置101可接收校正区域信息，并通过使用所接收的校正区域信息执行图像处理。在这种情况下，电子装置101可组合地执行由ISP 260提供的图像处理和基于校正区域信息的图像处理。电子装置101可将已经执行了图像处理的图像暂时或非暂时地存储在存储器130中，或者将该图像显示在显示装置160上。另一方面，如果ISP 274如上所述地执行图像处理，则ISP 274可基于校正区域信息执行图像处理。ISP 274可从DB存储器281接收与校正区域信息对应的附加信息(例如，特征矢量)，并在图像处理中使用所接收的附加信息。DB存储器281可存储与图像类别等对应的各种特征信息。经处理的图像可被再次发送至电子装置101，或者被存储在服务器108的图像存储器282中。ISP 274可至少基于校正区域信息执行多种处理，诸如白平衡、颜色调整(例如，颜色矩阵、颜色校正和/或颜色增强)、滤色器阵列插值、NR/锐化和/或图像增强(例如，HDR和面部检测)。ISP 274还可执行需要大的计算量的图像处理，诸如初始颜色映射、细节再现、文本重建、图像修复等。
根据各实施方式，处理器270可对由预处理器271处理的原始图像执行第一图像处理方案，并对原始图像执行与第一图像处理方案不同的第二图像处理方案。即，处理器270可对一个原始图像执行多种不同的图像处理，并因而作为第一图像处理的结果产生第一校正图像并作为第二图像处理的结果产生第二校正图像。处理器270可将第一校正图像与第二校正图像比较，并基于比较结果生成差异图像。第一图像处理可与在电子装置101的ISP260中执行的图像处理相同。第二图像处理可以是：例如但不限于可基于来自引擎272的校正区域信息执行的图像处理和/或可以是需要比第一图像处理更大的计算量或更大的资源的图像处理。例如，已经执行了第二图像处理的图像可以是已经执行了比已执行第一图像处理的图像更高程度的校正的图像。差异图像中的每个像素的像素值可通过从第二校正图像中的每个像素的像素值减去第一校正图像中的每个相应像素的像素值来计算。处理器270可经由通信模块284向电子装置101发送差异图像或通过将差异图像压缩而获得的压缩差异图像。处理器120可通过使用所接收的差异图像和由ISP 260处理的图像生成与第二校正图像大致相同的图像，稍后将对此进行更详细的描述。
图2C和图2D是示出根据各实施方式的由服务器生成的校正区域信息的视图。
服务器108可获取例如在图2C中示出的原始图像285。服务器108可另外接收用于原始图像285的元数据286。元数据286可包括与以下项有关的信息：焦距、自动对焦区域、拍摄期间的左右取向、颜色空间、曝光时间、光圈相关信息(F数)、拍照模式(曝光程序)(例如：自动、光圈优先、快门优先、手动和/或其它)、国际标准化组织(ISO)速度等级、原始数据时间(data time original)和/或其它。此外，尽管未示出，但元数据286可包括由图像传感器之外的传感器感测到的信息，诸如在进行图像拍摄时的图像拍摄位置或照度。
服务器108(例如，引擎272)可以针对原始图像285执行目标分割与识别。目标可表示通过分割原始图像285而获得的区域，并可被称为图像区域。例如，服务器108可获取如图2D中所示的分割图288。服务器108可基于原始图像285的各种特征(诸如，边缘、斑点等)将目标289、290、291和292与原始图像285分离。服务器108可将识别算法应用于目标289、290、291和292中的每一个，并因而获取识别结果。例如，外部电子装置(例如，外部电子装置的处理器)可通过使用通过使大量DB经过机器学习或深度学习而获得的识别算法来获取识别目标289、290、291和292的结果。服务器108可获取以下识别结果：第一目标291指示天空、第二目标289指示气球、第三目标292指示人以及第四目标290指示草。服务器108可获取包括与目标289、290、291和292有关的位置信息(或像素坐标信息)的分割图288以及目标289、290、291和292的识别结果。
服务器108(例如，引擎272)可对原始图像285执行纹理分割和识别。服务器108可获取如图2D中所示的纹理分割图293。服务器108可例如针对已执行了目标识别的目标289、290、291和292执行纹理识别，或者进一步将目标289、290、291和292中的至少一个划分成段并针对每个段来获取纹理识别结果。纹理可表示代表预定义图案或纹理的组分。一个目标中可包括多个纹理。纹理识别算法也可通过使大量DB经过机器学习或深度学习来获取。服务器108可获取纹理分割图293，该纹理分割图293包括与多个纹理目标294、295、296、297、298和299有关的位置信息(或像素坐标信息)以及纹理识别结果。
服务器108(例如，引擎272)可确定原始图像285的识别结果的可靠性。服务器108可确定目标识别结果的可靠性和纹理识别结果的可靠性中的至少一项。服务器108可确定与原始图像285有关的分类信息287。分类信息287可表示原始图像285的整体内容。服务器108可通过将图像分类算法应用于原始图像285来获取分类信息287。服务器108可通过使用目标识别结果或纹理识别结果中的至少一项来获取分类信息287。此外，服务器108可直接从原始图像285获取分类信息287。分类信息287可包括表示例如普通绿草的整体场景分类结果信息。分类信息287可包括目标信息(例如，天空、气球和草)、日期信息(例如，2016.8.xx.PM 2:00)、地点信息(例如，首尔、韩国)、季节信息(例如，夏季)、天气信息(例如，晴天)、曝光相关信息(曝光时间xx和ISO xxx)等。服务器108可通过使用应用识别算法和元数据的结果来获取分类信息287。
服务器108可生成包括与目标识别、纹理识别、识别结果的可靠性和分类信息有关的信息中的至少一个的校正区域信息。例如，如图2D中所示，服务器108可生成呈多个层的校正区域信息。多层校正区域信息可包括分割图288、纹理分割图293、目标识别可靠性图251和纹理识别可靠性图252。像素的坐标在多个图288、293、251和252中可以相同，并与原始图像的像素对应。因此，多条信息(例如，目标属性、纹理属性、目标属性的准确性和/或纹理属性的准确性)可与原始图像的一个像素对应。服务器108(例如，ISP 274)可通过使用多层校正区域信息来执行图像处理。例如，ISP 274可将与气球对应的效果应用于原始图像的像素，该原始图像的像素与在分割图288中作为气球的目标的像素坐标对应。ISP 274可将与瓷釉对应的效果应用于原始图像的与纹理分割图293中正被瓷釉处理的纹理目标的像素坐标对应的像素。考虑到目标识别可靠性或纹理识别可靠性，ISP 274可调整所应用的效果的程度。ISP 274可基于图像分类结果(例如，普通绿草)将与室外环境对应的效果应用于整个原始图像。服务器108可将应用了校正效果的图像与由电子装置101校正的图像之间的差异发送至电子装置101。电子装置101可通过使用在电子装置101中校正的图像和所接收的差异生成已经由服务器108校正的图像，后文将对此进行更详细地描述。此外，服务器108可将校正区域信息发送至电子装置101，并且电子装置101可基于所接收的校正区域信息执行图像处理。以图2D中示出的多层进行配置的校正区域信息仅为示例。因而，校正区域信息可配置为一维文本信息，不限于任何特定数据格式。可从图2D中示出的多层中省略一层或多层，以及可向其添加一个或多个图。
根据各实施方式，服务器108可通过之前参照图2C和图2D描述的过程处理第二校正图像和第三校正图像中的至少一个。为了处理第二校正图像，服务器108可使用之前参照图2C和图2D描述的过程中的至少一部分，并且另外可使用其它过程。为了处理第三校正图像，服务器108可使用之前参照图2C和图2D描述的过程中的至少一部分，并且另外可使用其它过程。在各实施方式中，用于第三校正图像的过程可比用于第二校正图像的过程耗费更大的计算量。因此，第三校正图像可以是已被执行了更精细的校正的图像。
根据各实施方式，至少一个处理器(例如，处理器120和处理器264中的至少一个)可配置成：通过使用相机(例如，相机模块180或图像传感器230)来控制获取外部目标的原始图像；通过第一图像处理方案由原始图像生成第一校正图像；控制经由通信模块(例如，通信模块190)将原始图像发送至外部电子装置(例如，服务器108)，使得外部电子装置(例如，服务器108)可生成与第二校正图像和第三校正图像之间的差异相对应的差异图像信息，其中第二校正图像通过以第一图像处理方案处理原始图像而生成且第三校正图像通过以第二图像处理方案处理原始图像而生成；以及基于差异图像信息进一步校正第一校正图像，使得经校正的第一校正图像可与第三校正图像对应。
根据各实施方式，至少一个处理器(例如，处理器120和处理器264中的至少一个)可配置成：作为生成第一校正图像的操作的至少一部分，通过第一图像处理方案生成第一校正图像，其中，第一图像处理方案被用于产生与原始图像的至少一个区域对应的第一效果。
根据各实施方式，至少一个处理器(例如，处理器120和处理器264中的至少一个)可配置成：接收基于以第一图像处理方案生成的第二校正图像与以第二图像处理方案生成的第三校正图像之间的差异而生成的差异图像信息，其中，第一图像处理方案被用于第一效果，并且第二图像处理方案被用于针对原始图像的至少一个区域的第二效果。第二图像处理方案可能需要比第一图像处理方案更大的计算量。
根据各实施方式，至少一个处理器(例如，处理器120和处理器264中的至少一个)可配置成：控制从外部电子装置(例如，服务器108)接收通过无损压缩差异图像信息而生成的压缩的差异图像信息。
根据各实施方式，至少一个处理器(例如，处理器120和处理器264中的至少一个)可配置成：通过解压所接收的基于无损压缩所得的压缩的差异图像信息来获取差异图像。
根据各实施方式，作为进一步校正第一校正图像的操作的至少一部分，至少一个处理器(例如，处理器120和处理器264中的至少一个)可配置成：通过将差异图像与第一校正图像相加而生成与第三校正图像对应的图像。
根据各实施方式，作为经由通信模块将原始图像发送至外部电子装置的操作的一部分，至少一个处理器(例如，处理器120和处理器264中的至少一个)可配置成：通过压缩原始图像生成已压缩原始图像，并控制经由通信模块190将已压缩原始图像发送至外部电子装置(例如，服务器108)。
根据各实施方式，至少一个处理器(例如，处理器120和处理器264中的至少一个)可配置成：控制接收基于第二校正图像和第三校正图像生成的差异图像信息，其中，第二校正图像在已压缩原始图像被解压之后以第一图像处理方案生成且第三校正图像在已压缩原始图像被解压之后以第二图像处理方案生成。
根据各实施方式，作为经由通信模块将原始图像发送至外部电子装置的操作的至少一部分，至少一个处理器(例如，处理器120和处理器264中的至少一个)可配置成：控制向外部电子装置(例如，服务器108)发送至少一条标识信息，所述至少一条标识信息标识电子装置101、与至少一个处理器(例如，处理器120或处理器264)有关的信息中的至少一部分和存储在电子装置101中的第一图像处理方案中的至少一个。
根据各实施方式，至少一个处理器(例如，处理器120和处理器264中的至少一个)可配置成：控制接收基于第三校正图像与以第一图像处理方案生成的第二校正图像之间的差异而生成的差异图像信息，其中，第一图像处理方案至少基于至少一条标识信息而被选择。
根据各实施方式，至少一条标识信息可包括在原始图像的元数据中，或者独立于原始图像的数据而配置。
根据各实施方式，至少一个处理器(例如，处理器120和处理器264中的至少一个)可配置成：通过以高效视频编码(HEVC)编码方案之中不需要另一帧图像的第一编码方案对第一校正图像进行编码来生成第一编码图像。
根据各实施方式，至少一个处理器(例如，处理器120和处理器264中的至少一个)可配置成：控制经由通信模块190从外部电子装置(例如，服务器108)接收第二编码图像，其中，第二编码图像通过参照第二校正图像以HEVC编码方案之中需要另一帧图像的第二编码方案对第三校正图像进行编码而获得。
根据各实施方式，作为进一步校正第一校正图像的操作的至少一部分，至少一个处理器(例如，处理器120和处理器264中的至少一个)可配置成：对第一编码图像和第二编码图像进行解码，从而生成与第三校正图像对应的图像。
根据各实施方式，至少一个处理器(例如，处理器120和处理器264中的至少一个)可配置成：控制通过使用相机(例如，相机模块180和/或图像传感器230)获取外部目标的原始图像；通过将原始图像的格式转换成预定格式来生成第一转换图像；控制经由通信模块将原始图像发送至外部电子装置；控制经由通信模块190从外部电子装置接收第二转换图像与第一校正图像之间的差异图像信息，其中，第二转换图像通过将原始图像的格式转换成预定格式而生成且第一校正图像通过将存储在外部电子装置中的图像处理方案应用于原始图像而生成；以及通过使用所接收的差异图像信息和第一转换图像生成与第一校正图像对应的第二校正图像。
根据各实施方式，至少一个处理器(例如，处理器120和处理器264中的至少一个)可配置成：通过使用相机(例如，相机模块180和/或图像传感器230)获取外部目标的原始图像；如果通信模块190关闭，则生成原始图像的第一校正图像并且将第一校正图像存储在存储器130中；以及如果通信模块190打开，则控制经由通信模块190将原始图像发送至外部电子装置(例如，服务器108)、控制从外部电子装置(例如，服务器108)接收第一数据、通过使用第一数据和第一校正图像生成第二校正图像并将第二校正图像存储在存储器130中。
根据各实施方式，至少一个处理器(例如，处理器270)可配置成：控制经由通信模块(例如，通信模块284)接收由外部电子装置(例如，电子装置101)获取的原始图像；生成与第一校正图像和第二校正图像之间的差异对应的差异图像信息，其中，第一校正图像以与外部电子装置(例如，电子装置101)对应地设置的第一图像处理方案而生成且第二校正图像以与电子装置(例如，服务器108)对应地设置的第二图像处理方案而被生成；以及控制经由通信模块(例如，通信模块284)将差异图像信息发送至外部电子装置(例如，电子装置101)。
根据各实施方式，作为生成差异图像信息的操作的至少一部分，至少一个处理器(例如，处理器270)可配置成通过无损压缩差异图像信息来生成压缩的差异图像信息。
根据各实施方式，作为接收原始图像的操作的至少一部分，至少一个处理器(例如，处理器270)可配置成：控制接收至少一条标识信息，所述至少一条标识信息标识外部电子装置(例如，电子装置101)、与外部电子装置(例如，电子装置101)的至少一个处理器有关的信息中的至少一部分和存储在外部电子装置(例如，电子装置101)中的第一图像处理方案；并且作为生成差异图像信息的操作的至少一部分，至少一个处理器(例如，处理器270)可配置成基于第一校正图像与第二校正图像之间的差异生成差异图像信息，其中，第一校正图像以至少基于至少一条标识信息选择的第一图像处理方案而生成。
根据各实施方式，至少一条标识信息可包括在原始图像的元数据中，或者独立于原始图像的数据而配置。
根据各实施方式，作为生成差异图像信息的操作的至少一部分，至少一个处理器(例如，处理器270)可配置成通过参照第一校正图像以HEVC编码方案之中需要另一帧图像的第二编码方案对第二校正图像进行编码来生成编码图像；并且作为将差异图像信息发送至外部电子装置的操作的至少一部分，至少一个处理器(例如，处理器270)可配置成控制经由通信模块(例如，通信模块284)将编码图像发送至外部电子装置(例如，电子装置101)。
图3是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图。将参照图4A、图4B和图4C更详细地描述图3中示出的实施方式。图4A示出根据各实施方式的由电子装置或服务器校正的图像。图4B示出根据各实施方式的由服务器校正的图像。图4C示出根据各实施方式的差异图像。
参照图3，根据各实施方式，电子装置101(例如，处理器120)可在操作301中通过使用相机模块180获取与外部目标对应的第一图像，即外部目标的原始图像。在操作303中，电子装置101可将第一图像发送至服务器108。例如，电子装置101可向服务器108以原始图像的形式发送第一图像，或者压缩第一图像并发送压缩的第一图像。在示例性实施方式中，电子装置101可配置成：一旦电子装置101经由相机模块180获取到第一图像，便响应于该获取而发送第一图像。在另一示例性实施方式中，置101可配置成：在接收到来自用户的附加输入时，电子装响应于该附加输入的接收而发送第一图像。例如，电子装置101可在显示装置160上显示第一图像或通过校正第一图像而获得的图像，并另外显示可在其上可选择经由服务器108进行的附加校正的用户接口。例如，电子装置101可显示与显示在显示装置160上的图像的至少一部分重叠的附加校正请求目标。在检测到附加校正请求目标的选择时，电子装置101可将第一图像发送至服务器108。例如但不限于，电子装置101可在显示装置160上显示与第一图像的大小、预期上传时间、预期校正时间和/或通知可能进行收费的消息有关的信息。在另一示例性实施方式中，可至少基于电子装置101的通信连接状态来确定是否发送第一图像。例如，如果电子装置101被确定为连接至蜂窝网络，则电子装置101可推迟第一图像的发送，并且随后如果电子装置101被确定为连接至符合诸如Wi-Fi等标准的网络，则电子装置101可响应于连接至该网络而发送第一图像。如果电子装置101支持多种通信方案，则电子装置101可根据激活的通信方案确定是否发送第一图像。虽然在图3中第一图像的发送(操作303)被示出为在生成第一校正图像(操作305)之前，但这仅是示例而非限制。在满足前述各种条件时，电子装置101可发送第一图像。例如，第一图像可在生成第一校正图像之后被发送至服务器108。
根据各实施方式，电子装置101(例如，电子装置101的ISP 260)可至少基于第一图像生成第一校正图像。例如，电子装置101可通过将第一图像处理方案应用于第一图像来生成第一校正图像。第一图像处理方案可以由电子装置101的ISP 260设置。由ISP 260设置的第一图像处理方案可包括但不限于诸如白平衡、颜色调整、滤色器阵列插值、NR/锐化和/或图像增强的多种处理。由ISP 260设置的第一图像处理方案可以是固定的或可被更新。第一图像处理方案可包括多种图像处理，并可在多种图像处理之间设定处理顺序。例如，电子装置101可以以预定顺序向原始图像应用白平衡、颜色调整和锐化。在另一示例性实施方式中，可以不在多种图像处理之间设定处理顺序。
根据各实施方式，服务器108(例如，服务器108的ISP 274)可在操作307中至少基于第一图像生成第二校正图像，并至少基于第一图像生成第三校正图像。服务器108可通过将第一图像处理方案应用于第一图像生成第一校正图像，并通过将不同于第一图像处理方案的第二图像处理方案应用于第一图像生成第三校正图像。即，由于服务器108通过将与第一图像处理方案相同的图像处理方案应用于第一图像来生成第二校正图像，因此第二校正图像可与第一校正图像大致相同。
根据各实施方式，服务器108可确定电子装置101的第一图像处理方案。服务器108可确定与电子装置101有关的标识信息(例如，型号信息)，并确定与标识信息对应的第一图像处理方案。例如，服务器108可存储与各种电子装置101有关的型号信息和与对应于该型号信息的图像处理方案有关的关联信息。服务器108可存储例如表1中列出的关联信息。
表1
型号信息 图像处理方案
A公司的abc型号 白平衡、降噪、锐化和/或图像增强
A公司的bcd型号 降噪、锐化和/或图像增强
B公司的bef型号 白平衡、降噪、锐化和/或图像增强
服务器108可参照表1的关联信息识别电子装置101的第一图像处理方案。在另一示例性实施方式中，服务器108可存储型号信息和与图像处理算法(或图像处理程序)有关的标识信息之间的关联信息。在这种情况下，服务器108可检查与关于电子装置101的型号信息对应的与图像处理算法(或图像处理程序)有关的标识信息，并将所识别的图像处理方案应用于第一图像。如果第一图像处理方案还限定了多个图像处理之间的处理顺序，则服务器108可以以所限定的处理顺序将所识别的图像处理应用于第一图像。例如，服务器108可通过使第一图像经过如第一图像处理方案的NR、锐化和/或图像增强来生成图4A中所示的第二校正图像401。如前所述，电子装置101也可通过将第一图像处理方案应用于第一图像来生成图4A中所示的校正图像401。
根据各实施方式，电子装置101可更新ISP 260的图像处理程序。在这种情况下，服务器108可管理图像处理方案(或图像处理程序)和与电子装置101有关的唯一标识信息(而非与电子装置101有关的型号信息)之间的关联信息。例如，如果服务器108已将用于更新图像处理程序的文件发送至电子装置101，则服务器108可与该文件关联地存储与所发送的文件有关的信息。然后，在从电子装置101接收到第一图像时，服务器108可通过对第一图像应用第一图像处理方案来生成第二校正图像，该第一图像处理方案至少基于与电子装置101有关的标识信息和所存储的关联信息而被确定。如果服务器108从另一电子装置(例如，电子装置104)接收到图像，则服务器108可将与第一图像处理方案不同的第三图像处理方案应用于所接收的第一图像。
根据各实施方式，服务器108(例如，服务器108的ISP 274)可通过将第二图像处理方案应用于所接收的第一图像来生成第三校正图像。第二图像处理方案可以是在服务器108中设置的图像处理方案，并且可以是可执行需要相对大的计算量或相对大的资源的更准确的校正的图像处理。第二图像处理方案可以是例如不能在电子装置101中执行的图像处理方案，并且服务器108可将第二图像处理方案更新为最新的图像处理算法。此外，第二图像处理方案可使用从第一图像获取的多条校正区域信息。例如，服务器108可通过使用校正区域信息来生成图4B中所示的第三校正图像402，其中，校正区域信息表明：第一图像具有指示室外环境的场景分类信息、第一图像中第一区域的识别结果为人脸且第一图像中第二区域的识别结果为天空。如图4B中所示，服务器108可将与面部对应的图像处理效果应用于第三校正图像402的第一区域421，并将与天空对应的图像处理效果应用于第二区域422。可以看出的是，图4B中的第一区域421被处理为比图4A中的第一区域411更亮，并且图4B中的第二区域422被处理为比图4A中的第二区域412更亮。除了基于校正区域信息的图像处理方案之外，服务器108还可通过不使用校正区域信息的图像处理方案来生成第三校正图像。此外，服务器108可仅通过不使用校正区域信息的图像处理方案来生成第三校正图像。虽然第二图像处理方案可包括第一图像处理方案中所包括的图像处理的至少一部分，但在其它示例性实施方式中，第二图像处理方案可利用与第一图像处理方案的图像处理不同的图像处理来实现。
根据各实施方式，服务器108可在操作309中生成第二校正图像与第三校正图像之间的差异图像信息。例如，服务器108可计算第二校正图像中的像素的像素值与第三校正图像中的对应像素的像素值之间的差异，并至少基于计算结果生成差异图像。例如，如果第二校正图像中的坐标(i,j)中的像素的像素值为c(i,j)且第三校正图像中的坐标(i,j)中的像素的像素值为d(i,j)，则服务器108可将差异图像中的坐标(i,j)中的像素的像素值确定为d(i,j)-c(i,j)。如果第二校正图像或第三校正图像的大小为AxB，则i可以是等于或大于1且等于或小于A的自然数，并且j可以是等于或大于1且等于或小于B的自然数。服务器108可通过计算第二校正图像与第三校正图像的至少部分像素之间的差来生成差异图像。例如，图4C示出示例性差异图像403。因为第二校正图像401和第三校正图像402二者均是针对原始图像校正的图像，因而第二校正图像401和第三校正图像402可具有类似的像素值。因此，如图4C中所示，差异图像403的大多数像素可具有接近0的值，这可能是由于第二校正图像401与第三校正图像402之间的差异很小而引起的。另一方面，在另一示例性实施方式中，服务器108可直接从原始图像生成差异图像信息，而不是直接生成并存储第二校正图像和第三校正图像。例如，服务器108可存储直接生成与由第一图像处理方案处理的第二校正图像和由第二图像处理方案处理的第三校正图像之间的差异对应的差异图像信息的处理算法。在这种情况下，服务器108可通过将处理算法应用于原始图像来直接获取差异图像信息。
根据各实施方式，服务器108可在操作311中将差异图像信息发送至电子装置101。服务器108可将差异图像直接发送至电子装置101，或者可将压缩差异图像的结果发送至电子装置101。即，差异图像信息可配置为差异图像或差异图像被压缩的文件。在操作313中，电子装置101可至少基于第一校正图像和差异图像信息生成第四校正图像。例如，电子装置101可将从所接收的差异图像信息中识别的差异图像添加到第一校正图像，从而产生第四校正图像。差异图像中的像素(i,j)的像素值可以是d(i,j)-c(i,j)，并且由于第一校正图像中的像素(i,j)的像素值为c(i,j)，因而在通过将第一校正图像和差异图像相加而生成的第四校正图像中的像素(i,j)的像素值可以是d(i,j)。第四校正图像可与第二校正图像大致相同。因此，即使电子装置101不支持第二图像处理方案，电子装置101也可生成与已经对其应用第二图像处理方案的第二校正图像大致相同的第四校正图像。在各实施方式中，在电子装置101中生成第四校正图像的过程可表示为进一步校正第一校正图像的过程。
另一方面，如果通信模块190断开，则电子装置101不可接收差异图像信息，并因而可生成第一校正图像。如果通信模块190接通，则电子装置101可接收差异图像信息，并因而通过将差异图像添加到第一校正图像来生成第四校正图像。因此，电子装置101可根据通信模块190是接通还是断开来生成不同的图像。第一校正图像可与通过电子装置101获取的原始图像不同，并且第二校正图像也可与原始图像不同。此外，在通信模块190断开的情况下生成的第一校正图像与在通信模块190接通的情况下生成的第四校正图像之间的差异可与由电子装置101从服务器108接收的通信信号中所包括的信息(即，差异图像信息)对应。例如，通过解压通信信号中所包括的信息而获取的信息可与在通信模块190接通时生成的校正图像和在通信模块190断开时生成的校正图像之间的差异相同。
图5是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图。将参照图6进一步描述图5的实施方式。图6是示出根据各实施方式的电子装置和服务器的框图。
根据各实施方式，电子装置101可在操作501中通过使用相机模块180获取与外部目标对应的第一图像。在操作503中，电子装置101可将第一图像发送至服务器108。例如，如图6中所示，第一图像(即，原始图像)可从电子装置101的相机模块180输出，并且电子装置101可将第一图像输出至电子装置101的第一ISP 601，并将第一图像发送至服务器108。在操作505中，电子装置101(例如，第一ISP 601)可至少基于第一图像生成第一校正图像。第一ISP 601可通过将第一图像处理方案应用于第一图像来生成第一校正图像。
根据各实施方式，服务器108可在操作507中至少基于第一图像生成第二校正图像(例如，图6中的B)，并至少基于第一图像生成第三校正图像(例如，图6中的A)。例如，服务器108可以以模拟器的形式配置与电子装置101的第一ISP 601相同型号的第一ISP 612，并因而生成与由电子装置101的第一ISP 601生成的第一校正图像大致相同的第二校正图像(例如，图6中的B)。
在操作509中，服务器108可生成第二校正图像与第三校正图像之间的差异图像。例如，如图6中所示，服务器108可如附图标记613所指示那样从第三校正图像(例如，图6中的A)中减去第二校正图像(例如，图6中的B)，从而生成差异图像(例如，图6中的A-B)。在操作511中，服务器108可压缩差异图像。服务器108(例如，压缩模块614)可通过使用(但不限于)多种压缩方案来压缩差异图像。如图4C中所示的那样，差异图像的大多数像素具有接近0的值，并且像素之间的差异也相对较小。其原因在于，第一ISP 612可能将第一校正效果应用于原始图像的全部像素，并且第二ISP 611可能将第二校正效果应用于原始图像的全部像素。在这种情况下，差异图像的全部像素可能具有与第二校正效果和第一校正效果之间的差异对应的值，并因而可以具有相对均匀的值。在各实施方式中，服务器108可通过使用无损压缩方案来执行压缩，例如使用对于具有相对均匀的像素值的图像具有高压缩率的压缩方案(例如，行程编码方案)来执行压缩。在操作513中，服务器108可发送压缩的差异图像。由于压缩的差异图像因压缩而具有减小的大小，因此压缩的差异图像可在相对短的时间内被发送至电子装置101。
根据各实施方式，电子装置101(例如，图6中的解压模块602)可在操作515中解压所接收的压缩差异图像。在操作517中，电子装置101可至少基于第一校正图像和差异图像生成第四校正图像。如前所述，第四校正图像可与第三校正图像大致相同。例如，电子装置101可通过如附图标记603所指示那样将第一校正图像和差异图像相加来生成第四校正图像。在操作519中，电子装置101(例如，图6中的压缩模块604)可至少基于第四校正图像生成压缩图像。例如，压缩模块604可以以JPEG中限定的方案执行压缩，并且本领域技术人员将容易理解，本公开不限于任何特定的压缩方案。电子装置101可将压缩的图像存储在存储器(例如，DRAM 620的存储器621)中。本公开不限于上述压缩方案和解压方案。例如，可使用各种无损压缩方案。
图7A是示出根据各实施方式的行程编码的流程图。
根据各实施方式，服务器108可在操作701中获取差异图像。在操作703中，服务器108可对差异图像执行行程编码。例如，如果相邻像素具有相同的值(或者相邻像素的像素值之间的差异小于阈值)，则服务器108可通过使用这样的信息来生成差异图像的编码数据，其中所述信息指示具有与相应像素值相同的值的连续像素的数量。如上所述，差异图像很可能越过差异图像的全部像素具有相对均匀的值。因此，如果通过行程编码对差异图像进行编码，则差异图像的编码数据在大小上可小于原始数据。在操作705中，服务器108可将编码数据发送至电子装置101。电子装置101可在操作707中例如通过将行程解码算法应用于所接收的数据来对所接收的编码数据进行解码。在操作709中，电子装置101可获取作为解码的结果的差异图像。电子装置101可至少基于所获取的差异图像和由电子装置101自主生成的校正图像，生成与由服务器108校正的图像大致相同的图像。
图7B是示出根据各实施方式的用于压缩图像的方法的流程图。
根据各实施方式，服务器108可在操作711中执行图像(例如，差异图像)的空间域中的比特缩减。在操作713中，服务器108可移除图像的孤立像素。在操作715中，服务器108可确定在图像的块中是否存在系数。如果确定在块内不存在系数，则服务器108可在操作717中对块执行零块编码(zero-block coding)。如果确定在块中存在系数，则服务器108可在操作719中通过使用改进的高斯滤波器来估计定向性。服务器108可在操作721中确定复杂度是否超过阈值复杂度。如果复杂度被确定为超过阈值复杂度，则服务器108可在操作723中基于所估计的定向性执行例如帧内预测。在操作725中，服务器108可执行频率变换。如果复杂度被确定为等于或小于阈值复杂度，则服务器108可在不执行帧内预测的情况下在操作725中执行频率变换。在操作727中，服务器108可确定频率系数的总和是否超过阈值系数。如果频率系数的总和被确定为超过阈值系数，则服务器108可在操作731中根据定向性来执行大量化，并且如果频率系数的总和被确定为等于或小于阈值系数，则服务器108可在操作729中根据定向性来执行小量化。在操作733中，服务器108可根据定向性执行重新排序。在操作735中，服务器108可执行新的熵编码。在操作737中，服务器108可生成压缩的bin文件。根据示例性实施方式，除了图7A和图7B中所示的方法之外，可使用各种其它压缩方案(例如，无损压缩方案)，并且本公开不限于任何特定的压缩方案。
图8A是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图。
参照图8A，根据各实施方式，电子装置101可在操作801中通过使用相机模块180获取与外部目标对应的第一图像。在操作802中，电子装置101可压缩第一图像(即，原始图像)。电子装置101可使用多种压缩方案来压缩第一图像，从而减小原始图像的大小。在操作803中，电子装置101可将压缩的第一图像发送至服务器108。
根据各实施方式，服务器108可在操作804中对压缩的第一图像解压。服务器108可从压缩图像中识别压缩方案，并基于所识别的压缩方案来解压被压缩的第一图像。服务器108可包括多种类型的压缩/解压模块，并因而对从各种电子装置101接收的以多种压缩方案压缩的图像进行解压。例如，服务器108可从另一电子装置(例如，电子装置104)接收压缩的图像。然后，服务器108可通过使用除了与电子装置101对应的解压模块之外的解压模块来对压缩图像进行解压。在操作805中，电子装置101可至少基于第一图像生成第一校正图像。电子装置101可通过对第一图像应用第一图像处理方案来生成第一校正图像。在操作807中，服务器108可至少基于第一图像生成第二校正图像，并且至少基于第一图像生成第三校正图像。服务器108可通过对第一图像应用第一图像处理方案来生成第二校正图像，并通过对第一图像应用第二图像处理方案来生成第三校正图像。在操作809中，服务器108可生成第二校正图像与第三校正图像之间的差异图像。在操作811中，服务器108可将差异图像信息发送至电子装置101。在操作813中，电子装置101可至少基于第一校正图像和差异图像信息生成第四校正图像。如前所述，第四校正图像可与第三校正图像大致相同。
图8B是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图。
之前已经参考图8A描述了操作801至操作809，因而此处将不再赘述。
在操作821中，服务器108可对操作809处生成的差异图像进行压缩。例如，服务器108可如上所述那样通过使用行程编码方案来压缩差异图像信息。根据各实施方式，服务器108可包括多个压缩模块，并且服务器108可选择用于压缩的压缩方案。服务器108可通过使用与电子装置101有关的标识信息来选择压缩方案。此外，服务器108可至少基于从在操作803中从电子装置101接收的压缩的第一图像中识别的、由电子装置101使用的压缩方案来选择压缩方案。在操作802中由电子装置101执行的压缩方案可以与在操作821中由服务器108执行的压缩方案相同或不同。在操作823中，服务器108可向电子装置101发送压缩的差异图像。在操作825中，电子装置101可对压缩的差异图像进行解压。电子装置101可至少基于在操作823中接收的数据来识别压缩方案，并至少基于所识别的压缩方案来执行解压。此外，电子装置101可至少基于在操作802中执行的压缩方案来执行解压。在操作827中，电子装置101可至少基于第一校正图像和差异图像生成第四校正图像。
图9是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图。将参照图10对图9的实施方式进行更详细的描述。图10是示出根据各实施方式的电子装置和服务器中的图像处理程序的视图。
根据各实施方式，电子装置101可在操作901中通过使用相机模块获取与外部目标对应的第一图像(即，外部目标的原始图像)。在操作903中，电子装置101可发送第一图像和与电子装置101和电子装置101的ISP 260中的至少一个有关的标识信息。与ISP 260有关的标识信息可包括例如标识ISP 260的信息或表示ISP 260所使用的至少一个图像处理程序的信息。电子装置101可在不同的通信信号中单独发送第一图像和标识信息或在一个通信信号中发送第一图像和标识信息。
根据各实施方式，服务器108可在操作905中从多个图像处理程序中选择与所接收的标识信息对应的处理程序。例如，如图10中所示，电子装置101(例如，ISP 260)可执行第一图像处理方案1010，并且第一图像处理方案1010可包括CFA插值1011、白平衡(WB)/颜色调整1012、降噪(NR)/锐化1013和图像增强1014的图像处理程序。服务器108可存储例如多个图像处理程序1020。多个图像处理程序1020可包括初始颜色映射1021、细节再现1022、文本重建1023、图像修复1024、CFA插值1025、WB/颜色调整1026、NR/锐化1027和图像增强1028。电子装置101可将标识第一图像处理方案1010的标识信息1050发送至服务器108。服务器108可基于所接收的标识信息1050来选择多个图像处理程序1020的一部分1030。服务器108可选择多个图像处理程序1020的部分1030以执行与电子装置101执行的第一图像处理方案中相同的图像处理。
在操作906中，电子装置101可至少基于第一图像生成第一校正图像。电子装置101可通过将例如图10中所示的被包括在第一图像处理方案1010中的图像处理程序1011、1012、1013和1014应用于第一图像来生成第一校正图像。在操作909中，服务器108可至少基于第一图像通过所选择的处理程序生成第二校正图像，并至少基于第一图像通过多个图像处理程序生成第三校正图像。例如，如图10中所示，服务器108可通过应用从多个图像处理程序1020中选择的与电子装置101对应的图像处理程序1030来生成第二校正图像。服务器108可通过应用例如在图10中所示的多个图像处理程序1020的至少一部分来生成第三校正图像。服务器108可通过将所存储的多个图像处理程序1020的全部应用于第一图像或将所存储的多个图像处理程序1020的一部分应用于第一图像来生成第三校正图像。服务器108可例如从第一图像确定校正区域信息，并通过基于所述校正区域信息将多个图像处理程序1020的至少一部分应用于第一图像来生成第三校正图像。例如，服务器108可对与人的头发对应的区域重点应用锐化和细节增强，并对与人的面部对应的区域重点应用降噪。例如，服务器108可生成与分类信息对应的特征向量、映射目标的初始颜色并重新生成目标的细节。例如，服务器108可通过文本识别来执行文本重建，并执行图像修复以填充所识别的目标的擦除部分。在操作911中，服务器108可生成第二校正图像与第三校正图像之间的差异图像信息。在操作913中，服务器108可将差异图像信息发送至电子装置101。在操作915中，电子装置101可至少基于第一校正图像和差异图像信息生成与第三校正图像大致相同的第四校正图像。
图11是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图。
根据各实施方式，电子装置101可在操作1101中通过使用相机模块180获取与外部目标对应的第一图像(即，外部目标的原始图像)。在操作1103中，电子装置101可以以第一图像的元数据发送与电子装置和ISP中的至少一个有关的标识信息。根据各实施方式，电子装置101可将用于模拟服务器108中的ISP的信息包括在第一图像(即，原始图像)的元数据中。
在操作1105中，服务器108可检查第一图像的元数据中的与电子装置101或ISP260有关的标识信息，并从多个图像处理程序之中选择与该标识信息对应的图像处理程序。在操作1106中，电子装置101可至少基于第一图像生成第一校正图像。在操作1107中，服务器108可通过使用所选的处理程序至少基于第一图像生成第二校正图像。第二校正图像可与第一校正图像大致相同。在操作1109中，服务器108可通过多个图像处理程序中的至少一部分至少基于第一图像生成第三校正图像。在操作1111中，服务器108可生成第二校正图像和第三校正图像之间的差异图像信息。在操作1113中，服务器108可将差异图像信息发送至电子装置101。在操作1115中，电子装置101可至少基于第一校正图像和差异图像信息生成与第三校正图像大致相同的第四校正图像。
图12是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图。将参照图13对图12的实施方式进行更详细的描述。图13是示出根据各实施方式的服务器和不具有ISP的电子装置的框图。
根据各实施方式，电子装置101可在操作1201中通过使用相机模块180获取与外部目标对应的第一图像(即，外部目标的原始图像)。例如，如图13中所示，电子装置101的处理器120可包括解压模块602、压缩模块604和/或转换模块1301。根据各实施方式，电子装置101可以不包括运行图像处理程序的ISP。在操作1203中，电子装置101可将第一图像发送至服务器108。
根据各实施方式，电子装置101可在操作1205中转换第一图像的格式。例如，电子装置101可将原始图像的格式转换为校正图像的格式(YUV格式)。电子装置101可仅将原始图像的格式转换为校正文件的格式，而不执行用于校正的图像处理。这可旨在在稍后的求和过程中统一图像的格式。例如，如图13中所示，转换模块1301可生成通过转换第一图像(即，原始图像)的格式而获得的图像R'。在操作1207中，服务器108可通过转换所接收的第一图像的格式来生成转换图像，并至少基于第一图像生成第一校正图像。例如，如图13中所示，服务器108可包括与电子装置101的转换模块1301相同的转换模块1302，并且转换模块1302可通过转换所接收的第一图像的格式来生成转换图像R'。服务器108的ISP 611可生成第一校正图像A。在操作1209中，电子装置101可生成转换图像与第一校正图像之间的差异图像。例如，如图13中所示，服务器108可如附图标记613所指示那样从第一校正图像A中减去转换图像R'，从而生成差异图像A-R'。在操作1211中，服务器108可将差异图像信息发送至电子装置101。例如，如图13中所示，服务器108可通过使用压缩模块614压缩差异图像A-R'并将压缩的差异图像(即，差异图像信息)发送至电子装置101。在操作1213中，电子装置101可至少基于转换图像和差异图像信息生成第二校正图像。例如，电子装置101可通过使用解压模块602对所接收的压缩的差异图像进行解压，从而获取差异图像A-R'。电子装置101可如附图标记603所指示那样对转换图像R'和差异图像A-R'求和，从而生成第二校正图像。第二校正图像可与第一校正图像大致相同。例如，如果转换图像R'中的像素(i,j)的像素值为R'(i,j)并且第一校正图像A中的像素(i,j)的像素值为d(i,j)，则差异图像中像素(i,j)的像素值可以是d(i,j)-R'(i.j)。然后，由求和模块603生成的第二校正图像中的像素(i,j)的像素值可以是d(i,j)(＝R'(i.j)+(d(i,j)-R'(i.j)))。因此，第二校正图像可与第一校正图像大致相同。电子装置101可通过例如压缩模块604以JPEG格式压缩第二校正图像，并将压缩的第二校正图像存储在存储器(例如，DRAM 620的存储器621)中。如上所述，即使根据各实施方式的电子装置101仅包括能够只转换格式的转换模块1301而不包括ISP，电子装置101也可获取与如在服务器108中处理的校正图像相同的校正图像。
图14是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图。将参照图15对图14的实施方式进行更详细的描述。图15是示出根据各实施方式的电子装置和服务器的框图。
根据各实施方式，电子装置101可在操作1401中通过使用相机模块180来获取与外部目标对应的第一图像(即，外部目标的原始图像)。在操作1403中，电子装置101可至少基于第一图像生成第一校正图像。在操作1405中，电子装置101可发送第一校正图像。在操作1407中，电子装置101可发送第一图像。不限制第一校正图像和第一图像的发送顺序。例如，将第一图像发送至服务器108可以在将第一校正图像发送至服务器108之前。例如，如图15中所示，电子装置101的第一ISP 601可通过将第一图像处理方案应用于第一图像而生成第一校正图像B。电子装置101可经由通信模块190将第一校正图像B发送至服务器108。电子装置101可例如经由通信模块190将从相机模块180获取的第一图像发送至服务器108。第一校正图像B可被暂时性或非暂时性地存储在视频RAM(VRAM)1501中，并在显示器上被显示为预览图像。
根据各实施方式，服务器108可在操作1409中至少基于第一图像生成第二校正图像。在操作1411中，服务器108可生成第二校正图像与第一校正图像之间的差异图像。例如，如图15中所示，服务器108的第二ISP 611可通过将与第一图像处理方案不同的第二图像处理方案应用于所接收的第一图像(即，原始图像)来生成第二校正图像A。服务器108可如附图标记613所指示那样通过从所生成的第二校正图像A中减去所接收的第一校正图像B来生成差异图像A-B。服务器108可通过使用压缩模块614压缩差异图像A-B而生成压缩的差异图像(即，差异图像信息)。在操作1413中，服务器108可将差异图像信息发送至电子装置101。
在操作1415中，电子装置101可至少基于第一校正图像和差异图像信息生成第三校正图像。例如，如图15中所示，电子装置101的解压模块602可通过解压差异图像信息(即，从服务器108接收的压缩的差异图像)来生成差异图像A-B。电子装置101可如附图标记603所指示那样通过将第一校正图像B与差异图像A-B相加而生成第三校正图像C。第三校正图像C可与第二校正图像A大致相同。电子装置101可例如通过使用压缩模块604以JPEG格式压缩第三校正图像C。电子装置101可将图像文件存储在存储器130的存储器621(例如，DRAM602)中。
图16是示出根据各实施方式的用于操作电子装置和服务器的方法的流程图。将参照图17对图16的实施方式进行更详细的描述。图17是示出根据各实施方式的电子装置和服务器的框图。
根据各实施方式，电子装置101可在操作1601中通过使用相机模块180获取与外部目标对应的第一图像(即，外部目标的原始图像)。在操作1603中，电子装置101将第一图像发送至服务器108。在操作1605中，电子装置101可至少基于第一图像生成第一校正图像。例如，如图17中所示，电子装置101的第一ISP 601可通过将第一图像处理方案应用于第一图像来生成第一校正图像C。在操作1607中，服务器108可至少基于第一图像生成第二校正图像，并至少基于第一图像生成第三校正图像。例如，如图17中所示，服务器108的第一ISP612可通过将第一图像处理方案应用于第一图像来生成第二校正图像B。服务器108的第二ISP 611可通过将与第一图像处理方案不同的第二图像处理方案应用于第一图像来生成第三校正图像A。在图17中，第一校正图像C和第二校正图像B可大致相同。
根据各实施方式，电子装置101可在操作1609中通过高效视频编码(HEVC)编码对第一校正图像进行编码，并存储经编码的第一校正图像。例如，如图17中所示，电子装置101的HEVC编码器1721可通过将HEVC编码方案之中的预定第一编码方案应用于第一图像来生成第一编码图像C'。在第一编码方案中，对第一图像进行不需要另一帧图像的编码(例如，用于生成I帧图像的编码)。电子装置101可将第一校正图像C'存储在存储器130中(例如，DRAM 620的编码图像存储器1701)。在操作1611中，服务器108可对第二校正图像和第三校正图像进行HEVC编码。例如，如图17中所示，服务器108的HEVC编码器1711可对第二校正图像B和第三校正图像A应用HEVC编码。服务器108可通过对第二校正图像B应用HEVC编码方案之中的第一编码方案来生成第二编码图像B'。服务器108可通过对第三校正图像A应用HEVC编码方案之中的预定第二编码方案来生成第三编码图像A'。例如，第二编码方案可以是需要另一帧图像的编码(例如，用于生成P帧图像的编码)。服务器108可参照第二校正图像B对第三校正图像A进行编码。由需要另一帧图像的第二编码方案生成的第三编码图像A'的大小可以相对较小。第三编码图像A'可至少基于第二校正图像B和第三校正图像A之间的差异而被生成，并因而可以是差异图像信息的示例。编码图像可以以诸如HEVC的多种格式存储，并且本领域技术人员将理解，本公开可应用任何编码方案，只要该编码方案对视频进行编码即可。
根据各实施方式，服务器108可在操作1613中发送编码数据。在操作1615中，电子装置101可通过使用存储的第一编码校正图像和所接收的编码数据来生成第四校正图像。例如，服务器108可将第三编码图像A'发送至电子装置101。电子装置101的HEVC解码器1722可从编码图像存储器1701接收第一编码图像C'，并从服务器108接收第三编码图像A'。HEVC解码器1722可独立地对第一编码图像C'进行解码，并参照解码所得的第一校正图像C解码第三编码图像A'从而生成第四校正图像D。第四校正图像D可与第三校正图像A大致相同。电子装置101可将第四校正图像D存储在存储器130的图像存储器621(例如，DRAM 620)中。
图18是示出根据各实施方式的用于操作电子装置和服务器的方法的视图。
电子装置101可包括图像传感器230、ISP 260和存储器130。服务器108可包括识别模块1831、ISP 274和存储器280。识别模块1831(例如，引擎272的至少一部分)可以是逻辑模块，并可使用服务器108的处理器进行配置。例如，服务器108的处理器既可执行识别又可执行图像处理。虽然未示出，但电子装置101可包括能够向服务器108发送数据和从服务器108接收数据的通信模块190。服务器108可包括能够向电子装置101发送数据和从电子装置101接收数据的通信模块284。
图像传感器230可获取外部目标的图像，并生成与所获取的图像对应的原始图像1822。图像传感器230可将原始图像1822发送至ISP260。根据本公开各实施方式，图像传感器230可生成轻量级图像1821并经由通信模块将轻量级图像1821发送至服务器108。在另一示例性实施方式中，代替图像传感器230，电子装置101的处理器可生成轻量级图像1821并经由通信模块将轻量级图像1821发送至服务器108。图像传感器230可压缩轻量级图像1821并将压缩的轻量级图像1821存储在图像传感器230的存储器中，以处理原始图像1822的一部分。服务器108的识别模块1831可经由通信模块获取轻量级图像1821，并将轻量级图像1821分割成至少一个图像区域。识别模块1831可识别由分割产生的至少一个图像区域中的每一个。可生成包括与由识别模块1831生成的多个图像区域有关的信息(例如，与坐标有关的信息)和图像区域的识别结果中的至少一个的校正区域信息1832。例如，如图2D中所示的校正区域信息1832可被发送至电子装置101。ISP 260可通过使用校正区域信息1832校正原始图像1822，从而生成校正图像1824。校正图像1824可具有例如YUV格式。校正图像1824可存储在存储器130中。此外，校正图像1824可例如以JPEG格式进行压缩，并且压缩图像可被存储在存储器130中。
根据各实施方式，图像传感器230提供的原始图像1822可与轻量级图像1821分开地发送至服务器108。由于原始图像1822在大小上比轻量级图像1821大，因此可首先将轻量级图像1821发送至服务器108，并随后将原始图像1822发送至服务器108。例如，可在ISP260正在校正原始图像1822的同时将原始图像1822发送至服务器108。原始图像1822可在由图像传感器230生成时便被上传至服务器108，或在通过镜头失真补偿或噪声消除进行预处理之后上传至服务器108。可在服务器108中执行上述预处理。服务器108可执行用于去马赛克、转换图像格式和/或增加图像识别率的预处理。服务器108的ISP274可校正所接收的原始图像1822。服务器108可通过使用先前生成的校正区域信息1832或通过使用扩展的校正区域信息来校正原始图像1822。原始图像1822可具有比轻量级图像1821更高的分辨率，并因而服务器108可从高分辨率图像获取具体的扩展校正区域信息。ISP274可通过使用先前生成的校正区域信息和原始图像1822二者来生成扩展校正区域信息。ISP 274可通过使用扩展校正区域信息校正原始图像1822来获取高分辨率图像1834。高分辨率图像1834可被存储在服务器108的存储器280中并被下载至电子装置101。此外，服务器108可通过将与在电子装置101的ISP 260中使用的图像处理方案相同的图像处理方案应用于原始图像1822来生成校正图像。服务器108可将与高分辨率图像1834和所生成的校正图像之间的差异图像有关的信息发送至电子装置101。电子装置101可通过使用所接收的差异图像信息和校正图像1824生成高分辨率图像1834。
根据各实施方式的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施方式，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开各实施方式以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施方式，而是包括针对相应实施方式的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接至另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施方式，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各实施方式实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或多个其它部件的情况下调用存储在存储介质中的所述一个或多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施方式，可在计算机程序产品中包括和提供根据本公开各实施方式的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各实施方式，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各实施方式，可省略上述部件中的一个或多个部件，或者可添加一个或多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各实施方式，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或多个功能。根据各实施方式，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或多个操作可按照不同的顺序来运行或被省略，或者可添加一个或多个其它操作。
根据各实施方式，可提供存储指令的存储介质。这些指令配置成：当由至少一个电路运行时使至少一个电路执行至少一个操作。至少一个操作可包括：获取外部目标的原始图像；通过第一图像处理方案从原始图像生成第一校正图像；将原始图像发送至外部电子装置，以使得外部电子装置生成与第二校正图像和第三校正图像之间的差异对应的差异图像信息，其中，第二校正图像通过以第一图像处理方案处理原始图像生成且第三校正图像通过以第二图像处理方案处理原始图像生成；以及通过使用差异图像信息进一步校正第一校正图像，以使经进一步校正的第一校正图像与第三校正图像对应。
根据各实施方式，生成第一校正图像可包括：针对原始图像的至少一个区域以与第一效果对应的第一图像处理方案生成第一校正图像。
根据各实施方式，至少一个操作还可包括：接收基于以第一图像处理方案生成的第二校正图像与以第二图像处理方案生成的第三校正图像之间的差异而生成的差异图像信息，其中，第一图像处理方案用于第一效果并且第二图像处理方案用于原始图像的至少一个区域且与第二效果对应。第二图像处理方案可能需要比第一图像处理方案大的计算量。
根据各实施方式，至少一个操作还可包括：从外部电子装置接收通过对差异图像信息进行无损压缩而生成的压缩差异图像信息。
根据各实施方式，至少一个操作还可包括：通过对所接收的基于无损压缩而被压缩的差异图像信息进行解压来获取差异图像。
根据各实施方式，进一步校正第一校正图像可包括：通过将差异图像与第一校正图像相加来生成与第三校正图像对应的图像。
根据各实施方式，经由通信模块将原始图像发送至外部电子装置可包括：通过压缩原始图像来生成已压缩原始图像，并经由通信模块将已压缩原始图像发送至外部电子装置。
根据各实施方式，至少一个操作还可包括：接收基于第二校正图像与第三校正图像之间的差异而生成的差异图像信息，其中，第二校正图像在将已压缩原始图像解压之后以第一图像处理方案生成，并且第三校正图像在将已压缩原始图像解压之后以第二图像处理方案生成。
根据各实施方式，将原始图像发送至外部电子装置可包括：向外部电子装置发送至少一条标识信息，其中，所述至少一条标识信息标识所述电子装置、与至少一个处理器有关的信息中的至少一部分和存储在电子装置中的第一图像处理方案中的至少一个。
根据各实施方式，至少一个操作还可包括：接收基于第三校正图像与以第一图像处理方案生成的第二校正图像之间的差异而生成的差异图像信息，其中，第一图像处理方案至少基于至少一条标识信息而被选择。
根据各实施方式，至少一条标识信息可包括在原始图像的元数据中，或者独立于原始图像的数据而配置。
根据各实施方式，至少一个操作还可包括：通过以HEVC编码方案之中不需要另一帧图像的第一编码方案对第一校正图像进行编码来生成第一编码图像。
根据各实施方式，至少一个操作还可包括：从外部电子装置接收第二编码图像，该第二编码图像通过参照第二校正图像以HEVC编码方案之中需要另一帧图像的第二编码方案对第三校正图像进行编码而获得。
根据各实施方式，进一步校正第一校正图像可包括：通过对第一编码图像和第二编码图像进行解码，生成与第三校正图像对应的图像。
根据各实施方式，可提供存储指令的存储介质。所述指令配置成当由至少一个电路运行时使至少一个电路执行至少一个操作。至少一个操作可包括：接收由外部电子装置获取的原始图像；生成与第一校正图像和第二校正图像之间的差异对应的差异图像信息，其中，该第一校正图像通过以与外部电子装置对应地设置的第一图像处理方案处理原始图像而生成，并且该第二校正图像通过以与电子装置对应地设置的第二图像处理方案处理原始图像而生成；以及将差异图像信息发送至外部电子装置。
根据各实施方式，生成差异图像信息可包括：通过对差异图像信息进行无损压缩来生成压缩的差异图像信息。
根据各实施方式，接收原始图像可包括：接收标识外部电子装置中的至少一个的至少一条标识信息、与外部电子装置的至少一个处理器有关的至少一部分信息或存储在外部电子装置中的第一图像处理方案，并且生成差异图像信息可包括：基于第一校正图像与第二校正图像之间的差异来生成差异图像信息，其中，该第一校正图像以至少基于至少一条标识信息所选择的第一图像处理方案而被生成。
根据各实施方式，至少一条标识信息可包括在原始图像的元数据中，或者独立于原始图像的数据而配置。
根据各实施方式，生成差异图像信息可包括：通过参照第一校正图像以HEVC编码方案之中需要另一帧图像的第二编码方案对第二校正图像进行编码来生成编码图像，并且发送差异图像信息可包括：将编码图像发送至外部电子装置。
根据各实施方式，可提供存储指令的存储介质。所述指令配置成当由至少一个电路运行时使至少一个电路执行至少一个操作。至少一个操作可包括：通过使用相机获取外部目标的原始图像；通过将原始图像的格式转换成预定格式来生成第一转换图像；经由通信模块将原始图像发送至外部电子装置；经由通信模块从外部电子装置接收第二转换图像与第一校正图像之间的差异图像信息，其中，第二转换图像通过将原始图像的格式转换成预定格式而生成并且第一校正图像通过将存储在外部电子装置中的图像处理方案应用于原始图像而生成；以及通过使用所接收的差异图像信息和第一转换图像生成与第一校正图像对应的第二校正图像。
根据各实施方式，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据示例性实施方式，可省略上述部件中的一个或多个部件，或者可添加一个或多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各实施方式，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行的一个或多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或多个功能。根据各实施方式，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以试探式方式来执行，或者所述操作中的一个或多个操作可按照不同的顺序来运行或被省略，或者可添加一个或多个其它操作。
如根据前文的描述显而易见，可提供根据各种示例性实施方式的电子装置和用于操作电子装置的方法，其中，原始图像被发送至云服务器，从云服务器接收原始图像与校正图像之间的差异(在电子装置的ISP中可能难以获得或耗费很多时间方可获得)，并且通过使用原始图像及该差异生成由云服务器校正的图像。因此，即使电子装置不支持最新的校正算法或包括低规格的ISP，也可执行可能由最新算法或高规格电子装置执行的图像校正。
虽然已经示出并参照本公开的某些示例性实施方式描述了本公开，但本领域技术人员将理解，在不背离如由所附权利要求及其等同限定的本公开的精神和范围的情况下，可在形式和细节上对本公开作出多种改变。

Claims (15)

1.电子装置，包括：
相机；
通信模块；以及
至少一个处理器，
其中，所述至少一个处理器配置成：
通过使用所述相机获取外部目标的原始图像，
通过第一图像处理方案由所述原始图像生成第一校正图像，
控制经由所述通信模块将所述原始图像发送至外部电子装置，以使所述外部电子装置能够生成与第二校正图像和第三校正图像之间的差异对应的差异图像信息，其中所述第二校正图像通过以所述第一图像处理方案处理所述原始图像而生成且所述第三校正图像通过以第二图像处理方案处理所述原始图像而生成，
从所述外部电子装置接收所述差异图像信息，以及
通过使用所述差异图像信息进一步校正所述第一校正图像，使得经进一步校正的所述第一校正图像与所述第三校正图像对应。
2.根据权利要求1所述的电子装置，其中，所述第一图像处理方案为所述原始图像的至少一个区域提供第一效果。
3.根据权利要求2所述的电子装置，其中，所述第一图像处理方案用于所述第一效果，并且所述第二图像处理方案用于针对所述原始图像的至少一个区域的第二效果，以及
其中，所述第二图像处理方案需要比所述第一图像处理方案更大的计算量。
4.根据权利要求1所述的电子装置，其中，所接收的差异图像信息包括通过对所述差异图像信息进行无损压缩而生成的压缩差异图像信息。
5.根据权利要求4所述的电子装置，其中，所述至少一个处理器配置成：通过对所接收的基于所述无损压缩所得的压缩差异图像信息进行解压来获取所述差异图像信息。
6.根据权利要求5所述的电子装置，其中，通过将所述差异图像信息与所述第一校正图像相加来进一步校正所述第一校正图像。
7.根据权利要求1所述的电子装置，其中，所述至少一个处理器配置成：通过压缩所述原始图像来生成已压缩原始图像，并控制经由所述通信模块将所述已压缩原始图像发送至所述外部电子装置。
8.根据权利要求7所述的电子装置，其中，在所述已压缩原始图像被解压之后以所述第一图像处理方案生成所述第二校正图像，并在所述已压缩原始图像被解压之后以所述第二图像处理方案生成所述第三校正图像。
9.根据权利要求1所述的电子装置，其中，所述至少一个处理器配置成：控制向所述外部电子装置发送至少一条标识信息，所述至少一条标识信息标识所述电子装置、与所述至少一个处理器有关的信息中的至少一部分和存储在所述电子装置中的第一图像处理方案中的至少一个。
10.根据权利要求9所述的电子装置，其中，至少基于所述至少一条标识信息来选择所述第一图像处理方案。
11.根据权利要求10所述的电子装置，其中，所述至少一条标识信息包括在所述原始图像的元数据中，或者独立于所述原始图像的数据而配置。
12.根据权利要求1所述的电子装置，其中，所述至少一个处理器配置成：通过以高效视频编码HEVC编码方案之中不需要另一帧图像的第一编码方案对所述第一校正图像进行编码，来生成第一编码图像。
13.根据权利要求12所述的电子装置，其中，所述至少一个处理器配置成：控制从所述外部电子装置接收第二编码图像，其中所述第二编码图像通过参照所述第二校正图像以所述HEVC编码方案之中需要另一帧图像的第二编码方案对所述第三校正图像进行编码而获得。
14.根据权利要求13所述的电子装置，其中，所述至少一个处理器配置成：通过对所述第一编码图像和所述第二编码图像进行解码，生成与所述第三校正图像对应的图像。
15.用于控制电子装置的方法，所述方法包括：
通过使用所述电子装置的相机获取外部目标的原始图像，
通过第一图像处理方案由所述原始图像生成第一校正图像，
经由所述电子装置的通信模块将所述原始图像发送至外部电子装置，以使所述外部电子装置能够生成与第二校正图像和第三校正图像之间的差异对应的差异图像信息，其中所述第二校正图像通过以所述第一图像处理方案处理所述原始图像而生成且所述第三校正图像通过以第二图像处理方案处理所述原始图像而生成，
从所述外部电子装置接收所述差异图像信息，以及
通过使用所述差异图像信息校正所述第一校正图像，使得经校正的所述第一校正图像与所述第三校正图像对应。
CN201811178408.2A 2017-10-10 2018-10-10 使用外部电子装置处理原始图像的方法和电子装置 Pending CN109658338A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170129143A KR102495753B1 (ko) 2017-10-10 2017-10-10 카메라를 이용하여 획득한 원시 이미지를 외부 전자 장치를 이용하여 처리하는 방법 및 전자 장치
KR10-2017-0129143 2017-10-10

Publications (1)

Publication Number Publication Date
CN109658338A true CN109658338A (zh) 2019-04-19

Family

ID=65992762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811178408.2A Pending CN109658338A (zh) 2017-10-10 2018-10-10 使用外部电子装置处理原始图像的方法和电子装置

Country Status (5)

Country Link
US (1) US10812830B2 (zh)
EP (1) EP3471395B1 (zh)
KR (1) KR102495753B1 (zh)
CN (1) CN109658338A (zh)
WO (1) WO2019074252A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242087A (zh) * 2020-01-21 2020-06-05 华为技术有限公司 物体识别方法及装置
CN111491152A (zh) * 2020-04-10 2020-08-04 中国联合网络通信集团有限公司 全息投影装置和方法
CN113905219A (zh) * 2020-06-22 2022-01-07 佳能株式会社 图像处理设备和方法、图像处理系统、控制方法和介质
CN114760480A (zh) * 2021-01-08 2022-07-15 华为技术有限公司 图像处理方法、装置、设备及存储介质
CN114846809A (zh) * 2019-12-27 2022-08-02 三星电子株式会社 具有动态色调元数据的视频编辑的电子装置及其运行方法
CN117939751A (zh) * 2024-03-25 2024-04-26 济宁医学院附属医院 一种紫外线的灯光控制系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102592061B1 (ko) 2018-02-14 2023-10-23 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 처리 방법
KR102499399B1 (ko) 2018-03-20 2023-02-14 삼성전자주식회사 Isp 업데이트를 알리는 전자 장치 및 그 동작 방법
KR102553150B1 (ko) 2018-03-23 2023-07-10 삼성전자주식회사 외부 전자 장치와 이미지를 처리하는 전자 장치 및 그 동작 방법
KR102609734B1 (ko) 2018-07-20 2023-12-05 삼성전자 주식회사 전자 장치 및 이미지의 전송 상태에 기반하여 이미지를 보정하는 방법
JP7403279B2 (ja) * 2019-10-31 2023-12-22 キヤノン株式会社 画像処理装置および画像処理方法
EP3975129A1 (en) * 2020-09-25 2022-03-30 Medit Corp. Image processing method providing a reliability representation mode and apparatus using the same
CN114697723B (zh) * 2020-12-28 2024-01-16 北京小米移动软件有限公司 一种视频生成方法、装置及介质
US11967117B2 (en) * 2022-03-22 2024-04-23 Varjo Technologies Oy Cloud-based training and camera correction

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040093432A1 (en) * 2002-11-07 2004-05-13 Eastman Kodak Company Method and system for conducting image processing from a mobile client device
CN1897636A (zh) * 2005-05-25 2007-01-17 阿瓦戈科技传感器Ip股份有限公司 利用中心图像校正数据来处理图像的系统和方法
JP2007215001A (ja) * 2006-02-10 2007-08-23 Canon Inc 画像処理装置、画像処理システム及び画像処理方法
US20110034209A1 (en) * 2007-06-18 2011-02-10 Boris Rubinsky Wireless technology as a data conduit in three-dimensional ultrasonogray
CN102769756A (zh) * 2011-05-02 2012-11-07 索尼公司 图像处理设备、图像处理方法和程序

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717459B2 (en) * 2008-12-11 2014-05-06 Texas Instruments Incorporated Method and apparatus for improving automatic white balance with scene information
WO2012063480A1 (ja) * 2010-11-10 2012-05-18 パナソニック株式会社 奥行き情報生成装置、奥行き情報生成方法、および、ステレオ画像変換装置
WO2014084381A1 (ja) * 2012-11-30 2014-06-05 株式会社 東芝 画像処理装置及び画像処理方法
US9225979B1 (en) * 2013-01-30 2015-12-29 Google Inc. Remote access encoding
US9936200B2 (en) * 2013-04-12 2018-04-03 Qualcomm Incorporated Rice parameter update for coefficient level coding in video coding process
KR102173107B1 (ko) * 2013-12-11 2020-11-02 삼성전자주식회사 클라우드 서버 기반 영상 처리 방법, 단말 및 시스템
KR102228457B1 (ko) * 2014-01-09 2021-03-16 삼성전자주식회사 단말과 서버간의 정보 동기화 방법 및 시스템
JP6512916B2 (ja) * 2014-06-16 2019-05-15 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
US9311735B1 (en) * 2014-11-21 2016-04-12 Adobe Systems Incorporated Cloud based content aware fill for images
JP6549898B2 (ja) * 2015-05-20 2019-07-24 株式会社日立製作所 物体検出システム、物体検出方法、ｐｏｉ情報作成システム、警告システム、及び誘導システム
US10063861B2 (en) * 2015-10-07 2018-08-28 Qualcomm Incorporated Methods and systems of performing predictive random access using a background picture
US20170109912A1 (en) * 2015-10-15 2017-04-20 Motorola Mobility Llc Creating a composite image from multi-frame raw image data
KR102482067B1 (ko) * 2015-11-27 2022-12-28 삼성전자주식회사 전자 장치 및 그의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040093432A1 (en) * 2002-11-07 2004-05-13 Eastman Kodak Company Method and system for conducting image processing from a mobile client device
CN1897636A (zh) * 2005-05-25 2007-01-17 阿瓦戈科技传感器Ip股份有限公司 利用中心图像校正数据来处理图像的系统和方法
JP2007215001A (ja) * 2006-02-10 2007-08-23 Canon Inc 画像処理装置、画像処理システム及び画像処理方法
US20110034209A1 (en) * 2007-06-18 2011-02-10 Boris Rubinsky Wireless technology as a data conduit in three-dimensional ultrasonogray
CN102769756A (zh) * 2011-05-02 2012-11-07 索尼公司 图像处理设备、图像处理方法和程序

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114846809A (zh) * 2019-12-27 2022-08-02 三星电子株式会社 具有动态色调元数据的视频编辑的电子装置及其运行方法
CN114846809B (zh) * 2019-12-27 2024-05-28 三星电子株式会社 具有动态色调元数据的视频编辑的电子装置及其运行方法
CN111242087A (zh) * 2020-01-21 2020-06-05 华为技术有限公司 物体识别方法及装置
CN111242087B (zh) * 2020-01-21 2024-06-07 华为技术有限公司 物体识别方法及装置
CN111491152A (zh) * 2020-04-10 2020-08-04 中国联合网络通信集团有限公司 全息投影装置和方法
CN111491152B (zh) * 2020-04-10 2022-01-21 中国联合网络通信集团有限公司 全息投影装置和方法
CN113905219A (zh) * 2020-06-22 2022-01-07 佳能株式会社 图像处理设备和方法、图像处理系统、控制方法和介质
US11922598B2 (en) 2020-06-22 2024-03-05 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN113905219B (zh) * 2020-06-22 2024-05-10 佳能株式会社 图像处理设备和方法、图像处理系统、控制方法和介质
CN114760480A (zh) * 2021-01-08 2022-07-15 华为技术有限公司 图像处理方法、装置、设备及存储介质
CN117939751A (zh) * 2024-03-25 2024-04-26 济宁医学院附属医院 一种紫外线的灯光控制系统
CN117939751B (zh) * 2024-03-25 2024-06-04 济宁医学院附属医院 一种紫外线的灯光控制系统

Also Published As

Publication number Publication date
WO2019074252A1 (en) 2019-04-18
US20190110077A1 (en) 2019-04-11
EP3471395B1 (en) 2022-12-07
EP3471395A3 (en) 2019-06-26
KR102495753B1 (ko) 2023-02-03
US10812830B2 (en) 2020-10-20
KR20190040416A (ko) 2019-04-18
EP3471395A2 (en) 2019-04-17

Similar Documents

Publication Publication Date Title
CN109658338A (zh) 使用外部电子装置处理原始图像的方法和电子装置
KR102385188B1 (ko) 외부 전자 장치에서 생성된 정보를 이용하여 이미지 데이터를 처리하는 방법 및 전자 장치
KR102385365B1 (ko) 전자 장치 및 전자 장치에서 이미지 데이터를 압축하는 방법
KR102412007B1 (ko) 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법
US11516482B2 (en) Electronic device and image compression method of electronic device
EP3707671B1 (en) Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme
CN109756763B (zh) 用于基于优先级处理图像的电子装置及其操作方法
US10929961B2 (en) Electronic device and method for correcting images using external electronic device
US10867372B2 (en) Electronic device and method for correcting images based on image feature information and image correction scheme
US11393078B2 (en) Electronic device and method for correcting image on basis of image transmission state
US10970587B2 (en) Electronic device for notifying of update of image signal processing and method for operating the same
US11425300B2 (en) Electronic device and method for processing image by electronic device
EP3928236B1 (en) Electronic device and method for securing personal information included in image
CN115516494A (zh) 用于生成图像的方法及其电子装置
US20190349519A1 (en) Electronic device and image processing method therefor
US11477443B2 (en) Electronic device for performing image compression and operating method of electronic device
US20200320298A1 (en) Electronic device for performing image processing and method thereof
US20200244835A1 (en) Electronic device for processing file including multiple related pieces of data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination