CN110651296B - 处理通过使用照相机获取的图像的电子设备及其操作方法 - Google Patents
处理通过使用照相机获取的图像的电子设备及其操作方法 Download PDFInfo
- Publication number
- CN110651296B CN110651296B CN201880033727.6A CN201880033727A CN110651296B CN 110651296 B CN110651296 B CN 110651296B CN 201880033727 A CN201880033727 A CN 201880033727A CN 110651296 B CN110651296 B CN 110651296B
- Authority
- CN
- China
- Prior art keywords
- image
- electronic device
- external electronic
- processor
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title description 25
- 238000011017 operating method Methods 0.000 title description 3
- 238000012937 correction Methods 0.000 claims abstract description 265
- 238000004891 communication Methods 0.000 claims abstract description 191
- 238000000034 method Methods 0.000 claims description 68
- 230000011218 segmentation Effects 0.000 claims description 39
- 230000000694 effects Effects 0.000 claims description 22
- 230000006835 compression Effects 0.000 description 44
- 238000007906 compression Methods 0.000 description 44
- 238000010586 diagram Methods 0.000 description 34
- 230000006870 function Effects 0.000 description 27
- 230000006837 decompression Effects 0.000 description 23
- 230000008569 process Effects 0.000 description 22
- 238000004422 calculation algorithm Methods 0.000 description 19
- 239000008186 active pharmaceutical agent Substances 0.000 description 14
- 239000003086 colorant Substances 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 9
- 230000001413 cellular effect Effects 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 244000025254 Cannabis sativa Species 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000003702 image correction Methods 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000002087 whitening effect Effects 0.000 description 4
- 238000005282 brightening Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 229920000742 Cotton Polymers 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000002583 angiography Methods 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 210000003298 dental enamel Anatomy 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000005669 field effect Effects 0.000 description 2
- 239000008103 glucose Substances 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- SLVOVFVZZFUEAS-UHFFFAOYSA-N 2-[2-[2-[bis(carboxymethyl)amino]ethoxy]ethyl-(carboxymethyl)amino]acetic acid Chemical compound OC(=O)CN(CC(O)=O)CCOCCN(CC(O)=O)CC(O)=O SLVOVFVZZFUEAS-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- -1 electricity Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
公开了一种电子设备。该电子设备包括照相机、通信模块和处理器。处理器可操作地与照相机和通信模块耦接。处理器被配置为：使用照相机获得对应于外部对象的第一图像。处理器还被配置为使用第一图像生成数据尺寸小于第一图像的第二图像。处理器还被配置为通过通信模块将第二图像传输到外部电子设备。处理器还被配置为通过通信模块从外部电子设备接收校正区域信息。该校正区域信息是基于与从第二图像识别的图像区域相关联的信息。处理器还被配置为基于校正区域信息的至少一部分使用第一图像来执行校正。
Description
技术领域
本公开的各种实施例涉及处理使用相机获得的图像的电子设备及其操作方法。
背景技术
图像处理电子设备能够通过图像传感器获得原始图像，并且经由使用它们的嵌入式图像信号处理器(image signal processors，ISP)来处理获得的原始图像。图像信号处理器可以使用图像质量增强器算法处理接收到的原始图像，并因此可以提供图像质量增强的图像。图像处理器可以执行各种类型的处理，诸如白平衡、颜色调整(例如颜色矩阵、颜色校正或颜色增强)、滤色器阵列插值、鼻子缩小或锐化、图像增强(例如高动态范围(high-dynamic-range，HDR)、面部检测等。从图像信号处理器输出的图像可以具有例如YUV格式。从图像信号处理器输出的图像可以是例如JPEG压缩的，并且被压缩的图像可以存储在电子设备中。
以上信息被呈现为背景信息仅仅是为了帮助理解本公开。对于以上任何一个是否可以作为现有技术应用于本公开，没有做出确定，也没有做出断言。
发明内容
技术问题
同时，正在提供图像处理云系统服务来备份图像和生成新的媒体内容。难以在终端设备上执行的图像匹配方案或其他基于计算机视觉的技术可以应用于被上传到云服务器上的图像。例如，云服务器可以使用基于机器学习的软件来执行图像识别。
ISP通常被放置在电子设备的应用处理器(application processor，AP)中。这导致芯片成本上升和过热问题。随着传感器规格变化和处理算法的相应修改，图像处理电子设备中需要配备新硬件类型的ISP。
问题解决方案
根据本公开的一个实施例，图像处理电子设备能够从云服务器获得图像校正信息，对于电子设备的ISP来说难以产生或需要很长时间来产生该图像校正信息，并且使用获得的校正信息来处理图像。因此，图像校正可以通过最先进的算法来实现。
根据本公开的实施例，电子设备可以包括照相机、通信模块以及功能上与照相机和通信模块连接的处理器，其中处理器可以被配置为：使用照相机获得对应于外部对象的第一图像，使用第一图像生成数据尺寸小于第一图像的第二图像，通过通信模块将第二图像传输到外部电子设备，使得外部电子设备基于与从第二图像识别的图像区域相关联的信息生成校正区域信息，通过通信模块从外部电子设备接收所生成的校正区域信息，以及基于校正区域信息的至少一部分使用第一图像执行校正。
根据本公开的实施例，电子设备可以包括通信模块和功能上与通信模块连接的处理器，其中处理器可以被配置为：通过通信模块从另一电子设备获得第一图像，基于第一图像识别从第一图像识别至少一个图像区域，至少基于与至少一个图像区域相关联的信息生成对应于第一图像的校正区域信息，以及通过通信模块将校正区域信息传输到外部电子设备。
根据本公开的实施例，电子设备可以包括照相机、通信模块以及功能上与照相机和通信模块连接的处理器，其中处理器可以被配置为：使用照相机获得对应于外部对象的第一图像，使用第一图像生成数据尺寸小于第一图像的第二图像，通过通信模块将第二图像传输到外部电子设备，使得外部电子设备生成像素调整信息以调整第二图像的至少一部分中的每一个像素，通过通信模块从外部电子设备接收所生成的像素调整信息，以及使用接收到的像素调整信息校正第一图像的至少一部分中的每一个像素。
根据本公开的实施例，电子设备可以包括照相机、通信模块、显示器以及功能上与照相机和通信模块连接的处理器，其中处理器可以被配置为：使用照相机获得对应于外部对象的第一图像，使用第一图像生成数据尺寸小于第一图像的第二图像，通过通信模块将第一图像和第二图像传输到外部电子设备，通过通信模块从外部电子设备接收在第一图像被通过第二图像获得的校正区域信息校正之后被编码的图像，解码接收到的被编码的图像并显示被解码的图像，响应于该传输，通过通信模块从外部电子设备接收在第一图像被校正之后被压缩的图像，以及存储接收到的被压缩的图像。
根据本公开的实施例，电子设备可以包括照相机、通信模块以及功能上与照相机和通信模块连接的处理器，其中处理器可以被配置为：使用照相机获得用于构成视频的多个图像，使用被包括在多个图像的第一部分中的第一图像生成数据尺寸小于第一图像的第一轻量级图像，通过通信模块将第一轻量级图像传输到外部电子设备，接收基于第一轻量级图像生成的第一校正区域信息，基于第一校正区域信息校正被包括在第一部分中的图像，使用被包括在多个图像的第二部分中的第二图像生成数据尺寸小于第一图像的第二轻量级图像，通过通信模块将第二轻量级图像传输到外部电子设备，接收基于第二轻量级图像生成的第二校正区域信息，以及基于第二校正区域信息校正被包括在第二部分中的图像。
根据以下结合附图公开了本公开的示例性实施例的详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见。
在实施下面的具体实施例之前，阐述贯穿本专利文件所使用的某些单词和短语的定义可能是有利的：术语“包括”和“包含”及其派生词是指包括但不限于；术语“或”是包含性的，意思是和/或；短语“与……相关联”和“与之相关联”及其派生词可以指包括、被包括在内、与……互连、包含、被包含在内、连接到或与……连接、耦接到或与……耦接、与……传达、与……合作、交织、并置、接近于、绑定到或与……绑定、具有、具有属性等；术语“控制器”是指控制至少一个操作的任何设备、系统或其一部分，这样的设备可以用硬件、固件或软件，或至少两者的某种组合来实现。应当注意，与任何特定控制器相关联的功能可以是集中式的或分布式的，无论是本地的还是远程的。
此外，下面描述的各种功能可以由一个或多个计算机程序来实施或支持，计算机程序中的每一个由计算机可读程序代码形成并体现在计算机可读介质中。术语“应用”和“程序”是指一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其适于在合适的计算机可读程序代码中实施的部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质，诸如只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、硬盘驱动器、光盘(compact disc，CD)、数字视频光盘(digital video disc，DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质不包括运送暂时性电信号或其他信号的有线、无线、光学或其他通信链路。一种非暂时性计算机可读介质，包括数据可以被永久存储的介质和数据可以被存储并随后被重写的介质，诸如可重写光盘或可擦除存储设备。
贯穿本专利文件提供了某些单词和短语的定义，本领域普通技术人员应该理解，在许多情况下，如果不是大多数情况下，这些定义适用于这些定义的单词和短语的先前以及将来的使用。
发明的有益效果
根据本公开的各种实施例，可以提供一种电子设备及其操作方法，该电子设备可以从外部电子设备接收图像校正信息，并基于接收到的图像校正信息处理图像。
附图说明
由于当结合附图考虑时，通过参考以下的详细描述，本公开及其许多附带方面变得更好理解，所以将容易获得对本公开及其许多附带方面的更完整的理解，其中：
图1示出了根据本公开实施例的电子设备和网络的框图；
图2示出了根据本公开实施例的电子设备的框图；
图3示出了根据本公开实施例的程序模块的框图；
图4A示出了描绘根据本公开实施例的电子设备和外部电子设备的操作的流程图；
图4B示出了描绘根据本公开实施例的电子设备和外部电子设备的操作的概念图；
图4C示出了描绘根据本公开实施例的用于操作电子设备和外部电子设备的方法的流程图；
图5示出了根据本公开实施例的电子设备和外部电子设备的框图；
图6示出了描绘根据本公开实施例的外部电子设备的操作的流程图；
图7A示出了根据本公开实施例的用于生成校正区域信息的过程的概念图；
图7B示出了描绘根据本公开实施例的校正区域信息的概念图；
图8示出了描绘根据本公开实施例的生成校正区域信息的示例的概念图；
图9示出了描绘根据本公开实施例的电子设备和外部电子设备的操作的流程图；
图10示出了根据本公开实施例的图像传感器的框图；
图11A和图11B示出了描绘根据本公开实施例的用于操作电子设备和外部电子设备的方法的流程图；
图12示出了根据本公开实施例的电子设备和外部电子设备的框图；
图13示出了描绘根据本公开实施例的生成扩展的校正区域信息的示例的概念图；
图14示出了根据本公开实施例的电子设备的ISP和外部电子设备的ISP的框图；
图15示出了根据本公开实施例的使用图像分类来增强自动白平衡(auto whitebalance，AWB)精度的示例的概念图；
图16A和图16B示出了根据本公开实施例的用于描述图像质量增强的图像视图；
图17示出了根据本公开实施例的电子设备和外部电子设备的框图；
图18A至图18C示出了描绘根据本公开实施例的用于生成小原始图像和增强图像的示例的概念图；
图19示出了根据本公开实施例的电子设备和外部电子设备的框图；
图20示出了根据本公开实施例的包括多个图像传感器的电子设备的框图；
图21示出了描绘根据本公开实施例的用于操作电子设备和外部电子设备的方法的流程图；以及
图22示出了说明根据本公开实施例的视频帧的概念图。
贯穿附图，相似的参考标记将被理解为指代相似的部件、组件和结构。
具体实施方式
下面讨论的图1至图22以及在本专利文件中用于描述本公开的原理的各种实施例仅是示例性的，并且不应当以任何方式解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可以在任何适当布置的系统或设备中实施。
下文中，参考附图描述了本公开的实施例。然而，应当理解，本公开不限于本文使用的实施例和术语，并且对其的所有改变和/或等同物或替换也属于本公开的范围。贯穿说明书和附图，相同或相似的参考名称可以用来指代相同或相似的元件。应当理解，除非上下文另有明确指示，否则单数形式“一”、和“该”包括复数引用。如本文所使用的，术语“A或B”或“A和/或B中的至少一个”可以包括A和B的所有可能的组合。如本文所使用的，术语“第一”和“第二”可以修饰各种组件，而不管其重要性和/或顺序如何，并且其用于区分组件而不限制组件。应当理解，当元件(例如第一元件)被称为(可操作地或可通信地)与另一元件(例如第二元件)耦接/耦接到另一元件，或与另一元件(例如第二元件)连接/连接到另一元件时，该元件可以直接或经由第三元件与另一元件耦接或连接/耦接到或连接到另一元件。
如本文所使用的，术语“被配置为”可以与上下文中的硬件或软件中的其他术语互换使用，诸如“适合于”、“能够”、“被修改为”、“被制成为”、“适于”、“能够”或“被设计为”。相反，术语“被配置为”可以意指设备可以与另一设备或部件一起执行操作。例如，术语“被配置为(或被设置为)执行A、B和C的处理器”可以意指可以通过运行被存储在存储器设备中的一个或多个软件程序来执行操作的通用处理器(例如CPU或应用处理器)，或者意指用于执行操作的专用处理器(例如嵌入式处理器)。
例如，根据本公开实施例的电子设备的示例可以包括智能手机、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、桌上型PC、膝上型计算机、上网本计算机、工作站、服务器、个人数字助理(personal digital assistant，PDA)、便携式多媒体播放器(portable multimedia player，PMP)、MP3播放器、医疗设备、照相机或可穿戴设备中的至少一个。可穿戴设备可以包括附件型设备(例如手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式设备(head-mounted device，HMD))、织物或衣服集成设备(例如电子衣服)、身体附着型设备(例如皮肤垫或纹身)或身体植入设备中的至少一个。在一些实施例中，智能家用电器的示例可以包括电视机、数字视频光盘(DVD)播放器、音频播放器、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、烘干机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、TV盒(例如SAMSUNG HOMESYNC、APPLE TV或GOOGLE TV)、游戏控制台(XBOX、PLAYSTATION)、电子词典、电子钥匙、摄像机或电子相框中的至少一个。
根据本公开的实施例，电子设备可以包括各种医疗设备(例如各种便携式医疗测量设备(血糖测量设备、心跳测量设备或体温测量设备)、磁资源血管造影术(magneticresource angiography，MRA)设备、磁资源成像(magnetic resource imaging，MRI)设备、计算断层摄影(computed tomography，CT)设备、成像设备或超声波设备)、导航设备、全球导航卫星系统(global navigation satellite system，GNSS)接收器、事件数据记录器(event data recorder，EDR)，飞行数据记录器(flight data recorder，FDR)、汽车信息娱乐设备、航行电子设备(例如航行导航设备或陀螺罗盘)、航空电子设备、安全设备、车辆头部单元、工业或家庭机器人、无人驾驶飞机、自动柜员机(ATM)、销售点(point of sale，POS)设备或物联网(internet of things，IoT)设备(例如灯泡、各种传感器、洒水器、火警、恒温器、路灯、烤面包机、健身装备、热水箱、加热器或锅炉)中的至少一个。根据本公开的各种实施例，电子设备的示例可以是家具的一部分、建筑物/结构或车辆、电子板、电子签名接收设备、投影仪或各种测量设备(例如用于测量水、电、气或电磁波的设备)中的至少一个。根据本公开的实施例，电子设备可以是柔性的，或者可以是以上枚举的电子设备的组合。根据本公开的实施例，电子设备不限于以上列出的实施例。如本文所使用的，术语“用户”可以表示使用电子设备的人或另一设备(例如人工智能电子设备)。
参考图1，根据本公开的实施例，电子设备101被包括在网络环境100中。电子设备101可以包括总线110、处理器120、存储器130、输入/输出接口150、显示器160和通信接口170。在一些实施例中，电子设备101可以排除组件中的至少一个或者可以添加另一组件。总线110可以包括用于将组件110至170彼此连接并在组件之间传送通信(例如控制消息或数据)的电路。处理器120可以包括中央处理器(CPU)、应用处理器(AP)或通信处理器(communication processor，CP)中的一个或多个。处理器120可以对电子设备101的其他组件中的至少一个执行控制，和/或执行与通信有关的操作或数据处理。
存储器130可以包括易失性和/或非易失性存储器。例如，存储器130可以存储与电子设备101的至少一个其他组件有关的命令或数据。根据本公开的实施例，存储器130可以存储软件和/或程序140。程序140可以包括例如内核141、中间件143、应用编程接口(application programming interface，API)145和/或应用程序(或“应用”)147。内核141、中间件143或API 145中的至少一部分可以被表示为操作系统(operating system，OS)。例如，内核141可以控制或管理用于执行在其他程序(例如中间件143、API 145或应用程序147)中实施的操作或功能的系统资源(例如总线110、处理器120或存储器130)。内核141可以提供允许中间件143、API 145或应用147访问电子设备101的各个组件以控制或管理系统资源的接口。
中间件143可以用作中继，以例如允许API 145或应用147与内核141通信传达数据。此外，中间件143可以按优先级顺序处理从应用程序147接收的一个或多个任务请求。例如，中间件143可以将使用电子设备101的系统资源(例如总线110、处理器120或存储器130)的优先级分配给应用程序147中的至少一个，并处理一个或多个任务请求。API 145是允许应用147控制从内核141或中间件143提供的功能的接口。例如，API 133可以包括至少一个接口或功能(例如命令)用于归档控制、窗口控制、图像处理或文本控制。例如，输入/输出接口150可以将从用户或其他外部设备输入的命令或数据传送到电子设备101的(多个)其他组件，或者可以将从电子设备101的(多个)其他组件接收的命令或数据输出到用户或其他外部设备。
显示器160可以包括例如液晶显示器(liquid crystal display，LCD)、发光二极管(light emitting diode，LED)显示器、有机发光二极管(organic light emittingdiode，OLED)显示器或微机电系统(microelectromechanical systems，MEMS)显示器或电子纸显示器。显示器160可以向用户显示例如各种内容(例如文本、图像、视频、图标或符号)。显示器160可以包括触摸屏，并且可以接收例如使用电子笔或用户的身体部分的触摸、手势、接近或悬停输入。例如，通信接口170可以建立电子设备101和外部电子设备(例如第一电子设备102、第二电子设备104或服务器106)之间的通信。例如，通信接口170可以通过无线或有线通信与网络162连接，以与外部电子设备(例如第二外部电子设备104或服务器106)通信。
无线通信可以包括蜂窝通信，该蜂窝通信使用例如长期演进(long termevolution，LTE)、长期演进高级(long term evolution-advanced)、码分多址(codedivision multiple access，CDMA)、宽带码分多址(wideband code division multipleaccess，WCDMA)、通用移动电信系统(universal mobile telecommunication system，UMTS)、无线宽带(wireless broadband，WiBro)或全球移动通信系统(global system formobile communication，GSM)中的至少一个。根据本公开的实施例，无线通信可以包括例如无线保真(wireless fidelity，Wi-Fi)、蓝牙、蓝牙低功率(bluetooth low power，BLE)、zigbee、近场通信(near field communication，NFC)、磁安全传输(magnetic securetransmission，MST)、射频或体域网(body area network，BAN)中的至少一个。根据本公开的实施例，无线通信可以包括全球导航卫星系统(global navigation satellite system,GNSS)。GNSS可以是例如全球定位系统(global positioning system，GPS)、全球导航卫星系统(global navigation satellite system，Glonass)、北斗导航卫星系统(以下简称“北斗”)或伽利略，或者欧洲全球卫星导航系统。下文中，术语“GPS”和“GNSS”可以在本文中互换使用。有线连接可以包括例如通用串行总线(universal serial bus，USB)、高清晰度多媒体接口(high definition multimedia interface，HDMI)、推荐标准(recommendedstandard，RS)-232、电力线通信(power line communication，PLC)或普通老式电话服务(plain old telephone service，POTS)中的至少一个。网络162可以包括电信网络中的至少一个，例如，计算机网络(例如局域网(LAN)或广域网(WAN))、互联网或电话网络。
第一外部电子设备102和和第二外部电子设备104各自可以是与电子设备101相同或不同类型的设备。根据本公开的实施例，在电子设备101上执行的操作中的全部或一些可以在另一或多个其他电子设备(例如电子设备102和104或服务器106)上执行。根据本公开的实施例，当电子设备101应当自动地或应请求执行一些功能或服务时，电子设备101可以请求另一设备(例如电子设备102和104或服务器106)执行与其相关联的至少一些功能，而不是靠其本身或附加地执行该功能或服务。其他电子设备(例如电子设备102和104或服务器106)可以执行所请求的功能或附加功能，并将执行结果传送给电子设备101。电子设备101可以通过按原样或附加地处理接收到的结果来提供所请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算技术。
图2示出了根据本公开实施例的电子设备201的框图。电子设备201可以包括例如图1的电子设备101的全部或部分。电子设备201可以包括一个或多个处理器(例如应用处理器(AP)210、通信模块220、订户识别模块(subscriber identification module，SIM)224、存储器230、传感器模块240、输入设备250、显示器260、接口270、音频模块280、照相机模块291、电源管理模块295、电池296、指示器297和电机298)。处理器210可以通过运行例如操作系统或应用程序来控制连接到处理器210的多个硬件和软件组件，并且处理器210可以处理和计算各种数据。处理器210可以在例如片上系统(system on chip，SoC)中实施。根据本公开的实施例，处理器210还可以包括图形处理单元(graphic processing unit，GPU)和/或图像信号处理器。处理器210可以包括图2中示出的组件中的至少一些(例如蜂窝模块221)。处理器210可以将从其他组件(例如非易失性存储器)中的至少一些接收到的命令或数据加载到易失性存储器上，处理该命令或数据，并将结果数据存储在非易失性存储器中。
通信模块220(例如通信接口170)可以具有与图1的通信接口170相同或相似的配置。通信模块220可以包括，例如蜂窝模块221、无线保真(Wi-Fi)模块223、蓝牙(Bluetooth，BT)模块225、GNSS模块227、NFC模块228和RF模块229。蜂窝模块221可以通过例如通信网络提供语音呼叫、视频呼叫、文本或互联网服务。根据本公开的实施例，蜂窝模块221可以使用订户识别模块224(例如SIM卡)对通信网络中的电子设备201执行识别或认证。根据本公开的实施例，蜂窝模块221可以执行由处理器210可提供的功能中的至少一些。根据本公开的实施例，蜂窝模块221可以包括通信处理器(CP)。根据本公开的实施例，蜂窝模块221、Wi-Fi223、蓝牙模块225、GNSS模块227或NFC模块228中的至少一些(例如两个或更多个)可以被包括在单个集成电路(integrated circuit，IC)或IC封装中。RF模块229可以通信传达数据，例如通信信号(例如RF信号)。RF模块229可以包括例如收发器、功率放大器模块(power ampmodule，PAM)、频率滤波器、低噪声放大器(low noise amplifier，LNA)或天线。根据本公开的实施例，蜂窝模块221、Wi-Fi 223、蓝牙模块225、GNSS模块227或NFC模块228中的至少一个可以通过单独的RF模块通信传达RF信号。订户识别模块224可以包括，例如，包括订户识别模块的卡或嵌入式SIM，并且可以包含唯一的识别信息(例如集成电路卡标识符(integrated circuit card identifier，ICCID)或订户信息(例如国际移动订户身份(international mobile subscriber identity，IMSI))。
存储器230(例如存储器130)可以包括例如内部存储器232或外部存储器234。例如，内部存储器232可以包括易失性存储器(例如动态RAM(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)或非易失性存储器(例如一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、屏蔽式ROM、闪速ROM、闪存(例如NAND闪存或NOR闪存)、硬盘驱动器或固态驱动器(solid state drive，SSD)中的至少一个。外部存储器234可以包括闪存驱动器，例如，紧凑型闪存(compact flash，CF)、安全数字(secure digital，SD)存储器、微-SD存储器、迷你-SD存储器、极限数字(xD)存储器、多媒体卡(MMC)或记忆棒TM。外部存储器234可以经由各种接口在功能上或物理上与电子设备201连接。
例如，传感器模块240可以测量电子设备201的物理量或检测电子设备201的运动状态，并且传感器模块240可以将测量或检测到的信息转换为电信号。传感器模块240可以包括，例如姿态传感器240A、陀螺仪传感器240B、大气压力传感器240C、磁传感器240D、加速度传感器240E、抓握传感器240F、接近传感器240G、颜色传感器240H(例如红-绿-蓝(RGB)传感器、生物传感器240I、温度/湿度传感器240J、照明传感器240K或紫外线(Ultra Violet，UV)传感器240M中的至少一个。附加地或替代地，传感器模块240可以包括，例如电子鼻传感器、肌电图(electromyography，EMG)传感器、脑电图(electroencephalogram，EEG)传感器、心电图(electrocardiogram，ECG)传感器、红外(infrared，IR)传感器、虹膜传感器或指纹传感器。传感器模块240还可以包括用于控制被包括在感测模块中的传感器中的至少一个或多个的控制电路。根据本公开的实施例，电子设备201还可以包括处理器，该处理器被配置为作为处理器210的一部分或者与处理器210分开地控制传感器模块240，并且当处理器1210处于睡眠模式时，电子设备2701可以控制传感器模块240。传感器模块240的至少一部分可以被包括在图1的传感器195中。
输入设备250可以包括例如触摸面板252、(数字)笔传感器254、按键256或超声波输入设备258。触摸面板252可以使用电容、电阻、红外或超声波方法中的至少一个。触摸面板252还可以包括控制电路。触摸面板252还可以包括触觉层，并且可以向用户提供触觉反应。(数字)笔传感器254可以包括例如触摸面板的一部分或用于识别的单独薄片。按键256可以包括例如物理按钮、光学按键或键盘。超声波输入设备258可以通过麦克风(例如麦克风288)感测从输入工具生成的超声波，以识别与感测到的超声波相对应的数据。
显示器260(例如显示器160)可以包括面板262、全息设备264、投影器266和/或用于控制它们的控制电路。面板262可以被实施为柔性的、透明的或可穿戴的。面板262和触摸面板252一起可以被配置在一个或多个模块中。根据本公开的实施例，面板262可以包括可以测量通过用户的触摸产生的压力的强度的压力传感器(或姿势传感器)。压力传感器可以与触摸面板252实施在单个主体中，或者可以实施在与触摸面板252分离的一个或多个传感器中。全息设备264可以通过使用光干涉在空气中制作三维(3D)图像(全息图)。投影器266可以通过将光投影到屏幕上来显示图像。屏幕可以例如位于电子设备201的内部或外部。接口270可以包括例如高清晰度多媒体接口(HDMI)272、USB 274、光学接口276或超小型设备(D-subminiature，D-sub)278。接口270可以被包括在图1中示出的通信接口170中。附加地或替代地，接口270可以包括移动高清链路(mobile high-definition link，MHL)接口、安全数字卡(SD)/多媒体卡(MMC)接口或红外数据协会(IrDA)标准接口。
音频模块280可以将例如声音信号转换成电信号，反之亦然。音频模块280的至少一部分可以被包括在例如如图1中示出的输入/输出接口145中。音频模块280可以处理通过例如扬声器282、接收器284、耳机286或麦克风288输入或输出的声音信息。例如，照相机模块291可以是用于捕获静止图像和视频的设备，并且根据本公开的实施例，可以包括一个或多个图像传感器(例如前传感器和后传感器)、透镜、图像信号处理器(ISP)或闪光灯(诸如LED或氙灯)。例如，电源管理器模块295可以管理电子设备201的电源。根据本公开的实施例，电源管理器模块295可以包括电源管理集成电路(power management Integratedcircuit，PMIC)、充电器IC或者电池或燃油计量器。PMIC可以具有有线和/或无线再充电方案。无线充电方案可以包括例如磁共振方案、磁感应方案或基于电磁波的方案，并且可以添加附加电路(诸如线圈回路、谐振电路、整流器等)用于无线充电。在电池296被充电的同时，电池计量器可以测量电池296的剩余电量、电压、电流或温度。电池296可以包括例如可充电电池或太阳能电池。当电池296处于异常状态时，放电设备292可以从电池296接收电源以生成热量。这里，电池296可以是例如电池组。感测电路293可以是能够确定电池296的异常状态的电路，并且感测电路293可以包括例如电压传感器、电流传感器、温度传感器和气体传感器中的至少一个。除了感测之外，感测电路293可以将放电设备292与电池296连接或断开，并且可以输出用于控制例如场效应晶体管(field effect transistor，FET)的控制信号。感测电路293可以独立于处理器120或者在处理器120的控制下操作。
指示器297可以指示电子设备201或电子设备的一部分(例如处理器210)的特定状态，包括例如引导状态、消息状态或再充电状态。电机298可以将电信号转换成机械振动，并且可以生成振动或触觉效果。电子设备201可以包括移动TV支持设备(例如GPU)，其可以根据例如数字多媒体广播(digital multimedia broadcasting，DMB)、数字视频广播(digital video broadcasting，DVB)或媒体流TM标准来处理媒体数据。电子设备的前述组件中的每一个可以包括一个或多个部件，并且部件的名称可以随着电子设备的类型而变化。根据各种实施例，电子设备(例如电子设备201)可以排除一些元件或包括更多元件，或者一些元件可以组合成单个实体，该实体可以执行与组合之前的元件相同的功能。
根据本公开的实施例，处理器(例如处理器120或处理器210)可以在功能上与照相机(例如照相机模块291)和通信模块(例如通信接口170或通信模块220)连接。处理器可以被配置为：使用照相机获得对应于外部对象的第一图像，使用第一图像生成数据尺寸小于第一图像的第二图像，通过通信模块将第二图像传输到外部电子设备，使得外部电子设备基于与从第二图像识别的图像区域相关联的信息生成校正区域信息，通过通信模块从外部电子设备接收所生成的校正区域信息，并且基于校正区域信息的至少一部分使用第一图像执行校正。
根据本公开的实施例，处理器(例如处理器120或处理器210)可以被配置为通过执行以下各项中的至少一个来生成第二图像：调节第一图像的分辨率、选择第一图像的多个频带中的至少一些、或者选择第一图像的多个位平面级别(bit plain level)中的至少一个。
根据本公开的实施例，处理器(例如处理器120或处理器210)可以被配置为通过通信模块将第一图像传输到外部电子设备，使得外部电子设备使用第一图像和校正区域信息生成其他校正区域信息。
根据本公开的实施例，处理器(例如处理器120或处理器210)可以被配置为通过通信模块(例如通信接口170或通信模块220)接收其他校正区域信息或由外部电子设备使用其他校正区域信息校正第一图像而生成的第四图像。
根据本公开的实施例，与至少一个图像区域相关联的信息可以包括以下各项中的至少一个：被包括在第二图像中的第一对象的位置、第一对象的对象识别结果、第一对象的对象识别结果的可靠性、被包括在第二图像中的第二对象的位置、第二对象的纹理识别结果、或第二对象的纹理识别的精度。
根据本公开的实施例，处理器(例如处理器120或处理器210)可以被配置为通过通信模块(例如通信接口170或通信模块220)从外部电子设备接收还包括图像分类信息的校正区域信息，并且使用图像分类信息或者与图像区域相关联的信息中的至少一个来校正第一图像。
根据本公开的实施例，处理器(例如处理器120或处理器210)可以被配置为通过显示器(例如显示器160)显示校正后的图像。
根据本公开的实施例，处理器(例如处理器120或处理器210)可以被配置为通过通信模块将与第一图像相关联的元数据传输到外部电子设备，并且通过通信模块接收由外部电子设备使用元数据和第二图像生成的校正区域信息。
根据本公开的一个实施例，处理器(例如处理器120或处理器210)可以被配置为执行以下各项中的至少一个：对第一图像的与被包括在校正区域信息中的对象的位置相对应的像素应用与该对象的识别结果相对应的第一效果，或者对第一图像应用与分类信息相对应的第二效果。
根据本公开的实施例，处理器(例如处理器120或处理器210)可以被配置为使用与第一图像的格式不同的格式来生成校正后的第一图像，作为校正的一部分。
根据本公开的实施例，处理器(例如处理器120或处理器210)可以被配置为使用第一图像生成第二图像和与第二图像一起构成第一图像的第五图像，并且通过通信模块将第五图像传输到外部电子设备，使得外部电子设备用第二图像和第五图像构成第一图像，并且使用校正区域信息和第一图像生成其他校正区域信息。
根据本公开的实施例，处理器(例如处理器120或处理器210)可以被配置为选择第一图像的多个频带中的一些来生成第二图像，并且选择多个频带中的其他来生成第五图像，以选择第一图像的多个位平面中的一些来生成第二图像，并且选择多个位平面中的其他来生成第五图像，或者缩小第一图像来生成第二图像，将第二图像放大到第一图像的分辨率，并且获得被放大图像和第一图像之间的差异来生成第五图像。
根据本公开的实施例，电子设备(例如服务器106)可以包括通信模块和功能上与通信模块连接的处理器。处理器可以被配置为通过通信模块从另一电子设备(例如电子设备101)获得第一图像，基于第一图像识别从第一图像识别至少一个图像区域，至少基于与至少一个图像区域相关联的信息生成对应于第一图像的校正区域信息，并且通过通信模块将校正区域信息传输到外部电子设备。
根据本公开的实施例，处理器(例如处理器120或处理器210)可以被配置为基于第二图像识别生成对应于第一图像的分类信息，并且基于分类信息或与至少一个图像区域相关联的信息中的至少一个生成校正区域信息。
根据本公开的实施例，处理器(例如处理器120或处理器210)可以被配置为通过通信模块从外部电子设备接收第一图像。
根据本公开的实施例，处理器(例如处理器120或处理器210)可以被配置为从至少一个图像区域中识别对应于对象的至少一个区域，并且使用与对象有关的信息生成校正区域信息。
根据本公开的实施例，处理器(例如处理器120或处理器210)可以被配置为从至少一个图像区域中识别与纹理相对应的至少一个区域，并且使用与纹理有关的信息生成校正区域信息。
根据本公开的实施例，处理器(例如处理器120或处理器210)可以被配置为确定与分割或分类至少一个图像区域相对应的至少一个可靠性，并且使用该至少一个可靠性生成校正区域信息。
根据本公开的实施例，处理器(例如处理器120或处理器210)可以被配置为通过通信模块从外部电子设备接收尺寸不同于第一图像的第二图像，并且使用第二图像和校正区域信息生成其他校正区域信息。
根据本公开的实施例，处理器(例如处理器120或处理器210)可以被配置为基于其他校正区域信息的至少部分，生成使用第二图像来校正的第三图像。
根据本公开的实施例，处理器(例如处理器120或处理器210)可以被配置为基于其他校正区域信息的至少部分来识别第二图像的第一区域和第二区域用于校正，使用被指定为与第一区域相对应的第一校正信息来校正第一区域，并且使用被指定为与第二区域相对应的第二校正信息来校正第二区域。
根据本公开的实施例，电子设备(例如电子设备101)的处理器(例如处理器120或处理器210)可以被配置为：使用照相机获得对应于外部对象的第一图像，使用第一图像生成数据尺寸小于第一图像的第二图像，通过通信模块将第二图像传输到外部电子设备，使得外部电子设备生成像素调整信息以调整第二图像的至少一部分中的每一个像素，通过通信模块从外部电子设备接收所生成的像素调整信息，以及使用接收到的像素调整信息校正第一图像的至少一部分中的每一个像素。
根据本公开的实施例，电子设备(例如电子设备101)的处理器(例如处理器120或处理器210)可以被配置为：使用照相机获得对应于外部对象的第一图像，使用第一图像生成数据尺寸小于第一图像的第二图像，通过通信模块将第一图像和第二图像传输到外部电子设备，通过通信模块从外部电子设备接收在第一图像被通过第二图像获得的校正区域信息校正之后被编码的图像，解码接收到的被编码图像并显示被解码的图像，响应于该传输，通过通信模块从外部电子设备接收在第一图像被校正之后被压缩的图像，以及存储接收到的被压缩的图像。
根据本公开的实施例，电子设备(例如电子设备101)的处理器(例如处理器120或处理器210)可以被配置为：使用照相机获得用于构成视频的多个图像，使用被包括在多个图像的第一部分中的第一图像生成数据尺寸小于第一图像的第一轻量级图像，通过通信模块将第一轻量级图像传输到外部电子设备，接收基于第一轻量级图像生成的第一校正区域信息，基于第一校正区域信息校正被包括在第一部分中的图像，使用被包括在多个图像的第二部分中的第二图像生成数据尺寸小于第一图像的第二轻量级图像，通过通信模块将第二轻量级图像传输到外部电子设备，接收基于第二轻量级图像生成的第二校正区域信息，并且基于第二校正区域信息校正被包括在第二部分中的图像。
根据本公开的实施例，处理器(例如处理器120或处理器210)可以被配置为在检测到与第一部分中的图像的差异超过指定阈值的图像时，确定第一部分的结束，将差异超过指定阈值的图像分类为在第二部分中，并且传输第二轻量级图像。
图3示出了根据本公开实施例的程序模块的框图。根据本公开的实施例，程序模块310(例如程序140)可以包括控制与在操作系统上被驱动的电子设备(例如电子设备101)和/或各种应用(例如应用处理器147)相关的资源的操作系统(operating system，OS)。操作系统可以包括例如ANDROID、IOS、WINDOWS、SYMBIAM、TIZEN或BADA。参考图3，程序模块310可以包括内核320(例如内核141)、中间件330(例如中间件143)、API 360(例如API 145)和/或应用370(例如应用程序147)。程序模块310的至少一部分可以被预载在电子设备上，或者可以从外部电子设备(例如电子设备102和104或服务器106)下载。
内核320可以包括例如系统资源管理器321或设备驱动器323。系统资源管理器321可以执行系统资源的控制、分配或恢复。根据本公开的实施例，系统资源管理器321可以包括进程管理单元、存储器管理单元或文件系统管理单元。设备驱动器323可以包括例如显示驱动器、照相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键盘驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(inter-process communication，IPC)驱动器。中间件330可以通过API 360向应用370提供各种功能，使得应用370可以使用电子设备中有限的系统资源或者提供应用370共同需要的功能。根据本公开的实施例，中间件330可以包括运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接性管理器348、通知管理器349、位置管理器350、图形管理器351或安全管理器352中的至少一个。
运行时库335可以包括由编译器使用的库模块，以便在例如应用370正在执行时通过编程语言添加新功能。运行时库335可以执行输入/输出管理、存储器管理或算术函数处理。例如，应用管理器341可以管理应用370的生命周期。窗口管理器342可以管理屏幕上使用的GUI资源。多媒体管理器343可以掌握播放媒体文件所需的格式，并使用适合于对媒体文件执行编码或解码的格式的编解码器。资源管理器344可以管理应用370的源代码或存储空间。电源管理器345可以管理例如电池容量或功率，并提供电子设备的操作所必需的功率信息。根据本公开的实施例，电源管理器345可以与基本输入/输出系统(basic input/output system，BIOS)交互工作。数据库管理器346可以生成、搜索或改变要在应用370中使用的数据库。包管理器347可以管理以包文件的形式分发的应用的安装或更新。
连接性管理器348可以管理例如无线连接性。通知管理器349可以向用户提供事件，例如到达消息、约定或接近警告。位置管理器350可以管理例如电子设备上的位置信息。图形管理器351可以管理例如要被提供给用户的图形效果及其相关用户界面。例如，安全管理器352可以提供系统安全或用户认证。根据本公开的实施例，中间件330可以包括用于管理电子设备的语音或视频呼叫功能的电话管理器或者能够形成上述元件的功能的组合的中间件模块。根据本公开的实施例，中间件330可以提供根据操作系统的类型指定的模块。中间件330可以动态地省略一些现有组件或添加新组件。API 360可以是例如API编程功能的集合，并且可以根据操作系统具有不同的配置。例如，在Android或iOS的情况下，可以每平台提供一个API集合，而在Tizen的情况下，可以每平台提供两个或更多的API集合。
应用370可以包括可以提供例如首页371、拨号器372、SMS/MMS 373、即时消息(instant message，IM)374、浏览器375、照相机376、警报器377、联系人378、语音拨号379、电子邮件380、日历381、媒体播放器382、相册383或时钟384、保健(例如测量锻炼或血糖的程度)或环境信息的配置(例如气压、湿度、温度信息的配置)。根据本公开的实施例，应用370可以包括支持电子设备和外部电子设备之间的信息交换的信息交换应用。信息交换应用的示例可以包括但不限于用于向外部电子设备传送特定信息的通知中继应用，或者用于管理外部电子设备的设备管理应用。例如，通知中继应用可以将由电子设备的其他应用生成的通知信息传送到外部电子设备，或者从外部电子设备接收通知信息，并将接收到的通知信息提供给用户。例如，设备管理应用可以安装、删除或更新与电子设备或在外部电子设备上操作的应用通信的外部电子设备的功能(例如打开/关闭外部电子设备(或一些元件)或调整显示器的亮度(或分辨率)。根据本公开的实施例，应用370可以包括根据外部电子设备的属性指定的应用(例如移动医疗设备的保健应用)。根据本公开的实施例，应用370可以包括从外部电子设备接收到的应用。程序模块310的至少一部分可以用软件、固件、硬件(例如处理器210)或它们中的至少两个或多个的组合来实施(例如执行)，并且可以包括用于执行一个或多个功能的模块、程序、例程、命令集或过程。
如本文所使用的，术语“模块”包括以硬件、软件或固件配置的单元，并且可以与其他术语互换使用，例如，“逻辑”、“逻辑块”、“部件”或“电路”该模块可以是执行一个或多个功能的单个集成部件或最小单元或部件。该模块可以机械地或电子地实施，并且可以包括例如专用集成电路(application-specific integrated circuit，ASIC)芯片、现场可编程门阵列(field-programmable gate array，FPGA)或可编程逻辑器件，这些器件是已知的或由于执行某些操作将来要被开发的。根据本公开的实施例，设备(例如模块或它们的功能)或方法(例如操作)的至少一部分可以实施为存储在计算机可读存储介质(例如存储器130)中的指令，例如以程序模块的形式。当被处理器(例如处理器120)执行时，这些指令可以使处理器能够执行相对应的功能。计算机可读介质可以包括例如硬盘、软盘、磁介质(例如磁带)、光学记录介质(例如光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、磁-光介质(例如软式光盘)或嵌入式存储器。该指令可以包括由编译器创建的代码或者由解析器执行的代码。根据本公开各种实施例的模块或编程模块可以包括前述组件中的至少一个或多个，省略它们中一些，或者还包括其他附加组件。根据本公开的各种实施例，由模块、编程模块或其他组件执行的操作可以顺序地、并行地、重复地或启发式地执行，或者至少一些操作可以以不同的顺序执行或省略，或者可以添加其他操作。
图4A示出了描绘根据本公开实施例的电子设备和外部电子设备的操作的流程图。
根据本公开的实施例，在操作401中，电子设备101(例如处理器120或210)可以使用例如照相机模块291获得对应于外部对象的第一图像。电子设备101(例如处理器120或210)可以通过能够感测图像的传感器(例如照相机模块291)获得第一图像。这里，第一图像可以是可以以各种格式实施的原始图像，诸如拜耳格式、由滤色器阵列(color filterarray，CFA)图案处理的格式、通过感测来自一个像素的所有三种颜色而生成的层结构格式、以及作为由一个像素获得的不同类型视差信息而生成的格式。
在操作403中，电子设备101(例如处理器120或210)可以使用第一图像生成数据尺寸小于第一图像的第二图像。电子设备101(例如处理器120或210)可以通过减小第一图像的容量来生成第二图像。因此，第二图像可以被称为轻量级图像或小原始图像。例如，电子设备101可以使用各种缩小(down-scale)方案或降采样(down-sampling)方案来生成第二图像。电子设备101可以通过执行例如调整第一图像的分辨率、选择多个频带中的至少一些频带或者选择多个位平面级别中的至少一个来生成数据尺寸小于第一图像的第二图像。电子设备101可以通过例如从第一图像中提取低频带来生成第二图像。电子设备101可以通过从第一图像的多个位平面级别中选择一些位平面级别来生成第二图像。第二图像可以是包含关于第一图像的部分信息并且容量小于第一图像的图像。在电子设备101将第二图像而不是第一图像传输到外部电子设备的情况下，电子设备101可以发送更少容量的信息，从而能够更快地将图像传输到外部电子设备400。在操作405中，电子设备101(例如处理器120或210)可以通过例如通信接口170或通信模块220将第一图像或第二图像传输到外部电子设备400，使得外部电子设备400可以基于与从第二图像识别的至少一个图像区域相关联的信息或关于第二图像的分类信息中的至少一个来生成校正区域信息。在操作407中，外部电子设备400(例如外部电子设备400的处理器)可以生成校正区域信息。例如，外部电子设备400(例如外部电子设备400的处理器)可以对第二图像执行分割，并且基于分割的结果从第二图像中识别至少一个图像区域。外部电子设备400(例如外部电子设备400的处理器)也可以通过在图像区域上应用对象识别算法或纹理识别算法来识别至少一个图像区域。外部电子设备400(例如外部电子设备400的处理器)可以使用各种识别算法识别至少一个图像区域，或者外部电子设备400(例如外部电子设备400的处理器)可以使用经由机器学习或深度学习获得的识别算法识别至少一个图像区域。例如，外部电子设备400(例如外部电子设备400的处理器)可以获得指示像素坐标(100，101)、(100，102)、(101，102)和(101，103)是人类牙齿的图像区域相关信息。这里，像素坐标可以对应于第一图像的像素坐标。外部电子设备400(例如外部电子设备400的处理器)可以获得分类信息，该分类信息指示例如第二图像被分类为“街道中的人”。外部电子设备400(例如外部电子设备400的处理器)可以使用识别结果来获得分类信息，或者在没有识别过程的情况下，可以使用例如第二图像中的颜色分布来获得分类信息。外部电子设备400(例如外部电子设备400的处理器)可以生成校正区域信息，该校正区域信息包括分类信息或与通过上述过程获得的至少一个图像区域相关联的信息中的至少一个。
在操作409中，外部电子设备400(例如外部电子设备400的处理器)可以通过例如外部电子设备400的通信接口或通信模块向电子设备101传输校正区域信息。电子设备101(例如处理器120或210)可以通过例如通信接口170或通信模块220接收从外部电子设备400生成的校正区域信息。在操作411中，电子设备101(例如处理器120或210)可以基于校正区域信息的至少一部分来校正第一图像。因此，可以生成其中第一图像已经被校正的第三图像。电子设备101的ISP可以使用从外部电子设备400接收的校正区域信息来校正从图像传感器获得的第一图像(例如原始图像)。例如，使用指示像素坐标(100，101)、(100，102)、(101，102)和(101，103)是人类牙齿的图像区域相关信息，电子设备101(例如处理器120或210)可以在相对应的图像区域上执行对应于人类牙齿的校正。例如，电子设备101(例如处理器120或210)可以将第一图像中的像素坐标(100，101)、(100，102)、(101，102)和(101，103)处的颜色处理成白色，从而获得校正后图像，在该校正后图像中，第一图像中的牙齿区域已经被进一步白化。如上所述，因为第二图像的像素坐标可以对应于第一图像的像素坐标，所以电子设备101(例如处理器120或210)可以使用与第二图像中的图像区域有关的信息来校正第一图像。例如，电子设备101(例如处理器120或210)可以使用指示“街道中的人”的分类信息对第一图像执行对应于室外环境而不是室内环境的校正。电子设备101(例如处理器120或210)可以存储作为第一图像的校正结果而获得的第三图像。例如，第三图像可以具有不同于第一图像的YUV格式。电子设备101(例如处理器120或210)可以将第三图像存储在视频随机存取存储器(video random access memory，VRAM)中，并将所存储的图像显示在显示器(例如显示器160或260)上。电子设备101(例如处理器120或210)可以使用压缩算法压缩第三图像，并将压缩图像存储在存储器(例如存储器130或230)中。
如上所述，外部电子设备400(例如外部电子设备400的处理器)可以执行分割和识别，并且电子设备101(例如处理器120或210)可以使用识别结果来校正图像。因此，尽管电子设备101的ISP不是高性能的，但是它可以使用经由使用外部电子设备400的高性能ISP而获得的校正区域信息。由于外部电子设备400可以使用新的识别算法(如果开发的话)生成校正区域信息并将其发送到电子设备101，所以电子设备101可以使用新的识别算法来处理图像，而无需交换硬件ISP。由于诸如第二图像的轻量级图像被传输到外部电子设备400，所以电子设备101获取校正区域信息所花费的时间可能相对较短，因此能够使用校正区域信息进行实时图像处理。
图4B示出了描绘根据本公开实施例的电子设备和外部电子设备的操作的概念图。
电子设备101可以包括图像传感器421、ISP 423和存储器425。外部电子设备400可以包括识别模块431、ISP 433和存储单元435。识别模块431可以是逻辑模块，并且可以实施为外部电子设备400的处理器。ISP 433也可以实施为外部电子设备400的处理器。例如，外部电子设备400的处理器可以执行识别和图像处理两者。虽然未示出，但是电子设备101可以包括能够与外部电子设备400传输和接收数据的通信模块(例如通信接口170或通信模块220)。外部电子设备400可以包括能够与电子设备101传输和接收数据的通信模块。
图像传感器421(例如照相机模块291)可以获得外部对象的图像，并生成对应于该图像的原始图像422a。图像传感器421可以将原始图像422a递送给ISP 423。根据本公开的实施例，图像传感器421可以生成小原始图像422b，并且通过通信模块将小原始图像422b发送到外部电子设备400。可选地，电子设备101的处理器而不是图像传感器421可以生成小原始图像422b，并且通过通信模块将所生成的小原始图像422b发送到外部电子设备400。
外部电子设备400的识别模块431可以通过通信模块获得小原始图像422b，并且可以对来自小原始图像422b的至少一个图像区域执行分割。识别模块431可以识别由分割划分的至少一个图像区域中的每一个。可以生成校正区域信息432，该校正区域信息432包括与多个图像区域相关联的信息中的至少一个，例如，关于从识别模块431生成的图像区域的坐标的信息，或者关于识别结果的信息。校正区域信息432可以被发送到电子设备101。ISP423可以使用校正区域信息432校正原始图像422a，从而生成校正后图像424。校正后图像424可以具有例如YUV格式。校正后图像424可以存储在存储器425中。校正后图像424可以按照例如JPEG方案进行压缩，并且压缩图像可以存储在存储器425中。
根据本公开的实施例，从图像传感器421提供的原始图像422a可以与小原始图像422b分开地发送到外部电子设备400。由于与小原始图像422b相比，原始图像422a的容量较大，所以小原始图像422b可以被发送到外部电子设备400，然后原始图像422a可以被发送到外部电子设备400。例如，当ISP 423校正原始图像422a时，原始图像422a可以被发送到外部电子设备400。原始图像422a可以被上传到外部电子设备400上，作为由图像传感器421生成的，或者可以上传预处理图像，该预处理图像是一个经镜头失真补偿或噪声消除的图像。上述预处理可以由外部电子设备400执行。外部电子设备400可以为了去马赛克处理、图像格式转换或提高图像识别率的目的而执行预处理。外部电子设备400的ISP 433可以校正接收到的原始图像422a。外部电子设备400可以使用生成的现有校正区域信息432或者使用扩展的校正区域信息来校正原始图像422a。原始图像422a可以具有比小原始图像422b更高的分辨率。因此，外部电子设备400的ISP 433可以从高分辨率图像获得更详细的扩展校正区域信息。ISP 433还可以使用原始图像422a以及生成的生成的现有校正区域信息432来生成扩展的校正区域信息。ISP 433可以通过使用扩展的校正区域信息校正原始图像422a来获得高分辨率图像(高质量图像)434。高分辨率图像434可以被存储在外部电子设备400的存储单元435中，并且可以被下载到电子设备101。
图4C示出了描绘根据本公开实施例的用于操作电子设备和外部电子设备的方法的流程图。
根据本公开的实施例，在操作441中，电子设备101(例如处理器120或210)可以使用例如照相机模块291获得对应于外部对象的第一图像。在操作443中，电子设备101(例如处理器120或210)可以使用第一图像生成数据尺寸小于第一图像的第二图像。例如，电子设备101(例如处理器120或210)可以获得尺寸小于第一图像的第二图像。在操作445中，电子设备101(例如处理器120或210)可以通过例如通信接口170或通信模块220将第二图像传输到外部电子设备400。如上所述，因为第二图像的尺寸小于第一图像，所以第二图像可以在相对较短的时间内被传输到外部电子设备400。
在操作447中，外部电子设备400(例如外部电子设备400的处理器)可以获得关于第二图像的像素调整信息。例如，外部电子设备400(例如外部电子设备400的处理器)可以生成校正区域信息，该校正区域信息包括图像区域坐标信息或识别结果中的至少一个，如以上结合图4A和图4B所述的。外部电子设备400(例如外部电子设备400的处理器)可以基于校正区域信息获得关于第二图像中的每一个像素的调整信息。例如，外部电子设备400(例如外部电子设备400的处理器)可以识别像素坐标(100，101)、(100，102)、(101，102)和(101，103)是牙齿。外部电子设备可以生成像素调整信息，以将像素坐标(100，101)、(100，102)、(101，102)和(101，103)处的颜色处理成白色。像素调整信息可以包括对例如每像素亮度、黑白、颜色或色温中的至少一个的调整程度。像素调整信息也可以针对被包括在第二图像中的每个像素组来设置。例如，像素调整信息可以包括对像素组中像素的亮度、黑白、颜色或色温中的至少一个的调整程度。在这种情况下，由于与为所有像素设置调整信息时相比，像素调整信息的尺寸可以减小，所以电子设备101可以更快地获得像素调整信息。在操作449中，外部电子设备400(例如外部电子设备400的处理器)可以通过例如外部电子设备400的通信接口或通信模块向电子设备101传输像素调整信息。在操作451中，电子设备101(例如处理器120或210)可以将像素调整信息应用于第一图像，并且可以相应地调整第一图像中每个像素的亮度、黑白、颜色或色温中的至少一个。例如，电子设备101(例如处理器120或210)可以在像素坐标(100，101)、(100，102)、(101，102)和(101，103)处对原始图像执行白化处理。
根据本公开的实施例，电子设备101(例如处理器120或210)可以通过例如通信接口170或通信模块22将小原始图像传输到外部电子设备400，并且外部电子设备400(例如外部电子设备400的处理器)可以通过例如外部电子设备400的通信接口或通信模块将使用小原始图像的第二图像中的像素调整信息传输到电子设备101。电子设备101(例如处理器120或210)可以通过将像素调整信息应用于原始图像来生成图像质量增强的校正后的图像。
图5示出了根据本公开实施例的电子设备和外部电子设备的框图。
根据本公开的实施例，电子设备500(例如电子设备101或电子设备201)可以包括图像传感器501、处理器510、存储器520和显示器530。外部电子设备500可以包括解压缩模块551和识别模块552。由解压缩模块551和识别模块552执行的操作也可以由外部电子设备550的处理器执行。
图像传感器501(例如照相机模块291)可以捕获外部对象并生成原始图像502。原始图像502可以暂时或非暂时地被存储在存储器520(例如动态随机存取存储器(DRAM))中。处理器510可以包括轻量级图像生成和压缩模块511、ISP 512和压缩模块513。轻量级图像生成和压缩模块511、ISP 512和压缩模块513可以是例如逻辑模块。因此，由轻量级图像生成和压缩模块511、ISP 512和压缩模块513执行的操作可以由处理器510(例如处理器120或210)执行。可替代地，轻量级图像生成和压缩模块511、ISP 512或压缩模块513中的至少一个可以在处理器510内部的硬件中实施。轻量级图像生成和压缩模块511可以接收从图像传感器501生成的原始图像502，并且可以从原始图像502生成小原始图像503。轻量级图像生成和压缩模块511可以压缩小原始图像503并将被压缩的小原始图像503存储在存储器520中。小原始图像503可以暂时或非暂时地存储在存储器520中。电子设备500的通信模块(未示出)(例如通信接口170或通信模块220)可以将被存储在存储器520中的小原始图像503传输到外部电子设备550。
外部电子设备550的解压缩模块551可以接收小原始图像503。如上所述，小原始图像503可以处于压缩状态，并且解压缩模块551可以解压缩小原始图像503并将其递送到识别模块552。识别模块552可以识别被解压缩的小原始图像。例如，识别模块552可以对小原始图像执行分割，并且作为分割结果，划分成至少一个图像区域。识别模块552可以基于各种识别算法对图像区域执行识别，并获得识别结果。识别模块552可以对图像场景进行分类，并分析识别信息或图像分类信息的可靠性。识别结果和小原始图像中的至少一个图像区域可以作为校正区域信息被递送到电子设备500。根据本公开的实施例，校正区域信息可以以各种方式配置为包括图像区域相关信息中的至少一个，该图像区域相关信息包括以下各项中的一个：关于图像区域的位置(或坐标)信息或图像区域的识别结果、图像分类信息、纹理信息或可靠性干扰，这将在下面更详细地描述。
ISP 512可以使用原始图像502和校正区域信息生成校正后图像505。校正后图像505可以具有例如YUV格式。然而，本领域普通技术人员将容易理解，校正后图像505的格式不限于此。校正后图像505可以被存储在例如VRAM中，并且被存储在VRAM中的校正后图像505可以被显示在显示器530上。ISP 512可以将校正后图像505传送到压缩模块513。压缩模块513可以压缩接收到的校正后图像505，并且可以将压缩图像504存储在存储器520中。压缩模块513可以以例如由JPEG定义的方案执行压缩，但是本领域普通技术人员将容易理解，压缩方案不限于此。
根据本公开的实施例，外部电子设备550还可以包括处理电路，诸如ISP(未示出)。在这种情况下，外部电子设备550可以使用校正区域信息生成关于小原始图像504中的至少一个像素的像素调整信息。外部电子设备550可以通过对应于校正区域信息的效果(例如调谐策略)来生成像素调整信息。外部电子设备550可以将像素调整信息传送到电子设备500。另外，ISP 512可以通过将像素调整信息应用于原始图像502来生成校正后图像505。在这种情况下，ISP 512可以简单地根据像素调整信息，通过调整原始图像502中至少一个像素的亮度、黑白、颜色或色温中的至少一个来生成校正后图像505。
图6示出了描述根据本公开实施例的外部电子设备的操作的流程图。参照图7A更详细地描述图6的实施例。图7A示出了根据本公开实施例的用于生成校正区域信息的过程的概念图。
在操作601中，外部电子设备400(例如外部电子设备400的处理器)可以通过例如外部电子设备400的通信接口或通信模块获得第二图像710，如图7A所示。第二图像710可以是从通过电子设备101中的图像传感器获得的第一图像缩小或降采样得到的图像。外部电子设备400(例如外部电子设备400的处理器)可以获得第二图像710，该第二图像710是小原始图像，如图7A所示。外部电子设备400(例如外部电子设备400的处理器)可以附加地接收关于第二图像710的元数据711。元数据711可以包括例如焦距、自动聚焦区域、关于捕获时左/右转的信息(方向)、颜色坐标(颜色空间)、曝光时间、光圈相关信息(光圈数)、捕获模式(曝光程序)(例如自动、光圈优先级、快门优先级或手动)、ISO速度等级或捕获的日期(最初的数据时间)。或者，尽管未示出，元数据711也可以包括由除图像传感器之外的传感器获得的信息，诸如捕获的地点或捕获时的照度。元数据711的使用将在下面参考图9进一步详细描述。
在操作603中，外部电子设备400(例如外部电子设备400的处理器)可以对第二图像710执行对象分割和识别。术语“对象”可以指第二图像710通过分割被划分成的区域，该区域也可以被称为图像区域。例如，外部电子设备400(例如外部电子设备400的处理器)可以获得如图7A所示的分割图720。外部电子设备400可以基于各种特征，诸如边缘或斑点，将第二图像710划分成对象721、722、723和724。外部电子设备400(例如外部电子设备400的处理器)可以将识别算法应用于对象721、722、723和724中的每一个，并获得识别结果。例如，外部电子设备400(例如外部电子设备400的处理器)可以使用通过将机器学习或深度学习应用于海量数据库而获得的识别算法来获得对象721、722、723和724的识别结果。外部电子设备400(例如外部电子设备400的处理器)可以获得第一对象721是天空的识别结果、第二对象722是气球的识别结果、第三对象723是人的识别结果以及第四对象724是草的识别结果。外部电子设备400(例如外部电子设备400的处理器)可以获得分割图720，分割图720包括关于对象721、722、723和724的识别结果和位置信息(或像素坐标信息)。
在操作605中，外部电子设备400(例如外部电子设备400的处理器)可以对第二图像710执行纹理分割和识别。外部电子设备400(例如外部电子设备400的处理器)可以获得纹理分割图730，如图7A所示。外部电子设备400(例如外部电子设备400的处理器)可以对例如经对象识别的对象721、722、723和724执行纹理识别，将对象721、722、723和724中的至少一个划分成部分，并且获得每部分的纹理识别结果。术语“纹理”可以指先前定义的特定图案或表示纹理的分量。一个对象可以包括多个纹理。纹理识别算法也可以通过将机器学习或深度学习应用于大量数据库来获得。外部电子设备400(例如外部电子设备400的处理器)可以获得纹理分割图730，该纹理分割图730包括关于多个对象731至736的纹理识别结果和位置信息(或像素坐标信息)。
在操作607中，外部电子设备400(例如外部电子设备400的处理器)可以确定第二图像710的识别结果的可靠性。外部电子设备400(例如外部电子设备400的处理器)可以确定纹理识别结果的可靠性或对象识别结果的可靠性中的至少一个。
在操作609中，外部电子设备400(例如外部电子设备400的处理器)可以确定关于第二图像710的分类信息。外部电子设备400(例如外部电子设备400的处理器)可以获得例如分类信息740，如图7A所示。分类信息740可以是指示第二图像710总体内容的信息。外部电子设备400(例如外部电子设备400的处理器)可以通过将图像分类算法应用于第二图像710来获得分类信息740。外部电子设备400(例如外部电子设备400的处理器)可以使用对象识别结果或纹理识别结果中的至少一个来获得分类信息740。外部电子设备400(例如外部电子设备400的处理器)可以从第二图像710直接获得分类信息740。分类信息740可以包括例如指示正常的绿草的整个图像识别结果(场景分类结果)信息。分类信息740可以包括例如对象信息(例如天空、气球或草)、日期信息(例如2016年8月xx日2：00)、地点信息(例如韩国首尔)、季节信息(例如夏天)、天气信息(例如晴天)或曝光相关信息(例如曝光时间xx、ISO xxx)。外部电子设备400(例如外部电子设备400的处理器)也可以使用元数据和应用识别算法的结果来获得分类信息740。
在操作611中，外部电子设备400(例如外部电子设备400的处理器)可以生成校正区域信息，该校正区域信息包括以下各项中的至少一个：对象识别的结果、纹理识别的结果，和识别或分类信息。例如，如图7B所示，外部电子设备400(例如外部电子设备400的处理器)可以生成由多个层构成的校正区域信息。由多个层构成的校正区域信息可以包括分割图720、纹理分割图730、指示对象识别的可靠性的图750、和指示纹理识别的可靠性的图760。多个图720、730、750和760的各自的像素的坐标可以相同，并且可以对应于原始图像的像素。因此，多条信息(例如对象属性、纹理属性、对象属性的精度和纹理属性的精度)可以对应于原始图像中的一个像素。外部电子设备400(例如外部电子设备400的处理器)可以向电子设备101发送由多个层构成的校正区域信息。电子设备101可以通过将校正区域信息应用于原始图像来执行校正。例如，电子设备101(例如处理器120或210)可以将对应于气球的效果应用于原始图像的与分割图720的气球对象的像素坐标相对应的像素。电子设备101(例如处理器120或210)可以将对应于搪瓷的效果应用于原始图像的与纹理分割图730的搪瓷纹理对象的像素坐标相对应的像素。考虑到对象识别的可靠性或纹理识别的可靠性，电子设备101(例如处理器120或210)可以调整所应用的效果的程度。电子设备101(例如处理器120或210)可以基于图像分类的结果(例如普通绿草)将对应于室外环境的效果应用于总体原始图像。图7B中示出的多层结构仅仅是示例。校正区域信息可以被实施为一维文本信息，并且表示校正区域信息的数据类型不受限制。图7B的多个层中的一些可能被遗漏，或者可以添加另一图。
根据本公开的实施例，外部电子设备400(例如外部电子设备400的处理器)可以基于如上结合图6、图7A和图7B所述生成的校正区域信息来获得关于第二图像的像素调整信息。外部电子设备400(例如外部电子设备400的处理器)可以通过例如外部电子设备400的通信接口或通信模块向电子设备101传输像素调整信息。电子设备101(例如处理器120或210)可以简单地按照像素调整信息通过调整第一图像中至少一个像素的亮度、黑白、颜色或色温中的至少一个来生成校正后图像。
图8示出了描绘根据本公开的实施例生成校正区域信息的示例的概念图。
根据本公开的实施例，外部电子设备400(例如外部电子设备400的处理器)可以通过例如外部电子设备400的通信接口或通信模块从电子设备101接收小原始图像801。外部电子设备400(例如外部电子设备400的处理器)可以预先存储多个识别模型802、811和821。因此，识别模型可以相互补偿问题，能够同时获得各种信息。外部电子设备400(例如外部电子设备400的处理器)可以将第一识别模型802应用于小原始图像801。第一识别模型802可以是确定图像的感兴趣区域(region of interest，ROI)或分类信息中的至少一个的识别模型。通过将第一识别模型802应用于小原始图像801的结果，可以在多条分类信息803中选择“街道中的人”分类信息804。换句话说，整个小原始图像801的分类信息可以被确定为“街道中的人”。外部电子设备400(例如外部电子设备400的处理器)可以用分类信息804标记(807)小原始图像801。例如，第一识别模型802可以使用例如颜色区域的位置中的整体颜色分布和相对关系来选择分类信息804，在这种情况下，即使没有对小原始图像801中的特定对象执行识别，也可以获得分类信息804。例如，第一识别模型802可以检测到与街道的代表性颜色相似的颜色分布在整个屏幕上，以及与在街道的代表性颜色所分布的区域的一部分中上下延伸的人的代表性颜色相似的颜色，因此能够确定相对应的图像具有“街道中的人”的分类信息804。上面已经描述的仅仅是一个示例，并且根据本公开的实施例，第一识别模型802可以包括用于获得分类信息的各种算法。根据本公开的实施例，外部电子设备400(例如外部电子设备400的处理器)可以使用对象识别结果或纹理识别结果中的至少一个来获得小原始图像801的分类信息。换句话说，应用第一识别模型802不限于特定顺序。第一识别模型802可以基于各种类型的ROI检测方案从小原始图像801中检测ROI 810。
根据本公开的实施例，外部电子设备400(例如外部电子设备400的处理器)可以从分割结果805裁剪(806)ROI 810，并将第二识别模型811应用于裁剪(806)的ROI 810。第二识别模型811可以确定ROI或对象识别中的至少一个，并识别ROI 810内的对象。因此，对象属性813可以被第二识别模型811识别为多个对象属性812中的“老妇人”。第二识别模型811可以包括用于多个对象属性812中的每一个的识别算法。外部电子设备400可以用对象属性813来标记(816)ROI 810。例如，外部电子设备400可以用对象属性813“老妇人”来标记ROI810。
根据本公开的实施例，第二识别模型811可以从ROI 810确定纹理分割的结果814，并且从纹理分割的结果确定另一ROI 820。外部电子设备400可以裁剪(815)另一ROI 820。外部电子设备400可以将第三识别模型821应用于另一ROI 820。第三识别模型821可以执行纹理识别。第三识别模型821可以确定另一ROI 820的纹理属性823是多个纹理属性822中的“白色短发”。第三识别模型821可以包括用于多个纹理属性822中的每一个的纹理识别算法。根据本公开的实施例，尽管第二识别模型811未能识别，但是第三识别模型821可以对ROI 810的至少一部分执行纹理分割和纹理识别。根据本公开的实施例，第三识别模型811可以直接从第一识别模型802接收ROI 810，而不是另一ROI 820。第三识别模型811可以对整个小原始图像801执行纹理分割和纹理识别。多个模型802、811和821可以独立地而不是非独立地执行识别。例如，即使分类信息804不是从第一识别模型802获得的，但第二识别模型811也可以对小原始图像801执行对象识别。
外部电子设备400(例如外部电子设备400的处理器)可以通过例如外部电子设备400的通信接口或通信模块向电子设备101传输包括分类信息804、对象属性813或纹理属性823中的至少一个的校正区域信息。例如，外部电子设备400(例如外部电子设备400的处理器)可以在校正区域信息中包括关于分类信息804、对象属性813或纹理属性823中的至少一个的精度信息，并且通过例如外部电子设备400的通信接口或通信模块传输到电子设备101。电子设备101(例如处理器120或210)可以将对应于校正区域信息的效果应用于原始图像，因此能够生成图像质量增强的图像。例如，电子设备101(例如处理器120或210)可以用对应于“老妇人”的效果(例如增加亮度)处理对应于ROI 810的原始图像部分。例如，电子设备101(例如处理器120或210)可以用对应于“白色短发”的效果(例如锐化和白化)处理对应于另一ROI 820的原始图像部分。例如，电子设备101可以基于“街道中的人”的分类信息804，用对应于室外环境的效果来处理整个原始图像。
根据本公开的实施例，外部电子设备400(例如外部电子设备400的处理器)可以更新第一识别模型802、第二识别模型811或第三识别模型821中的至少一个，并且可以添加另一识别模型。外部电子设备400(例如外部电子设备400的处理器)可以使用更新的多个识别模型来生成校正区域信息，并将校正区域信息传输到电子设备101。尽管电子设备101的ISP没有被交换或被更新，但是电子设备101(例如处理器120或210)可以基于更新的识别模型生成图像质量增强的图像。
根据本公开的实施例，外部电子设备400(例如外部电子设备400的处理器)可以基于如上结合图8所述生成的校正区域信息来获得关于小原始图像的像素调整信息。外部电子设备400(例如外部电子设备400的处理器)可以通过例如外部电子设备400的通信接口或通信模块向电子设备101传输像素调整信息。电子设备101(例如处理器120或210)可以简单地按照像素调整信息通过调整原始图像中至少一个像素的亮度、黑白、颜色或色温中的至少一个来生成校正后图像。
图9示出了描绘根据本公开实施例的电子设备和外部电子设备的操作的流程图。
根据本公开的实施例，在操作901中，电子设备101(例如处理器120或210)可以使用例如照相机模块291，通过图像传感器获得对应于外部对象的第一图像。电子设备101(例如处理器120或210)可以生成第一图像的元数据。如上所述，元数据可以包括可以通过图像传感器获得的信息，诸如焦距、自动聚焦区域、捕获时的左/右转相关信息(方向)、颜色坐标(颜色空间)或曝光时间。元数据也可以包括例如关于图像在哪里被捕获的位置信息，其可以通过不同于图像传感器的传感器(例如GPS传感器)获得。例如，元数据可以包括指示第一图像已经于2017年3月24日09：30在首尔被捕获的信息。在操作903中，电子设备101(例如处理器120或210)可以使用第一图像生成数据尺寸小于第一图像的第二图像。例如，电子设备101(例如处理器120或210)可以缩小或降采样第一图像，生成尺寸小于第一图像的第二图像。在操作905中，电子设备101(例如处理器120或210)可以通过例如通信接口170或通信模块220将第二图像和元数据传输到外部电子设备400，使得外部电子设备400基于以下中至少一个来生成校正区域信息：从第二图像识别的分类信息或多个图像区域。
根据本公开的实施例，在操作907中，外部电子设备400(例如外部电子设备400的处理器)可以通过例如分割或识别从第二图像识别至少一个图像区域或图像分类。在操作908中，外部电子设备400(例如外部电子设备400的处理器)可以使用第二图像和元数据生成校正区域信息。外部电子设备400(例如外部电子设备400的处理器)可以从第二图像生成包括识别信息的校正区域信息，该识别信息指示例如天空位于第一区域中。外部电子设备400(例如外部电子设备400的处理器)可以访问提供天气信息的服务器，并获得关于2017年3月24日09：30时首尔的天气信息(例如多云)。外部电子设备400(例如外部电子设备400的处理器)可以生成指示第二图像的第一区域的对象属性是“多云的天空”的校正区域信息。在操作909中，外部电子设备400(例如外部电子设备400的处理器)可以通过例如外部电子设备400的通信接口或通信模块向电子设备101传输校正区域信息。在操作911中，电子设备101(例如处理器120或210)可以基于校正区域信息的至少一部分使用第一图像来生成作为校正的第三图像。因此，可以通过用对应于“多云的天空”的效果处理第一图像的第一区域来生成第三图像。
根据本公开的实施例，外部电子设备400(例如外部电子设备400的处理器)可以基于甚至使用元数据生成的校正区域信息来获得关于第二图像的像素调整信息。外部电子设备400(例如外部电子设备400的处理器)可以通过例如外部电子设备400的通信接口或通信模块向电子设备101传输像素调整信息。电子设备101(例如处理器120或210)可以简单地按照像素调整信息通过调整第一图像中至少一个像素的亮度、黑白、颜色或色温中的至少一个来生成校正后图像。
图10示出了根据本公开实施例的图像传感器的框图。
参考图10，电子设备的图像传感器1000可以包括像素阵列1010、读出电路1020、计算电路1030和存储器1040。像素阵列1010可以包括二维(2D)排列的多个光电二极管。多个光电二极管中的每一个可以将从外部接收到的光转换成模拟电信号。读出电路1020可以包括例如行驱动器和列驱动器。行驱动器可以按行驱动像素阵列1010。例如，行驱动器可以输出传输控制信号以控制像素阵列1010中的多个像素的传输晶体管，输出复位控制信号以控制复位晶体管，或者输出选择控制信号以控制像素阵列1010的选择晶体管。行驱动器可以确定要被读出的行。列驱动器可以接收由像素阵列1010生成的模拟电信号。例如，列驱动器可以从从构成像素阵列1010的多个列中选择的列线接收模拟电信号。列驱动器可以包括模数转换器(ADC)，其可以将从所选列线接收到的模拟电信号转换成像素数据(或数字信号)并输出像素数据。同时，列驱动器从像素阵列1010接收模拟电信号、使用ADC将接收到的模拟电信号转换成像素数据并输出像素数据的操作可以被称为“读出”。列驱动器和ADC可以确定要被读出的列。2D原始图像可以由读出电路1020读出。
根据本公开的实施例，存储器1040可以存储从读出电路1020输出的电信号。从多个光电二极管中的各个光电二极管输出的电信号中的每一个可以作为2D原始图像被存储在存储器1040中。可替换地，原始图像可以直接被存储在电子设备101的存储器1050中，而不是被存储在存储器1040中，该存储器1050被放置在图像传感器1000的外部。根据本公开的实施例，计算电路1030可以使用被存储在存储器1040中的原始图像来生成小原始图像。计算电路1030可以被配置为对被存储在存储器1040中的原始图像进行缩小或降采样。计算电路1030可以在处理单元(例如中央处理单元(CPU)或图形处理单元(GPU))中实施，或者在相对简单的电路(例如逻辑门阵列)中实施。根据本公开的实施例，计算电路1030可以从读出电路1020直接接收原始图像，使用接收到的原始图像生成小原始图像，并且将小原始图像存储在存储器1040中或者输出到外部存储器1050。计算电路1030可以将所生成的小原始图像直接输出到通信模块1060。如上所述，电子设备101的通信模块1060可以将从图像传感器1000生成的小原始图像发送到外部电子设备400。如上所阐述的，在根据本公开实施例的电子设备101中，布置在图像传感器1000外部的处理器(例如处理器120或210)可以生成小原始图像，或者如上结合图10所述，图像传感器1000本身可以生成小原始图像。
图11A和11B示出了描绘根据本公开实施例的用于操作电子设备和外部电子设备的方法的流程图。
参考图11A，根据本公开的实施例，在操作1101中，电子设备101(例如处理器120或210)可以使用例如照相机模块291获得对应于外部对象的第一图像。在操作1103中，电子设备101(例如处理器120或210)可以使用第一图像生成数据尺寸小于第一图像的第二图像。在操作1105中，电子设备101(例如处理器120或210)可以通过例如通信接口170或通信模块220将第二图像传输到外部电子设备400，使得外部电子设备400基于分类信息或与从第二图像识别的多个图像区域有关的信息中的至少一个来生成校正区域信息。在操作1106中，外部电子设备400(例如外部电子设备400的处理器)可以从第二图像中识别至少一个图像区域或图像分类。在操作1107中，外部电子设备400(例如外部电子设备400的处理器)可以生成校正区域信息。在操作1109中，外部电子设备400(例如外部电子设备400的处理器)可以通过例如外部电子设备400的通信接口或通信模块向电子设备101传输校正区域信息。在操作1111中，电子设备101(例如处理器120或210)可以基于校正区域信息的至少一部分使用第一图像执行校正，并因此生成作为校正的第三图像。在操作1113中，电子设备101(例如处理器120或210)可以执行控制以显示或存储第三图像。
在操作1115中，电子设备101(例如处理器120或210)可以通过例如通信接口170或通信模块220传输第一图像。尽管图11A示出了在显示或存储第三图像之后传输第一图像的示例，但这仅仅是一个示例。在操作1105中传输第二图像之后，电子设备101(例如处理器120或210)可以在任何时候通过例如通信接口170或通信模块220发送第一图像。由于如上所述，第一图像的尺寸大于第二图像，所以电子设备101(例如处理器120或210)可以首先通过例如通信接口170或通信模块220首先传输第二图像，以便快速获得校正区域信息，并且在传输完成之后的任何时间，电子设备101(例如处理器120或210)可以通过例如通信接口170或通信模块220传输第一图像。
根据本公开的实施例，在操作1117中，电子设备101(例如处理器120或210)可以使用第一图像生成其他校正区域信息。通过使用尺寸大于第二图像的第一图像，外部电子设备400(例如外部电子设备400的处理器)可以生成与使用第二图像获得的校正区域信息不同的校正区域信息，其中不同的校正区域信息可以被称为“扩展的校正区域信息”。由于第一图像可以包含比第二图像更多的信息，所以外部电子设备400可以生成更详细的校正区域信息。根据本公开的实施例，外部电子设备400(例如外部电子设备400的处理器)可以从第一图像直接生成扩展的校正区域信息。可替换地，外部电子设备400(例如外部电子设备400的处理器)可以使用第一图像以及使用第二图像生成的现有校正区域信息来生成扩展的校正区域信息。在操作1119中，外部电子设备400(例如外部电子设备400的处理器)可以基于不同的校正区域信息(即扩展的校正区域信息)的至少一部分，使用第一图像来生成第四图像，该第四图像是校正后图像。在操作1121中，外部电子设备400(例如外部电子设备400的处理器)可以通过例如外部电子设备400的通信接口或通信模块向电子设备101传输第四图像。由于第四图像是通过使用扩展的校正区域信息校正作为原始图像的第一图像而获得的图像，所以第四图像可以是超高分辨率图像。外部电子设备400(例如外部电子设备400的处理器)可以在从电子设备101接收到下载请求、处于无线通信使能状态或接收到到同步请求时，通过例如外部电子设备400的通信接口或通信模块传输第四图像。在操作1123中，电子设备101(例如处理器120或210)可以执行控制以显示或存储第四图像。电子设备101(例如处理器120或210)可以一起存储第四图像和第四图像，或者用第四图像交换第三图像并存储它。
图11B是示出根据本公开实施例的用于操作电子设备和外部电子设备的方法的流程图。上面已经结合图11A描述了图11B的操作1101至1117，没给出其进一步的详细描述。
在操作1131中，外部电子设备400(例如外部电子设备400的处理器)可以通过例如外部电子设备400的通信接口或通信模块向电子设备101传输不同的校正区域信息。在操作1133中，外部电子设备400(例如外部电子设备400的处理器)可以使用不同的校正区域信息执行校正，生成第四图像。在操作1135中，电子设备101(例如处理器120或210)可以使用不同的校正区域信息(即扩展的校正区域信息)，从第一图像生成第五图像。电子设备101(例如处理器120或210)可以将第三图像与第五图像一起存储，或者可以用第五图像交换第三图像并存储它。
图12示出了根据本公开实施例的电子设备和外部电子设备的框图。
根据本公开的实施例，电子设备1200(例如电子设备101)可以包括图像传感器1201、处理器1210、存储器1220和显示器1230。图像传感器1201可以生成原始图像1202并将原始图像1202存储在存储器1220中。轻量级图像生成和压缩模块1211可以使用原始图像1202生成轻量级图像，即小原始图像1203，并压缩小原始图像1203。被压缩的小原始图像1203可以存储在存储器1220中。电子设备1200的通信模块(未示出)可以将小原始图像1203传输到外部电子设备1250的通信模块(未示出)。解压缩模块1251可以接收和解压缩被压缩的小原始图像1203。识别模块1252可以使用被解压缩的小原始图像生成校正区域信息。校正区域信息可以经由通信模块被发送到电子设备1200的ISP 1212。ISP 1212可以使用校正区域信息和原始图像1202生成校正后图像1207。校正后图像1207可以是YUV格式，但是这仅仅是一个示例，并且校正后图像1207的格式不限于此。校正后图像1207可以被存储在存储器1220中，例如VRAM，使得校正后图像1207可以被显示在显示器1230上。ISP 1212可以将校正后图像1207传送到压缩模块1213。压缩模块1213可以将校正后图像压缩成压缩图像1204，并将压缩图像1204存储在存储器1220中。
压缩模块1214可以压缩原始图像1202并将压缩的原始图像1205存储在存储器1220中。压缩的原始图像1205可以经由通信模块被存储在外部电子设备1250的原始图像存储单元中。根据本公开的实施例，电子设备1200可以在不压缩原始图像1202的情况下将原始图像1202发送到外部电子设备1250。被存储在原始图像存储单元1256中的数据库1257可以包括原始图像。数据库1257还可以包括特征向量，该特征向量可以被外部电子设备1250的压缩和ISP 1253用于校正。例如，解压缩和ISP 1253可以从数据库1257接收特征向量，并使用分割信息将其与被解压缩的原始图像合成，生成超高质量的图像。此外，解压缩和ISP1253可以通过根据分割信息应用对应于关于图像的分类信息的预定义调谐策略(例如效果)来提高图像质量。特征向量可以是图像中对象的一部分，诸如人的头发，或者整个对象，例如人脸或树叶，并且特征向量可以包含例如纹理补丁或向量字体。解压缩和ISP 1253可以根据分割信息或基于原始图像生成的现有校正区域信息，应用对应于校正区域信息的类别的预定义调谐策略。解压缩和ISP 1253在未能接收到特征向量时，可以基于类别信息呈现特征向量。
根据本公开的实施例，压缩的原始图像1205可以被解压缩并被包含在数据库1257中。被包含在数据库1257中的原始图像可以被递送到识别模块1252以及解压缩和ISP1253。识别模块1252可以对原始图像执行识别。识别模块1252可以生成扩展的校正区域信息作为对原始图像的识别结果。识别模块1252可以从原始图像获得扩展的校正区域信息，或者使用原始图像和生成的现有校正区域信息来生成扩展的校正区域信息。解压缩和ISP1253可以对被压缩的原始图像进行解压缩并校正原始图像，生成校正后图像。根据本公开的实施例，解压缩和ISP 1253可以使用从识别模块1252接收到的识别结果来执行校正。压缩模块1254可以按照例如JPEG压缩方案来压缩从解压缩和ISP 1253接收到的校正后图像。压缩图像1206可以被存储在压缩图像存储单元1255中。尽管在图12中，压缩图像存储单元1255被标记为“JPEG存储单元”，但这仅仅是作为压缩方案的一个示例而进行的，并且其术语可以根据压缩方案而改变。压缩图像1206可以经由通信模块被存储在电子设备1200的存储器1220中。外部电子设备1250的解压缩和ISP 1253可以比电子设备101的ISP 1212具有更高的计算能力或更多的资源，并因此它可以采用更高容量的校正算法。因此，与电子设备1200的校正后图像1207的压缩图像1204相比，外部电子设备1250的校正后图像的压缩图像1206可以被进一步增强。因此，电子设备1200可以存储压缩图像1204和压缩图像1206，或者可以将压缩图像1204与压缩图像1206交换并存储它。
图13示出了描绘根据本公开实施例的生成扩展的校正区域信息的示例的概念图。
根据本公开的实施例，外部电子设备400(例如外部电子设备1250或外部电子设备400的处理器)可以将压缩的原始图像1300(例如图12的原始图像1205)存储在原始图像存储单元(例如图12的原始图像存储单元1256)中，如以上结合图12所述。外部电子设备400(例如外部电子设备400的处理器)可以从原始图像存储单元加载压缩的原始图像1300，并且使用基于小原始图像(例如图12的小原始图像1203)获得的现有校正区域信息来获得扩展的校正区域信息。例如，外部电子设备400(例如外部电子设备400的处理器)可以基于执行的现有识别的结果来裁剪(1302)要被识别的ROI。外部电子设备400(例如外部电子设备400的处理器)可以从原始图像1300中裁剪ROI 1303。外部电子设备400(例如外部电子设备400的处理器)可以从原始图像1300裁剪(1302)与在小原始图像中识别的ROI相对应的ROI1303。外部电子设备400(例如外部电子设备400的处理器)可以将第二识别模型1304应用于ROI 1303。作为应用第二识别模型1304的结果，外部电子设备400(例如外部电子设备400的处理器)可以确定ROI 1303的对象属性1306对应于多个对象属性1305中的“中年男人”。例如，如图8的实施例中，外部电子设备400(例如外部电子设备400的处理器)可以获得小原始图像801的ROI 810的“老妇人”的对象属性813。外部电子设备400(例如外部电子设备400的处理器)可以通过将第二识别模型1304应用于质量高于小原始图像801的原始图像1300的的ROI 1303来获得更精确的对象属性1306。根据本公开的实施例，尽管对小原始图像801执行识别的结果和由外部电子设备400(例如外部电子设备400的处理器)对原始图像1300执行识别的结果可以相同，但是作为对原始图像1300的识别的结果，可以获得更精确的对象属性，如图8和13所示。外部电子设备400(例如外部电子设备400的处理器)可以在关于对象的位置的信息旁边标记(1308)对象属性。作为第二识别模型1304的识别结果，可以对ROI1303执行纹理分割。外部电子设备400(例如外部电子设备400的处理器)可以基于文本分割的结果1307裁剪(1310)另一ROI 1311。外部电子设备400(例如外部电子设备400的处理器)可以将第三识别模型1312应用于另一ROI 1311。外部电子设备400(例如外部电子设备400的处理器)可以识别另一ROI 1311的纹理属性1314是多个纹理属性1313中的“灰色短发”。例如，如图8的实施例中，外部电子设备400(例如外部电子设备400的处理器)可以获得小原始图像801的另一ROI 820的纹理属性822“白色短发”。外部电子设备400(例如外部电子设备400的处理器)可以通过将第三识别模型1312应用于质量高于小原始图像801的原始图像1300的另一ROI 1311来获得更精确的对象属性1314。根据本公开的实施例，尽管对小原始图像801执行识别的结果和由外部电子设备400(例如外部电子设备400的处理器)对原始图像1300执行识别的结果可以相同，但是作为对原始图像1300的识别结果，可以获得更精确的纹理属性，如图8和13所示。同时，尽管未示出，外部电子设备400(例如外部电子设备400的处理器)可以使用原始图像1300获得分类信息。根据本公开的实施例，外部电子设备400(例如外部电子设备400的处理器)可以使用原始图像1300，而不使用对小原始图像的识别或分割的现有结果，来获得分类信息、对象属性、纹理属性或可靠性信息中的至少一个。外部电子设备400(例如外部电子设备400的处理器)可以生成扩展的校正区域信息，该扩展的校正区域信息包括所获得的分类信息、对象属性、纹理属性或可靠性信息中的至少一个。外部电子设备400(例如外部电子设备400的处理器)可以以如图7B所示的多层格式生成扩展的校正区域信息，但是扩展的校正区域信息的格式不限于此。外部电子设备400(例如外部电子设备400的处理器)可以使用通过如上所述的各种方案获得的扩展的校正区域信息来校正原始图像1300，以生成校正后图像。外部电子设备400(例如外部电子设备400的处理器)可以压缩例如校正后图像，并且通过例如外部电子设备400的通信接口或通信模块将压缩图像传输到电子设备101。外部电子设备400可以通过例如外部电子设备400的通信接口或通信模块将获得的扩展的校正区域信息传输到电子设备101。电子设备101(例如处理器120或210)可以使用扩展的校正区域信息来校正其保留的原始图像，生成校正后图像。外部电子设备400(例如外部电子设备400的处理器)可以生成对应于扩展的校正区域信息的像素调整信息，并且通过例如外部电子设备400的通信接口或通信模块将像素调整信息传输到电子设备101，并且电子设备101(例如处理器120或210)可以将像素调整信息存储在原始图像中，生成校正后图像。基于原始图像生成的扩展的校正区域信息可能在尺寸上大于基于小原始图像生成的校正区域信息。
图14示出了根据本公开实施例的电子设备的ISP和外部电子设备的ISP的框图。
根据本公开的实施例，校正区域信息1410可以包括对象分割信息1411、纹理分割信息1412或分类信息(或场景分类信息)1413中的至少一个。校正区域信息1410可以用在外部电子设备的ISP 1420或电子设备的ISP 1430中。外部电子设备可以被实施为例如服务器，并且外部电子设备的ISP 1420因此可以被称为云ISP。外部电子设备的ISP 1420可以执行最初的颜色映射1421、细节重新生成1422、文本重构1423、图像修复1424、基于场景的白平衡(WB)/颜色调整1425、基于分割的降噪(NR)/锐化1426或基于分割的细节增强1427中的至少一个校正方案。电子设备的ISP 1430可以执行基于场景的白平衡(WB)/颜色调整1431、基于分割的降噪(NR)/锐化1432或基于分割的细节增强1433中的至少一个校正方案。电子设备的ISP 1430可以将锐化和细节增强大量应用于对应于人的头发的区域，并将噪声降低大量应用于对应于人脸的区域。外部电子设备的ISP 1420可以比电子设备的ISP 1430具有更高的计算能力或更多的资源，并因此可以执行附加的校正，诸如最初的颜色映射1421、细节重新生成1422、文本重构1423和图像修复1424。外部电子设备的ISP 1420可以生成对应于例如分类信息1413的特征向量，并且ISP 1420可以映射对象的最初的颜色或者重新生成对象的细节。外部电子设备的ISP 1420可以通过文本识别来执行文本重构，并且可以执行图像修复填充被识别对象的删除部分。因此，由外部电子设备校正的原始图像可以比由电子设备校正的原始图像具有更高的质量。
图15示出了根据本公开实施例的使用图像分类来增强自动白平衡(AWB)的精度的示例的概念图。
AWB可以是推断白色或灰色点的过程，并调整其白平衡以显示为白色，以便在各种光源下保持颜色恒定。由电子设备进行的图像捕获可以在各种照明环境中执行，诸如在通过例如灯泡的低色温照明下，通过荧光灯或发光二极管(LED)灯的室内照明下，或者在诸如晴天阴凉处的室外环境中。尽管AWB能够根据执行图像捕获时的照度(亮度)区分室外、室内和夜间，但在使用亮度相似但色温不同的灯的环境中，AWB很可能会导致错误。这就是为什么当两个不同的对象在不同类型的照明下被捕获时，传感器输出被显示为在RGB比率方面是相似的。在室内灯下明亮的树对象可能会与灯泡下的白色对象混淆。在一个类似的示例中，在阴凉的树林或草宽阔延伸的地方，可能会与荧光灯下捕获的白色对象混淆。当在图像分类中可以识别当前的捕获环境时，应该由AWB判断的色温范围可以减小，AWB误差也可以减小。通常应该在从2800K到7000K的宽阔范围1501内选择白色候选区，这可能会导致AWB出现误差。根据本公开的一个实施例，当图像被分类为在办公室内捕获时，可以在比给定普通办公室照明的传统范围更窄的范围1502内选择白色候选区(例如从3500K到5500K)，从而允许AWB增强精度。
图16A和16B示出了根据本公开实施例的用于描述图像质量增强的图像视图。
图16A可以示出由图像传感器获得的原始图像。电子设备101(例如处理器120或210)可以从原始图像生成小原始图像，并且通过例如通信接口170或通信模块220将小原始图像传输到外部电子设备400。外部电子设备400(例如外部电子设备400的处理器)可以从小原始图像生成校正区域信息，该校正区域信息包括：例如“室外环境”的图像分类信息，指示第一区域的识别结果是“天空”、第二区域的识别结果是“面部”、第二区域的第三区域的识别结果是“牙齿”、第四区域的识别结果是“衣服”的对象识别信息，以及指示第四区域的纹理识别结果是“棉”的图像区域信息。外部电子设备400(例如外部电子设备400的处理器)可以通过例如外部电子设备400的通信接口或通信模块向电子设备101传输校正区域信息，并且电子设备101(例如处理器120或210)可以使用校正区域信息校正原始图像。图16B示出了根据本公开实施例的校正后图像。电子设备101(例如处理器120或210)可以基于图像分类信息(例如“室外环境”)对整个原始图像执行白平衡。电子设备101可以通过对应于例如第一区域1611的识别结果“天空”的校正(例如颜色对比度调整)来加深蓝色。电子设备101(例如处理器120或210)可以执行对应于例如第二区域1612的识别结果“面部”的校正(例如污点或噪声去除或变亮)。电子设备101(例如处理器120或210)可以执行对应于例如第三区域1613的识别结果“牙齿”的校正(例如白化)。电子设备101(例如处理器120或210)可以执行对应于例如第四区域1614的识别结果“棉”的校正(例如锐化)。根据本公开的实施例，外部电子设备400(例如外部电子设备400的处理器)可以按照校正区域信息生成像素调整信息，并且通过例如外部电子设备400的通信接口或通信模块将像素调整信息传输到电子设备101。外部电子设备400(例如外部电子设备400的处理器)可以生成像素调整信息，该像素调整信息包括：对应于第一区域1611中的像素的颜色对比度调整的调整信息(例如加深蓝色)，对应于第二区域1612中的像素的污点或噪声去除和变亮的调整信息(例如调整对应于噪声的像素的颜色值，以及变亮对应于噪声的像素)，对应于调整第三区域1613中的像素的颜色的调整信息(例如白化)，以及对应于锐化第四区域1614中的像素的调整信息(例如将对应于边界的一些像素调整为背景颜色，而将其余像素调整为对象颜色)。电子设备101(例如处理器120或210)可以根据从外部电子设备400接收到的像素调整信息来调整原始图像中的像素，从而生成校正后图像。
图17示出了根据本公开实施例的电子设备和外部电子设备的框图。
根据本公开的实施例，电子设备1700(例如电子设备101)可以包括图像传感器1701、处理器1710、存储器1720和显示器1730。图像传感器1701可以生成原始图像1702并将原始图像1702存储在存储器1720中。轻量级图像和增强图像生成模块1711可以从原始图像1702生成小原始图像1703，并且轻量级压缩模块1715可以压缩小原始图像1703并存储在存储器1720中。轻量级图像和增强图像生成模块1711可以生成数据以补偿在生成小原始图像1703时丢失的信息，并且这可以被称为增强图像(或增强原始图像)1704。可以通过将增强图像1704应用于小原始图像1703来生成与原始图像1702相同或相似的图像。小原始图像1703和增强图像1704可以分别经由通信模块被存储在外部电子设备1750(例如外部电子设备400)的小原始图像存储单元1751和增强图像存储单元1757中。解压缩模块1752可以解压缩小原始图像，并将被解压缩的图像发送到预处理模块1753。预处理模块1753可以执行基本预处理，并将所得图像递送到识别模块1754。识别模块1754可以识别小原始图像以生成校正区域信息，并将校正区域信息递送给ISP 1755。解压缩模块1758可以解压缩增强图像，并将其递送到合成模块1756。合成模块1756可以使用增强图像将相同或相似的图像合成到原始图像，并将合成的图像传送到ISP 1755。ISP 1755可以通过使用校正区域信息校正合成的图像来生成校正后图像。压缩模块1759可以基于指定的压缩方案(例如JPEG压缩方案)来压缩校正后图像，并且通过通信模块将压缩图像1706递送到电子设备1700。压缩图像1706可以被存储在存储器1720中。同时，电子设备1700的ISP 1713可以使用原始图像1702生成校正后图像1707，并将校正后图像1707存储在存储器1720中。校正后图像1707可以被存储在例如VRAM中，并因此可以被显示在显示器1730上。校正后图像1707可以是例如YUV格式，但是其格式不限于此。压缩模块1714可以基于指定的压缩方案(例如JPEG方案)来压缩校正后图像1707，并将压缩图像1705存储在存储器1720中。电子设备1700可以存储压缩图像1705和压缩图像1706两者，或者可以将用压缩图像1706交换压缩图像1705并存储它。
图18A至18C示出了描绘根据本公开实施例的用于生成小原始图像和增强图像的示例的概念图。
参考图18A，电子设备101(例如电子设备1700或处理器120或210)可以使用降采样或缩小的方式来生成小原始图像，以降低原始图像的分辨率。电子设备101可以将小原始图像放大(up-scale)到原始图像的分辨率，基于放大后的图像和原始图像之间的差异生成增强图像。如图18A所示，原始图像的传送时间可以比小原始图像的传送时间更长。参考图18B，电子设备101(例如处理器120或210)可以通过例如离散余弦变换(discrete cosinetransform，DCT)或小波变换来变换最初的原始图像，并基于低频分量生成小原始图像。电子设备101(例如处理器120或210)可以基于高频分量生成增强图像。尽管小原始图像的传送时间可能比例如增强图像的传送时间更长，但这仅仅是一个示例。参考图18C，电子设备101(例如处理器120或210)可以使用对应于最初的原始图像的所有位深度中的高阶位或最高有效位(most significant bit，MSB)的位平面来生成小原始图像。电子设备101(例如处理器120或210)可以使用对应于最初的原始图像的所有位深度中的低阶位或最低有效位(least significant bit，LSB)的位平面来生成增强图像。尽管小原始图像的传送时间可能比例如增强图像的传送时间更短，但这仅仅是一个示例。
图19示出了根据本公开实施例的电子设备和外部电子设备的框图。
根据本公开的实施例，电子设备1900(例如电子设备101)可以包括图像传感器1901、处理器1910、存储器1920和显示器1930。图像传感器1901可以捕获外部对象以生成原始图像1902，并将原始图像1902存储在存储器1920中。轻量级图像生成和压缩模块1911可以从原始图像1902生成小原始图像1903。小原始图像1903可以经由通信模块被传输到外部电子设备1950(例如外部电子设备400)。解压缩和预处理模块1951可以解压缩和预处理小原始图像，并将图像传输到识别模块1952。识别模块1952可以生成校正区域信息。压缩模块1912可以将原始图像1902压缩成压缩原始图像1904，并将压缩原始图像1904存储在存储器1920中。压缩原始图像1904可以经由通信模块被发送到外部电子设备1950。压缩原始图像1904可以被存储在外部电子设备1950的原始图像存储单元1954中。压缩原始图像的数据库1955可以被传送到解压缩和ISP 1953。解压缩和ISP 1953可以对压缩原始图像进行解压缩，并使用从识别模块1952接收到的校正区域信息生成校正后图像。编码器1957可以对校正后图像进行编码。编码图像1905可以经由通信模块被传送到电子设备1900。编码图像1905可以被存储在存储器1920中，例如VRAM。解码器1913可以从VRAM解码编码图像1905，并在显示器1930上显示解码后的图像。来自解压缩和ISP 1953的校正后图像可以被传送到压缩模块1958。压缩模块1958可以以例如JPEG压缩方案执行压缩，生成压缩图像。压缩图像可以被存储在压缩图像存储单元1959中，并且可以经由通信模块被传送到电子设备1950。压缩图像1906可以被存储在存储器1920中。如上所述，电子设备1900可以校正图像以获得压缩图像，尽管它不包括ISP。
图20示出了根据本公开实施例的包括多个图像传感器的电子设备的框图。
根据本公开的实施例，电子设备2000(例如电子设备101)可以包括多个图像传感器2001和2002、处理器2010、存储器2020和显示器2030。多个图像传感器2001和2002可以生成原始图像2003。轻量级图像生成和压缩模块2011可以使用原始图像2003生成小原始图像2004。根据本公开的实施例，轻量级图像生成和压缩模块2011可以生成并压缩小原始图像2004，小原始图像2004对应于由多个图像传感器2001和2002生成的所有原始图像2003，或者可以从生成的原始图像2003中的一些生成小原始图像2004。小原始图像2004可以经由通信模块被传送到外部电子设备2050(例如外部电子设备400)。压缩模块2012和2015可以将原始图像2003压缩成压缩原始图像2005，并将压缩原始图像2005存储在存储器2020中。压缩原始图像2005可以经由通信模块被传送到外部电子设备2050，并被存储在原始图像存储单元2056中。解压缩模块2051可以解压缩小原始图像2004，并将解压缩的图像传送到识别模块2052。识别模块2052可以从小原始图像生成校正区域信息，并且经由通信模块将校正区域信息递送到ISP 2013和2016。ISP 2013和2016可以使用校正区域信息来校正原始图像2003，生成校正后图像2006。校正后图像2006可以被存储在例如VRAM中，并且可以被显示在显示器2030上。校正后图像2006可以被传送到压缩模块2014和2017，并且可以通过指定的压缩方案(例如JPEG方案)来压缩。压缩图像2007可以被存储在存储器2020中。解压缩和ISP模块2054可以接收数据库2053的压缩原始图像并对其进行解压缩。解压缩和ISP模块2054可以执行校正并将校正后图像传送到压缩模块2055。压缩模块2055可以生成压缩图像2008，并将压缩图像2008存储在压缩图像存储单元2057中。压缩图像2008可以经由通信模块被传送到电子设备2000，并被存储在例如存储器2020中。电子设备2000可以存储压缩图像2007和压缩图像2008，或者可以用压缩图像2008交换压缩图像2007并存储它们。根据本公开的实施例，电子设备2000可以包括单个图像传感器(例如双光电二极管(dual-photodiode，2PD)图像传感器)。单个图像传感器可以生成对应于多个注视点(gaze point)的多个原始图像，在这种情况下，也可以如图20所示处理多个原始图像。根据本公开的实施例，电子设备2000可以使用多个原始图像生成深度图，并将深度图或其降采样图传输到外部电子设备2050。外部电子设备2050可以附加地使用深度图或降采样图来生成校正区域信息。
图21示出了描述根据本公开实施例的用于操作电子设备和外部电子设备的方法的流程图。参考图22更详细地描述图21的实施例。图22示出了根据本公开实施例的另一视频的帧的概念图。
根据本公开的实施例，在操作2101中，电子设备101(例如处理器120或210)可以开始视频捕获。根据视频捕获，电子设备101(例如处理器120或210)可以使用图像传感器(例如照相机模块291)获得多个帧。例如，如图22中示出的，电子设备101(例如处理器120或210)可以获得多个帧2201至2207。在操作2103中，电子设备101(例如处理器120或210)可以生成对应于第一帧2201的第一轻量级图像。电子设备101(例如处理器120或210)可以将第一帧2201降采样或缩小为第一轻量级图像2211。在操作2105中，电子设备101(例如处理器120或210)可以通过例如通信接口170或通信模块220将第一轻量级图像2211传输到外部电子设备400。
根据本公开的实施例，在操作2107中，外部电子设备400(例如外部电子设备400的处理器)可以生成第一校正区域信息2212。外部电子设备400(例如外部电子设备400的处理器)可以识别第一轻量级图像，并且至少基于第一轻量级图像的识别结果来生成第一校正区域信息2212。在操作2109中，外部电子设备400(例如外部电子设备400的处理器)可以通过例如外部电子设备400的通信接口或通信模块向电子设备101传输第一校正区域信息2212。
根据本公开的实施例，在操作2111中，电子设备101(例如处理器120或210)可以基于第一校正区域信息2212的至少一部分，使用包括第一帧2201的视频的第一部分内的多个帧2201、2202、2203和2204生成多个第一校正后的帧。电子设备101(例如处理器120或210)也可以使用第一校正区域信息2212对其与第一帧2201的相似度为指定值或更小的帧(例如帧2202、2203和2204)以及第一帧2201执行校正。
根据本公开的实施例，在操作2113中，电子设备101(例如处理器120或210)可以检测帧间差异超过预定值，从而检测第一部分的结束。例如，第二帧2205和第一部分的帧2201、2202、2203和2204之间的差异可能超过指定值。根据各种图像比较方案，电子设备101(例如处理器120或210)可以检测到第二帧2205和第一部分的帧2201、2202、2203和2204之间的差异超过指定值。在操作2115中，电子设备101(例如处理器120或210)可以生成对应于第二部分的第二帧2205的第二轻量级图像2221。电子设备101(例如处理器120或210)可以将第二帧2205降采样或缩小为第二轻量级图像2221。在操作2117中，电子设备101(例如处理器120或210)可以通过例如通信接口170或通信模块220将第二轻量级图像2221传输到外部电子设备400。
根据本公开的实施例，在操作2119中，外部电子设备400(例如外部电子设备400的处理器)可以生成第二校正区域信息2222。在操作2121中，外部电子设备400(例如外部电子设备400的处理器)可以通过例如外部电子设备400的通信接口或通信模块向电子设备101传输第二校正区域信息2222。根据本公开的实施例，在操作2123中，电子设备101(例如处理器120或210)可以基于第二校正区域信息2222的至少一部分，使用包括第二帧2205的视频的第二部分内的多个帧(例如帧2205、2206和2207)来生成多个第二校正后的帧。在操作2125中，电子设备101(例如处理器120或210)可以使用多个第一校正后的帧和多个第二校正后的帧来生成被压缩的视频文件。电子设备101(例如处理器120或210)可以为视频的所有帧生成小原始图像，并且避免将它们上传到外部电子设备400，或者电子设备101(例如处理器120或210)可以为一些帧生成小原始图像并上传它们。电子设备101(例如处理器120或210)不仅可以将接收到的校正区域信息应用于一个原始图像，还可以应用于其他原始图像。根据本公开的实施例，电子设备101(例如处理器120或210)可以跳过多个帧中的一些帧，并且以预定速率周期性地将这些帧的小原始图像传输到外部电子设备400。
根据本公开的实施例，电子设备101(例如处理器120或210)可以基于校正区域信息校正每段(per-section)帧，并且将其存储在VRAM中。因此，即使在预览过程期间，电子设备101(例如处理器120或210)也可以显示质量增强的视频帧。根据本公开的实施例，电子设备101(例如处理器120或210)可以周期性地或连续地发送要在实时视图(或预览)中显示的至少一些屏幕，同时捕获视频并使用接收到的校正区域信息校正被包括在实时视图的帧中的至少一些，提供包括校正后图像的实时视图。根据本公开的实施例，电子设备101(例如处理器120或210)可以周期性地或连续地向外部电子设备发送实时视图的至少一部分，并且在实时视图的至少一部分中显示从外部电子设备接收到的校正后图像。根据本公开的实施例，电子设备101(例如处理器120或210)可以显示使用从外部电子设备接收到的校正区域信息校正后的图像，或者即使当其不在进行视频捕获时也可以显示从外部电子设备接收到的校正后图像。
根据本公开的实施例，一种用于操作电子设备的方法可以包括：使用照相机获得对应于外部对象的第一图像；使用第一图像生成数据尺寸小于第一图像的第二图像；将第二图像传输到外部电子设备，使得外部电子设备基于与从第二图像识别的图像区域相关联的信息来生成校正区域信息，通过通信模块从外部电子设备接收所生成的校正区域信息，并且基于校正区域信息的至少一部分使用第一图像执行校正。
根据本公开的实施例，生成第二图像可以包括通过执行以下各项中的至少一个来生成第二图像：调节第一图像的分辨率、选择第一图像的多个频带中的至少一些频带、或者选择第一图像的多个位平面级别中的至少一个位平面级别。
根据本公开的实施例，用于操作电子设备的方法还可以包括：将第一图像传输到外部电子设备，使得外部电子设备使用第一图像和校正区域信息来生成其他校正区域信息。
根据本公开的实施例，用于操作电子设备的方法还可以包括：接收由外部电子设备使用其他校正区域信息校正第一图像而生成的第四图像或者接收其他校正区域信息。
根据本公开的实施例，与至少一个图像区域相关联的信息可以包括以下各项中的至少一个：被包括在第二图像中的第一对象的位置、第一对象的对象识别结果、第一对象的对象识别结果的可靠性、被包括第二图像中的第二对象的位置、第二对象的纹理识别结果、或第二对象的纹理识别的精度。
根据本公开的实施例，从外部电子设备接收所生成的校正区域信息可以包括从外部电子设备接收还包括图像分类信息的校正区域信息，并且基于校正区域信息的至少一部分使用第一图像执行校正可以包括使用图像分类信息或者与图像区域相关联的信息中的至少一个来校正第一图像。
根据本公开的实施例，用于操作电子设备的方法还可以包括通过显示器显示校正后图像。
根据本公开的实施例，用于操作电子设备的方法还可以包括：传输将与第一图像相关联的元数据传输到外部电子设备，并且接收由外部电子设备使用元数据和第二图像生成的校正区域信息。
根据本公开的实施例，基于校正区域信息的至少一部分使用第一图像执行校正可以包括执行以下各项中的至少一个：对第一图像的与被包括在校正区域信息中的对象的位置相对应的像素应用与该对象的识别结果相对应的第一效果、或者对第一图像应用与分类信息相对应的第二效果。
根据本公开的实施例，基于校正区域信息的至少一部分使用第一图像执行校正可以包括使用与第一图像的格式不同的格式生成校正后的第一图像。
根据本公开的实施例，用于操作电子设备的方法还可以包括：使用第一图像生成第二图像和第五图像，该第五图像与第二图像一起构成第一图像，并且将第五图像传输到外部电子设备，使得外部电子设备用第二图像和第五图像构成第一图像，并且使用校正区域信息和第一图像生成其他校正区域信息。
根据本公开的实施例，生成第五图像可以包括：选择第一图像的多个频带中的一些频带来生成第二图像，并且选择多个频带中的其他频带来生成第五图像，选择第一图像的多个位平面中的一些位平面来生成第二图像，并且选择多个位平面中的其他位平面来生成第五图像，或者缩小第一图像以生成第二图像，将第二图像放大到第一图像的分辨率，并且获得放大后的图像和第一图像之间的差异以生成第五图像。
根据本公开的实施例，用于操作电子设备的方法可以包括：从另一电子设备获得第一图像，基于第一图像识别从第一图像识别至少一个图像区域，至少基于与该至少一个图像区域相关联的信息生成对应于第一图像的校正区域信息，以及将校正区域信息传输到外部电子设备。
根据本公开的实施例，用于操作电子设备的方法还可以包括基于第二图像识别的对应于第一图像的分类信息。至少基于与该至少一个图像区域相关联的信息生成对应于第一图像的校正区域信息可以包括至少基于分类信息或与该至少一个图像区域相关联的信息生成对应于第一图像的校正区域信息。
根据本公开的实施例，用于操作电子设备的方法还可以包括从外部电子设备接收第一图像。
根据本公开的实施例，生成校正区域信息可以包括从至少一个图像区域识别对应于对象的至少一个区域，并且使用与对象有关的信息生成校正区域信息。
根据本公开的实施例，生成校正区域信息可以包括从至少一个图像区域中识别对应于纹理的至少一个区域，并且使用与纹理有关的信息生成校正区域信息。
根据本公开的实施例，生成校正区域信息可以包括确定对应于分割或分类至少一个图像区域的至少一个可靠性，并且使用该至少一个可靠性生成校正区域信息。
根据本公开的实施例，用于操作电子设备的方法还可以包括从外部电子设备接收尺寸不同于第一图像的第二图像，并且使用第二图像和校正区域信息生成其他校正区域信息。
根据本公开的实施例，用于操作电子设备的方法还可以包括基于其他校正区域信息的至少一部分使用第二图像生成校正后图像。
根据本公开的实施例，使用第二图像执行校正可以包括基于其他校正区域信息的至少一部分识别第二图像的第一区域和第二区域用于校正，使用指定为对应于第一区域的第一校正信息校正第一区域，并且使用指定为对应于第二区域的第二校正信息校正第二区域。
根据本公开的实施例，用于操作电子设备的方法可以包括：获得对应于外部对象的第一图像，使用第一图像生成数据尺寸小于第一图像的第二图像，将第二图像传输到外部电子设备，使得外部电子设备生成像素调整信息以调整第二图像的至少一部分中的每一个像素，从外部电子设备接收所生成的像素调整信息，并且使用接收到的像素调整信息来校正第一图像的至少一部分中的每个像素。
根据本公开的实施例，用于操作电子设备的方法可以包括：获得对应于外部对象的第一图像；使用第一图像生成数据尺寸小于第一图像的第二图像；将第一图像和第二图像传输到外部电子设备；从外部电子设备接收在第一图像被通过第二图像获得的校正区域信息校正之后被编码的图像，解码接收到的被编码图像并显示被解码的图像，响应于该传输，从外部电子设备接收在第一图像被校正之后被压缩的图像，并存储接收到的被压缩的图像。
根据本公开的实施例，用于操作电子设备的方法可以包括：使用照相机获得用于构成视频的多个图像，使用被包括在多个图像的第一部分中的第一图像生成数据尺寸小于第一图像的第一轻量级图像，将第一轻量级图像传输到外部电子设备，接收基于第一轻量级图像生成的第一校正区域信息，基于第一校正区域信息校正被包括在第一部分中的图像，使用被包括在多个图像的第二部分中的第二图像生成数据尺寸小于第一图像的第二轻量级图像，将第二轻量级图像传输到外部电子设备，接收基于第二轻量级图像生成的第二校正区域信息，以及基于第二校正区域信息校正被包括在第二部分中的图像。
根据本公开的实施例，传输第二轻量级图像可以包括：在检测到与第一部分中的图像的差异超过指定阈值的图像时，确定第一部分的结束，将其差异超过指定阈值的图像分类为在第二部分中，并且传输第二轻量级图像。
电子设备的每个前述组件可以包括一个或多个部件，并且部件的名称可以随着电子设备的类型而变化。根据本公开各种实施例的电子设备可以包括至少一个前述组件、省略前述组件中一些、或者包括(多个)其他附加组件。组件中的一些可以被组合成实体，但该实体可以执行与组件相同的功能。
术语“模块”可以指包括硬件、软件和固件之一、或它们的组合的单元。术语“模块”可以与单元、逻辑、逻辑块、组件或电路互换使用。该模块可以是集成组件的最小单元或一部分。“模块”可以是执行一个或多个功能的最小单元或部分。该模块可以机械地或电子地实施。例如，该模块可以包括专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)中的至少一个，这些芯片执行一些操作，这些操作已经公知或将在将来开发。
根据本公开的实施例，设备(例如模块或它们的功能)或方法(例如操作)的至少一部分可以(例如以程序模块的形式)实施为存储在计算机可读存储介质中的指令。当由处理器(例如处理器120)执行时，这些指令可以使处理器能够执行相对应的功能。计算机可读存储介质可以是例如存储器130。
计算机可读存储介质可以包括硬件设备，诸如硬盘、软盘和磁带(例如磁带)，光学介质，诸如光盘ROM(CD-ROM)和数字多功能盘(DVD)，磁光介质，诸如软式光盘、ROM、RAM、闪存等。程序命令的示例不仅可以包括机器语言代码，还可以包括高级语言代码，这些代码可以由使用解析器的各种计算装置执行。前述硬件设备可以被配置为作为一个或多个软件模块来操作，以执行本公开的示例性实施例，反之亦然。
根据本公开各种实施例的模块或编程模块可以包括前述组件中的至少一个或多个、省略这些组件中的其中一些，或者进一步包括其他附加组件。根据本公开的各种实施例，由模块、编程模块或其他组件执行的操作可以顺序地、同时地、重复地或启发式地执行。此外，操作中的一些可以以不同的顺序执行，或者被省略，或者包括(多个)其他附加操作。
根据本公开的实施例，提供了一种存储介质，其存储由至少一个处理器执行的命令，以使至少一个处理器能够执行至少一个操作，该操作包括：从另一电子设备获得第一图像，基于第一图像识别从第一图像识别至少一个图像区域，至少基于与至少一个图像区域相关联的信息生成对应于第一图像的校正区域信息，以及将校正区域信息传输到外部电子设备。
所述至少一个操作可以包括：从另一电子设备获得第一图像，基于第一图像识别从第一图像识别至少一个图像区域，至少基于与至少一个图像区域相关联的信息生成对应于第一图像的校正区域信息，以及将校正区域信息传输到外部电子设备。
所述至少一个操作可以包括：获得对应于外部对象的第一图像；使用第一图像生成数据尺寸小于第一图像的第二图像；将第二图像传输到外部电子设备，使得外部电子设备生成像素调整信息以调整第二图像的至少一部分中的每个像素；从外部电子设备接收生成的像素调整信息；以及使用接收到的像素调整信息校正第一图像的至少一部分中的每个像素。
所述至少一个操作可以包括：获得对应于外部对象的第一图像，使用第一图像生成数据尺寸小于第一图像的第二图像，将第一图像和第二图像传输到外部电子设备，从外部电子设备接收在第一图像被通过第二图像获得的校正区域信息校正之后被编码的图像，解码接收到的被编码的图像并显示被解码的图像，响应于该传输，从外部电子设备接收在第一图像被校正之后被压缩的图像，并存储接收到的被压缩的图像。
至少一个操作可以包括：使用照相机获得用于构成视频的多个图像；使用被包括在多个图像的第一部分中的第一图像生成数据尺寸小于第一图像的第一轻量级图像；将第一轻量级图像传输到外部电子设备；接收基于第一轻量级图像生成的第一校正区域信息，基于第一校正区域信息校正被包括在第一部分中的图像，使用被包括在多个图像的第二部分中的第二图像生成数据尺寸小于第一图像的第二轻量级图像，将第二轻量级图像传输到外部电子设备，接收基于第二轻量级图像生成的第二校正区域信息，以及基于第二校正区域信息校正被包括在第二部分中的图像。
本文公开的实施例是为了描述和理解所公开的技术而提出的，并且不限制本公开的范围。因此，本公开的范围应被解释为包括基于本公开的技术精神的所有变化或各种实施例。
尽管已经用各种实施例描述了本公开，但是可以向本领域技术人员建议各种改变和修改。本公开旨在涵盖落入所附权利要求范围内的这些改变和修改。
Claims (15)
1.一种电子设备，包括：
照相机；
通信模块；和
处理器，可操作地与所述照相机和所述通信模块耦接，其中所述处理器被配置为：
使用所述照相机获得对应于外部对象的第一图像，
生成与所述第一图像相关联的元数据，
使用所述第一图像生成数据尺寸小于所述第一图像的第二图像，其中，所述第二图像的像素坐标对应于所述第一图像的像素坐标，
通过所述通信模块将所述第二图像和所述元数据传输到外部电子设备，
通过所述通信模块从所述外部电子设备接收校正区域信息，其中所述校正区域信息是基于所述元数据和与从所述第二图像识别的图像区域相关联的信息，并且其中，所述校正区域信息包括多个分割图，以及
基于所述校正区域信息的至少一部分执行所述第一图像的校正，
其中，所述多个分割图与所述第二图像中的至少一个对象的对象识别结果、所述对象识别结果的可靠性、所识别的所述第二图像中的至少一个对象的纹理识别结果以及纹理识别的精度相关。
2.根据权利要求1所述的电子设备，其中，所述处理器被配置为通过执行以下各项中的至少一个来生成所述第二图像：
调整所述第一图像的分辨率，
选择所述第一图像的多个频带中的一些频带，或者
选择所述第一图像的多个位平面级别中的一个或一些位平面级别。
3.根据权利要求1所述的电子设备，其中，所述处理器被配置为通过所述通信模块将所述第一图像传输到所述外部电子设备。
4.根据权利要求1所述的电子设备，其中，与所述图像区域相关联的所述校正区域信息包括以下各项中的至少一个：
被包括在所述第二图像中的第一对象的位置，
所述第二图像中的所述第一对象的对象识别结果，
所述第一对象的对象识别结果的可靠性，
被包括在所述第二图像中的第二对象的位置，
所述第二对象的纹理识别结果，或者
所述第二对象的纹理识别的精度。
5.根据权利要求1所述的电子设备，其中，所述处理器被配置为：
通过所述通信模块从所述外部电子设备接收包括所述第二图像的图像分类信息的所述校正区域信息；和
使用所述图像分类信息来校正所述第一图像。
6.根据权利要求1所述的电子设备，其中，所述处理器被配置为：
通过所述通信模块接收由所述外部电子设备使用所述元数据和所述第二图像生成的所述校正区域信息。
7.根据权利要求1所述的电子设备，其中，所述处理器被配置为执行以下至少各项中的至少一个：
对所述第一图像的与被包括在所述校正区域信息中的对象的位置相对应的像素应用与所述对象的识别结果相对应的第一效果；和
对所述第一图像应用与分类信息相对应的第二效果。
8.根据权利要求1所述的电子设备，其中，所述处理器被配置为：
使用所述第一图像生成所述第二图像和第五图像，所述第五图像与所述第二图像一起构成所述第一图像；和
通过所述通信模块将所述第五图像传输到所述外部电子设备。
9.一种用于操作电子设备的方法，包括：
使用照相机获得对应于外部对象的第一图像，
生成与所述第一图像相关联的元数据，
使用所述第一图像生成数据尺寸小于所述第一图像的第二图像，其中，所述第二图像的像素坐标对应于所述第一图像的像素坐标，
将所述第二图像和所述元数据传输到外部电子设备，
通过通信模块从所述外部电子设备接收校正区域信息，其中所述校正区域信息是基于所述元数据和与从所述第二图像识别的图像区域相关联的信息，和
基于所述校正区域信息的至少一部分执行所述第一图像的校正，
其中，所述校正区域信息包括多个分割图，并且
其中，所述多个分割图与所述第二图像中的至少一个对象的对象识别结果、所述对象识别结果的可靠性、所识别的所述第二图像中的至少一个对象的纹理识别结果以及纹理识别的精度相关。
10.根据权利要求9所述的方法，其中，生成所述第二图像包括：
通过执行以下各项中的至少一个来生成所述第二图像：
调节所述第一图像的分辨率，
选择所述第一图像的多个频带中的一些频带，或者
选择所述第一图像的多个位平面级别中的一个或一些位平面级别。
11.根据权利要求9所述的方法，还包括：
将所述第一图像传输到所述外部电子设备。
12.根据权利要求9所述的方法，其中，与所述图像区域相关联的所述校正区域信息包括以下各项中的至少一个：
被包括在第二图像中的第一对象的位置，
所述第二图像中的所述第一对象的对象识别结果，
所述第一对象的对象识别结果的可靠性，
被包括在所述第二图像中的第二对象的位置，
所述第二对象的纹理识别结果，或者
所述第二对象的纹理识别的精度。
13.根据权利要求9所述的方法，其中，从所述外部电子设备接收校正区域信息包括接收所述校正区域信息，其中所述校正区域信息包括来自所述外部电子设备的所述第二图像的图像分类信息，以及
其中，基于所述校正区域信息的至少一部分执行所述第一图像的校正包括使用所述图像分类信息来校正所述第一图像。
14.根据权利要求9所述的方法，基于所述校正区域信息的至少一部分执行所述第一图像的校正包括：
执行以下各项中的至少一个：
对所述第一图像的与被包括在所述校正区域信息中的对象的位置相对应的像素应用与所述对象的识别结果相对应的第一效果，和
对所述第一图像应用与分类信息相对应的第二效果。
15.根据权利要求9所述的方法，还包括：
使用所述第一图像生成所述第二图像和第五图像，所述第五图像和所述第二图像一起构成所述第一图像，和将所述第五图像传输到所述外部电子设备。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2017-0062956 | 2017-05-22 | ||
| KR1020170062956A KR102287043B1 (ko) | 2017-05-22 | 2017-05-22 | 카메라를 이용하여 획득한 이미지를 처리하는 전자 장치 및 그 동작 방법 |
| PCT/KR2018/005803 WO2018216992A1 (en) | 2017-05-22 | 2018-05-21 | Electronic device for processing image acquired by using camera and method for operating the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110651296A CN110651296A (zh) | 2020-01-03 |
| CN110651296B true CN110651296B (zh) | 2023-11-10 |
Family
ID=64271909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880033727.6A Active CN110651296B (zh) | 2017-05-22 | 2018-05-21 | 处理通过使用照相机获取的图像的电子设备及其操作方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10957022B2 (zh) |
| EP (1) | EP3590092B1 (zh) |
| JP (1) | JP2020522785A (zh) |
| KR (1) | KR102287043B1 (zh) |
| CN (1) | CN110651296B (zh) |
| WO (1) | WO2018216992A1 (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11170486B2 (en) * | 2017-03-29 | 2021-11-09 | Nec Corporation | Image analysis device, image analysis method and image analysis program |
| KR20190096748A (ko) | 2018-02-09 | 2019-08-20 | 삼성전자주식회사 | 외부 전자 장치를 이용한 이미지 보정 방법 및 전자 장치 |
| KR102495763B1 (ko) * | 2018-02-23 | 2023-02-06 | 삼성전자주식회사 | 제1 이미지 처리 방식으로 보정된 이미지를 제2 이미지 처리 방식을 이용하여 외부 전자 장치에서 보정하기 위한 전자 장치 및 방법 |
| US10796157B2 (en) * | 2018-03-13 | 2020-10-06 | Mediatek Inc. | Hierarchical object detection and selection |
| KR102553150B1 (ko) | 2018-03-23 | 2023-07-10 | 삼성전자주식회사 | 외부 전자 장치와 이미지를 처리하는 전자 장치 및 그 동작 방법 |
| US10863097B2 (en) * | 2018-08-21 | 2020-12-08 | Gopro, Inc. | Field of view adjustment |
| KR20200094525A (ko) | 2019-01-30 | 2020-08-07 | 삼성전자주식회사 | 서로 연관된 복수의 데이터를 포함하는 하나의 파일을 처리하는 전자 장치 |
| KR102663537B1 (ko) * | 2019-01-31 | 2024-05-08 | 삼성전자 주식회사 | 전자 장치 및 이미지 처리 방법 |
| KR20200114275A (ko) | 2019-03-28 | 2020-10-07 | 삼성전자주식회사 | 전자 장치 및 이미지에 포함된 개인 정보의 보안 방법 |
| KR102608127B1 (ko) | 2019-04-08 | 2023-12-01 | 삼성전자주식회사 | 이미지 프로세싱을 수행하는 전자 장치 및 방법 |
| WO2020231016A1 (en) * | 2019-05-16 | 2020-11-19 | Samsung Electronics Co., Ltd. | Image optimization method, apparatus, device and storage medium |
| US10839565B1 (en) * | 2019-08-19 | 2020-11-17 | Samsung Electronics Co., Ltd. | Decoding apparatus and operating method of the same, and artificial intelligence (AI) up-scaling apparatus and operating method of the same |
| GB2586511B (en) * | 2019-08-23 | 2021-12-01 | Dualitas Ltd | Holographic projector |
| EP3799028A1 (en) * | 2019-09-24 | 2021-03-31 | LG Electronics Inc. | Signal processing device and image display apparatus including same |
| WO2021102947A1 (zh) * | 2019-11-29 | 2021-06-03 | 深圳市大疆创新科技有限公司 | 图像信号处理装置、方法、相机以及可移动平台 |
| JP7407604B2 (ja) | 2020-01-21 | 2024-01-04 | キヤノン株式会社 | 推論装置、学習装置、推論方法、学習方法、及びプログラム |
| CN111491152B (zh) * | 2020-04-10 | 2022-01-21 | 中国联合网络通信集团有限公司 | 全息投影装置和方法 |
| CN111880640B (zh) * | 2020-07-31 | 2022-03-22 | Oppo广东移动通信有限公司 | 屏幕控制方法、装置、电子设备及存储介质 |
| EP3975129A1 (en) * | 2020-09-25 | 2022-03-30 | Medit Corp. | Image processing method providing a reliability representation mode and apparatus using the same |
| KR20230012265A (ko) | 2021-07-15 | 2023-01-26 | 한국수력원자력 주식회사 | 열화상 이미지의 발열 및 반사열 판별 방법 |
| US20230022444A1 (en) * | 2021-07-26 | 2023-01-26 | Samsung Electronics Co., Ltd. | Electronic device generating image and method for operating the same |
| WO2023080520A1 (ko) * | 2021-11-03 | 2023-05-11 | 삼성전자 주식회사 | 이미지의 화질을 개선하기 위한 전자 장치 |
| WO2024043557A1 (ko) * | 2022-08-22 | 2024-02-29 | 삼성전자 주식회사 | 이미지를 합성하기 위한 방법 및 이를 지원하는 전자 장치 |
| CN116229377B (zh) * | 2023-05-06 | 2023-08-04 | 成都三合力通科技有限公司 | 一种人员管控报警系统及方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3158505A1 (en) * | 2014-06-18 | 2017-04-26 | Trax Technology Solutions Pte Ltd. | A method and a system for object recognition |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020181801A1 (en) * | 2001-06-01 | 2002-12-05 | Needham Bradford H. | Feature-based image correction |
| JP4202692B2 (ja) | 2002-07-30 | 2008-12-24 | 富士フイルム株式会社 | 画像処理方法および装置 |
| US7039222B2 (en) | 2003-02-28 | 2006-05-02 | Eastman Kodak Company | Method and system for enhancing portrait images that are processed in a batch mode |
| US20060268357A1 (en) * | 2005-05-25 | 2006-11-30 | Vook Dietrich W | System and method for processing images using centralized image correction data |
| US8489987B2 (en) * | 2006-07-31 | 2013-07-16 | Ricoh Co., Ltd. | Monitoring and analyzing creation and usage of visual content using image and hotspot interaction |
| US20080292219A1 (en) * | 2007-05-24 | 2008-11-27 | Gary Keall | Method And System For An Image Sensor Pipeline On A Mobile Imaging Device |
| US8886206B2 (en) * | 2009-05-01 | 2014-11-11 | Digimarc Corporation | Methods and systems for content processing |
| EP2402867B1 (en) * | 2010-07-02 | 2018-08-22 | Accenture Global Services Limited | A computer-implemented method, a computer program product and a computer system for image processing |
| US9424255B2 (en) * | 2011-11-04 | 2016-08-23 | Microsoft Technology Licensing, Llc | Server-assisted object recognition and tracking for mobile devices |
| WO2013165565A1 (en) * | 2012-04-30 | 2013-11-07 | Nikon Corporation | Method of detecting a main subject in an image |
| US9552535B2 (en) * | 2013-02-11 | 2017-01-24 | Emotient, Inc. | Data acquisition for machine perception systems |
| US9881202B2 (en) | 2013-05-14 | 2018-01-30 | Google Llc | Providing visual effects for images |
| US9402018B2 (en) * | 2013-12-17 | 2016-07-26 | Amazon Technologies, Inc. | Distributing processing for imaging processing |
| US9659350B2 (en) * | 2014-01-31 | 2017-05-23 | Morpho, Inc. | Image processing device and image processing method for image correction, and non-transitory computer readable recording medium thereof |
| US9311735B1 (en) * | 2014-11-21 | 2016-04-12 | Adobe Systems Incorporated | Cloud based content aware fill for images |
| US9659381B2 (en) * | 2015-01-26 | 2017-05-23 | Daqri, Llc | Real time texture mapping for augmented reality system |
-
2017
- 2017-05-22 KR KR1020170062956A patent/KR102287043B1/ko active IP Right Grant
-
2018
- 2018-05-21 WO PCT/KR2018/005803 patent/WO2018216992A1/en unknown
- 2018-05-21 CN CN201880033727.6A patent/CN110651296B/zh active Active
- 2018-05-21 EP EP18805351.6A patent/EP3590092B1/en active Active
- 2018-05-21 JP JP2019564104A patent/JP2020522785A/ja active Pending
- 2018-05-22 US US15/986,438 patent/US10957022B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3158505A1 (en) * | 2014-06-18 | 2017-04-26 | Trax Technology Solutions Pte Ltd. | A method and a system for object recognition |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3590092A1 (en) | 2020-01-08 |
| JP2020522785A (ja) | 2020-07-30 |
| CN110651296A (zh) | 2020-01-03 |
| EP3590092B1 (en) | 2023-09-06 |
| KR20180127782A (ko) | 2018-11-30 |
| US10957022B2 (en) | 2021-03-23 |
| US20180336666A1 (en) | 2018-11-22 |
| EP3590092A4 (en) | 2020-01-22 |
| KR102287043B1 (ko) | 2021-08-06 |
| WO2018216992A1 (en) | 2018-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110651296B (zh) | 处理通过使用照相机获取的图像的电子设备及其操作方法 | |
| CN108604432B (zh) | 电子设备及用于控制其的方法 | |
| CN105874776B (zh) | 图像处理设备和方法 | |
| CN108292311B (zh) | 用于处理元数据的设备和方法 | |
| KR102345579B1 (ko) | 이미지 관련 서비스를 제공하기 위한 방법, 저장 매체 및 전자 장치 | |
| US20180025478A1 (en) | Electronic device for processing image | |
| KR102385188B1 (ko) | 외부 전자 장치에서 생성된 정보를 이용하여 이미지 데이터를 처리하는 방법 및 전자 장치 | |
| KR102603426B1 (ko) | 이미지 처리장치 및 방법 | |
| US10848669B2 (en) | Electronic device and method for displaying 360-degree image in the electronic device | |
| KR102547104B1 (ko) | 전자 장치 및 복수의 영상을 처리하는 방법 | |
| KR20170098089A (ko) | 전자 장치 및 그의 동작 방법 | |
| KR102272108B1 (ko) | 영상 처리 장치 및 방법 | |
| CN113890989B (zh) | 一种拍摄方法以及电子装置 | |
| KR102380979B1 (ko) | 이미지의 메타데이터 관리 방법 및 장치 | |
| KR20170019827A (ko) | 이미지 처리 방법 및 이를 지원하는 전자장치 | |
| US10200705B2 (en) | Electronic device and operating method thereof | |
| CN106454005B (zh) | 电子装置和电子装置的图像编码方法 | |
| KR20160149842A (ko) | 영상 처리 방법 및 그 장치 | |
| KR20150141426A (ko) | 전자 장치 및 전자 장치에서의 이미지 처리 방법 | |
| KR20170019595A (ko) | 영상을 제공하는 방법 및 이를 지원하는 전자 장치 | |
| US10623630B2 (en) | Method of applying a specified effect to an area of an image and electronic device supporting the same | |
| US20170111569A1 (en) | Face detection method and electronic device for supporting the same | |
| KR102305909B1 (ko) | 이미지 처리 방법과 이를 지원하는 전자 장치 | |
| KR20180013092A (ko) | 전자 장치 및 그 제어 방법 | |
| KR20160105264A (ko) | 영상 보정 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |