CN111771226A - 电子设备、其图像处理方法及计算机可读记录介质 - Google Patents

电子设备、其图像处理方法及计算机可读记录介质 Download PDF

Info

Publication number
CN111771226A
CN111771226A CN201980014451.1A CN201980014451A CN111771226A CN 111771226 A CN111771226 A CN 111771226A CN 201980014451 A CN201980014451 A CN 201980014451A CN 111771226 A CN111771226 A CN 111771226A
Authority
CN
China
Prior art keywords
image
noise
information
electronic device
compensation map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980014451.1A
Other languages
English (en)
Inventor
泰哈斯·奈尔
李宰成
李泰美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111771226A publication Critical patent/CN111771226A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及利用包括深度学习等的机器学习算法的人工智能(AI)系统及其应用。特别地，本公开的电子设备包括：存储器，包括至少一个命令；以及处理器，连接到存储器以控制电子设备，其中，处理器通过执行至少一个命令而执行以下操作：获取图像，基于拍摄图像的相机的配置信息或图像的亮度信息获取用于对图像的噪声进行校正的噪声校正图，并通过噪声校正图去除图像的噪声。特别地，图像处理方法的至少一部分可以使用通过根据机器学习算法、神经网络算法和深度学习算法中的至少一个的学习而获取的人工智能模型。

Description

电子设备、其图像处理方法及计算机可读记录介质
技术领域
本公开涉及电子设备、其图像处理方法和计算机可读记录介质，且更具体地，涉及使用图像的亮度信息来去除噪声的电子设备、其图像处理方法及计算机可读记录介质。
本公开还涉及使用机器学习算法来模拟人脑的识别功能、决策功能等的人工智能(AI)系统及其应用。
背景技术
近来，实现人类水平的智慧的人工智能系统已经在各种领域中使用。人工智能系统是这样一种系统，在该系统中，机器执行学习和决策，并且与现有的基于规则的智能系统不同，机器通过本身变得智能。随着更多地使用人工智能系统，提高了识别率，并且可以更准确地理解用户的兴趣。因此，现有的基于规则的智能系统逐渐被基于深度学习的人工智能系统所替代。
人工智能技术包括机器学习(例如，深度学习)和使用机器学习的元件技术。
机器学习是通过其本身对输入数据的特征进行分类/学习的算法技术，且元技术是利用诸如深度学习等机器学习算法来模拟人脑的识别、决策等功能的技术，并且包括语言理解、视觉理解、推理/预测、知识表示、运动控制等技术领域。
应用人工智能技术的各种领域如下。语言理解是识别和应用/处理人类语言/字符的技术，且包括自然语言处理、机器翻译、对话系统、问答、语音识别/合成等。视觉理解是识别和处理如人类视觉的事物的技术，且包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解、图像改进等。推断/预测是通过决定信息来执行逻辑推断和预测的技术，并且包括基于知识/概率的推断、优化预测、基于偏好的规划、推荐等。知识表示是将人类体验信息自动化并作为知识数据处理的技术，且包括知识构建(数据创建/分类)、知识管理(数据利用)等。运动控制是控制车辆的自动驾驶和机器人的运动的技术，且包括运动控制(导航、碰撞、驾驶)、操纵控制(行为控制)等。
同时，近来，由于数码相机的普及，减少了生成静止图像或运动图像的时间和地点的限制。此外，随着图像技术的发展，对于不是专业人员的普通人来说，能够容易地获取高清晰度图像。
然而，存在这样的问题：在诸如晚间或封闭空间的黑暗的周围环境中生成的图像包括大量噪声，使得图像质量降低。
为了解决这种问题，传统上，测量图像的噪声并且对噪声的每个强度执行滤波以去除噪声。在这种情况下，通过分析图像的频率来测量噪声，且因此，没有考虑图像的局部特征。例如，存在许多不清楚图像中的任何部分是边缘还是图像中存在的噪声的情况。因此，已经出现了因对补偿图像中不是噪声的区域进行滤波而存在模糊区域并且丢失了图像的纹理而使得图像质量降低的问题。
此外，在使用人工智能模型来去除噪声的相关技术中，对所测量的噪声的每个强度使用了单独的模型。在这种情况下，为噪声的每个强度准备的多个模型中的每一个都应该被训练，因此，存在许多输入数据和存储器被用于训练的问题。
发明内容
技术问题
本公开提供了使用图像的亮度信息去除噪声的电子设备、其图像处理方法及计算机可读记录介质。
技术方案
根据本公开实施方式，电子设备包括：存储器，包括至少一个命令；以及处理器，连接到存储器并且配置为控制电子设备，其中，处理器在执行至少一个命令时配置为：获取图像，基于拍摄图像的相机的设置信息或图像的亮度信息获取用于对图像的噪声进行补偿的噪声补偿图并且通过噪声补偿图去除图像的噪声。
在这种情况下，处理器可配置为基于图像的亮度信息获取噪声补偿图，使得噪声去除强度在亮度低的区域中变高。
在这种情况下，图像的亮度信息可以是图像的每个像素的对比度信息，并且处理器可配置为获取噪声补偿图，使得噪声去除强度针对每个像素变化。
同时，处理器可以配置为针对每个亮度将图像划分成多个区域，并且获取噪声补偿图，使得噪声去除强度针对每个所划分的区域而变化。
同时，相机的设置信息可以包括相机的镜头信息或相机的ISO信息中的至少一个。
在这种情况下，处理器可配置为基于相机的镜头信息获取噪声补偿图，使得噪声移除强度根据渐晕补偿程度而变化。
同时，处理器可配置为基于ISO信息获取噪声补偿图，使得ISO值越高，噪声去除强度越高。
同时，处理器可以配置为将噪声补偿图和图像输入到学习的人工智能模型，以获取噪声被去除的补偿图像。
根据本公开的另一实施方式，电子设备的图像处理方法包括：获取图像；基于拍摄图像的相机的设置信息或图像的亮度信息获取用于对图像的噪声进行补偿的噪声补偿图；通过噪声补偿图去除图像的噪声。
在这种情况下，在获取噪声补偿图的过程中，可基于图像的亮度信息获取噪声补偿图，使得噪声去除强度在亮度低的区域中变高。
在这种情况下，图像的亮度信息可以是图像的每个像素的对比度信息，并且在获取噪声补偿图时，可以获取噪声补偿图使得噪声去除强度对于每个像素变化。
在这种情况下，在获取噪声补偿图的过程中，可以针对每个亮度将图像划分成多个区域并且可以获取噪声补偿图，使得噪声去除强度针对每个所划分的区域而变化。
同时，相机的设置信息可以包括相机的镜头信息或相机的ISO信息中的至少一个。
在这种情况下，在获取噪声补偿图时，可基于相机的镜头信息获取噪声补偿图，使得噪声去除强度根据渐晕补偿程度而变化。
同时，在获取噪声补偿图时，可基于ISO信息获取噪声补偿图，使得ISO值越高，噪声去除强度越高。
同时，在去除噪声时，可将噪声补偿图和图像输入到学习的人工智能模型，以获取噪声被去除的补偿图像。
根据本公开的又一实施方式，计算机可读介质记录介质包括用于执行图像处理方法的程序，其中，图像处理方法包括：获取图像；基于拍摄图像的相机的设置信息或图像的亮度信息，获取用于对图像的噪声进行补偿的噪声补偿图；以及通过噪声补偿图去除图像的噪声。
附图说明
图1是用于描述根据本公开实施方式的电子设备的示意性配置的框图；
图2是用于描述图1的电子设备的详细配置的框图；
图3至图5是用于描述根据本公开的不同实施方式的噪声补偿过程的视图；
图6是示出根据本公开实施方式的用于学习和使用人工智能模型的电子设备的配置的框图；
图7A和图7B是示出根据本公开实施方式的学习器和获取器的具体配置的框图；
图8是用于解释根据本公开实施方式获取噪声补偿图的过程的视图；
图9是用于描述通过反射相机的设置信息来获取的噪声补偿图的实施方式的视图；
图10是用于描述根据本公开实施方式的图像补偿方法的流程图；以及
图11是用于将现有图像和根据本公开补偿的图像彼此进行比较的视图。
具体实施方式
在示意性地描述说明书中使用的术语之后，将详细描述本公开。
考虑到本公开中的功能，当前广泛使用的一般术语被选择为在本公开的实施方式中使用的术语，但是可以根据本领域技术人员的意图或司法先例、新技术的出现等而改变。此外，在特定情况下，可以存在申请人任意选择的术语。在这种情况下，这些术语的含义将在本公开的相应描述部分中详细提及。因此，在本公开中使用的术语应基于术语的含义和贯穿本公开的内容而不是术语的简单名称来限定。
因为本公开可以进行各种修改并且具有几个实施方式，所以本公开的具体实施方式将在附图中示出并且将在具体实施方式中详细描述。然而，应当理解，本公开不限于特定实施方式，而是包括所有修改、等同物和替换，而不脱离本公开的范围和精神。当决定对与本公开相关的已知技术的详细描述可能使本公开的主旨模糊时，将省略所述详细描述。
术语“第一”、“第二”等可用于描述各种组件，但这些组件不应被解释为由这些术语限制。这些术语仅用于将一个组件与另一个组件区分开。
除非上下文另外清楚地指出，否则单数形式旨在包括复数形式。应当理解，在说明书中使用的术语"包括"或"由……形成"指出在说明书中提及的特征、数字、步骤、操作、组件、部件或其组合的存在，但不排除一个或多个其它特征、数字、步骤、操作、组件、部件或其组合的存在或添加。
在本公开的实施方式中，"模块"或"单元"可以执行至少一个功能或操作，并且可以由硬件或软件来实现，或者可以由硬件和软件的组合来实现。此外，多个"模块"或多个"单元"可以集成在至少一个模块中，并且可由除了需要由特定硬件实现的"模块"或"单元"之外的至少一个处理器实现。
下文中，将参考附图详细描述本公开的实施方式，使得本公开所属领域的技术人员可容易地实践本公开。然而，本公开可以以各种不同的形式进行修改，并且不限于本文所述的实施方式。此外，在附图中，与描述无关的部分将被省略以清楚地描述本公开，并且在整个说明书中，类似的附图标记将用于描述类似的部分。
在下文中，将参考附图更详细地描述本公开。
图1是用于描述根据本公开实施方式的电子设备的示意性配置的框图。
参照图1，根据本公开实施方式的电子设备100包括存储器110和处理器120。
电子设备100可以是能够处理图像的设备。例如，电子设备100可以是台式个人计算机(PC)、膝上型计算机、电视(TV)、智能电话，平板PC、服务器，相机、便携式相机等。可选地，电子设备100可以是其中配置云计算环境的系统本身。此外，电子设备100可以是能够人工智能学习的设备。
可以考虑识别模型的应用领域、设备的计算机性能等来配置本公开中学习的人工智能模型。例如，可以学习人工智能模型以通过输入运动图像数据来获取关于包括在运动图像中的对象的信息。所学习的人工智能模型例如可以是基于神经网络的模型。识别模型可以被设计成在计算机上模拟人脑结构，并且可以包括模拟人神经网络的神经元并且具有权重的多个网络节点。多个网络节点可以在它们之间形成连接关系，以模拟通过突触发送和接收信号的神经元的突触活动。在这种情况下，人工智能模型可以是深度神经网络(DNN)，但是这仅是示例，且可以使用另一个人工智能模型。
此外，如上所述，电子设备100可以使用人工智能本体来搜索与对象相关的信息。在这种情况下，人工智能本体是用于提供基于人工智能(AI)的服务(例如，语音识别服务、秘书服务、翻译服务、搜索服务等)的专用程序，并且可以由现有的通用处理器(例如，中央处理单元(CPU))或单独的AI专用处理器(例如，图形处理单元(GPU)等)执行。
存储器110可以由多种格式的存储器来实现，例如硬盘驱动器(HDD)、固态驱动器(SSD)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、铁电随机存取存储器(FRAM)、闪速存储器等。
具体地，存储器110可以存储电子设备100的操作所需的各种程序和数据。例如，电子设备100的操作所需的至少一个命令可以存储在存储器110中。
此外，人工智能模型可以存储在存储器110中。这里，人工智能模型可以是学习的模型。此外，人工智能模型可以去除输入图像的噪声。具体地，人工智能模型可以接收由处理器120获取的图像和噪声补偿图，并去除所获取的图像的噪声。这里，输入到人工智能模型的图像可以是基于高清晰度原始图像获取的噪声图像，并且可以训练人工智能模型的参数，使得噪声被去除的图像与高清晰度原始图像彼此一致。
处理器120通常可以通过执行存储在存储器110中的至少一个命令来控制电子设备100的操作。
根据实施方式，处理器120可以由数字信号处理器(DSP)、微处理器或时间控制器(TCON)来实现。然而，处理器120不限于此，而是可以包括中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)和ARM处理器中的一个或多个，或者可以由这些术语来定义。此外，处理器140可以通过芯片上系统(SoC)或嵌入有处理算法的大规模集成(LSI)来实现，或者可以以现场可编程门阵列(FPGA)的形式来实现。
处理器120可以获取图像并且可以去除所获取的图像的噪声。在这种情况下，图像可以由包括在电子设备100中的相机(未示出)获取，或者可以从外部设备接收。
具体地，处理器120可以获取用于对图像的噪声进行补偿的噪声补偿图，并且可以使用所获取的噪声补偿图来去除图像的噪声。在这种情况下，可以基于拍摄所获取的图像的相机的设置信息或所获取的图像的亮度信息中的至少一个来获取噪声补偿图。
具体地，处理器120可以基于所获取的图像的亮度信息来获取噪声补偿图，使得在亮度低的区域中噪声去除强度变得高。即使除了图像的亮度之外的条件彼此相同，图像的亮度越低，所产生的噪声越多。因此，产生噪声补偿图，使得图像的亮度越低，噪声去除强度越高。这里，噪声去除强度可以指应用噪声去除效果的强度。
具体地，处理器120可以获取图像的亮度信息。在这种情况下，图像的亮度信息可以参考图像的对比度信息。处理器120可以获取包括所获取的图像的对比度信息的灰度图，并且使用该灰度图获取噪声补偿图。在这种情况下，图像的对比度信息对于每个图像是不同的，因此，处理器120可以针对每个获取的图像生成相应的噪声补偿图。
作为实施方式，处理器120可以获取图像的每个像素的对比度信息，并且获取噪声补偿图以使得噪声去除强度对于每个像素变化。
作为另一个实施方式，处理器120可以将图像划分成多个区域，并且获取噪声补偿图以使得噪声去除强度对于每个划分的区域变化。具体地，处理器120可以针对每个亮度将图像划分为多个区域。例如，处理器120可以检测图像内的边缘，并基于检测到的边缘将图像划分成多个区域。这里，边缘可以指图像中的对比度的差是预定值或更大的边界。
同时，处理器120可以使用相机的设置信息来获取噪声补偿图。这里，相机是拍摄所获取的图像的设备，并且相机的设置信息可以包括与所获取的图像的亮度信息相关的各种项目。例如，相机的设置信息可以包括相机的镜头信息或相机的ISO信息中的至少一个。
具体地，处理器120可以基于相机的镜头信息获取噪声补偿图，使得噪声去除强度根据渐晕补偿程度而变化。这里，渐晕可以指这样的现象，在该现象中，由于镜头周边部分的光量的减少，所拍摄的图像的角或外部变暗或者被黑色覆盖。渐晕是镜头本身的问题，并且渐晕的出现范围和程度可针对相机中使用的每个镜头而变化。同时，除非相机的镜头被替换，否则基于镜头信息的噪声补偿图可以是相同的。下面将参考图8和图9详细描述补偿渐晕的实施方式。
此外，处理器120可以基于相机的ISO信息获取噪声补偿图。这里，ISO是指相机对光的敏感程度，并且因为随着相机的ISO值变得更大，相机很好地识别弱光，所以相机主要用于在暗处拍摄图像。当ISO值大时，缩短图像拍摄时间以获取不抖动的清晰图像，但是存在图像由于噪声增加而变得粗糙的问题。
这种ISO值可以由用户指定，但是也可以基于感测到的环境亮度自动设置。
也就是说，当在拍摄图像时的环境亮度低时，所拍摄的图像中的噪声增加，并且因此需要具有高噪声去除强度的噪声补偿图，并且处理器120可以基于反映亮度信息的ISO信息来获取噪声补偿图，使得ISO值越高噪声去除强度越高。
上文已经描述了将图像的对比度信息、相机的镜头信息和相机的ISO信息中的每一个用于获取噪声补偿图，但是在实际实现时，如图3和图8所示，可以获取反映基于相机的设置信息获取的图和图像的灰度图两者的噪声补偿图。此外，除了相机的设置信息和图像的对比度信息之外，还可以反射诸如由照度传感器感测的值的各种数据。
同时，处理器120可以输出使用存储在存储器110中的人工智能模型去除噪声的图像。具体地，处理器120可以将所获取的图像和所获取的噪声补偿图输入到人工智能模型，以获取已去除噪声的补偿图像。
同时，人工智能模型可以是预先学习的模型。具体地，所获取的图像可以是从高清晰度原始图像生成的噪声图像。在这种情况下，处理器120可以生成噪声图像的噪声补偿图，将噪声图像和噪声补偿图输入到人工智能模型中，并输出补偿后的图像。此外，处理器120可以将输出的补偿图像和高清晰度原始图像彼此进行比较，以训练人工智能模型的参数。这种训练操作可以在制造电子设备100的过程中或之前执行，并且所制造的电子设备100可以包括使用所训练的参数的人工智能模型。下面将参考图4和图5详细描述包括人工智能模型的各种实施方式。
如上所述，根据本公开，可以在不直接测量图像的噪声的情况下去除图像的噪声，并且可以通过反映图像的整体特征和局部特征两者来在不损失纹理的情况下更有效地去除噪声。
图2是用于描述图1的电子设备的详细配置的框图。
参照图2，电子设备100可以包括存储器110、处理器120、通信器130、显示器140、按钮150、视频处理器160和相机170。这里，存储器110和处理器120与图1中所示的存储器110和处理器120相同，因此将省略其重复的描述。
首先，处理器120可以包括随机存取存储器(RAM)121、只读存储器(ROM)122、中央处理单元(CPU)123、图形处理单元(GPU)124和总线125。RAM 121、ROM 122、CPU 123、GPU124等可以通过总线125彼此连接。
CPU 123使用存储在存储器110中的操作系统(O/S)访问存储器110以执行启动。此外，CPU 123使用存储在存储器110中的各种程序、内容、数据等来执行各种操作。
用于启动系统的指令集等被存储在ROM 122中。当输入接通命令以向CPU 123供电时，CPU 123根据存储在ROM 122中的指令将存储在存储器110中的操作系统(O/S)复制到RAM121，并执行O/S以启动系统。当启动完成时，CPU 123将存储在存储器110中的各种程序复制到RAM 121，并执行复制到RAM 121的程序以执行各种操作。
当电子设备100的启动完成时，GPU 124在显示器140上显示用户界面(UI)。详细地，GPU 124可以使用计算器(未示出)和渲染器(未示出)来渲染包括诸如图标、图像、文本等的各种对象的屏幕。计算器根据屏幕的布局来计算各个对象的属性值，诸如各个对象将被显示的坐标值、形式、大小、颜色等。渲染器基于在计算器中计算的属性值来渲染包括对象的各种布局的屏幕。在渲染器中渲染的屏幕(或用户界面窗口)被提供给显示器140，并且被分别显示在主显示区域和子显示区域上。
通信器130是根据多种类型的通信方式执行与各种类型的外部设备的通信的组件。具体地，通信器130可以从外部设备接收要处理的图像。此外，通信器130可以接收拍摄图像的相机的设置信息。具体地，通信器130可以接收相机的镜头信息或ISO信息中的至少一个。同时，通信器130可以接收由外部照度传感器感测到的值。此外，通信器130可以向外部设备发送已去除噪声的图像。
具体地，通信器130可以通过有线方式(例如天线、电缆或端口)从外部设备接收图像或者可以通过无线方式(例如无线保真(Wi-Fi)或蓝牙)接收图像。同时，在实际实现时，电子设备100可以接收用户从存储在电子设备100中包括的存储器110中的多个图像中选择的图像，并处理所接收的图像。
在电子设备100能够进行无线通信的情况下，通信器130可以包括Wi-Fi芯片、蓝牙芯片、无线通信芯片和近场通信(NFC)芯片。具体地，Wi-Fi芯片和蓝牙芯片分别以Wi-Fi方式和蓝牙方式执行通信。在使用Wi-Fi芯片或蓝牙芯片的情况下，首先发送和接收诸如服务集标识符(SSID)、会话密钥等的各种连接信息，使用连接信息连接通信，并且接下来可以发送和接收各种信息。无线通信芯片是指根据诸如电气和电子工程师协会(IEEE)、Zigbee、第三代(3G)、第三代合作伙伴项目(3GPP)、长期演进(LTE)等各种通信协议执行通信的芯片。NFC芯片是指使用诸如135kHz、13.56MHz、433MHz、860至960MHz、2.45GHz等的各种射频识别(RFID)频带中的13.56MHz的频带以NFC方式操作的芯片。
显示器140可以显示已通过处理器120去除噪声的图像。此外，可以根据诸如应用程序等软件的设计在显示器140上显示噪声去除之前的图像。显示器140可以由各种类型的显示器来实现，例如液晶显示器(LCD)、有机发光二极管(OLED)显示器、等离子体显示面板(PDP)等。显示器140中可以包括可以以诸如a-si薄膜晶体管(TFT)、低温多晶硅(LTPS)、TFT、有机TFT(OTFT)等形式实现的驱动电路、背光单元等。此外，显示器140可以通过柔性显示器来实现。
同时，根据不同的实施方式，显示器140可以不包括在电子设备100中。
按钮150可以是形成在电子设备100的体表的任何区域(例如前表面部分、侧表面部分、后表面部分等)中的各种类型的按钮，例如机械按钮，触摸板、轮等。
视频处理器160是用于处理包括在通过通信器130接收的内容中的视频数据或存储在存储器110中的内容的组件。在视频处理器160中，可以对视频数据执行各种类型的图像处理，例如解码、缩放、噪声滤波、帧速率转换、分辨率转换等。在这种情况下，视频数据可以是已由处理器120针对每个帧去除噪声的视频数据。
相机170是用于根据用户的控制来拍摄静止图像或运动图像的部件。具体地，相机170可以包括镜头、图像传感器等。此外，相机170可以由多个相机来实现，例如前置相机和后置相机。此外，根据不同的实施方式，相机170可以不包括在电子设备100中。
尽管在图2中未示出，但是根据实施方式，电子设备100中还可以包括供USB连接器连接的通用串行总线(USB)端口、耳机、鼠标、用于与诸如局域网(LAN)等各种外部终端连接的各种外部输入端口、接收和处理DMB信号的数字多媒体广播(DMB)芯片、音频处理器。麦克风、音频输出、各种传感器等。
图3至图5是用于描述根据本公开的不同实施方式的噪声补偿过程的视图。为了便于说明，图3至图5中示出的实线框是指由包括在电子设备中的至少一个处理器执行的操作，以及图3至图5中示出的虚线框是指输入数据或输出数据。
参照图3，电子设备可以首先从输入图像301获取输入图像301的亮度信息302。具体地，电子设备可以获取输入图像301的对比度信息。在这种情况下，亮度信息302可以是用于输入图像301的每个像素的对比度信息，或者可以是用于针对每个亮度而划分的每个区域的对比度信息。
此外，电子设备可以使用所获取的亮度信息302或相机的设置信息303中的至少一个来获取噪声补偿图304(310)。在这种情况下，相机的设置信息303是关于拍摄输入图像301的相机的信息，并且可以包括相机的镜头信息或ISO信息中的至少一个。
电子设备可以基于亮度信息302获取噪声补偿图304。具体地，电子设备可以基于亮度信息302获取噪声补偿图304以使得图像的亮度越低，噪声去除强度越高。
电子设备可以使用输入图像301和噪声补偿图304来去除输入图像301的噪声(320)，并且获取已补偿噪声的输出图像305。
在这种情况下，电子设备可以使用输入图像301、噪声补偿图304和人工智能模型来获取输出图像305。具体地，这将参考图4和图5详细描述。
参照图4，电子设备可以根据输入图像401和噪声补偿图402获取输出图像403。这里，如图3所示地使用输入图像401的亮度信息来获取噪声补偿图402，因此将省略重复的描述。
首先，电子设备可以将输入图像401和噪声补偿图402彼此级联(concat)(410)。具体地，电子设备可以通过将多个图像彼此连接将多个图像镶嵌为一个图像。
此外，电子设备可以将连接的图像输入到人工智能模型420以去除噪声。具体地，电子设备可以在使连接的图像通过卷积(conv)层的同时提取图像的特征。在这种情况下，连接的图像可以包括多个帧，并且电子设备可以提取多个帧中的每一个的特征。
此外，电子设备可以选择性地使连接的图像通过修正线性单元(Relu)层。Relu函数用于解决当使连接的图像通过多个层时不可能知道输入值对结果值具有什么影响或者输入值对结果值的影响变得非常轻微的问题，并且Relu函数是执行处理以将小于0的值表示为0并且以线性函数的形式表示大于0的值的函数。因此，可以更好地观察到输入值对结果值的影响，从而可以进行准确的学习。
同时，电子设备可以使用噪声去除模块421来去除连接的图像的噪声，以去除图像的噪声。具体地，噪声去除模块421包括多个卷积层、对提取的图像特征进行归一化的批量归一化(BN)层、Relu层等，并且可以通过使连接的图像通过多个层来去除连接的图像的噪声。
同时，电子设备可以选择性地减小连接的图像，并将已减小的图像输入到噪声去除模块421。结果，可以最大化降噪效果。具体地，已经通过实验证实，电子设备可以压缩或去除不必要的信息，并且可以通过减小图像来更适当地执行噪声去除。
同时，包括在人工智能模型420中的多个参数可以是预先训练的参数。具体地，除了作为噪声图像的输入图像40之外，电子设备还可以将输入图像401的高清晰度原始图像输入到人工智能模型420，并且可以训练人工智能模型420的参数，使得已去除噪声的输出图像403与高清晰度原始图像一致。
同时，在图4中示出了输入图像和噪声补偿图彼此级联，并且级联的图像被输入到人工智能模型，但是可以在人工智能模型内执行级联过程。
此外，在图4中示出了将所获取的噪声补偿图输入到人工智能模型，但是可仅将输入图像输入到人工智能模型，并且人工智能模型可以生成噪声补偿图。
上面已经描述了将噪声补偿图与输入图像一起输入到人工智能模型的实施方式，但是也可以在噪声去除过程中输入噪声补偿图。这将在下面参考图5进行描述。
参照图5，电子设备可以将输入图像501和基于输入图像501生成的噪声补偿图502输入到人工智能模型520中。此外，电子设备可以获取已补偿噪声的输出图像503。
在这种情况下，人工智能模型520可以包括多个噪声去除模块521-1、521-2和521-3。每个噪声去除模块与图4所示的噪声去除模块相同，因此将省略重复的描述。此外，尽管在图5中未示出，但是在图5所示的实施方式中，也可以如图4所示地执行将输入图像501和噪声补偿图502彼此级联的操作以及在噪声去除模块之前和之后减小和放大图像的操作。
此外，电子设备可以在多个噪声去除模块521-1、521-2和521-3之间输入噪声补偿图。结果，使降噪效果最大化。具体地，当输入图像501和噪声补偿图502彼此连接的图像通过卷积层时，输入图像和噪声补偿图的信息彼此组合以获取新信息，并且再次在中间输入噪声补偿图502，使得电子设备可以使用更清楚的信息执行噪声补偿。
图6是示出根据本公开实施方式的用于学习和使用人工智能模型的电子设备的配置的框图。
参照图6，处理器600可以包括学习器610或获取器620中的至少一个。图6的处理器600可对应于图1和图2的电子装置100的处理器120或数据学习服务器(未示出)的处理器。
学习器610可以生成或学习用于去除图像噪声的模型。学习器610可以生成用于使用所收集的学习数据来去除图像的噪声的人工智能模型。学习器610可以使用所收集的学习数据来生成具有噪声去除标准的学习模型。这种学习器610可以对应于人工智能模型的训练集。
作为示例，学习器610可以使用作为噪声图像的输入图像和作为输入数据的噪声补偿图来生成、学习或更新用于去除噪声的模型。具体地，学习器610可以基于图像的亮度信息生成、学习或更新用于去除图像的噪声的模型。此外，学习器610可以学习或更新模型以使得作为噪声图像的输入图像和对应于输入图像的高清晰度原始图像彼此一致。
获取器620可以使用预定数据作为所学习的模型的输入数据来获取各种信息。
例如，获取器620可以使用输入图像和噪声补偿图作为输入数据来获取(或识别、估算、推断)图像的亮度信息或图像的特征信息。此外，获取器620可以使用所获取的图像的亮度信息和特征信息来获取与噪声去除强度、噪声被去除的图像的像素值等有关的信息。
至少部分的学习器610和至少部分的获取器620可以由软件模块实现，或者以至少一个硬件芯片的形式制造并安装在电子设备中。例如，学习器610或获取器620中的至少一个可以以用于人工智能(AI)的专用硬件芯片的形式制造，或者可以被制造成一些现有的通用处理器(例如，CPU或应用处理器)或图形专用处理器(例如，图形处理单元(GPU))，并且可安装在上述各种电子设备上。在这种情况下，用于人工智能的专用硬件芯片是专用于概率计算的专用处理器，并且由于比现有通用处理器高的并行处理性能，可以快速地处理诸如机器学习的人工智能领域中的计算任务。在学习器610和获取器620由软件模块(或包括指令的程序模块)实现的情况下，软件模块可以存储在非暂时性计算机可读介质中。在这种情况下，软件模块可以由操作系统(OS)提供或者可以由预定应用程序提供。可选地，一些软件模块可以由操作系统(OS)提供，而其它软件模块可以由预定应用程序提供。
在这种情况下，学习器610和获取器620可以安装在一个电子设备中，或者可以分别安装在单独的电子设备中。例如，学习器610或获取器620中的一个可以被包括在电子设备100中，而学习器610或获取器620中的另一个可以包括在外部服务器中。此外，学习器610和获取器620可以以有线的方式或无线的方式相互通信，以向获取器620提供由学习器610配置的模型信息，并将输入到学习器610的数据作为附加学习数据提供至学习器610。
图7A是根据不同实施方式的学习器610和获取器620的框图。
参照图7A的(a)，根据一些实施方式的学习器610可以包括学习数据获取器610-1和模型学习器610-4。此外，学习器610还可以可选地包括学习数据预处理器610-2、学习数据选择器610-3或模型评估器610-5中的至少一个。
学习数据获取器610-1可以获取模型所需的学习数据。作为本公开的实施方式，学习数据获取器610-1可以使用输入图像、噪声补偿图和噪声补偿图获取输入图像的噪声被去除的补偿图像、原始图像等作为学习数据。学习数据可以是由学习器610或学习器610的制造商收集或测试的数据。
模型学习器610-4可以利用学习数据基于输入图像和噪声补偿图学习去除多少噪声以及如何补偿补偿图像和原始图像之间的差异。作为示例，模型学习器610-4可以通过使用至少一些学习数据作为决策标准的监督学习来学习人工智能模型。可选地，模型学习器610-4可以通过例如非监督学习来学习人工智能模型，所述非监督学习通过使用学习数据执行自学习而不用单独的监督来找到用于情况决策的决策标准。此外，模型学习器610-4可以通过强化学习来学习人工智能模型，所述强化学习使用对根据学习的情况决策结果是否正确的反馈。此外，例如，模型学习器610-4可以使用包括误差反向传播或梯度下降的学习算法等来学习人工智能模型。
当学习人工智能模型时，模型学习器610-4可以存储所学习的人工智能模型。在这种情况下，模型学习器610-4可以将所学习的人工智能模型存储在电子设备100的存储器110中。或者，模型学习器610-4还可以将所学习的人工智能模型存储在通过有线网络或无线网络连接到电子设备100的服务器(例如，人工智能服务器)的存储器中。
学习器610还可以包括学习数据预处理器610-2和学习数据选择器610-3，以改进人工智能模型的识别结果或节约生成人工智能模型所需的资源或时间。
学习数据预处理器610-2可以预处理所获取的数据，使得所获取的数据可以用于学习以去除图像的噪声。学习数据预处理器610-2可以将所获取的数据处理成预定格式，使得模型学习器610-4可以使用所获取的数据来进行学习，以去除图像的噪声。
学习数据选择器610-3可以在由学习数据获取器610-1获取的数据或由学习数据预处理器610-2预处理的数据中选择学习所需的数据。所选择的学习数据可以被提供给模型学习器610-4。学习数据选择器610-3可以根据预定的选择标准在获取的或预处理的数据中选择学习所需的学习数据。此外，学习数据选择器610-3可以通过由模型学习器610-4进行的学习来根据预定的选择标准来选择学习数据。
学习器610还可以包括模型评估器610-5以改进人工智能模型的识别结果。
模型评估器610-5可以将评估数据输入到人工智能模型，并且可以允许模型学习器610-4在从评估数据输出的识别结果不满足预定标准的情况下再次学习人工智能模型。在这种情况下，评估数据可以是用于评估人工智能模型的预定数据。
例如，模型评估器610-5可以在所学习的人工智能模型的用于评估数据的识别结果中来自于其的识别结果不准确的评估数据的数量或比例超过预定阈值的情况下，评估所学习的人工智能模型不满足预定标准。
同时，在存在多个学习的人工智能模型的情况下，模型评估器610-5可以评估各个学习的人工智能模型是否满足预定标准，并将满足预定标准的学习的人工智能模型确定为最终人工智能模型。在这种情况下，在满足预定标准的学习的人工智能模型的数目是复数的情况下，模型评估器610-5可以按照评估分数的降序将任何一个预定的学习的人工智能模型或预定数目的学习的人工智能模型确定为最终数据识别模型。
参照图7A的(b)，根据一些实施方式的获取器620可以包括输入数据获取器620-1和供应器620-4。
此外，获取器620还可以可选地包括输入数据预处理器620-2、输入数据选择器620-3或模型更新器620-5中的至少一个。
输入数据获取器620-1可获取输入图像中的亮度信息，并基于输入图像的亮度信息和相机的设置信息获取用于补偿输入图像的噪声的噪声补偿图。供应器620-4可以将由输入数据获取器620-1获取的输入数据作为输入值应用于所学习的人工智能模型，以获取从中去除噪声的补偿图像。供应器620-4将由稍后将描述的输入数据预处理器620-2或输入数据选择器620-3选择的数据作为输入值应用于人工智能模型，以获取其中噪声被去除的补偿图像。
作为示例，供应器620-4可以将输入图像和由输入数据获取器620-1获取的噪声补偿图应用到所学习的人工智能模型，以获取(或估算)去除噪声的补偿图像。
获取器620还可以包括输入数据预处理器620-2和输入数据选择器620-3，以改进人工智能模型的识别结果或节约用于提供识别结果的资源或时间。
输入数据预处理器620-2可以预处理所获取的数据，使得所获取的数据可以被用于输入到第一模型和第二模型。输入数据预处理器620-2可以将所获取的数据处理成预定格式，使得供应器620-4可以将所获取的数据用于去除输入图像的噪声。
输入数据选择器620-3可以在由输入数据获取器620-1获取的数据或由输入数据预处理器620-2预处理的数据中选择情况决策所需的数据。所选择的数据可以被提供给供应器620-4。输入数据选择器620-3可以根据预定选择标准来选择所获取的数据或预处理的数据中的一些或全部用于情况决策。此外，输入数据选择器620-3可以通过模型学习器610-4的学习根据预定的选择标准来选择数据。
模型更新器620-5可以执行控制，以基于由供应器620-4提供的识别结果的评估来更新数据识别模型。例如，模型更新器620-5可以向模型学习器610-4提供由供应器620-4提供的补偿图像，以请求模型学习器610-4另外学习或更新人工智能模型。
图7B是示出根据实施方式的电子设备A和外部服务器S相互协作以学习和决定数据的示例的视图。
参照图7B，外部服务器S可以获取与输入图像和对应于输入图像的噪声补偿图有关的信息，并且学习用于去除输入图像的噪声的标准，并且电子设备A可以使用由服务器S基于学习结果生成的模型来获取输入图像的噪声被去除的补偿图像。
在这种情况下，服务器S的模型学习器610-4可以执行图6所示的学习器610的功能。服务器S的模型学习器610-4可以学习用于人工智能模型的决策标准(或识别标准)。
此外，电子设备A的供应器620-4可以将由输入数据选择器620-3选择的数据应用到由服务器S生成的人工智能模型，以获取输入图像的噪声被去除的补偿图像。可选地，电子设备A的供应器620-4可以从服务器S接收由服务器S生成的人工智能模型，并使用所接收的人工智能模型获取输入图像的噪声被去除的补偿图像。
图8是用于解释根据本公开实施方式获取噪声补偿图的过程的视图。
参照图8，电子设备可以从输入图像801获取包括输入图像(测试图像)801的亮度信息的灰度图802。在这种情况下，亮度信息可以包括图像的对比度信息。
例如，电子设备可以基于下面的等式1获取图像的灰度图。
Figure BDA0002641856960000191
这里，Im(gray)是指图像的像素的对比度的值，并且可以具有0到255中的一个值。
此外，电子设备可以使用拍摄输入图像801的相机的设置信息中的镜头信息来获取渐晕图803。例如，渐晕在图像的拐角处产生，并且因此电子设备可以基于包括在图像中的像素的位置来产生渐晕图803。
具体地，电子设备可以如在等式(2)中那样获取目标像素和中心像素之间的距离。
距离＝(x-cx)2+(y-cy)2 (2)
这里，(x,y)是目标像素的位置，且(cx,cy)是中心像素的位置。
此外，电子设备可以如等式(3)中那样使用从等式(2)获取的距离与最大距离的比来获取渐晕图803。
渐晕图＝距离/最大距离 (3)
这里，最大距离是中心像素和位于最远距离处的像素之间的距离，并且可以指图像的中心像素和拐角的像素之间的距离。也就是说，电子设备可以获取渐晕图803，使得目标像素距中心像素的距离越大，噪声去除强度越高。
此外，电子设备可以将所获取的灰度图802和渐晕图803彼此重叠，以获取噪声补偿图804。在这种情况下，电子设备还可以使用相机的设置信息中的ISO信息来获取噪声补偿图804。
此外，电子设备可以将所获取的灰度图802和渐晕图803彼此重叠，以获取噪声补偿图804。在这种情况下，电子设备还可以使用相机的设置信息中的ISO信息来获取噪声补偿图804。
作为示例，电子设备可以使用等式(4)获取噪声补偿图804。
Figure BDA0002641856960000201
这里，max(iso)是指拍摄输入图像801的相机的最大ISO值，并且iso是指拍摄输入图像801时的ISO值。也就是说，电子设备可以获取噪声补偿图，使得在拍摄输入图像801时ISO值越高，噪声去除强度越高。
同时，上文已经描述了灰度图802和渐晕图803以相同的比例彼此重叠，但是本公开不限于此。
图9是用于描述通过反映相机的设置信息来获取的噪声补偿图的实施方式的视图。
首先，如图9的(a)所示，为噪声去除而输入的输入图像901可以包括渐晕现象。具体地，输入图像901的外部部分或拐角可能变暗或被黑色覆盖。这可能出现，因为当罩、滤光器等安装在镜头的前部时，相机的镜头的外部被罩、滤光器等覆盖。可选地，由于镜头本身的问题，通过镜头的光的图像比所拍摄的画面的对角线长度短，从而可能在画面的拐角部分产生渐晕。也就是说，针对拍摄输入图像901的相机的每个镜头或针对每个安装的罩或滤光器可以产生不同的渐晕。
因此，电子设备可以使用拍摄输入图像901的相机的镜头信息或使用罩或滤光器信息来获取如图9的(b)中所示的渐晕图902。参照图9的(b)，可以以用于补偿输入图像901的渐晕的形式生成渐晕图902。具体地，输入图像901的四个拐角部分是暗的而具有大量噪声，并且因此电子设备可以生成渐晕图902，使得输入图像901的四个拐角的噪声去除强度变高。
图10是用于描述根据本发明实施方式的图像补偿方法的流程图。
首先，电子设备可以获取图像(S1010)。具体地，当电子设备设置有相机时，电子设备可以使用相机获取图像。同时，电子设备还可以接收由外部相机拍摄的图像。
然后，电子设备可以获取噪声补偿图(S1020)。具体地，电子设备可以使用图像的亮度信息和相机的设置信息来获取噪声补偿图。例如，电子设备可以使用图像的对比度信息、相机的镜头信息或相机的ISO信息中的至少一个来获取噪声补偿图。
然后，电子设备可以去除图像的噪声(S1030)。具体地，电子设备可以使用噪声补偿图来去除输入图像的噪声。在这种情况下，电子设备可以将输入图像和噪声补偿图输入到人工智能模型，并输出噪声被去除的补偿图像。这里，包括在噪声补偿图中的参数可以是预先学习的参数。
在训练过程中，电子设备可以使用作为噪声图像的输入图像和对应于输入图像的高清晰度原始图像来训练人工智能模型的参数。具体地，电子设备可以使用输入图像的噪声补偿图来训练人工智能模型的参数，使得输入图像的噪声被去除的补偿图像与高清晰度原始图像彼此一致。
在充分地执行训练之后，在测试过程中，电子设备可以使用训练的参数来去除输入图像的噪声。
图11是用于将现有图像和根据本公开补偿的图像彼此进行比较的视图。具体地，图11的(a)是在未对其进行补偿的输入图像，图11的(b)是通过相关技术获取的补偿图像，以及图11的(c)是根据本公开实施方式获取的补偿图像。
图11的(b)是在仅将作为噪声图像的输入图像输入到人工智能模型来去除噪声的情况下获取的补偿图像。图11的(b)中的人工智能模型被学习去除高斯噪声，并且输入图像的噪声作为整体被去除，但是图像没有被局部处理。因此，在图像内的特别暗的区域中，噪声可能不能被充分地去除，并且图像的纹理可能丢失。
另一方面，图11的(c)是在生成与输入图像对应的噪声补偿图并将噪声补偿图和输入图像一起输入到根据本公开的人工智能模型的情况下获取的补偿图像，并且可以从图11的(c)确认噪声去除效果比图11的(b)的噪声去除效果更优异，并且保留了图像的纹理。
同时，上述不同的实施方式可以在使用软件、硬件或软件和硬件的组合的计算机或计算机可读记录介质中实现。根据硬件实现方式，本公开中描述的实施方式可使用用于执行其它功能的专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或电子单元中的至少之一来实施。在一些情况下，本说明书中描述的实施方式可以由处理器120本身来实现。根据软件实现方式，诸如在说明书中描述的过程和功能的实施方式可以由单独的软件模块来实现。每个软件模块可以执行在说明书中描述的一个或多个功能和操作。
同时，根据本公开的上述不同实施方式的图像处理方法可以存储在非暂时性可读介质中。该非暂时性可读介质可以在各种设备中安装和使用。
非暂时性计算机可读介质不是例如寄存器、缓存、存储器等暂时存储数据的介质，而是指半永久性地存储数据并可由装置读取的介质。详细地，用于执行上述各种方法的程序可以被存储和设置在诸如光盘(CD)、数字多功能盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等的非暂时性可读介质中。
根据实施方式，根据本公开中公开的各种实施方式的方法可以包括并设置在计算机程序产品中。计算机程序产品可以作为卖方和买方之间的产品进行交易。计算机程序产品可通过可由机器读取的存储介质(例如，光盘只读存储器(CD-ROM))的形式分布或者通过应用商店(例如，PlayStoreTM)在线分布。在在线分发的情况下，计算机程序产品的至少部分可以至少暂时存储在诸如制造商的服务器的存储器、应用商店的服务器或中继服务器的存储介质中，或者可以临时创建。
尽管以上已经示出并描述了本公开的实施方式，但是本公开不限于以上描述的具体实施方式，而是可以由本公开所属领域的技术人员在不脱离如权利要求书所要求保护的本公开的主旨的情况下进行各种修改。这些修改应当被理解为落入本公开的范围和精神内。

Claims (15)

1.电子设备，包括：
存储器，包括至少一个命令；以及
处理器，连接到所述存储器，配置为控制所述电子设备，
其中，所述处理器在执行所述至少一个命令时配置为：
获取图像，基于拍摄所述图像的相机的设置信息或所述图像的亮度信息来获取用于对所述图像的噪声进行补偿的噪声补偿图，并通过所述噪声补偿图去除所述图像的所述噪声。
2.如权利要求1所述的电子设备，其中，所述处理器配置为基于所述图像的所述亮度信息来获取所述噪声补偿图，使得噪声去除强度在亮度低的区域中变高。
3.如权利要求2所述的电子设备，其中，所述图像的所述亮度信息是所述图像的每个像素的对比度信息，以及
所述处理器配置为获取所述噪声补偿图，使得所述噪声去除强度针对每个像素变化。
4.如权利要求2所述的电子设备，其中，所述处理器配置为针对每个亮度将所述图像划分为多个区域并且获取所述噪声补偿图，使得所述噪声去除强度针对每个所划分的区域变化。
5.如权利要求1所述的电子设备，其中，所述相机的所述设置信息包括所述相机的镜头信息或所述相机的ISO信息中的至少一个。
6.如权利要求5所述的电子设备，其中，所述处理器配置为基于所述相机的所述镜头信息来获取所述噪声补偿图，使得噪声去除强度根据渐晕补偿程度而变化。
7.如权利要求5所述的电子设备，其中，所述处理器配置为基于所述ISO信息获取所述噪声补偿图，使得ISO值越高，所述噪声去除强度越高。
8.如权利要求1所述的电子设备，其中，所述处理器配置为将所述噪声补偿图和所述图像输入到所学习的人工智能模型，以获取所述噪声被去除的补偿图像。
9.电子设备的图像处理方法，包括：
获取图像；
基于拍摄所述图像的相机的设置信息或所述图像的亮度信息，获取用于对所述图像的噪声进行补偿的噪声补偿图；以及
通过所述噪声补偿图去除所述图像的所述噪声。
10.如权利要求9所述的图像处理方法，其中，获取所述噪声补偿图包括：基于所述图像的所述亮度信息获取所述噪声补偿图，使得噪声去除强度在亮度低的区域中变高。
11.如权利要求10所述的图像处理方法，其中，所述图像的所述亮度信息是所述图像的每个像素的对比度信息，以及
其中，获取所述噪声补偿图包括：获取所述噪声补偿图，使得所述噪声去除强度针对每个像素变化。
12.如权利要求11所述的图像处理方法，其中，获取所述噪声补偿图包括：针对每个亮度将所述图像划分为多个区域并且获取所述噪声补偿图，使得所述噪声去除强度针对每个所划分的区域而变化。
13.如权利要求9所述的图像处理方法，其中，所述相机的所述设置信息包括所述相机的镜头信息或所述相机的ISO信息中的至少一个。
14.如权利要求13所述的图像处理方法，其中，获取所述噪声补偿图包括：基于所述相机的所述镜头信息获取所述噪声补偿图，使得噪声去除强度根据渐晕补偿程度而变化。
15.如权利要求13所述的图像处理方法，其中，获取所述噪声补偿图包括：基于所述ISO信息获取所述噪声补偿图，使得ISO值越高，所述噪声去除强度越高。
CN201980014451.1A 2018-02-20 2019-02-20 电子设备、其图像处理方法及计算机可读记录介质 Pending CN111771226A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180019973A KR102459221B1 (ko) 2018-02-20 2018-02-20 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
KR10-2018-0019973 2018-02-20
PCT/KR2019/002022 WO2019164232A1 (ko) 2018-02-20 2019-02-20 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체

Publications (1)

Publication Number Publication Date
CN111771226A true CN111771226A (zh) 2020-10-13

Family

ID=67687787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980014451.1A Pending CN111771226A (zh) 2018-02-20 2019-02-20 电子设备、其图像处理方法及计算机可读记录介质

Country Status (5)

Country Link
US (1) US11379955B2 (zh)
EP (1) EP3742388B1 (zh)
KR (1) KR102459221B1 (zh)
CN (1) CN111771226A (zh)
WO (1) WO2019164232A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286142A (zh) * 2021-05-20 2021-08-20 河南中全科技有限公司 一种基于人工智能的图像成像感光度预测方法及系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881927B (zh) 2019-05-02 2021-12-21 三星电子株式会社 电子装置及其图像处理方法
JP7016835B2 (ja) * 2019-06-06 2022-02-07 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム
KR20210032247A (ko) * 2019-09-16 2021-03-24 삼성전자주식회사 디스플레이 장치 및 이의 영상 처리 방법
JP2021122106A (ja) * 2020-01-31 2021-08-26 キヤノン株式会社 撮像装置、学習装置、撮像装置の制御方法、学習方法、学習済みモデルおよびプログラム
CN111583142B (zh) * 2020-04-30 2023-11-28 深圳市商汤智能传感科技有限公司 图像降噪方法及装置、电子设备和存储介质
KR102315427B1 (ko) * 2020-05-14 2021-10-20 아주대학교산학협력단 딥러닝 학습을 위한 데이터 처리 방법 및 그 장치
CN113808024A (zh) * 2020-05-27 2021-12-17 索尼半导体解决方案公司 幻影反射补偿方法及设备
KR102221096B1 (ko) * 2020-09-23 2021-02-26 국방과학연구소 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템
US20220301113A1 (en) * 2021-03-19 2022-09-22 Micron Technology, Inc. Modular machine learning models for denoising images and systems and methods for using same
US12086703B2 (en) 2021-03-19 2024-09-10 Micron Technology, Inc. Building units for machine learning models for denoising images and systems and methods for using same
WO2022197476A1 (en) * 2021-03-19 2022-09-22 Micron Technology, Inc. Modular machine learning models for denoising images and systems and methods for using same
EP4102425A1 (de) * 2021-06-10 2022-12-14 Siemens Aktiengesellschaft Computerimplementierte datenstruktur, verfahren, inspektionsvorrichtung und system zum übermitteln eines modells für maschinelles lernen
US20220400200A1 (en) * 2021-06-14 2022-12-15 Hewlett-Packard Development Company, L.P. Shutter activations
WO2023229288A1 (ko) * 2022-05-27 2023-11-30 삼성전자 주식회사 이미지 데이터에 대한 디노이징 처리를 수행하는 방법 및 전자 장치
WO2023234674A1 (ko) * 2022-05-30 2023-12-07 삼성전자 주식회사 신경망 모델을 이용한 영상 신호 처리 방법 및 이를 수행하기 위한 컴퓨팅 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101383898A (zh) * 2007-09-07 2009-03-11 索尼株式会社 图像处理设备、图像处理方法和计算机程序
US20160344945A1 (en) * 2015-05-19 2016-11-24 Ricoh Imaging Company, Ltd. Photographing apparatus, photographing method, image processor, image-processing method, and program

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348840A (ja) 1993-06-03 1994-12-22 Konica Corp 画像復元方法
JP2000311243A (ja) 1999-04-28 2000-11-07 Sony Corp 画像色補正方法及び装置
US7639849B2 (en) * 2005-05-17 2009-12-29 Barco N.V. Methods, apparatus, and devices for noise reduction
US8160381B2 (en) * 2006-08-30 2012-04-17 Micron Technology, Inc. Method and apparatus for image noise reduction using noise models
KR101544741B1 (ko) 2008-07-29 2015-08-17 삼성전자주식회사 촬상 장치, 이의 제어 방법 및 상기 제어 방법을 기록한기록 매체
KR20100110121A (ko) * 2009-04-02 2010-10-12 삼성전자주식회사 이미지 왜곡 보정 방법
US8274583B2 (en) * 2009-06-05 2012-09-25 Apple Inc. Radially-based chroma noise reduction for cameras
US8737755B2 (en) * 2009-12-22 2014-05-27 Apple Inc. Method for creating high dynamic range image
JP2013187645A (ja) * 2012-03-06 2013-09-19 Canon Inc ノイズ低減装置およびノイズ低減方法
US9047666B2 (en) * 2013-03-12 2015-06-02 Futurewei Technologies, Inc. Image registration and focus stacking on mobile platforms
US9432647B2 (en) * 2013-09-09 2016-08-30 Apple Inc. Adaptive auto exposure and dynamic range compensation
US9953246B2 (en) 2014-12-16 2018-04-24 The Regents Of The University Of California Feature-preserving noise removal
JP6489932B2 (ja) * 2015-05-19 2019-03-27 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
KR102317820B1 (ko) 2015-08-12 2021-10-26 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자장치
US9633274B2 (en) 2015-09-15 2017-04-25 Mitsubishi Electric Research Laboratories, Inc. Method and system for denoising images using deep Gaussian conditional random field network
CN107230187B (zh) * 2016-03-25 2022-05-24 北京三星通信技术研究有限公司 多媒体信息处理的方法和装置
US9639935B1 (en) * 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
US11361729B2 (en) * 2017-09-08 2022-06-14 Apple Inc. Burn-in statistics and burn-in compensation
US10445402B1 (en) * 2017-09-29 2019-10-15 Ambarella, Inc. Fast and energy-efficient region of interest pooling for object detection with convolutional neural network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101383898A (zh) * 2007-09-07 2009-03-11 索尼株式会社 图像处理设备、图像处理方法和计算机程序
US20160344945A1 (en) * 2015-05-19 2016-11-24 Ricoh Imaging Company, Ltd. Photographing apparatus, photographing method, image processor, image-processing method, and program

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DEHOS J 等: "《practical photoquantity measure using a camera》", IET IMAGE PROCESSING, 30 June 2012 (2012-06-30) *
KAI ZHANG 等: "《FFDNet toward a fast and flexible solution for cnn based image demoising》", ARXIV.ORG, CONELL UNIVERSITY LIBRARY, 11 October 2017 (2017-10-11) *
MICHAEL GHARBI 等: "《Deep Joint Demosaiching and Denoising》", ACM TRANSACTIONS ON GRAPHICS, 11 November 2016 (2016-11-11) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286142A (zh) * 2021-05-20 2021-08-20 河南中全科技有限公司 一种基于人工智能的图像成像感光度预测方法及系统

Also Published As

Publication number Publication date
US20200388011A1 (en) 2020-12-10
KR20190099914A (ko) 2019-08-28
EP3742388B1 (en) 2023-05-03
US11379955B2 (en) 2022-07-05
EP3742388A1 (en) 2020-11-25
WO2019164232A1 (ko) 2019-08-29
EP3742388A4 (en) 2021-03-10
KR102459221B1 (ko) 2022-10-27

Similar Documents

Publication Publication Date Title
US11379955B2 (en) Electronic device, image processing method thereof, and computer-readable recording medium
JP7236545B2 (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
US10685262B2 (en) Object recognition based on boosting binary convolutional neural network features
US11195261B2 (en) Image processing apparatus and image processing method
CN108229673B (zh) 卷积神经网络的处理方法、装置和电子设备
KR102476239B1 (ko) 전자 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
CN110070551B (zh) 视频图像的渲染方法、装置和电子设备
CN110084204B (zh) 基于目标对象姿态的图像处理方法、装置和电子设备
CN105046254A (zh) 字符识别方法及装置
US10997947B2 (en) Electronic device and control method thereof
CN110363753A (zh) 图像质量评估方法、装置及电子设备
CN112767354A (zh) 基于图像分割的缺陷检测方法、装置、设备及存储介质
CN112825116B (zh) 监控视频图像人脸检测和追踪方法、装置、介质及设备
EP3738305B1 (en) Electronic device and control method thereof
US11257186B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
TW202044199A (zh) 影像處理裝置以及其影像處理方法
CN111814818B (zh) 显示设备及其图像处理方法
CN113870221A (zh) 可达空间的检测方法、装置、车载终端及存储介质
CN113196279B (zh) 一种面部属性的识别方法及电子设备
US20240273855A1 (en) Machine learning-based image noise learning server and image noise reduction device
CN111862105A (zh) 图像的区域处理方法、装置和电子设备
KR20240039394A (ko) 영상 처리 장치, 그것을 갖는 전자 장치, 그것의 동작 방법
CN117745694A (zh) 工业产品的检测方法和装置
CN117994542A (zh) 异物检测方法、装置以及系统
CN113887338A (zh) 障碍物属性的确定方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination